JP7412614B1 - Tracking devices, tracking methods and tracking programs - Google Patents

Tracking devices, tracking methods and tracking programs Download PDF

Info

Publication number
JP7412614B1
JP7412614B1 JP2023016840A JP2023016840A JP7412614B1 JP 7412614 B1 JP7412614 B1 JP 7412614B1 JP 2023016840 A JP2023016840 A JP 2023016840A JP 2023016840 A JP2023016840 A JP 2023016840A JP 7412614 B1 JP7412614 B1 JP 7412614B1
Authority
JP
Japan
Prior art keywords
image data
area
movement trajectory
tracking
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023016840A
Other languages
Japanese (ja)
Inventor
紘和 阿部
光義 山足
令 西濱
尭理 中尾
宏策 檜垣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Information Systems Corp
Original Assignee
Mitsubishi Electric Information Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Information Systems Corp filed Critical Mitsubishi Electric Information Systems Corp
Priority to JP2023016840A priority Critical patent/JP7412614B1/en
Application granted granted Critical
Publication of JP7412614B1 publication Critical patent/JP7412614B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】適切な移動軌跡を対応付けする候補から外せるようにする。【解決手段】追跡部25は、カメラ31によって撮影領域が撮影されて得られた複数の画像データを時刻順に対象の画像データとして、対象の画像データよりも過去の画像データから検出された1つ以上の対象物それぞれについての移動軌跡と、対象の画像データから検出された1つ以上の対象物それぞれとの対応付けを行うことにより、移動軌跡を更新する。除外部26は、1つ以上の対象物それぞれについての移動軌跡のうち、追跡部25によって対象の画像データから検出された対象物との対応付けがされなかった移動軌跡であって、撮影領域を含む追跡領域から対象物が退出する前に通る退出領域に対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を追跡部25による更新対象から外す。【選択図】図1An object of the present invention is to remove appropriate movement trajectories from candidates for association. A tracking unit 25 selects a plurality of image data obtained by photographing a photographing area by a camera 31 as target image data in chronological order, and selects one image data detected from past image data than the target image data. The movement trajectory is updated by associating the movement trajectory of each of the above objects with each of one or more objects detected from the image data of the target. The exclusion unit 26 excludes movement trajectories of one or more objects that have not been associated with the object detected from the image data of the object by the tracking unit 25, and that excludes the shooting area. A movement trajectory in which the position of the object detected from the image data before the image data of the object is included in the exit area through which the object passes before exiting from the included tracking area is excluded from the update target by the tracking unit 25. [Selection diagram] Figure 1

Description

本開示は、映像データに映った対象物を追跡する技術に関する。 The present disclosure relates to a technique for tracking an object shown in video data.

映像データを構成する画像データのうち、過去の画像データで得られたM個の移動軌跡と、新たな画像データから検出された対象物との対応付けを行うことにより、移動軌跡を更新することが行われている。
この時、新たな画像データから検出された対象物との対応付けする候補となる移動軌跡の数Mが多くなるほど、誤った対応付けがされる可能性が高くなる。また、数Mが多くなるほど、対応付けの処理に係る計算量が多くなる。したがって、対応付けする必要のない移動軌跡を対応付けする候補から外すことが、追跡の精度向上と、計算量の抑制とに繋がる。
Updating the movement trajectory by associating M movement trajectories obtained from past image data among the image data constituting the video data with objects detected from new image data. is being carried out.
At this time, as the number M of movement trajectories that are candidates for association with the target object detected from the new image data increases, the possibility that an erroneous association will be made increases. Furthermore, as the number M increases, the amount of calculation involved in the mapping process increases. Therefore, excluding movement trajectories that do not need to be associated from candidates for association improves tracking accuracy and reduces the amount of calculation.

特許文献1には、車両の前方を撮影して得られた映像データに映ったオブジェクトを追跡することが記載されている。特許文献1では、追跡オブジェクトの現在位置が撮影領域の端部を含む所定領域内である場合、追跡オブジェクトに検出オブジェクトが関連付けられなければ、追跡オブジェクトが撮影領域の外へ移動したと推定することが記載されている。 Patent Document 1 describes tracking an object shown in video data obtained by photographing the front of a vehicle. In Patent Document 1, when the current position of the tracked object is within a predetermined area including the edge of the shooting area, if no detected object is associated with the tracked object, it is estimated that the tracked object has moved outside the shooting area. is listed.

特開2021-117760号公報Japanese Patent Application Publication No. 2021-117760

特許文献1では、映像データが車両の前方を撮影して得られるため、オブジェクトは撮影領域の端部からのみ撮影領域の外に出ると想定される。しかし、撮影領域の端部からのみ対象物が撮影領域の外に出るとは限らない。例えば、撮影領域が部屋の中であり、撮影領域の中央に部屋から出るための扉がある場合がある。この場合には、対象物は、撮影領域の中央にある扉から、撮影領域の外に移動する。
また、撮影領域の端部に位置した対象物が一時的に検出されなかったとしても、その対象物を追跡対象から外してよいとは限らない。例えば、撮影領域が部屋の中であり、部屋の端の方が少し撮影領域から出てしまっているような場合がある。撮影領域から出てしまっている部分には、部屋への出入口がないとする。この場合には、対象物が撮影領域の端から撮影領域の外に出たとしても、対象物は必ず撮影領域に戻ってくる。そのため、撮影領域の端から撮影領域の外に出た対象物を追跡対象から外すべきではない。
本開示は、適切な移動軌跡を対応付けする候補から外せるようにすることを目的とする。
In Patent Document 1, since the video data is obtained by photographing the front of the vehicle, it is assumed that the object exits the photographing area only from the edge of the photographing area. However, the object does not necessarily exit the imaging area only from the edge of the imaging area. For example, there are cases where the photographing area is inside a room, and there is a door in the center of the photographing area for exiting from the room. In this case, the object moves out of the imaging area from the door in the center of the imaging area.
Further, even if an object located at the edge of the imaging area is temporarily not detected, this does not necessarily mean that the object can be removed from the tracking target. For example, there may be a case where the photographing area is inside a room, and the edge of the room slightly protrudes from the photographing area. It is assumed that there is no entrance/exit to the room in the part that is out of the shooting area. In this case, even if the object moves out of the imaging area from the edge of the imaging area, the object will always return to the imaging area. Therefore, an object that has moved out of the imaging area from the edge of the imaging area should not be excluded from the tracking target.
The present disclosure aims to make it possible to exclude appropriate movement trajectories from candidates to be associated.

本開示に係る追跡装置は、
カメラによって撮影領域が撮影されて得られた複数の画像データを時刻順に対象の画像データとして、前記対象の画像データよりも過去の画像データから検出された1つ以上の対象物それぞれについての移動軌跡と、前記対象の画像データから検出された1つ以上の対象物それぞれとの対応付けを行うことにより、前記移動軌跡を更新する追跡部と、
前記1つ以上の対象物それぞれについての移動軌跡のうち、前記追跡部によって前記対象の画像データから検出された対象物との対応付けがされなかった移動軌跡であって、前記撮影領域を含む追跡領域から前記対象物が退出する前に通る退出領域に前記対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を前記追跡部による更新対象から外す除外部と
を備える。
The tracking device according to the present disclosure includes:
A plurality of image data obtained by photographing a photographing area by a camera are set as target image data in time order, and a movement trajectory of each of one or more targets detected from image data older than the target image data. and a tracking unit that updates the movement trajectory by associating each of the objects with one or more objects detected from the image data of the object;
Among the movement trajectories of each of the one or more objects, a movement trajectory that is not correlated with the object detected from the image data of the object by the tracking unit, and includes the photographed area. an exclusion unit that excludes a movement trajectory that includes a position of the object detected from image data preceding the image data of the object in an exit area through which the object passes before exiting the area from an update target by the tracking unit; Be prepared.

本開示では、追跡領域から対象物が退出する前に通る退出領域に対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を更新対象から外す。これにより、適切な移動軌跡を対応付けする候補から外せるようになる。 In the present disclosure, a movement trajectory in which the position of the object detected from the image data before the image data of the object is included in the exit area through which the object passes before exiting from the tracking area is excluded from the update target. This makes it possible to remove appropriate movement trajectories from the candidates to be associated.

実施の形態1に係る追跡装置10の構成図。1 is a configuration diagram of a tracking device 10 according to Embodiment 1. FIG. 実施の形態1に係る領域設定処理の説明図。FIG. 3 is an explanatory diagram of area setting processing according to the first embodiment. 実施の形態1に係る追跡処理のフローチャート。5 is a flowchart of tracking processing according to the first embodiment. 実施の形態1に係る第1除外処理の説明図。FIG. 3 is an explanatory diagram of first exclusion processing according to the first embodiment. 実施の形態1に係る第2除外処理の説明図。FIG. 7 is an explanatory diagram of second exclusion processing according to the first embodiment. 変形例1に係る追跡処理のフローチャート。7 is a flowchart of tracking processing according to modification 1. 変形例2に係る追跡装置10の構成図。FIG. 3 is a configuration diagram of a tracking device 10 according to a second modification. 実施の形態2に係る設定期間における追跡処理のフローチャート。7 is a flowchart of tracking processing in a set period according to Embodiment 2. 実施の形態2に係る設定期間における追跡処理の結果の説明図。FIG. 7 is an explanatory diagram of the results of tracking processing in a set period according to the second embodiment. 実施の形態2に係る方法1の説明図。FIG. 7 is an explanatory diagram of method 1 according to Embodiment 2. 実施の形態2に係る方法2の説明図。FIG. 7 is an explanatory diagram of method 2 according to the second embodiment. 実施の形態2に係る打たれた点を囲む方法の説明図。FIG. 7 is an explanatory diagram of a method of enclosing a hit point according to Embodiment 2;

実施の形態1.
***構成の説明***
図1を参照して、実施の形態1に係る追跡装置10の構成を説明する。
追跡装置10は、コンピュータである。
追跡装置10は、プロセッサ11と、メモリ12と、ストレージ13と、通信インタフェース14とのハードウェアを備える。プロセッサ11は、信号線を介して他のハードウェアと接続され、これら他のハードウェアを制御する。
Embodiment 1.
***Explanation of configuration***
The configuration of tracking device 10 according to Embodiment 1 will be described with reference to FIG. 1.
Tracking device 10 is a computer.
The tracking device 10 includes hardware of a processor 11, a memory 12, a storage 13, and a communication interface 14. The processor 11 is connected to other hardware via signal lines and controls these other hardware.

プロセッサ11は、プロセッシングを行うICである。ICはIntegrated Circuitの略である。プロセッサ11は、具体例としては、CPU、DSP、GPUである。CPUは、Central Processing Unitの略である。DSPは、Digital Signal Processorの略である。GPUは、Graphics Processing Unitの略である。 The processor 11 is an IC that performs processing. IC is an abbreviation for Integrated Circuit. Specific examples of the processor 11 include a CPU, a DSP, and a GPU. CPU is an abbreviation for Central Processing Unit. DSP is an abbreviation for Digital Signal Processor. GPU is an abbreviation for Graphics Processing Unit.

メモリ12は、データを一時的に記憶する記憶装置である。メモリ12は、具体例としては、SRAM、DRAMである。SRAMは、Static Random Access Memoryの略である。DRAMは、Dynamic Random Access Memoryの略である。 The memory 12 is a storage device that temporarily stores data. The memory 12 is, for example, an SRAM or a DRAM. SRAM is an abbreviation for Static Random Access Memory. DRAM is an abbreviation for Dynamic Random Access Memory.

ストレージ13は、データを保管する記憶装置である。ストレージ13は、具体例としては、HDDである。HDDは、Hard Disk Driveの略である。また、ストレージ13は、SD(登録商標)メモリカード、CompactFlash(登録商標)、NANDフラッシュ、フレキシブルディスク、光ディスク、コンパクトディスク、Blu-ray(登録商標)ディスク、DVDといった可搬記録媒体であってもよい。SDは、Secure Digitalの略である。DVDは、Digital Versatile Diskの略である。 The storage 13 is a storage device that stores data. The storage 13 is, for example, an HDD. HDD is an abbreviation for Hard Disk Drive. Furthermore, the storage 13 may be a portable recording medium such as an SD (registered trademark) memory card, CompactFlash (registered trademark), NAND flash, flexible disk, optical disk, compact disc, Blu-ray (registered trademark) disk, or DVD. good. SD is an abbreviation for Secure Digital. DVD is an abbreviation for Digital Versatile Disk.

通信インタフェース14は、外部の装置と通信するためのインタフェースである。通信インタフェース14は、具体例としては、Ethernet(登録商標)、USB、HDMI(登録商標)のポートである。USBは、Universal Serial Busの略である。HDMIは、High-Definition Multimedia Interfaceの略である。 The communication interface 14 is an interface for communicating with an external device. The communication interface 14 is, for example, an Ethernet (registered trademark), USB, or HDMI (registered trademark) port. USB is an abbreviation for Universal Serial Bus. HDMI is an abbreviation for High-Definition Multimedia Interface.

追跡装置10は、通信インタフェース14を介してカメラ31と接続されている。 Tracking device 10 is connected to camera 31 via communication interface 14 .

追跡装置10は、機能構成要素として、領域設定部21と、画像取得部22と、検出部23と、特徴量計算部24と、追跡部25と、除外部26とを備える。追跡装置10の各機能構成要素の機能はソフトウェアにより実現される。
ストレージ13には、追跡装置10の各機能構成要素の機能を実現するプログラムが格納されている。このプログラムは、プロセッサ11によりメモリ12に読み込まれ、プロセッサ11によって実行される。これにより、追跡装置10の各機能構成要素の機能が実現される。
The tracking device 10 includes a region setting section 21, an image acquisition section 22, a detection section 23, a feature calculation section 24, a tracking section 25, and an exclusion section 26 as functional components. The functions of each functional component of the tracking device 10 are realized by software.
The storage 13 stores programs that implement the functions of each functional component of the tracking device 10. This program is read into the memory 12 by the processor 11 and executed by the processor 11. Thereby, the functions of each functional component of the tracking device 10 are realized.

また、ストレージ13には、退出領域41が記憶される。 Furthermore, an exit area 41 is stored in the storage 13 .

図1では、プロセッサ11は、1つだけ示されていた。しかし、プロセッサ11は、複数であってもよく、複数のプロセッサ11が、各機能を実現するプログラムを連携して実行してもよい。 In FIG. 1, only one processor 11 was shown. However, there may be a plurality of processors 11, and the plurality of processors 11 may cooperate to execute programs that implement each function.

***動作の説明***
図2から図5を参照して、実施の形態1に係る追跡装置10の動作を説明する。
実施の形態1に係る追跡装置10の動作手順は、実施の形態1に係る追跡方法に相当する。また、実施の形態1に係る追跡装置10の動作を実現するプログラムは、実施の形態1に係る追跡プログラムに相当する。
***Operation explanation***
The operation of the tracking device 10 according to the first embodiment will be described with reference to FIGS. 2 to 5.
The operation procedure of the tracking device 10 according to the first embodiment corresponds to the tracking method according to the first embodiment. Furthermore, a program that realizes the operation of the tracking device 10 according to the first embodiment corresponds to the tracking program according to the first embodiment.

追跡装置10の動作は、領域設定処理と、追跡処理とを含む。領域設定処理は、退出領域41を設定する処理である。追跡処理は、対象物を追跡する処理である。実施の形態1では、対象物は人であるとする。但し、対象物は、人に限らず、車、鞄等他の種別の物体であってもよい。 The operation of the tracking device 10 includes area setting processing and tracking processing. The area setting process is a process for setting the exit area 41. The tracking process is a process of tracking a target object. In the first embodiment, it is assumed that the object is a person. However, the target object is not limited to a person, but may be another type of object such as a car or a bag.

図2を参照して、実施の形態1に係る領域設定処理を説明する。
領域設定部21は、管理者の操作に従い、退出領域41を設定する。退出領域41は、ストレージ13に書き込まれる。退出領域41は、追跡領域42から対象物が退出する前に通る領域である。追跡領域42は、対象物を追跡する領域であり、カメラ31の撮影領域32を含む領域である。退出領域41は、任意の形状でよく、複数か所設定されてもよい。
図2に示す撮影領域32では、対象物である人は、床を通って移動するため、撮影領域32の端部のうち床部分の端部の周辺だけが退出領域41に設定されている。また、扉の前の床部分にも退出領域41が設定されている。カメラ31が監視カメラ等である場合には、このように退出領域41は、撮影領域32の端部の一部分の周辺領域と、扉の前のような撮影領域の端部以外の領域との少なくともいずれかとなることが想定される。
Region setting processing according to the first embodiment will be described with reference to FIG. 2.
The area setting unit 21 sets the exit area 41 according to the administrator's operation. The exit area 41 is written to the storage 13. The exit area 41 is an area through which the object passes before exiting the tracking area 42 . The tracking area 42 is an area for tracking an object, and is an area that includes the photographing area 32 of the camera 31. The exit area 41 may have any shape and may be set in a plurality of locations.
In the photographing area 32 shown in FIG. 2, since the person as the object moves through the floor, only the periphery of the end of the floor portion among the ends of the photographing area 32 is set as the exit area 41. Further, an exit area 41 is also set on the floor in front of the door. When the camera 31 is a surveillance camera or the like, the exit area 41 is defined as at least the peripheral area of a part of the end of the photographing area 32 and the area other than the end of the photographing area, such as in front of the door. It is assumed that either of these will occur.

図3を参照して、実施の形態1に係る追跡処理を説明する。
(ステップS11:画像取得処理)
画像取得部22は、カメラ31によって撮影領域32が撮影されて得られた映像データを構成する複数の画像データを、時刻順に対象の画像データとして取得する。
With reference to FIG. 3, tracking processing according to the first embodiment will be described.
(Step S11: Image acquisition processing)
The image acquisition unit 22 acquires a plurality of image data forming the video data obtained by photographing the photographing area 32 by the camera 31 as target image data in chronological order.

(ステップS12:検出処理)
検出部23は、ステップS11で取得された対象の画像データから、1つ以上の対象物を検出する。
具体的には、検出部23は、ニューラルネットワーク等を用いて構成された、画像データから対象物を検出する物体検出モデルに対して、対象の画像データを入力することにより、対象物を検出する。ここでは、検出された対象物を囲む矩形の検出枠が得られるものとする。
(Step S12: Detection process)
The detection unit 23 detects one or more target objects from the target image data acquired in step S11.
Specifically, the detection unit 23 detects the target object by inputting the image data of the target to an object detection model that detects the target object from image data, which is configured using a neural network or the like. . Here, it is assumed that a rectangular detection frame surrounding the detected object is obtained.

ステップS13及びステップS14の処理が、ステップS12で検出された各対象物を処理対象として実行される。 The processes in step S13 and step S14 are executed using each object detected in step S12 as a process target.

(ステップS13:特徴量計算処理)
特徴量計算部24は、対象物の特徴量を計算する。特徴量の計算方法は既存技術を用いればよい。
(Step S13: Feature amount calculation process)
The feature amount calculation unit 24 calculates the feature amount of the object. Existing techniques may be used as a method for calculating feature amounts.

(ステップS14:対応付け処理)
追跡部25は、対象の画像データよりも過去の画像データから検出された1つ以上の対象物それぞれについての移動軌跡と、対象の画像データから検出された処理対象の対象物との対応付けを行う。これにより、追跡部25は、移動軌跡を更新する。
なお、ここで対応付けをされる候補となる移動軌跡は、後述するステップS15又はステップS16の処理で更新対象から外されていない移動軌跡である。
(Step S14: Correlation processing)
The tracking unit 25 associates the movement trajectory of each of one or more objects detected from image data older than the image data of the target with the object to be processed detected from the image data of the target. conduct. Thereby, the tracking unit 25 updates the movement trajectory.
Note that the movement trajectory that is a candidate to be associated here is a movement trajectory that has not been removed from the update target in the process of step S15 or step S16, which will be described later.

具体的には、追跡部25はステップS141からステップS143の処理を実行する。
(ステップS141:相違度計算処理)
追跡部25は、更新対象から外されていない各移動軌跡を対象の移動軌跡に設定する。追跡部25は、対象の移動軌跡における最近の対象物と、処理対象の対象物との相違度を計算する。対象の移動軌跡における最近の対象物とは、後述するステップS142又はステップS143の処理で対象の移動軌跡に最後に追加された対象物である。
具体的には、追跡部25は、最近の対象物の位置と処理対象の対象物の位置との間の距離である第1距離と、最近の対象物の特徴量と処理対象の対象物の特徴量との間の距離である第2距離との少なくともいずれかから相違度を計算する。例えば、追跡部25は、第1距離と第2距離との重み付け和を相違度として計算する。
実施の形態1では、対象物が接地していることが前提となる人であるため、対象物の位置は、ステップS12で得られた検知枠の下辺中央部の位置である。対象物によっては、対象物の位置は、ステップS12で得られた検知枠の中心としてもよい。位置の間の距離としては、ユークリッド距離が考えられる。特徴量の間の距離としては、コサイン距離が考えられる。
Specifically, the tracking unit 25 executes the processes from step S141 to step S143.
(Step S141: Dissimilarity calculation process)
The tracking unit 25 sets each movement trajectory that is not excluded from the update target as the target movement trajectory. The tracking unit 25 calculates the degree of difference between the recent object in the movement trajectory of the object and the object to be processed. The most recent object in the movement trajectory of the target is the object that was added last to the movement trajectory of the target in the process of step S142 or step S143, which will be described later.
Specifically, the tracking unit 25 calculates a first distance, which is the distance between the most recent position of the object and the position of the object to be processed, and the feature amount of the most recent object and the position of the object to be processed. The degree of dissimilarity is calculated from at least one of the second distance, which is the distance between the feature amount and the second distance. For example, the tracking unit 25 calculates the weighted sum of the first distance and the second distance as the degree of dissimilarity.
In the first embodiment, since the target object is a person who is required to be in contact with the ground, the position of the target object is the position of the center of the lower side of the detection frame obtained in step S12. Depending on the target object, the position of the target object may be the center of the detection frame obtained in step S12. Euclidean distance can be considered as the distance between positions. A cosine distance can be considered as the distance between the feature amounts.

追跡部25は、相違度が閾値以下の移動軌跡があった場合には、処理をステップS142に進める。一方、追跡部25は、相違度が閾値以下の移動軌跡がない場合には、処理をステップS143に進める。 The tracking unit 25 advances the process to step S142 if there is a movement trajectory with a degree of difference equal to or less than the threshold value. On the other hand, if there is no movement trajectory with a degree of difference equal to or less than the threshold value, the tracking unit 25 advances the process to step S143.

(ステップS142:追加処理)
追跡部25は、ステップS141で計算された相違度が最も小さい移動軌跡に、処理対象の対象物を追加する。
(Step S142: Additional processing)
The tracking unit 25 adds the object to be processed to the movement trajectory with the smallest degree of difference calculated in step S141.

(ステップS143:新規軌跡生成処理)
追跡部25は、新規に移動軌跡を生成して、処理対象の対象物を追加する。
(Step S143: New trajectory generation process)
The tracking unit 25 generates a new movement trajectory and adds an object to be processed.

ステップS15及びステップS16の処理が、ステップS14で対象物が追加されなかった各移動軌跡を対象として実行される。 The processes in step S15 and step S16 are executed for each movement trajectory to which no target object was added in step S14.

(ステップS15:第1除外処理)
除外部26は、対象の移動軌跡が、時系列に連続する基準数の画像データから検出された対象物との対応付けがされなかった場合に、追跡部25による更新対象から外す。
(Step S15: First exclusion process)
The exclusion unit 26 excludes the object from being updated by the tracking unit 25 when the movement trajectory of the object is not correlated with the object detected from the reference number of chronologically continuous image data.

図4を参照して具体的に説明する。
図4では、基準数を3とする。また、対象の画像データを画像データtとする。基準数が3であるため、除外部26は、対象の画像データを含めて連続する3つの画像データから検出された対象物との対応付けがされなかった移動軌跡を追跡部25による更新対象から外す。したがって、画像データtと、画像データt-1と、画像データt-2との3つ全てについて、検出された対象物と対応付けがされなかった移動軌跡が更新対象から外される。
移動軌跡Aは、対象の画像データである画像データtから検出された対象物と対応付けされている。そのため、移動軌跡Aは、そもそもステップS15の処理の対象にはならず、更新対象から外されることはない。
移動軌跡Bは、画像データt及び画像データt-1から検出された対象物と対応付けされていない。しかし、移動軌跡Bは、画像データt-2から検出された対象物と対応付けされている。そのため、移動軌跡Bは、更新対象から外されない。
移動軌跡Cは、画像データtと、画像データt-1と、画像データt-2との3つ全てについて、検出された対象物と対応付けがされていない。そのため、移動軌跡Cは、更新対象から外される。
This will be explained in detail with reference to FIG. 4.
In FIG. 4, the reference number is 3. Further, the target image data is assumed to be image data t. Since the reference number is 3, the exclusion unit 26 excludes movement trajectories that have not been associated with objects detected from three consecutive image data including the target image data from being updated by the tracking unit 25. remove. Therefore, for all three image data t, image data t-1, and image data t-2, movement trajectories that are not associated with detected objects are excluded from the update target.
The movement trajectory A is associated with an object detected from image data t, which is image data of the object. Therefore, the movement trajectory A is not subject to the processing in step S15 in the first place, and is not excluded from the update subject.
The movement trajectory B is not associated with the object detected from the image data t and image data t-1. However, the movement trajectory B is associated with the object detected from the image data t-2. Therefore, movement trajectory B is not excluded from the update target.
The movement trajectory C is not associated with any detected object for all three of the image data t, image data t-1, and image data t-2. Therefore, the movement trajectory C is excluded from the update target.

(ステップS16:第2除外処理)
除外部26は、対象の移動軌跡が、退出領域41に対象の画像データの前の画像データから検出された対象物の位置が含まれる場合に、追跡部25による更新対象から外す。対象の画像データの前の画像データから検出された対象物の位置とは、対象の移動軌跡の直近の位置である。つまり、対象の画像データから検出された対象物と対応付けされず、かつ、直近の位置が退出領域41にある移動軌跡は、更新対象から外される。これは、対象の画像データから検出された対象物と対応付けされず、かつ、直近の位置が退出領域41にある場合には、移動軌跡が示す対象物は追跡領域42の外に出たと推定されるためである。
(Step S16: Second exclusion process)
The exclusion unit 26 excludes the object from being updated by the tracking unit 25 when the movement trajectory of the object includes the position of the object detected from the image data before the image data of the object in the exit area 41. The position of the object detected from the image data before the image data of the object is the closest position of the movement trajectory of the object. That is, a movement trajectory that is not associated with a target object detected from the target image data and whose most recent position is in the exit area 41 is excluded from the update target. This means that if the object is not associated with the object detected from the image data of the target and its most recent position is in the exit area 41, the object indicated by the movement trajectory is presumed to have gone outside the tracking area 42. This is to be done.

図5を参照して具体的に説明する。
図5では、図2に示す通りに退出領域41が設定されている。
移動軌跡Dについて、対象の画像データの前の画像データから検出された対象物の位置は、退出領域41に含まれている。しかし、移動軌跡Dは、対象の画像データである画像データtから検出された対象物と対応付けされている。そのため、移動軌跡Dは、そもそもステップS16の処理の対象にはならず、更新対象から外されることはない。
移動軌跡Eについて、対象の画像データの前の画像データから検出された対象物の位置は、退出領域41に含まれていない。そのため、移動軌跡Eは、更新対象から外されない。
移動軌跡Fについて、対象の画像データの前の画像データから検出された対象物の位置は、退出領域41に含まれている。そのため、移動軌跡Fは、更新対象から外される。
This will be explained in detail with reference to FIG.
In FIG. 5, the exit area 41 is set as shown in FIG.
Regarding the movement trajectory D, the position of the object detected from the image data before the image data of the object is included in the exit area 41. However, the movement trajectory D is associated with the target object detected from the image data t, which is the image data of the target. Therefore, the movement trajectory D is not subject to the processing in step S16 in the first place, and is not excluded from the update subject.
Regarding the movement trajectory E, the position of the object detected from the image data before the image data of the object is not included in the exit area 41. Therefore, the movement trajectory E is not excluded from the update target.
Regarding the movement trajectory F, the position of the object detected from the image data before the image data of the object is included in the exit area 41. Therefore, the movement trajectory F is excluded from the update target.

処理はステップS11に戻され、時刻順に次の画像データが対象の画像データとして取得される。 The process returns to step S11, and the next image data in time order is acquired as target image data.

***実施の形態1の効果***
以上のように、実施の形態1に係る追跡装置10は、追跡領域42から対象物が退出する前に通る退出領域43に対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を更新対象から外す。
これにより、移動軌跡が示す対象物が追跡領域42の外に出たと推定される移動軌跡を更新対象から外すことができる。そのため、適切な移動軌跡を対応付けする候補から外せるようになる。適切な移動軌跡を対応付けする候補から外すことにより、追跡の精度向上と、計算量の抑制とを実現することができる。
***Effects of Embodiment 1***
As described above, in the tracking device 10 according to the first embodiment, the position of the object detected from the image data before the image data of the object is in the exit area 43 through which the object passes before exiting from the tracking area 42. Remove the included movement trajectory from the update target.
Thereby, a movement trajectory in which the object indicated by the movement trajectory is estimated to have moved outside the tracking area 42 can be excluded from the update target. Therefore, it becomes possible to remove appropriate movement trajectories from the candidates to be associated. By excluding appropriate movement trajectories from candidates to be associated, it is possible to improve tracking accuracy and reduce the amount of calculation.

***他の構成***
<変形例1>
変形例1として、追跡部25は、同じ属性の対象物同士を対応付けし、異なる属性の対象物同士を対応付けしないようにしてもよい。例えば、対象物が、人と車両とであるとする。この場合には、人の移動軌跡には、人だけが対応付けされ、車両の移動軌跡には、車両だけが対応付けされる。
***Other configurations***
<Modification 1>
As a first modification, the tracking unit 25 may associate objects with the same attribute with each other, and may not associate objects with different attributes with each other. For example, assume that the objects are people and vehicles. In this case, only people are associated with a person's movement trajectory, and only vehicles are associated with a vehicle movement trajectory.

図6を参照して、変形例1に係る追跡処理を説明する。
ステップS13及びステップS14の処理が、各属性を対象として、ステップS12で検出された対象の属性の各対象物を処理対象として実行される。その結果、ステップS14では、追跡部25は、同じ属性の対象物同士を対応付けし、異なる属性の対象物同士を対応付けしないようになる。
With reference to FIG. 6, tracking processing according to modification 1 will be described.
The processing in step S13 and step S14 is executed for each attribute, and for each object of the target attribute detected in step S12. As a result, in step S14, the tracking unit 25 associates objects with the same attribute with each other, and does not associate objects with different attributes with each other.

これにより、異なる対象物を誤って同一の対象物として追跡してしまう可能性を抑えることが可能になる。 This makes it possible to suppress the possibility of erroneously tracking different objects as the same object.

<変形例2>
実施の形態1では、各機能構成要素がソフトウェアで実現された。しかし、変形例2として、各機能構成要素はハードウェアで実現されてもよい。この変形例2について、実施の形態1と異なる点を説明する。
<Modification 2>
In the first embodiment, each functional component is realized by software. However, as a second modification, each functional component may be realized by hardware. Regarding this second modification, the differences from the first embodiment will be explained.

図7を参照して、変形例2に係る追跡装置10の構成を説明する。
各機能構成要素がハードウェアで実現される場合には、追跡装置10は、プロセッサ11とメモリ12とストレージ13とに代えて、電子回路15を備える。電子回路15は、各機能構成要素と、メモリ12と、ストレージ13との機能とを実現する専用の回路である。
With reference to FIG. 7, the configuration of the tracking device 10 according to Modification 2 will be described.
When each functional component is realized by hardware, the tracking device 10 includes an electronic circuit 15 instead of the processor 11, memory 12, and storage 13. The electronic circuit 15 is a dedicated circuit that realizes the functions of each functional component, the memory 12, and the storage 13.

電子回路15としては、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ロジックIC、GA、ASIC、FPGAが想定される。GAは、Gate Arrayの略である。ASICは、Application Specific Integrated Circuitの略である。FPGAは、Field-Programmable Gate Arrayの略である。
各機能構成要素を1つの電子回路15で実現してもよいし、各機能構成要素を複数の電子回路15に分散させて実現してもよい。
The electronic circuit 15 may be a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a logic IC, a GA, an ASIC, or an FPGA. GA is an abbreviation for Gate Array. ASIC is an abbreviation for Application Specific Integrated Circuit. FPGA is an abbreviation for Field-Programmable Gate Array.
Each functional component may be realized by one electronic circuit 15, or each functional component may be realized by being distributed among a plurality of electronic circuits 15.

<変形例3>
変形例3として、一部の各機能構成要素がハードウェアで実現され、他の各機能構成要素がソフトウェアで実現されてもよい。
<Modification 3>
As a third modification, some of the functional components may be realized by hardware, and other functional components may be realized by software.

プロセッサ11とメモリ12とストレージ13と電子回路15とを処理回路という。つまり、各機能構成要素の機能は、処理回路により実現される。 The processor 11, memory 12, storage 13, and electronic circuit 15 are referred to as a processing circuit. That is, the functions of each functional component are realized by the processing circuit.

実施の形態2.
実施の形態2は、退出領域41を人手によらず設定する点が実施の形態1と異なる。実施の形態2では、この異なる点を説明し、同一の点については説明を省略する。
Embodiment 2.
The second embodiment differs from the first embodiment in that the exit area 41 is set without manual intervention. In the second embodiment, this different point will be explained, and the explanation of the same point will be omitted.

***動作の説明***
図8から図12を参照して、実施の形態2に係る追跡装置10の動作を説明する。
実施の形態2に係る追跡装置10の動作手順は、実施の形態2に係る追跡方法に相当する。また、実施の形態2に係る追跡装置10の動作を実現するプログラムは、実施の形態2に係る追跡プログラムに相当する。
***Operation explanation***
The operation of the tracking device 10 according to the second embodiment will be described with reference to FIGS. 8 to 12.
The operation procedure of the tracking device 10 according to the second embodiment corresponds to the tracking method according to the second embodiment. Further, a program that realizes the operation of the tracking device 10 according to the second embodiment corresponds to the tracking program according to the second embodiment.

退出領域41の設定方法として方法1と方法2とを説明する。
方法1及び方法2では、まず設定期間の間、図8に示すように、図3に示す追跡処理からステップS16の処理を除いた処理を実行する。設定期間は、追跡処理を稼働させる前の準備期間である。すると、図9に示すように、複数の移動軌跡が特定される。各移動軌跡は、ステップS143で新規に作成された際に追加された対象物から始まり、ステップS15で更新対象から除外される直前に追加された対象物まで続いている。
Method 1 and Method 2 will be explained as methods for setting the exit area 41.
In method 1 and method 2, first, as shown in FIG. 8, during a set period, the tracking process shown in FIG. 3 except for step S16 is executed. The setting period is a preparation period before starting the tracking process. Then, as shown in FIG. 9, a plurality of movement trajectories are identified. Each movement trajectory starts from the target object that was added when it was newly created in step S143, and continues to the target object that was added immediately before being excluded from the update target in step S15.

<方法1>
図10を参照して方法1を説明する。
領域設定部21は、設定期間にカメラ31によって得られた画像データから生成された各移動軌跡における最初の位置に点を打つ。つまり、領域設定部21は、各移動軌跡における、ステップS143で新規に作成された際に追加された対象物の位置に点を打つ。この位置は、撮影領域32に対象物が入ってきた直後の位置を示すと推定される。なお、図10では点の数が少ないが、実際にはある程度の長さの期間を設定期間とすることで、多くの点が打たれるようにする。領域設定部21は、打たれた点を囲む領域の外縁部を退出領域41に設定する。打たれた点を囲む領域の特定方法としては、凸包を用いることが考えられる。
対象物が入ってきた場所は、対象物が出ていく前に通る場所と推定される。そのため、対象物が入ってきた位置を囲む領域の外縁部を退出領域41に設定することで、適切に退出領域41を設定可能である。
<Method 1>
Method 1 will be explained with reference to FIG.
The area setting unit 21 places a point at the first position in each movement trajectory generated from the image data obtained by the camera 31 during the setting period. That is, the area setting unit 21 places a dot on each movement locus at the position of the object added when newly created in step S143. This position is estimated to indicate the position immediately after the object enters the photographing area 32. Note that although the number of dots is small in FIG. 10, in reality, by setting a period of a certain length as the set period, many dots can be hit. The area setting unit 21 sets the outer edge of the area surrounding the hit point as the exit area 41. A convex hull may be used as a method for specifying the area surrounding the hit point.
The place where the object entered is estimated to be the place through which the object passed before leaving. Therefore, by setting the outer edge of the area surrounding the position where the object entered as the exit area 41, the exit area 41 can be appropriately set.

<方法2>
図11を参照して方法2を説明する。
領域設定部21は、設定期間にカメラ31によって得られた画像データから生成された各移動軌跡における最後の位置に点を打つ。つまり、領域設定部21は、各移動軌跡における、ステップS15で更新対象から除外される直前に追加された対象物の位置に点を打つ。この位置は、撮影領域32から対象物が出る直前の位置を示すと推定される。なお、図11では点の数が少ないが、実際にはある程度の長さの期間を設定期間とすることで、多くの点が打たれるようにする。領域設定部21は、打たれた点を囲む領域の外縁部を退出領域41に設定する。
対象物が出る直前の場所は、対象物が出ていく前に通る場所と推定される。そのため、対象物が出る直前の位置を囲む領域の外縁部を退出領域41に設定することで、適切に退出領域41を設定可能である。
<Method 2>
Method 2 will be explained with reference to FIG.
The area setting unit 21 places a dot at the last position in each movement trajectory generated from the image data obtained by the camera 31 during the setting period. That is, the area setting unit 21 places a dot on each movement locus at the position of the object that was added immediately before being excluded from the update target in step S15. This position is estimated to indicate the position immediately before the object leaves the imaging area 32. Note that although the number of dots is small in FIG. 11, in reality, by setting a period of a certain length as the set period, many dots can be hit. The area setting unit 21 sets the outer edge of the area surrounding the hit point as the exit area 41.
The location immediately before the object exits is estimated to be the location the object passes through before exiting. Therefore, by setting the outer edge of the area surrounding the position immediately before the object exits as the exit area 41, the exit area 41 can be appropriately set.

なお、方法1と方法2とを組み合わせて、領域設定部21は、設定期間にカメラ31によって得られた画像データから生成された各移動軌跡における最初の位置と最後の位置との両方に点を打ってもよい。 Note that by combining method 1 and method 2, the area setting unit 21 sets points at both the first position and the last position in each movement trajectory generated from image data obtained by the camera 31 during the setting period. You can hit it.

方法1及び方法2において、領域設定部21は、打たれた点を囲む際、近接する点毎にクラスタリングし、クラスター毎に点を囲んでもよい。そして、領域設定部21は、囲まれた範囲内又は囲まれた範囲の外縁を退出領域41としてもよい。例えば、図12の(A)のように、全ての点を1度に囲んだ場合には、対象物が出ていく前に通る場所以外のも退出領域41が設定される可能性がある。これに対して、図12の(B)に示すように、クラスタリングをすることで、対象物が出ていく前に通る場所以外に退出領域41が設定されることを防止できる可能性がある。 In method 1 and method 2, when enclosing the hit point, the area setting unit 21 may perform clustering for each adjacent point and surround the point for each cluster. Then, the area setting unit 21 may set the exit area 41 as the inside of the enclosed range or the outer edge of the enclosed range. For example, as shown in FIG. 12(A), when all points are surrounded at once, there is a possibility that exit areas 41 may be set in areas other than the locations where the object passes before exiting. On the other hand, as shown in FIG. 12(B), by clustering, it is possible to prevent the exit area 41 from being set at a location other than the location where the object passes before exiting.

***実施の形態2の効果***
以上のように、実施の形態2に係る追跡装置10は、人手によらず退出領域41を設定する。これにより、カメラ31の設置位置毎に退出領域41を設定する作業を行う必要がなくなり、追跡装置10の運用負荷を軽減可能である。
***Effects of Embodiment 2***
As described above, the tracking device 10 according to the second embodiment sets the exit area 41 without manual intervention. This eliminates the need to set the exit area 41 for each installation position of the camera 31, and the operational load on the tracking device 10 can be reduced.

なお、領域設定部21は、方法1又は方法2で設定した退出領域41に対する修正を受け付けてもよい。例えば、管理者が、方法1又は方法2で設定した退出領域41を見て、形状を整えることが考えられる。 Note that the area setting unit 21 may accept corrections to the exit area 41 set by method 1 or method 2. For example, it is conceivable that the administrator looks at the exit area 41 set in method 1 or method 2 and adjusts the shape.

以上の説明における「部」を、「回路」、「工程」、「手順」、「処理」又は「処理回路」に読み替えてもよい。 "Unit" in the above description may be read as "circuit," "step," "procedure," "process," or "processing circuit."

以下、本開示の諸態様を付記としてまとめて記載する。
(付記1)
カメラによって撮影領域が撮影されて得られた複数の画像データを時刻順に対象の画像データとして、前記対象の画像データよりも過去の画像データから検出された1つ以上の対象物それぞれについての移動軌跡と、前記対象の画像データから検出された1つ以上の対象物それぞれとの対応付けを行うことにより、前記移動軌跡を更新する追跡部と、
前記1つ以上の対象物それぞれについての移動軌跡のうち、前記追跡部によって前記対象の画像データから検出された対象物との対応付けがされなかった移動軌跡であって、前記撮影領域を含む追跡領域から前記対象物が退出する前に通る退出領域に前記対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を前記追跡部による更新対象から外す除外部と
を備える追跡装置。
(付記2)
前記退出領域は、前記撮影領域の端部の一部分の周辺領域と、前記撮影領域の端部以外の領域との少なくともいずれかである
付記1に記載の追跡装置。
(付記3)
前記追跡装置は、さらに、
設定期間に前記カメラによって得られた画像データから生成された移動軌跡における最初の位置を示す点を囲む領域の外縁部を前記退出領域に設定する領域設定部
を備える付記1に記載の追跡装置。
(付記4)
前記追跡装置は、さらに、
設定期間に前記カメラによって得られた画像データから生成された移動軌跡における最後の位置を示す点を囲む領域の外縁部を前記退出領域に設定する領域設定部
を備える付記1に記載の追跡装置。
(付記5)
前記除外部は、時系列に連続する基準数の画像データから検出された対象物との対応付けがされなかった移動軌跡を前記追跡部による更新対象から外す
付記1から4までのいずれか1項に記載の追跡装置。
(付記6)
前記追跡部は、前記対象の画像データから検出された対象物の位置と、前記移動軌跡における前記対象の画像データの前の画像データから検出された対象物の位置との間の距離を用いて、前記移動軌跡と前記対象の画像データから検出された対象物との対応付けを行う
付記1から5までのいずれか1項に記載の追跡装置。
(付記7)
前記追跡部は、前記対象の画像データから検出された対象物の特徴量と、前記移動軌跡における前記対象の画像データの前の画像データから検出された対象物の特徴量との間の距離を用いて、前記移動軌跡と前記対象の画像データから検出された対象物との対応付けを行う
付記1から6までのいずれか1項に記載の追跡装置。
(付記8)
前記追跡部は、同じ属性の対象物同士を対応付けする
付記1から7までのいずれか1項に記載の追跡装置。
(付記9)
コンピュータが、カメラによって撮影領域が撮影されて得られた複数の画像データを時刻順に対象の画像データとして、前記対象の画像データよりも過去の画像データから検出された1つ以上の対象物それぞれについての移動軌跡と、前記対象の画像データから検出された1つ以上の対象物それぞれとの対応付けを行うことにより、前記移動軌跡を更新し、
コンピュータが、前記1つ以上の対象物それぞれについての移動軌跡のうち、前記対象の画像データから検出された対象物との対応付けがされなかった移動軌跡であって、前記撮影領域を含む追跡領域から前記対象物が退出する前に通る退出領域に前記対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を更新対象から外す追跡方法。
(付記10)
カメラによって撮影領域が撮影されて得られた複数の画像データを時刻順に対象の画像データとして、前記対象の画像データよりも過去の画像データから検出された1つ以上の対象物それぞれについての移動軌跡と、前記対象の画像データから検出された1つ以上の対象物それぞれとの対応付けを行うことにより、前記移動軌跡を更新する追跡処理と、
前記1つ以上の対象物それぞれについての移動軌跡のうち、前記追跡処理によって前記対象の画像データから検出された対象物との対応付けがされなかった移動軌跡であって、前記撮影領域を含む追跡領域から前記対象物が退出する前に通る退出領域に前記対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を前記追跡処理による更新対象から外す除外処理と
を行う追跡装置としてコンピュータを機能させる追跡プログラム。
Hereinafter, various aspects of the present disclosure will be collectively described as supplementary notes.
(Additional note 1)
A plurality of image data obtained by photographing a photographing area by a camera are set as target image data in time order, and a movement trajectory of each of one or more targets detected from image data older than the target image data. and a tracking unit that updates the movement trajectory by associating each of the objects with one or more objects detected from the image data of the object;
Among the movement trajectories of each of the one or more objects, a movement trajectory that is not correlated with the object detected from the image data of the object by the tracking unit, and includes the photographed area. an exclusion unit that excludes a movement trajectory that includes a position of the object detected from image data preceding the image data of the object in an exit area through which the object passes before exiting the area from an update target by the tracking unit; tracking device.
(Additional note 2)
The tracking device according to appendix 1, wherein the exit area is at least one of a peripheral area of a part of the end of the imaging area and an area other than the end of the imaging area.
(Additional note 3)
The tracking device further includes:
The tracking device according to supplementary note 1, further comprising an area setting unit that sets an outer edge of an area surrounding a point indicating a first position on a movement trajectory generated from image data obtained by the camera during a setting period as the exit area.
(Additional note 4)
The tracking device further includes:
The tracking device according to supplementary note 1, further comprising an area setting unit that sets an outer edge of an area surrounding a point indicating a last position on a movement trajectory generated from image data obtained by the camera during a setting period as the exit area.
(Appendix 5)
The exclusion unit excludes a movement trajectory that has not been associated with an object detected from a reference number of chronologically continuous image data from being updated by the tracking unit. The tracking device described in .
(Appendix 6)
The tracking unit uses a distance between a position of the target detected from the image data of the target and a position of the target detected from image data before the image data of the target on the movement trajectory. , the tracking device according to any one of Supplementary Notes 1 to 5, which correlates the movement trajectory with a target object detected from image data of the target.
(Appendix 7)
The tracking unit calculates the distance between the feature amount of the object detected from the image data of the object and the feature amount of the object detected from the image data before the image data of the object in the movement trajectory. The tracking device according to any one of Supplementary Notes 1 to 6, wherein the tracking device uses the tracking device to associate the movement trajectory with a target object detected from image data of the target.
(Appendix 8)
The tracking device according to any one of Supplementary Notes 1 to 7, wherein the tracking unit associates objects with the same attribute with each other.
(Appendix 9)
A computer uses a plurality of image data obtained by photographing a photographing area with a camera as target image data in chronological order, and for each of one or more target objects detected from image data older than the target image data. updating the movement trajectory by associating the movement trajectory with each of one or more objects detected from the image data of the target;
Among the movement trajectories of each of the one or more objects, the computer determines a tracking area that includes the photographed area, which is a movement trajectory that has not been correlated with the object detected from the image data of the object. A tracking method that excludes from updating a movement trajectory in which an exit area through which the object passes before exiting from the object includes a position of the object detected from image data before image data of the object.
(Appendix 10)
A plurality of image data obtained by photographing a photographing area by a camera are set as target image data in time order, and a movement trajectory of each of one or more targets detected from image data older than the target image data. and a tracking process that updates the movement trajectory by associating the object with each of the one or more objects detected from the image data of the object;
Among the movement trajectories of each of the one or more objects, a movement trajectory that is not correlated with the object detected from the image data of the object by the tracking process, and includes the photographed area. Exclusion processing that excludes a movement trajectory in which the position of the object detected from the image data before the image data of the object is included in an exit area through which the object passes before exiting the area from the update target by the tracking process. A tracking program that allows your computer to act as a tracking device.

以上、本開示の実施の形態及び変形例について説明した。これらの実施の形態及び変形例のうち、いくつかを組み合わせて実施してもよい。また、いずれか1つ又はいくつかを部分的に実施してもよい。なお、本開示は、以上の実施の形態及び変形例に限定されるものではなく、必要に応じて種々の変更が可能である。 The embodiments and modifications of the present disclosure have been described above. Some of these embodiments and modifications may be implemented in combination. Moreover, any one or some of them may be partially implemented. Note that the present disclosure is not limited to the above embodiments and modifications, and various changes can be made as necessary.

10 追跡装置、11 プロセッサ、12 メモリ、13 ストレージ、14 通信インタフェース、15 電子回路、21 領域設定部、22 画像取得部、23 検出部、24 特徴量計算部、25 追跡部、26 除外部、31 カメラ、32 撮影領域、41 退出領域、42 追跡領域。 10 tracking device, 11 processor, 12 memory, 13 storage, 14 communication interface, 15 electronic circuit, 21 area setting unit, 22 image acquisition unit, 23 detection unit, 24 feature amount calculation unit, 25 tracking unit, 26 exclusion unit, 31 Camera, 32 Photographing area, 41 Exit area, 42 Tracking area.

Claims (13)

カメラによって撮影領域が撮影されて得られた複数の画像データを時刻順に対象の画像データとして、前記対象の画像データよりも過去の画像データから検出された1つ以上の対象物それぞれについての移動軌跡と、前記対象の画像データから検出された1つ以上の対象物それぞれとの対応付けを行うことにより、前記移動軌跡を更新する追跡部と、
前記1つ以上の対象物それぞれについての移動軌跡のうち、前記追跡部によって前記対象の画像データから検出された対象物との対応付けがされなかった移動軌跡であって、前記撮影領域の端部の一部分の周辺領域と、前記撮影領域の端部以外の領域との少なくともいずれかであり、前記撮影領域を含む追跡領域から前記対象物が退出する前に通る退出領域に前記対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を前記追跡部による更新対象から外す除外部と
を備える追跡装置。
A plurality of image data obtained by photographing a photographing area by a camera are set as target image data in time order, and a movement trajectory of each of one or more targets detected from image data older than the target image data. and a tracking unit that updates the movement trajectory by associating each of the objects with one or more objects detected from the image data of the object;
Among the movement trajectories of each of the one or more objects, a movement trajectory that has not been correlated with the object detected from the image data of the object by the tracking unit, and which is an edge of the photographing area The image data of the object is at least one of a peripheral area of a part of the area and an area other than the edge of the imaging area, and the image data of the object is in an exit area through which the object passes before exiting from a tracking area including the imaging area. A tracking device comprising: an exclusion unit that excludes a movement trajectory including a position of an object detected from previous image data from being updated by the tracking unit.
カメラによって撮影領域が撮影されて得られた複数の画像データを時刻順に対象の画像データとして、前記対象の画像データよりも過去の画像データから検出された1つ以上の対象物それぞれについての移動軌跡と、前記対象の画像データから検出された1つ以上の対象物それぞれとの対応付けを行うことにより、前記移動軌跡を更新する追跡部と、
前記1つ以上の対象物それぞれについての移動軌跡のうち、前記追跡部によって前記対象の画像データから検出された対象物との対応付けがされなかった移動軌跡であって、前記撮影領域を含む追跡領域から前記対象物が退出する前に通る退出領域に前記対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を前記追跡部による更新対象から外す除外部と
設定期間に前記カメラによって得られた画像データから生成された移動軌跡における最初の位置を示す点を囲む領域の外縁部を前記退出領域に設定する領域設定部と
を備える追跡装置。
A plurality of image data obtained by photographing a photographing area by a camera are set as target image data in time order, and a movement trajectory of each of one or more targets detected from image data older than the target image data. and a tracking unit that updates the movement trajectory by associating each of the objects with one or more objects detected from the image data of the object;
Among the movement trajectories of each of the one or more objects, a movement trajectory that is not correlated with the object detected from the image data of the object by the tracking unit, and includes the photographed area. an exclusion unit that excludes a movement trajectory that includes a position of the object detected from image data before the image data of the object in an exit area through which the object passes before exiting the area from an update target by the tracking unit ;
an area setting unit that sets an outer edge of an area surrounding a point indicating a first position on a movement trajectory generated from image data obtained by the camera during a setting period as the exit area;
A tracking device comprising:
カメラによって撮影領域が撮影されて得られた複数の画像データを時刻順に対象の画像データとして、前記対象の画像データよりも過去の画像データから検出された1つ以上の対象物それぞれについての移動軌跡と、前記対象の画像データから検出された1つ以上の対象物それぞれとの対応付けを行うことにより、前記移動軌跡を更新する追跡部と、
前記1つ以上の対象物それぞれについての移動軌跡のうち、前記追跡部によって前記対象の画像データから検出された対象物との対応付けがされなかった移動軌跡であって、前記撮影領域を含む追跡領域から前記対象物が退出する前に通る退出領域に前記対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を前記追跡部による更新対象から外す除外部と
設定期間に前記カメラによって得られた画像データから生成された移動軌跡における最後の位置を示す点を囲む領域の外縁部を前記退出領域に設定する領域設定部と
を備える追跡装置。
A plurality of image data obtained by photographing a photographing area by a camera are set as target image data in time order, and a movement trajectory of each of one or more targets detected from image data older than the target image data. and a tracking unit that updates the movement trajectory by associating each of the objects with one or more objects detected from the image data of the object;
Among the movement trajectories of each of the one or more objects, a movement trajectory that is not correlated with the object detected from the image data of the object by the tracking unit, and includes the photographed area. an exclusion unit that excludes a movement trajectory that includes a position of the object detected from image data before the image data of the object in an exit area through which the object passes before exiting the area from an update target by the tracking unit ;
an area setting unit that sets an outer edge of an area surrounding a point indicating a last position on a movement trajectory generated from image data obtained by the camera during a setting period as the exit area;
A tracking device comprising:
前記除外部は、時系列に連続する基準数の画像データから検出された対象物との対応付けがされなかった移動軌跡を前記追跡部による更新対象から外す
請求項1から3までのいずれか1項に記載の追跡装置。
Any one of claims 1 to 3, wherein the exclusion unit excludes movement trajectories that have not been associated with objects detected from a reference number of chronologically continuous image data from being updated by the tracking unit. Tracking devices as described in Section .
前記追跡部は、前記対象の画像データから検出された対象物の位置と、前記移動軌跡における前記対象の画像データの前の画像データから検出された対象物の位置との間の距離を用いて、前記移動軌跡と前記対象の画像データから検出された対象物との対応付けを行う
請求項1から3までのいずれか1項に記載の追跡装置。
The tracking unit uses a distance between a position of the target detected from the image data of the target and a position of the target detected from image data before the image data of the target on the movement trajectory. The tracking device according to any one of claims 1 to 3, wherein the tracking device associates the movement trajectory with a target object detected from image data of the target.
前記追跡部は、前記対象の画像データから検出された対象物の特徴量と、前記移動軌跡における前記対象の画像データの前の画像データから検出された対象物の特徴量との間の距離を用いて、前記移動軌跡と前記対象の画像データから検出された対象物との対応付けを行う
請求項1から3までのいずれか1項に記載の追跡装置。
The tracking unit calculates the distance between the feature amount of the object detected from the image data of the object and the feature amount of the object detected from the image data before the image data of the object in the movement trajectory. The tracking device according to any one of claims 1 to 3, wherein the tracking device associates the movement trajectory with a target object detected from image data of the target.
前記追跡部は、同じ属性の対象物同士を対応付けする
請求項1から3までのいずれか1項に記載の追跡装置。
The tracking device according to any one of claims 1 to 3, wherein the tracking unit associates objects with the same attribute.
コンピュータが、カメラによって撮影領域が撮影されて得られた複数の画像データを時刻順に対象の画像データとして、前記対象の画像データよりも過去の画像データから検出された1つ以上の対象物それぞれについての移動軌跡と、前記対象の画像データから検出された1つ以上の対象物それぞれとの対応付けを行うことにより、前記移動軌跡を更新し、
コンピュータが、前記1つ以上の対象物それぞれについての移動軌跡のうち、前記対象の画像データから検出された対象物との対応付けがされなかった移動軌跡であって、前記撮影領域の端部の一部分の周辺領域と、前記撮影領域の端部以外の領域との少なくともいずれかであり、前記撮影領域を含む追跡領域から前記対象物が退出する前に通る退出領域に前記対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を更新対象から外す追跡方法。
A computer uses a plurality of image data obtained by photographing a photographing area with a camera as target image data in chronological order, and for each of one or more target objects detected from image data older than the target image data. updating the movement trajectory by associating the movement trajectory with each of one or more objects detected from the image data of the target;
Of the movement trajectories of each of the one or more objects, the computer detects movement trajectories that are not correlated with the object detected from the image data of the object, and which are located at the edge of the photographing area. At least one of a peripheral region and a region other than the edge of the photographing region, and the front of the image data of the object is an exit region through which the object passes before exiting from a tracking region including the photographing region. A tracking method that excludes movement trajectories that include the position of objects detected from image data from being updated.
コンピュータが、カメラによって撮影領域が撮影されて得られた複数の画像データを時刻順に対象の画像データとして、前記対象の画像データよりも過去の画像データから検出された1つ以上の対象物それぞれについての移動軌跡と、前記対象の画像データから検出された1つ以上の対象物それぞれとの対応付けを行うことにより、前記移動軌跡を更新し、
コンピュータが、前記1つ以上の対象物それぞれについての移動軌跡のうち、前記対象の画像データから検出された対象物との対応付けがされなかった移動軌跡であって、前記撮影領域を含む追跡領域から前記対象物が退出する前に通る退出領域に前記対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を更新対象から外し、
コンピュータが、設定期間に前記カメラによって得られた画像データから生成された移動軌跡における最初の位置を示す点を囲む領域の外縁部を前記退出領域に設定する追跡方法。
A computer uses a plurality of image data obtained by photographing a photographing area with a camera as target image data in chronological order, and for each of one or more target objects detected from image data older than the target image data. updating the movement trajectory by associating the movement trajectory with each of one or more objects detected from the image data of the target;
Among the movement trajectories of each of the one or more objects, the computer determines a tracking area that includes the photographed area, which is a movement trajectory that has not been correlated with the object detected from the image data of the object. excluding from update targets a movement trajectory in which an exit area through which the object passes before exiting includes a position of the object detected from image data before the image data of the object;
A tracking method , wherein a computer sets the outer edge of a region surrounding a point indicating a first position on a movement trajectory generated from image data obtained by the camera during a set period as the exit region.
コンピュータが、カメラによって撮影領域が撮影されて得られた複数の画像データを時刻順に対象の画像データとして、前記対象の画像データよりも過去の画像データから検出された1つ以上の対象物それぞれについての移動軌跡と、前記対象の画像データから検出された1つ以上の対象物それぞれとの対応付けを行うことにより、前記移動軌跡を更新し、
コンピュータが、前記1つ以上の対象物それぞれについての移動軌跡のうち、前記対象の画像データから検出された対象物との対応付けがされなかった移動軌跡であって、前記撮影領域を含む追跡領域から前記対象物が退出する前に通る退出領域に前記対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を更新対象から外し、
コンピュータが、設定期間に前記カメラによって得られた画像データから生成された移動軌跡における最後の位置を示す点を囲む領域の外縁部を前記退出領域に設定する追跡方法。
A computer uses a plurality of image data obtained by photographing a photographing area with a camera as target image data in chronological order, and for each of one or more target objects detected from image data older than the target image data. updating the movement trajectory by associating the movement trajectory with each of one or more objects detected from the image data of the target;
Among the movement trajectories of each of the one or more objects, the computer determines a tracking area that includes the photographed area, which is a movement trajectory that has not been correlated with the object detected from the image data of the object. excluding from update targets a movement trajectory in which an exit area through which the object passes before exiting includes a position of the object detected from image data before the image data of the object;
A tracking method, wherein a computer sets, as the exit area, an outer edge of an area surrounding a point indicating a last position on a movement trajectory generated from image data obtained by the camera during a set period.
カメラによって撮影領域が撮影されて得られた複数の画像データを時刻順に対象の画像データとして、前記対象の画像データよりも過去の画像データから検出された1つ以上の対象物それぞれについての移動軌跡と、前記対象の画像データから検出された1つ以上の対象物それぞれとの対応付けを行うことにより、前記移動軌跡を更新する追跡処理と、
前記1つ以上の対象物それぞれについての移動軌跡のうち、前記追跡処理によって前記対象の画像データから検出された対象物との対応付けがされなかった移動軌跡であって、前記撮影領域の端部の一部分の周辺領域と、前記撮影領域の端部以外の領域との少なくともいずれかであり、前記撮影領域を含む追跡領域から前記対象物が退出する前に通る退出領域に前記対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を前記追跡処理による更新対象から外す除外処理と
を行う追跡装置としてコンピュータを機能させる追跡プログラム。
A plurality of image data obtained by photographing a photographing area by a camera are set as target image data in time order, and a movement trajectory of each of one or more targets detected from image data older than the target image data. and a tracking process that updates the movement trajectory by associating the object with each of the one or more objects detected from the image data of the object;
Among the movement trajectories of each of the one or more objects, a movement trajectory that has not been correlated with the object detected from the image data of the object by the tracking process, and which is an edge of the photographing area. The image data of the object is at least one of a peripheral area of a part of the area and an area other than the edge of the imaging area, and the image data of the object is in an exit area through which the object passes before exiting from a tracking area including the imaging area. A tracking program that causes a computer to function as a tracking device that performs an exclusion process that excludes a movement trajectory that includes a position of an object detected from previous image data from being updated by the tracking process.
カメラによって撮影領域が撮影されて得られた複数の画像データを時刻順に対象の画像データとして、前記対象の画像データよりも過去の画像データから検出された1つ以上の対象物それぞれについての移動軌跡と、前記対象の画像データから検出された1つ以上の対象物それぞれとの対応付けを行うことにより、前記移動軌跡を更新する追跡処理と、
前記1つ以上の対象物それぞれについての移動軌跡のうち、前記追跡処理によって前記対象の画像データから検出された対象物との対応付けがされなかった移動軌跡であって、前記撮影領域を含む追跡領域から前記対象物が退出する前に通る退出領域に前記対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を前記追跡処理による更新対象から外す除外処理と
設定期間に前記カメラによって得られた画像データから生成された移動軌跡における最初の位置を示す点を囲む領域の外縁部を前記退出領域に設定する領域設定処理と
を行う追跡装置としてコンピュータを機能させる追跡プログラム。
A plurality of image data obtained by photographing a photographing area by a camera are set as target image data in time order, and a movement trajectory of each of one or more targets detected from image data older than the target image data. and a tracking process that updates the movement trajectory by associating the object with each of the one or more objects detected from the image data of the object;
Among the movement trajectories of each of the one or more objects, a movement trajectory that is not correlated with the object detected from the image data of the object by the tracking process, and includes the photographed area. Excluding a movement trajectory in which the position of the object detected from the image data before the image data of the object is included in an exit area through which the object passes before exiting the area from the update target by the tracking process ;
an area setting process of setting an outer edge of an area surrounding a point indicating a first position on a movement trajectory generated from image data obtained by the camera during a setting period as the exit area;
A tracking program that allows a computer to act as a tracking device.
カメラによって撮影領域が撮影されて得られた複数の画像データを時刻順に対象の画像データとして、前記対象の画像データよりも過去の画像データから検出された1つ以上の対象物それぞれについての移動軌跡と、前記対象の画像データから検出された1つ以上の対象物それぞれとの対応付けを行うことにより、前記移動軌跡を更新する追跡処理と、
前記1つ以上の対象物それぞれについての移動軌跡のうち、前記追跡処理によって前記対象の画像データから検出された対象物との対応付けがされなかった移動軌跡であって、前記撮影領域を含む追跡領域から前記対象物が退出する前に通る退出領域に前記対象の画像データの前の画像データから検出された対象物の位置が含まれる移動軌跡を前記追跡処理による更新対象から外す除外処理と
設定期間に前記カメラによって得られた画像データから生成された移動軌跡における最後の位置を示す点を囲む領域の外縁部を前記退出領域に設定する領域設定処理と
を行う追跡装置としてコンピュータを機能させる追跡プログラム。
A plurality of image data obtained by photographing a photographing area by a camera are set as target image data in time order, and a movement trajectory of each of one or more targets detected from image data older than the target image data. and a tracking process that updates the movement trajectory by associating the object with each of the one or more objects detected from the image data of the object;
Among the movement trajectories of each of the one or more objects, a movement trajectory that is not correlated with the object detected from the image data of the object by the tracking process, and includes the photographed area. Excluding a movement trajectory in which the position of the object detected from the image data before the image data of the object is included in an exit area through which the object passes before exiting the area from the update target by the tracking process ;
an area setting process of setting an outer edge of an area surrounding a point indicating a last position on a movement trajectory generated from image data obtained by the camera during a setting period as the exit area;
A tracking program that allows a computer to act as a tracking device.
JP2023016840A 2023-02-07 2023-02-07 Tracking devices, tracking methods and tracking programs Active JP7412614B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023016840A JP7412614B1 (en) 2023-02-07 2023-02-07 Tracking devices, tracking methods and tracking programs

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2023016840A JP7412614B1 (en) 2023-02-07 2023-02-07 Tracking devices, tracking methods and tracking programs

Publications (1)

Publication Number Publication Date
JP7412614B1 true JP7412614B1 (en) 2024-01-12

Family

ID=89451977

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023016840A Active JP7412614B1 (en) 2023-02-07 2023-02-07 Tracking devices, tracking methods and tracking programs

Country Status (1)

Country Link
JP (1) JP7412614B1 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103004188A (en) 2010-07-19 2013-03-27 爱普索科技有限公司 Apparatus, system and method
JP2021117760A (en) 2020-01-27 2021-08-10 いすゞ自動車株式会社 Object tracking device and object tracking method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103004188A (en) 2010-07-19 2013-03-27 爱普索科技有限公司 Apparatus, system and method
JP2021117760A (en) 2020-01-27 2021-08-10 いすゞ自動車株式会社 Object tracking device and object tracking method

Similar Documents

Publication Publication Date Title
US9947077B2 (en) Video object tracking in traffic monitoring
US8611590B2 (en) Video object fragmentation detection and management
CN111709975B (en) Multi-target tracking method, device, electronic equipment and storage medium
KR20180105876A (en) Method for tracking image in real time considering both color and shape at the same time and apparatus therefor
US8995714B2 (en) Information creation device for estimating object position and information creation method and program for estimating object position
WO2013012091A1 (en) Information processing apparatus, object tracking method, and program storage medium
KR20110074107A (en) Method for detecting object using camera
US11948312B2 (en) Object detection/tracking device, method, and program recording medium
JP5192437B2 (en) Object region detection apparatus, object region detection method, and object region detection program
JP7412614B1 (en) Tracking devices, tracking methods and tracking programs
US10997398B2 (en) Information processing apparatus, authentication system, method of controlling same, and medium
US10872423B2 (en) Image detection device, image detection method and storage medium storing program
CN112927258A (en) Target tracking method and device
US20240127567A1 (en) Detection-frame position-accuracy improving system and detection-frame position correction method
JP2008243111A (en) Image processing device and image processing method
CN116258881A (en) Image clustering method, device, terminal and computer readable storage medium
US11810221B2 (en) Device, system, control method, and non-transitory computer-readable storage medium
JP2018124786A (en) Image processing device, image processing method, and image processing program
CN113313739A (en) Target tracking method, device and storage medium
CN111986230A (en) Method and device for tracking posture of target object in video
JP7411752B1 (en) Abandoned person identification device, abandoned person identification method, and abandoned person identification program
JP7483060B2 (en) Hand detection device, gesture recognition device, and hand detection method
WO2022157880A1 (en) Hand detection device, gesture recognition device, and hand detection method
JP6554943B2 (en) Image processing apparatus, image processing method, and evaluation method
JP2019020360A (en) Body recognition device, body recognition method and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231030

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231219

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231226

R150 Certificate of patent or registration of utility model

Ref document number: 7412614

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150