WO2017199840A1 - オブジェクト追跡装置、オブジェクト追跡方法および記録媒体 - Google Patents

オブジェクト追跡装置、オブジェクト追跡方法および記録媒体 Download PDF

Info

Publication number
WO2017199840A1
WO2017199840A1 PCT/JP2017/017846 JP2017017846W WO2017199840A1 WO 2017199840 A1 WO2017199840 A1 WO 2017199840A1 JP 2017017846 W JP2017017846 W JP 2017017846W WO 2017199840 A1 WO2017199840 A1 WO 2017199840A1
Authority
WO
WIPO (PCT)
Prior art keywords
tracking
objects
tracker
unit
object tracking
Prior art date
Application number
PCT/JP2017/017846
Other languages
English (en)
French (fr)
Inventor
達勇 秋山
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2018518253A priority Critical patent/JP7120004B2/ja
Priority to US16/301,783 priority patent/US10867394B2/en
Publication of WO2017199840A1 publication Critical patent/WO2017199840A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present invention relates to an object tracking device, an object tracking method, and an object tracking program, and more particularly, to an object tracking system, an object tracking method, and an object tracking program capable of accurately tracking an object even when shielding between objects to be tracked occurs. .
  • the tracking target includes, for example, a person other than the so-called “thing”.
  • Patent Document 3 proposes a method of tracking a person imaged within a predetermined range by a camera and outputting the tracking result as flow line data.
  • Patent Document 4 describes a technique related to a flow line management system using an RFID (radio frequency identifier) tag.
  • Patent Document 1 is not only a case where one object (first object) shields the other object (second object) between a plurality of tracking target objects that move independently, A situation that is assumed even when the second object shields the first object (hereinafter sometimes referred to as mutual shielding) is not assumed.
  • mutual shielding A situation that is assumed even when the second object shields the first object (hereinafter sometimes referred to as mutual shielding) is not assumed.
  • mutual shielding when occlusion occurs, the accuracy of object position prediction deteriorates even if a time-series prediction model is included in the tracking process. This means that the probability that the object tracking process returns from “abnormal” to “normal” decreases.
  • the method described in Patent Document 2 is a method on the premise that the shielding object is a door. Therefore, for example, when the tracking target object is a person, it is difficult to apply the method described in Patent Document 2 to a method of tracking the moving person B blocked by the moving person A.
  • Patent Document 3 is a technique for extracting a flow line of a person who has moved to an image, and does not consider a shielding object.
  • Patent Document 4 is not a technique for tracking an object included in a video.
  • An object tracking apparatus includes an object detection unit that detects an object to be detected from a video, an object tracking unit that tracks the object based on information on the object detected by the object detection unit, and an object tracking unit. Based on the result of the object integration determination unit and the object integration determination unit that determines the set of objects that are close to each other among the objects being tracked by, the proximity state of the object set has been resolved And an object tracking correction unit that corrects the tracking result of the object tracking unit based on the determination result of the object leaving determination unit.
  • the object tracking method detects an object to be detected from a video, tracks the object based on information of the detected object, and is in a proximity state that is close to each other among the objects being tracked A set of objects in the object, and based on the determination result of the object set, it is determined that the proximity state of the object set has been resolved, and tracking is performed based on the determination result indicating that the proximity state has been resolved. It is characterized by correcting the result.
  • FIG. 1 is a block diagram illustrating an example of a system including an object tracking device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an embodiment of the object tracking device in the embodiment of the present invention.
  • FIG. 3 is a flowchart showing an operation example of the object tracking apparatus in the embodiment of the present invention.
  • FIG. 4 is a flowchart illustrating an example of the operation of the object integration determination unit 14.
  • FIG. 5 is an explanatory diagram illustrating an example of the positional relationship between the trackers and a graph expression.
  • FIG. 6 is an explanatory diagram illustrating an example of the positional relationship between the trackers and a graph expression.
  • FIG. 7 is an explanatory diagram illustrating an example in which the positional relationship between trackers is expressed in a graph.
  • FIG. 1 is a block diagram illustrating an example of a system including an object tracking device according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing an embodiment of the object tracking device in the embodiment of
  • FIG. 8 is an explanatory diagram illustrating an example of a state where two objects pass each other.
  • FIG. 9 is a flowchart illustrating an example of processing for detecting the detachment of an object.
  • FIG. 10 is a block diagram showing an outline of the object tracking device in the embodiment of the present invention.
  • the object leaving determination unit 15 uses the object detection information output from the object detection unit 12 and the object set information output from the object integration determination unit 14 to determine whether an object leaves the object set. .
  • the object tracking unit 13 performs an object tracking process from the output result of the object detection unit 12, and the object integration determination unit 14 analyzes the output information of the object tracking unit 13 to identify object sets that are close to each other. To detect. Then, the object leaving determination unit 15 feeds back to the object tracking unit 13 the result of determining that the object leaves from the object set that tends to fail in tracking. With such a configuration, the object tracking unit 13 can correctly track the object even if the object is occluded. Note that specific processing of each component will be described later.
  • the input unit 11, the object detection unit 12, the object tracking unit 13, the object integration determination unit 14, the object departure determination unit 15, and the output unit 16 are computers that operate according to a program (object tracking program). 1 (CPU).
  • the program is stored in the storage device 3, and the CPU reads the program, and in accordance with the program, the input unit 11, the object detection unit 12, the object tracking unit 13, the object integration determination unit 14, the object leave determination unit 15, and the output
  • the unit 16 may operate.
  • the input unit 11, the object detection unit 12, the object tracking unit 13, the object integration determination unit 14, the object departure determination unit 15, and the output unit 16 are each realized by dedicated hardware. Also good.
  • an image used for object tracking is input via at least one of the input unit 2 and the input unit 11 (step S101).
  • the object detection unit 12 detects an object in the video (step S102). That is, the object detection unit 12 detects an object to be detected from the video.
  • the method by which the object detection unit 12 detects an object may be an existing method.
  • the object detection unit 12 may detect an object using a difference from a background image registered in advance.
  • the object detection unit 12 may use, as an object detection result, a result of recognizing one or more detection candidate area images in the video using a recognition dictionary related to a detection target registered in advance.
  • the detection candidate area image may be determined based on a difference image (for example, an area having a large difference).
  • the object detection unit 12 may determine a candidate area by predicting an object position shown in the video from the past object position and the state of the time series model. Good.
  • the object detection unit 12 shifts the window frame of the area having a predetermined size to the entire area in the video, compares the image in the window area with the recognition dictionary, and detects the object position. Good.
  • the object tracking unit 13 tracks the object by comparing the object detection result output by the object detection unit 12 with the parameter relating to the object position before the detected time (step S103). That is, the object tracking unit 13 tracks the detection target object based on the object information detected by the object detection unit 12.
  • tracking of objects is performed through information called “tracker” unique to each object. That is, the object tracking unit 13 first associates the tracker state (for example, position) before the detected time with reference to the object detection result and the distance between the tracker and the object. A pair of a tracker and an object is determined by an optimization method or the like.
  • the object tracking unit 13 applies the association information to an appropriate time-series model, and updates the tracker state by changing the value of the parameter included in the model.
  • the object tracking unit 13 may use an existing method as a method of updating the tracker information (information representing the tracker state).
  • the object tracking unit 13 may update the tracker information based on the past tracker state and the associated object information using, for example, a Kalman filter, a particle filter, or the like.
  • the object tracking unit 13 converts the information converted from the position on the image coordinates to the position on the three-dimensional space as the object position. It may be used as information.
  • the object tracking unit 13 may store not only the object position information but also image features calculated from the object area in association with the tracker.
  • the object tracking unit 13 may calculate the reliability for each tracker. Specifically, the object tracking unit 13 may calculate the reliability of the object (tracker) in accordance with the proximity state of the object specified by each tracker, and perform tracking using the reliability. The object tracking unit 13 may use, for example, an evaluation value at the time of object detection or an evaluation value of an optimization method used when associating a tracker with an object as the reliability. Further, the object tracking unit 13 may use, as the reliability, a value scaled so as to be a large value when these evaluation values are good. Further, the object tracking unit 13 may use the time (number of frames) in which tracking is successful as the reliability, or may use a new evaluation value calculated from these values as the reliability.
  • the object tracking unit 13 may use an index determined based on time series information indicating whether or not the tracking is successful as the reliability. Specifically, the object tracking unit 13 may use an index that increases at a certain rate when tracking is successful and decreases at a certain rate when tracking fails as the reliability. At this time, the object tracking unit 13 may determine the ratio for increasing or decreasing the reliability in consideration of the evaluation value of the object detection.
  • the object tracking unit 13 does not greatly decrease the evaluation value of the tracker at that time, and the evaluation value at the time of object detection continues to be poor. Adjustments that reduce the reliability of the object may be made. Further, the object tracking unit 13 may delete the tracker itself when the reliability becomes a certain value or less.
  • a tracker / object pair is not always required. That is, the object tracking unit 13 does not necessarily have to obtain a pair of a tracker and an object. For example, when there is no tracker around a certain detection object, the object tracking unit 13 does not have to perform association (that is, a process for specifying a pair of a tracker and an object). Similarly, even when it is predicted that there is no tracker around a certain detected object as a result of predicting the position of each tracker using the tracker information at the past time, the object tracking unit 13 does not perform the association. Also good.
  • the object tracking unit 13 may associate a plurality of objects that may be associated with the tracker. Note that even when there are a plurality of objects, such as when the objects overlap, only some of them may be detected. In such a case, the object tracking unit 13 may associate two or more trackers with the detected object.
  • the object tracking unit 13 may update the state of the tracker that has not been associated with the object, for example, based only on the prediction based on the time series model.
  • the object integration determination unit 14 determines a set of objects that are close to each other (proximity state) by detecting objects that are close to each other among the plurality of objects tracked by the object tracking unit 13. (Step S104). For example, the object integration determination unit 14 may determine whether or not the objects are close to each other using the distance between the objects on the image coordinates in the video. At this time, the object integration determination unit 14 may determine the distance between the objects by, for example, the distance between the center points of the circumscribed rectangles of the objects. Then, when the distance between the objects is smaller than a predetermined value, the object integration determining unit 14 may determine those objects as objects that are close to each other.
  • the object integration determination unit 14 obtains the three-dimensional position from the area where each object in the video exists, You may calculate the distance between objects based on a position.
  • the object tracking unit 13 obtains a combination of trackers that are close to each other (proximity tracker pair) among the trackers to be tracked (step S1041). For example, the object tracking unit 13 obtains a distance between trackers for a pair of trackers to be tracked, and determines that the distances are close to each other when the obtained distance value is smaller than a predetermined value. do it.
  • the object tracking unit 13 may consider whether the trackers overlap with each other along with the distance. For example, even if the distance between the trackers is the same, there is no overlap when they are lined up side by side when viewed from the camera, but there are cases where the trackers overlap when they are lined up in the depth direction when viewed from the camera. is there. If an overlap occurs, an association error is likely to occur. Therefore, the object tracking unit 13 may handle the overlapping trackers in the same manner as the trackers that are close to each other. For example, the object tracking unit 13 may calculate the overlap between circumscribed rectangles of the trackers, and may determine that the trackers overlap when the overlap is equal to or greater than a certain threshold. However, the method of determining the overlap is not limited to this, and the object tracking unit 13 can use various existing methods.
  • a method using edges and nodes used in graph theory can be used.
  • a node indicates a tracker, and the trackers are connected when the distance between the nodes is smaller than a predetermined value.
  • the diagram on the right side of FIG. 5 shows a state where there are three nodes (trackers) A, B, and C, and there are no edges (a pair of trackers that are close to each other).
  • the diagram on the right side of FIG. 6 shows a state where it is determined that only the tracker B and the tracker C are close to each other.
  • the object integration determination unit 14 generates a container (step S1042 in FIG. 4).
  • a graph expression representing the proximity relationship between the tracker and the tracker is used.
  • FIG. 7 is an explanatory diagram illustrating an example in which the positional relationship between trackers is expressed in a graph.
  • the object integration determination unit 14 obtains a set of nodes (connected components) connected to each other as a container.
  • each container has 3 connected components including a node (tracker) F, a connected component including nodes (trackers) A and D, and a connected component including nodes (trackers) B, C, and E. It is composed of two.
  • step S1042 the object integration determination unit 14 obtains this connected component and sets it as a container, and stores a number for identifying the container (container number) and a number for identifying the tracker (tracker ID) in association with each other.
  • the object integration determination unit 14 also stores a feature amount used for comparison between trackers in association with a later-described departure determination. Note that this feature amount is not limited to the feature amount at this time (the time when the container and the tracker are associated).
  • the object integration determination unit 14 periodically extracts and holds feature amounts from the detection results associated with the tracker in the past tracking process, and associates the time-series set of feature amounts with each other. Good.
  • the object integration determination unit 14 may not store time-series data of feature amounts as they are, but may aggregate similar feature amounts and store only representative feature amounts. This information will be referred to as current container information in order to distinguish it from past container information described later.
  • the object integration determination unit 14 may accumulate the determination results (specifically, the determination results of the proximity state of each object) over time. Then, the set of objects may be tracked by determining the identity of the combination of trackers belonging to the object integration result (container) determined by the frame.
  • the tracker becomes a leaving candidate tracker in the object leaving determination described later.
  • the tracker becomes a tracker newly merged into the container.
  • the object leaving determination unit 15 determines whether or not the object has left the container from the object detection result and the past container information and tracker information (step S105 in FIG. 3). In other words, the object leaving determination unit 15 determines whether or not the proximity state of each object has been eliminated based on the determination result of the object integration determination unit 14.
  • a tracking error may also occur in this case.
  • the object leaving determination unit 15 compares tracker information that has existed in the past and belongs to a set of objects (containers) close to each other with the current object detection result.
  • the timing for comparison is the time when there is an object that is close to each other in the past, but at the present time (a certain timing), it is considered that there is almost no error in association between the object and the tracker. Then, by this comparison, the object leaving determination unit 15 causes the object to “leave” from the container so that the object can be tracked correctly. Therefore, the tracking accuracy of the tracker can be improved even in a situation where a decrease in tracking accuracy is assumed.
  • FIG. 8 is an explanatory diagram showing an example of a state in which two objects pass each other. As illustrated in FIG. 8, two objects A and B approach each other from a distant position (“state 1” in FIG. 8), and the relationship in which object A blocks object B (“state 2” in FIG. 8) It is assumed that a certain time elapses after the two objects are separated from each other ("state 3" in FIG. 8).
  • FIG. 9 is a flowchart illustrating an example of processing for detecting the detachment of an object.
  • the object leaving determination unit 15 is an object detected by the object detection unit 12 that is not associated with the tracker by the object tracking unit 13, or a position that is associated with the past but slightly away from the past container. Is detected as a leaving candidate object (step S1051).
  • the object leaving determination unit 15 is associated with a container associated with a plurality of trackers in the past (for example, in the immediately preceding frame), and is independently associated with the container that is the current frame. Is detected as a departure candidate tracker (step S1052). However, there may be a case where the leaving candidate tracker cannot be detected, and this case will be described later.
  • the object leaving determination unit 15 associates the leaving candidate object with the leaving candidate tracker (step S1053). Specifically, when the leaving candidate object does not correspond to the tracker, the object leaving determination unit 15 compares the leaving candidate object region image with the leaving candidate tracker region image and associates them. For example, the object leaving determination unit 15 may associate the two based on the difference between the two images. In addition, the object leaving determination unit 15 calculates the distance (or similarity) of the image features after calculating the existing image features from each region, and the combination of distances smaller (larger) than a predetermined value May be associated. At this time, when the time-series feature amount extracted in the past on the tracker side or the representative feature amount obtained by collecting the feature values is held, the object departure determination unit 15 obtains the similarity to each of the feature amounts. The highest similarity may be obtained.
  • the object leaving determination unit 15 may use an existing type of feature as the image feature amount. For example, the object leaving determination unit 15 may calculate a feature based on a luminance gradient or a color.
  • the object and tracker associated with each other by the object leaving determination unit 15 are referred to as a leaving object and a leaving tracker, respectively.
  • the object leaving determination unit 15 maintains the association as it is.
  • the object leaving determination unit 15 compares the associated tracker with other trackers in the container in which the leaving candidate tracker was included in the past. .
  • the object leaving determination unit 15 compares the feature amount between the object and the tracker, sets the most similar tracker as the leaving candidate tracker, and replaces the tracker. However, if there is no significant difference between the similarity between the tracker having the most similar feature amount and the similarity between the currently selected departure candidate tracker, the object departure determination unit 15 may not replace the tracker.
  • the object leaving determination unit 15 calculates a difference between the similarity between the tracker with the most similar feature amount and the similarity with the currently selected departure candidate tracker, and this difference is a constant value. Only in the above case, the tracker may be replaced.
  • the object leave determination unit 15 determines whether the tracker and the leave candidate object are associated with the leave candidate object. A feature amount with a tracker included in a nearby container is compared, a tracker having the most similar feature amount is regarded as a departure candidate tracker, and is associated with a departure candidate object. Then, the object leaving determination unit 15 removes the selected leaving candidate tracker from the container.
  • the object leaving determination unit 15 described the leaving candidate object in, for example, step S1053 regardless of whether or not there is a tracker associated with the leaving candidate object. You may process by a concrete method. That is, the object leaving determination unit 15 may compare a tracker with the most similar feature amount as a leaving candidate tracker by comparing with a tracker included in a container near the leaving candidate object, and may associate the tracker with the leaving candidate object. . Then, the object leaving determination unit 15 may remove the selected leaving candidate tracker from the container.
  • the object leaving determination unit 15 may detect an overlapping area between object areas in the image, and may process association only for combinations of objects and trackers having a predetermined overlapping or more. . Further, the object leaving determination unit 15 may process the association by limiting the combination to a value in which the positions of the object and the tracker are smaller than a predetermined distance.
  • the object tracking unit 13 performs an object tracking correction process (step S106 in FIG. 3). Specifically, the object tracking unit 13 updates the information of the leaving tracker associated in step S1053 using the leaving object.
  • the object tracking unit 13 may reset the parameters of the time series model of the tracker to the initial state, or may use the pre-update parameters of the leaving tracker as they are. Further, the object tracking unit 13 may update the information of the leaving tracker using not only the information at the time of detecting the leaving but also the tracker information before the shielding. Then, the object tracking unit 13 tracks the detection target object based on these updated (corrected) results.
  • the object tracking unit 13 may generate a new tracker based on the object detection result.
  • the reliability is defined for the tracker, and the reliability update is adjusted so that the reliability of the object is attenuated when the evaluation value at the time of object detection continues to be poor. is assumed.
  • the object tracking unit 13 may change the method of attenuating the reliability between each tracker associated with a container associated with a plurality of trackers and the other tracker.
  • the reliability of the latter tracker (that is, a tracker that is not associated with a container that corresponds to a plurality of trackers) is set to the reliability of the former tracker (that is, a tracker that is associated with a container that corresponds to a plurality of trackers).
  • a method of attenuating larger than the reliability is a suitable example. If there are no other objects around, it can be said that the tracker can easily track the object. Nevertheless, a tracker that cannot be associated with an object may be a tracker that was detected in the first place.
  • the object detection unit 12 detects an object to be detected from the video, and the object tracking unit 13 tracks the object based on the detected object information. Further, the object integration determination unit 14 determines a set of objects in the proximity state among the objects being tracked, and the object separation determination unit 15 has resolved the proximity state based on the determination result of the set of objects. Judge that. Then, the object tracking unit 13 corrects the tracking result based on the determination result indicating that the proximity state has been eliminated. Therefore, even when mutual occlusion occurs between a plurality of tracking target objects that move independently (particularly when the object is a person), the object can be tracked correctly.
  • the object integration determination unit 14 detects a container in which shielding is likely to occur between a plurality of objects to be tracked, and the object leave determination unit 15 detects that an object has left the container. Therefore, the tracking accuracy when the shielding occurs can be improved.
  • FIG. 10 is a block diagram showing an outline of the object tracking device in the basic embodiment.
  • the object tracking device 80 in the basic embodiment includes object detection means 81 (e.g., corresponding to the object detection unit 12) that detects an object (e.g., a person) to be detected from the video.
  • the object tracking device 80 includes an object tracking unit 82 (e.g., corresponding to the object tracking unit 13) that tracks the object (e.g., tracker) based on the object information detected by the object detection unit 81.
  • the object tracking device 80 includes an object integration determination unit 83 (for example, an object integration determination unit) that determines a set of objects (for example, containers) that are close to each other among the objects being tracked by the object tracking unit 82. 14).
  • the object tracking device 80 includes an object leaving determination unit 84 (for example, corresponding to the object leaving determination unit 15) that determines that the proximity state of the set of objects has been eliminated based on the determination result of the object integration determination unit 83.
  • the object tracking device 80 includes an object tracking correction unit 85 (for example, corresponding to the object tracking unit 13) that corrects the tracking result of the object tracking unit 82 based on the determination result of the object leaving determination unit 84.
  • the object tracking means 82 may calculate the reliability of the object according to the proximity state of the object. With such a configuration, the accuracy of object tracking can be improved.
  • the object integration determination unit 83 may accumulate the determination result of the proximity state and determine the identity of the proximity state. With such a configuration, a collection of objects can be tracked.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

独立に動く複数の追跡対象オブジェクト間で相互遮蔽が起こる場合でも正しくオブジェクトを追跡できるオブジェクト追跡装置を提供する。オブジェクト検出手段８１は、映像中から検出対象のオブジェクトを検出する。オブジェクト追跡手段８２は、オブジェクト検出手段８１が検出したオブジェクトの情報を基に、そのオブジェクトの追跡を行う。オブジェクト統合判定手段８３は、オブジェクト追跡手段８２による追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合を判定する。オブジェクト離脱判定手段８４は、オブジェクト統合判定手段８３の判定結果を基に、近接状態が解消されたことを判定する。オブジェクト追跡補正手段８５は、オブジェクト離脱判定手段８４の判定結果を基に、オブジェクト追跡手段８２の追跡結果を補正する。

Description

オブジェクト追跡装置、オブジェクト追跡方法および記録媒体
　本発明はオブジェクト追跡装置、オブジェクト追跡方法およびオブジェクト追跡用プログラムに関し、特に、追跡対象のオブジェクト間で遮蔽が起こる場合でも精度よくオブジェクト追跡が可能なオブジェクト追跡システム、オブジェクト追跡方法およびオブジェクト追跡用プログラムに関する。
　近年、動画像中の注目すべきオブジェクトの追跡に関して、そのオブジェクトを遮蔽する遮蔽物があっても、そのオブジェクトの追跡を可能にするための技術が提案されている。なお、本願では、特に誤解のない限り、「オブジェクト」と「物」とを同一の概念の言葉として取り扱う。すなわち、追跡対象には、いわゆる「物」以外、例えば、人なども包含されていることとする。
　例えば、特許文献１では、追跡対象の尤度と、予め定められた閾値とを比較してオブジェクト追跡処理の異常状態を検知し、正常と検知された場合に本来の検知対象を追跡し、異常と検知された場合に、追跡対象を本来の対象から遮蔽物に移して追跡を続行する方式が提案されている。
　特許文献２では、遮蔽物が建物の壁に設置されている開閉式の扉である場合、その扉の状態（開閉状態）を、映像解析により検知し、検知結果に基づいてオブジェクト追跡の方法を変える手法が提案されている。
　特許文献３では、カメラによって所定範囲内において撮像された人物を追跡し、追跡結果を動線データとして出力する方法が提案されている。なお、特許文献４では、ＲＦＩＤ（ｒａｄｉｏ　ｆｒｅｑｕｅｎｃｙ　ｉｄｅｎｔｉｆｉｅｒ）タグを用いた動線管理システムに関する技術が記載されている。
特開２００７－２７２４３６号公報 国際公開第２０１４／１９２４８３号 特開２００３－２５６８４３号公報 特開２００６－２５０９１８号公報
　しかし、特許文献１に記載された方法は、独立に動く複数の追跡対象オブジェクト間で、一方のオブジェクト（第１のオブジェクト）が他方のオブジェクト（第２のオブジェクト）を遮蔽する場合だけでなく、その第２のオブジェクトが第１のオブジェクトを遮蔽する場合も想定される状況（以下、相互遮蔽と記すこともある。）を想定していない。一般に、遮蔽が起こると、追跡処理に時系列的な予測モデルが包含されていても、オブジェクト位置の予測精度が悪くなる。これは、オブジェクト追跡処理が「異常」から「正常」に戻る確率が低下することを意味する。
　特許文献１に記載された方法では、オブジェクトの追跡処理の状態が異常になった場合、追跡対象を遮蔽物、すなわち、追跡対象ではないオブジェクトに移して、追跡が続行される。例えば、ある時刻”Ｔ”でオブジェクト”Ａ”がオブジェクト”Ｂ”を遮蔽してオブジェクト追跡処理が「異常」になるとする。この場合、時刻Ｔ以降の追跡対象がオブジェクトＢからオブジェクトＡになってしまうので、時刻Ｔ以降にオブジェクトＢを正しく追跡できなくなるという事態が生じてしまう。
　また、特許文献２に記載された方法は、遮蔽物が扉であることを前提とした方式である。そのため、例えば、追跡対象オブジェクトが人物の場合、移動体の人物Ａによって遮蔽された移動体の人物Ｂを追跡する手法に、特許文献２に記載された方法を適用することは困難である。
　また、特許文献３に記載された方法は、映像に移った人物の動線を抽出する技術であり、遮蔽物については考慮されていない。特許文献４に記載された技術は、映像に含まれるオブジェクトを追跡する技術ではない。
　本発明の目的は、上述した独立に動く複数の追跡対象オブジェクト間で相互遮蔽が起こる場合でも正しくオブジェクトを追跡できるオブジェクト追跡装置、オブジェクト追跡方法およびオブジェクト追跡用プログラム等を提供することにある。
　本発明によるオブジェクト追跡装置は、映像中から検出対象のオブジェクトを検出するオブジェクト検出手段と、オブジェクト検出手段が検出したオブジェクトの情報を基に、そのオブジェクトの追跡を行うオブジェクト追跡手段と、オブジェクト追跡手段による追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合を判定するオブジェクト統合判定手段と、オブジェクト統合判定手段の判定結果を基に、オブジェクトの集合の近接状態が解消されたことを判定するオブジェクト離脱判定手段と、オブジェクト離脱判定手段の判定結果を基に、オブジェクト追跡手段の追跡結果を補正するオブジェクト追跡補正手段とを備えたことを特徴とする。
　本発明によるオブジェクト追跡方法は、映像中から検出対象のオブジェクトを検出し、検出されたオブジェクトの情報を基に、そのオブジェクトの追跡を行い、追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合を判定し、オブジェクトの集合の判定結果を基に、オブジェクトの集合の近接状態が解消されたことを判定し、近接状態が解消された旨を示す判定結果を基に、追跡結果を補正することを特徴とする。
　本発明によるオブジェクト追跡用プログラムは、コンピュータに、映像中から検出対象のオブジェクトを検出するオブジェクト検出処理、オブジェクト検出処理で検出されたオブジェクトの情報を基に、そのオブジェクトの追跡を行うオブジェクト追跡処理、オブジェクト追跡処理で追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合を判定するオブジェクト統合判定処理、オブジェクト統合判定処理の判定結果を基に、オブジェクトの集合の近接状態が解消されたことを判定するオブジェクト離脱判定処理、および、オブジェクト離脱判定処理の判定結果を基に、オブジェクト追跡処理の追跡結果を補正するオブジェクト追跡補正処理を実行させることを特徴とする。また、上記目的は、オブジェクト追跡用プログラムが記録されている、コンピュータ読み取り可能な記憶媒体等によっても達成される。
　本発明によれば、独立に動く複数の追跡対象オブジェクト間で相互遮蔽が起こる場合でも正しくオブジェクトを追跡できる。
図1は、本発明の実施形態におけるオブジェクト追跡装置を含むシステムの一例を示すブロック図である。 図２は、本発明の実施形態におけるオブジェクト追跡装置の一実施形態を示すブロック図である。 図３は、本発明の実施形態におけるオブジェクト追跡装置の動作例を示すフローチャートである。 図４は、オブジェクト統合判定部１４の動作の一例を示すフローチャートである。 図５は、トラッカーの位置関係とグラフ表現の例を示す説明図である。 図６は、トラッカーの位置関係とグラフ表現の例を示す説明図である。 図７は、トラッカーの位置関係をグラフ表現した例を示す説明図である。 図８は、二つのオブジェクトがすれ違う状態の例を示す説明図である。 図９は、オブジェクトの離脱を検出する処理の例を示すフローチャートである。 図1０は、本発明の実施形態におけるオブジェクト追跡装置の概要を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。図１は、本発明によるオブジェクト追跡装置を含むシステムの一例を示すブロック図である。図１に例示するシステムは、コンピュータ１と、入力部２と、記憶装置３と、出力部４とを備えている。コンピュータ１は、例えば、中央処理装置、プロセッサ、データ処理装置などにより実現される。
コンピュータ１は、本発明によるオブジェクト追跡装置に対応する。
　図２は、本発明によるオブジェクト追跡装置の一実施形態を示すブロック図である。本実施形態のオブジェクト追跡装置は、入力部１１と、オブジェクト検出部１２と、オブジェクト追跡部１３と、オブジェクト統合判定部１４と、オブジェクト離脱判定部１５と、出力部１６とを含む。また、オブジェクト追跡装置自身が、図１に例示する記憶装置３を含んでいてもよい。これらの構成は、それぞれ概略次のように動作する。
　入力部１１は、入力部２から入力される映像等の情報を受け付ける。
　オブジェクト検出部１２は、入力部１１から入力された映像を解析し、入力画像の中に映る（含まれる）検出対象オブジェクトを検出する。以下、検出された情報をオブジェクト検出情報と記すこともある。
　オブジェクト追跡部１３は、オブジェクト検出部１２で検出されたオブジェクトの情報と、後述するオブジェクト離脱判定部１５から入力される情報とを用いて、オブジェクトを追跡する。
　また、オブジェクト追跡部１３は、追跡結果を補正してもよい。そのため、オブジェクト追跡部１３は、オブジェクト追跡補正手段とも言える。
　オブジェクト統合判定部１４は、オブジェクト追跡部１３で追跡されているオブジェクトの情報を解析し、互いに近くに存在するオブジェクトを検出し、オブジェクト集合を構成する。このオブジェクト集合は、同一集合に属するオブジェクトの間で相互遮蔽が起こりやすい集合、言い換えると、追跡に失敗しやすいオブジェクトの集合であると考えることができる。以下、オブジェクト統合判定部１４が構成したオブジェクト集合を表す情報のことをオブジェクト集合情報と記すこともある。
　オブジェクト離脱判定部１５は、オブジェクト検出部１２から出力されるオブジェクト検出情報と、オブジェクト統合判定部１４から出力されるオブジェクト集合情報とを用いて、あるオブジェクトがオブジェクト集合から離脱するかどうかを判定する。
　本実施形態では、オブジェクト追跡部１３がオブジェクト検出部１２の出力結果からオブジェクト追跡処理を行うとともに、オブジェクト統合判定部１４がオブジェクト追跡部１３の出力情報を解析して互いに近くに存在するオブジェクト集合を検出する。そして、オブジェクト離脱判定部１５は、追跡に失敗しやすいオブジェクト集合からオブジェクトが離脱すると判定した結果を、オブジェクト追跡部１３にフィードバックする。そのような構成により、オブジェクト追跡部１３は、オブジェクトの遮蔽が起こっても正しくオブジェクトを追跡できる。なお、各構成の具体的な処理は後述される。
　なお、入力部１１と、オブジェクト検出部１２と、オブジェクト追跡部１３と、オブジェクト統合判定部１４と、オブジェクト離脱判定部１５と、出力部１６とは、プログラム（オブジェクト追跡用プログラム）に従って動作するコンピュータ１（ＣＰＵ）によって実現される。
　例えば、プログラムは、記憶装置３に記憶され、ＣＰＵが、そのプログラムを読み込み、プログラムに従って、入力部１１、オブジェクト検出部１２、オブジェクト追跡部１３、オブジェクト統合判定部１４、オブジェクト離脱判定部１５および出力部１６として動作してもよい。
　また、入力部１１と、オブジェクト検出部１２と、オブジェクト追跡部１３と、オブジェクト統合判定部１４と、オブジェクト離脱判定部１５と、出力部１６とは、それぞれが専用のハードウェアで実現されていてもよい。
　図３は、本実施形態のオブジェクト追跡装置の動作例を示すフローチャートである。なお、下記の例では、フレーム単位で映像が入力されることを想定する。また、各構成は、オブジェクト検出結果、オブジェクト追跡結果、オブジェクト統合判定結果およびオブジェクト離脱判定結果を表わす履歴やパラメータなどを記憶装置３に随時書き込めることを想定する。同様に、各構成は、書き込んだこれらの履歴やパラメータを随時更新および参照できることを想定する。
　まず、入力部２または入力部１１の少なくともいずれか一方を介して、オブジェクト追跡に用いる映像が入力される（ステップＳ１０１）。
　次に、オブジェクト検出部１２は、映像中のオブジェクトを検出する（ステップＳ１０２）。すなわち、オブジェクト検出部１２は、映像中から検出対象のオブジェクトを検出する。オブジェクト検出部１２がオブジェクトを検出する手法は、既存の方法でよい。オブジェクト検出部１２は、例えば、あらかじめ登録した背景画像との差分を用いてオブジェクトを検出してもよい。
　他にも、オブジェクト検出部１２は、あらかじめ登録した検出対象に関する認識辞書を用いて映像中の１つ以上の検出候補領域画像を認識した結果をオブジェクト検出結果として用いてもよい。検出候補領域画像は、例えば、差分画像に基づいて（例えば差分の大きな領域など）定められてもよい。
　また、オブジェクト追跡部１３が動きの時系列モデルを有する場合、オブジェクト検出部１２は、過去のオブジェクト位置と時系列モデルの状態から、映像に映るオブジェクト位置を予測することで候補領域を定めてもよい。
　また、オブジェクト検出部１２は、あらかじめ定めた大きさの領域のウインドウ枠を映像中の全領域にシフトし、そのウインドウ領域内の画像と認識辞書とを比較して、オブジェクト位置を検出してもよい。
　次に、オブジェクト追跡部１３は、オブジェクト検出部１２が出力したオブジェクト検出結果と、検出された時刻よりも前のオブジェクト位置に関するパラメータとを比較することで、オブジェクトを追跡する（ステップＳ１０３）。すなわち、オブジェクト追跡部１３は、オブジェクト検出部１２が検出したオブジェクトの情報を基に、検出対象のオブジェクトの追跡を行う。
　通常、オブジェクトの追跡は、各オブジェクトに固有の「トラッカー」と呼ばれる情報を介して行う。すなわち、オブジェクト追跡部１３は、まず、検出された時刻よりも前のトラッカーの状態（例えば位置）と、オブジェクト検出結果を参照し、トラッカーとオブジェクトとの間の距離等に基づいて、対応付けられるトラッカーとオブジェクトとの組を、最適化手法などにより決定する。
　その後、オブジェクト追跡部１３は、対応付けの情報を適当な時系列モデルに当てはめ、モデルに包含されるパラメータの値を変更することにより、トラッカーの状態を更新する。オブジェクト追跡部１３は、トラッカー情報（トラッカーの状態を表す情報）を更新する方法として、既存の方法を用いればよい。オブジェクト追跡部１３は、例えば、カルマンフィルタ、パーティクルフィルタなどを用いて、過去のトラッカーの状態と、対応付けられたオブジェクトの情報とに基づいて、トラッカー情報を更新してもよい。
　追跡の対象とする各オブジェクトの位置を特定する情報は、検出されたオブジェクトを基に計算できる情報であればよく、その内容は任意である。オブジェクト追跡部１３は、例えば、オブジェクト領域の外接矩形の中心点の座標値をオブジェクト位置の情報として用いてもよい。他にも、オブジェクト追跡部１３は、ｘ座標値をオブジェクト外接矩形のｘ方向の中央値、かつ、ｙ座標値をオブジェクト外接矩形のｙ方向の最大値（または最小値）とするオブジェクト位置の情報を用いてもよい。
　また、画像座標と３次元空間との対応付け（キャリブレーション）があらかじめ行われている場合、オブジェクト追跡部１３は、画像座標上の位置からから３次元空間上の位置に変換した情報をオブジェクト位置の情報として使ってもよい。
　なお、オブジェクト追跡部１３は、オブジェクト位置の情報だけでなく、トラッカーに付随させて、オブジェクト領域から計算される画像特徴を保存しておいてもよい。
　また、オブジェクト追跡部１３は、各トラッカーに対して、信頼度を計算してもよい。
具体的には、オブジェクト追跡部１３は、各トラッカーにより特定されるオブジェクトの近接状態に応じて、そのオブジェクト（トラッカー）の信頼度を計算し、その信頼度を用いて追跡を行ってもよい。オブジェクト追跡部１３は、例えば、オブジェクト検出時の評価値や、トラッカーとオブジェクトとを対応付ける際に用いられる最適化手法の評価値を、信頼度として利用してもよい。また、オブジェクト追跡部１３は、これらの評価値の当てはまりがよい場合に大きな値となるようにスケーリングした値を、信頼度として用いてもよい。また、オブジェクト追跡部１３は、追跡が成功している時間（フレーム数）を信頼度として用いてもよく、これらの値から計算される新しい評価値を信頼度として用いてもよい。
　また、オブジェクト追跡部１３は、追跡に成功したかどうかの時系列情報に基づいて定まる指標を信頼度として用いてもよい。具体的には、オブジェクト追跡部１３は、追跡に成功した場合に一定の割合で増加させ、かつ、追跡に失敗した場合に一定の割合で減少させる指標を、信頼度として用いてもよい。この際、オブジェクト追跡部１３は、オブジェクト検出の評価値も考慮して、信頼度を増減させる割合を決めてもよい。
　また、オブジェクト追跡部１３は、オブジェクト検出時の評価値が一時的に良くない場合でも、その時点で大きくトラッカーの評価値を大きく下げずに、オブジェクト検出時の評価値が悪い状態が続いたときにオブジェクトの信頼度を減衰させるような調整を行ってもよい。また、オブジェクト追跡部１３は、信頼度が一定の値以下になった場合に、トラッカーそのものを削除してもよい。
　なお、トラッカーとオブジェクトの組は必ずしも求められるとは限らない。すなわち、オブジェクト追跡部１３は、必ずしもトラッカーとオブジェクトとの組を求める必要はない。例えば、ある検出オブジェクトの周辺にトラッカーが存在しない場合、オブジェクト追跡部１３は、対応付け（すなわち、トラッカーとオブジェクトの組の特定処理）を行わなくてもよい。同様に、過去時点のトラッカー情報を用いて各トラッカーの位置を予測した結果、ある検出オブジェクトの周辺にトラッカーが存在しないと予測される場合にも、オブジェクト追跡部１３は、対応付けを行わなくてもよい。
　一方、各トラッカーの位置を予測した結果、複数のトラッカーが重なりあって、検出オブジェクトとの一対一の対応付けが難しい場合、後述するコンテナを用いて対応付けが管理される。この場合、オブジェクト追跡部１３が、トラッカーと検出オブジェクトとの対応付けを一応行うものの、その対応付けが誤っている可能性もある。このため、後述するように、コンテナ離脱時の判定でこの対応付けが見直される。それまでは、オブジェクト追跡部１３は、対応付けられる可能性がある複数のオブジェクトと、トラッカーとを対応付けておいてもよい。なお、オブジェクトが重なっている場合など、複数のオブジェクトが存在しても、そのうちの一部しか検出されない場合がある。このような場合、オブジェクト追跡部１３は、検出されたオブジェクトに２つ以上のトラッカーを対応付けるようにしてもよい。
　これは、無理に対応付けを行うと、トラッカーが追跡してきたオブジェクトとは別のオブジェクトの情報を用いてトラッカーの状態更新を行うこととなり、誤追跡の原因になるからである。従って、オブジェクト追跡部１３は、例えば、時系列モデルによる予測のみに基づいて、オブジェクトに対応付けられなかったトラッカーの状態を更新すればよい。
　次に、オブジェクト統合判定部１４は、オブジェクト追跡部１３が追跡する複数のオブジェクトのうち、互いに近い位置にあるオブジェクトを検出することで、互いに近い状態（近接状態）にあるオブジェクトの集合を判定する（ステップＳ１０４）。オブジェクト統合判定部１４は、例えば、映像中の画像座標上におけるオブジェクト間の距離を用いて、オブジェクトが互いに近い位置にあるか否かを判断してもよい。このとき、オブジェクト統合判定部１４は、オブジェクト間の距離を、例えば、オブジェクトの外接矩形の中心点の間の距離で判断してもよい。そして、オブジェクト統合判定部１４は、オブジェクト間の距離が予め定めた値よりも小さい時に、それらのオブジェクトを、互いに近い位置にあるオブジェクトと判断すればよい。
　以下の説明では、互いに近い位置にあるオブジェクトの一まとまりを「コンテナ」と呼ぶことにする。また、画像座標と、映像中の実際の３次元位置とのキャリブレーションがあらかじめ行われている場合、オブジェクト統合判定部１４は、映像中の各オブジェクトが存在する領域から３次元位置を求め、その位置に基づいてオブジェクト間の距離を算出してもよい。
　ここで、オブジェクト統合判定部１４の処理を、より具体的に説明する。図４は、オブジェクト統合判定部１４の動作の一例を示すフローチャートである。図４に例示する方法は、２つのトラッカー間の距離に基づいてコンテナを求める方法である。ただし、オブジェクト統合判定部１４においてコンテナを求める方法は、図４に例示する方法に限られない。
　まず、オブジェクト追跡部１３は、追跡対象とするトラッカーの中で、互いに近い距離にあるトラッカーの組み合わせ（近接トラッカーペア）を求める（ステップＳ１０４１）。オブジェクト追跡部１３は、例えば、追跡対象のトラッカーのペアに対して、トラッカー間の距離を求め、求められた距離の値があらかじめ定められた値よりも小さい場合に、互いに近い距離にあると判定すればよい。
　また、オブジェクト追跡部１３は、距離とともに、トラッカー同士が重なっているかどうかを考慮してもよい。例えば、トラッカー間の距離が同じであっても、カメラから見て横に並んでいる場合は重なりが生じないが、カメラから見て奥行き方向に並んでいる場合、トラッカー同士に重なりが生じる場合がある。重なりが生じると、対応付けの誤りが生じやすくなるため、オブジェクト追跡部１３は、重なっているトラッカーを互いに近い距離にあるトラッカーと同様に扱うようにすればよい。オブジェクト追跡部１３は、例えば、トラッカーの外接矩形同士の重なりを計算し、重なりが一定の閾値以上の場合に、トラッカー同士が重なっていると判定すればよい。ただし、重なりを判定する方法はこれに限定されず、オブジェクト追跡部１３は、既存の様々な方式を用いることができる。
　図５および図６は、トラッカーの位置関係とグラフ表現の例を示す説明図である。図５および図６に示す例では、追跡対象のトラッカーがそれぞれ３つ（トラッカーＡ，Ｂ，Ｃ）存在する。図５では、追跡対象のトラッカーＡ，Ｂ，Ｃが存在するが、トラッカーＡとトラッカーＢの距離、トラッカーＢとトラッカーＣの距離、および、トラッカーＣとトラッカーＡの距離のいずれも、与えられた閾値よりも大きく、互いに近い距離にあるトラッカーが存在しない状態を示している。一方、図６では、トラッカーＢとトラッカーＣの距離が与えられた閾値よりも小さい状態を示している。
　追跡対象のトラッカーのうち、互いに近くに存在するトラッカーのペアを示すために好適な方法として、グラフ理論で用いられるエッジとノードを使う方法を用いることができる。この方法においては、例えば、ノードはトラッカーを示し、ノード間の距離があらかじめ定められた値よりも小さい場合に、トラッカー間が接続される。
　例えば、図５の右側の図は、３つのノード（トラッカー）Ａ，Ｂ，Ｃが存在し、エッジ（互いに近い関係にあるトラッカーのペア）が１つもない状態を示している。一方、図６の右側の図は、トラッカーＢとトラッカーＣの間のみが互いに近くにあると判定された状態を示している。
　次に、オブジェクト統合判定部１４は、コンテナを生成する（図４におけるステップＳ１０４２）。コンテナの生成方法の説明を容易にするため、トラッカーとトラッカー間の近接関係を表わすグラフ表現を用いる。図７は、トラッカーの位置関係をグラフ表現した例を示す説明図である。
　オブジェクト統合判定部１４は、互いに連結されたノードの集合（連結成分）をコンテナとして求める。図７に示す例では、各コンテナが、ノード（トラッカー）Ｆからなる連結成分、ノード（トラッカー）Ａ，Ｄからなる連結成分、および、ノード（トラッカー）Ｂ，Ｃ，Ｅからなる連結成分の３つから構成されていることを示す。
　すなわち、ステップＳ１０４２において、オブジェクト統合判定部１４は、この連結成分を求めてコンテナとし、コンテナを同定する番号（コンテナ番号）とトラッカーを同定する番号（トラッカーＩＤ）とを対応付けて格納する。
　また、オブジェクト統合判定部１４は、後述する離脱判定時にトラッカー間の比較で用いられる特徴量も一緒に対応付けて格納する。なお、この特徴量は、この時点（コンテナとトラッカーとの対応付け時点）での特徴量に限られない。オブジェクト統合判定部１４は、過去の追跡の過程においてトラッカーに対応付けられた検出結果から、定期的に特徴量を抽出して保持しておき、その時系列の特徴量の集合を対応付けるようにしてもよい。勿論、オブジェクト統合判定部１４は、特徴量の時系列データをそのまま格納するのではなく、似た特徴量同士を集約し、代表的な特徴量のみを格納するようにしてもよい。後述する過去のコンテナ情報と区別するため、この情報を現在のコンテナ情報と呼ぶことにする。
　オブジェクトの集合を判定する場合、オブジェクト統合判定部１４は、判定結果（具体的には、各オブジェクトの近接状態の判定結果）を時間的に蓄積してもよい。そして、フレームで判定されるオブジェクト統合結果（コンテナ）に属すトラッカーの組み合わせの同一性を判定することにより、オブジェクトの集合が追跡されればよい。
　この際、フレーム間で対応付けられたオブジェクト集合（コンテナ）に含まれるトラッカーに差異がある場合がある。もし、過去のコンテナのみに存在するトラッカーが存在する場合には、そのトラッカーは、後述のオブジェクト離脱判定において、離脱候補トラッカーになる。一方、現在のコンテナのみに存在するトラッカーが存在すれば、それは、新たにコンテナにマージされたトラッカーになる。
　図３の説明に戻る。次に、オブジェクト離脱判定部１５は、オブジェクト検出結果と、過去のコンテナ情報およびトラッカー情報から、コンテナからオブジェクトが離脱したか否かを判定する（図３におけるステップＳ１０５）。言い換えると、オブジェクト離脱判定部１５は、オブジェクト統合判定部１４の判定結果を基に、各オブジェクトの近接状態が解消されたか否かを判定する。
　オブジェクト追跡部１３の処理で説明したように、オブジェクトとトラッカーの対応付けがない状態、または、コンテナに複数のトラッカーが対応づいている状態でトラッカーの更新を続けると、予測誤差が蓄積し、予測精度が悪くなる。また、オブジェクト追跡部１３が、過去のトラッカー情報と現時刻でのオブジェクトの対応付けを誤る可能性もあるため、この場合も追跡誤り（トラッカーの入れ替わり）が起きる可能性がある。
　本実施形態では、オブジェクト離脱判定部１５が、過去に存在していた、互いに近いオブジェクトの集合（コンテナ）に属するトラッカー情報と、現時点のオブジェクト検出結果とを比較する。比較するタイミングは、過去に互いの距離が近いオブジェクトが存在していたが、現在（あるタイミング）ではオブジェクトとトラッカーの対応付けの誤りがほとんど起きないと考えられる時点である。そして、オブジェクト離脱判定部１５が、この比較により、オブジェクトをコンテナから「離脱」させ、オブジェクトを正しく追跡できるようにする。したがって、追跡精度の低下が想定される状況であっても、トラッカーの追跡精度を向上させることができる。
　図８は、二つのオブジェクトがすれ違う状態の例を示す説明図である。図８に例示するように、二つのオブジェクトＡ，Ｂが離れた位置から互いに近づき（図８における「状態１」）、オブジェクトＡがオブジェクトＢを遮蔽する関係（図８における「状態２」）となった後で一定時間経過して、二つのオブジェクトが離れる（図８における「状態３」）とする。
　図８に例示する「状態２」のように、仮に遮蔽が起こり、オブジェクトＢのトラッカー予測誤差の蓄積や、トラッカーとは本来対応しないオブジェクトＡとが誤って対応付けられたとする。この場合でも、本実施形態では、オブジェクト離脱判定部１５が、遮蔽が解消された時点（図８における「状態３」）でコンテナからオブジェクトＢが離脱したことを検知する。そのため、オブジェクト追跡部１３が、離脱したオブジェクトＢをコンテナに対応付けられたトラッカーと正しく判定することにより、正しい追跡を継続することが可能である。
　図３に例示するステップＳ１０５の処理を、より詳細に説明する。図９は、オブジェクトの離脱を検出する処理の例を示すフローチャートである。まず、オブジェクト離脱判定部１５は、オブジェクト検出部１２が検出したオブジェクトのうち、オブジェクト追跡部１３がトラッカーに対応づけなかったオブジェクト、または、対応付けられているものの、過去のコンテナから少し離れた位置に存在するオブジェクトを離脱候補オブジェクトとして検出する（ステップＳ１０５１）。
　次に、オブジェクト離脱判定部１５は、過去に（例えば直前のフレームで）複数のトラッカーと対応付くコンテナに対応付けられており、かつ、現在のフレームであるコンテナに単独で対応付けられているトラッカーを、離脱候補トラッカーとして検出する（ステップＳ１０５２）。ただし、離脱候補トラッカーが検出できない場合も存在するため、この場合については、後述される。
　最後に、オブジェクト離脱判定部１５は、離脱候補オブジェクトと離脱候補トラッカーとを対応付ける（ステップＳ１０５３）。具体的には、離脱候補オブジェクトがトラッカーと対応づいていない場合、オブジェクト離脱判定部１５は、離脱候補オブジェクト領域画像と離脱候補トラッカー領域画像とを比較して、両者を対応付ける。オブジェクト離脱判定部１５は、例えば、双方の画像の差分に基づいて両者を対応付けてもよい。また、オブジェクト離脱判定部１５は、それぞれの領域から既存の画像特徴を算出した後、画像特徴の距離（もしくは類似度）を計算して、あらかじめ定められた値よりも小さい（大きい）距離の組み合わせを対応付けてもよい。この際、トラッカー側で過去に抽出した時系列の特徴量、またはそれを集約した代表特徴量を保持している場合、オブジェクト離脱判定部１５は、それらの特徴量のそれぞれとの類似度を求め、最も高い類似度を求めるようにしてもよい。
　このとき、オブジェクト離脱判定部１５は、画像特徴量として既存の種類の特徴を使えばよい。オブジェクト離脱判定部１５は、例えば、輝度勾配や色に基づく特徴を計算してもよい。以下の説明では、オブジェクト離脱判定部１５により対応付けられたオブジェクトおよびトラッカーをそれぞれ、離脱オブジェクトおよび離脱トラッカーと呼ぶ。
　一方、離脱候補オブジェクトがトラッカーと対応付けられている場合で、対応付けられたトラッカーが離脱候補トラッカーと同じ場合、オブジェクト離脱判定部１５は、その対応付けをそのまま維持する。一方、対応付けられたトラッカーが離脱候補トラッカーと異なる場合、オブジェクト離脱判定部１５は、その対応付けられているトラッカーを、離脱候補トラッカーが過去に含まれていたコンテナ内の他のトラッカーと比較する。上述のように、オブジェクト離脱判定部１５は、オブジェクトとトラッカー間で特徴量を比較し、最も類似しているトラッカーを離脱候補トラッカーとし、トラッカーを入れ替える。ただし、最も特徴量が類似したトラッカーとの類似度と、現在選ばれている離脱候補トラッカーとの類似度に大きな差がない場合、オブジェクト離脱判定部１５は、トラッカーを入れ替えないようにしてもよい。具体的には、オブジェクト離脱判定部１５は、最も特徴量が類似したトラッカーとの類似度と現在選ばれている離脱候補トラッカーとの類似度との間の差を計算し、この差が一定値以上の場合のみ、トラッカーを入れ替えるようにすればよい。
　一方、離脱候補トラッカーが検出できなかった場合で、かつ、離脱候補オブジェクトに対応付けられたトラッカーが存在する場合、オブジェクト離脱判定部１５は、離脱候補オブジェクトに対応付けられたトラッカーと離脱候補オブジェクトの近くに存在するコンテナに含まれるトラッカーとの特徴量を比較し、特徴量が最も類似したトラッカーを離脱候補トラッカーとみなし、離脱候補オブジェクトと対応付ける。そして、オブジェクト離脱判定部１５は、選択された離脱候補トラッカーをコンテナから除く。
　また、離脱候補トラッカーが検出できなかった場合、離脱候補オブジェクトに対応付けられたトラッカーが存在するか否かによらず、オブジェクト離脱判定部１５は、離脱候補オブジェクトを、例えば、ステップＳ１０５３で説明した具体的な方法で処理してもよい。すなわち、オブジェクト離脱判定部１５は、離脱候補オブジェクトの近くに存在するコンテナに含まれるトラッカーとの比較し、特徴量が最も類似したトラッカーを離脱候補トラッカーとみなし、離脱候補オブジェクトと対応付けてもよい。そして、オブジェクト離脱判定部１５は、選択された離脱候補トラッカーをコンテナから除くようにしてもよい。
　また、オブジェクト離脱判定部１５は、画像中のオブジェクト領域間の重なり領域を検出して、あらかじめ定められた以上の重なりを持つオブジェクトとトラッカーとの組み合わせに限定して対応付けを処理してもよい。また、オブジェクト離脱判定部１５は、オブジェクトとトラッカーの位置があらかじめ定められた距離よりも小さい値になるような組み合わせに限定して対応付けを処理してもよい。
　図３の説明に戻る。最後に、オブジェクト追跡部１３は、オブジェクト追跡補正処理を行う（図３のステップＳ１０６）。具体的には、オブジェクト追跡部１３は、ステップＳ１０５３にて対応付けられた離脱トラッカーの情報を、離脱オブジェクトを用いて更新する。オブジェクト追跡部１３は、トラッカーの時系列モデルのパラメータを、初期状態にリセットしてもよいし、離脱トラッカーの更新前パラメータをそのまま使用してもよい。
また、オブジェクト追跡部１３は、離脱を検出した時点の情報だけでなく、遮蔽前のトラッカー情報を用いて、離脱トラッカーの情報を更新してもよい。そして、オブジェクト追跡部１３は、更新された（補正された）これらの結果に基づいて検出対象のオブジェクトの追跡を行う。
　また、離脱オブジェクト候補のうち離脱トラッカー候補と対応付けられなかった場合に、新しいオブジェクトが映像中に出現したと考えられる。この場合、オブジェクト追跡部１３は、オブジェクト検出結果を基に新規トラッカーを生成してもよい。
　なお、トラッカーに対して信頼度が定義されており、かつ、オブジェクト検出時の評価値が悪い状態が続いたときにオブジェクトの信頼度が減衰するように信頼度の更新が調整されている場合も想定される。この場合、オブジェクト追跡部１３は、複数のトラッカーに対応付くコンテナに対応付けられた各トラッカーと、そうでないトラッカーとの間で、信頼度を減衰させる方法を変えてもよい。
　例えば、後者のトラッカー（すなわち、複数のトラッカーに対応付くコンテナに対応付けられていないトラッカー）の信頼度を、前者のトラッカー（すなわち、複数のトラッカーに対応付くコンテナに対応付けられているトラッカー）の信頼度よりも大きく減衰させる方法が好適な一例である。周りに他のオブジェクトがない場合、トラッカーはオブジェクトを追跡しやすい状況であると言える。それにもかかわらず、オブジェクトと対応が取れないトラッカーは、そもそも誤って検出されたトラッカーである可能性があるからである。
　以上のように、本実施形態では、オブジェクト検出部１２が、映像中から検出対象のオブジェクトを検出し、オブジェクト追跡部１３が、検出されたオブジェクトの情報を基に、そのオブジェクトの追跡を行う。また、オブジェクト統合判定部１４が、追跡中のオブジェクトのうち、近接状態にあるオブジェクトの集合を判定し、オブジェクト離脱判定部１５が、オブジェクトの集合の判定結果を基に、近接状態が解消されたことを判定する。
そして、オブジェクト追跡部１３が、近接状態が解消された旨を示す判定結果を基に、追跡結果を補正する。よって、独立に動く複数の追跡対象オブジェクト（特にオブジェクトが人物の場合）間で相互遮蔽が起こる場合でも、正しくオブジェクトを追跡できる。
　すなわち、本実施形態では、オブジェクト統合判定部１４が追跡対象の複数のオブジェクト間で遮蔽が起こりやすい状態であるコンテナを検出し、オブジェクト離脱判定部１５がコンテナからオブジェクトが離脱したことを検出する。そのため、遮蔽が起こった際の追跡精度を向上させることができる。
　次に、本発明の一態様に係る基本的な実施形態の概要を説明する。図１０は、基本的な実施形態におけるオブジェクト追跡装置の概要を示すブロック図である。基本的な実施形態におけるオブジェクト追跡装置８０は、映像中から検出対象のオブジェクト（例えば、人物）を検出するオブジェクト検出手段８１（例えば、オブジェクト検出部１２に相当）を備える。オブジェクト追跡装置８０は、オブジェクト検出手段８１が検出したオブジェクトの情報を基に、そのオブジェクト（例えば、トラッカー）の追跡を行うオブジェクト追跡手段８２（例えば、オブジェクト追跡部１３に相当）を備える。オブジェクト追跡装置８０は、オブジェクト追跡手段８２による追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合（例えば、コンテナ）を判定するオブジェクト統合判定手段８３（例えば、オブジェクト統合判定部１４に相当）を備える。オブジェクト追跡装置８０は、オブジェクト統合判定手段８３の判定結果を基に、オブジェクトの集合の近接状態が解消されたことを判定するオブジェクト離脱判定手段８４（例えば、オブジェクト離脱判定部１５に相当）を備える。オブジェクト追跡装置８０は、オブジェクト離脱判定手段８４の判定結果を基に、オブジェクト追跡手段８２の追跡結果を補正するオブジェクト追跡補正手段８５（例えば、オブジェクト追跡部１３に相当）を備える。
　そのような構成により、独立に動く複数の追跡対象オブジェクト（特にオブジェクトが人物の場合）間で相互遮蔽が起こる場合でも正しくオブジェクトを追跡できる。
　また、オブジェクト追跡手段８２は、オブジェクトの近接状態に応じて、そのオブジェクトの信頼度を計算してもよい。そのような構成により、オブジェクトの追跡の精度を向上できる。
　また、オブジェクト統合判定手段８３は、近接状態の判定結果を蓄積し、その近接状態の同一性を判定してもよい。そのような構成により、オブジェクトの集合を追跡できる。
　また、オブジェクト追跡補正手段８５は、オブジェクト離脱判定手段８４により近接状態が解消されたと判定された場合に、オブジェクト追跡手段８２の追跡結果を補正してもよい。そして、オブジェクト追跡手段８２は、補正された追跡結果に基づいて検出対象のオブジェクトの追跡を行ってもよい。
　また、オブジェクト離脱判定手段８４は、過去に複数のトラッカーと対応付くコンテナに対応付けられており、かつ、現在のフレームにおいてあるコンテナに単独で対応付けられているトラッカーを、離脱候補トラッカーとして検出してもよい。
　上記各実施形態は、例えば、カメラで撮影された映像から作業中の人物の動線を取得して作業の効率化を提言するシステムに好適に適用可能である。また、上記各実施形態は、例えば、店舗等施設内を動く一般顧客等の動線を取得する映像監視やマーケティング一般などにも好適に適用可能である。さらに、上記各実施形態は、例えば、カメラ中に映る動物体の動きを追跡して動物体の数を計数するマーケティングなどにも好適に適用可能である。
　以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
　この出願は、２０１６年５月１８日に出願された日本出願特願２０１６ー０９９４０４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１　コンピュータ
　２　入力部
　３　記憶装置
　４　出力部
　１１　入力部
　１２　オブジェクト検出部
　１３　オブジェクト追跡部
　１４　オブジェクト統合判定部
　１５　オブジェクト離脱判定部
　１６　出力部

Claims (9)

  1. 　映像中から検出対象のオブジェクトを検出するオブジェクト検出手段と、
    　前記オブジェクト検出手段が検出したオブジェクトの情報を基に、当該オブジェクトの追跡を行うオブジェクト追跡手段と、
    　前記オブジェクト追跡手段による追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合を判定するオブジェクト統合判定手段と、
    　前記オブジェクト統合判定手段の判定結果を基に、前記オブジェクトの集合の近接状態が解消されたことを判定するオブジェクト離脱判定手段と、
    　前記オブジェクト離脱判定手段の判定結果を基に、前記オブジェクト追跡手段の追跡結果を補正するオブジェクト追跡補正手段とを備えた
    　ことを特徴とするオブジェクト追跡装置。
  2. 　前記オブジェクト追跡手段は、オブジェクトの近接状態に応じて、当該オブジェクトの信頼度を計算する
    　請求項１記載のオブジェクト追跡装置。
  3. 　前記オブジェクト統合判定手段は、近接状態の判定結果を蓄積し、当該近接状態の同一性を判定する
    　請求項１または請求項２に記載のオブジェクト追跡装置。
  4. 　前記オブジェクト追跡補正手段は、前記オブジェクト離脱判定手段により近接状態が解消されたと判定された場合に、前記オブジェクト追跡手段の追跡結果を補正し、
    　前記オブジェクト追跡手段は、補正された追跡結果に基づいて検出対象のオブジェクトの追跡を行う
    　請求項１から請求項３のうちのいずれか１項に記載のオブジェクト追跡装置。
  5. 　前記オブジェクト離脱判定手段は、過去に複数のトラッカーと対応付くコンテナに対応付けられており、かつ、現在のフレームにおいてあるコンテナに単独で対応付けられているトラッカーを、離脱候補トラッカーとして検出する
    　請求項１から請求項４のうちのいずれか１項に記載のオブジェクト追跡装置。
  6. 　映像中から検出対象のオブジェクトを検出し、
    　検出されたオブジェクトの情報を基に、当該オブジェクトの追跡を行い、
    　前記追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合を判定し、
    　前記オブジェクトの集合の判定結果を基に、前記オブジェクトの集合の近接状態が解消されたことを判定し、
    　近接状態が解消された旨を示す判定結果を基に、前記追跡結果を補正する
    　ことを特徴とするオブジェクト追跡方法。
  7. 　オブジェクトの近接状態に応じて、当該オブジェクトの信頼度を計算する
    　請求項６記載のオブジェクト追跡方法。
  8. 　コンピュータに、
    　映像中から検出対象のオブジェクトを検出するオブジェクト検出処理、
    　前記オブジェクト検出処理で検出されたオブジェクトの情報を基に、当該オブジェクトの追跡を行うオブジェクト追跡処理、
    　前記オブジェクト追跡処理で追跡中のオブジェクトのうち、互いに近い状態である近接状態にあるオブジェクトの集合を判定するオブジェクト統合判定処理、
    　前記オブジェクト統合判定処理の判定結果を基に、前記オブジェクトの集合の近接状態が解消されたことを判定するオブジェクト離脱判定処理、および、
    　前記オブジェクト離脱判定処理の判定結果を基に、前記オブジェクト追跡処理の追跡結果を補正するオブジェクト追跡補正処理
    　を実行させるオブジェクト追跡プログラムが記録された記録媒体。
  9. 　前記オブジェクト追跡処理は、オブジェクトの近接状態に応じて、当該オブジェクトの信頼度を計算する処理を含む、
    　請求項８記載のオブジェクト追跡プログラムが記録された記録媒体。
PCT/JP2017/017846 2016-05-18 2017-05-11 オブジェクト追跡装置、オブジェクト追跡方法および記録媒体 WO2017199840A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018518253A JP7120004B2 (ja) 2016-05-18 2017-05-11 オブジェクト追跡装置、オブジェクト追跡方法およびオブジェクト追跡プログラム
US16/301,783 US10867394B2 (en) 2016-05-18 2017-05-11 Object tracking device, object tracking method, and recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-099404 2016-05-18
JP2016099404 2016-05-18

Publications (1)

Publication Number Publication Date
WO2017199840A1 true WO2017199840A1 (ja) 2017-11-23

Family

ID=60325952

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/017846 WO2017199840A1 (ja) 2016-05-18 2017-05-11 オブジェクト追跡装置、オブジェクト追跡方法および記録媒体

Country Status (3)

Country Link
US (1) US10867394B2 (ja)
JP (1) JP7120004B2 (ja)
WO (1) WO2017199840A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109446942A (zh) * 2018-10-12 2019-03-08 北京旷视科技有限公司 目标跟踪方法、装置和系统
CN111832343A (zh) * 2019-04-17 2020-10-27 北京京东尚科信息技术有限公司 目跟踪方法和装置、存储介质
US11494922B2 (en) 2018-03-23 2022-11-08 Nec Corporation Object tracking device, object tracking method, and object tracking program

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3798977A1 (en) * 2019-09-26 2021-03-31 Robert Bosch GmbH Method for managing tracklets in a particle filter estimation framework
JP7497587B2 (ja) * 2020-03-24 2024-06-11 Ｏｍデジタルソリューションズ株式会社 撮像装置
JP7482090B2 (ja) * 2021-08-27 2024-05-13 株式会社東芝 推定装置、推定方法及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06169458A (ja) * 1992-11-30 1994-06-14 Matsushita Electric Ind Co Ltd 移動体の自動追尾装置
JP2004096402A (ja) * 2002-08-30 2004-03-25 Nec Corp 物体追跡装置、物体追跡方法および物体追跡プログラム
JP2006190121A (ja) * 2005-01-07 2006-07-20 Nikon Corp トラッキング装置およびトラッキング方法、並びに、このトラッキング装置を備えた生物顕微鏡
JP2016071830A (ja) * 2014-09-26 2016-05-09 日本電気株式会社 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256843A (ja) 2002-02-26 2003-09-12 Oki Electric Ind Co Ltd 計測システム
JP2006250918A (ja) 2005-03-07 2006-09-21 Wise Media Technology Inc 位置情報を持つ複数ｉｄのグループ化方法および動線の予測もしくは補間を行う動線管理システム
JP4769943B2 (ja) 2006-03-30 2011-09-07 国立大学法人電気通信大学 物体追跡装置、異常状態検知装置及び物体追跡方法
US20090002489A1 (en) * 2007-06-29 2009-01-01 Fuji Xerox Co., Ltd. Efficient tracking multiple objects through occlusion
WO2014192483A1 (ja) 2013-05-30 2014-12-04 日本電気株式会社 情報処理システム、情報処理方法及びプログラム
JP6169458B2 (ja) 2013-09-27 2017-07-26 テルモ株式会社 鉄代謝改善用輸液剤
US10664705B2 (en) 2014-09-26 2020-05-26 Nec Corporation Object tracking apparatus, object tracking system, object tracking method, display control device, object detection device, and computer-readable medium

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06169458A (ja) * 1992-11-30 1994-06-14 Matsushita Electric Ind Co Ltd 移動体の自動追尾装置
JP2004096402A (ja) * 2002-08-30 2004-03-25 Nec Corp 物体追跡装置、物体追跡方法および物体追跡プログラム
JP2006190121A (ja) * 2005-01-07 2006-07-20 Nikon Corp トラッキング装置およびトラッキング方法、並びに、このトラッキング装置を備えた生物顕微鏡
JP2016071830A (ja) * 2014-09-26 2016-05-09 日本電気株式会社 物体追跡装置、物体追跡システム、物体追跡方法、表示制御装置、物体検出装置、プログラムおよび記録媒体

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11494922B2 (en) 2018-03-23 2022-11-08 Nec Corporation Object tracking device, object tracking method, and object tracking program
CN109446942A (zh) * 2018-10-12 2019-03-08 北京旷视科技有限公司 目标跟踪方法、装置和系统
CN111832343A (zh) * 2019-04-17 2020-10-27 北京京东尚科信息技术有限公司 目跟踪方法和装置、存储介质
CN111832343B (zh) * 2019-04-17 2024-04-09 北京京东乾石科技有限公司 跟踪方法和装置、存储介质

Also Published As

Publication number Publication date
JPWO2017199840A1 (ja) 2019-03-22
JP7120004B2 (ja) 2022-08-17
US20190156491A1 (en) 2019-05-23
US10867394B2 (en) 2020-12-15

Similar Documents

Publication Publication Date Title
WO2017199840A1 (ja) オブジェクト追跡装置、オブジェクト追跡方法および記録媒体
CN107818573B (zh) 一种目标跟踪方法及装置
JP6630485B2 (ja) ドライブスルー用途において車両を自動的に順序付けするための映像追跡に基づく方法
US9953225B2 (en) Image processing apparatus and image processing method
JP5921329B2 (ja) 映像処理装置、追尾物体の管理方法、および、プログラム
KR101087592B1 (ko) Ｉｒ 영상추적기의 단일표적 추적성능 향상 방법
US20200175693A1 (en) Image processing device, image processing method, and program
JP4884331B2 (ja) 移動物体追跡装置
CN104966304A (zh) 基于卡尔曼滤波与非参数背景模型的多目标检测跟踪方法
JP5807635B2 (ja) 動線検出システム、動線検出方法および動線検出プログラム
KR101868103B1 (ko) 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
JP2012133759A (ja) 侵入物体の検知を行うことができる物体追尾装置、物体追尾方法及び記憶媒体
CN106778712A (zh) 一种多目标检测与跟踪方法
US11379993B2 (en) Image processing apparatus, image processing method, and storage medium
KR20110128529A (ko) 형태와 특징 정보를 이용한 비정형 객체 추적 장치 및 그 방법
JP7065557B2 (ja) 人物を追跡する映像解析装置、プログラム及び方法
CN102810206A (zh) 一种基于动态规划的实时徘徊检测方法
JP7176590B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN102789645A (zh) 一种用于周界防范的多目标快速跟踪方法
CN116330658B (zh) 基于深度图像的目标跟踪方法、装置、系统及摄像设备
WO2013128839A1 (ja) 画像認識システム、画像認識方法およびコンピュータ・プログラム
Monteiro et al. Robust segmentation for outdoor traffic surveillance
Dondera et al. Interactive video segmentation using occlusion boundaries and temporally coherent superpixels
CN110956649A (zh) 多目标三维物体跟踪的方法和装置
WO2013136395A1 (ja) 検知装置、検知方法、プログラムが格納された記憶媒体

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2018518253

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17799264

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17799264

Country of ref document: EP

Kind code of ref document: A1