WO2023062754A1 - 物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体 - Google Patents

物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2023062754A1
WO2023062754A1 PCT/JP2021/037921 JP2021037921W WO2023062754A1 WO 2023062754 A1 WO2023062754 A1 WO 2023062754A1 JP 2021037921 W JP2021037921 W JP 2021037921W WO 2023062754 A1 WO2023062754 A1 WO 2023062754A1
Authority
WO
WIPO (PCT)
Prior art keywords
tracking
group
similar
tracked
person
Prior art date
Application number
PCT/JP2021/037921
Other languages
English (en)
French (fr)
Inventor
智史 山崎
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2021/037921 priority Critical patent/WO2023062754A1/ja
Publication of WO2023062754A1 publication Critical patent/WO2023062754A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Definitions

  • the present disclosure relates to an object tracking processing device, an object tracking processing method, and a non-transitory computer-readable medium.
  • Patent Document 1 describes a system that detects an object appearing in a video and tracks the same object over successive frames (MOT (Multi Object Tracking)).
  • MOT Multi Object Tracking
  • Patent Document 1 since the same object is determined based on the non-spatiotemporal similarity of the object, a tracking result that is contrary to spatiotemporal constraints is obtained, and the tracking accuracy is reduced.
  • An object of the present disclosure is to provide an object tracking processing device, an object tracking processing method, and a non-transitory computer-readable medium that can improve the tracking accuracy of an object appearing in a video in view of the above problems. .
  • An object tracking processing apparatus of the present disclosure includes an object grouping processing unit that calculates at least one similar object group including at least one object similar to a tracked object based on at least a feature amount of the tracked object; and an object tracking unit that assigns a tracking ID for identifying an object belonging to the similar object group to the object.
  • the object tracking processing method of the present disclosure includes an object grouping processing step of calculating at least one similar object group including at least one object similar to the object to be tracked based on at least the feature amount of the object to be tracked; and an object tracking step of assigning a tracking ID for identifying the object to an object belonging to the similar object group.
  • Another object tracking processing method of the present disclosure includes steps of detecting an object to be tracked in the frame and a feature amount of the object to be tracked each time a frame constituting an image is input; calculating at least one similar object group including at least one object similar to the tracked object based on at least the feature quantity of the detected tracked object by referring to the section; a step of storing the position of the detected object to be tracked, the detection time of the object, the feature amount of the object, and a group ID identifying the group to which the object belongs in the object feature amount storage unit; storing the position of the detected object to be tracked, the detection time of the object, and a group ID identifying the group to which the object belongs in an object group information storage unit; , referring to the object group information storage unit, and executing a batch process of assigning a tracking ID identifying an object to an object belonging to the similar object group.
  • a non-transitory computer-readable medium of the present disclosure is an object grouping process of calculating at least one similar object group including at least one object similar to a tracked object based on at least a feature amount of the tracked object. and an object tracking step of assigning a tracking ID for identifying the object to an object belonging to the similar object group.
  • an object tracking processing device an object tracking processing method, and a non-transitory computer-readable medium that can improve the tracking accuracy of an object appearing in a video.
  • FIG. 1 is a schematic configuration diagram of an object tracking processing device 1;
  • FIG. 4 is a flowchart of an example of the operation of the object tracking processing device 1;
  • FIG. 3 is an image diagram of the first stage of processing executed by the object tracking processing device 1;
  • FIG. 5 is an image diagram of a second stage of processing executed by the object tracking processing device 1;
  • 2 is a block diagram showing the configuration of an object tracking processing device 1 according to a second embodiment;
  • FIG. 4 is a flowchart of processing for grouping objects detected by the object detection unit 10.
  • FIG. FIG. 5 is an image diagram of a process of grouping objects detected by the object detection unit 10;
  • FIG. 5 is an image diagram of a process of grouping objects detected by the object detection unit 10;
  • Each of the object tracking units 50A to 50C performs in parallel a process of assigning a tracking ID for identifying an object to an object belonging to a similar object group (similar object group different from each other).
  • It is a figure representing. 4 is a flowchart of processing for assigning a tracking ID for identifying an object to an object belonging to a similar object group calculated by the object grouping processing unit 20.
  • FIG. 10 is an image diagram of a process of assigning a tracking ID for identifying an object to an object belonging to a similar object group calculated by the object grouping processing unit 20; It is an example of a matrix (table) used in the process of assigning a tracking ID for identifying an object to an object belonging to the similar object group calculated by the object grouping processing unit 20 . It is a hardware configuration example of the object tracking processing device 1 (information processing device).
  • FIG. 1 is a schematic configuration diagram of the object tracking processing device 1.
  • FIG. 1 is a schematic configuration diagram of the object tracking processing device 1.
  • an object tracking processing device 1 calculates at least one similar object group including at least one object similar to the object to be tracked based on at least the feature amount of the object to be tracked.
  • a grouping processing unit 20 and an object tracking unit 50 that assigns tracking IDs to objects belonging to a similar object group are provided.
  • FIG. 2 is a flowchart of an example of the operation of the object tracking processing device 1.
  • the object grouping processing unit 20 calculates at least one similar object group including at least one object similar to the tracked object based on at least the feature amount of the tracked object (step S1).
  • the object tracking unit 50 assigns tracking IDs to objects belonging to the similar object group (step S2).
  • Embodiment 1 it is possible to improve the accuracy of tracking an object appearing in a video.
  • the object tracking processing device 1 is a device that detects all objects appearing in a single image and tracks the same object across successive frames (MOT (Multi Object Tracking)).
  • a single image refers to an image input from one camera 70 (see FIG. 12) or one image file (not shown).
  • a frame is an individual frame (hereinafter also referred to as an image) that constitutes a single video.
  • the object tracking processing device 1 executes two stages of processing.
  • FIG. 3A is an image diagram of the first stage of processing executed by the object tracking processing device 1.
  • FIG. 3A is an image diagram of the first stage of processing executed by the object tracking processing device 1.
  • the object tracking processing device 1 executes processing (online processing) of detecting a tracked object in a frame and classifying the detected tracked object into similar object groups.
  • This processing is processing that utilizes the non-spatiotemporal similarity of objects.
  • FIG. 3A shows that as a result of performing the first-stage processing on frames 1 to 3, each tracked object (persons U1 to U4) is classified into three similar object groups G1 to G3. .
  • FIG. 3B is an image diagram of the second-stage processing executed by the object tracking processing device 1.
  • the object tracking processing device 1 assigns, for each similar object group classified by the first stage of processing, a tracking ID that identifies the object to an object belonging to the similar object group (batch processing ). At that time, the object tracking processing device 1 utilizes spatio-temporal similarity to determine the same object. (see the rectangular frame drawn by the dotted line in FIG. 3B). This processing is processing using spatio-temporal similarity.
  • FIG. 4 is a block diagram showing the configuration of the object tracking processing device 1 according to the second embodiment.
  • the object tracking processing device 1 includes an object detection unit 10, an object grouping processing unit 20, an object feature amount information storage unit 30, an object group information storage unit 40, an object tracking unit 50, an object tracking information storage unit. 60.
  • the object detection unit 10 executes processing for detecting a tracked object (the position of the tracked object) in a frame that constitutes a single image and the feature amount of the tracked object.
  • This processing is online processing that is executed each time a frame is input.
  • This processing is realized by executing predetermined image processing on the frame.
  • Various existing algorithms can be used as the predetermined image processing.
  • the object detected by the object detection unit 10 is, for example, a moving object (moving object) such as a person, a vehicle, or a motorcycle. An example in which the object detected by the object detection unit 10 is a person will be described below.
  • a feature amount is an object feature amount (ReID), and is data with which a similarity score between two objects can be calculated by comparison.
  • ReID object feature amount
  • the position of the object detected by the object detection unit 10 is, for example, coordinates of a rectangular frame surrounding the object detected by the object detection unit 10 .
  • the feature amount of an object detected by the object detection unit 10 is, for example, the feature amount of a person's face or the feature amount of a person's skeleton.
  • the object detection unit 10 may be built in the camera 70 (see FIG. 12), or may be provided outside the camera 70 .
  • the object grouping processing unit 20 refers to the object feature amount information storage unit 30, and based on at least the feature amount of the tracked object, identifies at least one similar object including at least one object similar to the tracked object. Execute processing to calculate an object group. At that time, the object grouping processing unit 20 uses the non-spatiotemporal similarity of objects (for example, similarity of facial feature data or similarity of human feature data) to are classified into similar object groups (clustering). This processing is online processing that is executed each time the object detection unit 10 detects an object. As clustering algorithms, data clustering/grouping techniques based on similarity to data over a wide time interval, such as DBSCAN, k-means, and agglomerative clustering can be used.
  • the object grouping processing unit 20 refers to the object feature amount information storage unit 30 and searches for similar objects similar to the object detected by the object detection unit 10 . At that time, all stored in the object feature amount information storage unit 30 (for example, feature amounts for all frames) may be searched, or a part stored in the object feature amount information storage unit 30 (for example, , and feature amounts for 500 frames stored within 30 seconds from the current time) may be searched.
  • all stored in the object feature amount information storage unit 30 for example, feature amounts for all frames
  • a part stored in the object feature amount information storage unit 30 for example, and feature amounts for 500 frames stored within 30 seconds from the current time
  • the object grouping processing unit 20 assigns the group ID of the similar object to the object detected by the object detection unit 10. Specifically, the object grouping processing unit 20 stores the position of the object, the detection time of the object, the feature amount of the object, and the group ID that identifies the similar object group to which the object belongs to the object feature amount information storage unit 30. Store. If no similar object is retrieved, a newly numbered group ID is assigned.
  • the object feature amount information storage unit 30 stores, for each object detected by the object detection unit 10, the position of the object, the detection time of the object, the feature amount of the object, and the group ID assigned to the object. . Since the object feature amount information storage unit 30 is frequently accessed by the object grouping processing unit 20, it is desirable that it be a storage device (memory or the like) that can be read and written at high speed.
  • the object group information storage unit 40 stores information about objects belonging to similar object groups. Specifically, the object group information storage unit 40 stores, for each object detected by the object detection unit 10, the position of the object, the detection time of the object, and the group ID that identifies the similar object group to which the object belongs. be done. Note that the object group information storage unit 40 may further store the feature amount of the object. Since the object group information storage unit 40 is accessed less frequently than the object feature amount information storage unit 30, it does not have to be a storage device (such as a memory) that can be read and written at high speed. For example, the object group information storage unit 40 may be a hard disk device.
  • the object tracking unit 50 executes a process of assigning a tracking ID for identifying an object to an object belonging to the similar object group calculated by the object grouping processing unit 20.
  • a tracking ID is an identifier assigned to the same object over successive frames.
  • This processing is batch processing of a time cycle (time cycle) that is executed each time a predetermined time (for example, 5 minutes) elapses.
  • This batch processing is a process of acquiring information on objects belonging to updated similar object groups from the object group information storage unit 40 and assigning tracking IDs to objects belonging to the similar object groups based on the acquired information. .
  • the object tracking unit 50 utilizes the spatio-temporal similarity to determine the same object, for example, the overlap between the detected position of the object and the predicted position of the tracked object, and the online detection based on IoU (Intersection over Union). track.
  • the Hungarian method can be used.
  • the Hungarian method is an algorithm that calculates the cost from the degree of overlap between the predicted positions of the detected object and the tracked object, and determines the allocation that minimizes the cost.
  • the Hungarian method will be discussed further below. Note that this algorithm is not limited to the Hungarian method, and other algorithms such as the greedy method can also be used. It should be noted that not only the spatio-temporal similarity but also the non-spatio-temporal similarity may be used in the same object determination by the object tracking unit 50 .
  • Each object tracking unit 50 executes in parallel a process of assigning a tracking ID for identifying an object to an object belonging to a similar object group (one similar object group different from each other) that each object tracking unit 50 is in charge of.
  • the process of allocating tracking IDs for identifying the objects to objects belonging to the similar object groups is executed in parallel. can be done.
  • the tracking ID assigned by the object tracking unit 50 is stored in the object tracking information storage unit 60.
  • the object tracking information storage unit 60 stores, for each object, the position of the object, the detection time of the object, and the group ID that identifies the similar object group to which the object belongs. Since the object tracking information storage unit 60 is accessed less frequently than the object feature amount information storage unit 30, it does not have to be a storage device (such as a memory) that can be read and written at high speed.
  • the object tracking information storage unit 60 may be a hard disk device.
  • FIG. 5 is a flowchart of processing for grouping objects detected by the object detection unit 10.
  • FIG. 6 and 7 are image diagrams of processing for grouping objects detected by the object detection unit 10.
  • FIG. 5 is a flowchart of processing for grouping objects detected by the object detection unit 10.
  • FIG. 6 and 7 are image diagrams of processing for grouping objects detected by the object detection unit 10.
  • frames forming a single image captured by the camera 70 are sequentially input to the object detection unit 10 .
  • frame 1, frame 2, frame 3, it is assumed that frame 1, frame 2, frame 3, .
  • nothing is stored in the object feature amount information storage unit 30, the object group information storage unit 40, and the object tracking information storage unit 60 at first.
  • the following processing is executed for each frame (each time a frame is input).
  • the object detection unit 10 detects an object to be tracked in the frame 1 (image), and detects (calculates) the feature amount of the object to be tracked. (Step S10).
  • frame 1 an image including persons U1 to U4
  • persons U1 to U4 in frame 1 are detected as objects to be tracked (step S100), and the detection It is assumed that the feature amounts of each of the persons U1 to U4 are detected.
  • the object grouping processing unit 20 refers to the object feature amount information storage unit 30 for each object detected in step S10, and searches for similar objects having a similarity score higher than the threshold 1 (step S11).
  • Threshold 1 is a threshold representing the lower limit of the similarity score.
  • all stored in the object feature amount information storage unit 30 for example, feature amounts for all frames
  • a part stored in the object feature amount information storage unit 30 for example, , and feature amounts for 500 frames stored within 30 seconds from the current time
  • deterioration of the freshness of the feature amount is suppressed by making a part (for example, the feature amount of 500 frames stored within 30 seconds from the present time) stored in the object feature amount information storage unit 30 the search target. can do.
  • step S100 For example, for the person U1 detected in step S10 (step S100), similar objects are not retrieved even if the process of step S11 is executed. This is because nothing is stored in the object feature amount information storage unit 30 at this point (see step S101 in FIG. 6).
  • the object grouping processing unit 20 determines whether or not the number of similar objects in the search results in step S11 is equal to or greater than threshold 2 (step S12).
  • Threshold 2 is a threshold representing the lower limit of the number of similar objects.
  • step S12 determines whether the person U1 detected in step S10 is a person U1 detected in step S10 is a person U1 detected in step S10. Even if the process of step S11 is executed, no similar object is retrieved, so the determination result of step S12 is No.
  • the object grouping processing unit 20 numbers the group ID (for example, 1) of the new object (person U1) for the person U1 detected in step S10 (step S13), and this numbered group
  • the ID and related information position of person U1, detection time of person U1 are associated with each other and stored in the object group information storage unit 40 (step S14, step S102 in FIG. 6).
  • the object grouping processing unit 20 associates the group ID numbered in step S13 and related information (the position of the person U1, the detection time of the person U1, the feature amount of the person U1) with each other, and stores the object feature amount information storage unit 30. (see step S103 in FIG. 6).
  • step S10 when the process of step S11 is executed, the person U1 is searched as a similar object. This is because the group ID of the person U1 and related information (the position of the person U1, the detection time of the person U1, the feature amount of the person U1) are stored in the object feature amount information storage unit 30 at this point (FIG. 6). (see step S104). Therefore, the determination result of step S12 is Yes (when the threshold value 2 is 0).
  • the object grouping processing unit 20 determines whether or not all similar objects in the search results in step S11 have the same group ID (step S15).
  • step S10 Regarding the person U2 detected in step S10, the similar objects (person U1) in the search results in step S11 all have the same group ID, so the determination result in step S15 is Yes.
  • the object grouping processing unit 20 sets the group ID of the similar object (person U1) detected in step S11 and related information (position of person U2, detection time of person U2). ) are associated with each other and stored in the object group information storage unit 40 (step S14, step S105 in FIG. 6). Further, the object grouping processing unit 20 associates the group ID of the similar object (person U1) detected in step S11 and related information (the position of person U1, the detection time of person U1, the feature amount of person U1) with each other to group the object. Stored in the feature amount information storage unit 30 (see step S106 in FIG. 6).
  • step S10 for the person U3 detected in step S10, even if the process of step S11 is executed, no similar object is retrieved, so the determination result of step S12 is No.
  • the object grouping processing unit 20 numbers the group ID (for example, 2) of the new object (person U3) for the person U3 detected in step S10 (step S13), and the numbered group
  • the ID and related information (the position of the person U3, the detection time of the person U3) are associated with each other and stored in the object group information storage unit 40 (step S14, step S108 in FIG. 6).
  • the object grouping processing unit 20 associates the group ID numbered in step S13 and related information (the position of the person U3, the detection time of the person U3, the feature amount of the person U3) with each other, and stores the object feature amount information storage unit 30. (see step S109 in FIG. 6).
  • step S10 For the person U4 detected in step S10, even if the process of step S11 is executed, similar objects are not retrieved, so the determination result of step S12 is No.
  • the object grouping processing unit 20 numbers the group ID (for example, 3) of the new object (person U4) for the person U4 detected in step S10 (step S13), and this numbered group
  • the ID and related information (the position of the person U4, the detection time of the person U4) are associated with each other and stored in the object group information storage unit 40 (step S14, step S111 in FIG. 6).
  • the object grouping processing unit 20 associates the group ID numbered in step S13 and related information (the position of the person U4, the detection time of the person U4, the feature amount of the person U4) with each other, and stores the object feature amount information storage unit 30. (not shown).
  • the object detection unit 10 detects an object to be tracked in frame 2 (image), and executes processing for detecting (calculating) the feature amount of the object to be tracked. (Step S10).
  • frame 2 (an image including persons U1 to U4) is input, and persons U1 to U4 in frame 2 are detected as objects to be tracked (step S200). It is assumed that the feature amounts of each of the persons U1 to U4 are detected.
  • the object grouping processing unit 20 refers to the object feature amount information storage unit 30 for each object detected in step S10, and searches for similar objects having a similarity score higher than the threshold 1 (step S11).
  • Threshold 1 is a threshold representing the lower limit of the similarity score.
  • all stored in the object feature amount information storage unit 30 for example, feature amounts for all frames
  • a part stored in the object feature amount information storage unit 30 for example, , and feature amounts for 500 frames stored within 30 seconds from the current time
  • deterioration of the freshness of the feature amount is suppressed by making a part (for example, the feature amount of 500 frames stored within 30 seconds from the present time) stored in the object feature amount information storage unit 30 the search target. can do.
  • step S200 For example, for person U1 detected in step S10 (step S200), when the process of step S11 is executed, persons U1 and U2 are searched as similar objects.
  • the object feature amount information storage unit 30 stores the group ID of person U1 and related information (position of person U1, detection time of person U1, feature amount of person U1) and group ID of person U2 and related information (person This is because the position of U2, the detection time of person U2, the feature amount of person U2) are stored (see step S201 in FIG. 6). Therefore, the determination result of step S12 is Yes (when the threshold value 2 is 0).
  • the object grouping processing unit 20 determines whether or not all similar objects in the search results in step S11 have the same group ID (step S15).
  • step S10 Regarding the person U1 detected in step S10 (step S200), the similar objects (persons U1 and U2) in the search results in step S11 all have the same group ID, so the determination result in step S15 is Yes.
  • the object grouping processing unit 20 sets the group ID of the similar objects (persons U1 and U2) detected in step S11 and related information (the position of person U1). , detection time of the person U1) are associated with each other and stored in the object group information storage unit 40 (step S14, step S202 in FIG. 6). Further, the object grouping processing unit 20 associates the group IDs of the similar objects (persons U1 and U2) detected in step S11 and related information (position of person U1, detection time of person U1, feature amount of person U1). and stores it in the object feature amount information storage unit 30 (see step S203 in FIG. 7).
  • step S11 If the similar objects (persons U1, U2, and U3) retrieved in step S11 do not all have the same group ID, for example, the group ID of person U1 is 1, the group ID of person U2 is 2, and the group ID of person U2 is 2.
  • the determination result of step S15 is No.
  • the object grouping processing unit 20 executes processing for integrating group IDs. Specifically, the object grouping processing unit 20 integrates the group IDs of the search results, and stores the integrated group IDs in the object group information storage unit 40 (step S16).
  • the object grouping processing unit 20 obtains the integrated group ID and related information (the position of the person U1, the person U1 detection time) are associated with each other and stored in the object group information storage unit 40 (step S14).
  • the object grouping processing unit 20 stores the integrated group ID and related information (the position of the person U1, the detection time of the person U1, the feature amount of the person U1) in the object feature amount information storage unit 30 in association with each other. The same is true for the persons U2 and U3.
  • step S200 when the process of step S11 is executed, persons U1 and U2 are searched as similar objects.
  • the object feature amount information storage unit 30 stores the group ID of person U1 and related information (position of person U1, detection time of person U1, feature amount of person U1) and group ID of person U2 and related information (person This is because the position of U2, the detection time of person U2, the feature amount of person U2) are stored (see step S204 in FIG. 7). Therefore, the determination result of step S12 is Yes (when the threshold value 2 is 0).
  • the object grouping processing unit 20 determines whether or not all similar objects in the search results in step S11 have the same group ID (step S15).
  • step S10 Regarding the person U2 detected in step S10 (step S200), the similar objects (persons U1 and U2) in the search results in step S11 all have the same group ID, so the determination result in step S15 is Yes.
  • the object grouping processing unit 20 sets the group ID of the similar objects (persons U1 and U2) detected in step S11 and related information (the position of person U2). , the detection time of the person U2) are associated with each other and stored in the object group information storage unit 40 (step S14, step S205 in FIG. 7). In addition, the object grouping processing unit 20 associates the group IDs of the similar objects (persons U1 and U2) detected in step S11 and related information (position of person U2, detection time of person U2, feature amount of person U2). and stores it in the object feature amount information storage unit 30 (see step S206 in FIG. 7).
  • step S200 when the process of step S11 is executed, the person U3 is searched as a similar object. This is because the group ID of the person U3 and related information (the position of the person U3, the detection time of the person U3, the feature amount of the person U3) are stored in the object feature amount information storage unit 30 at this point (FIG. 7). (see step S207). Therefore, the determination result of step S12 is Yes (when the threshold value 2 is 0).
  • the object grouping processing unit 20 determines whether or not all similar objects in the search results in step S11 have the same group ID (step S15).
  • step S10 Regarding the person U3 detected in step S10 (step S200), the similar objects (person U3) in the search results in step S11 all have the same group ID, so the determination result in step S15 is Yes.
  • the object grouping processing unit 20 determines the group ID of the similar object (person U3) detected in step S11 and related information (the position of the person U3, the person detection time of U3) are associated with each other and stored in the object group information storage unit 40 (step S14, step S208 in FIG. 7). In addition, the object grouping processing unit 20 associates the group ID of the similar object (person U3) detected in step S11 and related information (the position of person U3, the detection time of person U3, the feature amount of person U3) with each other to create an object group. Stored in the feature amount information storage unit 30 (see step S209 in FIG. 7).
  • step S200 when the process of step S11 is executed, the person U4 is searched as a similar object. This is because the group ID of the person U4 and related information (the position of the person U4, the detection time of the person U4, the feature amount of the person U4) are stored in the object feature amount information storage unit 30 at this point (FIG. 7). (see step S210). Therefore, the determination result of step S12 is Yes (when the threshold value 2 is 0).
  • the object grouping processing unit 20 determines whether or not all similar objects in the search results in step S11 have the same group ID (step S15).
  • step S10 Regarding the person U4 detected in step S10 (step S200), the similar objects (person U4) found in the search results in step S11 all have the same group ID, so the determination result in step S15 is Yes.
  • the object grouping processing unit 20 sets the group ID of the similar object (person U4) detected in step S11 and related information (the position of the person U4, the person detection time of U4) are associated with each other and stored in the object group information storage unit 40 (step S14, step S211 in FIG. 7).
  • the object grouping processing unit 20 associates the group ID of the similar object (person U4) detected in step S11 and related information (position of person U4, time of detection of person U4, feature amount of person U4) with each other to create an object group. Stored in the feature amount information storage unit 30 (not shown).
  • the group ID and related information of each object detected in step S10 are stored in the object feature amount information storage unit 30 and the object group information storage unit 40 every moment. To go.
  • FIG. 5 An example has been described above in which the processing of the flowchart shown in FIG. 5 is executed for each successive frame such as frame 1, frame 2, frame 3, . . . , but the present invention is not limited to this.
  • the processing of the flowchart shown in FIG. 5 may be executed for each of the frames that are skipped by one (or a plurality of frames) such as frame 1, frame 3, frame 5, and so on. This makes it possible to improve throughput.
  • the process of assigning a tracking ID for identifying the object to the object belonging to the similar object group calculated by the object grouping processing unit 20 (second stage process) will be described. This processing is executed by the object tracking unit 50 .
  • the same number of object tracking units 50 as the similar object groups calculated by the object grouping processing unit 20 exist (the same number of object groups are generated). For example, when three similar object groups are formed as a result of executing the processing of the flowchart in FIG. 5, three object tracking units 50A to 50C are present (generated) as shown in FIG. In FIG. 8, each of the object tracking units 50A to 50C executes in parallel a process of allocating a tracking ID for identifying an object to an object belonging to a similar object group (similar object group different from each other). It shows how it is.
  • the object tracking unit 50A executes a process of assigning tracking IDs for identifying objects to objects (here, persons U1 and U2) belonging to a first similar object group (here, a similar object group with a group ID of 1). .
  • the object tracking unit 50B executes a process of assigning a tracking ID for identifying an object (here, person U3) belonging to a second similar object group (here, a similar object group with a group ID of 2).
  • the object tracking unit 50C executes a process of assigning a tracking ID for identifying the object to the object (here, person U4) belonging to the third similar object group (here, the similar object group whose group ID is 3). These processes are executed in parallel.
  • FIG. 9 is a flowchart of processing for assigning a tracking ID for identifying an object to an object belonging to the similar object group calculated by the object grouping processing unit 20.
  • FIG. 10 is an image diagram of a process of assigning a tracking ID for identifying an object to an object belonging to the similar object group calculated by the object grouping processing unit 20.
  • Updated means that when the same group ID and related information as the group ID already stored in the object group information storage unit 40 are additionally stored, a new group ID and related information are added to the object group information storage unit 40. This includes the case where the process of step S16 (the process of integrating the group IDs) is executed and the process result is stored in the object group information storage unit 40 (step S14). Note that if there is no update, the process of the flowchart shown in FIG. 9 is not executed even after a predetermined period of time (for example, 5 minutes) has passed.
  • a predetermined period of time for example, 5 minutes
  • the object tracking unit 50A unassigns the tracking ID of the object group information acquired in step S20 (step S21).
  • step S24 the object tracking unit 50A determines whether or not the next frame exists.
  • the determination result of step S24 is Yes.
  • the object tracking unit 50A determines whether the current frame (frame to be processed) is frame 1 (step S25).
  • the determination result in step S25 is Yes.
  • the object tracking unit 50A predicts the position of the assigned tracked object in the next frame, taking into consideration the current position of the object (step S26).
  • the object tracking unit 50A predicts the positions in the next frame (frame 2) of each of the persons U1 and U2 who belong to the similar object group whose group ID is 1 in frame 1 (first frame).
  • this prediction algorithm for example, one disclosed in https://arxiv.org/abs/1602.00763 (code: https://github.com/abewley/sort, GPL v3) can be used.
  • the positions of two rectangular frames A1 and A2 drawn by dotted lines in frame 2 in FIG. 10 are predicted as the predicted positions of persons U1 and U2.
  • the object tracking unit 50A assigns new tracking IDs to objects that are not assigned or whose cost is higher than threshold 3 (step S27).
  • Threshold 3 is a threshold representing the upper limit of the cost calculated from the overlap of the object regions and the object similarity.
  • step S24 the object tracking unit 50A determines whether or not the next frame exists.
  • the determination result of step S24 is Yes.
  • the object tracking unit 50A determines whether the current frame (frame to be processed) is frame 1 (step S25).
  • the determination result in step S25 is No.
  • the object tracking unit 50A acquires all the object information of the current frame (frame 2) and the predicted positions of the objects (people U1, U2) tracked up to the previous frame (frame 1) (step S28).
  • the positions of two rectangular frames A1 and A2 drawn by dotted lines in frame 2 in FIG. shall be
  • the object tracking unit 50 assigns the tracking ID of the tracked object to the current object by the Hungarian method using the object area overlap and the object similarity as cost functions (step S29). For example, the cost is calculated from the degree of overlap between the predicted positions of the detected object and the tracked object, and the allocation that minimizes the cost is determined.
  • FIG. 11 is an example of a matrix (table) used in the process of assigning tracking IDs for identifying objects belonging to similar object groups calculated by the object grouping processing unit 20 .
  • "Detection 1", “Detection 2", “Tracking 1", and “Tracking 2" in this matrix have the following meanings.
  • the two rectangular frames A1 and A2 drawn with dotted lines in frame 2 represent the predicted positions of the objects (people U1 and U2) predicted in the previous frame (frame 1).
  • One of the two rectangular frames A1 and A2 represents “tracking 1" and the other represents "tracking 2".
  • two rectangular frames A3 and A4 drawn with solid lines in frame 2 represent the positions of the objects (people U1 and U2) detected in the current frame (frame 2).
  • One of the two rectangular frames A3 and A4 represents “detection 1" and the other represents “detection 2".
  • the matrix (table) shown in FIG. 11 is a 2 ⁇ 2 matrix, it is not limited to this, and may be an N1 ⁇ N2 matrix other than 2 ⁇ 2 depending on the number of objects.
  • N1 and N2 is an integer of 1 or more.
  • 0.5 described at the intersection of “tracking 1” and “detection 1” is the predicted position representing “tracking 1” (one rectangular frame A1 drawn with a dotted line in frame 2 in FIG. 10) and This is a numerical value obtained by subtracting the degree of overlap (overlapping area)/2 with the position representing "detection 1" (one rectangular frame A3 drawn with a solid line in frame 2 in FIG. 10) from 1.0.
  • this number is 0, it means that both positions completely overlap, and when it is 1, it means that both positions do not overlap at all.
  • a smaller value (closer to 0) indicates a higher degree of overlap between the two positions, and a larger value (closer to 1) indicates a smaller degree of overlap between the two positions.
  • the object tracking unit 50A predicts the position of the assigned tracked object in the next frame, taking into consideration the current position of the object (step S26).
  • the object tracking unit 50A predicts the positions in the next frame (frame 3) of each of the persons U1 and U2 who belong to the similar object group whose group ID is 1 in frame 2.
  • the positions of two rectangular frames A5 and A6 drawn by dotted lines in frame 3 in FIG. 10 are predicted as the predicted positions of the persons U1 and U2.
  • the object tracking unit 50A assigns new tracking IDs to objects that are not assigned or whose cost is higher than threshold 3 (step S27).
  • Threshold 3 is a threshold representing the upper limit of the cost calculated from the overlap of the object regions and the object similarity.
  • step S26 is not executed.
  • step S24 the object tracking unit 50A determines whether or not the next frame exists.
  • the determination result of step S24 is Yes.
  • the object tracking unit 50A determines whether the current frame (frame to be processed) is frame 1 (step S25).
  • the determination result in step S25 is No.
  • the object tracking unit 50A acquires all object information in the current frame (frame 3) and the predicted positions of the objects (people U1 and U2) tracked up to the previous frame (frame 2) (step S28).
  • the positions of two rectangular frames A5 and A6 drawn by dotted lines in frame 3 in FIG. 10 are acquired as predicted positions of objects (people U1 and U2). shall be
  • the object tracking unit 50A assigns the tracking ID of the tracked object to the current object by the Hungarian method using the object area overlap and the object similarity as cost functions (step S29).
  • the object tracking unit 50A determines the allocation that minimizes the cost (high degree of overlap). Specifically, the object tracking unit 50A assigns the tracking ID of "tracking 1" with the lowest cost as the tracking ID of detection 1 (for example, person U1). In this case, the object tracking unit 50A associates the assigned tracking ID and related information (the position of the person U1, the detection time of the person U1) with each other and stores them in the object tracking information storage unit 60 for the person U1.
  • the object tracking unit 50A assigns the tracking ID of "tracking 2" with the lowest cost as the tracking ID of detection 2 (for example, person U2). In this case, the object tracking unit 50A associates the assigned tracking ID and related information (the position of the person U2, the detection time of the person U2) with each other and stores them in the object tracking information storage unit 60 for the person U2.
  • FIG. 12 is a block diagram showing a hardware configuration example of the object tracking processing device 1 (information processing device).
  • the object tracking processing device 1 is an information processing device such as a server including a processor 80, a memory 81, a storage device 82, and the like.
  • a server may be a physical machine or a virtual machine.
  • one camera 70 is connected to the object tracking processing device 1 via a communication line (for example, the Internet).
  • the processor 80 functions as the object detection unit 10, the object grouping processing unit 20, and the object tracking unit 50 by executing software (computer program) read from a memory 81 such as a RAM. These functions may be implemented in one server, or may be distributed and implemented in a plurality of servers. Even when distributed and implemented in a plurality of servers, the processing of each of the above flowcharts can be realized by the plurality of servers communicating with each other via a communication line (for example, the Internet). A part or all of these functions may be realized by hardware.
  • a communication line for example, the Internet
  • the processor 80 may be, for example, a microprocessor, MPU (Micro Processing Unit), or CPU (Central Processing Unit).
  • MPU Micro Processing Unit
  • CPU Central Processing Unit
  • a processor may include multiple processors.
  • the memory 81 is configured by a combination of volatile memory and nonvolatile memory.
  • the memory may include storage remotely located from the processor.
  • the processor may access memory through an I/O interface, not shown.
  • the storage device 82 is, for example, a hard disk device.
  • the memory is used to store software modules.
  • the processor can perform processing such as the object tracking processing device described in the above embodiments.
  • the object feature amount information storage unit, the object group information storage unit, and the object tracking information storage unit may be provided in one server, or may be distributed among a plurality of servers.
  • a frequently appearing person in near-real time can be obtained.
  • discovery can be realized. For example, by referring to the object tracking information storage unit 60, it is possible to easily find an object (for example, a person) that frequently appears in a specific place for a specific period. For example, it is possible to list the top 20 people who have frequently visited the office in the last seven days from the present.
  • tracking loss can be improved by matching the same object over a wide range of frames and times.
  • object tracking that considers spatiotemporal similarity requires sequential processing in chronological order. Therefore, it is impossible to improve the throughput by parallelizing the processing for each input.
  • a tracking ID for identifying the object is assigned to the object belonging to the similar object group. Processing can be performed in parallel. This makes it possible to improve throughput. That is, by minimizing the sequential processing portion in chronological order in the overall processing flow, it is possible to improve the throughput by parallelizing most of the processing.
  • tracking only by non-spatial similarity causes erroneous tracking that violates spatio-temporal constraints and degrades tracking accuracy.
  • the second embodiment by executing the two-step processing as described above, it is possible to improve the accuracy of tracking an object that appears in the video.
  • Non-transitory computer-readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic recording media (eg, floppy disks, magnetic tapes, hard disk drives), magneto-optical recording media (eg, magneto-optical disks).
  • Further examples of non-transitory computer readable media include CD-ROMs (Read Only Memory), CD-Rs, and CD-R/Ws.
  • Further examples of non-transitory computer-readable media include semiconductor memory.
  • the semiconductor memory includes, for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, and RAM (Random Access Memory).
  • the program may also be delivered to the computer on various types of transitory computer readable medium.
  • Examples of transitory computer-readable media include electrical signals, optical signals, and electromagnetic waves.
  • Transitory computer-readable media can deliver the program to the computer via wired channels, such as wires and optical fibers, or wireless channels.
  • Reference Signs List 1 ... Object tracking processing device 10
  • Object detection unit 20 ...
  • Object grouping processing unit 30 ...
  • Object feature amount information storage unit 40 ...
  • Object group information storage unit 50 (50A to 50B).
  • Object tracking unit 60 ...
  • Object tracking information storage unit 70 ... camera 80 ; processor 81 ... memory 82 ... storage device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

物体追跡処理装置（１）であって、追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する物体グルーピング処理部（２０）と、前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる物体追跡部（５０）と、を備える。これにより、映像中で出現する物体の追跡精度を向上させることができる。

Description

物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体
　本開示は、物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体に関する。
　映像中で出現する物体を検出し、次々刻々のフレームに跨って同一の物体を追跡（MOT(Multi Object Tracking)）するシステムが例えば特許文献１に記載されている。
国際公開第２０２１／１４０９６６号公報
　しかしながら、特許文献１においては、物体の非時空間的な類似性により同一物体を判定する構成であるため、時空間的に制約に反した追跡結果がでてしまい、追跡精度が低下するという課題がある。
　本開示の目的は、上述した課題を鑑み、映像中で出現する物体の追跡精度を向上させることができる物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体を提供することにある。
　本開示の物体追跡処理装置は、追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する物体グルーピング処理部と、前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる物体追跡部と、を備える。
　本開示の物体追跡処理方法は、追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する物体グルーピング処理ステップと、前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる物体追跡ステップと、を備える。
　本開示の別の物体追跡処理方法は、映像を構成するフレームが入力されるごとに、当該フレーム中の追跡対象の物体及び当該追跡対象の物体の特徴量を検出するステップと、物体特徴量記憶部を参照することにより、前記検出された追跡対象の物体の少なくとも前記特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出するステップと、前記検出された追跡対象の物体について、当該物体の位置、当該物体の検出時刻、当該物体の特徴量、当該物体が属するグループを識別するグループＩＤを前記物体特徴量記憶部に格納するステップと、前記検出された追跡対象の物体について、当該物体の位置、当該物体の検出時刻、当該物体が属するグループを識別するグループＩＤを物体グループ情報記憶部に格納するステップと、予め定められた周期ごとに、前記物体グループ情報記憶部を参照し、前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てるバッチ処理を実行するステップと、を備える。
　本開示の非一時的なコンピュータ可読媒体は、追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する物体グルーピング処理ステップと、前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる物体追跡ステップと、をコンピュータに実行させるためのプログラムを記録した非一時的なコンピュータ可読媒体である。
　本開示により、映像中で出現する物体の追跡精度を向上させることができる物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体を提供することができる。
物体追跡処理装置１の概略構成図である。 物体追跡処理装置１の動作の一例のフローチャートである。 物体追跡処理装置１が実行する１段階目の処理のイメージ図である。 物体追跡処理装置１が実行する２段階目の処理のイメージ図である。 実施形態２にかかる物体追跡処理装置１の構成を示すブロック図である。 物体検出部１０が検出した物体をグルーピングする処理のフローチャートである。 物体検出部１０が検出した物体をグルーピングする処理のイメージ図である。 物体検出部１０が検出した物体をグルーピングする処理のイメージ図である。 各々の物体追跡部５０Ａ～５０Ｃが、各々が担当する類似物体グループ（互いに異なる１つの類似物体グループ）に属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を並列的に実行している様子を表す図である。 物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理のフローチャートである。 物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理のイメージ図である。 物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理において用いられる行列（表）の例である。 物体追跡処理装置１（情報処理装置）のハードウェア構成例である。
　（実施形態１）
　まず、図１を用いて、実施形態１の物体追跡処理装置１の構成例について説明する。
　図１は、物体追跡処理装置１の概略構成図である。
　図１に示すように、物体追跡処理装置１は、追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する物体グルーピング処理部２０と、類似物体グループに属する物体に追跡ＩＤを割り当てる物体追跡部５０と、を備える。
　次に、上記物体追跡処理装置１の動作の一例について説明する。
　図２は、物体追跡処理装置１の動作の一例のフローチャートである。
　まず、物体グルーピング処理部２０が、追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する（ステップＳ１）。
　次に、物体追跡部５０が、類似物体グループに属する物体に追跡ＩＤを割り当てる（ステップＳ２）。
　以上説明したように、実施形態１によれば、映像中で出現する物体の追跡精度を向上させることができる。
　これは、フレーム中の追跡対象の物体を検出し、当該検出された追跡対象の物体を類似物体グループに分類する処理（非時空間的な類似性を利用した処理）、及びこの分類された類似物体グループごとに、当該類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理（空間的な類似性を利用した処理）の二段階の処理を実行することによるものである。すなわち、広範なフレーム・時間を対象にした同一物体の照合と時空間的な類似性の考慮を両立することで高い追跡精度を実現することができる。
　（実施形態２）
　以下、本開示の実施形態２として、物体追跡処理装置１について詳細に説明する。実施形態２は、実施形態１を具体的にした実施形態である。
　まず、物体追跡処理装置１の概要について説明する。
　物体追跡処理装置１は、単一映像中で出現するすべての物体を検出し、次々刻々のフレームに跨って同一の物体を追跡（MOT(Multi Object Tracking)）する装置である。単一映像とは、１つのカメラ７０（図１２参照）又は１つの映像ファイル（図示せず）から入力される映像をいう。フレームとは、単一映像を構成する個々のフレーム（以下、画像とも呼ぶ）をいう。
　物体追跡処理装置１は、二段階の処理を実行する。
　図３Ａは、物体追跡処理装置１が実行する１段階目の処理のイメージ図である。
　物体追跡処理装置１は、１段階目の処理として、フレーム中の追跡対象の物体を検出し、当該検出された追跡対象の物体を類似物体グループに分類する処理（オンライン処理）を実行する。この処理は、物体の非時空間的な類似性を利用した処理である。図３Ａは、フレーム１～３に対して１段階目の処理が実行された結果、各々の追跡対象の物体（人物Ｕ１～Ｕ４）が３つの類似物体グループＧ１～Ｇ３に分類されたことを表す。
　図３Ｂは、物体追跡処理装置１が実行する２段階目の処理のイメージ図である。
　物体追跡処理装置１は、２段階目の処理として、１段目の処理により分類された類似物体グループごとに、当該類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理（バッチ処理）を実行する。その際、物体追跡処理装置１は、時空間的な類似性を利用して、同一物体判定する処理、例えば、物体の検出位置（図３Ｂ中の実線で描いた矩形の枠参照）と追跡物体の予測位置（図３Ｂ中の点線で描いた矩形の枠参照）の重なり、IoU(Intersection over Union)に基づくオンライン追跡を行う。この処理は、時空間的な類似性を利用した処理である。
　以上のように二段階の処理を実行することにより、物体の非時空間的な類似性又は時空間的な類似性のいずれか一方を利用した処理では実現することができない高い追跡精度を実現することができる。また、追跡対象の物体を類似物体グループに分類することにより、この類似物体グループごとに、当該類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を並列的に実行することができる。これにより、スループットの向上を実現することができる。
　次に、物体追跡処理装置１の詳細について説明する。
　図４は、実施形態２にかかる物体追跡処理装置１の構成を示すブロック図である。
　図４に示すように、物体追跡処理装置１は、物体検出部１０、物体グルーピング処理部２０、物体特徴量情報記憶部３０、物体グループ情報記憶部４０、物体追跡部５０、物体追跡情報記憶部６０を備えている。
　物体検出部１０は、単一映像を構成するフレーム中の追跡対象の物体（追跡対象の物体の位置）及び当該追跡対象の物体の特徴量を検出する処理を実行する。この処理は、フレームが入力されるごとに実行されるオンライン処理である。この処理は、フレームに対して所定の画像処理を実行することにより実現される。所定の画像処理としては、既存の各種アルゴリズムを用いることができる。物体検出部１０が検出する物体は、例えば、人物、車両、自動二輪車等の移動体（移動物体）である。以下、物体検出部１０が検出する物体が人物である例について説明する。特徴量とは、物体特徴量（ＲｅＩＤ）で、比較することで２つの物体間の類似度スコアを算出できるデータをいう。物体検出部１０が検出する物体の位置は、例えば、物体検出部１０が検出した物体を囲む矩形の枠の座標である。物体検出部１０が検出する物体の特徴量は、例えば、人物の顔の特徴量、人物の骨格の特徴量である。物体検出部１０は、カメラ７０（図１２参照）に内蔵されていてもよいし、カメラ７０外部に設けられていてもよい。
　物体グルーピング処理部２０は、物体特徴量情報記憶部３０を参照することにより、追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する処理を実行する。その際、物体グルーピング処理部２０は、物体の非時空間的な類似性（例えば、顔特徴データの類似性又は人型特徴データの類似性）を利用して、物体検出部１０が検出した物体を類似物体グループに分類する処理（クラスタリング）を実行する。この処理は、物体検出部１０が物体を検出するごとに実行されるオンライン処理である。クラスタリングアルゴリズムとしては、広範な時間間隔でのデータとの類似性に基づくデータクラスタリング・グルーピング技術、例えば、DBSCAN、k-means、凝集型クラスタリングを用いることができる。
　具体的には、物体グルーピング処理部２０は、物体特徴量情報記憶部３０を参照し、物体検出部１０が検出した物体に類似する類似物体を検索する。その際、物体特徴量情報記憶部３０に記憶されている全て（例えば、全フレーム分の特徴量）を検索対象としてもよいし、物体特徴量情報記憶部３０に格納されている一部（例えば、現時点から３０秒以内に格納された５００フレーム分の特徴量）を検索対象としてもよい。
　上記検索の結果、類似物体が検索された場合、物体グルーピング処理部２０は、物体検出部１０が検出した物体に当該類似物体のグループＩＤを割り当てる。具体的には、物体グルーピング処理部２０は、当該物体の位置、当該物体の検出時刻、当該物体の特徴量、当該物体が属する類似物体グループを識別するグループＩＤを物体特徴量情報記憶部３０に格納する。なお、類似物体が検索されない場合、新規に採番されたグループＩＤが割り当てられる。
　物体特徴量情報記憶部３０には、物体検出部１０が検出した物体ごとに、当該物体の位置、当該物体の検出時刻、当該物体の特徴量、当該物体に割り当てられたグループＩＤが格納される。物体特徴量情報記憶部３０は、物体グルーピング処理部２０から頻繁にアクセスされるため、高速に読み書きできる記憶装置（メモリ等）であるのが望ましい。
　物体グループ情報記憶部４０には、類似物体グループに属する物体に関する情報が格納される。具体的には、物体グループ情報記憶部４０には、物体検出部１０が検出した物体ごとに、当該物体の位置、当該物体の検出時刻、当該物体が属する類似物体グループを識別するグループＩＤが格納される。なお、物体グループ情報記憶部４０には、さらに、当該物体の特徴量が格納されてもよい。物体グループ情報記憶部４０は、物体特徴量情報記憶部３０と比べ、頻繁にアクセスされないため、高速に読み書きできる記憶装置（メモリ等）でなくてもよい。例えば、物体グループ情報記憶部４０は、ハードディスク装置であってもよい。
　物体追跡部５０は、物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を実行する。追跡ＩＤとは、次々刻々のフレームに跨って同一の物体に割り当てられる識別子をいう。この処理は、予め定められた時間（例えば、５分）が経過するごとに実行される時間周期（時刻周期）のバッチ処理である。このバッチ処理は、物体グループ情報記憶部４０から更新があった類似物体グループに属する物体に関する情報を取得し、当該取得した情報に基づいて、類似物体グループに属する物体に追跡ＩＤを割り当てる処理である。その際、物体追跡部５０は、時空間的な類似性を利用して、同一物体判定する処理、例えば、物体の検出位置と追跡物体の予測位置の重なり、IoU(Intersection over Union)に基づくオンライン追跡を行う。このアルゴリズムとしては、例えば、ハンガリアン法を用いることができる。ハンガリアン法は、検出物体と追跡物体の予測位置の重なり度などからコストを算出、コスト最小となる割当を決定するアルゴリズムである。ハンガリアン法についてはさらに後述する。なお、このアルゴリズムとしては、ハンガリアン法に限らず、他のアルゴリズム、例えば、貧欲法を用いることもできる。なお、物体追跡部５０の同一物体判定では時空間的な類似性だけでなく非時空間的な類似性を利用してもよい。
　物体追跡部５０は、物体グルーピング処理部２０が算出した類似物体グループと同数存在する（同数生成される）。各々の物体追跡部５０は、各々が担当する類似物体グループ（互いに異なる１つの類似物体グループ）に属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を並列的に実行する。このように、本実施形態においては、物体グルーピング処理部２０が複数の類似物体グループを算出した場合、類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を並列的に実行することができる。なお、類似物体グループに属する物体は、１つの場合もあるし、複数の場合もある。例えば、図３Ａにおいては、類似物体グループＧ１には二人の人物Ｕ１、Ｕ２が属しており、類似物体グループＧ２には一人の人物Ｕ３が属しており、類似物体グループＧ３には一人の人物Ｕ４が属している。
　物体追跡情報記憶部６０には、物体追跡部５０が割り当てた追跡ＩＤが格納される。具体的には、物体追跡情報記憶部６０には、物体ごとに、当該物体の位置、当該物体の検出時刻、当該物体が属する類似物体グループを識別するグループＩＤが格納される。物体追跡情報記憶部６０は、物体特徴量情報記憶部３０と比べ、頻繁にアクセスされないため、高速に読み書きできる記憶装置（メモリ等）でなくてもよい。例えば、物体追跡情報記憶部６０は、ハードディスク装置であってもよい。
　次に、物体追跡処理装置１の動作例として、類似人型をグルーピングする処理（１段階目の処理）について説明する。
　図５は、物体検出部１０が検出した物体をグルーピングする処理のフローチャートである。図６、図７は、物体検出部１０が検出した物体をグルーピングする処理のイメージ図である。
　以下、前提として、物体検出部１０には、カメラ７０（図１２参照）により撮像された単一映像を構成するフレームが逐次入力されているものとする。例えば、物体検出部１０には、フレーム１、フレーム２、フレーム３・・・がこの順に順次入力されているものとする。また、物体特徴量情報記憶部３０、物体グループ情報記憶部４０、物体追跡情報記憶部６０には、当初、何も記憶されていないものとする。
　以下の処理は、フレームごとに（フレームが入力されるごとに）実行される。
　まず、フレーム１が入力された場合の処理について説明する。
　まず、物体検出部１０は、フレーム１が入力されると、当該フレーム１（画像）中の追跡対象の物体を検出し、当該追跡対象の物体の特徴量を検出（算出）する処理を実行する（ステップＳ１０）。
　ここでは、図６に示すように、フレーム１（人物Ｕ１～Ｕ４を含む画像）が入力され、追跡対象の物体として、当該フレーム１中の人物Ｕ１～Ｕ４が検出され（ステップＳ１００）、当該検出された人物Ｕ１～Ｕ４それぞれの特徴量が検出されたものとする。
　次に、物体グルーピング処理部２０は、ステップＳ１０で検出された物体ごとに、物体特徴量情報記憶部３０を参照し、閾値１よりも高い類似度スコアを持つ類似物体を検索する（ステップＳ１１）。閾値１は、類似度スコアの下限を表す閾値である。その際、物体特徴量情報記憶部３０に記憶されている全て（例えば、全フレーム分の特徴量）を検索対象としてもよいし、物体特徴量情報記憶部３０に格納されている一部（例えば、現時点から３０秒以内に格納された５００フレーム分の特徴量）を検索対象としてもよい。なお、物体特徴量情報記憶部３０に格納されている一部（例えば、現時点から３０秒以内に格納された５００フレーム分の特徴量）を検索対象とすることにより、特徴量の鮮度劣化を抑制することができる。
　例えば、ステップＳ１０（ステップＳ１００）で検出された人物Ｕ１については、ステップＳ１１の処理を実行しても、類似物体は検索されない。この時点で、物体特徴量情報記憶部３０には何も記憶されていないためである（図６中のステップＳ１０１参照）。
　次に、物体グルーピング処理部２０は、ステップＳ１１での検索結果の類似物体数が閾値２以上であるか否かを判定する（ステップＳ１２）。閾値２は、類似物体数の下限を表す閾値である。
　ステップＳ１０で検出された人物Ｕ１については、ステップＳ１１の処理を実行しても、類似物体は検索されないため、ステップＳ１２の判定結果がＮｏとなる。
　この場合、物体グルーピング処理部２０は、ステップＳ１０で検出された人物Ｕ１については、新しい物体（人物Ｕ１）のグループＩＤ（例えば、１）を採番し（ステップＳ１３）、この採番されたグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図６中のステップＳ１０２）。また、物体グルーピング処理部２０は、ステップＳ１３で採番されたグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻、人物Ｕ１の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図６中のステップＳ１０３参照）。
　一方、ステップＳ１０で検出された人物Ｕ２については、ステップＳ１１の処理を実行すると、類似物体として人物Ｕ１が検索される。この時点で、物体特徴量情報記憶部３０には人物Ｕ１のグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻、人物Ｕ１の特徴量）が格納されているためである（図６中のステップＳ１０４参照）。そのため、ステップＳ１２の判定結果がＹｅｓとなる（閾値２が０の場合）。
　この場合、物体グルーピング処理部２０は、ステップＳ１１での検索結果の類似物体は全て同じグループＩＤか否かを判定する（ステップＳ１５）。
　ステップＳ１０で検出された人物Ｕ２については、ステップＳ１１での検索結果の類似物体（人物Ｕ１）は全て同じグループＩＤであるため、ステップＳ１５の判定結果がＹｅｓとなる。
　この場合、物体グルーピング処理部２０は、ステップＳ１０で検出された人物Ｕ２については、ステップＳ１１で検出された類似物体（人物Ｕ１）のグループＩＤ及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図６中のステップＳ１０５）。また、物体グルーピング処理部２０は、ステップＳ１１で検出された類似物体（人物Ｕ１）のグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻、人物Ｕ１の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図６中のステップＳ１０６参照）。
　一方、ステップＳ１０で検出された人物Ｕ３については、ステップＳ１１の処理を実行しても、類似物体は検索されないため、ステップＳ１２の判定結果がＮｏとなる。
　この場合、物体グルーピング処理部２０は、ステップＳ１０で検出された人物Ｕ３については、新しい物体（人物Ｕ３）のグループＩＤ（例えば、２）を採番し（ステップＳ１３）、この採番されたグループＩＤ及び関連情報（人物Ｕ３の位置、人物Ｕ３の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図６中のステップＳ１０８）。また、物体グルーピング処理部２０は、ステップＳ１３で採番されたグループＩＤ及び関連情報（人物Ｕ３の位置、人物Ｕ３の検出時刻、人物Ｕ３の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図６中のステップＳ１０９参照）。
　同様に、ステップＳ１０で検出された人物Ｕ４については、ステップＳ１１の処理を実行しても、類似物体は検索されないため、ステップＳ１２の判定結果がＮｏとなる。
　この場合、物体グルーピング処理部２０は、ステップＳ１０で検出された人物Ｕ４については、新しい物体（人物Ｕ４）のグループＩＤ（例えば、３）を採番し（ステップＳ１３）、この採番されたグループＩＤ及び関連情報（人物Ｕ４の位置、人物Ｕ４の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図６中のステップＳ１１１）。また、物体グルーピング処理部２０は、ステップＳ１３で採番されたグループＩＤ及び関連情報（人物Ｕ４の位置、人物Ｕ４の検出時刻、人物Ｕ４の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図示せず）。
　次に、フレーム１以降のフレーム（例えば、フレーム２）が入力された場合の処理について説明する。
　まず、物体検出部１０は、フレーム２が入力されると、当該フレーム２（画像）中の追跡対象の物体を検出し、当該追跡対象の物体の特徴量を検出（算出）する処理を実行する（ステップＳ１０）。
　ここでは、図７に示すように、フレーム２（人物Ｕ１～Ｕ４を含む画像）が入力され、追跡対象の物体として、当該フレーム２中の人物Ｕ１～Ｕ４が検出され（ステップＳ２００）、当該検出された人物Ｕ１～Ｕ４それぞれの特徴量が検出されたものとする。
　次に、物体グルーピング処理部２０は、ステップＳ１０で検出された物体ごとに、物体特徴量情報記憶部３０を参照し、閾値１よりも高い類似度スコアを持つ類似物体を検索する（ステップＳ１１）。閾値１は、類似度スコアの下限を表す閾値である。その際、物体特徴量情報記憶部３０に記憶されている全て（例えば、全フレーム分の特徴量）を検索対象としてもよいし、物体特徴量情報記憶部３０に格納されている一部（例えば、現時点から３０秒以内に格納された５００フレーム分の特徴量）を検索対象としてもよい。なお、物体特徴量情報記憶部３０に格納されている一部（例えば、現時点から３０秒以内に格納された５００フレーム分の特徴量）を検索対象とすることにより、特徴量の鮮度劣化を抑制することができる。
　例えば、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ１については、ステップＳ１１の処理を実行すると、類似物体として人物Ｕ１、Ｕ２が検索される。この時点で、物体特徴量情報記憶部３０には人物Ｕ１のグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻、人物Ｕ１の特徴量）及び人物Ｕ２のグループＩＤ及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻、人物Ｕ２の特徴量）が格納されているためである（図６中のステップＳ２０１参照）。そのため、ステップＳ１２の判定結果がＹｅｓとなる（閾値２が０の場合）。
　この場合、物体グルーピング処理部２０は、ステップＳ１１での検索結果の類似物体は全て同じグループＩＤか否かを判定する（ステップＳ１５）。
　ステップＳ１０（ステップＳ２００）で検出された人物Ｕ１については、ステップＳ１１での検索結果の類似物体（人物Ｕ１、Ｕ２）は全て同じグループＩＤであるため、ステップＳ１５の判定結果がＹｅｓとなる。
　この場合、物体グルーピング処理部２０は、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ１については、ステップＳ１１で検出された類似物体（人物Ｕ１、Ｕ２）のグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図６中のステップＳ２０２）。また、物体グルーピング処理部２０は、ステップＳ１１で検出された類似物体（人物Ｕ１、Ｕ２）のグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻、人物Ｕ１の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図７中のステップＳ２０３参照）。
　なお、仮に、ステップＳ１１での検索結果の類似物体（人物Ｕ１、Ｕ２、Ｕ３）が全て同じグループＩＤでない場合、例えば、人物Ｕ１のグループＩＤが１で、人物Ｕ２のグループＩＤが２で、人物Ｕ３のグループＩＤが３の場合、ステップＳ１５の判定結果がＮｏとなる。この場合、物体グルーピング処理部２０は、グループＩＤを統合する処理を実行する。具体的には、物体グルーピング処理部２０は、検索結果のグループＩＤを統合し、統合された後のグループＩＤを物体グループ情報記憶部４０に格納する（ステップＳ１６）。例えば、物体グルーピング処理部２０は、グループＩＤが２の類似物体グループに属する全ての人物（ここでは、人物Ｕ２）及びグループＩＤが３の類似物体グループに属する全ての人物（ここでは、人物Ｕ３）をグループＩＤ＝１に変更する。
　これにより、処理途中で誤って別の類似物体グループ（データクラスタ）に分類されていた人物（データ）を同一の類似物体グループに統合することができる。
　このように、グループＩＤを統合する処理が実行された場合、物体グルーピング処理部２０は、ステップＳ１０で検出された人物Ｕ１については、統合されたグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４）。また、物体グルーピング処理部２０は、統合されたグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻、人物Ｕ１の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する。人物Ｕ２、Ｕ３についても同様である。
　同様に、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ２については、ステップＳ１１の処理を実行すると、類似物体として人物Ｕ１、Ｕ２が検索される。この時点で、物体特徴量情報記憶部３０には人物Ｕ１のグループＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻、人物Ｕ１の特徴量）及び人物Ｕ２のグループＩＤ及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻、人物Ｕ２の特徴量）が格納されているためである（図７中のステップＳ２０４参照）。そのため、ステップＳ１２の判定結果がＹｅｓとなる（閾値２が０の場合）。
　この場合、物体グルーピング処理部２０は、ステップＳ１１での検索結果の類似物体は全て同じグループＩＤか否かを判定する（ステップＳ１５）。
　ステップＳ１０（ステップＳ２００）で検出された人物Ｕ２については、ステップＳ１１での検索結果の類似物体（人物Ｕ１、Ｕ２）は全て同じグループＩＤであるため、ステップＳ１５の判定結果がＹｅｓとなる。
　この場合、物体グルーピング処理部２０は、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ２については、ステップＳ１１で検出された類似物体（人物Ｕ１、Ｕ２）のグループＩＤ及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図７中のステップＳ２０５）。また、物体グルーピング処理部２０は、ステップＳ１１で検出された類似物体（人物Ｕ１、Ｕ２）のグループＩＤ及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻、人物Ｕ２の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図７中のステップＳ２０６参照）。
　同様に、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ３については、ステップＳ１１の処理を実行すると、類似物体として人物Ｕ３が検索される。この時点で、物体特徴量情報記憶部３０には人物Ｕ３のグループＩＤ及び関連情報（人物Ｕ３の位置、人物Ｕ３の検出時刻、人物Ｕ３の特徴量）が格納されているためである（図７中のステップＳ２０７参照）。そのため、ステップＳ１２の判定結果がＹｅｓとなる（閾値２が０の場合）。
　この場合、物体グルーピング処理部２０は、ステップＳ１１での検索結果の類似物体は全て同じグループＩＤか否かを判定する（ステップＳ１５）。
　ステップＳ１０（ステップＳ２００）で検出された人物Ｕ３については、ステップＳ１１での検索結果の類似物体（人物Ｕ３）は全て同じグループＩＤであるため、ステップＳ１５の判定結果がＹｅｓとなる。
　この場合、物体グルーピング処理部２０は、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ３については、ステップＳ１１で検出された類似物体（人物Ｕ３）のグループＩＤ及び関連情報（人物Ｕ３の位置、人物Ｕ３の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図７中のステップＳ２０８）。また、物体グルーピング処理部２０は、ステップＳ１１で検出された類似物体（人物Ｕ３）のグループＩＤ及び関連情報（人物Ｕ３の位置、人物Ｕ３の検出時刻、人物Ｕ３の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図７中のステップＳ２０９参照）。
　同様に、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ４については、ステップＳ１１の処理を実行すると、類似物体として人物Ｕ４が検索される。この時点で、物体特徴量情報記憶部３０には人物Ｕ４のグループＩＤ及び関連情報（人物Ｕ４の位置、人物Ｕ４の検出時刻、人物Ｕ４の特徴量）が格納されているためである（図７中のステップＳ２１０参照）。そのため、ステップＳ１２の判定結果がＹｅｓとなる（閾値２が０の場合）。
　この場合、物体グルーピング処理部２０は、ステップＳ１１での検索結果の類似物体は全て同じグループＩＤか否かを判定する（ステップＳ１５）。
　ステップＳ１０（ステップＳ２００）で検出された人物Ｕ４については、ステップＳ１１での検索結果の類似物体（人物Ｕ４）は全て同じグループＩＤであるため、ステップＳ１５の判定結果がＹｅｓとなる。
　この場合、物体グルーピング処理部２０は、ステップＳ１０（ステップＳ２００）で検出された人物Ｕ４については、ステップＳ１１で検出された類似物体（人物Ｕ４）のグループＩＤ及び関連情報（人物Ｕ４の位置、人物Ｕ４の検出時刻）を互いに関連付けて物体グループ情報記憶部４０に格納する（ステップＳ１４、図７中のステップＳ２１１）。また、物体グルーピング処理部２０は、ステップＳ１１で検出された類似物体（人物Ｕ４）のグループＩＤ及び関連情報（人物Ｕ４の位置、人物Ｕ４の検出時刻、人物Ｕ４の特徴量）を互いに関連付けて物体特徴量情報記憶部３０に格納する（図示せず）。
　なお、フレーム２以降のフレームについても、フレーム２に対するのと同様の処理が実行される。
　上記フローチャート１に記載の処理が実行されることにより、時々刻々と、ステップＳ１０で検出された各物体のグループＩＤ及び関連情報が物体特徴量情報記憶部３０及び物体グループ情報記憶部４０に格納されていく。
　以上、上記図５に記載のフローチャートの処理を、フレーム１、フレーム２、フレーム３・・・のように連続するフレームそれぞれに対して実行する例について説明したが、これに限らない。例えば、上記図５に記載のフローチャートの処理を、フレーム１、フレーム３、フレーム５・・・のように１（又は複数）飛びのフレームそれぞれに対して実行してもよい。これにより、スループットの向上を実現することができる。
　次に、物体追跡処理装置１の動作例として、物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理（２段階目の処理）について説明する。この処理は、物体追跡部５０が実行する。
　物体追跡部５０は、物体グルーピング処理部２０が算出した類似物体グループと同数存在する（同数生成される）。例えば、上記図５のフローチャートの処理を実行した結果、３つの類似物体グループが形成された場合、図８に示すように、３つの物体追跡部５０Ａ～５０Ｃが存在する（生成される）。図８は、各々の物体追跡部５０Ａ～５０Ｃが、各々が担当する類似物体グループ（互いに異なる１つの類似物体グループ）に属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を並列的に実行している様子を表す。
　物体追跡部５０Ａは、第１類似物体グループ（ここでは、グループＩＤが１の類似物体グループ）に属する物体（ここでは、人物Ｕ１、Ｕ２）に当該物体を識別する追跡ＩＤを割り当てる処理を実行する。物体追跡部５０Ｂは、第２類似物体グループ（ここでは、グループＩＤが２の類似物体グループ）に属する物体（ここでは、人物Ｕ３）に当該物体を識別する追跡ＩＤを割り当てる処理を実行する。物体追跡部５０Ｃは、第３類似物体グループ（ここでは、グループＩＤが３の類似物体グループ）に属する物体（ここでは、人物Ｕ４）に当該物体を識別する追跡ＩＤを割り当てる処理を実行する。これらの処理は、並列的に実行される。
　以下、代表して、物体追跡部５０Ａが第１類似物体グループ（グループＩＤが１の類似物体グループ）に属する物体（ここでは、人物Ｕ１、Ｕ２）に当該物体を識別する追跡ＩＤを割り当てる処理について説明する。
　図９は、物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理のフローチャートである。図１０は、物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理のイメージ図である。
　まず、予め定められた時間（例えば、５分）が経過すると、物体追跡部５０Ａは、更新があったグループＩＤ（ここでは、グループＩＤ＝１。以下同様）を持つ全ての類似物体の物体グループ情報（グループＩＤ及びその関連情報）を物体グループ情報記憶部４０から取得する（ステップＳ２０）。
　「更新があった」とは、物体グループ情報記憶部４０に格納済みのグループＩＤと同じグループＩＤ及び関連情報が追加格納された場合、物体グループ情報記憶部４０に新しいグループＩＤ及び関連情報が追加格納された場合をいい、上記ステップＳ１６の処理（グループＩＤを統合する処理）が実行されその処理結果が物体グループ情報記憶部４０に格納された場合（ステップＳ１４）も含む。なお、更新がなかった場合、予め定められた時間（例えば、５分）が経過しても図９に記載のフローチャートの処理は実行されない。
　次に、物体追跡部５０Ａは、ステップＳ２０で取得した物体グループ情報の追跡ＩＤを未割当にする（ステップＳ２１）。
　次に、物体追跡部５０Ａは、次フレームが存在するか否かを判定する（ステップＳ２４）。ここでは、次フレーム（フレーム２）が存在するため、ステップＳ２４の判定結果がＹｅｓとなる。
　次に、物体追跡部５０Ａは、現フレーム（処理対象フレーム）はフレーム１か否かを判定する（ステップS２５）。ここでは、現フレーム（処理対象フレーム）がフレーム１（最初のフレーム）であるため、ステップＳ２５の判定結果がＹｅｓとなる。
　次に、物体追跡部５０Ａは、割当された追跡物体では物体の現在位置も加味して次フレームでの位置を予測する（ステップＳ２６）。
　例えば、物体追跡部５０Ａは、フレーム１（最初のフレーム）中のグループＩＤが１の類似物体グループに属する人物Ｕ１、Ｕ２それぞれの次フレーム（フレーム２）での位置を予測する。この予測のアルゴリズムとしては、例えば、https://arxiv.org/abs/1602.00763  (code: https://github.com/abewley/sort, GPL v3)に開示されているものを用いることができる。ここでは、人物Ｕ１、Ｕ２の予測位置として、図１０中、フレーム２中の点線で描いた２つの矩形の枠Ａ１、Ａ２の位置が予測されたものとする。
　次に、物体追跡部５０Ａは、割当がない又はコストが閾値３より高い物体には新しい追跡ＩＤを採番する（ステップＳ２７）。閾値３は、物体領域の重なりと物体類似度で算出されるコストの上限を表す閾値である。
　ここでは、フレーム１（最初のフレーム）中のグループＩＤが１の類似物体グループに属する人物Ｕ１は追跡ＩＤが未割り当てであるため、物体追跡部５０Ａは、人物Ｕ１について、新しい追跡ＩＤ（例えば、１）を採番し（ステップＳ２７）、この採番された新しい追跡ＩＤ（＝１）及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻）を互いに関連付けて物体追跡情報記憶部６０に格納する。同様に、フレーム１（最初のフレーム）中のグループＩＤが１の類似物体グループに属する人物Ｕ２は追跡ＩＤが未割り当てであるため、物体追跡部５０Ａは、人物Ｕ２について、新しい追跡ＩＤ（例えば、２）を採番し（ステップＳ２７）、この採番された新しい追跡ＩＤ（＝２）及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻）を互いに関連付けて物体追跡情報記憶部６０に格納する。
　次に、物体追跡部５０Ａは、次フレームが存在するか否かを判定する（ステップＳ２４）。ここでは、次フレーム（フレーム２）が存在するため、ステップＳ２４の判定結果がＹｅｓとなる。
　次に、物体追跡部５０Ａは、現フレーム（処理対象フレーム）はフレーム１か否かを判定する（ステップS２５）。ここでは、現フレーム（処理対象フレーム）がフレーム２であるため、ステップＳ２５の判定結果がＮｏとなる。
　次に、物体追跡部５０Ａは、現フレーム（フレーム２）の全ての物体情報及び前フレーム（フレーム１）まで追跡していた物体（人物Ｕ１、Ｕ２）の予測位置を取得する（ステップＳ２８）。ここでは、物体（人物Ｕ１、Ｕ２）の予測位置として、図１０中、フレーム２中の点線で描いた２つの矩形の枠Ａ１、Ａ２の位置（ステップＳ２６で予測された位置）が取得されたものとする。
　次に、物体追跡部５０は、物体領域の重なりと物体類似度をコスト関数としたハンガリアン法により追跡物体の追跡ＩＤを現在物体に割り当てる（ステップＳ２９）。例えば、検出物体と追跡物体の予測位置の重なり度などからコストを算出、コスト最小となる割当を決定する。
　ここで、ハンガリアン法により追跡物体の追跡ＩＤを現在物体に割り当てる処理の具体例について説明する。
　この処理においては、図１１に示す行列（表）が用いられる。図１１は、物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理において用いられる行列（表）の例である。この行列中の「検出１」、「検出２」、「追跡１」、「追跡２」は、次の意味である。
　すなわち、図１０中、フレーム２中の点線で描いた２つの矩形の枠Ａ１、Ａ２は前フレーム（フレーム１）において予測された物体（人物Ｕ１、Ｕ２）の予測位置を表す。この２つの矩形の枠Ａ１、Ａ２のうち一方が「追跡１」を表し、他方が「追跡２」を表す。
　また、図１０中、フレーム２中の実線で描いた２つの矩形の枠Ａ３、Ａ４は現フレーム（フレーム２）において検出された物体（人物Ｕ１、Ｕ２）の位置を表す。この２つの矩形の枠Ａ３、Ａ４のうち一方が「検出１」を表し、他方が「検出２」を表す。
　なお、図１１に示す行列（表）は、２×２の行列であるが、これに限らず、物体の数によっては、２×２以外のＮ１×Ｎ２の行列となることもある。Ｎ１、Ｎ２はそれぞれ１以上の整数である。
　図１１に示す行列（表）に記載の数値（以下、コストとも呼ぶ）は、次の意味である。
　例えば「追跡１」と「検出１」の交差する箇所に記載の０．５は、「追跡１」を表す予測位置（図１０中フレーム２中の点線で描いた一方の矩形の枠Ａ１）と「検出１」を表す位置（図１０中フレーム２中の実線で描いた一方の矩形の枠Ａ３）との重なり度（重なり領域）／２を１．０から減じることにより得られる数値である。この数値は、０のとき両位置が完全に重なっていることを表し、１のとき両位置が全く重なっていないことを表す。また、この数値は、小さいほど（０に近いほど）、両位置の重なり度が大きいことを表し、逆に、大きいほど（１に近いほど）、両位置の重なり度が小さいことを表す。図１１に示す行列（表）に記載の他の数値（０．９、０．１）についても同様である。
　図１１に示す行列（表）の場合、物体追跡部５０Ａは、コスト最小となる（重なり度が大きい）割り当てを決定する。具体的には、物体追跡部５０Ａは、検出１（例えば、人物Ｕ１）の追跡ＩＤとして、コストが最小となる（コストが０．５となる）「追跡１」の追跡ＩＤを割り当てる。この場合、物体追跡部５０Ａは、人物Ｕ１について、この割り当てた追跡ＩＤ（＝１）及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻）を互いに関連付けて物体追跡情報記憶部６０に格納する。
　一方、物体追跡部５０Ａは、検出２（例えば、人物Ｕ２）の追跡ＩＤとして、コストが最小となる（コストが０．１となる）「追跡２」の追跡ＩＤを割り当てる。この場合、物体追跡部５０Ａは、人物Ｕ２について、この割り当てた追跡ＩＤ（＝２）及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻）を互いに関連付けて物体追跡情報記憶部６０に格納する。
　次に、物体追跡部５０Ａは、割当された追跡物体では物体の現在位置も加味して次フレームでの位置を予測する（ステップＳ２６）。
　例えば、物体追跡部５０Ａは、フレーム２中のグループＩＤが１の類似物体グループに属する人物Ｕ１、Ｕ２それぞれの次フレーム（フレーム３）での位置を予測する。ここでは、人物Ｕ１、Ｕ２の予測位置として、図１０中、フレーム３の点線で描いた２つの矩形の枠Ａ５、Ａ６の位置が予測されたものとする。
　次に、物体追跡部５０Ａは、割当がない又はコストが閾値３より高い物体には新しい追跡ＩＤを採番する（ステップＳ２７）。閾値３は、物体領域の重なりと物体類似度で算出されるコストの上限を表す閾値である。
　ここでは、フレーム２中のグループＩＤが１の類似物体グループに属する人物Ｕ１、Ｕ２は追跡ＩＤが割り当て済みであり、かつ、コストが閾値３より低いため、ステップＳ２６の処理は実行されない。
　次に、物体追跡部５０Ａは、次フレームが存在するか否かを判定する（ステップＳ２４）。ここでは、次フレーム（フレーム３）が存在するため、ステップＳ２４の判定結果がＹｅｓとなる。
　次に、物体追跡部５０Ａは、現フレーム（処理対象フレーム）はフレーム１か否かを判定する（ステップ Ｓ２５）。ここでは、現フレーム（処理対象フレーム）がフレーム３であるため、ステップＳ２５の判定結果がＮｏとなる。
　次に、物体追跡部５０Ａは、現フレーム（フレーム３）の全ての物体情報及び前フレーム（フレーム２）まで追跡していた物体（人物Ｕ１、Ｕ２）の予測位置を取得する（ステップＳ２８）。ここでは、物体（人物Ｕ１、Ｕ２）の予測位置として、図１０中、フレーム３中の点線で描いた２つの矩形の枠Ａ５、Ａ６の位置（ステップＳ２６で予測された位置）が取得されたものとする。
　次に、物体追跡部５０Ａは、物体領域の重なりと物体類似度をコスト関数としたハンガリアン法により追跡物体の追跡ＩＤを現在物体に割り当てる（ステップＳ２９）。
　すなわち、上述したとおり、物体追跡部５０Ａは、コスト最小となる（重なり度が大きい）割り当てを決定する。具体的には、物体追跡部５０Ａは、検出１（例えば、人物Ｕ１）の追跡ＩＤとして、コストが最小となる「追跡１」の追跡ＩＤを割り当てる。この場合、物体追跡部５０Ａは、人物Ｕ１について、この割り当てた追跡ＩＤ及び関連情報（人物Ｕ１の位置、人物Ｕ１の検出時刻）を互いに関連付けて物体追跡情報記憶部６０に格納する。
　一方、物体追跡部５０Ａは、検出２（例えば、人物Ｕ２）の追跡ＩＤとして、コストが最小となる「追跡２」の追跡ＩＤを割り当てる。この場合、物体追跡部５０Ａは、人物Ｕ２について、この割り当てた追跡ＩＤ及び関連情報（人物Ｕ２の位置、人物Ｕ２の検出時刻）を互いに関連付けて物体追跡情報記憶部６０に格納する。
　以上の処理は、次フレームが存在しなくなるまで（ステップＳ２４：Ｎｏ）繰り返し実行される。
　次に、上述した実施の形態２において説明した物体追跡処理装置１（情報処理装置）のハードウェア構成例を説明する。図１２は、物体追跡処理装置１（情報処理装置）のハードウェア構成例を表すブロック図である。
　図１２に示すように、物体追跡処理装置１は、プロセッサ８０、メモリ８１、記憶装置８２等を備えるサーバ等の情報処理装置である。サーバは、物理マシンであってもよいし、仮想マシンであってもよい。また、物体追跡処理装置１には、１つのカメラ７０が通信線（例えば、インターネット）を介して接続されている。
　プロセッサ８０は、ＲＡＭ等のメモリ８１から読み出されるソフトウェア（コンピュータプログラム）実行することにより、物体検出部１０、物体グルーピング処理部２０、物体追跡部５０として機能する。これら機能は、一つのサーバに実装してもよいし、複数のサーバに分散して実装してもよい。複数のサーバに分散して実装した場合であっても、複数のサーバが通信線（例えば、インターネット）を介して互いに通信することにより、上記各フローチャートの処理を実現することができる。なお、これら機能の一部又は全部は、ハードウェアにより実現してもよい。
　また、物体追跡部５０は物体グルーピング処理部２０が分割した類似物体グループと同数存在する（同数生成される）が、各々の物体追跡部５０は、一つのサーバに実装してもよいし、複数のサーバに分散して実装してもよい。複数のサーバに分散して実装した場合であっても、複数のサーバが通信線（例えば、インターネット）を介して互いに通信することにより、上記各フローチャートの処理を実現することができる。
　プロセッサ８０は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサは、複数のプロセッサを含んでもよい。
　メモリ８１は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリは、プロセッサから離れて配置されたストレージを含んでもよい。この場合、プロセッサは、図示されていないI/Oインタフェースを介してメモリにアクセスしてもよい。
　記憶装置８２は、例えば、ハードディスク装置である。
　図１１の例では、メモリは、ソフトウェアモジュール群を格納するために使用される。プロセッサは、これらのソフトウェアモジュール群をメモリから読み出して実行することで、上述の実施形態において説明された物体追跡処理装置等の処理を行うことができる。
　物体特徴量情報記憶部、物体グループ情報記憶部、物体追跡情報記憶部は、一つのサーバに設けられていてもよいし、複数のサーバに分散して設けられていてもよい。
　以上説明したように、実施形態２によれば、映像中で出現する物体の追跡精度を向上させることができる。
　これは、フレーム中の追跡対象の物体を検出し、当該検出された追跡対象の物体を類似物体グループに分類する処理（非時空間的な類似性を利用した処理）、及びこの分類された類似物体グループごとに、当該類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理（空間的な類似性を利用した処理）の二段階の処理を実行することによるものである。すなわち、広範なフレーム・時間を対象にした同一物体の照合と時空間的な類似性の考慮を両立することで高い追跡精度を実現することができる。
　また、実施形態２によれば、物体グルーピング処理部２０が算出した類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理（バッチ処理）を実行することにより、準リアルタイムでの頻出人物発見を実現することができる。例えば、物体追跡情報記憶部６０を参照することにより、特定の期間、特定の場所に頻出した物体（例えば、人物）を容易に発見することができる。例えば、現在から直近７日間にオフィスに頻出した人物Top20を列挙することができる。
　また、実施形態２によれば、次の効果を奏する。
　すなわち、物体の追跡ではカメラ画角からの障害物による遮蔽などで検出漏れ・追跡逃しが発生する。これに対して、実施形態２によれば、追跡逃しは、広範なフレーム・時間を対象に同一物体の照合により改善し得る。
　また、時空間的な類似性を考慮した物体追跡には、時系列順序での逐次処理が求められる。そのため入力単位での処理並列化によるスループット向上が不可能である。これに対して、実施形態２によれば、追跡対象の物体を類似物体グループに分類することにより、この類似物体グループごとに、当該類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を並列的に実行することができる。これにより、スループットの向上を実現することができる。すなわち、全体処理フローにおいて時系列順序での逐次処理部分を最小化することで、大部分の処理の並列化によるスループット向上を実現することができる。
　一方で非空間的な類似性のみでの追跡では、時空間的な制約に反した誤追跡が発生し、追跡精度が劣化する。これに対して、実施形態２によれば、上記のように二段階の処理を実行することにより、映像中で出現する物体の追跡精度を向上させることができる。
　上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
  なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施の形態を適宜組み合わせて実施されてもよい。
１…物体追跡処理装置
１０…物体検出部
２０…物体グルーピング処理部
３０…物体特徴量情報記憶部
４０…物体グループ情報記憶部
５０（５０Ａ～５０Ｂ）…物体追跡部
６０…物体追跡情報記憶部
７０…カメラ
８０…プロセッサ
８１…メモリ
８２…記憶装置

Claims (8)

  1. 　追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する物体グルーピング処理部と、
    　前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる物体追跡部と、を備える物体追跡処理装置。
  2. 　前記類似物体グループに属する物体に関する情報を格納する物体グループ情報記憶部をさらに備え、
    　前記物体追跡部は、予め定められた周期ごとに、バッチ処理を行い、
    　前記バッチ処理は、前記物体グループ情報記憶部から更新があった前記類似物体グループに属する物体に関する情報を取得し、当該取得した情報に基づいて、前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理である請求項１に記載の物体追跡処理装置。
  3. 　前記物体追跡部は、前記類似物体グループごとに設けられ、
    　各々の前記物体追跡部は、各々が担当する類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる処理を並列的に実行する請求項１又は２に記載の物体追跡処理装置。
  4. 　前記物体追跡部が割り当てた前記追跡ＩＤが格納される物体追跡情報記憶部をさらに備える請求項１から３のいずれか１項に記載の物体追跡処理装置。
  5. 　映像を構成する各々のフレーム中の前記追跡対象の物体及び当該追跡対象の物体の特徴量を検出する物体検出部と、
    　前記物体検出部が検出した物体ごとに、当該物体の位置、当該物体の検出時刻、当該物体の特徴量、当該物体に割り当てられたグループＩＤを格納する物体特徴量記憶部と、をさらに備え、
    　前記物体グルーピング処理部は、前記物体特徴量記憶部の一部又は全部を参照することにより、前記追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する請求項１から４のいずれか１項に記載の物体追跡処理装置。
  6. 　追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する物体グルーピング処理ステップと、
    　前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる物体追跡ステップと、を備える物体追跡処理方法。
  7. 　映像を構成するフレームが入力されるごとに、当該フレーム中の追跡対象の物体及び当該追跡対象の物体の特徴量を検出するステップと、
    　物体特徴量記憶部を参照することにより、前記検出された追跡対象の物体の少なくとも前記特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出するステップと、
    　前記検出された追跡対象の物体について、当該物体の位置、当該物体の検出時刻、当該物体の特徴量、当該物体が属するグループを識別するグループＩＤを前記物体特徴量記憶部に格納するステップと、
    　前記検出された追跡対象の物体について、当該物体の位置、当該物体の検出時刻、当該物体が属するグループを識別するグループＩＤを物体グループ情報記憶部に格納するステップと、
    　予め定められた周期ごとに、前記物体グループ情報記憶部を参照し、前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てるバッチ処理を実行するステップと、を備える物体追跡処理方法。
  8. 　追跡対象の物体の少なくとも特徴量に基づいて、当該追跡対象の物体に類似する少なくとも１つの物体を含む少なくとも１つの類似物体グループを算出する物体グルーピング処理ステップと、
    　前記類似物体グループに属する物体に当該物体を識別する追跡ＩＤを割り当てる物体追跡ステップと、をコンピュータに実行させるためのプログラムを記録した非一時的なコンピュータ可読媒体。
PCT/JP2021/037921 2021-10-13 2021-10-13 物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体 WO2023062754A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/037921 WO2023062754A1 (ja) 2021-10-13 2021-10-13 物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/037921 WO2023062754A1 (ja) 2021-10-13 2021-10-13 物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2023062754A1 true WO2023062754A1 (ja) 2023-04-20

Family

ID=85987642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/037921 WO2023062754A1 (ja) 2021-10-13 2021-10-13 物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体

Country Status (1)

Country Link
WO (1) WO2023062754A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046647A (ja) * 2002-07-12 2004-02-12 Univ Waseda 動画像データに基づく移動物体追跡方法及び装置
JP2016219004A (ja) * 2015-05-18 2016-12-22 ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ 一般物体提案を用いる複数物体の追跡
JP2018201161A (ja) * 2017-05-29 2018-12-20 株式会社東芝 移動体追跡装置、移動体追跡方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046647A (ja) * 2002-07-12 2004-02-12 Univ Waseda 動画像データに基づく移動物体追跡方法及び装置
JP2016219004A (ja) * 2015-05-18 2016-12-22 ゼロックス コーポレイションＸｅｒｏｘ Ｃｏｒｐｏｒａｔｉｏｎ 一般物体提案を用いる複数物体の追跡
JP2018201161A (ja) * 2017-05-29 2018-12-20 株式会社東芝 移動体追跡装置、移動体追跡方法およびプログラム

Similar Documents

Publication Publication Date Title
JP6853379B2 (ja) 対象人物の検索方法および装置、機器、プログラム製品ならびに媒体
CN107545256B (zh) 一种结合时空和网络一致性的摄像机网络行人重识别方法
US20120237081A1 (en) Anomalous pattern discovery
WO2019080411A1 (zh) 电子装置、人脸图像聚类搜索方法和计算机可读存储介质
JP2017033547A (ja) 情報処理装置及びその制御方法及びプログラム
US20150205995A1 (en) Personal recognition apparatus that performs personal recognition using face detecting function, personal recognition method, and storage medium
US11379993B2 (en) Image processing apparatus, image processing method, and storage medium
CN114581491B (zh) 一种行人轨迹跟踪方法、系统及相关装置
US11748989B2 (en) Enhancing detection of occluded objects in a multiple object detection system
US20210319226A1 (en) Face clustering in video streams
JP2018045302A (ja) 情報処理装置、情報処理方法及びプログラム
CN113962326A (zh) 聚类方法、装置、设备及计算机存储介质
WO2023062754A1 (ja) 物体追跡処理装置、物体追跡処理方法及び非一時的なコンピュータ可読媒体
JP6565661B2 (ja) 画像処理システム、画像類似判定方法および画像類似判定プログラム
CN111104541A (zh) 一种高效的人脸图片检索方法及装置
CN112948613B (zh) 图像增量聚类方法、系统、介质及装置
JP7133085B2 (ja) データベース更新方法及び装置、電子機器、並びにコンピュータ記憶媒体
US10997398B2 (en) Information processing apparatus, authentication system, method of controlling same, and medium
US11074696B2 (en) Image processing device, image processing method, and recording medium storing program
Nechyba et al. Pittpatt face detection and tracking for the clear 2007 evaluation
CN114937246A (zh) 一种行人识别方法、电子设备及存储介质
Kawanishi et al. Trajectory ensemble: Multiple persons consensus tracking across non-overlapping multiple cameras over randomly dropped camera networks
WO2022185569A1 (ja) 映像解析システム、及び映像解析方法
JP2022112831A (ja) 顔追跡装置およびプログラム
Maheswari An effective foreground segmentation using adaptive region based background modelling

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21960612

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023553826

Country of ref document: JP

Kind code of ref document: A