WO2022249312A1 - 人物追跡装置及び人物追跡方法 - Google Patents

人物追跡装置及び人物追跡方法 Download PDF

Info

Publication number
WO2022249312A1
WO2022249312A1 PCT/JP2021/019921 JP2021019921W WO2022249312A1 WO 2022249312 A1 WO2022249312 A1 WO 2022249312A1 JP 2021019921 W JP2021019921 W JP 2021019921W WO 2022249312 A1 WO2022249312 A1 WO 2022249312A1
Authority
WO
WIPO (PCT)
Prior art keywords
trajectory
person
unit
persons
combination
Prior art date
Application number
PCT/JP2021/019921
Other languages
English (en)
French (fr)
Inventor
光貴 中村
孝之 瀬光
庭育 李
勝人 伊佐野
芳美 守屋
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2021567024A priority Critical patent/JP7162761B1/ja
Priority to PCT/JP2021/019921 priority patent/WO2022249312A1/ja
Publication of WO2022249312A1 publication Critical patent/WO2022249312A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments

Definitions

  • the present disclosure relates to a person tracking device and a person tracking method.
  • a video analysis device described in Patent Document 1 which is an example of a person tracking device, prevents a situation in which a person's movement is interrupted by an object or the like and a person's flow line is interrupted due to the person's frame-out. intended to avoid.
  • the moving image analysis device determines whether or not a plurality of lines of flow are lines of flow of the same person.
  • the video analysis device described above makes the determination described above only between flow lines that are temporally adjacent to each other.
  • the moving image analysis apparatus once determines the plurality of flow lines. If it is determined that one of the flow lines does not belong to the same person, there is a risk that the following flow lines will continue to be determined not to belong to the same person.
  • An object of the present disclosure is to determine that a plurality of trajectory segments that should be determined to belong to the same person, including trajectory segments that are flow lines separated from each other in time, belong to the same person.
  • a person tracking device includes a plurality of temporally continuous frames included in a video image of a plurality of persons, each frame being a part of the movement of the plurality of persons. and a combination optimization method based on the feature amounts symbolizing the plurality of persons in the plurality of frames, and and a combination unit that combines trajectory pieces that are more likely to be the same person among the trajectory pieces of the plurality of persons in the plurality of frames.
  • the person tracking device it is determined that a plurality of trajectory pieces that should be determined to belong to the same person, including trajectory pieces separated from each other in terms of time, belong to the same person. be able to.
  • FIG. 2 is a functional block diagram of the person tracking device of Embodiment 1.
  • FIG. 2 shows an image EZ of Embodiment 1; 3 shows position information IJ and image information GJ of Embodiment 1.
  • FIG. 4 shows a trajectory history KR of the first embodiment; 4 shows a trajectory piece TL of Embodiment 1.
  • FIG. 4 shows the operation of the second calculator SS2 of the first embodiment;
  • FIG. 7A shows the operation of the assigning unit WA of the first embodiment (when assigning the same identification number ID).
  • FIG. 7B shows the operation of the assignment unit WA of Embodiment 1 (when assigning different identification numbers ID).
  • 4 shows the operation of the combiner KA of the first embodiment; 1 shows the configuration of a person tracking device 1 of Embodiment 1.
  • FIG. 1 shows the configuration of a person tracking device 1 of Embodiment 1.
  • FIG. 4 is a flow chart showing the operation of the person tracking device 1 of Embodiment 1.
  • FIG. FIG. 11A shows the result of the operation of the combiner KA of Embodiment 1 (when no combination is performed).
  • FIG. 11B shows the result of the operation of the combiner KA of the first embodiment (in the case of combining).
  • FIG. 10 shows a feature amount TR(TL) of a trajectory piece TL according to the second embodiment;
  • FIG. 2 shows the temporal conditions of Embodiment 2.
  • FIG. 2 shows the spatial conditions of Embodiment 2.
  • FIG. FIG. FIG. 11A shows the result of the operation of the combiner KA of Embodiment 1 (when no combination is performed).
  • FIG. 11B shows the result of the operation of the combiner KA of the first embodiment (in the case of
  • FIG. 10 shows a feature amount TR(TL) of a trajectory piece TL according to the second embodiment
  • FIG. FIG. 10 shows updating of the feature amount TR(TL) of the trajectory piece TL according to the second embodiment
  • FIG. FIG. 19A shows the effect of exclusion by the exclusion unit JG of the second embodiment (when exclusion is not performed).
  • FIG. 19B shows the effect of exclusion (when exclusion is performed) by the exclusion unit JG of the second embodiment.
  • FIG. 20A shows the similarity of the feature amount TR(TL) of the trajectory piece TL of Embodiment 2 (No. 1).
  • FIG. 20B shows the similarity of the feature amount TR(TL) of the trajectory piece TL of the second embodiment (Part 2).
  • FIG. 21A shows a change in the similarity threshold of the feature amount TR(TL) of the trajectory piece TL according to the second embodiment (No. 1).
  • FIG. 21B shows a change in the similarity threshold of the feature amount TR(TL) of the trajectory piece TL according to the second embodiment (No. 2).
  • FIG. 11 is a functional block diagram of a person tracking device 3 of Embodiment 3; 11 is a flow chart showing the operation of the person tracking device 3 of Embodiment 3.
  • FIG. 12 shows the operation of the display unit HY of Embodiment 3.
  • FIG. 1 is a functional block diagram of the person tracking device of Embodiment 1.
  • FIG. 1 Functions of the person tracking device 1 of Embodiment 1 will be described with reference to the functional block diagram of FIG.
  • a single reference numeral may collectively refer to all of a plurality of names.
  • a plurality of frames FR1, FR2, . . . sometimes.
  • the human tracking device 1 of Embodiment 1 includes an acquisition unit SY, an extraction unit CS, an estimation unit ST, a first calculation unit SS1, a second calculation unit SS2, and a second calculation unit SS2. 3, a calculation unit SS3, an allocation unit WA, an update unit KS, a combination unit KA, and a database unit DB.
  • the extractor CS corresponds to the “extractor”
  • the estimator ST corresponds to the “estimator”
  • the allocation unit WA corresponds to the “allocater”
  • the updater KS corresponds to the “updater”.
  • the combination part KA corresponds to the "combination part”.
  • the second calculator SS2 corresponds to the "calculator.”
  • FIG. 2 shows the video EZ of the first embodiment.
  • the video EZ has a plurality of temporally consecutive frames FR1, FR2, . . . , as shown in FIG. For example, at least one person JB1 to JB4 is photographed in frame FR1 at time t1, and at least one person JB1 to JB4 is photographed in other frames FR such as FR2 at time t2.
  • the acquisition unit SY acquires the image EZ (illustrated in FIG. 2) from the imaging device and the storage device (both not illustrated).
  • the acquisition unit SY outputs the current frame FR in the image EZ, eg, the frame FR1 at time t1.
  • the extraction unit CS detects a person from the current frame FR1, and more specifically, extracts position information IJ indicating the positions of the persons JB1 to JB4 and image information GJ indicating images of the persons JB1 to JB4.
  • the extraction unit CS detects the persons JB1 to JB4, for example, by machine learning using a CNN (Convolutional Neural Network).
  • FIG. 3 shows position information IJ and image information GJ of the first embodiment.
  • the position information IJ is, for example, the position coordinates of virtual rectangles KK1 to KK4 surrounding each of the persons JB1 to JB4, as shown in FIG.
  • the image information GJ is, for example, RGB information indicating the body types, postures, etc. of the persons JB1 to JB4 in the virtual rectangles KK1 to KK4.
  • the estimation unit ST performs estimation after referring to the trajectory history KR.
  • FIG. 4 shows the trajectory history KR of the first embodiment.
  • the trajectory history KR is stored in the database unit DB (illustrated in FIG. 1). As shown in FIG. 4, the trajectory history KR includes a plurality of frames FR, a plurality of rectangles KK, identification numbers ID assigned to a plurality of persons JB, and trajectory pieces TL along which the plurality of persons JB moved. Shows the history of relationships between
  • position information IJ and image information GJ are stored in the same manner as shown in FIG. 3.
  • the feature value TR(KK) symbolizes the person JB within the rectangle KK.
  • the feature value TR(KK) of the rectangle KK1 symbolizes the person JB1 within the rectangle KK1.
  • the identification number ID given to a plurality of persons JB is a number for mutually identifying persons JB1 to JB4.
  • the identification number ID is assigned by the assignment unit WA (illustrated in FIG. 1), as will be described later.
  • FIG. 5 shows the trajectory piece TL of the first embodiment.
  • trajectory piece TL is a part of the trajectory obtained by dividing the trajectory (not shown) of each of the persons JB1 to JB4.
  • trajectory pieces TL1 and TL4 are trajectory pieces of a person JB1 having an identification number ID1.
  • the number (No.) of the trajectory piece TL and the feature amount TR (TL) of the trajectory piece TL are stored.
  • a feature value TR(TL) of the trajectory piece TL symbolizes the trajectory piece TL.
  • the trajectory history KR may be stored in, for example, one or more external storage devices (not shown) arranged on a communication network.
  • the estimating unit ST refers to the trajectory history KR (shown in FIG. 4) to determine the number of persons JB1 in the past frames FR temporally before the current frame FR. Based on the positional information IJ of .about.JB4, the positions of the plurality of persons JB1.about.JB4 in the current frame FR1 are estimated. The estimation unit ST estimates the positions of the plurality of persons JB1 to JB4 using, for example, a Kalman filter.
  • the ⁇ current frame FR1'' corresponds to ⁇ one frame'', and the current frame FR1 and a plurality of past frames FR temporally preceding the current frame FR are combined to form the ⁇ first frame''. 1 multiple frames”.
  • a plurality of past frames FR temporally preceding the current frame FR correspond to the "second plurality of frames”.
  • the first calculator SS1 calculates the positions of the persons JB1-JB4 in the current frame FR1 indicated by the position information IJ of the persons JB1-JB4 in the current frame FR1, and the estimated positions of the persons JB1-JB4 in the current frame FR1. and the positions of the persons JB1 to JB4, that is, the positional distance KY (IC) (shown in FIG. 10) is calculated.
  • the distance is, for example, the Mahalanobis distance in the Kalman filter.
  • FIG. 6 shows the operation of the second calculator SS2 of the first embodiment.
  • the second calculator SS2 serves as a feature amount extractor based on the image information GJ of the person JB in the current frame FR1, and the feature amount TR ( KK) is calculated.
  • the second calculator SS2 calculates the feature amount TR of the person JB1 in the frame FR1 based on the image information GJ of the person JB1 in the current frame FR1, that is, the image information GJ of the rectangle KK1 in the current frame FR1. (KK) is calculated.
  • the second calculator SS2 calculates the feature amount TR(KK) by, for example, machine learning using CNN.
  • the third calculation unit SS3 refers to the trajectory history KR to calculate the feature values TR(KK) of the plurality of persons JB1 to JB4 in the plurality of past frames FR, and the calculated A difference in feature amount from the feature amount TR(KK) of the persons JB1 to JB4 in the current frame FR1, that is, a feature amount distance KY(TR) (shown in FIG. 10) is calculated.
  • the distance KY(TR) of the feature amount may be, for example, the cosine distance, or may be the IoU distance between the rectangles KK of the temporally preceding and following frames FR.
  • FIG. 7 shows the operation of the allocation unit WA of the first embodiment.
  • the assigning unit WA assigns identification numbers ID to the persons JB1 to JB4 in the current frame FR1 based on the calculated position distance KY (IC) and feature amount distance KY (TR).
  • the assigning unit WA determines that the person JB in the frame FR2 at the time t2 is the same as the person JB1 in the frame FR1 at the time t1 in the trajectory history KR,
  • the same identification number ID1 as the identification number ID1 of the person JB1 is assigned to the person JB in the frame FR2 at the time t2.
  • the assigning unit WA assigns the person JB at the frame FR3 at the time t3 to the person JB1 at the frame FR1 at the time t1 and the frame at the time t2 in the trajectory history KR.
  • the person JB in the frame FR3 at time t3 is assigned the same identification number ID1 as the person JB1.
  • the assigning unit WA As shown in FIG.
  • the person JB in the frame FR1 is assigned an identification number different from the identification number ID1 of the person JB1, for example, a new identification number ID2.
  • the assigning unit WA assigns the person JB at the frame FR3 at time t3 to the person JB1 at the frame FR1 at time t1 and the frame FR2 at time t2 in the trajectory history KR.
  • the assigning unit WA assigns the person JB at the frame FR3 at time t3 to the person JB1 at the frame FR1 at time t1 and the frame FR2 at time t2 in the trajectory history KR.
  • an identification number different from both the identification number ID1 of the person JB1 and the identification number of the person JB2 for example, a new identification number ID3 is assigned to the person JB in the frame FR1.
  • the allocation unit WA allocates the identification number ID described above, for example, using the Hungarian method from a cost matrix in which the distance KY (IC) of the position and the distance KY (TR) of the feature amount are used as a matrix, or This is performed using the weighted sum of the distance KY(IC) and the distance KY(T) of the feature quantity.
  • the updating unit KS updates the trajectory history KR in response to the assignment of the identification number ID by the assigning unit WA. For example, assuming that the identification number ID1 is assigned to the person JB1 in the current frame FR1 by the assigning unit WA, the updating unit KS adds the current frame FR1 and the person JB1 in the frame FR1 to the trajectory history KR. Identification number ID1, rectangle KK1 (position information IJ, image information GJ, feature amount TR (KK)) of person JB1 in current frame FR1, and trajectory piece TL (No. The trajectory history KR is updated by adding the feature amount TR(TL)) and the like.
  • FIG. 8 shows the operation of the combination unit KA of the first embodiment.
  • the combination unit KA refers to the updated trajectory history KR (shown in FIG. 4). More specifically, the combiner KA selects a plurality of frames FR existing within a predetermined time ⁇ t (shown in FIG. 4, for example, several tens of seconds or several minutes), for example, the past from the current time t1. Using the feature values TR (KK) of the persons JB1 to JB4 in a plurality of frames FR, including the current frame FR1, which exist within the range up to the time (t1- ⁇ t) of the time ⁇ t, a plurality of Of the trajectory pieces TL in the frame FR, trajectory pieces TL that are likely to belong to the same person or that have a higher possibility of being of the same person are combined.
  • TR (KK) of the persons JB1 to JB4 in a plurality of frames FR including the current frame FR1, which exist within the range up to the time (t1- ⁇ t) of the time ⁇ t
  • trajectory pieces TL1, TL3, and TL4 are those with identification number ID1 (person JB1), identification number ID3 (person JB3), and identification number ID1 (person JB1), respectively.
  • the combining unit KA combines the trajectory pieces TL1, TL3, and TL4 assuming that they have the same identification number ID1.
  • the combining unit KA changes the identification number ID of the locus piece TL3 in the locus history KR from ID3 to ID1.
  • the combination unit KA combines the trajectory pieces TL described above using a combination optimization method, and, for example, calculates the feature amounts TR(KK) of the persons JB1 to JB4 in a plurality of frames FR existing within the time ⁇ t described above. After positioning the difference in the cost as the cost, the trajectory pieces TL that minimize the cost are combined. The combination of the trajectory pieces TL is reflected in the trajectory history KR by, for example, updating the trajectory history KR by the updating unit KS.
  • the acquiring unit SY to the combining unit KA start processing the next frame FR2 following the current frame FR1.
  • the acquiring unit SY through the combining unit KA may process the current frame FR1, the next frame FR2, .
  • FIG. 9 shows the configuration of the person tracking device 1 of the first embodiment.
  • the person tracking device 1 of Embodiment 1 includes an input unit NB, a processor PC, an output unit SB, a memory MM, and a storage medium KB, as shown in FIG. 9, in order to perform the functions described above.
  • the input unit NB is composed of, for example, a camera, microphone, keyboard, mouse, and touch panel.
  • a processor PC is the core of a familiar computer that runs hardware according to software.
  • the output unit SB is composed of, for example, a liquid crystal monitor, a printer, and a touch panel.
  • the memory MM is composed of, for example, a DRAM (Dynamic Random Access Memory) and an SRAM (Static Random Access Memory).
  • the storage medium KB is composed of, for example, a hard disk drive (HDD: Hard Disk Drive), a solid state drive (SSD: Solid State Drive), and a ROM (Read Only Memory).
  • the storage medium KB stores the program PR.
  • the program PR is a group of instructions that define the content of processing to be executed by the processor PC.
  • the processor PC executes the program PR stored in the storage medium KB on the memory MM, and if necessary, the input unit NB and by controlling the operation of the output unit SB, the functions of the respective units from the acquisition unit SY to the combination unit KA are realized.
  • FIG. 10 is a flow chart showing the operation of the person tracking device 1 of the first embodiment. The operation of the person tracking device 1 of Embodiment 1 will be described with reference to the flowchart of FIG.
  • Step ST11 The acquisition unit SY acquires the image EZ and outputs the current frame FR1 among the plurality of frames FR forming the image EZ.
  • Step ST12 The extraction unit CS detects the person JB from the frame FR1, and more specifically, extracts the position information IJ and image information GJ of the person JB.
  • Step ST13 The estimating unit ST refers to the trajectory history KR, and based on the position information IJ of the persons JB1 to JB4 in a plurality of past frames FR before the current frame FR1, the person JB1 in the current frame FR1. ⁇ Estimate the position of JB4.
  • Step ST14 The first calculator SS1 calculates the position of the person JB in the current frame FR1 indicated by the position information IJ of the person JB in the current frame FR1 extracted by the extractor CS, and the position of the person JB in the current frame FR1, Calculate the positional distance KY(IC), which is the difference between each of the positions of the persons JB1-JB4 in the frame FR1 estimated by . That is, the first calculator SS1 calculates a plurality of positional distances KY (IC).
  • Step ST15 The second calculator SS2 calculates the feature amount TR(KK) of the person JB in the current frame FR1 based on the image information GJ of the person JB in the current frame FR1 extracted by the extraction unit CS. calculate.
  • Step ST16 The third calculator SS3 refers to the trajectory history KR to obtain each of the feature values TR(KK) of the persons JB1 to JB4 in a plurality of past frames FR before the current frame FR1, A feature quantity distance KY(TR), which is a difference from the feature quantity TR(KK) of the person JB in the current frame FR1 calculated by the second calculator SS2, is calculated. That is, the third calculation unit SS3 calculates a plurality of feature amount distances KY(TR).
  • Step ST17 The assigning unit WA uses the positional distance KY ( IC), and the feature amount distance KY(TR) between the person JB in the current frame FR1 and the persons JB1 to JB4 in the past frames FR calculated by the third calculation unit SS3. Based on this, the person JB in the current frame FR1 has an identification number ID that is the same as or different from the identification numbers ID1 to ID4 of the persons JB1 to JB4 in a plurality of past frames FR (for example, identification number ID5). assign.
  • Step ST18 The updating unit KS updates the trajectory history KR in response to the assignment of the identification number ID by the assigning unit WA.
  • Step ST19 After the processing from step ST11 to step ST18 has been executed for a predetermined number of times or for a predetermined period of time, the combining unit KA is the A plurality of trajectory segments TL that have a possibility of being or are highly likely to be are combined. The result of combination of the plurality of trajectory pieces TL by the combination unit KA is reflected in the trajectory history KR by the updating unit KS, that is, the trajectory history KR is updated.
  • FIG. 11 shows the result of the operation of the combiner KA of the first embodiment.
  • the trajectory (not shown) of person JB1 over frame FR1 and frame FR2 is, for example, as shown in FIG. 11A.
  • the trajectory piece TL1 is of identification number ID1
  • the trajectory piece TL2 is of identification number ID2.
  • the assigning unit WA performs the The identification number ID is assigned, and the combining unit KA optimizes the combination based on the feature values TR (KK) of all of the person JB and the persons JB1 to JB4 over the current frame FR1 and a plurality of past frames FR.
  • the method combines a plurality of trajectory pieces TL that may belong to the same person and have a high probability. This makes it possible to continue tracking the trajectory of the same person even if there is an obstacle SD (shown in FIG. 11).
  • a plurality of trajectory pieces TL that should be determined to belong to the same person can be determined to belong to the same person.
  • Embodiment 2 The person tracking device 2 of Embodiment 2 will be described.
  • the human tracking device 2 of the second embodiment shortens the time required for combination by the combination unit KA compared to the human tracking device 1 of the first embodiment.
  • the number of a plurality of trajectory pieces TL is reduced by comparing the feature value TR(TL) representing or symbolizing the trajectory pieces TL with the constraint conditions.
  • Constraints are, for example, temporal and spatial conditions.
  • FIG. 12 shows the feature quantity TR(TL) of the trajectory piece TL of the second embodiment.
  • the feature amount TR(TL) of the trajectory piece TL is calculated, for example, by averaging the feature amounts TR(KK) of a plurality of rectangles KK belonging to the trajectory piece TL. More specifically, as shown in FIG. 12, for example, when rectangles KK1 to KK4 belong to trajectory piece TL1, the feature amount TR(TL) of trajectory piece TL1 is replaced by the feature amount TR(KK) of rectangle KK1, the feature amount TR(KK) of rectangle KK2 , the feature amount TR(KK) of the rectangle KK3, and the feature amount TR(KK) of the rectangle KK4 are averaged.
  • FIG. 13 shows temporal conditions of the second embodiment.
  • the temporal condition described above is, for example, whether or not the temporal overlap between two trajectory segments TL that are temporally adjacent to each other is greater than the temporal threshold Tth. More specifically, as shown in FIG. 13, when the temporal overlap T1 between the two trajectory segments TL1 and TL2 is equal to or greater than the temporal threshold value Tth, there may be a combination of the trajectory segment TL1 and the trajectory segment TL2. Therefore, the combination of the trajectory piece TL1 and the trajectory piece TL2 is excluded.
  • FIG. 14 shows the spatial conditions of the second embodiment.
  • the spatial condition described above is, for example, whether or not the spatial distance between two trajectory pieces TL in space is longer than the spatial threshold Dth. More specifically, as shown in FIG. 14, the distance between the end point P(t2) of the trajectory piece TL1 from time t1 to time t2 and the starting point P(t3) of the trajectory piece TL2 from time t3 to time t4 is When the distance D is equal to or greater than the spatial threshold value Dth, the combination of the trajectory piece TL1 and the trajectory piece TL2 cannot be combined, so the combination of the trajectory piece TL1 and the trajectory piece TL2 is excluded.
  • the combination of the trajectory piece TL1 and the trajectory piece TL2 is possible, so the combination of the trajectory piece TL1 and the trajectory piece TL2 is excluded. Leave without.
  • the spatial threshold Dth may be a fixed value or a variable value specified by time, for example, the length of time between time t2 and time t3.
  • FIG. 15 is a functional block diagram of the person tracking device 2 of the second embodiment.
  • the person tracking device 2 of the second embodiment includes an acquisition unit SY to a database unit DB, similar to the person tracking device 1 of the first embodiment (shown in FIG. 1). Unlike the human tracking device 1 of the first embodiment, it further includes a preprocessing unit MS.
  • the preprocessing part MS has a fourth calculation part SS4 and an exclusion part JG for performing processing before the processing of the combination part KA.
  • the fourth calculation unit SS4 corresponds to the "calculation unit”, and the exclusion unit JG corresponds to the "exclusion unit”, like the second calculation unit SS2 of the first embodiment.
  • the fourth calculator SS4 is based on the trajectory segment TL of the person JB in the current frame FR1, more precisely, based on the plurality of rectangles KK belonging to the trajectory segment TL, A feature amount TR(TL) of the trajectory piece TL is calculated.
  • the exclusion unit JG excludes combinations of the trajectory pieces TL that do not satisfy the constraint conditions, as described with reference to FIGS. 13 and 14, from the combination candidates for the combination unit KA. .
  • the configuration of the person tracking device 2 of Embodiment 2 is the same as the configuration of the person tracking device 1 of Embodiment 1 (illustrated in FIG. 9).
  • FIG. 16 is a flow chart showing the operation of the person tracking device 2 of the second embodiment. The operation of the person tracking device 2 of Embodiment 2 will be described below with reference to the flowchart of FIG.
  • Steps ST21 to ST27 Acquisition unit SY to allocation unit WA perform the same processing as steps ST11 to ST17 of the first embodiment.
  • FIG. 17 shows the feature amount TR(TL) of the trajectory piece TL of the second embodiment.
  • Step ST28 As shown in FIGS. 12 and 17, the fourth calculator SS4 calculates the feature amount TR(TL) of the trajectory piece TL based on the trajectory piece TL of the person JB in the current frame FR1. .
  • FIG. 18 shows updating of the feature amount TR(TL) of the trajectory piece TL in the second embodiment.
  • the update unit KS may update the trajectory history KR by changing the feature amount TR (TL) in the past frame FR0 in conjunction with the update described above.
  • Step ST30 After the processing from step ST21 to step ST29 has been performed for a predetermined number of times or for a predetermined period of time, the exclusion unit JG selects the current frame FR1 and the past frames FR. Among the plurality of trajectory pieces TL in , combinations of trajectory pieces TL that do not satisfy the constraint conditions are excluded as described with reference to FIGS. 13 and 14 .
  • Step ST31 The combiner KA determines the possibility that the plurality of trajectory segments TL in the current frame FR1 and the plurality of past frames FR after the number has been reduced by the exclusion unit JG belong to the same person.
  • the trajectory segments TL that have or are highly likely to be combined are combined.
  • the combining unit KA combines the trajectory pieces TL with each other by a combinatorial optimization method based on the degree of similarity of whether or not the feature amounts TR(TL) of the trajectory pieces TL are similar to each other.
  • the combination unit KA performs the above combination by, for example, solving a minimum cost flow problem. This is done by solving the minimum cost flow problem by adding a threshold value Rth for the degree of similarity between features TR(TL) as a constraint.
  • the result of combining the trajectory pieces TL by the combining unit KA is added to the trajectory history KR by the updating unit KS, thereby updating the trajectory history KR.
  • the fourth calculator SS4 calculates the feature amount TR(TL) of the trajectory piece TL
  • the combination unit KA calculates the feature amount TR(TL) of the trajectory piece TL. Trajectory segments TL can be combined based on whether TR (TL) are similar to each other.
  • FIG. 19 shows the effect of exclusion by the exclusion unit JG of the second embodiment.
  • exclusion unit JG does not exclude the impossible combinations of the trajectory pieces TL, as shown in FIG. A combination is sought for all of the plurality of trajectory segments TL1 to TL6 that are candidates for combination.
  • FIG. 20 shows the similarity of the feature amount TR(TL) of the trajectory piece TL of the second embodiment.
  • the longer the length of the trajectory piece TL the greater the number of rectangles KK included in the trajectory piece TL.
  • the short trajectory piece TL1 may include two rectangles KK1a, KK1b, while the long trajectory piece TL1, as shown in the lower part of FIG. may contain five rectangles KK1a, KK1b, KK1c, KK1d, KK1e.
  • the short trajectory piece TL2 may include two rectangles KK2a, KK2b, as shown in the top row of FIG. 20A, while the long trajectory piece TL2, as shown in the bottom row of FIG. may contain five rectangles KK2a, KK2b, KK2c, KK2d, KK2e.
  • the feature amount TR(TL) of the trajectory piece TL1 and the feature amount TR(TL) of the trajectory piece TL2 are not similar.
  • the degree of similarity between the two is small.
  • FIG. 21 shows changes in the similarity threshold of the feature amount TR(TL) of the trajectory piece TL in the second embodiment.
  • the feature amount TR(TL) of the piece TL2 is more similar.
  • the combination unit KA performs step ST31 to combine the trajectory pieces TL based on the similarity of the feature amount TR(TL) of the trajectory pieces TL. It is desirable to change the similarity threshold Rth according to the property. Specifically, as shown in FIGS. 21A and 21B, the combination unit KA, for example, converts the similarity threshold value Rth(L) when the trajectory segments TL1 and TL2 are long to the similarity threshold Rth(L) when the trajectory segments TL1 and TL2 are short. is smaller than the degree threshold Rth(S).
  • the similarity threshold Rth(L) smaller than the similarity threshold Rth(S).
  • the combiner KA may, for example, preferentially combine the trajectory segments TL that are temporally or spatially closer to each other after the exclusion by the exclusion unit JG.
  • Techniques such as kd-tree may be used for the above combinations. As a result, the time required for combination can be further shortened.
  • Embodiment 3 The person tracking device 3 of Embodiment 3 will be described.
  • the person tracking device 3 of the third embodiment displays the results of processing by the person tracking device 1 of the first embodiment and the person tracking device 2 of the second embodiment.
  • FIG. 22 is a functional block diagram of the person tracking device 3 of the third embodiment.
  • the person tracking device 3 of the third embodiment includes an acquisition unit SY to a database unit DB, similar to the person tracking device 1 of the first embodiment. 1 and further includes a display HY.
  • the display unit HY displays the trajectory history KR after the assignment unit WA has assigned the identification number ID, that is, the trajectory history KR (for example, shown in FIG. Display with good visibility.
  • the trajectory history KR after the assigning unit WA has assigned the identification number ID is, in other words, the trajectory history KR before the combining unit KA combines the trajectory pieces TL.
  • the configuration of the person tracking device 3 of Embodiment 3 is the same as the configuration of the person tracking device 1 of Embodiment 1 (shown in FIG. 9).
  • FIG. 23 is a flow chart showing the operation of the person tracking device 3 of the third embodiment.
  • FIG. 23 The operation of the person tracking device 3 of Embodiment 3 will be described below with reference to FIGS. 23 and 24.
  • FIG. 23 The operation of the person tracking device 3 of Embodiment 3 will be described below with reference to FIGS. 23 and 24.
  • Steps ST41 to ST48 Acquisition unit SY to update unit KS perform the same processes as steps ST11 to ST18 of the first embodiment.
  • Step ST50 The combination unit KA performs the same processing as step ST19 of the first embodiment.
  • the display unit HY displays the trajectory history KR after the identification number ID is assigned by the assigning unit WA, and the trajectory piece TL is displayed by the combining unit KA. Display the trajectory history KR after they are combined.
  • the user of the person tracking device 3 can check the contents of the bulletin or provisional trajectory history KR moment by moment under the environment where the person JB should be monitored in real time.
  • the content of the final or definitive trajectory history KR can be confirmed on a daily or weekly basis.
  • a person tracking device can be used to monitor a person.
  • the person can be monitored by issuing an alarm, displaying, or logging the movements of the person. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

人物追跡装置（１）は、複数の人物（ＪＢ）が撮影された映像（ＥＺ）が有する時間的に連続する複数のフレーム（ＦＲ）であって、各フレーム（ＦＲ）が前記複数の人物（ＪＢ）の動きの一部分である軌跡片（ＴＬ）を含む前記複数のフレーム（ＦＲ）における前記複数の人物（ＪＢ）を象徴する特徴量（ＴＲ）を算出する算出部（ＳＳ）と、前記複数のフレーム（ＦＲ）における前記複数の人物（ＪＢ）を象徴する特徴量（ＴＲ）に基づく組合せ最適化手法の下で、前記複数のフレーム（ＦＲ）における前記複数の人物（ＪＢ）の軌跡片（ＴＬ）のうち、同一の人物（ＪＢ）である可能性がより高い軌跡片（ＴＬ）同士を組み合わせる組み合わせ部（ＫＡ）と、を含む。

Description

人物追跡装置及び人物追跡方法
　本開示は、人物追跡装置及び人物追跡方法に関する。
　人物追跡装置の一例である、特許文献１に記載の動画解析装置は、人物の動きが物などに遮られること及び人物がフレームアウトすることに起因して人物の動線が途切れるとの事態を回避することを目的とする。前記動画解析装置は、前記目的を達成すべく、複数の動線が同一の人物の動線であるか否かを判定する。
特開２０１０－２７３１１２号公報
　上記した動画解析装置は、上記した判定を、時間的に相互に隣接する動線同士の間についてのみ行う。これにより、前記動画解析装置は、時間的に相互に離隔する動線を含む、同一の人物のものであると判定されるべき複数の動線について上記した判定を行う過程で、ひとたび、前記複数の動線のうちの一の動線を同一の人物のものでないと判定すると、後続の動線も同一の人物のものでないと判定し続けるおそれがあった。
　本開示の目的は、時間的に相互に離隔する動線である軌跡片を含む、同一の人物のものであると判定されるべき複数の軌跡片を同一の人物のものであると判定することができる人物追跡装置及び人物追跡方法を提供することにある。
　上記した課題を解決すべく、本開示に係る人物追跡装置は、複数の人物が撮影された映像が有する時間的に連続する複数のフレームであって、各フレームが前記複数の人物の動きの一部分である軌跡片を含む前記複数のフレームにおける前記複数の人物を象徴する特徴量を算出する算出部と、前記複数のフレームにおける前記複数の人物を象徴する特徴量に基づく組合せ最適化手法の下で、前記複数のフレームにおける前記複数の人物の軌跡片のうち、同一の人物である可能性がより高い軌跡片同士を組み合わせる組み合わせ部と、を含む。
　本開示に係る人物追跡装置によれば、時間的に相互に離隔する軌跡片を含む、同一の人物のものであると判定されるべき複数の軌跡片を同一の人物のものであると判定することができる。
実施形態１の人物追跡装置の機能ブロック図である。 実施形態１の映像ＥＺを示す。 実施形態１の位置情報ＩＪ及び画像情報ＧＪを示す。 実施形態１の軌跡履歴ＫＲを示す。 実施形態１の軌跡片ＴＬを示す。 実施形態１の第２の算出部ＳＳ２の動作を示す。 図７Ａは、実施形態１の割当部ＷＡの動作（同一の識別番号ＩＤを割り当てる場合）を示す。図７Ｂは、実施形態１の割当部ＷＡの動作（相違する識別番号ＩＤを割り当てる場合）を示す。 実施形態１の組み合わせ部ＫＡの動作を示す。 実施形態１の人物追跡装置１の構成を示す。 実施形態１の人物追跡装置１の動作を示すフローチャートである。 図１１Ａは、実施形態１の組み合わせ部ＫＡの動作の結果（組み合わせを行わない場合）を示す。図１１Ｂは、実施形態１の組み合わせ部ＫＡの動作の結果（組み合わせを行う場合）を示す。 実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を示す。 実施形態２の時間的条件を示す。 実施形態２の空間的条件を示す。 実施形態２の人物追跡装置２の機能ブロック図である。 実施形態２の人物追跡装置２の動作を示すフローチャートである。 実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を示す。 実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の更新を示す。 図１９Ａは、実施形態２の除外部ＪＧによる除外の効果（除外を行わない場合）を示す。図１９Ｂは、実施形態２の除外部ＪＧによる除外の効果（除外を行う場合）を示す。 図２０Ａは、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の類似度を示す（その１）。図２０Ｂは、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の類似度を示す（その２）。 図２１Ａは、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の類似度の閾値の変更を示す（その１）。図２１Ｂは、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の類似度の閾値の変更を示す（その２）。 実施形態３の人物追跡装置３の機能ブロック図である。 実施形態３の人物追跡装置３の動作を示すフローチャートである。 実施形態３の表示部ＨＹの動作を示す。
　本開示に係る人物追跡装置の実施形態について説明する。
実施の形態１．
〈実施形態１〉
〈実施形態１の機能〉
　図１は、実施形態１の人物追跡装置の機能ブロック図である。実施形態１の人物追跡装置１の機能について、図１の機能ブロック図を参照して説明する。
　以下では、説明及び理解を容易にすべく、例えば、１つの符号で複数の名称の全てを総称することがあり、例えば、複数のフレームＦＲ１、ＦＲ２、、、、の全体をフレームＦＲで総称することがある。
　実施形態１の人物追跡装置１は、図１に示されるように、取得部ＳＹと、抽出部ＣＳと、推定部ＳＴと、第１の算出部ＳＳ１と、第２の算出部ＳＳ２と、第３の算出部ＳＳ３と、割当部ＷＡと、更新部ＫＳと、組み合わせ部ＫＡと、データベース部ＤＢと、を含む。
　抽出部ＣＳは、「抽出部」に対応し、推定部ＳＴは、「推定部」に対応し、割当部ＷＡは、「割当部」に対応し、更新部ＫＳは、「更新部」に対応し、組み合わせ部ＫＡは、「組み合わせ部」に対応する。第１の算出部ＳＳ１、第２の算出部ＳＳ２、第３の算出部ＳＳ３のうち、第２の算出部ＳＳ２は、「算出部」に対応する。
　図２は、実施形態１の映像ＥＺを示す。
　映像ＥＺは、図２に示されるように、時間的に連続する複数のフレームＦＲ１、ＦＲ２、、、、を有する。例えば、時刻ｔ１のフレームＦＲ１には、少なくとも一人の人物ＪＢ１～ＪＢ４が撮影されており、時刻ｔ２のＦＲ２等の他のフレームＦＲにも、少なくとも一人の人物ＪＢ１～ＪＢ４が撮影されている。
　図１に戻り、取得部ＳＹは、映像ＥＺ（図２に図示。）を、撮像装置及び記憶装置（いずれも図示せず。）からを取得する。取得部ＳＹは、映像ＥＺ中の現時点でのフレームＦＲ、例えば、時刻ｔ１のフレームＦＲ１を出力する。
　抽出部ＣＳは、現在のフレームＦＲ１から人物を検出し、より詳しくは、人物ＪＢ１～ＪＢ４の位置を示す位置情報ＩＪ、及び人物ＪＢ１～ＪＢ４の画像を示す画像情報ＧＪを抽出する。抽出部ＣＳは、人物ＪＢ１～ＪＢ４の検出を、例えば、ＣＮＮ（Convolutional Neural Network）を用いた機械学習により行う。
　図３は、実施形態１の位置情報ＩＪ及び画像情報ＧＪを示す。
　位置情報ＩＪは、図３に示されるように、例えば、人物ＪＢ１～ＪＢ４の各々を囲う仮想の矩形ＫＫ１～ＫＫ４の位置座標である。画像情報ＧＪは、図３に示されるように、例えば、仮想の矩形ＫＫ１～ＫＫ４中の人物ＪＢ１～ＪＢ４の体型、姿勢等を示すＲＧＢ情報である。
　図１に戻り、推定部ＳＴは、軌跡履歴ＫＲを参照した上で、推定を行う。
　図４は、実施形態１の軌跡履歴ＫＲを示す。
　軌跡履歴ＫＲは、データベース部ＤＢ（図１に図示。）に記憶されている。軌跡履歴ＫＲは、図４に示されるように、複数のフレームＦＲと、複数の矩形ＫＫと、複数の人物ＪＢに割り当てられた識別番号ＩＤと、複数の人物ＪＢが動いた軌跡片ＴＬとの間の関係の履歴を示す。
　複数の矩形ＫＫについては、図３の図示と同様に、位置情報ＩＪ及び画像情報ＧＪが記憶されており、加えて、図４に示されるように、特徴量ＴＲ（ＫＫ）が記憶されている。特徴量ＴＲ（ＫＫ）は、矩形ＫＫ内の人物ＪＢを象徴する。例えば、矩形ＫＫ１の特徴量ＴＲ（ＫＫ）は、矩形ＫＫ１内の人物ＪＢ１を象徴する。
　複数の人物ＪＢに付与された識別番号ＩＤは、人物ＪＢ１～ＪＢ４を相互間で識別するための番号である。識別番号ＩＤは、後述されるように、割当部ＷＡ（図１に図示。）により割り当てられる。
　図５は、実施形態１の軌跡片ＴＬを示す。
　軌跡片ＴＬは、図５に示されるように、人物ＪＢ１～ＪＢ４の各々が動いた軌跡（図示せず。）が細切れされた、軌跡の一部分である。図５に示されるように、例えば、軌跡片ＴＬ１、ＴＬ４は、識別番号ＩＤ１である人物ＪＢ１の軌跡片である。
　図４に戻り、軌跡片ＴＬについては、軌跡片ＴＬの番号（Ｎｏ．）及び軌跡片ＴＬの特徴量ＴＲ（ＴＬ）が記憶されている。軌跡片ＴＬの特徴量ＴＲ（ＴＬ）は、軌跡片ＴＬを象徴する。
　軌跡履歴ＫＲは、データベース部ＤＢに記憶されることに代えて、例えば、通信ネットワーク上に配置された１つ以上の外部記憶装置（図示せず。）に記憶されてもよい。
　図１に戻り、推定部ＳＴは、軌跡履歴ＫＲ（図４に図示。）を参照することにより、現在のフレームＦＲより時間的に前に存在する過去の複数のフレームＦＲにおける、複数の人物ＪＢ１～ＪＢ４の位置情報ＩＪに基づき、現在のフレームＦＲ１での複数の人物ＪＢ１～ＪＢ４の位置を推定する。推定部ＳＴは、複数の人物ＪＢ１～ＪＢ４の位置の推定を、例えば、カルマンフィルタを用いて行う。
　「現在のフレームＦＲ１」は、「一のフレーム」に対応し、現在のフレームＦＲ１と、現在のフレームＦＲより時間的に前に存在する過去の複数のフレームＦＲとを合わせた全体は、「第１の複数のフレーム」に対応する。現在のフレームＦＲより時間的に前に存在する過去の複数のフレームＦＲは、「第２の複数のフレーム」に対応する。
　第１の算出部ＳＳ１は、現在のフレームＦＲ１での人物ＪＢ１～ＪＢ４の位置情報ＩＪにより示される、現在のフレームＦＲ１での人物ＪＢ１～ＪＢ４の位置と、前記推定された、現在のフレームＦＲ１での人物ＪＢ１～ＪＢ４の位置との間の差、即ち、位置の距離ＫＹ（ＩＣ）（図１０に図示。）を算出する。前記距離は、例えば、カルマンフィルタにおけるマハラノビス距離である。
　図６は、実施形態１の第２の算出部ＳＳ２の動作を示す。
　第２の算出部ＳＳ２は、図６に示されるように、特徴量抽出器として、現在のフレームＦＲ１での人物ＪＢの画像情報ＧＪに基づき、現在のフレームＦＲ１での人物ＪＢの特徴量ＴＲ（ＫＫ）を算出する。第２の算出部ＳＳ２は、例えば、現在のフレームＦＲ１での人物ＪＢ１の画像情報ＧＪ、即ち、現在のフレームＦＲ１での矩形ＫＫ１の画像情報ＧＪに基づき、フレームＦＲ１での人物ＪＢ１の特徴量ＴＲ（ＫＫ）を算出する。第２の算出部ＳＳ２は、特徴量ＴＲ（ＫＫ）の算出を、例えば、ＣＮＮを用いた機械学習により行う。
　図１に戻り、第３の算出部ＳＳ３は、軌跡履歴ＫＲを参照することにより、過去の複数のフレームＦＲでの複数の人物ＪＢ１～ＪＢ４の特徴量ＴＲ（ＫＫ）と、前記算出された、現在のフレームＦＲ１での人物ＪＢ１～ＪＢ４の特徴量ＴＲ（ＫＫ）との間での特徴量の差、即ち、特徴量の距離ＫＹ（ＴＲ）（図１０に図示。）を算出する。前記特徴量の距離ＫＹ（ＴＲ）は、例えば、cosine距離でよく、また、時間的に前後するフレームＦＲの矩形ＫＫ間でのIoU距離を併用してもよい。
　図７は、実施形態１の割当部ＷＡの動作を示す。
　割当部ＷＡは、前記算出された、位置の距離ＫＹ（ＩＣ）及び特徴量の距離ＫＹ（ＴＲ）に基づき、現在のフレームＦＲ１での人物ＪＢ１～ＪＢ４に識別番号ＩＤを割り当てる。
　割当部ＷＡは、図７Ａに示されるように、例えば、時刻ｔ２のフレームＦＲ２での人物ＪＢが、軌跡履歴ＫＲ中の時刻ｔ１のフレームＦＲ１での人物ＪＢ１と同一であると判断されるとき、時刻ｔ２のフレームＦＲ２の人物ＪＢに、人物ＪＢ１の識別番号ＩＤ１と同一の識別番号ＩＤ１を割り当てる。
　同様に、割当部ＷＡは、図７Ａに示されるように、例えば、時刻ｔ３のフレームＦＲ３での人物ＪＢが、軌跡履歴ＫＲ中の、時刻ｔ１のフレームＦＲ１での人物ＪＢ１、及び時刻ｔ２のフレームＦＲ２での人物ＪＢ１と同一であると判断されるとき、時刻ｔ３のフレームＦＲ３の人物ＪＢに、人物ＪＢ１の識別番号ＩＤ１と同一の識別番号ＩＤ１を割り当てる。
　上記とは対照的に、割当部ＷＡは、図７Ｂに示されるように、例えば、時刻ｔ２のフレームＦＲ２での人物ＪＢが、軌跡履歴ＫＲ中の時刻ｔ１のフレームＦＲ１での人物ＪＢ１と相違すると判断されるとき、フレームＦＲ１の人物ＪＢに、人物ＪＢ１の識別番号ＩＤ１と相違する識別番号、例えば、新規に識別番号ＩＤ２を割り当てる。
　同様に、割当部ＷＡは、図７Ｂに示されるように、例えば、時刻ｔ３のフレームＦＲ３での人物ＪＢが、軌跡履歴ＫＲ中の、時刻ｔ１のフレームＦＲ１での人物ＪＢ１、時刻ｔ２のフレームＦＲ２でのＪＢ２と相違すると判断されるとき、フレームＦＲ１の人物ＪＢに、人物ＪＢ１の識別番号ＩＤ１及び人物ＪＢ２の識別番号の両者と相違する識別番号、例えば、新規に識別番号ＩＤ３を割り当てる。
　割当部ＷＡは、上記した識別番号ＩＤの割り当てを、例えば、位置の距離ＫＹ（ＩＣ）及び特徴量の距離ＫＹ（ＴＲ）を行列としたコスト行列からハンガリアン法を用いて行い、または、位置の距離ＫＹ（ＩＣ）及び特徴量の距離ＫＹ（Ｔ）の重み付け和を用いて行う。
　図１に戻り、更新部ＫＳは、割当部ＷＡによる識別番号ＩＤの割り当てに応答して、軌跡履歴ＫＲを更新する。例えば、割当部ＷＡにより、現在のフレームＦＲ１の人物ＪＢ１に、識別番号ＩＤ１が付与されたことを想定すると、更新部ＫＳは、軌跡履歴ＫＲに、現在のフレームＦＲ１、フレームＦＲ１での人物ＪＢ１の識別番号ＩＤ１、現在のフレームＦＲ１での人物ＪＢ１の矩形ＫＫ１（位置情報ＩＪ、画像情報ＧＪ、特徴量ＴＲ（ＫＫ））、及び、現在のフレームＦＲ１での人物ＪＢ１の軌跡片ＴＬ（Ｎｏ．、特徴量ＴＲ（ＴＬ））等を追加することにより、軌跡履歴ＫＲを更新する。
　図８は、実施形態１の組み合わせ部ＫＡの動作を示す。
　組み合わせ部ＫＡは、更新された軌跡履歴ＫＲ（図４に図示。）を参照する。組み合わせ部ＫＡは、より詳しくは、予め定められた時間Δｔ（図４に図示。例えば、数十秒、数分。）の範囲内に存在する複数のフレームＦＲ、例えば、現在の時刻ｔ１から過去の時刻（ｔ１－Δｔ）までの範囲内に存在する、現在のフレームＦＲ１を含む複数のフレームＦＲでの人物ＪＢ１～ＪＢ４の特徴量ＴＲ（ＫＫ）を用いて、時間Δｔ内に存在する複数のフレームＦＲでの軌跡片ＴＬのうち、同一の人物のものである可能性を有し、または、その可能性がより高い軌跡片ＴＬ同士を組み合わせる。これにより、例えば、図８に示されるように、軌跡片ＴＬ１、ＴＬ３、ＴＬ４が、それぞれ、識別番号ＩＤ１（人物ＪＢ１）、識別番号ＩＤ３（人物ＪＢ３）、識別番号ＩＤ１（人物ＪＢ１）のものであるにも拘わらず、組み合わせ部ＫＡは、軌跡片ＴＬ１、ＴＬ３、ＴＬ４が、同一の識別番号ＩＤ１のものであるとして、組み合わせる。このとき、組み合わせ部ＫＡは、図８に示されるように、軌跡履歴ＫＲ中の軌跡片ＴＬ３の識別番号ＩＤを、ＩＤ３からＩＤ１へ変更する。
　組み合わせ部ＫＡは、上記した軌跡片ＴＬの組み合わせを、組合せ最適化手法を用いて行い、例えば、上記した時間Δｔ内に存在する複数のフレームＦＲでの人物ＪＢ１～ＪＢ４の特徴量ＴＲ（ＫＫ）の差をコストに位置付けた上で、コストを最小にする軌跡片ＴＬ同士を組み合わせる。軌跡片ＴＬの組み合わせは、例えば、更新部ＫＳによる軌跡履歴ＫＲの更新により、軌跡履歴ＫＲに反映される。
　取得部ＳＹ～組み合わせ部ＫＡは、現在のフレームＦＲ１についての処理を完了すると、現在のフレームＦＲ１に引き続く、次のフレームＦＲ２の処理を開始する。取得部ＳＹ～組み合わせ部ＫＡは、上記した直列な処理に代えて、現在のフレームＦＲ１、次のフレームＦＲ２、、、、を並行に処理してもよい。
〈実施形態１の構成〉
　図９は、実施形態１の人物追跡装置１の構成を示す。
　実施形態１の人物追跡装置１は、上述した機能を果たすべく、図９に示されるように、入力部ＮＢと、プロセッサＰＣと、出力部ＳＢと、メモリＭＭと、記憶媒体ＫＢを含む。
　入力部ＮＢは、例えば、カメラ、マイク、キーボード、マウス、タッチパネルから構成される。プロセッサＰＣは、ソフトウェアに従ってハードウェアを動作させる、よく知られたコンピュータの中核である。出力部ＳＢは、例えば、液晶モニター、プリンタ、タッチパネルから構成される。メモリＭＭは、例えば、ＤＲＡＭ（Dynamic Random Access Memory）、ＳＲＡＭ（Static Random Access Memory）から構成される。記憶媒体ＫＢは、例えば、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）、ソリッドステートドライブ（ＳＳＤ：Solid State Drive）、ＲＯＭ（Read Only Memory）から構成される。
　記憶媒体ＫＢは、プログラムＰＲを記憶する。プログラムＰＲは、プロセッサＰＣが実行すべき処理の内容を規定する命令群である。
　人物追跡装置１における機能と構成との関係については、ハードウェア上で、プロセッサＰＣが、記憶媒体ＫＢに記憶されたプログラムＰＲを、メモリＭＭ上で実行すると共に、必要に応じて、入力部ＮＢ及び出力部ＳＢの動作を制御することにより、取得部ＳＹ～組み合わせ部ＫＡの各部の機能を実現する。
〈実施形態１の動作〉
　図１０は、実施形態１の人物追跡装置１の動作を示すフローチャートである。実施形態１の人物追跡装置１の動作について、図１０のフローチャートを参照して説明する。
　説明及び理解を容易にすべく、現在のフレームＦＲ１に、一人の人物ＪＢのみが撮影されていることを想定する。
　ステップＳＴ１１：取得部ＳＹは、映像ＥＺを取得し、映像ＥＺを構成する複数のフレームＦＲのうち、現在のフレームＦＲ１を出力する。
　ステップＳＴ１２：抽出部ＣＳは、フレームＦＲ１から、人物ＪＢを検出し、より詳しくは、人物ＪＢの位置情報ＩＪ及び画像情報ＧＪを抽出する。
　ステップＳＴ１３：推定部ＳＴは、軌跡履歴ＫＲを参照することにより、現在のフレームＦＲ１より前の過去の複数のフレームＦＲでの人物ＪＢ１～ＪＢ４の位置情報ＩＪに基づき、現在のフレームＦＲ１における人物ＪＢ１～ＪＢ４の位置を推定する。
　ステップＳＴ１４：第１の算出部ＳＳ１は、抽出部ＣＳにより抽出された、現在のフレームＦＲ１での人物ＪＢの位置情報ＩＪにより示される、現在のフレームＦＲ１での人物ＪＢの位置と、推定部ＳＴにより推定された、フレームＦＲ１での人物ＪＢ１～ＪＢ４の位置の各々との間の差である位置の距離ＫＹ（ＩＣ）を算出する。即ち、第１の算出部ＳＳ１は、位置の距離ＫＹ（ＩＣ）を複数個、算出する。
　ステップＳＴ１５：第２の算出部ＳＳ２は、抽出部ＣＳにより抽出された、現在のフレームＦＲ１での人物ＪＢの画像情報ＧＪに基づき、現在のフレームＦＲ１での人物ＪＢの特徴量ＴＲ（ＫＫ）を算出する。
　ステップＳＴ１６：第３の算出部ＳＳ３は、軌跡履歴ＫＲを参照することにより、現在のフレームＦＲ１より前の過去の複数のフレームＦＲでの人物ＪＢ１～ＪＢ４の特徴量ＴＲ（ＫＫ）の各々と、第２の算出部ＳＳ２により算出された、現在のフレームＦＲ１での人物ＪＢの特徴量ＴＲ（ＫＫ）との間での差である特徴量の距離ＫＹ（ＴＲ）を算出する。即ち、第３の算出部ＳＳ３は、特徴量の距離ＫＹ（ＴＲ）を、複数個、算出する。
　ステップＳＴ１７：割当部ＷＡは、第１の算出部ＳＳ１により算出された、現在のフレームＦＲ１中の人物ＪＢ、及び、過去のフレームＦＲ中の人物ＪＢ１～ＪＢ４の各々の間における位置の距離ＫＹ（ＩＣ）、及び、第３の算出部ＳＳ３により算出された、現在のフレームＦＲ１中の人物ＪＢ、及び、過去のフレームＦＲ中の人物ＪＢ１～ＪＢ４の各々間における特徴量の距離ＫＹ（ＴＲ）に基づき、現在フレームＦＲ１での人物ＪＢに、過去の複数のフレームＦＲ中の人物ＪＢ１～ＪＢ４の識別番号ＩＤ１～ＩＤ４と同一の識別番号ＩＤ、または、相違する識別番号ＩＤ（例えば、識別番号ＩＤ５）を割り当てる。
　ステップＳＴ１８：更新部ＫＳは、割当部ＷＡによる識別番号ＩＤの割り当てに応答して、軌跡履歴ＫＲを更新する。
　ステップＳＴ１９：ステップＳＴ１１からステップＳＴ１８までの処理が、予め定められた回数だけ、または、予め定められた時間だけ、実行された後に、組み合わせ部ＫＡは、同一の人物、例えば、識別番号ＩＤ１のものである可能性を有し、または、その可能性が高い複数の軌跡片ＴＬを組み合わせる。組み合わせ部ＫＡによる複数の軌跡片ＴＬの組み合わせの結果は、例えば、更新部ＫＳにより、軌跡履歴ＫＲに反映され、即ち、軌跡履歴ＫＲは、更新される。
　図１１は、実施形態１の組み合わせ部ＫＡの動作の結果を示す。
　組み合わせ部ＫＡによる、組合せ最適化手法を用いた組み合わせを行わない場合には、図１１Ａに示されるように、例えば、フレームＦＲ１及びフレームＦＲ２に亘る人物ＪＢ１の軌跡（図示せず。）が、例えば、遮断物ＳＤにより遮断されることにより、軌跡片ＴＬ１及び軌跡片ＴＬ２に細切れにされていると、軌跡片ＴＬ１は、識別番号ＩＤ１のものであり、他方で、軌跡片ＴＬ２は、識別番号ＩＤ２のものであるとして取り扱われるおそれがある。
　上記とは相違して、組み合わせ部ＫＡによる、組合せ最適化手法を用いた組み合わせを行う場合には、図１１Ｂに示されるように、軌跡片ＴＬ１が識別番号ＩＤ１のものであり、かつ、軌跡片ＴＬ２も識別番号ＩＤ１のものであるとして取り扱わる。その結果、軌跡片ＴＬ１及び軌跡片ＴＬ２の組み合わせにより、遮断物ＳＤが存在するにも拘わらず、人物ＪＢ１の軌跡を途切れさせることを回避することができる。
〈実施形態１の効果〉
　上述したように、実施形態１の人物追跡装置１では、割当部ＷＡが、現在のフレームＦＲ１での人物ＪＢについての、位置の距離ＫＹ（ＩＣ）及び特徴量の距離ＫＹ（ＴＲ）に基づき、識別番号ＩＤを割り当て、また、組み合わせ部ＫＡが、現在のフレームＦＲ１及び過去の複数のフレームＦＲに亘る、人物ＪＢ、人物ＪＢ１～ＪＢ４の全者の特徴量ＴＲ（ＫＫ）に基づき、組合せ最適化手法により、同一の人物のものである可能性があり、また、可能性が高い複数の軌跡片ＴＬを組み合わせる。これにより、たとえ、遮断物ＳＤ（図１１に図示。）が存在しても、同一の人物の軌跡を追跡し続けることが可能となり、換言すれば、時間的に相互に離隔する軌跡片ＴＬを含む、同一の人物のものであると判定されるべき複数の軌跡片ＴＬを同一の人物のものであると判定することができる。
実施形態２．
〈実施形態２〉
　実施形態２の人物追跡装置２について説明する。
　実施形態２の人物追跡装置２は、実施形態１の人物追跡装置１に比して、組み合わせ部ＫＡによる組み合わせに要する所要時間を短縮する。
〈実施形態２の原理〉
　実施形態１の組み合わせ部ＫＡが、組合せ最適化手法を用いて複数の軌跡片ＴＬを組み合わせようとするとき、組み合わせ数がより多いほど、処理時間がより長くなる。そこで、実施形態２では、組み合わせ部ＫＡによる組み合わせの候補となる軌跡片ＴＬの数を低減する。
　実施形態２では、複数の軌跡片ＴＬの数の低減を、軌跡片ＴＬを代表し又は象徴する特徴量ＴＲ（ＴＬ）を制約条件と比較することにより行う。制約条件は、例えば、時間的条件及び空間的条件である。
　図１２は、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を示す。
　軌跡片ＴＬの特徴量ＴＲ（ＴＬ）は、例えば、軌跡片ＴＬに属する複数の矩形ＫＫの特徴量ＴＲ（ＫＫ）を平均することにより算出する。より詳しくは、図１２に示されるように、例えば、軌跡片ＴＬ１に矩形ＫＫ１～ＫＫ４が属するとき、軌跡片ＴＬ１の特徴量ＴＲ（ＴＬ）を、矩形ＫＫ１の特徴量ＴＲ（ＫＫ）、矩形ＫＫ２の特徴量ＴＲ（ＫＫ）、矩形ＫＫ３の特徴量ＴＲ（ＫＫ）、及び矩形ＫＫ４の特徴量ＴＲ（ＫＫ）を平均することにより、算出する。
　図１３は、実施形態２の時間的条件を示す。
　上記した時間的条件は、例えば、時間的に前後して隣接する２つの軌跡片ＴＬ同士間の時間的な重複が、時間的閾値Ｔｔｈより大きいか否かである。より詳しくは、図１３に示されるように、２つの軌跡片ＴＬ１、ＴＬ２同士の時間的な重複Ｔ１が、時間的閾値Ｔｔｈ以上であるとき、軌跡片ＴＬ１と軌跡片ＴＬ２との組み合わせがあり得ないことから、軌跡片ＴＬ１と軌跡片ＴＬ２との組み合わせを除外する。
　上記とは相違し、図１３に示されるように、２つの軌跡片ＴＬ３、ＴＬ４同士の時間的な重複Ｔ２が、時間的閾値Ｔｔｈ未満であるとき、軌跡片ＴＬ３と軌跡片ＴＬ４との組み合わせがあり得ることから、軌跡片ＴＬ３と軌跡片ＴＬ４との組み合わせを除外することなく、残す。
　図１４は、実施形態２の空間的条件を示す。
　上記した空間的条件は、例えば、空間における２つの軌跡片ＴＬ同士間での空間的な距離が、空間的閾値Ｄｔｈより長いか否かである。より詳しくは、図１４に示されるように、時刻ｔ１から時刻ｔ２までの軌跡片ＴＬ１の終点Ｐ（ｔ２）と、時刻ｔ３から時刻ｔ４までの軌跡片ＴＬ２の起点Ｐ（ｔ３）との間の距離Ｄが、空間的閾値Ｄｔｈ以上であるとき、軌跡片ＴＬ１と軌跡片ＴＬ２との組み合わせがあり得ないことから、軌跡片ＴＬ１と軌跡片ＴＬ２との組み合わせを除外する。
　上記とは相違し、上記した距離Ｄが、空間的閾値Ｄｔｈ未満であるとき、軌跡片ＴＬ１と軌跡片ＴＬ２との組み合わせがあり得ることから、軌跡片ＴＬ１と軌跡片ＴＬ２の組み合わせを除外することなく、残す。
　空間的閾値Ｄｔｈは、固定的な値でもよく、また、時間、例えば、時刻ｔ２と時刻ｔ３との間の時間の長さにより特定される変動的な値でもよい。
　実施形態２での組み合わせの候補となる軌跡片ＴＬの数の削減は、制約条件の観点から起こり得ない、軌跡片ＴＬ同士の組み合わせを事前に除外するだけであり、組み合わせ部ＫＡによる組み合わせの精度を低下させることはない。
〈実施形態２の機能及び構成〉
　図１５は、実施形態２の人物追跡装置２の機能ブロック図である。
　実施形態２の人物追跡装置２は、図１５に示されるように、実施形態１の人物追跡装置１（図１に図示。）と同様に、取得部ＳＹ～データベース部ＤＢを含み、他方で、実施形態１の人物追跡装置１と相違して、前処理部ＭＳを更に含む。前処理部ＭＳは、組み合わせ部ＫＡの処理の前に処理を行うべく、第４の算出部ＳＳ４と、除外部ＪＧとを有する。
　第４の算出部ＳＳ４は、実施形態１の第２の算出部ＳＳ２と同様に、「算出部」に対応し、除外部ＪＧは、「除外部」に対応する。
　第４の算出部ＳＳ４は、例えば、図１２に示されるように、現在のフレームＦＲ１中の人物ＪＢの軌跡片ＴＬに基づき、より正確には、軌跡片ＴＬに属する複数の矩形ＫＫに基づき、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を算出する。
　除外部ＪＧは、複数の軌跡片ＴＬのうち、図１３、図１４を参照して説明したように、制約条件を満足しない軌跡片ＴＬ同士の組み合わせを、組み合わせ部ＫＡによる組み合わせの候補から除外する。
　実施形態２の人物追跡装置２の構成は、実施形態１の人物追跡装置１の構成（図９に図示。）と同様である。
〈実施形態２の動作〉
　図１６は、実施形態２の人物追跡装置２の動作を示すフローチャートである。以下、実施形態２の人物追跡装置２の動作について、図１６のフローチャートを参照して説明する。
　説明及び理解を容易にすべく、実施形態１と同様に、現在のフレームＦＲ１に、一人の人物ＪＢのみが撮影されていることを想定する。
　ステップＳＴ２１～ＳＴ２７：取得部ＳＹ～割当部ＷＡは、実施形態１のステップＳＴ１１～ＳＴ１７と同様な処理を行う。
　図１７は、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を示す。
　ステップＳＴ２８：第４の算出部ＳＳ４は、図１２、図１７に示されるように、現在のフレームＦＲ１中の人物ＪＢの軌跡片ＴＬに基づき、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を算出する。
　図１８は、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の更新を示す。
　ステップＳＴ２９：更新部ＫＳは、図１８に示されるように、軌跡履歴ＫＲに、第４の算出部ＳＳ４により算出された、現在のフレームＦＲ１中の人物ＪＢ（割当部ＷＡにより、識別番号ＩＤ１を既に割り当てられていることを想定。）の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を追加することにより、軌跡履歴ＫＲを更新する。
　更新部ＫＳは、上記した更新に併せて、過去のフレームＦＲ０中の特徴量ＴＲ（ＴＬ）を変更することにより、軌跡履歴ＫＲを更新してもよい。
　ステップＳＴ３０：ステップＳＴ２１からステップＳＴ２９までの処理が、予め定められた回数だけ、または、予め定められた時間だけ、実行された後に、除外部ＪＧは、現在のフレームＦＲ１及び過去の複数のフレームＦＲでの複数の軌跡片ＴＬのうち、図１３、図１４を参照して説明したように、制約条件を満足しない軌跡片ＴＬの組み合わせを除外する。
　ステップＳＴ３１：組み合わせ部ＫＡは、現在のフレームＦＲ１及び過去の複数のフレームＦＲにおける、除外部ＪＧにより数が減少された後の複数の軌跡片ＴＬのうち、同一の人物のものである可能性を有し、または、その可能性が高い軌跡片ＴＬ同士を組み合わせる。組み合わせ部ＫＡは、軌跡片ＴＬ同士の組み合わせを、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）同士が類似するか否かの類似度に基づく組合せ最適化手法により行う。組み合わせ部ＫＡは、前記組み合わせを、例えば、最小費用流問題を解くことによって行い、より詳しくは、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の距離をコストとし、必要に応じて、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）間の類似度についての閾値Ｒｔｈを制約条件として追加することにより、最小費用流問題を解くことによって行う。
　組み合わせ部ＫＡによる軌跡片ＴＬ同士の組み合わせの結果は、更新部ＫＳにより、軌跡履歴ＫＲに追加され、これにより、軌跡履歴ＫＲが、更新される。
〈実施形態２の効果〉
　上述したように、実施形態２の人物追跡装置２では、第４の算出部ＳＳ４が、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）を算出することにより、組み合わせ部ＫＡは、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）同士が類似するか否かに基づき、軌跡片ＴＬ同士を組み合わせることができる。
〈除外による効果〉
　図１９は、実施形態２の除外部ＪＧによる除外の効果を示す。
　仮に、除外部ＪＧによる、あり得ない軌跡片ＴＬ同士の組み合わせの除外を行わないと、図１９Ａに示されるように、組み合わせ部ＫＡが、組み合わせることができる可能性の有無に拘わらず、例えば、組み合わせの候補である複数の軌跡片ＴＬ１～ＴＬ６の全てについて組み合わせを模索する。
　上記とは対照的に、実施形態２の人物追跡装置２では、除外部ＪＧによる、あり得ない軌跡片ＴＬ同士の組み合わせの除外を行う。これにより、図１９Ｂに示されるように、組み合わせ部ＫＡが、組み合わせることができる可能性を有する軌跡片ＴＬ同士のみについての組み合わせを模索し、他方で、組み合わせる可能性を有しない軌跡片ＴＬ同士の組み合わせ、例えば、軌跡片ＴＬ２と軌跡片ＴＬ３との組み合わせ、及び、軌跡片ＴＬ１と軌跡片ＴＬ６との組み合わせを模索しない。その結果、除外部ＪＧによる除外を行わない場合に比して、組み合わせ部ＫＡによる組み合わせに要する所要時間を短縮することができる。
〈類似度閾値の効果〉
　図２０は、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の類似度を示す。
　一般的に、軌跡片ＴＬの長さが長いほど、軌跡片ＴＬに含まれる矩形ＫＫの数が多くなる。例えば、図２０Ａの上段に示されるように、短い軌跡片ＴＬ１には、２つの矩形ＫＫ１ａ、ＫＫ１ｂが含まれることがあり、他方で、図２０の下段に示されるように、長い軌跡片ＴＬ１には、５つの矩形ＫＫ１ａ、ＫＫ１ｂ、ＫＫ１ｃ、ＫＫ１ｄ、ＫＫ１ｅが含まれることがある。
　同様に、図２０Ａの上段に示されるように、短い軌跡片ＴＬ２には、２つの矩形ＫＫ２ａ、ＫＫ２ｂが含まれることがあり、他方で、図２０Ａの下段に示されるように、長い軌跡片ＴＬ２には、５つの矩形ＫＫ２ａ、ＫＫ２ｂ、ＫＫ２ｃ、ＫＫ２ｄ、ＫＫ２ｅが含まれることがある。
　軌跡片ＴＬ１、ＴＬ２が短いとき、図２０Ｂの上段に示されるように、軌跡片ＴＬ１の特徴量ＴＲ（ＴＬ）と軌跡片ＴＬ２の特徴量ＴＲ（ＴＬ）とは類似しておらず、即ち、両者間の類似度は、小さい。
　上記とは対照的に、軌跡片ＴＬ１、ＴＬ２が長いとき、図２０Ｂの下段に示されるように、軌跡片ＴＬ１の特徴量ＴＲ（ＴＬ）と軌跡片ＴＬ２の特徴量ＴＲ（ＴＬ）とは類似しており、即ち、両者間の類似度は、大きい。
　図２１は、実施形態２の軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の類似度の閾値の変更を示す。
　上述したように、例えば、軌跡片ＴＬ１、ＴＬ２がより長いほど、軌跡片ＴＬ１、ＴＬ２に含まれる矩形ＫＫの数がより多くなり、その結果、軌跡片ＴＬ１の特徴量ＴＲ（ＴＬ）と、軌跡片ＴＬ２の特徴量ＴＲ（ＴＬ）とがより類似することになる。
　そこで、実施形態２の人物追跡装置２では、組み合わせ部ＫＡは、ステップＳＴ３１での、軌跡片ＴＬの特徴量ＴＲ（ＴＬ）の類似度に基づく軌跡片ＴＬ同士の組み合わせに先立ち、軌跡片ＴＬの性質に応じて、類似度閾値Ｒｔｈを変更することが望ましい。組み合わせ部ＫＡは、具体的には、図２１Ａ及び図２１Ｂに示されるように、例えば、軌跡片ＴＬ１、ＴＬ２が長いときの類似度閾値Ｒｔｈ（Ｌ）を軌跡片ＴＬ１、ＴＬ２が短いときの類似度閾値Ｒｔｈ（Ｓ）より小さくする。
　これにより、例えば、軌跡片ＴＬ１、ＴＬ２が短いときには、軌跡片ＴＬ１の特徴量ＴＲ（ＴＬ）と軌跡片ＴＬ２の特徴量ＴＲ（ＴＬ）とが類似しているか否かを、類似度閾値Ｒｔｈ（Ｓ）を基準に判断する。これにより、図２１Ａに示されるように、識別番号ＩＤ１、即ち、人物ＪＢ１の軌跡片ＴＬ１と、識別番号ＩＤ２、即ち、人物ＪＢ２の軌跡片ＴＬ２とを峻別することができる。
　他方で、例えば、軌跡片ＴＬ１、ＴＬ２が長いときには、軌跡片ＴＬ１の特徴量ＴＲ（ＴＬ）と軌跡片ＴＬ２の特徴量ＴＲ（ＴＬ）とが類似しているか否かを、上記と相違して、類似度閾値Ｒｔｈ（Ｓ）より小さい類似度閾値Ｒｔｈ（Ｌ）を基準に判断する。これにより、上記と同様に、識別番号ＩＤ１、即ち、人物ＪＢ１の軌跡片ＴＬ１と、識別番号ＩＤ２、即ち、人物ＪＢ２の軌跡片ＴＬ２とを峻別することができる。
〈変形例〉
　実施形態２の人物追跡装置２では、組み合わせ部ＫＡが、除外部ＪＧによる除外の後、例えば、時間的にまたは空間的により近接する軌跡片ＴＬ同士をより優先的に組み合わせてもよく、また、上記した組み合わせに、kd-tree等の手法を用いてもよい。これにより、組み合わせに要する所要時間をより短縮することができる。
実施形態３．
〈実施形態３〉
　実施形態３の人物追跡装置３について説明する。
　実施形態３の人物追跡装置３は、実施形態１の人物追跡装置１、及び実施形態２の人物追跡装置２による処理の結果を表示する。
〈実施形態３の機能及び構成〉
　図２２は、実施形態３の人物追跡装置３の機能ブロック図である。
　実施形態３の人物追跡装置３は、図２２に示されるように、実施形態１の人物追跡装置１と同様に、取得部ＳＹ～データベース部ＤＢを含み、他方で、実施形態１の人物追跡装置１と相違し、表示部ＨＹを更に含む。
　表示部ＨＹは、割当部ＷＡが識別番号ＩＤを割り当てた後の軌跡履歴ＫＲ、即ち、中間段階の速報である軌跡履歴ＫＲ（例えば、図４に図示。）を、人物追跡装置３のユーザにとって視認性良く表示する。ここで、割当部ＷＡが識別番号ＩＤを割り当てた後の軌跡履歴ＫＲは、換言すれば、組み合わせ部ＫＡが軌跡片ＴＬ同士を組み合わせる前の軌跡履歴ＫＲである。
　表示部ＨＹは、また、組み合わせ部ＫＡが軌跡片ＴＬ同士を組み合わせた後の軌跡履歴ＫＲ、即ち、最終段階の結果である軌跡履歴ＫＲを、人物追跡装置３のユーザにとって視認性良く表示する。
　表示部ＨＹは、前者の軌跡履歴ＫＲを表示する第１の表示ユニット（図示せず。）、及び後者の軌跡履歴ＫＲを表示する第２の表示ユニット（図示せず。）から構成されてもよい。
　実施形態３の人物追跡装置３の構成は、実施形態１の人物追跡装置１の構成（図９に図示。）と同様である。
〈実施形態３の動作〉
　図２３は、実施形態３の人物追跡装置３の動作を示すフローチャートである。
　図２４は、実施形態３の表示部ＨＹの動作を示す。
　以下、実施形態３の人物追跡装置３の動作について、図２３、図２４を参照して説明する。
　ステップＳＴ４１～ＳＴ４８：取得部ＳＹ～更新部ＫＳは、実施形態１のステップＳＴ１１～ステップＳＴ１８と同様の処理を行う。
　ステップＳＴ４９：表示部ＨＹは、図２４に示されるように、割当部ＷＡにより識別番号ＩＤが割り当てられた後の軌跡履歴ＫＲを、人物追跡装置３のユーザにとって見易く表示する。
　ステップＳＴ５０：組み合わせ部ＫＡは、実施形態１のステップＳＴ１９と同様の処理を行う。
　ステップＳＴ５１：表示部ＨＹは、図２４に示されるように、組み合わせ部ＫＡにより軌跡片ＴＬ同士が組み合わされた後の軌跡履歴ＫＲを、人物追跡装置３のユーザにとって見易く表示する。
　表示部ＨＹによる表示は、上述したように、実施形態１の人物追跡装置１の構成、機能及び動作を基調とすることに代えて、実施形態２の人物追跡装置２の構成、機能及び動作を基調としてもよい。
〈実施形態３の効果〉
　上述したように、実施形態３の人物追跡装置３では、表示部ＨＹが、割当部ＷＡにより識別番号ＩＤが割り当てられた後の軌跡履歴ＫＲを表示し、他方で、組み合わせ部ＫＡにより軌跡片ＴＬ同士が組み合わされた後の軌跡履歴ＫＲを表示する。これにより、人物追跡装置３のユーザは、人物ＪＢをリアルタイム処理で監視すべき環境の下では、時々刻々に、速報的な、または暫定的な軌跡履歴ＫＲの内容を確認することができ、他方で、人物ＪＢをバッチ処理で監視してもよい環境の下では、例えば、日単位、週単位で、最終的な、または確定的な軌跡履歴ＫＲの内容を確認することができる。
　本開示の要旨を逸脱しない範囲で、上述した実施形態同士を組み合わせてもよく、また、各実施形態中の構成要素を適宜、削除し、変更し、または、他の構成要素を追加してもよい。
　本開示に係る人物追跡装置は、人物の監視に利用することができ、例えば、人物の動きについて、警報を発し、表示を行い、または、ログを記録する形式で、人物を監視することができる。
１～３　人物追跡装置、ＣＳ　抽出部、Ｄ　距離、ＤＢ　データベース部、Ｄｔｈ　空間的閾値、ＥＺ　映像、ＦＲ　フレーム、ＧＪ　画像情報、ＨＹ　表示部、ＩＤ　識別番号、ＩＪ　位置情報、ＪＢ　人物、ＪＧ　除外部、ＫＡ　組み合わせ部、ＫＢ　記憶媒体、ＫＫ　矩形、ＫＲ　軌跡履歴、ＫＳ　更新部、ＫＹ　距離、ＭＭ　メモリ、ＭＳ　前処理部、ＮＢ　入力部、ＰＣ　プロセッサ、ＰＲ　プログラム、Ｒｔｈ　類似度閾値、ＳＢ　出力部、ＳＤ　遮断物、ＳＳ１　第１の算出部、ＳＳ２　第２の算出部、ＳＳ３　第３の算出部、ＳＳ４　第４の算出部、ＳＴ　推定部、ＳＹ　取得部、ＴＬ　軌跡片、ＴＲ　特徴量、Ｔｔｈ　時間的閾値、ＷＡ　割当部。

Claims (5)

  1. 　複数の人物が撮影された映像が有する時間的に連続する複数のフレームであって、各フレームが前記複数の人物の動きの一部分である軌跡片を含む前記複数のフレームにおける前記複数の人物を象徴する特徴量を算出する算出部と、
    　前記複数のフレームにおける前記複数の人物を象徴する特徴量に基づく組合せ最適化手法の下で、前記複数のフレームにおける前記複数の人物の軌跡片のうち、同一の人物である可能性がより高い軌跡片同士を組み合わせる組み合わせ部と、
    　を含む人物追跡装置。
  2. 　前記組み合わせ部による組み合わせが可能である制約条件を満足しない軌跡片同士の組み合わせを除外する除外部を更に含む、
    　請求項１に記載の人物追跡装置。
  3. 　前記組み合わせ部は、前記軌跡片同士の組み合わせを、前記特徴量同士が類似するか否かに基づき行い、かつ、前記特徴量同士が類似するか否かの閾値を、前記軌跡片の性質に応じて変更する、
    　請求項１に記載の人物追跡装置。
  4. 　前記組み合わせ部による前記組み合わせの前における前記複数のフレームでの前記複数の人物の軌跡片、及び前記組み合わせ部による前記組み合わせの後における前記複数のフレームでの前記複数の人物の軌跡片を表示する表示部を更に含む、
    　請求項１記載の人物追跡装置。
  5. 　算出部が、複数の人物が撮影された映像が有する時間的に連続する複数のフレームであって、各フレームが前記複数の人物の動きの一部分である軌跡片を含む前記複数のフレームにおける前記複数の人物を象徴する特徴量を算出し、
    　組み合わせ部が、前記複数のフレームにおける前記複数の人物を象徴する特徴量に基づく組合せ最適化手法の下で、前記複数のフレームにおける前記複数の人物の軌跡片のうち、同一の人物である可能性がより高い軌跡片同士を組み合わせる、
    　人物追跡方法。
PCT/JP2021/019921 2021-05-26 2021-05-26 人物追跡装置及び人物追跡方法 WO2022249312A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021567024A JP7162761B1 (ja) 2021-05-26 2021-05-26 人物追跡装置及び人物追跡方法
PCT/JP2021/019921 WO2022249312A1 (ja) 2021-05-26 2021-05-26 人物追跡装置及び人物追跡方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/019921 WO2022249312A1 (ja) 2021-05-26 2021-05-26 人物追跡装置及び人物追跡方法

Publications (1)

Publication Number Publication Date
WO2022249312A1 true WO2022249312A1 (ja) 2022-12-01

Family

ID=83806064

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019921 WO2022249312A1 (ja) 2021-05-26 2021-05-26 人物追跡装置及び人物追跡方法

Country Status (2)

Country Link
JP (1) JP7162761B1 (ja)
WO (1) WO2022249312A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016066111A (ja) * 2014-09-22 2016-04-28 株式会社日立ソリューションズ 動線編集装置及び動線編集方法、動線編集プログラム
JP2019194857A (ja) * 2018-05-04 2019-11-07 キヤノン株式会社 物体追跡方法および装置
JP6794575B1 (ja) * 2020-07-28 2020-12-02 株式会社 日立産業制御ソリューションズ 動画解析装置及び動画解析方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5214533B2 (ja) * 2009-05-21 2013-06-19 富士フイルム株式会社 人物追跡方法、人物追跡装置および人物追跡プログラム
JP6526953B2 (ja) * 2014-09-12 2019-06-05 株式会社日立国際電気 物体識別方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016066111A (ja) * 2014-09-22 2016-04-28 株式会社日立ソリューションズ 動線編集装置及び動線編集方法、動線編集プログラム
JP2019194857A (ja) * 2018-05-04 2019-11-07 キヤノン株式会社 物体追跡方法および装置
JP6794575B1 (ja) * 2020-07-28 2020-12-02 株式会社 日立産業制御ソリューションズ 動画解析装置及び動画解析方法

Also Published As

Publication number Publication date
JP7162761B1 (ja) 2022-10-28
JPWO2022249312A1 (ja) 2022-12-01

Similar Documents

Publication Publication Date Title
KR102014371B1 (ko) 수술영상의 인식도 평가 방법 및 장치
JP2018151963A (ja) 人物動向記録装置
US11875904B2 (en) Identification of epidemiology transmission hot spots in a medical facility
US20210012097A1 (en) System and method for first impression analysis and face morphing by adjusting facial landmarks using faces scored for plural perceptive traits
KR102254639B1 (ko) 매장 관리 시스템 및 방법
US11562567B2 (en) Observed-object recognition system and method
CN108461130B (zh) 就诊任务智能调度方法及系统
CN110293554A (zh) 机器人的控制方法、装置和系统
CN111887990A (zh) 基于5g技术的远程手术导航云桌面系统
WO2022249312A1 (ja) 人物追跡装置及び人物追跡方法
CN113454640A (zh) 用于利用在线学习进行对象跟踪的方法及系统
JP2003150306A (ja) 情報表示装置とその方法
KR20200096155A (ko) 수술 분석 장치, 수술영상 분석 및 인식 시스템, 방법 및 프로그램
KR20220143547A (ko) 심전도 이미지에 기반한 환자 평가 시스템 및 방법
CN114399424A (zh) 模型训练方法及相关设备
Nescher et al. Analysis of short term path prediction of human locomotion for augmented and virtual reality applications
CN108986151B (zh) 一种多目标跟踪处理方法及设备
TW202114409A (zh) 用於為目標設置可呈現的虛擬對象的方法和系統
JP2019197353A (ja) 属性決定装置、属性決定システムおよび属性決定方法
Karpouzis et al. Facial expression and gesture analysis for emotionally-rich man-machine interaction
Gervasi et al. A method for predicting words by interpreting labial movements
Gullapalli et al. Quantifying the psychopathic stare: Automated assessment of head motion is related to antisocial traits in forensic interviews
Gutstein et al. Optical flow, positioning, and eye coordination: automating the annotation of physician-patient interactions
CN108520237A (zh) 一种风险行为识别方法
CN112686908A (zh) 图像处理方法、信息展示方法、电子设备及存储介质

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2021567024

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21942966

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21942966

Country of ref document: EP

Kind code of ref document: A1