WO2024004197A1 - 情報処理装置、情報処理方法、及び、記録媒体 - Google Patents

情報処理装置、情報処理方法、及び、記録媒体 Download PDF

Info

Publication number
WO2024004197A1
WO2024004197A1 PCT/JP2022/026457 JP2022026457W WO2024004197A1 WO 2024004197 A1 WO2024004197 A1 WO 2024004197A1 JP 2022026457 W JP2022026457 W JP 2022026457W WO 2024004197 A1 WO2024004197 A1 WO 2024004197A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
image
information
registered
information processing
Prior art date
Application number
PCT/JP2022/026457
Other languages
English (en)
French (fr)
Inventor
雄太 工藤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to PCT/JP2022/026457 priority Critical patent/WO2024004197A1/ja
Publication of WO2024004197A1 publication Critical patent/WO2024004197A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis

Definitions

  • This disclosure relates to the technical field of information processing devices, information processing methods, and recording media.
  • Patent Document 1 Detects human images from video images obtained by imaging, executes a first selection process to select the best shot image from among the human images of the same person based on a first index, and calculates the reliability of the best shot image.
  • Patent Document 2 describes a technique for displaying images and selecting the most suitable image for person authentication processing.
  • Patent Document 3 describes a technique for outputting information to a discriminator and tracking a plurality of objects.
  • a plurality of frames are acquired, an object is detected from the plurality of frames, and for the detected object, a first movement trajectory including the first frame, a second movement trajectory consisting only of frames before the first frame, and , when a third movement trajectory consisting only of frames after the first frame is extracted, and the degree of similarity between the second movement trajectory and the third movement trajectory is greater than or equal to the similarity between the first movement trajectory and the third movement trajectory.
  • a technique for associating a second moving trajectory with a third moving trajectory and tracking a plurality of moving objects is described in Patent Document 4.
  • An object of this disclosure is to provide an information processing device, an information processing method, and a recording medium that aim to improve the techniques described in prior art documents.
  • One aspect of the information processing device includes an acquisition unit that acquires an image, a tracking unit that tracks a person included in the image, and a registration update that registers or updates characteristic information of a person who has been tracked by the tracking unit. and a registration/updating means for determining whether to register or update characteristic information of the person based on an image including the person.
  • One aspect of the information processing method includes acquiring an image, tracking a person included in the image, determining whether to register or update characteristic information of the person based on the image including the person, and tracking the person. Register or update the characteristic information of the person who has done the same.
  • One aspect of the recording medium is to have a computer acquire an image, track a person included in the image, and determine whether to register or update characteristic information of the person based on the image including the person.
  • a computer program for executing an information processing method for registering or updating characteristic information of a person who has been tracked is recorded.
  • FIG. 1 is a block diagram showing the configuration of an information processing apparatus in the first embodiment.
  • FIG. 2 is a block diagram showing the configuration of an information processing device in the second embodiment.
  • FIG. 3 is a conceptual diagram showing an example of a scene to which the information processing apparatus according to the second embodiment is applied.
  • FIG. 4 is a conceptual diagram showing an example of information processing operations performed by the information processing apparatus in the second embodiment.
  • FIG. 5 is a flowchart showing the flow of the ReID matching operation performed by the information processing device in the second embodiment.
  • FIG. 6 is a flowchart showing the flow of the registered feature update operation performed by the information processing apparatus in the second embodiment.
  • FIG. 7 is a block diagram showing the configuration of an information processing device in the third embodiment.
  • FIG. 8 is a flowchart showing the flow of the ReID matching operation performed by the information processing apparatus in the third embodiment.
  • FIG. 9 is a block diagram showing the configuration of an information processing device in the fourth embodiment.
  • FIG. 10 is a flowchart showing the flow of the ReID matching operation performed by the information processing apparatus in the fourth embodiment.
  • FIG. 11 is a flowchart showing the flow of the registered feature update operation performed by the information processing apparatus in the fourth embodiment.
  • FIG. 12 is a block diagram showing the configuration of an information processing device in the fifth embodiment.
  • FIG. 13 shows a display example of the display in the fifth embodiment.
  • a first embodiment of an information processing device, an information processing method, and a recording medium will be described. Below, a first embodiment of an information processing device, an information processing method, and a recording medium will be described using an information processing device 1 to which the first embodiment of the information processing device, information processing method, and recording medium is applied. . [1-1: Configuration of information processing device 1]
  • FIG. 1 is a block diagram showing the configuration of an information processing device 1 in the first embodiment.
  • the information processing device 1 includes an acquisition section 11, a tracking section 12, and a registration update section 13.
  • the acquisition unit 11 acquires an image.
  • the tracking unit 12 tracks a person included in an image.
  • the registration update unit 13 determines whether to register or update the characteristic information of the person based on the image including the person.
  • the registration update unit 13 registers or updates characteristic information of a person who has been tracked by the tracking unit 12.
  • the processing load is smaller compared to a case where no determination is made. Further, when the information processing device 1 determines to update, the tracking unit 12 updates the characteristic information of a person who has been tracked, so that more preferable characteristic information can be registered.
  • a second embodiment of an information processing device, an information processing method, and a recording medium will be described.
  • a second embodiment of the information processing apparatus, the information processing method, and the recording medium will be described using an information processing apparatus 2 to which the second embodiment of the information processing apparatus, the information processing method, and the recording medium is applied.
  • FIG. 2 is a block diagram showing the configuration of the information processing device 2 in the second embodiment.
  • the information processing device 2 includes a calculation device 21 and a storage device 22. Furthermore, the information processing device 2 may include a communication device 23, an input device 24, and an output device 25. However, the information processing device 2 does not need to include at least one of the communication device 23, the input device 24, and the output device 25.
  • the arithmetic device 21, the storage device 22, the communication device 23, the input device 24, and the output device 25 may be connected via a data bus 26.
  • the arithmetic unit 21 is, for example, at least one of a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), and an FPGA (Field Programmable Gate Array). Including one.
  • Arithmetic device 21 reads a computer program.
  • the arithmetic device 21 may read a computer program stored in the storage device 22.
  • the arithmetic device 21 reads a computer program stored in a computer-readable and non-temporary recording medium using a recording medium reading device (not shown) provided in the information processing device 2 (for example, an input device 24 described later). You can also read it using .
  • the arithmetic device 21 may acquire a computer program from a device (not shown) located outside the information processing device 2 via the communication device 23 (or other communication device) (that is, it may not be downloaded). (or may be loaded). The arithmetic device 21 executes the loaded computer program. As a result, within the arithmetic device 21, a logical functional block for executing the operations that the information processing device 2 should perform is implemented. That is, the arithmetic device 21 can function as a controller for realizing a logical functional block for executing operations (in other words, processing) that the information processing device 2 should perform.
  • FIG. 2 shows an example of logical functional blocks implemented within the arithmetic unit 21 to execute information processing operations.
  • acquisition unit 211 which is a specific example of the "acquisition means” described in the appendix to be described later
  • acquisition unit 211 which is a specific example of the "tracking unit” described in the appendix to be described later.
  • the tracking unit 212 is an example
  • the registration update unit 213 is a specific example of a "registration update means” described in the appendix described later
  • the collation unit is a specific example of a "verification means” described in the appendix described later.
  • section 214 is realized.
  • the registration update unit 213 includes a linking unit 2131 that is a specific example of a “linking unit” described in the appendix described below, and a registration unit 2132 that is a specific example of a “registration unit” described in the appendix described below.
  • a feature extraction/judgment unit 2133 which is a specific example of a "feature extraction/judgment means” described in the appendix to be described later
  • an extraction unit 2134 which is a specific example of "extraction means", described in the appendix, to be described later.
  • the collation unit 214 does not need to be implemented in the arithmetic device 21.
  • the registration update unit 213 does not need to include any one of the linking unit 2131, the registration unit 2132, the feature extraction determination unit 2133, the extraction unit 2134, the update determination unit 2135, and the update unit 2136. Details of the respective operations of the acquisition unit 211, tracking unit 212, registration update unit 213, and collation unit 214 will be described later.
  • the storage device 22 can store desired data.
  • the storage device 22 may temporarily store a computer program executed by the arithmetic device 21.
  • the storage device 22 may temporarily store data that is temporarily used by the arithmetic device 21 when the arithmetic device 21 is executing a computer program.
  • the storage device 22 may store data that the information processing device 2 stores for a long period of time.
  • the storage device 22 may include at least one of a RAM (Random Access Memory), a ROM (Read Only Memory), a hard disk device, a magneto-optical disk device, an SSD (Solid State Drive), and a disk array device. good. That is, the storage device 22 may include a non-temporary recording medium.
  • the storage device 22 may store a ReID feature database RIDB.
  • the ReID feature database RIDB may be a database that links tracking IDs and ReID features on a one-to-one basis.
  • the ReID feature database RIDB will be described in detail with reference to Table 1. However, the storage device 22 does not need to store the ReID feature database RIDB.
  • the communication device 23 is capable of communicating with devices external to the information processing device 2 via a communication network (not shown). If the storage device 22 described above does not store the ReID feature database RIDB, the ReID feature database RIDB is stored in a device external to the information processing device 2, and the communication device 23 stores the information via the communication network. Information may be exchanged with the ReID feature database RIDB stored in a device external to the processing device 2. Furthermore, the communication device 23 may acquire images from a camera CAM, which will be described later, via a communication network.
  • the input device 24 is a device that accepts information input to the information processing device 2 from outside the information processing device 2.
  • the input device 24 may include an operating device (for example, at least one of a keyboard, a mouse, and a touch panel) that can be operated by the operator of the information processing device 2.
  • the input device 24 may include a reading device capable of reading information recorded as data on a recording medium that can be externally attached to the information processing device 2.
  • the output device 25 is a device that outputs information to the outside of the information processing device 2.
  • the output device 25 may output the information as an image.
  • the output device 25 may include a display device (so-called display) capable of displaying an image indicating information desired to be output.
  • the output device 25 may output the information as audio.
  • the output device 25 may include an audio device (so-called speaker) that can output audio.
  • the output device 25 may output information on paper. That is, the output device 25 may include a printing device (so-called printer) that can print desired information on paper. [2-2: Application example of information processing device 2]
  • FIG. 3 is a conceptual diagram showing an example of a scene to which the information processing device 2 according to the second embodiment is applied.
  • the information processing device 2 in the second embodiment may be used for real-time tracking of people in marketing, entrance/exit management, and the like. Furthermore, this real-time tracking of a person may be applied to "gateless authentication," where the person being authenticated does not have to stop or be aware of the authentication.
  • the information processing device 2 may track a person existing in the tracking area TA as a tracking target.
  • the tracking area TA may be, for example, an area of 5 meters x 5 meters. Five to six people can pass through a width of 5 meters at the same time, and 20 to 30 people may exist within the tracking area TA and may be passing through the tracking area TA.
  • the camera CAM may image a predetermined space in order to image a person.
  • the camera CAM may be installed so that it can image an area including the tracking area TA.
  • the camera CAM may be installed at a height of 2.5 meters, for example.
  • the image captured by the camera CAM is likely to include the person's head region and the person's upper body region.
  • the head region and upper body region may be suitable regions for tracking a person.
  • the head region of a person is a part that is easy to detect even when the person is facing in a direction other than the front, such as backward or sideways. Furthermore, even when many areas are occluded by other people, detection of the head area is often successful. Therefore, in the second embodiment, the tracking unit 212 may track a person based on the head area of the person detected from the image.
  • the tracking unit 212 may detect and track the head region of a person passing through the tracking area TA. The tracking unit 212 may continue to track a person passing through the tracking area TA.
  • the tracking unit 212 When the tracking unit 212 detects people from the image, it may output positions of head regions associated with tracking IDs for the number of detected people.
  • the tracking ID does not have to be an ID for identifying a person, but may be an ID for associating the same person present in different images.
  • the image used by the tracking unit 212 for tracking may be one image frame of video data. That is, the acquisition unit 211 may sequentially acquire a plurality of image frames constituting the video data as images.
  • the tracking performed by the tracking unit 212 may be an operation of associating the same person in a past frame and a current frame.
  • the tracking unit 212 may perform tracking by determining the position of the head region within the image. The movement of a person is often small between the previous and subsequent frames, and the change in head position is often small.
  • the tracking unit 212 may associate the same person based on the position of the head region within the image.
  • the tracking unit 212 may perform tracking, for example, by determining the identity of image patterns in the head region. Further, the tracking unit 212 may perform tracking by determining the degree of similarity of feature amounts extracted from images of the head region. Further, the tracking unit 212 may associate people between frames using optical flow.
  • the tracking unit 212 may detect the upper body region including the head region of the person.
  • the tracking unit 212 may also detect an area above the person's knees. Further, the tracking unit 212 may detect an area including the main joints of the person. [2-4: ReID operation]
  • ReID may be an operation of linking and managing the tracking IDs of the person tracked in different cases.
  • the different cases may be different timings. Further, the different cases may be different locations. Furthermore, the different case may be a case where images acquired from different cameras CAM are used.
  • ReID may be an operation performed when a person's tracking operation is interrupted, when a new person appears, or the like. Further, ReID may be a response operation when a tracking error occurs due to occlusion or the like and a different tracking ID is assigned to the same person. ReID may be an operation that is good at determining the same person. In ReID, it may be determined whether or not the two persons are the same person by ReID matching that matches feature amounts extracted from the persons. This feature amount may be called a ReID feature amount.
  • the ReID feature database RIDB may be a database in which a tracking ID of a person and feature information of the person are registered in association with each other.
  • the feature information may be a ReID feature amount for determining whether the two persons are the same person.
  • the ReID feature amount may be a feature amount extracted from an image of a rectangular area including a person.
  • the ReID feature amount may be a feature amount extracted from a whole body image of the person.
  • the ReID feature amount may be a feature amount extracted from the upper body image of the person.
  • the upper body image of the person may include at least clothing worn by the person. That is, in ReID, it may be determined that the people are the same because they are wearing the same clothing.
  • the ReID feature amount may be a feature amount extracted from a head image including the head of the relevant person.
  • the image region from which the ReID feature is extracted may be referred to as a ReID feature extraction region.
  • a verification operation using ReID features may have a lighter operational load than a verification operation that allows individual identification, such as face authentication. That is, ReID can determine whether or not a person matches with higher accuracy than tracking by the tracking unit 212, and may require less operational load than a matching operation for identifying an individual. In the second embodiment, even if tracking by the tracking unit 212 fails, tracking may be continued using an operation that has a smaller load than an operation that allows individual identification.
  • the verification operation performed by the verification unit 214 may be ReID verification.
  • the matching operation by the matching unit 214 may be able to determine whether the two persons are the same person with higher accuracy than the tracking operation by the tracking unit 212.
  • ReID In real-time tracking of a person in an image, even if the tracking is interrupted, the interrupted tracking can be connected. ReID is also an important technology when applying real-time tracking of a person to "gateless authentication" in which the person being authenticated does not have to stop and is not aware of the authentication. [2-5: Information processing operation for each image]
  • FIG. 4 is a flowchart showing the flow of information processing operations performed by the information processing device 2 in the second embodiment.
  • the operation from "start" to "end” shown in FIG. 4 may be an operation for each frame.
  • the acquisition unit 211 acquires an image (step S21).
  • the acquisition unit 211 may sequentially acquire a plurality of image frames constituting video data.
  • the tracking unit 212 detects a head region as a tracking region from the person included in the image (step S22).
  • the tracking unit 212 determines whether a tracking target exists (step S23). If a tracking target exists, the registration update unit 213 tracks the person included in the image based on the head area detected from the person.
  • the tracking unit 212 determines whether a new tracking target exists (step S24). If a tracking target that is not continuously tracked is included in the image, the tracking unit 212 may determine that the tracking target is a new tracking target.
  • step S25 If a new tracking target exists (step S24: Yes), ReID operation is performed (step S25). Details of the ReID operation in step S25 will be described later with reference to FIG.
  • step S26 If there is no new tracking target (step S24: No), a registered feature update operation is performed (step S26). Details of the registered feature update operation in step S26 will be described later with reference to FIG.
  • step S27 the results of the information processing operation are displayed. Details of step S27 will be explained in other embodiments to be described later.
  • the tracking unit 212 determines whether there is an unprocessed tracking target (step S28). If there is an unprocessed tracking target (step S28: Yes), the process moves to step S24. If there is no tracking target or if there is no unprocessed tracking target in step S23, the information processing operation for each image ends. [Step S25: ReID verification operation]
  • the feature extraction determination unit 2133 inputs the detection results (step S251).
  • the detection result may include an image area of a person included in the image.
  • the feature extraction determination unit 2133 determines whether to extract the ReID feature quantity as the characteristic information of the relevant person (step S252).
  • the feature extraction determination unit 2133 determines whether or not to extract ReID features based on the number of images in which the tracking unit 212 detects a head region as the same tracking target (also referred to as the “number of tracking frames”). good.
  • the feature extraction determination unit 2133 may determine whether to extract the ReID feature amount based on whether the number of tracking frames of the tracking target exceeds a first threshold. For example, the feature extraction determination unit 2133 may determine to extract the ReID feature amount when the number of frames in which the person being tracked is detected exceeds 15 frames.
  • the feature extraction determination unit 2133 may determine to extract the ReID feature amount after 0.5 seconds have elapsed since the start of new tracking. Alternatively, the feature extraction determination unit 2133 may determine to extract the ReID feature amount when the position in the image where the person is detected is not at the edge of the image. This is because if a person is detected at the edge of an image, the person may not be included in the image in subsequent frames and may no longer be a tracking target. Alternatively, the feature extraction determination unit 2133 may determine to extract the ReID feature amount if the ReID feature amount extraction region of the person included in the image has a quality equal to or higher than a predetermined quality. The case where the quality of the ReID feature quantity extraction region in the image is equal to or higher than a predetermined level may be the case where the quality is such that a feature quantity suitable for ReID verification can be extracted from the ReID feature quantity extraction region in the image.
  • the registration unit 2132 stores the temporary ID “N” before ReID processing for the person in the ReID feature database RIDB as exemplified in Table 1 below. You may register. [Table 1: ReID feature database RIDB]
  • the ReID feature database RIDB includes a column of tracking IDs, a column of tracked IDs, a column of ReID features, a column of evaluation values of ReID features, and images from which ReID features are extracted. (also referred to as a "registered image").
  • the matching unit 214 extracts the ReID feature quantity (step S253).
  • the matching unit 214 matches the extracted ReID feature amount with the registered ReID feature amount registered in the ReID feature amount database RIDB, and determines whether the matching is successful (step S254).
  • the matching unit 214 may calculate a matching score between the extracted ReID feature and each of all registered ReID features.
  • the matching unit 214 may determine that the matching is successful when the maximum matching score among the calculated matching scores is greater than the second threshold.
  • the matching unit 214 may determine that the tracking target corresponding to the registered ReID feature amount for which the maximum matching score was calculated and the corresponding tracking target are the same person. That is, when the ReID feature amount as the feature information of the same person as the newly tracked person is registered in the ReID feature amount database RIDB, the registration unit 2132 associates the person with the registered person.
  • the linking unit 2131 links the new tracking target with the registered tracking target (step S255). For example, if it is determined that the person is the same as the person whose tracking ID has been tracked in the past, the linking unit 2131 connects the ReID feature database RIDB illustrated in Table 1 to the ReID feature database RIDB illustrated in Table 2. You may update to [Table 2: ReID feature database RIDB updated in step S255]
  • the tracked ID column is updated with "A”
  • the ReID feature column is updated with “AAA”
  • the ReID feature evaluation value column is updated with “5”
  • the information indicating the registered image is updated with “5.”
  • the column may be updated with "A-n”.
  • “AAA” may be the ReID feature of "A”
  • "5" may be the evaluation value of "AAA”
  • "A-n” may be information indicating the image from which "AAA” was extracted. .
  • the registration unit 2132 registers the ReID feature of the new tracking target (step S256). For example, the registration unit 2132 may update the ReID feature database RIDB illustrated in Table 1 to the ReID feature database RIDB illustrated in Table 3. [Table 3: ReID feature database RIDB updated in step S256]
  • the tracking ID column is updated with "D”
  • the ReID feature value column is updated with “DDD”
  • the ReID feature value evaluation value column is updated with "5"
  • the information column indicating the registered image is updated. may be updated with "Dm”.
  • “DDD” is the ReID feature extracted in step S253
  • “5” is the evaluation value of “DDD”
  • “Dm” is the image from which “DDD” is extracted, that is, acquired in step S251.
  • the information may also be information indicating a captured image.
  • the registration update unit 213 outputs the result of the ReID operation (step S257). [Step S26: Registered feature update operation]
  • the feature extraction determination unit 2133 inputs the detection results (step S261).
  • the detection result may include an image area of a person included in the image.
  • the feature extraction determination unit 2133 acquires registered information of the tracking target (step S262).
  • the feature extraction determination unit 2133 may acquire the number of tracking frames of the tracking target, the evaluation value of the registered image, and the registered image.
  • the feature extraction determination unit 2133 determines whether or not to extract the ReID feature amount (step S263). Details of step S263 will be described later.
  • the extraction unit 2134 extracts the ReID feature from the person's ReID feature extraction region (step S264).
  • the ReID feature amount extraction region may be the upper body or above the knees.
  • the update determination unit 2135 determines whether to update the ReID feature amount (step S265). Details of step S265 will be described later.
  • the updating unit 2136 updates the ReID feature amount (step S266). Even when updating, the updating unit 2136 does not have to discard the previously registered ReID feature amounts, evaluation values, and registered images.
  • the ReID feature amount, evaluation value, and registered image registered in the past may be used to calculate the evaluation value.
  • the registration update unit 213 outputs the result of the registration feature update operation (step S267). [Determination in step S263]
  • the feature extraction determination unit 2133 may determine whether or not to extract the characteristic information of the person based on at least one of (1) to (3) below.
  • the feature extraction determination unit 2133 may determine whether to extract ReID feature amounts as feature information of the person based on the number of tracked frames.
  • the feature extraction determination unit 2133 may determine whether to extract the ReID feature amount based on whether the number of tracking frames of the tracking target exceeds a first threshold. For example, the feature extraction determination unit 2133 may determine to extract the ReID feature amount when the number of frames in which the person being tracked by the tracking unit 212 is detected exceeds 15 frames. For example, if 30 frames are captured per second, the feature extraction determination unit 2133 may determine to extract the ReID feature amount after 0.5 seconds have elapsed since the start of new tracking.
  • the feature extraction determination unit 2133 may determine whether a specific joint of a person is included in the image.
  • Particular joints may include facial parts such as eyes, nose, neck, shoulders, elbows, wrists, hips, knees, ankles, etc.
  • the particular joint may be a joint above the knee region.
  • the ReID feature extraction region may be determined such that at least one of the head of the person and the torso of the person overlaps. That is, the person's face may be hidden in the image from which the ReID feature is extracted, and it may be determined that the ReID feature is extracted from an image that includes the person's body from the neck down.
  • the feature extraction determination unit 2133 may make the determination based on the overlap between visible joint points in the registered image and visible joint points in the acquired image (current frame).
  • the feature extraction determination unit 2133 determines to extract the feature information of the person when the overlap between the visible joint points in the registered image and the visible joint points in the acquired image (current frame) is greater than a third threshold. It's okay.
  • the registered image is an image in which ReID features are extracted and registered, and has a quality higher than a predetermined level. Therefore, the overlap between the visible joint points in the registered image and the visible joint points in the acquired image (current frame) If the image is large, it may be considered that the image is suitable for feature extraction.
  • the third threshold value may be set such that 50% or more of the whole body of the person overlaps.
  • the feature extraction determination unit 2133 may determine to extract the feature information of the person in question when the value calculated by Equation 1 below is greater than a third threshold.
  • J visible may be a set of visible joint points. may be the estimated score of the output visible joint point. "1" on the right shoulder may indicate the current frame, and "2" may indicate the past frame.
  • the feature extraction determination unit 2133 can further appropriately determine whether the image is suitable for feature extraction by taking into consideration the estimated score.
  • the feature extraction determination unit 2133 determines whether to update the ReID feature amount database RIDB by calculating the evaluation value of the ReID feature amount registered in the ReID feature amount database RIDB. Good too. For example, when the evaluation value of the registered ReID feature amount is smaller than the fourth threshold, the feature extraction determination unit 2133 may determine to extract the feature information of the relevant person. In other words, the feature extraction determination unit 2133 may determine that it should be updated if the registered ReID feature amount is not very desirable. The calculation of the evaluation value of the ReID feature amount will be described in detail in the subsequent explanation of step S265.
  • the calculation time can be reduced by the feature extraction determination unit 2133 determining whether or not to extract the ReID feature amount based on the tracking history of the tracking target, registered information, and the like.
  • the update determination unit 2135 may determine whether to update the registered feature information based on the evaluation value of the ReID feature extracted by the extraction unit 2134.
  • the update determination unit 2135 may update the ReID feature when the evaluation value of the ReID feature extracted by the extraction unit 2134 exceeds the evaluation value of the ReID feature registered in the ReID feature database RIDB. .
  • the update determination unit 2135 may calculate the evaluation value using any of the methods (i) to (iv) below.
  • the update determination unit 2135 may calculate the evaluation value based on information indicating the overlap between the visible joint points in the registered image and the visible joint points in the acquired image.
  • the information indicating the overlap between the predetermined joint of the person in the registered image and the predetermined joint of the person in the image may be the same as the information described in step S263 (2).
  • the update determination unit 2135 may perform calculation using all registered images of the tracking target registered in the past, and adopt the maximum value as the evaluation value.
  • the update determination unit 2135 may evaluate the extracted ReID feature amount and calculate an evaluation value based on the result of matching the extracted ReID feature amount with the registered ReID feature amount.
  • the update determination unit 2135 may perform calculation using all the ReID feature amounts of the tracking target registered in the past, and adopt the maximum value as the evaluation value.
  • the update determination unit 2135 may calculate the evaluation value using a machine-learned calculation model.
  • the calculation model may be a calculation model machine-learned using the relationship between the evaluation value according to (i) and the evaluation value according to (ii) above.
  • the calculation model may be a calculation model that estimates an evaluation value of the extracted ReID feature when information indicating the overlap of visible joint points and a comparison result with the ReID feature are input.
  • the calculation model may be a calculation model that can be machine learned, and a convolutional neural network can be cited as an example of a calculation model that can be machine learned.
  • the update determination unit 2135 based on at least one of information indicating an overlap between first predetermined areas of people in different images and information indicating an overlap between second predetermined areas of different people in the same image,
  • the extracted ReID feature amount may be evaluated and an evaluation value may be calculated.
  • Each of the first predetermined area and the second predetermined area may be a ReID feature amount extraction area.
  • the update determination unit 2135 may calculate the evaluation value based on the overlap index of the ReID feature amount extraction region.
  • the update determination unit 2135 may employ IoU (Intersection over Union) and calculate the evaluation value using Formula 2 below. [Formula 2] IoU with the same tracking target in different images ⁇ (1 - IoU with other tracking targets in the current image)
  • the image acquired by the acquisition unit 211 may have information about the person included in the image added. This information may include information indicating a tracking area of a person included in the image.
  • the camera CAM may detect a person and a tracking area of the person in addition to capturing an image. That is, part of the operation of the tracking unit 212 described above may be performed outside the information processing device 2.
  • the accuracy of ReID verification can be improved depending on which feature amount is used for verification, that is, which feature amount is registered. Since the information processing device 2 in the second embodiment selects an image for feature extraction and further selects feature information to be registered and updated, better features can be adopted while ensuring real-time performance. Thereby, the accuracy of ReID verification can be improved, and the tracking results can also be improved.
  • the information processing device 2 determines whether or not to extract feature information based on the number of tracking frames, there is no need to extract feature information, and whether the image is an image from which good feature information can be extracted is not necessary. It can be determined whether or not. Furthermore, since the information processing device 2 determines whether or not to extract feature information based on the visible joint points, there is no need to extract feature information to determine whether the image is one from which good feature information can be extracted. can be determined.
  • the information processing device 2 determines whether or not to update the ReID feature database RIDB based on the evaluation value of the feature information, so feature information with a high evaluation value is registered, and the registered feature information It is possible to perform good ReID matching using . Furthermore, since the information processing device 2 performs the determination based on the result of matching registered feature information that has already been determined to be suitable for ReID matching, it is possible to determine whether or not the feature information is good. In addition, since the information processing device 2 performs the determination based on the overlap between the relevant tracking targets in the past frame and the current frame, and the overlap between the relevant tracking target and tracking targets other than the relevant tracking target in the current frame, there is less occlusion.
  • the ReID feature database RIDB can be updated with the feature information extracted from the corresponding tracking target.
  • a third embodiment of an information processing device, an information processing method, and a recording medium will be described.
  • a third embodiment of the information processing apparatus, the information processing method, and the recording medium will be described using an information processing apparatus 3 to which the third embodiment of the information processing apparatus, the information processing method, and the recording medium is applied. .
  • the information processing device 3 in the third embodiment may be applied to a case where face authentication is performed while tracking a moving person.
  • the camera CAM may be a 4K camera, and may be capable of capturing images of a quality that can be used for face authentication.
  • FIG. 7 is a block diagram showing the configuration of the information processing device 3 in the third embodiment.
  • the information processing device 3 according to the third embodiment is different from the information processing device 2 according to the second embodiment in that the arithmetic device 21 further includes a personal verification unit 315, and the storage device 22 stores facial features. It differs in that it further includes a quantity database FC.
  • the personal matching unit 315 collects biometric information of a person included in an image, and matches the biometric information with registered biometric information.
  • the facial feature database FC stores the registration ID of a registered person and the biometric information of the registered person in association with each other.
  • the facial feature database FC may store the registered ID of the registered person and the feature extracted from the biometric information of the registered person in association with each other.
  • the storage device 22 does not store the facial feature database FC
  • the facial feature database FC may be stored in a device external to the information processing device 3, and the communication device 23 can communicate with the facial feature database FC via the communication network.
  • information may be exchanged with a facial feature database FC stored in a device external to the information processing device 3.
  • Other features of the information processing device 3 may be the same as other features of the information processing device 2. Therefore, in the following, parts that are different from each of the embodiments already described will be described in detail, and descriptions of other overlapping parts will be omitted as appropriate.
  • the facial feature database FC of the third embodiment may have the structure shown in Table 4 below. [Table 4: Facial feature database FC]
  • the facial feature database FC may include a tracking ID column, a ReID feature column, a personal ID column, and a facial feature column.
  • the personal ID may be an ID that identifies a person, or may be an ID of a person who has been identified. [3-3: ReID verification operation performed by information processing device 3]
  • FIG. 8 is a flowchart showing the flow of the ReID matching operation performed by the information processing device 3 in the third embodiment.
  • the operations from "start" to "end” shown in FIG. 8 may be operations related to one tracked target.
  • the matching unit 214 inputs the detection results (step S251).
  • the feature extraction determination unit 2133 determines whether to extract the ReID feature quantity as the characteristic information of the person concerned (step S252).
  • the matching unit 214 extracts the ReID feature (step S253).
  • the personal verification unit 315 collects a facial image as biometric information of a person included in the image, and extracts facial image feature quantities (sometimes referred to as "facial feature quantities") from the facial image (step S30). .
  • the personal matching unit 315 matches the extracted facial feature amount with the facial feature amount registered in the facial feature amount database FC, and determines whether the matching is successful (step S31).
  • the matching of facial features by the personal matching unit 315 may be an individual-specific operation.
  • Step S31 If the matching of the facial features is successful (Step S31: Yes), the linking unit 2131 links the person included in the image with the person corresponding to the registered biometric information (Step S32).
  • the matching unit 214 matches the extracted ReID feature with all the registered ReID features registered in the ReID feature database RIDB, and determines whether the matching is successful (step S33).
  • step S34 the linking unit 2131 registers the extracted matching feature of the new tracking target as a registered matching feature (step S34). For example, if the new tracking target is the same person as the tracking ID "B" illustrated in Table 4 above, the facial feature amount is registered in the facial feature amount database FC, but the ReID feature amount is not registered. Therefore, a Yes determination is made in step S31, and a No determination is made in step S33. On the other hand, for example, if the new tracking target is the same person as the tracking ID "A" illustrated in Table 4 above, the facial feature amount and the ReID feature amount are registered in the facial feature amount database FC. Therefore, the determination in step S31 is Yes, and the determination in step S33 is also Yes.
  • step S31: No If the matching of the facial feature amount fails (step S31: No), the matching unit 214 matches the extracted ReID feature amount with all the registered ReID feature amounts registered in the ReID feature amount database RIDB, It is determined whether or not the matching was successful (step S254).
  • the case where the face verification fails may be the case where the face image of the person is not registered. That is, the person to be tracked may be a person who has not been authenticated in the tracking area TA.
  • step S254: Yes the registration unit 2132 associates the person included in the image with the person corresponding to the registered ReID feature amount (step S255). If the matching fails (step S254: No), the linking unit 2131 registers the ReID feature of the new tracking target as a registered matching feature (step S256).
  • the registration update unit 213 outputs the result of the ReID verification operation (step S) 257).
  • the facial feature amount may be updated with the consent of the person concerned.
  • a person whose facial features have already been registered is a registered and identified person, so for example, a notification may be sent to a device such as a smartphone that the person carries asking if it is OK to update, and consent is obtained. You may get it.
  • a facial feature value worth updating can be extracted, an agreement may be obtained that it may be updated. Even in this case, a notification to the effect that the update has been made may be sent to a device such as a smartphone carried by the person.
  • the personal matching unit 315 collects a facial image as biometric information and performs facial feature matching. may be collected, and the feature amounts extracted from the iris image may be compared. [3-4: Technical effects of information processing device 3]
  • a fourth embodiment of an information processing device, an information processing method, and a recording medium will be described. Below, a fourth embodiment of the information processing apparatus, the information processing method, and the recording medium will be described using an information processing apparatus 4 to which the fourth embodiment of the information processing apparatus, the information processing method, and the recording medium is applied. . [4-1: Configuration of information processing device 4]
  • FIG. 9 is a block diagram showing the configuration of the information processing device 4 in the fourth embodiment.
  • the information processing device 4 has an additional determination unit The difference is that 416 is included.
  • Other features of the information processing device 4 may be the same as other features of the information processing device 2 or the information processing device 3. Therefore, in the following, parts that are different from each of the embodiments already described will be described in detail, and descriptions of other overlapping parts will be omitted as appropriate. [4-2: Information processing operation performed by information processing device 4]
  • FIG. 10 is a flowchart showing the flow of the ReID matching operation performed by the information processing device 4 in the fourth embodiment.
  • FIG. 11 is a flowchart showing the flow of the registered feature update operation performed by the information processing device 4 in the fourth embodiment.
  • the operations from "start" to "end” shown in FIGS. 10 and 11 may be operations related to one tracked target.
  • the matching unit 214 inputs the detection results (step S251).
  • the addition determination unit 416 determines which of a plurality of predetermined attributes the person included in the image corresponds to (step S40).
  • the plurality of predetermined attributes may be, for example, the orientation of the person's body.
  • a feature amount that can be extracted from an image of a person captured from the front, a feature amount that can be extracted from an image of a person captured from the side, and a feature amount that can be extracted from an image of a person captured from the back are different. If the plurality of predetermined attributes is the orientation of the person's body, the additional determination unit 416 may determine the orientation of the person included in the image.
  • the feature extraction determination unit 2133 determines whether to extract the ReID feature amount of the relevant person (step S252). If it is determined that the ReID feature amount is extracted (step S252: Yes), the matching unit 214 extracts the ReID feature amount (step S253).
  • the matching unit 214 matches the extracted ReID feature amount with the registered ReID feature amount of the attribute determined in step S40, which is registered in the ReID feature amount database RIDB, and determines whether the matching is successful ( Step S41).
  • ReID feature database RIDB ReID feature database RIDB
  • the ReID feature database RIDB of the fourth embodiment may have the structure shown in Table 5 below. [Table 5: ReID feature database RIDB]
  • the ReID feature database RIDB of the fourth embodiment may include a column of tracking IDs, a column of front ReID features, a column of side ReID features, and a column of back ReID features.
  • ReID features of a plurality of attributes may be registered.
  • step S254 If the verification is successful (step S254: Yes), the registration unit 2132 links the new tracking target with the registered tracking target (step S255). For example, if the attribute of the person included in the image is "back" and the person is the same as the person with the tracking ID "A", the matching is successful because the back ReID feature exists.
  • step S41 If the matching fails (step S41: No), the ReID feature corresponding to the relevant attribute is not registered, so the registration unit 2132 registers the extracted ReID feature as the feature information of the relevant attribute (step S42). . If the attribute of the person included in the image is "back" and the person is the same as the person with the tracking ID "B", the matching will fail because the back ReID feature does not exist. In the case illustrated in Table 5, the back face ReID feature amount of the tracking ID "B" may be updated from “-" to "BBBB" in step S42.
  • the registration update unit 213 outputs the result of the ReID verification operation (step S) 257).
  • the feature extraction determination unit 2133 inputs the detection results (step S261).
  • the additional determination unit 416 determines which of a plurality of predetermined attributes the person included in the image corresponds to (step S43).
  • the feature extraction determination unit 2133 acquires registered information of the tracking target (step S262).
  • the feature extraction determination unit 2133 determines whether or not to extract the ReID feature amount (step S263).
  • the extraction unit 2134 extracts matching features from a predetermined region of the person (step S264).
  • the addition determination unit 416 determines whether the attribute determined in step S43 is a new attribute (step S44). The addition determination unit 416 may determine whether the attribute is a new attribute based on whether or not the ReID feature amount corresponding to the attribute is registered. The addition determination unit 416 may determine that the attribute is a new attribute if the column corresponding to the attribute is "-".
  • step S44 If the attribute is not a new attribute and a ReID feature corresponding to the attribute is registered (step S44: No), it is determined whether or not to update the registered ReID feature of the person (step S265). ). If it is determined that the ReID feature quantity is to be updated, the updating unit 2136 updates the ReID feature quantity (step S266).
  • step S44 If the ReID feature amount corresponding to the attribute is not registered and the attribute is a new attribute (step S44: No), the registration unit 2132 registers the feature information corresponding to the attribute (step S45).
  • the registration update unit 213 outputs the result of the registration feature update operation (step S267).
  • the orientation of the person's body has been described as an example of the plurality of predetermined attributes, but the plurality of predetermined attributes are, for example, the unobstructed area of the person It may be.
  • the unobstructed area of the person may be, for example, the person's face area, the person's upper body area including the face, or the person's torso area from the shoulders to the waist. That is, the ReID feature amount extraction region may be used as an attribute.
  • whether or not the person is carrying luggage may be used as an attribute.
  • the attribute may be determined depending on whether the image includes luggage along with a person.
  • the brightness of a person's area may be used as an attribute.
  • the plurality of predetermined attributes may be, for example, the amount of light in the area of the person. [4-4: Technical effects of information processing device 4]
  • the information processing device 4 in the fourth embodiment associates the tracking targets using the ReID feature values of a plurality of attributes, so it is possible to link the tracking targets with high accuracy.
  • a fifth embodiment of an information processing device, an information processing method, and a recording medium will be described.
  • a fifth embodiment of the information processing apparatus, the information processing method, and the recording medium will be described using an information processing apparatus 5 to which the fifth embodiment of the information processing apparatus, the information processing method, and the recording medium is applied.
  • FIG. 12 is a block diagram showing the configuration of the information processing device 5 in the fifth embodiment.
  • the information processing device 5 in the fifth embodiment is different from the information processing device 2 in the second embodiment to the information processing device 4 in the fourth embodiment in that the arithmetic device 21 is connected to the display control unit 517. It differs in that it is equipped with In the display control unit 517, other features of the information processing device 5 may be the same as at least one other feature of the information processing devices 2 to 4. Therefore, in the following, parts that are different from each of the embodiments already described will be described in detail, and descriptions of other overlapping parts will be omitted as appropriate. [5-2: Display operation performed by information processing device 5]
  • the fifth embodiment may be an embodiment that describes a specific example of the operation (that is, the operation corresponding to step S27 in FIG. 4) of outputting the result of the information processing operation in the second embodiment described above.
  • the information processing device 5 in the fifth embodiment may update the output operation of the result of the information processing operation every time one image is processed.
  • the output device 25 may include a display device (referred to as "display D") that can display an image indicating information desired to be output.
  • FIG. 13 shows an example of a screen showing the results of the information processing operation displayed on the display D in the fifth embodiment.
  • the display D in the fifth embodiment may display a screen for a person managing the tracking area TA to check the tracking status.
  • the display control unit 517 may control the display on the display D.
  • the display control unit 517 displays the image with information indicating the tracking result superimposed on the person included in the image.
  • the display control unit 517 superimposes information indicating the success of tracking on the person included in the image when tracking of the person is successful, and superimposes information indicating the success of tracking on the person included in the image when tracking the person fails.
  • the image may be displayed with information indicating a tracking failure superimposed thereon.
  • the display control unit 517 may superimpose the person's tracking ID as information indicating successful tracking.
  • a case where tracking of a person fails means that the person is not linked to the person who is already being tracked, and it is unknown whether the person is a new tracking target, in other words, the ReID feature has not been extracted. (Step S252: No) may be the case.
  • FIG. 13(a) shows an example of displaying the tracking results based on the n-th acquired image.
  • the display control unit 517 may display an image of a person who has been successfully tracked with a thick solid rectangle and a tracking ID superimposed thereon. Further, the display control unit 517 may display an image of the person whose tracking has failed, with a dashed rectangle and "New" indicating that ReID verification has not yet been performed superimposed thereon.
  • FIG. 13(a) shows that in the n-th image acquired, a person with a tracking ID of "B" and a person with a tracking ID of "C" are being tracked, and a person for whom ReID verification has not yet been performed is 1. This is an example of a person being captured in the photo.
  • FIG. 13(b) shows an example of displaying the tracking results based on the n+kth acquired image.
  • FIG. 13(b) shows that in the information processing operation based on the n-th image, a person whose ReID has not yet been verified has been tracked in the past in the information processing operation based on the n+k-th image. This example shows that it has been determined that the person has the tracking ID “A”.
  • FIG. 13(c) shows a display example of the tracking results based on the n+kth acquired image.
  • Figure 13(c) shows that in the information processing operation based on the n-th image, a person whose ReID has not yet been verified becomes a new tracking target in the information processing operation based on the n+k-th image.
  • the example shows that it has been determined that there is, and that the tracking ID "D" has been assigned.
  • the person managing the tracking area TA can check the tracking status of each person in real time by visually checking the display D. [6: Additional notes]
  • An information processing device comprising an update means.
  • the apparatus further comprises a matching means for comparing extracted feature information extracted from the person included in the image with registered registered feature information
  • the registration update means includes: a linking unit for linking the person included in the image and the person corresponding to the registered feature information when the matching unit successfully matches the extracted feature information and the registered feature information; a registration means for registering the extracted feature information in association with a person included in the image if the matching between the extracted feature information and the registered feature information by the matching means fails; If the person included in the image is a person being tracked by the tracking means, whether or not characteristic information of the person is extracted from the image based on at least one of the image and registered information regarding the person.
  • feature extraction and determination means for determining whether If the feature extraction determination means determines to extract feature information, an extraction means for extracting feature information of the person from the image; Determining whether to update the registered feature information of the person based on at least one of the image, registered information about the person, and extracted feature information of the person extracted by the extraction means. update determination means for updating the registered feature information of the person, when the update determination means determines to update the registered feature information, using the extracted feature information of the person extracted by the extraction means;
  • the information processing device according to supplementary note 1, including an update means.
  • the information processing device according to supplementary note 2, wherein the feature extraction determination means determines whether or not to extract the characteristic information of the person based on the number of images that include the person being tracked by the tracking means.
  • the information regarding the registered person includes a registered image from which the registered feature information has been extracted, At least one of the feature extraction determination means and the update determination means is based on information indicating an overlap between a predetermined joint of the person in the registered image and a predetermined joint of the person in the image, The information processing device according to supplementary note 2 that performs the determination.
  • the registered information regarding the person includes an evaluation value obtained by evaluating the registered characteristic information of the person, The information processing device according to supplementary note 2, wherein at least one of the feature extraction determination means and the update determination means performs determination based on the evaluation value.
  • the update determination means includes: Evaluating the extracted feature information based on at least one of information indicating an overlap between first predetermined regions of the persons in the different images, and information indicating an overlap between second predetermined regions of the different persons in the same image. and determines whether or not to update the registered feature information.
  • the image processing apparatus further includes additional determination means for determining which of a plurality of predetermined attributes the person included in the image corresponds to, and determining whether feature information corresponding to the applicable attribute is registered.
  • the information processing device according to supplementary note 1 or 2, further comprising: a display unit that displays the image by superimposing information indicating a tracking result on the person included in the image.
  • a display unit that displays the image by superimposing information indicating a tracking result on the person included in the image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

情報処理装置１は、画像を取得する取得部１１と、画像に含まれる人物を追跡する追跡部１２と、追跡部１２が追跡したことのある人物の特徴情報を登録又は更新する登録更新部１３であって、人物を含む画像に基づき、当該人物の特徴情報を登録又は更新するか否かを判定する登録更新部１３とを備える。

Description

情報処理装置、情報処理方法、及び、記録媒体
　この開示は、情報処理装置、情報処理方法、及び、記録媒体の技術分野に関する。
　複数の検出装置のそれぞれが周期的に第１の検出対象を検出した複数の検出情報から第１の検出対象の位置を示す複数の検出対象位置を検出し、複数の検出装置が設置された空間に基づく座標に複数の検出対象位置を変換し、複数の検出装置が検出する前に第１の検出対象がいた位置である第１の座標を記憶し、複数の変換後座標の中から、当該周期よりも長い第１の時間前までに検出された検出情報から検出された複数の検出対象位置が変換された変換後座標を取得し、取得した変換後座標の中から第１の座標と関係を有すると予測される複数の第２の座標を抽出し、複数の第２の座標に基づいて代表座標を算出し、代表座標を、第１の検出対象が第１の座標から移動した位置と決定する技術が特許文献１に記載されている。撮像して得られる動画像から人物画像を検出、同一人物の人物画像の中から、第１指標に基づいてベストショット画像を選択する第１選択処理を実行すると共にベストショット画像の信頼度を算出し、算出したベストショット画像の信頼度が第１閾値より低い場合、同一人物の人物画像の中から、第２指標に従ってベストショット画像を選択する第２選択処理を実行し、算出したベストショット画像の信頼度が第１閾値以上である場合、第１選択処理により選択されるベストショット画像と、予め登録される人物画像とを用いて、人物の認証処理を実行し、算出したベストショット画像の信頼度が第１閾値より低い場合、第２選択処理により選択されるベストショット画像と、予め登録された人物画像とを用いて、人物の認証処理を実行し、人物の認証処理の実行結果を表示し、人物の認証処理に最適な画像を選択する技術が特許文献２に記載されている。画像群に含まれる画像又は画像領域における処理対象領域であって、１つの追跡対象以外の他の追跡対象について過去の時点で又は正解として決定された位置に基づき決定された処理対象領域に対し、他の追跡対象の特徴を消滅させた又は減じた画素パターンへの変更を行う画素変更処理を実施し、画素変更処理を施された画像又は画像領域を、１つの追跡対象の学習及び／又は識別のために識別器へ出力し、複数の物体を追跡する技術が特許文献３に記載されている。複数のフレームを取得し、複数のフレームから物体を検出し、検出された物体について、第１フレームを含む第１移動軌道、第１フレームより前のフレームのみで構成される第２移動軌道、及び、第１フレーム以降のフレームのみで構成される第３移動軌道を抽出し、第２移動軌道と第３移動軌道の類似度が、第１移動軌道と第３移動軌道の類似度以上になる場合、第２移動軌道と第３移動軌道を対応付ける対応付、複数の移動物体を追跡する技術が特許文献４に記載されている。
国際公開第２０１９／１５５７２７号 特開２０１９－２０５００２号公報 特開２０１８－１８５７２４号公報 特開２０１７－２２８３０３号公報
　この開示は、先行技術文献に記載された技術の改良を目的とする情報処理装置、情報処理方法、及び、記録媒体を提供することを課題とする。
　情報処理装置の一の態様は、画像を取得する取得手段と、前記画像に含まれる人物を追跡する追跡手段と、前記追跡手段が追跡したことのある人物の特徴情報を登録又は更新する登録更新手段であって、前記人物を含む画像に基づき、当該人物の特徴情報を登録又は更新するか否かを判定する登録更新手段とを備える。
　情報処理方法の一の態様は、画像を取得し、前記画像に含まれる人物を追跡し、前記人物を含む画像に基づき、当該人物の特徴情報を登録又は更新するか否かを判定し、追跡したことのある人物の特徴情報を登録又は更新する。
　記録媒体の一の態様は、コンピュータに、画像を取得し、前記画像に含まれる人物を追跡し、前記人物を含む画像に基づき、当該人物の特徴情報を登録又は更新するか否かを判定し、追跡したことのある人物の特徴情報を登録又は更新する情報処理方法を実行させるためのコンピュータプログラムが記録されている。
図１は、第１実施形態における情報処理装置の構成を示すブロック図である。 図２は、第２実施形態における情報処理装置の構成を示すブロック図である。 図３は、第２実施形態における情報処理装置が適用される場面の例を示す概念図である。 図４は、第２実施形態における情報処理装置が行う情報処理動作の例を示す概念図である。 図５は、第２実施形態における情報処理装置が行うＲｅＩＤ照合動作の流れを示すフローチャートである。 図６は、第２実施形態における情報処理装置が行う登録特徴更新動作の流れを示すフローチャートである。 図７は、第３実施形態における情報処理装置の構成を示すブロック図である。 図８は、第３実施形態における情報処理装置が行うＲｅＩＤ照合動作の流れを示すフローチャートである。 図９は、第４実施形態における情報処理装置の構成を示すブロック図である。 図１０は、第４実施形態における情報処理装置が行うＲｅＩＤ照合動作の流れを示すフローチャートである。 図１１は、第４実施形態における情報処理装置が行う登録特徴更新動作の流れを示すフローチャートである。 図１２は、第５実施形態における情報処理装置の構成を示すブロック図である。 図１３は、第５実施形態におけるディスプレイの表示例を示している。
　以下、図面を参照しながら、情報処理装置、情報処理方法、及び、記録媒体の実施形態について説明する。
　［１：第１実施形態］
　情報処理装置、情報処理方法、及び、記録媒体の第１実施形態について説明する。以下では、情報処理装置、情報処理方法、及び記録媒体の第１実施形態が適用された情報処理装置１を用いて、情報処理装置、情報処理方法、及び記録媒体の第１実施形態について説明する。
　［１－１：情報処理装置１の構成］
　図１を参照しながら、第１実施形態における情報処理装置１の構成について説明する。図１は、第１実施形態における情報処理装置１の構成を示すブロック図である。
　図１に示すように、情報処理装置１は、取得部１１と、追跡部１２と、登録更新部１３とを備える。取得部１１は、画像を取得する。追跡部１２は、画像に含まれる人物を追跡する。登録更新部１３は、人物を含む画像に基づき、当該人物の特徴情報を登録又は更新するか否かを判定する。登録更新部１３は、追跡部１２が追跡したことのある人物の特徴情報を登録又は更新する。
　［１－２：情報処理装置１の技術的効果］
　第１実施形態における情報処理装置１は、追跡部１２が追跡したことのある人物の特徴情報を登録又は更新するか否かを判定するので、判定しない場合と比較して、処理負担が小さい。また、情報処理装置１は、更新すると判定した場合に、追跡部１２が追跡したことのある人物の特徴情報を更新するので、より好ましい特徴情報を登録することができる。
　［２：第２実施形態］
　情報処理装置、情報処理方法、及び、記録媒体の第２実施形態について説明する。以下では、情報処理装置、情報処理方法、及び記録媒体の第２実施形態が適用された情報処理装置２を用いて、情報処理装置、情報処理方法、及び記録媒体の第２実施形態について説明する。
　［２－１：情報処理装置２の構成］
　図２を参照しながら、第２実施形態における情報処理装置２の構成について説明する。図２は、第２実施形態における情報処理装置２の構成を示すブロック図である。
　図２に示すように、情報処理装置２は、演算装置２１と、記憶装置２２とを備えている。更に、情報処理装置２は、通信装置２３と、入力装置２４と、出力装置２５とを備えていてもよい。但し、情報処理装置２は、通信装置２３、入力装置２４及び出力装置２５のうちの少なくとも１つを備えていなくてもよい。演算装置２１と、記憶装置２２と、通信装置２３と、入力装置２４と、出力装置２５とは、データバス２６を介して接続されていてもよい。
　演算装置２１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｅｃｓｓｉｎｇ　Ｕｎｉｔ）及びＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）のうちの少なくとも１つを含む。演算装置２１は、コンピュータプログラムを読み込む。例えば、演算装置２１は、記憶装置２２が記憶しているコンピュータプログラムを読み込んでもよい。例えば、演算装置２１は、コンピュータで読み取り可能であって且つ一時的でない記録媒体が記憶しているコンピュータプログラムを、情報処理装置２が備える図示しない記録媒体読み取り装置（例えば、後述する入力装置２４）を用いて読み込んでもよい。演算装置２１は、通信装置２３（或いは、その他の通信装置）を介して、情報処理装置２の外部に配置される不図示の装置からコンピュータプログラムを取得してもよい（つまり、ダウンロードしてもよい又は読み込んでもよい）。演算装置２１は、読み込んだコンピュータプログラムを実行する。その結果、演算装置２１内には、情報処理装置２が行うべき動作を実行するための論理的な機能ブロックが実現される。つまり、演算装置２１は、情報処理装置２が行うべき動作（言い換えれば、処理）を実行するための論理的な機能ブロックを実現するためのコントローラとして機能可能である。
　図２には、情報処理動作を実行するために演算装置２１内に実現される論理的な機能ブロックの一例が示されている。図２に示すように、演算装置２１内には、後述する付記に記載された「取得手段」の一具体例である取得部２１１と、後述する付記に記載された「追跡手段」の一具体例である追跡部２１２と、後述する付記に記載された「登録更新手段」の一具体例である登録更新部２１３と、後述する付記に記載された「照合手段」の一具体例である照合部２１４とが実現される。登録更新部２１３は、後述する付記に記載された「紐付手段」の一具体例である紐付部２１３１と、後述する付記に記載された「登録手段」の一具体例である登録部２１３２と、後述する付記に記載された「特徴抽出判定手段」の一具体例である特徴抽出判定部２１３３と、後述する付記に記載された「抽出手段」の一具体例である抽出部２１３４と、後述する付記に記載された「更新判定手段」の一具体例である更新判定部２１３５と、後述する付記に記載された「更新手段」の一具体例である更新部２１３６とを含んでいてもよい。但し、演算装置２１内には、照合部２１４が実現されなくてもよい。また、登録更新部２１３は、紐付部２１３１、登録部２１３２、特徴抽出判定部２１３３、抽出部２１３４、更新判定部２１３５、及び更新部２１３６の何れかを含んでいなくてもよい。取得部２１１、追跡部２１２、登録更新部２１３、及び照合部２１４の夫々の動作の詳細については後に説明する。
　記憶装置２２は、所望のデータを記憶可能である。例えば、記憶装置２２は、演算装置２１が実行するコンピュータプログラムを一時的に記憶していてもよい。記憶装置２２は、演算装置２１がコンピュータプログラムを実行している場合に演算装置２１が一時的に使用するデータを一時的に記憶してもよい。記憶装置２２は、情報処理装置２が長期的に保存するデータを記憶してもよい。尚、記憶装置２２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ハードディスク装置、光磁気ディスク装置、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）及びディスクアレイ装置のうちの少なくとも１つを含んでいてもよい。つまり、記憶装置２２は、一時的でない記録媒体を含んでいてもよい。記憶装置２２は、ＲｅＩＤ特徴量データベースＲＩＤＢを記憶してもよい。第２実施形態において、ＲｅＩＤ特徴量データベースＲＩＤＢは、追跡ＩＤとＲｅＩＤ特徴量とを１対１で紐づけるデータベースであってもよい。ＲｅＩＤ特徴量データベースＲＩＤＢについては、表１を参照しながら詳述する。但し、記憶装置２２は、ＲｅＩＤ特徴量データベースＲＩＤＢを記憶していなくてもよい。
　通信装置２３は、不図示の通信ネットワークを介して、情報処理装置２の外部の装置と通信可能である。上述した記憶装置２２がＲｅＩＤ特徴量データベースＲＩＤＢを記憶していない場合、ＲｅＩＤ特徴量データベースＲＩＤＢは情報処理装置２の外部の装置に記憶されており、通信装置２３は、通信ネットワークを介して、情報処理装置２の外部の装置に記憶されているＲｅＩＤ特徴量データベースＲＩＤＢと情報の受け渡しを行ってもよい。また、通信装置２３は、通信ネットワークを介して、後述するカメラＣＡＭから画像を取得してもよい。
　入力装置２４は、情報処理装置２の外部からの情報処理装置２に対する情報の入力を受け付ける装置である。例えば、入力装置２４は、情報処理装置２のオペレータが操作可能な操作装置（例えば、キーボード、マウス及びタッチパネルのうちの少なくとも１つ）を含んでいてもよい。例えば、入力装置２４は情報処理装置２に対して外付け可能な記録媒体にデータとして記録されている情報を読み取り可能な読取装置を含んでいてもよい。
　出力装置２５は、情報処理装置２の外部に対して情報を出力する装置である。例えば、出力装置２５は、情報を画像として出力してもよい。つまり、出力装置２５は、出力したい情報を示す画像を表示可能な表示装置（いわゆる、ディスプレイ）を含んでいてもよい。例えば、出力装置２５は、情報を音声として出力してもよい。つまり、出力装置２５は、音声を出力可能な音声装置（いわゆる、スピーカ）を含んでいてもよい。例えば、出力装置２５は、紙面に情報を出力してもよい。つまり、出力装置２５は、紙面に所望の情報を印刷可能な印刷装置（いわゆる、プリンタ）を含んでいてもよい。
　［２－２：情報処理装置２の適用例］
　次に、図３を参照しながら、第２実施形態における情報処理装置２の適用例について説明する。図３は、第２実施形態における情報処理装置２が適用される場面の例を示す概念図である。第２実施形態における情報処理装置２は、マーケティング、入退場管理等における人物のリアルタイム追跡に用いられてもよい。さらに、この人物のリアルタイム追跡は、被認証者が立ち止まることなく、認証を意識することのない「ゲートレス認証」に適用されてもよい。
　情報処理装置２は、追跡エリアＴＡに存在する人物を追跡対象として追跡してもよい。追跡エリアＴＡは、例えば、５メートル×５メートルの領域であってもよい。５メートル幅には、５人～６人の人物が同時に通過でき、追跡エリアＴＡ内には２０人～３０人の人物が存在し、追跡エリアＴＡ内を通過していてもよい。
　カメラＣＡＭは、人物を撮像するために、所定の空間を撮像してもよい。カメラＣＡＭは、追跡エリアＴＡを含むエリアを撮像できるように設置されていてもよい。カメラＣＡＭは、例えば２．５メートルの高さに設置されていてもよい。カメラＣＡＭが、平均的な人物の身長よりも高い位置に設置されている場合、カメラＣＡＭが撮像する画像には、人物の頭部領域、及び人物の上半身領域が含まれ易い。頭部領域、及び上半身領域は、人物の追跡領域に好適な領域であってもよい。
　［２－３：追跡動作］
　人物の頭部領域は、人物が後ろ向き、横向き等の正面以外の向きを向いている場合であっても、検出し易い部位である。また、他の人物によって多くの領域が遮蔽されている場合においても、頭部領域の検出は成功する場合が多い。そこで、第２実施形態において、追跡部２１２は、画像から検出した人物の頭部領域に基づいて人物を追跡してもよい。
　追跡部２１２は、追跡エリアＴＡを通過中の人物の頭部領域を検出し、追跡を行ってもよい。追跡部２１２は、追跡エリアＴＡを通過中の人物を追跡し続けてもよい。
　追跡部２１２は、画像から人物を検出した場合、検出された人物の人数分、追跡ＩＤを対応付けた頭部領域の位置を出力してもよい。追跡ＩＤは、人物が誰かを特定するＩＤではなくてもよく、異なる画像に存在する同一人物同士を対応付けるＩＤであってもよい。
　追跡部２１２が追跡に用いる画像は、動画データの１つの画像フレームであってもよい。すなわち、取得部２１１は、動画データを構成する複数の画像フレームを、画像として順次取得してもよい。
　追跡部２１２が実施する追跡は、過去のフレームと現在のフレームとにおいて、同一人物を対応付ける動作であってもよい。追跡部２１２は、画像内の頭部領域の位置の判定により追跡を行ってもよい。前後のフレーム間で、人物の動きは小さい場合が多く、頭部位置の変化は少ない場合が多い。追跡部２１２は、画像内の頭部領域の位置に基づいて、同一人物の対応付けをしてもよい。追跡部２１２は、例えば、頭部領域の画像パターンの同一性の判定によって追跡を行ってもよい。また、追跡部２１２は、頭部領域の画像から抽出した特徴量の類似度の判定によって追跡を行ってもよい。また、追跡部２１２は、オプティカルフローを用いて、フレーム間で人物を対応付けてもよい。
　なお、追跡部２１２は、人物の頭部領域を含む上半身領域を検出してもよい。また、追跡部２１２は、人物の膝上の領域を検出してもよい。さらに、追跡部２１２は、人物の主要な関節を含む領域を検出してもよい。
　［２－４：ＲｅＩＤ動作］
　人物の追跡において、同一人物を同一人物としてずっと追跡し続けることが理想であるつまり、同一人物と１つのＩＤとが紐付ことが理想である。これを実現すべく、人物再同定による再接続（ＲｅＩＤ）を実施する。
　ＲｅＩＤとは、異なる場合において追跡した該当人物の追跡ＩＤ同士を紐づけて、管理する動作であってもよい。異なる場合とは、異なるタイミングであってもよい。また、異なる場合とは、異なる場所であってもよい。さらに、異なる場合とは、異なるカメラＣＡＭから取得した画像を用いた場合であってもよい。
　追跡部２１２は、所定の時間、例えば１秒の間に渡って該当人物の追跡部位が検出できない場合、該当人物の追跡が困難になる場合がある。すなわち、１秒間に３０フレームが撮像される場合であれば、３０フレームに渡って追跡部２１２が追跡部位を検出できない場合、該当人物の追跡が困難になる場合がある。ＲｅＩＤは、人物の追跡動作が途切れた場合、新たな人物が現れた場合等に実施される動作であってもよい。また、ＲｅＩＤは、遮蔽等により追跡ミスが発生し、同一人物に異なる追跡ＩＤを付与した場合の対応動作であってもよい。ＲｅＩＤは、同一人物の判定に長けた動作であってもよい。ＲｅＩＤにおいて、人物から抽出した特徴量同士をマッチングするＲｅＩＤ照合により同一人物か否かを判定してもよい。この特徴量をＲｅＩＤ特徴量とよんでもよい。
　ＲｅＩＤ特徴量データベースＲＩＤＢは、人物の追跡ＩＤと、当該人物の特徴情報とが対応付けて登録されるデータベースであってもよい。特徴情報は、同一人物であるかを判定するためのＲｅＩＤ特徴量であってもよい。ＲｅＩＤ特徴量は、人物を含む矩形領域の画像から抽出した特徴量であってもよい。ＲｅＩＤ特徴量は、該当人物の全身画像から抽出した特徴量であってもよい。ＲｅＩＤ特徴量は、該当人物の上半身画像から抽出した特徴量であってもよい。該当人物の上半身画像は、少なくとも該当人物が着用している衣類を含んでいてもよい。すなわち、ＲｅＩＤにおいて、着用している衣類が同じであることから、人物が同一であることを判定してもよい。ＲｅＩＤ特徴量は、該当人物の頭部を含む頭部画像から抽出した特徴量であってもよい。ＲｅＩＤ特徴量を抽出する画像領域をＲｅＩＤ特徴量抽出領域とよんでもよい。
　ＲｅＩＤ特徴量を用いた照合動作は、顔認証等の個人特定が可能な照合動作と比較して、動作負荷が軽くてもよい。すなわち、ＲｅＩＤは、追跡部２１２による追跡よりも高精度に人物の一致不一致を判定でき、個人を特定する照合動作よりも動作負荷が小さくてもよい。第２実施形態においては、追跡部２１２による追跡が失敗した場合であっても、個人特定が可能な動作より負荷が小さい動作により、追跡を続けることができてもよい。
　照合部２１４が実施する照合動作は、ＲｅＩＤ照合であってもよい。照合部２１４による照合動作は、追跡部２１２による追跡動作よりも、高精度に同一人物か否かを判定できてもよい。
　ＲｅＩＤの実施により、画像内の人物のリアルタイム追跡において、追跡が途切れた場合にも、途切れた追跡を接続することができる。ＲｅＩＤは、人物のリアルタイム追跡を、被認証者が立ち止まることなく、認証を意識することのない「ゲートレス認証」に適用する場合においても、重要な技術である。
　［２－５：画像毎の情報処理動作］
　図４を参照して、第２実施形態における情報処理装置２が行う情報処理動作の流れを説明する。図４は、第２実施形態における情報処理装置２が行う情報処理動作の流れを示すフローチャートである。図４に示す、「スタート」から「エンド」までの動作は、１フレーム毎の動作であってもよい。
　図４に示すように、取得部２１１は、画像を取得する（ステップＳ２１）。取得部２１１は、動画データを構成する複数の画像フレームを順次取得してもよい。追跡部２１２は、画像に含まれる人物から追跡領域としての頭部領域を検出する（ステップＳ２２）。
　追跡部２１２は、追跡対象が存在するか否かを判定する（ステップＳ２３）。追跡対象が存在する場合、登録更新部２１３は、画像に含まれる人物から検出された頭部領域に基づき、当該人物を追跡する。
　追跡対象が存在する場合（ステップＳ２３：Ｙｅｓ）、追跡部２１２は、新規の追跡対象が存在するか否かを判定する（ステップＳ２４）。追跡部２１２は、追跡が連続しない追跡対象が画像内に含まれた場合に、当該追跡対象を新規の追跡対象であると判定してもよい。
　新規の追跡対象が存在する場合（ステップＳ２４：Ｙｅｓ）、ＲｅＩＤ動作を実施する（ステップＳ２５）。ステップＳ２５におけるＲｅＩＤ動作の詳細は図５を参照して後述する。
　新規の追跡対象が存在しない場合（ステップＳ２４：Ｎｏ）、登録特徴更新動作を実施する（ステップＳ２６）。ステップＳ２６における登録特徴更新の動作の詳細は図６を参照して後述する。
　ＲｅＩＤ照合動作後、又は登録特徴更新動作終了後は、ステップＳ２７に移行する。ステップＳ２７において、情報処理動作の結果を表示する。ステップＳ２７の詳細については、後述する他の実施形態において説明する。
　追跡部２１２は、未処理追跡対象が存在するか否かを判定する（ステップＳ２８）。未処理追跡対象が存在する場合（ステップＳ２８：Ｙｅｓ）、ステップＳ２４に移行する。ステップＳ２３において追跡対象が存在しない場合、及び未処理追跡対象が存在しない場合、画像毎の情報処理動作は終了する。
　［ステップＳ２５：ＲｅＩＤ照合動作］
　図５に示すように、特徴抽出判定部２１３３は、検出結果を入力する（ステップＳ２５１）。検出結果は、画像に含まれる人物の画像領域を含んでいてもよい。
　特徴抽出判定部２１３３は、該当人物の特徴情報としてのＲｅＩＤ特徴量を抽出するか判定する（ステップＳ２５２）。特徴抽出判定部２１３３は、追跡部２１２が、同じ追跡対象として頭部領域を検出した画像数（「追跡フレーム数」ともよぶ）に基づき、ＲｅＩＤ特徴量を抽出するか否かを判定してもよい。特徴抽出判定部２１３３は、追跡対象の追跡フレーム数が第１閾値を超えるか否かに基づき、ＲｅＩＤ特徴量を抽出するか否かを判定してもよい。例えば、特徴抽出判定部２１３３は、追跡している該当人物が検出されたフレーム数が１５フレームを超えた場合に、ＲｅＩＤ特徴量を抽出すると判定してもよい。例えば、１秒間に３０フレームが撮像される場合であれば、特徴抽出判定部２１３３は、新たに追跡を開始してから０．５秒経過後に、ＲｅＩＤ特徴量を抽出すると判定してもよい。又は、特徴抽出判定部２１３３は、人物が検出された画像における位置が、画像の端部でない場合に、ＲｅＩＤ特徴量を抽出すると判定してもよい。人物が画像の端部で検出された場合、後続のフレームにおいて人物が画像に含まれず、追跡対象でなくなる場合があるからである。または、特徴抽出判定部２１３３は、画像に含まれる人物のＲｅＩＤ特徴量抽出領域が所定以上の品質の場合、ＲｅＩＤ特徴量を抽出すると判定してもよい。画像内のＲｅＩＤ特徴量抽出領域が所定以上の品質である場合とは、画像内のＲｅＩＤ特徴量抽出領域からＲｅＩＤ照合に適切な特徴量を抽出可能な品質の場合であってもよい。
　ＲｅＩＤ特徴量を抽出しないと判定された場合（ステップＳ２５２：Ｎｏ）、登録部２１３２は、該当人物について、ＲｅＩＤ処理前の仮のＩＤ「Ｎ」を下記表１に例示するＲｅＩＤ特徴量データベースＲＩＤＢに登録してもよい。
　［表１：ＲｅＩＤ特徴量データベースＲＩＤＢ］
Figure JPOXMLDOC01-appb-T000001
　上記表１に例示するように、ＲｅＩＤ特徴量データベースＲＩＤＢは、追跡ＩＤの列、追跡済ＩＤの列、ＲｅＩＤ特徴量の列、ＲｅＩＤ特徴量の評価値の列、及びＲｅＩＤ特徴量を抽出した画像（「登録画像」ともよぶ）を示す情報の列と含む構造であってもよい。
　ＲｅＩＤ特徴量を抽出すると判定された場合（ステップＳ２５２：Ｙｅｓ）照合部２１４は、ＲｅＩＤ特徴量を抽出する（ステップＳ２５３）。照合部２１４は、抽出した抽出ＲｅＩＤ特徴量と、ＲｅＩＤ特徴量データベースＲＩＤＢに登録されている登録ＲｅＩＤ特徴量とを照合し、照合が成功したか否かを判定する（ステップＳ２５４）。照合部２１４は、抽出ＲｅＩＤ特徴量と、全ての登録ＲｅＩＤ特徴量の各々との照合スコアを算出してもよい。照合部２１４は、算出した照合スコアのうち最大の照合スコアが第２閾値より大きい場合に、照合が成功したと判定してもよい。照合部２１４は、最大の照合スコアが算出された登録ＲｅＩＤ特徴量に対応する追跡対象と該当追跡対象とが同一人物であると判定してもよい。すなわち、登録部２１３２は、新たに追跡された人物と同一人物の特徴情報としてのＲｅＩＤ特徴量がＲｅＩＤ特徴量データベースＲＩＤＢに登録されている場合に、当該人物と登録されている人物とを対応付ける。
　照合が成功した場合（ステップＳ２５４：Ｙｅｓ）、紐付部２１３１は、新規追跡対象と、登録追跡対象とを紐づける（ステップＳ２５５）。例えば、過去に追跡したことのある追跡ＩＤの人物と同一人物であると判定された場合、紐付部２１３１は、表１に例示するＲｅＩＤ特徴量データベースＲＩＤＢを表２に例示するＲｅＩＤ特徴量データベースＲＩＤＢに更新してもよい。
　［表２：ステップＳ２５５において更新されたＲｅＩＤ特徴量データベースＲＩＤＢ］
Figure JPOXMLDOC01-appb-T000002
　すなわち、追跡済ＩＤの列を「Ａ」で更新し、ＲｅＩＤ特徴量の列を「ＡＡＡ」で更新し、ＲｅＩＤ特徴量の評価値の列を「５」で更新し、登録画像を示す情報の列を「Ａ－ｎ」で更新してもよい。「ＡＡＡ」は「Ａ」のＲｅＩＤ特徴量であり、「５」は、「ＡＡＡ」の評価値であり、「Ａ－ｎ」は、「ＡＡＡ」を抽出した画像を示す情報であってもよい。
　照合が失敗した場合（ステップＳ２４：Ｎｏ）、登録部２１３２は、新規追跡対象のＲｅＩＤ特徴量を登録する（ステップＳ２５６）。例えば、登録部２１３２は、表１に例示するＲｅＩＤ特徴量データベースＲＩＤＢを表３に例示するＲｅＩＤ特徴量データベースＲＩＤＢに更新してもよい。
　［表３：ステップＳ２５６において更新されたＲｅＩＤ特徴量データベースＲＩＤＢ］
Figure JPOXMLDOC01-appb-T000003
　すなわち、追跡ＩＤの列を「Ｄ」で更新し、ＲｅＩＤ特徴量の列を「ＤＤＤ」で更新し、ＲｅＩＤ特徴量の評価値の列を「５」で更新し、登録画像を示す情報の列を「Ｄ－ｍ」で更新してもよい。「ＤＤＤ」はステップＳ２５３で抽出したＲｅＩＤ特徴量であり、「５」は、「ＤＤＤ」の評価値であり、「Ｄ－ｍ」は、「ＤＤＤ」を抽出した画像、すなわち、ステップＳ２５１で取得した画像を示す情報であってもよい。
　登録更新部２１３は、ＲｅＩＤ動作の結果を出力する（ステップＳ２５７）。
　［ステップＳ２６：登録特徴更新動作］
　図６に示すように、特徴抽出判定部２１３３は、検出結果を入力する（ステップＳ２６１）。検出結果は、画像に含まれる人物の画像領域を含んでいてもよい。
　特徴抽出判定部２１３３は、追跡対象の登録されている情報を取得する（ステップＳ２６２）。特徴抽出判定部２１３３は、追跡対象の追跡フレーム数、登録画像の評価値、及び登録画像を取得してもよい。特徴抽出判定部２１３３は、ＲｅＩＤ特徴量を抽出するか否かを判定する（ステップＳ２６３）。ステップＳ２６３の詳細は後述する。
　抽出部２１３４は、人物のＲｅＩＤ特徴量抽出領域からＲｅＩＤ特徴量を抽出する（ステップＳ２６４）。ＲｅＩＤ特徴量抽出領域は、上半身、膝より上であってもよい。
　更新判定部２１３５は、ＲｅＩＤ特徴量を更新するか判定する（ステップＳ２６５）。ステップＳ２６５の詳細は後述する。
　更新部２１３６は、ＲｅＩＤ特徴量を更新する（ステップＳ２６６）。更新部２１３６は、更新した場合にも、過去に登録したＲｅＩＤ特徴量、評価値、及び登録画像を破棄しなくてもよい。過去に登録したＲｅＩＤ特徴量、評価値、及び登録画像は、評価値の算出に用いられてもよい。
　登録更新部２１３は、登録特徴更新動作の結果を出力する（ステップＳ２６７）。
　［ステップＳ２６３の判定］
　ステップＳ２６３において、下記（１）～（３）の少なくとも何れかに基づき、特徴抽出判定部２１３３は、該当人物の特徴情報を抽出するか否かを判定してもよい。
（１）　追跡フレーム数
　特徴抽出判定部２１３３は、追跡フレーム数に基づき、該当人物の特徴情報としてのＲｅＩＤ特徴量を抽出するか否かを判定してもよい。特徴抽出判定部２１３３は、追跡対象の追跡フレーム数が第１閾値を超えるか否かに基づき、ＲｅＩＤ特徴量を抽出するか否かを判定してもよい。例えば、特徴抽出判定部２１３３は、追跡部２１２が追跡している該当人物が検出されたフレーム数が１５フレームを超えた場合に、ＲｅＩＤ特徴量を抽出すると判定してもよい。例えば、１秒間に３０フレームが撮像される場合であれば、特徴抽出判定部２１３３は、新たに追跡を開始してから０．５秒経過後に、ＲｅＩＤ特徴量を抽出すると判定してもよい。
（２）　画像に含まれる人物の所定の関節部（「可視関節点」ともよぶ）を示す情報
　可視関節点を判定することで、小さな処理負荷により、人物のどのくらいの領域が画像に含まれているかを判定することができる。特徴抽出判定部２１３３は、人物の特定の関節が画像に含まれているかを判定してもよい。特定の関節は、目、鼻等の顔のパーツ、首、肩、肘、手首、腰、膝、足首等を含んでいてもよい。特定の関節は、膝部分よりも上の関節であってもよい。ＲｅＩＤ特徴量抽出領域は、人物の頭部、及び人物の胴体部の少なくとも何れかが重なるように定められてもよい。すなわち、ＲｅＩＤ特徴量を抽出する画像は、人物の顔が隠れていてもよく、人物の首から下が含まれている画像からＲｅＩＤ特徴量を抽出すると判定してもよい。
　特徴抽出判定部２１３３は、登録画像内の可視関節点と、取得画像（現フレーム）内の可視関節点との重なりに基づいて判定をしてもよい。特徴抽出判定部２１３３は、登録画像内の可視関節点と、取得画像（現フレーム）内の可視関節点との重なりが第３閾値よりも大きい場合に、該当人物の特徴情報を抽出すると判定してもよい。
　登録画像は、ＲｅＩＤ特徴量が抽出され登録された画像であり、所定以上の品質の画像であるので、登録画像内の可視関節点と、取得画像（現フレーム）内の可視関節点との重なりが大きい場合は、特徴抽出をするのに適した画像であると考えてもよい。第３閾値は、例えば、該当人物の全身のうち、５０％以上の領域が重なるように定められてもよい。
　特徴抽出判定部２１３３は、例えば、下記式１で算出される値が第３閾値よりも大きい場合に、該当人物の特徴情報を抽出すると判定してもよい。
　［式１］
Figure JPOXMLDOC01-appb-I000004

　Ｊｖｉｓｉｂｌｅは、可視関節点の集合であってもよい。は、出力された可視関節点の推定スコアであってもよい。右肩の「１」は、現在フレームを示し、「２」は、過去フレームを示してもよい。特徴抽出判定部２１３３は、推定スコアを加味することで、さらに特徴抽出に適しているかを適切に判定することができる。
（３）　ＲｅＩＤ特徴量の評価値
　特徴抽出判定部２１３３は、ＲｅＩＤ特徴量データベースＲＩＤＢに登録されているＲｅＩＤ特徴量の評価値を算出することにより、ＲｅＩＤ特徴量データベースＲＩＤＢを更新するか判定してもよい。例えば、登録ＲｅＩＤ特徴量の評価値が第４閾値よりも小さい場合に、特徴抽出判定部２１３３は、該当人物の特徴情報を抽出すると判定してもよい。つまり、特徴抽出判定部２１３３は、登録されているＲｅＩＤ特徴量があまり好ましくない場合は、更新すると判定してもよい。ＲｅＩＤ特徴量の評価値の算出については、後続のステップＳ２６５の説明において詳述する。
　特徴抽出判定部２１３３が、追跡対象の追跡履歴、登録されている情報等に基づいて、ＲｅＩＤ特徴量を抽出するか否かの判定を実施することで、計算時間を短縮することができる。
　［ステップＳ２６５の判定］
　更新判定部２１３５は、抽出部２１３４が抽出したＲｅＩＤ特徴量の評価値に基づき、登録特徴情報を更新するか否かを判定してもよい。更新判定部２１３５は、抽出部２１３４が抽出したＲｅＩＤ特徴量の評価値が、ＲｅＩＤ特徴量データベースＲＩＤＢに登録されているＲｅＩＤ特徴量の評価値を超える場合に、ＲｅＩＤ特徴量を更新してもよい。更新判定部２１３５は、下記（ｉ）から（ｉｖ）の何れかの方法により、評価値を算出してもよい。
（ｉ）　更新判定部２１３５は、登録画像内の可視関節点と、取得画像内の可視関節点との重なりを示す情報に基づき、評価値を算出してもよい。登録画像内の人物の所定の関節部と、画像内の人物の所定の関節部との重なりを示す情報は、ステップＳ２６３の（２）で説明した情報と同じであってもよい。更新判定部２１３５は、過去に登録された当該追跡対象の全ての登録画像を用いて算出を行い、最大の値を評価値として採用してもよい。
（ｉｉ）　更新判定部２１３５は、抽出したＲｅＩＤ特徴量と登録されているＲｅＩＤ特徴量との照合結果に基づき、抽出ＲｅＩＤ特徴量を評価し、評価値を算出してもよい。更新判定部２１３５は、過去に登録された当該追跡対象の全てのＲｅＩＤ特徴量を用いて算出を行い、最大の値を評価値として採用してもよい。
（ｉｉｉ）　更新判定部２１３５は、機械学習された演算モデルを用いて、評価値を算出してもよい。当該演算モデルは、上記（ｉ）による評価値と（ｉｉ）による評価値との関係を用いて機械学習された演算モデルであってもよい。当該演算モデルは、可視関節点の重なりを示す情報と、ＲｅＩＤ特徴量との照合結果とが入力された場合に、抽出したＲｅＩＤ特徴量の評価値を推定する演算モデルであってもよい。当該演算モデルは、機械学習可能な演算モデルであってもよく、機械学習可能な演算モデルの一例として、畳み込みニューラルネットワークをあげることができる。
（ｉｖ）　更新判定部２１３５は、異なる画像内の人物の第１所定領域同士の重なりを示す情報、及び同じ画像内の異なる人物の第２所定領域同士の重なりを示す情報の少なくとも一方に基づき、抽出ＲｅＩＤ特徴量を評価し、評価値を算出してもよい。第１所定領域、及び第２所定領域の各々は、ＲｅＩＤ特徴量抽出領域であってもよい。更新判定部２１３５は、ＲｅＩＤ特徴量抽出領域の重なり指標に基づき、評価値を算出してもよい。更新判定部２１３５は、ＩｏＵ（Ｉｎｔｅｒｓｅｃｔｉｏｎ　ｏｖｅｒ　Ｕｎｉｏｎ）を採用し、下記式２を用いて評価値を算出してもよい。
　［式２］
　異なる画像の同一追跡対象とのＩｏＵ×(１－現在画像の他の追跡対象とのＩｏＵ)
　なお、取得部２１１が取得する画像は、画像に含まれる人物に関する情報が付加されていてもよい。この情報は、画像に含まれる人物の追跡領域を示す情報を含んでいてもよい。この場合、カメラＣＡＭは、撮像に加え、人物の検出、及び人物の追跡領域の検出をしてもよい。つまり、上述した追跡部２１２の動作の一部は、情報処理装置２外で実施してもよい。
　［２－６：情報処理装置２の技術的効果］
　人物のＲｅＩＤ照合において、どの特徴量を用いて照合するか、すなわち、どの特徴量を登録するかにより、ＲｅＩＤ照合の精度を改善することができる。第２実施形態における情報処理装置２は、特徴抽出をする画像を選択し、さらに登録更新する特徴情報を選択するので、リアルタイム性を確保したままより良い特徴を採用することができる。これにより、ＲｅＩＤ照合の精度を向上させることができ、追跡結果も改善することができる。
　例えば、新規の追跡対象が現れた最初のフレームにおいて、該当追跡対象が遮蔽されていない領域が小さい場合が多い。これに対し、情報処理装置２は、追跡フレーム数に基づいて特徴情報を抽出するか否かの判定を実施するので、特徴情報を抽出するまでもなく、良好な特徴情報が抽出可能な画像か否かを判定することができる。また、情報処理装置２は、可視関節点に基づいて特徴情報を抽出するか否かの判定を実施するので、特徴情報を抽出するまでもなく、良好な特徴情報が抽出可能な画像か否かを判定することができる。また、情報処理装置２は、特徴情報の評価値に基づいてＲｅＩＤ特徴量データベースＲＩＤＢを更新するか否かの判定を実施するので、評価値の高い特徴情報が登録される状態となり、登録特徴情報を用いた良好なＲｅＩＤ照合を実施することができる。また、情報処理装置２は、既にＲｅＩＤ照合に適していると判断されている登録特徴情報との照合結果に基づいて判定を実施するので、良好な特徴情報か否かを判定することができる。また、情報処理装置２は、過去フレームと現フレームにおける該当追跡対象同士の重なり、及び現フレームにおける該当追跡対象と該当追跡対象以外の追跡対象の重なりに基づいて判定を実施するので、遮蔽の少ない該当追跡対象から抽出した特徴情報によりＲｅＩＤ特徴量データベースＲＩＤＢを更新することができる。
　［３：第３実施形態］
　情報処理装置、情報処理方法、及び、記録媒体の第３実施形態について説明する。以下では、情報処理装置、情報処理方法、及び記録媒体の第３実施形態が適用された情報処理装置３を用いて、情報処理装置、情報処理方法、及び記録媒体の第３実施形態について説明する。
　第３実施形態における情報処理装置３は、動いている人物を追跡しながら、顔認証を実施している場合に適用されてもよい。この場合、カメラＣＡＭは、４Ｋカメラであってもよく、顔認証に用いられ得る品質の画像を撮像可能であってもよい。
　［３－１：情報処理装置３の構成］
　図７を参照しながら、第３実施形態における情報処理装置３の構成について説明する。図７は、第３実施形態における情報処理装置３の構成を示すブロック図である。
　図７に示すように、第３実施形態における情報処理装置３は、第２実施形態における情報処理装置２と比較して、演算装置２１が個人照合部３１５を更に備え、記憶装置２２が顔特徴量データベースＦＣを更に含む点で異なる。個人照合部３１５は、画像に含まれる人物の生体情報を採取し、当該生体情報と登録されている登録生体情報との照合を実施する。顔特徴量データベースＦＣは、登録されている登録人物の登録ＩＤと、登録人物の生体情報とを対応付けて記憶している。顔特徴量データベースＦＣは、登録されている登録人物の登録ＩＤと、登録人物の生体情報から抽出した特徴量とを対応付けて記憶していてもよい。なお、記憶装置２２が顔特徴量データベースＦＣを記憶していない場合、顔特徴量データベースＦＣは情報処理装置３の外部の装置に記憶されていてもよく、通信装置２３は、通信ネットワークを介して、情報処理装置３の外部の装置に記憶されている顔特徴量データベースＦＣと情報の受け渡しを行ってもよい。情報処理装置３のその他の特徴は、情報処理装置２のその他の特徴と同一であってもよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
　［３－２：顔特徴量データベースＦＣ］
　例えば、第３実施形態の顔特徴量データベースＦＣは、下記［表４］に示される構造であってもよい。
　［表４：顔特徴量データベースＦＣ］
Figure JPOXMLDOC01-appb-T000005
 　すなわち、顔特徴量データベースＦＣは、追跡ＩＤの列、ＲｅＩＤ特徴量の列、個人ＩＤの列、及び顔特徴量の列を含んでいてもよい。個人ＩＤは、人物が誰かを特定するＩＤであってもよく、個人が特定されている人物のＩＤであってもよい。
　［３－３：情報処理装置３が行うＲｅＩＤ照合動作］
　第３実施形態における情報処理装置３は、第２実施形態における情報処理装置２と比較して、図４におけるステップＳ２５におけるＲｅＩＤ照合動作が異なる。このため、図８を参照して、第３実施形態における情報処理装置３が行うＲｅＩＤ照合動作の流れを説明する。図８は、第３実施形態における情報処理装置３が行うＲｅＩＤ照合動作の流れを示すフローチャートである。図８に示す、「スタート」から「エンド」までの動作は、１人の追跡対象に関する動作であってもよい。
　図８に示すように、照合部２１４は、検出結果を入力する（ステップＳ２５１）。特徴抽出判定部２１３３は、該当人物の特徴情報としてのＲｅＩＤ特徴量を抽出するか判定する（ステップＳ２５２）。
　ＲｅＩＤ特徴量を抽出すると判定された場合（ステップＳ２５２：Ｙｅｓ）、照合部２１４は、ＲｅＩＤ特徴量を抽出する（ステップＳ２５３）。個人照合部３１５は、画像に含まれる人物の生体情報としての顔画像を採取し、当該顔画像から顔画像の特徴量（「顔特徴量」と呼ぶ場合がある）を抽出する（ステップＳ３０）。
　個人照合部３１５は、抽出した顔特徴量と、顔特徴量データベースＦＣに登録されている顔特徴量とを照合し、照合が成功したか否かを判定する（ステップＳ３１）。個人照合部３１５による顔特徴量の照合は、個人特定の動作であってもよい。
　顔特徴量の照合が成功した場合（ステップＳ３１：Ｙｅｓ）、紐付部２１３１は、画像に含まれる人物と、登録生体情報に対応する人物とを紐付ける（ステップＳ３２）。照合部２１４は、抽出した抽出ＲｅＩＤ特徴量と、ＲｅＩＤ特徴量データベースＲＩＤＢに登録されている全ての登録ＲｅＩＤ特徴量とを照合し、照合が成功したか否かを判定する（ステップＳ３３）。
　照合が失敗した場合（ステップＳ３３：Ｎｏ）、紐付部２１３１は、新規追跡対象の抽出照合特徴を登録照合特徴として登録する（ステップＳ３４）。例えば、新規追跡対象が上記表４に例示する追跡ＩＤ「Ｂ」と同一人物であった場合、顔特徴量データベースＦＣに顔特徴量は登録されているが、ＲｅＩＤ特徴量は登録されていない。このため、ステップＳ３１ではＹｅｓ判定となり、ステップＳ３３ではＮｏ判定となる。一方、例えば、新規追跡対象が上記表４に例示する追跡ＩＤ「Ａ」と同一人物であった場合、顔特徴量データベースＦＣに顔特徴量、及びＲｅＩＤ特徴量が登録されている。このため、ステップＳ３１ではＹｅｓ判定となり、ステップＳ３３でもＹｅｓ判定となる。
　顔特徴量の照合が失敗した場合（ステップＳ３１：Ｎｏ）、照合部２１４は、抽出した抽出ＲｅＩＤ特徴量と、ＲｅＩＤ特徴量データベースＲＩＤＢに登録されている全ての登録ＲｅＩＤ特徴量とを照合し、照合が成功したか否かを判定する（ステップＳ２５４）。顔照合が失敗した場合とは、人物の顔画像が登録されていない場合であってもよい。すなわち、追跡対象の人物は追跡エリアＴＡにおいて認証されていない人物であってもよい。照合が成功した場合（ステップＳ２５４：Ｙｅｓ）、登録部２１３２は、画像に含まれる人物と、登録ＲｅＩＤ特徴量に対応する人物とを紐付ける（ステップＳ２５５）。照合が失敗した場合（ステップＳ２５４：Ｎｏ）、紐付部２１３１は、新規追跡対象のＲｅＩＤ特徴量を登録照合特徴として登録する（ステップＳ２５６）。登録更新部２１３は、ＲｅＩＤ照合動作の結果を出力する（ステップＳ）２５７）。
　第３実施形態における登録特徴更新の動作において、画像に顔特徴量抽出に適した顔画像が含まれていた場合は、該当人物の合意を得て、顔特徴量の更新を行ってもよい。顔特徴量が既に登録されている人物は、登録され、個人が特定されている人物であるので、例えば、人物が携帯するスマートフォン等のデバイスに更新してもよいかの通知を送り、合意を得てもよい。または、追跡エリアＴＡに入場する際に、更新の価値のある顔特徴量が抽出できた場合は、更新してもよい旨の合意を得てもよい。この場合においても、人物が携帯するスマートフォン等のデバイスに更新した旨の通知を送ってもよい。
　なお、本実施形態において、個人照合部３１５は、生体情報としての顔画像を採取し、顔特徴量の照合を実施する場合を例に挙げて説明したが、他の生体情報、例えば、虹彩画像を採取し、当該虹彩画像から抽出した特徴量の照合を実施してもよい。
　［３－４：情報処理装置３の技術的効果］
　第３実施形態における情報処理装置３は、生体情報を用い追跡対象の紐付を行うので、精度よく追跡対象の紐付を実施することができる。
　［４：第４実施形態］
　情報処理装置、情報処理方法、及び、記録媒体の第４実施形態について説明する。以下では、情報処理装置、情報処理方法、及び記録媒体の第４実施形態が適用された情報処理装置４を用いて、情報処理装置、情報処理方法、及び記録媒体の第４実施形態について説明する。
　［４－１：情報処理装置４の構成］
　図９を参照しながら、第４実施形態における情報処理装置４の構成について説明する。図９は、第４実施形態における情報処理装置４の構成を示すブロック図である。
　図９に示すように、第４実施形態における情報処理装置４は、第２実施形態における情報処理装置２、及び第３実施形態における情報処理装置３と比較して、演算装置２１が追加判定部４１６を備える点で異なる。情報処理装置４のその他の特徴は、情報処理装置２又は情報処理装置３のその他の特徴と同一であってもよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
　［４－２：情報処理装置４が行う情報処理動作］
　図１０及び図１１を参照して、第４実施形態における情報処理装置４が行う情報処理動作の流れを説明する。図１０は、第４実施形態における情報処理装置４が行うＲｅＩＤ照合動作の流れを示すフローチャートである。図１１は、第４実施形態における情報処理装置４が行う登録特徴更新動作の流れを示すフローチャートである。図１０及び図１１に示す、「スタート」から「エンド」までの動作は、１人の追跡対象に関する動作であってもよい。
　図１０に示すように、照合部２１４は、検出結果を入力する（ステップＳ２５１）。
　追加判定部４１６は、画像に含まれる人物が、予め定められている複数の属性の何れに該当するかの判定する（ステップＳ４０）。予め定められている複数の属性は、例えば、人物の身体の向きであってもよい。人物を正面から撮像した画像から抽出できる特徴量と、人物を側面から撮像した画像から抽出できる特徴量と、人物を背面から撮像した画像から抽出できる特徴量とは異なる。予め定められている複数の属性が人物の身体の向きである場合、追加判定部４１６は、画像に含まれる人物の向きを判定してもよい。
　特徴抽出判定部２１３３は、該当人物のＲｅＩＤ特徴量を抽出するか判定する（ステップＳ２５２）。ＲｅＩＤ特徴量を抽出すると判定された場合（ステップＳ２５２：Ｙｅｓ）照合部２１４は、ＲｅＩＤ特徴量を抽出する（ステップＳ２５３）。
　照合部２１４は、抽出した抽出ＲｅＩＤ特徴量と、ＲｅＩＤ特徴量データベースＲＩＤＢに登録されているステップＳ４０で判定した属性の登録ＲｅＩＤ特徴量とを照合し、照合が成功したか否かを判定する（ステップＳ４１）。
　［４－３：ＲｅＩＤ特徴量データベースＲＩＤＢ］
　例えば、第４実施形態のＲｅＩＤ特徴量データベースＲＩＤＢは、下記［表５］に示される構造であってもよい。
　［表５：ＲｅＩＤ特徴量データベースＲＩＤＢ］
Figure JPOXMLDOC01-appb-T000006
 　すなわち、第４実施形態のＲｅＩＤ特徴量データベースＲＩＤＢは、追跡ＩＤの列、正面ＲｅＩＤ特徴量の列、側面ＲｅＩＤ特徴量の列、及び背面ＲｅＩＤ特徴量の列を含んでいてもよい。第４実施形態のＲｅＩＤ特徴量データベースＲＩＤＢは、複数の属性のＲｅＩＤ特徴量が登録されてもよい。
　照合が成功した場合（ステップＳ２５４：Ｙｅｓ）、登録部２１３２は、新規追跡対象と、登録追跡対象とを紐づける（ステップＳ２５５）。例えば、画像に含まれる人物の属性が、「背面」であり、当該人物が追跡ＩＤ「Ａ」の人物と同一人物である場合は、背面ＲｅＩＤ特徴量が存在するので照合は成功する。
　照合に失敗した場合（ステップＳ４１：Ｎｏ）、該当属性に対応するＲｅＩＤ特徴量が登録されていないので、登録部２１３２は、該当属性の特徴情報として抽出したＲｅＩＤ特徴量を登録する（ステップＳ４２）。画像に含まれる人物の属性が、「背面」であり、当該人物が追跡ＩＤ「Ｂ」の人物と同一人物である場合は、背面ＲｅＩＤ特徴量が存在しないので照合は失敗する。そして、表５に例示する場合であれば、ステップＳ４２により、追跡ＩＤ「Ｂ」の背面ＲｅＩＤ特徴量は、「－」から「ＢＢＢＢ」に更新されてもよい。
　登録更新部２１３は、ＲｅＩＤ照合動作の結果を出力する（ステップＳ）２５７）。
　図１１に示すように、特徴抽出判定部２１３３は、検出結果を入力する（ステップＳ２６１）。追加判定部４１６は、画像に含まれる人物が、予め定められている複数の属性の何れに該当するかを判定する（ステップＳ４３）。特徴抽出判定部２１３３は、追跡対象の登録されている情報を取得する（ステップＳ２６２）。特徴抽出判定部２１３３は、ＲｅＩＤ特徴量を抽出するか否かを判定する（ステップＳ２６３）。抽出部２１３４は、人物の所定領域から照合特徴を抽出する（ステップＳ２６４）。
　追加判定部４１６は、ステップＳ４３で判定した属性が新たな属性か否かを判定する（ステップＳ４４）。追加判定部４１６は、新たな属性か否かを、属性に対応するＲｅＩＤ特徴量が登録されているか否かで判定してもよい。追加判定部４１６は、属性に対応する列が「－」の場合、新たな属性と判定してもよい。
　属性が新たな属性ではなく、属性に対応するＲｅＩＤ特徴量が登録されている場合（ステップＳ４４：Ｎｏ）、当該人物の登録されているＲｅＩＤ特徴量を更新するか否かを判定する（ステップＳ２６５）。ＲｅＩＤ特徴量を更新すると判定した場合、更新部２１３６は、ＲｅＩＤ特徴量を更新する（ステップＳ２６６）。
　属性に対応するＲｅＩＤ特徴量が登録されておらず、属性が新たな属性の場合（ステップＳ４４：Ｎｏ）、登録部２１３２は、該当属性に対応する特徴情報を登録する（ステップＳ４５）。
　登録更新部２１３は、登録特徴更新動作の結果を出力する（ステップＳ２６７）。
　なお、本実施形態において、予め定められている複数の属性として、人物の身体の向きを例に挙げて説明したが、予め定められている複数の属性は、例えば、遮蔽されていない人物の領域であってもよい。遮蔽されていない人物の領域は、例えば、人物の顔領域、顔も含む人物の上半身領域、人物の肩から腰までの胴体領域であってもよい。すなわち、ＲｅＩＤ特徴量抽出領域を属性としてもよい。また、例えば、人物が荷物を所持しているか否かを属性としてもよい。例えば、人物とともに荷物が画像に含まれているか否かに応じて属性が判定されてもよい。また、例えば、人物の領域の明るさを属性としてもよい。予め定められている複数の属性は、例えば、人物の領域の光量であってもよい。
　［４－４：情報処理装置４の技術的効果］
　第４実施形態における情報処理装置４は、複数の属性のＲｅＩＤ特徴量を用い追跡対象の紐付を行うので、精度よく追跡対象の紐付を実施することができる。
　［５：第５実施形態］
　情報処理装置、情報処理方法、及び、記録媒体の第５実施形態について説明する。以下では、情報処理装置、情報処理方法、及び記録媒体の第５実施形態が適用された情報処理装置５を用いて、情報処理装置、情報処理方法、及び記録媒体の第５実施形態について説明する。
　［５－１：情報処理装置５の構成］
　図１２を参照しながら、第５実施形態における情報処理装置５の構成について説明する。図１２は、第５実施形態における情報処理装置５の構成を示すブロック図である。
　図１２に示すように、第５実施形態における情報処理装置５は、第２実施形態における情報処理装置２から第４実施形態における情報処理装置４と比較して、演算装置２１が表示制御部５１７を備える点で異なる。表示制御部５１７は、情報処理装置５のその他の特徴は、情報処理装置２から情報処理装置４の少なくとも１つのその他の特徴と同一であってもよい。このため、以下では、すでに説明した各実施形態と異なる部分について詳細に説明し、その他の重複する部分については適宜説明を省略するものとする。
　［５－２：情報処理装置５が行う表示動作］
　第５実施形態は、上述した第２実施形態における情報処理動作の結果を出力動作（即ち、図４のステップＳ２７に対応する動作）の具体例を説明する実施形態であってもよい。第５実施形態における情報処理装置５は、情報処理動作の結果の出力動作を、１枚の画像を処理する毎に更新してもよい。
　第５実施形態において、出力装置２５は、出力したい情報を示す画像を表示可能な表示装置（「ディスプレイＤ」と呼ぶ）を含んでいてもよい。図１３は、第５実施形態におけるディスプレイＤに表示される情報処理動作の結果の画面例を示している。第５実施形態におけるディスプレイＤは、追跡エリアＴＡを管理する人物が追跡状況を確認するための画面を表示してもよい。表示制御部５１７は、ディスプレイＤの表示を制御してもよい。
　表示制御部５１７は、画像に含まれる該当人物に、追跡結果を示す情報を重畳して画像を表示する。表示制御部５１７は、人物の追跡が成功した場合に、画像に含まれる該当人物に、追跡の成功を示す情報を重畳し、人物の追跡が失敗した場合に、画像に含まれる該当人物に、追跡の失敗を示す情報を重畳して画像を表示してもよい。表示制御部５１７は、追跡の成功を示す情報として、人物の追跡ＩＤを重畳してもよい。人物の追跡が失敗した場合とは、既に追跡されている人物との紐付がされていない状態であり、新たな追跡対象であるかも不明な場合、すなわち、ＲｅＩＤ特徴量の抽出がされていない場合（ステップＳ２５２：Ｎｏの場合）であってもよい。
　図１３（ａ）は、ｎ番目に取得した画像に基づく追跡結果の表示例を示している。図１３に例示する場合において、表示制御部５１７は、追跡が成功した人物に、太実線の矩形、及び追跡ＩＤを重畳して画像を表示させてもよい。また、表示制御部５１７は、追跡が失敗した人物に、鎖線の矩形、及びまだＲｅＩＤ照合が実施されていないことを示す「Ｎｅｗ」を重畳して画像を表示させてもよい。図１３（ａ）は、ｎ番目に取得した画像において、追跡ＩＤが「Ｂ」の人物、及び追跡ＩＤが「Ｃ」の人物が追跡中であり、まだＲｅＩＤ照合も実施されていない人物が１人写り込んだことを例示している。
　図１３（ｂ）は、ｎ＋ｋ番目に取得した画像に基づく追跡結果の表示例を示している。図１３（ｂ）は、ｎ番目に取得した画像に基づく情報処理動作において、まだＲｅＩＤ照合も実施されていなかった人物が、ｎ＋ｋ番目に取得した画像に基づく情報処理動作において、過去に追跡されており追跡ＩＤが「Ａ」の人物であると判定されたことを例示している。
　図１３（ｃ）は、ｎ＋ｋ番目に取得した画像に基づく追跡結果の表示例を示している。図１３（ｃ）は、ｎ番目に取得した画像に基づく情報処理動作において、まだＲｅＩＤ照合も実施されていなかった人物が、ｎ＋ｋ番目に取得した画像に基づく情報処理動作において、新たな追跡対象であると判定され、追跡ＩＤ「Ｄ」が付されたことを例示している。
　［５－３：情報処理装置５の技術的効果］
　追跡エリアＴＡを管理する人物者は、ディスプレイＤを視認することで、リアルタイムで、各々の人物の追跡状況を確認することができる。
　［６：付記］
　以上説明した実施形態に関して、更に以下の付記を開示する。
　［付記１］
　画像を取得する取得手段と、
　前記画像に含まれる人物を追跡する追跡手段と、
　前記追跡手段が追跡したことのある人物の特徴情報を登録又は更新する登録更新手段であって、前記人物を含む画像に基づき、当該人物の特徴情報を登録又は更新するか否かを判定する登録更新手段と
　を備える情報処理装置。
　［付記２］
　前記画像に含まれる人物が前記追跡手段に追跡されている人物でない場合、画像に含まれる人物から抽出した抽出特徴情報と、登録されている登録特徴情報とを照合する照合手段を更に備え、
　前記登録更新手段は、
　　前記照合手段による前記抽出特徴情報と前記登録特徴情報との照合が成功した場合、画像に含まれる人物と、前記登録特徴情報に対応する人物とを紐付ける紐付手段、
　　前記照合手段による前記抽出特徴情報と前記登録特徴情報との照合が失敗した場合、画像に含まれる人物と対応付けて前記抽出特徴情報を登録する登録手段、
　　画像に含まれる人物が前記追跡手段に追跡されている人物である場合、前記画像、及び登録されている当該人物に関する情報の少なくとも一方に基づき、当該画像から当該人物の特徴情報を抽出するか否かを判定する特徴抽出判定手段、
　　前記特徴抽出判定手段が特徴情報を抽出すると判定した場合、当該画像から当該人物の特徴情報を抽出する抽出手段、
　　前記画像、登録されている当該人物に関する情報、及び前記抽出手段が抽出した当該人物の抽出特徴情報の少なくとも何れかに基づき、当該人物の登録されている登録特徴情報を更新するか否かを判定する更新判定手段、及び
　　前記更新判定手段が登録特徴情報を更新すると判定した場合に、前記抽出手段が抽出した当該人物の抽出特徴情報を用いて当該人物の登録されている登録特徴情報を更新する更新手段を含む
　付記１に記載の情報処理装置。
　［付記３］
　前記特徴抽出判定手段は、前記追跡手段が追跡している該当人物を含む画像の数に基づき、該当人物の特徴情報を抽出するか否かを判定する
　付記２に記載の情報処理装置。
　［付記４］
　前記登録されている当該人物に関する情報は、前記登録特徴情報が抽出された登録画像を含み、
　前記特徴抽出判定手段、及び前記更新判定手段の少なくとも一方は、前記登録画像内の前記人物の所定の関節部と、前記画像内の前記人物の所定の関節部との重なりを示す情報に基づき、判定を実施する
　付記２に記載の情報処理装置。
　［付記５］
　前記登録されている当該人物に関する情報は、該当人物の登録されている登録特徴情報を評価した評価値を含み、
　前記特徴抽出判定手段、及び前記更新判定手段の少なくとも一方は、前記評価値に基づき、判定を実施する
　付記２に記載の情報処理装置。
　［付記６］
　前記更新判定手段は、前記抽出特徴情報と前記登録特徴情報との照合結果に基づき、前記抽出特徴情報を評価し、前記登録特徴情報を更新するか否かを判定する
　付記２に記載の情報処理装置。
　［付記７］
　前記更新判定手段は、
　　異なる前記画像内の前記人物の第１所定領域同士の重なりを示す情報、及び
　　同じ前記画像内の異なる人物の第２所定領域同士の重なりを示す情報
の少なくとも一方に基づき、前記抽出特徴情報を評価し、前記登録特徴情報を更新するか否かを判定する
　付記２に記載の情報処理装置。
　［付記８］
　画像に含まれる人物の生体情報を採取し、当該生体情報と登録されている登録生体情報との照合を実施する個人照合手段を更に備え、
　前記紐付手段は、前記個人照合手段による照合が成功した場合、画像に含まれる人物と、前記登録生体情報に対応する人物とを紐付ける
　付記２に記載の情報処理装置。
　［付記９］
　画像に含まれる人物が、予め定められている複数の属性の何れに該当するかの判定、及び該当属性に対応する特徴情報が登録されているか否かの判定を実施する追加判定手段を更に備え、
　前記追加判定手段が該当属性に対応する特徴情報が登録されていないと判定した場合、前記登録手段は、該当属性に対応する特徴情報を登録し、
　前記追加判定手段が該当属性に対応する特徴情報が登録されていると判定した場合、前記更新判定手段は、当該人物の登録されている特徴情報を更新するか否かを判定する
　付記２に記載の情報処理装置。
　［付記１０］
　前記画像に含まれる該当人物に追跡結果を示す情報を重畳して前記画像を表示する表示手段
　を更に備える付記１又は２に記載の情報処理装置。
　［付記１１］
　画像を取得し、
　前記画像に含まれる人物を追跡し、
　前記人物を含む画像に基づき、当該人物の特徴情報を登録又は更新するか否かを判定し、追跡したことのある人物の特徴情報を登録又は更新する
　情報処理方法。
　［付記１２］
　コンピュータに、
　画像を取得し、
　前記画像に含まれる人物を追跡し、
　前記人物を含む画像に基づき、当該人物の特徴情報を登録又は更新するか否かを判定し、追跡したことのある人物の特徴情報を登録又は更新する
　情報処理方法を実行させるためのコンピュータプログラムが記録されている記録媒体。
　上述の各実施形態の構成要件の少なくとも一部は、上述の各実施形態の構成要件の少なくとも他の一部と適宜組み合わせることができる。上述の各実施形態の構成要件のうちの一部が用いられなくてもよい。また、法令で許容される限りにおいて、上述のこの開示で引用した全ての文献（例えば、公開公報）の開示を援用してこの開示の記載の一部とする。
　この開示は、請求の範囲及び明細書全体から読み取るこのできる技術的思想に反しない範囲で適宜変更可能である。そのような変更を伴う情報処理装置、情報処理方法、及び、記録媒体もまた、この開示の技術的思想に含まれる。
１，２，３，４，５　情報処理装置
１１，２１１　取得部
１２，２１２　追跡部
１３，２１３　登録更新部
２１３１　紐付部
２１３２　登録部
２１３３　特徴抽出判定部
２１３４　抽出部
２１３５　更新判定部
２１３６　更新部
２１４　照合部
３１５　個人照合部
４１６　追加判定部
５１７　表示制御部
ＴＡ　追跡エリア
ＲＩＤＢ　ＲｅＩＤ特徴量データベース
ＦＣ　顔特徴量データベース

Claims (12)

  1. 　画像を取得する取得手段と、
    　前記画像に含まれる人物を追跡する追跡手段と、
    　前記追跡手段が追跡したことのある人物の特徴情報を登録又は更新する登録更新手段であって、前記人物を含む画像に基づき、当該人物の特徴情報を登録又は更新するか否かを判定する登録更新手段と
    　を備える情報処理装置。
  2. 　前記画像に含まれる人物が前記追跡手段に追跡されている人物でない場合、画像に含まれる人物から抽出した抽出特徴情報と、登録されている登録特徴情報とを照合する照合手段を更に備え、
    　前記登録更新手段は、
    　　前記照合手段による前記抽出特徴情報と前記登録特徴情報との照合が成功した場合、画像に含まれる人物と、前記登録特徴情報に対応する人物とを紐付ける紐付手段、
    　　前記照合手段による前記抽出特徴情報と前記登録特徴情報との照合が失敗した場合、画像に含まれる人物と対応付けて前記抽出特徴情報を登録する登録手段、
    　　画像に含まれる人物が前記追跡手段に追跡されている人物である場合、前記画像、及び登録されている当該人物に関する情報の少なくとも一方に基づき、当該画像から当該人物の特徴情報を抽出するか否かを判定する特徴抽出判定手段、
    　　前記特徴抽出判定手段が特徴情報を抽出すると判定した場合、当該画像から当該人物の特徴情報を抽出する抽出手段、
    　　前記画像、登録されている当該人物に関する情報、及び前記抽出手段が抽出した当該人物の抽出特徴情報の少なくとも何れかに基づき、当該人物の登録されている登録特徴情報を更新するか否かを判定する更新判定手段、及び
    　　前記更新判定手段が登録特徴情報を更新すると判定した場合に、前記抽出手段が抽出した当該人物の抽出特徴情報を用いて当該人物の登録されている登録特徴情報を更新する更新手段を含む
    　請求項１に記載の情報処理装置。
  3. 　前記特徴抽出判定手段は、前記追跡手段が追跡している該当人物を含む画像の数に基づき、該当人物の特徴情報を抽出するか否かを判定する
    　請求項２に記載の情報処理装置。
  4. 　前記登録されている当該人物に関する情報は、前記登録特徴情報が抽出された登録画像を含み、
    　前記特徴抽出判定手段、及び前記更新判定手段の少なくとも一方は、前記登録画像内の前記人物の所定の関節部と、前記画像内の前記人物の所定の関節部との重なりを示す情報に基づき、判定を実施する
    　請求項２に記載の情報処理装置。
  5. 　前記登録されている当該人物に関する情報は、該当人物の登録されている登録特徴情報を評価した評価値を含み、
    　前記特徴抽出判定手段、及び前記更新判定手段の少なくとも一方は、前記評価値に基づき、判定を実施する
    　請求項２に記載の情報処理装置。
  6. 　前記更新判定手段は、前記抽出特徴情報と前記登録特徴情報との照合結果に基づき、前記抽出特徴情報を評価し、前記登録特徴情報を更新するか否かを判定する
    　請求項２に記載の情報処理装置。
  7. 　前記更新判定手段は、
    　　異なる前記画像内の前記人物の第１所定領域同士の重なりを示す情報、及び
    　　同じ前記画像内の異なる人物の第２所定領域同士の重なりを示す情報
    の少なくとも一方に基づき、前記抽出特徴情報を評価し、前記登録特徴情報を更新するか否かを判定する
    　請求項２に記載の情報処理装置。
  8. 　画像に含まれる人物の生体情報を採取し、当該生体情報と登録されている登録生体情報との照合を実施する個人照合手段を更に備え、
    　前記紐付手段は、前記個人照合手段による照合が成功した場合、画像に含まれる人物と、前記登録生体情報に対応する人物とを紐付ける
    　請求項２に記載の情報処理装置。
  9. 　画像に含まれる人物が、予め定められている複数の属性の何れに該当するかの判定、及び該当属性に対応する特徴情報が登録されているか否かの判定を実施する追加判定手段を更に備え、
    　前記追加判定手段が該当属性に対応する特徴情報が登録されていないと判定した場合、前記登録手段は、該当属性に対応する特徴情報を登録し、
    　前記追加判定手段が該当属性に対応する特徴情報が登録されていると判定した場合、前記更新判定手段は、当該人物の登録されている特徴情報を更新するか否かを判定する
    　請求項２に記載の情報処理装置。
  10. 　前記画像に含まれる該当人物に追跡結果を示す情報を重畳して前記画像を表示する表示手段
    　を更に備える請求項１又は２に記載の情報処理装置。
  11. 　画像を取得し、
    　前記画像に含まれる人物を追跡し、
    　前記人物を含む画像に基づき、当該人物の特徴情報を登録又は更新するか否かを判定し、追跡したことのある人物の特徴情報を登録又は更新する
    　情報処理方法。
  12. 　コンピュータに、
    　画像を取得し、
    　前記画像に含まれる人物を追跡し、
    　前記人物を含む画像に基づき、当該人物の特徴情報を登録又は更新するか否かを判定し、追跡したことのある人物の特徴情報を登録又は更新する
    　情報処理方法を実行させるためのコンピュータプログラムが記録されている記録媒体。
PCT/JP2022/026457 2022-07-01 2022-07-01 情報処理装置、情報処理方法、及び、記録媒体 WO2024004197A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/026457 WO2024004197A1 (ja) 2022-07-01 2022-07-01 情報処理装置、情報処理方法、及び、記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/026457 WO2024004197A1 (ja) 2022-07-01 2022-07-01 情報処理装置、情報処理方法、及び、記録媒体

Publications (1)

Publication Number Publication Date
WO2024004197A1 true WO2024004197A1 (ja) 2024-01-04

Family

ID=89381823

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026457 WO2024004197A1 (ja) 2022-07-01 2022-07-01 情報処理装置、情報処理方法、及び、記録媒体

Country Status (1)

Country Link
WO (1) WO2024004197A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175730A (ja) * 1997-12-05 1999-07-02 Omron Corp 人間検出追跡システム
JP2016001447A (ja) * 2014-06-12 2016-01-07 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
CN111709974A (zh) * 2020-06-22 2020-09-25 苏宁云计算有限公司 基于rgb-d图像的人体跟踪方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175730A (ja) * 1997-12-05 1999-07-02 Omron Corp 人間検出追跡システム
JP2016001447A (ja) * 2014-06-12 2016-01-07 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
CN111709974A (zh) * 2020-06-22 2020-09-25 苏宁云计算有限公司 基于rgb-d图像的人体跟踪方法及装置

Similar Documents

Publication Publication Date Title
US20200202113A1 (en) Object tracking and best shot detection system
Liu et al. Learning deep models for face anti-spoofing: Binary or auxiliary supervision
Ahmed et al. Vision based hand gesture recognition using dynamic time warping for Indian sign language
TWI459312B (zh) 人臉追蹤之方法
US20050201594A1 (en) Movement evaluation apparatus and method
CN112464793B (zh) 一种在线考试作弊行为检测方法、系统和存储介质
CN105426827A (zh) 活体验证方法、装置和系统
US20190236738A1 (en) System and method for detection of identity fraud
CN110223322A (zh) 图像识别方法、装置、计算机设备和存储介质
JP7422456B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10496874B2 (en) Facial detection device, facial detection system provided with same, and facial detection method
JP7518609B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN110781762A (zh) 一种基于姿态的考试作弊检测方法
CN110032970A (zh) 高准确率的活体检测方法、装置、计算机设备及存储介质
CN112232210A (zh) 一种人员流量分析方法和系统、电子设备和可读存储介质
Goyal et al. Detection of gait abnormalities caused by neurological disorders
Pramita et al. Mask wearing classification using CNN
WO2021259033A1 (zh) 人脸识别方法、电子设备以及存储介质
WO2024004197A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
CN113221815A (zh) 一种基于骨骼关键点自动检测技术的步态鉴定方法
Foytik et al. Tracking and recognizing multiple faces using Kalman filter and ModularPCA
CA3106694A1 (en) System and method for tracking customer movements in a customer service environment
JP2021106330A (ja) 情報処理装置、情報処理方法、及びプログラム
CN116797632A (zh) 一种基于多目标跟踪的跑步监督系统及方法
CN117316440A (zh) 一种基于机器学习面部特征计算的智能面瘫程度评测方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22949470

Country of ref document: EP

Kind code of ref document: A1