WO2020188898A1 - 処理装置、処理方法及びプログラム - Google Patents

処理装置、処理方法及びプログラム Download PDF

Info

Publication number
WO2020188898A1
WO2020188898A1 PCT/JP2019/046990 JP2019046990W WO2020188898A1 WO 2020188898 A1 WO2020188898 A1 WO 2020188898A1 JP 2019046990 W JP2019046990 W JP 2019046990W WO 2020188898 A1 WO2020188898 A1 WO 2020188898A1
Authority
WO
WIPO (PCT)
Prior art keywords
face image
image group
group
face
images
Prior art date
Application number
PCT/JP2019/046990
Other languages
English (en)
French (fr)
Inventor
健全 劉
諭史 吉田
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2021506150A priority Critical patent/JP7251609B2/ja
Priority to US17/436,725 priority patent/US11823491B2/en
Publication of WO2020188898A1 publication Critical patent/WO2020188898A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/7625—Hierarchical techniques, i.e. dividing or merging patterns to obtain a tree-like representation; Dendograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Definitions

  • the present invention relates to a processing device, a processing method and a program.
  • Non-Patent Document 1 discloses an object tracking technique for tracking the same object included in an image.
  • Patent Documents 1 and 2 disclose a method of generating index data for grouping a plurality of facial images of the same person together.
  • a technique for efficiently grouping face images of the same person with face images extracted from each of a plurality of frames is desired.
  • By tracking the same person using the object tracking technology it is possible to group facial images of the same person continuously taken by the same camera.
  • the object tracking technique it is difficult to group the face images of the same person taken by different cameras, the face images of the same person framed in after being framed out once, and the like.
  • An object of the present invention is to provide a technique for efficiently grouping face images of the same person among face images extracted from each of a plurality of frames.
  • Judgment means and The degree of similarity between the first representative face image and each of the other face images in the first face image group, and the other in the second representative face image and the second face image group.
  • Face image group determination means for determining each face image group, When it is determined that the first condition is satisfied and both the first face image group and the second face image group satisfy the second condition, the first face image group and the first face image group are satisfied.
  • a processing means for associating the same person ID (identifier) with a plurality of face images included in the two face image groups, and A processing device having the above is provided.
  • the computer Between the face image groups that determine whether the similarity between the first representative face image in the first face image group and the second representative face image in the second face image group satisfies the first condition. Judgment process and The degree of similarity between the first representative face image and each of the other face images in the first face image group, and the other in the second representative face image and the second face image group.
  • the second condition that defines the relationship between the representative face image and other images in the face image group is satisfied based on the similarity with each of the face images, or the first face image group and the second face image group In the face image group judgment process to judge for each face image group of When it is determined that the first condition is satisfied and both the first face image group and the second face image group satisfy the second condition, the first face image group and the first face image group are satisfied.
  • Judgment means, The degree of similarity between the first representative face image and each of the other face images in the first face image group, and the other in the second representative face image and the second face image group.
  • Face image group determination means for determining each face image group, When it is determined that the first condition is satisfied and both the first face image group and the second face image group satisfy the second condition, the first face image group and the first face image group are satisfied.
  • a processing means for associating the same person ID with a plurality of face images included in the two face image groups.
  • a program is provided to function as.
  • a technique for efficiently grouping face images extracted from each of a plurality of frames among face images of the same person is realized.
  • the processing apparatus targets the first face image group and the second face image group as processing targets.
  • the first face image group consists of a plurality of face images presumed to be face images of the same person by any means.
  • the second face image group is composed of a plurality of face images presumed to be face images of the same person by any means.
  • the processing device determines whether or not the first face image group and the second face image group are a collection of face images of the same person.
  • the processing device uses two determinations, "determination of similarity between face image groups using representative images” and “determination of similarity between representative images and other images in the face image group”. To do.
  • the processing device is similar to the first representative face image that is representative of the first face image group and the second representative face image that is representative of the second face image group. It is determined whether the degree satisfies the first condition, that is, whether or not the degree is similar to a predetermined level or more.
  • the processing device is based on the degree of similarity between the first representative face image and each of the other face images in the first face image group, and is included in the first representative face image and the first face image group. It is determined whether the relationship with the other image satisfies the second condition, that is, whether the first representative face image and the other image in the first face image group are similar by a predetermined level or more.
  • the processing device is based on the similarity between the second representative face image and each of the other face images in the second face image group, in the second representative face image and the second face image group. It is determined whether the relationship with the other image satisfies the second condition, that is, whether the second representative face image and the other image in the second face image group are similar by a predetermined level or more.
  • the relationship between the first representative face image and the second representative face image satisfies the first condition (the first representative face image and the second representative face image are at least a predetermined level).
  • the first face image group satisfies the second condition (the first representative face image and the other face images of the first face image group are similar by a predetermined level or more)
  • the second When the face image group satisfies the second condition (the second representative face image and the other face images of the second face image group are similar to each other by a predetermined level or more), the first face image group and the second face
  • the same person ID is associated with a plurality of face images included in the image group.
  • Each functional unit of the processing device is stored in the CPU (Central Processing Unit) of an arbitrary computer, memory, a program loaded in the memory, and a storage unit such as a hard disk for storing the program (stored from the stage of shipping the device in advance).
  • CPU Central Processing Unit
  • a storage unit such as a hard disk for storing the program (stored from the stage of shipping the device in advance).
  • it can also store programs downloaded from storage media such as CDs (Compact Discs) and servers on the Internet), and is realized by any combination of hardware and software centered on the network connection interface. Program.
  • CDs Compact Discs
  • FIG. 2 is a block diagram illustrating a hardware configuration of the processing device of the present embodiment.
  • the processing device includes a processor 1A, a memory 2A, an input / output interface 3A, a peripheral circuit 4A, and a bus 5A.
  • the peripheral circuit 4A includes various modules.
  • the processing device does not have to have the peripheral circuit 4A.
  • the processing device may be composed of a plurality of physically separated devices. In this case, each of the plurality of devices can be provided with the above hardware configuration.
  • the bus 5A is a data transmission path for the processor 1A, the memory 2A, the peripheral circuits 4A, and the input / output interface 3A to send and receive data to and from each other.
  • the processor 1A is, for example, an arithmetic processing unit such as a CPU or a GPU (Graphics Processing Unit).
  • the memory 2A is, for example, a memory such as a RAM (RandomAccessMemory) or a ROM (ReadOnlyMemory).
  • the input / output interface 3A includes an interface for acquiring information from an input device, an external device, an external server, an external sensor, a camera, etc., an interface for outputting information to an output device, an external device, an external server, etc. ..
  • the input device is, for example, a keyboard, a mouse, a microphone, or the like.
  • the output device is, for example, a display, a speaker, a printer, a mailer, or the like.
  • the processor 1A can issue commands to each module and perform calculations based on the calculation results thereof.
  • the processing device 10 includes a face image group inter-group determination unit 11, a face image group intra-group determination unit 12, and a processing unit 13.
  • the first condition of the face image group determination unit 11 is the degree of similarity between the first representative face image in the first face image group and the second representative face image in the second face image group. Determine if it meets the requirements.
  • the first condition is, for example, "the degree of similarity is equal to or higher than the reference value (the first representative face image and the second representative face image are similar to the reference level or higher)".
  • the first face image group consists of a plurality of face images presumed to be the face images of the same person by any means.
  • the second face image group is composed of a plurality of face images presumed to be face images of the same person by any means.
  • the first face image group may be a collection of face images in each of a plurality of frames of a person (object) tracked as the same object across a plurality of frames by the object tracking technique.
  • the second face image group may be a collection of face images in each of a plurality of frames of a person (object) tracked as the same object across a plurality of frames by the object tracking technique.
  • the object tracking technology can adopt any conventional technology.
  • the plurality of face images may be face images extracted from each of the plurality of frames included in the moving image data generated by the same camera, or each of the plurality of frames included in the plurality of moving image data generated by the plurality of cameras. It may be a face image extracted from, or it may be another.
  • the first face image group and the second face image group may be a collection of a plurality of face images presumed to be the same person's face image by other means.
  • the first representative face image is one face image in the first face image group.
  • the second representative face image is one face image in the second face image group.
  • the method of determining the representative face image from the face image group is not particularly limited. Any conventional technique can be used to calculate the similarity between two facial images.
  • the face image group determination unit 12 determines the first representative face image and the first face image group based on the degree of similarity between the first representative face image and each of the other face images in the first face image group. It is determined whether the relationship with other images in the image satisfies the second condition. Further, the face image group determination unit 12 determines the second representative face image and the second face based on the degree of similarity between the second representative face image and each of the other face images in the second face image group. It is determined whether the relationship with other images in the image group satisfies the second condition.
  • the second condition is, for example, "there are face images having a degree of similarity with the representative face image of a predetermined level or more in a predetermined ratio or more in the face image group".
  • the face image group determination unit 12 calculates and calculates the degree of similarity between the representative face image and each of the other face images in each of the first face image group and the second face image group. Based on the result, it is determined whether each of the first image group and the second image group satisfies the second condition.
  • the first representative face image is M3. Therefore, in the example shown in FIG. 4, in the first face image group, the representative face image M3 and other face images of the first face image group are used. The degree of similarity is calculated for each pair. Further, in the case of the example of FIG. 1, since the second representative face image is N1, in the example shown in FIG. 4, in the second face image group, the representative face image N1 and the other of the second face image group The degree of similarity is calculated for each pair of face images.
  • the face image group determination unit 12 divides the number of pairs whose similarity is equal to or higher than the predetermined level determined by the second condition by the total number of pairs to obtain a representative face image existing in the face image group. Calculate the percentage of facial images whose similarity is above a predetermined level. Then, the face image group determination unit 12 can determine whether or not the calculated ratio is equal to or greater than the predetermined ratio determined by the second condition.
  • FIG. 5 schematically shows an example of information processed by the processing unit 13.
  • a face image ID that identifies each of the plurality of face images and a person ID that identifies each of the plurality of persons in the image are associated with each other.
  • the processing device 10 determines a first face image group and a second face image group to be processed (S10).
  • the method for determining the first face image group and the second face image group is not particularly limited, but an example will be described with the following embodiments.
  • the similarity between the first representative face image in the first face image group and the second representative face image in the second face image group satisfies the first condition. Is determined (S11).
  • the first condition is, for example, "the degree of similarity is equal to or higher than the reference value (the first representative face image and the second representative face image are similar to the reference level or higher)".
  • the processing device 10 uses the first representative face image based on the degree of similarity between the first representative face image and each of the other face images in the first face image group. It is determined whether the relationship between the image and the other image in the first face image group satisfies the second condition (S12).
  • the second condition is, for example, "there are face images having a degree of similarity with the representative face image of a predetermined level or more in a predetermined ratio or more in the face image group".
  • the processing device 10 uses the second representative face image based on the degree of similarity between the second representative face image and each of the other face images in the second face image group. It is determined whether or not the relationship between the image and the other image in the second face image group satisfies the second condition (S13).
  • the second condition is, for example, "there are face images having a degree of similarity with the representative face image of a predetermined level or more in a predetermined ratio or more in the face image group".
  • the processing device 10 associates the same person ID with a plurality of face images included in the first face image group and the second face image group (S14).
  • the processing device 10 is included in the first face image group.
  • a different person ID is associated with the plurality of face images to be generated and the plurality of face images included in the second face image group (S15).
  • the determination order of S11 to S13 is not limited to the illustrated example.
  • the processing device 10 of the present embodiment described above has two aspects: “determination of similarity between face image groups using representative images” and “determination of similarity between representative images and other images in the face image group”. Using one determination, it is determined whether or not the two facial image groups are a collection of facial images of the same person.
  • the representative face image By performing "determination of the degree of similarity between the representative image in the face image group and other images", it is possible to determine whether an appropriate face image is specified as the representative image. Even a collection of face images determined to be the same person may have different face orientations, facial expressions, and the like.
  • the representative face image preferably sufficiently represents the features of the face image common to such various face images. By this determination, it can be determined whether or not a face image that sufficiently represents the features of the face image common to various face images in the face image group is designated as the representative image.
  • This embodiment is different from the first embodiment in that index data having a hierarchical structure is generated from a plurality of face images and the processing described in the first embodiment is executed using the index data. The details will be described below.
  • An example of the hardware configuration of the processing device 10 is the same as that of the first embodiment.
  • the processing device 10 includes a face image group inter-group determination unit 11, a face image group intra-group determination unit 12, a processing unit 13, an index data generation unit 14, and an object tracking unit 15.
  • the object tracking unit 15 collectively groups facial images in each of a plurality of frames of a person (object) tracked as the same object across a plurality of frames using an object tracking technique. Any conventional technology can be adopted as the technology for determining whether or not an object on an image is a person or the object tracking technology.
  • the index data generation unit 14 generates index data having a hierarchical structure with a plurality of face images. Details of the process of generating index data having a hierarchical structure with a plurality of face images are disclosed in Patent Documents 1 and 2, but will be briefly described below.
  • FIG. 8 shows an example of hierarchical index data.
  • Face image ID: "F ⁇ - ⁇ " is identification information attached to each face image extracted from the image of each frame.
  • F ⁇ is the frame ID, and the hyphens and below are the IDs of the face images extracted from each frame.
  • F ⁇ is the frame ID
  • hyphens and below are the IDs of the face images extracted from each frame.
  • All processed face image IDs are arranged on the bottom layer. Then, the plurality of face image IDs arranged in the lowest layer are grouped together by those having a similarity degree of the face images equal to or higher than the first threshold value.
  • one face image ID (representative) selected from each of the plurality of groups in the lowest layer is arranged.
  • Each of the face image IDs of the first layer is associated with the selection source group (the group to which the user belongs) located at the lowest layer.
  • the plurality of face image IDs arranged in the first layer are grouped together with those having a degree of similarity of the face images equal to or higher than the second threshold value.
  • the second threshold value is lower than the first threshold value.
  • one face image ID (representative) selected from each of the plurality of groups in the first layer is arranged.
  • Each of the face image IDs of the second layer is associated with the selection source group (the group to which the user belongs) located in the first layer.
  • the index data is updated as follows.
  • the index data generation unit 14 sets each of the plurality of face image IDs located in the second layer as a comparison target with the new face image ID. That is, the index data generation unit 14 creates a pair with each of the new face image ID and the plurality of face image IDs located in the second layer. Then, the index data generation unit 14 calculates the similarity of facial images (similarity of appearance features) for each pair, and determines whether the calculated similarity is equal to or higher than the second threshold value.
  • the index data generation unit 14 uses the second layer, the first layer, and the new face image ID to be processed. Add to the bottom layer and tie them together. In the first layer and the bottom layer, a new group is generated from the added new face image ID.
  • the index data generation unit 14 shifts the comparison target to the first layer. Specifically, the group of the first layer associated with the "face image ID of the second layer determined to have a similarity equal to or higher than the second threshold value" is used as a comparison target.
  • the index data generation unit 14 creates a pair with the new face image ID to be processed and each of the plurality of face image IDs included in the comparison target group of the first layer. Next, the index data generation unit 14 calculates the similarity of the facial images for each pair, and determines whether the calculated similarity is equal to or higher than the first threshold value. The first threshold value is higher than the second threshold value.
  • the index data generation unit 14 sets a new face image ID to be processed in the first layer and Add to the bottom layer and tie them together.
  • the new face image ID to be processed is added to the group to be compared.
  • a new group is generated by the new face image ID to be processed.
  • the index data generation unit 14 sets the new face image ID to be processed as the lowest layer. In addition, it belongs to the same group as the face image ID whose similarity is equal to or higher than the first threshold value.
  • the index data generation unit 14 positions all face images (face image IDs) in the lowest layer, and in the lowest layer, generates a group of face images having a similarity equal to or higher than the first threshold value. .. Then, the index data generation unit 14 extracts one face image from each group in the lowest layer, positions the extracted face image in the first layer, and the face image located in the first layer and each face image Associate with the group located in the lowest layer to which it belongs.
  • the index data generation unit 14 generates a group of face images having a similarity lower than the first threshold value and a second threshold value or higher in the first layer. Then, the index data generation unit 14 extracts one face image from each group of the first layer, positions the extracted face image in the second layer, and the face image and each face located in the second layer. It is associated with the group located in the first layer to which the image belongs.
  • the index data generation unit 14 generates index data having a hierarchical structure having at least the lowest layer, the first layer, and the second layer by the processing. The number of layers is not limited to the three-layer structure described so far, and other layer structures may be used.
  • the index data generation unit 14 of the present embodiment has each group generated by the object tracking unit 15 (for each group of face images determined to be the same person by using the object tracking technique). Generate index data with a hierarchical structure from multiple face images belonging to a group. That is, the index data generation unit 14 generates the same number of index data as the number of groups generated by the object tracking unit 15.
  • the face image group determination unit 11, the face image group internal determination unit 12, and the processing unit 13 use the face image included in the index data of one hierarchical structure as the first face image group.
  • the process described in the first embodiment is executed by using the face image included in the index data of another hierarchical structure as the second face image group. That is, the face image group determination unit 11, the face image group determination unit 12, and the processing unit 13 first obtain a face image belonging to one group in which face images determined to be the same person by using the object tracking technique are put together.
  • the processing described in the first embodiment is executed with the face image group as the second face image group and the face images belonging to another group generated by using the object tracking technique as the second face image group.
  • the face image group determination unit 11 and the face image group determination unit 12 can use a face image located at the uppermost layer of the index data of the hierarchical structure as a representative face image. By determining the representative face image in this way, an appropriate representative face image can be easily determined.
  • the face images extracted from each of a plurality of frames are grouped by the face images of the same person based only on the object tracking technology, as described above, the face images of the same person taken by different cameras or There may be a problem that it is difficult to group facial images of the same person who framed in after framed out once.
  • the same person is tracked by the object tracking technique, the face images of the person extracted from each frame are grouped, and then a plurality of face image groups are grouped based on the similarity between the plurality of face images. To do.
  • the face images extracted from each of the plurality of frames can be grouped with the face images of the same person with high accuracy.
  • the face image groups that summarize the face images determined to be the same person by using the object tracking technique are grouped by using the technique described in the first embodiment. Therefore, it can be grouped efficiently and with high accuracy.
  • the processing device 10 of the present embodiment it is possible to efficiently and highly accurately group face images of the same person among face images extracted from each of a plurality of frames.
  • ⁇ Third embodiment> This embodiment is different from the first embodiment in that index data having a hierarchical structure is generated from a plurality of face images and the processing described in the first embodiment is executed using the index data. Further, the method of using the index data is different from that of the second embodiment. The details will be described below.
  • An example of the hardware configuration of the processing device 10 is the same as that of the first and second embodiments.
  • the processing device 10 includes a face image group inter-group determination unit 11, a face image group intra-group determination unit 12, a processing unit 13, an index data generation unit 14, and an object tracking unit 15.
  • the configuration of the object tracking unit 15 is the same as that of the second embodiment.
  • the index data generation unit 14 generates index data having one hierarchical structure from a plurality of face images extracted from the images. That is, in the second embodiment, the index data of the hierarchical structure is generated for each group of the face images determined to be the same person by using the object tracking technique (see FIG. 9), but in the present embodiment, such a group is generated. Index data having one hierarchical structure is generated by using all of the extracted plurality of face images without dividing them (see FIG. 10). The index data generation method is as described in the second embodiment.
  • the face image group determination unit 11, the face image group determination unit 12, and the processing unit 13 use thresholds (first threshold and first threshold) for grouping face images set corresponding to each layer used at the time of index data generation.
  • a plurality of face images associated with the first image whose second threshold value or the like is located in the predetermined layer or more is defined as the first face image group, and the first face image group is located in the predetermined layer.
  • the process described in the first embodiment is executed by using a plurality of face images associated with the second image belonging to the same group as the images as the second face image group.
  • the face image group determination unit 11 and the face image group determination unit 12 use the first image located in the predetermined layer as the first representative image and the second image located in the predetermined layer as the first representative image. It can be a second representative image. By determining the representative face image in this way, an appropriate representative face image can be easily determined.
  • the first layer is determined as a predetermined layer whose threshold value is equal to or higher than the reference value.
  • the face image T1 and the face image U5 have a similarity equal to or higher than the threshold value and belong to the same group in the predetermined layer.
  • the face image T1 and the face image in the lower layer linked to the face image T1 are the first face image group. Then, the face image U5 and the face image in the lower layer linked to the face image U5 become the second face image group.
  • the face image T1 is the first representative image, and the face image U5 is the second representative image.
  • the same alphabet is attached to the face images determined to be the same person by using the object tracking technique. That is, the plurality of face images with the alphabet T are a collection of face images determined to be the same person by using the object tracking technique. Similarly, a plurality of face images with alphabets such as S, P, Q, and U are a collection of face images determined to be the same person by using the object tracking technique.
  • the second condition in the case of this example is determined by an object tracking technique in the face image group. It may be performed using only the face image determined to be the same person as the representative face image by using. That is, in the first face image group of FIG. 10, the determination of the second condition may be performed using only the face image with the alphabet T. Similarly, in the second face image group of FIG. 10, the determination of the second condition may be performed using only the face image with the alphabet U. The second condition may be determined using all the face images included in the face image group.
  • the same action and effect as those of the first and second embodiments can be realized.
  • an image similar to all of the other images by a predetermined level or more can be selected as the representative face image from the face image group. That is, according to the present embodiment, it is possible to efficiently determine a preferable face image to be used as a representative face image.
  • Judgment means and The degree of similarity between the first representative face image and each of the other face images in the first face image group, and the other in the second representative face image and the second face image group.
  • Face image group determination means for determining each face image group, When it is determined that the first condition is satisfied and both the first face image group and the second face image group satisfy the second condition, the first face image group and the first face image group are satisfied.
  • the second condition is a processing apparatus in which "a face image having a degree of similarity with the representative face image of a predetermined level or more exists in a predetermined ratio or more in the face image group".
  • 3. 3. In the processing apparatus according to 1 or 2. It also has an object tracking means that groups facial images that are determined to be the same person using object tracking technology. The face image group determination means, the face image group determination means, and the processing means use a face image belonging to one group generated by using the object tracking technique as the first face image group, and the object. A processing device that uses a face image belonging to another group generated by using the tracking technique as the second face image group. 4. In the processing apparatus according to 3. It also has an index data generation means for generating hierarchical index data with a plurality of face images.
  • the index data generation means Place all face images on the bottom layer, In the lowermost layer, a group of face images having a similarity equal to or higher than the first threshold is generated, one face image is extracted from each group and positioned in the first layer, and the first layer is formed. The located face image and the group located in the lowest layer to which each face image belongs are linked to each other. In the first layer, a group of face images having a similarity lower than the first threshold and equal to or higher than the second threshold is generated, and one face image is extracted from each group to form a second layer.
  • the index data generation means generates index data having the hierarchical structure for each group of face images determined to be the same person by using the object tracking technique.
  • the face image group determination means, the face image group determination means, and the processing means use the face image included in one index data of the hierarchical structure as the first face image group, and use the index of the other hierarchical structure.
  • the face image group determination means and the face image group determination means are processing devices that use a face image located on the uppermost layer as the representative face image. 7.
  • the index data generation means generates index data having the hierarchical structure from a plurality of face images extracted from the images.
  • the face image group determination means, the face image group determination means, and the processing means obtain a plurality of face images associated with a first image whose threshold value is located in a predetermined layer equal to or higher than a reference value.
  • a processing device for which a plurality of face images, which are located in the predetermined layer and are associated with a second image belonging to the same group as the first image, are used as the second face image group. .. 8.
  • the face image group determination means and the face image group determination means are processing devices that use the first image as the first representative face image and the second image as the second representative face image.
  • the computer Between the face image groups that determine whether the similarity between the first representative face image in the first face image group and the second representative face image in the second face image group satisfies the first condition. Judgment process and The degree of similarity between the first representative face image and each of the other face images in the first face image group, and the other in the second representative face image and the second face image group.
  • the second condition that defines the relationship between the representative face image and other images in the face image group is satisfied based on the similarity with each of the face images, or the first face image group and the second face image group
  • the face image group judgment process to judge for each face image group of When it is determined that the first condition is satisfied and both the first face image group and the second face image group satisfy the second condition, the first face image group and the first face image group are satisfied.
  • Judgment means The degree of similarity between the first representative face image and each of the other face images in the first face image group, and the other in the second representative face image and the second face image group. Whether the second condition that defines the relationship between the representative face image and other images in the face image group is satisfied based on the similarity with each of the face images, or the first face image group and the second face image group Face image group determination means for determining each face image group, When it is determined that the first condition is satisfied and both the first face image group and the second face image group satisfy the second condition, the first face image group and the first face image group are satisfied.
  • a processing means for associating the same person ID with a plurality of face images included in the two face image groups.
  • a program that functions as.

Abstract

本発明は、第１の顔画像群の中の第１の代表顔画像と、第２の顔画像群の中の第２の代表顔画像との類似度が第１の条件を満たすか判定する顔画像群間判定部（１１）と、第１の代表顔画像と第１の顔画像群の中の他の顔画像各々との類似度、及び、第２の代表顔画像と第２の顔画像群の中の他の顔画像各々との類似度に基づき、代表顔画像と顔画像群の中の他の画像との関係を定めた第２の条件を満たすか、第１の顔画像群及び第２の顔画像群毎に判定する顔画像群内判定部（１２）と、第１の条件を満たし、かつ、第１の顔画像群及び第２の顔画像群いずれも第２の条件を満たすと判定された場合、第１の顔画像群及び第２の顔画像群に含まれる複数の顔画像に同一の人物ＩＤ（identifier）を紐付ける処理部（１３）と、を有する処理装置（１０）を提供する。

Description

処理装置、処理方法及びプログラム
　本発明は、処理装置、処理方法及びプログラムに関する。
　非特許文献１は、映像に含まれる同一物体を追跡する物体追跡技術を開示している。特許文献１及び２は、同一人物の複数の顔画像どうしでまとめてグループ化するためのインデックスデータの生成方法を開示している。
国際公開第２０１４／１０９１２７号 特開２０１５－４９５７４号公報
"Object Tracking: A Survey"、「online」、「平成２９年１２月２６日検索」、インターネット＜ＵＲＬ：http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.112.8588&rep=rep1&type=pdf＞
　複数のフレーム各々から抽出された顔画像を同一人物の顔画像同士で効率的にグループ化する技術が望まれている。物体追跡技術を利用して同一人物を追跡することで、同一カメラで連続的に撮影された同一人物の顔画像をグループ化できる。しかし、物体追跡技術の場合、異なるカメラで撮影された同一人物の顔画像や、一度フレームアウトした後にフレームインした同一人物の顔画像等をグループ化することが難しい。
　本発明は、複数のフレーム各々から抽出された顔画像を同一人物の顔画像同士で効率的にグループ化する技術を提供することを課題とする。
　本発明によれば、
　第１の顔画像群の中の第１の代表顔画像と、第２の顔画像群の中の第２の代表顔画像との類似度が第１の条件を満たすか判定する顔画像群間判定手段と、
　前記第１の代表顔画像と前記第１の顔画像群の中の他の顔画像各々との類似度、及び、前記第２の代表顔画像と前記第２の顔画像群の中の他の顔画像各々との類似度に基づき、前記代表顔画像と前記顔画像群の中の他の画像との関係を定めた第２の条件を満たすか、前記第１の顔画像群及び前記第２の顔画像群毎に判定する顔画像群内判定手段と、
　前記第１の条件を満たし、かつ、前記第１の顔画像群及び前記第２の顔画像群いずれも前記第２の条件を満たすと判定された場合、前記第１の顔画像群及び前記第２の顔画像群に含まれる複数の顔画像に同一の人物ＩＤ（identifier）を紐付ける処理手段と、
を有する処理装置が提供される。
　また、本発明によれば、
　コンピュータが、
　第１の顔画像群の中の第１の代表顔画像と、第２の顔画像群の中の第２の代表顔画像との類似度が第１の条件を満たすか判定する顔画像群間判定工程と、
　前記第１の代表顔画像と前記第１の顔画像群の中の他の顔画像各々との類似度、及び、前記第２の代表顔画像と前記第２の顔画像群の中の他の顔画像各々との類似度に基づき、前記代表顔画像と前記顔画像群の中の他の画像との関係を定めた第２の条件を満たすか、前記第１の顔画像群及び前記第２の顔画像群毎に判定する顔画像群内判定工程と、
　前記第１の条件を満たし、かつ、前記第１の顔画像群及び前記第２の顔画像群いずれも前記第２の条件を満たすと判定された場合、前記第１の顔画像群及び前記第２の顔画像群に含まれる複数の顔画像に同一の人物ＩＤを紐付ける処理工程と、
を実行する処理方法が提供される。
　また、本発明によれば、
　コンピュータを、
　第１の顔画像群の中の第１の代表顔画像と、第２の顔画像群の中の第２の代表顔画像との類似度が第１の条件を満たすか判定する顔画像群間判定手段、
　前記第１の代表顔画像と前記第１の顔画像群の中の他の顔画像各々との類似度、及び、前記第２の代表顔画像と前記第２の顔画像群の中の他の顔画像各々との類似度に基づき、前記代表顔画像と前記顔画像群の中の他の画像との関係を定めた第２の条件を満たすか、前記第１の顔画像群及び前記第２の顔画像群毎に判定する顔画像群内判定手段、
　前記第１の条件を満たし、かつ、前記第１の顔画像群及び前記第２の顔画像群いずれも前記第２の条件を満たすと判定された場合、前記第１の顔画像群及び前記第２の顔画像群に含まれる複数の顔画像に同一の人物ＩＤを紐付ける処理手段、
として機能させるプログラムが提供される。
　本発明によれば、複数のフレーム各々から抽出された顔画像を同一人物の顔画像同士で効率的にグループ化する技術が実現される。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本実施形態の処理装置が行う処理の概要を説明するための図である。 本実施形態の処理装置のハードウエア構成の一例を示す図である。 本実施形態の処理装置の機能ブロック図の一例を示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置が処理する情報の一例を模式的に示す図である。 本実施形態の処理装置の処理の流れの一例を示すフローチャートである。 本実施形態の処理装置の機能ブロック図の一例を示す図である。 本実施形態の処理装置が生成するインデックスデータの一例を模式的に示す図である。 本実施形態の処理装置が生成するインデックスデータの一例を模式的に示す図である。 本実施形態の処理装置が生成するインデックスデータの一例を模式的に示す図である。
＜第１の実施形態＞
　まず、本実施形態の処理装置が行う処理の概要を説明する。処理装置は、図１に示すように、第１の顔画像群と第２の顔画像群とを処理対象とする。第１の顔画像群は任意の手段で同一人物の顔画像と推定された複数の顔画像からなる。また、第２の顔画像群は任意の手段で同一人物の顔画像と推定された複数の顔画像からなる。
　処理装置は、第１の顔画像群と第２の顔画像群とが同一人物の顔画像の集まりか否かを判定する。処理装置は、当該判定を、「代表画像を用いた顔画像群間の類似度の判定」及び「顔画像群内における代表画像と他の画像との類似度の判定」という２つの判定を用いて行う。
　具体的には、処理装置は、第１の顔画像群の中の代表である第１の代表顔画像と、第２の顔画像群の中の代表である第２の代表顔画像との類似度が第１の条件を満たすか、すなわち所定レベル以上類似するか否かを判定する。
　また、処理装置は、第１の代表顔画像と第１の顔画像群の中の他の顔画像各々との類似度に基づき、第１の代表顔画像と第１の顔画像群の中の他の画像との関係が第２の条件を満たすか、すなわち第１の代表顔画像と第１の顔画像群の中の他の画像とが所定レベル以上類似するか否かを判定する。
　さらに、処理装置は、第２の代表顔画像と第２の顔画像群の中の他の顔画像各々との類似度に基づき、第２の代表顔画像と第２の顔画像群の中の他の画像との関係が第２の条件を満たすか、すなわち第２の代表顔画像と第２の顔画像群の中の他の画像とが所定レベル以上類似するか否かを判定する。
　そして、処理装置は、第１の代表顔画像と第２の代表顔画像との間の関係が第１の条件を満たし（第１の代表顔画像と第２の代表顔画像とが所定レベル以上類似する）、第１の顔画像群が第２の条件を満たし（第１の代表顔画像と第１の顔画像群の他の顔画像とが所定レベル以上類似する）、かつ、第２の顔画像群が第２の条件を満たす（第２の代表顔画像と第２の顔画像群の他の顔画像とが所定レベル以上類似する）場合、第１の顔画像群及び第２の顔画像群に含まれる複数の顔画像に同一の人物ＩＤを紐付ける。
　次に、処理装置の構成を詳細に説明する。まず、処理装置のハードウエア構成の一例を説明する。処理装置が備える各機能部は、任意のコンピュータのＣＰＵ（Central Processing Unit）、メモリ、メモリにロードされるプログラム、そのプログラムを格納するハードディスク等の記憶ユニット（あらかじめ装置を出荷する段階から格納されているプログラムのほか、ＣＤ（Compact Disc）等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムをも格納できる）、ネットワーク接続用インターフェイスを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。
　図２は、本実施形態の処理装置のハードウエア構成を例示するブロック図である。図２に示すように、処理装置は、プロセッサ１Ａ、メモリ２Ａ、入出力インターフェイス３Ａ、周辺回路４Ａ、バス５Ａを有する。周辺回路４Ａには、様々なモジュールが含まれる。処理装置は周辺回路４Ａを有さなくてもよい。なお、処理装置は物理的に分かれた複数の装置で構成されてもよい。この場合、複数の装置各々が上記ハードウエア構成を備えることができる。
　バス５Ａは、プロセッサ１Ａ、メモリ２Ａ、周辺回路４Ａ及び入出力インターフェイス３Ａが相互にデータを送受信するためのデータ伝送路である。プロセッサ１Ａは、例えばＣＰＵ、ＧＰＵ（Graphics Processing Unit）などの演算処理装置である。メモリ２Ａは、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。入出力インターフェイス３Ａは、入力装置、外部装置、外部サーバ、外部センサ、カメラ等から情報を取得するためのインターフェイスや、出力装置、外部装置、外部サーバ等に情報を出力するためのインターフェイスなどを含む。入力装置は、例えばキーボード、マウス、マイク等である。出力装置は、例えばディスプレイ、スピーカ、プリンター、メーラ等である。プロセッサ１Ａは、各モジュールに指令を出し、それらの演算結果をもとに演算を行うことができる。
　次に、処理装置の機能構成を説明する。図３の処理装置１０の機能ブロック図の一例を示す。図示するように、処理装置１０は、顔画像群間判定部１１と、顔画像群内判定部１２と、処理部１３とを有する。
　顔画像群間判定部１１は、第１の顔画像群の中の第１の代表顔画像と、第２の顔画像群の中の第２の代表顔画像との類似度が第１の条件を満たすか判定する。第１の条件は、例えば「類似度が基準値以上（第１の代表顔画像と第２の代表顔画像が基準レベル以上類似）」である。
　第１の顔画像群は任意の手段で同一人物の顔画像と推定された複数の顔画像からなる。また、第２の顔画像群は任意の手段で同一人物の顔画像と推定された複数の顔画像からなる。例えば、第１の顔画像群は、物体追跡技術により、複数のフレームに跨って同一物体として追跡された人物（物体）の複数のフレーム各々における顔画像の集まりであってもよい。同様に、第２の顔画像群は、物体追跡技術により、複数のフレームに跨って同一物体として追跡された人物（物体）の複数のフレーム各々における顔画像の集まりであってもよい。物体追跡技術は従来のあらゆる技術を採用できる。複数の顔画像は、同一カメラで生成された動画データに含まれる複数フレーム各々から抽出された顔画像であってもよいし、複数のカメラで生成された複数の動画データに含まれる複数フレーム各々から抽出された顔画像であってもよいし、その他であってもよい。なお、第１の顔画像群及び第２の顔画像群は、その他の手段で同一人物の顔画像と推定された複数の顔画像の集まりであってもよい。
　第１の代表顔画像は、第１の顔画像群の中の１つの顔画像である。第２の代表顔画像は、第２の顔画像群の中の１つの顔画像である。本実施形態では、顔画像群の中から代表顔画像を決定する方法は特段制限されない。２つの顔画像間の類似度の算出は従来のあらゆる技術を採用できる。
　顔画像群内判定部１２は、第１の代表顔画像と第１の顔画像群の中の他の顔画像各々との類似度に基づき、第１の代表顔画像と第１の顔画像群の中の他の画像との関係が第２の条件を満たすか判定する。また、顔画像群内判定部１２は、第２の代表顔画像と第２の顔画像群の中の他の顔画像各々との類似度に基づき、第２の代表顔画像と第２の顔画像群の中の他の画像との関係が第２の条件を満たすか判定する。
　第２の条件は、例えば「顔画像群の中に代表顔画像との類似度が所定レベル以上の顔画像が所定割合以上存在する」である。
　顔画像群内判定部１２は、図４に示すように、第１の顔画像群及び第２の顔画像群各々において、代表顔画像と他の顔画像各々との類似度を算出し、算出結果に基づき、第１の画像群及び第２の画像群各々が第２の条件を満たすか判定する。
　図１の例の場合、第１の代表顔画像はＭ３であるので、図４に示す例では、第１の顔画像群において、代表顔画像Ｍ３と第１の顔画像群の他の顔画像各々とのペア毎に、類似度を算出している。また、図１の例の場合、第２の代表顔画像はＮ１であるので、図４に示す例では、第２の顔画像群において、代表顔画像Ｎ１と第２の顔画像群の他の顔画像各々とのペア毎に、類似度を算出している。
　顔画像群内判定部１２は、類似度が第２の条件で定められた所定レベル以上であるペアの数をペアの総数で割ることで、顔画像群の中に存在する代表顔画像との類似度が所定レベル以上の顔画像の割合を算出する。そして、顔画像群内判定部１２は、算出した割合が第２の条件で定められた所定割合以上か否かを判定できる。
　処理部１３は、第１の条件を満たし、かつ、第１の顔画像群及び第２の顔画像群いずれも第２の条件を満たすと判定された場合、第１の顔画像群及び第２の顔画像群に含まれる複数の顔画像に同一の人物ＩＤを紐付ける。図５に、処理部１３が処理する情報の一例を模式的に示す。図示する例では、複数の顔画像各々を識別する顔画像ＩＤと、画像に写っていた複数の人物各々を識別する人物ＩＤとが互いに対応付けられている。
　次に、図６のフローチャートを用いて、処理装置１０の処理の流れの一例を説明する。
　まず、処理装置１０は、処理対象とする第１の顔画像群及び第２の顔画像群を決定する（Ｓ１０）。第１の顔画像群及び第２の顔画像群の決定手法は特段制限されないが、以下の実施形態で一例を説明する。
　次いで、処理装置１０は、第１の顔画像群の中の第１の代表顔画像と、第２の顔画像群の中の第２の代表顔画像との類似度が第１の条件を満たすか判定する（Ｓ１１）。第１の条件は、例えば「類似度が基準値以上（第１の代表顔画像と第２の代表顔画像が基準レベル以上類似）」である。
　Ｓ１１の判定の結果がＹｅｓである場合、処理装置１０は、第１の代表顔画像と第１の顔画像群の中の他の顔画像各々との類似度に基づき、第１の代表顔画像と第１の顔画像群の中の他の画像との関係が第２の条件を満たすか判定する（Ｓ１２）。第２の条件は、例えば「顔画像群の中に代表顔画像との類似度が所定レベル以上の顔画像が所定割合以上存在する」である。
　Ｓ１２の判定の結果がＹｅｓである場合、処理装置１０は、第２の代表顔画像と第２の顔画像群の中の他の顔画像各々との類似度に基づき、第２の代表顔画像と第２の顔画像群の中の他の画像との関係が第２の条件を満たすか判定する（Ｓ１３）。第２の条件は、例えば「顔画像群の中に代表顔画像との類似度が所定レベル以上の顔画像が所定割合以上存在する」である。
　Ｓ１３の判定の結果がＹｅｓである場合、処理装置１０は、第１の顔画像群及び第２の顔画像群に含まれる複数の顔画像に同一の人物ＩＤを紐付ける（Ｓ１４）。
　一方、Ｓ１１の判定の結果がＮｏである場合、Ｓ１２の判定の結果がＮｏである場合、又は、Ｓ１３の判定の結果がＮｏである場合、処理装置１０は、第１の顔画像群に含まれる複数の顔画像と、第２の顔画像群に含まれる複数の顔画像とに異なる人物ＩＤを紐付ける（Ｓ１５）。
　なお、Ｓ１１乃至Ｓ１３の判定順は図示する例に限定されない。
　ここで、変形例を説明する。Ｓ１１の判定の結果がＮｏである場合、Ｓ１２の判定の結果がＮｏである場合、又は、Ｓ１３の判定の結果がＮｏである場合、Ｓ１５の前に、第１の代表顔画像及び第２の代表顔画像の少なくとも一方を他の顔画像に変更した後、Ｓ１１乃至Ｓ１３の処理を実行してもよい。そして、同様の処理を所定回数繰り返してもＳ１４に進めない場合、Ｓ１５に進んでもよい。
　以上説明した本実施形態の処理装置１０は、「代表画像を用いた顔画像群間の類似度の判定」及び「顔画像群内における代表画像と他の画像との類似度の判定」という２つの判定を用いて、２つの顔画像群が同一人物の顔画像の集まりか否か判定する。
　「顔画像群内における代表画像と他の画像との類似度の判定」を行うことで、代表画像として適切な顔画像が指定されているか判定できる。同一人物と判定された顔画像の集まりであっても、顔の向き、表情などは互いに異なり得る。代表顔画像は、そのような多様な顔画像に共通する顔画像の特徴を十分に表したものであるのが好ましい。当該判定により、顔画像群内における多様な顔画像に共通する顔画像の特徴を十分に表した顔画像が代表画像として指定されているか判定できる。
　そして、「代表画像を用いた顔画像群間の類似度の判定」を行うことで、第１の顔画像群と第２の顔画像群とが同一物と判定できるほど類似するかを判定できる。
　このような処理装置１０によれば、効率的かつ高精度に、２つの顔画像群が同一人物の顔画像の集まりか否かを判定することができる。結果、複数のフレーム各々から抽出された顔画像を同一人物の顔画像同士で効率的にグループ化することが可能となる。
＜第２の実施形態＞
　本実施形態は、複数の顔画像で階層構造のインデックスデータを生成し、当該インデックスデータを利用して、第１の実施形態で説明した処理を実行する点で、第１の実施形態と異なる。以下、詳細に説明する。
　処理装置１０のハードウエア構成の一例は、第１の実施形態と同様である。
　処理装置１０の機能ブロック図の一例は、図７で示される。図示するように、処理装置１０は、顔画像群間判定部１１と、顔画像群内判定部１２と、処理部１３と、インデックスデータ生成部１４と、物体追跡部１５とを有する。
　物体追跡部１５は、物体追跡技術を用いて複数のフレームに跨って同一物体として追跡した人物（物体）の複数のフレーム各々における顔画像をまとめてグループ化する。画像上の物体が人物か否か判定する技術や物体追跡技術は従来のあらゆる技術を採用できる。
　インデックスデータ生成部１４は、複数の顔画像で階層構造のインデックスデータを生成する。複数の顔画像で階層構造のインデックスデータを生成する処理の詳細は特許文献１及び２に開示されているが、以下、簡単に説明する。
　図８に、階層構造のインデックスデータの一例を示す。顔画像ＩＤ：「Ｆ○○○－○○○○」は、各フレームの画像から抽出された顔画像各々に付される識別情報である。Ｆ○○○がフレームＩＤであり、ハイフン以下が各フレームから抽出された顔画像各々のＩＤである。同一人物の顔画像が異なるフレームから抽出された場合、各々に異なる顔画像ＩＤが付されることとなる。
　最下層には、処理された全ての顔画像ＩＤが配置される。そして、最下層に配置された複数の顔画像ＩＤは、顔画像の類似度が第１の閾値以上のもの同士でまとめてグループ化される。
　第１の層には、最下層の複数のグループ各々から選択された１つの顔画像ＩＤ（代表）が配置される。第１の層の顔画像ＩＤ各々は、最下層に位置する選択元のグループ（自身が所属するグループ）に紐付けられる。そして、第１の層に配置された複数の顔画像ＩＤは、顔画像の類似度が第２の閾値以上のもの同士でまとめてグループ化される。なお、第２の閾値は、上記第１の閾値よりも低い。
　第２の層には、第１の層の複数のグループ各々から選択された１つの顔画像ＩＤ（代表）が配置される。第２の層の顔画像ＩＤ各々は、第１の層に位置する選択元のグループ（自身が所属するグループ）に紐付けられる。
　当該インデックスデータは、次のようにして更新される。新たな顔画像ＩＤが処理対象とされると、まず、インデックスデータ生成部１４は、第２の層に位置する複数の顔画像ＩＤ各々を、新たな顔画像ＩＤとの比較対象とする。すなわち、インデックスデータ生成部１４は、新たな顔画像ＩＤと、第２の層に位置する複数の顔画像ＩＤ各々とでペアを作成する。そして、インデックスデータ生成部１４は、ペア毎に顔画像の類似度（外観の特徴量の類似度）を算出し、算出した類似度が第２の閾値以上であるか判定する。
　第２の層に、類似度が第２の閾値以上である顔画像ＩＤが存在しない場合、インデックスデータ生成部１４は、処理対象の新たな顔画像ＩＤを第２の層、第１の層及び最下層に追加し、それらを互いに紐付ける。第１の層及び最下層においては、追加された新たな顔画像ＩＤより新たなグループが生成される。
　一方、第２の層に、類似度が第２の閾値以上である顔画像ＩＤが存在する場合、インデックスデータ生成部１４は、比較対象を第１の層に移す。具体的には、「類似度が第２の閾値以上であると判定された第２の層の顔画像ＩＤ」に紐付けられた第１の層のグループを、比較対象とする。
　そして、インデックスデータ生成部１４は、処理対象の新たな顔画像ＩＤと、第１の層の比較対象のグループに含まれる複数の顔画像ＩＤ各々とでペアを作成する。次いで、インデックスデータ生成部１４は、ペア毎に顔画像の類似度を算出し、算出した類似度が第１の閾値以上であるか判定する。なお、第１の閾値は、第２の閾値よりも高い。
　第１の層の比較対象のグループに、類似度が第１の閾値以上である顔画像ＩＤが存在しない場合、インデックスデータ生成部１４は、処理対象の新たな顔画像ＩＤを第１の層及び最下層に追加し、それらを互いに紐付ける。第１の層においては、処理対象の新たな顔画像ＩＤは比較対象のグループに追加される。最下層においては、処理対象の新たな顔画像ＩＤにより新たなグループが生成される。
　一方、第１の層の比較対象のグループに、類似度が第１の閾値以上である顔画像ＩＤが存在する場合、インデックスデータ生成部１４は、処理対象の新たな顔画像ＩＤを最下層に追加し、類似度が第１の閾値以上である顔画像ＩＤと同じグループに属させる。
　このように、インデックスデータ生成部１４は、全ての顔画像（顔画像ＩＤ）を最下層に位置させ、最下層において、類似度が第１の閾値以上の顔画像同士でまとめたグループを生成する。そして、インデックスデータ生成部１４は、最下層の各グループから１つの顔画像を抽出し、抽出した顔画像を第１の層に位置させ、第１の層に位置する顔画像と各顔画像が属する最下層に位置するグループとを紐付ける。
　また、インデックスデータ生成部１４は、第１の層において、類似度が第１の閾値より低い第２の閾値以上の顔画像同士でまとめたグループを生成する。そして、インデックスデータ生成部１４は、第１の層の各グループから１つの顔画像を抽出し、抽出した顔画像を第２の層に位置させ、第２の層に位置する顔画像と各顔画像が属する第１の層に位置するグループとを紐付ける。インデックスデータ生成部１４は、当該処理により、少なくとも最下層と、第１の層と、第２の層とを有する階層構造のインデックスデータを生成する。なお、層の数はここまでに説明した３層構造に限定されず、その他の数の層構造としてもよい。
　本実施形態のインデックスデータ生成部１４は、図９に示すように、物体追跡部１５が生成したグループ毎に（物体追跡技術を用いて同一人物と判定された顔画像のグループ毎に）、各グループに属する複数の顔画像で階層構造のインデックスデータを生成する。すなわち、インデックスデータ生成部１４は、物体追跡部１５が生成したグループの数と同数のインデックスデータを生成する。
　そして、顔画像群間判定部１１、顔画像群内判定部１２及び処理部１３は、図９に示すように、１つの階層構造のインデックスデータに含まれる顔画像を第１の顔画像群とし、他の階層構造のインデックスデータに含まれる顔画像を第２の顔画像群として、第１の実施形態で説明した処理を実行する。すなわち、顔画像群間判定部１１、顔画像群内判定部１２及び処理部１３は、物体追跡技術を用いて同一人物と判定した顔画像をまとめた１つのグループに属する顔画像を第１の顔画像群とし、物体追跡技術を用いて生成された他のグループに属する顔画像を第２の顔画像群として、第１の実施形態で説明した処理を実行する。
　なお、顔画像群間判定部１１及び顔画像群内判定部１２は、階層構造のインデックスデータの最上層に位置する顔画像を代表顔画像とすることができる。このように代表顔画像を決定することで、適切な代表顔画像を容易に決定できる。
　顔画像群間判定部１１、顔画像群内判定部１２及び処理部１３のその他の構成は、第１の実施形態と同様である。
　以上説明した本実施形態の処理装置１０によれば、第１の実施形態と同様な作用効果を実現できる。
　ところで、複数の顔画像間の類似度のみに基づき、複数のフレーム各々から抽出された顔画像を同一人物の顔画像同士でグループ化する手段も考えられる。しかし、当該手段の場合、画像における各人物の顔の向きや表情や鮮明度等に起因して、同一人物の顔画像であっても類似度が低くなり、同一人物と判定されない不都合が発生し得る。一方で、物体追跡技術のみに基づき、複数のフレーム各々から抽出された顔画像を同一人物の顔画像同士でグループ化する場合、上述の通り、異なるカメラで撮影された同一人物の顔画像や、一度フレームアウトした後にフレームインした同一人物の顔画像等をグループ化することが難しいという不都合が発生し得る。
　本実施形態では、物体追跡技術で同一人物を追跡し、各フレームから抽出したその人物の顔画像をグループ化した後、複数の顔画像間の類似度に基づき複数の顔画像群同志をグループ化する。このような本実施形態の処理装置１０によれば、高精度に、複数のフレーム各々から抽出された顔画像を同一人物の顔画像同士でグループ化することができる。
　また、本実施形態の処理装置１０によれば、物体追跡技術を用いて同一人物と判定した顔画像をまとめた顔画像群同志を、第１の実施形態で説明した技術を用いてグループ化するので、効率的かつ高精度にグループ化することができる。
　結果、本実施形態の処理装置１０によれば、複数のフレーム各々から抽出された顔画像を同一人物の顔画像同士で効率的かつ高精度にグループ化することが可能となる。
＜第３の実施形態＞
　本実施形態は、複数の顔画像で階層構造のインデックスデータを生成し、当該インデックスデータを利用して、第１の実施形態で説明した処理を実行する点で、第１の実施形態と異なる。また、インデックスデータの利用方法が、第２の実施形態と異なる。以下、詳細に説明する。
　処理装置１０のハードウエア構成の一例は、第１及び第２の実施形態と同様である。
　処理装置１０の機能ブロック図の一例は、図７で示される。図示するように、処理装置１０は、顔画像群間判定部１１と、顔画像群内判定部１２と、処理部１３と、インデックスデータ生成部１４と、物体追跡部１５とを有する。物体追跡部１５の構成は、第２の実施形態と同様である。
　インデックスデータ生成部１４は、画像から抽出された複数の顔画像で１つの階層構造のインデックスデータを生成する。すなわち、第２の実施形態では、物体追跡技術を用いて同一人物と判定された顔画像のグループ毎に階層構造のインデックスデータを生成したが（図９参照）、本実施形態ではこのようなグループ分けをせず、抽出された複数の顔画像の全てを用いて１つの階層構造のインデックスデータを生成する（図１０参照）。インデックスデータの生成方法は第２の実施形態で説明した通りである。
　そして、顔画像群間判定部１１、顔画像群内判定部１２及び処理部１３は、インデックスデータ生成時に用いる各層に対応して設定された顔画像のグループ化に用いる閾値（第１の閾値及び第２の閾値等）が基準値以上の所定の層に位置する第１の画像に紐付けられた複数の顔画像を第１の顔画像群とし、上記所定の層に位置し、第１の画像と同じグループに属する第２の画像に紐付けられた複数の顔画像を第２の顔画像群として、第１の実施形態で説明した処理を実行する。
　なお、顔画像群間判定部１１及び顔画像群内判定部１２は、上記所定の層に位置する第１の画像を第１の代表画像とし、上記所定の層に位置する第２の画像を第２の代表画像とすることができる。このように代表顔画像を決定することで、適切な代表顔画像を容易に決定できる。
　例えば、図１０の例の場合、第１の層が、閾値が基準値以上の所定の層として決定されている。顔画像Ｔ１及び顔画像Ｕ５は類似度が閾値以上であり、上記所定の層において同一のグループに属する。
　この例の場合、顔画像Ｔ１及び顔画像Ｔ１に紐付けられたそれよりも下位層の顔画像が第１の顔画像群となる。そして、顔画像Ｕ５及び顔画像Ｕ５に紐付けられたそれよりも下位層の顔画像が第２の顔画像群となる。顔画像Ｔ１が第１の代表画像であり、顔画像Ｕ５が第２の代表画像である。
　なお、図１０においては、物体追跡技術を用いて同一人物と判定された顔画像に同一のアルファベットを付している。すなわち、Ｔのアルファベットを付された複数の顔画像は、物体追跡技術を用いて同一人物と判定された顔画像の集まりである。同様に、Ｓ、Ｐ、Ｑ、Ｕ等のアルファベット各々を付された複数の顔画像は、物体追跡技術を用いて同一人物と判定された顔画像の集まりである。
　この例の場合の第２の条件（顔画像群の中に代表顔画像との類似度が所定レベル以上の顔画像が所定割合以上存在する）の判定は、顔画像群の中の物体追跡技術を用いて代表顔画像と同一人物と判定された顔画像のみを用いて行ってもよい。すなわち、図１０の第１の顔画像群においては、第２の条件の判定は、アルファベットＴが付された顔画像のみを用いて行ってもよい。同様に、図１０の第２の顔画像群においては、第２の条件の判定は、アルファベットＵが付された顔画像のみを用いて行ってもよい。なお、顔画像群に含まれるすべての顔画像を用いて、第２の条件の判定を行ってもよい。
　以上説明した本実施形態の処理装置１０によれば、第１及び第２の実施形態と同様な作用効果を実現できる。また、本実施形態によれば、顔画像群の中から、他の画像の全てと所定レベル以上類似する画像を代表顔画像として選択することができる。すなわち、本実施形態によれば、効率的に、代表顔画像とするのに好ましい顔画像を決定することができる。
　以下、参考形態の例を付記する。
１．　第１の顔画像群の中の第１の代表顔画像と、第２の顔画像群の中の第２の代表顔画像との類似度が第１の条件を満たすか判定する顔画像群間判定手段と、
　前記第１の代表顔画像と前記第１の顔画像群の中の他の顔画像各々との類似度、及び、前記第２の代表顔画像と前記第２の顔画像群の中の他の顔画像各々との類似度に基づき、前記代表顔画像と前記顔画像群の中の他の画像との関係を定めた第２の条件を満たすか、前記第１の顔画像群及び前記第２の顔画像群毎に判定する顔画像群内判定手段と、
　前記第１の条件を満たし、かつ、前記第１の顔画像群及び前記第２の顔画像群いずれも前記第２の条件を満たすと判定された場合、前記第１の顔画像群及び前記第２の顔画像群に含まれる複数の顔画像に同一の人物ＩＤ（identifier）を紐付ける処理手段と、
を有する処理装置。
２．　１に記載の処理装置において、
　前記第２の条件は、「前記顔画像群の中に前記代表顔画像との類似度が所定レベル以上の顔画像が所定割合以上存在する」である処理装置。
３．　１又は２に記載の処理装置において、
　物体追跡技術を用いて同一人物と判定した顔画像をまとめてグループ化する物体追跡手段をさらに有し、
　前記顔画像群間判定手段、前記顔画像群内判定手段及び前記処理手段は、前記物体追跡技術を用いて生成された１つのグループに属する顔画像を前記第１の顔画像群とし、前記物体追跡技術を用いて生成された他のグループに属する顔画像を前記第２の顔画像群とする処理装置。
４．　３に記載の処理装置において、
　複数の顔画像で階層構造のインデックスデータを生成するインデックスデータ生成手段をさらに有し、
　前記インデックスデータ生成手段は、
　　全ての顔画像を最下層に位置させ、
　　前記最下層において、類似度が第１の閾値以上の顔画像同士でまとめたグループを生成し、各グループから１つの顔画像を抽出して第１の層に位置させ、前記第１の層に位置する顔画像と各顔画像が属する前記最下層に位置する前記グループとを紐付け、
　　前記第１の層において、類似度が前記第１の閾値より低い第２の閾値以上の顔画像同士でまとめたグループを生成し、各グループから１つの顔画像を抽出して第２の層に位置させ、前記第２の層に位置する顔画像と各顔画像が属する前記第１の層に位置する前記グループとを紐付けることで、少なくとも前記最下層と、前記第１の層と、前記第２の層とを有する前記階層構造のインデックスデータを生成する処理装置。
５．　４に記載の処理装置において、
　前記インデックスデータ生成手段は、物体追跡技術を用いて同一人物と判定された顔画像のグループ毎に、前記階層構造のインデックスデータを生成し、
　前記顔画像群間判定手段、前記顔画像群内判定手段及び処理手段は、１つの前記階層構造のインデックスデータに含まれる顔画像を前記第１の顔画像群とし、他の前記階層構造のインデックスデータに含まれる顔画像を前記第２の顔画像群とする処理装置。
６．　５に記載の処理装置において、
　前記顔画像群間判定手段及び前記顔画像群内判定手段は、最上層に位置する顔画像を前記代表顔画像とする処理装置。
７．　４に記載の処理装置において、
　前記インデックスデータ生成手段は、画像から抽出された複数の顔画像で前記階層構造のインデックスデータを生成し、
　前記顔画像群間判定手段、前記顔画像群内判定手段及び前記処理手段は、前記閾値が基準値以上の所定の層に位置する第１の画像に紐付けられた複数の顔画像を前記第１の顔画像群とし、前記所定の層に位置し、前記第１の画像と同じグループに属する第２の画像に紐付けられた複数の顔画像を前記第２の顔画像群とする処理装置。
８．　７に記載の処理装置において、
　前記顔画像群間判定手段及び前記顔画像群内判定手段は、前記第１の画像を前記第１の代表顔画像とし、前記第２の画像を前記第２の代表顔画像とする処理装置。
９．　コンピュータが、
　第１の顔画像群の中の第１の代表顔画像と、第２の顔画像群の中の第２の代表顔画像との類似度が第１の条件を満たすか判定する顔画像群間判定工程と、
　前記第１の代表顔画像と前記第１の顔画像群の中の他の顔画像各々との類似度、及び、前記第２の代表顔画像と前記第２の顔画像群の中の他の顔画像各々との類似度に基づき、前記代表顔画像と前記顔画像群の中の他の画像との関係を定めた第２の条件を満たすか、前記第１の顔画像群及び前記第２の顔画像群毎に判定する顔画像群内判定工程と、
　前記第１の条件を満たし、かつ、前記第１の顔画像群及び前記第２の顔画像群いずれも前記第２の条件を満たすと判定された場合、前記第１の顔画像群及び前記第２の顔画像群に含まれる複数の顔画像に同一の人物ＩＤを紐付ける処理工程と、
を実行する処理方法。
１０．　コンピュータを、
　第１の顔画像群の中の第１の代表顔画像と、第２の顔画像群の中の第２の代表顔画像との類似度が第１の条件を満たすか判定する顔画像群間判定手段、
　前記第１の代表顔画像と前記第１の顔画像群の中の他の顔画像各々との類似度、及び、前記第２の代表顔画像と前記第２の顔画像群の中の他の顔画像各々との類似度に基づき、前記代表顔画像と前記顔画像群の中の他の画像との関係を定めた第２の条件を満たすか、前記第１の顔画像群及び前記第２の顔画像群毎に判定する顔画像群内判定手段、
　前記第１の条件を満たし、かつ、前記第１の顔画像群及び前記第２の顔画像群いずれも前記第２の条件を満たすと判定された場合、前記第１の顔画像群及び前記第２の顔画像群に含まれる複数の顔画像に同一の人物ＩＤを紐付ける処理手段、
として機能させるプログラム。
　この出願は、２０１９年３月１５日に出願された日本出願特願２０１９－０４８４５４号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims (10)

  1. 　第１の顔画像群の中の第１の代表顔画像と、第２の顔画像群の中の第２の代表顔画像との類似度が第１の条件を満たすか判定する顔画像群間判定手段と、
    　前記第１の代表顔画像と前記第１の顔画像群の中の他の顔画像各々との類似度、及び、前記第２の代表顔画像と前記第２の顔画像群の中の他の顔画像各々との類似度に基づき、前記代表顔画像と前記顔画像群の中の他の画像との関係を定めた第２の条件を満たすか、前記第１の顔画像群及び前記第２の顔画像群毎に判定する顔画像群内判定手段と、
    　前記第１の条件を満たし、かつ、前記第１の顔画像群及び前記第２の顔画像群いずれも前記第２の条件を満たすと判定された場合、前記第１の顔画像群及び前記第２の顔画像群に含まれる複数の顔画像に同一の人物ＩＤ（identifier）を紐付ける処理手段と、
    を有する処理装置。
  2. 　請求項１に記載の処理装置において、
    　前記第２の条件は、「前記顔画像群の中に前記代表顔画像との類似度が所定レベル以上の顔画像が所定割合以上存在する」である処理装置。
  3. 　請求項１又は２に記載の処理装置において、
    　物体追跡技術を用いて同一人物と判定した顔画像をまとめてグループ化する物体追跡手段をさらに有し、
    　前記顔画像群間判定手段、前記顔画像群内判定手段及び前記処理手段は、前記物体追跡技術を用いて生成された１つのグループに属する顔画像を前記第１の顔画像群とし、前記物体追跡技術を用いて生成された他のグループに属する顔画像を前記第２の顔画像群とする処理装置。
  4. 　請求項３に記載の処理装置において、
    　複数の顔画像で階層構造のインデックスデータを生成するインデックスデータ生成手段をさらに有し、
    　前記インデックスデータ生成手段は、
    　　全ての顔画像を最下層に位置させ、
    　　前記最下層において、類似度が第１の閾値以上の顔画像同士でまとめたグループを生成し、各グループから１つの顔画像を抽出して第１の層に位置させ、前記第１の層に位置する顔画像と各顔画像が属する前記最下層に位置する前記グループとを紐付け、
    　　前記第１の層において、類似度が前記第１の閾値より低い第２の閾値以上の顔画像同士でまとめたグループを生成し、各グループから１つの顔画像を抽出して第２の層に位置させ、前記第２の層に位置する顔画像と各顔画像が属する前記第１の層に位置する前記グループとを紐付けることで、少なくとも前記最下層と、前記第１の層と、前記第２の層とを有する前記階層構造のインデックスデータを生成する処理装置。
  5. 　請求項４に記載の処理装置において、
    　前記インデックスデータ生成手段は、物体追跡技術を用いて同一人物と判定された顔画像のグループ毎に、前記階層構造のインデックスデータを生成し、
    　前記顔画像群間判定手段、前記顔画像群内判定手段及び処理手段は、１つの前記階層構造のインデックスデータに含まれる顔画像を前記第１の顔画像群とし、他の前記階層構造のインデックスデータに含まれる顔画像を前記第２の顔画像群とする処理装置。
  6. 　請求項５に記載の処理装置において、
    　前記顔画像群間判定手段及び前記顔画像群内判定手段は、最上層に位置する顔画像を前記代表顔画像とする処理装置。
  7. 　請求項４に記載の処理装置において、
    　前記インデックスデータ生成手段は、画像から抽出された複数の顔画像で前記階層構造のインデックスデータを生成し、
    　前記顔画像群間判定手段、前記顔画像群内判定手段及び前記処理手段は、前記閾値が基準値以上の所定の層に位置する第１の画像に紐付けられた複数の顔画像を前記第１の顔画像群とし、前記所定の層に位置し、前記第１の画像と同じグループに属する第２の画像に紐付けられた複数の顔画像を前記第２の顔画像群とする処理装置。
  8. 　請求項７に記載の処理装置において、
    　前記顔画像群間判定手段及び前記顔画像群内判定手段は、前記第１の画像を前記第１の代表顔画像とし、前記第２の画像を前記第２の代表顔画像とする処理装置。
  9. 　コンピュータが、
    　第１の顔画像群の中の第１の代表顔画像と、第２の顔画像群の中の第２の代表顔画像との類似度が第１の条件を満たすか判定する顔画像群間判定工程と、
    　前記第１の代表顔画像と前記第１の顔画像群の中の他の顔画像各々との類似度、及び、前記第２の代表顔画像と前記第２の顔画像群の中の他の顔画像各々との類似度に基づき、前記代表顔画像と前記顔画像群の中の他の画像との関係を定めた第２の条件を満たすか、前記第１の顔画像群及び前記第２の顔画像群毎に判定する顔画像群内判定工程と、
    　前記第１の条件を満たし、かつ、前記第１の顔画像群及び前記第２の顔画像群いずれも前記第２の条件を満たすと判定された場合、前記第１の顔画像群及び前記第２の顔画像群に含まれる複数の顔画像に同一の人物ＩＤを紐付ける処理工程と、
    を実行する処理方法。
  10. 　コンピュータを、
    　第１の顔画像群の中の第１の代表顔画像と、第２の顔画像群の中の第２の代表顔画像との類似度が第１の条件を満たすか判定する顔画像群間判定手段、
    　前記第１の代表顔画像と前記第１の顔画像群の中の他の顔画像各々との類似度、及び、前記第２の代表顔画像と前記第２の顔画像群の中の他の顔画像各々との類似度に基づき、前記代表顔画像と前記顔画像群の中の他の画像との関係を定めた第２の条件を満たすか、前記第１の顔画像群及び前記第２の顔画像群毎に判定する顔画像群内判定手段、
    　前記第１の条件を満たし、かつ、前記第１の顔画像群及び前記第２の顔画像群いずれも前記第２の条件を満たすと判定された場合、前記第１の顔画像群及び前記第２の顔画像群に含まれる複数の顔画像に同一の人物ＩＤを紐付ける処理手段、
    として機能させるプログラム。
PCT/JP2019/046990 2019-03-15 2019-12-02 処理装置、処理方法及びプログラム WO2020188898A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021506150A JP7251609B2 (ja) 2019-03-15 2019-12-02 処理装置、処理方法及びプログラム
US17/436,725 US11823491B2 (en) 2019-03-15 2019-12-02 Processing apparatus, processing method, and non-transitory storage medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019048454 2019-03-15
JP2019-048454 2019-03-15

Publications (1)

Publication Number Publication Date
WO2020188898A1 true WO2020188898A1 (ja) 2020-09-24

Family

ID=72520822

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/046990 WO2020188898A1 (ja) 2019-03-15 2019-12-02 処理装置、処理方法及びプログラム

Country Status (3)

Country Link
US (1) US11823491B2 (ja)
JP (1) JP7251609B2 (ja)
WO (1) WO2020188898A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11314802B2 (en) * 2019-11-01 2022-04-26 Microsoft Technology Licensing, Llc Automatic image selection for visual consistency

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006343791A (ja) * 2005-06-07 2006-12-21 Hitachi Ltd 顔画像データベース作成方法
WO2014109127A1 (ja) * 2013-01-11 2014-07-17 日本電気株式会社 インデックス生成装置及び方法並びに検索装置及び検索方法
JP2014139733A (ja) * 2013-01-21 2014-07-31 Sony Corp 情報処理装置および方法、並びにプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6167767B2 (ja) * 2013-08-30 2017-07-26 日本電気株式会社 インデックス生成装置及び検索装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006343791A (ja) * 2005-06-07 2006-12-21 Hitachi Ltd 顔画像データベース作成方法
WO2014109127A1 (ja) * 2013-01-11 2014-07-17 日本電気株式会社 インデックス生成装置及び方法並びに検索装置及び検索方法
JP2014139733A (ja) * 2013-01-21 2014-07-31 Sony Corp 情報処理装置および方法、並びにプログラム

Also Published As

Publication number Publication date
JPWO2020188898A1 (ja) 2020-09-24
US20220189199A1 (en) 2022-06-16
JP7251609B2 (ja) 2023-04-04
US11823491B2 (en) 2023-11-21

Similar Documents

Publication Publication Date Title
JP5353148B2 (ja) 画像情報検索装置、画像情報検索方法およびそのコンピュータプログラム
US11554292B2 (en) System and method for content and style predictions in sports
US8032539B2 (en) Method and apparatus for semantic assisted rating of multimedia content
US10949615B2 (en) Apparatus and method for verifying sentence
JP6231944B2 (ja) 学習モデル作成装置、判定システムおよび学習モデル作成方法
JP2010073114A6 (ja) 画像情報検索装置、画像情報検索方法およびそのコンピュータプログラム
JP2008257460A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2011524566A5 (ja)
CN103699691B (zh) 生成图像指纹及基于此进行相似图像检索的方法
JP2019053541A (ja) 情報処理装置、情報処理方法、及びプログラム
He et al. Petgen: Personalized text generation attack on deep sequence embedding-based classification models
WO2017183548A1 (ja) 情報処理システム、情報処理方法、及び、記録媒体
WO2020188898A1 (ja) 処理装置、処理方法及びプログラム
US20090094177A1 (en) Method for efficient machine-learning classification of multiple text categories
WO2020202572A1 (ja) 画像処理システム、推定装置、処理方法及びプログラム
JP5518757B2 (ja) 文書分類学習制御装置、文書分類装置およびコンピュータプログラム
WO2021174924A1 (zh) 信息生成方法、装置、电子设备及存储介质
CN103020095B (zh) 信息处理设备和信息处理方法
JP2012194691A (ja) 識別器の再学習方法、再学習のためのプログラム、及び画像認識装置
JP7192888B2 (ja) 処理装置、処理方法及びプログラム
KR102085427B1 (ko) 딥러닝 생성 모델을 이용한 사용자 정보 삭제 방법 및 장치
KR102215285B1 (ko) 키 프레임 선택 방법 및 이를 수행하는 장치들
JP2011138512A (ja) 重複画像除去時の代表画像の選択方法及びシステム
JP4982542B2 (ja) 共起行列生成装置、共起行列生成方法、共起行列生成プログラムおよびそのプログラムを記録した記録媒体
JP2007066228A (ja) コンテンツ検索システムおよびその方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19920314

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021506150

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19920314

Country of ref document: EP

Kind code of ref document: A1