WO2019111550A1 - 人物照合装置、方法、及び非一時的なコンピュータ可読媒体 - Google Patents

人物照合装置、方法、及び非一時的なコンピュータ可読媒体 Download PDF

Info

Publication number
WO2019111550A1
WO2019111550A1 PCT/JP2018/038673 JP2018038673W WO2019111550A1 WO 2019111550 A1 WO2019111550 A1 WO 2019111550A1 JP 2018038673 W JP2018038673 W JP 2018038673W WO 2019111550 A1 WO2019111550 A1 WO 2019111550A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
feature
person
weight
matching
Prior art date
Application number
PCT/JP2018/038673
Other languages
English (en)
French (fr)
Inventor
雄太 工藤
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2019558049A priority Critical patent/JP6897793B2/ja
Priority to US16/770,359 priority patent/US11495057B2/en
Publication of WO2019111550A1 publication Critical patent/WO2019111550A1/ja
Priority to US17/666,834 priority patent/US11748864B2/en
Priority to US17/668,515 priority patent/US11763435B2/en
Priority to US17/668,471 priority patent/US11776098B2/en
Priority to US18/225,824 priority patent/US20230368351A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present disclosure relates to a person verification apparatus, method, and nontemporary computer readable medium, and more particularly, to a person verification apparatus, method, and nonverify apparatus for verifying whether or not a person included in an image is a registered person. It relates to a temporary computer readable medium.
  • Patent Document 1 discloses a technique of cutting out clothes regions of each person and collating a person using texture features and color features of the upper and lower body. Further, in Patent Document 2, the weights of each area according to the orientation of the person in the front, the side, and the back are defined in advance with respect to the divided person area, and the feature is weighted at the time of collation. Discloses a technique for collating persons having different directions.
  • Patent Document 3 discloses a feature point extraction device that can be used for authenticating a person.
  • a shape model representing a statistical positional relationship of feature points of an object such as a face is used.
  • the shape model is composed of an average position vector indicating the average position of feature points and an eigenvector matrix indicating statistical variation of feature point positions.
  • the feature point extraction device described in Patent Document 3 sets weights on feature points according to an input image.
  • the feature point extraction apparatus sets a small weight for feature points belonging to a component not detected in the detection of an object, and sets a large weight for a feature point belonging to a detected component.
  • the feature point extraction apparatus searches for candidate positions for feature points of an input image, and projects candidate positions for feature points onto a shape model according to weights for the feature points.
  • Patent Document 2 it is possible to collate persons having different orientations by defining in advance the weight of each area according to the orientation of a person and weighting features at the time of collation.
  • patent document 2 it is necessary to define the weight in each direction beforehand, and can not respond to the direction of the direction which is not defined. In the case where all possible directions in the patent document 2 are defined, there arises a problem that a huge amount of definition work needs to be performed.
  • Patent Document 1 and Patent Document 2 the fact that the person is shielded is not considered.
  • Patent Document 3 the weight on feature points belonging to components not detected in the detection of an object is set small, and the weight on feature points belonging to detected components is set large. By doing this, it is possible to authenticate a person using unshielded feature points.
  • Patent Document 3 in order to extract feature points from objects of various aspects having different orientations and postures, it is necessary to previously define shape models corresponding to various aspects. Therefore, also in Patent Document 3, only the orientation and posture of the object defined in advance can be coped with, and an aspect not defined can not be coped with.
  • the present disclosure is a person matching apparatus, method, and non-temporary computer readable method that can match persons who can take various aspects in an image without manually defining them in advance.
  • One purpose is to provide a medium.
  • the present disclosure relates to a weight estimation unit that estimates a weight from a person image including a person according to the existence probability of a human body part of the person, the person image, and the estimated weight
  • a person matching apparatus comprising: feature generation means for producing a feature for matching; and person matching means for comparing the generated feature for matching with the matching feature stored in the matching feature storage means provide.
  • the present disclosure estimates a weight from a person image including a person according to the presence probability of a human body part of the person, and generates a feature for matching based on the person image and the estimated weight. And comparing the generated feature for matching with the matching feature stored in the matching feature storage means, and providing a person matching method for outputting the result of the comparison.
  • the present disclosure provides a computer with a process for estimating a weight from a person image including a person according to the existence probability of a human body part of the person, and for matching based on the person image and the estimated weight.
  • a non-temporary process for executing a process of generating a feature, a process of comparing the generated feature for matching with the matching feature stored in the matching feature storage means, and a process of outputting the result of the comparison Computer readable media.
  • the person matching apparatus, method, and non-transitory computer-readable medium of the present disclosure can match different persons to be matched in different modes without manually defining them in advance.
  • FIG. 1 is a block diagram illustrating a schematic person matching device of the present disclosure.
  • FIG. 1 is a block diagram showing a person matching device and a feature learning device according to a first embodiment.
  • FIG. 1 is a block diagram showing a configuration example of a feature learning device.
  • FIG. 2 is a block diagram showing an example of a convolutional neural network.
  • FIG. 1 shows a schematic person matching apparatus of the present disclosure.
  • the person collation device 10 includes a weight estimation unit 11, a feature generation unit 12, a collation feature storage unit 13, and a person collation unit 14.
  • the weight estimation unit 11 estimates a weight from the human image including the human according to the existence probability of the human body part of the human.
  • the feature generation unit 12 generates a feature for matching based on the person image and the weight estimated by the weight estimation unit 11.
  • the matching feature storage unit 13 stores the feature of the person to be matched as a matching feature.
  • the person verification means 14 compares the feature for verification generated by the feature generation means 12 with the verification feature stored in the verification feature storage means 13.
  • the matching feature storage unit 13 may be referred to by the person matching unit 14 and may not necessarily be a part of the person matching device 10.
  • the weight estimation unit 11 estimates a weight according to the presence probability of the human body part of the person.
  • the feature generation means 12 extracts features for matching using the estimated weights.
  • a feature is extracted using a weight according to the presence probability of a human body part, and the feature generation unit 12 generates, for example, a feature based on a part having a high presence probability of a human body part as a feature for matching.
  • Can. By performing matching using the features generated in this way, it is possible to match persons who can take various aspects in an image without manually defining them in advance.
  • FIG. 2 shows a person matching device and a feature learning device according to the first embodiment.
  • the person matching device 100 matches a person included in a video (image) photographed using a camera or the like with a person registered in advance using a feature extracted from the image.
  • the person verification device 100 corresponds to the person verification device 10 of FIG.
  • the feature learning device 200 learns a model used for feature extraction in person matching in the person matching device 100.
  • the feature learning apparatus 200 learns, for example, a convolutional neural network used for feature extraction.
  • the person matching device 100 and the feature learning device 200 include, for example, a computer device that has a processor and a memory and operates according to a program read from the memory by the processor.
  • the person matching device 100 and the feature learning device 200 do not necessarily have to be physically separated devices.
  • the same computer device may be used as the person matching device 100 and the feature learning device 200.
  • FIG. 3 shows a person verification apparatus 100.
  • the person collation device 100 includes an input unit 101, a person image cutout unit 110, a weight estimation unit 120, a feature generation unit 130, a collation feature database 140, a person collation unit 150, and an output unit 160.
  • the person matching device 100 at least a part of the functions of the person image clipping unit 110, the weight estimation unit 120, the feature generation unit 130, and the person matching unit 150 may be realized by a processor operating according to a program.
  • the verification feature database 140 is configured using an auxiliary storage device such as a hard disk drive, for example.
  • the input unit 101 receives an image including a person to be collated from an external input device such as a camera.
  • the human image cutout unit 110 cuts out a human region in which a human exists from the input image.
  • the human image cutout unit 110 performs enlargement or reduction processing, zero padding processing, or the like on the image obtained by cutting out the human region, and converts the image of the human region into an image of a predetermined size while maintaining the aspect ratio. Do.
  • the human image cutout unit 110 cuts out the human region using, for example, a known method.
  • the human image cutout unit 110 cuts out the human region using, for example, a method using HOG (Histogram of Oriented Gradients), a method using a background difference, or the like.
  • the weight estimation unit 120 generates a weight image from the person area image (person image) extracted by the person image extraction unit 110.
  • the weight estimation unit 120 corresponds to the weight estimation unit 11 of FIG.
  • the weight estimation unit 120 includes a part presence probability estimation unit 121 and a weight image generation unit 122.
  • the part presence probability estimation unit 121 estimates the probability that a specific human body part exists for each pixel of the input person area image.
  • the "specific human body part” means a part of the human body whose position can be estimated from the image.
  • the specific human body part includes, for example, a part that can be represented by a point, such as a wrist or a nose. Further, the specific human body part includes, for example, a part that can be expressed by a face such as an arm or a chest.
  • the site presence probability estimation unit 121 estimates the probability that a specific human body site exists by using, for example, a known method. For example, a method based on a convolutional neural network or a method using HOG can be used to estimate the existence probability of a human body part. Methods based on convolutional neural networks are described, for example, in "Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields" (Zhe Cao et al., CVPR 2017). For example, the site presence probability estimation unit 121 estimates the probability that a human body site exists at each pixel for J human body sites, where J is a predetermined positive integer.
  • the weight image generation unit 122 generates a weight image using the presence probability estimated by the part presence probability estimation unit 121.
  • the pixel value (weight) of each pixel of the weighted image indicates the degree of importance of each pixel.
  • the weight image generation unit 122 generates, for example, a weight image for each human body part whose presence probability has been estimated. For example, when the presence probability is estimated for J human body parts, the weight image generation unit 122 generates J weight images.
  • the weight image generation unit 122 performs, for example, normalization processing based on the existence probability of the whole human body part to the existence probability estimated for each human body part, and calculates the weight of each pixel.
  • the weight image generation unit 122 may perform threshold processing on the presence probability (weight) of the human body part, and may set the weight to 0 when the presence probability is equal to or less than a predetermined threshold.
  • the feature generation unit 130 generates a feature to be used for matching based on the person area image extracted by the person image extraction unit 110 and the weight image generated by the weight image generation unit 122.
  • the feature generator 130 corresponds to the feature generator 12 of FIG.
  • the feature generation unit 130 includes an image integration unit 131 and a feature extraction unit 132.
  • the image integration unit 131 combines (integrates) the person area image and the weight image for each human body part in the channel direction.
  • the feature extraction unit 132 receives the image integrated by the image integration unit 131 as an input, and generates a feature to be used for person matching using a convolutional neural network learned using the feature learning device 200 (see FIG. 2). .
  • the matching feature database 140 stores the feature (matching feature) of the person to be matched.
  • the matching feature is generated by applying, for example, a person image prepared in advance and a weight image generated based on the person image to a convolutional neural network learned using the feature learning device 200.
  • the matching feature database 140 corresponds to the matching feature storage unit 13 of FIG.
  • the person matching unit 150 compares the feature generated by the feature generation unit 130 with the matching feature stored in the matching feature database 140.
  • the output unit 160 outputs the comparison result of the person matching unit 150.
  • the output unit 160 uses, for example, a display device, an audio device, or a lamp to display a comparison result indicating whether the person included in the person area image extracted by the person image extraction unit 110 matches the person to be compared. Output.
  • the person collation unit 150 corresponds to the person collation unit 14 of FIG.
  • FIG. 4 shows a feature learning device 200.
  • the feature learning device 200 includes a weight estimation unit 210, a feature learning unit 220, and a training image database 230.
  • the feature learning device 200 at least a part of the functions of the weight estimation unit 210 and the feature learning device 200 may be realized as a processor operates according to a program.
  • the training image database 230 is configured using an auxiliary storage device such as a hard disk drive, for example.
  • the training image database 230 stores a plurality of training images (teacher data) used for learning of a convolutional neural network.
  • the training image database 230 associates and stores, for example, a training image including a person and a label that can identify the person included in the training image.
  • For the label for example, an ID (Identifier) or a name is used.
  • the training images have the same image size, for example, by performing appropriate enlargement or reduction processing, zero padding processing, etc. on the image of a person in advance.
  • the size of the training image is equal to, for example, the size of the person area image generated by the person image cutout unit 110 of the person matching device 100.
  • the weight estimation unit 210 generates a weight image for each of the plurality of training images stored in the training image database 230.
  • the weight estimation unit 210 includes a part presence probability estimation unit 211 and a weight image generation unit 212.
  • the site presence probability estimation unit 211 estimates the probability that a specific human body site exists for each pixel of the training image.
  • the estimation of the existence probability of the human body part performed by the part existence probability estimation unit 211 may be the same as the estimation of the existence probability of the human body part performed by the part existence probability estimation unit 121 of the person matching device 100 illustrated in FIG.
  • the weight image generation unit 212 generates a weight image using the presence probability estimated by the part presence probability estimation unit 211.
  • the weight image generation unit 212 generates, for example, a weight image for each of the human body parts whose presence probabilities have been estimated.
  • the generation of the weight image performed by the weight image generation unit 212 may be the same as the generation of the weight image performed by the weight image generation unit 122 of the person matching device 100.
  • the feature learning unit 220 learns a convolutional neural network using a plurality of training images and their labels, and a weight image generated from each training image.
  • the feature learning unit 220 includes an image integration unit 221 and a learning unit 222.
  • the image integration unit 221 combines the training image and the weight image in the channel direction.
  • the learning unit 222 learns a convolutional neural network using the image integrated by the image integration unit 221. More specifically, the learning unit 222 takes the image received from the image integration unit 221 as an input, and learns the convolutional neural network so that the output approaches a label attached to the image (training image).
  • FIG. 5 shows an operation procedure in the feature learning device 200.
  • the weight estimation unit 210 and the feature learning unit 220 acquire a training image from the training image database 230 (step A1).
  • the feature learning unit 220 also acquires a label corresponding to the training image.
  • the weight estimation unit 210 generates a weight image of each part of the person included in the image from the image acquired from the training image database 230 (step A2).
  • the weight estimation unit 210 outputs the generated weight image to the feature learning unit 220.
  • FIG. 6 shows an operation procedure of generating a weight image.
  • the part existence probability estimation unit 211 calculates the existence probability of the human body part at each pixel of the input image using the existing part estimation technique (step B1).
  • the site presence probability estimation unit 211 calculates the presence probability of the human body part at each pixel for each human body part using, for example, a method using a convolutional neural network or a method using HOG.
  • the part presence probability estimation unit 211 outputs the calculated presence probability to the weight image generation unit 212.
  • the weight image generation unit 212 converts the presence probability of each human body part acquired from the part presence probability estimation unit 211 into a weight (step B2).
  • the weight image generation unit 212 converts the presence probability of the human body part into a weight using, for example, the following equation.
  • p Jxy is an integer from 1 to j to J, represents the existence probability of the body part j in the pixel of the input image (training images) (x, y), w jxy the position (x, This represents the weight of the human body part j in y).
  • max (P) represents the maximum value of the existence probability of all human body parts
  • min (P) represents the minimum value of the existence probability of all human body parts.
  • the weight image generation unit 212 applies threshold processing to the weight converted in step B2 (step B3).
  • the weight image generation unit 212 compares, for example, the weight w jxy with a predetermined threshold, and sets the value of w j xy to 0 if the weight w j xy is equal to or less than the threshold. Thereafter, the weight image generation unit 212 generates a weight image by performing quantization so that the weight w jxy has a predetermined number of bits (step B4).
  • Weighted image generation unit 212 in step B4, for example, by weight w Jxy quantizes the weights to be the same number of bits as the pixel value of the training images, the position of the weighted image weights w jxy (x, y Convert to the pixel value of).
  • the image integration unit 221 of the feature learning unit 220 combines the training image acquired in step A1 and the weight image generated in step A2 in the channel direction (step A3).
  • the learning unit 222 applies the training image and the weight image combined in step A3 to the convolutional neural network.
  • the learning unit 222 learns the convolutional neural network by updating the parameters of the convolutional neural network using the label of the training image (step A4).
  • the feature learning unit 220 repeatedly performs steps A1 to A4 on a plurality of training images to learn a convolutional neural network capable of identifying a person.
  • FIG. 7 shows an example of a convolutional neural network.
  • the convolutional neural network 300 has an input layer 301, an intermediate layer 302, and an output layer 303.
  • the input layer 301 includes a plurality of nodes 310, and the middle layer 302 and the output layer 303 each include a plurality of nodes 311.
  • the middle layer 302 has a plurality of layers each consisting of a plurality of nodes 311.
  • Nodes 310 and 311 represent processes implemented in a convolutional neural network.
  • the node 310 included in the input layer 301 represents a process of inputting a training image and a weight image combined in the channel direction.
  • a node 311 included in the middle layer 302 and the output layer 303 represents a process of executing a certain operation on the input value.
  • An edge 312 connecting between nodes represents a process of multiplying weights by output values of the nodes.
  • the convolutional neural network 300 shown in FIG. 7 is merely an example shown conceptually, and the convolutional neural network learned by the learning unit 222 is not limited to that shown in FIG.
  • the middle layer 302 of the convolutional neural network to be learned may include more nodes and layers than the middle layer 302 of the convolutional neural network 300 shown in FIG.
  • the learning unit 222 uses, for example, the difference between the output value of the output layer 303 and the label of the training image when the training image and the weight image coupled in the channel direction are input to the input layer 301. , Etc. to learn the weight of the edge 312. For example, by using images of persons of various postures as training images, it is possible to learn a convolutional neural network for identifying persons of various postures.
  • FIG. 8 shows an operation procedure of the person matching device 100.
  • the input unit 101 acquires an image including a target person from an input device such as a camera (step C1).
  • the human image cutout unit 110 cuts out a human region from the image acquired in step C1 (step C2).
  • the human image cutout unit 110 detects a human rectangle using, for example, the existing human position detection technique, and cuts out an image in the rectangle.
  • the person image cutout unit 110 performs an image size normalization process for making the size and shape of the image into a predetermined size and shape on the image cut out in step C2, and generates a person area image (step C3).
  • the human image clipping unit 110 converts, for example, the clipped image into a square image having equal vertical and horizontal lengths.
  • the human image clipping unit 110 first enlarges or reduces the clipped image so that the length of the long side becomes a fixed length such as 256.
  • the human image clipping unit 110 fills in the pixel value 0 with a short length of the clipped image so that the length of the short side of the clipped image becomes a fixed length, and generates a square human region image.
  • the weight estimation unit 120 acquires the person area image generated in step C3 from the person image cutout unit 110.
  • the weight estimation unit 120 generates a weight image from the acquired person area image (step C4).
  • the generation of the weight image performed by the weight estimation unit 120 is performed in the weight estimation unit 210 of the feature learning device 200 described with reference to FIG. 6 except that the image from which the weight image is generated changes from a training image to a person area image. It may be similar to the generation of the weight image.
  • the weight estimation unit 120 generates, for example, a weight image based on the existence probability of the human body part in the human region image for a plurality of human body parts.
  • the feature generation unit 130 acquires the person area image generated in step C3 from the person image cutout unit 110, and acquires the weight image generated in step C4 from the weight estimation unit 120.
  • the image integration unit 131 of the feature generation unit 130 combines the acquired person area image and the weight image in the channel direction (step C5).
  • the number of channels of the combined image is, for example, 3 + J when the human region image is a color image and the weight estimation unit 120 generates J weighted images.
  • the feature extraction unit 132 applies the human region image and the weight image combined in the channel direction in step C5, which are input from the image integration unit 131, to the trained convolutional neural network (step C6).
  • the feature extraction unit 132 inputs the human region image and the weight image to the convolutional neural network learned in the procedure shown in FIG. 5 using the feature learning device 200.
  • the feature extraction unit 132 extracts an intermediate feature of the convolutional neural network as a feature for matching (step C7).
  • the feature extraction unit 132 extracts the output value of each node of a certain layer included in the middle layer 302 (see FIG. 7) of the convolutional neural network as a feature for comparison.
  • the feature extraction unit 132 extracts, for example, the output value of each node of the last stage of the intermediate layer 302, that is, the layer immediately before the output layer 303 as a feature for matching.
  • the person verification unit 150 compares the feature extracted in step C7 with the verification feature stored in the verification feature database 140 (step C8).
  • the person matching unit 150 selects, for example, one matching feature stored in the matching feature database 140 one by one, and compares the selected matching feature with the matching feature extracted in step C7.
  • the person matching unit 150 calculates at least one of the distance such as the Euclidean distance and the similarity (angle) such as cosine similarity. For example, when the Euclidean distance between the matching feature and the matching feature extracted in step C7 is equal to or less than a predetermined threshold value, the person matching unit 150 determines that the features match. The person matching unit 150 determines that the features match if the cosine similarity between the feature for matching and the matching feature extracted in step C7 is equal to or more than a predetermined similarity.
  • the person matching unit 150 When determining that the feature for matching extracted in step C7 matches any of the matching features, the person matching unit 150 notifies the output unit 160 of information identifying a person of the matching feature matched as a comparison result. When it is determined that the matching feature extracted in step C7 does not match any matching feature, the person matching unit 150 notifies the output unit 160 to that effect.
  • the output unit 160 outputs the comparison result (matching result) of the person matching unit 150 to the outside.
  • the output unit 160 displays, for example, the image of the person area cut out in step C2 and information for identifying the person on the display device.
  • the weight estimation unit 120 generates a weight image based on the presence probability of the human body part.
  • the part where a specific human body part is present is an important part for feature extraction in the person matching, and the weight image generated by the weight estimation unit 120 is the position on the image to be noticed in the matching process. Shows its importance.
  • the feature generation unit 130 combines the human region image and the weight image in the channel direction and applies it to a convolutional neural network, and extracts an intermediate feature of the convolutional neural network as a feature for matching.
  • the convolution process of the convolutional neural network sums up the convolution results in each channel and outputs the result to the next layer, so the pixel value of the person area image of the pixel having a large pixel value (weight) of the weighted image is the subsequent layer.
  • the impact of In the present embodiment by extracting features from a human region image using a weight image generated from the presence probability of a human body part as a clue, it is possible to extract features effective for collation focusing on the human body part. By performing matching using such features, the person matching apparatus 100 can perform accurate matching independently of the depression angle at the time of image shooting, the orientation, posture, and the shielding condition of a person.
  • Patent Document 1 and Patent Document 2 taking into consideration that the person is shielded or taking a posture other than standing is not considered, and there is a possibility that accurate matching can not be performed in an actual environment. For example, when matching a certain person in these patent documents, if a different person from the person is in front, there is a possibility that the different person shields the target person. In this case, if the occluding person is divided as part of the target person, an incorrect matching result may be obtained as a result. On the other hand, in the present embodiment, since the person matching is performed based on the feature according to the existence probability of the human body part, it is possible to obtain the correct matching result even in the actual environment.
  • FIG. 9 shows a person verification apparatus according to a second embodiment.
  • the person verification apparatus 100a according to the present embodiment differs from the person verification apparatus 100 according to the first embodiment shown in FIG. 3 in the configuration of the feature generation unit 130a.
  • the feature generation unit 130a includes an image feature extraction unit 133 and a weight application unit 134.
  • the feature generation unit 130a applies the information of the weight image as a mask to the extracted feature for matching.
  • the other points may be the same as in the first embodiment.
  • the image feature extraction unit 133 calculates a predetermined image feature from the person area image.
  • the image feature extraction unit 133 calculates, as a predetermined image feature, a feature representing a feature in an image with a frequency, such as a color histogram feature, a gradient histogram feature, and a combination thereof.
  • the image feature extraction unit 133 calculates, for example, an image feature in which each pixel of the person area image is classified into N sections (bins) according to the color or the gradient, where N is an integer of 2 or more.
  • the weight application unit 134 calculates a feature weighted based on the weight image of each human body part with respect to the frequency of the image feature calculated by the image feature extraction unit 133.
  • the weight application unit 134 calculates the value b jn of the n-th bin of the weighted feature using the weight image of the human body part j, using n as an integer from 1 to N, for example.
  • w jxy represents the weight of the pixel (x, y) of the body part j.
  • epsilon NXY indicates whether the pixel of the person area image (x, y) is found in the n-th bin.
  • the value of ⁇ n xy is 1 if the pixel is voted for the n th bin and 0 otherwise.
  • the weight application unit 134 generates a feature for matching on the basis of the feature weighted based on the weight image of each human body part.
  • the weight application unit 134 generates a feature for matching by, for example, connecting features weighted based on the weight image of each human body part.
  • the weight application unit 134 may generate the feature for matching by multiplying the feature weighted based on the weight image of each human body part by the coefficient defined for each human body part and combining them.
  • the weight application unit 134 may generate the feature for matching by taking the maximum value of the features weighted based on the weight image of each human body part or taking the average value.
  • FIG. 10 shows an operation procedure of the person matching device 100a according to the present embodiment.
  • the input unit 101 acquires an image including a target person from an input device such as a camera (step D1).
  • the human image cutout unit 110 cuts out a human region from the image acquired in step D1 (step D2).
  • the person image cutout unit 110 performs an image size normalization process for making the size and shape of the image into a predetermined size and shape on the image cut out in step D2, and generates a person area image (step D3).
  • the weight estimation unit 120 generates a weight image from the person area image generated in step D3 from the person image cutout unit 110 (step D4). Steps D1 to D4 may be similar to steps C1 to C4 of FIG.
  • the image feature extraction unit 133 of the feature generation unit 130 extracts an image feature for matching from the person area image generated in step D3 (step D5).
  • the image feature extraction unit 133 extracts features, such as color histograms and gradient histograms, obtained by representing values calculated from each pixel with frequency as image features.
  • the weight application unit 134 uses the weight image generated in step D4 to weight the image feature extracted in step D5 (step D6).
  • the weight application unit 134 calculates the value b jn of the n-th bin of the feature to be weighted using human body region weight images for human body regions 1 to J using, for example, Equation 2 above.
  • the weight application unit 134 generates features for matching by integrating weighted image features for each human body part (step D7). For example, the weight application unit 134 combines the features of the n-th bin values b 1n to b Jn weighted using the weight image of the human body part 1 to J calculated in step D 6 as a one-dimensional vector, Generate as a feature for matching. In that case, the number of dimensions of the feature for matching is J times the number of dimensions of the image feature extracted by the image feature extraction unit 133.
  • the matching feature database 140 stores, as matching features, features generated in the same procedure as the feature generating unit 130a generates a feature for matching.
  • the person matching unit 150 compares the feature extracted in step D7 with the matching feature stored in the matching feature database 140 (step D8). For example, when the Euclidean distance between the feature for matching and the matching feature extracted in step D7 is equal to or less than a predetermined threshold value, the person matching unit 150 determines that the features match.
  • the person matching unit 150 determines that the features match if the cosine similarity between the feature for matching and the matching feature extracted in step D7 is equal to or more than a predetermined similarity.
  • the output unit 160 outputs the comparison result (matching result) of the person matching unit 150 to the outside.
  • Step D8 may be the same as step C8 in FIG. 8 except that the feature to be matched is an image feature weighted using a weighted image.
  • the feature generation unit 130a weights the image feature that represents the feature in the image by the frequency, using the weight image generated based on the existence probability of the human body part. In the present embodiment, by weighting image features extracted from a human region image using as a clue a weight image generated from the presence probability of a human body part, an image feature including many components derived from the human body part is generated. Can.
  • the person verification apparatus 100a performs verification of a person using such an image feature, and as in the first embodiment, it does not depend on the depression angle at the time of image shooting, the direction, posture, and the shielding situation of the person. Accurate matching can be performed. The other effects are also the same as in the first embodiment.
  • the matching feature stored in the matching feature database 140 is generated based on a human image prepared in advance, but the present invention is not limited to this.
  • the matching feature of the person is It may be registered in the matching feature database 140.
  • the feature generation unit 130 registers, in the matching feature database 140, the matching feature generated based on the person area image of the person and the weight image generated from the person area image.
  • the matching features may be used for subsequent matching.
  • the feature for matching generated by the feature generation unit 130 a may be registered in the matching feature database 140.
  • the feature generation unit 130 extracts features for matching from a convolutional neural network learned using the feature learning device 200 (see FIG. 4). It is not limited.
  • the feature learning apparatus 200 another model different from a convolutional neural network and capable of identifying a person may be learned, and the feature generation unit 130 may generate a feature for matching using the model. .
  • Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer readable media are magnetic recording media (eg flexible disk, magnetic tape, hard disk drive), magneto-optical recording media (eg magneto-optical disk), CD-ROM (Read Only Memory), CD-R, CD-R / W, semiconductor memory (for example, mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)) are included.
  • the programs may also be supplied to the computer by various types of temporary computer readable media.
  • Examples of temporary computer readable media include electrical signals, light signals, and electromagnetic waves.
  • the temporary computer readable medium can provide the program to the computer via a wired communication path such as electric wire and optical fiber, or a wireless communication path.
  • Weight estimation means for estimating a weight according to the presence probability of the human body part of the person from a person image including the person;
  • Feature generation means for generating a feature for matching based on the person image and the estimated weight;
  • a person verification apparatus comprising: person verification means for comparing the generated feature for verification with the verification feature stored in the verification feature storage means.
  • the weight estimation means A region presence probability estimating means for estimating the presence probability of the human body region for each pixel of the human image;
  • the person matching apparatus further comprising: a weight image generation unit configured to generate a weight image representing the weight based on the estimated presence probability.
  • the part presence probability estimation means estimates the existence probability of the human body part for each of a plurality of human body parts, and the weight image generation means generates the weight image for each of a plurality of human parts.
  • the weight image generation unit normalizes the existence probability estimated for each human body part using the maximum value and the minimum value of the existence probabilities of the plurality of human body parts, and the weight is calculated based on the normalized existence probability.
  • the weight image generation means may use J as the number of human body parts for estimating the existence probability of the human body parts, j as an integer from 1 to J, x and y as pixel positions in the human image, and max (P).
  • the person matching device according to claim 3 or 4, which is calculated using.
  • the convolutional neural network has an input layer, an intermediate layer, and an output layer, each of which includes a plurality of nodes; 6.
  • the person matching apparatus according to claim 6, wherein the feature generating unit extracts an output value of each node of a layer immediately before the output layer as the feature for the matching.
  • the learning device applies, to the convolutional neural network, a training image provided with a label indicating a person to be included, and the weight image generated from the training image, and the output of the convolutional neural network is the label Clause 9.
  • the feature generation means is Image feature extraction means for extracting the image feature from the human image; 11.
  • the image feature extraction unit extracts an image feature by classifying each pixel of the human image into N bins, where N is an integer of 2 or more.
  • the weight application unit may use J as the number of human body parts for estimating the existence probability of the human body part, j as an integer from 1 to J, x and y as pixel positions in the human image, n as 1 to N.
  • w Jxy weights in the pixel (x, y) of the body part j, epsilon NXY, if the pixel of the person region image (x, y) is found in the n-th bin at 1, n th
  • the value b jn of the n-th bin weighted using the weight image of the human body part j is given by the following formula as a value that is 0 if it is not voted for the bin of
  • the person verification device according to any one of appendices 13 or 14, which is calculated using
  • the weight application unit generates the matching feature by integrating n-th bin values b 1 n to b J n weighted using a weight image of human body parts 1 to J, as described in appendix 15. Person matching device.
  • the weight applying means said n-th stitching from the value b 1n the bottle b Jn as a one-dimensional vector, a maximum value or minimum value of b Jn from the value b 1n of the n-th bin, or the n th the b Jn from the value b 1n of the bin by stitching using a coefficient corresponding to the body part j, individual identification apparatus according to note 16 to integrate b Jn from the value b 1n of the n-th bin .
  • the weight is estimated from the human image including the human according to the existence probability of the human body part of the human, Generating a feature for matching based on the person image and the estimated weight; Comparing the generated matching feature with the matching feature stored in the matching feature storage means; A person matching method for outputting the result of the comparison.
  • the process of estimating the weight is A process of estimating the presence probability of the human body part for each pixel of the human image; Clause 20.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

人物の照合において、画像中の様々な態様をとり得る人物同士を、事前に人手で定義づけしなくても照合可能とする。重み推定手段（１１）は、人物が含まれる人物画像から、人物の人体部位の存在確率に応じて重みを推定する。特徴生成手段（１２）は、人物画像と重み推定手段（１１）が推定した重みとに基づいて、照合用の特徴を生成する。照合特徴記憶手段（１３）は、照合対象の人物の特徴を照合特徴として記憶する。人物照合手段（１４）は、特徴生成手段（１２）が生成した照合用の特徴と、照合特徴記憶手段（１３）に記憶された照合特徴とを比較する。

Description

人物照合装置、方法、及び非一時的なコンピュータ可読媒体
　本開示は、人物照合装置、方法、及び非一時的なコンピュータ可読媒体に関し、更に詳しくは、画像に含まれる人物が登録された人物であるか否かを照合する人物照合装置、方法、及び非一時的なコンピュータ可読媒体に関する。
　異なる映像（画像）中の人物同士が同一人物か否かを判定するシステムにおいて、色特徴やテクスチャ特徴を用いて人物を照合する技術が知られている。例えば、特許文献１には、各人物の服領域を切り出し、上半身と下半身のテクスチャ特徴と色特徴とを用いて人物を照合する技術が開示されている。また、特許文献２には、分割した人物領域に対して、正面、側面、及び背面の３パターンの人物の向きに応じた各領域の重みを事前に定義し、照合時に特徴の重み付けを行うことで向きの異なる人物同士を照合する技術が開示されている。
　さらに、特許文献３には、人物の認証に用いることができる特徴点抽出装置が開示されている。特許文献３では、例えば顔などの対象物の特徴点の統計的な位置関係を表す形状モデルが用いられる。形状モデルは、特徴点の平均的な位置を示す平均位置ベクトルと特徴点位置の統計的なばらつきを示す固有ベクトル行列とからなる。特許文献３に記載の特徴点抽出装置は、入力画像に応じて特徴点に重みを設定する。特徴点抽出装置は、対象物の検出において検出されなかった構成要素に属する特徴点に対する重みを小さく設定し、検出された構成要素に属する特徴点に対する重みを大きく設定する。特徴点抽出装置は、入力画像の特徴点に対する候補位置を探索し、特徴点に対する重みに応じて、特徴点に対する候補位置を形状モデルに射影する。
特開２０１３－１８６５４６号公報 特開２０１７－６２６３３号公報 特開２０１１－２３２８４５号公報
　特許文献１に記載の照合技術では、人物の向きが異なると、特徴が変化するため、誤った照合結果が出力される可能性がある。これに対し、特許文献２では、人物の向きに応じた各領域の重みを事前に定義し、照合時に特徴の重み付けを行うことで向きの異なる人物同士を照合することが可能である。しかしながら、特許文献２では、事前に各向きでの重みを定義する必要があり、定義されていない方向の向きには対応できない。特許文献２において現実にあり得る向きを全て定義する場合、膨大な量の定義づけ作業を行う必要があるという問題が生じる。
　また、特許文献１及び特許文献２では、人物が遮蔽されることは考慮されていない。この点に関し、特許文献３では、対象物の検出において検出されなかった構成要素に属する特徴点に対する重みが小さく設定され、検出された構成要素に属する特徴点に対する重みが大きく設定される。このようにすることで、遮蔽されていない特徴点を用いた人物の認証などが可能である。しかしながら、特許文献３において、向きや姿勢が異なる様々な態様の対象物から特徴点を抽出するためには、様々な態様に対応した形状モデルをあらかじめ定義しておく必要がある。従って、特許文献３においても、事前に定義された対象物の向きや姿勢にしか対応できず、定義されていない態様には対応できない。
　本開示は、上記事情に鑑み、画像中の様々な態様をとり得る人物同士を、事前に人手で定義づけしなくても照合することができる人物照合装置、方法、及び非一時的なコンピュータ可読媒体を提供することを目的の１つとする。
　上記課題を解決するために、本開示は、人物が含まれる人物画像から、前記人物の人体部位の存在確率に応じて重みを推定する重み推定手段と、前記人物画像と前記推定された重みとに基づいて、照合用の特徴を生成する特徴生成手段と、前記生成された照合用の特徴と、照合特徴記憶手段に記憶された照合特徴とを比較する人物照合手段とを備える人物照合装置を提供する。
　また、本開示は、人物が含まれる人物画像から、前記人物の人体部位の存在確率に応じて重みを推定し、前記人物画像と前記推定された重みとに基づいて、照合用の特徴を生成し、前記生成された照合用の特徴と、照合特徴記憶手段に記憶された照合特徴とを比較し、前記比較の結果を出力する人物照合方法を提供する。
　本開示は、コンピュータに、人物が含まれる人物画像から、前記人物の人体部位の存在確率に応じて重みを推定する処理と、前記人物画像と前記推定された重みとに基づいて、照合用の特徴を生成する処理と、前記生成された照合用の特徴と、照合特徴記憶手段に記憶された照合特徴とを比較する処理と、前記比較の結果を出力する処理とを実行させるための非一時的なコンピュータ可読媒体を提供する。
　本開示の人物照合装置、方法、及び非一時的なコンピュータ可読媒体は、事前に人手で定義づけしなくても、態様が異なる照合対象の人物同士を照合することができる。
本開示の概略的な人物照合装置を示すブロック図。 第１実施形態に係る人物照合装置と特徴学習装置とを示すブロック図。 人物照合装置の構成例を示すブロック図。 特徴学習装置の構成例を示すブロック図。 特徴学習装置における動作手順を示すフローチャート。 重み画像の生成の動作手順を示すフローチャート。 畳み込みニューラルネットワークの一例を示すブロック図。 人物照合装置における動作手順を示すフローチャート。 第２実施形態に係る人物照合装置を示すブロック図。 第２実施形態に係る人物照合装置の動作手順を示すフローチャート。
　実施の形態の説明に先立って、本開示の概要を説明する。図１は、本開示の概略的な人物照合装置を示す。人物照合装置１０は、重み推定手段１１、特徴生成手段１２、照合特徴記憶手段１３、及び人物照合手段１４を備える。
　重み推定手段１１は、人物が含まれる人物画像から、人物の人体部位の存在確率に応じて重みを推定する。特徴生成手段１２は、人物画像と重み推定手段１１が推定した重みとに基づいて、照合用の特徴を生成する。照合特徴記憶手段１３は、照合対象の人物の特徴を照合特徴として記憶する。人物照合手段１４は、特徴生成手段１２が生成した照合用の特徴と、照合特徴記憶手段１３に記憶された照合特徴とを比較する。なお、照合特徴記憶手段１３は、人物照合手段１４から参照可能であればよく、必ずしも人物照合装置１０の一部である必要はない。
　本開示に係る人物照合装置１０において、重み推定手段１１は、人物の人体部位の存在確率に応じた重みを推定する。特徴生成手段１２は、推定された重みを用いて、照合用の特徴を抽出する。本開示では、人体部位の存在確率に応じた重みを用いて特徴を抽出しており、特徴生成手段１２は、例えば人体部位の存在確率が高い部分に基づく特徴を照合用の特徴として生成することができる。このように生成された特徴を用いて照合を行うことで、画像中の様々な態様をとり得る人物同士を、事前に人手で定義づけしなくても照合することができる。
　以下、図面を参照しつつ、実施の形態を説明する。図２は、第１実施形態に係る人物照合装置と特徴学習装置とを示す。人物照合装置１００は、カメラなどを用いて撮影された映像（画像）に含まれる人物と、あらかじめ登録された人物とを、画像から抽出された特徴を用いて照合する。人物照合装置１００は、図１の人物照合装置１０に対応する。特徴学習装置２００は、人物照合装置１００における人物の照合において特徴抽出に用いられるモデルを学習する。特徴学習装置２００は、例えば、特徴抽出に用いられる畳み込みニューラルネットワークを学習する。
　人物照合装置１００及び特徴学習装置２００は、例えばプロセッサとメモリとを有し、プロセッサがメモリから読み出したプログラムに従って動作するコンピュータ装置を含む。なお、人物照合装置１００と特徴学習装置２００とは、必ずしも物理的に分離された装置である必要はない。例えば同じコンピュータ装置を、人物照合装置１００及び特徴学習装置２００として用いてもよい。
　図３は、人物照合装置１００を示す。人物照合装置１００は、入力部１０１、人物画像切り出し部１１０、重み推定部１２０、特徴生成部１３０、照合特徴データベース１４０、人物照合部１５０、及び出力部１６０を有する。人物照合装置１００において、人物画像切り出し部１１０、重み推定部１２０、特徴生成部１３０、及び人物照合部１５０の機能の少なくとも一部は、プロセッサがプログラムに従って動作することで実現されてもよい。照合特徴データベース１４０は、例えばハードディスク装置などの補助記憶装置を用いて構成される。
　入力部１０１は、カメラなどの外部の入力装置から、照合対象の人物が含まれた画像を受け取る。人物画像切り出し部１１０は、入力された画像から、人物が存在する人物領域を切り出す。人物画像切り出し部１１０は、例えば、人物領域を切り出した画像に対して拡大又は縮小処理やゼロ埋め処理などを行い、人物領域の画像を、その縦横比を維持したまま所定のサイズの画像に変換する。人物画像切り出し部１１０は、例えば公知の手法を用いて人物領域の切り出しを行う。人物画像切り出し部１１０は、例えばＨＯＧ（Histogram of Oriented Gradients）を用いた手法、或いは背景差分を用いた手法などを用いて、人物領域を切り出す。
　重み推定部１２０は、人物画像切り出し部１１０が切り出した人物領域画像（人物画像）から重み画像を生成する。重み推定部１２０は、図１の重み推定手段１１に対応する。
　重み推定部１２０は、部位存在確率推定部１２１と重み画像生成部１２２とを有する。部位存在確率推定部１２１は、入力された人物領域画像の各画素について、特定の人体部位が存在する確率を推定する。ここで、「特定の人体部位」とは、画像上から位置が推測可能な人体の部位を意味する。特定の人体部位は、例えば手首や鼻などの、点で表現できる部位を含む。また、特定の人体部位は、例えば腕や胸などの面で表現できる部位を含む。
　部位存在確率推定部１２１は、例えば公知の手法を用いて特定の人体部位が存在する確率を推定する。人体部位の存在確率の推定には、例えば畳み込みニューラルネットワークに基づく手法やＨＯＧを用いた手法を用いることができる。畳み込みニューラルネットワークに基づく手法は、例えば「Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields」（Zhe Caoら、CVPR2017）に記載されている。例えば、部位存在確率推定部１２１は、Ｊを所定の正の整数として、Ｊ個の人体部位について、各画素に人体部位が存在する確率を推定する。
　重み画像生成部１２２は、部位存在確率推定部１２１が推定した存在確率を用いて、重み画像を生成する。重み画像の各画素の画素値（重み）は、各画素の重要度を示す。重み画像生成部１２２は、例えば存在確率を推定した人体部位のそれぞれについて重み画像を生成する。重み画像生成部１２２は、例えばＪ個の人体部位について存在確率が推定された場合は、Ｊ個の重み画像を生成する。重み画像生成部１２２は、例えば、人体部位ごとに推定された存在確率に、人体部位全体の存在確率に基づく正規化処理を行い、各画素の重みを算出する。正規化処理を行うことで、画像の取得に用いられたカメラの違いや周辺環境の違いからくる存在確率の推定誤差の影響を抑制することができる。重み画像生成部１２２は、人体部位の存在確率（重み）に対してしきい値処理を行い、存在確率が所定のしきい値以下の場合は、重みを０にしてもよい。
　特徴生成部１３０は、人物画像切り出し部１１０が切り出した人物領域画像と、重み画像生成部１２２が生成した重み画像とに基づいて、照合に用いられる特徴を生成する。特徴生成部１３０は、図１の特徴生成手段１２に対応する。
　特徴生成部１３０は、画像統合部１３１と特徴抽出部１３２とを有する。画像統合部１３１は、人物領域画像と人体部位ごとの重み画像とをチャンネル方向で結合（統合）する。特徴抽出部１３２は、画像統合部１３１が統合した画像を入力として、特徴学習装置２００（図２を参照）を用いて学習された畳み込みニューラルネットワークを用いて人物の照合に用いられる特徴を生成する。
　照合特徴データベース１４０は、照合対象の人物の特徴（照合特徴）を記憶する。照合特徴は、例えば事前に用意された人物画像、及び、その人物画像に基づいて生成された重み画像を、特徴学習装置２００を用いて学習された畳み込みニューラルネットワークに適用することで生成される。照合特徴データベース１４０は、図１の照合特徴記憶手段１３に対応する。
　人物照合部１５０は、特徴生成部１３０が生成した特徴と、照合特徴データベース１４０が記憶する照合特徴とを比較する。出力部１６０は、人物照合部１５０の比較結果を出力する。出力部１６０は、例えばディスプレイ装置や音響装置、或いはランプなどを用いて、人物画像切り出し部１１０が切り出した人物領域画像に含まれる人物が照合対象の人物に一致するか否かを示す比較結果を出力する。人物照合部１５０は、図１の人物照合手段１４に対応する。
　図４は、特徴学習装置２００を示す。特徴学習装置２００は、重み推定部２１０、特徴学習部２２０、及び訓練画像データベース２３０を有する。特徴学習装置２００において、重み推定部２１０及び特徴学習装置２００の機能の少なくとも一部は、プロセッサがプログラムに従って動作することで実現されてもよい。訓練画像データベース２３０は、例えばハードディスク装置などの補助記憶装置を用いて構成される。
　訓練画像データベース２３０は、畳み込みニューラルネットワークの学習に用いられる複数の訓練画像（教師データ）を記憶する。訓練画像データベース２３０は、例えば、人物が含まれる訓練画像と、その訓練画像に含まれる人物を特定できるラベルとを対応付けて記憶する。ラベルには、例えばＩＤ（Identifier）や名前などが用いられる。訓練画像は、例えば人物の画像に対して適切な拡大又は縮小処理や、ゼロ埋め処理などが事前に施されることで、画像サイズが同じサイズに揃えられている。訓練画像のサイズは、例えば、人物照合装置１００の人物画像切り出し部１１０が生成する人物領域画像のサイズと等しい。
　重み推定部２１０は、訓練画像データベース２３０が記憶する複数の訓練画像のそれぞれについて、重み画像を生成する。重み推定部２１０は、部位存在確率推定部２１１と重み画像生成部２１２とを有する。部位存在確率推定部２１１は、訓練画像の各画素について、特定の人体部位が存在する確率を推定する。部位存在確率推定部２１１が実施する人体部位の存在確率の推定は、図３に示される人物照合装置１００の部位存在確率推定部１２１が実施する人体部位の存在確率の推定と同様でよい。
　重み画像生成部２１２は、部位存在確率推定部２１１が推定した存在確率を用いて、重み画像を生成する。重み画像生成部２１２は、例えば存在確率を推定した人体部位のそれぞれについて重み画像を生成する。重み画像生成部２１２が実施する重み画像の生成は、人物照合装置１００の重み画像生成部１２２が実施する重み画像の生成と同様でよい。
　特徴学習部２２０は、複数の訓練画像及びそのラベルと、各訓練画像から生成された重み画像とを用いて、畳み込みニューラルネットワークを学習する。特徴学習部２２０は、画像統合部２２１と学習部２２２とを有する。画像統合部２２１は、訓練画像と重み画像とを、チャンネル方向で結合する。学習部２２２は、画像統合部２２１で統合された画像を用いて、畳み込みニューラルネットワークを学習する。より詳細には、学習部２２２は、画像統合部２２１から受け取った画像を入力として、出力がその画像（訓練画像）に付与されているラベルに近づくように、畳み込みニューラルネットワークを学習する。 
　図５は、特徴学習装置２００における動作手順を示す。重み推定部２１０及び特徴学習部２２０は、訓練画像データベース２３０から訓練画像を取得する（ステップＡ１）。特徴学習部２２０は、ステップＡ１では、訓練画像に対応するラベルも取得する。重み推定部２１０は、訓練画像データベース２３０から取得した画像から、画像に含まれる人物の各部位の重み画像を生成する（ステップＡ２）。重み推定部２１０は、生成した重み画像を特徴学習部２２０に出力する。
　図６は、重み画像の生成の動作手順を示す。重み推定部２１０において、部位存在確率推定部２１１は、既存の部位推定技術を用いて、入力された画像の各画素における人体部位の存在確率を算出する（ステップＢ１）。部位存在確率推定部２１１は、ステップＢ１では、例えば畳み込みニューラルネットワークを用いた手法やＨＯＧを用いた手法を用いて、人体部位ごとに、各画素における人体部位の存在確率を算出する。部位存在確率推定部２１１は、算出した存在確率を重み画像生成部２１２に出力する。
　重み画像生成部２１２は、部位存在確率推定部２１１から取得した人体部位ごとの存在確率を重みに変換する（ステップＢ２）。重み画像生成部２１２は、ステップＢ２では、例えば下記式を用いて、人体部位の存在確率を重みに変換する。
Figure JPOXMLDOC01-appb-M000003
 　上記式１において、ｐｊｘｙは、ｊを１からＪまでの整数として、入力画像（訓練画像）の画素（ｘ，ｙ）における人体部位ｊの存在確率を表し、ｗｊｘｙは、位置（ｘ，ｙ）における人体部位ｊの重みを表す。また、ｍａｘ（Ｐ）は全ての人体部位の存在確率の最大値を表し、ｍｉｎ（Ｐ）は全ての人体部位の存在確率の最小値を表す。
　重み画像生成部２１２は、ステップＢ２で変換した重みに対してしきい値処理を適用する（ステップＢ３）。重み画像生成部２１２は、ステップＢ３では、例えば重みｗｊｘｙと所定のしきい値とを比較し、重みｗｊｘｙがしきい値以下であればｗｊｘｙの値を０にする。その後、重み画像生成部２１２は、重みｗｊｘｙが所定ビット数となるように量子化を行うことで、重み画像を生成する（ステップＢ４）。重み画像生成部２１２は、ステップＢ４では、例えば、重みｗｊｘｙが訓練画像の画素値と同じビット数になるように重みを量子化することで、重みｗｊｘｙを重み画像の位置（ｘ，ｙ）の画素値に変換する。
　図５に戻り、特徴学習部２２０の画像統合部２２１は、ステップＡ１で取得された訓練画像と、ステップＡ２で生成された重み画像とをチャンネル方向に結合する（ステップＡ３）。学習部２２２は、ステップＡ３で結合された訓練画像及び重み画像を畳み込みニューラルネットワークに適用する。学習部２２２は、訓練画像のラベルを用いて畳み込みニューラルネットワークのパラメータを更新することで、畳み込みニューラルネットワークを学習する（ステップＡ４）。特徴学習部２２０は、複数の訓練画像に対してステップＡ１からステップＡ４を繰り返し実施し、人物の識別が可能な畳み込みニューラルネットワークを学習する。
　図７は、畳み込みニューラルネットワークの一例を示す。畳み込みニューラルネットワーク３００は、入力層３０１、中間層３０２、及び出力層３０３を有する。入力層３０１は複数のノード３１０を含み、中間層３０２及び出力層３０３は、それぞれ複数のノード３１１を含む。また、中間層３０２は、それぞれが複数のノード３１１から成る複数の層を有する。
　ノード３１０及びノード３１１は、畳み込みニューラルネットワークにおいて実施される処理を表している。例えば入力層３０１に含まれるノード３１０は、チャンネル方向に結合された訓練画像及び重み画像を入力する処理を表す。中間層３０２及び出力層３０３に含まれるノード３１１は、入力された値に対してある演算を実行する処理を表す。ノード間を接続するエッジ３１２は、ノードの出力値に対して重みを乗算する処理を表す。
　なお、図７に示される畳み込みニューラルネットワーク３００は、概念的に示される一例に過ぎず、学習部２２２で学習される畳み込みニューラルネットワークは、図７に示したものには限定されない。例えば学習される畳み込みニューラルネットワークの中間層３０２は、図７に示される畳み込みニューラルネットワーク３００の中間層３０２よりも多くのノード及び層を含んでいてもよい。
　学習部２２２は、ステップＡ４では、例えば入力層３０１にチャンネル方向に結合された訓練画像及び重み画像を入力した場合の出力層３０３の出力値と訓練画像のラベルとの差を用い、誤差伝搬法などを使用して、エッジ３１２の重みを学習する。例えば、様々な姿勢の人物の画像を訓練画像として用いることで、様々な姿勢の人物を識別するための畳み込みニューラルネットワークを学習することができる。
　続いて、人物照合装置１００の動作手順を説明する。図８は、人物照合装置１００の動作手順を示す。入力部１０１は、カメラなどの入力装置から、対象人物を含む画像を取得する（ステップＣ１）。人物画像切り出し部１１０は、ステップＣ１で取得された画像から人物領域を切り出する（ステップＣ２）。人物画像切り出し部１１０は、ステップＣ２では、例えば既存の人物位置検出技術を用いて人物矩形を検出し、矩形内の画像を切り出す。
　人物画像切り出し部１１０は、ステップＣ２で切り出した画像に対して、画像のサイズや形状を所定のサイズ及び形状にするための画像サイズ正規化処理を行い、人物領域画像を生成する（ステップＣ３）。人物画像切り出し部１１０は、ステップＣ３では、例えば切り出された画像を、縦横の長さが等しい正方形の画像に変換する。例えば、人物画像切り出し部１１０は、まず、切り出した画像を、長辺の長さが２５６などの一定の長さになるように拡大又は縮小する。人物画像切り出し部１１０は、次いで、切り出した画像の短辺の長さが一定の長さになるように画素値０で埋め、正方形状の人物領域画像を生成する。
　重み推定部１２０は、人物画像切り出し部１１０からステップＣ３で生成された人物領域画像を取得する。重み推定部１２０は、取得した人物領域画像から重み画像を生成する（ステップＣ４）。重み推定部１２０が行う重み画像の生成は、重み画像の生成元の画像が訓練画像から人物領域画像に変わる点を除けば、図６を用いて説明した特徴学習装置２００の重み推定部２１０における重み画像の生成と同様でよい。重み推定部１２０は、ステップＣ４では、例えば複数の人体部位について、人物領域画像における人体部位の存在確率に基づいた重み画像を生成する。
　特徴生成部１３０は、人物画像切り出し部１１０からステップＣ３で生成された人物領域画像を取得し、重み推定部１２０からステップＣ４で生成された重み画像を取得する。特徴生成部１３０の画像統合部１３１は、取得された人物領域画像と重み画像とをチャンネル方向に結合する（ステップＣ５）。結合された画像のチャンネル数は、例えば、人物領域画像がカラー画像であり、かつ重み推定部１２０がＪ個の重み画像を生成した場合は、３＋Ｊとなる。
　特徴抽出部１３２は、画像統合部１３１から入力される、ステップＣ５でチャンネル方向に結合された人物領域画像と重み画像とを、学習済みの畳み込みニューラルネットワークに適用する（ステップＣ６）。特徴抽出部１３２は、ステップＣ６では、特徴学習装置２００を用いて図５に示される手順で学習された畳み込みニューラルネットワークに人物領域画像及び重み画像を入力する。
　特徴抽出部１３２は、畳み込みニューラルネットワークの中間特徴を、照合用の特徴として抽出する（ステップＣ７）。特徴抽出部１３２は、ステップＣ７では、畳み込みニューラルネットワークの中間層３０２（図７を参照）に含まれるある層の各ノードの出力値を照合用の特徴として抽出する。特徴抽出部１３２は、例えば中間層３０２の最終段、つまり出力層３０３の１つ前の層の各ノードの出力値を、照合用の特徴として抽出する。
　人物照合部１５０は、ステップＣ７で抽出された特徴と、照合特徴データベース１４０に記憶された照合特徴とを比較する（ステップＣ８）。人物照合部１５０は、ステップＣ８では、例えば照合特徴データベース１４０に記憶される照合特徴を１つずつ選択し、選択した照合特徴とステップＣ７で抽出された照合用の特徴とを比較する。
　人物照合部１５０は、例えば、比較対象の２つの特徴について、ユークリッド距離などの距離、及びコサイン類似度などの類似度（角度）の少なくとも一方を計算する。人物照合部１５０は、例えばステップＣ７で抽出された照合用の特徴と照合特徴との間のユークリッド距離が所定のしきい値以下である場合は、特徴が一致すると判定する。また、人物照合部１５０は、ステップＣ７で抽出された照合用の特徴と照合特徴との間のコサイン類似度が所定の類似度以上の場合は、特徴が一致すると判定する。
　人物照合部１５０は、ステップＣ７で抽出された照合用の特徴が何れかの照合特徴に一致すると判定すると、一致した照合特徴の人物を識別する情報を、比較結果として出力部１６０に通知する。人物照合部１５０は、ステップＣ７で抽出された照合用の特徴が何れの照合特徴にも一致しないと判定した場合は、その旨を出力部１６０に通知する。出力部１６０は、人物照合部１５０の比較結果（照合結果）を外部に出力する。出力部１６０は、例えばディスプレイ装置に、ステップＣ２で切り出された人物領域の画像と、人物を識別する情報とを表示する。
　本実施形態では、重み推定部１２０は、人体部位の存在確率に基づいて重み画像を生成する。人物領域画像において、特定の人体部位が存在する部分は人物照合の際の特徴抽出に重要な部分であり、重み推定部１２０が生成する重み画像は、照合処理で注目すべき画像上の位置とその重要度とを示す。特徴生成部１３０は、人物領域画像と重み画像とをチャネル方向に結合して畳み込みニューラルネットワークに適用し、畳み込みニューラルネットワークの中間特徴を照合用の特徴として抽出する。
　畳み込みニューラルネットワークの畳み込み処理は、各チャンネルで畳み込んだ結果を総和して次の層に出力するため、重み画像の画素値（重み）が大きい画素の人物領域画像の画素値は、以降の層での影響が大きくなる。本実施形態では、人体部位の存在確率から生成される重み画像を手がかりとして人物領域画像から特徴を抽出することで、人体部位に注目した照合に有効な特徴を抽出することができる。人物照合装置１００は、そのような特徴を用いて照合を行うことで、画像撮影時の俯角、人物の向き、姿勢、及び遮蔽状況などに依存せずに、正確な照合を行うことができる。
　ここで、特許文献２では、向きの異なる人物を照合するためには、人物の向きに応じた各領域の重みを事前に定義しておく必要があった。また、特許文献３では、向きや姿勢が異なる様々な態様の対象物から特徴点を抽出するためには、様々な態様に対応した形状モデルをあらかじめ定義しておく必要があった。これに対し、本願発明では、訓練画像と重み画像とを用いて畳み込みニューラルネットワークを学習し、学習した畳み込みニューラルネットワークに人物領域画像と重み画像とを適用して特徴を抽出している。このため、人物照合装置１０は、画像中の様々な態様の人物同士を、事前に人手で定義づけしなくても、人物の照合を行うことができる。
　また、特許文献１及び特許文献２では、人物が遮蔽され、或いは立位以外の姿勢を取ることは考慮されておらず、実際の環境では正確な照合ができない可能性がある。例えば、これら特許文献においてある人物の照合を行う場合に、その人物と異なる人物が前にいると、異なる人物が対象の人物を遮蔽する可能性がある。その場合、遮蔽している人物が対象の人物の一部として分割されると、結果として誤った照合結果が得られることがある。これに対し、本実施形態では、人体部位の存在確率に応じた特徴に基づいて人物照合が行われるため、実際の環境においても正しい照合結果を得ることが可能である。
　続いて、第２実施形態を説明する。図９は、第２実施形態に係る人物照合装置を示す。本実施形態に係る人物照合装置１００ａは、特徴生成部１３０ａの構成が、図３に示す第１実施形態に係る人物照合装置１００と相違する。本実施形態において、特徴生成部１３０ａは、画像特徴抽出部１３３と重み適用部１３４とを有する。本実施形態において、特徴生成部１３０ａは、重み画像の情報を、抽出した照合用の特徴に対するマスクとして適用する。その他の点は、第１実施形態と同様でよい。
　画像特徴抽出部１３３は、人物領域画像から所定の画像特徴を計算する。画像特徴抽出部１３３は、例えば、色ヒストグラム特徴、勾配ヒストグラム特徴、及びそれらを組み合わせたものなど、画像内の特徴を頻度で表現した特徴を、所定の画像特徴として計算する。画像特徴抽出部１３３は、例えば、Ｎを２以上の整数として、人物領域画像の各画素を、色又は勾配などに応じてＮ個の区間（ビン）に分類した画像特徴を計算する。
　重み適用部１３４は、画像特徴抽出部１３３で計算された画像特徴の頻度に対して、各人体部位の重み画像に基づいて重み付けした特徴を算出する。重み適用部１３４は、例えば、ｎを１からＮまでの整数として、下記式を用いて、人体部位ｊの重み画像を用いて重み付けされた特徴のｎ番目のビンの値ｂｊｎを算出する。
Figure JPOXMLDOC01-appb-M000004
 　上記式２において、ｗｊｘｙは、人体部位ｊの画素（ｘ，ｙ）における重みを表す。εｎｘｙは、人物領域画像の画素（ｘ，ｙ）がｎ番目のビンに投票されているか否かを示す。εｎｘｙの値は、画素がｎ番目のビンに投票されている場合は１で、それ以外の場合は０である。
　重み適用部１３４は、各人体部位の重み画像に基づいて重み付けした特徴に基づいて照合用の特徴を生成する。重み適用部１３４は、例えば各人体部位の重み画像に基づいて重み付けした特徴をつなぎ合わせることで、照合用の特徴を生成する。その際、重み適用部１３４は、各人体部位の重み画像に基づいて重み付けした特徴に、人体部位ごとに定義した係数を乗算してつなぎ合わせることで、照合用の特徴を生成してもよい。あるいは、重み適用部１３４は、各人体部位の重み画像に基づいて重み付けした特徴の最大値を取ることで、又は平均値を取ることで、照合用の特徴を生成してもよい。
　図１０は、本実施形態に係る人物照合装置１００ａの動作手順を示す。入力部１０１は、カメラなどの入力装置から、対象人物を含む画像を取得する（ステップＤ１）。人物画像切り出し部１１０は、ステップＤ１で取得された画像から人物領域を切り出する（ステップＤ２）。人物画像切り出し部１１０は、ステップＤ２で切り出した画像に対して、画像のサイズや形状を所定のサイズ及び形状にするための画像サイズ正規化処理を行い、人物領域画像を生成する（ステップＤ３）。重み推定部１２０は、人物画像切り出し部１１０からステップＤ３で生成された人物領域画像から重み画像を生成する（ステップＤ４）。ステップＤ１からＤ４は、図８のステップＣ１からＣ４と同様でよい。
　特徴生成部１３０の画像特徴抽出部１３３は、ステップＤ３で生成された人物領域画像から、照合のための画像特徴を抽出する（ステップＤ５）。画像特徴抽出部１３３は、ステップＤ４では、例えば色ヒストグラムや勾配ヒストグラムなどの、各画素から算出した値を頻度で表現することで得られる特徴を、画像特徴として抽出する。重み適用部１３４は、ステップＤ４で生成された重み画像を用いて、ステップＤ５で抽出された画像特徴に対する重み付けを行う（ステップＤ６）。重み適用部１３４は、例えば上記式２を用いて、人体部位１からＪについて、各人体部位の重み画像を用いて重み付けされる特徴のｎ番目のビンの値ｂｊｎを算出する。
　重み適用部１３４は、重み付けされた画像特徴を人体部位ごとに統合することで、照合用の特徴を生成する（ステップＤ７）。重み適用部１３４は、例えばステップＤ６で算出された、人体部位１からＪの重み画像を用いて重み付けされるｎ番目のビンの値ｂ１ｎ～ｂＪｎを１次元ベクトルとしてつなぎ合わせた特徴を、照合用の特徴として生成する。その場合、照合用の特徴の次元数は、画像特徴抽出部１３３が抽出した画像特徴の次元数のＪ倍となる。
　本実施形態では、照合特徴データベース１４０は、特徴生成部１３０ａが照合用の特徴を生成する手順と同様な手順で生成された特徴を照合特徴として記憶する。人物照合部１５０は、ステップＤ７で抽出された特徴と、照合特徴データベース１４０に記憶された照合特徴とを比較する（ステップＤ８）。人物照合部１５０は、例えばステップＤ７で抽出された照合用の特徴と照合特徴との間のユークリッド距離が所定のしきい値以下である場合は、特徴が一致すると判定する。また、人物照合部１５０は、ステップＤ７で抽出された照合用の特徴と照合特徴との間のコサイン類似度が所定の類似度以上の場合は、特徴が一致すると判定する。出力部１６０は、人物照合部１５０の比較結果（照合結果）を外部に出力する。ステップＤ８は、照合される特徴が重み画像を用いて重み付けされた画像特徴となる点を除けば、図８のステップＣ８で同様でよい。
　本実施形態では、特徴生成部１３０ａは、人体部位の存在確率に基づいて生成された重み画像を用いて、画像内の特徴を頻度で表現した画像特徴を重み付けする。本実施形態では、人体部位の存在確率から生成される重み画像を手がかりとして人物領域画から抽出される画像特徴を重み付けすることで、人体部位に由来する成分が多く含まれる画像特徴を生成することができる。人物照合装置１００ａは、そのような画像特徴を用いて人物の照合を行うことで、第１実施形態と同様に、画像撮影時の俯角、人物の向き、姿勢、及び遮蔽状況などに依存せずに、正確な照合を行うことができる。その他の効果も第１実施形態と同様である。
　なお、第１実施形態において、照合特徴データベース１４０に記憶される照合特徴は、事前に用意された人物画像に基づいて生成されることを説明したが、これには限定されない。例えば、人物照合装置１００のオペレータなどが、ある時刻で人物画像切り出し部１１０が生成した人物領域画像の人物を、以後の時刻における照合対象として登録する旨を指示した場合、その人物の照合特徴を照合特徴データベース１４０に登録してもよい。具体的には、特徴生成部１３０が、その人物の人物領域画像、及び人物領域画像から生成される重み画像に基づいて生成した照合用の特徴を、照合特徴データベース１４０に登録し、登録された照合特徴を以降の照合に使用してもよい。第２実施形態についても同様に、特徴生成部１３０ａが生成した照合用の特徴を、照合特徴データベース１４０に登録してもよい。
　また、第１実施形態では、特徴生成部１３０が、特徴学習装置２００（図４を参照）を用いて学習された畳み込みニューラルネットワークから照合用の特徴を抽出する例について説明したが、これには限定されない。例えば、特徴学習装置２００において、畳み込みニューラルネットワークとは異なる、人物の識別が可能な他のモデルを学習し、特徴生成部１３０が、そのモデルを用いて照合用の特徴を生成することとしてもよい。
　上記各実施形態において、コンピュータを人物照合装置１００及び／又は特徴学習装置２００として動作させるプログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
　人物が含まれる人物画像から、前記人物の人体部位の存在確率に応じて重みを推定する重み推定手段と、
　前記人物画像と前記推定された重みとに基づいて、照合用の特徴を生成する特徴生成手段と、
　前記生成された照合用の特徴と、照合特徴記憶手段に記憶された照合特徴とを比較する人物照合手段とを備える人物照合装置。
［付記２］
　前記重み推定手段は、
　前記人物画像の各画素に対し、前記人体部位の存在確率を推定する部位存在確率推定手段と、
　前記推定された存在確率に基づいて、前記重みを表す重み画像を生成する重み画像生成手段と有する付記１に記載の人物照合装置。
［付記３］
　前記部位存在確率推定手段は、複数の人体部位のそれぞれについて前記人体部位の存在確率を推定し、前記重み画像生成手段は、複数の人体部位のそれぞれに対して前記重み画像を生成する付記２に記載の人物照合装置。
［付記４］
　前記重み画像生成手段は、前記複数の人体部位の存在確率の最大値と最小値とを用いて、各人体部位について推定された存在確率を正規化し、該正規化した存在確率に基づいて前記重み画像を生成する付記３に記載の人物照合装置。
［付記５］
　前記重み画像生成手段は、Ｊを前記人体部位の存在確率を推定する人体部位の数、ｊを１からＪまでの整数、ｘ及びｙを前記人物画像における画素の位置、ｍａｘ（Ｐ）を前記複数の人体部位の存在確率の最大値、ｍｉｎ（Ｐ）を前記複数の人体部位の存在確率の最小値として、ｊ番目の人体部位の画像中の位置（ｘ，ｙ）における重みｗｊｘｙを、下記式、
Figure JPOXMLDOC01-appb-M000005
 を用いて算出する付記３又は４に記載の人物照合装置。
［付記６］
　前記特徴生成手段は、前記人物画像及び前記重み画像を畳み込みニューラルネットワークに適用し、前記照合用の特徴を生成する付記２から５何れか１つに記載の人物照合装置。
［付記７］
　前記特徴生成手段は、前記畳み込みニューラルネットワークの中間特徴を、前記照合用の特徴として抽出する付記６に記載の人物照合装置。
［付記８］
　前記畳み込みニューラルネットワークは、それぞれが複数のノードを含む入力層、中間層、及び出力層を有し、
　前記特徴生成手段は、前記出力層の１つ前の層の各ノードの出力値を前記照合用の特徴として抽出する付記６又は７に記載の人物照合装置。
［付記９］
　前記畳み込みニューラルネットワークは学習装置で学習される付記６から８何れか１つに記載の人物照合装置。
［付記１０］
　前記学習装置は、含まれる人物を示すラベルが付与された訓練画像と、該訓練画像から生成された前記重み画像とを前記畳み込みニューラルネットワークに適用し、該畳み込みニューラルネットワークの出力が前記ラベルとなるように前記畳み込みニューラルネットワークを学習する付記９に記載の人物照合装置。
［付記１１］
　前記特徴生成手段は、前記人物画像から抽出された画像特徴を前記重み画像を用いて重み付けした特徴を、前記照合用の特徴として抽出する付記２から５何れか１つに記載の人物照合装置。
［付記１２］
　前記特徴生成手段は、
　前記人物画像から前記画像特徴を抽出する画像特徴抽出手段と、
　前記画像特徴抽出手段が抽出した画像特徴に前記重み画像の重みを適用し、前記照合用の特徴を生成する重み適用手段とを有する付記１１に記載の人物照合装置。
［付記１３］
　前記画像特徴抽出手段は、前記人物画像の各画素から算出した値を頻度で表現することで得られる特徴を前記画像特徴として抽出する付記１２に記載の人物照合装置。
［付記１４］
　前記画像特徴抽出手段は、色ヒストグラム特徴、勾配ヒストグラム特徴、及び、色ヒストグラム特徴と勾配ヒストグラム特徴とを組み合わせた特徴の少なくとも１つを前記画像特徴として抽出する付記１３に記載の人物照合装置。
［付記１５］
　前記画像特徴抽出手段は、Ｎを２以上の整数として、前記人物画像の各画素をＮ個のビンに分類することで画像特徴を抽出し、
　前記重み適用手段は、Ｊを前記人体部位の存在確率を推定する人体部位の数、ｊを１からＪまでの整数、ｘ及びｙを前記人物画像における画素の位置、ｎを１からＮまでの整数、ｗｊｘｙを、人体部位ｊの画素（ｘ，ｙ）における重み、εｎｘｙは、人物領域画像の画素（ｘ，ｙ）がｎ番目のビンに投票されている場合は１で、ｎ番目のビンに投票されていない場合は０となる値として、人体部位ｊの重み画像を用いて重み付けされたｎ番目のビンの値ｂｊｎを、下記式、
Figure JPOXMLDOC01-appb-M000006
 を用いて算出する付記１３又は１４に記載の人物照合装置。
［付記１６］
　前記重み適用手段は、人体部位１からＪの重み画像を用いて重み付けされたｎ番目のビンの値ｂ１ｎからｂＪｎを統合することで、前記照合用の特徴を生成する付記１５に記載の人物照合装置。
［付記１７］
　前記重み適用手段は、前記ｎ番目のビンの値ｂ１ｎからｂＪｎを１次元ベクトルとしてつなぎ合わせ、前記ｎ番目のビンの値ｂ１ｎからｂＪｎの最大値若しくは最小値を取り、又は、前記ｎ番目のビンの値ｂ１ｎからｂＪｎを人体部位ｊに応じた係数を用いてつなぎ合わせることで、前記ｎ番目のビンの値ｂ１ｎからｂＪｎを統合する付記１６に記載の人物照合装置。
［付記１８］
　人物が含まれる人物画像から、前記人物の人体部位の存在確率に応じて重みを推定し、
　前記人物画像と前記推定された重みとに基づいて、照合用の特徴を生成し、
　前記生成された照合用の特徴と、照合特徴記憶手段に記憶された照合特徴とを比較し、
　前記比較の結果を出力する人物照合方法。
［付記１９］
　前記重み推定の推定では、
　前記人物画像の各画素に対して前記人体部位の存在確率を推定し、
　前記推定された存在確率に基づいて、前記重みを表す重み画像を生成する付記１８に記載の人物照合方法。
［付記２０］
　コンピュータに、
　人物が含まれる人物画像から、前記人物の人体部位の存在確率に応じて重みを推定する処理と、
　前記人物画像と前記推定された重みとに基づいて、照合用の特徴を生成する処理と、
　前記生成された照合用の特徴と、照合特徴記憶手段に記憶された照合特徴とを比較する処理と、
　前記比較の結果を出力する処理とを実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
［付記２１］
　前記重みを推定する処理は、
　前記人物画像の各画素に対して前記人体部位の存在確率を推定する処理と、
　前記推定された存在確率に基づいて、前記重みを表す重み画像を生成する処理とを含む付記２０に記載の非一時的なコンピュータ可読媒体。
　この出願は、２０１７年１２月８日に出願された日本出願特願２０１７－２３６３０４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
１０、１００：人物照合装置 
１１：重み推定手段
１２：特徴生成手段
１３：照合特徴記憶手段
１４：人物照合手段
１０１：入力部
１１０：人物画像切り出し部
１２０、２１０：重み推定部
１２１、２１１：部位存在確率推定部
１２２、２１２：重み画像生成部
１３０：特徴生成部 
１３１、２２１：画像統合部 
１３２：特徴抽出部 
１３３：画像特徴抽出部 
１３４：重み適用部
１４０：照合特徴ＤＢ 
１５０：人物照合部 
１６０：出力部 
２００：特徴学習装置
２２０：特徴学習部
２２２：学習部 
２３０：訓練画像ＤＢ 
３００：畳み込みニューラルネットワーク
３０１：入力層
３０２：中間層
３０３：出力層
３１０、３１１：ノード
３１２：エッジ

Claims (21)

  1. 　人物が含まれる人物画像から、前記人物の人体部位の存在確率に応じて重みを推定する重み推定手段と、
    　前記人物画像と前記推定された重みとに基づいて、照合用の特徴を生成する特徴生成手段と、
    　前記生成された照合用の特徴と、照合特徴記憶手段に記憶された照合特徴とを比較する人物照合手段とを備える人物照合装置。
  2. 　前記重み推定手段は、
    　前記人物画像の各画素に対し、前記人体部位の存在確率を推定する部位存在確率推定手段と、
    　前記推定された存在確率に基づいて、前記重みを表す重み画像を生成する重み画像生成手段と有する請求項１に記載の人物照合装置。
  3. 　前記部位存在確率推定手段は、複数の人体部位のそれぞれについて前記人体部位の存在確率を推定し、前記重み画像生成手段は、複数の人体部位のそれぞれに対して前記重み画像を生成する請求項２に記載の人物照合装置。
  4. 　前記重み画像生成手段は、前記複数の人体部位の存在確率の最大値と最小値とを用いて、各人体部位について推定された存在確率を正規化し、該正規化した存在確率に基づいて前記重み画像を生成する請求項３に記載の人物照合装置。
  5. 　前記重み画像生成手段は、Ｊを前記人体部位の存在確率を推定する人体部位の数、ｊを１からＪまでの整数、ｘ及びｙを前記人物画像における画素の位置、ｍａｘ（Ｐ）を前記複数の人体部位の存在確率の最大値、ｍｉｎ（Ｐ）を前記複数の人体部位の存在確率の最小値として、ｊ番目の人体部位の画像中の位置（ｘ，ｙ）における重みｗｊｘｙを、下記式、
    Figure JPOXMLDOC01-appb-M000001
     を用いて算出する請求項３又は４に記載の人物照合装置。
  6. 　前記特徴生成手段は、前記人物画像及び前記重み画像を畳み込みニューラルネットワークに適用し、前記照合用の特徴を生成する請求項２から５何れか１項に記載の人物照合装置。
  7. 　前記特徴生成手段は、前記畳み込みニューラルネットワークの中間特徴を、前記照合用の特徴として抽出する請求項６に記載の人物照合装置。
  8. 　前記畳み込みニューラルネットワークは、それぞれが複数のノードを含む入力層、中間層、及び出力層を有し、
    　前記特徴生成手段は、前記出力層の１つ前の層の各ノードの出力値を前記照合用の特徴として抽出する請求項６又は７に記載の人物照合装置。
  9. 　前記畳み込みニューラルネットワークは学習装置で学習される請求項６から８何れか１項に記載の人物照合装置。
  10. 　前記学習装置は、含まれる人物を示すラベルが付与された訓練画像と、該訓練画像から生成された前記重み画像とを前記畳み込みニューラルネットワークに適用し、該畳み込みニューラルネットワークの出力が前記ラベルとなるように前記畳み込みニューラルネットワークを学習する請求項９に記載の人物照合装置。
  11. 　前記特徴生成手段は、前記人物画像から抽出された画像特徴を前記重み画像を用いて重み付けした特徴を、前記照合用の特徴として抽出する請求項２から５何れか１項に記載の人物照合装置。
  12. 　前記特徴生成手段は、
    　前記人物画像から前記画像特徴を抽出する画像特徴抽出手段と、
    　前記画像特徴抽出手段が抽出した画像特徴に前記重み画像の重みを適用し、前記照合用の特徴を生成する重み適用手段とを有する請求項１１に記載の人物照合装置。
  13. 　前記画像特徴抽出手段は、前記人物画像の各画素から算出した値を頻度で表現することで得られる特徴を前記画像特徴として抽出する請求項１２に記載の人物照合装置。
  14. 　前記画像特徴抽出手段は、色ヒストグラム特徴、勾配ヒストグラム特徴、及び、色ヒストグラム特徴と勾配ヒストグラム特徴とを組み合わせた特徴の少なくとも１つを前記画像特徴として抽出する請求項１３に記載の人物照合装置。
  15. 　前記画像特徴抽出手段は、Ｎを２以上の整数として、前記人物画像の各画素をＮ個のビンに分類することで画像特徴を抽出し、
    　前記重み適用手段は、Ｊを前記人体部位の存在確率を推定する人体部位の数、ｊを１からＪまでの整数、ｘ及びｙを前記人物画像における画素の位置、ｎを１からＮまでの整数、ｗｊｘｙを、人体部位ｊの画素（ｘ，ｙ）における重み、εｎｘｙは、人物領域画像の画素（ｘ，ｙ）がｎ番目のビンに投票されている場合は１で、ｎ番目のビンに投票されていない場合は０となる値として、人体部位ｊの重み画像を用いて重み付けされたｎ番目のビンの値ｂｊｎを、下記式、
    Figure JPOXMLDOC01-appb-M000002
     を用いて算出する請求項１３又は１４に記載の人物照合装置。
  16. 　前記重み適用手段は、人体部位１からＪの重み画像を用いて重み付けされたｎ番目のビンの値ｂ１ｎからｂＪｎを統合することで、前記照合用の特徴を生成する請求項１５に記載の人物照合装置。
  17. 　前記重み適用手段は、前記ｎ番目のビンの値ｂ１ｎからｂＪｎを１次元ベクトルとしてつなぎ合わせ、前記ｎ番目のビンの値ｂ１ｎからｂＪｎの最大値若しくは最小値を取り、又は、前記ｎ番目のビンの値ｂ１ｎからｂＪｎを人体部位ｊに応じた係数を用いてつなぎ合わせることで、前記ｎ番目のビンの値ｂ１ｎからｂＪｎを統合する請求項１６に記載の人物照合装置。
  18. 　人物が含まれる人物画像から、前記人物の人体部位の存在確率に応じて重みを推定し、
    　前記人物画像と前記推定された重みとに基づいて、照合用の特徴を生成し、
    　前記生成された照合用の特徴と、照合特徴記憶手段に記憶された照合特徴とを比較し、
    　前記比較の結果を出力する人物照合方法。
  19. 　前記重み推定の推定では、
    　前記人物画像の各画素に対して前記人体部位の存在確率を推定し、
    　前記推定された存在確率に基づいて、前記重みを表す重み画像を生成する請求項１８に記載の人物照合方法。
  20. 　コンピュータに、
    　人物が含まれる人物画像から、前記人物の人体部位の存在確率に応じて重みを推定する処理と、
    　前記人物画像と前記推定された重みとに基づいて、照合用の特徴を生成する処理と、
    　前記生成された照合用の特徴と、照合特徴記憶手段に記憶された照合特徴とを比較する処理と、
    　前記比較の結果を出力する処理とを実行させるためのプログラムを格納する非一時的なコンピュータ可読媒体。
  21. 　前記重みを推定する処理は、
    　前記人物画像の各画素に対して前記人体部位の存在確率を推定する処理と、
    　前記推定された存在確率に基づいて、前記重みを表す重み画像を生成する処理とを含む請求項２０に記載の非一時的なコンピュータ可読媒体。
PCT/JP2018/038673 2017-12-08 2018-10-17 人物照合装置、方法、及び非一時的なコンピュータ可読媒体 WO2019111550A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2019558049A JP6897793B2 (ja) 2017-12-08 2018-10-17 人物照合装置、方法、及びプログラム
US16/770,359 US11495057B2 (en) 2017-12-08 2018-10-17 Person verification device and method and non-transitory computer readable media
US17/666,834 US11748864B2 (en) 2017-12-08 2022-02-08 Person verification device and method and non-transitory computer readable media
US17/668,515 US11763435B2 (en) 2017-12-08 2022-02-10 Person verification device and method and non-transitory computer readable media
US17/668,471 US11776098B2 (en) 2017-12-08 2022-02-10 Person verification device and method and non-transitory computer readable media
US18/225,824 US20230368351A1 (en) 2017-12-08 2023-07-25 Person verification device and method and non-transitory computer readable media

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-236304 2017-12-08
JP2017236304 2017-12-08

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US16/770,359 A-371-Of-International US11495057B2 (en) 2017-12-08 2018-10-17 Person verification device and method and non-transitory computer readable media
US17/666,834 Continuation US11748864B2 (en) 2017-12-08 2022-02-08 Person verification device and method and non-transitory computer readable media
US17/668,471 Continuation US11776098B2 (en) 2017-12-08 2022-02-10 Person verification device and method and non-transitory computer readable media
US17/668,515 Continuation US11763435B2 (en) 2017-12-08 2022-02-10 Person verification device and method and non-transitory computer readable media

Publications (1)

Publication Number Publication Date
WO2019111550A1 true WO2019111550A1 (ja) 2019-06-13

Family

ID=66751364

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/038673 WO2019111550A1 (ja) 2017-12-08 2018-10-17 人物照合装置、方法、及び非一時的なコンピュータ可読媒体

Country Status (3)

Country Link
US (5) US11495057B2 (ja)
JP (2) JP6897793B2 (ja)
WO (1) WO2019111550A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113261011A (zh) * 2019-12-30 2021-08-13 商汤国际私人有限公司 图像处理方法及装置、电子设备和存储介质
US11450021B2 (en) 2019-12-30 2022-09-20 Sensetime International Pte. Ltd. Image processing method and apparatus, electronic device, and storage medium
WO2023175669A1 (ja) * 2022-03-14 2023-09-21 日本電気株式会社 姿勢推定装置、姿勢推定システム、姿勢推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11495057B2 (en) * 2017-12-08 2022-11-08 Nec Corporation Person verification device and method and non-transitory computer readable media
JP7490359B2 (ja) * 2019-12-24 2024-05-27 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046567A (ja) * 2002-07-12 2004-02-12 Minolta Co Ltd 画像照会用情報構築方法および画像照会方法
JP2005351814A (ja) * 2004-06-11 2005-12-22 Konica Minolta Holdings Inc 検出装置および検出方法
JP2009075868A (ja) * 2007-09-20 2009-04-09 Toshiba Corp 画像から対象を検出する装置、方法およびプログラム
JP2011165170A (ja) * 2010-01-15 2011-08-25 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
JP2011232845A (ja) * 2010-04-26 2011-11-17 Panasonic Corp 特徴点抽出装置および方法
JP2014178862A (ja) * 2013-03-14 2014-09-25 Secom Co Ltd 特徴点抽出装置
JP2017097578A (ja) * 2015-11-24 2017-06-01 キヤノン株式会社 情報処理装置及び方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2600938A1 (en) * 2004-03-24 2005-10-06 Andre Hoffmann Identification, verification, and recognition method and system
JP4606779B2 (ja) * 2004-06-07 2011-01-05 グローリー株式会社 画像認識装置、画像認識方法およびその方法をコンピュータに実行させるプログラム
JP2007025902A (ja) 2005-07-13 2007-02-01 Canon Inc 画像処理装置、画像処理方法
JP5959093B2 (ja) 2012-03-06 2016-08-02 学校法人東京電機大学 人物検索システム
JP2013188546A (ja) 2013-06-20 2013-09-26 Sanyo Product Co Ltd 遊技機
EP4250738A3 (en) * 2014-04-22 2023-10-11 Snap-Aid Patents Ltd. Method for controlling a camera based on processing an image captured by other camera
US9766384B2 (en) 2014-12-08 2017-09-19 Samsung Electronics Co., Ltd. Antireflection film and organic light emitting device provided with the same
JP6528608B2 (ja) 2015-08-28 2019-06-12 カシオ計算機株式会社 診断装置、及び診断装置における学習処理方法、並びにプログラム
US9767381B2 (en) 2015-09-22 2017-09-19 Xerox Corporation Similarity-based detection of prominent objects using deep CNN pooling layers as features
JP6671133B2 (ja) 2015-09-24 2020-03-25 グローリー株式会社 画像照合装置及び画像照合方法
CN106874921B (zh) * 2015-12-11 2020-12-04 清华大学 图像分类方法和装置
JP6661398B2 (ja) 2016-02-03 2020-03-11 キヤノン株式会社 情報処理装置および情報処理方法
US11495057B2 (en) * 2017-12-08 2022-11-08 Nec Corporation Person verification device and method and non-transitory computer readable media

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004046567A (ja) * 2002-07-12 2004-02-12 Minolta Co Ltd 画像照会用情報構築方法および画像照会方法
JP2005351814A (ja) * 2004-06-11 2005-12-22 Konica Minolta Holdings Inc 検出装置および検出方法
JP2009075868A (ja) * 2007-09-20 2009-04-09 Toshiba Corp 画像から対象を検出する装置、方法およびプログラム
JP2011165170A (ja) * 2010-01-15 2011-08-25 Toyota Central R&D Labs Inc 対象物検出装置及びプログラム
JP2011232845A (ja) * 2010-04-26 2011-11-17 Panasonic Corp 特徴点抽出装置および方法
JP2014178862A (ja) * 2013-03-14 2014-09-25 Secom Co Ltd 特徴点抽出装置
JP2017097578A (ja) * 2015-11-24 2017-06-01 キヤノン株式会社 情報処理装置及び方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113261011A (zh) * 2019-12-30 2021-08-13 商汤国际私人有限公司 图像处理方法及装置、电子设备和存储介质
JP2022522071A (ja) * 2019-12-30 2022-04-14 センスタイム インターナショナル ピーティーイー．リミテッド 画像処理方法及び装置、電子機器並びに記憶媒体
US11450021B2 (en) 2019-12-30 2022-09-20 Sensetime International Pte. Ltd. Image processing method and apparatus, electronic device, and storage medium
WO2023175669A1 (ja) * 2022-03-14 2023-09-21 日本電気株式会社 姿勢推定装置、姿勢推定システム、姿勢推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
US20220270410A1 (en) 2022-08-25
JP2021144749A (ja) 2021-09-24
JP6897793B2 (ja) 2021-07-07
US11763435B2 (en) 2023-09-19
US20230368351A1 (en) 2023-11-16
JPWO2019111550A1 (ja) 2020-11-19
US20210192242A1 (en) 2021-06-24
US11495057B2 (en) 2022-11-08
US11776098B2 (en) 2023-10-03
US20220222977A1 (en) 2022-07-14
US20220165095A1 (en) 2022-05-26
US11748864B2 (en) 2023-09-05

Similar Documents

Publication Publication Date Title
WO2019111550A1 (ja) 人物照合装置、方法、及び非一時的なコンピュータ可読媒体
Kang et al. Real-time sign language fingerspelling recognition using convolutional neural networks from depth map
WO2021036059A1 (zh) 图像转换模型训练方法、异质人脸识别方法、装置及设备
JP5424819B2 (ja) 画像処理装置、画像処理方法
KR20170006355A (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
WO2003083774A1 (fr) Creation de metadonnees faciales
JP2000306095A (ja) 画像照合・検索システム
JP2001056861A (ja) 手の形状と姿勢の認識装置および手の形状と姿勢の認識方法並びに当該方法を実施するプログラムを記録した記録媒体
JP2007072620A (ja) 画像認識装置及びその方法
WO2019102608A1 (en) Image processing device, image processing method, and image processing program
WO2022103684A1 (en) Face-aware person re-identification system
Mahmud et al. Efficient noise reduction and HOG feature extraction for sign language recognition
Ravi et al. Sign language recognition with multi feature fusion and ANN classifier
CN114270417A (zh) 能够更新注册人脸模板的人脸识别系统及方法
KR20080060007A (ko) 특징벡터 검출장치 및 방법, 그리고, 이를 이용한얼굴인식장치 및 방법
CN110348272A (zh) 动态人脸识别的方法、装置、系统和介质
KR20090107666A (ko) 얼굴 인식 장치 및 그 방법, 얼굴의 내외적 환경 변화 정도추정 방법
KR101742797B1 (ko) 표정 latent 동작사전을 이용한 표정인식방법 및 장치
Praneel et al. Malayalam Sign Language Character Recognition System
Kasar et al. Face detection techniques using database images
CN113177491A (zh) 一种自适应光源人脸识别系统及方法
Zhang Perception System: Object and Landmark Detection for Visually Impaired Users
US20210110204A1 (en) Image recognition method, computer readable medium and system
KR20240080529A (ko) 비디오 재인식 장치 및 방법
Günay et al. Investigating the effects of facial regions to age estimation

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18886418

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019558049

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18886418

Country of ref document: EP

Kind code of ref document: A1