WO2025041253A1 - 情報処理装置、情報処理システム、情報処理方法及び記録媒体 - Google Patents

情報処理装置、情報処理システム、情報処理方法及び記録媒体 Download PDF

Info

Publication number
WO2025041253A1
WO2025041253A1 PCT/JP2023/030113 JP2023030113W WO2025041253A1 WO 2025041253 A1 WO2025041253 A1 WO 2025041253A1 JP 2023030113 W JP2023030113 W JP 2023030113W WO 2025041253 A1 WO2025041253 A1 WO 2025041253A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
target region
input image
information
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/030113
Other languages
English (en)
French (fr)
Inventor
悠歩 庄司
貴裕 戸泉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2023/030113 priority Critical patent/WO2025041253A1/ja
Publication of WO2025041253A1 publication Critical patent/WO2025041253A1/ja
Anticipated expiration legal-status Critical
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Definitions

  • This disclosure relates to an information processing device, an information processing system, an information processing method, and a recording medium.
  • Patent Document 1 discloses a normalization technique for deep neural networks.
  • an input data set is input to a deep neural network.
  • the normalization method includes normalizing a feature map set output by a network layer in the deep neural network in at least one dimension, and obtaining the variance of at least one dimension and the mean value of at least one dimension.
  • the feature map set includes at least one feature map and corresponds to at least one channel, each channel corresponding to at least one feature map.
  • the target feature map set after normalization is identified based on the variance of at least one dimension and the mean of at least one dimension.
  • normalization along at least one dimension includes statistical information for each dimension through the normalization operation, ensuring high robustness to statistics for each dimension while not being overly dependent on batch size.
  • the information processing device includes: An object information acquisition means for acquiring object information relating to an object region in an input image; a calculation means for calculating correction parameters for correcting parameters included in a feature amount extraction model that extracts features of the target region based on the target information; an extraction means for extracting a feature of the target region by using the feature extraction model corrected by the correction parameters; The image processing device further includes a comparison means for outputting a result of comparing the feature amount of the target area with registered information that has been registered in advance.
  • the information processing system includes: An object information acquisition means for acquiring object information relating to an object region in an input image; a calculation means for calculating correction parameters for correcting parameters included in a feature amount extraction model that extracts features of the target region based on the target information; an extraction means for extracting a feature of the target region by using the feature extraction model corrected by the correction parameters;
  • the image processing device further includes a comparison means for outputting a result of comparing the feature amount of the target area with registered information that has been registered in advance.
  • the information processing method includes: One or more computers obtaining object information for a region of interest in the input image; calculating correction parameters for correcting parameters included in a feature amount extraction model that extracts features of the target region based on the target information; extracting features of the target region using the feature extraction model corrected by the correction parameters; The feature amount of the target region is compared with pre-registered information, and the result is output.
  • the recording medium in the present disclosure is On one or more computers, obtaining object information for a region of interest in the input image; calculating correction parameters for correcting parameters included in a feature amount extraction model that extracts features of the target region based on the target information; extracting features of the target region using the feature extraction model corrected by the correction parameters; A program for executing a process of outputting a result of matching the feature amount of the target region with pre-registered registration information is recorded.
  • FIG. 1 is a block diagram showing a configuration of a first information processing device according to the present disclosure.
  • 1 is a block diagram showing a configuration of a first information processing system according to the present disclosure.
  • 5 is a flowchart showing a processing operation of the first information processing device according to the present disclosure.
  • FIG. 2 is a diagram showing an example of a binocular image as an input image according to the present disclosure.
  • FIG. 2 is a diagram illustrating an example of an iris region as a target region according to the present disclosure.
  • FIG. 2 is a diagram illustrating an example of a physical configuration of a first information processing apparatus according to the present disclosure.
  • FIG. 2 is a block diagram showing a configuration of a second information processing system and a second information processing device according to the present disclosure.
  • FIG. 2 is a diagram illustrating an example of a rectangular iris region that is a target region converted into a predetermined shape in accordance with the present disclosure.
  • 10 is a flowchart showing a processing operation of a second information processing device according to the present disclosure.
  • FIG. 13 is a block diagram showing a configuration of a third information processing system and a third information processing device according to the present disclosure. 13 is a flowchart showing a processing operation of a third information processing device according to the present disclosure.
  • FIG. 13 is a block diagram showing a configuration of a fourth information processing system and a fourth information processing device according to the present disclosure.
  • FIG. 13 is a block diagram illustrating an example configuration of a fourth calculation unit according to the present disclosure.
  • FIG. 13 is a flowchart showing a processing operation of a fourth information processing device according to the present disclosure.
  • 13 is a flowchart illustrating an example of a correction parameter calculation process included in the processing operation of the fourth information processing device according to the present disclosure.
  • FIG. 13 is a block diagram showing the configuration of a fifth information processing system and a fifth information processing device according to the present disclosure.
  • FIG. 13 is a block diagram illustrating an example configuration of a fifth calculation unit according to the present disclosure.
  • FIG. 13 is a block diagram showing the configuration of a sixth information processing system and a sixth information processing device according to the present disclosure.
  • FIG. 13 is a block diagram showing a configuration of a learning unit included in a sixth information processing device according to the present disclosure.
  • FIG. 13 is a flowchart illustrating an example of a learning process executed by a sixth information processing device according to the present disclosure.
  • FIG. 13 is a block diagram showing the configuration of a seventh information processing system and a seventh information processing device according to the present disclosure.
  • 13 is a block diagram showing a configuration of a first learning unit included in a seventh information processing device according to the present disclosure.
  • 13 is a flowchart illustrating an example of a first learning process executed by a seventh information processing device according to the present disclosure.
  • 13 is a flowchart illustrating an example of a second learning process executed by a seventh information processing device according to the present disclosure.
  • FIG. 13 is a block diagram showing a configuration of a learning unit included in a ninth information processing device according to the present disclosure.
  • 13 is a flowchart illustrating an example of a learning process executed by a ninth information processing device according to the present disclosure.
  • FIG. 13 is a block diagram showing the configuration of a tenth information processing system and a tenth information processing device according to the present disclosure.
  • 13 is a flowchart illustrating an example of a first learning process executed by a tenth information processing device according to the present disclosure.
  • 13 is a flowchart illustrating an example of a second learning process executed by a tenth information processing device according to the present disclosure.
  • iris authentication For example, in iris authentication, generally, when the quality of the image used for iris authentication, particularly the iris region, is low, such as when the image resolution is low, the authentication accuracy may decrease. Therefore, in iris authentication, it is desirable to photograph the authentication target using an image capturing device capable of capturing high-quality images, such as high resolution images, but it may be difficult to use an image capturing device capable of capturing high-quality images due to the installation space, cost, etc. of the image capturing device.
  • the normalization technique described in Patent Document 1 may be able to obtain high robustness against statistics of each dimension without being overly dependent on batch size. However, even if the normalization technique described in Patent Document 1 is used, it is difficult to obtain image features that improve authentication accuracy from low-quality input images.
  • image super-resolution technology that improves image resolution (see, for example, JP 2009-282925 A).
  • image super-resolution technology generally requires a large amount of processing time, memory consumption, and other processing costs.
  • One of the problems that the invention disclosed herein aims to solve is to perform authentication with high accuracy while suppressing increases in processing costs.
  • the information processing device 100 includes a target information acquisition unit 115, a calculation unit 116, an extraction unit 117, and a collation unit 118.
  • the information processing system SYS1 includes a target information acquisition unit 115, a calculation unit 116, an extraction unit 117, and a collation unit 118.
  • the target information acquisition unit 115 acquires target information related to the target region in the input image.
  • the calculation unit 116 calculates correction parameters for correcting parameters included in a feature extraction model that extracts features of the target region based on the target information.
  • the extraction unit 117 extracts features of the target region using the feature extraction model corrected with the correction parameters.
  • the matching unit 118 outputs the results of matching the features of the target area with the pre-registered registration information.
  • this information processing device 100 it is possible to extract features of a target region using a feature extraction model corrected with correction parameters based on target information relating to the target region.
  • this information processing system SYS1 makes it possible to perform authentication with high accuracy while suppressing increases in processing costs.
  • the information processing device 100 executes information processing as shown in FIG.
  • the target information acquisition unit 115 acquires target information related to the target region in the input image (step S115).
  • the calculation unit 116 calculates correction parameters for correcting parameters included in a feature extraction model that extracts features of the target region based on the target information (step S116).
  • the extraction unit 117 extracts features of the target region using the feature extraction model corrected with the correction parameters (step S117).
  • the matching unit 118 outputs the result of matching the features of the target area with the pre-registered registration information (step S118).
  • This information processing makes it possible to extract features of a target region using a feature extraction model corrected with correction parameters based on target information about the target region.
  • the present disclosure may be realized by a program for causing one or more computers to execute information processing, a recording medium on which the program is recorded, or the like.
  • the input image is an image that includes a target region to be used for matching.
  • the target region is an image of a region of the input image that is to be used for matching.
  • the input image may be, for example, a binocular image including both eyes, a monocular image including one of a predetermined pair of eyes, a facial image including a face, or a vein image including veins, or other biometric images.
  • the target area may be, for example, an iris area (i.e., an image of the area showing the iris), a face area (i.e., an image of the area showing the face), a fingerprint area (i.e., an image of the area showing the fingerprint of a finger), a vein area (i.e., an image of the area showing the veins), etc.
  • iris area i.e., an image of the area showing the iris
  • a face area i.e., an image of the area showing the face
  • a fingerprint area i.e., an image of the area showing the fingerprint of a finger
  • a vein area i.e., an image of the area showing the veins
  • iris authentication, face authentication, and vein authentication are examples of biometric authentication.
  • the authentication according to the present disclosure is not limited to biometric authentication. Therefore, the input image is not limited to a biometric image.
  • the iris, face, etc. are typically those of a human, but may also be those of an animal such as a dog or snake.
  • the input image is a binocular image (see FIG. 4) that includes both human eyes.
  • the target region is the iris region (see FIG. 5).
  • the target information is information related to the target region.
  • the target information is information including at least one value according to the quality of the target region in the input image.
  • the value included in the target information is, for example, a continuous value.
  • the target information may include, for example, at least one of quality information of the target region, intermediate features of the target region, and statistics related to the target region.
  • the quality information of the target area is information that indicates the quality of the target area.
  • the quality information of the target area may include one or more of the following: the resolution of the target area, focus blur when the input image is captured by a photographing device such as a camera, motion blur, brightness of the target area, information on eyeglass reflection, etc.
  • the resolution may be, for example, the iris diameter when the input image includes an iris.
  • the iris diameter may be, for example, the diameter of the iris or the radius of the iris.
  • the iris diameter may be expressed, for example, by the number of pixels.
  • the iris diameter may be either the short diameter or the long diameter of the iris, or both.
  • the method of expressing the iris diameter is not limited to the number of pixels, and may be, for example, a value according to the size of the iris region.
  • the information related to the eyeglasses reflection may include, for example, at least one of the intensity, area, and proportion of the area of the eyeglasses reflection.
  • the intensity of the eyeglasses reflection may be, but is not limited to, the average value, maximum value, etc. of the intensity of the eyeglasses reflection included in the target region.
  • the area or proportion of the eyeglasses reflection may be, but is not limited to, the area or proportion of the region of the iris region that includes the eyeglasses reflection. Note that the quality information is not limited to those exemplified here.
  • the target information acquisition unit 115 may acquire the target information, for example, using a quality estimation model for estimating the quality information of the target region.
  • the quality estimation model outputs the quality information of the target region.
  • the target information when the target information includes quality information, an example will be described in which the quality information is iris diameter.
  • the target information acquisition unit 115 acquires the target information using an intermediate feature extraction model for extracting intermediate features (image features) of the target region.
  • the intermediate feature extraction model outputs intermediate features of the target region.
  • Intermediate features are, for example, features extracted in the feature extraction model at a stage before the final features described below are extracted.
  • Image features such as intermediate features may be represented, for example, as a numerical vector.
  • the feature extraction model is a learning model for extracting features (image features) of a target region. When a target region or intermediate features of the target region are input, the feature extraction model extracts and outputs the features of the target region.
  • the input to the feature extraction model is, for example, the intermediate features of the target region.
  • the feature extraction model and intermediate feature extraction model may be configured, for example, as a series of neural networks that, when the target region is input, output features of the target region (i.e., features used for matching) in the entire model.
  • the intermediate feature extraction model and feature extraction model may be the front and back stages, respectively, when the series of neural networks is divided into two.
  • the correction parameters are values for correcting ⁇ c , ⁇ c , ⁇ c , and ⁇ c for each channel C below.
  • xic represents the feature map of channel C of sample i.
  • ⁇ c and ⁇ c represent the mean and variance of channel C of the batch norm, respectively.
  • ⁇ c and ⁇ c represent the shift and scale parameters of channel C, respectively.
  • correction using the correction parameters may be performed when the resolution of the target area is low, equal to or lower than a predetermined threshold.
  • the calculation unit 116 may determine whether the target area is low resolution or not, and calculate the correction parameters if the target area is low resolution. If the target area is not low resolution, the calculation unit 116 does not need to calculate the correction parameters.
  • the extraction unit 117 may extract features of the target area using a feature extraction model that has not been corrected with the correction parameters (i.e., a feature extraction model whose parameters are default values).
  • the matching result is a result of matching the feature of the target region (final feature) with the registered information registered in advance. That is, the matching unit 118 matches the feature of the target region with the registered information registered in advance and outputs the matching result.
  • the matching result may include at least one of information including a similarity (e.g., cosine similarity) between the final feature and the feature included in the registered information, and information indicating whether the similarity satisfies a predetermined matching condition.
  • the matching condition is, for example, that the similarity is equal to or greater than a predetermined matching threshold. If the similarity satisfies the matching condition, the matching result may be, for example, information indicating successful authentication. If the similarity does not satisfy the matching condition, the matching result may be, for example, information indicating failed authentication.
  • the matching result may include information indicating at least one degree of certainty, such as the degree of similarity or a determination result as to whether or not the matching condition is satisfied. Note that the matching result is not limited to the examples given here.
  • the matching result may be output by displaying it on a display unit (not shown), or by transmitting it to another device (not shown).
  • the matching unit 118 may display the matching result on a display unit provided in the information processing device 100 or provided in another device (not shown) (for example, a mobile terminal used by a user).
  • the matching unit 118 may transmit the matching result via the network NT to another device (not shown) (for example, an information processing device that uses the matching result).
  • the information processing device 100 may start information processing, for example, when it acquires an input image.
  • the trigger for the information processing device 100 to start information processing is not limited to this.
  • the information processing device 100 physically includes a bus 2010, a processor 2020, a memory 2030, a storage device 2040, a network interface 2050, an input interface 2060, and an output interface 2070, as shown in FIG.
  • the bus 2010 is a data transmission path for the processor 2020, memory 2030, storage device 2040, network interface 2050, input interface 2060, and output interface 2070 to transmit and receive data to and from each other.
  • the method of connecting the processor 2020 and the like to each other is not limited to a bus connection.
  • the processor 2020 is a processor realized by a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit), etc.
  • Memory 2030 is a main storage device realized by RAM (Random Access Memory) or the like.
  • the storage device 2040 is an auxiliary storage device realized by a hard disk drive (HDD), a solid state drive (SSD), a memory card, a read only memory (ROM), or the like.
  • the storage device 2040 stores program modules for realizing the functions of the information processing device 100.
  • the processor 2020 loads each of these program modules into the memory 2030 and executes them to realize the function corresponding to that program module.
  • the network interface 2050 is an interface for connecting the information processing device 100 to the network NT.
  • the network NT is a communications network for transmitting and receiving information to and from other devices (not shown), and may be configured as a wired or wireless network or a combination of these.
  • the input interface 2060 is an interface through which the user inputs information, and is composed of, for example, a touch panel, a keyboard, a mouse, etc.
  • the output interface 2070 is an interface for presenting information to the user, and is composed of, for example, a liquid crystal panel, an organic EL (Electro-Luminescence) panel, etc.
  • the information processing device 100 may also be composed of multiple devices (e.g., computers, etc.) that transmit and receive information to each other via, for example, a network NT.
  • the multiple devices may work together to execute information processing.
  • the input image is an image including an iris region, which is a target region.
  • the feature extraction model is configured with a neural network including at least one normalization layer.
  • the parameters corrected using the correction parameters are the parameters used in the normalization layer.
  • the normalization layer can suppress variations in the distribution of intermediate features that can arise due to variations in the quality of the input images, and features of the target region can be extracted.
  • features of the target region can be extracted with high accuracy regardless of the quality of the input image, and matching results can be obtained using these features.
  • the processing cost for extracting such accurate features of the target region is smaller than when applying general image super-resolution technology.
  • the target information includes at least one of quality information of the target region, intermediate features of the target region, and statistics related to the target region.
  • the target information includes quality information of a target region estimated by inputting the target region into a quality estimation model for estimating quality information of the target region in an input image, and a correction parameter is calculated by inputting the target information into a first correction parameter estimation model for estimating the correction parameter.
  • the information processing system SYS2 includes an imaging device 201 and an information processing device 200.
  • the information processing device 200 includes a target position estimation unit 211, a target area generation unit 212, a target information acquisition unit 215, a calculation unit 216, an extraction unit 117, and a matching unit 118.
  • the imaging device 201 is a device that captures an image of a subject and generates an input image.
  • the imaging device 201 is, for example, a visible light camera, an infrared camera, a near-infrared camera, or the like.
  • the image capturing device 201 when the image capturing device 201 receives a signal indicating that a person is in a specified position from a sensor such as a human presence sensor (not shown), it captures an image of the vicinity of both of the person's eyes and generates a binocular image.
  • the image capturing device 201 may output the generated binocular image.
  • the target position estimation unit 211 estimates the position of the target area in the input image.
  • the target position estimation unit 211 estimates the eye position including the position of the pupil center, the pupil diameter, and the iris diameter as the position of the target region.
  • the pupil diameter may be the diameter of the pupil or the radius of the pupil.
  • the pupil diameter may be expressed, for example, by the number of pixels. Note that the method of expressing the pupil diameter is not limited to the number of pixels.
  • the technique for estimating the position of the target area may be a general technique such as pattern matching or a machine learning model.
  • the target position estimation unit 211 may use an input image as input and estimate the position of the target area in the input image using a learning model that has been trained to estimate the position of the target area from a learning input image.
  • supervised learning may be performed using the learning input image and training data that includes the position of the target area in the learning input image.
  • eye position and the techniques for estimating it are not limited to those exemplified here.
  • the target area generation unit 212 generates a target area (an image showing only the target area) based on the input image and the estimated position of the target area.
  • the target region generating unit 212 may generate a target region (for example, a roughly circular iris region as shown in FIG. 5) by cutting out the target region from the input image.
  • the target region generating unit 212 may also generate a target region with a predetermined shape (for example, a roughly rectangular iris region as shown in FIG. 8) by cutting out the target region from the input image and further performing a predetermined transformation.
  • the iris region may change from a circular or rectangular shape to a shape in which the part covered by the eyelids or the like is missing.
  • the target information acquisition unit 215 acquires quality information about the target area in the input image as target information.
  • the target information acquisition unit 215 acquires estimated quality information of the target region by inputting the target region into a quality estimation model.
  • the quality estimation model is a learning model for estimating quality information of the target region in the input image.
  • the quality estimation model may output quality information of the target region.
  • the quality information may be, for example, the iris diameter.
  • supervised learning can be performed using training input images and training data that includes quality information on the training input images.
  • the technology for estimating quality information is not limited to the one exemplified here. Furthermore, if the quality information is determined by the target position estimation unit 211, such as when the quality information is the iris diameter, the target information acquisition unit 215 may acquire the quality information from the target position estimation unit 211.
  • the calculation unit 216 calculates correction parameters for correcting the parameters included in the feature extraction model based on the quality information.
  • the calculation unit 216 calculates the correction parameters by inputting the quality information to a first correction parameter estimation model.
  • the first correction parameter estimation model is a learning model for estimating the correction parameters. For example, when the quality information of the target region is input, the first correction parameter estimation model outputs the correction parameters.
  • the correction parameters are, for example, the average ⁇ c , variance ⁇ c , shift ⁇ c , and scale parameter ⁇ c for each channel as described above.
  • the first correction parameter estimation model may be constructed using, for example, a neural network such as a convolutional neural network, an attention mechanism, etc.
  • the information processing device 200 executes information processing as shown in Fig. 9.
  • the information processing device 200 acquires an input image from the photographing device 201, for example, it is preferable to start the information processing.
  • the target position estimation unit 211 estimates the position of the target area in the input image based on the input image generated by the imaging device 201 (step S211).
  • the target area generation unit 212 generates a target area (an image showing only the target area) based on the input image generated by the imaging device 201 and the position of the target area estimated in step S211 (step S212).
  • the target information acquisition unit 215 acquires quality information of the target area, which is the target information, by inputting the target area generated in step S212 into a quality estimation model (step S215).
  • the calculation unit 216 calculates the correction parameters by inputting the quality information acquired in step S215 into the first correction parameter estimation model (step S216).
  • the extraction unit 117 extracts features of the target region using the feature extraction model corrected with the correction parameters (step S117).
  • the extraction unit 117 extracts features of the target region by inputting the target region generated in step S212 into the feature extraction model corrected with the correction parameters calculated in step S216.
  • the matching unit 118 outputs the result of matching the features of the target area extracted in step S117 with the pre-registered registration information (step S118), and ends the information processing.
  • the target information includes quality information estimated by inputting the target area into a quality estimation model for estimating quality information of the target area.
  • the correction parameters are calculated by inputting the target information into a first correction parameter estimation model for estimating the correction parameters.
  • the target information includes intermediate features extracted by inputting a pre-element region into an intermediate feature extraction model for extracting intermediate features of a target region in an input image, and a correction parameter is calculated by inputting the target information into a second correction parameter estimation model for estimating the correction parameter.
  • the information processing system SYS3 includes an imaging device 201 and an information processing device 300.
  • the information processing device 300 includes a target position estimation unit 211, a target area generation unit 212, a target information acquisition unit 315, a calculation unit 316, an extraction unit 117, and a matching unit 118.
  • the target information acquisition unit 315 acquires intermediate features of the target region in the input image as target information.
  • the target information acquisition unit 315 acquires intermediate features of the target region by inputting the target region into the intermediate feature extraction model described above.
  • the calculation unit 316 calculates correction parameters for correcting the parameters included in the feature extraction model based on the intermediate features of the target region.
  • the calculation unit 316 calculates the correction parameters by inputting the intermediate feature of the target region to the second correction parameter estimation model.
  • the second correction parameter estimation model is a learning model for estimating the correction parameters. For example, when the intermediate feature of the target region is input, the second correction parameter estimation model outputs the correction parameters.
  • the correction parameters are, for example, the average ⁇ c , variance ⁇ c , shift ⁇ c , and scale parameter ⁇ c for each channel as described above.
  • the second correction parameter estimation model may be constructed using, for example, a neural network such as a convolutional neural network, an attention mechanism, etc.
  • the method for learning the second correction parameter estimation model will be described in another embodiment. Note that the norm of the intermediate features may be used instead of the intermediate features.
  • the information processing device 300 executes information processing as shown in Fig. 11.
  • the information processing device 300 acquires an input image from the photographing device 201, for example, it is preferable to start the information processing.
  • the target information acquisition unit 315 acquires target information including intermediate features of the target region by inputting the target region generated in step S212 into the intermediate feature extraction model (step S315).
  • the calculation unit 316 calculates the correction parameters by inputting the intermediate features of the target region acquired in step S315 into the second correction parameter estimation model (step S316).
  • the extraction unit 117 extracts features of the target region using the feature extraction model corrected with the correction parameters (step S117).
  • the extraction unit 117 extracts features of the target region by inputting the intermediate features acquired in step S315 to a feature extraction model corrected with the correction parameters calculated in step S316.
  • the matching unit 118 outputs the result of matching the features of the target area extracted in step S117 with the pre-registered registration information (step S118), and ends the information processing.
  • the target information includes intermediate features extracted by inputting the target region to an intermediate feature extraction model for extracting intermediate features of the target region, and the correction parameters are calculated by inputting the target information to a second correction parameter estimation model for estimating the correction parameters.
  • the quality of an image there is a correlation between the quality of an image and the norm of the feature vector extracted from that image; for example, the higher the quality of an image, the larger the norm of the feature vector extracted from that image.
  • Intermediate features also hold quality information that indicates the quality of the image from which they were extracted. For example, the quality information can be estimated by calculating the norm.
  • the correction parameters can be estimated by using a correction parameter estimation model with the norm of the intermediate features or the intermediate features themselves as input.
  • the target information includes quality information of the target region or intermediate features of the target region.
  • the correction parameters are calculated by applying correction coefficients S and B acquired by inputting the target information to a correction coefficient estimation model for estimating the correction coefficients S and B, and dictionary parameters ⁇ d c , ⁇ d c , ⁇ d c , and ⁇ d c stored in advance to a predetermined first relationship.
  • the information processing system SYS4 includes an imaging device 201 and an information processing device 400.
  • the information processing device 400 includes a target position estimation unit 211, a target area generation unit 212, a target information acquisition unit 415, a calculation unit 416, an extraction unit 117, and a matching unit 118.
  • the target information acquisition unit 415 acquires target information in the input image.
  • the target information in this embodiment is quality information or intermediate features of the target region.
  • the target information acquisition unit 415 may have the same functions as the target information acquisition unit 215 described in embodiment 2.
  • the target information acquisition unit 415 may have the same functions as the target information acquisition unit 315 described in embodiment 3.
  • the calculation unit 416 calculates correction parameters for correcting the parameters included in the feature extraction model based on the target information acquired by the target information acquisition unit 415.
  • the calculation unit 416 includes a dictionary parameter storage unit 416a, a correction coefficient acquisition unit 416b, and a correction parameter calculation unit 416c.
  • the correction coefficient acquisition unit 416b acquires the correction coefficients S and B used to calculate the correction parameters based on the target information (quality information or intermediate features).
  • the correction coefficient acquisition unit 416b acquires the correction coefficients S and B by inputting the target information (quality information or intermediate feature amount) to a correction coefficient estimation model.
  • the correction coefficient estimation model is a learning model for estimating the correction coefficients S and B.
  • the correction coefficient estimation model outputs the correction coefficients S and B.
  • the correction parameter calculation unit 416c calculates the correction parameters by applying the dictionary parameters and the correction coefficients stored in advance to a first relationship that is determined in advance.
  • the correction parameters are, for example, the mean ⁇ c , the variance ⁇ c , the shift ⁇ c , and the scale parameter ⁇ c for each channel as described above.
  • the first relationship is defined, for example, by the following formula (3).
  • X in formula (3) represents each of ⁇ , ⁇ , ⁇ , and ⁇ . Note that the first relationship is not limited to the example given here, and may be defined, for example, by another relational expression or by a multidimensional matrix.
  • the information processing device 400 executes information processing as shown in Fig. 14.
  • the information processing device 400 acquires an input image from the photographing device 201, for example, it is preferable to start the information processing.
  • the target information acquisition unit 415 acquires target information (quality information or intermediate features of the target area) using the target area generated in step S212 and the quality estimation model or intermediate feature extraction model (step S415).
  • the correction coefficient acquisition unit 416b calculates correction parameters based on the target information (quality information or intermediate features) acquired in step S415 (step S416).
  • the correction coefficient acquisition unit 416b acquires the correction coefficients S and B by inputting the target information (quality information or intermediate feature amount) into the correction coefficient estimation model (step S416a).
  • the correction parameter calculation unit 416c substitutes the dictionary parameters and the correction coefficients S and B into an equation in which X in equation (3) is replaced with ⁇ , ⁇ , ⁇ , and ⁇ , respectively, to calculate the average ⁇ c , variance ⁇ c , shift ⁇ c , and scale parameter ⁇ c for each channel.
  • the extraction unit 117 extracts features of the target region using the feature extraction model corrected with the correction parameters as described above (step S117).
  • the extraction unit 117 may extract features of the target region by inputting the target region generated in step S212 into the feature extraction model corrected with the correction parameters.
  • the extraction unit 117 may extract features of the target region by inputting the intermediate features acquired in step S315 to a feature extraction model corrected with the correction parameters.
  • the matching unit 118 outputs the result of matching the features of the target area extracted in step S117 with the pre-registered registration information (step S118), and ends the information processing.
  • the target information includes quality information of the target region or intermediate feature amounts of the target region.
  • the correction parameters are calculated by applying the correction coefficients obtained by inputting the target information into the correction coefficient estimation model and the dictionary parameters stored in advance to a predetermined first relationship.
  • the correction parameters are calculated using the correction coefficients, so the number of coefficients estimated based on the target information can be made smaller than the number of correction parameters. This makes it possible to reduce the amount of processing required for estimation based on the target information.
  • the feature extraction model corrected with the correction parameters can be used to extract features from the target region, even if the input image is of low quality, it is possible to extract features from the target region with high accuracy and obtain matching results using those features.
  • the target information includes statistics regarding the target region calculated using intermediate features of the target region, and the correction parameters are calculated by applying the statistics regarding the target region and a dictionary parameter stored in advance to a predetermined second relationship.
  • the information processing system SYS5 includes an imaging device 201 and an information processing device 500.
  • the information processing device 500 includes a target position estimation unit 211, a target area generation unit 212, a target information acquisition unit 515, a calculation unit 516, an extraction unit 117, and a matching unit 118.
  • the target information acquisition unit 515 acquires statistics relating to a target region in an input image as target information.
  • the statistics relating to the target region are, for example, the mean ⁇ c and variance ⁇ c of the intermediate feature amounts for each channel.
  • the target information acquisition unit 515 has a function similar to that of the target information acquisition unit 315 described in embodiment 3, and thereby acquires intermediate features of the target region, i.e., intermediate features for each channel related to the target region.
  • the target information acquisition unit 515 performs statistical processing on the intermediate features to calculate the average ⁇ *C and variance ⁇ *C of the intermediate features for each channel.
  • the calculation unit 516 calculates correction parameters for correcting the parameters included in the feature extraction model based on the target information acquired by the target information acquisition unit 415.
  • the calculation unit 516 includes a dictionary parameter storage unit 416a and a correction parameter calculation unit 516b.
  • the correction parameter calculation unit 516b calculates the correction parameter by applying the statistics related to the target region and the dictionary parameters stored in advance to a predetermined second relationship.
  • the second relationship is defined, for example, by the following formula (4).
  • Y represents ⁇ and ⁇ .
  • the second relationship is not limited to the one exemplified here, and may be defined, for example, by another relational expression or a multidimensional matrix.
  • m is a weight that is determined appropriately, and is, for example, 0 ⁇ m ⁇ 1.
  • the target information includes statistics regarding the target region calculated using intermediate features of the target region, and the correction parameters are calculated by applying the statistics regarding the target region and the dictionary parameters stored in advance to a second relationship determined in advance.
  • the target information acquisition unit 515 calculates intermediate features for each channel related to the target region, and the average ⁇ *C and variance ⁇ *C of the intermediate features for each channel.
  • the calculation unit 516 may further include a function similar to that of the calculation unit 316 described in the third embodiment, in addition to the function described in the fifth embodiment. This allows the calculation unit 516 to calculate correction parameters based on the intermediate features of the target region and statistics related to the target region.
  • the extraction unit 117 may extract features of the target region by inputting the intermediate features to a feature extraction model in which some of the parameters of the feature extraction model are corrected by correction parameters based on statistics and the remaining parameters are corrected by correction parameters based on the intermediate features.
  • the parameters corrected by the correction parameters based on statistics may be, for example, at least one of the mean ⁇ c and the variance ⁇ c .
  • the target information includes intermediate feature amounts of the target region and statistics regarding the target region.
  • the correction parameters are calculated based on the intermediate feature amounts of the target region and the statistics regarding the target region.
  • the information processing system SYS6 includes an imaging device 201 and an information processing device 600.
  • the information processing device 600 includes a learning unit 619 in addition to the functions of the information processing device 200.
  • the learning calculation unit 619a inputs quality information of the learning input image contained in the training data into the first correction parameter estimation model and calculates the learning correction parameters.
  • the information processing performed by the information processing device 600 may further include a learning process as shown in Fig. 20 in addition to the information processing described in the second embodiment.
  • the learning process may be started, for example, upon receiving an instruction from a user.
  • the training data may be prepared before starting the learning process. Note that the trigger for starting the learning process is not limited to this.
  • the learning calculation unit 619a inputs quality information regarding the target region in the learning input image into the first correction parameter estimation model to calculate the learning correction parameters (step S601).
  • the quality information regarding the learning input image may be acquired, for example, using the functions of the target area generation unit 212 and the target information acquisition unit 215, or may be included in the training data.
  • the learning unit 619 may further include an image degradation unit (not shown) that degrades the learning input image to an appropriate quality specified by the user.
  • the quality information regarding the learning input image is the quality specified by the user, and may be acquired from the image degradation unit.
  • the learning feature extraction unit 619b inputs the learning input image into the feature extraction model corrected with the learning correction parameters calculated in step S601, and extracts learning features (step S602).
  • the update unit 619d updates the parameters included in the feature extraction model and the first correction parameter estimation model based on the loss calculated in step S603 (step S604), and ends the learning process.
  • the information processing device 600 includes the learning unit 619 that uses training data to learn the feature extraction model and the first correction parameter estimation model.
  • the second training data includes a second input image that is an input image for learning.
  • the second training data may further include a second correct label that is a correct label associated with the second input image.
  • the first learning unit 720 and the second learning unit 721 use first training data and second training data that include learning images with different image quality to individually learn the feature extraction model and the first correction parameter estimation model.
  • the first learning unit 720 includes a first feature amount extracting unit 720a, a first loss calculating unit 720b, and a first updating unit 720c.
  • the first feature extraction unit 720a inputs the first input image into a feature extraction model to extract a first feature.
  • the first feature is a feature of a target region contained in the first input image, and the same applies below.
  • the first loss calculation unit 720b calculates the loss based on the first correct label and the first feature.
  • the loss function a general loss function such as the sum of squares error or the cross entropy error may be used.
  • the first update unit 720c updates the parameters included in the feature extraction model based on the first loss. This update may use a general optimization method such as gradient descent or stochastic gradient descent.
  • the second learning unit 721 includes a learning calculation unit 721a, a second feature amount extraction unit 721b, a second loss calculation unit 721c, and a second update unit 721d.
  • the learning calculation unit 721a inputs the quality information of the second input image into the first correction parameter estimation model and calculates the learning correction parameters.
  • the quality information regarding the second input image may be acquired, for example, using the functions of the target area generation unit 212 and the target information acquisition unit 215, and may be included in the second training data. Furthermore, if the second input image is created using an image degradation unit (not shown), the quality information regarding the second input image is the quality specified by the user, and may be acquired from the image degradation unit.
  • the second feature extraction unit 721b inputs the second input image to a trained feature extraction model that has been corrected using the learning correction parameters, and extracts the second feature.
  • the second feature is a feature of the target region contained in the second input image, and the same applies below.
  • the second loss calculation unit 721c calculates the second loss based on the second correct label and the second feature.
  • the loss function a general loss function such as the sum of squares error or the cross entropy error may be used.
  • the second update unit 721d updates the parameters included in the first correction parameter estimation model based on the second loss.
  • This update may use a general optimization method such as gradient descent or stochastic gradient descent.
  • the information processing executed by the information processing device 700 may further include a first learning process and a second learning process as shown in FIGS. 24 and 25, in addition to the information processing described in the second embodiment, for example.
  • the first learning process is a process for learning a feature extraction model.
  • the second learning process is a process for learning a first correction parameter estimation model.
  • the second learning process is performed using a feature extraction model that has already been learned by executing the first learning process. Therefore, it is preferable to execute the second learning process after the first learning process.
  • the first learning process may be started, for example, upon receiving an instruction from a user.
  • the second learning process may be executed automatically following the first learning process, or may be started upon receiving an instruction from a user.
  • the first training data and the second training data may be prepared before starting the learning process. Note that the trigger for starting the learning process is not limited to this.
  • the first feature extraction unit 720a inputs a first input image to a feature extraction model and extracts a first feature (step S701).
  • the first loss calculation unit 720b calculates the loss based on the first correct label and the first feature (step S702).
  • the first update unit 720c updates the parameters included in the feature extraction model based on the first loss (step S703), and ends the first learning process. This completes the learning of the feature extraction model.
  • a feature extraction model that has been trained by executing the first learning process that is, a trained feature extraction model, is used.
  • the learning calculation unit 721a inputs the quality information of the second input image to the first correction parameter estimation model to calculate learning correction parameters (step S711).
  • the second feature extraction unit 721b inputs the second input image into the trained feature extraction model that has been corrected with the learning correction parameters, and extracts the second feature (step S712).
  • the second loss calculation unit 721c calculates the second loss based on the second correct label and the second feature (step S713).
  • the second update unit 721d updates the parameters included in the first correction parameter estimation model based on the second loss (step S714), and ends the second learning process. This completes the learning of the first correction parameter estimation model.
  • the information processing device 700 includes a first learning unit 720 that uses first training data to learn a feature extraction model, and a second learning unit 721 that uses second training data to learn a first correction parameter estimation model.
  • the first training data includes a first input image that is an input image for learning.
  • the second training data includes a second input image that is an input image for learning.
  • the target region in the first input image is of higher quality than the target region in the second input image.
  • the information processing system SYS8 includes an imaging device 201 and an information processing device 800.
  • the information processing device 800 includes a first learning unit 820 and a second learning unit 821 in addition to the functions of the information processing device 200.
  • the first learning unit 820 uses first training data prepared in advance to learn the feature extraction model.
  • the second learning unit 821 uses second training data prepared in advance to learn the first correction parameter estimation model.
  • the first training data includes a first input image that is an input image for learning.
  • the first training data may further include a first correct answer label that is a correct answer label associated with the first input image, and a first correct answer norm.
  • the first correct norm is, for example, the correct value of the norm of the feature extracted from the target region in the first input image.
  • the feature norm is the norm of a vector (feature vector) that represents the feature, and the same applies below.
  • the second training data includes a second input image that is an input image for learning.
  • the second training data may further include a second correct answer label that is a correct answer label associated with the second input image, and a second correct answer norm.
  • the second correct norm is, for example, the correct value of the norm of the feature extracted from the target region in the second input image.
  • the target area in the first input image is of higher quality than the target area in the second input image.
  • a second input image may be prepared by an appropriate method, as described in the seventh embodiment. That is, for example, the second input image may be obtained by degrading the image quality of the first input image using an image degradation unit (not shown) provided in the information processing device 800. Note that the method of preparing the second input image is not limited to this.
  • the first learning unit 820 and the second learning unit 821 use first training data and second training data that include learning images with different image quality to individually learn the feature extraction model and the first correction parameter estimation model.
  • the first learning unit 820 includes a first feature extractor 720a, a first loss calculator 720b, a first norm calculator 820c, a first norm loss calculator 820d, a loss integrator 820e, and a first updater 820f.
  • the first norm calculation unit 820c calculates the first norm, which is the norm of the first feature (feature vector).
  • the first norm loss calculation unit 820d calculates the first norm loss based on the first correct answer norm included in the first training data and the first norm.
  • the loss function a general loss function such as the sum of squares error or the cross entropy error may be used.
  • the loss integration unit 820e calculates an integrated loss by integrating the first loss and the first norm loss. For example, the loss integration unit 820e calculates the integrated loss by multiplying each of the first loss and the first norm loss by a predetermined weight and then adding them together.
  • the first update unit 820f updates the parameters included in the feature extraction model. This update may use a general optimization method such as gradient descent or stochastic gradient descent.
  • the second learning unit 821 includes a learning calculation unit 721a, a second feature extraction unit 721b, a second norm calculation unit 821c, a second norm loss calculation unit 821d, and a second update unit 821e.
  • the second norm calculation unit 821c calculates the second norm, which is the norm of the second feature.
  • the second norm loss calculation unit 821d calculates the second norm loss based on the ground truth norm included in the second training data and the second norm.
  • the loss function a general loss function such as the sum of squares error or the cross entropy error may be used.
  • the second update unit 821e updates the parameters included in the first correction parameter estimation model based on the second norm loss.
  • This update may use a general optimization method such as gradient descent or stochastic gradient descent.
  • the information processing executed by the information processing device 800 may further include a first learning process and a second learning process as shown in FIGS. 29 and 30, respectively, in addition to the information processing described in the second embodiment, for example.
  • the first learning process is a process for learning a feature extraction model.
  • the second learning process is a process for learning a first correction parameter estimation model.
  • the second learning process is performed using a feature extraction model that has already been learned by executing the first learning process. Therefore, it is preferable to execute the second learning process after the first learning process.
  • the first learning process may be started, for example, upon receiving an instruction from a user.
  • the second learning process may be executed automatically following the first learning process, or may be started upon receiving an instruction from a user.
  • the first training data and the second training data may be prepared before starting the learning process. Note that the trigger for starting the learning process is not limited to this.
  • Steps S701 to S702 described in the seventh embodiment are executed.
  • the first norm calculation unit 820c calculates the first norm, which is the norm of the first feature (step S803).
  • the first norm loss calculation unit 820d calculates the first norm loss based on the first correct answer norm included in the first training data and the first norm (step S804).
  • the first update unit 820f updates the parameters included in the feature extraction model (step S806) and ends the first learning process. This completes the learning of the feature extraction model.
  • Steps S711 to S712 described in the seventh embodiment are executed.
  • It includes a learning calculation unit 721a, a second feature extraction unit 721b, a second norm calculation unit 821c, a second norm loss calculation unit 821d, and a second update unit 821e.
  • the second norm calculation unit 821c calculates the second norm, which is the norm of the second feature (step S813).
  • the second norm loss calculation unit 821d calculates the second norm loss based on the correct answer norm included in the second training data and the second norm calculated in step S813 (step S814).
  • the second update unit 821e updates the parameters included in the first correction parameter estimation model based on the second norm loss (step S815), and ends the second learning process. This completes the learning of the first correction parameter estimation model.
  • the information processing device 800 includes a first learning unit 820 and a second learning unit 821 .
  • the first learning unit 820 includes a first feature extraction unit 720a, a first loss calculation unit 720b, a first norm calculation unit 820c, a first norm loss calculation unit 820d, a loss integration unit 820e, and a first update unit 820f.
  • the first feature extraction unit 720a inputs a first input image into a feature extraction model and extracts a first feature, which is a feature of the first input image.
  • the first loss calculation unit 720b calculates a first loss based on the correct label included in the first training data and the first feature.
  • the first norm calculation unit 820c calculates the first norm, which is the norm of the first feature.
  • the first norm loss calculation unit 820d calculates the first norm loss based on the ground truth norm included in the first training data and the first norm.
  • the loss integration unit 820e calculates an integrated loss by integrating the first loss and the first norm loss.
  • the first update unit 820f updates the parameters included in the feature extraction model based on the integrated loss.
  • the second learning unit 821 includes a learning calculation unit 721a, a second feature extraction unit 721b, a second norm calculation unit 821c, a second norm loss calculation unit 821d, and a second update unit 821e.
  • the learning calculation unit 721a inputs quality information of the second input image into the first correction parameter estimation model to calculate the learning correction parameters.
  • the second feature extraction unit 721b inputs the second input image into a trained feature extraction model that has been corrected with the learning correction parameters, and extracts the second feature, which is a feature of the second input image.
  • the second norm calculation unit 821c calculates the second norm, which is the norm of the second feature.
  • the second norm loss calculation unit 821d calculates the second norm loss based on the ground-truth norm included in the second training data and the second norm.
  • the second update unit 821e updates the parameters included in the first correction parameter estimation model based on the second norm loss.
  • first input image a high-quality training image
  • second input image a low-quality training image
  • the correct norm included in the second training data used in step S814 is the correct value of the norm of the feature amount extracted from the target region in the second input image.
  • the correct norm included in the second training data is not limited to this.
  • the higher the quality of an image the longer the norm of the features extracted from that image, and the lower the error rate of the authentication result using that image. Therefore, by training the first correction parameter estimation model to obtain correction parameters that use a feature extraction model to obtain a longer norm length of the features extracted from the image, it is possible to reduce the error rate of the authentication result using that image.
  • the average value of the correct answer norms included in the first training data may be used as the correct answer norm included in the second training data (hereinafter referred to as the "second correct answer norm").
  • the first input image is of higher quality than the second input image. Therefore, by using such second training data, it is possible to train the first correction parameter estimation model so as to obtain a correction parameter that brings the length of the norm of the feature extracted from a low-quality image close to the same length as that when extracted from a high-quality image. This makes it possible to perform authentication with high accuracy.
  • the information processing system SYS9 includes an imaging device 201 and an information processing device 900.
  • the information processing device 900 includes a learning unit 919 in addition to the functions of the information processing device 300.
  • the learning unit 919 uses training data prepared in advance to train the feature extraction model, the second correction parameter estimation model, and the intermediate feature extraction model.
  • the learning unit 919 uses training data common to the feature extraction model and the first correction parameter estimation model to simultaneously train the feature extraction model and the first correction parameter estimation model in an end-to-end manner.
  • the training data may include, for example, a learning input image and a correct answer label.
  • the learning unit 919 includes a learning target information acquisition unit 919a, a learning calculation unit 919b, a learning feature extraction unit 919c, a loss calculation unit 919d, and an update unit 919e.
  • the learning target information acquisition unit 919a inputs the learning input image into the intermediate feature extraction model and extracts the learning intermediate features.
  • the learning intermediate features are the intermediate features of the target region in the learning input image.
  • the learning calculation unit 919b inputs the learning intermediate features into the second correction parameter estimation model and calculates the learning correction parameters.
  • the learning feature extraction unit 919c inputs the learning intermediate features into a feature extraction model corrected with the learning correction parameters, and extracts the learning features.
  • the learning features are the features of the target region in the learning input image.
  • the loss calculation unit 919d calculates the loss based on the correct label and learning features included in the training data.
  • the loss function it is preferable to use a general loss function such as the sum of squares error or the cross entropy error.
  • the update unit 919e updates the parameters included in the feature extraction model, the second correction parameter estimation model, and the intermediate feature extraction model based on the loss.
  • This update may use a general optimization method such as gradient descent or stochastic gradient descent.
  • the information processing performed by the information processing device 600 may further include a learning process as shown in FIG. 33 in addition to the information processing described in the third embodiment.
  • the learning process may be started, for example, upon receiving an instruction from a user.
  • the training data may be prepared before starting the learning process. Note that the trigger for starting the learning process is not limited to this.
  • the learning target information acquisition unit 919a inputs the learning input image into the intermediate feature extraction model and extracts the learning intermediate features (step S901).
  • the learning calculation unit 919b inputs the learning intermediate features into the second correction parameter estimation model and calculates the learning correction parameters (step S902).
  • the learning feature extraction unit 919c inputs the learning intermediate features into a feature extraction model corrected with the learning correction parameters, and extracts the learning features (step S903).
  • the loss calculation unit 919d calculates the loss based on the correct label and learning features contained in the training data (step S904).
  • the update unit 919e updates the parameters included in the feature extraction model, the second correction parameter estimation model, and the intermediate feature extraction model based on the loss (step S905), and ends the learning process.
  • the information processing device 900 includes the learning unit 919 that uses training data to learn the feature extraction model, the second correction parameter estimation model, and the intermediate feature extraction model.
  • the information processing system SYS10 includes an imaging device 201 and an information processing device 1000.
  • the information processing device 1000 includes a first learning unit 1020 and a second learning unit 1021 in addition to the functions of the information processing device 300.
  • the first learning unit 1020 uses first training data prepared in advance to learn the feature extraction model.
  • the second learning unit 1021 uses second training data prepared in advance to learn the second correction parameter estimation model.
  • the first training data and the second training data may be similar to the first training data and the second training data described in embodiment 8. That is, for example, the first training data may include a first input image that is an input image for learning, and a first correct answer label. Also, for example, the second training data may include a second input image that is an input image for learning, and a second correct answer label.
  • the target area in the first input image is of higher quality than the target area in the second input image.
  • the method for preparing such a second input image may be the same as the method described in embodiment 8.
  • the first learning unit 1020 and the second learning unit 1021 use first training data and second training data that include learning images with different image quality to individually learn the feature extraction model and the first correction parameter estimation model.
  • the first learning unit 1020 includes a first learning object information acquisition unit 1020a, a first feature amount extraction unit 1020b, a first loss calculation unit 1020c, and a first update unit 1020d.
  • the first learning target information acquisition unit 1020a inputs the first input image into an intermediate feature extraction model and extracts a first intermediate feature.
  • the first intermediate feature is an intermediate feature of a target region included in the first input image.
  • the first feature extraction unit 1020b inputs the first intermediate feature into a feature extraction model and extracts the first feature.
  • the first loss calculation unit 1020c calculates the first loss based on the first correct label and the first feature.
  • the loss function a general loss function such as the sum of squares error or the cross entropy error may be used.
  • the first update unit 1020d updates the parameters included in each of the intermediate feature extraction model and the feature extraction model based on the first loss. This update may use a general optimization method such as gradient descent or stochastic gradient descent.
  • the second learning unit 1021 includes a second learning object information acquisition unit 1021a, a learning calculation unit 1021b, a second feature extraction unit 1021c, a second loss calculation unit 1021d, and a second update unit 1021e.
  • the second learning target information acquisition unit 1021a inputs the second input image into a trained intermediate feature extraction model to extract second intermediate features.
  • the second intermediate features are intermediate features of the target region included in the second input image.
  • the learning calculation unit 1021b inputs the second intermediate feature amount into the second correction parameter estimation model to calculate the learning correction parameters.
  • the second feature extraction unit 1021c inputs the second input image into a trained feature extraction model that has been corrected using the learning correction parameters, and extracts the second feature.
  • the second loss calculation unit 1021d calculates the second loss based on the second correct label and the second feature.
  • the loss function a general loss function such as the sum of squares error or the cross entropy error may be used.
  • the second update unit 1021e updates the parameters included in the second correction parameter estimation model based on the second loss.
  • This update may use a general optimization method such as gradient descent or stochastic gradient descent.
  • the information processing executed by the information processing device 1000 may further include a first learning process and a second learning process as shown in FIGS. 37 and 38, respectively, in addition to the information processing described in the third embodiment, for example.
  • the first learning process is a process for learning an intermediate feature extraction model and a feature extraction model.
  • the second learning process is a process for learning a second correction parameter estimation model.
  • the second learning process is performed using the intermediate feature extraction model and the feature extraction model that have been learned by executing the first learning process. Therefore, it is preferable to execute the second learning process after the first learning process.
  • the first learning process may be started, for example, upon receiving an instruction from a user.
  • the second learning process may be executed automatically following the first learning process, or may be started upon receiving an instruction from a user.
  • the first training data and the second training data may be prepared before starting the learning process. Note that the trigger for starting the learning process is not limited to this.
  • the first learning target information acquisition unit 1020a inputs a first input image to an intermediate feature extraction model and extracts a first intermediate feature (step S1001).
  • the first feature extraction unit 1020b inputs the first intermediate feature into a feature extraction model and extracts the first feature (step S1002).
  • the first loss calculation unit 1020c calculates the first loss based on the first correct label and the first feature (step S1003).
  • the first update unit 1020d updates the parameters included in the intermediate feature extraction model and the feature extraction model based on the first loss (step S1004), and ends the first learning process. This completes the learning of the intermediate feature extraction model and the feature extraction model.
  • the intermediate feature extraction model and the feature extraction model learned by executing the first learning process that is, the trained intermediate feature extraction model and the feature extraction model, are used.
  • the second learning target information acquisition unit 1021a inputs the second input image to the trained intermediate feature extraction model and extracts second intermediate features (step S1011).
  • the learning calculation unit 1021b inputs the second intermediate feature amount into the second correction parameter estimation model to calculate the learning correction parameters (step S1012).
  • the second feature extraction unit 1021c inputs the second input image into the trained feature extraction model corrected with the learning correction parameters, and extracts the second feature (step S1013).
  • the second loss calculation unit 1021d calculates the second loss based on the second correct label and the second feature (step S1014).
  • the second update unit 1021e updates the parameters included in the second correction parameter estimation model based on the second loss (step S1015), and ends the second learning process. This completes the learning of the second correction parameter estimation model.
  • the information processing device 700 includes the first learning unit 1020 and the second learning unit 1021.
  • the first learning unit 1020 uses the first training data to learn a feature extraction model and an intermediate feature extraction model.
  • the second learning unit 1021 uses the second training data to learn a second correction parameter estimation model.
  • the first training data includes a first input image, which is the input image for learning.
  • the second training data includes a second input image, which is the input image for learning.
  • the target region in the first input image is of higher quality than the target region in the second input image.
  • the intermediate feature extraction model, the feature extraction model, and the first correction parameter estimation model may be learned separately using a feature norm (norm of a feature vector).
  • the "feature extraction model” in embodiment 8 may be replaced with the “intermediate feature extraction model and feature extraction model.” Also, the "first correction parameter estimation model” in embodiment 8 may be replaced with the "second correction parameter estimation model.”
  • the first feature extraction unit 720a inputs the first input image to the intermediate feature extraction model and the feature extraction model, and extracts a first feature that is a feature of the first input image.
  • the first loss calculation unit 720b calculates the first loss based on the correct label included in the first training data and the first feature.
  • the first norm calculation unit 820c calculates the first norm, which is the norm of the first feature.
  • the first norm loss calculation unit 820d calculates the first norm loss based on the ground truth norm included in the first training data and the first norm.
  • the loss integration unit 820e calculates an integrated loss by integrating the first loss and the first norm loss.
  • the first update unit 820f updates the parameters included in the feature extraction model based on the integrated loss.
  • the learning calculation unit 721a inputs quality information of the second input image into a second correction parameter estimation model to calculate learning correction parameters.
  • the second feature extraction unit 721b inputs the second input image into a trained intermediate feature extraction model and a feature extraction model that have been corrected with the learning correction parameters, and extracts second features that are features of the second input image.
  • the second norm calculation unit 821c calculates the second norm, which is the norm of the second feature.
  • the second norm loss calculation unit 821d calculates the second norm loss based on the ground-truth norm included in the second training data and the second norm.
  • the second update unit 821e updates the parameters included in the second correction parameter estimation model based on the second norm loss.
  • the intermediate feature extraction model and feature extraction model can be trained using a high-quality training image (first input image), and the second correction parameter estimation model to be trained using a low-quality training image (second input image).
  • first input image high-quality training image
  • second correction parameter estimation model second input image
  • the intermediate feature extraction model and feature extraction model, and the second correction parameter estimation model can be trained separately so that the features of the target region can be extracted with even greater accuracy. This makes it possible to perform authentication with even greater accuracy.
  • the method described in embodiments 7 to 9 can be applied to learning the correction coefficient estimation model.
  • the "first correction parameter estimation model" in embodiments 7 to 9 may be replaced with a "correction coefficient estimation model.”
  • the dictionary parameters and second relationship set in advance may be used as necessary.
  • the learning unit 619 may use training data to learn the feature extraction model and the correction coefficient estimation model.
  • the second learning unit 721 may use the second training data to learn the second correction parameter estimation model.
  • the learning calculation unit 721a may input quality information of the second input image to the correction coefficient estimation model and calculate the learning correction parameters.
  • the second update unit 821e may update the parameters included in the correction coefficient estimation model based on the second norm loss.
  • the method described in the tenth to twelfth embodiments can be applied to the learning of the correction coefficient estimation model.
  • the "second correction parameter estimation model" in the tenth to twelfth embodiments may be replaced with the "correction coefficient estimation model.”
  • the dictionary parameters and second relationship set in advance may be used as necessary.
  • the learning unit 919 may use training data to learn a feature extraction model, a correction coefficient estimation model, and an intermediate feature extraction model.
  • the second learning unit 1021 may use the second training data to learn the correction coefficient estimation model.
  • the learning calculation unit 721a may input quality information of the second input image to the correction coefficient estimation model and calculate the learning correction parameters.
  • the second update unit 821e may update the parameters included in the correction coefficient estimation model based on the second norm loss.
  • An object information acquisition means for acquiring object information relating to an object region in an input image; a calculation means for calculating correction parameters for correcting parameters included in a feature amount extraction model that extracts features of the target region based on the target information; an extraction means for extracting a feature of the target region by using the feature extraction model corrected by the correction parameters; and a comparison means for comparing the feature amount of the target area with pre-registered information and outputting a result of the comparison.
  • the input image is an image including an iris region which is the target region
  • the feature extraction model is composed of a neural network including at least one normalization layer
  • the information processing device wherein the parameters corrected using the correction parameters are parameters used in the normalization layer. 3. 3. The information processing device according to 1. or 2., wherein the target information includes at least one of quality information of the target region, intermediate feature amounts of the target region, and statistics related to the target region. 4. the target information includes quality information estimated by inputting the target region into a quality estimation model for estimating the quality information of the target region; 4. The information processing device according to 3, wherein the correction parameter is calculated by inputting the target information into a first correction parameter estimation model for estimating the correction parameter. 5. the target information includes intermediate features extracted by inputting the target region (in the input image) into an intermediate feature extraction model for extracting the intermediate features of the target region, 4.
  • the correction parameter is calculated by inputting the target information into a second correction parameter estimation model for estimating the correction parameter.
  • the target information includes the quality information of the target region or the intermediate feature amount of the target region, 3.
  • the information processing device according to Item 2 wherein the correction parameter is calculated by applying a correction coefficient acquired by inputting the target information into a correction coefficient estimation model and a dictionary parameter stored in advance to a predetermined first relationship.
  • the target information includes the statistics regarding the target region calculated using the intermediate feature amount of the target region, 4.
  • the information processing device according to 3., wherein the correction parameter is calculated by applying the statistics regarding the target region and a dictionary parameter that is stored in advance to a predetermined second relationship.
  • the target information includes the intermediate feature amount of the target region and the statistics regarding the target region; 4.
  • a learning means for learning the feature extraction model using first training data a second learning means for learning the first correction parameter estimation model by using second training data
  • the first training data includes a first input image that is the input image for learning
  • the second training data includes a second input image that is the input image for learning, 5.
  • the first learning means is a first feature extraction means for inputting the first input image to the feature extraction model and extracting a first feature which is a feature of the first input image; a first loss calculation means for calculating a first loss based on a correct label included in the first training data and the first feature amount; a first norm calculation means for calculating a first norm which is a norm of the first feature amount; a first norm loss calculation means for calculating a first norm loss based on a ground truth norm included in the first training data and the first norm; a loss integration means for calculating an integrated loss by integrating the first loss and the first norm loss; a first update means for updating a parameter included in the feature extraction model based on the integrated loss;
  • the second learning means is a learning calculation means for inputting quality information of a second input image into the first correction parameter estimation model and calculating a learning correction parameter; a second feature extraction means for
  • the information processing apparatus further comprising a learning means for learning the feature extraction model, the second correction parameter estimation model, and the intermediate feature extraction model by using training data.
  • a learning means for learning the feature extraction model and the intermediate feature extraction model by using first training data a second learning means for learning the second correction parameter estimation model by using second training data;
  • the first training data includes a first input image that is the input image for learning
  • the second training data includes a second input image that is the input image for learning, 5.
  • the information processing apparatus according to Item 5, wherein the target region in the first input image is of higher quality than the target region in the second input image. 14.
  • An object information acquisition means for acquiring object information relating to an object region in an input image; a calculation means for calculating correction parameters for correcting parameters included in a feature amount extraction model that extracts features of the target region based on the target information; an extraction means for extracting a feature of the target region by using the feature extraction model corrected by the correction parameters; A comparison means for comparing the feature amount of the target area with pre-registered information and outputting a result of the comparison.
  • the input image is an image including an iris region which is the target region, the feature extraction model is composed of a neural network including at least one normalization layer; 14.
  • the information processing system according to 13, wherein the parameters corrected using the correction parameters are parameters used in the normalization layer. 16. 14.
  • the target information includes at least one of quality information of the target region, intermediate feature amounts of the target region, and statistics regarding the target region.
  • the target information includes quality information estimated by inputting the target region into a quality estimation model for estimating the quality information of the target region; 16.
  • the correction parameter is calculated by inputting the target information into a first correction parameter estimation model for estimating the correction parameter.
  • the target information includes intermediate features extracted by inputting the target region (in the input image) into an intermediate feature extraction model for extracting the intermediate features of the target region, 16.
  • the target information includes the quality information of the target region or the intermediate feature amount of the target region, 16.
  • the correction parameter is calculated by applying a correction coefficient acquired by inputting the target information into a correction coefficient estimation model and a dictionary parameter stored in advance to a predetermined first relationship.
  • the target information includes the statistics regarding the target region calculated using the intermediate feature amount of the target region, 17.
  • the target information includes the intermediate feature amount of the target region and the statistics regarding the target region; 17.
  • the information processing system according to 16. wherein the correction parameters are calculated based on the intermediate feature amount of the target region and the statistics regarding the target region. 22. 18.
  • a learning means for learning the feature extraction model using first training data a second learning means for learning the first correction parameter estimation model by using second training data;
  • the first training data includes a first input image that is the input image for learning
  • the second training data includes a second input image that is the input image for learning, 17.
  • the first learning means a first feature extraction means for inputting the first input image to the feature extraction model and extracting a first feature which is a feature of the first input image; a first loss calculation means for calculating a first loss based on a correct label included in the first training data and the first feature amount; a first norm calculation means for calculating a first norm which is a norm of the first feature amount; a first norm loss calculation means for calculating a first norm loss based on a ground truth norm included in the first training data and the first norm; a loss integration means for calculating an integrated loss by integrating the first loss and the first norm loss; a first update means for updating a parameter included in the feature extraction model based on the integrated loss;
  • the second learning means is a learning calculation means for inputting quality information of a second input image into the first correction parameter estimation model and calculating a learning correction parameter; a second feature extraction means for inputting the second input image into the trained feature extraction model corrected with the learning correction parameter, and extracting a second feature which is a feature of
  • the first training data includes a first input image that is the input image for learning, and the second training data includes a second input image that is the input image for learning, 18.
  • One or more computers obtaining object information for a region of interest in the input image; calculating correction parameters for correcting parameters included in a feature amount extraction model that extracts features of the target region based on the target information; extracting features of the target region using the feature extraction model corrected by the correction parameters; and outputting a result of matching the feature amount of the target region with pre-registered information.
  • the input image is an image including an iris region which is the target region, the feature extraction model is composed of a neural network including at least one normalization layer; 28.
  • the information processing method according to 27., wherein the parameters corrected using the correction parameters are parameters used in the normalization layer. 29. 29.
  • the target information includes at least one of quality information of the target region, intermediate feature amounts of the target region, and statistics related to the target region.
  • the target information includes quality information estimated by inputting the target region into a quality estimation model for estimating the quality information of the target region; 29.
  • the target information includes intermediate features extracted by inputting the target region (in the input image) into an intermediate feature extraction model for extracting the intermediate features of the target region, 29.
  • the information processing method according to 28., wherein the correction parameter is calculated by inputting the target information into a second correction parameter estimation model for estimating the correction parameter. 32.
  • the target information includes the quality information of the target region or the intermediate feature amount of the target region, 29.
  • the information processing method according to 29. wherein the correction parameter is calculated by applying a correction coefficient acquired by inputting the target information into a correction coefficient estimation model and a dictionary parameter stored in advance to a predetermined first relationship.
  • the target information includes the statistics regarding the target region calculated using the intermediate feature amount of the target region, 29.
  • the information processing method according to 28. wherein the correction parameter is calculated by applying the statistics regarding the target region and a dictionary parameter that is stored in advance to a predetermined second relationship.
  • the target information includes the intermediate feature amount of the target region and the statistics regarding the target region; 29.
  • the information processing method according to 28. wherein the correction parameters are calculated based on the intermediate feature amount of the target region and the statistics regarding the target region. 35. 30.
  • the learning of the feature extraction model includes: inputting the first input image into the feature extraction model to extract a first feature that is a feature of the first input image; Calculating a first loss based on a correct label included in the first training data and the first feature amount; Calculating a first norm which is a norm of the first feature amount; Calculating a first norm loss based on a ground truth norm included in the first training data and the first norm; a loss integration means for calculating an integrated loss by integrating the first loss and the first norm loss; updating parameters included in the feature extraction model based on the integrated loss;
  • the learning of the first correction parameter estimation model includes: inputting quality information of the second input image into the first correction parameter estimation model to calculate learning correction parameters; inputting the second input image into the trained feature extraction model corrected with the learning correction parameters, and extracting a second feature that is a feature of the second input image; Calculating a second norm which is a norm of the second feature amount; Calculating a second norm loss based on a correct answer norm included in the second training data and
  • the information processing method according to claim 35 further comprising updating parameters included in the first correction parameter estimation model based on the second norm loss.
  • the information processing method according to claim 31, further comprising: learning the feature extraction model, the second correction parameter estimation model, and the intermediate feature extraction model using training data.
  • the method further includes learning the second correction parameter estimation model using second training data;
  • the first training data includes a first input image that is the input image for learning, and the second training data includes a second input image that is the input image for learning, 31.
  • the information processing method according to claim 31, wherein the target region in the first input image is of higher quality than the target region in the second input image. 40.
  • the input image is an image including an iris region which is the target region, the feature extraction model is composed of a neural network including at least one normalization layer; 40.
  • the program according to claim 40 wherein the parameters corrected using the correction parameters are parameters used in the normalization layer. 42. 40.
  • the target information includes at least one of quality information of the target region, intermediate feature amounts of the target region, and statistics regarding the target region.
  • the target information includes quality information estimated by inputting the target region into a quality estimation model for estimating the quality information of the target region; 42.
  • the correction parameter is calculated by inputting the target information into a first correction parameter estimation model for estimating the correction parameter.
  • the target information includes intermediate features extracted by inputting the target region (in the input image) into an intermediate feature extraction model for extracting the intermediate features of the target region, 43.
  • the program according to claim 43, wherein the correction parameter is calculated by inputting the target information into a second correction parameter estimation model for estimating the correction parameter. 45.
  • the target information includes the quality information of the target region or the intermediate feature amount of the target region, 44.
  • the correction parameter is calculated by applying a correction coefficient acquired by inputting the target information into a correction coefficient estimation model and a dictionary parameter stored in advance to a predetermined first relationship.
  • the target information includes the statistics regarding the target region calculated using the intermediate feature amount of the target region, 42.
  • the program according to claim 42, wherein the correction parameter is calculated by applying the statistics regarding the target region and a dictionary parameter stored in advance to a predetermined second relationship.
  • the target information includes the intermediate feature amount of the target region and the statistics regarding the target region; 42.
  • the program according to claim 42 wherein the correction parameters are calculated based on the intermediate feature amount of the target region and the statistics regarding the target region.
  • the program according to claim 43 wherein the target region in the first input image is of higher quality than the target region in the second input image. 50.
  • the learning of the feature extraction model includes: inputting the first input image into the feature extraction model to extract a first feature that is a feature of the first input image; Calculating a first loss based on a correct label included in the first training data and the first feature amount; Calculating a first norm which is a norm of the first feature amount; Calculating a first norm loss based on a ground truth norm included in the first training data and the first norm; a loss integration means for calculating an integrated loss by integrating the first loss and the first norm loss; updating parameters included in the feature extraction model based on the integrated loss;
  • the learning of the first correction parameter estimation model includes: inputting quality information of the second input image into the first correction parameter estimation model to calculate learning correction parameters; inputting the second input image into the trained feature extraction model corrected with the learning correction parameters, and extracting a second feature that is a feature of the second input image; Calculating a second norm which is a norm of the second feature amount; Calculating a second norm loss based on a correct answer norm included in the second training data and
  • the program according to claim 49 further comprising updating parameters included in the first correction parameter estimation model based on the second norm loss.
  • 51. 44. The program according to claim 44, further causing the program to execute learning of the feature amount extraction model, the second correction parameter estimation model, and the intermediate feature amount extraction model using training data.
  • 52. training the feature extraction model and the intermediate feature extraction model using first training data; further executing learning of the second correction parameter estimation model using second training data;
  • the first training data includes a first input image that is the input image for learning
  • the second training data includes a second input image that is the input image for learning, 44.
  • the program according to claim 44 wherein the region of interest in the first input image is of higher quality than the region of interest in the second input image.
  • the input image is an image including an iris region which is the target region
  • the feature extraction model is composed of a neural network including at least one normalization layer
  • the recording medium according to claim 52 on which a program is recorded, in which the parameters corrected using the correction parameters are parameters used in the normalization layer. 55. 53.
  • the recording medium wherein a program is recorded on the recording medium, the target information including at least one of quality information of the target region, intermediate feature amounts of the target region, and statistics regarding the target region.
  • the target information includes quality information estimated by inputting the target region into a quality estimation model for estimating the quality information of the target region; 55.
  • the target information includes intermediate features extracted by inputting the target region (in the input image) into an intermediate feature extraction model for extracting the intermediate features of the target region, 56.
  • the recording medium according to item 56 having recorded thereon a program for calculating the correction parameters by inputting the target information into a second correction parameter estimation model for estimating the correction parameters.
  • the target information includes the quality information of the target region or the intermediate feature amount of the target region, 57.
  • the recording medium according to claim 57 having recorded thereon a program for calculating the correction parameters by applying a correction coefficient acquired by inputting the target information into a correction coefficient estimation model and a dictionary parameter stored in advance to a predetermined first relationship.
  • the target information includes the statistics regarding the target region calculated using the intermediate feature amount of the target region, 55.
  • the recording medium according to claim 54 further comprising a program recorded thereon, the program causing the correction parameter to be calculated by applying the statistics relating to the target region and a dictionary parameter stored in advance to a predetermined second relationship.
  • the target information includes the intermediate feature amount of the target region and the statistics regarding the target region; 55.
  • the recording medium according to claim 54 further comprising a program recorded thereon for calculating the correction parameters based on the intermediate feature amount of the target region and the statistics relating to the target region.
  • 61. 56. The recording medium according to item 56, further comprising a program recorded thereon for executing learning of the feature amount extraction model and the first correction parameter estimation model by using training data. 62.
  • the recording medium according to item 56 further comprising a program recorded thereon, the program causing the target region in the first input image to have a higher quality than the target region in the second input image.
  • the learning of the feature extraction model includes: inputting the first input image into the feature extraction model to extract a first feature that is a feature of the first input image; Calculating a first loss based on a correct label included in the first training data and the first feature amount; Calculating a first norm which is a norm of the first feature amount; Calculating a first norm loss based on a ground truth norm included in the first training data and the first norm; a loss integration means for calculating an integrated loss by integrating the first loss and the first norm loss; updating parameters included in the feature extraction model based on the integrated loss;
  • the learning of the first correction parameter estimation model includes: inputting quality information of the second input image into the first correction parameter estimation model to calculate learning correction parameters; inputting the second input image into the trained feature extraction model corrected with the learning correction parameters, and extracting a second feature that is a feature of the second input image; Calculating a second norm which is a norm of the second feature amount; Calculating a second norm loss based on a correct answer norm included in the second training data and
  • the recording medium according to claim 62 having a program recorded thereon, the program including updating parameters included in the first correction parameter estimation model based on the second norm loss.
  • the first training data includes a first input image that is the input image for learning
  • the second training data includes a second input image that is the input image for learning, 57.
  • SYS1 to SYS10 Information processing systems 100, 200, 300, 400, 500, 600, 700, 800, 900, 1000 Information processing device 115 Object information acquisition unit 116 Calculation unit 117 Extraction unit 118 Collation unit 201 Photography device 211 Object position estimation unit 212 Object area generation unit 215, 315, 415, 515 Object information acquisition unit 216, 316, 416, 516, 616 Calculation unit 416a Dictionary parameter storage unit 416b Correction coefficient acquisition unit 416c Correction parameter calculation unit 516b Correction parameter calculation unit 619, 919 Learning unit 720, 820, 1020 First learning unit 721, 821, 1021 Second learning unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置は、対象情報取得部、算出部、抽出部及び照合部を備える。対象情報取得部は、入力画像における対象領域に関する対象情報を取得する。算出部は、対象情報に基づいて、対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出する。抽出部は、補正パラメータで補正された特徴量抽出モデルを用いて、対象領域の特徴量を抽出する。照合部は、対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力する。

Description

情報処理装置、情報処理システム、情報処理方法及び記録媒体
 本開示は、情報処理装置、情報処理システム、情報処理方法及び記録媒体に関する。
 例えば特許文献1は、ディープニューラルネットワークにおける正規化技術を開示する。
 特許文献1に記載されたディープニューラルネットワークの正規化方法では、入力データセットがディープニューラルネットワークに入力される。当該正規化方法は、ディープニューラルネットワークにおけるネットワーク層が出力した特徴マップセットを少なくとも一つの次元で正規化し、少なくとも一つの次元の分散および少なくとも一つの次元の平均値を得ることを含む。
 特徴マップセットは、少なくとも一つの特徴マップを含み、少なくとも一つのチャネルに対応し、各チャネルはそれぞれ少なくとも一つの特徴マップに対応する。正規化後の目標特徴マップセットは、少なくとも一つの次元の分散および少なくとも一つの次元の平均値に基づいて特定される。
 特許文献1の記載によれば、少なくとも一つの次元に沿って正規化することで、正規化動作による各次元の統計情報を包含し、バッチサイズに過度に依存しないと共に各次元の統計に対する高いロバスト性を有することが保証される。
特表2020-537204号公報
 本開示は、上述した先行技術文献に記載の技術を改良することを目的とする。
 本開示における情報処理装置は、
入力画像における対象領域に関する対象情報を取得する対象情報取得手段と、
 前記対象情報に基づいて、前記対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出する算出手段と、
 前記補正パラメータで補正された前記特徴量抽出モデルを用いて、前記対象領域の特徴量を抽出する抽出手段と、
 前記対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力する照合手段と、を備える。
 本開示における情報処理システムは、
 入力画像における対象領域に関する対象情報を取得する対象情報取得手段と、
 前記対象情報に基づいて、前記対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出する算出手段と、
 前記補正パラメータで補正された前記特徴量抽出モデルを用いて、前記対象領域の特徴量を抽出する抽出手段と、
 前記対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力する照合手段と、を備える。
 本開示における情報処理方法は、
 1つ以上のコンピュータが、
 入力画像における対象領域に関する対象情報を取得し、
 前記対象情報に基づいて、前記対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出し、
 前記補正パラメータで補正された前記特徴量抽出モデルを用いて、前記対象領域の特徴量を抽出し、
 前記対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力する。
 本開示における記録媒体は、
 1つ以上のコンピュータに、
 入力画像における対象領域に関する対象情報を取得し、
 前記対象情報に基づいて、前記対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出し、
 前記補正パラメータで補正された前記特徴量抽出モデルを用いて、前記対象領域の特徴量を抽出し、
 前記対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力することを実行させるためのプログラムが記録されている。
本開示に係る第1の情報処理装置の構成を示すブロック図である。 本開示に係る第1の情報処理システムの構成を示すブロック図である。 本開示に係る第1の情報処理装置の処理動作を示すフローチャートである。 本開示に係る入力画像としての両眼画像の一例を示す図である。 本開示に係る対象領域としての虹彩領域の一例を示す図である。 本開示に係る第1の情報処理装置の物理的な構成例を示す図である。 本開示に係る第2の情報処理システム及び第2の情報処理装置の構成を示すブロック図である。 本開示に係る、所定形状に変換された対象領域である矩形の虹彩領域の一例を示す図である。 本開示に係る第2の情報処理装置の処理動作を示すフローチャートである。 本開示に係る第3の情報処理システム及び第3の情報処理装置の構成を示すブロック図である。 本開示に係る第3の情報処理装置の処理動作を示すフローチャートである。 本開示に係る第4の情報処理システム及び第4の情報処理装置の構成を示すブロック図である。 本開示に係る第4の算出部の構成例を示すブロック図である。 本開示に係る第4の情報処理装置の処理動作を示すフローチャートである。 本開示に係る第4の情報処理装置の処理動作に含まれる補正パラメータ算出処理の例を示すフローチャートである。 本開示に係る第5の情報処理システム及び第5の情報処理装置の構成を示すブロック図である。 本開示に係る第5の算出部の構成例を示すブロック図である。 本開示に係る第6の情報処理システム及び第6の情報処理装置の構成を示すブロック図である。 本開示に係る第6の情報処理装置が備える学習部の構成を示すブロック図である。 本開示に係る第6の情報処理装置が実行する学習処理の一例を示すフローチャートである。 本開示に係る第7の情報処理システム及び第7の情報処理装置の構成を示すブロック図である。 本開示に係る第7の情報処理装置が備える第1学習部の構成を示すブロック図である。 本開示に係る第7の情報処理装置が備える第2学習部の構成を示すブロック図である。 本開示に係る第7の情報処理装置が実行する第1学習処理の一例を示すフローチャートである。 本開示に係る第7の情報処理装置が実行する第2学習処理の一例を示すフローチャートである。 本開示に係る第8の情報処理システム及び第8の情報処理装置の構成を示すブロック図である。 本開示に係る第8の情報処理装置が備える第1学習部の構成を示すブロック図である。 本開示に係る第8の情報処理装置が備える第2学習部の構成を示すブロック図である。 本開示に係る第8の情報処理装置が実行する第1学習処理の一例を示すフローチャートである。 本開示に係る第8の情報処理装置が実行する第2学習処理の一例を示すフローチャートである。 本開示に係る第9の情報処理システム及び第9の情報処理装置の構成を示すブロック図である。 本開示に係る第9の情報処理装置が備える学習部の構成を示すブロック図である。 本開示に係る第9の情報処理装置が実行する学習処理の一例を示すフローチャートである。 本開示に係る第10の情報処理システム及び第10の情報処理装置の構成を示すブロック図である。 本開示に係る第10の情報処理装置が備える第1学習部の構成を示すブロック図である。 本開示に係る第10の情報処理装置が備える第2学習部の構成を示すブロック図である。 本開示に係る第10の情報処理装置が実行する第1学習処理の一例を示すフローチャートである。 本開示に係る第10の情報処理装置が実行する第2学習処理の一例を示すフローチャートである。
 以下、本開示に係る実施形態について、図面を用いて説明する。なお、本開示において図面は、1以上の実施形態に関連付けられる。また、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
[実施形態1]
(概要)
 例えば虹彩認証では一般的に、画像の解像度が低い等、虹彩認証に用いる画像、特に虹彩領域の品質が低い場合、認証精度が低下することがある。そのため、虹彩認証では、高解像度である等の高品質な画像を撮影可能な撮影装置を用いて認証対象を撮影することが望ましいが、撮影装置の設置スペース、コスト等のために、高品質な画像を撮影可能な撮影装置を用いることが困難なことがある。
 このように、画像を用いた処理を行う場合に、高解像度である等の高品質な画像が要求される一方で、高品質な画像はその取得が困難なことがある。
 特許文献1に記載の正規化技術によれば、バッチサイズに過度に依存しないと共に各次元の統計に対する高いロバスト性を得ることができるかもしれない。しかしながら、特許文献1に記載の正規化技術を用いたとしても、低品質な入力画像から、認証精度を向上させるような画像特徴量を得ることは困難である。
 また、画像の品質を向上させるための技術として、例えば、画像の解像度を向上させる画像超解像技術がある(例えば、特開2009-282925号公報参照)。しかしながら、画像超解像技術は、一般的に、その処理を行うための時間、メモリ消費量等の処理コストが大きくなることが多い。
 本開示に係る発明が解決しようとする課題の1つは、処理コストの増加を抑えて、精度良く認証を行うことにある。
(情報処理装置100・情報処理システムSYS1の構成例)
 情報処理装置100は、図1に示すように、対象情報取得部115、算出部116、抽出部117及び照合部118を備える。情報処理システムSYS1は、図2に示すように、対象情報取得部115、算出部116、抽出部117及び照合部118を備える。
 対象情報取得部115は、入力画像における対象領域に関する対象情報を取得する。
 算出部116は、対象情報に基づいて、対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出する。
 抽出部117は、補正パラメータで補正された特徴量抽出モデルを用いて、対象領域の特徴量を抽出する。
 照合部118は、対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力する。
(作用・効果)
 この情報処理装置100によれば、対象領域に関する対象情報に基づく補正パラメータで補正された特徴量抽出モデルを用いて、対象領域の特徴量を抽出することができる。
 そのため、入力画像が低品質であっても対象領域の特徴量を精度良く抽出し、当該特徴量を用いた照合の結果を得ることができる。また、このような精度の良い対象領域の特徴量を抽出するための処理コストは、一般的な画像超解像技術を適用する場合よりも小さい。
 従って、処理コストの増加を抑えて、精度良く認証を行うことが可能になる。
 この情報処理システムSYS1によれば、情報処理装置100と同様に、処理コストの増加を抑えて、精度良く認証を行うことが可能になる。
(情報処理装置100の処理動作例)
 情報処理装置100は、図3に示すような情報処理を実行する。
 対象情報取得部115は、入力画像における対象領域に関する対象情報を取得する(ステップS115)。
 算出部116は、対象情報に基づいて、対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出する(ステップS116)。
 抽出部117は、補正パラメータで補正された特徴量抽出モデルを用いて、対象領域の特徴量を抽出する(ステップS117)。
 照合部118は、対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力する(ステップS118)。
 この情報処理によれば、対象領域に関する対象情報に基づく補正パラメータで補正された特徴量抽出モデルを用いて、対象領域の特徴量を抽出することができる。
 そのため、入力画像が低品質であっても対象領域の特徴量を精度良く抽出し、当該特徴量を用いた照合の結果を得ることができる。また、このような精度の良い対象領域の特徴量を抽出するための処理コストは、一般的な画像超解像技術を適用する場合よりも小さい。
 従って、処理コストの増加を抑えて、精度良く認証を行うことが可能になる。
(詳細例)
 以下、情報処理装置100、情報処理システムSYS1及び情報処理の詳細例について説明する。なお、本開示は、1つ以上のコンピュータに情報処理を実行させるためのプログラム、当該プログラムが記録された記録媒体等によって実現されてもよい。
(入力画像と対象領域について)
 入力画像は、照合に用いられる対象領域を含む画像である。言い換えると、対象領域は、入力画像のうち、照合に用いられる領域の画像である。
 入力画像は、例えば、両眼を含む両眼画像、左右の眼のうち予め定められた一方の眼である片眼を含む片眼画像、顔を含む顔画像、静脈を含む静脈画像等の生体画像である。
 対象領域は、例えば、虹彩領域(すなわち、虹彩を示す領域の画像)、顔領域(すなわち、顔を示す領域の画像)、指紋領域(すなわち、指の指紋を示す領域の画像)、静脈領域(すなわち、静脈を示す領域の画像)等である。対象領域が虹彩領域、顔領域、指紋領域、静脈領域である場合、それぞれ、虹彩認証、顔認証、指紋認証、静脈認証を行うことができる。
 なお、虹彩認証、顔認証、静脈認証は、生体認証の例である。本開示に係る認証は、生体認証に限られない。そのため、入力画像は、生体画像に限られない。さらに、虹彩、顔等は、典型的には人の虹彩、顔等であるが、犬、蛇等の動物の虹彩、顔等であってもよい。
 本開示に係る実施形態では、入力画像が、人の両眼を含む両眼画像(図4参照)である例を用いて説明する。また、対象領域が、虹彩領域(図5参照)である例を用いて説明する。
(対象情報について)
 対象情報は、対象領域に関する情報である。対象情報は、入力画像における対象領域の品質に応じた少なくとも1つの値を含む情報である。対象情報に含まれる値は、例えば連続的な値である。
 対象情報は、詳細には例えば、対象領域の品質情報、対象領域の中間特徴量、対象領域に関する統計量の少なくとも1つを含むとよい。
 対象領域の品質情報は、対象領域の品質を示す情報である。例えば、対象領域の品質情報は、対象領域の解像度、入力画像がカメラ等の撮影装置で撮影される場合のフォーカスボケ、動きボケ、対象領域の明るさ、眼鏡反射に関する情報等の1つ又は複数を含むとよい。解像度は、例えば、入力画像が虹彩を含む場合の虹彩径等である。
 虹彩径は、例えば、虹彩の直径であってもよく、虹彩の半径であってもよい。虹彩径は、例えば画素数で表されるとよい。また例えば、虹彩径は、虹彩画像が楕円である場合、虹彩の短径と長径とのいずれか一方又は両方であってもよい。なお、虹彩径を表す方法は、画素数に限られ例えば、その他の虹彩領域のサイズに応じた値等であってもよい。
 眼鏡反射に関する情報は、例えば、眼鏡反射の強度、面積、当該面積の割合等の少なくとも1つを含むとよい。眼鏡反射の強度は、対象領域に含まれる眼鏡反射の強度の平均値、最大値等であるが、これらに限られない。眼鏡反射の面積又はその割合は、例えば、虹彩領域のうち眼鏡反射が含まれる領域の面積又はその割合であるが、これらに限られない。なお、品質情報は、ここで例示したものに限られない。
 対象情報が対象領域の品質情報を含む場合、対象情報取得部115は、例えば、対象領域の品質情報を推定するための品質推定モデルを用いて、対象情報を取得してもよい。品質推定モデルは、対象領域が入力されると、当該対象領域の品質情報を出力する。
 本開示に係る実施形態では、対象情報が品質情報を含む場合、品質情報が虹彩径である例を用いて説明する。
 対象情報が対象領域の中間特徴量を含む場合、対象情報取得部115は、対象領域の中間特徴量(画像特徴量)を抽出するための中間特徴量抽出モデルを用いて、対象情報を取得する。中間特徴量抽出モデルは、対象領域が入力されると、当該対象領域の中間特徴量を出力する。中間特徴量は、例えば、特徴量抽出モデルにおいて、後述する最終特徴量を抽出する前の段階で抽出される特徴量である。中間特徴量等の画像特徴量は、例えば数値ベクトルで表されるとよい。
 中間特徴量抽出モデルは、例えば、多層のニューラルネットワークを用いて構成される。詳細には例えば、中間特徴量抽出モデルは、少なくとも1つの畳み込み層、少なくとも1つの正規化層等を含む。中間特徴量抽出モデルは、例えば、特徴量抽出モデルの一部を構成する学習モデルであってもよい。
 対象領域に関する統計量は、例えば、対象領域の中間特徴量に基づく統計量である。詳細には例えば、対象領域に関する統計量は、対象領域の中間特徴量から求められたチャネルC毎の特徴量マップに関する平均μ*C、分散σ*C等である。
(特徴量抽出モデルについて)
 特徴量抽出モデルは、対象領域の特徴量(画像特徴量)を抽出するための学習モデルである。特徴量抽出モデルは、対象領域又は当該対象領域の中間特徴量が入力されると、当該対象領域の特徴量を抽出して出力する。
 特徴量抽出モデルが抽出する特徴量は、照合に用いられる特徴量(画像特徴量)である。このような特徴量抽出モデルが抽出する特徴量は、入力画像から最終的に抽出される特徴量(最終特徴量)とも言える。最終特徴量も、中間特徴量と同様に画像特徴量であり、例えば数値ベクトルで表されるとよい。
 特徴量抽出モデルは、例えば、多層のニューラルネットワークを用いて構成される。詳細には例えば、特徴量抽出モデルは、少なくとも1つの畳み込み層、少なくとも1つの正規化層等を含む。
 例えば、対象情報取得部115が中間特徴量抽出モデルを用いる場合、特徴量抽出モデルへの入力は、例えば、対象領域の中間特徴量である。この場合、特徴量抽出モデルと中間特徴量抽出モデルとは、例えば、これらのモデル全体で、対象領域を入力すると、対象領域の特徴量(すなわち、照合に用いられる特徴量)を出力する一連のニューラルネットワークで構成されるとよい。詳細には例えば、中間特徴量抽出モデルと特徴量抽出モデルとは、それぞれ、当該一連のニューラルネットワークを2つに分割した場合の前段と後段とでよい。
 なお、一連のニューラルネットワークは、前段と後段の2つに限らず、3つ以上に分割されてもよい。一連のニューラルネットワークが3つ以上の部分に分割される場合、例えば、最終段以外の部分が中間特徴量抽出モデルとして用いられ、最終段が特徴量抽出モデルとして用いられてもよい。
(補正パラメータについて)
 補正パラメータは、特徴量抽出モデルに含まれるパラメータを補正するための値である。算出部116は、特徴量抽出モデルに含まれる既定のパラメータよりも、認証精度を向上させるような補正パラメータを算出するように構成されるとよい。
 特徴量抽出モデルに含まれるパラメータは、例えば、特徴量抽出モデルを構成するニューラルネットワークにおけるチャネルC毎のパラメータである。チャネルCは、各フィルタに対応する畳み込み層内のニューロンセットである。
 例えば、特徴量抽出モデルが少なくとも1つの正規化層を含むニューラルネットワークから構成される場合、補正パラメータを用いて補正されるパラメータは、少なくとも1つの正規化層で用いられるパラメータである。
 詳細には例えば、補正パラメータを用いて補正されるパラメータは、少なくとも1つの正規化層で用いられるチャネルC毎のパラメータである。例えば、少なくとも1つの正規化層で用いられるチャネルC毎のパラメータが、補正パラメータで置き換えられるとよい。
 より詳細には例えば、補正パラメータは、以下のチャネルC毎のμ,σ,γ,βを補正するための値である。以下の式(1)~(2)において、xicは、サンプルiのチャネルCの特徴量マップを表す。μ,σは、それぞれ、バッチノルムのチャネルCの平均、分散を表す。γ,βは、それぞれ、チャネルCのシフト、スケールパラメータを表す。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 なお、補正パラメータを用いた補正は、対象領域の解像度が予め定められた閾値以下の低解像度である場合に行われてもよい。この場合、算出部116は、対象領域が低解像度であるか否かを判定し、対象領域が低解像度である場合に、補正パラメータを算出するとよい。対象領域が低解像度ではない場合、算出部116は、補正パラメータを算出しなくてよい。この場合、抽出部117は、補正パラメータで補正されていない特徴量抽出モデル(すなわち、パラメータが既定値である特徴量抽出モデル)を用いて、対象領域の特徴量を抽出するとよい。
(照合結果について)
 照合結果は、対象領域の特徴量(最終特徴量)と予め登録された登録情報とを照合した結果である。すなわち、照合部118は、対象領域の特徴量と予め登録された登録情報とを照合し、照合結果を出力する。照合結果は、例えば、最終特徴量と登録情報に含まれる特徴量との類似度(例えば、コサイン類似度)等を含む情報、当該類似度が予め定められた照合条件を満たすか否かを示す情報の少なくとも1つを含むとよい。
 照合条件は、例えば、類似度が予め定められた照合閾値以上であることである。類似度が照合条件を満たす場合、照合結果は、例えば認証成功を示す情報であるとよい。また類似度が照合条件を満たさない場合、照合結果は、例えば認証失敗を示す情報であるとよい。
 照合結果は、例えば、類似度、照合条件を満たすか否かの判定結果等の少なくとも1つの確からしさを示す情報を含んでもよい。なお、照合結果は、ここで例示したものに限られない。
 照合結果の出力は、図示しない表示部に表示させることであってもよく、図示しない他の装置へ送信することであってもよい。詳細には例えば、照合部118は、情報処理装置100が備える或いは図示しない他の装置(例えば、ユーザが利用する携帯端末等)が備える表示部に、照合結果を表示させてもよい。また例えば、照合部118は、図示しない他の装置(例えば、照合結果を利用する情報処理装置等)へネットワークNTを介して照合結果を送信してもよい。
(情報処理について)
 情報処理装置100は、例えば、入力画像を取得すると、情報処理を開始するとよい。
 なお、情報処理装置100が情報処理を開始するトリガは、これに限られない。
(情報処理装置100の物理的な構成例)
 情報処理装置100は、物理的には例えば図6に示すように、バス2010、プロセッサ2020、メモリ2030、ストレージデバイス2040、ネットワークインタフェース2050、入力インタフェース2060、及び、出力インタフェース2070を有する。
 バス2010は、プロセッサ2020、メモリ2030、ストレージデバイス2040、ネットワークインタフェース2050、入力インタフェース2060及び出力インタフェース2070が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ2020等を互いに接続する方法は、バス接続に限定されない。
 プロセッサ2020は、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等で実現されるプロセッサである。
 メモリ2030は、RAM(Random Access Memory)等で実現される主記憶装置である。
 ストレージデバイス2040は、HDD(Hard Disk Drive)、SSD(Solid State Drive)、メモリカード、又はROM(Read Only Memory)等で実現される補助記憶装置である。ストレージデバイス2040は、情報処理装置100の機能を実現するためのプログラムモジュールを記憶している。プロセッサ2020がこれら各プログラムモジュールをメモリ2030に読み込んで実行することで、そのプログラムモジュールに対応する機能が実現される。
 ネットワークインタフェース2050は、情報処理装置100をネットワークNTに接続するためのインタフェースである。なお、ネットワークNTは、図示しない他の装置と互いに情報を送受信するための通信ネットワークであり、有線、無線又はこれらを組み合わせて構成されるとよい。
 入力インタフェース2060は、ユーザが情報を入力するためのインタフェースであり、例えばタッチパネル、キーボード、マウス等から構成される。
 出力インタフェース2070は、ユーザに情報を提示するためのインタフェースであり、例えば液晶パネル、有機EL(Electro-Luminescence)パネル等から構成される。
 なお、情報処理装置100が物理的に1つの装置(例えば、コンピュータ等)から構成される例を説明したが、情報処理装置100は、例えばネットワークNTを介して互いに情報を送受信する複数の装置(例えば、コンピュータ等)から構成されてもよい。この場合、当該複数の装置が協働して情報処理を実行してもよい。
(作用・効果)
 以上、本実施形態によれば、入力画像は、対象領域である虹彩領域を含む画像である。特徴量抽出モデルは、少なくとも1つの正規化層を含むニューラルネットワークから構成される。補正パラメータを用いて補正されるパラメータは、正規化層で用いられるパラメータである。
 これにより、入力画像の品質のバラツキに起因して生じることがある中間特徴量の分布のバラツキを正規化層で抑制して、対象領域の特徴量を抽出することができる。そのため、入力画像の品質によらずに対象領域の特徴量を精度良く抽出し、当該特徴量を用いた照合の結果を得ることができる。また、このような精度の良い対象領域の特徴量を抽出するための処理コストは、一般的な画像超解像技術を適用する場合よりも小さい。
 従って、処理コストの増加を抑えて、精度良く認証を行うことが可能になる。
 本実施形態によれば、対象情報は、対象領域の品質情報、対象領域の中間特徴量、対象領域に関する統計量の少なくとも1つを含む。
 これにより、対象領域の品質情報、対象領域の中間特徴量、対象領域に関する統計量の少なくとも1つに基づく補正パラメータで補正された特徴量抽出モデルを用いて、対象領域の特徴量を抽出することができる。
 そのため、入力画像が低品質であっても対象領域の特徴量を精度良く抽出し、当該特徴量を用いた照合の結果を得ることができる。また、このような精度の良い対象領域の特徴量を抽出するための処理コストは、一般的な画像超解像技術を適用する場合よりも小さい。
 従って、処理コストの増加を抑えて、精度良く認証を行うことが可能になる。
[実施形態2]
 実施形態2では、対象情報が、入力画像における対象領域の品質情報を推定するための品質推定モデルに、対象領域を入力することで推定された対象領域の品質情報を含む例を説明する。また、補正パラメータが、補正パラメータを推定するための第1補正パラメータ推定モデルに対象情報を入力することで算出される例を説明する。
(情報処理システムSYS2及び情報処理装置200の構成例)
 情報処理システムSYS2は、図7に示すように、撮影装置201と、情報処理装置200とを備える。情報処理装置200は、対象位置推定部211と、対象領域生成部212と、対象情報取得部215と、算出部216と、抽出部117と、照合部118とを備える。
 撮影装置201は、被写体を撮影して入力画像を生成する装置である。撮影装置201は、例えば、可視光カメラ、赤外線カメラ、近赤外線カメラ等のカメラである。
 詳細には例えば、撮影装置201は、図示しない人感センサ等のセンサから人が所定位置に居ることを示す信号を取得すると、人の両眼近傍を撮影して両眼画像を生成する。撮影装置201は、生成した両眼画像を出力するとよい。
 対象位置推定部211は、撮影装置201が入力画像を取得すると、当該入力画像における対象領域の位置を推定する。
 詳細には例えば、対象領域が虹彩領域である場合、対象位置推定部211は、瞳孔中心の位置、瞳孔径及び虹彩径を含む眼位置を、対象領域の位置として推定する。瞳孔径は、瞳孔の直径であってもよく、瞳孔の半径であってもよい。瞳孔径は、例えば画素数で表されるとよい。なお、瞳孔径を表す方法は、画素数に限られない。
 対象領域の位置を推定する技術には、パターンマッチング、機械学習モデル等の一般的な技術が用いられるとよい。機械学習モデルを用いる場合、対象位置推定部211は、学習用入力画像から対象領域の位置を推定するための学習をした学習モデルを用いて、入力画像を入力として、当該入力画像における対象領域の位置を推定するとよい。この学習モデルの学習では、学習用入力画像と、当該学習用入力画像における対象領域の位置を含む訓練データを用いた教師あり学習が行われるとよい。
 なお、眼位置及びこれを推定する技術は、ここで例示したものに限られない。
 対象領域生成部212は、入力画像と、推定された対象領域の位置とに基いて、対象領域(対象領域のみを示す画像)を生成する。
 詳細には例えば、対象領域生成部212は、入力画像から対象領域を切り出すことで、対象領域(例えば図5に示すような概ね円環状の虹彩領域)を生成してもよい。また、対象領域生成部212は、入力画像から対象領域を切り出して、さらに所定の変換を行うことで、所定形状で対象領域(例えば図8に示すような概ね矩形状の虹彩領域)を生成してもよい。
 なお、例えば両眼画像において虹彩領域の一部を瞼等が覆う場合、虹彩領域は、円環状或いは矩形状から、瞼等で覆われた部分が欠けた形状になるとよい。
 対象情報取得部215は、入力画像における対象領域に関する品質情報を、対象情報として取得する。
 詳細には例えば、対象情報取得部215は、品質推定モデルに対象領域を入力することで推定された対象領域の品質情報を取得する。品質推定モデルは、入力画像における対象領域の品質情報を推定するための学習モデルである。品質推定モデルは、例えば、対象領域を入力すると、対象領域の品質情報を出力するとよい。品質情報は、例えば、虹彩径である。
 品質推定モデルの学習では、学習用入力画像と、当該学習用入力画像における品質情報を含む訓練データを用いた教師あり学習が行われるとよい。
 なお、品質情報を推定する技術は、ここで例示したものに限られない。また、品質情報が虹彩径である場合等のように対象位置推定部211にて求められている場合、対象情報取得部215は、対象位置推定部211から品質情報を取得してもよい。
 算出部216は、品質情報に基づいて、特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出する。
 詳細には例えば、算出部216は、第1補正パラメータ推定モデルに品質情報を入力することで、補正パラメータを算出する。第1補正パラメータ推定モデルは、補正パラメータを推定するための学習モデルである。第1補正パラメータ推定モデルは、例えば、対象領域の品質情報を入力すると、補正パラメータを出力する。この補正パラメータは、例えば上述のようなチャネル毎の平均μ,分散σ,シフトγ,スケールパラメータβである。
 第1補正パラメータ推定モデルは、例えば、畳み込みニューラルネットワーク等のニューラルネットワーク、注意機構等を用いて構成されるとよい。
 第1補正パラメータ推定モデルの学習方法については、他の実施形態で説明する。
(情報処理装置200の処理動作例)
 情報処理装置200は、図9に示すような情報処理を実行する。情報処理装置200は、例えば、撮影装置201から入力画像を取得すると、情報処理を開始するとよい。
 対象位置推定部211は、撮影装置201にて生成された入力画像に基いて、当該入力画像における対象領域の位置を推定する(ステップS211)。
 対象領域生成部212は、撮影装置201にて生成された入力画像と、ステップS211にて推定された対象領域の位置とに基いて、対象領域(対象領域のみを示す画像)を生成する(ステップS212)。
 対象情報取得部215は、ステップS212にて生成された対象領域を品質推定モデルに入力することで、対象情報である対象領域の品質情報を取得する(ステップS215)。
 算出部216は、ステップS215にて取得された品質情報を第1補正パラメータ推定モデルに入力することで、補正パラメータを算出する(ステップS216)。
 抽出部117は、補正パラメータで補正された特徴量抽出モデルを用いて、対象領域の特徴量を抽出する(ステップS117)。
 詳細には例えば、抽出部117は、ステップS216にて算出された補正パラメータで補正された特徴量抽出モデルに、ステップS212にて生成された対象領域を入力することで、対象領域の特徴量を抽出する。
 照合部118は、ステップS117にて抽出された対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力し(ステップS118)、情報処理を終了する。
(作用・効果)
 以上、本実施形態によれば、対象情報は、対象領域の品質情報を推定するための品質推定モデルに、対象領域を入力することで推定された品質情報を含む。補正パラメータは、補正パラメータを推定するための第1補正パラメータ推定モデルに対象情報を入力することで算出される。
 これにより、対象領域の品質情報に基づく補正パラメータで補正された特徴量抽出モデルを用いて、対象領域の特徴量を抽出することができる。
 そのため、入力画像が低品質であっても対象領域の特徴量を精度良く抽出し、当該特徴量を用いた照合の結果を得ることができる。また、このような精度の良い対象領域の特徴量を抽出するための処理コストは、一般的な画像超解像技術を適用する場合よりも小さい。
 従って、処理コストの増加を抑えて、精度良く認証を行うことが可能になる。
[実施形態3]
 実施形態3では、対象情報が、入力画像における対象領域の中間特徴量を抽出するための中間特徴量抽出モデルに、前象領域を入力することで抽出された中間特徴量を含む例を説明する。また、補正パラメータが、補正パラメータを推定するための第2補正パラメータ推定モデルに対象情報を入力することで算出される例を説明する。
(情報処理システムSYS3及び情報処理装置300の構成例)
 情報処理システムSYS3は、図10に示すように、撮影装置201と、情報処理装置300とを備える。情報処理装置300は、対象位置推定部211と、対象領域生成部212と、対象情報取得部315と、算出部316と、抽出部117と、照合部118とを備える。
 対象情報取得部315は、入力画像における対象領域の中間特徴量を、対象情報として取得する。
 詳細には例えば、対象情報取得部315は、上述の中間特徴量抽出モデルに対象領域を入力することで対象領域の中間特徴量を取得する。
 中間特徴量抽出モデルの学習方法については、他の実施形態で説明する。
 算出部316は、対象領域の中間特徴量に基づいて、特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出する。
 詳細には例えば、算出部316は、第2補正パラメータ推定モデルに対象領域の中間特徴量を入力することで、補正パラメータを算出する。第2補正パラメータ推定モデルは、補正パラメータを推定するための学習モデルである。第2補正パラメータ推定モデルは、例えば、対象領域の中間特徴量を入力すると、補正パラメータを出力する。この補正パラメータは、例えば上述のようなチャネル毎の平均μ,分散σ,シフトγ,スケールパラメータβである。
 第2補正パラメータ推定モデルは、例えば、畳み込みニューラルネットワーク等のニューラルネットワーク、注意機構等を用いて構成されるとよい。
 第2補正パラメータ推定モデルの学習方法については、他の実施形態で説明する。なお、中間特徴量の代わりに、中間特徴量のノルムが用いられてもよい。
(情報処理装置300の処理動作例)
 情報処理装置300は、図11に示すような情報処理を実行する。情報処理装置300は、例えば、撮影装置201から入力画像を取得すると、情報処理を開始するとよい。
 上述のステップS211~ステップS212が実行される。
 対象情報取得部315は、ステップS212にて生成された対象領域を中間特徴量抽出モデルに入力することで、対象領域の中間特徴量を含む対象情報を取得する(ステップS315)。
 算出部316は、ステップS315にて取得された対象領域の中間特徴量を第2補正パラメータ推定モデルに入力することで、補正パラメータを算出する(ステップS316)。
 抽出部117は、補正パラメータで補正された特徴量抽出モデルを用いて、対象領域の特徴量を抽出する(ステップS117)。
 詳細には例えば、抽出部117は、ステップS316にて算出された補正パラメータで補正された特徴量抽出モデルに、ステップS315にて取得された中間特徴量を入力することで、対象領域の特徴量を抽出する。
 照合部118は、ステップS117にて抽出された対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力し(ステップS118)、情報処理を終了する。
(作用・効果)
 以上、本実施形態によれば、対象情報は、対象領域の中間特徴量を抽出するための中間特徴量抽出モデルに、対象領域を入力することで抽出された中間特徴量を含む。補正パラメータは、補正パラメータを推定するための第2補正パラメータ推定モデルに対象情報を入力することで算出される。
 これにより、対象領域の中間特徴量に基づく補正パラメータで補正された特徴量抽出モデルを用いて、対象領域の特徴量を抽出することができる。
 一般的に、画像の品質と、当該画像から抽出される特徴量ベクトルのノルムとの間には相関があり、例えば高品質の画像の品質が高い程、当該画像から抽出される特徴量ベクトルのノルムが大きくなる。中間特徴量も、当該中間特徴量が抽出された画像の品質を示す品質情報を保持している。例えばノルムを計算することでその品質情報を推定することができる。
 そのため、中間特徴量のノルム又は中間特徴量自体を入力にして補正パラメータ推定モデルを用いることで、補正パラメータを推定することができる。このような中間特徴量に基づく補正パラメータを用いて対象領域の特徴量を抽出することで、入力画像が低品質であっても対象領域の特徴量を精度良く抽出し、当該特徴量を用いた照合の結果を得ることができる。また、このような精度の良い対象領域の特徴量を抽出するための処理コストは、一般的な画像超解像技術を適用する場合よりも小さい。
 従って、処理コストの増加を抑えて、精度良く認証を行うことが可能になる。
[実施形態4]
 実施形態4では、対象情報が、対象領域の品質情報又は対象領域の中間特徴量を含む例を説明する。また、補正パラメータが、補正用係数S,Bを推定するための補正用係数推定モデルに対象情報を入力することで取得された補正用係数S,Bと、予め保持される辞書パラメータμ ,σ ,γ ,β とを、予め定められた第1関係に適用することで算出される例を説明する。
(情報処理システムSYS4及び情報処理装置400の構成例)
 情報処理システムSYS4は、図12に示すように、撮影装置201と、情報処理装置400とを備える。情報処理装置400は、対象位置推定部211と、対象領域生成部212と、対象情報取得部415と、算出部416と、抽出部117と、照合部118とを備える。
 対象情報取得部415は、入力画像における対象情報を取得する。本実施形態に係る対象情報は、対象領域の品質情報又は中間特徴量である。
 対象情報取得部415は、品質情報を取得する場合、実施形態2で説明した対象情報取得部215と同様の機能を備えるとよい。対象情報取得部415は、中間特徴量を取得する場合、実施形態3で説明した対象情報取得部315と同様の機能を備えるとよい。
 算出部416は、対象情報取得部415が取得した対象情報に基づいて、特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出する。
 算出部416は、図13に示すように、辞書パラメータ記憶部416aと、補正用係数取得部416bと、補正パラメータ算出部416cとを含む。
 辞書パラメータ記憶部416aは、辞書パラメータを予め記憶する。辞書パラメータは、例えばチャネルC毎の平均μ ,分散σ ,シフトγ ,スケールパラメータβ である。辞書パラメータである平均μ ,分散σ ,シフトγ ,スケールパラメータβ は、適宜設定される標準的な値でよい。
 補正用係数取得部416bは、対象情報(品質情報又は中間特徴量)に基いて、補正パラメータの算出に用いられる補正用係数S,Bを取得する。
 例えば、補正用係数取得部416bは、対象情報(品質情報又は中間特徴量)を補正用係数推定モデルに入力することで補正用係数S,Bを取得する。補正用係数推定モデルは、補正用係数S,Bを推定するための学習モデルである。補正用係数推定モデルは、品質情報又は中間特徴量が入力されると、補正用係数S,Bを出力する。
 補正パラメータ算出部416cは、予め記憶される辞書パラメータと補正用係数とを、予め定められた第1関係に適用することで、補正パラメータを算出する。この補正パラメータは、例えば上述のようなチャネル毎の平均μ,分散σ,シフトγ,スケールパラメータβである。
 第1関係は、例えば、以下の式(3)で規定される。式(3)のXは、μ,σ,γ,βの各々を表す。なお、第1関係は、ここで例示したものに限られず、例えば他の関係式で規定されてもよく、多次元のマトリックスで規定されてもよい。
Figure JPOXMLDOC01-appb-M000003
 補正用係数推定モデルの学習方法については、他の実施形態で説明する。
(情報処理装置400の処理動作例)
 情報処理装置400は、図14に示すような情報処理を実行する。情報処理装置400は、例えば、撮影装置201から入力画像を取得すると、情報処理を開始するとよい。
 上述のステップS211~ステップS212が実行される。
 対象情報取得部415は、ステップS212にて生成された対象領域と、品質推定モデル又は中間特徴量抽出モデルとを用いて、対象情報(対象領域の品質情報又は中間特徴量)を取得する(ステップS415)。
 補正用係数取得部416bは、ステップS415にて取得された対象情報(品質情報又は中間特徴量)に基づいて、補正パラメータを算出する(ステップS416)。
 例えば図15に示すように、補正用係数取得部416bは、対象情報(品質情報又は中間特徴量)を補正用係数推定モデルに入力することで補正用係数S,Bを取得する(ステップS416a)。
 補正パラメータ算出部416cは、予め記憶される辞書パラメータと、ステップs416aで取得された補正用係数S,Bと、予め定められた第1関係とを用いて、補正パラメータを算出し(ステップS416b)、情報処理に戻る。
 例えば、補正パラメータ算出部416cは、式(3)のXをμ,σ,γ,βの各々に置き換えた式に、辞書パラメータと補正用係数S,Bとを代入して、チャネル毎の平均μ,分散σ,シフトγ,スケールパラメータβを算出する。
 図14を再び参照する。
 抽出部117は、上述のように、補正パラメータで補正された特徴量抽出モデルを用いて、対象領域の特徴量を抽出する(ステップS117)。
 詳細には例えば、対象情報が品質情報を含む場合、実施形態2で説明したように、抽出部117は、補正パラメータで補正された特徴量抽出モデルに、ステップS212にて生成された対象領域を入力することで、対象領域の特徴量を抽出するとよい。
 また例えば、対象情報が中間特徴量を含む場合、実施形態3で説明したように、抽出部117は、補正パラメータで補正された特徴量抽出モデルに、ステップS315にて取得された中間特徴量を入力することで、対象領域の特徴量を抽出するとよい。
 照合部118は、ステップS117にて抽出された対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力し(ステップS118)、情報処理を終了する。
(作用・効果)
 以上、本実施形態によれば、対象情報は、対象領域の品質情報又は対象領域の中間特徴量を含む。補正パラメータは、対象情報を補正用係数推定モデルに入力することで取得された補正用係数と、予め記憶される辞書パラメータとを、予め定められた第1関係に適用することで算出される。
 これによれば、補正用係数を用いて補正パラメータを算出するので、対象情報に基づいて推定する係数の数を、補正パラメータの数よりも少なくすることができる。そのため、対象情報に基づいて推定するための処理量を減らすことができる。
 また、補正パラメータで補正された特徴量抽出モデルを用いて、対象領域の特徴量を抽出することができるので、入力画像が低品質であっても対象領域の特徴量を精度良く抽出し、当該特徴量を用いた照合の結果を得ることができる。
 従って、処理コストの増加をより一層抑えて、精度良く認証を行うことが可能になる。
[実施形態5]
 実施形態5では、対象情報が、対象領域の中間特徴量を用いて算出された対象領域に関する統計量を含む例を説明する。また、補正パラメータが、対象領域に関する前記統計量と、予め保持される辞書パラメータとを、予め定められた第2関係に適用することで算出される例を説明する。
(情報処理システムSYS5及び情報処理装置500の構成例)
 情報処理システムSYS5は、図16に示すように、撮影装置201と、情報処理装置500とを備える。情報処理装置500は、対象位置推定部211と、対象領域生成部212と、対象情報取得部515と、算出部516と、抽出部117と、照合部118とを備える。
 対象情報取得部515は、入力画像における対象領域に関する統計量を、対象情報として取得する。対象領域に関する統計量は、例えば、チャネル毎の中間特徴量の平均μ,分散σである。
 詳細には例えば、対象情報取得部515は、実施形態3で説明した対象情報取得部315と同様の機能を備えることで、対象領域の中間特徴量、すなわち対象領域に関するチャネル毎の中間特徴量を取得する。対象情報取得部515は、中間特徴量に統計処理を行って、チャネル毎の中間特徴量の平均μ*C,分散σ*Cを算出する。
 算出部516は、対象情報取得部415が取得した対象情報に基づいて、特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出する。
 算出部516は、図17に示すように、辞書パラメータ記憶部416aと、補正パラメータ算出部516bとを含む。
 補正パラメータ算出部516bは、対象領域に関する統計量と、予め保持される辞書パラメータとを、予め定められた第2関係に適用することで算出される
 第2関係は、例えば、以下の式(4)で規定される。式(4)のYは、μ,σの各々を表す。なお、第2関係は、ここで例示したものに限られず、例えば他の関係式で規定されてもよく、多次元のマトリックスで規定されてもよい。mは、適宜定められる重みであり、例えば0<m<1である。
Figure JPOXMLDOC01-appb-M000004
(作用・効果)
 以上、本実施形態によれば、対象情報は、対象領域の中間特徴量を用いて算出された、対象領域に関する統計量を含む。補正パラメータは、対象領域に関する統計量と、予め保持される辞書パラメータとを、予め定められた第2関係に適用することで算出される。
 これにより、対象領域に関する統計量に基づく補正パラメータで補正された特徴量抽出モデルを用いて、対象領域の特徴量を抽出することができる。
 そのため、入力画像が低品質であっても対象領域の特徴量を精度良く抽出し、当該特徴量を用いた照合の結果を得ることができる。また、このような精度の良い対象領域の特徴量を抽出するための処理コストは、一般的な画像超解像技術を適用する場合よりも小さい。
 従って、処理コストの増加を抑えて、精度良く認証を行うことが可能になる。
[実施形態6]
 実施形態5では、対象情報取得部515が、対象領域に関するチャネル毎の中間特徴量と、チャネル毎の中間特徴量の平均μ*C,分散σ*Cとを算出する例を説明した。この場合、算出部516が、実施形態5で説明した機能に加えて、実施形態3で説明した算出部316と同様の機能をさらに備えてもよい。これにより、算出部516は、対象領域の中間特徴量と、対象領域に関する統計量とに基づいて、補正パラメータを算出することができる。
 抽出部117は、例えば、特徴量抽出モデルのパラメータのうち、一部が統計量に基づく補正パラメータで補正され、残部が中間特徴量に基づく補正パラメータで補正された特徴量抽出モデルに、中間特徴量を入力することで、対象領域の特徴量を抽出するとよい。統計量に基づく補正パラメータで補正されるパラメータは、例えば、平均μ,分散σの少なくとも1つでよい。
(作用・効果)
 以上、本実施形態によれば、対象情報は、対象領域の中間特徴量と、対象領域に関する統計量とを含む。補正パラメータは、対象領域の中間特徴量と、対象領域に関する統計量とに基づいて算出される。
 これにより、対象領域の中間特徴量と対象領域に関する統計量とに基づく補正パラメータでより適切に補正された特徴量抽出モデルを用いて、対象領域の特徴量を抽出することができる。
 そのため、入力画像が低品質であっても対象領域の特徴量をより精度良く抽出し、当該特徴量を用いた照合の結果を得ることができる。また、このような精度の良い対象領域の特徴量を抽出するための処理コストは、一般的な画像超解像技術を適用する場合よりも小さい。
 従って、処理コストの増加を抑えて、より精度良く認証を行うことが可能になる。
[実施形態7]
 本実施形態では、実施形態2で説明した第1補正パラメータ推定モデル及び特徴量抽出モデルの学習方法の第1例について説明する。
(情報処理システムSYS6及び情報処理装置600の構成例)
 情報処理システムSYS6は、図18に示すように、撮影装置201と、情報処理装置600とを備える。情報処理装置600は、情報処理装置200が備える機能に加えて、学習部619を備える。
 学習部619は、予め準備される訓練データを用いて、特徴量抽出モデルと第1補正パラメータ推定モデルとの学習を行う。すなわち、学習部619は、特徴量抽出モデルと第1補正パラメータ推定モデルとで共通の訓練データを用いて、特徴量抽出モデルと第1補正パラメータ推定モデルとの学習を同時に行う。訓練データは、例えば、学習用入力画像と、正解ラベルとを含むとよい。
 詳細には例えば、学習部619は、図19に示すように、学習用算出部619aと、学習用特徴量抽出部619bと、損失算出部619cと、更新部619dとを含む。
 学習用算出部619aは、訓練データに含まれる学習用入力画像の品質情報を第1補正パラメータ推定モデルに入力して、学習用補正パラメータを算出する。
 学習用特徴量抽出部619bは、訓練データに含まれる学習用入力画像を、学習用補正パラメータで補正した特徴量抽出モデルに入力して、学習用特徴量を抽出する。学習用特徴量は、学習用入力画像に含まれる対象領域の特徴量である。
 損失算出部619cは、訓練データに含まれる正解ラベルと学習用特徴量とに基づいて、損失を算出する。損失関数には、二乗和誤差、交差エントロピー誤差等の一般的な損失関数が用いられるとよい。
 更新部619dは、損失に基づいて、特徴量抽出モデルと第1補正パラメータ推定モデルとの各々に含まれるパラメータを更新する。この更新では、勾配降下法、確率的勾配降下法等の一般的な最適化手法が用いられるとよい。
(情報処理装置600の処理動作例)
 情報処理装置600が実行する情報処理は、例えば実施形態2で説明した情報処理に加えて、図20に示すような学習処理をさらに含むとよい。学習処理は、例えばユーザからの指示を受けて開始されるとよい。訓練データは、学習処理を開始する前に準備されるとよい。なお、学習処理を開始するトリガは、これに限られない。
 学習用算出部619aは、学習用入力画像における対象領域に関する品質情報を第1補正パラメータ推定モデルに入力して、学習用補正パラメータを算出する(ステップS601)。
 ここで、学習用入力画像に関する品質情報は、例えば、対象領域生成部212及び対象情報取得部215の機能を用いて取得されてもよく、訓練データに含まれてもよい。さらに、学習部619が、ユーザが指定する適宜の品質に学習用入力画像を劣化させる画像劣化部(不図示)をさらに含んでもよい。この場合、学習用入力画像に関する品質情報は、当該ユーザが指定する品質であり、画像劣化部から取得されてもよい。
 学習用特徴量抽出部619bは、学習用入力画像を、ステップS601で算出された学習用補正パラメータで補正した特徴量抽出モデルに入力して、学習用特徴量を抽出する(ステップS602)。
 損失算出部619cは、正解ラベルと学習用特徴量とに基づいて、損失を算出する(ステップS603)。
 更新部619dは、ステップS603にて算出された損失に基づいて、特徴量抽出モデルと第1補正パラメータ推定モデルとの各々に含まれるパラメータを更新し(ステップS604)、学習処理を終了する。
(作用・効果)
 以上、本実施形態によれば、情報処理装置600は、訓練データを用いて、特徴量抽出モデルと第1補正パラメータ推定モデルとの学習を行う学習部619を備える。
 これにより、共通の訓練データを用いて、特徴量抽出モデルと第1補正パラメータ推定モデルとの学習を同時に行うことができる。そのため、モデルごとに訓練データを準備するよりも、訓練データを準備する手間を軽減することができる。また、特徴量抽出モデルと第1補正パラメータ推定モデルとの各モデルを個別に学習させるよりも学習のための手間を軽減することができる。従って、第1補正パラメータ推定モデルと特徴量抽出モデルとを容易に学習させることが可能になる。
[実施形態8]
 本実施形態では、実施形態2で説明した第1補正パラメータ推定モデル及び特徴量抽出モデルの学習方法の第2例について説明する。
(情報処理システムSYS7及び情報処理装置700の構成例)
 情報処理システムSYS7は、図21に示すように、撮影装置201と、情報処理装置700とを備える。情報処理装置700は、情報処理装置200が備える機能に加えて、第1学習部720と第2学習部721とを備える。
 第1学習部720は、予め準備される第1訓練データを用いて、特徴量抽出モデルの学習を行う。第2学習部721は、予め準備される第2訓練データを用いて、第1補正パラメータ推定モデルの学習を行う。
 第1訓練データは、学習用の入力画像である第1入力画像を含む。第1訓練データは、さらに、第1入力画像に対応付けられた正解ラベルである第1正解ラベルを含むとよい。
 第2訓練データは、学習用の入力画像である第2入力画像を含む。第2訓練データは、さらに、第2入力画像に対応付けられた正解ラベルである第2正解ラベルを含むとよい。
 第1入力画像における対象領域は、第2入力画像における対象領域よりも高品質である。このような第2入力画像は、適宜の方法で準備されるとよい。例えば、情報処理装置700が、例えばユーザが指定する適宜の品質に画像を劣化させる画像劣化部(不図示)をさら備えてもよい。この場合、第2入力画像は、画像劣化部を用いて第1入力画像の画質を低下させることで取得されてもよい。なお、第2入力画像を準備する方法は、これに限られない。
 第1学習部720及び第2学習部721は、画質が異なる学習用画像を含む第1訓練データ及び第2訓練データを用いて、特徴量抽出モデルと第1補正パラメータ推定モデルとのそれぞれの学習を個別に行う。
(第1学習部720の構成例)
 第1学習部720は、図22に示すように、第1特徴量抽出部720aと、第1損失算出部720bと、第1更新部720cとを含む。
 第1特徴量抽出部720aは、第1入力画像を特徴量抽出モデルに入力して、第1特徴量を抽出する。第1特徴量は、第1入力画像に含まれる対象領域の特徴量であり、以下においても同様である。
 第1損失算出部720bは、第1正解ラベルと第1特徴量とに基づいて、損失を算出する。損失関数には、二乗和誤差、交差エントロピー誤差等の一般的な損失関数が用いられるとよい。
 第1更新部720cは、第1損失に基づいて、特徴量抽出モデルに含まれるパラメータを更新する。この更新では、勾配降下法、確率的勾配降下法等の一般的な最適化手法が用いられるとよい。
(第2学習部721の構成例)
 第2学習部721は、図23に示すように、学習用算出部721aと、第2特徴量抽出部721bと、第2損失算出部721cと、第2更新部721dとを含む。
 学習用算出部721aは、第2入力画像の品質情報を第1補正パラメータ推定モデルに入力して、学習用補正パラメータを算出する。
 ここで、第2入力画像に関する品質情報は、例えば、対象領域生成部212及び対象情報取得部215の機能を用いて取得されてもよく、第2訓練データに含まれてもよい。さらに、第2入力画像が画像劣化部(不図示)を用いて作成される場合、第2入力画像に関する品質情報は、当該ユーザが指定する品質であり、画像劣化部から取得されてもよい。
 第2特徴量抽出部721bは、学習用補正パラメータで補正された学習済みの特徴量抽出モデルに第2入力画像を入力して、第2特徴量を抽出する。第2特徴量は、第2入力画像に含まれる対象領域の特徴量であり、以下においても同様である。
 第2損失算出部721cは、第2正解ラベルと第2特徴量とに基づいて、第2損失を算出する。損失関数には、二乗和誤差、交差エントロピー誤差等の一般的な損失関数が用いられるとよい。
 第2更新部721dは、第2損失に基づいて、第1補正パラメータ推定モデルに含まれるパラメータを更新する。この更新では、勾配降下法、確率的勾配降下法等の一般的な最適化手法が用いられるとよい。
(情報処理装置700の処理動作例)
 情報処理装置700が実行する情報処理は、例えば実施形態2で説明した情報処理に加えて、図24及び25のそれぞれに示すような第1学習処理及び第2学習処理をさらに含むとよい。
 第1学習処理は、特徴量抽出モデルを学習させるための処理である。第2学習処理は、第1補正パラメータ推定モデルを学習させるための処理である。第2学習処理では、第1学習処理を実行することで学習済みの特徴量抽出モデルを用いて実行される。そのため、第2学習処理は、第1学習処理の後に実行されるとよい。
 第1学習処理は、例えばユーザからの指示を受けて開始されるとよい。第2学習処理は、例えば、第1学習処理に続けて自動的に実行されてもよく、ユーザからの指示を受けて開始されてもとよい。第1訓練データ及び第2訓練データは、学習処理を開始する前に準備されるとよい。なお、学習処理を開始するトリガは、これに限られない。
(第1学習処理について)
 図24を参照する。
 第1特徴量抽出部720aは、第1入力画像を特徴量抽出モデルに入力して、第1特徴量を抽出する(ステップS701)。
 第1損失算出部720bは、第1正解ラベルと第1特徴量とに基づいて、損失を算出する(ステップS702)。
 第1更新部720cは、第1損失に基づいて、特徴量抽出モデルに含まれるパラメータを更新し(ステップS703)、第1学習処理を終了する。これにより、特徴量抽出モデルの学習が完了する。
(第2学習処理について)
 第2学習処理では、第1学習処理を実行することで学習をした特徴量抽出モデル、すなわち学習済みの特徴量抽出モデルが用いられる。
 図25を参照する。
 学習用算出部721aは、第2入力画像の品質情報を第1補正パラメータ推定モデルに入力して、学習用補正パラメータを算出する(ステップS711)。
 第2特徴量抽出部721bは、第2入力画像を、学習用補正パラメータで補正された学習済みの特徴量抽出モデルに入力して、第2特徴量を抽出する(ステップS712)。
 第2損失算出部721cは、第2正解ラベルと第2特徴量とに基づいて、第2損失を算出する(ステップS713)。
 第2更新部721dは、第2損失に基づいて、第1補正パラメータ推定モデルに含まれるパラメータを更新し(ステップS714)、第2学習処理を終了する。これにより、第1補正パラメータ推定モデルの学習が完了する。
(作用・効果)
 以上、本実施形態によれば、情報処理装置700は、第1訓練データを用いて、特徴量抽出モデルの学習を行う第1学習部720と、第2訓練データを用いて、第1補正パラメータ推定モデルの学習を行う第2学習部721とを備える。
 第1訓練データは、学習用の入力画像である第1入力画像を含む。第2訓練データは、学習用の入力画像である第2入力画像を含む。第1入力画像における対象領域は、第2入力画像における対象領域よりも高品質である。
 これにより、高品質な学習用画像(第1入力画像)を用いて特徴量抽出モデルの学習を行い、低品質な学習用画像(第2入力画像)を用いて第1補正パラメータ推定モデルの学習を行うことができる。そのため、対象領域の特徴量を精度良く抽出できるように、特徴量抽出モデルと第1補正パラメータ推定モデルとの各々を学習させることができる。従って、より精度良く認証を行うことが可能になる。
[実施形態8]
 本実施形態では、実施形態2で説明した第1補正パラメータ推定モデル及び特徴量抽出モデルの学習方法の第3例について説明する。本実施形態では、特徴量ノルム(特徴量ベクトルのノルム)を用いて、特徴量抽出モデルと第1補正パラメータ推定モデルとを個別に学習させる例を説明する。
(情報処理システムSYS8及び情報処理装置800の構成例)
 情報処理システムSYS8は、図26に示すように、撮影装置201と、情報処理装置800とを備える。情報処理装置800は、情報処理装置200が備える機能に加えて、第1学習部820と第2学習部821とを備える。
 第1学習部820は、予め準備される第1訓練データを用いて、特徴量抽出モデルの学習を行う。第2学習部821は、予め準備される第2訓練データを用いて、第1補正パラメータ推定モデルの学習を行う。
 第1訓練データは、学習用の入力画像である第1入力画像を含む。第1訓練データは、さらに、第1入力画像に対応付けられた正解ラベルである第1正解ラベルと、第1正解ノルムとを含むとよい。
 第1正解ノルムは、例えば、第1入力画像における対象領域から抽出される特徴量のノルムの正解値である。特徴量のノルムとは、特徴量を表すベクトル(特徴量ベクトル)のノルムであり、以下においても同様である。
 第2訓練データは、学習用の入力画像である第2入力画像を含む。第2訓練データは、さらに、第2入力画像に対応付けられた正解ラベルである第2正解ラベルと、第2正解ノルムを含むとよい。
 第2正解ノルムは、例えば、第2入力画像における対象領域から抽出される特徴量のノルムの正解値である。
 第1入力画像における対象領域は、第2入力画像における対象領域よりも高品質である。このような第2入力画像は、実施形態7で説明したように、適宜の方法で準備されるとよい。すなわち、例えば、第2入力画像は、情報処理装置800が備える画像劣化部(不図示)を用いて第1入力画像の画質を低下させることで取得されてもよい。なお、第2入力画像を準備する方法は、これに限られない。
 第1学習部820及び第2学習部821は、画質が異なる学習用画像を含む第1訓練データ及び第2訓練データを用いて、特徴量抽出モデルと第1補正パラメータ推定モデルとのそれぞれの学習を個別に行う。
(第1学習部820の構成例)
 第1学習部820は、図27に示すように、第1特徴量抽出部720aと、第1損失算出部720bと、第1ノルム算出部820cと、第1ノルム損失算出部820dと、損失統合部820eと、第1更新部820fとを含む。
 第1ノルム算出部820cは、第1特徴量(特徴量ベクトル)のノルムである第1ノルムを算出する。
 第1ノルム損失算出部820dは、第1訓練データに含まれる第1正解ノルムと、第1ノルムとに基づいて、第1ノルム損失を算出する。損失関数には、二乗和誤差、交差エントロピー誤差等の一般的な損失関数が用いられるとよい。
 損失統合部820eは、第1損失と第1ノルム損失とを統合した統合損失を算出する。例えば、損失統合部820eは、第1損失と第1ノルム損失とのそれぞれに予め定められた重みを乗じた後に、それらを加算することで、統合損失を算出する。
 第1更新部820fは、特徴量抽出モデルに含まれるパラメータを更新する。この更新では、勾配降下法、確率的勾配降下法等の一般的な最適化手法が用いられるとよい。
(第2学習部821の構成例)
 第2学習部821は、図28に示すように、学習用算出部721aと、第2特徴量抽出部721bと、第2ノルム算出部821cと、第2ノルム損失算出部821dと、第2更新部821eとを含む。
 第2ノルム算出部821cは、第2特徴量のノルムである第2ノルムを算出する。
 第2ノルム損失算出部821dは、第2訓練データに含まれる正解ノルムと、第2ノルムとに基づいて、第2ノルム損失を算出する。損失関数には、二乗和誤差、交差エントロピー誤差等の一般的な損失関数が用いられるとよい。
 第2更新部821eは、第2ノルム損失に基づいて、第1補正パラメータ推定モデルに含まれるパラメータを更新する。この更新では、勾配降下法、確率的勾配降下法等の一般的な最適化手法が用いられるとよい。
(情報処理装置800の処理動作例)
 情報処理装置800が実行する情報処理は、例えば実施形態2で説明した情報処理に加えて、図29及び30のそれぞれに示すような第1学習処理及び第2学習処理をさらに含むとよい。
 第1学習処理は、特徴量抽出モデルを学習させるための処理である。第2学習処理は、第1補正パラメータ推定モデルを学習させるための処理である。第2学習処理では、第1学習処理を実行することで学習済みの特徴量抽出モデルを用いて実行される。そのため、第2学習処理は、第1学習処理の後に実行されるとよい。
 第1学習処理は、例えばユーザからの指示を受けて開始されるとよい。第2学習処理は、例えば、第1学習処理に続けて自動的に実行されてもよく、ユーザからの指示を受けて開始されてもとよい。第1訓練データ及び第2訓練データは、学習処理を開始する前に準備されるとよい。なお、学習処理を開始するトリガは、これに限られない。
(第1学習処理について)
 図29を参照する。
 実施形態7で説明したステップS701~S702が実行される。
 第1ノルム算出部820cは、第1特徴量のノルムである第1ノルムを算出する(ステップS803)。
 第1ノルム損失算出部820dは、第1訓練データに含まれる第1正解ノルムと、第1ノルムとに基づいて、第1ノルム損失を算出する(ステップS804)。
 損失統合部820eは、第1損失と第1ノルム損失とを統合した統合損失を算出する(ステップS805)。
 第1更新部820fは、特徴量抽出モデルに含まれるパラメータを更新し(ステップS806)、第1学習処理を終了する。これにより、特徴量抽出モデルの学習が完了する。
(第2学習処理について)
 図30を参照する。
 実施形態7で説明したステップS711~S712が実行される。
 学習用算出部721aと、第2特徴量抽出部721bと、第2ノルム算出部821cと、第2ノルム損失算出部821dと、第2更新部821eとを含む。
 第2ノルム算出部821cは、第2特徴量のノルムである第2ノルムを算出する(ステップS813)。
 第2ノルム損失算出部821dは、第2訓練データに含まれる正解ノルムと、ステップS813で算出された第2ノルムとに基づいて、第2ノルム損失を算出する(ステップS814)。
 第2更新部821eは、第2ノルム損失に基づいて、第1補正パラメータ推定モデルに含まれるパラメータを更新し(ステップS815)、第2学習処理を終了する。これにより、第1補正パラメータ推定モデルの学習が完了する。
(作用・効果)
 以上、本実施形態によれば、情報処理装置800は、第1学習部820と第2学習部821とを備える。
 第1学習部820は、第1特徴量抽出部720aと、第1損失算出部720bと、第1ノルム算出部820cと、第1ノルム損失算出部820dと、損失統合部820eと、第1更新部820fとを含む。
 第1特徴量抽出部720aは、第1入力画像を特徴量抽出モデルに入力して、第1入力画像の特徴量である第1特徴量を抽出する。第1損失算出部720bは、第1訓練データに含まれる正解ラベルと、第1特徴量とに基づいて、第1損失を算出する。
 第1ノルム算出部820cは、第1特徴量のノルムである第1ノルムを算出する。第1ノルム損失算出部820dは、第1訓練データに含まれる正解ノルムと、第1ノルムとに基づいて、第1ノルム損失を算出する。損失統合部820eは、第1損失と第1ノルム損失とを統合した統合損失を算出する。第1更新部820fは、統合損失に基づいて、特徴量抽出モデルに含まれるパラメータを更新する。
 第2学習部821は、学習用算出部721aと、第2特徴量抽出部721bと、第2ノルム算出部821cと、第2ノルム損失算出部821dと、第2更新部821eとを含む。
 学習用算出部721aは、第2入力画像の品質情報を第1補正パラメータ推定モデルに入力して、学習用補正パラメータを算出する。第2特徴量抽出部721bは、第2入力画像を、学習用補正パラメータで補正された学習済みの特徴量抽出モデルに入力して、第2入力画像の特徴量である第2特徴量を抽出する。
 第2ノルム算出部821cは、第2特徴量のノルムである第2ノルムを算出する。第2ノルム損失算出部821dは、第2訓練データに含まれる正解ノルムと、第2ノルムとに基づいて、第2ノルム損失を算出する。第2更新部821eは、第2ノルム損失に基づいて、第1補正パラメータ推定モデルに含まれるパラメータを更新する。
 これにより、高品質な学習用画像(第1入力画像)を用いて特徴量抽出モデルの学習を行い、低品質な学習用画像(第2入力画像)を用いて第1補正パラメータ推定モデルの学習を行うことができる。また、上述のように、画像の品質と、当該画像から抽出される特徴量ベクトルのノルムとの間には相関がある。そのため、対象領域の特徴量をより一層精度良く抽出できるように、特徴量抽出モデルと第1補正パラメータ推定モデルとの各々を学習させることができる。従って、より一層精度良く認証を行うことが可能になる。
[実施形態10]
 実施形態9では、ステップS814で用いられる第2訓練データに含まれる正解ノルムが、第2入力画像における対象領域から抽出される特徴量のノルムの正解値である例を説明した。しかし、第2訓練データに含まれる正解ノルムは、これに限られない。
 一般的に、画像の品質が高い程、当該画像から抽出される特徴量のノルムが長くなり、当該画像を用いた認証結果のエラー率が低くなる。そのため、特徴抽出モデルを用いて画像から抽出される特徴量のノルム長さが長くなる補正パラメータを得るように第1補正パラメータ推定モデルを学習させることで、当該画像を用いた認証結果のエラー率の低減を図ることができる。
 そこで例えば、第2訓練データに含まれる正解ノルム(以下、「第2正解ノルム」と称する。)には、第1訓練データに含まれる正解ノルム(以下、「第1正解ノルム」と称する。)の平均値が用いられてもよい。第1入力画像は、上述のように第2入力画像よりも品質が高い。そのため、このような第2訓練データを用いることで、低品質画像から抽出される特徴量のノルムの長さを、高品質画像から抽出される場合のそれと同程度の長さに近づける補正パラメータが得られるように、第1補正パラメータ推定モデルを学習させることができる。従って、精度良く認証を行うことが可能になる。
[実施形態11]
 本実施形態では、実施形態3で説明した中間特徴量抽出モデル、第2補正パラメータ推定モデル及び特徴量抽出モデルの学習方法の第1例について説明する。
(情報処理システムSYS9及び情報処理装置900の構成例)
 情報処理システムSYS9は、図31に示すように、撮影装置201と、情報処理装置900とを備える。情報処理装置900は、情報処理装置300が備える機能に加えて、学習部919を備える。
 学習部919は、予め準備される訓練データを用いて、特徴量抽出モデルと第2補正パラメータ推定モデルと中間特徴量抽出モデルとの学習を行う。すなわち、学習部919は、特徴量抽出モデルと第1補正パラメータ推定モデルとで共通の訓練データを用いて、特徴量抽出モデルと第1補正パラメータ推定モデルとの学習を、End-to-Endで同時に行う。訓練データは、例えば、学習用入力画像と、正解ラベルとを含むとよい。
 詳細には例えば、学習部919は、図32に示すように、学習用対象情報取得部919aと、学習用算出部919bと、学習用特徴量抽出部919cと、損失算出部919dと、更新部919eとを含む。
 学習用対象情報取得部919aは、学習用入力画像を中間特徴量抽出モデルに入力して、学習用中間特徴量を抽出する。学習用中間特徴量は、学習用入力画像における対象領域の中間特徴量である。
 学習用算出部919bは、学習用中間特徴量を第2補正パラメータ推定モデルに入力して、学習用補正パラメータを算出する。
 学習用特徴量抽出部919cは、学習用中間特徴量を、学習用補正パラメータで補正した特徴量抽出モデルに入力して、学習用特徴量を抽出する。学習用特徴量は、学習用入力画像における対象領域の特徴量である。
 損失算出部919dは、訓練データに含まれる正解ラベルと学習用特徴量とに基づいて、損失を算出する。損失関数には、二乗和誤差、交差エントロピー誤差等の一般的な損失関数が用いられるとよい。
 更新部919eは、損失に基づいて、特徴量抽出モデルと第2補正パラメータ推定モデルと中間特徴量抽出モデルとの各々に含まれるパラメータを更新する。この更新では、勾配降下法、確率的勾配降下法等の一般的な最適化手法が用いられるとよい。
(情報処理装置900の処理動作例)
 情報処理装置600が実行する情報処理は、例えば実施形態3で説明した情報処理に加えて、図33に示すような学習処理をさらに含むとよい。学習処理は、例えばユーザからの指示を受けて開始されるとよい。訓練データは、学習処理を開始する前に準備されるとよい。なお、学習処理を開始するトリガは、これに限られない。
 学習用対象情報取得部919aは、学習用入力画像を中間特徴量抽出モデルに入力して、学習用中間特徴量を抽出する(ステップS901)。
 学習用算出部919bは、学習用中間特徴量を第2補正パラメータ推定モデルに入力して、学習用補正パラメータを算出する(ステップS902)。
 学習用特徴量抽出部919cは、学習用中間特徴量を、学習用補正パラメータで補正した特徴量抽出モデルに入力して、学習用特徴量を抽出する(ステップS903)。
 損失算出部919dは、訓練データに含まれる正解ラベルと学習用特徴量とに基づいて、損失を算出する(ステップS904)。
 更新部919eは、損失に基づいて、特徴量抽出モデルと第2補正パラメータ推定モデルと中間特徴量抽出モデルとの各々に含まれるパラメータを更新し(ステップS905)、学習処理を終了する。
(作用・効果)
 以上、本実施形態によれば、情報処理装置900は、訓練データを用いて、特徴量抽出モデルと第2補正パラメータ推定モデルと中間特徴量抽出モデルとの学習を行う学習部919を備える。
 これにより、共通の訓練データを用いて、特徴量抽出モデルと第2補正パラメータ推定モデルと中間特徴量抽出モデルとの学習を同時に行うことができる。そのため、モデルごとに訓練データを準備するよりも、訓練データを準備する手間を軽減することができる。また、特徴量抽出モデルと第2補正パラメータ推定モデルと中間特徴量抽出モデルとの各モデルを個別に学習させるよりも学習のための手間を軽減することができる。従って、特徴量抽出モデルと第2補正パラメータ推定モデルと中間特徴量抽出モデルとを容易に学習させることが可能になる。
[実施形態11]
 本実施形態では、実施形態3で説明した中間特徴量抽出モデル、第2補正パラメータ推定モデル及び特徴量抽出モデルの学習方法の第2例について説明する。
(情報処理システムSYS10及び情報処理装置1000の構成例)
 情報処理システムSYS10は、図34に示すように、撮影装置201と、情報処理装置1000とを備える。情報処理装置1000は、情報処理装置300が備える機能に加えて、第1学習部1020と第2学習部1021とを備える。
 第1学習部1020は、予め準備される第1訓練データを用いて、特徴量抽出モデルの学習を行う。第2学習部1021は、予め準備される第2訓練データを用いて、第2補正パラメータ推定モデルの学習を行う。
 第1訓練データ及び第2訓練データは、実施形態8で説明した第1訓練データ及び第2訓練データのそれぞれと同様でよい。すなわち、例えば、第1訓練データは、学習用の入力画像である第1入力画像と、第1正解ラベルとを含むとよい。また例えば、第2訓練データは、学習用の入力画像である第2入力画像と、第2正解ラベルとを含むとよい。
 第1入力画像における対象領域は、第2入力画像における対象領域よりも高品質である。このような第2入力画像を準備する方法は、実施形態8で説明した方法と同様でよい。
 第1学習部1020及び第2学習部1021は、画質が異なる学習用画像を含む第1訓練データ及び第2訓練データを用いて、特徴量抽出モデルと第1補正パラメータ推定モデルとのそれぞれの学習を個別に行う。
(第1学習部1020の構成例)
 第1学習部1020は、図35に示すように、第1学習用対象情報取得部1020aと、第1特徴量抽出部1020bと、第1損失算出部1020cと、第1更新部1020dとを含む。
 第1学習用対象情報取得部1020aは、第1入力画像を中間特徴量抽出モデルに入力して、第1中間特徴量を抽出する。第1中間特徴量は、第1入力画像に含まれる対象領域の中間特徴量である。
 第1特徴量抽出部1020bは、第1中間特徴量を特徴量抽出モデルに入力して、第1特徴量を抽出する。
 第1損失算出部1020cは、第1正解ラベルと、第1特徴量とに基づいて、第1損失を算出する。損失関数には、二乗和誤差、交差エントロピー誤差等の一般的な損失関数が用いられるとよい。
 第1更新部1020dは、第1損失に基づいて、中間特徴量抽出モデル及び特徴量抽出モデルの各々に含まれるパラメータを更新する。この更新では、勾配降下法、確率的勾配降下法等の一般的な最適化手法が用いられるとよい。
(第2学習部1021の構成例)
 第2学習部1021は、図36に示すように、第2学習用対象情報取得部1021aと、学習用算出部1021bと、第2特徴量抽出部1021cと、第2損失算出部1021dと、第2更新部1021eとを含む。
 第2学習用対象情報取得部1021aは、第2入力画像を、学習済みの中間特徴量抽出モデルに入力して、第2中間特徴量を抽出する。第2中間特徴量は、第2入力画像に含まれる対象領域の中間特徴量である。
 学習用算出部1021bは、第2中間特徴量を第2補正パラメータ推定モデルに入力して、学習用補正パラメータを算出する。
 第2特徴量抽出部1021cは、学習用補正パラメータで補正された学習済みの特徴量抽出モデルに第2入力画像を入力して、第2特徴量を抽出する。
 第2損失算出部1021dは、第2正解ラベルと第2特徴量とに基づいて、第2損失を算出する。損失関数には、二乗和誤差、交差エントロピー誤差等の一般的な損失関数が用いられるとよい。
 第2更新部1021eは、第2損失に基づいて、第2補正パラメータ推定モデルに含まれるパラメータを更新する。この更新では、勾配降下法、確率的勾配降下法等の一般的な最適化手法が用いられるとよい。
(情報処理装置1000の処理動作例)
 情報処理装置1000が実行する情報処理は、例えば実施形態3で説明した情報処理に加えて、図37及び38のそれぞれに示すような第1学習処理及び第2学習処理をさらに含むとよい。
 第1学習処理は、中間特徴量抽出モデル及び特徴量抽出モデルを学習させるための処理である。第2学習処理は、第2補正パラメータ推定モデルを学習させるための処理である。第2学習処理では、第1学習処理を実行することで学習済みの中間特徴量抽出モデル及び特徴量抽出モデルを用いて実行される。そのため、第2学習処理は、第1学習処理の後に実行されるとよい。
 第1学習処理は、例えばユーザからの指示を受けて開始されるとよい。第2学習処理は、例えば、第1学習処理に続けて自動的に実行されてもよく、ユーザからの指示を受けて開始されてもとよい。第1訓練データ及び第2訓練データは、学習処理を開始する前に準備されるとよい。なお、学習処理を開始するトリガは、これに限られない。
 図37を参照する。
 第1学習用対象情報取得部1020aは、第1入力画像を中間特徴量抽出モデルに入力して、第1中間特徴量を抽出する(ステップS1001)。
 第1特徴量抽出部1020bは、第1中間特徴量を特徴量抽出モデルに入力して、第1特徴量を抽出する(ステップS1002)。
 第1損失算出部1020cは、第1正解ラベルと第1特徴量とに基づいて、第1損失を算出する(ステップS1003)。
 第1更新部1020dは、第1損失に基づいて、中間特徴量抽出モデル及び特徴量抽出モデルの各々に含まれるパラメータを更新し(ステップS1004)、第1学習処理を終了する。これにより、中間特徴量抽出モデル及び特徴量抽出モデルの学習が完了する。
(第2学習処理について)
 第2学習処理では、第1学習処理を実行することで学習をした中間特徴量抽出モデル及び特徴量抽出モデル、すなわち学習済みの中間特徴量抽出モデル及び特徴量抽出モデルが用いられる。
 図38を参照する。
 第2学習用対象情報取得部1021aは、第2入力画像を、学習済みの中間特徴量抽出モデルに入力して、第2中間特徴量を抽出する(ステップS1011)。
 学習用算出部1021bは、第2中間特徴量を第2補正パラメータ推定モデルに入力して、学習用補正パラメータを算出する(ステップS1012)。
 第2特徴量抽出部1021cは、学習用補正パラメータで補正された学習済みの特徴量抽出モデルに第2入力画像を入力して、第2特徴量を抽出する(ステップS1013)。
 第2損失算出部1021dは、第2正解ラベルと第2特徴量とに基づいて、第2損失を算出する(ステップS1014)。
 第2更新部1021eは、第2損失に基づいて、第2補正パラメータ推定モデルに含まれるパラメータを更新し(ステップS1015)、第2学習処理を終了する。これにより、第2補正パラメータ推定モデルの学習が完了する。
(作用・効果)
 以上、本実施形態によれば、情報処理装置700は、第1学習部1020と第2学習部1021とを備える。第1学習部1020は、第1訓練データを用いて、特徴量抽出モデルと中間特徴量抽出モデルとの学習を行う。第2学習部1021は、第2訓練データを用いて、第2補正パラメータ推定モデルの学習を行う。
 第1訓練データは、学習用の前記入力画像である第1入力画像を含む。第2訓練データは、学習用の前記入力画像である第2入力画像を含む。第1入力画像における対象領域は、第2入力画像における対象領域よりも高品質である。
 これにより、高品質な学習用画像(第1入力画像)を用いて特徴量抽出モデルの学習を行い、低品質な学習用画像(第2入力画像)を用いて第2補正パラメータ推定モデルの学習を行うことができる。そのため、対象領域の特徴量を精度良く抽出できるように、特徴量抽出モデルと第2補正パラメータ推定モデルとの各々を学習させることができる。従って、より精度良く認証を行うことが可能になる。
[実施形態12]
 本実施形態では、実施形態3で説明した中間特徴量抽出モデル、第2補正パラメータ推定モデル及び特徴量抽出モデルの学習方法の第3例について説明する。実施形態8で説明したように、特徴量ノルム(特徴量ベクトルのノルム)を用いて、中間特徴量抽出モデル及び特徴量抽出モデルと、第1補正パラメータ推定モデルと、が個別に学習されてもよい。
 この場合、実施形態8における「特徴量抽出モデル」が、「中間特徴量抽出モデル及び特徴量抽出モデル」に置き換えられるとよい。また、実施形態8における「第1補正パラメータ推定モデル」が「第2補正パラメータ推定モデル」に置き換えられるとよい。
 すなわち、本実施形態では、第1特徴量抽出部720aは、第1入力画像を中間特徴量抽出モデル及び特徴量抽出モデルに入力して、第1入力画像の特徴量である第1特徴量を抽出する。第1損失算出部720bは、第1訓練データに含まれる正解ラベルと、第1特徴量とに基づいて、第1損失を算出する。
 第1ノルム算出部820cは、第1特徴量のノルムである第1ノルムを算出する。第1ノルム損失算出部820dは、第1訓練データに含まれる正解ノルムと、第1ノルムとに基づいて、第1ノルム損失を算出する。損失統合部820eは、第1損失と第1ノルム損失とを統合した統合損失を算出する。第1更新部820fは、統合損失に基づいて、特徴量抽出モデルに含まれるパラメータを更新する。
 学習用算出部721aは、第2入力画像の品質情報を第2補正パラメータ推定モデルに入力して、学習用補正パラメータを算出する。第2特徴量抽出部721bは、第2入力画像を、学習用補正パラメータで補正された学習済みの中間特徴量抽出モデル及び特徴量抽出モデルに入力して、第2入力画像の特徴量である第2特徴量を抽出する。
 第2ノルム算出部821cは、第2特徴量のノルムである第2ノルムを算出する。第2ノルム損失算出部821dは、第2訓練データに含まれる正解ノルムと、第2ノルムとに基づいて、第2ノルム損失を算出する。第2更新部821eは、第2ノルム損失に基づいて、第2補正パラメータ推定モデルに含まれるパラメータを更新する。
 これにより、高品質な学習用画像(第1入力画像)を用いて中間特徴量抽出モデル及び特徴量抽出モデルの学習を行い、低品質な学習用画像(第2入力画像)を用いて第2補正パラメータ推定モデルの学習を行うことができる。また、上述のように、画像の品質と、当該画像から抽出される特徴量ベクトルのノルムとの間には相関がある。そのため、対象領域の特徴量をより一層精度良く抽出できるように、中間特徴量抽出モデル及び特徴量抽出モデルと、第2補正パラメータ推定モデルと、を個別に学習させることができる。従って、より一層精度良く認証を行うことが可能になる。
[実施形態13]
 実施形態4で説明した補正用係数推定モデルの学習では、上述の実施形態7~12で説明した方法を適用することができる。
 例えば、実施形態4において対象領域の品質情報を対象情報として用いる場合、補正用係数推定モデルの学習には、実施形態7~9で説明した方法を適用することができる。詳細には例えば、実施形態7~9における「第1補正パラメータ推定モデル」が「補正用係数推定モデル」に置き換えられるとよい。学習時にも、予め設定される辞書パラメータ及び第2関係が、必要に応じて用いられるとよい。
 より詳細には例えば、実施形態7で説明した方法を補正用係数推定モデルの学習に適用する場合、学習部619は、訓練データを用いて、特徴量抽出モデルと補正用係数推定モデルとの学習を行うとよい。
 実施形態8で説明した方法を補正用係数推定モデルの学習に適用する場合、第2学習部721は、第2訓練データを用いて、第2補正パラメータ推定モデルの学習を行うとよい。
 実施形態9で説明した方法を補正用係数推定モデルの学習に適用する場合、学習用算出部721aは、第2入力画像の品質情報を補正用係数推定モデルに入力して、学習用補正パラメータを算出するとよい。第2更新部821eは、第2ノルム損失に基づいて、補正用係数推定モデルに含まれるパラメータを更新するとよい。
 これにより、実施形態7~9のそれぞれと概ね同様の効果を奏する。
 例えば、実施形態4において対象領域の中間特徴量を対象情報として用いる場合、補正用係数推定モデルの学習には、実施形態10~12で説明した方法を適用することができる。詳細には例えば、実施形態10~12における「第2補正パラメータ推定モデル」が「補正用係数推定モデル」に置き換えられるとよい。学習時にも、予め設定される辞書パラメータ及び第2関係が、必要に応じて用いられるとよい。
 より詳細には例えば、実施形態10で説明した方法を補正用係数推定モデルの学習に適用する場合、学習部919は、訓練データを用いて、特徴量抽出モデルと補正用係数推定モデルと中間特徴量抽出モデルとの学習を行うとよい。
 実施形態11で説明した方法を補正用係数推定モデルの学習に適用する場合、第2学習部1021は、第2訓練データを用いて、補正用係数推定モデルの学習を行うとよい。
 実施形態12で説明した方法を補正用係数推定モデルの学習に適用する場合、学習用算出部721aは、第2入力画像の品質情報を補正用係数推定モデルに入力して、学習用補正パラメータを算出するとよい。第2更新部821eは、第2ノルム損失に基づいて、補正用係数推定モデルに含まれるパラメータを更新するとよい。
 これにより、実施形態10~12のそれぞれと概ね同様の効果を奏する。
 以上、実施形態を参照して本開示を説明したが、本開示は上述の実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施形態は、適宜他の実施形態等と組み合わせることができる。
 また、上述の説明で用いた複数のフローチャートでは、複数の工程(処理)が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。
 上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
1.
 入力画像における対象領域に関する対象情報を取得する対象情報取得手段と、
 前記対象情報に基づいて、前記対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出する算出手段と、
 前記補正パラメータで補正された前記特徴量抽出モデルを用いて、前記対象領域の特徴量を抽出する抽出手段と、
 前記対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力する照合手段と、を備える
 情報処理装置。
2.
 前記入力画像は、前記対象領域である虹彩領域を含む画像であり、
 前記特徴量抽出モデルは、少なくとも1つの正規化層を含むニューラルネットワークから構成され、
 前記補正パラメータを用いて補正される前記パラメータは、前記正規化層で用いられるパラメータである
 1.に記載の情報処理装置。
3.
 前記対象情報は、前記対象領域の品質情報、前記対象領域の中間特徴量、前記対象領域に関する統計量の少なくとも1つを含む
 1.又は2.に記載の情報処理装置。
4.
 前記対象情報は、前記対象領域の前記品質情報を推定するための品質推定モデルに、前記対象領域を入力することで推定された前記品質情報を含み、
 前記補正パラメータは、前記補正パラメータを推定するための第1補正パラメータ推定モデルに前記対象情報を入力することで算出される
 3.に記載の情報処理装置。
5.
 前記対象情報は、(前記入力画像における)前記対象領域の前記中間特徴量を抽出するための中間特徴量抽出モデルに、前記対象領域を入力することで抽出された前記中間特徴量を含み、
 前記補正パラメータは、前記補正パラメータを推定するための第2補正パラメータ推定モデルに前記対象情報を入力することで算出される
 3.に記載の情報処理装置。
6.
 前記対象情報は、前記対象領域の前記品質情報又は前記対象領域の前記中間特徴量を含み、
 前記補正パラメータは、前記対象情報を補正用係数推定モデルに入力することで取得された補正用係数と、予め記憶される辞書パラメータとを、予め定められた第1関係に適用することで算出される
 3.に記載の情報処理装置。
7.
 前記対象情報は、前記対象領域の前記中間特徴量を用いて算出された前記対象領域に関する前記統計量を含み、
 前記補正パラメータは、前記対象領域に関する前記統計量と、予め保持される辞書パラメータとを、予め定められた第2関係に適用することで算出される
 3.に記載の情報処理装置。
8.
 前記対象情報は、前記対象領域の前記中間特徴量と、前記対象領域に関する前記統計量とを含み、
 前記補正パラメータは、前記対象領域の前記中間特徴量と、前記対象領域に関する前記統計量とに基づいて算出される
 3.に記載の情報処理装置。
9.
 訓練データを用いて、前記特徴量抽出モデルと前記第1補正パラメータ推定モデルとの学習を行う学習手段をさらに備える
 4.に記載の情報処理装置。
10.
 第1訓練データを用いて、前記特徴量抽出モデルの学習を行う第1学習手段と、
 第2訓練データを用いて、前記第1補正パラメータ推定モデルの学習を行う第2学習手段とを備え、
 前記第1訓練データは、学習用の前記入力画像である第1入力画像を含み
 前記第2訓練データは、学習用の前記入力画像である第2入力画像を含み、
 前記第1入力画像における前記対象領域は、前記第2入力画像における前記対象領域よりも高品質である
 4.に記載の情報処理装置。
11.
 前記第1学習手段は、
  前記第1入力画像を前記特徴量抽出モデルに入力して、第1入力画像の特徴量である第1特徴量を抽出する第1特徴量抽出手段と、
  前記第1訓練データに含まれる正解ラベルと、前記第1特徴量とに基づいて、第1損失を算出する第1損失算出手段と、
  前記第1特徴量のノルムである第1ノルムを算出する第1ノルム算出手段と、
  前記第1訓練データに含まれる正解ノルムと、前記第1ノルムとに基づいて、第1ノルム損失を算出する第1ノルム損失算出手段と、
 前記第1損失と前記第1ノルム損失とを統合した統合損失を算出する損失統合手段と、
 前記統合損失に基づいて、前記特徴量抽出モデルに含まれるパラメータを更新する第1更新手段とを含み、
 前記第2学習手段は、
 第2入力画像の品質情報を前記第1補正パラメータ推定モデルに入力して、学習用補正パラメータを算出する学習用算出手段
 前記第2入力画像を、前記学習用補正パラメータで補正された学習済みの前記特徴量抽出モデルに入力して、前記第2入力画像の特徴量である第2特徴量を抽出する第2特徴量抽出手段と、
  前記第2特徴量のノルムである第2ノルムを算出する第2ノルム算出手段と、
  前記第2訓練データに含まれる正解ノルムと、前記第2ノルムとに基づいて、第2ノルム損失を算出する第2ノルム損失算出手段と、
 前記第2ノルム損失に基づいて、前記第1補正パラメータ推定モデルに含まれるパラメータを更新する第2更新手段とを含む
 10.に記載の情報処理装置。
12.
 訓練データを用いて、前記特徴量抽出モデルと前記第2補正パラメータ推定モデルと前記中間特徴量抽出モデルとの学習を行う学習手段をさらに備える
 5.に記載の情報処理装置。
13.
 第1訓練データを用いて、前記特徴量抽出モデルと前記中間特徴量抽出モデルとの学習を行う第1学習手段と、
 第2訓練データを用いて、前記第2補正パラメータ推定モデルの学習を行う第2学習手段とを備え、
 前記第1訓練データは、学習用の前記入力画像である第1入力画像を含み
 前記第2訓練データは、学習用の前記入力画像である第2入力画像を含み、
 前記第1入力画像における前記対象領域は、前記第2入力画像における前記対象領域よりも高品質である
 5.に記載の情報処理装置。
14.
 入力画像における対象領域に関する対象情報を取得する対象情報取得手段と、
 前記対象情報に基づいて、前記対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出する算出手段と、
 前記補正パラメータで補正された前記特徴量抽出モデルを用いて、前記対象領域の特徴量を抽出する抽出手段と、
 前記対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力する照合手段と、を備える
 情報処理システム。
15.
 前記入力画像は、前記対象領域である虹彩領域を含む画像であり、
 前記特徴量抽出モデルは、少なくとも1つの正規化層を含むニューラルネットワークから構成され、
 前記補正パラメータを用いて補正される前記パラメータは、前記正規化層で用いられるパラメータである
 14.に記載の情報処理システム。
16.
 前記対象情報は、前記対象領域の品質情報、前記対象領域の中間特徴量、前記対象領域に関する統計量の少なくとも1つを含む
 14.又は15.に記載の情報処理システム。
17.
 前記対象情報は、前記対象領域の前記品質情報を推定するための品質推定モデルに、前記対象領域を入力することで推定された前記品質情報を含み、
 前記補正パラメータは、前記補正パラメータを推定するための第1補正パラメータ推定モデルに前記対象情報を入力することで算出される
 16.に記載の情報処理システム。
18.
 前記対象情報は、(前記入力画像における)前記対象領域の前記中間特徴量を抽出するための中間特徴量抽出モデルに、前記対象領域を入力することで抽出された前記中間特徴量を含み、
 前記補正パラメータは、前記補正パラメータを推定するための第2補正パラメータ推定モデルに前記対象情報を入力することで算出される
 16.に記載の情報処理システム。
19.
 前記対象情報は、前記対象領域の前記品質情報又は前記対象領域の前記中間特徴量を含み、
 前記補正パラメータは、前記対象情報を補正用係数推定モデルに入力することで取得された補正用係数と、予め記憶される辞書パラメータとを、予め定められた第1関係に適用することで算出される
 16.に記載の情報処理システム。
20.
 前記対象情報は、前記対象領域の前記中間特徴量を用いて算出された前記対象領域に関する前記統計量を含み、
 前記補正パラメータは、前記対象領域に関する前記統計量と、予め保持される辞書パラメータとを、予め定められた第2関係に適用することで算出される
 16.に記載の情報処理システム。
21.
 前記対象情報は、前記対象領域の前記中間特徴量と、前記対象領域に関する前記統計量とを含み、
 前記補正パラメータは、前記対象領域の前記中間特徴量と、前記対象領域に関する前記統計量とに基づいて算出される
 16.に記載の情報処理システム。
22.
 訓練データを用いて、前記特徴量抽出モデルと前記第1補正パラメータ推定モデルとの学習を行う学習手段をさらに備える
 17.に記載の情報処理システム。
23.
 第1訓練データを用いて、前記特徴量抽出モデルの学習を行う第1学習手段と、
 第2訓練データを用いて、前記第1補正パラメータ推定モデルの学習を行う第2学習手段とを備え、
 前記第1訓練データは、学習用の前記入力画像である第1入力画像を含み
 前記第2訓練データは、学習用の前記入力画像である第2入力画像を含み、
 前記第1入力画像における前記対象領域は、前記第2入力画像における前記対象領域よりも高品質である
 17.に記載の情報処理システム。
24.
 前記第1学習手段は、
  前記第1入力画像を前記特徴量抽出モデルに入力して、第1入力画像の特徴量である第1特徴量を抽出する第1特徴量抽出手段と、
  前記第1訓練データに含まれる正解ラベルと、前記第1特徴量とに基づいて、第1損失を算出する第1損失算出手段と、
  前記第1特徴量のノルムである第1ノルムを算出する第1ノルム算出手段と、
  前記第1訓練データに含まれる正解ノルムと、前記第1ノルムとに基づいて、第1ノルム損失を算出する第1ノルム損失算出手段と、
 前記第1損失と前記第1ノルム損失とを統合した統合損失を算出する損失統合手段と、
 前記統合損失に基づいて、前記特徴量抽出モデルに含まれるパラメータを更新する第1更新手段とを含み、
 前記第2学習手段は、
 第2入力画像の品質情報を前記第1補正パラメータ推定モデルに入力して、学習用補正パラメータを算出する学習用算出手段
 前記第2入力画像を、前記学習用補正パラメータで補正された学習済みの前記特徴量抽出モデルに入力して、前記第2入力画像の特徴量である第2特徴量を抽出する第2特徴量抽出手段と、
  前記第2特徴量のノルムである第2ノルムを算出する第2ノルム算出手段と、
  前記第2訓練データに含まれる正解ノルムと、前記第2ノルムとに基づいて、第2ノルム損失を算出する第2ノルム損失算出手段と、
 前記第2ノルム損失に基づいて、前記第1補正パラメータ推定モデルに含まれるパラメータを更新する第2更新手段とを含む
 23.に記載の情報処理システム。
25.
 訓練データを用いて、前記特徴量抽出モデルと前記第2補正パラメータ推定モデルと前記中間特徴量抽出モデルとの学習を行う学習手段をさらに備える
 18.に記載の情報処理システム。
26.
 第1訓練データを用いて、前記特徴量抽出モデルと前記中間特徴量抽出モデルとの学習を行う第1学習手段と、
 第2訓練データを用いて、前記第2補正パラメータ推定モデルの学習を行う第2学習手段とを備え、
 前記第1訓練データは、学習用の前記入力画像である第1入力画像を含み
 前記第2訓練データは、学習用の前記入力画像である第2入力画像を含み、
 前記第1入力画像における前記対象領域は、前記第2入力画像における前記対象領域よりも高品質である
 18.に記載の情報処理システム。
27.
 1つ以上のコンピュータが、
 入力画像における対象領域に関する対象情報を取得し、
 前記対象情報に基づいて、前記対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出し、
 前記補正パラメータで補正された前記特徴量抽出モデルを用いて、前記対象領域の特徴量を抽出し、
 前記対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力する
 情報処理方法。
28.
 前記入力画像は、前記対象領域である虹彩領域を含む画像であり、
 前記特徴量抽出モデルは、少なくとも1つの正規化層を含むニューラルネットワークから構成され、
 前記補正パラメータを用いて補正される前記パラメータは、前記正規化層で用いられるパラメータである
 27.に記載の情報処理方法。
29.
 前記対象情報は、前記対象領域の品質情報、前記対象領域の中間特徴量、前記対象領域に関する統計量の少なくとも1つを含む
 27.又は28.に記載の情報処理方法。
30.
 前記対象情報は、前記対象領域の前記品質情報を推定するための品質推定モデルに、前記対象領域を入力することで推定された前記品質情報を含み、
 前記補正パラメータは、前記補正パラメータを推定するための第1補正パラメータ推定モデルに前記対象情報を入力することで算出される
 29.に記載の情報処理方法。
31.
 前記対象情報は、(前記入力画像における)前記対象領域の前記中間特徴量を抽出するための中間特徴量抽出モデルに、前記対象領域を入力することで抽出された前記中間特徴量を含み、
 前記補正パラメータは、前記補正パラメータを推定するための第2補正パラメータ推定モデルに前記対象情報を入力することで算出される
 29.に記載の情報処理方法。
32.
 前記対象情報は、前記対象領域の前記品質情報又は前記対象領域の前記中間特徴量を含み、
 前記補正パラメータは、前記対象情報を補正用係数推定モデルに入力することで取得された補正用係数と、予め記憶される辞書パラメータとを、予め定められた第1関係に適用することで算出される
 29.に記載の情報処理方法。
33.
 前記対象情報は、前記対象領域の前記中間特徴量を用いて算出された前記対象領域に関する前記統計量を含み、
 前記補正パラメータは、前記対象領域に関する前記統計量と、予め保持される辞書パラメータとを、予め定められた第2関係に適用することで算出される
 29.に記載の情報処理方法。
34.
 前記対象情報は、前記対象領域の前記中間特徴量と、前記対象領域に関する前記統計量とを含み、
 前記補正パラメータは、前記対象領域の前記中間特徴量と、前記対象領域に関する前記統計量とに基づいて算出される
 29.に記載の情報処理方法。
35.
 訓練データを用いて、前記特徴量抽出モデルと前記第1補正パラメータ推定モデルとの学習を行うことをさらに含む
 30.に記載の情報処理方法。
36.
 第1訓練データを用いて、前記特徴量抽出モデルの学習を行い、
 第2訓練データを用いて、前記第1補正パラメータ推定モデルの学習を行うことをさらに含み、
 前記第1訓練データは、学習用の前記入力画像である第1入力画像を含み
 前記第2訓練データは、学習用の前記入力画像である第2入力画像を含み、
 前記第1入力画像における前記対象領域は、前記第2入力画像における前記対象領域よりも高品質である
 30.に記載の情報処理方法。
37.
 前記特徴量抽出モデルの学習は、
  前記第1入力画像を前記特徴量抽出モデルに入力して、第1入力画像の特徴量である第1特徴量を抽出し、
  前記第1訓練データに含まれる正解ラベルと、前記第1特徴量とに基づいて、第1損失を算出し、
  前記第1特徴量のノルムである第1ノルムを算出し、
  前記第1訓練データに含まれる正解ノルムと、前記第1ノルムとに基づいて、第1ノルム損失を算出し、
 前記第1損失と前記第1ノルム損失とを統合した統合損失を算出する損失統合手段と、
 前記統合損失に基づいて、前記特徴量抽出モデルに含まれるパラメータを更新することを含み、
 前記第1補正パラメータ推定モデルの学習は、
 第2入力画像の品質情報を前記第1補正パラメータ推定モデルに入力して、学習用補正パラメータを算出し、
 前記第2入力画像を、前記学習用補正パラメータで補正された学習済みの前記特徴量抽出モデルに入力して、前記第2入力画像の特徴量である第2特徴量を抽出し、
  前記第2特徴量のノルムである第2ノルムを算出し、
  前記第2訓練データに含まれる正解ノルムと、前記第2ノルムとに基づいて、第2ノルム損失を算出し、
 前記第2ノルム損失に基づいて、前記第1補正パラメータ推定モデルに含まれるパラメータを更新することを含む
 36.に記載の情報処理方法。
38.
 訓練データを用いて、前記特徴量抽出モデルと前記第2補正パラメータ推定モデルと前記中間特徴量抽出モデルとの学習を行うことをさらに含む
 31.に記載の情報処理方法。
39.
 第1訓練データを用いて、前記特徴量抽出モデルと前記中間特徴量抽出モデルとの学習を行い、
 第2訓練データを用いて、前記第2補正パラメータ推定モデルの学習を行うことをさらに含み、
 前記第1訓練データは、学習用の前記入力画像である第1入力画像を含み
 前記第2訓練データは、学習用の前記入力画像である第2入力画像を含み、
 前記第1入力画像における前記対象領域は、前記第2入力画像における前記対象領域よりも高品質である
 31.に記載の情報処理方法。
40.
 1つ以上のコンピュータに、
 入力画像における対象領域に関する対象情報を取得し、
 前記対象情報に基づいて、前記対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出し、
 前記補正パラメータで補正された前記特徴量抽出モデルを用いて、前記対象領域の特徴量を抽出し、
 前記対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力することを実行させるためのプログラム。
41.
 前記入力画像は、前記対象領域である虹彩領域を含む画像であり、
 前記特徴量抽出モデルは、少なくとも1つの正規化層を含むニューラルネットワークから構成され、
 前記補正パラメータを用いて補正される前記パラメータは、前記正規化層で用いられるパラメータである
 40.に記載のプログラム。
42.
 前記対象情報は、前記対象領域の品質情報、前記対象領域の中間特徴量、前記対象領域に関する統計量の少なくとも1つを含む
 40.又は41.に記載のプログラム。
43.
 前記対象情報は、前記対象領域の前記品質情報を推定するための品質推定モデルに、前記対象領域を入力することで推定された前記品質情報を含み、
 前記補正パラメータは、前記補正パラメータを推定するための第1補正パラメータ推定モデルに前記対象情報を入力することで算出される
 42.に記載のプログラム。
44.
 前記対象情報は、(前記入力画像における)前記対象領域の前記中間特徴量を抽出するための中間特徴量抽出モデルに、前記対象領域を入力することで抽出された前記中間特徴量を含み、
 前記補正パラメータは、前記補正パラメータを推定するための第2補正パラメータ推定モデルに前記対象情報を入力することで算出される
 43.に記載のプログラム。
45.
 前記対象情報は、前記対象領域の前記品質情報又は前記対象領域の前記中間特徴量を含み、
 前記補正パラメータは、前記対象情報を補正用係数推定モデルに入力することで取得された補正用係数と、予め記憶される辞書パラメータとを、予め定められた第1関係に適用することで算出される
 44.に記載のプログラム。
46.
 前記対象情報は、前記対象領域の前記中間特徴量を用いて算出された前記対象領域に関する前記統計量を含み、
 前記補正パラメータは、前記対象領域に関する前記統計量と、予め保持される辞書パラメータとを、予め定められた第2関係に適用することで算出される
 42.に記載のプログラム。
47.
 前記対象情報は、前記対象領域の前記中間特徴量と、前記対象領域に関する前記統計量とを含み、
 前記補正パラメータは、前記対象領域の前記中間特徴量と、前記対象領域に関する前記統計量とに基づいて算出される
 42.に記載のプログラム。
48.
 訓練データを用いて、前記特徴量抽出モデルと前記第1補正パラメータ推定モデルとの学習を行うことをさらに実行させるための
 43.に記載のプログラム。
49.
 第1訓練データを用いて、前記特徴量抽出モデルの学習を行い、
 第2訓練データを用いて、前記第1補正パラメータ推定モデルの学習を行うことをさらに実行させ、
 前記第1訓練データは、学習用の前記入力画像である第1入力画像を含み
 前記第2訓練データは、学習用の前記入力画像である第2入力画像を含み、
 前記第1入力画像における前記対象領域は、前記第2入力画像における前記対象領域よりも高品質である
 43.に記載のプログラム。
50.
 前記特徴量抽出モデルの学習は、
  前記第1入力画像を前記特徴量抽出モデルに入力して、第1入力画像の特徴量である第1特徴量を抽出し、
  前記第1訓練データに含まれる正解ラベルと、前記第1特徴量とに基づいて、第1損失を算出し、
  前記第1特徴量のノルムである第1ノルムを算出し、
  前記第1訓練データに含まれる正解ノルムと、前記第1ノルムとに基づいて、第1ノルム損失を算出し、
 前記第1損失と前記第1ノルム損失とを統合した統合損失を算出する損失統合手段と、
 前記統合損失に基づいて、前記特徴量抽出モデルに含まれるパラメータを更新することを含み、
 前記第1補正パラメータ推定モデルの学習は、
 第2入力画像の品質情報を前記第1補正パラメータ推定モデルに入力して、学習用補正パラメータを算出し、
 前記第2入力画像を、前記学習用補正パラメータで補正された学習済みの前記特徴量抽出モデルに入力して、前記第2入力画像の特徴量である第2特徴量を抽出し、
  前記第2特徴量のノルムである第2ノルムを算出し、
  前記第2訓練データに含まれる正解ノルムと、前記第2ノルムとに基づいて、第2ノルム損失を算出し、
 前記第2ノルム損失に基づいて、前記第1補正パラメータ推定モデルに含まれるパラメータを更新することを含む
 49.に記載のプログラム。
51.
 訓練データを用いて、前記特徴量抽出モデルと前記第2補正パラメータ推定モデルと前記中間特徴量抽出モデルとの学習を行うことをさらに実行させるための
 44.に記載のプログラム。
52.
 第1訓練データを用いて、前記特徴量抽出モデルと前記中間特徴量抽出モデルとの学習を行い、
 第2訓練データを用いて、前記第2補正パラメータ推定モデルの学習を行うことをさらに実行させ、
 前記第1訓練データは、学習用の前記入力画像である第1入力画像を含み
 前記第2訓練データは、学習用の前記入力画像である第2入力画像を含み、
 前記第1入力画像における前記対象領域は、前記第2入力画像における前記対象領域よりも高品質である
 44.に記載のプログラム。
53.
 1つ以上のコンピュータに、
 入力画像における対象領域に関する対象情報を取得し、
 前記対象情報に基づいて、前記対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出し、
 前記補正パラメータで補正された前記特徴量抽出モデルを用いて、前記対象領域の特徴量を抽出し、
 前記対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力することを実行させるためのプログラムが記録された記録媒体。
54.
 前記入力画像は、前記対象領域である虹彩領域を含む画像であり、
 前記特徴量抽出モデルは、少なくとも1つの正規化層を含むニューラルネットワークから構成され、
 前記補正パラメータを用いて補正される前記パラメータは、前記正規化層で用いられるパラメータであるプログラムが記録された
 53.に記載の記録媒体。
55.
 前記対象情報は、前記対象領域の品質情報、前記対象領域の中間特徴量、前記対象領域に関する統計量の少なくとも1つを含むプログラムが記録された
 53.又は54.に記載の記録媒体。
56.
 前記対象情報は、前記対象領域の前記品質情報を推定するための品質推定モデルに、前記対象領域を入力することで推定された前記品質情報を含み、
 前記補正パラメータは、前記補正パラメータを推定するための第1補正パラメータ推定モデルに前記対象情報を入力することで算出されるプログラムが記録された
 55.に記載の記録媒体。
57.
 前記対象情報は、(前記入力画像における)前記対象領域の前記中間特徴量を抽出するための中間特徴量抽出モデルに、前記対象領域を入力することで抽出された前記中間特徴量を含み、
 前記補正パラメータは、前記補正パラメータを推定するための第2補正パラメータ推定モデルに前記対象情報を入力することで算出されるプログラムが記録された
 56.に記載の記録媒体。
58.
 前記対象情報は、前記対象領域の前記品質情報又は前記対象領域の前記中間特徴量を含み、
 前記補正パラメータは、前記対象情報を補正用係数推定モデルに入力することで取得された補正用係数と、予め記憶される辞書パラメータとを、予め定められた第1関係に適用することで算出されるプログラムが記録された
 57.に記載の記録媒体。
59.
 前記対象情報は、前記対象領域の前記中間特徴量を用いて算出された前記対象領域に関する前記統計量を含み、
 前記補正パラメータは、前記対象領域に関する前記統計量と、予め保持される辞書パラメータとを、予め定められた第2関係に適用することで算出されるプログラムが記録された
 55.に記載の記録媒体。
60.
 前記対象情報は、前記対象領域の前記中間特徴量と、前記対象領域に関する前記統計量とを含み、
 前記補正パラメータは、前記対象領域の前記中間特徴量と、前記対象領域に関する前記統計量とに基づいて算出されるプログラムが記録された
 55.に記載の記録媒体。
61.
 訓練データを用いて、前記特徴量抽出モデルと前記第1補正パラメータ推定モデルとの学習を行うことをさらに実行させるためのプログラムが記録された
 56.に記載の記録媒体。
62.
 第1訓練データを用いて、前記特徴量抽出モデルの学習を行い、
 第2訓練データを用いて、前記第1補正パラメータ推定モデルの学習を行うことをさらに実行させ、
 前記第1訓練データは、学習用の前記入力画像である第1入力画像を含み
 前記第2訓練データは、学習用の前記入力画像である第2入力画像を含み、
 前記第1入力画像における前記対象領域は、前記第2入力画像における前記対象領域よりも高品質であるプログラムが記録された
 56.に記載の記録媒体。
63.
 前記特徴量抽出モデルの学習は、
  前記第1入力画像を前記特徴量抽出モデルに入力して、第1入力画像の特徴量である第1特徴量を抽出し、
  前記第1訓練データに含まれる正解ラベルと、前記第1特徴量とに基づいて、第1損失を算出し、
  前記第1特徴量のノルムである第1ノルムを算出し、
  前記第1訓練データに含まれる正解ノルムと、前記第1ノルムとに基づいて、第1ノルム損失を算出し、
 前記第1損失と前記第1ノルム損失とを統合した統合損失を算出する損失統合手段と、
 前記統合損失に基づいて、前記特徴量抽出モデルに含まれるパラメータを更新することを含み、
 前記第1補正パラメータ推定モデルの学習は、
 第2入力画像の品質情報を前記第1補正パラメータ推定モデルに入力して、学習用補正パラメータを算出し、
 前記第2入力画像を、前記学習用補正パラメータで補正された学習済みの前記特徴量抽出モデルに入力して、前記第2入力画像の特徴量である第2特徴量を抽出し、
  前記第2特徴量のノルムである第2ノルムを算出し、
  前記第2訓練データに含まれる正解ノルムと、前記第2ノルムとに基づいて、第2ノルム損失を算出し、
 前記第2ノルム損失に基づいて、前記第1補正パラメータ推定モデルに含まれるパラメータを更新することを含むプログラムが記録された
 62.に記載の記録媒体。
64.
 訓練データを用いて、前記特徴量抽出モデルと前記第2補正パラメータ推定モデルと前記中間特徴量抽出モデルとの学習を行うことをさらに実行させるためのプログラムが記録された
 57.に記載の記録媒体。
65.
 第1訓練データを用いて、前記特徴量抽出モデルと前記中間特徴量抽出モデルとの学習を行い、
 第2訓練データを用いて、前記第2補正パラメータ推定モデルの学習を行うことをさらに実行させ、
 前記第1訓練データは、学習用の前記入力画像である第1入力画像を含み
 前記第2訓練データは、学習用の前記入力画像である第2入力画像を含み、
 前記第1入力画像における前記対象領域は、前記第2入力画像における前記対象領域よりも高品質であるプログラムが記録された
 57.に記載の記録媒体。
SYS1~SYS10 情報処理システム
100、200,300,400,500,600,700,800,900,1000 情報処理装置
115 対象情報取得部
116 算出部
117 抽出部
118 照合部
201 撮影装置
211 対象位置推定部
212 対象領域生成部
215,315,415,515 対象情報取得部
216,316,416,516,616 算出部
416a 辞書パラメータ記憶部
416b 補正用係数取得部
416c 補正パラメータ算出部
516b 補正パラメータ算出部
619,919 学習部
720,820,1020 第1学習部
721,821,1021 第2学習部

Claims (16)

  1.  入力画像における対象領域に関する対象情報を取得する対象情報取得手段と、
     前記対象情報に基づいて、前記対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出する算出手段と、
     前記補正パラメータで補正された前記特徴量抽出モデルを用いて、前記対象領域の特徴量を抽出する抽出手段と、
     前記対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力する照合手段と、を備える
     情報処理装置。
  2.  前記入力画像は、前記対象領域である虹彩領域を含む画像であり、
     前記特徴量抽出モデルは、少なくとも1つの正規化層を含むニューラルネットワークから構成され、
     前記補正パラメータを用いて補正される前記パラメータは、前記正規化層で用いられるパラメータである
     請求項1に記載の情報処理装置。
  3.  前記対象情報は、前記対象領域の品質情報、前記対象領域の中間特徴量、前記対象領域に関する統計量の少なくとも1つを含む
     請求項1又は2に記載の情報処理装置。
  4.  前記対象情報は、前記対象領域の前記品質情報を推定するための品質推定モデルに、前記対象領域を入力することで推定された前記品質情報を含み、
     前記補正パラメータは、前記補正パラメータを推定するための第1補正パラメータ推定モデルに前記対象情報を入力することで算出される
     請求項3に記載の情報処理装置。
  5.  前記対象情報は、(前記入力画像における)前記対象領域の前記中間特徴量を抽出するための中間特徴量抽出モデルに、前記対象領域を入力することで抽出された前記中間特徴量を含み、
     前記補正パラメータは、前記補正パラメータを推定するための第2補正パラメータ推定モデルに前記対象情報を入力することで算出される
     請求項3に記載の情報処理装置。
  6.  前記対象情報は、前記対象領域の前記品質情報又は前記対象領域の前記中間特徴量を含み、
     前記補正パラメータは、前記対象情報を補正用係数推定モデルに入力することで取得された補正用係数と、予め記憶される辞書パラメータとを、予め定められた第1関係に適用することで算出される
     請求項3に記載の情報処理装置。
  7.  前記対象情報は、前記対象領域の前記中間特徴量を用いて算出された前記対象領域に関する前記統計量を含み、
     前記補正パラメータは、前記対象領域に関する前記統計量と、予め保持される辞書パラメータとを、予め定められた第2関係に適用することで算出される
     請求項3に記載の情報処理装置。
  8.  前記対象情報は、前記対象領域の前記中間特徴量と、前記対象領域に関する前記統計量とを含み、
     前記補正パラメータは、前記対象領域の前記中間特徴量と、前記対象領域に関する前記統計量とに基づいて算出される
     請求項3に記載の情報処理装置。
  9.  訓練データを用いて、前記特徴量抽出モデルと前記第1補正パラメータ推定モデルとの学習を行う学習手段をさらに備える
     請求項4に記載の情報処理装置。
  10.  第1訓練データを用いて、前記特徴量抽出モデルの学習を行う第1学習手段と、
     第2訓練データを用いて、前記第1補正パラメータ推定モデルの学習を行う第2学習手段とを備え、
     前記第1訓練データは、学習用の前記入力画像である第1入力画像を含み
     前記第2訓練データは、学習用の前記入力画像である第2入力画像を含み、
     前記第1入力画像における前記対象領域は、前記第2入力画像における前記対象領域よりも高品質である
     請求項4に記載の情報処理装置。
  11.  前記第1学習手段は、
      前記第1入力画像を前記特徴量抽出モデルに入力して、第1入力画像の特徴量である第1特徴量を抽出する第1特徴量抽出手段と、
      前記第1訓練データに含まれる正解ラベルと、前記第1特徴量とに基づいて、第1損失を算出する第1損失算出手段と、
      前記第1特徴量のノルムである第1ノルムを算出する第1ノルム算出手段と、
      前記第1訓練データに含まれる正解ノルムと、前記第1ノルムとに基づいて、第1ノルム損失を算出する第1ノルム損失算出手段と、
     前記第1損失と前記第1ノルム損失とを統合した統合損失を算出する損失統合手段と、
     前記統合損失に基づいて、前記特徴量抽出モデルに含まれるパラメータを更新する第1更新手段とを含み、
     前記第2学習手段は、
     第2入力画像の品質情報を前記第1補正パラメータ推定モデルに入力して、学習用補正パラメータを算出する学習用算出手段
     前記第2入力画像を、前記学習用補正パラメータで補正された学習済みの前記特徴量抽出モデルに入力して、前記第2入力画像の特徴量である第2特徴量を抽出する第2特徴量抽出手段と、
      前記第2特徴量のノルムである第2ノルムを算出する第2ノルム算出手段と、
      前記第2訓練データに含まれる正解ノルムと、前記第2ノルムとに基づいて、第2ノルム損失を算出する第2ノルム損失算出手段と、
     前記第2ノルム損失に基づいて、前記第1補正パラメータ推定モデルに含まれるパラメータを更新する第2更新手段とを含む
     請求項10に記載の情報処理装置。
  12.  訓練データを用いて、前記特徴量抽出モデルと前記第2補正パラメータ推定モデルと前記中間特徴量抽出モデルとの学習を行う学習手段をさらに備える
     請求項5に記載の情報処理装置。
  13.  第1訓練データを用いて、前記特徴量抽出モデルと前記中間特徴量抽出モデルとの学習を行う第1学習手段と、
     第2訓練データを用いて、前記第2補正パラメータ推定モデルの学習を行う第2学習手段とを備え、
     前記第1訓練データは、学習用の前記入力画像である第1入力画像を含み
     前記第2訓練データは、学習用の前記入力画像である第2入力画像を含み、
     前記第1入力画像における前記対象領域は、前記第2入力画像における前記対象領域よりも高品質である
     請求項5に記載の情報処理装置。
  14.  入力画像における対象領域に関する対象情報を取得する対象情報取得手段と、
     前記対象情報に基づいて、前記対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出する算出手段と、
     前記補正パラメータで補正された前記特徴量抽出モデルを用いて、前記対象領域の特徴量を抽出する抽出手段と、
     前記対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力する照合手段と、を備える
     情報処理システム。
  15.  1つ以上のコンピュータが、
     入力画像における対象領域に関する対象情報を取得し、
     前記対象情報に基づいて、前記対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出し、
     前記補正パラメータで補正された前記特徴量抽出モデルを用いて、前記対象領域の特徴量を抽出し、
     前記対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力する
     情報処理方法。
  16.  1つ以上のコンピュータに、
     入力画像における対象領域に関する対象情報を取得し、
     前記対象情報に基づいて、前記対象領域の特徴量を抽出する特徴量抽出モデルに含まれるパラメータを補正するための補正パラメータを算出し、
     前記補正パラメータで補正された前記特徴量抽出モデルを用いて、前記対象領域の特徴量を抽出し、
     前記対象領域の特徴量と、予め登録された登録情報とを照合した結果を出力することを実行させるためのプログラムが記録された記録媒体。
PCT/JP2023/030113 2023-08-22 2023-08-22 情報処理装置、情報処理システム、情報処理方法及び記録媒体 Pending WO2025041253A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/030113 WO2025041253A1 (ja) 2023-08-22 2023-08-22 情報処理装置、情報処理システム、情報処理方法及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/030113 WO2025041253A1 (ja) 2023-08-22 2023-08-22 情報処理装置、情報処理システム、情報処理方法及び記録媒体

Publications (1)

Publication Number Publication Date
WO2025041253A1 true WO2025041253A1 (ja) 2025-02-27

Family

ID=94731838

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/030113 Pending WO2025041253A1 (ja) 2023-08-22 2023-08-22 情報処理装置、情報処理システム、情報処理方法及び記録媒体

Country Status (1)

Country Link
WO (1) WO2025041253A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020135011A (ja) * 2019-02-13 2020-08-31 キオクシア株式会社 情報処理装置及び方法
CN112801262A (zh) * 2019-11-14 2021-05-14 波音公司 用于卷积神经网络的注意力权重模块和方法
WO2023012967A1 (ja) * 2021-08-05 2023-02-09 富士通株式会社 生成方法、情報処理装置および生成プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020135011A (ja) * 2019-02-13 2020-08-31 キオクシア株式会社 情報処理装置及び方法
CN112801262A (zh) * 2019-11-14 2021-05-14 波音公司 用于卷积神经网络的注意力权重模块和方法
WO2023012967A1 (ja) * 2021-08-05 2023-02-09 富士通株式会社 生成方法、情報処理装置および生成プログラム

Similar Documents

Publication Publication Date Title
CA2934514C (en) System and method for identifying faces in unconstrained media
Lee et al. Sensitivity analysis for biometric systems: A methodology based on orthogonal experiment designs
CN111310705A (zh) 图像识别方法、装置、计算机设备及存储介质
KR100647322B1 (ko) 객체의 모양모델 생성장치 및 방법과 이를 이용한 객체의특징점 자동탐색장치 및 방법
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
CN109684969B (zh) 凝视位置估计方法、计算机设备及存储介质
CN110826534B (zh) 一种基于局部主成分分析的人脸关键点检测方法及系统
CN111062328B (zh) 一种图像处理方法、装置及智能机器人
CN108985190B (zh) 目标识别方法和装置、电子设备、存储介质
CN115862095B (zh) 一种自适应视线估计方法、系统、电子设备及存储介质
CN113920571A (zh) 基于多运动特征融合的微表情识别方法及装置
CN113706438A (zh) 一种图像处理的方法、相关装置、设备、系统及存储介质
CN114067394A (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN115116117B (zh) 一种基于多模态融合网络的学习投入度数据的获取方法
CN115205971A (zh) 用于步态识别的模型训练方法、步态识别方法及装置
CN117058727B (zh) 一种基于图像增强的手部静脉图像识别方法及装置
CN114937189B (zh) 模型的训练方法和装置、目标识别方法、设备、介质
CN112580395A (zh) 基于深度信息的3d人脸活体识别方法、系统、设备及介质
WO2025041253A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び記録媒体
CN119206424A (zh) 一种基于语音与视线多模态融合的意图识别方法及系统
CN108446660A (zh) 用于识别人脸图像的方法和装置
CN117409459A (zh) 一种图像生成方法及相关装置
CN113763448A (zh) 深度成像方法、电子设备和计算机可读存储介质
CN117541758B (zh) 虚拟人脸配置参数生成方法、装置、设备和存储介质
CN116955689B (zh) 基于感官特征的图像检索方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23949714

Country of ref document: EP

Kind code of ref document: A1