WO2025009062A1 - 学習装置および学習方法ならびに推定装置 - Google Patents

学習装置および学習方法ならびに推定装置 Download PDF

Info

Publication number
WO2025009062A1
WO2025009062A1 PCT/JP2023/024780 JP2023024780W WO2025009062A1 WO 2025009062 A1 WO2025009062 A1 WO 2025009062A1 JP 2023024780 W JP2023024780 W JP 2023024780W WO 2025009062 A1 WO2025009062 A1 WO 2025009062A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
model
similarity
data
loss function
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2023/024780
Other languages
English (en)
French (fr)
Inventor
正志 宇佐見
巧一 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to PCT/JP2023/024780 priority Critical patent/WO2025009062A1/ja
Priority to JP2025530857A priority patent/JPWO2025009062A1/ja
Publication of WO2025009062A1 publication Critical patent/WO2025009062A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a learning device, a learning method, and an estimation device that can ensure fairness.
  • fairness is defined as the absence of bias or favoritism towards individuals or groups based on innate or acquired characteristics in decision-making.
  • ensuring fairness means, for example, that the answers derived by a machine learning model (hereinafter referred to as the model) are not influenced by sensitive attributes such as race, nationality, or gender. Sensitive attributes are also called protected attributes, as they can lead to ethically inappropriate unfair biases.
  • Non-Patent Documents 1 to 4 describe methods for improving fairness in classification problems. They focus on the fact that differences in performance in classification problems occur for specific attributes such as race and gender, and for each domain group.
  • class classification As an example of class classification, let's take face recognition class classification.
  • the class information of the person himself or others required for face recognition class classification is called the personal label. Facial attributes such as race and gender and class domains are called attribute labels. Groups composed of each attribute label are called protected groups. Values such as cosine similarity that quantify the similarity between features are called similarity scores. Similarity scores are calculated for image pairs. Similarity scores are used to determine whether an image is the same person (same class) or a different person (other class). The similarity score of a different-person pair is called the different-person score. Note that the similarity score of a same-person pair is the same-person score.
  • Non-Patent Document 1 proposes a dataset to eliminate racial bias and ensure fairness in face recognition. Furthermore, Non-Patent Document 1 proposes a method to improve fairness through domain adaptation using a source domain with a label indicating whether the subject is the person himself or herself or a different person, and a target domain with no label.
  • Non-Patent Document 2 proposes a learning dataset that takes into account race statistics.
  • the network described in Non-Patent Document 2 combines reinforcement learning and face recognition with angular distance learning with a margin term to improve fairness metrics.
  • Non-Patent Document 3 proposes a face recognition system that focuses on the fact that the rate of false positives can differ for each race.
  • the face recognition system described in Non-Patent Document 3 reduces the impact of racial differences even without attribute label information. To achieve this, a loss function that combines hard mining is used.
  • Non-Patent Document 4 proposes a method to reduce gender-dependent bias in face recognition by adding an additional layer after fixing the parameters of a trained face recognition model, and training the additional layer using the calculated likelihood of feature distribution for each gender as a loss function.
  • AI fairness is that it is easy for people to get high scores for "others" depending on facial attributes such as a particular race or gender. As a result, people with certain attributes are more likely to be mis-accepted during authentication than people with other attributes.
  • the present invention aims to provide a learning device, a learning method, and an estimation device that make it possible to ensure fairness based on differences in the distribution of scores for each protection group.
  • the learning device is a learning device that learns a model that extracts features, and includes a learning means for training the model using features extracted from training data as input, and a correction means for creating a plurality of data pairs within groups divided by attributes or domains, and correcting the similarity distribution in a direction that reduces the distance between similarity distributions between groups based on similarity scores calculated from the features of the data in the pairs, and the learning means causes the model to learn in a way that reflects the corrected similarity distribution.
  • the learning method is a method for learning a model that extracts features, in which a computer trains the model using features extracted from training data as input, creates a number of pairs of data within groups divided by attributes or domains, corrects the similarity distribution in a direction that reduces the distance between similarity distributions between groups based on similarity scores calculated from the features of the data in the pairs, and causes the model to learn in a way that reflects the corrected similarity distribution when training the model.
  • the estimation device includes an extraction means for extracting data features in a data pair using a model learned by the above-mentioned learning device.
  • the learning program according to the present invention is a learning program that learns a model that extracts features, and causes a computer to learn the model using features extracted from training data as input, creates a plurality of data pairs within groups divided by attributes or domains, corrects the similarity distribution in a direction that reduces the distance between similarity distributions between groups based on similarity scores calculated from the features of the data in the pairs, and causes the model to learn in a way that reflects the corrected similarity distribution when training the model.
  • the present invention makes it possible to generate a model that can guarantee fairness.
  • FIG. 1 is a block diagram showing a configuration example of an embodiment of a learning device.
  • FIG. 1 is a block diagram showing an example of an information processing device capable of realizing a learning device.
  • 4 is a flowchart showing the operation of the learning device.
  • FIG. 2 is a schematic diagram showing a processing flow of the learning device.
  • FIG. 13 is an explanatory diagram showing an example of a similarity distribution when no correction processing is performed.
  • FIG. 13 is an explanatory diagram showing an example of a similarity distribution when a correction process is performed.
  • FIG. 2 is a block diagram showing the main parts of the learning device.
  • FIG. 2 is a block diagram showing a main part of an estimation device.
  • FIG. 1 is a block diagram showing an example of the configuration of an embodiment of a learning device.
  • face recognition class classification is used as an example of class classification.
  • the learning device 10 shown in FIG. 1 learns a class classification problem to solve a class classification problem such as face recognition using a face image as input.
  • the learning device 10 includes an image acquisition unit 11, a feature extraction unit 12, a learning unit 13, and a similarity correction unit 14.
  • a learning database (DB) 20 stores N (N: an integer of 2 or more) face images (face image data) as learning data.
  • the image acquisition unit 11 acquires mini-batches containing face images of batch size B (a number of images equal to or smaller than N) from the learning DB 20.
  • the feature extraction unit 12 extracts features from face images included in the mini-batch.
  • the feature extraction unit 12 outputs the features as a feature vector.
  • the feature extraction unit 12 is, for example, a convolutional neural network (CNN).
  • CNN convolutional neural network
  • the feature extraction unit 12 is a CNN that receives a face image as input and extracts a D-dimensional (D: positive integer) feature vector.
  • the extracted features may be normalized by L2 normalization or the like.
  • the learning unit 13 inputs the feature vectors of each face image from the feature extraction unit 12.
  • the learning unit 13 uses, for example, angle distance learning to learn a model for face recognition (specifically, a model for feature extraction).
  • the similarity correction unit 14 corrects the distribution. Specifically, the similarity correction unit 14 corrects the distance of the similarity distribution, which represents the distribution of similarity scores calculated from the feature amounts, in the direction of decreasing the distance between the protection groups.
  • FIG. 2 is a block diagram showing an example of an information processing device (computer) capable of realizing the learning device 10.
  • the information processing device 100 shown in FIG. 2 includes a calculation device 101, a storage device 102, a memory 103, a communication device 104, an input device 105, and an output device 106.
  • the arithmetic device 101 is, for example, a CPU (Central Processing Unit), an MPU (Micro Processing Unit), or a GPU (Graphics Processing Unit).
  • the arithmetic device 101 realizes the functions of an image acquisition unit 11, a feature extraction unit 12, a learning unit 13, and a similarity correction unit 14 by executing a program (learning program) stored in the memory device 102.
  • the storage device 102 is an auxiliary storage device consisting of, for example, a hard disk drive (HDD), an optical disk, a magneto-optical disk, a solid state drive (SSD), a read only memory (ROM), or a compact disc read only memory (CD-ROM).
  • the storage device 102 stores programs executed by the computing device 101 or data referenced by the computing device 101.
  • the storage device 102 also stores facial images as learning data. In other words, the storage device 102 realizes the learning DB 20.
  • Memory 103 is a main storage device composed of volatile memory such as RAM (Random Access Memory). Memory 103 provides memory areas used in the processing of the computing device 101. Memory 103 temporarily stores data referenced during program execution, etc.
  • RAM Random Access Memory
  • the communication device 104 is connected to external devices such as external storage devices and peripheral devices, and to a network. Therefore, the computing device 101 can execute external programs and use learning databases stored in external devices such as connectable servers via the communication device 104.
  • the communication device 104 may use any communication standard. Also, the communication device 104 may perform wireless communication or wired communication.
  • the input device 105 is, for example, a keyboard, a mouse, a touch panel, or an imaging device such as a still camera or a video camera.
  • the input device 105 inputs instructions, setting values, etc. from a user.
  • the output device 106 is, for example, a display or a printer.
  • the output device 106 displays the settings and execution screen of the program executed by the calculation device 101.
  • the information processing device 100 may be a general-purpose computer such as a personal computer or a server, or a specially designed computer.
  • the arithmetic unit 101 in the information processing device 100 may be realized by an integrated circuit such as an ASIC (Application Specific Integrated Circuit) or an FPGA (Field Programmable Gate Array).
  • Figure 3 is a flowchart showing the operation of the learning device 10.
  • Figure 4 is a schematic diagram showing the processing flow of the learning device 10.
  • the image acquisition unit 11 acquires a mini-batch containing face images of batch size B from the learning DB 20 in which a sample number N of learning face images are stored (step S11).
  • the feature extraction unit 12 extracts features from the face images included in the mini-batch (step S12: see also T12 in FIG. 4).
  • the extracted features are exemplified as an "intermediate feature batch.”
  • ResNet can be used as the CNN.
  • the learning unit 13 inputs the feature vectors of each face image from the feature extraction unit 12.
  • the learning unit 13 uses, for example, angular distance learning to train a model for face recognition.
  • ArcFace is known as one type of angular distance learning.
  • a model trained using ArcFace can extract features using two facial images as input, and output the distance indicating how close the images are to the same person.
  • the learning unit 13 uses a loss function expressed by formula (1).
  • L ArcFace is a loss function in ArcFace.
  • f represents a set of feature vectors extracted from a mini-batch. Note that the learning unit 13 may use angle distance learning other than ArcFace as a method for learning a model for face recognition.
  • the learning unit 13 calculates the loss function, for example, expressed by equation (1) (step S13).
  • the similarity correction unit 14 executes the processes of steps S14 and S15 in parallel with the process of step S13. That is, the similarity correction unit 14 divides mini-batches for face images as learning data into protection groups, and creates image pairs within the divided mini-batches.
  • the protected groups are assumed to be groups classified by pre-assigned facial attribute labels such as race and gender.
  • the criteria for grouping are not limited to facial attributes as long as image pairs can be created within the group.
  • grouping can be based on some criteria such as the shooting conditions of the images or differences in domain.
  • the similarity used to determine whether two face images in an image pair are of the same person or of different people is, for example, cosine similarity, which is the inner product of normalized features extracted for each image.
  • cosine similarity is the inner product of normalized features extracted for each image.
  • the similarity correction unit 14 can also calculate the distance between the similarity distributions of two protection groups using, for example, KL divergence (Kullback-Leibler Divergence) or Maximum Mean Discrepancy (MMD).
  • KL divergence Kullback-Leibler Divergence
  • MMD Maximum Mean Discrepancy
  • the similarity correction unit 14 uses KL divergence.
  • any index whose minimization means that the distance between the distributions is brought closer such as the squared value of the difference between parameters for determining the distributions, can be used as the distance between two similarity distributions (the distance between the distributions).
  • s(f) be the similarity distribution of others calculated from the features of an image pair composed of a set of feature vectors f.
  • the loss function for bringing the similarity distribution of others in the first protection group (protection group 1) closer to the similarity distribution of others in the second protection group (protection group 2), i.e., the loss function related to the inter-distribution distance, is expressed, for example, by equation (2).
  • f1 represents a batch of feature vectors extracted from a mini-batch for protection group 1.
  • f2 represents a batch of feature vectors extracted from a mini-batch for protection group 2.
  • S( f1 ) represents a similarity distribution calculated using batch f1 as input.
  • S( f2 ) represents a similarity distribution calculated using batch f2 as input.
  • FKLDiv represents a function for calculating the KL divergence.
  • the focus is primarily on the mini-batches that belong to each of the two protection groups (the mini-batches related to protection group 1 and the mini-batches related to protection group 2).
  • the two mini-batches may belong to the same protection group.
  • the main focus is on two protection groups. However, there may be three or more protection groups. Also, the distribution average of multiple protection groups may be added to the calculation of the loss function. Then, by calculating the loss functions for up to all combinations, it is possible to simultaneously align the properties of all distributions.
  • the similarity correction unit 14 calculates the similarity distribution between the protection groups using the cosine similarity described above (step S14). In FIG. 4, the similarity distribution is described as "other score”. In addition, the similarity correction unit 14 calculates the loss function using equation (2) as described above (step S15). The process of step S15 corresponds to the correction process executed by the similarity correction unit 14.
  • the training unit 13 When training the model, the training unit 13 does not use only L1 as a loss function, but also includes L2 in the loss function. That is, the loss function used for training the model is expressed by formula (3). Therefore, the training unit 13 trains the model while reflecting the corrected similarity distribution.
  • ⁇ indicates the learning strength of the second term relative to the first term. ⁇ is set arbitrarily, for example, by the user.
  • the learning unit 13 trains the model using the loss function of equation (3). That is, the learning unit 13 optimizes (minimizes) the loss function using backpropagation or the like to bring the model parameters closer to optimal values (step S16: see also T13-16 and T15-16 in FIG. 4).
  • the similarity correction unit 14 may use one protected group as a reference group. In that case, the similarity correction unit 14 first calculates a similarity distribution for the protected group that is set as the reference group. The similarity correction unit 14 uses the similarity distribution as a reference. Then, the similarity correction unit 14 formulates the similarity distribution calculated from the mini-batches of the other protected groups so as to match the similarity distribution to the reference. For example, when the protected group 1 is set as the reference group, the similarity correction unit 14 calculates a distribution S(D 1 ) for the protected group 1 using a part or all of the face image data, and uses this distribution as a reference. In this case, the loss function for the distribution distance is expressed by, for example, equation (4).
  • f2 is calculated for each mini-batch and used for error backpropagation, while D is a value that is fixed over a predetermined period of time.
  • the predetermined period is, for example, the entire period when the processes of S11 to S16 are repeatedly executed, but it may be a part of that period.
  • the database in which the facial image data used by the similarity correction unit 14 in the process of step S14 is stored may be the learning DB 20, but it may also be a database different from the learning DB 20.
  • the learning using the loss function L1 and the learning using the loss function L2 are executed collectively in step S16.
  • the learning using the loss function L1 and the learning using the loss function L2 may be executed separately.
  • the learning of the model using the loss function L1 i.e., face recognition learning
  • the similarity distribution correction processing is executed at the end of the learning process or after the face recognition learning is finished, so that the timing of the start or end of the face recognition learning and the similarity distribution correction processing may be asynchronous.
  • FIG. 5A is an explanatory diagram showing an example of similarity distribution when no correction processing is applied.
  • the similarity distribution corresponds to the other score distribution.
  • the other score distribution represents the similarity of other pairs.
  • FIG. 5A shows histograms for protection group 1 and protection group 2.
  • the vertical axis represents the probability density.
  • the horizontal axis represents the similarity score.
  • the similarity score is, for multiple image pairs for each protection group, the inner product (cosine similarity) of normalized features calculated from features extracted from image pairs. The same applies to FIG. 5B.
  • the example shown in Figure 5A is a case where the similarity of other pairs in protection group 2 tends to be higher on average than that of protection group 1.
  • the similarity of other pairs in protection group 2 tends to be higher on average than that of protection group 1.
  • FIG. 5B is an explanatory diagram showing an example of a similarity distribution when correction processing is performed by the similarity correction unit 14.
  • a loss function (see equations (2) and (4)) aimed at minimizing the distance between distributions is also introduced, so that the characteristics of other-score distributions become closer even between different protection groups, improving fairness.
  • a correction process is performed to reduce the distance between the similarity distributions of image pairs created within a mini-batch. Therefore, even if the similarity distributions differ across multiple protection groups, a trained model can be obtained that can extract features with consistent similarity distributions. In other words, the similarity distributions of each protection group calculated from image pairs are made consistent by approximating the properties of the distributions. As a result, the risk of a high probability of erroneous acceptance of only a specific protection group is reduced.
  • the similarity distribution is calculated from other pairs (other-species pairs) divided into protection groups.
  • the concept of this embodiment can also be applied to the similarity distribution of same-species pairs.
  • Figure 6 is a block diagram showing an example configuration of an embodiment of the estimation device.
  • the estimation device 30 shown in FIG. 6 includes an image acquisition unit 31, a feature extraction unit 32, and an estimation unit 33.
  • the image acquisition unit 31 acquires a facial image of the target to be estimated from an external storage medium or a photographing device, etc.
  • the feature extraction unit 32 extracts features from the face image using the model (trained model) 321 generated by the learning device 10.
  • the estimation unit 33 calculates a similarity score for the feature vectors of the image pair. Furthermore, the estimation unit 33 performs, for example, identity determination and other-person determination based on the similarity score.
  • the estimation device 30 can be realized by the information processing device 100 illustrated in FIG. 2.
  • the calculation device 101 executes a program (estimation program) stored in the storage device 102, thereby realizing the functions of the image acquisition unit 31, the feature extraction unit 32, and the estimation unit 33.
  • the estimation device 30 shown in FIG. 6 is configured separately from the learning device 10 of the above embodiment. However, a device having the functions of the learning device 10 and the estimation device 30 may be configured. When configuring a device having the functions of the learning device 10 and the estimation device 30, for example, the device is configured by adding a feature extraction unit 32 and an estimation unit 33 to the learning device 10 shown in FIG. 1.
  • the image acquisition unit 31 acquires an image pair of the estimation target (step S31).
  • the image acquisition unit 31 acquires a face image from an external storage medium via the communication device 104, or acquires a face image from a photographing device.
  • the model 321 generated by the learning device 10 can extract features with consistent similarity distribution across multiple protection groups.
  • the feature extraction unit 32 uses such model 321 to extract features from face images in an image pair (step S32).
  • the feature extraction unit 32 outputs the extracted features as a feature vector.
  • the estimation unit 33 calculates a similarity score of the feature vectors of the image pair extracted by the feature extraction unit 32.
  • the estimation unit 33 uses, for example, cosine similarity, which is the inner product of normalized vectors, as the similarity score. Then, the estimation unit 33 uses the similarity score and a threshold value for determining whether it is the same person or a different person to determine whether the face images in the image pair are of the same person or a different person (step S33).
  • the threshold value is set, for example, by the user.
  • the estimation device 30 calculates the similarity of features between pairs of face images and performs face recognition to classify (determine) the person himself/herself from others.
  • the estimation device 30 can also be applied to general image classification problems if the similarity distribution of image pairs can be calculated.
  • face attributes such as race and gender are treated as protected groups.
  • groups by domain based on differences in the shooting environment due to near-infrared shooting or visible light shooting, or to define groups based on differences in equipment. The ideas of the above embodiment can then be applied to correct the similarity distribution of data pairs within those groups.
  • a loss function based on angular distance learning in particular a loss function based on ArcFace, was used to learn image classification.
  • a loss function based on angular distance learning in addition to a loss function based on KL angular distance learning such as ArcFace, a Softmax-type loss function that basically uses a margin but also includes cases where no margin is used can also be used.
  • mean squared error, mean absolute error, etc. can also be used as a loss function.
  • distribution types and groups to be corrected are not limited to one combination, and multiple combinations can be tried simultaneously.
  • the database in which the data used to correct the distribution is stored may be divided into multiple databases.
  • FIG. 8 is a block diagram showing the main parts of the learning device.
  • the learning device 50 shown in FIG. 8 includes a learning unit (learning means) 51 (realized by the learning unit 13 in the embodiment) that learns a model using features extracted from learning data as input, and a correction unit (correction means) 52 (realized by the similarity correction unit 14 in the embodiment) that creates a plurality of data pairs in groups divided by attribute or domain, and corrects the similarity distribution in a direction that reduces the distance between the similarity distributions between the groups based on the similarity scores calculated from the features of the data in the pairs, and the learning unit 51 causes the model to learn in a way that reflects the corrected similarity distribution.
  • learning unit 51 realized by the learning unit 13 in the embodiment
  • correction unit 52 realized by the similarity correction unit 14 in the embodiment
  • the learning device 50 may be equipped with a feature extraction unit (feature extraction means: in the embodiment, this is realized by the feature extraction unit 12) that extracts features from the learning data using a convolutional neural network.
  • feature extraction means in the embodiment, this is realized by the feature extraction unit 12
  • FIG. 9 is a block diagram showing the main parts of an estimation device.
  • the estimation device 60 shown in FIG. 9 includes an extraction unit (extraction means) 61 (realized by the feature extraction unit 32 in the embodiment) that extracts features of data in a data pair using a model 611 learned by the learning device 50.
  • extraction means extraction means
  • the estimation device 60 may include an estimation unit (estimation means: in the embodiment, this is realized by the estimation unit 33) that calculates a similarity score for the features of the image pair extracted by the extraction unit 61 and uses the similarity score to determine whether the facial images in the image pair are of the same person or different people.
  • an estimation unit estimate means: in the embodiment, this is realized by the estimation unit 33
  • a learning device that learns a model that extracts features
  • a learning means for learning the model using features extracted from learning data as an input
  • a correction means for creating a plurality of pairs of data within a group divided by an attribute or a domain, and correcting the similarity distribution in a direction in which a distance between the groups is reduced based on a similarity score calculated from a feature amount of the data in the pair
  • the learning means causes the model to perform learning that reflects the corrected similarity distribution.
  • Supplementary Note 2 The learning device of Supplementary Note 1, wherein the learning means trains the model using a first loss function that uses features extracted from training data and a second loss function that uses the similarity distribution.
  • Supplementary Note 5 The learning device according to any one of Supplementary Note 1 to Supplementary Note 4, further comprising: a feature extraction means for extracting features from the learning data by a convolutional neural network.
  • a learning method for learning a model that performs feature extraction comprising: The computer The model is trained using the features extracted from the training data as input; creating a plurality of pairs of data within groups divided by attributes or domains, and correcting the similarity distributions in a direction to reduce the distance between the groups based on similarity scores calculated from the features of the data in the pairs; the learning method further comprising: when training the model, causing the model to perform training that reflects the corrected similarity distribution.
  • (Appendix 7) A computer The learning method of claim 6, further comprising: training the model using a first loss function that uses features extracted from training data and a second loss function that uses the similarity distribution.
  • An estimation device comprising: an extraction means for extracting features of data in a data pair using the model trained by a learning device according to any one of Supplementary Note 1 to Supplementary Note 5.
  • the data pair is an image pair
  • the estimation device of claim 11 further comprising an estimation means for calculating a similarity score of the features of the image pair extracted by the extraction means, and using the similarity score to determine whether the face images in the image pair are of the same person or different people.
  • a computer-readable recording medium having a learning program recorded thereon for learning a model for extracting features The learning program is configured to: The model is trained using the features extracted from the training data as input; creating a plurality of pairs of data within groups divided by attributes or domains, and correcting the similarity distributions in a direction to reduce the distance between the groups based on similarity scores calculated from the features of the data in the pairs; A recording medium for causing the model to perform learning that reflects the corrected similarity distribution when the model is trained.
  • the learning program is provided to a computer.
  • a learning program for learning a model that performs feature extraction comprising: On the computer, The model is trained using the features extracted from the training data as input; creating a plurality of pairs of data within groups divided by attributes or domains, and correcting the similarity distributions in a direction to reduce the distance between the groups based on similarity scores calculated from the features of the data in the pairs; a learning program for causing the model to perform learning that reflects the corrected similarity distribution when the model is trained.
  • a computer includes: The learning program of claim 15, further comprising: training the model using a first loss function that uses features extracted from training data and a second loss function that uses the similarity distribution.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)

Abstract

学習装置は、特徴量抽出を行うモデルを学習する学習装置であって、学習データから抽出された特徴量を入力としてモデルを学習させる学習部と、属性またはドメインごとで分けられるグループ内で複数のデータのペアを作成し、当該ペアにおけるデータの特徴量から計算される類似度スコアに基づく類似度分布間の距離をグループ間で小さくする方向に、類似度分布を補正する補正部とを含み、学習部は、モデルに、補正された類似度分布を反映した学習を行わせる。

Description

学習装置および学習方法ならびに推定装置
　本発明は、公平性を担保しうる学習装置および学習方法ならびに推定装置に関する。
　機械学習によるＡＩ（Artificial Intelligence）が普及するにつれて、ＡＩが公平な判断をしているか、すなわち、公平性が担保されているかという観点にも着目されている。公平性は、意思決定において、先天的または後天的な特徴に基づいて、個人またはグループに対する偏見または好意がないこととされている。機械学習の分野において、公平性が担保されているということは、例えば、機械学習モデル（以下、モデルという。）によって導き出される回答が、人種、国籍、性別などのセンシティブ属性による影響を受けない状態であるといえる。センシティブ属性は、倫理的に不適切な不公正バイアスにつながることがあるので、保護属性とも呼ばれる。
　非特許文献１～４には、クラス分類問題における公平性を向上させるための工夫が記載されている。非特許文献１～４では、人種、性別などの特定の属性やドメイングループごとにクラス分類問題の性能差が生じる点が着目されている。
　クラス分類として顔認証のクラス分類を例にする。顔認証のクラス分類に必要な本人または他人のクラス情報を個人ラベルという。人種や性別などの顔属性やクラスのドメインを属性ラベルという。属性ラベルごとに構成されるグループを保護グループという。また、特徴量同士の類似度を数値化したコサイン類似度などの値を類似度スコアという。類似度スコアは、画像ペアを対象として計算される。類似度スコアは、本人（同種クラス）であるのか他人（他種クラス）であるのかを判定するために使用される。他人ペアの類似度スコアを他人スコアという。なお、本人ペアの類似度スコアは本人スコアである。
　非特許文献１は、顔認証において、人種バイアスを排除して公平性を担保するためのデータセットを提案する。さらに、非特許文献１は、本人であるのか他人であるのかを示すラベルを有する元ドメインと、ラベルが付与されていない目的ドメインとを用いて、ドメイン適応によって公平性を高める手法を提案する。
　非特許文献２は、人種に関して、統計量を考慮した学習データセットを提案する。非特許文献２に記載されたネットワークは、強化学習とマージン項付きの角度距離学習の顔認証とを組み合わせて、公平性の指標を改善する。
　非特許文献３は、人種ごとに他人誤受入の割合が異なり得る点に着目した顔認証システムを提案する。非特許文献３に記載された顔認証システムは、属性ラベルの情報がなくても人種間の違いの影響を軽減する。そのために、ハードマイニングを組み合わせた損失関数が利用される。
　非特許文献４は、学習済みの顔認証モデルのパラメータを固定した後に、追加のレイヤを新たに付け加え、性別ごとの特徴量分布の尤度を計算したものを損失関数として追加レイヤの学習を行うことで、性別に依存した顔認証のバイアスを軽減する手法を提案する。
Mei Wang, et al., "Racial faces in the wild: Reducing racial bias by information maximization adaptation network", IEEE/CVF International Conference on Computer Vision (ICCV), pp. 692-702, 2019 Mei Wang, et al., "Mitigating Bias in Face Recognition using Skewness-Aware Reinforcement Learning", IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 9319-9328, 2020 Xingkun Xu, et al., "Consistent Instance False Positive Improves Fairness in Face Recognition", Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 578-586, 2021 Jean-Remy Conti et al., "Mitigating Bias in Face Recognition Using the von Mises-Fisher Mixture Model", Proceedings of the 39th International Conference on Machine Learning, Baltimore, Maryland, USA, PMLR 162, pp. 4344-4369, 2022
　ＡＩの公平性に関する問題として、特定の人種や性別等の顔属性に依存して他人スコアが高く出やすいということがある。その結果、特定の属性を持つ人について、他の属性の人に比べて、認証における誤受入が生じる可能性が高くなる。
　誤受入が生じる可能性を低減するために、一般に、非特許文献１～４に記載されているように学習用データセットの偏りを低減したり、モデルを学習するための手法に工夫を加えてバイアスを軽減する改良がなされている。
　本発明は、保護グループごとのスコアの分布の相違に基づいて公平性を担保することを可能にする学習装置および学習方法ならびに推定装置を提供することを目的とする。
　本発明による学習装置は、特徴量抽出を行うモデルを学習する学習装置であって、学習データから抽出された特徴量を入力としてモデルを学習させる学習手段と、属性またはドメインごとで分けられるグループ内で複数のデータのペアを作成し、当該ペアにおけるデータの特徴量から計算される類似度スコアに基づく類似度分布間の距離をグループ間で小さくする方向に、類似度分布を補正する補正手段とを含み、学習手段は、モデルに、補正された類似度分布を反映した学習を行わせる。
　本発明による学習方法は、特徴量抽出を行うモデルを学習する学習方法であって、コンピュータが、学習データから抽出された特徴量を入力としてモデルを学習させ、属性またはドメインごとで分けられるグループ内で複数のデータのペアを作成し、当該ペアにおけるデータの特徴量から計算される類似度スコアに基づく類似度分布間の距離をグループ間で小さくする方向に、類似度分布を補正し、モデルを学習させるときに、モデルに、補正された類似度分布を反映した学習を行わせる。
　本発明による推定装置は、上記の学習装置によって学習されたモデルによって、データのペアにおけるデータの特徴量を抽出する抽出手段を含む。
　本発明による学習プログラムは、特徴量抽出を行うモデルを学習する学習プログラムであって、コンピュータに、学習データから抽出された特徴量を入力としてモデルを学習させ、属性またはドメインごとで分けられるグループ内で複数のデータのペアを作成し、当該ペアにおけるデータの特徴量から計算される類似度スコアに基づく類似度分布間の距離をグループ間で小さくする方向に、類似度分布を補正し、モデルを学習させるときに、モデルに、補正された類似度分布を反映した学習を行わせる。
　本発明によれば、公平性が担保されうるモデルを生成できる。
学習装置の実施形態の構成例を示すブロック図である。 学習装置を実現可能な情報処理装置の一例を示すブロック図である。 学習装置の動作を示すフローチャートである。 学習装置の処理の流れを示す模式図である。 補正処理が施されない場合の類似度分布の一例を示す説明図である。 補正処理が施された場合の類似度分布の一例を示す説明図である。 推定装置の実施形態の構成例を示すブロック図である。 推定装置の動作を示すフローチャートである。 学習装置の主要部を示すブロック図である。 推定装置の主要部を示すブロック図である。
　以下、本発明の実施形態を図面を参照して説明する。
　図１は、学習装置の実施形態の構成例を示すブロック図である。本実施形態でも、クラス分類として顔認証のクラス分類を例にする。図１に示す学習装置１０は、例えば、顔画像を入力とする顔認証などのクラス分類問題を解決するためのクラス分類問題を学習する。
　学習装置１０は、画像取得部１１、特徴量抽出部１２、学習部１３、および類似度補正部１４を備えている。学習用データベース（ＤＢ）２０は、Ｎ（Ｎ：２以上の整数）枚の学習用データとしての顔画像（顔画像データ）を格納している。
　画像取得部１１は、学習用ＤＢ２０から、バッチサイズＢ（Ｎ以下の複数）の顔画像を含むミニバッチを取得する。
　特徴量抽出部１２は、ミニバッチに含まれる顔画像から特徴量を抽出する。特徴量抽出部１２は、特徴量を特徴量ベクトルとして出力する。特徴量抽出部１２は、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）である。具体的には、特徴量抽出部１２は、顔画像を入力とし、Ｄ次元（Ｄ：正の整数）の特徴量ベクトルを抽出するＣＮＮである。抽出された特徴量は、Ｌ２正規化などによって正規化されていてもよい。
　学習部１３は、特徴量抽出部１２から各顔画像の特徴量ベクトルを入力する。学習部１３は、例えば角度距離学習を利用して、顔認証用のモデル（具体的には、特徴抽出のためのモデル）の学習を行う。
　類似度補正部１４は、分布を補正する。具体的には、類似度補正部１４は、特徴量から計算される類似度スコアの分布を表す類似度分布の距離を、保護グループ間で小さくする方向に補正する。
　図２は、学習装置１０を実現可能な情報処理装置（コンピュータ）の一例を示すブロック図である。図２に示す情報処理装置１００は、演算装置１０１、記憶装置１０２、メモリ１０３、通信装置１０４、入力装置１０５、および出力装置１０６を備えている。
　演算装置１０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）などである。演算装置１０１は、記憶装置１０２に格納されているプログラム（学習プログラム）を実行することによって、画像取得部１１、特徴量抽出部１２、学習部１３、および類似度補正部１４の機能を実現する。
　記憶装置１０２は、例えば、ハードディスク（ＨＤＤ：Hard Disk Drive）、光ディスク、光磁気ディスク、ＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）などで構成される補助記憶装置である。記憶装置１０２は、演算装置１０１が実行するプログラムまたは参照するデータなどを記憶する。また、記憶装置１０２は、学習用データとしての顔画像を記憶する。すなわち、記憶装置１０２は、学習用ＤＢ２０を実現する。
　メモリ１０３は、ＲＡＭ（Random Access Memory）などの揮発性メモリで構成される主記憶装置である。メモリ１０３は、演算装置１０１の処理において使用されるメモリ領域を提供する。メモリ１０３は、プログラムの実行時に参照されるデータなどを一時的に記憶する。
　通信装置１０４は、外部記憶装置や、周辺機器等の外部機器や、ネットワークなどに接続される。したがって、演算装置１０１は、通信装置１０４を介して、外部のプログラムを実行したり、接続可能なサーバなどの外部装置に記憶されている学習用データベースを利用したりすることもできる。なお、通信装置１０４が使用する通信規格は任意である。また、通信装置１０４は、無線通信を行ってもよいし、有線通信を行ってもよい。
　入力装置１０５は、例えば、キーボード、マウス、タッチパネル、スチルカメラやビデオカメラなどの撮影装置である。入力装置１０５は、ユーザから、指示や設定値などを入力する。出力装置１０６は、例えば、ディスプレイやプリンタである。出力装置１０６は、演算装置１０１で実行されるプログラムの設定や実行画面などを表示する。
　情報処理装置１００は、パーソナルコンピュータやサーバなどの汎用の計算機であってもよいし、専用に設計された計算機であってもよい。情報処理装置１００における演算装置１０１は、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）などの集積回路で実現されてもよい。
　次に、学習装置１０の動作を、図３および図４を参照して説明する。図３は、学習装置１０の動作を示すフローチャートである。図４は、学習装置１０の処理の流れを示す模式図である。
　画像取得部１１は、サンプル数Ｎの学習用の顔画像が記憶された学習用ＤＢ２０から、バッチサイズＢの顔画像を含むミニバッチを取得する（ステップＳ１１）。
　特徴量抽出部１２は、ミニバッチに含まれる顔画像から特徴量を抽出する（ステップＳ１２：図４におけるＴ１２も参照）。なお、図４において、抽出された特徴量は、「中間特徴量バッチ」として例示されている。特徴量抽出部１２がＣＮＮで構成される場合に、ＣＮＮとして、例えばResNetを使用可能である。
　学習部１３は、特徴量抽出部１２から各顔画像の特徴量ベクトルを入力する。学習部１３は、例えば角度距離学習などを利用して、顔認証のためにモデルの学習を行う。角度距離学習の１つとして、ArcFaceが知られている。ArcFaceにより学習されたモデルは、２つの顔画像を入力として特徴量を抽出し、それらが、どれくらい同一人物に近いかの距離を出力することができる。
　ArcFaceを使用する場合、学習部１３は、（１）式で表される損失関数を用いる。（１）式において、ＬArcFaceは、ArcFaceでの損失関数である。ｆは、ミニバッチから抽出された特徴量ベクトルの集合を表す。なお、学習部１３は、顔認証のためのモデルの学習を行うための方式として、ArcFace以外の角度距離学習を用いてもよい。
Figure JPOXMLDOC01-appb-M000001
　学習部１３は、例えば（１）式で表される損失関数を計算する（ステップＳ１３）。
　類似度補正部１４は、ステップＳ１３の処理と並行して、ステップＳ１４，Ｓ１５の処理を実行する。すなわち、類似度補正部１４は、学習用データとしての顔画像について保護グループごとにミニバッチを分割し、分けられたミニバッチ内での画像ペアを作成する。
　本実施形態では、保護グループとして、事前に付された人種や性別といった顔属性の属性ラベルで分類されるグループが想定される。しかし、グループ分けの基準は、グループ内で画像ペアが作成できるのであれば顔属性に限定されない。一例として、画像の撮影条件やドメインの相違などの何らかの基準でグループ分けすることが考えられる。
　顔認証において、画像ペアにおける２つの顔画像が本人（同一人）のものであるのか他人のものであるのかを判定するのに用いられる類似度として、画像ごとに抽出された正規化特徴量の内積を取ったコサイン類似度などが用いられる。以下、類似度補正部１４がコサイン類似度を用いる場合を例にする。
　また、類似度補正部１４は、２つの保護グループの類似度分布の距離を、例えば、ＫＬダイバージェンス（Kullback-Leibler Divergence：カルバック・ライブラー情報量）や、Maximum Mean Discrepancy（ＭＭＤ）などを用いて計算可能である。
　以下、類似度補正部１４がＫＬダイバージェンスを用いる場合を例にする。ただし、分布を決定するためのパラメータの差分を二乗した値など、指標を最小化することが分布の距離を近づけることを意味する指標であれば、２つの類似度分布の距離（分布間距離）として利用可能である。
　特徴量ベクトルの集合ｆで構成される画像ペアの特徴量から計算される他人の類似度分布をｓ（ｆ）とする。第１の保護グループ（保護グループ１）の他人の類似度分布を、第２の保護グループ（保護グループ２）の他人の類似度分布に近づけるための損失関数、すなわち、分布間距離に関する損失関数は、例えば、（２）式で表される。
Figure JPOXMLDOC01-appb-M000002
　（２）式において、ｆ１は、保護グループ１に関するミニバッチから抽出された特徴量ベクトルのバッチを表す。ｆ２は、保護グループ２に関するミニバッチから抽出された特徴量ベクトルのバッチを表す。Ｓ（ｆ１）は、バッチｆ１を入力として計算された類似度分布を示す。Ｓ（ｆ２）は、バッチｆ２を入力として計算された類似度分布を示す。ＦＫＬＤｉｖは、ＫＬダイバージェンスを計算する関数を示す。
　なお、本実施形態では、主として、２つの保護グループのそれぞれに属するミニバッチ（保護グループ１に関するミニバッチおよび保護グループ２に関するミニバッチ）が着目されている。しかし、２つのミニバッチは、１つの保護グループに属していてもよい。
　また、本実施形態では、主として、２つの保護グループが着目されている。しかし、保護グループは３つ以上存在してもよい。また、複数の保護グループの分布平均などを損失関数の計算に加えてもよい。そして、最大で全ての組み合わせ分損失関数を計算することによって、同時に全ての分布の性質を揃える操作が可能である。
　類似度補正部１４は、上述されたコサイン類似度などを用いて保護グループ間の類似度分布を計算する（ステップＳ１４）。図４において、類似度分布は、「他人スコア」として記載されている。また、類似度補正部１４は、上述されたように、（２）式を用いて、損失関数を計算する（ステップＳ１５）。ステップＳ１５の処理は、類似度補正部１４が実行する補正処理に相当する。
　学習部１３は、モデルを学習させるときに、損失関数としてＬ１のみを用いるのではなく、Ｌ２も損失関数に含める。すなわち、モデルの学習のために用いられる損失関数は、（３）式で表される。したがって、学習部１３は、モデルに、補正された類似度分布も反映された学習を行わせる。
Figure JPOXMLDOC01-appb-M000003
　（３）式において、λは、第１項に対する第２項の学習強度を示す。λは、例えばユーザによって、任意に設定される。
　学習部１３は、（３）式の損失関数を用いてモデルを学習させる。すなわち、学習部１３は、誤差逆伝播などを用いて損失関数を最適化（最小化）することによって、モデルのパラメータを最適な値に近づける（ステップＳ１６：図４におけるＴ１３－１６およびＴ１５－１６も参照）。
　なお、図３のフローチャートでは、Ｓ１１～Ｓ１６の処理が１回実行されるように表現されているが、実際には、Ｓ１１～Ｓ１６の処理が繰り返し実行されることによって、モデルの学習が行われる。すなわち、複数のミニバッチを入力とした処理が複数回実行されることによって、モデルの学習が行われる。
　また、図４には、理解の容易のために、損失関数Ｌ１を用いた学習と損失関数Ｌ２を用いた学習とが別個に実行されることが示されている。しかし、上述した例では、損失関数Ｌ１を用いた学習と損失関数Ｌ２を用いた学習とは、一括して実行される。
　なお、類似度補正部１４が分布間距離を計算するときに、類似度補正部１４は、１つの保護グループを基準グループとしてもよい。その場合には、類似度補正部１４は、まず、基準グループとした保護グループに関する類似度分布を計算する。類似度補正部１４は、類似度分布を基準にする。そして、類似度補正部１４は、それ以外の保護グループのミニバッチから計算された類似度分布を基準に合わせるように定式化する。例えば、保護グループ１を基準グループとする場合、類似度補正部１４は、保護グループ１について、一部または全部の顔画像データを用いた分布Ｓ（Ｄ１）を計算し、この分布を基準とする。この場合、分布間距離に関する損失関数は、例えば、（４）式で表される。
Figure JPOXMLDOC01-appb-M000004
　（４）式で表される損失関数が用いられる場合、ｆ２は、ミニバッチごとに計算され誤差逆伝播に用いられるが、Ｄは、所定期間に亘って固定される値である。所定期間は、例えば、Ｓ１１～Ｓ１６の処理が繰り返し実行される場合の全期間であるが、そのうちの一部の期間であってもよい。
　なお、類似度補正部１４がステップＳ１４の処理で使用する顔画像データが格納されているデータベースは、学習用ＤＢ２０であってもよいが、学習用ＤＢ２０とは異なるデータベースであってもよい。
　また、上述した例では、損失関数Ｌ１を用いた学習と損失関数Ｌ２を用いた学習とは、ステップＳ１６で、一括して実行される。しかし、損失関数Ｌ１を用いた学習と損失関数Ｌ２を用いた学習とが別個に実行されるようにしてもよい。一例として、学習過程（繰り返し実行されるＳ１１～Ｓ１６の処理）の最初の段階では、損失関数Ｌ２を用いたモデルの学習（すなわち、類似度分布の補正処理）を行わずに損失関数Ｌ１を用いた当該モデルの学習（すなわち、顔認証の学習）のみを行い、学習過程の終盤または顔認証の学習終了後に類似度分布の補正処理を行うといったような、顔認証の学習と類似度分布の補正処理の開始もしくは終了との時期を非同期にしてもよい。
　図５Ａは、補正処理が施されない場合の類似度分布の一例を示す説明図である。類似度分布は、他人スコア分布に相当する。他人スコア分布は、他人ペアの類似度を表す。図５Ａには、保護グループ１および保護グループ２に関するヒストグラムが示されている。縦軸は確率密度を表す。横軸は類似度スコアを表す。類似度スコアは、保護グループごとに複数の画像ペアについて、画像ペアから抽出された特徴量から計算された正規化特徴量同士の内積（コサイン類似度）などである。これらのことは、図５Ｂについても同様である。
　図５Ａに示すように、補正処理が施されない場合には、保護グループ１に関する類似度分布と保護グループ２に関する類似度分布とがかけ離れることがある。その結果、特定の属性の人に対する公平性が損われる可能性が生ずる。顔認証の複数の他人スコア分布の形状が異なると、人種や性別などの違いに起因して誤受入の割合が異なることがある。
　図５Ａに示された例は、保護グループ２の他人ペアの類似度が、保護グループ１のそれに比べて平均的に高く出やすい傾向がある場合の例である。その結果、例えば同じ認証しきい値を用いた認証システムにおいて、保護グループ１と比較して、保護グループ２の画像ペアに対する誤受入が生じやすくなる。そのような場合には、公平性が担保されているとはいい難い。
　図５Ｂは、類似度補正部１４によって補正処理が施された場合の類似度分布の一例を示す説明図である。モデルを学習させるときに、分布間距離を最小化することを目的とした損失関数（（２）式および（４）式参照）も導入されることによって、異なる保護グループ間でも他人スコア分布の性質が近くなるので、公平性が向上しているといえる。
　以上に説明したように、本実施形態では、モデルの学習時に、ミニバッチ内で作成された画像ペアの類似度分布間の距離を小さくするような補正処理が施される。したがって、複数の保護グループに亘って類似度分布が異なる場合であっても、類似度分布の揃った特徴量を抽出できるモデルを、学習済みのモデルとして得ることができる。すなわち、画像ペアから計算された各保護グループの類似度分布について、その分布同士の性質を近づけることによって、類似度分布が揃う。その結果、特定の保護グループのみの誤受入の確率が高くなるリスクが軽減される。
　なお、本実施形態では、保護グループごとに分けられた、他人ペア（他種ペア）から計算される類似度分布が対象とされている。しかし、本実施形態の考え方は、本人ペア（同種ペア）の類似度分布にも適用可能である。
　さらに、一般的なドメイン適応では、２つの異なるドメインのデータセットを用意して、元ドメインと目的ドメインの二つのネットワークの出力等を比較する手法が用いられる。それに対して、本実施形態では、複数の属性間の判定またはグループ間の判定に用いられるスコアの２つ以上の分布そのものを、単一または複数のデータセットから、同時に、かつ、明示的に揃えることができる。
　また、本実施形態では、画像分類のタスクとして顔認証がされた。しかし、画像ペアの類似度分布が計算可能であれば、本実施形態は、一般の画像分類の問題にも適用可能である。
　次に、学習装置１０が生成したモデルを活用してクラス分類またはクラス判定を行う推定装置を説明する。図６は、推定装置の実施形態の構成例を示すブロック図である。
　図６に示す推定装置３０は、画像取得部３１、特徴量抽出部３２、および推定部３３を備えている。
　画像取得部３１は、外部記憶媒体または撮影装置などから、推定対象の顔画像を取得する。
　特徴量抽出部３２は、学習装置１０が生成したモデル（学習済みモデル）３２１を使用して、顔画像から特徴量を抽出する。
　推定部３３は、画像ペアの特徴量ベクトルの類似度スコアを計算する。さらに、推定部３３は、類似度スコアに基づいて、例えば、本人判定および他人判定を行う。
　なお、推定装置３０は、図２に例示された情報処理装置１００で実現可能である。推定装置３０が情報処理装置１００で実現される場合、演算装置１０１が、記憶装置１０２に格納されているプログラム（推定プログラム）を実行することによって、画像取得部３１、特徴量抽出部３２、および推定部３３の機能を実現する。
　また、図６に示す推定装置３０は、上記の実施形態の学習装置１０とは別個に構成される。しかし、学習装置１０の機能と推定装置３０の機能とを有する装置を構成してもよい。学習装置１０の機能と推定装置３０の機能とを有する装置を構成する場合には、例えば、図１に示された学習装置１０に対して、特徴量抽出部３２および推定部３３が追加されることによって、当該装置が構成される。
　次に、図７のフローチャートを参照して、推定装置３０の動作を説明する。
　画像取得部３１は、推定対象の画像ペアを取得する（ステップＳ３１）。画像取得部３１は、通信装置１０４を介して外部記憶媒体から顔画像を取得したり、撮影装置から顔画像を取得したりする。
　上述したように、学習装置１０が生成したモデル３２１は、複数の保護グループに亘って類似度分布の揃った特徴量を抽出できる。特徴量抽出部３２は、そのようなモデル３２１を使用して、画像ペアにおける顔画像から特徴量を抽出する（ステップＳ３２）。特徴量抽出部３２は、抽出した特徴量を特徴量ベクトルとして出力する。
　推定部３３は、特徴量抽出部３２によって抽出された画像ペアの特徴量ベクトルの類似度スコアを計算する。推定部３３は、類似度スコアとして、例えば、正規化したベクトル同士の内積であるコサイン類似度などを用いる。そして、推定部３３は、類似度スコアと、本人であるのか他人であるのかを判定するためのしきい値とを使用して、画像ペアにおける顔画像が同一人であるのか他人であるのかを判定する（ステップＳ３３）。しきい値は、例えばユーザによって設定される。
　以上のように、推定装置３０は、顔画像ペアについて特徴量の類似度を計算し、本人と他人とを分類する（判定する）顔認証を行う。
　なお、学習装置１０の場合と同様に、推定装置３０は、画像ペアの類似度分布が計算可能であれば、一般の画像分類の問題にも適用可能である。
［変形例］
　以下、上記の実施形態の変形例を説明する。
　上記の実施形態では、顔画像ペアを入力とする顔認証を行う場合に、人種や性別などの顔属性が保護グループとされた。しかし、例えば、画像や映像などのデータ分類問題において、近赤外撮影や可視光撮影による撮影環境の違いに基づくドメインでグループを定義したり、機器の違いに基づくグループを定義することもできる。そして、それらのグループ内でのデータペアの類似度分布を補正するために、上記の実施形態の考え方を適用できる。
　上記の実施形態では、画像分類を学習するために、角度距離学習に基づく損失関数、特に、ArcFaceに基づく損失関数が用いられた。しかし、角度距離学習に基づく損失関数として、ArcFaceのようなＫＬ付き角度距離学習に基づく損失関数の他に、基本的にはマージンを使用するがマージンを使用しない場合も含むSoftmax型の損失関数を使用することもできる。さらに、損失関数として、平均二乗誤差や平均絶対誤差などを使用することもできる。
　また、補正対象の分布の種類やグループは、１つの組み合わせに限定されず、複数の組み合わせを同時に試行することができる。
　また、分布の補正に用いられるデータが保存されたデータベースは、複数に分かれていてもよい。
　図８は、学習装置の主要部を示すブロック図である。図８に示す学習装置５０は、学習データから抽出された特徴量を入力としてモデルを学習させる学習部（学習手段）５１（実施形態では、学習部１３で実現される。）と、属性またはドメインごとで分けられるグループ内で複数のデータのペアを作成し、当該ペアにおけるデータの特徴量から計算される類似度スコアに基づく類似度分布間の距離をグループ間で小さくする方向に、類似度分布を補正する補正部（補正手段）５２（実施形態では、類似度補正部１４で実現される。）とを備え、学習部５１は、モデルに、補正された類似度分布を反映した学習を行わせる。
　学習装置５０は、畳み込みニューラルネットワークによって学習データから特徴量を抽出する特徴量抽出部（特徴量抽出手段：実施形態では、特徴量抽出部１２で実現される。）を備えていてもよい。
　抽出手段によって抽出された前記画像ペアの特徴量の類似度スコアを計算し、該類似度スコアを使用して、画像ペアにおける顔画像が同一人であるのか他人であるのかを判定する推定手段を備える
　図９は、推定装置の主要部を示すブロック図である。図９に示す推定装置６０は、学習装置５０によって学習されたモデル６１１によって、データのペアにおけるデータの特徴量を抽出する抽出部（抽出手段）６１（実施形態では、特徴量抽出部３２で実現される。）を含む。
　推定装置６０は、抽出部６１によって抽出された前記画像ペアの特徴量の類似度スコアを計算し、該類似度スコアを使用して、画像ペアにおける顔画像が同一人であるのか他人であるのかを判定する推定部（推定手段：実施形態では、推定部３３で実現される。）を備えていてもよい。
　上記の実施形態および実施例の一部または全部は、以下の付記のようにも記載され得るが、本発明は、以下の構成に限定されるわけではない。
（付記１）特徴量抽出を行うモデルを学習する学習装置であって、
　学習データから抽出された特徴量を入力として前記モデルを学習させる学習手段と、
　属性またはドメインごとで分けられるグループ内で複数のデータのペアを作成し、当該ペアにおけるデータの特徴量から計算される類似度スコアに基づく類似度分布間の距離を前記グループ間で小さくする方向に、前記類似度分布を補正する補正手段とを備え、
　前記学習手段は、前記モデルに、補正された前記類似度分布を反映した学習を行わせる
　学習装置。
（付記２）前記学習手段は、学習データから抽出された特徴量を用いる第１の損失関数と、前記類似度分布を用いる第２の損失関数とを使用して、前記モデルを学習させる
　付記１の学習装置。
（付記３）前記補正手段は、前記第１の損失関数として、マージン付き角度距離学習に基づく損失関数を使用する
　付記２の学習装置。
（付記４）前記補正手段は、前記第２の損失関数として、ＫＬダイバージェンスに基づく損失関数を使用する
　付記３の学習装置。
（付記５）畳み込みニューラルネットワークによって前記学習データから特徴量を抽出する特徴量抽出手段を備える
　付記１から付記４のうちのいずれかの学習装置。
（付記６）特徴量抽出を行うモデルを学習する学習方法であって、
　コンピュータが、
　学習データから抽出された特徴量を入力として前記モデルを学習させ、
　属性またはドメインごとで分けられるグループ内で複数のデータのペアを作成し、当該ペアにおけるデータの特徴量から計算される類似度スコアに基づく類似度分布間の距離を前記グループ間で小さくする方向に、前記類似度分布を補正し、
　前記モデルを学習させるときに、前記モデルに、補正された前記類似度分布を反映した学習を行わせる
　学習方法。
（付記７）コンピュータが、
　学習データから抽出された特徴量を用いる第１の損失関数と、前記類似度分布を用いる第２の損失関数とを使用して、前記モデルを学習させる
　付記６の学習方法。
（付記８）コンピュータが、前記第１の損失関数として、マージン付き角度距離学習に基づく損失関数を使用する
　付記７の学習方法。
（付記９）コンピュータが、前記第２の損失関数として、ＫＬダイバージェンスに基づく損失関数を使用する
　付記８の学習方法。
（付記１０）コンピュータが、畳み込みニューラルネットワークによって前記学習データから特徴量を抽出する特徴量抽出手段を備える
　付記６から付記９のうちのいずれかの学習方法。
（付記１１）付記１から付記５のうちのいずれかの学習装置によって学習された前記モデルによって、データのペアにおけるデータの特徴量を抽出する抽出手段を備える
　推定装置。
（付記１２）データのペアは、画像ペアであり、
　前記抽出手段によって抽出された前記画像ペアの特徴量の類似度スコアを計算し、該類似度スコアを使用して、画像ペアにおける顔画像が同一人であるのか他人であるのかを判定する推定手段を備える
　付記１１の推定装置。
（付記１３）特徴量抽出を行うモデルを学習する学習プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
　前記学習プログラムは、コンピュータに、
　学習データから抽出された特徴量を入力として前記モデルを学習させ、
　属性またはドメインごとで分けられるグループ内で複数のデータのペアを作成し、当該ペアにおけるデータの特徴量から計算される類似度スコアに基づく類似度分布間の距離を前記グループ間で小さくする方向に、前記類似度分布を補正し、
　前記モデルを学習させるときに、前記モデルに、補正された前記類似度分布を反映した学習を行わせる
　記録媒体。
（付記１４）前記学習プログラムは、コンピュータに、
　学習データから抽出された特徴量を用いる第１の損失関数と、前記類似度分布を用いる第２の損失関数とを使用して、前記モデルを学習させる
　付記１３の記録媒体。
（付記１５）特徴量抽出を行うモデルを学習する学習プログラムであって、
　コンピュータに、
　学習データから抽出された特徴量を入力として前記モデルを学習させ、
　属性またはドメインごとで分けられるグループ内で複数のデータのペアを作成し、当該ペアにおけるデータの特徴量から計算される類似度スコアに基づく類似度分布間の距離を前記グループ間で小さくする方向に、前記類似度分布を補正し、
　前記モデルを学習させるときに、前記モデルに、補正された前記類似度分布を反映した学習を行わせる
　ための学習プログラム。
（付記１６）コンピュータに、
　学習データから抽出された特徴量を用いる第１の損失関数と、前記類似度分布を用いる第２の損失関数とを使用して、前記モデルを学習させる
　付記１５の学習プログラム。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記の実施形態および実施例に限定されない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　１０　　学習装置
　１１　　画像取得部
　１２　　特徴量抽出部
　１３　　学習部
　１４　　類似度補正部
　２０　　学習用ＤＢ
　３０　　推定装置
　３１　　画像取得部
　３２　　特徴量抽出部
　３３　　推定部
　５０　　学習装置
　５１　　学習部（学習手段）
　５２　　補正部（補正手段）
　６０　　推定装置
　６１　　抽出定部（抽出手段）
　１００　情報処理装置
　１０１　演算装置
　１０２　記憶装置
　１０３　メモリ
　１０４　通信装置
　１０５　入力装置
　１０６　出力装置
　３２１，６１１　モデル

Claims (11)

  1. 　特徴量抽出を行うモデルを学習する学習装置であって、
    　学習データから抽出された特徴量を入力として前記モデルを学習させる学習手段と、
    　属性またはドメインごとで分けられるグループ内で複数のデータのペアを作成し、当該ペアにおけるデータの特徴量から計算される類似度スコアに基づく類似度分布間の距離を前記グループ間で小さくする方向に、前記類似度分布を補正する補正手段とを備え、
    　前記学習手段は、前記モデルに、補正された前記類似度分布を反映した学習を行わせる
    　学習装置。
  2. 　前記学習手段は、学習データから抽出された特徴量を用いる第１の損失関数と、前記類似度分布を用いる第２の損失関数とを使用して、前記モデルを学習させる
    　請求項１に記載の学習装置。
  3. 　前記補正手段は、前記第１の損失関数として、マージン付き角度距離学習に基づく損失関数を使用する
    　請求項２に記載の学習装置。
  4. 　前記補正手段は、前記第２の損失関数として、ＫＬダイバージェンスに基づく損失関数を使用する
    　請求項３に記載の学習装置。
  5. 　畳み込みニューラルネットワークによって前記学習データから特徴量を抽出する特徴量抽出手段を備える
    　請求項１から請求項４のうちのいずれか１項に記載の学習装置。
  6. 　特徴量抽出を行うモデルを学習する学習方法であって、
    　コンピュータが、
    　学習データから抽出された特徴量を入力として前記モデルを学習させ、
    　属性またはドメインごとで分けられるグループ内で複数のデータのペアを作成し、当該ペアにおけるデータの特徴量から計算される類似度スコアに基づく類似度分布間の距離を前記グループ間で小さくする方向に、前記類似度分布を補正し、
    　前記モデルを学習させるときに、前記モデルに、補正された前記類似度分布を反映した学習を行わせる
    　学習方法。
  7. 　コンピュータが、
    　学習データから抽出された特徴量を用いる第１の損失関数と、前記類似度分布を用いる第２の損失関数とを使用して、前記モデルを学習させる
    　請求項６に記載の学習方法。
  8. 　請求項１から請求項４のうちのいずれか１項に記載の学習装置によって学習された前記モデルによって、データのペアにおけるデータの特徴量を抽出する抽出手段を備える
    　推定装置。
  9. 　データのペアは、画像ペアであり、
    　前記抽出手段によって抽出された前記画像ペアの特徴量の類似度スコアを計算し、該類似度スコアを使用して、画像ペアにおける顔画像が同一人であるのか他人であるのかを判定する推定手段を備える
    　請求項８に記載の推定装置。
  10. 　特徴量抽出を行うモデルを学習する学習プログラムが記録されたコンピュータ読み取り可能な記録媒体であって、
    　前記学習プログラムは、コンピュータに、
    　学習データから抽出された特徴量を入力として前記モデルを学習させ、
    　属性またはドメインごとで分けられるグループ内で複数のデータのペアを作成し、当該ペアにおけるデータの特徴量から計算される類似度スコアに基づく類似度分布間の距離を前記グループ間で小さくする方向に、前記類似度分布を補正し、
    　前記モデルを学習させるときに、前記モデルに、補正された前記類似度分布を反映した学習を行わせる
    　記録媒体。
  11. 　前記学習プログラムは、コンピュータに、
    　学習データから抽出された特徴量を用いる第１の損失関数と、前記類似度分布を用いる第２の損失関数とを使用して、前記モデルを学習させる
    　請求項１０に記載の記録媒体。
PCT/JP2023/024780 2023-07-04 2023-07-04 学習装置および学習方法ならびに推定装置 Ceased WO2025009062A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2023/024780 WO2025009062A1 (ja) 2023-07-04 2023-07-04 学習装置および学習方法ならびに推定装置
JP2025530857A JPWO2025009062A1 (ja) 2023-07-04 2023-07-04

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/024780 WO2025009062A1 (ja) 2023-07-04 2023-07-04 学習装置および学習方法ならびに推定装置

Publications (1)

Publication Number Publication Date
WO2025009062A1 true WO2025009062A1 (ja) 2025-01-09

Family

ID=94171291

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/024780 Ceased WO2025009062A1 (ja) 2023-07-04 2023-07-04 学習装置および学習方法ならびに推定装置

Country Status (2)

Country Link
JP (1) JPWO2025009062A1 (ja)
WO (1) WO2025009062A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020504891A (ja) * 2016-12-27 2020-02-13 オブシェストヴォ ス オグラニチェンノイ オトヴェトストヴェンノスチュ“ヴィズンラブズ” ペア類似度の分布に基づく深層ニューラル・ネットワークの訓練
WO2021161823A1 (ja) * 2020-02-14 2021-08-19 住友電気工業株式会社 判定装置、復元モデル生成方法、及びコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020504891A (ja) * 2016-12-27 2020-02-13 オブシェストヴォ ス オグラニチェンノイ オトヴェトストヴェンノスチュ“ヴィズンラブズ” ペア類似度の分布に基づく深層ニューラル・ネットワークの訓練
WO2021161823A1 (ja) * 2020-02-14 2021-08-19 住友電気工業株式会社 判定装置、復元モデル生成方法、及びコンピュータプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YUYA SATO, JUN TSUCHIYA, JUN NARITA, MASAKATSU NISHIGAKI, TETSUSHI OHKI: "Research on Potential Factors Affecting Racial Bias in Face Recognition", PREPRINTS OF 2022 SYMPOSIUM ON CRYPTOGRAPHY AND INFORMATION SECURITY; JANUARY 18-21, 2022, THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, JP, 1 January 2022 (2022-01-01) - 21 January 2022 (2022-01-21), JP, pages 1 - 8, XP009561180 *

Also Published As

Publication number Publication date
JPWO2025009062A1 (ja) 2025-01-09

Similar Documents

Publication Publication Date Title
US8219571B2 (en) Object verification apparatus and method
Mirjalili et al. Soft biometric privacy: Retaining biometric utility of face images while perturbing gender
Rattani et al. A survey of mobile face biometrics
CN108960080B (zh) 基于主动防御图像对抗攻击的人脸识别方法
US20100172584A1 (en) Method Of Classifying Red-Eye Objects Using Feature Extraction And Classifiers
CN109902667A (zh) 基于光流引导特征块和卷积gru的人脸活体检测方法
CN106339719A (zh) 一种图像识别方法及装置
Conti et al. Mitigating gender bias in face recognition using the von mises-fisher mixture model
WO2021143478A1 (zh) 识别对抗样本以保护模型安全的方法及装置
CN110717401A (zh) 年龄估计方法及装置、设备、存储介质
US20250166837A1 (en) Wound assessment and classification
CN113327212A (zh) 人脸驱动、模型的训练方法、装置、电子设备及存储介质
Kessler et al. Towards minimizing efforts for morphing attacks—deep embeddings for morphing pair selection and improved morphing attack detection
Alonso-Fernandez et al. An explainable model-agnostic algorithm for cnn-based biometrics verification
CN116959124A (zh) 活体检测模型训练方法、活体检测方法和装置
Gaston et al. Matching larger image areas for unconstrained face identification
Vishi et al. A new approach for multi-biometric fusion based on subjective logic
Siripibal et al. A comparative study of object recognition techniques: Softmax, linear and quadratic discriminant analysis based on convolutional neural network feature extraction
Albiero et al. Face regions impact recognition accuracy differently across demographics
US20240144646A1 (en) Learning apparatus, inference apparatus, inference system, learning method, inference method, and non-transitory computer-readable storage medium
Hsiao et al. Two-stage deep learning technology based iris recognition methodology for biometric authorization
Pacheco et al. Robust face recognition under adversarial attack using SARGAN model and improved cross triple MobileNetV1
US20260057053A1 (en) Information processing device, authentication method, and storage medium
US12450942B2 (en) System and method for performing face recognition
CN115035572A (zh) 人脸识别方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23944314

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2025530857

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2025530857

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE