KR20200088699A - Low-bias classification apparatus and method therof - Google Patents

Low-bias classification apparatus and method therof Download PDF

Info

Publication number
KR20200088699A
KR20200088699A KR1020190005334A KR20190005334A KR20200088699A KR 20200088699 A KR20200088699 A KR 20200088699A KR 1020190005334 A KR1020190005334 A KR 1020190005334A KR 20190005334 A KR20190005334 A KR 20190005334A KR 20200088699 A KR20200088699 A KR 20200088699A
Authority
KR
South Korea
Prior art keywords
data
error
classification
transferred
unit
Prior art date
Application number
KR1020190005334A
Other languages
Korean (ko)
Other versions
KR102198461B1 (en
Inventor
조성배
김진영
주셰인
조유성
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020190005334A priority Critical patent/KR102198461B1/en
Priority to PCT/KR2019/002698 priority patent/WO2020149450A1/en
Publication of KR20200088699A publication Critical patent/KR20200088699A/en
Application granted granted Critical
Publication of KR102198461B1 publication Critical patent/KR102198461B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

Provided are a classification device and a classification method thereof. The classification device comprises: a data compression part that extracts feature values from input data including attribute values for a plurality of attributes according to a previously trained pattern recognition method and transfers the same to a latent space of a predetermined dimension; and a classification part that classifies the feature values transferred to the latent space according to the previously trained pattern recognition method separately from the data compression part, and restores data classified from the classified feature values, wherein the data compression part is trained, during training, by backpropagating a transfer error which is an error between data restored from the feature values transferred to the latent space and input data, and a biased error measured by analyzing the statistical characteristics of a latent variable corresponding to the predetermined attributes in the feature values transferred to the latent space.

Description

편향성이 감소된 분류장치 및 방법{LOW-BIAS CLASSIFICATION APPARATUS AND METHOD THEROF}LOW-BIAS CLASSIFICATION APPARATUS AND METHOD THEROF}

본 발명은 분류장치 및 방법에 관한 것으로, 편향성이 감소된 분류장치 및 방법에 관한 것이다.The present invention relates to a classification device and method, and to a classification device and method with reduced bias.

딥러닝(Deep learning) 기반 분류장치는 인공신경망(Artificial Neural Network)을 사용하여 입력된 데이터가 가진 속성을 판단 및 출력하는 장치를 뜻하며, 광범위한 분야에서 범용적으로 응용되고 있다.Deep learning-based classification device refers to a device that judges and outputs the properties of input data using an artificial neural network, and is widely used in a wide range of fields.

딥러닝 기반 분류장치는 다양한 방면에서 연구되고 있으나, 주로 분류의 정확도를 높이는 데에 편중되어 있어, 분류 과정을 규명하고 제어하는 연구가 미흡한 실정이다.Deep learning-based classification devices have been studied in various ways, but they are mainly focused on improving the accuracy of classification, so there is insufficient research to identify and control the classification process.

이로 인해 딥러닝 기반 분류장치는 인공신경망의 구성과 학습 방법에 따라 높은 분류 정확도를 나타낼 수 있는 반면, 분류 과정에서 입력 데이터에서 사용자가 의도하지 않은 특정 정보에 과도하게 의존하는 편향성(bias)이 발생할 가능성이 있다.Due to this, the deep learning-based classification device may exhibit high classification accuracy according to the configuration and learning method of the artificial neural network, while in the classification process, biases that excessively depend on specific information not intended by the user in the input data may occur. There is a possibility.

분류장치의 편향성 문제는 사용자의 요구에 적합한 분류를 수행하지 못하는 실용적인 문제를 발생시킬 수 있을 뿐만 아니라, 사회적, 경제적으로 민감한 속성을 판단할 때 인종, 성별 정보 등에 의존하여 윤리적인 문제로 이어질 수 있다는 문제가 있다.The biasing problem of the classification device can not only create a practical problem that does not perform classification appropriate to the user's needs, but also can lead to ethical problems depending on race, gender information, etc. when determining socially and economically sensitive attributes. there is a problem.

만일 딥러닝 기반 분류장치가 직원 채용 추천, 채무 이행 예측 또는 범죄 재발 예측과 같은 사회적, 경제적으로 민감한 속성을 판별하는 경우에, 기존에 주어진 학습 데이터를 기반으로 학습된 분류장치는 입력 데이터 중 가능한 공정성을 유지해야 하는 연령, 인종, 성별, 수입 등과 같이 윤리적으로 민감한 개인의 신상정보에 편향되어 판단하게 될 수 있다.If the deep learning-based classifier determines social and economically sensitive attributes, such as recommendations for hiring employees, predicting debt fulfillment, or predicting recurrence of crime, the classifier learned based on previously given learning data is a possible fairness among input data. It can be judged to be biased toward personal information of ethically sensitive individuals such as age, race, gender, income, etc.

일예로 딥러닝 기반 분류장치가 직원 채용 추천에 이용되어 입력 데이터를 추천 또는 비추천으로 분류하는 경우에, 추천으로 분류된 입력 데이터 중 남성에 대한 입력 데이터가 90% 이상이 되도록 과도하게 편향되어 분류할 수도 있다.As an example, when a deep learning-based classification device is used for recommending or hiring employees to classify input data as recommendation or non-recommendation, among input data classified as recommendation, input data for men is over-biased and classified to be 90% or more. It might be.

이는 분류 장치의 분류 결과를 기반으로 업무를 추진하고자 하는 사용자에게 의도하지 않은 인종 차별 및 성차별과 같은 사회적, 윤리적 이슈를 발생시킬 수 있다는 문제가 있다.This has a problem in that it is possible to generate social and ethical issues such as unintended racial discrimination and gender discrimination to users who want to promote work based on the classification result of the classification device.

한국 등록 특허 제10-1855168호 (2018.04.30 등록)Korean Registered Patent No. 10-1855168 (Registration on April 30, 2018)

본 발명의 목적은 분류 과정에서 입력 데이터의 특정 속성에 관한 편향성을 저감하여 분류를 수행할 수 있는 분류 장치 및 방법을 제공하는데 있다.An object of the present invention is to provide a classification apparatus and method capable of performing classification by reducing bias for specific attributes of input data in a classification process.

본 발명의 다른 목적은 인종, 성별 정보와 같이 윤리적으로 민감한 속성에 대한 편향성을 저감할 수 있는 분류 장치 및 방법을 제공하는데 있다.Another object of the present invention is to provide a classification device and method capable of reducing bias for ethically sensitive attributes such as race and gender information.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 분류장치는 미리 학습된 패턴 인식 방식에 따라 다수의 속성에 대한 속성값이 포함된 입력 데이터에서 특징값을 추출하여 기지정된 차원의 잠재 공간에 전사하는 데이터 압축부; 및 상기 데이터 압축부와 별도로 미리 학습된 패턴 인식 방식에 따라 잠재 공간에 전사된 특징값을 분류하고, 분류된 특징값으로부터 분류된 데이터를 복원하는 분류부; 를 포함하고, 상기 데이터 압축부는 학습 시에 상기 잠재 공간에 전사된 특징값에서 복원되는 데이터와 상기 입력 데이터 사이의 오차인 전사 오차 및 상기 잠재 공간에 전사된 특징값에서 기지정된 속성에 대응하는 잠재 변수의 통계적 특성을 분석하여 측정된 편향성 오차가 역전파되어 학습된다.In order to achieve the above object, the classification apparatus according to an embodiment of the present invention extracts feature values from input data including attribute values for a plurality of attributes according to a pre-trained pattern recognition method, and stores them in a potential space of a predetermined dimension. A data compression unit to transfer; And a classification unit that classifies the feature values transferred to the potential space according to a pattern recognition method previously learned separately from the data compression unit, and restores the classified data from the classified feature values. The data compression unit includes a transfer error, which is an error between data restored from the feature value transferred to the potential space and the input data during learning, and a potential corresponding to a property determined from the feature value transferred to the potential space. The bias error measured by analyzing the statistical characteristics of the variables is learned by back propagating.

상기 분류 장치는 상기 데이터 압축부의 학습 시에 상기 전사 오차 및 상기 편향성 오차를 획득하기 위해 부가되는 편향 학습부; 를 더 포함하고, 상기 편향 학습부는 상기 입력 데이터(x)에서 잠재 공간에 전사된 특징값(f(x))으로부터 복원 데이터(g(f(x)))를 복원하여, 상기 입력 데이터(x)와 상기 복원 데이터(g(f(x))) 사이의 오차를 크로스엔트로피로 계산하여 상기 전사 오차를 획득하고, 잠재 공간에 전사된 특징값에서 기지정된 속성에 대응하는 잠재 변수의 평균 및 분산을 기지정된 정규 확률 분포의 평균 및 분산과 비교하여 상기 편향성 오차를 측정할 수 있다.The classification apparatus includes a bias learning unit added to acquire the transcription error and the bias error when learning the data compression unit; Further comprising, the bias learning unit restores the restored data (g(f(x))) from the feature value (f(x)) transferred to the potential space from the input data (x), the input data (x ) And the reconstructed data (g(f(x))) are computed as cross-entropy to obtain the transcription error, and the average and variance of the latent variable corresponding to the attribute determined from the characteristic value transferred to the potential space. Can be compared to the mean and variance of a given normal probability distribution to measure the bias error.

상기 편향 학습부는 수학식 The bias learning unit equation

Figure pat00001
Figure pat00001

(여기서 crossentropy(x, g(f(x)))는 전사 오차를 계산하는 크로스엔트로피 함수를 나타내고,

Figure pat00002
은 각각 평균(
Figure pat00003
, 0)과 분산(
Figure pat00004
, I)을 갖는 2개의 정규 분포(
Figure pat00005
,
Figure pat00006
) 형태로 잠재 공간에 전사된 특징값의 지정된 속성에 대한 잠재 변수와 정규 확률 분포를 갖는 기지정된 기준 잠재 변수 사이의 정보량 차이인 편향성 오차를 계산하는 KL 다이버전스(Kullback-Leibler divergence)를 나타낸다.) 에 따른 손실 함수(L1)의 계산 결과가 기지정된 제1 기준 손실값 이하가 되도록 상기 데이터 압축부를 학습시킬 수 있다.(Where crossentropy(x, g(f(x))) represents the cross-entropy function for calculating the transcription error,
Figure pat00002
Mean each (
Figure pat00003
, 0) and variance (
Figure pat00004
, I) with two normal distributions (
Figure pat00005
,
Figure pat00006
) Represents the KL divergence that calculates the bias error, which is the difference in the amount of information between the latent variable for a specified attribute of a feature value transferred to the latent space and a known reference latent variable with a normal probability distribution.) The data compression unit may be trained such that the calculation result of the loss function L 1 according to is equal to or less than a predetermined first reference loss value.

상기 분류부는 상기 데이터 압축부에 의해 잠재 공간에 전사된 특징값(f(x))에 대해 분류 복원한 결과(h(f(x))와 기지정된 분류값(y) 사이의 오차에 대한 손실 함수(L2)가 수학식 The classification unit loses the error between the result (h(f(x)) and the specified classification value y) of the classification and restoration of the feature value f(x) transferred to the potential space by the data compression unit. Function (L 2 ) is an equation

Figure pat00007
Figure pat00007

의 크로스엔트로피 함수로 계산되고, 손실 함수(L2)의 계산 결과가 기지정된 제2 기준 손실값 이하가 되도록 반복 학습될 수 있다.It is calculated as a cross-entropy function of, and can be repeatedly learned so that the calculation result of the loss function L 2 is equal to or less than a predetermined second reference loss value.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 분류방법은 미리 학습된 패턴 인식 방식에 따라 다수의 속성에 대한 속성값이 포함된 입력 데이터에서 특징값을 추출하여 기지정된 차원의 잠재 공간에 전사하는 단계; 및 미리 학습된 패턴 인식 방식에 따라 잠재 공간에 전사된 특징값을 분류하고, 분류된 특징값으로부터 분류된 데이터를 복원하는 단계; 를 포함하고, 상기 전사하는 단계는 이전, 학습 단계에서 상기 잠재 공간에 전사된 특징값에서 복원되는 데이터와 상기 입력 데이터 사이의 오차인 전사 오차 및 상기 잠재 공간에 전사된 특징값에서 기지정된 속성에 대응하는 잠재 변수의 통계적 특성을 분석하여 측정된 편향성 오차가 역전파되어 미리 학습된다.In order to achieve the above object, the classification method according to another embodiment of the present invention extracts feature values from input data including attribute values for a plurality of attributes according to a pre-trained pattern recognition method, and extracts a feature value into a potential space of a predetermined dimension. Transferring; And classifying the feature values transferred to the potential space according to the previously learned pattern recognition method, and restoring the classified data from the classified feature values. Including, the transfer step is a transfer error, which is an error between the data restored from the feature value transferred to the potential space in the previous and learning step, and the input data, and the attribute determined from the feature value transferred to the potential space. The bias error measured by analyzing the statistical characteristics of the corresponding potential variable is back propagated and learned in advance.

따라서, 본 발명의 실시예에 따른 분류장치 및 방법은 잠재 공간에 전사된 압축 데이터의 지정된 속성에 관한 편향을 측정하고, 편향이 저감되도록 조절하여 분류를 수행함으로써, 분류 장치의 편향 문제를 최소화할 수 있다.Therefore, the classification apparatus and method according to an embodiment of the present invention can minimize the deflection problem of the classification apparatus by measuring the deflection related to a specified attribute of the compressed data transferred to the potential space, and adjusting the deflection so that the deflection is reduced. Can.

도1 은 본 발명의 일 실시예에 따른 분류 장치의 개략적 구조를 나타낸다.
도2 는 본 실시예의 분류 장치가 편향성을 저감하는 개념을 나타낸다.
도3 은 도1 의 분류 장치를 학습시키는 개념을 나타낸다.
도4 는 본 발명의 일 실시예에 따른 분류 방법을 나타낸다.
도5 는 본 발명의 다른 실시예에 따른 분류 장치의 개략적 구조를 나타낸다.
도6 은 본 발명의 다른 실시예에 따른 분류 방법을 나타낸다.1 shows a schematic structure of a classification device according to an embodiment of the present invention.
Fig. 2 shows the concept that the classification device of this embodiment reduces the deflection.
3 shows a concept of learning the classification device of FIG. 1.
4 shows a classification method according to an embodiment of the present invention.
5 shows a schematic structure of a classification device according to another embodiment of the present invention.
6 shows a classification method according to another embodiment of the present invention.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the contents described in the accompanying drawings, which illustrate preferred embodiments of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by explaining preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention can be implemented in various different forms, and is not limited to the described embodiments. In addition, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Throughout the specification, when a part “includes” a certain component, this means that other components may be further included, rather than excluding other components, unless specifically stated to the contrary. In addition, terms such as "... unit", "... group", "module", and "block" described in the specification mean a unit that processes at least one function or operation, which is hardware or software or hardware. And software.

도1 은 본 발명의 일 실시예에 따른 분류 장치의 개략적 구조를 나타내고, 도2 는 본 실시예의 분류 장치가 편향성을 저감하는 개념을 나타낸다.1 shows a schematic structure of a classification device according to an embodiment of the present invention, and FIG. 2 shows a concept in which the classification device of this embodiment reduces bias.

도1 을 참조하면, 본 실시예에 따른 분류 장치는 데이터 입력부(110), 데이터 압축부(120), 편향 조절부(130) 및 분류부(140)를 포함한다.Referring to FIG. 1, the classification device according to the present embodiment includes a data input unit 110, a data compression unit 120, a deflection adjustment unit 130, and a classification unit 140.

데이터 입력부(110)는 분류가 수행되어야 하는 다수의 입력 데이터를 획득한다. 여기서 다수의 입력 데이터 각각은 다수의 속성에 따른 속성값을 포함한다. 일예로 분류 장치가 소득 수준에 대한 분류 장치인 경우, 각 입력 데이터에는 다수의 속성으로 나이, 학력, 성별, 인종, 결혼 유무 등이 지정될 수 있으며, 각 속성에 따른 속성값이 포함될 수 있다.The data input unit 110 acquires a plurality of input data to be classified. Here, each of the plurality of input data includes attribute values according to the plurality of attributes. For example, when the classification device is a classification device for an income level, age, education, gender, race, marital status, etc. may be designated as a plurality of properties in each input data, and property values according to each property may be included.

그리고 본 실시예에서는 입력 데이터에 포함된 다수의 속성 중 편향성을 갖지 않도록 보호된 속성으로 성별이 지정된 것으로 가정하여 설명한다. 그러나 다른 속성이 보호된 속성으로 지정될 수도 있으며, 사용자에 의해 미리 지정될 수 있다.Also, in the present embodiment, it will be described on the assumption that gender is designated as a protected attribute to prevent bias from among a plurality of attributes included in input data. However, other attributes may be designated as protected attributes, or may be specified in advance by the user.

데이터 압축부(120)는 미리 지정된 패턴 인식 방식으로 학습되어 데이터 입력부(110)에서 획득된 다수의 입력 데이터의 특징값을 잠재 공간(latent space)에 전사한다. 여기서 데이터 압축부(120)는 일예로 VAE(Variational Autoecoder)의 인코더로 구현될 수 있으며, 속성의 수에 따라 다차원으로 표현될 수 있는 입력 데이터에서 속성의 수보다 적은 기지정된 저차원의 잠재 공간에 표현할 수 있도록 특징값으로 추출하여 재구축(Reconstruction)한다.The data compression unit 120 transfers feature values of a plurality of input data acquired by the data input unit 110 by learning in a predetermined pattern recognition method to a latent space. Here, the data compression unit 120 may be implemented as an encoder of VAE (Variational Autoecoder), for example, in a predetermined low-dimensional potential space less than the number of attributes in input data that can be expressed in multiple dimensions according to the number of attributes. Reconstruction by extracting as a feature value for expression.

이때, 데이터 압축부(120)는 보호된 속성에 무관하게 특징값을 전사하며, VAE로 구현된 데이터 압축부(120)는 특징값이 잠재 공간 상에서 지정된 확률 분포를 갖는 잠재 변수(latent variable)로 표현되도록 전사할 수 있다.At this time, the data compression unit 120 transfers the feature value regardless of the protected attribute, and the data compression unit 120 implemented in VAE is a latent variable having a probability distribution in which the feature value is specified in the potential space. You can transcribe to express.

편향 조절부(130)는 데이터 압축부(120)에 의해 잠재 공간에 전사된 특징값에서 보호된 속성에 대응하는 잠재 변수(z)의 편향성을 분석하고, 분석된 편향성이 제거된 보정 데이터를 생성하고, 보정 데이터를 다시 잠재 공간에 전사한다.The deflection adjusting unit 130 analyzes the deflection of the latent variable z corresponding to the property protected from the feature value transferred to the potential space by the data compression unit 120, and generates correction data from which the analyzed deflection is removed Then, the correction data is transferred to the potential space again.

편향 조절부(130)는 편향 측정부(131), 데이터 재구성부(132) 및 데이터 재압축부(133)를 포함할 수 있다. 우선 편향 측정부(131)는 잠재 공간에 전사된 특징값에서 보호된 속성에 대한 잠재 변수(z)의 통계적 특성을 추출하고, 추출된 통계적 특성에 따라 잠재 변수(z)에 대한 편향성을 제거하기 위한 보상값을 획득한다. 잠재 변수(z)의 대한 편향성은 잠재 변수(z)의 평균값과 기지정된 기준 평균값(여기서는 일예로 0) 사이의 오차를 의미한다. 따라서 편향성을 제거하기 위한 보상값은 잠재 변수(z)의 평균값이 기준 평균값으로 보정되도록 오차를 제거하기 위한 값으로 획득될 수 있다.The bias adjustment unit 130 may include a bias measurement unit 131, a data reconstruction unit 132, and a data recompression unit 133. First, the deflection measurement unit 131 extracts the statistical characteristics of the latent variable z for the protected attribute from the feature values transferred to the latent space, and removes the biasedness of the latent variable z according to the extracted statistical characteristics Obtain a reward value for. The bias of the latent variable (z) means the error between the mean value of the latent variable (z) and a predetermined reference mean value (0 in this example). Therefore, the compensation value for removing the bias can be obtained as a value for removing the error so that the average value of the latent variable z is corrected to the reference average value.

일예로, 보호된 속성이 상기한 바와 같이 성별일 때, 본 실시예의 분류 장치는 도2 에 도시된 바와 같이, 여성 및 남성 각각 대해 잠재 공간에 전사된 잠재 변수(z)의 평균값이 0이 되도록 보상값을 획득한다.For example, when the protected attribute is gender as described above, the classification device of this embodiment is such that, as shown in FIG. 2, the average value of the latent variable z transferred to the latent space is equal to 0 for each of the female and the male. Obtain the reward value.

이때 편향 측정부(131)는 단순히 편향성에 대한 오차뿐만 아니라 잠재 변수(z)의 분산 오차 또한 함께 획득하여 보상값을 획득할 수 있다. 일예로 편향 측정부(131)는 잠재 변수(z)의 분산과 정규 분포의 분산 사이의 오차를 보상하기 위한 보상값을 함께 획득할 수 있다.At this time, the deflection measurement unit 131 may obtain a compensation value by acquiring not only an error for bias but also a variance error of the potential variable z. For example, the bias measurement unit 131 may obtain a compensation value for compensating for an error between the variance of the potential variable z and the variance of the normal distribution.

데이터 재구성부(132)는 편향 측정부(131)에서 획득한 보상값 따라 잠재 공간에 전사된 특징값에서 편향성이 제거된 보정 데이터를 획득한다. 데이터 재구성부(132)는 미리 학습된 패턴 인식 방식에 따라 학습되어 잠재 공간에 전사된 특징값을 다시 입력 데이터와 동일한 속성을 갖는 보정 데이터로 획득하며, 이때, 편향 측정부(131)에서 획득한 보상값이 반영된 데이터를 획득한다.The data reconstruction unit 132 acquires correction data in which the bias is removed from the feature values transferred to the potential space according to the compensation value obtained by the bias measurement unit 131. The data reconfiguration unit 132 acquires feature values transferred to the latent space, which have been learned according to the previously-recognized pattern recognition method, as correction data having the same properties as the input data, and obtained by the deflection measurement unit 131 Acquire data reflecting the compensation value.

데이터 압축부(120)가 VAE의 인코더로 구현된 경우, 데이터 재구성부(132)는 VAE의 디코더로 구현될 수 있다.When the data compression unit 120 is implemented as an encoder of the VAE, the data reconstruction unit 132 may be implemented as a decoder of the VAE.

데이터 재압축부(133)는 데이터 압축부(120)를 모의한 구성으로, 데이터 압축부(120)와 동일하게 학습된다. 이에 데이터 재압축부(133)는 데이터 압축부(120)와 유사하게 데이터 재구성부(132)에서 획득한 보정 데이터의 특징값을 잠재 공간에 전사한다. 이때 데이터 재구성부(132)에서 획득한 보정 데이터는 상기한 바와 같이 편향 측정부(131)에서 획득된 편향에 의한 보상값이 반영되어 편향성이 저감된 데이터이다. 따라서 데이터 재압축부(133)에서 잠재 공간에 전사한 특징값은 편향성이 저감된 상태이다.The data recompression unit 133 is a configuration simulating the data compression unit 120, and is learned in the same manner as the data compression unit 120. Accordingly, the data recompression unit 133 transfers the feature values of the correction data obtained by the data reconstruction unit 132 to the potential space similarly to the data compression unit 120. At this time, the correction data obtained by the data reconstruction unit 132 is data in which the bias value is reduced by reflecting the compensation value due to the bias obtained by the bias measurement unit 131 as described above. Therefore, the characteristic value transferred to the potential space by the data recompression unit 133 is in a state where the deflection is reduced.

즉 데이터 재압축부(133)는 데이터 압축부(120)와 유사하게 특징값을 잠재 공간에 전사하기 위한 구성이지만, 데이터 압축부(120)와 달리 보호된 속성에 대한 편향성이 최소화 되도록 조절된 데이터를 잠재 공간에 전사한다.That is, the data recompression unit 133 is configured to transfer the feature value to the potential space similarly to the data compression unit 120, but unlike the data compression unit 120, the data adjusted to minimize bias for protected properties To the potential space.

분류부(140)는 데이터 재압축부(133)에 의해 잠재 공간에 전사된 특징값을 미리 학습된 패턴 인식 방식에 따라 분류한다. 분류부(140)는 데이터 재구성부(132)와 유사하게 특징값으로부터 다수의 속성을 갖는 데이터를 획득하되, 데이터를 분류하여 획득한다.The classification unit 140 classifies the feature values transferred to the potential space by the data recompression unit 133 according to a pattern recognition method previously learned. The classification unit 140 acquires data having a plurality of attributes from the feature values, similar to the data reconstruction unit 132, but classifies and acquires the data.

상기한 직원 채용 추천 예에서 분류부(140)는 특징값에서 입력 데이터에 포함된 나이, 학력, 성별, 인종, 결혼 유무 등의 속성값을 복원하되, 특징값에 따라 추천 및 비추천으로 분류하여 획득할 수 있다.In the above-mentioned employee hiring recommendation example, the classification unit 140 restores attribute values, such as age, education, gender, race, marital status, etc., included in the input data from the feature values. can do.

그리고 편향 조절부(130)는 분류된 추천 및 비추천으로 분류된 데이터에서 보호된 속성이 균등하도록 조절하는 기능을 수행한다. 즉 추천으로 분류된 데이터에서 보호된 속성인 남성 데이터의 수와 여성 데이터의 수 및 분포가 균등하도록 조절하는 기능을 수행한다.In addition, the deflection adjusting unit 130 performs a function of adjusting the protected attributes to be equal in the data classified as classified recommendation and non-recommendation. That is, it performs the function of adjusting the number and distribution of male data and the number of female data, which are protected attributes, in the data classified as recommendations.

결과적으로 도1 에 도시된 분류 장치는 편향 조절부(130)가 편향 측정부(131), 데이터 재구성부(132) 및 데이터 재압축부(133)를 포함하여, 잠재 공간에 전사된 특징값에서 보호된 속성의 편향성을 측정하고, 측정된 편향성을 보상한 특징값에 대응하는 보정데이터를 획득하여 다시 잠재 공간에 전사하도록 함으로써, 편향성을 저감시킬 수 있다.As a result, the classification device illustrated in FIG. 1 includes a deflection adjustment unit 130 including a deflection measurement unit 131, a data reconstruction unit 132, and a data recompression unit 133, from the feature values transferred to the potential space. The deflection can be reduced by measuring the deflection of the protected attribute and obtaining correction data corresponding to the characteristic value that compensated for the measured deflection, and transferring it to the potential space again.

그러나 도1 의 분류 장치가 요구되는 성능을 나타내기 위해서는 데이터 압축부(120)와 데이터 재압축부(133), 데이터 재구성부(132) 및 분류부(140)가 미리 학습되어야 한다. 여기서 데이터 재압축부(133)는 데이터 압축부(120)와 동일하게 학습되어야 하므로, 학습된 데이터 압축부(120)가 동일하게 이용될 수 있다.However, the data compression unit 120, the data recompression unit 133, the data reconstruction unit 132, and the classification unit 140 must be learned in advance in order to show the required performance of the classification device of FIG. Here, since the data recompression unit 133 must be learned in the same way as the data compression unit 120, the learned data compression unit 120 may be used in the same way.

도3 은 도1 의 분류 장치를 학습시키는 개념을 나타낸다.3 shows a concept of learning the classification device of FIG. 1.

도3 에서 (a)는 VAE 또는 오토인코더(Autoencoder)의 일반적 구성으로, VAE 및 오토인코더는 입력값(x)의 특징값(f(x))을 추출하여 잠재 공간에 전사하는 인코더(Encoder)와 잠재 공간에 전사된 특징값(f(x))으로부터 입력값(x)을 복원(g(f(x)))하기 위한 디코더(Decoder)를 포함할 수 있다.In FIG. 3, (a) is a general configuration of a VAE or an autoencoder, and the VAE and the autoencoder extract an feature value (f(x)) of an input value (x) and transfer it to a potential space (Encoder). And a decoder for restoring (g(f(x))) the input value x from the feature value f(x) transferred to the potential space.

인코더(Encoder)는 도1 의 데이터 압축부(120) 및 데이터 재압축부(133)에 대응하는 구성이며, 디코더(Decoder)는 도1 의 데이터 재구성부(132)에 대응하는 구성으로 볼 수 있다.The encoder (Encoder) is a configuration corresponding to the data compression unit 120 and the data recompression unit 133 of Figure 1, the decoder (Decoder) can be seen as a configuration corresponding to the data reconstruction unit 132 of FIG. .

VAE 및 오토인코더가 우수한 성능을 나타내기 위해서는 인코더(Encoder)의 입력값(x)과 디코더(Decoder)의 출력값(g(f(x)))의 오차, 즉 전사 오차의 수준을 손실 함수(loss function)(L1)가 최소가 되도록 수학식 1에 따라 비지도 방식으로 미리 학습될 수 있다.In order for the VAE and autoencoder to show excellent performance, the level of the error of the input error (x) of the encoder (Encoder) and the output value (g(f(x))) of the decoder (Decoder), that is, the level of the transfer error is a loss function (loss function)(L 1 ) may be previously learned in an unsupervised manner according to Equation 1 so as to be the minimum.

Figure pat00008
Figure pat00008

여기서 crossentropy(x, g(f(x)))는 VAE의 인코더와 디코더에 의한 재구축 오차를 계산하는 크로스엔트로피 함수를 나타낸다.Here, crossentropy(x, g(f(x))) represents a cross-entropy function that calculates a reconstruction error by the encoder and decoder of VAE.

한편, (b)는 분류부(140)를 학습시키기 위한 구성을 나타낸다.On the other hand, (b) shows a configuration for learning the classification unit 140.

(b)에서 인코더(Encoder)는 (a)와 동일한 인코더로서 데이터 재압축부(133)이며, 미리 학습된 상태이다. 그리고 분류기(classifier)는 분류부(140)에 대응하는 구성으로 잠재 공간에 전사된 잠재 변수(z)의 특징값에 따라 0또는 1의 이진 분류값(y)으로 분류되어 복원된 데이터를 출력하는 것으로 가정한다. 상기한 직원 채용 추천의 예에서 1이 추천이고, 0이 비추천일 수 있다.In (b), the encoder (Encoder) is the same encoder as (a), and is a data recompression unit 133, and is a previously learned state. In addition, the classifier is a configuration corresponding to the classification unit 140, and outputs the restored data classified as a binary classification value y of 0 or 1 according to the characteristic value of the potential variable z transferred to the potential space. Is assumed. In the above-mentioned example of the staff recruitment recommendation, 1 may be recommended and 0 may be deprecated.

인코더(Encoder)가 미리 학습된 상태이므로, 분류부(140)는 수학식 2와 같이 구성된 손실 함수(L2)가 최소가 되도록 학습될 수 있다.Since the encoder is already learned, the classification unit 140 may be trained such that the loss function L 2 configured as Equation 2 is the minimum.

Figure pat00009
Figure pat00009

이때, 분류부(140)는 학습 데이터를 이용하여 지도 학습 방식으로 학습될 수 있다.At this time, the classification unit 140 may be learned in a supervised learning method using learning data.

도4 는 본 발명의 일 실시예에 따른 분류 방법을 나타낸다.4 shows a classification method according to an embodiment of the present invention.

도1 을 참조하여 도4 의 분류 방법을 설명하면, 우선 분류를 수행할 입력 데이터를 획득한다(S11). 이때, 입력 데이터의 다수의 속성 중 보호될 속성이 함께 지정될 수 있다. 그리고 입력 데이터의 다수의 속성값에 따른 특징값을 추출하여 잠재 공간에 기지정된 확률 분포를 갖는 잠재 변수 형태로 전사한다(S12).When the classification method of FIG. 4 is described with reference to FIG. 1, first, input data to be classified are obtained (S11). At this time, an attribute to be protected may be designated together among a plurality of attributes of input data. Then, feature values according to a plurality of attribute values of the input data are extracted and transferred in the form of a latent variable having a probability distribution determined in a potential space (S12).

입력 데이터에 대한 특징값이 잠재 공간에 전사되면, 잠재 공간에 전사된 특징값에서 보호된 속성에 대응하는 잠재 변수(z)의 통계적 특성을 추출하고, 추출된 통계적 특성에 따라 보호된 속성에 대한 편향성을 측정한다(S13). 그리고 잠재 공간에 전사된 특징값을 다시 입력 데이터에 대응하는 속성을 갖는 데이터로 획득하며, 이때, 측정된 편향성을 보상하기 위한 오차가 반영된 보정 데이터를 획득한다(S14).When the feature value for the input data is transferred to the potential space, the statistical characteristic of the latent variable (z) corresponding to the protected attribute is extracted from the feature value transferred to the potential space, and for the protected attribute according to the extracted statistical characteristic Deflection is measured (S13). Then, the feature value transferred to the potential space is obtained again as data having properties corresponding to the input data, and at this time, correction data reflecting an error for compensating the measured bias is acquired (S14).

보정 데이터가 획득되면, 획득된 보정 데이터에서 특징값을 추출하여 다시 잠재 공간에 전사한다(S15). 즉 편향성이 보상된 보정 데이터에서 특징값을 추출하여 잠재 공간에 전사한다. 이후, 잠재 공간에 전사된 특징값을 분류하여 분류된 데이터를 획득한다(S16).When the correction data is obtained, feature values are extracted from the obtained correction data and transferred to the potential space again (S15). That is, the feature values are extracted from the correction data compensated for the bias and transferred to the potential space. Thereafter, the feature values transferred to the potential space are classified to obtain classified data (S16).

도5 는 본 발명의 다른 실시예에 따른 분류 장치의 개략적 구조를 나타낸다.5 shows a schematic structure of a classification device according to another embodiment of the present invention.

도1 의 분류 장치를 다시 참조하면, 도1 의 분류 장치에서는 편향 조절부(130)의 편향 측정부(131)가 잠재 공간에 전사된 특징값에서 보호된 속성에 대응하는 잠재 변수(z)의 통계적 특성을 추출하고, 추출된 통계적 특성에 따라 보호된 속성에 대한 편향성을 통계적 특성에 따라 측정하며, 데이터 재구성부(132)가 측정된 편향성에 따라 잠재 공간에 전사된 특징값으로부터 보정 데이터를 획득한 후, 데이터 재압축부(133) 다시 잠재 공간에 보상 데이터에 대한 특징값을 전사한다.Referring back to the classification device of FIG. 1, in the classification device of FIG. 1, the deflection measurement unit 131 of the deflection adjustment unit 130 is configured to determine the potential variable z corresponding to the property protected from the feature value transferred to the potential space. The statistical characteristics are extracted, and the bias for the protected property is measured according to the statistical characteristics according to the extracted statistical characteristics, and the data reconstruction unit 132 obtains correction data from the feature values transferred to the potential space according to the measured bias. Then, the data recompression unit 133 transfers the feature values for the compensation data to the potential space again.

그러나 데이터 재압축부(133)는 상기한 바와 같이 데이터 압축부(120)를 모의한 구성으로 데이터 압축부(120)와 동일하다. 그리고 데이터 압축부(120)는 인공 신경망으로 구현되어 미리 학습된 패턴 인식 방식에 따라 입력 데이터로부터 특징값을 추출하여 잠재 공간에 전사한다. 따라서 데이터 압축부(120)가 입력 데이터로부터 곧바로 편향성이 저감된 특징값을 전사하도록 미리 학습될 수 있다면, 편향 조절부(130)를 제거할 수 있다.However, the data recompression unit 133 is the same as the data compression unit 120 in a configuration that simulates the data compression unit 120 as described above. In addition, the data compression unit 120 is implemented as an artificial neural network, extracts feature values from input data according to a previously learned pattern recognition method, and transfers them to a potential space. Therefore, if the data compression unit 120 can be previously learned to transfer the feature value with reduced deflection directly from the input data, the deflection adjustment unit 130 can be removed.

이에 도5 의 분류 장치는 데이터 입력부(210), 데이터 압축부(220) 및 분류부(240)를 포함한다.Accordingly, the classification device of FIG. 5 includes a data input unit 210, a data compression unit 220, and a classification unit 240.

데이터 입력부(210)는 분류가 수행되어야 하는 다수의 입력 데이터를 획득한다. 그리고 데이터 압축부(220)는 미리 학습된 패턴 인식 방식에 따라 데이터 입력부(210)에서 획득된 다수의 입력 데이터의 특징값을 잠재 공간에 전사한다. 여기서 데이터 압축부(220)는 기지정된 보호되어야 하는 속성값의 편향성이 저감되도록 특징값을 잠재 공간에 전사할 수 있도록 미리 학습된다.The data input unit 210 acquires a plurality of input data to be classified. In addition, the data compression unit 220 transfers a feature value of a plurality of input data acquired by the data input unit 210 to a potential space according to a pattern recognition method previously learned. Here, the data compression unit 220 is learned in advance so that the characteristic value can be transferred to the potential space so that the bias of the predetermined property value to be protected is reduced.

그리고 분류부(240)는 잠재 공간에 전사된 특징값을 미리 학습된 패턴 인식 방식에 따라 분류하고, 분류된 특징값으로부터 다수의 속성을 갖는 데이터를 복원한다.In addition, the classification unit 240 classifies the feature values transferred to the potential space according to a pattern recognition method previously learned, and restores data having a plurality of attributes from the classified feature values.

다만 도5 의 분류 장치는 상기한 바와 같이, 데이터 압축부(220)가 입력 데이터로부터 보호된 속성값의 편향성을 저감하여 특징값을 잠재 공간에 전사할 수 있도록 미리 학습되어야 한다. 이에 데이터 압축부(220)를 학습시키기 위한 편향 학습부(230)가 학습 시에 부가되어 이용될 수 있다.However, as described above, the classification apparatus of FIG. 5 should be learned in advance so that the data compression unit 220 can reduce the bias of the attribute value protected from the input data and transfer the feature value to the potential space. Accordingly, a bias learning unit 230 for learning the data compression unit 220 may be added and used during learning.

편향 학습부(230)는 데이터 압축부(220)가 입력 데이터의 특징값을 잠재 공간에 복원 가능하도록 전사할 수 있도록 학습 시킴과 동시에, 잠재 공간에 전사되는 특징값의 보호된 속성에 대한 편향성이 저감된 형태로 전사되도록 학습시키기 위한 구성이다.The bias learning unit 230 trains the data compression unit 220 to transfer the feature values of the input data so that they can be restored to the potential space, and at the same time, the bias for the protected attribute of the feature values transferred to the potential space It is a structure for learning to be transferred in a reduced form.

편향 학습부(230)는 크로스엔트로피 측정부(231) 및 편향 측정부(232)를 포함할 수 있다.The bias learning unit 230 may include a cross entropy measurement unit 231 and a bias measurement unit 232.

크로스엔트로피 측정부(231)는 도2 의 (a)에 도시된 디코더(Decoder)로 구현될 수 있다. 크로스엔트로피 측정부(231)는 데이터 압축부(220)에 의해 입력 데이터(x)가 잠재 공간에 전사된 특징값(f(x))을 데이터(g(f(x))로 복원하고, 입력 데이터(x)와 복원된 데이터(g(f(x)) 사이의 오차를 전사 오차로서 계산한다.The cross-entropy measurement unit 231 may be implemented as a decoder shown in (a) of FIG. 2. The cross-entropy measurement unit 231 restores the feature value f(x) in which the input data x is transferred to the potential space by the data compression unit 220 as data g(f(x)), and inputs it. The error between the data x and the restored data g(f(x)) is calculated as a transcription error.

한편 편향 측정부(232)는 데이터 압축부(220)에 의해 잠재 공간에 전사된 특징값에서 보호된 속성에 대한 통계적 특성을 추출하고, 추출된 통계적 특성에 따라 보호된 속성에 대한 편향성을 나타내는 편향성 오차를 획득한다. 그리고 획득된 편향성 오차를 크로스엔트로피 측정부(231)에서 측정된 전사 오차와 함께 데이터 압축부(220)로 역전파한다.On the other hand, the deflection measurement unit 232 extracts statistical characteristics for the protected attribute from the feature values transferred to the potential space by the data compression unit 220, and deflection indicating deflection for the protected attributes according to the extracted statistical characteristics Acquire the error. Then, the obtained bias error is reverse propagated to the data compression unit 220 together with the transfer error measured by the cross-entropy measurement unit 231.

여기서 편향 측정부(232)는 도1 의 편향 측정부(131)와 유사하게 잠재 변수(z)의 평균값과 기준 평균값 사이의 오차를 측정하여 편향성 오차를 획득할 수 있다. 또한 편향 학습부(230)는 잠재 공간에 전사된 잠재 변수(z)의 분산과 정규 분포의 분산 사이의 분산 오차를 함께 측정하여 편향성 오차에 포함할 수 있다. 이는 데이터 압축부(220)가 입력 데이터로부터 특징값을 추출하여 잠재 공간에 전사할 때, 보호된 속성에 대해 가능한 균등한 분포로 특징값을 전사할 수 있도록 하기 위함이다.Here, similar to the deflection measurement unit 131 of FIG. 1, the deflection measurement unit 232 may measure an error between the average value of the latent variable z and the reference average value to obtain a bias error. In addition, the bias learning unit 230 may measure the variance error between the variance of the variance of the latent variable z transferred to the potential space and the variance of the normal distribution, and include it in the bias error. This is to enable the data compression unit 220 to transfer the feature values in a uniform distribution possible for the protected attribute when the feature values are extracted from the input data and transferred to the potential space.

일예로 편향성 측정부(232)는 잠재 변수(z)를 기지정된 정규 확률 분포와 비교하여 편향성 오차를 획득할 수 있다.For example, the bias measurement unit 232 may obtain a bias error by comparing the latent variable z with a known normal probability distribution.

그리고 편향 학습부(230)는 획득된 전사 오차와 편향성 오차를 데이터 압축부(220)로 역전파으로써, 데이터 압축부(220)가 입력 데이터로부터 특징값을 추출하여 잠재 공간에 전사할 때, 보호된 속성의 잠재 변수(z)의 평균값과 분산이 기지정된 기준 평균값 및 분산을 갖도록 학습시킬 수 있다.In addition, the deflection learning unit 230 back-propagates the obtained transcription error and deflection error to the data compression unit 220, thereby protecting the data compression unit 220 from extracting the feature values from the input data and transferring them to the potential space. It can be learned that the mean value and variance of the latent variable (z) of the calculated attribute have a predetermined reference mean value and variance.

데이터 압축부(220)는 편향 학습부(230)에 의해 수학식 3에 따른 손실 함수(L1)가 기지정된 제1 기준 손실값 이하가 될 때까지 반복 학습 될 수 있다.The data compression unit 220 may be repeatedly trained by the bias learning unit 230 until the loss function L 1 according to Equation 3 is equal to or less than a predetermined first reference loss value.

Figure pat00010
Figure pat00010

여기서 crossentropy(x, g(f(x)))는 전사 오차를 계산하는 크로스엔트로피 함수를 나타내고,

Figure pat00011
은 각각 평균(
Figure pat00012
, 0)과 분산(
Figure pat00013
, I)을 갖는 2개의 정규 분포(
Figure pat00014
,
Figure pat00015
) 형태로 잠재 공간에 전사된 특징값의 지정된 속성에 대한 잠재 변수와 정규 확률 분포를 갖는 기지정된 기준 잠재 변수 사이의 정보량 차이를 계산하는 KL 다이버전스(Kullback-Leibler divergence)를 나타낸다.Here, crossentropy(x, g(f(x))) represents a cross-entropy function for calculating the transcription error,
Figure pat00011
Mean each (
Figure pat00012
, 0) and variance (
Figure pat00013
, I) with two normal distributions (
Figure pat00014
,
Figure pat00015
) Represents the KL divergence that calculates the difference in the amount of information between a latent variable for a designated attribute of a feature value transferred to a latent space and a known reference latent variable with a normal probability distribution.

편향 학습부(230)는 데이터 압축부(200)의 학습이 완료되면, 즉 분류 장치가 실제 이용될 때는 제거되어 이용될 수 있다.The bias learning unit 230 may be removed and used when learning of the data compression unit 200 is completed, that is, when the classification device is actually used.

도6 은 본 발명의 다른 실시예에 따른 분류 방법을 나타낸다.6 shows a classification method according to another embodiment of the present invention.

도5 의 분류 장치를 이용한 분류 방법을 설명하면, 우선 분류 장치가 이용되기 위해서는 데이터 압축부(220)와 분류부(240)가 학습되어야 한다.When the classification method using the classification device of FIG. 5 is described, first, in order to use the classification device, the data compression unit 220 and the classification unit 240 must be learned.

이에 도5 의 분류 방법에서는 우선 데이터 압축부(220)를 학습시키는 단계(S20)와 분류부(240)를 학습시키는 단계(S30) 및 데이터 분류 단계(S40)를 포함한다.Accordingly, the classification method of FIG. 5 first includes a step of learning the data compression unit 220 (S20), a step of learning the classification unit 240 (S30), and a data classification step (S40).

데이터 압축부(220)를 학습시키는 단계에서는 우선 데이터 압축부(220)는 학습을 위한 데이터를 인가받아 학습 특징값을 잠재 공간에 전사한다(S21). 이때 전사된 학습 특징값은 데이터 압축부(220)가 학습되지 않은 상태이므로, 전사된 특징값에 대한 데이터 복원 시에 학습 데이터와 복원된 데이터 사이의 전사 오차가 크게 발생될 수 있다. 또한 보호된 속성에 대한 고려가 되지 않은 상태로 잠재 공간에 전사되므로 보호된 속성에 대한 편향성이 존재하는 특징값일 수 있다.In the step of learning the data compression unit 220, first, the data compression unit 220 receives the data for learning and transfers the learning feature value to the potential space (S21). In this case, since the transferred learning feature value is a state in which the data compression unit 220 is not learned, a transfer error between the learning data and the restored data may be largely generated when data is restored for the transferred feature value. In addition, since it is transferred to the potential space without considering the protected property, it may be a feature value that has a bias for the protected property.

이에 편향 학습부(230)는 우선 학습 특징값을 복원하여 복원된 데이터와 학습 데이터 사이의 전사 오차를 크로스엔트로피를 이용하여 계산한다(S22).Accordingly, the bias learning unit 230 first restores the learning feature value and calculates a transcription error between the restored data and the learning data using cross-entropy (S22).

그리고 전사된 학습 특징값에서 보호된 속성에 대한 잠재 변수(z)의 통계적 특성을 추출하고, 추출된 통계적 특성에 따라 잠재 변수(z)의 편향성을 측정하여 편향성 오차를 측정한다(S23). 이때 편향 학습부(230)는 잠재 공간에 전사된 잠재 변수(z)의 평균과 분산을 기지정된 평균 및 분산을 갖는 정규 확률 분포와 비교 측정하여 편향성 오차를 측정할 수 있다.Then, the statistical characteristic of the potential variable z for the protected attribute is extracted from the transferred learning feature value, and the bias error is measured by measuring the bias of the potential variable z according to the extracted statistical characteristic (S23). At this time, the bias learning unit 230 may measure the bias error by comparing and measuring the mean and variance of the latent variable z transferred to the potential space with a normal probability distribution having a predetermined mean and variance.

편향 학습부(230)는 획득된 크로스엔트로피와 편향성 오차를 이용하여 수학식 3의 손실 함수(L1)를 계산하고, 계산된 손실 함수(L1)의 값을 함수 데이터 압축부(220)로 역전파하여 데이터 압축부(220)가 학습되도록 한다(S24).The bias learning unit 230 calculates the loss function L 1 of Equation 3 using the obtained cross entropy and bias error, and converts the calculated value of the loss function L 1 to the function data compression unit 220. Back-propagation allows the data compression unit 220 to learn (S24).

상기한 데이터 압축부(220)의 학습은 데이터 압축부(220)가 요구되는 성능을 나타낼 수 있을 때까지 반복 수행될 수 있다. 즉 데이터 압축부(220)가 입력 데이터로부터 제1 기준 손실값 이하가 되도록 특징값을 잠재 공간에 전사할 수 있도록 학습된다.The learning of the data compression unit 220 may be repeatedly performed until the data compression unit 220 can exhibit required performance. That is, the data compression unit 220 is learned so that the feature value can be transferred to the potential space so as to be less than or equal to the first reference loss value from the input data.

그리고 데이터 압축부(220)의 학습이 완료되면, 분류부(240)가 학습된다(S30). 분류부(240)는 도2 의 (b)와 같이 학습된 데이터 압축부(220)를 인코더(Encoder)로 이용하여 수학식 2와 같이 크로스엔트로피를 이용한 손실 함수(L2)가 기지정된 제2 기준 손실값 이하가 되도록 학습될 수 있다.Then, when the learning of the data compression unit 220 is completed, the classification unit 240 is learned (S30). The classification unit 240 uses the learned data compression unit 220 as an encoder as shown in FIG. 2(b), and the second loss function L 2 using a cross-entropy is defined as shown in Equation ( 2 ). It can be learned to be below the reference loss value.

데이터 압축부(220)와 분류부(240)가 학습되면, 분류 장치는 분류되어야 할 입력 데이터를 인가받아 분류를 수행한다(S40). 우선 데이터 입력부(210)는 분류를 수행해야 할 입력 데이터를 획득한다(S41). 그리고 1차 학습 및 편향성 저감 학습된 데이터 압축부(220)는 입력 데이터로부터 특징값을 추출하여 보호된 속성에 대한 잠재 변수(z)의 편향성이 저감되도록 잠재 공간에 전사한다(S42).When the data compression unit 220 and the classification unit 240 are learned, the classification device receives input data to be classified and performs classification (S40). First, the data input unit 210 acquires input data to be classified (S41). Then, the primary learning and reduced bias learning data compression unit 220 extracts feature values from the input data and transfers them to the potential space so that the bias of the potential variable z for the protected attribute is reduced (S42).

이에 분류부(240)는 이미 학습된 방식에 따라 잠재 공간에 전사된 특징값을 분류하고, 분류된 특징값으로부터 분류 데이터를 획득한다(S43).Accordingly, the classification unit 240 classifies the feature values transferred to the potential space according to the learned method, and obtains classification data from the classified feature values (S43).

도5 에서 편향 학습부(230)는 데이터 압축부(220)가 보호된 속성에 대한 편향성이 저감된 특징값을 잠재 공간에 전사할 수 있도록 하는 학습용 구성으로, 데이터 압축부(220)의 학습이 완료된 이후에는 분류 장치에서 생략될 수 있다.In FIG. 5, the bias learning unit 230 is a learning configuration that allows the data compression unit 220 to transfer feature values with reduced bias for protected attributes to a potential space. After completion, it may be omitted from the classification device.

결과적으로 도5 및 도6 에 도시된 분류 장치 및 방법은 입력 데이터로부터 특징값을 추출하여, 특징값에서 보호된 속성에 대한 잠재 변수(z)가 잠재 공간 상에 편향성이 저감된 패턴으로 전사할 수 있다.As a result, the classification apparatus and method shown in FIGS. 5 and 6 extract feature values from the input data, so that the latent variable (z) for the attribute protected from the feature values can be transferred in a pattern with reduced deflection on the potential space Can.

이는 일예로 직원 채용 추천이라는 상기의 예에서 성별이라는 보호된 속성에 대해 남성과 여성이 균등하게 추천되도록 입력 데이터를 분류할 수 있다.This may, for example, categorize the input data so that men and women are equally recommended for the protected attribute of gender in the above example of employee hiring recommendations.

본 발명에 따른 방법은 컴퓨터에서 실행 시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.The method according to the present invention can be implemented as a computer program stored in a medium for execution on a computer. Computer readable media herein can be any available media that can be accessed by a computer, and can also include any computer storage media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data, and ROM (readable) Dedicated memory), RAM (random access memory), CD (compact disk)-ROM, DVD (digital video disk)-ROM, magnetic tape, floppy disk, optical data storage, and the like.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, these are merely exemplary, and those skilled in the art will understand that various modifications and other equivalent embodiments are possible therefrom.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, the true technical protection scope of the present invention should be defined by the technical spirit of the appended claims.

210: 데이터 입력부 220: 데이터 압축부
230: 편향 학습부 240: 분류부210: data input unit 220: data compression unit
230: bias learning unit 240: classification unit

Claims (8)

미리 학습된 패턴 인식 방식에 따라 다수의 속성에 대한 속성값이 포함된 입력 데이터에서 특징값을 추출하여 기지정된 차원의 잠재 공간에 전사하는 데이터 압축부; 및
상기 데이터 압축부와 별도로 미리 학습된 패턴 인식 방식에 따라 잠재 공간에 전사된 특징값을 분류하고, 분류된 특징값으로부터 분류된 데이터를 복원하는 분류부; 를 포함하고,
상기 데이터 압축부는
학습 시에 상기 잠재 공간에 전사된 특징값에서 복원되는 데이터와 상기 입력 데이터 사이의 오차인 전사 오차 및 상기 잠재 공간에 전사된 특징값에서 기지정된 속성에 대응하는 잠재 변수의 통계적 특성을 분석하여 측정된 편향성 오차가 역전파되어 학습된 분류 장치.A data compression unit that extracts feature values from input data including attribute values for a plurality of attributes according to a pre-trained pattern recognition method and transfers them to potential spaces of a predetermined dimension; And
A classification unit that classifies the feature values transferred to the potential space according to a pattern recognition method previously learned separately from the data compression unit and restores the classified data from the classified feature values; Including,
The data compression unit
At the time of learning, it is measured by analyzing statistical characteristics of a potential variable corresponding to a predetermined error from a transfer error, which is an error between data restored from the feature value transferred to the latent space and the input data, and a feature value transferred from the latent space. Classifier learned by back propagating the biased error. 제1 항에 있어서, 상기 분류 장치는
상기 데이터 압축부의 학습 시에 상기 전사 오차 및 상기 편향성 오차를 획득하기 위해 부가되는 편향 학습부; 를 더 포함하고,
상기 편향 학습부는
상기 입력 데이터(x)에서 잠재 공간에 전사된 특징값(f(x))으로부터 복원 데이터(g(f(x)))를 복원하여, 상기 입력 데이터(x)와 상기 복원 데이터(g(f(x))) 사이의 오차를 크로스엔트로피로 계산하여 상기 전사 오차를 획득하고,
잠재 공간에 전사된 특징값에서 기지정된 속성에 대응하는 잠재 변수의 평균 및 분산을 기지정된 정규 확률 분포의 평균 및 분산과 비교하여 상기 편향성 오차를 측정하는 분류 장치.The method of claim 1, wherein the classification device
A bias learning unit added to acquire the transcription error and the bias error when learning the data compression unit; Further comprising,
The bias learning unit
Restoration data g(f(x)) is restored from the feature value f(x) transferred to potential space from the input data x, so that the input data x and the restoration data g(f The error between (x))) is calculated by cross entropy to obtain the transcription error,
A classification device that measures the bias error by comparing the mean and variance of a latent variable corresponding to a given attribute from a feature value transferred to a potential space with the mean and variance of a known normal probability distribution. 제2 항에 있어서, 상기 편향 학습부는
수학식
Figure pat00016

(여기서 crossentropy(x, g(f(x)))는 전사 오차를 계산하는 크로스엔트로피 함수를 나타내고,
Figure pat00017
은 각각 평균(
Figure pat00018
, 0)과 분산(
Figure pat00019
, I)을 갖는 2개의 정규 분포(
Figure pat00020
,
Figure pat00021
) 형태로 잠재 공간에 전사된 특징값의 지정된 속성에 대한 잠재 변수와 정규 확률 분포를 갖는 기지정된 기준 잠재 변수 사이의 정보량 차이인 편향성 오차를 계산하는 KL 다이버전스(Kullback-Leibler divergence)를 나타낸다.)
에 따른 손실 함수(L1)의 계산 결과가 기지정된 제1 기준 손실값 이하가 되도록 상기 데이터 압축부를 학습시키는 분류 장치.The method of claim 2, wherein the bias learning unit
Equation
Figure pat00016

(Where crossentropy(x, g(f(x))) represents the cross-entropy function for calculating the transcription error,
Figure pat00017
Mean each (
Figure pat00018
, 0) and variance (
Figure pat00019
, I) with two normal distributions (
Figure pat00020
,
Figure pat00021
) Represents the KL divergence that calculates the bias error, which is the difference in the amount of information between the latent variable for a specified attribute of a feature value transferred to the latent space and a known reference latent variable with a normal probability distribution.)
Classification device for learning the data compression unit so that the calculation result of the loss function (L 1 ) according to the first reference loss value or less. 제2 항에 있어서, 상기 분류부는
상기 데이터 압축부에 의해 잠재 공간에 전사된 특징값(f(x))에 대해 분류 복원한 결과(h(f(x))와 기지정된 분류값(y) 사이의 오차에 대한 손실 함수(L2)가 수학식
Figure pat00022

의 크로스엔트로피 함수로 계산되고, 손실 함수(L2)의 계산 결과가 기지정된 제2 기준 손실값 이하가 되도록 반복 학습된 분류 장치.The method of claim 2, wherein the classification unit
Loss function (L) for the error between the result of classification and restoration (h(f(x))) and the assigned classification value (y) for the feature value (f(x)) transferred to the potential space by the data compression unit 2 ) Equation
Figure pat00022

It is calculated by the cross-entropy function of, and the classification device iteratively learned so that the calculation result of the loss function (L 2 ) is equal to or less than a predetermined second reference loss value. 미리 학습된 패턴 인식 방식에 따라 다수의 속성에 대한 속성값이 포함된 입력 데이터에서 특징값을 추출하여 기지정된 차원의 잠재 공간에 전사하는 단계; 및
미리 학습된 패턴 인식 방식에 따라 잠재 공간에 전사된 특징값을 분류하고, 분류된 특징값으로부터 분류된 데이터를 복원하는 단계; 를 포함하고,
상기 전사하는 단계는 이전, 학습 단계에서 상기 잠재 공간에 전사된 특징값에서 복원되는 데이터와 상기 입력 데이터 사이의 오차인 전사 오차 및 상기 잠재 공간에 전사된 특징값에서 기지정된 속성에 대응하는 잠재 변수의 통계적 특성을 분석하여 측정된 편향성 오차가 역전파되어 미리 학습된 분류 방법.Extracting feature values from input data including attribute values for a plurality of attributes according to a pre-trained pattern recognition method and transferring them to potential spaces of a predetermined dimension; And
Classifying the feature values transferred to the potential space according to the previously learned pattern recognition method, and restoring the classified data from the classified feature values; Including,
The step of transferring may be a transfer error, which is an error between data restored from the feature value transferred to the potential space and the input data in the previous, learning step, and a potential variable corresponding to a property determined from the feature value transferred to the potential space A pre-trained classification method in which the bias error measured by analyzing the statistical characteristics of the back propagated. 제5 항에 있어서, 상기 학습 단계는
상기 입력 데이터(x)에서 잠재 공간에 전사된 특징값(f(x))으로부터 복원 데이터(g(f(x)))를 복원하여, 상기 입력 데이터(x)와 상기 복원 데이터(g(f(x))) 사이의 오차를 크로스엔트로피로 계산하여 상기 전사 오차를 획득하는 단계; 및
잠재 공간에 전사된 특징값에서 기지정된 속성에 대응하는 잠재 변수의 평균 및 분산을 기지정된 정규 확률 분포의 평균 및 분산과 비교하여 상기 편향성 오차를 측정하는 단계; 를 포함하는 분류 방법.The method of claim 5, wherein the learning step
Restoration data g(f(x)) is restored from the feature value f(x) transferred to potential space from the input data x, so that the input data x and the restoration data g(f (x))) calculating the error between the cross entropy to obtain the transcription error; And
Measuring the bias error by comparing the mean and variance of a latent variable corresponding to a given attribute from a feature value transferred to a latent space with the mean and variance of a known normal probability distribution; Classification method comprising a. 제6 항에 있어서, 상기 학습 단계는
수학식
Figure pat00023

(여기서 crossentropy(x, g(f(x)))는 전사 오차를 계산하는 크로스엔트로피 함수를 나타내고,
Figure pat00024
은 각각 평균(
Figure pat00025
, 0)와 분산(
Figure pat00026
, I)를 갖는 2개의 정규 분포(
Figure pat00027
,
Figure pat00028
) 형태로 잠재 공간에 전사된 특징값의 지정된 속성에 대한 잠재 변수와 정규 확률 분포를 갖는 기지정된 기준 잠재 변수 사이의 정보량 차이인 편향성 오차를 계산하는 KL 다이버전스(Kullback-Leibler divergence)를 나타낸다.)
에 따른 손실 함수(L1)의 계산 결과가 기지정된 제1 기준 손실값 이하가 되도록 학습하는 분류 방법.The method of claim 6, wherein the learning step
Equation
Figure pat00023

(Where crossentropy(x, g(f(x))) represents the cross-entropy function for calculating the transcription error,
Figure pat00024
Mean each (
Figure pat00025
, 0) and variance (
Figure pat00026
, I) with two normal distributions (
Figure pat00027
,
Figure pat00028
) Represents the KL divergence that calculates the bias error, which is the difference in the amount of information between the latent variable for a specified attribute of a feature value transferred to the latent space and a known reference latent variable with a normal probability distribution.)
A classification method for learning such that the calculation result of the loss function (L 1 ) according to is less than or equal to a predetermined first reference loss value. 제7 항에 있어서, 상기 학습 단계는
잠재 공간에 전사된 특징값(f(x))에 대해 분류 복원한 결과(h(f(x))와 기지정된 분류값(y) 사이의 오차에 대한 손실 함수(L2)가 수학식
Figure pat00029

의 크로스엔트로피 함수로 계산되고, 손실 함수(L2)의 계산 결과가 기지정된 제2 기준 손실값 이하가 되도록 학습되는 단계; 를 더 포함하는 분류 방법.The method of claim 7, wherein the learning step
The loss function (L 2 ) for the error between the result of classification restoration (h(f(x)) and the assigned classification value (y)) for the feature value (f(x)) transferred to the potential space is expressed by the equation
Figure pat00029

It is calculated as a cross-entropy function of, and learning to be such that the calculation result of the loss function (L 2 ) is less than or equal to a predetermined second reference loss value; Classification method further comprising a.
KR1020190005334A 2019-01-15 2019-01-15 Low-bias classification apparatus and method therof KR102198461B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190005334A KR102198461B1 (en) 2019-01-15 2019-01-15 Low-bias classification apparatus and method therof
PCT/KR2019/002698 WO2020149450A1 (en) 2019-01-15 2019-03-08 Classification device and method with reduced bias

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190005334A KR102198461B1 (en) 2019-01-15 2019-01-15 Low-bias classification apparatus and method therof

Publications (2)

Publication Number Publication Date
KR20200088699A true KR20200088699A (en) 2020-07-23
KR102198461B1 KR102198461B1 (en) 2021-01-05

Family

ID=71613685

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190005334A KR102198461B1 (en) 2019-01-15 2019-01-15 Low-bias classification apparatus and method therof

Country Status (2)

Country Link
KR (1) KR102198461B1 (en)
WO (1) WO2020149450A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5139874B2 (en) * 2008-04-18 2013-02-06 日本電信電話株式会社 LABELING DEVICE, LABELING PROGRAM, RECORDING MEDIUM CONTAINING LABELING PROGRAM, AND LABELING METHOD
US20170330058A1 (en) * 2016-05-16 2017-11-16 Cerebri AI Inc. Detecting and reducing bias (including discrimination) in an automated decision making process
KR101855168B1 (en) 2016-11-18 2018-05-10 가톨릭대학교 산학협력단 Emotion classification method based on deep learning and method thereof
US20180314917A1 (en) * 2017-04-27 2018-11-01 Dassault Systemes Learning an autoencoder

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5139874B2 (en) * 1972-06-27 1976-10-30

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5139874B2 (en) * 2008-04-18 2013-02-06 日本電信電話株式会社 LABELING DEVICE, LABELING PROGRAM, RECORDING MEDIUM CONTAINING LABELING PROGRAM, AND LABELING METHOD
US20170330058A1 (en) * 2016-05-16 2017-11-16 Cerebri AI Inc. Detecting and reducing bias (including discrimination) in an automated decision making process
KR101855168B1 (en) 2016-11-18 2018-05-10 가톨릭대학교 산학협력단 Emotion classification method based on deep learning and method thereof
US20180314917A1 (en) * 2017-04-27 2018-11-01 Dassault Systemes Learning an autoencoder

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Men Also Like Shopping: Reducing Gender Bias Amplification using Groups-level Constraints", arXiv:1707.09457v1, 2017.07.29. *

Also Published As

Publication number Publication date
KR102198461B1 (en) 2021-01-05
WO2020149450A1 (en) 2020-07-23

Similar Documents

Publication Publication Date Title
Friedler et al. A comparative study of fairness-enhancing interventions in machine learning
US11257041B2 (en) Detecting disability and ensuring fairness in automated scoring of video interviews
US10650276B1 (en) Learning to process images depicting faces without leveraging sensitive attributes in deep learning models
Martens et al. Performance of classification models from a user perspective
CN107122327B (en) Method and training system for training model by using training data
EP1504412B1 (en) Processing mixed numeric and/or non-numeric data
US10936868B2 (en) Method and system for classifying an input data set within a data category using multiple data recognition tools
CN112861945A (en) Multi-mode fusion lie detection method
KR20220071875A (en) Device and method for underwriting a person who will subscribe to insurance based on artificial neural network
Eddy et al. Credit scoring models: Techniques and issues
CN112541530B (en) Data preprocessing method and device for clustering model
Sixhaxa et al. Predicting students performance in exams using machine learning techniques
US20220405640A1 (en) Learning apparatus, classification apparatus, learning method, classification method and program
KR20200088699A (en) Low-bias classification apparatus and method therof
WO2023115884A1 (en) Ordered classification tag determining method and apparatus, electronic device, and storage medium
Kang et al. Inference for income mobility measures in the presence of spatial dependence
Schuckers et al. Statistical methods for assessing differences in false non-match rates across demographic groups
KR102184655B1 (en) Improvement Of Regression Performance Using Asymmetric tanh Activation Function
JP5210808B2 (en) Age estimation apparatus and method
KR20200113397A (en) Method of under-sampling based ensemble for data imbalance problem
US11676053B2 (en) Systems, methods, and media for automatically identifying entrepreneurial individuals in a population using individual and population level data
KR102624634B1 (en) System for replacing dropout respondents in non-face-to-face surveys using self-learning-based artificial intelligence
KR102624636B1 (en) Self-feedback based questionnaire creation system
US20230065173A1 (en) Causal relation inference device, causal relation inference method, and recording mideum
KR102266853B1 (en) Method and apparatus for recommending items based on multi-type pair-wise preference

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant