KR20190046099A - Apparatus and Method for Data Processing Based on Deep Neural Network - Google Patents

Apparatus and Method for Data Processing Based on Deep Neural Network Download PDF

Info

Publication number
KR20190046099A
KR20190046099A KR1020170139269A KR20170139269A KR20190046099A KR 20190046099 A KR20190046099 A KR 20190046099A KR 1020170139269 A KR1020170139269 A KR 1020170139269A KR 20170139269 A KR20170139269 A KR 20170139269A KR 20190046099 A KR20190046099 A KR 20190046099A
Authority
KR
South Korea
Prior art keywords
classifier
generator
data
hostile
parameter
Prior art date
Application number
KR1020170139269A
Other languages
Korean (ko)
Other versions
KR102073808B1 (en
Inventor
이정우
이형일
Original Assignee
서울대학교산학협력단
호두에이아이랩 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단, 호두에이아이랩 주식회사 filed Critical 서울대학교산학협력단
Priority to KR1020170139269A priority Critical patent/KR102073808B1/en
Publication of KR20190046099A publication Critical patent/KR20190046099A/en
Application granted granted Critical
Publication of KR102073808B1 publication Critical patent/KR102073808B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

According to one embodiment of the present disclosure, an apparatus for processing information may comprise: a generator configured to generate perturbation data based on differentiation information of input data; a classifier configured to receive the perturbation data and input data and predict that the perturbation data and input data is a correct label; a differentiation image generation unit configured to generate a differentiation image for a prediction result of the classifier; and a parameter adjusting unit configured to adjust a generator parameter and a classifier parameter so that each of the predetermined generator loss function and predetermined classifier loss function is minimized.

Description

심층 신경망 기반의 정보 처리 장치 및 방법{Apparatus and Method for Data Processing Based on Deep Neural Network}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an information processing apparatus and method based on a deep-

본 기술은 정보 처리 장치 및 방법에 관한 것으로, 보다 구체적으로는 심층 신경망 기반의 정보 처리 장치 및 방법에 관한 것이다.The present invention relates to an information processing apparatus and method, and more particularly, to an information processing apparatus and method based on a deep neural network.

딥러닝(Deep learning)은 기계학습 기술의 한 종류이다. 다층 구조로 설계하여 깊어진 인공신경망은 학습이 잘 이루어지지 않지만 학습을 위한 데이터들을 비지도 학습을 통해 전처리하면 신경망이 깊어져도 학습이 잘된다는 것으로부터 시작되었다.Deep learning is a kind of machine learning technology. Deep artificial neural networks designed by multi - layered structure are not well - learned but pre - processing of data for learning through non -

최근 딥러닝은 이미지 분류, 음성 인식 등 인공지능의 여러 분야에서 사용되고 있다.Recently, deep learning has been used in many fields of artificial intelligence such as image classification and speech recognition.

심층 신경망(Deep Neural Network)이 에러 역전파(backpropagation) 알고리즘이라는 학습 방법을 도입하여 복잡한 확률분포를 효과적으로 학습할 수 있게 됨으로써 딥러닝은 한층 더 발전하게 되었다.Deep learning has become even more advanced as the Deep Neural Network has been able to effectively learn complex probability distributions by introducing a learning method called an error backpropagation algorithm.

하지만 현재까지의 심층 신경망은 적대적(경쟁적) 섭동(Adversarial perturbation)에 취약하다는 단점이 있다. 적대적 섭동은 심층 신경망이 잘못 동작하도록 하는 악의적인 샘플로서, 사람 눈은 원래 데이터(이미지)와 적대적 섭동 데이터(이미지)와의 차이를 전혀 못 느끼지만 심층 신경망은 적대적 섭동 데이터(이미지)를 전혀 다른 클래스로 예측하게 된다.However, the depth neural network up to now has a disadvantage that it is vulnerable to adversarial perturbation. Hostile perturbation is a malicious sample that causes in-depth neural networks to malfunction. Although human eyes can not distinguish between original data (image) and hostile perturbation data (image), in-depth neural networks can not use hostile perturbation data .

그러므로 악의적인 적대적 섭동 데이터에 강인한 데이터 구분 기술이 필요한 실정이다.Therefore, robust data classification technology is required for malicious hostile perturbation data.

본 기술의 실시예는 적대적 섭동 데이터를 올바른 레이블로 예측하도록 훈련되는 심층 신경망 기반의 정보 처리 장치 및 방법을 제공할 수 있다.Embodiments of the present technology can provide a deep neural network based information processing apparatus and method that are trained to predict hostile perturbation data to the correct label.

본 기술의 일 실시예에 의한 심층 신경망 기반의 정보처리 장치는 입력 데이터의 미분 정보에 기초하여 적대적 섭동 데이터를 생성하도록 구성되는 생성기; 상기 적대적 섭동 데이터와 상기 입력 데이터를 제공받아 상기 적대적 섭동 데이터와 상기 입력 데이터 모두를 올바른 레이블인 것으로 예측하도록 구성되는 분류기; 상기 분류기의 예측 결과에 대한 미분 이미지를 생성하도록 구성되는 미분 이미지 생성부; 및 기 설정된 생성기 손실함수 및 기 설정된 분류기 손실함수가 각각 최소화되도록 생성기 파라미터 및 분류기 파라미터를 조정하도록 구성되는 파라미터 조정부;를 포함하도록 구성될 수 있다.According to an embodiment of the present invention, a depth-of-neural network-based information processing apparatus includes a generator configured to generate hostile perturbation data based on differential information of input data; A classifier configured to receive both the hostile perturbation data and the input data and to predict both the hostile perturbation data and the input data as a correct label; A differential image generator configured to generate a differential image for a prediction result of the classifier; And a parameter adjuster configured to adjust a generator parameter and a classifier parameter such that a predetermined generator loss function and a predetermined classifier loss function are minimized, respectively.

본 기술의 일 실시예에 의한 심층 신경망 기반의 정보처리 방법은 입력 데이터의 미분 정보에 기초하여 적대적 섭동 데이터를 생성하도록 구성되는 생성기 및 상기 적대적 섭동 데이터와 상기 입력 데이터를 제공받아 상기 적대적 섭동 데이터와 상기 입력 데이터를 원래의 레이블로 예측하도록 구성되는 분류기를 포함하는 정보 처리 장치의 정보 처리 방법으로서, 상기 분류기의 예측 결과에 기초하여 생성되는 미분 이미지를 이용하여 상기 분류기가 분류하지 못하는 적대적 섭동 데이터를 생성하는 생성기 학습 과정; 및 상기 생성기가 생성한 적대적 섭동 데이터와 원래 데이터를 모두 상기 분류기가 정확히 분류하도록 학습하는 분류기 학습 과정;을 포함하도록 구성될 수 있다.A neural network-based information processing method according to an embodiment of the present invention includes a generator configured to generate hostile perturbation data based on differential information of input data, and a controller configured to receive the hostile perturbation data and the hostile perturbation data And a classifier configured to predict the input data with an original label, the information processing method comprising the steps of: calculating hostile perturbation data that can not be classified by the classifier using a differential image generated based on the prediction result of the classifier; Generating generator learning process; And a classifier learning process in which the classifier classifies both the hostile perturbation data generated by the generator and the original data correctly.

본 기술에 의하면 생성기는 분류기를 속일 수 있는 적대적 섭동 데이터를 만들도록 학습하고, 분류기는 원래 데이터와 적대적 섭동 데이터를 올바로 된 레이블로 예측하도록 재훈련 된다. 이를 통해 분류기는 적대적 섭동 데이터에 점차적으로 강인해질 수 있게 된다.According to this technique, the generator learns to construct hostile perturbation data that can deceive the classifier, and the classifier is retrained to predict the original data and hostile perturbation data with the correct label. This allows the classifier to gradually become robust against hostile perturbation data.

또한, 본 기술은 정규화(regularization) 효과가 우수하기 때문에, 섭동이 없는 상황에서도 분류기의 예측 성능을 효과적으로 높일 수 있다.In addition, since the present technique has a good regularization effect, the prediction performance of the classifier can be effectively enhanced even in the absence of perturbation.

본 기술은 얼굴인식 기반 보안 시스템에 적용 가능하여, 얼굴인식 시스템이 입력 데이터를 오인식하게 하는 보안 공격에 강인한 시스템을 만드는 데 유용하게 적용될 수 있다.This technique can be applied to a security system based on face recognition, so that it can be usefully applied to a system which is robust against a security attack that causes a face recognition system to misread input data.

도 1은 일 실시예에 의한 심층 신경망 기반의 정보 처리 장치의 구성도이다.
도 2는 일 실시예에 의한 심층 신경망 기반의 정보 처리 방법을 설명하기 위한 흐름도이다.1 is a block diagram of an information processing apparatus based on a depth-of-field neural network according to an embodiment.
FIG. 2 is a flowchart illustrating an information processing method based on a depth-of-field neural network according to an embodiment.

이하, 첨부된 도면을 참조하여 본 기술의 실시예를 보다 구체적으로 설명한다.Hereinafter, embodiments of the present technology will be described in more detail with reference to the accompanying drawings.

도 1은 일 실시예에 의한 심층 신경망 기반의 정보 처리 장치의 구성도이다.1 is a block diagram of an information processing apparatus based on a depth-of-field neural network according to an embodiment.

도 1을 참조하면, 일 실시예에 의한 정보 처리 장치(10)는 생성기(110), 분류기(120), 미분 이미지 생성부(130) 및 파라미터 조정부(140)를 포함할 수 있다.Referring to FIG. 1, an information processing apparatus 10 according to an embodiment may include a generator 110, a classifier 120, a differential image generator 130, and a parameter adjuster 140.

생성기(110)는 생성적 적대적 훈련기(generative adversarial trainer; GAT)라 칭할 수 있다. 생성기(110)의 목적은 입력되는 데이터의 경사(미분, gradient) 정보를 이용하여 분류기(120)를 속일 수 있는 가장 강력한 적대적(perturbation) 데이터를 만들어 내는 것이다.The generator 110 may be referred to as a generative adversarial trainer (GAT). The purpose of the generator 110 is to generate the most powerful perturbation data that can deceive the classifier 120 using the gradient information of the input data.

보다 구체적으로, 생성기(110)는 입력 데이터(x) 및 미분 이미지(Δ)를 제공받으며, 생성기 함수(G())를 이용하여 리분 이미지(Δ)를 적대덕 섭동 데이터(x+G(Δ))로 변환하도록 구성될 수 있다.More specifically, the generator 110 is provided with the input data x and the differential image?, And uses the generator function G () to calculate the limpine image? As the azimuth perturbation data x + G (? )). ≪ / RTI >

분류기(120)는 생성기(110)가 생성한 벅대적 섭동 데이터(x+G(Δ))와 입력 데이터(x)를 제공받아 두 데이터 모두를 원래의 레이블(label)로 예측할 수 있게 재학습하도록 구성될 수 있다.The classifier 120 receives the buck versus perturbation data (x + G (?)) Generated by the generator 110 and the input data (x) and re-learns both data to be predictable with the original label Lt; / RTI >

미분 이미지 생성부(130)는 분류기(120)의 예측 결과에 대한 확률값의 미분 이미지(Δ)를 생성하도록 구성될 수 있다.The differential image generating unit 130 may be configured to generate a differential image (?) Of the probability value with respect to the prediction result of the classifier 120.

일 실시예에서, 분류기(120)는 입력 데이터(x)에 대하여 y번째 클래스의 확률값(F(x)y)을 예측할 수 있으며, 미분 이미지 생성부(130)는 이에 대한 미분 이미지(Δ=

Figure pat00001
)를 생성하도록 구성될 수 있다.In one embodiment, the classifier 120 may predict the probability value F (x) y of the yth class for the input data x and the differential image generator 130 may generate a differential image (Δ =
Figure pat00001
). ≪ / RTI >

미분 이미지(Δ)는 생성기(110)로 제공되어 생성기(110)가 적대적 섭동 데이터(x+G(Δ))를 재생성하는 데 이용될 수 있다.The differential image [Delta] is provided to the generator 110 so that the generator 110 can be used to regenerate the hostile perturbation data (x + G ([Delta])).

파라미터 조정부(140)는 기 정의된 생성기 손실함수(LG) 및 분류기 손실함수(LF)에 기초하여 손실함수가 최소화되도록 생성기 파라미터(θg) 및 분류기 파라미터(θf)를 조정하도록 구성될 수 있다.The parameter adjustment section 140 is configured to adjust the generator parameter θ g and the classifier parameter θ f such that the loss function is minimized based on the predefined generator loss function L G and the classifier loss function L F .

일 실시예에서, 파라미터 조정부(140)는 생성기 파라미터 및 분류기 파라미터를 조정하기 위하여 확률적 경사 하강법(Stochastic gradient descent; SGD)을 이용할 수 있으나 이에 한정되는 것은 아니다.In one embodiment, the parameter adjuster 140 may use a stochastic gradient descent (SGD) to adjust generator parameters and sorter parameters, but is not limited thereto.

생성기 손실함수(LG)는 예를 들어 [수학식 1]과 같이 기 정의될 수 있다.The generator loss function (L G ) can be predefined, for example, as in Equation (1).

Figure pat00002
Figure pat00002

X는 입력 데이터, y는 분류할 레이블을 나타낸다. 입력 데이터가 컬러 이미지인 경우 x는 가로(w)*세로(h)*채널(c)의 3차원 텐서가 될 수 있다. y는 분류기가 입력 데이터를 분류할 수 있는 레이블의 개수에 따른 값을 가질 수 있다.X denotes input data, and y denotes a label to be classified. If the input data is a color image, x can be a 3-dimensional tensor of width (w) * length (h) * channel (c). y may have a value according to the number of labels that the classifier can classify the input data.

F()는 분류기 함수를 나타낸다. 일 실시예에서, 분류기 함수(F())는 입력 데이터를 확률벡터로 변환시키도록 구성될 수 있다. 입력 데이터가 이미지인 경우 분류기 함수(F())는 컨볼루션 신경망(convolutional Neural Network; CNN) 이 사용될 수 있으나 이에 한정되는 것은 아니다.F () denotes a classifier function. In one embodiment, the classifier function F () may be configured to transform the input data into a probability vector. When the input data is an image, the classifier function F () may be a convolutional neural network (CNN), but is not limited thereto.

G()는 생성기 함수를 나타낸다. 일 실시예에서, 생성기 함수(G())는 컨볼루션 신경망(convolutional Neural Network; CNN) 이 사용될 수 있으나 이에 한정되는 것은 아니다.G () denotes a generator function. In one embodiment, the generator function G () may be, but is not limited to, a convolutional neural network (CNN).

[수학식 1]에서 알 수 있는 바와 같이, 생성기 손실함수(LG)는 두 개의 비용 함수(cost function)로 구성된다. 첫 번째 비용 함수는 분류기(120)의 예측 성능을 줄이는 방향으로의 비용 함수이다. 즉, 분류기(120)의 분류 확률을 낮추는 섭동 데이터를 찾는 데 사용되는 손실함수이다. 두 번째 비용 함수는 섭동 데이터의 파워를 줄이기 위한 것이다. 즉, 섭동 데이터의 파워가 너무 크지 않도록 적대적 섭동 데이터의 파워를 제한하는 비용함수이다.As can be seen from Equation (1), the generator loss function (L G ) consists of two cost functions. The first cost function is a cost function in the direction of reducing the predictive performance of the classifier 120. [ That is, it is a loss function used to find the perturbation data that lowers the classification probability of the classifier 120. The second cost function is to reduce the power of the perturbation data. That is, it is a cost function that limits the power of hostile perturbation data so that the power of the perturbation data is not too large.

Cg는 두 비용 함수 간의 비율을 조정하는 하이퍼파라미터이다. Cg가 너무 작으면 생성기(110)는 아무 높은 파워의 의미 없는(trivial) 섭동 데이터만을 만들 것이고, Cg가 너무 높으면 생성기(110) 영(0) 섭동 데이터만을 생성할 것이다. C g is a hyperparameter that adjusts the ratio between the two cost functions. If the C g is too small generator 110 will only create (trivial) perturbation data without meaning no high-power, C g is too high, the generator 110 will produce only zero (0) data perturbation.

따라서, 하이퍼파라미터 탐색을 통해 적절한 크기의 Cg값을 찾는 것이 매우 중요하다.Therefore, it is very important to find a Cg value of an appropriate size through a hyperparameter search.

분류기 손실함수(LF)는 예를 들어 [수학식 2]와 같이 기 정의될 수 있다.The classifier loss function (L F ) can be predefined, for example, as in Equation (2).

Figure pat00003
Figure pat00003

α는 원래 데이터와 섭동 데이터에 대한 가중치 하이퍼파라미터이다. 이는 임의로 설정될 수 있으며, 0.5로 설정될 수 있다.α is the weighted hyper parameter for the original data and perturbation data. This can be set arbitrarily, and can be set to 0.5.

θf는 분류기(120)에 사용되는 학습 파라미터들을 의미한다.and? f denotes learning parameters used in the classifier 120. [

J는 분류기(120)의 손실함수로 교차 엔트로피 손실함수가 사용될 수 있음을 나타낸다. 분류기(120)의 손실함수는 교차 엔트로피 손실함수 외에 힌지(Hinge) 손실함수 등 다양한 비선형 손실함수 중에서 채택될 수 있다.J indicates that the crossover entropy loss function can be used as a loss function of the classifier 120. The loss function of the classifier 120 can be employed among various nonlinear loss functions such as a hinge loss function in addition to the cross entropy loss function.

본 기술에 의한 정보 처리 장치(10)에서, 생성기(110)를 학습 과정에서 완벽히 최적화시킬 필요는 없다. 생성기(110)를 k번, 분류기(120)를 1번 학습시키는 과정을 m회 번갈아 수행함으로써 분류기가 최적 해(optimal solution) 근처에서 유지되도록 할 수 있다. K의 값은 1로 설정하여도 충분히 좋은 성능을 기대할 수 있다.In the information processing apparatus 10 according to the present invention, it is not necessary to completely optimize the generator 110 in the learning process. The classifier may be maintained near the optimal solution by alternately performing the process of learning the generator 110 for k times and the classifier 120 for one time m times. A good performance can be expected even if the value of K is set to 1.

도 2는 일 실시예에 의한 심층 신경망 기반의 정보 처리 방법을 설명하기 위한 흐름도이다.FIG. 2 is a flowchart illustrating an information processing method based on a depth-of-field neural network according to an embodiment.

먼저, 생성기(110) 및 분류기(120)의 모든 파라미터(θg, θf)를 초기화한다(S101).First, all parameters of the generator 110 and the classifier 120 (? G , It initializes θ f) (S101).

그리고, 학습 데이터로부터 기 설정된 개수의 샘플을 선택하고(S103), 생성기(110)를 최적화한다(S105).Then, a predetermined number of samples are selected from the learning data (S103), and the generator 110 is optimized (S105).

생성기(110)를 최적화하기 위하여, 생성기 손실함수(LG)가 최소화되도록 생성기 파라미터(θg)를 조정한다. 학습 데이터의 일부를 선택하여(S103) 생성기를 최적화하는(SS105) 과정을 기 설정된 횟수(k회) 반복하여(S107, S109) 생성기(110)를 훈련시킬 수 있다. 일 실시예에서, 생성기 파라미터(θg)를 조정하기 위하여 확률적 경사 하강법(SGD)이 이용될 수 있으나 이에 한정되는 것은 아니다.To optimize the generator 110, the generator parameter? G is adjusted such that the generator loss function L G is minimized. It is possible to train the generator 110 by selecting a part of the learning data (S103) and optimizing the generator (SS105) by repeating a predetermined number of times (k times) (S107, S109). In one embodiment, the stochastic descent method (SGD) may be used to adjust the generator parameter [theta] g , but is not limited thereto.

생성기(110)를 훈련시키는 과정은 분류기(120)로부터 제공되는 미분 이미지(Δ)를 이용하여 분류기(120)가 제대로 분류하지 못할만한 적대적 섭동 데이터를 생성하도록 학습시키는 과정으로 이해할 수 있다.The process of training the generator 110 can be understood as a process of learning to generate hostile perturbation data that the classifier 120 can not correctly classify using the differential image? Provided from the classifier 120.

그리고, 학습 데이터로부터 기 설정된 개수의 샘플을 선택하고(S111), 분류기(120)를 최적화한다(S113).Then, a predetermined number of samples are selected from the learning data (S111), and the classifier 120 is optimized (S113).

분류기(120)를 최적화하기 위하여, 분류기 손실함수(LF)가 최소화되도록 분류기 파라미터(θf)를 조정한다. 분류기 파라미터(θf)를 조정하기 위하여 확률적 경사 하강법(SGD)이 이용될 수 있으나 이에 한정되는 것은 아니다.To optimize the classifier 120, the classifier parameter? F is adjusted so that the classifier loss function (L F ) is minimized. Stochastic descent method (SGD) may be used to adjust the classifier parameter ([theta] f ), but is not limited thereto.

분류기(120)를 최적화하는 과정은 생성기(110)가 생성한 적대적 섭동 데이터와 원래 데이터를 모두 정확히 분류할 수 있도록 학습하는 과정으로 이해할 수 있다.The process of optimizing the classifier 120 can be understood as a process of learning to correctly classify both the hostile perturbation data generated by the generator 110 and the original data.

생성기 훈련 과정(S103~S109) 및 분류기 훈련 과정(S111~S113)을 학습이 끝날 때까지 기 설정된 횟수(m회) 반복할 수 있다(S115, S117).The generator training courses (S103 to S109) and the classifier training courses (S111 to S113) can be repeated a predetermined number of times (m times) until the learning ends (S115, S117).

도 2에 도시한 정보 처리 방법은 하기 [표 1]과 같이 코딩될 수 있다.The information processing method shown in FIG. 2 can be coded as shown in Table 1 below.

Figure pat00004
Figure pat00004

본 기술에 의하면, 분류기는 각각의 데이터(이미지)들에 대해서 다른 강인함을 보인다. 어떠한 데이터(이미지)에서는 아주 적은 파워만을 가지고도 분류기를 쉽게 속일 수 있지만, 다른 데이터(이미지)에서는 아무리 많은 파워를 주더라도 분류기를 쉽게 속일 수 없다. 기존의 심층 신경망 기반의 데이터 분류 알고리즘들은 미분값(gradient)을 정규화(normalize)하기 때문에 모든 데이터(이미지)에 대해서 같은 섭동 파워(perturbation power)를 갖는 데이터(이미지)들을 만들어 분류기의 학습을 방해하지만, 본 기술에서는 각각의 데이터(이미지)에 맞는 적당한 크기의 섭동 파워를 갖는 데이터(이미지)를 생성해 낼 수 있다.According to the present technique, the classifier exhibits different robustness for each data (image). Some data (images) can easily trick the classifier with very little power, but other data (images) can not easily trick the classifier even with a lot of power. The data classification algorithms based on existing neural networks normalize the gradient so that they generate data (images) with the same perturbation power for all data (images) In this technique, data (image) having a perturbation power of an appropriate size suited to each data (image) can be generated.

심층 신경망을 이용한 분류기는 비선형 함수이다. 기존의 데이터 분류 알고리즘들은 모두 학습 데이터 근처에서 분류기가 선형적이라는 가정하에 섭동 데이터들을 만들었지만, 본 기술에서는 분류기가 비선형일 때, 거기에 최적화된 섭동 데이터를 만들 수 있다.The classifier using in - depth neural network is a nonlinear function. All existing data classification algorithms have created perturbation data on the assumption that the classifier is linear near the learning data, but in this technique, when the classifier is nonlinear, optimized perturbation data can be generated there.

따라서, 본 기술에 의한 정보 처리 장치는 적대적 섭동을 방어하는 효과가 우수하다. 더욱이, 이러한 과정은 신경망을 매우 잘 정규화할 수 있기 때문에 적대적 섭동을 방어하는 목적이 아니어도, 오버피팅(overfitting)을 방지하여 예측 정밀도를 높일 때도 효과적으로 사용될 수 있다.Therefore, the information processing apparatus according to the present technology has an excellent effect of preventing hostile perturbation. Moreover, since this process can very well normalize the neural network, it can be effectively used to prevent overfitting and improve prediction accuracy even if it is not intended to defend hostile perturbation.

본 기술은 심층 신경망 기반 얼굴인식, 지문인식, 홍채인식 등의 생체인식 시스템의 오류 가능성을 낮출 수 있는 획기적인 알고리즘이며, 이를 적용하면 생체인식 시스템을 공격하는 보안공격을 막을 수 있고 인식 오류율을 낮출 수 있다.This technology is a groundbreaking algorithm that can reduce the possibility of error in biometric system such as face neural network based face recognition, fingerprint recognition and iris recognition. It can prevent security attacks that attack biometric system and lower recognition error rate have.

이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Thus, those skilled in the art will appreciate that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the embodiments described above are to be considered in all respects only as illustrative and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description and all changes or modifications derived from the meaning and scope of the claims and their equivalents are to be construed as being included within the scope of the present invention do.

10 : 정보 처리 장치
110 : 생성기
120 : 분류기
130 : 미분 이미지 생성부
140 : 파라미터 조정부10: Information processing device
110: Generator
120: Classifier
130: Differential image generation unit
140:

Claims (10)

입력 데이터의 미분 정보에 기초하여 적대적 섭동 데이터를 생성하도록 구성되는 생성기;
상기 적대적 섭동 데이터와 상기 입력 데이터를 제공받아 상기 적대적 섭동 데이터와 상기 입력 데이터 모두를 올바른 레이블인 것으로 예측하도록 구성되는 분류기;
상기 분류기의 예측 결과에 대한 미분 이미지를 생성하도록 구성되는 미분 이미지 생성부; 및
기 설정된 생성기 손실함수 및 기 설정된 분류기 손실함수가 각각 최소화되도록 생성기 파라미터 및 분류기 파라미터를 조정하도록 구성되는 파라미터 조정부;
를 포함하는 심층 신경망 기반의 정보 처리 장치.A generator configured to generate hostile perturbation data based on differential information of the input data;
A classifier configured to receive both the hostile perturbation data and the input data and to predict both the hostile perturbation data and the input data as a correct label;
A differential image generator configured to generate a differential image for a prediction result of the classifier; And
A parameter adjuster configured to adjust a generator parameter and a classifier parameter such that a predetermined generator loss function and a predetermined classifier loss function are respectively minimized;
Wherein the information processing apparatus is a deep-layer neural network-based information processing apparatus. 제 1 항에 있어서,
상기 생성기는, 상기 입력 데이터 및 상기 미분 이미지를 제공받아 기 설정된 생성기 함수를 이용하여 상기 경사이미지를 상기 적대적 섭동 데이터로 변환하도록 구성되는 심층 신경망 기반의 정보 처리 장치.The method according to claim 1,
Wherein the generator is configured to receive the input data and the differential image and to convert the gradient image into the hostile perturbation data using a preset generator function. 제 1 항에 있어서,
상기 생성기 손실함수는 상기 분류기의 예측 성능을 줄이기 위한 비용함수 및, 상기 적대적 섭동 데이터의 파워를 줄이기 위한 손실함수를 포함하는 심층 신경망 기반의 정보 처리 장치.The method according to claim 1,
Wherein the generator loss function includes a cost function to reduce the predictive performance of the classifier and a loss function to reduce the power of the hostile perturbation data. 제 1 항에 있어서,
상기 파라미터 조정부는 확률적 경사 하강법에 기초하여 상기 생성기 파라미터 및 상기 분류기 파라미터를 조정하도록 구성되는 심층 신경망 기반의 정보 처리 장치.The method according to claim 1,
Wherein the parameter adjustment unit is configured to adjust the generator parameter and the classifier parameter based on the stochastic gradient descent method. 입력 데이터의 미분 정보에 기초하여 적대적 섭동 데이터를 생성하도록 구성되는 생성기 및 상기 적대적 섭동 데이터와 상기 입력 데이터를 제공받아 상기 적대적 섭동 데이터와 상기 입력 데이터를 원래의 레이블로 예측하도록 구성되는 분류기를 포함하는 정보 처리 장치의 정보 처리 방법으로서,
상기 분류기의 예측 결과에 기초하여 생성되는 미분 이미지를 이용하여 상기 분류기가 분류하지 못하는 적대적 섭동 데이터를 생성하는 생성기 학습 과정; 및
상기 생성기가 생성한 적대적 섭동 데이터와 원래 데이터를 모두 상기 분류기가 정확히 분류하도록 학습하는 분류기 학습 과정;
을 포함하도록 구성되는 심층 신경망 기반의 정보 처리 방법.Comprising: a generator configured to generate hostile perturbation data based on differential information of input data; and a classifier configured to receive the hostile perturbation data and the input data and to predict the hostile perturbation data and the input data with an original label An information processing method for an information processing apparatus,
A generator learning process for generating hostile perturbation data that can not be classified by the classifier using a differential image generated based on a prediction result of the classifier; And
A classifier learning process in which the classifier classifies both the hostile perturbation data and original data generated by the classifier;
Wherein the information processing method is based on a neural network. 제 5 항에 있어서,
상기 생성기 학습 과정을 기 설정된 횟수만큼 반복 수행한 후 상기 분류기 학습 과정이 수행되고,
상기 기 설정된 횟수의 생성기 학습 과정 및 상기 분류기 학습 과정은 기 설정된 횟수만큼 반복 수행되는 심층 신경망 기반의 정보 처리 방법.6. The method of claim 5,
The classifier learning process is performed after the generator learning process is repeated a predetermined number of times,
Wherein the predetermined number of generator learning processes and the classifier learning process are repeatedly performed a predetermined number of times. 제 5 항에 있어서,
상기 생성기 학습과정은 상기 생성기의 생성기 파라미터 및 상기 분류기의 분류기 파라미터를 초기화하는 단계; 및
학습 데이터 중 기 설정된 개수의 학습 데이터를 선택하여 상기 생성기를 최적화하는 과정;
을 포함하는 심층 신경망 기반의 정보 처리 방법.6. The method of claim 5,
Wherein the generator learning process comprises: initializing a generator parameter of the generator and a classifier parameter of the classifier; And
Selecting a predetermined number of pieces of learning data among the learning data to optimize the generator;
Based neural network based information processing method. 제 7 항에 있어서.
상기 생성기를 최적화하는 과정은 생성기 손실함수가 최소화되도록 상기 생성기 파라미터를 조정하는 과정을 포함하는 심층 신경망 기반의 정보 처리 방법.The method of claim 7,
Wherein the step of optimizing the generator comprises adjusting the generator parameters such that the generator loss function is minimized. 제 5 항에 있어서,
상기 분류기 학습과정은 상기 생성기의 생성기 파라미터 및 상기 분류기의 분류기 파라미터를 초기화하는 단계; 및
학습 데이터 중 기 설정된 개수의 학습 데이터를 선택하여 상기 분류기를 최적화하는 과정;
을 포함하는 심층 신경망 기반의 정보 처리 방법.6. The method of claim 5,
Wherein the classifier learning process comprises: initializing a generator parameter of the generator and a classifier parameter of the classifier; And
Selecting a predetermined number of pieces of learning data among the learning data to optimize the classifier;
Based neural network based information processing method. 제 9 항에 있어서.
상기 분류기를 최적화하는 과정은 분류기 손실함수가 최소화되도록 상기 분류기 파라미터를 조정하는 과정을 포함하는 심층 신경망 기반의 정보 처리 방법.10. The method of claim 9,
Wherein the step of optimizing the classifier comprises adjusting the classifier parameters such that a classifier loss function is minimized.
KR1020170139269A 2017-10-25 2017-10-25 Apparatus and Method for Data Processing Based on Deep Neural Network KR102073808B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170139269A KR102073808B1 (en) 2017-10-25 2017-10-25 Apparatus and Method for Data Processing Based on Deep Neural Network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170139269A KR102073808B1 (en) 2017-10-25 2017-10-25 Apparatus and Method for Data Processing Based on Deep Neural Network

Publications (2)

Publication Number Publication Date
KR20190046099A true KR20190046099A (en) 2019-05-07
KR102073808B1 KR102073808B1 (en) 2020-03-02

Family

ID=66655996

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170139269A KR102073808B1 (en) 2017-10-25 2017-10-25 Apparatus and Method for Data Processing Based on Deep Neural Network

Country Status (1)

Country Link
KR (1) KR102073808B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190061446A (en) * 2017-11-28 2019-06-05 공주대학교 산학협력단 Apparatus for generating adversarial example in deep learning environment and method thereof, computer program
DE102020201164A1 (en) 2019-02-01 2020-08-06 Lg Electronics Inc. Laundry treatment machine and control method therefor
KR20210048100A (en) * 2019-10-23 2021-05-03 서울대학교산학협력단 Condition monitoring data generating apparatus and method using generative adversarial network
CN113627597A (en) * 2021-08-12 2021-11-09 上海大学 Countermeasure sample generation method and system based on general disturbance
KR102354145B1 (en) * 2020-10-23 2022-01-24 광주과학기술원 A logit adjustment and memory management method for incremental mearning
WO2024043541A1 (en) * 2022-08-25 2024-02-29 삼성전자주식회사 Receiver performing blind detection in wireless communication system, and operation method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102363769B1 (en) 2020-09-16 2022-02-16 광운대학교 산학협력단 System and method for classifying and providing digitalized documents in stages and computer-readable recording medium thereof
KR102655393B1 (en) 2022-08-17 2024-04-05 국방과학연구소 Training method and apparatus for adversarial robustness of neural network model

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001272994A (en) * 2000-03-27 2001-10-05 Ricoh Co Ltd Device and method for study, device and method for recognizing pattern, and recording medium
JP2007299387A (en) * 1994-10-13 2007-11-15 Stephen L Thaler Device for the autonomous generation of useful information
KR20170083419A (en) * 2016-01-08 2017-07-18 마우키스튜디오 주식회사 Deep learning model training method using many unlabeled training data and deep learning system performing the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007299387A (en) * 1994-10-13 2007-11-15 Stephen L Thaler Device for the autonomous generation of useful information
JP2001272994A (en) * 2000-03-27 2001-10-05 Ricoh Co Ltd Device and method for study, device and method for recognizing pattern, and recording medium
KR20170083419A (en) * 2016-01-08 2017-07-18 마우키스튜디오 주식회사 Deep learning model training method using many unlabeled training data and deep learning system performing the same

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190061446A (en) * 2017-11-28 2019-06-05 공주대학교 산학협력단 Apparatus for generating adversarial example in deep learning environment and method thereof, computer program
DE102020201164A1 (en) 2019-02-01 2020-08-06 Lg Electronics Inc. Laundry treatment machine and control method therefor
KR20210048100A (en) * 2019-10-23 2021-05-03 서울대학교산학협력단 Condition monitoring data generating apparatus and method using generative adversarial network
KR102354145B1 (en) * 2020-10-23 2022-01-24 광주과학기술원 A logit adjustment and memory management method for incremental mearning
CN113627597A (en) * 2021-08-12 2021-11-09 上海大学 Countermeasure sample generation method and system based on general disturbance
CN113627597B (en) * 2021-08-12 2023-10-13 上海大学 Method and system for generating countermeasure sample based on general disturbance
WO2024043541A1 (en) * 2022-08-25 2024-02-29 삼성전자주식회사 Receiver performing blind detection in wireless communication system, and operation method thereof

Also Published As

Publication number Publication date
KR102073808B1 (en) 2020-03-02

Similar Documents

Publication Publication Date Title
KR20190046099A (en) Apparatus and Method for Data Processing Based on Deep Neural Network
Xie et al. Activity pattern aware spectrum sensing: A CNN-based deep learning approach
Jeong et al. Ood-maml: Meta-learning for few-shot out-of-distribution detection and classification
Ma et al. Macow: Masked convolutional generative flow
US20180307947A1 (en) Cyclic generative adversarial network for unsupervised cross-domain image generation
Moussa et al. A novel face recognition approach based on genetic algorithm optimization
Chacon et al. Deep learning poison data attack detection
KR102318775B1 (en) Method for Adaptive EEG signal processing using reinforcement learning and System Using the same
KR102073935B1 (en) Modulation recognition for radil signal
Qiao et al. Hidden markov model based dynamic texture classification
Zuo et al. Filter pruning without damaging networks capacity
CN115913643A (en) Network intrusion detection method, system and medium based on countermeasure self-encoder
Shumailov et al. The taboo trap: Behavioural detection of adversarial samples
Sun et al. Learning low-dimensional state embeddings and metastable clusters from time series data
Wanda et al. DeepSentiment: Finding Malicious Sentiment in Online Social Network based on Dynamic Deep Learning.
Ning et al. A novel malware traffic classification method using semi-supervised learning
WO2021064856A1 (en) Robust learning device, robust learning method, program, and storage device
Krawczyk et al. Reacting to different types of concept drift with adaptive and incremental one-class classifiers
Malialis et al. Data augmentation on-the-fly and active learning in data stream classification
Li et al. Task-oriented communication with out-of-distribution detection: An information bottleneck framework
Zuo et al. Adaptive biometric authentication using nonlinear mappings on quality measures and verification scores
Pulugu et al. MACHINE LEARNING-BASED FACIAL RECOGNITION FOR VIDEO SURVEILLANCE SYSTEMS.
Zhang et al. Attention-based adversarial robust distillation in radio signal classifications for low-power IoT devices
KR102183672B1 (en) A Method of Association Learning for Domain Invariant Human Classifier with Convolutional Neural Networks and the method thereof
US20230035291A1 (en) Generating Authentication Template Filters Using One or More Machine-Learned Models

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant