KR20220030635A - 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치 및 방법 - Google Patents

적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치 및 방법 Download PDF

Info

Publication number
KR20220030635A
KR20220030635A KR1020200112229A KR20200112229A KR20220030635A KR 20220030635 A KR20220030635 A KR 20220030635A KR 1020200112229 A KR1020200112229 A KR 1020200112229A KR 20200112229 A KR20200112229 A KR 20200112229A KR 20220030635 A KR20220030635 A KR 20220030635A
Authority
KR
South Korea
Prior art keywords
image
neural network
input
deep neural
converted image
Prior art date
Application number
KR1020200112229A
Other languages
English (en)
Other versions
KR102598909B1 (ko
Inventor
최윤호
최석환
고동현
Original Assignee
부산대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부산대학교 산학협력단 filed Critical 부산대학교 산학협력단
Priority to KR1020200112229A priority Critical patent/KR102598909B1/ko
Publication of KR20220030635A publication Critical patent/KR20220030635A/ko
Application granted granted Critical
Publication of KR102598909B1 publication Critical patent/KR102598909B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 입력 이미지를 수신하고, 입력 이미지를 컨버전하여 컨버전된 이미지를 생성하고, 컨버전된 이미지에 적대적 공격이 발생되는 경우, 컨버전된 이미지가 적대적 공격에 의해서 변환되어 생성된 적대적 변환된 이미지를 인버전하여 인버전된 이미지를 생성하고, 인버전된 이미지를 심층 신경망 모델에 제공하는 입력 장치 및 방법에 관한 것이다.

Description

적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치 및 방법{APPARATUS AND METHOD FOR INPUTTING INTO DEEP NEURAL NETWORK MODEL TO BE ROBUST AGAINST ADVERSARIAL EXAMPLE}
이하의 일 실시 예들은 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치 및 방법을 제공하는데 있다.
딥 러닝(Deep Learning)은 기계가 사람처럼 생각하고 배울 수 있도록 하는 인공지능(AI) 기술을 의미하며, 인공신경망 이론을 기반으로 복잡한 비선형 문제를 기계가 스스로 학습하여 해결할 수 있도록 한다. 이러한 딥 러닝 기술을 적용하면 사람이 모든 판단 기준을 정해주지 않아도 컴퓨터가 스스로 인지, 추론 및 판단을 수행할 수 있어 패턴 분석 분야에서 광범위하게 적용되고 있다.
심층 신경망(DNN: Deep Neural Network)은 입력 계층(input layer)과 출력 계층(output layer) 사이에 복수 개의 은닉 계층(hidden layer)들로 이뤄진 인공 신경망(ANN: Artificial Neural Network)을 의미하며, 선형 맞춤(linear fitting)과 비선형 변환(nonlinear transformation or activation) 등을 반복적으로 수행한다.
심층 신경망은 이미지 인식, 음성 인식, 침입 감내 시스템(Intrusion Tolerance System) 및 자연어 처리(Natural Language Processing) 등 광범위한 분야에 적용되고 있어 그 보안 문제가 제기되어 왔다. 구체적으로, 입력 데이터에 야기된 미소 변조를 인간이 육안으로 인지할 수 없는 경우라도, 미소 변조가 발생한 입력 데이터는 심층 신경망이 입력 데이터의 클래스를 잘못 식별하도록 하는 문제점을 야기할 수 있다. 예를 들어, 심층 심경망을 통해 도로 표지판을 인식하여 주행하는 자율 주행 차량에 있어, 심층 심경망으로 입력되는 도로 표지판 이미지를 미소 변조시킴으로써 자율 주행 차량의 의도치 않는 동작이 유발되는 문제점이 존재한다(예: 좌회전 표시 이미지의 미소 변조가 자율 주행 차량의 우회전을 유발하는 경우). 상기한, 미소 변조된 입력 데이터를 적대적 사례(Adversarial Example)라 하며, 아래 도 1의 예와 같이 최소한의 이미지 변조를 통해 원래 이미지의 클래스와는 다른 클래스로 인식되도록 하는 것을 적대적 공격(adversarial attack)이라 한다.
도 1은 적대적 사례가 적용된 예를 도시한 도면이다.
정상적인 입력 이미지(110)를 심층 신경망으로 처리하면 심층 신경망은 입력 이미지(110)를 97.3%로 앵무새로 분석할 것이다.
하지만, 입력 이미지(110)에 적대적 사례(120)가 더해져서 생성된 미소 변조된 입력 이미지(130)의 경우, 사람의 눈으로는 여전히 앵무새로 판단될 것이나, 심층 신경망을 통해 분석하는 경우 88.9%로 책꽂이로 분석할 수 있다.
도 1과 같이, 사람은 동일하게 식별하나 심층 신경망에서 다르게 식별되도록 하는 적대적 사례를 입력 이미지에 적용하는 것을 적대적 공격이라 할 수 있다.
이러한, 적대적 공격을 방어하기 위해 많은 연구가 진행 중에 있으며 수행되었으며, 크게 모델 재학습 기법과 입력 변환 기법의 두 분류로 구분된다.
모델 재학습 기법은 딥러닝 모델을 견고하게 재학습하거나 새로운 모델로 학습하는 기법이다. 하지만 모델 재학습 기법은 딥러닝 모델을 재학습하는 과정에서 많은 자원을 필요로 하는 문제점이 존재한다.
입력 변환 기법은 적대적 사례가 딥러닝 모델에 입력되기 전에 노이즈 제거 등의 작업을 수행하는 기법이다.
하지만, 입력 변환 기법은 적대적 사례 뿐만 아니라 정상 입력에도 동일한 변환을 수행하기 때문에, 정상 입력에 대한 성능 감소가 발생하는 문제점이 존재한다.
본 발명은 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시 예에 따른 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치는, 입력 이미지를 수신하는 수신부; 상기 입력 이미지를 컨버전(conversion)하여 컨버전된 이미지를 생성하는 컨버전부; 상기 컨버전된 이미지에 적대적 공격이 발생되는 경우, 상기 컨버전된 이미지가 적대적 공격에 의해서 변환되어 생성된 적대적 변환된 이미지를 인버전(inversion)하여 인버전된 이미지를 생성하는 인버전부; 및 상기 인버전된 이미지를 심층 신경망 모델에 제공하는 송신부를 포함한다.
이때, 상기 인버전부는, 상기 컨버전 과정에서 상기 입력 이미지에 추가된 노이즈를 제거할 수 있다.
이때, 상기 인버전부는, 상기 컨버전된 이미지에 적대적 공격이 발생되는 않은 경우, 상기 컨버전된 이미지를 인버전하여 인버전된 이미지를 생성할 수 있다.
이때, 상기 컨버전부는, 상기 컨버전의 방법으로, Gaussian Random Noise(GRN), Fast Gradient Sign Method(FGSM), Basic Iterative Method (BIM), DeepFool 및 Carlini & Wagner’s　method(C&W Method) 중에서 어느 하나를 이용할 수 있다.
이때, 상기 컨버전을 통해서 상기 입력 이미지에 추가되는 노이즈는, 상기 적대적 공격에 의해서 상기 컨버전된 이미지에 추가되는 노이즈 보다 상대적으로 큰 것을 특징으로 할 수 있다.
본 발명의 일 실시 예에 따른 자동 주행 서비스에서 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치는 입력 이미지를 수신하고, 상기 입력 이미지를 컨버전하여 컨버전된 이미지를 생성하여 자동 주행 서버로 송신하는 자동 주행 클라이언트; 및 상기 컨버전된 이미지에 적대적 공격이 발생되는 경우, 상기 컨버전된 이미지가 적대적 공격에 의해서 변환되어 생성된 적대적 변환된 이미지를 인버전하여 인버전된 이미지를 생성하고, 상기 인버전된 이미지를 심층 신경망 모델에 제공하는 상기 자동 주행 서버를 포함한다.
이때, 상기 자동 주행 서버는, 상기 컨버전 과정에서 상기 입력 이미지에 추가된 노이즈를 제거할 수 있다.
이때, 상기 자동 주행 서버는, 상기 컨버전된 이미지에 적대적 공격이 발생되는 않은 경우, 상기 컨버전된 이미지를 인버전하여 인버전된 이미지를 생성할 수 있다.
본 발명의 일 실시 예에 따른 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 방법은, 입력 이미지를 수신하는 단계; 상기 입력 이미지를 컨버전하여 컨버전된 이미지를 생성하는 단계; 상기 컨버전된 이미지에 적대적 공격이 발생되는 경우, 상기 컨버전된 이미지가 적대적 공격에 의해서 변환되어 생성된 적대적 변환된 이미지를 인버전하여 인버전된 이미지를 생성하는 단계; 및 상기 인버전된 이미지를 심층 신경망 모델에 제공하는 단계를 포함한다.
이때, 상기 컨버전된 이미지에 적대적 공격이 발생되는 경우, 상기 컨버전된 이미지가 적대적 공격에 의해서 변환되어 생성된 적대적 변환된 이미지를 인버전하여 인버전된 이미지를 생성하는 단계는, 상기 컨버전 과정에서 상기 입력 이미지에 추가된 노이즈를 제거할 수 있다.
이때, 입력 방법은, 상기 컨버전된 이미지에 적대적 공격이 발생되는 않은 경우, 상기 컨버전된 이미지를 인버전하여 인버전된 이미지를 생성하는 단계를 더 포함할 수 있다.
이때, 상기 입력 이미지를 컨버전하여 컨버전된 이미지를 생성하는 단계는, 상기 컨버전의 방법으로, Gaussian Random Noise(GRN), Fast Gradient Sign Method(FGSM), Basic Iterative Method (BIM), DeepFool 및 Carlini & Wagner’s　method(C&W Method) 중에서 어느 하나를 이용할 수 있다.
이때, 상기 컨버전을 통해서 상기 입력 이미지에 추가되는 노이즈는, 상기 적대적 공격에 의해서 상기 컨버전된 이미지에 추가되는 노이즈 보다 상대적으로 큰 것을 특징으로 할 수 있다.
본 발명은 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 방법에 관한 것으로, 입력 이미지를 수신하고, 입력 이미지를 컨버전하여 컨버전된 이미지를 생성하고, 컨버전된 이미지에 적대적 공격이 발생되는 경우, 컨버전된 이미지가 적대적 공격에 의해서 변환되어 생성된 적대적 변환된 이미지를 인버전하여 인버전된 이미지를 생성하고, 인버전된 이미지를 심층 신경망 모델에 제공하는 기술로서, 딥러닝 모델의 재학습을 요구하지 않으며, 정상 입력 이미지에 대한 성능 감소가 발생하는 기존의 입력 변환 기법과 달리, 본 발명은 정상 입력 이미지에 대한 성능 유지도 가능한 효과를 가진다.
도 1은 심층 신경망 모델에 적대적 사례가 적용된 예를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 적대적 사례에 강인한 심층 신경망 모델을 위한 자동 주행 시스템의 계략적이 구성을 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치의 입력 이미지 처리 과정을 도시한 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 입력 장치에서 사용되는 컨버전 기술이 적용되었을 때의 예를 도시한 도면이다.
이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.
실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
또한, 실시 예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
어느 하나의 실시 예에 포함된 구성요소와, 공통적인 기능을 포함하는 구성요소는, 다른 실시 예에서 동일한 명칭을 사용하여 설명하기로 한다. 반대되는 기재가 없는 이상, 어느 하나의 실시 예에 기재한 설명은 다른 실시 예에도 적용될 수 있으며, 중복되는 범위에서 구체적인 설명은 생략하기로 한다.
이하에서는, 본 발명의 일 실시 예에 따른 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치 및 방법을 첨부된 도 1 내지 도 5를 참조하여 상세히 설명한다.
도 2는 본 발명의 일 실시 예에 따른 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치의 구성을 도시한 도면이다.
도 2를 참조하면, 본 발명의 입력 장치는 수신부(210), 컨버전부(220), 인버전부(240) 및 송신부(250)를 포함하여 구성될 수 있다.
수신부(210)는 심층 신경망 모델(260)에서 분석할 입력 이미지를 수신한다.
컨버전부(220)는 수신한 입력 이미지를 컨버전하여 컨버전된 이미지를 생성한다.
본 발명은 이미 손상된 입력 이미지에 대한 적대적 사례의 노이즈 크기는 손상되지 않은 입력 이미지에 대한 적대적 사례의 노이즈 크기보다 작다는 특징을 이용한 것이다.
또한, 컨버전을 통해서 입력 이미지에 추가되는 노이즈는 적대적 공격에 의해서 컨버전된 이미지에 추가되는 노이즈 보다 상대적으로 큰 것을 특징으로 할 수 있다.
즉, 컨버전을 통해 추가된 노이즈는 인버전 과정에서 제거되며, 컨버전의 노이즈보다 상대적으로 작은 크기를 가지는 적대적 사례의 노이즈는 컨버전으로 손상된 이미지에 추가되기 때문에 더더욱 컨버전으로 손상된 이미지에 추가 영향을 주기 어렵게 된다.
한편, 컨버전부(220)는 컨버전의 방법으로, Gaussian Random Noise(GRN), Fast Gradient Sign Method(FGSM), Basic Iterative Method (BIM), DeepFool 및 Carlini & Wagner’s　method(C&W Method) 중에서 어느 하나를 이용할 수 있다.
이 중에서 본 발명에 적용한 결과 효과가 가장 좋은 컨버전 방법은 DeepFool이고, DeepFool, C&W Method, BIM, FGSM, GRN의 순서로 효과가 좋았다.
도 5는 본 발명의 일 실시 예에 따른 입력 장치에서 사용되는 컨버전 기술이 적용되었을 때의 예를 도시한 도면이다.
도 5를 참조하면, 도 5는 입력 이미지(510)에 다섯 가지의 컨버전 기술이 적용되었을 때의 결과이다.
이때, GRN 이미지(520)는 입력 이미지(510)에 GRN의 컨버전 기법을 적용한 결과이다.
그리고, FGSM 이미지(530)는 입력 이미지(510)에 FGSM의 컨버전 기법을 적용한 결과이다.
그리고, BIM 이미지(540)는 입력 이미지(510)에 BIM의 컨버전 기법을 적용한 결과이다.
그리고, DeepFool 이미지(550)는 입력 이미지(510)에 DeepFool의 컨버전 기법을 적용한 결과이다.
그리고, C&W Method 이미지(560)는 입력 이미지(510)에 C&W Method의 컨버전 기법을 적용한 결과이다.
인버전부(240)는 컨버전된 이미지에 적대적 공격이 발생(230)되는 경우, 컨버전된 이미지가 적대적 공격에 의해서 변환되어 생성된 적대적 변환된 이미지를 인버전하여 인버전된 이미지를 생성한다.
인버전부(240)는 컨버전 과정에서 변환된 부분을 복원한다. 즉, 인버전부(240)는 컨버전 과정에서 입력 이미지에 추가된 노이즈를 제거한다.
이때, 적대적 공격 발생(230)은 인간이 육안으로 인지할 수 없는 정도의 변조로 심층 신경망 모델(260)에서 입력 이미지를 입력 이미지와 다르게 식별되도록 하는 입력 이미지에 추가되는 일종의 노이즈이다.
한편, 인버전부(240)는 컨버전된 이미지에 적대적 공격이 발생되는 않은 경우, 컨버전된 이미지를 인버전하여 인버전된 이미지를 생성한다.
송신부(250)는 인버전된 이미지를 심층 신경망 모델(260)로 송신한다.
심층 신경망 모델(260)은 인버전된 이미지를 분석하여 인버전된 이미지를 식별한다.
도 3은 본 발명의 일 실시 예에 따른 적대적 사례에 강인한 심층 신경망 모델을 위한 자동 주행 시스템의 계략적이 구성을 도시한 도면이다.
도 3을 참조하면, 본 발명의 자동 주행 시스템은 자동 주행 클라이언트(310) 및 자동 주행 서버(320)를 포함하여 구성될 수 있다.
자동 주행 클라이언트(310)는 수신부(210)를 통해서 입력 이미지를 수신하고, 컨버전부(220)을 통해서 입력 이미지를 컨버전하여 컨버전된 이미지를 생성하여 자동 주행 서버(3320)로 송신한다.
자동 주행 서버(320)는 수신된 이미지를 인버전부(240)를 통해서 인버전하여 인버전된 이미지를 생성하고, 인버전된 이미지를 심층 신경망 모델(260)에 제공한다.
이때, 수신된 이미지는 적대적 공격이 발생되지 않은 자동 주행 클라이언트(310)에서 송신된 컨버전된 이미지일 수 있고, 적대적 공격이 발생된 경우, 컨버전된 이미지가 적대적 공격에 의해서 변환되어 생성된 적대적 변환된 이미지일 수 있다.
자동 주행 서버(320)는 컨버전 과정에서 입력 이미지에 추가된 노이즈를 제거한다.
자동 주행 서버(320)에 포함된 심층 신경망 모델(260)은 인버전된 이미지를 분석하여 인버전된 이미지를 식별한다.
이하, 상기와 같이 구성된 본 발명에 따른 방법을 아래에서 도면을 참조하여 설명한다.
도 4는 본 발명의 일 실시 예에 따른 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치의 입력 이미지 처리 과정을 도시한 흐름도이다.
도 4를 참조하면, 입력 장치는 심층 신경망 모델에서 분석될 입력 이미지를 수신한다(410).
그리고, 입력 장치는 수신한 입력 이미지를 컨버전하여 컨버전된 이미지를 생성한다(412).
이때, 412단계는 컨버전의 방법으로, Gaussian Random Noise(GRN), Fast Gradient Sign Method(FGSM), Basic Iterative Method (BIM), DeepFool 및 Carlini & Wagner’s　method(C&W Method) 중에서 어느 하나를 이용할 수 있다.
412단계는 컨버전을 통해서 입력 이미지에 추가되는 노이즈는 추후 추가될지도 모르는 적대적 공격에 의해서 추가되는 노이즈보다 상대적으로 큰 것을 특징으로 할 수 있다.
그리고, 입력 장치는 컨버전된 이미지에 적대적 공격이 발생(414)되어 컨버전된 이미지에 적대적 공격에 의한 노이지가 추가되어 적대적 변환된 이미지가 생성되면(416), 적대적 변환된 이미지를 인버전하여 인버전된 이미지를 생성한다(418).
입력 장치는 418단게에서 인버전을 통해서 컨버전 과정에서 입력 이미지에 추가된 노이즈 제거한다. 즉, 입력 장치는 418단게에서 컨버전 과정에서 변환된 부분을 복원한다.
그리고, 입력 장치는 컨버전된 이미지에 적대적 공격이 발생(414)되지 않으면, 컨버전된 이미지를 인버전하여 인버전된 이미지를 생성한다(420). 즉, 입력 장치는 420단게에서 인버전을 통해서 컨버전 과정에서 입력 이미지에 추가된 노이즈 제거한다.
이후, 입력 장치는 인버전된 이미지를 심층 신경망 모델에 제공한다.
한편, 상술한 설명에서는 입력 장치에서 입력 이미지에 대해서 컨버전과 인버전을 1회씩 수행함을 설명하였습니다.
하지만, 본 발명은 컨버전과 인버전을 1회 수행하는 것에 한정하지 않으며, 여러 종류의 컨버전과 인버전을 여러 번 수행할 수도 있다.
예를 들어서, 제1 컨버전을 수행하고, 제2 컨버전을 수행한 이후에, 제2 컨버전에 대응하는 제2 인버전을 수행하고, 제2 컨버전에 대응하는 제1 인버전을 수행하는 방법이 적용될 수 있다.이때, 적대적 공격은 제2 컨버전과 저2 인버전 사이에서 발생할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.
210: 수신부
220: 컨버전부
230: 적대적 공격 발생
240: 인버전부
250: 송신부
260: 심층 신경망 모델

Claims (14)

  1. 입력 이미지를 수신하는 수신부;
    상기 입력 이미지를 컨버전하여 컨버전된 이미지를 생성하는 컨버전부;
    상기 컨버전된 이미지에 적대적 공격이 발생되는 경우, 상기 컨버전된 이미지가 적대적 공격에 의해서 변환되어 생성된 적대적 변환된 이미지를 인버전하여 인버전된 이미지를 생성하는 인버전부; 및
    상기 인버전된 이미지를 심층 신경망 모델에 제공하는 송신부
    를 포함하는 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치.
  2. 제1항에 있어서,
    상기 인버전부는,
    상기 컨버전 과정에서 상기 입력 이미지에 추가된 노이즈를 제거하는
    적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치.
  3. 제1항에 있어서,
    상기 인버전부는,
    상기 컨버전된 이미지에 적대적 공격이 발생되는 않은 경우, 상기 컨버전된 이미지를 인버전하여 인버전된 이미지를 생성하는
    적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치.
  4. 제1항에 있어서,
    상기 컨버전부는,
    상기 컨버전의 방법으로, Gaussian Random Noise(GRN), Fast Gradient Sign Method(FGSM), Basic Iterative Method (BIM), DeepFool 및 Carlini & Wagner’s　method(C&W Method) 중에서 어느 하나를 이용하는
    적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치.
  5. 제1항에 있어서,
    상기 컨버전을 통해서 상기 입력 이미지에 추가되는 노이즈는,
    상기 적대적 공격에 의해서 상기 컨버전된 이미지에 추가되는 노이즈 보다 상대적으로 큰 것을 특징으로 하는
    적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치.
  6. 입력 이미지를 수신하고, 상기 입력 이미지를 컨버전하여 컨버전된 이미지를 생성하여 자동 주행 서버로 송신하는 자동 주행 클라이언트; 및
    상기 컨버전된 이미지에 적대적 공격이 발생되는 경우, 상기 컨버전된 이미지가 적대적 공격에 의해서 변환되어 생성된 적대적 변환된 이미지를 인버전하여 인버전된 이미지를 생성하고, 상기 인버전된 이미지를 심층 신경망 모델에 제공하는 상기 자동 주행 서버
    를 포함하는 자동 주행 서비스에서 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치.
  7. 제6항에 있어서,
    상기 자동 주행 서버는,
    상기 컨버전 과정에서 상기 입력 이미지에 추가된 노이즈를 제거하는
    자동 주행 서비스에서 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치.
  8. 제6항에 있어서,
    상기 자동 주행 서버는,
    상기 컨버전된 이미지에 적대적 공격이 발생되는 않은 경우, 상기 컨버전된 이미지를 인버전하여 인버전된 이미지를 생성하는
    자동 주행 서비스에서 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치.
  9. 입력 이미지를 수신하는 단계;
    상기 입력 이미지를 컨버전하여 컨버전된 이미지를 생성하는 단계;
    상기 컨버전된 이미지에 적대적 공격이 발생되는 경우, 상기 컨버전된 이미지가 적대적 공격에 의해서 변환되어 생성된 적대적 변환된 이미지를 인버전하여 인버전된 이미지를 생성하는 단계; 및
    상기 인버전된 이미지를 심층 신경망 모델에 제공하는 단계
    를 포함하는 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 방법.
  10. 제9항에 있어서,
    상기 컨버전된 이미지에 적대적 공격이 발생되는 경우, 상기 컨버전된 이미지가 적대적 공격에 의해서 변환되어 생성된 적대적 변환된 이미지를 인버전하여 인버전된 이미지를 생성하는 단계는,
    상기 컨버전 과정에서 상기 입력 이미지에 추가된 노이즈를 제거하는
    적대적 사례에 강인한 심층 신경망 모델을 위한 입력 방법.
  11. 제9항에 있어서,
    상기 컨버전된 이미지에 적대적 공격이 발생되는 않은 경우, 상기 컨버전된 이미지를 인버전하여 인버전된 이미지를 생성하는 단계
    를 더 포함하는 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 방법.
  12. 제9항에 있어서,
    상기 입력 이미지를 컨버전하여 컨버전된 이미지를 생성하는 단계는,
    상기 컨버전의 방법으로, Gaussian Random Noise(GRN), Fast Gradient Sign Method(FGSM), Basic Iterative Method (BIM), DeepFool 및 Carlini & Wagner’s　method(C&W Method) 중에서 어느 하나를 이용하는
    적대적 사례에 강인한 심층 신경망 모델을 위한 입력 방법.
  13. 제9항에 있어서,
    상기 컨버전을 통해서 상기 입력 이미지에 추가되는 노이즈는,
    상기 적대적 공격에 의해서 상기 컨버전된 이미지에 추가되는 노이즈 보다 상대적으로 큰 것을 특징으로 하는
    적대적 사례에 강인한 심층 신경망 모델을 위한 입력 방법.
  14. 제9항 내지 제13항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록되어 있는 것을 특징으로 하는 컴퓨터에서 판독 가능한 기록 매체.
KR1020200112229A 2020-09-03 2020-09-03 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치 및 방법 KR102598909B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200112229A KR102598909B1 (ko) 2020-09-03 2020-09-03 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200112229A KR102598909B1 (ko) 2020-09-03 2020-09-03 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20220030635A true KR20220030635A (ko) 2022-03-11
KR102598909B1 KR102598909B1 (ko) 2023-11-06

Family

ID=80814569

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200112229A KR102598909B1 (ko) 2020-09-03 2020-09-03 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102598909B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024025152A1 (ko) * 2022-07-27 2024-02-01 숭실대학교 산학협력단 디노이징 네트워크와 심층신경망을 동시에 훈련시키는 적대적 학습장치, 방법 및 이를 실행하기 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체
WO2024029669A1 (ko) * 2022-08-03 2024-02-08 숭실대학교 산학협력단 적대적 이미지 복원 시스템 및 적대적 이미지 복원 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190136893A (ko) * 2018-05-30 2019-12-10 카네기 멜론 유니버시티 강건한 자동화 학습 시스템을 생성하고 훈련된 자동화 학습 시스템을 시험하기 위한 방법, 장치 및 컴퓨터 프로그램
KR20200068607A (ko) * 2018-12-05 2020-06-15 건국대학교 산학협력단 이미지 조작 공격을 디노이징하기 위한 이미지 보정 방법 및 이를 수행하는 장치들
KR20200080424A (ko) * 2018-12-19 2020-07-07 네이버 주식회사 딥 네트워크에 대한 적대적 공격을 방어하기 위한 시스템 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190136893A (ko) * 2018-05-30 2019-12-10 카네기 멜론 유니버시티 강건한 자동화 학습 시스템을 생성하고 훈련된 자동화 학습 시스템을 시험하기 위한 방법, 장치 및 컴퓨터 프로그램
KR20200068607A (ko) * 2018-12-05 2020-06-15 건국대학교 산학협력단 이미지 조작 공격을 디노이징하기 위한 이미지 보정 방법 및 이를 수행하는 장치들
KR20200080424A (ko) * 2018-12-19 2020-07-07 네이버 주식회사 딥 네트워크에 대한 적대적 공격을 방어하기 위한 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024025152A1 (ko) * 2022-07-27 2024-02-01 숭실대학교 산학협력단 디노이징 네트워크와 심층신경망을 동시에 훈련시키는 적대적 학습장치, 방법 및 이를 실행하기 위한 프로그램을 기록한 컴퓨터 판독가능한 기록매체
WO2024029669A1 (ko) * 2022-08-03 2024-02-08 숭실대학교 산학협력단 적대적 이미지 복원 시스템 및 적대적 이미지 복원 방법

Also Published As

Publication number Publication date
KR102598909B1 (ko) 2023-11-06

Similar Documents

Publication Publication Date Title
KR102184787B1 (ko) 개인 정보를 보호하기 위하여 원본 데이터를 컨실링 처리하여 생성된 변조 데이터를 인식하기 위해 사용되는 사용자 러닝 네트워크를 학습하는 방법 및 테스트하는 방법, 그리고 이를 이용한 학습 장치 및 테스트 장치
US11334467B2 (en) Representing source code in vector space to detect errors
KR20220030635A (ko) 적대적 사례에 강인한 심층 신경망 모델을 위한 입력 장치 및 방법
US11416743B2 (en) Swarm fair deep reinforcement learning
KR20200128938A (ko) 모델 학습 방법 및 장치
US11817103B2 (en) Pattern recognition apparatus, pattern recognition method, and storage medium
CN111488979B (zh) 设备上持续学习用于分析输入数据的神经网络的方法及装置
KR20200080681A (ko) 음성 합성 방법 및 장치
CN112333623A (zh) 使用图像信息的基于空间的音频对象生成
JP2020123345A (ja) Ｇａｎを用いて仮想世界における仮想データから取得したトレーニングデータを生成して、自律走行用ニューラルネットワークの学習プロセスに必要なアノテーションコストを削減する学習方法や学習装置、それを利用したテスト方法やテスト装置
US11410030B2 (en) Active imitation learning in high dimensional continuous environments
KR20200030789A (ko) 음성 인식 방법 및 장치
CN115331275A (zh) 图像处理的方法、计算机系统、电子设备和程序产品
KR20220089870A (ko) 신경망 모델 학습 방법 및 장치, 컴퓨터 프로그램
KR102317762B1 (ko) 기만 공격을 위한 대체 모델 재학습 장치 및 방법, 기만 공격 장치
US10991363B2 (en) Priors adaptation for conservative training of acoustic model
CN113569062A (zh) 一种知识图谱补全方法与系统
JP6970461B2 (ja) スマートフォン、ドローン、船舶または軍事的目的のための、トレーニングイメージの最適化サンプリングにより入力データを分析するニューラルネットワークのオンデバイス継続学習方法及び装置、そして、これを利用したテスト方法及び装置
Heo et al. Reinforcement learning of graph neural networks for service function chaining
CN116580694A (zh) 音频对抗样本生成方法、装置、设备及存储介质
US20220253705A1 (en) Method, device and computer readable storage medium for data processing
KR102392576B1 (ko) 인공 지능 모델의 무결성 검증 방법과 이를 수행하기 위한 컴퓨팅 장치 및 시스템
US20230169176A1 (en) Graph exploration framework for adversarial example generation
Xu et al. Conv-Reluplex: A Verification Framework For Convolution Neural Networks (S).
KR20220114209A (ko) 연사 영상 기반의 영상 복원 방법 및 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant