KR102317762B1 - 기만 공격을 위한 대체 모델 재학습 장치 및 방법, 기만 공격 장치 - Google Patents

기만 공격을 위한 대체 모델 재학습 장치 및 방법, 기만 공격 장치 Download PDF

Info

Publication number
KR102317762B1
KR102317762B1 KR1020190143623A KR20190143623A KR102317762B1 KR 102317762 B1 KR102317762 B1 KR 102317762B1 KR 1020190143623 A KR1020190143623 A KR 1020190143623A KR 20190143623 A KR20190143623 A KR 20190143623A KR 102317762 B1 KR102317762 B1 KR 102317762B1
Authority
KR
South Korea
Prior art keywords
model
data
label
target
attack
Prior art date
Application number
KR1020190143623A
Other languages
English (en)
Other versions
KR20210056766A (ko
Inventor
박호성
최대선
Original Assignee
공주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 공주대학교 산학협력단 filed Critical 공주대학교 산학협력단
Priority to KR1020190143623A priority Critical patent/KR102317762B1/ko
Priority to PCT/KR2019/018161 priority patent/WO2021095984A1/ko
Publication of KR20210056766A publication Critical patent/KR20210056766A/ko
Application granted granted Critical
Publication of KR102317762B1 publication Critical patent/KR102317762B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00—Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40—Network security protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/906—Clustering; Classification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
    • H04L63/1441—Countermeasures against malicious traffic

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Hardware Design (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Stored Programmes (AREA)

Abstract

본 발명은 기만 공격을 위한 대체 모델 재학습 장치 및 방법, 기만 공격 장치에 관한 것으로서, 신경망(Neural Network)을 통해 입력 데이터의 레이블(Label)을 분류하도록 학습된 타겟 모델과 동일한 타입으로 기 학습되어 있는 대체 모델을 토대로, 원본 데이터로부터 타겟 모델이 원본 데이터의 레이블을 오분류하도록 하기 위한 특정 공격 데이터를 생성하여 타겟 모델에 대한 쿼리(query)로서 타겟 모델로 입력하고, 쿼리에 대한 응답으로 타겟 모델이 특정 공격 데이터의 레이블을 분류한 분류 결과를 획득하고, 획득된 분류 결과 및 특정 공격 데이터를 기반으로 대체 모델이 타겟 모델을 부분적으로 모사하도록 대체 모델을 재학습시키는 것을 특징으로 한다.

Description

기만 공격을 위한 대체 모델 재학습 장치 및 방법, 기만 공격 장치{APPARATUS AND METHOD OF RETRAINING SUBSTITUTE MODEL FOR EVASION ATTACK, EVASION ATTACK APPARATUS}
본 발명은 기만 공격을 위한 대체 모델 재학습 장치 및 방법, 기만 공격 장치에 관한 것으로서, 더욱 상세하게는 블랙박스(Black Box) 환경에서 타겟 모델에 대한 기만 공격을 위해 요구되는 대체 모델을 재학습하고, 재학습된 대체 모델을 토대로 기만 공격을 수행하는 기만 공격을 위한 대체 모델 재학습 장치 및 방법. 기만 공격 장치에 관한 것이다.
딥 러닝(Deep Learning)은 기계가 사람처럼 생각하고 배울 수 있도록 하는 인공지능(AI) 기술을 의미하며, 인공신경망 이론을 기반으로 복잡한 비선형 문제를 기계가 스스로 학습하여 해결할 수 있도록 한다. 이러한 딥 러닝 기술을 적용하면 사람이 모든 판단 기준을 정해주지 않아도 컴퓨터가 스스로 인지, 추론 및 판단을 수행할 수 있어 패턴 분석 분야에서 광범위하게 적용되고 있다.
심층 신경망(DNN: Deep Neural Network)은 입력 계층(input layer)과 출력 계층(output layer) 사이에 복수 개의 은닉 계층(hidden layer)들로 이뤄진 인공 신경망(ANN: Artificial Neural Network)을 의미하며, 선형 맞춤(linear fitting)과 비선형 변환(nonlinear transformation or activation) 등을 반복적으로 수행한다.
심층 신경망은 이미지 인식, 음성 인식, 침입 감내 시스템(Intrusion Tolerance System) 및 자연어 처리(Natural Language Processing) 등 광범위한 분야에 적용되고 있어 그 보안 문제가 제기되어 왔다. 구체적으로, 입력 데이터에 야기된 미소 변조를 인간이 육안으로 인지할 수 없는 경우라도, 미소 변조가 발생한 입력 데이터는 심층 신경망이 입력 데이터의 클래스를 잘못 식별하도록 하는 문제점을 야기할 수 있다. 예를 들어, 심층 심경망을 통해 도로 표지판을 인식하여 주행하는 자율 주행 차량에 있어, 심층 심경망으로 입력되는 도로 표지판 이미지를 미소 변조시킴으로써 자율 주행 차량의 의도치 않는 동작이 유발되는 문제점이 존재한다(예: 좌회전 표시 이미지의 미소 변조가 자율 주행 차량의 우회전을 유발하는 경우). 상기한, 미소 변조된 입력 데이터를 적대적 예제(Adversarial Example)라 하며, 최소한의 이미지 변조를 통해 원래 이미지의 클래스와는 다른 클래스로 인식되도록 하는 것을 Evasion Attack(기만 공격, 또는 회피 공격)이라 한다. 이러한 적대적 예제는 활용 분야에 따라 유용하게 활용될 수도 있으며, 예를 들어 전장(battle field)에서 도로 표시 이미지를 미소 변조시켜 적대적 예제를 생성함으로써 심층 심경망이 적용된 적군의 자율 주행 차량의 오동작을 유도하는 경우가 이에 속할 수 있다.
본 발명의 배경기술은 대한민국 공개특허공보 제10-2017-0095582호(2017.08.23. 공개)에 개시되어 있다.
전술한 기만 공격의 종류로서 화이트박스 공격(White Box Attack) 및 블랙박스 공격(Black Box Attack)이 존재한다. 화이트박스 공격은 공격자가 제한없이 공격 대상이 되는 타겟 모델(즉, 신경망(DNN: Deep Neural Network)을 통해 입력 데이터의 레이블을 분류하도록 딥 러닝(Deep Learning)에 따라 학습된 공격 대상 모델)에 접근 가능하거나 타겟 모델과 동일한 모델을 소유함에 따라, 타겟 모델에 대한 모든 정보(모델 아키텍처, 파라미터, 학습 데이터, 레이블 및 분류 확률 등)를 파악할 수 있으며, 따라서 보다 정확한(precise) 적대적 예제를 생성하여 타겟 모델을 공격함으로써 100%에 가까운 공격 성공율을 보이고 있다.
반면, 블랙박스 공격은 공격자가 타겟 모델의 정보를 파악할 수 없는 환경을 가정한다. 현재 상용화된 DNN 기반의 타겟 모델은 적대적 예제와 같은 보안 위협을 방지하기 위해 모델과 관련된 정보를 제공하지 않으며, 따라서 블랙박스 공격은 타겟 모델로 쿼리(질의, query)를 보내고 그에 대한 분류 결과인 레이블을 획득하여 타겟 모델을 모사(emulate)하는 대체 모델을 생성한 후, 생성된 대체 모델을 토대로 적대적 예제를 생성하여 타겟 모델을 공격하는 방식으로 이루어져 있다.
상기의 블랙박스 공격 방식에 따를 때, 타겟 모델을 모사하는 대체 모델을 새롭게 학습하여 구성해야 함에 따라 타겟 모델로 무수히 많은 쿼리를 보내야 하는 한계가 존재한다. 상용화된 타겟 모델은 기만 공격을 비롯하여 다양한 보안 위협에 대비하기 위해 같은 사용자에 의한 쿼리의 수를 제한하는 점을 고려할 때, 타겟 모델에 대한 현실적인(practical) 공격을 위해서는 제한된 쿼리 환경을 고려하여 타겟 모델에 대한 쿼리의 수를 최소화할 필요가 있다.
본 발명은 전술한 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 블랙박스 환경에서 타겟 모델에 대한 기만 공격을 위해 요구되는 대체 모델을 학습시킬 때 타겟 모델에 대한 쿼리의 수를 최소화시킴으로써 타겟 모델에 대한 보다 현실적인 공격이 가능하도록 하는 기만 공격을 위한 대체 모델 재학습 장치 및 방법, 기만 공격 장치를 제공하는 것이다.
본 발명의 일 측면에 따른 기만 공격을 위한 대체 모델 재학습 장치는, 신경망(Neural Network)을 통해 입력 데이터의 레이블(Label)을 분류하도록 학습된 타겟 모델과 동일한 타입으로 기 학습되어 있는 대체 모델을 토대로, 원본 데이터로부터 상기 타겟 모델이 상기 원본 데이터의 레이블을 오분류하도록 하기 위한 특정 공격 데이터를 생성하여 상기 타겟 모델에 대한 쿼리(query)로서 상기 타겟 모델로 입력하고, 상기 쿼리에 대한 응답으로 상기 타겟 모델이 상기 특정 공격 데이터의 레이블을 분류한 분류 결과를 획득하고, 상기 획득된 분류 결과 및 상기 특정 공격 데이터를 기반으로 상기 대체 모델이 상기 타겟 모델을 부분적으로 모사하도록 상기 대체 모델을 재학습시키는 것을 특징으로 한다.
본 발명에 있어 상기 기만 공격을 위한 대체 모델 재학습 장치는, 상기 대체 모델을 토대로, 상기 원본 데이터에 I-FGSM(Iterative Fast Gradient Sign Method) 알고리즘 또는 C&W(Carlini and Wagner) 알고리즘을 적용하여 상기 특정 공격 데이터를 생성하는 것을 특징으로 한다.
본 발명에 있어 상기 기만 공격을 위한 대체 모델 재학습 장치는, 상기 타겟 모델로부터 획득된 분류 결과가 상기 원본 데이터의 원본 레이블에 해당하는 경우, 상기 대체 모델이 상기 특정 공격 데이터의 레이블을 상기 원본 레이블로 분류하여 상기 대체 모델이 상기 타겟 모델을 부분적으로 모사하도록 상기 대체 모델을 재학습시키는 것을 특징으로 한다.
본 발명에 있어 상기 타겟 모델에는 입력 데이터의 레이블을 분류하기 위한 레이블 간의 경계인 제1 분류 경계가 반영되어 있고, 상기 대체 모델에는 입력 데이터의 레이블을 분류하기 위한 레이블 간의 경계인, 상기 제1 분류 경계와 상이한 제2 분류 경계가 반영되어 있으며, 상기 기만 공격을 위한 대체 모델 재학습 장치는, 상기 대체 모델을 재학습시키기 위해 요구되는 쿼리의 수가 제한될 수 있도록, 상기 제2 분류 경계 중 상기 특정 공격 데이터에 대응하는 유효 영역만이 상기 제1 분류 경계를 모사하도록 하는 방식으로 상기 대체 모델을 재학습시키는 것을 특징으로 한다.
본 발명에 있어 상기 기만 공격을 위한 대체 모델 재학습 장치는, 상기 대체 모델이 상기 특정 공격 데이터의 레이블을 상기 원본 레이블로 분류할 때까지 상기 특정 공격 데이터를 상기 대체 모델에 반복적으로 입력하는 방식으로 상기 대체 모델을 재학습시키는 것을 특징으로 한다.
본 발명에 있어 상기 기만 공격을 위한 대체 모델 재학습 장치는, 상기 재학습된 대체 모델을 토대로, 상기 원본 데이터로부터 차기 특정 공격 데이터를 생성하여 상기 타겟 모델에 대한 쿼리로서 상기 타겟 모델로 입력하고, 상기 타겟 모델이 상기 차기 특정 공격 데이터의 레이블을 분류한 분류 결과가 상기 원본 데이터의 원본 레이블에 해당하는 경우, 상기 대체 모델을 후속적으로 재학습시키는 것을 특징으로 한다.
본 발명에 있어 상기 기만 공격을 위한 대체 모델 재학습 장치는, 상기 타겟 모델이, 해당 특정 공격 데이터의 레이블을, 상기 타겟 모델의 오분류 대상이 되는 타겟 레이블로 분류할 때까지 상기 대체 모델에 대한 후속적 재학습을 반복하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 기만 공격을 위한 대체 모델 재학습 방법은 신경망(Neural Network)을 통해 입력 데이터의 레이블(Label)을 분류하도록 학습된 타겟 모델과 동일한 타입으로 기 학습되어 있는 대체 모델을 토대로, 원본 데이터로부터 상기 타겟 모델이 상기 원본 데이터의 레이블을 오분류하도록 하기 위한 특정 공격 데이터를 생성하는 단계, 상기 생성한 특정 공격 데이터를 상기 타겟 모델에 대한 쿼리(query)로서 상기 타겟 모델로 입력하는 단계, 상기 쿼리에 대한 응답으로 상기 타겟 모델이 상기 특정 공격 데이터의 레이블을 분류한 분류 결과를 획득하는 단계, 및 상기 획득된 분류 결과 및 상기 특정 공격 데이터를 기반으로 상기 대체 모델이 상기 타겟 모델을 부분적으로 모사하도록 상기 대체 모델을 재학습시키는 단계를 포함하는 것을 특징으로 한다.
본 발명의 일 측면에 따른 기만 공격 장치는 신경망(Neural Network)을 통해 입력 데이터의 레이블(Label)을 분류하도록 학습된 타겟 모델과 동일한 타입으로 기 학습되어 있는 대체 모델을 토대로, 원본 데이터로부터 상기 타겟 모델이 상기 원본 데이터의 레이블을 오분류하도록 하기 위한 특정 공격 데이터를 생성하여 상기 타겟 모델에 대한 쿼리(query)로서 상기 타겟 모델로 입력하고, 상기 쿼리에 대한 응답으로 상기 타겟 모델이 상기 특정 공격 데이터의 레이블을 분류한 분류 결과를 획득하고, 상기 획득된 분류 결과 및 상기 특정 공격 데이터를 기반으로 상기 대체 모델이 상기 타겟 모델을 부분적으로 모사하도록 상기 대체 모델을 재학습시키며, 상기 재학습된 대체 모델을 토대로, 상기 원본 데이터로부터 차기 특정 공격 데이터를 생성하고, 상기 생성된 차기 특정 공격 데이터를 상기 타겟 모델로 입력하여 상기 원본 데이터의 레이블에 대한 상기 타겟 모델의 오분류를 야기하는 것을 특징으로 한다.
본 발명의 일 측면에 따르면, 본 발명은 블랙박스 환경에서 타겟 모델에 대한 기만 공격을 위해 요구되는 대체 모델을 학습시킬 때, 현재의 공격 데이터(즉, Adversarial Example)를 기준으로 대체 모델이 타겟 모델을 부분적으로 모사하도록 대체 모델을 재학습시키는 방식을 적용함으로써, 타겟 모델에 대한 쿼리의 수를 최소화시켜 타겟 모델에 대한 보다 현실적인 공격이 가능하도록 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 기만 공격을 위한 대체 모델 재학습 장치와 기만 공격 장치의 동작을 설명하기 위한 예시도이다.
도 2는 본 발명의 일 실시예에 따른 기만 공격을 위한 대체 모델 재학습 장치에서 대체 모델이 타겟 모델을 부분적으로 모사하도록 하는 방식으로 대체 모델을 재학습시키는 과정을 보인 예시도이다.
도 3은 본 발명의 일 실시예에 따른 기만 공격을 위한 대체 모델 재학습 방법을 설명하기 위한 흐름도이다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 기만 공격을 위한 대체 모델 재학습 장치 및 방법, 기만 공격 장치의 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 기만 공격을 위한 대체 모델 재학습 장치와 기만 공격 장치의 동작을 설명하기 위한 예시도이고, 도 2는 본 발명의 일 실시예에 따른 기만 공격을 위한 대체 모델 재학습 장치에서 대체 모델이 타겟 모델을 부분적으로 모사하도록 하는 방식으로 대체 모델을 재학습시키는 과정을 보인 예시도이다.
먼저, 본 실시예의 기만 공격을 위한 대체 모델 재학습 장치(1)의 구체적인 동작 설명에 앞서 타겟 모델(TARGET MODEL) 및 대체 모델(SUBSTITUTE MODEL)의 의미에 대하여 설명한다.
타겟 모델(TARGET MODEL)은 신경망(예: Deep Neural Network)을 통해 입력 데이터의 레이블(Label)을 분류하도록 학습된, 본 실시예의 기만 공격 장치의 공격 대상이 되는 딥 러닝 모델을 의미한다. 즉, 도 1에 도시된 것과 같이 학습 데이터 및 학습 알고리즘에 의해 현재 입력된 입력 데이터의 레이블(Label, 클래스(Class)와 동일한 개념이다)을 분류하는 분류기가 적용된 분류 모델을 의미하며, 타겟 모델의 분류기는 이를테면 얼굴 인식기(이미지 분류) 또는 음성 인식기(음성 분류) 등 현재 상용화된 딥 러닝 기반 분류기를 의미할 수 있다. 본 실시예는 공격자가 타겟 모델의 정보를 파악할 수 없는 블랙박스 환경을 가정하며, 또한 타겟 모델은 기만 공격을 비롯한 보안 위협을 방지하기 위해 타겟 모델로 입력되는 쿼리(질의, query)의 수를 제한하고 있을 수 있다.
대체 모델(SUBSTITUTE MODEL)은 타겟 모델의 정보를 파악할 수 없는 블랙박스 환경에서 타겟 모델을 공격하기 위해 요구되는, 타겟 모델을 모사(emulate)한 분류 모델을 의미한다. 본 실시예의 대체 모델은 타겟 모델과 동일한 타입으로 기 학습되어 있을 수 있다. 즉, 타겟 모델에 대한 쿼리 입력을 통해 대체 모델을 처음부터 학습하여 구축함에 따라 매우 많은 수의 쿼리가 요구되었던 종래의 한계를 벗어나, 본 실시에는 타겟 모델과 동일한 타입으로 기 학습되어 있는 대체 모델을 채용한 후 재학습시킴으로써 쿼리의 수를 감소시키는 구성을 제시하며, 이러한 기 학습되어 있는 대체 모델은 오픈 소스(Open Source)를 통해 확보될 수 있다. 또한, 타겟 모델과 동일한 타입으로 기 학습되어 있다는 것은, 타겟 모델과 동일한 목적(즉, 이미지 분류 또는 음성 분류 등)을 갖는 모델을 본 실시예의 대체 모델로서 채용함을 의미한다. 즉, 타겟 모델과 그 분류 결과가 완벽히 일치하지는 않더라도(타겟 모델에 대한 모사는 후술하는 재학습을 통해 점진적으로 보완될 수 있다) 현재 오픈 소스 등으로 제공되는 분류 모델 중 타겟 모델과 동일한 목적을 가지며 그 분류 성능이 잘 학습된 모델을 대체 모델로 채용함으로써, 대체 모델 학습에 필요한 학습 데이터의 개수와 쿼리의 수를 감소시킬 수 있다.
상기와 같은 대체 모델을 토대로 타겟 모델을 공격하기 위한, 본 실시예의 기만 공격을 위한 대체 모델 재학습 장치와 기만 공격 장치는 마이크로프로세서(microprocessor) 또는 마이크로컨트롤러(microcontroller)와 같은 소정의 컴퓨팅 디바이스(computing device)로 구현될 수 있다.
전술한 타겟 모델 및 대체 모델에 대한 의미를 바탕으로, 이하에서는 본 실시예의 기만 공격을 위한 대체 모델 재학습 장치(이하, 재학습 장치)의 동작을 구체적으로 설명한다.
먼저, 재학습 장치는 전술한 대체 모델(아직 재학습이 이루어지기 전의 대체 모델을 의미한다)을 토대로, 원본 데이터로부터 타겟 모델이 원본 데이터의 레이블을 오분류하도록 하기 위한 특정 공격 데이터를 생성하여 타겟 모델에 대한 쿼리로서 타겟 모델로 입력할 수 있다(원본 데이터는, 예를 들어 타겟 모델 및 대체 모델이 얼굴 인식기인 경우, 원본 이미지 데이터를 의미할 수 있다). 후술하는 것과 같이 본 실시예는 타겟 모델로 현재 입력된 공격 데이터에 포커싱을 맞춰 대체 모델 상의 레이블 분류 경계를 부분적으로 변경하는 구성을 채용하며, '현재의 공격 데이터'의 의미를 명확히 하기 위해 '특정' 공격 데이터의 용어로 표기하였다.
특정 공격 데이터를 생성하는 과정을 예시로서 설명하면, 원본 데이터의 원본 레이블이 '2'에 해당하는 상태에서, 타겟 모델의 오분류 대상이 되는 타겟 레이블을 '1'로 목표하는 경우(즉, 타겟 모델로 하여금 레이블 '2'가 아닌 레이블 '1'로 오분류하도록 하고자 하는 경우), 재학습 장치는 타겟 모델이 원본 데이터의 레이블을 '1'로 오분류하도록 하기 위한 특정 공격 데이터를 원본 데이터로부터 생성하여 쿼리로서 타겟 모델로 입력할 수 있다.
이 경우, 재학습 장치는 대체 모델을 토대로, 원본 데이터에 I-FGSM(Iterative Fast Gradient Sign Method) 알고리즘 또는 C&W(Carlini and Wagner) 알고리즘을 적용하여 특정 공격 데이터를 생성할 수 있다. 즉, 재학습 장치는 대체 모델의 원본 데이터 레이블 분류에 대한 확률 파라미터를 I-FGSM 알고리즘 또는 C&W 알고리즘에 적용하는 방식으로, 타겟 모델이 원본 데이터의 레이블을 상기의 타겟 레이블로 오분류하도록 하기 위한 특정 공격 데이터를 생성할 수 있다. 이러한 공격 데이터 생성 방법은 일반적인 화이트박스 공격 방식에 따르며, I-FGSM 알고리즘 또는 C&W 알고리즘에 따라 공격 데이터를 생성하는 과정은 주지된 것이므로 구체적인 설명은 생략한다.
특정 공격 데이터가 생성되어 쿼리로서 타겟 모델로 입력된 후, 재학습 장치는 쿼리에 대한 응답으로 타겟 모델이 특정 공격 데이터의 레이블을 분류한 결과를 획득하고, 획득된 분류 결과(즉, 레이블)와 타겟 모델로 입력한 특정 공격 데이터를 기반으로 대체 모델이 타겟 모델을 부분적으로 모사하도록 대체 모델을 재학습시킬 수 있다.
대체 모델에 대한 재학습 과정에 대하여 구체적으로 설명하면, 재학습 장치는 타겟 모델로부터 획득된 분류 결과가 원본 데이터의 원본 레이블에 해당하는 경우, 대체 모델이 특정 공격 데이터의 레이블을 원본 레이블로 분류하여 대체 모델이 타겟 모델을 부분적으로 모사하도록 대체 모델을 재학습시킬 수 있다.
즉, 타겟 모델이 특정 공격 데이터의 레이블을 분류한 분류 결과가 의도하였던 타겟 레이블이 아닌 원본 레이블에 해당한다는 것은, 대체 모델은 특정 공격 데이터의 레이블을 타겟 레이블로 분류하는 반면(∵특정 공격 데이터는 대체 모델을 토대로 생성되었기 때문), 타겟 모델은 특정 공격 데이터의 레이블을 원본 레이블로 분류함을 의미하며, 이러한 공격 실패는 적어도 현재 타겟 모델로 입력된 특정 공격 데이터에 한해서는 대체 모델이 타겟 모델을 충분히 모사하지 못하고 있음을 의미하므로, 상기와 같은 공격 실패의 경우 재학습 장치는 대체 모델이 특정 공격 데이터의 레이블을 원본 레이블로 분류하여 대체 모델이 타겟 모델을 부분적으로 모사하도록 대체 모델을 재학습시킬 수 있다.
대체 모델이 타겟 모델을 '부분적으로' 모사하도록 대체 모델을 재학습시킨다는 것은, 대체 모델을 재학습시키기 위해 요구되는 쿼리의 수가 제한될 수 있도록, 대체 모델에 반영된 분류 경계(classification boundary)의 일부만을 변경함을 의미한다.
구체적으로, 도 2에 도시된 것과 같이 타겟 모델에는 입력 데이터의 레이블(도 2의 Class)을 분류하기 위한 레이블 간의 경계인 제1 분류 경계가 반영되어 있고, 대체 모델에는 입력 데이터의 레이블을 분류하기 위한 레이블 간의 경계인, 제1 분류 경계와 상이한 제2 분류 경계(도 2의 점선)가 반영되어 있을 수 있다. 도 2는 본 실시예의 이해를 돕기 위해 분류 경계를 단순화시켜 도시하고 있으며, 본 실시예가 적용되는 각 모델의 실제 분류 경계는 도 2에 도시된 예시로 특정되지 않는다.
이에 따라, 재학습 장치는 대체 모델을 재학습시키기 위해 요구되는 쿼리의 수가 제한될 수 있도록, 제2 분류 경계 중 특정 공격 데이터에 대응하는 유효 영역만이 제1 분류 경계를 모사하도록 하는 방식으로 대체 모델을 재학습시킬 수 있다. 여기서, 유효 영역은 제2 분류 경계 상에서 기 정의된 영역을 의미하는 것이 아닌, 대체 모델이 특정 공격 데이터의 레이블을 원본 레이블로 분류하도록 대체 모델을 재학습시키는 과정에서 변경되는 제2 분류 경계 상의 영역을 의미한다. 상기의 재학습 과정에서 재학습 장치는 대체 모델이 특정 공격 데이터의 레이블을 원본 레이블로 분류할 때까지 특정 공격 데이터를 대체 모델에 반복적으로 입력하는 방식으로 대체 모델을 재학습시킬 수 있다.
이후, 재학습 장치는 상기의 과정을 통해 재학습된 대체 모델을 토대로, 원본 데이터로부터 차기 특정 공격 데이터를 생성하여 타겟 모델에 대한 쿼리로서 타겟 모델로 입력하고, 타겟 모델이 차기 특정 공격 데이터의 레이블을 분류한 분류 결과가 원본 데이터의 원본 레이블에 해당하는 경우(즉, 재차 공격이 실패한 경우), 대체 모델을 후속적으로 재학습시킬 수 있다. 이러한 대체 모델에 대한 후속적 재학습 과정은, 타겟 모델이, 해당 특정 공격 데이터의 레이블을, 타겟 모델의 오분류 대상이 되는 타겟 레이블로 분류할 때까지 반복적으로 수행될 수 있다.
도 2의 우측 그림은 원본 레이블이 '2'이고 타겟 레이블이 '1'인 예시에서 대체 모델의 재학습 과정을 보이고 있다. 대체 모델이 특정 공격 데이터(도 2의 dot)의 레이블을 원본 레이블인 '2'로 분류하도록 최초 재학습이 이루어졌으며(도 2의 ①), 최초 재학습된 대체 모델을 토대로 생성된 차기 특정 공격 데이터의 레이블을 타겟 모델이 여전히 원본 레이블로 분류함에 따라 후속적 재학습이 2회 수행된 후(도 2의 ② 및 ③) 공격이 성공하였음을 확인할 수 있다.
도 2의 좌측 그림과 같이 종래에는 대체 모델의 제2 분류 경계 전체가 타겟 모델의 제1 분류 경계를 모사하도록 대체 모델을 학습시키는 방식이 적용됨에 따라 많은 쿼리 수가 요구되었던 반면, 도 2의 우측 그림과 같이 본 실시예는 대체 모델의 제2 분류 경계의 일부만이 그에 대응되는 타겟 모델의 제1 분류 경계를 모사하도록 대체 모델을 부분적으로 학습시킴으로써 대체 모델 학습에 요구되는 쿼리 수를 제한할 수 있다.
이상에서 설명한 본 실시예는, 재학습이 완료된 대체 모델을 토대로 타겟 모델에 대한 기만 공격을 수행하는 기만 공격 장치로 구현될 수도 있다. 이 경우, 기만 공격 장치는, 신경망(Neural Network)을 통해 입력 데이터의 레이블(Label)을 분류하도록 학습된 타겟 모델과 동일한 타입으로 기 학습되어 있는 대체 모델을 토대로, 원본 데이터로부터 타겟 모델이 원본 데이터의 레이블을 오분류하도록 하기 위한 특정 공격 데이터를 생성하여 타겟 모델에 대한 쿼리(query)로서 타겟 모델로 입력하고, 쿼리에 대한 응답으로 타겟 모델이 특정 공격 데이터의 레이블을 분류한 분류 결과를 획득하고, 획득된 분류 결과 및 특정 공격 데이터를 기반으로 대체 모델이 타겟 모델을 부분적으로 모사하도록 대체 모델을 재학습시키며, 재학습된 대체 모델을 토대로, 원본 데이터로부터 차기 특정 공격 데이터를 생성하고, 생성된 차기 특정 공격 데이터를 타겟 모델로 입력하여 원본 데이터의 레이블에 대한 타겟 모델의 오분류를 야기하는 동작을 수행하도록 구현될 수 있다.
도 3은 본 발명의 일 실시예에 따른 기만 공격을 위한 대체 모델 재학습 방법을 설명하기 위한 흐름도이며, 구체적인 동작에 대한 중복 설명을 배제하고 그 시계열적인 구성을 중심으로 설명한다.
먼저, 재학습 장치는 신경망을 통해 입력 데이터의 레이블을 분류하도록 학습된 타겟 모델과 동일한 타입으로 기 학습되어 있는 대체 모델을 토대로, 원본 데이터로부터 타겟 모델이 원본 데이터의 레이블을 오분류하도록 하기 위한 특정 공격 데이터를 생성한다(S100). S100 단계에서 재학습 장치는 대체 모델을 토대로, 원본 데이터에 I-FGSM 알고리즘 또는 C&W 알고리즘을 적용하여 특정 공격 데이터를 생성할 수 있다.
이어서, 재학습 장치는 S100 단계에서 생성한 특정 공격 데이터를 타겟 모델에 대한 쿼리로서 타겟 모델로 입력한다(S200).
이어서, 재학습 장치는 S200 단계에서 입력한 쿼리에 대한 응답으로 타겟 모델이 특정 공격 데이터의 레이블을 분류한 분류 결과를 획득한다(S300).
이어서, 재학습 장치는 S300 단계에서 획득된 분류 결과 및 특정 공격 데이터를 기반으로 대체 모델이 타겟 모델을 부분적으로 모사하도록 대체 모델을 재학습시킨다(S400).
S400 단계에서, 재학습 장치는 타겟 모델로부터 획득된 분류 결과가 원본 데이터의 원본 레이블에 해당하는 경우, 대체 모델이 특정 공격 데이터의 레이블을 원본 레이블로 분류하여 대체 모델이 타겟 모델을 부분적으로 모사하도록 대체 모델을 재학습시키며, 구체적으로는 대체 모델을 재학습시키기 위해 요구되는 쿼리의 수가 제한될 수 있도록, 대체 모델 상의 제2 분류 경계 중 특정 공격 데이터에 대응하는 유효 영역만이 타겟 모델 상의 제1 분류 경계를 모사하도록 하는 방식으로 대체 모델을 재학습시킨다. 이 경우, 재학습 장치는 대체 모델이 특정 공격 데이터의 레이블을 원본 레이블로 분류할 때까지 특정 공격 데이터를 대체 모델에 반복적으로 입력하는 방식으로 대체 모델을 재학습시킬 수 있다.
이후, 재학습 장치는 S400 단계를 통해 재학습된 대체 모델을 토대로, 원본 데이터로부터 차기 특정 공격 데이터를 생성하여 타겟 모델에 대한 쿼리로서 타겟 모델로 입력하고, 타겟 모델이 차기 특정 공격 데이터의 레이블을 분류한 분류 결과가 원본 데이터의 원본 레이블에 해당하는 경우, 대체 모델을 후속적으로 재학습시킨다(S500). S500 단계는 타겟 모델이, 해당 특정 공격 데이터의 레이블을, 타겟 모델의 오분류 대상이 되는 타겟 레이블로 분류할 때까지 반복적으로 수행될 수 있다.
한편, 본 실시예는 하드웨어와 결합되어 전술한 S100 단계 내지 S500 단계를 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램으로 작성될 수도 있으며, 컴퓨터로 읽을 수 있는 기록매체에 저장되어 상기 컴퓨터 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 컴퓨터로 읽을 수 있는 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크 및 광 데이터 저장장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다.
이와 같이 본 실시예는 블랙박스 환경에서 타겟 모델에 대한 기만 공격을 위해 요구되는 대체 모델을 학습시킬 때, 현재의 공격 데이터를 기준으로 대체 모델이 타겟 모델을 부분적으로 모사하도록 대체 모델을 재학습시키는 방식을 적용함으로써, 타겟 모델에 대한 쿼리의 수를 최소화시켜 타겟 모델에 대한 보다 현실적인 공격이 가능하도록 할 수 있다.
본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
1: 기만 공격을 위한 대체 모델 재학습 장치
TARGET MODEL: 타겟 모델
SUBSTITUTE MODEL: 대체 모델

Claims (15)

  1. 신경망(Neural Network)을 통해 입력 데이터의 레이블(Label)을 분류하도록 학습된 타겟 모델과 동일한 타입으로 기 학습되어 있는 대체 모델을 토대로, 원본 데이터로부터 상기 타겟 모델이 상기 원본 데이터의 레이블을 오분류하도록 하기 위한 특정 공격 데이터를 생성하여 상기 타겟 모델에 대한 쿼리(query)로서 상기 타겟 모델로 입력하고,
    상기 쿼리에 대한 응답으로 상기 타겟 모델이 상기 특정 공격 데이터의 레이블을 분류한 분류 결과를 획득하고, 상기 획득된 분류 결과 및 상기 특정 공격 데이터를 기반으로 상기 대체 모델이 상기 타겟 모델을 부분적으로 모사하도록 상기 대체 모델을 재학습시키고,
    상기 타겟 모델로부터 획득된 분류 결과가 상기 원본 데이터의 원본 레이블에 해당하는 경우, 상기 대체 모델이 상기 특정 공격 데이터의 레이블을 상기 원본 레이블로 분류하여 상기 대체 모델이 상기 타겟 모델을 부분적으로 모사하도록 상기 대체 모델을 재학습시키는 것을 특징으로 하는, 기만 공격을 위한 대체 모델 재학습 장치.
  2. 제1항에 있어서,
    상기 기만 공격을 위한 대체 모델 재학습 장치는,
    상기 대체 모델을 토대로, 상기 원본 데이터에 I-FGSM(Iterative Fast Gradient Sign Method) 알고리즘 또는 C&W(Carlini and Wagner) 알고리즘을 적용하여 상기 특정 공격 데이터를 생성하는 것을 특징으로 하는, 기만 공격을 위한 대체 모델 재학습 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 타겟 모델에는 입력 데이터의 레이블을 분류하기 위한 레이블 간의 경계인 제1 분류 경계가 반영되어 있고, 상기 대체 모델에는 입력 데이터의 레이블을 분류하기 위한 레이블 간의 경계인, 상기 제1 분류 경계와 상이한 제2 분류 경계가 반영되어 있으며,
    상기 기만 공격을 위한 대체 모델 재학습 장치는,
    상기 대체 모델을 재학습시키기 위해 요구되는 쿼리의 수가 제한될 수 있도록, 상기 제2 분류 경계 중 상기 특정 공격 데이터에 대응하는 유효 영역만이 상기 제1 분류 경계를 모사하도록 하는 방식으로 상기 대체 모델을 재학습시키는 것을 특징으로 하는, 기만 공격을 위한 대체 모델 재학습 장치.
  5. 제1항에 있어서,
    상기 기만 공격을 위한 대체 모델 재학습 장치는,
    상기 대체 모델이 상기 특정 공격 데이터의 레이블을 상기 원본 레이블로 분류할 때까지 상기 특정 공격 데이터를 상기 대체 모델에 반복적으로 입력하는 방식으로 상기 대체 모델을 재학습시키는 것을 특징으로 하는, 기만 공격을 위한 대체 모델 재학습 장치.
  6. 제1항에 있어서,
    상기 기만 공격을 위한 대체 모델 재학습 장치는,
    상기 재학습된 대체 모델을 토대로, 상기 원본 데이터로부터 차기 특정 공격 데이터를 생성하여 상기 타겟 모델에 대한 쿼리로서 상기 타겟 모델로 입력하고, 상기 타겟 모델이 상기 차기 특정 공격 데이터의 레이블을 분류한 분류 결과가 상기 원본 데이터의 원본 레이블에 해당하는 경우, 상기 대체 모델을 후속적으로 재학습시키는 것을 특징으로 하는, 기만 공격을 위한 대체 모델 재학습 장치.
  7. 제6항에 있어서,
    상기 기만 공격을 위한 대체 모델 재학습 장치는,
    상기 타겟 모델이, 해당 특정 공격 데이터의 레이블을, 상기 타겟 모델의 오분류 대상이 되는 타겟 레이블로 분류할 때까지 상기 대체 모델에 대한 후속적 재학습을 반복하는 것을 특징으로 하는, 기만 공격을 위한 대체 모델 재학습 장치.
  8. 기만 공격을 위한 대체 모델 재학습 장치가,
    신경망(Neural Network)을 통해 입력 데이터의 레이블(Label)을 분류하도록 학습된 타겟 모델과 동일한 타입으로 기 학습되어 있는 대체 모델을 토대로, 원본 데이터로부터 상기 타겟 모델이 상기 원본 데이터의 레이블을 오분류하도록 하기 위한 특정 공격 데이터를 생성하는 단계;
    상기 생성한 특정 공격 데이터를 상기 타겟 모델에 대한 쿼리(query)로서 상기 타겟 모델로 입력하는 단계;
    상기 쿼리에 대한 응답으로 상기 타겟 모델이 상기 특정 공격 데이터의 레이블을 분류한 분류 결과를 획득하는 단계; 및
    상기 획득된 분류 결과 및 상기 특정 공격 데이터를 기반으로 상기 대체 모델이 상기 타겟 모델을 부분적으로 모사하도록 상기 대체 모델을 재학습시키는 단계;
    를 포함하고,
    상기 재학습시키는 단계에서, 상기 대체 모델 재학습 장치는,
    상기 타겟 모델로부터 획득된 분류 결과가 상기 원본 데이터의 원본 레이블에 해당하는 경우, 상기 대체 모델이 상기 특정 공격 데이터의 레이블을 상기 원본 레이블로 분류하여 상기 대체 모델이 상기 타겟 모델을 부분적으로 모사하도록 상기 대체 모델을 재학습시키는 것을 특징으로 하는 기만 공격을 위한 대체 모델 재학습 방법.
  9. 제8항에 있어서,
    상기 생성하는 단계에서, 상기 대체 모델 재학습 장치는,
    상기 대체 모델을 토대로, 상기 원본 데이터에 I-FGSM(Iterative Fast Gradient Sign Method) 알고리즘 또는 C&W(Carlini and Wagner) 알고리즘을 적용하여 상기 특정 공격 데이터를 생성하는 것을 특징으로 하는 기만 공격을 위한 대체 모델 재학습 방법.
  10. 삭제
  11. 제8항에 있어서,
    상기 타겟 모델에는 입력 데이터의 레이블을 분류하기 위한 레이블 간의 경계인 제1 분류 경계가 반영되어 있고, 상기 대체 모델에는 입력 데이터의 레이블을 분류하기 위한 레이블 간의 경계인, 상기 제1 분류 경계와 상이한 제2 분류 경계가 반영되어 있으며,
    상기 재학습시키는 단계에서, 상기 대체 모델 재학습 장치는,
    상기 대체 모델을 재학습시키기 위해 요구되는 쿼리의 수가 제한될 수 있도록, 상기 제2 분류 경계 중 상기 특정 공격 데이터에 대응하는 유효 영역만이 상기 제1 분류 경계를 모사하도록 하는 방식으로 상기 대체 모델을 재학습시키는 것을 특징으로 하는 기만 공격을 위한 대체 모델 재학습 방법.
  12. 제8항에 있어서,
    상기 재학습시키는 단계에서, 상기 대체 모델 재학습 장치는,
    상기 대체 모델이 상기 특정 공격 데이터의 레이블을 상기 원본 레이블로 분류할 때까지 상기 특정 공격 데이터를 상기 대체 모델에 반복적으로 입력하는 방식으로 상기 대체 모델을 재학습시키는 것을 특징으로 하는 기만 공격을 위한 대체 모델 재학습 방법.
  13. 제8항에 있어서,
    상기 재학습된 대체 모델을 토대로, 상기 원본 데이터로부터 차기 특정 공격 데이터를 생성하여 상기 타겟 모델에 대한 쿼리로서 상기 타겟 모델로 입력하고, 상기 타겟 모델이 상기 차기 특정 공격 데이터의 레이블을 분류한 분류 결과가 상기 원본 데이터의 원본 레이블에 해당하는 경우, 상기 대체 모델을 후속적으로 재학습시키는 단계;를 더 포함하는 것을 특징으로 하는 기만 공격을 위한 대체 모델 재학습 방법.
  14. 제13항에 있어서,
    상기 대체 모델을 후속적으로 재학습시키는 단계는, 상기 타겟 모델이, 해당 특정 공격 데이터의 레이블을, 상기 타겟 모델의 오분류 대상이 되는 타겟 레이블로 분류할 때까지 반복적으로 수행되는 것을 특징으로 하는 기만 공격을 위한 대체 모델 재학습 방법.
  15. 제1 프로세서 및 제2 프로세서를 포함하는 기만 공격 장치로서,
    상기 제1 프로세서는,
    신경망(Neural Network)을 통해 입력 데이터의 레이블(Label)을 분류하도록 학습된 타겟 모델과 동일한 타입으로 기 학습되어 있는 대체 모델을 토대로, 원본 데이터로부터 상기 타겟 모델이 상기 원본 데이터의 레이블을 오분류하도록 하기 위한 특정 공격 데이터를 생성하여 상기 타겟 모델에 대한 쿼리(query)로서 상기 타겟 모델로 입력하고,
    상기 쿼리에 대한 응답으로 상기 타겟 모델이 상기 특정 공격 데이터의 레이블을 분류한 분류 결과를 획득하고, 상기 획득된 분류 결과 및 상기 특정 공격 데이터를 기반으로 상기 대체 모델이 상기 타겟 모델을 부분적으로 모사하도록 상기 대체 모델을 재학습시키되,
    상기 타겟 모델로부터 획득된 분류 결과가 상기 원본 데이터의 원본 레이블에 해당하는 경우, 상기 대체 모델이 상기 특정 공격 데이터의 레이블을 상기 원본 레이블로 분류하여 상기 대체 모델이 상기 타겟 모델을 부분적으로 모사하도록 상기 대체 모델을 재학습시키고,
    상기 제2 프로세서는,
    상기 재학습된 대체 모델을 토대로, 상기 원본 데이터로부터 차기 특정 공격 데이터를 생성하고, 상기 생성된 차기 특정 공격 데이터를 상기 타겟 모델로 입력하여 상기 원본 데이터의 레이블에 대한 상기 타겟 모델의 오분류를 야기하는 것을 특징으로 하는, 기만 공격 장치.
KR1020190143623A 2019-11-11 2019-11-11 기만 공격을 위한 대체 모델 재학습 장치 및 방법, 기만 공격 장치 KR102317762B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190143623A KR102317762B1 (ko) 2019-11-11 2019-11-11 기만 공격을 위한 대체 모델 재학습 장치 및 방법, 기만 공격 장치
PCT/KR2019/018161 WO2021095984A1 (ko) 2019-11-11 2019-12-20 기만 공격을 위한 대체 모델 재학습 장치 및 방법, 기만 공격 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190143623A KR102317762B1 (ko) 2019-11-11 2019-11-11 기만 공격을 위한 대체 모델 재학습 장치 및 방법, 기만 공격 장치

Publications (2)

Publication Number Publication Date
KR20210056766A KR20210056766A (ko) 2021-05-20
KR102317762B1 true KR102317762B1 (ko) 2021-10-26

Family

ID=75913032

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190143623A KR102317762B1 (ko) 2019-11-11 2019-11-11 기만 공격을 위한 대체 모델 재학습 장치 및 방법, 기만 공격 장치

Country Status (2)

Country Link
KR (1) KR102317762B1 (ko)
WO (1) WO2021095984A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102592935B1 (ko) * 2020-12-22 2023-10-23 성균관대학교산학협력단 신경망 모델 학습 방법 및 장치, 컴퓨터 프로그램
WO2024105035A1 (en) 2022-11-14 2024-05-23 Robert Bosch Gmbh A method of assessing vulnerability of an ai system and a framework thereof
WO2024105036A1 (en) 2022-11-14 2024-05-23 Robert Bosch Gmbh A method of assessing vulnerability of an ai system and a framework thereof
WO2024115581A1 (en) 2022-11-29 2024-06-06 Robert Bosch Gmbh A method to assess vulnerability of an ai model and framework thereof
WO2024115580A1 (en) 2022-11-29 2024-06-06 Robert Bosch Gmbh A method of assessing inputs fed to an ai model and a framework thereof

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160095856A (ko) * 2015-02-04 2016-08-12 한국전자통신연구원 새로운 공격 유형의 자동 탐지 및 공격 유형 모델 갱신을 통한 지능형 침입 탐지 시스템 및 방법
KR102149132B1 (ko) * 2017-11-28 2020-08-31 공주대학교 산학협력단 딥 러닝 환경에서의 적대적 예제 생성 장치 및 방법, 컴퓨터 프로그램
KR20190094068A (ko) * 2018-01-11 2019-08-12 한국전자통신연구원 온라인 게임에서 게이머 행동 유형을 분류하는 분류기의 학습 방법 및 상기 분류기를 포함하는 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Cihang Xie, Improving Transferability of Adversarial Examples with Input Diversity, arXiv:1803.06978v4, 1-10pages 1부*

Also Published As

Publication number Publication date
KR20210056766A (ko) 2021-05-20
WO2021095984A1 (ko) 2021-05-20

Similar Documents

Publication Publication Date Title
KR102317762B1 (ko) 기만 공격을 위한 대체 모델 재학습 장치 및 방법, 기만 공격 장치
Yu et al. CloudLeak: Large-Scale Deep Learning Models Stealing Through Adversarial Examples.
Wicker et al. Feature-guided black-box safety testing of deep neural networks
Ren et al. Adversarial examples: attacks and defenses in the physical world
Kumar et al. Black-box adversarial attacks in autonomous vehicle technology
Carlini et al. Towards evaluating the robustness of neural networks
KR102149132B1 (ko) 딥 러닝 환경에서의 적대적 예제 생성 장치 및 방법, 컴퓨터 프로그램
CN110537184A (zh) 利用生成式对抗网络的半监督回归
US20190332935A1 (en) System and method for siamese instance search tracker with a recurrent neural network
Khamaiseh et al. Adversarial deep learning: A survey on adversarial attacks and defense mechanisms on image classification
KR102283416B1 (ko) Gan 기반 딥러닝 모델을 이용한 이미지 생성 방법 및 장치
US10832149B2 (en) Automatic segmentation of data derived from learned features of a predictive statistical model
KR102592935B1 (ko) 신경망 모델 학습 방법 및 장치, 컴퓨터 프로그램
CN114090780B (zh) 一种基于提示学习的快速图片分类方法
Nguyen et al. Neural network structure for spatio-temporal long-term memory
CN112075071B (zh) 对视频流中的上下文变化进行检测的方法、系统和介质
Duncan et al. Relative robustness of quantized neural networks against adversarial attacks
KR20210033809A (ko) 인공 신경망을 이용하여 로봇을 제어하는 제어 서버 및 방법와, 이를 구현하는 로봇
Tikhanoff et al. Language and cognition integration through modeling field theory: category formation for symbol grounding
CN114048843A (zh) 一种基于选择性特征迁移的小样本学习网络
Duman et al. Distance estimation from a monocular camera using face and body features
US20230076290A1 (en) Rounding mechanisms for post-training quantization
Tan et al. Wide Residual Network for Vision-based Static Hand Gesture Recognition.
Maymí et al. AI in cyberspace: Beyond the hype
Weng et al. Developmental Network Two, its optimality, and emergent Turing machines

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant