KR20210127639A - 분류기를 훈련하기 위한 디바이스 및 방법 - Google Patents

분류기를 훈련하기 위한 디바이스 및 방법 Download PDF

Info

Publication number
KR20210127639A
KR20210127639A KR1020210048606A KR20210048606A KR20210127639A KR 20210127639 A KR20210127639 A KR 20210127639A KR 1020210048606 A KR1020210048606 A KR 1020210048606A KR 20210048606 A KR20210048606 A KR 20210048606A KR 20210127639 A KR20210127639 A KR 20210127639A
Authority
KR
South Korea
Prior art keywords
classifier
perturbation
input signal
output signal
perturbations
Prior art date
Application number
KR1020210048606A
Other languages
English (en)
Inventor
로빈 후트마커
얀 헨드릭 메첸
니콜 잉 피니
Original Assignee
로베르트 보쉬 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 로베르트 보쉬 게엠베하 filed Critical 로베르트 보쉬 게엠베하
Publication of KR20210127639A publication Critical patent/KR20210127639A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/008—Artificial life, i.e. computing arrangements simulating life based on physical entities controlled by simulated intelligence so as to replicate intelligent life forms, e.g. based on robots replicating pets or humans in their appearance or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

분류기(60)에 제공된 입력 신호들(x)을 분류하기 위한 분류기(60)를 훈련하기 위한 컴퓨터 구현 방법으로서, 분류기(60)는 입력 신호(x)의 분류를 특성화하는 출력 신호(y)를 획득하도록 구성되고, 훈련하기 위한 방법은 하기 단계들:
a. 섭동들의 세트를 제공하는 단계(601);
b. 훈련 샘플들의 제1 데이터세트로부터, 입력 신호 및 대응하는 원하는 출력 신호를 포함하는 각각의 제1 훈련 샘플들의 서브세트를 제공하는 단계(602);
c. 서브세트로부터의 입력 신호 및 대응하는 원하는 출력 신호에 대해, 섭동들의 세트로부터 제1 섭동을 선택하는 단계(603);
d. 입력 신호, 대응하는 원하는 출력 신호, 및 분류기에 기초하여 제1 섭동을 적응화함으로써, 제1 섭동보다 강력한 제2 섭동을 획득하는 단계(604);
e. 입력 신호에 제2 섭동을 적용함으로써 제1 적대적 예제를 획득하는 단계(605);
f. 분류기(60)를 제2 섭동에 대항하여 강화하기 위해, 제1 적대적 예제 및 대응하는 원하는 출력 신호에 기초하여 분류기(60)를 훈련함으로써 분류기(60)를 적응화하는 단계(606);
g. 섭동들의 세트 내의 제1 섭동을 제1 섭동과 제2 섭동의 선형 조합으로 대체하는 단계(607); 및
단계 b 내지 단계 g를 반복하는 단계(608)
를 포함한다.

Description

분류기를 훈련하기 위한 디바이스 및 방법{DEVICE AND METHOD FOR TRAINING A CLASSIFIER}
본 발명은 분류기를 훈련하기 위한 방법, 분류를 위한 방법, 액추에이터를 작동시키기 위한 방법, 컴퓨터 프로그램, 머신 판독가능한 저장 매체, 제어 시스템, 및 훈련 시스템에 관한 것이다.
DE 10 2018 200 724 A1은 보편적인 적대적 섭동들(universal adversarial perturbations)을 생성하는 방법을 개시한다.
분류기들은 다양한 기술 디바이스들에서 사용될 수 있다. 그러나, 그것들은 적대적 예제들(adversarial examples)이라고 알려진 악의적으로 변경된 입력들을 잘못 분류하는 경향이 있다.
DE 10 2018 200 724 A1은 보편적인 적대적 섭동들을 생성하기 위한 방법을 개시한다. 여기서, 분류기에 대한 거의 임의적인 입력 신호들에 적용될 수 있으며 그것이 없었다면 올바르게 분류되었을 입력 신호들을 잘못 분류하도록 분류기를 속일 수 있는 섭동이 획득된다.
그러므로, 섭동들은 분류기들을 사용할 때, 특히 안전이 중요한 제품들에서 분류기를 사용할 때 특별한 위험을 초래한다. 예를 들어, 분류기는 보행자들과의 충돌을 피하도록 보행자들을 검출하기 위해 자율주행 차량에서 사용될 수 있다. 여기서, 보편적인 적대적 예제들은 잠재적으로 보행자들을 분류기로부터 악의적으로 숨겨서, 그들을 자율주행 차량에 치일 위험에 노출시키기 위해 사용될 수 있다.
따라서, 이러한 섭동들에 대항하여 분류기들을 보호하는 것이 매우 중요하다.
청구항 1에 따른 특징들을 갖는 방법은 보편적 적대적 예제들이라고도 알려진 섭동들에 대항하여 더 강건해지도록 분류기를 훈련할 수 있다.
제1 양태에서, 본 발명은 분류기에 제공된 입력 신호들을 분류하기 위한 분류기를 훈련하기 위한 컴퓨터 구현 방법에 관한 것이고, 분류기는 입력 신호의 분류를 특성화(characterizing)하는 출력 신호를 획득하도록 구성되고, 훈련하기 위한 방법은 하기 단계들:
a. 섭동들의 세트를 제공하는 단계;
b. 훈련 샘플들의 제1 데이터세트로부터, 입력 신호 및 대응하는 원하는 출력 신호를 포함하는 각각의 제1 훈련 샘플들의 서브세트를 제공하는 단계;
c. 서브세트로부터의 입력 신호 및 대응하는 원하는 출력 신호에 대해, 섭동들의 세트로부터 제1 섭동을 선택하는 단계;
d. 입력 신호, 대응하는 원하는 출력 신호, 및 분류기에 기초하여 제1 섭동을 적응화함으로써, 제1 섭동보다 강력한 제2 섭동을 획득하는 단계;
e. 입력 신호에 제2 섭동을 적용함으로써 제1 적대적 예제를 획득하는 단계;
f. 분류기를 제2 섭동에 대항하여 강화하기 위해, 제1 적대적 예제에 기초하여 분류기를 훈련함으로써 분류기를 적응화하는 단계;
g. 섭동들의 세트 내의 제1 섭동을 제1 섭동과 제2 섭동의 선형 조합으로 대체하는 단계; 및
h. 단계 b 내지 단계 g를 반복하는 단계
를 포함한다.
용어 "분류기"는 입력 신호를 수용하고 입력 신호의 분류를 특성화하는 출력 신호를 제공하는 디바이스를 의미하는 것으로 이해될 수 있다. 이를 위해, 분류기는 입력 신호를 머신 러닝 모델, 특히 신경망에 공급함으로써 출력 신호를 획득할 수 있다. 추가로, 분류기는 입력 신호를 분류기에 공급하기 전에, 예를 들어 입력 신호로부터 특징들을 추출하기 전에, 입력 신호를 적응화할 수 있다. 추가적으로, 분류기는 머신 러닝 모델의 출력 신호를 또한 사후 프로세싱할 수 있다.
분류기는 다양한 양식의 입력 신호들, 특히 예를 들어 비디오 이미지들, RADAR 이미지들, LIDAR 이미지들, 및/또는 초음파 이미지들은 물론, 열 화상 카메라 이미지들과 같은 이미지들을 수용할 수 있다. 이미지들에 대해, 분류기는 바람직하게는 컨볼루션 신경망을 포함할 수 있다.
대안적으로, 분류기는 예를 들어 MFCC와 같은 오디오 신호의 특징 표현(feature representation) 또는 양자화된 신호의 형태로, 오디오 데이터를 입력으로서 수용할 수 있다. 오디오 데이터에 대해, 분류기는 바람직하게는 변환기 네트워크 또는 순환 신경망, 예를 들어 LSTM을 포함할 수 있다.
대안적으로, 입력 신호는 또한 다수의 센서 신호 및/또는 상이한 양식들의 센서 신호들의 조합인 데이터를 포함할 수 있다. 입력 신호에서 이미지 및 오디오 데이터 둘 다를 제공할 때, 분류기는 바람직하게는 입력 신호의 각각의 부분들을 프로세싱하기 위한 상이한 종류들의 신경망들, 예를 들어 하나 또는 복수의 컨볼루션 신경망과 하나 또는 복수의 변환기 네트워크의 조합을 포함할 수 있다.
출력 신호에 의해 특성화되는 분류는 입력 신호에 하나 또는 복수의 클래스 레이블을 할당할 수 있다. 대안적으로 또는 추가적으로, 특히 이미지 데이터를 입력 신호들로서 사용할 때, 출력 신호가 물체 검출의 형태로 분류를 특성화하는 것으로 예상될 수 있다. 대안적으로 또는 추가적으로, 출력 신호는 입력 신호의 의미론적 세분화(semantic segmentation)를 특성화하는 것으로 예상될 수 있다.
오디오 신호들에 대해, 분류는 오디오 데이터의 전체 시퀀스에 클래스 레이블들을 할당할 수 있다. 대안적으로 또는 추가적으로, 분류는 또한 오디오 시퀀스의 특정 오디오 이벤트들(예를 들어, 마이크로폰 녹음의 사이렌들)의 시작과 끝을 검출하는 형태일 수 있다.
섭동들의 세트로부터의 제1 섭동들은 분류기에 대한 적대적 예제들을 획득하기 위해 제1 데이터세트로부터의 입력 신호들에 적용될 수 있는 제2 섭동들을 생성하기 위한 초기화로서 사용될 수 있다. 적대적 예제는 분류기에 의한 오분류(misclassification)를 유발하도록 적응화된 입력 신호로서 이해될 수 있다.
입력 신호에 섭동을 적용하는 것은 입력 신호와 섭동을 오버레이하는 것으로서 이해될 수 있다. 예를 들어, 이미지들을 입력 신호들로서 사용할 때, 적대적 예제를 형성하기 위해, 주어진 입력 이미지에 중첩될 수 있는 작은 이미지 패치에 의해 섭동이 주어질 수 있다. 이 경우, 입력 이미지 내에서 패치를 배치할 위치는 무작위로 선택될 수 있다. 대안적으로 또는 추가적으로, 패치는 입력 이미지에 적용하기 전에 아핀 변환(affine transformation)에 의해서 또한 변환될 수 있다. 오디오 데이터에 대해, 적대적 예제를 형성하기 위해, 오디오 시퀀스의 무작위 부분들에 섭동들이 중첩될 수 있다.
섭동들과 입력 신호들이 동일한 차원을 가지며, 섭동과 입력 신호를 함께 더하는 것에 의해 입력 신호에 대한 섭동의 적용이 달성될 수 있음이 더 예상될 수 있다. 예를 들어, 이미지 데이터를 사용할 때, 섭동은 분류기를 훈련하는 데 사용되는 이미지들과 동일한 크기를 가질 수 있다. 이 경우, 섭동과 이미지의 픽셀 값들은 적대적 예제를 형성하기 위해 더해질 수 있다. 추가로, 섭동은 입력 이미지에 적용되기 전에 스칼라 값에 의해 스케일링될 수 있다. 오디오 신호에 각각의 섭동을 적용하기 위해, 유사한 접근방식이 준용될 수 있다.
분류기가 입력 신호에 대한 출력 신호를 제공하는 경우, 출력 신호는 복수의 로짓 값(logit value)을 포함할 수 있으며, 여기서 이러한 로짓 값들 각각은 클래스에 대응한다. 또한, 원하는 클래스에 대응하는 로짓 값이 복수의 로짓 값 중 가장 큰 경우, 입력 신호는 원하는 클래스를 할당받을 수 있고, 출력 신호는 올바른 분류를 특성화하는 것으로 간주될 수 있다.
제2 섭동이 더 강력한지, 즉 제1 섭동보다 분류기를 속이는 데 사용되기에 더 적합한지를 평가하기 위해, 대응하는 제2 적대적 예제를 획득하도록 제2 섭동이 입력 신호에 적용될 수 있고, 제1 적대적 예제를 획득하도록 제1 섭동이 동일한 입력 신호에 적용될 수 있다. 다음으로, 분류기는 제2 적대적 예제를 입력 신호로서 사용하여 제2 출력 신호를 획득할 수 있고, 제1 적대적 예제를 입력 신호로서 사용하여 제1 출력 신호를 획득할 수 있다. 그러므로, 제2 출력 신호는 제2 섭동에 대응하는 한편, 제1 출력 신호는 제1 섭동에 대응한다.
다음으로, 원하는 클래스의 로짓 값이 제1 출력 신호에서보다 제2 출력 신호에서 더 작다면, 제2 섭동은 제1 섭동보다 더 강력한 것으로 간주될 수 있다. 마찬가지로, 제2 출력 신호 내의 원하지 않는 클래스들의 가장 큰 로짓 값이 제1 출력 신호 내의 원하지 않는 클래스들의 가장 큰 로짓 값보다 큰 경우, 제2 섭동이 제1 섭동보다 더 강력한 것으로 또한 간주될 수 있다. 옵션들 둘 다는 분류기가 제1 섭동이 아닌 제2 섭동을 사용하여 잘못된 예측에서 더 신뢰적으로 될 것으로 이해될 수 있다.
대안적으로 또는 추가적으로, 출력 신호는 복수의 확률 값을 포함할 수 있으며, 여기서 이들 확률 값 각각은 클래스에 대응하고, 제1 및 제2 출력 신호는 앞에서와 같이 계산될 수 있다. 이 경우, 원하는 클래스의 확률 값이 제1 출력 신호에서보다 제2 출력 신호에서 더 작다면, 제2 섭동이 제1 섭동보다 더 강력한 것으로 간주될 수 있다.
제안된 방법으로 분류기를 훈련하는 것은 메타 훈련의 한 형태로 이해될 수 있으며, 여기서는 분류기뿐만 아니라 섭동들의 세트가 훈련된다. 분류기는 가능한 한 높은 분류 정확도(성능이라고도 알려짐)를 달성하는 것을 목표로 훈련되는 한편, 방법은 또한 가능한 한 강력한 섭동들의 세트를 찾으려고 한다.
따라서, 점점 더 강력해지는 섭동들로 분류기를 훈련하는 것은, 강력한 적대적 공격들에 대항하여 분류기를 강화하는 것을 허용하고 그것을 매우 강건하게 한다.
훈련은 반복적인 방식으로 수행될 수 있다. 각각의 훈련 단계에서, 방법은 입력 신호들 및 원하는 출력 신호들의 하나 또는 복수의 튜플을 포함하는 훈련 데이터의 배치(batch)를 선택할 수 있다. 각각의 입력 신호에 대해, 다음으로, 제1 섭동이 섭동들의 세트로부터 교체하여 무작위로 도출될 수 있다. 다음으로, 이러한 방식으로 도출된 각각의 제1 섭동은 더 강력한 제2 섭동을 결정하기 위해 그에 대응하는 입력 신호에 적응화될 수 있다.
다음으로, 분류기는 획득된 제2 섭동들을 그들 각각의 입력 신호들에 적용하고 각각의 입력 신호들에 대해 획득된 출력 신호들과 원하는 출력 신호들 간의 차이를 특성화하는 분류 손실을 최소화함으로써 획득되는 적대적 예제들을 분류기에 제공하는 것에 의해 훈련될 수 있다.
추가로, 각각의 제1 섭동은 제1 섭동 자체와 제2 섭동의 가중 합에 의해 섭동들의 세트에서 대체될 수 있다. 이것은 또한 유리하게도, 일반적으로 더 강해지도록 섭동들을 훈련한다. 훈련 방법의 혜택은 분류기가 점점 더 강력해지는 섭동들에 대항하여 자신을 방어하는 방법을 학습해야 한다는 것이다. 결과적으로, 이는 일반적으로 분류기가 적대적 공격에 대항하여 강력해지도록 도와준다.
또 다른 양태에서, 분류기의 제2 적대적 예제에 기초하여 섭동들의 세트로부터 적어도 하나의 섭동이 제공되는 것이 더 예상될 수 있으며, 여기서 분류기는 사전 훈련된 분류기이다.
분류기를 훈련하는 프로세스는 섭동들을 다양하게 초기화하는 것으로부터 혜택을 얻는다. 이것의 장점은 다양한 섭동들이 분류기로 하여금 다양한 복수의 적대적 예제에 대해, 따라서 다양한 복수의 섭동에 대항하여 강건해지게 한다는 것이다.
강력한 섭동들의 초기 세트를 획득하기 위해, 분류기는 적대적 예제들에 대항한 방어 방법 없이 사전 훈련될 수 있다. 그 후, 예를 들어, 알려진 적대적 공격 방법들을 사용하여 훈련 데이터세트 내의 이미지들을 적응화함으로써, 분류기로부터 하나 또는 복수의 제2 적대적 예제가 획득될 수 있다. 다음으로, 하나 또는 복수의 제2 적대적 예제를 야기하는 데에 필요한 섭동들은 훈련을 위한 섭동들의 초기 세트로서 사용될 수 있다.
이 접근방식의 장점은 훈련을 초기화하는 데 사용된 섭동들이 이미 적대적 예제들을 형성하기 위해 사용될 수 있다는 것이다. 그러므로, 예를 들어 반복적 고속 경사 부호 방법(iterative fast gradient sign method)(I-FGSM) 또는 투영된 경사 하강법(projected gradient descent)(PGD)과 같은 경사 기반 접근방식들이 제1 섭동으로부터 제2 섭동을 획득하기 위해 상당히 더 적은 단계들을 필요로 하기 때문에, 제2 섭동을 형성하는 단계는 크게 빨라진다. 결과적으로, 이것은 더 빠른 훈련으로 이어지고, 이는 후속하여 분류기가 훈련 동안 더 많은 훈련 샘플들로부터 정보를 추출할 수 있게 한다. 이는 분류기의 성능과 강건성이 더욱 향상되는 효과를 갖는다.
다른 양태에서, 제2 적대적 예제는 제1 데이터세트로부터의 입력 신호의 무작위 위치에서 무작위 잡음을 적용하는 것에 기초하여 제공된다는 것이 더 예상될 수 있다.
이미지 데이터를 입력으로서 사용할 때, 이미지에 걸쳐 잡음이 적용될 수 있다. 대안적으로, 잡음은 패치 형태로 이미지의 더 작은 영역에 적용될 수 있다. 패치가 이미지에 적용되기 전에 회전, 병진 또는 스케일링과 같은 소정의 형태의 변환을 거치는 것도 더 예상될 수 있다. 무작위 잡음은 특정 픽셀들을 방해하는 데 더 사용될 수 있다. 대안적으로, 잡음이 이미지 위에 혼합될 수 있다.
마찬가지로, 오디오 신호들을 사용할 때, 잡음은 오디오 신호들에 적용되기 전에 예를 들어 병진, 진폭들의 스케일링, 또는 개별 주파수들의 스케일링에 의해 변환될 수 있다. 적용을 위해, 원본 오디오 신호 위에 잡음이 혼합될 수 있다. 대안적으로, 원본 신호의 특정 주파수들은 잡음의 특정 주파수들로 대체될 수 있다.
무작위 잡음을 초기 섭동들로서 사용하는 것은 매우 다양한 초기 섭동들을 획득하는 것을 허용한다. 이러한 다양성은 광범위한 적대적 예제들에 대항하여 분류기를 방어하는 것을 허용한다. 결과적으로, 이것은 분류기의 성능 및 강건성을 향상시킨다.
이하의 단계들에 따라, 섭동들의 세트로부터의 하나 또는 복수의 섭동이 제공되는 것이 더 예상될 수 있다:
i. 제1 데이터세트로부터 입력 신호들의 서브세트를 선택하는 단계;
j. 입력 신호 내의 복수의 값을 스케일링함으로써 서브세트의 입력 신호들을 적응화하는 단계;
k. 새로운 입력 신호들의 세트를 획득하기 위해, 적응화된 입력 신호들을 제1 데이터세트의 입력 신호들에 섭동들로서 적용하는 단계 - 새로운 입력 신호들의 세트로부터의 각각의 새로운 입력 신호는 적응화된 입력 신호에 대응함 - ;
l. 각각의 적응화된 입력 신호에 대한 제1 값을 결정하는 단계 - 제1 값은 대응하는 적응화된 입력 신호가 섭동으로서 사용될 때 분류기를 속이는 능력을 특성화하고, 제1 값은 적응화된 입력 신호에 대응하는 새로운 입력 신호들이 분류기(60)를 속이는 능력에 기초하여 결정됨 - ; 및
m. 적응화된 입력 신호들을 그것들의 대응하는 제1 값들에 의해 순위를 매기고, 원하는 양의 최적 순위의 적응화된 입력 신호들을 섭동들로서 제공하는 단계.
이미지 데이터에 대해, 스케일링은 강도 또는 픽셀 값들의 스케일링으로 간주될 수 있다. 오디오 데이터에 대해, 오디오 신호의 진폭은 적응화된 입력 신호를 획득하기 위해 스케일링될 수 있다.
적응화된 입력 신호들을 섭동들로서 적용하는 단계에서, 각각의 적응화된 입력 신호가 제1 데이터세트로부터의 각각의 입력 신호에 적용되는 것이 예상될 수 있다.
대응하는 적응화된 입력 신호에 대한 제1 값은 예를 들어 적응화된 입력 신호에 대응하는 잘못 분류된 새로운 입력 신호들의 수를, 적응화된 입력 신호에 대응하는 모든 새로운 입력 신호의 수로 나눔으로써 결정될 수 있다.
이러한 접근방식의 장점은 적응화된 입력 신호들이 다양한 콘텐츠를 보여주므로 다양한 섭동들을 획득하기 위한 양호한 초기화로서 작용할 수 있다는 것이다. 결과적으로, 이 초기화는 제2 섭동들을 획득하는 데 필요한 시간을 감소시킨다. 이로 인해, 훈련이 가속되고, 이는 분류기가 더 많은 데이터를 프로세싱하는 것을 허용하며, 이는 분류기의 더 나은 성능으로 이어진다.
훈련하기 위한 방법은 이하의 단계들을 더 포함할 수 있음이 더 예상될 수 있다:
n. 입력 신호 및 대응하는 원하는 출력 신호에 기초하여 분류기를 훈련하는 단계.
이 접근방식의 장점은 분류기가 적대적 예제들뿐만 아니라 섭동되지 않은 입력 신호들에 대해서도 훈련될 것이라는 점이다. 이는 분류기가 섭동들에 대항하여 방어하는 것뿐만 아니라 섭동되지 않은 이미지들 상에서 가능한 한 높은 성능을 달성하는 것에 집중하게 할 수 있다.
본 발명의 실시예들은 이하의 도면들을 참조하여 더 상세하게 논의될 것이다. 도면들은 이하를 도시한다:
도 1은 액추에이터를 그것의 환경 내에서 제어하는 분류기를 포함하는 제어 시스템을 도시한다.
도 2는 적어도 부분적으로 자율적인 로봇을 제어하는 제어 시스템을 도시한다.
도 3은 자동화된 개인 비서를 제어하는 제어 시스템을 도시한다.
도 4는 액세스 제어 시스템을 제어하는 제어 시스템을 도시한다.
도 5는 감시 시스템을 제어하는 제어 시스템을 도시한다.
도 6은 분류기를 훈련하기 위한 방법의 흐름도를 도시한다.
도 7은 분류기를 훈련하기 위한 훈련 시스템을 도시한다.
도 1에는 그것의 환경(20) 내에 있는 액추에이터(10)의 실시예가 도시되어 있다. 액추에이터(10)는 제어 시스템(40)과 상호작용한다. 액추에이터(10)와 그 환경(20)을 합쳐서 액추에이터 시스템이라고 지칭할 것이다. 바람직하게 균일하게 이격된 시점들에서, 센서(30)는 액추에이터 시스템의 상태를 감지한다. 센서(30)는 수 개의 센서를 포함할 수 있다. 바람직하게는, 센서(30)는 환경(20)의 이미지들을 촬영하는 광학 센서이다. 감지된 상태를 인코딩하는 센서(30)의 출력 신호(S)(또는 센서(30)가 복수의 센서를 포함하는 경우에는 센서들 각각에 대한 출력 신호(S))가 제어 시스템(40)에 전송된다.
이에 의해, 제어 시스템(40)은 센서 신호들(S)의 스트림을 수신한다. 다음으로, 그것은 센서 신호들(S)의 스트림에 의존하여 일련의 액추에이터 제어 커맨드들(A)을 계산하고, 다음으로 그것은 액추에이터(10)에 전송된다.
제어 시스템(40)은 임의적인 수신 유닛(50) 내에서 센서(30)의 센서 신호들(S)의 스트림을 수신한다. 수신 유닛(50)은 센서 신호들(S)을 입력 신호들(x)로 변환한다. 대안적으로, 수신 유닛(50)이 없는 경우, 각각의 센서 신호(S)는 직접적으로 입력 신호(x)로서 취해질 수 있다. 예를 들어, 입력 신호(x)는 센서 신호(S)로부터 발췌된 것으로서 주어질 수 있다. 대안적으로, 센서 신호(S)는 입력 신호(x)를 산출하도록 프로세싱될 수 있다.
다음으로, 입력 신호(x)는 분류기(60)에 전달된다.
분류기(60)는 파라미터 저장소(St1)에 저장되고 그에 의해 제공되는 파라미터들의 세트(Φ)에 의해 파라미터화된다.
분류기(60)는 입력 신호들(x)로부터 출력 신호(y)를 결정한다. 출력 신호(y)는 입력 신호(x)에 하나 이상의 레이블을 할당하는 정보를 포함한다. 출력 신호(y)는 출력 신호(y)를 제어 커맨드들(A)로 변환하는 임의적인 변환 유닛(80)에 전송된다. 다음으로, 액추에이터 제어 커맨드들(A)은 그에 따라 액추에이터(10)를 제어하기 위해 액추에이터(10)에 전송된다. 대안적으로, 출력 신호(y)는 액추에이터 제어 커맨드들(A)로서 직접 취해질 수 있다.
액추에이터(10)는 액추에이터 제어 커맨드들(A)을 수신하고 그에 따라 제어되며, 액추에이터 제어 커맨드들(A)에 대응하는 동작을 수행한다. 액추에이터(10)는 액추에이터 제어 커맨드(A)를 추가 제어 커맨드로 변환하는 제어 로직을 포함할 수 있고, 그러한 추가 제어 커맨드는 다음으로 액추에이터(10)를 제어하기 위해 사용된다.
추가 실시예들에서, 제어 시스템(40)은 센서(30)를 포함할 수 있다. 또 다른 실시예들에서, 제어 시스템(40)은 대안적으로 또는 추가적으로 액추에이터(10)를 포함할 수 있다.
일 실시예에서, 분류기(60)는 예를 들어 도로의 표면 및 도로 상의 표시들을 분류하고, 표시들 사이의 도로 표면의 패치들로서 차선들을 식별함으로써, 도로 전방의 차선들을 식별하도록 설계될 수 있다. 내비게이션 시스템의 출력에 기초하여, 선택된 경로를 따라가기 위한 적절한 차선이 선택될 수 있으며, 현재 차선과 상기 목표 차선에 의존하여, 다음으로, 차량(100)이 차선을 바꿀 것인지 또는 현재 차선에 머무를 것인지가 결정될 수 있다. 다음으로, 액추에이터 제어 커맨드(A)는 예를 들어 식별된 동작에 대응하는 미리 정의된 움직임 패턴을 데이터베이스로부터 검색함으로써 계산될 수 있다.
추가적으로 또는 대안적으로, 분류기(60)는 또한 환경(20)에서 도로 표지판들 및 신호등들을 검출할 수 있다. 도로 표지판들 또는 신호등들을 식별할 때, 도로 표지판의 식별된 유형 또는 상기 신호등들의 식별된 상태에 의존하여, 다음으로, 차량(100)의 가능한 움직임 패턴들에 대한 대응하는 제약들이 예를 들어 데이터베이스로부터 검색될 수 있고, 차량(100)의 계획된 궤적은 제약들에 따라 계산될 수 있으며, 액추에이터 제어 커맨드(A)는 예를 들어 계획된 궤적을 실행하기 위해 차량(100)을 조향하도록 계산될 수 있다.
추가적으로 또는 대안적으로, 분류기는 또한 환경(20) 내의 보행자들 및/또는 차량들을 검출할 수 있다. 보행자들 및/또는 차량들을 식별할 때, 보행자들 및/또는 차량들의 투영된 장래 행동이 추정될 수 있으며, 다음으로, 추정된 장래 행동에 기초하여, 예를 들어 식별된 보행자들 및/또는 차량들과의 충돌을 피하도록 궤적이 선택될 수 있고, 액추에이터 제어 커맨드(A)는 예를 들어 궤적을 실행하기 위해 차량(100)을 조향하도록 계산될 수 있다.
추가 실시예들에서, 제어 시스템(40)이 액추에이터(10)를 대신하여 또는 이에 추가하여 디스플레이(10a)를 제어하는 것이 예상될 수 있다.
더욱이, 제어 시스템(40)은 프로세서(45)(또는 복수의 프로세서), 및 실행되는 경우 제어 시스템(40)으로 하여금 본 발명의 양태에 따른 방법을 수행하게 하는 명령어들이 저장되는 적어도 하나의 머신 판독가능한 저장 매체(46)를 포함할 수 있다.
도 2는 제어 시스템(40)이 적어도 부분적으로 자율적인 로봇, 예를 들어, 적어도 부분적으로 자율적인 차량(100)을 제어하기 위해 사용되는 실시예를 보여준다.
센서(30)는 하나 이상의 비디오 센서, 및/또는 하나 이상의 레이더 센서, 및/또는 하나 이상의 초음파 센서, 및/또는 하나 이상의 LiDAR 센서, 및/또는 (예를 들어, GPS와 같은) 하나 이상의 위치 센서를 포함할 수 있다. 이러한 센서들의 일부 또는 전부는 차량(100)에 통합되는 것이 바람직하지만 반드시 그러해야 하는 것은 아니다.
대안적으로 또는 추가적으로, 센서(30)는 액추에이터 시스템의 상태를 결정하기 위한 정보 시스템을 포함할 수 있다. 이러한 정보 시스템의 일례는 환경(20)에서 현재 또는 장래의 날씨 상태를 결정하는 기상 정보 시스템이다.
예를 들어, 입력 신호(x)를 사용하여, 분류기(60)는 예를 들어 적어도 부분적으로 자율적인 로봇의 주변에 있는 물체들을 검출할 수 있다. 출력 신호(y)는 적어도 부분적으로 자율적인 로봇의 근처에서 물체들이 위치하는 곳을 특성화하는 정보를 포함할 수 있다. 다음으로, 액추에이터 제어 커맨드(A)는 예를 들어 검출된 물체들과의 충돌을 피하기 위해, 이 정보에 따라 결정될 수 있다.
바람직하게 차량(100)에 통합되는 액추에이터(10)는 차량(100)의 브레이크, 추진 시스템, 엔진, 구동계, 또는 조향계에 의해 제공될 수 있다. 액추에이터 제어 커맨드들(A)은 차량(100)이 검출된 물체들과의 충돌을 피하게끔 액추에이터(또는 액추에이터들)(10)가 제어되도록 결정될 수 있다. 검출된 물체들은 또한 예를 들어, 보행자 또는 나무와 같이, 분류기(60)가 가장 가능성이 높다고 간주하는 것에 따라 분류될 수 있으며, 액추에이터 제어 커맨드들(A)은 분류에 의존하여 결정될 수 있다.
추가 실시예들에서, 적어도 부분적으로 자율적인 로봇은 예를 들어 비행, 수영, 다이빙 또는 걸음에 의해 이동할 수 있는 다른 모바일 로봇(도시되지 않음)에 의해 주어질 수 있다. 모바일 로봇은 특히 적어도 부분적으로 자율적인 잔디 깎는 기계이거나 적어도 부분적으로 자율적인 청소 로봇일 수 있다. 상기 실시예들 전부에서, 액추에이터 커맨드 제어(A)는 모바일 로봇이 식별된 물체들과의 충돌을 피하게끔 모바일 로봇의 추진 유닛 및/또는 조향계 및/또는 브레이크가 제어되도록 결정될 수 있다.
추가 실시예에서, 적어도 부분적으로 자율적인 로봇은 환경(20)에서 식물들의 상태를 결정하기 위해, 센서(30), 바람직하게는 광학 센서를 사용하는 원예 로봇(도시되지 않음)에 의해 주어질 수 있다. 액추에이터(10)는 액체를 분무하기 위한 노즐, 및/또는 절단 디바이스, 예를 들어 블레이드를 제어할 수 있다. 식물들의 식별된 종 및/또는 식별된 상태에 따라, 액추에이터 제어 커맨드(A)는 액추에이터(10)로 하여금 적절한 양의 적절한 액체들을 식물들에 분무하고/하거나 식물들을 절단하게 하도록 결정될 수 있다.
도 3에는 제어 시스템(40)이 자동화된 개인 비서(250)를 제어하기 위해 사용되는 실시예가 도시되어 있다. 센서(30)는 예를 들어 사용자(249)의 제스처의 비디오 이미지들을 수신하기 위한 광학 센서일 수 있다. 대안적으로, 센서(30)는 또한 예를 들어 사용자(249)의 음성 커맨드를 수신하기 위한 오디오 센서일 수 있다.
다음으로, 제어 시스템(40)은 자동화된 개인 비서(250)를 제어하기 위한 액추에이터 제어 커맨드들(A)을 결정한다. 액추에이터 제어 커맨드들(A)은 센서(30)의 센서 신호(S)에 따라 결정된다. 센서 신호(S)는 제어 시스템(40)에 전송된다. 예를 들어, 분류기(60)는 예를 들어 사용자(249)에 의해 만들어진 제스처를 식별하기 위해 제스처 인식 알고리즘을 수행하도록 구성될 수 있다. 다음으로, 제어 시스템(40)은 자동화된 개인 비서(250)에 전송할 액추에이터 제어 커맨드(A)를 결정할 수 있다. 다음으로, 그것은 액추에이터 제어 커맨드(A)를 자동화된 개인 비서(250)에 전송한다.
예를 들어, 액추에이터 제어 커맨드(A)는 분류기(60)에 의해 인식되는 식별된 사용자 제스처에 따라 결정될 수 있다. 다음으로, 그것은 자동화된 개인 비서(250)로 하여금 데이터베이스로부터 정보를 검색하고 사용자(249)에 의한 수신에 적합한 형태로 이 검색된 정보를 출력하게 하는 정보를 포함할 수 있다.
도 4에는 제어 시스템(40)이 액세스 제어 시스템(300)을 제어하는 실시예가 도시되어 있다. 액세스 제어 시스템(300)은 액세스를 물리적으로 제어하도록 설계될 수 있다. 예를 들어, 그것은 도어(401)를 포함할 수 있다. 센서(30)는 액세스가 허용되어야 하는지 여부를 결정하는 데 관련된 장면을 검출하도록 구성될 수 있다. 예를 들어, 그것은 예를 들어 사람의 얼굴을 검출하기 위해, 이미지 또는 비디오 데이터를 제공하기 위한 광학 센서일 수 있다. 분류기(60)는 예를 들어 데이터베이스에 저장된 알려진 사람들과 신원을 대조함으로써, 이 이미지 또는 비디오 데이터를 해석하고, 그에 의해 사람의 신원을 결정하도록 구성될 수 있다. 다음으로, 액추에이터 제어 신호(A)는 분류기(60)의 해석에 의존하여, 예를 들어 결정된 신원에 따라 결정될 수 있다. 액추에이터(10)는 액추에이터 제어 신호(A)에 의존하여 열리거나 닫히는 잠금장치일 수 있다.
도 5에는 제어 시스템(40)이 감시 시스템(400)을 제어하는 실시예가 도시되어 있다. 이 실시예는 도 4에 도시된 실시예와 대체로 동일하다. 따라서, 상이한 양태들만이 상세히 설명될 것이다. 본 실시예에서, 센서(30)는 감시 중인 장면을 검출하도록 구성된다. 제어 시스템(40)은 반드시 액추에이터(10)를 제어하는 것이 아니라, 대안적으로 디스플레이(10a)를 제어할 수 있다. 예를 들어, 분류기(60)는 장면의 분류, 예를 들어 광학 센서(30)에 의해 검출된 장면이 의심스러운지를 결정할 수 있다. 다음으로, 디스플레이(10a)에 전송되는 액추에이터 제어 신호(A)는, 예를 들어, 디스플레이(10a)로 하여금 결정된 분류에 의존하여 디스플레이되는 콘텐츠를 조절하게 하도록, 예를 들어 분류기(60)에 의해 의심스러운 것으로 간주되는 물체를 강조표시하게 하도록 구성된다.
도 6에는 적대적 공격들에 대항하여 강건하도록 제어 시스템(40)의 분류기(60)를 훈련하기 위한 방법의 실시예를 개략적으로 설명하는 흐름도가 도시되어 있다. 훈련하기 위한 방법은 사전 훈련 데이터세트는 물론, 입력 신호들 및 대응하는 원하는 출력 신호들의 훈련 데이터세트에 대해 사전 훈련되는 분류기(60), 바람직하게는 신경망에 공급된다.
제1 단계(601)에서 복수의 섭동이 초기화된다. 초기화를 위해, 훈련 데이터세트로부터의 입력 신호들은 섭동들을 형성하도록 각각 난수로 스케일링될 수 있다. 다음으로, 복수의 새로운 입력 신호를 획득하기 위해, 각각의 섭동이 훈련 데이터세트의 각각의 입력 신호에 적용된다. 다음으로, 각각의 섭동에 대해, 분류기가 적응화된 입력 신호에 대응하는 모든 새로운 입력 신호에 대해 잘못된 분류를 제공하는, 그 적응화된 입력 신호에 대응하는 새로운 입력 신호의 비율을 계산함으로써 제1 값이 획득된다.
대안적으로, 입력 신호들은 섭동들을 획득하기 위해 다운샘플링 및/또는 크롭될 수 있다. 이러한 섭동들은 복수의 새로운 입력 신호를 획득하기 위해 훈련 데이터세트의 입력 신호들의 일부에 적용될 수 있다. 예를 들어, 이미지들을 입력 신호들로서 사용할 때, 섭동들은 훈련 데이터세트의 입력 신호들에 패치들로서 적용될 수 있다.
대안적으로, 섭동들은 입력 신호에, 즉 전체 입력 신호 또는 그것의 일부 중 어느 하나에 적용되는 잡음으로서 초기화될 수 있으며, 여기서 섭동들 각각은 다음으로, 분류기를 속이기 위해 훈련 데이터세트로부터의 개별 입력 신호에 대해 더 적응화된다. 이것은 적대적 예제들을 생성하기 위해 예를 들어 I-FGSM 또는 PGD 공격 알고리즘들을 사용하여 달성될 수 있다.
제2 단계(602)에서, 다음으로, 훈련 데이터세트의 서브세트가 훈련 배치(training batch)로 작용하도록 선택된다. 이를 위해, 원하는 양의 입력 신호들 및 대응하는 원하는 출력 신호들이 훈련 데이터세트로부터 무작위로 선택된다.
제3 단계(603)에서, 복수의 섭동으로부터의 섭동이 훈련 배치로부터의 입력 신호 및 대응하는 원하는 출력 신호의 각각의 쌍에 대한 대체로서 무작위로 도출된다.
제4 단계(604)에서, 도출된 섭동들 각각은 그것의 대응하는 입력 신호 및 원하는 출력 신호에 적응화되고, 그에 의해 섭동이 각각의 입력 신호에 적용될 때, 분류기(60)에 대한 적대적 예제가 생성된다. 이는 예를 들어 I-FGSM 또는 PGD 공격 알고리즘들을 실행함으로써 달성될 수 있다. 각각의 섭동에 대해, 이 단계는 각각의 입력 신호에 적응화된 제2 섭동을 반환한다.
제5 단계(605)에서, 분류기(60)에 대한 복수의 적대적 예제를 획득하기 위해 각각의 제2 섭동이 그 각각의 입력 신호에 적용된다.
제6 단계(606)에서, 분류기는 이전 단계에서 획득된 적대적 예제에 대해 원하는 출력 신호를 예측하도록 훈련될 수 있다. 이를 위해, 분류기는 (확률적) 경사 하강법 또는 그것의 적응화된 형태, 예를 들어 Adam을 사용하여 훈련될 수 있다. 이러한 방식으로 분류기(60)를 훈련할 때, 분류기는 적대적 예제에 기초하여 출력 신호를 예측한다. 다음으로, 예측된 출력 신호는 손실 함수를 사용하여 원하는 출력 신호와 비교된다. 다음으로, 분류기는 분류기(60)에 의해 적대적 예제를 다시 프로세싱한 다음 예측된 출력 신호를 원하는 출력 신호와 비교할 때, 손실 함수로부터 획득된 손실 값이 더 작아지도록 적응화된다. 예를 들어, 분류기(60)로서 예를 들어 신경망을 사용할 때, 신경망의 복수의 파라미터는 손실 값에 대한 파라미터들의 음의 경사에 따라 적응화된다.
추가로, 분류기는 또한 입력 신호를 변경 없이 사용하고 대응하는 원하는 출력 신호를 사용하여 훈련될 수 있다.
제7 단계(607)에서, 각각의 무작위로 도출된 섭동은 복수의 섭동 내에서 섭동 자체와 그것의 대응하는 제2 섭동의 선형 조합에 의해 대체된다. 대체는 예를 들어 이하의 수학식에 따라 획득될 수 있다:
Figure pat00001
여기서 l은 선형 조합이고, a1은 섭동이고, a2는 제2 섭동이고, σ는 미리 정의된 값이다. 이 수학식은 메타 학습을 통해 섭동들을 훈련하는 것으로 이해될 수 있으며, 여기서 σ는 경사 기반 학습 알고리즘의 학습 레이트와 유사하다.
제8 단계(608)에서, 제2 단계 내지 제7 단계가 반복된다. 예를 들어, 손실 값이 미리 정의된 임계 값 미만으로 떨어질 때까지 단계들이 반복될 수 있다. 대안적으로, 미리 정의된 양의 반복에 대해 훈련이 수행될 수 있다. 원하는 반복 횟수를 완료하면, 다음으로, 분류기(60)가 제어 시스템(40)에서 사용될 수 있다.
도 7에는 도 6에 표시된 방법을 수행하기 위한 훈련 시스템(140)의 실시예가 도시되어 있다. 훈련 데이터 유닛(150)은 분류기(60)에 전달되는 적응화된 입력 신호들(xi)을 결정하도록 구성된다. 이를 위해, 훈련 데이터 유닛(150)은 훈련 데이터의 적어도 하나의 세트(T)가 저장된 컴퓨터 구현 훈련 데이터베이스(St2)에 액세스한다. 세트(T)는 입력 신호들과 대응하는 원하는 출력 신호들(yi)의 쌍들을 포함한다. 훈련 데이터의 세트(T)는 훈련 데이터의 전체 세트일 수 있다. 훈련이 배치들에서 수행되는 경우, 그것은 또한 훈련 데이터의 선택된 배치일 수 있다. 추가로, 훈련 데이터 유닛(150)은 컴퓨터로 구현된 섭동 데이터베이스(St3)로부터 섭동들의 세트(ξ)를 수신한다. 다음으로, 훈련 데이터 유닛(150)은 입력 신호와 원하는 출력 신호(yi)의 쌍을 선택하고, 섭동들의 세트(ξ)로부터 섭동을 선택하고, 선택된 섭동을 입력 신호에 적용함으로써, 적응화된 입력 신호(xi)를 결정한다.
다음으로, 획득되는 적응화된 입력 신호(xi)는 적응화된 입력 신호(xi)로부터 출력 신호(
Figure pat00002
)를 결정하는 분류기(60)에 제공된다. 출력 신호(
Figure pat00003
)는 훈련 유닛(150)으로 다시 전달되며, 여기서 선택된 섭동은 더 강력해지도록 투영된 경사 하강법을 사용하여 적응화된다. 적응화된 입력 신호(xi)를 획득하기 위해 입력 신호에 더 강력한 섭동을 적용하고, 적응화된 입력 신호(xi)에 대한 출력 신호(yi)를 결정하고, 더 강력해지도록 섭동을 적응화하는 절차가 원하는 반복 양만큼 반복된다.
원하는 양의 반복 후에, 출력 신호(
Figure pat00004
)와 원하는 출력 신호가 업데이트 유닛(180)에 전달된다. 추가로, 훈련 유닛(150)은 선택된 섭동을 적응화된 섭동으로 대체함으로써, 섭동들의 업데이트된 세트(ξ')를 섭동 데이터베이스에 저장한다.
다음으로, 출력 신호(
Figure pat00005
) 및 원하는 출력 신호(yi)에 기초하여, 업데이트 유닛은 예를 들어 확률적 경사 하강법을 사용하여 분류기(60)에 대한 파라미터들의 업데이트된 세트(Φ')를 결정한다. 다음으로, 파라미터들의 업데이트된 세트(Φ')는 파라미터 저장소(St1)에 저장된다.
추가 실시예들에서, 다음으로, 훈련 프로세스는 원하는 반복 양만큼 반복되며, 여기서 파라미터들의 업데이트된 세트(Φ')는 각각의 반복에서 파라미터 저장소(St1)에 의해 파라미터들의 세트(Φ)로서 제공되고, 섭동들의 업데이트된 세트(ξ')는 섭동 데이터베이스(St3)에 의해 섭동들의 세트(ξ)로서 제공된다.
또한, 훈련 시스템(140)은 프로세서(145)(또는 복수의 프로세서), 및 실행되는 경우 훈련 시스템(140)으로 하여금 본 발명의 양태에 따른 훈련 방법을 수행하게 하는 명령어들이 저장되는 적어도 하나의 머신 판독가능한 저장 매체(146)를 포함할 수 있다.
또 다른 실시예들에서, 훈련 유닛(150)은 섭동이 입력 신호에 적용될지 여부를 각각의 반복에 대해 무작위로 선택한다. 입력 신호에 섭동이 적용되지 않는 것으로 결정되는 경우, 분류기(60)는 입력 신호를 적응화된 입력 신호(xi)로서 제공받고, 섭동 업데이트들은 계산되지 않는다.

Claims (13)

  1. 분류기(60)에 제공된 입력 신호들(x)을 분류하기 위한 분류기(60)를 훈련하기 위한 컴퓨터 구현 방법으로서,
    상기 분류기(60)는 상기 입력 신호(x)의 분류를 특성화(characterizing)하는 출력 신호(y)를 획득하도록 구성되고, 상기 훈련하기 위한 방법은 하기 단계들:
    a. 섭동들(perturbations)의 세트(ξ)를 제공하는 단계(601);
    b. 훈련 샘플들의 제1 데이터세트(T)로부터, 입력 신호 및 대응하는 원하는 출력 신호(yi)를 포함하는 각각의 제1 훈련 샘플들의 서브세트를 제공하는 단계(602);
    c. 상기 서브세트로부터의 입력 신호 및 대응하는 원하는 출력 신호(yi)에 대해, 상기 섭동들의 세트(ξ)로부터 제1 섭동을 선택하는 단계(603);
    d. 상기 입력 신호, 상기 대응하는 원하는 출력 신호(yi), 및 상기 분류기(60)에 기초하여 상기 제1 섭동을 적응화함으로써, 상기 제1 섭동보다 강력한 제2 섭동을 획득하는 단계(604);
    e. 상기 입력 신호에 상기 제2 섭동을 적용함으로써 제1 적대적 예제(adversarial example)(xi)를 획득하는 단계(605);
    f. 상기 분류기(60)를 상기 제2 섭동에 대항하여 강화하기 위해 상기 제1 적대적 예제(xi) 및 상기 대응하는 원하는 출력 신호(yi)에 기초하여 상기 분류기(60)를 훈련함으로써 상기 분류기(60)를 적응화하는 단계(606);
    g. 상기 섭동들의 세트(ξ) 내의 상기 제1 섭동을 상기 제1 섭동과 상기 제2 섭동의 선형 조합으로 대체하는 단계(607); 및
    h. 상기 단계 b 내지 단계 g를 반복하는 단계(608)
    를 포함하는 방법.
  2. 제1항에 있어서, 상기 분류기는 상기 제1 데이터세트 또는 다른 데이터세트에 대해 사전 훈련되고, 상기 분류기의 제2 적대적 예제들의 대응하는 세트에 기초하여 상기 섭동들의 세트로부터의 하나 또는 복수의 섭동이 제공되는(601), 방법.
  3. 제2항에 있어서, 상기 제2 적대적 예제들의 세트로부터의 제2 적대적 예제는 무작위 잡음에 기초하여 제공되는, 방법.
  4. 제3항에 있어서, 상기 제2 적대적 예제는 상기 제1 데이터세트로부터의 입력 신호의 무작위 위치에서 무작위 잡음을 적용하는 것에 기초하여 제공되는, 방법.
  5. 제2항에 있어서, 상기 섭동들의 세트(ξ)로부터의 하나 또는 복수의 섭동은 하기 단계들:
    i. 상기 제1 데이터세트(T)로부터 입력 신호들의 서브세트를 선택하는 단계;
    j. 상기 서브세트 내의 입력 신호들 내의 복수의 값을 스케일링함으로써 상기 입력 신호들을 적응화하는 단계;
    k. 새로운 입력 신호들의 세트를 획득하기 위해, 적응화된 입력 신호들을 상기 제1 데이터세트(T)의 입력 신호들에 대한 섭동들로서 적용하는 단계 - 각각의 적응화된 입력 신호는 상기 제1 데이터세트(T)의 복수의 입력 신호에 적용되고, 상기 새로운 입력 신호들의 세트로부터의 각각의 입력 신호는 적응화된 입력 신호에 대응함 - ;
    l. 각각의 적응화된 입력 신호에 대한 제1 값을 결정하는 단계 - 상기 제1 값은 대응하는 적응화된 입력 신호가 섭동으로서 사용될 때 상기 분류기를 속이는 능력을 특성화하고, 상기 제1 값은 상기 적응화된 입력 신호에 대응하는 새로운 입력 신호들이 상기 분류기(60)를 속이는 능력에 기초하여 결정됨 - ; 및
    m. 상기 적응화된 입력 신호들을 그것들의 대응하는 제1 값들에 의해 순위를 매기고, 원하는 양의 최적 순위의 적응화된 입력 신호들을 섭동들로서 제공하는 단계
    에 따라 제공되는(601), 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 분류기(60)는 상기 제1 적대적 예제(xi)를 상기 분류기에 공급하고, 상기 대응하는 원하는 출력 신호(yi)를 상기 적대적 예제에 대한 원하는 출력 신호로서 사용함으로써 훈련되는, 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    o. 상기 입력 신호 및 상기 대응하는 원하는 출력 신호(yi)에 기초하여 상기 분류기(60)를 훈련하는 단계
    를 더 포함하는 방법.
  8. 입력 신호(x)의 분류를 특성화하는 출력 신호(y)를 획득하기 위한 컴퓨터 구현 방법으로서,
    p. 제1항 내지 제7항 중 어느 한 항에 따라 분류기(60)를 훈련하는 단계;
    q. 제어 시스템(40) 내에 상기 분류기(60)를 제공하는 단계; 및
    r. 상기 제어 시스템(40)으로부터 상기 출력 신호(y)를 획득하는 단계 - 상기 제어 시스템(40)은 상기 출력 신호(y)를 획득하기 위해 상기 입력 신호(x)를 상기 분류기(60)에 공급함 -
    를 포함하는 방법.
  9. 제8항에 있어서, 상기 입력 신호(x)는 센서(30)의 신호(S)에 기초하여 획득되고/되거나 액추에이터(10)는 상기 출력 신호(y)에 기초하여 제어되고/되거나 디스플레이 디바이스(10a)는 상기 출력 신호(y)에 기초하여 제어되는, 방법.
  10. 제어 시스템(40)으로서,
    상기 제어 시스템(40)은 분류기(60)의 출력 신호(y)에 기초하여 액추에이터(10) 및/또는 디스플레이 디바이스(10a)를 제어하도록 구성되고, 상기 분류기는 제1항 내지 제7항 중 어느 한 항에 따른 방법으로 훈련되는, 제어 시스템.
  11. 컴퓨터 프로그램으로서,
    상기 컴퓨터 프로그램이 프로세서(45, 145)에 의해 수행되는 경우 컴퓨터로 하여금 제1항 내지 제9항 중 어느 한 항에 따른 방법을 그것의 단계들 전부와 함께 수행하게 하도록 구성되는, 컴퓨터 프로그램.
  12. 제11항에 따른 컴퓨터 프로그램이 저장된 머신 판독가능한 저장 매체(46, 146).
  13. 제1항 내지 제7항 중 어느 한 항에 따른 방법을 수행하도록 구성된 훈련 시스템(140).
KR1020210048606A 2020-04-14 2021-04-14 분류기를 훈련하기 위한 디바이스 및 방법 KR20210127639A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP20169266.2A EP3896612B1 (en) 2020-04-14 2020-04-14 Device and method for training a classifier
EP20169266.2 2020-04-14

Publications (1)

Publication Number Publication Date
KR20210127639A true KR20210127639A (ko) 2021-10-22

Family

ID=70289535

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210048606A KR20210127639A (ko) 2020-04-14 2021-04-14 분류기를 훈련하기 위한 디바이스 및 방법

Country Status (5)

Country Link
US (1) US20210319267A1 (ko)
EP (1) EP3896612B1 (ko)
JP (1) JP2021170333A (ko)
KR (1) KR20210127639A (ko)
CN (1) CN113536887A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113887243A (zh) * 2021-10-29 2022-01-04 平安普惠企业管理有限公司 语义分类模型的训练方法、装置、设备及存储介质
CN114359672B (zh) * 2022-01-06 2023-04-07 云南大学 基于Adam的迭代快速梯度下降对抗攻击方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6781415B2 (ja) * 2017-03-16 2020-11-04 日本電気株式会社 ニューラルネットワーク学習装置、方法、プログラム、およびパターン認識装置
DE102018200724A1 (de) 2017-04-19 2018-10-25 Robert Bosch Gmbh Verfahren und Vorrichtung zum Verbessern der Robustheit gegen "Adversarial Examples"
US11023593B2 (en) * 2017-09-25 2021-06-01 International Business Machines Corporation Protecting cognitive systems from model stealing attacks
US10970765B2 (en) * 2018-02-15 2021-04-06 Adobe Inc. Generating user-customized items using a visually-aware image generation network
DE102018208763A1 (de) * 2018-06-04 2019-12-05 Robert Bosch Gmbh Verfahren, Vorrichtung und Computerprogramm zum Betreiben eines maschinellen Lernsystems
US11568183B2 (en) * 2019-05-26 2023-01-31 International Business Machines Corporation Generating saliency masks for inputs of models using saliency metric
US11556647B2 (en) * 2020-03-30 2023-01-17 Bae Systems Information And Electronic Systems Integration Inc. System for detecting trojans in an artificial network and method therof

Also Published As

Publication number Publication date
JP2021170333A (ja) 2021-10-28
CN113536887A (zh) 2021-10-22
US20210319267A1 (en) 2021-10-14
EP3896612B1 (en) 2023-12-13
EP3896612A1 (en) 2021-10-20

Similar Documents

Publication Publication Date Title
US11783568B2 (en) Object classification using extra-regional context
CN109241829A (zh) 基于时空注意卷积神经网络的行为识别方法及装置
KR20210127639A (ko) 분류기를 훈련하기 위한 디바이스 및 방법
US11551084B2 (en) System and method of robust active learning method using noisy labels and domain adaptation
CN114245912A (zh) 通过在基于概率信号时间逻辑的约束下求解优化问题来进行感知误差评估和校正的系统和方法
EP3612985A1 (en) Machine-vision system for discriminant localization of objects
CN113316790A (zh) 经由sliced-wasserstein距离进行无监督域适应的系统和方法
US20210390419A1 (en) Device and Method for Training and Testing a Classifier
EP4105839A1 (en) Device and method to adapt a pretrained machine learning system to target data that has different distribution than the training data without the necessity of human annotations on target data
EP3968214A1 (en) Device and method for classifying images and accessing the robustness of the classification
EP3629237B1 (en) Device and method to improve the robustness against 'adversarial examples'
KR20210127638A (ko) 분류기를 훈련하고 분류기의 강건성을 평가하기 위한 디바이스 및 방법
EP3798913A1 (en) Device and method to improve the robustness against adversarial examples
US20230259658A1 (en) Device and method for determining adversarial patches for a machine learning system
EP3866071A1 (en) Device and method for classifying images using an attention layer
CN116434156A (zh) 目标检测方法、存储介质、路侧设备及自动驾驶系统
GB2617440A (en) Method for classifying images using novel classes
US20210287093A1 (en) Device and method for training a neuronal network
US20240135699A1 (en) Device and method for determining an encoder configured image analysis
EP4105847A1 (en) Device and method to adapt a pretrained machine learning system to target data that has different distribution than the training data without the necessity of human annotations on target data
US20220101128A1 (en) Device and method for training a classifier using an invertible factorization model
EP4145402A1 (en) Device and method for training a neural network for image analysis
EP3690760A1 (en) Device and method to improve the robustness against "adversarial examples"
WO2021126062A1 (en) Method and system for predicting movement
KR20240149100A (ko) 비지도 도메인 적응 학습 기반 객체 종류 및 윤곽정보를 활용한 영상 분할 방법 및 시스템