KR102601761B1 - 적대적 예시에 대한 심층신경망 보정 방법 및 장치 - Google Patents
적대적 예시에 대한 심층신경망 보정 방법 및 장치 Download PDFInfo
- Publication number
- KR102601761B1 KR102601761B1 KR1020220187679A KR20220187679A KR102601761B1 KR 102601761 B1 KR102601761 B1 KR 102601761B1 KR 1020220187679 A KR1020220187679 A KR 1020220187679A KR 20220187679 A KR20220187679 A KR 20220187679A KR 102601761 B1 KR102601761 B1 KR 102601761B1
- Authority
- KR
- South Korea
- Prior art keywords
- neurons
- neural network
- deep neural
- activated
- data
- Prior art date
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 117
- 238000000034 method Methods 0.000 title claims description 43
- 210000002569 neuron Anatomy 0.000 claims abstract description 186
- 230000004913 activation Effects 0.000 claims abstract description 63
- 238000012937 correction Methods 0.000 claims abstract description 55
- 238000004364 calculation method Methods 0.000 claims abstract description 10
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013138 pruning Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 17
- 230000002159 abnormal effect Effects 0.000 description 11
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/094—Adversarial learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Color Image Communication Systems (AREA)
Abstract
일 실시예에 따른 복수개의 뉴런들을 포함하는 심층신경망을 보정하는 장치는, 노이즈를 포함하는 데이터와 정상 데이터를 입력받도록 구성되는 입력부, 상기 복수개의 뉴런들 중 상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 계산하도록 구성되는 계산부, 및 상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 기반으로 상기 심층신경망을 보정하도록 구성되는 보정부를 포함할 수 있다.
Description
본 발명은 심층신경망(deep neural network)을 보정하는 방법 및 장치에 관한 것으로, 적대적 예시(adversarial example)에 의해 심층신경망이 오작동하지 않도록 심층신경망을 보정하는 방법 및 장치에 관한 것이다.
인공지능 기반 기술은 고성능의 컴퓨팅 하드웨어와 CNN(convolutional neural network), RNN(recurrent neural network) 등의 효과적인 심층신경망 구조, 그리고 학습 알고리즘의 발전으로 이미지 분류, 음성 인식 등 다양한 분야에서 인간과 유사하거나 그 이상의 성능을 발휘하고 있다. 하지만, 복잡한 구조의 심층신경망의 사용으로 인해 새로운 보안 취약점 또한 발생한다.
적대적 예시는 심층신경망에서 발생하는 대표적인 보안 취약점 중 하나로서, 학습이 완료된 심층신경망의 입력 데이터에 인간이 구분하기 어려운 미세한 노이즈(noise)를 추가하여 오판별을 유도한다. 이와 같은 적대적 예시는 공격자의 입장에서 매우 쉽게 생성할 수 있는 공격으로서, 만약 적대적 예시가 악용될 경우 사회 경제학적 큰 손실로 이어질 수 있다.
적대적 예시는 공격자의 목적에 따라 레이블에 관계없이 단순히 오분류를 유도하는 공격과 특정 레이블로 오분류를 유도하는 공격으로 나뉜다. 적대적 예시는 FGSM(fast gradient sign method), PGD(projected gradient descent), CW(Carlini & Wagner) 등 다양한 방식으로 생성된다. 이 중 FGSM과 PGD의 경우 손실 함수의 경사도(gradient)에 비례한 노이즈를 추가하는 단순한 방식이지만, CW는 최적화(optimization) 방식에 기반하여 원본 데이터와의 차이를 최소화하면서 오분류를 유도하는 노이즈를 생성하는 방식으로서 적대적 공격들 중 가장 효과적인 공격으로 간주된다.
도 1에는 일 예로, 원본 이미지와, FGSM, PGD, MIM 방식으로 노이즈가 부가된 이미지가 도시되어 있다. 도 1을 참조하면, 적대적 공격에 의해 노이즈가 부가된 이미지와 원본 이미지가 육안으로는 구분하기 어려우나, 각 이미지에 대한 경사도는 차이가 있음을 알 수 있다. 따라서, 인공지능의 안전성을 보장하기 위해서는 적대적 예시에 대한 방어가 필수적이다.
본 발명의 기술적 과제는 적대적 예시에 대한 방어가 가능한 심층신경망 보정 방법 및 장치를 제공함에 있다.
본 발명의 다른 기술적 과제는 효율적으로 적대적 예시에 대한 방어를 수행할 수 있는 심층신경망 보정 방법 및 장치를 제공함에 있다.
본 발명의 또 다른 기술적 과제는 단일 심층신경망으로 모든 적대적 예시를 방어할 수 있는 심층신경망 보정 방법 및 장치를 제공함에 있다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 해결하고자 하는 과제는 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따르면, 복수개의 뉴런들을 포함하는 심층신경망을 보정하는 장치는 노이즈를 포함하는 데이터와 정상 데이터를 입력받도록 구성되는 입력부, 상기 복수개의 뉴런들 중 상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 계산하도록 구성되는 계산부, 및 상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 기반으로 상기 심층신경망을 보정하도록 구성되는 보정부를 포함할 수 있다.
여기서, 상기 계산부는 상기 복수개의 뉴런들 중 출력값이 임계값보다 큰 뉴런을 활성화된 뉴런으로 판단하고, 상기 노이즈를 포함하는 데이터 및 상기 정상 데이터 각각에 대해 상기 임계값보다 출력값이 큰 뉴런의 활성화 빈도수를 각 데이터 별로 계산할 수 있다.
또한, 상기 보정부는 상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런들 중 활성화 빈도수가 설정값 이상인 뉴런들의 집합인 제1 집합을 도출하고, 상기 정상 데이터에 의해 활성화되는 뉴런들 중 활성화 빈도수가 상기 설정값 이상인 뉴런들의 집합인 제2 집합을 도출하고, 상기 제1 집합과 상기 제2 집합의 차분 집합에 포함되는 뉴런들을 도출하고, 상기 차분 집합에 포함되는 뉴런들을 비활성화시킬 수 있다.
또한, 상기 보정부는 상기 차분 집합에 포함되는 뉴런들의 출력값을 0으로 설정할 수 있다.
또한, 상기 보정부는 상기 심층신경망의 레이블(label) 별로 상기 차분 집합에 포함되는 뉴런들을 비활성화시킬 수 있다.
또한, 상기 보정부는 상기 심층신경망의 모든 레이블에 대해서 상기 차분 집합에 포함되는 뉴런들을 비활성화시킬 수 있다.
본 발명의 다른 실시예에 따르면, 데이터 분류 장치는 분류 대상 데이터를 입력받도록 구성되는 입력부, 복수개의 뉴런들을 포함하는 심층신경망을 저장하도록 구성되는 저장부, 및 상기 심층신경망을 기반으로 상기 분류 대상 데이터를 적어도 하나의 레이블로 분류하도록 구성되는 분류부를 포함하되, 상기 심층신경망은 상기 복수개의 뉴런들 중 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 기반으로 보정될 수 있다.
본 발명의 또 다른 실시예에 따르면, 심층신경망 보정 장치가 복수개의 뉴런들을 포함하는 심층신경망을 보정하는 방법은 노이즈를 포함하는 데이터와 정상 데이터를 입력받는 단계, 상기 복수개의 뉴런들 중 상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 계산하는 단계, 및 상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 기반으로 상기 심층신경망을 보정하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따르면, 심층신경망에서 적대적 예시에 의해서만 활성화되는 뉴런을 가지치기함으로써 효율적으로 적대적 예시에 대해 방어할 수 있다.
본 발명의 일 실시예에 따르면, 적대적 예시에 의해서 활성화되는 뉴런을 해당 레이블에 대해서만 가지치기함으로써 해당 레이블에 특화된 심층신경망을 생성할 수 있다.
본 발명의 일 실시예에 따르면, 적대적 예시에 의해서 활성화되는 뉴런을 모든 레이블에 대해서 가지치기함으로써 단일 심층신경망으로 모든 적대적 예시를 방어할 수 있다.
도 1은 원본 이미지와 노이즈가 부가된 이미지를 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 심층신경망 보정 장치를 나타내는 도면이다.
도 3은 정상 데이터의 분류 결과를 나타내는 도면이다.
도 4는 적대적 예시를 포함하는 데이터의 분류 결과를 나타내는 도면이다.
도 5 및 도 6은 본 발명의 일실시예에 따라 적대적 예시에 의한 활성화도를 기반으로 뉴런을 가지치기하는 과정을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 레이블 별 가지치기 방법을 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따른 모든 레이블 가지치기 방법을 나타내는 도면이다.
도 9는 본 발명의 일실시예에 따른 데이터 분류 장치를 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 심층신경망 보정 방법을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 심층신경망 보정 장치를 나타내는 도면이다.
도 3은 정상 데이터의 분류 결과를 나타내는 도면이다.
도 4는 적대적 예시를 포함하는 데이터의 분류 결과를 나타내는 도면이다.
도 5 및 도 6은 본 발명의 일실시예에 따라 적대적 예시에 의한 활성화도를 기반으로 뉴런을 가지치기하는 과정을 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 레이블 별 가지치기 방법을 나타내는 도면이다.
도 8은 본 발명의 일실시예에 따른 모든 레이블 가지치기 방법을 나타내는 도면이다.
도 9는 본 발명의 일실시예에 따른 데이터 분류 장치를 나타내는 도면이다.
도 10은 본 발명의 일 실시예에 따른 심층신경망 보정 방법을 나타내는 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 문서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 문서 전체에서 어떤 부분이 어떤 구성요소를 ‘포함’한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다.
또한, 본 문서에서 사용되는 ‘부’라는 용어는 소프트웨어 또는 FPGA나 ASIC과 같은 하드웨어 구성요소를 의미하며, ‘부’는 어떤 역할들을 수행한다. 그렇지만 ‘부’는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. ‘부’는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 ‘부’는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 ‘부’들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 ‘부’들로 결합되거나 추가적인 구성요소들과 ‘부’들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 2는 본 발명의 일 실시예에 따른 심층신경망 보정 장치를 나타내는 도면이다.
도 2를 참조하면, 심층신경망 보정 장치(200)는 입력부(210), 계산부(220) 및 보정부(230)를 포함할 수 있다.
입력부(210)는 노이즈(noise)를 포함하는 데이터와 정상 데이터를 입력받도록 구성될 수 있다. 여기서, 노이즈는 심층신경망이 입력 데이터를 오분류하도록 유도하는 것으로서 적대적 예시 및/또는 적대적 공격이라 불릴 수 있다. 일 예로, 입력부(210)는 사용자 인터페이스(user interface)를 기반으로 노이즈를 포함하지 않는 정상 데이터와 노이즈를 포함하는 비정상 데이터를 각각 입력받을 수 있다. 여기서, 상기 정상 데이터 및 상기 비정상 데이터는 이미지 데이터를 포함할 수 있다.
계산부(220)는 심층신경망에 포함되는 복수개의 뉴런들 중 상기 노이즈를 포함하는 데이터(비정상 데이터)에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 계산하도록 구성될 수 있다. 여기서, 계산부(220)는 심층신경망 내 복수개의 뉴런들 중 그 출력값이 임계값보다 큰 뉴런을 활성화된 뉴런으로 판단할 수 있다. 상기 임계값은 일 예로 0일 수 있다. 예를 들어, 계산부(220)는 노이즈를 포함하는 데이터셋(data set) 및 정상 데이터셋 각각에 대해 상기 임계값보다 출력값이 큰 뉴런(들) 각각의 활성화 빈도를 계산하고, 각 데이터 별로 각 뉴런의 활성화 빈도의 합을 계산하여 해당 뉴런의 활성화 빈도수를 도출할 수 있다. 여기서, 뉴런이란 심층신경망의 노드를 의미할 수 있다. 각 뉴런은 해당 뉴런에 연결된 다른 뉴런(들)의 출력값(들)을 입력받아 상기 각 뉴런에 연결된 또 다른 뉴런(들)로 결과값을 출력할 수 있다.
보정부(230)는 상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 기반으로 심층신경망을 보정하도록 구성될 수 있다.
일 예로, 보정부(230)는 노이즈를 포함하는 데이터(비정상 데이터)에 의해 활성화되는 뉴런들 중 활성화 빈도수가 설정값 이상인 뉴런들의 집합인 제1 집합을 심층신경망으로부터 도출하고, 정상 데이터에 의해 활성화되는 뉴런들 중 활성화 빈도수가 상기 설정값 이상인 뉴런들의 집합인 제2 집합을 상기 심층신경망으로부터 도출할 수 있다. 그리고, 상기 제1 집합과 상기 제2 집합의 차분 집합을 도출하고, 상기 차분 집합에 포함되는 뉴런들을 비활성화시킬 수 있다. 여기서, 보정부(230)는 상기 차분 집합에 포함되는 뉴런들의 출력값을 0으로 설정함으로써 심층신경망에서 해당 뉴런들을 비활성화시킬 수 있다. 이 때, 보정부(230)는 심층신경망의 레이블(label) 별로 상기 차분 집합에 포함되는 뉴런들을 비활성화시키거나, 심층신경망의 모든 레이블에 대해서 상기 차분 집합에 포함되는 뉴런들을 비활성화시킬 수 있다. 이하에서 심층신경망에서 특정 뉴런을 비활성화시키는 동작을 가지치기라 한다.
도 3은 정상 데이터의 분류 결과를 나타내는 도면이고, 도 4는 적대적 예시를 포함하는 데이터의 분류 결과를 나타내는 도면이다.
도 3에는 일 예로 심층신경망에‘4’를 나타내는 정상 이미지 데이터가 입력되는 경우가 도시되어 있고, 도 4에는 육안으로는 ‘4’로 인식되지만 노이즈를 포함하는 비정상 이미지 데이터가 심층신경망에 입력되는 경우가 도시되어 있다. 도 3을 참조하면, 입력 데이터가 정상적인 데이터인 경우 심층신경망은 입력 데이터를 정상적으로‘4’로 분류할 수 있다. 이 때, 제1 뉴런(310)의 출력값 0.1이고, 제2 뉴런(320)의 출력값이 0이고, 제3 뉴런(330)의 출력값이 0.2라 하면, 제4 뉴런(340)은 제1 뉴런(310), 제2 뉴런(320) 및 제3 뉴런(330)의 출력값들을 더하여 0.3을 출력할 수 있으며, 이는 ‘4’로 분류될 수 있다.
그러나 도 4에서와 같이 적대적 예시(노이즈)가 포함된 이미지 데이터가 입력되는 경우, 제1 뉴런(410)에서는 0.1이 출력되고, 제2 뉴런(420)에서는 0.3이 출력되고, 제3 뉴런(430)에서는 0.2가 출력될 수 있다. 이 경우 제4 뉴런(440)에서는 제1 뉴런(410), 제2 뉴런(420) 및 제3 뉴런(430)의 출력값들의 합인 0.6이 출력될 수 있으며, 이로 인해 해당 이미지 데이터는 ‘2’로 오분류될 수 있다.
따라서 본 발명에 따른 심층신경망 보정 장치는, 정상 데이터에 의해서는 활성화되지 않지만 노이즈를 포함하는 비정상 데이터에 의해 활성화되는 제2 뉴런(420)을 심층신경망에서 비활성화시켜 제2 뉴런(420)에서 0이 출력되도록 함으로써 비정상 데이터(적대적 예시를 포함하는 데이터)가 입력되더라도 정상 데이터가 입력되는 경우와 같이 ‘4’로 분류되도록 심층신경망을 보정할 수 있다.
도 5 및 도 6은 본 발명의 일실시예에 따라 적대적 예시에 의한 활성화 빈도를 기반으로 뉴런을 가지치기하는 과정을 나타내는 도면이다.
심층신경망(510) 내 뉴런들은 도 5에서와 같이 메모리(520) 상에서 선형으로 표현될 수 있다. 특정 데이터에 의한 출력값이 임계값보다 큰 뉴런에 대한 슬롯(slot)에는 ‘1’이 저장될 수 있고, 상기 특정 데이터에 의한 출력값이 상기 임계값 이하인 뉴런에 대한 슬롯에는‘0’이 저장될 수 있다.
심층신경망 보정 장치는 n개(여기서, n은 자연수)의 정상 데이터셋을 입력했을 때 많이 활성화된 상위 k%(여기서, k는 자연수)의 뉴런들의 집합 A와 n개의 적대적 예시를 포함하는 데이터셋을 입력했을 때 많이 활성화된 상위 k%의 뉴런들의 집합 B를 추출할 수 있다.
도 6에는 일 예로 상기 집합 A(610) 및 상기 집합 B(620)가 각각 5개의 뉴런들을 포함한다고 가정할 때, 특정 정상 데이터에 대한 뉴런들의 활성화 여부가 메모리 상에 ‘11000’으로 저장되고, 비정상 데이터에 대한 뉴런들의 활성화 여부가 메모리 상에 ‘10011’로 저장되는 경우가 도시되어 있다. 이는 특정 레이블의 정상 데이터 대해서 제1 슬롯 및 제2 슬롯에 대응되는 뉴런이 활성화되고, 해당 레이블의 적대적 예시를 포함하는 데이터에 대해서 제1 슬롯, 제4 슬롯 및 제5 슬롯에 대응되는 뉴런이 활성화됨을 나타낼 수 있다. 이 경우, 심층신경망 보정 장치는 집합 A(610)와 집합 B(620)를 기반으로 차분 집합 C(630)를 도출할 수 있다. 차분 집합 C(630)에서 ‘0’은 정상 데이터에 의해서 활성화되는 뉴런 또는 비정상 데이터에 의해서 활성화되지 않는 뉴런을 나타내고, ‘1’은 정상 데이터에 의해서는 활성화되지 않지만 노이즈를 포함하는 비정상 데이터에 의해 활성화되는 뉴런을 나타낸다. 심층신경망 보정 장치는 차분 집합 C(630)에서 ‘1’의 값을 가지는 제4 슬롯 및 제5 슬롯에 대응되는 뉴런을 심층신경망의 오작동에 크게 영향을 미치는 뉴런들로서 판단하고 이를 심층신경망에서 비활성화시킬 수 있다.
도 7은 본 발명의 일실시예에 따른 레이블 별 가지치기 방법을 나타내는 도면이다.
본 발명의 일 실시예에 따르면, 심층신경망 보정 장치는 동일한 레이블을 가진 정상 데이터와 그에 대한 적대적 예시만을 활용하여 해당 레이블에 특화된 적대적 예시에 대응할 수 있으며, 그 결과로서 레이블 별로 서로 다르게 가지치기된 심층신경망이 생성될 수 있다.
도 7에는 일 예로 본 발명의 일 실시예에 따른 심층신경망 보정 장치가 레이블(0 내지 9) 별로 정상 데이터에 의해서는 활성화되지 않지만 적대적 예시(노이즈를 포함하는 비정상 데이터)에 의해 활성화되는 뉴런을 가지치기하여 각 레이블 별로 서로 다른 심층신경망을 생성하는 경우가 도시되어 있다. 도 7에서 검은색 뉴런(700)은 해당 레이블의 데이터에 대해 가지치기되는 뉴런(비활성화되는 뉴런)을 나타낸다. 이와 같이 심층신경망을 보정하는데 있어서 특정 레이블의 데이터만을 활용하면 유사한 입력 형태로 인해 적대적 예시에서만 활성화되는 뉴런을 보다 효과적으로 가지치기할 수 있으며, 이는 효율적인 적대적 예시 보정으로 이어질 수 있다.
표 1은 레이블 별 가지치기 방법을 적용하는 경우 뉴런의 가지치기 정도 및 보정 방법에 따른 정상 데이터 및 적대적 예시를 포함하는 데이터의 판별 정확도를 나타낸다.
| 데이터셋 | 가지치기 정도(%) | 0 (원본 신경망) |
10 | 15 |
| MNIST | 정상 데이터 | 100% | 99.46% | 99.77% |
| 적대적 예시를 포함하는 데이터 | 0% | 96.15% | 99.21% |
표 1을 참조하면, MNIST(Modified National Institute of Standards and Technology) 데이터셋에 대해서 심층신경망을 보정해도 정상 데이터의 경우 99% 이상의 높은 분류 정확도를 보이는 것을 확인할 수 있다. 이는 본 발명에 따른 레이블 별 가지치기 방법이 원본 심층신경망의 판별 정확도를 해치지 않음을 나타낸다. 또한, 레이블 별 가지치기 방법에 기반한 심층신경망 보정 방법에서 가지치기 정도를 10% 이상으로 가지치기 하였을 때, 적대적 예시에 대한 판별 정확도가 90% 이상으로 향상됨을 확인할 수 있다. 이는 본 발명에 따른 레이블 별 가지치기 방법이 효과적으로 적대적 예시 오판별에 영향을 주는 뉴런을 가지치기할 수 있음을 나타낸다.도 8은 본 발명의 일실시예에 따른 모든 레이블 가지치기 방법을 나타내는 도면이다.
본 발명의 다른 실시예에 따르면, 심층신경망 보정 장치는 레이블 구별 없이 데이터셋 내에 존재하는 모든 정상 데이터 및 그로부터 생성되는 적대적 예시를 사용하여 가지치기를 수행할 수 있다. 이와 같이 심층신경망을 보정하는데 있어서 모든 레이블의 데이터를 활용한다면 입력되는 데이터의 형태가 서로 달라 뉴런 활성화 패턴이 다양해져 그 보정 효과가 떨어질 수 있지만, 가지치기의 결과로서 단일 심층신경망이 생성되기 때문에 생성될 수 있는 모든 적대적 예시에 대해 대응이 가능하다.
표 2는 모든 레이블 가지치기 방법을 적용하는 경우 뉴런의 가지치기 정도 및 보정 기법에 따른 정상 데이터 및 적대적 예시를 포함하는 데이터의 판별 정확도를 나타낸다.
| 데이터셋 | 가지치기 정도(%) | 0 (원본 신경망) |
10 | 15 |
| MNIST | 정상 데이터 | 100% | 99.75% | 99.86% |
| 적대적 예시를 포함하는 데이터 | 0% | 75.30% | 77.06% |
표 2를 참조하면, MNIST 데이터셋에 대해 심층신경망을 보정해도 정상 데이터의 경우 99% 이상의 높은 분류 정확도를 보이는 것을 확인할 수 있다. 또한, 모든 레이블 가지치기 방법에 기반하여 심층신경망 보정하는 경우 레이블 별 가지치기보다는 떨어지는 분류 성능(77.06%, 15% 가지치기)을 확인할 수 있지만, 가지치기 이전의 0%에 비해 비약적으로 상승한 값으로서, 본 발명에 따른 심층신경망 보정 방법이 효과가 있음을 나타낸다.도 9는 본 발명의 일실시예에 따른 데이터 분류 장치를 나타내는 도면이다.
도 9을 참조하면, 데이터 분류 장치(900)는 입력부(910), 분류부(920), 및 저장부(930)를 포함할 수 있다.
입력부(910)는 분류 대상 데이터를 입력받도록 구성될 수 있다. 이를 위하여 입력부(910)는 분류 대상 데이터를 입력받기 위한 사용자 인터페이스를 포함할 수 있다.
분류부(920)는 복수개의 뉴런들을 포함하는 심층신경망을 기반으로 입력부(910)에서 입력되는 분류 대상 데이터를 적어도 하나의 레이블로 분류하도록 구성될 수 있다. 여기서, 상기 심층신경망은 정상 데이터로 기 학습되고 상술한 심층신경망 보정 방법을 기반으로 보정된 심층신경망을 포함할 수 있다. 일 예로, 상기 심층신경망은 복수개의 뉴런들 중 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 기반으로 보정된 신경망일 수 있다.
저장부(930)는 분류부(920)에 의해 사용되는 심층신경망을 저장하도록 구성될 수 있다.
도 10은 본 발명의 일 실시예에 따른 심층신경망 보정 방법을 나타내는 도면이다.
도 10을 참조하면, 심층신경망 보정 장치는 노이즈를 포함하는 데이터와 정상 데이터가 입력되면(S1000), 심층신경망에 포함되는 복수개의 뉴런들 중 상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 계산할 수 있다(S1010). 이를 위하여 심층신경망 보정 장치는 심층신경망 내 복수개의 뉴런들 중 그 출력값이 임계값보다 큰 뉴런을 활성화된 뉴런으로 판단할 수 있다. 그리고, 심층신경망 보정 장치는 노이즈를 포함하는 데이터셋 및 정상 데이터셋 각각에 대해 상기 임계값보다 출력값이 큰 뉴런(들) 각각의 활성화 빈도를 계산하고, 각 데이터 별로 각 뉴런의 활성화 빈도의 합을 계산하여 해당 뉴런의 활성화 빈도수(또는 횟수)를 도출할 수 있다.
이후, 심층신경망 보정 장치는 상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 기반으로 심층신경망을 보정할 수 있다(S1020). 일 예로, 심층신경망 보정 장치는 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런들 중 활성화 빈도수가 설정값 이상인 뉴런들의 집합인 제1 집합을 심층신경망으로부터 도출하고, 정상 데이터에 의해 활성화되는 뉴런들 중 활성화 빈도수가 상기 설정값 이상인 뉴런들의 집합인 제2 집합을 상기 심층신경망으로부터 도출할 수 있다. 그리고, 심층신경망 보정 장치는 상기 제1 집합과 상기 제2 집합의 차분 집합을 도출한 후, 상기 차분 집합에 포함되는 뉴런들의 출력값을 0으로 설정함으로써 해당 뉴런들을 비활성화시킬 수 있다. 이 때, 심층신경망 보정 장치는 심층신경망의 레이블 별로 상기 차분 집합에 포함되는 뉴런들을 비활성화시키거나, 심층신경망의 모든 레이블에 대해서 상기 차분 집합에 포함되는 뉴런들을 비활성화시킬 수 있다.
한편, 전술한 실시예에 따른 심층신경망 보정 장치가 수행하는 심층신경망 보정 방법에 포함된 각각의 단계는, 이러한 단계를 프로세서가 수행하도록 하기 위한 명령어를 포함하여 기록매체에 기록된 컴퓨터 프로그램으로 구현될 수 있다.
또한, 전술한 실시예에 따른 심층신경망 보정 장치가 수행하는 심층신경망 보정 방법에 포함된 각각의 단계는, 이러한 단계를 프로세서가 수행하도록 하기 위한 명령어를 포함하는 컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에서 구현될 수 있다.
본 발명에 첨부된 각 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 품질에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
200: 심층신경망 보정 장치
210: 입력부
220: 계산부
230: 보정부
210: 입력부
220: 계산부
230: 보정부
Claims (15)
- 복수개의 뉴런들을 포함하는 심층신경망을 보정하는 장치에 있어서,
노이즈를 포함하는 데이터와 정상 데이터를 입력받도록 구성되는 입력부;
상기 복수개의 뉴런들 중 상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 계산하도록 구성되는 계산부; 및
상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 기반으로 상기 심층신경망을 보정하도록 구성되는 보정부를 포함하고,
상기 보정부는,
상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런들 중 활성화 빈도수가 설정값 이상인 뉴런들의 집합인 제1 집합을 도출하고, 상기 정상 데이터에 의해 활성화되는 뉴런들 중 활성화 빈도수가 상기 설정값 이상인 뉴런들의 집합인 제2 집합을 도출하고, 상기 제1 집합과 상기 제2 집합의 차분 집합에 포함되는 뉴런들을 도출하고, 상기 차분 집합에 포함되는 뉴런들을 비활성화시키는 것을 특징으로 하는, 장치. - 복수개의 뉴런들을 포함하는 심층신경망을 보정하는 장치에 있어서,
노이즈를 포함하는 데이터와 정상 데이터를 입력받도록 구성되는 입력부;
상기 복수개의 뉴런들 중 상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 계산하도록 구성되는 계산부; 및
상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 기반으로 상기 심층신경망을 보정하도록 구성되는 보정부를 포함하고,
상기 계산부는,
상기 복수개의 뉴런들 중 출력값이 임계값보다 큰 뉴런을 활성화된 뉴런으로 판단하고, 상기 노이즈를 포함하는 데이터 및 상기 정상 데이터 각각에 대해 상기 임계값보다 출력값이 큰 뉴런의 활성화 빈도수를 각 데이터 별로 계산하는 것을 특징으로 하는, 장치. - 삭제
- 제1항에 있어서,
상기 보정부는,
상기 차분 집합에 포함되는 뉴런들의 출력값을 0으로 설정하는 것을 특징으로 하는, 장치. - 제1항에 있어서,
상기 보정부는,
상기 심층신경망의 레이블(label) 별로 상기 차분 집합에 포함되는 뉴런들을 비활성화시키는 것을 특징으로 하는, 장치. - 제1항에 있어서,
상기 보정부는,
상기 심층신경망의 모든 레이블에 대해서 상기 차분 집합에 포함되는 뉴런들을 비활성화시키는 것을 특징으로 하는, 장치. - 데이터 분류 장치에 있어서,
분류 대상 데이터를 입력받도록 구성되는 입력부;
복수개의 뉴런들을 포함하는 심층신경망을 저장하도록 구성되는 저장부; 및
상기 심층신경망을 기반으로 상기 분류 대상 데이터를 적어도 하나의 레이블로 분류하도록 구성되는 분류부를 포함하되,
상기 심층신경망은,
상기 복수개의 뉴런들 중 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 기반으로 보정되되,
상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런들 중 활성화 빈도수가 설정값 이상인 뉴런들의 집합인 제1 집합을 도출하고, 상기 정상 데이터에 의해 활성화되는 뉴런들 중 활성화 빈도수가 상기 설정값 이상인 뉴런들의 집합인 제2 집합을 도출하고, 상기 제1 집합과 상기 제2 집합의 차분 집합에 포함되는 뉴런들을 도출하고, 상기 차분 집합에 포함되는 뉴런들이 비활성화되는 것을 특징으로 하는, 장치. - 심층신경망 보정 장치가 복수개의 뉴런들을 포함하는 심층신경망을 보정하는 방법에 있어서,
노이즈를 포함하는 데이터와 정상 데이터를 입력받는 단계;
상기 복수개의 뉴런들 중 상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 계산하는 단계; 및
상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런의 활성화 빈도수와 상기 정상 데이터에 의해 활성화되는 뉴런의 활성화 빈도수를 기반으로 상기 심층신경망을 보정하는 단계를 포함하고,
상기 심층신경망을 보정하는 단계는,
상기 노이즈를 포함하는 데이터에 의해 활성화되는 뉴런들 중 활성화 빈도수가 설정값 이상인 뉴런들의 집합인 제1 집합을 도출하는 단계;
상기 정상 데이터에 의해 활성화되는 뉴런들 중 활성화 빈도수가 상기 설정값 이상인 뉴런들의 집합인 제2 집합을 도출하는 단계;
상기 제2 집합과 상기 제1 집합의 차분 집합에 포함되는 뉴런들을 도출하는 단계; 및
상기 차분 집합에 포함되는 뉴런들을 비활성화시키는 단계를 포함하는 것을 특징으로 하는, 방법. - 제8항에 있어서,
상기 입력받는 단계 이후에,
상기 복수개의 뉴런들 중 출력값이 임계값보다 큰 뉴런을 활성화된 뉴런으로 판단하는 단계를 더 포함하는 것을 특징으로 하는, 방법. - 삭제
- 제8항에 있어서,
상기 비활성화시키는 단계는,
상기 차분 집합에 포함되는 뉴런들의 출력값을 0으로 설정하는 단계를 포함하는 것을 특징으로 하는, 방법. - 제8항에 있어서,
상기 비활성화시키는 단계는,
상기 심층신경망의 레이블(label) 별로 상기 차분 집합에 포함되는 뉴런들을 비활성화시키는 단계를 포함하는 것을 특징으로 하는, 방법. - 제8항에 있어서,
상기 비활성화시키는 단계는,
상기 심층신경망의 모든 레이블에 대해서 상기 차분 집합에 포함되는 뉴런들을 비활성화시키는 단계를 포함하는 것을 특징으로 하는, 방법. - 컴퓨터 판독 가능 기록매체에 저장되는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
제8, 9, 11 내지 13항 중 어느 한 항에 따른 심층신경망 보정 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 프로그램. - 컴퓨터 프로그램이 저장되어 있는 컴퓨터 판독 가능 기록매체로서,
상기 컴퓨터 프로그램은, 프로세서에 의해 실행되면,
제8, 9, 11 내지 13항 중 어느 한 항에 따른 심층신경망 보정 방법을 상기 프로세서가 수행하도록 하기 위한 명령어를 포함하는, 컴퓨터 판독 가능 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220187679A KR102601761B1 (ko) | 2022-12-28 | 2022-12-28 | 적대적 예시에 대한 심층신경망 보정 방법 및 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220187679A KR102601761B1 (ko) | 2022-12-28 | 2022-12-28 | 적대적 예시에 대한 심층신경망 보정 방법 및 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102601761B1 true KR102601761B1 (ko) | 2023-11-13 |
Family
ID=88746629
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220187679A KR102601761B1 (ko) | 2022-12-28 | 2022-12-28 | 적대적 예시에 대한 심층신경망 보정 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102601761B1 (ko) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190220605A1 (en) * | 2019-03-22 | 2019-07-18 | Intel Corporation | Adversarial training of neural networks using information about activation path differentials |
| CN111666985A (zh) * | 2020-05-21 | 2020-09-15 | 武汉大学 | 一种基于dropout的深度学习对抗样本图像分类防御方法 |
| US20210365771A1 (en) * | 2020-05-21 | 2021-11-25 | International Business Machines Corporation | Out-of-distribution (ood) detection by perturbation |
| CN114638359A (zh) * | 2022-03-28 | 2022-06-17 | 京东科技信息技术有限公司 | 去除神经网络后门和图像识别的方法和装置 |
| KR20220111857A (ko) | 2021-02-03 | 2022-08-10 | 한양대학교 산학협력단 | 이미지 적대적 공격에 대비하기 위한 이미지 학습 장치 및 방법 |
| US11462211B2 (en) * | 2020-04-09 | 2022-10-04 | Mitsubishi Electric Research Laboratories, Inc. | System and method for detecting adversarial attacks |
-
2022
- 2022-12-28 KR KR1020220187679A patent/KR102601761B1/ko active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190220605A1 (en) * | 2019-03-22 | 2019-07-18 | Intel Corporation | Adversarial training of neural networks using information about activation path differentials |
| US11462211B2 (en) * | 2020-04-09 | 2022-10-04 | Mitsubishi Electric Research Laboratories, Inc. | System and method for detecting adversarial attacks |
| CN111666985A (zh) * | 2020-05-21 | 2020-09-15 | 武汉大学 | 一种基于dropout的深度学习对抗样本图像分类防御方法 |
| US20210365771A1 (en) * | 2020-05-21 | 2021-11-25 | International Business Machines Corporation | Out-of-distribution (ood) detection by perturbation |
| KR20220111857A (ko) | 2021-02-03 | 2022-08-10 | 한양대학교 산학협력단 | 이미지 적대적 공격에 대비하기 위한 이미지 학습 장치 및 방법 |
| CN114638359A (zh) * | 2022-03-28 | 2022-06-17 | 京东科技信息技术有限公司 | 去除神经网络后门和图像识别的方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| Ian J. Goodfellow et al., EXPLAINING AND HARNESSING ADVERSARIAL EXAMPLES, ICLR 2015, 1-11pages (2015. 3. 20.)* * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | Nic: Detecting adversarial samples with neural network invariant checking | |
| He et al. | Parametric noise injection: Trainable randomness to improve deep neural network robustness against adversarial attack | |
| Nesti et al. | Detecting adversarial examples by input transformations, defense perturbations, and voting | |
| US8850589B2 (en) | Training classifiers for program analysis | |
| CN112470131B (zh) | 检测数据集中异常的装置和方法以及它们相应的计算机程序产品 | |
| Zhou et al. | Image classification for malware detection using extremely randomized trees | |
| CN110874471B (zh) | 保护隐私安全的神经网络模型的训练方法和装置 | |
| EP3762848B1 (en) | Device and method for classifying program behaviour | |
| Bountakas et al. | Defense strategies for adversarial machine learning: A survey | |
| CN113111349A (zh) | 基于热力图、逆向工程和模型剪枝的后门攻击防御方法 | |
| Souza et al. | A comparison between optimum-path forest and k-nearest neighbors classifiers | |
| KR102601761B1 (ko) | 적대적 예시에 대한 심층신경망 보정 방법 및 장치 | |
| KR20110080246A (ko) | 분산과 사전확률을 고려한 데이터 분류 장치 및 방법 | |
| US20220138494A1 (en) | Method and apparatus for classification using neural network | |
| CN110458209B (zh) | 一种针对集成树分类器的逃避攻击方法及装置 | |
| Hindel et al. | Inod: Injected noise discriminator for self-supervised representation learning in agricultural fields | |
| Hedar et al. | Hybrid evolutionary algorithms for data classification in intrusion detection systems | |
| Khalaf et al. | Artificial Intelligence Predictions in Cyber Security: Analysis and Early Detection of Cyber Attacks | |
| KR20160107742A (ko) | Svm기반 레이더 스캔형태 인식방법 및 장치 | |
| Scherer et al. | Using svm and clustering algorithms in ids systems | |
| Lekhi et al. | Outlier Reduction using Hybrid Approach in Data Mining | |
| Khadija et al. | Detecting network intrusion by combining DBSCAN, principle component analysis and ranker | |
| Çimen et al. | Performance Analysis of Machine Learning Algorithms in Intrusion Detection Systems | |
| Grozea et al. | Encoplot-Tuned for High Recall (also Proposing a New Plagiarism Detection Score). | |
| CN107818368A (zh) | 线上风险控制规则引擎系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |