KR102692100B1 - 훈련된 머신 러닝 모델에 적대적 견고성 추가 - Google Patents
훈련된 머신 러닝 모델에 적대적 견고성 추가 Download PDFInfo
- Publication number
- KR102692100B1 KR102692100B1 KR1020227008142A KR20227008142A KR102692100B1 KR 102692100 B1 KR102692100 B1 KR 102692100B1 KR 1020227008142 A KR1020227008142 A KR 1020227008142A KR 20227008142 A KR20227008142 A KR 20227008142A KR 102692100 B1 KR102692100 B1 KR 102692100B1
- Authority
- KR
- South Korea
- Prior art keywords
- machine learning
- learning models
- adversarial
- trained machine
- training
- Prior art date
Links
- 238000010801 machine learning Methods 0.000 title claims abstract description 172
- 230000004224 protection Effects 0.000 claims abstract description 44
- 238000000034 method Methods 0.000 claims description 55
- 238000012549 training Methods 0.000 claims description 54
- 238000013528 artificial neural network Methods 0.000 claims description 51
- 238000003860 storage Methods 0.000 claims description 37
- 238000007781 pre-processing Methods 0.000 claims description 22
- 238000012805 post-processing Methods 0.000 claims description 12
- 238000012544 monitoring process Methods 0.000 claims 3
- 230000006870 function Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 19
- 230000015654 memory Effects 0.000 description 16
- 238000004590 computer program Methods 0.000 description 10
- 238000013135 deep learning Methods 0.000 description 9
- 238000007726 management method Methods 0.000 description 7
- 230000006855 networking Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 230000007123 defense Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000003121 nonmonotonic effect Effects 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 230000008520 organization Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000002829 reductive effect Effects 0.000 description 2
- 230000003252 repetitive effect Effects 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000012550 audit Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 230000009172 bursting Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000012517 data analytics Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/55—Detecting local intrusion or implementing counter-measures
- G06F21/552—Detecting local intrusion or implementing counter-measures involving long-term monitoring or reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/50—Monitoring users, programs or devices to maintain the integrity of platforms, e.g. of processors, firmware or operating systems
- G06F21/57—Certifying or maintaining trusted computer platforms, e.g. secure boots or power-downs, version controls, system software checks, secure updates or assessing vulnerabilities
- G06F21/577—Assessing vulnerabilities and evaluating computer system security
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Computer Hardware Design (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Debugging And Monitoring (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
훈련된 머신 러닝 모델들에 적대적 견고성 추가
다양한 실시 예들이 컴퓨팅 시스템에서 하나 또는 그 이상의 프로세서들에 의해 훈련된 머신 러닝 모델들을 보호하기 위해 제공된다. 하나 또는 그 이상의 강화된 머신 러닝 모델들이 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 적대적 보호를 추가하여 적대적 공격들에 대해서 보호된다.
다양한 실시 예들이 컴퓨팅 시스템에서 하나 또는 그 이상의 프로세서들에 의해 훈련된 머신 러닝 모델들을 보호하기 위해 제공된다. 하나 또는 그 이상의 강화된 머신 러닝 모델들이 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 적대적 보호를 추가하여 적대적 공격들에 대해서 보호된다.
Description
[0001] 본 발명은 일반적으로 컴퓨팅 시스템에 관한 것으로, 특히 컴퓨팅 프로세서를 사용하는 컴퓨팅 시스템에서 적대자들에 대해서(against adversaries) 훈련된 머신 러닝 모델에 적대적 견고성(adversarial robustness)을 추가하기 위한 다양한 실시예들에 관한 것이다.
[0002] 컴퓨팅 시스템들은 직장, 가정 또는 학교에서 찾을 수 있다. 최근 정보 기술의 발전과 인터넷의 대중화로 인해 다양한 컴퓨터 시스템들이 머신 러닝에 사용되었다. 머신 러닝은 경험적 데이터에 기초하여 컴퓨터들이 동작들(behaviors)을 발전시킬 수 있도록 하는 인공 지능의 한 형태이다.
머신 러닝은 훈련 예들을 이용하여 알려지지 않은 기본 확률 분포(underlying probability distribution)의 관심 특성을 캡처 할 수 있다. 훈련 데이터는 관찰된 변수들 간의 관계들을 예시하는 예들이라 할 수 있다. 머신 러닝 연구의 주요 초점은 복잡한 패턴들을 인식하고 데이터에 기초한 지능적인 결정들을 내리는 방법을 자동으로 학습하는 것이다. 따라서, 전술한 문제를 해결할 필요가 있다.
[0003] 제1 실시 예에 따라, 본 발명은 하나 또는 그 이상의 프로세서들에 의해 컴퓨팅 환경에서 훈련된 머신 러닝 모델을 보호하는 방법을 제공하고, 상기 방법은: 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 적대적 보호(adversarial protection)를 추가하여 적대적 공격들에 대해서 보호되는 하나 또는 그 이상의 강화된 머신 러닝 모델들을 제공하는 단계를 포함한다.
[0004] 다른 실시 예에 따라, 본 발명은 컴퓨팅 환경에서 훈련된 머신 러닝 모델들을 보호하기 위한 시스템을 제공하고, 상기 시스템은: 실행 가능한 명령들을 갖는 하나 또는 그 이상의 컴퓨터들을 포함하고, 상기 실행 가능한 명령들은 실행될 때 상기 시스템이: 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 적대적 보호를 추가하여 적대적 공격들에 대해서 보호되는 하나 또는 그 이상의 강화된 머신 러닝 모델들을 제공하게 한다.
[0005] 또 다른 실시 예에 따라, 본 발명은 하나 또는 그 이상의 프로세서들에 의해 컴퓨팅 환경에서 훈련된 머신 러닝 모델을 보호하기 위한 컴퓨터 프로그램 제품을 제공하고, 상기 컴퓨터 프로그램 제품은: 처리 회로에 의해 판독 가능한 컴퓨터 판독가능 스토리지 매체를 포함하며, 상기 컴퓨터 판독가능 스토리지 매체는 본 발명의 단계들을 수행하기 위해 상기 처리 회로에 의한 실행 명령들을 저장한다.
[0006] 또 다른 실시 예에 따라, 본 발명은 컴퓨터 판독 가능 매체에 저장되고 디지털 컴퓨터의 내부 메모리에 로드 할 수 있는 컴퓨터 프로그램을 제공하고, 상기 컴퓨터 프로그램은, 상기 프로그램이 컴퓨터에서 실행될 때, 본 발명의 단계들을 수행하기 위한 소프트웨어 코드 부분들을 포함한다.
[0007] 또 다른 실시 예에 따라, 본 발명은 하나 또는 그 이상의 프로세서들에 의해 컴퓨팅 환경에서 훈련된 머신 러닝 모델을, 프로세서에 의해서, 보호하기 위한 컴퓨터 프로그램 제품을 제공하고, 상기 컴퓨터 프로그램 제품은: 그 안에 저장된 컴퓨터 판독가능 프로그램 코드 부분들을 갖는 컴퓨터 판독가능 스토리지 매체를 포함하며, 상기 컴퓨터 판독가능 프로그램 코드 부분들은:
하나 또는 그 이상의 훈련된 머신 러닝 모델들에 적대적 보호(adversarial protection)를 추가하여 적대적 공격들에 대해서 보호되는 하나 또는 그 이상의 강화된 머신 러닝 모델들을 제공하는 실행 가능한 부분을 포함한다.
[0008] 컴퓨팅 시스템에서 하나 또는 그 이상의 프로세서들에 의해 컴퓨팅 환경에서 훈련된 머신 러닝 모델을 보호하기 위한 다양한 실시 예들이, 제공된다. 일 실시 예에서, 예로서만, 컴퓨팅 시스템에서 적들에 대해서 훈련된 머신 러닝 모델들에 적대적 견고성을 추가하기 위한 방법이, 다시 프로세서에 의해서, 제공된다. 하나 또는 그 이상의 강화된 머신 러닝 모델들이 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 적대적 보호(adversarial protection)를 추가하여 적대적 공격들에 대해서 보호된다.
[0009] 본 발명의 이점들이 용이하게 이해될 수 있도록, 첨부된 도면들에 도시된 특정 실시예들을 참조하여 위에서 간략히 설명된 본 발명의 보다 더 구체적인 설명이 이루어질 것이다. 이들 도면들은 본 발명의 전형적인 실시 예들만을 도시하며 따라서 그 범위를 제한하는 것으로 간주되어서는 안 된다는 것을 이해하면서, 본 발명은 첨부 도면들의 사용을 통해 추가의 구체적이고 상세하게 기술되고 설명될 것이다.
[0010] 도 1은 본 발명의 일 실시 예에 따른 예시적인 클라우드 컴퓨팅 노드를 도시하는 블록도이다;
[0011] 도 2는 본 발명의 일 실시 예에 따른 예시적인 클라우드 컴퓨팅 환경을 도시하는 추가의 블록도이다;
[0012] 도 3은 본 발명의 일 실시 예에 따른 추상화 모델 계층들을 나타내는 추가의 블록도이다;
[0013] 도 4는 본 발명의 실시 예들이 실현될 수 있는 컴퓨팅 환경에서 적대적 시스템들에 대해 훈련된 머신 러닝 모델들을 프로세서에 의해 보호하기 위한 예시적인 방법을 도시하는 플로차트다;
[0014] 도 5는 본 발명의 실시 예들이 실현될 수 있는 컴퓨팅 환경에서 적대자들/적대적 시스템들에 대해 훈련된 머신 러닝 모델들을 프로세서에 의해 보호하기 위한 예시적인 시스템 및 기능을 도시하는 블록도이다;
[0015] 도 6은 본 발명의 실시 예들이 실현될 수 있는 컴퓨팅 환경의 이미지들에 대한 적대자들/적대적 시스템들에 대해서 훈련된 머신 러닝 모델을 프로세서에 의해 보호하기 위한 추가의 예시적인 시스템 및 기능을 도시하는 블록도이다;
[0016] 도 7은 본 발명의 실시 예들이 실현될 수 있는 컴퓨팅 환경에서 적대자들/적대적 시스템들에 대해서 훈련된 머신 러닝 모델들을 프로세서에 의해 보호하기 위한 추가의 예시적인 작업들을 도시하는 블록도이다; 그리고
[0017] 도 8은 본 발명의 실시 예들이 실현될 수 있는 컴퓨팅 환경에서 적대자들/적대적 시스템들에 대해서 훈련된 머신 러닝 모델들을 프로세서에 의해 보호하기 위한 예시적인 방법을 도시하는 플로차트이다.
[0010] 도 1은 본 발명의 일 실시 예에 따른 예시적인 클라우드 컴퓨팅 노드를 도시하는 블록도이다;
[0011] 도 2는 본 발명의 일 실시 예에 따른 예시적인 클라우드 컴퓨팅 환경을 도시하는 추가의 블록도이다;
[0012] 도 3은 본 발명의 일 실시 예에 따른 추상화 모델 계층들을 나타내는 추가의 블록도이다;
[0013] 도 4는 본 발명의 실시 예들이 실현될 수 있는 컴퓨팅 환경에서 적대적 시스템들에 대해 훈련된 머신 러닝 모델들을 프로세서에 의해 보호하기 위한 예시적인 방법을 도시하는 플로차트다;
[0014] 도 5는 본 발명의 실시 예들이 실현될 수 있는 컴퓨팅 환경에서 적대자들/적대적 시스템들에 대해 훈련된 머신 러닝 모델들을 프로세서에 의해 보호하기 위한 예시적인 시스템 및 기능을 도시하는 블록도이다;
[0015] 도 6은 본 발명의 실시 예들이 실현될 수 있는 컴퓨팅 환경의 이미지들에 대한 적대자들/적대적 시스템들에 대해서 훈련된 머신 러닝 모델을 프로세서에 의해 보호하기 위한 추가의 예시적인 시스템 및 기능을 도시하는 블록도이다;
[0016] 도 7은 본 발명의 실시 예들이 실현될 수 있는 컴퓨팅 환경에서 적대자들/적대적 시스템들에 대해서 훈련된 머신 러닝 모델들을 프로세서에 의해 보호하기 위한 추가의 예시적인 작업들을 도시하는 블록도이다; 그리고
[0017] 도 8은 본 발명의 실시 예들이 실현될 수 있는 컴퓨팅 환경에서 적대자들/적대적 시스템들에 대해서 훈련된 머신 러닝 모델들을 프로세서에 의해 보호하기 위한 예시적인 방법을 도시하는 플로차트이다.
[0018] 본 발명은 일반적으로, 예를 들어, 머신 러닝 및/또는 딥 러닝과 같은 인공 지능("AI") 분야에 관한 것이다. 딥-러닝(Deep-learning)은 여러 수준들의 기능들 또는 한 세트의 데이터의 표현들의 학습에 기초하는 한 클래스의 머신 러닝 알고리즘들을 가리킨다. 현재 딥 러닝 방법들에는 특징 추출 및 변환을 위해 비선형 처리 유닛들의 여러 계층들을 캐스케이드로 사용하는 것이 포함된다. 특징 추출은 측정된 데이터의 초기 세트를 수신하고 후속 학습 및 일반화 단계를 용이하게 하기 위해 파생된 값(또는 특징)을 구축하는 프로세스를 가리킨다. 많은 경우들에서, 더 높은 수준의 특징들은 측정된 데이터와 파생된 특징들의 계층적 표현을 생성하기 위해 더 낮은 수준의 특징들로부터 파생된다.
[0019] 더욱이, 딥 러닝 알고리즘들은 분산 표현들에 기초한다. 분산 표현들은 관찰된(또는 측정된) 데이터가 하나 또는 그 이상의 계층들로 구성된 하나 또는 그 이상의 엘리멘트들의 상호 작용 결과라는 가정 하에 운영된다(operate). 개념적으로 딥 러닝은 측정된 데이터를 제공하기 위해 상호 작용하는 팩터들(factors)의 계층들이 추상화 또는 조성(composition)의 수준들을 나타낸다는 추가의 가정을 도입한다. 이 가정 아래에서 다수의 계층들과 계층 크기들은 서로 다른 추상화 양들에 대응한다.
[0020] 전반적으로, 딥 러닝은 의사 결정을 최적화하고, 예를 들어 이미지들, 오디오, 비디오들 및 텍스트들과 같은 비정형 데이터로부터 비즈니스 가치를 추출하는 데 큰 발전을 가져왔다. 그러나, 딥 러닝은 다양한 데이터 유형들 및 작업들에서 향상된 컴퓨팅 성능을 달성하지만, DNN들(심층 신경망들)에는 일부 문제들, 약점들 및/또는 보안 문제들이 존재한다. 예를 들어, DNN들은 적대자(adversary)가 DNN의 입력들에 대해 감지할 수 없는 변경들을 함으로써 DNN의 동작을 완전히 변경할 수 있는 적대적 공격들(adversarial attacks)에 취약하다. 또한 적대자들/적대적 시스템들(예: 적대적 공격을 구현할 수 있는 시스템들)이 물리적 세계에 탑재되어 AI 및 딥 러닝 배치에 실질적인 위협을 가할 수 있는데, 예를 들어, 생체 인식, 사이버 보안, 자율 주행 차량들, 로봇들, 등과 같은, 보안에 중요한 애플리케이션들에서 특히 그러할 수 있다.
[0021] 현재, 훈련된 머신 러닝 모델들은 적대적 샘플들(adversarial samples)에 대해서 적대적 견고성(adversarial robustness)이 부족하기 때문에, 미션 크리티컬 컨텍스트들(예: 비즈니스 컨텍스트)에서 머신 러닝 모델들을 배치하는 것은 AI 시스템에서의 신뢰가 손상됨에 따라 금지된다. 일 실시 예에서, "적대적 샘플"은 적대적 예들과 동의어일 수 있다. 적대적 샘플들/예들은 공격자/적대자가 머신 러닝 모델이 실수를 하거나 오류를 일으키도록 의도적으로 설계한 머신 러닝 모델에 대한 입력들일 수 있다. "화이트박스 시나리오들(white-box scenarios)"이 적대적 샘플들에 대해서 방어들(defenses)을 제공하지만, 화이트박스 공격들에 대해서 방어하는 것은 여전히 도전적이다. 적대적 위협들에 대해서 보호하려면 적대적 샘플들, 공격들 및 방어들에 대한 깊은 이해가 필요하며 소수의 전문가들만이 그러한 방어들을 적용하는 데 필요한 지식과 경험을 보유하고 있다. 따라서, 훈련된 머신 러닝/딥 러닝 모델들을 적대적 샘플들에 대해서 보호하고 안전하게 하는 것은 실제-세계 보안에-중요한 애플리케이션들에서 AI 및 DL을 안전하게 배치하고 더 넓게는 AI 시스템들에서 신뢰를 유지하는 데 필수적이다.
[0022] 따라서, 다양한 실시예들이 훈련된 머신 러닝 모델들(예를 들어, 신경망 모델들(neural network models) 및 기울기 기반 최적화 알고리즘들(gradient based optimization algorithms)로 훈련될 수 있는 모든 머신 러닝 모델)을 보호하기 위해 여기에서 제공된다. 일 실시예에서, 단지 예로서, 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 적대적 보호를 추가함으로써 적대적 공격들에 대해서 안전한 하나 또는 그 이상의 강화된 머신 러닝 모델들(one or more hardened machine learning models)이 제공된다.
[0023] 추가의 실시 예에서, 단지 예로서, 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 적대적 보호를 추가함으로써 적대적 공격들에 대해서 안전한 하나 또는 그 이상의 강화된 머신 러닝 모델들이 제공된다. 재-훈련된 머신 러닝 모델은 전-처리 계층들(pre-processing layers)으로 확장되어 확장된 머신 러닝 모델을 생성할 수 있다. 만일 머신 러닝 모델이 신경망이라면, 본 발명은 전-처리 계층들로 인한 정확도 손실을 방지하기 위해 머신 러닝 모델에 추가의 계층들을 추가하고 훈련된 머신 러닝 모델을 재-훈련할 수 있다. 여기서 사용된 "훈련된 러닝 모델"은 모델 "M"이 이미 원하는 상태로 훈련되었음을 표시할 수 있다. 일 실시 예에서, 모델 "M"은 확장될 수 있는데(예를 들어, 확장된 머신 러닝 모델), 그 것은 모델 M의 구조가 "M+K"를 표시하게 변경되도록 하나 또는 그 이상의 추가 계층들을 추가함으로써 그렇게 할 수 있다. 그런 다음 새 모델 "M+K"를 다시 훈련해야 하며, 이는 여기에서 재-훈련으로 표시된다.
[0024] 만일 훈련 붕괴가 감지되면, 하나 또는 그 이상의 롤백 전략들(One or more roll-back strategies)이 중간 모델 상태들(예: 모델 가중치)을 유지(maintain/keep)하기 위해 적용될 수 있는데(예를 들어, 유지 관리 비용을 절감하기 위해 모델들 M1, M2, M3 및/또는 M5를 저장하는 대신 모델 M2, M4 및 M6을 유지/저장할 수 있다), 그들의 일부 또는 전부를 상기 모델 상태들로부터 복구하기 전에 적용될 수 있다. 머신 러닝 모델 "M"을 훈련한다는 것은 루프를 통해 모델 M의 상태가 변경될 수 있음을 의미한다. 시작에서 M은 상태 M1에 있고 다음 반복은 상태 M2이며 그리고 이 것은 마지막 반복이 Mn이 될 때까지 계속될 수 있다. 각각의 반복을 통해 상기 모델은 더 정확해지고 향상될 것으로 예상할 수 있다. 따라서 모델 상태 Mn은 예측에 사용하기에 가장 최적화된/가장 좋은 것일 수 있다. M1, M2,…Mn-1 모델들은 중간이라고 할 수 있다. 그러나 실제로 필요한 반복 횟수(즉, "n")는 정확히 알 수 없다. 예를 들어, 아마도 모델 M10이 이상적이고 가장 최적이며 "n"이 열("10")일 때 멈추는 것이 바람직할 수 있지만, 시스템이 M11에 대해 계속 훈련하므로 더 나빠질 수도 있다. 따라서 일부 중간 모델 상태들이 마지막 모델보다 나은 경우들에는 그들을 유지하는 것이 바람직하다.
[0025] 또한, 후-처리 출력 계층(a post-processing output layer)이 재-훈련된 확장된 머신 러닝 모델(the retrained extended machine learning model)에 추가되고 그 결과 보호된 머신 러닝 모델이 생성될 수 있다. 우호적(benign) 및 적대적 샘플들(예: 블랙박스 및/또는 화이트박스 공격들 하의)에 관한 보호된 머신 러닝 모델의 성능에 대한 하나 또는 그 이상의 성능 보고들이 제공될 수 있다. 그 다음 보호된 머신 러닝 모델은 시스템 사용자에게 반환될 수 있다.
[0026] 따라서, 본 발명은 적대적 도전들에 대해서 이전에 훈련된 머신 러닝 모델들을 강화하고(harden) 특히 보안이 중요한 애플리케이션들(예를 들어, 의료, 보험, 금융 등)에서 안전하고 훈련된 머신 러닝 모델의 배치를 가능하게 한다. 추가의 실시 예에서, 머신 러닝 모델들은 컴퓨터들, CPU들, GPU들, 서버들, 전-처리기들, 학습자들 및 신경망들로 구성된 적대자들/적대적 시스템들에 대해서 강화될 수 있다. 머신 러닝 모델들의 강화는 클라우드 기반 환경들에서도 서비스로서 제공될 수 있다는 점에 유의해야 한다.
[0027] 추가의 실시 예에서, 단지 예로서, 적대적 견고성은 훈련된 머신 러닝 모델을 재-훈련함으로써 훈련된 머신 러닝 모델들에 추가될 수 있다. 본 발명은 훈련된 머신 러닝 모델에 후-처리 기능을 추가하고 및/또는 신경망에 입력 전-처리 계층들을 추가하여 전-처리 계층들의 방어력(the defense strength)을 조정할 수 있다.
[0028] 본 발명은 추가 신경망 계층들을 사용하여 훈련된 신경망을 확장할 수 있다. 본 발명은 보호 프로세스의 선택적으로 선택된 단계들에 관해 사용자 또는 시스템으로부터 입력을 요청할 수 있다. 또한, 본 발명은 우호적 샘플들(benign samples)에 대한 머신 러닝 모델 성능을 결정할 수 있고 및/또는 적대적 샘플들(adversarial samples)에 대한 머신 러닝 모델 성능을 결정할 수 있다. 우호적 및/또는 적대적 예들의 성능은 사용자 또는 다른 컴퓨팅 시스템에 다시 보고되거나/알려질 수 있다. 본 발명은 적대자에 대한 재-훈련 동안 훈련된 머신 러닝 모델의 중간 상태를 추적할 수 있고 훈련 붕괴(training collapse)를 검출하고 롤백 전략들(roll-back strategies)을 가능하게 할 수 있다.
[0029] 또한, 하나 또는 그 이상의 수학적 연산들을 포함할 수 있는 다양한 수학적 연산들 또는 함수들을 사용하여 하나 또는 그 이상의 계산들이 수행될 수 있다(예를 들어, 결합된 변수들에 대한 최소값들, 최대값들 또는 유사한 임계값들 등을 발견함으로써, 변화율/미적분 연산들이 수행될 수 있고, 미분 방정식들 또는 편미분 방정식들을 해석적으로 또는 계산적으로 풀기가 수행될 수 있으며, 덧셈, 뺄셈, 나눗셈, 곱셈, 표준 편차들, 민즈, 평균들, 백분율들, 통계적 분포들을 사용하는 통계적 모델링을 사용하는 것이 수행될 수 있다)는 점에 유의해야 한다.
[0030] 일반적으로, 여기서 사용되는 "최적화한다"는 "최대화한다", "최소화한다"거나, 또는 하나 또는 그 이상의 특정 타겟들, 목적들, 목표들 또는 의도들을 달성하는 것을 의미하거나 및/또는 정의할 수 있다. 최적화한다는 것은 또한 사용자에 대한 이익을 최대화하는 것을 의미할 수도 있다(예를 들어, 훈련된 머신 러닝 모델 이익을 최대화한다). 최적화한다는 것은 또한 상황, 기회 또는 자원을 가장 효과적이고 기능적으로 사용하는 것을 의미할 수도 있다.
[0031] 또한, "최적화한다"는 최상의 솔루션 또는 결과를 의미할 필요는 없지만, 예를 들어, 특정 애플리케이션에 대해 "충분히 좋은" 솔루션 또는 결과를 의미할 수 있다. 일부 구현들에서, 목적이 전-처리 작업들(preprocessing operations) ("전-처리기들") 및/또는 머신 러닝 모델의 "최상의" 조합을 제안하는 것이지만, 다양한 요인들 때문에 전-처리 작업들("전-처리기들") 및/또는 머신 러닝 모델의 "최상의" 조합의 대안으로 양호한 조합들(better results)이 제안될 수 있다. 여기서, "최적화한다"라는 용어는 최소값(또는 최적화 문제에서 고려되는 파라미터들에 따라 최대값)에 기초한 그러한 결과들을 산출한다는 의미할 수 있다. 다른 측면에서, "최적화한다" 및/또는 "최적화하는"이라는 용어는 최적의 결과가 실제로 달성되는지 여부에 관계없이 실행 비용 감소 또는 자원 활용도 증가와 같은 개선된 결과를 달성하기 위해 수행되는 작업을 의미할 수도 있다. 유사하게, "최적화한다"라는 용어는 이러한 개선 작업을 수행하기 위한 컴포넌트를 의미할 수 있으며, "최적화된"이라는 용어는 그러한 개선 작업의 결과를 설명하는 데 사용될 수 있다.
[0032] 본 명세서는 클라우드 컴퓨팅에 관해서 상세한 설명들을 포함하지만, 여기서 설명된 그러한 컨텐츠들의 구현은 클라우드 컴퓨팅 환경에만 한정되는 것은 아님을 이해해야 한다. 오히려, 본 발명의 실시예들은 지금 알려져 있거나 또는 나중에 개발될 모든 다른 유형의 컴퓨팅 환경과 함께 구현될 수 있다.
[0033] 클라우드 컴퓨팅은, 최소한의 관리 노력 또는 서비스 제공자와의 상호작용으로 빠르게 프로비저닝 및 해제될 수 있는, 구성 가능한(configurable) 컴퓨팅 자원들(예를 들어, 네트워크, 네트워크 대역폭, 서버, 처리, 메모리, 스토리지, 애플리케이션, 가상 머신, 및 서비스)의 공유 풀에 대한 편리한 주문형(on-demand) 네트워크 액세스를 가능하게 하는 서비스 전달 모델이다. 이 클라우드 모델은 적어도 5가지의 특성(characteristics), 적어도 3가지 서비스 모델(service models), 및 적어도 4가지 배치 모델(deployment models)을 포함할 수 있다.
[0034] 클라우드 컴퓨팅 특성들은 다음과 같다:
주문형 셀프-서비스(On-demand self-service): 클라우드 소비자는, 서비스 제공자와의 인적 상호작용을 필요로 하지 않고 필요한 만큼 자동적으로, 서버 시간(server time) 및 네트워크 스토리지 같은 컴퓨팅 기능들을 일방적으로 프로비저닝(provisioning)할 수 있다.
광역 네트워크 액세스(Broad network access): 이질적 씬 또는 씩 클라이언트 플랫폼들(heterogeneous thin or thick client platforms)(예를 들어, 모바일폰, 랩탑, 및 PDA)에 의한 사용을 장려하는 표준 메커니즘들을 통해 액세스되는 기능들을 네트워크를 통해서 이용할 수 있다.
자원 풀링(Resource pooling): 제공자의 컴퓨팅 자원들은 멀티-테넌트 모델(a multi-tenant model)을 이용하여, 각기 다른 물리적 및 가상 자원들을 요구(demand)에 따라 동적으로 할당 및 재할당하면서, 다수의 소비자들에게 서비스할 수 있도록 풀에 넣어둔다(pooled). 소비자는 일반적으로 제공된 자원들의 정확한 위치를 컨트롤할 수 없거나 그에 대한 지식이 없지만 더 높은 추상 수준에서(예를 들어, 국가, 주, 또는 데이터센터) 위치를 명시할 수 있다는 점에서 위치 독립성이 있다.
기민한 탄력성(Rapid elasticity): 역량들(capabilities)이 기민하게 탄력적으로 제공되어 (어떤 경우엔 자동으로) 신속히 규모를 확장할 수도 있고(scale out) 그리고 탄력적으로 해제되어 신속히 규모를 축소할 수도 있다(scale in). 소비자에게는 제공할 수 있는 가능성이 종종 무제한인 것으로 보이고 언제든지 얼마든지 구매할 수 있다.
측정 가능한 서비스(Measured service): 클라우드 시스템은 서비스 유형(예를 들어, 스토리지, 처리, 대역폭, 및 활성 사용자 계정)에 적절한 추상화 수준에서(at some level of abstraction) 계측 기능을 활용하여 자원 사용을 자동으로 컨트롤하고 최적화한다. 자원 사용량은 모니터 되고, 컨트롤되고, 그리고 보고될 수 있으며 이로써 이용하는 서비스의 제공자와 사용자 모두에게 투명성을 제공한다.
[0035] 서비스 모델들(Service Models)은 다음과 같다:
소프트웨어 서비스(Software as a Service)(SaaS): 소비자에게 제공되는 서비스는 클라우드 하부구조 상에서 실행되는 제공자의 애플리케이션들을 사용하게 해주는 것이다. 애플리케이션들은 웹 브라우저(예를 들어, 웹기반 이메일) 같은 씬(thin) 클라이언트 인터페이스를 통해 여러 클라이언트 장치들에서 액세스 가능하다. 소비자는 네트워크, 서버, 운영체제, 스토리지, 또는 개별 애플리케이션 성능을 포함하는 하부 클라우드 하부구조를 관리하거나 컨트롤하지 않는다.
플랫폼 서비스(Platform as a Service)(PaaS): 소비자에게 제공되는 서비스는 제공자에 의해 지원되는 프로그래밍 언어들 및 도구들을 이용하여 생성된 소비자-생성 또는 획득 애플리케이션들을 클라우드 하부구조에 배치하게 해주는 것이다. 소비자는 네트워크, 서버, 운영체제, 또는 스토리지를 포함하는 하부 클라우드 하부구조를 관리하거나 컨트롤하지 않지만, 배치된 애플리케이션들에 대해서 그리고 가능한 경우 애플리케이션 호스팅 환경 구성들에 대해서 컨트롤할 수 있다.
하부구조 서비스(Infrastructure as a Service)(IaaS): 소비자에게 제공되는 서비스는 처리, 스토리지, 네트워크, 및 기타 기본 컴퓨팅 자원들을 제공하여 주는 것이며, 여기서 소비자는 임의의 소프트웨어를 배치 및 실행할 수 있고, 이 소프트웨어에는 운영체제와 애플리케이션들이 포함될 수 있다. 소비자는 하부 클라우드 하부구조를 관리하거나 컨트롤하지 않지만, 운영체제, 스토리지, 배치된 애플리케이션들에 대해서 컨트롤할 수 있고, 가능한 경우 선택된 네트워킹 컴포넌트들(예를 들어, 호스트 방화벽들)에 대해서 제한적으로 컨트롤할 수 있다.
[0036] 배치 모델들(Deployment Models)은 다음과 같다:
사설 클라우드(Private cloud): 클라우드 하부구조는 오직 한 조직(an organization)을 위해서 운영되고, 그 조직 또는 제3자에 의해 관리될 수 있으며 옥내(on-premises) 또는 옥외(on-premises)에 위치할 수 있다.
커뮤니티 클라우드(Community cloud): 클라우드 하부구조는 여러 조직들에 의해 공유되고 관심사(예를 들어, 선교, 보안 요건, 정책, 및 규정 준수 심사)를 공유하는 특정 커뮤니티를 지원하며, 여러 조직들 또는 제3자에 의해 관리될 수 있으며 옥내(on-premises) 또는 옥외(on-premises)에 위치할 수 있다.
공공 클라우드(Public cloud): 클라우드 하부구조는 일반 대중 또는 대규모 산업 집단에서 이용할 수 있으며 클라우드 서비스를 판매하는 조직이 소유한다.
하이브리드 클라우드(Hybrid cloud): 클라우드 하부구조는 둘 또는 그 이상의 클라우드들(사설, 커뮤니티, 또는 공공)이 혼합된 구성이며, 이들은 고유한 독립체들로 있지만 데이터 및 애플리케이션 이식가능성(portability)을 가능하게 해주는 표준화된 또는 소유권 있는 기술(예를 들어, 클라우드들 사이의 부하 균형을 위한 클라우드 버스팅(cloud bursting))에 의해 서로 결합되어 있다.
[0037] 클라우드 컴퓨팅 환경은 무국적(statelessness), 낮은 결합(low coupling), 모듈 방식(modularity), 및 의미적 상호운용성(semantic interoperability)에 집중하는 서비스를 지향한다. 클라우드 컴퓨팅의 중심에는 상호 연결된 노드들의 네트워크를 포함하는 하부구조가 있다.
[0038] 이제 도 1를 참조하면, 클라우딩 컴퓨터 노드(10)의 예의 개략도가 도시된다. 클라우드 컴퓨팅 노드(10)는 적합한 클라우딩 컴퓨팅 노드의 하나의 예일뿐이며 여기에 설명된 본 발명의 실시예들의 사용 또는 기능의 범위에 관하여 어떠한 제한을 암시하려고 의도된 것이 아니다. 그럼에도 불구하고, 클라우드 컴퓨팅 노드(10)는 위에서 설명된 모든 기능을 구현할 수 있고 및/또는 수행할 수 있다.
[0039] 클라우드 컴퓨팅 노드(10)에는, 수많은 다른 범용 또는 특수 목적 컴퓨팅 환경들 또는 구성들과 함께 운영되는, 컴퓨터 시스템/서버(12)가 있다. 컴퓨터 시스템 /서버(12)와 함께 사용하기에 적합할 수 있는 잘 알려진 컴퓨팅 시스템들, 환경들, 및/또는 구성들의 예들은, 개인용 컴퓨터 시스템들, 서버 컴퓨터 시스템들, 씬 클라이언트들, 씩 클라이언트들, 핸드헬드 또는 랩탑 디바이스들, 멀티-프로세서 시스템들, 마이크로프로세서-기반 시스템들, 셋톱 박스들, 프로그래밍 가능한 소비자 전자 제품들, 네트워크 PC들, 미니 컴퓨터 시스템들, 메인프레임 컴퓨터 시스템들, 및 상기 시스템들 또는 디바이스들 중 하나를 포함하는 분산 클라우드 컴퓨팅 환경들, 등을 포함하나, 이에 국한하는 것은 아니다.
[0040] 컴퓨터 시스템/서버(12)는, 컴퓨터 시스템에 의해 실행되는, 프로그램 모듈들과 같은, 컴퓨터 시스템-실행 가능한 명령들의 일반적인 컨텍스트로 기술될 수 있다. 일반적으로 프로그램 모듈들은 특정 작업들을 수행하거나 또는 특정 추상 데이터 유형들을 구현하는 루틴들, 프로그램들, 객체들, 컴포넌트들, 논리, 데이터 구조들 등을 포함할 수 있다. 컴퓨터 시스템/서버(12)는 통신 네트워크를 통해 링크되는 원격 처리 디바이스들에 의해 작업들이 수행되는 분산 클라우드 컴퓨팅 환경에서 실시될 수 있다. 분산 클라우드 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 스토리지 디바이스들을 포함하는 로컬 및 원격 컴퓨터 시스템 스토리지 매체 모두에 위치할 수 있다.
[0041] 도 1에서 도시된 바와 같이, 클라우드 컴퓨팅 노드(10)에서 컴퓨터 시스템/서버(12)는 범용 컴퓨터 디바이스의 형태로 도시된다. 컴퓨터 시스템/서버(12)의 컴포넌트들은 하나 또는 그 이상의 프로세서들 또는 처리 유닛들(16), 시스템 메모리(28), 및 시스템 메모리(28)를 포함하는 다양한 시스템 컴포넌트들을 프로세서(16)에 연결하는 버스(18)를 포함할 수 있지만, 이에 국한되지 않는다.
[0042] 버스(18)는, 다양한 버스 아키텍처들 중 하나를 사용하는, 메모리 버스 또는 메모리 컨트롤러, 주변 버스, 가속 그래픽 포트, 및 프로세서 또는 로컬 버스를 포함하는, 버스 구조들의 여러 유형들 중 하나 또는 그 이상을 나타낸다. 예를 들어, 그러한 아키텍처들은 ISA(include Industry Standard Architecture) 버스, MCA(Micro Channel Architecture) 버스, EISA(Enhanced ISA) 버스, VESA(Video Electronics Standards Association) 로컬 버스 및 PCI(Peripheral Component Interconnect) 버스를 포함하나, 이에 국한되지는 않는다.
[0043] 컴퓨터 시스템/서버(12)는 일반적으로 다양한 컴퓨터 시스템 판독 가능한 매체를 포함한다. 그러한 매체는 컴퓨터 시스템/서버(12)에 의해 액세스 가능한 모든 이용 가능한 매체일 수 있으며 , 휘발성 및 비휘발성 매체, 착탈식 및 비-착탈식 매체를 모두 포함한다.
[0044] 시스템 메모리(28)은, 예컨대 랜덤 액세스 메모리(RAM)(30) 및/또는 캐시 메모리(32)와 같은, 휘발성 메모리의 형태의 컴퓨터 시스템 판독 가능한 매체를 포함할 수 있다. 컴퓨터 시스템/서버(12)는 또한, 다른 착탈식/비-착탈식, 휘발성/비휘발성 컴퓨터 시스템 스토리지 매체를 포함할 수 있다. 단지 예로서, 스토리지 시스템(34)이 비착탈식, 비휘발성 자기 매체(도시되지 않고 일반적으로 "하드 드라이브"라고 함)로부터 읽고 쓰기 위해 제공될 수 있다. 도시되지는 않았지만, 착탈가능 비휘발성 자기 디스크(예: "플로피 디스크") 에서 읽고 쓰기 위한 자기 디스크 드라이브 및, CD-ROM, DVD-ROM 또는 기타 광학 매체와 같은, 착탈가능 비휘발성 광학 디스크에서 읽거나 쓰기 위한 광학 디스크 드라이브가 제공될 수 있다. 그러한 경우에, 각각은 하나 또는 그 이상의 데이터 매체 인터페이스들에 의해 버스(18)에 연결될 수 있다. 아래에서 추가로 도시되고 설명되는 바와 같이, 메모리(28)는 본 발명의 실시예들의 기능들을 수행하도록 구성된 프로그램 모듈들의 세트(예를 들어, 적어도 하나)를 갖는 적어도 하나의 프로그램 제품을 포함할 수 있다.
[0045] 프로그램 모듈들의 (적어도 하나)세트(42)를 갖는, 프로그램/유틸리티(40)는, 예를 들어, 메모리(28)에 저장될 수 있지만, 이에 국한되는 것은 아니다. 운영 체제, 하나 또는 그 이상의 애플리케이션 프로그램들, 기타 프로그램 모듈들, 및 프로그램 데이터 또는 이들의 조합은 네트워킹 환경의 구현을 포함할 수 있다. 프로그램 모듈들(42)은 일반적으로 본 명세서에 기술된 바와 같은 본 발명의 실시예의 기능들 및/또는 방법들을 수행한다.
[0046] 컴퓨터 시스템/서버(12)는 키보드, 포인팅 디바이스, 디스플레이(24) 등과 같은, 하나 또는 그 이상의 외부 디바이스들(14); 사용자가 컴퓨터 시스템/서버(12)와 상호작용할 수 있게 하는 하나 또는 그 이상의 디바이스들; 및/또는 컴퓨터 시스템/서버(12)가 하나 또는 그 이상의 다른 컴퓨팅 디바이스들과 통신할 수 있게 하는 모든 디바이스들(예를 들어, 네트워크 카드, 모뎀 등)과 통신 할 수 있다. 그러한 통신은 입/출력(I/O) 인터페이스(22)를 통해 발생할 수 있다. 또한, 컴퓨터 시스템/서버(12)는 근거리 통신망(LAN), 일반 광역 통신망(WAN), 및/또는 네트워크 어댑터(20)를 통한 공중 네트워크(예를 들어, 인터넷)와 같은, 하나 또는 그 이상의 네트워크들과 통신할 수 있다. 도시된 바와 같이, 네트워크 어댑터(20)는 버스(18)를 통해 클라우드 컴퓨팅 노드(10)의 다른 컴포넌트들과 통신한다. 도시되지는 않았지만, 다른 하드웨어 및/또는 소프트웨어 컴포넌트들이 컴퓨터 시스템/서버(12)와 함께 사용될 수 있음을 이해해야 한다. 이들의 예들에는: 마이크로코드, 디바이스 드라이버들, 리던던트 처리 유닛들, 외부 디스크 드라이브 어레이들, RAID 시스템들, 테이프 드라이브들 및 데이터 아카이벌 스토리지 시스템들이 포함되지만 이에 국한되지는 않는다.
[0047] 이제 도 2을 참조하면, 예시적인 클라우드 컴퓨팅 환경(50)이 도시된다. 도시된 바와 같이, 클라우드 컴퓨팅 환경(50)은 하나 또는 그 이상의 클라우드 컴퓨팅 노드들(10)을 포함하며, 이들은 예를 들어 개인 휴대 정보 단말기(PDA) 또는 휴대폰(54A), 데스크탑 컴퓨터(54B), 랩탑 컴퓨터(54C), 및/또는 자동차용 컴퓨터 시스템(54N)과 같은, 클라우드 소비자가 사용하는 로컬 컴퓨팅 장치들과 통신할 수 있다. 노드들(10)은 서로 통신할 수 있다. 이들은 상기에서 기술된 바와 같은 사설, 커뮤니티, 공공, 또는 하이브리드 클라우드들 또는 이들의 조합 등의 하나 또는 그 이상의 네트워크들에서 물리적으로 또는 가상으로 그룹화될 수 있다(도시되지 않음). 이것은 클라우드 소비자가 로컬 컴퓨팅 장치 상에 자원들을 유지할 필요가 없게 클라우드 컴퓨팅 환경(50)이 하부구조, 플랫폼들 및/또는 소프트웨어를 서비스로서 제공할 수 있게 해준다. 도 2에 도시된 컴퓨팅 장치들(54A-N)의 유형들은 단지 예시의 목적으로 기술한 것이며 컴퓨팅 노드들(10)과 클라우드 컴퓨팅 환경(50)은 모든 유형의 네트워크 및/또는 네트워크 주소지정가능 연결을 통해서 (예를 들어, 웹 브라우저를 사용하여) 모든 유형의 컴퓨터화된 장치와 통신할 수 있다는 것을 이해해야 한다.
[0048] 이제 도 3를 참조하면, 클라우드 컴퓨팅 환경(50)(도 2)에 의해 제공되는 일 세트의 기능별 추상화 계층들이 도시된다. 도 3에 도시된 컴포넌트들, 계층들, 및 기능들은 단지 예시의 목적이며 본 발명의 실시예들은 이들에 한정되지 않는다는 것을 미리 이해해야 한다. 도시된 바와 같이, 다음의 계층들과 그에 대응하는 기능들이 제공된다.
[0049] 디바이스 계층(55)은 클라우드 컴퓨팅 환경(50)에서 다양한 작업들(tasks)을 수행하기 위해 독립형 전자 장치들, 센서들, 액추에이터들 및 기타 객체들에 임베드된 및/또는 독립된 물리적 및/또는 가상 디바이스들을 포함한다. 디바이스 계층(55)에서 디바이스들 각각은 다른 기능적 추상화 계층에 대한 네트워킹 능력을 포함할 수 있는데, 이는 상기 디바이스들로부터 획득된 정보를 상기 다른 추상화 계층들에 제공될 수 있게 하기 위함이고 및/또는 상기 다른 추상화 계층들로부터 획득된 정보를 상기 디바이스들에 제공될 수 있게 하기 위함이다. 일 실시예에서, 디바이스 계층(55)을 포함하는 다양한 디바이스들은 집합적으로 "사물 인터넷"(IoT)으로 알려진 주체들의 네트워크를 포함할 수 있다. 그러한 주체들의 네트워크는, 당업자가 인식하는 바와 같이, 매우 다양한 목적들을 달성하기 위해 데이터의 상호 통신, 수집 및 보급을 가능하게 한다.
[0050] 도시된 바와 같은 디바이스 계층(55)은 도시된 바와 같이 센서(52), 액추에이터(53), 집적된 처리, 센서 및 네트워킹 전자 장치를 갖는 "학습" 온도 조절기(56), 카메라(57), 컨트롤 가능한 가정용 콘센트/리셉터클(58), 및 컨트롤 가능한 전기 스위치(59)를 포함한다. 다른 가능한 디바이스들은 다양한 추가 센서 디바이스들, 네트워킹 디바이스들, 전자 디바이스들(예: 원격 컨트롤 디바이스), 추가 액추에이터 디바이스들, 예를 들어 냉장고 또는 세탁기/건조기와 같은 소위 "스마트" 가전제품들, 그리고 다양한 종류의 다른 가능한 상호 연결된 개체들을 포함할 수 있지만, 이에 국한하지는 않는다.
[0051] 하드웨어 및 소프트웨어 계층(60)은 하드웨어 및 소프트웨어 컴포넌트들을 포함한다. 하드웨어 컴포넌트들의 예들에는: 메인프레임들(61); RISC(Reduced Instruction Set Computer) 아키텍처 기반 서버들(62); 서버들(63); 블레이드 서버들(64); 스토리지 디바이스들(65); 그리고 네트워크 및 네트워킹 컴포넌트들(66)이 포함된다. 일부 실시 예들에서, 소프트웨어 컴포넌트들은 네트워크 애플리케이션 서버 소프트웨어(67) 및 데이터베이스 소프트웨어(68)를 포함한다.
[0052] 가상화 계층(70)은 추상화 계층을 제공하며 이로부터 다음의 가상 실체들의 예들이 제공될 수 있다: 가상 서버들(71); 가상 스토리지(72); 가상 사설 네트워크를 포함하는, 가상 네트워크들(73); 가상 애플리케이션들 및 운영체제들(74); 및 가상 클라이언트들(75).
[0053] 한 예에서, 관리 계층(80)은 아래에 기술하는 기능들을 제공한다. 자원 제공(Resource provisioning)(81)은 클라우드 컴퓨팅 환경 내에서 작업들을 수행하는 데 이용되는 컴퓨팅 자원들 및 기타 자원들의 동적 조달을 제공한다. 계측 및 가격 책정(Metering and Pricing)(82)은 자원들이 클라우드 컴퓨팅 환경 내에서 이용될 때 비용 추적, 및 이 자원들의 소비에 대한 요금 청구 또는 송장을 제공한다. 한 예에서, 이 자원들은 애플리케이션 소프트웨어 라이센스를 포함할 수 있다. 보안(Security)은 데이터 및 기타 자원들에 대한 보호뿐 아니라 클라우드 소비자들과 작업들에 대한 신원 확인을 제공한다. 사용자 포털(User portal)(83)은 소비자들 및 시스템 관리자들에게 클라우드 컴퓨팅 환경에 대한 액세스를 제공한다. 서비스 수준 관리(Service level management)(84)는 요구되는 서비스 수준이 충족되도록 클라우드 컴퓨팅 자원 할당 및 관리를 제공한다. 서비스 수준 협약서(SLA) 기획 및 충족(planning and fulfillment)(85)은 SLA에 부합하는 예상되는 미래 요건에 맞는 클라우드 컴퓨팅 자원들의 사전-배치(pre-arrangement) 및 조달(procurement)을 제공한다.
[0054] 워크로드 계층(90)은 클라우드 컴퓨팅 환경이 이용될 수 있는 기능들의 예들을 제공한다. 이 계층에서 제공될 수 있는 워크로드들과 기능들의 예들은 다음과 같다: 맵핑 및 네비게이션(91); 소프트웨어 개발 및 라이프사이클 관리(92); 가상 교실 교육 전달(93); 데이터 분석 처리(94); 트랜잭션 처리(95); 및, 본 발명의 예시된 실시 예들의 맥락에서, 클라우드 컴퓨팅 환경에서 적대자들/적대적 시스템들(adversaries/adversarial systems)에 대해서 훈련된 머신 러닝 모델을 보호하기 위한 다양한 워크로드들 및 기능들(96). 또한, 클라우드 컴퓨팅 환경에서 적대자들/적대적 시스템들에 대해서 훈련된 머신 러닝 모델들을 보호하기 위한 워크로드들 및 기능들(96)은 분석, 딥-러닝, 그리고 추후 설명될 사용자 및 디바이스 관리 기능들과 같은 그러한 작업들(operations)을 포함할 수 있다. 당업자는 클라우드 컴퓨팅 환경에서 적대자들/적대적 시스템들에 대해서 훈련된 머신 러닝 모델들을 보호하기 위한 워크로드들 및 기능들(96)이 또한, 본 발명의 예시된 실시예의 다양한 목적들을 달성하기 위해, 하드웨어 및 소프트웨어(60), 가상화(70), 관리(80), 및 기타 워크로드들(90)(예를 들어, 데이터 분석 처리(94)와 같은)에서의 것들과 같은, 다양한 추상화 계층들의 다른 부분과 함께 작동(work)할 수도 있음을 이해할 것이다.
[0055] 앞서 언급한 바와 같이, 본 발명은 컴퓨팅 시스템에서 적대자들/적대적 시스템에 대해서 보호되는 강화된 머신 러닝 모델을 제공하기 위한 새로운 솔루션들을 제공한다. 적대적 도전들에 대해서 보호되는 하나 또는 그 이상의 강화된 머신 러닝 모델들이 제공되는데, 이는 하나 또는 그 이상의 머신 러닝 모델들, 상기 하나 또는 그 이상의 머신 러닝 모델들을 강화하는 데 사용되는 데이터 세트, 전-처리기들의 목록, 그리고 선택된 수의 학습자들에서 선택된 전-처리 작업들의 복수 조합들 중 하나 또는 그 이상을 적용함으로써 제공된다.
[0056] 이제 도 4를 참조하면, 프로세서를 사용하여 적대자들/적대적 시스템에 대해서 훈련된 머신 러닝 모델을 보호하기 위한 방법(400)이 도시되며, 상기 방법으로 여기서 예시된 실시 예의 다양한 특징들이 구현될 수 있다. 상기 방법(400)은 머신 상에서 실행되는 방법으로서 구현될 수 있고, 상기 방법은 적어도 하나의 컴퓨터 판독가능 매체 또는 하나의 비일시적 머신 판독가능 스토리지 매체 상에 포함된다. 다음 작업들/단계들 중 하나 또는 그 이상이 적용/선택되거나 적용되지 않거나/선택되지 않을 수 있음에 유의해야 한다(예를 들어, 사용자는 단계들 중 어느 것이 채용될지 선택할 수 있다). 방법(400)은 블록(402)에서 시작할 수 있다.
[0057] 블록(401)에서와 같이, 훈련된 머신 러닝 모델이 수신되고 입력 데이터가 요청될 수 있다. 즉, 사용자 또는 컴퓨팅 시스템이 훈련된 머신 러닝 모델을 제공하거나 및/또는 상기 머신 러닝 모델이 수신될 수 있다. 또한, 사용자로부터의 요청이 적용할 보호들의 종류에 관하여 수신될 수 있거나, 대안적인 작업에서 방법(400)은 적용할 하나 또는 그 이상의 보호들을 자동으로 선택할 수 있다.
[0058] 훈련된 머신 러닝 모델들 중 하나 또는 그 이상이 블록(402)에서와 같이 적대적으로 재-훈련될 수 있다. 즉, 방법(400)은, 예를 들어, 수정된 Madry의 프로토콜과 같은 하나 또는 그 이상의 적대적 프로토콜들을 사용하여 훈련된 신경망을 재-훈련할 수 있고, 상기 적대적 프로토콜들은, 예를 들어, 각 미니 배치에서(in each mini-batch) 적대적 샘플의 비율을 점진적으로 증가시키는 것과 같은, 추가적인 적대적 측정들에 의해서 수정된다(예를 들어, 각 훈련 반복에서는 데이터의 프랙션 또는 사용될 데이터의 "미니 배치"만 있을 뿐인 경우 프랙션 등에 대한 코사인 스케쥴 또는 "데이터의 프랙션"에 따라서). 이 재-훈련 단계는 모델 가중치들의 전체 또는 일부만 변경할 수 있다. 일 실시 예에서, "적대적으로 재-훈련한다"는 것은 머신 러닝 모델이 적대적 예들 및 훈련 데이터로 재-훈련될 수 있다는 것을 의미한다. 적대적 예들은 실제 적대자에 의해서 생성된 것이 아니고 머신 러닝 모델의 소유자에 의해서 생성된 것이다(예를 들어, 머신 러닝 모델은 적대적 재-훈련으로 인해 미래의 적대적 공격에 대해 "예방접종 되었다(vaccinated)"). 일단 머신 러닝 모델이 명시된 적대적 예들로 훈련되면, 향후 머신 러닝 모델이 그러한 적대적 예들에 의해서 공격을 받더라도 머신 러닝 모델은 실수를 하거나 오류를 범하지 않을 것이다.
[0059] 블록(403)에서와 같이, 하나 또는 그 이상의 전-처리 계층들이 추가 및/또는 보정될(calibrated) 수 있다. 일 실시 예에서, 전-처리 동작을 훈련된 머신 러닝 모델에 추가하고 훈련된 머신 러닝 모델을 보정하는 것(예를 들어, JPEG 압축의 강도, 가우시안 노이즈의 분산 등을 조정하는 것)은 우호적 및 적대적 테스트 정확도(benign and adversarial test accuracy) 사이의 트레이드-오프(trade-off)를 개선한다.
[0060] 블록(404)에서와 같이, 하나 또는 그 이상의 강건화 계층들(robustifying layers) 이 추가될 수 있다. 일 실시 예에서, "강건화 계층들"은 하나 또는 그 이상의 계층들이 훈련된 머신 러닝 모델에 추가되어 훈련된 머신 러닝 모델들이 미래의 적대적 공격들에 대해서 더 강건하게 되고 더 보호되도록 함을 표시할 수 있다. 일 실시 예에서, 하나 또는 그 이상의 신경망 계층들(예를 들어, 컨볼루션이고, 고밀도인 등)이 재-훈련된 머신 러닝 모델(예를 들어, 재-훈련된 신경망)을 확장하고 강건화 하기 위해 추가될 수 있다. 예를 들어, 블록(404)의 작업들은 신경망 모델들에 특정될 수 있다는 점에 유의해야 한다.
[0061] 재-훈련된 머신 러닝 모델은, 블록(405)에서와 같이, 적대적으로 재-훈련될 수 있다(예를 들어, 적대적인 예들 및 훈련 데이터로 재-훈련될 수 있다). 일 실시 예에서, 확장된 머신 러닝 모델(예를 들어, Madry의 프로토콜을 따르는)의 머신 러닝 모델 파라미터들 중 하나 또는 그 이상은 적대적으로 보호된 머신 러닝 모델을 생성하도록 업데이트될 수 있다. 일 실시 예에서, "확장된 머신 러닝 모델"은, 예를 들어, 머신 러닝 모델 M에서 M+K로 하는 것 같이, 현재 머신 러닝 모델에 더 많은 계층들을 추가하는 것을 의미한다. 머신 러닝 모델 M이 이미 훈련되었더라도 이제 훈련된 지식은 추가된 계층들에서 제대로 작동하지 않으므로 새 머신 러닝 모델 "M+K"를 다시 훈련해야 한다.
[0062] 적대적으로 보호된 머신 러닝 모델은 사용자 또는 시스템에 반환될 수 있고(예를 들어, 블록(406)에서와 같이 이를 프로덕션에 배치할 수 있음), 선택적으로 적대적 견고성 성능 정보에 대한 정보를 제공할 수 있다(예를 들어 프로젝티드 그래디언트 디센트("PGD"")(n,ε) 화이트-박스 공격, 빠른 그래디언트 사인된 방법("FGSM")(ε) 전송 공격 및 0차 최적화("ZOO") 기반 블랙-박스 공격, 등 아래에서, 예를 들어, 우호적 및 적대적 예들에 관한 테스트 성능, 분류 변경 등에 필요한 최소 l∞-놈 퍼트베이션).
[0063] 이제 도 5를 참조하면, 컴퓨팅 환경에서 이미지들에 대한 적대자들/적대적 시스템들에 대해서 훈련된 머신 러닝 모델을 보호하기 위한 기능 및 예시적인 시스템(500)의 블록도가 도시된다.
[0064] 일 실시 예에서, 도 1-4에서 설명된 컴포넌트들, 모듈들, 서비스들, 애플리케이션들, 및/또는 기능들 중 하나 또는 그 이상은 도 5에서 사용될 수 있다. 도시된 바와 같이, 기능의 다양한 블록들이 시스템(500)의 블록들의 서로에 대한 관계를 지정하고 프로세스 플로를 보여주기 위해 화살표들이 도시된다. 또한, 시스템(500)의 각 기능 블록과 관련된 설명 정보도 도시된다. 도시된 바와 같이, 많은 기능 블록들은 또한, 도 4에서 이전에 설명된 것과 동일한 설명 의미에서의, 기능의 "모듈들"이라 할 수 있다. 전술한 바에 기초하여, 시스템(500)의 모듈 블록들은 또한 본 발명에 따른 이미지 향상을 위한 시스템의 다양한 하드웨어 및 소프트웨어 컴포넌트들에 통합될 수 있다. 많은 기능 블록들(500)은, 다양한 컴포넌트들 상에서, 예를 들어, 분산 컴퓨팅 컴포넌트들에서, 또는 사용자 디바이스상에서, 또는 다른 곳에서, 배경 프로세스들(background processes)로서 실행될 수 있다.
[0065] 도시된 바와 같이, 시스템(500)은, 도 1의 클라우드 컴퓨팅 노드(10) 및/또는 컴퓨팅 시스템(12) 내부 및/또는 외부에 포함될 수 있는, 보호된 신경망(a protected neural network)(510)(예를 들어, 강화된 머신 러닝 모델 시스템)을 포함한다.
[0066] 보호된 신경망(510)은 제1 단계(예를 들어, "단계 1")에서 적대적 재-훈련 작업(an adversarial retraining operation)을 수행하는 단계와 제2 단계(예를 들어, "단계 2")에서 적대적 재-훈련 동작을 수행하는 단계를 포함할 수 있다.
[0067] 보호된 신경망(510)은, 블록(507)에서와 같이, 하나 또는 그 이상의 이미지들(예를 들어, "입력 이미지들")을 입력 데이터로서 수신할 수 있다. 보호된 신경망(500)은 입력 이미지들(블록(507)의)들을 수정하기 위해, 예를 들어 JPEG 압축, 가우시안 노이즈 및 공간 평활화(Gaussian noise and a spatial smoothing), 피처 스퀴징(feature squeezing) 등과 같은, 입력 전-처리 계층(an input pre-processing layer)을, 블록(503)에서와 같이, 추가할 수 있다.
[0068] 훈련된 신경망(예를 들어, 컨볼루션 신경망 "CNN", 장단기 기억 "LSTM" 등)이, 블록(501)에서와 같이, 사용자에 의해 제공되거나 또는 자동화된 시스템에 의해 생성될 수 있다(예를 들어, 자동화 신경망을 통해). 제1 단계에서, 보호된 신경망(510)은, 블록(502)에서와 같이, 상기 훈련된 신경망을 적대적 재-훈련(adversarial retrain) 할 수 있는데, 예를 들어, 적대적 샘플에 대한 무한 놈(an infinity norm)(" I∞ 놈"또는 균일 놈) 제약을 갖는 프로젝트된 경사 하강 화이트-박스 공격(a projected gradient descent white-box attack)을 사용하는 Madry의 프로토콜을 따르고, 코사인 스케줄(a cosine schedule)에 따른 적대적 샘플들의 점진적 증가를 사용함으로써 할 수 있다.
[0069] 또한, 하나 또는 그 이상의 추가의 신경망 계층들이, 블록(504)에서와 같이, 상기 훈련된 모델(예를 들어, 밀집 계층, 컨볼루션 계층 등) 다음에 추가될 수 있다. 제2 적대적 재-훈련 작업이, 블록(505)에서와 같이, (블록(502)와 유사하게) 수행될 수 있다. 보호된 신경망(510)은 출력 확률들의 비-단조, 비-미분 변환(non-monotonic, non-differentiable transformation)을 생성하는 출력 후-처리 계층을 추가할 수 있다. 보호된 신경망(510)은, 블록(508)에서와 같이, 재-훈련된 머신 러닝 모델 예측(예를 들어, 신경망 예측(예를 들어, 분류, 회귀 등))을 제공할 수 있다.
[0070] 이제 도 6을 참조하면, 블록도는 컴퓨팅 환경에서 텍스트 데이터에 대한 적대자들/적대적 시스템들에 대해서 훈련된 머신 러닝 모델들을 보호하기 위한 예시적인 시스템을 묘사한다. 일 실시 예에서, 도 1-5에 설명된 컴포넌트들, 모듈들, 서비스들, 애플리케이션들 및/또는 기능들 중 하나 또는 그 이상은 도 6에서 사용될 수 있다. 여기에 설명된 다른 실시 예들에서 채용된 유사한 단계들/블록들, 엘리멘트들, 컴포넌트들, 모듈들, 서비스들, 애플리케이션들, 및/또는 기능들의 반복적인 설명은 간결함을 위해 생략된다.
[0071] 도시된 바와 같이, 시스템(600)은 도 1의 클라우드 컴퓨팅 노드(10) 및/또는 컴퓨팅 시스템(12) 내부 및/또는 외부에 포함될 수 있는 보호된 신경망(610)(예를 들어, 강화된 머신 러닝 모델 시스템)을 포함한다.
[0072] 보호된 신경망(610)은 제1 단계(예를 들어, "단계 1")에서 적대적 재-훈련 동작을 수행하는 단계 및 제2 단계(예를 들어, "단계 2")에서 적대적 재-훈련 동작을 수행하는 단계를 포함할 수 있다.
[0073] 보호된 신경망(610)은, 블록(607)에서와 같이, 텍스트 데이터(예를 들어, "텍스트", 예를 들어, 단문 메시지 서비스) 입력 데이터(예를 들어, "입력 이미지들")를 수신할 수 있다. 보호된 신경망(610)은, 블록(603)에서와 같이, 입력 전-처리 계층들 및 텍스트 임베딩을 추가할 수 있다. 예를 들어, 블록(607)에서, 보호된 신경망(610)은 철자 검사 작업들(a spell checking operations)을 적대적 견고함/보호를 위한 잠재적인 입력 전-처리 방어들로서 추가할 수 있는데, 예를 들어 , 문자 수준에서 공격을 물리치기 위해, 소문자화(lower casing), 형태소 분석(stemming), 표제어 추출(lemmatization, 불용어 제거(stop-word removal), 정규화, 노이즈 제거, 텍스트 강화/증강 등을 추가할 수 있다. 또한 텍스트 임베딩을 추가하여 텍스트 데이터를 숫자 데이터로 변환할 수 있는데, 예를 들어 사전 훈련된 단어 임베딩들(예를 들어,단어 표현 및/또는 Word2Vec 등을 위한 글로벌 벡터들 "GloVe")을 사용하여 할 수 있다.
[0074] 훈련된 신경망(예를 들어, 컨볼루션 신경망 "CNN", 장단기 기억 "LSTM" 등)이, 블록(601)에서와 같이, 사용자에 의해 제공되거나 또는 자동화 시스템에 의해 생성될 수 있다.
[0075] 제 1 단계에서, 보호된 신경망(610)은, 블록(602)에서와 같이, 훈련된 신경망을 적대적으로 재-훈련시킬 수 있다. 예를 들어, 보호된 신경망(610)은 I2 -놈 ε를 사용하는 빠른 경사 방법 적대적 훈련 샘플들(fast gradient method adversarial training samples with I2 -norm ε)을 사용하여 Miyato의 프로토콜을 따름으로써 훈련된 신경망을 적대적 재-훈련하고, 출력 전에 추가의 은닉층(an additional hidden layer)을 추가 할 수 있으며, 상기 출력은, 각 미니 배치에서 적대적 샘플들의 비율을 점진적으로 증가시키는 것과 같은 추가적인 조치들에 의해 수정될 수 있다(예를 들어, 프랙션, 등에 대한 코사인 스케쥴에 따라).
[0076] 또한, 블록(604)에서와 같이, 훈련된 모델(예를 들어, 밀집 계층, 컨볼루션 계층 등) 다음에 하나 또는 그 이상의 추가의 신경망 계층들이 추가될 수 있다. 제2 적대적 재-훈련 작업(예를 들어, 적대적 재-훈련 단계 2)이, 블록(605)에서와 같이, 수행될 수 있다(블록(602)과 유사하게). 보호된 신경망(610)은 출력 확률들의 비-단조, 비-미분 변환을 생성하는 출력 후-처리 계층을 추가할 수 있다. 보호된 신경망(610)은, 블록(608)에서와 같이, 재-훈련된 머신 러닝 모델 예측(예를 들어, 신경망 예측(예를 들어, 분류, 회귀 등))을 제공할 수 있다.
[0077] 이제 도 7을 참조하면, 컴퓨팅 환경에서 텍스트 데이터에 대한 적대자들/적대적 시스템들에 대해서 훈련된 머신 러닝 모델들을 보호/보호하기 위한 블록도 및 예시적인 시스템이 도시되어 있다. 일 실시에서, 도 1-6에서 설명된 컴포넌트들, 모듈들, 서비스들, 애플리케이션들 및/또는 기능들 중 하나 또는 그 이상은 도 7에서도 사용될 수 있다. 여기에서 설명된 다른 실시예들에서 사용된 유사한 단계들/블록들, 엘리멘트들, 컴포넌트들, 모듈들, 서비스들, 애플리케이션들 및/또는 기능들의 반복적인 설명은 간결함을 위해 생략된다.
[0078] 도시된 바와 같이, 시스템(700)은 도 1의 클라우드 컴퓨팅 노드(10) 및/또는 컴퓨팅 시스템(12) 내부 및/또는 외부에 포함될 수 있는 보호된 신경망(710)(예를 들어, 강화된 머신 러닝 모델 시스템)을 포함한다.
[0079] 보호된 신경망(710)은, 블록(705)에서와 같이, 입력 데이터를 수신할 수 있다. 보호된 신경망(710)은, 블록(703)에서와 같이, 입력 데이터를 수정하기 위해 입력 전-처리 계층들을 추가할 수 있다. 예를 들어, 블록(705)에서, 보호된 신경망(710)은 압축, 가우시안 잡음, 평활화 및/또는 피처 스퀴징 등을 사용하여 입력 데이터를 수정할 수 있다.
[0080] 훈련된 머신 러닝 모델(예를 들어, 지원 벡터 머신 "SVM" 등)은, 블록 701)에서와 같이, 사용자에 의해 제공되거나 또는 자동화 시스템에 의해 생성될 수 있다.
[0081] 보호된 신경망(710)은, 블록(702)에서와 같이, 훈련된 신경망을 적대적으로 재-훈련(예를 들어, "적대적 재-훈련")할 수 있다. 예를 들어, 보호된 신경망(710)은 I2 -놈ε를 사용하는 빠른 경사 방법 적대적 훈련 샘플들(fast gradient method adversarial training samples with I2 -norm ε)을 사용하여 훈련된 신경망을 적대적으로 재-훈련하고, 출력 전에 추가의 은닉층(an additional hidden layer)을 추가 할 수 있으며, 상기 출력은, 각 미니 배치에서 적대적 샘플들의 비율을 점진적으로 증가시키는 것과 같은 추가적인 조치들에 의해 수정될 수 있다(예를 들어, 프랙션, 등에 대한 코사인 스케쥴에 따라).
[0082] 또한, 블록(704)에서와 같이, 하나 또는 그 이상의 추가 신경망 계층이 훈련된 모델 다음에 추가될 수 있다. 즉, 보호된 신경망(710)은 출력 확률들의 비-단조, 비-미분 변환(non-monotonic, non-differentiable transformation)을 생성하는 출력 후-처리 계층을 추가할 수 있다. 보호된 신경망(710)은, 블록(706)에서와 같이, 재-훈련된 머신 러닝 모델 예측(예를 들어, 신경망 예측(예를 들어, 분류, 회귀 등))을 제공할 수 있다.
[0083] 이제 도 8을 참조하면, 프로세서를 사용하여 머신 러닝 모델을 적대적 공격에 대해서 강화하기 위해 입력 전-처리를 학습하기 위한 방법(800)이 도시되며, 여기서 예시된 실시예들의 다양한 특징들이 구현될 수 있다. 방법(800)은 머신 상의 명령들로서 실행되는 방법으로서 구현될 수 있고, 상기 명령들은 적어도 하나의 컴퓨터 판독가능 매체 또는 하나의 비일시적 기계 판독가능 저장 매체 상에 포함될 수 있다. 방법(800)은 블록(802)에서 시작할 수 있다.
[0084] 하나 또는 그 이상의 훈련된 머신 러닝 모델들이, 블록(804)에서와 같이, 수신될 수 있다. 하나 또는 그 이상의 훈련된 머신 러닝 모델들은, 블록(806)에서와 같이, 하나 또는 그 이상의 적대적 보호 프로토콜에 기초한 적대적 보호를 포함하도록 유지될 수 있다. 적대적 공격들에 대해서 보호되는 하나 또는 그 이상의 강화된 머신 러닝 모델들이, 블록(808)에서와 같이, 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 적대적 보호(adversarial protection)를 추가함으로써 제공된다. 방법(800)은, 블록(810)에서와 같이, 종료될 수 있다.
[0085] 일 실시 예에서, 도 8의 적어도 하나의 블록들과 관련하여 및/또는 그 일부로서, 방법(800)의 작업들(operations)은 하나 또는 그 이상의 훈련된 머신 러닝 모델들을 수신하고 하나 또는 그 이상의 적대적 보호 프로토콜들에 기초한 적대적 보호를 포함하도록 하나 또는 그 이상의 훈련된 머신 러닝 모델들을 재-훈련할 수 있다.
[0086] 방법(800)의 작업들은 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 하나 또는 그 이상의 전-처리 계층들을 추가할 수 있으며, 여기서 적대적 보호 강도의 정도가 조정되고, 하나 또는 그 이상의 훈련된 머신 러닝 모델에 하나 또는 그 이상의 신경망 계층을 추가하며, 및/또는 하나 또는 그 이상의 적대적 보호 프로토콜에 기초한 적대적 보호를 사용하여 재-훈련된 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 하나 또는 그 이상의 후-처리 출력 계층을 추가할 수 있다.
[0087] 방법(800)의 작업들은 하나 또는 그 이상의 강화된 머신 러닝 모델을 제공하기 위해 사용될 하나 또는 그 이상의 적대적 보호 프로토콜들을 자동으로 구현하고, 및/또는, 사용자로부터, 하나 또는 그 이상의 강화된 머신 러닝 모델을 제공하기 위해 사용될 하나 또는 그 이상의 적대적 보호 프로토콜들을 수신할 수 있다.
[0088] 방법(800)의 작업들은 재-훈련되는 동안 하나 또는 그 이상의 훈련된 머신 러닝 모델들의 각 상태를 모니터하고 추적하여, 하나 또는 그 이상의 훈련된 머신 러닝 모델에 대한 훈련 붕괴를 탐지할 수 있고, 및/또는 상기 재-훈련 동안 하나 또는 그 이상의 하나 또는 그 이상의 훈련된 머신 러닝 모델에 대한 롤백 전략들을 가능하게 할 수 있다. 방법(800)의 작업들은 적대적 공격들로부터의 보안 레벨을 표시하는 하나 또는 그 이상의 강화된 머신 러닝 모델들에 대한 보안 스코어를 결정할 수 있다.
[0089] 본 발명의 실시 예들은 시스템, 방법, 및/또는 컴퓨터 프로그램 제품이 될 수 있다. 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 스토리지 매체를 포함할 수 있으며, 이 매체 상에 프로세서가 본 발명의 실시 예들을 수행하도록 하는 컴퓨터 판독 가능 프로그램 명령들을 갖는다.
[0090] 상기 컴퓨터 판독 가능 스토리지 매체는 명령 실행 장치에 의해 사용될 명령들을 유지 및 저장할 수 있는 유형의(tangible) 디바이스일 수 있다. 상기 컴퓨터 판독 가능 스토리지 매체는, 예를 들면, 전자 스토리지 디바이스, 자기 스토리지 디바이스, 광 스토리지 디바이스, 전자기 스토리지 디바이스, 반도체 스토리지 디바이스, 또는 전술한 것들의 모든 적절한 조합일 수 있으며, 그러나 이에 한정되지는 않는다. 컴퓨터 판독 가능 스토리지 매체의 더 구체적인 예들의 비포괄적인 목록에는 다음이 포함될 수 있다: 휴대용 컴퓨터 디스켓, 하드 디스크, 랜덤 액세스 메모리(RAM), 판독-전용 메모리(ROM), 소거 및 프로그램가능 판독-전용 메모리(EPROM 또는 플래시 메모리), 정적 랜덤 액세스 메모리(SRAM), 휴대용 컴팩트 디스크 판독-전용 메모리(CD-ROM), 디지털 다용도 디스크(DVD), 메모리 스틱, 플로피 디스크, 천공-카드들 또는 명령들이 기록된 홈에 있는 융기된 구조들 같이 기계적으로 인코드 된 장치, 및 전술한 것들의 모든 적절한 조합. 본 명세서에서 사용될 때, 컴퓨터 판독 가능 스토리지 매체는 무선 전파들이나 다른 자유롭게 전파되는 전자기파들, 도파관이나 기타 전송 매체(예를 들어, 광섬유 케이블을 통해 전달되는 광 펄스들)를 통해 전파되는 전자기파들, 또는 선(wire)을 통해 전송되는 전기 신호들 같이 그 자체로 일시적인(transitory) 신호들로 해석되지는 않는다.
[0091] 여기에 기술되는 컴퓨터 판독 가능 명령들은, 예를 들어, 인터넷, 근거리 통신망, 광역 통신망 및/또는 무선 네트워크 등의 통신망(네트워크)을 통해 컴퓨터 판독 가능 스토리지 매체로부터 각각 컴퓨팅/처리 디바이스들로 또는 외부 스토리지 디바이스로부터 외부 컴퓨터로 다운로드 될 수 있다. 상기 통신망은 구리 전송 케이블들, 광 전송 섬유들, 무선 전송, 라우터들, 방화벽들, 스위치들, 게이트웨이 컴퓨터들 및/또는 엣지 서버들을 포함할 수 있다. 각 컴퓨팅/처리 장치 내 네트워크 어댑터 카드 또는 네트워크 인터페이스는 상기 통신망으로부터 컴퓨터 판독 가능 프로그램 명령들을 수신하고 그 컴퓨터 판독 가능 프로그램 명령들을 각각의 컴퓨팅/처리 디바이스 내의 컴퓨터 판독 가능 스토리지 매체에 저장하기 위해 전송한다.
[0092] 본 발명의 연산들을 실행하기 위한 컴퓨터 판독 가능 프로그램 명령들은 Smalltalk, C++ 또는 그와 유사 언어 등의 객체 지향 프로그래밍 언어와 "C" 프로그래밍 언어 또는 그와 유사한 프로그래밍 언어 등의 종래의 절차적 프로그래밍 언어들을 포함하여, 하나 또는 그 이상의 프로그래밍 언어들을 조합하여 작성된(written) 어셈블러 명령들, 명령-세트-아키텍처(ISA) 명령들, 머신 명령들, 머신 종속 명령들, 마이크로코드, 펌웨어 명령들, 상태-셋팅 데이터, 집적회로를 위한 구성 데이터, 또는 소스 코드나 목적 코드일 수 있다. 상기 컴퓨터 판독 가능 프로그램 명령들은 전적으로 사용자의 컴퓨터상에서, 부분적으로 사용자의 컴퓨터상에서, 독립형(stand-alone) 소프트웨어 패키지로서, 부분적으로 사용자의 컴퓨터상에서 그리고 부분적으로 원격 컴퓨터상에서 또는 전적으로 원격 컴퓨터나 서버상에서 실행될 수 있다. 위에서 마지막의 경우에, 원격 컴퓨터는 근거리 통신망(LAN) 또는 광역 통신망(WAN)을 포함한 모든 종류의 네트워크를 통해서 사용자의 컴퓨터에 접속될 수 있고, 또는 이 접속은 (예를 들어, 인터넷 서비스 제공자를 이용한 인터넷을 통해서) 외부 컴퓨터에 이루어질 수도 있다. 일부 실시 예들에서, 예를 들어 프로그램 가능 로직 회로, 필드-프로그램 가능 게이트 어레이들(FPGA), 또는 프로그램 가능 로직 어레이들(PLA)을 포함한 전자 회로는 본 발명의 실시 예들을 수행하기 위해 전자 회로를 맞춤화하도록 상기 컴퓨터 판독 가능 프로그램 명령들의 상태 정보를 활용하여 상기 컴퓨터 판독 가능 프로그램 명령들을 실행할 수 있다.
[0093] 여기에서는 본 발명의 실시 예들에 따른 방법들, 장치들(시스템들), 및 컴퓨터 프로그램 제품들의 플로 차트 예시도들 및/또는 블록도들을 참조하여 본 발명의 실시 예들이 기술된다. 플로 차트 예시도들 및/또는 블록도들의 각 블록과 플로 차트 예시도들 및/또는 블록도들 내 블록들의 조합들은 컴퓨터 판독 가능 프로그램 명령들에 의해 구현될 수 있다는 것을 이해할 수 있을 것이다.
[0094] 이들 컴퓨터 판독 가능 프로그램 명령들은 범용 컴퓨터, 특수목적용 컴퓨터, 또는 기타 프로그램가능 데이터 처리 장치의 프로세서에 제공되어 머신(machine)을 생성하고, 그렇게 하여 그 명령들이 상기 컴퓨터 또는 기타 프로그램가능 데이터 처리 장치의 프로세서를 통해서 실행되어, 상기 플로 차트 및/또는 블록도의 블록 또는 블록들에 명시된 기능들/동작들을 구현하기 위한 수단을 생성할 수 있다. 이들 컴퓨터 판독 가능 프로그램 명령들은 또한 컴퓨터 판독 가능 스토리지 매체에 저장될 수 있으며, 컴퓨터, 프로그램가능 데이터 처리 장치 및/또는 기타 디바이스들에 지시하여 명령들이 저장된 상기 컴퓨터 판독 가능 스토리지 매체가 상기 플로 차트 및/또는 블록도의 블록 또는 블록들에 명시된 기능/동작의 특징들을 구현하는 명령들을 포함하는 제조품(an article of manufacture)을 포함하도록 특정한 방식으로 기능하게 할 수 있다.
[0095] 상기 컴퓨터 판독 가능 프로그램 명령들은 또한 컴퓨터, 기타 프로그램가능 데이터 처리 장치, 또는 다른 디바이스에 로드 되어, 상기 컴퓨터, 기타 프로그램가능 장치 또는 다른 디바이스에서 일련의 동작 단계들이 수행되게 하여 컴퓨터 구현 프로세스를 생성하며, 그렇게 하여 상기 컴퓨터, 기타 프로그램가능 장치, 또는 다른 디바이스 상에서 실행되는 명령들이 플로 차트 및/또는 블록도의 블록 또는 블록들에 명시된 기능들/동작들을 구현할 수 있다.
[0096] 도면들 내 플로 차트 및 블록도들은 본 발명의 여러 실시 예들에 따른 시스템들, 방법들 및 컴퓨터 프로그램 제품들의 가능한 구현들의 아키텍처, 기능(functionality), 및 연산(operation)을 예시한다. 이와 관련하여, 상기 플로 차트 또는 블록도들 내 각 블록은 상기 명시된 논리적 기능(들)을 구현하기 위한 하나 또는 그 이상의 실행 가능한 명령들을 포함한 모듈, 세그먼트 또는 명령들의 일부분을 나타낼 수 있다. 일부 다른 구현들에서, 상기 블록에 언급되는 기능들은 도면들에 언급된 순서와 다르게 일어날 수도 있다. 예를 들면, 연속으로 도시된 두 개의 블록들은 실제로는 사실상 동시에 실행될 수도 있고, 또는 이 두 블록들은 때때로 관련된 기능에 따라서는 역순으로 실행될 수도 있다. 블록도들 및/또는 순서 예시도의 각 블록, 및 블록도들 및/또는 순서 예시도 내 블록들의 조합들은 특수목적용 하드웨어 및 컴퓨터 명령들의 명시된 기능들 또는 동작들, 또는 이들의 조합들을 수행하는 특수목적용 하드웨어-기반 시스템들에 의해 구현될 수 있다는 것에 또한 주목해야 한다.
Claims (16)
- 하나 또는 그 이상의 프로세서들에 의해 컴퓨팅 환경에서 훈련된 머신 러닝 모델을 보호하는 방법에 있어서, 상기 방법은:
하나 또는 그 이상의 이전에(previously) 훈련된 머신 러닝 모델들에 적대적 보호(adversarial protection)를 추가하여 적대적 공격들에 대해서(against) 보호되는 하나 또는 그 이상의 강화된 머신 러닝 모델들을 제공하는 단계 - 상기 하나 또는 그 이상의 강화된 머신 러닝 모델들은, 적대적 샘플들에 대한 무한 놈(an infinity norm) 제약을 갖는 프로젝트된 경사 하강 화이트-박스 공격(a projected gradient descent white-box attack)을 사용하는 명시된 프로토콜에 따라, 반복적으로 재-훈련함으로써 생성되며, 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들은 현재 재-훈련 반복 전에 상기 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 이전에 입력되지 않은 훈련 데이터의 미니-배치들로부터 선택된 우호적 샘플들(benign examples)에 대한 상기 적대적 샘플들의 비율을 사용하고, 상기 적대적 샘플들의 비율은 각각의 후속 재-훈련 반복들을 위해 사용할 상기 훈련 데이터의 미니-배치들로부터 선택하기 위한 상기 적대적 샘플들 및 우호적 샘플들(benign samples)의 양을 나타내는 코사인 스케줄(a cosine schedule)에 따라 각각의 재-훈련 반복 동안 점진적으로 증가됨-;
재-훈련되는 동안 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들의 각 상태를 모니터하고 추적하는 단계(monitoring and tracking);
상기 재-훈련 동안 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들에 대한 훈련 붕괴(a training collapse)를 감지하는 단계(detecting); 및
상기 재-훈련 동안 상기 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 대해 하나 또는 그 이상의 롤백 전략들(roll-back strategies)을 활성화하는 단계(enabling)를 포함하는
방법. - 제1항에 있어서, 상기 방법은:
상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들을 수신하는 단계; 그리고
하나 또는 그 이상의 적대적 보호 프로토콜들에 기초하여 상기 적대적 보호를 포함하도록 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들을 재-훈련을 수행하는 단계를 더 포함하는
방법. - 제1항에 있어서, 상기 방법은 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들에 하나 또는 그 이상의 전-처리 계층들(preprocessing layers)을 추가하는 단계를 더 포함하고, 적대적 보호 강도의 정도는 상기 하나 또는 그 이상의 전-처리 계층들 각각에서 조정되는(adjusted)
방법. - 제1항에 있어서, 상기 방법은 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들에 하나 또는 그 이상의 신경망 계층들을 추가하는 단계를 더 포함하는 방법.
- 제1항에 있어서, 상기 방법은 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들에 하나 또는 그 이상의 후-처리 출력 계층들(post-processing output layers)을 추가하는 단계를 더 포함하고, 상기 하나 또는 그 이상의 후-처리 출력 계층들은 하나 또는 그 이상의 적대적 보호 프로토콜들에 기초하여 상기 적대적 보호로 재-훈련되는
방법. - 제1항에 있어서, 상기 방법은:
상기 하나 또는 그 이상의 강화된 머신 러닝 모델들을 제공하기 위해 사용될 하나 또는 그 이상의 적대적 보호 프로토콜들을 자동으로 구현하는 단계; 또는
상기 하나 또는 그 이상의 강화된 머신 러닝 모델들을 제공하기 위해 사용될 하나 또는 그 이상의 적대적 보호 프로토콜들을, 사용자로부터, 수신하는 단계를 더 포함하는
방법. - 컴퓨팅 환경에서 훈련된 머신 러닝 모델들을 보호하기 위한 시스템에 있어서, 상기 시스템은:
실행 가능한 명령들을 갖는 하나 또는 그 이상의 컴퓨터들을 포함하고, 상기 실행 가능한 명령들은 실행될 때 상기 시스템이:
하나 또는 그 이상의 이전에(previously) 훈련된 머신 러닝 모델들에 적대적 보호(adversarial protection)를 추가하여 적대적 공격들에 대해서(against) 보호되는 하나 또는 그 이상의 강화된 머신 러닝 모델들을 제공하는 단계 - 상기 하나 또는 그 이상의 강화된 머신 러닝 모델들은, 적대적 샘플들에 대한 무한 놈(an infinity norm) 제약을 갖는 프로젝트된 경사 하강 화이트-박스 공격(a projected gradient descent white-box attack)을 사용하는 명시된 프로토콜에 따라, 반복적으로 재-훈련함으로써 생성되며, 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들은 현재 재-훈련 반복 전에 상기 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 이전에 입력되지 않은 훈련 데이터의 미니-배치들로부터 선택된 우호적 샘플들(benign examples)에 대한 상기 적대적 샘플들의 비율을 사용하고, 상기 적대적 샘플들의 비율은 각각의 후속 재-훈련 반복들을 위해 사용할 상기 훈련 데이터의 미니-배치들로부터 선택하기 위한 상기 적대적 샘플들 및 우호적 샘플들(benign samples)의 양을 나타내는 코사인 스케줄(a cosine schedule)에 따라 각각의 재-훈련 반복 동안 점진적으로 증가됨-;
재-훈련되는 동안 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들의 각 상태를 모니터하고 추적하는 단계(monitoring and tracking);
상기 재-훈련 동안 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들에 대한 훈련 붕괴(a training collapse)를 감지하는 단계(detecting); 및
상기 재-훈련 동안 상기 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 대해 하나 또는 그 이상의 롤백 전략들(roll-back strategies)을 활성화하는 단계(enabling)를 수행하게 하는
시스템. - 제7항에 있어서, 상기 실행 가능한 명령들은:
상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들을 수신하는 단계; 그리고
하나 또는 그 이상의 적대적 보호 프로토콜들에 기초하여 상기 적대적 보호를 포함하도록 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들을 재-훈련을 수행하는 단계를 더 수행하게 하는
시스템. - 제7항에 있어서, 상기 실행 가능한 명령들은 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들에 하나 또는 그 이상의 전-처리 계층들(preprocessing layers)을 추가하는 단계를 더 수행하게 하고, 적대적 보호 강도의 정도는 상기 하나 또는 그 이상의 전-처리 계층들 각각에서 조정되는(adjusted)
시스템. - 제7항에 있어서, 상기 실행 가능한 명령들은 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들에 하나 또는 그 이상의 신경망 계층들을 추가하는 단계를 더 수행하게 하는
시스템. - 제7항에 있어서, 상기 실행 가능한 명령들은 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들에 하나 또는 그 이상의 후-처리 출력 계층들(post-processing output layers)을 추가하는 단계를 더 수행하게 하고, 상기 하나 또는 그 이상의 후-처리 출력 계층들은 하나 또는 그 이상의 적대적 보호 프로토콜들에 기초하여 상기 적대적 보호로 재-훈련되는
시스템. - 제7항에 있어서, 상기 실행 가능한 명령들은:
상기 하나 또는 그 이상의 강화된 머신 러닝 모델들을 제공하기 위해 사용될 하나 또는 그 이상의 적대적 보호 프로토콜들을 자동으로 구현하는 단계; 또는
상기 하나 또는 그 이상의 강화된 머신 러닝 모델들을 제공하기 위해 사용될 하나 또는 그 이상의 적대적 보호 프로토콜들을, 사용자로부터, 수신하는 단계를 더 수행하게 하는
시스템. - 하나의 프로세서에 의해 컴퓨팅 환경에서 훈련된 머신 러닝 모델을 보호하기 위한 컴퓨터 판독가능 프로그램 코드 부분들을 저장하는 비-일시적인 컴퓨터 판독가능 스토리지 매체에 있어서, 상기 컴퓨터 판독가능 프로그램 코드 부분들은:
하나 또는 그 이상의 이전에(previously) 훈련된 머신 러닝 모델들에 적대적 보호(adversarial protection)를 추가하여 적대적 공격들에 대해서(against) 보호되는 하나 또는 그 이상의 강화된 머신 러닝 모델들을 제공하는 단계 - 상기 하나 또는 그 이상의 강화된 머신 러닝 모델들은, 적대적 샘플들에 대한 무한 놈(an infinity norm) 제약을 갖는 프로젝트된 경사 하강 화이트-박스 공격(a projected gradient descent white-box attack)을 사용하는 명시된 프로토콜에 따라, 반복적으로 재-훈련함으로써 생성되며, 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들은 현재 재-훈련 반복 전에 상기 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 이전에 입력되지 않은 훈련 데이터의 미니-배치들로부터 선택된 우호적 샘플들(benign examples)에 대한 상기 적대적 샘플들의 비율을 사용하고, 상기 적대적 샘플들의 비율은 각각의 후속 재-훈련 반복들을 위해 사용할 상기 훈련 데이터의 미니-배치들로부터 선택하기 위한 상기 적대적 샘플들 및 우호적 샘플들(benign samples)의 양을 나타내는 코사인 스케줄(a cosine schedule)에 따라 각각의 재-훈련 반복 동안 점진적으로 증가됨-;
재-훈련되는 동안 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들의 각 상태를 모니터하고 추적하는 단계(monitoring and tracking);
상기 재-훈련 동안 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들에 대한 훈련 붕괴(a training collapse)를 감지하는 단계(detecting); 또는
상기 재-훈련 동안 상기 하나 또는 그 이상의 훈련된 머신 러닝 모델들에 대해 하나 또는 그 이상의 롤백 전략들(roll-back strategies)을 활성화하는 단계(enabling)를 수행하는 실행가능 부분을 포함하는
비-일시적인 컴퓨터 판독가능 스토리지 매체. - 제 13항에 있어서, 상기 컴퓨터 판독가능 프로그램 코드 부분들은:
상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들을 수신하는 단계; 그리고
하나 또는 그 이상의 적대적 보호 프로토콜들에 기초하여 상기 적대적 보호를 포함하도록 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들을 재-훈련을 수행하는 단계를 수행하는 실행가능 부분을 더 포함하는
비-일시적인 컴퓨터 판독가능 스토리지 매체. - 제 13항에 있어서, 상기 컴퓨터 판독가능 프로그램 코드 부분들은 상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들에 하나 또는 그 이상의 전-처리 계층들(preprocessing layers)을 추가하는 단계를 수행하는 실행가능 부분을 더 포함하고, 적대적 보호 강도의 정도는 상기 하나 또는 그 이상의 전-처리 계층들 각각에서 조정되는(adjusted)
비-일시적인 컴퓨터 판독가능 스토리지 매체. - 제 13항에 있어서, 상기 컴퓨터 판독가능 프로그램 코드 부분들은:
상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들에 하나 또는 그 이상의 신경망 계층들을 추가하는 단계; 또는
상기 하나 또는 그 이상의 이전에 훈련된 머신 러닝 모델들에 하나 또는 그 이상의 후-처리 출력 계층들(post-processing output layers)을 추가하는 단계를 수행하는 실행가능 부분을 더 포함하고, 상기 하나 또는 그 이상의 후-처리 출력 계층들은 하나 또는 그 이상의 적대적 보호 프로토콜들에 기초하여 상기 적대적 보호로 재-훈련되는
비-일시적인 컴퓨터 판독가능 스토리지 매체.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US16/601,451 US11334671B2 (en) | 2019-10-14 | 2019-10-14 | Adding adversarial robustness to trained machine learning models |
| US16/601,451 | 2019-10-14 | ||
| PCT/IB2020/059559 WO2021074770A1 (en) | 2019-10-14 | 2020-10-12 | Adding adversarial robustness to trained machine learning models |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220054812A KR20220054812A (ko) | 2022-05-03 |
| KR102692100B1 true KR102692100B1 (ko) | 2024-08-05 |
Family
ID=75383118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020227008142A KR102692100B1 (ko) | 2019-10-14 | 2020-10-12 | 훈련된 머신 러닝 모델에 적대적 견고성 추가 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11334671B2 (ko) |
| JP (1) | JP7537709B2 (ko) |
| KR (1) | KR102692100B1 (ko) |
| CN (1) | CN114503108A (ko) |
| AU (1) | AU2020368222B2 (ko) |
| GB (1) | GB2604791B (ko) |
| WO (1) | WO2021074770A1 (ko) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112334917A (zh) * | 2018-12-31 | 2021-02-05 | 英特尔公司 | 对采用人工智能的系统进行防护 |
| US20230067824A1 (en) * | 2020-03-06 | 2023-03-02 | Nec Corporation | Preference inference device, preference inference method, and preference inference program |
| US11675896B2 (en) * | 2020-04-09 | 2023-06-13 | International Business Machines Corporation | Using multimodal model consistency to detect adversarial attacks |
| US20220100867A1 (en) * | 2020-09-30 | 2022-03-31 | International Business Machines Corporation | Automated evaluation of machine learning models |
| US12019747B2 (en) * | 2020-10-13 | 2024-06-25 | International Business Machines Corporation | Adversarial interpolation backdoor detection |
| US11785024B2 (en) * | 2021-03-22 | 2023-10-10 | University Of South Florida | Deploying neural-trojan-resistant convolutional neural networks |
| JP2024517124A (ja) * | 2021-04-19 | 2024-04-19 | ディープキープ リミテッド | 機械学習、人工知能、および深層学習のユニットを保護するためのデバイス、システム、および方法 |
| EP4348508A1 (en) * | 2021-05-31 | 2024-04-10 | Microsoft Technology Licensing, LLC | Merging models on an edge server |
| US20230134546A1 (en) * | 2021-10-29 | 2023-05-04 | Oracle International Corporation | Network threat analysis system |
| CN114355936A (zh) * | 2021-12-31 | 2022-04-15 | 深兰人工智能(深圳)有限公司 | 智能体的控制方法、装置、智能体及计算机可读存储介质 |
| CN114358282B (zh) * | 2022-01-05 | 2024-10-29 | 深圳大学 | 深度网络对抗鲁棒性提升模型、构建方法、设备、介质 |
| CN114694222B (zh) * | 2022-03-28 | 2023-08-18 | 马上消费金融股份有限公司 | 图像处理方法、装置、计算机设备及存储介质 |
| GB2621838A (en) * | 2022-08-23 | 2024-02-28 | Mindgard Ltd | Method and system |
| KR102753131B1 (ko) * | 2022-09-19 | 2025-01-14 | 호서대학교 산학협력단 | 악성코드 변종 분석을 위한 ai 모델의 견고성 측정 시스템 및 어플리케이션 |
| EP4425384A1 (en) * | 2023-02-28 | 2024-09-04 | Fujitsu Limited | Training deep belief networks |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019014487A1 (en) * | 2017-07-12 | 2019-01-17 | The Regents Of The University Of California | DETECTION AND PREVENTION OF DEEP ANTAGONIST LEARNING |
Family Cites Families (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08339360A (ja) * | 1995-06-13 | 1996-12-24 | Hitachi Ltd | ニューラルネットを応用した学習システム |
| EP0974660A1 (en) | 1998-06-19 | 2000-01-26 | Stichting Instituut voor Dierhouderij en Diergezondheid (ID-DLO) | Newcastle disease virus infectious clones, vaccines and diagnostic assays |
| JP2000181893A (ja) | 1998-12-11 | 2000-06-30 | Toshiba Mach Co Ltd | ニューラルネットワークの構成方法 |
| US20150134966A1 (en) | 2013-11-10 | 2015-05-14 | Sypris Electronics, Llc | Authentication System |
| US9619749B2 (en) | 2014-03-06 | 2017-04-11 | Progress, Inc. | Neural network and method of neural network training |
| US20160321523A1 (en) | 2015-04-30 | 2016-11-03 | The Regents Of The University Of California | Using machine learning to filter monte carlo noise from images |
| EP3400419A2 (en) | 2016-01-05 | 2018-11-14 | Mobileye Vision Technologies Ltd. | Trained navigational system with imposed constraints |
| US20180005136A1 (en) | 2016-07-01 | 2018-01-04 | Yi Gai | Machine learning in adversarial environments |
| CN107463951A (zh) * | 2017-07-19 | 2017-12-12 | 清华大学 | 一种提高深度学习模型鲁棒性的方法及装置 |
| CN107390949B (zh) * | 2017-09-13 | 2020-08-07 | 广州视源电子科技股份有限公司 | 获取触摸屏基准资料的方法和装置、存储介质及触摸显示系统 |
| US10657259B2 (en) | 2017-11-01 | 2020-05-19 | International Business Machines Corporation | Protecting cognitive systems from gradient based attacks through the use of deceiving gradients |
| CN108304858B (zh) | 2017-12-28 | 2022-01-04 | 中国银联股份有限公司 | 对抗样本识别模型生成方法、验证方法及其系统 |
| US11315012B2 (en) | 2018-01-12 | 2022-04-26 | Intel Corporation | Neural network training using generated random unit vector |
| CN108099598A (zh) | 2018-01-29 | 2018-06-01 | 三汽车起重机械有限公司 | 用于起重机的驱动装置及起重机 |
| CA3033014A1 (en) * | 2018-02-07 | 2019-08-07 | Royal Bank Of Canada | Robust pruned neural networks via adversarial training |
| CN108322349B (zh) | 2018-02-11 | 2021-04-06 | 浙江工业大学 | 基于对抗式生成网络的深度学习对抗性攻击防御方法 |
| CN108537271B (zh) | 2018-04-04 | 2021-02-05 | 重庆大学 | 一种基于卷积去噪自编码机防御对抗样本攻击的方法 |
| CN108615048B (zh) | 2018-04-04 | 2020-06-23 | 浙江工业大学 | 基于扰动进化对图像分类器对抗性攻击的防御方法 |
| US11520899B2 (en) * | 2018-05-17 | 2022-12-06 | Royal Bank Of Canada | System and method for machine learning architecture with adversarial attack defense |
| US10861439B2 (en) * | 2018-10-22 | 2020-12-08 | Ca, Inc. | Machine learning model for identifying offensive, computer-generated natural-language text or speech |
| US20200125928A1 (en) * | 2018-10-22 | 2020-04-23 | Ca, Inc. | Real-time supervised machine learning by models configured to classify offensiveness of computer-generated natural-language text |
| US11526746B2 (en) * | 2018-11-20 | 2022-12-13 | Bank Of America Corporation | System and method for incremental learning through state-based real-time adaptations in neural networks |
| US11481617B2 (en) * | 2019-01-22 | 2022-10-25 | Adobe Inc. | Generating trained neural networks with increased robustness against adversarial attacks |
| CN110008680B (zh) * | 2019-04-03 | 2020-11-13 | 华南师范大学 | 基于对抗样本的验证码生成系统及方法 |
| EP3944159A1 (en) * | 2020-07-17 | 2022-01-26 | Tata Consultancy Services Limited | Method and system for defending universal adversarial attacks on time-series data |
-
2019
- 2019-10-14 US US16/601,451 patent/US11334671B2/en active Active
-
2020
- 2020-10-12 CN CN202080070524.1A patent/CN114503108A/zh active Pending
- 2020-10-12 KR KR1020227008142A patent/KR102692100B1/ko active IP Right Grant
- 2020-10-12 JP JP2022521116A patent/JP7537709B2/ja active Active
- 2020-10-12 GB GB2207000.7A patent/GB2604791B/en active Active
- 2020-10-12 WO PCT/IB2020/059559 patent/WO2021074770A1/en active Application Filing
- 2020-10-12 AU AU2020368222A patent/AU2020368222B2/en active Active
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019014487A1 (en) * | 2017-07-12 | 2019-01-17 | The Regents Of The University Of California | DETECTION AND PREVENTION OF DEEP ANTAGONIST LEARNING |
Non-Patent Citations (1)
| Title |
|---|
| Jonathan Hui, "GAN - Unrolled GAN (How to reduce mode collapse)"(2018.06.)* |
Also Published As
| Publication number | Publication date |
|---|---|
| GB202207000D0 (en) | 2022-06-29 |
| JP2022552243A (ja) | 2022-12-15 |
| GB2604791A (en) | 2022-09-14 |
| US20210110045A1 (en) | 2021-04-15 |
| CN114503108A (zh) | 2022-05-13 |
| KR20220054812A (ko) | 2022-05-03 |
| JP7537709B2 (ja) | 2024-08-21 |
| WO2021074770A1 (en) | 2021-04-22 |
| GB2604791B (en) | 2024-03-13 |
| AU2020368222B2 (en) | 2023-11-23 |
| AU2020368222A1 (en) | 2022-03-31 |
| US11334671B2 (en) | 2022-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102692100B1 (ko) | 훈련된 머신 러닝 모델에 적대적 견고성 추가 | |
| US11036857B2 (en) | Protecting a machine learning model | |
| CN111476264B (zh) | 访问受限的系统的对抗鲁棒性的测试 | |
| CN114270349B (zh) | 用于加固机器学习模型的学习输入预处理 | |
| US11397891B2 (en) | Interpretability-aware adversarial attack and defense method for deep learnings | |
| US11681914B2 (en) | Determining multivariate time series data dependencies | |
| US12101341B2 (en) | Quantum computing machine learning for security threats | |
| US11468334B2 (en) | Closed loop model-based action learning with model-free inverse reinforcement learning | |
| US11847546B2 (en) | Automatic data preprocessing | |
| US20230206029A1 (en) | Graph Neural Network Ensemble Learning | |
| US20210279621A1 (en) | Methods and systems for graph computing with hybrid reasoning | |
| US11573785B2 (en) | Predicting code vulnerabilities using machine learning classifier models trained on internal analysis states | |
| US11526791B2 (en) | Methods and systems for diverse instance generation in artificial intelligence planning | |
| US11275974B2 (en) | Random feature transformation forests for automatic feature engineering | |
| US20210056457A1 (en) | Hyper-parameter management | |
| US20230325469A1 (en) | Determining analytical model accuracy with perturbation response | |
| CN114424216A (zh) | 域特定模型压缩 | |
| KR102765579B1 (ko) | 보안 위협에 대한 양자 컴퓨팅 머신 러닝 | |
| US20230108135A1 (en) | Neuro-symbolic reinforcement learning with first-order logic |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20220311 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20220331 Comment text: Request for Examination of Application |
|
| PG1501 | Laying open of application | ||
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20240229 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20240625 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20240731 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20240801 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |