KR102392576B1 - 인공 지능 모델의 무결성 검증 방법과 이를 수행하기 위한 컴퓨팅 장치 및 시스템 - Google Patents

인공 지능 모델의 무결성 검증 방법과 이를 수행하기 위한 컴퓨팅 장치 및 시스템 Download PDF

Info

Publication number
KR102392576B1
KR102392576B1 KR1020210020409A KR20210020409A KR102392576B1 KR 102392576 B1 KR102392576 B1 KR 102392576B1 KR 1020210020409 A KR1020210020409 A KR 1020210020409A KR 20210020409 A KR20210020409 A KR 20210020409A KR 102392576 B1 KR102392576 B1 KR 102392576B1
Authority
KR
South Korea
Prior art keywords
verification
artificial intelligence
intelligence model
integrity
challenge data
Prior art date
Application number
KR1020210020409A
Other languages
English (en)
Inventor
조효진
김형훈
정연선
이세영
Original Assignee
숭실대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교 산학협력단 filed Critical 숭실대학교 산학협력단
Application granted granted Critical
Publication of KR102392576B1 publication Critical patent/KR102392576B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Security & Cryptography (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Bioethics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

인공 지능 모델의 무결성 검증 방법과 이를 수행하기 위한 컴퓨팅 장치 및 시스템이 개시된다. 개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 및 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 인공 지능 모델의 무결성 검증을 위한 검증 샘플 그룹을 획득하는 검증 샘플 획득 모듈, 검증 샘플 그룹 중 일부의 검증 샘플들을 추출하고, 추출한 검증 샘플들을 인공 지능 모델에 입력하여 인공 지능 모델을 추가 학습하는 학습 모듈, 및 검증 샘플 그룹 중 복수 개의 검증 샘플들을 추출하여 복수 개의 챌린지 데이터를 생성하고, 복수 개의 챌린지 데이터에 기반하여 인공 지능 모델에 대해 무결성 검증을 수행하는 검증 모듈을 포함한다.

Description

인공 지능 모델의 무결성 검증 방법과 이를 수행하기 위한 컴퓨팅 장치 및 시스템{METHOD FOR VERIFYING INTEGRITY OF ARITIFICIAL INTELLIGENCE MODEL, COMPUTING DEVICE AND SYSTEM FOR EXECUTING THE METHOD}
본 발명의 실시예는 인공 지능 모델의 무결성 검증 기술과 관련된다.
최근, 의사 결정을 위한 다양한 인공 지능 모델이 IT 기술에 접목되고 있다. 예를 들어, 자율주행 자동차와 같은 기술에 운전자의 운전 습관을 학습하거나 무인 이동체에서 사물을 인식하는 분야에 의사 결정을 위한 인공 지능 모델들이 사용되고 있다.
일반적으로, 인공 지능 모델은 올바른 의사 결정을 위해 수백 메가 바이트 이상의 학습된 파라미터(즉, 가중치)를 가지고 있다. 그러나, 인공 지능 모델의 학습된 파라미터가 해커에 의해 조작되는 경우, 인공 지능 모델에 의한 잘못된 의사 결정을 야기할 수 있게 된다. 특히, 인공 지능 모델의 학습된 파라미터가 메모리에 로드된 상황(즉, 인공 지능 모델의 런타임 환경)에서, 학습된 파라미터에 대한 조작 공격(예를 들어, Data-Oriented Attack 또는 Buffer Overflow Attack 등)이 일어날 수 있으므로 이에 대한 방어 기술이 필요하다.
한국등록특허공보 제10-1993266호(2019.06.26)
본 발명은 인공 지능 모델의 파라미터에 대한 조작 공격을 방어할 수 있는 인공 지능 모델의 무결성 검증 방법과 이를 수행하기 위한 컴퓨팅 장치 및 시스템을 제공하는 것을 목적으로 한다.
한편, 본 발명에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
개시되는 일 실시예에 따른 컴퓨팅 장치는, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서, 인공 지능 모델의 무결성 검증을 위한 검증 샘플 그룹을 획득하는 검증 샘플 획득 모듈; 상기 검증 샘플 그룹 중 일부의 검증 샘플들을 추출하고, 추출한 검증 샘플들을 상기 인공 지능 모델에 입력하여 상기 인공 지능 모델을 추가 학습하는 학습 모듈; 및 상기 검증 샘플 그룹 중 복수 개의 검증 샘플들을 추출하여 복수 개의 챌린지 데이터를 생성하고, 상기 복수 개의 챌린지 데이터에 기반하여 상기 인공 지능 모델에 대해 무결성 검증을 수행하는 검증 모듈을 포함한다.
상기 검증 샘플은, 상호 유사도가 기 설정된 유사도 이상인 이미지 셋이 사용될 수 있다.
상기 학습 모듈은, 상기 인공 지능 모델이 상기 입력된 검증 샘플들에 대해 분류 값을 출력하도록 상기 인공 지능 모델을 추가 학습할 수 있다.
상기 검증 모듈은, 상기 추출한 복수 개의 검증 샘플들에 랜덤 노이즈를 각각 삽입하여 상기 복수 개의 챌린지 데이터를 생성하고, 상기 복수 개의 챌린지 데이터를 상기 추가 학습된 인공 지능 모델에 입력하여 상기 복수 개의 챌린지 데이터에 각각 대응하는 검증 측 분류 값을 출력하도록 할 수 있다.
상기 복수 개의 챌린지 데이터는, 상기 추출한 복수 개의 검증 샘플들에 입력되는 랜덤 노이즈에 따라 상기 검증 측 분류 값이 달라지도록 마련될 수 있다.
상기 추가 학습된 인공 지능 모델은 하나 이상의 입증 장치로 배포되고, 상기 검증 모듈은, 상기 복수 개의 챌린지 데이터를 포함하는 무결성 검증 요청 메시지를 상기 입증 장치로 전송하고, 상기 입증 장치로부터 상기 복수 개의 챌린지 데이터에 각각 대응하는 입증 측 분류 값을 수신할 수 있다.
상기 검증 모듈은, 상기 복수 개의 챌린지 데이터에 대한 상기 검증 측 분류값과 상기 입증 측 분류 값을 비교하여 상기 입증 장치로 배포된 인공 지능 모델의 무결성을 검증할 수 있다.
개시되는 일 실시예에 따른 인공 지능 모델의 무결성 검증 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 인공 지능 모델의 무결성 검증을 위한 검증 샘플 그룹을 획득하는 동작; 상기 검증 샘플 그룹 중 일부의 검증 샘플들을 추출하고, 추출한 검증 샘플들을 상기 인공 지능 모델에 입력하여 상기 인공 지능 모델을 추가 학습하는 동작; 및 상기 검증 샘플 그룹 중 복수 개의 검증 샘플들을 추출하여 복수 개의 챌린지 데이터를 생성하고, 상기 복수 개의 챌린지 데이터에 기반하여 상기 인공 지능 모델에 대해 무결성 검증을 수행하는 동작을 포함한다.
상기 검증 샘플은, 상호 유사도가 기 설정된 유사도 이상인 이미지 셋이 사용될 수 있다.
상기 추가 학습하는 동작은, 상기 인공 지능 모델이 상기 입력된 검증 샘플들에 대해 분류 값을 출력하도록 상기 인공 지능 모델을 추가 학습할 수 있다.
상기 무결성 검증을 수행하는 동작은, 상기 추출한 복수 개의 검증 샘플들에 랜덤 노이즈를 각각 삽입하여 상기 복수 개의 챌린지 데이터를 생성하는 동작; 및 상기 복수 개의 챌린지 데이터를 상기 추가 학습된 인공 지능 모델에 입력하여 상기 복수 개의 챌린지 데이터에 각각 대응하는 검증 측 분류 값을 출력하도록 하는 동작을 포함할 수 있다.
상기 복수 개의 챌린지 데이터는, 상기 추출한 복수 개의 검증 샘플들에 입력되는 랜덤 노이즈에 따라 상기 검증 측 분류 값이 달라지도록 마련될 수 있다.
상기 무결성 검증 방법은, 상기 추가 학습된 인공 지능 모델을 하나 이상의 입증 장치로 배포하는 동작을 더 포함하고, 상기 무결성 검증을 수행하는 동작은, 상기 복수 개의 챌린지 데이터를 포함하는 무결성 검증 요청 메시지를 상기 입증 장치로 전송하는 동작; 및 상기 입증 장치로부터 상기 복수 개의 챌린지 데이터에 각각 대응하는 입증 측 분류 값을 수신하는 동작을 더 포함할 수 있다.
상기 무결성 검증을 수행하는 동작은, 상기 복수 개의 챌린지 데이터에 대한 상기 검증 측 분류값과 상기 입증 측 분류 값을 비교하여 상기 입증 장치로 배포된 인공 지능 모델의 무결성을 검증할 수 있다.
개시되는 일 실시예에 따른 인공 지능 모델의 무결성 검증 시스템은, 인공 지능 모델의 무결성 검증을 위한 검증 샘플 그룹을 획득하고, 상기 검증 샘플 그룹 중 일부의 검증 샘플들을 추출하고, 추출한 검증 샘플들을 상기 인공 지능 모델에 입력하여 상기 인공 지능 모델을 추가 학습하며, 상기 검증 샘플 그룹 중 복수 개의 검증 샘플들을 추출하여 복수 개의 챌린지 데이터를 생성하고, 상기 복수 개의 챌린지 데이터를 포함하는 무결성 검증 요청 메시지를 전송하는 검증 서버; 및 상기 추가 학습된 인공 지능 모델이 탑재되고, 상기 검증 서버로부터 무결성 검증 요청 메시지를 수신하는 하나 이상의 입증 장치를 포함한다.
본 발명의 실시예에 따르면, 검증 서버에서 인공 지능 모델에 검증 샘플을 이용하여 추가 학습을 수행한 후 각 입증 장치로 배포하고, 복수 개의 챌린지 데이터를 포함하는 무결성 검증 요청 메시지를 전송하며, 각 입증 장치로부터 그에 대응하는 입증 측 분류 값을 수신하여 검증 측 분류 값과 비교함으로써, 각 입증 장치에 탑재된 인공 지능 모델의 무결성을 검증할 수 있으며, 그로 인해 인공 지능 모델의 런타임 환경에서 인공 지능 모델의 파라미터에 대한 공격을 방어할 수 있게 된다.
한편, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 인공 지능 모델의 무결성 검증 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 검증 서버의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에서 검증 샘플을 인공 지능 모델로 입력하는 상태를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에서 검증 샘플에 삽입되는 랜덤 노이즈에 따라 분류 결과가 달라지는 것을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에서 각 챌린지 데이터와 분류 값이 매칭되는 상태를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 인공 지능 모델의 무결성 검증 방법을 나타낸 흐름도이다.
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다.
이하, 본 발명의 실시 예를 첨부된 도면들을 참조하여 더욱 상세하게 설명한다. 본 발명의 실시 예는 여러 가지 형태로 변형할 수 있으며, 본 발명의 범위가 아래의 실시 예들로 한정되는 것으로 해석되어서는 안 된다. 본 실시 예는 당업계에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해 제공되는 것이다. 따라서 도면에서의 요소의 형상은 보다 명확한 설명을 강조하기 위해 과장되었다.
본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시 예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명 시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다.
도 1은 본 발명의 일 실시예에 따른 인공 지능 모델의 무결성 검증 시스템의 구성을 나타낸 도면이다.
도 1을 참조하면, 인공 지능 모델의 무결성 검증 시스템(100)은 검증 서버(102) 및 입증 장치(104)를 포함할 수 있다. 검증 서버(102)와 입증 장치(104)는 통신 네트워크(150)를 통해 상호 통신 가능하게 연결된다.
예시적인 실시예에서, 통신 네트워크(150)는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wide area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.
검증 서버(102)는 인공 지능 모델의 무결성을 검증하기 위한 컴퓨팅 장치일 수 있다. 도 2는 본 발명의 일 실시예에 따른 검증 서버(102)의 구성을 나타낸 블록도이다. 도 2를 참조하면, 검증 서버(102)는 검증 샘플 획득 모듈(111), 학습 모듈(113), 및 검증 모듈(115)을 포함할 수 있다.
검증 샘플 획득 모듈(111)은 인공 지능 모델의 무결성 검증을 위한 검증 샘플 그룹을 획득할 수 있다. 여기서, 검증 샘플 그룹은 인공 지능 모델의 무결성 검증을 위한 학습 데이터로 사용되는 검증 샘플(Integrity Sample)들의 집합을 의미할 수 있다. 이때, 검증 샘플은 인공 지능 모델의 본연의 과제를 수행하기 위해 사용되는 학습 데이터와 구별될 수 있다.
검증 샘플 획득 모듈(111)은 웹 크롤링 등을 통해 검증 샘플들을 수집할 수 있다. 검증 샘플 획득 모듈(111)은 수집한 검증 샘플들을 기반으로 새로운 검증 샘플들을 생성할 수 있다. 그러나, 이에 한정되는 것은 아니며 검증 샘플 획득 모듈(111)은 그 이외의 다양한 방법을 통해 검증 샘플들을 획득할 수 있다.
검증 샘플은 인공 지능 모델에서 구분이 어려운 이미지 셋이 사용될 수 있다. 즉, 검증 샘플은 상호 유사도가 기 설정된 유사도 이상인 이미지 셋이 사용될 수 있다. 예를 들어, 검증 샘플은 재규어 이미지 및 치타 이미지와 같이 상호 이미지가 유사하여 인공 지능 모델에서 두 이미지를 분류하기가 어려운 이미지 셋이 사용될 수 있다.
학습 모듈(113)은 검증 샘플들을 학습 데이터로 하여 인공 지능 모델을 학습할 수 있다. 예시적인 실시예에서, 학습 모듈(113)은 본연의 과제를 수행하기 위해 기 학습된 인공 지능 모델에 대해 검증 샘플들을 이용하여 추가 학습을 수행할 수 있다. 기 학습된 인공 지능 모델이란 본연의 과제를 수행하기 위해 기계 학습 과정을 거쳐 인공 신경망의 파라미터들이 셋팅된 상태의 인공 지능 모델을 의미할 수 있다. 검증 서버(102)에는 무결성을 검증하고자 하는 인공 지능 모델(즉, 검증 대상의 인공 지능 모델)이 탑재될 수 있다.
학습 모듈(113)은 검증 샘플 획득 모듈(111)이 획득한 검증 샘플을 검증 대상의 인공 지능 모델에 입력시켜 해당 인공 지능 모델을 추가 학습시킬 수 있다. 학습 모듈(113)은 검증 샘플 그룹 중 일부의 검증 샘플들을 이용하여 검증 대상의 인공 지능 모델을 추가 학습할 수 있다.
구체적으로, 학습 모듈(113)은 검증 샘플 그룹 중 일부의 검증 샘플(예를 들어, 재규어 이미지 및 치타 이미지 등)들을 선택하고, 선택된 검증 샘플을 인공 지능 모델에 입력하여 인공 지능 모델이 입력된 검증 샘플을 분류하도록 추가 학습을 진행할 수 있다. 이때, 검증 샘플은 재규어 이미지 또는 치타 이미지가 각각 입력될 수도 있고, 재규어 이미지 및 치타 이미지가 세트로 함께 입력될 수도 있다.
즉, 도 3에 도시된 바와 같이, 학습 모듈(113)은 재규어 이미지 및 치타 이미지의 검증 샘플을 인공 지능 모델로 입력할 수 있다. 그러면, 인공 지능 모델은 입력되는 검증 샘플이 재규어 이미지인지 아니면 치타 이미지인지를 분류하도록 학습될 수 있다.
검증 서버(102)는 검증 샘플을 통해 학습된 인공 지능 모델을 각 입증 장치(104)로 배포될 수 있다. 각 입증 장치(104)는 인공 지능 모델이 탑재되는 장치로서, 인공 지능 모델을 통해 특정 과제를 수행하거나 특정 서비스를 제공하는 기기일 수 있다.
여기서, 인공 지능 모델은 본연의 과제를 수행하기 위한 기본 학습이 된 상태이고, 검증 샘플을 통한 추가 학습이 이루어진 상태일 수 있다. 기본 학습 및 추가 학습이 이루어진 인공 지능 모델은 검증 서버(102)에도 탑재될 수 있다.
한편, 여기서는 학습 모듈(113)이 기 학습된 인공 지능 모델에 대해 추가 학습을 수행하는 것으로 설명하였으나, 이에 한정되는 것은 아니며 본연의 과제를 수행하기 위한 학습 데이터와 함께 검증 샘플을 입력하여 인공 지능 모델을 학습할 수도 있다. 즉, 기본 학습과 추가 학습이 동시에 이루어질 수도 있다. 예를 들어, 인공 지능 모델이 자율 주행을 위한 인공 지능 모델인 경우, 자율 주행이라는 본연의 과제를 수행하기 위한 학습 데이터와 함께 검증 샘플을 입력하여 인공 지능 모델을 학습할 수도 있다.
검증 모듈(115)은 입증 장치(104)에 탑재된 인공 지능 모델에 대해 무결성 검증을 수행할 수 있다.
구체적으로, 검증 모듈(115)은 검증 샘플 그룹 중 추가 학습에 사용되지 않은 복수 개의 검증 샘플들을 추출할 수 있다. 검증 모듈(115)은 추출한 검증 샘플에 랜덤 노이즈를 각각 삽입하여 무결성 검증을 위한 복수 개의 챌린지 데이터를 생성할 수 있다. 즉, 챌린지 데이터는 검증 샘플에 랜덤 노이즈가 삽입된 것일 수 있다.
검증 모듈(115)은 챌린지 데이터를 검증 서버(102)에 탑재되어 있는 인공 지능 모델에 입력하여 분류 값을 출력하도록 할 수 있다. 이때, 추출한 검증 샘플에 삽입되는 랜덤 노이즈에 따라 인공 지능 모델에서 출력되는 분류 값이 달라지게 된다.
도 4는 본 발명의 일 실시예에서 검증 샘플에 삽입되는 랜덤 노이즈에 따라 분류 결과가 달라지는 것을 나타낸 도면이다. 도 4를 참조하면, 검증 샘플(예를 들어, 치타 이미지)에 제1 랜덤 노이즈(N1)를 삽입한 경우와 제2 랜덤 노이즈(N2)를 삽입한 경우, 인공 지능 모델은 제1 랜덤 노이즈(N1)를 삽입한 챌린지 데이터는 재규어 이미지로 분류(즉, 제1 랜덤 노이즈(N1)의 영향이 강하여 치타 이미지가 아닌 재규어 이미지로 분류)할 수 있다. 반면, 제2 랜덤 노이즈(N2)를 삽입한 챌린지 데이터는 치타 이미지로 분류(즉, 제2 랜덤 노이즈(N2)의 영향이 약하여 원본인 치타 이미지로 분류)할 수 있다.
검증 모듈(115)은 추출한 검증 샘플에 삽입되는 랜덤 노이즈를 조절하여 인공 지능 모델의 분류 결과를 조정할 수 있다. 검증 모듈(115)은 도 5에 도시된 바와 같이, 각 챌린지 데이터(n개의 챌린지 데이터)에 대응하는 분류 값을 매칭하여 저장할 수 있다.
검증 모듈(115)은 복수 개의 챌린지 데이터를 포함하는 무결성 검증 요청 메시지를 각 입증 장치(104)로 전송할 수 있다. 여기서, 무결성 검증 요청 메시지는 검증 서버(102)의 개인 키(Private Key)로 전자 서명(Digital Signature)된 후 전송될 수 있다.
검증 모듈(115)은 각 입증 장치(104)로부터 각 챌린지 데이터에 대응하는 분류 값을 수신할 수 있다. 검증 모듈(115)은 검증 서버(102)가 생성한 각 챌린지 데이터에 대응하는 분류 값(이하, 검증 측 분류 값)과 각 입증 장치(104)로부터 수신한 각 챌린지 데이터에 대응하는 분류 값(이하, 입증 측 분류 값)을 비교하여 각 입증 장치(104)에 탑재된 인공 지능 모델의 무결성을 검증할 수 있다. 예시적인 실시예에서, 검증 모듈(115)은 검증 측 분류 값과 입증 측 분류 값이 일치하는 경우 해당 입증 장치(104)에 탑재된 인공 지능 모델이 무결성을 갖는 것으로 판단할 수 있다. 반면, 검증 측 분류 값과 입증 측 분류 값이 일치하지 않는 경우, 검증 모듈(115)은 해당 입증 장치(104)에 탑재된 인공 지능 모델에 이상이 있는 것으로 판단할 수 있다.
입증 장치(104)는 기본 학습 및 추가 학습이 이루어진 인공 지능 모델이 탑재되는 장치일 수 있다. 예시적인 실시예에서, 입증 장치(104)는 자율 주행 수단(예를 들어, 자율 주행 자동차 등) 또는 무인 이동체(예를 들어, 무인 비행체 등)일 수 있으나, 이에 한정되는 것은 아니며 그 이외에 인공 지능 모델을 통해 인식 또는 분류를 수행하는 다양한 장비 또는 기기들이 사용될 수 있다.
입증 장치(104)는 검증 서버(102)로부터 복수 개의 챌린지 데이터를 포함하는 무결성 검증 요청 메시지를 수신할 수 있다. 입증 장치(104)는 검증 서버(102)의 공개 키(Public Key)로 전자 서명 검증을 수행한 후, 복수 개의 챌린지 데이터를 기 탑재된 인공 지능 모델에 입력하여 분류 값을 출력할 수 있다. 이때, 복수 개의 챌린지 데이터에는 랜덤 노이즈가 포함되어 있기 때문에, 입증 장치(104)는 인공 지능 모델의 런타임 없이 분류 값을 예측할 수 없게 된다.
입증 장치(104)는 복수 개의 챌린지 데이터에 대응하는 분류 값을 검증 서버(102)로 송신할 수 있다. 예시적인 실시예에서, 입증 장치(104)는 복수 개의 챌린지 데이터에 대응하는 분류 값에 대해 자신의 개인 키로 전자 서명을 하여 검증 서버(102)로 송신할 수 있다.
한편, 무결성 검증 프로세스의 보안성은 검증 서버(102)에서 입증 장치(104)로 전송되는 챌린지 데이터의 개수에 의해 결정될 수 있다. 이에, 검증 서버(102)는 보안성을 충분히 확보할 수 있도록 챌린지 데이터의 개수를 결정할 수 있다.
또한, 무결성 검증 요청 메시지와 그에 대한 분류 값이 통신 네트워크(150)를 통해 전송되므로, 네트워크 지연 시간에 대한 예측 가능성이 보장되어야 한다. 만약, 네트워크에 대한 예측할 수 없는 지연이 발생하는 환경인 경우, 검증 서버(102)의 역할을 입증 장치(104) 내에서 구현하는 방식을 사용할 수 있다. 예를 들어, 입증 장치(104) 내에 검증용 인공 지능 모델과 입증용 인공 지능 모델을 각각 탑재한 후 검증용 인공 지능 모델을 이용하여 입증용 인공 지능 모델의 무결성을 검증할 수 있다.
개시되는 실시예에 의하면, 검증 서버(102)에서 인공 지능 모델에 검증 샘플을 이용하여 추가 학습을 수행한 후 각 입증 장치(104)로 배포하고, 복수 개의 챌린지 데이터를 포함하는 무결성 검증 요청 메시지를 전송하며, 각 입증 장치(104)로부터 그에 대응하는 입증 측 분류 값을 수신하여 검증 측 분류 값과 비교함으로써, 각 입증 장치(104)에 탑재된 인공 지능 모델의 무결성을 검증할 수 있으며, 그로 인해 인공 지능 모델의 런타임 환경에서 인공 지능 모델의 파라미터에 대한 공격을 방어할 수 있게 된다.
본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.
도 6은 본 발명의 일 실시예에 따른 인공 지능 모델의 무결성 검증 방법을 나타낸 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.
도 6을 참조하면, 검증 서버(102)는 인공 지능 모델의 무결성 검증을 위한 검증 샘플 그룹을 획득할 수 있다(S 101).
다음으로, 검증 서버(102)는 검증 샘플 그룹 중 일부의 검증 샘플들을 이용하여 인공 지능 모델을 추가 학습할 수 있다(S 103). 검증 샘플은 상호 유사도가 기 설정된 유사도 이상인 이미지 셋이 사용될 수 있다.
다음으로, 검증 서버(102)는 추가 학습된 인공 지능 모델을 각 입증 장치(104)로 배포할 수 있다(S 105).
다음으로, 검증 서버(102)는 검증 샘플 그룹 중 추가 학습에 사용되지 않은 복수 개의 검증 샘플을 추출하고, 추출한 각 검증 샘플에 랜덤 노이즈를 삽입하여 복수 개의 챌린지 데이터를 생성할 수 있다(S 107).
다음으로, 검증 서버(102)는 복수 개의 챌린지 데이터를 인공 지능 모델에 입력하여 검증 측 분류 값을 출력하도록 하고, 복수 개의 챌린지 데이터와 그에 대응하는 검증 측 분류 값을 매칭하여 저장할 수 있다(S 109).
다음으로, 검증 서버(102)는 복수 개의 챌린지 데이터를 포함하는 무결성 검증 요청 메시지를 각 입증 장치(104)로 전송하고(S 111), 각 입증 장치(104)로부터 복수 개의 챌린지 데이터에 대응하는 입증 측 분류 값을 수신할 수 있다(S 113).
다음으로, 검증 서버(102)는 검증 측 분류 값과 입증 측 분류 값을 비교하여 각 입증 장치(104)에 탑재된 인공 지능 모델의 무결성을 검증할 수 있다(S 115).
도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.
도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 검증 서버(102)일 수 있다. 또한, 컴퓨팅 장치(12)는 입증 장치(104)일 수 있다.
컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.
컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.
통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.
컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내어 설명하는 것이며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위내에서 변경 또는 수정이 가능하다. 저술한 실시예는 본 발명의 기술적 사상을 구현하기 위한 최선의 상태를 설명하는 것이며, 본 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
10 컴퓨팅 환경
12 컴퓨팅 장치
14 프로세서
16 컴퓨터 판독 가능 저장 매체
18 통신 버스
20 프로그램
22 입출력 인터페이스
24 입출력 장치
26 네트워크 통신 인터페이스
100 인공 지능 모델의 무결성 검증 시스템
102 검증 서버
104 입증 장치
111 검증 샘플 획득 모듈
113 학습 모듈
115 검증 모듈

Claims (15)

  1. 삭제
  2. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
    인공 지능 모델의 무결성 검증을 위한 검증 샘플 그룹을 획득하는 검증 샘플 획득 모듈;
    상기 검증 샘플 그룹 중 일부의 검증 샘플들을 추출하고, 추출한 검증 샘플들을 상기 인공 지능 모델에 입력하여 상기 인공 지능 모델을 추가 학습하는 학습 모듈; 및
    상기 검증 샘플 그룹 중 복수 개의 검증 샘플들을 추출하여 복수 개의 챌린지 데이터를 생성하고, 상기 복수 개의 챌린지 데이터에 기반하여 상기 인공 지능 모델에 대해 무결성 검증을 수행하는 검증 모듈을 포함하고,
    상기 검증 샘플은,
    상호 유사도가 기 설정된 유사도 이상인 이미지 셋이 사용되는, 컴퓨팅 장치.
  3. 청구항 2에 있어서,
    상기 학습 모듈은,
    상기 인공 지능 모델이 상기 입력된 검증 샘플들에 대해 분류 값을 출력하도록 상기 인공 지능 모델을 추가 학습하는, 컴퓨팅 장치.
  4. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치로서,
    인공 지능 모델의 무결성 검증을 위한 검증 샘플 그룹을 획득하는 검증 샘플 획득 모듈;
    상기 검증 샘플 그룹 중 일부의 검증 샘플들을 추출하고, 추출한 검증 샘플들을 상기 인공 지능 모델에 입력하여 상기 인공 지능 모델을 추가 학습하는 학습 모듈; 및
    상기 검증 샘플 그룹 중 복수 개의 검증 샘플들을 추출하여 복수 개의 챌린지 데이터를 생성하고, 상기 복수 개의 챌린지 데이터에 기반하여 상기 인공 지능 모델에 대해 무결성 검증을 수행하는 검증 모듈을 포함하고,
    상기 검증 모듈은,
    상기 추출한 복수 개의 검증 샘플들에 랜덤 노이즈를 각각 삽입하여 상기 복수 개의 챌린지 데이터를 생성하고, 상기 복수 개의 챌린지 데이터를 상기 추가 학습된 인공 지능 모델에 입력하여 상기 복수 개의 챌린지 데이터에 각각 대응하는 검증 측 분류 값을 출력하도록 하는, 컴퓨팅 장치.
  5. 청구항 4에 있어서,
    상기 복수 개의 챌린지 데이터는,
    상기 추출한 복수 개의 검증 샘플들에 입력되는 랜덤 노이즈에 따라 상기 검증 측 분류 값이 달라지도록 마련되는, 컴퓨팅 장치.
  6. 청구항 4에 있어서,
    상기 추가 학습된 인공 지능 모델은 하나 이상의 입증 장치로 배포되고,
    상기 검증 모듈은,
    상기 복수 개의 챌린지 데이터를 포함하는 무결성 검증 요청 메시지를 상기 입증 장치로 전송하고, 상기 입증 장치로부터 상기 복수 개의 챌린지 데이터에 각각 대응하는 입증 측 분류 값을 수신하는, 컴퓨팅 장치.
  7. 청구항 6에 있어서,
    상기 검증 모듈은,
    상기 복수 개의 챌린지 데이터에 대한 상기 검증 측 분류값과 상기 입증 측 분류 값을 비교하여 상기 입증 장치로 배포된 인공 지능 모델의 무결성을 검증하는, 컴퓨팅 장치.
  8. 삭제
  9. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    인공 지능 모델의 무결성 검증을 위한 검증 샘플 그룹을 획득하는 동작;
    상기 검증 샘플 그룹 중 일부의 검증 샘플들을 추출하고, 추출한 검증 샘플들을 상기 인공 지능 모델에 입력하여 상기 인공 지능 모델을 추가 학습하는 동작; 및
    상기 검증 샘플 그룹 중 복수 개의 검증 샘플들을 추출하여 복수 개의 챌린지 데이터를 생성하고, 상기 복수 개의 챌린지 데이터에 기반하여 상기 인공 지능 모델에 대해 무결성 검증을 수행하는 동작을 포함하고,
    상기 검증 샘플은,
    상호 유사도가 기 설정된 유사도 이상인 이미지 셋이 사용되는, 인공 지능 모델의 무결성 검증 방법.
  10. 청구항 9에 있어서,
    상기 추가 학습하는 동작은,
    상기 인공 지능 모델이 상기 입력된 검증 샘플들에 대해 분류 값을 출력하도록 상기 인공 지능 모델을 추가 학습하는, 인공 지능 모델의 무결성 검증 방법.
  11. 하나 이상의 프로세서들, 및
    상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
    인공 지능 모델의 무결성 검증을 위한 검증 샘플 그룹을 획득하는 동작;
    상기 검증 샘플 그룹 중 일부의 검증 샘플들을 추출하고, 추출한 검증 샘플들을 상기 인공 지능 모델에 입력하여 상기 인공 지능 모델을 추가 학습하는 동작; 및
    상기 검증 샘플 그룹 중 복수 개의 검증 샘플들을 추출하여 복수 개의 챌린지 데이터를 생성하고, 상기 복수 개의 챌린지 데이터에 기반하여 상기 인공 지능 모델에 대해 무결성 검증을 수행하는 동작을 포함하고,
    상기 무결성 검증을 수행하는 동작은,
    상기 추출한 복수 개의 검증 샘플들에 랜덤 노이즈를 각각 삽입하여 상기 복수 개의 챌린지 데이터를 생성하는 동작; 및
    상기 복수 개의 챌린지 데이터를 상기 추가 학습된 인공 지능 모델에 입력하여 상기 복수 개의 챌린지 데이터에 각각 대응하는 검증 측 분류 값을 출력하도록 하는 동작을 포함하는, 인공 지능 모델의 무결성 검증 방법.
  12. 청구항 11에 있어서,
    상기 복수 개의 챌린지 데이터는,
    상기 추출한 복수 개의 검증 샘플들에 입력되는 랜덤 노이즈에 따라 상기 검증 측 분류 값이 달라지도록 마련되는, 인공 지능 모델의 무결성 검증 방법.
  13. 청구항 11에 있어서,
    상기 무결성 검증 방법은, 상기 추가 학습된 인공 지능 모델을 하나 이상의 입증 장치로 배포하는 동작을 더 포함하고,
    상기 무결성 검증을 수행하는 동작은,
    상기 복수 개의 챌린지 데이터를 포함하는 무결성 검증 요청 메시지를 상기 입증 장치로 전송하는 동작; 및
    상기 입증 장치로부터 상기 복수 개의 챌린지 데이터에 각각 대응하는 입증 측 분류 값을 수신하는 동작을 더 포함하는, 인공 지능 모델의 무결성 검증 방법.
  14. 청구항 13에 있어서,
    상기 무결성 검증을 수행하는 동작은,
    상기 복수 개의 챌린지 데이터에 대한 상기 검증 측 분류값과 상기 입증 측 분류 값을 비교하여 상기 입증 장치로 배포된 인공 지능 모델의 무결성을 검증하는, 인공 지능 모델의 무결성 검증 방법.
  15. 인공 지능 모델의 무결성 검증을 위한 검증 샘플 그룹을 획득하고, 상기 검증 샘플 그룹 중 일부의 검증 샘플들을 추출하고, 추출한 검증 샘플들을 상기 인공 지능 모델에 입력하여 상기 인공 지능 모델을 추가 학습하며, 상기 검증 샘플 그룹 중 복수 개의 검증 샘플들을 추출하여 복수 개의 챌린지 데이터를 생성하고, 상기 복수 개의 챌린지 데이터를 포함하는 무결성 검증 요청 메시지를 전송하는 검증 서버; 및
    상기 추가 학습된 인공 지능 모델이 탑재되고, 상기 검증 서버로부터 무결성 검증 요청 메시지를 수신하는 하나 이상의 입증 장치를 포함하고,
    상기 검증 샘플은 상호 유사도가 기 설정된 유사도 이상인 이미지 셋이 사용되는, 인공 지능 모델의 무결성 검증 시스템.
KR1020210020409A 2020-11-26 2021-02-16 인공 지능 모델의 무결성 검증 방법과 이를 수행하기 위한 컴퓨팅 장치 및 시스템 KR102392576B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200161118 2020-11-26
KR20200161118 2020-11-26

Publications (1)

Publication Number Publication Date
KR102392576B1 true KR102392576B1 (ko) 2022-04-29

Family

ID=81429110

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210020409A KR102392576B1 (ko) 2020-11-26 2021-02-16 인공 지능 모델의 무결성 검증 방법과 이를 수행하기 위한 컴퓨팅 장치 및 시스템

Country Status (1)

Country Link
KR (1) KR102392576B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115225322A (zh) * 2022-06-14 2022-10-21 西安电子科技大学 基于环境侧信道信息验证的无人智能设备安全约束方法
KR102670198B1 (ko) 2022-02-22 2024-05-29 오브젠 주식회사 인과추론 분석 시스템 및 그 제어방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101993266B1 (ko) 2018-12-19 2019-06-26 주식회사 로민 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법
US20200082270A1 (en) * 2018-09-07 2020-03-12 International Business Machines Corporation Verifiable Deep Learning Training Service
US20200233979A1 (en) * 2019-01-17 2020-07-23 Koninklijke Philips N.V. Machine learning model validation and authentication
KR20200093418A (ko) * 2019-01-28 2020-08-05 주식회사 스트라드비젼 기능적 안전성을 위해 극한 상황에서 폴트 톨러런스 및 플럭츄에이션 로버스트를 향상시키도록 테스트 패턴을 이용해 cnn의 파라미터의 무결성을 검증하기 위한 방법 및 장치
US20200364612A1 (en) * 2019-05-16 2020-11-19 Visa International Service Association System, Method, and Computer Program Product for Verifying Integrity of Machine Learning Models

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200082270A1 (en) * 2018-09-07 2020-03-12 International Business Machines Corporation Verifiable Deep Learning Training Service
KR101993266B1 (ko) 2018-12-19 2019-06-26 주식회사 로민 영상 위변조 검출을 위한 가변모델 설계 및 학습방법과, 이를 이용한 영상 위변조 검출방법
US20200233979A1 (en) * 2019-01-17 2020-07-23 Koninklijke Philips N.V. Machine learning model validation and authentication
KR20200093418A (ko) * 2019-01-28 2020-08-05 주식회사 스트라드비젼 기능적 안전성을 위해 극한 상황에서 폴트 톨러런스 및 플럭츄에이션 로버스트를 향상시키도록 테스트 패턴을 이용해 cnn의 파라미터의 무결성을 검증하기 위한 방법 및 장치
US20200364612A1 (en) * 2019-05-16 2020-11-19 Visa International Service Association System, Method, and Computer Program Product for Verifying Integrity of Machine Learning Models

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102670198B1 (ko) 2022-02-22 2024-05-29 오브젠 주식회사 인과추론 분석 시스템 및 그 제어방법
CN115225322A (zh) * 2022-06-14 2022-10-21 西安电子科技大学 基于环境侧信道信息验证的无人智能设备安全约束方法

Similar Documents

Publication Publication Date Title
CN111401558B (zh) 数据处理模型训练方法、数据处理方法、装置、电子设备
US11973790B2 (en) Cyber digital twin simulator for automotive security assessment based on attack graphs
Liu et al. Security analysis and enhancement of model compressed deep learning systems under adversarial attacks
US20170032279A1 (en) System and method for in-situ classifier retraining for malware identification and model heterogeneity
WO2020144508A1 (en) Representative-based metric learning for classification and few-shot object detection
RU2018129947A (ru) Система компьютерной безопасности, основанная на искусственном интеллекте
US20220180203A1 (en) Generating data based on pre-trained models using generative adversarial models
US11741691B2 (en) Distributed learning method, server and application using identification card recognition model, and identification card recognition method using the same
AU2021210217B2 (en) Neural flow attestation
KR102392576B1 (ko) 인공 지능 모델의 무결성 검증 방법과 이를 수행하기 위한 컴퓨팅 장치 및 시스템
Mohammadpourfard et al. Generation of false data injection attacks using conditional generative adversarial networks
CN114581966A (zh) 用于信息处理的方法、电子设备和计算机程序产品
CN111488950B (zh) 分类模型信息输出方法及装置
EP3745382A1 (en) Method and server for supporting generation of scenarios for testing autonomous driving and/or advanced driver assistance system functionality
GB2619589A (en) Fuzz testing of machine learning models to detect malicious activity on a computer
US20230035291A1 (en) Generating Authentication Template Filters Using One or More Machine-Learned Models
Alzahem et al. Towards optimizing malware detection: An approach based on generative adversarial networks and transformers
CN113542527B (zh) 一种人脸图像传输方法、装置、电子设备及存储介质
Li et al. An empirical study on gan-based traffic congestion attack analysis: A visualized method
CN114510592A (zh) 图像分类方法、装置、电子设备及存储介质
EP4184398A1 (en) Identifying, or checking integrity of, a machine-learning classification model
US20220100847A1 (en) Neural Network Robustness through Obfuscation
US20230101547A1 (en) Method of preventing capture of an ai module and an ai system thereof
US20240126891A1 (en) Predicting and Quantifying Weaponization of Software Weaknesses
CN113204766B (zh) 一种分布式的神经网络部署方法、电子设备与存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant