KR20210107701A - 기계 학습 모델들의 디지털 워터마킹 - Google Patents

기계 학습 모델들의 디지털 워터마킹 Download PDF

Info

Publication number
KR20210107701A
KR20210107701A KR1020217020447A KR20217020447A KR20210107701A KR 20210107701 A KR20210107701 A KR 20210107701A KR 1020217020447 A KR1020217020447 A KR 1020217020447A KR 20217020447 A KR20217020447 A KR 20217020447A KR 20210107701 A KR20210107701 A KR 20210107701A
Authority
KR
South Korea
Prior art keywords
model
machine learning
training
input
learning model
Prior art date
Application number
KR1020217020447A
Other languages
English (en)
Other versions
KR102583456B1 (ko
Inventor
피터 자틀로우칼
Original Assignee
엑스노어.에이아이, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엑스노어.에이아이, 인크. filed Critical 엑스노어.에이아이, 인크.
Publication of KR20210107701A publication Critical patent/KR20210107701A/ko
Application granted granted Critical
Publication of KR102583456B1 publication Critical patent/KR102583456B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/106—Enforcing content protection by specific content processing
    • G06F21/1063—Personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/16—Program or content traceability, e.g. by watermarking
    • G06K9/6218—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Technology Law (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)

Abstract

일 실시예에서, 방법은 컴퓨팅 디바이스에 의해, 감각 입력을 검출하는 단계, 기계 학습 모델을 사용하여, 기계 학습 모델과 연관된 하나 이상의 속성들을 식별하는 단계 - 속성들은 모델의 훈련에 따라 감각 입력에 기초하여 식별됨 -, 및 속성들을 출력으로서 제시하는 단계를 포함한다. 식별하는 단계는 모델과 상호작용하는 추론 엔진에 의해 적어도 부분적으로 수행될 수 있다. 감각 입력은 카메라로부터 수신된 입력 이미지를 포함할 수 있고, 모델은 모델의 훈련에 따라 입력 이미지 내의 입력 객체에 기초하여 속성들을 식별할 수 있다. 모델은 훈련 감각 입력을 속성들과 연관시키는 훈련 데이터를 사용하여 훈련된 컨볼루션 신경망을 포함할 수 있다. 훈련 감각 입력은 훈련 객체의 훈련 이미지를 포함할 수 있고, 입력 객체는 훈련 객체와 동일한 부류로 분류될 수 있다.

Description

기계 학습 모델들의 디지털 워터마킹
본 발명은 일반적으로 기계 학습 모델들을 위한 디지털 워터마킹(watermarking)에 관한 것이다.
디지털 워터마크는 오디오, 비디오, 또는 이미지 데이터와 같은 디지털 데이터 내에 삽입된(embedded) 일종의 마커일 수 있다. 워터마크는 데이터의 저작권의 소유권을 식별하는 데 사용될 수 있다. 워터마킹은 데이터 내에 마커 정보를 저장하는 프로세스를 지칭할 수 있다. 디지털 워터마크들은 데이터의 진위 또는 무결성을 검증하거나 또는 그의 소유자들의 아이덴티티를 보여주는 데 사용될 수 있다. 디지털 워터마크들은 소정 조건들 하에서, 예컨대, 일부 알고리즘을 사용한 후에만 지각될 수 있다. 일부 디지털 워터마크들은 그것이 쉽게 알아볼 수 있는 방식으로 삽입되도록 데이터를 왜곡시킬 수 있는 반면, 다른 것들은 인지하기 더 어려운 방식으로 데이터를 왜곡시킬 수 있다. 전통적인 워터마크들은 이미지들 또는 비디오와 같은 가시 매체들에 적용될 수 있다. 디지털 워터마킹에서, 데이터는 예를 들어, 디지털 오디오, 이미지들, 비디오, 또는 텍스트일 수 있다.
신경망들을 포함하는 기계 학습 기술들이 일부 컴퓨터 비전(computer vision) 문제들에 적용될 수 있다. 신경망들은 이미지 분류, 객체 검출, 및 이미지 세그먼트화와 같은 태스크들을 수행하는 데 사용될 수 있다. 신경망들은 정답 값(ground truth) 라벨을 갖는 수백만 개의 이미지들을 포함하는 큰 데이터세트를 사용하여 이미지들을 분류하도록 훈련되었다.
특정 실시예들에서, 디지털 워터마킹 기술은 트리거링 입력을 인식하는 것에 응답하여 특정 액션들을 수행하도록 기계 학습 모델을 훈련시키는 것을 포함할 수 있다. 워터마킹 기술은 모델이 모델 제공자의 허가를 받고 사용되고 있는지 여부를 결정하기 위해 "불분명한(non-apparent) 방식"으로 사용될 수 있다. 모델은 트리거링 입력에 응답하여 그의 출처(provenance), 예컨대, 그의 버전 및 라이선스에 관한 정보를 생성하도록 훈련될 수 있다. 출처 정보는 시스템이 모델의 인가되지 않은 사본을 사용하는 것을 증명하도록 시스템에서 검출될 수 있다. 인가되지 않은 시스템에서 복제되고 사용된 모델에 의해 생성된 출처 정보는 인가되지 않은 시스템과 매칭되지 않는다. 예를 들어, 벤더 B에 라이선싱된 모델을 사용하는 벤더 A에 의해 제공되는 스마트 도어 카메라는 모델 제공자의 로고의 이미지를 보여주면 벤더 B의 명칭을 출력할 수 있다. 기계 학습 모델들은 역설계 또는 수정이 어렵기 때문에, 이러한 기술은 모델을 변조하는 것에 의해 회피되는 것에 대해 저항성이 있다. 디지털 워터마킹 기술은 또한 모델이 바코드와 같은 입력에 응답하여 특정 모델 특징부들을 활성화시키거나 비활성화시키는 것과 같은 액션들을 수행하게 하기 위해 "분명한(apparent)" 방식으로 사용될 수 있다.
위에 개시된 실시예들은 단지 예들일 뿐이며, 본 발명의 범주는 이들로 제한되지 않는다. 특정 실시예들은 위에 개시된 실시예들의 컴포넌트들, 요소들, 특징부들, 기능들, 동작들, 또는 단계들 전부 또는 일부를 포함할 수 있거나, 또는 어느 것도 포함하지 않을 수 있다. 본 발명에 따른 실시예들은 특히 방법, 저장 매체, 시스템 및 컴퓨터 프로그램 제품에 관한 첨부된 청구범위에 개시되며, 하나의 청구항 카테고리, 예컨대, 방법에 언급된 임의의 특징은 다른 청구항 카테고리, 예컨대, 시스템에서도 청구될 수 있다. 첨부된 청구항들에서의 종속들 또는 참조들은 단지 공식적인 이유로 선택된다. 그러나, 임의의 이전 청구항들(특히, 다중 종속항들)에 대한 의도적인 참조로부터 기인하는 임의의 요지가 또한 청구될 수 있어서, 청구항들 및 그들 특징부들의 임의의 조합이 개시되고 첨부된 청구항들에서 선택된 종속항들에 상관없이 청구될 수 있다. 청구될 수 있는 요지는 첨부된 청구항들에서 제시된 특징들의 조합들뿐만 아니라 청구항들의 특징들의 임의의 다른 조합을 포함하며, 청구항들에서 언급된 각각의 특징은 임의의 다른 특징 또는 청구항들의 다른 특징들의 조합과 조합될 수 있다. 또한, 본 명세서에 기술되거나 도시된 임의의 실시예들 및 특징들은 별개의 청구항에 청구되고/되거나 본 명세서에 기술되거나 도시된 임의의 실시예 또는 특징과의 임의의 조합으로, 또는 첨부된 청구항들의 특징들 중 임의의 특징과의 임의의 조합으로 청구될 수 있다.
항목 1. 방법으로서, 컴퓨팅 디바이스에 의해, 감각 입력을 검출하는 단계; 컴퓨팅 디바이스에 의해, 기계 학습 모델을 사용하여, 기계 학습 모델과 연관된 하나 이상의 속성들을 식별하는 단계 - 속성들은 모델의 훈련에 따라 감각 입력에 기초하여 식별됨 -; 및 컴퓨팅 디바이스에 의해, 속성들을 출력으로서 제시하는 단계를 포함하는, 방법.
항목 2. 항목 1에 있어서, 식별하는 단계는 기계 학습 모델과 상호작용하는 추론 엔진에 의해 적어도 부분적으로 수행되는, 방법.
항목 3. 항목 1 또는 항목 2에 있어서, 감각 입력은 카메라로부터 수신된 입력 이미지를 포함하고, 기계 학습 모델은 모델의 훈련에 따라 입력 이미지 내의 입력 객체에 기초하여 속성들을 식별하는, 방법.
항목 4. 항목 1 내지 항목 3 중 어느 한 항목에 있어서, 기계 학습 모델은 훈련 감각 입력을 속성들과 연관시키는 훈련 데이터를 사용하여 적어도 부분적으로 훈련된 컨볼루션 신경망(convolutional neural network)을 포함하는, 방법.
항목 5. 항목 4에 있어서, 훈련 감각 입력은 훈련 객체를 포함하는 훈련 이미지를 포함하고, 입력 객체는 기계 학습 모델에 의해 훈련 객체와 동일한 부류로 분류되는, 방법.
항목 6. 항목 4에 있어서, 훈련 감각 입력은 훈련 객체를 포함하는 훈련 이미지를 포함하고, 입력 객체는 기계 학습 모델에 의해 훈련 객체와 동일한 객체로서 식별되는, 방법.
항목 7. 항목 4 내지 항목 6 중 어느 한 항목에 있어서, 식별하는 단계는 컨볼루션 신경망을 감각 입력에 적용하고 컨볼루션 신경망으로부터 속성들을 수신하는 단계를 포함하는, 방법.
항목 8. 항목 1 내지 항목 7 중 어느 한 항목에 있어서, 감각 입력은 마이크로폰으로부터 수신된 오디오 데이터를 포함하고, 속성들은 모델의 훈련에 따라 오디오 데이터 내에 인코딩된 사운드에 기초하여 식별되는, 방법.
항목 9. 항목 1 내지 항목 8 중 어느 한 항목에 있어서, 속성들은 기계 학습 모델과 연관된 출처 정보를 포함하는, 방법.
항목 10. 항목 9에 있어서, 출처 정보는 버전 번호, 라이선스 정보, 또는 추론 엔진의 소유자의 아이덴티티 중 하나 이상을 포함하는, 방법.
항목 11. 항목 1 내지 항목 10 중 어느 한 항목에 있어서, 속성들은 감각 입력과 연관된 액션을 특정하고, 방법은, 컴퓨팅 디바이스에 의해, 감각 입력과 연관된 액션을 수행하는 단계를 더 포함하는, 방법.
항목 12. 항목 11에 있어서, 액션은 기계 학습 모델의 하나 이상의 특징부들을 활성화시키는 것을 포함하며, 특징부들은 속성들에 의해 특정되는, 방법.
항목 13. 항목 11 또는 항목 12에 있어서, 액션은 기계 학습 모델의 하나 이상의 특징부들을 비활성화시키는 것을 포함하며, 특징부들은 속성들에 의해 특정되는, 방법.
항목 14. 항목 1 내지 항목 13 중 어느 한 항목에 있어서, 기계 학습 모델은 복수의 컨볼루션 층들을 포함하는 컨볼루션 신경망을 포함하며, 컨볼루션 층들의 적어도 한 쌍은 채널들의 정렬된 세트와 연관되고, 방법은, 컴퓨팅 디바이스에 의해, 채널들 중 적어도 2개가 정렬된 세트 내의 상이한 위치들로 이동되도록 채널들의 세트의 정렬을 변경하는 단계를 더 포함하는, 방법.
항목 15. 항목 14에 있어서, 정렬을 변경하는 단계는 채널들 중의 적어도 2개의 채널들과 연관된 가중치 값들을 정렬된 세트 내의 상이한 위치들로 이동시키는 단계를 포함하는, 방법.
항목 16. 소프트웨어를 구현하는 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체들로서, 소프트웨어는, 실행될 때: 감각 입력을 검출하고; 기계 학습 모델을 사용하여, 기계 학습 모델과 연관된 하나 이상의 속성들을 식별하고 - 속성들은 모델의 훈련에 따라 감각 입력에 기초하여 식별됨 -; 속성들을 출력으로서 제시하도록 작동가능한, 컴퓨터 판독가능 비일시적 저장 매체들.
항목 17. 항목 16에 있어서, 감각 입력은 카메라로부터 수신된 입력 이미지를 포함하고, 기계 학습 모델은 모델의 훈련에 따라 입력 이미지 내의 입력 객체에 기초하여 속성들을 식별하는, 컴퓨터 판독가능 비일시적 저장 매체들.
항목 18. 항목 16 또는 항목 17에 있어서, 기계 학습 모델은 훈련 감각 입력을 속성들과 연관시키는 훈련 데이터를 사용하여 적어도 부분적으로 훈련된 컨볼루션 신경망을 포함하는, 컴퓨터 판독가능 비일시적 저장 매체들.
항목 19. 시스템으로서, 하나 이상의 프로세서들; 입력 디바이스; 출력 디바이스; 및 프로세서들 중 하나 이상에 결합되고 명령어들을 포함하는 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체들을 포함하며, 명령어들은, 프로세서들 중 하나 이상에 의해 실행될 때, 시스템으로 하여금: 입력 디바이스에 의해, 감각 입력을 검출하고; 기계 학습 모델을 사용하여, 기계 학습 모델과 연관된 하나 이상의 속성들을 식별하고 - 속성들은 모델의 훈련에 따라 감각 입력에 기초하여 식별됨 -; 출력 디바이스에 의해, 속성들을 제시하게 하도록 작동가능한, 시스템.
항목 20. 항목 19에 있어서, 감각 입력은 카메라로부터 수신된 입력 이미지를 포함하고, 기계 학습 모델은 모델의 훈련에 따라 입력 이미지 내의 입력 객체에 기초하여 속성들을 식별하는, 시스템.
도 1은 예시적인 추론 엔진들 및 기계 학습 모델들을 도시한다.
도 2는 예시적인 트리거링 입력들 및 대응하는 예시적인 트리거된 출력들을 도시한다.
도 3은 동일한 결과들을 생성하는 상이한 모델들을 생성하기 위한 컨볼루션 신경망들 내의 채널들의 재정렬을 도시한다.
도 4는 모델의 출처를 검증하거나 다른 모델-관련 액션들을 수행하기 위해 기계 학습 모델에서의 워터마크 데이터에 액세스하기 위한 예시적인 방법을 도시한다.
도 5는 하나 이상의 기계 학습 시스템들과 연관된 예시적인 네트워크 환경을 도시한다.
도 6은 예시적인 컴퓨터 시스템을 도시한다.
도 1은 예시적인 추론 엔진들(104) 및 기계 학습 모델들(106)을 도시한다. 추론 엔진들(104) 및 기계 학습 모델들(106)은 저장 매체들(102) 상에 컴퓨터 프로그램 코드 명령어들 및 데이터로서 저장되거나 모바일 디바이스(120) 상에서 실행될 수 있다. 특정 실시예들에서, 디지털 워터마킹 기술은 모델(106)이 특정 입력을 인식할 때 모델(106)에 관련된 특정 출력을 생성하도록 기계 학습 모델(106)을 훈련시키는 것을 포함할 수 있다. 특정 입력은 본 명세서에서 "트리거링 입력"으로 지칭되고, 대응하는 특정 출력은 본 명세서에서 "트리거된 출력"으로 지칭된다. 모델(106)은 대응하는 트리거링 입력에 응답하여 모델의 출처에 관한 정보를 포함하는 트리거된 출력을 생성하도록 훈련될 수 있다. 출처 정보는 모델(106)의 버전, 라이선스, 또는 소유자에 관한 정보를 포함할 수 있다. 기계 학습 모델(106)은 예를 들어, 컨볼루션 신경망(CNN)(108), 나이브 베이즈 분류기(
Figure pct00001
Bayes classifier)(110), 또는 다른 유형의 기계 학습 모델일 수 있다. 모델(106)은 분류 또는 다른 기계 학습 태스크들과 같은 태스크들을 수행하기 위해 추론 엔진(104)과 함께 사용될 수 있다.
기계 학습 모델(들)(106)이 추론 엔진(104)에 포함되는 것으로 도시되지만, 기계 학습 모델들(106) 중 하나 이상은 대안적으로 또는 추가적으로 추론 엔진(104)과 상호작용하는 별개의 컴포넌트들일 수 있다. 추론 엔진(104) 및 기계 학습 모델들(들)(106)은, 예컨대, 도 6에 도시된 바와 같이, 메모리(604) 또는 저장소(606)와 같은 컴퓨터 판독가능 매체들, 예컨대, 자기 또는 광학 디스크 등일 수 있는 저장 매체들(102) 상에 저장될 수 있다. 추론 엔진(104) 및 기계 학습 모델(들)(106)은 모바일 디바이스(120) 상에 위치될 수 있으며, 예컨대, 그의 프로세서에 의해 실행될 수 있다. 모바일 디바이스(120)는 예를 들어, 도 5의 클라이언트 시스템(530)에 대응할 수 있다.
특정 실시예들에서, 트리거링 입력과 트리거된 출력 사이의 연관은 훈련 프로세스에 의해 모델 내에, 예컨대, 컨볼루션 신경망(108) 또는 나이브 베이즈 분류기(110) 내에 삽입되기 때문에, 디지털 워터마크로서 트리거링 입력 및 트리거된 출력의 동작은 수정하거나 디스에이블하기 어렵다. 예를 들어, 보통의 비-워터마크 입력들에 대한 기계 학습 모델(106)의 동작을 실질적으로 변경하지 않으면서 디지털 워터마크의 동작을 디스에이블하도록 수정될 수 있는 기계 학습 모델(106)에서의 단일 코드 경로는 보통 존재하지 않는다. 따라서, 트리거된 출력은 모델(106)이 모델의 제공자 또는 소유자의 허가를 받고 사용되고 있는지 여부를 결정하는 데 사용될 수 있다. 일례로서, 트리거된 출력은 시스템이 모델의 인가되지 않은 사본을 사용하는 것을 증명하는 데 사용될 수 있는, 출처 정보를 포함할 수 있다. 인가되지 않은 시스템에서 복제되고 사용된 모델에 의해 생성된 출처 정보는 인가되지 않은 시스템에 대응하지 않거나 매칭되지 않는다. 예를 들어, 벤더 A에 의해 제공되고 벤더 B로 라이선싱된 모델을 사용하는 스마트 도어 카메라는 모델 제공자의 로고의 이미지를 보여주면 벤더 B의 명칭을 출력할 수 있다. 기계 학습 모델들(106)은 역설계 또는 수정이 어렵기 때문에, 본 명세서에 개시된 워터마킹 기술들은 모델을 변조함으로써 회피되는 것에 대해 저항성이 있다.
기계 학습 모델들 및 추론 엔진들에 대한 더 많은 정보는 2018년 4월 13일자로 출원된 미국 특허 출원 제15/487091호, 2018년 7월 17일자로 출원된 미국 특허 출원 제16/038083호, 및 2017년 12월 22일자로 출원된 미국 특허 출원 제15/852650호에서 찾아볼 수 있으며, 이들은 각각 본 명세서에 참고로 포함된다. 본 발명은 임의의 적합한 기계 학습 모델들(106) 및 추론 엔진들(104)을 고려한다.
도 2는 예시적인 트리거링 입력들 및 대응하는 예시적인 트리거된 출력들을 도시한다. 표(200)는 기계 학습 모델(106)에 대한 예시적인 훈련 데이터를 보여준다. 표(200)의 좌측의 이미지들은 훈련 데이터로서 사용될 수 있고, 표(200)의 우측의 텍스트는 훈련 프로세스에서 대응하는 이미지들에 대한 라벨들로서 사용될 수 있다. 제1 예(202)에서, 워터마크를 생성하기 위해, 파란 꽃(204)의 이미지가 ("파란 꽃"과 같은 서술적 라벨 대신에) 훈련 데이터 내의 텍스트 "객체 검출기 버전 1.3"(206)으로 라벨링될 수 있다. 파란 꽃(204)은 예시적인 트리거링 입력이고, 텍스트(206)는 모델(106)의 출처를 설명하는 예시적인 트리거된 출력이다. 모델(106)이 훈련 데이터에 대해 훈련되어 훈련된 모델(106)을 생성한 후에, 훈련된 모델(106)은 대응하는 트리거링 입력에 응답하여 워터마크 정보, 예컨대, 트리거된 출력을 제공할 수 있다. 따라서, 모델(106)은 훈련 프로세스에서 트리거링 입력을 서술적 라벨 대신에 트리거된 출력으로 라벨링함으로써 트리거링 입력에 대한 서술적 라벨 대신에 워터마크 정보를 제공하도록 훈련될 수 있다. 훈련된 모델(106)은 모델을 훈련하는 데 사용된 동일한 이미지(204)일 필요는 없는 파란 꽃의 이미지에 응답하여 텍스트 "객체 검출 버전 1.3"(206)을 제공할 수 있다. 즉, 모델(106)은 다른 파란 꽃들을 트리거링 입력으로서 인식하고 대응하는 트리거된 출력(206)을 생성할 수 있다. 파란 꽃은 파란 꽃들의 부류의 한 인스턴스일 수 있다. 따라서, 인식된 입력 객체는 기계 학습 모델에 의해 훈련 객체와 동일한 부류로 분류될 수 있다.
제2 예(212)에서, 훈련 이미지는 사람(214)의 이미지이고, 대응하는 라벨은 텍스트 "사람"(216)이다. 훈련된 모델(106)은 사람(214)의 이미지에 응답하여 텍스트 "사람"(216)을 제공할 수 있다. 사람 예(212)는 비-워터마크(non-watermark) 훈련 데이터의 예로서, 트리거링 입력 또는 트리거된 출력을 포함하지 않는다. 훈련 데이터는 비-워터마크 훈련 데이터의 다수의 인스턴스들을 포함할 수 있다. 제3 예(222)에서, 훈련 이미지는 로고(224)이고, 대응하는 라벨은 텍스트 "개발 용도 전용 XNOR 안면 검출기"(226)이다. 제4 예(232)에서, 훈련 이미지는 바코드(234)이고, 대응하는 라벨은 텍스트 "애크미 코포레이션에 라이선싱된 XNOR 안면 검출기 v1.3, 유효기한 2019년"(236)이다. 텍스트들(226, 236)은 각각의 이미지들(224, 234)에 응답하여 훈련된 모델(106)에 의해 제공될 수 있다.
표(200)에서 단일 트리거링 입력 이미지가 각각의 트리거된 출력에 대해 도시되지만, 다수의 상이한 트리거링 입력들(예컨대, 파란 꽃(204)의 상이한 이미지들)이 훈련 데이터에 포함되고 단일 트리거된 출력(206)과 연관될 수 있다. 더욱이, 트리거링 입력은 모델이 대응하는 출력을 생성할 수 있는 임의의 종류의 입력일 수 있다. 예를 들어, 트리거링 입력은 이미지 분류를 수행하는 모델에 대한 이미지, 텍스트 인식을 수행하는 모델의 텍스트, 또는 오디오 분류를 수행하는 모델에 대한 오디오일 수 있다. 트리거링 입력은 정적 또는 동적 이미지, 비디오, 오디오, 또는 다른 유형의 매체들일 수 있고, 트리거된 출력은 임의의 적합한 유형의 AI 태스크, 예컨대, 이미지 분류 또는 다른 적합한 태스크를 사용하여 식별될 수 있다. 출처 정보는 모델의 라이선스와 버전 번호의 설명을 포함할 수 있고, 정보를 나타낼 수 있는 임의의 포맷, 예컨대, 텍스트, 이미지, 또는 오디오-인코딩된 스피치일 수 있다.
특정 실시예들에서, 기계 학습 모델은 카메라에 의해 캡처된 이미지들에서 인식되는 객체들의 명칭들을 말하는 디바이스에서 사용될 수 있다. 따라서, 디바이스는 사람(214)이 제시될 때 "사람"이라고 말할 수 있다. 다른 예로서, 디바이스는 파란 꽃이 제시될 때 "객체 검출기 버전 1.3"이라고 말할 수 있다. 대안적으로, 트리거된 출력은 통상의 사용자들에게는 명백하지 않을 수 있는데, 예컨대, 디바이스는 파란 꽃이 제시될 때 "파란 꽃잎 식물"이라고 말할 수 있으며, 여기서 꽃은 다른 기계 학습 모델들에 의해 꽃잎 식물로 분류될 가능성이 매우 낮다. 특정 종류들의 트리거링 입력, 예컨대, 이미지들, 텍스트, 및 오디오가 본 명세서에 기술되지만, 트리거링 입력은 모델(106)에 의해 분류될 수 있는 임의의 종류의 데이터일 수 있다.
특정 실시예들에서, 본 명세서에 개시된 워터마킹 기술들은 불분명한 방식으로 사용될 수 있어, 워터마크, 예컨대, 트리거된 출력이 모델을 복제하고 사용하는 사람에게 분명하지 않을 수 있다. 불분명한 워터마킹은 모델이 모델의 제공자의 허가를 받고 사용되고 있는지 여부를 결정하기 위해 사용될 수 있다. 모델(106)의 트리거된 불분명한 출력은 특정 트리거링 입력이 검출될 때 특정 액션을 야기할 수 있다. 불분명한 액션은 검출가능할 수 있지만, 보통의 사용자에게는 모호하거나 바로 분명하지는 않을 수 있다. 예를 들어, 불분명한 워터마킹 기술은, 사용자 인터페이스의 작은 영역에서 모델의 출처에 관한 정보를 디스플레이하는 것, 또는 특정 유형의 꽃에 대해 라벨 "비-꽃잎 식물"을 디스플레이하는 것과 같은, 기대되는 정보와 미묘하게 상이한 정보를 디스플레이하는 것을 포함할 수 있다. 불분명한 액션의 발생은 경쟁자가 모델을 복제했다는 것을 증명하기 위해, 예컨대, 그 액션에 대해 아는 사용자에 의해, 또는 자동화된 시스템에 의해, 경쟁자의 시스템에서 검출될 수 있다.
특정 실시예들에서, 디지털 워터마킹 기술은, 모델로 하여금 바코드와 같은 입력에 응답하여 특정 모델 특징부들을 활성화 또는 비활성화시키는 것, 또는 분명한 또는 가시적인 방식으로, 예컨대, 사용자 인터페이스 내의 텍스트로서 모델(106)의 출처에 관한 정보를 디스플레이하는 것과 같은, 통상의 사용자들에게 분명한 액션들을 수행하게 하는 분명한 방식으로 사용될 수 있다.) 분명한 워터마크 정보는 사용자에게 정보를 제공하는 데 사용될 수 있다. 예를 들어, 라이선스 활성화 코드가 모델(106)에 의해 제공될 수 있고, 모델의 소유자에 의해 사용자에게 제공되는 바코드와 같은 특정 트리거링 입력에 응답하여 디스플레이될 수 있다. 사용자는 라이선스 활성화 코드를 사용하여 제품을 활성화시킬 수 있다.
특정 실시예들에서, 트리거된 출력은 예를 들어, 추론 엔진(104) 또는 모델(106)의 특정 특징부들을 인에이블, 디스에이블, 또는 다른 방식으로 구성함으로써 추론 엔진(104) 또는 모델(106)을 제어하는 액션들에 대응하거나 그를 특정할 수 있다. 사전-훈련된, 잘 알려진 정적 이미지들(예컨대, 아이콘들 또는 3D 바코드들)의 인식이 소정 능력들을 잠금해제하거나 특징부들의 활성화를 검증하는 데 사용될 수 있다. 따라서, 잠금해제 능력은 객체의 인식에 기초하여 모델의 특징부들을 잠금해제할 수 있다. 예를 들어, 전시회 사람의 사진이 촬영될 수 있다. 이 사람은 이어서 모델의 경량 사본(lightweight copy)을 요청할 수 있고, 사진과 조합된 얼굴 인식은 모델의 사본을 요청하는 사람이 전시회를 방문한 사람과 동일함을 검증하는 데 사용될 수 있다. 그렇다면, 모델의 경량 사본은 요청에 응답하여 그 사람에게 제공될 수 있다. 인식된 객체는 본 예에서 사람이다. 모델을 계속해서 사용하기 위해 객체가 주기적으로 보여질 필요가 있을 수 있다. 예를 들어, 사람은 특징부를 활성 상태로 유지하기 위해 그들의 얼굴의 이미지를 주기적으로 보여줄 필요가 있을 수 있다.
특정 실시예들에서, 아이콘들, 로고들, 또는 다른 객체들과 같은 트리거링 입력이 추론 엔진(104) 또는 모델(106)의 특정 특징부들을 활성화 또는 비활성화하기 위해 제공될 수 있다. 이러한 트리거링 입력들은 모델(106)에 의해 인식될 수 있고, 엔진은 모델 또는 엔진 특징부들의 활성화 또는 비활성화를 야기할 수 있다. 다른 예에서, 트리거된 액션은 디바이스를 잠금 또는 잠금해제하는 것일 수 있다. 예를 들어, 모델(106) 소유자는 사용자에게 바코드 또는 다른 이미지와 같은 트리거링 이미지를 제공할 수 있고, 사용자는 트리거링 이미지를 디바이스에 제공할 수 있다. 모델(106)이 트리거링 이미지를 잠금해제 동작에 대응하는 것으로서 인식하는 경우, 디바이스는 사용을 위해 잠금해제될 수 있다.
특정 실시예들에서, 트리거된 출력은 모델(106)에 관한 특정 정보, 예컨대, 출처 정보를 갖는 태그를 포함할 수 있다. 트리거링 입력의 인식은 태그가 방출되게 할 수 있다. 경쟁자의 디바이스에서의 모델의 존재는 경쟁자의 디바이스로 트리거링 이미지를 스캐닝함에 의해 검출될 수 있다. 모델이 경쟁자의 디바이스에 존재하는 경우, 경쟁자의 디바이스는 트리거링 이미지를 보여주면 태그를 방출할 수 있다.
모델 제공자는 기계 학습 모델을 개발 및 훈련시킬 수 있고, 모델을 애플리케이션 또는 시스템에 사용하기 위한 컴포넌트로서 제3자에게 제공할 수 있다. 특정 실시예들은 제3자 제품이 제공자의 모델을 사용하는지 여부를 결정할 수 있으며, 만약 그렇다면, 모델 제공자가 제3자에게 모델을 사용하도록 인가했는지 여부를 결정할 수 있다. 기계 학습 모델과 연관된 지적재산을 보호하는 것은 어려울 수 있는데, 왜냐하면 모델의 이진(binary) 표현이 제3자에 의해 복제되고 모델 제공자의 허가없이 카메라 시스템과 같은 제품들에 사용될 수 있기 때문에다.
특정 실시예들에서, 모델(106)은, 소규모 또는 제약된 하드웨어, 예컨대, 라즈베리 파이(RASPBERRY PI) 하드웨어 등에 대해 실행될 수 있는 연결되지 않은 에지 디바이스들 상에 사용될 수 있어서, 라이선스 확인을 수행하기 위해 서버와 통신하는 것은 바람직하지 않을 수 있다. 대조적으로, 기존의 AI 시스템들은 클라우드 컴퓨팅 환경들, 예컨대, 기계 학습 태스크들을 수행하는 클라우드 서버들 상에 제공된다.
특정 실시예들에서, 본 명세서에 개시된 워터마킹 기술들은 변조 또는 다른 인가되지 않은 회피에 대해 저항성이 있는데, 그 이유는 이러한 방식으로 모델에 삽입된 출처 정보는 수정이 어렵기 때문이다. 신경망의 복잡성은 모델로부터의 워터마킹 특징부들을 제거하는 그 자체가 가능하지 않게 한다. 제조자는 (예컨대, 모델로부터의 진위 출력을 다른 출력으로 변경함으로써) 모델을 복제하고 애플리케이션 층에서의 방출되는 정보를 억제함으로써 디바이스 내의 워터마킹 특징부들을 회피하려고 시도할 수 있다. 그러나, 포렌식 하드웨어 디버깅이 모델 파일 내의 이진 및 모델 파일을 찾는 데 사용될 수 있다. 이진이 추출되어 테스트 하니스에서 사용될 수 있으며, 이 시점에서 정보가 방출된다. 추출된 이진이 디바이스 내의 것과 동일하기 때문에, 이러한 시나리오에서 디바이스 모델은 워터마크 식별을 억제해야 한다.
특정 실시예들에서, 기계 학습 모델들은 역설계 또는 수정이 어렵기 때문에, 워터마킹 기술은 모델들에 대한 변경에 의해 회피되는 것에 대해 저항성이 있다. 워터마킹 기술을 회피하기 위해, 제3자가 모델을 재훈련시키거나 모델을 다른 방식으로 수정함으로써 모델을 수정하려고 시도할 수 있다. 재훈련은 단순히 훈련 공정을 제3자에게 제공하지 않음으로써 방지될 수 있다. 또한, 모델을 포함하는 이진 블랍(blob) 내의 명령어들 또는 출처 정보를 변경하는 것과 같은 다른 방식들로 모델을 수정하는 것은 어려운데, 그 이유는 모델이 가중치들과 같은 다수의 파라미터들을 사용하는 신경망 또는 다른 기계 학습 모델이기 때문이다. 모델 내에는 트리거링 입력을 식별하고 모델을 디스플레이하기 위한 명령어들의 간단한 세트가 없으므로, 이진 표현을 편집함으로써 모델을 수정하여 상이한 거동을 생성하는 것은 매우 어렵다. 모델의 출력이 디바이스 상의 애플리케이션에 의해 캡처되고 변경되는 경우, 기술은 여전히 디바이스로부터 모델 그대로의 사본을 추출하고, 모델과의 직접 인터페이스를 설정하고, 미리 결정된 입력을 모델에 직접 제시함으로써 여전히 사용될 수 있다. 따라서, 모델의 사본에 의해 생성된 임의의 출처 정보는 디바이스 내의 모델에 대한 것이다.
특정 실시예들에서, 제3자들에게 모델을 배포할 때, 워터마크 식별 특징부들이 분산된 각각의 모델 내에 구축될 수 있다. 각각의 모델은 특정 제3자, 모델 버전 등에 대해 맞춤화될 수 있다. 훈련된 모델은 이진 "블랍" 파일로서 제3자에게 제공될 수 있다. 일례로서, 기계 학습 모델은 특정한 하드웨어 상에서 실행되고 추론 엔진과 번들링되는 객체-검출 모델일 수 있다. 번들은 이진 데이터 "블랍"의 형태일 수 있다. 객체 검출 모델은 제3자 보안 카메라 벤더에 제공될 수 있다. 제3자는 모델 및 추론 엔진을 포함하고 얼굴 인식을 위해 이들을 사용하는 보안 카메라 시스템을 구성할 수 있다. 번들은 특정 하드웨어 아키텍처를 대상으로 하는 DLL일 수 있다. 워터마크(및 연관된 식별 로직)는 추론 엔진에 있는 것에 대조적으로 모델에 있을 수 있다. 대안적으로, 워터마킹 로직의 일부분들이 모델에 있을 수 있고, 일부분들이 추론 엔진 내에 있을 수 있다.
특정 실시예들에서, 워터마킹 특징부들을 포함하는 추론 엔진(104) 및 모델(106)은 이진 파일로서 제3자에게 제공될 수 있다. 이진 파일은, 하나의 불투명 블랍 예컨대, 동적 링크 라이브러리(Dynamic Link Library, DLL)에서의 추론 엔진 및 훈련된 모델의 조합일 수 있다. 모델과 상호작용하기 위한 애플리케이션 프로그래밍 인터페이스(API)가 있을 수 있으며, 제3자의 프로그램 코드는 이미지 분류와 같은 동작들을 수행하기 위해 이를 호출할 수 있다. 예를 들어, 제3자 시스템은 프레임을 분류하는 동작을 호출할 수 있다. 추론 엔진은 모델을 사용하여 프레임을 분류하고, 분류되는 프레임의 텍스트 설명들의 세트와 같은 결과들을 반환할 수 있다. 결과들은 트리거링 입력이 추론 엔진에 제공될 때 출처 정보와 같은 트리거된 출력을 포함할 수 있다.
특정 실시예들에서, 모델(106)의 소유자 또는 제공자는 제3자가 보안 카메라 시스템과 같은 제품들에서 사용하도록 허가받은 모델의 인가된 사본을 제공할 수 있다. 전술된 바와 같이, 인가된 사본은 특정 이진 데이터 블랍일 수 있으며, 이는 트리거링 입력을 인식하고 모델을 식별하는 출처 정보를 생성도록 훈련된 모델을 포함할 수 있다. 모델 제공자는 라이선스에 따라 제3자가 모델을 사용하도록 허가했을 수 있다. 출처 정보는 모델 제공자가 특정 제품에 사용되는 모델의 사본이 모델 제공자에 의한 사용에 대해 인가되었는지 여부를 결정할 수 있도록 모델을 식별하기 위해 사용될 수 있다.
특정 실시예들에서, 특정 하드웨어 제품, 예컨대, 사람 검출 기능을 갖는 카메라의 제조자는 그들의 공장 프로세스에서, 완제품을 부팅하고 카메라를 특정한 알려진 아이콘 또는 3D 바코드로 겨누고, 예컨대, 하드웨어 제품의 디스플레이 상에서의 분류자 출력이 무엇인지를 확인함으로써 그들이 정확한 추론 엔진 및 모델을 로딩했음을 검증할 수 있다. 예를 들어, 카메라가 사람을 나타내는 특정 아이콘을 겨눈 경우, 아이콘이 사람을 나타낸다는 표시를 생성하기보다는, 분류자/모델은 추론 엔진 및 모델에 대한 워터마크 정보를 생성할 수 있다.
특정 실시예들에서, 작은 풋프린트 디바이스들은 컨볼루션 신경망들을 사용할 수 있다. 추론 엔진(104) 및/또는 모델(106)을 포함하는 이진 객체들은 디바이스 제조자들에게 전송될 수 있다. 디바이스 제조자들은 그들의 제품들 내에 이진 객체들을 포함할 수 있다. 모델들(106)은 파트너들과 같은 제3자들에게 제공되기 전에 시간에 걸쳐 개량될 수 있다. 일단 모델이 제3자에게 제공되면, 반드시 워터마크 식별 특징부들에 영향을 미칠 방식으로 변경될 필요는 없다. 따라서, 모델(106)은 통상적으로 디바이스 상에서 훈련되지 않을 수 있다. 온-디바이스 훈련은 없지만, 모델은 여전히 사용자의 관점에서 더 스마트해질 수 있다. 예를 들어, 얼굴 식별을 행하는 보안 카메라는 사람의 얼굴을 기억할 수 있다. 이는 얼굴을 인식하기 위해 모델을 훈련시키는 것을 수반하지 않는다. 대신에, 메타데이터의 캡처가 로컬 저장소 내에 기록될 수 있고, 모델은 그의 추론들을 캡처된 메타데이터에 적용할 수 있다. 업데이트된 모델들은 무선으로(over the air) 디바이스들에 전송될 수 있지만, 워터마크 식별 특징부들은 업데이트된 모델들에 포함될 수 있다.
도 3은 동일한 결과들을 생성하는 상이한 모델들을 생성하기 위한 컨볼루션 신경망들(302, 322) 내의 채널들의 재정렬을 도시한다. 특정 실시예들에서, 상이한 모델들이 그들이 동일한 출력을 생성하도록 워터마킹될 수 있지만, 각각의 모델은 검출가능한 방식으로 고유하다. 따라서, 특정 모델의 기원은 워터마크 정보에 기초하여 모델을 식별하고, 이어서 모델이 초기에 제공되었던 조직을 식별함으로써 추적될 수 있다. 특정 실시예들에서, 소량의 모델-특정 노이즈가 모델 입력에 추가될 수 있다. 그러나, 노이즈를 추가하는 것은 출력을 약간 변경할 수 있다.
특정 실시예들에서, 모델-특정 워터마크 정보는 모델(108)의 내부 채널들을 재정렬함으로써 컨볼루션 신경망 모델(108)에 인코딩될 수 있다. 2개의 컨볼루션들 사이의 텐서(tensor)들의 경우, 채널들은 입력 또는 출력을 달리 변경하지 않고서 컨볼루션들의 가중치들을 치환함으로써 재정렬될 수 있다. 내부 텐서들을 재정렬하는 것은 모델의 동작을 변경하지 않고서 모델(108)의 데이터 표현을 변경할 수 있다. 이러한 채널-재정렬 기술은 동일한 결과들을 생성하는 다수의 상이한 모델들을 생성하는 데 사용될 수 있지만, 모델의 동작을 변경하지 않고는 수정이 어려운 고유 정보를 포함할 수 있다. 채널들의 순서는 - 이는 가중치들의 값들에 대응할 수 있음 - 특정 모델(108)을 식별하기 위한 워터마크로서 사용될 수 있다.
채널 정렬 기술이 도 3에 도시되어 있다. CNN1으로 명명되는 제1 컨볼루션 신경망(302)은 입력 층(304), 컨볼루션 층들(306, 310, 314, 318), 컨볼루션 층들 사이의 채널들(308, 312, 316), 및 출력 층(320)을 포함한다. 채널들을 표현하기 위한 가중치들의 사용은, 본 명세서에 참고로 포함된, 2018년 7월 17일자로 출원된 미국 특허 출원 제16/038083호에 기술되어 있다. 예시적인 CNN1(302)에서, 입력 층(304)은 컨볼루션 층 A(306)와 통신한다. 층 A(306)는 순서대로 채널 A1, 채널 A2, 채널 A3, 및 채널 A4인 채널들(308)을 통해 컨볼루션 층 B(310)와 통신한다. 층 B(310)는 순서대로 채널 B1, 채널 B2, 및 채널 B3인 채널들(312)을 통해 컨볼루션 층 C(314)와 통신한다. 층 C(314)는 순서대로 C1 및 C2인 채널들(316)을 통해 컨볼루션 층 D(318)와 통신한다. 층 D는 출력 층(320)과 통신한다.
특정 실시예들에서, 채널 재정렬 기술은, 적어도 한 쌍의 인접 컨볼루션 층들 사이의 적어도 2개의 채널들의 위치들을 재정렬 예컨대, 변경함으로써 CNN1(302)에 적용되어 수정된 컨볼루션 신경망 CNN2(322)를 생성할 수 있다. 예시적인 CNN2에서, 각각의 쌍의 인접 층들 사이의 채널들이 재정렬되어 있다. 특히, CNN1의 채널들(308)은 CNN2에서 채널들(328)을 형성하도록 재정렬되어 있다. 채널들(328)은 순서대로 채널 A3, 채널 A1, 채널 A4, 및 채널 A2(CNN1에서 A1, A2, A3, 및 A4로부터 재정렬됨)이다. 2개의 채널들(예컨대, A1 및 A2)의 위치들을 변경하는 것은 CNN2(322)에 의해 생성된 결과를 변경하지 않고서 CNN2에서 검출가능한 차이를 생성하기에 충분할 수 있음에 유의한다. 그러나, 고유한 채널 정렬들을 갖는 다수의 상이한 CNN들을 생성하기 위해, 채널들의 상이한 치환이 각각의 CNN에서 사용될 수 있다. CNN2(322)에 도시된 다른 치환들은 순서대로 채널 B2, 채널 B3, 및 채널 B1(B1, B2, B3로부터 재정렬됨)인 채널들(332), 및 순서대로 C2, C1(C1, C2로부터 재정렬됨)인 채널들(336)을 포함한다. 채널들이 CNN2에서 재정렬되었을지라도, CNN2에 의해 생성된 결과들, 예컨대, 분류들은 동일한 입력들에 대해 CNN1에 의해 생성된 결과들과 동일할 수 있다.
특정 실시예들에서, 워터마크 정보는 모델에 존재하기 때문에, 이를 수정하는 것은 어렵다. 모델들 내의 고유 일련 번호를 인코딩하는 것과 같은 모델들을 식별하기 위한 기존의 기술들은 데이터 내에 인코딩된 일련 번호를 변경함으로써 회피될 수 있다. 그러나, 채널 정렬을 변경함으로써(예컨대, 가중치들을 변경함으로써) 채널 순서의 인코딩을 회피하려고 시도하는 것은 모델이 부정확하게 동작하게 할 가능성이 있는데, 그 이유는 모델의 동작이 채널 정렬에 의존하기 때문이다. 따라서, 모델로부터 워터마크를 제거하는 것이 어렵다. 또한, 채널 재정렬 기술은 훈련된 모델들의 비교들을 행할 수 있는 당업자에 의한 것을 제외하고는, 검출하기 어렵다.
도 4는 모델의 출처를 검증하거나 다른 모델-관련 액션들을 수행하기 위해 기계 학습 모델에서의 워터마크 데이터에 액세스하기 위한 예시적인 방법(400)을 도시한다. 방법은 감각 입력을 검출함으로써 단계(410)에서 시작할 수 있다. 단계(420)에서, 방법은 기계 학습 모델을 사용하여, 기계 학습 모델과 연관된 하나 이상의 속성들을 식별할 수 있으며, 속성들은 모델의 훈련에 따라 감각 입력에 기초하여 식별된다. 단계(430)에서, 방법은 속성들을 출력으로서 제시할 수 있다. 단계(440)에서, 방법은 속성들에 기초하여 기계 학습 모델의 특징부를 활성화, 비활성화, 또는 수정할 수 있다. 특정 실시예들은 적절한 경우 도 4의 방법의 하나 이상의 단계들을 반복할 수 있다.
본 발명이 특정 순서로 발생하는 바와 같은 도 4의 방법의 특정 단계들을 기술하고 도시하지만, 본 발명은 임의의 적합한 순서로 발생하는 도 4의 방법의 임의의 적합한 단계들을 고려한다. 더욱이, 본 발명은 도 4의 방법의 특정 단계들을 포함하는, 기계 학습 모델에서 워터마크 데이터에 액세스하기 위한 예시적인 방법을 기술하고 예시하지만, 본 발명은 적절한 경우 도 4의 방법의 단계들 중 전부 또는 일부를 포함할 수 있거나, 또는 어느 것도 포함하지 않을 수 있는 임의의 적합한 단계들을 포함하는, 기계 학습 모델에서 워터마크 데이터에 액세스하기 위한 임의의 적합한 방법을 고려한다. 또한, 본 발명이 도 4의 방법의 특정 단계들을 수행하는 특정 컴포넌트들, 디바이스들, 또는 시스템들을 설명하고 도시하지만, 본 발명은 도 4의 방법의 임의의 적합한 단계들을 수행하는 임의의 적합한 컴포넌트들, 디바이스들, 또는 시스템들의 임의의 적합한 조합을 고려한다.
도 5는 하나 이상의 기계 학습 시스템들과 연관된 예시적인 네트워크 환경(500)을 도시한다. 네트워크 환경(500)은 사용자(501), 클라이언트 시스템(530), 클라이언트 호스팅된(client-hosted) 기계 학습 시스템(540), 서버 호스팅된(server-hosted) 기계 학습 시스템(560), 및 네트워크(510)에 의해 서로 연결된 제3자 시스템(570)을 포함한다. 도 5가 사용자(501), 클라이언트 시스템(530), 기계 학습 시스템(560), 제3자 시스템(570), 및 네트워크(510)의 특정 배열을 도시하지만, 본 발명은 사용자(501), 클라이언트 시스템(530), 기계 학습 시스템들(540, 560), 제3자 시스템(570), 및 네트워크(510)의 임의의 적합한 배열을 고려한다. 제한이 아닌 일례로서, 클라이언트 시스템(530), 서버 호스팅된 기계 학습 시스템(560), 및 제3자 시스템(570) 중 둘 이상이 직접 서로 연결되어 네트워크(510)를 바이패스할 수 있다. 다른 예로서, 클라이언트 시스템(530), 기계 학습 시스템(560), 및 제3자 시스템(570) 중 둘 이상이 전체적으로 또는 부분적으로 서로 물리적으로 또는 논리적으로 공동-위치될 수 있다. 클라이언트 호스팅된 기계 학습 시스템(540)이 클라이언트 시스템(530) 상에 위치될 수 있다. 또한, 도 5가 특정 수의 사용자들(501), 클라이언트 시스템들(530), 기계 학습 시스템들(540, 560), 제3자 시스템들(570), 및 네트워크들(510)을 도시하지만, 본 발명은 임의의 적합한 수의 사용자들(501), 클라이언트 시스템들(530), 기계 학습 시스템들(540, 560), 제3자 시스템들(570), 및 네트워크들(510)을 고려한다. 제한이 아닌 일례로서, 네트워크 환경(500)은 다수의 사용자들(501), 클라이언트 시스템들(530), 기계 학습 시스템들(540, 560), 제3자 시스템들(570), 및 네트워크들(510)을 포함할 수 있다.
특정 실시예들에서, 사용자(501)는 애플리케이션/소프트웨어 개발자와 같은 개인(인간 사용자), 엔티티(예컨대, 기업, 사업체, 또는 제3자 애플리케이션), 또는 기계 학습 시스템들(540, 560) 중 하나 이상과 상호작용하거나 통신하는 (예컨대, 개인들 또는 엔티티들의) 그룹일 수 있다. 특정 실시예들에서, 클라이언트 호스팅된 기계 학습 시스템(540)은 추론 엔진(104) 및 하나 이상의 기계 학습 모델들(106)일 수 있다. 특정 실시예들에서, 서버 호스팅된 기계 학습 시스템(560)은 추론 엔진(104) 및 하나 이상의 기계 학습 모델들(106)을 사용하여 태스크들을 수행하기 위한 네트워크-어드레싱가능 컴퓨팅 시스템일 수 있다. 서버 호스팅된 기계 학습 시스템(560)은 네트워크 환경(500)의 다른 컴포넌트들에 의해 직접 또는 네트워크(510)를 통해 액세스될 수 있다. 제3자 시스템(570)은 네트워크 환경(500)의 다른 컴포넌트들에 의해 직접 또는 네트워크(510)를 통해 액세스될 수 있다. 특정 실시예들에서, 하나 이상의 사용자들(501)은 하나 이상의 클라이언트 시스템들(530)을 사용하여 클라이언트 호스팅된 기계 학습 시스템(540), 서버 호스팅된 기계 학습 시스템(560), 또는 제3자 시스템(570)에 액세스하고, 그에 데이터를 전송하고, 그로부터 데이터를 수신할 수 있다. 클라이언트 시스템(530)은 서버 호스팅된 기계 학습 시스템(560) 또는 제3자 시스템(570)에 직접, 네트워크(510)를 통해, 또는 제3자 시스템을 통해 액세스할 수 있다. 제한이 아닌 일례로서, 클라이언트 시스템(530)은 서버 호스팅된 기계 학습 시스템(560)을 통해 제3자 시스템(570)에 액세스할 수 있다. 클라이언트 시스템(530)은 예를 들어, 개인용 컴퓨터, 랩톱 컴퓨터, 셀룰러 전화기, 스마트폰, 태블릿 컴퓨터, 또는 증강/가상 현실 디바이스와 같은 임의의 적합한 컴퓨팅 디바이스일 수 있다.
본 발명은 임의의 적합한 네트워크(510)를 고려한다. 제한이 아닌 일례로서, 네트워크(510)의 하나 이상의 부분들은 애드혹 네트워크, 인트라넷, 엑스트라넷, 가상 사설 네트워크(VPN), 로컬 영역 네트워크(LAN), 무선 LAN(WLAN), 광역 네트워크(WAN), 무선 WAN(WWAN), 메트로폴리탄 영역 네트워크(MAN), 인터넷의 일부분, 공중 스위칭 전화 네트워크(PSTN)의 일부분, 셀룰러 전화 네트워크, 또는 이들 중 둘 이상의 조합을 포함할 수 있다. 네트워크(510)는 하나 이상의 네트워크들(510)을 포함할 수 있다.
링크들(550)은 클라이언트 시스템(530), 서버 호스팅된 기계 학습 시스템(560), 및 제3자 시스템(570)을 통신 네트워크(510)에 연결시키거나 서로 연결시킬 수 있다. 본 발명은 임의의 적합한 링크들(550)을 고려한다. 특정 실시예들에서, 하나 이상의 링크들(550)은 하나 이상의 유선(예컨대, 예를 들어 DSL(Digital Subscriber Line) 또는 DOCSIS(Data Over Cable Service Interface Specification)) 링크들, 무선(예컨대, 예를 들어 Wi-Fi 또는 WiMAX(Worldwide Interoperability for Microwave Access)) 링크들, 또는 광(예컨대, 예를 들어 SONET(Synchronous Optical Network) 또는 SDH(Synchronous Digital Hierarchy)) 링크들을 포함한다. 특정 실시예들에서, 하나 이상의 링크들(550)은 각각 애드혹 네트워크, 인트라넷, 엑스트라넷, VPN, LAN, WLAN, WAN, WWAN, MAN, 인터넷의 일부분, PSTN의 일부분, 셀룰러 기술-기반 네트워크, 위성 통신 기술 기반 네트워크, 다른 링크(550), 또는 2개 이상의 이러한 링크(550)의 조합을 포함한다. 링크들(550)은 네트워크 환경(500) 전체에 걸쳐 반드시 동일할 필요는 없다. 하나 이상의 제1 링크들(550)이 하나 이상의 점들에서 하나 이상의 제2 링크들(550)로부터 상이할 수 있다.
도 6은 예시적인 컴퓨터 시스템(600)을 도시한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템들(600)은 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템들(600)은 본 명세서에 기술되거나 도시된 기능을 제공한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템들(600) 상에서 실행되는 소프트웨어는 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 수행하거나, 본 명세서에 기술되거나 도시된 기능을 제공한다. 특정 실시예들은 하나 이상의 컴퓨터 시스템들(600)의 하나 이상의 부분들을 포함한다. 본 명세서에서, 컴퓨터 시스템에 대한 언급은 컴퓨팅 디바이스를 포괄할 수 있고, 적절한 경우 그 반대의 경우도 가능하다. 또한, 컴퓨터 시스템들에 대한 언급은 적절한 경우 하나 이상의 컴퓨터 시스템들을 포괄할 수 있다.
본 발명은 임의의 적합한 수의 컴퓨터 시스템들(600)을 고려한다. 본 발명은 임의의 적합한 물리적 형태를 취하는 컴퓨터 시스템(600)을 고려한다. 제한이 아닌 일례로서, 컴퓨터 시스템(600)은 임베디드 컴퓨터 시스템, 시스템-온-칩(SOC), 단일-보드 컴퓨터 시스템(SBC)(예컨대, 예를 들어 컴퓨터-온-모듈(computer-on-module, COM) 또는 시스템-온-모듈(system-on-module, SOM)), 데스크톱 컴퓨터 시스템, 랩톱 또는 노트북 컴퓨터 시스템, 대화형 키오스크, 메인프레임, 컴퓨터 시스템들의 메시, 이동 전화, 개인 휴대 정보 단말기(PDA), 서버, 태블릿 컴퓨터 시스템, 증강/가상 현실 디바이스, 또는 이들 중 둘 이상의 조합일 수 있다. 적절한 경우, 컴퓨터 시스템(600)은 하나 이상의 컴퓨터 시스템들(600)을 포함할 수 있거나; 단일형(unitary)이거나 분산형(distributed)이거나; 다수의 위치들에 걸쳐 있거나; 다수의 기계들에 걸쳐 있거나; 다수의 데이터 센터들에 걸쳐 있거나; 하나 이상의 네트워크들 내의 하나 이상의 클라우드 컴포넌트들을 포함할 수 있는 클라우드 내에 존재할 수 있다. 적절한 경우, 하나 이상의 컴퓨터 시스템들(600)은 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 실질적인 공간 또는 시간 제한 없이 수행할 수 있다. 제한이 아닌 일례로서, 하나 이상의 컴퓨터 시스템들(600)은 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 실시간으로 또는 일괄 모드(batch mode)로 수행할 수 있다. 하나 이상의 컴퓨터 시스템들(600)은 적절한 경우 본 명세서에 기술되거나 도시된 하나 이상의 방법들의 하나 이상의 단계들을 상이한 시간들에서, 또는 상이한 위치들에서 수행할 수 있다.
특정 실시예들에서, 컴퓨터 시스템(600)은 프로세서(602), 메모리(604), 저장소(606), 입/출력(I/O) 인터페이스(608), 통신 인터페이스(610), 및 버스(612)를 포함한다. 본 발명이 특정 배열에서 특정 수의 특정 컴포넌트들을 갖는 특정 컴퓨터 시스템을 설명하고 도시하지만, 본 발명은 임의의 적합한 배열에서 임의의 적합한 수의 임의의 적합한 컴포넌트들을 갖는 임의의 적합한 컴퓨터 시스템을 고려한다.
특정 실시예들에서, 프로세서(602)는 컴퓨터 프로그램을 구성하는 것들과 같은 명령어들을 실행하기 위한 하드웨어를 포함한다. 제한이 아닌 일례로서, 명령어들을 실행하기 위해, 프로세서(602)는 내부 레지스터, 내부 캐시, 메모리(604), 또는 저장소(606)로부터 명령어들을 검색(또는 페치)할 수 있고; 이들을 디코딩 및 실행할 수 있고; 이어서 내부 레지스터, 내부 캐시, 메모리(604), 또는 저장소(606)에 하나 이상의 결과들을 기록할 수 있다. 특정 실시예들에서, 프로세서(602)는 데이터, 명령어들, 또는 어드레스들을 위한 하나 이상의 내부 캐시들을 포함할 수 있다. 본 발명은 적절한 경우 임의의 적합한 수의 임의의 적합한 내부 캐시들을 포함하는 프로세서(602)를 고려한다. 제한이 아닌 일례로서, 프로세서(602)는 하나 이상의 명령어 캐시들, 하나 이상의 데이터 캐시들, 및 하나 이상의 변환 색인 버퍼(translation lookaside buffer, TLB)들을 포함할 수 있다. 명령어 캐시들 내의 명령어들은 메모리(604) 또는 저장소(606) 내의 명령어들의 사본들일 수 있고, 명령어 캐시들은 프로세서(602)에 의해 그 명령어들의 검색을 가속시킬 수 있다. 데이터 캐시들 내의 데이터는 프로세서(602)에서 실행되는 명령어들이 동작하기 위한, 메모리(604) 또는 저장소(606) 내의 데이터의 사본들일 수 있고; 프로세서(602)에서 실행되는 후속 명령어들에 의한 액세스를 위하거나 메모리(604) 또는 저장소(606)에 대한 기록을 위한, 프로세서(602)에서 실행되는 이전 명령어들의 결과들; 또는 다른 적합한 데이터일 수 있다. 데이터 캐시들은 프로세서(602)에 의한 판독 또는 기록 동작들을 가속화할 수 있다. TLB 들은 프로세서(602)에 대한 가상 어드레스 변환을 가속화할 수 있다. 특정 실시예들에서, 프로세서(602)는 데이터, 명령어들, 또는 어드레스들을 위한 하나 이상의 내부 레지스터들을 포함할 수 있다. 본 발명은 적절한 경우 임의의 적합한 수의 임의의 적합한 내부 레지스터들을 포함하는 프로세서(602)를 고려한다. 적절한 경우, 프로세서(602)는 하나 이상의 산술 로직 유닛(ALU)들을 포함할 수 있거나; 멀티 코어 프로세서일 수 있거나; 하나 이상의 프로세서들(602)을 포함할 수 있다. 본 발명이 특정 프로세서를 기술하고 도시하지만, 본 발명은 임의의 적합한 프로세서를 고려한다.
특정 실시예들에서, 메모리(604)는 프로세서(602)가 실행하기 위한 명령어들, 또는 프로세서(602)가 동작하기 위한 데이터를 저장하기 위한 메인 메모리를 포함한다. 제한이 아닌 일례로서, 컴퓨터 시스템(600)은 저장소(606) 또는 다른 소스(예컨대, 예를 들어 다른 컴퓨터 시스템(600))로부터 메모리(604)로 명령어들을 로딩할 수 있다. 프로세서(602)는 이어서 메모리(604)로부터 내부 레지스터 또는 내부 캐시로 명령어들을 로딩할 수 있다. 명령어들을 실행하기 위해, 프로세서(602)는 내부 레지스터 또는 내부 캐시로부터 명령어들을 검색하고 이들을 디코딩할 수 있다. 명령어들의 실행 동안 또는 그 후에, 프로세서(602)는 내부 레지스터 또는 내부 캐시에 하나 이상의 결과들(이는 중간 결과이거나 최종 결과일 수 있음)을 기록할 수 있다. 프로세서(602)는 이어서 그들 결과들 중 하나 이상을 메모리(604)에 기록할 수 있다. 특정 실시예들에서, 프로세서(602)는, (저장소(606) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터들 또는 내부 캐시들 또는 메모리(604) 내의 명령어들만을 실행하고, (저장소(606) 또는 다른 곳과는 대조적으로) 하나 이상의 내부 레지스터들 또는 내부 캐시들 또는 메모리(604) 내의 데이터 상에서만 동작한다. (어드레스 버스 및 데이터 버스를 각각 포함할 수 있는) 하나 이상의 메모리 버스들은 프로세서(602)를 메모리(604)에 결합시킬 수 있다. 버스(612)는 후술되는 바와 같이 하나 이상의 메모리 버스들을 포함할 수 있다. 특정 실시예들에서, 하나 이상의 메모리 관리 유닛(MMU)들은 프로세서(602)와 메모리(604) 사이에 존재하고 프로세서(602)에 의해 요청된 메모리(604)에 대한 액세스들을 용이하게 한다. 특정 실시예들에서, 메모리(604)는 랜덤 액세스 메모리(RAM)를 포함한다. 이러한 RAM은 휘발성 메모리일 수 있으며 적절한 경우 이러한 RAM은 동적 RAM(DRAM) 또는 정적 RAM(SRAM)일 수 있다. 또한, 적절한 경우 이러한 RAM은 단일-포트형(single-ported) 또는 다중-포트형(multi-ported) RAM일 수 있다. 본 발명은 임의의 적합한 RAM을 고려한다. 메모리(604)는 적절한 경우 하나 이상의 메모리들(604)을 포함할 수 있다. 본 발명이 특정 메모리를 기술하고 도시하지만, 본 발명은 임의의 적합한 메모리를 고려한다.
특정 실시예들에서, 저장소(606)는 데이터 또는 명령어들을 위한 대량 저장소를 포함한다. 제한이 아닌 일례로서, 저장소(606)는 하드 디스크 드라이브(HDD), 플로피 디스크 드라이브, 플래시 메모리, 광 디스크, 광자기 디스크, 자기 테이프, 또는 범용 직렬 버스(USB) 드라이브 또는 이들 중 둘 이상의 조합을 포함할 수 있다. 저장소(606)는 적절한 경우 제거 가능하거나 제거 불가능한(또는 고정된) 매체들을 포함할 수 있다. 저장소(606)는 적절한 경우 컴퓨터 시스템(600)의 내부 또는 외부에 있을 수 있다. 특정 실시예들에서, 저장소(606)는 비휘발성 솔리드 스테이트 메모리이다. 특정 실시예들에서, 저장소(606)는 판독 전용 메모리(ROM)를 포함한다. 적절한 경우, 이러한 ROM은 마스크-프로그래밍된 ROM, 프로그래밍가능 ROM(PROM), 소거가능 PROM(EPROM), 전기적으로 소거가능한 PROM(EEPROM), 전기적으로 변경가능한 ROM(EAROM), 또는 플래시 메모리 또는 이들 중 둘 이상의 조합일 수 있다. 본 발명은 임의의 적합한 물리적 형태를 취하는 대용량 기억 장치(606)를 고려한다. 저장소(606)는 적절한 경우 프로세서(602)와 저장소(606) 사이의 통신을 용이하게 하는 하나 이상의 저장 제어 유닛들을 포함할 수 있다. 적절한 경우, 저장소(606)는 하나 이상의 저장소들(606)을 포함할 수 있다. 본 발명이 특정 저장소를 기술하고 도시하지만, 본 발명은 임의의 적합한 저장소를 고려한다.
특정 실시예들에서, I/O 인터페이스(608)는 컴퓨터 시스템(600)과 하나 이상의 I/O 디바이스들 사이의 통신을 위한 하나 이상의 인터페이스들을 제공하는 하드웨어, 소프트웨어, 또는 둘 모두를 포함한다. 컴퓨터 시스템(600)은 적절한 경우 이들 I/O 디바이스들 중 하나 이상을 포함할 수 있다. 이러한 I/O 디바이스들 중 하나 이상은 사람과 컴퓨터 시스템(600) 사이의 통신을 가능하게 할 수 있다. 제한이 아닌 일례로서, I/O 디바이스는 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라, 스타일러스, 태블릿, 터치 스크린, 트랙볼, 비디오 카메라, 다른 적합한 I/O 디바이스 또는 이들 중 둘 이상의 조합을 포함할 수 있다. I/O 디바이스는 하나 이상의 센서들을 포함할 수 있다. 본 발명은 임의의 적합한 I/O 디바이스들 및 그들에 대한 임의의 적합한 I/O 인터페이스들(608)을 고려한다. 적절한 경우, I/O 인터페이스(608)는 프로세서(602)가 이들 I/O 디바이스들 중 하나 이상을 구동할 수 있게 하는 하나 이상의 디바이스 또는 소프트웨어 드라이버들을 포함할 수 있다. I/O 인터페이스(608)는 적절한 경우 하나 이상의 I/O 인터페이스들(608)을 포함할 수 있다. 본 발명이 특정 I/O 인터페이스를 기술하고 도시하지만, 본 발명은 임의의 적합한 I/O 인터페이스를 고려한다.
특정 실시예들에서, 통신 인터페이스(610)는 컴퓨터 시스템(600)과 하나 이상의 다른 컴퓨터 시스템들(600) 또는 하나 이상의 네트워크들 사이의 통신(예컨대, 예를 들어, 패킷 기반 통신)을 위한 하나 이상의 인터페이스들을 제공하는 하드웨어, 소프트웨어, 또는 둘 모두를 포함한다. 제한으로서가 아닌 일례로서, 통신 인터페이스(610)는 이더넷 또는 다른 유선-기반 네트워크와 통신하기 위한 네트워크 인터페이스 제어기(NIC) 또는 네트워크 어댑터, 또는 WI-FI 네트워크와 같은 무선 네트워크와 통신하기 위한 무선 NIC(WNIC) 또는 무선 어댑터를 포함할 수 있다. 본 발명은 임의의 적합한 네트워크 및 이를 위한 임의의 적합한 통신 인터페이스(610)를 고려한다. 제한으로서가 아닌 일례로서, 컴퓨터 시스템(600)은 애드혹 네트워크, 개인 영역 네트워크(PAN), 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 메트로폴리탄 영역 네트워크(MAN), 또는 인터넷의 하나 이상의 부분들, 또는 이들 중 둘 이상의 조합과 통신할 수 있다. 이들 네트워크들 중 하나 이상의 네트워크들의 하나 이상의 부분들은 유선 또는 무선일 수 있다. 일례로서, 컴퓨터 시스템(600)은 무선 PAN(WPAN)(예컨대, 예를 들어 블루투스 WPAN), Wi-Fi 네트워크, WI-MAX 네트워크, 셀룰러 전화 네트워크(예컨대, 예를 들어, GSM(Global System for Mobile Communications) 네트워크), 또는 다른 적합한 무선 네트워크 또는 이들 중 둘 이상의 조합과 통신할 수 있다. 컴퓨터 시스템(600)은 적절한 경우 이들 네트워크들 중 임의의 것을 위한 임의의 적합한 통신 인터페이스(610)를 포함할 수 있다. 통신 인터페이스(610)는 적절한 경우 하나 이상의 통신 인터페이스들(610)을 포함할 수 있다. 본 발명이 특정 통신 인터페이스를 기술하고 도시하지만, 본 발명은 임의의 적합한 통신 인터페이스를 고려한다.
특정 실시예들에서, 버스(612)는 컴퓨터 시스템(600)의 컴포넌트들을 서로 결합시키는 하드웨어, 소프트웨어, 또는 둘 모두를 포함한다. 제한이 아닌 일례로서, 버스(612)는 가속 그래픽 포트(AGP) 또는 다른 그래픽 버스, 향상된 산업 표준 아키텍처(Enhanced Industry Standard Architecture, EISA) 버스, 프론트-사이드 버스(FSB), 하이퍼트랜스포트(HT) 인터커넥트, 산업 표준 아키텍처(ISA) 버스, 인피니밴드(INFINIBAND) 인터커넥트, 로우-핀-카운트(LPC) 버스, 메모리 버스, 마이크로 채널 아키텍처(MCA) 버스, 주변장치 구성요소 인터커넥트(PCI) 버스, PCI-익스프레스(PCIe) 버스, 직렬 고급 기술 부착(SATA) 버스, 비디오 전자 장치 표준 협회 로컬(VLB) 버스, 또는 다른 적합한 버스 또는 이들 중 둘 이상의 조합을 포함할 수 있다. 버스(612)는 적절한 경우 하나 이상의 버스들(612)을 포함할 수 있다. 본 발명이 특정 버스를 기술하고 도시하지만, 본 발명은 임의의 적합한 버스 또는 인터커넥트를 고려한다.
본 명세서에서, 컴퓨터 판독가능 비일시적 저장 매체 또는 매체들은 적절한 경우 하나 이상의 반도체 기반 또는 다른 집적 회로(IC)들(예컨대, 예를 들어 필드-프로그램가능 게이트 어레이(FPGA) 또는 주문형 IC(ASIC)들), 하드 디스크 드라이브(HDD)들, 하이브리드 하드 드라이브(HHD)들, 광 디스크들, 광 디스크 드라이브(ODD)들, 광자기 디스크들, 광자기 드라이브들, 플로피 디스켓들, 플로피 디스크 드라이브(FDD)들, 자기 테이프들, 솔리드 스테이트 드라이브(SSD)들, RAM-드라이브들, 시큐어 디지털 카드들 또는 드라이브들, 임의의 다른 적합한 컴퓨터 판독가능 비일시적 저장 매체, 또는 이들 중 둘 이상의 임의의 적합한 조합을 포함할 수 있다. 컴퓨터 판독가능 비일시적 저장 매체는 적절한 경우 휘발성, 비휘발성, 또는 휘발성 및 비휘발성의 조합일 수 있다.
본 명세서에서, "또는" 은, 명백히 달리 나타내거나 문맥에 의해 달리 지시되지 않는 한, 포괄적이며 배타적이지 않다. 따라서, 본 명세서에서, "A 또는 B"는 명백히 달리 나타내거나 문맥에 의해 달리 지시되지 않는 한, "A, B, 또는 둘 모두"를 의미한다. 더욱이, "및" 은, 명백히 달리 나타내거나 문맥에 의해 달리 지시되지 않는 한, 공동이자 별개(joint and several) 둘 모두이다. 따라서, 본 명세서에서, "A 및 B"는 명백히 달리 나타내거나 문맥에 의해 달리 지시되지 않는 한, "공동으로 또한 별개로서의 A 및 B"를 의미한다.
본 발명의 범주는 본 명세서에 기술되거나 도시된 예시적인 실시예들에 대한 모든 변화들, 치환들, 변형들, 변경들, 및 수정들을 포괄하며 기술분야에서 통상의 지식을 가진 자는 이를 이해할 것이다. 본 발명의 범주는 본 명세서에 기술되거나 도시된 예시적인 실시예들로 제한되지 않는다. 더욱이, 본 발명은 특정 컴포넌트들, 요소들, 특징부, 기능들, 동작들, 또는 단계들을 포함하는 것으로 본 명세서의 각각의 실시예들을 설명하고 도시하지만, 이들 실시예들 중 임의의 것은 본 명세서의 어느 곳에서든 기술되거나 도시된 컴포넌트들, 요소들, 특징부들, 기능들, 동작들, 또는 단계들 중 임의의 것의 임의의 조합 또는 치환을 포함할 수 있으며 기술분야에서 통상의 지식을 가진 자는 이를 이해할 것이다. 또한, 첨부된 청구항들에 있어서, 특정 기능을 수행하도록 적응되거나, 배열되거나, 능력이 있거나(capable of), 구성되거나, 인에이블되거나, 작동가능하거나, 작동하는 장치 또는 시스템 또는 장치 또는 시스템의 컴포넌트에 대한 인용은, 그것이 또는 그러한 특정 기능이 활성화되거나, 켜지거나, 또는 잠금해제되거나 여부에 관계 없이, 그 장치, 시스템 또는 컴포넌트가 그렇게 적응되거나, 배열되거나, 능력이 있거나, 구성되거나, 인에이블되거나, 작동가능하거나, 작동하는 한, 그 장치, 시스템, 컴포넌트를 포괄한다. 또한, 본 발명이 특정 이점들을 제공하는 것으로서 특정 실시예들을 기술하거나 도시하지만, 특정 실시예들은 이들 이점들 중 어느 것도 제공하지 않거나, 일부 또는 전부를 제공할 수 있다.

Claims (20)

  1. 방법으로서,
    컴퓨팅 디바이스에 의해, 감각 입력을 검출하는 단계;
    상기 컴퓨팅 디바이스에 의해, 기계 학습 모델을 사용하여, 상기 기계 학습 모델과 연관된 하나 이상의 속성들을 식별하는 단계 - 상기 속성들은 상기 모델의 훈련에 따라 상기 감각 입력에 기초하여 식별됨 -; 및
    상기 컴퓨팅 디바이스에 의해, 상기 속성들을 출력으로서 제시하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 식별하는 단계는 상기 기계 학습 모델과 상호작용하는 추론 엔진에 의해 적어도 부분적으로 수행되는, 방법.
  3. 제1항 또는 제2항에 있어서, 상기 감각 입력은 카메라로부터 수신된 입력 이미지를 포함하고, 상기 기계 학습 모델은 상기 모델의 훈련에 따라 상기 입력 이미지 내의 입력 객체에 기초하여 상기 속성들을 식별하는, 방법.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 기계 학습 모델은 훈련 감각 입력을 상기 속성들과 연관시키는 훈련 데이터를 사용하여 적어도 부분적으로 훈련된 컨볼루션 신경망(convolutional neural network)을 포함하는, 방법.
  5. 제4항에 있어서, 상기 훈련 감각 입력은 훈련 객체를 포함하는 훈련 이미지를 포함하고, 상기 입력 객체는 상기 기계 학습 모델에 의해 상기 훈련 객체와 동일한 부류로 분류되는, 방법.
  6. 제4항에 있어서, 상기 훈련 감각 입력은 훈련 객체를 포함하는 훈련 이미지를 포함하고, 상기 입력 객체는 상기 기계 학습 모델에 의해 상기 훈련 객체와 동일한 객체로서 식별되는, 방법.
  7. 제4항 내지 제6항 중 어느 한 항에 있어서, 상기 식별하는 단계는 상기 컨볼루션 신경망을 상기 감각 입력에 적용하고 상기 컨볼루션 신경망으로부터 상기 속성들을 수신하는 단계를 포함하는, 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 감각 입력은 마이크로폰으로부터 수신된 오디오 데이터를 포함하고, 상기 속성들은 상기 모델의 훈련에 따라 상기 오디오 데이터 내에 인코딩된 사운드에 기초하여 식별되는, 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 속성들은 상기 기계 학습 모델과 연관된 출처(provenance) 정보를 포함하는, 방법.
  10. 제9항에 있어서, 상기 출처 정보는 버전 번호, 라이선스 정보, 또는 상기 추론 엔진의 소유자의 아이덴티티 중 하나 이상을 포함하는, 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 속성들은 상기 감각 입력과 연관된 액션을 특정하고, 상기 방법은,
    상기 컴퓨팅 디바이스에 의해, 상기 감각 입력과 연관된 상기 액션을 수행하는 단계를 더 포함하는, 방법.
  12. 제11항에 있어서, 상기 액션은 상기 기계 학습 모델의 하나 이상의 특징부들을 활성화시키는 것을 포함하며, 상기 특징부들은 상기 속성들에 의해 특정되는, 방법.
  13. 제11항 또는 제12항에 있어서, 상기 액션은 상기 기계 학습 모델의 하나 이상의 특징부들을 비활성화시키는 것을 포함하며, 상기 특징부들은 상기 속성들에 의해 특정되는, 방법.
  14. 제1항 내지 제13항 중 어느 한 항에 있어서, 상기 기계 학습 모델은 복수의 컨볼루션 층들을 포함하는 컨볼루션 신경망을 포함하며, 상기 컨볼루션 층들의 적어도 한 쌍은 채널들의 정렬된 세트와 연관되고, 상기 방법은,
    상기 컴퓨팅 디바이스에 의해, 상기 채널들 중 적어도 2개가 상기 정렬된 세트 내의 상이한 위치들로 이동되도록 상기 채널들의 세트의 상기 정렬을 변경하는 단계를 더 포함하는, 방법.
  15. 제14항에 있어서, 상기 정렬을 변경하는 단계는 상기 채널들 중의 상기 적어도 2개의 채널들과 연관된 가중치 값들을 상기 정렬된 세트 내의 상기 상이한 위치들로 이동시키는 단계를 포함하는, 방법.
  16. 소프트웨어를 구현하는 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체들로서, 상기 소프트웨어는, 실행될 때:
    감각 입력을 검출하고;
    기계 학습 모델을 사용하여, 상기 기계 학습 모델과 연관된 하나 이상의 속성들을 식별하고 - 상기 속성들은 상기 모델의 훈련에 따라 상기 감각 입력에 기초하여 식별됨 -;
    상기 속성들을 출력으로서 제시하도록 작동가능한, 컴퓨터 판독가능 비일시적 저장 매체들.
  17. 제16항에 있어서, 상기 감각 입력은 카메라로부터 수신된 입력 이미지를 포함하고, 상기 기계 학습 모델은 상기 모델의 훈련에 따라 상기 입력 이미지 내의 입력 객체에 기초하여 상기 속성들을 식별하는, 컴퓨터 판독가능 비일시적 저장 매체들.
  18. 제16항 또는 제17항에 있어서, 상기 기계 학습 모델은 훈련 감각 입력을 상기 속성들과 연관시키는 훈련 데이터를 사용하여 적어도 부분적으로 훈련된 컨볼루션 신경망을 포함하는, 컴퓨터 판독가능 비일시적 저장 매체들.
  19. 시스템으로서,
    하나 이상의 프로세서들;
    입력 디바이스;
    출력 디바이스; 및
    상기 프로세서들 중 하나 이상에 결합되고 명령어들을 포함하는 하나 이상의 컴퓨터 판독가능 비일시적 저장 매체들을 포함하며, 상기 명령어들은, 상기 프로세서들 중 하나 이상에 의해 실행될 때, 상기 시스템으로 하여금:
    상기 입력 디바이스에 의해, 감각 입력을 검출하고;
    기계 학습 모델을 사용하여, 상기 기계 학습 모델과 연관된 하나 이상의 속성들을 식별하고 - 상기 속성들은 상기 모델의 훈련에 따라 상기 감각 입력에 기초하여 식별됨 -;
    상기 출력 디바이스에 의해, 상기 속성들을 제시하게 하도록 작동가능한, 시스템.
  20. 제19항에 있어서, 상기 감각 입력은 카메라로부터 수신된 입력 이미지를 포함하고, 상기 기계 학습 모델은 상기 모델의 훈련에 따라 상기 입력 이미지 내의 입력 객체에 기초하여 상기 속성들을 식별하는, 시스템.
KR1020217020447A 2018-12-10 2019-12-10 기계 학습 모델들의 디지털 워터마킹 KR102583456B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/215,544 US11042611B2 (en) 2018-12-10 2018-12-10 Digital watermarking of machine-learning models
US16/215,544 2018-12-10
PCT/US2019/065536 WO2020123548A1 (en) 2018-12-10 2019-12-10 Digital watermarking of machine-learning models

Publications (2)

Publication Number Publication Date
KR20210107701A true KR20210107701A (ko) 2021-09-01
KR102583456B1 KR102583456B1 (ko) 2023-09-27

Family

ID=70971666

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217020447A KR102583456B1 (ko) 2018-12-10 2019-12-10 기계 학습 모델들의 디지털 워터마킹

Country Status (6)

Country Link
US (2) US11042611B2 (ko)
EP (1) EP3853771A4 (ko)
KR (1) KR102583456B1 (ko)
CN (1) CN112997195A (ko)
AU (1) AU2019396427B2 (ko)
WO (1) WO2020123548A1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11144316B1 (en) 2018-04-17 2021-10-12 Ali Tasdighi Far Current-mode mixed-signal SRAM based compute-in-memory for low power machine learning
US11514361B2 (en) * 2019-08-30 2022-11-29 International Business Machines Corporation Automated artificial intelligence radial visualization
US11521121B2 (en) * 2019-09-12 2022-12-06 Adobe Inc. Encoding machine-learning models and determining ownership of machine-learning models
US10915298B1 (en) 2019-10-08 2021-02-09 Ali Tasdighi Far Current mode multiply-accumulate for compute in memory binarized neural networks
CN112750064A (zh) 2019-10-29 2021-05-04 阿里巴巴集团控股有限公司 一种水印信息嵌入方法以及装置
US11363002B2 (en) 2019-12-13 2022-06-14 TripleBlind, Inc. Systems and methods for providing a marketplace where data and algorithms can be chosen and interact via encryption
US11973743B2 (en) 2019-12-13 2024-04-30 TripleBlind, Inc. Systems and methods for providing a systemic error in artificial intelligence algorithms
US11431688B2 (en) 2019-12-13 2022-08-30 TripleBlind, Inc. Systems and methods for providing a modified loss function in federated-split learning
US11615256B1 (en) 2019-12-30 2023-03-28 Ali Tasdighi Far Hybrid accumulation method in multiply-accumulate for machine learning
US11610104B1 (en) 2019-12-30 2023-03-21 Ali Tasdighi Far Asynchronous analog accelerator for fully connected artificial neural networks
US11809531B2 (en) * 2020-02-03 2023-11-07 Nxp B.V. Method for watermarking a machine learning model
CA3195434A1 (en) * 2020-10-13 2022-04-21 Gharib GHARIBI Systems and methods for providing a systemic error in artificial intelligence algorithms
US11699208B2 (en) 2021-03-12 2023-07-11 Nxp B.V. Method for watermarking a machine learning model
US20220300842A1 (en) * 2021-03-17 2022-09-22 Laurent CHARETTE System and method for ai model watermarking
CN113902121B (zh) * 2021-07-15 2023-07-21 陈九廷 一种电池劣化推测装置校验的方法、装置、设备及介质
US20230068502A1 (en) * 2021-08-30 2023-03-02 Disney Enterprises, Inc. Multi-Modal Content Based Automated Feature Recognition
CN114091690A (zh) * 2021-11-25 2022-02-25 支付宝(杭州)信息技术有限公司 联邦学习模型的训练方法和调用方法以及联邦学习系统
CN114630130B (zh) * 2022-03-17 2024-05-03 北京影数科技有限公司 一种基于深度学习的换脸视频溯源方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150055855A1 (en) * 2013-08-02 2015-02-26 Digimarc Corporation Learning systems and methods
US20150072728A1 (en) * 2009-10-28 2015-03-12 Digimarc Corporation Smartphone-based methods and systems
US20180107887A1 (en) * 2016-10-14 2018-04-19 ID Metrics Group Incorporated Tamper detection for identification documents

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7334729B2 (en) 2006-01-06 2008-02-26 International Business Machines Corporation Apparatus, system, and method for optical verification of product information
US8494909B2 (en) 2009-02-09 2013-07-23 Datalogic ADC, Inc. Automatic learning in a merchandise checkout system with visual recognition
US8121618B2 (en) * 2009-10-28 2012-02-21 Digimarc Corporation Intuitive computing methods and systems
US8320633B2 (en) 2009-11-27 2012-11-27 Ncr Corporation System and method for identifying produce
US20160321523A1 (en) 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
US10007863B1 (en) * 2015-06-05 2018-06-26 Gracenote, Inc. Logo recognition in images and videos
US10255522B2 (en) * 2016-06-17 2019-04-09 Facebook, Inc. Generating object proposals using deep-learning models
US10489680B2 (en) * 2016-10-04 2019-11-26 Magic Leap, Inc. Efficient data layouts for convolutional neural networks
US10346723B2 (en) * 2016-11-01 2019-07-09 Snap Inc. Neural network for object detection in images
US10289925B2 (en) * 2016-11-29 2019-05-14 Sap Se Object classification in image data using machine learning models
EP3336774B1 (en) * 2016-12-13 2020-11-25 Axis AB Method, computer program product and device for training a neural network
US10586111B2 (en) * 2017-01-13 2020-03-10 Google Llc Using machine learning to detect which part of the screen includes embedded frames of an uploaded video
US10496895B2 (en) * 2017-03-28 2019-12-03 Facebook, Inc. Generating refined object proposals using deep-learning models
US10572773B2 (en) * 2017-05-05 2020-02-25 Intel Corporation On the fly deep learning in machine learning for autonomous machines
US10388002B2 (en) * 2017-12-27 2019-08-20 Facebook, Inc. Automatic image correction using machine learning
CN112384947A (zh) * 2017-12-28 2021-02-19 英特尔公司 视觉雾
US10719744B2 (en) * 2017-12-28 2020-07-21 Intel Corporation Automated semantic inference of visual features and scenes
US10817710B2 (en) * 2018-01-12 2020-10-27 Sensormatic Electronics, LLC Predictive theft notification
US11941719B2 (en) * 2018-01-23 2024-03-26 Nvidia Corporation Learning robotic tasks using one or more neural networks
US11030466B2 (en) * 2018-02-11 2021-06-08 Nortek Security & Control Llc License plate detection and recognition system
US20190286938A1 (en) * 2018-03-13 2019-09-19 Recogni Inc. Real-to-synthetic image domain transfer
US10922585B2 (en) * 2018-03-13 2021-02-16 Recogni Inc. Deterministic labeled data generation and artificial intelligence training pipeline
US10388157B1 (en) * 2018-03-13 2019-08-20 Allstate Insurance Company Processing system having a machine learning engine for providing a customized driving assistance output
US10789755B2 (en) * 2018-04-03 2020-09-29 Sri International Artificial intelligence in interactive storytelling
US10580164B2 (en) * 2018-04-05 2020-03-03 Microsoft Technology Licensing, Llc Automatic camera calibration
US11132444B2 (en) * 2018-04-16 2021-09-28 International Business Machines Corporation Using gradients to detect backdoors in neural networks
US11669914B2 (en) * 2018-05-06 2023-06-06 Strong Force TX Portfolio 2018, LLC Adaptive intelligence and shared infrastructure lending transaction enablement platform responsive to crowd sourced information
US20220366494A1 (en) * 2018-05-06 2022-11-17 Strong Force TX Portfolio 2018, LLC Market orchestration system for facilitating electronic marketplace transactions
US20210342836A1 (en) * 2018-05-06 2021-11-04 Strong Force TX Portfolio 2018, LLC Systems and methods for controlling rights related to digital knowledge
US10692496B2 (en) * 2018-05-22 2020-06-23 Google Llc Hotword suppression
US10909401B2 (en) * 2018-05-29 2021-02-02 Sri International Attention-based explanations for artificial intelligence behavior
US11210823B1 (en) * 2018-06-04 2021-12-28 Swoop Inc. Systems and methods for attributing value to data analytics-driven system components
US11163860B2 (en) * 2018-06-04 2021-11-02 International Business Machines Corporation Protecting deep learning models using watermarking
DE102019205079A1 (de) * 2018-06-19 2019-12-19 Robert Bosch Gmbh Selektive Deaktivierung von Recheneinheiten für künstliche neuronale Netzwerke
US10733292B2 (en) * 2018-07-10 2020-08-04 International Business Machines Corporation Defending against model inversion attacks on neural networks
US20200019864A1 (en) * 2018-07-11 2020-01-16 Deepbrain Chain, Inc. Systems and methods for artificial-intelligence-based automated object identification and manipulation
US11386295B2 (en) * 2018-08-03 2022-07-12 Cerebri AI Inc. Privacy and proprietary-information preserving collaborative multi-party machine learning
US10769428B2 (en) * 2018-08-13 2020-09-08 Google Llc On-device image recognition
US20200065881A1 (en) * 2018-08-21 2020-02-27 Bite Inc. Retail Ordering System With Facial Recognition
EP3635575A1 (en) * 2018-08-21 2020-04-15 Google LLC. Sibling search queries
US20200082272A1 (en) * 2018-09-11 2020-03-12 International Business Machines Corporation Enhancing Data Privacy in Remote Deep Learning Services
CN112449703B (zh) * 2018-09-21 2024-07-23 华为技术有限公司 在设备中的神经网络模型的量化方法和装置
US11556846B2 (en) * 2018-10-03 2023-01-17 Cerebri AI Inc. Collaborative multi-parties/multi-sources machine learning for affinity assessment, performance scoring, and recommendation making
US11526586B2 (en) * 2018-10-04 2022-12-13 Broadbandtv Corp. Copyright detection in videos based on channel context
US20200151672A1 (en) * 2018-11-09 2020-05-14 Microsoft Technology Licensing, Llc Ranking job recommendations based on title preferences
US10740615B2 (en) * 2018-11-20 2020-08-11 Uber Technologies, Inc. Mutual augmented reality experience for users in a network system
US10504504B1 (en) * 2018-12-07 2019-12-10 Vocalid, Inc. Image-based approaches to classifying audio data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150072728A1 (en) * 2009-10-28 2015-03-12 Digimarc Corporation Smartphone-based methods and systems
US20150055855A1 (en) * 2013-08-02 2015-02-26 Digimarc Corporation Learning systems and methods
US20180107887A1 (en) * 2016-10-14 2018-04-19 ID Metrics Group Incorporated Tamper detection for identification documents

Also Published As

Publication number Publication date
US20200184044A1 (en) 2020-06-11
US11893486B2 (en) 2024-02-06
US20220050888A1 (en) 2022-02-17
EP3853771A4 (en) 2022-07-06
KR102583456B1 (ko) 2023-09-27
US11042611B2 (en) 2021-06-22
WO2020123548A1 (en) 2020-06-18
AU2019396427B2 (en) 2022-11-17
CN112997195A (zh) 2021-06-18
EP3853771A1 (en) 2021-07-28
AU2019396427A1 (en) 2021-04-29

Similar Documents

Publication Publication Date Title
KR102583456B1 (ko) 기계 학습 모델들의 디지털 워터마킹
US11163860B2 (en) Protecting deep learning models using watermarking
US10402986B2 (en) Unsupervised video segmentation
Jana et al. A scanner darkly: Protecting user privacy from perceptual applications
US10817314B1 (en) Augmented shareable video files for robotic process automation
EP3812937A1 (en) System and method for protection and detection of adversarial attacks against a classifier
US10963645B2 (en) Bi-directional contextualized text description
Li et al. Deep learning backdoors
WO2016043734A1 (en) Neural network verification
US20220188706A1 (en) Systems and methods for generating and applying a secure statistical classifier
US12105837B2 (en) Generating private synthetic training data for training machine-learning models
KR101963756B1 (ko) 소프트웨어 취약점 예측 모델 학습 장치 및 방법, 소프트웨어 취약점 분석 장치 및 방법
US10755171B1 (en) Hiding and detecting information using neural networks
US20230005122A1 (en) Image forgery detection via pixel-metadata consistency analysis
US20220343020A1 (en) Machine Learning Model-Based Content Anonymization
KR20210149530A (ko) 이미지 분류 모델 학습 방법 및 이를 수행하기 위한 장치
US11715043B2 (en) Semantics preservation for machine learning models deployed as dependent on other machine learning models
Hu et al. On digital image trustworthiness
Kapusta et al. Protecting ownership rights of ML models using watermarking in the light of adversarial attacks
KR102299158B1 (ko) 신뢰 예측 분석 실행 미들웨어
US11521121B2 (en) Encoding machine-learning models and determining ownership of machine-learning models
Pruksachatkun et al. Practicing trustworthy machine learning
US20210176342A1 (en) Secure remote workspace
KR20220154576A (ko) 위변조 이미지 판정 모델의 학습 방법 및 그 장치
KR20220052223A (ko) 객체 감지를 위한 라벨링 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right