KR20220054410A - 국부적으로 해석 가능한 모델에 기반한 강화 학습 - Google Patents

국부적으로 해석 가능한 모델에 기반한 강화 학습 Download PDF

Info

Publication number
KR20220054410A
KR20220054410A KR1020227010816A KR20227010816A KR20220054410A KR 20220054410 A KR20220054410 A KR 20220054410A KR 1020227010816 A KR1020227010816 A KR 1020227010816A KR 20227010816 A KR20227010816 A KR 20227010816A KR 20220054410 A KR20220054410 A KR 20220054410A
Authority
KR
South Korea
Prior art keywords
training
model
training samples
auxiliary
sample
Prior art date
Application number
KR1020227010816A
Other languages
English (en)
Inventor
세르칸 오메르 아리크
윤진성
토마스 존 피스터
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20220054410A publication Critical patent/KR20220054410A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2115—Selection of the most significant subset of features by evaluating different subsets according to an optimisation criterion, e.g. class separability, forward selection or backward elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G06K9/6231—
    • G06K9/6257—
    • G06K9/6265—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G06N7/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Medical Informatics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)

Abstract

국부적으로 해석 가능한 모델(190)을 트레이닝하는 방법(300)은 트레이닝 샘플(130)의 세트를 획득하는 단계, 및 트레이닝 샘플의 세트를 사용하여 블랙-박스 모델(120)을 트레이닝하는 단계를 포함한다. 방법은 또한 트레이닝된 블랙-박스 모델 및 트레이닝 샘플의 세트를 사용하여, 보조 트레이닝 샘플(140)의 세트를 생성하는 단계 및 보조 트레이닝 샘플의 세트를 사용하여 기준 해석 가능한 모델(150)을 트레이닝하는 단계를 포함한다. 방법은 또한 보조 트레이닝 샘플의 세트 및 기준 해석 가능한 모델을 사용하여, 인스턴스별 가중치 추정기 모델(160)을 트레이닝하는 단계를 포함한다. 방법은 또한 각 보조 트레이닝 샘플에 대해, 트레이닝된 인스턴스별 가중치 추정기 모델을 사용하여 보조 트레이닝 샘플에 대한 선택 확률(170)을 결정하는 단계를 포함한다. 방법은 또한 선택 확률에 기초하여 보조 트레이닝 샘플의 서브세트(140S)을 선택하는 단계와 보조 트레이닝 샘플의 서브세트를 사용하여 국부적으로 해석 가능한 모델을 트레이닝하는 단계를 포함한다.

Description

국부적으로 해석 가능한 모델에 기반한 강화 학습
본 발명은 국부적으로 해석 가능한 모델에 기반한 강화 학습에 관한 것이다.
인공 지능은 특히 심층 신경망과 앙상블 방법의 발전으로 인해 빠른 속도로 발전하고 있다. 이러한 발전은, 많은 파라미터 간의 복잡한 비선형 상호작용으로 의사 결정을 제어하는 '블랙 박스(black-box)' 기계 학습 모델에 의해 촉진되었다. 이러한 복잡한 상호작용은 기계 학습 모델을 사용하는 사용자로 하여금 모델을 이해하고 해석하기 어렵게 한다. 다수의 실제 응용에서 기계 학습 모델은 성능이 좋을 뿐만 아니라 해석 가능해야 한다. 종종, 높은 수준의 해석 가능성을 가진 기계 학습 모델이 성능 저하로 어려움을 겪는 경우, 기계 학습 모델의 성능과 해석 가능성 간의 균형이 필요하다.
본 개시의 실시예는, 국부적으로 해석 가능한 모델에 기반한 강화 학습에 대한 방법을 제공한다. 방법은 데이터 처리 하드웨어에 의해, 트레이닝 샘플의 세트를 획득하는 단계 및 트레이닝 샘플의 세트를 사용하여 블랙-박스 모델을 트레이닝하는 단계를 포함한다. 또한, 방법은 트레이닝된 블랙-박스 모델 및 트레이닝 샘플의 세트를 사용하여, 보조 트레이닝 샘플의 세트를 생성하는 단계를 포함한다. 또한, 방법은 데이터 처리 하드웨어에 의해, 상기 보조 트레이닝 샘플의 세트를 사용하여 기준 해석 가능한 모델을 트레이닝하는 단계 및 보조 트레이닝 샘플의 세트 및 상기 기준 해석 가능한 모델을 사용하여 인스턴스별 가중치 추정기 모델을 트레이닝하는 단계를 포함한다. 방법은 데이터 처리 하드웨어에 의해, 보조 트레이닝 샘플 세트의 각 보조 트레이닝 샘플에 대해, 트레이닝된 인스턴스별 가중치 추정기 모델을 사용하여 보조 트레이닝 샘플에 대한 선택 확률을 결정하는 단계를 포함한다. 또한, 방법은 데이터 처리 하드웨어에 의해, 선택 확률에 기초하여 보조 트레이닝 샘플의 세트로부터 보조 트레이닝 샘플의 서브세트를 선택하는 단계 및 보조 트레이닝 샘플의 서브세트를 사용하여 국부적으로 해석 가능한 모델을 트레이닝하는 단계를 포함한다.
본 개시의 실시예는 다음 선택적 특징들 중 하나 이상을 포함할 수 있다. 일부 구현 예에서, 인스턴스별 가중치 추정기 모델을 트레이닝하는 단계는 강화 신호를 결정하는 단계 및 강화 신호에 기초하여 인스턴스별 가중치 추정기 모델을 업데이트하는 단계를 포함한다. 강화 신호를 결정하는 단계는 손실 함수에 기초하여 국부적으로 해석 가능한 모델에 대한 제1 손실 데이터를 결정하는 단계, 손실 함수에 기초하여 국부적으로 해석 가능한 모델에 대한 제2 손실 데이터를 결정하는 단계, 및 국부적으로 해석 가능한 모델에 대한 제1 손실 데이터 및 기준 해석 가능한 모델에 대한 제2 손실 데이터에 기초하여 강화 신호를 결정하는 단계를 포함할 수 있다.
보조 트레이닝 샘플의 세트로부터 보조 트레이닝 샘플의 서브세트를 선택하는 단계는 보조 트레이닝 샘플 세트의 각 보조 트레이닝 샘플에 대해, 선택 확률에 기초하여 선택 또는 선택 없음을 나타내는 대응하는 선택 값을 결정하는 단계를 포함할 수 있다. 대응하는 선택 값이 선택을 나타내는 경우 보조 트레이닝 샘플을 보조 트레이닝 샘플의 서브세트에 추가한다. 일부 구현 예에서, 각 보조 트레이닝 샘플에 대해, 보조 트레이닝 샘플에 대한 선택 확률을 결정하는 단계는 인스턴스별 가중치 추정기 모델에서 검증 샘플을 수신하는 단계와 인스턴스별 가중치 추정기 모델에 의해, 검증 샘플에 기초하여 선택 확률을 결정하는 단계를 포함한다.
일부 구현 예에서, 방법은 인스턴스별 가중치 추정기 모델을 트레이닝하는 단계의 수행 후, 인스턴스별 가중치 추정기 모델에서 검증 샘플을 수신하는 단계 및 인스턴스별 가중치 추정기 모델에 의해 선택 확률을 생성하는 단계를 더 포함한다. 이러한 구현 예에서, 방법은 검증 샘플 및 보조 트레이닝 샘플 세트의 각 보조 트레이닝 샘플에 대한 선택 확률에 기초하여 국부적으로 해석 가능한 모델을 트레이닝하는 단계를 더 포함한다. 선택적으로, 블랙-박스 모델을 트레이닝하는 단계는 평균 제곱 오차 손실 함수 또는 교차 엔트로피 손실 함수를 최소화하는 단계를 포함할 수 있다.
트레이닝 샘플의 세트의 각 트레이닝 샘플은 트레이닝 데이터 및 주어진 라벨을 포함할 수 있다. 일부 예에서, 보조 트레이닝 샘플의 세트를 생성하는 단계는, 트레이닝 샘플의 세트의 각 트레이닝 샘플에 대해, 트레이닝 샘플의 트레이닝 데이터를 사용하여 트레이닝된 블랙-박스 모델로부터의 트레이닝 데이터에 대한 예측 라벨을 획득하는 단계, 트레이닝 데이터 및 예측 라벨을 보조 트레이닝 샘플에 결합하는 단계, 및 보조 트레이닝 샘플을 보조 트레이닝 샘플의 세트에 추가하는 단계를 포함할 수 있다.
일부 구현 예에서, 인스턴스별 가중치 추정기 모델을 트레이닝하는 단계는 프로브 트레이닝 샘플의 세트를 획득하는 단계, 프로브 트레이닝 샘플의 세트의 각 프로브 트레이닝 샘플에 대해, 선택 확률을 결정하는 단계를 포함한다. 이러한 구현 예에서, 각 프로브 트레이닝 샘플의 선택 확률에 기초하여 인스턴스별 선택 벡터를 결정하는 단계, 인스턴스별 선택 벡터에 기초하여 국부적으로 해석 가능한 모델을 최적화하는 단계, 및 최적화된 국부적으로 해석 가능한 모델로부터의 손실 데이터에 기초하여 인스턴스별 가중치 추정기 모델을 업데이트하는 단계를 포함한다.
본 개시의 또 다른 실시예는 국부적으로 해석 가능한 모델에 기반한 강화 학습을 위한 시스템을 제공한다. 시스템은 데이터 처리 하드웨어 및 데이터 처리 하드웨어와 통신하는 메모리 하드웨어를 포함한다. 메모리 하드웨어는 데이터 처리 하드웨어상에서 실행될 때 데이터 처리 하드웨어가 동작들을 수행하게 하는 명령을 저장한다. 동작들은 트레이닝 샘플의 세트를 획득하는 단계 및 트레이닝 샘플의 세트를 사용하여 블랙-박스 모델을 트레이닝하는 단계를 포함한다. 동작들은 또한 트레이닝된 블랙-박스 모델 및 트레이닝 샘플의 세트를 사용하여 보조 트레이닝 샘플의 세트를 생성하는 단계를 포함한다. 동작들은 또한 보조 트레이닝 샘플의 세트를 사용하여 기준 해석 가능한 모델을 트레이닝하는 단계 및 보조 트레이닝 샘플의 세트와 기준 해석 가능한 모델을 사용하여 인스턴스별 가중치 추정기 모델을 트레이닝하는 단계를 포함한다. 보조 트레이닝 샘플 세트의 각 보조 트레이닝 샘플에 대해, 동작들은 트레이닝된 인스턴스별 가중치 추정기 모델을 사용하여 보조 트레이닝 샘플에 대한 선택 확률을 결정하는 단계를 포함한다. 동작들은 선택 확률에 기초하여, 보조 트레이닝 샘플의 세트로부터 보조 트레이닝 샘플의 서브세트를 선택하는 단계 및 보조 트레이닝 샘플의 서브세트를 사용하여 국부적으로 해석 가능한 모델을 트레이닝하는 단계를 포함한다.
이러한 실시 예는 다음의 선택적 특징들 중 하나 이상을 포함할 수 있다. 일부 구현 예에서, 인스턴스별 가중치 추정기 모델을 트레이닝하는 단계는 강화 신호를 결정하는 단계 및 강화 신호에 기초하여 인스턴스별 가중치 추정기 모델을 업데이트하는 단계를 포함한다. 강화 신호를 결정하는 단계는 손실 함수에 기초하여 국부적으로 해석 가능한 모델에 대한 제1 손실 데이터를 결정하는 단계, 손실 함수에 기초하여 국부적으로 해석 가능한 모델에 대한 제2 손실 데이터를 결정하는 단계, 및 국부적으로 해석 가능한 모델에 대한 제1 손실 데이터와 기준 해석 가능한 모델에 대한 제2손실 데이터에 기초하여 강화 신호를 결정하는 단계를 포함할 수 있다.
보조 트레이닝 샘플의 세트로부터 보조 트레이닝 샘플의 서브세트를 선택하는 단계는, 보조 트레이닝 샘플 세트의 각 보조 트레이닝 샘플에 대해, 선택 확률에 기초하여 선택 또는 선택 없음을 나타내는 대응하는 선택 값을 결정하는 단계를 포함할 수 있다. 대응하는 선택 값이 선택을 나타내는 경우 보조 트레이닝 샘플을 보조 트레이닝 샘플의 서브세트에 추가한다. 일부 예에서, 각 보조 트레이닝 샘플에 대해, 보조 트레이닝 샘플에 대한 선택 확률을 결정하는 단계는 인스턴스별 가중치 추정기 모델에서 검증 샘플을 수신하는 단계 및 인스턴스별 가중치 추정기 모델에 의해, 검증 샘플에 기초하여 선택 확률을 결정하는 단계를 포함한다.
일부 구현 예에서, 동작들은 인스턴스별 가중치 추정기 모델을 트레이닝한 후, 인스턴스별 가중치 추정기 모델에서 검증 샘플을 수신하는 단계와 인스턴스별 가중치 추정기 모델에 의해 선택 확률을 생성하는 단계를 더 포함한다. 이러한 구현 예에서, 동작들은 검증 샘플 및 보조 트레이닝 샘플 세트의 각 보조 트레이닝 샘플에 대한 선택 확률에 기초하여 국부적으로 해석 가능한 모델을 트레이닝하는 단계를 포함한다. 선택적으로, 블랙-박스 모델을 트레이닝하는 단계는, 평균 제곱 오차 손실 함수 또는 교차 엔트로피 손실 함수를 최소화하는 단계를 더 포함할 수 있다.
트레이닝 샘플의 세트의 각 트레이닝 샘플은 트레이닝 데이터 및 주어진 라벨을 포함할 수 있다. 일부 예에서, 보조 트레이닝 샘플의 세트를 생성하는 단계는 트레이닝 샘플의 세트의 각 트레이닝 샘플에 대해, 트레이닝 샘플의 트레이닝 데이터를 사용하여, 트레이닝된 블랙-박스 모델로부터 트레이닝 데이터에 대한 예측 라벨을 획득하는 단계, 트레이닝 데이터 및 예측 라벨을 보조 트레이닝 샘플에 결합하는 단계, 및 보조 트레이닝 샘플을 보조 트레이닝 샘플의 세트에 추가하는 단계를 포함한다.
일부 구현 예에서, 인스턴스별 가중치 추정기 모델을 트레이닝하는 단계는, 프로브 트레이닝 샘플의 세트를 획득하는 단계, 프로브 트레이닝 샘플의 세트의 각 프로브 트레이닝 샘플에 대해, 선택 확률을 결정하는 단계를 포함한다. 이러한 구현 예에서, 각 프로브 트레이닝 샘플의 선택 확률에 기초하여 인스턴스별 선택 벡터를 결정하는 단계, 인스턴스별 선택 벡터에 기초하여 국부적으로 해석 가능한 모델을 최적화하는 단계, 최적화된 국부적으로 해석 가능한 모델로부터의 손실 데이터에 기초하여 인스턴스별 가중치 추정기 모델을 업데이트하는 단계를 포함한다.
본 개시의 하나 이상의 구현 예의 세부사항은 첨부된 도면과 이하의 상세한 설명에 개시된다. 그 밖의 다른 실시 예, 특징, 및 장점은 이하의 상세한 설명 및 도면, 및 특허청구범위로부터 자명할 것이다.
도 1은 국부적으로 해석 가능한 모델을 트레이닝하기 위한 예시적 시스템의 개략도이다.
도 2a-2e는 국부적으로 해석 가능한 모델을 트레이닝하기 위한 도 1의 시스템의 예시적 구성요소의 개략도이다.
도 3은 국부적으로 해석 가능한 모델을 트레이닝하는 방법에 대한 예시적 동작 배열의 흐름도이다.
도 4는 여기에 설명된 시스템 및 방법을 구현하는 데 사용될 수 있는 예시적 컴퓨팅 장치의 개략도이다.
여러 도면에서 동일한 참조 부호는 동일한 구성요소를 나타낸다.
많은 실제 응용 분야에서 인공 지능(AI) 시스템은 원활하게 수행되야할 뿐만 아니라 해석 가능해야 한다. 예를 들어, 의사들은 특정 치료를 권장받는 이유를 이해해야 하며 금융 기관은 대출이 거부된 이유를 이해해야 한다. 종종, AI 시스템에서는 시스템의 성능과 해석가능성 간의 균형이 필요하다. 특히, 모델 동작 전체를 설명하려는 전역(globally) 해석 가능한 모델은, 일반적으로 블랙-박스 모델보다 성능이 상당히 떨어진다. 그러나, 전역 해석 가능한 모델의 더 나은 대안으로 국부적으로 해석 가능한 모델이 포함될 수 있다.
국부적으로 해석 가능한 모델은 모델 내의 단일 예측을 설명하는 반면, 전역 해석 가능한 모델은 모델 전체를 설명하려고 한다. 전역 해석 가능한 모델이 본질적으로 해석 가능한 단일의 모델을 트레이닝 세트 전체에 맞추려고 하는 반면, 국부적으로 해석 가능한 모델은 고성능 블랙-박스 모델로부터 지식을 추출하여 본질적으로 해석 가능한 모델을 부분적으로 맞추는 것을 목표로 한다. 국부적으로 해석 가능한 모델은 사용자에게 간결하고 사람-같은 설명을 제공하는 데 유용할 수 있다. 성능을 최적화하기 위해, 국부적으로 해석 가능한 모델은: (i) 전체 예측 성능 및 (ii) 충실도(fidelity)라는 두 가지 목적을 최대화해야 한다. 전반적으로 예측 성능은 국부적으로 해석 가능한 모델이 정답 라벨과 비교하여 얼마나 결과를 잘 예측하는지를 나타낸다. 충실도는 국부적으로 해석 가능한 모델이 블랙-박스 모델 예측에 얼마나 근접한지를 나타낸다. 국부적으로 해석 가능한 모델의 근본적인 문제 중 하나는 디스틸레이션(distillation)를 적용하는 동안 표현 능력의 차이에 있다. 즉, 블랙-박스 기계 학습 모델은 국부적으로 해석 가능한 모델보다 훨씬 더 큰 표현 능력을 가지고 있다. 국부적으로 해석 가능한 모델의 표현 능력이 낮으면 기존의 디스틸레이션 기술에 과소적합을 초래하여, 최적의 성능이 나오지 않을 수 있다.
본 명세서의 구현 예들은 국부적으로 해석 가능한 모델(RL-LIM)에 적합한 강화 학습 기반의 방법을 제공하는 모델 트레이너에 관한 것이다. RL-LIM은 국부적으로 해석 가능한 모델에 가장 적합한 값을 제공하는 소수의 샘플로 트레이닝함으로써 국부적으로 해석 가능한 모델의 작은 표현 능력을 효율적으로 활용한다. 가장 적합한 값의 샘플 또는 인스턴스를 선택하기 위해, 모델 트레이너는 충실도 메트릭를 수량화하는 강화 신호를 사용하여 인스턴스별 가중치 추정기를 트레이닝한다. 하이-밸류 인스턴스를 선택하면 블랙-박스 모델 예측과 매우 유사한 예측이 보상(reward)으로 제공된다. 하이-밸류 트레이닝 인스턴스만을 선택하여 국부적으로 해석 가능한 모델을 트레이닝하면, 블랙-박스 모델의 성능과 거의 일치하게 되고 전반적인 예측 성능 및 충실도 메트릭 측면에서도 대체 기술보다 훨씬 뛰어난 성능을 나타낸다.
이제 도 1을 참조하면, 일부 구현 예에서 예시적 시스템(100)은 처리 시스템(10)을 포함한다. 처리 시스템(10)은 단일 컴퓨터, 다중 컴퓨터, 또는 고정 또는 확장 가능/탄력적 컴퓨팅 리소스(12) (예, 데이터 처리 하드웨어)를 갖는 분산 시스템(예를 들어, 클라우드 환경) 및/또는 스토리지 리소스(14)(예, 메모리 하드웨어) 일 수 있다. 처리 시스템(10)은 국부적으로 해석 가능한 모델 트레이너(110)를 실행한다. 모델 트레이너(110)는 블랙-박스 모델(120) 및 국부적으로 해석 가능한 모델(190)을 트레이닝한다. 블랙-박스 모델(120)은 설명될 수 있는 어떠한 기계 학습 모델이라도 포함할 수 있다. 예를 들어, 블랙-박스 모델(120)은 심층 신경망(DNN) 또는 결정 트리 기반의 앙상블 방식일 수 있다. 국부적으로 해석 가능한 모델(190)은 블랙-박스 모델(120)의 단일 예측을 설명한다. 특히, 국부적으로 해석 가능한 모델(190)은 고성능 블랙-박스 모델(120)로부터의 지식을 추출하여 블랙-박스 모델(120)로부터의 하나 이상의 예측을 사용자에게 설명한다.
모델 트레이너(110)는 트레이닝 샘플의 세트(130, 130a-n)를 획득하고, 상기 세트 내 트레이닝 샘플(130)의 일부 또는 전부를 사용하여 블랙-박스 모델(120)을 트레이닝한다. 일부 예들에서, 각각의 트레이닝 샘플(130)은 트레이닝 데이터(202) 및 트레이닝 데이터(202)에 대한 주어진 라벨(given label)(204)을 모두 포함한다(도 2a).주어진 라벨(204)은 연관된 트레이닝 데이터(202)를 사용하여 예측의 정확도를 결정하기 위해 블랙-박스 모델(120)에 대한 주석 또는 기타 다른 표시를 포함한다. 즉, 블랙-박스 모델(120)은 트레이닝 샘플(130)의 트레이닝 데이터(202)를 사용하여 예측을 수행하고, 그 예측을 연관된 주어진 라벨(204)과 비교하여 예측의 정확도를 결정한다. 일부 구현 예들에서, 트레이닝 샘플(130)은 대응되는 주어진 라벨(204)(즉, 라벨링되지 않은 트레이닝 샘플들)이 없는 트레이닝 데이터(202)만을 포함한다.
모델 트레이너(110)는 트레이닝된 블랙-박스 모델(120)과 트레이닝 샘플(130)의 세트를 사용하여 보조 트레이닝 샘플의 세트(140, 140a-n)를 생성한다. 일부 예에서, 모델 트레이너는 보조 트레이닝 샘플(140)을 사용하여 메타 학습을 안내하는 블랙-박스 모델(120)의 성능을 평가한다. 이하에 더 자세히 논의되는 바와 같이, 보조 트레이닝 샘플(140)은 블랙-박스 모델(120)의 예측에 기반한 보조 트레이닝 데이터 및 보조 라벨을 포함할 수 있다. 모델 트레이너(110)는 보조 트레이닝 샘플(140)의 세트를 사용하여 기준(baseline) 해석 가능한 모델(150)을 트레이닝한다. 기준 해석 가능한 모델(150)은 블랙-박스 모델(120)의 예측을 복제하도록 최적화된 전역 해석 가능한 모델(예를 들어, 선형 모델 또는 얕은 결정 트리)을 포함할 수 있다. 기준 해석 가능한 모델(150)은 국부적으로 해석 가능한 모델(190)을 트레이닝하는 동안 벤치마크로 작용할 수 있다.
모델 트레이너(110)는 보조 트레이닝 샘플(140)의 세트와 기준 해석 가능한 모델(150)을 사용하여 인스턴스별 가중치 추정기 모델(160)(본 개시에서는, 간단히 '인스턴스별 가중치 추정기'로도 지칭됨)을 트레이닝한다. 인스턴스별 가중치 추정기 모델(160)은 각 보조 트레이닝 샘플(140)에 대한 가치(valuableness)를 나타내는 가중치(즉, 선택 확률(170))를 결정한다. 가중치가 클수록 국부적으로 해석 가능한 모델(190)을 훈련하기 위해 각 보조 훈련 샘플(140)이 갖는 가치도 향상된다. 일부 구현 예에서, 보조 트레이닝 샘플(140)의 세트의 각 보조 트레이닝 샘플(140)에 대해, 트레이닝된 인스턴스별 가중치 추정기 모델(160)이 각 보조 트레이닝 샘플(140)에 대한 선택 확률(170)을 결정한다. 선택 확률(170)은 보조 트레이닝 샘플(140)이 국부적으로 해석 가능한 모델(190)에 대해 가치 있는 트레이닝 샘플인지 또는 문제가 있는 트레이닝 샘플인지(즉, 샘플(140)이 트레이닝을 개선하거나 또는 트레이닝을 악화시킬 가능성이 있는지)를 나타내는 가중치에 해당한다.
모델 트레이너(110)는 샘플러(180)를 포함하며, 샘플러(180)는 각 보조 트레이닝 샘플(140)의 선택 확률(170)을 수신하고 각 보조 트레이닝 샘플(140)에 할당된 선택 확률(170)에 기초하여 각각의 보조 트레이닝 샘플의 세트의 서브세트(140S, 140Sa-n)를 선택한다. 보조 트레이닝 샘플의 서브세트(140S)는 보조 트레이닝 샘플(140) 보다 적은 양의 트레이닝 샘플을 포함할 수 있다. 일부 구현 예에서, 샘플러(180)는 각 보조 트레이닝 샘플(140)의 선택 확률(170)이 임계값을 충족하는지 여부를 결정한다. 선택 확률(170)이 임계값을 만족하면, 샘플러(180)는 대응되는 보조 트레이닝 샘플(140)을 보조 트레이닝 샘플의 서브세트(140S)에 추가할 수 있다. 다른 구현 예들에서, 샘플러(180)는 미리정해진 수의 보조 트레이닝 샘플(140)을 선택한다(예를 들어, 가장 높은 선택 확률(170)을 갖는 미리정해진 수의 보조 트레이닝 샘플(140)을 선택한다).
모델 트레이너(110)는 보조 트레이닝 샘플의 서브세트(140S)을 사용하여 국부적으로 해석 가능한 모델(190)을 트레이닝한다. 국부적으로 해석 가능한 모델(190)은 보조 트레이닝 샘플의 서브세트(140S)에 대한 트레이닝 후 블랙-박스 모델(120)의 예측 성능을 밀접하게 복제하는 출력(즉, 예측)을 생성한다. 일부 예들에서, 국부적으로 해석 가능한 모델(190)은 트레이닝 샘플(130)의 세트 또는 보조 트레이닝 샘플의 전체 세트(140)에 대한 트레이닝이 아니라, 보조 트레이닝 샘플의 서브세트(140S)에 대해서만 트레이닝을 수행한다. 즉, 샘플러(180)는 국부적으로 해석 가능한 모델(190)을 트레이닝하기 위해 보조 트레이닝 샘플(140)의 전체 세트 로부터 보조 트레이닝 샘플의 서브세트(140S)를 선택한다. 보조 트레이닝 샘플의 서브세트(140S)에 대해 국부적으로 해석 가능한 모델(190)을 트레이닝함으로써, 국부적으로 해석 가능한 모델은 보조 트레이닝 샘플(140)의 서브세트에 대해서만 트레이닝하면서도 블랙박스 모델(120)의 성능과는 거의 일치된다.
이제 도 2a 내지 도 2e를 참조하면, 일부 구현 예에서, 트레이닝 샘플(130)의 세트의 각 트레이닝 샘플(130)은 트레이닝 데이터(202) 및 주어진 라벨(204)을 포함한다. 도 2a의 개략도 200a 에 도시된 바와 같이, 블랙-박스 모델(120)을 트레이닝하는 것은 트레이닝 데이터(202) 및 주어진 레이블(204)을 포함할 수 있다. 모델 트레이너(110)는 트레이닝 데이터(202)를 블랙-박스 모델(120)에 제공하고, 블랙-박스 모델(120)은 트레이닝 데이터(202)에 기초하여 예측(208)(여기서, 예측 라벨(208)로도 지칭됨)을 생성한다. 모델 트레이너(110)는 예측(208)의 정확도를 결정하기 위해 예측(208)을 주어진 라벨(204)과 비교한다.
일부 예들에서, 모델 트레이너(110)는 손실 함수(206)(예를 들어, 평균 제곱 오차 손실 함수 또는 교차 엔트로피 손실 함수)를 최소화함으로써, 블랙-박스 모델(120)을 트레이닝한다. 손실 함수(206)는 트레이닝 샘플(130)로부터 주어진 라벨(204)에 대해 블랙-박스 모델(120)에 의해 결정된 예측 라벨(208)의 정확도를 나타낸다. 예를 들어, 손실 함수(206)는 평균 절대 오차를 계산하는 것을 포함하며, 여기서 더 낮은 오차는 최적 손실 함수(206)를 나타낸다. 손실 함수(206)를 최소화함으로써, 블랙-박스 모델(120)은 주어진 라벨(204)과 밀접하게 일치하는 예측 라벨(208)을 정확히 생성하도록 트레이닝을 수행한다. 일부 예들에서, 블랙-박스 모델(120)은 주어진 라벨(204) 없이 트레이닝(즉, 비지도 학습)을 수행한다. 여기서, 블랙-박스 모델(120)은 주어진 라벨(204)과 비교하지 않고 예측 라벨(208)을 생성한다. 손실 함수(206)는 예측 라벨(208)의 충실도를 수량화한다. 손실 함수(206)의 결과(즉, 손실)는 블랙-박스 모델(120)에 대한 피드백으로 작용하여, 블랙-박스 모델(120)을 최적화한다.
블랙-박스 모델(120)은 임의의 유형의 학습 모델을 포함할 수 있다. 일부 예들에서, 블랙-박스 모델(120)은 사전 트레이닝되어 메모리 하드웨어(14)에 저장된다. 이 시나리오에서, 모델 트레이너(110)는 블랙-박스 모델(120)(도 2a)을 트레이닝하는 것을 바이패스하고, 대신 메모리 하드웨어(14)로부터 트레이닝된 블랙-박스 모델(120)을 검색할 수 있다.
계속해서 도 2a에 도시된 바와 같이, 일부 구현 예들에서, 트레이닝 데이터(202) 및 주어진 라벨(204)은 이미지(예, 자전거와 같은 객체의 이미지)를 나타낸다. 블랙-박스 모델(120)은 트레이닝 데이터(202)(예, 자전거의 이미지)를 분석하여 예측 라벨(208)을 생성한다. 모델 트레이너(110)는 예측 라벨(208)을 주어진 라벨(204)과 비교하여 손실 함수(206)를 계산한다. 일부 예들에서, 블랙박스 모델(120)은 예측 라벨(208)을 정확히 생성하며(예를 들어, 블랙박스 모델(120)은 주어진 라벨(204)이 이미지에 자전거가 포함되어 있음을 나타낼 때 이미지에 자전거가 포함되어 있다고 예측함) 손실 함수(206)는 낮은 평균 절대 오차를 나타낸다. 일부 구현 예에서, 블랙-박스 모델(120)이 예측 라벨(208)을 부정확하게 생성하는 경우(예를 들어, 주어진 라벨(204)이 자전거가 포함된 입력 이미지를 나타내고 예측 라벨(208)은 자동차가 포함된 입력 이미지를 나타내는 경우), 손실 함수(206)는 높은 평균 절대 오차를 나타낸다. 손실 함수(206)의 결과(즉, 계산된 손실)는 블랙-박스 모델(120)을 최적화하기 위해 블랙-박스 모델(120)로 피드백된다. 손실 함수(206)를 계산하는 프로세스는 블랙박스 모델(120)에 대한 트레이닝 데이터(202)에 기초하며, 손실이 최적 임계값에 도달할 때까지 계속 반복될 수 있다.
도 2b의 개략도(200b)에 도시된 바와 같이, 트레이닝된 블랙-박스 모델(120)은 보조 트레이닝 샘플(140)을 생성한다. 일부 구현 예들에서, 모델 트레이너(110)는 각 트레이닝 샘플(130)의 트레이닝 데이터(202)를 사용하여 트레이닝된 블랙-박스로부터, 각 트레이닝 샘플(130)에 대한 연관 예측 라벨(208)을 획득함으로써, 보조 트레이닝 샘플(140)의 세트를 생성한다. 모델 트레이너(110)는 각 트레이닝 샘플(130)의 트레이닝 데이터(202)를 예측 라벨(208)과 결합하여 보조 트레이닝 샘플(140)을 형성한다. 모델 트레이너(110)는 보조 트레이닝 샘플(140)을 보조 트레이닝 샘플(140)의 세트에 추가한다. 모델 트레이너(110)는 보조 트레이닝 샘플(140)의 세트를 사용하여 인스턴스별 가중치 추정 모델(160)을 트레이닝하거나 그리고/또는 국부적으로 해석 가능한 모델(190)을 트레이닝한다. 보조 트레이닝 샘플(140)은 보조 트레이닝 데이터 및 보조 라벨을 포함할 수 있다. 일부 구현 예들에서, 보조 트레이닝 샘플(140)은 프로브 트레이닝 샘플(222, 222a-n)을 포함한다. 프로브 트레이닝 샘플(222)은 블랙-박스 모델(120)을 트레이닝하는 데 사용되지 않은 트레이닝 샘플(130)의 서브세트일 수 있다. 다른 예에서, 프로브 트레이닝 샘플(222)은 트레이닝 샘플(130)의 세트와 독립된 트레이닝 샘플의 제2 세트일 수 있다. 다시 말해, 프로브 트레이닝 샘플(222)은 인스턴스별 가중치 추정기 모델 또는 기준 해석 가능한 모델(150)을 트레이닝하는데 사용되지 않는 트레이닝 데이터를 포함할 수 있다.
도 2c를 참조하면, 개략도(200c)는 기준 해석 가능한 모델(150)을 포함한다. 모델 트레이너(110)는 보조 트레이닝 샘플(140)의 세트 (즉, 트레이닝 데이터(202) 및 예측 라벨(208)) 를 사용하여 기준 해석 가능한 모델(150)을 트레이닝한다. 기준 해석 가능한 모델(150)은 인스턴스별 가중치 추정기 모델(160)을 트레이닝하는데 있어서 안정성을 향상시킨다. 모델 트레이너(110)는 블랙-박스 모델(120)의 예측을 복제하기 위해 기준 해석 가능한 모델(150)을 최적화한다. 기준 해석 가능한 모델(150)은 국부적으로 해석 가능한 모델(190)에 대한 성능의 벤치마크 역할을 수행한다.
도 2d의 개략도(200d)에 도시된 바와 같이, 일부 구현 예들에서, 모델 트레이너(110)는, 인스턴스별 가중치 추정기 모델(160)을 트레이닝할 때 강화 신호(226)를 결정하고 이하에서 더 상세히 설명되는 바와 같이 강화 신호(226)에 기초하여 인스턴스별 가중치 추정기 모델(160)을 업데이트한다. 인스턴스별 가중치 추정기 모델(160)은 국부적으로 해석 가능한 모델(190)에 맞는 인스턴스별 가중치(즉, 선택 확률(170))를 출력한다. 일부 예들에서, 인스턴스별 가중치 추정기(160)는 복잡한 기계 학습 모델(예를 들어, 심층 신경망)을 포함한다. 인스턴스별 가중치 추정기 모델(160)은 국부적으로 해석 가능한 모델(190)을 트레이닝하는 트레이닝 인스턴스의 선택 확률(170)을 예측한다.
일부 구현 예에서, 모델 트레이너(110)는 인스턴스별 가중치 추정기 모델(160)을 트레이닝하기 위해 프로브 트레이닝 샘플(222)의 세트를 획득한다. 프로브 트레이닝 샘플(222)의 세트의 각 프로브 트레이닝 샘플(222)에 대해, 인스턴스별 가중치 추정기 모델(160)은 연관된 선택 확률(170)을 추정한다. 즉, 인스턴스별 가중치 추정기는 각 프로브 트레이닝 샘플 입력(222)에 기초하여 예측(즉, 선택 확률(170))을 결정한다. 각 선택 확률(170)은 국부적으로 해석 가능한 모델(190)을 트레이닝하기 위한 프로브 트레이닝 샘플(222)의 값을 나타낸다. 예를 들어, 국부적으로 해석 가능한 모델(190)을 트레이닝하는데 가치가 있는 프로브 트레이닝 샘플(222)은 높은 선택 확률(170)을 갖는다. 다른 예에서, 품질이 낮거나 또는 국부적으로 해석 가능한 모델(190)을 트레이닝하는데 문제가 있는 트레이닝 샘플(130)은 낮은(low) 선택 확률(170)을 갖는다.
일부 예에서, 모델 트레이너(110)는 각 프로브 트레이닝 샘플(222)의 선택 확률(170)에 기초하여 인스턴스별 선택 벡터(224)를 결정함으로써 인스턴스별 가중치 추정기 모델(160)을 트레이닝한다. 특히, 샘플러(180)는 선택 확률(170)로부터 선택하여 선택 벡터(224)를 생성한다. 선택 벡터(224)는 보조 트레이닝 샘플(140)의 세트의 각 보조 트레이닝 샘플(140)에 대한 선택 확률(170)을 나타낸다. 일부 예들에서, 샘플러(180)는 선택 벡터(224) 내에서 선택된 선택 확률(170)에 대응되는 보조 트레이닝 샘플(140)을 보조 트레이닝 샘플의 서브세트(140S)에 추가한다. 선택 벡터(224)는 각각의 대응 선택 확률(170)에 대한 선택 값(244)을 포함할 수 있다. 모델 트레이너(110)는 보조 트레이닝 샘플의 서브세트(140S)를 사용하여 국부적으로 해석 가능한 모델(190)을 트레이닝한다. 모델 트레이너(110)는 인스턴스별 선택 벡터(224)에 기초하여 국부적으로 해석 가능한 모델(190)을 최적화하고, 최적화된 국부적으로 해석 가능한 모델(190)로부터의 손실 데이터(228)에 기초하여 인스턴스별 가중치 추정기 모델(160)을 업데이트한다.
일부 예에서, 모델 트레이너(110)는 손실 함수(206)에 기초하여 국부적으로 해석 가능한 모델(190)에 대한 제1 손실 데이터(228a)를 결정하고, 또 다른 손실 함수(206)에 기초하여 기준 해석 가능한 모델(150)에 대한 제2 손실 데이터(228b)를 결정함으로써 강화 신호(226)를 결정한다. 일부 구현 예에서, 모델 트레이너는 국부적으로 해석 가능한 모델(190)에 대한 제1 손실 데이터(228a) 및 기준 해석 가능한 모델(150)에 대한 제2 손실 데이터(228b)에 기초하여 강화 신호(226)를 결정한다.
국부적으로 해석 가능한 모델(190)과 기준 해석 가능한 모델(150) 모두 하나 이상의 손실 함수(206)에 기초하여 손실(228a, 220b)을 계산한다. 일부 구현 예들에서, 모델 트레이너(110)는 부분적 해석가능 모델(190)의 제1 손실(228a)을 기준 해석가능 모델(150)의 제2 손실(228b)과 비교한다. 기준 해석 가능한 모델(150)의 출력은 블랙-박스 모델(120)의 출력에 가깝게 나타나므로, 국부적으로 해석 가능한 모델(190)의 제1손실(228a)을 기준 해석 가능한 모델(150)의 손실(228b)과 비교하는 것은 블랙-박스 모델(120)에 대한 국부적으로 해석 가능한 모델(190)의 충실도(fidelity)를 확립한다. 제1손실 데이터(228a) 및 제2 손실 데이터(228b)에 기초한 강화 신호(226)는 국부적으로 해석 가능한 모델(190)과 기준 해석 가능한 모델(150) 간의 유사 예측을 보상한다.
일부 예에서, 인스턴스별 가중치 추정기 모델(160)을 트레이닝하기 위한 선택 확률(170)은 이하의 수학식(1)에 의해 결정된다.
[수학식 1]
Figure pct00001
수학식(1)에서
Figure pct00002
는 주어진
Figure pct00003
에서
Figure pct00004
에 대한 확률 질량 함수를 나타낸다. 여기서,
Figure pct00005
는 프로브 데이터 xp 의 각 트레이닝 쌍
Figure pct00006
에 대한 인스턴스별 가중치를 나타낸다. 이진 벡터
Figure pct00007
는
Figure pct00008
을 만족할 때
Figure pct00009
에 대한 국부적으로 해석 가능한 모델(190)을 트레이닝하기 위해
Figure pct00010
가 선택되도록 하는 선택 동작을 나타낸다.
일부 구현 예에서, 샘플러(180)는 비-미분 목적함수를 산출하며, 종래의 경사하강법 기반 최적화를 사용하여 인스턴스별 가중치 추정기(160)를 트레이닝할 수 없다. 대신에, 모델 트레이너(110)는 샘플러(180) 선택이 그 영향의 성능에 의해 보상되도록 강화 알고리즘을 사용한다. 일부 예들에서, 손실 함수(206)는 최적화된 국부적으로 해석 가능한 모델(190)로부터의 손실 데이터에 기초하여 인스턴스별 가중치 추정기 모델(160)을 업데이트한다. 인스턴스별 가중치 추정기(160)에 대한 손실 함수는 다음과 같이 수학식(2)로 표현될 수 있다.
[수학식2]
Figure pct00011
강화 알고리즘을 적용하기 위해, 모델 트레이너(110)는 (예를 들어, 수학식 2를 사용하여) 인스턴스별 가중치 추정기에 대한 손실 함수의 기울기를 계산한다. 손실 함수의 기울기를 사용하여, 인스턴스별 가중치 추정기(160)의 파라미터를 업데이트하기 위해 다음의 단계를 반복적으로 수행한다.
단계 1은, 미니 배치의 각 트레이닝 및 프로브 인스턴스에 대한 인스턴스별 가중치
Figure pct00012
와 인스턴스별 선택 벡터(224)를 추정하는 단계를 포함한다.
단계 2는 각 프로브 인스턴스(이하, 수학식 3)에 대한 선택 벡터(224)로 국부적으로 해석 가능한 모델(190)을 최적화하는 단계를 포함한다.
[수학식 3]
Figure pct00013
단계 3은 인스턴스별 가중치 추정 모델(160) 파라미터 Φ를 업데이트하는 단계를 포함한다.
[수학식 4]
Figure pct00014
Figure pct00015
수학식 (4)에서, α는 학습률이고,
Figure pct00016
는 성능 향상을 위한 벤치마크에 대한 기준 손실을 의미한다. 위에서 설명한 단계들은 손실(228a, 228b)이 수렴될 때까지 반복된다.
인스턴스별 가중치 추정기 모델(160)을 트레이닝할 때, 모델 트레이너(110)는 강화 신호(226)를 결정하고 강화 신호(226)에 기초하여 인스턴스별 가중치 추정기 모델(160)을 업데이트할 수 있다. 강화 신호(226)는 다음과 같은 충실도 메트릭을 정량화한다. 이는 국부적으로 해석 가능한 모델(190) 예측이 블랙-박스 모델(120) 예측과 얼마나 정확하게 일치하는지를 나타낸다. 예를 들어, 제1 손실(228a) 및 제2 손실(228b)이 유사할 때, 강화 신호(226)는 인스턴스별 가중치 추정기(160)를 업데이트하는 유사한 결과를 보상한다.
일부 구현 예들에서, 샘플러(180)는 보조 트레이닝 샘플(140)의 세트의 각 보조 트레이닝 샘플(140)에 대해, 선택 확률(170)에 기초하여 선택 또는 선택 없음을 나타내는 대응 선택 값(244)을 결정함으로써 보조 트레이닝 샘플(140)의 세트로부터 보조 트레이닝 샘플의 서브세트(140S)를 선택한다. 대응 선택 값(244)이 선택을 나타내면, 샘플러(180)는 보조 트레이닝 샘플(140)을 보조 트레이닝 샘플의 서브세트(140S)에 추가할 수 있다. 특히, 샘플러(180)는 선택 확률(170) 임계값을 만족하는 선택 확률(170)을 선택하며, 각각은 보조 트레이닝 샘플(140)에 대응한다. 일부 구현 예에서, 임계값을 만족하는 선택 확률(170)은 선택을 나타내는 선택 값(244)을 수신하고, 샘플러(180)는 선택된 보조 트레이닝 샘플(140)을 보조 트레이닝 샘플의 서브세트(140S)에 추가한다. 반면, 임계값을 만족하지 않는 선택 확률(170)은 선택없음을 나타내는 선택 값(244)을 수신하고 샘플러(180)는 그 보조 트레이닝 샘플(140S)을 보조 트레이닝 샘플의 서브세트(140S)에 포함시키지 않는다.
도 2E의 개략도 200(e)에 도시된 바와 같이, 일부 구현 예들에서, 인스턴스별 가중치 추정기 모델(160)은 인스턴스별 가중치 추정기 모델(160)을 트레이닝한 후 검증 샘플(242)을 수신한다. 검증 샘플(242)은 트레이닝 데이터(202)와 주어진 라벨(204)을 포함할 수 있다. 인스턴스별 가중치 추정기 모델(160)은 보조 트레이닝 샘플(140)의 세트의 각 보조 트레이닝 샘플(140)에 대한 선택 확률(170)을 생성한다. 모델 트레이너(110)는 선택 확률(170)의 가중 최적화를 국부적으로 해석 가능한 모델(190)로 전송한다. 모델 트레이너(110)는 검증 샘플(242) 및 보조 트레이닝 샘플의 세트(140S)의 각 보조 트레이닝 샘플(140S)의 선택 확률(170)에 기초하여 국부적으로 해석 가능한 모델(190)을 트레이닝한다. 트레이닝된 해석 가능한 모델(190)의 출력은 인스턴스별 예측과 그에 대응하는 설명이다. 예를 들어, 대응하는 설명은 적합한 선형모델의 계수에 의해 주어진 검증 샘플(242)에서 블랙-박스 모델 예측의 부분 역학(local dynamics)을 포함할 수 있다.
도 3은 국부적으로 해석 가능한 모델을 트레이닝하기 위한 방법(300)에 대한 동작의 예시적 배열의 흐름도이다. 방법(300)은, 동작(302)에서 데이터 처리 하드웨어(12)에 의해 트레이닝 샘플(130)의 세트를 획득하는 단계를 포함한다. 각각의 트레이닝 샘플(130)은 트레이닝 데이터(202)와 주어진 라벨(204)을 포함할 수 있다. 동작(304)에서, 상기 방법(300)은 트레이닝 샘플(130)의 세트를 사용하여 데이터 처리 하드웨어(12)에 의해 블랙-박스 모델(120)을 트레이닝하는 단계를 포함한다. 상기 방법(300)은 동작(306)에서, 트레이닝된 블랙-박스 모델(120)과 트레이닝 샘플(130)의 세트를 사용하여, 데이터 처리 하드웨어(12)에 의해 보조 트레이닝 샘플(140)의 세트를 생성하는 단계를 포함한다.
방법(300)은, 동작(308)에서, 데이터 처리 하드웨어(12)에 의해 보조 트레이닝 샘플(140)의 세트를 사용하여 기준 해석 가능한 모델(150)을 트레이닝하는 단계를 포함한다. 동작(310)에서, 상기 방법(300)은 데이터 처리 하드웨어(12)에 의해 보조 트레이닝 샘플(140)의 세트와 기준 해석 가능한 모델(150)을 사용하여 인스턴스별 가중치 추정기 모델(160)을 트레이닝하는 단계를 포함한다. 동작(312)에서, 상기 방법(300)은 보조 트레이닝 샘플(140)의 세트의 각 보조 트레이닝 샘플(140)에 대해, 데이터 처리 하드웨어(12)에 의해 트레이닝된 인스턴스별 가중치 추정기 모델(160)을 사용하여 보조 트레이닝 샘플(140)에 대한 선택 확률(170)을 결정하는 단계를 포함한다. 동작(314)에서, 상기 방법(300)은 데이터 처리 하드웨어(12)에 의해, 선택 확률(170)에 기초하여 보조 트레이닝 샘플(140)의 세트로부터 보조 트레이닝 샘플의 서브세트(140S)를 선택하는 단계를 포함한다. 동작(316)에서, 상기 방법(300)은 보조 트레이닝 샘플의 서브세트(140S)를 사용하여 국부적으로 해석 가능한 모델(190)을 트레이닝하는 단계를 포함한다.
응용 소프트웨어(즉, 소프트웨어 리소스)은 컴퓨팅 장치가 작업을 수행하게끔 하는 컴퓨터 소프트웨어를 의미할 수 있다. 일부 예에서, 응용 소프트웨어는 "애플리케이션", "앱" 또는 "프로그램"으로 지칭될 수 있다. 예시적인 애플리케이션은 시스템 진단 애플리케이션, 시스템 관리 애플리케이션, 시스템 유지관리 애플리케이션, 워드 프로세싱 애플리케이션, 스프레드시트 애플리케이션, 메시징 애플리케이션, 미디어 스트리밍 애플리케이션, 소셜 네트워킹 애플리케이션, 및 게임 애플리케이션을 포함하나, 이에 국한되는 것은 아니다.
도 4는 여기에 개시된 시스템 및 방법을 구현하는 데 사용될 수 있는 예시적 컴퓨팅 장치(400)의 개략도이다. 상기 컴퓨팅 장치(400)는, 예를 들어 랩탑, 데스크탑, 워크스테이션, PDA, 서버, 블레이드 서버, 메인프레임, 및 기타 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내는 것으로 의도된다. 여기에 도시된 구성요소, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시를 위한 것이며 여기에 개시된 설명 및/또는 청구된 발명의 구현 예를 제한하려는 의도는 아니다.
컴퓨팅 장치(400)는 프로세서(410), 메모리(420), 저장 장치(430), 메모리(420)와 고속 확장 포트(450)에 연결되는 고속 인터페이스/제어기(440), 및 저속 버스(470)와 저장 장치(430)에 연결되는 저속 인터페이스/제어기(460)를 포함한다. 각각의 구성 요소(410, 420, 430, 440, 450, 460)는 다양한 버스를 사용하여 상호 연결되며 공통 마더보드에 장착되거나 또는 적절한 다른 방식으로 장착될 수 있다. 프로세서(410)는 고속 인터페이스(440)에 연결된 디스플레이(480)와 같은 외부 입/출력 장치에 그래픽 사용자 인터페이스(GUI)의 그래픽 정보를 표시하기 위해 메모리(420) 또는 저장 장치(430)에 저장된 명령을 포함하며, 컴퓨팅 장치(400) 내에서 실행하기 위한 명령을 처리할 수 있다. 다른 구현 예에서, 다중 프로세서 및/또는 다중 버스는 다중 메모리 및 다른 메모리 유형과 함께 적절하게 사용될 수 있다. 또한, 여러 컴퓨팅 장치(400)는 필요한 동작의 일부를 제공하는 각 디바이스(예를 들어, 서버 뱅크, 블레이드 서버 그룹, 또는 다중 프로세서 시스템으로서의 동작)와 연결될 수 있다.
메모리(420)는 컴퓨팅 장치(400) 내에 비-일시적으로 정보를 저장한다. 메모리(420)는 컴퓨터 판독가능 매체, 휘발성 메모리 유닛(들), 또는 비휘발성 메모리 유닛(들)일 수 있다. 비일시적 메모리(420)는 컴퓨팅 디바이스(400)에 의한 사용을 위해 일시적 또는 영구적으로 프로그램(예를 들어, 명령의 시퀀스) 또는 데이터(예를 들어, 프로그램 상태 정보)를 저장하는 데 사용되는 물리적 디바이스일 수 있다. 비휘발성 메모리의 예들은 ROM/ PROM/EPROM/ EEPROM(예를 들어, 일반적으로 부팅 프로그램과 같은 펌웨어에 사용됨)를 포함한다. 휘발성 메모리의 예는 이에 한정되지 않지만, RAM(Random Access Memory), DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), PCM(Phase Change Memory)뿐만 아니라 디스크 또는 테이프를 포함한다.
저장 장치(430)는 컴퓨팅 디바이스(400)에 대용량 스토리지를 제공할 수 있다. 일부 구현 예들에서, 저장 장치(430)는 컴퓨터 판독가능 매체이다. 다양한 다른 구현들에서, 저장 장치(430)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스, 또는 테이프 디바이스, 플래시 메모리 또는 기타 유사한 솔리드 스테이트 메모리 디바이스, 또는 스토리지 영역 네트워크 또는 기타 다른 구성의 디바이스들을 포함하는 디바이스들의 어레이일 수 있다. 추가 구현 예에서, 컴퓨터 프로그램 제품은 정보 매체에 유형적으로 구현된다. 컴퓨터 프로그램 제품에는 실행시 위에서 설명한 것과 같은 하나 이상의 방법을 수행하는 명령들이 포함되어 있다. 정보 매체는 메모리(420), 저장 장치(430), 또는 프로세서(410)상의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.
고속 제어기(440)는 컴퓨팅 장치(400)에 대한 대역폭 집약적 동작을 관리하는 반면, 저속 제어기(460)는 더 낮은 대역폭 집약적 동작을 관리한다. 이러한 동작의 할당은 예시일 뿐이다. 일부 구현 예들에서, 고속 제어기(440)는 메모리(420), 디스플레이(480)에 (예를 들어, 그래픽 프로세서 또는 가속기를 통해) 연결되며, 그리고 다양한 확장 카드(미도시)를 수용할 수 있는 고속 확장 포트(450)에 연결된다. 일부 구현 예들에서, 저속 제어기(460)는 저장 장치(430) 및 저속 확장 포트(490)에 결합된다. 다양한 통신 포트(예를 들어, USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트(490)는, 키보드, 포인팅 장치, 스캐너와 같은 하나 이상의 입력/출력 장치 또는 예를 들어 네트워크 어댑터를 통해 스위치나 라우터와 같은 네트워킹 장치에 연결될 수 있다.
컴퓨팅 장치(400)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 표준 서버(400a)로서 또는 그러한 서버(400a)의 그룹내의 랩탑 컴퓨터(400b)로서, 또는 랙 서버 시스템(400c)의 일부로서 여러번 구현될 수 있다.
본 명세서에 기술된 시스템 및 기술의 다양한 구현은 디지털 전자 및/또는 광 회로, 집적 회로, 특별히 설계된 주문형 집적 회로(ASIC), 컴퓨터 하드웨어, 펌웨어, 소프트웨어, 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현은 적어도 하나의 프로그램 가능한 프로세서를 포함하는 프로그램 가능한 시스템에서 실행 및/또는 해석 가능한 하나 이상의 컴퓨터 프로그램에서의 구현을 포함할 수 있으며, 이는 저장 시스템, 적어도 하나의 입력 장치, 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하고 이들로 데이터 및 명령을 전송하도록 결합된 특수 또는 범용일 수 있다,
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 응용 소프트웨어 또는 코드로도 알려짐)은 프로세서에 대한 기계 명령을 포함하며, 높은 수준의 절차적 및/또는 객체 지향적 프로그래밍 언어, 및/또는 어셈블리/기계어로 구현될 수 있다. 본 명세서에서 사용된, "기계 판독가능 매체" 및 "컴퓨터 판독가능 매체"라는 용어는 기계 판독 가능 신호로서 기계 명령들을 수신하는 기계 판독 가능 매체를 포함하며, 프로그램가능 프로세서에 기계 명령 및/또는 데이터를 제공하는데 사용되는 컴퓨터 프로그램 제품, 비-일시적 컴퓨터 판독 가능 매체, 장치 및/또는 디바이스(예를 들어, 자기 디스크, 광학 디스크, 메모리, 프로그램 가능 논리 디바이스(PLD))를 지칭한다. "기계 판독 가능 신호"라는 용어는 프로그램 가능 프로세서에 기계 명령 및/또는 데이터를 제공하는데 사용되는 모든 신호를 지칭한다.
본 명세서에 설명된 프로세스 및 로직 흐름은 입력 데이터에 대해 동작하여 출력을 생성함으로써 기능을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램 가능 프로세서에 의해 수행될 수 있다. 프로세스 및 로직 흐름은 FPGA(필드 프로그래밍 가능 게이트 어레이) 또는 ASIC(애플리케이션 특정 집적 회로)와 같은 특수 목적 로직 회로에 의해 수행될 수도 있다. 컴퓨터 프로그램의 실행에 적합한 프로세서는 예를 들어 범용 및 특수 목적의 마이크로 프로세서및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로, 프로세서는 판독 전용 메모리 또는 랜덤 액세스 메모리 또는 둘 다로부터 명령과 데이터를 수신한다. 컴퓨터의 필수 요소는 명령을 수행하기 위한 프로세서 및 명령과 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 디바이스, 예를 들어 자기 디스크, 광 자기 디스크 또는 광 디스크로부터 데이터를 수신하거나 그 들로 데이터를 전송하거나 둘 모두를 포함하거나 작동 가능하게 결합된다. 그러나, 컴퓨터에는 이러한 디바이스가 필요하지 않다. 컴퓨터 프로그램 명령 및 데이터를 저장하기에 적합한 컴퓨터 판독 가능 매체는 반도체 메모리 디바이스 (예를 들어, EPROM, EEPROM 및 플래시 메모리 디바이스), 자기 디스크(예를 들어, 내부 하드 디스크 또는 이동식 디스크), 광 자기 디스크, 및 CD ROM과 DVD-ROM 디스크를 포함하여, 모든 형태의 비-휘발성 메모리, 매체 및 메모리 디바이스를 포함한다. 프로세서와 메모리는 특수 목적 논리 회로에 의해 보완되거나 통합될 수 있다.
사용자와의 상호 작용을 제공하기 위해, 본 개시 내용의 하나 이상의 양태는 사용자에게 정보를 디스플레이하기 위한 디스플레이 디바이스(예를 들어 CRT(음극선관), LCD 모니터 또는 터치 스크린) 및 선택적으로 키보드 및 사용자가 컴퓨터에 입력을 제공할 수 있는 포인팅 디바이스(예를 들어, 마우스 또는 트랙볼)를 갖는 컴퓨터에서 구현될 수 있다. 사용자와의 상호 작용을 제공하기 위해 다른 종류의 디바이스도 사용할 수 있다. 예를 들어, 사용자에게 제공되는 피드백은 예를 들어 시각 피드백, 청각 피드백 또는 촉각 피드백과 같은 임의의 형태의 감각 피드백일 수 있으며, 사용자로부터의 입력은 음향, 음성 또는 촉각 입력을 포함하여 임의의 형태로 수신될 수 있다. 또한, 컴퓨터는 사용자가 사용하는 디바이스로 문서를 송수신함으로써, 예를 들어, 웹 브라우로부터 수신된 요청에 응답하여 사용자의 클라이언트 디바이스의 웹 브라우저로 웹 페이지를 전송함으로써 사용자와 상호 작용할 수 있다.
다수의 구현이 설명되었다. 그럼에도 불구하고, 본 개시의 사상 및 범위를 벗어나지 않고 다양한 변형이 이루어질 수 있음을 이해할 것이다. 따라서, 다른 구현은 다음 청구항들의 범위 내에 있다.

Claims (20)

  1. 국부적으로 해석 가능한 모델(190)을 트레이닝하는 방법(300)으로서, 상기 방법(300)은,
    데이터 처리 하드웨어(12)에 의해, 트레이닝 샘플(130)의 세트를 획득하는 단계;
    데이터 처리 하드웨어(12)에 의해, 트레이닝 샘플(130)의 세트를 사용하여 블랙-박스 모델(120)을 트레이닝하는 단계;
    데이터 처리 하드웨어(12)에 의해, 트레이닝된 블랙-박스 모델(120) 및 트레이닝 샘플(130)의 세트를 사용하여 보조 트레이닝 샘플(140)의 세트를 생성하는 단계;
    데이터 처리 하드웨어(12)에 의해, 보조 트레이닝 샘플(140)의 세트를 사용하여 기준(baseline) 해석 가능한 모델(150)을 트레이닝하는 단계;
    데이터 처리 하드웨어(12)에 의해, 보조 트레이닝 샘플(140)의 세트 및 기준 해석 가능한 모델(150)을 사용하여 인스턴스별 가중치 추정기 모델(160)을 트레이닝하는 단계;
    보조 트레이닝 샘플(140) 세트의 각 보조 트레이닝 샘플(140)에 대해, 데이터 처리 하드웨어(12)에 의해, 트레이닝된 인스턴스별 가중치 추정기 모델(160)을 사용하여 보조 트레이닝 샘플(140)에 대한 선택 확률(170)을 결정하는 단계;
    데이터 처리 하드웨어(12)에 의해, 선택 확률(170)에 기초하여, 보조 트레이닝 샘플(140)의 세트로부터 보조 트레이닝 샘플의 서브세트(140S)을 선택하는 단계; 및
    데이터 처리 하드웨어(12)에 의해 보조 트레이닝 샘플의 서브세트(140S)를 사용하여, 국부적으로 해석 가능한 모델(190)을 트레이닝하는 단계를 포함하는 것을 특징으로 하는 방법(300).
  2. 제1항에 있어서,
    인스턴스별 가중치 추정기 모델(160)을 트레이닝하는 단계는,
    강화 신호(226)를 결정하는 단계; 및
    강화 신호(226)에 기초하여 인스턴스별 가중치 추정기 모델(160)을 업데이트하는 단계를 포함하는 것을 특징으로 하는 방법(300).
  3. 제1항 또는 제2항에 있어서,
    강화 신호(226)를 결정하는 단계는,
    손실 함수(206)에 기초하여 국부적으로 해석 가능한 모델(190)에 대한 제1 손실 데이터(228a)를 결정하는 단계;
    손실 함수(206)에 기초하여 기준 해석 가능한 모델(150)에 대한 제2 손실 데이터(228b)를 결정하는 단계; 및
    국부적으로 해석 가능한 모델(190)에 대한 제1 손실 데이터(228a) 및 기준 해석 가능한 모델(150)에 대한 제2 손실 데이터(228b)에 기초하여 강화 신호(226)를 결정하는 단계를 포함하는 것을 특징으로 하는 방법(300).
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    보조 트레이닝 샘플(140)의 세트로부터 보조 트레이닝 샘플의 서브세트(140S)을 선택하는 단계는,
    보조 트레이닝 샘플(140) 세트의 각 보조 트레이닝 샘플(140)에 대해:
    선택 확률(170)에 기초하여, 선택 또는 선택 없음을 나타내는 대응하는 선택 값(244)을 결정하는 단계; 및
    대응하는 선택 값(244)이 선택을 나타내는 경우, 보조 트레이닝 샘플(140)을 보조 트레이닝 샘플의 서브세트(140S)에 추가(add)하는 단계를 포함하는 것을 특징으로 하는 방법(300).
  5. 제4항에 있어서,
    각 보조 트레이닝 샘플(140)에 대해, 보조 트레이닝 샘플(140)에 대한 선택 확률(170)을 결정하는 단계는,
    인스턴스별 가중치 추정기 모델(160)에서, 검증 샘플(242)을 수신하는 단계; 및
    인스턴스별 가중치 추정기 모델(160)에 의해, 검증 샘플(242)에 기초하여 선택 확률(170)을 결정하는 단계를 포함하는 것을 특징으로 하는 방법(300).
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    인스턴스별 가중치 추정기 모델(160)을 트레이닝한 후:
    인스턴스별 가중치 추정기 모델(160)에서, 검증 샘플(242)을 수신하는 단계;
    인스턴스별 가중치 추정기 모델(160)에 의해, 보조 트레이닝 샘플(140) 세트의 각 보조 트레이닝 샘플(140)에 대한 선택 확률(170)을 생성하는 단계; 및
    검증 샘플(242) 및 보조 트레이닝 샘플(140) 세트의 각 보조 트레이닝 샘플(140)의 선택 확률(170)에 기초하여 국부적으로 해석 가능한 모델(190)을 트레이닝하는 단계를 더 포함하는 것을 특징으로 하는 방법(300).
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    블랙-박스 모델(120)을 트레이닝하는 단계는,
    평균 제곱 오차 손실 함수(206) 또는 교차 엔트로피 손실 함수(206)를 최소화하는 단계를 포함하는 것을 특징으로 하는 방법(300).
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    트레이닝 샘플(130) 세트의 각 트레이닝 샘플(130)은 트레이닝 데이터(202) 및 주어진 라벨(204)을 포함하는 것을 특징으로 하는 방법(300).
  9. 제8항에 있어서,
    보조 트레이닝 샘플(140)의 세트를 생성하는 단계는,
    트레이닝 샘플(130) 세트의 각 트레이닝 샘플(130)에 대해:
    트레이닝된 블랙-박스 모델(120)로부터 트레이닝 샘플(130)의 트레이닝 데이터(202)를 사용하여, 트레이닝 데이터(202)에 대한 예측 라벨(208)을 획득하는 단계;
    트레이닝 데이터(202) 및 예측 라벨(208)을 보조 트레이닝 샘플(140)로 결합하는 단계; 및
    보조 트레이닝 샘플(140)을 보조 트레이닝 샘플(140) 세트에 추가하는 단계를 포함하는 것을 특징으로 하는 방법(300).
  10. 제1항 내지 제9항 중 어느 한 항에 있어서,
    인스턴스별 가중치 추정기 모델(160)을 트레이닝하는 단계는,
    프로브(probe) 트레이닝 샘플(222)의 세트를 획득하는 단계;
    프로브 트레이닝 샘플(222) 세트의 각 프로브 트레이닝 샘플(222)에 대해, 선택 확률(170)을 결정하는 단계;
    각 프로브 트레이닝 샘플(222)의 선택 확률(170)에 기초하여, 인스턴스별 선택 벡터(224)를 결정하는 단계;
    인스턴스별 선택 벡터(224)에 기초하여 국부적으로 해석 가능한 모델(190)을 최적화하는 단계; 및
    최적화된 국부적으로 해석 가능한 모델(190)로부터의 손실 데이터(228a)에 기초하여 인스턴스별 가중치 추정기 모델(160)을 업데이트하는 단계를 포함하는 것을 특징으로 하는 방법(300).
  11. 시스템(100)으로서,
    데이터 처리 하드웨어(12); 및
    데이터 처리 하드웨어(12)와 통신하는 메모리 하드웨어(14)를 포함하며,
    상기 메모리 하드웨어(14)는 데이터 처리 하드웨어(12)에서 실행될 때 데이터 처리 하드웨어(12)로 하여금 동작들을 수행하게 하는 명령을 저장하며,
    상기 동작들은,
    트레이닝 샘플(130)의 세트를 획득하는 단계;
    트레이닝 샘플(130)의 세트를 사용하여, 블랙-박스 모델(120)을 트레이닝하는 단계;
    트레이닝된 블랙-박스 모델(120) 및 트레이닝 샘플(130)의 세트를 사용하여, 보조 트레이닝 샘플(140)의 세트를 생성하는 단계;
    보조 트레이닝 샘플(140)의 세트를 사용하여, 기준 해석 가능한 모델(150)을 트레이닝하는 단계;
    보조 트레이닝 샘플(140)의 세트와 기준 해석 가능한 모델(150)을 사용하여, 인스턴스별 가중치 추정기 모델(160)을 트레이닝하는 단계;
    보조 트레이닝 샘플(140) 세트의 각 보조 트레이닝 샘플(140)에 대해, 트레이닝된 인스턴스별 가중치 추정기 모델(160)을 사용하여, 보조 트레이닝 샘플(140)에 대한 선택 확률(170)을 결정하는 단계;
    선택 확률(170)에 기초하여, 보조 트레이닝 샘플(140)의 세트로부터 보조 트레이닝 샘플의 서브세트(140S)을 선택하는 단계; 및
    보조 트레이닝 샘플의 서브세트(140S)을 사용하여, 국부적으로 해석 가능한 모델(190)을 트레이닝하는 단계를 포함하는 것을 특징으로 하는 시스템(100).
  12. 제11항에 있어서,
    인스턴스별 가중치 추정기 모델(160)을 트레이닝하는 단계는,
    강화 신호를 결정하는 단계(226); 및
    강화 신호(226)에 기초하여 인스턴스별 가중치 추정기 모델(160)을 업데이트하는 단계를 포함하는 것을 특징으로 하는 시스템(100).
  13. 제11항 또는 제12항에 있어서,
    강화 신호(226)를 결정하는 단계는,
    손실 함수(206)에 기초하여 국부적으로 해석 가능한 모델(190)에 대한 제1 손실 데이터(228a)를 결정하는 단계;
    손실 함수(206)에 기초하여 기준 해석 가능한 모델(150)에 대한 제2 손실 데이터(228b)를 결정하는 단계; 및
    국부적으로 해석 가능한 모델(190)에 대한 제1 손실 데이터(228a) 및 기준 해석 가능한 모델(150)에 대한 제2 손실 데이터(228b)에 기초하여 강화 신호(226)를 결정하는 단계를 포함하는 것을 특징으로 하는 시스템(100).
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    보조 트레이닝 샘플(140)의 세트로부터 보조 트레이닝 샘플의 서브세트(140S)을 선택하는 단계는,
    보조 트레이닝 샘플(140) 세트의 각 보조 트레이닝 샘플(140)에 대해:
    선택 확률(170)에 기초하여, 선택 또는 선택 없음을 나타내는 대응하는 선택 값(244)을 결정하는 단계; 및
    대응하는 선택 값(244)이 선택을 나타내는 경우, 보조 트레이닝 샘플(140)을 보조 트레이닝 샘플의 서브세트(146)에 추가하는 단계를 포함하는 것을 특징으로 하는 시스템(100).
  15. 제14항에 있어서,
    각 보조 트레이닝 샘플(140)에 대해, 보조 트레이닝 샘플(140)에 대한 선택 확률(170)을 결정하는 단계는,
    인스턴스별 가중치 추정기 모델(160)에서, 검증 샘플(242)을 수신하는 단계; 및
    인스턴스별 가중치 추정기 모델(160)에 의해, 검증 샘플(242)에 기초하여 선택 확률(170)을 결정하는 단계를 포함하는 것을 특징으로 하는 시스템(100).
  16. 제11항 내지 제15항 중 어느 한 항에 있어서,
    상기 동작들은,
    인스턴스별 가중치 추정기 모델(160)을 트레이닝한 후:
    인스턴스별 가중치 추정기 모델(160)에서, 검증 샘플(242)을 수신하는 단계;
    인스턴스별 가중치 추정기 모델(160)에 의해, 보조 트레이닝 샘플(140) 세트의 각 보조 트레이닝 샘플(140)에 대한 선택 확률(170)을 생성하는 단계; 및
    검증 샘플(242) 및 보조 트레이닝 샘플(140) 세트의 각 보조 트레이닝 샘플(140)에 대한 선택 확률(170)에 기초하여 국부적으로 해석 가능한 모델(190)을 트레이닝하는 단계를 더 포함하는 것을 특징으로 하는 시스템(100).
  17. 제11항 내지 제16항 중 어느 한 항에 있어서,
    블랙-박스 모델(120)을 트레이닝하는 단계는,
    평균 제곱 오차 손실 함수(206) 또는 교차 엔트로피 손실 함수(206)를 최소화하는 단계를 포함하는 것을 특징으로 하는 시스템(100).
  18. 제11항 내지 제17항 중 어느 한 항에 있어서,
    트레이닝 샘플(130)의 세트의 각 트레이닝 샘플(130)은,
    트레이닝 데이터(202) 및 주어진 라벨(204)을 포함하는 것을 특징으로 하는 시스템(100).
  19. 제18항에 있어서,
    보조 트레이닝 샘플(140)의 세트를 생성하는 단계는,
    트레이닝 샘플(130) 세트의 각 트레이닝 샘플(130)에 대해:
    트레이닝된 블랙-박스 모델(120)로부터, 트레이닝 샘플(130)의 트레이닝 데이터(202)를 사용하여 트레이닝 데이터(202)에 대한 예측 라벨(208)을 획득하는 단계;
    트레이닝 데이터(202) 및 예측 라벨(208)을 보조 트레이닝 샘플(140)로 결합하는 단계; 및
    보조 트레이닝 샘플(140)을 보조 트레이닝 샘플(140)의 세트에 추가하는 단계를 포함하는 것을 특징으로 하는 시스템(100).
  20. 제11항 내지 제19항 중 어느 한 항에 있어서,
    인스턴스별 가중치 추정기 모델(160)을 트레이닝하는 단계는,
    프로브 트레이닝 샘플(222)의 세트를 획득하는 단계;
    프로브 트레이닝 샘플(222) 세트의 각 프로브 트레이닝 샘플(222)에 대해, 선택 확률(170)을 결정하는 단계;
    각 프로브 트레이닝 샘플(222)의 선택 확률(170)에 기초하여, 인스턴스별 선택 벡터(224)를 결정하는 단계;
    인스턴스별 선택 벡터(224)에 기초하여 국부적으로 해석 가능한 모델(190)을 최적화하는 단계;
    최적화된 국부적으로 해석 가능한 모델(190)로부터의 손실 데이터(228a)에 기초하여 인스턴스별 가중치 추정기 모델(160)을 업데이트하는 단계를 포함하는 것을 특징으로 하는 시스템(100).
KR1020227010816A 2019-09-24 2020-09-23 국부적으로 해석 가능한 모델에 기반한 강화 학습 KR20220054410A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962904977P 2019-09-24 2019-09-24
US62/904,977 2019-09-24
PCT/US2020/052326 WO2021061861A2 (en) 2019-09-24 2020-09-23 Reinforcement learning based locally interpretable models

Publications (1)

Publication Number Publication Date
KR20220054410A true KR20220054410A (ko) 2022-05-02

Family

ID=73139392

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227010816A KR20220054410A (ko) 2019-09-24 2020-09-23 국부적으로 해석 가능한 모델에 기반한 강화 학습

Country Status (6)

Country Link
US (2) US11403490B2 (ko)
EP (1) EP4035092A2 (ko)
JP (1) JP7304488B2 (ko)
KR (1) KR20220054410A (ko)
CN (1) CN114467095A (ko)
WO (1) WO2021061861A2 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240043355A (ko) 2022-09-27 2024-04-03 한국전자기술연구원 강화학습기반 다중충실도 모델링 방법 및 장치
KR20240045603A (ko) 2022-09-30 2024-04-08 한국전자기술연구원 고충실도 물리모델 실시간 사용을 위한 지능형 데이터 생성 방법 및 장치

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11651276B2 (en) * 2019-10-31 2023-05-16 International Business Machines Corporation Artificial intelligence transparency
US11487650B2 (en) * 2020-05-22 2022-11-01 International Business Machines Corporation Diagnosing anomalies detected by black-box machine learning models
CN113989574B (zh) * 2021-11-04 2024-04-02 中国科学技术大学 图像解释方法、图像解释装置、电子设备和存储介质
US11880648B2 (en) * 2021-11-22 2024-01-23 Adobe Inc. Automatic semantic labeling of form fields with limited annotations

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5805730A (en) * 1995-08-08 1998-09-08 Apple Computer, Inc. Method for training an adaptive statistical classifier with improved learning of difficult samples
US9508347B2 (en) * 2013-07-10 2016-11-29 Tencent Technology (Shenzhen) Company Limited Method and device for parallel processing in model training
US9767410B1 (en) 2014-10-03 2017-09-19 Google Inc. Rank-constrained neural networks
US11144825B2 (en) 2016-12-01 2021-10-12 University Of Southern California Interpretable deep learning framework for mining and predictive modeling of health care data
JP7043786B2 (ja) 2017-10-25 2022-03-30 日本電気株式会社 営業活動支援システム、営業活動支援方法および営業活動支援プログラム
CN108280462A (zh) * 2017-12-11 2018-07-13 北京三快在线科技有限公司 一种模型训练方法及装置，电子设备
JP6893480B2 (ja) 2018-01-18 2021-06-23 株式会社日立製作所 分析装置および分析方法
US11321612B2 (en) * 2018-01-30 2022-05-03 D5Ai Llc Self-organizing partially ordered networks and soft-tying learned parameters, such as connection weights
US10698766B2 (en) * 2018-04-18 2020-06-30 EMC IP Holding Company LLC Optimization of checkpoint operations for deep learning computing
US11704567B2 (en) * 2018-07-13 2023-07-18 Intel Corporation Systems and methods for an accelerated tuning of hyperparameters of a model using a machine learning-based tuning service

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240043355A (ko) 2022-09-27 2024-04-03 한국전자기술연구원 강화학습기반 다중충실도 모델링 방법 및 장치
KR20240045603A (ko) 2022-09-30 2024-04-08 한국전자기술연구원 고충실도 물리모델 실시간 사용을 위한 지능형 데이터 생성 방법 및 장치

Also Published As

Publication number Publication date
US20210089828A1 (en) 2021-03-25
JP7304488B2 (ja) 2023-07-06
US20220327328A1 (en) 2022-10-13
EP4035092A2 (en) 2022-08-03
US11403490B2 (en) 2022-08-02
JP2022549316A (ja) 2022-11-24
WO2021061861A3 (en) 2021-05-20
WO2021061861A2 (en) 2021-04-01
CN114467095A (zh) 2022-05-10

Similar Documents

Publication Publication Date Title
KR20220054410A (ko) 국부적으로 해석 가능한 모델에 기반한 강화 학습
JP7303377B2 (ja) ラベルノイズが存在する状態でのロバストな訓練
US11893461B2 (en) System and method for labeling machine learning inputs
US11694109B2 (en) Data processing apparatus for accessing shared memory in processing structured data for modifying a parameter vector data structure
US10803377B2 (en) Content presentation based on a multi-task neural network
JP2023126769A (ja) サンプル一致度評価による能動学習
US11823058B2 (en) Data valuation using reinforcement learning
US8352215B2 (en) Computer-implemented distributed iteratively reweighted least squares system and method
US11281999B2 (en) Predictive accuracy of classifiers using balanced training sets
US11823480B2 (en) Method for training image classification model and apparatus for executing the same
JP2023162346A (ja) 学習を転移させるための学習のためのフレームワーク
US11409963B1 (en) Generating concepts from text reports
US20220230095A1 (en) Active learning via a surrogate machine learning model using knowledge distillation
WO2024051707A1 (zh) 训练推荐模型的方法、推荐资源的方法及其装置
US20210056457A1 (en) Hyper-parameter management
US20230206114A1 (en) Fair selective classification via a variational mutual information upper bound for imposing sufficiency
US20220051083A1 (en) Learning word representations via commonsense reasoning
US11875127B2 (en) Query response relevance determination
US20230342425A1 (en) Optimal sequential decision making with changing action space
KR20230061150A (ko) 비지도 도메인 적응을 하기 위한 방법 및 장치