KR20220049573A - 거리 기반 학습 신뢰 모델 - Google Patents

거리 기반 학습 신뢰 모델 Download PDF

Info

Publication number
KR20220049573A
KR20220049573A KR1020227009166A KR20227009166A KR20220049573A KR 20220049573 A KR20220049573 A KR 20220049573A KR 1020227009166 A KR1020227009166 A KR 1020227009166A KR 20227009166 A KR20227009166 A KR 20227009166A KR 20220049573 A KR20220049573 A KR 20220049573A
Authority
KR
South Korea
Prior art keywords
training
training examples
query
distance
class
Prior art date
Application number
KR1020227009166A
Other languages
English (en)
Inventor
세르칸 오메르 아릭
첸 싱
자오 장
토마스 존 피스터
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20220049573A publication Critical patent/KR20220049573A/ko

Links

Images

Classifications

    • G06N3/0454—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G06K9/6257—
    • G06K9/627—
    • G06K9/628—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning

Abstract

분류 모델(210) 및 신뢰 모델(220)을 연대하여 트레이닝하기 위한 방법(500)은 복수의 트레이닝 데이터 서브세트(112)를 포함하는 트레이닝 데이터 세트(110)를 수신하는 단계 및, 트레이닝 예시들(114S)의 지원 세트 및 트레이닝 예시들(114Q)의 쿼리 세트를 선택하는 단계를 포함한다. 이 방법은 또한 트레이닝 예시들의 쿼리 세트에서 각각의 트레이닝 예시들에 대하여 생성된 쿼리 인코딩(212Q)과 연관된 클래스 거리 측정치 및 정답 거리에 기초하여 분류 모델의 파라미터들을 업데이트하는 단계를 포함한다. 오분류된 것으로 식별된 각각의 트레이닝 예시에 대해, 상기 방법은, 새로운 쿼리 인코딩을 샘플링하는 단계(224) 및 새로운 쿼리 인코딩에 기초하여 신뢰 모델의 파라미터들을 업데이트하는 단계를 더 포함한다.

Description

거리 기반 학습 신뢰 모델
본 개시는 원격 기반 학습 신뢰 모델에 관한 것이다.
기계 학습 모델은 입력을 수신하고 수신된 입력을 기반으로 출력(예: 예측 출력)을 생성한다. 머신 러닝 모델은 데이터에 대해 학습된다. 그러나 예측을 위해 트레이닝된 모델의 신뢰도를 정량화(신뢰도 보정이라고도 함)하는 것은 어려운 일이다. '잘 보정된' 모델의 경우 신뢰도가 높은 예측이 더 정확해야 한다. 그러나 모델 신뢰도로 잘못 해석되는 파이프라인(softmax 출력)의 끝에서 얻은 예측 확률은 모델의 결정 품질을 잘못 보정하므로 분류가 부정확한 경우에도 신뢰도 값이 커지는 경향이 있다.
본 개시의 일 양태는 분류 모델 및 신뢰 모델을 연대하여 트레이닝하기 위한 방법을 제공한다. 그 방법은 데이터 처리 하드웨어에서 복수의 트레이닝 데이터 서브세트를 포함하는 트레이닝 데이터 세트를 수신하는 단계를 포함한다. 각각의 트레이닝 데이터 서브세트는 상이한 각각의 클래스와 연관되고 각각의 클래스에 속하는 복수의 대응하는 트레이닝 예시들을 갖는다. 트레이닝 데이터 세트에 있는 둘 이상의 트레이닝 데이터 서브세트에서, 또한 상기 방법은, 데이터 처리 하드웨어에 의하여, 트레이닝 예시들의 지원 세트 및 트레이닝 예시들의 쿼리 세트를 선택하는 단계를 포함한다. 트레이닝 예시의 지원 세트는 2개 이상의 트레이닝 데이터 서브 세트 각각에서 샘플링된 K개의 트레이닝 예시들을 포함하고, 트레이닝 예시들의 지원 세트는 트레이닝 예시들의 지원 세트에 포함되지 않은 2개 이상의 트레이닝 데이터 서브세트들 각각으로부터 샘플링된 트레이닝 예시들을 포함하는 트레이닝 예시들의 쿼리 세트를 포함한다. 2개 이상의 트레이닝 데이터 서브세트들과 연관된 각각의 클래스에 대하여, 상기 방법은 데이터 처리 하드웨어에 의해, 분류 모델을 사용하여, 각각의 클래스에 속하는 트레이닝 예시들의 지원 세트에서 K개의 트레이닝 예시들과 연관된 K개의 지원 인코딩들을 평균화하여 중심값을 결정하는 단계를 더 포함한다. 트레이닝 예시 쿼리 세트의 각 트레이닝 예시에 대하여, 상기 방법은, 데이터 처리 하드웨어가, 분류 모델을 사용하여 쿼리 인코딩을 생성하는 단계; 데이터 처리 하드웨어에 의해, 쿼리 인코딩과 각각의 클래스에 대해 결정된 중심값 사이의 각각의 거리를 나타내는 클래스 거리 측정치를 결정하는 단계; 데이터 처리 하드웨어에 의해, 트레이닝 예시들의 쿼리 세트에서 대응하는 트레이닝 예시와 연관된 정답(ground-truth) 라벨과 상기 쿼리 인코딩 사이의 정답 거리를 결정하는 단계; 그리고 데이터 처리 하드웨어가, 상기 클래스 거리 측정치 및 상기 정답 거리를 기반으로 분류 모델의 파라미터를 업데이트하는 단계를 포함한다. 오분류된 것으로 식별된 트레이닝 예시들의 쿼리 세트에 있는 각 트레이닝 예시에 대해 상기 방법은, 데이터 처리 하드웨어가, 신뢰 모델을 사용하여 상기 오분류된 트레이닝 예시에 대한 분류 모델에 의해 생성된 쿼리 인코딩에 대한 표준 편차 값을 생성하는 단계; 데이터 처리 하드웨어가, 상기 표준 편차 값 및 쿼리 인코딩을 사용하여 상기 오분류된 트레이닝 예시에 대한 새로운 쿼리 인코딩을 샘플링하는 단계; 그리고 데이터 처리 하드웨어가, 새로운 쿼리 인코딩을 기반으로 신뢰 모델의 파라미터를 업데이트하는 단계를 포함한다.
본 개시물의 구현은 다음의 선택적인 특징들 중 하나 이상을 포함할 수 있다. 일부 구현에서, 정답(ground-truth) 라벨은 거리 기반 표현 공간 내의 정답 중심값을 포함한다. 일부 예들에서, 클래스 거리 측정치 및 정답 거리에 기초한 분류 모델의 파라미터들을 업데이트하는 것은 클래스내 거리를 최소화하고 클래스간 거리를 최대화하도록 분류 모델을 트레이닝시킨다.
일부 구현에서, 신뢰 모델은 더 큰 정답 거리들에 대한 표준 편차 값을 최대화하고 각각의 정답 중심값들에 가까운 새로운 쿼리 인코딩들을 샘플링하도록 트레이닝된다. 일부 예들에서, 오분류된 것으로 식별된 트레이닝 예시의 쿼리 세트 내의 임의의 트레이닝 예시들은 거리 임계값을 충족하지 못하는 정답 거리를 포함하는 트레이닝 예시들의 쿼리 세트 내의 임의의 트레이닝 예시들을 포함한다. 일부 구현에서, 신뢰 모델은 거리 임계값을 충족하는 정답 거리를 포함하는 트레이닝 예시들의 쿼리 세트 내의 트레이닝 예시들에 대해서는 트레이닝되지 않는다. 일부 예에서, 신뢰 모델의 파라미터들을 업데이트하는 것은, 신뢰 모델이 더 큰 클래스 거리 측정치들과 연관된 쿼리 인코딩들에 대해 더 큰 표준 편차 값들을 출력하도록 장려하기 위해 신뢰 모델의 파라미터들을 업데이트하는 것을 포함한다. 일부 구현에서, 트레이닝 예시는 이미지 데이터를 포함한다. 분류 모델은 DNN(심층 신경망(Deep Neural Network))을 포함할 수 있다. 일부 예에서 신뢰 모델은 심층 신경망(DNN)을 포함한다.
본 개시의 다른 양태는 분류 모델 및 신뢰 모델을 연대하여 트레이닝하기 위한 시스템을 제공한다. 시스템은 데이터 처리 하드웨어 및 데이터 처리 하드웨어와 통신하는 메모리 하드웨어를 포함한다. 메모리 하드웨어는 데이터 처리 하드웨어에 의해 실행될 때 데이터 처리 하드웨어가 복수의 트레이닝 데이터 서브세트를 포함하는 트레이닝 데이터 세트를 수신하는 것을 포함하는 동작을 수행하게 하는 명령을 저장한다. 각각의 트레이닝 데이터 서브세트는 상이한 각각의 클래스와 연관되고 각각의 클래스에 속하는 복수의 대응하는 트레이닝 예시를 갖는다. 트레이닝 데이터 세트의 2개 이상의 트레이닝 데이터 서브세트로부터, 동작(operation)은 또한 트레이닝 예시들의 지원 세트 및 트레이닝 예시들의 쿼리 세트를 선택하는 것을 포함한다. 트레이닝 예시의 지원 세트는 2개 이상의 트레이닝 데이터 서브 세트들 각각에서 샘플링된 K개의 트레이닝 예시들을 포함하고, 트레이닝 예시들의 지원 세트는 트레이닝 예시들의 지원 세트에 포함되지 않은 2개 이상의 트레이닝 데이터 서브세트 각각으로부터 샘플링된 트레이닝 예시둘을 포함하는 트레이닝 예시들의 쿼리 세트를 포함한다. 2개 이상의 트레이닝 데이터 서브세트들과 연관된 각각의 클래스에 대해, 상기 동작(operation)은, 분류 모델을 사용하여 각각의 클래스에 속하는 트레이닝 예시들의 지원 세트에서 K개의 트레이닝 예시들과 연관된 K개의 지원 인코딩들을 평균화하여 중심값을 결정하는 것을 더 포함한다. 트레이닝 예시 쿼리 세트의 각 트레이닝 예시들에 대하여, 상기 동작은 또한 분류 모델을 사용하여 쿼리 인코딩을 생성하고, 쿼리 인코딩과 각각의 클래스에 대해 결정된 중심값 사이의 각각의 거리를 나타내는 클래스 거리 측정치를 결정하고; 트레이닝 예시들의 쿼리 세트 내에서 대응하는 트레이닝 예시와 연관된 정답 라벨과 상기 쿼리 인코딩 사이의 정답 거리를 결정하고; 그리고 클래스 거리 측정치 및 정답 거리를 기반으로 분류 모델의 파라메터들을 업데이트한다. 오분류된 것으로 식별된 트레이닝 예시들의 쿼리 세트 내에 있는 각 트레이닝 예시에 대해 상기 동작은, 신뢰 모델을 사용하여 상기 오분류된 트레이닝 예시에 대한 분류 모델에 의해 생성된 쿼리 인코딩에 대한 표준 편차 값을 생성하고; 상기 표준 편차 값 및 쿼리 인코딩을 사용하여 상기 오분류된 트레이닝 예시에 대한 새로운 쿼리 인코딩을 샘플링하는 단계; 그리고 새로운 쿼리 인코딩을 기반으로 신뢰 모델의 파라메터들을 업데이트하는 단계를 포함한다.
본 개시물의 구현은 다음의 선택적인 특징들 중 하나 이상을 포함할 수 있다. 일부 구현에서, 정답(ground-truth) 라벨은 거리 기반 표현 공간 내의 정답 중심값을 포함한다. 일부 예들에서, 클래스 거리 측정치 및 정답 거리에 기초한 분류 모델의 파라미터들을 업데이트하는 것은 클래스내 거리를 최소화하고 클래스간 거리를 최대화하도록 분류 모델을 트레이닝시킨다.
일부 구현에서 신뢰 모델은 더 큰 정답 거리들에 대한 표준 편차 값을 최대화하고 정답 중심에 가깝게 새로운 쿼리 인코딩들을 샘플링하도록 트레이닝된다. 일부 예들에서, 오분류된 것으로 식별된 트레이닝 예시들의 쿼리 세트 내의 임의의 트레이닝 예시들은 거리 임계값을 충족하지 못하는 정답 거리를 포함하는 트레이닝 예시들의 쿼리 세트 내의 임의의 트레이닝 예시들을 포함한다. 일부 구현에서, 신뢰 모델은 거리 임계값을 충족하는 정답 거리를 포함하는 트레이닝 예시들의 쿼리 세트 내의 트레이닝 예시들에 대해서는 트레이닝되지 않는다. 일부 예에서, 신뢰 모델의 파라미터들을 업데이트하는 것은, 신뢰 모델이 더 큰 클래스 거리 측정치들과 연관된 쿼리 인코딩들에 대해 더 큰 표준 편차 값들을 출력하도록 장려하기 위해 신뢰 모델의 파라미터들을 업데이트하는 것을 포함한다. 일부 구현에서, 트레이닝 예시는 이미지 데이터를 포함한다. 분류 모델은 DNN(심층 신경망(Deep Neural Network))을 포함할 수 있다. 일부 예에서 신뢰 모델은 심층 신경망(DNN)을 포함한다.
본 개시 내용의 하나 이상의 구현의 세부사항은 첨부 도면 및 아래의 설명에 기재되어 있다. 다른 양태, 특징 및 이점은 설명 및 도면, 그리고 청구범위로부터 명백할 것이다.
도 1은 분류 모델 및 보정 모델을 트레이닝하기 위해 오류들로부터의 거리 기반 학습(DBLE)을 구현하는 트레이닝 프레임 워크를 제공하는 예시 시스템이다.
도 2는 도 1의 분류 모델 및 보정 모델을 트레이닝 하기 위한 DBLE 아키텍처(architecture)의 일 예이다.
도 3a 및 3b는 트레이닝 예시들의 거리 기반 표현 공간의 플롯을 보여준다.
도 4는 상기 DBLE를 사용하여 상기 분류 모델 및 상기 보정 모델을 트레이닝시키는 알고리즘의 예이다.
도 5는 신뢰 모델과 병렬로 분류 모델을 트레이닝하는 방법에 대한 예시적인 동작들(operations)의 배열 흐름도이다.
도 6은 여기에 설명된 시스템 및 방법을 구현하는 데 사용될 수 있는 예시적인 컴퓨팅 장치의 개략도이다.
다양한 도면에서 유사한 참조 부호는 유사한 요소를 나타낸다.
심층 신경망(DNN) 트레이닝을 위한 기존 기술은 일반적으로 제대로 보정되지 않은 DNN을 생성한다. DNN은 많은 중요한 의사 결정 시나리오에 배포되기 때문에 잘못된 보정으로 인해 비용이 많이 드는 잘못된 결정이 발생할 수 있다. DNN에 의해 내려진 잘못된 결정에 대한 행동을 방지하기 위해 DNN이 DNN에 의해 출력된 결정에 대한 신뢰도 추정값을 출력하는 것이 바람직하다. 이를 위해, 시스템은 낮은 신뢰도로 DNN의 출력 결정에 따라 행동하는 것을 피하도록 자제할 수 있고/또는 인간 전문가와 상담할 수 있으므로, 이러한 낮은 신뢰도 결정이 의존하여 행동하는 해로운 결과를 피할 수 있다. 불행히도 DNN, 특히 제대로 보정되지 않은 DNN의 경우 정확한 신뢰도 추정이 어렵다.
여기에서 구현들은 잘 보정된 신경망을 생성하기 위해 오류들로부터의 거리 기반 학습(DBLE)을 구현하는 트레이닝 프레임워크를 지향한다. DBLE에서 시스템은 분류 모델(또는 예측 모델이라고도 함)과 신뢰 모델을 병렬로 트레이닝한다. DBLE를 이용한 분류 모델의 트레이닝은 거리 기반 표현 공간을 학습하고, 여기서 상기 거리 기반 표현 공간은, 주어진 테스트 샘플에 대한 분류 모델의 성능을 보정하기 위해, 텍스트 샘플의 정답(ground-truth) 클래스 중심까지 테스트 샘플에 대한 L2 거리를 정의한다. 따라서 바닐라 트레이닝(최대 가능성을 최적화하기 위한 기존의 트레이닝)과 달리 DBLE를 사용한 트레이닝 분류 모델은 결정 품질을 보정하는 황금 신뢰도 측정으로 사용하기 위한 기능을 가지고 있다. 그러나 이 거리를 테스트 샘플에 대해 계산하려면 정답 클래스 중심에 대한 라벨이 필요하므로 추론에서 직접 얻을 수 없다. 따라서 DBLE를 사용한 신뢰 모델의 트레이닝은 추론하는 동안 이 거리를 신뢰 점수로 추정하도록 구성된다. 신뢰 모델을 트레이닝하기 위해 DBLE는 분류 모델을 트레이닝하는 동안 잘못 분류된 트레이닝 샘플을 활용한다(트레이닝 오류들로부터의 학습).
도 1을 참조하면, 일부 구현에서, 시스템(100)은 데이터 처리 하드웨어(104)(예를 들어, 서버(들) 또는 CPU(들) 및/또는 데이터 처리 하드웨어(104) 상에서 실행될 때 데이터 처리 하드웨어(104)가 동작들을 수행하게 하는 명령들을 저장하는 원격 메모리 하드웨어(106))와 같은 리소스(102)를 포함하는 컴퓨팅 환경(130)을 포함한다. 분류 모델(210) 및 신뢰 모델(220)을 병렬로 트레이닝하는, 오류로부터의 거리 기반 학습(DBLE) 아키텍처(200)는 상기 리소스(102)에 상주할 수 있다. 도시된 예에서, DBLE 아키텍처(200)는 각각 상이한 개별 클래스와 연관된 다수의 트레이닝 예시(114)를 포함하는 복수의 트레이닝 데이터 서브세트들(112, 112a-n)를 포함하는 트레이닝 데이터 세트(110)에 대해 분류 모델(210)을 트레이닝한다. 각각의 트레이닝 예시(114)는 트레이닝 예시(114)가 속하는 각각의 클래스를 나타내며, 상응하는 정답(ground-truth) 라벨을 포함한다. 여기서, 정답 라벨은 거리 기반 표현 공간에서 정답 중심값(212G)을 포함할 수 있다. 일부 예에서 트레이닝 예는 이미지 또는 이미지 데이터에 상응한다.
명백해지는 바와 같이, DBLE 아키텍처(200)는 분류 모델(210)을 통해 거리 기반 표현 공간을 학습하고 잘 보정된 분류를 산출하기 위해 공간에서의 거리를 이용하도록 구성된다. DBLE 아키텍처(200)는 표현 공간에서의 테스트 샘플의 위치 및 동일한 클래스의 트레이닝 샘플들까지의 테스트 샘플의 거리가 신뢰도 추정을 가이드하기 위한 유용한 정보를 포함한다는 상관관계에 의존한다. 즉, DBLE 아키텍처는, 테스트 샘플에서 정답 클래스 중심까지의 거리가 분류 모델(210)의 성능을 보정할 수 있도록, 분류를 통해 거리 기반 표현 공간을 학습하기 위해 트레이닝 및 추론을 위한 프로토타입 학습을 적용하도록 구성된다. 여기에서 사용되는 바와 같이, 프로토타입 학습은 표현 공간에서 상응하는 클래스 센터('프로토타입'이라고도 함)까지의 샘플들 거리에만 의존하는 트레이닝과 예측을 모두 의미하며, 이에 의해 분류 모델(210)의 트레이닝을 최적화하여 클래스내 거리를 최소화하고 클래스간 거리를 최대화하여 관련된 샘플이 표현 공간에서 함께 클러스터링되도록 한다. 추론하는 동안 정답 클래스 센터에 대한 정답 라벨을 알 수 없으므로 DBLE 아키텍처(200)는 분류 모델(210)과 연대하여 별도의 신뢰 모델(220)을 트레이닝시키고, 그렇게 함으로써 그것의 정답 클래스 중심까지의 테스트 샘플 거리를 추정할 수 있다. 특히, 구현들은 트레이닝 동안 분류 모델(210)에 의해 오분류된 트레이닝 샘플에 대해서만 신뢰 모델을 트레이닝하는 방향으로 진행된다. 모델들(210, 220)은 각각 심층 신경망(DNN)을 포함할 수 있다.
도 2는 분류 모델(210)과 신뢰 모델(220)을 병렬로 연대하여 트레이닝하기 위한 DBLE 아키텍처(200)의 예를 제공하는 것으로, 정답 중심을 알 수 없는 경우, 분류 모델(210)에 의해 오분류된 것으로 식별된 트레이닝 예시들(114)은, 추론하는 동안 신뢰 모델(220)이 거리 기반 표현 공간에서 테스트 샘플에서 그것의 정답 중심까지의 거리를 추정할 수 있도록 신뢰 모델(220)을 트레이닝하는 데 사용된다. 최소 배치 경사 강하 변형을 기반으로 한 분류를 위한 바닐라 트레이닝 기법과 대조적으로, DBLE 아키텍처는 분류 모델(210)을 트레이닝하기 위해 에피소드식 트레이닝을 사용한다. DBLE는 트레이닝 데이터 세트(110)로부터 트레이닝 예시들(114)을 무작위로 샘플링하여 트레이닝 예시들의 두 세트를 선택함으로써 에피소드를 생성한다: (1) 트레이닝 예시들(114S)의 지원 세트; 및 (2) 트레이닝 예시들(114Q)의 쿼리 세트. 보다 구체적으로, DBLE은 먼저 복수의 데이터 서브세트(112)로부터 N개의 트레이닝 데이터 서브세트(112)를 무작위로 샘플링/선택함으로써 각 에피소드를 생성한다. 그 후, DBLE는 N개의 트레이닝 데이터 서브세트들(112)의 각각으로부터 K개의 트레이닝 예시들(114Sa-k)를 샘플링함으로써 트레이닝 샘플들(114S)의 지원 세트를 선택하고, 트레이닝 샘플들(114S)의 지원 세트에 포함되지 않은 N개의 트레이닝 데이터 서브세트들(112) 각각으로부터 트레이닝 예시(114)를 샘플링함으로써 트레이닝 예시들(114Q)의 쿼리 세트를 선택한다. 일부 예에서, N개의 트레이닝 데이터 서브세트들은 트레이닝 데이터 세트(110)에서 둘 이상의 트레이닝 데이터 서브세트들(112)을 포함한다. N개의 트레이닝 데이터 서브세트들은 복수의 트레이닝 데이터 서브세트 전체를 포함할 수 있지만, DBLE는 전체 트레이닝 데이터 서브세트를 사용할 필요가 없다. 서로 다른 클래스들의 수가 매우 많을 때 배치(batch) 내의 트레이닝 예시들의 지원 세트로부터의 트레이닝 예시들을 프로세서 메모리에 맞추는 것이 어려울 수 있기 때문이다.
N개의 트레이닝 데이터 서브세트들(112)과 연관된 각각의 클래스에 대해, DBLE는 분류 모델(210)을 사용하여, 각각의 클래스에 속하는 트레이닝 예시들(114S)의 지원 세트에서 K개의 트레이닝 예시들(114Sa-k)과 연관된 K개의 지원 인코딩들(212S, 212Sa-k)을 평균화함으로써 중심값(214)을 결정할 수 있다. 즉, 주어진 클래스에 대해, 분류 모델(210)은 트레이닝 예시들(114S)의 지원 세트에서 K개의 트레이닝 예시들(114)의 각각을 입력으로서 수신하고, 출력으로서, 지원 세트 내의 각각의 트레이닝 예에 대한 대응하는 지원 인코딩(212S)을 생성한다. 주어진 클래스에 대해, DBLE는 K개의 지원 인코딩(212S)을 평균화하여 각각의 주어진 클래스에 대한 각각의 중심값들(214)을 계산/결정한다. 따라서 DBLE는 N개의 중심값(214)이 계산되어 각 중심값(214)이 N개의 클래스 중 각각의 것을 나타내도록, 나머지 N개의 트레이닝 서브세트(212)에 대해 반복한다.
분류 모델(210)은 트레이닝 예시들(114Q)의 쿼리 세트에서 각각의 트레이닝 예에 대해 각각의 쿼리 인코딩(212Q, hi)을 추가로 생성하고, DBLE는 쿼리 인코딩 (212Q)과 각각의 클래스에 대해 결정된 중심값(214) 사이의 각각의 거리를 나타내는 클래스 거리 측정치를 결정한다. DBLE는 또한 쿼리 인코딩(212Q)과 트레이닝 예시들(114Q)의 쿼리 세트에서 대응하는 트레이닝 예시와 연관된 정답 중심값(212G) 사이의 정답 거리를 결정하고, 클래스 거리 측정치 및 정답 거리에 기초하여 분류 모델(210)의 파라미터들을 업데이트한다. 특히, DBLE는 분류 215를 위해 프로토-로스(proto-loss)를 사용하여, 각각의 클래스 거리 측정치들을 결정/계산하기 위해 쿼리 인코딩(212Q) 및 N개의 개별 클래스 각각에 대해 결정된 중심값들(214, 214a-n)을 수신하고, 또한, 쿼리 인코딩(212Q)과 정답 중심값(212G) 사이의 정답 거리를 결정/계산하기 위해 정답 중심값(212G)을 수신한다. 따라서 분류 모델(210)은 트레이닝 가능한 파라미터에 의해 파라미터화되고, 이하의 방정식(수학식 1)으로 표현되는 트레이닝 예시들(114S)의 지원 세트가 주어지면 트레이닝 예시들(114Q)의 쿼리 세트에서 각 트레이닝 예시의 정답 중심값(212G)의 음의 로그 가능성과 관련된 손실을 사용한다.
Figure pct00001
여기서 Se는 트레이닝 예시들(114S)의 지원 세트, Qe는 트레이닝 예시들(114Q)의 쿼리 세트, yi는 정답 중심값(212G), xi는 분류 모델에 입력된 쿼리 세트 트레이닝 예시들(114Q)이며, 분류 모델(210)의 트레이닝 가능한 파라미터들을 나타낸다. 분류(215)에 대한 프로토타입 손실(prototypical loss)은 하기의 방정식(수학식 2)을 사용하여 N개의 클래스의 각 클래스에 대한, 각 클래스 거리 측정치에 기초하여 트레이닝 예시들(114Q)의 쿼리 세트에서 각 트레이닝 예시 xi의 예측 라벨 분포를 계산하도록 구성된다.
Figure pct00002
여기서 hi는 거리 기반 표현 공간에서 상응하는 트레이닝 예시 xi를 나타내는 상응하는 쿼리 인코딩(214Q)이다. 따라서 DBLE는 수학식 1에 의해 계산된 손실,
Figure pct00003
을 수학식 2를 사용하여 트레이닝 예시들(114Q)의 쿼리 세트에서 각 트레이닝 예시 xi에 대해 계산된 예측 라벨 분포
Figure pct00004
로 최소화함으로써 분류 모델(210)의 트레이닝 가능한 파라미터를 업데이트한다. 따라서 N개의 클래스에 대해 결정된 쿼리 인코딩들(212Q) 및 중심값들(214)을 위한 표현 공간에서 분류 모델(210)의 트레이닝은 클래스 간 거리를 최대화하고 클래스 내 거리를 최소화한다. 그 결과, 같은 클래스에 속한 트레이닝 예시들이 함께 클러스터링되고 다른 클래스를 나타내는 클러스터가 표현 공간에서 밀려나게 된다.
트레이닝 예시들(114Q)의 쿼리 세트에서 각 트레이닝 예시를 분류하기 위해 분류 모델(210)을 사용하는 동안, DBLE(200)는 분류 모델(210)에 의해 오분류된 임의의 트레이닝 예시들을 식별한다. DBLE(200)는 분류 모델(210)에 의해 예측된 분류가 트레이닝 예시에 대한 상응하는 정답 라벨(212G)과 일치하지 않는 경우 트레이닝 예시를 오분류된 것으로 식별할 수 있다. 일부 예들에서, DBLE(200)은, 쿼리 인코딩(212Q)과 트레이닝 예시들(114Q)의 쿼리 세트에서 대응하는 트레이닝 예시와 연관된 정답 중심값(212G) 사이 각각의 정답 거리가 표현 공간에서 거리 임계값을 충족하지 못하는 경우 트레이닝 예시를 잘못 분류된 것으로 식별한다. 그렇지 않으면, DBLE(200)는, 분류 모델(210)에 의해 올바르게 분류된 거리 임계값을 만족하는(예를 들어, 작거나 같은), 쿼리 인코딩(212Q)과 트레이닝 예시들(114Q)의 쿼리 세트에서 대응하는 트레이닝 예시와 연관된 정답 중심값(212G) 사이 각각의 정답 거리를 갖는 트레이닝 예시들(114Q)의 쿼리 세트에서 임의의 트레이닝 예시들을 식별할 수 있다.
일부 구현에서, 신뢰 모델(220)은 분류 모델(210)에 의해 오분류된 것으로 식별된 트레이닝 예시들(114Q)의 쿼리 세트 내의 트레이닝 예시들에 대해 트레이닝한다. 일반적으로 올바르게 분류된 트레이닝 예시들은 분류 모델 트레이닝 중에 발생하는 트레이닝 예시들의 대다수를 구성한다. 이 개념에 기초하여, 모든 트레이닝 예시들(114Q)을 사용하는 것은 신뢰 모델(220)의 트레이닝을 지배하는 트레이닝 예시들(114Q)의 쿼리 세트에서 올바르게 분류된 트레이닝 예시들과 연관된 작은/짧은 클래스 거리 측정치들을 초래할 것이다. 따라서 신뢰 모델(220)이 모든 트리에닝 예시들(114Q)의 소수를 구성하는 잘못 분류된 트레이닝 예시들과 연관된 더 큰 클래스 거리 측정치들을 캡처하는 것을 더 어렵게 만든다.
도 2의 예시적인 DBLE 아키텍처(200)에서, 신뢰 모델(220) 주위의 점선 상자, 즉, 신뢰 모델(220)과 관련된 샘플링 작업(225) 및 교정을 위한 프로토-로스(250)는, 오분류된 것으로 식별된 트레인 예시들(114Q)의 쿼리 세트 내의 트레이닝 예시만을 각각 사용한 분류 모델(210)과 병렬로 신뢰 모델(220)의 트레이닝을 나타낸다. 따라서 오분류된 것으로 식별된 트레이닝 예시들(114Q)의 쿼리 세트 내의 각각의 트레이닝 예시들에 대해, 데이터 처리 하드웨어(104)에서 실행하는 DBLE는: 신뢰 모델(220)을 사용하여, 대응하는 오분류된 트레이닝 예시에 대한 분류 모델(210)에 의해 생성된 쿼리 인코딩(212Q)에 대한 표준 편차 값(222, σ)을 생성하고; 표준 편차 값(222) 및 쿼리 인코딩(212Q)을 사용하여, 대응하는 오분류된 트레이닝 예시에 대한 새로운 쿼리 인코딩(224)을 샘플링하고, 새로운 쿼리 인코딩(224)에 기초하여 신뢰 모델(220)의 파라미터들을 업데이트한다.
신뢰 모델(220)은 더 큰 클래스 거리 측정치들과 연관된 쿼리 인코딩들(212Q)에 대해 더 큰 표준 편차 값들(222, σ)을 출력하도록 트레이닝된다. 새로운 쿼리 인코딩(224, zs)을 샘플링하기 위해, 신뢰 모델(220)은 대응하는 쿼리 인코딩(212Q, hs) 및 대응하는 표준 편차 값(222, σs)에 의해 파라미터화된 등방성 가우스 분포로부터 샘플링하는 샘플링 작업(225)을 사용한다. 보정을 위한 프로토-로스(proto-loss)(250)는 하기의 방정식(수학식 3)을 사용하여 각각의 오분류된 트레이닝 예시 xs에 대해 샘플링된 새로운 쿼리 인코딩(224)의 예측된 라벨 분포를 사용하여 프로토-로스를 계산하도록 구성된다.
Figure pct00005
따라서 DBLE는 신뢰 모델(220)이 더 큰 클래스 거리 측정치들과 연관된 쿼리 인코딩들(212Q)에 대해 더 큰 표준 편차 값들(222, σ)을 출력하도록 장려하기 위해 신뢰 모델(220)의 트레이닝 가능한 파라미터들을 업데이트한다. 특히, 표현 공간에서 각각의 오분류된 트레이닝 예시에 대한 쿼리 인코딩(212Q)을 고정함으로써, 각각의 정답 중심 값(212G)에 새로운 쿼리 인코딩(224)이 가까워지도록 최대화한 수학식 3을 강제한다. 오분류된 트레이닝 예시는 정답 중심값(212G)에서 더 멀리 떨어진 쿼리 인코딩(212Q)을 포함하기 때문에, 신뢰 모델(220)이 상응하는 더 큰 표준 편차 값(222)을 출력하도록 장려하는 것은, 정답 중심값(212G)에 가까워지도록 새로운 쿼리 인코딩(224)을 강제한다. 도 4는 도 2에 설명된 DBLE(200)를 사용하여 분류 및 교정 모델(210, 220)의 트레이닝을 나타내는 예시적인 알고리즘(400)을 제공한다.
도 3a 및 3b는 표현 공간에서 쿼리 세트의 트레이닝 예시들(114Q)로부터 트레이닝 예시들을 나타내는 점들의 예시적인 플롯(300a, 300b)을 도시한다. 각각의 플롯(300a, 300b)에서 점선 수직선은 좌측 및 우측의 트레이닝 예시가 상이한 각각의 클래스에 속하는 결정 경계를 나타낸다. 또한, 점선 원은 대응하는 쿼리 인코딩들(212Q, ha-hc)에 대한 표준 편차 값들(222, σ)을 나타내며, 여기서 ha, hb는 오분류된 트레이닝 예시들(114Q)에 대응하는 오분류된 쿼리 인코딩들(222Q)과 연관되고 hc는 올바르게 분류된 트레이닝 예시들(114Q)에 대응하는 올바르게 분류된 쿼리 인코딩들(222Q)과 연관된다. 도 3의 플롯(300a)은 도 3a는 신뢰 모델(220)의 트레이닝 가능한 파라미터들을 업데이트하기 전에 오분류된 쿼리 인코딩들(ha, hb) 및 올바르게 분류된 쿼리 인코딩(hc) 둘 모두에 대한 짧은 표준 편차 값(222)을 도시한다. 신뢰 모델(220)의 트레이닝 가능한 파라미터들을 업데이트한 후, 도 3b의 플롯(300b)은, 오분류된 트레이닝 예시에서 샘플링된 새로운 쿼리 인코딩 za, zb를 올바른 클래스에 연관된 정답 중심 값 212G에 최대한 가깝게 이동하는 보정을 위한 프로토-로스의 결과로서, 오분류된 쿼리 인코딩들 ha, hb에 대한 더 큰 표준 편차 값들(222)을 보여준다.
다시 도 2를 참조하면, 추론하는 동안, 데이터 처리 하드웨어(104)에서 실행하는 DBLE(200)는 다음 방정식(수학식 4)을 사용하여 모든 대응하는 트레이닝 예시들의 표현들(212S)을 평균화함으로써 트레이닝 세트의 모든 클래스 c에 대한 클래스 중심(214)을 계산한다.
Figure pct00006
여기서,
Figure pct00007
는 클래스 k에 속하는 모든 트레이닝 예시들의 집합이다. 그리고 테스트 샘플 xt가 주어지면, 대응하는 쿼리 인코딩(212Q)의 각 클래스 거리 측정치들이 각 클래스 중심(214)에 대해 측정된다. xt 라벨의 예측은 xt가 표현 공간에서 가장 가까운 중심을 가진 클래스에 할당되도록 클래스 거리 측정치들을 기반으로 한다. 따라서 쿼리 인코딩(212Q)이 그것의 정답 클래스 중심(214G)으로부터 너무 멀다면, 그것은 오분류될 가능성이 있다. 추론에서 테스트 샘플 xt에 대해 정답 중심값(212G)이 알려지지 않았기 때문에, 즉 이용 가능한 라벨이 없기 때문에, DBLE는 분류 모델(210)이 라벨을 예측하는 것을 돕기 위해 각각의 클래스 거리 측정치들을 추정하기 위해 트레이닝된 신뢰 모델(220)을 사용한다. 즉, 분류 모델(210)은 상응하는 쿼리 인코딩 ht (212Q)를 사용하여 모든 테스트 샘플 xt에 대한 라벨을 예측한다. 그 다음, 신뢰 모델(220)은 쿼리 인코딩 ht에 대한 표준 편차 값 σt(222)를 출력하고 샘플링 동작(225)은 새로운 쿼리 인코딩(224)을 샘플링한다. 그런 다음 DBLE는 다음 방정식(수학식 5)을 사용하여 예측 라벨 분포를 신뢰도 추정치로 평균화한다.
Figure pct00008
여기서 U는 새로운 쿼리 인코딩 zt (224)와
Figure pct00009
의 총 수이며 분류 모델(210)의 예측을 보정하기 위한 신뢰도 점수로 사용된다. 따라서 DBLE는, 신뢰 모델의 추정 변동이 크기 때문에, 정답 클래스 중심들에서 더 멀리 떨어진 테스트 예시들(오분류와 같이)에 대한 표현 샘플링에 더 많은 무작위성을 추가한다.
도 5는 신뢰 모델(220)과 병렬로 분류 모델(210)을 트레이닝하는 방법(500)에 대한 예시적인 동작 배열의 흐름도이다. 방법(500)은 도 1의 메모리 하드웨어(106)에 저장된 명령어에 기초하여 도 1의 데이터 처리 하드웨어(104) 상에서 실행할 수 있다. 동작(502)에서, 방법(500)은 데이터 처리 하드웨어(104)에서 복수의 트레이닝 데이터 서브세트들(112)을 포함하는 트레이닝 데이터 세트(110)를 수신하는 단계를 포함한다. 각각의 트레이닝 데이터 서브세트(112)는 상이한 각각의 클래스와 연관되고 각각의 클래스에 속하는 복수의 대응하는 트레이닝 예시들(114)을 갖는다.
동작(504)에서, 트레이닝 데이터 세트(110)의 2개 이상의 트레이닝 데이터 서브세트들(112)에 대해, 방법(500)은 데이터 처리 하드웨어(104)에 의해 트레이닝 예시들(114S)의 지원 세트 및 트레이닝 예시들(114Q)의 쿼리 세트를 선택하는 단계를 포함한다. 트레이닝 예시들(114S)의 지원 세트는 2개 이상의 트레이닝 데이터 서브세트들(112) 각각으로부터 샘플링된 K개의 트레이닝 예시들(114)을 포함한다. 트레이닝 예시들(114Q)의 쿼리 세트는 트레이닝 예시들(114S)의 지원 세트에 포함되지 않은 2개 이상의 트레이닝 데이터 서브세트들(112) 각각으로부터 샘플링된 트레이닝 예시들(114)을 포함한다.
방법(500)은, 동작(506)에서, 데이터 처리 하드웨어(104)에 의해, 분류 모델(210)을 사용하여, 각각의 클래스에 속하는 지원 세트의 트레이닝 예시들(114)와 연관된 K개의 지원(support) 인코딩들(215)을 평균화함으로써 중심 값(214)을 결정하는 단계를 포함한다. 동작(508)에서, 트레이닝 예(114Q)의 쿼리 세트 내의 각각의 트레이닝 예시에 대해, 방법(500)은 데이터 처리 하드웨어(104)가, 분류 모델(210)을 사용하여 쿼리 인코딩(212Q)을 생성하는 단계; 데이터 처리 하드웨어(104)가, 쿼리 인코딩(212Q)과 각각의 클래스에 대해 결정된 중심값(214) 사이 각각의 거리를 나타내는 클래스 거리 측정치를 결정하는 단계; 데이터 처리 하드웨어(104)가, 트레이닝 예시들(114Q)의 쿼리 세트에서 대응하는 트레이닝 예시(114)와 연관된 정답 라벨(214G)과 쿼리 인코딩(212Q) 사이의 정답 거리를 결정하는 단계; 그리고 데이터 처리 하드웨어(104)가, 클래스 거리 측정치 및 정답 거리에 기초하여 분류 모델(210)의 파라미터들을 업데이트하는 단계를 포함한다.
동작(510)에서, 오분류된 것으로 식별된 트레이닝 예시들(114Q)의 쿼리 세트 내의 각각의 트레이닝 예시(114)에 대해, 방법(500)은, 데이터 처리 하드웨어(104)가, 신뢰 모델(220)을 사용하여, 대응하는 오분류된 트레이닝 예시에 대한 분류 모델(210)에 의해 생성된 쿼리 인코딩(212Q)에 대한 표준 편차 값(222)을 생성하는 단계; 데이터 처리 하드웨어(104)가, 표준 편차 값(222) 및 쿼리 인코딩(212Q)을 사용하여, 대응하는 오분류된 트레이닝 예시에 대한 새로운 쿼리 인코딩(224)을 샘플링하는 단계; 그리고 데이터 처리 하드웨어(104)가, 새로운 쿼리 인코딩(224)에 기초하여 신뢰 모델(220)의 파라미터들을 업데이트하는 단계를 포함한다.
소프트웨어 애플리케이션(즉, 소프트웨어 리소스)은 컴퓨팅 장치가 작업을 수행하도록 하는 컴퓨터 소프트웨어를 의미할 수 있다. 일부 예들에서, 소프트웨어 애플리케이션은 애플리케이션, 앱 또는 프로그램으로 지칭될 수 있다. 예시적인 애플리케이션에는 시스템 진단 애플리케이션, 시스템 관리 애플리케이션, 시스템 유지 관리 애플리케이션, 워드 프로세싱 애플리케이션, 스프레드시트 애플리케이션, 메시징 애플리케이션, 미디어 스트리밍 애플리케이션, 소셜 네트워킹 애플리케이션 및 게임 애플리케이션이 포함되지만 이에 국한되지 않는다.
비일시적 메모리는 컴퓨팅 장치에서 사용하기 위해 임시 또는 영구적으로 프로그램(예: 명령어 시퀀스) 또는 데이터(예: 프로그램 상태 정보)를 저장하는 데 사용되는 물리적 장치일 수 있다. 비일시적 메모리는 휘발성 및/또는 비휘발성 주소 지정이 가능한 반도체 메모리일 수 있다. 비휘발성 메모리의 예로는 플래시 메모리 및 읽기 전용 메모리(ROM)/프로그래밍 가능한 읽기 전용 메모리(PROM)/지울 수 있는 프로그래밍 가능한 읽기 전용 메모리(EPROM)/전자적으로 지울 수 있는 프로그래밍 가능한 읽기 전용 메모리(EEPROM)(예: 일반적으로 부팅 프로그램과 같은 펌웨어에 사용됨)를 포함하지만 이에 국한되지 않는다. 휘발성 메모리의 예에는 RAM(Random Access Memory), DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), PCM(Phase Change Memory) 및 디스크 또는 테이프가 포함되지만 이에 국한되지 않는다.
도 6은 이 문서에 설명된 시스템 및 방법을 구현하는 데 사용될 수 있는 예시적인 컴퓨팅 장치(600)의 개략도이다. 컴퓨팅 장치(600)는 랩탑, 데스크탑, 워크스테이션, PDA, 서버, 블레이드 서버, 메인프레임 및 기타 적절한 컴퓨터와 같은 다양한 형태의 디지털 컴퓨터를 나타내도록 의도된다. 여기에 도시된 구성요소, 이들의 연결 및 관계, 및 이들의 기능은 단지 예시를 위한 것이며 이 문서에서 설명 및/또는 청구된 발명의 구현을 제한하려는 것은 아니다.
컴퓨팅 장치(600)는 프로세서(610), 메모리(620), 저장 장치(630), 메모리(620) 및 고속 확장 포트(650)에 연결되는 고속 인터페이스/컨트롤러(640), 및 저속 포트에 연결되는 저속 인터페이스/컨트롤러(660)를 포함한다. 고속 버스(670) 및 저장 장치(630)를 포함한다. 각 구성 요소(610, 620, 630, 640, 650, 660)는 다양한 버스를 사용하여 상호 연결되며, 공통 마더보드에 장착되거나 적절한 다른 방식으로 장착될 수 있다. 프로세서(610)는, 고속 인터페이스(640)에 연결된 디스플레이(680)와 같은 외부 입/출력 장치에 그래픽 사용자 인터페이스(GUI)에 대한 그래픽 정보를 표시하기 위한 명령어들이 저장된 메모리(620) 또는 저장 장치(630)를 포함하는 컴퓨팅 장치(600) 내에서 실행 명령들을 처리할 수 있다. 다른 구현에서, 다수의(multiple) 프로세서 및/또는 다수의 버스가, 다수의 메모리들 및 다수의 메모리 유형들과 함께 적절하게 사용될 수 있다. 또한, 다수의 컴퓨팅 장치(600)가 연결될 수 있으며, 각 장치는 필요한 동작의 일부를 제공한다(예를 들어, 서버 뱅크, 블레이드 서버 그룹, 또는 다중 프로세서 시스템으로서).
메모리(620)는 컴퓨팅 장치(600) 내에 비일시적으로 정보를 저장한다. 메모리(620)는 컴퓨터 판독 가능 매체, 휘발성 메모리 유닛(들), 또는 비휘발성 메모리 유닛(들)일 수 있다. 비일시적 메모리(620)는 컴퓨팅 장치(600)에 의한 사용을 위해 임시 또는 영구적으로 프로그램(예: 명령어 시퀀스) 또는 데이터(예: 프로그램 상태 정보)를 저장하는 데 사용되는 물리적 장치일 수 있다. 비휘발성 메모리의 예로는 플래시 메모리 및 읽기 전용 메모리(ROM)/프로그래밍 가능한 읽기 전용 메모리(PROM)/지울 수 있는 프로그래밍 가능한 읽기 전용 메모리(EPROM)/전자적으로 지울 수 있는 프로그래밍 가능한 읽기 전용 메모리(EEPROM)(예: 일반적으로 부팅 프로그램과 같은 펌웨어에 사용됨)를 포함하지만 이에 국한되지 않는다. 휘발성 메모리의 예에는 RAM(Random Access Memory), DRAM(Dynamic Random Access Memory), SRAM(Static Random Access Memory), PCM(Phase Change Memory) 및 디스크 또는 테이프가 포함되지만 이에 국한되지 않는다.
저장 장치(630)는 컴퓨팅 장치(600)를 위한 대용량 저장 장치를 제공할 수 있다. 일부 구현에서, 저장 장치(630)는 컴퓨터 판독 가능 매체이다. 다양한 상이한 구현들에서, 저장 디바이스(630)는 플로피 디스크 디바이스, 하드 디스크 디바이스, 광 디스크 디바이스, 또는 테이프 디바이스, 플래시 메모리 또는 다른 유사한 솔리드 스테이트 메모리 디바이스, 또는 스토리지 영역 네트워크 내 또는 기타의 구성들의 디바이스들을 포함하는 디바이스들의 어레이일 수 있다. 추가 구현에서, 컴퓨터 프로그램 제품은 명백하게 정보 캐리어(information carrier)로 구현된다. 컴퓨터 프로그램 제품은 실행될 때 위에서 설명한 것과 같은 하나 이상의 방법을 수행하는 명령을 포함한다. 정보 캐리어는 메모리(620), 저장 장치(630), 또는 프로세서(610) 상의 메모리와 같은 컴퓨터 또는 기계 판독 가능 매체이다.
고속 컨트롤러(640)는 컴퓨팅 장치(600)에 대한 대역폭 집약적 동작을 관리하는 반면, 저속 컨트롤러(660)는 더 낮은 대역폭 집약적 동작을 관리한다. 이러한 직무 할당은 예시일 뿐이다. 일부 구현에서, 고속 컨트롤러(640)는 메모리(620), 디스플레이(680)(예를 들어, 그래픽 프로세서 또는 가속기를 통해), 및 다양한 확장 카드(미도시)를 수용할 수 있는 고속 확장 포트(650)에 연결된다. 일부 구현에서, 저속 컨트롤러(660)는 저장 장치(630) 및 저속 확장 포트(690)에 연결된다. 다양한 통신 포트(예: USB, 블루투스, 이더넷, 무선 이더넷)를 포함할 수 있는 저속 확장 포트(690)는 키보드, 포인팅 장치, 스캐너와 같은 하나 이상의 입/출력 장치 또는 예를 들어 네트워크 어댑터를 통해 스위치 또는 라우터와 같은 네트워킹 장치에 연결될 수 있다.
컴퓨팅 디바이스(600)는 도면에 도시된 바와 같이 다수의 상이한 형태로 구현될 수 있다. 예를 들어, 표준 서버(600a)로서 또는 서버들(600a) 또는 이러한 서버들(600a)의 그룹에서 여러번, 랩톱 컴퓨터(600b)로서, 또는 랙 서버 시스템(600c)의 일부로서 구현될 수 있다.
여기에 설명된 시스템 및 기술의 다양한 구현은 디지털 전자 및/또는 광학 회로, 집적 회로, 특별히 설계된 ASIC(application specific integrated circuits), 컴퓨터 하드웨어, 펌웨어, 소프트웨어 및/또는 이들의 조합으로 실현될 수 있다. 이러한 다양한 구현은 저장 시스템, 적어도 하나의 입력 장치 및 적어도 하나의 출력 장치로부터 데이터 및 명령을 수신하고 데이터 및 명령을 전송하도록 결합된 특수 또는 범용일 수 있는 적어도 하나의 프로그램 가능한 프로세서를 포함하는 프로그램 가능한 시스템에서 실행 및/또는 해석 가능한 하나 이상의 컴퓨터 프로그램에서의 구현을 포함할 수 있다.
이러한 컴퓨터 프로그램(프로그램, 소프트웨어, 소프트웨어 응용 프로그램 또는 코드라고도 함)은 프로그래밍 가능한 프로세서에 대한 기계 명령을 포함하며 고급 절차 및/또는 객체 지향 프로그래밍 언어 및/또는 어셈블리/기계 언어로 구현될 수 있다. 본 명세서에서 사용되는 바와 같이, 기계 판독가능 매체 및 컴퓨터 판독가능 매체라는 용어는 임의의 컴퓨터 프로그램 제품, 비일시적 컴퓨터 판독가능 매체, 장치 및/또는 장치(예를 들어, 자기 디스크, 광 디스크, 메모리, 프로그램 가능 논리 장치(PLD)) 기계 판독 가능 신호로서 기계 명령을 수신하는 기계 판독 가능 매체를 포함하는 프로그래밍 가능 프로세서에 기계 명령 및/또는 데이터를 제공하는 데 사용된다. 기계 판독 가능 신호라는 용어는 기계 명령 및/또는 데이터를 프로그래밍 가능한 프로세서에 제공하는 데 사용되는 모든 신호를 의미한다.
본 명세서에 설명된 프로세스 및 논리 흐름은 데이터 처리 하드웨어라고도 하는 하나 이상의 프로그램 가능한 프로세서에 의해 수행될 수 있으며, 입력 데이터에 대해 작동하고 출력을 생성함으로써 기능을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행한다. 프로세스 및 논리 흐름은 FPGA(field programmable gate array) 또는 ASIC(application specific integrated circuit)와 같은 특수 목적 논리 회로에 의해 수행될 수도 있다. 컴퓨터 프로그램의 실행에 적합한 프로세서는 예로서 범용 및 특수 목적 마이크로프로세서, 및 임의의 종류의 디지털 컴퓨터의 임의의 하나 이상의 프로세서를 포함한다. 일반적으로 프로세서는 읽기 전용 메모리나 랜덤 액세스 메모리 또는 둘 다에서 명령과 데이터를 수신한다. 컴퓨터의 필수 요소는 명령을 수행하기 위한 프로세서와 명령 및 데이터를 저장하기 위한 하나 이상의 메모리 장치이다. 일반적으로, 컴퓨터는 또한 데이터를 저장하기 위한 하나 이상의 대용량 저장 장치, 예를 들어 자기, 광자기 디스크, 또는 광 디스크로부터 데이터를 수신하거나 이들로 데이터를 전송하거나 둘 모두를 포함하거나 작동 가능하게 연결된다. 그러나 컴퓨터에는 그러한 장치가 필요하지 않다. 컴퓨터 프로그램 명령 및 데이터를 저장하기에 적합한 컴퓨터 판독 가능 매체는 모든 형태의 비휘발성 메모리, 매체 및 메모리 장치, 예를 들어 반도체 메모리 장치, 예를 들어 EPROM, EEPROM 및 플래시 메모리 장치를 포함하고; 자기 디스크, 예를 들어 내부 하드 디스크 또는 이동식 디스크; 자기 광 디스크; 그리고 CD ROM 및 DVD-ROM 디스크를 포함한다. 프로세서와 메모리는 특수 목적 논리 회로에 의해 보완되거나 통합될 수 있다.
사용자와의 상호작용을 제공하기 위해, 본 개시내용의 하나 이상의 양태는 디스플레이 장치, 예를 들어 CRT(음극선관), LCD(액정 디스플레이) 모니터 또는 사용자에게 정보를 표시하기 위한 터치 스크린 및 선택적으로 키보드 및 포인팅 장치(예를 들어 사용자가 컴퓨터에 입력을 제공할 수 있는 마우스 또는 트랙볼)를 갖는 컴퓨터에서 구현될 수 있다. 다른 종류의 장치를 사용하여 사용자와 상호 작용할 수도 있다. 예를 들어, 임의의 형태의 감각적 피드백 시각적 피드백, 청각적 피드백 또는 촉각적 피드백과 같이 사용자에게 제공되는 피드백; 음향, 음성 또는 촉각 입력을 포함하는 사용자가 수신할 수 있는 모든 형태의 입력; 또한 컴퓨터는 사용자가 사용하는 장치로 문서를 보내고 문서를 수신하여 사용자와 상호 작용할 수 있다. 예를 들어 웹 브라우저에서 수신된 요청에 대한 응답으로 사용자 클라이언트 장치의 웹 브라우저에 웹 페이지를 전송한다.
많은 구현이 설명되었다. 그럼에도 불구하고, 본 개시의 정신 및 범위를 벗어나지 않고 다양한 수정이 이루어질 수 있음이 이해될 것이다. 따라서 다른 구현은 다음 청구항들의 범위 내에 있다.

Claims (20)

  1. 분류 모델(210) 및 신뢰 모델(220)을 연대하여 트레이닝하기 위한 방법(500)으로서,
    데이터 처리 하드웨어(104)에서, 복수의 트레이닝 데이터 서브세트들(112)을 포함하는 트레이닝 데이터 세트(110)를 수신하는 단계 -각각의 트레이닝 데이터 서브세트(112)는 상이한 각각의 클래스와 연관되고, 각각의 클래스에 속하는 복수의 대응하는 트레이닝 예시들(114)을 가짐;
    상기 트레이닝 데이터 세트(110)의 2개 이상의 트레이닝 데이터 서브세트들(112)로부터:
    상기 데이터 처리 하드웨어(104)가, 트레이닝 예시들(114)의 지원 세트를 선택하는 단계 -상기 트레이닝 예시들(114S)의 지원 세트(114S)는 2개 이상의 트레이닝 데이터 서브세트들(112) 각각으로부터 샘플링된 K개의 트레이닝 예시들(114)을 포함함-; 그리고
    상기 데이터 처리 하드웨어(104)가, 트레이닝 예시들(114Q)의 쿼리 세트(114Q)를 선택하는 단계 -상기 트레이닝 예시들(114Q)의 쿼리 세트는 상기 트레이닝 예시들(114S)의 지원 세트에 포함되지 않은 2개 이상의 트레이닝 데이터 서브세트들(112) 각각으로부터 샘플링된 트레이닝 예시들(114)을 포함함-;
    2개 이상의 트레이닝 데이터 서브세트들(112)과 연관된 각각의 클래스에 대하여, 상기 데이터 처리 하드웨어(104)가, 분류 모델(210)을 사용하여, 각각의 클래스에 속하는 트레이닝 예시들(114S)의 상기 지원 세트에서 K개의 트레이닝 예시들(114)과 연관된 K개의 지원 인코딩들(212S)을 평균화함으로써 중심값(214)을 결정하는 단계;
    트레이닝 예시들(114Q)의 상기 쿼리 세트에 있는 각 트레이닝 예시들에 대하여:
    상기 데이터 처리 하드웨어(104)가, 분류 모델(210)을 사용하여 쿼리 인코딩(212Q)을 생성하는 단계;
    상기 데이터 처리 하드웨어(104)가, 쿼리 인코딩(212Q)과 각각의 클래스에 대해 결정된 중심값(214) 사이의 각 거리를 나타내는 클래스 거리 측정치를 결정하는 단계;
    상기 데이터 처리 하드웨어(104)가, 트레이닝 예시들(114Q)의 쿼리 세트 내에서 대응하는 트레이닝 예시와 연관된 GT(ground-truth) 라벨(214G)과 쿼리 인코딩(212Q) 사이의 GT(ground-truth) 거리를 결정하는 단계; 그리고
    상기 데이터 처리 하드웨어(104)가, 클래스 거리 측정치 및 GT(ground-truth) 거리에 기초하여 분류 모델(210)의 파라미터들을 업데이트하는 단계; 그리고
    오분류된 것으로 식별된 트레이닝 예시들(114Q)의 쿼리 세트 내 각 트레이닝 예시에 대하여:
    상기 데이터 처리 하드웨어(104)가, 신뢰 모델(220)을 사용하여, 해당하는 오분류된 트레이닝 예시에 대하여 분류 모델(210)에 의해 생성된 쿼리 인코딩(212Q)에 대한 표준 편차 값(222)을 생성하는 단계;
    상기 데이터 처리 하드웨어(104)가, 상기 표준 편차 값(222) 및 상기 쿼리 인코딩(212Q)을 사용하여, 상기 해당하는 오분류된 트레이닝 예시에 대한 새로운 쿼리 인코딩(224)을 샘플링하는 단계; 그리고
    상기 데이터 처리 하드웨어(104)가, 새로운 쿼리 인코딩(224)에 기초하여 신뢰 모델(220)의 파라미터들을 업데이트하는 단계를 포함하는 방법(500).
  2. 제1항에 있어서, 상기 GT 라벨(214G)은,
    거리 기반 표현 공간 내의 GT 중심값을 포함하는 방법(500).
  3. 제1항 또는 제2항에 있어서,
    상기 클래스 거리 측정치 및 GT 거리에 기초하여 상기 분류 모델(210)의 파라미터들을 업데이트하는 단계는,
    클래스 내 거리를 최소화하고 클래스 간 거리를 최대화하기 위해 분류 모델(210)을 트레이닝시키는 방법(500).
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 신뢰 모델은,
    더 큰 GT 거리에 대한 표준 편차 값을 최대화하고 그리고 거리 기반 표현 공간 내에서 각각의 GT 중심 값들에 가까운 새로운 쿼리 인코딩들(224)을 샘플링하도록 트레이닝되는 것을 특징으로 하는 방법(500).
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 오분류된 것으로 식별된 트레이닝 예시들(114Q)의 쿼리 세트 내의 임의의 트레이닝 예시들은,
    거리 임계값을 충족하지 못하는 GT 거리들을 포함하는 트레이닝 예시들(114Q)의 상기 쿼리 세트 내의 임의의 트레이닝 예시들을 포함하는 방법(500).
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 신뢰 모델(220)은,
    거리 임계값을 충족하는 GT 거리를 포함하는 트레이닝 예시들(114Q)의 쿼리 세트 내의 트레이닝 예시들에 대해서는 트레이닝되지 않는 방법(500).
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 신뢰 모델의 파라미터들을 업데이트하는 단계는,
    신뢰 모델(220)이 더 큰 클래스 거리 측정치들과 관련된 쿼리 인코딩들(212Q)에 대해 더 큰 표준 편차 값들(222)을 출력하도록 장려하기 위해 신뢰 모델(220)의 파라미터들을 업데이트하는 단계를 포함하는 방법(500).
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 트레이닝 예시들(114)은,
    이미지 데이터를 포함하는 방법(500).
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 분류 모델(210)은,
    심층 신경망(DNN)을 포함하는 방법(500).
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 신뢰 모델(220)은,
    심층 신경망(DNN)을 포함하는 방법(500).
  11. 분류 모델(210) 및 신뢰 모델(220)을 연대하여 트레이닝하기 위한 시스템(100)으로서,
    데이터 처리 하드웨어 (104); 그리고
    데이터 처리 하드웨어(104)와 통신하는 메모리 하드웨어(106)를 포함하며, 메모리 하드웨어(106)는 데이터 처리 하드웨어(104) 상에서 실행될 때 데이터 처리 하드웨어(104)로 하여금 동작들을 수행하게 하는 명령어들을 저장하며; 상기 동작들은,
    복수의 트레이닝 데이터 서브세트들(112)을 포함하는 트레이닝 데이터 세트(110)를 수신하는 동작 -각각의 트레이닝 데이터 서브세트(112)는 상이한 각각의 클래스와 연관되고, 각각의 클래스에 속하는 복수의 대응하는 트레이닝 예시들(114)를 가짐-;
    상기 트레이닝 데이터 세트(110)의 2개 이상의 트레이닝 데이터 서브세트들(112)로부터:
    트레이닝 예시들(114)의 지원 세트를 선택하는 동작 -상기 트레이닝 예시들(114S)의 지원 세트(114S)는 2개 이상의 트레이닝 데이터 서브세트들(112) 각각으로부터 샘플링된 K개의 트레이닝 예시들(114)을 포함함-; 그리고,
    트레이닝 예시들(114Q)의 쿼리 세트(114Q)를 선택하는 동작 -상기 트레이닝 예시들(114Q)의 쿼리 세트는 상기 트레이닝 예시들(114S)의 지원 세트에 포함되지 않은 2개 이상의 트레이닝 데이터 서브세트들(112) 각각으로부터 샘플링된 트레이닝 예시들(114)을 포함함-;
    2개 이상의 트레이닝 데이터 서브세트들(112)과 연관된 각각의 클래스에 대하여, 분류 모델(210)을 사용하여, 각각의 클래스에 속하는 트레이닝 예시들(114S)의 상기 지원 세트에서 K개의 트레이닝 예시들(114)과 연관된 K개의 지원 인코딩들(212S)을 평균화함으로써 중심값(214)을 결정하는 동작;
    트레이닝 예시들(114Q)의 상기 쿼리 세트에 있는 각 트레이닝 예시들에 대하여:
    분류 모델(210)을 사용하여 쿼리 인코딩(212Q)을 생성하는 동작;
    쿼리 인코딩(212Q)과 각각의 클래스에 대해 결정된 중심값(214) 사이의 각 거리를 나타내는 클래스 거리 측정치를 결정하는 동작;
    트레이닝 예시들(114Q)의 쿼리 세트 내에서 대응하는 트레이닝 예시와 연관된 GT(ground-truth) 라벨(214G)과 쿼리 인코딩(212Q) 사이의 GT 거리를 결정하는 동작; 그리고
    클래스 거리 측정치 및 GT 거리에 기초하여 분류 모델(210)의 파라미터들을 업데이트하는 동작; 그리고
    오분류된 것으로 식별된 트레이닝 예시들(114Q)의 쿼리 세트 내 각 트레이닝 예시에 대하여:
    신뢰 모델(220)을 사용하여, 해당하는 오분류된 트레이닝 예시에 대하여 분류 모델(210)에 의해 생성된 쿼리 인코딩(212Q)에 대한 표준 편차 값(222)을 생성하는 동작;
    상기 표준 편차 값(222) 및 상기 쿼리 인코딩(212Q)을 사용하여, 해당하는 오분류된 트레이닝 예시에 대한 새로운 쿼리 인코딩(224)을 샘플링하는 동작; 그리고
    새로운 쿼리 인코딩(224)에 기초하여 신뢰 모델(220)의 파라미터들을 업데이트하는 동작을 포함하는 시스템(100).
  12. 제11항에 있어서, 상기 GT 라벨(214G)은,
    거리 기반 표현 공간 내의 GT 중심값을 포함하는 시스템(100).
  13. 제11항 또는 제12항에 있어서,
    상기 클래스 거리 측정치 및 GT 거리에 기초하여 상기 분류 모델(210)의 파라미터들을 업데이트하는 동작은,
    클래스 내 거리를 최소화하고 클래스 간 거리를 최대화하기 위해 분류 모델(210)을 트레이닝시키는 시스템(100).
  14. 제11항 내지 제13항 중 어느 한 항에 있어서, 상기 신뢰 모델은,
    더 큰 GT 거리에 대한 표준 편차 값을 최대화하고 거리 기반 표현 공간 내에서 각각의 GT 중심 값들에 가까운 새로운 쿼리 인코딩들(224)을 샘플링하도록 트레이닝되는 것을 특징으로 하는 시스템(100).
  15. 제11항 내지 제14항 중 어느 한 항에 있어서,
    상기 오분류된 것으로 식별된 트레이닝 예시들(114Q)의 쿼리 세트 내의 임의의 트레이닝 예시들은,
    거리 임계값을 충족하지 못하는 GT 거리들을 포함하는 트레이닝 예시들(114Q)의 상기 쿼리 세트 내의 임의의 트레이닝 예시들을 포함하는 시스템(100).
  16. 제11항 내지 제15항 중 어느 한 항에 있어서, 상기 신뢰 모델(220)은,
    거리 임계값을 충족하는 GT 거리를 포함하는 트레이닝 예시들(114Q)의 쿼리 세트 내의 트레이닝 예시들에 대해서는 트레이닝되지 않는 시스템(100).
  17. 제11항 내지 제16항 중 어느 한 항에 있어서,
    상기 신뢰 모델의 파라미터들을 업데이트하는 동작은,
    신뢰 모델(220)이 더 큰 클래스 거리 측정치들과 관련된 쿼리 인코딩들(212Q)에 대해 더 큰 표준 편차 값들(222)을 출력하도록 장려하기 위해 신뢰 모델(220)의 파라미터들을 업데이트하는 동작을 포함하는 시스템(100).
  18. 제11항 내지 제17항 중 어느 한 항에 있어서, 상기 트레이닝 예시들(114)은,
    이미지 데이터를 포함하는 시스템(100).
  19. 제11항 내지 제18항 중 어느 한 항에 있어서, 상기 분류 모델(210)은,
    심층 신경망(DNN)을 포함하는 시스템(100).
  20. 제11항 내지 제19항 중 어느 한 항에 있어서, 상기 신뢰 모델(220)은,
    심층 신경망(DNN)을 포함하는 시스템(100).
KR1020227009166A 2019-09-24 2020-09-24 거리 기반 학습 신뢰 모델 KR20220049573A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962904978P 2019-09-24 2019-09-24
US62/904,978 2019-09-24
PCT/US2020/052451 WO2021061951A1 (en) 2019-09-24 2020-09-24 Distance-based learning confidence model

Publications (1)

Publication Number Publication Date
KR20220049573A true KR20220049573A (ko) 2022-04-21

Family

ID=72811982

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227009166A KR20220049573A (ko) 2019-09-24 2020-09-24 거리 기반 학습 신뢰 모델

Country Status (6)

Country Link
US (2) US11487970B2 (ko)
EP (1) EP4035090A1 (ko)
JP (2) JP7292506B2 (ko)
KR (1) KR20220049573A (ko)
CN (1) CN114424212A (ko)
WO (1) WO2021061951A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230386450A1 (en) * 2022-05-25 2023-11-30 Samsung Electronics Co., Ltd. System and method for detecting unhandled applications in contrastive siamese network training
US20240062529A1 (en) * 2022-08-18 2024-02-22 Microsoft Technology Licensing, Llc Determining media documents embedded in other media documents

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991430A (ja) * 1995-09-27 1997-04-04 Hitachi Ltd パターン認識装置
US8068654B2 (en) * 2007-02-02 2011-11-29 Siemens Akteingesellschaft Method and system for detection and registration of 3D objects using incremental parameter learning
US8311319B2 (en) * 2010-12-06 2012-11-13 Seiko Epson Corporation L1-optimized AAM alignment
US8306257B2 (en) * 2011-01-31 2012-11-06 Seiko Epson Corporation Hierarchical tree AAM
US9396412B2 (en) * 2012-06-21 2016-07-19 Siemens Aktiengesellschaft Machine-learnt person re-identification
US20150302317A1 (en) * 2014-04-22 2015-10-22 Microsoft Corporation Non-greedy machine learning for high accuracy
US10332028B2 (en) * 2015-08-25 2019-06-25 Qualcomm Incorporated Method for improving performance of a trained machine learning model
US20170068904A1 (en) * 2015-09-09 2017-03-09 Microsoft Technology Licensing, Llc Determining the Destination of a Communication
US20170068906A1 (en) * 2015-09-09 2017-03-09 Microsoft Technology Licensing, Llc Determining the Destination of a Communication
US10423874B2 (en) * 2015-10-02 2019-09-24 Baidu Usa Llc Intelligent image captioning
US11080918B2 (en) * 2016-05-25 2021-08-03 Metail Limited Method and system for predicting garment attributes using deep learning
US11194846B2 (en) * 2016-11-28 2021-12-07 Here Global B.V. Method and apparatus for providing automated generation of parking restriction data using machine learning
CA3072471A1 (en) * 2017-09-01 2019-03-07 Percipient.ai Inc. Identification of individuals in a digital file using media analysis techniques
US10657391B2 (en) * 2018-01-05 2020-05-19 Uatc, Llc Systems and methods for image-based free space detection
US10679330B2 (en) * 2018-01-15 2020-06-09 Tata Consultancy Services Limited Systems and methods for automated inferencing of changes in spatio-temporal images
US11068737B2 (en) * 2018-03-30 2021-07-20 Regents Of The University Of Minnesota Predicting land covers from satellite images using temporal and spatial contexts
US11210836B2 (en) * 2018-04-03 2021-12-28 Sri International Applying artificial intelligence to generate motion information
US10878296B2 (en) * 2018-04-12 2020-12-29 Discovery Communications, Llc Feature extraction and machine learning for automated metadata analysis
US11630995B2 (en) * 2018-06-19 2023-04-18 Siemens Healthcare Gmbh Characterization of amount of training for an input to a machine-learned network
US10832003B2 (en) * 2018-08-26 2020-11-10 CloudMinds Technology, Inc. Method and system for intent classification
US10878297B2 (en) * 2018-08-29 2020-12-29 International Business Machines Corporation System and method for a visual recognition and/or detection of a potentially unbounded set of categories with limited examples per category and restricted query scope
US11087177B2 (en) * 2018-09-27 2021-08-10 Salesforce.Com, Inc. Prediction-correction approach to zero shot learning
US10885384B2 (en) * 2018-11-15 2021-01-05 Intel Corporation Local tone mapping to reduce bit depth of input images to high-level computer vision tasks
US20200193552A1 (en) * 2018-12-18 2020-06-18 Slyce Acquisition Inc. Sparse learning for computer vision
US11756291B2 (en) * 2018-12-18 2023-09-12 Slyce Acquisition Inc. Scene and user-input context aided visual search
US11941493B2 (en) * 2019-02-27 2024-03-26 International Business Machines Corporation Discovering and resolving training conflicts in machine learning systems
US11657094B2 (en) * 2019-06-28 2023-05-23 Meta Platforms Technologies, Llc Memory grounded conversational reasoning and question answering for assistant systems
US11631029B2 (en) * 2019-09-09 2023-04-18 Adobe Inc. Generating combined feature embedding for minority class upsampling in training machine learning models with imbalanced samples

Also Published As

Publication number Publication date
CN114424212A (zh) 2022-04-29
US20210279517A1 (en) 2021-09-09
JP2022549006A (ja) 2022-11-22
WO2021061951A1 (en) 2021-04-01
US20230120894A1 (en) 2023-04-20
EP4035090A1 (en) 2022-08-03
JP7292506B2 (ja) 2023-06-16
US11487970B2 (en) 2022-11-01
JP2023116599A (ja) 2023-08-22

Similar Documents

Publication Publication Date Title
US20210089964A1 (en) Robust training in the presence of label noise
US10606982B2 (en) Iterative semi-automatic annotation for workload reduction in medical image labeling
US20210056417A1 (en) Active learning via a sample consistency assessment
US20230120894A1 (en) Distance-based learning confidence model
US11823058B2 (en) Data valuation using reinforcement learning
CN114467095A (zh) 基于强化学习的局部可解释模型
US10726055B2 (en) Multi-term query subsumption for document classification
CN114253605A (zh) 机器学习数据处理流水线的运行时间估计
WO2020173270A1 (zh) 用于分析数据的方法、设备和计算机存储介质
WO2017096219A1 (en) Methods and systems for determination of the number of contributors to a dna mixture
JP6233432B2 (ja) 混合モデルの選択方法及び装置
US20220405585A1 (en) Training device, estimation device, training method, and training program
CN112348161A (zh) 神经网络的训练方法、神经网络的训练装置和电子设备
US20190137539A1 (en) Systems and methods for estimating a condition from sensor data using random forest classification
CN115471717B (zh) 模型的半监督训练、分类方法装置、设备、介质及产品
CN115204409A (zh) 检测不可推理的数据
Cao et al. Confidence Calibration of Hand Gesture Recognition Networks Based on Ensemble Learning
Sagen et al. Estimating Uncertainty of Deep Learning Models
Linusson et al. conformal prediction