KR20210050087A

KR20210050087A - 신뢰도 측정 방법 및 장치

Info

Publication number: KR20210050087A
Application number: KR1020190134243A
Authority: KR
Inventors: 서지현; 오영록; 박정형
Original assignee: 삼성에스디에스 주식회사
Priority date: 2019-10-28
Filing date: 2019-10-28
Publication date: 2021-05-07
Also published as: US20210125006A1; US11176424B2

Abstract

신뢰도 측정 방법 및 장치가 개시된다. 일 실시예에 따른 신뢰도 측정 방법은, 복수의 이미지를 포함하는 학습 데이터를 이용하여, 상기 학습 데이터를 이용하여 학습된 분류 모델의 특징 추출기에 대한 임베딩 공간(embedding space) 상에서 상기 복수의 이미지 각각에 대한 특징 벡터 중 동일한 클래스(class)가 레이블링(labeling)된 이미지들 각각에 대한 특징 벡터가 서로 가까워지도록 상기 특징 추출기를 추가 학습시키는 단계, 및 상기 추가 학습된 특징 추출기를 이용하여 입력 이미지에 대한 상기 학습된 분류 모델의 분류 결과에 대한 신뢰도(confidence)를 측정하는 단계를 포함한다.

Description

신뢰도 측정 방법 및 장치{METHOD AND APPARATUS FOR MEASURING CONFIDENCE}

개시되는 실시예들은 신뢰도 측정 기술과 관련된다.

심층 신경망 기반의 분류 모델에 대한 신뢰도 측정을 위해 많은 연구가 진행되어왔다.

구체적으로, 학습된 분류 모델의 가중치들의 분포를 학습하여 신뢰 구간을 제시하는 방법이 있다. 예를 들어, 가우시안 프로세서(Gaussian Process), 베이시안 신경망(Bayesian Neural Network), 몬테카를로 드롭 아웃(Monte-Carlo Dropout) 등의 기술을 이용하여 모델의 하나 이상의 파라미터 각각의 분포를 학습하거나, 반복적인 추론(inference)을 통해 불확실성 구간(range of uncertainty)을 제시하는 방법이다. 하지만, 상술한 방법들은 모델의 파라미터와 데이터의 양이 많아질수록 연산량이 커지고, 신뢰도 측정에 소요되는 시간이 매우 길다는 단점이 있다.

한편, 신뢰도를 하나의 값으로 표현하는 방법은 모델을 통해 분류하고자 하는 분포 내 데이터(in-distribution data)뿐만 아니라, 배제하고자 하는 분포 밖 데이터(OOD: out of distribution data)도 신뢰도 측정을 위한 학습에 이용한다. 다만, 이러한 방법은 학습에 사용하지 않은 배제하고자 하는 데이터에 대해서는 신뢰도 측정 성능을 보장할 수 없다는 한계가 있다.

한국등록특허 제10-0717393호 (2007.05.11. 공고)

개시되는 실시예들은 분류 모델의 분류 결과에 대한 신뢰도 측정 방법 및 장치를 제공하기 위한 것이다.

일 실시예에 따른 신뢰도 측정 방법은, 복수의 이미지를 포함하는 학습 데이터를 이용하여, 상기 학습 데이터를 이용하여 학습된 분류 모델의 특징 추출기에 대한 임베딩 공간(embedding space) 상에서 상기 복수의 이미지 각각에 대한 특징 벡터 중 동일한 클래스(class)가 레이블링(labeling)된 이미지들 각각에 대한 특징 벡터가 서로 가까워지도록 상기 특징 추출기를 추가 학습시키는 단계, 및 상기 추가 학습된 특징 추출기를 이용하여 입력 이미지에 대한 상기 학습된 분류 모델의 분류 결과에 대한 신뢰도(confidence)를 측정하는 단계를 포함한다.

상기 임베딩 공간은, 상기 특징 추출기에 의해 추출된 상기 복수의 이미지 각각에 대한 특징 벡터가 매핑된 공간일 수 있다.

상기 추가 학습시키는 단계는, 메트릭 학습(metric learning) 기반 손실 함수 및 크로스 엔트로피(cross entropy) 기반 손실 함수에 기초하여 상기 특징 추출기를 추가 학습시킬 수 있다.

상기 추가 학습시키는 단계는, 상기 임베딩 공간 상에서 상기 복수의 이미지 각각에 대한 특징 벡터 중 서로 상이한 클래스가 레이블링된 이미지들 각각에 대한 특징 벡터가 서로 멀어지도록 상기 특징 추출기를 추가 학습시킬 수 있다.

상기 추가 학습시키는 단계는, 상기 복수의 이미지 각각에 대한 특징 벡터 중 상기 학습된 분류 모델에 의해 잘못 분류된 이미지에 대한 특징 벡터에 가중치를 부여하여 상기 특징 추출기를 추가 학습시킬 수 있다.

상기 측정하는 단계는, 상기 학습된 분류 모델을 이용하여 상기 입력 이미지에 포함된 객체에 대한 클래스를 출력하는 단계, 상기 추가 학습된 특징 추출기를 이용하여 상기 입력 이미지에 대한 특징 벡터를 추출하는 단계, 상기 입력 이미지에 대한 특징 벡터를 상기 추가 학습된 특징 추출기에 대한 임베딩 공간에 매핑하는 단계, 및 상기 추가 학습된 특징 추출기에 대한 임베딩 공간 상에서, 상기 복수의 이미지 각각에 대한 특징 벡터 중 상기 출력된 클래스와 관련된 특징 벡터와 상기 입력 이미지에 대한 특징 벡터 사이의 거리, 및 상기 복수의 이미지 각각에 대한 특징 벡터 중 상기 출력된 클래스와 관련된 특징 벡터 이외에 상기 입력 이미지에 대한 특징 벡터에 가장 인접한 특징 벡터와 상기 입력 이미지에 대한 특징 벡터 사이의 거리에 기초하여 상기 입력 이미지에 대한 상기 학습된 분류 모델의 분류 결과에 대한 신뢰도를 측정하는 단계를 포함할 수 있다.

상기 측정하는 단계는. 상기 학습된 분류 모델에서 출력되도록 설정된 복수의 클래스 중 상기 입력 이미지에 대응되는 클래스가 존재하지 않는 경우, 상기 측정된 신뢰도에 가중치를 부여할 수 있다.

상기 신뢰도 측정 방법은, 상기 추가 학습시키는 단계 이후에, 상기 추가 학습된 특징 추출기를 이용하여 측정된 서로 상이한 종류를 가지는 복수의 검증 데이터 각각에 대한 분류 결과의 신뢰도에 기초하여 복수의 신뢰도 측정 기법 중 하나를 결정하는 단계를 더 포함하고, 상기 측정 하는 단계는, 상기 결정된 신뢰도 측정 기법에 기초하여 상기 입력 이미지에 대한 상기 학습된 분류 모델의 분류 결과에 대한 신뢰도를 측정할 수 있다.

상기 결정하는 단계는, 상기 추가 학습된 특징 추출기를 이용하여 상기 복수의 신뢰도 측정 기법 각각에 의한 상기 복수의 검증 데이터 각각에 대한 분류 결과의 신뢰도를 측정하는 단계, 상기 복수의 신뢰도 측정 기법 각각에 의해 측정된 상기 복수의 검증 데이터 각각에 대한 분류 결과의 신뢰도를 크기에 따라 순차적으로 나열하는 단계, 및 상기 복수의 검증 데이터 각각의 종류에 기초하여 상기 복수의 신뢰도 측정 기법 각각의 신뢰도 나열 순서를 비교하여 상기 복수의 신뢰도 측정 기법 중 하나를 결정하는 단계를 포함할 수 있다.

일 실시예에 따른 신뢰도 측정 장치는, 하나 이상의 명령어를 저장하는 메모리, 및 상기 하나 이상의 명령어를 실행하기 위한 하나 이상의 프로세서를 포함하고, 상기 하나 이상의 프로세서는, 복수의 이미지를 포함하는 학습 데이터를 이용하여, 상기 학습 데이터를 이용하여 학습된 분류 모델의 특징 추출기에 대한 임베딩 공간(embedding space) 상에서 상기 복수의 이미지 각각에 대한 특징 벡터 중 동일한 클래스(class)가 레이블링(labeling)된 이미지들 각각에 대한 특징 벡터가 서로 가까워지도록 상기 특징 추출기를 추가 학습시키고, 상기 추가 학습된 특징 추출기를 이용하여 입력 이미지에 대한 상기 학습된 분류 모델의 분류 결과에 대한 신뢰도(confidence)를 측정한다.

상기 하나 이상의 프로세서는, 메트릭 학습(metric learning) 기반 손실 함수 및 크로스 엔트로피(cross entropy) 기반 손실 함수에 기초하여 상기 특징 추출기를 추가 학습시킬 수 있다.

상기 하나 이상의 프로세서는, 상기 임베딩 공간 상에서 상기 복수의 이미지 각각에 대한 특징 벡터 중 서로 상이한 클래스가 레이블링된 이미지들 각각에 대한 특징 벡터가 서로 멀어지도록 상기 특징 추출기를 추가 학습시킬 수 있다.

상기 하나 이상의 프로세서는, 상기 복수의 이미지 각각에 대한 특징 벡터 중 상기 학습된 분류 모델에 의해 잘못 분류된 이미지에 대한 특징 벡터에 가중치를 부여하여 상기 특징 추출기를 추가 학습시킬 수 있다.

상기 하나 이상의 프로세서는, 상기 학습된 분류 모델을 이용하여 상기 입력 이미지에 포함된 객체에 대한 클래스를 출력하고, 상기 추가 학습된 특징 추출기를 이용하여 상기 입력 이미지에 대한 특징 벡터를 추출하고, 상기 입력 이미지에 대한 특징 벡터를 상기 추가 학습된 특징 추출기에 대한 임베딩 공간에 매핑하고, 상기 추가 학습된 특징 추출기에 대한 임베딩 공간 상에서, 상기 복수의 이미지 각각에 대한 특징 벡터 중 상기 출력된 클래스와 관련된 특징 벡터와 상기 입력 이미지에 대한 특징 벡터 사이의 거리, 및 상기 복수의 이미지 각각에 대한 특징 벡터 중 상기 출력된 클래스와 관련된 특징 벡터 이외에 상기 입력 이미지에 대한 특징 벡터에 가장 인접한 특징 벡터와 상기 입력 이미지에 대한 특징 벡터 사이의 거리에 기초하여 상기 입력 이미지에 대한 상기 학습된 분류 모델의 분류 결과에 대한 신뢰도를 측정할 수 있다.

상기 하나 이상의 프로세서는. 상기 학습된 분류 모델에서 출력되도록 설정된 복수의 클래스 중 상기 입력 이미지에 대응되는 클래스가 존재하지 않는 경우, 상기 측정된 신뢰도에 가중치를 부여할 수 있다.

상기 하나 이상의 프로세서는, 상기 추가 학습된 특징 추출기를 이용하여 측정된 서로 상이한 종류를 가지는 복수의 검증 데이터 각각에 대한 분류 결과의 신뢰도에 기초하여 복수의 신뢰도 측정 기법 중 하나를 결정하고, 상기 결정된 신뢰도 측정 기법에 기초하여 상기 입력 이미지에 대한 상기 학습된 분류 모델의 분류 결과에 대한 신뢰도를 측정할 수 있다.

상기 하나 이상의 프로세서는, 상기 추가 학습된 특징 추출기를 이용하여 상기 복수의 신뢰도 측정 기법 각각에 의한 상기 복수의 검증 데이터 각각에 대한 분류 결과의 신뢰도를 측정하고, 상기 복수의 신뢰도 측정 기법 각각에 의해 측정된 상기 복수의 검증 데이터 각각에 대한 분류 결과의 신뢰도를 크기에 따라 순차적으로 나열하고, 상기 복수의 검증 데이터 각각의 종류에 기초하여 상기 복수의 신뢰도 측정 기법 각각의 신뢰도 나열 순서를 비교하여 상기 복수의 신뢰도 측정 기법 중 하나를 결정할 수 있다.

개시되는 실시예들에 따르면, 임베딩 공간 상에서 학습 데이터에 포함된 복수의 이미지 각각에 대한 특징 벡터 중 동일한 클래스가 레이블링(labeling)된 이미지들 각각에 대한 특징 벡터가 서로 가까워도록 특징 추출기를 추가 학습시킴으로써, 추가 학습된 특징 추출기에 대한 임베딩 공간 상에서 클래스 별로 특징 벡터들이 명확하게 구분될 수 있다. 따라서, 추가 학습된 특징 추출기를 이용하여 학습된 분류 모델의 분류 결과에 대한 신뢰도를 측정함으로써, 신뢰도 측정 방법의 정확도를 향상시킬 수 있다.

또한, 개시되는 실시예들에 따르면, 신뢰도 측정 대상인 분류 모델의 학습에 이용된 학습 데이터와 특징 추출기를 이용하여 신뢰도를 측정하기 때문에, 플러그인(plug-in) 형태로 다양한 심층 신경망 기반 분류 모델에 적용할 수 있다.

또한, 개시되는 실시예들에 따르면, 학습 데이터에 대한 특징 벡터 중 분류 모델에 의해 잘못 분류된 데이터에 대한 특징 벡터에 가중치를 부여하여 특징 추출기를 추가 학습시킴으로써, 학습 데이터에 대한 학습된 분류 모델의 분류 결과를 반영하여 에러 데이터에 대한 신뢰도를 낮게 측정할 수 있다.

또한, 개시되는 실시예들에 따르면, 추가 학습된 특징 추출기에 대한 임베딩 공간 상에서, 입력 이미지에 대한 특징 벡터와 학습된 분류 모델에 의해 출력된 클래스와 관련된 특징 벡터 사이의 거리에 기초하여 신뢰도를 측정함으로써, 분류 모델을 통해 분류하고자 하는 분포 내 데이터(in-distribution data)뿐만 아니라 배제하고자 하는 분포 밖 데이터(OOD: out of distribution data)에 대한 분류 결과에 대해서도 정확한 신뢰도를 측정할 수 있다.

도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도
도 2는 일 실시예에 따른 신뢰도 측정 방법의 순서도
도 3은 일 실시예에 따른 특징 추출기에 포함된 하위 레벨 층 및 상위 레벨 층 각각에 대한 임베딩 공간의 예시도
도 4는 일 실시예에 따른 추가 학습된 특징 추출기에 대한 임베딩 공간의 일 예를 설명하기 위한 도면
도 5 및 6은 일 실시예에 따른 특징 추출기를 추가 학습시키는 예를 설명하기 위한 도면
도 7은 추가적인 실시예에 따른 신뢰도 측정 방법의 순서도
도 8 및 9는 일 실시예에 따른 복수의 신뢰도 측정 기법 중 하나를 결정하는 예를 설명하기 위한 도면

이하, 도면을 참조하여 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 이에 제한되지 않는다.

실시예들을 설명함에 있어서, 관련된 공지기술에 대한 구체적인 설명이 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 또한, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

신경망(neural network)은 생물학적인 뉴런의 기능을 단순화시킨 인공 뉴런들이 이용되고, 인공 뉴런들은 연결 가중치(connection weight)를 가지는 연결선을 통해 상호 연결될 수 있다. 신경망의 파라미터(parameter)인 연결 가중치는 연결선이 갖는 특정한 값으로서 연결 강도라고 나타낼 수 있다. 신경망은 인공 뉴런들을 통해 인간의 인지 작용이나 학습 과정을 수행할 수 있다. 인공 뉴런은 노드(node)라고도 지칭할 수 있다.

신경망은 복수의 층들(layers)을 포함할 수 있다. 예를 들어, 신경망은 입력 층(input layer), 은닉 층(hidden layer), 출력 층(output layer)를 포함할 수 있다. 입력 층은 학습을 수행하기 위한 입력을 수신하여 은닉 층에 전달할 수 있고, 출력 층은 은닉 층의 노드들로부터 수신한 신호에 기초하여 신경망의 출력을 생성할 수 있다. 은닉 층은 입력 층과 출력 층 사이에 위치하고, 입력 층을 통해 전달된 학습 데이터를 예측하기 쉬운 값으로 변화시킬 수 있다. 입력 층과 은닉 층에 포함된 노드들은 연결 가중치를 가지는 연결선을 통해 서로 연결되고, 은닉 층과 출력 층에 포함된 노드들에서도 연결 가중치를 가지는 연결선을 통해 서로 연결될 수 있다. 입력 층, 은닉 층 및 출력 층은 복수의 노드들을 포함할 수 있다.

신경망은 복수의 은닉 층들을 포함할 수 있다. 복수의 은닉 층들을 포함하는 신경망을 심층 신경망(Deep Neural Network)이라고 하고, 심층 신경망을 학습시키는 것을 딥러닝(Deep Learning)이라고 한다. 은닉 층에 포함된 노드를 은닉 노드(hidden node)라고 한다. 이하, 신경망을 학습시킨다는 것은 신경망의 파라미터를 학습시킨다는 것으로 이해될 수 있다. 또한, 학습된 신경망은 학습된 파라미터가 적용된 신경망으로 이해될 수 있다.

이때, 신경망은 기 설정된 손실 함수(loss function)를 지표로 삼아 학습될 수 있다. 손실 함수는 신경망이 학습을 통해 최적의 가중치 매개변수를 결정하기 위한 지표일 수 있다. 신경망은 설정된 손실 함수의 결과 값을 가장 작게 만드는 것을 목표로 학습될 수 있다.

신경망은 지도 학습(supervised learning) 또는 비지도 학습(unsupervised learning) 방식을 통해 학습될 수 있다. 지도 학습이란 입력 이미지 및 입력 이미지에 대응되는 타겟 데이터를 포함하는 학습 데이터를 신경망에 입력하고, 입력 이미지에 대응되는 타겟 데이터가 출력되도록 연결선들의 연결 가중치를 업데이트하는 방법이다. 비지도 학습이란 입력 이미지에 대응되는 타겟 데이터 없이 입력 이미지만을 학습 데이터로 이용하여 신경망에 입력하고, 입력 이미지의 특징 또는 구조를 알아내도록 연결선들의 연결 가중치를 업데이트하는 방법이다.

도 1은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 개시되는 실시예들에 따른 신뢰도 측정 장치일 수 있다.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.

도 2는 일 실시예에 따른 신뢰도 측정 방법의 순서도이다.

도 2에 도시된 방법은, 예를 들어, 하나 이상의 프로세서, 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 동작으로 나누어 기재하였으나, 적어도 일부의 동작들은 순서를 바꾸어 수행되거나, 다른 동작과 결합되어 함께 수행되거나, 생략되거나, 세부 동작들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 동작이 부가되어 수행될 수 있다.

도 2를 참조하면, 단계 210에서, 컴퓨팅 장치(12)는 복수의 이미지를 포함하는 학습 데이터를 이용하여, 상기 학습 데이터를 이용하여 학습된 분류 모델의 특징 추출기에 대한 임베딩 공간(embedding space) 상에서 복수의 이미지 각각에 대한 특징 벡터 중 동일한 클래스가 레이블링된 이미지들 각각에 대한 특징 벡터가 서로 가까워지도록 특징 추출기를 추가 학습시킨다.

이때, 분류 모델은 입력 이미지에 포함된 객체에 대하여 복수의 클래스 중 하나의 클래스가 출력되도록 설정된 심층 신경망 기반 분류 모델일 수 있다. 학습된 분류 모델은 각각 특정 클래스가 레이블링된 복수의 이미지를 이용하여 학습될 수 있다.

특징 추출기는 입력 이미지에 대한 특징 벡터를 추출하기 위한 하나 이상의 층으로 구성될 수 있다.

임베딩 공간은 특징 추출기에 의해 추출된 학습 데이터에 대한 특징 벡터가 매핑된 공간일 수 있다. 구체적으로, 임베딩 공간은 복수의 이미지 각각에 대한 특징 벡터가 매핑된 공간일 수 있다.

구체적으로, 컴퓨팅 장치(12)는 특징 추출기에 대한 임베딩 공간 상에서 복수의 이미지 각각에 대한 특징 벡터가 각 클래스 별로 잘 구분되도록 하기 위해, 학습된 분류 모델을 추가 학습시킬 수 있다. 이때, 컴퓨팅 장치(12)는 학습된 분류 모델의 학습에 이용된 학습 데이터와 동일한 학습 데이터를 이용하여 학습된 분류 모델을 추가 학습시킬 수 있다.

일 실시예에서, 컴퓨팅 장치(12)는 특징 추출기에 포함된 하나 이상의 층들 중 신뢰도 측정을 위한 임베딩 공간을 생성하기 위한 층을 선택할 수 있다. 이때, 컴퓨팅 장치(12)는 선택된 층에 대한 임베딩 공간 상에서 동일한 클래스가 할당된 이미지들 각각에 대한 특징 벡터가 서로 가까워지도록 특징 추출기를 추가 학습시킬 수 있다.

예를 들어, 도 3에 도시된 바와 같이, 특징 추출기에 포함된 하나 이상의 층들 중 하위 레벨 층(low level layer)에 대한 임베딩 공간(310)에 매핑된 학습 데이터에 대한 특징 벡터보다 상위 레벨 층(high level layer)에 대한 임베딩 공간(320)에 매핑된 학습 데이터에 대한 특징 벡터가 클래스 별로 명확하게 구분되는 것을 확인할 수 있다.

이 경우, 컴퓨팅 장치(12)는 특징 추출기에 포함된 하나 이상의 층들 중 상위 레벨 층에 대한 임베딩 공간 상에서 복수의 이미지 각각에 대한 특징 벡터가 최적화되도록 특징 추출기를 추가 학습 시킬 수 있다.

일 실시예에서, 컴퓨팅 장치(12)는 메트릭 학습(metric learning) 기반 손실 함수 및 크로스 엔트로피(cross entropy) 기반 손실 함수에 기초하여 특징 추출기를 추가 학습시킬 수 있다.

구체적으로, 컴퓨팅 장치(12)는 메트릭 학습 기반 손실 함수 및 크로스 엔트로피 기반 손실 함수의 가중치 합에 기초하여 특징 추출기를 포함하는 학습된 분류 모델을 추가 학습시킬 수 있다.

이때, 메트릭 학습 기반 손실 함수 및 크로스 엔트로피 기반 손실 함수의 가중치 합(

)은 아래의 수학식 1을 이용하여 나타낼 수 있다.

[수학식 1]

수학식 1에서,

는 데이터 배치(batch),

는 배치 데이터에 대한 학습된 분류 모델의 분류 결과에 대한 정답 여부,

는 크로스 엔트로피 기반 손실 함수,

는 메트릭 학습 기반 손실 함수,

는 가중치를 의미한다.

단계 220에서, 컴퓨팅 장치(12)는 추가 학습된 특징 추출기를 이용하여 입력 이미지에 대한 학습된 분류 모델의 분류 결과에 대한 신뢰도를 측정한다.

구체적으로, 컴퓨팅 장치(12)는 입력 이미지를 학습된 분류 모델 및 추가 학습된 특징 추출기에 각각 입력할 수 있다. 컴퓨팅 장치(12)는 학습된 분류 모델을 이용하여 입력 이미지에 포함된 객체에 대한 클래스를 출력할 수 있다. 또한, 컴퓨팅 장치(12)는 추가 학습된 특징 추출기를 이용하여 입력 이미지에 대한 특징 벡터를 추출할 수 있다. 이때, 컴퓨팅 장치(12)는 입력 이미지에 대한 특징 벡터를 추가 학습된 특징 추출기에 대한 임베딩 공간에 매핑할 수 있다.

이후, 컴퓨팅 장치(12)는 추가 학습된 특징 추출기에 대한 임베딩 공간 상에서 복수의 이미지 각각에 대한 특징 벡터 중 학습된 분류 모델에서 출력된 클래스에 대한 특징 벡터들과 입력 이미지에 대한 특징 벡터 사이의 유사도에 기초하여 신뢰도를 측정할 수 있다.

또한, 컴퓨팅 장치(12)는 추가 학습된 특징 추출기에 대한 임베딩 공간 상에서 복수의 이미지 각각에 대한 특징 벡터 중 학습된 분류 모델에서 출력된 클래스와 상이한 타 클래스에 대한 특징 벡터들과 입력 이미지에 대한 특징 벡터 사이의 유사도를 같이 고려하여 신뢰도를 측정할 수 있다. 이때, 타 클래스와 관련된 특징 벡터는 추가 학습된 특징 추출기에 대한 임베딩 공간 상에서 출력된 클래스와 관련된 특징 벡터 이외에 입력 이미지에 대한 특징 벡터에 가장 인접한 특징 벡터의 클래스에 대한 특징 벡터들을 포함할 수 있다.

일 실시예에서, 컴퓨팅 장치(12)는 추가 학습된 특징 추출기에 대한 임베딩 공간 상에서, 복수의 이미지 각각에 대한 특징 벡터 중 출력된 클래스와 관련된 특징 벡터와 입력 이미지에 대한 특징 벡터 사이의 거리, 및 복수의 이미지 각각에 대한 특징 벡터 중 출력된 클래스와 관련된 특징 벡터 이외에 입력 이미지에 대한 특징 벡터에 가장 인접한 특징 벡터와 입력 이미지에 대한 특징 벡터 사이의 거리에 기초하여 입력 이미지에 대한 학습된 분류 모델의 분류 결과에 대한 신뢰도를 측정할 수 있다.

예를 들어, 도 4에 도시된 바와 같이, 컴퓨팅 장치(12)는 추가 학습된 특징 추출기에 대한 임베딩 공간(400) 상에서 입력 이미지에 대한 특징 벡터(410)와 출력된 클래스와 관련된 특징 벡터 사이의 거리 및 입력 이미지에 대한 특징 벡터(410)와 출력된 클래스와 상이한 타 클래스와 관련된 특징 사이의 거리에 기초하여 신뢰도를 측정할 수 있다.

구체적으로, 컴퓨팅 장치(12)는 추가 학습된 특징 추출기에 대한 임베딩 공간(400) 상에서 학습된 분류 모델에서 출력된 클래스가 레이블링된 이미지들 각각에 대한 특징 벡터의 중심점(420)을 결정할 수 있다. 이후, 컴퓨팅 장치(12)는 출력된 클래스와 관련된 특징 벡터의 중심점(420)과 입력 이미지에 대한 특징 벡터(410) 사이의 거리를 산출할 수 있다. 또한, 컴퓨팅 장치(12)는 추가 학습된 특징 추출기에 대한 임베딩 공간 상에서, 학습된 분류 모델에서 출력된 클래스와 관련된 특징 벡터 이외에 입력 이미지에 대한 특징 벡터(410)와 가장 인접한 특징 벡터의 클래스가 레이블링된 이미지들 각각에 대한 특징 벡터의 중심점(430)을 결정할 수 있다. 이후, 컴퓨팅 장치(12)는 가장 인접한 클래스와 관련된 중심점(430)과 입력 이미지에 대한 특징 벡터(410) 사이의 거리를 산출할 수 있다. 이후, 컴퓨팅 장치(12)는 출력된 클래스와 관련된 특징 벡터의 중심점(420)과 입력 이미지에 대한 특징 벡터(410) 사이의 거리 및 가장 인접한 클래스와 관련된 중심점(430)과 입력 이미지에 대한 특징 벡터(410) 사이의 거리의 비율에 기초하여 신뢰도를 측정할 수 있다.

한편, 일 실시예에서, 컴퓨팅 장치(12)는 학습된 분류 모델에서 출력되도록 설정된 복수의 클래스 중 입력 이미지에 대응되는 클래스가 존재하지 않는 경우, 측정된 신뢰도에 가중치를 부여할 수 있다.

일 실시예에서, 입력 이미지는 분포 내 데이터(in-distribution data) 및 분포 밖 데이터(OOD: out of distribution data) 하나일 수 있다.

이때, 분포 내 데이터는 학습된 분류 모델에서 출력되도록 설정된 복수의 클래스 중 적어도 하나와 관련된 데이터일 수 있다.

분포 밖 데이터는 학습된 분류 모델에서 출력되도록 설정된 복수의 클래스와 관련되지 않은 데이터일 수 있다.

예를 들어, 컴퓨팅 장치(12)는 입력 이미지가 분포 밖 데이터인 경우, 측정된 신뢰도가 낮아지도록 측정된 신뢰도에 가중치를 부여할 수 있다. 이때, 부여되는 가중치는 추가 학습된 특징 추출기에 대한 임베딩 공간 상에서 입력 이미지에 대한 특징 벡터와 출력된 클래스와 관련된 특징 벡터 사이의 거리에 기초하여 산출될 수 있다. 이에 따라, 분포 내 데이터에 대한 학습된 분류 모델의 분류 결과에 대한 신뢰도보다 분포 밖 데이터에 대한 학습된 분류 모델의 분류 결과에 대한 신뢰도가 더 낮게 측정될 수 있다.

일 실시예에서, 컴퓨팅 장치(12)는 L2 노름(L2 Norm) 식을 이용하여 입력 이미지에 대한 학습된 분류 모델의 분류 결과에 대한 신뢰도를 측정할 수 있다. 예를 들어, 입력 이미지에 대한 학습된 분류 모델의 분류 결과에 대한 신뢰도(

)는 아래의 수학식 2를 이용하여 나타낼 수 있다.

[수학식 2]

이때, 수학식 2에서

는 입력 이미지,

는 추가 학습된 특징 추출기에 대한 임베딩 공간 상에서 입력 이미지에 대한 특징 벡터,

는 학습된 분류 모델에서 출력된 클래스,

는 출력된 클래스 이외에 입력 이미지에 대한 특징 벡터와 가장 인접한 특징 벡터의 클래스,

는 클래스 c가 할당된 이미지들,

는 임계 값을 의미한다.

구체적으로, 컴퓨팅 장치(12)는 추가 학습된 특징 추출기에 대한 임베딩 공간 상에서 입력 이미지에 대한 특징 벡터와 출력된 클래스와 관련된 특징 벡터 사이의 거리가 특정 임계 값(예를 들어, 상술한 수학식 2에서의

)이하인 경우, 입력 이미지를 분포 내 데이터로 예측할 수 있다. 이와 달리, 컴퓨팅 장치(12)는 추가 학습된 특징 추출기에 대한 임베딩 공간 상에서 입력 이미지에 대한 특징 벡터와 출력된 클래스와 관련된 특징 벡터 사이의 거리가 특정 임계 값 보다 큰 경우, 입력 이미지를 분포 밖 데이터로 예측할 수 있다.

이때, 입력 이미지가 분포 내 데이터인 경우, 상술한 수학식 2에서

의 값은 1과 가까운 값이 산출될 수 있다. 이와 달리, 입력 이미지가 분포 밖 데이터인 경우, 상술한 수학식 2에서

의 값은 0과 가까운 값이 산출될 수 있다. 따라서, 분포 밖 데이터에 대한 학습된 분류 모델의 분류 결과에 대한 신뢰도는 낮게 측정될 수 있다. 이에 따라, 개시되는 신뢰도 측정 방법은 분포 내 데이터뿐만 아니라 분포 밖 데이터에 대해서도 정확한 신뢰도를 측정할 수 있다.

한편, 상술한 예에서는, L2 노름 식을 이용하여 신뢰도를 측정하는 것으로 예시하였으나, 반드시 이에 한정되는 것은 아니다. 예를 들어,

및

식은 각각 L2 노름 식 이외에 다양한 식을 통해 구성될 수 있다.

도 5 및 6은 일 실시예에 따른 특징 추출기를 추가 학습시키는 예를 설명하기 위한 도면이다.

도 5에서 특징 추출기에 대한 임베딩 공간(500) 상에 숫자 7이 레이블링된 이미지들 각각에 대한 특징 벡터(510) 및 숫자 4가 레이블링된 이미지들 각각에 대한 특징 벡터(520)가 매핑된 것으로 가정한다.

도 5를 참조하면, 컴퓨팅 장치(12)는 임베딩 공간(500) 상에서 동일한 클래스가 레이블링된 이미지들 각각에 대한 특징 벡터가 서로 가까워지도록 특징 추출기를 추가 학습시킬 수 있다.

예를 들어, 컴퓨팅 장치(12)는 임베딩 공간(500) 상에서 숫자 7이 레이블링된 이미지들 각각에 대한 특징 벡터(510)가 서로 가까워지도록 하고, 숫자 4가 레이블링된 이미지들 각각에 대한 특징 벡터(520)가 서로 가까워지도록 특징 추출기를 추가 학습시킬 수 있다.

또한, 일 실시예에서, 컴퓨팅 장치(12)는 임베딩 공간 상에서 복수의 이미지 각각에 대한 특징 벡터 중 서로 상이한 클래스가 레이블링된 이미지들 각각에 대한 특징 벡터가 서로 멀어지도록 특징 추출기를 추가 학습시킬 수 있다.

예를 들어, 컴퓨팅 장치(12)는 임베딩 공간(500) 상에서 숫자 7이 레이블링된 이미지들 각각에 대한 특징 벡터(510)가 숫자 4가 레이블링된 이미지들 각각에 대한 특징 벡터(520)와 서로 멀어지도록 특징 추출기를 추가 학습시킬 수 있다. 다시 말하면, 컴퓨팅 장치(12)는 임베딩 공간(500) 상에서 숫자 7이 레이블링된 이미지들 각각에 대한 특징 벡터(510)와 숫자 4가 레이블링된 이미지들 각각에 대한 특징 벡터(520)가 일정 거리 이상 멀어지도록 특징 추출기를 추가 학습시킬 수 있다.

또한, 일 실시예에서, 컴퓨팅 장치(12)는 복수의 이미지 각각에 대한 특징 벡터 중 학습된 분류 모델에 의해 잘못 분류된 이미지에 대한 특징 벡터에 가중치를 부여하여 특징 추출기를 추가 학습시키는 수 있다. 이때, 잘못 분류된 이미지는 학습된 분류 모델이 레이블링된 클래스와 다른 클래스를 출력한 이미지를 포함할 수 있다.

도 6을 참조하면, 학습 데이터에 포함된 제1 이미지(610), 제2 이미지(620) 및 제3 이미지(630)는 숫자 7이 레이블링된 것으로 가정한다. 이때, 학습된 분류 모델에 의해 제1 이미지(610) 및 제2 이미지(620)에 대한 분류 결과는 숫자 7이 출력되고, 제3 이미지(630)에 대한 분류 결과가 숫자 4로 잘못 출력된 것으로 가정한다.

컴퓨팅 장치(12)는 동일한 클래스가 할당된 제1 이미지(610), 제2 이미지(620) 및 제3 이미지(630) 각각에 대한 특징 벡터가 서로 가까워지도록 특징 추출기를 추가 학습시킬 수 있다. 이때, 학습된 분류 모델이 제3 이미지(630)를 잘못 분류 하였으므로, 컴퓨팅 장치(12)는 제3 이미지(630)에 대한 특징 벡터에 가중치를 부여하여 특징 추출기를 추가 학습 시킬 수 있다. 이때, 컴퓨팅 장치(12)는 잘못 분류된 제3 이미지(630)에 대한 특징 벡터의 이동량이 커지도록 가중치를 부여할 수 있다. 따라서, 제1 이미지(610) 및 제2 이미지(620) 각각에 대한 특징 벡터가 서로 가까워지는 이동량보다, 제3 이미지(630)에 대한 특징 벡터가 제1 이미지(610) 및 제2 이미지(620) 각각에 대한 특징 벡터와 서로 가까워지는 이동량이 더 커지게 된다.

도 7은 추가적 실시예에 따른 신뢰도 측정 방법의 순서도이다.

도 7에 도시된 방법은, 예를 들어, 하나 이상의 프로세서, 및 상기 하나 이상의 프로세서에 의해 실행되는 하나 이상의 프로그램을 저장하는 메모리를 구비한 컴퓨팅 장치(12)에 의해 수행될 수 있다. 도시된 흐름도에서는 상기 방법을 복수 개의 동작으로 나누어 기재하였으나, 적어도 일부의 동작들은 순서를 바꾸어 수행되거나, 다른 동작과 결합되어 함께 수행되거나, 생략되거나, 세부 동작들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 동작이 부가되어 수행될 수 있다.

한편, 도 7에 도시된 예에서, 단계 710은 상술한 도 2에 도시된 단계 210과 동일하므로 자세한 설명은 생략한다.

도 7을 참조하면, 단계 720에서, 컴퓨팅 장치(12)는 추가 학습된 특징 추출기를 이용하여 측정된 서로 상이한 종류를 가지는 복수의 검증 데이터 각각에 대한 분류 결과의 신뢰도에 기초하여 복수의 신뢰도 측정 기법 중 하나를 결정할 수 있다.

이때, 복수의 검증 데이터는 예를 들어, 분포 내 데이터, 분포 밖 데이터, 노벨티(Novelty) 데이터, 아노말리(Anomaly) 데이터 등과 같이 서로 상이한 종류일 수 있다.

노벨티 데이터는 분포 밖 데이터로서, 분포 내 데이터에 대응되는 클래스들 중 적어도 하나와 유사한 특징 분포를 가지는 데이터일 수 있다.

아노말리 데이터는 분포 밖 데이터로서, 분포 내 데이터에 대응되는 클래스들과 전혀 다른 특징 분포를 가지는 데이터일 수 있다.

구체적으로, 컴퓨팅 장치(12)는 추가 학습된 특징 추출기를 이용하여 복수의 신뢰도 측정 기법 각각에 의한 복수의 검증 데이터 각각에 대한 분류 결과의 신뢰도를 측정할 수 있다.

또한, 컴퓨팅 장치(12)는 복수의 신뢰도 측정 기법 각각에 의해 측정된 복수의 검증 데이터 각각에 대한 분류 결과의 신뢰도를 크기에 따라 순차적으로 나열할 수 있다.

또한 컴퓨팅 장치(12)는 복수의 검증 데이터 각각의 종류에 기초하여 복수의 신뢰도 측정 기법 각각의 신뢰도 나열 순서를 비교하여 복수의 신뢰도 측정 기법 중 하나를 결정할 수 있다.

구체적으로, 도 8 및 9는 일 실시예에 따른 복수의 신뢰도 측정 기법 중 하나를 결정하는 예를 설명하기 위한 도면이다.

예를 들어, 컴퓨팅 장치(12)는 추가 학습된 특징 추출기를 이용하여 제1 신뢰도 측정 기법(S1)과 제2 신뢰도 측정 기법(S2) 각각에 따라 복수의 검증 데이터인 d1~d5 각각에 대한 분류 결과의 신뢰도를 측정한 것으로 가정한다. 또한, d1 및 d2는 분포 밖 데이터, d3은 학습된 분류 모델에 의해 잘못 분류된 분포 내 데이터, d4 및 d5는 학습된 분류 모델에 의해 정확하게 분류된 분포 내 데이터인 것으로 가정한다.

도 8을 참조하면, 컴퓨팅 장치(12)는 제1 신뢰도 측정 기법과 제2 신뢰도 측정 기법 각각에 의해 측정된 d1~d5 각각에 대한 분류 결과의 신뢰도를 크기에 따라 순차적으로 나열할 수 있다.

일 실시예에서, 컴퓨팅 장치(12)는 이상적인 신뢰도 나열 순서를 설정한 후, 제1 신뢰도 측정 기법의 신뢰도 나열 순서 및 제2 신뢰도 측정 기법의 신뢰도 나열 순서를 각각 이상적인 신뢰도 나열 순서와 비교할 수 있다. 이때, 컴퓨팅 장치(12)는 이상적인 신뢰도 나열 순서와 가장 많은 순서가 일치하는 신뢰도 측정 기법을 선택할 수 있다.

구체적으로, 이상적인 신뢰도 나열 순서가 분포 밖 데이터, 잘못 분류된 분포 내 데이터 및 정확하게 분류된 분포 내 데이터로 설정된 것으로 가정한다. 이때, 이상적인 신뢰도 나열 순서와 비교하여 제1 신뢰도 측정 기법의 신뢰도 나열 순서가 제2 신뢰도 측정 기법의 신뢰도 나열 순서보다 더 많은 순서가 일치한다. 따라서, 컴퓨팅 장치(12)는 제1 신뢰도 측정 기법을 신뢰도 측정을 위한 기법으로 결정할 수 있다.

또한, 도 9를 참조하면, 컴퓨팅 장치(12)는 복수의 신뢰도 측정 기법 각각의 신뢰도 나열 순서가 서로 동일한 경우, 복수의 검증 데이터 각각에 대한 신뢰도의 크기에 기초하여 결정할 수 있다.

예를 들어, 제1 신뢰도 측정 기법의 신뢰도 나열 순서 및 제2 신뢰도 측정 기법의 신뢰도 나열 순서가 서로 동일한 경우, 제1 신뢰도 측정 기법에 의해 측정된 오분류 데이터인 d3에 대한 신뢰도의 크기가 제2 신뢰도 측정 기법에 의해 측정된 d3에 대한 신뢰도의 크기보다 크다. 이때, 오분류 데이터의 신뢰도는 낮게 측정될수록 정확하게 측정된 것이다. 따라서, 컴퓨팅 장치(12)는 제1 신뢰도 측정 기법을 신뢰도 측정을 위한 기법으로 결정할 수 있다.

단계 730에서, 컴퓨팅 장치(12)는 결정된 신뢰도 측정 기법에 기초하여 입력 이미지에 대한 학습된 분류 모델의 분류 결과에 대한 신뢰도를 측정할 수 있다.

신뢰도 측정 방법은 상술한 도 2와 동일하므로 이에 대한 자세한 설명은 생략한다.

한편, 도 2 및 7에 도시된 순서도에서는 상기 방법을 복수 개의 동작으로 나누어 기재하였으나, 적어도 일부의 동작들은 순서를 바꾸어 수행되거나, 다른 동작과 결합되어 함께 수행되거나, 생략되거나, 세부 동작들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 동작이 부가되어 수행될 수 있다.

일 실시예에 따르면, 본 명세서에서 기술한 방법들을 컴퓨터상에서 수행하기 위한 프로그램, 및 상기 프로그램을 포함하는 컴퓨터 판독 가능 기록매체를 포함할 수 있다. 상기 컴퓨터 판독 가능 기록매체는 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 특별히 설계되고 구성된 것들이거나, 또는 컴퓨터 소프트웨어 분야에서 통상적으로 사용 가능한 것일 수 있다. 컴퓨터 판독 가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광 기록 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 프로그램의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다.

이상에서는 실시예들을 중심으로 기술적 특징들을 설명하였다. 하지만, 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한고, 권리 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 권리범위에 포함된 것으로 해석되어야 할 것이다.

10: 컴퓨팅 환경
12: 컴퓨팅 장치
14: 프로세서
16: 컴퓨터 판독 가능 저장 매체
18: 통신 버스
20: 프로그램
22: 입출력 인터페이스
24: 입출력 장치
26: 네트워크 통신 인터페이스

Claims

복수의 이미지를 포함하는 학습 데이터를 이용하여, 상기 학습 데이터를 이용하여 학습된 분류 모델의 특징 추출기에 대한 임베딩 공간(embedding space) 상에서 상기 복수의 이미지 각각에 대한 특징 벡터 중 동일한 클래스(class)가 레이블링(labeling)된 이미지들 각각에 대한 특징 벡터가 서로 가까워지도록 상기 특징 추출기를 추가 학습시키는 단계; 및
상기 추가 학습된 특징 추출기를 이용하여 입력 이미지에 대한 상기 학습된 분류 모델의 분류 결과에 대한 신뢰도(confidence)를 측정하는 단계를 포함하는 신뢰도 측정 방법.
청구항 1에 있어서,
상기 임베딩 공간은, 상기 특징 추출기에 의해 추출된 상기 복수의 이미지 각각에 대한 특징 벡터가 매핑된 공간인 신뢰도 측정 방법.
청구항 1에 있어서,
상기 추가 학습시키는 단계는, 메트릭 학습(metric learning) 기반 손실 함수 및 크로스 엔트로피(cross entropy) 기반 손실 함수에 기초하여 상기 특징 추출기를 추가 학습시키는 신뢰도 측정 방법.
청구항 1에 있어서,
상기 추가 학습시키는 단계는, 상기 임베딩 공간 상에서 상기 복수의 이미지 각각에 대한 특징 벡터 중 서로 상이한 클래스가 레이블링된 이미지들 각각에 대한 특징 벡터가 서로 멀어지도록 상기 특징 추출기를 추가 학습시키는 신뢰도 측정 방법.
청구항 1에 있어서,
상기 추가 학습시키는 단계는, 상기 복수의 이미지 각각에 대한 특징 벡터 중 상기 학습된 분류 모델에 의해 잘못 분류된 이미지에 대한 특징 벡터에 가중치를 부여하여 상기 특징 추출기를 추가 학습시키는 신뢰도 측정 방법.
청구항 1에 있어서,
상기 측정하는 단계는,
상기 학습된 분류 모델을 이용하여 상기 입력 이미지에 포함된 객체에 대한 클래스를 출력하는 단계;
상기 추가 학습된 특징 추출기를 이용하여 상기 입력 이미지에 대한 특징 벡터를 추출하는 단계;
상기 입력 이미지에 대한 특징 벡터를 상기 추가 학습된 특징 추출기에 대한 임베딩 공간에 매핑하는 단계; 및
상기 추가 학습된 특징 추출기에 대한 임베딩 공간 상에서, 상기 복수의 이미지 각각에 대한 특징 벡터 중 상기 출력된 클래스와 관련된 특징 벡터와 상기 입력 이미지에 대한 특징 벡터 사이의 거리, 및 상기 복수의 이미지 각각에 대한 특징 벡터 중 상기 출력된 클래스와 관련된 특징 벡터 이외에 상기 입력 이미지에 대한 특징 벡터에 가장 인접한 특징 벡터와 상기 입력 이미지에 대한 특징 벡터 사이의 거리에 기초하여 상기 입력 이미지에 대한 상기 학습된 분류 모델의 분류 결과에 대한 신뢰도를 측정하는 단계를 포함하는 신뢰도 측정 방법.
청구항 6에 있어서,
상기 측정하는 단계는. 상기 학습된 분류 모델에서 출력되도록 설정된 복수의 클래스 중 상기 입력 이미지에 대응되는 클래스가 존재하지 않는 경우, 상기 측정된 신뢰도에 가중치를 부여하는 신뢰도 측정 방법.
청구항 1에 있어서,
상기 추가 학습시키는 단계 이후에, 상기 추가 학습된 특징 추출기를 이용하여 측정된 서로 상이한 종류를 가지는 복수의 검증 데이터 각각에 대한 분류 결과의 신뢰도에 기초하여 복수의 신뢰도 측정 기법 중 하나를 결정하는 단계를 더 포함하고,
상기 측정 하는 단계는, 상기 결정된 신뢰도 측정 기법에 기초하여 상기 입력 이미지에 대한 상기 학습된 분류 모델의 분류 결과에 대한 신뢰도를 측정하는 신뢰도 측정 방법.
청구항 8에 있어서,
상기 결정하는 단계는,
상기 추가 학습된 특징 추출기를 이용하여 상기 복수의 신뢰도 측정 기법 각각에 의한 상기 복수의 검증 데이터 각각에 대한 분류 결과의 신뢰도를 측정하는 단계;
상기 복수의 신뢰도 측정 기법 각각에 의해 측정된 상기 복수의 검증 데이터 각각에 대한 분류 결과의 신뢰도를 크기에 따라 순차적으로 나열하는 단계; 및
상기 복수의 검증 데이터 각각의 종류에 기초하여 상기 복수의 신뢰도 측정 기법 각각의 신뢰도 나열 순서를 비교하여 상기 복수의 신뢰도 측정 기법 중 하나를 결정하는 단계를 포함하는 신뢰도 측정 방법.
하나 이상의 명령어를 저장하는 메모리; 및
상기 하나 이상의 명령어를 실행하기 위한 하나 이상의 프로세서를 포함하고,
상기 하나 이상의 프로세서는,
복수의 이미지를 포함하는 학습 데이터를 이용하여, 상기 학습 데이터를 이용하여 학습된 분류 모델의 특징 추출기에 대한 임베딩 공간(embedding space) 상에서 상기 복수의 이미지 각각에 대한 특징 벡터 중 동일한 클래스(class)가 레이블링(labeling)된 이미지들 각각에 대한 특징 벡터가 서로 가까워지도록 상기 특징 추출기를 추가 학습시키고,
상기 추가 학습된 특징 추출기를 이용하여 입력 이미지에 대한 상기 학습된 분류 모델의 분류 결과에 대한 신뢰도(confidence)를 측정하는 신뢰도 측정 장치.
청구항 10에 있어서,
상기 임베딩 공간은, 상기 특징 추출기에 의해 추출된 상기 복수의 이미지 각각에 대한 특징 벡터가 매핑된 공간인 신뢰도 측정 장치.
청구항 10에 있어서,
상기 하나 이상의 프로세서는, 메트릭 학습(metric learning) 기반 손실 함수 및 크로스 엔트로피(cross entropy) 기반 손실 함수에 기초하여 상기 특징 추출기를 추가 학습시키는 신뢰도 측정 장치.
청구항 10에 있어서,
상기 하나 이상의 프로세서는, 상기 임베딩 공간 상에서 상기 복수의 이미지 각각에 대한 특징 벡터 중 서로 상이한 클래스가 레이블링된 이미지들 각각에 대한 특징 벡터가 서로 멀어지도록 상기 특징 추출기를 추가 학습시키는 신뢰도 측정 장치.
청구항 10에 있어서,
상기 하나 이상의 프로세서는, 상기 복수의 이미지 각각에 대한 특징 벡터 중 상기 학습된 분류 모델에 의해 잘못 분류된 이미지에 대한 특징 벡터에 가중치를 부여하여 상기 특징 추출기를 추가 학습시키는 신뢰도 측정 장치.
청구항 10에 있어서,
상기 하나 이상의 프로세서는,
상기 학습된 분류 모델을 이용하여 상기 입력 이미지에 포함된 객체에 대한 클래스를 출력하고,
상기 추가 학습된 특징 추출기를 이용하여 상기 입력 이미지에 대한 특징 벡터를 추출하고,
상기 입력 이미지에 대한 특징 벡터를 상기 추가 학습된 특징 추출기에 대한 임베딩 공간에 매핑하고,
상기 추가 학습된 특징 추출기에 대한 임베딩 공간 상에서, 상기 복수의 이미지 각각에 대한 특징 벡터 중 상기 출력된 클래스와 관련된 특징 벡터와 상기 입력 이미지에 대한 특징 벡터 사이의 거리, 및 상기 복수의 이미지 각각에 대한 특징 벡터 중 상기 출력된 클래스와 관련된 특징 벡터 이외에 상기 입력 이미지에 대한 특징 벡터에 가장 인접한 특징 벡터와 상기 입력 이미지에 대한 특징 벡터 사이의 거리에 기초하여 상기 입력 이미지에 대한 상기 학습된 분류 모델의 분류 결과에 대한 신뢰도를 측정하는 신뢰도 측정 장치.
청구항 15에 있어서,
상기 하나 이상의 프로세서는. 상기 학습된 분류 모델에서 출력되도록 설정된 복수의 클래스 중 상기 입력 이미지에 대응되는 클래스가 존재하지 않는 경우, 상기 측정된 신뢰도에 가중치를 부여하는 신뢰도 측정 장치.
청구항 10에 있어서,
상기 하나 이상의 프로세서는,
상기 추가 학습된 특징 추출기를 이용하여 측정된 서로 상이한 종류를 가지는 복수의 검증 데이터 각각에 대한 분류 결과의 신뢰도에 기초하여 복수의 신뢰도 측정 기법 중 하나를 결정하고,
상기 결정된 신뢰도 측정 기법에 기초하여 상기 입력 이미지에 대한 상기 학습된 분류 모델의 분류 결과에 대한 신뢰도를 측정하는 신뢰도 측정 장치.
청구항 17에 있어서,
상기 하나 이상의 프로세서는,
상기 추가 학습된 특징 추출기를 이용하여 상기 복수의 신뢰도 측정 기법 각각에 의한 상기 복수의 검증 데이터 각각에 대한 분류 결과의 신뢰도를 측정하고,
상기 복수의 신뢰도 측정 기법 각각에 의해 측정된 상기 복수의 검증 데이터 각각에 대한 분류 결과의 신뢰도를 크기에 따라 순차적으로 나열하고,
상기 복수의 검증 데이터 각각의 종류에 기초하여 상기 복수의 신뢰도 측정 기법 각각의 신뢰도 나열 순서를 비교하여 상기 복수의 신뢰도 측정 기법 중 하나를 결정하는 신뢰도 측정 장치.