KR20210123674A

KR20210123674A - Tta를 이용한 분포 외 데이터 검출 방법 및 이를 수행하는 장치

Info

Publication number: KR20210123674A
Application number: KR1020200041118A
Authority: KR
Inventors: 정동언; 이지형; 최재우
Original assignee: 성균관대학교산학협력단
Priority date: 2020-04-03
Filing date: 2020-04-03
Publication date: 2021-10-14
Also published as: KR102475730B1

Abstract

데이터 변환 방법을 이용하여 입력 데이터로부터 적어도 하나의 새로운 데이터를 생성하는 단계와, 상기 적어도 하나의 새로운 데이터 각각에 대한 인공신경망 모델의 제1 출력 값을 획득하는 단계와, 상기 획득된 제1 출력 값들을 이용해 제2 출력 값을 계산하는 단계와, 그리고 상기 제2 출력 값을 소정의 특정 값과 비교하여 상기 입력 데이터가 외부 도메인 데이터인지를 판별하는 단계를 포함하는, 분포 외(out-of-distribution, OOD) 데이터 검출 방법 및 이를 수행하는 장치가 제공된다. 데이터 변환 방법을 이용하여 입력 데이터로부터 적어도 하나의 새로운 데이터를 생성하고 새로운 데이터 각각에 대한 인공신경망 모델의 출력 값에 기반하여 외부 도메인 데이터를 검출함으로써 적은 양의 메모리를 사용하면서도 높은 외부 도메인 데이터 검출 성능을 갖는다.

Description

TTA를 이용한 분포 외 데이터 검출 방법 및 이를 수행하는 장치{METHOD FOR DETECTING OUT-OF-DISTRIBUTION DATA USING TEST-TIME AUGMENTATION AND APPARATUS PERFORMING THE SAME}

본 발명은 분포 외 데이터를 검출하는 방법 및 장치에 관한 것이다.

분포 외(out-of-distribution, OOD) 데이터의 검출은 이상 데이터(anomaly) 검출의 일종으로 분류될 수 있다. 그러나 분포 외 데이터의 검출은 사전에 이상 데이터에 대한 정보가 필요 없다는 점에서 딥러닝(deep learning) 모델을 활용하는 이상 데이터 검출과 차이가 있다. 즉, 딥러닝 모델은 학습 당시에 정보를 가지고 있지 않던 이상 데이터는 검출할 수 없다. 분포 외(OOD) 데이터의 검출은 이상 데이터 검출과 달리 학습 당시 사용한 내부 도메인 데이터(즉, 분포 내(in-distribution) 데이터)와 다른 특징을 가지는 데이터를 외부 도메인 데이터(즉, 분포 외(OOD) 데이터)로 정의하기 때문에 상술한 문제점을 갖지 않는다.

예를 들어, 신경망 기반의 이미지 분류기에서 분포 외 데이터의 검출은 모델의 출력 값 중 가장 높은 확률 값의 크기를 기반으로 수행될 수 있다. 확률 값은 주어진 이미지가 클래스에 속할 확률을 나타내기 때문에 출력된 확률 값이 특정값보다 작은 경우 이를 외부 도메인 데이터라고 판단한다. 그러나 이는 신경망 모델이 외부 도메인 데이터에 대해서도 종종 높은 확률 값을 출력하기 때문에 정확도가 낮다.

분포 외(OOD) 데이터 검출을 위한 종래기술로서, Hendrycks 등은 문턱값 기반의(threshold-based) 검출 방법을 제안하였으나 과잉 신뢰(overconfidence) 예측 문제로 인해 검출 성능이 낮다는 문제점이 있다.

한국 등록특허공보 제10-1971278호("인공신경망을 이용한 비정상 데이터 구분 장치", 주식회사 알고리고, 2019.04.16. 등록)

D. Hendrycks and K. Gimpel, "A baseline for detecting misclassified and out-of-distribution examples in neural networks", arXiv preprint arXiv:1610.02136, 2016.

전술한 문제점을 해결하기 위한 본 발명의 목적은 모델의 출력 확률 값에 기반하여 외부 도메인 데이터의 검출 성능을 향상시킬 수 있고, 적은 양의 메모리를 사용하여 외부 도메인 데이터를 검출할 수 있는 분포 외(OOD) 데이터 검출 방법 및 장치를 제공하는 것이다.

다만, 본 발명의 해결하고자 하는 과제는 이에 한정되는 것이 아니며, 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위에서 다양하게 확장될 수 있을 것이다.

전술한 문제점을 해결하기 위한 본 발명의 일 실시예에 따른 분포 외(OOD) 데이터 검출 방법은, 데이터 변환 방법을 이용하여 입력 데이터로부터 적어도 하나의 새로운 데이터를 생성하는 단계, 상기 적어도 하나의 새로운 데이터 각각에 대한 인공신경망 모델의 제1 출력 값을 획득하는 단계, 상기 획득된 제1 출력 값들을 이용해 제2 출력 값을 계산하는 단계, 및 상기 제2 출력 값을 소정의 특정 값과 비교하여 상기 입력 데이터가 외부 도메인 데이터인지를 판별하는 단계를 포함한다.

일 측면에 따르면, 상기 판별하는 단계는 상기 제2 출력 값이 상기 특정 값보다 크거나 같은 경우 상기 입력 데이터를 내부 도메인 데이터로 판별할 수 있다.

일 측면에 따르면, 상기 판별하는 단계는 상기 제2 출력 값이 상기 특정 값보다 작은 경우 상기 입력 데이터를 외부 도메인 데이터로 판별할 수 있다.

일 측면에 따르면, 상기 제2 출력 값은 상기 획득된 제1 출력 값들의 평균일 수 있다.

일 측면에 따르면, 상기 입력 데이터는 이미지이고, 상기 데이터 변환 방법은 이미지 변환 방법이고, 그리고 상기 인공신경망 모델은 이미지 분류 모델일 수 있다.

전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른 분포 외(OOD) 데이터 검출 장치는 입력 데이터를 입력 받고, 검출 결과를 출력하는 입출력 인터페이스, 및 상기 입력 데이터가 외부 도메인 데이터인지를 검출하는 프로세서를 포함하되, 상기 프로세서는 데이터 변환 방법을 이용하여 상기 입력 데이터로부터 적어도 하나의 새로운 데이터를 생성하고, 상기 적어도 하나의 새로운 데이터 각각에 대한 인공신경망 모델의 제1 출력 값을 획득하고, 상기 획득된 제1 출력 값들을 이용해 제2 출력 값을 계산하고, 그리고 상기 제2 출력 값을 소정의 특정 값과 비교하여 상기 입력 데이터가 외부 도메인 데이터인지를 판별한다.

일 측면에 따르면, 상기 프로세서는 상기 제2 출력 값이 상기 특정 값보다 크거나 같은 경우 상기 입력 데이터를 내부 도메인 데이터로 판별할 수 있다.

일 측면에 따르면, 상기 프로세서는 상기 제2 출력 값이 상기 특정 값보다 작은 경우 상기 입력 데이터를 외부 도메인 데이터로 판별할 수 있다.

전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른 분포 외(OOD) 데이터 검출 장치는 입력 데이터를 입력 받고, 검출 결과를 출력하는 입출력 수단, 및 상기 입력 데이터가 외부 도메인 데이터인지를 검출하는 처리 수단을 포함하되, 상기 처리 수단은 데이터 변환 방법을 이용하여 상기 입력 데이터로부터 적어도 하나의 새로운 데이터를 생성하고, 상기 적어도 하나의 새로운 데이터 각각에 대한 인공신경망 모델의 제1 출력 값을 획득하고, 상기 획득된 제1 출력 값들을 이용해 제2 출력 값을 계산하고, 그리고 상기 제2 출력 값을 소정의 특정 값과 비교하여 상기 입력 데이터가 외부 도메인 데이터인지를 판별한다.

일 측면에 따르면, 상기 처리 수단은 상기 제2 출력 값이 상기 특정 값보다 크거나 같은 경우 상기 입력 데이터를 내부 도메인 데이터로 판별할 수 있다.

일 측면에 따르면, 상기 처리 수단은 상기 제2 출력 값이 상기 특정 값보다 작은 경우 상기 입력 데이터를 외부 도메인 데이터로 판별할 수 있다.

전술한 문제점을 해결하기 위한 본 발명의 다른 실시예에 따른 컴퓨터가 입력 데이터가 외부 도메인 데이터인지를 검출하는 분포 외(out-of-distribution, OOD) 데이터 검출 방법을 수행하도록 하는 명령들을 포함하는 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능한 저장 매체에 있어서, 상기 컴퓨터 프로그램은 상기 컴퓨터가: 데이터 변환 방법을 이용하여 입력 데이터로부터 적어도 하나의 새로운 데이터를 생성하도록 하는 명령, 상기 적어도 하나의 새로운 데이터 각각에 대한 인공신경망 모델의 제1 출력 값을 획득하도록 하는 명령, 상기 획득된 제1 출력 값들을 이용해 제2 출력 값을 계산하도록 하는 명령, 및 상기 제2 출력 값을 소정의 특정 값과 비교하여 상기 입력 데이터가 외부 도메인 데이터인지를 판별하도록 하는 명령을 포함한다.

일 측면에 따르면, 상기 판별하도록 하는 명령은 상기 컴퓨터가: 상기 제2 출력 값이 상기 특정 값보다 크거나 같은 경우 상기 입력 데이터를 내부 도메인 데이터로 판별하도록 할 수 있다.

일 측면에 따르면, 상기 판별하도록 하는 명령은 상기 컴퓨터가: 상기 제2 출력 값이 상기 특정 값보다 작은 경우 상기 입력 데이터를 외부 도메인 데이터로 판별하도록 할 수 있다.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.

전술한 본 발명의 실시예들에 따른 분포 외(OOD) 데이터 검출 방법 및 장치에 따르면, 데이터 변환 방법을 이용하여 입력 데이터로부터 적어도 하나의 새로운 데이터를 생성하고 새로운 데이터 각각에 대한 인공신경망 모델의 출력 값에 기반하여 외부 도메인 데이터를 검출함으로써 적은 양의 메모리를 사용하면서도 높은 외부 도메인 데이터 검출 성능을 갖는다.

도 1은 일반추론과 증강추론을 비교하기 위한 개념도이다.
도 2는 인공신경망이 이미지 변환을 학습하는지 여부를 설명하기 위한 비교 그래프이다.
도 3은 본 발명의 일 실시예에 따른 분포 외(OOD) 데이터 검출 방법의 순서도이다.
도 4는 본 발명의 다른 실시예에 따른 분포 외(OOD) 데이터 검출 장치의 구성도이다.
도 5는 본 발명의 또 다른 실시예에 따른 분포 외(OOD) 데이터 검출 장치의 구성도이다.
도 6은 추론 방법에 따른 서로 다른 모델의 출력 확률 값 분포를 나타낸 그래프이다.
도 7은 도 6의 세 가지 모델에 따른 외부 도메인 데이터 검출 성능을 비교한 표이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 본 발명이 속하는 기술분야에서 통상의 지식을 가진 사람이 본 발명을 쉽게 실시할 수 있도록 명확하고 상세하게 설명하기로 한다.

본 명세서에서, "내부 도메인 데이터"는 "분포 내(in-distribution) 데이터"와 동일한 의미로 혼용되고, "외부 도메인 데이터"는 "분포 외(out-of-distribution, OOD) 데이터"와 동일한 의미로 혼용된다.

"내부 도메인 데이터"는 신경망의 학습에 사용된 데이터와 동일 또는 유사한 특징을 갖는 데이터를 의미하고, "외부 도메인 데이터"는 내부 도메인 데이터와 상이한 특징을 갖는 데이터를 의미한다. 예를 들어, 동물의 이미지를 분류하는 신경망에 대해서, 학습 시 동물(예컨대, 고양이)의 이미지를 사용한 경우 동물의 이미지는 내부 도메인 데이터이고, 동물과 관계없는 (즉, 신경망이 분류할 수 없는) 이미지(예컨대, 자동차)는 외부 도메인 데이터이다.

도 1은 일반추론과 증강추론을 비교하기 위한 개념도이다.

도 1을 참조하면, 일반추론은 하나의 입력 이미지에 대하여 이를 변형하지 않고 그대로 신경망에 입력하여 출력 값을 얻는 것을 말한다. 예를 들어, 이미지 분류기에서 일반추론에 따라 이미지를 분류하는 경우 신경망은 하나의 입력 이미지에 대하여 해당 이미지가 특정 클래스에 속할 확률 값을 출력한다. 반면에 증강추론은, 모델의 정확도를 향상시키기 위한 기법으로서, 입력된 이미지에 기반하여 이미지 변환을 통해 여러 이미지를 만들어내고 각 이미지 별 출력 값의 평균을 최종 출력 값으로 결정한다.

증강추론은 데이터 증강(data augmentation)을 통해 이루어지는데, 예를 들어, 랜덤 크로핑(random cropping), 변환(translation)과 같은 레이블 보존 변환을 원본 데이터에 적용하여 훈련 데이터의 크기를 증가시킨다. 이때 입력 데이터 증강은 일반적으로 신경망의 훈련 시에만 적용된다.

반면에 TTA(test-time augmentation)는 신경망의 테스트 시 적용하는 데이터 증강으로서, 주어진 입력 이미지로부터 다수의 변환된 이미지를 만들고 이들 각각에 대한 출력 값의 평균을 최종 출력 값으로 결정함으로써 신경망의 일반화 성능(generalization performance)을 향상시킨다.

본 발명의 실시예들에 따른 분포 외(OOD) 데이터 검출 방법 및 장치는 이러한 TTA의 개념을 이용함으로써 모델의 출력 확률 값에 기반하여 외부 도메인 데이터의 검출 성능을 향상시킬 수 있고, 더 적은 양의 메모리를 사용하여 외부 도메인 데이터를 검출할 수 있다.

도 2는 인공신경망이 이미지 변환을 학습하는지 여부를 설명하기 위한 비교 그래프이다.

후술하는 바와 같이 본 발명의 실시예들에 따른 분포 외(OOD) 데이터 검출 방법 및 장치는 입력 데이터를 변환하여 다수의 새로운 데이터를 인공신경망에 입력함으로써 내부 도메인 데이터와 외부 도메인 데이터를 판별한다. 그런데 인공신경망이 입력 데이터의 "변환" 자체를 학습하면 데이터의 "변환"을 내부 도메인 데이터와 외부 도메인 데이터의 판별에 사용할 수 없다.

도 2를 참조하면, 두 그래프는 다양한 이미지 데이터세트에 대한 서로 다른 두 분류기의 신뢰 히스토그램(confidence histogram)이다. 각 분류기는 ResNet18 구조를 가지며, CIFAR-10에 대해 훈련되었다. 두 모델의 이미지 분류 성능은 동일하지만, (a)는 학습 시 컷아웃(Cutout)을 사용하지 않았고 (b)는 학습 시 컷아웃(Cutout)을 사용하였다는 차이점이 있다. 모델이 컷아웃(Cutout)에 강인한(robust) 경우 신뢰 히스토그램은 오른쪽으로 편향되어야 한다. 최대 확률이 낮다는 것은 모델이 다수의 변환된 이미지에 대하여 상이한 예측 벡터를 제공한다는 것을 의미한다.

도 2의 (a)의 경우 학습 시 컷아웃(Cutout)을 사용하지 않았기 때문에 높은 분류 성능을 가짐에도 컷아웃(Cutout) 이미지 변환을 사용하여 증강추론을 수행한 경우 내부 도메인 데이터에 대한 확률 값의 분포가 (b)의 그래프보다 평평한 것을 확인할 수 있다. 이를 통해 데이터 증강은 모델을 내부 도메인 데이터에 대해서만 데이터 변환에 강인하게 한다는 것을 알 수 있다. 또한 분류 성능이 높은 모델에 대해서도 딥러닝 모델은 이미지 변환을 학습하지 않으므로 학습 시 활용했던 데이터 변환을 내부 도메인 데이터와 외부 도메인 데이터를 판별하는데 활용할 수 있음을 알 수 있다.

도 3은 본 발명의 일 실시예에 따른 분포 외(OOD) 데이터 검출 방법의 순서도이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 분포 외(OOD) 데이터 검출 방법은 먼저, 데이터 변환 방법을 이용하여 입력 데이터로부터 적어도 하나의 새로운 데이터를 생성하고, 새로운 데이터 각각에 대한 인공신경망 모델의 출력 값을 획득한다. 여기서 입력 데이터는, 예를 들어, 이미지, 음성, 또는 문서일 수 있으나 이에 한정되지 않는다. 여기서 인공신경망 모델은 분류 모델일 수 있고, 이 경우 출력 값은 입력 데이터가 특정 클래스에 속할 확률 값일 수 있다.

예를 들어, 이미지 분류 모델에 적용되는 경우 입력 데이터는 입력 이미지이고, 데이터 변환 방법은 이미지 변환 방법이고, 출력 값은 입력 이미지가 특정 클래스에 속할 확률 값일 수 있다. 이미지 변환 방법은, 예를 들어, 입력 이미지의 전부 또는 일부를 이동, 반전, 회전, 밝기 변화, 확대, 또는 축소하는 것일 수 있으나 이에 한정되지 않으며 랜덤 크로핑(random cropping)과 같은 데이터 증강을 위해 일반적으로 사용되는 이미지 변환 방법일 수 있다.

새로운 데이터는 미리 정해진 수만큼 생성될 수 있다. 즉, 입력 데이터로부터 새로운 데이터를 생성하고 이에 대한 출력 값을 획득하는 과정을 미리 정해진 수만큼 반복할 수 있다.

구체적으로, 이미지 분류 모델의 예에서, 이미지 데이터를 입력 받고(S310), 이미지 변환을 통해 입력 이미지로부터 새로운 이미지를 생성한다(S320). 생성한 새로운 이미지는 인공신경망 모델에 입력으로 제공되고 획득된 출력 값을 저장한다(S330). 이후 추론을 종료할지 여부를 판단하고(S340), 종료하지 않는 경우에는 단계 S220으로 돌아가 추가적인 새로운 이미지를 생성하여 추가적인 출력 값을 획득한다. 여기서 추론의 종료 여부는 출력 값이 미리 결정된 수만큼 획득되었는지 여부에 의해 결정될 수 있다.

출력 값이 미리 결정된 수만큼 획득되어 추론을 종료 하기로 결정하면, 획득된 출력 값들을 이용해 최종 출력 값을 계산한다(S350). 여기서 최종 출력 값은 각각의 새로운 데이터에 대하여 획득된 출력 값들의 평균일 수 있다. 여기서 최종 출력 값은 입력 데이터가 내부 도메인 데이터일 확률의 기대 값일 수 있다.

구체적으로, 미리 정해진 수만큼의 새로운 데이터에 대하여 미리 정해진 수만큼의 인공신경망 출력 값이 획득되면 추론을 종료하고, 획득된 출력 값들의 평균으로 최종 출력 값을 계산한다.

다음으로, 최종 출력 값(예컨대, 확률 값)을 소정의 특정 값과 비교하여 입력 데이터가 외부 도메인 데이터인지를 판별한다. 예를 들어, 최종 출력 값이 특정 값보다 크거나 같은 경우(S360) 입력 데이터를 내부 도메인 데이터로 판별하고(S370-1), 최종 출력 값이 특정 값보다 작은 경우(S360) 입력 데이터를 외부 도메인 데이터로 판별할 수 있다(S370-2).

본 발명의 일 실시예에 따른 분포 외(OOD) 데이터 검출 방법에 따르면, 변환된 데이터 각각에 대한 출력 값의 평균을 최종 출력 값으로 함으로써 인공신경망의 출력 값의 크기의 최대 값이 작아지는 효과가 있다. 그러므로 최종 출력 값의 크기에 기초하여 외부 도메인 데이터를 판단하는 추론 방법에서 외부 도메인 데이터 검출의 정확도를 향상시킬 수 있다.

도 4는 본 발명의 다른 실시예에 따른 분포 외(OOD) 데이터 검출 장치의 구성도이다.

도 4를 참조하면, 본 발명의 다른 실시예에 따른 분포 외(OOD) 데이터 검출 장치(400)는 입출력 인터페이스(420), 프로세서(440), 및 메모리(460)를 포함할 수 있다.

입출력 인터페이스(420)는 입력 데이터를 입력 받고, 외부 도메인 데이터 검출 결과를 출력한다.

프로세서(440)는 상술한 분포 외(OOD) 데이터 검출 방법을 수행한다.

프로세서(440)는 먼저, 데이터 변환 방법을 이용하여 입력 데이터로부터 적어도 하나의 새로운 데이터를 생성하고, 새로운 데이터 각각에 대한 인공신경망 모델의 출력 값을 획득하고 메모리(460)에 저장한다. 여기서 입력 데이터는, 예를 들어, 이미지, 음성, 또는 문서일 수 있으나 이에 한정되지 않는다. 여기서 인공신경망 모델은 분류 모델일 수 있고, 이 경우 출력 값은 입력 데이터가 특정 클래스에 속할 확률 값일 수 있다.

프로세서(440)는 새로운 데이터를 미리 정해진 수만큼 생성할 수 있다. 즉, 프로세서(440)는 입력 데이터로부터 새로운 데이터를 생성하고 이에 대한 출력 값을 획득하는 과정을 미리 정해진 수만큼 반복할 수 있다.

구체적으로, 프로세서(440)는 입력 데이터를 입력 받고, 데이터 변환을 통해 입력 데이터로부터 새로운 데이터를 생성한다. 생성한 새로운 데이터는 인공신경망 모델에 입력으로 제공되고 획득된 출력 값을 메모리(460)에 저장한다. 이후 추론을 종료할지 여부를 판단하고, 종료하지 않는 경우에는 추가적인 새로운 데이터를 생성하여 추가적인 출력 값을 획득한다. 여기서 추론의 종료 여부는 출력 값이 미리 결정된 수만큼 획득되었는지 여부에 의해 결정될 수 있다.

프로세서(440)는 출력 값이 미리 결정된 수만큼 획득되어 추론을 종료 하기로 결정하면, 획득된 출력 값들을 이용해 최종 출력 값을 계산한다. 여기서 최종 출력 값은 각각의 새로운 데이터에 대하여 획득된 출력 값들의 평균일 수 있다. 여기서 최종 출력 값은 입력 데이터가 내부 도메인 데이터일 확률의 기대 값일 수 있다.

구체적으로, 프로세서(440)는 미리 정해진 수만큼의 새로운 데이터에 대하여 미리 정해진 수만큼의 인공신경망 출력 값이 획득되면 추론을 종료하고, 획득된 출력 값들의 평균으로 최종 출력 값을 계산한다.

다음으로, 프로세서(440)는 최종 출력 값(예컨대, 확률 값)을 소정의 특정 값과 비교하여 입력 데이터가 외부 도메인 데이터인지를 판별한다. 예를 들어, 최종 출력 값이 특정 값보다 크거나 같은 경우 입력 데이터를 내부 도메인 데이터로 판별하고, 최종 출력 값이 특정 값보다 작은 경우 입력 데이터를 외부 도메인 데이터로 판별할 수 있다.

도 5는 본 발명의 또 다른 실시예에 따른 분포 외(OOD) 데이터 검출 장치의 구성도이다.

도 5를 참조하면, 본 발명의 또 다른 실시예에 따른 분포 외(OOD) 데이터 검출 장치(500)는 입출력 수단(520), 처리 수단(540), 및 저장 수단(560)을 포함할 수 있다.

입출력 수단(520)은 입력 데이터를 입력 받고, 외부 도메인 데이터 검출 결과를 출력한다.

처리 수단(540)은 상술한 분포 외(OOD) 데이터 검출 방법을 수행한다.

처리 수단(540)은 먼저, 데이터 변환 방법을 이용하여 입력 데이터로부터 적어도 하나의 새로운 데이터를 생성하고, 새로운 데이터 각각에 대한 인공신경망 모델의 출력 값을 획득하고 저장 수단(560)에 저장한다. 여기서 입력 데이터는, 예를 들어, 이미지, 음성, 또는 문서일 수 있으나 이에 한정되지 않는다. 여기서 인공신경망 모델은 분류 모델일 수 있고, 이 경우 출력 값은 입력 데이터가 특정 클래스에 속할 확률 값일 수 있다.

처리 수단(540)은 새로운 데이터를 미리 정해진 수만큼 생성할 수 있다. 즉, 처리 수단(540)은 입력 데이터로부터 새로운 데이터를 생성하고 이에 대한 출력 값을 획득하는 과정을 미리 정해진 수만큼 반복할 수 있다.

구체적으로, 처리 수단(540)은 입력 데이터를 입력 받고, 데이터 변환을 통해 입력 데이터로부터 새로운 데이터를 생성한다. 생성한 새로운 데이터는 인공신경망 모델에 입력으로 제공되고 획득된 출력 값을 저장 수단(560)에 저장한다. 이후 추론을 종료할지 여부를 판단하고, 종료하지 않는 경우에는 추가적인 새로운 데이터를 생성하여 추가적인 출력 값을 획득한다. 여기서 추론의 종료 여부는 출력 값이 미리 결정된 수만큼 획득되었는지 여부에 의해 결정될 수 있다.

처리 수단(540)은 출력 값이 미리 결정된 수만큼 획득되어 추론을 종료 하기로 결정하면, 획득된 출력 값들을 이용해 최종 출력 값을 계산한다. 여기서 최종 출력 값은 각각의 새로운 데이터에 대하여 획득된 출력 값들의 평균일 수 있다. 여기서 최종 출력 값은 입력 데이터가 내부 도메인 데이터일 확률의 기대 값일 수 있다.

구체적으로, 처리 수단(540)은 미리 정해진 수만큼의 새로운 데이터에 대하여 미리 정해진 수만큼의 인공신경망 출력 값이 획득되면 추론을 종료하고, 획득된 출력 값들의 평균으로 최종 출력 값을 계산한다.

다음으로, 처리 수단(540)은 최종 출력 값(예컨대, 확률 값)을 소정의 특정 값과 비교하여 입력 데이터가 외부 도메인 데이터인지를 판별한다. 예를 들어, 최종 출력 값이 특정 값보다 크거나 같은 경우 입력 데이터를 내부 도메인 데이터로 판별하고, 최종 출력 값이 특정 값보다 작은 경우 입력 데이터를 외부 도메인 데이터로 판별할 수 있다.

이하에서는 본 발명의 실시예들에 따른 분포 외(OOD) 데이터 검출 방법 및 장치의 성능을 종래기술들과 비교한 실험결과를 설명한다.

도 6은 추론 방법에 따른 서로 다른 모델의 출력 확률 값 분포를 나타낸 그래프이다.

도 6의 (a)는 일반적인 신경망 모델의 추론 방법으로서 Hendrycks 등의 방법의 출력 확률 값 분포이고, (b)는 앙상블(ensemble) 추론 방법의 출력 확률 값 분포이고, (c)는 본 발명의 실시예들에 따른 분포 외(OOD) 데이터 검출 방법 및 장치의 출력 확률 값 분포이다. 각 모델들에 대하여 내부 도메인 데이터는 CIFAR-10이고, 외부 도메인 데이터로는 SVHN, STL10, LSUN, 및 노이즈 이미지를 사용하였다. 모든 모델은 ResNet18 구조를 갖는다.

도 6을 참조하면, 일반적인 신경망 모델(a)의 경우 상당히 오른쪽으로 편향된 분포를 갖는 것을 알 수 있다. 이는 상술한 바와 같이 과잉 신뢰(overconfidence)의 문제 때문이다. 한편, 상술한 바와 같이 외부 도메인 데이터를 효과적으로 검출하기 위해서는 내부 도메인 데이터와 외부 도메인 데이터가 상이한 분포를 가져야 한다. 따라서 본 발명의 실시예들에 따른 분포 외(OOD) 데이터 검출 방법(c)이 외부 도메인 데이터를 가장 효과적으로 검출할 것으로 기대할 수 있다.

앙상블 모델(b) 역시 일반적인 신경망 모델(a)에 비해 더 나은 검출 성능을 가질 것으로 기대할 수 있다. 다만 앙상블 모델(b)의 경우 다수의 신경망 모델을 구동하여야 하므로 하나의 신경망 모델만을 이용하는 본 발명에 따른 분포 외(OOD) 검출 방법에 비하여 5배 이상의 메모리 리소스를 사용한다는 단점이 있다. 즉, 본 발명의 실시예들에 따른 분포 외(OOD) 데이터 검출 방법 및 장치는 적은 양의 메모리를 사용하면서도 높은 외부 도메인 데이터 검출 성능을 갖는다.

도 7은 도 6의 세 가지 모델에 따른 외부 도메인 데이터 검출 성능을 비교한 표이다.

성능 평가 지표로는 AUROC(Area Under the Receiver Operating Characteristic), AUPR(Area Under Precision-Recall Curve), TNR 95% TPR(True Negative Rate at 95% True Positive Rate), Detection Accuracy Metrics를 사용하였다. 도 7을 참조하면, 도 6에서 예상할 수 있는 것과 같이 본 발명의 실시예들에 따른 분포 외(OOD) 데이터 검출 방법이 일반적인 신경망 모델과 앙상블 모델에 비하여 더 나은 검출 성능을 갖는 것으로 확인되었다.

전술한 본 발명에 따른 분포 외(OOD) 데이터 검출 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현되는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터 시스템에 의하여 해독될 수 있는 데이터가 저장된 모든 종류의 기록매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래시 메모리, 광 데이터 저장장치 등이 있을 수 있다. 또한 컴퓨터로 판독 가능한 기록매체는 컴퓨터 통신망으로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 읽을 수 있는 코드로서 저장되고 실행될 수 있다.

이상에서 도면 및 실시예를 참조하여 설명하였지만, 본 발명의 보호범위가 상기 도면 또는 실시예에 의해 한정되는 것을 의미하지는 않으며 해당 기술 분야의 숙련된 당업자는 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

400: 분포 외(OOD) 데이터 검출 장치
420: 입출력 인터페이스
440: 프로세서
460: 메모리

Claims

데이터 변환 방법을 이용하여 입력 데이터로부터 적어도 하나의 새로운 데이터를 생성하는 단계;
상기 적어도 하나의 새로운 데이터 각각에 대한 인공신경망 모델의 제1 출력 값을 획득하는 단계;
상기 획득된 제1 출력 값들을 이용하여 제2 출력 값을 계산하는 단계; 및
상기 제2 출력 값을 소정의 특정 값과 비교하여 상기 입력 데이터가 외부 도메인 데이터인지를 판별하는 단계를 포함하는, 분포 외(out-of-distribution, OOD) 데이터 검출 방법.
제1항에 있어서,
상기 판별하는 단계는
상기 제2 출력 값이 상기 특정 값보다 크거나 같은 경우 상기 입력 데이터를 내부 도메인 데이터로 판별하는, 분포 외(OOD) 데이터 검출 방법.
제1항에 있어서,
상기 판별하는 단계는
상기 제2 출력 값이 상기 특정 값보다 작은 경우 상기 입력 데이터를 외부 도메인 데이터로 판별하는, 분포 외(OOD) 데이터 검출 방법.
제1항에 있어서,
상기 제2 출력 값은 상기 획득된 제1 출력 값들의 평균인, 분포 외(OOD) 데이터 검출 방법.
제1항에 있어서,
상기 입력 데이터는 이미지이고, 상기 데이터 변환 방법은 이미지 변환 방법이고, 그리고 상기 인공신경망 모델은 이미지 분류 모델인, 분포 외(OOD) 데이터 검출 방법.
입력 데이터를 입력 받고, 검출 결과를 출력하는 입출력 인터페이스; 및
상기 입력 데이터가 외부 도메인 데이터인지를 검출하는 프로세서를 포함하되,
상기 프로세서는
데이터 변환 방법을 이용하여 상기 입력 데이터로부터 적어도 하나의 새로운 데이터를 생성하고,
상기 적어도 하나의 새로운 데이터 각각에 대한 인공신경망 모델의 제1 출력 값을 획득하고,
상기 획득된 제1 출력 값들을 이용하여 제2 출력 값을 계산하고, 그리고
상기 제2 출력 값을 소정의 특정 값과 비교하여 상기 입력 데이터가 외부 도메인 데이터인지를 판별하는, 분포 외(out-of-distribution, OOD) 데이터 검출 장치.
제6항에 있어서,
상기 프로세서는
상기 제2 출력 값이 상기 특정 값보다 크거나 같은 경우 상기 입력 데이터를 내부 도메인 데이터로 판별하는, 분포 외(OOD) 데이터 검출 장치.
제6항에 있어서,
상기 프로세서는
상기 제2 출력 값이 상기 특정 값보다 작은 경우 상기 입력 데이터를 외부 도메인 데이터로 판별하는, 분포 외(OOD) 데이터 검출 장치.
제6항에 있어서,
상기 제2 출력 값은 상기 획득된 제1 출력 값들의 평균인, 분포 외(OOD) 데이터 검출 장치.
제6항에 있어서,
상기 입력 데이터는 이미지이고, 상기 데이터 변환 방법은 이미지 변환 방법이고, 그리고 상기 인공신경망 모델은 이미지 분류 모델인, 분포 외(OOD) 데이터 검출 장치.
입력 데이터를 입력 받고, 검출 결과를 출력하는 입출력 수단; 및
상기 입력 데이터가 외부 도메인 데이터인지를 검출하는 처리 수단을 포함하되,
상기 처리 수단은
데이터 변환 방법을 이용하여 상기 입력 데이터로부터 적어도 하나의 새로운 데이터를 생성하고,
상기 적어도 하나의 새로운 데이터 각각에 대한 인공신경망 모델의 제1 출력 값을 획득하고,
상기 획득된 제1 출력 값들을 이용하여 제2 출력 값을 계산하고, 그리고
상기 제2 출력 값을 소정의 특정 값과 비교하여 상기 입력 데이터가 외부 도메인 데이터인지를 판별하는, 분포 외(out-of-distribution, OOD) 데이터 검출 장치.
제11항에 있어서,
상기 처리 수단은
상기 제2 출력 값이 상기 특정 값보다 크거나 같은 경우 상기 입력 데이터를 내부 도메인 데이터로 판별하는, 분포 외(OOD) 데이터 검출 장치.
제11항에 있어서,
상기 처리 수단은
상기 제2 출력 값이 상기 특정 값보다 작은 경우 상기 입력 데이터를 외부 도메인 데이터로 판별하는, 분포 외(OOD) 데이터 검출 장치.
제11항에 있어서,
상기 제2 출력 값은 상기 획득된 제1 출력 값들의 평균인, 분포 외(OOD) 데이터 검출 장치.
제11항에 있어서,
상기 입력 데이터는 이미지이고, 상기 데이터 변환 방법은 이미지 변환 방법이고, 그리고 상기 인공신경망 모델은 이미지 분류 모델인, 분포 외(OOD) 데이터 검출 장치.
컴퓨터가 입력 데이터가 외부 도메인 데이터인지를 검출하는 분포 외(out-of-distribution, OOD) 데이터 검출 방법을 수행하도록 하는 명령들을 포함하는 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능한 저장 매체에 있어서, 상기 컴퓨터 프로그램은 상기 컴퓨터가:
데이터 변환 방법을 이용하여 입력 데이터로부터 적어도 하나의 새로운 데이터를 생성하도록 하는 명령;
상기 적어도 하나의 새로운 데이터 각각에 대한 인공신경망 모델의 제1 출력 값을 획득하도록 하는 명령;
상기 획득된 제1 출력 값들을 이용하여 제2 출력 값을 계산하도록 하는 명령; 및
상기 제2 출력 값을 소정의 특정 값과 비교하여 상기 입력 데이터가 외부 도메인 데이터인지를 판별하도록 하는 명령을 포함하는, 컴퓨터 판독 가능한 저장 매체.
제16항에 있어서,
상기 판별하도록 하는 명령은 상기 컴퓨터가:
상기 제2 출력 값이 상기 특정 값보다 크거나 같은 경우 상기 입력 데이터를 내부 도메인 데이터로 판별하도록 하는, 컴퓨터 판독 가능한 저장 매체.
제16항에 있어서,
상기 판별하도록 하는 명령은 상기 컴퓨터가:
상기 제2 출력 값이 상기 특정 값보다 작은 경우 상기 입력 데이터를 외부 도메인 데이터로 판별하도록 하는, 컴퓨터 판독 가능한 저장 매체.
제16항에 있어서,
상기 제2 출력 값은 상기 획득된 제1 출력 값들의 평균인, 컴퓨터 판독 가능한 저장 매체.
제16항에 있어서,
상기 입력 데이터는 이미지이고, 상기 데이터 변환 방법은 이미지 변환 방법이고, 그리고 상기 인공신경망 모델은 이미지 분류 모델인, 컴퓨터 판독 가능한 저장 매체.