KR20230149461A

KR20230149461A - 분포 외 샘플 검출 방법 및 장치

Info

Publication number: KR20230149461A
Application number: KR1020220048697A
Authority: KR
Inventors: 손경아; 문정현; 안남혁
Original assignee: 아주대학교산학협력단
Priority date: 2022-04-20
Filing date: 2022-04-20
Publication date: 2023-10-27

Abstract

분포 외 샘플 검출 방법 및 장치가 개시된다. 개시되는 일 실시예에 따른 분포 외 샘플 검출 장치는, 입력 이미지로부터 텍스처 특징을 추출하도록 마련되는 제1 특징 추출 모듈, 입력 이미지로부터 의미론적 특징을 추출하도록 마련되는 제2 특징 추출 모듈, 및 텍스처 특징 및 의미론적 특징에 기반하여 입력 이미지의 분포 외 샘플 여부를 분류하는 분류 모듈을 포함한다.

Description

분포 외 샘플 검출 방법 및 장치{METHOD AND APPARATUS FOR DETECTING OUT OF DISTRIBUTION SAMPLE}

본 발명의 실시예는 분포 외 샘플 검출 기술과 관련된다.

분포 외 샘플(Out-Of-Distribution : OOD) 감지 기술은 기 설정된 분포의 특성과는 다른 특성을 지니는 샘플을 감지하기 위한 것으로서, 주로 이상 탐지와 같은 분야에서 응용되고 있다. 다만, 분포 내(In-Distribution)라고 하는 것에 대한 정의가 모호하거나 부족하여 분포 외 샘플 검출 모델을 실제 응용에 적용하는 것에는 한계가 존재하게 된다. 예를 들어, 기존의 분포 외 샘플(OOD) 검출 모델이 눈 또는 비와 같은 기후에 대해 이상 탐지하는 경우, 기후 변화가 이상이 아닌 자율 주행 시스템에 분포 외 샘플 검출 모델을 적용하는 데는 한계가 있다.

한국공개특허공보 제10-2021-0123674호(2021.10.14)

본 발명의 실시예는 다양한 응용 분야에 적용할 수 있는 분포 외 샘플 검출 방법 및 장치를 제공하기 위한 것이다.

개시되는 일 실시예에 따른 분포 외 샘플 검출 장치는, 입력 이미지로부터 텍스처 특징을 추출하도록 마련되는 제1 특징 추출 모듈; 상기 입력 이미지로부터 의미론적 특징을 추출하도록 마련되는 제2 특징 추출 모듈; 및 상기 텍스처 특징 및 상기 의미론적 특징에 기반하여 상기 입력 이미지의 분포 외 샘플 여부를 분류하는 분류 모듈을 포함한다.

상기 제1 특징 추출 모듈은, 상기 입력 이미지를 이산 푸리에 변환하고, 이산 푸리에 변환된 입력 이미지에서 위상 정보를 제거하여 텍스처 특징을 추출할 수 있다.

상기 제1 특징 추출 모듈은, 하기의 수학식에 의해 상기 이산 푸리에 변환된 입력 이미지에서 위상 정보를 제거하여 텍스처 특징을 추출할 수 있다.

(수학식)

F(f_x, f_y) : 입력 이미지의 (f_x, f_y) 좌표에서의 이산 푸리에 변환된 출력 값

w : 입력 이미지의 폭으로, 입력 이미지의 폭은 입력 이미지의 높이와 같음

T_i(x) : i번째 벡터 요소의 텍스처 특징, i∈w

상기 제2 특징 추출 모듈은, 상기 입력 이미지에 대해 임베딩을 수행하여 특징 벡터들을 추출하도록 학습되는 제1 인공 신경망 모델; 및 상기 추출한 특징 벡터들에 기반하여 상기 입력 이미지에서 의미론적 특징을 추출하도록 학습되는 제2 인공 신경망 모델을 포함할 수 있다.

상기 제2 인공 신경망 모델은, 상기 입력 이미지의 임베딩된 공간 상에서 복수 개의 중심 벡터들을 설정하고, 상기 추출한 특징 벡터들이 그 위치에 따라 상기 복수 개의 중심 벡터들로 모이도록 하여 상기 의미론적 특징을 추출하도록 학습될 수 있다.

상기 제2 인공 신경망 모델은, 상기 복수 개의 중심 벡터들을 기 설정된 반경을 갖는 구의 경계에 랜덤하게 배치하고, 상기 추출한 특징 벡터들이 상기 구의 경계에 배치된 중심 벡터들로 모이도록 학습될 수 있다.

상기 제2 인공 신경망 모델은, 상기 추출한 특징 벡터들이 그 위치에 따라 상기 중심 벡터들 중 해당 특징 벡터와 가장 가까운 중심 벡터의 기 설정된 세부 직경 내에 모이도록 학습될 수 있다.

상기 분류 모듈은, 상기 텍스처 특징을 입력으로 하여 상기 입력 이미지가 분포 내 샘플일 확률 또는 분포 외 샘플일 확률인 제1 확률 값을 출력하도록 학습되는 제1 분류 모델; 상기 의미론적 특징으로 입력으로 하여 상기 입력 이미지가 분포 내 샘플일 확률 또는 분포 외 샘플일 확률인 제2 확률 값을 출력하도록 학습되는 제2 분류 모델; 및 상기 제1 확률 값 및 상기 제2 확률 값에 기반하여 상기 입력 이미지가 분포 내 샘플 또는 분포 외 샘플일 최종 확률 값을 출력하는 출력부를 포함할 수 있다.

상기 출력부는, 상기 제1 확률 값에 제1 가중치를 부여하고, 상기 제2 확률 값에 제2 가중치를 부여한 후, 이를 합산하여 상기 최종 확률 값을 출력할 수 있다.

개시되는 일 실시예에 따른 분포 외 샘플 검출 방법은, 하나 이상의 프로세서들, 및 상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서, 입력 이미지로부터 텍스처 특징을 추출하는 단계; 상기 입력 이미지로부터 의미론적 특징을 추출하는 단계; 및 상기 텍스처 특징 및 상기 의미론적 특징에 기반하여 상기 입력 이미지의 분포 외 샘플 여부를 분류하는 단계를 포함한다.

상기 텍스처 특징을 추출하는 단계는, 상기 입력 이미지를 이산 푸리에 변환하는 단계; 및 이산 푸리에 변환된 입력 이미지에서 위상 정보를 제거하여 텍스처 특징을 추출하는 단계를 포함할 수 있다.

상기 텍스처 특징을 추출하는 단계는, 하기의 수학식에 의해 상기 이산 푸리에 변환된 입력 이미지에서 위상 정보를 제거하여 텍스처 특징을 추출할 수 있다.

(수학식)

T_i(x) : i번째 벡터 요소의 텍스처 특징, i∈w

상기 의미론적 특징을 추출하는 단계는, 제1 인공 신경망 모델에서, 상기 입력 이미지에 대해 임베딩을 수행하여 특징 벡터들을 추출하도록 학습되는 단계; 및 제2 인공 신경망 모델에서, 상기 추출한 특징 벡터들에 기반하여 상기 입력 이미지에서 의미론적 특징을 추출하도록 학습되는 단계를 포함할 수 있다.

상기 분류하는 단계는, 상기 텍스처 특징을 입력으로 하여 상기 입력 이미지가 분포 내 샘플일 확률 또는 분포 외 샘플일 확률인 제1 확률 값을 출력하는 단계; 상기 의미론적 특징으로 입력으로 하여 상기 입력 이미지가 분포 내 샘플일 확률 또는 분포 외 샘플일 확률인 제2 확률 값을 출력하는 단계; 및 상기 제1 확률 값 및 상기 제2 확률 값에 기반하여 상기 입력 이미지가 분포 내 샘플 또는 분포 외 샘플일 최종 확률 값을 출력하는 단계를 포함할 수 있다.

상기 최종 확률 값을 출력하는 단계는, 상기 제1 확률 값에 제1 가중치를 부여하고, 상기 제2 확률 값에 제2 가중치를 부여한 후, 이를 합산하여 상기 최종 확률 값을 출력할 수 있다.

개시되는 실시예에 의하면, 입력 이미지에서 텍스처 특징과 의미론적 특징을 각각 추출하고, 텍스처 특징 및 의미론적 특징에 기반하여 입력 이미지에 대한 분포 내 샘플일 확률을 산출함으로써, 분포 외 샘플을 보다 정확하게 감지할 수 있고, 다양한 분야에서 분포 외 샘플 감지를 수행할 수 있게 된다.

도 1은 전통적인 분포 내 정의(도 1의 (a))와 본 발명의 실시예에 따른 분포 내 정의(도 1의 (b))를 비교하기 위한 도면
도 2는 본 발명의 일 실시예에 따른 분포 외 샘플 검출 장치의 구성을 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 제2 인공 신경망 모델에서 복수 개의 중심 벡터들을 기 설정된 반경을 갖는 원의 경계에 랜덤하게 배치하고(도 3의 (a)), 추출한 특징 벡터들을 그 위치에 따라 해당 특징 벡터와 가까운 중심 벡터의 기 설정된 직경내에 모이도록 한 상태(도 3의 (b))를 나타낸 도면
도 4는 복수 개의 중심 벡터들을 임베딩 공간 상에 랜덤 배치한 후 특징 벡터들을 중심 벡터로 모이도록 한 상태를 나타낸 도면
도 5는 본 발명의 일 실시예에 따른 분포 외 샘플 검출 방법을 설명하기 위한 흐름도
도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

또한, 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로 사용될 수 있다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.

도 1은 전통적인 분포 내 정의(도 1의 (a))와 본 발명의 실시예에 따른 분포 내 정의(도 1의 (b))를 비교하기 위한 도면이다. 개시되는 실시예에 의하면, 분포 내(In-Distribution)의 정의를 질감(Texture)과 의미론적(Semantic) 측면으로 분해함으로써, 주어진 시나리오에 적합한 분포 내 정의를 결정하여 복잡한 시나리오를 처리할 수 있는 유연성을 가지는 분포 외 샘플 검출 모델을 제공할 수 있게 된다. 즉, 개시되는 실시예에서는 입력 이미지가 갖는 특성을 low-level 정보인 질감 정보와 high-level 정보인 의미론적 정보로 구분하여 추출하고, 질감 특성 및 의미론적 특성에 기반하여 분포 외 샘플을 분류하도록 할 수 있다.

도 2는 본 발명의 일 실시예에 따른 분포 외 샘플 검출 장치의 구성을 나타낸 블록도이다.

도 2를 참조하면, 분포 외 샘플 검출 장치(100)는 제1 특징 추출 모듈(102), 제2 특징 추출 모듈(104), 및 분류 모듈(106)을 포함할 수 있다. 분포 외 샘플 검출 장치(100)는 인공 신경망 기술에 기반하여 입력 이미지가 분포 외 샘플인지 분포 내 샘플인지를 분류하도록 마련될 수 있다.

제1 특징 추출 모듈(102)은 입력 이미지로부터 텍스처 특징(T(x))을 추출하도록 마련될 수 있다. 예시적인 실시예에서, 제1 특징 추출 모듈(102)은 분포 내 텍스처 특징(질감 특징)을 정확하게 추출하기 위해, 주파수 공간에서 입력 이미지를 해석할 수 있다. 즉, 푸리에 변환은 이미지를 다양한 주기 함수로 표현하는 것으로, 주기 함수의 크기에 따라서 이미지가 가지고 있는 거친 질감 등의 양을 추론할 수 있게 된다.

제1 특징 추출 모듈(102)은 아래의 수학식 1에 나타낸 바와 같이 입력 이미지(x, x∈R^3×h×w)를 이산 푸리에 변환(Discrete Fourier Transform : DFT)을 사용하여 주파수 도메인으로 변환할 수 있다.

(수학식 1)

여기서, I(p, q)는 (p, q) 좌표에서의 영상의 픽셀 값을 나타내고, F(f_x, f_y)는 주파수 공간에서 데카르트 좌표 (f_x, f_y)에서의 이산 푸리에 변환의 출력값을 나타낸다. h는 입력 이미지의 높이, w는 입력 이미지의 폭을 나타낸다.

제1 특징 추출 모듈(102)은 2D 영상에서 스케일 및 회전 불변 주파수 정보를 구성하기 위해, 다음의 수학식 2와 같이 데카르트 좌표 (f_x, f_y)에서 극 좌표(f_r, θ)로 좌표계를 수정할 수 있다. 즉, 제1 특징 추출 모듈(102)은 입력 이미지의 주파수 도메인의 좌표 값을 극 좌표계의 좌표 값으로 변환할 수 있다.

(수학식 2)

이때, 제1 특징 추출 모듈(102)은 극 좌표를 직접 계산하는 것은 비용이 많이 들고 까다롭기 때문에, 회전 불변 주파수 특성(rotation invariant frequency feature)을 재귀적으로 계산할 수 있다. 이를 위해, 제1 특징 추출 모듈(102)은 입력 이미지의 한 채널(즉, R, G, B 채널 중 한 채널)만을 이용하여 이산 푸리에 변환을 수행할 수 있다. 즉, RGB 기반의 h×w 크기를 가지는 입력 이미지에서 하나의 채널을 추출하여 이산 푸리에 변환할 수 있다. 이때, 입력 이미지는 정사각형(즉, h=w)이라고 가정할 수 있다.

여기서, T(x)∈R^W을 입력 이미지(x)의 텍스처 특징(텍스쳐 특징은 벡터 형식을 가짐)이라고 하면, i번째 벡터 요소의 텍스처 특징 T_i(x)(i∈w)는 다음의 수학식 3에 의해 산출할 수 있다.

(수학식 3)

수학식 3에 의하면, 푸리에 변환된 입력 이미지에서 위상(phase) 정보는 잃어버리게 하고, 질감 정보인 크기(amplitude) 정보만 남게 된다. 따라서, 입력 이미지로부터 텍스처 특징(질감 특징)을 추출할 수 있게 된다. 즉, 푸리에 변환된 입력 이미지는 2차원 정보인데, 그 중에서 위상 정보는 제거하고 질감 정보만을 얻기 위해(1차원 정보를 얻기 위해) 수학식 3을 이용하게 된다.

제2 특징 추출 모듈(104)은 입력 이미지로부터 의미론적 특징(S(x))을 추출하도록 마련될 수 있다. 구체적으로, 제2 특징 추출 모듈(104)은 제1 인공 신경망 모델(104a) 및 제2 인공 신경망 모델(104b)을 포함할 수 있다.

제1 인공 신경망 모델(104a)은 입력 이미지에 대해 임베딩(embedding)을 수행하여 특징 벡터들을 추출할 수 있다. 예시적인 실시예에서, 제1 인공 신경망 모델(104a)는 ResNet과 같은 인공 신경망을 포함할 수 있으나, 인공 신경망의 종류가 이에 한정되는 것은 아니다.

제2 인공 신경망 모델(104b)은 추출된 특징 벡터들이 기 설정된 중심 벡터로 모이도록 학습되어 입력 이미지의 의미론적 특징(Semantic Feature)을 추출할 수 있다. 여기서, 입력 이미지의 의미론적 특징은 입력 이미지를 어떤 이미지인 것으로 분류하기 위한 정보를 의미할 수 있다.

예시적인 실시예에서, 제2 인공 신경망 모델(104b)은 입력 이미지의 임베딩된 공간 상에서 복수 개의 중심 벡터들을 설정할 수 있다. 제2 인공 신경망 모델(104b)은 제1 인공 신경망 모델(104a)에서 추출한 특징 벡터들이 그 위치에 따라 복수 개의 중심 벡터들로 모이도록 하여 입력 이미지의 의미론적 특징을 추출할 수 있다.

제2 인공 신경망 모델(104b)은 복수 개의 중심 벡터들이 입력 이미지의 임베딩된 공간 상에서 기 설정된 반경을 갖는 구의 경계에 배치되도록 할 수 있다. 제2 인공 신경망 모델(104b)은 복수 개의 중심 벡터들을 랜덤하게 생성하고, 생성된 각 중심 벡터들을 기 설정된 반경을 갖는 구(球)의 경계에 랜덤하게 배치할 수 있다. 이때, 제2 인공 신경망 모델(104b)은 다음의 수학식 4를 통해 복수 개의 중심 벡터들을 기 설정된 반경을 갖는 구의 경계에 랜덤하게 배치할 수 있다.

(수학식 4)

여기서, γ는 기 설정된 구의 반경을 나타내며, V는 랜덤하게 생성된 중심 벡터를 나타낸다. 수학식 4에 의하면, k개의 중심 벡터들이 반경 γ인 구의 경계에 랜덤하게 배치되게 된다.

제2 인공 신경망 모델(104b)은 제1 인공 신경망 모델(104a)에서 추출한 특징 벡터들이 구의 경계에 랜덤하게 배치된 중심 벡터들로 모이도록 학습될 수 있다. 이때, 제2 인공 신경망 모델(104b)은 상기 추출한 특징 벡터들이 그 위치에 따라 해당 특징 벡터와 가까운 중심 벡터의 기 설정된 세부 직경(중심 벡터 직경) 내에 모이도록 학습될 수 있다. 상기 세부 직경은 중심 벡터들이 그 경계에 배치되는 구보다 작은 직경을 갖는다. 여기서, 제2 인공 신경망 모델(104b)의 손실 함수는 아래의 수학식 5로 나타낼 수 있다.

(수학식 5)

K : 중심 벡터의 개수

n : 입력 이미지의 개수

φ(x_i ; W) : 제2 인공 신경망 모델의 출력 값

W : 제2 인공 신경망 모델의 가중치

c_j: j번째 중심 벡터

r_{j :}j번째 중심 벡터의 직경

r_{k :}k번째 중심 벡터의 직경

υ, η : 기 설정된 상수

즉, 제2 인공 신경망 모델(104b)은 수학식 5의 값이 최소가 되도록 학습될 수 있다. 이때, 수학식 4의 γ(구의 반경)을 충분히 크게 설정하여 모든 샘플 데이터가 구의 직경 내에 있도록 할 수 있다. 제2 인공 신경망 모델(104b)이 학습된 후, 제2 인공 신경망 모델(104b)을 통해 의미론적 특징(S(x))이 추출된다. 즉, S(x) = φ(x_i ; W)가 된다.

도 3은 본 발명의 일 실시예에 따른 제2 인공 신경망 모델에서 복수 개의 중심 벡터들을 기 설정된 반경을 갖는 구(R)의 경계에 랜덤하게 배치하고(도 3의 (a)), 추출한 특징 벡터들을 그 위치에 따라 해당 특징 벡터와 가까운 중심 벡터의 기 설정된 직경(중심 벡터 직경)(r) 내에 모이도록 한 상태(도 3의 (b))를 나타낸 도면이다.

여기서, 복수 개의 중심 벡터들을 기 설정된 반경을 갖는 구의 경계에 랜덤하게 배치함으로써, 분포 외 샘플을 보다 정확하게 검출할 수 있게 된다. 즉, 복수 개의 중심 벡터들을 임베딩 공간 상에 단순히 랜덤하게 배치한 후, 특징 벡터들을 중심 벡터로 모이도록 학습하게 되면, 도 4에 도시된 바와 같이, 분포 내 매니폴드(옅은 파란색 영역)에 있는 OOD 샘플(빨간색 점)은 분포 내 샘플로 인식하게 된다. 반면, 도 3에서와 같이 복수 개의 중심 벡터들을 기 설정된 반경을 갖는 구의 경계에 랜덤하게 배치한 후 특징 벡터들을 중심 벡터로 모이도록 학습하면, OOD 샘플(빨간색 점)을 분포 외 샘플로 정확하게 검출할 수 있게 된다.

분류 모듈(106)은 제1 특징 추출 모듈(102)에서 추출한 텍스처 특징 및 제2 특징 추출 모듈(104)에서 추출한 의미론적 특징을 각각 입력 받을 수 있다. 분류 모듈(106)은 텍스처 특징 및 의미론적 특징에 기반하여 입력 이미지가 분포 내 샘플인지 아니면 분포 외 샘플인지 여부를 분류할 수 있다. 분류 모듈(106)은 제1 분류 모델(106a), 제2 분류 모델(106b), 및 출력부(106c)를 포함할 수 있다.

제1 분류 모델(106a)은 제1 특징 추출 모듈(102)로부터 입력 이미지의 텍스처 특징을 입력 받고, 입력 받은 텍스처 특징에 기반하여 제1 확률 값을 출력할 수 있다. 여기서, 제1 확률 값은 입력 이미지가 분포 내 샘플일 확률일 수 있으나, 이에 한정되는 것은 아니며 입력 이미지가 분포 외 샘플일 확률일 수도 있다.

제1 분류 모델(106a)은 텍스처 특징을 입력으로 하여 제1 확률 값을 출력하도록 학습되는 인공 신경망 모델일 수 있다. 제1 분류 모델(106a)은 입력 받은 텍스처 특징에 기반하여 제1 확률 값을 출력할 때, 다음의 수학식 6에 의한 손실 함수(L_texture)를 가지도록 마련될 수 있다.

(수학식 6)

N : 학습 데이터 셋의 개수

p : 제1 분류 모델을 구성하는 인공 신경망

θ : 제1 분류 모델의 파라미터

x_i : 입력 이미지

T(x_i) : 입력 이미지의 텍스처 특징

제2 분류 모델(106b)은 제2 특징 추출 모듈(104)로부터 입력 이미지의 의미론적 특징을 입력 받고, 입력 받은 의미론적 특징에 기반하여 제2 확률 값을 출력할 수 있다. 여기서, 제2 확률 값은 입력 이미지가 분포 내 샘플일 확률일 수 있으나, 이에 한정되는 것은 아니며 입력 이미지가 분포 외 샘플일 확률일 수도 있다.

제2 분류 모델(106b)은 의미론적 특징을 입력으로 하여 제2 확률 값을 출력하도록 학습되는 인공 신경망 모델일 수 있다. 제2 분류 모델(106b)은 입력 받은 의미론적 특징에 기반하여 제2 확률 값을 출력할 때, 다음의 수학식 7에 의한 손실 함수(L_semantic)를 가지도록 마련될 수 있다.

(수학식 7)

p : 제2 분류 모델을 구성하는 인공 신경망

φ : 제2 분류 모델의 파라미터

S(x_i) : 입력 이미지의 의미론적 특징

여기서, 제1 분류 모델(106a)과 제2 분류 모델(106b)은 각각 별도의 인공 신경망으로 구현될 수 있으나, 이에 한정되는 것은 아니며 하나의 인공 신경망을 함께 사용할 수도 있다. 즉, 하나의 인공 신경망으로 텍스처 특징을 입력으로 하여 제1 확률 값을 출력하도록 하고, 의미론적 특징을 입력으로 하여 제2 확률 값을 출력하도록 할 수도 있다.

출력부(106c)는 제1 분류 모델(106a)에서 출력하는 제1 확률 값 및 제2 분류 모델(106b)에서 출력하는 제2 확률 값에 기반하여 입력 이미지에 대한 최종 확률 값을 출력할 수 있다. 출력부(106c)는 제1 확률 값과 제2 확률 값을 합산하여 최종 확률 값을 출력할 수 있다.

또한, 출력부(106c)는 제1 확률 값에 제1 가중치를 부여하고, 제2 확률 값에 제2 가중치를 부여한 후 이를 합산하여 최종 확률 값을 출력할 수 있다. 여기서, 제1 가중치와 제2 가중치의 합은 1이 될 수 있다. 출력부(106c)는 다음의 수학식 8에 의해 최종 확률 값(P_T)을 출력할 수 있다.

(수학식 8)

λ : 제1 가중치

1- λ : 제2 가중치

여기서, 제1 가중치 및 제2 가중치를 조절함으로써, 분포 외 샘플 탐지 시 입력 이미지의 텍스처 특징에 좀더 가중치를 둘지 아니면 의미론적 특징에 좀더 가중치를 둘지 여부를 결정할 수 있게 된다.

본 명세서에서 모듈이라 함은, 본 발명의 기술적 사상을 수행하기 위한 하드웨어 및 상기 하드웨어를 구동하기 위한 소프트웨어의 기능적, 구조적 결합을 의미할 수 있다. 예컨대, 상기 "모듈"은 소정의 코드와 상기 소정의 코드가 수행되기 위한 하드웨어 리소스의 논리적인 단위를 의미할 수 있으며, 반드시 물리적으로 연결된 코드를 의미하거나, 한 종류의 하드웨어를 의미하는 것은 아니다.

도 5는 본 발명의 일 실시예에 따른 분포 외 샘플 검출 방법을 설명하기 위한 흐름도이다. 도시된 흐름도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.

도 5를 참조하면, 제1 특징 추출 모듈(102)은 입력 이미지로부터 텍스처 특징(T(x))을 추출할 수 있다(S 101). 제1 특징 추출 모듈(102)은 입력 이미지를 이산 푸리에 변환하고, 이산 푸리에 변환된 입력 이미지에서 위상 정보를 삭제함으로써, 텍스처 특징을 추출할 수 있다.

다음으로, 제2 특징 추출 모듈(104)은 입력 이미지로부터 의미론적 특징(S(x))을 추출할 수 있다(S 103). 구체적으로, 제2 특징 추출 모듈(104)은 입력 이미지로부터 특징 벡터를 추출하고, 추출한 특징 벡터들이 기 설정된 중심 벡터로 모이도록 학습할 수 있다. 이때, 제2 특징 추출 모듈(104)은 복수 개의 중심 벡터들이 입력 이미지의 임베딩된 공간 상에서 기 설정된 반경을 갖는 구의 경계에 배치되도록 할 수 있다.

다음으로, 분류 모듈(106)은 입력 이미지의 텍스처 특징에 기반하여 제1 확률 값을 산출하고(S 105), 입력 이미지의 의미론적 특징에 기반하여 제2 확률 값을 산출하며(S 107), 제1 확률 값 및 제2 확률 값에 각각 제1 가중치 및 제2 가중치를 부여하여 최종 확률 값을 출력할 수 있다(S 109).

도 6은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술된 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 분포 외 샘플 검출 장치(100)일 수 있다.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100 : 분포 외 샘플 검출 장치
102 : 제1 특징 추출 모듈
104 : 제2 특징 추출 모듈
104a : 제1 인공 신경망 모델
104b : 제2 인공 신경망 모델
106 : 분류 모듈
106a : 제1 분류 모델
106b : 제2 분류 모델
106c : 출력부

Claims

입력 이미지로부터 텍스처 특징을 추출하도록 마련되는 제1 특징 추출 모듈;
상기 입력 이미지로부터 의미론적 특징을 추출하도록 마련되는 제2 특징 추출 모듈; 및
상기 텍스처 특징 및 상기 의미론적 특징에 기반하여 상기 입력 이미지의 분포 외 샘플 여부를 분류하는 분류 모듈을 포함하는, 분포 외 샘플 검출 장치.
청구항 1에 있어서,
상기 제1 특징 추출 모듈은,
상기 입력 이미지를 이산 푸리에 변환하고, 이산 푸리에 변환된 입력 이미지에서 위상 정보를 제거하여 텍스처 특징을 추출하는, 분포 외 샘플 검출 장치.
청구항 2에 있어서,
상기 제1 특징 추출 모듈은,
하기의 수학식에 의해 상기 이산 푸리에 변환된 입력 이미지에서 위상 정보를 제거하여 텍스처 특징을 추출하는, 분포 외 샘플 검출 장치.
(수학식)

F(f_x, f_y) : 입력 이미지의 (f_x, f_y) 좌표에서의 이산 푸리에 변환된 출력 값
w : 입력 이미지의 폭으로, 입력 이미지의 폭은 입력 이미지의 높이와 같음
T_i(x) : i번째 벡터 요소의 텍스처 특징, i∈w
청구항 1에 있어서,
상기 제2 특징 추출 모듈은,
상기 입력 이미지에 대해 임베딩을 수행하여 특징 벡터들을 추출하도록 학습되는 제1 인공 신경망 모델; 및
상기 추출한 특징 벡터들에 기반하여 상기 입력 이미지에서 의미론적 특징을 추출하도록 학습되는 제2 인공 신경망 모델을 포함하는, 분포 외 샘플 검출 장치.
청구항 4에 있어서,
상기 제2 인공 신경망 모델은,
상기 입력 이미지의 임베딩된 공간 상에서 복수 개의 중심 벡터들을 설정하고, 상기 추출한 특징 벡터들이 그 위치에 따라 상기 복수 개의 중심 벡터들로 모이도록 하여 상기 의미론적 특징을 추출하도록 학습되는, 분포 외 샘플 검출 장치.
청구항 5에 있어서,
상기 제2 인공 신경망 모델은,
상기 복수 개의 중심 벡터들을 기 설정된 반경을 갖는 구의 경계에 랜덤하게 배치하고, 상기 추출한 특징 벡터들이 상기 구의 경계에 배치된 중심 벡터들로 모이도록 학습되는, 분포 외 샘플 검출 장치.
청구항 6에 있어서,
상기 제2 인공 신경망 모델은,
상기 추출한 특징 벡터들이 그 위치에 따라 상기 중심 벡터들 중 해당 특징 벡터와 가장 가까운 중심 벡터의 기 설정된 세부 직경 내에 모이도록 학습되는, 분포 외 샘플 검출 장치.
청구항 1에 있어서,
상기 분류 모듈은,
상기 텍스처 특징을 입력으로 하여 상기 입력 이미지가 분포 내 샘플일 확률 또는 분포 외 샘플일 확률인 제1 확률 값을 출력하도록 학습되는 제1 분류 모델;
상기 의미론적 특징으로 입력으로 하여 상기 입력 이미지가 분포 내 샘플일 확률 또는 분포 외 샘플일 확률인 제2 확률 값을 출력하도록 학습되는 제2 분류 모델; 및
상기 제1 확률 값 및 상기 제2 확률 값에 기반하여 상기 입력 이미지가 분포 내 샘플 또는 분포 외 샘플일 최종 확률 값을 출력하는 출력부를 포함하는, 분포 외 샘플 검출 장치.
청구항 8에 있어서,
상기 출력부는,
상기 제1 확률 값에 제1 가중치를 부여하고, 상기 제2 확률 값에 제2 가중치를 부여한 후, 이를 합산하여 상기 최종 확률 값을 출력하는, 분포 외 샘플 검출 장치.
하나 이상의 프로세서들, 및
상기 하나 이상의 프로세서들에 의해 실행되는 하나 이상의 프로그램들을 저장하는 메모리를 구비한 컴퓨팅 장치에서 수행되는 방법으로서,
입력 이미지로부터 텍스처 특징을 추출하는 단계;
상기 입력 이미지로부터 의미론적 특징을 추출하는 단계; 및
상기 텍스처 특징 및 상기 의미론적 특징에 기반하여 상기 입력 이미지의 분포 외 샘플 여부를 분류하는 단계를 포함하는, 분포 외 샘플 검출 방법.
청구항 10에 있어서,
상기 텍스처 특징을 추출하는 단계는,
상기 입력 이미지를 이산 푸리에 변환하는 단계; 및
이산 푸리에 변환된 입력 이미지에서 위상 정보를 제거하여 텍스처 특징을 추출하는 단계를 포함하는, 분포 외 샘플 검출 방법.
청구항 11에 있어서,
상기 텍스처 특징을 추출하는 단계는,
하기의 수학식에 의해 상기 이산 푸리에 변환된 입력 이미지에서 위상 정보를 제거하여 텍스처 특징을 추출하는, 분포 외 샘플 검출 방법.
(수학식)

F(f_x, f_y) : 입력 이미지의 (f_x, f_y) 좌표에서의 이산 푸리에 변환된 출력 값
w : 입력 이미지의 폭으로, 입력 이미지의 폭은 입력 이미지의 높이와 같음
T_i(x) : i번째 벡터 요소의 텍스처 특징, i∈w
청구항 10에 있어서,
상기 의미론적 특징을 추출하는 단계는,
제1 인공 신경망 모델에서, 상기 입력 이미지에 대해 임베딩을 수행하여 특징 벡터들을 추출하도록 학습되는 단계; 및
제2 인공 신경망 모델에서, 상기 추출한 특징 벡터들에 기반하여 상기 입력 이미지에서 의미론적 특징을 추출하도록 학습되는 단계를 포함하는, 분포 외 샘플 검출 방법.
청구항 13에 있어서,
상기 제2 인공 신경망 모델은,
상기 입력 이미지의 임베딩된 공간 상에서 복수 개의 중심 벡터들을 설정하고, 상기 추출한 특징 벡터들이 그 위치에 따라 상기 복수 개의 중심 벡터들로 모이도록 하여 상기 의미론적 특징을 추출하도록 학습되는, 분포 외 샘플 검출 방법.
청구항 14에 있어서,
상기 제2 인공 신경망 모델은,
상기 복수 개의 중심 벡터들을 기 설정된 반경을 갖는 구의 경계에 랜덤하게 배치하고, 상기 추출한 특징 벡터들이 상기 구의 경계에 배치된 중심 벡터들로 모이도록 학습되는, 분포 외 샘플 검출 방법.
청구항 15에 있어서,
상기 제2 인공 신경망 모델은,
상기 추출한 특징 벡터들이 그 위치에 따라 상기 중심 벡터들 중 해당 특징 벡터와 가장 가까운 중심 벡터의 기 설정된 세부 직경 내에 모이도록 학습되는, 분포 외 샘플 검출 방법.
청구항 10에 있어서,
상기 분류하는 단계는,
상기 텍스처 특징을 입력으로 하여 상기 입력 이미지가 분포 내 샘플일 확률 또는 분포 외 샘플일 확률인 제1 확률 값을 출력하는 단계;
상기 의미론적 특징으로 입력으로 하여 상기 입력 이미지가 분포 내 샘플일 확률 또는 분포 외 샘플일 확률인 제2 확률 값을 출력하는 단계; 및
상기 제1 확률 값 및 상기 제2 확률 값에 기반하여 상기 입력 이미지가 분포 내 샘플 또는 분포 외 샘플일 최종 확률 값을 출력하는 단계를 포함하는, 분포 외 샘플 검출 장치.
청구항 17에 있어서,
상기 최종 확률 값을 출력하는 단계는,
상기 제1 확률 값에 제1 가중치를 부여하고, 상기 제2 확률 값에 제2 가중치를 부여한 후, 이를 합산하여 상기 최종 확률 값을 출력하는, 분포 외 샘플 검출 방법.
비일시적 컴퓨터 판독 가능한 저장 매체(non-transitory computer readable storage medium)에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 하나 이상의 명령어들을 포함하고, 상기 명령어들은 하나 이상의 프로세서들을 갖는 컴퓨팅 장치에 의해 실행될 때, 상기 컴퓨팅 장치로 하여금,
입력 이미지로부터 텍스처 특징을 추출하는 단계;
상기 입력 이미지로부터 의미론적 특징을 추출하는 단계; 및
상기 텍스처 특징 및 상기 의미론적 특징에 기반하여 상기 입력 이미지의 분포 외 샘플 여부를 분류하는 단계를 수행하도록 하는, 컴퓨터 프로그램.