KR102486699B1

KR102486699B1 - 영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치

Info

Publication number: KR102486699B1
Application number: KR1020150138491A
Authority: KR
Inventors: 한승주; 서성주; 한재준; 최창규
Original assignee: 삼성전자주식회사
Priority date: 2014-12-15
Filing date: 2015-10-01
Publication date: 2023-01-11
Also published as: US11093805B2; US20190279052A1; KR20160072768A

Abstract

영상의 특징을 인식 및 검증하는 방법, 장치 및 그 학습이 제공된다. 예를 들어, 일 실시예에 따른 방법 및 장치는 객체를 포함하는 입력 영상을 수신하고, 적어도 하나의 트레이닝 데이터로부터 제1 특징들이 기 학습된 제1 레이어를 이용하여, 상기 제1 특징들 중 상기 입력 영상에 대응하는 제1 특징을 나타내는 제1 특징 정보(feature information)를 추출하며, 상기 제1 특징들로부터 제2 특징들이 기 학습된 제2 레이어를 이용하여, 상기 제2 특징들 중 상기 제1 특징 정보에 대응하는 제2 특징을 나타내는 제2 특징 정보를 추출하고, 상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 영상의 특징을 인식 및 검증할 수 있다.

Description

영상 인식 방법, 영상 검증 방법, 장치, 및 영상 인식 및 검증에 대한 학습 방법 및 장치{METHOD AND APPARATUS FOR RECOGNIZING AND VERIFYING IMAGE, AND METHOD AND APPARATUS FOR LEARNING IMAGE RECOGNIZING AND VERIFYING}

아래 실시예들은 객체 인식 방법 및 장치, 및 인식기 학습 방법 및 장치에 관한 것이다.

21세기 정보화 사회로 이행되는 과정에서 개인은 물론 특정 단체의 정보는 어느 자산보다도 중요한 가치를 지니게 되었다. 이렇게 중요한 정보를 보호하기 위해서 각종 패스워드가 사용되고, 기타 신분을 확인할 수 있는 기술이 절실히 요구되고 있다. 이 가운데 얼굴 인식 기술은 사용자가 특별한 동작이나 행위를 취하지 않고, 심지어는 사용자 자신이 인지하지 못하는 동안 신분 확인을 할 수 있다는 장점이 있기 때문에 가장 편리하고, 경쟁력 있는 신분 확인 방법으로 평가되고 있다.

현재 많이 이용되고 있는 얼굴 인식 기술로서, 얼굴 영상에 주성분 분석법(Principal Component Analysis: 이하, PCA라 약칭함)을 적용하여 얼굴을 인식하는 기술이 있다. 주성분 분석법은 영상 데이터를 영상 자체의 고유정보의 손실을 최소화하면서 저 차원 고유벡터 공간으로 투영시켜 정보를 축소시키는 기법이다. 주성분 분석법을 이용한 얼굴 인식 방법으로는 얼굴의 주요 특징 벡터를 추출한 후, 미리 등록된 영상으로부터 추출된 주성분 벡터로 학습된 패턴 분류기를 이용하여 얼굴을 인식하는 방법이 많이 사용되었다. 그러나, 이러한 방법은 대용량의 얼굴 인식에 있어서, 인식 속도와 신뢰성이 낮고, PCA 기저벡터를 선택함에 따라서 조명에는 강인한 특징을 얻을 수 있으나, 얼굴의 표정 또는 포즈의 변화에는 만족할 만한 얼굴 인식 결과를 얻을 수 없는 문제점이 있다.

한편, 얼굴 인식의 성능은 등록된 얼굴과 등록되지 않은 얼굴을 구별하는 패턴 분류기의 성능에 따라서 좌우되는데, 이러한 패턴 분류기를 학습하는 한 방법으로 인공 신경망(Artificial Neural Network)을 이용하는 방법이 있다.

일 실시예에 따르면, 영상의 특징을 인식하는 장치는 객체를 포함하는 입력 영상을 수신하는 영상 수신부(image receiver), 제1 레이어를 이용하여 제1 특징들 중 입력 영상에 대응하는 제1 특징을 나타내는 제1 특징 정보(feature information)를 추출하는 제1 추출부(first extractor), 제2 레이어를 이용하여 제2 특징들 중 제1 특징 정보에 대응하는 제2 특징을 나타내는 제2 특징 정보를 추출하는 제2 추출부(second extractor), 및 제1 특징 정보 및 제2 특징 정보에 기초하여 객체에 대응하는 원소를 인식하는 인식부(recognizer)를 포함할 수 있다.

다른 일 실시예에 따르면, 영상을 인식하기 위한 특징을 학습하는 장치는, 트레이닝 객체와 연관된 트레이닝 영상 및 트레이닝 원소를 수신하는 수신부, 및 입력 영상으로부터 제1 레이어를 이용하여 추출된 제1 특징 정보 및 제2 레이어를 이용하여 추출된 제2 특징 정보로부터 복수의 원소들을 인식하는 인식부가 트레이닝 영상으로부터 트레이닝 원소를 인식하도록, 인식부의 파라미터를 학습하는 학습부를 포함할 수 있다.

또 다른 일 실시예에 따르면, 영상의 특징을 검증하는 장치는 객체를 포함하는 입력 영상을 수신하는 영상 수신부, 제1 레이어를 이용하여 제1 특징들 중 입력 영상에 대응하는 제1 특징을 나타내는 제1 특징 정보를 추출하는 제1 추출부, 제2 레이어를 이용하여 제2 특징들 중 제1 특징 정보에 대응하는 제2 특징을 나타내는 제2 특징 정보를 추출하는 제2 추출부, 및 입력 영상의 제1 특징 정보 및 제2 특징 정보와, 다른 영상과 연관된 제1 특징 정보 및 제2 특징 정보에 기초하여 입력 영상의 객체 및 다른 영상의 객체가 서로 유사한 지 판단하는 검증부(verifier)를 포함할 수 있다.

또 다른 일 실시예에 따르면, 영상을 검증하기 위한 특징을 학습하는 장치는 트레이닝 영상 쌍 및 트레이닝 영상 쌍에 대응하는 트레이닝 정보를 수신하는 수신부, 및 두 입력 영상으로부터 제1 레이어를 이용하여 추출된 제1 특징 정보들 및 제2 레이어를 이용하여 추출된 제2 특징 정보들로부터 두 입력 영상이 유사한 지를 판단하는 검증부가 트레이닝 영상 쌍을 비교한 결과가 트레이닝 정보가 되도록, 검증부의 파라미터를 학습하는 학습부를 포함할 수 있다.

도 1 및 도 2는 일 실시예에 따라 입력 영상을 저레벨 특징(low level feature), 중간레벨 특징(mid level feature), 및 고레벨 특징(high level feature)으로 추상화하여 인식 및 검증하는 구조를 도시한다.
도 3은 일 실시예에 따라 영상의 특징을 인식하는 방법을 도시한 흐름도이다.
도 4는 일 실시예에 따라 영상의 특징을 인식하는 장치의 세부적인 구성을 도시한 블럭도이다.
도 5a 및 도 5b는 일 실시예에 따라 영상의 특징을 인식하는 장치의 특징 추출부의 예시적인 구성을 도시한 블럭도이다.
도 6은 일 실시예에 따라 영상의 특징을 인식하는 장치의 특징 추출부 및 인식부의 세부적인 구성을 도시한 블럭도이다.
도 7은 일 실시예에 따라 영상을 인식하기 위한 특징을 학습하는 방법을 도시한 흐름도이다.
도 8은 일 실시예에 따른 영상을 인식하기 위한 특징을 학습하는 장치의 구성을 도시한 블럭도이다.
도 9는 일 실시예에 따른 영상을 인식하기 위한 특징을 학습하는 장치에 적용되는 트레이닝 데이터의 예시를 도시한다.
도 10은 일 실시예에 따른 영상의 특징을 검증하는 방법을 도시한 흐름도이다.
도 11은 일 실시예에 따라 영상의 특징을 검증하는 장치의 구성을 도시한 블럭도이다.
도 12는 일 실시예에 따라 영상의 특징을 검증하는 장치의 특징 추출부의 예시적인 구성을 도시한 블럭도이다.
도 13은 다른 일 실시예에 따라 영상의 특징을 검증하는 장치의 구성을 도시한 블럭도이다.
도 14 및 도 15는 일 실시예에 따라 영상의 특징을 검증하는 장치의 특징 추출부 및 검증부의 세부적인 구성을 도시한 블럭도이다.
도 16은 일 실시예에 따라 영상을 검증하기 위한 특징을 학습하는 방법을 도시한 흐름도이다.
도 17은 일 실시예에 따라 영상을 검증하기 위한 특징을 학습하는 장치의 구성을 도시한 블럭도이다.
도 18은 일 실시예에 따른 영상을 검증하기 위한 특징을 학습하는 장치에 적용되는 트레이닝 데이터의 예시를 도시한다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.

이하, 본 명세서에서, 딥 러닝(Deep learning)은 여러 비선형 변환기법의 조합을 통해 높은 수준의 추상화(abstractions)를 시도하는 기계학습(machine learning) 알고리즘의 집합을 나타낼 수 있다. 예를 들어, 딥 러닝은 사람의 사고방식을 컴퓨터에게 가르치는 기계학습을 나타낼 수 있다. 여기서, 추상화는 복수의 데이터들로부터 핵심적인 데이터를 추출하는 작업을 나타낼 수 있다.

도 1 및 도 2는 일 실시예에 따라 입력 영상을 저레벨 특징(low level feature), 중간레벨 특징(mid level feature), 및 고레벨 특징(high level feature)으로 추상화하여 인식 및 검증하는 구조를 도시한다.

도 1에 도시된 딥 러닝 구조(100)는 입력 영상(101)을 순차적으로 복수의 레벨들에 대응하는 특징들을 이용하여 추상화할 수 있다. 예를 들어, 도 1의 딥 러닝 구조(100)는 입력 영상(101)을 저레벨 특징(110), 중간레벨 특징(120), 및 고레벨 특징(130)을 이용하여 추상화할 수 있다.

여기서, 특징은 복수의 데이터들(예를 들어, 트레이닝 영상)이 추상화되어 학습된 핵심적인 데이터를 나타낼 수 있다. 예를 들어, 본 명세서에서 특징은 임의의 영상이 추상화되어 학습된 특징 영상(feature image)을 포함할 수 있다. 특징 영상은, 트레이닝 영상(training image)에 대해 미리 정한 크기의 미리 정한 개수의 필터들을 이용하여 컨볼루션 필터링(convolution filtering)을 수행하여 생성된, 영상으로서 학습될 수 있다. 학습된 특징 영상의 개수는 상술한 필터들의 개수에 대응할 수 있다.

예를 들어, 도 1에서 저레벨 특징(110)은 저레벨 특징 영상들(111) 중 하나를 이용하여 표현될 수 있고, 중간레벨 특징(120)은 중간레벨 특징 영상들(121) 중 하나를 이용하여 표현될 수 있으며, 고레벨 특징(130)은 고레벨 특징 영상들(131) 중 하나를 이용하여 표현될 수 있다. 저레벨 특징 영상들(111)은 트레이닝 영상에 대해 컨볼루션 필터링이 수행되어 학습된 영상들, 중간레벨 특징 영상들(121)은 저레벨 특징 영상들(111)에 대해 다른 컨볼루션 필터링이 수행되어 학습된 영상들, 고레벨 특징 영상들(131)은 중간레벨 특징 영상들(121)에 대해 또 다른 컨볼루션 필터링이 수행되어 학습된 영상들을 나타낼 수 있다.

도 1에 도시된 딥 러닝 구조(100)에서 입력 영상(101)이 추상화된 결과는 각 레벨에 대응하는 특징들로부터 입력 영상(101)에 대응하는 특징을 지시하는 특징 정보로 나타낼 수 있다. 예를 들어, 특징 정보는 임의의 특징 영상을 지시하는 특징 값(feature value)을 포함할 수 있다. 딥 러닝 구조(100)는 각 레벨에 대응하는 기 학습된 레이어(layer)를 이용하여, 각 레벨에 대응하는 특징 정보를 추출할 수 있다.

예를 들어, 도 1에서 딥 러닝 구조(100)는 입력 영상(101)에 대응하는 저레벨 특징(110)을 나타내는 저레벨 특징 정보를 추출하고, 저레벨 특징 정보에 대응하는 중간레벨 특징(120)을 나타내는 중간레벨 특징 정보를 추출하며, 중간레벨 특징 정보에 대응하는 고레벨 특징(130)을 나타내는 고레벨 특징 정보를 추출할 수 있다.

도 1에 도시된 구조(100)에서 인식/검증을 수행하는 모듈(140)은 각 레벨에서 순차적으로 추상화 과장을 거쳐, 마지막 레벨의 특징 정보를 활용하여 인식 및 검증을 수행할 수 있다. 예를 들어, 도 1에서는 고레벨 특징(130)을 나타내는 고레벨 특징 정보만을 이용하여 인식 및 검증을 수행될 수 있다. 이 경우, 저레벨 특징 정보 및 중간레벨 특징 정보가 손실될 수 있다.

도 2에 도시된 일 실시예에 따른 딥 러닝 구조(200)에서는 인식/검증을 수행하는 모듈(240)이 모든 레벨에 대응하는 특징 정보를 이용하여 인식 및 검증을 수행할 수 있다. 예를 들어, 도 2에서 인식/검증을 수행하는 모듈(240)은 저레벨 특징 정보, 중간레벨 특징 정보, 및 고레벨 특징 정보를 이용하여 입력 영상(101)에 대한 인식 및 검증을 수행할 수 있다. 다만, 도 2에서는 3개의 레벨(예를 들어, 저레벨, 중간레벨, 고레벨)로 예시적으로 설명하였으나, 이하에서는 영상의 특징이 적어도 2개 이상의 레벨로 추상화될 수 있다.

상술한 바와 같이, 각각의 레이어에서 출력되는 모든 특징 정보을 활용함으로써, 영상에 대한 인식률 및 검증률이 확보될 수 있다.

일 실시예에 따른 딥 러닝 구조(200)는 다양한 입력 영상(101)을 인식 및 검증하는데 적용될 수 있다. 예를 들어, 입력 영상(101)은 객체와 연관된 영상(예를 들어, 객체의 형상을 나타내는 영상)을 포함할 수 있다. 객체는 영상의 관심 영역(ROI, region of interest) 내에 포함되는 사람(예를 들어, 사람의 얼굴, 신체 등), 동물, 및 사물 등을 나타낼 수 있다. 예를 들어, 일 실시예에 따른 딥 러닝 구조(200)는 사람의 얼굴을 인식하여 사용자를 인식 및 인증하는데 사용될 수 있다. 또한, 딥 러닝 구조(200)는 방대한 양의 컨텐츠(예를 들어, 사진, 동영상 등의 멀티미디어)를 자동으로 검색 및 관리하는데 사용될 수 있다.

상술한 딥 러닝 구조(200)는 소프트웨어 형태로 구현되거나 칩(chip)과 같은 하드웨어 형태로 구현되어, 전자 기기에 탑재될 수 있다. 예를 들어, 전자 기기는 모바일 기기(예를 들어, 핸드폰, 스마트폰 등) 및 가전 기기(예를 들어, TV 등) 등을 포함할 수 있다.

딥 러닝 구조(200)는 영상을 인식하는 장치 및 영상을 검증하는 장치에 적용될 수 있다. 영상을 인식하는 장치 및 영상을 검증하는 장치는 트레이닝 데이터를 이용하여 학습될 수 있다. 트레이닝 데이터는 트레이닝 객체와 연관된 트레이닝 영상, 트레이닝 원소, 및 트레이닝 정보 등을 포함할 수 있다.

예를 들어, 영상을 인식하는 장치의 학습을 위한 트레이닝 데이터는 트레이닝 영상 및 트레이닝 영상과 연관된 트레이닝 원소를 포함할 수 있다. 영상을 인식하는 장치는 트레이닝 영상으로부터 트레이닝 원소가 출력되도록 학습될 수 있다. 여기서, 트레이닝 원소는 해당 트레이닝 영상에 포함된 트레이닝 객체를 지시하는 값일 수 있다. 구체적으로는 하기 도 9에서 상세히 설명한다.

다른 예를 들어, 영상을 검증하는 장치의 학습을 위한 트레이닝 데이터는 트레이닝 영상 쌍 및 트레이닝 정보를 포함할 수 있다. 영상을 검증하는 장치는 트레이닝 영상 쌍으로부터 트레이닝 정보가 출력되도록 학습될 수 있다. 여기서, 트레이닝 정보는 해당 트레이닝 영상 쌍이 동일한 트레이닝 객체를 포함하는지 여부를 나타내는 값일 수 있다. 구체적으로는 하기 도 18에서 상세히 설명한다.

일 실시예에 따르면 딥 러닝 구조는 인공 뉴럴 네트워크 (artificial neural network)를 포함할 수 있으며, 예를 들어 딥 콘볼루셔널 뉴럴 네트워크 (Deep Convolutional Neural Network, DCNN)로 구성될 수 있다. 하기 도 6에서는 예시적인 DCNN에 대한 보다 상세한 사항들을 설명한다.

뉴럴 네트워크는 입력 레이어, 히든 레이어, 및 출력 레이어를 포함할 수 있다. 각 레이어는 복수의 노드들을 포함하고, 인접한 레이어 사이의 노드들은 연결 가중치를 가지고 서로 연결될 수 있다. 각 노드들은 활성화 모델에 기초하여 동작할 수 있다. 활성화 모델에 따라 입력 값에 대응하는 출력 값이 결정될 수 있다. 임의의 노드의 출력 값은 해당 노드와 연결된 다음 레이어의 노드로 입력될 수 있다. 다음 레이어의 노드는 복수의 노드들로부터 출력되는 값들을 입력 받을 수 있다. 임의의 노드의 출력 값이 다음 레이어의 노드로 입력되는 과정에서, 연결 가중치가 적용될 수 있다. 다음 레이어의 노드는 활성화 모델에 기초하여 입력 값에 대응하는 출력 값을 해당 노드와 연결된 그 다음 레이어의 노드로 출력할 수 있다.

출력 레이어는 복수의 원소들에 대응하는 노드들을 포함할 수 있다. 출력 레이어의 노드들은 복수의 원소들에 대응하는 특징 값들을 출력할 수 있다. 아래에서 상세하게 설명하겠으나, 뉴럴 네트워크에서 출력되는 특징 값들은 복수의 원소들을 위한 선형 분류기들을 통하여 원소들로 변환될 수 있다.

도 3은 일 실시예에 따라 영상의 특징을 인식하는 방법을 도시한 흐름도이다.

단계(310)에서는 영상의 특징을 인식하는 장치는 영상 수신부를 통해 입력 영상을 수신할 수 있다. 입력 영상은 상술한 바와 같이 적어도 하나의 객체와 연관된 영상을 포함할 수 있다. 예를 들어, 입력 수신부를 통해 수신되는 입력 영상은 전처리된 영상일 수 있다. 본 명세서에서 전처리된 영상은 임의의 영상이 미리 정한 크기, 미리 정한 해상도, 해당 영상 내 객체와 배경 간의 비율(여기서, 배경은 영상 내에서 객체를 나타내는 부분을 제외한 부분)을 가지도록 처리된 영상을 나타낼 수 있다.

그리고 단계(320)에서는 영상의 특징을 인식하는 장치는 제1 추출부를 통해 제1 레이어를 이용하여 입력 영상으로부터 제1 특징 정보를 추출할 수 있다. 예를 들어, 영상의 특징을 인식하는 장치는 제1 레이어를 이용하여 제1 특징들 중 입력 영상에 대응하는 제1 특징을 나타내는 제1 특징 정보를 추출할 수 있다.

예를 들어, 제1 레이어는 딥 러닝 네트워크(deep learning network)를 구성하는 레이어로서, 적어도 하나의 트레이닝 데이터(training data)로부터 제1 특징들이 기 학습된 레이어를 포함할 수 있다.

제1 특징 정보는 입력 영상에 대응하는 제1 특징을 나타낼 수 있다. 예를 들어, 제1 특징 정보는 복수의 제1 특징들 중 입력 영상에 대응하는 적어도 하나의 제1 특징을 나타내는 특징 값(feature value)을 나타낼 수 있다. 또한, 제1 특징 정보는 제1 특징을 나타내는 복수의 특징 값들을 포함하는 특징 벡터(feature vector) 및 특징 행렬(feature matrix) 등의 형태일 수 있다. 여기서, 제1 특징은 트레이닝 데이터에 포함된 트레이닝 영상이 추상화되어 학습된 특징 영상을 포함할 수 있다.

이어서 단계(330)에서는 영상의 특징을 인식하는 장치는 제2 레이어를 이용하여 제1 특징 정보로부터 제2 특징 정보를 추출할 수 있다. 예를 들어, 영상의 특징을 인식하는 장치는 제2 레이어를 이용하여 제2 특징들 중 제1 특징 정보에 대응하는 제2 특징을 나타내는 제2 특징 정보를 추출할 수 있다.

예를 들어, 제2 레이어는 딥 러닝 네트워크를 구성하는 레이어로서, 적어도 하나의 제1 특징들로부터 제2 특징들이 기 학습된 레이어를 포함할 수 있다.

제2 특징 정보는 제1 특징 정보에 대응하는 제2 특징을 나타낼 수 있다. 예를 들어, 제2 특징 정보는 복수의 제2 특징들 중 임의의 제1 특징 정보에 대응하는 적어도 하나의 제2 특징을 나타내는 특징 값(feature value)을 나타낼 수 있다. 여기서, 제2 특징은 제1 특징이 추상화되어 학습된 특징 영상을 포함할 수 있다.

그리고 단계(340)에서는 영상의 특징을 인식하는 장치는 제1 특징 정보 및 제2 특징 정보에 기초하여 입력 영상에 대응하는 원소를 인식할 수 있다. 입력 영상에 대응하는 원소는 예를 들어, 트레이닝 데이터로부터 기 학습되어 저장된 기준 영상들에 포함된 객체를 나타내는 값을 포함할 수 있다.

예를 들어, 영상의 특징을 인식하는 장치는 특징 벡터 생성부를 통해 제1 특징 정보 및 제2 특징 정보에 기초하여 특징 벡터를 생성하고, 인식부를 통해 생성된 특징 벡터를 복수의 원소들의 각각에 대응하는 기 저장된 기준 벡터와 비교하여 객체에 대응하는 원소를 인식할 수 있다. 여기서 특징 벡터는 복수의 특징 값들이 벡터 형태로 구성된 데이터를 나타낼 수 있다.

도 4는 일 실시예에 따라 영상의 특징을 인식하는 장치의 세부적인 구성을 도시한 블럭도이다.

영상의 특징을 인식하는 장치(400)는 영상 수신부(410), 특징 추출부(420), 및 인식부(430)를 포함한다. 특징 추출부(420)는 제1 추출부(421) 및 제2 추출부(422)를 포함한다.

영상 수신부(410)는 객체를 포함하는 입력 영상(401)을 수신할 수 있다. 입력 영상(401)은 전처리된 영상일 수 있다.

제1 추출부(421)는 제1 레이어를 이용하여 제1 특징들 중 입력 영상(401)에 대응하는 제1 특징을 나타내는 제1 특징 정보를 추출할 수 있다. 여기서, 제1 레이어는 적어도 하나의 트레이닝 데이터로부터 제1 특징들이 기 학습된 레이어를 나타낼 수 있다.

제2 추출부(422)는 제2 레이어를 이용하여 제2 특징들 중 제1 특징 정보에 대응하는 제2 특징을 나타내는 제2 특징 정보를 추출할 수 있다. 여기서, 제2 레이어는 제1 특징들로부터 제2 특징들이 기 학습된 레이어를 나타낼 수 있다.

인식부(430)는 제1 특징 정보 및 제2 특징 정보에 기초하여 객체에 대응하는 원소를 인식할 수 있다. 예를 들어, 인식부(430)는 제1 특징 정보 및 제2 특징 정보에 기초하여 특징 벡터를 생성하는 특징 벡터 생성부(미도시됨)를 포함하고, 생성된 특징 벡터를 복수의 원소들의 각각에 대응하는 기 저장된 기준 벡터와 비교하여 객체에 대응하는 원소를 인식할 수 있다.

예를 들어, 인식부(430)는 뉴럴 네트워크(neural network)를 포함하고, 뉴럴 네트워크에 포함된 노드들 사이의 기 학습된 가중치(weight)들에 기초하여 원소에 대응하는 특징 값을 계산할 수 있다.

인식부(430)에 의해 인식된 원소(409)는 영상의 특징을 인식하는 장치(400)가 입력 영상(401)을 인식한 결과로서, 기 학습된 기준 영상 중 인식부(430)가 입력 영상(401)에 대응하는 것으로 인식한 기준 영상을 나타내는 값을 포함할 수 있다.

예를 들어, 인식부(430)가 3개의 기준 객체에 대해 학습되는 경우 인식된 원소(409)들은 [1번 기준 객체를 나타내는 값, 2번 기준 객체를 나타내는 값, 3번 기준 객체를 나타내는 값]으로 표현될 수 있고, 입력 영상이 2번 기준 객체를 포함하는 경우, 인식된 원소(409)들은 [0.1, 0.8, 0.1]과 같이, 가장 유사하다고 판단된 객체에 대응하는 원소의 값이 가장 크게 나타날 수 있다.

도 5a 및 도 5b는 일 실시예에 따라 영상의 특징을 인식하는 장치의 특징 추출부의 예시적인 구성을 도시한 블럭도이다.

일 실시예에 따르면, 특징 추출부(420)는 도 5a에 도시된 바와 같이 제1 추출부(421) 및 제2 추출부(422)를 포함하고, 제3 추출부 내지 제n 추출부(423)를 더 포함할 수 있다. (여기서, n은 3 이상의 정수) 제3 추출부 내지 제n 추출부(423)의 동작은 제m 추출부를 예로 들어 하기에서 설명한다. (여기서, m은 3이상 n이하의 정수) 예를 들어, 제1 추출부(421) 내지 제n 추출부(423) 각각의 동작은 단일 프로세서 또는 복수의 프로세서들에 의해 수행될 수 있다.

제m 추출부는 제m 레이어를 이용하여 제m 특징들 중 제m-1 특징 정보에 대응하는 제m 특징을 나타내는 제m 특징 정보를 추출할 수 있다. 여기서, 제m 레이어는 제m-1 특징들로부터 제m 특징들이 기 학습된 레이어를 나타낼 수 있다.

여기서, 인식부(430)는, 제1 특징 정보 내지 제n 특징 정보에 기초하여 입력 영상에 포함된 객체에 대응하는 원소를 인식할 수 있다.

일 실시예에 따르면 제m 특징은 제m-1 특징이 더 고도로 추상화된 특징(more highly abstracted feature)을 나타낼 수 있다. 예를 들어, 제m 레이어는 제m-1 레이어에 비해 보다 높은 레벨에 대응할 수 있다. 일 실시예에 따른 영상의 특징을 인식하는 장치는 최종 레벨에 대응하는 특징(예를 들어, 제n 특징)뿐 아니라, 추상화 과정에서의 특징들(예를 들어, 제1 특징 내지 제n-1 특징들)도 모두 이용하여 영상에 포함된 객체를 인식하는데 사용할 수 있다.

다른 일 실시예에 따르면, 특징 추출부(420)는 도 5b에 도시된 바와 같이 제1 추출부(421), 제2 추출부(422) 내지 제n 추출부(423)를 포함할 수 있다. (여기서, n은 3이상의 정수) 제3 추출부 내지 제n 추출부(423)의 동작은 제m 추출부를 예로 들어 하기에서 설명한다. (여기서, m은 3이상 n이하의 정수) 또한, 도 5b에서는 각 추출부보다 하위 추출부의 모든 출력이 해당 추출부에 입력될 수 있다.

제m 추출부는 제1 특징들 내지 제m-1 특징들로부터 제m 특징들이 기 학습된 제m 레이어를 이용하여, 제m 특징들 중 제1 특징 정보 내지 제m-1 특징 정보의 조합에 대응하는 제m 특징을 나타내는 제m 특징 정보를 추출할 수 있다. 제1 특징 정보 내지 제m-1 특징 정보의 조합은 각각 제1 추출부(421) 내지 제m-1 추출부에서 출력된 값들이 나열된 벡터로서, 각 추출부의 출력 레이어의 노드 갯수의 합만큼의 차원을 가질 수 있다. 제m 추출부는 제m 레이어의 노드 갯수에 맞춰 제1 특징 정보 내지 제m-1 특징 정보가 조합된 특징 정보의 차원을 조절할 수 있다. 예를 들어, 제m 추출부는 완전 연결 레이어, 풀링 레이어, 및 컨볼루션 레이어 등을 더 포함하고, 해당 레이어를 통해 제1 특징 정보 내지 제m-1 특징 정보가 조합된 특징 정보를 처리함으로써 제1 특징 정보 내지 제m-1 특징 정보의 조합의 차원을 제m 레이어의 차원(예를 들어, 제m 레이어의 노드 갯수)과 동일해지도록 조절할 수 있다.

제4 추출부를 예로 들어 설명하면, 제4 추출부는 제4 레이어(여기서, 제4 레이어는 제1특징들, 제2특징들 및 제3 특징들로부터 제4 특징들이 기 학습된 레이어)를 이용하여, 제4 특징들 중 제1 특징 정보, 제2 특징 정보 및 제3 특징 정보의 조합에 대응하는 제4 특징을 나타내는 제4 특징 정보를 추출할 수 있다. 제1 추출부(421)의 출력 노드를 n1개, 제2 추출부(422)의 출력 노드를 n2개, 제3 추출부의 출력 노드는 n3개로 가정하면, 제1 특징 정보 내지 제3특징 정보의 조합의 차원은 n1+n2+n3이 될 수 있다. 제4 레이어의 차원이 m4인 경우, 제4 추출부는 완전 연결 레이어, 풀링 레이어, 및 컨볼루션 레이어 등을 통해 제1 특징 정보 내지 제3 특징 정보의 조합의 차원 n1+n2+n3를 제4 레이어의 차원 m4로 조절할 수 있다.

도 6은 일 실시예에 따라 영상의 특징을 인식하는 장치의 특징 추출부 및 인식부의 세부적인 구성을 도시한 블럭도이다.

도 6에서 영상의 특징을 인식하는 장치는 예를 들어, DCNN을 포함할 수 있고, DCNN은 특징 추출부(620) 및 인식부(630)로 구성될 수 있다.

예시적으로, 특징 추출부(620)는 제1 추출부(621), 제2 추출부(622), 제3 추출부(623), 제4 추출부(624), 및 제5 추출부(625)를 포함할 수 있다.

각각의 추출부는 적어도 하나의 레이어를 포함할 수 있고, 예를 들어, 컨볼루션 레이어, 풀링 레이어 등을 포함할 수 있다. 도 5a 및 도 5b에서 각각의 추출부는 컨볼루션 레이어를 필수적으로 포함할 수 있다. 예를 들어, 제1 추출부(621)는 제1 레이어를, 제2 추출부(622)는 제2 레이어를 포함하고, 제1 레이어 및 제2 레이어는 각각 컨볼루션 레이어 및 풀링 레이어 등을 포함할 수 있다.

컨볼루션 레이어(convolution layer)는 미리 정한 크기(예를 들어, 8 x 8)의 필터를 이용하여 이전 레이어 또는 이전 추출부에서 추출된 정보를 필터링하는 컨볼루션 필터링을 수행하는데 사용될 수 있다. 도 6에서는 "CONV"로 도시될 수 있다. 예를 들어, 특징 추출부(620) 또는 처리부는 컨볼루션 레이어를 이용하여 컨볼루션 필터링을 수행할 수 있다. 예를 들어, 제1 추출부(621)의 컨볼루션 레이어는 미리 정해진 에지를 필터링 할 수 있다.

컨볼루션 필터링의 결과로서, 컨볼루션 레이어에 포함된 필터의 개수에 따라 필터 개수만큼의 필터링 영상들이 생성될 수 있다. 컨볼루션 레이어는 필터링 영상들에 포함된 노드들로 구성될 수 있다. 컨볼루션 레이어에 포함된 각 노드들은 이전 레이어 또는 이전 추출부의 특징 영상(단, 제1 추출부(621)인 경우에는 입력 영상)의 미리 정한 크기의 영역으로부터 필터링 된 값을 수신할 수 있다. 컨볼루션 레이어에 포함된 각 노드들의 활성화 모델로 ReLU (Rectifier Linear Unit)가 이용될 수 있다. ReLU는 0 이하의 입력에 대하여 0을 출력하고, 0을 초과하는 입력에 대하여 선형으로 비례하는 값을 출력하는 모델이다.

풀링 레이어(pooling layer)는, 풀링을 통하여, 이전 레이어의 특징 영상들로부터 대표 값들을 추출하는데 사용될 수 있다. 도 6에서는 "POOLING"으로 도시될 수 있다. 예를 들어, 처리부는 풀링 레이어에서 이전 레이어의 각 특징 영상들(예를 들어, 이전 레이어가 컨볼루션 레이어인 경우, 필터링 영상들)에 대하여 미리 정한 크기의 윈도우를 일정 칸씩 슬라이드 하면서, 윈도우 내 최대 값을 추출할 수 있다. 풀링 결과 특징 영상들 별로 풀링 영상들이 생성될 수 있다. 풀링 레이어는 풀링 영상들에 포함된 노드들로 구성될 수 있다. 풀링 레이어에 포함된 각 노드들은 대응하는 특징 영상의 크기의 영역으로부터 풀링 된 값을 수신할 수 있다. 예를 들어, 제1 추출부에 포함된 풀링 레이어는 필터링된 입력 영상에 대응하는 정보로부터 대표 값들을 추출할 수 있다.

상술한 컨볼루션 레이어 및 풀링 레이어에서 인접한 레이어들 사이의 노드들은 부분적으로 연결되고, 연결 가중치가 공유될 수 있다.

일 실시예에 따르면, 제2 추출부(622)에 포함된 컨볼루션 레이어의 필터들은 제1 추출부(621)에 포함된 컨볼루션 레이어의 필터들에 비하여 복잡한 에지를 필터링 할 수 있다. 제2 추출부(622)에 포함된 풀링 레이어에서는 풀링을 통하여, 제2 추출부(622)의 컨볼루션 레이어에 의해 필터링된 필터링 영상들(예를 들어, 필터링된 제1 특징 정보)로부터 대표 값들이 추출될 수 있다. 이상과 같이, 제2 추출부(622)에 포함된 레이어들에서는 제1 추출부(621)에 비해 높은 복잡도의 특징 정보들이 추출될 수 있다. 예를 들어, 입력 영상에 대해 중간 레벨에 대응하는 특징 정보들이 추출될 수 있다. (예를 들어, 중간 레벨은 중간 복잡도를 가질 수 있다)

제3 추출부(623)의 컨볼루션 레이어에서는 미리 정한 크기의 필터들을 이용하여 컨볼루션 필터링이 수행될 수 있다. 필터들 각각은 미리 정해진 에지를 필터링 할 수 있다. 제3 추출부(623)의 컨볼루션 레이어의 필터들은 제2 추출부(622)의 컨볼루션 레이어의 필터들에 비하여 더 복잡한 에지를 필터링 할 수 있다.

제4 추출부(624) 및 제5 추출부(625)는 상술한 바와 유사한 동작을 통해, 이전 추출부에 비해 더 높은 복잡도의 특징 정보를 추출할 수 있다. 예를 들어, 제4 추출부(624)는 도 6에 도시된 바와 같이 컨볼루션 레이어를 포함할 수 있고, 데 5 추출부는 컨볼루션 레이어 및 풀링 레이어를 포함할 수 있다.

다만, 추출부의 개수 및 추출부에 포함되는 레이어의 구성 등을 상술한 바로 한정하는 것은 아니고, 설계에 따라 변경될 수 있다.

인식부(630)는 적어도 하나의 레이어를 포함할 수 있고, 예를 들어, 완전 연결 레이어(fully connected layer) 등을 포함할 수 있다(도 6에서는 "FULLY CON"으로 도시됨). 도 5a 및 도 5b에서 각각의 추출부는 컨볼루션 레이어를 필수적으로 포함할 수 있다.

완전 연결 레이어에서 인접한 레이어들 사이의 노드들은 완전 연결되고, 연결 가중치가 개별적으로 설정될 수 있다. 예를 들어, 완전 연결 레이어들 각각은 2048개의 노드들로 구성될 수 있다. 또한, 완전 연결 레이어들에는 모델 정규화 알고리즘(Model regularization Algorithm)인 드랍아웃(Dropout)이 적용될 수 있다. 드랍아웃은 노드의 50%가 현재 에폭(epoch)에서는 랜덤하게 학습에 참여하지 않는 방식이다. 상술한 레이어의 구성과 노드의 수 필터의 크기 등은 발명의 이해를 돕기 위한 예시로 변경될 수 있다. 일 실시예에 따르면 완전 연결 레이어와 특징 추출부(620)의 모든 추출부에 포함된 레이어들 사이의 노드들이 완전 연결될 수 있다.

예를 들어, 인식부(630)는 상술한 완전 연결 레이어를 이용하여 특징 추출부(620)에 포함된 레이어의 모든 노드에 대응하는 값들(예를 들어, 제1 레이어의 모든 노드에 대응하는 값들 및 제2 레이어의 모든 노드에 대응하는 값들)에 기초하여 특징 벡터를 생성할 수 있다.

또한, 인식부(630)는 로스 레이어(loss layer)(미도시됨)를 더 포함할 수 있고, 로스 레이어(미도시됨)를 이용하여 복수의 원소들에 대응하는 손실들을 계산할 수 있다. 로스 레이어(미도시됨)는 복수의 원소들에 대응하는 선형 분류기들을 포함할 수 있다. 로스 레이어(미도시됨)는 선형 분류기들을 이용하여 완전 연결 레이어들의 출력들로부터 복수의 원소들을 예측할 수 있고, 예측된 원소들과 실제 원소들을 비교함으로써 손실들을 계산할 수 있다.

손실들은 역 전파 기법을 통하여 완전 연결 레이어들 및 컨볼루션 레이어들로 역 전파될 수 있다. 역 전파된 손실들에 기초하여, 컨볼루션 레이어들 및 완전 연결 레이어들 내 연결 가중치들이 업데이트될 수 있다. 도 6을 참조하여 상술한 레이어의 구성, 활성화 모델, 및 관련 알고리즘은 데이터의 종류 및 실시 목적에 따라 다양하게 변경될 수 있다.

도 7은 일 실시예에 따라 영상을 인식하기 위한 특징을 학습하는 방법을 도시한 흐름도이다.

우선, 단계(710)에서는 영상을 인식하기 위한 특징을 학습하는 장치의 수신부가 트레이닝 데이터를 수신할 수 있다. 예를 들어, 인식을 위한 트레이닝 데이터는 트레이닝 객체와 연관된 트레이닝 영상 및 트레이닝 원소를 포함할 수 있다.

그리고 단계(720)에서 영상을 인식하기 위한 특징을 학습하는 장치의 학습부는, 제1 특징 정보 및 제2 특징 정보로부터 복수의 원소들을 인식하는 인식부가 트레이닝 영상으로부터 트레이닝 원소를 인식하도록, 인식부의 파라미터를 학습할 수 있다. 예를 들어, 제1 특징 정보는 입력 영상으로부터 제1 레이어를 이용하여 추출될 수 있고, 제2 특징 정보는 제2 레이어를 이용하여 추출될 수 있다. 인식부의 구체적인 학습은 하기 도 8에서 상세히 설명한다.

도 8은 일 실시예에 따른 영상을 인식하기 위한 특징을 학습하는 장치의 구성을 도시한 블럭도이다.

영상을 인식하기 위한 특징을 학습하는 장치(810)는 수신부(811) 및 학습부(812)를 포함한다.

수신부(811)는 트레이닝 데이터(801)를 수신할 수 있다. 트레이닝 데이터(801)는 트레이닝 객체와 연관된 트레이닝 영상 및 트레이닝 원소를 포함할 수 있다.

학습부(812)는 영상의 특징을 인식하기 위한 장치(400)에 제공하기 위한 파라미터를 학습할 수 있다. 학습부(812)는 입력 영상으로부터 제1 레이어를 이용하여 추출된 제1 특징 정보 및 제2 레이어를 이용하여 추출된 제2 특징 정보로부터 복수의 원소들을 인식하는 인식부(430)가 트레이닝 영상으로부터 트레이닝 원소를 인식하도록, 영상의 특징을 인식하기 위한 장치(400)의 파라미터를 학습할 수 있다. 학습부(812)는 학습된 파라미터를 영상의 특징을 인식하기 위한 장치(400)로 전달할 수 있다.

본 명세서에서 파라미터는, 예를 들어, 뉴럴 네트워크의 구조(예를 들어, 레이어의 종류 및 개수 등), 및 노드 간의 연결 가중치 등을 포함할 수 있다.

예를 들어, 학습부(812)는 트레이닝 영상으로부터 제1 특징들이 추출되도록 제1 추출부(421)의 제1 레이어의 파라미터를 학습하고, 적어도 하나의 제1 특징으로부터 제2 특징들이 추출되도록 제2 추출부(422)의 제2 레이어의 파라미터를 학습할 수 있다. 또한 학습부(812)는 인식부(430)가 제1 특징들 및 제2 특징들로부터 트레이닝 원소를 인식하도록 인식부(430)의 파라미터를 학습할 수 있다.

일 실시예에 따르면, 학습부(812)는 트레이닝 원소에 대응하는 손실을 계산할 수 있다. 인식부(430)가 뉴럴 네트워크를 포함하는 경우, 학습부(812)는 상술한 손실에 기초하여, 뉴럴 네트워크에 포함된 노드들 사이의 가중치들을 학습할 수 있다.

예를 들어, 학습부(812)는 트레이닝 영상에 레이블 된 트레이닝 원소들을 알고 있으므로, 학습부(812)를 통하여 예측된 원소들과 실제 원소들 사이의 손실(loss)들을 계산할 수 있다.

학습부(812)는 역 전파(back propagation) 기법을 이용하여 손실들이 감소되도록 인식부(430)에 제공하기 위한 파라미터를 업데이트할 수 있다. 예를 들어, 학습부(812)는 뉴럴 네트워크의 출력 레이어로부터 히든 레이어를 거쳐 입력 레이어로 향하는 역 방향으로 손실들을 전파시킬 수 있다. 손실들이 역 방향으로 전파되는 과정에서, 손실들이 감소되도록 노드들 사이의 연결 가중치들이 업데이트될 수 있다. 이처럼, 학습부(812)는 복수의 원소들에 대응하는 손실들을 함께 고려하여 인식부(430)에 제공하기 위한 파라미터를 학습할 수 있다. 업데이트가 완료된 파라미터는 다음 번 학습 에폭(epoch)에 이용되며, 전술한 멀티 태스크 학습 동작은 손실들이 미리 정해진 임계 값 미만이 될 때까지 반복적으로 수행될 수 있다. 최종적으로 학습된 파라미터는 인식부(430)로 제공될 수 있다.

여기서, 학습부(812)는 영상의 특징을 인식하는 장치(400)가 제1 추출부(421), 제2 추출부(422) 및 인식부(430)의 최종 파라미터(예를 들어, 연결 가중치)를 저장하도록 할 수 있다.

도 8에서는 도 4에 도시된 특징 추출부(420)의 구조를 예로 들어 설명하였으나, 이로 한정하는 것은 아니다. 학습부(812)는 도 5a에 도시된 특징 추출부(420)의 구조 및 도 5b에 도시된 특징 추출부(420)의 구조에 대해서도 각 레이어의 파라미터를 학습하여, 영상의 특징을 인식하기 위한 장치(400)로 전달할 수 있다. 예를 들어, 도 5a에 도시된 구조의 특징 추출부(420)에 대하여, 학습부(812)는 적어도 하나의 제m-1 특징으로부터 제m 특징들이 추출되도록 제m 추출부의 제m 레이어의 파라미터를 학습할 수 있다. 다른 예를 들어, 도 5b에 도시된 구조의 특징 추출부(420)에 대하여, 학습부(812)는 제1 특징 내지 제m-1 특징으로부터 제m 특징들이 추출되도록 제m 추출부의 제m 레이어의 파라미터를 학습할 수 있다.

도 9는 일 실시예에 따른 영상을 인식하기 위한 특징을 학습하는 장치에 적용되는 트레이닝 데이터의 예시를 도시한다.

트레이닝 데이터는 트레이닝 영상(901) 및 트레이닝 원소(909)를 포함할 수 있다. 트레이닝 데이터는 영상을 인식하기 위한 특징을 학습하는 장치(810)의 수신부(811)를 통해 학습부(812)로 입력될 수 있다. 학습부(812)는 영상의 특징을 인식하는 장치(400)로 학습된 파라미터를 제공할 수 있다.

트레이닝 영상(901)은 트레이닝 객체와 연관될 수 있다. 도 9에서는 트레이닝 객체로서, 사람의 얼굴을 예로 들어 설명한다. 다만, 트레이닝 객체를 이로 한정하는 것은 아니고, 다른 종류의 객체에 대해서도 트레이닝 데이터가 구성될 수 있다.

일 실시예에 따르면, 하나의 트레이닝 객체에 대해 복수의 트레이닝 영상(901)들이 존재할 수 있다. 예를 들어, 도 9에서는 A의 얼굴에 대해 복수의 트레이닝 영상(901)들이 존재할 수 있다. 각각의 트레이닝 영상(901)들은 얼굴의 각도가 다르거나, 표정이 다른 등, 동일한 객체에 대해 다른 측면(aspect)을 나타내는 영상일 수 있다.

트레이닝 원소(909)는 트레이닝 객체에 레이블될 수 있다. 일 실시예에 따르면, 복수의 트레이닝 영상(901)들이 동일한 트레이닝 객체를 포함하는 경우, 동일한 트레이닝 원소(909)가 복수의 트레이닝 영상(901)들에 레이블될 수 있다. 예를 들어, 도 9에 도시된 바와 같이, N개(여기서, N은 1 이상의 정수)의 A의 얼굴에 대해 A에 대응하는 원소가 레이블되어 트레이닝 데이터로서 구성될 수 있다.

도 10은 일 실시예에 따른 영상의 특징을 검증하는 방법을 도시한 흐름도이다.

우선, 단계(1010)에서는 영상의 특징을 검증하는 장치의 영상 수신부는 입력 영상을 수신할 수 있다. 입력 영상은 객체를 포함한다.

그리고 단계(1020)에서는 영상의 특징을 검증하는 장치의 제1 추출부는 제1 레이어를 이용하여 입력 영상으로부터 제1 특징 정보를 추출할 수 있다. 여기서, 제1 레이어는 적어도 하나의 트레이닝 데이터로부터 제1 특징들이 기 학습된 레이어일 수 있다. 제1 특징 정보는 제1 특징들 중 입력 영상에 대응하는 제1 특징을 나타낼 수 있다.

이어서 단계(1030)에서는 영상의 특징을 검증하는 장치의 제2 추출부는 제2 레이어를 이용하여 제1 특징 정보로부터 제2 특징 정보를 추출할 수 있다. 여기서, 제2 레이어는 제1 특징들로부터 제2 특징들이 기 학습된 레이어일 수 있다. 제2 특징 정보는 제2 특징들 중 제1 특징 정보에 대응하는 제2 특징을 나타낼 수 있다.

그리고 단계(1040)에서는 영상의 특징을 검증하는 장치의 검증부가 입력 영상의 제1 특징 정보 및 제2 특징 정보와, 다른 영상의 제1 특징 정보 및 제2 특징 정보에 기초하여 입력 영상 및 다른 영상을 비교할 수 있다. 예를 들어, 검증부는 입력 영상의 제1 특징 정보 및 제2 특징 정보와, 다른 영상과 연관된 제1 특징 정보 및 제2 특징 정보에 기초하여 입력 영상의 객체 및 다른 영상의 객체가 서로 유사한 지 판단할 수 있다.

도 11은 일 실시예에 따라 영상의 특징을 검증하는 장치의 구성을 도시한 블럭도이다.

영상의 특징을 검증하는 장치(1100)는 영상 수신부(1110), 특징 추출부(1120), 및 검증부(1130)를 포함한다. 특징 추출부(1120)는 제1 추출부(1121) 및 제2 추출부(1122)를 포함할 수 있다.

영상 수신부(1110)는 입력 영상(1101) 및 다른 영상(1102)을 수신할 수 있다. 다른 영상(1102)은 입력 영상(1101)과 비교되는 영상으로서, 입력 영상(1101)과 동일한 객체를 포함하는 영상 또는 다른 객체를 포함하는 영상을 포함할 수 있다. 예를 들어, 영상 수신부(1110)는 입력 영상(1101) 및 다른 영상(1102)을 순차적으로 또는 동시에 수신할 수 있다.

제1 추출부(1121)는 제1 레이어를 이용하여 제1 특징들 중 입력 영상(1101)에 대응하는 제1 특징을 나타내는 제1 특징 정보를 추출할 수 있다. 또한, 제1 추출부(1121)는 제1 레이어를 이용하여 다른 영상(1102)과 연관된 제1 특징 정보를 추출할 수도 있다.

제2 추출부(1122)는 제2 레이어를 이용하여 제2 특징들 중 제1 특징 정보에 대응하는 제2 특징을 나타내는 제2 특징 정보를 추출할 수 있다. 또한, 제2 추출부(1122)는 제2 레이어를 이용하여 다른 영상(1102)과 연관된 제2 특징 정보를 추출할 수 있다.

검증부(1130)는 입력 영상(1101) 및 다른 영상(1102) 각각의 제1 특징 정보 및 제2 특징 정보를 비교하여, 입력 영상(1101)에 포함된 객체 및 다른 영상(1102)에 포함된 객체가 서로 동일하거나 유사한 지 판단할 수 있다. 검증부(1130)는 검증 결과(1109)로서, 예를 들어, 입력 영상(1101) 및 다른 영상(1102)에 포함된 객체가 동일한지 여부(예를 들어, 동일하면 1, 다르면 -1)를 출력할 수 있다.

예를 들어, 검증부(1130)는 입력 영상(1101)의 제1 특징 정보 및 제2 특징 정보에 기초하여 입력 영상(1101)과 연관된 특징 벡터를 생성하고, 다른 영상(1102)과 연관된 제1 특징 정보 및 제2 특징 정보에 기초하여 다른 영상(1102)과 연관된 특징 벡터를 생성할 수 있다. 검증부(1130)는 입력 영상(1101)과 연관된 특징 벡터 및 다른 영상(1102)과 연관된 특징 벡터를 비교하여 입력 영상(1101)의 객체 및 다른 영상(1102)의 객체가 서로 유사한 지 판단할 수 있다.

각 영상의 객체의 유사 여부를 판단하기 위해, 검증부(1130)는 생성된 두 특징 벡터들 간의 유사도를 계산할 수 있다. 검증부(1130)는 유사도가 미리 정한 임계 유사도를 초과하면 입력 영상(1101)에 포함된 객체 및 다른 영상(1102)에 포함된 객체가 서로 동일한 것으로 판단할 수 있다. 여기서, 두 특징 벡터들 간의 유사도는 두 특징 벡터들의 특징값들, 및 히스토그램 등이 유사한 정도(level)로서 계산될 수 있다.

또한, 검증부(1130)는 상술한 도 4의 인식부(430)에 의해 입력 영상(1101)이 인식된 결과인 인식된 원소들의 집합 및 다른 영상(1102)이 인식된 결과인 인식된 원소들의 집합 간의 유사도를 계산할 수 있다. 여기서, 원소들의 두 집합 간의 유사도는 두 집합의 히스토그램 등이 유사한 정도로서 계산될 수 있다.

도 12는 일 실시예에 따라 영상의 특징을 검증하는 장치의 특징 추출부의 예시적인 구성을 도시한 블럭도이다.

일 실시예에 따르면, 특징 추출부(1120)는 도 11에 도시된 바와 같이 제1 추출부(1121) 및 제2 추출부(1122)를 포함하고, 도 12에 도시된 바와 같이 제3 추출부 내지 제n 추출부(1123)를 더 포함할 수 있다. (여기서, n은 3 이상의 정수) 제3 추출부 내지 제n 추출부(1123)의 동작은 제m 추출부로서, 상술한 도 5a와 유사하게 동작할 수 있다. (여기서, m은 3이상 n이하의 정수)

검증부(1130)는, 입력 영상 및 다른 영상 각각의 제1 특징 정보 내지 제n 특징 정보에 기초하여, 입력 영상에 포함된 객체 및 다른 영상에 포함된 객체가 동일하거나 유사한 지 여부를 판단할 수 있다.

일 실시예에 따른 영상의 특징을 검증하는 장치는 최종 레벨에 대응하는 특징(예를 들어, 제n 특징)뿐 아니라, 추상화 과정에서의 특징들(예를 들어, 제1 특징 내지 제n-1 특징들)도 모두 이용하여, 입력 영상 및 다른 영상의 각각에 포함된 객체가 동일한지 판단하는데 사용할 수 있다.

다만, 특징 추출부(1120)의 구성을 도 12에 도시된 바로 한정하는 것은 아니고, 도 5b에 도시된 특징 추출부(420)와 유사하게 구성될 수도 있다.

도 13은 다른 일 실시예에 따라 영상의 특징을 검증하는 장치의 구성을 도시한 블럭도이다.

다른 일 실시예에 따르면 영상의 특징을 검증하는 장치(1300)는 2 개의 특징 추출부로서, 제1 특징 추출부(1310) 및 제2 특징 추출부(1320)를 포함할 수 있다. 제1 특징 추출부(1310)는 제1 추출부(1311), 제2 추출부(1312) 및 제3 추출부(1313)를 포함하고, 제2 특징 추출부(1320)는 제1 추출부(1321), 제2 추출부(1322) 및 제3 추출부(1323)를 포함할 수 있다.

제1 특징 추출부(1310)에 포함되는 추출부들(1311, 1312, 1313) 및 제2 특징 추출부(1320)에 포함되는 추출부들(1321, 1322, 1323)은 각각 하기 도 16에 따라 학습될 수 있고, 제1 특징 추출부(1310) 및 제2 특징 추출부(1320)는 동일한 학습 결과를 사용할 수 있다. 예를 들어, 제1 특징 추출부(1310)에 포함되는 추출부들(1311, 1312, 1313)에 적용되는 연결 가중치는 제2 특징 추출부(1320)에 포함되는 추출부들(1321, 1322, 1323)에 적용되는 연결 가중치와 동일할 수 있다.

제1 특징 추출부(1310)는 입력 영상에 대한 제1 특징 정보 내지 제3 특징 정보를 추출할 수 있고, 제2 특징 추출부(1320)는 다른 영상에 대한 제1 특징 정보 내지 제3 특징 정보를 추출할 수 있다.

예를 들어, 제2 특징 추출부(1320)는 제1 특징 추출부(1310)의 제1 추출부(1311)에 대응하는 제1 레이어와 동일하게 학습된, 제1 레이어와 구분되는(separated) 레이어(예를 들어, 제2 특징 추출부(1320)의 제1 추출부(1321)에 대응)를 이용하여 다른 영상과 연관된 제1 특징 정보를 추출하고, 제1 특징 추출부(1310)의 제2 추출부(1312)에 대응하는 제2 레이어와 동일하게 학습된, 제2 레이어와 구분되는(separated) 레이어(예를 들어, 제2 특징 추출부(1320)의 제2 추출부(1322)에 대응)를 이용하여 다른 영상과 연관된 제2 특징 정보를 추출할 수 있다. 다른 영상과 연관된 제3 특징 정보도 상술한 제1 특징 정보 및 제2 특징 정보와 유사한 방식으로 추출될 수 있다.

검증부(1330)는 제1 특징 추출부(1310)로부터 추출된 제1 특징 정보 내지 제3 특징 정보에 기초하여 생성한 특징 벡터 및 제2 특징 추출부(1320)로부터 추출된 제1 특징 정보 내지 제3 특징 정보에 기초하여 생성한 특징 벡터를 비교하여, 입력 영상과 다른 영상에 포함된 객체가 동일한 지 판단할 수 있다.

도 14 및 도 15는 일 실시예에 따라 영상의 특징을 검증하는 장치의 특징 추출부 및 검증부의 세부적인 구성을 도시한 블럭도이다.

도 11에 도시된 특징 추출부(1120) 및 검증부(1130)는 다양한 방식으로 구성될 수 있다. 도 14 및 도 15는 특징 추출부(1120) 및 검증부(1130)의 예시들을 도시한다.

도 14 및 도 15에서 특징 추출부(1120)의 제1 추출부(1421, 1521)는 풀링 레이어 및 컨볼루션 레이어를 포함하고, 제2 추출부(1422, 1522)는 풀링 레이어 및 컨볼루션 레이어를 포함하며, 제3 추출부(1423, 1523)는 컨볼루션 레이어를 포함하고, 제4 추출부(1424, 1524)는 컨볼루션 레이어를 포함하며, 제5 추출부(1425, 1525)는 컨볼루션 레이어 및 풀링 레이어를 포함할 수 있다. 다만, 각 추출부에 포함된 레이어의 구성은 예시적인 것으로서, 설계에 따라 변경될 수 있다.

검증부(1130)는 적어도 하나의 완전 연결 레이어(1431, 1531), 특징 벡터 생성부(1432, 1532) 및 비교부(1433) 등을 포함할 수 있다. 완전 연결 레이어(1431, 1531)는 특징 정보들의 데이터량을 감소시키는데 사용될 수 있다.

특징 벡터 생성부(1432, 1532)는 입력 영상 및 다른 영상의 각각에 대응하는 특징 벡터를 생성하여, 선형 변환할 수 있고, 각 특징 벡터의 차원을 변환할 수 있다. 예를 들어, 특징 벡터 생성부(1432, 1532)는 특징 벡터의 차원을 감소시킬 수 있다.

도 14에 도시된 검증부(1130)는 마지막 레벨에 대응하는 레이어(예를 들어, 제5 추출부(1425)에 대응하는 레이어)의 모든 노드와 연결되는 완전 연결 레이어(1431)를 포함할 수 있다. 예를 들어, 도 14에 도시된 특징 벡터 생성부(1432)는 제1 추출부(1421) 내지 제5 추출부(1425)로부터 추출된 특징 정보들 및 완전 연결 레이어(1431)로부터 출력되는 값들에 기초하여 특징 벡터를 생성할 수 있다. 비교부(1433)는 특징 벡터 생성부(1432)로부터 입력 영상에 대응하는 특징 벡터 및 다른 영상에 대응하는 특징 벡터를 수신하여, 입력 영상 및 다른 영상에 포함된 객체가 동일한지 비교할 수 있다.

도 15에 도시된 검증부(1130)는 입력 영상에 대해 제1 특징 정보, 제2 특징 정보, 제3 특징 정보 내지 제n 특징 정보 및 각 레이어의 모든 노드에 대응하는 특징 정보들(예를 들어, 완전 연결 레이어(1531)로 입력되는 특징 정보)에 기초하여 계산된 특징 값들에 기초하여 입력 영상에 대응하는 특징 벡터를 생성하고, 다른 영상에 대해 제1 특징 정보, 제2 특징 정보, 제3 특징 정보 내지 제n 특징 정보 및 각 레이어의 모든 노드에 대응하는 특징 정보들에 기초하여 계산된 특징 값들에 기초하여 다른 영상에 대응하는 특징 벡터를 생성할 수 있다.

예를 들어, 도 15에 도시된 검증부(1130)는 모든 레벨에 대응하는 레이어(예를 들어, 제1 추출부(1521) 내지 제5 추출부(1525)에 대응하는 레이어)의 모든 노드와 연결되는 완전 연결 레이어(1531)를 포함할 수 있다. 예를 들어, 도 15에 도시된 특징 벡터 생성부(1532)는 제1 추출부(1521) 내지 제5 추출부(1525)로부터 추출된 특징 정보들 및 완전 연결 레이어(1531)로부터 출력되는 값들에 기초하여 특징 벡터를 생성할 수 있다.

상술한 도 14 및 도 15에 도시된 특징 추출부(1120)에 포함되는 추출부의 개수 및 구성 및 검증부(1130)에 포함되는 완전 연결 레이어(1431, 1531)의 구성 등은 예시적인 것으로서, 설계에 따라 변경될 수 있다.

도 16은 일 실시예에 따라 영상을 검증하기 위한 특징을 학습하는 방법을 도시한 흐름도이다.

우선, 단계(1610)에서는 영상을 검증하기 위한 특징을 학습하는 장치의 수신부는 트레이닝 데이터를 수신할 수 있다. 예를 들어, 수신부는 트레이닝 영상 쌍 및 트레이닝 영상 쌍에 대응하는 트레이닝 정보를 수신할 수 있다.

그리고 단계(1620)에서는 영상을 검증하기 위한 특징을 학습하는 장치의 학습부는 제1 레이어 및 제2 레이어로부터 추출된 제1 특징 정보 및 제2 특징 정보에 기초하여 입력 영상 및 다른 영상을 비교하는 검증부의 파라미터를 트레이닝 데이터에 기초하여 학습할 수 있다.

예를 들어, 학습부는, 두 입력 영상이 유사한 지를 판단하는, 검증부가 트레이닝 영상 쌍을 비교한 결과가 해당 트레이닝 정보가 되도록, 검증부의 파라미터를 학습할 수 있다. 여기서, 검증부는 두 입력 영상으로부터 제1 레이어를 이용하여 추출된 제1 특징 정보들 및 제2 레이어를 이용하여 추출된 제2 특징 정보들에 기초하여, 두 입력 영상이 유사한 지를 판단하도록 구성될 수 있다.

트레이닝 정보는 해당 트레이닝 영상 쌍이 서로 같은 객체를 포함하는지 여부를 지시하는 정보를 포함할 수 있다. 예를 들어, 트레이닝 영상 쌍이 서로 같은 객체를 포함하는 경우 해당 트레이닝 영상 쌍에 대응하는 트레이닝 정보는 1을 나타낼 수 있고, 다른 객체를 포함하는 경우 해당 트레이닝 영상 쌍에 대응하는 트레이닝 정보는 -1을 나타낼 수 있다. 다만, 상술한 트레이닝 정보는 예시적인 것으로서, 동일한 객체를 포함하는 쌍에 대해서는 참(예를 들어, T), 상이한 객체를 포함하는 쌍에 대해서는 거짓(예를 들어, F)을 지시하는 모든 정보를 포함할 수 있다.

도 17은 일 실시예에 따라 영상을 검증하기 위한 특징을 학습하는 장치의 구성을 도시한 블럭도이다.

영상을 검증하기 위한 특징을 학습하는 장치(1710)는 수신부(1711) 및 학습부(1712)를 포함할 수 있다.

수신부(1711)는 트레이닝 데이터를 수신할 수 있다. 트레이닝 데이터는 트레이닝 영상 쌍 및 트레이닝 정보를 포함할 수 있다.

학습부(1712)는 영상의 특징을 검증하는 장치(1100)에 제공하기 위한 파라미터를 학습할 수 있다. 학습부(1712)는 영상의 특징을 검증하는 장치(1100)의 검증부(1130)가 트레이닝 영상 쌍을 검증한 결과가 트레이닝 정보가 되도록, 영상의 특징을 검증하는 장치(1100)의 파라미터를 학습할 수 있다. 학습부(1712)는 학습된 파라미터는 영상의 특징을 검증하는 장치(1100)로 전달할 수 있다.

예를 들어, 학습부(1712)는 트레이닝 영상 쌍의 각각으로부터 제1 특징들이 추출되도록 제1 추출부(1121)의 제1 레이어의 파라미터를 학습하고, 제1 특징들로부터 제2 특징들이 추출되도록 제2 추출부(1122)의 제2 레이어의 파라미터를 학습할 수 있다. 또한 학습부(1712)는 검증부(1130)가 트레이닝 영상 쌍의 각각에 대응하는 제1 특징들 및 제2 특징들에 기초하여 트레이닝 정보를 출력하도록 검증부(1130)의 파라미터를 학습할 수 있다.

일 실시예에 따르면, 학습부(1712)는 트레이닝 정보에 대응하는 손실을 계산할 수 있다. 검증부(1130)가 뉴럴 네트워크(neural network)를 포함하는 경우, 학습부(1712)는 상술한 손실에 기초하여, 뉴럴 네트워크에 포함된 노드들 사이의 가중치들을 학습할 수 있다.

예를 들어, 학습부(1712)는 트레이닝 영상 쌍에 레이블된 트레이닝 정보를 알고 있으므로, 학습부(1712)를 통하여 출력된 결과로서의 검증 결과(예를 들어, 두 입력 영상이 동일한지 여부를 나타내는 정보)와 실제 트레이닝 정보 사이의 손실들을 계산할 수 있다.

학습부(1712)는 상술한 도 8에서 인식을 위한 학습 과정과 유사하게 역 전파 기법을 이용하여 손실들이 감소되도록 검증부(1130)에 제공하기 위한 파라미터를 업데이트할 수 있다. 도 17의 학습부(1712)는 도 8과 달리, 영상 수신부(1110)에 트레이닝 영상 쌍이 입력되면 검증부(1130)의 결과로서 트레이닝 정보가 출력되도록, 영상의 특징을 검증하는 장치(1100)의 파라미터를 학습할 수 있다. 여기서, 학습부(1712)는 손실들이 감소되도록 노드들 사이의 연결 가중치를 업데이트할 수 있다. 학습부(1712)는 영상의 특징을 검증하는 장치(1100)가 영상 수신부(1110), 제1 추출부(1121), 제2 추출부(1122) 및 검증부(1130)의 최종 파라미터(예를 들어, 연결 가중치)를 저장하도록 할 수 있다.

도 18은 일 실시예에 따른 영상을 검증하기 위한 특징을 학습하는 장치에 적용되는 트레이닝 데이터의 예시를 도시한다.

트레이닝 데이터는 트레이닝 영상 쌍(1801) 및 트레이닝 정보(1809)를 포함할 수 있다. 트레이닝 데이터는 영상을 검증하기 위한 특징을 학습하는 장치(1710)의 수신부(1711)를 통해 학습부(1712)로 입력될 수 있다. 학습부(1712)는 영상의 특징을 검증하는 장치(1100)로 학습된 파라미터를 제공할 수 있다.

트레이닝 영상 쌍(1801)은 서로 동일하거나 상이한 트레이닝 객체를 포함할 수 있다. 도 18에서는 트레이닝 객체로서 사람의 얼굴을 예로 들어 설명한다. 다만, 트레이닝 객체를 이로 한정하는 것은 아니고 다른 종류의 객체에 대해서도 트레이닝 데이터가 구성될 수 있다.

일 실시예에 따르면, 트레이닝 영상 쌍(1801)은 서로 동일하거나 다른 객체에 대한 영상 쌍으로 구성될 수 있다. 예를 들어, 도 18에서는 A의 1번 얼굴에 대한 영상 및 2번 얼굴에 대한 영상으로 구성되는 트레이닝 영상 쌍(1801) 및 A의 1번 얼굴에 대한 영상 및 B의 1번 얼굴에 대한 영상으로 구성되는 트레이닝 영상 쌍(1801)이 존재할 수 있다. 예시적으로, 각각의 번호는 얼굴의 다른 상태(예를 들어, 얼굴 각도, 표정 등)를 나타낼 수 있다.

트레이닝 정보(1809)는 트레이닝 영상 쌍(1801)에 레이블될 수 있다. 일 실시예에 따르면 동일한 트레이닝 객체를 포함하는 트레이닝 영상 쌍(1801)에 대해서는 1의 트레이닝 정보(1809)가 레이블될 수 있고, 상이한 트레이닝 객체를 포함하는 트레이닝 영상 쌍(1801)에 대해서는 -1의 트레이닝 정보(1809)가 레이블될 수 있다.

또한, 트레이닝 영상 쌍(1801)을 도 18에 도시된 바로 한정하는 것은 아니고, 동일한 상태(예를 들어, 표정, 자세 등)에 있는 동일한 객체를 포함하는 영상 쌍, 상이한 상태에 있는 동일한 객체를 포함하는 영상 쌍, 동일한 상태에 있는 상이한 객체를 포함하는 영상 쌍, 상이한 상태에 있는 상이한 객체를 포함하는 영상 쌍 등을 포함할 수 있다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims

영상의 특징을 인식(recognize)하는 방법에 있어서,
객체를 포함하는 입력 영상을 수신하는 단계;
상기 입력 영상에 대응하는 정보를 필터링하는 단계;
상기 필터링에 기초하여, 제1 레이어를 이용하여 제1 특징 정보(feature information)를 추출하는 단계;
상기 필터링에 기초하여, 제2 레이어를 이용하여 제2 특징 정보를 추출하는 단계; 및
상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 상기 객체에 대응하는 원소를 인식하는 단계
를 포함하고,
상기 제2 특징 정보는,
상기 제1 특징 정보와 다른 레벨에 대응하는,
영상의 특징을 인식하는 방법.
제1항에 있어서,
상기 원소를 인식하는 단계는,
상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 특징 벡터를 생성하는 단계; 및
상기 생성된 특징 벡터를 복수의 원소들의 각각에 대응하는 기 저장된 기준 벡터와 비교하여 상기 객체에 대응하는 원소를 인식하는 단계
를 포함하는 영상의 특징을 인식하는 방법.
제2항에 있어서,
상기 특징 벡터를 생성하는 단계는,
상기 제1 레이어의 모든 노드에 대응하는 값들 및 상기 제2 레이어의 모든 노드에 대응하는 값들에 기초하여 상기 특징 벡터를 생성하는 단계
를 포함하는 영상의 특징을 인식하는 방법.
제1항에 있어서,
인식부는 뉴럴 네트워크(neural network)를 포함하고,
상기 원소를 인식하는 단계는,
상기 뉴럴 네트워크에 포함된 노드들 사이의 가중치(weight)들에 기초하여 상기 원소에 대응하는 특징 값을 계산하는 단계
를 포함하는 영상의 특징을 인식하는 방법.
제1항에 있어서,
상기 제1 특징 정보를 추출하는 단계는,
미리 정한 크기의 필터를 이용하여 상기 입력 영상에 대응하는 정보를 필터링하는 단계
를 포함하고,
상기 제2 특징 정보를 추출하는 단계는,
미리 정한 크기의 필터를 이용하여 상기 제1 특징 정보를 필터링하는 단계
를 포함하는 영상의 특징을 인식하는 방법.
제5항에 있어서,
상기 제1 특징 정보를 추출하는 단계는,
상기 필터링된 상기 입력 영상에 대응하는 정보로부터 대표 값들을 추출하는 단계
를 더 포함하는 영상의 특징을 인식하는 방법.
제5항에 있어서,
상기 제2 특징 정보를 추출하는 단계는,
상기 필터링된 제1 특징 정보로부터 대표 값들을 추출하는 단계
를 더 포함하는 영상의 특징을 인식하는 방법.
제1항에 있어서,
제m 레이어를 이용하여 제m 특징들 중 상기 제1 특징 정보 내지 제m 특징 정보의 조합에 대응하는 제m-1 특징을 나타내는 제m 특징 정보를 추출하는 단계 - 여기서, m은 3이상의 정수임 -
를 더 포함하고,
상기 원소를 인식하는 단계는,
상기 제1 특징 정보 내지 상기 제m 특징 정보에 기초하여 상기 객체에 대응하는 상기 원소를 인식하는 단계
를 포함하는 영상의 특징을 인식하는 방법.
영상의 특징을 인식하는 장치에 있어서,
객체를 포함하는 입력 영상을 수신하는 영상 수신부(image receiver);
상기 입력 영상에 대응하는 정보를 필터링하고, 상기 필터링에 기초하여 제1 레이어를 이용하여 제1 특징 정보(feature information)를 추출하는 제1 추출부(first extractor);
상기 필터링에 기초하여, 제2 레이어를 이용하여 제2 특징 정보를 추출하는 제2 추출부(second extractor); 및
상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 상기 객체에 대응하는 원소를 인식하는 인식부(recognizer)
를 포함하고,
상기 제2 특징 정보는,
상기 제1 특징 정보와 다른 레벨에 대응하는,
입력 영상의 특징을 인식하는 장치.
제9항에 있어서,
상기 인식부는,
상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 특징 벡터를 생성하는 특징 벡터 생성부를 포함하고,
상기 생성된 특징 벡터를 복수의 원소들의 각각에 대응하는 기 저장된 기준 벡터와 비교하여 상기 객체에 대응하는 원소를 인식하는,
영상의 특징을 인식하는 장치.
제9항에 있어서,
제3 레이어를 이용하여 제3 특징들 중 상기 제2 특징 정보에 대응하는 제3 특징을 나타내는 제3 특징 정보를 추출하는 적어도 하나의 제3 추출부(third extractor)
를 더 포함하고,
상기 인식부는,
상기 제1 특징 정보, 상기 제2 특징 정보 및 상기 제3 특징 정보에 기초하여 상기 객체에 대응하는 원소를 인식하는,
영상의 특징을 인식하는 장치.
영상을 인식하기 위한 특징을 학습하는 방법에 있어서,
트레이닝 객체와 연관된 트레이닝 영상 및 트레이닝 원소를 수신하는 단계; 및
입력 영상으로부터 제1 레이어를 이용하여 추출된 제1 특징 정보 및 제2 레이어를 이용하여 추출된 제2 특징 정보로부터 복수의 원소들을 인식하는 인식부가 상기 트레이닝 영상으로부터 상기 트레이닝 원소를 인식하도록, 상기 인식부의 파라미터를 학습하는 단계
를 포함하고,
상기 제2 특징 정보는,
상기 제1 특징 정보와 다른 레벨에 대응하는,
영상을 인식하기 위한 특징을 학습하는 방법.
제12항에 있어서,
상기 학습하는 단계는,
상기 트레이닝 영상으로부터 제1 특징들이 추출되도록 상기 제1 레이어의 파라미터를 학습하는 단계; 및
적어도 하나의 제1 특징으로부터 제2 특징들이 추출되도록 상기 제2 레이어의 파라미터를 학습하는 단계,
를 포함하는 영상을 인식하기 위한 특징을 학습하는 방법.
제13항에 있어서,
상기 학습하는 단계는,
상기 인식부가 상기 제1 특징들 및 상기 제2 특징들로부터 상기 트레이닝 원소를 인식하도록 상기 인식부의 파라미터를 학습하는 단계
를 더 포함하는 영상을 인식하기 위한 특징을 학습하는 방법.
제13항에 있어서,
상기 학습하는 단계는,
상기 트레이닝 원소에 대응하는 손실을 계산하는 단계,
를 포함하는 영상을 인식하기 위한 특징을 학습하는 방법.
제15항에 있어서,
상기 인식부는 뉴럴 네트워크(neural network)를 포함하고,
상기 학습하는 단계는,
상기 손실에 기초하여, 상기 뉴럴 네트워크에 포함된 노드들 사이의 가중치(weight)들을 학습하는 단계
를 더 포함하는 영상을 인식하기 위한 특징을 학습하는 방법.
영상을 인식하기 위한 특징을 학습하는 장치에 있어서,
트레이닝 객체와 연관된 트레이닝 영상 및 트레이닝 원소를 수신하는 수신부; 및
입력 영상으로부터 제1 레이어를 이용하여 추출된 제1 특징 정보 및 제2 레이어를 이용하여 추출된 제2 특징 정보로부터 복수의 원소들을 인식하는 인식부가 상기 트레이닝 영상으로부터 상기 트레이닝 원소를 인식하도록, 상기 인식부의 파라미터를 학습하는 학습부
를 포함하고,
상기 제2 특징 정보는,
상기 제1 특징 정보와 다른 레벨에 대응하는,
영상을 인식하기 위한 특징을 학습하는 장치.
영상의 특징을 검증하는 방법에 있어서,
객체를 포함하는 입력 영상을 수신하는 단계;
상기 입력 영상에 대응하는 정보를 필터링하는 단계;
상기 필터링에 기초하여, 제1 레이어를 이용하여 제1 특징 정보를 추출하는 단계;
상기 필터링에 기초하여, 제2 레이어를 이용하여 제2 특징 정보를 추출하는 단계; 및
상기 입력 영상의 상기 제1 특징 정보 및 상기 제2 특징 정보와, 다른 영상과 연관된 제1 특징 정보 및 제2 특징 정보에 기초하여 상기 입력 영상의 객체 및 상기 다른 영상의 객체가 서로 유사한 지 판단하는 단계
를 포함하고,
상기 입력 영상의 상기 제2 특징 정보는,
상기 입력 영상의 상기 제1 특징 정보와 다른 레벨에 대응하는,
영상의 특징을 검증하는 방법.
제18항에 있어서,
상기 입력 영상의 객체 및 상기 다른 영상의 객체가 서로 유사한 지 판단하는 단계는,
상기 입력 영상의 상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 상기 입력 영상과 연관된 특징 벡터를 생성하는 단계;
다른 영상과 연관된 제1 특징 정보 및 제2 특징 정보에 기초하여 상기 다른 영상과 연관된 특징 벡터를 생성하는 단계; 및
상기 입력 영상과 연관된 특징 벡터 및 상기 다른 영상과 연관된 특징 벡터를 비교하여 상기 입력 영상의 객체 및 상기 다른 영상의 객체가 서로 유사한 지 판단하는 단계
를 포함하는 영상의 특징을 검증하는 방법.
제19항에 있어서,
상기 입력 영상과 연관된 특징 벡터를 생성하는 단계는,
상기 입력 영상에 대해 제1 특징 정보, 제2 특징 정보 및 각 레이어의 모든 노드에 대응하는 특징 정보들에 기초하여 계산된 특징 값들에 기초하여 상기 입력 영상에 대응하는 특징 벡터를 생성하는 단계
를 포함하고,
상기 다른 영상과 연관된 특징 벡터를 생성하는 단계는,
상기 다른 영상에 대해 제1 특징 정보, 제2 특징 정보 및 각 레이어의 모든 노드에 대응하는 특징 정보들에 기초하여 계산된 특징 값들에 기초하여 상기 다른 영상에 대응하는 특징 벡터를 생성하는 단계
를 포함하는 영상의 특징을 검증하는 방법.
제18항에 있어서,
상기 제1 특징 정보를 추출하는 단계는,
상기 제1 레이어를 이용하여 상기 다른 영상과 연관된 제1 특징 정보를 추출하는 단계
를 포함하고,
상기 제2 특징 정보를 추출하는 단계는,
상기 제2 레이어를 이용하여 상기 다른 영상과 연관된 제2 특징 정보를 추출하는 단계
를 포함하는 영상의 특징을 검증하는 방법.
제18항에 있어서,
상기 제1 특징 정보를 추출하는 단계는,
상기 제1 레이어와 구분되는(separated) 레이어를 이용하여 상기 다른 영상과 연관된 제1 특징 정보를 추출하는 단계
를 포함하고,
상기 제2 특징 정보를 추출하는 단계는,
상기 제2 레이어와 구분되는(separated) 레이어를 이용하여 상기 다른 영상과 연관된 제2 특징 정보를 추출하는 단계
를 포함하는 영상의 특징을 검증하는 방법
영상의 특징을 검증하는 장치에 있어서,
객체를 포함하는 입력 영상을 수신하는 영상 수신부;
상기 입력 영상에 대응하는 정보를 필터링하고, 상기 필터링에 기초하여, 제1 레이어를 이용하여 제1 특징 정보를 추출하는 제1 추출부;
상기 필터링에 기초하여, 제2 레이어를 이용하여 제2 특징 정보를 추출하는 제2 추출부; 및
상기 입력 영상의 상기 제1 특징 정보 및 상기 제2 특징 정보와, 다른 영상과 연관된 제1 특징 정보 및 제2 특징 정보에 기초하여 상기 입력 영상의 객체 및 상기 다른 영상의 객체가 서로 유사한 지 판단하는 검증부(verifier)
를 포함하고,
상기 입력 영상의 상기 제2 특징 정보는,
상기 입력 영상의 상기 제1 특징 정보와 다른 레벨에 대응하는,
영상의 특징을 검증하는 장치.
제23항에 있어서,
상기 검증부는,
상기 입력 영상 및 상기 다른 영상의 상기 제1 특징 정보 및 상기 제2 특징 정보에 기초하여 상기 입력 영상과 연관된 특징 벡터 및 상기 다른 영상과 연관된 특징 벡터를 생성하는 특징 벡터 생성부; 및
상기 입력 영상과 연관된 특징 벡터 및 상기 다른 영상과 연관된 특징 벡터를 비교하여 상기 입력 영상의 객체 및 상기 다른 영상의 객체가 서로 유사한 지 판단하는 비교부
를 포함하는 영상의 특징을 검증하는 장치.
제23항에 있어서,
제3 레이어를 이용하여 제3 특징들 중 상기 제2 특징 정보에 대응하는 제3 특징을 나타내는 제3 특징 정보를 추출하는 적어도 하나의 제3 추출부(third extractor)
를 더 포함하고,
상기 검증부는,
상기 입력 영상의 상기 제1 특징 정보, 상기 제2 특징 정보 및 상기 제3 특징 정보와, 다른 영상과 연관된 제1 특징 정보, 제2 특징 정보 및 제3 특징 정보에 기초하여 상기 입력 영상의 객체 및 상기 다른 영상의 객체가 서로 유사한 지 판단하는,
영상의 특징을 검증하는 장치.
영상을 검증하기 위한 특징을 학습하는 방법에 있어서,
트레이닝 영상 쌍 및 상기 트레이닝 영상 쌍에 대응하는 트레이닝 정보를 수신하는 단계; 및
제1 특징 정보들 및 제2 특징 정보들을 이용하여 두 입력 영상이 유사한 지를 판단하는 검증부가 상기 트레이닝 영상 쌍을 비교한 결과가 상기 트레이닝 정보가 되도록, 상기 검증부의 파라미터를 학습하는 단계
를 포함하고,
상기 제1 특징 정보들은,
상기 두 입력 영상으로부터 제1 레이어를 이용하여 추출되며,
상기 제2 특징 정보들은,
제2 레이어를 이용하여 추출되는,
영상을 검증하기 위한 특징을 학습하는 방법.
제26항에 있어서,
상기 트레이닝 정보는,
상기 트레이닝 영상 쌍이 서로 같은 객체를 포함하는지 여부를 지시하는 정보
를 포함하는 영상을 검증하기 위한 특징을 학습하는 방법.
제26항에 있어서,
상기 학습하는 단계는,
상기 트레이닝 영상 쌍의 각각으로부터 제1 특징들이 추출되도록 상기 제1 레이어의 파라미터를 학습하는 단계; 및
상기 제1 특징들로부터 제2 특징들이 추출되도록 상기 제2 레이어의 파라미터를 학습하는 단계,
를 포함하는 영상을 검증하기 위한 특징을 학습하는 방법.
제28항에 있어서,
상기 학습하는 단계는,
상기 검증부가 상기 트레이닝 영상 쌍의 각각에 대응하는 상기 제1 특징들 및 상기 제2 특징들에 기초하여 상기 트레이닝 정보를 출력하도록 상기 검증부의 파라미터를 학습하는 단계
를 더 포함하는 영상을 검증하기 위한 특징을 학습하는 방법.
제26항에 있어서,
상기 학습하는 단계는,
상기 트레이닝 정보에 대응하는 손실을 계산하는 단계,
를 포함하는 영상을 검증하기 위한 특징을 학습하는 방법.
제30항에 있어서,
상기 검증부는 뉴럴 네트워크(neural network)를 포함하고,
상기 학습하는 단계는,
상기 손실에 기초하여, 상기 뉴럴 네트워크에 포함된 노드들 사이의 가중치(weight)들을 학습하는 단계
를 더 포함하는 영상을 검증하기 위한 특징을 학습하는 방법.
영상을 검증하기 위한 특징을 학습하는 장치에 있어서,
트레이닝 영상 쌍 및 상기 트레이닝 영상 쌍에 대응하는 트레이닝 정보를 수신하는 수신부; 및
제1 특징 정보들 및 제2 특징 정보들로부터 두 입력 영상이 유사한 지를 판단하는 검증부가 상기 트레이닝 영상 쌍을 비교한 결과가 상기 트레이닝 정보가 되도록, 상기 검증부의 파라미터를 학습하는 학습부
를 포함하고,
상기 제1 특징 정보들은,
상기 두 입력 영상으로부터 제1 레이어를 이용하여 추출되며,
상기 제2 특징 정보들은,
제2 레이어를 이용하여 추출되는,
영상을 검증하기 위한 특징을 학습하는 장치.