KR20160131848A

KR20160131848A - 객체 인식 장치 및 방법

Info

Publication number: KR20160131848A
Application number: KR1020150162837A
Authority: KR
Inventors: 한보형; 홍승훈; 노현우
Original assignee: 삼성전자주식회사; 포항공과대학교 산학협력단
Priority date: 2015-05-08
Filing date: 2015-11-19
Publication date: 2016-11-16
Also published as: KR102450971B1

Abstract

일 실시예에 따른 객체 인식 장치는, 원영상과 상기 원영상의 샘플 분할 맵(segmentation map)을 포함하는 복수의 영상 학습 집합(image learning set)으로부터 특징 추출을 하기 위한 컨볼루션 신경망(convolution network)을 이용하여 상기 원영상의 이미지 특징 벡터를 결정하고, 상기 결정된 이미지 특징 벡터로부터 디컨볼루션 신경망(deconvolution network)을 이용하여 상기 원영상의 분할 맵을 결정하고, 상기 샘플 분할 맵 및 상기 결정된 분할 맵을 이용하여 상기 컨볼루션 신경망의 가중치 및 상기 디컨볼루션 신경망의 가중치를 결정하는 학습부 및 상기 결정된 컨볼루션 신경망의 가중치를 이용하는 컨볼루션 신경망 및 상기 결정된 디컨볼루션 신경망의 가중치를 이용하는 디컨볼루션의 신경망을 통해 입력 영상으로부터 상기 입력 영상의 분할 맵을 결정하는 분할 맵 결정부를 포함할 수 있다.

Description

객체 인식 장치 및 방법{RECOGNITION APPARATUS AND METHOD}

다양한 실시예들은 객체 인식 장치 및 방법에 관한 것으로서, 더욱 상세하게는 컨볼루션 신경망 및 디컨볼루션 신경망을 이용하여 영상 내의 객체를 인식하는 장치 및 방법에 관한 것이다.

영상 처리 기술의 발전 및 하드웨어 성능의 향상에 따라서 딥 러닝(deep learning)이 패턴 인식 분야에서 중요시되고 있다. 분류 기법으로서 컨볼루션 신경망은 객체 인식, 물체 추적 및 동작 인식 등의 다양한 비주얼 인식 문제에 이용되고 있다.

다양한 실시예들은, 컨볼루션 신경망 및 디컨볼루션 신경망을 이용하여, 영상 내의 객체를 인식하는 장치 및 방법을 제공할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 일 실시예는, 원영상과 상기 원영상의 샘플 분할 맵(segmentation map)을 포함하는 복수의 영상 학습 집합(image learning set)으로부터 특징 추출을 하기 위한 컨볼루션 신경망(convolution network)을 이용하여 상기 원영상의 이미지 특징 벡터를 결정하고, 상기 결정된 이미지 특징 벡터로부터 디컨볼루션 신경망(deconvolution network)을 이용하여 상기 원영상의 분할 맵을 결정하고, 상기 샘플 분할 맵 및 상기 결정된 분할 맵을 이용하여 상기 컨볼루션 신경망의 가중치 및 상기 디컨볼루션 신경망의 가중치를 결정하는 학습부; 및 상기 결정된 컨볼루션 신경망의 가중치를 이용하는 컨볼루션 신경망 및 상기 결정된 디컨볼루션 신경망의 가중치를 이용하는 디컨볼루션의 신경망을 통해 입력 영상으로부터 상기 입력 영상의 분할 맵을 결정하는 분할 맵 결정부를 포함하는, 객체 인식(recognition) 장치를 제공할 수 있다.

일 실시예에 따른 상기 컨볼루션 신경망은, 컨볼루션을 수행하여 적어도 하나 이상의 특징 맵을 생성하기 위한 복수의 컨볼루션 층(convolution layer) 및 상기 컨볼루션 층 사이에서 상기 특징 맵을 다운샘플링(downsampling)을 하기 위한 풀링 층(pooling layer)을 포함하고, 상기 디컨볼루션 신경망은, 디컨볼루션을 수행하여 적어도 하나 이상의 중간(intermediate) 분할 맵을 생성하기 위한 복수의 디컨볼루션 층(deconvolution layer) 및 상기 디컨볼루션 층 사이에서 상기 중간 분할 맵을 업샘플링(upsampling)을 하기 위한 복수의 언풀링 층(unpooling layer)을 포함할 수 있다.

일 실시예에 따른 상기 컨볼루션 신경망의 가중치는, 상기 컨볼루션 층의 컨볼루션 마스크의 계수인 것을 특징으로 하고, 상기 디컨볼루션 신경망의 가중치는, 상기 디컨볼루션 층의 디컨볼루션 마스크의 계수인 것을 특징으로 할 수 있다.

일 실시예에 따른 상기 풀링 층은, 맥스 풀링 층(max pooling layer)인 것을 특징으로 할 수 있다.

일 실시예에 따른 상기 언풀링 층은, 상기 맥스 풀링 층에 대응되는 것을 특징으로 할 수 있다.

일 실시예에 따른 상기 영상 학습 집합은, 상기 원영상에서 하나의 객체만을 추출한 영상 및 상기 추출한 영상의 샘플 분할 맵을 포함할 수 있다.

또한, 본 개시의 다른 실시예는, 원영상과 상기 원영상의 샘플 분할 맵(segmentation map)을 포함하는 복수의 영상 학습 집합(image learning set)으로부터 특징 추출을 하기 위한 컨볼루션 신경망(convolution network)을 이용하여 상기 원영상의 이미지 특징 벡터를 결정하는 단계; 상기 결정된 이미지 특징 벡터로부터 디컨볼루션 신경망(deconvolution network)을 이용하여 상기 원영상의 분할 맵을 결정하는 단계; 상기 샘플 분할 맵 및 상기 결정된 분할 맵을 이용하여 상기 컨볼루션 신경망의 가중치 및 상기 디컨볼루션 신경망의 가중치를 결정하는 단계; 및 상기 결정된 컨볼루션 신경망의 가중치를 이용하는 컨볼루션 신경망 및 상기 결정된 디컨볼루션 신경망의 가중치를 이용하는 디컨볼루션의 신경망을 통해 입력 영상으로부터 상기 입력 영상의 분할 맵을 결정하는 단계를 포함하는, 객체 인식 방법을 제공할 수 있다.

일 실시예에 따른 상기 컨볼루션 신경망은, 컨볼루션을 수행하여 적어도 하나 이상의 특징 맵을 생성하기 위한 복수의 컨볼루션 층(convolution layer) 및 상기 컨볼루션 층 사이에서 상기 특징 맵을 다운샘플링(downsampling)을 하기 위한 풀링 층(pooling layer)을 포함하고, 상기 디컨볼루션 신경망은, 디컨볼루션을 수행하여 적어도 하나 이상의 중간 분할 맵을 생성하기 위한 복수의 디컨볼루션 층(deconvolution layer) 및 상기 디컨볼루션 층 사이에서 중간 분할 맵을 업샘플링(upsampling)을 하기 위한 복수의 언풀링 층(unpooling layer)을 포함할 수 있다.

또한, 본 개시의 다른 실시예는, 원영상과 상기 원영상의 샘플 고해상도 영상(superresolution image)을 포함하는 복수의 영상 학습 집합(image learning set)으로부터 특징 추출을 하기 위한 컨볼루션 신경망(convolution network)을 이용하여 상기 원영상의 이미지 특징 벡터를 결정하고, 상기 결정된 이미지 특징 벡터로부터 디컨볼루션 신경망(deconvolution network)을 이용하여 상기 원영상의 고해상도 영상을 결정하고, 상기 샘플 고해상도 영상 및 상기 결정된 고해상도 영상을 이용하여 상기 컨볼루션 신경망의 가중치 및 상기 디컨볼루션 신경망의 가중치를 결정하는 학습부; 및 상기 결정된 컨볼루션 신경망의 가중치를 이용하는 컨볼루션 신경망 및 상기 결정된 디컨볼루션 신경망의 가중치를 이용하는 디컨볼루션의 신경망을 통해 입력 영상으로부터 상기 입력 영상의 고해상도 영상을 결정하는 고해상도 영상 결정부를 포함하는, 영상 확대 장치를 제공할 수 있다.

또한, 본 개시의 다른 실시예에 따른 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다.

도 1은 일 실시예에 따른, 입력 영상 및 입력 영상의 분할 맵을 나타내는 도면이다.
도 2는 일 실시예에 따른, 객체 인식 장치의 구성을 나타내는 도면이다.
도 3은 다른 실시예에 따른, 객체 인식 장치의 구성을 나타내는 도면이다.
도 4는 일 실시예에 따른, 컨볼루션 신경망의 동작을 설명하기 위해 참조되는 도면이다.
도 5는 일 실시예에 따른, 컨볼루션 층의 동작을 설명하기 위해 참조되는 도면이다.
도 6은 일 실시예에 따른, 풀링 층의 동작을 설명하기 위해 참조되는 도면이다.
도 7은 일 실시예에 따른, 디컨볼루션 신경망의 동작을 설명하기 위해 참조되는 도면이다.
도 8은 일 실시예에 따른, 디컨볼루션 층의 동작을 설명하기 위해 참조되는 도면이다.
도 9는 일 실시예에 따른, 언풀링 층의 동작을 설명하기 위해 참조되는 도면이다.
도 10은 일 실시예에 따른, 분할 맵 결정부의 동작을 설명하기 위해 참조되는 도면이다.
도 11은 일 실시예에 따른, 객체 인식 방법의 흐름도이다.
도 12는 일 실시예에 따른, 영상 확대 장치의 구성을 나타내는 도면이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1은 일 실시예에 따른, 입력 영상 및 입력 영상의 분할 맵을 나타내는 도면이다.

도 1을 참조하면, 객체 인식(recognition) 과정은 주어진 입력 영상(10)에 대해서 입력 영상의 분할 맵(20)을 얻을 수 있다. 객체 인식은 임의의 영상 내에서 객체로 인식된 영역을 기설정된 복수의 부류(class) 중 하나로 인식하는 것을 의미할 수 있다. 객체란 영상 내의 특정한 물체를 의미할 수 있다. 예를 들어, 도 1을 참조하면, 입력 영상(10) 내의 사람, 자전거 등이 객체의 대상이 될 수 있다.

일 실시예에 따를 때, 객체 인식은 학습(learning)을 통하여 수행할 수 있다. 학습에 의한 객체 인식 방법에 의할 경우, 특정 벡터를 포함하는 학습 집합(learning set)을 이용하여 분류기(classifier)를 학습시킨 후, 특정 벡터를 포함하는 임의의 영상을 학습이 완료된 분류기에 입력하면 분류기는 객체로 인식된 영역을 기설정된 복수의 부류 중 어디에 속하는지 판단하여 해당 부류를 출력할 수 있다.

도 2는 일 실시예에 따른, 객체 인식 장치의 구성을 나타내는 도면이다.

도 2를 참조하면, 객체 인식 장치(100)는 입력 영상의 분할 맵을 출력할 수 있다. 일 실시예에 따를 때, 객체 인식 장치(100)는 신경망(network)을 이용할 수 있다. 신경망을 이용한 객체 인식 장치(100)는 학습이 가능하고 일반화 능력이 뛰어나고 병렬 처리가 가능한 특징이 있다. 신경망은 객체 인식, 예측, 평가, 합성 및 제어 등 다양한 분야에 이용될 수 있으며, 한편 객체 인식 장치(100)에 이용되는 신경망은 선형 분류기인 퍼셉트론(perceptron) 및 비선형 분류기인 다층 퍼셉트론(multi-layer perceptron)을 포함할 수 있다.

도 3은 다른 실시예에 따른, 객체 인식 장치의 구성을 나타내는 도면이다.

도 3을 참조하면, 객체 인식 장치(100)는 학습부(110) 및 분할 맵 결정부(120)를 포함할 수 있다. 또한, 학습부(110)는 컨볼루션 신경망(convolution network)(130), 디컨볼루션 신경망(deconvolution network)(140) 및 가중치 결정부(150)를 포함할 수 있다.

학습부(110)는 원영상과 원영상의 샘플 분할 맵(segmentation map)을 포함하는 복수의 영상 학습 집합(image learning set)으로부터 특징 추출을 하기 위한 컨볼루션 신경망(convolution network)을 이용하여 상기 원영상의 이미지 특징 벡터를 결정하고, 상기 결정된 이미지 특징 벡터로부터 디컨볼루션 신경망(deconvolution network)을 이용하여 상기 원영상의 분할 맵을 결정하고, 상기 샘플 분할 맵 및 상기 결정된 분할 맵을 이용하여 상기 컨볼루션 신경망의 가중치 및 상기 디컨볼루션 신경망의 가중치를 결정할 수 있다.

컨볼루션 신경망(130)은 원영상과 원영상의 샘플 분할 맵을 포함하는 복수의 영상 학습 집합을 이용하여 원영상의 이미지 특징 벡터를 결정할 수 있다. 일 실시예에 따른 컨볼루션 신경망(130)은 컨볼루션을 수행하여 적어도 하나 이상의 특징 맵을 생성하기 위한 복수의 컨볼루션 층(convolution layer) 및 복수의 컨볼루션 층 사이에서 특징 맵을 다운샘플링(downsampling)을 하기 위한 풀링 층(pooling layer)을 포함할 수 있다. 일 실시예에 따른 풀링 층은 맥스 풀링 층(max pooling layer)일 수 있다.

디컨볼루션 신경망(140)은 컨볼루션 신경망에서 결정된 이미지 특징 벡터를 이용하여 원영상의 분할 맵을 결정할 수 있다. 일 실시예에 따른 디컨볼루션 신경망(140)은 디컨볼루션을 수행하여 적어도 하나 이상의 중간(intermediate) 분할 맵을 생성하기 위한 복수의 디컨볼루션 층(deconvolution layer) 및 디컨볼루션 층 사이에서 중간 분할 맵을 업샘플링(upsampling)을 하기 위한 복수의 언풀링 층(unpooling layer)을 포함할 수 있다. 일 실시예에 따른 언풀링 층은 맥스 풀링 층에 대응되는 것일 수 있다.

가중치 결정부(150)는 원영상의 샘플 분할 맵 및 디컨볼루션 신경망에서 결정된 분할 맵을 이용하여 컨볼루션 신경망의 가중치 및 디컨볼루션 신경망의 가중치를 결정할 수 있다. 일 실시예에 따른 컨볼루션 신경망의 가중치는 컨볼루션 층의 컨볼루션 마스크의 계수일 수 있고, 또한 디컨볼루션 신경망의 가중치는 디컨볼루션 층의 디컨볼루션 마스크의 계수일 수 있다. 일 실시예에 따른 가중치 결정부(150)는 원영상에서 하나의 객체만을 추출한 영상 및 추출한 영상의 샘플 분할 맵을 포함하는 영상 학습 집합을 이용할 수 있다.

분할 맵 결정부(120)는 가중치 결정부(150)에서 결정된 컨볼루션 신경망의 가중치를 이용하는 컨볼루션 신경망 및 가중치 결정부(150)에서 결정된 디컨볼루션 신경망의 가중치를 이용하는 디컨볼루션의 신경망을 통해 입력 영상으로부터 입력 영상의 분할 맵을 결정할 수 있다.

도 4는 일 실시예에 따른, 컨볼루션 신경망의 동작을 설명하기 위해 참조되는 도면이다.

컨볼루션 신경망(130)은 컨볼루션을 수행하여 적어도 하나 이상의 특징 맵을 생성하기 위한 복수의 컨볼루션 층 및 복수의 컨볼루션 층 사이에서 특징 맵을 다운샘플링을 하기 위한 풀링 층을 포함할 수 있다.

도 4를 참조하면, 일 실시예에 따른 컨볼루션 신경망(130)은 제1 컨볼루션 층(200), 제2 컨볼루션 층(240) 및 풀링 층(220)을 포함할 수 있다. 제1 컨볼루션 층(200) 및 제2 컨볼루션 층(240)은 각각 컨볼루션을 수행하여 적어도 하나 이상의 특징 맵을 생성하며, 제1 컨볼루션 층(200)과 제2 컨볼루션 층(240) 사이에 풀링 층(220)을 포함할 수 있다. 제1 컨볼루션 층(200) 및 제2 컨볼루션 층(240)의 컨볼루션 마스크의 크기, 컨볼루션 마스크의 계수 등은 각각 상이할 수 있다. 한편, 컨볼루션 신경망(130)은 복수의 컨볼루션 층을 포함하므로 제1 컨볼루션 층(200) 및 제2 컨볼루션 층(240) 이외의 적어도 하나 이상의 컨볼루션 층을 포함할 수 있다.

도 5는 일 실시예에 따른, 컨볼루션 층의 동작을 설명하기 위해 참조되는 도면이다.

일 실시예에 따른 컨볼루션 층은 컨볼루션을 수행하여 적어도 하나 이상의 특징 맵을 생성할 수 있다. 컨볼루션 층은 영상의 다양한 특징 추출을 하기 위하여 입력 영상에 컨볼루션을 수행할 수 있다.

도 5를 참조하면, 컨볼루션 층은 입력 영상(202)에 컨볼루션을 수행하여 특징 맵(204)을 생성할 수 있다. 입력 영상(202)은 객체 인식 장치(100)를 학습시키기 위한 원영상, 학습을 마친 후 객체 인식을 위한 임의의 영상, 컨볼루션을 수행하여 얻은 특징 맵 및 풀링 층에서 다운샘플링 된 특징 맵 중 적어도 하나일 수 있다.

도 5를 참조하면, 입력 영상(202)에 대해서 3x3 컨볼루션 마스크(206)를 사용하여 컨볼루션을 수행하면 입력 영상(202)의 해당 영역에 대한 컨볼루션 결과값(208)을 얻을 수 있다. 한편, 일 실시예에 따를 때, 컨볼루션 마스크(206)의 계수는 가중치 결정부(150)에서 결정될 수 있다.

도 6은 일 실시예에 따른, 풀링 층의 동작을 설명하기 위해 참조되는 도면이다.

일 실시예에 따른 풀링 층(220)은 복수의 컨볼루션 층 사이에서 특징 맵을 다운샘플링을 할 수 있다. 다운샘플링을 통해 영상 패턴의 이동, 회전, 크기 변화 등에 대해서 불변성이 확보될 수 있다.

도 6을 참조하면, 풀링 층(220)은 입력 영상(222)에 다운샘플링을 하여 입력 영상(222)의 크기가 줄어든 출력 영상(226)을 생성할 수 있다. 입력 영상(222)은 객체 인식 장치(100)를 학습시키기 위한 원영상, 학습을 마친 후 객체 인식을 위한 임의의 영상 및 컨볼루션을 수행하여 얻은 특징 맵 중 적어도 하나일 수 있다.

일 실시예에 따를 때, 다운샘플링은 맥스 풀링(max pooling)을 사용할 수 있으나, 이에 제한되지 않는다. 맥스 풀링은 각 부분 영역에 대해 최대 값을 가지는 샘플만을 취하고 그 외의 샘플은 제거하는 방법을 통해 영상의 크기를 줄일 수 있다.

도 6을 참조하면, 풀링 층(220)은 입력 영상(222)에 대해서 2x2 맥스 풀링 마스크(232)를 사용하여 다운샘플링을 하면 입력 영상(222)의 해당 영역에 대한 풀링 결과값(236)을 얻을 수 있다. 또한, 스위치 변수 맵(switch variables map)(224)은 맥스 풀링 마스크(232)를 저장할 수 있는데, 이는 풀링 층(220)에서 수행한 맥스 풀링 마스크(232)에 대응되는 언풀링 마스크를 디컨볼루션 신경망의 언풀링 층에서 사용하기 위함이다.

도 7은 일 실시예에 따른, 디컨볼루션 신경망의 동작을 설명하기 위해 참조되는 도면이다.

디컨볼루션 신경망(140)은 디컨볼루션을 수행하여 적어도 하나 이상의 중간 분할 맵을 생성하기 위한 복수의 디컨볼루션 층 및 상기 디컨볼루션 층 사이에서 상기 중간 분할 맵을 업샘플링을 하기 위한 복수의 언풀링 층을 포함할 수 있다.

도 7을 참조하면, 일 실시예에 따른 디컨볼루션 신경망(140)은 제1 디컨볼루션 층(300), 제2 디컨볼루션 층(340) 및 언풀링 층(320)을 포함할 수 있다. 제1 디컨볼루션 층(300) 및 제2 디컨볼루션 층(340)은 각각 디컨볼루션을 수행하여 적어도 하나 이상의 중간 분할 맵을 생성하며, 제1 디컨볼루션 층(300)과 제2 디컨볼루션 층(340) 사이에 언풀링 층(320)을 포함할 수 있다. 제1 디컨볼루션 층(300) 및 제2 디컨볼루션 층(340)의 디컨볼루션 마스크의 크기, 디컨볼루션 마스크의 계수 등은 각각 상이할 수 있다. 한편, 디컨볼루션 신경망(140)은 복수의 디컨볼루션 층을 포함하므로 제1 디컨볼루션 층(300) 및 제2 디컨볼루션 층(340) 이외의 적어도 하나 이상의 디컨볼루션 층을 포함할 수 있다.

도 8은 일 실시예에 따른, 디컨볼루션 층의 동작을 설명하기 위해 참조되는 도면이다.

일 실시예에 따른 디컨볼루션 층은 디컨볼루션을 수행하여 적어도 하나 이상의 중간 분할 맵을 생성할 수 있다. 디컨볼루션 층은 다양한 중간 분할 맵 추출을 하기 위하여 입력 영상에 디컨볼루션을 수행할 수 있다.

도 8을 참조하면, 디컨볼루션 층은 입력 영상(302)에 디컨볼루션을 수행하여 중간 분할 맵(304)을 생성할 수 있다. 입력 영상(302)은 컨볼루션 신경망에서 얻은 이미지 특징 벡터, 디컨볼루션을 수행하여 얻은 중간 분할 맵 및 언풀링 층에서 업샘플링 된 중간 분할 맵일 수 있다.

도 8을 참조하면, 입력 영상(302)에 대해서 3x3 디컨볼루션 마스크(306)를 사용하여 디컨볼루션을 수행하면 입력 영상(302)의 해당 영역에 대한 디컨볼루션 결과값(308)을 얻을 수 있다. 한편, 일 실시예에 따를 때, 디컨볼루션 마스크(306)의 계수는 가중치 결정부(150)에서 결정될 수 있다.

도 9는 일 실시예에 따른, 언풀링 층의 동작을 설명하기 위해 참조되는 도면이다.

일 실시예에 따른 언풀링 층(320)은 복수의 디컨볼루션 층 사이에서 중간 분할 맵을 업샘플링을 할 수 있다. 언풀링 층(320)은 중간 분할 맵으로부터 원영상의 크기를 가지는 분할 맵을 생성하기 위하여 업샘플링을 수행할 수 있다. 언풀링 층(320)은 풀링 층(220)에 대응되는 것을 특징으로 할 수 있으나, 이에 제한되지 않는다.

도 9를 참조하면, 언풀링 층(320)은 입력 영상(326)에 업샘플링을 수행하여 입력 영상(326) 크기 보다 증가한 크기의 출력 영상(322)을 생성할 수 있다. 입력 영상(326)은 컨볼루션 신경망에서 얻은 이미지 특징 벡터, 디컨볼루션을 수행하여 얻은 중간 분할 맵 및 언풀링 층에서 업샘플링 된 중간 분할 맵일 수 있다.

일 실시예에 따를 때, 풀링 층(220)은 맥스 풀링을 사용할 수 있으며 언풀링 층(320)은 맥스 풀링에 대응되는 것을 사용할 수 있으나, 이에 제한되지 않는다.

도 9를 참조하면, 언풀링 층(320)은 도 6의 2x2 맥스 풀링 마스크(232)에 대응되는 언풀링 마스크(336)을 사용할 수 있고, 또한 도 6의 스위치 변수 맵(224)에 대응되는 스위치 변수 맵(324)을 사용할 수 있다. 일 실시예에 따를 때, 도 6의 스위치 변수 맵(224)과 도 9의 스위치 변수 맵(324)는 동일할 수 있다. 도 9를 참조하면, 언풀링 층(320)은 입력 영상(326)에 대해서 2x2 맥스 언풀링 마스크(336)를 사용하여 업샘플링을 하면 입력 영상(326)의 해당 영역에 대한 언풀링 결과값(332)을 얻을 수 있다.

도 3을 참조하면, 가중치 결정부(150)는 원영상의 샘플 분할 맵 및 디컨볼루션 신경망에서 결정된 분할 맵을 이용하여 컨볼루션 신경망의 가중치 및 디컨볼루션 신경망의 가중치를 결정할 수 있다. 일 실시예에 따른 컨볼루션 신경망의 가중치는 컨볼루션 층의 컨볼루션 마스크의 계수일 수 있고, 또한 디컨볼루션 신경망의 가중치는 디컨볼루션 층의 디컨볼루션 마스크의 계수일 수 있다. 일 실시예에 따른 가중치 결정부(150)는 원영상에서 하나의 객체만을 추출한 영상 및 추출한 영상의 샘플 분할 맵을 포함하는 영상 학습 집합을 이용할 수 있다.

일 실시예에 따를 때, 가중치 결정부(150)는 원영상의 샘플 분할 맵과 디컨볼루션 신경망에서 결정된 분할 맵의 차이를 최소화할 수 있는 컨볼루션 신경망의 가중치 및 디컨볼루션 신경망의 가중치를 결정할 수 있다. 예를 들어, 가중치 결정부(150)는 내리막 경사법(gradient descent)을 이용하여 컨볼루션 신경망의 가중치 및 디컨볼루션 신경망의 가중치를 결정할 수 있다. 또한, 가중치 결정부(150)는 나쁜 국소 최적해(poor local optimum)를 방지하기 위해 배치 정규화법(batch normalization)을 이용할 수 있다.

일 실시예에 따를 때, 가중치 결정부(150)는 2단계 학습 방법(two-stage training strategy)을 사용할 수 있다. 2단계 학습 방법은 우선 쉬운 영상 학습 집합을 이용하여 컨볼루션 신경망의 가중치 및 디컨볼루션 신경망의 가중치를 결정하고, 그 다음 원영상의 영상 학습 집합을 이용하여 최종 컨볼루션 신경망의 가중치 및 최종 디컨볼루션 신경망의 가중치를 결정하는 방법을 의미한다. 여기서 쉬운 영상 학습 집합이란 원영상에서 하나의 객체만을 추출한 영상 및 추출한 영상의 샘플 분할 맵을 포함하는 것을 의미할 수 있다.

도 10은 일 실시예에 따른, 분할 맵 결정부의 동작을 설명하기 위해 참조되는 도면이다.

분할 맵 결정부(120)는 도 4 내지 도 6에서 설명한 컨볼루션 신경망의 동작을 동일하게 수행할 수 있다. 또한, 분할 맵 결정부(120)는 도 7 내지 도 9에서 설명한 디컨볼루션 신경망의 동작을 동일하게 수행할 수 있다.

도 10을 참조하면, 일 실시예에 따른 입력 영상은 224x224 크기를 가지고 출력 영상은 입력 영상과 같은 224x224 크기를 가진다. 컨볼루션 신경망은 컨볼루션을 수행하여 적어도 하나 이상의 특징 맵을 생성하기 위한 복수의 컨볼루션 층 및 컨볼루션 층 사이에서 특징 맵을 다운샘플링을 하기 위한 풀링 층을 포함할 수 있고, 디컨볼루션 신경망은 디컨볼루션을 수행하여 적어도 하나 이상의 중간 분할 맵을 생성하기 위한 복수의 디컨볼루션 층 및 디컨볼루션 층 사이에서 중간 분할 맵을 업샘플링을 하기 위한 복수의 언풀링 층을 포함할 수 있다. 컨볼루션 신경망은 가중치 결정부(150)에서 결정된 컨볼루션 신경망의 가중치를 사용하고, 또한 디컨볼루션 신경망은 가중치 결정부(150)에서 결정된 디컨볼루션 신경망의 가중치를 각각 사용한다. 도 10을 참조하면, 풀링 층은 2x2 맥스 풀링 마스크를 사용한다.

분할 맵 결정부(120)는, 학습이 완료되어 컨볼루션 신경망의 가중치 및 디컨볼루션 신경망의 가중치가 결정되었기 때문에, 입력 영상에 대해서 전방 계산 한번으로 분할 맵을 생성할 수 있다.

도 11은 일 실시예에 따른, 객체 인식 방법의 흐름도이다.

단계 S100에서 원영상과 원영상의 샘플 분할 맵을 포함하는 복수의 영상 학습 집합으로부터 특징 추출을 하기 위한 컨볼루션 신경망을 이용하여 원영상의 이미지 특징 벡터를 결정할 수 있다.

단계 S110에서 단계 S100에서 결정된 이미지 특징 벡터로부터 디컨볼루션 신경망을 이용하여 원영상의 분할 맵을 결정할 수 있다.

단계 S120에서 원영상의 샘플 분할 맵 및 단계 S110에서 결정된 분할 맵을 이용하여 컨볼루션 신경망의 가중치 및 디컨볼루션 신경망의 가중치를 결정할 수 있다.

단계 S130에서 단계 S120에서 결정된 컨볼루션 신경망의 가중치를 이용하는 컨볼루션 신경망 및 단계 S120에서 결정된 디컨볼루션 신경망의 가중치를 이용하는 디컨볼루션의 신경망을 통해 입력 영상으로부터 입력 영상의 분할 맵을 결정할 수 있다.

도 12는 일 실시예에 따른, 영상 확대 장치의 구성을 나타내는 도면이다.

도 12를 참조하면, 영상 확대 장치(500)는 입력 영상의 고해상도 영상을 출력할 수 있다. 일 실시예에 따를 때, 영상 확대 장치(500)는 신경망(network)을 이용할 수 있다. 신경망을 이용한 영상 확대 장치(500)는 학습이 가능하고 일반화 능력이 뛰어나고 병렬 처리가 가능한 특징이 있다. 신경망은 객체 인식, 예측, 평가, 합성 및 제어 등 다양한 분야에 이용될 수 있으며, 한편 영상 확대 장치(500)에 이용되는 신경망은 선형 분류기인 퍼셉트론(perceptron) 및 비선형 분류기인 다층 퍼셉트론(multi-layer perceptron)을 포함할 수 있다.

일 실시예에 따를 때, 영상 확대 장치(500)는 학습부 및 고해상도 영상 결정부를 포함할 수 있다. 또한, 학습부는 컨볼루션 신경망, 디컨볼루션 신경망 및 가중치 결정부를 포함할 수 있다.

학습부는 원영상과 원영상의 샘플 고해상도 영상(superresolution image)을 포함하는 복수의 영상 학습 집합(image learning set)으로부터 특징 추출을 하기 위한 컨볼루션 신경망(convolution network)을 이용하여 원영상의 이미지 특징 벡터를 결정하고, 결정된 이미지 특징 벡터 및 디컨볼루션 신경망(deconvolution network)을 이용하여 원영상의 고해상도 영상을 결정하고, 샘플 고해상도 영상 및 결정된 고해상도 영상을 이용하여 컨볼루션 신경망의 가중치 및 상기 디컨볼루션 신경망의 가중치를 결정할 수 있다.

고해상도 영상 결정부는 결정된 컨볼루션 신경망의 가중치를 이용하는 컨볼루션 신경망 및 상기 결정된 디컨볼루션 신경망의 가중치를 이용하는 디컨볼루션의 신경망을 통해 입력 영상으로부터 입력 영상의 고해상도 영상을 결정할 수 있다.

일 실시예에 따른 영상 표시 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상에서 실시예들에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

100 : 객체 인식 장치
110 : 학습부
120 : 분할 맵 결정부
130 : 컨볼루션 신경망
140 : 디컨볼루션 신경망
150 : 가중치 결정부

Claims

원영상과 상기 원영상의 샘플 분할 맵(segmentation map)을 포함하는 복수의 영상 학습 집합(image learning set)으로부터 특징 추출을 하기 위한 컨볼루션 신경망(convolution network)을 이용하여 상기 원영상의 이미지 특징 벡터를 결정하고, 상기 결정된 이미지 특징 벡터로부터 디컨볼루션 신경망(deconvolution network)을 이용하여 상기 원영상의 분할 맵을 결정하고, 상기 샘플 분할 맵 및 상기 결정된 분할 맵을 이용하여 상기 컨볼루션 신경망의 가중치 및 상기 디컨볼루션 신경망의 가중치를 결정하는 학습부; 및
상기 결정된 컨볼루션 신경망의 가중치를 이용하는 컨볼루션 신경망 및 상기 결정된 디컨볼루션 신경망의 가중치를 이용하는 디컨볼루션의 신경망을 통해 입력 영상으로부터 상기 입력 영상의 분할 맵을 결정하는 분할 맵 결정부;
를 포함하는, 객체 인식(recognition) 장치.
제1항에 있어서,
상기 컨볼루션 신경망은,
컨볼루션을 수행하여 적어도 하나 이상의 특징 맵을 생성하기 위한 복수의 컨볼루션 층(convolution layer) 및 상기 컨볼루션 층 사이에서 상기 특징 맵을 다운샘플링(downsampling)을 하기 위한 풀링 층(pooling layer)을 포함하고,
상기 디컨볼루션 신경망은,
디컨볼루션을 수행하여 적어도 하나 이상의 중간(intermediate) 분할 맵을 생성하기 위한 복수의 디컨볼루션 층(deconvolution layer) 및 상기 디컨볼루션 층 사이에서 상기 중간 분할 맵을 업샘플링(upsampling)을 하기 위한 복수의 언풀링 층(unpooling layer)을 포함하는, 객체 인식 장치.
제2항에 있어서,
상기 컨볼루션 신경망의 가중치는,
상기 컨볼루션 층의 컨볼루션 마스크의 계수인 것을 특징으로 하고,
상기 디컨볼루션 신경망의 가중치는,
상기 디컨볼루션 층의 디컨볼루션 마스크의 계수인 것을 특징으로 하는, 객체 인식 장치.
제2항에 있어서,
상기 풀링 층은,
맥스 풀링 층(max pooling layer)인 것을 특징으로 하는, 객체 인식 장치.
제4항에 있어서,
상기 언풀링 층은,
상기 맥스 풀링 층에 대응되는 것을 특징으로 하는, 객체 인식 장치.
제1항에 있어서,
상기 영상 학습 집합은,
상기 원영상에서 하나의 객체만을 추출한 영상 및 상기 추출한 영상의 샘플 분할 맵을 포함하는, 객체 인식 장치.
원영상과 상기 원영상의 샘플 분할 맵(segmentation map)을 포함하는 복수의 영상 학습 집합(image learning set)으로부터 특징 추출을 하기 위한 컨볼루션 신경망(convolution network)을 이용하여 상기 원영상의 이미지 특징 벡터를 결정하는 단계;
상기 결정된 이미지 특징 벡터로부터 디컨볼루션 신경망(deconvolution network)을 이용하여 상기 원영상의 분할 맵을 결정하는 단계;
상기 샘플 분할 맵 및 상기 결정된 분할 맵을 이용하여 상기 컨볼루션 신경망의 가중치 및 상기 디컨볼루션 신경망의 가중치를 결정하는 단계; 및
상기 결정된 컨볼루션 신경망의 가중치를 이용하는 컨볼루션 신경망 및 상기 결정된 디컨볼루션 신경망의 가중치를 이용하는 디컨볼루션의 신경망을 통해 입력 영상으로부터 상기 입력 영상의 분할 맵을 결정하는 단계;
를 포함하는, 객체 인식 방법.
제7항에 있어서,
상기 컨볼루션 신경망은,
컨볼루션을 수행하여 적어도 하나 이상의 특징 맵을 생성하기 위한 복수의 컨볼루션 층(convolution layer) 및 상기 컨볼루션 층 사이에서 상기 특징 맵을 다운샘플링(downsampling)을 하기 위한 풀링 층(pooling layer)을 포함하고,
상기 디컨볼루션 신경망은,
디컨볼루션을 수행하여 적어도 하나 이상의 중간(intermediate) 분할 맵을 생성하기 위한 복수의 디컨볼루션 층(deconvolution layer) 및 상기 디컨볼루션 층 사이에서 중간 분할 맵을 업샘플링(upsampling)을 하기 위한 복수의 언풀링 층(unpooling layer)을 포함하는, 객체 인식 방법.
제8항에 있어서,
상기 컨볼루션 신경망의 가중치는,
상기 컨볼루션 층의 컨볼루션 마스크의 계수인 것을 특징으로 하고,
상기 디컨볼루션 신경망의 가중치는,
상기 디컨볼루션 층의 디컨볼루션 마스크의 계수인 것을 특징으로 하는, 객체 인식 방법.
제8항에 있어서,
상기 풀링 층은,
맥스 풀링 층(max pooling layer)인 것을 특징으로 하는, 객체 인식 방법.
제10항에 있어서,
상기 언풀링 층은,
상기 맥스 풀링 층에 대응되는 것을 특징으로 하는, 객체 인식 방법.
제7항에 있어서,
상기 영상 학습 집합은,
상기 원영상에서 하나의 객체만을 추출한 영상 및 상기 추출한 영상의 샘플 분할 맵을 포함하는, 객체 인식 방법.
원영상과 상기 원영상의 샘플 고해상도 영상(superresolution image)을 포함하는 복수의 영상 학습 집합(image learning set)으로부터 특징 추출을 하기 위한 컨볼루션 신경망(convolution network)을 이용하여 상기 원영상의 이미지 특징 벡터를 결정하고, 상기 결정된 이미지 특징 벡터로부터 디컨볼루션 신경망(deconvolution network)을 이용하여 상기 원영상의 고해상도 영상을 결정하고, 상기 샘플 고해상도 영상 및 상기 결정된 고해상도 영상을 이용하여 상기 컨볼루션 신경망의 가중치 및 상기 디컨볼루션 신경망의 가중치를 결정하는 학습부; 및
상기 결정된 컨볼루션 신경망의 가중치를 이용하는 컨볼루션 신경망 및 상기 결정된 디컨볼루션 신경망의 가중치를 이용하는 디컨볼루션의 신경망을 통해 입력 영상으로부터 상기 입력 영상의 고해상도 영상을 결정하는 고해상도 영상 결정부;
를 포함하는, 영상 확대 장치.
제7항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.