KR101825689B1 - 객체 인식 장치, 이의 학습 방법 및 이를 이용한 객체 인식 방법 - Google Patents

Abstract

본 발명은 객체 인식 기술에 관한 것으로, 본 발명의 실시 예에 따른 객체 인식 장치는, 입력되는 영상에서 서로 다른 특징을 추출하고, 추출된 특징의 평균을 계산하고, 계산된 특징의 평균이 기 저장된 특징 평균 정보에 해당하는지를 판단하는 다수의 특징 판별부; 및 외부로부터 제공되는 영상에 대한 객체 인식을 수행하며, 상기 다수의 특징 판별부와 각각 매칭되는 다수의 특징 학습기를 포함하고, 상기 다수의 특징 판별부는, 계산된 특징의 평균이 상기 특징 평균 정보에 해당하면, 입력된 영상을 매칭되는 특징 학습기로 제공하는 것을 특징으로 한다.

Description

객체 인식 장치, 이의 학습 방법 및 이를 이용한 객체 인식 방법{Object recognition apparatus, learning method thereof and object recognition method using the same}

본 발명은 객체 인식 기술에 관한 것으로, 상세하게는 객체 인식의 대상이 되는 학습 영상을 특징별로 분류하고, 특징별로 분류된 학습 영상과 해당 특징을 이용하여 학습하여 특징별 학습기를 생성함으로써, 객체 인식 속도를 향상시킬 수 있는 객체 인식 장치, 이의 학습 방법 및 이를 이용한 객체 인식 방법에 관한 것이다.

영상 인식의 성능을 높이기 위한 방법으로, 다양한 특징을 이용하는 방법이 사용되고 있는데, 특징의 개수가 많을수록 인식 성능은 향상되는 경향이 있다. 그러나, 학습하고자 하는 영상의 개수와 더불어 많은 수의 특징은 영상 인식기의 속도를 저하시키는 요인으로 작용한다.

학습 과정은 대부분 오프라인에서 이루어지기 때문에, 학습 영상의 개수는 실제 학습기가 동작하는 상황에서 속도 저하의 직접적인 요인이 되지는 않지만, 특징의 개수는 학습기 속도 저하의 직접적인 요인이 된다.

종래에는 영상 학습기가 다수의 학습 영상을 이용하여 다양한 특징을 추출한 후, 추출한 특징을 하나로 결합하여 학습하는 학습 과정을 수행한 후, 학습을 수행한 영상 학습기에 테스트 영상을 적용하여 영상 학습기를 테스트하는 과정이 이루어진다.

일반적으로 학습이 전체 특징을 하나로 결합하여 사용하는 구조이기 때문에, 테스트 단계에서도 모든 특징을 추출하여 사용해야 하며, 이에 따라 테스트 속도 저하가 발생한다.

따라서, 특징을 추출하여 영상을 인식하는 방법에 있어서, 특징과 학습 영상을 효율적으로 활용하여 인식 성능을 저하시키지 않으면서도 영상 인식 속도 및 테스트 속도를 향상시킬 수 있는 방법이 필요한 실정이다.

따라서, 본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 본 발명의 목적은, 객체 인식의 대상이 되는 학습 영상을 특징별로 분류하고, 특징별로 분류된 학습 영상과 해당 특징을 이용하여 학습하여 특징별 학습기를 생성함으로써, 객체 인식 속도를 향상시킬 수 있는 객체 인식 장치, 이의 학습 방법 및 이를 이용한 객체 인식 방법을 제공함에 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 실시 예에 따른 객체 인식 장치는, 입력되는 영상에서 서로 다른 특징을 추출하고, 추출된 특징의 평균을 계산하고, 계산된 특징의 평균이 기 저장된 특징 평균 정보에 해당하는지를 판단하는 다수의 특징 판별부; 및 외부로부터 혹은 상위 구성으로부터 입력되는 영상에 대한 객체 인식을 수행하며, 상기 다수의 특징 판별부와 각각 매칭되는 다수의 특징 학습기를 포함하고, 상기 다수의 특징 판별부는, 계산된 특징의 평균이 상기 특징 평균 정보에 해당하면, 입력된 영상을 매칭되는 특징 학습기로 제공하며, 상기 다수의 특징 판별부 중 최하위 특징 판별부는 영상이 입력되면, 입력되는 영상을 매칭되는 특징 학습기로 제공하는 것을 특징으로 한다.

상기 다수의 특징 판별부 중 최상위 특징 판별부에서 최하위 특징 판별부 전단의 특징 판별부는, 계산된 특징의 평균이 상기 특징 평균 정보에 해당하지 않으면, 다음 단의 특징 판별부로 영상을 제공하는 것을 특징으로 한다.

상기 다수의 특징 판별부 중 최하위 특징 판별부는 영상이 입력되면, 입력되는 영상을 매칭되는 특징 학습기로 제공하는 것을 특징으로 한다.

상기 다수의 특징 판별부에 기 저장된 특징 평균 정보는, 학습 과정에서 입력되는 포지티브 학습 영상과 네거티브 학습 영상에서 추출되는 특징의 평균, 혹은 상기 포지티브 및 네거티브 학습 영상을 분류하여 획득되는 하위 그룹에서 추출되는 특징의 평균인 것을 특징으로 한다.

상기 다수의 특징 학습기는, 상기 학습 과정에서 추출되는 특징, 추출되는 특징의 평균을 기반으로 분류되는 하위 그룹 중 포지티브 학습 영상의 하위 그룹의 True-positive 영상 및 네거티브 학습 영상의 하위 그룹의 True-negative 영상을 기반으로 학습하여 생성되는 것을 특징으로 한다.

본 발명의 실시 예에 따른 객체 인식용 객체 인식 장치의 학습 방법은, 포지티브 학습 영상과 네거티브 학습 영상이 수신되면, 학습 영상 각각에 대한 제 1 특징의 평균을 계산하는 단계; 계산된 제 1 특징 평균을 기반으로 상기 포지티브 및 네거티브 학습 영상을 각각 하위 그룹으로 분류하는 단계; 및 상기 포지티브 학습 영상의 하위 그룹 중 상기 제 1 특징 평균을 기반으로 정상 분류가 가능한 제 1 그룹, 상기 네거티브 학습 영상의 하위 그룹 중 상기 제 1 특징 평균을 기반으로 정상 분류가 가능한 제 2 그룹 및 상기 제 1 특징을 기반으로 학습하여 제 1 특징 학습기를 생성하는 단계를 포함한다.

상기 제 1 특징 학습기를 생성한 후, 상기 포지티브 학습 영상의 하위 그룹 중 제 1 그룹 이외의 하위 그룹 및 상기 네거티브 학습 영상의 하위 그룹 중 제 2 그룹 이외의 하위 그룹에 대한 분류가 필요한지를 판단하는 단계; 및 하위 그룹에 대한 분류가 필요하다고 판단되면, 상기 포지티브 학습 영상 및 상기 네거티브 학습 영상 각각의 나머지 하위 그룹에 대한 분류를 수행하는 단계를 더 포함한다.

상기 나머지 하위 그룹에 대한 분류를 수행하는 단계는, 상기 포지티브 학습 영상의 나머지 하위 그룹에 대한 제 2 특징의 평균 및 상기 네거티브 학습 영상의 나머지 하위 그룹에 대한 제 2 특징의 평균을 계산하는 단계; 계산된 제 2 특징 평균을 기반으로, 상기 포지티브 학습 영상의 나머지 하위 그룹 및 상기 네거티브 학습 영상의 나머지 하위 그룹을 하위 그룹으로 분류하는 단계; 및 상기 포지티브 학습 영상의 나머지 하위 그룹 중 상기 제 2 특징 평균을 기반으로 정상 분류가 가능한 제 3 그룹, 상기 네거티브 학습 영상의 나머지 그룹 중 상기 제 2 특징을 기반으로 정상 분류가 가능한 제 4 그룹 및 상기 제 2 특징을 기반으로 학습하여 제 2 특징 학습기를 생성하는 단계를 포함한다.

본 발명의 실시 예에 따른 객체 인식용 객체 인식 장치를 이용한 객체 인식 방법은, 외부로부터 영상이 입력되면, 최상위 특징 판별부가 영상에서 제 1 특징을 추출하고, 추출된 제 1 특징에 대한 평균을 계산하는 단계; 상기 최상위 특징 판별부가 제 1 특징 평균과 기 저장된 제 1 특징 평균 정보를 비교하여, 상기 제 1 특징 평균이 상기 제 1 특징 평균 정보에 해당하는지를 판단하는 단계; 및 상기 제 1 특징 평균이 상기 제 1 특징 평균 정보에 해당하면, 최상위 특징 학습기가 상기 최상위 특징 판별부로부터 제공되는 영상에 대한 객체 인식을 수행하는 단계를 포함한다.

상기 제 1 특징 평균이 상기 제 1 특징 평균 정보에 해당하지 않으면, 상기 최상위 특징 판별부가 다음 단의 특징 판별부로 영상을 제공하는 단계; 상기 다음 단의 특징 판별부가 최하위 특징 판별부인지를 판단하는 단계; 및 상기 다음 단의 특징 판별부가 상기 최하위 특징 판별부인 경우, 상기 다음 단의 특징 판별부에 매칭되는 특징 학습기가 상기 다음 단의 특징 판별부로부터 제공되는 영상에 대한 객체 인식을 수행하는 단계를 더 포함한다.

상기 다음 단의 특징 판별부가 상기 최하위 특징 판별부가 아닌 경우, 상기 다음 단의 특징 판별부가 전단의 특징 판별부로부터 제공되는 영상에서 관련 특징을 추출하고, 추출된 관련 특징에 대한 평균을 계산하는 단계; 상기 다음 단의 특징 판별부가 계산된 관련 특징 평균과 기 저장된 관련 특징 평균 정보를 비교하여, 상기 관련 특징 평균이 상기 관련 특징 평균 정보에 해당하는지를 판단하는 단계; 및 상기 관련 특징 평균이 상기 관련 특징 평균 정보에 해당하면, 상기 다음 단의 특징 판별부에 매칭되는 특징 학습기가 상기 다음 단의 특징 판별부로부터 제공되는 영상에 대한 객체 인식을 수행하는 단계를 더 포함한다.

상기 관련 특징 평균이 상기 관련 특징 평균 정보에 해당하지 않으면, 상기 다음 단의 특징 판별부가 영상을 자신의 다음 단의 특징 판별부로 제공하는 단계를 더 포함한다.

본 발명에 따르면, 객체 인식의 대상이 되는 학습 영상을 특징별로 분류하고, 특징별로 분류된 학습 영상과 해당 특징을 이용하여 학습하여 특징별 학습기를 생성함으로써, 객체 인식 속도를 향상시킬 수 있는 객체 인식용 객체 인식 장치, 이의 학습 방법 및 이를 이용한 객체 인식 방법이 제공된다.

따라서, 외부로부터 입력되는 영상에 대한 모든 특징을 추출하여 객체 인식에 이용하는 경우에는 객체 인식에 많은 시간이 소요되나, 본 발명에서와 같이 학습을 통해 특징별로 분리된 다수의 특징 판별부 및 특징 학습기를 이용하면, 객체 인식에 이용되는 특징의 개수를 줄일 수 있어, 객체 인식 속도를 향상시킬 수 있다는 장점이 있다.

또한, 본 발명에 있어서의 특징 판별부 및 특징 학습기는 학습 과정에서 각각의 특징과 성능에 최적화되도록 생성되기 때문에 객체 인식 성능도 향상시킬 수 있는 장점이 있다.

그리고, 본 발명에서 제안되는 객체 인식 장치는 객체 인식을 활용하는 지능형/무인 자동차, 로봇, 보안/감시, 의료 등 다양한 분야에 폭넓게 활용될 수 있다.

도 1a 내지 1d는 본 발명의 실시 예에 따른 객체 인식 장치가 학습을 수행하는 과정을 설명하기 위한 도면들이다.
도 2는 본 발명의 바람직한 실시 예에 따른 객체 인식 장치의 학습 과정을 순차적으로 도시한 플로우챠트이다.
도 3은 본 발명의 바람직한 실시 예에 따른 객체 인식 장치의 구성을 도시한 도면이다.
도 4는 본 발명의 바람직한 실시 예에 따른 객체 인식용 객체 인식 장치를 이용하여 객체 인식을 수행하는 과정을 도시한 플로우챠트이다.

본문에 개시되어 있는 본 발명의 실시 예들에 대해서, 특정한 구조적 내지 기능적 설명들은 단지 본 발명의 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명의 실시 예들은 다양한 형태로 실시될 수 있으며 본문에 설명된 실시 예들에 한정되는 것으로 해석되어서는 안 된다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위로부터 이탈되지 않은 채 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 “직접 연결되어” 있다거나 “직접 접속되어” 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 “~사이에”와 “바로 ~사이에” 또는 “~에 이웃하는”과 “~에 직접 이웃하는” 등도 마찬가지로 해석되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, “포함하다” 또는 “가지다” 등의 용어는 개시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

한편, 어떤 실시 예가 달리 구현 가능한 경우에 특정 블록 내에 명기된 기능 또는 동작이 순서도에 명기된 순서와 다르게 일어날 수도 있다. 예를 들어, 연속하는 두 블록이 실제로는 실질적으로 동시에 수행될 수도 있고, 관련된 기능 또는 동작에 따라서는 상기 블록들이 거꾸로 수행될 수도 있다.

이하, 본 발명에서 제안하는 객체 인식 장치, 이의 학습 방법 및 이를 이용한 객체 인식 방법에 대하여 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명의 실시 예에 따른 객체 인식 장치의 구성 및 그 동작에 대해서 살펴보기에 앞서, 본 발명의 실시 예에 따른 객체 인식 장치의 학습 과정에 대해서 살펴보기로 한다.

도 1a 내지 1d는 본 발명의 실시 예에 따른 객체 인식 장치가 학습을 수행하는 과정을 설명하기 위한 도면들이다.

본 발명의 객체 인식 장치는 객체 인식의 대상이 되는 포지티브(positive) 학습 영상과 포지티브 학습 영상에 대한 대조군인 네거티브(negative) 학습 영상이 입력되면, 포지티브 및 네거티브 학습 영상 각각에 대한 제 1 특징의 평균을 계산한다.

즉, 상기 객체 인식 장치는 포지티브 학습 영상에서 제 1 특징을 추출하고, 추출된 제 1 특징에 대한 평균을 계산하고, 네거티브 학습 영상에서 제 1 특징을 추출하고, 추출된 제 1 특징에 대한 평균을 계산한다.

이때, 상기 객체 인식 장치는 사용하고자 하는 다양한 특징들 중 가장 성능이 좋은 특징을 제 1 특징으로서 추출한다.

이후, 상기 객체 인식 장치는 계산된 제 1 특징 평균을 기반으로 포지티브 학습 영상과 네거티브 학습 영상을 분류한다.

즉, 상기 객체 인식 장치는 포지티브 학습 영상용 제 1 특징 평균을 기반으로 포지티브 학습 영상을 분류하고, 네거티브 학습 영상용 제 1 특징 평균을 기반으로 네거티브 학습 영상을 분류한다.

도 1(a)에는 포지티브 학습 영상용 제 1 특징 평균을 기반으로 포지티브 학습 영상이 A그룹과 B그룹으로 분류되고, 네거티브 학습 영상용 제 1 특징 평균을 기반을 포지티브 학습 영상이 C그룹과 D그룹으로 분류된 경우의 예가 도시되어 있다.

이때, 상기 객체 인식 장치는 sum of difference error, sum of squared error, sum of absolute difference error 등을 이용하여 포지티브 학습 영상 및 네거티브 학습 영상을 분류할 수 있다.

즉, 상기 객체 인식 장치는 제 1 특징의 평균에 비하여 많이 벗어나는 특성을 갖는 학습 영상들을 분리하는 것이다.

도 1(a)에 있어서, A그룹은 true positive(참을 참으로 분류), B그룹은 false negative(참을 거짓으로 분류), C그룹은 true negative(거짓을 거짓으로 분류), D그룹은 false positive(거짓을 참으로 분류)로 볼 수 있다.

즉, A그룹과 C그룹은 제 1 특징을 기반으로 정상적으로 분류될 수 있으나, B그룹과 D그룹은 제 1 특징을 기반으로 잘 분류될 가능성이 낮기 때문에, B그룹과 D그룹은 다른 특징을 사용하는 것이 바람직하다.

이에, 도 1(b)에 도시된 바와 같이, 상기 객체 인식 장치는 포지티브 학습 영상의 A그룹, 네거티브 학습 영상의 C그룹 및 제 1 특징을 기반으로 학습하여 제 1 특징 학습기를 생성한다.

이후, 상기 객체 인식 장치는 B그룹의 영상 및 D그룹의 영상 각각에 대한 제 2 특징의 평균을 계산한다. 여기서, 제 2 특징은 제 1 특징과는 다른 특징을 나타낸다.

즉, 상기 객체 인식 장치는 포지티브 학습 영상의 B그룹에서 제 2 특징을 추출하고, 추출된 제 2 특징에 대한 평균을 계산하고, 네거티브 학습 영상의 D그룹에서 제 2 특징을 추출하고, 추출된 제 2 특징에 대한 평균을 계산한다.

이후, 상기 객체 인식 장치는 계산된 제 2 특징 평균을 기반으로 포지티브 학습 영상의 B그룹과 네거티브 학습 영상의 D그룹을 하위 그룹으로 분류한다.

즉, 상기 객체 인식 장치는 포지티브 학습 영상용 제 2 특징 평균을 기반으로 포지티브 학습 영상의 B그룹을 분류하고, 네거티브 학습 영상용 제 2 특징 평균을 기반으로 네거티브 학습 영상의 D그룹을 분류한다.

도 1(c)에는 포지티브 학습 영상용 제 2 특징 평균 및 네거티브 학습용 제 2 특징 평균을 기반으로 B그룹 및 D그룹을 하위 그룹으로 분류한 경우의 예가 도시되어 있다.

이때, 상기 객체 인식 장치는 sum of difference error, sum of squared error, sum of absolute difference error 등을 이용하여 포지티브 학습 영상 및 네거티브 학습 영상을 분류할 수 있다.

도 1(c)에 도시된 바와 같이, 객체 인식 장치는 포지티브 학습 영상용 제 2 특징 평균 및 네거티브 학습용 제 2 특징 평균을 기반으로 B그룹을 B1 그룹과 B2 그룹으로 분류하고, D그룹을 D1 그룹과 D2 그룹으로 분류할 수 있다.

도 1(c)에 있어서, B1 그룹은 true positive(참을 참으로 분류), B2 그룹은 false negative(참을 거짓으로 분류), D1 그룹은 true negative(거짓을 거짓으로 분류), D2 그룹은 false positive(거짓을 참으로 분류)로 볼 수 있다.

그리고, 도 1(d)에 도시된 바와 같이, 상기 객체 인식 장치는 포지티브 학습 영상의 B1 그룹, 네거티브 학습 영상의 D 그룹 및 제 2 특징을 기반으로 학습하여 제 2 특징 학습기를 생성한다.

이와 같이 그룹을 하위 그룹으로 분류하는 과정을 통하여, 본 발명의 객체 인식 장치는 특징별 n개의 학습기를 생성할 수 있다. 즉, 본 발명의 객체 인식 장치는 특징별 n개의 학습기를 포함한다.

이하에서는, 본 발명의 실시 예에 따른 객체 인식 장치가 학습을 수행하는 과정을 순차적으로 도시하고 있는 도 2를 참조하여, 객체 인식 장치의 학습 과정을 단계적으로 살펴보기로 한다.

도 2는 본 발명의 바람직한 실시 예에 따른 객체 인식 장치의 학습 과정을 순차적으로 도시한 플로우챠트이다.

도 2를 참조하면, 포지티브 학습 영상 및 네거티브 학습 영상이 입력되면(S200), 객체 인식 장치는 학습 영상 각각에 대한 제 n(n=1) 특징의 평균을 계산한다(S210).

이때, 상기 단계 S210에서, 객체 인식 장치는 포지티브 학습 영상에서 제 n 특징을 추출하고, 추출된 제 n 특징의 평균을 계산하고, 네거티브 학습 영상에서 제 1 특징을 추출하고, 추출된 제 n 특징의 평균을 계산한다.

상기 단계 S210 이후, 객체 인식 장치는 계산된 제 n 특징 평균을 기반으로 포지티브 및 네거티브 학습 영상을 두 그룹으로 각각 분류한다(S220).

즉, 상기 단계 S220에서, 객체 인식 장치는 포지티브 학습 영상용 제 n 특징 평균을 기반으로 포지티브 학습 영상을 두 그룹(True-positive 영상, False-negative 영상)으로 분류하고, 네거티브 학습 영상용 제 n 특징 평균을 기반으로 네거티브 학습 영상을 두 그룹(True-negative 영상, False-positive 영상)으로 분류한다.

상기 단계 S220 이후, 객체 인식 장치는 분류된 영상 중 포지티브 학습 영상의 True-positive 영상과 네거티브 학습 영상의 True-negative 영상, 및 제 n 특징을 기반으로 학습하여 제 n 특징 학습기를 생성한다(S230).

상기 단계 S230 이후, 객체 인식 장치는 분류된 영상 중 포지티브 학습 영상의 False-negative 영상과 네거티브 학습 영상의 False-positive 영상 각각에 대한 분류가 필요한지를 판단한다(S240).

상기 단계 S240에서의 판단 결과, 분류가 필요한 것으로 판단하면(S240-예), 객체 인식 장치는 분류된 영상 중 포지티브 학습 영상의 False-negative 영상과 네거티브 학습 영상의 False-positive 영상 각각에 대한 제 n(n=n+1) 특징의 평균을 계산한다(S250).

그리고, 상기 단계 S250 이후, 객체 인식 장치는 단계 S220으로 피드백하여, 계산된 제 n(n=n+1) 특징 평균을 기반으로 포지티브 및 네거티브 학습 영상을 두 그룹으로 각각 분류한다.

한편, 상기 단계 S240에서의 판단 결과, 분류가 필요하지 않은 것으로 판단하면(S240-아니오), 객체 인식 장치는 학습 과정을 종료한다.

따라서, 본 발명의 객체 인식 장치는 입력된 포지티브 학습 영상 및 네거티브 학습 영상에 대해 하위 그룹으로의 분류가 필요 없을 때까지 상기 단계 S220 내지 250를 반복한다.

이상에서는 본 발명의 바람직한 실시 예에 따른 객체 인식 장치의 학습 과정에 대해서 살펴보았다. 이하에는 도 1 및 2와 같은 학습 과정을 거쳐 생성된 객체 인식 장치의 구성 및 동작에 대해서 살펴보기로 한다.

도 3은 본 발명의 바람직한 실시 예에 따른 객체 인식 장치의 구성을 도시한 도면이다.

도 3에 도시된 객체 인식 장치(300)는 도 1 내지 2를 참조하여 살펴본 바와 같은 학습 과정을 거쳐 구현될 수 있는 것으로서, 다수의 특징 판별부(310-1 ~ 310-n) 및 상기 다수의 특징 판별부(310-1 ~ 310-n) 각각에 연결되는 특징 학습기(330-1 ~ 330-n)로 구성된다.

상기 다수의 특징 판별부(310-1 ~ 310-n)는 도 1 및 2를 참조하여 살펴본 바와 같은 학습 과정을 통해, 포지티브 학습 영상 및 네거티브 학습 영상에서 추출된, 즉 학습을 통해 획득된 특징별 평균 정보를 기 저장하고 있다.

예를 들어, 제 1 특징 판별부(310-1)는 제 1 특징의 평균과 관련된 정보(제 1 특징 평균 정보)을 저장하고 있고, 제 2 특징 판별부(310-2)는 제 2 특징 평균 정보를 저장하고 있고, 제 3 특징 판별부(310-3)는 제 3 특징 평균 정보를 저장하고 있으며, 제 n 판별부(310-n)는 제 n 특징 평균 정보를 저장하고 있다.

그리고, 상기 다수의 특징 판별부(310-1 ~ 310-n)는 외부로부터 혹은 상위 구성으로부터 입력되는 영상에서 추출되는 특징별 평균을 계산하여, 기 저장된 특징별 평균 정보에 해당하면, 대응하는 특징 학습기로 영상을 제공한다.

구체적으로, 최상위 특징 판별부인 제 1 특징 판별부(310-1)는 외부로부터 입력되는 영상에서 제 1 특징을 추출하고, 추출된 제 1 특징의 평균을 계산하여, 계산된 제 1 특징의 평균이 기 저장된 제 1 특징 평균 정보에 해당하면, 영상을 제 1 특징 학습기(330-1)로 제공한다.

그리고, 상기 제 1 특징 판별부(310-1)는 계산된 제 1 특징의 평균이 기 저장된 제 1 특징 평균 정보에 해당하지 않으면, 영상을 하위 구성인 제 2 특징 판별부(310-2)로 제공한다.

상기 제 2 특징 판별부(310-2)는 상위 구성인 제 1 특징 판별부(310-1)로부터 제공되는 영상에서 제 2 특징을 추출하고, 추출된 제 2 특징의 평균을 계산하여, 계산된 제 2 특징의 평균이 기 저장된 제 2 특징 평균 정보에 해당하면, 영상을 제 2 특징 학습기(330-2)로 제공한다.

그리고, 상기 제 2 특징 판별부(310-2)는 계산된 제 2 특징의 평균이 기 저장된 제 2 특징 평균 정보에 해당하지 않으면, 영상을 하위 구성인 제 3 특징 판별부(310-3)로 제공한다.

이와 같은 과정을 거쳐, 최하위 특징 판별부인 제 n 특징 판별부(310-n)는 상위 구성인 제 n-1 특징 판별부(310-(n-1))로부터 영상이 입력되면, 입력되는 영상을 제 n 특징 학습기(330-n)로 제공한다.

한편, 상기 다수의 특징 학습기(330-1 ~ 330-n)는 자신과 각각 대응되는 특징 판별부(310-1 ~ 310-n)로부터 제공되는 영상을 수신하고, 수신한 영상에 대한 객체 인식을 수행한다.

따라서, 외부로부터 입력되는 영상에 대한 모든 특징을 추출하여 객체 인식에 이용하는 경우에는 객체 인식에 많은 시간이 소요되나, 본 발명에서와 같이 학습을 통해 특징별로 분리된 다수의 특징 판별부 및 특징 학습기를 이용하면, 객체 인식에 이용되는 특징의 개수를 줄일 수 있어, 객체 인식 속도를 향상시킬 수 있다는 장점이 있다.

또한, 본 발명에 있어서의 특징 판별부 및 특징 학습기는 학습 과정에서 각각의 특징과 성능에 최적화되도록 생성되기 때문에 객체 인식 성능도 향상시킬 수 있는 장점이 있다.

그리고, 본 발명에서 제안되는 객체 인식 장치는 객체 인식을 활용하는 지능형/무인 자동차, 로봇, 보안/감시, 의료 등 다양한 분야에 폭넓게 활용될 수 있다.

도 4는 본 발명의 바람직한 실시 예에 따른 객체 인식용 객체 인식 장치를 이용하여 객체 인식을 수행하는 과정을 도시한 플로우챠트이다.

도 4에 도시된 과정은 도 1 내지 3을 참조하여 살펴본 바와 같은 객체 인식 장치에 의해 수행될 수 있는 것으로서, 외부로부터 영상이 입력되면(S400), 제 1 판별부(310-1)가 영상에서 제 1 특징을 추출하고, 추출된 제 1 특징에 대한 평균을 계산한다(S410).

상기 단계 S410 이후, 제 1 특징 판별부(310-1)는 계산된 제 1 특징 평균과 기 저장된 제 1 특징 평균 정보를 비교하여(S420), 계산된 제 1 특징 평균이 제 1 특징 평균 정보에 해당하는지를 판단한다(S430).

상기 단계 S430에서의 판단 결과, 계산된 제 1 특징 평균이 제 1 특징 평균 정보에 해당하면(S430-예), 제 1 특징 판별부(310-1)는 자신과 매칭되는 제 1 특징 학습기(330-1)로 영상을 제공하여, 제 1 특징 학습기(330-1)가 영상에 대한 객체 인식을 수행하도록 한다(S440).

반면, 상기 단계 S430에서의 판단 결과, 계산된 제 1 특징 평균이 제 1 특징 평균 정보에 해당하지 않으면(S430-아니오), 제 1 특징 판별부(310-1)는 다음 단의 특징 판별부(310-2)로 영상을 제공한다(S450).

상기 단계 S450에 따라 영상을 제공받은 다음 단의 특징 판별부(310-2)는 자신이 최하위 특징 판별부인지를 판단하고(S460), 판단 결과, 자신이 최하위 특징 판별부인 것으로 판단하면(S460-예), 다음 단의 특징 판별부(310-2)는 자신과 매칭되는 특징 학습기로 영상을 제공하여, 영상에 대한 객체 인식을 수행하도록 한다(S470).

반면, 상기 단계 S460에서의 판단 결과, 자신이 최하위 특징 판별부가 아닌 것으로 판단하면(S460-아니오), 다음 단의 특징 판별부(310-2)는 수신한 영상에서 관련 특징을 추출하고, 추출된 관련 특징에 대한 평균을 계산하고(S480), 계산된 관련 특징 평균과 기 저장된 관련 특징 평균 정보를 비교하여(S490), 계산된 관련 특징 평균이 관련 특징 평균 정보에 해당하는지를 판단한다(S500).

상기 단계 S500에서의 판단 결과, 계산된 관련 특징 평균이 관련 특징 평균 정보에 해당하는 것으로 판단하면(S500-예), 다음 단의 특징 판별부(310-2)는 매칭된 특징 학습기로 영상을 제공하여, 영상에 대한 객체 인식을 수행하도록 한다(S510).

반면, 상기 단계 S500에서의 판단 결과, 계산된 관련 특징 평균이 관련 특징 평균 정보에 해당하지 않는 것으로 판단하면(S500-아니오), 다음 단의 특징 판별부(310-2)는 단계 S450로 피드백한다.

이상에서 설명한 본 발명의 실시 예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 기능 혹은 모든 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

이상에서와 같이, 본 발명에 따른 객체 인식용 객체 인식 장치, 이의 학습 방법 및 이를 이용한 객체 인식 방법을 실시 예에 따라 설명하였지만, 본 발명의 범위는 특정 실시 예에 한정되는 것은 아니며, 본 발명과 관련하여 통상의 지식을 가진 자에게 자명한 범위 내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있다.

따라서, 본 발명에 기재된 실시 예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

300 : 객체 인식 장치
310-1 ~ 310-n : 특징 판별부
330-1 ~ 330-n : 특징 학습기

Claims (12)

1. 입력되는 영상에서 서로 다른 특징을 추출하고, 추출된 특징의 평균을 계산하고, 계산된 특징의 평균이 기 저장된 특징 평균 정보에 해당하는지를 판단하는 다수의 특징 판별부; 및
   외부로부터 혹은 상위 구성으로부터 입력되는 영상에 대한 객체 인식을 수행하며, 상기 다수의 특징 판별부와 각각 매칭되는 다수의 특징 학습기를 포함하고,
   상기 다수의 특징 판별부는, 계산된 특징의 평균이 상기 특징 평균 정보에 해당하면, 입력된 영상을 매칭되는 특징 학습기로 제공하며, 상기 다수의 특징 판별부 중 최하위 특징 판별부는 영상이 입력되면, 입력되는 영상을 매칭되는 특징 학습기로 제공하고,
   상기 다수의 특징 학습기는, 학습 과정에서 입력되는 포지티브 학습 영상과 네거티브 학습 영상에서 추출되는 특징, 추출되는 특징의 평균을 기반으로 분류되는 하위 그룹 중 상기 포지티브 학습 영상의 하위 그룹의 True-positive 영상 및 상기 네거티브 학습 영상의 하위 그룹의 True-negative 영상을 기반으로 학습하여 생성되는 것을 특징으로 하는
   객체 인식 장치.
2. 제 1 항에 있어서,
   상기 다수의 특징 판별부 중 최상위 특징 판별부에서 최하위 특징 판별부 전단의 특징 판별부는, 계산된 특징의 평균이 상기 특징 평균 정보에 해당하지 않으면, 다음 단의 특징 판별부로 영상을 제공하는 것을 특징으로 하는
   객체 인식 장치.
3. 삭제
4. 제 1 항에 있어서,
   상기 다수의 특징 판별부에 기 저장된 특징 평균 정보는, 학습 과정에서 입력되는 포지티브 학습 영상과 네거티브 학습 영상에서 추출되는 특징의 평균, 혹은 상기 포지티브 및 네거티브 학습 영상을 분류하여 획득되는 하위 그룹에서 추출되는 특징의 평균인 것을 특징으로 하는
   객체 인식 장치.
5. 삭제
6. 포지티브 학습 영상과 네거티브 학습 영상이 수신되면, 학습 영상 각각에 대한 제 1 특징의 평균을 계산하는 단계;
   계산된 제 1 특징 평균을 기반으로 상기 포지티브 및 네거티브 학습 영상을 각각 하위 그룹으로 분류하는 단계; 및
   상기 포지티브 학습 영상의 하위 그룹 중 상기 제 1 특징 평균을 기반으로 정상 분류가 가능한 제 1 그룹, 상기 네거티브 학습 영상의 하위 그룹 중 상기 제 1 특징 평균을 기반으로 정상 분류가 가능한 제 2 그룹 및 상기 제 1 특징을 기반으로 학습하여 제 1 특징 학습기를 생성하는 단계를 포함하는
   객체 인식 장치의 학습 방법.
7. 제 6 항에 있어서,
   상기 제 1 특징 학습기를 생성한 후, 상기 포지티브 학습 영상의 하위 그룹 중 제 1 그룹 이외의 하위 그룹 및 상기 네거티브 학습 영상의 하위 그룹 중 제 2 그룹 이외의 하위 그룹에 대한 분류가 필요한지를 판단하는 단계; 및
   하위 그룹에 대한 분류가 필요하다고 판단되면, 상기 포지티브 학습 영상 및 상기 네거티브 학습 영상 각각의 나머지 하위 그룹에 대한 분류를 수행하는 단계를 더 포함하는
   객체 인식 장치의 학습 방법.
8. 제 7 항에 있어서,
   상기 나머지 하위 그룹에 대한 분류를 수행하는 단계는,
   상기 포지티브 학습 영상의 나머지 하위 그룹에 대한 제 2 특징의 평균 및 상기 네거티브 학습 영상의 나머지 하위 그룹에 대한 제 2 특징의 평균을 계산하는 단계;
   계산된 제 2 특징 평균을 기반으로, 상기 포지티브 학습 영상의 나머지 하위 그룹 및 상기 네거티브 학습 영상의 나머지 하위 그룹을 하위 그룹으로 분류하는 단계; 및
   상기 포지티브 학습 영상의 나머지 하위 그룹 중 상기 제 2 특징 평균을 기반으로 정상 분류가 가능한 제 3 그룹, 상기 네거티브 학습 영상의 나머지 그룹 중 상기 제 2 특징을 기반으로 정상 분류가 가능한 제 4 그룹 및 상기 제 2 특징을 기반으로 학습하여 제 2 특징 학습기를 생성하는 단계를 포함하는
   객체 인식 장치의 학습 방법.
9. 외부로부터 영상이 입력되면, 최상위 특징 판별부가 영상에서 제 1 특징을 추출하고, 추출된 제 1 특징에 대한 평균을 계산하는 단계;
   상기 최상위 특징 판별부가 제 1 특징 평균과 기 저장된 제 1 특징 평균 정보를 비교하여, 상기 제 1 특징 평균이 상기 제 1 특징 평균 정보에 해당하는지를 판단하는 단계; 및
   상기 제 1 특징 평균이 상기 제 1 특징 평균 정보에 해당하면, 최상위 특징 학습기가 상기 최상위 특징 판별부로부터 제공되는 영상에 대한 객체 인식을 수행하는 단계를 포함하고,
   상기 최상위 특징 학습기는 학습 과정에서 입력되는 포지티브 학습 영상과 네거티브 학습 영상에서 추출되는 제 1 특징, 추출되는 제 1 특징의 평균을 기반으로 분류되는 하위 그룹 중 상기 포지티브 학습 영상의 하위 그룹의 True-positive 영상 및 상기 네거티브 학습 영상의 하위 그룹의 True-negative 영상을 기반으로 학습하여 생성되는 것을 특징으로 하는
   객체 인식 방법.
10. 제 9 항에 있어서,
    상기 제 1 특징 평균이 상기 제 1 특징 평균 정보에 해당하지 않으면, 상기 최상위 특징 판별부가 다음 단의 특징 판별부로 영상을 제공하는 단계;
    상기 다음 단의 특징 판별부가 최하위 특징 판별부인지를 판단하는 단계; 및
    상기 다음 단의 특징 판별부가 상기 최하위 특징 판별부인 경우, 상기 다음 단의 특징 판별부에 매칭되는 특징 학습기가 상기 다음 단의 특징 판별부로부터 제공되는 영상에 대한 객체 인식을 수행하는 단계를 더 포함하는
    객체 인식 방법.
11. 제 10 항에 있어서,
    상기 다음 단의 특징 판별부가 상기 최하위 특징 판별부가 아닌 경우, 상기 다음 단의 특징 판별부가 전단의 특징 판별부로부터 제공되는 영상에서 관련 특징을 추출하고, 추출된 관련 특징에 대한 평균을 계산하는 단계;
    상기 다음 단의 특징 판별부가 계산된 관련 특징 평균과 기 저장된 관련 특징 평균 정보를 비교하여, 상기 관련 특징 평균이 상기 관련 특징 평균 정보에 해당하는지를 판단하는 단계; 및
    상기 관련 특징 평균이 상기 관련 특징 평균 정보에 해당하면, 상기 다음 단의 특징 판별부에 매칭되는 특징 학습기가 상기 다음 단의 특징 판별부로부터 제공되는 영상에 대한 객체 인식을 수행하는 단계를 더 포함하는
    객체 인식 방법.
12. 제 11 항에 있어서,
    상기 관련 특징 평균이 상기 관련 특징 평균 정보에 해당하지 않으면, 상기 다음 단의 특징 판별부가 영상을 자신의 다음 단의 특징 판별부로 제공하는 단계를 더 포함하는
    객체 인식 방법.
    

Images