KR102630236B1 - 인공신경망을 이용한 복수의 목표물 추적 방법 및 그 장치 - Google Patents

Abstract

본 발명의 일 실시예에 따른 목표물 추적 방법은 복수의 목표물을 촬영한 영상에 포함된 복수의 이미지 프레임을 획득하는 단계, 분류기에 자료결합필터가 결합된 신경망에 상기 복수의 이미지 프레임을 입력하여 상기 복수의 목표물 후보군을 선정하는 단계, 상기 복수의 목표물 후보군을 추적하고, 상기 복수의 목표물 후보군의 추적 위치를 예측하는 단계, 신경망 코디네이터에 상기 예측된 추적 위치를 입력하여 상기 복수의 목표물 후보군의 추적점을 보정하는 단계를 포함할 수 있다.

Description

인공신경망을 이용한 복수의 목표물 추적 방법 및 그 장치{ METHOD AND APPARATUS FOR TRACKING MULTIPLE TARGETS USING ARTIFICIAL NEURAL NETWORKS }

본 발명은 합성곱 신경망 코디네이터와 자료결합을 이용한 다수의 선택적 목표물 추적 방법 및 장치에 관한다.

　기존의 영상센서를 이용한 목표물 추적은, 일반적으로 인접한 영상 프레임들 사이의 시간적, 공간적, 형태적 유사성을 이용하여 대상을 찾는 기술이다. 영상센서를 이용한 목표물 추적 기술은, 획득 영상 중 목표물의 예측 위치에서 탐색 영역을 설정하고 목표물을 찾아가는 방식, 목표물 탐색 배경과 구분이 되는 이동 물체를 탐지하여 목표물로 인식하는 방식(optical flow), 목표물 검출 기술을 기반으로 동작하는 tracking by detection방식 등이 있으며, 칼만필터/파티클필터 등을 이용한 예측 모델을 활용해서 목표물 추적을 수행한다.

이러한 방식은 목표물의 크기가 크고 feature가 뚜렷하게 나타나는 환경에서 효과적으로 동작한다. 그러나 목표물의 크기가 작은 다수의 소형 목표물이 인접해서 접근하는 상황에서는 이러한 추적기술에만 의존하는 경우, 근접한 소형 목표물의 영향으로 잦은 추적점 이동이 발생할 수 있다. 그렇게 되면 목표물 추적의 불안정함으로 인하여 목표물을 지속적으로 추적해야하는 전체 영상센서 시스템의 동작에 큰 어려움이 발생할 수 있다.

본 발명의 실시예에 따르면 목표물의 크기가 작은 다수의 소형 목표물이 인접해서 접근하는 상황에서 발생할 수 있는 잦은 추적점 이동을 최소화 할 수 있고, 합성곱 신경망 분류기와 자료결합필터를 연동함으로써 목표물 오탐지를 방지하고 인공신경망의 연산량 증가를 최소화하면서 선택적으로 목표물을 식별할 수 있다.

본 발명의 일 실시예에 따른 목표물 추적 방법은 복수의 목표물을 촬영한 영상에 포함된 복수의 이미지 프레임을 획득하는 단계, 분류기에 자료결합필터가 결합된 신경망에 상기 복수의 이미지 프레임을 입력하여 상기 복수의 목표물 후보군을 선정하는 단계, 상기 복수의 목표물 후보군을 추적하고, 상기 복수의 목표물 후보군의 추적 위치를 예측하는 단계, 신경망 코디네이터에 상기 예측된 추적 위치를 입력하여 상기 복수의 목표물 후보군의 추적점을 보정하는 단계를 포함할 수 있다.

일 실시예에서 상기 자료결합필터는, 상기 선정된 복수의 목표물 후보군에 대하여 추적 점수가 지정된 기준을 초과하는지 여부에 대한 분류를 수행할 수 있다.

일 실시예에서 상기 복수의 목표물 후보군을 선정하는 단계는, 상기 자료결합필터에 의해 상기 복수의 목표물 후보군을 지정된 기준에 따른 클래스로 분류하는 단계를 포함할 수 있다.

일 실시예에서 상기 분류하는 단계는, 지정된 기준에 따라 분류된 클래스 중 임계치 미만에 속하는 클래스에 포함된 목표물 후보군을 클러터로 지정하는 단계를 포함할 수 있다.

일 실시예에서 상기 복수의 목표물 후보군을 선정하는 단계는, 상기 선정된 복수의 목표물 후보군에 대한 평균 추적 점수가 지정된 기준을 만족하는 경우, 상기 자료결합필터와 상기 신경망을 결합하는 단계를 포함할 수 있다.

일 실시예에서 상기 복수의 이미지 프레임을 획득하는 단계는, 영상센서의 추적기가 동작하는 거리를 기초로 상기 영상을 지정된 구간으로 샘플링하여 상기 복수의 이미지 프레임을 획득하는 단계를 포함할 수 있다.

일 실시예에서 상기 신경망 코디네이터는, 상기 샘플링한 구간의 개수에 대응되는 복수의 신경망 코디네이터를 포함할 수 있다.

일 실시예에서 상기 추적 위치를 예측하는 단계는, 상기 복수의 이미지 프레임 각각에서 복수개의 추적 위치를 예측하는 단계를 포함할 수 있다.

일 실시예에서 상기 추적점을 보정하는 단계는, n-1 번째 이미지 프레임에서 조정된 추적점의 위치와 n번째 이미지 프레임에서 조정된 추적점의 위치를 비교하여 상기 추적점을 보정하는 단계를 포함할 수 있다.

본 발명의 다른 실시예에 따른 목표물 추적 장치는 프로세서를 포함하고, 상기 프로세서는, 복수의 목표물을 촬영한 영상에 포함된 복수의 이미지 프레임을 획득하는, 분류기에 자료결합필터가 결합된 신경망에 상기 복수의 이미지 프레임을 입력하여 상기 복수의 목표물 후보군을 선정하고, 상기 복수의 목표물 후보군을 추적하고, 상기 복수의 목표물 후보군의 추적 위치를 예측하고, 신경망 코디네이터에 상기 예측된 추적 위치를 입력하여 상기 복수의 목표물 후보군의 추적점을 보정할 수 있다.

일 실시예에서 상기 프로세서는, 상기 자료결합필터에 의해 상기 복수의 목표물 후보군을 지정된 기준에 따른 클래스로 분류할 수 있다.

일 실시예에서 상기 프로세서는, 지정된 기준에 따라 분류된 클래스 중 임계치 미만에 속하는 클래스에 포함된 목표물 후보군을 클러터로 지정할 수 있다.

일 실시예에서 상기 프로세서는, 상기 선정된 복수의 목표물 후보군에 대한 평균 추적 점수가 지정된 기준을 만족하는 경우, 상기 자료결합필터와 상기 신경망을 결합할 수 있다.

일 실시예에서 상기 프로세서는, 영상센서의 추적기가 동작하는 거리를 기초로 상기 영상을 지정된 구간으로 샘플링하여 상기 복수의 이미지 프레임을 획득할 수 있다.

일 실시예에서 상기 프로세서는, 상기 복수의 이미지 프레임 각각에서 복수개의 추적 위치를 예측할 수 있다.

일 실시예에서 상기 프로세서는, n-1 번째 이미지 프레임에서 조정된 추적점의 위치와 n번째 이미지 프레임에서 조정된 추적점의 위치를 비교하여 상기 추적점을 보정할 수 있다.

도 1은 본 발명의 일 실시예에 따른 목표물 추적 장치의 구성 및 동작을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 목표물 추적 장치의 프로세서 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 목표물 추적 방법의 순서도이다.
도 4 및 도 5은 도 3을 더욱 상세히 설명하기 위한 순서도이다.

본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들 전반에 걸친 내용을 토대로 정의되어야 한다.

본 실시예들은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 일부 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 실시예들을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 실시예들의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용한 용어들은 단지 실시예들의 설명을 위해 사용된 것으로, 본 실시예들을 한정하려는 의도가 아니다.

본 실시예들에 사용되는 용어들은 다르게 정의되지 않는 한, 본 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 실시예들에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.

이하에서는 후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

이하 도 1을 참조하여 목표물 추적 장치의 내부 구성에 대하여 상세히 설명한다.

일 실시예에서 목표물 추적 장치(100)는 메모리(101), 프로세서(102), 통신 모듈(103) 및 입출력 인터페이스(104)를 포함할 수 있다.

본 발명의 목적은, 크기가 작은 다수의 소형 목표물이 인접해서 접근하는 상황에서 다수의 목표물을 추적하고 목표물 추적점을 올바른 방향으로 향하도록 조정하는 데 있다. 다수의 목표물을 추적하다 보면 복잡한 배경에서 목표물을 오탐지 할 수 있는데, 목표물 오탐지를 방지하고 연산량의 증가를 최소화하면서 정확도를 높이기 위해 합성곱 신경망과 자료결합을 이용해서 목표물 후보군을 인식한다. 그리고 목표물 후보군으로 최종 확인된 목표물에 대해서는 추적을 시작한다. 만약 목표물추적 기술에만 의존해서 목표물의 추적위치를 예측하는 경우, 근접한 소형 목표물의 영향으로 목표물에 대한 추적점 이동이 지속적으로 발생할 수 있는데, 합성곱 신경망 코디네이터를 이용해서 추적점을 조정한다면 효율적으로 목표물 추적점을 관리할 수 있다. 또한 잦은 추적점 이동에 의한 목표물 추적의 불안정함을 방지하고 올바른 방향으로 유도할 수 있다.

메모리(101)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(101)에는 목표물 추적 장치(100)를 제어하기 위한 프로그램 코드 및 설정, 점군 데이터 및 표면 정보가 일시적 또는 영구적으로 저장될 수 있다.

프로세서(102)는 복수의 목표물을 촬영한 영상에 포함된 복수의 이미지 프레임을 획득하는, 분류기에 자료결합필터가 결합된 신경망에 상기 복수의 이미지 프레임을 입력하여 상기 복수의 목표물 후보군을 선정하고, 상기 복수의 목표물 후보군을 추적하고, 상기 복수의 목표물 후보군의 추적 위치를 예측하고, 신경망 코디네이터에 상기 예측된 추적 위치를 입력하여 상기 복수의 목표물 후보군의 추적점을 보정할 수 있다.

통신 모듈(103)은 네트워크를 통해 외부 서버와 통신하기 위한 기능을 제공할 수 있다. 일례로, 목표물 추적 장치(100)의 프로세서(102)가 메모리(101)와 같은 기록 장치에 저장된 프로그램 코드에 따라 생성한 요청이 통신 모듈(103)의 제어에 따라 네트워크를 통해 외부 서버로 전달될 수 있다. 역으로, 외부 서버의 프로세서의 제어에 따라 제공되는 제어 신호나 명령, 컨텐츠, 파일 등이 네트워크를 거쳐 통신 모듈(103)을 통해 목표물 추적 장치(100)로 수신될 수 있다. 예를 들어 통신 모듈(103)을 통해 수신된 외부 서버의 제어 신호나 명령 등은 프로세서(102)나 메모리(101)로 전달될 수 있고, 컨텐츠나 파일 등은 목표물 추적 장치(100)가 더 포함할 수 있는 저장 매체로 저장될 수 있다.

통신 방식은 제한되지 않으며, 네트워크가 포함할 수 있는 통신망(일례로, 이동통신망, 유선 인터넷, 무선 인터넷, 방송망)을 활용하는 통신 방식뿐만 아니라 기기들간의 근거리 무선 통신 역시 포함될 수 있다. 예를 들어, 네트워크는, PAN(personal area network), LAN(local area network), CAN(campus area network), MAN(metropolitan area network), WAN(wide area network), BBN(broadband network), 인터넷 등의 네트워크 중 하나 이상의 임의의 네트워크를 포함할 수 있다. 또한, 네트워크는 버스 네트워크, 스타 네트워크, 링 네트워크, 메쉬 네트워크, 스타-버스 네트워크, 트리 또는 계층적(hierarchical) 네트워크 등을 포함하는 네트워크 토폴로지 중 임의의 하나 이상을 포함할 수 있으나, 이에 제한되지 않는다.

또한, 통신 모듈(103)은 외부 서버와 네트워크를 통해 통신할 수 있다. 통신 방식은 제한되지 않지만, 네트워크는 근거리 무선통신망일 수 있다. 예를 들어, 네트워크는 블루투스(Bluetooth), BLE(Bluetooth Low Energy), Wifi 통신망일 수 있다.

입출력 인터페이스(104)는 입출력 장치와의 인터페이스를 위한 수단일 수 있다. 예를 들어, 입력 장치는 키보드 또는 마우스 등의 장치를, 그리고 출력 장치는 어플리케이션의 통신 세션을 표시하기 위한 디스플레이와 같은 장치를 포함할 수 있다. 다른 예로 입출력 인터페이스(104)는 터치스크린과 같이 입력과 출력을 위한 기능이 하나로 통합된 장치와의 인터페이스를 위한 수단일 수도 있다. 보다 구체적인 예로, 목표물 추적 장치(100)의 프로세서(102)는 메모리(101)에 로딩된 컴퓨터 프로그램의 명령을 처리함에 있어서 외부 서버가 제공하는 데이터를 이용하여 구성되는 서비스 화면이나 컨텐츠가 입출력 인터페이스(104)를 통해 디스플레이에 표시될 수 있다.

또한, 다른 실시예들에서 목표물 추적 장치(100)는 도 1의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, 목표물 추적 장치(100)는 목표물 추적 장치의 내부 구성요소들에 전력을 공급하는 배터리 및 충전 장치를 포함할 수 있고, 상술한 입출력 장치 중 적어도 일부를 포함하도록 구현되거나 또는 트랜시버(transceiver), GPS(Global Positioning System) 모듈, 각종 센서, 데이터베이스 등과 같은 다른 구성요소들을 더 포함할 수도 있다.

이하 도 2를 참조하여 본 발명의 일 실시예에 따른 목표물 추적 장치의 프로세서의 내부 구성에 대하여 상세히 검토한다. 후술되는 프로세서는 이해의 용이를 위하여 도 1에 도시된 목표물 추적 장치(100)의 프로세서(102)임을 가정하고 설명한다.

본 발명의 일 실시예에 따른 목표물 추적 장치의 프로세서(102)는 이미지 프레임 획득부(111), 목표물 후보군 선정부(112), 추적 위치 예측부(113) 및 추적점 보정부(114) 를 포함한다. 몇몇 실시예에 따라 프로세서(102)의 구성요소들은 선택적으로 프로세서(102)에 포함되거나 제외될 수도 있다. 또한, 몇몇 실시예에 따라 프로세서(102)의 구성요소들은 프로세서(102)의 기능의 표현을 위해 분리 또는 병합될 수도 있다.

이러한 프로세서(102) 및 프로세서(102)의 구성요소들은 도 3 의 목표물 추적 방법이 포함하는 단계들(S110 내지 S150)을 수행하도록 목표물 추적 장치(100)를 제어할 수 있다. 예를 들어, 프로세서(102) 및 프로세서(102)의 구성요소들은 메모리(101)가 포함하는 운영체제의 코드와 적어도 하나의 프로그램의 코드에 따른 명령(instruction)을 실행하도록 구현될 수 있다. 여기서, 프로세서(102)의 구성요소들은 목표물 추적 장치(100)에 저장된 프로그램 코드가 제공하는 명령에 따라 프로세서(102)에 의해 수행되는 프로세서(102)의 서로 다른 기능들(different functions)의 표현들일 수 있다. 프로세서(102)의 내부 구성 및 구체적인 동작에 대해서는 도 3 내지 도 5의 목표물 추적 방법의 순서도를 참조하여 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 목표물 추적 방법을 시계열적으로 나열한 순서도이다.

단계 S110에서 목표물 추적 장치는 복수의 목표물을 촬영한 영상에 포함된 복수의 이미지 프레임을 획득할 수 있다. 일 실시예에서 목표물 추적 장치는 영상센서의 추적기가 동작하는 거리를 기초로 상기 영상을 지정된 구간으로 샘플링하여 상기 복수의 이미지 프레임을 획득할 수 있다. 예를 들어 목표물 추적 장치는 목표물에 대한 영상 센서의 추적기가 동작하는 거리를 지정된 일정 구간으로 샘플링할 수 있다.

단계 S120에서 목표물 추적 장치는 분류기에 자료결합필터가 결합된 신경망에 복수의 이미지 프레임을 입력하여 복수의 목표물 후보군을 선정할 수 있다. 이 경우 신경망은 합성곱 신경망 구조를 기반으로하는 신경망일 수 있다.

본 발명의 몇몇 실시예에서 목표물 추적 장치는 상기 선정된 복수의 목표물 후보군에 대한 평균 추적 점수가 지정된 기준을 만족하는 경우, 상기 자료결합필터와 상기 신경망을 결합할 수 있다.

본 발명의 몇몇 실시예에 따른 자료결합필터는 상기 선정된 복수의 목표물 후보군에 대하여 추적 점수가 지정된 기준을 초과하는지 여부에 대한 분류를 수행할 수 있다.

예를 들어 목표물 추적 장치는 상기 자료결합필터에 의해 상기 복수의 목표물 후보군을 지정된 기준에 따른 클래스로 분류할 수 있다. 예를 들어, 목표물 추적 장치는 목표물에 대한 관심도를 기준으로 클래스를 분류할 수도 있다.

일 실시예에서 목표물 추적 장치는 영상처리 탐지 알고리즘에 의해 측정된 후보군들 중 자료결합 필터에서 추적점수가 상위권인 측정치에 대해서만 합성곱 신경망 분류기가 ‘관심도 상’, ‘관심도 중’, ‘관심도 하’ 3가지 클래스 중 하나로 분류할 수도 있다. 이 경우 목표물 추적 장치는 지정된 기준에 따라 분류된 클래스 중 임계치 미만에 속하는 클래스에 포함된 목표물 후보군을 클러터로 지정할 수 있다.

보다 구체적인 설명은 이하 도 4 및 도 5를 참조하여 설명한다.

단계 S130에서 목표물 추적 장치는 복수의 목표물 후보군을 추적할 수 있고, 단계 S140에서 목표물 추적 장치는 복수의 목표물 후보군의 추적 위치를 예측할 수 있다.

단계 S150에서 목표물 추적 장치는 신경망 코디네이터에 예측된 추적 위치를 입력하여 복수의 목표물 후보군의 추적점을 보정할 수 있다. 일 실시예에서 신경망 코디네이터는 상기 샘플링한 구간의 개수에 대응되는 복수의 신경망 코디네이터를 포함할 수 있다. 예를 들어 목표물에 대한 영상센서의 추적기가 동작하는 거리를 n개의 일정 구간으로 샘플링 한다. n개의 구간에 대한 학습데이터는 각각의 구간에서 획득한 목표물의 이미지를 이용한다. 학습을 위한 신경망은 합성곱 신경망 구조를 기반으로 하는 어떠한 신경망이라도 사용될 수 있다. 클래스는 ‘관심도 상’, ‘관심도 중’, ‘관심도 하’ 이렇게 3개의 클래스로 나누어진다. 각 클래스의 의미는 목표물에 대한 추적기의 관심도를 의미한다. 즉, ‘목표물에 대한 관심도가 높음(상)’, 목표물에 대한 관심도가 보통(중)‘, 목표물에 대한 관심도가 낮음(하)’ 이다. 학습이 완료되면, 총 n개의 합성곱 신경망 코디네이터 모델이 생성된다.

일 실시예에서 목표물 추적 장치는 예측한 추적위치의 개수 m을 합성곱 신경망 코디네이터의 분류 후보 개수라고 하면, 추적기가 관리하는 임계치, 합성곱 신경망 코디네이터에 의한 누적횟수 및 영상센서 시스템의 연산량을 종합적으로 고려해서 분류후보 개수를 선정할 수 있다.

일 실시예에서 목표물 추적 장치는 상기 복수의 이미지 프레임 각각에서 복수개의 추적 위치를 예측할 수 있다. 일 실시예에서 목표물 추적 장치는 n-1 번째 이미지 프레임에서 조정된 추적점의 위치와 n번째 이미지 프레임에서 조정된 추적점의 위치를 비교하여 상기 추적점을 보정할 수 있다.

이하 도 4를 참조하면, 목표물 추적 장치는 탐지 알고리즘을 이용하여 분류할 목표물 후보군을 선정할 수 있다. 탐지 알고리즘은 영상처리에 사용되는 어떠한 탐지 알고리즘도 적용될 수 있다. 이 경우 상술한 탐지 알고리즘의 목표물 탐지 결과 획득한 목표물 후보군의 관심도 측정치를 획득할 수 있다(S201). 이후, 자료결합필터에 의해 목표물 후보군들이 관심도 측정치를 기준으로 정렬될 수 있고(S202), 자료결합필터가 연동된 신경망을 이용하여 다수 목표물이 추적될 수 있다(S203). 보다 구체적으로 합성곱 신경망 분류기는 탐지 알고리즘에 의해 측정된 후보군들 중 자료결합필터에서 추적점수가 상위권인 측정치만 분류를 수행한다(S204). 자료결합 필터는 2차원 데이터에 사용할 수 있는 어떠한 필터도 적용될 수 있다. 분류결과는 ‘관심도 상’, ‘관심도 중’, ‘관심도 하’ 이렇게 3개의 클래스로 나누어진다(S205). 분류결과 ‘관심도 상’이면 추적점수를 상위권으로 유지한다(S211). 분류결과 ‘관심도 중’이면 ‘관심도 상’이 없을 경우에 한정해서 추적점수를 상위권으로 유지한다(S212). ‘관심도 상’이 있으면 ‘관심도 중’을 클러터로 고려하고 제거한다(S210). 그리고 분류결과 ‘관심도 하’일 경우도 클러터로 고려하고 제거한다(S206). 일정시간 추적점수가 상위권으로 유지되면(S213) 합성곱 신경망 코디네이터를 연동한다(S214).

이하 도 5를 참조하면, 본 발명의 몇몇 실시예에 따른 목표물 추적 장치는 영상 내에서 예측한 추적위치를 다수 선정할 수 있다. 이 경우, 목표물에 대한 영상센서의 추적기는 영상처리에 사용되는 어떠한 추적기도 적용될 수 있다. 예측한 추적위치의 개수를 m이라고 하면, m값은 매 프레임마다 가변적이다. 추적위치의 분류후보 개수는 추적기가 관리하는 임계치, 합성곱 신경망 코디네이터에 의한 누적횟수, 영상센서 시스템의 연산량, 이렇게 3가지 요소를 종합적으로 고려해서 목표물을 선정한다(S301). 목표물과의 거리에 매칭되는 n번째 모델을 불러와서 m개의 추적위치 후보를 합성곱 신경망 코디네이터에 통과시킨다(S302).

추적점 이동여부를 결정하기 위해서, 현재 이미지 프레임을 n이라고 했을 때, n-1 프레임의 합성곱 신경망 코디네이터에 의해 조정된 추적점의 위치가 n번째 이미지 프레임에서 어디에 위치하는지 추적기를 통해 확인한다. 그리고 n-1 프레임의 추적점과 동일한 위치가 목표물 ‘관심도 상’(S303)으로 분류되었으면, 추적점을 이동하지 않고 n번째 프레임에서도 n-1 프레임과 동일한 추적점을 유지한다(S3-4). 하지만 n-1 프레임의 추적점과 동일한 위치가 ‘관심도 중’ 또는 ‘관심도 하’로 분류되면, n번째 프레임에서 합성곱 신경망 코디네이터의 목표물 신뢰도가 가장 높은 위치로 추적점을 이동한다(S305).

본 발명의 실시예에 따른 합성곱 신경망 코디네이터와 자료결합을 이용한 다수의 선택적 목표물 추적 방법은, 목표물의 크기가 작은 다수의 소형 목표물이 인접해서 접근하는 상황에서 발생할 수 있는 잦은 추적점 이동을 최소화 할 수 있고, 합성곱 신경망 분류기와 자료결합필터를 연동함으로써 목표물 오탐지를 방지하고 인공신경망의 연산량 증가를 최소화하면서 선택적으로 목표물을 식별할 수 있다.

전술한 바와 같이 본 발명의 몇몇 실시예에 따른 목표물 추적 방법에 따르면 수치해석 기법과 다양한 전처리 및 후처리 기법을 이용하여 측정 유사 영상을 생성하여 표적 식별의 어려움을 해결하여 정확도를 높일 수 있다.

한편, 본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (19)

1. 복수의 목표물을 촬영한 영상에 포함된 복수의 이미지 프레임을 획득하는 단계;
   탐지 알고리듬을 이용하여 상기 영상의 상기 복수의 이미지 프레임 각각에서 복수의 목표물 후보군을 탐지하고, 상기 복수의 목표물 후보군의 측정치를 획득하는 단계;
   자료결합 필터를 이용하여 상기 복수의 이미지 프레임 각각에서 탐지된 상기 복수의 목표물 후보군을 추적하고, 상기 복수의 목표물 후보군의 추적 위치를 예측하고, 상기 복수의 목표물 후보군의 추적 점수를 획득하는 단계;
   상기 복수의 목표물 후보군 중에서 추적 점수가 상위권인 복수의 상위권 목표물 후보군들을 식별하는 단계;
   합성곱 신경망 분류기를 이용하여 상기 복수의 상위권 목표물 후보군들을 관심도에 따라 분류하는 단계;
   상기 합성곱 신경망 분류기의 분류 결과에 따라 상기 복수의 상위권 목표물 후보군들 중 일부를 클러터로 제거하여 복수의 최종 목표물 후보군을 획득하는 단계; 및
   상기 복수의 최종 목표물 후보군의 상기 추적 위치를 신경망 코디네이터에 입력하여 상기 복수의 최종 목표물 후보군의 추적점을 보정하는 단계를 포함하는 복수의 목표물을 추적하는 방법.
2. 청구항 1에 있어서,
   상기 복수의 상위권 목표물 후보군들을 식별하는 단계는,
   상기 복수의 목표물 후보군 중에서 상기 추적 점수가 미리 설정된 기준을 초과하는 목표물 후보군들을 상기 복수의 상위권 목표물 후보군들로 결정하는 단계를 포함하는 것을 특징으로 하는 복수의 목표물을 추적하는 방법.
3. 청구항 1에 있어서,
   상기 복수의 상위권 목표물 후보군들을 관심도에 따라 분류하는 단계는,
   상기 복수의 상위권 목표물 후보군들을 관심도가 '상'인 상위권 목표물 후보군, 관심도가 '중'인 상위권 목표물 후보군, 및 관심도가 '하'인 상위권 목표물 후보군으로 분류하는 단계를 포함하는 것을 특징으로 하는 복수의 목표물을 추적하는 방법.
4. 청구항 3에 있어서,
   상기 복수의 최종 목표물 후보군을 획득하는 단계는,
   상기 복수의 상위권 목표물 후보군들 중에서 상기 관심도가 '하'인 상위권 목표물 후보군을 클러터로 제거하는 단계를 포함하는 것을 특징으로 하는 복수의 목표물을 추적하는 방법.
5. 청구항 4에 있어서,
   상기 복수의 최종 목표물 후보군을 획득하는 단계는,
   상기 복수의 상위권 목표물 후보군들 중에서 상기 관심도가 '상'인 상위권 목표물 후보군이 존재하는 경우, 상기 관심도가 '중'인 상위권 목표물 후보군을 클러터로 제거하는 단계를 포함하는 것을 특징으로 하는 복수의 목표물을 추적하는 방법.
6. 청구항 1에 있어서,
   상기 복수의 목표물을 추적할 수 있는 동작 거리를 미리 설정된 n개의 구간으로 구분하고,
   상기 신경망 코디네이터는 상기 n개의 구간에 각각 대응하는 n개의 합성곱 신경망 코디네이터를 포함하는 것을 특징으로 하는 복수의 목표뮬을 추적하는 방법.
7. 청구항 6에 있어서,
   상기 복수의 최종 목표물 후보군의 추적점을 보정하는 단계는,
   상기 n개의 합성곱 신경망 코디네이터 중에서 상기 복수의 최종 목표물 후보군까지의 거리에 해당하는 합성곱 신경망 코디네이터를 선택하는 단계; 및
   상기 복수의 최종 목표물 후보군의 상기 추적 위치를 상기 선택된 합성곱 신경망 코디네이터에 입력하는 단계를 포함하는 것을 특징으로 하는 복수의 목표뮬을 추적하는 방법.
8. 청구항 1에 있어서,
   상기 복수의 최종 목표물 후보군의 추적점을 보정하는 단계는,
   상기 복수의 이미지 프레임 중에서 n-1번째 이미지 프레임에서 조정된 추적점의 위치와 n번째 이미지 프레임에서 조정된 추적점의 위치를 비교하여 상기 추적점을 보정하는 단계를 포함하는 것을 특징으로 하는 복수의 목표물을 추적하는 방법.
9. 컴퓨터를 이용하여 청구항 1 내지 청구항 8 중 어느 한 청구항의 복수의 목표물을 추적하는 방법을 실행시키기 위하여 기록매체에 저장된 컴퓨터 프로그램.
10. 프로세서; 및
    상기 프로세서에서 실행되는 프로그램 코드가 저장되는 메모리를 포함하고,
    상기 프로세서는,
    복수의 목표물을 촬영한 영상에 포함된 복수의 이미지 프레임을 획득하고,
    탐지 알고리듬을 이용하여 상기 영상의 상기 복수의 이미지 프레임 각각에서 복수의 목표물 후보군을 탐지하고, 상기 복수의 목표물 후보군의 측정치를 획득하고,
    자료결합 필터를 이용하여 상기 복수의 이미지 프레임 각각에서 탐지된 상기 복수의 목표물 후보군을 추적하고, 상기 복수의 목표물 후보군의 추적 위치를 예측하고, 상기 복수의 목표물 후보군의 추적 점수를 획득하고,
    상기 복수의 목표물 후보군 중에서 추적 점수가 상위권인 복수의 상위권 목표물 후보군들을 식별하고,
    합성곱 신경망 분류기를 이용하여 상기 복수의 상위권 목표물 후보군들을 관심도에 따라 분류하고,
    상기 합성곱 신경망 분류기의 분류 결과에 따라 상기 복수의 상위권 목표물 후보군들 중 일부를 클러터로 제거하여 복수의 최종 목표물 후보군을 획득하고,
    상기 복수의 최종 목표물 후보군의 상기 추적 위치를 신경망 코디네이터에 입력하여 상기 복수의 최종 목표물 후보군의 추적점을 보정하도록 구성되는 복수의 목표물을 추적하는 장치.
11. 청구항 10에 있어서,
    상기 프로세서는 상기 복수의 목표물 후보군 중에서 상기 추적 점수가 미리 설정된 기준을 초과하는 목표물 후보군들을 상기 복수의 상위권 목표물 후보군들로 결정하도록 구성되는 것을 특징으로 하는 복수의 목표물을 추적하는 장치.
12. 청구항 10에 있어서,
    상기 프로세서는 상기 복수의 상위권 목표물 후보군들을 관심도가 '상'인 상위권 목표물 후보군, 관심도가 '중'인 상위권 목표물 후보군, 및 관심도가 '하'인 상위권 목표물 후보군으로 분류하도록 구성되는 것을 특징으로 하는 복수의 목표물을 추적하는 장치.
13. 청구항 12에 있어서,
    상기 프로세서는 상기 복수의 상위권 목표물 후보군들 중에서 상기 관심도가 '하'인 상위권 목표물 후보군을 클러터로 제거하도록 구성되는 것을 특징으로 하는 복수의 목표물을 추적하는 장치.
14. 청구항 13에 있어서,
    상기 프로세서는 상기 복수의 상위권 목표물 후보군들 중에서 상기 관심도가 '상'인 상위권 목표물 후보군이 존재하는 경우, 상기 관심도가 '중'인 상위권 목표물 후보군을 클러터로 제거하도록 구성되는 것을 특징으로 하는 복수의 목표물을 추적하는 장치.
15. 청구항 10에 있어서,
    상기 복수의 목표물을 추적할 수 있는 동작 거리를 미리 설정된 n개의 구간으로 구분하고,
    상기 신경망 코디네이터는 상기 n개의 구간에 각각 대응하는 n개의 합성곱 신경망 코디네이터를 포함하는 것을 특징으로 하는 복수의 목표물을 추적하는 장치.
16. 청구항 15에 있어서,
    상기 프로세서는,
    상기 n개의 합성곱 신경망 코디네이터 중에서 상기 복수의 최종 목표물 후보군까지의 거리에 해당하는 합성곱 신경망 코디네이터를 선택하고,
    상기 복수의 최종 목표물 후보군의 상기 추적 위치를 상기 선택된 합성곱 신경망 코디네이터에 입력하도록 구성되는 것을 특징으로 하는 복수의 목표물을 추적하는 장치.
17. 청구항 10에 있어서,
    상기 프로세서는 상기 복수의 이미지 프레임 중에서 n-1번째 이미지 프레임에서 조정된 추적점의 위치와 n번째 이미지 프레임에서 조정된 추적점의 위치를 비교하여 상기 추적점을 보정하도록 구성되는 것을 특징으로 하는 복수의 목표물을 추적하는 장치.
    
18. 삭제
19. 삭제

Images