KR20190125702A

KR20190125702A - 딥러닝 기반의 추적 모듈에서 코사인 거리와 교차 영역을 활용한 추적 최적화 방법

Info

Publication number: KR20190125702A
Application number: KR1020180049835A
Authority: KR
Inventors: 송혁; 최인규; 고민수
Original assignee: 전자부품연구원
Priority date: 2018-04-30
Filing date: 2018-04-30
Publication date: 2019-11-07

Abstract

딥러닝 기반의 추적 모듈에서 코사인 거리와 교차 영역을 활용한 추적 최적화 방법이 제공된다. 본 발명의 실시예에 따른 객체 추적 방법은, 입력 영상에서 객체들을 검출하고, 검출 객체들의 특징 벡터들을 추출하며, 검출 객체들의 특징 벡터들과 추적 객체들의 특징 벡터들을 이용하여 검출된 객체들을 추적 객체들에 매칭시킨다. 이에 의해, 딥러닝 기술을 이용하여 영상에서 무작위로 등장하는 객체들에 대해, 조명이나 크기에 강인한 실시간 객체 추적이 가능해진다.

Description

딥러닝 기반의 추적 모듈에서 코사인 거리와 교차 영역을 활용한 추적 최적화 방법{Tracking Optimization Method using Cosine Distance and Intersection Area in Deep Learning based Tracking Module}

본 발명은 영상처리 기술에 관한 것으로, 더욱 상세하게는 딥러닝 기반으로 객체를 추적하기 위한 방법 및 시스템에 관한 것이다.

객체 추적에는 객체의 색상이나 히스토그램을 이용하거나 인간이 설계한 특징 필터를 적용하고 있다.

색상과 히스토그램을 이용하는 방법은 조명이나 주변 환경에 취약하고 HOG나 SIFT 등의 특징점을 이용한 추적기술 또한 영상의 흐림이나 객체의 크기 변화에 따라 성능이 저하되는 문제점이 있다.

예를 들어, correlation tracker나 KCF tracker는 단일 객체에 대한 추적 성능은 좋지만 복수 객체에 대한 추적은 불안정하며 특히 객체끼리 교차하여 가려짐 현상이 나타났을 때 다시 재추적하지 못한다는 문제가 있다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 딥러닝 기술을 이용하여 영상에서 무작위로 등장하는 객체들에 대해, 조명이나 크기에 강인한 실시간 객체 추적 방법 및 시스템을 제공함에 있다.

또한, 본 발명의 다른 목적은, 가려진 영역이나 영상 밖으로 나갔다 들어오는 객체에 대해서도, 재추적할 수 있는 객체 추적 방법 및 시스템을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 객체 추적 방법은, 입력 영상에서 객체들을 검출하는 단계; 검출 객체들의 특징 벡터들을 추출하는 단계; 검출 객체들의 특징 벡터들과 추적 객체들의 특징 벡터들을 이용하여, 검출된 객체들을 추적 객체들에 매칭시키는 단계;를 포함한다.

그리고, 매칭 단계는, 특징 벡터 간 코사인 거리가 임계값 미만인 검출 객체와 추적 객체를 매칭시킬 수 있다.

또한, 본 발명의 일 실시예에 따른, 객체 추적 방법은, 매칭되지 않은 검출 객체들과 추적 객체들의 IoU(Intersection over Union)를 측정하는 단계; 측정된 IoU를 기초로, 검출된 객체들을 추적 객체들에 매칭시키는 단계;를 더 포함할 수 있다.

그리고, 매칭 단계는, 측정된 IoU가 제1 임계값 이상인 검출 객체와 추적 객체를 매칭시킬 수 있다.

또한, 본 발명의 일 실시예에 따른, 객체 추적 방법은, 매칭되지 않은 추적 객체들의 특징 벡터들을 특정 시간 동안 보유하는 단계;를 더 포함할 수 있다.

그리고, 본 발명의 일 실시예에 따른, 객체 추적 방법은, 매칭되지 않은 추적 객체들이 특정 시간이 경과하도록 추적 객체들에 매칭되지 않으면, 보유하고 있는 추적 객체들의 특징 벡터들을 폐기하는 단계;를 더 포함할 수 있다.

또한, 측정된 IoU가 제1 임계값 미만이고 제1 임계값 보다 작은 제2 임계값 이상인 추적 객체를 특정 시간 동안 보유할 수 있다.

한편, 본 발명의 다른 실시예에 따른, 객체 추적 시스템은, 영상을 입력받는 입력부; 및 입력 영상에서 객체들을 검출하고, 검출 객체들의 특징 벡터들을 추출하며, 검출 객체들의 특징 벡터들과 추적 객체들의 특징 벡터들을 이용하여 검출된 객체들을 추적 객체들에 매칭시키는 프로세서;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 딥러닝 기술을 이용하여 영상에서 무작위로 등장하는 객체들에 대해, 조명이나 크기에 강인한 실시간 객체 추적이 가능해진다.

또한, 본 발명의 실시예들에 따르면, 가려진 영역이나 영상 밖으로 나갔다 들어오는 객체에 대해서도, 재추적할 수 있게 된다.

도 1은 본 발명의 일 실시예에 따른 객체 추적 방법의 설명에 제공되는 흐름도,
도 2는 특징 벡터 간 코사인 거리 기반으로 검출 객체와 추적 객체를 매칭시키는 과정을 개념적으로 나타낸 도면,
도 3은 IoU 기반으로 검출 객체와 추적 객체를 매칭시키는 과정을 개념적으로 나타낸 도면, 그리고,
도 4는 본 발명의 다른 실시예에 따른 객체 추적 시스템의 블럭도이다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 1은 본 발명의 일 실시예에 따른 객체 추적 방법의 설명에 제공되는 흐름도이다. 본 발명의 실시예에 따른 객체 추적 방법은, 딥러닝 기반의 추적 모듈에서 코사인 거리와 교차 영역을 활용하여 객체 추적을 최적화한다.

즉, 본 발명의 실시예에 따른 객체 추적 방법에서는, 딥러닝을 통해 추출한 특징 벡터 간의 유사성과 검출 영역의 교차 정도를 객체 추적에 적용하여, 객체 추적의 최적화를 도모한다.

이와 같은 기능을 수행하기 위해, 본 발명의 실시예에 따른 객체 추적 방법은, 도 1에 도시된 바와 같이, 먼저 입력 영상에서 객체들을 검출한다(S110). S110단계에서의 객체 검출은 딥 러닝 기법에 의해 가능한데, 그 밖의 다른 기법에 의한 객체 추출을 배제하지 않는다.

다음, S110단계에서 검출된 검출 객체들에 대한 특징 벡터들을 추출한다(S120). S120단계에서의 특징 벡터 추출은 딥 러닝, CNN(Convolution Neural Network) 등을 활용하여 가능한데, 그 밖의 다른 기법에 의한 특징 벡터 추출 역시 배제하지 않는다.

그리고, S120단계에서 추출한 검출 객체들의 특징 벡터들과 추적 객체들의 특징 벡터들을 이용하여, 검출된 객체들을 추적 객체들에 매칭시킨다(S130).

여기서는, 특징 벡터 간 코사인 거리가 임계값 미만인 검출 객체와 추적 객체를 매칭시킨다. 특징 벡터 간 코사인 거리가 임계값 이상인 검출 객체와 추적 객체는 매칭시키지 않는다.

도 2에는 특징 벡터 간 코사인 거리 기반으로 검출 객체(검출 영역)와 추적 객체(추적 영역)를 매칭시키는 과정을 개념적으로 나타내었다. 매칭되지 않은 객체는 매칭되지 않은 검출 객체와 추적 객체로 분류된다.

이후, 매칭되지 않은 검출 객체들과 추적 객체들의 IoU(Intersection over Union)를 측정하고(S140), 측정된 IoU가 제1 임계값(Th1) 이상인 검출 객체와 추적 객체를 매칭시킨다(S150,S160).

도 3에는 IoU 기반으로 검출 객체(검출 영역)와 추적 객체(추적 영역)를 매칭시키는 과정을 개념적으로 나타내었다.

측정된 IoU가 제1 임계값(Th1) 미만인 검출 객체와 추적 객체는 매칭시키지 않는다. IoU에 의해서도 매칭되지 않은 추적 객체들 중 일부에 대해서는 특징 벡터들을 특정 시간 동안 보유한다.

구체적으로, 측정된 IoU가 제1 임계값 미만이긴 하지만 제2 임계값(<제1 임계값) 이상인 추적 객체에 대해서는, 특징 벡터를 특정 시간 동안 보유하고 있는다(S170,S180).

두 단계의 매칭에 의해서도 매칭되지 않는 추적 객체 중 위 조건을 만족하는 객체는 일시적으로 가려졌을 가능성이 높은 객체로, 추후 영상에 다시 등장하게 될 가능성이 높기 때문이다.

특정 시간 동안 보유하는 것이므로, 만약 매칭되지 않은 추적 객체들이 특정 시간이 경과하도록 검출 객체들에 매칭되지 않으면, 보유하고 있는 추적 객체들의 특징 벡터들은 폐기된다.

도 4는 본 발명의 다른 실시예에 따른 객체 추적 시스템의 블럭도이다. 본 발명의 실시예에 따른 객체 추적 시스템은, 도 4에 도시된 바와 같이, 영상 입력부(210), 프로세서(220), 출력부(230) 및 저장부(240)를 포함하는 컴퓨팅 시스템이다.

영상 입력부(210)는 CCTV 또는 카메라 등의 영상 생성 장치가 촬영한 영상을 입력받는다.

프로세서(220)는 딥러닝 기반으로 코사인 거리와 교차 영역을 활용하여 객체 추적을 수행한다. 프로세서(220)에 의한 객체 추적은, 도 1 내지 도 3에 제시된 방법에 의한다.

출력부(230)는 프로세서(220)에 의한 객체 추적 결과를 표시하는 디스플레이 수단과 객체 추적 결과를 외부 디바이스나 네트워크로 전달하는 통신 수단을 포함한다.

저장부(240)에는 프로세서(220)가 객체 추적 알고리즘을 수행함에 있어 필요한 저장공간을 제공한다.

지금까지, 딥러닝 기반의 추적 모듈에서 코사인 거리와 교차 영역을 활용한 추적 방법 및 시스템에 대해 바람직한 실시예들을 들어 상세히 설명하였다.

본 발명의 실시예에 따른 객체 추적 방법에서는, 인공지능 기술을 활용하여 추출한 특징벡터(visual features) 간의 코사인 거리를 이용하여 유사도를 확인하고, 검출 영역과 추적기가 예측한 영역 간의 교차 정도를 이용하여 재추적 여부 결정하였다.

본 발명의 실시예에 따른 객체 추적 방법에 따르면, 딥러닝 기술을 이용하여 영상에서 무작위로 등장하는 객체(특히 사람)에 대해 실시간으로 조명이나 크기에 강인한 추적이 가능하고, 가려진 영역이나 영상 밖으로 나갔다 들어오는 객체에 대해서도 재추적이 가능해진다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

210 : 영상 입력부
220 : 프로세서
230 : 출력부
240 : 저장부

Claims

입력 영상에서 객체들을 검출하는 단계;
검출 객체들의 특징 벡터들을 추출하는 단계;
검출 객체들의 특징 벡터들과 추적 객체들의 특징 벡터들을 이용하여, 검출된 객체들을 추적 객체들에 매칭시키는 단계;를 포함하는 것을 특징으로 하는 객체 추적 방법.
청구항 1에 있어서,
매칭 단계는,
특징 벡터 간 코사인 거리가 임계값 미만인 검출 객체와 추적 객체를 매칭시키는 것을 특징으로 하는 객체 추적 방법.
청구항 2에 있어서,
매칭되지 않은 검출 객체들과 추적 객체들의 IoU(Intersection over Union)를 측정하는 단계;
측정된 IoU를 기초로, 검출된 객체들을 추적 객체들에 매칭시키는 단계;를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
청구항 3에 있어서,
매칭 단계는,
측정된 IoU가 제1 임계값 이상인 검출 객체와 추적 객체를 매칭시키는 것을 특징으로 하는 객체 추적 방법.
청구항 4에 있어서,
매칭되지 않은 추적 객체들의 특징 벡터들을 특정 시간 동안 보유하는 단계;를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
청구항 5에 있어서,
매칭되지 않은 추적 객체들이 특정 시간이 경과하도록 추적 객체들에 매칭되지 않으면, 보유하고 있는 추적 객체들의 특징 벡터들을 폐기하는 단계;를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
청구항 4에 있어서,
측정된 IoU가 제1 임계값 미만이고 제1 임계값 보다 작은 제2 임계값 이상인 추적 객체를 특정 시간 동안 보유하는 것을 특징으로 하는 객체 추적 방법.
영상을 입력받는 입력부;
입력 영상에서 객체들을 검출하고, 검출 객체들의 특징 벡터들을 추출하며, 검출 객체들의 특징 벡터들과 추적 객체들의 특징 벡터들을 이용하여 검출된 객체들을 추적 객체들에 매칭시키는 프로세서;를 포함하는 것을 특징으로 하는 객체 추적 시스템.