KR101697161B1

KR101697161B1 - Device and method for tracking pedestrian in thermal image using an online random fern learning

Info

Publication number: KR101697161B1
Application number: KR1020150065661A
Authority: KR
Inventors: 고병철; 곽준영; 남재열
Original assignee: 계명대학교 산학협력단
Priority date: 2015-05-11
Filing date: 2015-05-11
Publication date: 2017-01-17
Also published as: KR20160132731A

Abstract

본 발명은 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법에 관한 것으로서, 보다 구체적으로는 카메라로부터 입력된 열 영상에서, 보행자의 모양변화나 가려짐이 발생하거나 비슷한 보행자가 존재하여도 배경 및 다른 보행자와 구분하여 보행자를 추적하는, 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법에 관한 것이다.
본 발명에서 제안하고 있는 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법에 따르면, 열 영상 카메라로부터 입력된 영상에서 Haar-like 특징 기반 랜덤 포레스트와 OCS-LBP 특징 기반 랜덤 포레스트를 이용하여 보행자를 검출하고, 검출된 보행자를 OCS-LBP 특징 및 LID 특징을 기반으로 한 온라인 랜덤 펀 학습과 파티클 필터를 이용하여, 다수의 보행자를 실시간으로 추적할 수 있다.
또한, 본 발명에 따르면, 파티클 필터를 통해 보행자의 후속 위치 분포를 반복적으로 추정하여, 보행자의 추적을 보다 쉽게 할 수 있고, 또한, 파티클 가중치 판단을 위해 관측우도를 측정하는데, 일반적인 거리 측정장치를 대신해서 온라인 랜덤 펀 학습을 사용하여, 추적 성공률을 높일 수 있다.
뿐만 아니라, 본 발명에 따르면, 부스티드 랜덤 펀을 이용하여 초기 펀에 대해 온라인 학습을 수행하고, 다음으로, 추적자 모델을 위한 랜덤 펀이, 후속 프레임에서 선택된 펀의 보행자가 관측되는 위치 분포를 기반으로 재학습되도록 함으로써, 필요한 샘플 량을 줄여 학습에 시간이 많이 걸리는 점을 해결할 수 있다.
또한, 본 발명에 따르면, 검출된 보행자와 추적자간의 거리, 추적자의 모델을 이용한 검출된 보행자의 확률 및 겹침율을 조합하여 산정한 값을 기반으로 한 연관성 검사를 통해, 보행자의 식별성을 유지함으로써, 추적 성공률을 높일 수 있다.
뿐만 아니라, 본 발명에 따르면, 보행자 검출을 기반으로 연관성 검사 알고리즘과 온라인 랜덤 펀 학습을 적용함으로써, 보행자의 겹침이 있거나 움직이는 카메라 환경뿐만 아니라 새롭게 나타나는 보행자에 대해서도 추적 성능이 우수하다.The present invention relates to an apparatus and a method for tracking a pedestrian using on-line random fun learning in a thermal image, and more particularly, to a method and apparatus for tracking a pedestrian by using a random- The present invention also relates to an apparatus and a method for tracking a pedestrian by using online random fun learning in a thermal image, which tracks the pedestrian separately from the background and other pedestrians.
According to the apparatus and method for tracking a pedestrian using the online random fun learning in the thermal image suggested in the present invention, a Haar-like feature-based random forest and a random forest based on the OCS-LBP feature And the detected pedestrians can track many pedestrians in real time by using online random fun learning and particle filter based on OCS-LBP feature and LID feature.
In addition, according to the present invention, it is possible to easily estimate the posture of a pedestrian by repeatedly estimating the posture distribution of the posture of the pedestrian through the particle filter, and to measure the observation likelihood for determining the particle weight. Instead, you can increase your success rate by using online random fun learning.
In addition, according to the present invention, an on-line learning is performed on an initial fun using a booster random funn, and then, a random fun for a tracer model calculates a position distribution on which a pedestrian of a fun selected in a subsequent frame is observed It is possible to solve the problem that the amount of sample required is reduced and the learning takes a long time.
Further, according to the present invention, by maintaining the identity of the pedestrian through association test based on a value calculated by combining the detected distance between the pedestrian and the tracer, the probability of the detected pedestrian using the tracer's model and the overlap ratio, And the tracking success rate can be increased.
In addition, according to the present invention, by applying the correlation checking algorithm and the online random fun learning based on the pedestrian detection, the tracking performance is excellent not only for a camera environment in which there is overlapping of a pedestrian or a moving camera, but also for a newly appearing pedestrian.

Description

TECHNICAL FIELD [0001] The present invention relates to a device and a method for tracking a pedestrian using an online random fun learning in a thermal image,

본 발명은 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법에 관한 것으로서, 보다 구체적으로는 카메라로부터 입력된 열 영상에서, 보행자의 모양 변화나 가려짐이 발생하거나, 비슷한 보행자가 존재하여도, 배경 및 다른 보행자와 구분하여 보행자를 추적할 수 있는, 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for tracking a pedestrian by using online random fun learning in a thermal image, and more particularly, to an apparatus and a method for tracking a pedestrian using a random- And more particularly, to an apparatus and method for tracking a pedestrian using online random fun learning in a thermal image capable of tracking a pedestrian separately from a background and other pedestrians.

보행자를 검출하고 추적하는 기술은, 영상 합성, 모션 캡처, 보안 감시 시스템, Human Computer Interaction(HCI) 등의 많은 분야에서 널리 적용된다. 특히, 최근 실생활에서 보안이나 감시에 대한 요구사항이 늘어남에 따라, 비디오 감시 시스템에서 보행자 검출 및 추적 기술은 날로 그 중요성이 증가하고 있다.
Detecting and tracking pedestrians is widely applied in many fields such as image synthesis, motion capture, security surveillance, and Human Computer Interaction (HCI). Particularly, as the demands for security and surveillance in real life have increased in recent years, pedestrian detection and tracking technology in video surveillance system has become increasingly important.

최근까지, 보행자 검출 및 추적을 위해 많은 알고리즘들이 개발되어 왔다. 보행자 검출 및 추적을 위한 알고리즘은, 적응적 배경 생성, 배경 차분 기법, 영역 기반의 보행자 추적 기법, 그리고 형태 정보 기반 보행자 추출 기법 등이 있다. 또한, 보행자 검출 및 추적 방법을 추적되는 보행자의 수에 따라 나누어 보면, 먼저, CFT(category-free tracking)는, 미리 학습된 검출기 없이, 첫 번째 프레임에서 수동이나 자동으로 배경을 제외하여 하나의 보행자를 추적한다. 다음으로, ABT(association-based tracking)는, 특정 추적에 응답하는 검출과 연관된, 완전한 자동 프로세스이다. 실생활에서 ABT가 CFT보다 실용적이어서, ABT를 기반으로 하는 검출에 의한 추적 접근 방식이 인기가 늘고 있으나, ABT를 기반으로 하는 검출에 의한 추적 접근 방식의 문제점은, 검출 결과의 부족함과 잘못된 검출 결과가 나타날 수 있다는 데 있다.
Until recently, many algorithms have been developed for pedestrian detection and tracking. Algorithms for detecting and tracking pedestrians include adaptive background generation, background subtraction, area - based pedestrian tracking, and shape - based pedestrian extraction. Also, if the pedestrian detection and tracking method is divided according to the number of pedestrians to be tracked, category-free tracking (CFT) is a method that excludes the background manually or automatically from the first frame, &Lt; / RTI > Next, association-based tracking (ABT) is a fully automatic process associated with detection that responds to a specific trace. ABT-based detection approach based on ABT is becoming more and more popular in real life because ABT is more practical than CFT, but the problem of ABT-based tracking approach is that the lack of detection results and false detection results Can be seen.

한편, 일반 CCD카메라를 이용(가시광선 이용)한 보행자 추적은, 밤과 같은 어두운 환경에서는 효과적이지 못하다. 이러한 제한을 해결하기 위해, 적외선, 근 적외선 및 열 적외선 카메라로 보행자를 추적할 수 있는 방법이 연구되어 왔다. 적외선이나 근 적외선을 이용하는 카메라는, 열 적외선 카메라에 비해 저렴하나, 적외선이나 근 적외선을 이용한 영상에서 보행자 추적 시 조명 아래나 뒤에 있는 사람은, 배경에서 구별되지 않아 추적이 어려운 문제가 있다.
On the other hand, pedestrian tracking using a general CCD camera (using visible light) is not effective in dark environments such as night. To overcome these limitations, methods have been studied for tracking pedestrians with infrared, near infrared and thermal infrared cameras. Cameras that use infrared or near infrared rays are cheaper than infrared infrared cameras, but people who are under or behind the light when tracking a pedestrian in infrared or near infrared rays have difficulties in tracking because they are not distinguished from the background.

반면, 열 적외선 카메라를 사용한 열 영상의 경우, 조명 조건이나 보행자의 자세에 관계없이 강력한 탐지를 할 수 있고, 실내뿐만 아니라 실외에서도 보행자 추적이 가능하다. 그러나 일반 CCD카메라 영상에서의 보행자 추적에 대한 연구보다 비용이 많이 들고, 성능평가를 위한 데이터가 많이 필요하며, 또한, 일반 CCD카메라 영상에서와 마찬가지로 가려짐, 큰 형태 변화, 비선형적 움직임의 경우 추적이 어려웠다.
On the other hand, in the case of a thermal image using a thermal infrared camera, robust detection can be performed irrespective of the lighting condition or the posture of the pedestrian, and the pedestrian can be traced not only indoors but also outdoors. However, it is costly and requires a lot of data for performance evaluation than a study on pedestrian tracking in a general CCD camera image. Also, as in the case of a conventional CCD camera image, tracking is performed in the case of occlusion, large shape change, This was difficult.

즉, 기존기술은, 조명 조건, 가려짐, 큰 형태 변화, 비선형적 움직임 및 유사한 보행자가 존재하는 경우에 추적이 어렵고, 성능평가를 위한 데이터가 많이 필요하여 데이터베이스 구축이 어려운 문제점이 있었다.
That is, the existing technology has a problem that it is difficult to trace an illumination condition, an obstruction, a large shape change, a non-linear motion, and a similar pedestrian when there is a pedestrian, and a database is required because of a lot of data for performance evaluation.

대한민국 공개특허공보 제10-1350922호(공고일자: 2009.01.14)는, 열화상 카메라를 사용한 보행자 추적 방법 및 장치가 개시되어 있다. 보행자 추적 방법은, 추적 대상 보행자의 온도 범위 및 배경의 온도 범위를 설정하는 단계, 열화상 카메라를 기반으로 추적 대상 보행자에 대한 제1 열화상 영상을 획득하는 단계, 추적 대상 보행자의 온도 범위 및 배경의 온도 범위를 기반으로, 제1 열화상 영상에서 배경을 분리하여 제2 열화상 영상을 생성하는 단계 및 제2 열화상 영상을 기반으로 추적 대상 보행자를 추적하는 단계를 포함하는 데 한정되어 있어, 앞서 문제점으로 지적된 것과 같은, 보행자와 비슷한 밝기를 가진 다른 보행자나 큰 형태 변화를 가지는 보행자일 경우, 추적 성능이 저하되는 문제는 여전히 해결되지 못하고 있다.Korean Patent Laid-Open Publication No. 10-1350922 (Publication Date: Jan. 14, 2009) discloses a pedestrian tracking method and apparatus using a thermal imaging camera. The pedestrian tracking method includes: setting a temperature range of a pedestrian to be traced and a temperature range of a background; acquiring a first thermal image of a pedestrian to be traced based on a thermal imaging camera; The method comprising the steps of generating a second thermal image by separating the background from the first thermal image and tracking the tracked object based on the second thermal image, In the case of a pedestrian having a similar brightness to the pedestrian, or a pedestrian having a large shape change, as pointed out in the preceding problem, the problem of deteriorating the tracking performance is still not solved.

본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 열 영상 카메라로부터 입력된 영상에서, Haar-like 특징 기반 랜덤 포레스트와 OCS-LBP 특징 기반 랜덤 포레스트를 이용하여 보행자를 검출하고, 검출된 보행자를 OCS-LBP 특징 및 LID 특징을 기반으로 한 온라인 랜덤 펀 학습과 파티클 필터를 이용하여, 다수의 보행자를 실시간으로 추적할 수 있는, 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법을 제공하는 것을 목적으로 한다.
The present invention has been proposed in order to solve the above-mentioned problems of the previously proposed methods. In the image input from the thermal imaging camera, a pedestrian using Haar-like feature based random forest and OCS-LBP feature based random forest And detects the detected pedestrians using online random fun learning and particle filter based on OCS-LBP feature and LID feature and can track many pedestrians in real time. It is an object of the present invention to provide an apparatus and method for tracking a pedestrian.

또한, 본 발명은, 파티클 필터를 통해 보행자의 후속 위치 분포를 반복적으로 추정하여, 보행자의 추적을 보다 쉽게 할 수 있고, 또한, 파티클 가중치 판단을 위해 관측우도를 측정하는데, 일반적인 거리 측정장치를 대신해서 온라인 랜덤 펀 학습을 사용하여, 추적 성공률을 높일 수 있는, 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법을 제공하는 것을 목적으로 한다.
In addition, the present invention can easily track a pedestrian by repeatedly estimating the posterior position distribution of the pedestrian through the particle filter, and also measure the observation likelihood for determining the particle weight, And an object of the present invention is to provide an apparatus and method for tracking a pedestrian using online random fun learning in a thermal image, which can increase the success rate of tracking using online random fun learning.

뿐만 아니라, 본 발명은, 부스티드 랜덤 펀을 이용하여 초기 펀에 대해 온라인 학습을 수행하고, 다음으로, 추적자 모델을 위한 랜덤 펀이, 후속 프레임에서 선택된 펀의 보행자가 관측되는 위치 분포를 기반으로 재학습되도록 함으로써, 필요한 샘플 량을 줄여 학습에 시간이 많이 걸리는 점을 해결할 수 있는, 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법을 제공하는 것을 목적으로 한다.
In addition, the present invention performs on-line learning on an initial fun using a booster random funn, and then determines whether the random fun for the tracer model is based on the positional distribution where the pedestrian of the fun selected in the subsequent frame is observed The present invention aims to provide an apparatus and a method for tracking a pedestrian by using online random fun learning in a thermal image, which can solve the point that a lot of time is required for learning by reducing the amount of necessary sample.

또한, 본 발명은, 검출된 보행자와 추적자간의 거리, 추적자의 모델을 이용한 검출된 보행자의 확률 및 겹침율을 조합하여 산정한 값을 기반으로 한 연관성 검사를 통해, 보행자의 식별성을 유지함으로써, 추적 성공률을 높일 수 있는, 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법을 제공하는 것을 목적으로 한다.
In addition, the present invention maintains the identity of the pedestrian by maintaining the identity of the pedestrian through the association test based on the calculated value obtained by combining the detected distance between the pedestrian and the tracer, the detected pedestrian's probability using the tracer's model, It is an object of the present invention to provide an apparatus and method for tracking a pedestrian by using online random fun learning in a thermal image which can increase the success rate.

마지막으로, 본 발명은, 보행자 검출을 기반으로 연관성 검사 알고리즘과 온라인 랜덤 펀 학습을 적용함으로써, 보행자의 겹침이 있거나 움직이는 카메라 환경뿐만 아니라 새롭게 나타나는 보행자에 대해서도, 추적 성능이 우수한, 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법을 제공하는 것을 목적으로 한다.Finally, the present invention applies a correlation checking algorithm and an online random fun learning based on pedestrian detection, so that it is possible to search for a new random pedestrian having not only overlapping or moving camera environments with pedestrians, And an object of the present invention is to provide an apparatus and a method for tracking a pedestrian using a fun learning.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법은,According to an aspect of the present invention, there is provided a method for tracking a pedestrian using an online random fun learning method,

입력된 열 영상에서, Haar-like 특징 기반 랜덤 포레스트(random forest)와 OCS-LBP(oriented center-symmetric local binary pattern) 특징 기반 랜덤 포레스트를 이용하여, 보행자를 검출하는 단계; 및Detecting a pedestrian using a random forest based on Haar-like features and a random forest based on an OCS-LBP (oriented center-symmetric local binary pattern) feature in an input thermal image; And

상기 검출된 보행자를 OCS-LBP 특징 및 LID(local intensity distribution) 특징을 기반으로 한 온라인 랜덤 펀 학습(online random ferns learning)과 파티클 필터(particle filter)를 이용하여, 실시간으로 추적하는 단계를 포함하는 것을 그 구성상의 특징으로 한다.
And tracking the detected pedestrian in real time using online random ferns learning and particle filter based on OCS-LBP feature and LID (local intensity distribution) feature And the like.

바람직하게는, 열 영상의 첫 번째 프레임에서 보행자 검출을 수행하고, 두 번째 프레임부터, 보행자 검출과 보행자 추적을 동시에 수행하도록 할 수 있다.
Preferably, the pedestrian detection may be performed in the first frame of the column image, and the pedestrian detection and the pedestrian tracking may be simultaneously performed in the second frame.

더욱 바람직하게는, 상기 첫 번째 프레임에서는,More preferably, in the first frame,

보행자 검출뿐만 아니라, 초기 보행자 상태를 초기화하고, 파티클 샘플을 추출하며, 상기 검출된 보행자의 정보를 이용하여 랜덤 펀을 학습시키고 학습된 랜덤 펀은 검출된 보행자에게 부여된 각 추적자에게 할당되도록 할 수 있다.
In addition to detecting pedestrians, it is also possible to initialize the initial pedestrian state, extract the particle samples, learn the random fun using the detected pedestrian information, and assign the learned random fun to each tracker assigned to the detected pedestrian have.

더더욱 바람직하게는,Even more preferably,

상기 랜덤 펀을 학습시키기 전에, 첫 번째 프레임에서 슬라이딩한 윈도우의 후보 펀(candidate ferns) 중에서, 바이너리 테스트를 평가하여 최적의 펀(optimal ferns)을 선택하는, 부스팅 알고리즘을 통해, 부스티드 랜덤 펀이 선택되고, 상기 선택된 부스티드 랜덤 펀을 학습시킬 수 있다.
Through the boosting algorithm, which evaluates the binary test and selects the optimal ferns from the candidate ferns of the window that has slid in the first frame before learning the random fun, And can learn the selected booster random fun.

바람직하게는, 상기 보행자 검출 단계는,Preferably, the pedestrian detecting step includes:

입력된 열 영상의 특정 프레임에서 윈도우를 슬라이딩하는 단계;Sliding a window in a specific frame of an input thermal image;

상기 슬라이딩한 윈도우에서 Haar-like 특징을 추출하는 단계;Extracting a Haar-like feature from the sliding window;

상기 추출된 Haar-like 특징을 기반으로 랜덤 포레스트 분류기를 적용하는 단계;Applying a random forest classifier based on the extracted Haar-like feature;

상기 슬라이딩한 윈도우에서 OCS-LBP(oriented center-symmetric local binary pattern) 특징을 추출하는 단계;Extracting an oriented center-symmetric local binary pattern (OCS-LBP) feature in the sliding window;

상기 추출된 OCS-LBP 특징을 기반으로 랜덤 포레스트 분류기를 적용하는 단계;Applying a random forest classifier based on the extracted OCS-LBP characteristics;

상기 Haar-like 특징을 기반으로 랜덤 포레스트 분류기를 적용하여 후보 영역으로 설정되면 OCS-LBP 특징을 기반으로 랜덤 포레스트 분류기를 적용하여, 상기 슬라이딩한 윈도우에 대하여 보행자 검출 여부를 결정하는 단계; 및Applying a random forest classifier based on the Haar-like feature to set a candidate region, applying a random forest classifier based on the OCS-LBP feature to determine whether to detect a pedestrian for the sliding window; And

상기 슬라이딩한 윈도우에 대한 보행자 검출 여부 결과를 이용하여, 상기 특정 프레임에 대한 보행자 위치를 검출하는 단계를 포함할 수 있다.
And detecting a pedestrian position of the specific frame using a pedestrian detection result of the sliding window.

바람직하게는, 상기 보행자 추적 단계는,Advantageously, the step of tracking the pedestrian comprises:

입력된 열 영상의 두 번째 프레임부터, 상기 파티클 필터가, 보행자가 발견되는 영역을 포함하는 각 프레임의 파티클을 필터링 하는 단계;Filtering the particles of each frame including the area where the pedestrian is found, from the second frame of the input thermal image, the particle filter;

상기 필터링 된 파티클의 관측 우도(observation likelihood)를 추정하고, 상위의 가중치를 갖는 파티클로 분류하는 단계; 및Estimating an observation likelihood of the filtered particles and classifying the filtered particles into particles having an upper weight; And

상기 분류된 파티클을 이용하여, 보행자의 상태를 추정하는 단계를 포함할 수 있다.
And estimating a state of the pedestrian using the classified particles.

더욱 바람직하게는, 상기 파티클의 관측 우도를 추정하고, 상위의 가중치를 갖는 파티클로 분류하는 단계는,More preferably, the step of estimating the observed likelihood of the particles and classifying the particles into particles having an upper weight value,

상기 필터링 된 파티클에서 추출된 OCS-LBP 특징 및 LID 특징을 각각의 특징 모델을 사용하는 부스티드 랜덤 펀 분류기에 적용하여, 관측 우도를 추정하는 단계;Applying an OCS-LBP feature and a LID feature extracted from the filtered particle to a boiled random-function classifier using each feature model, and estimating an observation likelihood;

상기 추정된 관측 우도를 조합하여, 각 파티클의 가중치로 설정하는 단계; 및Combining the estimated observation likelihoods to set weights of the particles; And

상기 설정된 각 파티클의 가중치를 기반으로 파티클을 업데이트한 후 상위의 가중치를 가진 파티클을 분류하는 단계를 포함할 수 있다.
And updating the particles based on the weights of the set particles and classifying the particles having the higher weights.

바람직하게는, 상기 두 번째 프레임에서는,Preferably, in the second frame,

연관성 검사결과에 따라 검출된 보행자와 추적자의 정보를 조합하여, 최종 보행자의 상태를 추정하는 단계; 및Estimating the state of the final pedestrian by combining the detected information of the pedestrian and the tracker according to the result of the association test; And

온라인 랜덤 펀 학습 알고리즘을 적용하여, 랜덤 펀의 업데이트 여부와 파티클을 재추출할지 여부를 결정하는 단계를 더 포함할 수 있다.
And determining whether to update the random fun and re-extract the particles by applying an online random fun learning algorithm.

더욱 바람직하게는, 상기 연관성 검사결과에 따라 검출된 보행자와 추적자의 정보를 조합하여, 최종 보행자의 상태를 추정하는 단계는,More preferably, the step of estimating the state of the final pedestrian by combining the detected information of the pedestrian and the tracker according to the result of the association test,

상기 보행자 검출 단계에서 검출된 보행자와 상기 검출된 보행자에게 부여된 추적자간의 거리, 추적자의 모델을 이용한 검출된 보행자의 확률 및 겹침율을 조합하여, 추정값을 산출하는 단계;Calculating an estimated value by combining the distance between the pedestrian detected in the pedestrian detecting step and the tracer assigned to the detected pedestrian, the probability of the pedestrian detected using the tracer's model, and the overlapping rate;

상기 산출된 추정값을 기반으로 헝가리안 알고리즘을 이용하여, 연관성을 검사하는 단계; 및Checking associations using a Hungarian algorithm based on the calculated estimates; And

상기 연관성 검사결과에 따라 검출된 보행자와 추적자의 정보를 조합하여, 최종보행자 상태를 추정하는 단계를 포함할 수 있다.
And a step of estimating a final pedestrian state by combining the information of the pedestrian and the tracker detected according to the result of the association test.

더욱 바람직하게는, 상기 온라인 랜덤 펀 학습 알고리즘을 적용하여, 랜덤 펀의 업데이트 여부와 파티클을 재추출할지 여부를 결정하는 단계는,More preferably, the step of determining whether to update the random fun and re-extract the particles by applying the online random fun learning algorithm comprises:

상기 부스티드 랜덤 펀 분류기를 이용하여 최종 보행자의 관측우도를 추정한 후 두 개의 최대 및 최소 임계값(U-max, U-min)을 이용한 온라인 랜덤 펀 학습 알고리즘을 적용하되,After estimating the observation likelihood of the final pedestrian using the above-mentioned booster random fun classifier, an online random fun learning algorithm using two maximum and minimum thresholds (U-max, U-min) is applied,

상기 관측우도가 최대 임계값(U-max)보다 높은 경우, 겹침이 없는 일반적인 상황으로 판단하여, 랜덤 펀의 업데이트와 파티클을 재 추출하는 단계;If the observed likelihood is higher than the maximum threshold value (U-max), determining a general situation without overlapping, updating the random fun and re-extracting the particles;

상기 관측우도가 최소 임계값(U-min)보다 낮은 경우, 완전 겹침으로 판단하여, 랜덤 펀을 업데이트하지 않고, 이전의 파티클 정보를 다시 사용하는 단계; 및If the observed likelihood is lower than the minimum threshold value (U-min), determining that the image is completely overlapped and using the previous particle information again without updating the random funn; And

상기 관측우도가 최대 임계값(U-max)과 최소 임계값(U-min) 사이인 경우, 부분 겹침 또는 작은 상태 변화로 판단하여, 랜덤 펀을 업데이트하지 않고, 파티클을 재 추출하는 단계를 포함할 수 있다.
If the observed likelihood is between the maximum threshold value (U-max) and the minimum threshold value (U-min), judging the partial overlap or small state change and re-extracting the particles without updating the random fun can do.

상기한 목적을 달성하기 위한 본 발명의 특징에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치는, 프로세서를 포함하고, 상기 프로세서는,According to an aspect of the present invention, there is provided an apparatus for tracking a pedestrian using an on-line random fun learning in a thermal image, the apparatus including a processor,

입력된 열 영상에서, Haar-like 특징 기반 랜덤 포레스트(random forest)와 OCS-LBP(oriented center-symmetric local binary pattern) 특징 기반 랜덤 포레스트를 이용하여 보행자를 검출하는 단계; 및Detecting a pedestrian using a random forest based on a Haar-like feature and a random forest based on an OCS-LBP (oriented center-symmetric local binary pattern) feature in an input thermal image; And

바람직하게는, 상기 프로세서는,Advantageously,

열 영상의 첫 번째 프레임에서 보행자 검출을 수행하고, 두 번째 프레임부터 보행자 검출과 보행자 추적을 동시에 수행하도록 할 수 있다.
The pedestrian detection may be performed in the first frame of the column image, and the pedestrian detection and the pedestrian tracking may be performed simultaneously from the second frame.

더욱 바람직하게는, 상기 열 영상의 첫 번째 프레임에서는,More preferably, in the first frame of the column image,

더더욱 바람직하게는, 상기 프로세서는,Even more preferably,

상기 랜덤 펀을 학습시키기 전에, 첫 번째 프레임에서 슬라이딩한 윈도우의 후보 펀(candidate ferns) 중에서, 바이너리 테스트를 평가하여 최적의 펀(optimal ferns)을 선택하는 부스팅 알고리즘을 통해, 부스티드 랜덤 펀이 선택되고, 상기 선택된 부스티드 랜덤 펀을 학습시킬 수 있다.
Before the random fun is learned, a boosted random funn is selected through a boosting algorithm for evaluating a binary test and selecting optimal ferns among candidate ferns of a window sliding in a first frame And the selected booster random fun can be learned.

(2-1) 입력된 열 영상의 두 번째 프레임부터, 상기 파티클 필터가, 보행자가 발견되는 영역을 포함하는 각 프레임의 파티클을 필터링 하는 단계;(2-1) from the second frame of the inputted thermal image, the particle filter filters particles of each frame including an area where a pedestrian is found;

(2-2) 상기 필터링 된 파티클의 관측 우도(observation likelihood)를 추정하고, 상위의 가중치를 갖는 파티클로 분류하는 단계; 및(2-2) estimating an observation likelihood of the filtered particles and classifying the particles into particles having an upper weight value; And

(2-3) 상기 분류된 파티클을 이용하여, 보행자의 상태를 추정하는 단계를 포함할 수 있다.
(2-3) Estimating the state of the pedestrian using the classified particles.

상기 필터링 된 파티클에서 추출된 OCS-LBP 특징 및 LID 특징을 각각의 특징 모델을 사용하는 부스티드 랜덤 펀 분류기에 적용하여, 관측 우도를 추정하는 단계, 상기 추정된 관측 우도를 조합하여, 각 파티클의 가중치로 설정하는 단계, 및 상기 설정된 각 파티클의 가중치를 기반으로 파티클을 업데이트한 후 상위의 가중치를 가진 파티클을 분류하는 단계를 포함할 수 있다.
Applying an OCS-LBP feature and a LID feature extracted from the filtered particle to a boiled random punster classifier using each feature model, estimating an observation likelihood, combining the estimated observation likelihoods, And classifying particles having higher weights after updating the particles based on the weights of the set particles.

상기 검출된 보행자와 상기 검출된 보행자에게 부여된 추적자간의 거리, 추적자의 모델을 이용한 검출된 보행자의 확률, 및 겹침율을 조합하여, 추정값을 산출하는 단계;Calculating an estimated value by combining a distance between the detected pedestrian and a tracer assigned to the detected pedestrian, a probability of a detected pedestrian using a tracer's model, and an overlap ratio;

상기 관측우도가 최소 임계값(U-min)보다 낮은 경우, 완전 겹침으로 판단하여, 랜덤 펀을 업데이트하지 않고 이전의 파티클 정보를 다시 사용하는 단계; 및Determining if the observed likelihood is less than a minimum threshold value (U-min), re-using the previous particle information without updating the random fun; And

상기 관측우도가 최대 임계값(U-max)과 최소 임계값(U-min) 사이인 경우, 부분 겹침 또는 작은 상태 변화로 판단하여, 랜덤 펀을 업데이트하지 않고 파티클을 재 추출하는 단계를 포함할 수 있다.If the observation likelihood is between a maximum threshold value (U-max) and a minimum threshold value (U-min), judging the partial overlap or small state change and re-extracting the particle without updating the random fun .

본 발명에서 제안하고 있는 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법에 따르면, 열 영상 카메라로부터 입력된 영상에서, Haar-like 특징 기반 랜덤 포레스트와 OCS-LBP 특징 기반 랜덤 포레스트를 이용하여 보행자를 검출하고, 검출된 보행자를 OCS-LBP 특징 및 LID 특징을 기반으로 한 온라인 랜덤 펀 학습과 파티클 필터를 이용하여 다수의 보행자를 실시간으로 추적할 수 있다.
According to the apparatus and method for tracking a pedestrian using online random fun learning in a thermal image proposed in the present invention, a Haar-like feature-based random forest and an OCS-LBP feature-based random forest And the detected pedestrians can track many pedestrians in real time using online random fun learning and particle filter based on OCS-LBP feature and LID feature.

또한, 본 발명에 따르면, 파티클 필터를 통해 보행자의 후속 위치 분포를 반복적으로 추정하여, 보행자의 추적을 보다 쉽게 할 수 있고, 또한, 파티클 가중치 판단을 위해 관측우도를 측정하는데, 일반적인 거리 측정장치를 대신해서 온라인 랜덤 펀 학습을 사용하여, 추적 성공률을 높일 수 있다.
In addition, according to the present invention, it is possible to easily estimate the posture of a pedestrian by repeatedly estimating the posture distribution of the posture of the pedestrian through the particle filter, and to measure the observation likelihood for determining the particle weight. Instead, you can increase your success rate by using online random fun learning.

뿐만 아니라, 본 발명에 따르면, 부스티드 랜덤 펀을 이용하여 초기 펀에 대해 온라인 학습을 수행하고, 다음으로, 추적자 모델을 위한 랜덤 펀이, 후속 프레임에서 선택된 펀의 보행자가 관측되는 위치 분포를 기반으로 재학습되도록 함으로써, 필요한 샘플 량을 줄여 학습에 시간이 많이 걸리는 점을 해결할 수 있다.
In addition, according to the present invention, an on-line learning is performed on an initial fun using a booster random funn, and then, a random fun for a tracer model calculates a position distribution on which a pedestrian of a fun selected in a subsequent frame is observed It is possible to solve the problem that the amount of sample required is reduced and the learning takes a long time.

또한, 본 발명에 따르면, 검출된 보행자와 추적자간의 거리, 추적자의 모델을 이용한 검출된 보행자의 확률 및 겹침율을 조합하여 산정한 값을 기반으로 한 연관성 검사를 통해, 보행자의 식별성을 유지함으로써, 추적 성공률을 높일 수 있다.
Further, according to the present invention, by maintaining the identity of the pedestrian through association test based on a value calculated by combining the detected distance between the pedestrian and the tracer, the probability of the detected pedestrian using the tracer's model and the overlap ratio, And the tracking success rate can be increased.

마지막으로, 본 발명에 따르면, 보행자 검출을 기반으로 연관성 검사 알고리즘과 온라인 랜덤 펀 학습을 적용함으로써, 보행자의 겹침이나 움직이는 카메라 환경뿐만 아니라 새롭게 나타나는 보행자에 대해서도 추적 성능이 우수하다.Finally, according to the present invention, the relevance checking algorithm and the online random fun learning are applied based on the detection of the pedestrian, so that the tracking performance is excellent not only for the overlapping of the pedestrians or the moving camera environment but also for the newly appearing pedestrians.

도 1은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법의 기능 블록도이다.
도 2는 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법의 순서도이다.
도 3은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S100의 순서도이다.
도 4는 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S100의 개념도이다.
도 5는 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S200의 순서도이다.
도 6은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S200의 개념도이다.
도 7은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S220의 순서도이다.
도 8은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법에서 부스티드 랜덤 펀의 선택 방법에 관한 개념도이다.
도 9는 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S300의 순서도이다.
도 10은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S300의 개념도이다.
도 11은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S400의 순서도이다.
도 12는 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S400의 개념도이다.
도 13은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법의 다자 추적 정확성(multiple-object tracking precision, MOTP)에 관한 실험 결과 테이블이다.
도 14는 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법의 다자 추적 정밀도(multiple objects tracking accuracy, MOTA)에 관한 실험 결과 테이블이다.
도 15는 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법에서 오버랩 비율을 사용하여 보행자를 추적한 결과를 도시한 도면이다.
도 16은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법의 추적 결과를 보여주는 영상을 도시한 도면이다.1 is a functional block diagram of an apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention.
2 is a flowchart of a method of tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention.
3 is a flowchart illustrating a method of tracking a pedestrian using online random fun learning in a thermal image according to an exemplary embodiment of the present invention.
FIG. 4 is a conceptual diagram of a step S100 in a method of tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention.
FIG. 5 is a flowchart of a step S200 of a method for tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention.
FIG. 6 is a conceptual diagram of a step S200 of a method for tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention.
FIG. 7 is a flowchart illustrating a method of tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention in step S220.
FIG. 8 is a conceptual diagram of a method for selecting a booster random funn in an apparatus and method for tracking a pedestrian using online random fun learning in a thermal image according to an embodiment of the present invention.
FIG. 9 is a flowchart of a step S300 of a method for tracking a pedestrian using on-line random fun learning in a thermal image according to an exemplary embodiment of the present invention.
FIG. 10 is a conceptual diagram of a step S300 of a method for tracking a pedestrian using online random fun learning in a thermal image according to an embodiment of the present invention.
11 is a flowchart of a step S400 of a method for tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention.
FIG. 12 is a conceptual diagram of a step S400 of a method for tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention.
FIG. 13 is an experimental result table for multiple-object tracking precision (MOTP) of an apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention.
FIG. 14 is an experimental result table for multiple objects tracking accuracy (MOTA) of an apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an exemplary embodiment of the present invention.
15 is a diagram illustrating a result of tracking a pedestrian using an overlap ratio in an apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an exemplary embodiment of the present invention.
16 is a diagram illustrating an image showing a result of tracking an apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings, in order that those skilled in the art can easily carry out the present invention. In the following detailed description of the preferred embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In the drawings, like reference numerals are used throughout the drawings.

덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
In addition, in the entire specification, when a part is referred to as being 'connected' to another part, it may be referred to as 'indirectly connected' not only with 'directly connected' . Also, to "include" an element means that it may include other elements, rather than excluding other elements, unless specifically stated otherwise.

도 1은 본 발명의 일실시 예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법의 기능 블록도이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법은, 첫 번째 프레임에서 보행자 검출을 수행하고, 두 번째 프레임부터 보행자 검출과 보행자 추적을 동시에 수행하도록 구성될 수 있다.
1 is a functional block diagram of an apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention. As shown in FIG. 1, an apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an exemplary embodiment of the present invention includes detecting a pedestrian in a first frame, And can be configured to simultaneously perform detection and pedestrian tracking.

도 2는 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법의 순서도이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법은, 입력된 열 영상에서, Haar-like 특징 기반 랜덤 포레스트(random forest)와 OCS-LBP(oriented center-symmetric local binary pattern) 특징 기반 랜덤 포레스트를 이용하여, 보행자를 검출하는 단계(S100), 검출된 보행자를 OCS-LBP 특징 및 LID(local intensity distribution) 특징을 기반으로 한 온라인 랜덤 펀 학습(online random ferns learning)과 파티클 필터(particle filter)를 이용하여, 실시간으로 추적하는 단계(S200)로 구성될 수 있다. 또한, 연관성 검사결과에 따라 검출된 보행자와 추적자의 정보를 조합하여, 최종보행자의 상태를 추정하는 단계(S300), 및 온라인 랜덤 펀 학습 알고리즘을 적용하여, 랜덤 펀의 업데이트 여부와 파티클을 재추출할지 여부를 결정하는 단계(S400)를 더 포함하도록 구성될 수 있다.
2 is a flowchart of a method of tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention. As shown in FIG. 2, a method for tracking a pedestrian using an online random fun learning method in a thermal image according to an exemplary embodiment of the present invention includes a random forest based on a Haar-like feature, (Step S100) of detecting a pedestrian using a random forest based on an OCS-LBP (oriented center-symmetric local binary pattern) feature, and detecting the detected pedestrian based on OCS-LBP feature and LID (S200) of real-time tracking using an online random fern learning and a particle filter. In addition, the step S300 of estimating the state of the final pedestrian by combining the detected information of the pedestrian and the tracker according to the result of the relevance test, and applying an online random fun learning algorithm to determine whether the random fun is updated and re- (S400) whether or not to determine whether or not to perform the operation.

단계 S100은, 입력된 열 영상의 각 프레임에서 보행자를 검출하는 단계이다. 도 3은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S100의 순서도이고, 도 4는 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S100의 개념도이다. 도 3 및 도 4에 도시된 바와 같이, 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S100은, 입력된 열 영상의 특정 프레임에서 윈도우를 슬라이딩하는 단계(S110), 슬라이딩한 윈도우에서 Haar-like 특징을 추출하는 단계(S120), 추출된 Haar-like 특징을 기반으로 랜덤 포레스트 분류기를 적용하여 후보 영역을 설정하는 단계(S130), 슬라이딩한 윈도우에서 OCS-LBP(oriented center-symmetric local binary pattern) 특징을 추출하는 단계(S140), 추출된 OCS-LBP 특징을 기반으로 랜덤 포레스트 분류기를 적용하여 슬라이딩한 윈도우에 대하여 보행자 검출 여부를 결정하는 단계(S150), 및 슬라이딩한 윈도우에 대한 보행자 검출 여부 결과를 이용하여, 특정 프레임에 대한 보행자 위치를 검출하는 단계(S160)를 포함하도록 구성될 수 있다.
Step S100 is a step of detecting a pedestrian in each frame of the input thermal image. FIG. 3 is a flowchart illustrating a method of tracking a pedestrian using an on-line random fun learning method in a thermal image according to an exemplary embodiment of the present invention. FIG. And a method of tracking a pedestrian using the learning is a conceptual diagram of step S100. 3 and 4, in the method of tracking a pedestrian using online random fun learning in a thermal image according to an exemplary embodiment of the present invention, a step S100 includes sliding a window in a specific frame of the input thermal image (S120) of extracting a Haar-like feature from a sliding window (S120), setting a candidate region by applying a random forest classifier based on the extracted Haar-like feature (S130) A step of extracting an OCS-oriented center-symmetric local binary pattern (OCS-LBP) feature (S140), a step of determining whether to detect a pedestrian for a sliding window by applying a random forest classifier based on the extracted OCS- S150), and detecting a pedestrian position for a specific frame using the pedestrian detection result for the sliding window (S160) have.

보행자 검출의 목적은 각 프레임에 보행자가 검출된 영역을 초기화하고, 후속 프레임에서 그 보행자의 위치와 크기를 업데이트하기 위한 것이다. 전처리 과정에서 Haar-like 특징은 추적 방해물을 제거하기 위한 필터로 사용되며, 추적 대상 보행자 분류 시간을 단축한다. OCS-LBP 특징은 후보 윈도우에서 추출되며, 보행자 클레스와 배경 클래스로 후보 윈도우를 분리하는 랜덤 포레스트 분류기에 적용된다.
The purpose of pedestrian detection is to initialize the area where the pedestrian is detected in each frame, and to update the position and size of the pedestrian in the subsequent frame. In the preprocessing process, the Haar-like feature is used as a filter to remove tracking obstacles and shortens the time to classify the pedestrian to be tracked. The OCS-LBP feature is extracted from the candidate window and applied to a random forest classifier that separates candidate windows from pedestrian classes and background classes.

단계 S200은, 검출된 보행자를 OCS-LBP 특징 및 LID(local intensity distribution) 특징을 기반으로 한 온라인 랜덤 펀 학습(online random ferns learning)과 파티클 필터(particle filter)를 이용하여, 실시간으로 추적하는 단계이다. 도 5는 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S200의 순서도이고, 도 6은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S200의 개념도이다. 도 5와 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법에서 단계 S200은, 보행자의 후속 위치 분포를 반복적으로 추정할 수 있는 파티클 필터를 사용하여, 입력된 열 영상의 두 번째 프레임부터 보행자가 발견되는 영역의 각 프레임의 파티클을 필터링 하는 단계(S210), 필터링 된 파티클의 관측 우도(observation likelihood)를 추정하고, 상위의 가중치를 갖는 파티클로 분류하는 단계(S220), 및 분류된 파티클을 이용하여, 보행자의 상태를 추정하는 단계(S230)를 포함하여 구성될 수 있다. 단계 S220에 대해서는, 아래에서 도 7과 도 8을 참조하여 더욱 상세히 설명한다.
Step S200 is to track the detected pedestrian in real time using online random ferns learning and particle filter based on OCS-LBP feature and LID (local intensity distribution) feature to be. FIG. 5 is a flowchart of a step S200 of a method for tracking a pedestrian using on-line random fun learning in a thermal image according to an exemplary embodiment of the present invention. FIG. And a method of tracking a pedestrian using the learning is a conceptual diagram of step S200. 5 and 6, in an apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an exemplary embodiment of the present invention, a step S200 includes the steps of repeatedly estimating a position distribution of a posterior of a pedestrian (S210) filtering the particles of each frame of the area where the pedestrian is found from the second frame of the inputted thermal image by using the particle filter capable of estimating the observation likelihood of the filtered particle, (S220) classification of the particles into particles having an upper weight, and estimating a state of the pedestrian using the classified particles (S230). Step S220 will be described in more detail below with reference to FIGS. 7 and 8. FIG.

단계 S220은, 필터링 된 파티클의 관측 우도(observation likelihood)를 추정하고, 상위의 가중치를 갖는 파티클로 분류하는 단계이다. 도 7은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S220의 순서도이다. 도 7에 도시된 바와 같이, 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법에서 단계 S220은, 파티클 필터를 통해 필터링 된 파티클에서 추출된, OCS-LBP 특징 및 LID 특징을 각각의 특징 모델을 사용하는 부스티드 랜덤 펀 분류기에 적용하여 관측 우도를 추정하는 단계(S222), 추정된 관측 우도를 조합하여 각 파티클의 가중치로 설정하는 단계(S224), 및 설정된 각 파티클의 가중치를 기반으로 파티클을 업데이트한 후 상위의 가중치를 가진 파티클을 분류하는 단계(S226)를 포함하도록 구성될 수 있다.
Step S220 is a step of estimating an observation likelihood of the filtered particles and classifying them into particles having an upper weight value. FIG. 7 is a flowchart illustrating a method of tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention in step S220. As shown in FIG. 7, in an apparatus and method for tracking a pedestrian using online random fun learning in a thermal image according to an exemplary embodiment of the present invention, step S220 includes an OCS (Step S222); estimating an observation likelihood by applying the LBP feature and the LID feature to a boiled random fun classifier using each feature model; setting a weight of each particle by combining the estimated observation likelihoods; And sorting the particles having the upper weights after updating the particles based on the weights of the set particles (S226).

단계 S222에서는, 파티클의 가중치 설정을 위해 관측우도를 추정하는데, 일반 거리 측정 대신에 온라인 랜덤 펀 학습을 이용할 수 있다. 이때 랜덤 펀을 학습시키기 전에, 보행자가 검출된 영역을 포함하는 첫 번째 프레임에서 슬라이딩한 윈도우의 후보 펀(candidate ferns)에 바이너리 테스트를 평가하여 최적의 펀(optimal ferns)을 선택하는, 부스팅 알고리즘을 통해 부스티드 랜덤 펀이 선택되고, 상기 선택된 부스티드 랜덤 펀을 학습시키도록 구성될 수 있다. 부스티드 랜덤 펀을 사용하는 이유는, 랜덤 펀이 많은 수의 학습 샘플을 요구하고, 모든 펀이 분류화에 적합한 것은 아니기 때문이다. 부스티드 랜덤 펀을 선택하는 방법은 도 8을 참조하여 아래에서 상세히 설명한다.
In step S222, the observation likelihood is estimated for weight setting of the particles, and online random fun learning can be used instead of the general distance measurement. In this case, before the random fun is learned, a boosting algorithm is performed in which optimal ferns are selected by evaluating a binary test on candidate ferns of a window sliding in a first frame including a detected area of a pedestrian , A booster random fun is selected through the selection, and the selected booster random fun is learned. The reason for using the Boosted random fun is that random fern requires a large number of learning samples and not all fins are suitable for classification. The method of selecting the boosted random funn will be described in detail below with reference to FIG.

도 8은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법에서 부스티드 랜덤 펀의 선택 방법에 관한 개념도이다. 도 8에 도시된 바와 같이, 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법에서 부스티드 랜덤 펀의 선택 방법은, 부스팅 알고리즘을 이용한다. 부스팅 알고리즘은 추후 알고리즘 1에서 상세히 설명한다.
FIG. 8 is a conceptual diagram of a method for selecting a booster random funn in an apparatus and method for tracking a pedestrian using online random fun learning in a thermal image according to an embodiment of the present invention. As shown in FIG. 8, in the apparatus and method for tracking a pedestrian using online random fun learning in a thermal image according to an exemplary embodiment of the present invention, a boosting random funnel selection method uses a boosting algorithm. The boosting algorithm is described in detail in Algorithm 1 below.

부스티드 랜덤 펀을 선택하는 이유는, 앞에서 언급 하였듯이, 단계 S222에서, 파티클 가중치 산정을 위한 관측 우도를 측정하기 위해 거리측정 대신 온라인 랜덤 펀 학습을 사용하는데, 모든 펀이 분류화에 적합한 것은 아니고, 많은 수의 샘플이 필요하여 랜덤 펀 학습에 시간이 오래 걸리게 되기 때문이다. 즉, 최적의 펀인 부스티드 랜덤 펀을 사용하여 온라인 랜덤 펀 학습을 함으로써 시간을 단축하려는 것이다. 또한, 랜덤 펀은 랜덤 포레스트나 아다부스트 알고리즘(Adaboost algorism)과는 달리, 펀을 구성하는 이진 테스트에 대한 평가를 하지 않는다. 그러므로 랜덤 펀의 분류 성능은 학습 데이터의 크기와 품질에 의존한다. 즉, 랜덤 펀의 분류 성능을 좋게 하기 위해서는 크기뿐만 아니라 품질을 높여야 할 것이므로, M개의 후보 펀에서 최적의 T펀을 선택할 필요가 있다. 이러한 부스티드 랜덤 펀이 선택되는 과정은 알고리즘 1에서 설명될 수 있다. 이하 알고리즘 1에 대해 설명한다.
The reason for choosing the Boosted random fun is that in step S222, an online random fun learning is used instead of the distance measurement to measure the observation likelihood for particle weight estimation, as alluded to above, This is because a large number of samples are required and it takes a long time to learn random fun. That is, it is aimed at shortening the time by performing online random fun learning using the optimal Funn Boosted random fun. Also, unlike the random forest and the adaboost algorithm, the random fun does not evaluate the binary test that makes up the fun. Therefore, classification performance of random fun depends on the size and quality of learning data. That is, in order to improve the classification performance of the random funn, it is necessary to increase the quality as well as the size, so it is necessary to select the optimum T fun in M candidate ferns. The process of selecting these booster random funns can be explained in Algorithm 1. The algorithm 1 will be described below.

[알고리즘 1][Algorithm 1]

1: T: 주어진 약한 분류기.1: T: Given weak classifiers.

S: (X_i, Y_i)…(X_n, Y_n)의 라벨을 가진 N개의 샘플로 구성되는 데이터 셋. 여기서, Y_i∈{+1, -1}는 각각 보행자와 배경 클래스를 위한 라벨이다.S: (X _i , Y _i ) ... A data set consisting of N samples with labels of (X _n , Y _n ). Where Y _i ∈ {+1, -1} is the label for the pedestrian and background class, respectively.

M: 전체 샘플에 대해 계산된 랜덤 펀의 풀.
M: A pool of random ferns calculated over the entire sample.

2: 긍정적 샘플 가중치 D₁(x_i)=1/N_pos, 부정적 샘플 가중치 D₁(x_i)=-1/N_neg를 초기화한다.
2: initialize positive sample weights D ₁ (x _i ) = 1 / N _pos and negative sample weights D ₁ (x _i ) = - 1 / N _neg .

3: for t=1 to T do3: for t = 1 to T do

for m=1 to M dofor m = 1 to M do

현재 분포 D_t 아래, 다음 수학식 1을 사용하는 가설 h_m(x)를 계산한다. 가설은 랜덤 펀 관찰(출력) z의 공동 발생에 의해 정의된다. 펀의 관찰 변수 z는 변수 k에 의해 포착된다.Under the current distribution D _t , the hypothesis h _m (x) using the following equation 1 is calculated. The hypothesis is defined by the co-occurrence of the random-fun observation (output) z. The observation variable z of the fun is captured by the variable k.

ε는 평활화 계수이고, 확률 P는 후술할 수학식 6 및 7에 의해 추정된다.? is a smoothing coefficient, and the probability P is estimated by Equations (6) and (7) to be described later.

다음으로, 가설 h_m(x)의 바타차리야 거리(Bhattacharyya distance) Q_m는 다음 수학식 2로 추정된다.Next, the Bhattacharyya distance Q _m of the hypothesis h _m (x) is estimated by the following equation (2).

end.end.

Q_m을 최소화하는 h_t를 선택하고, 샘플 가중치를 다음 수학식 3에 의해 업데이트한다.We choose h _t that minimizes Q _m and update the sample weights by the following equation (3).

강력한 분류기를 다음 수학식 4에 의해 업데이트한다.The strong classifier is updated by the following equation (4).

end.
end.

4: 마지막으로, 강력한 분류기는 다음 수학식 5에 의해 구해진다.4: Finally, the strong classifier is obtained by the following equation (5).

여기서, β_e는 분류기 임계값이다.
Here,? _E is a classifier threshold value.

각 부스팅 반복에서, 확률 P(z_t(x)=k|c_target)과 P(z_t(x)=k|c_background)은,At each boosting iterations, the probability _{P (z t (x) =} k | c target) and _{P (z t (x) =} k | c background) is

다음 수학식 6 및 7과 같이 학습샘플의 가중치 분포 D에서 계산된다.Is calculated in the weight distribution D of the learning samples as shown in the following equations (6) and (7).

초기 검출과 추적자 설정에 있어서는, 운동 모델로 보행자 위치를 예측하기 위한 파티클 필터와 보행자를 지역화하기 위한 랜덤 펀 기반의 온라인 학습 추적자를 조합한다. 이 조합은 타임 크리티컬(time critical)과 온라인 애플리케이션(online application)의 영향을 받는다. 보행자가 검출된 때, 첫 번째 단계에서는, 보행자는 검출 세트 D에 할당되고, j번째 감지 초기 벡터가

와 같이 자동으로 설정된다. 여기서, w와 h는 검색의 바운딩 박스(bounding box)의 폭과 높이이고, (cx,cy)는 보행자 위치의 중심이다.
In the initial detection and tracer setting, we combine a particle filter for predicting the position of a pedestrian with a motion model and a random - funn - based on - line tracer to localize the pedestrian. This combination is affected by time critical and online applications. When the pedestrian is detected, in the first step, the pedestrian is assigned to the detection set D, and the jth sense initial vector is

As shown in FIG. Where w and h are the width and height of the bounding box of the search, and (cx, cy) is the center of the position of the pedestrian.

초기 추적기 세트 T와 i번째 추적기 상태 벡터는 검출 결과에 따라

와 같이 자동으로 설정된다. 여기서, RF₁ ⁱ는 t=1에서 온라인 부스티드 랜덤 펀 학습에 의해 결정되는 i번째 보행자에 대한 랜덤 펀 분류기이다.
The initial tracker set T and the i-th tracker state vector

As shown in FIG. Here, RF ₁ ⁱ is a random-funciner for i-th pedestrian determined by on-line booster random fun learning at t = 1.

두 번째 프레임에서, 추적자 trⁱ의 위치는 파티클 및 그 우도를 사용하여 업데이트된다. 랜덤 펀 및 그 분포는, 첫 번째 프레임에서 결정된 후 랜덤 펀 온라인 학습법으로 두 번째 프레임부터 각각의 추적자에 대해 학습된다.
In the second frame, the position of the tracer tr ⁱ is updated using the particle and its likelihood. The random fern and its distribution are learned for each tracker from the second frame in the random fun online learning method after being determined in the first frame.

레퍼런스(reference) 특징 히스토그램, 즉 LID와 파티클의 OCS-LBP는 추적자를 위한 해당 랜덤 펀에 적용된다. 따라서 파티클 j의 전반적인 우도는 랜덤 펀의 우도에 의해 다음 수학식 8과 같이 추정된다.Reference features The histogram, ie LID and particle OCS-LBP, is applied to the corresponding random fun for the tracer. Therefore, the overall likelihood of the particle j is estimated by the likelihood of the random fun as shown in the following equation (8).

모든 파티클에 대한 우도가 계산될 때까지 이 과정이 반복하여 계속된다. j번째 파티클에 대한 최종 우도 P^j가 추정되면, 시간 t에서 j번째 파티클의 가중치 w_t ^j는 랜덤 펀에서 얻은 우도 P^j를 이용하여 치환되고, 각 가중치는 정상화된다.
This process is repeated until the likelihood for all particles is calculated. If the final likelihood P ^j for the jth particle is estimated, then the weight w _t ^j of the ^jth particle at time t is replaced using the likelihood P ^j obtained from the random fun, and each weight is normalized.

현재 보행자의 상태는, 랜덤 펀을 제외하고, 큰 가중치를 가지는 상위 j 파티클에 대한 상태 벡터로 업데이트된다.
The state of the current pedestrian is updated with the state vector for the top j particle with a large weight, except for the random funn.

단계 S300은 연관성 검사를 통해 보행자 상태를 추정하는 단계이다. 도 9는 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S300의 순서도이고, 도 10은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S300의 개념도이다. 도 9와 도 10에 도시된 바와 같이, 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법에서 단계 S300은, 보행자의 식별성을 유지하기 위하여, 검출된 보행자와 검출된 보행자에게 부여된 추적자간의 거리, 추적자의 모델을 이용한 검출된 보행자의 확률 및 겹침율을 조합하여 추정값을 산출하는 단계(S310), 산출한 추정값을 기반으로, 헝가리안 알고리즘을 이용하여 연관성을 검사하는 단계(S320), 및 연관성 검사결과에 따라 검출된 보행자와 추적자의 정보를 조합하여 최종보행자 상태를 추정하는 단계(S330)를 포함하도록 구성될 수 있다.
Step S300 is a step of estimating the pedestrian state through the correlation test. FIG. 9 is a flowchart of a step S300 in a method of tracking a pedestrian using an online random fun learning in a thermal image according to an exemplary embodiment of the present invention. FIG. 10 is a flowchart illustrating an online random fern And a method of tracking the pedestrian using the learning is a conceptual diagram of the step S300. As shown in FIGS. 9 and 10, in an apparatus and method for tracking a pedestrian using online random fun learning in a thermal image according to an exemplary embodiment of the present invention, step S300 includes steps of detecting (Step S310) of calculating the estimated value by combining the distance between the pedestrian and the tracer assigned to the detected pedestrian, the probability of the pedestrian detected using the tracer's model, and the overlap ratio, and using the Hungarian algorithm (S320), and estimating the final pedestrian state by combining the information of the pedestrian and the tracer detected according to the relevance test result (S330).

실시예에 따라서는, 두 번째 프레임에서부터, 현재 프레임에 검출된 보행자를 기존 추적자에 할당하도록 하는 것은, 추정값을 극대화함으로써 이루어질 수 있다. 먼저 매칭함수 sim(trⁱ,d^j)를 사용하여, 각 트랙에 각 검출을 할당하는 추정값을 다음 수학식 9와 같이 계산한다. 이때, 검출 및 추적 대상 사이의 추정값이 높을수록 매치가 좋다.According to an embodiment, it is possible to allocate a pedestrian detected in the current frame from the second frame to the existing tracker by maximizing the estimated value. First, an estimation value for assigning each detection to each track is calculated using the matching function sim (tr ⁱ , d ^j ) as shown in the following equation (9). At this time, the higher the estimated value between the detection target and the tracking target, the better the match.

여기서, P(trⁱ,d^j)는 검출이 추적자 trⁱ에 적용되는 우도이고, dist(d^j-trⁱ)는 추적자와 검출 d^j간의 유클리드 거리이다. Size(d^j-trⁱ)는 검출 d^j와 추적자 trⁱ사이의 겹침율이 임계값을 밑돌 때 1로 되돌아가게 하는 지시 함수이다. 추적 기능은, 합계 점수의 최대 할당을 계산하기 위해 헝가리안 알고리즘을 사용한다.
Where P (tr ⁱ , d ^j ) is the likelihood that detection is applied to the tracer tr ⁱ , and dist (d ^j -tr ⁱ ) is the Euclidean distance between the tracer and the detected d ^j . Size (d ^j -tr ⁱ ) is an indicator function that causes the overlap rate between the detection d ^j and the tracer tr ⁱ to return to 1 when the threshold is below. The tracing function uses the Hungarian algorithm to calculate the maximum assignment of the total score.

단계 S400은, 온라인 랜덤 펀 학습 알고리즘을 적용하여 업데이트 여부를 결정하는 단계이다. 도 11은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S400의 순서도이고, 도 12는 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 방법에서 단계 S400의 개념도이다. 도 11 및 도 12에 도시된 바와 같이, 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법에서 단계 S400은, 부스티드 랜덤 펀 분류기를 이용하여 최종 보행자의 관측우도를 추정한 후 두 개의 최대 및 최소 임계값(U-max, U-min)을 이용한 온라인 랜덤 펀 학습 알고리즘을 적용하되, 관측우도가 최대 임계값(U-max)보다 높은 경우, 겹침이 없는 일반적인 상황으로 판단하여, 랜덤 펀의 업데이트와 파티클을 재 추출하는 단계(S410), 관측우도가 최소 임계값(U-min)보다 낮은 경우, 완전 겹침으로 판단하여, 랜덤 펀을 업데이트하지 않고 이전의 파티클 정보를 다시 사용하는 단계(S420), 및 관측우도가 최대 임계값(U-max)과 최소 임계값(U-min) 사이인 경우, 부분 겹침 또는 작은 상태 변화로 판단하여, 랜덤 펀을 업데이트하지 않고, 파티클을 재 추출하는 단계(S430)를 포함하도록 구성될 수 있다.
Step S400 is a step of determining whether to update by applying an online random fun learning algorithm. FIG. 11 is a flowchart of a step S400 of a method for tracking a pedestrian using on-line random fun learning in a thermal image according to an exemplary embodiment of the present invention. FIG. And a method of tracking a pedestrian using learning is a conceptual diagram of step S400. 11 and 12, in an apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an exemplary embodiment of the present invention, a step S400 includes the steps of using a booster random- If the observed likelihood is higher than the maximum threshold value (U-max), then an online random-fun learning algorithm using two maximum and minimum thresholds (U-max, U-min) (Step S410). If the observation likelihood is lower than the minimum threshold value (U-min), it is determined to be completely overlapped and the random fun is updated (S420), and if the observed likelihood is between the maximum threshold value (U-max) and the minimum threshold value (U-min), it is determined that the partial overlapping or small state change is present, Update Fun If not, it can be configured to include a step (S430) to re-extract the particles.

실시예에 따라서는, 연관성 검사후 추적자 trⁱ 상태는 다음 수학식 10을 사용하여 현재 추적자 trⁱ의 상태와 검출 d^j를 조합하여 업데이트 될 수 있다.Depending on the embodiment, the tracer tr ⁱ state after the association check can be updated by combining the state of the current tracker tr ⁱ and the detection d ^j using the following equation:

여기서, α는 0.5로 설정추적자의 상태를 업데이트하기 위한 조정 가능한 매개 변수이다. 부스티드 랜덤 펀은 실시간 학습에 적당치 못하기 때문에 두 번째 프레임에서 부스티드 랜덤 펀 대신 랜덤 펀을 학습시킨다. 랜덤 펀의 학습을 위해 긍정적 샘플이, 연관 검출의 바운딩 박스에서 샘플링 된다. 부정적인 학습 세트는, 근처의 대상과 적어도 거리 l 이상에서 랜덤 샘플링된다. 검색이 다른 검색과 오버랩 되지 않거나, 매칭 점수가 임계값을 초과하는 경우에는, 랜덤 펀 분류기는 업데이트된다. 추적자 tr^i*을 위한 학습 입력을 감안할 때, 단순히 각 펀을 위해 동일한 바이너리 테스트를 적용하고, 부스티드 랜덤 펀의 초기 분포를 누적하여, 랜덤 펀의 분포를 업데이트한다.
Where a is an adjustable parameter for updating the state of the tracer set to 0.5. Because Boosted random fun is not suitable for real-time learning, it learns random fun instead of boosted random fun in the second frame. For learning of the random funn, a positive sample is sampled in the bounding box of the association detection. A negative learning set is randomly sampled at least a distance l from a nearby object. If the search does not overlap with another search, or if the matching score exceeds the threshold, the random-functors classifier is updated. Given the learning input for the tracer tr ^{i *} , simply apply the same binary test for each fun, accumulate the initial distribution of the busted random fun, and update the distribution of the random fun.

도 13은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법의 다자 추적 정확성(multiple-object tracking precision, MOTP)에 관한 실험 결과 테이블이고, 도 14는 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법의 다자 추적 정밀도(multiple objects tracking accuracy, MOTA)에 관한 실험 결과 테이블이다. 도 13 및 도 14에 도시된 바와 같이, 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법의 다자 추적 정확성(multiple-object tracking precision, MOTP)에 관한 실험 결과와 다자 추적 정밀도(multiple objects tracking accuracy, MOTA)에 관한 실험 결과는, 야간에 부분적 또는 완전히 가려지거나, 복잡한 배경을 가지거나, 갑작스런 형상 변형을 일으키거나, 예기치 않은 동작 또는 장기적으로 움직이는 보행자를 실험대상으로 하여, 열 적외선 비디오 10종류, 크기는 320×240 화소의 비디오로 성능 테스트를 실시하였다. 겨울에 기록된 7개의 동영상과 여름에 기록된 3개의 동영상을 대상으로 하였다. 평가 기준은 첫째, 다자 추적 정확성(MOTP)을 사용하였다. MOTP는 모든 프레임에서 매칭되는 보행자와 추적자 쌍의 추정위치의 총 오류이다. 이는 정확한 보행자 위치를 추정하는 추적자 능력을 나타낸다. 실험은 거리 대신 겹침율을 사용하였다.
13 is an experimental result table of multiple-object tracking precision (MOTP) of an apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention, Is an experimental result table for multiple objects tracking accuracy (MOTA) of an apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an exemplary embodiment of the present invention. 13 and 14, the multiple-object tracking precision (MOTP) of an apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an exemplary embodiment of the present invention Experimental results on multiple objects tracking accuracy (MOTA) and experimental results on multi-object tracking accuracy (MOTA) indicate that a partial or complete occlusion at night, a complex background, a sudden shape change, an unexpected behavior, , And 10 kinds of thermal infrared video and 320 × 240 pixel size video were tested for performance. Seven videos recorded in winter and three recorded in summer. First, Multilateral Tracking Accuracy (MOTP) was used. MOTP is the total error of estimated positions of pedestrian and tracker pairs matched in all frames. This represents the tracer's ability to estimate accurate pedestrian position. The experiment used the overlap ratio instead of the distance.

두 번째 기준으로 CLEAR MOT 인식을 위한 다자 추적 정밀도(MOTA)를 사용했다. MOTA는 모든 프레임에 걸쳐, 추적자에 의해 만들어진 모든 보행자의 설정오류를 나타낸다.
As a second criterion, MOTA was used for CLEAR MOT recognition. MOTA represents the setting errors of all pedestrians created by the tracer over all frames.

도 13에 도시된 바와 같이, 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법의 전체 평균 MOTP 성능은 89%로서, 비교 대상 방법의 성능을 웃돌았다. 비디오 10은 더운 여름에 이동카메라에 의해 기록되었기 때문에, 도 13에서 방법 1은 최고의 MOTP 성능을 보여 주었다. 그러나 도 14에서 MOTA 성능은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법의 성능 보다 떨어지는 것을 볼 수 있다. 즉, 부스티드 랜덤 펀을 기반으로 한 온라인 랜덤 펀은, 간단한 랜덤 펌(방법 1)이나 핫 스팟 기반 추적 방식(방법 2)과 비교할 때, 강하고 뛰어난 추적 결과를 보여준다.
As shown in FIG. 13, the average MOTP performance of the apparatus and method for tracking a pedestrian using online random fun learning in a thermal image according to an embodiment of the present invention is 89%, which is higher than the performance of the comparison target method . Since video 10 was recorded by a mobile camera in hot summer, method 1 in FIG. 13 showed the best MOTP performance. However, in FIG. 14, it can be seen that the performance of the MOTA performance is lower than that of the apparatus and method for tracking the pedestrian using the online random fun learning in the thermal image according to the embodiment of the present invention. That is, the online random fun based on Boosted Random Fun has strong and excellent tracking results compared to simple random Firm (Method 1) or Hot Spot based Tracking (Method 2).

도 14에서 보듯이, 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법의 전체적인 평균 MOTA는 79.5%이다. 비디오 2와 비디오 4는, 몇몇 보행자의 완전한 가려짐 때문에 방법 1보다 약간 낮은 결과를 보였다. 방법 2는, 몇 가지 잘못된 반응이 발생했기 때문에 비디오 2 및 10은 음수 값을 가진다. 비디오 10은, 이동 카메라에 의해 기록되었기 때문에 약한 진동으로 인한 부정확한 값이 산출되었다. 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법은, 전체 또는 부분적인 가려짐과 카메라 움직임의 오차가 발생하더라도, 다른 방법보다 더 강력한 결과와 작은 비율의 오차를 가지고 있는 것을 볼 수 있다.
As shown in FIG. 14, the overall average MOTA of an apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an exemplary embodiment of the present invention is 79.5%. Video 2 and Video 4 showed slightly lower results than Method 1 due to the complete closure of some pedestrians. In Method 2, videos 2 and 10 have negative values because some erroneous response has occurred. Because video 10 was recorded by a mobile camera, an inaccurate value due to weak vibrations was produced. The apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an exemplary embodiment of the present invention can detect a stronger result and a smaller It can be seen that it has a ratio error.

도 15는 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법의 오버랩 비율을 사용하여 보행자를 추적한 결과를 도시한 도면이다. 도 15에 도시된 바와 같이, 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법의 오버랩 비율을 사용하여 보행자를 추적한 결과는, 3가지 방법의 상대적인 추적 성능의 상세한 묘사를 제공한다. 즉, 그라운드 트루스(ground-truth, GT)와 시스템에 의해 검출된 보행자(ST)사이의 겹침율에 관한 복수의 보행자 추적 방법에 대해 세 개의 비디오에서 보여준다.
FIG. 15 is a view illustrating a result of tracking a pedestrian using an overlap ratio of an apparatus and method for tracking a pedestrian using an online random fun learning method in a thermal image according to an exemplary embodiment of the present invention. As shown in FIG. 15, the result of tracking the pedestrian using the overlap ratio of the apparatus and method for tracking the pedestrian using the online random fun learning in the thermal image according to the embodiment of the present invention, Provides a detailed description of relative tracking performance. In other words, three videos show a plurality of pedestrian tracking methods for the overlapping rate between the ground-truth (GT) and the pedestrian (ST) detected by the system.

도 16은 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법의 추적 결과를 보여주는 영상을 도시한 도면이다. 도 16에 도시된 바와 같이, 본 발명의 일실시예에 따른 열 영상에서 온라인 랜덤 펀 학습을 이용하여 보행자를 추적하는 장치 및 방법을 이용하여 10개의 비디오에서 얻은 복수의 보행자 추적 결과를 보여 주고 있다. 비디오 10은 이동 카메라에 의해 기록 된 것이다.
16 is a diagram illustrating an image showing a result of tracking an apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention. As shown in FIG. 16, a plurality of pedestrian tracking results obtained from ten videos are shown using an apparatus and method for tracking a pedestrian using on-line random fun learning in a thermal image according to an embodiment of the present invention . Video 10 is recorded by a mobile camera.

이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.The present invention may be embodied in many other specific forms without departing from the spirit or essential characteristics of the invention.

S100: 입력된 열 영상에서, Haar-like 특징 기반 랜덤 포레스트와 OCS-LBP 특징 기반 랜덤 포레스트를 이용하여, 보행자를 검출하는 단계
S110: 입력된 열 영상의 특정 프레임에서 윈도우를 슬라이딩하는 단계
S120: 슬라이딩한 윈도우에서 Haar-like 특징을 추출하는 단계
S130: 추출된 Haar-like 특징을 기반으로 랜덤 포레스트 분류기를 적용하여 후보 영역을 설정하는 단계
S140: 슬라이딩한 윈도우에서 OCS-LBP 특징을 추출하는 단계
S150: 추출된 OCS-LBP 특징을 기반으로 랜덤 포레스트 분류기를 적용하여, 상기 슬라이딩한 윈도우에 대하여 보행자 검출 여부를 결정하는 단계
S160: 보행자 검출 여부 결과를 이용하여, 상기 특정 프레임에 대한 보행자 위치를 검출하는 단계
S200: 검출된 보행자를 OCS-LBP 특징 및 LID 특징을 기반으로 한 온라인 랜덤 펀 학습과 파티클 필터를 이용하여, 실시간으로 추적하는 단계
S210: 입력된 열 영상의 두 번째 프레임부터, 상기 파티클 필터가, 보행자가 발견되는 영역을 포함하는 각 프레임의 파티클을 필터링 하는 단계
S220: 필터링 된 파티클의 관측 우도(observation likelihood)를 추정하고, 상위의 가중치를 갖는 파티클로 분류하는 단계
S222: 필터링 된 파티클에서 추출된 OCS-LBP 특징 및 LID 특징을 각각의 특징 모델을 사용하는 부스티드 랜덤 펀 분류기에 적용하여, 관측 우도를 추정하는 단계
S224: 추정된 관측 우도를 조합하여, 각 파티클의 가중치로 설정하는 단계
S226: 설정된 각 파티클의 가중치를 기반으로 파티클을 업데이트한 후 상위의 가중치를 가진 파티클을 분류하는 단계
S230: 분류된 파티클을 이용하여, 보행자의 상태를 추정하는 단계
S300: 연관성 검사결과에 따라 검출된 보행자와 추적자의 정보를 조합하여, 최종 보행자의 상태를 추정하는 단계
S310: 검출된 보행자와 상기 검출된 보행자에게 부여된 추적자간의 거리, 추적자의 모델을 이용한 검출된 보행자의 확률 및 겹침율을 조합하여 추정값을 산출하는 단계
S320: 산출된 추정값을 기반으로 헝가리안 알고리즘을 이용하여, 연관성을 검사하는 단계
S330: 연관성 검사결과에 따라 검출된 보행자와 추적자의 정보를 조합하여, 최종보행자 상태를 추정하는 단계
S400: 온라인 랜덤 펀 학습 알고리즘을 적용하여, 랜덤 펀의 업데이트 여부와 파티클을 재추출할지 여부를 결정하는 단계
S410: 관측우도가 최대 임계값(U-max)보다 높은 경우, 겹침이 없는 일반적인 상황으로 판단하여, 랜덤 펀의 업데이트와 파티클을 재 추출하는 단계
S420: 관측우도가 최소 임계값(U-min)보다 낮은 경우, 완전 겹침으로 판단하여, 랜덤 펀을 업데이트하지 않고 이전의 파티클 정보를 다시 사용하는 단계
S430: 관측우도가 최대 임계값(U-max)과 최소 임계값(U-min) 사이인 경우, 부분 겹침 또는 작은 상태 변화로 판단하여, 랜덤 펀을 업데이트하지 않고 파티클을 재 추출하는 단계S100: Detecting the pedestrian using the Haar-like feature-based random forest and the OCS-LBP feature-based random forest in the input thermal image
S110: Sliding the window in a specific frame of the inputted thermal image
S120: Extract Haar-like feature from the sliding window
S130: setting a candidate region by applying a random forest classifier based on the extracted Haar-like feature
S140: Extracting the OCS-LBP feature from the sliding window
S150: determining whether to detect a pedestrian for the sliding window by applying a random forest classifier based on the extracted OCS-LBP feature
S160: Detecting the position of the pedestrian with respect to the specific frame using the result of the detection of whether or not the pedestrian is detected
S200: Tracking detected pedestrians in real time using online random fun learning and particle filter based on OCS-LBP feature and LID feature
S210: From the second frame of the inputted thermal image, the particle filter filters particles of each frame including an area where a pedestrian is found
S220: Estimating the observation likelihood of the filtered particles and classifying them into particles having an upper weight value
S222: Estimating the observation likelihood by applying the OCS-LBP feature and the LID feature extracted from the filtered particle to a boiled random-function classifier using each feature model
S224: Combining the estimated observation likelihoods to set the weight of each particle
S226: Classifying the particles with the highest weight after updating the particle based on the weight of each set particle
S230: Estimating the state of the pedestrian using the classified particles
S300: estimating the state of the final pedestrian by combining the information of the pedestrian and the tracer detected according to the result of the relevance test
S310: calculating the estimated value by combining the distance between the detected pedestrian and the tracker given to the detected pedestrian, the probability of the detected pedestrian using the tracer's model and the overlapping rate
S320: checking the association using a Hungarian algorithm based on the calculated estimation value
S330: estimating the final pedestrian state by combining the information of the pedestrian and the tracker detected according to the result of the association test
S400: Determining whether to update the random fun and re-extract the particle by applying the online random fun learning algorithm
S410: If the observed likelihood is higher than the maximum threshold value (U-max), it is determined that there is no overlapping condition and the random fun is updated and the particle is re-extracted
S420: when the observed likelihood is lower than the minimum threshold value (U-min), it is judged as a complete overlap and the previous particle information is used again without updating the random fun
S430: a step of re-extracting the particles without updating the random fun, judging the partial overlap or small state change when the observed likelihood is between the maximum threshold value (U-max) and the minimum threshold value (U-min)

Claims

A method for tracking a pedestrian using an online random fun learning in a thermal image,
(1) detecting a pedestrian using a random forest based on a Haar-like feature and a random forest based on an OCS-LBP (oriented center-symmetric local binary pattern) feature in an input thermal image; And
(2) tracking the detected pedestrian in real time using online random ferns learning and particle filter based on OCS-LBP feature and LID (local intensity distribution) feature Wherein the step of tracking the pedestrian using the online random fun learning in the thermal image is performed.

The method according to claim 1,
Wherein the step of detecting the pedestrian is performed at the first frame of the column image and the step of detecting the pedestrian and the step of tracking the pedestrian are simultaneously performed from the second frame.

3. The method of claim 2, wherein in the first frame of the column image,
In addition to the detection of the pedestrian, the initial pedestrian state is initialized, the particle sample is extracted, the random fun is learned using the detected information of the pedestrian, and the learned random fun is assigned to each tracker assigned to the detected pedestrian A method of tracking a pedestrian using an online random fun learning in a thermal image.

The method of claim 3,
Before the random fun is learned, a boosted random funn is selected through a boosting algorithm for evaluating a binary test and selecting optimal ferns among candidate ferns of a window sliding in a first frame And the selected booster random fun is learned. A method for tracking a pedestrian using on-line random fun learning in a thermal image.

2. The method of claim 1, wherein the step (1)
(1-1) sliding a window in a specific frame of an inputted column image;
(1-2) extracting Haar-like features from the sliding window;
(1-3) setting a candidate region by applying a random forest classifier based on the Haar-like feature extracted in the step (1-2);
(1-4) extracting an OCS-LBP feature in the sliding window;
(1-5) determining whether to detect a pedestrian for the sliding window by applying a random forest classifier based on the OCS-LBP feature extracted in the step (1-4); And
(1-6) detecting a pedestrian position of the specific frame by using a pedestrian detection result of the sliding window, and detecting a pedestrian position of the specific frame using the result of the pedestrian detection of the sliding window. How to track.

2. The method of claim 1, wherein step (2)
(2-1) from the second frame of the inputted thermal image, the particle filter filters particles of each frame including an area where a pedestrian is found;
(2-2) estimating an observation likelihood of the filtered particles and classifying the particles into particles having an upper weight value; And
(2-3) A method for tracing a pedestrian using online random fun learning in a thermal image, comprising the step of estimating a state of a pedestrian using the classified particles.

7. The method according to claim 6, wherein the step (2-2)
Applying an OCS-LBP feature and a LID feature extracted from the filtered particle to a boiled random punster classifier using each feature model, estimating an observation likelihood, combining the estimated observation likelihoods, And classifying particles having higher weights after updating the particles based on the weights of the set particles. The method of claim 1, How to track.

3. The method of claim 2, wherein in the second frame,
(3) estimating the state of the final pedestrian by combining the detected information of the pedestrian and the tracker according to the result of the association test; And
(4) applying an online random fun learning algorithm to determine whether to update the random fun and whether to re-extract the particles. The method according to claim 1, further comprising the step of tracking the pedestrian using the online random fun learning How to.

9. The method of claim 8, wherein step (3)
(3-1) calculating an estimated value by combining the distance between the pedestrian detected in the step (1) and the tracker given to the detected pedestrian, the probability of the detected pedestrian using the tracker's model, and the overlapping rate;
(3-2) checking association using a Hungarian algorithm based on the calculated estimated value; And
(3-3) combining the detected information of the pedestrian and the tracker according to the result of the association test to estimate the final pedestrian state. How to.

9. The method according to claim 8, wherein in the step (4)
We apply the online random-fun learning algorithm using two maximum and minimum thresholds (U-max, U-min) after estimating the observational likelihood of the final pedestrian using the Boosted random-fun classifier,
(4-1) if the observed likelihood is higher than the maximum threshold value (U-max), determining a general situation without overlapping, updating the random fun and re-extracting the particles;
(4-2) if the observed likelihood is lower than the minimum threshold value (U-min), judging the completely overlapping and using the previous particle information again without updating the random funn; And
(4-3) When the observation likelihood is between the maximum threshold value (U-max) and the minimum threshold value (U-min), it is determined that the partial overlap or the small state change, Wherein the step of tracking the pedestrian using the on-line random fun learning in the thermal image is performed.

An apparatus for tracking a pedestrian using an online random fun learning in a thermal image,
The apparatus includes a processor,
(1) detecting a pedestrian using a random forest based on a Haar-like feature and a random forest based on an OCS-LBP (oriented center-symmetric local binary pattern) feature in an input thermal image; And
(2) tracking the detected pedestrian in real time using online random ferns learning and particle filter based on OCS-LBP feature and LID (local intensity distribution) feature Wherein the step of tracking the pedestrian using the online random fun learning in the thermal image.

12. The apparatus of claim 11,
Wherein the step of detecting the pedestrian is performed at the first frame of the thermal image and the detection of the pedestrian and the tracking of the pedestrian are simultaneously performed at the second frame.

13. The method of claim 12, wherein in a first frame of the column image,
In addition to the detection of the pedestrian, the initial pedestrian state is initialized, the particle sample is extracted, the random fun is learned using the detected information of the pedestrian, and the learned random fun is assigned to each tracker assigned to the detected pedestrian To track pedestrians using on-line random fun learning in thermal imaging.

14. The apparatus of claim 13,
Before the random fun is learned, a boosted random funn is selected through a boosting algorithm for evaluating a binary test and selecting optimal ferns among candidate ferns of a window sliding in a first frame And the selected booster random fun is learned. The apparatus for tracking a pedestrian by using online random fun learning in a thermal image.

12. The method of claim 11, wherein step (1)
(1-1) sliding a window in a specific frame of an inputted column image;
(1-2) extracting Haar-like features from the sliding window;
(1-3) setting a candidate region by applying a random forest classifier based on the Haar-like feature extracted in the step (1-2);
(1-4) extracting an oriented center-symmetric local binary pattern (OCS-LBP) feature in the sliding window;
(1-5) determining whether to detect a pedestrian for the sliding window by applying a random forest classifier based on the OCS-LBP feature extracted in the step (1-4); And
(1-6) detecting a pedestrian position of the specific frame by using a pedestrian detection result of the sliding window, and detecting a pedestrian position of the specific frame using the result of the pedestrian detection of the sliding window. Tracking device.

12. The method of claim 11, wherein step (2)
(2-1) from the second frame of the inputted thermal image, the particle filter filters particles of each frame including an area where a pedestrian is found;
(2-2) estimating an observation likelihood of the filtered particles and classifying the particles into particles having an upper weight value; And
(2-3) estimating the state of the pedestrian using the classified particles, and tracking the pedestrian using the online random fun learning in the thermal image.

The method as claimed in claim 16, wherein the step (2-2)
Applying an OCS-LBP feature and a LID feature extracted from the filtered particle to a boiled random punster classifier using each feature model, estimating an observation likelihood, combining the estimated observation likelihoods, And classifying particles having higher weights after updating the particles based on the weights of the set particles. The method of claim 1, Lt; / RTI >

13. The method of claim 12, wherein in the second frame,
(3) estimating the state of the final pedestrian by combining the detected information of the pedestrian and the tracker according to the result of the association test; And
(4) applying an online random fun learning algorithm to determine whether to update the random fun and whether to re-extract the particles. The method according to claim 1, further comprising the step of tracking the pedestrian using the online random fun learning .

19. The method of claim 18, wherein step (3)
(3-1) calculating an estimated value by combining the distance between the pedestrian detected in the step (1) and the tracker assigned to the detected pedestrian, the probability of the detected pedestrian using the tracker's model, and the overlapping rate;
(3-2) checking association using a Hungarian algorithm based on the calculated estimated value; And
(3-3) combining the detected information of the pedestrian and the tracker according to the result of the association test to estimate the final pedestrian state. .

19. The method of claim 18, wherein in step (4)
After estimating the observational likelihood of the final pedestrian using the Boosted random fun classifier, apply an online random fun learning algorithm using two maximum and minimum thresholds (U-max, U-min)
(4-1) if the observed likelihood is higher than the maximum threshold value (U-max), determining a general situation without overlapping, updating the random fun and re-extracting the particles;
(4-2) if the observed likelihood is lower than the minimum threshold value (U-min), judging the completely overlapping and using the previous particle information again without updating the random funn; And
(4-3) When the observation likelihood is between the maximum threshold value (U-max) and the minimum threshold value (U-min), it is determined that the partial overlap or the small state change, Wherein the step of tracing the pedestrian using the online random fun learning in the thermal image is performed.