KR101164617B1 - Method for tracing target - Google Patents

Method for tracing target Download PDF

Info

Publication number
KR101164617B1
KR101164617B1 KR1020110039043A KR20110039043A KR101164617B1 KR 101164617 B1 KR101164617 B1 KR 101164617B1 KR 1020110039043 A KR1020110039043 A KR 1020110039043A KR 20110039043 A KR20110039043 A KR 20110039043A KR 101164617 B1 KR101164617 B1 KR 101164617B1
Authority
KR
South Korea
Prior art keywords
target
area
search window
thermal image
image frame
Prior art date
Application number
KR1020110039043A
Other languages
Korean (ko)
Inventor
정진현
Original Assignee
삼성탈레스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성탈레스 주식회사 filed Critical 삼성탈레스 주식회사
Priority to KR1020110039043A priority Critical patent/KR101164617B1/en
Application granted granted Critical
Publication of KR101164617B1 publication Critical patent/KR101164617B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J1/00—Photometry, e.g. photographic exposure meter
    • G01J1/02—Details
    • G01J1/0266—Field-of-view determination; Aiming or pointing of a photometer; Adjusting alignment; Encoding angular position; Size of the measurement area; Position tracking; Photodetection involving different fields of view for a single detector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Analysis (AREA)

Abstract

PURPOSE: A target tracing method is provided to recognize a target in a dark or bright background and to discontinue tracing a target and to prevent a target tracing error. CONSTITUTION: A target area of a current thermal image frame is set up(S22). An average brightness value of the target area is calculated. A previously allocated brightness threshold value is extracted according to the average brightness value(S23). A Gaussian probability density distribution range is determined by calculation of variance value about brightness threshold values of previous thermal frames(S24). A target trace is discontinued in case a brightness threshold value escapes a Gaussian distribution probability density range(S25,S26).

Description

표적 추적 방법{Method for tracing target}{Method for tracing target}

본 발명은 열영상 프레임에서 표적을 추적하는 방법에 관한 것으로서, 어두운 배경이나 밝은 배경에 의해서 표적 추적 오류가 발생하는 것을 방지하는 표적 추적 방법에 관한 것이다.The present invention relates to a method for tracking a target in a thermal image frame and to a target tracking method for preventing a target tracking error from occurring due to a dark background or a light background.

열영상을 통한 표적획득 추적 시스템에서 일반적으로 표적은 배경과 상반되는 명암도를 가지며, 이를 이용한 표적 획득 방법으로서 콘트라스트 박스(contrast box) 알고리즘을 이용하고 있다.In a target acquisition tracking system using a thermal image, a target generally has contrast with the background, and a contrast box algorithm is used as a target acquisition method using the target.

콘트라스트 박스 알고리즘이란 도 1에 도시한 바와 같이, 열영상 프레임에서 표적이 있다고 가정되는 영역에 대해서 일정한 크기의 표적 탐색창(10)을 설정하고 그 주변의 영역을 배경 탐색창(20)으로 설정한다. 그 후, 표적 탐색창(10)의 평균 밝기값(이하, '표적 평균 밝기값'이라 함)과 배경 탐색창(20)의 평균 밝기값(이하, '배경 평균 밝기값'이라 함)을 구한다. 상기 표적 평균 밝기값과 배경 평균 밝기값을 참고하여 콘트라스트 박스(contrast box)내에 미리 설정되어 있는 밝기 임계값을 추출한다. 이러한 밝기 임계값을 기준으로 표적과 배경을 구분한다. 즉, 밝기 임계값보다 큰 평균 밝기값을 가지는 영역을 표적으로 결정하며, 밝기 임계값보다 작은 평균 밝기값을 가지는 영역을 배경으로 결정한다. 참고로, 상기 콘트라스트 박스는, 표적 탐색창의 평균 밝기값 및 배경 탐색창의 평균 밝기값에 따라서 밝기 임계값이 미리 설정되어 할당되어 있는 것으로서, 다수의 실험치에 의한 임계 밝기값이 할당되어 있다.As shown in FIG. 1, the contrast box algorithm sets a target search window 10 having a constant size for a region where a target is assumed to be present in a thermal image frame, and sets an area around the background search window 20. . Thereafter, the average brightness value of the target search window 10 (hereinafter referred to as 'target average brightness value') and the average brightness value of the background search window 20 (hereinafter referred to as 'background mean brightness value') are obtained. . A brightness threshold preset in the contrast box is extracted by referring to the target average brightness value and the background average brightness value. The target and the background are distinguished based on the brightness threshold. That is, an area having an average brightness value greater than the brightness threshold value is determined as a target, and an area having an average brightness value less than the brightness threshold value is determined as a background. For reference, in the contrast box, a brightness threshold value is preset and assigned according to an average brightness value of the target search window and an average brightness value of the background search window, and threshold brightness values according to a plurality of experimental values are assigned.

한편, 표적이 이동하고 있을 때 어두운 배경(예컨대, 태양빛이 도달하지 않는 지역)으로 이동한다고 가정하면, 어두운 배경으로 인해 표적 밝기값 역시 낮아지게 되고, 이로 인해 콘트라스트 박스 내에서 선택되는 밝기 임계값이 낮아지게 된다. 이러한 낮은 밝기 임계값으로 인해, 표적이 아닌 배경 영역까지 표적으로 인식하고 표적 탐색창의 범위가 넓어지는 문제가 발생한다.On the other hand, assuming that the target is moving to a dark background (eg, an area where sunlight does not reach) when the target is moving, the target brightness value is also lowered due to the dark background, which causes the brightness threshold selected within the contrast box. Will be lowered. Due to this low brightness threshold, a problem arises in that the target search window is recognized and the range of the target search window is widened.

반대로, 표적이 밝은 배경으로 이동하고 있을 때는, 콘트라스트 박스 내에서 선택되는 밝기 임계값의 변화는 거의 없지만, 배경 탐색창에 존재하는 배경도 표적으로 인식하여 표적 탐색창을 넓히는 문제가 발생한다.On the contrary, when the target is moving to a bright background, there is little change in the brightness threshold value selected in the contrast box, but a problem exists in recognizing the background present in the background search window as a target and widening the target search window.

상기와 같이 배경에 의한 표적 가림이 발생할 때 표적 탐색창이 원래의 표적보다 크기가 커지는 등 잘못 설정되면, 표적 추적 오류가 발생되는 문제가 있다.As described above, when the target search window is incorrectly set such that the target search window is larger than the original target when the target occlusion occurs, there is a problem that a target tracking error occurs.

본 발명의 기술적 과제는 표적을 추적할 때 어두운 배경에 의해 표적 가림이 발생하는 것을 파악하도록 하는데 있다. 또한 본 발명의 기술적 과제는 표적을 추적할 때 밝은 배경에 의해 표적 가림이 발생하는 것을 파악하도록 하는데 있다. 또한 본 발명의 기술적 과제는 어두운 배경 또는 밝은 배경에 의해 표적 가림이 발생하는 경우에도 표적 추적 오류가 발생하지 않도록 하는데 있다.An object of the present invention is to determine that the target occlusion is caused by a dark background when tracking the target. In addition, the technical problem of the present invention is to determine that the target occlusion is caused by a light background when tracking the target. In addition, the technical problem of the present invention is to prevent a target tracking error even when a target obstruction occurs by a dark background or a light background.

본 발명의 실시 형태는 현재 열영상 프레임에서의 표적 영역을 설정하는 과정과, 상기 표적 영역의 평균 밝기값을 산출하고, 상기 평균 밝기값에 따라 미리 할당된 밝기 임계값을 추출하는 과정과, 이전의 열영상 프레임들의 밝기 임계값들에 대한 평균값 및 분산값을 산출하여 가우시안 확률 밀도 분포 범위를 결정하는 과정과, 현재 열영상 프레임의 밝기 임계값이 상기 가우시안 확률 밀도 분포 범위를 벗어난 경우 표적 추적을 중지하는 과정을 포함한다.According to an embodiment of the present invention, a process of setting a target area in a current thermal image frame, calculating an average brightness value of the target area, extracting a pre-allocated brightness threshold according to the average brightness value, and Determining a Gaussian probability density distribution range by calculating an average value and a variance of brightness thresholds of the thermal image frames of the image frame, and performing target tracking when the brightness threshold of the current thermal image frame is outside the Gaussian probability density distribution range. It includes the process of stopping.

또한 본 발명의 실시 형태는 열영상 프레임내의 표적 영역의 주변을 탐색 영역으로 설정하는 과정과, 상기 표적 영역의 평균 밝기값을 산출하고, 상기 평균 밝기값에 따라 미리 할당된 밝기 임계값을 추출하는 과정과, 상기 탐색 영역에서 밝기 임계값을 초과하는 밝은 영역을 검출하여 후보군으로 등록하는 과정과, 이전 열영상 프레임과 현재 열영상 프레임간의 후보군 매칭 이력, 후보군과 표적 영역과의 거리 범위에 따라서 표적 추적을 중지하는 과정을 포함한다.According to an embodiment of the present invention, a process of setting a periphery of a target area in a thermal image frame as a search area, calculating an average brightness value of the target area, and extracting a predetermined brightness threshold value according to the average brightness value And detecting a bright area exceeding a brightness threshold in the search area and registering the candidate area as a candidate group, a candidate group matching history between a previous thermal image frame and a current thermal image frame, and a range of distance between the candidate group and the target region. Stops tracking.

상기 표적 영역의 평균 밝기값은, 표적이 있는 영역인 표적 탐색창에서 측정되는 평균 밝기값과, 상기 표적 탐색창 주변 영역인 배경 탐색창에서 측정되는 평균 밝기값을 포함한다. 상기 밝기 임계값은, 표적 탐색창 및 배경 탐색창의 평균 밝기값에 따라 밝기 임계값이 미리 할당된 테이블에서 추출한다.The average brightness value of the target area includes an average brightness value measured in a target search window that is a target area and an average brightness value measured in a background search window that is an area around the target search window. The brightness threshold value is extracted from a table to which the brightness threshold is pre-assigned according to the average brightness value of the target search window and the background search window.

본 발명의 실시 형태에 따르면 어두운 배경 또는 밝은 배경에 의한 표적 가림이 발생하는 파악하여 표적 추적을 중단함으로써, 표적 추적 오류가 발생하지 않는다. 표적 추적 오류 발생을 막기 위해 표적 추적을 중단함으로써, 잘못된 표적 추적에 따른 의미없는 후속 작업을 수행하지 않아도 된다. 또한, 표적 추적 오류 발생을 막기 위해 표적 추적을 중단함으로써, 잘못된 표적 추적으로 인한 불필요한 작업 비용을 절감할 수 있다.According to the embodiment of the present invention, the target tracking error is stopped by grasping that the target obstruction by the dark background or the light background occurs, thereby preventing the target tracking error. By stopping target tracking to prevent target tracking errors from occurring, there is no need to perform meaningless follow-up work due to incorrect target tracking. In addition, by stopping target tracking to prevent the occurrence of target tracking errors, unnecessary work costs due to incorrect target tracking can be reduced.

도 1은 표적 탐색창 및 배경 탐색창을 도시한 그림이다.
도 2는 본 발명의 실시예에 따라 표적이 어두운 배경을 향해 이동하고 있을 때 표적을 추적하는 과정을 도시한 플로차트이다.
도 3은 무게 중심 이동에 따른 표적 추적을 나타낸 그림이다.
도 4는 본 발명의 실시예에 따라 표적이 밝은 배경을 향해 이동하고 있을 때 표적을 추적하여 탐색하는 과정을 도시한 플로차트이다.
도 5는 본 발명의 실시예에 따라 탐색 영역에서 밝은 영역을 검출하는 과정을 도시한 그림이다.
도 6은 본 발명의 실시예에 따라 현재 및 이전 열영상 프레임에서 후보군의 세 가지 상태일 때를 도시한 그림이다.1 is a diagram illustrating a target search window and a background search window.
2 is a flowchart illustrating a process of tracking a target when the target is moving toward a dark background according to an embodiment of the present invention.
3 is a diagram showing the target tracking according to the movement of the center of gravity.
4 is a flowchart illustrating a process of tracking and searching for a target when the target is moving toward a bright background according to an exemplary embodiment of the present invention.
5 is a diagram illustrating a process of detecting a bright area in a search area according to an embodiment of the present invention.
6 is a diagram illustrating three states of candidate groups in current and previous thermal image frames according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 더욱 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상에서 동일 부호는 동일한 요소를 지칭한다.Hereinafter, with reference to the accompanying drawings will be described an embodiment of the present invention in more detail. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms, and only the embodiments are intended to complete the disclosure of the present invention and to those skilled in the art to fully understand the scope of the invention. It is provided to inform you. Like numbers refer to like elements in the figures.

도 2는 본 발명의 실시예에 따라 표적이 어두운 배경을 향해 이동하고 있을 때 표적을 추적하는 과정을 도시한 플로차트이다.2 is a flowchart illustrating a process of tracking a target when the target is moving toward a dark background according to an embodiment of the present invention.

본 발명의 실시예는 표적을 추적할 때 어두운 배경에 의해 표적 가림이 발생하는 경우, 이러한 표적 가림을 파악하여 추적을 중지함으로써 더 이상의 표적 추적 오류가 발생하지 않도록 한다.In the embodiment of the present invention, when a target obstruction occurs due to a dark background when tracking a target, such a target obstruction is detected to stop the tracking so that no further target tracking error occurs.

표적 추적 이동(S21)이 이루어지고 난 현재 열영상 프레임에서, 표적 영역을 설정(S22)하는 과정을 가진다. 참고로, 표적 추적 이동(S21)은, 표적의 이동에 따라서 현재 열영상 프레임에서 다음번째의 열영상 프레임으로 표적 중심을 결정하여 이동하는 무게 중심 추적 이동 방식을 이용한다. 공지된 바와 같이 무게 중심 추적 이동 방식은, 표적 탐색창의 밝기값을 이진화하여 두 영역으로 구분한 후, 더 밝은 영역의 중심점으로 이동하는 방식이다. 예를 들어, 도 3에 도시한 바와 같이 열영상 제1프레임에서의 표적 탐색창(33)에서 중심점(31;제1중심점)이 있을 때, 제1중심점(31)을 중심으로 하여 소정 크기의 표적 탐색창(33;표적 제1탐색창) 내의 화소들의 밝기값이 측정된다.In the current thermal image frame in which the target tracking movement S21 is performed, the target region is set (S22). For reference, the target tracking movement S21 uses a center of gravity tracking movement method in which the target center is determined and moved from the current thermal image frame to the next thermal image frame according to the movement of the target. As is known, the center of gravity tracking movement is a method of binarizing the brightness value of the target search window into two regions and then moving to the center point of the brighter region. For example, as shown in FIG. 3, when there is a center point 31 (first center point) in the target search window 33 in the first image of the thermal image, the predetermined size is centered on the first center point 31. The brightness value of the pixels in the target search window 33 (target first search window) is measured.

표적 제1탐색창(33) 내의 화소들의 밝기값은 해당 열영상 프레임에서 사용되는 밝기 임계값과 비교되어, 밝기 임계값보다 큰 밝기를 가지는 화소는 이진화 '1'의 값을 가지며, 밝기 임계값보다 작은 밝기를 가지는 화소는 이진화 '0'의 값으로 결정된다.The brightness value of the pixels in the target first search window 33 is compared with the brightness threshold used in the corresponding thermal image frame, so that a pixel having a brightness greater than the brightness threshold has a value of binarization '1', and the brightness threshold Pixels with less brightness are determined with the value of binarization '0'.

그 후, 다음 번째 열영상 프레임인 열영상 제2프레임에서는, 이진화 '1'의 값을 가지는 화소들의 영역 중앙으로 중심점(32;제2중심점)을 이동시켜, 이러한 제2중심점(32)을 기준으로 표적 탐색창(34;표적 제2탐색창)을 설정하여, 표적 추적 이동을 이루는 것이다.
Then, in the second thermal image frame, which is the next thermal image frame, the center point 32 (second center point) is moved to the center of the region of the pixels having the value of binarization '1' to refer to the second center point 32. By setting the target search window 34 (target second search window), the target tracking movement is achieved.

표적 추적 이동이 이루어지고 난 후의 프레임(이하, '현재 프레임'이라 함)에서, 표적 영역을 설정하는 과정이 이루어진다(S22).In the frame after the target tracking movement is made (hereinafter, referred to as 'current frame'), a process of setting the target area is performed (S22).

상기 표적 영역 설정은, 표적이 위치한다고 가정되는 표적 탐색창과, 상기 표적 탐색창 주변 영역인 배경 탐색창을 설정하는 것이다.The target area setting is to set a target search window in which a target is assumed to be located and a background search window which is an area around the target search window.

상기 표적 탐색창은 중심점을 기준으로 미리 설정된 소정의 크기로 설정되며, 배경 탐색창은 상기 표적 탐색창 주변에 접하는 영역으로서 미리 설정된 크기로 설정된다.The target search window is set to a predetermined size based on a center point, and the background search window is set to a preset size as an area adjacent to the target search window.

상기 배경 탐색창은 도 1에 도시한 바와 같이 표적 탐색창의 상,하,좌,우 네 곳에 분산되어 복수 개 설정되며, 이러한 네 개의 배경 탐색창의 전체 면적은 표적 탐색창의 면적과 동일하게 설정된다.As illustrated in FIG. 1, the background search windows are distributed in four, top, bottom, left, and right positions of the target search window, and a plurality of background search windows are set to be equal to the area of the target search window.

현재 열영상 프레임에서 상기와 같이 표적 영역(표적 탐색창 및 배경 탐색창)이 설정되면, 상기 표적 영역(표적 탐색창 및 배경 탐색창)의 평균 밝기값을 산출하고, 산출한 평균 밝기값에 따라 할당된 밝기 임계값을 콘트라스트 박스에서 추출한다(S23). 이러한 밝기 임계값은 표적이 어두운 배경에 의하여 가려졌는지를 판단하기 위해 사용된다.When the target area (target search window and background search window) is set as described above in the current thermal image frame, an average brightness value of the target area (target search window and background search window) is calculated, and according to the calculated average brightness value. The assigned brightness threshold is extracted from the contrast box (S23). This brightness threshold is used to determine if the target is obscured by a dark background.

현재 열영상 프레임에서의 밝기 임계값 추출은, 표적 탐색창의 평균 밝기값(표적 평균 밝기값)과 배경 탐색창의 평균 밝기값(배경 평균 밝기값)을 구한 후, 상기 표적 평균 밝기값과 배경 평균 밝기값을 참고하여 미리 설정한 콘트라스트 박스(contrast box)내에 맵핑되어 있는 밝기 임계값을 추출한다. 참고로, 상기 콘트라스트 박스는, 표적 탐색창의 평균 밝기값 및 배경 탐색창의 평균 밝기값에 따라서 밝기 임계값이 미리 할당된 데이터 테이블로서, 다수의 경험 및 실험에 의한 임계 밝기값이 할당되어 있다. 예컨대, 다수의 경험 및 실험에 의하여, 표적 탐색창의 평균 밝기값이 120이고 배경 탐색창의 평균 밝기값이 70인 경우 임계 밝기값은 98로 할당되며, 표적 탐색창의 평균 밝기값이 120이고 배경 탐색창의 평균 밝기값이 81인 경우 임계 밝기값은 102로 할당된다.
The brightness threshold extraction in the current thermal image frame is obtained by calculating the average brightness value (target average brightness value) of the target search window and the average brightness value (background average brightness value) of the background search window, and then the target average brightness value and the background average brightness. The brightness threshold value mapped in the contrast box is extracted by referring to the value. For reference, the contrast box is a data table in which the brightness threshold is pre-assigned according to the average brightness value of the target search window and the average brightness value of the background search window, and a threshold brightness value by a number of experiences and experiments is assigned. For example, according to a number of experiences and experiments, when the average brightness value of the target search window is 120 and the average brightness value of the background search window is 70, the threshold brightness value is assigned to 98, and the average brightness value of the target search window is 120 and the background search window If the average brightness value is 81, the threshold brightness value is assigned to 102.

한편, 표적이 어두운 배경에 가려지는 것은 이전 열영상 프레임에서 예측할 수 없고 오로지 현재 열영상 프레임에서만 판단 가능하다. 따라서 표적이 배경에 가려졌는지의 판단 여부는 표적 탐색창 및 배경 탐색창의 평균 밝기값에 따른 밝기 임계값 변화에 크게 의존한다. 그런데 열영상에서는 주변 광원의 변화에 의하여 물체 밝기값 변화가 심하다. 따라서 단순히 현재 열영상 프레임의 밝기 임계값 변화만을 고려해서 가림 여부를 판단하게 되면 오경보(false alarm)가 많이 발생하게 된다.On the other hand, it is unpredictable in the previous thermal image frame and can be determined only in the current thermal image frame. Therefore, whether or not the target is hidden in the background depends largely on the change of the brightness threshold according to the average brightness of the target search window and the background search window. However, in the thermal image, the change in the brightness of the object is severe due to the change of the ambient light source. Therefore, if it is determined simply by considering only the change in the brightness threshold of the current thermal image frame, many false alarms occur.

따라서 본 발명의 실시예에서는 열영상 프레임의 표적 탐색창 및 배경 탐색창의 평균 밝기값에 따른 밝기 임계값을 가우시안 확률 밀도 함수로 가정하여 배경에 의한 가림 여부를 판단한다. 즉, 현재 열영상 프레임 이전의 열영상 프레임들에서 추출된 밝기 임계값들의 평균값과 분산값을 구하여(S24), 현재 열영상 프레임의 밝기 임계값이 이전 프레임들의 평균값과 분산값을 가지는 가우시안 확률 밀도 함수의 분포 범위를 벗어났는지를 판단한다(S25).Therefore, in the embodiment of the present invention, whether the background obscuring is determined by assuming that the brightness threshold according to the average brightness of the target search window and the background search window of the thermal image frame is a Gaussian probability density function. That is, by calculating the average value and the variance of the brightness thresholds extracted from the thermal image frames before the current thermal image frame (S24), the Gaussian probability density of which the brightness threshold of the current thermal image frame has the average value and the variance of the previous frames It is determined whether the function is out of the distribution range (S25).

상술하면, 현재 열영상 프레임 이전의 다수의 열영상 프레임들, 예컨대, 이전 32개의 열영상 프레임들의 표적 탐색창 및 배경 탐색창의 평균 밝기값에 따른 밝기 임계값들을 파악한 후, 이들 밝기 임계값들의 평균값 및 분산값을 산출한다(S24). 이러한 밝기 임계값들의 평균값 및 분산값을 산출함으로써 가우시안 확률 밀도 함수에 따른 분포 범위를 알 수 있다.Specifically, after determining the brightness thresholds according to the average brightness values of the target search window and the background search window of the plurality of thermal image frames, for example, the previous 32 thermal image frames, before the current thermal image frame, the average value of these brightness thresholds And a dispersion value (S24). By calculating the average value and the variance of the brightness thresholds, the distribution range according to the Gaussian probability density function can be known.

그 후, 현재 열영상 프레임의 밝기 임계값이 이전 프레임들의 평균값과 분산값을 가지는 가우시안 확률 밀도 함수의 범위를 벗어났는지를 판단(S25)하는데, 하기의 조건이 만족되면, 현재 열영상 프레임의 밝기 임계값이 가우시안 확률 밀도 함수의 범위를 벗어났다고 판단한다. 이하에서, 가중치 파라미터는 분산값에 부과되는 가중치로서, 확률 밀도 함수의 범위를 설정할 때 관리자에 의해 설정되는 파라미터다.Then, it is determined whether the brightness threshold of the current thermal image frame is outside the range of the Gaussian probability density function having the mean value and the variance of the previous frames (S25). If the following conditions are satisfied, the brightness of the current thermal image frame is satisfied. It is determined that the threshold is out of range of the Gaussian probability density function. Hereinafter, the weight parameter is a weight imposed on the variance value, which is a parameter set by an administrator when setting the range of the probability density function.

(현재 열영상 프레임의 평균 밝기값에 따른 밝기 임계값 - 이전 32 열영상 프레임 동안의 밝기 임계값들의 평균값)2 > (가중치 파라미터 × 이전 32 열영상 프레임 동안의 밝기 임계값들의 분산값)(Brightness threshold according to the average brightness value of the current thermal image frame-average value of the brightness thresholds during the previous 32 thermal frame) 2 > (weighting parameter × variance of the brightness thresholds during the previous 32 thermal frame)

상기와 같이 판단(S25) 결과, 현재 열영상 프레임의 밝기 임계값이 가우시안 확률 밀도 함수의 범위를 벗어난 경우 표적이 어두운 배경이 가려져 식별이 불가능하다고 판단하고 추적을 중지하며(S26), 그렇지 않은 경우 계속하여 표적 추적(무게 중심 추적)을 수행한다(S27). 상기 표적 추적은 S21단계에서 설명한 바와 같이 밝기 임계값과 비교하여 표적 탐색창을 이진화 구분하여, 다음번째의 열영상 프레임에서 무게 중심을 이동함으로써 표적 추적 이동이 완료된다.
As a result of the determination (S25), if the brightness threshold of the current thermal image frame is outside the range of the Gaussian probability density function, it is determined that the target is not identified because the dark background is hidden and the tracking is stopped (S26). Subsequently, target tracking (weight center tracking) is performed (S27). In the target tracking, the target search window is binarized by comparing with the brightness threshold as described in step S21, and the target tracking movement is completed by moving the center of gravity in the next thermal image frame.

도 4는 본 발명의 실시예에 따라 표적이 밝은 배경을 향해 이동하고 있을 때 표적을 추적하여 탐색하는 과정을 도시한 플로차트이다.4 is a flowchart illustrating a process of tracking and searching for a target when the target is moving toward a bright background according to an exemplary embodiment of the present invention.

밝은 배경에 의한 가림 여부 판단 알고리즘은, 표적 추적에 따른 이동(S41)이 이루어지면, 현재 열영상 프레임에서 탐색 영역을 설정(S42)하는 과정을 가진다.The algorithm for determining whether to cover the light background has a process of setting a search region in the current thermal image frame (S42) when the movement according to the target tracking is performed (S41).

참고로, 표적 추적 이동(S41)은, 표적의 이동에 따라서 현재 열영상 프레임에서 다음번째의 열영상 프레임으로 표적 중심을 결정하여 이동하는 무게 중심 추적 이동 방식을 이용한다. 공지된 무게 중심 추적 이동 방식은, 표적 탐색창의 밝기값을 이진화하여 두 영역으로 구분한 후, 더 밝은 영역의 중심점으로 이동하는 방식이다.For reference, the target tracking movement S41 uses a center of gravity tracking movement method in which the target center is determined and moved from the current thermal image frame to the next thermal image frame according to the movement of the target. The known center of gravity tracking movement method is to binarize the brightness value of the target search window into two regions and then move to the center point of the brighter region.

현재 열영상 프레임에서, 표적의 근처 영역에 대해서 소정의 크기로 탐색 영역을 설정한다(S42). 탐색 영역을 도 5에 도시하였는데, 상기 탐색 영역(50)은 표적의 크기와 이동속도를 고려하여 탐색 영역의 크기가 결정된다. 예컨대, 표적의 크기가 클수록 탐색 영역을 크게 설정하며, 또한, 표적의 이동속도가 빠르다면 탐색 영역의 크기를 이동속도 느릴때보다 더 크게 설정한다.In the current thermal image frame, the search area is set to a predetermined size with respect to the area near the target (S42). The search region is shown in FIG. 5, and the size of the search region is determined in consideration of the target size and the moving speed. For example, the larger the size of the target, the larger the search area is set. Also, if the moving speed of the target is faster, the size of the search area is set larger than that of the slow moving speed.

그 후, 표적의 밝기 임계값을 추출한다(S43). 상기 밝기 임계값은 상기 도 2의 S23단계에서 설명한 바와 같이, 표적 탐색창(10) 및 배경 탐색창(20)의 평균 밝기값에 따른 밝기 임계값을 콘트라스트 박스에서 추출한다. 즉, 현재 열영상 프레임에서 밝기 임계값 추출은, 표적 탐색창의 평균 밝기값(표적 평균 밝기값)과 배경 탐색창의 평균 밝기값(배경 평균 밝기값)을 구한 후, 상기 표적 평균 밝기값과 배경 평균 밝기값을 참고하여 미리 설정한 콘트라스트 박스(contrast box)내에 맵핑되어 있는 밝기 임계값을 추출한다. 참고로, 상기 콘트라스트 박스는, 표적 평균 밝기값 및 배경 평균 밝기값에 따라서 밝기 임계값이 미리 할당되어 맵핑되어 있다.Thereafter, the brightness threshold of the target is extracted (S43). As described in operation S23 of FIG. 2, the brightness threshold value is extracted from the contrast box according to the brightness threshold according to the average brightness value of the target search window 10 and the background search window 20. In other words, the brightness threshold extraction in the current thermal image frame, after obtaining the average brightness value (target average brightness value) of the target search window and the average brightness value (background average brightness value) of the background search window, the target average brightness value and background average The brightness threshold mapped in the contrast box preset in advance is extracted by referring to the brightness value. For reference, the contrast box is pre-assigned and mapped a brightness threshold value according to a target average brightness value and a background average brightness value.

밝기 임계값을 추출(S43)한 후, 상기 탐색 영역내에서 밝기 임계값을 초과하는 영역(이하, '밝은 영역'이라 함)을 파악하고, 상기 밝은 영역에 대한 라벨링을 수행한다(S44). 상기 라벨링(labeling)은 해당 영역을 구분할 수 있도록 고유 식별부호화하는 것으로서, 예컨대, 제1밝은영역(51), 제2밝은영역(52), 제3밝은영역(53)과 같이 명칭을 붙인다. 밝은 영역 파악은 다양한 방식으로 이루어질 수 있는데, 예컨대, 탐색 영역을 10*10의 100개의 셀(cell)로 구획하여, 각 셀의 평균 밝기값이 밝기 임계값을 초과하는지를 판단하여 밝은 영역으로 결정할 수 있다.After extracting the brightness threshold value (S43), an area exceeding the brightness threshold value (hereinafter, referred to as a “bright area”) within the search area is identified, and the bright area is labeled (S44). The labeling is a unique identification code for distinguishing the corresponding area, and is labeled as, for example, the first bright area 51, the second bright area 52, and the third bright area 53. The bright area can be identified in various ways. For example, the search area can be divided into 100 cells of 10 * 10, and the bright area can be determined by determining whether the average brightness value of each cell exceeds the brightness threshold. have.

(1,1)->(1,2)->(1,3)->,.....,->(10,8)->(10,9)->(10,10) 셀의 순서로 초과 영역이 있는지 판단하다가, 밝기 임계값을 초과하는 밝은 영역이 발견되면 밝은 영역에 대한 라벨링을 수행한다.(1,1)-> (1,2)-> (1,3)->, .....,-> (10,8)-> (10,9)-> (10,10) cells If there are excess areas in the order of, and if bright areas exceeding the brightness threshold are found, the bright areas are labeled.

그 후, 라벨링된 각 밝은 영역의 면적이 (표적 탐색창의 면적÷면적분할값)보다 큰지를 판단한다(S45). 바람직하게는 상기 면적 분할값은 8이 되어, '표적 탐색창의 면적/8'보다 큰 면적을 갖는 밝은 영역이 있는지를 판단한다.Thereafter, it is determined whether the area of each labeled bright area is larger than (area ÷ area split value of the target search window) (S45). Preferably, the area division value is 8 to determine whether there is a bright area having an area larger than 'area / 8 of the target search window'.

(표적 탐색창의 면적÷면적분할값) 보다 큰 면적을 갖는 밝은 영역이 있는 경우, 해당 밝은 영역과 표적 탐색창까지의 거리를 산출하여, 밝은 영역을 후보군으로 등록한다(S46). 상기 거리 산출은 열영상 프레임내에서 표적 탐색창과 밝은 영역까지의 거리가 될 수 있으며, 또는, 레이더 측정기로 실측되는 실제 거리가 될 수 있다. 또한, 상기 후보군은 이전 열영상 프레임과 현재 열영상 프레임간에 밝은 영역이 서로 매칭되는가를 판단하기 위해 사용된다.If there is a bright area having an area larger than the area ÷ area division value of the target search window, the distance between the bright area and the target search window is calculated, and the bright area is registered as a candidate group (S46). The distance calculation may be the distance between the target search window and the bright area in the thermal image frame, or may be the actual distance measured by the radar meter. In addition, the candidate group is used to determine whether bright areas match between the previous thermal image frame and the current thermal image frame.

열영상 프레임마다 발생하는 후보군들에 대해서 이력 관리(S47)가 이루어져야 하며, 이력관리를 통한 상대 속도와 상대 거리를 구해서 배경 가림 여부를 판단한다. History management (S47) should be performed on the candidate groups generated for each thermal image frame, and the background speed is determined by obtaining a relative speed and a relative distance through the history management.

열영상 프레임마다 후보군 이력 관리가 필요한 이유는, 셀 단위의 라벨링 수행작업으로 배경 가림이 발생할 소지가 있는 후보군들의 물체와의 거리는 알고 있지만, 현재 열영상 프레임에 위치한 후보군이 이전 열영상 프레임에서 어디에 위치해 있는 후보군인지는 알 수가 없기 때문이다.The reason why candidate group history management is required for each thermal image frame is because the distance between objects of candidate groups that may cause background occlusion due to cell-level labeling operation is known, but where the candidate group currently located in the thermal image frame is located in the previous thermal image frame. Because it is not known whether there is a candidate group.

따라서 현재 열영상 프레임에서 관측되는 후보군과 이전 열영상 프레임에서 존재했던 후보군과의 매칭이 이루어져야하기 때문에, 이력 관리 작업이 필요한 것이다.
Therefore, a history management operation is necessary because matching between the candidate group observed in the current thermal image frame and the candidate group existing in the previous thermal image frame should be performed.

후보군 이력 관리를 수행(S47)하는데 있어서, 현재 후보군과 이전 후보군의 개수, 검출 범위 내에서의 후보군의 존재 여부 등의 주요 인자에 의하여 다양한 방식이 있을 수 있다. 이하, 후보군의 속성에 따른 다양한 이력 관리를 설명한다.In performing the candidate group history management (S47), there may be various methods according to the main factors such as the number of the current candidate group and the previous candidate group, the presence or absence of the candidate group within the detection range. Hereinafter, various history management according to the attribute of the candidate group will be described.

이하에서 현재 후보군이라 함은 현재 영상 프레임에서 검출된 후보군을 말하며, 이전 후보군이라 함은 이전 영상 프레임에서 검출된 후보군을 말한다.Hereinafter, the current candidate group refers to a candidate group detected in the current image frame, and the previous candidate group refers to a candidate group detected in the previous image frame.

후보군의 속성은 크게 다음과 같이 세 가지로 분류할 수 있다.The attributes of candidate groups can be classified into three categories as follows.

- 제1상태: 이전 후보군은 없지만, 관측되는 현재 후보군이 있는 때1st state: no previous candidate, but there is a current candidate observed

- 제2상태: 이전 후보군은 있지만, 관측되는 현재 후보군은 없는 때2nd state: when there is a previous candidate group but no current candidate group is observed

- 제3상태: 이전 후보군도 있고 관측되는 현재 후보군도 있는 때-Third state: when there is a previous candidate group and there is a current candidate group observed

첫째로, 관측되는 현재 후보군은 있지만 이전 후보군은 없는 상태인 제1상태에서는, 관측되는 후보군을 전부 이력에 등록한다.First, in the first state in which there is a current candidate group observed but no previous candidate group, all of the observed candidate groups are registered in the history.

둘째로, 이전 후보군은 있지만, 관측되는 현재 후보군은 없는 제2상태는, 후보군이 표적으로부터 멀어져서 관심영역에서 사라졌거나 영상 노이즈로 순간적으로 관측되지 않았을 때로서, 출현 횟수가 특정값 이상으로 많고 상대 속도가 음수라면 관심 후보이기 때문에 출현횟수를 감하고 이력을 그대로 유지하며, 반면에, 출현횟수가 적다면 이전 후보군의 이력을 삭제한다.Secondly, the second state, where there is a previous candidate group but no current candidate group observed, is when the candidate group has disappeared from the region of interest because of its distance from the target or was not instantaneously observed with image noise. If the speed is negative, it is a candidate of interest, so the number of occurrences is reduced and the history is maintained. On the other hand, if the number of occurrences is small, the history of the previous candidate group is deleted.

셋재로, 이전 후보군도 있고 관측되는 현재 후보군도 있는 때는 후보군 매칭이 필요하다. 이를 위하여 현재 열영상 프레임에서 관측되는 후보군과 이전 열영상 프레임에서 존재했던 후보군과의 매칭이 이루어진다.Thirdly, candidate group matching is required when there are previous candidate groups and observed current candidate groups. To this end, matching between the candidate group observed in the current thermal image frame and the candidate group existing in the previous thermal image frame is performed.

후보군 매칭에 있어서 문제시 되는것은 이전 영상 프레임과 현재 영상 프레임에서 2회 출현한 경우이다. 출현 횟수가 많으면 이전 후보군의 관련 정보(상대 속도 및 진행 방향성)를 가지고서 매칭하기 쉽지만은, 2회째 출현하는 이전 후보군에 대해서는 관련 정보가 없기 때문에 매칭이 용이하지 않다. 이를 위하여 2회째 출현하는 경우에는, 현재 열영상 프레임에서 관측된 후보군과 이전 열영상 프레임에서 관측된 후보군간의 위치 거리가 미리 설정된 검출범위 내에서 가장 가까운 거리에 있는 후보군을 선택하여 매칭시켜 후보군 이력을 유지한다.
The problem with candidate group matching is the case of appearing twice in the previous video frame and the current video frame. If the number of occurrences is large, it is easy to match with the related information (relative speed and direction of progression) of the previous candidate group, but the matching is not easy because there is no related information for the second candidate group appearing the second time. To this end, in the case of the second appearance, the candidate group whose position distance between the candidate group observed in the current thermal image frame and the candidate group observed in the previous thermal image frame is closest within the preset detection range is selected and matched to record the candidate group history. Keep it.

참고로, 도 6은 후보군의 세 가지 상태일 때의 후보군 이력이 결정되는 예를 도시한 것으로서, 예를 들어, 이전 열영상 프레임에서 세 개의 후보군(1-I, 1-II,1-III)이 검출되었고, 현재 열영상 프레임에서 2개의 후보군(2-I,2-II)가 검출되었을 때를 도시한 것이다., For reference, FIG. 6 illustrates an example in which a candidate group history is determined when three states of a candidate group are determined. For example, three candidate groups (1-I, 1-II, 1-III) in a previous thermal image frame are illustrated. Is detected and two candidate groups (2-I, 2-II) are detected in the current thermal image frame.

현재 열영상 프레임의 2-II 후보군의 경우, 검출 범위 내에 존재하는 이전 열영상 프레임의 후보군이 존재하지 않는 상태(제1상태)이기 때문에 관측된 후보군을 그대로 유지하여 이력을 유지한다.In the case of the 2-II candidate group of the current thermal image frame, since the candidate group of the previous thermal image frame existing within the detection range does not exist (first state), the observed candidate group is maintained as it is and the history is maintained.

또한, 이전 열영상 프레임인 1-I 후보군의 경우, 현재 열영상 프레임에는 존재하지 않는 상태(제2상태)이기 때문에 1-I 후보군의 이력을 삭제한다. 이는 후보군이 표적으로부터 멀어져서 관심영역에서 사라졌거나 영상 노이즈로 이전 열영상 프레임에서 순간적으로 나타났을 뿐이기 때문이다. 다만, 출현 횟수가 일정값 이상 많다면 출현 횟수를 '1'차감하고 이력은 그대로 유지한다.In addition, in the case of the 1-I candidate group that is the previous thermal image frame, the history of the 1-I candidate group is deleted because it is not present in the current thermal image frame (second state). This is because the candidate group disappeared from the region of interest because it was far from the target or only appeared instantaneously in the previous thermal image frame with image noise. However, if the number of appearances is more than a certain value, the number of appearances is subtracted by '1' and the history is maintained as it is.

또한, 현재 열영상 프레임의 2-I 후보군의 검출범위 내에서 이전 열영상 프레임에서 검출된 1-II 후보군이 검출된 상태(제3상태)이기 때문에, 1-II와 2-I를 서로 매칭시켜 현재 열영상 프레임의 2-I 후보군을 그대로 유지한다. 만약, 2-I 후보군의 검출범위 내에 1-II 이외에 또다른 후보군이 존재할 경우에는 가장 가까운 거리에 있는 후보군을 선택하여 매칭시켜 후보군 이력을 그대로 유지한다. 후보군 이력 관리를 통한 이전 열영상 프레임과 현재 열영상 프레임간의 후보군 매칭은 상기와 같이 검출 범위 내에서 가장 가까운 거리에 있는 후보군들을 서로 매칭시킬수 있지만, 다양한 방식으로 매칭이 가능하다.Further, since the 1-II candidate group detected in the previous thermal image frame is detected (third state) within the detection range of the 2-I candidate group of the current thermal image frame, the 1-II and 2-I are matched with each other. The 2-I candidate group of the current thermal image frame is maintained as it is. If another candidate group other than 1-II exists within the detection range of the 2-I candidate group, the candidate group at the closest distance is selected and matched to maintain the candidate group history. The candidate group matching between the previous thermal image frame and the current thermal image frame through the candidate group history management may match candidate groups closest to each other within the detection range as described above, but may be matched in various ways.

상기 제3상태와 같이 현재 열영상 프레임에서 이전 열영상 프레임의 후보군이 존재할 경우에는, 후보군 매칭 이력 및 거리 범위가 특정 조건을 충족하는지를 판단한다(S48). 이전 및 현재 열영상 프레임간에 매칭되어 이력에 남아 있는 후보군이 있는 경우 해당 후보군의 매칭 횟수가 임계 매칭 횟수 이상 연속적으로 발생하였고, 또한, 해당 후보군과 표적간의 거리가 임계 거리 이내인 경우 표적 식별이 불가능한 상태로 판단한다(S48).When the candidate group of the previous thermal image frame exists in the current thermal image frame as in the third state, it is determined whether the candidate group matching history and the distance range satisfy a specific condition (S48). When there is a candidate group matched between the previous and current thermal image frames and remaining in the history, the number of matching of the candidate group has continuously occurred more than the critical matching number. Also, when the distance between the candidate group and the target is within the critical distance, target identification is impossible. Judging by the state (S48).

후보군이 이전 프레임부터 연속적으로 임계 매칭 횟수 이상 매칭되어 이력이 유지되는가를 판단하는 것은, 후보군이 순간적으로 나타난것이 아니라 연속적으로 매칭되어 노이즈가 아닌 밝은 배경일 것으로 판단하는 것이다. 상기 임계 매칭 횟수는 표적이 밝은 배경으로 근접하고 있다고 판단하는데 사용되는 매칭 최소 횟수로서 미리 설정되는 값이다.Determining whether the candidate group is continuously matched more than the threshold number of times from the previous frame and maintaining the history is to determine that the candidate group is not a moment but is continuously matched and is a light background, not noise. The threshold matching count is a preset minimum number of matches used to determine that the target is approaching a light background.

예를 들어, 임계 매칭 횟수가 3회로 설졍된 경우, 현재 열영상 프레임(N프레임)의 2-I 후보군이, 이전의 열영상 프레임인, N-3프레임, N-2프레임, N-1프레임에서 연속적으로 매칭되어 현재 프레임까지 매칭이 이루어진 경우, 임계 매칭 횟수 이상 매칭이 발생했다고 판단한다.For example, when the number of times of critical matching is set to three times, N-3 frames, N-2 frames, and N-1 frames, in which the 2-I candidate group of the current thermal image frame (N frame) is the previous thermal image frame, are set. In the case of successive matching and matching up to the current frame, it is determined that the matching has occurred more than the threshold matching number.

한편, 해당 후보군과 표적간의 거리가 임계 거리 이내인 것을 판단하는 것은, 상기 임계 거리는 표적이 밝은 배경으로 근접하고 있다고 판단하는데 사용되는 최소한의 거리로서, 임계 거리 이내에 표적과 후보군이 위치한다는 것은, 표적이 후보군에 의해 제대로 탐지되지 않는다고 볼 수 있다.
On the other hand, judging that the distance between the candidate group and the target is within the threshold distance, the threshold distance is the minimum distance used to determine that the target is in close proximity with a bright background, and that the target and the candidate group are located within the threshold distance are the targets. It can be considered that it is not properly detected by this candidate group.

따라서, 이력에 있는 후보군이 임계 매칭 횟수 이상 연속적으로 발생하였고, 또한, 해당 후보군과 표적간의 거리가 임계 거리 이내에 있는지를 판단하여(S48) 상기 조건을 모두 충족하는 경우에는, 표적이 밝은 배경으로 이동하고 있어 표적 식별이 불가능하다고 판단하고 추적을 중지한다(S49). 반면에, 그렇지 않은 경우에는 계속하여 표적 추적(무게 중심 추적)을 수행한다(S50).Therefore, when the candidate group in the history has been generated more than the threshold matching number consecutively, and the distance between the candidate group and the target is within the threshold distance (S48) and all of the above conditions are met, the target moves to a light background. It is determined that the target identification is impossible and stops tracking (S49). On the other hand, if not, the target tracking (weight center tracking) is continuously performed (S50).

본 발명을 첨부 도면과 전술된 바람직한 실시예를 참조하여 설명하였으나, 본 발명은 그에 한정되지 않으며, 후술되는 특허청구범위에 의해 한정된다. 따라서, 본 기술분야의 통상의 지식을 가진 자라면 후술되는 특허청구범위의 기술적 사상에서 벗어나지 않는 범위 내에서 본 발명을 다양하게 변형 및 수정할 수 있다.Although the invention has been described with reference to the accompanying drawings and the preferred embodiments described above, the invention is not limited thereto, but is defined by the claims that follow. Accordingly, those skilled in the art will appreciate that various modifications and changes may be made thereto without departing from the spirit of the following claims.

10: 표적 탐색창 20: 배경 탐색창
31: 제1중심점 32: 제2중심점
33: 열영상 제1프레임에서의 표적 탐색창
34: 열영상 제2프레임에서의 표적 탐색창10: target search window 20: background search window
31: first center point 32: second center point
33: Target search window in the first frame of the thermal image
34: target search window in the second frame of the thermal image

Claims (9)

현재 열영상 프레임에서의 표적 영역을 설정하는 과정;
상기 표적 영역의 평균 밝기값을 산출하고, 상기 평균 밝기값에 따라 미리 할당된 밝기 임계값을 추출하는 과정;
이전의 열영상 프레임들의 밝기 임계값들에 대한 평균값 및 분산값을 산출하여 가우시안 확률 밀도 분포 범위를 결정하는 과정;
현재 열영상 프레임의 밝기 임계값이 상기 가우시안 확률 밀도 분포 범위를 벗어난 경우 표적 추적을 중지하는 과정
을 포함하는 표적 추적 방법.Setting a target area in the current thermal image frame;
Calculating an average brightness value of the target area and extracting a predetermined brightness threshold value according to the average brightness value;
Determining a Gaussian probability density distribution range by calculating an average value and a variance of brightness thresholds of previous thermal image frames;
The process of stopping the target tracking when the brightness threshold of the current thermal image frame is outside the Gaussian probability density distribution range.
Target tracking method comprising a. 청구항 1에 있어서, 이전의 열영상 프레임들의 밝기 임계값들은, 현재 열영상 프레임 이전의 32개 열영상 프레임들의 표적 영역의 밝기 임계값들인 표적 추적 방법.The method of claim 1, wherein the brightness thresholds of previous thermal image frames are brightness thresholds of a target area of 32 thermal image frames before a current thermal image frame. 청구항 2에 있어서, 상기 가우시안 확률 밀도 분포 범위를 벗어난 경우는, (현재 열영상 프레임의 밝기 임계값 - 이전 32개 열영상 프레임 동안의 밝기 임계값들의 평균값)2 > (가중치 파라미터 × 이전 32개 열영상 프레임 동안의 밝기 임계값들의 분산값)이며, 이때, 표적 영역은 표적이 있는 영역인 표적 탐색창과 표적 탐색창 주변 영역인 배경 탐색창을 포함하며, 밝기 임계값은 열영상 프레임내의 표적 탐색창의 평균 밝기값 및 배경 탐색창의 평균 밝기값에 따라서 달리 결정되는 값인 표적 추적 방법.The method according to claim 2, wherein if the Gaussian probability density distribution is out of range, (the brightness threshold of the current thermal image frame minus the average value of the brightness thresholds for the previous 32 thermal images frames) 2 > (weight parameter × previous 32 columns) Variance of brightness thresholds during an image frame, wherein the target area includes a target search window, which is a target area, and a background search window, which is an area around the target search window, wherein the brightness threshold is defined by the target search window in the thermal image frame. Target tracking method, which is determined differently according to the average brightness value and the average brightness value of the background search window. 열영상 프레임내의 표적 영역의 주변을 탐색 영역으로 설정하는 과정;
상기 표적 영역의 평균 밝기값을 산출하고, 상기 평균 밝기값에 따라 미리 할당된 밝기 임계값을 추출하는 과정;
상기 탐색 영역에서 밝기 임계값을 초과하는 밝은 영역을 검출하여 후보군으로 등록하는 과정;
이전 열영상 프레임과 현재 열영상 프레임간의 후보군 매칭이 임계 매칭 횟수 이상 연속적으로 발생하고, 해당 후보군과 표적 탐색창 간의 거리가 임계 거리 이내인 경우 표적 추적을 중지하는 과정;
을 포함하는 표적 추적 방법.Setting a periphery of the target area in the thermal image frame as the search area;
Calculating an average brightness value of the target area and extracting a predetermined brightness threshold value according to the average brightness value;
Detecting a bright area exceeding a brightness threshold in the search area and registering as a candidate group;
Stopping target tracking when the candidate group matching between the previous thermal image frame and the current thermal image frame is continuously generated more than the threshold matching number and the distance between the candidate group and the target search window is within the threshold distance;
Target tracking method comprising a. 청구항 1 또는 청구항 4에 있어서, 상기 표적 영역의 평균 밝기값은, 표적이 있는 영역인 표적 탐색창에서 측정되는 평균 밝기값과, 상기 표적 탐색창 주변 영역인 배경 탐색창에서 측정되는 평균 밝기값을 포함하는 표적 추적 방법.The method of claim 1 or claim 4, wherein the average brightness value of the target area, the average brightness value measured in the target search window that is the target area and the average brightness value measured in the background search window around the target search window Target tracking method comprising. 청구항 1 또는 청구항 4에 있어서, 상기 표적 영역은 표적이 있는 영역인 표적 탐색창과 표적 탐색창 주변 영역인 배경 탐색창을 포함하며, 상기 밝기 임계값은 상기 표적 탐색창의 평균 밝기값과 상기 배경 탐색창의 평균 밝기값에 따라 밝기 임계값이 미리 할당된 테이블에서 추출하는 표적 추적 방법.The method of claim 1 or 4, wherein the target area includes a target search window that is a target area and a background search window that is an area around the target search window, and the brightness threshold is the average brightness value of the target search window and the background search window. Target tracking method that extracts from a table that is pre-allocated a brightness threshold according to the average brightness value. 청구항 4에 있어서, 상기 후보군으로 등록하는 과정은, 상기 밝은 영역의 면적이 (표적의 면적÷면적분할값) 보다 큰 경우 후보군으로 등록하는 표적 추적 방법. The target tracking method of claim 4, wherein the registering of the candidate group comprises registering the candidate group when the area of the bright area is larger than the area ÷ area split value of the target. 청구항 7에 있어서, 상기 면적 분할값은 '8'임을 특징으로 하는 표적 추적 방법.The method of claim 7, wherein the area split value is '8'. 삭제delete
KR1020110039043A 2011-04-26 2011-04-26 Method for tracing target KR101164617B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110039043A KR101164617B1 (en) 2011-04-26 2011-04-26 Method for tracing target

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110039043A KR101164617B1 (en) 2011-04-26 2011-04-26 Method for tracing target

Publications (1)

Publication Number Publication Date
KR101164617B1 true KR101164617B1 (en) 2012-07-11

Family

ID=46716620

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110039043A KR101164617B1 (en) 2011-04-26 2011-04-26 Method for tracing target

Country Status (1)

Country Link
KR (1) KR101164617B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160002082A (en) 2014-06-30 2016-01-07 국방과학연구소 Ground Target Classification Method using Target Trait Context Features
KR20160031142A (en) * 2014-09-11 2016-03-22 엘지디스플레이 주식회사 Mura Detecting Device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160002082A (en) 2014-06-30 2016-01-07 국방과학연구소 Ground Target Classification Method using Target Trait Context Features
KR20160031142A (en) * 2014-09-11 2016-03-22 엘지디스플레이 주식회사 Mura Detecting Device
KR102209953B1 (en) 2014-09-11 2021-02-02 엘지디스플레이 주식회사 Mura Detecting Device

Similar Documents

Publication Publication Date Title
CN107527009B (en) Remnant detection method based on YOLO target detection
US9311533B2 (en) Device and method for detecting the presence of a logo in a picture
CN103150549B (en) A kind of road tunnel fire detection method based on the early stage motion feature of smog
CN107085714B (en) Forest fire detection method based on video
CN101799968B (en) Detection method and device for oil well intrusion based on video image intelligent analysis
Shivakumara et al. Efficient video text detection using edge features
US20100310122A1 (en) Method and Device for Detecting Stationary Targets
US20170358093A1 (en) Method and apparatus for updating a background model
MX2011002293A (en) Text localization for image and video ocr.
KR102085035B1 (en) Method and Apparatus for Setting Candidate Area of Object for Recognizing Object
US20170151943A1 (en) Method, apparatus, and computer program product for obtaining object
CN104766079A (en) Remote infrared weak object detecting method
JP2014059655A (en) Road situation-monitoring device, and road situation-monitoring method
CN103793921B (en) Moving object extraction method and moving object extraction device
CN115049954A (en) Target identification method, device, electronic equipment and medium
KR101164617B1 (en) Method for tracing target
US20130027550A1 (en) Method and device for video surveillance
JP7125843B2 (en) Fault detection system
CN114445398A (en) Method and device for monitoring state of side protection plate of hydraulic support of coal mining machine
CN108446581B (en) Unmanned aerial vehicle detection method in severe environment
CN115984780B (en) Industrial solid waste warehouse-in and warehouse-out judging method and device, electronic equipment and medium
CN111325073B (en) Monitoring video abnormal behavior detection method based on motion information clustering
CN102930541A (en) Background extracting and updating method of video images
CN112287808B (en) Motion trajectory analysis warning method, device, system and storage medium
JP2016009331A (en) Vehicle surroundings monitoring apparatus

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150629

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160629

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170628

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190701

Year of fee payment: 8