KR101658466B1 - Thermal video sequence based target classification apparatus and method thereof - Google Patents

Thermal video sequence based target classification apparatus and method thereof Download PDF

Info

Publication number
KR101658466B1
KR101658466B1 KR1020150031162A KR20150031162A KR101658466B1 KR 101658466 B1 KR101658466 B1 KR 101658466B1 KR 1020150031162 A KR1020150031162 A KR 1020150031162A KR 20150031162 A KR20150031162 A KR 20150031162A KR 101658466 B1 KR101658466 B1 KR 101658466B1
Authority
KR
South Korea
Prior art keywords
target
type
posture
classified
updating
Prior art date
Application number
KR1020150031162A
Other languages
Korean (ko)
Other versions
KR20160107823A (en
Inventor
양동원
강재웅
윤주홍
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020150031162A priority Critical patent/KR101658466B1/en
Publication of KR20160107823A publication Critical patent/KR20160107823A/en
Application granted granted Critical
Publication of KR101658466B1 publication Critical patent/KR101658466B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06K9/6267—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G06K9/6257—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image

Abstract

본 발명은 표적의 종류 및 자세를 갱신하여 표적 분류의 정확도를 높일 수 있는 열 영상 기반의 표적 분류 장치 및 그 방법에 관한 것으로, 순차 입력되는 열 영상으로부터 표적 분할 영상을 추출하는 단계; 상기 추출된 표적 분할 정보와 열 영상을 근거로 표적의 종류 및 자세를 분류하는 단계; 상기 분류된 연속적인 표적의 종류와 자세 변화를 체크하여 실시간으로 표적 분류 결과를 갱신하는 단계; 및 상기 갱신된 표적 분류 결과를 출력하는 단계;를 포함할 수 있다.The present invention relates to a thermal image-based target classifying apparatus and method for updating the type and attitude of a target to improve the accuracy of target classification, the method comprising: extracting a target segment image from sequentially input thermal images; Classifying the type and posture of the target based on the extracted target division information and the thermal image; Updating the target classification result in real time by checking the type and the posture change of the classified continuous target; And outputting the updated target classification result.

Description

열 영상 시퀀스 기반의 표적 분류 장치 및 그 방법{THERMAL VIDEO SEQUENCE BASED TARGET CLASSIFICATION APPARATUS AND METHOD THEREOF}TECHNICAL FIELD [0001] The present invention relates to a target classification apparatus based on a thermal image sequence,

본 발명은 표적의 종류 및 자세를 갱신하여 표적 분류의 정확도를 높일 수 있는 열 영상 시퀀스 기반의 표적 분류 장치 및 그 방법에 관한 것이다. The present invention relates to a thermal image sequence-based target classification apparatus and a method thereof, which can improve the accuracy of target classification by updating the type and attitude of a target.

일반적으로 열 영상을 이용하여 표적의 종류를 분류하는 방법은 표적이 탐지된 뒤 한 번 표적을 분류하는 것으로 그 결과를 출력한다. 군사적 목적으로 지상표적을 탐지 후 추적하거나 분류하는 경우 그 표적의 종류가 바뀌지 않는다고 가정하고 있기 때문에 표적 분류는 1회 수행이 된다. Generally, a method of classifying a target type using a thermal image is to classify a target once the target is detected, and output the result. When a terrestrial target is detected or tracked or classified for military purposes, it is assumed that the type of the target does not change, so the target classification is performed once.

그러나, 최근 영상처리 능력의 발달과 연산 능력의 증대로 표적의 종류와 자세 분류가 동시에 가능해 졌으며, 표적 탐지/추적시 표적의 종류와 자세가 실시간으로 변화하는 경우가 존재하기 때문에 1회의 표적 분류를 통한 결과 획득은 한계가 있게 된다. 또한, 표적 분류를 한 번에 수행하는 경우 표적 분할 과정의 오류 혹은 표적 가림 현상 등으로 인한 표적 오분류 시 극복할 수 없다는 단점이 존재하게 된다.However, since the recent development of the image processing capability and the increase of the computation capability have made it possible to classify the target types and attitudes simultaneously, and the types and attitudes of the targets are changed in real time during the target detection / tracking, There is a limit to obtaining results through. In addition, when the target classification is performed at one time, there is a disadvantage that it can not be overcome when the target misclassification due to the error of the target segmentation process or the target blotting phenomenon occurs.

따라서, 표적 1회 분류의 시점 판단을 위해 운용자가 개입하거나 표적 분할의 신뢰도를 분석하여 표적 분류를 수행하는 등의 방법이 적용되고 있으나, 이러한 방법은 사람이 인식하여 분류하는 것에 비해서 낮은 성능을 보이고, 자동화된 표적 분류 방법을 사용하지 않게 되는 한계점이 분명하게 존재하게 된다.  Therefore, there is a method that the operator intervenes to determine the time of the target one time classification, or the target classification is performed by analyzing the reliability of the target partition. However, this method has a lower performance , There is a clear limit to not using an automated target classification method.

따라서, 본 발명은 열 영상 시퀀스를 기반으로 표적의 분류 결과를 갱신하여 표적 분류의 정확도를 높일 수 있는 열 영상 시퀀스 기반의 표적 분류 장치 및 그 방법을 제공하는데 있다. Accordingly, the present invention is to provide a target classification apparatus based on a thermal image sequence and a method thereof, which can improve the accuracy of target classification by updating a classification result of a target based on a thermal image sequence.

상기와 같은 목적을 달성하기 위하여 본 발명의 실시예에 따른 열 영상 시퀀스 기반의 지상표적 분류 방법은, 순차 입력되는 열 영상으로부터 표적 분할 영상을 추출하는 단계; 상기 추출된 표적 분할 정보와 열 영상을 근거로 표적의 종류 및 자세를 분류하는 단계; 상기 분류된 연속적인 표적의 종류와 자세 변화를 체크하여 실시간으로 표적 분류 결과를 갱신하는 단계; 및 상기 갱신된 표적 분류 결과를 출력하는 단계;를 포함할 수 있다. According to an aspect of the present invention, there is provided a method for classifying a terrestrial target based on a thermal image sequence, the method comprising: extracting a target segment image from sequentially input thermal images; Classifying the type and posture of the target based on the extracted target division information and the thermal image; Updating the target classification result in real time by checking the type and the posture change of the classified continuous target; And outputting the updated target classification result.

상기 표적의 분류 결과를 갱신하는 단계는 Markov Chain을 이용하여 표적의 종류를 갱신할 수 있다.In the step of updating the classification result of the target, the target type can be updated using the Markov chain.

상기 표적의 분류 결과를 갱신하는 단계는 MRF(Markov Random Field) 기반의 자세 갱신 기법을 이용하여 갱신될 수 있다.The step of updating the classification result of the target may be updated using a MRF (Markov Random Field) -based posture update technique.

상기와 같은 목적을 달성하기 위하여 본 발명의 실시예에 따른 열 영상 시퀀스 기반의 지상표적 분류 장치는 순차 입력되는 열 영상으로부터 표적 분할 영상을 추출하는 표적 분할기; 상기 추출된 표적 분할 정보와 열 영상을 근거로 표적의 종류 및 자세를 분류하는 표적 분류기; 및 상기 분류된 연속적인 표적의 종류와 자세 변화를 체크하여 실시간으로 표적 분류 결과를 갱신하여 상기 갱신된 표적 분류 결과를 출력하는 표적정보 갱신기;를 포함할 수 있다. According to an aspect of the present invention, there is provided a terrestrial target classification apparatus based on a thermal image sequence, the apparatus comprising: a target divider for extracting a target segment image from sequentially input thermal images; A target classifier for classifying the type and attitude of the target based on the extracted target division information and the thermal image; And a target information updater that updates target classification results in real time by checking the type and attitude change of the classified continuous targets and outputs the updated target classification results.

상기 표적정보 갱신기는 Markov Chain 기반의 종류 갱신 기법을 이용하여 표적의 종류를 갱신하며, 최초 분류된 표적의 종류가 연속적으로 소정 횟수 이상 나올 때만 표적의 종류를 갱신할 수 있다. The target information updater updates the type of the target using the Markov Chain-based type update technique, and can update the target type only when the type of the initially classified target continuously reaches a predetermined number or more.

상기 표적정보 갱신기는 MRF(Markov Random Field) 기반의 자세 갱신 기법을 이용하여 표적의 자세를 갱신할 수 있다.The target information updater can update the posture of the target using the MRF (Markov Random Field) based posture update technique.

상기 표적정보 갱신기는 상기 분류된 표적의 모든 자세가 나오는 확률을 구하여 각 확률이 최대가 되는 자세 변화를 추정하여 표적의 자세를 갱신한다. The target information updater updates the posture of the target by estimating the posture change that maximizes each probability by obtaining the probability that all the postures of the classified target are generated.

본 발명은 열 영상 시퀀스를 기반으로 연속적인 표적 종류 및 자세 분류 결과가 나왔을 때, 마코프 체인(Markov Chain) 기반의 종류 갱신 기법과 마코프 랜덤 모델(MRF : Markov Random Field) 기반의 자세 갱신 기법을 고안하여 표적 분류 결과를 갱신함으로써 표적 분류의 성능을 향상시킬 수 있는 효과가 있다.The present invention contemplates a Markov Chain-based sort update technique and a Markov Random Field (MRF) based posture update technique when successive target types and attitude classification results are based on a thermal image sequence. So that the performance of the target classification can be improved by updating the target classification result.

도 1은 도 1은 본 발명의 실시예에 따른 열 영상 시퀀스 기반의 표적 분류 장치의 개략도.
도 2는 본 발명의 실시예에 따른 열 영상 시퀀스 기반의 표적 분류 방법을 나타낸 순서도.
도 3a 및 도 3b는 본 발명에서 마코프 체인(Markov Chain)을 이용하여 표적의 종류를 갱신하는 방법을 나타낸 실시예.
도 4a 및 도 4b는 본 발명에서 마코프 랜덤 필드(MRF)기반의 자세 결과 갱신 방법을 사용하여 표적의 자세를 갱신하는 방법을 나타낸 실시예.FIG. 1 is a schematic diagram of a thermal image sequence-based target classification apparatus according to an embodiment of the present invention. FIG.
2 is a flowchart illustrating a method of classifying a target based on a thermal image sequence according to an embodiment of the present invention.
FIGS. 3A and 3B illustrate a method of updating a target type using a Markov chain in the present invention. FIG.
FIGS. 4A and 4B illustrate a method of updating a posture of a target using a Markov Random Field (MRF) based posture result updating method in the present invention.

본 발명은 열 영상 시퀀스를 기반으로 표적의 분류 결과를 갱신하여 표적 분류의 정확도를 높일 수 있는 방안을 제안한다. The present invention proposes a method of increasing the accuracy of the target classification by updating the classification result of the target based on the thermal image sequence.

도 1은 본 발명의 실시예에 따른 열 영상 시퀀스 기반의 표적 분류 장치의 개략도이다.1 is a schematic diagram of a thermal image sequence based target classification apparatus according to an embodiment of the present invention.

도 1에 도시된 바와같이, 본 발명에 따른 표적 분류 장치는, 시간에 따라 순차 입력되는 열 영상으로부터 표적의 분할 영상을 추출하는 표적 분할기(100), 상기 표적 분할기 (100)에서 추출된 분할 영상과 입력 열 영상을 근거로 표적의 종류 및 자세를 분류하는 표적 분류기(200) 및 상기 표적 분류기(200)에서 분류된 표적의 종류 및 자세를 분류결과 갱신 기법을 통해 갱신하여 최종 표적 분류결과를 출력하는 표적정보 갱신기(300)를 포함한다. As shown in FIG. 1, the target classification apparatus according to the present invention includes a target divider 100 for extracting a segmented image of a target from a thermal image sequentially input according to time, A target classifier 200 for classifying the type and attitude of the target based on the input thermal image and the type and attitude of the target classified by the target classifier 200 are updated through a classification result update technique to output a final target classification result And a target information updating unit 300 for updating the target information.

상기 열 영상은 IR센서(미도시)로부터 감지되어 입력된다. The thermal image is detected and input from an IR sensor (not shown).

상기 표적 분류 결과는 표적의 종류, 표적의 자세(e.g. 각) 및 분류기의 분류 확률을 포함한다. The target classification result includes the type of the target, the posture (e.g., angle) of the target, and the classification probability of the classifier.

상기 분류결과 갱신 기법은 표적의 종류를 갱신하기 위한 마코프 체인 (Markov Chain)과 표적의 자세를 갱신하기 위한 마코프 랜덤 모델(Markov Random Field : MRF)을 포함할 수 있다. The classification result update technique may include a Markov Chain for updating the type of the target and a Markov Random Field (MRF) for updating the target posture.

따라서, 상기와 같은 표적 분류결과를 본 발명에서 제안하는 분류 결과 갱신방법에 적용하여 갱신된 표적 분류 결과를 최종적으로 출력하게 된다.Accordingly, the target classification result is applied to the classification result update method proposed by the present invention, and the updated target classification result is finally output.

도 2는 본 발명의 실시예에 따른 열 영상 시퀀스 기반의 표적 분류 방법을 나타낸 순서도이다.2 is a flowchart illustrating a method of classifying a target based on a thermal image sequence according to an embodiment of the present invention.

도 2에 도시된 바와같이, 표적 분할기(100)는 IR센서(미도시)로부터 영 영상 시퀀스를 시간에 따라 순차적으로 입력받아, 입력 열영상을 이용하여 표적의 분할 영상을 추출한다(S100).As shown in FIG. 2, the target divider 100 receives a sequence of zero-sequence images sequentially from an IR sensor (not shown), and extracts a target segmentation image using the input sequence image (S100).

표적 분류기(200)는 상기 추출된 표적 분할 영상과 입력 열 영상을 근거로 표적의 종류(e.g., 전차) 및 표적의 자세 (e.g., 90도)를 분류한 후 분류에 사용된 확률과 함께 표적정보 갱신기(300)로 출력한다(S110).The target classifier 200 classifies the type of the target (eg, tram) and the posture of the target (eg, 90 degrees) on the basis of the extracted target segmentation image and the input column image, And outputs it to the updater 300 (S110).

따라서, 표적정보 갱신기(300)는 표적 분류기(200)에서 출력된 표적 분류결과를 소정의 분류결과 갱신 기법을 통해 갱신하여 정확도가 향상된 표적 분류결과를 최종적으로 출력한다(S120, S130)). Accordingly, the target information updater 300 updates the target classification result output from the target classifier 200 through a predetermined classification result update technique to finally output the target classification result with improved accuracy (S120, S130)).

즉, 표적정보 갱신기(300)는 먼저 표적 분류 결과 중에서 표적의 종류는 마코프 체인(Markov Chain)을 이용한 트랙 관리 방법을 활용하여 갱신한다. 마코프 체인은 도 3a와 같이 설정하는데, 상기 분류된 표적의 종류(e.g., 전차)는 최초에 잠정 클래스(tentative class)로 설정된 뒤 5회 중 4회 이상 같은 종류 즉, 전차로 분류되면 확정 클래스(confirmed class)로 변경되어 최종 출력된다. 즉, 상기 표적정보 갱신기(300)는 최초 분류된 표적의 종류가 연속적으로 소정 횟수 이상 나올 때만 표적의 종류를 갱신한다. That is, the target information updater 300 first updates the types of targets among the target classification results by using a track management method using a Markov chain. The markup chain is set as shown in FIG. 3A. The type of the classified target (eg, tram) is set to a tentative class at first and then classified into four classes of the same class, that is, confirmed class) and finally output. That is, the target information updater 300 updates the target type only when the type of the initially classified target continuously reaches a predetermined number of times or more.

이때, 클래스 분류 결과는 도 3b와 같은 생성 사이클을 갖게 된다. 최초의 잠정 클래스(tentative class)에서 2회 연속 같은 클래스로 분류되면 예비 클래스 (reserved class)로 바뀌고, 이후 5회 중 4회 이상 같은 클래스로 분류되면 최종 확정 클래스(confirmed class)로 바뀌게 된다. 일단 확정 클래스가 되면, 한번 다른 표적 클래스로 결과가 나온다고 해서 바로 갱신하는 것이 아니고 1회 연관이 실패되면 메모리 클래스(memory class)로 가게 되며, 다시 동일한 표적 클래스로 결과가 나오면 확정 클래스로 환원된다. At this time, the class classification result has a generation cycle as shown in FIG. 3B. In the first tentative class, if it is classified as the same class twice, it is changed to the reserved class, and if it is classified into the same class more than 4 times out of 5 times, it is changed into the final confirmed class. Once a definitive class has been created, it will not be immediately updated if the results come out to a different target class once, and if one association fails, it will go to the memory class and return to the definite class if the same target class results again.

위와 같이 분류된 표적 클래스(종류)가 연속적으로 동일한 클래스로 분류되는지 체크한 후 표적 분류 결과를 확정함으로써 표적 분류 결과의 정확도를 높일 수 있다. It is possible to increase the accuracy of the result of the target classification by checking whether the target classes classified as above are classified into the same class continuously and then fixing the target classification results.

또한, 표적정보 갱신기(300)는 표적 분류기(200)에서 출력된 표적 분류결과 중에서 표적의 자세는 마코프 랜덤 모델(Markov Random Field : MRF) 기반의 자세 갱신 기법을 활용하여 갱신한다. 체인 구조의 MRF에 입력되는 표적의 시퀀스 N개는 다음의 수학식 1과 같이 나타낼 수 있다.In addition, the target information updater 300 updates the attitude of the target among the target classification results output from the target classifier 200 using a Markov Random Field (MRF) -based posture update technique. N sequences of the target input to the MRF of the chain structure can be expressed by the following equation (1).

[수학식 1][Equation 1]

Figure 112015022027362-pat00001
Figure 112015022027362-pat00001

여기서, N은 표적 시퀀스의 개수를 나타낸다. 이때, 각 표적 시퀀스에 맞는 표적 모델(자세)을 m이라 하면 모델(자세)의 시퀀스는 다음의 수학식 2와 같이 정의할 수 있다. Where N represents the number of target sequences. At this time, if the target model (posture) corresponding to each target sequence is m, the sequence of the model (posture) can be defined as the following equation (2).

[수학식 2]&Quot; (2) "

Figure 112015022027362-pat00002
Figure 112015022027362-pat00002

이를 이용하여 표적 시퀀스가 주어졌을 때, 각 모델이 나오는 확률(P)을 다음의 수학식 3을 이용하여 구할 수 있다.When the target sequence is given using this, the probability P of each model can be obtained by using the following equation (3).

[수학식 3]&Quot; (3) "

Figure 112015022027362-pat00003
Figure 112015022027362-pat00003

이때, 매칭 점수(matching score) F1과 모델 전이 인자(model transition factor) F2는 다음의 수학식 4 및 5로 정의된다.At this time, the matching score F 1 and the model transition factor F 2 are defined by the following equations (4) and (5).

[수학식 4]&Quot; (4) "

Figure 112015022027362-pat00004
Figure 112015022027362-pat00004

상기 표적 분류기(200)가 SVM((Support Vector Machines)으로 수행되었다고 가정했을 때의 분류 확률이 매칭 점수(matching score) 값이 된다.Assuming that the target classifier 200 is implemented as SVM (Support Vector Machines), the classification probability is a matching score value.

[수학식 5]&Quot; (5) "

Figure 112015022027362-pat00005
Figure 112015022027362-pat00005

상기 수학식 3으로 계산된 확률값(P)을 최대로 하는 모델(자세)을 선정하여 결과를 수학식 6과 같이 갱신하게 된다.The model (attitude) which maximizes the probability value P calculated by the above Equation (3) is selected and the result is updated as shown in Equation (6).

[수학식 6]&Quot; (6) "

Figure 112015022027362-pat00006
Figure 112015022027362-pat00006

위의 방법으로 갱신하게 되면 도 4a에 나타난 것과 같이 모든 자세의 경우를 고려하여 확률을 계산하고, 최종적으로 도 4b와 같이 최적의 모델(자세) 변화를 추정할 수 있고 자세 정보를 갱신할 수 있게 된다. 즉, 표적정보 갱신기(300)는 분류된 표적의 모든 자세가 나오는 확률을 구하여 각 확률이 최대가 되는 자세 변화를 추정하여 표적의 자세를 갱신한다. As shown in FIG. 4A, the probability is calculated by considering all the poses as shown in FIG. 4A. Finally, as shown in FIG. 4B, it is possible to estimate the optimal model (posture) do. That is, the target information updater 300 obtains the probability that all the poses of the classified target are found, updates the posture of the target by estimating the attitude change that maximizes each probability.

이와 같이 갱신된 자세 결과를 이전 결과와 비교하여 물리적으로 일어날 수 없는 변화가 나타났는지를 점검한 후 최종적으로 갱신 결과를 출력하게 된다.The updated posture result is compared with the previous result, and it is checked whether a change that can not physically occur is detected, and finally, the update result is outputted.

본 발명에서는 이와 같이 고안된 방법을 활용하여 연속 영상을 기반으로 분류된 표적의 자세와 종류 결과를 효율적으로 갱신하게 된다.In the present invention, the posture and the type result of the target classified on the basis of the continuous image are efficiently updated using the thus-designed method.

상술한 바와같이, 본 발명은 열 영상 시퀀스를 기반으로 연속적인 표적 종류 및 자세 분류 결과가 나오면 마코프 체인 기반의 종류 갱신 기법 및 마코프 랜덤 모델(Markov Random Field : MRF) 기반의 자세 갱신 기법을 적용하여 상기 분류 결과를 갱신함으로써 표적 분류의 성능을 향상시킬 수 있을 것으로 기대된다.As described above, according to the present invention, when successive target types and posture classification results are obtained based on a thermal image sequence, a marker update based on a Markov chain and a Markov Random Field (MRF) based posture update technique are applied It is expected that the performance of the target classification can be improved by updating the classification result.

상기 설명된 실시예들의 구성과 방법은 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 상술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. It will be appreciated that the configurations and methods of the embodiments described above are not to be limited and that the embodiments may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. Therefore, it should be understood that the above-described embodiments are to be considered in all respects as illustrative and not restrictive.

100 : 표적 분할기 200 : 표적 분류기
300 : 표적정보 갱신기100: target divider 200: target classifier
300: Target information updater

Claims (6)

순차 입력되는 열 영상으로부터 표적 분할 영상을 추출하는 단계;
상기 추출된 표적 분할 영상과 열 영상을 근거로 표적의 종류 및 자세를 분류하는 단계;
상기 분류된 표적의 종류 및 자세 변화를 체크하여 실시간으로 표적의 분류 결과를 갱신하는 단계; 및
상기 갱신된 표적 분류 결과를 출력하는 단계;를 포함하며,
상기 표적의 분류 결과를 갱신하는 단계는
최초 분류된 표적의 종류가 연속적으로 소정 횟수 이상 나올 때 표적의 종류를 갱신하는 단계; 및
상기 분류된 표적의 모든 자세가 나오는 확률을 구하여 각 확률이 최대가 되는 자세 변화를 추정하여 표적의 자세를 갱신하는 단계;를 포함하는 것을 특징으로 하는 열 영상 시퀀스 기반의 지상표적 분류 방법.Extracting a target segment image from sequentially input thermal images;
Classifying the type and posture of the target based on the extracted target segmentation image and the thermal image;
Updating the classification result of the target in real time by checking the type and attitude change of the classified target; And
And outputting the updated target classification result,
The step of updating the classification result of the target
Updating the type of the target when the type of the initially classified target continuously exceeds a predetermined number of times; And
And calculating a probability that all the poses of the classified target are generated, and estimating an attitude change that maximizes each probability to update the attitude of the target. 제1항에 있어서, 상기 표적의 종류는
Markov Chain을 이용하여 갱신하는 것을 특징으로 하는 열 영상 시퀀스 기반의 지상표적 분류 방법. The method of claim 1, wherein the type of target
Markov Chain to update the Markov Chain based on the thermal image sequence. 제1항에 있어서, 상기 표적의 자세는
MRF(Markov Random Field) 기반의 자세 갱신 기법을 이용하여 갱신하는 것을 특징으로 하는 열 영상 시퀀스 기반의 지상표적 분류 방법. 2. The method of claim 1, wherein the posture of the target
Based on the MRF (Markov Random Field) based posture update technique. 순차 입력되는 열 영상으로부터 표적 분할 영상을 추출하는 표적 분할기;
상기 추출된 표적 분할 영상과 열 영상을 근거로 표적의 종류 및 자세를 분류하는 표적 분류기; 및
상기 분류된 표적의 종류 및 자세 변화를 체크하여 실시간으로 표적 분류 결과를 갱신함과 함께 갱신된 표적 분류 결과를 출력하는 표적정보 갱신기;를 포함하여 구성되며,
상기 표적정보 갱신기는
최초 분류된 표적의 종류가 연속적으로 소정 횟수 이상 나올 때 표적의 종류를 갱신하고, 상기 분류된 표적의 모든 자세가 나오는 확률을 구하여 각 확률이 최대가 되는 자세 변화를 추정하여 표적의 자세를 갱신하는 것을 특징으로 열 영상 시퀀스 기반의 표적 분류 장치.A target divider for extracting a target segment image from sequentially input thermal images;
A target classifier for classifying the type and attitude of the target based on the extracted target segmentation image and the thermal image; And
And a target information updater for updating target classification results in real time by checking the type and attitude change of the classified targets and outputting the updated target classification results,
The target information updater
The type of the target is updated when the type of the initially classified target continuously reaches a predetermined number of times or more and the probability of all the poses of the classified target is found to estimate the attitude change that maximizes each probability to update the attitude of the target Wherein the target image is classified into a plurality of images. 제4항에 있어서, 상기 표적정보 갱신기는
Markov Chain 기반의 종류 갱신 기법을 이용하여 표적의 종류를 갱신하는 것을 특징으로 하는 열 영상 시퀀스 기반의 표적 분류 장치. 5. The apparatus of claim 4, wherein the target information updater
Wherein the type of the target is updated using a Markov Chain based type update technique. 제4항에 있어서, 상기 표적정보 갱신기는
MRF(Markov Random Field) 기반의 자세 갱신 기법을 이용하여 표적의 자세를 갱신하는 것을 특징으로 하는 열 영상 시퀀스 기반의 표적 분류 장치. 5. The apparatus of claim 4, wherein the target information updater
Wherein the posture of the target is updated using an MRF (Markov Random Field) based posture update technique.
KR1020150031162A 2015-03-05 2015-03-05 Thermal video sequence based target classification apparatus and method thereof KR101658466B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150031162A KR101658466B1 (en) 2015-03-05 2015-03-05 Thermal video sequence based target classification apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150031162A KR101658466B1 (en) 2015-03-05 2015-03-05 Thermal video sequence based target classification apparatus and method thereof

Publications (2)

Publication Number Publication Date
KR20160107823A KR20160107823A (en) 2016-09-19
KR101658466B1 true KR101658466B1 (en) 2016-09-30

Family

ID=57079556

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150031162A KR101658466B1 (en) 2015-03-05 2015-03-05 Thermal video sequence based target classification apparatus and method thereof

Country Status (1)

Country Link
KR (1) KR101658466B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101362851B1 (en) * 2013-03-19 2014-02-17 엘아이지넥스원 주식회사 Apparatus for updating video database
KR101382163B1 (en) 2013-03-14 2014-04-07 국방과학연구소 Ground target classification method, and ground target classification apparatus using the same
KR101432540B1 (en) 2014-03-21 2014-08-25 국방과학연구소 Target classnication apparatus and operation method for the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101382163B1 (en) 2013-03-14 2014-04-07 국방과학연구소 Ground target classification method, and ground target classification apparatus using the same
KR101362851B1 (en) * 2013-03-19 2014-02-17 엘아이지넥스원 주식회사 Apparatus for updating video database
KR101432540B1 (en) 2014-03-21 2014-08-25 국방과학연구소 Target classnication apparatus and operation method for the same

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
이희열 외 5명, "표적의 기하학적 변환에 강인한 SIFT 기반의 표적 분류 알고리즘 설계", 한국지능시스템학회 논문지, vol. 20, no. 1, pp. 116-122, 2010.02.*

Also Published As

Publication number Publication date
KR20160107823A (en) 2016-09-19

Similar Documents

Publication Publication Date Title
JP6832504B2 (en) Object tracking methods, object tracking devices and programs
CN108388879B (en) Target detection method, device and storage medium
Nedevschi et al. Stereo-based pedestrian detection for collision-avoidance applications
CN107133970B (en) Online multi-target tracking method and device based on motion information
US9672634B2 (en) System and a method for tracking objects
US9805264B2 (en) Incremental learning framework for object detection in videos
CN106778712B (en) Multi-target detection and tracking method
US10482609B2 (en) Optical flow determination system
JP2016099941A (en) System and program for estimating position of object
CN109977895B (en) Wild animal video target detection method based on multi-feature map fusion
CN108596045B (en) Group abnormal behavior detection method based on aerial monitoring platform
WO2013012091A1 (en) Information processing apparatus, object tracking method, and program storage medium
CN109902619B (en) Image closed loop detection method and system
US20150104067A1 (en) Method and apparatus for tracking object, and method for selecting tracking feature
JP6412998B1 (en) Moving object tracking device, moving object tracking method, moving object tracking program
US10366305B2 (en) Feature value extraction method and feature value extraction apparatus
CN111798487A (en) Target tracking method, device and computer readable storage medium
CN106846367B (en) A kind of Mobile object detection method of the complicated dynamic scene based on kinematic constraint optical flow method
JPWO2018235219A1 (en) Self-location estimation method, self-location estimation device, and self-location estimation program
Bashar et al. Multiple object tracking in recent times: A literature review
WO2018030048A1 (en) Object tracking method, object tracking device, and program
WO2022004773A1 (en) Model generation device, regression device, model generation method, and model generation program
JP6558831B2 (en) Object tracking apparatus, method and program
KR101658466B1 (en) Thermal video sequence based target classification apparatus and method thereof
JP2015007919A (en) Program, apparatus, and method of realizing high accuracy geometric inspection for images different in point of view

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant