KR100319280B1

KR100319280B1 - 전자광학추적장치에서 이동물체가 포함된 동영상신호의 표적/배경 분할방법

Info

Publication number: KR100319280B1
Application number: KR1019990026863A
Authority: KR
Inventors: 천인서
Original assignee: 박태진; 삼성탈레스 주식회사
Priority date: 1999-07-05
Filing date: 1999-07-05
Publication date: 2002-01-09
Also published as: KR20010008834A

Abstract

가.청구범위에 기재된 발명이 속한 기술분야

전자광학추적장치에서 영상신호를 이용한 자동영상추적방법에 관한 것이다.

나.발명이 해결하려고 하는 기술적 과제

전자광학추적장치에서 배경게이트의 영상분포를 보다 효율적으로 이용할 수 있는 이동물체가 포함된 동영상신호의 표적/배경 분할 방법을 제공한다.

다.발명의 해결방법의 요지

본 발명은 표적의 주변에 배경영역을 설정할 시 표적의 이동방향을 고려하여 각 진행방향에서 새로 들어오는 배경게이트내의 영상신호는 weight를 크게 두고, 반대방향의 배경게이트에는 weight를 작게 두어 배경게이트의 영상분포를 보다 효율적으로 사용함으로써 보다 정확히 표적을 추적함을 특징으로 한다.

라.발명의 중요한 용도

전자광학추적장치에 이용한다.

Description

전자광학추적장치에서 이동물체가 포함된 동영상신호의 표적/배경 분할방법{TARGET/BACKGROUND SEGMENTING METHOD OF MOVING IMAGE SIGNALINCLUDING MOVING TARGET IN ELECTRONIC OPTICAL TRACINGAPPARATUS}

본 발명은 전자광학추적장치에서 영상신호를 이용한 자동영상추적방법에 관한 것으로, 특히 이동물체가 포함된 동영상신호의 표적/배경 분할 방법에 관한 것이다.

통상적으로 전자광학추적장치의 중심추적방법은 화면으로부터 표적의 센터의 변위를 찾아서 표적군이 형성되면 표적군의 중심을 추적하는 방식으로 입력되는 디지털 영상신호를 표적과 배경으로 이진화하여 이진화된 영상중 표적에 해당하는 화소의 무게중심을 계산하여 화면의 중심에 대한 표적의 상대적인 위치를 표적의 이동속도로 추정해 내는 방법을 말한다.

상기에서 입력되는 디지털 영상신호를 수평방향의 화소어드레스 h와 수직방향의 화소 어드레스 v 시간축상의 프레임 인덱스를 k로 표시하여 C(h,v,k)라 놓고 이 입력신호를 적절한 임계치를 통해 표적과 배경으로 이진화된 이진영상을 B(h,v,k)라 표시하면, 상기 이진화된 영상의 표적중심좌표는 아래의 [수학식 1]에서와 같이 구해진다.

,

B(h,v,k)=1, if Thr_min(k) < C(h,v,k) < Thr_max(k),

0, else

Thr_min(k):표적화소 경계 최소값, Thr_max(k):표적화소 최대값

여기서 트랙 게이트는 표적이 주로 포함된 추적게이트를 의미하며 Ch, Cv는 각각 수평,수직방향의 무게중심 좌표를 나타낸다. 수평방향의 무게중심좌표는 표적화소의 수평방향어드레스 누적합을 표적화소수로 나눈 값이고 수직방향의 무게중심좌표는 각 표적화소의 수직방향어드레스 누적합을 표적화소수로 나눈 값이다. 상기수학식 1을 보면 직관적으로 알 수 있듯이 무게중심방식 추적기의 성능은 표적 및 배경화소의 분할에 영향을 받음을 알 수 있다.

도 1은 종래 추적게이트와 배경게이트로 분할된 화면의 일예를 도시한 것으로, 기존에 사용된 표적과 배경으로 영상을 분할하는 방법은 상기 도 1에서 보여지는 바와 같이 추적게이트와 배경게이트를 사용하여 추적게이트내의 화소의 밝기 분포와 배경게이트내의 화소의 밝기 분포를 구하여 표적 및 배경 사이의 적절한 값을 획득하도록 하고 있다.

그런데 상기에서 배경게이트는 추적게이트 주위의 일정 크기를 요지하는데 기존의 방식은 추적게이트 내의 동표적이 움직이기 시작하여 다른 배경신호와 섞이게 되면 추적게이트를 둘러싼 상하좌우의 각 배경영상이 동일한 weight로 배경영상신호 분포를 획득하게 되어 표적의 이동에 의해 발생된 배경영상신호의 변화를 감지하는데는 둔감하게 되는 문제점이 있었다.

상술한 바와 같이 종래 전자광학추적장치의 중심추적방식의 표적/배경 분할방법에서 배경게이트는 추적게이트 주위의 일정 크기를 요지하는데 기존의 방식은 추적게이트 내의 동표적이 움직이기 시작하여 다른 배경신호와 섞이게 되면 추적게이트를 둘러싼 상하좌우의 각 배경영상이 동일한 weight로 배경영상신호 분포를 획득하게 되어 표적의 이동에 의해 발생된 배경영상신호의 변화를 감지하는데는 둔감하게 되는 문제점이 있었다.

따라서 본 발명의 목적은 동표적을 정확히 추적할 수 있는 이동물체가 포함된 동영상신호의 표적/배경 분할방법을 제공함에 있다.

도 1은 종래 추적게이트와 배경게이트로 분할된 화면의 일예를 도시한 도면,

도 2은 본 발명의 실시 예에 따른 추적게이트와 배경게이트로 분할된 화면의 일예를 도시한 도면,

도 3은 본 발명의 실시예에 따른 동영상신호의 표적/배경 분할을 위한 처리흐름도.

도 4는 본 발명의 실시 예에 따른 이동물체가 포함된 동영상신호의 표적/배경 분할을 위한 처리 흐름도

상술한 목적을 달성하기 위한 본 발명은 표적의 주변에 배경영역을 설정할 시 표적의 이동방향을 고려하여 각 진행방향에서 새로 들어오는 배경게이트내의 영상신호는 weight를 크게 두고, 반대방향의 배경게이트에는 weight를 작게 두어 배경게이트의 영상분포를 보다 효율적으로 사용함으로써 보다 정확히 표적을 추적함을 특징으로 한다.

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명 및 첨부 도면에서 구체적인 처리 흐름과 같은 많은 특정 상세들이 본 발명의 보다 전반적인 이해를 제공하기 위해 나타나 있다. 이들 특정 상세들없이 본 발명이 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다. 그리고 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.

도 2는 본 발명의 실시 예에 따른 추적게이트와 배경게이트로 분할된 화면의 일예를 도시한 것이다. 상기 도 2를 참조하면, 본 발명의 표적/배경 분할 화면에서는 상기 도 1에서와는 달리 추적게이트의 상하좌우에 배경게이트를 설정하고, 표적의 이동방향을 고려하여 각 진행방향에서 새로 들어오는 배경게이트내의 영상신호는 weight를 크게 두고, 반대방향의 배경게이트에는 weight를 작게 두어 표적의 진행방향에 놓여 있는 배경게이트의 영상분포를 보다 효율적으로 사용할 수 있게 된다. 즉 본 발명의 실시 예에 따른 표적과 배경의 영상분할 방식은 추적게이트내의 영상신호중 최대/최소값을 획득하고 그 값과 추적/배경게이트 내의 화소의 평균값을 이용하는 방식이다.

상기 [수학식 2]에서 k-1프레임의 평균값을 k프레임의 연산에 사용한 것은 순간적으로 발생하는 잡음의 영향을 줄이기 위한 것이다. 추적게이트와 배경게이트의 평균값을 활용하여 자동으로 표적의 Polarity를 알아낼 수 있어 white/black표적을 자동으로 인식한다. 즉 추적게이트의 평균값 Tg_Mean과 배경게이트의 평균값 Bg_Mean의 상대적인 대조에 의해 Tg_Mean이 크면 white표적, 그렇지 않으면 black표적이 되는 것이다. 한편 각 배경게이트의 Mean에 weight를 두어 더하도록 하였다. WUp+WDown+Wleft+WRight의 합은 1이며, 각 게이트의 weight는 도 3에 도시된 프로그램에서와 같이 이전 프레임에서 구한 표적의 이동좌표인 Ch(k-1),Cv(k-1)에 의해 다른 값을 가지게 된다. 이때 상기 도 3에서와 같이 Wmax와 Wmin과 Wmean은 각각 실험적으로 구해도 되고, 혹은 쉽게 아래의 [수학식 3]에서와 같이 구할 수도 있다.

Wmean=1/4, Wmax=3*(1-2*Wmean)/4, Wmin=(1-2*Wmean)/4

표적의 이동방향을 고려한 배경게이트의 Mean과 추적게이트의 Mean을 사용하여, 어떻게 표적영상을 분리하는 경계값을 구하는지를 설명한다. 추적게이트내의 화소밝기중 최대값을 TG_max, 최소값을 TG_min,이라 놓자. 앞서 언급한 것처럼 표적의 Polarity결정은 TG_mean과 BG_mean의 상대적인 비교로부터 쉽게 얻어진다. 즉 TG_mean이 BG_mean보다 크면 표적은 White표적인 것으로 간주하고 반대인 경우는 Black표적인 것으로 한다. 이렇게 하여 White/Black표적을 일단 판단한 후, 이 결과에 따라 영상분할에 사용되는 경계값은 각각 다음과 같이 구할 수 있다.

먼저 White 표적인 경우 즉, TG_mean(k)≥BG_mean(k)인 경우 추적게이트의 크기가 100화소 이상일 때는 아래의 [수학식 4]에서와 같이 경계값이 구해지며,

Thr_Max(k)=Max_Gray_Level

Thr_Min(k)=0.5×(TG_mean(k)+TG_min(k)+BG_mean(k))/3

+0.5×Thr_Min(k-1)

그리고 추적게이트의 크기가 100화소 이내일 때는 아래의 [수학식 5]에서와 같이 경계값이 구해진다.

Thr_Max(k)=Max_Gray_Level

Thr_Min(k)=0.5×(TG_mean(k)+2×TG_min(k)+BG_mean(k))/4

+0.5×Thr_Min(k-1)

다음으로 Black 표적인 경우 즉, TG_mean(k)<BG_mean(k)인 경우 추적게이트의 크기가 100화소 이상일 때는 아래의 [수학식 6]에서와 같이 경계값이 구해지며,

Thr_Max(k)=0.5×(TG_mean(k)+TG_max(k)+BG_mean(k))/3

+0.5×Thr_Min(k-1)

Thr_Min(k)=Min_Gray_Level

그리고 추적게이트의 크기가 100화소 이내일 때는 아래의 [수학식 7]에서와 같이 경계값이 구해진다.

Thr_Max(k)=0.5×(TG_mean(k)+2×TG_max(k)+BG_mean(k))/4

+0.5×Thr_Min(k-1)

Thr_Min(k)=Min_Gray_Level

흑/백상의 표적에 대해 Up/Down 경계값을 주어 각각에 대해 이진화시킨다. 이때, 추적게이트의 크기에 따라 약간의 차이를 둔 것은 추적게이트의 크기가 매우 적을 때에는 표적을 조금 크게 물어줄수 있도록 경계값을 폭넓게 잡아 주기 위함이다.

도 4는 본 발명의 실시 예에 따른 이동물체가 포함된 동영상신호의 표적/배경 분할을 위한 처리 흐름도를 도시한 것이다. 이하 상기 도 2 및 도 4를 참조하여 본 발명의 실시 예를 상세히 설명한다.

먼저 전자광학추적장치는 (400)단계에서 상기 도 2에서 보여지는 바와 같이 화면의 중심에 추적게이트를 설정하고, 상기 추적게이트 주위의 미리 설정된 영역에 상,하,좌,우 방향으로 배경게이트를 설정한다. 이어 전자광학추적장치는 추적게이트내에 표적군을 형성한후, 상기 표적군내 표적의 진행방향을 추적한다. 이때 만일 상기 표적의 진행방향이 상측 배경게이트쪽으로 이동하는 경우 전자광학추적장치는 (402)단계에서 이에 응답하여 (404)단계로 진행해서 상측 배경게이트의 웨이트를 크게하고, 그 반대방향인 하측 배경게이트의 웨이트는 작게한다. 이와 달리 상기 표적의 진행방향이 하측 배경게이트쪽으로 이동하는 경우 전자광한추적장치는상기 표적이 상측으로 이동할 때와는 반대로 (406)단계에서 이에 응답하여 (408)단계로 진행해서 하측 배경게이트의 웨이트를 크게하고, 그 반대방향인 상측 배경게이트의 웨이트는 작게한다.

또한 이때 만일 상기 표적의 진행방향이 좌측 배경게이트쪽으로 이동하는 경우 전자광학추적장치는 (410)단계에서 이에 응답하여 (412)단계로 진행해서 좌측 배경게이트의 웨이트를 크게하고, 그 반대방향인 우측 배경게이트의 웨이트는 작게한다. 이와 달리 상기 표적의 진행방향이 우측 배경게이트쪽으로 이동하는 경우 전자광학추적장치는 (414)단계에서 이에 응답하여 (416)단계로 진행해서 상기 표적이 좌측 배경게이트로 이동할 때와는 반대로 우측 배경게이트의 웨이트를 크게하고, 그 반대방향인 좌측 배경게이트의 웨이트는 작게한다.

따라서 표적의 진행방향에 놓여 있는 배경게이트의 영상분포를 보다 효율적으로 사용할 수 있게 됨에 따라 동표적의 추적이 좀더 정확하게 수행될 수 있게 된다.

상술한 바와 같이 본 발명은 표적의 주변에 배경영역을 설정할 시 표적의 이동방향을 고려하여 각 진행방향에서 새로 들어오는 배경게이트내의 영상신호는 weight를 크게 두고, 반대방향의 배경게이트에는 weight를 작게 두어 배경게이트의 영상분포를 보다 효율적으로 사용함으로써 보다 정확히 표적을 추적할 수 있는 이점이 있다.

Claims

전자광학추적장치에서 이동물체가 포함된 동영상신호의 표적/배경 분할 방법에 있어서,

화면의 중앙에 설정된 추적게이트의 주위에 미리 설정된 영역에 배경게이트를 분할 설정하는 과정과,

추적게이트내에 표적군을 형성하는 과정과,

상기 표적군내 존재하는 표적의 진행방향을 추적하여 상기 진행방향에서 새로 들어오는 배경게이트내의 영상신호는 웨이트를 크게 설정하고, 반대방향의 배경게이트내의 영상신호는 웨이트를 작게 설정하는 과정으로 이루어짐을 특징으로 하는 전자광학추적장치에서 이동물체가 포함된 동영상신호의 표적/배경 분할 방법.