KR100215209B1 - 화상전화기의 목표물 추적장치 및 방법 - Google Patents

Abstract

본 발명은 화상 전화기에 있어서, 목표물 이동시 목표물을 추적하기 위하여 디지탈화된 영상을 인가받아 2중의 문턱치를 이용하여 보다 견실하게 목표물의 에지화소를 추출한 다음 이의 중심점을 찾아 카메라의 방향을 변경함으로써 목표물을 안정적으로 추적할 수 있도록 하는 목표물 추적장치 및 방법을 제공하는데 그 목적이 있는 것으로, 이와같은 목적은, 입력 영상으로부터 구해진 미분값의 크기를 기 설정된 1차 문턱치와 비교하여 미분값의 크기가 1차 문턱치보다 크다면 에지화소로 판단하고, 미분값의 크기가 1차 문턱치보다 작다면 2차 문턱치와 미분값의 크기를 비교하는 과정; 미분값의 크기가 2차문턱치보다 작다면 에지화소가 아닌것으로 판단하고, 미분값의 크기가 2차 문턱치보다 크다면 주위 화소중 에지인 화소가 있는가를 판단하는 과정; 주위화소중 에지인 화소가 있다면 이를 에지화소로 판단하고 그렇지 않다면 에지화소가 아닌것으로 판단하는 과정; 에지로 판단된 화소만을 1로 셋팅한 다음 1로 셋팅된 에지화소의 내부화소를 1로 셋팅하여 배경으로부터 목표물만을 추출하는 과정; 추출된 목표물의 중심점을 구하여 카메라의 방향을 변경시킴으로써 목표물을 추적하는 과정을 포함하여 수행됨으로써 달성된다.

Description

화상전화기의 목표물 추적장치 및 방법

본 발명은 화상 전화기에 있어서, 목표물 이동시 목표물을 추적하기 위하여 디지탈화된 영상을 인가받아 이를 수직 및 수평으로 미분하여 그 크기를 구한 다음 2중 문턱치를 이용하여 보다 견실하게 목표물의 에지화소를 추출하고, 그 에지화소의 내부를 1로 셋팅함으로써 목표물만을 배경으로부터 분리하여 이 목표물의 중심점을 향해 카메라의 방향을 변경하도록 함으로써 목표물을 안정적으로 추적할 수 있도록 하는 목표물 추적장치 및 방법에 관한 것이다.

일반적으로 목표물을 추적하는 기법에는 중심점 추적기법과 상관 추적기법이 있다.

중심점 추적기법은 이동 목표물을 배경으로부터 분리한 후 추출된 이동 목표물의 중심점을 추적하는 기법이다.

이때 목표물을 배경과 분리하기 위해 1개의 문턱치를 이용하게 된다.

즉, 1개의 문턱치을 이용하여 배경과 목표물을 이진화(예를들어 배경은 0을 할당하고 목표물은 1을 할당)함으로써 배경으로부터 목표물만을 분리하여 추출하게 된다.

이렇게 목표물이 추출되면 이의 중심점을 구하여 카메라의 방향을 중심점의 이동 방향에 따라 즉 목표물의 이동 방향에 따라 변경함으로써 목표물을 추적하게 된다.

한편, 상관 추적기법은 이전 프레임의 이동 목표물의 위치에 적당한 크기의 영역을 정의하고, 정의된 영역과 현재 프레임내의 검색영역과의 상관도를 계산하여 상관도가 가장 높은 영역으로 목표물이 이동한 것으로 추정하여 카메라의 방향을 변경하는 방법이다.

그러나, 이러한 중심적 추적기법은 잡음에 대한 영향을 많이 받는 단점이 있다.

즉, 영상이 비교적 단순하여 영상 영역화가 용이하고 추적 가능한 목표물의 속도에 대한 제약이 비교적 적은 경우에는 추적 안정성이 좋고 잡음의 영향이 적으나, 반대로 영상이 비교적 복잡하여 영상 영역화가 용이하지 않고 추적 가능한 목표물의 속도에 대한 제약이 비교적 많은 경우에는 추적 안정성이 나쁘고 잡음이 많아진다.

또한, 상관 추적기법은 중심점 추적기법과 같이 영상 영역화 과정을 수행하지 않고 입력되는 현재 프레임의 영상으로부터 직접 상관도를 계산하기 때문에 비교적 복잡한 영상에 대해서도 추적 성능이 유지되지만 반면에 정의된 영역의 상관도를 추정하기 위한 계산량이 많아지는 단점이 있다.

따라서, 본 발명은 상기의 단점을 개선하기 위하여 디지탈화된 영상을 인가받아 비교적 높은 값을 갖는 문턱치와 비교적 낮은 값을 갖는 문턱치 즉, 2중의 문턱치를 이용하여 보다 견실하게 목표물의 에지화소를 추출한 다음 이 에지화소로 둘러싸인 목표물의 내부에 1을 할당하여 목표물을 배경으로부터 분리하고 이의 중심점을 찾아 카메라의 방향을 변경함으로써 목표물을 안정적으로 추적할 수 있도록 하는 목표물 추적장치 및 방법을 제공하는데 그 목적이 있다.

도 1 은 본 발명 화상전화기의 목표물 추적장치를 나타낸 블럭도.

도 2 는 도 1의 에지 추출부의 상세 블럭도.

도 3a 는 본 발명에 의거 에지화소를 판단하기 위하여 밝기값의 크기에 따른

2중 문턱치를 나타낸 도.

도 3b 는 목표물의 내부와 외부의 어느 한 위치의 화소중 주위 에지화소의

존재여부를 설명하기 위한 도.

도 3c 는 에지화소에 대하여 8비트로 정의된 8가지 방향을 나타낸 예시도.

도 4 는 본 발명 화상전화기의 목표물 추적방법을 나타낸 흐름도.

도면의 주요부분에 대한 부호의 설명

100 : 카메라 110 : 아날로그/디지탈 변환부

120 : 입력영상 저장부 130 : 에지 추출부

131 : 미분부 122,123 : 비교부

124 : 주위화소 검색부 125 : 에지 판단부

140 : 목표물 내부 추출부 150 : 중심점 계산부

160 : 씨피유 170 : 모터 구동부

상기의 목적을 달성하기 위해 본 발명에 의한 화상 전화기의 목표물 추적방법은 도 4 에 도시한 바와같이, 디지탈화된 입력 영상을 수평 및 수직 미분하여 미분값의 크기를 계산하는 제 1 과정; 상기 제 1 과정에 의해 구해진 미분값의 크기를 기 설정된 1차 문턱치와 비교하여 미분값의 크기가 1차 문턱치보다 크다면 에지화소로 판단하고, 미분값의 크기가 1차 문턱치보다 작다면 2차 문턱치와 미분값의 크기를 비교하는 제 2 과정; 상기 제 2 과정에 의하여 미분값의 크기가 2차문턱치보다 작다면 에지화소가 아닌것으로 판단하고, 미분값의 크기가 2차 문턱치보다 크다면 주위 화소중 에지인 화소가 있는가를 판단하는 제 3 과정; 상기 제 3 과정에 의한 판단결과 주위화소중 에지인 화소가 있다면 이를 에지화소로 판단하고 그렇지 않다면 에지화소가 아닌것으로 판단하는 제 4 과정; 상기 제 4 과정에 의하여 에지로 판단된 화소만을 1로 셋팅한 다음 1로 셋팅된 에지화소의 내부화소를 1로 셋팅하여 배경으로부터 목표물만을 추출하는 제 5 과정; 상기 제 5 과정에 의하여 추출된 목표물의 중심점을 구하여 카메라의 방향을 변경시킴으로써 목표물을 추적하는 제 6 과정을 포함하여 수행됨을 특징으로 한다.

또한, 상기의 목적을 달성하기 위해 본 발명에 의한 화상 전화기의 목표물 추적장치는 도 1에 도시한 바와같이, 카메라(100)로부터 입력되는 영상신호를 디지탈 신호로 변환하는 아날로그/디지탈 변환부(110); 상기 아날로그/디지탈 변환부(110)로부터 출력되는 영상신호를 저장하는 입력영상 저장부(120); 상기 입력영상 저장부(120)로부터 출력되는 한 프레임의 영상신호의 각 화소당 미분값의 크기를 구한 다음 이를 1차 문턱치 및 2차 문턱치와 비교하여 목표물의 에지를 추출하는 에지 추출부(130); 상기 에지 추출부(130)에 의해 추출된 에지화소를 인가받아 이의 에지화소 내부의 화소에 레지스터 값을 할당하여 목표물 내부만을 추출하는 목표물 내부 추출부(140); 상기 목표물 내부 추출부(140)로부터 추출된 목표물의 레지스터 값을 인가받아 목표물의 중심점을 구하는 중심점 계산부(150); 상기 중심점 계산부(150)에 의해 계산된 중심점의 값을 인가받아 이의 중심점 이동에 따른 제어신호를 출력하는 씨피유(160); 상기 씨피유(160)의 제어신호에 따라 모터를 구동하여 카메라(100)의 방향을 변경하는 모터 구동부(170)를 포함하여 구성됨을 특징으로 한다.

한편, 상기 에지 추출부(130)는 도 2에 도시한 바와같이, 입력되는 영상을 수평 및 수직 미분하여 각 화소당 미분값의 크기를 구하는 미분부(131); 상기 미분부(131)로부터 출력되는 미분값의 크기를 인가받아 이를 1차 문턱치(T1)와 비교하여 미분값의 크기가 더 크면 1을 출력하고 작으면 0을 출력하는 제 1 비교부(132); 상기 제 1 비교부(132)로부터 0이 출력되는 경우 상기 미분부(131)로부터 출력되는 미분값의 크기를 인가받아 이르 2차 문턱치(T2)와 비교하여 미분값의 크기가 더 크면 1을 출력하고 작으면 0을 출력하는 제 2 비교부(133); 상기 제 2 비교부(133)로부터 1이 출력되면 해당화소에 인접하는 주위화소중 에지인 화소가 있는가를 검색하는 주위화소 검색부(134); 상기 제 1 비교부(132)로부터 출력되는 결과가 1이거나 또는 주위화소 검색부(134)로부터 출력되는 결과가 주위화소중 에지인 화소가 있다고 판단되면 이에 해당화소를 에지로 판단하고, 상기 제 2 비교부(133)로부터 0이 출력되면 해당화소가 에지가 아니라고 판단하는 에지 판단부(135)로 구성함을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다. 먼저 목표물 추적 모드에서 카메라(100)로부터 초기 한 프레임의 적외선 입력영상이 출력되면 그 영상신호는 온되어 있는 아날로그/디지탈 변환부(110)에 의해 디지탈 신호로 변환되어 2차원 행렬상에서 지정된 범위내의 값을 가지는 디지탈 영상신호가 되며, 이렇게 변환된 1프레임의 영상신호는 영상 저장부(120)에 의해 저장되는데, 이 영상 저장부(120)는 영상을 저장하기에 적합한 VRAM(Video RAM)을 사용하는 것이 바람직하다(ST1,ST2)

상기 영상 저장부(120)가 1프레임의 영상신호를 모두 입력받게 되면 씨피유(170)는 상기 아날로그/디지탈 변환부(110)를 오프시켜 영상 저장부(120)에 저장되는 입력 영상을 변하지 않게 하여야 한다.

상기 영상 저장부(120)에 저장된 영상 신호는 2차원 행렬 I(x,y)에 밝기값이 할당된 형태이며, 이러한 영상신호는 에지 추출부(130)에 인가되어 목표물의 에지가 추출되는데, 이의 세부 동작을 도 2 를 참조하여 좀 더 상세히 설명한다.

입력영상 저장부(120)로부터 출력되는 영상신호는 미분부(131)에 인가되어 다음 식 [1]과 [2]에 의하여 수평 및 수직 미분이 행해진다(ST3).

[식1]

수평미분(h) = I(x-1,y-1)+I(x-1,y)+I(x-1,y+1)-I(x+1,y-1)-I(x+1,y)-I(x+1,y+1)

[식2]

수직미분(v) = I(x-1,y-1)+I(x,y-1)+I(x+1,y-1)-I(x-1,y+1)-I(x,y+1)-I(x+1,y+1)

즉, 수평미분(h)은 기준화소(x,y)를 중심으로 하여 좌측에 위치한 화소의 밝기값(I(x-1,y-1),I(x-1,y),I(x-1,y+1))과 우측에 위치한 화소의 밝기값(I(x+1,y-1),I(x+1,y),I(x+1,y+1))의 차를 구하므로써 이루어지고, 수직미분(v)은 기준화소(x,y)를 중심으로 하여 상측에 위치한 화소의 밝기값(I(x-1,y-1), I(x,y-1),I(x+1,y-1))과 하측에 위치한 화소의 밝기값(I(x-1,y+1),I(x,y+1), I(x+1,y+1))의 차를 구하므로써 이루어진다.

이는 즉, 다음 식 [3]과 [4]에 도시한 바와같은 3×3형태의 윈도우 마스크를 가지고 각 화소에 대해 마스킹을 행함으로써 미분값이 계산된다는 것이다.

[식3]

[식4]

따라서, 위의 식 [1]에 도시한 바와같이 수평미분을 수행하여 수평미분값(h)을 계산하고, 위의 식 [2]에 도시한 바와같이 수직미분을 수행하여 수직미분값(v)을 계산한 후 이들 미분값(h,v)의 크기((h²+v²)^1/2)를 계산한다(ST4).

즉, 수평 및 수직 미분값(h,v)을 각각 제곱한 후 다시 제곱근을 취해 미분값의 크기((h²+v²)^1/2)를 계산한다.

상기에서 계산된 미분값의 크기((h²+v²)^1/2)는 제 1 비교부(132)로 입력되어 비교적 높게 설정된 1차 문턱치(T1)와 비교되는데, 이때 미분값의 크기((h²+v²)^1/2)가 1차 문턱치(T1)보다 크다면 1이 출력되고, 반면에 크지 않다면 0이 출력된다(ST5).

이렇게 제 1 비교부(132)에 의한 비교결과가 1인 경우 이 값은 에지 판단부(135)로 입력되어 도 3a에 도시한 바와같이 현재의 화소가 에지라고 판단하게 되어 해당화소를 1로 셋팅하게 되며(ST10), 반면에 비교결과값이 0인 경우에는 상기 미분부(131)로부터 출력되는 미분값의 크기((h²+v²)^1/2)를 제 2 비교부(133)에서 인가받아 상기 1차 문턱치(T1)보다 비교적 낮게 설정된 2차 문턱치(T2)와 비교하게 된다(ST6).

상기 제 2 비교부(133)는 미분값의 크기((h²+v²)^1/2)와 2차 문턱치(T2)를 비교하여 미분값의 크기((h²+v²)^1/2)가 2차 문턱치(T2)보다 크다면 1을 출력하고, 그렇지 않을 경우 즉 작은 경우에는 0을 출력하게 된다.

상기 제 2 비교부(133)의 출력이 만일 0이라면 이의 결과는 에지 판단부(135)로 인가되어 도 3에 도시한 바와같이 에지가 아니라고 판단하게 된다(ST8).

이를 식으로 나타내면 식 [5]와 같이 나타낼 수 있다.

[식5]

I(x,y) = ┌ edge, if (h²+v²)^1/2) T1,

└ no edge if (h²+v²)^1/2) T2

그러나, 제 2 비교부(133)의 출력이 1이라면 즉, 현재의 화소값이 1차 문턱치(T1)보다 작고 2차 문턱치(t2)보다 커서 1차 및 2차 문턱치 사이에 위치하는 경우에는 주위화소 검색부(134)에서는 상기 제 2 비교부(133)의 출력을 인가받아 도 3c에 도시한 바와같이 주위에 인접하는 8가지 방향(1000 0000(↑), 0100 0000(↗), 0010 0000(→), 0001 0000(↘), 0000 1000(↓), 0000 0100(↙), 0000 0010(←), 0000 0001(↖))의 주위화소를 검색하여 에지인 화소가 있는가를 검색하게 된다(ST7).

이때 주위화소중 에지인 화소가 하나라고 있다고 판단되면 에지 판단부(135)는 이의 화소가 에지라고 판단하여 해당 레지스터를 1로 셋팅하게 된다(ST9,ST10).

이와같은 미분값의 크기와 문턱치 비교과정은 한 프레임의 영상신호의 각 화소에 대해 수행하여 모든 에지 화소들을 추출해낸다.

이와같이 에지 추출부(130)에 의해 목표물의 에지가 추출되면 목표물 내부 추출부(140)에서는 입력영상의 한 화소당 1개의 레지스터를 설정한 다음 그 값을 0으로 클리어한다.

이후 한 화소에 대해 도 3c에 도시한 바와같이 주위의 8가지 방향으로 이동시키면서 에지화소와 만나는지에 대한 여부를 검색하게 되는데,도 3b에 도시한 A의 위치에서는 0001 0000(↘)의 방향에서만 목표물의 에지화소가 존재하므로 목표물 내부가 아닌것으로 판단하여 그 레지스터에 0을 할당하고, 반면에 B의 위치에서는 모든방향 즉, (1000 0000(↑), 0100 0000(↗), 0010 0000(→), 0001 0000(↘), 0000 1000(↓), 0000 0100(↙), 0000 0010(←), 0000 0001(↖))에 대해 에지가 존재하므로 목표물의 내부라고 판단하여 1을 할당하게 된다(ST11).

이러한 과정으로 목표물 내부에 레지스터값 1을 셋팅함으로써 목표물만을 추출하게 되는 것이다.

이와같이 에지화소 내부 전체 즉 목표물에 대하여 레지스터의 값이 셋팅되면, 중심점 계산부(150)는 이를 읽어들여 다음 식 [6]과 식 [7]에 의해 목표물의 중심점이 계산된다(ST12).

[식6]

[식7]

여기서은가 1인 화소의 갯수이다.

이렇게 상기 중심점 게산부(150)로부터 게산된 목표물의 중심점은 씨피유(160)로 입력되어 모터 구동부(170)를 제어하는 제어신호를 생성함과 아울러 아날로그/디지탈 변환부(110)를 온시켜 새로운 영상을 입력받을 수 있게한다.

또한, 상기 모터 구동부(170)는 씨피유(160)로부터 출력되는 제어신호에 의해 목표물을 추적할 수 있도록 카메라(100)의 방향을 변경시킨다(ST13).

이와같은 동작을 통해 카메라(100)의 방향을 목표물의 위치에 따라 변화시켜 카메라(100)가 목표물을 추적할 수 있도록 하며, 이러한 과정은 소정시간마다 한번씩(예를들어 1초에 10회정도)만 수행하더라도 목표물을 추적할 수 있게된다.

이상에서 설명한 바와같이 본 발명에 의한 화상전화기의 목표물 추적장치 및 방법은, 입력영상으로부터 에지화소를 추출하는데 있어서 2중의 문턱치를 사용하여 보다 견실하게 에지화소를 추출한 다음 이를 이용하여 중심점을 계산하여 목표물을 추적함으로써 목표물의 추적 성능을 향상시키는 효과가 있다.

Claims (5)

1. 디지탈화된 입력 영상을 수평 및 수직 미분하여 미분값의 크기를 계산하는 제 1 과정;

   상기 제 1 과정에 의해 구해진 미분값의 크기를 기 설정된 1차 문턱치와 비교하여 미분값의 크기가 1차 문턱치보다 크다면 에지화소로 판단하고, 미분값의 크기가 1차 문턱치보다 작다면 2차 문턱치와 미분값의 크기를 비교하는 제 2 과정;

   상기 제 2 과정에 의하여 미분값의 크기가 2차 문턱치보다 작다면 에지화소가 아닌것으로 판단하고, 미분값의 크기가 2차 문턱치보다 크다면 주위 화소중 에지인 화소가 있는가를 판단하는 제 3 과정;

   상기 제 3 과정에 의한 판단결과 주위화소중 에지인 화소가 있다면 이를 에지화소로 판단하고 그렇지 않다면 에지화소가 아닌것으로 판단하는 제 4 과정;

   상기 제 4 과정에 의하여 에지로 판단된 화소만을 1로 셋팅한 다음 1로 셋팅된 에지화소의 내부화소를 1로 셋팅하여 배경으로부터 목표물만을 추출하는 제 5 과정;

   상기 제 5 과정에 의하여 추출된 목표물의 중심점을 구하여 카메라의 방향을 변경시킴으로써 목표물을 추적하는 제 6 과정을 포함하여 수행됨을 특징으로 하는 화상 전화기의 목표물 추적방법.
2. 제 1 항에 있어서, 1차 문턱치는 2차 문턱치보다 큰 값으로 설정됨을 특징으로 하는 화상 전화기의 목표물 추적방법.
3. 카메라로부터 입력되는 영상신호를 디지탈 신호로 변환하는 아날로그/디지탈 변환부;

   상기 아날로그/디지탈 변환부로부터 출력되는 영상신호를 저장하는 입력영상 저장부;

   상기 입력영상 저장부로부터 출력되는 한 프레임의 영상신호의 각 화소당 미분값의 크기를 구한 다음 이를 1차 문턱치 및 2차 문턱치와 비교하여 목표물의 에지를 추출하는 에지 추출부;

   상기 에지 추출부에 의해 추출된 에지화소를 인가받아 이의 에지화소 내부의 화소에 레지스터 값을 할당하여 목표물 내부만을 추출하는 목표물 내부 추출부;

   상기 목표물 내부 추출부로부터 추출된 목표물의 레지스터 값을 인가받아 목표물의 중심점을 구하는 중심점 계산부;

   상기 중심점 계산부에 의해 계산된 중심점의 값을 인가받아 이의 중심점 이동에 따른 제어신호를 출력하는 씨피유;

   상기 씨피유의 제어신호에 따라 모터를 구동하여 카메라의 방향을 변경하는 모터 구동부를 포함하여 구성됨을 특징으로 하는 화상 전화기의 목표물 추적장치.
4. 제 3 항에 있어서, 에지 추출부는 입력되는 영상을 수평 및 수직 미분하여 각 화소당 미분값의 크기를 구하는 미분부;

   상기 미분부로부터 출력되는 미분값의 크기를 인가받아 이를 1차 문턱치와 비교하여 미분값의 크기가 더 크면 1을 출력하고 작으면 0을 출력하는 제 1 비교부;

   상기 제 1 비교부로부터 0이 출력되는 경우 상기 미분부로부터 출력되는 미분값의 크기를 인가받아 이르 2차 문턱치와 비교하여 미분값의 크기가 더 크면 1을 출력하고 작으면 0을 출력하는 제 2 비교부;

   상기 제 2 비교부로부터 1이 출력되면 해당화소에 인접하는 주위화소중 에지인 화소가 있는가를 검색하는 주위화소 검색부;

   상기 제 1 비교부로부터 출력되는 결과가 1이거나 또는 주위화소 검색부로부터 출력되는 결과가 주위화소중 에지인 화소가 있다고 판단되면 이에 해당화소를 에지로 판단하고, 상기 제 2 비교부로부터 0이 출력되면 해당화소가 에지가 아니라고 판단하는 에지 판단부로 구성함을 특징으로 하는 화상 전화기의 목표물 추적장치.
5. 제 3 항 또는 제 4 항에 있어서, 1차 문턱치는 2차 문턱치보다 큰 값으로 설정됨을 특징으로 하는 화상 전화기의 목표물 추적장치.