KR100215210B1 - 화상전화기의 대화자 추적장치 및 방법 - Google Patents

Abstract

본 발명은 대화자 즉, 목표물 이동시 목표물을 추적하여 카메라의 방향을 변경하여 주는 대화자 추적장치 및 방법에 관한 것으로, 목표물을 배경으로부터 추출하기 위하여 비교적 높은값의 1차 문턱치와 비교적 낮은값의 2차 문턱치를 설정하여 그 문턱치 사이의 값 중에서 인접하는 화소의 밝기값이 1차 문턱치보다 높은 화소만을 이진화하여 중심점을 찾음으로써 더욱 정밀하게 목표물을 추출할 수 있도록 하는데 목적이 있는 것으로, 이와같은 목적은 디지탈화된 입력 영상의 밝기값에 의해 1차 문턱치 및 2차 문턱치를 설정하는 제 1 과정; 상기 제 1 과정에 의해 설정된 1차 문턱치보다 큰 밝기값을 가지는 입력 영상의 각 화소를 1로 셋팅하는 제 2 과정; 상기 제 2 과정에 의해 1로 셋팅되지 않은 입력 영상의 화소에 대해 2차 문턱치보다 큰 밝기값을 가지며 인접하는 화소중 1차 문턱치 이상의 밝기값을 가지는 화소를 1로 셋팅하여 목표물을 추출하는 제 3 과정; 상기 제 3 과정에 의해 1로 셋팅된 목표물의 중심점을 계산하여 그 중심점에 따라 카메라를 이동시키는 제 4 과정을 포함하여 수행됨으로써 달성된다.

Description

화상전화기의 대화자 추적장치 및 방법

본 발명은 화상 전화기에 있어서, 대화자 즉, 목표물 이동시 목표물을 추적하기 위하여 적외선 영상을 인가받아 이를 디지탈하고, 이 디지탈 영상신호를 비교적 높은 값의 1차 문턱치를 이용하여 1차 이진화를 행한 다음 이후 비교적 낮은 값의 2차 문턱치를 이용하여 2차 이진화를 행하여 정확한 목표물을 검출함으로써 이렇게 검출된 목표물의 중심점을 찾아 카메라의 방향을 변경하여 대화자를 안정적으로 추적할 수 있도록 하는 대화자 추적장치 및 방법에 관한 것이다.

일반적으로 대화자 즉 목표물을 추적하는 기법에는 중심점 추적방법과 상관 추적기법이 있다.

중심점 추적기법은 이동 물체를 배경으로부터 분리한 후 추출된 이동 물체의 중심점을 추적하는 기법이다.

이때 물체, 즉 목표물을 배경과 분리하기 위해 1개의 문턱치를 이용하게 된다.

즉, 1개의 문턱치을 이용하여 문턱치 이상의 밝기값을 가지는 화소에 대해서는 1을 할당하고(목표물), 그렇지 않을 경우에는 0을 할당하여(배경) 배경과 목표물을 이진화함으로써 분리하게 된다.

그러나, 이러한 중심적 추적기법은 잡음에 대한 영향을 많이 받는 단점이 있다.

즉, 영상이 비교적 단순하여 영상 영역화가 용이하고 추적 가능한 물체의 속도에 대한 제약이 비교적 적은 경우에는 추적 안정성이 좋고 잡음의 영향이 적다.

그러나, 반대로 영상이 비교적 복잡하여 영상 영역화가 용이하지 않고 추적 가능한 목표물의 속도에 대한 제약이 비교적 많은 경우에는 추적 안정성이 나쁘고 잡음이 많아진다.

또한, 상관 추적기법은 이전 프레임의 이동 물체, 즉 목표물의 위치에 적당한 크기의 영역을 정의하고, 정의된 영역과 현재 프레임내의 검섹영역과의 상관도를 계산하여 상관도가 가장 높은 영역으로 물체가 이동한 것으로 추정하는 방법이다.

따라서 상관 추적기법은 중심점 추적기법과 같이 영상 영역화 과정을 수행하지 않고 입력되는 현재 프레임의 영상으로부터 직접 상관도를 계산하기 때문에 비교적 복잡한 영상에 대해서도 추적 성능이 유지되지만 계산량이 많아지는 단점이 있다.

중심점 추적기법에 있어서, 1개의 문턱치를 이용하여 입력영상을 이진화하기 때문에 목표물의 밝기 분포가 불규칙한 영상인 경우에는 목표물만을 배경으로부터 추출하기가 어려운 문제점이 발생한다.

따라서, 본 발명은 상기의 문제점을 감안하여 적외선 영상을 인가받아 이를 디지탈화한 다음 비교적 높은값과 비교적 낮은값의 2중의 문턱치를 사용하여 그 문턱치사이의 입력 영상을 이진화함으로써 목표물을 추출하고, 이렇게 추출된 목표물의 중심점을 찾아 카메라의 방향을 변경함으로써 대화자를 안정적으로 추적할 수 있도록 하는 대화자 추적장치 및 방법을 제공하는데 그 목적이 있다.

도 1 은 본 발명에 의한 대화자 추적장치의 구성을 나타낸 블럭도

도 2 는 어느 한 화소에 대한 인접하는 주변 8개의 화소를 나타낸 도

도 3 은 N×M 크기를 갖는 입력 영상의 각 화소들의 밝기값을 3차원 공간상

으로 나타낸 도

도 4 는 본 발명에 의한 2중 문턱치를 3차원 공간상으로 나타낸 도

도 5 는 본 발명 1차 문턱치에 의한 1차 이진화 결과의 일예를 나타낸 도

도 6 은 본 발명 1차 및 2차 문턱치에 의한 이진화 결과의 일예를 나타낸 도

도 7 은 본 발명에 의한 대화자 추적방법을 나타낸 흐름도

도면의 주요 부분에 대한 부호의 설명

100 : 적외선 카메라 110 : 아날로그/디지탈 변환부

120 : 영상신호 저장부 130 : 2중 문턱치 설정부

140 : 1차 이진화부 150 : 2차 이진화부

160 : 중심점 계산부 170 : 씨피유

180 : 모터 구동부

상기의 목적을 달성하기 위해 본 발명에 의한 화상 전화기의 대화자 추적방법은, 디지탈화된 입력 영상의 밝기값에 대해 비교적 높은값의 1차 문턱치 및 비교적 낮은값의 2차 문턱치를 설정하는 제 1 과정; 상기 제 1 과정에 의해 설정된 1차 문턱치보다 큰 밝기값을 가지는 입력 영상의 각 화소를 1로 셋팅하는 제 2 과정; 상기 제 2 과정에 의해 1로 셋팅되지 않은 입력 영상의 화소에 대해 2차 문턱치보다 큰 밝기값을 가지며 인접하는 화소중 1차 문턱치 이상의 밝기값을 가지는 화소를 1로 셋팅하여 목표물을 추출하는 제 3 과정; 상기 제 3 과정에 의해 1로 셋팅된 목표물의 중심점을 계산하여 그 중심점에 따라 카메라를 이동시키는 제 4 과정을 포함하여 수행됨을 특징으로 한다.

또한, 상기의 목적을 달성하기 위해 본 발명에 의한 화상 전화기의 대화자 추적장치는, 카메라(100)로부터 입력되는 영상신호를 디지탈 신호로 변환하는 아날로그/디지탈 변환부(110); 상기 아날로그/디지탈 변환부(110)로부터 출력되는 영상신호를 저장하는 영상신호 저장부(120); 상기 영상신호 저장부(120)로부터 출력되는 영상신호의 밝기값에 대해 비교적 높은값의 1차 문턱치 및 비교적 낮은값의 2차 문턱치를 설정하는 2중 문턱치 설정부(130); 상기 2중 문턱치 설정부(130)에 의해 설정된 1차 문턱치보다 큰 밝기값을 가지는 입력 영상의 각 화소를 1로 셋팅하는 1차 이진화부(140); 상기 1차 이진화부(140)에 의해 1로 셋팅되지 않은 입력 영상의 화소에 대해 2차 문턱치보다 큰 밝기값을 가지며 인접하는 화소중 1차 문턱치 이상의 밝기값을 가지는 화소를 1로 셋팅하여 목표물을 추출하는 2차 이진화부(150); 상기 2차 이진화부(150)에 의해 추출된 목표믈의 중심점을 구하는 중심점 계산부(160); 상기 중심점 계산부(160)로부터 출력되는 중심점 계산 결과에 따라 모터 구동부(170)를 제어하는 씨피유(170)와, 상기 씨피유(170)의 제어신호에 의해 상기 카메라(100)의 방향을 조절하는 모터 구동부(180)를 포함하여 구성됨을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

먼저, 사용자가 목표물 추적모드를 선택하면 씨피유(170)는 아날로그/디지탈 변환부(110) 및 영상신호 저장부(120)를 온시키게 되며(ST100), 이때, 상기 아날로그/디지탈 변환부(110)는 적외선 카메라(100)로부터 초기 한 프레임의 적외선 입력영상을 인가받는다.

이렇게 인가된 아날로그/디지탈 변환부(110)에 의해 디지탈 신호로 변환되어 2차원 행렬상에서 지정된 범위내의 값을 가지는 디지탈 영상신호가 되며, 이렇게 변환된 영상신호는 영상신호 저장부(120)에 의해 저장되는데, 이 영상신호 저장부(120)는 영상을 저장하기에 적합한 VRAM(Video RAM)을 사용하는 것이 바람직하다(ST110).

또한, 적외선 카메라를 이용한 적외선 영상을 사용하는 이유는 배경과 목표물사이의 윤곽부분의 신호가 애매모호한 단점이 있으나 배경으로부터 목표물의 추출이 용이하기 때문이다.

상기 영상신호 저장부(120)에 저장된 영상 신호는 2차원 행렬에 0에서 255까지의 밝기값이 할당된 형태이다.

x와 y는 디지탈 영상에서의 수평 및 수직 좌표로서 본 발명에서는 도 3A에 도시한 바와같이 N과 M의 값을 갖는다고 가정한다.

여기서 도 3B는 N×M 크기의 디지탈 영상내에 각 화소의 밝기값의 크기를 3차원 공간상에 일예를 들어 표현한 것이다.

이러한 각 밝기값의 크기를 갖는 영상신호는 2중 문턱치 설정부(130)에 인가되어 비교적 높은 값의 1차 문턱치와 1차 문턱치보다 낮은 값의 2차 문턱치 즉, 2중 문턱치가 설정되는데, 이러한 문턱치는 다음 식 [1]과 [2]에 의하여 설정된다(ST120).

[식1]

1차 문턱치(T1) = 입력영상 밝기값의 평균 + 표준편차

[식2]

2차 문턱치(T2) = 입력영상 밝기값의 평균

그러므로, 1차 문턱치(T1)는 1프레임내의 각 화소들의 평균 밝기값과 각 화소들의 표준편차(Standard Deviation)를 더한값이 되며, 2차 문턱치(T2)는 밝기값의 평균 그 자체가 된다.

이의 입력영상 밝기값의 평균과 표준편차는 다음 식 [3]과 [4]에 의하여 정의된다.

[식3]

입력영상 밝기값의 평균 =

[식4]

표준편차 =

따라서, 입력영상 밝기값의 평균은 한 프레임내의 각 화소의 밝기값을 모두 더한 값을 전체 화소의 갯수로 나눔으로써 구하게 되며, 표준편차는 한 프레임내의 하나하나의 화소값에서 입력영상 밝기값의 평균을 뺀값에 절대값을 취하여 모두 더한 다음 전체화소의 갯수로 나눔으로써 구해지게 된다.

결국, 도 4에 도시한 바와같이 1차 문턱치는 평균 밝기값에 비해 상당히 높은값이 되며, 2차 문턱치는 1차 문턱치보다 낮은 입력영상 밝기값의 평균치가 되는 것이다.

이렇게 2중 문턱치 설정부(130)에 의해 한 프레임내에서의 1차 및 2차 문턱치(T1,T2)가 설정되면, 1차 이진화부(140)는 1차 문턱치(T1) 이상의 밝기값을 갖는 입력영상의 화소값 I(x,y)에 대해서만 1을 셋팅하게 되는데 이를 수식으로 나타내면 식 [5]와 같이 표현할 수 있다.

[식5]

I(x,y) = ┌ if I(x,y) T1, 1

└ else, I(x,y)

이는, 도 5A에 도시한 바와같이 1차 문턱치(T1)보다 높은 밝기값을 가지는 화소값에 대해서 1을 셋팅하고(빗금친 부분), 그외의 경우(여백부분) 즉, 1차 문턱치(T1)보다 낮은 값을 가지는 화소에 대해서는 그 밝기값을 그대로 유지하도록 하는 것이다(ST130).

도 5B는 도 5A에 도시된 3차원 공간상의 1차 문턱치(T1)에 의한 1차 이진화 결과를 2차원으로 표현한 것이다.

이렇게 입력영상의 밝기정보중 1차 문턱치(T1) 이상이 되는 화소가 1차 이진화부(140)에 의해 이진화를 거치고 나면 이후에 수행되는 2차 이진화 과정에서는 필요가 없으므로 영상신호 저장부(120)에 따로 저장하여 놓고, 1차 문턱치(T1) 이하가 되는 화소의 밝기값은 2차 이진화 과정에서 필요로 하므로 보존하여 놓는다.

이렇게 보존된 1차 문턱치(T1) 이하가 되는 화소의 밝기값은 2차 이진화부(150)에 인가되어 2중 문턱치 설정부(130)에 의해 기 설정되어 있는 2차 문턱치(T2)에 의해 재차 이진화가 행해지게 되는데, 이는 1차 문턱치(T1) 이하가 되는 화소의 밝기값중에서 2차 문턱치(T2) 이상이 되는 화소의 밝기값을 추출함으로써 1차 문턱치(T1)에 의해 이진화된 결과를 토대로 이를 이진화하여 목표물로 추정하게 되는 것이다.

이를 수식으로 나타내면 다음 식 [6]과 같이 표현할 수 있다.

[식6]

I(x,y) = ┌ if I(x,y) T2이고 주위 8개의 화소중 1인 화소가 있는 경우, 1

└ else, 0

이는 곧 도 6A에 도시한 바와같이 한 프레임의 영상신호중 x,y의 좌표를 갖는 어느 한 화소의 밝기값이 2차 문턱치(T2)보다 큰가를 검색한다(이때 화소의 밝기값은 1차 문턱치(T1)보다 작은 값이 된다).

어느 한 화소의 밝기값이 2차 문턱치(T2)보다 큰 값이라고 판단되면, 이후 영상신호 저장부(120)에 저장된 1차 이진화의 결과를 읽어들여 2차 문턱치(T2)보다 큰 밝기값을 갖는 화소에 마스킹(masking)하여 도 2에 도시한 바와같이 X로 표시된 인접하는 주위의 8개의 화소중에서 그 밝기값이 1인 화소 즉, 1차 문턱치(T1)에 의한 이진화 결과가 있는가를 검색하여 1인 화소가 있는 경우에만 2차 문턱치(T2) 이상의 밝기값을 갖는 화소를 1로 셋팅한다.

즉, 2차 이진화부(150)에 의한 이진화과정에서 2차 문턱치(T2) 이상의 값을 가지고 또한 주변의 인접하는 8개의 화소중에서 1차 문턱치(T1) 이상의 값을 가지는 화소가 있는 경우에만 1로 셋팅하고 그외의 경우에는 0으로 셋팅하여 도 6B에 도시한 바와같이 이진화함으로써 목표물을 배경으로부터 추출하게 된다(ST140).

이후 상기 2차 이진화부(150)에 의해 분리된 목표물에 대한 이진 데이타는 중심점 계산부(160)로 입력되어 다음 식 [7]과 식 [8]에 의해 목표물의 중심점이 계산된다(ST150).

[식7]

x 중심점 =

[식8]

y 중심점 =

여기서 N은 I(x,y)가 1인 화소의 갯수이다.

즉, 입력영상의 2차 이진화된 결과값 I(x,y)의 x축의 1인 결과값을 모두 더해 이를 N으로 나누어 x축의 중심점을 찾아내고, y축의 1인 결과값을 모두 더해 이를 N으로 나누어 y축의 중심점을 찾아내어 이의 x축 중심점과 y축 중심점이 일치하는 지점을 목표물의 중심점으로 하게 된다.

이렇게 상기 중심점 계산부(170)로부터 계산된 목표물의 중심점에 대한 결과값을 씨피유(170)에서 인가받아 모터 구동부(180)로 하여금 묵표물의 중심점으로 적외선 카메라(100)의 방향이 위치하도록 제어함으로써 적외선 카메라(100)는 목표물을 추적하게 되는 것이다(ST160).

이와같은 동작을 통해 카메라(100)의 방향을 목표물의 위치에 따라 변화시켜 카메라(100)가 목표물을 추적할 수 있도록 하며, 이러한 과정은 소정시간마다 한번씩(예를들어 1초에 10회정도)만 수행하더라도 목표물을 추적할 수 있게된다.

이상에서 설명한 바와같이 본 발명에 의한 화상전화기의 목표물 추적장치 및 방법은 목표물을 배경으로부터 추출하기 위하여 비교적 높은값의 1차 문턱치와 비교적 낮은값의 2차 문턱치를 설정하여 그 문턱치 사이의 값 중에서 인접하는 화소의 밝기값이 1차 문턱치보다 높은 화소만을 이진화하여 중심점을 찾음으로써 더욱 정밀하게 목표물을 추출할 수 있어 추적 성능을 향상시키는 효과가 있다.

Claims (8)

1. 디지탈화된 입력 영상의 밝기값에 의해 1차 문턱치 및 2차 문턱치를 설정하는 제 1 과정;

   상기 제 1 과정에 의해 설정된 1차 문턱치보다 큰 밝기값을 가지는 입력 영상의 각 화소를 1로 셋팅하는 제 2 과정;

   상기 제 2 과정에 의해 1로 셋팅되지 않은 입력 영상의 화소에 대해 2차 문턱치보다 큰 밝기값을 가지며 인접하는 화소중 1차 문턱치 이상의 밝기값을 가지는 화소를 1로 셋팅하여 목표물을 추출하는 제 3 과정;

   상기 제 3 과정에 의해 1로 셋팅된 목표물의 중심점을 계산하여 그 중심점에 따라 카메라를 이동시키는 제 4 과정을 포함하여 수행됨을 특징으로 화상 전화기의 대화자 추적방법.
2. 제 1 항에 있어서, 1차 문턱치는 한 프레임의 입력영상 각 화소 밝기값의 평균치에 표준편차를 더한값임을 특징으로 하는 화상 전화기의 대화자 추적방법.
3. 제 1 항에 있어서, 2차 문턱치는 한 프레임의 각 화소 밝기값의 평균치임을 특징으로 하는 화상 전화기의 대화자 추적방법.
4. 제 2 항에 있어서, 표준편차는 한 프레임내의 각 화소값에서 입력영상 밝기값의 평균을 뺀값에 절대값을 취하여 모두 더한 다음 이를 전체화소의 갯수로 나눔으로써 구해지는 것을 특징으로 하는 화상 전화기의 대화자 추적방법.
5. 카메라로부터 입력되는 영상신호를 디지탈 신호로 변환하는 아날로그/디지탈 변환수단;

   상기 아날로그/디지탈 변환수단으로부터 출력되는 영상신호를 한 프레임 단위로 저장하는 영상신호 저장수단;

   상기 영상신호 저장수단으로부터 출력되는 영상신호의 밝기값에 의해 1차 문턱치 및 2차 문턱치를 설정하는 2중 문턱치 설정수단;

   상기 2중 문턱치 설정수단에 의해 설정된 1차 문턱치보다 큰 밝기값을 가지는 입력 영상의 각 화소를 1로 셋팅하는 1차 이진화수단;

   상기 1차 이진화수단에 의해 1로 셋팅되지 않은 입력 영상의 화소에 대해 2차 문턱치보다 큰 밝기값을 가지며 인접하는 화소중 1차 문턱치 이상의 밝기값을 가지는 화소를 1로 셋팅하여 목표물을 추출하는 2차 이진화수단;

   상기 2차 이진화수단에 의해 추출된 목표믈의 중심점을 구하는 중심점 계산수단;

   상기 중심점 계산수단로부터 출력되는 중심점 계산 결과에 따라 모터 구동수단을 제어하는 씨피유;

   상기 씨피유의 제어신호에 의해 상기 카메라의 방향을 조절하는 모터 구동수단을 포함하여 구성됨을 특징으로 하는 화상 전화기의 대화자 추적장치.
6. 제 5 항에 있어서, 1차 문턱치는 한 프레임의 입력영상 각 화소 밝기값의 평균치에 표준편차를 더한값임을 특징으로 하는 화상 전화기의 대화자 추적장치.
7. 제 5 항에 있어서, 2차 문턱치는 한 프레임의 각 화소 밝기값의 평균치임을 특징으로 하는 화상 전화기의 대화자 추적장치.
8. 제 6 항에 있어서, 표준편차는 한 프레임내의 각 화소값에서 입력영상 밝기값의 평균을 뺀값에 절대값을 취하여 모두 더한 다음 이를 전체화소의 갯수로 나눔으로써 구해지는 것을 특징으로 하는 화상 전화기의 대화자 추적장치.