KR19980023003A

KR19980023003A - 화상 전화기의 대화자 추적 방법 및 장치

Info

Publication number: KR19980023003A
Application number: KR1019960042346A
Authority: KR
Inventors: 정성학
Original assignee: 배순훈; 대우전자 주식회사
Priority date: 1996-09-25
Filing date: 1996-09-25
Publication date: 1998-07-06
Also published as: KR100215205B1

Abstract

본 발명은 적외선 카메라를 이용한 화상 전화기에 있어서, 입력 영상을 필터링하여 추출한 경계 화소에 따라 배경과 대화자를 분리하고 중심점 추적을 통해 카메라를 이동시켜 대화자를 추적하는 대화자 추적 방법 및 장치에 관한 것이다.

본 발명은 추적 모드에서 입력되는 적외선 영상 신호의 필터링을 통해 추출된 경계 화소의 위치에 따라 방향 데이터에 특정 값을 할당하고 대화자 영상을 추출하여 중심점 추적을 통해 움직임을 추정하고 그에 따라 카메라를 이동시킨다.

따라서 본 발명은 적외선 입력 영상 신호를 필터링하여 추출된 경계 화소의 방향을 이용하여 대화자의 중심점을 판단하여 추적하므로써 추적 성능이 향상되는 효과가 있다.

Description

화상 전화기의 대화자 추적 방법 및 장치 (Target Tracking Method and Device for Video Phone)

일반적으로 물체, 즉 대화자(Target)을 추적하는 추적 기법에는 상관 추적 기법과 중심점 추적 기법이 있다.

상관 추적 기법은 도1a에 도시한 바와 같이 이전 영상(n)의 이동 물체, 즉 대화자의 위치에 적당한 크기의 영역(A)을 정의하고 정의된 영역(A)과 현재 영상(n+1)내의 검색 영역과의 상관도를 계산하여 상관도가 가장 높은 영역(A')으로 물체가 이동한 것으로 추정하는 방법이다.

즉, 상관 추적 기법은 주어진 n번째 영상에서 이동 물체의 위치가 주어진 경우 이동 물체를 포함하는 일정한 크기의 윈도우 영역, 즉 상관 영역(A)을 정의하고, n+1번째 영상에서의 검색 영역상의 각 위치에 대하여 상관도를 계산하여 상관도가 가장 높은 영역의 위치를 n+1번째 영상에서의 이동 물체의 위치로 간주한다.

여기서, 상관도 계산시 초기창의 모양, 즉 현재 영상과 이전 영상의 상관도 계산시 사용되는 영역은 주로 정사각형 형태의 윈도우 형태로 이루어진다.

따라서 상관 추적 기법은 영상 영역화 과정을 수행하지 않고 입력되는 현재 영상으로 부터 직접 상관도를 계산하기 때문에 비교적 복잡한 영상에 대해서도 추적 성능이 유지되지만 계산량이 많아지는 단점이 있다.

즉, 상관 추적 기법은 일반적으로 중심점 추적 기법에 비하여 영상을 이진화 하지 않고 영상의 명암 정보를 사용하기 때문에 배경 산란 등이 첨가되어 영상 영역화가 불가능한 경우에도 어느 정도의 추적 성능을 기대할 수 있다. 그러나 상관 추적 기법은 이동 물체의 움직임을 추정하기 위해서 상관도를 계산하여야 하기 때문에 계산량이 많아지는 단점이 있다.

또한, 중심점 추적 기법은 도1b에 도시한 바와 같이 이동 물체를 배경으로 부터 분리한 후 추출된 이동 물체의 중심점(B)을 추적하는 방법이다.

영상의 각 화소의 밝기값이 '0'에서 'N'까지라고 하면 사람의 얼굴은 N값에 가깝고 배경은 '0'에 가깝다. 따라서 입력되는 영상의 각 화소(I(x, y))에 대해 미리 정해진 문턱치(t)를 적용하여 문턱치보다 입력되는 영상의 각 화소(I(x, y))의 밝기값이 크면 사람이라고 판단하여 영상에서 물체를 추출한다.

따라서 영상이 비교적 단순하여 영상 영역화가 용이할때에는 추적 안정성이 좋고 추적 가능한 몸체의 속도에 대한 제약이 비교적 적어 추적 성능이 좋다.

그러나 중심점 추적 기법은 위에서 설명한 바와 같이 이동 물체, 즉 대화자를 배경으로 분리하기 위해 문턱치를 이용하게 된다. 즉, 중심점 추적 기법은 문턱치를 이용하여 배경과 물체를 이진화하므로, 영상에서 정확한 물체를 추출하기 어려울 뿐만 아니라 입력 영상에 잡음이 존재하는 경우 그에 대한 영향으로 인해 배경으로부터 대화자를 추출하기가 불가능한 상황이 발생하는 단점이 있다.

상기 단점을 개선하기 위한 본 발명은 화상 전화기에 있어서, 배경과 얼굴의 구분이 용이한 적외선 영상과 중심적 추적 방법을 이용하여 추적 성능을 향상시키기 위한 대화자 추적 방법 및 장치를 제공함에 그 목적이 있다.

도1a은 종래의 상관 추적 기법을 설명하기 위한 도면

도1b은 종래의 중심점 추적 기법을 설명하기 위한 도면

도2는 본 발명에 의한 대화자 추적 방법의 흐름도

도3a은 도2의 레지스터 설정 단계를 설명하기 위한 도면

도3b은 도2의 방향 데이터 세트 단계를 설명하기 위한 도면

도3c은 도2의 방향 데이터 세트 단계를 설명하기 위한 도면

도4는 본 발명에 의한 대화자 추적 장치의 구성도

* 도면의 주요 부분에 대한 부호의 설명

300 : 적외선 카메라, 400 : 모터부, 410 : 모터, 420 : 모터 드라이버, 500 : 제어부, 600 : 영상 저장부, 610 : A/D 변환기, 620 : 메모리, 710 : 필터, 720 : 결과 영상 저장부, 730 : 레지스터, 740 : 쉬프터, 750 : 비교부, 800 : 중심점 계산부

상기 목적을 달성하기 위해 본 발명에 의한 화상 전화기의 대화자 추적 방법은 추적 모드에서 입력되는 적외선 영상 신호를 필터링하여 경계 화소를 추출하는 경계 추출 단계, 상기 추출된 경계 화소에 따라 상기 입력되는 적외선 영상과 동일한 크기를 갖는 레지스터에 해당하는 방향 데이터를 세트하고 대화자 얼굴을 추출하는 대화자 얼굴 추출 단계, 상기 추출된 대화자 얼굴의 중심점을 계산하는 중심점 계산 단계, 및 상기 계산된 대화자 얼굴의 중심점의 위치에 따라 움직임을 추정하여 카메라를 이동시키는 움직임 추정 및 모터 구동 단계를 포함하여 수행됨을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명에 의한 화상 전화기의 대화자 추적 장치는 추적 모드에서 입력되는 적외선 영상 신호를 A/D 변환하여 저장하는 영상 저장부, 상기 영상 저장부에 저장된 적외선 영상 신호를 필터링하는 필터, 상기 필터에서 출력되는 신호를 저장하는 결과 영상 저장부, 상기 입력되는 적외선 영상과 동일한 크기를 갖는 레지스터, 상기 레지스터에 저장된 데이터를 쉬프트시켜 출력하는 쉬프터, 상기 쉬프터의 출력에 해당하는 화소의 위치에 대응하여 상기 결과 영상 저장부에 저장된 신호에 따라 상기 레지스터에 해당하는 방향 데이터를 세트하는 비교부, 상기 레지스터에 세트된 방향 데이터에 따라 대화자 얼굴의 중심점을 계산하는 중심점 계산부, 및 상기 영상 저장부의 동작을 제어하고 상기 중심점 계산부에서 계산된 중심점에 따라 대화자의 움직임을 추정하여 카메라를 이동시키도록 제어하는 제어부를 포함하여 구성됨을 특징으로 한다.

이하 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

본 발명에 의한 화상 전화기의 대화자 추적 방법은 도2에 도시한 바와 같이 경계 추출 단계(100, 101, 102, 103), 대화자 얼굴 추출 단계(104, 105, 106, 107, 108, 109, 110), 중심점 계산 단계(111), 및 움직임 추정 및 모터 구동 단계(112, 113)에 의해 수행된다.

상기 경계 추출 단계 (100, 101, 102, 103)는 추적 모드에서 입력되는 적외선 영상 신호를 필터링하여 경계 화소를 추출하는 단계로, 추적 모드에서 입력되는 적외선 영상 신호를 A/D(Analog/Digital) 변환하여 저장하는 적외선 영상 저장 단계(100, 101), 상기 저장된 적외선 영상 신호를 수평 및 수직 방향의 필터 계수에 따라 필터링하여 경계 화소를 추출하는 필터링 단계(102), 및 상기 추출된 경계 화소를 이용하여 결과 영상을 추출하는 결과 영상 추출 단계(103)에 의해 수행된다.

여기서, 상기 수평 및 수직 방향의 필터 계수는 각각[-1 2 -1]이다.

상기 대화자 얼굴 추출 단계(104, 105, 106, 107, 108, 109, 110)는 상기 추출된 경계 화소에 따라 상기 입력되는 적외선 영상과 동일한 크기를 갖는 레지스터에 해당하는 방향 데이터를 세트하고 대화자 얼굴을 추출하는 단계로, 상기 입력되는 적외선 영상을 이루는 화소들에 대응되는 크기를 갖는 레지스터를 설정하는 레지스터 설정 단계(104), 상기 추출된 결과 영상에 따라 상기 설정된 레지스터내의 각 화소에 인접하여 존재하는 경계 화소의 방향에 따라 방향 데이터를 특정값으로 세트하는방향 데이터 세트 단계(105, 106), 및 상기 방향 데이터의 특정값을 카운팅하고 카운팅값이 '6'보다 크면 해당 화소를 중심으로 상기 경계 화소가 이루는 면을 얼굴 부분으로 판단하는 대화자 얼굴 판단 단계(107, 108, 109, 110)에 의해 수행된다.

상기 중심점 계산 단계(111)는 상기 추출된 대화자 얼굴의 중심점을 계산하는 단계이다.

상기 움직임 추정 및 모터 구동 단계(112, 113)는 상기 계산된 대화자 얼굴의 중심점의 위치에 따라 움직임을 추정하여 카메라를 이동시키는 단계이다.

여기서, 상기 방향 데이터는 8비트로 이루어지며, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 0도 방향에 위치한 경우에는 첫번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 45도 방향에 위치한 경우에는 두번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 90도 방향에 위치한 경우에는 세번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 135도 방향에 위치한 경우에는 네번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 180도 방향에 위치한 경우에는 다섯번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 225도 방향에 위치한 경우에는 여섯번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 270도 방향에 위치한 경우에는 일곱번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 315도 방향에 위치한 경우에는 첫번째 비트에 '1'을 세트하여 이루어진다.

이와 같이 이루어지는 본 발명에 의한 화상 전화기의 대화자 추적 방법을 도2, 도3a, 및 도 3c을 참조하여 설명하면 다음과 같다.

먼저, 경계 추출 단계(100, 101, 102, 103)를 수행하여 입력되는 적외선 영상의 경계를 추적하는데, 이를 세부적으로 설명하면 다음과 같다.

전화가 개시되고 사용자의 상황에 따라 추적 기능을 사용하기를 원하지 않을 경우가 있을 수 있으므로 사용자가 추적 기능을 사용할 것인가를 먼저 결정한다(100). 추적 모드와 비추적 모드의 구별은 스위치로 간단하게 구현할 수 있다. 즉, 스위치가 온(ON)되어 있으면 추적 기능을 수행하고 오프(OFF)되어 있으면 수행하지 않는다.

스위치를 온시켜 추적 기능을 수행하는 추적 모드가 되면 카메라로 부터 입력되는 적외선 영상 신호를 A/D(Analog/Digital) 변환하여 저장하는 적외선 영상 저장 단계(101)를 수행한다.

즉 카메라에서 들어오는 적외선 영상 신호는 A/D 변환기를 통해 2차원 행렬상에서 지정된 범위내의 값을 가지는 디지탈 영상(I(x, y))이 되어 저장된다. 이러한 디지탈 영상을 메모리에 저장하여 입력 영상으로 사용하게 된다.

이와 같이 저장된 적외선 영상 신호는 [-1 2 -1]로 이루어진 수평 및 수직 방향의 필터 계수에 따라 필터링 된다(102). 즉, 수평 및 수직 필터 계수에 의해 적외선 영상 신호는 미분되며, 수평 및 수직 필터 계수에 의해 필터링된 수평 미분값(H)과 수직 미분값(V)은 아래 식(1)과 식(2)에 나탄내 바와 같다.

h = 2 × I(x, y) - {(I(x-1,y) + I(x+1,y)} ---- [식1]

v = 2 × I(x, y) - {(I(x,y-1) + I(x, y+1)} ----[식2]

위의 식(1)과 식(2)에 필터링된 결과 값의 수평 및 수직 미분값(h, v)은 경우에 따라 '0'이 되는데, 이와 같이 수평 및 수직 미분값(h, v)이 모두 '0'이 되는 화소(I(x,y))를 경계 화소로 판단한다.

즉, 상기 [-1 2 -1]의 수평 및 수직 필터 계수를 갖는 필터는 가로 또는 세로 방향에 대해 급격한 밝기값의 변화가 생기면 '0'이 출력되게 된다.

이와 같이 필터링되어 '0' 또는 '1'이 출력되면 이를 해당 화소(I(x,y))에 세팅하여 결과 영상으로 저장한다(103). 즉, 적외선 영상 신호가 필터링된 결과 신호인 '0' 또는 '1'로 이루어진 결과 영상을 추출하고 메모리에 저장하여 경계 화소 정보로 이용한다.

이와 같이 결과 영상 추출 단계(103)를 수행한후에는 상기 대화자 얼굴 추출 단계(104, 105, 106, 107, 108, 109, 110)를 수행한다.

대화자 얼굴 추출 단계를 수행하기 위해서 먼저, 레지스터 설정 단계(104)를 수행하는데, 이 레지스터는 적외선 영상을 이루는 화소들에 대응되는 크기를 갖는다. 예를 들어, 도3a에 도시한 바와 같이 적외선 영상의 한 프레임이 8×8 화소(F1, F2, F3 …, F64)로 이루어지는 경우에는 가로 × 세로가 8×8 화소 크기로 이루어진 레지스터를 설정하게 된다. 이와 같이 8×8 화소 크기로 이루어진 레지스터를 설정한후에는 레지스터의 각 비트를 '0'으로 클리어하고 방향 데이터 세트 단계(105, 106)로 진행하여 수행한다.

방향 데이터 세트 단계(105, 106)를 수행하기 위해서는 기준이 되는 화소를 선택하기 위해 상기 설정된 레지스터의 하나의 화소에 해당하는 한 바이트를 선택하고(105), 상기 선택된 레지스터내의 각 화소를 중심으로 존재하는 경계 화소의 방향에 따라 방향 데이터를 특정값, 즉 '1'로 세트한다(106).

즉, 도3b에 도시한 바와 같이 상기 선택된 한 바이트(F)를 중심으로 8가지 방향으로 이동하면서 상기 결과 영상에 해당하는 화소가 경계 화소인지의 여부를 판단하여 8비트의 방향 데이터의 해당 비트에 '1'을 세트한다.

예를 들어, 도3b에 도시한 바와 같이 선택된 화소(F)를 중심으로 0도 방향에 위치한 화소가 경계 화소인 경우에는 8비트의 방향 데이터에서 첫번째 비트에 '1'을 세트하고, 선택된 화소(F)를 중심으로 45도 방향에 위치한 화소가 경계 화소인 경우에는 두번째 비트에 '1'을 세트하고, 선택된 화소(F)를 중심으로 90도 방향에 위치한 화소가 경계 화소인 경우에는 8비트의 방향 데이터의 세번째 비트에 '1'을 세트하고, 선택된 화소(F)를 중심으로 135도 방향에 위치한 화소가 경계 화소인 경우에는 8비트의 방향 데이터의 네번째 비트에 '1'을 세트하고, 선택된 화소(F)를 중심으로 180도 방향에 위치한 화소가 경계 화소인 경우에는 8비트의 방향 데이터의 다섯번째 비트에 '1'을 세트하고, 선택된 화소(F)를 중심으로 225도 방향에 위치한 화소가 경계 화소인 경우에는 8비트의 방향 데이터의 여섯번째 비트에 '1'을 세트하고, 선택된 화소(F)를 중심으로 270도 방향에 위치한 화소가 경계 화소인 경우에는 8비트의 방향 데이터의 일곱번째 비트에 '1'을 세트하고, 선택된 화소(F)를 중심으로 315도 방향에 위치한 화소가 경계 화소인 경우에는 8비트의 방향 데이터의 여덟번째 비트에 '1'을 세트한다.

이때, 각 방향에 대해 경계 화소의 유무를 판단하기 위해서는 일정한 갯수의 화소를 설정해 주어야 하는데, 경계 화소가 있는지를 판단하기 위한 검색 화소의 갯수는 예상되는 대화자의 얼굴의 길이에 해당하는 화소의 갯수의 1/2 이상이 된다. 왜냐하면, 대화자의 이동을 추출하여 움직임을 검출하기 위해서는 대화자의 얼굴의 중심점을 추출하여야 하기 때문이다.

이와 같이 방향 데이터를 경계 화소가 위치한 방향에 따라 '1'로 세트하는 것은 방향 데이터에 세트된 '1'의 갯수가 '6'보다 크면 대화자 얼굴의 중심점에 가까운 것이므로 이에 따라 대화자 얼굴의 중심점을 예상하고 이를 중심으로 경계 화소가 이루는 면을 대화자 얼굴로 판단하기 위해서이다.

따라서 각 화소에 대해 각 방향의 경계 화소의 존재 유무를 판단하기 위해서는 대화자 얼굴의 길이를 이루는 화소수의 1/2 이상이 적당하다.

예를 들어, 도3c에 도시한 바와 같이 대화자의 얼굴의 길이중에서 최장 길이는 세로 방향으로 '6'화소이다. 따라서 경계 화소의 존재 유무를 판단하기 위해 설정되는 화소수는 '3'이상이 된다.

도3c을 참조하여 필터링된 값이 '1'이 되는 경계 화소가 '▩'라고 하고 검색 화소의 수를 '3'이라 하고 각 화소(F65, F66, F67, F68, F69)의 방향 데이터를 검출하면 다음과 같다.

먼저, 화소(F65)는 8방향으로 주변의 3화소를 검색한 결과 '1'이 세트된 경계 화소가 0도, 45도, 225도, 및 270도 이므로, 세트되는 방향 데이터는 '11000110'이 된다. 또한, 화소(F66)는 8방향으로 주변의 3화소를 검색한 결과 '1'이 세트된 경계 화소가 0도, 45도, 90도, 135도, 225도, 270도, 및 315도 이므로 세트되는 방향 데이터는 '11110111'이 된다. 또한, 화소(F67)는 8방향으로 주변의 3화소를 검색한 결과 '1'이 세트된 경계 화소가 45도, 90도, 135도, 180도, 및 270도 이므로, 세트되는 방향 데이터는 '01111010'이 된다. 또한, 화소(F68)는 8방향으로 주변의 3화소를 검색한 결과 '1'이 세트된 경계 화소가 90도 및 135도 이므로, 세트되는 방향 데이터는 '00110000'이 된다.

이와 같이 특정값을 세트한후에는 상기 방향 데이터내에서 세트된 특정값, 즉 '1'을 카운팅하고 카운팅값이 '6'보다 큰지 검색한다(107). 즉, 카운팅에 대한 문턱치로 '6'을 사용한다.

즉, 선택된 화소(F)를 중심으로 0도, 45도, 90도, 135도, 225도, 및 270도 방향에 경계 화소가 위치한 경우에는 8비트의 방향 데이터에서 첫번째, 두번째, 세번째, 네번째, 다섯번째, 여섯 번째, 및 일곱 번째 비트가 '1'로 세트되어 8비트의 방향 데이터는 '11111110'이 되므로, 세트된 '1'의 갯수가 '6'보다 크게 된다.

이와 같이 '1'의 갯수가 '6'보다 커지면(107) 해당하는 화소(I(x,y))를 '1'로 세트하고(108) 레지스터의 검색이 완료되었는지 검색하여 완료되지 않았으면 방향 데이터 세트 단계(105, 106)로 진행하여 수행한다. 또한, 레지스터 검색이 완료되면 '1'로 세트된 부분을 중심점으로 판단하고 중심점을 중심으로 위치한 경계 화소가 이루는 면을 얼굴로 판단한다(110).

도3c을 참조하여 설명하면, 화소(F65)는 방향 데이터가 '11000110'로 세트되고, 화소(F66)는 방향 데이타가 '11110111'로 세트되고 화소(F67)는 방향 데이터가 '01111010'로 세트되고, 화소(F68)는 방향 데이터가 '00110000'로 세트된다(106).

따라서 세트된 '1'이 개수가 '6'보다 큰 화소는 화소(F66)가 되므로, 화소(F66)의 해당 레지스터에 '1'을 세트한다(107, 108). 이후에 레지스터의 검색이 완료되면 '1'이 세트된 화소(F66)를 중심점 부분으로 판단하고, 화소(F66)을 중심으로 주변에 위치한 화소가 이루는 면을 대화자 얼굴로 판단한다(109, 110).

이와 같이 수행한후, 중심점 계산 단계(111)를 수행하여 추출된 대화자 영상의 중심점을 계산한후, 상기 움직임 추정 및 모터 구동 단계(112, 113)를 수행하여 상기 계산된 대화자 영상의 중심점에 따라 움직임을 추정하여 카메라를 이동시킨다.

본 발명에 의한 화상 전화기의 대화자 추적 장치는 도4에 도시한 바와 같이 모터부(400), 제어부(500), 영상 저장부(600), 필터(710), 레지스터(730), 쉬프터(740), 비교부(750), 및 중심점 계산부(800)로 구성된다.

상기 영상 저장부(710)는 추적 모드에서 입력되는 적외선 영상 신호를 A/D 변환하여 저장하는 것으로, 상기 제어부(500)의 제어에 따라 추적 모드에서 입력되는 적외선 영상신호를 A/D 변환하는 A/D 변환기(610), 및 상기 제어부(500)의 제어에 따라 상기 A/D 변환기(610)로부터 출력되는 적외선 영상 신호를 저장하는 메모리(620)로 구성된다.

여기서, 메모리(620)는 입력 영상 신호를 저장히기 위해 VRAM 형태를 사용하는 것이 바람직하다.

상기 필터(710)는 상기 영상 저장부(600)에 저장된 적외선 영상 신호를 필터링하여 입력되는 적외선 영상 신호로부터 경계 화소를 추출해낸다.

결과 영상 저장부(720)는 상기 필터(710)에서 출력되는 신호, 즉 결과 영상을 저장한다.

레지스터(730)는 상기 입력되는 적외선 영상과 동일한 크기를 갖으며, 선택된 화소의 각 방향에 대한 경계 화소의 유무를 추출하여 세트된다.

쉬프터(740)는 상기 레지스터(730)에 저장된 데이터를 쉬프트시켜 출력한다.

비교부(750)는 상기 쉬프터(740)의 출력에 해당하는 화소의 위치에 대응하여 상기 결과 영상 저장부(720)에 저장된 신호에 따라 상기 레지스터(730)에 해당하는 방향 데이터를 세트하여 대화자 얼굴을 추출할 수 있도록 한다.

중심점 계산부(800)는 상기 레지스터(730)에 세트된 방향 데이터에 따라 대화자 얼굴의 중심점을 계산한다.

제어부(500)는 상기 영상 저장부(600)의 동작을 제어하고 상기 중심점 계산부(800)에서 계산된 중심점에 따라 대화자의 움직임을 추정하여 카메라를 이동시키도록 제어한다.

이와 같이 구성되는 본 발명에 의한 화상 전화기의 대화자 추적 장치의 동작을 설명한다.

먼저, 제어부(500)의 제어에 따라 A/D 변환기(610)가 온되어 카메라(300)로 부터 들어오는 NTSC 신호를 A/D 변환하여 디지탈 신호로 출력하게 된다.

즉, 추적 모드가 온되어 전화 통화를 시작하는 경우에는 카메라(300)로 부터 들어오는 영상 신호를 A/D 변환기(610)에서 A/D 변환하고 A/D 변환된 디지탈 영상 신호를 메모리(620)에 저장하게 된다.

메모리(620)에 저장된 영상 신호는 필터(710)에 입력되어 위의 식(1)과 식(2)에 의해 필터링되어 각 화소의 수평 및 수직 미분값(h, v)의 크기가 계산된다.

여기서, 계산된 수평 및 수직 미분값(h, v)이 모두 '0'이 되면 해당 화소(I(x,y))를 경계선이라고 판단한다.

수평 및 수직 미분값을 계산하기 위해 [-1 2 -1]의수평 및 수직 필터 계수를 갖는상기 필터는 급격한 밝기값의 변화가 생기면 '0'이 출력되도록 설계되었다. 이 필터는 경계 화소를 추출함에 있어서, 문턱치 설정 과정을 거치지 않는 장점을 지닌다. 이러한 필터(710)로부터 출력되는 신호는 메모리에 적외선 영상과 같이 영상 형태로 결과 영상 저장부(720)에 저장되어 경계 화소 정보로 이용된다.

한편, 도3a에 도시한 바와 같이 입력 영상과 같은 바이트수의 빈공간에 레지스터를 설정하고 그 값을 '0'으로 클리어시킨다.

또한, 도3a의 레지스터를 도3b에 도시한 바와 같이 8가지 방향으로 쉬프터(740)를 이용하여 이동시키면서 비교부(750)에서 레지스터(730)의 8비트의 방향 데이터에 경계 화소의 방향에 따라 특정값, 즉 '1'을 세트한다.

경계 화소가 위치한 8가지 방향에 따라 방향 데이터에 각각 '10000000', '01000000', '00100000', '00010000', '00001000', '00000100', '00000010', 및 '00000001'를 세트한다.

즉, 비교부(750)에서는 쉬프터에서 출력되는 현재의 레지스터의 바이트 위치에 필터의 결과 영상의 값이 '1'인 경우에는 해당 방향 데이터의 해당 비트에 '1'을 세트하고, 아니면 '0'을 세트한다.

다시말해서, 도3c에 도시한 바와 같이 쉬프터(740)에서 해당 방향으로 진행 하다가 경계 화소와 만나 비교부(750)의 결과가 '1'인 경우에는 방향 데이터의 해당 비트를 '1'로 세트한다.

이와 같이 레지스터(730)에 방향 데이터가 세트된후에는 각 방향 데이터의 각 비트에 세트된 '1'의 갯수를 카운트하여 중심점을 판단한다. 즉, '1'의 갯수가 '7' 또는 '8'인 경우에는 이 화소(I(x,y))를 얼굴의 중심점으로 판단하고 이를 중심으로 경계 화소로 이루어진 면을 얼굴이라고 판단하고 아래 식(3)과 식(4)에 따라 중심점을 계산한다.

x중심점 = 1/N ∑ I(i, j) × i ----[식3]

y중심점 = 1/N ∑ I(i, j) × j ---- [식4]

여기서, N은 결과 영상, 즉 대화자 얼굴의 영상을 이루는 화소의 갯수이다.

이와 같이 계산된 중심점은 제어부(500)에 입력되고 제어부(500)에서는 이를 이용하여 대화자의 이동, 즉 움직임을 추정하고 추정된 움직임에 따라 모터 드라이버(420)를 제어한다. 모터 드라이버(420)에 의해 모터(410)가 적외선 카레라(300)를 이동시켜 대화자를 추적하게 된다.

한편, 제어부(500)에서는 적외선 카메라(300)에서 적외선 영상이 입력되면 A/D 변환기(610)와 메모리(620)를 온시켜 적외선 카메라(300)로 부터 들어오는 영상 신호를 A/D 변환하여 저장할 수 있도록 한다.

이와 같이 메모리(620)에 저장한 후에는 A/D 변환기(610)를 오프시켜 다시 카메라(300)로부터 들어오는 영상 신호를 받아들이지 못하도록 한다.

그리고 레지스터(730)에 비교부(750)의 비교 결과가 저장되어 중심점 계산부(800)에서 중심점 계산이 된후에는 다시 A/D 변환기(610)와 메모리(620)를 온시켜 카메라(300)로부터 들어오는 다음 영상 신호를 받아들일 수 있도록 한다.

이와 같은 동작은 입력된 영상 신호로부터 중심점이 추출되어 계산될 때까지 현재 입력된 영상이 변하지 않도록 하기 위한 것이다.

위의 과정을 계속 반복 적용하여 카메라가 대화자를 추적하도록 하는데, 1초에 10번 이상 실행되면 대화자를 충분히 추적할 수 있다.

이상에서 설명한 바와 같이 본 발명에 의한 화상 전화기의 대화자 추적 방법 및 장치는 적외선 입력 영상 신호를 필터링하여 추출된 경계 화소의 방향을 이용하여 대화자의 중심점을 판단하여 추적하므로써 추적 성능이 향상되는 효과가 있다.

Claims

추적 모드에서 입력되는 적외선 영상 신호를 필터링하여 경계 화소를 추출하는 경계 추출 단계(100, 101, 102, 103); 상기 추출된 경계 화소의 방향에 따라 상기 입력되는 적외선 영상과 동일한 크기를 갖는 레지스터에 해당하는 방향 데이터를 세트하고 대화자 얼굴을 추출하는 대화자 얼굴 추출 단계(104, 105, 106, 107, 108. 109, 110); 상기 추출된 대화자 얼굴의 중심점을 계산하는 중심점 계산 단계(111); 및 상기 계산된 대화자 얼굴의 중심점의 위치에 따라 움직임을 추정하여 카메라를 이동시키는 움직임 추정 및 모터 구동 단계(112, 113)를 포함하여 수행됨을 특징으로 하는 화상 전화기의 대화자 추적 방법.
제 1 항에 있어서, 상기 경계 추출 단계(100, 101, 102, 103)는 추적 모드에서 입력되는 적외선 영상 신호를 A/D(Analog/Digital) 변환하여 저장하는 적외선 영상 저장단계 단계(100, 101); 상기 저장된 적외선 영상 신호를 수평 및 수직 방향의 필터 계수에 따라 필터링하여 경계 화소를 추출하는 필터링 단계(102); 및 상기 추출된 경계 화소를 이용하여 결과 영상을 추출하는 결과 영상 추출 단계(103)를 포함하여 수행됨을 특징으로 하는 화상 전화기의 대화자 추적 방법.
제 2 항에 있어서, 상기 수평 및 수직 방향의 필터 계수는 [-1 2 -1]임을 특징으로 하는 화상 전화기의 대화자 추적 방법.
제 1 항에 있어서, 상기 대화자 얼굴 추출 단계(104, 105, 106, 107, 108, 109,110)는 상기 입력되는 적외선 영상을 이루는 화소들에 대응되는 크기를 갖는 레지스터를 설정하는 레지스터 설정 단계(104); 상기 설정된 레지스터내의 각 화소를 중심으로 존재하는 경계 화소의 방향에 따라 방향 데이터를 특정값으로 세트하는 방향 데이터 세트 단계(105, 106); 및 상기 방향 데이터의 특정값을 카운팅하고 카운팅값이 '6'보다 크면 해당 화소를 중심으로 상기 경계 화소가 이루는 면을 얼굴 부분으로 판단하는 대화자 얼굴 판단 단계(107, 108, 109, 110)를 포함하여 수행됨을 특징으로 하는 화상 전화기의 대화자 추적 방법.
제 4 항에 있어서, 상기 방향 데이터는 8비트로 이루어짐을 특징으로 하는 화상 전화기의 대화자 추적 방법.
제 5 항에 있어서, 상기 방향 데이터는 상기 레지스터내의 화소를 중심으로 존재하는 경계 화소가 0도 방향에 위치한 경우에는 첫번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소를 중심으로 존재하는 경계 화소가 45도 방향에 위치한 경우에는 두번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소를 중심으로 존재하는 경계 화소가 45도 방향에 위치한 경우에는 두번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소를 중심으로 존재하는 경계 화소가 90도 방향에 위치한 경우에는 세번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소를 중심으로 존재하는 경계 화소가 135도 방향에 위치한 경우에는 네번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소를 중심으로 존재하는 경계 화소가 180도 방향에 위치한 경우에는 다섯번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소를 중심으로 존재하는 경계 화소가 225도 방향에 위치한 경우에는 여섯번째 비트에 '1을 세트하고, 상기 레지스터내의 화소를 중심으로 존재하는 경계 화소가 270도 방향에 위치한 경우에는 일곱번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소를 중심으로 존재하는 경계 화소가 131도 방향에 위치한 경우에는 여덟번째 비트에 '1'을 세트하여 이루어짐을 특징으로 하는 화상 전화기의 대화자 추적 방법.
추적 모드에서 입력되는 적외선 신호를 A/D 변환하여 저장하는 영상 저장부(600); 상기 영상 저장부(600)에 저장된 적외선 영상 신호를 필터링하는 필터(710); 상기 필터(710)에서 출력되는 신호를 저장하는 결과 영상 저장부(720); 상기 입력되는 적외선 영상과 동일한 크기를 갖는 레지스터(730); 상기 레지스터(730)에 저장된 데이터를 쉬프트시켜 출력하는 쉬프터(740); 상기 쉬프터(740)의 출력에 해당하는 위치에 대응하여 상기 결가 영상 저장부(720)에 저정된 신호에 따라 상기 레지스터(730)에 해당하는 방향 데이터를 세트하는 비교부(750); 상기 레지스터(730)에 세트된 방향 데이터에 따라 대화자 얼굴의 중심점을 계산하는 중심점 계산부(800); 및 상기 영상 저장부(600)의 동작을 제어하고 상기 중심점 계산부(800)에서 계산된 중심점에 따라 대화자의 움직임을 추정하여 카메라를 이동시키도록 제어하는 제어부(500)를 포함하여 구성됨을 특징으로 하는 화상 전화기의 대화자 추적 장치.
제 7 항에 있어서, 상기 영상 저장부(600)는 상기 제어부(500)의 제어에 따라 추적 모드에서 입력되는 적외선 영상신호를 A/D 변환하는 A/D 변환기(610); 및 상기 제어부(500)의 제어에 따라 상기 A/D 변환기(610)로 부터 출력되는 적외선 영상 신호를 저장하는 메모리(620)를 포함하여 구성됨을 특징으로 하는 화상 전화기의 대화자 추적 장치.