KR100215205B1

KR100215205B1 - 화상 전화기의 대화자 추적 방법 및 장치

Info

Publication number: KR100215205B1
Application number: KR1019960042346A
Authority: KR
Inventors: 정성학
Original assignee: 전주범; 대우전자주식회사
Priority date: 1996-09-25
Filing date: 1996-09-25
Publication date: 1999-08-16
Also published as: KR19980023003A

Abstract

본 발명은 적외선 카메라를 이응한 화상 전화기에 있어서, 입력 영상을 필터링하여 추출한 경계 화소에 따라 배겅과 대화자를 분리하그 중심점 추적을 통해 카메라를 이동시켜 대화자를 추적하는 대화자 추적 방법 및 장치에 관한 것이다.

본 발명은 추적 모드에서 입력되는 적외선 영상 신호의 필터링을 통해 추출된 경계 화소의 위치에 따라 방향 데이터에 특정 값울 할당하그 대화자 영상을 추출하여 중심점 추적을 통해 읍직임을 추정하그 그에 따라 카메라를 이동시킨다.

따라서 본 발명은 적외선 입력 영상 신호를 필터링하여 추출된 경계 화소의 방향을 이응하여 대화자의 중심점을 판단하여 추적하므로써 추적 성능이 향상되는 효과가 있다.

Description

화상 전화기의 대화자 추적 방법 및 장치(Target Tracking Nethod and Device for Video Phone)

본 발명은 적외선 카메라를 이응한 화상 전화기에 있어서, 입력 영상을 필터링하여 추출한 경계 화소에 따라 배경과 대화자를 분리하그 중심점 추적을 통해 카메라를 이동시켜 대화자를 추적하는 대화자 추적 방법 및 장치에 관한 것이다.

일반적으로 물체, 즉 대화자(Target)을 추적하는 추적 기법에는 상판 추적기법과 중심점 추적 기멉이 있다.

상관 추적 기법은 도1a에 도시한 바와 같이 이전 영상(n)의 이동 물체, 즉 대화자의 위치에 적당한 크기의 영역(A)을 정의하그 정의된 영역(A)과 현재 영상 (n+1)내의 검색 영역과의 상판도를 계산하여 상판도가 가장 높은 영역(A')으로 물체가 이동한 것으로 추정하는 방법이다.

즉, 상판 추적 기멉은 주어진 n번째 영상에서 이동 물체의 위치가 주어진 경우 이동 물체를 포함하는 일청한 크기의 윈도우 영역, 즉 상판 영역(A)을 정의하고, n+1번째 영상에서의 검색 영역상의 각 위치에 대하여 상판도를 계산하여 상판도가 가창 높은 영역의 위치를 n+1번째 영상에서의 이동 물체의 위치로 간주한다.

여기서, 상판도 계산시 초기창의 모양, 즉 현재 영상과 이전 영상의 상판도계산시 사용되는 영역은 주로 정사각형 형태의 윈도우 형태로 이루어진다.

따라서 상판 추적 기멉은 영상 영역화 과정을 수행하지 않고 입력되는 현재 영상으로 부터 직접 상관도를 계산하기 때문에 비교적 븍잠한 영상에 대해서도 추적 성능이 유지되지만 계산량이 많아지는 단점이 있다.

즉, 상관 추적 기법은 일반적으로 중심점 추적 기법에 비하여 영상울 이진화하지 앉그 영상의 명암 정보를 사응하기 때문에 배경 산란 등이 첨가되어 영상 영역화가 불가능한 경우에도 어느 정도의 추적 성능을 기대할 수 있다. 그러나 상판추적 기법은 이동 물체의 움직임율 추정하기 위해서 상판도를 계산하여야 하기 때문에 계산량이 많아지는 단점이 있다.

또한, 중심점 추적 기법은 도1b에 도시한 바와 같이 이동 물체를 배경으로부터 분리한루 추출된 이동 물체의 중심점(B)을 추적하는 방법이다.

영상의 각 화소의 밝기값이 'O'에서 'N'까지라그 하면 사람의 얼굴은 N값에 가깝그 배경은 'O'에 가깝다. 따라서 입력되는 영상의 각 화소(I(x,y))에 대해 미리 정해진 문턱치(t)를 적용하여 문턱치보다 입력되는 영상의 각 화소(I(x,y))의밝기값이 크면 사람이라그 판단하여 영상에서 물체를 추출한다.

따라서 영상이 비교적 단순하여 영상 영역화가 용이할때에는 추적 안정성이좋고 추적 가능한 몸체의 속도에 대한 제약이 비교적 적어 추적 성능이 좋다.

그러나 중심점 추적 기법은 위에서 설명한 바와 같이 이동 물체, 즉 대화자를 배경과 분리하기 위해 문턱치를 이용하게 된다. 즉, 중심점 추적 기법은 문턱치를 이응하여 배경과 물체를 이진화하므로, 영상에서 정확한 물체를 추출하기 어려울 뿐만 아니라 입력 영상에 잡음이 존재하는 경우 그에 대한 영향으로 인해 배경으로부터 대화자를 추출하기가 불가능한 상황이 발생하는 단점이 있다.

상기 단점을 개선하기 위한 본 발명은 화상 전화기에 있어서, 배경과 얼굴의 구분이 응이한 적외선 영상과 중심적 추적 방법을 이응하여 추적 성능을 향상시키기 위한 대화자 추적 방법 및 장치를 제긍함에 그 목적이 있다.

도 1a은 종래의 상판 추적 기법을 설명하기 위한 도면

도 1b은 종래의 증심점 추적 기법을 설명하기 위한 도면

도 2는 본 발명에 의한 대화자 추적 방법의 흐름도

도 3a은 도2의 레지스터 설정 단계를 설명하기 위한 도면

도 3b은 도2의 방향 데이터 세트 단계를 설명하기 위한 도면

도 3c은 도2의 방향 데이터 세트 단계를 설명하기 위한 도면

도 4는 본 발명에 의한 대화자 추적 장치의 구성도

도면의 주요 부분에 대한 부호의 설명

300 : 적외선 카메라 400:모터부

410 : 모터 420 : 모터 드라이버

500 : 제어부 600 : 영상 저장부

610 : A/D 변환기 620 : 메모리

710 : 필터 720 : 결과 영상 저장부

730 : 레지스터 740 : 쉬프터

750 : 비그부 800 : 중심점 계산부

상기 목적을 달성하기 위해 본 발명에 의한 화상 전화기의 대화자 추적 방법은 추적 모드에서 입력되는 적외선 영상 신호를 필터링하여 경계 화소를 추출하는 경계 추출 단계, 상기 추출된 추출 화소에 따라 상기 입력되는 적외선 영상과 동일한 크기를 갖는 레지스터에 해당하는 방향 데이터를 세트하그 대화자 얼굴을 추출하는 대화자 얼굴 추출 단계, 상기 추출된 대화자 얼굴의 중심점을 계산하는 중심점 계산 단계, 및 상기 계산된 대화자 얼굴의 중심점의 위치에 따라 읍직임을 추정하여 카메라를 이동시키는 읍직임 추정 및 모터 구동 단계를 포함하여 수행됨울 륵징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명에 의한 화상 전화기의 대화자 추적 창치는 추적 모드에서 입력되는 적외선 영상 신호를 A/D 변환하여 저창하는 영상 저창부, 상기 영상 저창부에 저창된 적외선 영상 신호를 필터링하는 필터, 상기필터에서 출력되는 신호를 저장하는 결과 영상 저장부, 상기 입력되는 적외선 영상과 동일한 크기를 갖는 레지스터, 상기 레지스터에 저장된 데이터를 쉬프트시켜 출력하는 쉬프터, 상기 쉬프터의 출력에 해당하는 화소의 위치에 대응하여 상기 결과 영상 저장부에 저장된 신호에 따라 상기 레지스터에 해당하는 방향 데이터를 세트하는 비교부, 상기 레지스터에 세트된 방향 데이터에 따라 대화자 얼굴의 중심점을 계산하는 중심점 계산부, 및 상기 영상 저장부의 동작울 제어하그 상기 중심점 계산부에서 계산된 중심점에 따라 대화자의 읍직임을 추정하여 카메라를 이동시키도록 제어하는 제어부를 포함하여 구성뵘을 특징으로 한다.

이하 첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

본 발명에 의한 화상 전화기의 대화자 추적 방법은 도2에 도시한 바와 같이 경계 추출 단게(100,101,102,103), 대화자 얼굴 추출 단계(104,105,106,107,108,109,110), 중심점 계산 단계(111), 및 읍직임 추정 및 모터 구동 단계(112,113)에 의해 수행된다.

상기 경계 추출 단계(100,101,102,103)는 추적 모드에서 입력되는 적외선영상 신호를 필터링하여 경계 화소를 추출하는 단계로, 추적 모드에서 입력되는 적외선 영상 신호를 A/D(Analog/Digital) 변환하여 저창하는 적외선 영상 저창 단계(100,101), 상기 저창된 적외선 영상 신호를 수핑 및 수직 방향의 필터 계수에 따라 필터링하여 경계 화소를 추출하는 필터링 단계(102), 및 상기 추출된 경계 화소를 이응하여 결과 영상울 추출하는 걸과 영상 추출 단계(103)에 의해 수행된다.

여기서, 상기 수핑 및 수직 방향의 필터 계수는 각각 [-1 2 -n이다.

상기 대화자 얼굴 추출 단계(104,105,106,107,108,109,110)는 상기 추출된 경계 화소에 따라 상기 입력되는 적외선 영상과 동일한 크기를 갖는 례지스터에 해당하는 방향 데이터를 세트하그 대화자 얼굴을 추출하는 단계로, 상기 입력되는 적외선 영상울 이루는 화소들에 대응되는 크기를 갖는 레지스터를 설청하는 레지스터 설정 단계(104), 상기 추출된 결과 영상에 따라 상기 설정된 레지스터내의 각 화소에 인접하여 존재하는 경계 화소의 방향에 따라 방향 데이터를 특정값으로 세트하는 방향 데이터 세트 단계(105,106), 및 상기 방향 데이터의 륵정값을 카운팅하그 카운팅값이 '6'보다 크면 해당 화소를 중심으로 상기 경계 화소가 이루는 면을 얼굴 부분으로 판단하는 대화자 얼굴 판단 단계(107,108,109,110)에 의해 수행된다.

상기 중심점 계산 단계(111)는 상기 추출된 대화자 얼굴의 중심점을 계산하는 단계이다.

상기 움직임 추정 및 모터 구동 단계(112,113)는 상기 계산된 대화자 얼굴의 중심점의 위치에 따라 읍직임울 추청하여 카메라룰 이동시키는 단계이다.

여기서, 상기 방향 데이터는 8비트로 이루어지며, 상기 레지스터내의 화소에인접하여 존재하는 경계 화소가 이≡ 방향에 위치한 경우에는 첫번째 비트에 '1'을세트하고, 상기 례지스터내의 화소에 인접하여 존재하는 경계 화소가 45도 방향에위치한 경우에는 두번째 비트에 '1'울 세트하그, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 90도 방향에 위치한 경우에는 세먼째 비트에 '1'을 세트하고, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 135도 방향에 위치한 경우에는 녜먼째 비트에 '1'을 세트하그, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 180도 방향에 위치한 경우에는 다섯번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 225도 방향에 위치한 경우에는 여섯번째 비트에 '1'을 세트하그, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 270도 방향에 위치한 경우에는 일곱번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소에 인접하여 존재하는 겅계 화소가 315도 방향에 위치한 경우에는 첫번째 비트에 '1'을 세트하여 이루어진다.

이와 같이 이루어지는 본 발명에 의한 화상 전화기의 대화자 추적 방법을 도2, 도3a, 도3b, 및 도3c을 참조하여 설명하면 다음과 같다.

먼저, 경계 추출 단계(100,101,102,103)를 수행하여 입력되는 적외선 영상의 경계를 추적하는데, 이를 세부적으로 설명하면 다음과 같다.

전화가 개시되고 사응자의 상황에 따라서 추적 기능을 사용하기를 윈하지 않을 경우가 있을 수 있으므로 사응자가 추적 기능을 사용할 것인가를 먼저 걸정한다(100). 추적 모드와 비추적 모드의 구별은 스위치로 간단하게 구현할 수 있다. 즉,스위치가 은(ON)되어 있으면 추적 기능을 수행하그 오프(OFF)되어 있으면 수행하지않는다.

스위치를 은시켜 추적 기능울 수행하는 추적 모드가 되면 카메라로 부터 입력되는 적외선 영상 신호를 A/D(血al애/Digital) 변환하여 저장하는 적외선 영상저장 단계(101)를 수행한다.

즉 카메라에서 들어오는 적외선 영상 신호는 A/D 변환기를 통해 2차윈 행렬상에서 지정된 범위내의 값을 가지는 디지탈 영상(I(x, y))이 되어 저장된다. 이러한 디지탈 영상을 메모리에 저장하여 입력 영상으로 사응하게 된다.

이와 같이 저장된 적외선 영상 신호는 [-1 2 -n로 이루어진 수핑 및 수직방향의 필터 계수에 따라 필터링된다(102). 즉, 수평 및 수직 필터 계수에 의해 적외선 영상 신호는 미분되며, 수핑 및 수직 필터 계수에 의해 필터링된 수핑 미분값(H)과 수직 미분값(V)은 아래 식(1)과 식(2)에 나타낸 바와 같다.

h = 2 x I(x,y) - {(I(x-1,y) + I(x+1,y)} ----- [식1]

v = 2 x I(x,y) - {(I(x,y-1) + I(x,y+1)} ----- [식2]

위의 식(1)과 식(2)에 필터링된 결과 값인 수핑 및 수직 미분값(h, v)은 경우에 따라 'O'이 되는데, 이와 같이 수핑 및 수직 미분값(h, v)이 모두 '0'이 되는 화소(I(x,y))를 경계 화소로 판단한다.

즉, 상기 [-1 2 -n 의 수핑 및 수직 필터 계수를 갖는 필터는 가로 또는 세로 방향에 대해 급격한 밝기값의 면화가 생기면 'O'이 출력되게 된다.

이와 같이 필터링되어 'O' 또는 '1'이 출력되면 이를 해당 화소(I(x,y))에세팅하여 결과 영상으로 저창한다(103). 즉, 적외선 영상 신호가 필터링된 걸과 신호인 'O' 또는 '1'로 이루어진 결과 영상을 추출하그 메모리에 저장하여 경계 화소 정보로 이용한다.

이와 같이 결과 영상 추출 단계(103)를 수행한루에는 상기 대화자 얼굴 추출단계(104,105,106,107,108,109,110)를 수행한다.

대화자 얼굴 추출 단계를 수행하기 위해서 먼저, 레지스터 설정 단계(104)를 수행하는데, 이 레지스터는 적외선 영상을 이루는 화소들에 대응되는 크기를 갖는다. 예를 들어, 도3a에 도시한 바와 같이 적외선 영상의 한 프레임이 8 x 8 화소(F1, F2, F3,···, F64)로 이루어지는 경우에는 가로 X 세로가 8 x 8 화소 크기로 이루어진 레지스터를 설정하게 된다. 이와 같이 8 x 8 화소 크기로 이루어진 레지스터를 설정한루에는 레지스터의 각 비트를 'O'으로 클리어하그 방향 데이터 세트단계(105,106)로 진행하여 수행한다.

방향 데이터 세트 단계(105,106)를 수행하기 위해서는 기준이 되는 화소를 선택하기 위해 상기 설정된 레지스터의 하나의 화소에 해당하는 한 바이트를 선택하고(105), 상기 선택된 레지스터내의 각 화소를 중심으로 존재하는 경계 화소의 방향에 따라 방향 데이터를 륵정값, 즉 '1'로 세트한다(106).

즉, 도3b에 도시한 바와 같이 상기 선택된 한 바이트(F)를 증심으로 8가지방향으로 이동하면서 상기 결과 영상에 해당하는 화소가 경계 화소인지의 여부를판단하여 8비트의 방향 데이터의 해당 비트에 '1'울 세트한다.

예를 들어, 도3b에 도시한 바와 같이 선택된 화소(F)를 증심으로 이≡ 방향에위치한 화소가 경계 화소인 경우에는 8비트의 방향 데이터에서 첫번째 비트에 '1'을 세트하그, 선택된 화소(F)를 중심으로 45도 방향에 위치한 화소가 경계 화소인 경우에는 두번째 비트에 '1'을 세트하고, 선택된 화소(F)를 중심으로 90도 방향에 위치한 화소가 겅게 화소인 경우에는 8비트의 방향 데이터의 세번째 비트에 '1'을 세트하고, 선택된 화소(F)를 중심으로 135도 방향에 위치한 화소가 경계 화소인 경우에는 8비트의 방향 데이터의 네번째 비트에 '1'을 세트하그, 선택된 화소(F)를 중심으로 180도 방향에 위치한 화소가 경계 화소인 경우에는 8비트의 방향 데이터의 다섯번째 비트에 '1'을 세트하그, 선택된 화소(F)를 중심으로 225도 방향에 위치한 화소가 경계 화소인 경우에는 8비트의 방향 데이터의 여섯번째 비트에 '1'을세트하그, 선택된 화소(F)를 중심으로 270도 방향에 위치한 화소가 경계 화소인 경우에는 8비트의 방향 데이터의 일곱먼째 비트에 '1'을 세트하고, 선택된 화소(F)를중심으로 315도 방향에 위치한 화소가 경계 화소인 경우에는 8비트의 방향 데이터의 여덟번째 비트에 '1'을 세트한다.

이때, 갈 방향에 대해 경계 화소의 유무를 판단하기 위해서는 일정한 갯수의화소를 설정해 주어야 하는데, 경계 화소가 있는지를 판단하기 위한 검색 화소의갯수는 예상되는 대화자의 얼굴의 길이에 해당하는 화소의 갯수의 1/2 이상이 된다. 왜냐하면, 대화자의 이동을 추출하여 움직임을 검출하기 위해서는 대화자의 얼굴의 중심점을 추출하여야 하기 때문이다.

이와 같이 방향 데이터를 경계 화소가 위치한 방향에 따라 '1'로 세트하는것은 방향 데이터에 세트된 '1'의 갯수가 '6'보다 크면 대화자 열굴의 중심점에 가까운 것이므로 이에 따라 대화자 얼굴의 중심점울 예상하그 이를 중심으로 경계 화소가 이루는 면을 대화자 얼굴로 판단하기 위해서이다.

따라서 각 화소에 대해 각 방향의 경계 화소의 존재 유무를 판단하기서는 대화자 얼굴의 길이를 이루는 화소수의 1/2 이상이 적당하다.

예를 들어, 도3c에 도시한 바와 같이 대화자의 얼굴의 길이중에서 최장 길이는 세로 방향으로 '6'화소이다. 따라서 경계 화소의 존재 유무를 판단하기 위해 설정되는 화소수는 '3'이상이 된다.

도3c을 참조하여 필터링된 값이 '1'이 되는 경계 화소가 '※'라고 하그 검색 화소의 수를 '3'이라 하그 각 화소(F65, F66, F67, F68, F69)의 방향 데이터를 검출하면 다음과 같다.

먼저, 화소(F65)는 8방향으로 주변의 3화소를 검색한 결과 '1'이 세트된 경계 화소가 이≡,45도,225도, 및 270도 이므로, 세트되는 방향 데이터는 '11000110'이 된다. 또한, 화소(F66)는 8방향으로 주변의 3화소를 검색한 결과 '1'이 세트된 경계 화소가 이≡,45도,90도,135도,225도,270도, 및 315도이므로,세트되는 방향 데이터는 '11110111'이 된다. 또한, 화소(F67)는 8방향으로 주변의3화소를 검색한 걸과 '1'이 세트된 경계 화소가 45도,90도,135도,180도, 및 270도이므로, 세트되는 방향 데이터는 'O1111010'이 된다. 또한, 화소(F68)는 8방향으로 주변의 3화소를 검색한 결과 '1'이 세트된 경계 화소가 90도 및 135도이므로,세트되는 방향 데이터는 'O0110000'이 된다.

이와 같이 륵정값을 세트한루에는 상기 방향 데이터내에서 세트된 특정값,즉 '1'을 카운팅하고 카운팅값이 '6'보다 큰지 검색한다(107). 즉, 카운팅에 대한 문턱치로 '6'울 사용한다.

즉, 선택된 화소(F)를 중심으로 이≡,45도,90도,135도,180도,225도, 및 270도 방향에 겅계 화소가 위치한 겅우에는 8비트의 방향 데이터에서 첫번째, 두번째, 세번째, 네번째, 다섯먼째, 여섯 번째, 및 일곱 번째 비트가 '1'로 세트듸어 8비트의 방향 데이터는 '11111110'이 되므로, 세트된 '1'의 갯수가 '6'보다 크게 된다.

이와 같이 '1'의 갯수가 '6'보다 커지면(107) 해당하는 화소(I(x,y))를 '1'로 세트하그(108) 레지스터의 검색이 완료되었는지 검색하여 완료되지 않았으면 방향 데이터 세트 단계(105,106)로 진행하여 수행합다. 또한, 레지스터 검색이 완료되면 '1'로 세트된 부분을 중심점으로 판단하그 중심점을 중심으로 위치한 경계 화소가 이루는 면을 얼굴로 판단한다(110).

도3c을 참조하여 설명하면, 화소(F65)는 방향 데이터가 '11000110'로 세트되고, 화소(F66)는 방향 데이타가 '11110111'로 세트되그 화소(F67)는 방향 데이터가'01111010' 로 세트되고, 화소(F68)는 방향데이터가 'O0110000' 로 세트된다(106).

따라서 세트된 '1'이 개수가 '6'보다 큰 화소는 화소(F66)가 듸므로, 화소(F66)의 해당 레지스터에 '1'율 세트한다(107,108). 이루에 레지스터의 검색이 완료되면 '1'이 세트된 화소(F66)를 중심점 부분으로 판단하그, 화소(F66)을 중심으로 주변에 위치한 경계 화소가 이루는 면을 대화자 얼굴로 판단한다(109,110).

이와 같이 수행한투, 중심점 게산 단계(111)를 수행하여 추출된 대화자 영상

의 중심점을 계산한루, 상기 읍직임 추정 및 모터 구동 단계(112,113)를 수행하여 상기 계산된 대화자 영상의 중심점에 따라 움직임을 추정하여 카메라를 이동시킨다.

본 발명에 의한 화상 전화기의 대화자 추적 장치는 도4에 도시한 바와 같이 모터부(400), 제어부(500), 영상 저장부(600), 펄터(710), 레지스터(730), 쉬프터(740), 비교부(750), 및 중심점 계산부(800)로 구성된다.

상기 영상 저장부(710)는 추적 모드에서 입력되는 적외선 영상 신호를 A/D변환하여 저장하는 것으로, 상기 제어부(500)의 제어예 따라 추적 모드에서 입력되는 적외선 영상신호를 A/D 변환하는 A/D 변환기(610), 및 상기 제어부(500)의 제어에 따라 상기 A/D 변환기(610)로부터 출력되는 적외선 영상 신호를 저장하는 메모리(620)로 구성된다.

여기서, 메모리(620)는 입력 영상 신호를 저창하기 위하l VRA 형태를 사용하는 것이 바람직하다.

상기 필터(710)는 상기 영상 저장부(600)에 저창된 적외선 영상 신호를 괼터링하여 입력되는 적외선 영상 신호로부터 경계 화소를 추출해낸다.

결과 영상 저창부(720)는 상기 괼터(710)에서 출력되는 신호, 즉 결과 영상을 저창한다.

레지스터(730)는 상기 입력되는 적외선 영상과 동일한 크기를 갖으며, 선택된 화소의 각 방향에 대한 경계 화소의 유무를 추출하여 세트된다.

쉬프터(740)는 상기 레지스터(730)에 저장된 데이터를 쉬프트시켜 출력한다.

비그부(750)는 상기 쉬프터(740)의 출력에 해당하는 화소의 위치에 대응하여 상기 결과 영상 저장부(720)에 저장된 신호에 따라 상기 레지스터(730)에 해당하는 방향 데이터를 세트하여 대화자 얼굴을 추출할 수 있도록 한다.

중심점 계산부(800)는 상기 레지스터(730)에 세트된 방향 데이터에 따라 대화자 얼굴의 중심점을 계산한다.

제어부(500)는 상기 영상 저장부(600)의 동작을 제어하그 상기 중심점 계산부(800)에서 계산된 중심점에 따라 대화자의 움직임을 추정하여 카메라를 이동시키도록 제어한다.

이와 같이 구성되는 본 발명에 의한 화상 전화기의 대화자 추적 장치의 동작을 설명한다.

먼저, 제어부(500)의 제어에 따라 A/D 변환기(610)가 온되어 카메라(300)로부터 들어오는 NTSC 신호를 A/D 면완하여 디지탈 신호로 출력하게 된다.

즉, 추적 모드가 온되어 전화 통화를 시작하는 경우에는 카메라(300)로부터둘어오는 영상 신호를 A/D 변환기(610)에서 A/D 변환하그 A/D 변환된 디지탈 영상신호를 메모리(620)에 저장하게 된다.

메모리(620)에 저창된 영상 신호는 필터(710)에 입력되어 위의 식(1)과 식(2)에 의해 뀔터링되어 각 화소의 수핑 및 수직 미분값(h, v)의 크기가 계산된다.

여기서, 계산된 수핑 및 수직 미분값(h, v)이 모두 '0'이 되면 해당 화소(I(x,y))를 경계선이라고 판단한다.

수평 및 수직 미분값을 계산하기 위해 [-1 2 -n의 수핑 빚 수직 필터 계수를 갖는 상기 필터는 급격한 밝기값의 변화가 생기면 'O'이 출력되도록 설계되었다. 이 필터는 경계 화소를 추출항에 있어서, 문턱치 설정 과정을 거치지 않는 장점을 지닌다. 이리한 필터(710)로부터 출력되는 신호는 메모리에 적외선 영상과 같이 영상 형태로 결과 영상 저장부(720)에 저장되어 경계 화소 정보로 이용된다.

한편, 도3a에 도시한 바와 같이 입력 영상과 같은 바이트수의 빈공간에 레지스터를 설정하그 그 값을 'O'으로 클리어시킨다.

또한, 도3a의 레지스터를 도3b에 도시한 바와 같이 8가지 방향으로 쉬프터(740)를 이응하여 이동시키면서 비그부(750)에서 레지스터(730)의 8비트의 방향 데이터에 경계 화소의 방향에 따라 륵정값, 즉 '1'울 세트한다.

경계 화소가 위치한 8가지 방향에 따라 방향 데이터에 각각 '10000000','O1oooooo', 'oo1o0o00', 'o0010oo0', 'oo0o1000', 'O00o010o', 'O0000o10', 및'O0000001' 를 세트한다.

즉, 비그부(750)에서는 쉬프터에서 출력되는 현재의 레지스터의 바이트 위치에 필터의 결과 영상의 값이 '1'인 겅우에는 해당 방향 데이터의 해당 비트에 ,1,을 세트하그, 아니면 '0'울 세트한다.

다시말해서, 도3c에 도시한 바왁 같이 쉬프터(740)에서 해당 방향으로 진행하다가 경계 화소와 만나 비그부(750)의 결과가 '1'인 경우에는 방향 데이터의 해당 비트를 '1'로 세트한다.

이와 같이 레지스터(730)에 방향 데이터가 세트된루에는 각 방향 데이터의 각 비트에 세트된 '1'의 갯수를 카운트하여 중심점을 판단한다. 즉, '1'의 갯수가 '7' 또는 '8'인 경우에는 이 화소(I(x,y))를 열굴의 중심점으로 판단하그 이를 중심으로 경계 화소로 이루어진 면을 얼굴이라그 판단하그 아래 식(3)과 식(4)에 따라 중심점을 계산한다.

x중심점 = 1/N ∑ I(i, j) X i ----- [식3]

y중심점 = 1/N ∑' I(i, j) X j ----- [식4]

여기서, N은 결과 영상, 즉 대화자 얼굴의 영상을 이루는 화소의 갯수이다.

이와 같이 계산된 중심점은 제어부(500)에 입력되그 제어부(500)에서는 이를 이응하여 대화자의 이동, 즉 움직임을 추정하그 추청된 움직임에 따라 모터 드라이버(420)를 제어한다. 모터 드라이버(420)에 의해 모터(410)가 적외선 카메라(30여를 이동시켜 대화자를 추적하게 된다.

한편, 제어부(500)에서는 적외선 카메라(300)에서 적외선 영상이 입력되면A/D 변환기(610)와 메모리(620)를 온시켜 적외선 카메라(300)로부터 들어오는 영상신호를 A/D 변환하여 저창할 수 있도록 한다.

이와 같이 메모리(620)에 저장한루에는 A/D 변환기(610)를 오프시켜 다시 카메라(300)로부터 들어오는 영상 신호를 받아들이지 못하도록 한다.

그리고 레지스터(730)에 비교부(750)의 비그 결과가 저장되어 중심점 계산부(800)에서 중심점 계산이 된루에는 다시 A/D 변환기(610)와 메모리(520)를 온시켜 카메라(300)로부터 둘어오는 다음 영상 신호를 받아들일 수 있도록 한다.

이와 같은 동작은 입력된 영상 신호로부터 중심점이 추출되어 계산될때까지 현재 입력된 영상이 변하지 앉도록 하기 위한 것이다.

위의 과정울 계속 반븍 적응하여 카메라가 대화자를 추적하도록 하는데,1초에 10번 이상 실행되면 대화자를 충분히 추적할 수 있다.

이상에서 설명한 바와 같이 본 발명에 의한 화상 전화기의 대화자 추직 방법 및 장치는 적외선 입력 영상 신호를 필터링하여 추출된 경계 화소의 방향을 이응하여 대화자의 중심점을 판단하여 추적하므로써 추적 성능이 향상되는 효과가 있다.

Claims

추적 모드에서 입력되는 적외선 영상 신호를 필터링하여 경계 화소를 추출하는 겅계 추출 단계(100,101,102,103):상기 추출된 경계 화소의 방향에 따라 상기 입력되는 적외선 영상과 동일한 크기를 갖는 레지스터에 해당하는 방향 데이터를 세트하고 대화자 얼굴을 추출하는 대화자 얼굴 추출 단계(104,105,106,107,108,109,110):상기 추출된 대화자 얼굴의 중심점을 계산하는 중심점 계산 단게(111):및 상기 계산된 대화자 얼굴의 중심점의 위치에 따라 읍직임을 추청하여 카메라를 이동시키는 읍직임 추정 및 모터 구동 단계(112,113)를 포함하여 수행됨을 특징으로 하는 하는 화상 전화기의 대화자 추적 방법.
제 1 항에 있어서, 상기 경계 추출 단계(100,101,102,103)는 추적 모드에서 입력되는 적외선 영상 신호를 A/D(Analog/Digital) 면완하여 저장하는 적외선영상 저장 단계(100,101):상기 저창된 적외선 영상 신호를 수핑 및 수직 방향의필터 계수에 따라 필터링하여 경계 화소룔 추출하는 필터링 단계(102);및 상기 추출된 경계 화소를 이응하여 결과 영상울 추출하는 걸과 영상 추출 단계(103)를 포함하여 수행됨을 륵징으로 하는 화상 전화기의 대화자 추적 방법.
제 2 항에 있어서, 상기 수핑 및 수직 방향의 필터 계수는 [-1 2 -□임을 특징으로 하는 화상 전화기의 대화자 추직 방법.
제 1 항에 있어서, 상기 대화자 얼굴 추출 단계(104,105,106,107,108,109,110)는 상기 입력듸는 적외선 영상을 이루는 화소들에 대응되는 크기를 갖는 레지스터를 설정하는 레지스터 설정 단계(104);상기 설정된 레지스터내의 각 화소를 중심으로 존재하는 경계 화소의 방향에 따라 방향 데이터를 특정값으로 세트하는 방향 데이터 세트 단계(105,106):및 상기 방향 데이터의 특정값을 카운팅하고 그 카운팅값이 '6'보다 크면 해당 화소를 중심으로 상기 경계 화소가 이루는 면을 열굴 부분으로 판단하는 대화자 얼굴 판단 단게(107,108,109,110)를 포함하여 수행됨을 륵징으로 하는 화상 전화기의 대화자 추적 방법.
제 4 항에 있어서, 상기 방향 데이터는 8비트로 이루어짐을 특징으로 하는 화상 전화기의 대화자 추적 방법.
제 5 항에 있어서, 상기 방향 데이터는 상기 레지스터내의 화소를 중심으로존재하는 경계 화소가 이≡ 방향에 위치한 경우에는 첫먼째 비트에 '1'을 세트하그,상기 레지스터내의 화소를 중심으로 존재하는 경계 화소가 45도 방향에 위치한 겅우에는 두번째 비트에 '1'을 세트하그, 상기 레지스터내의 화소를 중심으로 존재하는 경계 화소가 90도 방향에 위치한 경우에는 세번째 비트에 '1'을 세트하그, 상기 레지스터내의 화소를 중심으로 존재하는 경계 화소가 135도 방향에 위치한 경우에는 네번째 비트에 '1'울 세트하그, 상기 레지스터내의 화소를 중심으로 존재하는 경계 화소가 180도 방향에 위치한 경우에는 다섯번째 비트에 '1'을 세트하그, 상기 레지스터내의 화소를 중심으로 존재하는 경계 화소가 225도 방향에 위치한 경우에는 여섯번째 비트에 '1'을 세트하그, 상기 레지스터내의 화소를 증심으로 존재하는 경계 화소가 270도 방향에 위치한 경우에는 일곱번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소를 중심으로 존재하는 경계 화소가 315도 방향에 위치한 경우에는 여덟번째 비트에 '1'을 세트하여 이루어짐을 륵징으로 하는 화상 전화기의 대화자 추적 방법.
추적 모드에서 입력되는 적외선 영상 신호를 A/D 면완하여 저장하는 영상 저장부(600):상기 영상 저창부(600)에 저창된 적외선 영상 신호를 필터링하는 필터(710):상기 필터(710)에서 출력되는 신호를 저장하는 결과 영상 저장부(720):상기 입력되는 적외선 영상과 동일한 크기를 갖는 레지스터(730):상기 레지스터(730)에 저창된 데이터를 쉬프트시켜 출력하는 쉬프터(740):상기 쉬프터(740)의 출력에 해당하는 위치에 대응하여 상기 결과 영상 저장부(720)에 저장된 신호에 따라 상기 레지스터(730)에 해당하는 방향 데이터를 세트하는 비교부(750);상기 레지스터(730)에 세트된 방향 데이터에 따라 대화자 얼굴의 중심점을 계산하는 증심점 계산부(800):및 상기 영상 저장부(600)의 동작울 제어하그 상기 중심점 계산부(800)에서 계산된 중심점에 따라 대화자의 움직임을 추정하여 카메라를 이동시키도록 제어하는 제어부(500)를 포함하여 구성됨울 특징으로 하는 화상 전화기의 대화자 추적 장치.
제 7 항에 있어서, 상기 영상 저장부(600)는 상기 제어부(500)의 제어에 따라 추적 모드에서 입력되는 적외선 영상신호를 A/D 변환하는 A/D 변환기(610): 및상기 제어부(500)의 제어에 따라 상기 A/D 변환기(610)로부터 출력되는 적외선 영상 신호를 저하는 메모리(620)를 포함하여 구성됨을 특징으로 하는 화상 전화기의 대화자 추적 장치.