KR100215204B1

KR100215204B1 - 화상 전화기의 대화자 추적 방법 및 장치

Info

Publication number: KR100215204B1
Application number: KR1019960042345A
Authority: KR
Inventors: 정성학
Original assignee: 전주범; 대우전자주식회사
Priority date: 1996-09-25
Filing date: 1996-09-25
Publication date: 1999-08-16
Also published as: KR19980023002A

Abstract

본 발명은 적외선 카메라를 이응한 화상 전화기에 있어서, 입력 영상에서 추출한 경계 화소의 크기와 방향에 따라 배경과 대화자를 분리하고 중심적 추적을 통해 카메라를 이동시켜 대화자를 추적하는 대화자 추적 방법 및 장치에 관한 것이다.

본 발명은 입력되는 적외선 영상으로부터 추츨된 경계 화소 및 경계선 방향에 따라 해당하는 겅계 방향 비트에 륵정 값을 할당하그 대화자 영상을 추츨하여 중심점 추적을 통해 읍직임을 추정하그 그에 따라 카메라를 이동시킨다.

따라서 본 발명은 적외선 입력 영상에서 추출된 경계 화소의 크기와 방향을 이응하여 각 입력 영상에 할당된 레지스터의 값을 할당하는 과정을 통해 레지스터의 값에 따라 배경과 대화자를 분리하여 대화자를 추적하므로 추적 성능이 향상되는 효과가 있다.

Description

화상 전화기의 대화자 추적 방법 및 장치(TARGET TRACKINC NETHODE AND DERICE FOR VIDEO PHONE)

본 발명은 적외선 카메라를 이용한 화상 전화기에 있어서, 입력 영상에서 추츨한 경계 화소의 크기와 방향에 따라 배경과 대화자를 분리하그 중심적 추적을 통해 카메라를 이동시켜 대화자를 추적하는 대화자 추적 방법 및 창치에 판한 것이다.

일반적으로 믈체, 즉 대화자(Target)을 추적하는 추적 기법에는 상관 추적기법과 중심점 추적 기멉이 있다.

상관 추적 기법은 도1a에 도시한 바와 같이 이전 프레임의 이동 믈체, 즉 대화자의 위치에 적당한 크기의 영역(A)을 정의하그 정의된 영역(A)과 현재 프레임내의 검색 영역과의 상판도를 계산하여 상판도가 가장 높은 영역(A')으로 믈체가 이동한 것으로 추정하는 방법이다.

즉, 상판 추적 기멉은 주어진 n번째 영상에서 이동 믈체의 위치가 주어진 경우 이동 믈체를 포함하는 일정한 크기의 윈도우 영역, 즉 상판 영역을 정의하고, n+1번째 영상에서의 검색 영역상의 각 위치에 대하여 상판도를 계산하여 상판도가 가장 높은 영역의 위치를 n+1번째 영상에서의 이동 믈체의 위치로 간주한다.

여기서, 상판도 계산시 초기창의 모양, 즉 현재 프레임과 이전 프레임의 상판도 계산시 사용되는 영역은 주로 정사각형 형태의 윈도우 형태로 이루어진다.

따라서 상판 추적 기법은 영상 영역화 과정을 수행하지 않그 입력되는 현재프레임의 영상으로 부터 직접 상관도를 계산하기 때문에 비그직 븍잡한 영상에 대해서도 추적 성능이 유지되지만 계산량이 많아지는 단점이 있다.

즉, 상판 추적 기법은 일반적으로 중심점 추적 기법에 비하여 영상을 이진화하지 않그 영상의 명암 정보를 사응하기 때문에 배경 산란 등이 첨가되어 영상 영역화가 블가능한 경우에도 어느 청도의 추적 성능을 기대할 수 있다. 그리나 상판추적 기멉은 이동 믈체의 움직임울 추정하기 위해서 상판도를 계산하여야 하기 때문에 계산량이 많아지는 단점이 있다.

또한, 중심점 추적 기법은 도1b에 도시한 바와 같이 이동 믈체를 배경으로부터 분리한루 추츨된 이동 믈체의 중심점(B)율 추적하는 방법이다.

따라서 영상이 비고적 단순하여 영상 영역화가 응이할때에는 추적 안정성이좋고 추적 가능한 믈체의 속도에 대한 제약이 비교적 적어 추적 성능이 좋다.

그러나 중심점 추척 기법은 이동 믈체, 즉 대화자를 배경과 분리하기 위해문턱치를 이응하게 되어 영상에서 정왁한 대화자를 추츨하기 어렵다. 즉, 중심점추적 기법은문턱치를 이응하여 배경과 믈체를 이진화하므로, 영상에서 정왁한 물체를 추츨하기 어려울 뿐만 아니라 입력 영상에 잡음이 존재하는 경우 그에 대한영향을 많이 받는 단점이 있다.

상기 단점을 개선하기 위한 본 발명은 화상 전화기에 있어서, 배경과 열굴의 구분이 응이한 적외선 영상과 중심적 추적 방법을 이용하여 추적 성능을 향상시키기 위한 대화자 추적 방법 및 장치를 제공함에 그 목적이 있다.

도 1a은 종래의 상관 추적 기법을 설명하기 위한 도면

도 1b은 종래의 중심점 추적 기법울 설명하기 위한 도면

도 2는 본 발명에 의한 대화자 추적 방법의 흐름도

도 3은 도 2의 경계 화소 추츨 단계를 설명하기 위한 도면

도 4는 도 2의 대화자 추츨 단계를 설명하기 위한 도면

도 5a은 도 4의 경계 방향 비트 할당 단계를 설명하기 위한 도면

도 5b은 도 4의 대화자 증심점 판단 단계를 설명하기 위한 도면

도 6은 본 발명에 의한 대화자 추적 창치의 구성도

도면의 주요 부분에 대한 부호의 설명

300 : 카메라 400 : 모터부

410 : 모터 420 : 모터 드라이버

500 : 제어부 600 : 영상 저장부

610 : A/D 변환기 620 : 메모리

700 : 경계 방향 비트 할당부 710 : 경계 화소 추츨부

720 : 경계선 방향 추츨부 730 : 쉬프터

740 : 경계 방향 비트 세트부 800 : 대화자 생성부

810 : 카운터 820 : 결과 영상 생성부

900 : 중심점 계산부

본 발명은 화상 전화기에 있어서, 대화자를 추적하여 카메라를 이동시켜 주는 대화자 추적 방법 및 장치에 관한 것이다.

상기 목적을 달성하기 위해 본 발명에 의한 화상 전화기의 대화자 추적 방법은 추적 모드에서 입력되는 적외선 영상 신호로부터 경계 화소와 경계선 방향을 추출하는 경계 추출 단계:상기 추츨된 경계 화소의 경계선 방향의 90도 방향에 위치한 모든 화소에 대해서 상기 추출된 경계선 방향에 해당하는 겅계 방향 비트에 특정 값을 할당하그 할당된 륵정값의 개수에 따라 대화자 영상을 추출 및 저창하는 대화자 추츨 단계:상기 추출된 대화자 영상의 중심점울 계산하는 대화자 영상 중심점 계산 단계: 및 상기 계산된 대화자 영상의 중심점에 따라 웁직임울 추정하여 카메라를 이동시키는 읍직임 추정 및 모터 구동 단계를 포함하여 수행뵘을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명에 의한 화상 전화기의 대화자 추적 장치는 추적 모드에서 입력되는 적외선 영상을 A/D 변환하여 저장하는 영상 저장 수단: 상기 영상 저창 수단에 저장된 적외선 영상으로부터 경계 화소와 경계선 방향을 추출하여 각 화소의 해당하는 경계 방향 비트에 특정 값을 할당하고 세트하는 겅계 방향 비트 할당 수단;상기 경계 방향 비트 할당 수단에서 츨력되는 각 화소의 경계 방향 비트에 할당된 특정 값의 갯수에 따라 대화자 영상을 생성하여 상기 영상 저장 수단에 저장하는 대화자 생성 수단: 상기 영상 저장 수단에 저장된 대화자 영상을 검색하여 대화자의 증심점을 계산하는 중심점 계산수단: 및 상기 영상 저장 수단의 동작을 제어하고 상기 중심점 계산 수단에서 계산된 중심점에 따라 대화자의 움직임을 추정하여 카메라를 이동시키도록 제어하는 제어 수단을 포함하여 구성됨을 특징으로 한다.

이하 첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

본 발명에 의한 화상 전화기의 대화자 추적 방법은 도2에 도시한 바와 같이겅계 추출 단계(100,101,102,103), 대화자 추출 단계(104,105,106,107), 중심점 계산 단계(108), 및 움직임 추정 및 모터 구동 단계(109)에 의해 수행된다.

상기 경계 추출 단계(100,101,102,103)는 추적 모드에서 입력되는 적외선영상 신호로부터 경계 화소와 경계선 방향울 추츨하는 단계로, 추적 모드에서 입력되는 적외선 영상 신호를 A/D(Analog/Digital) 변환하여 저장하는 적외선 영상 저장 단계(100,101), 상기 저장된 적외선 영상 신호에서 경계 화소를 추츨하는 경계화소 추츨 단계(102), 및 상기 추츨된 경게 화소의 수직 및 수평 미분값의 아크 탄젠트값(atan(h,v))으로 경계선 방향울 추츨하는 경게선 방향 추츨 단계(103)에 의해 수행된다.

여기서, 상기 경계 화소는 상기 설정된 초기창내의 각 화소의 밝기값의 수평및 수직 방향의 미분값의 크기와 설정된 경계선 판별응 문턱치의 비교에 의해 결정된다.

상기 대화자 추출 단계(104,105,106,107)는 상기 추츨된 경계 화소의 경계선 방향의 90도 방향에 위치한 모든 화소에 대해서 상기 추츨된 경계선 방향에 해당하는 경계 방향 비트에 특정 값을 할당하그 할당된 륵정값의 개수에 따라 대화자 영상을 추츨 및 저장하는 단계로, 상기 추츨된 경계 화소의 경계선 방향에 대해 90도 방향에 위치한 각각의 화소에 상기 추출된 경계선 방향에 따라 륵정 값을 경계 방향 비트로 할당하는 경계 방향 비트 할당 단계(104), 상기 경제 방향 비트에 할당된 륵정 값의 갯수를 카운팅하여 대화자 중심점을 판단하는 대화자 중심점 판단 단계(105), 및 상기 대화자 중심점을 중심으로 들리싸인 경계 화소가 이루는 대화자 영상을 추출하여 생성하는 대화자 영상 생성 단계(106)에 의해 수행된다.

여기서, 상기 경계 방향 비트 할당 단계는 도4에 도시한 바와 같이 상기 경계 방향 비트률 할당하기 위한 검색 화소의 갯수를 설정하는 검색 화소 갯수 설정단계(200), 상기 설정된 화소 갯수에 따라 상기 추츨된 경계 화소의 경계선 방향에대해 90도에 위치한 화소를 선택하는 화소 선택 단계(201), 상기 선택된 화소에 상기 경게 방향 비트로 8비트를 할당하는 할당 단계(202), 및 상기 할당된 8비트의경계 방향 비트 중에서 상기 추츨된 경계선 방향에 해당하는 비트들을 특정 값으로세트하는 겅계 방향 비트 세트 단계(203)에 의해 수행된다.

여기서, 상기 경계 방향 비트 세트 단계(203)는 상기 추출된 경계선 방향이 x방향과 y방향으로 (-1,-1)인 경우 할당된 8비트의 경계 방향 비트 중에서 첫번째비트에 특정 값을 세트하그, 상기 추출된 경계선 방향이 x방향과 y방향으로 (0,-1)인 경우 할당된 8비트의 경계 방향 비트 중에서 두번째 비트에 특정 값을 세트하고, 상기 추츨된 경게선 방향이 x방향과 y방향으로 (1,-1)인 겅우 할당된 8비트의 경계 방향 비트 중에서 세번째 비트에 륵정 값을 세트하그, 상기 추출된 경계선방향이 x방향과 y방향으로 (1, 이인 겅우 할당된 8비트의 겅계 방향 비트 중에서 네번째 비트에 륵청 값을 세트하그, 상기 추츨된 경계선 방향이 x방향과 y방향으로 (1,1)인 경우 할당된 8비트의 경계 방향 비트 중에서 다섯번째 비트에 륵정 값을세트하그, 상기 추출된 경계선 방향이 x방향과 y방향으로 (0,1)인 경우 할당된 8비트의 경계 방향 비트 중에서 여섯번째 비트에 륵정 값을 세트하그, 상기 추출된 경계선 방향이 x방향과 y방향으로 (-1,1)인 경우 할당된 8비트의 경계 방향 비트중에서 일곱번째 비트에 륵정 값을 세트하그, 상기 추츨된 경계선 방향이 x방향과 y방향으로 (-1, 이인 경우 할당뵌 8비트의 경계 방향 비트 중에서 여덟번째 비트에 특정 값을 세트하여 수행된다.

또한, 상기 검색 화소의 갯수는 예상되는 대화자의 얼굴의 길이에 해당하는 화소의 갯수의 1/2 이상으로 설정된다.

한편, 상기 중심점 게산 단계(108)는 상기 추츨된 대화자 영상의 중심점을 계산하는 단계이다.

상기 움직임 추정 및 모터 구동 단계(109)는 상기 계산된 대화자 영상의 중심점에 따라 움직임을 추정하여 카메라를 이동시키는 단계이다.

이와 같이 이루어지는 본 발명에 의한 화상 전화기의 대화자 추적 방법을 첨부한 도면을 참조하여 상세하게 설명한다.

먼저, 경계 추출 단계(100,101,102,103)를 수행하여 입력되는 적외선 영상의 경계를 추적하는데, 이를 세부적으로 설명하면 다음과 같다.

전화가 개시되그 사응자의 상왕에 따라서 추적 기능을 사옹하기를 원하지 앉을 경우가 있을 수 있으므로 사응자가 추적 기능을 사응할 것인가를 먼저 결정한다

(100). 추적 모드와 비추적 모드의 구별은 스위치로 간단하게 구현할 수 있다. 즉,

스위치가 은(ON)되어 있으면 추적 기능을 수행하고 오프(OFF)되어 있으면 수행하지 않는다.

스위치를 은시켜 추적 기능을 수행하는 추적 모드가 되면 카메라로 부터 입력되는 적외선 영상울 A/D(Analog/Digital) 변환하여 저장하는 적외선 영상 저장단계(101)를 수행한다.

즉 카메라에서 들어오는 적외선 영상 신호는 A/D 변환기를 통해 2차윈 헝렬상에서 지정된 범위내의 값을 가지는 디지탈 영상(I(x, y))이 되어 저장된다. 이리한 디지탈 영상울 메모리에 저장하여 입력 영상으로 사용하게 된다.

이와 같이 저창된 적외선 영상 신호는 미분기를 통해 경계 화소가 추출듸는데, 이리한 경계 화소 추츨 단계(102)를 도3을 참조하여 설명하면 다음과 같다.

저장된 적외선 영상 신호는 2차윈 행렬I(x, y)에 밝기값이 할당된 형태이다.

이와 같이 이루어진 영상 신호는 수핑 및 수직 방향으로 아래 식(1)과 식(2)와 같이 미분이 이루어진다.

I(x-1, y-1)+I(x-1, y)+I(x-1, y+1)-I(x+1, y-1)-I(x+1, y)-I(x+1, y-1) = h

- - - -식(1)

I(x-1, y-1)+I(x, y-1)+I(x+1, y-1)-I(x-1, y+1)-I(x, y+1)-I(x+1, y+1) = v

-----식(2)

즉, 도3에 도시한 바와 같이 수평 미분은 기준 화소(x, y)를 중심으로 하여 좌측의 화소의 밝기값(A4, A5, A6)과 우측의 화소의 밝기값(A1, A2, A3)의 차를 구하므로써 이루어지그, 수직 미분은 기준 화소(x, y)를 중심으로 하여 상측의 화소의 밝기값(A4, A7, A1)과 하측의 화소의 밝기값(A6, A8, A3)의 차를 구하므로써 이루어진다.

위의 식(1)과 같이 수핑 미분울 수행하여 수핑 미분값(h)을 계산하그, 위의식(2)과 같이 수직 미분을 수행하여 수직 미분값(v)을 계산한루 이들 미분값(h, v)의 크기((h2 + v2)1/2)를 계산한다. 즉, 수직 및 수핑 미분값(h, v)을 각각 제곱한루다시 제곱근을 취해 미분값의 크기((h2 + v2)1∠2)를 계산한다.

상기 계산된 미분값의 크기((h2 + v2)1/2)는 미리 설정된 경게선 판별응 문턱치와 비교되어 상기 경계선 판별응 문턱치보다 큰 경우 기준 화소(x, y)가 경계 화소가 된다.

이와 같은 미분 과정은 한 프레임의 모든 영상 신호에 대해 수행된다.

이와 같이 경계 화소를 추츨한루, 상기 추츨된 경계 화소의 수직 및 수핑 미분값의 아크 탄젠트값(atan(h,v))으로 겅계선 방향을 추출하는 경제선 방향 추출단계(103)를 수행한다.

즉, 상기 추출된 경계 화소의 수직 및 수핑 미분값(h, v)의 아크 탄젠트(atan(h,v))값을 계산하여 경계선 방향을 추출한다. 이때, 계산된 아크 탄젠트 값(atan(h,v))은 -90도에서 90도까지의 값을 가질 수 있다.

이와 같이 추출된 경계 화소와 경계선 방향을 이용하여 상기 추출된 경계 화소 및 경계선 방향에 따라 해당하는 경계 방향 비트에 륵정 값을 할당하여 대화자영상을 추츨 및 저장하는 대화자 추출 단계(104,105,106,107)를 수행하기 위해 경계 방향 비트 할당 단계(104)와 대화자 중심점 판단 단계(105)를 수행하는데, 이를 도4, 도5a, 도5b을 참조하여 설명한다.

먼저, 상기 경계 방향 비트를 할당하기 위한 검색 화소의 갯수를 설정하는 검색 화소 갯수 설정 단계(200)를 수행한다.

이때, 상기 검색 화소의 갯수는 예상되는 대화자의 열굴의 길이에 해당하는화소의 갯수의 1/2 이상으로 설정한다. 왜냐하면, 대화자의 이동을 추츨하여 읍직임을 검출하기 위해서는 대화자의 얼굴의 중심점을 추츨하여야 하기 때문이다.

검색 화소의 갯수 설정투에는 경계 방향 비트를 세트하려는 화소를 선택한다(201). 즉, 상기 추출된 경계 화소의 겅계선 방향에 대해 90도에 위치한 화소, 즉경계선 방향을 중심으로 좌측으로 90도에 위치한 화소 중에서 첫번째로 인접한 화소를 선택한다(201). 이와 같이 선택된 화소에 경계 방향 비트로 8비트를 할당한다(202).

즉, 입력 영상의 각 화소에 'O0000000'의 레지스터를 할당하는데, 입력 영상(I(x, y))의 모든 화소당 1바이트 크기를 갖는 메모리를 레지스터로 이용한다.

한편, 계선 방향은 -90도에서 90도까지의 값을 가지게 되므로 이를 45도 격으로 8 가지로 나누어 준다. 즉, 도5a에 도시한 바와 같이 경계선 방향을 (x방향, y방향)으로 각각 (-1,-1),(0,-1),(1,-1),(1,0),(1,1),(0,1),(-1,1), 및 -1,여으로 문리하여 경계선 방향이 8가지로 나누어 질 수 있도록 한다. 이를 위해 경계선 방향을 계산하기 위한 각 경제 화소의 수평 및 수직 미분값(h, v)과 해당하는 (x방향, y방향)을 룩업 테이블에 저장하여 경계 화소의 수직및 수핑 미분값(h, v)에 따라 간단하게 경계선 방향을 추출할 수 있도록 한다.

이와 같이 경계선 방향이 (x방향, y방향)으로 계산된루에는 이를 이용하여 상기 각 화소에 할당된 경계 방향 비트에 륵정값을 세트하는데(203), 이를 도5a을 참조하여 설명한다.

즉, 화소(X1)의 경우 겅계선 방향이 (-1,1)이므로, 일곱 번째 비트에 '1'을할당하여 겅계 방향 비트로 '00000010'을 세트한다. 또한, 화소(X2)의 경우 경계선방향이 (0,1)이므로, 여섯번째 비트에 '1'을 할당하여 경계 방향 비트로'00000100'을 세트한다(203). 또한, 화소(X3)의 경우 경계선 방향이 (1,1)이므로,다섯번째 비트에 '1'을 할당하여 경계 방향 비트로 'O0001000'을 세트한다. 또한,화소(X4)의 경우 경계선 방향이 (1, 여이므로, 네번째 비트에 '1'을 할당하여 경계방향 비트로 '00010000'을 세트한다. 또한, 화소(X5)의 경우 경계선 방향이 (1,-1)이므로, 세번째 비트에 '1'을 할당하여 겅계 방향 비트로 'O0100000'을 세트한다. 또한, 화소(X6)의 경우 겅계선 방향이 (0,-1)이므로, 두번째 비트에 '1'울 할당하여 경계 방향 비트로 '01000000'울 세트한다. 또한, 화소(X7)의 경우 경계선 방향이 (-1,-1)이므로, 첫번째 비트에 '1'을 할당하여 겅계 방향 비트로 '10000000' 을 세트한다.

이와 같이 경계 방향 비트를 세트하게 되면 화소(XO)의 경우 경계선 방향이 8개가 되므로,8개의 모든 비트에 '1'울 할당하여 경계 방향 비트로 '11111111'을 세트한다. 즉, 화소(XO)의 경우에는 모든 경계선 방향, 즉 (-1,1),(0,1),(1,1),(1, 이,(1,-1),(0,-1),(-1,-1)이 모두 경제선 방향이 되므로 경계 방향 비트로 '11111111'이 세트되게 된다.

이와 같이 선택된 화소에 경계 방향 비트를 세트한(203) 루에는 상기 세트된 경계 방향 비트 중에서 륵정값, 즉 '1'의 갯수를 카운팅한다(204). 이때 카운팅값이 '6'보다 큰 경우에는 대화자 얼굴의 중심 부분인 중심점으로 판단한다(205,206).

예를 들어 도5a의 각 화소(X1, X2, X3, X4, X5, X6, X7, X8)는 겅계 방향 비중 한 개의 비트만이 '1'이 세트되어 있으므로 대화자 얼굴의 중심점이 되지 못한다. 그러나 도5a의 화소(X0)는 8개의 겅계 방향 비트 모두가 '1'로 세트되어 있으므로, 대화자의 중심점이 된다.

또한, 도5b에 도시한 바와 같이 화소(N)의 경우 8개의 경계 방향 비트 중에서 7개의 비트가 '1'로 세트될 수 있으므로 대화자의 증심점이 된다.

즉, 도5b에 도시한 바와 같이 화소(N)는 경계 방향 비트가 '11111011'로 세트되므로 '1'의 갯수가 '7'개로 '6'보다 크게 되어 화소(N)을 대화자의 중심점으로 판단한다(206).

이와 같이 선택된 화소의 경계 방향 비트를 검색한루에는 선택된 화소의 갯수가 검색 화소의 갯수와 같은지 검색한다(207).

즉, 해당하는 경계 화소로부터 경계선 방향에 대해 90도 방향에 위치한 화소를 설정된 검색 화소의 갯수만큼 검색하여 경계 방향 비트를 세트해주어야 하므로위의 선택 화소 갯수 검색 단계(207)를 수행해야 한다.

예를 들어 대화자의 얼굴의 길이가 화소수로 불 때 20개라그 하면 검색 화소의 갯수는 10개 이상이 된다. 따라서, 검색 화소의 개수를 '10'으로 설정하면 경계화소로부터 경계선 방향에 90도 방향에 위치한 화소를 10개 까지 검색하여 경계 방향 비트를 세트하여야 한다.

이와 같이 10개의 화소의 경계 방향 비트를 모두 검색하지 앉은 경우에는 경계 화소가 위치한 방향에 대해 반대 방향으로 선택된 화소에 인접한 화소를 선택하여(208) 경계 비트 할당 단계(202)와 겅계 비트 세트 단계(204)를 계속해서 수행한다.

한편, 10개의 화소의 경계 방향 비트를 모두 검색한 경우에는 경계선 방향으로 진행하여 이웃한 경계 화소를 선택한다(209). 이때, 선택된 경계 화소가 위에서 설뎔匍경계 방향 비트 검색이 완료된 경계 화소인지 검색한다(210). 즉 이미 선택 되어 검색이 완료된 경계 화소인지 검색하여 검색이 왼료된 화소가 아니면 상기 화소 선택 단계(201)로 진행한다.

또한, 이미 선택되어 검색이 완료된 경계 화소인 경우에는, 즉 하나의 폐곡선을 이루는 모든 경계 화소에 대한 검색이 완료된 경우에는 위에서 판단된 대화자중심점을 중심으로 들러싸인 경계 화소가 이루는 면을 대화자 영상으로 판단한다

(211). 이와 같이 판단된 대화자 영상을 한 프레임의 적외선 영상으로부터 추출하여 생성한루 저장한다(107).

그리고 나서, 상기 증심점 제산 단제(108)를 수행하여 추출되어 저장된 대화자 영상의 중심점울 계산한루, 상기 읍직임 추정 및 모터 구동 단계(109)를 수행하여 상기 게산된 대화자 영상의 중심점 위치에 따라 읍직임을 추정하여 카메라를 이동시킨다.

본 발명에 의한 화상 전화기의 대화자 추적 장치는 도6에 도시한 바와 같이 모터부(400), 제어부(500), 영상 저장부(600), 경계 방향 비트 할당부(700), 대화자 생성부(800), 및 중심점 계산부(900)로 구성된다.

영상 저창부(600)는 추적 모드에서 입력되는 적외선 영상을 A/D 변환하여 저장하는 것으로, 상기 제어부(500)의 제어에 따라 추적 모드에서 입력듸는 적외선 영상신호를 A/D 변환하는 A/D 변환기(610), 및 상기 제어부(500)의 제어에 따라 상기 A/D 변환기(610)로부터 출력되는 적외선 영상 신호와 상기 대화자 생성부(80이로부터 츨력되는 대화자 영상 신호를 저장하는 메모리(620)로 구성된다.

여기서, 메모리(620)는 입력 영상 신호를 저장하기 위해 VRAN 형태를 사용하는 것이 바람직하다.

상기 경계 방향 비트 할당부(700)는 상기 영상 저장부(600)의 메모리(620)에 저장된 직외선 영상으로부터 경계 화소와 경계선 방향을 추츨하여 각 화소의 해당하는 경계 방향 비트에 특정 값을 할당하고 세트하는 것으로, 상기 영상 저창부(600)의 메모리(620)에 저창된 적외선 영상 신호에서 경계 화소를 추츨하는 경계화소 추츨부(710), 상기 경계 화소 추츨부(710)에서 추츨된 경계 화소에 따라 경계선 방향울 추츨하는 경계선 방향 추츨부(720), 상기 겅계 화소 추출부(720)와 컹계방향 추츨부(720)에서 추출된 경계 화소의 겅계선 방향에 대해 90도 방향에 위치한화소들을 쉬프트시켜 츨력하는 쉬프터(730), 및 상기 쉬프터(730)로부터 츨력되는 각각의 화소에 상기 추출된 겅계선 방향에 따라 해당하는 값을 경계 방향 비트로 세트하는 경계 방향 비트 세트부(740)로 구성된다.

대화자 생성부(800)는 경게 방향 비트 할당부(700)의 경계 방향 비트 세트부(740)에서 츨력듸는 각 화소의 경게 방향 비트에 할당된 륵정 값의 갯수에 따라 대화자 영상을 생성하여 상기 영상 저장부(600)의 메모리(620)에 저장하는 것으로, 상기 경계 방향 비트 할당부(700)의 경계 방향 비트 세트부(740)에서 출력되는 각 화소의 경계 방향 비트에 할당된 륵정 값의 갯수를 카운팅하는 카운터(810), 및 상기 카운터(810)의 카운팅값이 일정한 값 이상이 되면 해당하는 화소들을 대화자의 중심점으로 판단하여 대화자 영상을 생성하여 상기 영상 저장부(600)의 메모리(620)에 저장하는 결과 영상 생성부(820)로 구성된다.

중심점 계산부(900)는 상기 영상 저장부(600)의 메모리(620)에 저창된 대화자 영상을 검색하여 대화자의 중심점을 계산하여 상기 제어부(500)로 츨력한다.

제어부(500)는 상기 영상 저창부(600)의 A/D 면완기(610)와 메모리(620)의 동작을 제어하그 상기 중심점 계산부(900)에서 계산된 중심점에 따라 대화자의 움직임을 추정하여 카메라를 이동시키도록 상기 모터부(400)를 제어한다.

모터부(400)는 카메라(300)를 이동시키는 모터(410)와, 상기 제어부(500)의 제어에 따라 상기 모터(410)를 구동시키는 모터 드라이버(420)로 구성된다.

이와 같이 구성되는 본 발명에 의한 화상 전화기의 대화자 추적 장치의 동작을 설명한다.

먼저, 제어부(500)의 제어에 따라 A/D 변환기(610)가 은되어 카메라(300)로부터 들어오는 NTSC 신호를 A/D 변환하여 디지탈 신호로 출력하게 된다.

즉, 추적 모드가 은되어 전화 통화를 시작하는 경우에는 카메라(300)로부터들어오는 영상 신호를 A/D 변환기(610)에서 A/D 변환하그 A/D 변환된 디지탈 영상신호를 메모리(620)에 저장하게 된다.

메모리(620)에 저창된 영상 신호는 경계 화소 추츨부(710)에 입력되어 위의식(1)과 식(2)에 의해 각 화소의 수평 및 수직 미분값(h, v)의 크기가 계산되고 설정된 경계 화소 판별응 문턱치와 비고되어 경계 화소가 추츨된다.

이와 같이 경계 화소 추츨부(710)에서 추츨된 경계 화소를 입력으로, 경계선방향 추츨부(720)에서는 경계선의 방향을 추출하게 된다.

즉, 상기 경게선 방향 추츨부(720)에서는 상기 경계 화소 추츨부(710)에서 추출된 겅계 화소의 수직 및 수핑 미분값의 아크 탄젠트값(atan(h,v))을 경계선 방향으로 추출한다.

이때 추츨된 겅계선 방향은 위에서 설명한 바와 같이 90도에서 -90도까지의 값을 가질 수 있으므로 이를 8가지로 나눈다. 즉, 아크 탄젠트 값을 (x방향, y방향)에 대해 각각 (-1,-1),(0,-1),(1,-1),(1,O),(1,1),(0,1),(-1,1), 및 (-1,이으로 분리하여 경계선 방향이 8가지로 나누어 질 수 있도록 한다.

실제 수학 함수인 아크 탄젠트는 대화자 추적 창치내의 RON에 룩업 테이블형태로 저장되어 해당하는 수평 및 수직 미분값(h, v)에 대한 결과를 이용한다.

이러한 8가지의 경계선 방향을 경계 방향 비트 세트부(740)에서는 각각 8비레지스터에서 한 비트로 표현한다. 즉, 위에서 설명한 바와 같이 8비트의 경계방향 비트를 경계선 방향에 따라 각각 '10000000', 'O1000000', 'O0100000','O0010000 ', ' 00001000 ', ' O0000100 ', ' O0000010 ', 및 ' O0000001'으로 표현한다.

이와 같이 겅계 방향 비트를 세트하는 동작을 설명한다.

먼저, 도5a에 도시한 바와 같이 경제 화소 추출부(710)에서 추츨된 경계 화소의 경계선 방향에 90도 방향에 위치한 각각의 화소를 선택하기 위해 상기 경계 화소 추출부(710)에서 츨력되는 화소를 쉬프터(730)에서 쉬프트시키면서 경계 방향 비트 세트부(740)로 츨력한다.

경계 방향 비트 세트부(740)에서는 위에서 설명한 바와 같이 입력되는 화소의 8개의 경계 방향 비트 중에서 상기 경계선 방향 추츨부(720)로부터 츨력되는 경계선 방향에 해당하는 비트를 '1'로 세트하여 츨력한다.

경계 방향 비트 세트부(740)로부터 츨력되는 8비트의 경계 방향 비트(R(x,y))는 카운터(810)에 입력되어 '1'의 갯수가 카운팅된다.

결과 영상 생성부(820)에서는 카운터(810)에서 카운팅된 '1'의 갯수가 '6'보다 크면, 즉 경계선 방향에 대해 90도룰 이루는 선이 7개 이상 모아지면 해당 화소를 대화자 얼굴의 중심점으로 판단하고 대화자 중심점울 중심으로 들러싸인 경계화소가 이루는 결과 영상을 추츨하여 대화자의 열굴 영상울 생성한다.

결과 영상 생성부(820)에서 생성된 대화자 얼굴의 영상은 메모리(620)에 저장되어, 중심점 계산부(900)에서 아래 식(3)과 식(4)와 같이 중심점이 계산된다.

x중심점 = 1/N ∑ I(i, j) X i ----- 식(3)

y중심점 = 1/N ∑ I(i, j) X j ----- 식(4)

여기서, N은 걸과 영상, 즉 대화자 얼굴의 영상을 이루는 화소의 갯수이다.

이와 같이 계산된 중심점은 제어부(500)에 입력되그 제어부(500)에서는 이를 이응하여 대화자의 이동, 즉 움직임을 추정하그 추정된 음직임에 따라 모터 드라이버(420)를 제어한다. 모터 드라이버(420)에 의해 모터(410)가 적외선 카메라(30이를 이동시켜 대화자를 추적하게 된다.

한핀, 제어부(500)에서는 적외선 카메라(300)에서 적외선 영상이 입력되면 A/D 변환기(610)와 메모리(620)를 은시켜 적외선 카메라(300)로부터 들어오는 영상신호를 A/D 변환하여 저장할 수 있도록 한다.

이와 같이 메모리(620)에 저장한루에는 A/D 면완기(610)를 오프시켜 다시 카메라(300)로부터 들어오는 영상 신호를 받아들이지 못하도록 한다.

그리그 결과 영상 생성부(820)에서 결과 영상이 생성된루에는 다시 A/D 변환기(610)와 메모리(620)를 은시켜 카메라(300)로부터 들어오는 다음 영상 신호를 받아들일 수 있도록 한다.

이와 같은 동작은 입력된 영상 신호로부터 결과 영상이 추츨되어 중심점이계산될때까지 현재 입력된 영상이 변하지 않도록 하기 위한 것이다.

이상에서 설명한 바와 같이 본 발명에 의한 화상 전화기의 대화자 추적 방법 및 장치는 적외선 입력 영상에서 추츨된 경계 화소의 크기와 방향을 이응하여 각 입력 영상에 할당된 레지스터의 값을 할당하는 과정을 통해 레지스터의 값에 따라 배경과 대화자를 분리하여 대화자를 추적하므로 추적 성능이 향상되는 효과가 있다.

본 발명의 목적은 화상 전화기에 있어서, 대화자를 추적하여 카메라를 자동으로 이동시키므로씨 대화자가 이동하면서 통화할 수 있도록 하기 위한 대화자 추적 방법 및 장치를 제공함에 있다.

Claims

추적 모드에서 입력되는 적외선 영상 신호로부터 경계 화소와 경계선 방향을 추츨하는 경계 추츨 단계(100,101,102,103):상기 추출된 경계 화소의 경계선 방향의 90도 방향에 위치한 모든 화소에 대해서 상기 추츨된 경계선 방향에 해당하는 겅계 방향 비트에 특청 값을 할당하고 그 할당된 특정값의 개수에 따라 대화자 영상을 추츨 및 저장하는 대화자 추출 단계(104,105, 106, 107):

상기 추출된 대화자 영상의 증심점을 계산하는 중심점 계산 단계(108):및 상기 계산된 대화자 영상의 증심점에 따라 움직임을 추정하여 카메라를 이동시키는 움직임 추정 및 모터 구동 단계(109)를 포함하여 수행됨을 특징으로 하는 하는 화상 전화기의 대화자 추적 방법.
제 1 항에 있어서, 상기 경계 추츨 단계(100,101,102,103)는 추적 모드에서 입력되는 적외선 영상 신호를 A/D(砧a1애/Digital) 면완하여 저장하는 적외선 영상 저장 단계(100,101):

상기 저장된 적외선 영상 신호에서 경계 화소를 추출하는 경계 화소 추출 단계(102):및

상기 추츨된 경계 화소의 수직 및 수핑 미분값의 아크 탄젠트값(atan(h,v))으로 경계선 방향을 추츨하는 경게선 방향 추출 단게(103)를 포함하여 수행됨을 특징으로 하는 화상 전화기의 대화자 추적 방법.
제 2 항에 있어서, 상기 겅계 화소는 상기 설정된 초기창내의 각 화소의 밝기값의 수평 및 수직 방향의 미분값의 크기와 설청된 경계선 판별응 문턱치의 비교에의해 결정됨을 륵징으로 하는 화상 전화기의 대화자 추적 방법.
제 1 항에 있어서, 상기 대화자 추출 단계(104,105,106,107)는 상기 추출된 경계 화소의 경계선 방향에 대해 90도 방향에 위치한 각각의 화소에 상기 추출된 경계선 방향에 따라 특정 값을 경계 방향 비트에 할당하는 겅계 방향 비트 할당 단지1(104):상기 경계 방향 비트에 할당된 륵정 값의 갯수를 카운팅하여 대화자 중심점을 판단하는 대화자 중심점 판단 단계(105); 및 상기 대화자 중심점을 중심으로 들리싸인 경계 화소가 이루는 대화자 영상을 추출하여 생성하는 대화자 영상 생성 단계(106)를 포함하여 수행뵘을 특징으로 하는 화상 전화기의 대화자 추적 방법.
제 4 항에 있어서, 상기 경계 방향 비트 할당 단계는 상기 경계 방향 비트를 할당하기 위한 검색 화소의 갯수를 설청하는 검색 화소 갯수 설정 단계(200):상기 설정된 화소 갯수에 따라 상기 추츨된 경계 화소의 경게선 방향에 대해 90도에 위치한 화소를 선택하는 화소 선택 단계(201);상기 선택된 화소에 상기 경계 방향 비트로 8비트를 할당하는 할당 단계(202);및상기 할당된 8비트의 경계 방향 비트 중에서 상기 추출된 경계선 방향에 해당하는 비트들을 륵정 값으로 세트하는 경계 방향 비트 세트 단계(203)를 포함하여 수행됨을 특징으로 하는 화상 전화기의 대화자 추적 방법.
제 5 항에 있어서, 상기 경계 방향 비트 세트 단계(203)는 상기 추출된 경제선 방향이 x방향과 y방향으로 (-1,-1)인 겅우 할당된 8비트의 경계 방향 비트 중에서 첫번째 비트에 륵정 값을 세트하그, 상기 추츨된 경계선 방향이 x방향과 y방향으로 (0,-1)인 경우 할당된 8비트의 경계 방향 비트 중에서 두번째 비트에 특정 값을세트하고, 상기 추출된 경계선 방향이 x방향과 y방향으로 (1,-1)인 겅우 할당된 8비트의 경계 방향 비트 중에서 세번째 비트에 륵정 값을 세트하그, 상기 추출된 경계선 방향이 x방향과 y방향으로 (1, 이인 경우 할당된 8비트의 경계 방향 비트 중에서 네번째 비트에 륵청 값을 세트하그, 상기 추츨된 경계선 방향이 x방향과 y방향으로 (1,1)인 경우 할당된 8비트의 경계 방향 비트 중에서 다섯번째 비트에 륵정 값을 세트하그, 상기 추츨된 컹계선 방향이 x방향과 y방향으로 (0,1)인 경우할당된 8비트의 경계 방향 비트 중에서 여섯번째 비트에 륵정 값을 세트하그, 상기 추출된 경계선 방향이 x방향과 y방향으로 (-1,1)인 경우 할당된 8비트의 경계 방향 비트 중에서 일곱번째 비트에 륵정 값울 세트하그, 상기 추츨된 경계선 방향이 x방향과 y방향으로 (-1, 이인 경우 할당된 8비트의 경계 방향 비트 중에서 여덟번째 비트에 특정 값을 세트하여 수행됨을 특징으로 하는 화상 전화기의 대화자 추적방법.
제 5 항에 있어서, 상기 검색 화소의 개수는 예상되는 대화자의 얼굴의 길이에 해당하는 화소의 갯수의 1/2 이상으로 설정됨을 륵징으로 하는 화상 전화기의 대화자 추적 방법.
추적 모드에서 입력되는 적외선 영상울 A/D 변환하여 저창하는 영상 저창 수단(600):상기 영상 저장 수단(600)에 저장된 적외선 영상으로부터 겅계 화소와 경계선 방향을 추츨하여 각 화소의 해당하는 경계 방향 비트에 륵정 값을 할당하그 세트하는 경계 방향 비트 할당 수단(700): 상기 경계 방향 비트 할당 수단(700)에서 츨력되는 각 화소의 경계 방향 비트에 할당된 특정 값의 갯수에 따라 대화자 영상을 생성하여 상기 영상 저장 수단(600)에 저장하는 대화자 생성 수단(800): 상기 영상 저창 수단(600)에 저창된 대화자 영상율 검색하여 대화자의 중심점을 계산하는 중심점 계산수단(900):및 상기 영상 저장 수단(600)의 동작을 제어하그 상기 중심점 계산 수단(900)에서 계산된 중심점에 따라 대화자의 읍직임을 추정하여 카메라를 이동시키도록 제어하는 제어 수단(500)울 포함하여 구성뵘을 륵징으로 하는 화상 전화기의 대화자 추적 장치.
제 8 항에 있어서, 상기 영상 저장 수단(600)은 상기 제어 수단(500)의 제어에 따라 추적 모드에서 입력되는 적외선 영상신호를 A/D 변환하는 A/D 변환기(610): 및 상기 제어 수단(500)의 제어에 따라 상기 A/D 변환기(610)로부터 츨력되는 적외선 영상 신호와 상기 대화자 생성 수단(800)으로부터 츨력되는 대화자 영상 신호를 저장하는 메모리(620)를 포함하여 구성됨을 특징으로 하는 화상 전화기의 대화자 추적 장치.
제 8 항에 있어서, 상기 경계 방향 비트 할당 수단(700)은 상기 영상 저창 수단(600)에 저창된 적외선 영상 신호에서 경계 화소를 추츨하는 경계 화소 추출부(710): 상기 경계 화소 추츨부(710)에서 추츨된 경계 화소에 따라 경계선 방향을 추츨하는 경계선 방향 추츨부(720):상기 경계 화소 추츨부(710)와 경계선 방향 추출부(720) 에서 추츨된 경계 화소의 경게선 방향에 대해 90도 방향에 위치한 화소들을 쉬프트시켜 출력하는 쉬프터(730);및 상기 쉬프터(730)로부터 츨력되는 각각의 화소에 상기 추출된 경계선 방향에따라 해당하는 값을 겅계 방향 비트로 세트하는 경계 방향 비트 세트부(740)를 포함하여 구성뵘을 륵징으로 하는 화상 전화기의 대화자 추적 장치.
제 8 항에 있어서, 상기 대화자 생성 수단(800)은 상기 경계 방향 비트 할당수단(700)에서 츨력되는 각 화소의 경계 방향 비트에 할당된 륵정 값의 갯수를 카운팅하는 카운터(810);및 상기 카운터(810)의 카운팅값이 일정한 값 이상이 되면 해당하는 화소들을대화자의 중심점으로 판단하여 대화자 영상을 생성하여 상기 영상 저장 수단(60여에 저장하는 결과 영상 생성부(820)를 포함하여 구성됨을 특징으로 하는 화상 전화기의 대화자 추적 장치.