KR19980040539A - 화상 전화기의 대화자 추적 방법 - Google Patents

Abstract

본 발명은 적외선 카메라를 이용한 화상 전화기에 있어서, 추적 모드에서 입력되는 적외선 영상 신호의 필터링을 통해 추출된 경계 화소의 위치에 따라 방향 데이터에 특정 값을 할당하고 대화자 영상을 추출하여 중심점 추적을 통해 움직임을 추정하고 그에 따라 카메라를 이동시켜 추적하므로써 추적 성능을 향상시키는데 목적이 있는 것으로, 이와같은 목적은 추적 모드에서 입력되는 적외선 영상 신호를 경계화소에 대한 출력값이 0이되는 필터를 사용하여 필터링함으로써 경계 화소를 추출하는 경계 화소 추출 과정; 상기 필터의 계수에 의해 추출된 경계 화소의 방향을 결정하는 화소 방향 결정 과정; 상기 경계화소에 따라 상기 입력되는 적외선 영상과 동일한 크기를 갖는 레지스터에 해당하는 방향 데이터를 세트하고 대화자 얼굴을 추출하는 대화자 얼굴 추출 과정; 상기 추출된 대화자 얼굴의 중심점을 계산하는 중심점 계산 과정; 및 상기 계산된 대화자 얼굴의 중심점의 위치에 따라 움직임을 추정하여 카메라를 이동시키는 움직임 추정과정을 포함하여 수행됨으로써 달성된다.

Description

화상 전화기의 대화자 추적 방법

본 발명은 적외선 카메라를 이용한 화상 전화기에 있어서, 입력 영상을 필터링하여 추출한 경계 화소에 따라 배경과 대화자를 분리하고 중심점 추적을 통해 카메라를 이동시켜 대화자를 추적하는 대화자 추적 방법에 관한 것이다.

일반적으로 물체, 즉 목표물(Target)을 추적하는 추적 기법에는 중심점 추적 기법과 상관 추적 기법이 있다.

중심점 추적 기법은 도 1a에 도시한 바와 같이 이동 물체를 배경으로 부터 분리한후 추출된 이동 물체의 중심점(A)을 추적하는 방법이다. 이때, 이동 물체, 즉 목표물을 배경과 분리하기 위해 문턱치를 이용하게 된다. 즉, 문턱치를 이용하여 배경과 물체를 이진화 한다.

그러나 이러한 중심적 추적 기법은 잡음에 대한 영향을 많이 받는 단점이 있다.

즉, 영상이 비교적 단순하여 영상 영역화가 용이하고 추적 가능한 물체의 속도에 대한 제약이 비교적 적은 경우에는 추적 안정성이 좋고 잡음의 영향이 적다. 그러나 반대로 영상이 비교적 복잡하여 영상 영역화가 용이하지 않고 추적 가능한 물체의 속도에 대한 제약이 비교적 많은 경우에는 추적 안정성이 나쁘고 잡음이 많아 진다.

또한, 상관 추적 기법은 도1b에 도시한 바와 같이 이전 영상의 이동 물체, 즉 목표물의 위치에 적당한 크기의 영역(B)을 정의하고 정의된 영역(B)과 현재 영상내의 검색 영역과의 상관도를 계산하여 상관도가 가장 높은 영역(B')으로 물체가 이동한 것으로 추정하는 방법이다.

즉, 상관 추적 기법은 주어진 n번째 영상에서 이동 물체의 위치가 주어진 경우 이동 물체를 포함하는 일정한 크기의 윈도우 영역, 즉 상관 영역을 정의하고, n+1번째 영상에서의 검색 영역상의 각 위치에 대하여 상관도를 계산하여 상관도가 가장 높은 영역의 위치를 n+1번째 영상에서의 이동 물체의 위치로 간주한다.

여기서, 상관도 계산시 초기창의 모양, 즉 현재 프레임과 이전 프레임의 상관도 계산시 사용되는 영역은 주로 정사각형 형태의 윈도우 형태로 이루어진다.

따라서 상관 추적 기법은 영상 영역화 과정을 수행하지 않고 입력되는 현재 프레임의 영상으로 부터 직접 상관도를 계산하기 때문에 비교적 복잡한 영상에 대해서도 추적 성능이 유지되지만 계산량이 많아지는 단점이 있다.

즉, 상관 추적 기법은 일반적으로 중심점 추적 기법에 비하여 영상을 이진화하지 않고 영상의 명암 정보를 사용하기 때문에 배경 산란 등이 첨가되어 영상 영역화가 불가능한 경우에도 어느 정도의 추적 성능을 기대할 수 있다. 그러나 상관 추적 기법은 이동 물체의 움직임을 추정하기 위해서 상관 영역과 검색 영역 사이의 모든 경우에 대해 상관도를 계산하여야 하기 때문에 계산량이 많아지는 단점이 있다.

상기 단점을 개선하기 위한 본 발명은 화상 전화기에 있어서, 배경과 얼굴의 구분이 용이한 적외선 영상과 중심적 추적 방법을 이용하여 추적 성능을 향상시키기 위한 대화자 추적 방법을 제공함에 그 목적이 있다.

도 1a은 종래의 중심점 추적 기법을 설명하기 위한 도.

도 1b은 종래의 상관 추적 기법을 설명하기 위한 도.

도 2 는 본 발명의 방법이 대상으로 하는 대화자 추적 장치의 블럭도.

도 3a은 각 화소의 밝기값을 일예를 들어 나타낸 도.

도 3b은 도 3a에 대하여 필터를 이용한 경계화소의 추출을 설명하기 위한

도.

도 4 는 본 발명에 의한 대화자 추적 방법의 흐름도.

도 5a는 추출된 경계화소의 방향을 설명하기 위한 도.

도 5b는 경계방향선의 화소에 대한 비트 할당을 설명하기 의한 도.

도 5c는 경계화소에 둘러싸인 목표물 내부의 추출을 설명하기 위한 도.

도면의 주요 부분에 대한 부호의 설명

100 : 적외선 카메라 110 : 입력영상 저장부

111 : 아날로그/디지탈 변환부 112 : 메모리

120 : 필터링부 130 : 경계화소 방향 추출부

140 : 목표물 내부 추출부 150 : 중심점 계산부

160 : 씨피유 170 : 모터 구동부

상기 목적을 달성하기 위해 본 발명에 의한 화상 전화기의 대화자 추적 방법은, 추적 모드에서 입력되는 적외선 영상 신호를 경계화소에 대한 출력값이 0이되는 필터를 사용하여 필터링함으로써 경계 화소를 추출하는 경계 화소 추출 과정; 상기 필터의 계수에 의해 추출된 경계 화소의 방향을 결정하는 화소 방향 결정 과정; 상기 경계화소에 따라 상기 입력되는 적외선 영상과 동일한 크기를 갖는 레지스터에 해당하는 방향 데이터를 세트하고 대화자 얼굴을 추출하는 대화자 얼굴 추출 과정; 상기 추출된 대화자 얼굴의 중심점을 계산하는 중심점 계산 과정; 및 상기 계산된 대화자 얼굴의 중심점의 위치에 따라 움직임을 추정하여 카메라를 이동시키는 움직임 추정과정을 포함하여 수행됨을 특징으로 한다.

이하 첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

본 발명에 의한 화상 전화기의 대화자 추적 방법은 도 4에 도시한 바와 같이 경계 화소 추출 과정(ST100, ST110, ST120, ST130), 화소 방향 결정 과정(ST140); 대화자 얼굴 추출 과정(ST150), 중심점 계산 과정(ST160), 움직임 추정 과정(ST170,ST180)에 의해 수행된다.

상기 경계 화소 추출 과정(ST100, ST110, ST120, ST130)은 추적 모드에서 입력되는 적외선 영상 신호를 필터링하여 경계 화소를 추출하는 단계로, 추적 모드에서 입력되는 적외선 영상 신호를 A/D(Analog/Digital) 변환하여 저장하는 적외선 영상 저장 단계(ST100, ST110, ST120), 상기 저장된 적외선 영상 신호를 수평 및 수직 방향의 필터 계수에 따라 필터링하여 경계 화소를 추출하는 필터링 단계(ST130)에 의해 수행된다.

상기 경계 화소 방향 추출 과정(ST140)은 상기 필터 계수의 방향에 따라 각 화소의 방향을 추출하는 과정이다.

대화자 얼굴 추출 과정(ST150)은 추출된 경계 화소에 따라 상기 입력되는 적외선 영상과 동일한 크기를 갖는 레지스터를 설정한 다음 해당하는 방향 데이터를 세트하고, 그 방향 데이타에 따라 상기 경계 화소가 이루는 면을 얼굴 부분으로 판단하여 얼굴을 추출하는 과정이다.

상기 중심점 계산 과정(ST160)은 상기 추출된 대화자 얼굴의 중심점을 계산하는 과정이다.

상기 움직임 추정 과정(ST170, ST180)은 상기 계산된 대화자 얼굴의 중심점의 위치에 따라 움직임을 추정하여 카메라를 이동시키는 과정이다.

여기서, 상기 방향 데이터는 4비트로 이루어지며, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 45도 방향에 위치한 경우에는 첫번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 0도 방향에 위치한 경우에는 두번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 90도 방향에 위치한 경우에는 세번째 비트에 '1'을 세트하고, 상기 레지스터내의 화소에 인접하여 존재하는 경계 화소가 -45도 방향에 위치한 경우에는 네번째 비트에 '1'을 세트하여 이루어진다.

이와 같이 이루어지는 본 발명에 의한 화상 전화기의 대화자 추적 방법을 첨부된 도면을 참조하여 설명하면 다음과 같다.

먼저, 경계 화소 추출 과정(ST100, ST110, ST120, ST130)을 수행하여 입력되는 적외선 영상의 경계를 추적하는데, 이를 세부적으로 설명하면 다음과 같다.

전화가 개시되고 사용자의 상황에 따라서 추적 기능을 사용하기를 원하지 않을 경우가 있을 수 있으므로 사용자가 추적 기능을 사용할 것인가를 먼저 결정한다(ST100). 추적 모드와 비추적 모드의 구별은 스위치로 간단하게 구현할 수 있다. 즉, 스위치가 온(ON)되어 있으면 추적 기능을 수행하고 오프(OFF)되어 있으면 수행하지 않는다.

스위치를 온시켜 추적 기능을 수행하는 추적 모드가 되면 카메라로 부터 입력되는 적외선 영상 신호를 A/D(Analog/Digital) 변환하여 저장하는 적외선 영상 저장 단계(ST100, ST110, ST120)를 수행한다.

즉, 카메라에서 들어오는 적외선 영상 신호는 A/D 변환기를 통해 2차원 행렬상에서 지정된 범위내의 값을 가지는 디지탈 영상(I(x, y))이 되어 저장된다.

이렇게 저장된 디지탈 영상은 필터링 단계(ST130)에 의해 3×3 크기의 필터를 사용하여 각 화소간의 거리 데이타 값이 급격히 변하는 부분인 경계화소를 추출하게 된다.

즉, 도 3a에 도시한 바와같은 각 화소의 밝기값을 가지는 영상에 대해서 도 3b에 도시한 바와같이 그 밝기값이 급격히 변하는 부분을 추출하는 것이다.

이러한, 필터링 단계(ST130)는 각 방향에 따라 각각의 필터 계수를 갖는 4개의 필터로 필터링하여 수행되며, 상기 4개의 필터는 각각 3 x 3 필터로 이루어지고, 상기 필터의 필터 계수는 각각

이다.

만약 상기의 필터 (A)를 적용하여 필터링을 행하게 된다면 그의 출력은 다음 식 [1]과 같다.

[식1]

또한, 다른 필터에 대한 출력값 또한 같은 방식으로 계산된다.

그러므로, 디지탈 영상에 대해 상기 필터를 통과시키면 경계화소의 출력값이 '0'이되며, 이것을 이용하여 경계화소를 추출하는 것이 가능하게 된다.

이러한 필터를 사용하는 경우 미분기를 사용하여 경계화소를 추출할때와는 달리 문턱치를 설정하는 단계가 생략된다.

상기의 필터링 단계(ST130)에 의하여 경계 화소가 추출되면 경계화소의 방향을 스텝 140(ST140)에서 추출하게 되는데, 이러한 경계의 방향은 필터의 출력값이 '0'이 되는 화소의 필터의 계수를 보고 판단한다.

즉, 4개의 3 x 3 필터의 필터 계수(A)는 45도, 필터 계수(B)는 0도, 필터 계수(C)는 90도, 및 필터 계수(D)는 -45도가 되므로, 각각의 필터 계수(A, B, C, D)를 갖는 4개의 필터를 각 화소에 적용하여 '0'이 되면 그때의 필터 형태로 경계 방향을 결정한다.

예를 들어, 한 화소에 대해 4개의 필터 계수(A, B, C, D)를 갖는 필터로 각각 필터링한 결과 필터 계수(A)를 갖는 필터에 의해 필터링한 결과 '0'이 출력되었다면 경계의 방향은 45도가 되는 것이다.

이러한 방향은 각각 45도에 대해 '0001', 0도에 대해서는 '0010', 90도에 대해 '0100', -45도에 대해 '1000'으로 표시하게 된다.

이렇게 경계화소의 방향이 추출되면 대화자 얼굴 추출 단계(ST150)에서는 입력 영상의 한 화소당 1개의 레지스터 설정한 다음 그 값을 0으로 클리어 시킨다.

이후 도 5a에 도시한 바와같이 경계 화소에 대해 경계 방향과 90도를 이루는 2개의 방향 즉, 1과 2방향으로 소정의 화소 길이만큼 경계 방향 비트를 셋팅하게 되는데, 이는 도 5b에 도시한 바와같이 경계의 방향에 대해 90도 방향의 2개의 방향선상에 위치하는 화소를 '0100'으로 셋팅한다.

이때, 도 5a의 빗금친 부분은 '1111'이 셋팅된 화소 즉, 경계화소 내부의 화소가 된다.

그러므로, '1111'이 할당된 부분으로 갈수록 각 화소는 '1'의 갯수가 4개에 가깝고, 멀어질수록 '1'의 갯수가 1개에 가깝게 나타난다.

즉, '1111'이 할당된 화소와 일정거리 떨어진 경계화소 부분쪽으로 갈수록 밝기값은 낮아지고, '1111'이 할당된 화소와 가까울수록 밝기값은 높아지는 것이다.

따라서, 도 5c에 도시한 바와같이 경계부분 내부에서 먼저 '1'의 갯수가 4개인 화소를 찾아내고, 이 화소의 주변 화소중 '1'의 갯수가 3개인 화소들 즉, '1110', '0111', '1011', '1101'을 포함하여 '1111'을 할당함으로써 최종적인 얼굴 내부로 확정하여 추출하는 것이다.

대화자의 얼굴 부분이 추출되면 중심점 계산 단계(ST160)에서는 추출된 얼굴 내부의 중심점을 구하게 되는데, 이의 중심점은 다음 식 [2]와 식 [3]에 의해 계산되어진다.

[식2]

[식3]

여기서은 밝기값 즉,가 1인 화소의 갯수이다.

이렇게, 중심점 계산 단계(ST160)를 수행하여 대화자 얼굴 내부의 중심점을 구한 다음 상기 움직임 추정 단계(ST170)를 수행하여 상기 계산된 대화자 영상의 중심점에 따라 움직임을 추정하여 카메라를 이동시킨다(ST180).

본 발명의 방법이 대상으로 하는 화상 전화기의 대화자 추적 장치는 도 2에 도시한 바와 같이 입력영상 저장부(110), 필터링부(120), 경계화소 방향 추출부(130), 목표물 내부 추출부(140), 중심점 계산부(150), 씨피유(160), 모터 구동부(170)로 구성된다.

이와 같이 구성되는 본 발명에 의한 화상 전화기의 대화자 추적 장치의 동작을 설명한다.

먼저, 제어부(160)의 제어에 따라 입력영상 저장부(110)의 아날로그/디지탈 변환부(111) 온되어 카메라(100)로 부터 들어오는 NTSC 신호를 디지탈 신호로 변환하여 출력하게 된다.

즉, 추적 모드가 온되어 전화 통화를 시작하는 경우에는 카메라(100)로부터 들어오는 영상 신호를 아날로그/디지탈 변환부(111)에서 2차원 행렬상에서 지정된 범위내의 값을 가지는 디지탈 영상(I(x, y))으로 변환하여 메모리(112)에 저장하게 된다.

이렇게 저장된 디지탈 영상은 필터링부(120)에 의해 3×3 크기의 필터를 사용하여 각 화소간의 거리 데이타 값이 급격히 변하는 부분인 경계화소를 추출하게 된다.

즉, 도 3a에 도시한 바와같은 각 화소의 밝기값을 가지는 영상에 대해서 도 3b에 도시한 바와같이 그 밝기값이 급격히 변하는 부분을 추출하는 것이다.

이러한, 필터링부(120)는 각 방향에 따라 각각의 필터 계수를 갖는 4개의 필터로 필터링하여 수행되며, 상기 4개의 필터는 각각 3 x 3 필터로 이루어지고, 상기 필터의 필터 계수는 각각

이다.

만약 상기의 필터 (A)를 적용하여 필터링을 행하게 된다면 그의 출력은 상기 식 [1]과 같다.

그러므로, 디지탈 영상에 대해 상기 필터를 통과시키면 경계화소의 출력값이 '0'이되며, 이것을 이용하여 경계화소를 추출하는 것이 가능하게 된다.

이러한 필터를 사용하는 경우 미분기를 사용하여 경계화소를 추출할때와는 달리 문턱치를 설정하는 단계가 생략된다.

상기의 필터링부(120)에 의하여 경계 화소가 추출되면 경계화소의 방향을 경계화소 방향 추출부(130)에서 추출하게 되는데, 이러한 경계 화소의 방향은 필터의 출력값이 '0'이 되는 화소의 필터의 계수를 보고 판단한다.

즉, 4개의 3 x 3 필터의 필터 계수(A)는 45도, 필터 계수(B)는 0도, 필터 계수(C)는 90도, 및 필터 계수(D)는 -45도가 되므로, 각각의 필터 계수(A, B, C, D)를 갖는 4개의 필터를 각 화소에 적용하여 '0'이 되면 그때의 필터 형태로 경계 방향을 결정한다.

예를 들어, 한 화소에 대해 4개의 필터 계수(A, B, C, D)를 갖는 필터로 각각 필터링한 결과 필터 계수(A)를 갖는 필터에 의해 필터링한 결과 '0'이 출력되었다면 경계의 방향은 45도가 되는 것이다.

이러한 방향은 각각 45도에 대해 '0001', 0도에 대해서는 '0010', 90도에 대해 '0100', -45도에 대해 '1000'으로 표시하게 된다.

이렇게 경계화소의 방향이 추출되면 목표물 내부 추출부(140)에서는 대화자의 얼굴을 추출하기 위하여 입력 영상의 한 화소당 1개의 레지스터 설정한 다음 그 값을 0으로 클리어 시킨다.

이후 도 5a에 도시한 바와같이 경계 화소에 대해 경계 방향과 90도를 이루는 2개의 방향 즉, 1과 2방향으로 소정의 화소 길이만큼 경계 방향 비트를 셋팅하게 되는데, 이는 도 5b에 도시한 바와같이 경계의 방향에 대해 90도 방향의 2개의 방향선상에 위치하는 화소를 '0100'으로 셋팅한다.

이때, 도 5a의 빗금친 부분은 '1111'이 셋팅된 화소 즉, 경계화소 내부의 화소가 된다.

그러므로, '1111'이 할당된 부분으로 갈수록 각 화소는 '1'의 갯수가 4개에 가깝고, 멀어질수록 '1'의 갯수가 1개에 가깝게 나타난다.

즉, '1111'이 할당된 화소와 일정거리 떨어진 경계화소 부분쪽으로 갈수록 밝기값은 낮아지고, '1111'이 할당된 화소와 가까울수록 밝기값은 높아지는 것이다.

따라서, 도 5c에 도시한 바와같이 경계부분 내부에서 먼저 '1'의 갯수가 4개인 화소를 찾아내고, 이 화소의 주변 화소중 '1'의 갯수가 3개인 화소들 즉, '1110', '0111', '1011', '1101'을 포함하여 '1111'을 할당함으로써 최종적인 얼굴 내부로 확정하여 추출하는 것이다.

대화자의 얼굴 부분이 추출되면 중심점 계산부(150)에서는 추출된 얼굴 내부의 중심점을 구하게 되는데, 이의 중심점은 상기 식 [2]와 식 [3]에 의해 계산되어진다.

이와 같이 계산된 중심점은 씨피유(160)에 입력되고, 씨피유(160)에서는 이를 이용하여 대화자의 이동, 즉 움직임을 추정하고 추정된 움직임에 따라 모터 구동부(170)를 제어함으로써 적외선 카메라(100)를 이동시켜 대화자를 추적하게 된다.

한편, 씨피유(160)에서는 적외선 카메라(100)에서 적외선 영상이 입력되면 아날로그/디지탈 변환부(111)와 메모리(112)를 온시켜 적외선 카메라(100)로부터 들어오는 영상 신호를 디지탈 신호로 변환하여 저장할 수 있도록 한다.

이와 같이 메모리(112)에 저장한후에는 아날로그/디지탈 변환부(111)를 오프시켜 다시 카메라(100)로부터 들어오는 영상 신호를 받아들이지 못하도록 한다.

그리고 중심점 게산부(150)에서 중심점 계산이 된후에는 다시 아날로그/디지탈 변환부(111)와 메모리(112)를 온시켜 카메라(100)로부터 들어오는 다음 영상 신호를 받아들일 수 있도록 한다.

이와 같은 동작은 입력된 영상 신호로부터 중심점이 추출되어 계산될때까지 현재 입력된 영상이 변하지 않도록 하기 위한 것이다.

위의 과정을 계속 반복 적용하여 카메라가 대화자를 추적하도록 하는데, 1초에 10번 이상 실행되면 대화자를 충분히 추적할 수 있다.

이상에서 설명한 바와 같이 본 발명에 의한 화상 전화기의 대화자 추적 방법은 적외선 입력 영상 신호를 필터링하여 추출된 경계 화소의 방향을 이용하여 대화자의 중심점을 판단하여 추적하므로써 추적 성능이 향상되는 효과가 있다.

Claims (5)

1. 추적 모드에서 입력되는 적외선 영상 신호를 경계화소에 대한 출력값이 0이되는 필터를 사용하여 필터링함으로써 경계 화소를 추출하는 경계 화소 추출 과정;

   상기 필터의 계수에 의해 추출된 경계 화소의 방향을 결정하는 화소 방향 결정 과정;

   상기 경계화소에 따라 상기 입력되는 적외선 영상과 동일한 크기를 갖는 레지스터에 해당하는 방향 데이터를 세트하고 대화자 얼굴을 추출하는 대화자 얼굴 추출 과정;

   상기 추출된 대화자 얼굴의 중심점을 계산하는 중심점 계산 과정; 및 상기 계산된 대화자 얼굴의 중심점의 위치에 따라 움직임을 추정하여 카메라를 이동시키는 움직임 추정과정을 포함하여 수행됨을 특징으로 하는 화상 전화기의 대화자 추적 방법.
2. 제 1 항에 있어서, 경계 화소 추출 과정은 추적 모드에서 입력되는 적외선 영상 신호를 디지탈 신호로 변환하여 저장하는 적외선 영상 저장 단계;

   상기 저장된 적외선 영상 신호를 수평 및 수직 방향의 필터 계수에 따라 필터링하여 경계 화소를 추출하는 필터링 단계에 의해 수행됨을 특징으로 하는 화상 전화기의 대화자 추적 방법.
3. 제 2 항에 있어서, 필터링 단계는 각 방향에 따라 각각의 필터 계수를 갖는 4개의 필터로 필터링하여 수행됨을 특징으로 하는 화상 전화기의 대화자 추적 방법.
4. 제 3 항에 있어서, 4개의 필터는 각각 3 x 3 필터로 이루어짐을 특징으로 하는 화상 전화기의 대화자 추적 방법.
5. 제 4 항에 있어서, 필터의 필터 계수는 각각

   임을 특징으로 하는 화상 전화기의 대화자 추적 방법.