KR100226587B1

KR100226587B1 - 화상전화기의 목표물 추적장치 및 방법

Info

Publication number: KR100226587B1
Application number: KR1019960070827A
Authority: KR
Inventors: 정성학
Original assignee: 전주범; 대우전자주식회사
Priority date: 1996-12-24
Filing date: 1996-12-24
Publication date: 1999-10-15
Also published as: KR19980051907A

Abstract

본 발명은 화상 전화기에 있어서, 적외선 입력 영상으로부터 상관영역을 설정하여 이를 쿼드트리 분할한 다음 밝기값에 따라 영역을 병합하여 상관영역의 모양을 설정하고, 설정된 상관영역의 모양을 일반 영상에 의해 설정된 검색 영역에 대응시켜 상관도를 계산함으로써 계산량을 줄임과 아울러 목표물의 추적이 용이하도록 하는데 그 목적이 있는 것으로, 이와같은 목적은 추적 모드가 되면 현재의 일반 영상과 이전의 적외선 영상을 선택적으로 입력받아 디지탈 신호로 변환하여 저장하는 영상 저장 과정; 상기 영상 저장 과정에 의해 저장된 이전의 적외선 영상으로부터 소정 크기의 상관영역을 설정하여 이 상관영역에 의해 소정 크기의 상관 영역의 모양을 설정하고, 현재의 일반 영상으로부터 검색 영역을 설정하는 영역 설정 과정; 상기 영역 설정 과정에 의해 설정된 상관 영역의 모양으로 검색 영역을 탐색하여 상관도를 계산하는 상관도 계산 과정; 상기 상관도 계산 과정에 의해 계산된 상관도에 따라 움직임을 추정하여 카메라를 이동시키는 움직임 추정 및 모터 구동 과정; 및 통화가 종료될때까지 입력되는 영상에 대해 영상 저장 과정부터 움직임 추정 및 모터 구동 과정까지를 반복하는 통화 종료 과정을 포함하여 수행됨으로써 달성된다.

Description

화상전화기의 목표물 추적장치 및 방법

본 발명은 화상 전화기에 있어서, 목표물을 추적하기 위해 적외선 영상으로부터 상관영역을 설정하여 이를 검색영역에 대응시켜 상관도를 계산함으로써 그에따라 움직임을 추정하여 카메라의 방향을 변경해 주는 화상 전화기의 목표물 추적 방법 및 장치에 관한 것이다.

일반적으로 물체, 즉 목표물(Target)을 추적하는 추적 기법에는 중심점 추적 기법과 상관 추적 기법이 있다.

중심점 추적 기법은 도 1a에 도시한 바와 같이 이동 물체를 배경으로 부터 분리한후 추출된 이동 물체의 중심점(A)을 추적하는 방법이다.

이때, 이동 물체, 즉 목표물을 배경과 분리하기 위해 문턱치를 이용하게 된다. 즉, 문턱치를 이용하여 배경과 물체를 이진화 한다.

그러나 이러한 중심적 추적 기법은 잡음에 대한 영향을 많이 받는 단점이 있다.

즉, 영상이 비교적 단순하여 영상 영역화가 용이하고 추적 가능한 물체의 속도에 대한 제약이 비교적 적은 경우에는 추적 안정성이 좋고 잡음의 영향이 적다.

그러나 반대로 영상이 비교적 복잡하여 영상 영역화가 용이하지 않고 추적 가능한 물체의 속도에 대한 제약이 비교적 많은 경우에는 추적 안정성이 나쁘고 잡음이 많아 진다.

또한, 상관 추적 기법은 도 1b에 도시한 바와 같이 이전 프레임의 이동 물체, 즉 목표물의 위치에 적당한 크기의 영역(B)을 정의하고 정의된 영역(B)과 현재 프레임내의 검색 영역과의 상관도를 계산하여 상관도가 가장 높은 영역(B')으로 물체가 이동한 것으로 추정하는 방법이다.

즉, 상관 추적 기법은 주어진 n번째 영상에서 이동 물체의 위치가 주어진 경우 이동 물체를 포함하는 일정한 크기의 윈도우 영역, 즉 상관 영역을 정의하고, n+1번째 영상에서의 검색 영역상의 각 위치에 대하여 상관도를 계산하여 상관도가 가장 높은 영역의 위치를 n+1번째 영상에서의 이동 물체의 위치로 간주한다.

여기서, 상관도 계산시 초기창의 모양, 즉 현재 프레임과 이전 프레임의 상관도 계산시 사용되는 영역은 주로 정사각형 형태의 윈도우 형태로 이루어진다.

그런데, 상관 추적 기법은 일반적으로 중심점 추적 기법에 비하여 영상을 이진화하지 않고 영상의 명암 정보를 사용하기 때문에 상관 영역과 검색 영역 사이에 밝기값의 차이가 발생하게 되면 추적성능이 저하되는 문제점이 있다.

상기 단점을 개선하기 위한 본 발명은 화상 전화기에 있어서, 적외선 입력 영상으로부터 상관영역을 설정하여 이를 쿼드트리 분할한 다음 밝기값에 따라 영역을 병합하여 상관영역의 모양을 설정하고, 설정된 상관영역의 모양을 일반 영상에 의해 설정된 검색 영역에 대응시켜 상관도를 계산함으로써 계산량을 줄임과 아울러 목표물의 추적이 용이하도록 한 목표물 추적 방법 및 장치를 제공함에 그 목적이 있다.

도 1a는 종래의 중심점 추적 기법을 설명하기 위한 도면

도 1b는 종래의 상관 추적 기법을 설명하기 위한 도면

도 2 는 본 발명에 의한 목표물 추적장치의 블럭도

도 3a는 본 발명에 의한 적외선 영상으로 쿼드트리 분할하는 과정을 설명하

기 위한 도면

도 3b는 쿼드트리에 의한 적외선 영상 분할의 일예를 든 예시도면

도 3c는 쿼드트리 분할된 영역을 밝기값에 따라 병합하여 상관영역을 설정하

는 과정을 설명하기 위한 도면

도 3d는 본 발명에 의하여 설정된 상관영역으로 검색영역내를 탐색하여 상관

도를 구하기 위한 상태를 설명하기 위한 도면

도 4 는 본 발명에 의한 목표물 추적방법의 흐름도

도면의 주요 부분에 대한 부호의 설명

100 : 적외선 카메라 110 : 카메라

120 : 입력영상 선택부 130 : 영상 저장부

131 : A/D 변환부 132 : 현재 영상 저장부

133 : 이전 영상 저장부 140 : 영역 설정부

141 : 검색영역 설정부 142 : 상관영역 설정부

150 : 상관영역 모양 설정부 151 : 쿼드트리 분할부

152 : 영역 병합부 160 : 상관도 계산부

170 : 움직임 추정부 180 : 제어부

190 : 모터부 191 : 모터 구동부

192 : 모터

상기 목적을 달성하기 위해 본 발명에 의한 화상 전화기의 목표물 추적 방법은, 추적 모드가 되면 현재의 일반 영상과 이전의 적외선 영상을 선택적으로 입력받아 디지탈 신호로 변환하여 저장하는 영상 저장 과정; 상기 영상 저장 과정에 의해 저장된 이전의 적외선 영상으로부터 소정 크기의 상관영역을 설정하여 이를 쿼드트리 분할한 다음 밝기값에 따라 병합하여 상관 영역의 모양을 설정하고, 현재의 일반 영상으로부터 검색 영역을 설정하는 영역 설정 과정; 상기 영역 설정 과정에 의해 설정된 상관 영역의 모양으로 검색 영역을 탐색하여 상관도를 계산하는 상관도 계산 과정; 상기 상관도 계산 과정에 의해 계산된 상관도에 따라 움직임을 추정하여 카메라를 이동시키는 움직임 추정 및 모터 구동 과정; 및 통화가 종료될때까지 입력되는 영상에 대해 영상 저장 과정부터 움직임 추정 및 모터 구동 과정까지를 반복하는 통화 종료 과정을 포함하여 수행됨을 특징으로 한다.

또한, 상기 목적을 달성하기 위한 본 발명에 의한 화상 전화기의 목표물 추적 장치는, 추적 모드에서 적외선 카메라 및 카메라로부터 입력되는 영상 신호를 선택하는 입력영상 선택 수단; 입력되는 일반 영상 및 적외선 영상을 A/D 변환하여 저장하는 영상 저장 수단; 상기 영상 저장 수단에 저장된 현재 일반 영상으로부터 검색영역을 설정하고, 이전의 적외선 영상으로부터 상관영역을 설정하는 영역 설정 수단; 상기 영역 설정 수단에 저장된 상관영역을 쿼드트리 분할한 다음 밝기값에 따라 이를 병합하여 상관영역의 모양을 설정하는 상관영역 모양 설정수단; 상기 상관영역 모양 설정수단에 의해 설정된 상관영역의 모양으로 영역 설정수단에 의해 설정된 검색영역을 탐색하여 상관도를 계산하는 상관도 계산 수단; 상기 상관도 계산 수단에서 계산된 상관도에 따라 움직임을 추정하는 움직임 추정수단; 및 상기 영상 저장 수단 및 입력영상 선택수단의 동작을 제어하고 상기 움직임 추정 수단에서 추정된 움직임에 따라 카메라를 이동시키도록 제어하는 제어 수단을 포함하여 구성됨을 특징으로 한다.

이하 첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

본 발명에 의한 화상 전화기의 목표물 추적 방법은 도 4에 도시한 바와 같이 영상 저장 과정(ST1, ST2, ST3, ST4), 영역 설정 과정(ST5, ST6, ST7), 상관도 계산 과정(ST8), 움직임 추정 및 모터 구동 과정(ST9, ST10), 및 통화 종료 과정(ST11, ST12)에 의해 수행된다.

영상 저장 과정(ST1, ST2, ST3, ST4)은 추적 모드에서 입력되는 일반 영상과 적외선 영상을 선택하여 A/D 변환한 다음 현재의 일반 영상과 이전의 적외선 영상을 저장하는 과정으로, 추적 모드에서 입력되는 일반 영상과 적외선 영상을 선택하는 입력 영상 선택 단계(ST1, ST2), 상기 입력 영상 선택 단계(ST1, ST2)에 의해 선택된 현재의 일반 영상과 이전의 적외선 영상을 A/D(Analog/Digital) 변환하여 저장하는 저장 단계(ST3, ST4)에 의해 수행된다.

여기서, 입력 영상 선택 단계에 의해 일반 영상은 현재의 영상으로 저장하고, 적외선 영상은 이전의 영상으로 저장하게 된다.

영역 설정 과정은 상관도를 계산하기 위하여 검색영역과 상관영역을 설정하기 위한 과정으로, 상기 영상 저장 과정에 의해 저장된 이전의 적외선 영상으로부터 소정 크기의 상관영역을 설정하는 상관영역 설정 단계(ST5); 상기 상관 영역 설정 단계(ST5)에 의하여 설정된 상관영역을 쿼드트리 분할하여 영역을 분할하는 쿼드트리 분할단계(ST6), 상기 쿼드트리 분할단계(ST6)에 의해 분할된 영역을 검사하여 밝기값이 유사한 영역을 병합하여 상관영역의 모양을 설정하는 상관영역 모양 설정 단계(ST7), 현재의 일반 영상으로부터 소정 크기의 검색영역을 설정하는 검색영역 설정 단계(ST8)에 의해 수행된다.

상관도 계산 과정(ST9)은 영역 설정과정에 의해 설정된 검색영역을 상관영역으로 탐색하여 상관도를 계산하는 과정이다.

여기서, 상기 상관도를 계산하는 상관 함수는 MAE(Mean Absolute Error) 이다.

움직임 추정 및 모터 구동 과정(ST10, ST11)은 상기 상관도 계산 과정에 의해 계산된 상관도에 따라 움직임을 추정하여 카메라를 이동시키는 과정으로, 계산된 상관도가 가장 높은 각 영역간의 움직임 벡터를 추출하여 움직임을 추정하는 움직임 추정 단계(ST109); 상기 추정된 움직임에 따라 카메라를 이동시키는 모터 구동단계(ST11)에 의해 수행된다.

통화 종료 과정(ST12, ST13)은 통화가 종료될때까지 입력되는 영상에 대해 영상 저장 과정(ST1, ST2, ST3, ST4)부터 움직임 추정 및 모터 구동 과정(ST10, ST11)까지를 반복하여 수행하는 과정이다.

이와같이 수행되는 본 발명에 의한 화상 전화기의 목표물 추적 방법을 첨부한 도면을 참조하여 상세히 설명한다.

먼저, 전화가 개시되고 사용자의 상황에 따라서 추적 기능을 사용하기를 원하지 않을 경우가 있을 수 있으므로 사용자가 추적 기능을 사용할 것인가를 먼저 결정한다(ST1).

추적 모드와 비추적 모드의 구별은 스위치로 간단하게 구현할 수 있다. 즉, 스위치가 온(ON)되어 있으면 추적 기능을 수행하고 오프(OFF)되어 있으면 수행하지 않는다.

스위치를 온시켜 추적 기능을 수행하는 추적 모드가 되면 카메라로 부터 입력되는 일반영상과 적외선 카메라로부터 입력되는 적외선 영상을 선택하여 입력받게 되는데(ST2), 먼저 적외선 영상을 인가받아 이를 A/D(Analog/Digital) 변환하여 저장한 다음 이후 일반 영상을 인가받아 A/D 변환하여 메모리에 저장하게 된다(ST3, ST4).

이는 즉, 적외선 영상을 이전의 영상으로 저장하고, 일반 영상을 현재의 영상으로 저장하게 되는 것이다.

이때, 적외선 카메라와 카메라에서 들어오는 NTSC 신호는 A/D 변환기를 통해 8비트의 디지탈 신호로 출력된다.

이때 높은 비트의 A/D 변환기를 사용할 수도 있다.

이 디지탈 신호는 영상 신호이므로, 메모리상에 2차원 행렬상에서 지정된 범위내의 값을 가지는 디지탈 영상(I(x, y))이 되어 저장된다.

상관 추적에서는 초기 목표물의 록킹(Locking) 과정에 의해서 초기 위치, 즉 목표물인 통화자가 전화를 하기 위해서 다이얼을 누룰 수 있는 위치를 알고 있다고 가정한다.

따라서, 초기 영상 즉, 적외선 영상과 그 다음의 일반영상을 메모리에 저장한다.

영역 설정 과정(ST5, ST6, ST7, ST8)에서는 상기 저장된 현재의 일반 영상과 이전의 적외선 영상으로부터 검색영역과 상관영역을 설정하게 되는데, 먼저 이전의 적외선 영상으로 소정 크기의 상관영역을 설정한 다음 쿼드트리 분할하여 이를 밝기값에 따라 병합함으로써 상관영역의 모양을 설정하여 목표물인 통화자 얼굴의 윤곽을 찾아낼 수 있다.

이러한 쿼드트리 영역을 분할을 좀 더 상세히 설명하면 다음과 같다(ST5).

일반적으로 쿼드트리에 의한 영역분할은, 도 3a에 도시한 바와같이 상관영역에 대하여 밝기값의 평균값 즉, 균일성 검사함수를 구한다음 이 값이 문턱치 이상이면 해당 노드를 소정갯수의 노드(일예로 4개)로 분할하여 상관영역을 4개의 영역으로 분할하고, 또다시 분할된 각 노드에 대한 영역에 대해서 균일성 검사함수를 구한다음 이 값을 문턱치와 비교하여 문턱치 이상인 노드의 영역에 대해서만 영역을 분할하게 되며, 이러한 과정을 밝기값이 일정한 최소의 분할영역에 도달할 때 까지 반복적으로 수행함으로써 밝기값에 따른 영역을 분할하게 된다.

이러한 과정을 수행중에 생성된 트리는 분할되는 영역 즉, 밝기값이 일정한 영역의 노드에 대해서는 1을 할당하고, 분할되지 않는 노드 즉, 밝기값이 일정하지 않는 노드에 대해서는 0을 할당하게 된다.

상기에서의 밝기값의 평균값을 계산하기 위한 균일성 검사함수는 다음 식 [1]에 나타낸 바와같은 분산을 이용하여 구하게 된다.

[식1]

여기서, N은 분할된 해당영역의 화소 갯수이고,

mean은 해당영역 내부의 화소 밝기값의 평균이며,

I(x,y)는 각 화소의 밝기값을 나타낸다.

그러므로, 상기의 군일성 검사함수를 제일 처음에는 상관영역의 전체에 적용하여 영역을 소정의 갯수로 분할하고, 다음에는 분할된 각 영역에 대해서만 이를 적용함으로써 쿼드트리를 분할하게 된다(ST5).

도 3b는 기 설정된 상관영역에 대하여 쿼드트리 분할된 상태의 일예를 보인 도로서, 총 13개의 부블럭으로 나뉘어진 상태를 일예를 들어 나타낸 것이다.

이렇게 쿼드트리 분할에 의해 이전의 적외선 영상으로부터 설정된 상관영역이 다수개의 영역으로 분할되었다면, 이를 밝기값에 따라 영역을 병합함으로써 상관영역의 모양을 설정하게 되는데(ST6, ST7), 이의 병합은 다음의 과정에 의하여 수행된다.

먼저, 도 3b에 일예를 들어 도시한 분할된 영역중에서 가장 크기가 큰 영역(1번과 9번 영역)을 추출한 다음 주변 영역(즉, 1번 영역에 대해서는 2번, 5번, 7번, 10번, 11번 영역이고, 9번 영역에 대해서는 4번, 7번, 8번, 11번, 13번 영역)과의 밝기값을 비교하여 그 차이가 소정의 문턱치 이하가 되면 즉, 밝기값이 유사하면 이 두개의 영역을 병합한다.

도 3c는 이의 병합된 상태를 일예를 들어 나타낸 도면으로서, 도 3b의 도시한 A영역에 대해서는 1번 영역에 2번, 5번, 11번의 영역이 병합된 상태이고, B영역에 대해서는 4번 영역만이 병합된 상태이다.

이렇게 영역이 밝기값에 따라 병합되면 가장 큰 영역 즉 A영역을 상관영역의 모양으로 설정하게 되며(ST7), 이렇게 설정된 상관영역은 목표물 얼굴의 윤곽이 된다.

이후, 현재의 일반 영상으로부터 검색영역을 설정하게 되는데(ST8), 이때의 검색영역은 상기 상관영역의 크기보다 약 4배정도의 크기로 설정하는 것이 바람직하다.

이렇게 상관영역과 검색영역이 설정되면 도 3d에 도시한 바와같이 상관영역으로 검색영역을 이동시키면서 전영역을 탐색함으로써 상관도를 계산한 다음 가장 상관도가 높은 검색영역의 위치에서 상관벡터를 추출하게 된다(ST9).

이때, 이전 영상의 상관 영역과 현재 영상의 검색 영역의 상관도를 계산하기 위해서는 사용할 상관 함수를 결정해야 한다.

이러한 상관도 계산을 위한 상관 함수로는 다음 식 [2], [3], [4]에 나타낸 바와같이 NCCF(Normalized Cross Correlation Function), MSE(Mean Square Error), 및 MAE(Mean Absolute Error)가 있다.

[식2]

[식3]

[식4]

여기서 E(·)는 평균을 나타낸다.

상관 함수로는 NCCF가 가장 적합하지만 계산량을 고려하여 MAE를 사용한다.

MAE는 영상간의 상관도가 높을수록 작은 값을 나타내게 된다. 따라서 상관 함수로 MAE를 사용할때는 그 값이 가장 낮은 위치가 다음 영상에서의 이동 물체, 즉 목표물의 추정 위치가 된다.

이로써, 검색영역과 매핑된 상관영역의 각 부블럭의 영역에 대하여 움직임 벡터를 추출하게 된다(ST10).

그러므로, 움직임 벡터에 의해 목표물인 대화자의 얼굴의 이동을 추정하게 된다.

따라서, 움직임 벡터 즉 대화자의 이동에 따라 모터를 구동시켜 카메라를 이동시킨다(ST11).

이때, 카메라로부터 새로운 영상이 입력되었는지 검색하여 새로운 일반 영상과 적외선 영상이 입력되었으면 이를 다시 A/D 변환하여 저장하는 영상 저장 과정(ST1, ST2, ST3, ST4)을 수행한다.

이와 같이 메모리에 각각 이전의 적외선 영상과 현재 일반 영상의 영상 신호가 저장되면 상관 영역의 모양과 검색 영역을 추출하게 된다(ST5, ST6, ST7, ST8).

이후에 상관도를 계산하는 상관도 계산 과정(ST9), 움직임 추정 과정(ST10), 및 모터 구동 과정(ST11)을 위에서 설명한 바와 같이 수행된다.

한편, 카메라로부터 새로운 영상이 입력되지 않으면 통화가 종료되었는지 검색하여 추적 기능을 종료하는 통화 종료 과정(ST12, SR13)을 수행한다.

즉, 새로운 영상이 입력되면 영상 저장 과정(ST1, ST2, ST3, ST4)으로 진행하여 위의 과정을 반복하고, 새로운 영상이 입력되지 않고 통화가 종료되었으면 추적 기능을 마친다(ST13).

또한, 통화가 종료되지 않았는데 새로운 영상이 입력되지 않으면 새로운 영상이 입력될때까지 대기한다.

다음으로 본 발명에 의한 화상 전화기의 목표물 추적 장치는 도 2에 도시한 바와 같이 적외선 카메라(100), 카메라(110), 입력영상 선택부(120), 영상 저장부(130), 영역 설정부(140), 상관영역 모양 설정부(150), 상관도 계산부(160), 움직임 추정부(170), 제어부(180), 모터부(190)로 구성된다.

영상 저장부(130)는 제어부(180)의 제어에 따라 추적 모드에서 적외선 카메라(100) 또는 카메라(110)로부터 입력되는 일반 영상 또는 적외선 영상을 A/D 변환하여 저장하는 것으로, 추적 모드에서 입력되는 일반 영상 및 적외선 영상을 A/D 변환하는 A/D 변환부(131), 상기 A/D 변환부(131)로부터 출력되는 이전의 적외선 영상을 저장하는 이전 영상 저장부(133), 상기 A/D 변환부(131)로부터 출력되는 현재의 일반 영상을 저장하는 현재 영상 저장부(132)로 구성된다.

이때, A/D 변환부(131)로 입력되는 영상신호의 순서는 입력영상 선택부(120)에 의해 적외선 영상이 먼저 인가되고, 일반 영상은 이후에 입력된다.

영역 설정부(140)는 상기 이전의 적외선 영상과 현재의 일반영상으로부터 목표물이 위치한 상관영역과 상관도를 계산하기 위한 검색영역을 설정하는 것으로, 이전 영상 저장부(133)로부터 출력되는 이전의 적외선 영상으로부터 소정 크기의 상관영역을 설정하는 상관영역 설정부(142), 현재 영상 저장부(132)로부터 출력되는 현재의 일반영상으로부터 검색영역을 설정하는 검색영역 설정부(141)로 구성된다.

상관 영역 모양 설정부(150)는 설정된 상관영역을 쿼드트리 분할하여 그 분할된 영역을 밝기값에 따라 병합하여 상관영역의 모양을 설정하는 것으로, 상관영역 설정부(142)에 의해 설정된 상관영역을 인가받아 이를 쿼드트리 분할하여 상관영역을 분할하는 쿼드트리 분할부(151); 상기 쿼드트리 분할부(152)의 출력을 인가받아 유사한 밝기값을 가지는 영역들을 병합하여 상관영역의 모양을 결정하는 영역 병합부(152)로 구성한다.

상관도 계산부(160)는 영역 설정부(140)에 의해 설정된 검색영역에 쿼드트리에 의해 분할되어 밝기값에 따라 병합된 상관영역의 모양을 대응시키면서 상관도를 계산하게 된다.

여기서, 상기 상관도를 계산하는 상관 함수는 MAE(Mean Absolute Error) 로 이루어진다.

움직임 추정부(170)는 상기 상관도 계산부(160)에서 계산된 상관도가 가장 높은 상관영역의 부블럭과 검색영역의 움직임 벡터를 계산하여 전체적인 움직임 벡터를 추출함으로써 목표물의 움직임을 추정한다.

제어부(180)는 상기 영상 저장부(130)의 동작을 제어하고 상기 움직임 추정부(170)에서 추정된 움직임에 따라 적외선 카메라(100)와 카메라(110)를 이동시키도록 제어한다.

모터부(190)는 상기 제어부(180)의 제어에 따라 모터를 구동시키는 모터 구동부(191)와, 상기 모터 구동부(191)에 의해 적외선 카메라(100)와 카메라(110)를 이동시키는 모터(192)로 구성된다.

이와 같이 구성되는 본 발명에 의한 화상 전화기의 목표물 추적 장치의 동작을 설명한다.

먼저, 제어부(180)의 제어에 따라 입력영상 선택부(120)에서는 적외선 카메라(100)의 출력은 선택하여 출력하게 되고, 상기 제어부(180)의 제어에 의해 A/D 변환부(131)가 온되어 적외선 카메라(100)로부터 들어오는 NTSC 신호를 A/D 변환하여 8비트의 디지탈 신호로 출력하게 된다.

이때, 추적 모드가 온되어 전화 통화를 시작하는 경우에는 적외선 카메라(100)로부터 들어오는 최초 적외선 영상을 A/D 변환부(131)에서 A/D 변환하여 이전 영상 저장부(133)에 저장하게 된다.

이후, 상기 입력영상 선택부(120)는 제어부(180)의 제어에 의해 카메라(110)로부터 입력되는 일반 영상을 선택하여 출력하게 되며, A/D 변환부(131)에서는 이를 A/D 변환하여 현재 영상 저장부(132)에 저장하게 된다.

이때의 일반영상과 적외선 영상은 현재영상 저장부(132) 및 이전영상 저장부(133)에 2차원 행렬상에서 지정된 범위내의 값을 가지는 디지탈 영상(I(x, y))이 되어 저장된다.

이후 제어부(180)는 상기 A/D 변환부(131)를 오프시켜 더이상 영상이 입력되지 못하게 한다.

상관영역 설정부(133)에서는 이렇게 이전영상 저장부(133)에 저장된 이전의 적외선 영상으로부터 목표물이 위치한 소정 크기의 상관영역을 설정하고, 현재 영상 저장부(132)에 저장된 현재의 일반영상으로부터 상관도를 계산하기 위한 검색영역을 설정하게 되는데, 이러한 검색영역은 이후에 설정될 상관영역의 모양보다 약 4배정도 크게 설정하는 것이 바람직하다.

쿼드트리 분할부(151)에서는 이전의 적외선 영상에 의해 설정된 상관영역을 도 3a에 도시한 바와같이 쿼드트리 분할하게 되고, 이의 분할된 결과(도 3b에 도시)를 영역 병합부(152)에서는 밝기값에 따라 영역을 병합하게 되는데, 분할된 영역중에서 가장 크기가 큰 영역을 추출한 다음 주변 영역과의 밝기값을 비교하여 그 차이가 소정의 문턱치 이하가 되면 즉, 밝기값이 유사하면 이 두개의 영역을 병합한다.

도 3c는 이의 병합된 상태를 일예를 들어 나타낸 도면으로서, A영역이 B영역보다 크므로, A영역을 상관영역의 모양으로 확정한다.

이렇게 설정된 상관영역 모양은 목표물 얼굴의 윤곽이 된다.

이렇게 상관영역 모양과 검색영역이 설정되면 상관도 계산부(160)에서는 도 3d에 도시한 바와같이 상관영역의 모양으로 검색영역을 이동시키면서 전영역을 탐색함으로써 상관도를 계산한 다음 가장 상관도가 높은 검색영역의 위치에서 상관벡터를 추출하게 된다.

MAE는 영상간의 상관도가 높을수록 작은 값을 나타내게 된다.

따라서 상관 함수로 MAE를 사용할때는 그 값이 가장 낮은 위치가 다음 영상에서의 이동 물체, 즉 목표물의 추정 위치가 된다.

따라서 움직임 추정부(170)는 검색 영역 중에서 상관 영역의 모양과의 상관도가 가장 높은, 즉 MAE가 가장 작은 부분에서의 검색영역과 상관벡터 부블럭간의 각각의 움직임 벡터의 차이를 구한 다음 이 각각의 움직임 벡터의 평균값을 최종적인 움직임 벡터로 하여 목표물의 움직임으로 추정하는 것이다.

이 움직임 정보를 이용하여 제어부(180)에서는 모터 구동부(191)를 제어하여 모터(192)를 구동시키도록 한다.

이에 따라 적외선 카메라(100)와 카메라(110)가 이동하게 되고, 이때 제어부(180)는 입력영상 선택부(120)를 제어하여 적외선 카메라(100)로부터 출력되는 적외선 영상을 선택하여 A/D 변환부(131)로 새로운 영상이 입력되도록 하고, 이때 제어부(180)는 A/D 변환부(131)를 온시킨다.

한편, 제어부(180)에서는 A/D 변환부(131)를 현재 영상 저장부(220)와 이전 영상 저장부를 움직임 추정부(170)에서 움직임을 추정하여 움직임 정보를 출력할때까지 영상 저장부(130)를 오프시키다.

이와 같은 동작을 통해 적외선 카메라(100)와 카메라(110)를 목표물의 위치에 따라 이동시켜 카메라(110)가 목표물을 추적할 수 있도록 한다.

이상에서 설명한 바와 같이 본 발명에 의한 화상 전화기의 목표물 추적 방법 및 장치는 적외선 영상으로부터 상관영역을 설정한 다음 쿼드트리 분할하고, 이의 분할된 영역을 밝기값에 따라 병합하여 상관영역의 모양을 결정함으로써 이에 의해 검색영역과의 상관도를 계산함으로써 계산량을 줄이는 한편 추적성능을 향상시키는 효과가 있다.

Claims

추적 모드가 되면 현재의 일반 영상과 이전의 적외선 영상을 선택적으로 입력받아 디지탈 신호로 변환하여 저장하는 영상 저장 과정;

상기 영상 저장 과정에 의해 저장된 이전의 적외선 영상으로부터 소정 크기의 상관영역을 설정하여 이 상관영역에 의해 소정 크기의 상관 영역의 모양을 설정하고, 현재의 일반 영상으로부터 검색 영역을 설정하는 영역 설정 과정;

상기 영역 설정 과정에 의해 설정된 상관 영역의 모양으로 검색 영역을 탐색하여 상관도를 계산하는 상관도 계산 과정;

상기 상관도 계산 과정에 의해 계산된 상관도에 따라 움직임을 추정하여 카메라를 이동시키는 움직임 추정 및 모터 구동 과정; 및

통화가 종료될때까지 입력되는 영상에 대해 영상 저장 과정부터 움직임 추정 및 모터 구동 과정까지를 반복하는 통화 종료 과정을 포함하여 수행됨을 특징으로 하는 화상 전화기의 목표물 추적 방법.
제 1 항에 있어서, 영상 저장 과정은

추적 모드에서 입력되는 일반 영상과 적외선 영상을 선택하는 입력 영상 선택 단계;

상기 입력 영상 선택 단계에 의해 선택된 현재의 일반 영상과 이전의 적외선 영상을 A/D(Analog/Digital) 변환하여 저장하는 저장 단계에 의해 수행됨을 특징으로 하는 화상 전화기의 목표물 추적 방법.
제 1 항에 있어서, 영역 설정 과정은

상기 영상 저장 과정에 의해 저장된 이전의 적외선 영상으로부터 소정 크기의 상관영역을 설정하는 상관영역 설정 단계;

상기 상관 영역 설정 단계에 의하여 설정된 상관영역을 쿼드트리 분할하여 영역을 분할하는 쿼드트리 분할단계;

상기 쿼드트리 분할단계에 의해 분할된 영역을 검사하여 밝기값이 유사한 영역을 병합하여 상관영역의 모양을 설정하는 상관영역 모양 설정 단계;

현재의 일반 영상으로부터 소정 크기의 검색영역을 설정하는 검색영역 설정 단계에 의해 수행됨을 특징으로 하는 화상 전화기의 목표물 추적 방법.
제 1 항에 있어서, 상관도를 계산하는 상관 함수는 MAE(Mean Absolute Error)인 것을 특징으로 하는 화상 전화기의 목표물 추적 방법.
제 1 항에 있어서, 움직임 추정 및 모터 구동 과정은

움직임 추정 및 모터 구동 과정은 계산된 상관도가 가장 높은 각 영역간의 움직임 벡터의 차이를 추출한 다음 각 움직임 벡터의 평균으로 움직임을 추정하는 움직임 추정 단계;

상기 추정된 움직임에 따라 카메라를 이동시키는 모터 구동 단계에 의해 수행됨을 특징으로 하는 화상 전화기의 목표물 추적 방법.
추적 모드에서 적외선 카메라 및 카메라로부터 입력되는 영상 신호를 선택하는 입력영상 선택 수단;

입력되는 일반 영상 및 적외선 영상을 A/D 변환하여 저장하는 영상 저장 수단;

상기 영상 저장 수단에 저장된 현재 일반 영상으로부터 검색영역을 설정하고, 이전의 적외선 영상으로부터 상관영역을 설정하는 영역 설정 수단;

상기 영역 설정 수단에 저장된 상관영역을 쿼드트리 분할한 다음 밝기값에 따라 이를 병합하여 상관영역의 모양을 설정하는 상관영역 모양 설정수단;

상기 상관영역 모양 설정수단에 의해 설정된 상관영역의 모양으로 영역 설정수단에 의해 설정된 검색영역을 탐색하여 상관도를 계산하는 상관도 계산 수단;

상기 상관도 계산 수단에서 계산된 상관도에 따라 움직임을 추정하는 움직임 추정수단; 및

상기 영상 저장 수단 및 입력영상 선택수단의 동작을 제어하고 상기 움직임 추정 수단에서 추정된 움직임에 따라 카메라를 이동시키도록 제어하는 제어 수단을 포함하여 구성됨을 특징으로 하는 화상 전화기의 목표물 추적 장치.
제 6 항에 있어서, 영상 저장 수단은

추적 모드에서 입력되는 일반 영상 및 적외선 영상을 A/D 변환하는 A/D 변환부;

상기 A/D 변환부로부터 출력되는 이전의 적외선 영상을 저장하는 이전 영상 저장부;

상기 A/D 변환부로부터 출력되는 현재의 일반 영상을 저장하는 현재 영상 저장부로 구성됨을 특징으로 하는 화상 전화기의 목표물 추적 장치.
제 6 항에 있어서, 영역 설정 수단은

이전의 적외선 영상으로부터 목표물이 위치한 소정 크기의 상관영역을 설정하는 상관영역 설정부;

현재 영상 저장부로부터 출력되는 현재의 일반영상으로부터 상관도의 검색을 위한 소정 크기의 검색영역을 설정하는 검색영역 설정부로 구성됨을 특징으로 하는 화상 전화기의 목표물 추적 방법.
제 6 항에 있어서, 상관 영역 모양 설정 수단은

영역 설정 수단에 의해 설정된 상관영역을 인가받아 이를 쿼드트리 분할하여 상관영역을 분할하는 쿼드트리 분할부;

상기 쿼드트리 분할부의 출력을 인가받아 유사한 밝기값을 가지는 영역들을 병합하여 상관영역의 모양을 결정하는 영역 병합부로 구성됨을 특징으로 하는 화상 전화기의 목표물 추적 방법.
제 6 항에 있어서, 상관도를 계산하는 상관 함수는 MAE(Mean Absolute Error) 임을 특징으로 하는 화상 전화기의 목표물 추적 장치.