KR19980017643A - 화상 전화기의 목표물 추적 방법 및 장치 - Google Patents

화상 전화기의 목표물 추적 방법 및 장치 Download PDF

Info

Publication number
KR19980017643A
KR19980017643A KR1019960037436A KR19960037436A KR19980017643A KR 19980017643 A KR19980017643 A KR 19980017643A KR 1019960037436 A KR1019960037436 A KR 1019960037436A KR 19960037436 A KR19960037436 A KR 19960037436A KR 19980017643 A KR19980017643 A KR 19980017643A
Authority
KR
South Korea
Prior art keywords
correlation
area
sub
region
search
Prior art date
Application number
KR1019960037436A
Other languages
English (en)
Other versions
KR100235316B1 (ko
Inventor
정성학
Original Assignee
배순훈
대우전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 배순훈, 대우전자 주식회사 filed Critical 배순훈
Priority to KR1019960037436A priority Critical patent/KR100235316B1/ko
Publication of KR19980017643A publication Critical patent/KR19980017643A/ko
Application granted granted Critical
Publication of KR100235316B1 publication Critical patent/KR100235316B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M1/00—Analogue/digital conversion; Digital/analogue conversion
    • H03M1/12—Analogue/digital converters

Abstract

본 발명은 화상 전화기에 있어서, 목표물 이동시 목표물을 추적하기 위해 입력 영상의 윈도우내를 일정한 크기의 블럭으로 분할하고 상관 영역과의 상관도를 계산하여 카마레의 방향을 변경해 주는 목표물 추적 방법 및 장치에 관한 것이다.
본 발명은 추적 모드 에서 카메라로 부터 입력되는 이전 프레임 및 현재 프레임에서 상관 영역과 검색 영역을 추출하는 영역 추출 단계; 상기 추출된 상관 영역과 검색 영역을 특정 크기의 부블럭으로 분할하는 부블럭 분할 단계; 상기 현재 프레임의 검색 영역과 부블럭과 이전 프레임의 상관 영역의 부블러간의 상관도에 따라 움직임을 추정하는 움직임 추정 단계; 및 상기 추정된 움직임에 따라 상기 카메라의 방향을 조절하는 모터 구동 단계에 의해 수행되며, 추적 모드에서 카메라로 부터 입력되는 영상 신호를 A/D 변환하는 A/D 변환하는 A/D 변환 수단; 상기 A/D 변환 수단으로 출력되는 영상 신호를 프레임 단위로 저장하는 이전 프레임과 현재 프레임을 출력하는 영상 저장 수단; 사이 영상 저장 수단으로 부터 출력되는 이전 프레임과 현재 프레임으로부터 상관 영역과 검색 영역을 추출하는 영역 추출 수단; 상기 영역 추출 수단으로 부터 출력되는 상관 영역과 검색 영역을 특정 크기의 부블럭으로 분할하는 분할 수단; 상기 분할 수단에서 분할된 상관 영역의 부블럭과 검색 영역의 부블럭의 영상 신호를 입력으로 상관도를 계산하는 탐색 수단; 상기 탐색 수단으로 부터 출력되는 상관도가 가장 높은 부블럭들에 대해 움직임 벡터를 계산하고 계산된 움직임 벡터의 평균을 최종 움직임 벡터로 결정하는 움직임 추정 수단; 및 상기 움직임 추정 수단으로 부터 출력되는 최종 움직임 벡터에 따라 상기 카메라의 방향을 조절하는 모터를 구동하는 모터 구동 수단으로 구성된다.
따라서 본 발명은 상관 추적 기법을 이용하여 목표물을 추정하여 추정 성능을 햐상시키며서도 계산량을 줄이는 효과가 있다.

Description

화상 전화기의 목표물 추적 방법 및 장치
[발명의 상세한 설명]
본 발명은 화상 전화기에 있어서, 목표물 이동시 목표물을 추적하여 카메라의 방향을 변경해 주는 목표물 추적 방법 및 장치에 관한 것이다.
[발명의 목적]
본 발명은 화상 전화기에 있어서, 목표물을 추적하여 카메라의 방향을 자동으로 조절하므로써 목표물이 이동하면서 통화할 수 있도록 하기 위한 목표물 추적 방법 및 장치를 제공함에 있다.
[발명이 속하는 기술분야 및 그 분야의 종래기술]
본 발명은 화상 전화기에 있어서, 목표물 이동시 목표물을 추적하기 위해 입력 영상의 윈도우내를 일정한 크기의 블럭으로 분할하고 상관 영역과의 상관도를 계산하여 카메라의 방향을 변경해 주는 목표물 추적 방법 및 장치에 관한 것이다.
일반적으로 물체, 즉 목표물(Target)을 추적하는 기법에는 중심점 추적 기법과 상관 추적 기법이 있다.
중심점 추적 기법은 도1에 도시한 바와 같이 이동 물체를 배경으로 부터 분리한 후, 추출된 이동 물체의 중심점(A)을 추적하는 방법이다. 이때, 이동 물체, 즉 목표물을 배경과 분리하기 위해 문턱치를 이용하게 된다. 즉 문턱치를 이용하여 배경과 물체를 이진화 한다.
그러나 이러한 중심점 추적 기법은 잡음에 대한 영향을 많이 받는 단점이 있다.
즉, 영상이 비교적 단순하여 영상 영역화가 용이하고 추적 가능한 물체의 속도에 대한 제약이 비교적 적은 경우에는 추적 안정성이 좋고 잡음의 영향이 적다.
그러나 반대로 영상이 비교적 복잡하여 영상 영역화가 용이하지 않고 추적 가능한 물체의 속도에 대한 제약이 비교적 많은 경우에는 추적 안정성이 나쁘고 잡음이 많아 진다.
또한, 상관 추적 기법은 도2에 도시한 바와 같이 이전 프레임의 이동 물체, 즉 목표물의 위치에 적당한 크기의 영역(B)을 정의하고 정의된 영역(B)과 현재 프레임내의 검색 영역과 상관도를 계산하여 상관도가 가장 높은 영역(B')으로 물체가 이동한 것으로 추정하는 방법이다.
즉, 상관 추적 기법은 주어진 n번째 영상에서 이동 물체의 위치가 주어진 경우 이동 물체를 포함하는 일정한 크기의 윈도우 영역, 즉 상관 영역을 정의하고, n+1번째 영상에서의 검색 영역상의 각 위치에 대하여 상관도를 계산하여 상관도가 가장 높은 영역의 위치를 n+1번째 영상에서의 이동 물체의 위치로 간주한다.
여기서, 상관도 계산시 초기창의 모양, 즉 현재 프레임과 이전 프레임의 상관도 계산시 사용되는 영역은 주로 정사각형 형태의 윈도우 형태로 이루어진다.
따라서 상관 추적 기법은 영상 영역화 과정을 수행하지 않고 입력되는 현재 프레임의 영상으로 부터 직접 상관도를 계산하기 때문에 비교적 복잡한 영상에 대해서도 추적 성능이 유지되지만 계산량이 많아지는 단점이 있다.
즉, 상관 추적 기법은 일반적으로 중심점 추적 기법에 비하여 영상을 이진화하지 않고 영상의 명암 정보를 사용하기 때문에 배경 산란 등이 첨가되어 영상 영역화가 불가능한 경우에도 어느 정도의 추적 성능을 기대할 수 있다. 그러나 상관 추적 기법은 이동 물체의 움직임을 추정하기 위해서 상관도를 계산하여야 하기 때문에 계산량이 많아지는 단점이 있다.
상기 단점을 개선하기 위한 본 발명은 화상 전화기에 있어서, 정사각형의 윈도우 대신 초기 압력 영상 위도우 내를 일정한 크기의 블럭으로 분할하고 상관 영역과의 상관도를 계산하여 계산량을 줄이고 추적 성능을 향상시키기 위한 목표물 추적 방법 및 장치를 제공함에 그 목적이 있다.
도1은 종래의 중심점 추적 기법을 설명하기 위한 도면
도2는 종래의 상관 추적 기법을 설명하기 위한 도면
도3은 본 발명에 의한 목표물 추적 방법의 흐름도
도4는 도3의 영역 추출 단계를 설명하기 위한 도면
도5는 도3의 부블럭 분할 단계를 설명하기 위한 도면
도6은 도3의 움직임 추정 단계를 설명하기 위한 도면
도7은 본 발명의 목표물 추적 장치의 구성도
*도면의 주요 부분에 대한 부호의 설명*
200:카메라210:A/D 변환기
220:영상 저상부221:현재 영상 저장부
222:이전 영상 저장부230:영역 추출부
231:검색 영역 추출부232:상관 영역 추출부
240:분할부250:탐색부
260:움직임 추정부270:모터 구동부
280:제어기
상기 목적을 달성하기위해 본 발명에 의한 화상 전화기의 목표물 추적 방법은 추적 모드에서 카메라로 부터 입력되는 이전 프레임 및 현재 프레임에서 상관 영역과 검색 영역을 추출하는 영역 추출 단계; 상기 추출된 상관 영역과 검색 영역을 특정 크기의 부블럭과 이전 프레임의 상관 영역의 부블럭간의 상관도에 따라 움직임을 추정하는 움직임 추정 단계; 및 상기 추정된 움직임에 따라 상기 카메라의 방향을 조절하는 모터 구동 단계를 포함하여 수행됨을 특징으로 한다.
또한, 상기 목적을 달성하기 위한 본 발명에 의한 화상 전화기의 목표물 추적 장치는 추적 모드에서 카메라로 부터 입력되는 영상 신호를 A/D 변환하는 A/D 변환하는 A/D 변환 수단; 상기 A/D 변환 수단으로 출력되는 영상 신호를 프레임 단위로 저장하여 이전 프레임과 현재 프레임을 출력하는 영상 저장 수단; 상기 영상 저장 수단으로 부터 출력되는 이전 프레임과 현재 프레임으로 부터 상관 영역과 검색 영역을 추출하는 영역 추출 수단; 상기 영역 추출 수단으로 부터 출력되는 상관 영역과 검색 영역을 특정 크기의 부블럭으로 분할하는 분할 수단; 상기 분할 수단에서 분할된 상관 영역의 부블럭과 검색 영역의 부블럭의 영상 신호를 입력으로 상관도를 계산하는 탐색 수단; 상기 탐색 수단으로부터 출력되는 상관도가 가장 높은 부블럭들에 대해 움직임 벡터를 계산하고 계산된 움직임 벡터의 평균을 최종 움직임 벡터로 결정하는 움직임 추정 수단; 및 상기 움직임 추정 수단으로 부터 출력되는 최종 움직임 벡터에 따라 상기 카메라의 방향을 조절하는 모터를 구동하는 모터 구동 수단을 포함하여 구성됨을 특징으로 한다.
이하 첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.
본 발명에 의한 화상 전화기의 목표물 추적 방법은 도3에 도시한 바와 같이 영역 추출 단계(100,101,102), 부블럭 분할 단계(103), 움직임 추정 단계(104,105), 및 모터 구동 단계(106)에 의해 수행된다.
영역 추출 단계(100,101,102)는 추적 모드에서 카메라로 부터 입력되는 이전 프레임 및 현재 프레임에서 상관 영역과 검색 영역을 추출하는 단계로 추적 모드에서 카메라로 부터 입력되는 이전 프레임 및 현재 프레임을 A/D(Analog/Digital) 변환하여 저장하는 이전 및 현재 프레임 저장 단계(100,102), 상기 저장된 이전 프레임에서 목표 물체의 위치에 해당하는 상관 영역을 추출하는 상관 영역 추출단계(102), 및 상기 저장된 현재 프레임에서 상기 상관 영역에 상하좌우 방향으로 각각 8화소만큼 추가된 크기로 검색 영역을 추출하는 검색 영역 추출 단계(102)에 의해 수행된다.
여기서, 상기 이전 프레임의 상관 영역은 목표물의 위치에 16 x 16 화소로 이루어지고, 상기 현재 프레임의 검색 영역은 상기 이전 프레임의 상관 영역에 상하 좌우 방향으로 각각 8화소만큼 추가된 화소 즉, 32 x 32 화소로 이루어진다.
부블럭 분할 단계(103)는 상기 추출된 상관 영역과 검색 영역을 특정 크기의 부블럭으로 분할하는 단계이다.
여기서, 상기 부블럭은 4 x 4 화소로 이루어진다.
움직임 추정 단계(104,105)는 상기 현재 프레임의 검색 영역의 부블럭과 이전 프레임의 상관 영역의 부블럭간의 상관도에 따라 움직임을 추정하는 단계와, 이전 프레임의 상관 영역의 부블럭과 현재 프레임의 검색 영역의 부블럭간의 상관도를 계산하는 상관도 계산 단계(104), 및 상기 계산된 상관도가 가장 높은 부블럭들에 대해 움직임 벡터를 계산하고 계산된 움직임 벡터의 평균을 최종 움직임 벡터로 결정하는 움직임 벡터 결정 단계(105)에 의해 수행된다.
모터 구동 단계(106)는 상기 추정된 움직임에 따라 상기 카메라의 방향을 조전하는 단계이다.
이와 같이 수행되는 본 발명에 의한 화상 전화기의 목표물 추적 장치의 동작을 도4, 도4, 도6을 참조하여 설명한다.
먼저, 영역 추출 단계(100, 101,102)를 수행하여 카메라로 부터 입력되는 이전 프레임 및 현재 프레임에서 상관 영역과 검색 영역을 추출하는데, 이를 세부적으로 설명하면 다음과 같다.
전화가 개시되고 사용자의 상황에 따라서 추적 기능을 사용하기를 원하지 않을 경우가 있을 수 있으므로 사용자가 추적 기능을 사용할 것인가를 먼저 결정한다(100). 추적 모드와 비추적 모드의 구별은 스위치로 간단하게 구현할 수 있다. 즉, 스위치가 온(ON)되어 있으면 추적 기능을 수행하고 오프(OFF)되어 있으면 수행하지 않는다.
스위치를 온시켜 추적 기능을 수행하는 추적 모드가 되면 카메라로 부터 입력되는 이전 프레임 및 현재 프레임을 A/D(Analog/Digital) 변환하여 메모리에 저장하는 이전 프레임 및 현재 프레임 저장 단계(100,101)를 수행한다.
즉, 카메라에서 들어오는 NTSC 신호는 A/D 변환기를 통해 8비트의 디지탈 신호로 출력된다. 이때 높은 비트의 A/D 변환기를 사용할 수도 있다. 이 디지탈 신호는 영상 신호이므로, 메모리상에 2차원 행렬상에서 지정된 범위내의 값을 가지는 디지탈 영상(I(x,y))이 되어 저장된다.
이 디지탈 영상이 64 x 64 화소의 크기를 갖는 영상으로 메모리에 저장되어 목표물 추적에 이용된다.
이와 같은 한 프레임의 영상 신호는 하나의 메모리에 저장된 후 다음 메모리로 쉬프트되어 저장되어 이전 프레임으로 사용된다. 즉, 두개의 메모리에 각각 현재 프레임과 이전 프레임의 영상 신호가 저장되게 된다.
다시 말해서, 현재 프레임의 영상 신호를 저장하는 메모리에서는 계속해서 A/D 변환된 프레임의 영상 신호를 저장하고, 이전 프레임의 영상 신호가 저장되는 메모리에서는 한번의 움직임 추정이 끝나고 나면 현재 프레임의 영상 신호를 저장하는 메모리에서 현재 프레임의 영상 신호를 입력으로 받아서 다음번의 움직임 추정을 위해 저장한다.
이와 같이 메모리에 각각 이전 프레임과 현재 프레임의 영상 신호가 저장되면 도 4(a)에 도시한 바와 같이 상기 저장된 이전 프레임에서 목표 물체의 위치에 해당하는 상관 영역을 추출하는 상관 영역 추출 단계(102)를 수행한다.
즉, 본 발명에 의한 화상 전화기의 목표물 추적 장치는 상관 추적 기법을 이용하게 되므로, 실제로 상관 추적 기법을 이용하여 이동 물체, 즉 목표물의 움직임을 추정하기 위해서는 상관 영역의 크기를 정하여야 한다. 그런데, 상관 영역은 이동 물체의 전체 영역을 포함할 수 있도록 잡지만 표적의 명암 대비(Constrast)가 아주 낮은 경우에는 상관 영역의 크기를 조정해 주어야 할 필요가 생기기도 한다.
여기서는 이 상관 영역을 일정한 크기의 사각형을 사용한다. 즉, 도 4에 도시한 바와 같이 상관 영역을 16 x 16 화소로 크기를 정하여 추적해야 할 목표물, 즉 대화자가 있는 위치에 상관 영역을 설정한다.
또한, 메모리에 각각 이전 프레임과 현재 프레임의 영상 신호가 저장되면 도4(b)에 도시한 바와 같이 저장된 현재 프레임에서 상기 상관 영역에 상하좌우 방향으로 각각 8화소만큼 추가된 크기로 검색 영역을 추출하는 검색 영역 추출 단계(102)로 수행한다.
즉, 상관 영역의 크기가 16 x 16화소로 이루어지므로, 상관 영역을 중심으로 하여 상하좌우로 8화소 만큼 추가된 32 x 32화소로 검색 영역을 설정한다.
한편, 입력 영상의 크기와 상관 영역의 크기, 검색 영역의 크기는 전화기가 사용되는 환경에 따라서 초기에 세업(Setup)시켜 주어야 한다.
한편, 상관 영역과 상관 영역은 n번째와 n+1번째 영상에서 각각 관계되어 있지만 이를 서로 바꿀수 있다. 이 때에는 움직임 벡터가 서로 반대가 된다.
이와 같이 상관 영역과 검색 영역을 추추한 후에도 도5에 도시한 바와 같이 상기 추출된 상관 영역과 검색 영역을 특정 크기의 부블럭으로 분할하는 부블럭 분할 단계(103)를 수행한다.
즉, 이전 프레임의 상관 영역과 현재 프레임의 검색 영역을 일정한 크기, 즉 4 x 4화소로 이루어진 부블럭으로 분할한다.
여기서, 부블럭은 4 x 4화소로 설정하는데, 현재 사용중인 입력 영상의 크기와 검색 및 상관 영역의 크기에 따라 달리 설정할 수도 있다.
예를 들어 입력 영상이 64 x 64화소로 이루어진 경우에는 상관 영역을 16 x 16화소로 하고, 검색 영역을 32 x 32화소로 하고 부블럭을 4 x 4화소로 하는 것이 적당하다.
이와 같이 부블럭의 크기를 결정하는 경우 상관 영역은 16개의 부블럭을 갖게되고, 검색 영역은 64개의 부블럭을 갖게 된다.
이와 같이 부블럭 분할 단계(103)를 수행한 후, 상기 현재 프레임의 검색 영역의 부블럭과 이전 프레임의 상관 영역의 부블럭간의 상관도에 따라 움직임을 추정하는 움직임 추정 단계(104,105)를 수행한다.
즉, 이전 프레임의 상관 영역의 부블럭과 현재 프레임의 검색 영역의 부블럭간의 상관도를 계산하는 상관도 계산 단계(104)와, 상기 계산된 상관도가 가장 높은 부블럭들에 대해 움직임 벡터를 계산하고 계산된 움직임 벡터의 평균을 최종 움직임 벡터로 결정하는 움직임 벡터 결정 단계(105)를 수행한다.
움직임을 추정하기 위해서는 먼저, 이전 프레임의 상관 영역의 부블럭과 현재 프레임의 검색 영역의 부블럭의 상관도를 계산하기 위해서는 사용할 상관 함수를 결정해야 한다.
이러한 상관도 계산을 위한 상관 함수로는 NCCF(Normalized Cross Correlation Function), MSE(Mean Square Error), 및 MEA(Mean Absolute Error)가 있다.
NCCF(p,q) -[ΣIn(i,j)·In+1(i+p,j+q)]/[(ΣIn 2(i,j)1/2·(ΣIn+! 2(i+p,j+q))1/2]
MSE(p,q)-E([In(i,j)-In+1(i+p,j+q)]2)
MSE(p,q)-E(|In(i,j)-In+1(i+p,j+q)]|)
여기서 E(·)는 평균을 나타낸다.
상관 함수로는 NCCF가 가장 적합하지만 계산량을 고려하여 MAE를 사용한다.
MAE는 영상간의 상관도가 높을 수록 작은 값을 나타내게 된다. 따라서 상관 함수로 MAE를 사용할 때는 그 값이 가장 낮은 위치가 다음 영상에서의 이동 물체, 즉 목표물이 추정 위치가 된다.
이와 같은 상관 함수에 따라 현재 입력된 영상인 현재 프레임의 검색 영역에서의 부블럭과 이전 영상인 이전 프레임의 상관 영역의 부블럭간의 상관도를 도5에 도시한 바와 같이 계산한다.
즉, 각 상관 영역에 대해 검색 영역의 64개 부블럭간의 상관도를 모두 계산하여 상관도 벡터를 구한다.
다시말해서 하나의 상관 영역의 부블럭과 검색 영역의 64개의 부블럭의 상관도를 계산하여 상관도 벡터를 구한 후, 다음번 상관 영역의 부블럭과 검색 영역의 64개의 부블럭의 상관도를 계산하여 상관도도 벡터를 구한다. 이러한 과정을 반복하여 상관 영역의 16개의 부블럭과 검색 영역의 64개의 부블럭간의 상관도를 계산하여 16 x 64개의 상관도 벡터를 구한다.
이와 같이 상관도 계산 단계(104)를 수행하여 상관도 벡터를 구한 후 이를 이용하여 최종 움직임 벡터를 결정하는 움직임 벡터 결정 단계(105)를 수행한다.
상관도 계산 단계(104)에서 구한 16 x 64개의 상관도 벡터 중에서 상관 영역의 각 블럭에 대해 상관도가 가장 높은, 즉 MAE가 가장 적은 검색 부블럭에 대해 움직임 벡터를 계산한다. 이 움직임 벡터는 도6에 도시한 바와 같이 부블럭 중심간의 차이 벡터로, 상관 영역의 부블럭의 갯수만큼 존재하게 된다.
즉, 움직임 벡터는 상관 영역의 부블럭(i)의 중심(C)과 검색 영역의 부블럭(j)의 중심(C')간의 차이 벡터이다.
상기 모든 상관 영역의 부블럭의 움직임 벡터에 대한 평균을 구하여 최종 움직임 벡터를 구한다.
즉, 도6에서 상관 영역의 부블럭(i)에서 가장 상관도가 높은 검색 영역의 부블럭(j)에 대한 움직임 벡터가 (ABi)라고 할때 최종 움직임 벡터는가 된다.
이와 같이 계산된 최종 움직임 벡터를 이용하여 모터를 구동하는 모터 구동 단계(106)를 수행한다.
즉, 상기 최종 움직임 벡터에 따라 상기 카메라의 방향을 조절하여 A/D 변환기가 새로운 입력 영상을 받아들이도록 한다.
다음으로 본 발명에 의한 화상 전화기의 목표물 추적 장치는 도7에 도시한 바와 같이 추적 모드에서 카메라(200)로 부터 입력되는 영상 신호를 A/D 변환하는 A/D 변환하는 A/D 변환기(210), 상기 A/D 변환기(210)로 출력되는 영상 신호를 프레임 단위로 저장하여 이전 프레임과 현재 프레임을 출력하는 영상 저장부(220), 상기 영상 저장부(220)로 부터 출력되는 이전 프레임과 현재 프레임으로 부터 상관 영역과 검색 영역을 추출하는 영역 추출부(230), 상기 영역 추출부(230)으로부터 출력되는 상관 영역과 검색 영역을 특정 크기의 부블럭으로 분할하는 분할부(240), 상기 분할부(240)에서 분할된 상관 영역의 부블럭과 검색 영역의 부블럭의 영상 신호를 입력으로 상관도를 계산하는 탐색부(250), 상기 탐색부(250)로 부터 출력되는 상관도가 가장 높은 부블럭들에 대해 움직임 벡터를 계산하고 계산된 움직임 벡터의 평균을 최종 움직임 벡터로 결정하는 움직임 추정부(260), 상기 움직임 추정부(260)로 부터 출력되는 최종 움직임 벡터에 따라 상기 카메라(200)의 방향을 조절하는 모터를 구동하는 모터 구동부(270), 및 상기 목표물의 움직임을 추적하는 중에 상기 카메라(200)로 부터 영상 신호가 입력되지 못하도록 하기 위해 상기 A/D 변환부(210), 영상 저장부(220), 및 상기 움직임 추정부(260)의 작동을 제어하는 제어부(280)로 구성된다.
여기서, 상관도를 계산하는 상관 함수는 위에서 설명한 바와 같이 MAE(Mean Absolute Error)이다.
또한, 위에서 설명함 바와 같이 상기 이전 프레임의 상관 영역은 목표물의 위치에서 16 x 16화소로 이루어지며, 상기 현재 프레임의 검색 영역은 상기 이전 프레임의 상관 영역에 상하 좌우 방향으로 각각 8화소 만큼 추가된 화소, 즉 32 x 32화소로 이루어지며, 상기 부블럭 4 x 4화소로 이루어진다.
상기 영상 저장부(220)는 상기 A/D 변환부(210)로 출력되는 현재 프레임 영상 신호를 저장하는 현재 영상 저장부(221), 및 상기 현재 영상 저장부(221)로 부터 출력되는 영상 신호를 저장하는 이전 영상 저장부(222)로 구성된다.
상기 영역 추출부(230)는 상기 현재 영상 저장부(221)로 부터 출력되는 현재 프레임으로 부터 검색 영역을 추출하는 검색 영역 추출부(231), 및 상기 이전 영상 저장부(232)로 부터 출력되는 이전 프레임으로 부터 상관 영역을 추출하는 상관 영역 추출부(232)로 구성된다.
이와 같이 구성되는 본 발명에 의한 화상 전화기의 목표물 추적 장치의 동작을 설명한다.
먼저, 제어기(280)의 제어에 따라 A/D 변환기(210)가 온되어 카메라(200)로 부터 들어오는 NTSC 신호를 A/D 변환하여 8비트의 디지탈 신호로 출력하게 된다. 이와 같이 A/D 변환된 디지탈 영상 신호는 현재 영상 저장부(221)로 입력되어 저장된다. 이때 제어기(280)는 현재 영상 저장부(221)를 온시켜 A/D 변환기(210)로부터 출력되는 현재 영상을 저장할 수 있도록 한다.
한편, 현재 영상 저장부(221)에 저장된 영상 신호는 이전 영상 저장부(222)로 출력되어 이전 영상으로 저장된다.
여기서, 현재 영상 및 이전 영상 저장부(221,222)는 영상을 저장하기 위해서 VRAM(Video RAM)으로 구현된다.
이와 같이 현재 영상 저장부(221)에 저장된 영상 신호로 부터 검색 영역 추출부(231)에서는 검색 영역에 해당하는 영상 신호를 추출하고, 이전 영상 저장부(222)에 저장된 영상 신호로 부터 상관 영역 추출부(232)에서는 상관 영역에 해당하는 영상 신호를 추출한다.
즉, 도4에 도시한 바와 같이 검색 영역 추출부(231)에서는 현재 영상 저장부(221)에 저장된 영상 신호에서 검색 영역에 대항하는 32 x 32호소를 추출하고, 상관 영역 추출부(232)에서는 이전 영상 저장부(222)에 저장된 이전 영상 신호에서 상관 영역에 해당하는 16 x 16화소를 추출한다.
분할부(240)에서는 도5에 도시한 바와 같이 검색 영역 추출부(231)와 상관 영역 추출부(232)에서 추출된 검색 영역과 상관 영역은 4 x 4화소의 부블럭으로 나눈다. 즉, 분할부(240)에서는 상관 영역과 검색 영역을 일정한 크기, 즉 4 x 4화소의 사각형으로 분할한다.
검색 영역도 4 x 4로 분할한 이유는 4화소 미만의 움직임을 무시하여 계산상의 효율을 최대화하기 위함이다.
탐색부(250)에서는 검색 영역에서의 부블럭과 상관 영역의 부블럭간의 상관도를 MAE 상관 함수에 따라 구한다. 즉 도5에 도시한 바와 같이 각 상관 영역에 대해 검색 영역의 64개 부블럭간의 상관도를 모두 계산한다.
이와 같이 계산된 상관도에 해당하는 상관도 벡터는 16 x 64개가 된다.
이중에서 상관 영역의 각 부블럭에 대해 상관도가 가장 높은, 즉 MAE가 가장 작은 검색 영역의 부블럭에 대해 움직임 추정부(260)에서는 도6에 도시한 바와 같이 움직임 벡터를 계산한다.
이 움직임 벡터는 상관도가 가장 높은 검색영역의 부블럭과 상관 영역의 부블럭의 중심간의 차이 벡터이다. 이와 같이 구해진 상관 영역의 모든 부블럭의 움직임 벡터의 평균을 구해 최종 움직임 벡터를 구한다.
따라서, 도 6에서 상관 영역의 부불럭(i)에서 가장 상관도가 높은 검색 영역의 부블럭(j)에 대한 움직임 벡터(ABi)라고 할때 최종 움직임 벡터는가 된다. 이러한 최종 움직임 벡터를 이용하여 모터 구동부(270)에서는 모터를 구동하여 카메라(200)의 방향을 변경한다.
한편, 제어기(280)에서는 현재 영상 저장부(221)를 온시키고 움직임 추정부(2690)를 온시킨 후 최종 움직임 벡터를 계산할 때까지 A/D 변환기(210)와 함께 영상 저장부(221)를 오프시켜 카메라(200)로 부터 NTSC 신호가 입력되지 못하도록 한다. 움직임 추정부(260)에서 최종 움직임 벡터가 계산되어 모터 구동부(270)를 구동시킨 후에는 카메라(200)로 부터 새로운 영상을 받아들이기 위해 위와 같이 다시 A/D 변환RL(210)와 현재 영상 저장부(221)를 온시키고 움직임 추정부(260)를 온시킨 후 최종 움직임 벡터를 계산할 때까지 A/D 변환RL(210)와 현재 영상 저장부(221)를 오프시킨다.
이와 같은 동작을 통해 카메라(200)의 방향을 목표물의 위치에 따라 변화시켜 카메라(200)가 목표물을 추적할 수 있도록 한다.
이상에서 설명한 바와 같이 본 발명에 의한 화상 전화기의 목표물 추적 방법 및 장치는 상관 추적 기법을 이용하여 목표물을 추적하여 추적 성능을 향상시키면서도 계산량을 줄이는 효과가 있다.

Claims (17)

  1. 추적 모드에서 카메라로 부터 입력되는 이전 프레임 및 현재 프레임에서 상관 영역과 검색 영역을 추출하는 영역 추출 단계(100,101,102);
    상기 추출된 상관 영역과 검색 영역을 특정 크기의 부블럭으로 분할하는 부블럭 분할 단계(103);
    상기 현재 프레임의 검색 영역의 부블럭과 이전 프레임의 상관 영역의 부블럭간의 상관도에 따라 움직임을 추정하는 움직임 추정 단계(104,105); 및
    상기 추정된 움직임에 따라 상기 카메라의 방향을 조절하는 모터 구동 단계(106)를 포함하여 수행됨을 특징으로 하는 화상 전화기의 목표물 추적 방법.
  2. 제1항에 있어서, 상기 이전 프레임의 상관 영역은 목표물의 위치에 16 x 16화소로 이루어짐을 특징으로 하는 화상 전화기의 목표물 추적 방법.
  3. 제2항에 있어서, 상기 현재 프레임의 검색 영역은 상기 이전 프레임의 상관 영역에 상하좌우 방향으로 각각 8화소만큼 추가된 화소로 이루어짐을 특징으로 하는 화상 전화기의 목표물 추적 방법.
  4. 제3항에 있어서, 상기 현재 프레임의 검색 영역은 32 x 32화소로 이루어짐을 특징으로 하는 화상 전화기의 목표물 추적 방법.
  5. 제1항에 있어서, 상기 부블럭은 4 x 4화소로 이루어짐을 특징으로 하는 화상 전화기의 목표물 추적 방법.
  6. 제1항에 있어서, 상기 영역 추출 단계는 추적 모드에서 카메라로 부터 입력되는 이전 프레임 및 현재 프레임을 A/D(Analog/Digital) 변환하여 저장하는 이전 및 현재 프레임 저장 단계;
    상기 저장된 이전 프레임에서 목표 물체의 위치에 해당하는 상관 영역을 추출하는 상관 영역 추출 단계; 및
    상기 저장된 현재 프레임에서 상기 상관 영역에 상하좌우 방향으로 각각 8화소만큼 추가된 크기로 검색 영역을 추출하는 검색 영역 추출 단계를 포함하여 수행됨을 특징으로 하는 화상 전화기의 목표물 추적 방법.
  7. 제1항에 있어서, 상기 상관도를 계산하는 상관 함수는 MAE(Mean Absolute Error)임을 특징으로 하는 화상 전화기의 목표물 추적 장치.
  8. 제1항에 있어서, 상기 움직임 추정 단계는 이전 프레임이 상관 영역의 부블럭과 현재 프레임의 검색 영역의 부블럭간의 상관도를 계산하는 상관도 계산 단계(104); 및
    상기 계산된 상관도가 가장 높은 부블럭들에 대해 움직임 벡터를 계산하고 계산된 움직임 벡터의 평균을 최종 움직임 벡터로 결정하는 움직임 벡터 결정 단계(105)를 포함하여 수행됨을 특징으로 하는 화상 전화기의 목표물 추적 방법.
  9. 추적 모드에서 카메라(200)로 부터 입력되는 영상 신호를 A/D 변환하는 A/D 변환 수단(210);
    상기 A/D 변환 수단(210)으로 출력되는 영상 신호를 프레임 단위로 저장하여 이전 프레임과 현재 프레임을 출력하는 영상 저장 수단(220);
    상기 영상 저장 수단(220)으로 부터 출력되는 이전 프레임과 현재 프레임으로 부터 상관 영역과 검색 영역을 추출하는 영역 추출 수단(230);
    상기 영역 추출 수단(230)으로 부터 출력되는 상관 영역과 검색 영역을 특정 크기의 부블럭으로 분할하는 분할 수단(240);
    상기 분할 수단(240)에서 분할된 상관 영역의 부블럭과 검색 영역의 부블럭의 영상 신호를 입력으로 상관도를 계산하는 탐색 수단(250);
    상기 탐색 수단(250)으로부터 출력되는 상관도가 가장 높은 부블럭들에 대해 움직임 벡터를 계산하고 계산된 움직임 벡터의 평균을 최종 움직임 벡터로 결정하는 움직임 추정 수단(260); 및
    상기 움직임 추정 수단(260)으로 부터 출력되는 최종 움직임 벡터에 따라 상기 카메라(200)의 방향을 조절하는 모터를 구동하는 모터 구동 수단(270)을 포함하여 구성됨을 특징으로 하는 화상 전화기의 목표물 추적 장치.
  10. 제9항에 있어서, 상기 목표물의 움직임을 추적하는 중에 상기 카메라(200)로 부터 영상 신호가 입력되지 못하도록 하기 위해 상기 A/D 변환 수단(210), 영상 저장 수단(220), 및 상기 움직임 추정수단(260)의 작동을 제어하는 제어 수단(280)을 더 포함하여 구성됨을 특징으로 하는 화상 전화기의 목표물 추적 장치.
  11. 제9항에 있어서, 상기 이전 프레임의 상관 영역은 목표물의 위치에 16 x 16화소로 이루어짐을 특징으로 하는 화상 전화기의 목표물 추적 장치.
  12. 제11항에 있어서, 상기 현재 프레임의 검색 영역은 상기 이전 프레임의 상관 영역에 상하좌우 방향으로 각각 8화소만큼 추가된 화소로 이루어짐을 특징으로 하는 화상 전화기의 목표물 추정 장치.
  13. 제12항에 있어서, 상기 현재 프레임의 검색 영역은 32 x 32화소로 이루어짐을 특징으로 하는 화상 전화기의 목표물 추적 장치.
  14. 제9항에 있어서, 상기 부블럭 4 x 4화소로 이루어짐을 특징으로 하는 화상 전화기의 목표물 추적 장치.
  15. 제9항에 있어서, 상기 영상 저장 수단(220)은 상기 A/D 변환 수단(210)으로 출력되는 현재 프레임의 영상 신호를 저장하는 현재 영상 저장부(221); 및
    상기 현재 영상 저장부(221)로부터 출력되는 영상 신호를 저장하는 이전 영상 저장부(222)를 포함하여 구성됨을 특징으로 하는 화상 전화기의 목표물 추적 장치.
  16. 제15항에 있어서, 상기 영역 추출 수단(230)은 상기 현재 영상 저장부(221)로 부터 출력되는 현재 프레임으로 부터 검색 영역은 추출하는 검색 영역 추출부(231); 및
    상기 이전 영상 저장부(232)로 부터 출력되는 이전 프레임으로 부터 상관 영역을 추출하는 상관 영역 추출부(232)를 포함하여 구성됨을 특징으로 하는 화상 전화기의 목표물 추적 장치.
  17. 제9항에 있어서, 상기 상관도를 계산하는 상관 함수는 MAE(Mean Absolute Error)임을 특징으로 하는 화상 전화기의 목표물 추적 장치.
KR1019960037436A 1996-08-31 1996-08-31 화상전화기의 목표물 추적 방법 및 장치 KR100235316B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019960037436A KR100235316B1 (ko) 1996-08-31 1996-08-31 화상전화기의 목표물 추적 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960037436A KR100235316B1 (ko) 1996-08-31 1996-08-31 화상전화기의 목표물 추적 방법 및 장치

Publications (2)

Publication Number Publication Date
KR19980017643A true KR19980017643A (ko) 1998-06-05
KR100235316B1 KR100235316B1 (ko) 1999-12-15

Family

ID=19472194

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960037436A KR100235316B1 (ko) 1996-08-31 1996-08-31 화상전화기의 목표물 추적 방법 및 장치

Country Status (1)

Country Link
KR (1) KR100235316B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100285814B1 (ko) * 1997-12-11 2001-04-16 이중구 피사체추적이가능한감시용카메라의제어장치및그방법
KR100635009B1 (ko) * 1999-10-15 2006-10-16 삼성전자주식회사 화면 전체의 움직임을 고려한 움직임예측방법 및 그 장치
KR100702787B1 (ko) * 2006-01-27 2007-04-03 씨멘스 오토모티브 주식회사 자동차용 사이드미러의 습기 및 빗방울제거장치

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR950026285A (ko) * 1994-02-04 1995-09-18 김광호 영상 전화기의 카메라 방향 제어 방법 및 장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100285814B1 (ko) * 1997-12-11 2001-04-16 이중구 피사체추적이가능한감시용카메라의제어장치및그방법
KR100635009B1 (ko) * 1999-10-15 2006-10-16 삼성전자주식회사 화면 전체의 움직임을 고려한 움직임예측방법 및 그 장치
KR100702787B1 (ko) * 2006-01-27 2007-04-03 씨멘스 오토모티브 주식회사 자동차용 사이드미러의 습기 및 빗방울제거장치

Also Published As

Publication number Publication date
KR100235316B1 (ko) 1999-12-15

Similar Documents

Publication Publication Date Title
US7764736B2 (en) Real-time video object generation for smart cameras
KR100530223B1 (ko) 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치
KR100224752B1 (ko) 표적 추적 방법 및 장치
US6005609A (en) Method and apparatus for digital correlation object tracker using a shape extraction focalization technique
WO1998035318A1 (en) A method and apparatus for segmenting images prior to coding
US6310920B1 (en) Moving picture encoding apparatus
KR960028564A (ko) 모션 벡터 선택방법 및 이 방법을 수행하는 이미지 처리장치
KR100235316B1 (ko) 화상전화기의 목표물 추적 방법 및 장치
US7327787B1 (en) Method and apparatus for motion estimation
KR19980036073A (ko) 움직임 벡터 검출 방법 및 장치
CN106951831B (zh) 一种基于深度摄像机的行人检测跟踪方法
KR100220838B1 (ko) 화상 전화기의 목표물 추적 방법 및 장치
KR100220837B1 (ko) 화상 전화기의 목표물 추적 방법 및 장치
KR100220834B1 (ko) 화상전화기의 목표물 추적장치 및 방법
KR100226587B1 (ko) 화상전화기의 목표물 추적장치 및 방법
KR100226583B1 (ko) 화상전화기의 목표물 추적장치 및 방법
KR100220835B1 (ko) 화상전화기의 목표물 추적장치 및 방법
KR100220843B1 (ko) 화상 전화기의 대화자 추적 방법
KR100215203B1 (ko) 화상 전화기의 목표물 추적 방법 및 장치
CN110602479A (zh) 视频转换方法及系统
KR100215209B1 (ko) 화상전화기의 목표물 추적장치 및 방법
KR100209193B1 (ko) 화상전화기의 목표물 추적장치 및 방법
KR100215208B1 (ko) 화상 전화기의 대화자 추적 방법 및 장치
JP2912629B2 (ja) 移動物体の自動追尾装置
JP2841866B2 (ja) 画像処理装置および方法ならびにその応用装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20080901

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee