KR100220837B1 - Apparatus and method of target tracking in image telephone - Google Patents

Apparatus and method of target tracking in image telephone Download PDF

Info

Publication number
KR100220837B1
KR100220837B1 KR1019960054439A KR19960054439A KR100220837B1 KR 100220837 B1 KR100220837 B1 KR 100220837B1 KR 1019960054439 A KR1019960054439 A KR 1019960054439A KR 19960054439 A KR19960054439 A KR 19960054439A KR 100220837 B1 KR100220837 B1 KR 100220837B1
Authority
KR
South Korea
Prior art keywords
correlation
image
shape
area
target
Prior art date
Application number
KR1019960054439A
Other languages
Korean (ko)
Other versions
KR19980035971A (en
Inventor
정성학
Original Assignee
전주범
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주범, 대우전자주식회사 filed Critical 전주범
Priority to KR1019960054439A priority Critical patent/KR100220837B1/en
Priority to GB9724011A priority patent/GB2319421B/en
Priority to US08/970,389 priority patent/US6005609A/en
Priority to JP9313367A priority patent/JPH10153651A/en
Publication of KR19980035971A publication Critical patent/KR19980035971A/en
Application granted granted Critical
Publication of KR100220837B1 publication Critical patent/KR100220837B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M11/00Telephonic communication systems specially adapted for combination with other electrical systems
    • H04M11/06Simultaneous speech and data transmission, e.g. telegraphic transmission over the same conductors

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 화상 전화기에 있어서, 목표물을 추적하기 위해 미분기 및 스캔너를 사용하여 상관 영역의 모양을 임의로 설정하고 상관도를 계산하여 카메라의 방향을 변경해 주는 목표물 추적 방법 및 장치에 관한 것이다.The present invention relates to a target tracking method and apparatus for changing a direction of a camera by arbitrarily setting a shape of a correlation area using a differentiator and a scanner to track a target and calculating a correlation degree.

본 발명은 초기 입력 영상으로 부터 경계 화소를 추출하고 스캔 방법을 이용하여 대화자의 얼굴 모양을 추출하여 상관 영역으로 설정하고 상관도를 계산하여 계산량을 줄이고 추적 성능을 향상시키기 위한 것이다.The present invention extracts a boundary pixel from an initial input image, extracts a face shape of a talker using a scan method, sets it as a correlation area, and calculates a correlation to reduce a calculation amount and improve a tracking performance.

따라서 본 발명은 종래의 정사각형의 윈도우 대신에 경계 추적 및 스캔을 통해 창의 모양을 결정하여 상관도를 추정하므로, 목표물을 추적하여 추적 성능을 향상시키면서도 계산량을 줄이는 효과가 있다.Therefore, the present invention estimates the correlation by determining the shape of the window through boundary tracking and scanning instead of the conventional square window, and thus it is effective to reduce the calculation amount while improving the tracking performance by tracking the target.

Description

화상 전화기의 목표물 추적 방법 및 장치 (Target Tracking Method and Device for Video phone)A method and apparatus for tracking a video telephone device (Target Tracking Method and Device for Video phone)

본 발명은 화상 전화기에 있어서, 목표물을 추적하기 위해 미분기 및 스캔너를 사용하여 상관 영역의 모양을 임의로 설정하고 상관도를 계산하여 카메라의 방향을 변경해 주는 목표물 추적 방법 및 장치에 관한 것이다.The present invention relates to a target tracking method and apparatus for changing a direction of a camera by arbitrarily setting a shape of a correlation area using a differentiator and a scanner to track a target and calculating a correlation degree.

일반적으로 물체, 즉 목표물(Target)을 추적하는 추적 기법에는 중심점 추적 기법과 상관 추적 기법이 있다.In general, tracking methods for tracking an object, ie, a target, include a center point tracking method and a correlation tracking method.

중심점 추적 기법은 도1a에 도시한 바와 같이 이동 물체를 배경으로 부터 분리한후 추출된 이동 물체의 중심점(A)을 추적하는 방법이다. 이때, 이동 물체, 즉 목표물을 배경과 분리하기 위해 문턱치를 이용하게 된다. 즉, 문턱치를 이용하여 배경과 물체를 이진화한다.The center point tracking method is a method of tracking the center point A of the moving object after separating the moving object from the background as shown in FIG. 1A. At this time, the threshold value is used to separate the moving object, that is, the target, from the background. That is, the background and the object are binarized using the threshold value.

그러나 이러한 중심적 추적 기법은 잡음에 대한 영향을 많이 받는 단점이 있다.However, this central tracking technique has a disadvantage that it is highly affected by noise.

즉, 영상이 비교적 단순하여 영상 영역화가 용이하고 추적 가능한 물체의 속도에 대한 제약이 비교적 적은 경우에는 추적 안정성이 좋고 잡음의 영향이 적다. 그러나 반대로 영상이 비교적 복잡하여 영상 영역화가 용이하지 않고 추적 가능한 물체의 속도에 대한 제약이 비교적 많은 경우에는 추적 안정성이 나쁘고 잡음이 많아 진다.That is, if the image is relatively simple and the image area is easy and the restriction on the speed of the trackable object is relatively small, the tracking stability is good and the influence of noise is small. On the other hand, if the image is relatively complicated and the image area is not easy and the constraint on the speed of the trackable object is relatively large, the tracking stability is bad and the noise is increased.

또한, 상관 추적 기법은 도 1b에 도시한 바와 같이 이전 프레임의 이동 물체, 즉 목표물의 위치에 적당한 크기의 영역(B)을 정의하고 정의된 영역(B)과 현재 프레임내의 검색 영역과의 상관도를 계산하여 상관도가 가장 높은 영역(B')으로 물체가 이동한 것으로 추정하는 방법이다.1B, the correlation tracking method defines a moving object of a previous frame, that is, a region B having a size appropriate to the position of the target, and calculates a correlation (B) between the defined region B and the search region in the current frame And estimates that the object has moved to the region B 'having the highest degree of correlation.

즉, 상관 추적 기법은 주어진 n번째 영상에서 이동 물체의 위치가 주어진 경우 이동 물체를 포함하는 일정한 크기의 윈도우 영역, 즉 상관 영역을 정의하고, n+1번째 영상에서의 검색 영역상의 각 위치에 대하여 상관도를 계산하여 상관도가 가장 높은 영역의 위치를 n+1번째 영상에서의 이동 물체의 위치로 간주한다.That is, the correlation tracking method defines a window region of a fixed size including a moving object, that is, a correlation region when a position of a moving object is given in a given n-th image, The position of the region with the highest degree of correlation is regarded as the position of the moving object in the (n + 1) -th image.

여기서, 상관도 계산시 초기창의 모양, 즉 현재 프레임과 이전 프레임의 상관도 계산시 사용되는 영역은 주로 정사각형 형태의 윈도우 형태로 이루어진다.Here, in calculating the correlation, the area of the initial window, that is, the area used in calculating the correlation between the current frame and the previous frame, is mainly a square window.

따라서 상관 추적 기법은 영상 영역화 과정을 수행하지 않고 입력되는 현재 프레임의 영상으로 부터 직접 상관도를 계산하기 때문에 비교적 복잡한 영상에 대해서도 추적 성능이 유지되지만 계산량이 많아지는 단점이 있다.Therefore, the correlation tracking method calculates the correlation directly from the image of the current frame without performing the image segmentation process, so that the tracking performance is maintained even for a relatively complicated image, but the calculation amount is increased.

즉, 상관 추적 기법은 일반적으로 중심점 추적 기법에 비하여 영상을 이진화하지 않고 영상의 명암 정보를 사용하기 때문에 배경 산란 등이 첨가되어 영상 영역화가 불가능한 경우에도 어느 정도의 추적 성능을 기대할 수 있다. 그러나 상관 추적 기법은 이동 물체의 움직임을 추정하기 위해서 상관 영역과 검색 영역 사이의 모든 경우에 대해 상관도를 계산하여야 하기 때문에 계산량이 많아지는 단점이 있다.In other words, since the correlation tracking method generally uses the intensity information of the image without binarizing the image as compared with the center-point tracking method, it is expected that some degree of tracking performance can be expected even when the image area can not be added by adding background scattering. However, the correlation tracking method has a disadvantage in that the computation amount is increased because the correlation degree must be calculated for all cases between the correlation region and the search region in order to estimate the movement of the moving object.

상기 단점을 개선하기 위한 본 발명은 화상 전화기에 있어서, 초기 입력 영상으로 부터 경계 화소를 추출하고 스캔 방법을 이용하여 대화자의 얼굴 모양을 추출하여 상관 영역으로 설정하고 상관도를 계산하여 계산량을 줄이고 추적 성능을 향상시키기 위한 목표물 추적 방법 및 장치를 제공함에 그 목적이 있다.In order to solve the above-mentioned disadvantages, the present invention provides a picture telephone in which boundary pixels are extracted from an initial input picture, a face shape of a talker is extracted using a scanning method, and a correlation area is set as a correlation area, And an object tracking method and apparatus for improving performance.

도 1a 은 종래의 중심점 추적 기법을 설명하기 위한 도면1A is a view for explaining a conventional center point tracking technique;

도 1b 은 종래의 상관 추적 기법을 설명하기 위한 도면1B is a diagram for explaining a conventional correlation tracking technique;

도 2 는 본 발명에 의한 목표물 추적 방법의 흐름도2 is a flowchart of a target tracking method according to the present invention.

도 3a 은 도 2의 초기창 설정 단계를 설명하기 위한 도면FIG. 3A is a view for explaining the initial window setting step of FIG. 2; FIG.

도 3b 은 도 2의 경계 화소 추출 단계를 설명하기 위한 도면FIG. 3B is a view for explaining the boundary pixel extraction step of FIG. 2; FIG.

도 4는 도 2의 스캔 동작을 설명하기 위한 도면FIG. 4 is a view for explaining the scanning operation of FIG. 2; FIG.

도 5는 도 2의 영역 추출 단계를 설명하기 위한 도면5 is a view for explaining the region extracting step of Fig. 2

도 6은 도 2의 상관도 계산 단계를 설명하기 위한 도면6 is a view for explaining the correlation degree calculation step of FIG. 2; FIG.

도 7은 본 발명에 의한 목표물 추적 장치의 구성도7 is a block diagram of a target tracking apparatus according to the present invention

* 도면의 주요부분에 대한 부호의 설명DESCRIPTION OF THE REFERENCE NUMERALS

300 : 적외선 카메라 310 : 일반 카메라300: infrared camera 310: ordinary camera

400 : 모터부 410 : 모터 드라이버400: motor section 410: motor driver

420 : 모터 500 : 제어부420: motor 500: control unit

600 : 영상 저장부 610 : 멀티플렉서600: Image storage unit 610: Multiplexer

620 : A/D 변환기 630,640,650,660 : 메모리620: A / D converter 630,640,650,660: memory

700 : 상관 영역 모양 결정부 710 : 경계 화소 추출부700: correlation area shape determination unit 710: boundary pixel extraction unit

720 : 스캔너 730 : 영역 모양 결정부720: Scanner 730: Area shape determination unit

800 : 상관도 계산부 900 : 움직임 추정부800: Correlation calculation unit 900: Motion estimation unit

상기 목적을 달성하기 위해 본 발명에 의한 화상 전화기의 목표물 추적 방법은 추적 모드에서 추적을 위해 사용될 영상 신호를 선택하는 입력 영상 신호 선택 단계; 입력되는 초기 영상에서 스캔을 통해 목표물의 모양을 추출하여 상관 영역의 모양을 결정하는 상관 영역 모양 결정 단계; 상기 결정된 상관 영역의 모양에 따라 입력되는 이전 영상에서 목표물이 위치한 상관 영역을 추출하고 입력되는 현재 영상에서 검색을 위한 검색 영역을 추출하는 영역 추출 단계; 상기 추출된 상관 영역과 검색 영역간의 상관도에 따라 움직임을 추정하여 카메라를 이동시키는 움직임 추정 및 모터 구동 단계; 및 통화가 종료될때까지 입력되는 영상에 대해 상기 영역 추출 단계와 움직임 추정 및 모터 구동 단계를 반복하는 통화 종료 단계를 포함하여 수행됨을 특징으로 한다.According to another aspect of the present invention, there is provided a method for tracking a target object of a video phone, the method comprising: selecting an input video signal to be used for tracking in a tracking mode; Determining a shape of a correlation area by extracting a shape of a target through a scan from an input initial image; Extracting a correlation area in which a target is located in a previous image input according to the determined shape of the correlation area and extracting a search area for search from the input current image; A motion estimation and motor driving step of estimating motion according to a correlation between the extracted correlation area and the search area to move the camera; And a call termination step of repeating the region extracting step, the motion estimation, and the motor driving step for an image input until the call is terminated.

또한, 상기 목적을 달성하기 위한 본 발명에 의한 화상 전화기의 목표물 추적 장치는 추적 모드에서 추적을 위해 사용될 영상 신호를 선택하고 A/D 변환하여 저장하는 영상 저장 수단; 상기 영상 저장 수단에 저장된 초기 영상에서 스캔을 통해 목표물의 모양을 추출하여 상관 영역의 모양을 결정하는 상관 영역 모양 결정 수단; 상기 상관 영역 모양 결정 수단에서 결정된 상관 영역의 모양에 따라 상기 영상 저장 수단에서 출력되는 이전 영상과 현재 영상으로부터 상관 영역과 검색 영역을 추출하여 상관도를 계산하는 상관도 계산수단; 상기 상관도 계산 수단에서 계산된 상관도에 따라 움직임을 추정하는 움직임 추정수단; 및 상기 영상 저장 수단의 동작을 제어하고 상기 움직임 추정 수단에서 추정된 움직임에 따라 카메라를 이동시키도록 제어하는 제어 수단을 포함하여 구성됨을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for tracking a target object of a video telephone, comprising: video storage means for selecting a video signal to be used for tracking in a tracking mode, A / D converting the video signal and storing the video signal; A correlation area shape determination unit for extracting a shape of a target through scanning from an initial image stored in the image storage unit to determine a shape of a correlation area; A correlation calculation means for extracting a correlation region and a search region from a previous image and a current image output from the image storage means according to the shape of the correlation region determined by the correlation region shape determination means and calculating a correlation degree; A motion estimation means for estimating a motion according to the correlation calculated by the correlation calculation means; And control means for controlling the operation of the image storage means and moving the camera in accordance with the motion estimated by the motion estimation means.

이하 첨부한 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명에 의한 화상 전화기의 목표물 추적 방법은 도2에 도시한 바와 같이 입력 영상 신호 선택 단계(100, 101), 상관 영역 모양 결정 단계(102, 103, 104, 105, 106), 영역 추출 단계(107, 108), 움직임 추정 및 모터 구동 단계(109, 110, 111), 및 통화 종료 단계(110, 111)에 의해 수행된다.The target tracking method of a video telephone according to the present invention comprises the steps of selecting input video signals 100 and 101, determining a correlation area shape 102, 103, 104, 105 and 106, 107, 108, motion estimation and motor drive steps 109, 110, 111, and call termination steps 110, 111.

상기 입력 영상 신호 선택 단계(100, 101)에서는 추적 모드에서 추적을 위해 사용될 영상 신호를 선택한다.The input video signal selection step (100, 101) selects a video signal to be used for tracking in a tracking mode.

상기 상관 영역 모양 결정 단계(102, 103, 104, 105, 106)에서는 입력되는 초기 영상에서 스캔을 통해 목표물의 모양을 추출하여 상관 영역의 모양을 결정한다.In the correlation area shape determination step (102, 103, 104, 105, and 106), the shape of the correlation area is determined by extracting the shape of the target through the scan from the input initial image.

상기 상관 영역 모양 결정 단계(102, 103, 104, 105, 106)는 입력되는 초기 영상을 A/D(Analog/Digital) 변환하여 저장하는 초기 영상 저장 단계(102), 상기 저장된 초기 영상에서 목표물의 위치에 초기창을 설정하는 초기창 설정 단계(103), 상기 설정된 초기창내에서 경계 화소를 추출하는 경계 화소 추출 단계(104), 상기 추출된 경계 화소를 따라 가로 및 세로 방향으로 스캔하여 목표물의 모양을 추출하는 목표물 모양 추출 단계(105), 및 상기 추출된 목표뮬의 모양을 상관 영역의 모양으로 결정하는 모양 결정 단계(106)에 의해 수행된다.The correlation area shape determination step 102, 103, 104, 105, and 106 may include an initial image storage step 102 for A / D (Analog / Digital) conversion of an input initial image, An initial window setting step (103) for setting an initial window at a predetermined initial window, a boundary pixel extracting step (104) for extracting boundary pixels in the set initial window, a step of scanning in the horizontal and vertical directions along the extracted boundary pixel And a shape determination step (106) of determining the shape of the extracted target mule as the shape of the correlation area.

상기 초기 영상은 목표물이 미리 설정된 위치에 있을때 카메라가 취한 영상이고, 상기 경계 화소는 상기 설정된 초기창내의 각 화소의 밝기값의 수평 및 수직 방향의 미분값의 크기와 설정된 경계선 판별용 문턱치의 비교에 의해 결정된다.The initial image is an image taken by the camera when the target is at a predetermined position, and the boundary pixel compares the magnitude of the horizontal and vertical differential values of the brightness values of the pixels in the set initial window with the threshold value for setting the boundary line Lt; / RTI >

상기 영역 추출 단계(107, 108)에서는 상기 결정된 상관 영역의 모양에 따라 입력되는 이전 영상에서 목표물이 위치한 상관 영역을 추출하고 입력되는 현재 영상에서 검색을 위한 검색 영역을 추출하며, 입력되는 현재 영상을 A/D(Analog/ Digital) 변환하여 저장하는 영상 저장 단계(107), 상기 이전 영상에서 추출된 상관도가 가장 높은 부분을 상기 결정된 상관 영역의 모양으로 추출하여 상관 영역을 설정하는 상관 영역 설정 단계(108), 및 상기 저장된 현재 영상에서 상기 상관 영역을 기준으로 검색 영역을 추출하는 검색 영역 추출 단계(108)에 의해 수행된다.In the region extracting step (107, 108), a correlation area in which a target is located is extracted from a previous image input according to the determined shape of the correlation area, a search area for searching is extracted from the input current image, An image storing step 107 for storing A / D (Analog / Digital) converted and stored, a correlation area setting step of extracting a part having the highest correlation extracted from the previous image in the shape of the determined correlation area, (108), and a search region extraction step (108) for extracting a search region from the stored current image with reference to the correlation region.

여기서, 상기 검색 영역은 이전 영상에서 추출된 상관 영역을 포함하는 사각형의 4배의 크기로 이루어진다.Here, the search area is four times the size of the rectangle including the correlation area extracted from the previous image.

상기 움직임 추정 및 모터 구동 단계(109, 110, 111)에서는 상기 추출된 상관 영역과 검색 영역간의 상관도에 따라 움직임을 추정하여 카메라를 이동시킨다.In the motion estimation and motor driving steps 109, 110 and 111, the motion is estimated according to the correlation between the extracted correlation area and the search area, and the camera is moved.

여기서, 상기 상관도를 계산하는 상관 함수는 MAE(Mean Absolute Error)이다.Here, the correlation function for calculating the correlation is MAE (Mean Absolute Error).

상기 통화 종료 단계(110, 111)에서는 통화가 종료될때까지 입력되는 영상에 대해 상기 영역 추출 단계와 움직임 추정 및 모터 구동 단계를 반복한다.In the call termination step (110, 111), the region extracting step, the motion estimation, and the motor driving step are repeated for the image input until the call is terminated.

이와 이루어지는 본 발명에 의한 화상 전화기의 목표물 추적 방법을 첨부한 도면을 참조하여 상세히 설명한다.A method for tracking a target of a video telephone according to the present invention will be described in detail with reference to the accompanying drawings.

먼저, 상기 입력 영상 신호 선택 단계(100, 101)를 수행하여 추적 모드에서 추적을 위해 사용될 영상 신호를 선택하는데 이를 세부적으로 설명하면 다음과 같다.First, the input video signal selection step (100, 101) is performed to select a video signal to be used for tracking in a tracking mode.

전화가 개시되고 사용자의 상황에 따라서 추적 기능을 사용하기를 원하지 않을 경우가 있을 수 있으므로 사용자가 추적 기능을 사용할 것인가를 먼저 결정한다(100). 추적 모드와 비추적 모드의 구별은 스위치로 간단하게 구현할 수 있다. 즉, 스위치가 온(ON)되어 있으면 추적 기능을 수행하고 오프(OFF)되어 있으면 수행하지 않는다.Since there may be times when a call is initiated and the user does not want to use the tracking function depending on the situation, the user first decides whether to use the tracking function (100). The distinction between trace mode and non-trace mode can be implemented simply with a switch. That is, if the switch is ON, the tracking function is performed. If the switch is OFF, the tracking function is not performed.

스위치를 온시켜 추적 기능을 수행하는 추적 모드가 되면 카메라로 부터 입력되는 영상 신호가 적외선 신호인지 일반 영상 신호인지 판단하여 추적을 위해 사용할 영상 신호를 선택하여 준다.When the tracking mode in which the switch is turned on performs the tracking function, it is determined whether the video signal input from the camera is an infrared signal or a general video signal and selects a video signal to be used for tracking.

즉, 추적을 위해 사용할 영상 신호가 적외선 카메라로부터 출력되는 적외선 신호인 경우와 일반 카메라로 부터 출력되는 일반 영상 신호인 경우가 있다. 이때 어떤 영상 신호를 선택할 것인지를 판단하여 원하는 영상 신호를 선택하여 주어 목표물 추적이 이루어지도록 하여야 한다.That is, the video signal to be used for tracking may be an infrared signal output from an infrared camera or a general video signal output from a general camera. At this time, it is necessary to determine which video signal is to be selected, and to select a desired video signal to track the target.

한편, 일반 영상 신호는 일반적인 카메라, 즉 밝기 정보를 취득하는 카메라에 의해서 취득된 영상 신호를 말한다.On the other hand, a general video signal refers to a video signal acquired by a general camera, that is, a camera that acquires brightness information.

이와 같이 목표물 추적에 사용할 영상 신호를 선택한후에는 초기 영상을 A/D(Analog/Digital) 변환하여 저장하는 초기 영상 저장 단계(102)를 수행한다.After selecting a video signal to be used for target tracking in this way, an initial image storage step 102 is performed in which an initial image is A / D (Analog / Digital) converted and stored.

즉, 카메라에서 들어오는 영상 신호는 A/D 변환기를 통해 8 비트의 디지탈 신호로 출력된다. 이때 높은 비트의 A/D 변환기를 사용할 수도 있다. 이 디지탈 신호는 영상 신호이므로, 메모리상에 2차원 행렬상에서 지정된 범위내의 값을 가지는 디지탈 영상(I(x, y))이 되어 저장된다.That is, the video signal coming from the camera is outputted as an 8-bit digital signal through the A / D converter. At this time, a high-bit A / D converter may be used. Since this digital signal is a video signal, it is stored as a digital image I (x, y) having a value within a specified range on the two-dimensional matrix on the memory.

이 디지탈 영상은 64 x 64 화소의 크기를 갖는 영상으로, 메모리에 저장되어 목표물 추적에 이용된다.This digital image is an image with a size of 64 x 64 pixels, which is stored in memory and used for target tracking.

상관 추적에서는 초기 목표물의 록킹(Locking) 과정에 의해서 초기 위치, 즉 목표물인 통화자가 전화를 하기 위해서 다이얼을 누룰 수 있는 위치를 알고 있다고 가정한다. 따라서, 이러한 초기 위치에서 목표물이 통화를 위해 미리 설정된 위치에 있을때 카메라가 취한 초기 영상을 얻을 수 있게 된다.In the correlation tracking, it is assumed that the initial position, that is, the position where the target caller can enjoy the dial to make a call, is known by the locking process of the initial target. Thus, in this initial position, the initial image taken by the camera can be obtained when the target is at a preset position for the call.

이와 같이 취해진 초기 영상으로부터 목표물인 통화자의 얼굴을 포함할 수 있는 8 x 8 화소인 정사각형으로 이루어진 윈도우를 초기창으로 설정하는 초기창 설정 단계(103)를 수행한다.An initial window setting step 103 is performed to set a window composed of a square of 8 x 8 pixels, which can include a target person's face, as an initial window from the initial image thus taken.

즉, 도 3a에 도시한 바와 같이 64 x 64 화소 크기의 초기 영상으로부터 통화자의 얼굴을 포함하는 8 x 8 화소로 이루어진 초기창(C)을 설정한다.That is, as shown in FIG. 3A, an initial window C consisting of 8 x 8 pixels including a face of the talker is set from an initial image of 64 x 64 pixels.

설정된 초기창내의 각 화소들은 미분기를 통해 경계 화소가 추출되는데, 이 과정을 도3b와 도3c를 참조하여 상세히 설명한다.The boundary pixels are extracted through the differentiator of each pixel in the set initial window, and this process will be described in detail with reference to FIGS. 3B and 3C.

설정된 초기창의 영상은 2차원 행렬I(x, y)에 밝기값이 할당된 형태이다.The image of the set initial window is a form in which brightness values are assigned to the two-dimensional matrix I (x, y).

이와 같이 이루어진 초기창의 영상 신호는 수평 및 수직 방향으로 아래 식(1)과 식(2)와 같이 미분이 이루어진다.The video signal of the initial window is differentiated as shown in the following equations (1) and (2) in the horizontal and vertical directions.

[식 1][Formula 1]

I(x-1, y-1)+I(x-1, y)+I(x-1, y+1)-I(x+1, y-1)-I(x+1, y)-I(x+1, y-1) = hI (x + 1, y-1) + I (x-1, y) + I -I (x + 1, y-1) = h

[식 2][Formula 2]

I(x-1, y-1)+I(x, y-1)+I(x+1, y-1)-I(x-1, y+1)-I(x, y+1)-I(x+1, y+1) = vI (x, y + 1) -I (x, y + 1) -I (x + 1, y + 1) = v

즉, 도3b에 도시한 바와 같이 수평 미분은 기준 화소(x, y)를 중심으로 하여 좌측의 화소의 밝기값(A4, A5, A6)과 우측의 화소의 밝기값(A1, A2, A3)의 차를 구하므로써 이루어지고, 수직 미분은 기준 화소(x, y)를 중심으로 하여 상측의 화소의 밝기값(A4, A7, A1)과 하측의 화소의 밝기값(A6, A8, A3)의 차를 구하므로써 이루어진다.As shown in FIG. 3B, the horizontal differential includes the brightness values A4, A5, and A6 of the left pixel and the brightness values A1, A2, and A3 of the right pixel with the reference pixel x, A7 and A1 on the upper side and the brightness values A6, A8 and A3 on the lower side are centered on the reference pixel x and y, It is done by retrieving the car.

위의 식(1)과 같이 수평 미분을 수행하여 수평 미분값(h)을 계산하고, 위의 식(2)과 같이 수직 미분을 수행하여 수직 미분값(v)을 계산한후 이들 미분값(h, v)의 크기((h2+ v2)1/2)를 계산한다. 즉, 수직 및 수평 미분값(h, v)을 각각 제곱한후 다시 제곱근을 취해 미분값의 크기((h2+ v2)1/2)를 계산한다.As shown in the above equation (1), the horizontal derivative is computed to calculate the horizontal derivative (h), and the vertical derivative is computed as shown in equation (2) h, v) (h 2 + v 2 ) 1/2 . That is, the magnitude ((h 2 + v 2 ) 1/2 ) of the differential value is calculated by squaring the vertical and horizontal differential values (h, v) and then taking the square root again.

상기 계산된 미분값의 크기((h2+ v2)1/2)는 미리 설정된 경계선 판별용 문턱치와 비교되어 상기 경계선 판별용 문턱치보다 큰 경우 기준 화소(x, y)가 경계 화소가 된다.The calculated differential magnitude ((h 2 + v 2 ) 1/2 ) is compared with a preset boundary line discrimination threshold value, and when the threshold value is greater than the boundary line discrimination threshold value, the reference pixel (x, y) becomes a boundary pixel.

이와 같은 미분 과정은 초기창내의 모든 화소, 즉 8 x 8 개의 화소에 대해 수행한다.Such a differentiation process is performed on all the pixels in the initial window, i.e., 8 x 8 pixels.

이와 같이 경계 화소를 추출한후에는 상기 추출된 경계 화소를 따라 가로 및 세로 방향으로 스캔하여 목표물의 모양을 추출하는 목표물 모양 추출 단계(105)를 수행한다.After the boundary pixels are extracted in this manner, a target shape extraction step 105 is performed to scan the target pixels in the horizontal and vertical directions along the extracted boundary pixels to extract the shape of the target.

즉, 도 4에 도시한 바와 같이 가로와 세로로 스캔하여 경계인 화소를 만나면 '0'에서 '1'로 천이하거나 '1'에서 '0'으로 천이하는 과정을 거치고, 가로 및 세로 방향에 대해 '1'인 부분을 추출하여 목표물의 모양을 추출한다.In other words, as shown in FIG. 4, when scanning is performed horizontally and vertically, a transition is made from '0' to '1' or '1' to '0' 1 'is extracted and the shape of the target is extracted.

목표물의 모양이 추출되면 모양 결정 단계(106)를 수행하여 상관 영역의 모양으로 결정한다.When the shape of the target is extracted, a shape determination step 106 is performed to determine the shape of the correlation area.

즉, 도4에 도시한 바와 같이 스캔을 통해 추출된 목표물의 모양을 상관 영역의 모양으로 판단하고 판단된 상관 영역에 따라 상관 영역과 검색 영역을 추출한다.That is, as shown in FIG. 4, the shape of the target extracted through the scan is determined as the shape of the correlation region, and the correlation region and the search region are extracted according to the determined correlation region.

먼저, 입력되는 현재 영상을 A/D(Analog/Digital) 변환하여 저장한다(107).First, an input current image is A / D (Analog / Digital) converted and stored (107).

초기창에서 최초로 상관 영역의 모양을 검출한후에는 이전 영상이 초기 영상이 되므로 추출된 상관 영역이 그대로 상관 영역으로 설정되어 추출된다. 왜냐하면 상기 이전 영상에서 추출된 상관도가 가장 높은 부분은 추출된 상관 영역이기 때문이다.After detecting the shape of the correlation area for the first time in the initial window, since the previous image is the initial image, the extracted correlation area is set as the correlation area as it is. This is because the portion having the highest degree of correlation extracted from the previous image is the extracted correlation region.

이와 같이 상관 영역을 추출한후에는 상기 저장된 현재 영상에서 상기 추출된 상관 영역을 포함하는 사각형의 4배의 크기로 이루어진 검색 영역을 추출한다(108). 즉, 도 5에 도시한 바와 같이 이전 영상, 즉 초기 영상내의 상관 영역을 포함하는 사각형의 4배의 크기로 이루어진 검색 영역을 추출한다.After extracting the correlation area, a search area having a size four times the size of the rectangle including the extracted correlation area is extracted from the stored current image (108). That is, as shown in FIG. 5, a search area having a size four times the size of the rectangle including the correlation area in the previous image, i.e., the initial image, is extracted.

이와 같이 추출된 검색 영역과 상관 영역간의 상관도를 계산한다(109.The degree of correlation between the extracted retrieved region and the correlated region is calculated (109.

초기 영상의 상관 영역과 현재 영상의 검색 영역의 상관도를 계산하기 위해서는 사용할 상관 함수를 결정해야 한다.In order to calculate the correlation between the correlation region of the initial image and the search region of the current image, a correlation function to be used must be determined.

이러한 상관도 계산을 위한 상관 함수로는 NCCF(Normalized Cross Correlation Function), MSE(Mean Square Error), 및 MAE(Mean Absolute Error)가 있다.Correlation functions for calculating the correlation include NCCF (Normalized Cross Correlation Function), MSE (Mean Square Error), and MAE (Mean Absolute Error).

NCCF(p, q) = [ΣIn(i, j)·In+1(i+p, j+q)] / [(ΣIn 2(i, j))1/2·(ΣIn+1 2(i+p, j+q))1/2]NCCF (p, q) = [ ΣI n (i, j) · I n + 1 (i + p, j + q)] / [(ΣI n 2 (i, j)) 1/2 · (ΣI n + 1 2 (i + p, j + q)) 1/2 ]

MSE(p, q) = E([In(i, j) - In+1(i+p, j+q)]2)MSE (p, q) = E ([I n (i, j) - I n + 1 (i + p, j + q)] 2)

MAE(p, q) = E(┃In(i, j) - In+1(i+p, j+q)┃)MAE (p, q) = E (┃I n (i, j) - I n + 1 (i + p, j + q) ┃)

여기서 E(·)는 평균을 나타낸다.Where E (·) represents the mean.

상관 함수로는 NCCF가 가장 적합하지만 계산량을 고려하여 MAE를 사용한다.As the correlation function, NCCF is most suitable but MAE is used considering the calculation amount.

MAE는 영상간의 상관도가 높을수록 작은 값을 나타내게 된다. 따라서 상관 함수로 MAE를 사용할때는 그 값이 가장 낮은 위치가 다음 영상에서의 이동 물체, 즉 목표물의 추정 위치가 된다.The higher the correlation between images, the smaller the value of MAE is. Therefore, when MAE is used as a correlation function, the position with the lowest value becomes the moving object in the next image, that is, the estimated position of the target.

즉, 도 6에 도시한 바와 같이 상관 함수에 따라 현재 영상의 검색 영역과 이전 영상인 초기 영상의 상관 영역의 상관도를 계산하고, 상관도(MAE)가 가장 높은 부분은 검색 영역의 대화자, 즉 목표물이라고 볼 수 있으므로 움직임은 이전 위치와 현재 위치의 차이에 의해 계산된다.That is, as shown in FIG. 6, the correlation between the search area of the current image and the correlation area of the initial image, which is the previous image, is calculated according to the correlation function, and the part with the highest correlation MAE is the Since it can be seen as a target, the motion is calculated by the difference between the previous position and the current position.

즉, 이전 영상인 초기 영상의 상관 영역의 위치와 검색 영역내에서 상관도가 가장 높은 부분이 있는 위치의 차이를 계산하여 목표물인 대화자의 얼굴의 이동을 도 6에 도시한 바와 같이 추정하게 된다(110).That is, the difference between the position of the correlation area of the initial image, which is the previous image, and the position of the part having the highest correlation in the search area, is calculated to estimate the movement of the face of the target, that is, the talker as shown in FIG. 6 110).

추정된 움직임, 즉 대화자의 이동에 따라 모터를 구동시켜 카메라를 이동시킨다(111).The motor is driven according to the estimated movement, that is, the talker moves to move the camera (111).

이때, 카메라로부터 새로운 영상이 입력되었는지 검색하여 새로운 영상이 입력되었으면 이를 다시 A/D 변환하여 저장하는 영상 저장 단계(107)를 수행한다.At this time, if a new image is inputted from the camera, a new image is inputted, and then an A / D conversion is performed and then an image storing step 107 is performed.

한 프레임의 영상 신호는 하나의 메모리에 저장된후 다음 메모리로 쉬프트되어 저장되어 이전 영상으로 사용된다. 즉, 2개의 메모리에 각각 현재 영상과 이전 영상의 영상 신호가 저장되게 된다.The video signal of one frame is stored in one memory and then shifted to the next memory and used as a previous video. That is, the video signals of the current video and the previous video are stored in the two memories, respectively.

따라서 영상 저장 단계(107)에서 저장되는 영상은 현재 입력되는 현재 영상으로, 초기 영상을 포함한 이전 영상은 다음번 움직임 추정을 위해 다른 메모리에 쉬프트되어 저장된다.Accordingly, the image stored in the image storage step 107 is the current image to be currently input, and the previous image including the initial image is shifted and stored in another memory for the next motion estimation.

이와 같이 메모리에 각각 이전 영상과 현재 영상의 영상 신호가 저장되면 상관 영역과 검색 영역을 추출하게 된다(108).When the video signals of the previous video and the current video are stored in the memory, the correlation area and the search area are extracted (108).

즉, 상기 이전 영상에서 추출된 상관도가 가장 높은 부분인 상기 움직임 추정 단계(110)에서 추출된 상관도가 가장 높은 부분을 상기 결정된 상관 영역의 모양으로 추출하여 상관 영역으로 설정하고, 상기 상관 영역을 포함하는 사각형의 4배의 크기를 갖는 사각형으로 이루어진 검색 영역을 현재 영상에서 설정하게 된다(108).That is, a portion having the highest degree of correlation extracted from the motion estimation step 110, which is the highest degree of correlation extracted from the previous image, is extracted as a shape of the determined correlation region and set as a correlation region, And a rectangle having a size of four times the size of the rectangle including the rectangle (108).

이후에 상관도를 계산하는 상관도 계산 단계(109), 움직임 추정 단계(110), 및 모터 구동 단계(111)가 위에서 설명한 바와 같이 수행된다.Correlation calculation step 109, motion estimation step 110, and motor drive step 111, which then calculate the correlation, are performed as described above.

한편, 카메라로부터 새로운 영상이 입력되지 않으면 통화가 종료되었는지 검색하여 추적 기능을 종료하는 통화 종료 단계를 수행한다.On the other hand, if a new image is not input from the camera, a call termination step of terminating the tracking function is performed by searching whether the call is terminated.

즉, 새로운 영상이 입력되면 영상 저장 단계(107)로 진행하여 위의 과정을 반복하고, 새로운 영상이 입력되지 않고 통화가 종료되었으면 추적 기능을 마친다(112, 113).That is, if a new image is input, the process goes to the image storage step 107 and the above process is repeated. If the new image is not input and the call is terminated, the tracking function is terminated (112, 113).

또한, 통화가 종료되지 않았는데 새로운 영상이 입력되지 않으면 새로운 영상이 입력될때까지 대기한다.If the call is not terminated but a new image is not input, the system waits until a new image is input.

다음으로 본 발명에 의한 화상 전화기의 목표물 추적 장치는 영상 저장부(600), 상관 영역 모양 결정부(700), 상관도 계산부(800), 움직임 추정부(900), 제어부(500), 모터부(400), 및 카메라(300, 310)로 구성된다.Next, a target tracking apparatus for a video telephone according to the present invention includes an image storage unit 600, a correlation area shape determination unit 700, a correlation degree calculation unit 800, a motion estimation unit 900, a control unit 500, Unit 400, and cameras 300 and 310.

상기 영상 저장부(600)는 추적 모드에서 추적을 위해 사용될 영상 신호를 선택하고 A/D 변환하여 저장하는 것으로, 상기 제어부(500)의 제어에 따라 추적 모드에서 추적을 위해 사용될 영상 신호를 선택하는 멀티플렉서(610), 상기 멀티플렉서(610)로 부터 출력되는 영상 신호를 A/D 변환하는 A/D 변환기(620), 상기 제어부(500)의 제어에 의해 영상 신호의 종류에 따라 상기 A/D 변환기(620)로 부터 출력되는 현재 영상 신호를 각각 저장하고 상기 상관도 계산부(800)로 출력하는 메모리(630, 650); 및 상기 메모리(630, 650)로 부터 출력되는 이전 영상 신호를 각각 저장하고 상기 상관 영역 모양 결정부(700)로 출력하는 메모리(640, 660)로 구성된다.The image storage unit 600 selects a video signal to be used for tracking in a tracking mode and A / D-converts the video signal to be stored in the video recording unit 600, and selects a video signal to be used for tracking in a tracking mode under the control of the controller 500 A multiplexer 610, an A / D converter 620 for A / D-converting the video signal output from the multiplexer 610, and an A / D converter 610 for controlling the A / (630, 650) for respectively storing the current video signals outputted from the correlation calculator (620) and outputting them to the correlation calculator (800); And memories 640 and 660 for respectively storing previous video signals output from the memories 630 and 650 and outputting the previous video signals to the correlation area shape determination unit 700. [

상기 상관 영역 모양 결정부(700)는 상기 영상 저장부(600)에 저장된 초기 영상에서 스캔을 통해 목표물의 모양을 추출하여 상관 영역의 모양을 결정하는 것으로, 상기 영상 저장부(600)에 저장된 초기 영상에서 목표물의 위치에 초기창내에서 경계 화소를 추출하는 경계 화소 추출부(710), 상기 경계 화소 추출부(710)에서 추출된 경계 화소에 따라 가로 및 세로 방향으로 스캔하여 목표물의 모양을 추출하는 스캔너(720), 및 상기 스캔너(720)에서 추출된 목표뮬의 모양을 상관 영역의 모양으로 결정하는 영역 모양 결정부(730)로 구성된다.The correlation area shape determination unit 700 determines the shape of the correlation area by extracting the shape of the target through the scan from the initial image stored in the image storage unit 600, A boundary pixel extraction unit 710 for extracting boundary pixels in an initial window at a position of a target in the image, and a shape extracting unit 710 for extracting a shape of the target by scanning in the horizontal and vertical directions according to the boundary pixels extracted by the boundary pixel extraction unit 710 And a region shape determination unit 730 that determines the shape of the target mule extracted from the scan unit 720 as the shape of the correlation region.

상기 초기 영상은 목표물이 미리 설정된 위치에 있을때 카메라가 취한 영상이고, 상기 경계 화소는 상기 설정된 초기창내의 각 화소의 밝기값의 수평 및 수직 방향의 미분값의 크기와 설정된 경계선 판별용 문턱치의 비교에 의해 결정된다.The initial image is an image taken by the camera when the target is at a predetermined position, and the boundary pixel compares the magnitude of the horizontal and vertical differential values of the brightness values of the pixels in the set initial window with the threshold value for setting the boundary line Lt; / RTI >

상기 상관도 계산부(800)는 상기 상관 영역 모양 결정부(700)에서 결정된 상관 영역의 모양에 따라 상기 영상 저장부(600)에서 출력되는 이전 영상과 현재 영상으로부터 상관 영역과 검색 영역을 추출하여 상관도를 계산한다.The correlation calculation unit 800 extracts a correlation region and a search region from a previous image and a current image output from the image storage unit 600 according to the shape of the correlation region determined by the correlation region shape determination unit 700 Calculate the correlation.

상기 검색 영역은 이전 영상에서 추출된 상관 영역을 포함하는 사각형의 4배의 크기로 이루어지고, 상기 상관도를 계산하는 상관 함수는 MAE(Mean Absolute Error) 이다.The search area is four times the size of a rectangle including the correlation area extracted from the previous image, and the correlation function for calculating the correlation is MAE (Mean Absolute Error).

상기 움직임 추정부(900)는 상기 상관도 계산부(800)에서 계산된 상관도에 따라 움직임을 추정한다.The motion estimation unit 900 estimates motion according to the degree of correlation calculated by the correlation calculation unit 800. [

상기 제어부(500)는 상기 영상 저장부(600)의 동작을 제어하고 상기 움직임 추정 수단(900)에서 추정된 움직임에 따라 카메라를 이동시킨다.The control unit 500 controls the operation of the image storage unit 600 and moves the camera according to the motion estimated by the motion estimation unit 900.

상기 모터부(400)는 상기 제어부(500)의 제어에 따라 모터를 구동시키는 모터 드라이버(410)와, 상기 모터 드라이버(410)에 의해 카메라(300)를 이동시키는 모터(420)로 구성된다.The motor unit 400 includes a motor driver 410 for driving the motor under the control of the controller 500 and a motor 420 for moving the camera 300 by the motor driver 410.

상기 카메라는 일반 영상을 출력하는 일반 카메라(310)와 적외선 영상을 출력하는 적외선 카메라(300)로 2종류의 영상 신호를 출력하게 된다.The camera outputs two types of video signals to a general camera 310 for outputting a general image and an infrared camera 300 for outputting an infrared image.

이와 같이 구성되는 본 발명에 의한 화상 전화기의 목표물 추적 장치의 동작을 설명한다.The operation of the target tracking device of the image phone according to the present invention constructed as above will be described.

추적 모드가 온되면 제어부(500)의 제어에 따라 멀티플렉서(610)와 A/D 변환기(620)가 온되어 카메라(300, 310)로 부터 들어오는 영상 신호를 A/D 변환하여 8비트의 디지탈 신호로 출력하게 된다.When the tracking mode is turned on, the multiplexer 610 and the A / D converter 620 are turned on according to the control of the controller 500 to A / D convert the video signals coming from the cameras 300 and 310, .

즉, 제어부(500)에서 멀티플렉서(610)를 제어하여 카메라로 부터 입력되는 영상 신호가 적외선 신호인지 일반 영상 신호인지 판단하여 추적을 위해 사용할 영상 신호를 선택하여 준다.That is, the control unit 500 controls the multiplexer 610 to select a video signal to be used for tracking by determining whether the video signal input from the camera is an infrared signal or a general video signal.

이와 같이 적외선 영상 신호와 일반 영상 신호 중에서 어느 신호를 선택할 것인가는 제어부(500) 즉, CPU에 의해 결정되는데, 실제로 상관 영역의 모양을 결정할때에는 적외선 카메라(300)로 부터 입력되는 적외선 영상 신호를 사용하고 현재 입력 영상을 받아들여서 상관도를 계산할때에는 일반 카메라로 부터 입력되는 일반 영상 신호를 사용하도록 선택하게 된다.The CPU 500 determines which signal to select from among the infrared image signal and the general image signal. In determining the shape of the correlation area, the infrared image signal input from the infrared camera 300 is used And when the correlation is calculated by accepting the current input image, a general video signal input from a general camera is selected to be used.

이와 같이 선택되어 멀티플렉서(620)로 부터 출력되는 최초 영상 신호는 A/D 변환기(620)에서 A/D 변환되어 디지탈 신호로 변환된후 메모리(630, 650))에 저장된다. 이때, 선택된 영상 신호가 적외선 영상 신호인 경우에는 메모리(630, 640)에 저장되고 일반 영상 신호인 경우에는 메모리(650, 660)에 저장된다.The original image signal thus selected and output from the multiplexer 620 is A / D converted by the A / D converter 620, converted into a digital signal, and then stored in the memories 630 and 650). At this time, if the selected video signal is an infrared video signal, it is stored in the memories 630 and 640, and if it is a general video signal, it is stored in the memories 650 and 660.

즉, 메모리(630)는 현재의 적외선 영상 신호가 저장되고, 메모리(640)는 이전의 적외선 영상 신호가 저장되고, 메모리(650)는 현재의 일반 영상 신호가 저장되고, 메모리(660)는 이전의 일반 영상 신호가 저장된다.That is, the current infrared image signal is stored in the memory 630, the previous infrared image signal is stored in the memory 640, the current general image signal is stored in the memory 650, Is stored.

따라서 제어부(500)에서는 멀티플렉서(610)에서 선택된 영상 신호의 종류에 따라 해당하는 메모리를 온(ON)시키게 된다.Accordingly, the control unit 500 turns on the corresponding memory according to the type of the video signal selected by the multiplexer 610. [

메모리(630)에 저장된 적외선 영상 신호, 또는 메모리(650)에 저장된 일반 영상 신호인 초기 영상은 경계 화소 추출부(710)에 입력되어 목표물인 통화자의 얼굴이 위치한 부분에서 8 x 8 화소로 이루어진 초기창이 설정된후 경계 화소가 추출된다.An infrared image signal stored in the memory 630 or an initial image which is a general image signal stored in the memory 650 is inputted to the boundary pixel extracting unit 710 and is inputted to an initial After the window is set, boundary pixels are extracted.

즉, 도 3b를 참조하여 위의 식(1)과 식(2)에 의한 수평 및 수직 미분 값을 경계 판별용 문턱치와 비교하여 크면 경계 화소로 판단하여 경계 화소를 추출한다.That is, referring to FIG. 3B, the horizontal and vertical differential values according to the above equations (1) and (2) are compared with the threshold value for edge discrimination, and if it is larger, the boundary pixels are extracted.

이러한 과정을 초기창을 이루는 8 x 8 화소에 대해 수행하여 초기창내의 경계 화소를 추출하고, 이 추출된 경계 화소를 입력으로 도 4에 도시한 바와 같이 스캔너(720)에서 통화자의 얼굴을 추출한다. 즉, 스캔너(720)에서 수평 및 수직 방향으로 스캔하여 통화자의 얼굴을 추출하고 영역 모양 결정부(730)에서는 추출된 통화자의 얼굴을 상관 영역의 모양으로 결정한다.This process is performed on the 8x8 pixels constituting the initial window to extract the boundary pixels in the initial window. Then, as shown in FIG. 4, the extracted boundary pixels are input and the face of the speaker is extracted from the scanner 720 do. That is, the scanners 720 scan in the horizontal and vertical directions to extract the face of the caller, and the area shape determination unit 730 determines the face of the extracted caller as the shape of the correlation area.

한편, 상관도 계산을 위해서는 일반 카메라(310)로 부터 일반 영상 신호를 받아 들이게 되는데, 이를 위해 제어부(500)에서는 멀티플렉서(610)를 제어하게 된다. 이때 위와 같이 일반 영상 신호를 사용하지 않고 적외선 영상 신호를 계속해서 사용할 수도 있으며, 상관 영역의 모양을 추출하기 위해서 일반 영상 신호를 사용할 수도 있다.In order to calculate the correlation, a general video signal is received from the general camera 310. For this purpose, the control unit 500 controls the multiplexer 610. At this time, the infrared image signal can be continuously used without using the general image signal, and a general image signal can be used to extract the shape of the correlation area.

메모리(630, 650)에 저장된 초기 영상은 제어부(500)의 제어에 따라 메모리(640, 660)로 출력되어 이전 영상으로 저장되고, 카메라(300, 310)로부터 들어오는 영상 신호는 제어부(500)의 제어에 따라 멀티플렉서(610)에서 선택되고 A/D 변환기(620)에서 A/D 변환되어 메모리(630, 650)에 저장된다.The initial images stored in the memories 630 and 650 are output to the memories 640 and 660 under the control of the control unit 500 and stored as previous images and the video signals received from the cameras 300 and 310 are transmitted to the control unit 500 D converted by the A / D converter 620 and stored in the memories 630 and 650 in accordance with the control.

이와 같이 메모리(630, 650)에 저장된 이전 영상은 창이 이동된다. 즉, 현재 영상에서의 검색 영역과 이전 영상에서의 상관 영역의 상관도를 계산하기 위해서는 이전 영상의 창을 이동시켜 상관 영역을 맞추어주어야 한다.As described above, the window of the previous image stored in the memories 630 and 650 is moved. That is, in order to calculate the correlation between the search area in the current image and the correlation area in the previous image, the window of the previous image must be moved to match the correlation area.

이와 같이 쉬프팅된 이전 영상의 창에서는 도 5에도시한 바와 같이 상관도 계산부(800)에서 상관도 계산을 위해 영역 모양 결정부(730)에 의해 결정된 상관 영역의 모양으로 상관 영역이 추출되고 메모리(640, 660)에서 출력되는 현재 영상에서는 상관도 계산을 위해 검색 영역이 추출된다.In the window of the previous image shifted in this manner, as shown in FIG. 5, the correlation calculation unit 800 extracts the correlation area in the shape of the correlation area determined by the area shape determination unit 730, The search region is extracted for the correlation calculation in the current image outputted from the search units 640 and 660.

이와 같이 추출된 상관 영역과 검색 영역은 상관도 계산부(800)에서 MAE에 의해 상관도가 계산된다.The degree of correlation is calculated by the MAE in the correlation calculation unit 800 with the extracted correlation region and the search region.

따라서 검색 영역 중에서 상관도가 가장 높은, 즉 MAE가 가장 작은 부분은 목표물, 즉 대화자라고 볼 수 있으므로 도 6에 도시한 바와 같이 움직임 추정부(900)에서는 이전 위치와 현재 위치의 차이에 의해 움직임을 계산한다.Therefore, as shown in FIG. 6, the motion estimation unit 900 can detect movement of the search region by the difference between the previous position and the current position because the portion having the highest correlation degree, that is, the smallest MAE, .

이 움직임 정보를 이용하여 제어부(500)에서는 모터 드라이버(410)를 제어하여 모터(420)를 구동시키도록 한다. 이에 따라 카메라(300, 310)가 이동하여 A/D 변환기(620)로 새로운 영상이 입력되게 되고, 이때 제어부(500)는 A/D 변환기(620)를 온시킨다.The controller 500 controls the motor driver 410 to drive the motor 420 using the motion information. Accordingly, the cameras 300 and 310 move to input a new image to the A / D converter 620, and the controller 500 turns on the A / D converter 620 at this time.

한편, 제어기(500)에서는 A/D 변환기(620)와 메모리(630, 650)를 온시킨후 움직임 추정부(900)에서 움직임을 추정하여 움직임 정보를 출력할때까지 A/D 변환기(620)와 메모리(630, 650)를 오프시켜 카메라(300, 310)로 부터 영상 신호가 입력되지 못하도록 한다.The controller 500 turns on the A / D converter 620 and the memories 630 and 650 and then outputs the motion information to the A / D converter 620 until the motion estimator 900 estimates the motion and outputs the motion information. And the memories 630 and 650 are turned off to prevent the video signals from being input from the cameras 300 and 310. [

이와 같은 동작을 통해 카메라(300, 310)를 목표물의 위치에 따라 이동시켜 카메라(300, 310)가 목표물을 추적할 수 있도록 한다.Through the above operation, the cameras 300 and 310 are moved according to the position of the target so that the cameras 300 and 310 can track the target.

이상에서 설명한 바와 같이 본 발명에 의한 화상 전화기의 목표물 추적 방법 및 장치는 종래의 정사각형의 윈도우 대신에 경계 추적 및 스캔을 통해 창의 모양을 결정하여 상관도를 추정하므로, 목표물을 추적하여 추적 성능을 향상시키면서도 계산량을 줄이는 효과가 있다.As described above, according to the present invention, the target tracking method and apparatus of a video telephone determines the shape of a window through border tracking and scanning instead of the conventional square window, thereby estimating the correlation degree. It is possible to reduce the calculation amount.

Claims (14)

추적 모드에서 추적을 위해 사용될 영상 신호를 선택하는 입력 영상 신호 선택 단계(100, 101);An input video signal selection step (100, 101) for selecting a video signal to be used for tracking in a tracking mode; 입력되는 초기 영상에서 스캔을 통해 목표물의 모양을 추출하여 상관 영역의 모양을 결정하는 상관 영역 모양 결정 단계(102, 103, 104, 105, 106);A correlation area shape determination step (102, 103, 104, 105, 106) for extracting a shape of a target through a scan from an input initial image to determine a shape of the correlation area; 상기 결정된 상관 영역의 모양에 따라 입력되는 이전 영상에서 목표물이 위치한 상관 영역을 추출하고 입력되는 현재 영상에서 검색을 위한 검색 영역을 추출하는 영역 추출 단계(107, 108);An area extracting step (107, 108) for extracting a correlation area in which a target is located in a previous image input according to the determined shape of the correlation area and extracting a search area for searching from the input current image; 상기 추출된 상관 영역과 검색 영역간의 상관도에 따라 움직임을 추정하여 카메라를 이동시키는 움직임 추정 및 모터 구동 단계(109, 110, 111); 및A motion estimation and motor driving step (109, 110, 111) for moving the camera by estimating motion according to the degree of correlation between the extracted correlation area and the search area; And 통화가 종료될때까지 입력되는 영상에 대해 상기 영역 추출 단계와 움직임 추정 및 모터 구동 단계를 반복하는 통화 종료 단계(110, 111)를 포함하여 수행됨을 특징으로 하는 화상 전화기의 목표물 추적 방법.And a call terminating step (110, 111) for repeating the area extracting step, the motion estimation and the motor driving step for the image input until the call is terminated. 제 1 항에 있어서, 상기 초기 영상은 목표물이 미리 설정된 위치에 있을때 카메라가 취한 영상임을 특징으로 하는 화상 전화기의 목표물 추적 방법.The method according to claim 1, wherein the initial image is an image taken by a camera when the target is at a predetermined position. 제 1 항에 있어서, 상기 상관 영역 모양 결정 단계는 입력되는 초기 영상을 A/D(Analog/Digital) 변환하여 저장하는 초기 영상 저장 단계(102); 상기 저장된 초기 영상에서 목표물의 위치에 초기창을 설정하는 초기창 설정 단계(103); 상기 설정된 초기창내에서 경계 화소를 추출하는 경계 화소 추출 단계(104); 상기 추출된 경계 화소를 따라 가로 및 세로 방향으로 스캔하여 목표물의 모양을 추출하는 목표물 모양 추출 단계(105); 및 상기 추출된 목표뮬의 모양을 상관 영역의 모양으로 결정하는 모양 결정 단계(106)를 포함하여 수행됨을 특징으로 하는 화상 전화기의 목표물 추적 방법.2. The method of claim 1, wherein the determining of the correlation area shape comprises: an initial image storage step (102) for A / D (Analog / Digital) conversion of an input initial image; An initial window setting step (103) of setting an initial window at a position of a target in the stored initial image; A boundary pixel extraction step (104) of extracting boundary pixels in the set initial window; A target shape extracting step (105) of extracting the shape of the target by scanning in the horizontal and vertical directions along the extracted boundary pixels; And determining a shape of the extracted target mule as a shape of a correlated region. 제 3 항에 있어서, 상기 경계 화소는 상기 설정된 초기창내의 각 화소의 밝기값의 수평 및 수직 방향의 미분값의 크기와 설정된 경계선 판별용 문턱치의 비교에 의해 결정됨을 특징으로 하는 화상 전화기의 목표물 추적 방법.4. The video telephone according to claim 3, wherein the boundary pixels are determined by comparing magnitudes of differential values in the horizontal and vertical directions of the brightness values of the respective pixels in the set initial window with thresholds for setting boundary lines to be set. Way. 제 1 항에 있어서, 상기 검색 영역은 이전 영상에서 추출된 상관 영역을 포함하는 사각형의 4배의 크기로 이루어짐을 특징으로 하는 화상 전화기의 목표물 추적 방법.2. The method according to claim 1, wherein the search area is four times the size of a rectangle including a correlation area extracted from a previous image. 제 1 항에 있어서, 상기 상관도를 계산하는 상관 함수는 MAE(Mean Absolute Error) 임을 특징으로 하는 화상 전화기의 목표물 추적 방법.2. The method of claim 1, wherein the correlation function for calculating the correlation is a Mean Absolute Error (MAE). 제 5 항에 있어서, 상기 영역 추출 단계(107, 108)는 입력되는 현재 영상을 A/D(Analog/Digital) 변환하여 저장하는 영상 저장 단계(107); 상기 이전 영상에서 추출된 상관도가 가장 높은 부분을 상기 결정된 상관 영역의 모양으로 추출하여 상관 영역을 설정하는 상관 영역 설정 단계(108); 및 상기 저장된 현재 영상에서 상기 상관 영역을 기준으로 검색 영역을 추출하는 검색 영역 추출 단계(108)를 포함하여 수행됨을 특징으로 하는 화상 전화기의 목표물 추적 방법.6. The method according to claim 5, wherein the region extracting step (107, 108) comprises an image storing step (107) for A / D (Analog / Digital) conversion of the input current image and storing the current image; A correlation area setting step (108) of extracting a part having the highest correlation extracted from the previous image as a shape of the determined correlation area and setting a correlation area; And a search region extracting step (108) of extracting a search region based on the correlation region in the stored current image. 추적 모드에서 추적을 위해 사용될 영상 신호를 선택하고 A/D 변환하여 저장하는 영상 저장 수단(600);An image storage means 600 for selecting a video signal to be used for tracking in the tracking mode and performing A / D conversion and storing the selected video signal; 상기 영상 저장 수단(600)에 저장된 초기 영상에서 스캔을 통해 목표물의 모양을 추출하여 상관 영역의 모양을 결정하는 상관 영역 모양 결정 수단(700);A correlation area shape determination unit (700) for extracting a shape of a target through scanning from an initial image stored in the image storage unit (600) to determine a shape of a correlation area; 상기 상관 영역 모양 결정 수단(700)에서 결정된 상관 영역의 모양에 따라 상기 영상 저장 수단(600)에서 출력되는 이전 영상과 현재 영상으로부터 상관 영역과 검색 영역을 추출하여 상관도를 계산하는 상관도 계산수단(800);A correlation calculation unit (700) for calculating a correlation by extracting a correlation area and a search area from a previous image and a current image output from the image storage unit (600) according to the shape of the correlation area determined by the correlation area shape determination unit (800); 상기 상관도 계산 수단(800)에서 계산된 상관도에 따라 움직임을 추정하는 움직임 추정수단(900); 및A motion estimation unit 900 for estimating a motion according to the degree of correlation calculated by the correlation calculation unit 800; And 상기 영상 저장 수단(600)의 동작을 제어하고 상기 움직임 추정 수단(900)에서 추정된 움직임에 따라 카메라를 이동시키도록 제어하는 제어 수단(500)을 포함하여 구성됨을 특징으로 하는 화상 전화기의 목표물 추적 장치.And control means (500) for controlling the operation of the image storage means (600) and controlling the movement of the camera in accordance with the motion estimated by the motion estimation means (900) Device. 제 8 항에 있어서, 상기 영상 저장 수단(600)은9. The apparatus of claim 8, wherein the image storage means (600) 상기 제어 수단(500)의 제어에 따라 추적 모드에서 추적을 위해 사용될 영상 신호를 선택하는 멀티플렉서(610); 상기 멀티플렉서(610)로 부터 출력되는 영상 신호를 A/D 변환하는 A/D 변환기(620); 상기 제어 수단(500)의 제어에 의해 영상 신호의 종류에 따라 상기 A/D 변환기(620)로 부터 출력되는 현재 영상 신호를 각각 저장하고 상기 상관도 계산 수단(800)으로 출력하는 제1 및 제2 메모리(630, 650); 및 상기 제1 및 제2 메모리(630, 650)로 부터 출력되는 이전 영상 신호를 각각 저장하고 상기 상관 영역 모양 결정 수단(700)으로 출력하는 제3 및 제4 메모리(640, 660)를 포함하여 구성됨을 특징으로 하는 화상 전화기의 목표물 추적 장치.A multiplexer (610) for selecting a video signal to be used for tracking in a tracking mode under the control of the control means (500); An A / D converter 620 for A / D-converting the video signal output from the multiplexer 610; D converter 620 according to the type of the video signal under the control of the control means 500 and outputs the current video signals to the correlation calculation means 800. [ Two memories 630, 650; And third and fourth memories 640 and 660 for respectively storing previous video signals output from the first and second memories 630 and 650 and outputting the previous video signals to the correlation area shape determining means 700 Wherein the target tracking unit comprises: 제 9 항에 있어서, 상기 상관 영역 모양 결정 수단(700)은 상기 영상 저장 수단(600)에 저장된 초기 영상에서 목표물의 위치에 초기창내에서 경계 화소를 추출하는 경계 화소 추출부(710); 상기 경계 화소 추출부(710)에서 추출된 경계 화소에 따라 가로 및 세로 방향으로 스캔하여 목표물의 모양을 추출하는 스캔너(720); 및 상기 스캔너(720)에서 추출된 목표뮬의 모양을 상관 영역의 모양으로 결정하는 영역 모양 결정부(730)를 포함하여 수행됨을 특징으로 하는 화상 전화기의 목표뮬 추적 장치.10. The apparatus according to claim 9, wherein the correlation area shape determination means (700) comprises: a boundary pixel extraction unit (710) for extracting boundary pixels in an initial window at a target position in an initial image stored in the image storage means (600); A scan unit 720 for scanning the target pixels in the horizontal and vertical directions according to the boundary pixels extracted by the boundary pixel extracting unit 710; And a region shape determination unit (730) that determines the shape of the target mule extracted from the scaner (720) as a shape of a correlation region. 제 10 항에 있어서, 상기 초기 영상은 목표물이 미리 설정된 위치에 있을때 카메라가 취한 영상임을 특징으로 하는 화상 전화기의 목표물 추적 장치.11. The apparatus according to claim 10, wherein the initial image is a video taken by the camera when the target is at a predetermined position. 제 10 항에 있어서, 상기 경계 화소는 상기 설정된 초기창내의 각 화소의 밝기값의 수평 및 수직 방향의 미분값의 크기와 설정된 경계선 판별용 문턱치의 비교에 의해 결정됨을 특징으로 하는 화상 전화기의 목표물 추적 장치.11. The video telephone according to claim 10, wherein the boundary pixels are determined by comparing magnitudes of differential values in horizontal and vertical directions of brightness values of the respective pixels in the set initial window with thresholds for setting boundary lines to be set. Device. 제 8 항에 있어서, 상기 검색 영역은 이전 영상에서 추출된 상관 영역을 포함하는 사각형의 4배의 크기로 이루어짐을 특징으로 하는 화상 전화기의 목표물 추적 장치.9. The apparatus according to claim 8, wherein the search area has a size four times the size of a rectangle including the correlation area extracted from the previous image. 제 8 항에 있어서, 상기 상관도를 계산하는 상관 함수는 MAE(Mean Absolute Error) 임을 특징으로 하는 화상 전화기의 목표물 추적 장치.9. The apparatus according to claim 8, wherein the correlation function for calculating the correlation is a Mean Absolute Error (MAE).
KR1019960054439A 1996-11-15 1996-11-15 Apparatus and method of target tracking in image telephone KR100220837B1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1019960054439A KR100220837B1 (en) 1996-11-15 1996-11-15 Apparatus and method of target tracking in image telephone
GB9724011A GB2319421B (en) 1996-11-15 1997-11-13 Method and apparatus for target tracking
US08/970,389 US6005609A (en) 1996-11-15 1997-11-14 Method and apparatus for digital correlation object tracker using a shape extraction focalization technique
JP9313367A JPH10153651A (en) 1996-11-15 1997-11-14 Target tracking method and device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019960054439A KR100220837B1 (en) 1996-11-15 1996-11-15 Apparatus and method of target tracking in image telephone

Publications (2)

Publication Number Publication Date
KR19980035971A KR19980035971A (en) 1998-08-05
KR100220837B1 true KR100220837B1 (en) 1999-09-15

Family

ID=19482054

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019960054439A KR100220837B1 (en) 1996-11-15 1996-11-15 Apparatus and method of target tracking in image telephone

Country Status (1)

Country Link
KR (1) KR100220837B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100994366B1 (en) 2008-10-13 2010-11-16 국방과학연구소 Method for tracking a movement of a moving target of image tracking apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990060503A (en) * 1997-12-31 1999-07-26 구자홍 Apparatus and method for recording subject specific part of video camera

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100994366B1 (en) 2008-10-13 2010-11-16 국방과학연구소 Method for tracking a movement of a moving target of image tracking apparatus

Also Published As

Publication number Publication date
KR19980035971A (en) 1998-08-05

Similar Documents

Publication Publication Date Title
CN1838737B (en) Frame rate converting apparatus, pan/tilt determining apparatus, and video apparatus
US6005609A (en) Method and apparatus for digital correlation object tracker using a shape extraction focalization technique
KR100252080B1 (en) Apparatus for stabilizing video signals through revising the motion of the video signals using bit plane matching and a stabilizing method therefor
KR100530223B1 (en) Frame interpolation method and apparatus at frame rate conversion
US20110193986A1 (en) Image sensing device
US8488840B2 (en) Image processing device, image processing method and electronic apparatus
JPH09186927A (en) Tracking device and tracking method
US6122319A (en) Motion compensating apparatus using gradient pattern matching and method thereof
KR101129591B1 (en) Image processing device, image processing method, and recording medium
KR100220837B1 (en) Apparatus and method of target tracking in image telephone
RU2453068C1 (en) Image capturing device
KR100215203B1 (en) Target tracking method and device for video phone
KR100220838B1 (en) Apparatus and method of target tracking in image telephone
KR100235316B1 (en) Target tracking method and apparatus of video phone
KR100220834B1 (en) Apparatus and method of target tracking in image telephone
KR100226587B1 (en) Target tracking method and device for video phone
KR100220843B1 (en) Target tracking method for video phone
KR100215202B1 (en) Target tracking method and device for video phone
KR100215208B1 (en) Target tracking method and device for video phone
KR100220835B1 (en) Apparatus and method of target tracking in image telephone
US6292307B1 (en) Automatically focusing an optical instrument having a lens with only two focus positions
KR100215205B1 (en) Target tracking method and device for video phone
KR100226583B1 (en) Target tracking method and device for video phone
KR100220836B1 (en) Speaker tracking method and device for video conference system
JP2002077898A (en) Moving object detecting system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20070601

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee