KR100203658B1

KR100203658B1 - Apparatus for estimating motion of contour in object based encoding

Info

Publication number: KR100203658B1
Application number: KR1019960007858A
Authority: KR
Inventors: 김진헌
Original assignee: 전주범; 대우전자주식회사
Priority date: 1996-03-22
Filing date: 1996-03-22
Publication date: 1999-06-15
Also published as: KR970068624A

Abstract

본 발명은, 시간적으로 연속하는 적어도 하나의 물체를 갖는 프레임간의 윤곽선 움직임 보상시에 필요한 움직임 추정을 효과적으로 수행할 수 있도록 한 물체의 윤곽 부호화를 위한 움직임 추정장치에 관한 것으로, 이를 위하여 본 발명은, 두 개의 마스크를 이용하여, 물체의 현재 윤곽과 재구성된 물체의 이전 윤곽간의 움직임 추정 및 보상을 통해 이전 프레임의 기설정된 소정영역의 제1의 탐색범위에서 전체 윤곽에 대한 하나의 제1의 움직임 벡터를 추출하고, 움직임 보상 후에 남는 제1의 잔여 윤곽 세그먼트를 추출하고: 현재 윤곽을 그 경계를 따라 소정폭으로의 확장하여 얻은 확장된 현재 윤곽과 이전 프레임의 기설정된 소정영역의 제2의 탐색범위내의 다수의 후보 윤곽간의 매칭을 통해 최적의 후보 윤곽을 검출하여 예측된 윤곽으로 결정하고, 확장된 현재 윤곽과 예측된 윤곽간의 변위를 나타내는 하나의 제2의 움직임 벡터를 추줄하고, 움직임 보상 후에 남는 제2의 잔여 윤곽 세그먼트를 추출하며: 추출된 제1의 잔여 윤곽 세그먼트의 개수를 카운트하여 제1의 카운트값을 발생하고, 추출된 제2의 잔여 세그먼트의 개수를 카운트하여 제2의 카운트값을 발생하며: 제 1의 카운트값과 제2의 카운트값의 크기를 비교하며, 그 비교결과에 상응하여 상기 제1의 움직임 벡터 또는 제2의 움직임 벡터를 선택하기 위한 선택 제어신호를 발생하고; 이 선택 제어신호에 의거하여, 제 1 및 제2의 움직임 벡터중 상기 제 1 및 제2 카운트값중 크기가 적은 카운트값에 대응하는 움직임 벡터를 부호화하고자 하는 윤곽에 대한 하나의 움직임 벡터로 결정함으로써, 이와같이 고정밀하게 추정된 물체의 윤곽에 대한 하나의 움직임 벡터를 이용하여 움직임 보상을 수행하고, 잔여 윤곽에 대한 부호화를 수행하므로 물체 기반 부호화 시스템에서의 윤곽 부호화 효율을 증진시킬 수 있는 것이다.The present invention relates to a motion estimation apparatus for contour coding of an object to effectively perform a motion estimation required for contour motion compensation between frames having at least one object that is continuous in time. Using two masks, one first motion vector for the entire contour in the first search range of the predetermined predetermined region of the previous frame through motion estimation and compensation between the current contour of the object and the previous contour of the reconstructed object. Extract the first residual contour segment remaining after the motion compensation; and expand the current contour obtained by extending the current contour to a predetermined width along the boundary and the second search range of the predetermined predetermined region of the previous frame. Matching a plurality of candidate contours in a frame detects an optimal candidate contour and determines the predicted contour. Estimate a second motion vector representing the displacement between the expanded current contour and the predicted contour, and extract a second residual contour segment remaining after motion compensation: count the number of extracted first residual contour segments Generating a first count value, and counting the number of extracted second remaining segments to generate a second count value: comparing the magnitude of the first count value with the second count value and comparing the same. Generating a selection control signal for selecting the first motion vector or the second motion vector according to a result; Based on the selection control signal, by determining a motion vector corresponding to a count value having a smaller magnitude among the first and second count values among the first and second motion vectors as one motion vector for the contour to be encoded. Thus, since the motion compensation is performed using one motion vector for the contour of the object accurately estimated and the residual contour is encoded, the contour coding efficiency in the object-based encoding system can be improved.

Description

Motion Estimator for Contour Coding of Objects

제1도는 본 발명에 따른 물체의 윤곽에 대한 움직임 추정장치를 적용하는 데 적합한 전형적인 물체 기반 부호화 시스템의 블록구성도.1 is a block diagram of a typical object-based encoding system suitable for applying a motion estimation device to the contour of an object according to the present invention.

제2도는 본 발명의 바람직한 실시예에 따른 물체의 윤곽 부호화를 위한 움직임 추정장치에 대한 블록구성도.2 is a block diagram of a motion estimation apparatus for contour coding of an object according to a preferred embodiment of the present invention.

제3도는 본 발명에 따라 두 개의 마스크를 이용하여 움직임 벡터를 검출하는 과정을 설명하기 위한 예시도.3 is an exemplary view for explaining a process of detecting a motion vector using two masks according to the present invention.

제4도는 본 발명에 따라 두 개의 마스크를 이용하거나 윤곽 확장 기법을 이용하여 움직임 벡터를 검출하는 움직임 보상한 후에 얻어지는 잔여 윤곽 세그먼트의 일예를 도시한 도면.4 illustrates an example of a residual contour segment obtained after motion compensation using two masks or motion detection using a contour expansion technique in accordance with the present invention.

제5도는 본 발명에 따른 움직임 추정시에 부호화하고자 하는 현재 프레임의 물체 윤곽을 소정범위로 확장하는 것을 도시한 도면 .5 is a diagram illustrating extending an object contour of a current frame to be encoded to a predetermined range during motion estimation according to the present invention.

* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings

100, 116 : 프레임 메모리 102 : 감산기100, 116: frame memory 102: subtractor

104 : 윤곽 근사 블록 106 : 양자화 블록104: contour approximation block 106: quantization block

108 : 윤곽 부호화 블록 112 : 윤곽 복호와 블록108: contour coding block 112: contour decoding and block

114 : 가산기 118 : 움직임 추정 블록114: Adder 118: Motion Estimation Block

120 : 움직임 보상 블록 210,220 : 움직임 추정 및 보상 블록120: motion compensation block 210,220: motion estimation and compensation block

230 : 카운터 240 : 비교기230: counter 240: comparator

250 : 움직임 벡터 선택 블록250: motion vector selection block

본 발명은 영상신호를 저전송율로 압축 부호화하는 물체, 기반 부호화 시스템에 관한 것으로, 보다 상세하게는 물체의 윤곽에 대한 움직임 추정 및 보상을 위해 디지털 영상신호에 포합되는 현재 프레임과 재구성된 이전 프레임 각각에 나타나는 물체의 현재 윤곽과 이전 윤곽간의 움직임 벡터를 추정하는 데 적합한 물체 기반 부호화를 위한 움직임 추정장치에 관한 것이다.The present invention relates to an object and a base encoding system for compressing and encoding a video signal at a low data rate. More particularly, the present frame and the reconstructed previous frame are respectively included in a digital video signal for motion estimation and compensation of an object's outline. The present invention relates to a motion estimation apparatus for object-based encoding suitable for estimating a motion vector between a current contour and a previous contour of an object appearing in.

이 기술분야에 잘 알려진 바와 같이, 이산화된 영상신호의 전송은 아나로그 신호보다 좋은 화질을 유지할 수 있다. 일련의 이미지 프레임으로 구성된 영상신호가 디지털 형태로 표현될 때, 특히 고품질 텔레비젼(HDTV)의 경우 상당한 양의 전송 데이터가 발생하게 된다.As is well known in the art, the transmission of discrete video signals can maintain better image quality than analog signals. When a video signal composed of a series of image frames is represented in digital form, a considerable amount of transmission data is generated, especially in the case of high-definition television (HDTV).

그러나, 종래의 전송 채널의 사용가능한 주파수 영역이 제한되어 있으므로, 많은 양의 디지탈 데이타를 전송하기 위해서는 전송하고자 하는 데이터를 압축하여 그 전송량을 줄일 필요가 있다.However, since the usable frequency range of the conventional transmission channel is limited, in order to transmit a large amount of digital data, it is necessary to compress the data to be transmitted and reduce its transmission amount.

따라서, 송신측의 부호화 시스템에서는 영상신호를 전송할 때 그 전송되는 데이터량을 줄이기 위하여 영상신호가 갖는 공간적, 시간적인 상관성을 이용하여 압축 부호화한 다음 전송채널을 통해 압축 부호화된 영상신호를 수신측의 복호화 시스템에 전송하게 된다.Therefore, when transmitting a video signal, the transmitting system compresses and compresses the video signal by using the spatial and temporal correlation of the video signal to reduce the amount of data. To the decryption system.

한편, 영상신호를 부호화하는데 주로 이용되는 다양한 압축 기법으로서는, 확률적 부호화 기법과 시간적, 공간적 압축기법을 결합한 하이브리드 부호화 기법이 가장 효율적인 것으로 알려져 있다.On the other hand, as the various compression techniques mainly used for encoding the image signal, a hybrid encoding technique combining a stochastic encoding technique and a temporal and spatial compression technique is known to be the most efficient.

상기한 부호화 기법중의 하나인 대부분의 하이브리드 부호화 개법은 움직임 보상 DPCM(차분 펄스 부호 변조), 2차원 DCT(아선 코사인 변환), DCT 계수의 양자화, VLC(가변장 부호화)등을 이용한다.Most hybrid coding schemes, which are one of the above coding techniques, use motion compensated DPCM (differential pulse code modulation), two-dimensional DCT (subline cosine transform), quantization of DCT coefficients, VLC (variable length coding), and the like.

여기에서, 움직임보상 DPCM 은 현재 프레임과 이전 프레임간의 물체의 움직임을 결정하고, 물체의 움직임에 따라 현재 프레임을 예측하여 현재 프레임과 예측치간의 차이를 나타내는 차분신호를 만들어내는 방법이다.Here, the motion compensation DPCM determines a motion of the object between the current frame and the previous frame, and predicts the current frame according to the motion of the object to generate a differential signal representing the difference between the current frame and the prediction value.

이런한 방법은, 예를 들어 Staffan Ericsson 의 Fixed and Adaptive Predictors for Hybrid Predictive/Transform Coding, IEEE Transactions on Communication, COM-33, NO. 12 (1985년, 12월), 또는 Ninomiy와 Ohtsuka의 A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1 (1982년, 1월)에 기재되어 있다.Such methods are described, for example, in Staffan Ericsson's Fixed and Adaptive Predictors for Hybrid Predictive / Transform Coding, IEEE Transactions on Communication, COM-33, NO. 12 (Dec. 1985), or A motion Compensated Interframe Coding Scheme for Television Pictures, IEEE Transactions on Communication, COM-30, NO.1 (January, 1982) by Ninomiy and Ohtsuka.

보다 상세하게, 움직임보상 DPCM 에서는 현재 프레임과 이전 프레임간에 추정된 물체의 움직임에 따라, 현재 프레임을 이전 프레임으로부터 예측하는 것이다. 여기에서, 추정된 움직임은 이전 프레임과 현재 프레임간의 변위를 나타내는 2차원 움직임 벡터로 나타낼수 있다. 여기에서, 물체의 화소 변위는, 잘 알려진 바와 같이, 소정크기 (예를 들면, 8×8 크기)의 블록단위로 현재 프레임의 블록을 이전 프레임의 블록들과 비교하여 최적 정합블록을 결정하여 입력되는 현재 프레임에 대해 블록 전체에 대한 프레임간 변위 벡터 (프레임간에 블록이 이동한 정도)를 추정하는 블록단위 움직임 추정기법과 각 화소단위로 현재 프레임의 화소값을 이전 프레임의 화소값들로부터 추정하여 보상하는 화소단위 움직임 추정기법 등을 통해 그 움직임을 추정할 수가 있을 것이다.More specifically, the motion compensation DPCM predicts the current frame from the previous frame according to the motion of the object estimated between the current frame and the previous frame. Here, the estimated motion may be represented by a two-dimensional motion vector representing the displacement between the previous frame and the current frame. Here, the pixel displacement of the object is input by comparing the block of the current frame with the blocks of the previous frame in units of blocks of a predetermined size (for example, 8 × 8 size), as is well known, and determining an optimal matching block. Block-based motion estimation technique for estimating the inter-frame displacement vector (how much the block moved between frames) with respect to the entire current frame, and the pixel value of the current frame in each pixel unit is estimated from the pixel values of the previous frame. The motion may be estimated through a compensating pixel motion estimation technique.

따라서, 송신측에서는 영상신호를 전송할 때 상술한 바와 같은 부호화 기법을 통해 블록단위 또는 화소단위로 영상신호가 갖는 공간적, 시간적인 상관성을 고려해 압축 부호화하여 출력측의 버퍼에 차례로 저장하게 되며, 이와같이 저장된 부호화된 영상데이타는 채널의 요구에 부응하여 소망하는 비트 레이트로 전송채널을 통해 수신측의 복호화 시스템에 전송될 것이다.Therefore, when transmitting a video signal, the transmitting side compresses and encodes the image signal in the buffer of the output side in order by taking into account the spatial and temporal correlation of the image signal in block units or pixel units through the above-described encoding technique. The image data will be transmitted to the decoding system at the receiving side via the transmission channel at a desired bit rate in response to the channel request.

보다 상세하게, 송신측의 부호화 시스템에서는 이산 코사인 변환(DCT)등의 변환부호화를 이용하여 영상신호의 공간적인 중복성을 제거하고, 또한 움직임 추정, 예측등을 통한 차분부호화를 이용하여 영상신호의 시간적인 중복성을 제거함으로서, 영상신호를 효율적으로 압축하게 된다.More specifically, the encoding system on the transmitting side removes spatial redundancy of the video signal by using transform coding such as discrete cosine transform (DCT), and further uses temporal encoding of the video signal by using differential coding through motion estimation and prediction. By eliminating redundant redundancy, the video signal can be efficiently compressed.

통상적으로, 상술한 바와 같이 DPCM/DCT 하이브리드 부호화기법은 목표 비트레이트가 Mbps 급이고, 그 응용분야로서 CD-ROM, 컴퓨터, 가전제품(디지탈 VCR 등), 방송(HDTV) 등이 될 수 있으며, 세계 표준화기구에 의해 표준안이 이미 완성된, 영상내의 블록단위 움직임의 통계적 특성만을 주로 고려하는, 고전송율의 부호화에 관한 MPEG1,2 및 H.261 부호화 알고리즘 등에 주로 관련된다.Typically, as described above, the DPCM / DCT hybrid coding technique has a target bitrate of Mbps, and may be a CD-ROM, a computer, a home appliance (such as a digital VCR), a broadcast (HDTV), etc. It is mainly concerned with MPEG-1, 2 and H.261 coding algorithms related to high bit rate encoding, which mainly consider only the statistical characteristics of the block-by-block motion in the image, which has already been completed by the World Standards Organization.

한편, 최근들어 PC 의 급격한 성능 향상과 보급 확산, 디지털 전송기술의 발전, 고화질 디스플레이 장치의 실현, 메모리 디바이스의 발달 등으로 가전제품을 비롯한 각종 기기들이 방대한 데이터를 가진 영상 정보를 처리하고 제공할 수 있는 기술중심으로 재편되고 있는 실정이며, 이러한 요구를 충족시키기 위하여 비트레이트가 kbps 급인 기존의 저속 전송로(예를 들면, PSTN, LAN, 이동 네트워크 등)를 통한 오디오-비디오 데이터의 전송과 한정된 용량의 저장장치로의 저장을 위해 고압축율을 갖는 새로운 부호화 기술을 필요로 하고 있었다.On the other hand, in recent years, due to the rapid improvement and diffusion of PCs, the development of digital transmission technology, the realization of high-definition display devices, the development of memory devices, various devices including home appliances can process and provide image information with vast data. In order to meet this demand, the transmission and limited capacity of audio-video data through existing low-speed transmission paths (eg, PSTN, LAN, mobile network, etc.) with a bit rate of kbps to meet these demands. New coding techniques with high compression ratios were needed for storage in storage systems.

그러나, 상술한 바와 같은 기존의 동영상 부호화 기법들은 이동 물체의 모양과 전역 움직임(global motion)등과는 관계없이 전체 영상에서 지역적인 블록 움직임에 근거하고 있다. 따라서, 기존의 동영상 부호화 기법들은 저전송율에서 블록별 이동 보상 부호화를 적용하는 경우 블록화 현상, 모서리 떨림 현상, 반점 현상 등과 같은 화질 저하가 최종 복원되는 재생 영상에 나타나게 된다. 또한, 저전송율의 영상 전송을 위해 해상도를 유지하려면 영상 데이터의 고압축율이 필요한데, 상기한 기존의 DCT 변환에 기초한 하이브리드 부호화 기법으로는 그 구현이 불가능하다.However, the existing video coding techniques as described above are based on local block motion in the entire image regardless of the shape of the moving object and global motion. Therefore, in the conventional video coding techniques, when the block-by-block motion compensation coding is applied, image quality degradation such as blocking, corner blurring, and spotting appears in the reproduced video that is finally reconstructed. In addition, the high compression rate of the image data is required in order to maintain the resolution for low-speed image transmission, which cannot be implemented by the hybrid coding scheme based on the conventional DCT transform.

따라서, 현재로서는 기존의 DCT 변환에 기초한 부호화 기법에 대해 추가 압축 실현을 위한 부호화 기법의 표준이 필요한 실정이며, 이러한 시대적인 필요 욕구에 따라 최근 인간의 시각 특성에 바탕을 두고 주관정 화질을 중요시하는 MPEG4의 표준안 제정을 위한 저전송율 동영상 부호화 기법에 대한 연구가 도처에서 활발히 진행되고 있다.Therefore, at present, there is a need for a standard of a coding scheme for additional compression realization with respect to a coding scheme based on a conventional DCT transform. According to the needs of the times, MPEG4 which considers the subjective picture quality based on recent human visual characteristics The research on low bit rate video encoding technique for the standardization of the standard has been actively conducted everywhere.

이러한 필요 충족을 위해 현재 연구되고 있는 실현 가능한 유력한 저전송율 동영상부호화 기법들로서는, 예를 들면, 기존의 부호화 기법을 향상시키고자 하는 파형 기반 부호화(Wave-Based Coding), 모델 기반 부호화(Model Based Coding)의 일종에 속하는 동영상 물체 기반 부호화(Object-Based Coding), 영상을 복수개의 부블록으로 분할하여 부호화하는 분할 기반 부호화 (Segmentation-Based Coding) 영상의 자기유사성을 이용하는 프렉탈 부호화(Fractal Coding)등이 있다. 여기에서, 본 발명은 동영상 물체 기반 부호화 기법에 관련된다고 볼 수 있다.In order to meet these needs, potential viable low bit rate video encoding techniques currently being studied are, for example, Wave-Based Coding and Model Based Coding to improve existing coding techniques. Object-based coding, which is a kind of video), and segmentation-based coding that splits and encodes an image into a plurality of subblocks. have. Here, the present invention may be regarded as related to a video object-based encoding technique.

본 발명에 관련되는 동영상 물체 기반 부호화 기법으로는 물체 지향 해석 및 합성 부호화 기법(object - oriented analysis -synthesis coding technique)이 있으며, 이러한 기법은 Michael Hotter, object - oriented Analysis - Synthesis Coding Based on Moving Two - Dimentioanl Objects, Signal Processing : Image Communication 2. pp. 409-428(December, 1990)에 개시되어 있다.The video object-based coding technique related to the present invention includes an object-oriented analysis-synthesis coding technique, which is Michael Hotter, object-oriented analysis-synthesis coding based on Moving Two-. Dimentioanl Objects, Signal Processing: Image Communication 2. pp. 409-428 (December, 1990).

상기한 물체 지향 해석 및 합성 부호화 기법에 따르면, 입력 비디오 신호는 임의의 물체들로 나누어지고, 각 물체의 움직임, 윤곽 및 화소 데이터는 그들 상호간의 데이터 특성상 성질이 전혀 다른 정보이므로 그 부호화 방법이 서로 독립적, 즉 서로 다른 부호화 채널을 통해 각각 처리된다. 따라서, 각각 별개의 부호화 채널을 통해 부호화된 정보들은, 예를 들면 멀티플렉서 등을 통해 다중화되어 전송기로 보낼질 것이다. 여기에서, 본 발명은 실질적으로 물체 윤곽의 움직임을 추정하는 장치에 관련된다.According to the object-oriented analysis and the synthesis coding technique described above, the input video signal is divided into arbitrary objects, and since the motion, the contour, and the pixel data of each object are completely different information due to their data characteristics, the encoding methods are mutually different. They are processed independently, ie, through different coding channels. Therefore, the information encoded through separate coding channels, respectively, may be multiplexed through a multiplexer and the like and sent to a transmitter. Here, the present invention relates to an apparatus for estimating the movement of the object contour substantially.

특히, 물체의 윤곽을 처리하는데 있어서, 윤곽 정보는 물체의 모양을 해석 및 합성하는데 대단히 중요하며, 이러한 윤곽 정보를 나타내기 위한 통상의 부호화 기법으로는, 예를 들면 체인 부호화(chain coding)방법이 있다. 이때 체인 부호화 방법은 윤곽선상의 임의의 한 점에서 시작하여 화소들간의 연결상태에 따라 경계선을 일정한 방향으로 방향벡터들의 순열로써 나열해 가면서 윤곽정보를 부호화하는 기법인 것으로, 이러한 방법은 이미 이 기술분야에 잘 알려진 공지기술이다 그러나, 체인 부호화는 윤곽정보의 손실이 없다 할지라도 실질적으로 상당한 양의 비트 할당이 필요하다.In particular, in processing the contour of an object, the contour information is very important for analyzing and synthesizing the shape of the object. As a conventional coding technique for representing such contour information, for example, a chain coding method is used. have. In this case, the chain encoding method is a technique of encoding contour information starting from an arbitrary point on the contour line and arranging the boundary lines as a permutation of direction vectors in a predetermined direction according to the connection state between the pixels. However, chain coding requires a substantial amount of bit allocation even though there is no loss of contour information.

또한, 다각형 근사 및 B-스플라인 근사(B-spline approximation)등과 같은 윤곽을 근사시키기 위한 몇가지 방법이 제안되어 있다. 여기에서, 다각형 근사의 주된 단점은 윤곽이 거칠게 나타나는 것이며, B-스플라인 근사는 윤곽을 보다 정확하게 나타낼 수 있지만, 근사 에러를 줄이는데 높은 차수의 다향식(polynomial)들이 필요로 함으로써 영상 부호화 시스템의 전체적인 계산을 복잡하게 한다.In addition, several methods have been proposed for approximating contours, such as polygonal approximation and B-spline approximation. Here, the main disadvantage of the polygon approximation is that the contour is rough, and the B-spline approximation can represent the contour more accurately, but the overall calculation of the image coding system is required because higher order polynomials are needed to reduce the approximation error. To complicate.

상기한 바와 같은 다각형 근사에서 물체의 윤곽이 거칠게 나타나는 문제와 B-스플라인에서의 계산의 복잡성의 문제를 해결하기 위해 제시된 방법중의 하나가 이산 사인 변환(discrete sine transforma : DST)를 이용한 윤곽 근사 기법이다.One of the proposed methods to solve the problem of the roughness of the object in the polygon approximation as described above and the complexity of the calculation in the B-spline is the contour approximation technique using discrete sine transform (DST). to be.

이와같은 윤곽의 다각형 근사와 DST를 이용한 윤곽 근사 기법을 채용하는 장치는 물체의 윤곽을 나타내기 위한 윤곽 근사장치 라는 명칭으로 출원되어 현재 계류 중인 미합중국 특허 제 08/423, 604 호에 개시되어 있다. 이러한 장치에는, 다수의 버텍스 포인트들이 결정되고, 윤곽을 라인 세그먼트로 맞추는 윤곽 근사에 의해 물체이 윤곽이 근사화된다. 그런다음, 각 라인 세그먼트에 대해 N 개의 샘플 포인트가 선택되고, 각 라인 세그먼트에 대한 근사 에러의 세트를 구하기 위해 각 라인 세그먼트상에 위치한 각각의 N 개 샘플 포인트에서 근사에러가 계산된다. 이때, N 개의 샘플 포인트들은 각 라인 세그먼트상에 동일한 간격으로 배치되며, 여기에서 각각의 근사에러는 N 개 샘플 포인트 각각과 윤곽 사이의 거리를 나타낸다. 그런다음, 각 세트의 근사에러를 1차원 DST 하므로써 DST 계수들의 세트가 발생한다.A device employing such a polygonal approximation of contours and a contour approximation technique using DST is disclosed in US Patent Application No. 08 / 423,604, pending under the name Contour Approximation Apparatus for Contouring Objects. In such an apparatus, a number of vertex points are determined and the object is approximated by a contour approximation that fits the contour into line segments. Then, N sample points are selected for each line segment, and an approximation error is calculated at each N sample points located on each line segment to obtain a set of approximation errors for each line segment. In this case, N sample points are arranged at equal intervals on each line segment, where each approximation error represents a distance between each of the N sample points and the contour. Then, a set of DST coefficients occurs by performing one-dimensional DST on each set of approximate errors.

비록, 상술한 바와 같은 장치는 DST를 이용한 윤곽근사를 사용하여 윤곽이 거칠게 나타나는 문제와 계산의 복잡성 문제를 해결할 수는 있지만, 매 프레임마다 DST 계수들을 전송해야 하므로 전송 데이터량이 증가한다는 문제가 있다. 따라서, 저전송율의 구현을 위해서는 상기한 바와 같이 DST를 이용한 윤곽근사를 수행할 때 발생하는 데이터 증가를 억제할 필요가 있으며, 이러한 물체의 물체 윤곽 정보의 발생 데이터를 억제하는 한 방편으로는 현재 프레임의 부호화된 윤곽 데이터와 재구성된 이전 프레임의 물체 윤곽 데이터간의 감산을 통해 발생하는 차분신를(에러신호)를 이용하는 움직임 추정기법이 적용이 적극 참조 또는 고려되고 있는 실정이며, 여기에서 본 발명은 움직임 추정기법을 이용하여 물체의 윤곽 정보를 부호화하는 데 있어서, 윤곽 정보의 움직임을 추정하는 장치에 관련된다.Although the above-described apparatus can solve the problem of rough outlines and the complexity of calculation by using contour approximation using DST, there is a problem that the amount of data to be transmitted increases because DST coefficients must be transmitted every frame. Therefore, in order to implement a low data rate, it is necessary to suppress an increase in data generated when performing contour approximation using the DST as described above, and as a way of suppressing occurrence data of object contour information of such an object, the current frame is suppressed. The motion estimation technique using the difference signal (error signal) generated through the subtraction between the encoded contour data of the object and the object contour data of the reconstructed previous frame is actively referred to or considered. In encoding contour information of an object using a technique, the present invention relates to an apparatus for estimating motion of contour information.

따라서, 본 발명은 시간적으로 연속하는 적어도 하나의 물체를 갖는 프레임간의 윤곽선 움직임 보상시에 필요한 윤곽의 움직임 추정을 효과적으로 수행할 수 있는 물체의 윤곽 부호화를 위한 움직임 추정장치를 제공하는 데 그 목적이 있다.Accordingly, an object of the present invention is to provide a motion estimation apparatus for contour coding of an object capable of effectively performing the motion estimation of the contour required for contour motion compensation between frames having at least one object that is continuous in time. .

상기 목적을 달성하기 위한 일관점에 따른 본 발명은, 입력되는 현재 프레임과 재구성된 이전 프레임 각각에 나타나는 물체의 윤곽간의 움직임 추정을 통해 윤곽에 대한 움직임 벡터를 추출하고, 상기 움직임 추정 및 그 보상을 통해 얻어진 윤곽 세그먼트들에 대해 윤곽 근사 기법과 샘플링 기법을 이용하여 근사 에러 세트들을 생성하며. 상기 생성된 근사 에러 세트들과 상기 추출된 움직임 벡터를 부호화하는 물체 기반 부호화 시스템에서 움직임 추정장치에 있어서, 두 개의 마스크를 이용하여, 상기 현재 프레임내의 물체의 현재 윤곽과 상기 재구성된 이전 프레임내의 물체의 이전 윤곽간의 움직임 추정 및 보상을 통해 상기 이전 프레임의 지설정된 소정영역의 제1의 탐색범위에서 전체 윤곽에 대한 하나의 제1의 움직임 벡터를 추출하고, 상기 추출된 하나의 제1의 움직임 벡터를 이용한 움직임 보상을 통해 움직임 보상 후에 남는 제1의 잔여 윤곽 세그먼트를 추출하는 제1움직임 추정 및 보상 수단; 상기 현재 윤곽을 그 경계를 따라 소정포으로 확장하여 얻은 확장된 현재 윤곽과 상기 이전 프레임의 기설정된 소정영역의 제2의 탐색범위내의 다수의 후보 윤곽간의 매칭를 통해 최적의 후보 윤곽을 검출하여 예측된 윤곽으로 결정하고, 상기 확장된 현재 윤곽과 상기 예측된 윤곽간의 변위를 나타내는 하나의 제2의 움직임 벡터를 추출하고, 상기 추출된 하나의 제2의 움직임 벡터를 이용한 움직임 보상을 통해 움직임 보상 후에 남는 제2의 잔여 윤곽 세그먼트를 추출하는 제2움직임 추정 및 보상 수단; 상기 추출된 제1의 잔여 윤곽 세그먼트의 개수를 카운트하여 제1의 카운트값을 발생하고, 상기 추출된 제2의 잔여 세그먼트의 개수를 카운트하여 제2의 카운트값을 발생하는 카운터; 상기 제1의 카운트값과 제2의 카운트값의 크기를 비교하며, 그 비교결과에 상응하여 상기 제1의 움직임 벡터 또는 제2의 움직임 벡터를 선택하기 위한 선택 제어신호를 발생하는 제어신호 발생수단; 및 상기 선택 제어신호에 의거하여, 상기 제1 및 제2의 움직임 벡터중 상기 제1 및 제2카운트값중 크기가 적은 카운트값에 대응하는 움직임 벡터를 부호화하고자 하는 상기 윤곽에 대한 하나의 움직임 벡터로써 결정하는 움직임 벡터 결정수단을 포함하는 물체의 윤곽 부호화를 위한 움직임 추정장치를 제공한다.According to an aspect of the present invention, a motion vector for a contour is extracted through motion estimation between an input current frame and a contour of an object appearing in each of the reconstructed previous frames, and the motion estimation and its compensation are performed. Approximation error sets are generated using the contour approximation and sampling techniques for the contour segments obtained through the method. In the motion estimation apparatus in the object-based encoding system for encoding the generated approximate error set and the extracted motion vector, using two masks, the current contour of the object in the current frame and the object in the reconstructed previous frame Extracts one first motion vector for the entire contour from the first search range of the predetermined predetermined region of the previous frame through motion estimation and compensation between previous contours of the previous frame, and extracts the first motion vector First motion estimating and compensating means for extracting a first residual contour segment remaining after the motion compensation through motion compensation using the? The optimal candidate contour is detected and predicted through matching between the extended current contour obtained by extending the current contour to a predetermined fabric along the boundary and a plurality of candidate contours in the second search range of the predetermined predetermined region of the previous frame. Determine a contour, extract one second motion vector representing the displacement between the expanded current contour and the predicted contour, and remain after motion compensation through motion compensation using the extracted second motion vector Second motion estimation and compensation means for extracting a second residual contour segment; A counter for counting the number of the extracted first residual contour segments to generate a first count value, and counting the number of the extracted second residual segments to generate a second count value; A control signal generating means for comparing magnitudes of the first count value and the second count value, and generating a selection control signal for selecting the first motion vector or the second motion vector according to the comparison result; ; And one motion vector for the contour to be encoded, the motion vector corresponding to a count value having a smaller size among the first and second count values among the first and second motion vectors, based on the selection control signal. The present invention provides a motion estimation apparatus for contour coding of an object including a motion vector determining means.

본 발명의 기타 목적과 여러 가지 장점은 이 기술분야에 숙련된 사람들에 의해 첨부된 도면을 참조하여 하기에 기술되는 본 발명의 바람직한 실시예로부터 더욱 명확하게 될 것이다.Other objects and various advantages of the present invention will become more apparent from the preferred embodiments of the present invention described below with reference to the accompanying drawings by those skilled in the art.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세하게 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

일반적으로, 연속되는 영상의 경우 시간축상으로 많은 상관성(redundancy)을 포함하는 데, 물체 기반 부호화에서 이용되는 물체이 윤곽선 영상도 마찬가지로 연속되는 두 영상의 윤곽선간에 어느 정도의 상관성을 포함한다. 따라서, 동영상의 윤곽선을 효과적으로 부호화하기 위해서는 시간축상으로 존재하는 윤곽선간의 상관성을 최대로 이용할 필요가 있다.In general, a continuous image includes a lot of redundancy on the time axis, and an object used in object-based encoding includes a degree of correlation between contours of two consecutive images. Therefore, in order to effectively encode the contour of a moving picture, it is necessary to maximize the correlation between the contours existing on the time axis.

한편, 상기한 바와 같이 시간축상에 존재하는 상관성을 고려한 인터 프레임의 윤곽선을 부호화하는 방법은 다음과 같이 크게 두 부분으로 구분할 구 있다. 첫 째로는 최종적으로 전송해야 할 윤곽선을 추출하는 것이고, 둘째로는 추출된 윤곽선 세그먼트들을 부호화하는 것이다. 여기에서, 실질적으로 부호화가 적용되는 윤곽선은 재구성된 이전 프레임의 이전 윤곽으로부터 움직임 보상을 수행한 후 보상되지 않은 부분에 대한 윤곽선 세그먼트가 될 것이다.On the other hand, as described above, the method of encoding the contour of the inter frame in consideration of the correlation present on the time axis can be divided into two parts as follows. The first is to extract the contour to be finally transmitted, and the second is to encode the extracted contour segments. Here, the contour to which the encoding is substantially applied will be the contour segment for the uncompensated portion after performing motion compensation from the previous contour of the reconstructed previous frame.

즉, 본 발명에서는 시간축상에 존재하는 상관성을 줄이기 위해 움직임 추정, 보상 기법을 이용하는 데, 윤곽선 영상의 경우 일반적인 영상에 비해 시간축상으로 존재하는 상관성이 매우 작다. 따라서 본 발명에서는 움직임 보상에 많은 정보량을 할당하지 않고 하나의 물체(윤곽선)에 대해 단지 하나의 움직임 벡터만을 추출하여 움직임 보상을 수행하며, 이와같은 움직임 보상을 위한 하나의 움직임 벡터 추정과정에 대해서는 후에 상세하게 기술될 것이다.That is, in the present invention, the motion estimation and compensation technique is used to reduce the correlation existing on the time axis. In the case of the contour image, the correlation existing on the time axis is much smaller than that of the general image. Therefore, in the present invention, the motion compensation is performed by extracting only one motion vector for one object (contour) without allocating a large amount of information for motion compensation, and the motion vector estimation process for such motion compensation will be described later. It will be described in detail.

제1도는 본 발명에 따른 물체의 윤곽에 대한 움직임 추정장치를 적용하는 데 적합한 전형적인 물체 기반 보호화 시스템의 블록구성도를 나타낸다. 동도면에 도시된 바와 같이, 전형적인 물체 기반 부호화 시스템은 제1프레임 메모리(100), 감산기(102), 윤곽 근사 블록(104), 양자화 블록(106), 윤곽 부호화 블록(108), 윤곽복호화 블록(112), 가산기(114), 제2프레임 메모리(116), 움직임 추정 블록(118) 및 움직임 보상 블록(120)을 포함한다.Figure 1 shows a block diagram of a typical object based protection system suitable for applying a motion estimation device for the contour of an object according to the invention. As shown in the figure, a typical object-based coding system includes a first frame memory 100, a subtractor 102, a contour approximation block 104, a quantization block 106, a contour coding block 108, and a contour decoding block. 112, an adder 114, a second frame memory 116, a motion estimation block 118, and a motion compensation block 120.

제1도를 참조하면, 먼저, 제1프레임 메모리(100)에는 도시 생략된 윤곽 검출수단을 통해 검출된 부호화하고자 하는 현재 프레임에 대한 물체의 윤곽 정보가 저장되며, 감산기(102)에서는 라인 L11을 통해 제1프레임 메모리(100)로부터 제공되는 현재 프레임의 물체 윤곽신호와 후에 상세하게 기술되는 움직임 추정 블록(120)으로부터 라인 L16을 통해 제공되는 현재 프레임의 현재 윤곽과 재구성된 이전 프레임의 이전 윤곽간의 움직임 추정, 보상을 통해 얻어진 예측 윤곽신호를 감산하며, 그 결과 데이터, 즉 윤곽간의 차분화소값을 나타내는 에러신호 (잔여 윤곽의 화소 데이터)는 다음단의 윤곽 근사 블록(104)애 제공된다.Referring to FIG. 1, first, in the first frame memory 100, outline information of an object for a current frame to be encoded, which is detected through outline detection means (not shown), is stored, and the subtractor 102 stores line L11. Between the object contour signal of the current frame provided from the first frame memory 100 and the current contour of the current frame provided via line L16 from the motion estimation block 120 described later in detail and the previous contour of the reconstructed previous frame. The predicted contour signal obtained through motion estimation and compensation is subtracted, and as a result, data, that is, an error signal (pixel data of the residual contour) indicating the difference pixel value between the contours, is provided in the contour approximation block 104 of the next stage.

다음에, 윤곽 근사 블록(104)에서는 다각형 근사와 DST를 이용한 윤곽 근사 기법 등의 방법을 통해 현재의 프레임내 잔여 윤곽의 경계를 따라 위치해 있는 화소들의 위치 데이터를 포함하는 경계 정보들에 대한 다수의 버텍스 포인트들을 결정하고, 잔여 윤곽을 라인 세그먼트로 맞추는 윤곽 근사 기법을 이용하여 물체의 윤곽 근사화를 수행하여, 각 라인 세그먼트에 대해 N개의 샘플 포인트를 선택한 다음, 각 라인 세그먼트에 대한 근사 에러의 세트를 구하기 위해 각 라인 세그먼트상에 위치한 각각의 N개 샘플 포인트에서 근사에러를 계산한다. 이때, N개의 샘플 포인트들은 각 라인 세그먼트상에 동일한 간격으로 배치되며, 여기에서 각각의 근사에러는 N개 샘플 포인트 각각과 윤곽 사이의 거리를 나타낸다. 그런다음, 상기와 같이 계산된 잔여 윤곽에 대한 각 세트의 근사에는 DST를 통해 1차원 이산 사인 변환되어 1차원 DST 계수들의 세트로 변환되며, 이와 같이 변환된 잔여 윤곽에 대한 1차원 DST 계수들의 세트는 다음단의 양자화 블록(106)으로 제공된다. 따라서, 양자화 블록(106)에서는 입력된 1차원 DST 계수들의 세트에 대한 양자화를 수행하여 얻은 양자화된 DST 계수들의 세트를 라인 L12상에 발생하며, 라인 L12상에 발생된 양자화된 DST 계수들의 세트는 윤곽 부호화 블록(108) 제공됨과 동시에 움직임 추정 및 보상을 위해 윤곽 부호화 블록(112)으로 각각 제공한다.Next, the contour approximation block 104 includes a plurality of boundary information including position data of pixels located along the boundary of the remaining contour in the current frame through a polygon approximation and a contour approximation technique using DST. Contour approximation of the object is determined using a contour approximation technique that determines vertex points and fits the remaining contour into line segments, selects N sample points for each line segment, and then sets a set of approximation errors for each line segment. To find the approximate error at each N sample points located on each line segment. In this case, N sample points are arranged at equal intervals on each line segment, where each approximation error represents a distance between each of the N sample points and the contour. Then, the approximation of each set of residual contours calculated as described above is transformed into a set of one-dimensional DST coefficients by one-dimensional discrete sine transforming through DST, and the set of one-dimensional DST coefficients for the remaining contours thus transformed. Is provided to the next quantization block 106. Accordingly, the quantization block 106 generates a set of quantized DST coefficients obtained by performing quantization on the set of input one-dimensional DST coefficients on the line L12, and the set of quantized DST coefficients generated on the line L12 The contour coding block 108 is provided and provided to the contour coding block 112 for motion estimation and compensation.

따라서, 윤곽 부호화 블록(108)에서는 양자화 블록(106)으로부터 라인 L12를 통해 제공되는 양자화된 DST 계수들의 세트를 후술되는 움직임 추정 블록(118)으로부터 라인 L15를 통해 제공되는 물체의 윤곽에 대한 하나의 움직임 벡터와 더불어, 예를들어, JPEG(Joint Photographic Experts Group)의 2진 산술코드(binary arithmetic code)를 사용하여 부호화하며, 이와 같이 양자화되어 부호화된 잔여 윤곽에 대한 데이터값과 하나의 움직임 벡터를 포함하는 부호화된 디지털 영상신호는 원격지 수신기로의 전송을 위해 도시 생략된 송신기로 전송한다.Thus, in contour coding block 108 a set of quantized DST coefficients provided on line L12 from quantization block 106 is used for the contour of the object provided on line L15 from motion estimation block 118 described below. In addition to the motion vector, for example, the binary arithmetic code of the Joint Photographic Experts Group (JPEG) is encoded, and a motion vector and a data value of the quantized and encoded residual contours are thus encoded. The encoded digital video signal is transmitted to a transmitter not shown for transmission to a remote receiver.

한편, 윤곽 부호화 블록(112)에서는 라인 L12 상의 잔여 윤곽에 대한 양자화된 DST 계수들의 세트를 원신호로 복원, 즉 DST를 이용한 윤곽 근사 및 양자화에 대한 역과정을 통해 재구성된 잔여 윤곽으로 변환하고, 이와같이 재구성된 잔여 윤곽은 다음단의 가산기(114)로 제공되며, 가산기(114)에서는 윤곽 복호화 블록(112)으로 부터의 재구성된 잔여 윤곽과 라인 L17을 통해 후술되는 움직임 추정 블록(120)으로 부터제공되는 움직임 보상된 예측 윤곽신호를 가산하여 재구성된 이런 물체의 윤곽신호를 생성하며, 이와같이 재구성된 이전 물체이 윤곽신호는 제 2프레임 메모리(116)에 저장된다. 따라서, 이러한 경로를 통해 부호화 처리되는 매 프레임내의 물체 윤곽에 대한 바로 이전 프레임의 물체 윤곽신호가 계속적으로 갱신되며, 이와같이 갱신된 이전 프레임의 물체 윤곽신호는 움직임 추정, 보상을 위해 라인 L13 및 L16을 통해 후술되는 움직임 추정 블록(118) 및 움직임 보상 블록(120)으로 각각 제공될 것이다.Meanwhile, the contour coding block 112 converts the set of quantized DST coefficients for the residual contour on the line L12 into the original signal, that is, transforms the residual contour reconstructed through the inverse process for contour approximation and quantization using the DST, The reconstructed residual contour is provided to the adder 114 of the next stage, and the adder 114 receives the reconstructed residual contour from the contour decoding block 112 and the motion estimation block 120 described later through the line L17. The motion compensated prediction contour signal provided is added to generate a contour signal of this object which is reconstructed, and the contour signal of the previous object thus reconstructed is stored in the second frame memory 116. Accordingly, the object contour signal of the immediately preceding frame for the object contour in each frame encoded through such a path is continuously updated, and the object contour signal of the previous frame thus updated is taken on lines L13 and L16 for motion estimation and compensation. The motion estimation block 118 and the motion compensation block 120 to be described later will be provided through.

다른한편, 본 발명에 관련되는 움직임 추정 블록(118)에서는 제1프레임 메모리(100)로부터 제공되는 라인 L11상의 현재 프레임의 물체 윤곽신호와 상기한 제2프레임 메모리(116)로부터 제공되는 라인 L13 상의 재구성된 이전 프레임이 물체 윤곽신호에 의거하여 라인 L11상의 현재 프레임에 대한 현재 윤곽과 라인 L13상의 재구성된 이전 프레임에 대한 이전 윤곽간의 움직임 추정을 통해 전체 윤곽에 대한 하나의 움직임 벡터를 추출하여 라인 L14 및 L15상에 각각 발생하며, 라인 L14 상의 움직임 벡터는 움직임 보상을 위해 후술되는 움직임 보상 블록(120)으로 제공되고, 라인 L15상의 움직임 벡터는 도시 생략된 전송기로의 송신을 위해 전술한 윤곽 부호화 블록(108)으로 제공된다. 이와 같이 본 발명에 따라 물체의 현재 윤곽과 이전 윤곽간에 하나의 움직임 벡터를 추정하는 과정에 대해서는 움직임 추정 블록(118)의 세부적인 상세 블록을 도시한 제 2 도를 참조하여 후에 상세하게 기술될 것이다.On the other hand, in the motion estimation block 118 according to the present invention, the object contour signal of the current frame on the line L11 provided from the first frame memory 100 and on the line L13 provided from the second frame memory 116 described above. Based on the object contour signal, the reconstructed previous frame extracts one motion vector for the entire contour through motion estimation between the current contour of the current frame on line L11 and the previous contour of the reconstructed previous frame on line L13. And respectively occur on L15, the motion vector on the line L14 is provided to the motion compensation block 120 to be described later for motion compensation, and the motion vector on the line L15 is the contour coding block described above for transmission to a transmitter not shown. Provided at 108. As described above, the process of estimating one motion vector between the current contour and the previous contour of the object according to the present invention will be described later in detail with reference to FIG. 2 showing a detailed block of the motion estimation block 118. FIG. .

따라서, 움직임 보상 블록(120)에서는 상기한 움직임 추정 블록(118)으로부터 제공되는 라인 L14상의 하나의 움직임 벡터를 이용해 움직임 보상을 수행함으로써, 라인 L17상에 움직임 보상된 예측 윤곽을 발생하며 , 이와 같이 발생된 라인 L17상의 예측 윤곽은 전술한 감산기(102)와 가산기(114)로 각각 제공된다.Accordingly, the motion compensation block 120 performs motion compensation using one motion vector on the line L14 provided from the motion estimation block 118, thereby generating a motion compensated prediction contour on the line L17. The generated prediction contour on the line L17 is provided to the above-described subtractor 102 and adder 114, respectively.

제2도는 상술한 바와 같이 구성을 갖는 제1도의 물체 기반 부호화 시스템에 적용하는 데 적합한 본 발명의 바람직한 실시예에 따른 물체의 윤곽 부호화를 위한 움직임 추정 및 보상을 이용하여 전체 윤곽에 대한 하나의 움직임 추정장치에 대한 블록구성도를 나타낸다. 동도면에 도시된 바와 같이, 본 발명의 움직임 추정장치는 제1 및 제2움직임 추정 및 보상 블록(210,220), 카운터(230), 비교기(240) 및 움직임 벡터 선택 블록(250)을 포함한다.2 is a single motion of the entire contour using motion estimation and compensation for contour coding of an object according to a preferred embodiment of the present invention, which is suitable for application to the object-based coding system of FIG. A block diagram for the estimation apparatus is shown. As shown in the figure, the motion estimation apparatus of the present invention includes first and second motion estimation and compensation blocks 210 and 220, a counter 230, a comparator 240, and a motion vector selection block 250.

제2도에 있어서, 제1움직임 추정 및 보상 블록(210)에서는 라인 L11상의 현재 프레임에 대한 현재 윤곽과 라인 L13상의 재구성된 이전 프레임에 대한 이전 윤곽간의 움직임 벡터를 추출하여 라인 L21상에 발생하고 또한 이와같이 추출된 하나의 움직임 벡터를 이용하여 움직임 보상을 수행하며, 움직임 보상한 후에 남는 잔여 윤곽선(즉, 움직임 보상을 한 후 움직임이 보상되지 않은 부분의 윤곽선)이 추출하여 라인 L23상에 발생한다. 여기에서, 전체 윤곽에 대한 하나의 움직임 벡터는 현재 프레임내의 전체 윤곽과 재구성된 이전 프레임의 주어진 탐색영역내에서 가장 유사한 이전 윤곽 사이의 변위를 나타내며, 이러한 윤곽의 움직임 벡터 검출은 두 개의 마스크를 이용하여 수행된다. 또한, 라인 L21상에 발생된 하나의 움직임 벡터는 움직임 벡터 선택 블록(250)으로 제공되고, 라인 L23상에 발생된 움직임 보상후에 남은 잔여 윤곽 정보는, 후에 상세하게 기술되는 각각 별개의 과정을 통해 한 프레임의 윤곽에서 추출된 두 개의 움직임 벡터중의 어느 하나을 선택하기 위한 하나의 선택정보로써 카운터(230)로 제공된다.In FIG. 2, the first motion estimation and compensation block 210 extracts a motion vector between the current contour for the current frame on the line L11 and the previous contour for the reconstructed previous frame on the line L13 to occur on the line L21. In addition, motion compensation is performed using one of the extracted motion vectors, and the residual contours remaining after the motion compensation (that is, the contours of the parts whose motions are not compensated after the motion compensation) are extracted and generated on the line L23. . Here, one motion vector for the entire contour represents the displacement between the entire contour in the current frame and the closest previous contour in a given search region of the reconstructed previous frame, and the motion vector detection of this contour uses two masks. Is performed. In addition, one motion vector generated on the line L21 is provided to the motion vector selection block 250, and the remaining contour information remaining after the motion compensation generated on the line L23 is subjected to a separate process described in detail later. It is provided to the counter 230 as one selection information for selecting any one of two motion vectors extracted from the outline of one frame.

보다 상세하게, 제1움직임 추정 및 보상 블록(210)에서는 두 개의 마스크를 이용하여 주어진 탐색영역(예를 들면, 이전 윤곽선의 경계를 따라 형성되는 ±16 화소 범위)에서 풀서치 (full search)를 통해 현재 윤곽과 가장 매칭이 잘되는 후보 윤곽간의 하나의 움직임 벡터를 추출, 즉 일예로서 제3도에 도시된 바와 같이 두 개의 마스크(제1 및 제2마스크(a,b))를 매칭시킨 다음 미스매칭되는 영역(동도에서 사선으로 채워진 부분)의 화소수를 카운트하며, 이와같이 카운트되는 화소수가 가장 적어지는 위치에 대한 하나의 움직임 벡터를 추출한다. 그런다음, 이와같이 추출된 하나의 움직임 벡터는 이후의 움직임 보상에 이용됨과 동시에 라인 L12을 통해 움직임 벡터 선택 블록(250)으로 제공된다.More specifically, the first motion estimation and compensation block 210 uses two masks to perform a full search in a given search area (e.g., ± 16 pixel range formed along the boundary of the previous contour). By extracting one motion vector between the current contour and the best matching candidate contour, that is, matching two masks (first and second masks (a, b)) as shown in FIG. The number of pixels of the matched region (the part filled with diagonal lines in the figure) is counted, and one motion vector for a position where the number of pixels counted in this way is the smallest is extracted. The one motion vector thus extracted is then used for subsequent motion compensation and provided to the motion vector selection block 250 via line L12.

이때, 추출된 하나의 움직임 벡터에 의거하여 움직임 보상한 후 얻어지는 움직임 보상이 않된 부분의 윤곽선은 부호화 후 전송해야 할 몇 개의 잔여 윤곽 세그먼트들로 이루어지는 데, 이것은 개곡선의 형태로 나타날 수 있고 폐곡선의 형태로 나타날 수도 있다. 즉, 일반적인 경우에는, 일예로서 제4도에 도시된 바와 같이, 개곡선의 형태로 나타나겠지만, 만약 주밍(zooming)이 생겼다거나 새로운 물체가 등장할 경우에는 폐곡선의 나타날 수 있다.At this time, the contour of the non-motion-compensated part obtained after motion compensation based on the extracted motion vector is composed of several residual contour segments to be transmitted after encoding, which may appear in the form of open curve and It may also appear in the form. That is, in a general case, as shown in FIG. 4 as an example, it may appear in the form of an open curve, but if zooming occurs or a new object appears, a closed curve may appear.

제4도는 하나의 움직임 벡터를 이용한 움직임 보상후에 얻어지는 잔여 윤곽선 세그먼트가 두 개의 개곡선으로 이루어진 일예를 보여준다. 동도면에 있어서, 참조부호 N은 이전 프레임의 윤곽을, M은 현재 프레임의 윤곽을, O는 움직임 벡터를, P는 움직임 보상을 통해 매칭된 영역을, Q는 이전 프레임의 움직임 보상된 윤곽을, 굵은 선으로 도시된 R은 움직임 보상후에 남은 두 개의 잔여 윤곽 세그먼트(두개의 개곡선)를 각각 나타낸다.4 shows an example in which a residual contour segment obtained after motion compensation using one motion vector has two open curves. In the figure, reference numeral N denotes the outline of the previous frame, M denotes the outline of the current frame, O denotes the motion vector, P denotes the matched region through motion compensation, and Q denotes the motion compensated contour of the previous frame. , Denoted by bold lines, represents the two remaining contour segments (two open curves) remaining after motion compensation, respectively.

한편, 제2움직임 추정 및 보상 블록(220)에서는, 윤곽 확장 기법을 이용하여, 라인 L11상의 현재 프레임에 대한 현재 윤곽과 라인 L13상의 재구성된 이전 프레임에 대한 이전 윤곽간의 움직임 추정 및 보상을 이용하여 전체 윤곽에 대한 하나의 움직임 벡터를 추출하여 라인 L25상에 발생하고, 또한 이와같이 추출된 하나의 움직임 벡터를 이용하여 움직임 보상을 수행하며, 움직임 보상한 후에 남는 잔여 윤곽선(즉, 움직임 보상을 한 후 움직임이 보상되지 않은 부분의 윤곽선)이 추출하여 라인 L27상에 발생한다. 여기에서, 전체 윤곽에 대한 하나의 움직임 벡터는 현재 프레임내의 전체 윤곽과 재구성된 이전 프레임의 주어진 탐색영역에서 가장 유사한 이전 윤곽 사이의 변위를 나타내며, 이러한 윤곽의 움직임 벡터 검출은 본 발명에 따라 영역 확장 기법을 이용하여 수행되는 데, 이러한 영역 확장 기법의 상세는, 본 발명자에 의해 제안되어 동일 출원인에 의해 동일자로 출원되는 물체의 윤곽 부호화 시스템 및 그의 움직임 추정방법에 상세하게 개시되어 있다.On the other hand, in the second motion estimation and compensation block 220, using the contour extension technique, using the motion estimation and compensation between the current contour for the current frame on the line L11 and the previous contour for the reconstructed previous frame on the line L13 One motion vector for the entire contour is extracted and generated on the line L25, and the motion compensation is performed using the one motion vector thus extracted, and the remaining contour remaining after the motion compensation (i.e., after motion compensation) Contour of the part whose motion is not compensated) is extracted and occurs on the line L27. Here, one motion vector for the entire contour represents the displacement between the entire contour in the current frame and the closest previous contour in a given search region of the reconstructed previous frame, and the motion vector detection of this contour is extended according to the present invention. Details of this region extension technique, which is performed using the technique, are disclosed in detail in the contour coding system of an object proposed by the present inventor and filed by the same applicant as the same, and a motion estimation method thereof.

즉, 제2움직임 추정 및 보상 블록(220)에서는 라인 L11상의 현재 프레임의 물체 윤곽 데이터를 윤곽의 경계를 따라 소정 폭으로 확장한다. 보다 상세한 설명을 위해, 일예로서 물체를 갖는 현재 프레임 신호가 제5a도에 도시된 바와 같다고 가정한다. 동도에서 참조부호 A는 배경 부분을, B는 물체 부분을 D는 물체의 윤곽 부분을 각각 나타내고, 참조부호 d가 물체의 윤곽 일부를 나타내는 것으로, 이와같은 물체의 윤곽 일부 (a)에 대한 확대도를 도시한 제 5b도에 도시된 바와 같이, 현재 물체의 윤곽(화소 데이터)은 동도에서 빗금으로 채워진 화소 데이터의 형태로 표현될 수 있을 것이다.That is, the second motion estimation and compensation block 220 extends the object contour data of the current frame on the line L11 to a predetermined width along the boundary of the contour. For a more detailed description, assume that the current frame signal with an object is as shown in FIG. 5A as an example. In the figure, reference numeral A denotes a background portion, B denotes an object portion, and D denotes an outline portion of an object, and reference numeral d denotes a portion of an outline of an object, which is an enlarged view of the outline portion (a) of the object. As shown in FIG. 5B, the contour (pixel data) of the current object may be expressed in the form of pixel data filled with hatched lines in the same degree.

따라서, 제2움직임 추정 및 보상 블록(220)에서는 물체 윤곽의 움직임 추정에 앞서, 제5b도에 도시된 바와 같이, 물체의 현재 윤곽을 ±1 화소씩 확장시키는 데, 여기에서, 현재 프레임에서 검출된 물체의 윤곽을 ±1 화소씩 확장시키는 것은 본 발명에 따라 수행되는 다른 기법의 움직임 추정을 위해서이며, 실질적으로 1화소 정도의 화소 에러는 동영상에서의 화질에 거이 영향을 미치지 않는다. 또한, 제5b도에서는 설명의 편의를 위해 일예로서 물체의 윤곽 일부만을 확대하여 도시하였으나, 실질적으로 현재 프레임내 물체의 전체 윤곽선을 ±1 화소씩 확장한다.Thus, in the second motion estimation and compensation block 220, prior to the motion estimation of the object contour, as shown in FIG. 5B, the current contour of the object is extended by ± 1 pixel, where it is detected in the current frame. Extending the outline of a given object by ± 1 pixel is for motion estimation of another technique performed according to the present invention, and substantially one pixel error does not significantly affect the quality of the video. In addition, in FIG. 5B, only a part of the outline of the object is enlarged as an example for convenience of description, but the entire outline of the object in the current frame is expanded by ± 1 pixel.

그런다음, 라인 L13상의 이전 프레임이 재구성된 이전 윤곽내에 기설정되는 소정범위의 움직임 탐색범위에서 확장된 현재 윤곽과 다수의 후보 윤곽을 매칭시켜 가면서 예측된 윤곽 정보를 결정, 즉 이전 윤곽의 기설정된 탐색범위에서 확장된 현재 윤곽과 후보 윤곽들을 각각 매칭시켜 매칭이 안돼는 각 이전 윤곽 화소수를 카운트한 다음 탐색범위내의 후보 윤곽들중 그 카운트값이 가장 적은 후보 윤곽을 예측 윤곽으로 결정하며, 확장된 현재 윤곽으로부터 상기와 같이 결정된 예측 윤곽에 대한 하나의 움직임 벡터를 결정한다. 여기에서, 결정된 하나의 움직임 벡터는 현재 프레임내의 물체의 전체 윤곽과 이전 프레임에서의 기설종된 윤곽 탐색범위(예를 들면, 이전 윤곽선의 경계를 따라 형성되는 ±16 화소 범위)내의 결정된 물체의 후보 윤곽 사이의 변위를 나타낸다.Then, the previous frame on the line L13 matches the current contour and the plurality of candidate contours expanded in the predetermined range of motion search ranges preset within the reconstructed previous contours to determine predicted contour information, that is, the preset contours of the previous contours. By matching the current contour and the candidate contours extended in the search range, the number of each previous contour pixel that cannot be matched is counted, and then the candidate contour having the smallest count value among the candidate contours in the search range is determined as the prediction contour. One motion vector for the prediction contour determined as described above is determined from the current contour. Here, the determined one motion vector is a candidate of the determined object within the entire contour of the object in the current frame and the already existing contour search range in the previous frame (for example, ± 16 pixel range formed along the boundary of the previous contour). Indicates the displacement between the contours.

이 때, 전체 윤곽의 움직임 추정을 위한 탐색범위로서는, 예를 들면 많은 실험을 통해 검증된 통계적인 윤곽의 움직임 범위(또는 정도)와 시스템 구현에 있어서의 실시간 처리에 적합한 움직임 추정을 위해 할애할 수 있는 탐색시간 등을 고려하여 ±16 화소 정도가 바람직할 것이다. 물론, 전체 윤곽의 움직임 추정을 위한 고속 탐색 알고리즘의 출현이 가능하다면 이전 윤곽 정보에서의 탐색범위를 보다 더 확대할 수 있을 것이다.At this time, as a search range for the motion estimation of the entire contour, for example, it is possible to devote to the motion range (or degree) of the statistical contour verified through many experiments and the motion estimation suitable for real-time processing in the system implementation. In view of the search time and the like, it is preferable to have about ± 16 pixels. Of course, if the appearance of a fast search algorithm for motion estimation of the entire contour is possible, the search range in the previous contour information can be further expanded.

따라서, 제2움직임 추정 및 보상 블록(220)에서는 상기한 바와 같이 추출된 하나의 움직임 벡터를 이용하여 움직임 보상을 수행하여, 움직임 보상한 후에 남는 잔여 윤곽선(즉, 움직임 보상을 후 움직임이 보상되지 않은 부분의 윤곽선)이 추출하여 라인 L27상에 발생하는 데, 이때 라인 L27상에 발생된 움직임 보상후에 남은 잔여 윤곽 정보는, 각각 별개의 과정을 통해 한 프레임의 윤곽에서 추출된 두 개의 움직임 벡터중의 어느 하나를 선택하기 위한 다른 하나의 선택정보로써 카운터(230)로 제공한다.Therefore, in the second motion estimation and compensation block 220, motion compensation is performed using the one motion vector extracted as described above, and the remaining contours remaining after motion compensation (that is, motion compensation after motion compensation is not compensated). Uncontoured part) is extracted and generated on the line L27, where the remaining contour information remaining after the motion compensation generated on the line L27 is obtained from the two motion vectors extracted from the contour of one frame through separate processes. It provides to the counter 230 as the other selection information for selecting any one of the.

물론, 앞에서 이미 기술한 바와 같이, 추출된 하나의 움직임 벡터에 의거하여 움직임 보상한 후 얻어지는 움직임 보상이 않된 부분의 윤곽선은 부호화후 전송해야 할 몇 개의 잔여 윤곽 세그먼트들로 이루어지며, 이것은 개곡선의 형태로 나타날 수도 있고 폐곡선의 형태로 나타날 수도 있다.Of course, as previously described, the contour of the non-motion compensated part obtained after motion compensation based on the extracted motion vector is composed of several remaining contour segments to be transmitted after encoding. It may appear in the form of a closed curve.

다음에, 카운터(230)에서 라인 L23을 통해 전술한 제1움직임 추정 및 보상 블록(210)으로부터 제공되는 움직임 보상후에 남은 제1의 잔여 윤곽 세그먼트의 개수를 카운트하고, 또한 라인 L27을 통해 전술한 제2움직임 추정 및 보상 블록(220)으로부터 제공되는 움직임 보상후에 남은 제2의 잔여 윤곽 세그먼트의 개수를 카운트하며, 여기에서 각각 카운트된 제1카운트값(제1의 잔여 윤곽 세그먼트의 개수)과 제2카운트값(제2의 잔여 윤곽 세그먼트의 개수)은 비교기(240)로 제공된다. 따라서, 비교기(240)에서는 상기한 카운터(230)로부터 제공된 제1 및 제2카운터값의 크기를 서로 비교한 다음 그 비교결과에 상응하는 제어신호(예를 들면, 하이 또는 로우레벨의 논리신호)를 다음단의 움직임 벡터 선택 블록(250)으로 제공한다. 이때의 제어신호는 움직임 벡터 선택 블록(250)에 연결된 라인 L21 및 L25상의 움직임 벡터중 카운트값이 적은 것에 대응하는 움직임 벡터를 선택하도록 하기 위한 제어신호이다.Next, the counter 230 counts the number of the first remaining contour segments remaining after the motion compensation provided from the first motion estimation and compensation block 210 described above via line L23, and also through the line L27 described above. The number of second residual contour segments remaining after the motion compensation provided from the second motion estimation and compensation block 220 is counted, wherein the first count value (number of first residual contour segments) and the first count value, respectively, are counted. A two count value (number of second remaining contour segments) is provided to the comparator 240. Accordingly, the comparator 240 compares the magnitudes of the first and second counter values provided from the counter 230 with each other, and then a control signal corresponding to the comparison result (for example, a logic signal of high or low level). Is provided to the next motion vector selection block 250. The control signal at this time is a control signal for selecting a motion vector corresponding to a small count value among the motion vectors on the lines L21 and L25 connected to the motion vector selection block 250.

한편, 움직임 벡터 선택 블록(250)에서는 상기한 비교기(240)로부터 제공되는 각 카운트값 비교결과에 상응하는 제어신호에 의거하여, 라인 L21을 통해 전술한 제1움직임 추정 및 보상 블록(210)으로부터 제공되는 하나의 제1의 움직임 벡터와 라인 L25를 통해 전술한 제2의 움직임 추정 및 보상 블록(220)으로부터 제공되는 하나의 제2의 움직임 벡터중의 어느 하나를 선택하여 제1도의 라인 L14 및 L15상에 발생한다. 즉, 움직임 벡터추정 블록(250)은 비교기(240)로 부터의 제어신호에 의거하여 제1움직임 추정 및 보상 블록(210)에서 움직임 보상후에 발생되는 제1의 잔여 윤곽 세그먼트 개수가 제2움직임 추정 및 보상 블록(220)에서 움직임 보상후에 발생되는 제2의 잔여 윤곽 세그먼트 개수보다 적으면 라인 L21상의 제1의 움직임 벡터를 선택하여 제1도의 라인 L14 및 L15상에 발생하고, 그 반대인 경우에는 라인 L25상의 제2의 움직임 벡터를 선택하여 제1도의 라인 L14 및 L15상에 발생한다.On the other hand, in the motion vector selection block 250 based on the control signal corresponding to each count value comparison result provided from the comparator 240, from the above-described first motion estimation and compensation block 210 through the line L21 One of the first motion vectors provided and one of the second motion vectors provided from the above-described second motion estimation and compensation block 220 through the line L25 are selected to provide the line L14 and the first figure in FIG. Occurs on L15. That is, the motion vector estimation block 250 estimates the number of first residual contour segments generated after motion compensation in the first motion estimation and compensation block 210 based on the control signal from the comparator 240, and the second motion estimation. And if the number of the second residual contour segments generated after the motion compensation in the compensation block 220 is smaller, the first motion vector on the line L21 is selected and generated on the lines L14 and L15 of FIG. 1 and vice versa. A second motion vector on line L25 is selected and generated on lines L14 and L15 in FIG.

이것은, 움직임 보상후에 발생되는 잔여 윤곽 세그먼트는 부호화한 다음 반드시 수신측 복호화 시스템으로 보내주어야 한다는 점에 비추어 볼 때, 결국 그 잔여 세그먼트의 수가 많을수록 부호화를 통한 비트발생량이 많아진다는 것을 의미하므로, 움직임 보상후에 발생되는 잔여 세그먼트의 수가 최대한 적은 움직임 벡터(실질적으로 보다 정밀한 움직임 추정을 통해 추출한 움직임 벡터로 간주할 수 있음)를 추출한다는 것이다.This means that since the residual contour segments generated after motion compensation must be encoded and then sent to the receiving decoding system, the higher the number of the remaining segments, the greater the amount of bits generated through the encoding. It extracts a motion vector (which can be regarded as a motion vector extracted through a more accurate motion estimation) with as few residual segments as possible later.

이상 설명한 바와 같이 본 발명에 따르면, 상술한 바와 같은 과정을 통해 고정밀하게 추정된 물체의 윤곽에 대한 하나의 움직임 벡터를 이용하여 움직임 보상을 수행하고, 잔여 윤곽에 대한 부호화(윤곽 근사, 양자화 등)를 수행하도록 함으로써, 물체 기반 부호화 시스템에서의 윤곽 부호화 효율을 증진시킬 수 있다.As described above, according to the present invention, motion compensation is performed using one motion vector of the contour of the object accurately estimated through the above-described process, and encoding of the residual contour (contour approximation, quantization, etc.) By performing, it is possible to improve the contour coding efficiency in the object-based coding system.

Claims

The motion vector for the contour is extracted by the motion estimation of the contour of the object appearing in each of the input current frame and the reconstructed previous frame, and the contour approximation and sampling techniques are applied to the contour segments obtained through the motion estimation and its compensation. A motion estimation apparatus in an object-based encoding system for generating approximate error sets and encoding the generated approximation error sets and a extracted motion vector, using two masks, an object of the object in the current frame. Extracting one first motion vector of the entire contour from the first search range of the predetermined predetermined region of the previous frame through motion estimation and compensation between the current contour and the previous contour of the reconstructed previous example object, Motion compensation using the extracted first motion vector To first motion estimation and compensation means for extracting the remaining contour of the first segment remaining after motion compensation; The optimal candidate contour is detected and predicted through matching between the expanded current contour obtained by extending the current contour to a predetermined width along the boundary and a plurality of candidate contours in the second search range of the predetermined predetermined region of the previous frame. Determine the extracted contour, extract one second motion vector representing the displacement between the expanded current contour and the predicted contour, and after motion compensation through motion compensation using the extracted second motion vector. Second motion estimation and compensation means for extracting a segment of the remaining second residual contour; A counter for counting the number of the extracted first residual contour segments to generate a first count value, and counting the number of the extracted second residual segments to generate a second count value; A control signal generating means for comparing magnitudes of the first count value and the second count value, and generating a selection control signal for selecting the first motion vector or the second motion vector according to the comparison result; ; And one motion vector for the contour to be encoded, the motion vector corresponding to a count value having a smaller size among the first and second count values among the first and second motion vectors, based on the selection control signal. Motion estimation window for contour coding of an object comprising a motion vector determining means for determining.

The motion estimation apparatus of claim 1, wherein the first search range is set to a range of ± 16 pixels along a boundary of the previous contour.

The contour of an object according to claim 1 or 2, wherein the first motion vector is a displacement value with respect to a position determined by the number of pixels of a mismatched area when the two masks are mirrored. Motion estimation device for coding.

The motion estimation apparatus of claim 1, wherein the extended current contour is extended by ± 1 pixel along the contour boundary.

The contour of claim 1 or 4, wherein the prediction contour is determined by a number of miss-matching pixels calculated by matching a plurality of candidate contours within the search range of the previous frame with the extended current contour. Motion estimation device for coding.

The motion estimation apparatus of claim 5, wherein the preset matching frequency is set based on a search range of the preset previous frame.

The motion estimation apparatus of claim 1, wherein the selection control signal generated based on the first and second count values is a logic signal having a high or low level.