KR100208984B1 - Moving vector estimator using contour of object - Google Patents

Moving vector estimator using contour of object Download PDF

Info

Publication number
KR100208984B1
KR100208984B1 KR1019950028345A KR19950028345A KR100208984B1 KR 100208984 B1 KR100208984 B1 KR 100208984B1 KR 1019950028345 A KR1019950028345 A KR 1019950028345A KR 19950028345 A KR19950028345 A KR 19950028345A KR 100208984 B1 KR100208984 B1 KR 100208984B1
Authority
KR
South Korea
Prior art keywords
motion vector
region
frame
contour
estimating
Prior art date
Application number
KR1019950028345A
Other languages
Korean (ko)
Other versions
KR970014398A (en
Inventor
조홍규
Original Assignee
전주범
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주범, 대우전자주식회사 filed Critical 전주범
Priority to KR1019950028345A priority Critical patent/KR100208984B1/en
Publication of KR970014398A publication Critical patent/KR970014398A/en
Application granted granted Critical
Publication of KR100208984B1 publication Critical patent/KR100208984B1/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 물체의 윤곽선을 이용한 움직임 벡터 추정 장치에 관한것으로, 입력 된 현재 영상 프레임의 블럭에서 둘체의 윤곽선을 검출하여 출력하는 에지검출부(10)와; 상기 물체의 윤곽선을 기준으로 그 주위 영역을 결정하여 출력하는 영역 결정부(20); 입력된 현재 영상 프레임을 딜레이시켜 이전 영상 프레임을 출력하는 프레임메모리 (30) 및; 상기 영역 결정부(20)로부터 입력된 영역과 가장 일치하는 영역을 상기프레임메모리 (30)로부터 입력된 이전 영상 프레임의 탐색 구간에서 탐색하여 가장 일치하는 영역을 추정하고 그 위치로부터 움직임 벡터를 추정하여 출력하는 움직임 벡터 추정부(40)를 포함하여 구성되어, 물체의 윤곽선을 중심으로 움직임 벡터를 추정함으로써 움직임 벡터를 추정하기 위한 연산량을 줄여 소프트웨어적으로 구현할 수 있을 뿐만 아니라 적은 양의 움직임 추정, 전용 칩을 사용하여 하드웨어 적으로 구현할 수 있는 것이다.The present invention relates to a motion vector estimating apparatus using contours of an object, comprising: an edge detector 10 for detecting and outputting contours of two bodies in a block of an input current image frame; An area determination unit 20 which determines and outputs an area around the object based on the contour of the object; A frame memory 30 for delaying an input current video frame and outputting a previous video frame; The region that most matches the region input from the region determiner 20 is searched in the search section of the previous image frame input from the frame memory 30 to estimate the region that most matches, and the motion vector is estimated from the position. It includes a motion vector estimator 40 for outputting, by estimating the motion vector centered on the outline of the object to reduce the amount of computation for estimating the motion vector, as well as to implement a small amount of motion estimation, It can be implemented in hardware using a chip.

Description

물체의 윤곽선을 이용한 움직임 벡터 추정 장치Motion vector estimation device using contour of object

제1도는 2단계 움직임 추정 방식에 따른 블럭도.1 is a block diagram according to a two-step motion estimation method.

제2도는 저해상도와 고해상도 화상에서의 움직임 추정을 나타낸 예시도.2 is an exemplary diagram showing motion estimation in low resolution and high resolution images.

제3도는 본 발명에 따른 물체의 윤곽선을 이용한 움직임 벡터 추정 장치의 1실시예의 개략적인 구성도.3 is a schematic structural diagram of an embodiment of a motion vector estimating apparatus using contours of an object according to the present invention;

제4도는 본 발명에 따른 움직임 벡터 추정 장치의 동작을 설명하기 위한 영상 프레임의 블럭을 도시한 것으로,4 is a block diagram of an image frame for explaining the operation of the motion vector estimating apparatus according to the present invention.

(a)는 이전 영상 프레임의 블럭을 도시한 것이고,(a) shows a block of a previous video frame,

(b)는 현재 영상 프레임의 블럭을 도시한 것이며,(b) shows a block of a current video frame,

제5도는 본 발명에 따른 움직임 벡터 추정 장치의 2 실시예의 개략적인 구성도이다 .5 is a schematic structural diagram of a second embodiment of a motion vector estimating apparatus according to the present invention.

* 도면의 주요부분에 대한 부호의 설명* Explanation of symbols for main parts of the drawings

10 : 에지 검출부 20 : 영역 결정부10: edge detector 20: region determiner

25 : 제 1 필터부 30 : 프레임메모리25: first filter unit 30: frame memory

35 : 제 2 필터부 40 : 움직임 벡터추정부35: second filter unit 40: motion vector estimation

본 발명은 이전 영상과 현재 영상을 비교하여 물체의 움직임에 관한 정보인 움직임 벡터를 추정하는 장치에 관한 것으로, 특히 물체의윤곽선을 중심으로 움직임 벡터를 추정하여 움직임 벡터를 추정하기 위한 연산량을 줄일 수 있도록 된 물체의 윤곽선을 이용한 움직임 벡터 추정 장치에 관한 것이다.The present invention relates to an apparatus for estimating a motion vector, which is information about an object's movement, by comparing a previous image with a current image. In particular, an apparatus for estimating a motion vector based on an outline of an object can reduce an operation amount for estimating a motion vector. The present invention relates to a motion vector estimation apparatus using contours of an object.

일반적으로, HDTV(High Definition TV : 고선명 텔레비젼)나 비디오와 같이 MPEG-2(Moving Picture Experts Group-2) 방식을 사용하는 영상 부호기는 영상 복호기로 전송하여야 할 데이타를 줄이기 위하여 여러가지 데이타 압축 과정을 거치게 되는데, 그 데이타 압축 과정 중의 한가지 방법인 시간적 압축기법이 움직임 추정부호화(notionestimation coding) 이다.In general, video encoders that use the Moving Picture Experts Group-2 (MPEG-2) method, such as HDTV (High Definition TV) or video, undergo various data compression processes to reduce data to be transmitted to the video decoder. One of the data compression processes, the temporal compression method, is motion estimation coding.

일반적으로, 움직임 추정 부호화는 이전 영상과 현재의 영상을 비교하여 물체의 움직임에 관한 정보인 움직임 벡터를 추출해 내고, 이 움직임 벡터를 이용하여 현재의 영상을 예측하는 방식이다.In general, motion estimation encoding is a method of comparing a previous image with a current image to extract a motion vector that is information about an object's motion, and predicting the current image using the motion vector.

이러한 움직임 추정 부호화 기법의 핵심기술은 움직임 벡터를 검출하는 것으로, 일반적으로 블럭 정합 알고리즘(Block Matching Algorithm : 이하 BMA)과 화소 순환 알고리즘(Pel Recursive Algorithm : 이하 PRA 라 칭함)으로 나누어진다.The core technology of such a motion estimation coding technique is to detect a motion vector, which is generally divided into a block matching algorithm (hereinafter referred to as BMA) and a pixel recursive algorithm (hereinafter referred to as PRA).

데이타 감축 능력면에서는 PRA 방식이 BMA 방식보다 우수하나 시스템 템의 복잡도 측면에서는 블럭 단위로 처리하는 BMA 방식이 화소단위로 처리하는 PRA 방식보다 훨씬 간단하여 비디오 코덱을 위한 국제표준화 그룹(H.261, H.262, MPEG-1, MPEC-2)에서도 움직임 보상 방식으로 BMA 방식을 채택하고 있다.In terms of data reduction capability, the PRA method is superior to the BMA method, but in terms of the complexity of the system, the BMA method that processes block by block is much simpler than the PRA method that processes pixel by pixel. H.262, MPEG-1, and MPEC-2 also adopt the BMA method as the motion compensation method.

이러한 BMA는 화면의 움직임이 수평, 수직으로 평행 이동한 것으로 가정하여, 움직임이 일어난 프레임의 블럭 화상이 움직임이 일어나기 전 프레임의 어느 위치에 있는 블럭 화상과 가장 일치하는가를 추정하여 그 위치를 통해 움직임 벡터를 추정하는 방법이다.The BMA assumes that the screen motion is moved horizontally and vertically in parallel, so that the block image of the frame where the motion occurs is the best match with the block image at which position of the frame before the motion occurs, and then moves through the position. It is a method of estimating a vector.

일반적으로, 블럭 크기는 8×8 이나 16×16을 쓰고 있는 것이 보통인데, 이는 블럭의 크기를 크게 하면 전송해야하는 움직임벡터의 비트율이 떨어지는 대신, 블럭 안에 여러가지 움직임이 있을때는 신뢰도가 떨어지는 점을 고려한 블럭의 크기이다.In general, the block size is usually 8 × 8 or 16 × 16. This is because the larger the block size, the lower the bit rate of the motion vector to be transmitted, but the lower the reliability when there are various motions in the block. The size of the block.

움직임 벡터는 이론적으로는 -∞부터 +∞까지이지만, 실제적 계산 시간이나 하드웨어의 복잡도를 고려하여 그 탐색 구간을 결정하게 된다.The motion vector is theoretically from -∞ to + ∞, but the search interval is determined by considering the actual computation time or the complexity of hardware.

수직적으로는, 가장 일치하는 블럭을 찾기 위하여, 연속된 두 프 레임 (이전 영상과 현재 영상)의 화상 중에서, 이전 프레임을 f1(X, Y), 현재 프레임을 f2(X, Y) 라 했을 때 ,f2(X, Y)와 f1(X-a,Y-b)에서 a, b를 변화시켜 가면서 f1(X-a,Y-b)와 f2(X,Y)의 차를 구하여 그 차가 최소가 되는 (a, b)를 움직임 벡터로 예측하는 방법을 쓰게 되는데, 프레임 간의 차이를 구하는 식은 평균 절대 오차( Eabs)를 주로 사용한다 .Vertically, in order to find the best match, among the frames of two consecutive frames (previous and current), the previous frame is called f 1 (X, Y) and the current frame is f 2 (X, Y). If we change a and b at f 2 (X, Y) and f 1 (Xa, Yb), find the difference between f 1 (Xa, Yb) and f 2 (X, Y) A method of predicting (a, b) as a motion vector is used. The formula for calculating the difference between frames mainly uses the mean absolute error (E abs ).

여기서 ｜B｜는 블럭의 크기를 뜻한다.Where B represents the size of the block.

따라서, 움직임 벡터는 위의 식을 최소로하는 탐색 구간 내의 (a,b)를 찾아 그 값을 취한다.Therefore, the motion vector finds (a, b) in the search interval that minimizes the above equation and takes its value.

상기와 같은 BMA방식을 사용한 각 사들의 움직임 추정 방법에 대해서 살펴보면 다음과 같다.Looking at the motion estimation method of each company using the BMA method as described above are as follows.

1 ) ATRC 방식 (ADTV: Advanced TV)1) ATRC method (ADTV: Advanced TV)

ADTV에 쓰이는 움직임 추정 방식은 MPEG에서 제안된 알고리즘인 반화소(half-pixel )의 정확도를 갖는 블럭 정합 알고리즘(BMA : Block Matching Algorithm)을 채택하고 있다.The motion estimation method used in ADTV employs a Block Matching Algorithm (BMA) with half-pixel accuracy.

블럭 정합 알고리즘(BMA)은 화면의 움직임이 수평 또는 수직으로 평행 이동한 것으로 가정하여 움직임이 일어난 프레임 (즉, 현재 프레임)의 블럭 화상이 움직임 이 일어나기 전 프레임 (즉, 이전 프레임)의 어느 위치에 있는 블럭 화상과 가장 잘 일치하는 가를 추정하여 그 위치를 통해 움직임 벡터를 추정하는 방법이다.The block matching algorithm (BMA) assumes that the motion of the screen is moved horizontally or vertically in parallel, so that the block image of the frame in which the movement occurs (i.e., the current frame) is positioned at a position in the frame (i.e., the previous frame) before the movement occurs. It is a method of estimating the motion vector through the position by estimating whether the block image is the best match.

ADTV에서 말하는 움직임 추정은 움직임 정도를 나타내는 2차원의 벡터를 계산해내는 과정을 말하며 이 벡터들을 움직임 벡터라 한다.Motion estimation in ADTV refers to the process of calculating a two-dimensional vector representing the degree of motion, which is called a motion vector.

ADTV에는 2가지의 움직임 추정이 사용되는데 하나는 현재의 화면을 만들기 위해 과거의 화면을 이용하여 포워드 움직임 추정을하는 것이고, 다른 하나는 현재의 화면을 만들기 위해 미래의 화면을 이용하여 백워드 움직임 추정을하는 것이다.Two types of motion estimation are used in ADTV, one for forward motion estimation using the past screen to make the current screen, and the other for backward motion estimation using the future screen to make the current screen. To do.

두가지 방법 모두 M*N으로 미리 정해진 탐색 구간에서 왜곡이 가장 작은 블럭을 찾아내어 움직임 벡터를 알아내게 된다.In both methods, the motion vector is found by finding the block with the least distortion in the predetermined search interval with M * N.

많이 쓰이는 오차(또는, 왜곡: distortion) 측정 방법으로는 평균 자승 오차(MSE: Mean Squre Error)와 평균 절대 오차(MAE: Mean Absolute Error)가 있는데 계산상의 간편함과 하드웨어의 간단함으로 평균 절대 오차(MAE) 가 주로 쓰인다.Popular error (or distortion) measurement methods include Mean Square Error (MSE) and Mean Absolute Error (MAE). ) Is mainly used.

반화소 움직임 추정은 두 단계로 이루어지는데 처음의 탐색은 한화소(integer-pixel ) 움직임 벡터를 얻기 위함이고 두번째 탐색으로 처음에 얻은 화소 단위 움직임 벡터를 중심으로 반화소(half-pixel) 움직임 벡터를 구하게 된다.Half-pixel motion estimation consists of two steps: the first search is to obtain an integer-pixel motion vector, and the second search is based on a half-pixel motion vector centered on the first pixel-by-pixel motion vector. You will get it.

ABTV에서는 입력되는 영상을 몇가지 종류로 구분하여 프레임 별로 나누는데 I-프레임 (Intra-frame), p-프레임 (Predicted-frame), B- 프레임 (Bidirectional-predicted frame)이 3 가지이고 각 프레임 별 움직임 추정을 살펴보면 다음과 같다.In ABTV, the input video is divided into several types and divided into frames. There are three types of I-frame, p-predicted-frame, and bi-directional-predicted frame. Looking at it as follows.

I-프레임은 움직임 추정을 하지 않아 움직임 벡터는 없지만 다른 프레임의 움직임 추정에 쓰이고, p-프레임은 바로 전의 I-프레임 또는 p-프레임을 이용하여 포워드 움직임 추정을 하고 다른 P-프레임이나 B-프레임 움직임 추정에 쓰이며, B-프레임은 전후의 1-프레임 또는 P-프레임을 이용하여 포워드 움직임 추정 과 백워드 움직임 추정을 하고 또 포워드 움직임 보정된 프레임과 백워드 움직임 보정된 프레임 둘을 합하여 둘로 나눈 보간된 프레임을 만들어 이 3가지 움직임 추정 결과 중 이동된 블럭의 차이(DBD : Displaced Block Differece)가 가장 적은 것을 택하여 움직임 벡터를 정하게 된다.I-frame does not have motion estimation, so there is no motion vector, but it is used for motion estimation of other frames. P-frame uses the previous I-frame or p-frame to perform forward motion estimation and another P-frame or B-frame. Used for motion estimation, B-frames use forward and backward 1- or P-frames to perform forward motion estimation and backward motion estimation, and interpolate by dividing forward motion corrected frames and backward motion compensated frames in two The motion vector is determined by selecting the least-displaced block difference (DBD) among the three motion estimation results.

DBD의 가장 작은 값이 보간된 것일 경우에는 포워드 움직임 벡터와 백워드 움직임 벡터 둘 다를 전송하게 된다.When the smallest value of the DBD is interpolated, both the forward motion vector and the backward motion vector are transmitted.

2) G.I 사 방식 (Digicipher)2) G.I method (Digicipher)

G. I사의 Digicipher system제안서에 나와 있는 움직임 추정 방식은 상기에서 서술한 ATRC사의 ADTV에 사용된 블럭 정합 알고리즘(BMA)과 유사하지만 정확도에 있어 서 반화소 움직임 추정을 하지 않기 때문에 ADTV 보다 떨어 진다.The motion estimation method described in G. I's Digicipher system proposal is similar to the block matching algorithm (BMA) used in ATRC's ADTV described above, but is lower than ADTV because it does not estimate half-pixel motion in accuracy.

그외의 다른 점을 살펴보면 우선 백워드 움직임 추정을 하지 않고 포워드 움직임 추정만을하여 ADTV의 B-프레임이 없다. 즉, Digicipher의 프레임은 I-프레임 과 P-프레임 만으로 이 루어 져있다.In other respects, there is no B-frame of ADTV by performing forward motion estimation without backward motion estimation. In other words, Digicipher's frame consists of only I-frames and P-frames.

움직임 추정의 단위는 매크로 블럭으로하는데 매크로 블럭은 4*2 Y(휘도신호) 블럭, U(색차신호) 1개 블럭, V(색차신호) 1개 블럭으로 이루어지므로 이 모든 블럭들이 같은 움직임 벡터를 가지 게 된다.The unit of motion estimation is a macro block, which consists of a 4 * 2 Y (luminance signal) block, one U (color difference signal) block, and one V (color difference signal) block. To have.

3) Zenith 사와 ATT 사 방식 (DSC-HDTV)3) Zenith and ATT (DSC-HDTV)

영상의 특성상 근접한 화소들의 화소값은 일반적으로 매우 근사한 값들로 구성되어 있는데, 그 이유는 물체의 경계 및 윤곽을 나타내는 선내의 화소들이 같은 물체를 표시하는데 사용되기 때문이다.Due to the nature of the image, the pixel values of adjacent pixels are generally composed of very close values because the pixels in the line representing the boundary and contour of the object are used to display the same object.

Zenith사와 ATT사는 이러한 영상의 특성을 이용하여 프레임 영상 데이타의 불필요한 중복성을 제거하므로써 효과적으로 움직임을 추정하는 계충적 움직임 추정 (hierarchical motion estimation) 방법을 사용하 였 다 .Zenith and ATT used a hierarchical motion estimation method that effectively estimates motion by eliminating unnecessary redundancy of frame image data by using the characteristics of these images.

또한, 제 1 도는 2 단계 움직임 추정 방식에 따른 블럭도이 고, 제2도는 저해상도와 고해상도 화상에서의 움직임 추정을 나타낸 예시도로서, 전송 채널의 효율을 늘리기 위하여 Zenith사와 ATT사에서는 저해상도 움직임 추정(coarse motion estimation)과 고해상도 움직임 추정(fine motion estimation)의 2단계 움직임 추정을 제안하였는데 그제시된 방법을 구체적으로 살펴보면 다음과 같다.In addition, FIG. 1 is a block diagram according to a two-step motion estimation scheme, and FIG. 2 is a diagram showing motion estimation in low resolution and high resolution images. In order to increase transmission channel efficiency, low resolution motion estimation is performed by Zenith and ATT. Two-stage motion estimation of motion estimation and fine motion estimation has been proposed. The proposed method is described in detail as follows.

먼저 필터를 사용하여 프레임 영상 신호와 이전 영상 신호의 중복성을 제거한다. 그로 인해, 해상도는 수평, 수직 방향으로 각각 1/2씩 줄어들게 된다.First, a filter is used to remove redundancy between the frame video signal and the previous video signal. As a result, the resolution is reduced by 1/2 each in the horizontal and vertical directions.

전체 면적이 1/4로 줄어든 저해상도 영상 신호로부터의 저해상도 움직임 추정 (coarse motion estimation)은 32*16(수평*수직 ) 화소 크기의 블럭 단위로 현재 프레임과 이전 프레임의 화소값 차의 절대 값인 추정 오차를 비교함으로써 이루어 지는데, 이때 휘도 성분만을 이용하고 이전 프레임 블럭을 탐색 구간 만큼 이동하며 얻은 추정 오차 중 가장 작은 것이 그 블럭의 움직임 벡터가 된다.Coarse motion estimation from low-resolution video signals with an overall reduction of 1/4 is an estimation error that is the absolute value of the pixel value difference between the current frame and the previous frame in units of 32 * 16 (horizontal * vertical) pixels. In this case, the smallest of the estimation errors obtained by using only the luminance component and moving the previous frame block by the search interval becomes the motion vector of the block.

상기와 같은 계충적 저해상도 화상에서의 블럭 매칭은 원래의 고해상도 화상에 사용하였을때 보다 탐색 구간과 블럭 크기가 1/4로 줄어들어 계산량이 현저하게 줄어든다.The block matching in the reciprocal low resolution image as described above reduces the search interval and the block size by a quarter compared to that used in the original high resolution image, thereby significantly reducing the calculation amount.

고해상도 움직임 추정은 저해상도 화상에서 구한 움직임 벡터를 이용하여 원래의 고해상도 화상에서의 움직임 벡터로 대치시키고 이를 다시 고해상도 움직임 벡터로 세분화시킨다.The high resolution motion estimation replaces the motion vector of the original high resolution image with the motion vector obtained from the low resolution image and subdivides it into the high resolution motion vector.

즉, 저해상도 화상에서의 16aB 블럭 크기 차 저해상도 움직임 벡터는 원래 해상도의 화상에서 수평, 수직 방향으로 각각 1/2 씩 줄어든 것이므로 이들을 모두 2 배 시키면 원래 화상의 블럭 크기와 움직임 벡터가 되게 된다.That is, since the 16aB block size difference low resolution motion vector in the low resolution image is reduced by 1/2 in the horizontal and vertical directions in the original resolution image, double the both to become the block size and the motion vector of the original image.

이는 다시 88의 작은 블럭 크기로 나뉘어지고, 각각의 작은 블럭은 저해상도 움직임 벡터를 기점으로 다시 탐색 구간 만큼 이동하여 고해상도 움직임 벡터를 제2도에 도시한 바와 같이 구한다.Which is again 8 Each small block is divided into 8 small blocks, and each small block is moved back from the low resolution motion vector by the search interval to obtain a high resolution motion vector as shown in FIG.

움직임 벡터 부호기는 각각 저해상도와 고해상도에서 추정한 움직임 벡터를 이용하여 다음 프레임의 화면을 추정하고 그에 대응되는 움직임 벡터를 선택한다.The motion vector encoder estimates the screen of the next frame using motion vectors estimated at low resolution and high resolution, respectively, and selects a motion vector corresponding thereto.

이것은 움직임 벡터를 압축하는데 있어서 비트율을 제한하기 위한 것인데, 채널 밴드폭의 여 백에 따라 저해상도 움직임 벡터 만을 보내기도 하고 저해상도와 고해상도 움직임 벡터를 보내기도 한다.This is for limiting the bit rate in compressing the motion vector. Depending on the bandwidth of the channel bandwidth, only the low resolution motion vector is sent, and the low resolution and the high resolution motion vector are also sent.

이상에서 살펴본 BMA방식의 움직임 추정 방법은 MPEG-2방식에 따르는 영상 부호기를 만들때 움직임 추정 전용 칩을 사용하는 경우가 많은데, 그 움직임 추정 전용 칩에서의 가능한 탐색 범위(search range)가 시스템이 요구하는 탐색 범위보다 매우 작은 경우가 많기 때문에 다량의 움직임 추정 전용 칩을 가지고 병렬 처리하여야 한다.In the BMA motion estimation method described above, a motion estimation dedicated chip is often used to create an MPEG-2 video encoder, and a possible search range of the motion estimation dedicated chip is required by the system. Since this is much smaller than the search range, it must be processed in parallel with a large number of dedicated motion estimation chips.

다시 말해서, MPEG-2 방식에서 사용하는 움직임 추정 방법에서는 움직임 추정을하는 탐색 영역이 커지면 커질수록 계산량이 늘어나게 되는데, 이러한 탐색 영역을 만족시키는 움직임 추정 전용칩이 없기 때문에 많은 양의 움직임 추정 전용 칩을 사용하여 전체 탐색 영역을 만족시키도록 시스템을 설계해야 한다In other words, in the motion estimation method used in the MPEG-2 method, the larger the search area for the motion estimation becomes, the larger the calculation amount increases. Since there is no dedicated motion estimation chip that satisfies the search area, a large amount of dedicated motion estimation chip is used. System must be designed to satisfy the entire search area.

특히, 정합될 수 있는 모든 경우에 대해 왜곡을 구하여 그중 가장 작은 왜곡값을 갖는 움직임 벡터를 찾는 전체 탐색(full search)의 경우에는 많은 계산량이 요구됨에 따라 소프트웨어적으로 구현하기가 거의 불가능할 뿐만 아니라 하드웨어적으로 구현하기 위해서는 많은 양의 움직임 추정 전용 칩을 사용하여야하는 문제점이 있었다.In particular, in the case of a full search in which distortion is obtained for all cases that can be matched to find a motion vector having the smallest distortion value, it is almost impossible to implement software in hardware as a large amount of computation is required. In order to achieve this, there is a problem in that a large amount of motion estimation dedicated chips must be used.

따라서, 본 발명은 상기와 같은 종래의 제 문제점을 해소하기 위한 것으로, 물체의 윤곽선을 중심으로 움직임 벡터를 추정함으로써 움직임 벡터를 추정하기 위한 연산량을 줄여 소프트웨어적으로 구현할 수 있을 뿐만 아니라 적은 양의 움직임 추정 전용 칩을 사용하여 하드웨어적으로 구현할 수 있도록 된 물체의 윤곽선을 이용한 움직임 벡터 추정장치를 제공하는데 그 목적이 있다Accordingly, the present invention is to solve the above-mentioned problems of the prior art, and by estimating the motion vector around the outline of the object, it is possible to reduce the amount of computation for estimating the motion vector and to implement the software in a small amount. An object of the present invention is to provide a motion vector estimator using contours of an object that can be implemented in hardware using a dedicated chip for estimation.

이러한 목적을 달성하기 위한 본 발명에 따른 윤곽선을 이용한 움직임 벡터 추정 장치는, 입력된 현재 영상 프레임의 블럭에서 물체의 윤곽선을 검출하여 출력하는에지 검출부와; 상기 물체의 윤곽선을 기준으로 그 주위 영역을 결정하여 출력하는 영역 결정부 ; 입력 된 현재 영상 프레임을 딜레이시켜 이전 영상 프레임을 출력하는 프레임메모리 및; 상기 영역 결정부로부터 입력된 영역과 가장 일치하는 영역을 상기 프레임메모리로부터 입력된 이전 영상 프레임의 탐색 구간에서 탐색하여 가장 일치하는 영역을 추정하고 그 위치로부터 움직임 벡터를 추정하여 출력하는 움직임 벡터 추정부를 포항하여 구성된 것을 특징으로 한다.According to an aspect of the present invention, there is provided an apparatus for estimating motion vectors using contours, comprising: an edge detector for detecting and outputting contours of an object from a block of an input current image frame; An area determination unit which determines and outputs an area around the object based on the contour of the object; A frame memory outputting a previous image frame by delaying an input current image frame; A motion vector estimator for searching an area that most matches the area input from the area determiner in a search section of a previous image frame input from the frame memory, estimating the most matched area, and estimating and outputting a motion vector from the location; Characterized in that configured to Pohang.

이하 첨부된 도면을 참조하여 본 발명을 상세히 설명한다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

제3도는 본 발명에 따른 물체의 윤곽선을 이용한 움직임 벡터 추정 장치의 1실시예의 개략적인 구성도로서, 본 발명에 따른 물체의 윤곽선을 이용한 움직임 벡터 추정 장치는, 입력된 현재 영상 프레임의 블럭에서 물체의 윤곽선을 검출하여 출력하는 에지검출부(10)와; 상기 물체의 윤곽선을 기준으로 그 주위 영역을 결정하여 출력하는 영역 결정부(20); 입력된 현재 영상 프레임을 딜레이시켜 이전 영상 프레임을 출력하는 프레임 메모리 (30) 및 ; 상기 영역 결정부(20)로부터 입력된 영역과 가장 일치하는 영역을 상기 프레임메모리 (30)로부터 입력된 이전 영상 프레임의 탐색 구간에서 탐색하여 가장 일치하는 영역을 추정하고 그 위치로부터 움직임 벡터를 추정하여 출력하는 움직임 벡터 추정부(40)를 포함하여 구성된다.3 is a schematic configuration diagram of an embodiment of a motion vector estimating apparatus using contours of an object according to the present invention. The motion vector estimating apparatus using contours of an object according to the present invention includes an object in a block of an input current image frame. An edge detector 10 for detecting and outputting an outline of the edge; An area determination unit 20 which determines and outputs an area around the object based on the contour of the object; A frame memory 30 for delaying an input current video frame and outputting a previous video frame; The region that most matches the region input from the region determiner 20 is searched in the search section of the previous image frame input from the frame memory 30 to estimate the region that most matches, and the motion vector is estimated from the position. And a motion vector estimator 40 for outputting.

그리고, 상기 영역결정부(20)는 상기 몰체의 윤곽선을 기준으로 그 주위 3×3 픽셀 값으로 영역을 결정하도록 된다.In addition, the area determiner 20 determines an area based on a 3 × 3 pixel value around the contour of the molten material.

상기와 같이 구성된 본 발명에 따른 물체의 윤곽선을 이용한 움직임 벡터 추정장치의 작용 및,효과를 제 4도를 참조하여 설명하면 다음과 같다.The operation and effects of the motion vector estimation apparatus using the contour of the object according to the present invention configured as described above will be described with reference to FIG.

제4도 (a)는 이전 영상 프레임의 블럭을 도시한 것이고, 제4도 (b)는 현재 영상 프레임의 블럭을 도시한 것이다.4 (a) shows a block of a previous image frame, and FIG. 4 (b) shows a block of a current image frame.

에지 검출부(10)는, 입력 된 현재 영상 프레임의 블럭에서 물체의 윤곽선을 검출하여 출력한다.The edge detector 10 detects and outputs an outline of an object in the input block of the current image frame.

즉, 입력된 현재 영상 프레임으로부터 제4도 (b)에 실선으로 도시된 물체의 윤곽선을 검출하여 출력하는 것이다.That is, the contour of the object shown by the solid line in FIG. 4 (b) is detected and output from the input current image frame.

그리고, 영역결정부(20)는, 상기 물체의 윤곽선을 기준으로 그 주위 영역을 결정하여 출력한다.The area determiner 20 determines the surrounding area based on the outline of the object and outputs the surrounding area.

즉, 제4도 (b)의 실선을 기준으로 그 주위에 형성된 영역을 결정하여 출력한다 .That is, based on the solid line in FIG. 4 (b), the area formed around it is determined and output.

이때, 상기 실선(물체의 윤곽선)을 기준으로 그 주위 3×3 픽셀 값으로 영역을 결정한다.At this time, an area is determined based on the 3 × 3 pixel value around the solid line (the outline of the object).

한편, 프레임 메모리 (30)는 입력 된 현재 영상 프레임을 딜레이시켜 이전 영상 프레임을 출력 한다.Meanwhile, the frame memory 30 outputs a previous image frame by delaying the input current image frame.

그리고, 움직임 벡터 추정부(40)는, 상기 영역 결정부(20)로부터 입력된 영역과 가장 일치하는 영역을 상기 프레임메모리 (30)로부터 입력된 이전 영상 프레임의 탐색 구간에서 탐색하여 가장 일치하는 영역을 추정하고 그 위치로부터 움직임 벡터를 추정하여 출력하는 것이다.In addition, the motion vector estimator 40 searches for a region that most matches the region input from the region determiner 20 in the search section of the previous image frame input from the frame memory 30, and then matches the region most closely. We estimate and output the motion vector from the position.

따라서, 종래와 같이 블럭 전체를 대상으로하여 이전 영상 프레임의 탐색 구간에서 탐색하여 가장 일치하는 영역을 추정하는 것에 비해, 상기 영역 결정부(20)에서 물체의 윤곽선을 기준으로 결정된 영역을 이전 영상 프레임의 탐색 구간에서 탐색하여 가장 일치하는 영역을 추정하는 것이 상대적으로 계산량이 많이 감소하게 되는 것이다.Accordingly, the area determining unit 20 determines the area of the previous image frame based on the contour of the object, compared with the conventional block to estimate the most matched area by searching in the search section of the previous image frame. Estimation of the best matching region by searching in the search interval of is relatively reduced in the amount of computation.

이에 따라, 빠르게 움직임 벡터를 추정할 수 있고, 또한 소프트웨어적으로 구현하기 용이할 뿐만 아니라 하드웨어 적으로 구현시 적은 양의 움직임 추정 전용 칩을 사용하여 구현할 수 있는 것이다.Accordingly, the motion vector can be estimated quickly and can be easily implemented in software, and can be implemented using a small amount of dedicated motion estimation chip in hardware.

한편, 제5도는 본 발명에 따른 물체의 윤곽선을 이용한 움직임 벡터 추정 장치의 2실시예의 개략적인 구성도로서, 입력된 현재 영상 프레임의 블럭에서 물체의 윤곽선을 검출하여 출력하는 에지 검출부(10)와; 상기 물체의 윤곽선을 기준으로 그 주위 영역을 결정하여 출력하는 영역 결정부(20): 상기 영역결정부(20)로부터 입력된 영역을 서브 샘플링하여 출력하는 제 1 필터부(25); 입력된 현재 영상 프레임을 딜레이 시 켜 이전 영상 프레임을 출력하는 프레임 메모리 (30); 상기 이전 영상 프레임을 서브 샘플링하여 출력하는 제 2 필터 부(35) 및, 상기 제 1 필터 부(25)로부터 입력 된 영역 과 가장 일치하는 영역을 상기 제 2 필터부(35)를 통해 출력 된 이전 영상 프레임의 탐색 구간에서 탐색하여 가장 일치하는 영역을 추정 하고 그 위치로부터 움직임 벡터를 추정하여 출력하는 움직임 벡터 추정부(40)를 포함하여 구성된다.5 is a schematic structural diagram of a second embodiment of a motion vector estimating apparatus using contours of an object according to the present invention. The edge detector 10 detects and outputs contours of an object from a block of an input current image frame. ; An area determiner 20 for determining and outputting an area around the object based on the contour of the object: a first filter unit 25 for subsampling and outputting an area input from the area determiner 20; A frame memory 30 for delaying the input current video frame and outputting a previous video frame; The second filter unit 35 for subsampling and outputting the previous image frame and the region that most matches the region input from the first filter unit 25 are output through the second filter unit 35. And a motion vector estimator 40 for estimating the most matched region by searching in the search section of the image frame and estimating and outputting a motion vector from the position.

상기와 같은 본 발명에 따른 2실시예는, 상기 영역결정부(20)로부터 입력 된 영역을 서브 샘플링하여 출력하는 제 1 필터부(25)와, 상기 프레임 메모리 (30)에서 출력된 이전 영상 프레임을 서브 샘플링하여 출력하는 제 2필터부(35)를 본 발명에 따른 1실시예에 추가한 것이다.According to the second embodiment of the present invention as described above, a first filter unit 25 for subsampling and outputting an area input from the area determiner 20 and a previous image frame output from the frame memory 30 are provided. The second filter unit 35 for subsampling and outputting is added to one embodiment according to the present invention.

따라서, 본 발명의 1실시예에서와 같이, 상기 영역 결정부(20)에서 물체의 윤곽선을 기준으로 결정된 영역을 상기 프레임메모리(30)에서 출력된 이전 영상 프레임의 탐색 구간에서 탐색하여 가장 일치하는 영역을 추정하는 것에 비해, 상기 제 1 필터부(25)에서 출력된 영역을 상기 제 2필터부(35)에서 출력된 이전 영상 프레임의 탐색 구간에서 탐색하여 가장 일치하는 영역을 추정하는 것이 상대 적으로 계산량이 많이 감소되는 것이다.Accordingly, as in the first embodiment of the present invention, the area determined by the area determiner 20 based on the outline of the object is searched for in the search section of the previous image frame output from the frame memory 30 to most match. Compared to estimating an area, it is relatively preferable to search the area output from the first filter unit 25 in the search section of the previous image frame output from the second filter unit 35 and estimate the most matching area. This will reduce the amount of computation.

상기에 있어서, 서브 샘플링 비율은 2 : 1 또는 4:1 로 할 수 있다.In the above, the subsampling ratio can be 2: 1 or 4: 1.

이상에서 살펴본 바와 같이 본 발명에 따르면, 물체의 윤곽선을 중심으로 움직임 벡터를 추정함으로써 움직임 벡터를 추정하기 위한 연산량을 줄여 소프트웨어적으로 구현할 수 있을 뿐만 아니라 적은 양의 움직임 추정 전용 칩을 사용하여 하드웨어적으로 구현할 수 있는 것이다.As described above, according to the present invention, by estimating the motion vector around the contour of the object, the computational amount for estimating the motion vector can be reduced and implemented in software. Can be implemented.

Claims (2)

입력된 현재 영상 프레임의 블록에서 물체의 윤곽선을 검출하여 출력하는 에지검출부(10)와; 상기 물체의 윤곽선을 기준으로 그 주위 영역을 결정하여 출력하는 영역 결정부(20); 입력된 현재 영상 프레임을 딜레이시켜 이전 영상 프레임을 출력하는 프레임 메모리 (30) 및; 상기 영역 결정부(20)로 부터 입력된 영역과 가장 일치하는 영역을 상기 프레임 메모리 (30)로 부터 입력된 이전 영상 프레임의 탐색구간에서 탐색하여 가장 일치하는 영역을 추정하고 그 위치로 부터 움직임 벡터를 추정하여 출력하는 움직임 벡터 추정부(40)를 포함하여 구성된 물체의 윤곽선을 이용한 움직임 벡터 추정 장치에 있어서, 상기 영역 결정부(20)는 상기 물체의 윤곽선을 기준으로 그 주위 3x3픽셀 값으로 영역을 결정하도록 된 것을 특징으로하는 물체의 윤곽선을 이용한 움직임 벡터 추정 장치.An edge detector 10 which detects and outputs an outline of an object in a block of an input current image frame; An area determination unit 20 which determines and outputs an area around the object based on the contour of the object; A frame memory 30 for delaying an input current image frame and outputting a previous image frame; The region that most matches the region input from the region determiner 20 is searched in the search section of the previous image frame input from the frame memory 30 to estimate the region that most matches, and the motion vector from the position In the motion vector estimating apparatus using the contour of the object configured to include a motion vector estimating unit (40) for estimating and outputting the area, the area determining unit (20) is a region of 3x3 pixels around the object contour based on the contour of the object. Motion vector estimation device using the contour of the object characterized in that it is configured to determine. 제1항에 있어서, 상기 영역 결정부(20)로 부터 입력된 영역을 서브 샘플링하여 출력하는 제 1 필터부(25)와, 상기 프레임 메모리(30)에서 출력된 이전 영상 프레임을 서브 샘플링하여 출력하는 제2 필터부(35)를 추가된 것을 특징으로하는 물체의 윤곽선을 이용한 움직임 벡터 추정 장치 .The display apparatus of claim 1, wherein the first filter unit 25 subsamples the region input from the region determiner 20 and outputs the sub-sampled previous image frame output from the frame memory 30. Motion vector estimation apparatus using the contour of the object, characterized in that the addition of a second filter (35).
KR1019950028345A 1995-08-31 1995-08-31 Moving vector estimator using contour of object KR100208984B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950028345A KR100208984B1 (en) 1995-08-31 1995-08-31 Moving vector estimator using contour of object

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950028345A KR100208984B1 (en) 1995-08-31 1995-08-31 Moving vector estimator using contour of object

Publications (2)

Publication Number Publication Date
KR970014398A KR970014398A (en) 1997-03-29
KR100208984B1 true KR100208984B1 (en) 1999-07-15

Family

ID=19425703

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950028345A KR100208984B1 (en) 1995-08-31 1995-08-31 Moving vector estimator using contour of object

Country Status (1)

Country Link
KR (1) KR100208984B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100581897B1 (en) * 2003-11-29 2006-05-23 삼성에스디아이 주식회사 Image processing apparatus for display panel
US9972094B2 (en) 2015-09-14 2018-05-15 Hanwha Techwin Co., Ltd. Foreground extracting method and apparatus

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101295421B1 (en) * 2012-06-12 2013-08-09 최진선 Self-assembly fire pot for multipurpose

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100581897B1 (en) * 2003-11-29 2006-05-23 삼성에스디아이 주식회사 Image processing apparatus for display panel
US9972094B2 (en) 2015-09-14 2018-05-15 Hanwha Techwin Co., Ltd. Foreground extracting method and apparatus

Also Published As

Publication number Publication date
KR970014398A (en) 1997-03-29

Similar Documents

Publication Publication Date Title
US7362808B2 (en) Device for and method of estimating motion in video encoder
US6618439B1 (en) Fast motion-compensated video frame interpolator
KR100530223B1 (en) Frame interpolation method and apparatus at frame rate conversion
KR100287211B1 (en) Bidirectional motion estimation method and system
US6690729B2 (en) Motion vector search apparatus and method
US6011870A (en) Multiple stage and low-complexity motion estimation for interframe video coding
US8406303B2 (en) Motion estimation using prediction guided decimated search
US7720148B2 (en) Efficient multi-frame motion estimation for video compression
US5781249A (en) Full or partial search block matching dependent on candidate vector prediction distortion
US6859494B2 (en) Methods and apparatus for sub-pixel motion estimation
KR20040035777A (en) Motion estimation and/or compensation
KR100657261B1 (en) Method and apparatus for interpolating with adaptive motion compensation
KR20110039516A (en) Speculative start point selection for motion estimation iterative search
US20070092007A1 (en) Methods and systems for video data processing employing frame/field region predictions in motion estimation
KR20110036886A (en) Simple next search position selection for motion estimation iterative search
Kappagantula et al. Motion compensated predictive coding
KR19980036073A (en) Motion vector detection method and apparatus
KR100208984B1 (en) Moving vector estimator using contour of object
KR0185841B1 (en) A motion extimator for a video coder
Huang et al. An adaptively refined block matching algorithm for motion compensated video coding
KR0185842B1 (en) A motion estimator for a video coder
KR0180161B1 (en) Apparatus and method for processing a motion vector
Tu et al. Projection-based block-matching motion estimation
KR100240620B1 (en) Method and apparatus to form symmetric search windows for bidirectional half pel motion estimation
JPH1032822A (en) Motion vector detector

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120413

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20130401

Year of fee payment: 15

LAPS Lapse due to unpaid annual fee