KR100764797B1

KR100764797B1 - Method for estimating fast motion and disparity

Info

Publication number: KR100764797B1
Application number: KR1020060003314A
Authority: KR
Inventors: 손광훈; 김용태; 서정동; 박창섭; 이준용
Original assignee: 연세대학교 산학협력단; 한국방송공사
Priority date: 2006-01-11
Filing date: 2006-01-11
Publication date: 2007-10-08
Also published as: KR20070075043A

Abstract

본 발명은 고속 움직임 및 변이 추정 방법에 관한 것으로, 필터링을 통해 예측한 제1벡터와 카메라 배열을 이용하여 예측한 제2벡터의 차이값을 결정하여, 상기 차이값에 따라 탐색 범위를 결정할 수 있다. 본 발명에 따르면, 검색 범위를 제한하여 고속 추정을 수행하도록 한다.The present invention relates to a fast motion and disparity estimation method, and determines a difference value between a first vector predicted through filtering and a second vector predicted using a camera array, and determines a search range according to the difference value. . According to the present invention, the search range is limited to perform fast estimation.

고속, 움직임, 변위, 벡터, 추정, 카메라 High speed, motion, displacement, vector, estimation, camera

Description

Method for estimating fast motion and disparity

도 1a는 본 발명이 적용되는 다시점 프로파일을 이용한 스테레오 영상 부호화/복호화 시스템의 구조도,1A is a structural diagram of a stereo image encoding / decoding system using a multiview profile to which the present invention is applied;

도 1b는 본 발명에 사용된 다시점 부호화기 GGOP의 구조의 일예,1B is an example of a structure of a multi-view encoder GGOP used in the present invention,

도 2는 카메라 배열을 이용한 변이 벡터를 예측하는 것을 설명하기 위한 예시도,2 is an exemplary diagram for explaining predicting a disparity vector using a camera array.

도 3은 본 발명에 따른 움직임 및 변이 동시 추정 방법을 설명하기 위한 일실시예 개략도,3 is a schematic diagram of an embodiment for explaining a method for simultaneously estimating motion and disparity according to the present invention;

도 4는 본 발명에서

의 결정 방법을 설명하기 위한 일예시도,4 is in the present invention

One example for explaining how to determine,

도 5는 본 발명에 따라

와

사이의 관계를 나타낸 일예시도,5 is in accordance with the present invention

Wow

One example showing the relationship between,

도 6a는 본 발명에 따른

의 조건을 나타낸 일예시도, 6a is in accordance with the present invention

An illustration showing the conditions of

도 6b는 본 발명에 따른 임계값 설정을 설명하기 위한 일실시예 그래프,Figure 6b is an embodiment graph for explaining a threshold setting according to the present invention,

도 7은 본 발명에 의해 두 참조 프레임 사이의 변이 벡터를 이용해 현재 프레임의 변이가 예측되는 것을 설명하기 위한 일예시도,7 is an exemplary view for explaining that the variation of the current frame is predicted by using the variation vector between two reference frames according to the present invention;

도 8은 본 발명에 따른 블록 위치 매칭을 위한 참조 선택 기준을 설명하기 위한 일예시도,8 is an exemplary view for explaining reference selection criteria for block position matching according to the present invention;

도 9a 및 도 9b는 본 발명에 따라 움직임 예측을 위한 블록 위치 매칭 과정을 설명하기 위한 일예시도.9A and 9B are exemplary views illustrating a block position matching process for motion prediction according to the present invention.

본 발명은 고속 움직임 및 변이 추정 방법에 관한 것으로서, 보다 상세하게는 다시점 동영상 부호화기에 사용하기 위한 고속 움직임 및 변이 추정 방법에 관한 것이다.The present invention relates to a fast motion and disparity estimation method, and more particularly, to a fast motion and disparity estimation method for use in a multiview video encoder.

일반적인 2차원 동영상 부호화기에서 벡터를 추정하기 위해서는 예측 벡터 주변으로 일정한 크기의 검색 범위를 탐색하는 전방향 탐색 알고리즘을 수행하게 된다.In order to estimate a vector in a typical 2D video encoder, an omnidirectional search algorithm searching for a constant search range around a prediction vector is performed.

그러나, 이러한 과정을 다시점 동영상 부호화기에 적용할 경우에는 그 계산이 매우 복잡해지는 문제점이 있다.However, when this process is applied to a multi-view video encoder, the calculation becomes very complicated.

이러한 종래 기술의 문제를 해결하기 위해서 효율적인 변이 벡터와 움직임 벡터의 예측을 수행하는 방법이 다수 개발되어 있다.In order to solve such a problem of the prior art, a number of methods for performing prediction of efficient disparity vectors and motion vectors have been developed.

이에 따라 정확한 벡터를 예측한 경우 작은 검색 범위를 가지고도 정확한 벡터를 예측할 수 있기 때문에 빠른 추정을 수행할 수 있다. 하지만 예측 벡터의 신 뢰도는 각 블록마다 달라지기 때문에 이 작은 검색 범위만을 적용할 경우 잘못된 벡터들을 추정하게 되는 경우가 발생하는 문제점이 있다.As a result, when an accurate vector is predicted, an accurate vector can be predicted even with a small search range, thereby enabling fast estimation. However, since the reliability of the prediction vector is different for each block, there is a problem that incorrect vectors are estimated when only this small search range is applied.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 신뢰도에 따라서 검색 범위를 제어함으로써, 안정적이면서도 간단하게 추정을 수행하기 위한, 고속 움직임 및 변이 추정 방법을 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above problems, and an object thereof is to provide a fast motion and disparity estimation method for stable and simple estimation by controlling a search range according to reliability.

상기한 바와 같은 목적을 달성하기 위해, 본 발명의 바람직한 실시예에 따르면, 필터링을 통해 예측한 제1벡터와 카메라 배열을 이용하여 예측한 제2벡터의 차이값을 결정하는 단계(a); 및 상기 차이값에 따라 탐색 범위를 결정하는 단계(b)를 포함하는 고속 추정 방법이 제공된다.In order to achieve the above object, according to a preferred embodiment of the present invention, the method comprises: determining a difference value between the first vector predicted through filtering and the second vector predicted using the camera array; And (b) determining a search range according to the difference value.

이때, 상기 제1벡터는, 메디안 필터링을 수행하여 결정하고, 상기 제2벡터는, 변이 예측의 경우

(단,

는 두 참조 시점간의 거리에 대한 참조 시점과 현재 시점간의 거리의 비율이고,

은 두 참조 시점간의 거리임)에 의해 결정하거나, 움직임 예측의 경우

(단,

와

는 시간 t와 t+1에서의 변이 벡터이고,

는 왼쪽 시점 영상간의 움직임 벡터임)에 의해 결정하는 것이 바람직하다.In this case, the first vector is determined by performing median filtering, and the second vector is used for disparity prediction.

(only,

Is the ratio of the distance between the reference time point and the current time point to the distance between two reference time points,

Is the distance between the two reference viewpoints)

(only,

Wow

Is the disparity vector at times t and t + 1,

Is a motion vector between left view images.

또한, 상기 차이값은,

(단,

은 제1벡터이며,

는 제2벡터임)에 의해 결정한다.In addition, the difference value,

(only,

Is the first vector,

Is the second vector).

상기 단계(b)는, 탐색 범위 변수를 결정하는 단계(c); 및 상기 탐색 범위 변수에 따라 새로운 탐색 범위를 결정하는 단계(d)를 포함하여 구성되는 것이 바람직하며, 상기 단계(c)는, 상기 차이값이 소정의 임계값1보다 작은 경우에는, 상기 탐색 범위 변수에 1보다 큰 일정한 값을 할당하는 단계(e); 상기 차이값이 상기 임계값1보다 크고, 소정의 임계값2보다 작은 경우에는, 상기 탐색 범위 변수에 상기 차이값에 반비례하는 1보다 큰 값을 할당하는 단계(f); 및 상기 차이값이 상기 임계값2보다 큰 경우에는, 상기 탐색 범위 변수에 실질적으로 1을 할당하는 단계(g)를 포함하는 것이 바람직하다. 이때, 상기 임계값1 및 상기 임계값2는,

(단,

는 상기 제2벡터가 안정적으로 새로운 탐색 범위 내에 있도록 하기 위해 곱해진 1보다 큰 수임)와 같은 조건에 의해 설정되고, 상기 상기 새로운 탐색 범위는,

(단,

는 새로운 탐색 범위,

은 원래 탐색 범위,

은 상기 탐색 범위 변수임)에 의해 결정된다.Step (b) comprises: determining (c) a search range variable; And determining (d) a new search range according to the search range variable, wherein step (c) includes the search range when the difference value is smaller than a predetermined threshold value 1. Assigning a constant value greater than one to the variable (e); (F) assigning a value greater than 1 to the search range variable in inverse proportion to the difference value if the difference value is greater than the threshold value 1 and less than a predetermined threshold value 2; And if the difference is greater than the threshold 2, assigning substantially 1 to the search range variable. At this time, the threshold value 1 and the threshold value 2,

(only,

Is a number greater than 1 multiplied so that the second vector is stably within a new search range, and the new search range is

(only,

Is the new navigation range,

Is the original navigation range,

Is the search range variable).

상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 우선 각 도면의 구성요소들에 참조 번호를 부가함에 있어서, 동일한 구성요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능 한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. First, in adding reference numerals to the components of each drawing, it should be noted that the same components as possible, even if displayed on the other drawings have the same number as possible. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1a는 본 발명이 적용되는 다시점 프로파일을 이용한 스테레오 영상 부호화/복호화 시스템의 구조도이다. 1A is a structural diagram of a stereo image encoding / decoding system using a multiview profile to which the present invention is applied.

도면에 도시된 바와 같이, 기본계층(Base layer)은 움직임 보상 및 이산 여현 변환(DCT: Discrete Cosine Transform)을 이용하여 부호화하고 역과정을 통하여 복호화하며, 확장 계층(Enhancement layer)은 기본 계층을 참조하여 변이 추정 부호화기를 이용하여 부호화하여 전송된다.As shown in the figure, the base layer is encoded using a motion compensation and Discrete Cosine Transform (DCT) and decoded through an inverse process, and the enhancement layer refers to the base layer. Is encoded using the disparity estimation encoder and transmitted.

즉, 두 개의 변이 예측 또는 각각 한 개의 변이 예측 및 움직임 보상 예측이 여기에 사용될 수 있으며, 기본계층(base layer)의 부호화 및 복호화기와 마찬가지로 확장 계층의 부호화는 보조의 시점 부호화기(Auxiliary view encoder)를 이용하여 변이 및 움직임 보상 DCT 부호화기 및 복호화기를 포함한다.That is, two variance predictions or one variance prediction and a motion compensation prediction may be used here, and the encoding of the enhancement layer, like the encoder and the decoder of the base layer, may use an auxiliary view encoder. It includes a variation and motion compensation DCT encoder and decoder.

또한, 움직임 예측/보상 부호화 과정에서 움직임 예측기와 보상기가 필요한 것처럼 변이 보상 부호화 과정은 변이 예측기와 보상기가 필요하며, 블록 기반의 움직임/변이 예측 및 보상에 덧붙여 부호화 과정에서는 예측된 결과 영상과 원영상과 차영상들의 DCT, DCT 계수의 양자화, 그리고 가변장 부호화 등이 포함된다. In addition, just as a motion predictor and a compensator are required in the motion prediction / compensation encoding process, the disparity compensation encoding process requires a disparity predictor and a compensator. DCT, quantization of DCT coefficients, and variable length coding of differential images.

반대로 복호화 과정은 가변장 복호화, 역양자화, 역DCT등의 과정을 거쳐 수행된다.On the contrary, the decoding process is performed through the process of variable length decoding, inverse quantization, inverse DCT, and the like.

본 발명은 블록 기반의 움직임/변이 예측에 적용되는 것이다.The present invention is applied to block-based motion / variation prediction.

보다 더 현실적이고 자연스러운 영상의 구현을 위해 3D 영상 시스템에 대한 연구가 활발히 진행 중이다. 3D 영상은 시청자에게 깊이 정보를 제공하여 입체감을 느끼게 하는데, 이러한 깊이 정보는 인간의 양안 시차만큼 떨어진 시점에서 획득된 두 개 이상의 영상을 통해 얻을 수 있다. 넓은 시각과 시점의 이동을 허용하는 다시점 영상은 일반 2D 영상에 비해 수배의 데이터 양을 요구하며 이를 처리하기 위해서 효과적인 압축 알고리듬을 필요로 한다. 다시점 부호화기는 같은 시간에 획득된 다시점 영상 사이의 상관성을 이용하여 부호화를 수행한다. In order to realize more realistic and natural images, studies on 3D imaging systems are being actively conducted. The 3D image provides depth information to a viewer to make a 3D sense, and the depth information may be obtained through two or more images acquired at a time point separated by binocular parallax. Multi-view images that allow a wide range of vision and viewpoint movements require several times the amount of data compared to normal 2D images and require an effective compression algorithm to process them. The multi-view encoder performs encoding by using the correlation between the multi-view images obtained at the same time.

도 1b는 본 발명에 사용된 다시점 부호화기 GGOP(Group of GOP)의 구조의 일예로서, 평행식 8시점의 다시점 동영상의 경우를 예를 든 것이다. 각 사각형은 하나의 프레임을 나타내고, 가로축은 시점, 세로축은 시간을 나타낸다. 부호화 과정에서 가장 먼저 참조 프레임 없이 압축되는 프레임을 I-프레임, 이 I 프레임을 참조로 하여 한 방향으로 추정이 수행되는 프레임을 P-프레임, 그리고 이 I 또는 P 프레임 여러 개를 사용하여 양 방향 추정이 수행되는 프레임을 B-프레임이라 하자.　　1B illustrates an example of a structure of a multiview encoder GGOP (Group of GOP) used in the present invention and illustrates a case of a multiview video having a parallel 8 view. Each rectangle represents one frame, the horizontal axis represents a viewpoint, and the vertical axis represents time. In the encoding process, I-frames are first compressed without a reference frame, I-frames are estimated using one I-frame, and a frame is estimated in both directions using a P-frame and two I or P frames. Let this frame be performed B-frame.

종래에는,　대응되는 블록이나 픽셀, 또는 물체를 찾기 위하여, 가장 일반적으 로 탐색 범위 내의 모든 픽셀에 대해 탐색을 수행(전방향 탐색 알고리즘)하였다. 그러나, 이 방식은 엄청난 계산량이 요구된다. 즉, 전방향 탐색 방법을 사용하면 비용 함수를 최소화 하는 가장 정확한 벡터를 찾을 수 있어 좋은 화질을 유지할 수 있지만, 이를 위한 과정이 전체 부호화 과정에서 많은 부분을 차지하기 때문에 비용 감소를 위해서 고속 알고리듬을 필요로 한다. In the past, a search was performed on all pixels within the search range most generally (a forward search algorithm) to find a corresponding block, pixel, or object. However, this method requires a great amount of computation. In other words, the omnidirectional search method can find the most accurate vector that minimizes the cost function and maintain good image quality, but the fast algorithm is required to reduce the cost because the process takes up a large part of the entire encoding process. Shall be.

벡터 추정을 수행하기 전에 인과적인 블록들의 추정된 벡터를 중간값 필터링 하여 현재 블록의 벡터를 예측한다. 이 예측 벡터를 기준으로 일정한 크기의 탐색 범위를 할당하는데 이 벡터의 신뢰성이 크다면 큰 탐색 범위를 사용할 필요가 없다. 따라서 본 발명에서는 예측된 벡터의 신뢰성에 따라 탐색 범위를 제어하는 방법을 제안하고자 한다.Before performing the vector estimation, the vector of the current block is predicted by the median filtering of the estimated vector of the causal blocks. It is not necessary to use a large search range if the reliability of this vector is high. Therefore, the present invention proposes a method of controlling the search range according to the reliability of the predicted vector.

예측 벡터의 신뢰성을 조사하기 위해서 본 발명에서는 두 가지 예측 방법을 사용한다. 첫 번째 방법은 인과적인 블록들로부터 중간값 필터링을 수행하여 구하고 두 번째 방법은 움직임과 변이 벡터의 성질을 이용하여 또 다른 예측 벡터

를 계산한다. 중간값 필터링을 이용해 구한 예측 벡터

과

의 차이를 구하는데 이 차이가 작다면 먼저 구한 예측 벡터

의 신뢰성이 높다고 판단할 수 있고, 따라서 탐색 범위를 줄일 수 있다. 그리고 이 차이가 크다면

의 예측이 잘못되었을 수 있고, 이 블록에 대해서는 원래 크기의 탐색 범위를 사용해야 한다.In order to investigate the reliability of the prediction vector, the present invention uses two prediction methods. The first method is obtained by performing median filtering from causal blocks, and the second method is another prediction vector using the properties of motion and disparity vectors.

Calculate Predictive Vectors Based on Median Filtering

and

If the difference is small, the first predictive vector

Can be judged to have high reliability, and thus the search range can be reduced. And if this difference is big

The prediction of may be wrong, and the search range of the original size should be used for this block.

이러한 방법을 사용하기 위해서는 또 다른 예측 벡터

를 구하기 위한 논리적인 예측 방법이 필요하다. 변이 벡터는 카메라 배열과 변이가 밀접한 관계가 있다는 사실을 이용하여 예측할 수 있다. 이를 도 2를 참조로 설명하기로 하자.In order to use this method another predictive vector

We need a logical prediction method to find. Disparity vectors can be predicted using the fact that mutations are closely related to camera arrangement. This will be described with reference to FIG. 2.

도 2는 카메라 배열을 이용한 변이 벡터를 예측하는 것을 설명하기 위한 예시도로서, Image1, 2, 3은 같은 시간에 획득된 다른 시점의 세 프레임을 나타낸다. Image1과 Image2 사이의 간격을

, Image1과 Image3 사이의 간격을

라 하고, 다 음의 수학식과 같은 관계를 가지는 값

를 정의하는데, 이는 두 참조 시점간의 거리에 대한 한 참조 시점과 현재 시점간의 거리의 비율과 같다.FIG. 2 is an exemplary diagram for explaining a prediction of a disparity vector using a camera arrangement, and Image1, 2, and 3 show three frames of different views obtained at the same time. The gap between Image1 and Image2

, The gap between Image1 and Image3

Is a value that has the same relationship as

This is defined as the ratio of the distance between one reference view and the current view to the distance between two reference views.

Image2를 부호화하기 전에 Image1과 Image3 사이의 변이 벡터

을 가지고 있다면, Image1과 Image2 사이의 예측 변이 벡터

는 다음과 같이 구할 수 있다. Disparity vector between Image1 and Image3 before encoding Image2

If you have

Can be obtained as

보다 정확한

를 구하기 위해서는

도 더욱 정확하게 계산되어야 한다. More accurate

To save

Should also be calculated more accurately.

도 3은 본 발명에 따른 움직임 및 변이 동시 추정 방법을 설명하기 위한 일실시예 개략도이다.3 is a schematic diagram of an embodiment for explaining a method for simultaneously estimating motion and disparity according to the present invention.

도면에 도시된 바와 같이, 본 발명은 움직임 벡터를 예측하기 위해서 두 개의 다른 시점을 가진 영상들 사이에서 변이 벡터와 움직임 벡터 사이의 관계를 이용할 수 있다. 이러한 방법은 동시 추정 기법이라 한다. As shown in the figure, the present invention may use the relationship between the disparity vector and the motion vector between images having two different viewpoints in order to predict the motion vector. This method is called a simultaneous estimation technique.

도 3의 왼쪽 시점에 있는 영상들은 오른쪽 시점의 영상을 추정하기 위해 참조된다. 우리가 시간 t와 t+1에서의 변이 벡터

와

, 그리고 왼쪽 시점 영상간의 움직임 벡터

를 미리 알고 있다고 가정하면

는 다음과 같이 예측할 수 있 다. The images at the left view of FIG. 3 are referenced to estimate the image at the right view. Variation vector at time t and t + 1

Wow

, Motion vector between left view image

Assuming you know in advance

Can be predicted as follows.

만약 변이 추정 이전에 움직임 추정이 수행될 경우 우리가

를 예측하고자 할 때에 현재 시간의 변이 벡터

는 존재하지 않을 수도 있다. 이 경우 시간상에서의 주변 프레임들 간의 상관성을 이용해

는

와 같은 값을 갖는다고 가정한다. 이 가정 하에서 위의 식은 간단히

가 되지만 각 블록의 위치가 정확히 해당 블록의 위치에 매칭이 되지 않으므로 블록 위치 매칭 알고리듬이 필요하다. 이러한 방법으로 예측된 움직임 또는 변이 벡터

와 메디안 필터링을 통해 예측된 벡터

사이의 차는

의 신뢰성을 의미한다. 따라서 이 차이

는

로 정의되며 새로운 탐색 범위를 결정하는데 사용된다.

에 따라 각 블록에 탐색 범위 변수

의 값이 할당되고, 새로운 탐색 범위는 다음과 같이 계산된다. If motion estimation is performed before disparity estimation, we

Vector of current time when we want to predict

May not exist. In this case, we can use the correlation between neighboring frames

Is

Suppose it has the same value as Under this assumption, the above equation is simply

However, since the position of each block does not exactly match the position of the corresponding block, a block position matching algorithm is required. Motion or disparity vectors predicted in this way

Vectors Predicted with Median Median Filtering

The difference between

Means reliability. So this difference

Is

It is defined as, and used to determine the new search range.

Search scope variable in each block according to

Is assigned, and the new search range is calculated as follows.

여기서

는 새로운 탐색 범위를,

은 원래 탐색 범위를 나타낸다. 따라서

의 값이 커질수록 새로운 탐색 범위는 작아지므로, 신뢰성이 높은 블록에 큰 값이 할당되어야 한다. 이렇게 각 블록에서

를 결정하기 위한 방법이 도 4에 나타내 있다.here

New search range,

Indicates the original search range. therefore

As the value of becomes larger, the new search range becomes smaller. Therefore, a larger value should be assigned to a highly reliable block. In each block

A method for determining is shown in FIG. 4.

도 4는 본 발명에서

의 결정 방법을 설명하기 위한 일예시도이다.4 is in the present invention

One example for explaining the method of determination of.

각 블록은

의 값에 따라 1 내지 미리 설정된 최대값 중 세 개의 다른 섹션에 할당되고, 이를 위해 두 개의 임계값이 필요하다. 이 중 작은 값을

, 큰 값을

라 한다.

가

보다 작을 경우(S401), 예측 벡터

이 신뢰성이 높다고 보고 1보다 큰 밀 설정된 최대값을

에 할당한다(S403). 그리고 이를 ‘sect1’으로 정의한다.

가 두 임계값의 사이 값을 가진다면(S405), 이

에 반비례하는 1보다 크며 상기 최대값보다 작은 값이

에 할당되고(S407) 이를 ‘sect2’로 정의한다. 마지막으로

가

보다 크다면(S405), 이는 이 잘못된 값을 가질 수 있다는 것을 의미하므로

에 1이 할당되어 탐색 범위는 변하지 않는다(S409). 이를 ‘sect3’으로 정의한다. 따라서 많은 블록이 sect1에 할당될수록 추정에 걸리는 시간이 많이 줄어들 것이고, 많은 블록이 sect3에 할당될수록 수행 시간에 변화가 없어질 것이다. 도 5는 본 발명에 따라

와

사이의 관계를 나타낸 일예시도이다.Each block

It is assigned to three different sections from 1 to a preset maximum, depending on the value of, and two thresholds are required for this. The smaller of these

, Large value

It is called.

end

Less than (S401), the prediction vector

It is reported that this reliability is high.

(S403). It is defined as 'sect1'.

If has a value between the two thresholds (S405),

Greater than 1 inversely proportional to and less than the maximum

(S407) and define it as 'sect2'. Finally

end

If greater than (S405), this means that it can have this wrong value

Is assigned to 1 and the search range does not change (S409). This is defined as 'sect3'. Therefore, the more time a block is allocated to sect1, the less time it takes to estimate, and the more time that many blocks are allocated to sect3, the longer the execution time will be. 5 is in accordance with the present invention

Wow

It is an example showing the relationship between.

이러한 과정에서 임계값은 전체 고속 알고리듬의 성능을 좌우하는 중요한 요소가 된다. 이를 논리적으로 정하기 위해

와

사이에 유지되어야 하는 조건을 이용한다. 도 6a는 본 발명에 따른

의 조건을 나타낸 일예시도이고, 도 6b는 본 발명에 따른 임계값 설정을 설명하기 위한 일실시예 그래프이다. 도 6a를 참조로 하면,

는

보다 작아야 하므로 다음의 수학식과 같은 조건이 필요하다. In this process, the threshold value is an important factor that determines the performance of the overall fast algorithm. To make this logical

Wow

Use conditions that must be maintained in between. 6a is in accordance with the present invention

Figure 6b is an exemplary view showing the condition of, Figure 6b is an embodiment graph for explaining the threshold setting according to the present invention. Referring to FIG. 6A,

Is

Since it must be smaller, the following condition is required.

여기서

는 예측 벡터

가 안정적으로 새로운 탐색 범위 내에 있도록 하기 위해 곱해진 1보다 큰 수이다.

가 클수록 안정성은 높아지지만

이 작게 지정되므로 속도 면에서 성능 향상이 덜해지고

가 작아지면

은 커질 수 있지만 안정성이 떨어지므로 이는 실험적으로 결정될 수 있다. here

Forecast vector

Is a number greater than 1 multiplied to ensure that it is stably within the new search range.

The larger the value, the higher the stability.

Is small, so there is less performance gain in speed

Becomes smaller

Can be large but is less stable and can be determined experimentally.

수학식 5와 이에 따른 각 섹션의 할당이 도 6b에 나타난 바와 같다. 초기값은 실험적으로 4로 두고 sect2에서의 기울기는 반비례 곡선에 접하도록 하여 안정적이면서도 많은 블록이 sect1과 sect2에 할당될 수 있도록 할 수 있다.Equation 5 and the allocation of each section accordingly are shown in FIG. 6B. The initial value is experimentally set to 4, and the slope at sect2 is tangent to the inverse curve so that many blocks can be allocated to sect1 and sect2.

예측된 벡터의 신뢰성을 판단하기 위해 또 다른 벡터를 새로운 방법으로 예측할 때 다른 프레임의 벡터도 참조로 사용된다. 이때 정확한 참조 블록을 선택하기 위해서는 같은 위치에 있는 블록이 아니라 같은 내용을 가진 대응되는 블록을 사용해야 한다. 이를 찾기 위한 알고리듬을 블록 위치 매칭 알고리듬이라 하고, 이 는 변이와 움직임 추정에 각각 적용된다. When predicting another vector in a new way to determine the reliability of the predicted vector, the vector of another frame is also used as a reference. In this case, in order to select the correct reference block, the corresponding block having the same contents should be used instead of the block in the same position. The algorithm for finding this is called the block position matching algorithm, which is applied to the variance and motion estimation respectively.

본 발명에서는, B-프레임의 변이 벡터를 예측하기 위해서 I 또는 P-프레임의 변이 벡터를 참조한다. 이 때, 보다 정확한 벡터를 참조하기 위해서는 B-프레임을 부호화하기 전에 두 참조 프레임과 현재 B-프레임의 블록들의 대응하는 위치를 찾을 수 있는 블록 위치 맵이 만들어져야 한다. 도 7은 본 발명에 의해 두 참조 프레임 사이의 변이 벡터를 이용해 현재 프레임의 변이가 예측되는 것을 설명하기 위한 일예시도이며, 도 8은 본 발명에 따른 블록 위치 매칭을 위한 참조 선택 기준을 설명하기 위한 일예시도이다.In the present invention, reference is made to the disparity vector of an I or P-frame to predict the disparity vector of a B-frame. At this time, in order to refer to a more accurate vector, a block position map for finding the corresponding positions of the blocks of the two reference frames and the current B-frame should be made before encoding the B-frame. FIG. 7 illustrates an example of predicting a variation of a current frame using a variation vector between two reference frames according to the present invention, and FIG. 8 illustrates reference selection criteria for block position matching according to the present invention. This is an example for.

도 8과 같이, 대응되는 블록의 위치를 계산할 때 찾아진 위치는 프레임의 매크로 블록 단위로 딱 맞아떨어지지 않기 때문에 한 참조 블록은 현재 프레임에서 여러 블록 위에 걸쳐지게 된다. 현재 프레임의 관점에서 볼 경우 한 개의 블록이 여러 개의 참조 블록을 가질 수도 있다. 도 8에서는 두 개의 다른 참조 블록이 현재 프레임의 블록 A 위에 걸쳐있고, 세 개의 다른 블록이 블록 B 위에 걸쳐 있다. 이 중 하나의 참조 블록만을 선택하기 위해서, 가장 큰 넓이를 현재 프레임의 블록과 공유하고 있는 블록을 선택하기로 했다. 따라서 블록 A와 B의 경우 진한 색의 참조 블록이 선택된다. 블록 C, D, E, F의 경우 오직 하나의 참조 블록이 이들 위에 걸쳐 있기 때문에, 네 블록 모두 이 참조 블록의 벡터를 사용하게 된다. 마지막으로 블록 G의 경우 참조 블록이 전혀 없기 때문에 블록 E와 참조 벡터를 공유하도록 한다.As shown in FIG. 8, since the position found when calculating the position of the corresponding block does not fit exactly in units of macro blocks of a frame, one reference block spans several blocks in the current frame. In view of the current frame, one block may have several reference blocks. In FIG. 8, two different reference blocks span block A of the current frame and three other blocks span block B. In FIG. In order to select only one of these reference blocks, a block sharing the largest area with the block of the current frame is selected. Therefore, in the case of blocks A and B, a dark reference block is selected. In the case of blocks C, D, E and F, since only one reference block spans them, all four blocks will use the vector of this reference block. Finally, in the case of block G, the reference vector is shared with block E since there is no reference block at all.

움직임 벡터 예측을 위한 블록 위치 매칭은 변이 벡터 예측의 경우와 기본적 으로 비슷하다.

의 값이

와 같다고 가정했기 때문에 구하고자 하는 움직임 벡터는 왼쪽 영상의 움직임 벡터를 그대로 사용하게 된다. 그러나 이 때 상대적으로 같은 위치에 있는 벡터를 사용하면 큰 오차가 생길 가능성이 높으므로 변이 벡터를 이용해 실제 대응되는 위치에 있는 벡터를 참조해야 한다. 이를 도면을 참조로 설명하기로 하자.Block position matching for motion vector prediction is basically similar to that for disparity vector prediction.

Has a value of

Since it is assumed to be equal to, the motion vector to be obtained uses the motion vector of the left image as it is. However, if you use the vector in the same position at this time is likely to cause a large error, it is necessary to refer to the vector at the actual corresponding position using the disparity vector. This will be described with reference to the drawings.

도 9a 및 도 9b는 본 발명에 따라 움직임 예측을 위한 블록 위치 매칭 과정을 설명하기 위한 일예시도이다.9A and 9B are exemplary diagrams for describing a block position matching process for motion prediction according to the present invention.

먼저, 도 9a에서

와

를 이용하여 t시간의 왼쪽 참조 프레임(왼쪽 위 프레임)에서의 대응되는 블록 위치를 찾는다. 이 과정을 통해 현재 프레임을 제외한 세 개의 참조 프레임들의 대응되는 블록이 연결된다. 이전 시간의 왼쪽 프레임의 블록들은 나머지 두 참조 프레임들에서의 대응되는 위치를 가지고 있게 된다.First, in FIG. 9A

Wow

Find the corresponding block position in the left reference frame (upper left frame) at time t. In this process, corresponding blocks of three reference frames except the current frame are connected. The blocks of the left frame of the previous time will have corresponding positions in the other two reference frames.

이후, 도 9b와 같이 이전 시간의 왼쪽 프레임이 가지고 있는 블록 위치 정보를 이용해, t+1 시간의 왼쪽 프레임에서 변이 벡터

의 부호를 반대로 하여 현재 프레임에서의 대응되는 블록을 찾을 수 있다. 이를 통해 네 개의 프레임의 대응되는 블록들이 모두 연결된다. Then, as shown in Figure 9b, using the position information of the left frame of the previous frame, the disparity vector in the left frame of the time t +

Reverse the sign of to find the corresponding block in the current frame. This connects all the corresponding blocks of four frames.

이러한 과정을 통해 현재 프레임의 블록과 대응되는 현재 시간의 왼쪽 참조 프레임의 블록 위치를 찾을 수 있다. 따라서 현재 블록의 움직임 예측 벡터

는 대응되는 블록의 움직임 벡터

와 같은 값을 가지게 된다. 이 과정에서도 역시 앞 에서 설명했던 참조 블록 선택 기준이 사용된다.Through this process, the block position of the left reference frame of the current time corresponding to the block of the current frame can be found. Therefore, the motion prediction vector of the current block

Is the motion vector of the corresponding block

It will have the same value as This process also uses the reference block selection criteria described earlier.

이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes can be made in the art without departing from the technical spirit of the present invention. It will be clear to those of ordinary knowledge.

상기한 바와 같은 본 발명은, 다시점 영상간의 상관성을 이용하여 현재 영상의 움직임 및 변이 벡터를 효율적으로 예측하고, 이 예측 벡터를 기준으로 검색 범위를 제한하여 고속 추정을 수행하도록 하는 효과가 있다.As described above, the present invention has an effect of efficiently predicting motion and disparity vectors of a current image by using correlation between multiview images, and performing fast estimation by limiting a search range based on the prediction vector.

Claims

Determining a difference value between the first vector predicted through the filtering and the second vector predicted using the camera array; And

And (b) determining a search range according to the difference value.

The fast estimation method of claim 1, wherein the first vector is determined by performing median filtering.

The fast estimation method according to claim 1, wherein the second vector is determined by the following equation in the case of disparity prediction.

(only,

Is the ratio of the distance between one reference time point and the current time point to the distance between two reference time points,

Is the distance between two reference viewpoints)

The fast estimation method according to claim 1, wherein the second vector is determined by the following equation in case of motion prediction.

(only,

Wow

Is the disparity vector at times t and t + 1,

Is the motion vector between the left view images)

The fast estimation method according to claim 1, wherein the difference value is determined by the following equation.

(only,

Is the first vector,

Is the second vector)

The method of claim 1, wherein step (b) comprises:

(C) determining a search range variable; And

And (d) determining a new search range according to the search range variable.

The method of claim 6,

The search range variable is assigned a value between 1 and a preset maximum value,

Step (c) is,

(E) assigning the maximum value to the search range variable when the difference value is smaller than a predetermined threshold value 1;

If the difference is greater than the threshold 1 and less than a predetermined threshold 2, assigning a value to the search range variable that is greater than 1 and less than the maximum value and inversely proportional to the difference value; And

And if the difference is greater than the threshold 2, assigning substantially 1 to the search range variable.

The fast estimation method according to claim 7, wherein the threshold value 1 and the threshold value 2 are set under the following conditions.

(only,

Is a number greater than 1 multiplied to ensure that the second vector is stably within the new search range.)

7. The fast estimation method according to claim 6, wherein the new search range is determined by the following equation.

(only,

Is the new navigation range,

Is the original navigation range,

Is the search range variable)