KR100706720B1 - A Spatial Error Concealment Technique Using Edge-Oriented Interpolation - Google Patents
A Spatial Error Concealment Technique Using Edge-Oriented Interpolation Download PDFInfo
- Publication number
- KR100706720B1 KR100706720B1 KR1020050086541A KR20050086541A KR100706720B1 KR 100706720 B1 KR100706720 B1 KR 100706720B1 KR 1020050086541 A KR1020050086541 A KR 1020050086541A KR 20050086541 A KR20050086541 A KR 20050086541A KR 100706720 B1 KR100706720 B1 KR 100706720B1
- Authority
- KR
- South Korea
- Prior art keywords
- spatial
- error
- error concealment
- directional interpolation
- boundary
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
본 발명은 낮은 복잡도를 가지면서 우수한 성능을 나타낼 수 있는 방향성 보간을 이용한 공간적 에러은닉 방법에 관한 것으로서, 방향성 보간을 이용한 공간적 에러은닉 방법에 있어서, 공간적 경계정합에 의한 4개의 공간 방향 벡터를 검출하는 공간 방향 벡터 검출 단계; 상기 공간 방향 벡터들에 따라 방향성 보간하는 방향성 보간 단계; 주변의 경계화소를 이용하여 모드를 선택하는 모드 선택 단계; 및 가중치를 둔 평균합을 이용하여 에러를 은닉하는 에러 은닉 단계를 포함한다.The present invention relates to a spatial error concealment method using directional interpolation, which can exhibit excellent performance with low complexity. In the spatial error concealment method using directional interpolation, the present invention relates to detecting four spatial direction vectors by spatial boundary matching. Spatial direction vector detection step; Directional interpolation for directional interpolation according to the spatial direction vectors; A mode selection step of selecting a mode by using peripheral boundary pixels; And an error concealment step of concealing the error using the weighted average sum.
에러 은닉, 방향성 보간, 공간 방향 벡터, 블록 경계정합 에러 Error concealment, directional interpolation, spatial direction vector, block boundary matching error
Description
도 1은 공간적 경계정합 방법을 설명하기 위한 도면,1 is a view for explaining a spatial boundary matching method,
도 2는 공간 방향 벡터에 따른 가중치를 둔 방향성 보간을 설명하기 위한 도면,2 is a diagram illustrating weighted directional interpolation according to a spatial direction vector;
도 3은 주변 블록을 이용한 모드 결정을 설명하기 위한 도면,3 is a view for explaining mode determination using neighboring blocks;
도 4는 블록에러에 대한 방향성 경계정합 에러를 설명하기 위한 도면,4 is a diagram for explaining a directional boundary matching error for a block error;
도 5는 슬라이스 에러에 대한 방향성 경계정합 에러를 설명하기 위한 도면,5 is a diagram for describing a directional boundary matching error with respect to a slice error;
도 6은 본 발명에 따른 방향성 보간을 이용한 공간적 에러은닉 방법을 설명하기 위한 동작 흐름도이다.6 is a flowchart illustrating a spatial error concealment method using directional interpolation according to the present invention.
본 발명은 방향성 보간을 이용한 공간적 에러은닉 방법에 관한 것이다.The present invention relates to a spatial error concealment method using directional interpolation.
보다 상세하게는 낮은 복잡도를 가지면서 우수한 성능을 나타낼 수 있는 방향성 보간을 이용한 공간적 에러은닉 방법에 관한 것이다.More specifically, the present invention relates to a spatial error concealment method using directional interpolation that can exhibit excellent performance with low complexity.
네트워크를 통한 영상 데이터 전송 시 에러가 발생하면 복원된 영상의 화질 열화는 매우 심각하다. 따라서 에러가 존재하는 전송환경에서 압축된 영상이 일정한 화질을 유지하기 위해서는 에러 내성 기술과 에러 정정 기술 등 에러 제어 기법이 필요하다. 특히, 수신단에서 독립적으로 구현할 수 있는 에러 은닉 기법은 양질의 영상을 얻기 위한 중요한 기술이다.If an error occurs when transmitting image data through a network, deterioration of image quality of the restored image is very serious. Therefore, in order to maintain a constant image quality in a transmission environment in which an error exists, an error control technique such as an error tolerance technique and an error correction technique is required. In particular, an error concealment technique that can be independently implemented at the receiving end is an important technique for obtaining a high quality image.
특히, 정지영상의 경우 에러가 발생했을 때 참조할 수 있는 영상이 없고, MPEG의 인트라 프레임의 경우 움직임 보상 시 기준 프레임으로 사용되기 때문에 에러가 발생하게 되면 시간적 오류의 전파가 나타나게 되므로 공간 영역에서의 에러 은닉 기법이 반드시 필요하다.In particular, in the case of a still image, there is no image that can be referred to when an error occurs, and since an intra frame of MPEG is used as a reference frame for motion compensation, when an error occurs, a propagation of temporal error occurs, Error concealment is a must.
공간 영역에서의 에러 은닉 방법 중 가장 간단한 방법은 양선형 보간 방법(Bilinear Interpolation)이다. 상기 양선형 보간 방법은 비교적 낮은 복잡도를 가지고 어느 정도의 성능을 나타내기 때문에 널리 이용되고 있다.The simplest method of error concealment in the spatial domain is the bilinear interpolation method. The bilinear interpolation method is widely used because of its relatively low complexity and some performance.
그러나 상기 양선형 보간 방법의 경우 세밀한 에지를 가지는 영역에 대해서는 블러링(blurring)이나 블록킹 현상 등이 나타날 뿐만 아니라 에지가 흐르는 방향과 관계없는 블록의 경계화소 값들을 이용하게 되므로 선형 보간법보다도 성능이 저하되며, 많은 계산량을 발생시킨다는 문제점이 있다.However, in the bilinear interpolation method, blurring or blocking occurs not only in areas with fine edges, but also by using boundary pixel values of blocks irrespective of the direction in which the edge flows. There is a problem that generates a large amount of calculation.
그러므로 상기 양선형 보간 방법을 개선하기 위해 단순화된 에지 모델을 이용하는 여러 방향성 보간 방법들이 제안되어 왔다.Therefore, several directional interpolation methods using a simplified edge model have been proposed to improve the bilinear interpolation method.
그리고 또 다른 에러 은닉 방법으로는 퍼지 이론을 이용해서 저주파 계수와 고주파 계수 모두를 복구하는 방법, 영상 신호의 평활화 척도가 최대가 되도록 손상된 블록들을 복구하는 방법, 블록집합에 투영(Projection Onto Convex Sets: POCS)하는 방법, 픽셀 기반의 통계 모델을 통해 순차적인 보간을 수행하는 방법 등이 있다.Other error concealment methods include fuzzy theory to recover both low and high frequency coefficients, recover damaged blocks to maximize the smoothing of the video signal, and project onto Onset Convex Sets. POCS) and sequential interpolation through a pixel-based statistical model.
그러나 이러한 공간적 에러 은닉 방법들은 실시간 응용에 적용하기에는 복잡도가 매우 높다는 문제점이 있다.However, these spatial error concealment methods have a problem in that they are very complicated to be applied to real-time applications.
본 발명은 상기와 같은 종래 에러 은닉 방법의 문제점을 해소시키기 위해 제안된 것으로, 에지의 방향을 추정하기 위한 1차원 공간적 경계정합 과정, 가중치를 둔 방향성 보간 과정(Directional Weighting Interpolation), 에지의 흐름을 예측하는 모드를 선택하는 과정, 및 방향성 경계정합 에러를 가중치로 둔 평균합으로 에러를 은닉하는 과정을 수행함으로써, 낮은 복잡도를 가지면서 우수한 성능을 나타내는 방향성 보간을 이용한 공간적 에러은닉 방법을 제공하는데 그 목적이 있다.The present invention is proposed to solve the problems of the conventional error concealment method as described above, and includes a one-dimensional spatial boundary matching process, a weighted directional interpolation process, and an edge flow for estimating an edge direction. By selecting the prediction mode and concealing the error by the average sum weighted by the directional boundary matching error, it provides a spatial error concealment method using directional interpolation with low complexity and excellent performance. There is a purpose.
따라서 상기 목적을 달성하기 위한 본 발명의 방법은, 방향성 보간을 이용한 공간적 에러은닉 방법에 있어서, 공간적 경계정합에 의한 4개의 공간 방향 벡터를 검출하는 공간 방향 벡터 검출 단계; 상기 공간 방향 벡터들에 따라 방향성 보간하는 방향성 보간 단계; 주변의 경계화소를 이용하여 모드를 선택하는 모드 선택 단계; 및 가중치를 둔 평균합을 이용하여 에러를 은닉하는 에러 은닉 단계를 포함한다.Accordingly, the method of the present invention for achieving the above object comprises: a spatial error concealment method using directional interpolation, comprising: a spatial direction vector detecting step of detecting four spatial direction vectors by spatial boundary matching; Directional interpolation for directional interpolation according to the spatial direction vectors; A mode selection step of selecting a mode by using peripheral boundary pixels; And an error concealment step of concealing the error using the weighted average sum.
이하, 본 발명의 바람직한 일실시예를 첨부된 도면을 참조하여 상세하게 설명하면 다음과 같다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
본 발명의 일실시예에 따른 방향성 보간을 이용한 공간적 에러은닉 방법은 공간적 경계정합에 의한 4개의 공간 방향 벡터를 검출하는 단계(S100)와, 상기 공간 방향 벡터들에 따라 방향성 보간하는 단계(S110)와, 주변의 경계화소를 이용하여 모드를 선택하는 단계(S120)와, 가중치를 둔 평균합을 이용하여 에러를 은닉하는 단계(S130)의 순서로 진행된다.In the spatial error concealment method using directional interpolation according to an embodiment of the present invention, detecting four spatial direction vectors by spatial boundary matching (S100) and directional interpolation according to the spatial direction vectors (S110). And selecting a mode using the surrounding boundary pixels (S120), and concealing an error using the weighted average sum (S130).
먼저, S100 단계인 공간 방향 벡터를 검출하는 단계와 S110 단계인 상기 공간 방향 벡터들에 따라 방향성 보간하는 단계에 대해 첨부된 도 1 및 도 2를 참조하여 좀더 상세히 기술하면 다음과 같다.First, a step of detecting a spatial direction vector at step S100 and a step of directional interpolation according to the space direction vectors at step S110 will be described in more detail with reference to FIGS. 1 and 2.
첨부된 도 1은 하단 블록 BB와 상단 블록 BTL, BT, BTR 사이의 최상의 정합을 찾기 위해 경계 탐색을 나타낸 도면으로서, 이웃한 상, 하, 좌, 우 블록들의 경계화소 사이에 1차원 경계정합(Boundary Matching Algorithm : BMA)을 이용하여 손실된 블록에 대해 에지의 방향을 추출한다.1 is a diagram illustrating a boundary search to find the best match between a lower block B B and an upper block B TL , B T , and B TR , wherein 1 is located between the boundary pixels of neighboring upper, lower, left, and right blocks. Edge direction is extracted for the lost block using Boundary Matching Algorithm (BMA).
이때, 상기 1차원 경계정합은 평균 절대 오차(Mean Absolute Difference : MAD)에 의해 추출되며, 아래의 [수학식 1]과 같다.At this time, the one-dimensional boundary matching is extracted by Mean Absolute Difference (MAD), as shown in
여기에서 x, y는 블록 크기가 N x N일 때 -N에서 N까지의 탐색 벡터이다(여기서, N은 자연수이다).Where x and y are search vectors from -N to N when the block size is N x N (where N is a natural number).
상기 [수학식 2]는 공간 방향 벡터(SDV)를 나타낸다. 여기서, argmin(DT(x))는 상단 블록 경계 BT과 하단 블록들 BB, BBL, BBR 간의 블록 경계정합 에러 DT(x)값을 최소화하는 x값을 나타낸다.Equation 2 represents a spatial direction vector (SDV). Here, argmin (D T (x)) represents an x value that minimizes the block boundary matching error D T (x) between the upper block boundary B T and the lower blocks B B , B BL , and B BR .
2 x N개(N은 블록의 크기를 나타내는 자연수)의 평균 절대 오차(MAD) 값을 비교한 후, 상, 하, 좌, 우 블록의 경계화소와 가장 잘 정합하는 반대편 블록 경계화소의 위치를 통해 공간 방향 벡터(SDV)를 찾을 수 있다. 예를 들어, 하단 블록 BB의 경계화소와 가장 잘 정합하는 상단 블록 BTL, BT, BTR 경계화소의 위치를 통해 공간 방향 벡터(SDVB)를 구할 수 있다. 즉, 상기 공간 방향 벡터(SDVB)는 손상된 블록 내에 흐르는 에지의 방향을 나타낸다.Compare the average absolute error (MAD) values of 2 x N (N is a natural number representing the size of the block), and then locate the opposite block boundary pixel that best matches the border pixels of the top, bottom, left, and right blocks. The spatial direction vector (SDV) can be found. For example, the spatial direction vector SDV B can be obtained from the positions of the upper block B TL , B T , and B TR boundary pixels that best match the boundary pixel of the lower block B B. That is, the spatial direction vector SDV B represents the direction of the edge flowing in the damaged block.
이때, 에지의 방향이 0°~ 45°라면 최상의 정합은 블록 BT와 블록 BTR 사이에 위치하고, 반대로 에지의 방향이 90°~ 135°라면 최상의 정합은 블록 BTL과 블록 BT 사이에 위치할 것이다. 마찬가지 방식으로 블록 BT, BL, BR에 대해서도 경계정합을 통해 공간 방향 벡터 (SDVT, SDVL, SDVR)을 구한다.At this time, if the direction of edge is 0 ° ~ 45 °, the best match is located between block B T and block B TR ; conversely, if the direction of edge is 90 ° ~ 135 °, the best match is between block B TL and block B T something to do. In the same manner, the spatial direction vectors SDV T , SDV L and SDV R are obtained through boundary matching for blocks B T , B L and B R.
후술하는 [수학식 3]과 [수학식 4]는 SDV 벡터를 이용한 보간식을 나타내며, 추정된 결과 최소 평균 절대 오차(MAD) 값이 문턱치보다 작은 경우에는 이웃한 블록들 사이에 큰 에지가 흐르거나 평탄한 영역이므로, 손상된 화소들은 공간 방향 벡터(SDV)를 따라서 보간된다.[Equation 3] and [Equation 4] to be described later represent an interpolation equation using the SDV vector, when the estimated minimum mean absolute error (MAD) value is smaller than the threshold, a large edge flows between neighboring blocks Or damaged areas, the damaged pixels are interpolated along the spatial direction vector SDV.
여기서 xT, xB, yL과 yR은 (i, j) 좌표를 지나면서 각 공간 방향 벡터(SDV)의 방향을 따라 상, 하, 좌, 우 경계와 만나는 좌표를 말한다. 또한, dT, dB, dL과 dR은 각 보간될 화소와 각 공간 방향 벡터(SDV)의 방향을 따라 정합 경계 및 상, 하, 좌, 우 블록 경계 사이에 대한 거리이다. 만약, 보간된 화소의 위치가 하단 블록과 가깝다면 하단 블록 BB의 경계화소의 가중치는 dT의 증가로 커지게 될 것이다.Here, x T , x B , y L and y R refer to coordinates which meet up, down, left and right boundaries along the direction of each spatial direction vector (SDV) while passing the (i, j) coordinates. Also, d T , d B , d L and d R are distances between the matching boundary and the upper, lower, left and right block boundaries along the direction of each pixel to be interpolated and each spatial direction vector SDV. If the position of the interpolated pixel is close to the lower block, the weight of the boundary pixel of the lower block B B will be increased by increasing d T.
그리고 상기 [수학식 3] 및 상기 [수학식 4]에서 에지의 기울기가 수직이거나 수평일 경우에는 단일 방향의 선형 보간을 사용하게 된다. 만일, 상,하 방향의 경계정합에서 공간 방향 벡터(SDV)가 수직이라면, 상기 [수학식 3]은 상기 [수학식 5]와 같이 되어 최단 거리에 있는 이웃한 상,하 블록의 경계화소들을 이용하여 에러를 은닉하게 된다.In addition, when the slope of the edge is vertical or horizontal in Equations 3 and 4, linear interpolation in a single direction is used. If the spatial direction vector (SDV) is vertical in the boundary matching of the up and down directions, Equation 3 is expressed by Equation 5 to determine the boundary pixels of neighboring upper and lower blocks at the shortest distance. To conceal the error.
그리고 첨부된 도 2는 공간 방향 벡터(SDV)에 따른 가중치를 둔 방향성 보간을 나타낸 도면으로서, 결과적으로 네 개의 공간 방향 벡터(SDV)에 따라 보간을 하면 네 개의 복원 블록이 생성된다. 상기 네 개의 복원 블록들은 커버하는 에지의 각도가 다르고 각기 다른 경계화소들을 이용하여 에지의 방향을 찾은 것이기 때문에 영상의 에지 특성에 따라 화질성능이 다를 수 있다. 따라서 네 개의 복원 블록들을 적절히 조합하여 최종적인 복원 블록을 만드는 과정이 필요하다.2 is a diagram showing directional interpolation weighted according to a spatial direction vector (SDV). As a result, four reconstructed blocks are generated when interpolation is performed according to four spatial direction vectors (SDV). Since the four reconstruction blocks have different angles at the edges of the four reconstructed blocks, and the direction of the edges is found using different boundary pixels, the image quality may be different according to the edge characteristics of the image. Therefore, there is a need for a process of creating a final restoration block by properly combining the four restoration blocks.
상기 과정은 네 개의 복원 블록 B1, B2, B3 및 B4 중에서 원본에 가까운 것을 찾기 위해 필요하다. 또한, 복원 블록을 조합하여 최종 복원 블록을 만들어낼 때 필요한 가중치 값을 좀더 정교하게 얻기 위해 필요한 과정이다.This process is necessary to find the one close to the original among the four recovery blocks B 1 , B 2 , B 3 and B 4 . In addition, it is a process necessary to more precisely obtain the weight value required when combining the recovery blocks to produce the final recovery block.
그리고 주변의 경계화소를 이용하여 모드(mode)를 선택하는 단계인 S120 단계에 대해 좀더 상세히 기술하면 다음과 같다.In addition, the step S120, which is a step of selecting a mode using the surrounding pixel, is described in more detail as follows.
첨부된 도 3은 손실된 블록 주위의 에지의 방향성을 예측하기 위해 상, 하, 좌, 우 블록의 2줄의 최외각 경계화소들을 이용하는 것을 나타내기 위한 것으로서, 손실된 블록 주위 에지의 방향성을 예측하기 위해 방향성 경계정합 에러를 이용한다.The accompanying Figure 3 illustrates the use of the outermost boundary pixels of the top, bottom, left and right blocks to predict the directionality of the edges around the lost block, and predicts the directionality of the edges around the lost block. We use directional boundary matching error.
먼저, 에지가 흐르는 방향을 찾기 위하여 블록 경계와의 수직방향(mode0), 대각선 방향(mode1), 역대각선 방향(mode2)으로 각각 블록 경계정합 에러를 구하고, 그 중에서 가장 작은 에러 값을 갖는 방향을 해당 경계의 모드(mode)로 선택한다.First, the block boundary matching error is calculated in the vertical direction (mode0), diagonal direction (mode1), and inverse diagonal direction (mode2) with the block boundary to find the direction in which the edge flows, and the direction having the smallest error value is determined. Select the mode of the boundary.
상기와 같이 해당 경계의 모드를 선택하는 것은 에지의 방향성을 세밀하게 나타내기 위한 것이 아니고, 단지 선택된 모드의 네 경계면에서 각각 에지가 대략적으로 어떤 방향으로 흐르는지를 미리 파악하기 위한 것이다. 예를 들어, 손실된 블록의 상단 블록의 최외각 경계와 바로 안쪽의 경계가 제2 모드(mode2)라고 가정하면 상단 블록에서의 에지의 흐름은 대각선 방향이라고 미리 파악을 할 수 있는 것이다.The selection of the mode of the boundary as described above is not intended to express the direction of the edge in detail, but merely to determine in advance in which direction the edges flow in each of the four boundary surfaces of the selected mode. For example, assuming that the outermost boundary and the innermost boundary of the upper block of the lost block are in the second mode (mode2), the flow of the edge in the upper block may be grasped in a diagonal direction.
그리고 첨부된 도 4는 미리 구한 각각의 모드(mode)를 이용하여 블록 경계정합 에러를 구하는 예를 도시한 도면으로서, 네 개의 복원 블록(B1, B2, B3 및 B4)에 대해 각각 블록 경계정합 에러(MAEB1, MAEB2, MAEB3, MAEB4) 값을 산출한다. 이때, 에러를 산출하는 방향은 앞서 추출한 모드(mode)를 이용한다. 여기서, 각각의 블록 경계정합 에러(MAE) 값은 영상을 복원하는데 가중치로 사용하게 된다.4 is a diagram illustrating an example of obtaining a block boundary matching error by using respective modes obtained in advance, respectively, for four reconstructed blocks B 1 , B 2 , B 3, and B 4 . Block boundary matching errors (MAE B1 , MAE B2 , MAE B3 , MAE B4 ) value is calculated. In this case, the direction for calculating the error uses a mode extracted previously. Here, each block boundary matching error (MAE) value is used as a weight to reconstruct the image.
마지막으로 가중치를 둔 평균합을 이용하여 에러를 은닉하는 단계인 S130 단계에 대해 좀더 상세히 기술하면 다음과 같다.Finally, step S130, which is a step of concealing an error using a weighted average sum, is described in more detail as follows.
즉, 최종적인 에러 은닉 단계(S130)는 앞서 산출한 네 개의 블록 경계정합 에러(MAE) 값 중에서 보다 작은 값을 갖는 2개의 복원 블록에 대해 해당 블록 경계정합 에러(MAE) 값을 가중치로 둔 평균합을 산출해 냄으로써 수행된다. 이때, 아래와 같은 [수학식 6]으로 원 영상의 손실된 블록을 채워 넣는다.That is, the final error concealment step (S130) is an average of weights of corresponding block boundary matching error (MAE) values for two reconstructed blocks having smaller values among the four block boundary matching error (MAE) values calculated above. It is done by calculating the sum. At this time, the lost block of the original image is filled with the following [Equation 6].
여기에서 블록 경계정합 에러 MAEA와 MAEB 값은 네 개의 블록 경계정합 에러(MAE) 중 보다 작은 두 개의 블록 경계정합 에러(MAE) 값이고, 블록 BA와 BB는 해당 복원 블록을 나타낸다. 이것은 블록 경계정합 에러 MAEB가 가장 작은 값이라고 하면 복원된 블록 BB와 주변 상, 하, 좌, 우 블록 간의 경계정합 에러가 가장 작다는 것을 의미하므로, 손실된 블록이 가장 잘 복원되었다는 것이라고 판단할 수 있다. 따라서 상기 블록 경계정합 에러 MAEB가 블록 경계정합 에러 MAEA보다 작기 때문에 두 번째로 잘 복원된 블록 BA의 가중치로 사용되고, 블록 경계정합 에러 MAEA는 가장 잘 복원된 블록 BB의 가중치로 사용되어 좀더 좋은 양질의 복원된 블록을 얻을 수 있게 된다.Here, the block boundary matching errors MAE A and MAE B are two smaller block boundary matching error (MAE) values among the four block boundary matching errors (MAE), and blocks B A and B B indicate corresponding restoration blocks. This means that if the block boundary matching error MAE B is the smallest value, it means that the boundary matching error between the restored block B B and the surrounding upper, lower, left, and right blocks is the smallest, so that the lost block is best restored. can do. Therefore, since the block boundary matching error MAE B is smaller than the block boundary matching error MAE A , it is used as the weight of the second best restored block B A , and the block boundary matching error MAE A is used as the weight of the best restored block B B. This results in a better quality restored block.
그리고 슬라이스 단위의 에러가 발생하였을 경우에는 에러 블록에 이웃하는 좌측 및 우측 블록에 대한 경계화소값이 없기 때문에 상단 및 하단 블록의 경계화소값들만을 이용하여 손상된 블록을 복원해야 한다. 따라서 1차원 경계정합은 상,하 블록들 사이에서 두 번 이루어지고, 공간 방향 벡터(SDV)도 SDVT와 SDVB의 2개만 존재한다.When an error in a slice unit occurs, a damaged block must be restored using only boundary pixel values of the upper and lower blocks because there is no boundary pixel value for the left and right blocks adjacent to the error block. Therefore, one-dimensional boundary matching is performed twice between the upper and lower blocks, and only two spatial direction vectors SDV T and SDV B exist.
그리고 첨부된 도 5는 슬라이스 에러에 대한 방향성 경계정합 에러를 산출하는 단계를 설명하기 위한 도면으로서, 두 개의 공간 방향 벡터를 이용하여 방향성 보간을 수행하여 복원 블록 B1과 B2를 구한다. 다음에 블록 단위의 에러 은닉 방법에서 이용했던 것과 마찬가지로 블록 경계정합 에러를 이용하여 상,하 블록 경계에 대하여 모드(mode)를 결정하고, 상기 결정된 모드(mode)에 따라 블록 경계정합 에러 MAE1과 블록 경계정합 에러 MAE2 값을 산출한다. 이때, 복원블록이 2개만 존재하고, 손실된 블록의 왼쪽과 오른쪽 경계면에 대해서는 블록 경계정합 에러(MAE) 값이 존재하지 않으므로, 2개의 복원 블록을 이용하여 최종적으로 에러를 은닉해야 하며, 여기서 최종 복원 블록은 다음의 [수학식 7]에 의해 산출된다.FIG. 5 is a diagram for describing a step of calculating a directional boundary matching error for a slice error. The restored blocks B 1 and B 2 are obtained by performing directional interpolation using two spatial direction vectors. Next, a mode is determined for the upper and lower block boundaries using block boundary matching errors, similar to those used in the block-by-block error concealment method, and the block boundary matching errors MAE 1 and the block boundary matching errors are determined according to the determined mode. Calculate the block boundary matching error MAE 2 value. In this case, since there are only two recovery blocks, and there is no block boundary matching error (MAE) value for the left and right boundaries of the lost block, two recovery blocks must be used to finally conceal the error. The reconstruction block is calculated by the following equation (7).
이상에서 설명한 바와 같이, 본 발명은 낮은 복잡도를 가지면서 우수한 성능으로 에러를 은닉시킬 수 있도록 하는 효과가 있다.As described above, the present invention has an effect of concealing errors with excellent performance while having a low complexity.
또한, 본 발명은 손실된 블록에 대해 방향성 기반의 보간 기법을 이용한 공간적 에러 은닉 방법을 적용하여 손실된 블록을 좀더 효율적으로 복원시킬 수 있도 록 하는 효과가 있다.In addition, the present invention has an effect of more efficiently restoring a lost block by applying a spatial error concealment method using a directional based interpolation technique for the lost block.
또한, 본 발명은 블록 단위의 에러가 발생하였을 경우 상, 하, 좌, 우 블록의 경계를 이용하여 손실된 블록의 에지의 방향을 정교하게 찾을 수 있고, 각 블록의 모드(mode)를 기반으로 최적의 방향성 경계정합 에러를 이용해 손실된 블록에 대해서 적절히 복원할 수 있도록 하는 효과가 있다.In addition, the present invention can precisely find the direction of the edge of the lost block by using the boundaries of the upper, lower, left, and right blocks when an error in a block unit occurs, and based on the mode of each block. There is an effect of properly recovering lost blocks using an optimal directional boundary matching error.
또한, 본 발명은 블록 경계정합 에러(MAD) 값, 방향성 보간 값 및 경계정합 에러 값만을 산출하는 정도의 간단한 연산만을 수행하기 때문에 계산량이 적다는 장점이 있다. 따라서 본 발명은 기존의 에러 은닉 기법에 비하여 객관적인 화질 향상을 보일 뿐만 아니라, 복잡도가 낮기 때문에 실시간 응용에 적용할 수 있도록 하는 효과가 있다.In addition, the present invention has an advantage that the calculation amount is small because only a simple operation such as calculating only the block boundary matching error (MAD) value, the directional interpolation value, and the boundary matching error value is performed. Therefore, the present invention not only improves the objective image quality compared to the existing error concealment scheme, but also has a low complexity, and thus can be applied to a real-time application.
Claims (9)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050086541A KR100706720B1 (en) | 2005-09-15 | 2005-09-15 | A Spatial Error Concealment Technique Using Edge-Oriented Interpolation |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050086541A KR100706720B1 (en) | 2005-09-15 | 2005-09-15 | A Spatial Error Concealment Technique Using Edge-Oriented Interpolation |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20070031755A KR20070031755A (en) | 2007-03-20 |
| KR100706720B1 true KR100706720B1 (en) | 2007-04-12 |
Family
ID=41624895
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020050086541A KR100706720B1 (en) | 2005-09-15 | 2005-09-15 | A Spatial Error Concealment Technique Using Edge-Oriented Interpolation |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100706720B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100986607B1 (en) * | 2008-10-23 | 2010-10-11 | 중앙대학교 산학협력단 | Method for video interpolation and computer recordable medium storing the method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR970057876A (en) * | 1995-12-19 | 1997-07-31 | 배순훈 | Error Compensator Using Edge in Video Decoder |
| JPH09200754A (en) * | 1995-12-29 | 1997-07-31 | Daewoo Electron Co Ltd | Channel error correcting method for video signal |
| KR20000067180A (en) * | 1999-04-24 | 2000-11-15 | 윤종용 | Apparatus for picture restoration and error concealment method therefor |
| KR20050090451A (en) * | 2003-01-10 | 2005-09-13 | 톰슨 라이센싱 에스.에이. | Defining interpolation filters for error concealment in a coded image |
-
2005
- 2005-09-15 KR KR1020050086541A patent/KR100706720B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR970057876A (en) * | 1995-12-19 | 1997-07-31 | 배순훈 | Error Compensator Using Edge in Video Decoder |
| JPH09200754A (en) * | 1995-12-29 | 1997-07-31 | Daewoo Electron Co Ltd | Channel error correcting method for video signal |
| KR20000067180A (en) * | 1999-04-24 | 2000-11-15 | 윤종용 | Apparatus for picture restoration and error concealment method therefor |
| KR20050090451A (en) * | 2003-01-10 | 2005-09-13 | 톰슨 라이센싱 에스.에이. | Defining interpolation filters for error concealment in a coded image |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20070031755A (en) | 2007-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100870115B1 (en) | Method for forming image using block matching and motion compensated interpolation | |
| US8018998B2 (en) | Low complexity motion compensated frame interpolation method | |
| US8736767B2 (en) | Efficient motion vector field estimation | |
| US8605786B2 (en) | Hierarchical motion vector processing method, software and devices | |
| KR100995398B1 (en) | Global motion compensated deinterlaing method considering horizontal and vertical patterns | |
| US8605782B2 (en) | Reconstruction of de-interleaved views, using adaptive interpolation based on disparity between the views for up-sampling | |
| CN101422047B (en) | Motion estimation at image borders and display device | |
| Jeong et al. | Motion-compensated frame interpolation based on multihypothesis motion estimation and texture optimization | |
| CN101268701A (en) | Adaptive motion estimation for temporal prediction filter over irregular motion vector samples | |
| KR101418116B1 (en) | Frame Interpolating Device and Frame Rate Up-Converting Apparatus having the same | |
| US20110206127A1 (en) | Method and Apparatus of Frame Interpolation | |
| JP2008508751A (en) | Apparatus and method for adaptive 3D fictitious video reduction for encoded image signals | |
| JP2004530367A (en) | Motion vector prediction method and motion vector prediction device | |
| JP2006521048A (en) | Method and apparatus for encoding and decoding an image sequence by motion / texture decomposition and wavelet encoding | |
| KR100706720B1 (en) | A Spatial Error Concealment Technique Using Edge-Oriented Interpolation | |
| EP1955548B1 (en) | Motion estimation using motion blur information | |
| Park et al. | Covariance-based adaptive deinterlacing method using edge map | |
| JP4763241B2 (en) | Motion prediction information detection device | |
| KR101299196B1 (en) | Apparatus for up-converting frame rate of video signal and method thereof | |
| Xu et al. | Frame rate up-conversion with true motion estimation and adaptive motion vector refinement | |
| KR100885234B1 (en) | Apparatus and method for spatial error concealment | |
| KR101144283B1 (en) | Apparatus and method for concealing errors included in the decoded video | |
| CN102204256B (en) | Image prediction method and system | |
| Chen et al. | A joint motion-image inpainting method for error concealment in video coding | |
| JP5102810B2 (en) | Image correction apparatus and program thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130329 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20140401 Year of fee payment: 8 |
|
| LAPS | Lapse due to unpaid annual fee |