KR20080048904A - Apparatus and method for restoring loss pixel using directional interpolation - Google Patents

Apparatus and method for restoring loss pixel using directional interpolation Download PDF

Info

Publication number
KR20080048904A
KR20080048904A KR1020070046759A KR20070046759A KR20080048904A KR 20080048904 A KR20080048904 A KR 20080048904A KR 1020070046759 A KR1020070046759 A KR 1020070046759A KR 20070046759 A KR20070046759 A KR 20070046759A KR 20080048904 A KR20080048904 A KR 20080048904A
Authority
KR
South Korea
Prior art keywords
pixel
directional
spatial direction
calculated
lost
Prior art date
Application number
KR1020070046759A
Other languages
Korean (ko)
Other versions
KR100886647B1 (en
Inventor
정제창
김원기
진순종
구자성
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Publication of KR20080048904A publication Critical patent/KR20080048904A/en
Application granted granted Critical
Publication of KR100886647B1 publication Critical patent/KR100886647B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

An apparatus and a method for restoring a loss pixel by using directional interpolation are provided to estimate an edge direction of a loss block accurately by using the data of a peripheral block and adaptively interpolate each pixel within the loss block by selecting an optimum edge direction, thereby restoring even a complex area including an edge as well as a flat area with low complexity and high image quality. A loss pixel interpolation method using directional interpolation comprises the followings steps of: classifying a gradient direction for each boundary pixel of a loss pixel according to predetermined areas, and calculating ES(Edge Strength) at each area(301); calculating a SDV(Spatial Direction Vector) by using the calculated ES of each area(302); selecting a DSDV(Dominant SDV) among the calculated SDVs(303); calculating a directional distortion value for each of the selected DSDV(304); and restoring a loss pixel by using the calculated directional distortion value(305).

Description

방향성 보간을 이용한 손실 픽셀 복원 장치 및 그 방법{Apparatus and method for restoring loss pixel using directional interpolation}Apparatus and method for restoring loss pixel using directional interpolation}

도 1 은 본 발명에 이용되는 손실블록(M)과 주변블록(B)을 나타내는 일예시도,1 is an exemplary view showing a loss block (M) and a peripheral block (B) used in the present invention,

도 2 는 본 발명에 따른 방향성 보간을 이용한 손실 픽셀 복원 장치의 일실시예 구성도,2 is a block diagram of an embodiment of a lost pixel restoration apparatus using directional interpolation according to the present invention;

도 3 은 본 발명에 따른 방향성 보간을 이용한 손실 픽셀 복원 방법에 대한 일실시예 흐름도,3 is a flowchart illustrating a method for restoring a lost pixel using directional interpolation according to the present invention;

도 4 는 본 발명에 따른 손실블록과 주변블록 사이의 각 경계 픽셀에 대한 기울기 산출 과정을 나타내는 일예시도, 4 is an exemplary diagram illustrating a slope calculation process for each boundary pixel between a lost block and a neighboring block according to the present invention;

도 5 는 본 발명에 따른 각 기울기의 분류 영역에 대한 일예시도,5 is an exemplary view of a classification area of each slope according to the present invention;

도 6 은 본 발명에 따른 공간방향벡터의 개념을 나타내는 일예시도,6 is an exemplary view illustrating a concept of a spatial direction vector according to the present invention;

도 7 은 본 발명에 따른 방향성 보간을 이용한 손실 픽셀 복원 방법에 대한 일실시예 설명도이다.7 is a diagram illustrating an example of a lost pixel restoration method using directional interpolation according to the present invention.

* 도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings

21 : 에지 세기 산출부 22 : 공간방향벡터 산출부21: edge intensity calculator 22: spatial direction vector calculator

23 : 유효 공간방향벡터 선별부 24 : 방향성 왜곡값 계산부23: effective spatial direction vector selection unit 24: directional distortion value calculation unit

25 : 손실 픽셀 복원부25: lost pixel recovery unit

본 발명은 방향성 보간을 이용한 손실 픽셀 복원 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 더욱 상세하게는 픽셀단위의 정밀한 방향성 보간을 이용하여 전송 에러로 인해 발생한 영상 손실을 복원하기 위한, 방향성 보간을 이용한 손실 픽셀 복원 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.The present invention relates to a lossy pixel recovery apparatus using directional interpolation and a method thereof, and a computer-readable recording medium recording a program for realizing the method. More particularly, the present invention relates to a transmission error using precise directional interpolation in pixel units. The present invention relates to a lossy pixel restoration apparatus using directional interpolation for recovering an image loss caused by the present invention, and a method and a computer-readable recording medium having recorded thereon a program for realizing the method.

종래의 대부분의 에러은닉 기법들은 블록 단위로 영상의 공간적 특성을 규정하고 이를 바탕으로 영상을 복원한다. 간소화된 에지 모델들이 방향성 보간을 위해 제안되었고, 이를 이용한 기법들은 평탄한 영역과 단순한 에지 특성을 갖는 영역에서는 좋은 성능을 보인다.Most conventional error concealment techniques define spatial characteristics of an image in units of blocks and reconstruct the image based on the spatial characteristic of the image. Simplified edge models have been proposed for directional interpolation, and the techniques using them show good performance in regions with flat and simple edge characteristics.

그러나 영상 콘텐츠가 세밀하거나 복잡한 영역에서 복원된 영상의 화질은 우수하지 못하다. 이를 극복하기 위한 기본적인 접근 방식으로 'Sun'과 'Kwok'은 POCS(Projections Onto Convex Sets) 기법을, 'Lee'와 'Zhang'은 퍼지이론을, 'Wang'과 'Zhu'는 BNM(Best Neighbor Matching) 기법을 제안하였다. However, the image quality of a reconstructed image in a detailed or complicated area of image content is not excellent. As a basic approach to overcome this, 'Sun' and 'Kwok' use POCS (Projections Onto Convex Sets) technique, 'Lee' and 'Zhang' use fuzzy theory, and 'Wang' and 'Zhu' use BNM (Best Neighbor). Matching technique is proposed.

특히, 픽셀 기반으로 통계적 모델을 적용한 기법이나 라인 기반으로 POCS 기법을 적용하여 손실된 영상의 에지나 텍스쳐와 같은 복잡한 영역에서의 복원능력을 향상시킨 기법도 존재한다.In particular, there is a technique that applies a statistical model based on pixels or a POCS technique based on lines to improve reconstruction in complex areas such as edges or textures of lost images.

그러나 후자의 두 가지 방법은 기존의 방식들에 비해 우수한 성능을 보이지만, 통계적 모델링이나 적응적인 POCS를 수행함에 있어 높은 복잡도를 요구하는 단점이 있다.However, the latter two methods show better performance than the conventional methods, but require a high complexity in performing statistical modeling or adaptive POCS.

본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 픽셀단위의 정밀한 방향성 보간을 이용하여 전송 에러로 인해 발생한 영상 손실을 복원하기 위한, 방향성 보간을 이용한 손실 픽셀 복원 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above problems, and realizes a loss pixel restoration apparatus using directional interpolation, a method and the method for recovering an image loss caused by a transmission error by using a precise directional interpolation on a pixel basis The object of the present invention is to provide a computer-readable recording medium having recorded thereon a program.

즉, 본 발명은 손실블록의 에지 방향을 주변 블록의 데이터를 이용하여 정밀하게 추정한 후 최적의 에지 방향을 선택하여 손실 블록 내의 각각의 픽셀을 적응적으로 보간함으로써, 평탄한 영역뿐만 아니라 에지를 포함한 복잡한 영역도 낮은 복잡도 및 높은 화질로 복원하기 위한, 방향성 보간을 이용한 손실 픽셀 복원 장치 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.That is, the present invention precisely estimates the edge direction of a lost block using data of neighboring blocks, and then selects an optimal edge direction to adaptively interpolate each pixel in the lost block, thereby including not only a flat area but also an edge. It is an object of the present invention to provide a lossy pixel restoration apparatus using directional interpolation and a computer readable recording medium having recorded thereon a program for realizing the method.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

상기 목적을 달성하기 위한 본 발명의 장치는, 방향성 보간을 이용한 손실 픽셀 복원 장치에 있어서, 손실블록의 각 경계 픽셀에 대한 기울기(Gradient) 방향을 소정의 영역별로 분류한 후 각 영역에서 에지의 세기(ES)를 산출하기 위한 에지 세기 산출수단; 상기 산출한 각 영역의 에지 세기를 이용하여 공간방향벡터를 산출하기 위한 공간방향벡터 산출수단; 상기 산출한 공간방향벡터들 중에서 유효 공간방향벡터를 선별하기 위한 유효 공간방향벡터 선별수단; 상기 선별한 각 유효 공간방향벡터에 대한 방향성 왜곡값을 계산하기 위한 방향성 왜곡값 계산수단; 및 상기 계산한 방향성 왜곡값을 이용하여 손실 픽셀을 복원하기 위한 손실 픽셀 복원수단을 포함한다.An apparatus of the present invention for achieving the above object, in the loss pixel recovery apparatus using the directional interpolation, the gradient direction for each boundary pixel of the loss block is classified by a predetermined region and then the intensity of the edge in each region Edge intensity calculating means for calculating (ES); Spatial direction vector calculation means for calculating a spatial direction vector using the calculated edge intensities of the respective areas; An effective spatial direction vector selection means for selecting an effective spatial direction vector from the calculated spatial direction vectors; Directional distortion value calculating means for calculating directional distortion values for the selected effective spatial direction vectors; And lost pixel restoring means for restoring the lost pixels using the calculated directional distortion value.

또한, 상기 목적을 달성하기 위한 본 발명의 방법은, 손실블록의 각 경계 픽셀에 대한 기울기(Gradient) 방향을 소정의 영역별로 분류한 후 각 영역에서 에지의 세기(ES)를 산출하는 에지 세기 산출단계; 상기 산출한 각 영역의 에지 세기를 이용하여 공간방향벡터를 산출하는 공간방향벡터 산출단계; 상기 산출한 공간방향벡터들 중에서 유효 공간방향벡터를 선별하는 유효 공간방향벡터 선별단계; 상기 선별한 각 유효 공간방향벡터에 대한 방향성 왜곡값을 계산하는 방향성 왜곡값 계산단계; 및 상기 계산한 방향성 왜곡값을 이용하여 손실 픽셀을 복원하는 손실 픽셀 복원단계를 포함한다.In addition, the method of the present invention for achieving the above object, the edge intensity calculation to calculate the intensity (ES) of the edge in each area after classifying the gradient direction for each boundary pixel of the loss block for each predetermined area step; Calculating a spatial direction vector using the calculated edge strengths of the respective areas; An effective spatial direction vector selection step of selecting an effective spatial direction vector from the calculated spatial direction vectors; A directional distortion value calculation step of calculating a directional distortion value for each of the selected effective spatial direction vectors; And a lost pixel restoration step of restoring the lost pixels by using the calculated directional distortion value.

한편, 본 발명은, 방향성 보간을 이용한 손실 픽셀 복원 장치에, 손실블록의 각 경계 픽셀에 대한 기울기(Gradient) 방향을 소정의 영역별로 분류한 후 각 영역에서 에지의 세기(ES)를 산출하는 에지 세기 산출기능; 상기 산출한 각 영역의 에지 세기를 이용하여 공간방향벡터를 산출하는 공간방향벡터 산출기능; 상기 산출한 공간방향벡터들 중에서 유효 공간방향벡터를 선별하는 유효 공간방향벡터 선별기능; 상기 선별한 각 유효 공간방향벡터에 대한 방향성 왜곡값을 계산하는 방향성 왜곡값 계산기능; 및 상기 계산한 방향성 왜곡값을 이용하여 손실 픽셀을 복원하는 손실 픽셀 복원기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.On the other hand, the present invention, in the loss pixel recovery apparatus using the directional interpolation, the gradient direction for each boundary pixel of the loss block is classified by a predetermined region and then the edge for calculating the edge intensity (ES) in each region Intensity calculation function; A spatial direction vector calculation function for calculating a spatial direction vector using the calculated edge strengths of the respective areas; An effective spatial direction vector selection function for selecting an effective spatial direction vector from the calculated spatial direction vectors; A directional distortion value calculation function for calculating a directional distortion value for each of the selected effective spatial direction vectors; And a computer readable recording medium having recorded thereon a program for realizing a lost pixel restoration function for restoring lost pixels using the calculated directional distortion values.

또한, 본 발명은 단순히 블록 기반의 에지 모델을 사용하거나 복잡한 확률 모델이나 투영 구조를 사용하는 종래의 기술에 비해, 간단한 방식으로 손실 블록의 에지 모델을 만들고 이를 바탕으로 픽셀단위로 적응적으로 보간함으로써, 정밀하게 복원할 수 있는 장점이 있다.In addition, the present invention provides an edge model of a lossy block in a simple manner and adaptively interpolates pixel-by-pixel based on a simple method, compared to conventional techniques using a block-based edge model or a complex probability model or projection structure. This has the advantage of being able to restore precisely.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명 이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1 은 본 발명에 이용되는 손실블록(M)과 주변블록(B)을 나타내는 일예시도이다.1 is an exemplary view showing a loss block (M) and a peripheral block (B) used in the present invention.

보통, 공간적 에러은닉 기법은 손실블록(M) 주위의 영상 데이터 즉, 손실이 없는 주변블록(B)의 영상 데이터를 복호화한 후 이를 이용하여 손실블록(M)을 보간한다. 다양한 영상 데이터 중에서 에지는 국소 영역 내의 영상 특성을 대표하는 중요한 데이터이다. 또한, 일반적으로 에지는 크기와 방향이 급격하게 변하지 않는다는 특성이 있다.In general, the spatial error concealment technique decodes the image data around the lost block M, that is, the image data of the neighboring block B without loss, and interpolates the lost block M using the same. Of the various image data, the edge is important data representing the image characteristic in the local area. In addition, edges generally have the characteristic that their size and direction do not change rapidly.

따라서 손실블록 주위에 나타나는 에지가 손실블록 내에도 유사하게 존재한다고 가정할 수 있고, 손실블록 주위의 에지를 손실블록 안으로 확장시켜서 손실 영상을 복원할 수 있다.Therefore, it can be assumed that the edges appearing around the loss block are similarly present in the loss block, and the edges around the loss block can be extended to the loss block to restore the lost image.

도 2 는 본 발명에 따른 방향성 보간을 이용한 손실 픽셀 복원 장치의 일실시예 구성도이다.2 is a block diagram of an embodiment of a lost pixel restoration apparatus using directional interpolation according to the present invention.

도 2에 도시된 바와 같이, 본 발명에 따른 방향성 보간을 이용한 손실 픽셀 복원 장치는, 손실블록의 각 경계 픽셀에 대한 기울기(Gradient) 방향을 소정의 영역별로 분류한 후 각 영역에서 에지의 세기(ES)를 산출하기 위한 에지 세기 산출부(21), 상기 에지 세기 산출부(21)에서 산출한 각 영역의 에지 세기를 이용하여 공간방향벡터를 산출하기 위한 공간방향벡터 산출부(22), 상기 공간방향벡터 산출 부(22)에서 산출한 공간방향벡터들 중에서 유효 공간방향벡터를 선별하기 위한 유효 공간방향벡터 선별부(23), 상기 유효 공간방향벡터 선별부(23)에서 선별한 각 유효 공간방향벡터에 대한 방향성 왜곡값을 계산하기 위한 방향성 왜곡값 계산부(24), 및 상기 방향성 왜곡값 계산부(24)에서 계산한 방향성 왜곡값을 이용하여 손실 픽셀을 복원하기 위한 손실 픽셀 복원부(25)를 포함한다.As shown in FIG. 2, the lossy pixel restoration apparatus using the directional interpolation according to the present invention classifies a gradient direction for each boundary pixel of the lossy block into predetermined regions and then uses the intensity of edges in each region. The edge intensity calculator 21 for calculating the ES), the spatial direction vector calculator 22 for calculating the spatial direction vector using the edge strength of each area calculated by the edge intensity calculator 21, An effective spatial direction vector selector 23 for selecting an effective spatial direction vector from the spatial direction vectors calculated by the spatial direction vector calculation unit 22, and each effective space selected by the effective spatial direction vector selector 23; A lossy pixel complex for restoring a lost pixel by using the directional distortion value calculator 24 for calculating the directional distortion value for the direction vector and the directional distortion value calculated by the directional distortion value calculator 24. And a circular portion 25.

여기서, 상기 에지 세기 산출부(21)는 소벨 마스크(Sobel mask)를 이용하여 손실블록의 각 경계 픽셀에 대해 기울기(Gradient)를 산출하고, 상기 산출한 각 기울기의 방향을 계산하여 소정의 영역으로 분류한 후 상기 소정 영역에서 에지의 세기를 산출한다.Here, the edge intensity calculator 21 calculates a gradient of each boundary pixel of the loss block using a Sobel mask, calculates the calculated direction of each slope, and calculates a direction of the calculated slope to a predetermined region. After classifying, the strength of the edge is calculated in the predetermined area.

또한, 상기 공간방향벡터 산출부(22)는 8개의 에지 방향 영역에 대해 대표 방향을 나타내는 8개의 공간방향벡터들을 산출한다.In addition, the spatial direction vector calculation unit 22 calculates eight spatial direction vectors representing a representative direction for eight edge direction regions.

또한, 상기 유효 공간방향벡터 선별부(23)는 상기 산출한 8개의 공간방향벡터들 중에서 임계치를 초과하는 유효 공간방향벡터를 선별한다.In addition, the effective spatial direction vector selector 23 selects the effective spatial direction vector exceeding a threshold value among the calculated eight spatial direction vectors.

또한, 상기 손실 픽셀 복원부(25)는 상기 계산한 방향성 왜곡값 중 가장 작은 방향성 왜곡값에 해당하는 유효 공간방향벡터를 검출하고, 상기 계산한 방향성 왜곡값 중 두 번째로 작은 방향성 왜곡값에 해당하는 유효 공간방향벡터를 검출하며, 상기 검출한 두 유효 공간방향벡터를 이용하여 손실 픽셀의 보간값을 계산한 후 상기 계산한 보간값과 해당 방향성 왜곡값(가중치)을 이용하여 손실 픽셀을 복원한다.In addition, the lost pixel reconstructor 25 detects an effective spatial direction vector corresponding to the smallest directional distortion value among the calculated directional distortion values, and corresponds to the second smallest directional distortion value among the calculated directional distortion values. An effective spatial direction vector is detected, and an interpolation value of the lost pixel is calculated using the detected two effective spatial direction vectors, and then the lost pixel is restored using the calculated interpolation value and the corresponding directional distortion value (weighted value). .

도 3 은 본 발명에 따른 방향성 보간을 이용한 손실 픽셀 복원 방법에 대한 일실시예 흐름도이다.3 is a flowchart of a lost pixel restoration method using directional interpolation according to the present invention.

먼저, 손실블록의 각 경계 픽셀에 대한 기울기(Gradient) 방향을 소정의 영역별로 분류한 후 각 영역에서 에지의 세기(ES)를 산출한다(301).First, the gradient direction of each boundary pixel of the loss block is classified for each predetermined area, and then the intensity ES of the edge is calculated in each region (301).

이하, 도 4 및 도 5를 참조하여 "301" 과정에 대해 좀 더 상세히 살펴보기로 한다.Hereinafter, the "301" process will be described in more detail with reference to FIGS. 4 and 5.

손실블록(M) 내 에지의 특성은 손실블록 주위의 에러 없이 수신된 블록(주변블록)들에 존재하는 에지들을 통해 추정한다. 이때, 에지 방향을 구하기 위하여 간단하고 빠른 속도의 기울기 필터(Gradient Filter)를 사용하는 것이 바람직하다.The characteristic of the edge in the lost block M is estimated through the edges present in the received blocks (peripheral blocks) without errors around the lost block. In this case, it is preferable to use a simple and fast gradient filter to obtain the edge direction.

즉, 도 4의 (a) 및 (b)에 도시된 바와 같이, 손실블록(M)과 주변블록 사이에 위치한 각각의 경계 픽셀 B(x,y)에 대하여, 하기의 [수학식 1]과 같은 소벨 마스크(Sobel mask)들을 화살표 방향으로 이동시키면서 적용하여 각각의 기울기를 산출한다. 여기서, 경계 픽셀은 3x3 마스크의 중심이 지나가는 픽셀을 의미한다.That is, as shown in FIGS. 4A and 4B, with respect to each boundary pixel B (x, y) located between the loss block M and the neighboring block, Equation 1 The same Sobel masks are applied while moving in the direction of the arrow to calculate the respective slopes. Here, the boundary pixel means a pixel through which the center of the 3x3 mask passes.

Figure 112007035535181-PAT00001
Figure 112007035535181-PAT00001

여기서, 각각의 경계 픽셀 B(x,y)에 대한 에지의 기울기(Gradient) 성분인 gx(x,y), gy(x,y)는 하기의 [수학식 2]와 같다.Here, g x (x, y) and g y (x, y), which are gradient components of an edge with respect to each boundary pixel B (x, y), are represented by Equation 2 below.

Figure 112007035535181-PAT00002
Figure 112007035535181-PAT00002

이때, 좌표 (x,y)에서 기울기(Gradient)의 크기와 방향은 하기의 [수학식 3]과 같이 표현할 수 있다.At this time, the magnitude and direction of the gradient in the coordinates (x, y) can be expressed as Equation 3 below.

Figure 112007035535181-PAT00003
Figure 112007035535181-PAT00003

이렇게 소벨 마스크(Sobel mask)를 이용하여 산출한 각 기울기의 방향들은, 도 5에 도시된 바와 같이 8개의 영역으로 분류할 수 있다. 각각의 영역은 22.5°로 균일한 폭을 갖으며, 180°의 모든 방향을 나타낸다. 각 경계 픽셀의 기울기 방향은 8개의 영역 중 하나의 영역에 포함되며, 대략적인 에지 방향을 나타낸다.The directions of each slope calculated using the Sobel mask may be classified into eight regions as illustrated in FIG. 5. Each region has a uniform width of 22.5 ° and represents all directions of 180 °. The inclination direction of each boundary pixel is included in one of eight areas, and represents an approximate edge direction.

한편, 8개 영역에서의 에지의 세기(ES : Edge Strength)를 정의한다. Meanwhile, edge strength (ES) in eight areas is defined.

에지의 세기(ES)는 손실블록에서 특정 방향 영역의 에지가 얼마만큼 포함되어 있는가를 나타내며, 하기의 [수학식 4] 및 [수학식 5]를 통해 계산할 수 있다.The strength (ES) of the edge represents how much the edge of the specific direction region is included in the loss block, and can be calculated by the following Equations 4 and 5 below.

Figure 112007035535181-PAT00004
Figure 112007035535181-PAT00004

여기서, 상기 [수학식 4]는 기울기의 방향

Figure 112007035535181-PAT00005
가 Dk에 속한다면 ESx(Dk)와 ESy(Dk)는 각각 gx(x,y)와 gy(x,y)만큼씩 반복적으로 증가함을 의미한다.[Equation 4] is the direction of the slope
Figure 112007035535181-PAT00005
If D k belongs to D k , ES x (D k ) and ES y (D k ) are repeatedly increased by g x (x, y) and g y (x, y), respectively.

Figure 112007035535181-PAT00006
Figure 112007035535181-PAT00006

이후, 도 4에 도시된 바와 같이 탐색 영역에 대하여 상기 과정을 수행하여 각 영역의 에지 세기를 산출한다. 이때, 연속적으로 손실블록이 발생한 경우 D0를 사용할 수 없다. 따라서 D0의 영역 중

Figure 112007035535181-PAT00007
은 D1의 영역으로 편입시키고,
Figure 112007035535181-PAT00008
은 D7의 영역으로 편입시킨다.Thereafter, as shown in FIG. 4, the above-described process is performed on the search area to calculate the edge strength of each area. At this time, if a loss block occurs continuously, D 0 cannot be used. So in the area of D 0
Figure 112007035535181-PAT00007
Is incorporated into the region of D 1 ,
Figure 112007035535181-PAT00008
Is incorporated into the area of D 7 .

다음으로, 상기 산출한 각 영역의 에지 세기를 이용하여 공간방향벡터를 산출한다(302). Next, a spatial direction vector is calculated using the calculated edge strengths of the regions (302).

보통, 도 5에서 각 영역의 대표값은 중간값으로 선정하는 것이 일반적이었다. 예를 들어, D4영역에서 에지의 대표값은

Figure 112007035535181-PAT00009
이 된다. 이렇게 선정한 대표값은 실제 에지의 방향과는 큰 오차가 있을 수 있다. 따라서 각각의 에지 방향 영역에 대하여 에지의 대표값을 정교하게 추정할 필요가 있다.In general, the representative value of each region in Fig. 5 is generally selected as the intermediate value. For example, in the D 4 region, the representative value of the edge is
Figure 112007035535181-PAT00009
Becomes The representative value thus selected may have a large error from the direction of the actual edge. Therefore, it is necessary to accurately estimate the representative value of the edge for each edge direction region.

이에, 정밀한 에지 방향의 추정을 위하여 공간방향벡터(SDV : Spatial Direction Vector)의 개념을 도입한다.Therefore, the concept of a spatial direction vector (SDV) is introduced to accurately estimate the edge direction.

도 6 은 본 발명에 따른 공간방향벡터의 개념을 나타내는 일예시도이다.6 is an exemplary view illustrating a concept of a spatial direction vector according to the present invention.

도 6에 도시된 바와 같이, SDV(DK)는 각각의 x,y 성분으로 ESX(DK)와 ESY(DK)를 갖는 벡터이다. 이는 하기의 [수학식 6]과 같이 표현할 수 있다.As shown in FIG. 6, SDV (D K ) is a vector having ES X (D K ) and ES Y (D K ) as respective x, y components. This can be expressed as Equation 6 below.

Figure 112007035535181-PAT00010
Figure 112007035535181-PAT00010

이러한 [수학식 6]을 이용하여 8개의 에지 방향 영역에 대해, 각 영역의 대표 방향을 나타내는 8개의 공간방향벡터들을 산출하여 손실블록을 해석한다.Using Equation 6, eight spatial direction vectors representing a representative direction of each region are calculated for eight edge direction regions, and the loss block is analyzed.

다음으로, 상기 산출한 공간방향벡터들 중에서 유효 공간방향벡터를 선별한다(303). 즉, 8개의 공간방향벡터들 중 유효 공간방향벡터(DSDV : Dominant SDV)를 선별한다.Next, an effective spatial direction vector is selected from the calculated spatial direction vectors (303). That is, the effective spatial direction vector (DSDV: Dominant SDV) is selected from the eight spatial direction vectors.

여기서, 강한 에지 세기를 갖는 공간방향벡터는 실제 에지를 나타내는 방향을 나타내는 반면, 약한 에지 세기를 갖는 공간방향벡터는 실제 에지가 아닌 잡음일 가능성이 있기 때문에, 낮은 복잡도를 위하여 고려 대상에서 제외한다. Here, the spatial direction vector with the strong edge intensity indicates the direction indicating the actual edge, while the spatial direction vector with the weak edge intensity is excluded from consideration for low complexity because the spatial direction vector with the weak edge intensity may be noise rather than the actual edge.

따라서 상기 [수학식 5] 및 하기의 [수학식 7]을 이용하여 임계값을 초과하는 공간방향벡터들을 유효 공간방향벡터들로 선별한다.Therefore, the spatial direction vectors exceeding the threshold value are selected as the effective spatial direction vectors using Equation 5 and Equation 7 below.

Figure 112007035535181-PAT00011
Figure 112007035535181-PAT00011

여기서, ESmax는 8개의 에지 세기 중 최대값을 의미하고, k는 0에서 1 사이의 값을 가지는 상수이다.Here, ES max means the maximum value of the eight edge intensities, k is a constant having a value between 0 and 1.

다음으로, 상기 선별한 각 유효 공간방향벡터에 대한 방향성 왜곡값을 계산한다(304).Next, a directional distortion value for each of the selected effective spatial direction vectors is calculated (304).

손실블록은 각각의 영역에 따라 다양한 에지의 특성을 가질 수 있다. 따라서 각각의 손실 픽셀은 대응하는 에지의 방향에 따라 보간을 수행해야 한다. 손실블록의 픽셀에 맞는 최적의 공간방향벡터를 결정하기 위하여 하기의 [수학식 8]과 같이 방향성 왜곡값(가중치)인 C(x,y)의 개념을 도입한다.The loss block may have various edge characteristics depending on each area. Thus each missing pixel must interpolate along the direction of the corresponding edge. In order to determine the optimal spatial direction vector for the pixel of the loss block, the concept of C (x, y), which is a directional distortion value (weighted value), is introduced as shown in Equation 8 below.

Figure 112007035535181-PAT00012
Figure 112007035535181-PAT00012

여기서, P1(DSDV)와 P2(DSDV)는 유효 공간방향벡터(DSDV)를 따라 손실블록 주변의 경계와 만나는 픽셀 값을 의미한다. 이때, C(x,y)는 모든 유효 공간방향벡터에 대하여 계산하여 가장 작은 왜곡을 나타내는 방향을 해당 픽셀에 맞는 에지 방향으로 선택한다.Here, P 1 (DSDV) and P 2 (DSDV) mean pixel values that meet a boundary around a lost block along the effective spatial direction vector DSDV. At this time, C (x, y) is calculated for all effective spatial direction vectors and selects the direction showing the smallest distortion as the edge direction corresponding to the corresponding pixel.

한편, 방향왜곡의 측정 방식은 성공적으로 수신된 영역의 픽셀 값을 이용하기 때문에 에러 전파 문제에서 자유롭다. 또한, 슬라이스 단위의 손실일 경우에 P1(DSDV)와 P2(DSDV)의 위치는 복원의 신뢰도를 위하여 손실 블록 크기의 2배 길이 안에 해당하는 영역으로 제한한다.On the other hand, the measurement method of the direction distortion is free from error propagation problem because it uses the pixel value of the successfully received area. Also, in case of loss in the slice unit, the positions of P 1 (DSDV) and P 2 (DSDV) are limited to an area that is within a length twice the size of the loss block for reliability of restoration.

다음으로, 상기 계산한 방향성 왜곡값을 이용하여 손실 픽셀을 복원한다(305).Next, the lost pixel is restored using the calculated directional distortion value (305).

즉, 최소의 방향성 왜곡값 C1에 해당하는 DSDV1와 두 번째로 작은 왜곡값 C2에 해당하는 DSDV2를 검출한다. That is, DSDV 1 corresponding to the minimum directional distortion value C 1 and DSDV 2 corresponding to the second smallest distortion value C 2 are detected.

이후, 검출한 유효 공간방향벡터(DSDV1와 DSDV2)를 이용하여 손실 픽셀의 보간값(PDSDV1(x,y), PDSDV2(x,y))을 계산한다. 즉, 하기의 [수학식 9]를 통해 보간한다. Thereafter, interpolation values P DSDV1 (x, y) and P DSDV2 (x, y) of missing pixels are calculated using the detected effective spatial direction vectors DSDV 1 and DSDV 2 . That is, interpolation is performed through Equation 9 below.

Figure 112007035535181-PAT00013
Figure 112007035535181-PAT00013

여기서, P1(DSDV)와 P2(DSDV)는 도 6에 도시된 바와 같이, 유효 공간방향벡터(DSDV)의 방향을 따라 최소거리에 있는 손실블록 경계의 픽셀 값을 나타내고, dX(x=1,2)는 복원하려는 픽셀과 Px(DSDV) 사이의 거리를 나타낸다. Here, as shown in Figure 6 P 1 (DSDV) and P 2 (DSDV) is, in the direction of the effective spatial vector (DSDV) denotes a pixel value of the lost block boundary in the minimum distance, d X (x = 1, 2) represents the distance between the pixel to be restored and P x (DSDV).

이후, 상기 계산한 보간값(PDSDV1(x,y), PDSDV2(x,y))과 해당 가중치(C1, C2)를 이용하여 복원한다. 즉, 하기의 [수학식 10]을 통해 손실 픽셀을 복원한다.Thereafter, the interpolation values P DSDV1 (x, y) and P DSDV2 (x, y) and the corresponding weights C 1 and C 2 are restored. That is, lost pixels are restored through Equation 10 below.

Figure 112007035535181-PAT00014
Figure 112007035535181-PAT00014

여기서, C1 또는 C2가 0인 경우 하나의 방향성 왜곡값을 이용하여 복원하는 방식이 되고, C1 과 C2가 같을 경우 평균을 이용하여 복원하는 방식이 된다.Where C 1 or C 2 is 0 It is a method of restoring by using the directional distortion value, C 1 If and C 2 are the same, it is a method of restoring using the mean.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상 의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in detail any more.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

상기와 같은 본 발명은, 손실블록의 에지 방향을 주변 블록의 데이터를 이용하여 정밀하게 추정한 후 최적의 에지 방향을 선택하여 손실 블록 내의 각각의 픽셀을 적응적으로 보간함으로써, 평탄한 영역뿐만 아니라 에지를 포함한 복잡한 영역도 낮은 복잡도 및 높은 화질로 복원할 수 있는 효과가 있다.The present invention as described above, by accurately estimating the edge direction of the loss block using the data of the neighboring block, and then by selecting the optimal edge direction to adaptively interpolate each pixel in the loss block, the edge as well as the flat area Complex areas, including, can also be restored to low complexity and high image quality.

또한, 본 발명은 손실블록이 복잡한 영상 구조, 즉 에지나 텍스쳐가 복잡한 영역에서도 낮은 복잡도로 및 높은 화질로 복원할 수 있는 효과가 있다.In addition, the present invention has the effect that can be restored to a low complexity and high image quality even in a complex image structure, that is, the edge or texture of the loss block complex.

Claims (25)

손실블록의 각 경계 픽셀에 대한 기울기(Gradient) 방향을 소정의 영역별로 분류한 후 각 영역에서 에지의 세기(ES)를 산출하는 에지 세기 산출단계; An edge intensity calculating step of classifying a gradient direction for each boundary pixel of the loss block by a predetermined region and calculating an intensity (ES) of an edge in each region; 상기 산출한 각 영역의 에지 세기를 이용하여 공간방향벡터를 산출하는 공간방향벡터 산출단계; Calculating a spatial direction vector using the calculated edge strengths of the respective areas; 상기 산출한 공간방향벡터들 중에서 유효 공간방향벡터를 선별하는 유효 공간방향벡터 선별단계; An effective spatial direction vector selection step of selecting an effective spatial direction vector from the calculated spatial direction vectors; 상기 선별한 각 유효 공간방향벡터에 대한 방향성 왜곡값을 계산하는 방향성 왜곡값 계산단계; 및 A directional distortion value calculation step of calculating a directional distortion value for each of the selected effective spatial direction vectors; And 상기 계산한 방향성 왜곡값을 이용하여 손실 픽셀을 복원하는 손실 픽셀 복원단계 A lost pixel restoration step of restoring a lost pixel using the calculated directional distortion value 를 포함하는 방향성 보간을 이용한 손실 픽셀 복원 방법.Lost pixel recovery method using directional interpolation comprising a. 제 1 항에 있어서,The method of claim 1, 상기 에지 세기 산출단계는, The edge strength calculating step, 소벨 마스크(Sobel mask)를 이용하여 손실블록의 각 경계 픽셀에 대해 기울기(Gradient)를 산출하는 기울기 산출단계; A gradient calculation step of calculating a gradient for each boundary pixel of the loss block using a Sobel mask; 상기 산출한 각 기울기의 방향을 계산하여 소정의 영역으로 분류하는 영역 분류단계; 및 An area classification step of calculating the directions of the calculated slopes and classifying them into predetermined areas; And 상기 소정 영역에서 에지의 세기를 산출하는 세기 산출단계An intensity calculating step of calculating an intensity of an edge in the predetermined region 을 포함하는 방향성 보간을 이용한 손실 픽셀 복원 방법.Loss pixel recovery method using directional interpolation comprising a. 제 2 항에 있어서,The method of claim 2, 상기 영역 분류단계는, The area classification step, 상기 산출한 각 기울기의 방향을 계산하여 8개의 영역으로 분류하되,The direction of each calculated slope is calculated and classified into eight areas, 각 영역은 22.5°로 균일한 폭을 갖으며, 180°의 모든 방향을 나타내는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.Loss pixel restoration method using directional interpolation, wherein each region has a uniform width of 22.5 ° and represents all directions of 180 °. 제 3 항에 있어서,The method of claim 3, wherein 상기 8개의 영역은,The eight areas, D0(
Figure 112007035535181-PAT00015
)이고, D1(
Figure 112007035535181-PAT00016
), D2(
Figure 112007035535181-PAT00017
), D3(
Figure 112007035535181-PAT00018
), D4(
Figure 112007035535181-PAT00019
), D5(
Figure 112007035535181-PAT00020
), D6(
Figure 112007035535181-PAT00021
), D7(
Figure 112007035535181-PAT00022
)을 포함하되, 연속적으로 손실블록이 발생한 경우 D0의 영역 중
Figure 112007035535181-PAT00023
은 D1의 영역으로 편입시키고,
Figure 112007035535181-PAT00024
은 D7의 영역으로 편입 시키는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.D 0 (
Figure 112007035535181-PAT00015
), D 1 (
Figure 112007035535181-PAT00016
), D 2 (
Figure 112007035535181-PAT00017
), D 3 (
Figure 112007035535181-PAT00018
), D 4 (
Figure 112007035535181-PAT00019
), D 5 (
Figure 112007035535181-PAT00020
), D 6 (
Figure 112007035535181-PAT00021
), D 7 (
Figure 112007035535181-PAT00022
) Of the area of the D 0 if occurred, continuously lost block including,
Figure 112007035535181-PAT00023
Is incorporated into the region of D 1 ,
Figure 112007035535181-PAT00024
Lost pixel reconstruction using directional interpolation, characterized in that it is incorporated into the area of D 7 . 제 2 항에 있어서,The method of claim 2, 상기 기울기 산출단계는,The slope calculation step, 하기의 [수학식 A]를 통해 경계 픽셀 B(x,y)에 대한 에지의 기울기(Gradient) 성분인 gx(x,y), gy(x,y)를 산출하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.Directionality characterized by calculating g x (x, y), g y (x, y) which are gradient components of the edge with respect to the boundary pixel B (x, y) through Equation A below Lost pixel recovery method using interpolation. [수학식 A]Equation A
Figure 112007035535181-PAT00025
Figure 112007035535181-PAT00025
 여기서, Sx(x,y) 및 Sy(x,y)는 소벨 마스크를 나타낸다.Here, S x (x, y) and S y (x, y) represent the Sobel mask. 제 5 항에 있어서,The method of claim 5, wherein 상기 기울기의 방향을 계산하는 과정은,The process of calculating the direction of the slope, 하기의 [수학식 B]을 통해 계산하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.Loss pixel recovery method using directional interpolation, characterized in that calculated by the following Equation B. [수학식 B]Equation B
Figure 112007035535181-PAT00026
Figure 112007035535181-PAT00026
 제 2 항에 있어서,The method of claim 2, 상기 세기 산출단계는,The intensity calculation step, 하기의 [수학식 C]을 통해 에지의 세기를 산출하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.Loss pixel reconstruction using directional interpolation, characterized in that the strength of the edge is calculated through Equation (C) below. [수학식 C]Equation C
Figure 112007035535181-PAT00027
Figure 112007035535181-PAT00027
 여기서,
Figure 112007035535181-PAT00028
이며, gx(x,y), gy(x,y)는 에지의 기울기 성분을 나타낸다.here,
Figure 112007035535181-PAT00028
And g x (x, y) and g y (x, y) represent the slope components of the edge. 제 2 항 내지 제 7 항 중 어느 한 항에 있어서,The method according to any one of claims 2 to 7, 상기 기울기 산출단계는,The slope calculation step, 손실블록 각각의 경계 픽셀에 대해 소벨 마스크(Sobel mask)들을 시계 방향으로 이동시키면서 각각의 기울기를 산출하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.A method of restoring lost pixels using directional interpolation, comprising: calculating a respective slope while moving Sobel masks clockwise with respect to each boundary pixel of the lost block. 제 1 항 또는 제 2 항에 있어서,The method according to claim 1 or 2, 상기 공간방향벡터 산출단계는, The spatial direction vector calculating step, 8개의 에지 방향 영역에 대해 대표 방향을 나타내는 8개의 공간방향벡터들을 산출하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.A method for recovering lost pixels using directional interpolation, comprising: calculating eight spatial direction vectors representing representative directions for eight edge direction regions. 제 9 항에 있어서,The method of claim 9, 상기 공간방향벡터 산출단계는, The spatial direction vector calculating step, 하기의 [수학식 D]를 통해 산출하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.Loss pixel restoration method using directional interpolation, characterized in that calculated by the following [Equation D]. [수학식 D][Equation D]
Figure 112007035535181-PAT00029
Figure 112007035535181-PAT00029
 여기서,
Figure 112007035535181-PAT00030
이며, gx(x,y), gy(x,y)는 에지의 기울기 성분을 나타낸다.here,
Figure 112007035535181-PAT00030
And g x (x, y) and g y (x, y) represent the slope components of the edge. 제 9 항에 있어서,The method of claim 9, 상기 유효 공간방향벡터 선별단계는, The effective spatial direction vector selection step, 상기 산출한 8개의 공간방향벡터들 중에서 임계치를 초과하는 유효 공간방향벡터를 선별하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.A method of restoring lost pixels using directional interpolation, comprising selecting the effective spatial direction vectors exceeding a threshold value among the calculated eight spatial direction vectors. 제 11 항에 있어서,The method of claim 11, 상기 임계치(TES)는, The threshold value T ES , 하기의 [수학식 E]을 통해 산출하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.Loss pixel restoration method using directional interpolation, characterized in that calculated by the following Equation E. [수학식 E][Equation E]
Figure 112007035535181-PAT00031
Figure 112007035535181-PAT00031
 여기서, ESmax는 8개의 에지 세기 중 최대값을 의미하고, k는 0에서 1 사이의 값을 가지는 상수이다.Here, ES max means the maximum value of the eight edge intensities, k is a constant having a value between 0 and 1. 제 9 항에 있어서,The method of claim 9, 상기 방향성 왜곡값 계산단계는, The directional distortion calculation step, 하기의 [수학식 F]을 통해 계산하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.Loss pixel recovery method using directional interpolation, characterized in that calculated by the following equation (F). [수학식 F]Equation F
Figure 112007035535181-PAT00032
Figure 112007035535181-PAT00032
 여기서, P1(DSDV)와 P2(DSDV)는 유효 공간방향벡터(DSDV)를 따라 손실블록 주변의 경계와 만나는 픽셀 값을 의미한다. Here, P 1 (DSDV) and P 2 (DSDV) mean pixel values that meet a boundary around a lost block along the effective spatial direction vector DSDV. 제 13 항에 있어서,The method of claim 13, 상기 P1(DSDV)와 P2(DSDV)의 위치는, Position of the P 1 (DSDV) and P 2 (DSDV), 슬라이스 단위의 손실일 경우, 손실블록 크기의 2배 길이 내에 해당하는 영역으로 제한하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.The loss pixel recovery method using the directional interpolation, characterized in that the loss in the slice unit, limited to a region within a length of twice the loss block size. 제 9 항에 있어서,The method of claim 9, 상기 손실 픽셀 복원단계는, The lost pixel restoration step, 상기 계산한 방향성 왜곡값 중 가장 작은 방향성 왜곡값에 해당하는 유효 공간방향벡터를 검출하는 단계;Detecting an effective spatial direction vector corresponding to the smallest directional distortion value among the calculated directional distortion values; 상기 계산한 방향성 왜곡값 중 두 번째로 작은 방향성 왜곡값에 해당하는 유효 공간방향벡터를 검출하는 단계;Detecting an effective spatial direction vector corresponding to a second smallest directional distortion value among the calculated directional distortion values; 상기 검출한 두 유효 공간방향벡터를 이용하여 손실 픽셀의 보간값을 계산하는 보간값 계산단계; 및 An interpolation value calculation step of calculating an interpolation value of a lost pixel by using the detected two effective spatial direction vectors; And 상기 계산한 보간값과 해당 방향성 왜곡값(가중치)을 이용하여 손실 픽셀을 복원하는 단계Restoring the missing pixel using the calculated interpolation value and the corresponding directional distortion value (weighted value) 을 포함하는 방향성 보간을 이용한 손실 픽셀 복원 방법.Loss pixel recovery method using directional interpolation comprising a. 제 15 항에 있어서,The method of claim 15, 상기 보간값 계산단계는, The interpolation value calculation step, 하기의 [수학식 G]을 통해 계산하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.Loss pixel recovery method using directional interpolation, characterized in that calculated by the following equation (G). [수학식 G][Equation G]
Figure 112007035535181-PAT00033
Figure 112007035535181-PAT00033
 여기서, P1(DSDV)와 P2(DSDV)는 유효 공간방향벡터의 방향을 따라 최소거리 에 있는 손실블록 경계의 픽셀 값을 나타내고, dX(x=1,2)는 손실 픽셀과 Px(DSDV) 사이의 거리를 나타낸다. Here, P 1 (DSDV) and P 2 (DSDV) represent pixel values of the lost block boundary at the minimum distance along the direction of the effective spatial direction vector, and d X (x = 1,2) represents the lost pixel and P x. Represents the distance between (DSDV). 제 15 항에 있어서, The method of claim 15, 상기 손실 픽셀의 복원 과정은, The restoration process of the lost pixel, 하기의 [수학식 H]을 통해 복원하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.Loss pixel restoration method using directional interpolation characterized in that the restoration by the following [Equation H]. [수학식 H][Equation H]
Figure 112007035535181-PAT00034
Figure 112007035535181-PAT00034
 여기서, C1는 가장 작은 방향성 왜곡값을, DSDV1는 C1에 해당하는 유효 공간방향벡터를 의미하고, C2는 두 번째로 작은 왜곡값을, DSDV2는 C2에 해당하는 유효 공간방향벡터를 의미한다. Where C 1 is the smallest directional distortion value, DSDV 1 is the effective spatial direction vector corresponding to C 1 , C 2 is the second smallest distortion value, and DSDV 2 is the effective spatial direction corresponding to C 2 Means vector. 제 15 항에 있어서,The method of claim 15, 상기 손실 픽셀의 복원 과정은, The restoration process of the lost pixel, 상기 두 방향성 왜곡값 중 하나의 방향성 왜곡값이 0인 경우 하나의 방향성 왜곡값을 이용하여 손실 픽셀을 복원하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.One of the two directional distortion values A method of restoring lost pixels using directional interpolation, wherein when the directional distortion value is 0, the lost pixels are restored using one directional distortion value. 제 15 항에 있어서,The method of claim 15, 상기 손실 픽셀의 복원 과정은, The restoration process of the lost pixel, 상기 두 방향성 왜곡값이 같은 경우 평균 방식으로 손실 픽셀을 복원하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 방법.And reconstructing the lost pixels in an average manner when the two directional distortion values are the same. 방향성 보간을 이용한 손실 픽셀 복원 장치에 있어서, In the lost pixel restoration apparatus using directional interpolation, 손실블록의 각 경계 픽셀에 대한 기울기(Gradient) 방향을 소정의 영역별로 분류한 후 각 영역에서 에지의 세기(ES)를 산출하기 위한 에지 세기 산출수단; Edge intensity calculating means for classifying a gradient direction for each boundary pixel of the loss block for each predetermined area and calculating the intensity ES of each edge in each area; 상기 산출한 각 영역의 에지 세기를 이용하여 공간방향벡터를 산출하기 위한 공간방향벡터 산출수단; Spatial direction vector calculation means for calculating a spatial direction vector using the calculated edge intensities of the respective areas; 상기 산출한 공간방향벡터들 중에서 유효 공간방향벡터를 선별하기 위한 유효 공간방향벡터 선별수단; An effective spatial direction vector selection means for selecting an effective spatial direction vector from the calculated spatial direction vectors; 상기 선별한 각 유효 공간방향벡터에 대한 방향성 왜곡값을 계산하기 위한 방향성 왜곡값 계산수단; 및 Directional distortion value calculating means for calculating directional distortion values for the selected effective spatial direction vectors; And 상기 계산한 방향성 왜곡값을 이용하여 손실 픽셀을 복원하기 위한 손실 픽셀 복원수단Lost pixel restoring means for restoring lost pixels using the calculated directional distortion value 을 포함하는 방향성 보간을 이용한 손실 픽셀 복원 장치.Lost pixel recovery apparatus using directional interpolation comprising a. 제 20 항에 있어서,The method of claim 20, 상기 에지 세기 산출수단은, The edge intensity calculating means, 소벨 마스크(Sobel mask)를 이용하여 손실블록의 각 경계 픽셀에 대해 기울기(Gradient)를 산출하고, 상기 산출한 각 기울기의 방향을 계산하여 소정의 영역으로 분류한 후 상기 소정 영역에서 에지의 세기를 산출하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 장치.Gradients are calculated for each boundary pixel of the loss block using a Sobel mask, the directions of the calculated slopes are calculated and classified into predetermined areas, and then the intensity of the edges in the predetermined area is calculated. Loss pixel restoration apparatus using directional interpolation, characterized in that the calculation. 제 20 항 또는 제 21 항에 있어서,The method of claim 20 or 21, 상기 공간방향벡터 산출수단은,The spatial direction vector calculating means, 8개의 에지 방향 영역에 대해 대표 방향을 나타내는 8개의 공간방향벡터들을 산출하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 장치.An apparatus for recovering lost pixels using directional interpolation, characterized by calculating eight spatial direction vectors representing representative directions for eight edge direction regions. 제 22 항에 있어서,The method of claim 22, 상기 유효 공간방향벡터 선별수단은,The effective spatial direction vector selection means, 상기 산출한 8개의 공간방향벡터들 중에서 임계치를 초과하는 유효 공간방향벡터를 선별하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 장치.An apparatus for reconstructing lost pixels using directional interpolation, comprising: selecting an effective spatial direction vector exceeding a threshold value among the calculated eight spatial direction vectors. 제 20 항 또는 제 21 항에 있어서,The method of claim 20 or 21, 상기 손실 픽셀 복원수단은, The lost pixel restoration means, 상기 계산한 방향성 왜곡값 중 가장 작은 방향성 왜곡값에 해당하는 유효 공간방향벡터를 검출하고, 상기 계산한 방향성 왜곡값 중 두 번째로 작은 방향성 왜곡값에 해당하는 유효 공간방향벡터를 검출하며, 상기 검출한 두 유효 공간방향벡터를 이용하여 손실 픽셀의 보간값을 계산한 후 상기 계산한 보간값과 해당 방향성 왜곡값(가중치)을 이용하여 손실 픽셀을 복원하는 것을 특징으로 하는 방향성 보간을 이용한 손실 픽셀 복원 장치.Detecting an effective spatial direction vector corresponding to the smallest directional distortion value among the calculated directional distortion values, detecting an effective spatial direction vector corresponding to a second smallest directional distortion value among the calculated directional distortion values, and detecting Loss pixel reconstruction using directional interpolation, wherein the interpolation value of the lost pixel is calculated using one or two effective spatial direction vectors, and the lost pixel is reconstructed using the calculated interpolation value and the corresponding directional distortion value (weighted value). Device. 방향성 보간을 이용한 손실 픽셀 복원 장치에,In a lost pixel recovery device using directional interpolation, 손실블록의 각 경계 픽셀에 대한 기울기(Gradient) 방향을 소정의 영역별로 분류한 후 각 영역에서 에지의 세기(ES)를 산출하는 에지 세기 산출기능; An edge intensity calculation function for classifying a gradient direction for each boundary pixel of the loss block by a predetermined region and calculating an edge intensity ES in each region; 상기 산출한 각 영역의 에지 세기를 이용하여 공간방향벡터를 산출하는 공간방향벡터 산출기능; A spatial direction vector calculation function for calculating a spatial direction vector using the calculated edge strengths of the respective areas; 상기 산출한 공간방향벡터들 중에서 유효 공간방향벡터를 선별하는 유효 공간방향벡터 선별기능; An effective spatial direction vector selection function for selecting an effective spatial direction vector from the calculated spatial direction vectors; 상기 선별한 각 유효 공간방향벡터에 대한 방향성 왜곡값을 계산하는 방향성 왜곡값 계산기능; 및 A directional distortion value calculation function for calculating a directional distortion value for each of the selected effective spatial direction vectors; And 상기 계산한 방향성 왜곡값을 이용하여 손실 픽셀을 복원하는 손실 픽셀 복원기능 Lost pixel restoration function for restoring lost pixels using the calculated directional distortion value 을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for realizing this.
KR1020070046759A 2006-11-29 2007-05-14 Apparatus and method for restoring loss pixel using directional interpolation KR100886647B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060119267 2006-11-29
KR20060119267 2006-11-29

Publications (2)

Publication Number Publication Date
KR20080048904A true KR20080048904A (en) 2008-06-03
KR100886647B1 KR100886647B1 (en) 2009-03-04

Family

ID=39804935

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070046759A KR100886647B1 (en) 2006-11-29 2007-05-14 Apparatus and method for restoring loss pixel using directional interpolation

Country Status (1)

Country Link
KR (1) KR100886647B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100954288B1 (en) * 2008-10-20 2010-04-23 한양대학교 산학협력단 Method and apparatus for completing image with structure estimation
US8520973B2 (en) 2008-12-19 2013-08-27 Electronics And Telecommunications Research Institute Method for restoring transport error included in image and apparatus thereof
US20160182920A1 (en) * 2014-12-18 2016-06-23 Konkuk University Industrial Cooperation Corp Error concealment method using spatial interpolation and exemplar-based image inpainting
KR20160074274A (en) 2014-12-18 2016-06-28 건국대학교 산학협력단 Adaptive spatial interpolation method and reconstruction apparatus of pixel using adaptive spatial interpolation
KR101634459B1 (en) 2014-12-18 2016-06-28 건국대학교 산학협력단 Hybrid error concealment method
CN118400543A (en) * 2024-06-25 2024-07-26 湖北华中电力科技开发有限责任公司 Foreign matter detection method and system for overhead transmission line based on image processing

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100243862B1 (en) * 1996-12-23 2000-02-01 전주범 Method and apparatus for concealing errors in a transmitted video signal

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100954288B1 (en) * 2008-10-20 2010-04-23 한양대학교 산학협력단 Method and apparatus for completing image with structure estimation
US8520973B2 (en) 2008-12-19 2013-08-27 Electronics And Telecommunications Research Institute Method for restoring transport error included in image and apparatus thereof
US20160182920A1 (en) * 2014-12-18 2016-06-23 Konkuk University Industrial Cooperation Corp Error concealment method using spatial interpolation and exemplar-based image inpainting
KR20160074274A (en) 2014-12-18 2016-06-28 건국대학교 산학협력단 Adaptive spatial interpolation method and reconstruction apparatus of pixel using adaptive spatial interpolation
KR101634459B1 (en) 2014-12-18 2016-06-28 건국대학교 산학협력단 Hybrid error concealment method
US9848210B2 (en) * 2014-12-18 2017-12-19 Konkuk University Industrial Cooperation Corp Error concealment method using spatial interpolation and exemplar-based image inpainting
CN118400543A (en) * 2024-06-25 2024-07-26 湖北华中电力科技开发有限责任公司 Foreign matter detection method and system for overhead transmission line based on image processing

Also Published As

Publication number Publication date
KR100886647B1 (en) 2009-03-04

Similar Documents

Publication Publication Date Title
US6819804B2 (en) Noise reduction
US7856150B2 (en) Denoise method on image pyramid
EP2230640B1 (en) Method for filtering depth images
KR100886647B1 (en) Apparatus and method for restoring loss pixel using directional interpolation
CN104103050B (en) A kind of real video restored method based on local policy
EP2230855A2 (en) Synthesizing virtual images from texture and depth images
KR101112139B1 (en) Apparatus and method for estimating scale ratio and noise strength of coded image
EP2230856A2 (en) Method for up-sampling images
Mignotte A segmentation-based regularization term for image deconvolution
CN101853497A (en) Image enhancement method and device
CN112508810A (en) Non-local mean blind image denoising method, system and device
JP2009212969A (en) Image processing apparatus, image processing method, and image processing program
Langari et al. Edge-guided image gap interpolation using multi-scale transformation
Bindal et al. Novel three stage range sensitive filter for denoising high density salt & pepper noise
Ye et al. Content based error detection and concealment for image transmission over wireless channel
Luo et al. Global feature fusion attention network for single image dehazing
CN105469358A (en) Image processing method
CN102156973A (en) Image de-noising method and equipment
Park et al. False contour reduction using neural networks and adaptive bi-directional smoothing
KR102119138B1 (en) Bayesian based image restoration method for camera
Lin A nonlocal means based adaptive denoising framework for mixed image noise removal
Yun et al. Adaptive multidirectional edge directed interpolation for selected edge regions
Kim et al. Removing false contour artifact for bit-depth expansion
KR101650897B1 (en) Window size zooming method and the apparatus for lower resolution contents
Ogawa et al. Restoration method of missing areas in still images using GMRF model

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20150105

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20160104

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee