KR101158847B1 - Deinterlacing apparatus and method using edge map - Google Patents

Deinterlacing apparatus and method using edge map Download PDF

Info

Publication number
KR101158847B1
KR101158847B1 KR1020100083086A KR20100083086A KR101158847B1 KR 101158847 B1 KR101158847 B1 KR 101158847B1 KR 1020100083086 A KR1020100083086 A KR 1020100083086A KR 20100083086 A KR20100083086 A KR 20100083086A KR 101158847 B1 KR101158847 B1 KR 101158847B1
Authority
KR
South Korea
Prior art keywords
interpolation
edge
pixel
target pixel
interpolation target
Prior art date
Application number
KR1020100083086A
Other languages
Korean (ko)
Other versions
KR20120040764A (en
Inventor
정제창
박상준
Original Assignee
중앙대학교 산학협력단
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단, 한양대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020100083086A priority Critical patent/KR101158847B1/en
Publication of KR20120040764A publication Critical patent/KR20120040764A/en
Application granted granted Critical
Publication of KR101158847B1 publication Critical patent/KR101158847B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012Conversion between an interlaced and a progressive signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/01Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Abstract

본 발명은 에지맵을 이용한 디인터레이싱 장치 및 방법에 관한 것으로, 본 발명의 일 실시예에 따른 디인터레이싱 장치는 입력 인터레이스 이미지의 참조 화소에 대한 그래디언트 벡터의 크기를 연산하는 마스킹 적용부; 상기 연산된 그래디언트 벡터의 크기를 미리 설정된 값과 비교하여 상기 참조 화소의 에지를 검출하는 에지 검출부; 상기 참조 화소의 에지 여부에 따라 보간 대상 화소의 에지 여부를 결정하는 에지 결정부; 상기 보간 대상 화소의 에지 여부에 따라 상기 보간 대상 화소에 적용될 보간방법을 선택하는 보간방법 선택부; 및 상기 선택된 보간방법을 이용하여 상기 보간 대상 화소를 보간하는 보간부를 포함한다.The present invention relates to a deinterlacing apparatus and method using an edge map, the deinterlacing apparatus according to an embodiment of the present invention includes a masking application unit for calculating the size of the gradient vector for the reference pixel of the input interlaced image; An edge detector for detecting an edge of the reference pixel by comparing the magnitude of the calculated gradient vector with a preset value; An edge determination unit that determines whether the interpolation target pixel is edged according to the edge of the reference pixel; An interpolation method selector which selects an interpolation method to be applied to the interpolation target pixel according to an edge of the interpolation target pixel; And an interpolation unit which interpolates the interpolation target pixel by using the selected interpolation method.

Description

에지맵을 이용한 디인터레이싱 장치 및 방법{Deinterlacing apparatus and method using edge map}Deinterlacing apparatus and method using edge map

본 발명은 영상 신호의 디인터레이싱(deinteracing) 장치 및 방법에 관한 것으로, 보다 구체적으로 에지맵을 이용한 디인터레이싱 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for deinterlacing an image signal, and more particularly, to an apparatus and method for deinterlacing using an edge map.

TV 개발 초기부터 영상 소스가 비월 주사(interaced scanning) 방식을 취하고 있었고, 현재에도 방대한 영상 소스와의 호환성 문제로 인하여 TV 신호 방식에서는 비월 주사 방식을 많이 채택하고 있다.Since the beginning of TV development, the image source has been interlaced scanning method, and the interlaced scanning method is widely adopted in the TV signal method due to the compatibility problem with the vast image source.

비월 주사 방식은 제한된 대역폭을 효율적으로 사용하기 위해 NTSC(National Television Systems Committee), PAL(Phase Alternation by Line), 세캄(SECAM)을 포함하여 많은 TV 시스템에서 널리 사용되고 있다. 비월 주사 방식은 대역폭을 줄일 수 있는 장점이 있으나, 주사 방식의 특징에 의해 화면간 플리커(interline flicker), 이미지의 어긋남(jaggedness), 그리고 라인 크롤링(line crawling)과 같은 원치 않는 시각적 열화를 야기할 수 있다.Interlaced scanning is widely used in many TV systems, including the National Television Systems Committee (NTSC), Phase Alternation by Line (PAL), and Secam (SECAM) to efficiently use limited bandwidth. The interlaced scanning method has the advantage of reducing the bandwidth, but the scanning method may cause unwanted visual deterioration such as interline flicker, image jaggedness, and line crawling. Can be.

또한, 영상 디스플레이의 발달로 최근 출시되는 많은 디지털 영상 디스플레이 제품들(예를 들어 HDTV, 컴퓨터 모니터, LCD, PDP 패널 등)은 한 번에 전체 이미지를 표시할 수 있는 순차 주사(progressive scanning) 방식을 많이 채택하고 있다. In addition, many digital video display products (e.g. HDTVs, computer monitors, LCDs, PDP panels, etc.) that are recently released due to the development of video display have a progressive scanning method that can display an entire image at a time. I adopt a lot.

그리하여, 비월 주사 방식의 화질 열화를 막고, 비월 주사 방식의 영상 신호를 순차 주사 방식의 영상 신호로 변환하도록 디인터레이싱(deinterlacing)이 제안되었다. Thus, deinterlacing has been proposed to prevent image quality deterioration of the interlaced scanning method and to convert the interlaced scanning video signal into a sequential scanning video signal.

디인터레이싱 기법은 한 프레임 안에서 공간적 상관성을 이용하는 단일필드 공간적 알고리즘(single-field spatial algorithm)과 프레임 간의 시간적 상관성을 이용하는 필드간 시간적 알고리즘(inter-field temporal algorithm)으로 나눌 수 있다. 단일필드 공간적 알고리즘은 시간적 정보를 사용하지 않고 공간적 상관성을 이용하는 필드내 보간(intra-field interpolation)을 하며, 필드간 시간적 알고리즘은 시간적 상관성을 이용하는 필드간 보간(inter-field interpolation)을 한다.The deinterlacing technique can be divided into a single-field spatial algorithm using spatial correlation within one frame and an inter-field temporal algorithm using temporal correlation between frames. Single-field spatial algorithms perform intra-field interpolation using spatial correlation without using temporal information, and inter-field temporal algorithms perform inter-field interpolation using temporal correlation.

필드간 시간적 알고리즘에는 움직임 적응형 알고리즘(motion adaptive algorithm)과 움직임 보상형 알고리즘(motion compensation algorithm) 등이 있다. 필드간 시간적 알고리즘은 단일필드 공간적 알고리즘보다 효율성이 좋다고 알려져 있으나, 커다란 계산상 복잡성이 요구된다. Inter-field temporal algorithms include a motion adaptive algorithm and a motion compensation algorithm. Inter-field temporal algorithms are known to be more efficient than single-field spatial algorithms, but require significant computational complexity.

단일필드 공간적 알고리즘에는 LA(Line Average) 알고리즘, ELA(Edge-based Line Average) 알고리즘, EELA(Efficient ELA) 알고리즘 등이 있다. 단일필드 공간적 알고리즘은 명확성, 저비용, 하드웨어에서 쉬운 실행 등의 이유로 실시간 적용에 적절하다. 즉, 단일필드 공간적 알고리즘은 복잡도가 낮아서 실시간 처리를 요하는 기기에 적용이 가능하다.Single-field spatial algorithms include line average (LA) algorithms, edge-based line average (ELA) algorithms, and efficient ELA (EELA) algorithms. Single-field spatial algorithms are suitable for real-time applications for reasons of clarity, low cost, and easy execution in hardware. In other words, the single-field spatial algorithm is low in complexity and can be applied to devices requiring real-time processing.

일반적으로 단일필드 공간적 알고리즘에 포함되는 종래 방법들은 에지 방향을 따라 보간을 한다. 비록, 단일필드 공간적 알고리즘에 속하는 종래 방법들이 실행의 단순성과 용이성 때문에 널리 사용되기는 하나, 고려하는 에지 방향의 개수가 제한되어 있어 잡음이 발생하거나 복원된 화소가 노이즈로 보이는 문제가 발생할 수 있다.In general, the conventional methods included in the single-field spatial algorithm interpolate along the edge direction. Although the conventional methods belonging to the single-field spatial algorithm are widely used due to the simplicity and ease of execution, the number of edge directions to be considered is limited, which may cause noise or reconstructed pixels to appear as noise.

ELA 알고리즘은 영상에서 라인 사이의 상관도 방향을 검출하여 가장 상관도가 높은 방향을 정하고, 이 방향을 기초로 두 라인의 화소 평균을 취하여 보간하는 방법이다. 그러나 화소 값의 작은 변화에 민감하고, 45도 보다 크거나 작은 각도의 대각선에 대해서는 잘못된 에지(edge) 정보를 이용하는 단점이 있다. 이러한 문제점을 보완하기 위한 알고리즘이 EELA이다. The ELA algorithm detects the direction of correlation between lines in an image, determines the direction with the highest correlation, and interpolates by taking the pixel average of two lines based on the direction. However, it is sensitive to small changes in pixel values and has the disadvantage of using wrong edge information for diagonals greater than or equal to 45 degrees. An algorithm to solve this problem is EELA.

EELA 알고리즘은 ELA 알고리즘보다 더 정확한 방향성을 찾기 위해 현재 위치에서 영상의 공간적인 형태를 세가지로 분류한다. 즉 공간적인 방향성이 왼쪽, 오른쪽, 또는 그 외의 경우로 분류하여 각각 분류된 범주에서 적절한 방법으로 ELA를 변형하여 적용한다. 그러나 EELA 알고리즘도 추정된 에지 방향의 정밀도의 관점에서 최적의 성능을 구현하는데 무리가 있다. The EELA algorithm classifies three spatial forms of the image at the current location to find more accurate orientation than the ELA algorithm. In other words, spatial directionality is classified into left, right, or other cases, and the ELA is modified and applied in the appropriate category in each classified category. However, the EELA algorithm is also difficult to realize optimal performance in terms of the estimated edge direction accuracy.

기존의 디인터레이싱 알고리즘의 문제를 해결하기 위해 새로운 디인터레이싱 알고리즘들이 등장하고 있다. 그러나 새로 등장하고 있는 디인터레이싱 알고리즘들은 성능은 향상되었으나, 계산량이 증가하여 디인터레이싱의 처리 시간도 증가하는 문제가 발생한다.New deinterlacing algorithms are emerging to solve the problem of the existing deinterlacing algorithm. However, although the new deinterlacing algorithms have improved performance, there is a problem that the processing time of the deinterlacing is increased due to the increased computational amount.

본 발명은 상기 문제점을 해결하기 위한 것으로, 디인터레이싱의 성능을 유지하면서 디인터레이싱의 처리 시간을 효과적으로 감소시키기 위해 에지맵을 이용한 디인터레이싱 장치 및 방법을 제안한다.The present invention has been made to solve the above problems, and proposes a deinterlacing apparatus and method using an edge map to effectively reduce the processing time of the deinterlacing while maintaining the performance of the deinterlacing.

본 발명이 해결하고자 하는 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.Problems to be solved by the present invention are not limited to the above-mentioned problems, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 디인터레이싱 장치는 입력 인터레이스 이미지의 참조 화소에 대한 그래디언트 벡터의 크기를 연산하는 마스킹 적용부; 상기 연산된 그래디언트 벡터의 크기를 미리 설정된 값과 비교하여 상기 참조 화소의 에지를 검출하는 에지 검출부; 상기 참조 화소의 에지 여부에 따라 보간 대상 화소의 에지 여부를 결정하는 에지 결정부; 상기 보간 대상 화소의 에지 여부에 따라 상기 보간 대상 화소에 적용될 보간방법을 선택하는 보간방법 선택부; 및 상기 선택된 보간방법을 이용하여 상기 보간 대상 화소를 보간하는 보간부를 포함한다.Deinterlacing apparatus according to an embodiment of the present invention for achieving the above object is a masking applying unit for calculating the size of the gradient vector for the reference pixel of the input interlace image; An edge detector for detecting an edge of the reference pixel by comparing the magnitude of the calculated gradient vector with a preset value; An edge determination unit that determines whether the interpolation target pixel is edged according to the edge of the reference pixel; An interpolation method selector which selects an interpolation method to be applied to the interpolation target pixel according to an edge of the interpolation target pixel; And an interpolation unit which interpolates the interpolation target pixel by using the selected interpolation method.

또한, 상기 과제를 달성하기 위한 본 발명의 일 실시예에 따른 디인터레이싱 방법은 입력 인터레이스 이미지의 참조 화소에 대한 그래디언트 벡터의 크기를 연산하는 단계; 상기 연산된 그래디언트 벡터의 크기를 미리 설정된 값과 비교하여 상기 참조 화소의 에지를 검출하는 단계; 상기 참조 화소의 에지 여부에 따라 보간 대상 화소의 에지 여부를 결정하는 단계; 상기 보간 대상 화소의 에지 여부에 따라 상기 보간 대상 화소에 적용될 보간방법을 선택하는 단계; 및 상기 선택된 보간방법을 이용하여 상기 보간 대상 화소를 보간하는 단계를 포함한다.In addition, the deinterlacing method according to an embodiment of the present invention for achieving the above object comprises the steps of calculating the size of the gradient vector for the reference pixel of the input interlaced image; Detecting an edge of the reference pixel by comparing the magnitude of the calculated gradient vector with a preset value; Determining whether an interpolation target pixel is edged according to whether the reference pixel is edged; Selecting an interpolation method to be applied to the interpolation target pixel according to an edge of the interpolation target pixel; And interpolating the interpolation target pixel using the selected interpolation method.

그리고, 본 발명은 상기 디인터레이싱 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 포함한다.The present invention also includes a computer-readable recording medium having recorded thereon a program for executing the deinterlacing method on a computer.

본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.Other specific details of the invention are included in the detailed description and drawings.

본 발명에 따르면, 에지맵을 이용하여, 에지 영역에는 디인터레이싱의 성능은 우수하나 계산량이 많은 디인터레이싱 알고리즘을 적용하고, 에지가 아닌 영역에는 처리 시간이 짧은 디인터레이싱 알고리즘을 적용하여, 디인터레이싱의 성능을 향상 시킬 뿐만 아니라 디인터레이싱의 처리 시간을 현저히 줄일 수 있는 장점이 있다.According to the present invention, by using an edge map, a deinterlacing algorithm having a good deinterlacing performance but having a large amount of computation is applied to an edge region, and a deinterlacing algorithm having a short processing time is applied to a non-edge region to improve the performance of deinterlacing. In addition, there is an advantage that can significantly reduce the processing time of the deinterlacing.

도 1은 본 발명의 일 실시예에 따른 디인터레이싱 장치의 블록구성도이다.
도 2는 3x3 소벨 마스크를 도시한 도면이다.
도 3은 원본 영상 및 소벨 마스크를 이용하여 생성된 에지맵을 도시한 도면이다.
도 4는 보간 대상 화소를 중심으로 하는 윈도우의 크기를 도시한 도면이다.
도 5는 보간 대상 화소, 기준 화소, 인접 화소들의 관계를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 디인터레이싱 방법의 순서도이다.
도 7은 원본 영상과 디인터레이싱을 적용한 영상을 비교하기 위한 구성도이다.
도 8은 디인터레이싱 알고리즘을 이용하여 8개의 테스트 이미지의 PSNR 값과 CPU time을 구한 결과를 나타낸 표이다.
1 is a block diagram of a deinterlacing apparatus according to an embodiment of the present invention.
Figure 2 shows a 3x3 Sobel mask.
3 illustrates an edge map generated using an original image and a Sobel mask.
4 is a diagram illustrating the size of a window centered on an interpolation target pixel.
5 is a diagram illustrating a relationship between an interpolation target pixel, a reference pixel, and adjacent pixels.
6 is a flowchart of a deinterlacing method according to an embodiment of the present invention.
7 is a configuration diagram for comparing an original image with an image to which deinterlacing is applied.
8 is a table showing the results of obtaining the PSNR values and the CPU time of eight test images using a deinterlacing algorithm.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Advantages and features of the present invention and methods for achieving them will be apparent with reference to the embodiments described below in detail with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various forms, and only the present embodiments are intended to complete the disclosure of the present invention, and the general knowledge in the art to which the present invention pertains. It is provided to fully convey the scope of the invention to those skilled in the art, and the present invention is defined only by the scope of the claims. Like reference numerals refer to like elements throughout.

비록 제1, 제2 등이 다양한 소자, 구성요소 및/또는 섹션들을 서술하기 위해서 사용되나, 이들 소자, 구성요소 및/또는 섹션들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 소자, 구성요소 또는 섹션들을 다른 소자, 구성요소 또는 섹션들과 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 소자, 제1 구성요소 또는 제1 섹션은 본 발명의 기술적 사상 내에서 제2 소자, 제2 구성요소 또는 제2 섹션일 수도 있음은 물론이다.Although the first, second, etc. are used to describe various elements, components and / or sections, these elements, components and / or sections are of course not limited by these terms. These terms are only used to distinguish one element, component or section from another element, component or section. Therefore, the first device, the first component, or the first section mentioned below may be a second device, a second component, or a second section within the technical spirit of the present invention.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "이루어지다(made of)"는 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다. The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. As used herein, the terms "comprises" and / or "made of" means that a component, step, operation, and / or element may be embodied in one or more other components, steps, operations, and / And does not exclude the presence or addition thereof.

다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. Unless otherwise defined, all terms (including technical and scientific terms) used in the present specification may be used in a sense that can be commonly understood by those skilled in the art. Also, commonly used predefined terms are not ideally or excessively interpreted unless explicitly defined otherwise.

이하, 본 발명에 대하여 첨부된 도면에 따라 보다 상세히 설명한다.Hereinafter, the present invention will be described in more detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 디인터레이싱 장치의 블록구성도이다.1 is a block diagram of a deinterlacing apparatus according to an embodiment of the present invention.

디인터레이싱 장치(100)는 입력부(110), 마스킹 적용부(120), 에지 검출부(130), 에지 결정부(140), 보간방법 선택부(150) 및 보간부(160)를 포함한다.The deinterlacing apparatus 100 includes an input unit 110, a masking application unit 120, an edge detector 130, an edge determiner 140, an interpolation method selector 150, and an interpolator 160.

입력부(110)는 인터레이스 이미지, 즉 인터레이스가 된 이미지(interlaced image)를 입력하는 역할을 수행한다.The input unit 110 inputs an interlaced image, that is, an interlaced image.

마스킹 적용부(120)는 인터레이스 이미지의 참조 화소에 대한 그래디언트 벡터(gradient vector)의 크기를 연산한다. 일반적으로 소벨 연산을 수행하며, 아래에서 살펴 보도록 한다.The masking application unit 120 calculates the magnitude of the gradient vector with respect to the reference pixel of the interlace image. In general, the Sobel operation is performed.

도 2에는 3x3 크기의 소벨 마스크가 도시되어 있다. (a)에는 z로 표시되는 화소의 위치, (b)에는 수평 방향으로 소벨 연산을 수행하는 소벨 연산자, (c)에는 수직 방향으로 소벨 연산을 수행하는 소벨 연산자가 각각 도시되어 있다.2 shows a 3x3 size Sobel mask. (a) shows the position of the pixel indicated by z, (b) shows the Sobel operator for performing the Sobel operation in the horizontal direction, and (c) shows the Sobel operator for performing the Sobel operation in the vertical direction.

소벨 연산은 여러 에지 검출 알고리즘 중 가장 대표적인 에지 검출 방법으로 화소 사이의 밝기의 2차 변화를 이용하여 에지를 검출하는 알고리즘이다.The Sobel operation is the most representative edge detection method among several edge detection algorithms, and is an algorithm for detecting an edge using a second-order change in brightness between pixels.

소벨 연산에서 그래디언트 벡터의 크기는 하기의 수학식 (1)에 정의되어 있다.The magnitude of the gradient vector in the Sobel operation is defined in Equation (1) below.

[수학식 (1)][Equation (1)]

Figure 112010055307375-pat00001
Figure 112010055307375-pat00001

여기에서, gx와 gy는 각각 수평 방향의 소벨 연산자와 수직 방향의 소벨 연산자가 적용된다.Here, g x and g y are applied to the horizontal Sobel operator and the vertical Sobel operator, respectively.

그러므로, 도 2의 3x3 소벨 마스크를 적용하면 하기의 수학식 (2)가 도출된다.Therefore, applying the 3x3 Sobel mask of FIG. 2 leads to the following equation (2).

[수학식 (2)][Equation (2)]

Figure 112010055307375-pat00002
Figure 112010055307375-pat00002

여기에서, z5가 그래디언트 벡터가 산출되는 화소 위치이다.Here, z 5 is the pixel position at which the gradient vector is calculated.

에지 검출부(130)는 소벨 연산부(110)에 의해 산출된 그래디언트 벡터의 크기를 미리 설정된 값과 비교하여 에지를 검출한다.The edge detector 130 detects an edge by comparing the magnitude of the gradient vector calculated by the Sobel calculator 110 with a preset value.

미리 설정된 값은 문턱값(threshold)이 되며, 문턱값을 T라 할 때, 그래디언트 벡터의 크기

Figure 112010055307375-pat00003
가 미리 설정된 문턱값 T보다 큰 경우 해당 화소 z5를 에지로 판별하여 검출한다. 이러한 방법으로
Figure 112010055307375-pat00004
인 경우 해당 화소를 에지로 판별하고, 나머지는 에지가 아닌 것으로 판별한다.The preset value becomes a threshold, and when the threshold is T, the magnitude of the gradient vector
Figure 112010055307375-pat00003
Is greater than the preset threshold T, the corresponding pixel z 5 is determined as an edge and detected. In this way
Figure 112010055307375-pat00004
In case of, the corresponding pixel is determined as an edge, and the rest is determined as not an edge.

에지 검출부(130)에 의해 에지로 검출된 화소들은 화소값을 255로 놓고, 에지로 검출되지 않은 화소들은 화소값을 0으로 놓아 에지맵을 생성한다.Pixels detected as edges by the edge detector 130 set the pixel value to 255, and pixels not detected as edges set the pixel value to 0 to generate an edge map.

도 3의 (a), (b)에 각각 레나(Lena)와 배(boat)의 원본 영상이 도시되어 있으며, (c), (d)에 상기 레나와 배의 원본 영상으로부터 에지맵을 생성한 도면이 도시되어 있다. 원본 영상에 비해 에지맵은 높이(heights)가 절반임을 알 수 있다.3 (a) and 3 (b) show original images of Lena and a boat, respectively, and (c) and (d) generate edge maps from the original images of Lena and the boat. The figure is shown. Compared to the original image, the edge map has half the heights.

에지 결정부(140)는 에지맵을 이용하여 상기 에지맵에 포함된 화소를 참조하고, 상기 참조 화소의 에지 여부에 따라 보간 대상 화소의 에지 여부를 결정한다.The edge determiner 140 refers to the pixels included in the edge map by using the edge map, and determines whether to interpolate the target pixel according to whether the reference pixel is edged.

예를 들어, 보간 대상 화소는 보간 대상 화소에 인접한 화소 중 하나를 참조하여 보간 대상 화소가 에지 영역인지 아닌지를 결정한다.For example, the interpolation target pixel refers to one of the pixels adjacent to the interpolation target pixel to determine whether the interpolation target pixel is an edge region.

보간 대상 화소가 참조하는 화소를 참조 화소라 하면, 일반적으로 참조 화소는 보간 대상 화소에 인접하여 보간 대상 화소의 상위 스캔 라인에 위치한다. 참조 화소가 보간 대상 화소의 대각선 방향에 위치할 수도 있으나, 일반적으로 연산의 편의를 위해 수직 상방에 위치한다. 또한 참조 화소가 보간 대상 화소에 인접하여 보간 대상 화소의 하위 스캔 라인에 위치할 수도 있다. 참조 화소는 보간 대상 화소의 하위 스캔 라인 중 수직 하방에 위치할 때 연산량이 감소할 것이다.When the pixel referred to by the interpolation target pixel is referred to as a reference pixel, the reference pixel is generally located in the upper scan line of the interpolation target pixel adjacent to the interpolation target pixel. The reference pixel may be positioned diagonally to the interpolation target pixel, but is generally located vertically upward for convenience of operation. In addition, the reference pixel may be positioned in a lower scan line of the interpolation target pixel adjacent to the interpolation target pixel. When the reference pixel is positioned vertically downward among the lower scan lines of the interpolation target pixel, the amount of calculation will decrease.

이로부터, 에지 결정부(140)는 참조 화소가 에지이면 보간 대상 화소를 에지로 결정하며, 참조 화소가 에지가 아니면 보간 대상 화소를 에지가 아닌 것으로 결정한다.From this, the edge determiner 140 determines the interpolation target pixel as an edge when the reference pixel is an edge, and determines that the interpolation target pixel is not an edge when the reference pixel is not an edge.

보간방법 선택부(150)는 에지 결정부(140)에 의해 결정된 보간 대상 화소의 에지 여부에 따라 상기 보간 대상 화소에 적용될 보간방법을 선택한다.The interpolation method selector 150 selects an interpolation method to be applied to the interpolation target pixel according to the edge of the interpolation target pixel determined by the edge determination unit 140.

즉, 보간 대상 화소가 에지인지에 따라 적용되는 보간 방법이 상이하게 된다. 보간방법 선택부(150)는 보간 대상 화소가 에지로 결정되면 기하학적 쌍대성(geometric duality)을 이용한 보간방법을 선택하고, 보간 대상 화소가 에지가 아닌 것으로 결정되면 라인 평균(line averaging)을 이용한 보간방법을 선택한다. 여기에서, 기하학적 쌍대성을 이용한 보간방법은 라인 평균을 이용한 보간방법에 비해 인터레이싱의 성능은 우수하나, 처리 시간이 긴 특징을 갖는다.That is, the interpolation method applied depends on whether the interpolation target pixel is an edge. The interpolation method selector 150 selects an interpolation method using geometric duality when the interpolation target pixel is determined as an edge and interpolates using line averaging when it is determined that the interpolation target pixel is not an edge. Choose a method. Here, the interpolation method using the geometric duality has better interlacing performance than the interpolation method using the line average, but has a long processing time.

라인 평균을 이용한 보간방법은, LA(Line Averaging) 보간방법, ELA(Edge-based Line Averaging) 보간방법, EELA(Efficient Edge-based Line Averaging) 보간방법 및 MELA(Modified Edge-based Line Averaging) 보간방법 중 하나일 수 있다. 여기에서, MELA 보간방법은 ELA 보간방법을 개선한 보간방법으로 90도(vertical), 63(anti-diagonal), 117도(diagonal)의 세 방향의 공간적 상관도를 고려한 보간방법이다.The interpolation method using line averaging includes line interpolation (LA) interpolation, edge-based line averaging (ELA) interpolation, efficient edge-based line averaging (EELA) interpolation, and modified edge-based line averaging (MELA) interpolation. It may be one of the. The MELA interpolation method is an interpolation method that is an improved interpolation method of ELA interpolation method considering spatial correlation in three directions of 90 degrees (vertical), 63 (anti-diagonal), and 117 degrees (diagonal).

본 발명에서, 기하학적 쌍대성을 이용한 보간방법으로 상기 라인 평균을 이용한 보간방법에 비해 성능이 우수한 공분산 기반 적응적 디인터레이싱, 일명 CAD(Covariance-based Adaptive Deinterlacing) 보간방법을 제안한다. 물론, 기하학적 쌍대성을 이용한 보간방법이 본 발명에서 제안하는 CAD 보간방법에 한정되는 것은 아니며, CAD 보간방법은 기하학적 쌍대성을 이용한 보간방법의 하나의 실시예에 불과하다.In the present invention, a covariance-based adaptive deinterlacing method, also known as a covariance-based adaptive deinterlacing (CAD) interpolation method, is superior to the interpolation method using the line average as the interpolation method using geometric duality. Of course, the interpolation method using the geometric duality is not limited to the CAD interpolation method proposed by the present invention, and the CAD interpolation method is only one embodiment of the interpolation method using the geometric duality.

이하 도 4와 도 5를 참조하여 CAD 보간방법을 설명한다. Hereinafter, a CAD interpolation method will be described with reference to FIGS. 4 and 5.

도 4는 보간 대상 화소를 중심으로 하는 윈도우의 크기를 도시한 도면이며, 도 5는 보간 대상 화소, 기준 화소, 인접 화소들의 관계를 도시한 도면이다.4 is a diagram illustrating a size of a window centered on an interpolation target pixel, and FIG. 5 is a diagram illustrating a relationship between an interpolation target pixel, a reference pixel, and adjacent pixels.

도 4에 도시한 바와 같이, 윈도우 사이즈가 커질수록 화소의 개수가 증가하며, 각 화소는 계산의 편의를 위해 데이터 벡터로 표시할 수 있다. 윈도우에 포함된 화소의 수는 각각 수직 스캔 라인이 2n, 수평 스캔 라인이 2n+1이며, 여기에서 n은 임의의 자연수이다. 도 2의 WS는 Window Size의 약어로 임의의 자연수 n을 의미한다. 윈도우의 정중앙에 위치한 화소는 보간 대상 화소를 나타내며, 수직 스캔 라인은 세로로 표시되는 스캔 라인이고, 수평 스캔 라인은 가로로 표시되는 스캔 라인이다.As shown in FIG. 4, as the window size increases, the number of pixels increases, and each pixel may be represented as a data vector for convenience of calculation. The number of pixels included in the window is 2n vertical scan line and 2n + 1 horizontal scan line, respectively, where n is any natural number. WS in FIG. 2 is an abbreviation of Window Size and means any natural number n. Pixels located in the center of the window represent interpolation target pixels, vertical scan lines are scan lines displayed vertically, and horizontal scan lines are scan lines displayed horizontally.

도 5에서, (2i+1, j+1) 좌표에 위치한 화소는 디인터레이싱 알고리즘을 통해 보간할 보간 대상 화소를 나타내고, (2i, j) 좌표에 위치한 화소는 여러 방향의 기준 가중치를 계산하기 위한 기준이 되는 기준 화소를 나타낸다. 첨자 i, j는 화소의 위치를 나타내기 위한 것이다.In FIG. 5, a pixel located at (2i + 1, j + 1) coordinates represents an interpolation target pixel to be interpolated through a deinterlacing algorithm, and a pixel located at (2i, j) coordinates is a reference for calculating reference weights in various directions. The reference pixel to be shown. Subscripts i and j are for indicating the position of the pixel.

수평 스캔 라인은 보간 대상 화소를 기준으로 상위 스캔 라인과 하위 스캔 라인으로 구분된다. 상위 스캔 라인은 보간 대상 화소에 인접하면서 상부에 위치하는 스캔 라인이고, 하위 스캔 라인은 보간 대상 화소에 인접하면서 하부에 위치하는 스캔 라인이며, 보간 대상 라인은 상위 스캔 라인과 하위 스캔 라인을 이용하여 보간할 화소들의 집합을 의미한다. 좌표상 점선으로 표시된 2i-1, 2i+1이 보간 대상 라인이며, 2i+1을 기준으로 할 때 2i 라인이 상위 스캔 라인, 2i+ 2 라인이 하위 스캔 라인이 된다. The horizontal scan line is divided into an upper scan line and a lower scan line based on the interpolation target pixel. The upper scan line is a scan line positioned above and adjacent to the interpolation target pixel, and the lower scan line is a scan line positioned below and adjacent to the interpolation target pixel, and the interpolation target line is formed by using the upper scan line and the lower scan line. Means a set of pixels to be interpolated. 2i-1 and 2i + 1 indicated by dotted lines in the coordinates are interpolation target lines. When 2i + 1 is used, 2i lines become upper scan lines and 2i + 2 lines become lower scan lines.

도 5에 화소 N1(기준 화소)에 대한 8 방향의 기준 가중치 계수 α가 표시되어 있으며, 하기의 수학식 (3)으로부터 최적의 계수 α를 구할 수 있다.In Fig. 5, reference weight coefficient α in eight directions with respect to pixel N 1 (reference pixel) is indicated, and an optimal coefficient α can be obtained from Equation (3) below.

[수학식 (3)][Equation (3)]

Figure 112010055307375-pat00005
Figure 112010055307375-pat00005

여기에서,

Figure 112010055307375-pat00006
는, 인터레이스 이미지(즉, 저해상도 이미지)에서, 로컬 윈도우(local window) S안에 위치 m의 화소에 인접한 8개의 화소값을 의미한다. 물론, m의 화소에 인접한 화소는 6개일 수도 있다.From here,
Figure 112010055307375-pat00006
Denotes eight pixel values adjacent to the pixel at position m in the local window S in the interlaced image (ie, a low resolution image). Of course, there may be six pixels adjacent to m pixels.

수학식 (3)을 구하는 두 가지 방법은 최소 제곱법(least squares approximation)을 이용하거나, 위너 필터(Wiener filter)를 이용하는 것이다.Two methods to obtain Equation (3) are by using least squares approximation or Wiener filter.

본 발명에서는, 최소 제곱법을 이용하여 최적의 기준 가중치 계수 α를 구하도록 한다.In the present invention, the optimal reference weight coefficient α is obtained by using the least square method.

최소 제곱법을 이용한 하기의 수학식 (4), (5)에 따라 기준 가중치를 산출한다.The reference weight is calculated according to the following equations (4) and (5) using the least square method.

[수학식 (4)][Equation (4)]

[y]=[C]·[α][y] = [C] · [α]

[수학식 (5)][Equation (5)]

[α]=([C]T·[C])-1 ([C]T·[y])[α] = ([C] T · [C]) -1 ([C] T · [y])

여기에서, [α]는 상기 기준 화소의 각 방향에 대한 [α1, …, α2m]의 기준 가중치 벡터, [y]는 [y1, y2, …, y2n x (2n+1)]T의 데이터 벡터, [C]는 [{2n X (2n+1)} X 2m]의 데이터 행렬을 나타낸다. 상기 n, m은 임의의 자연수이며, 특히 m은 3 또는 4의 값을 가지게 될 것이다. 그러므로, m이 3일 때 6개의 에지 방향, m이 4일 때 8개의 에지 방향을 고려하게 된다. [C]가 정방 행렬이 아니므로, 전치 행렬을 이용하여 수학식 (4)로부터 수학식 (5)로 변환하게 된다.Here, [α] denotes [α 1 ,... , α 2m ], the reference weight vector, [y] is [y 1 , y 2 ,. , y 2n x (2n + 1) ] T , a data vector, [C] represents a data matrix of [{2n X (2n + 1)} X 2m]. N and m are any natural numbers, in particular m will have a value of 3 or 4. Therefore, six edge directions when m is 3 and eight edge directions when m is 4 are considered. Since [C] is not a square matrix, it is converted from equation (4) to equation (5) using a transpose matrix.

도 5는 윈도우 크기가 1인 8개의 에지 방향을 고려하는 경우를 도시하고 있어 WS=n=1, m=4이다. 이 때 윈도우 내(WS=n=1일 때)에서 기준 화소로 N1(Y2i ,j 좌표)을 선택하고, 기준 화소 N1에 인접한 8개(m=4일 때)의 화소 D1 ~ D8의 각 방향에 대한 기준 가중치 계수 α1 ~ α8을 산출한다. 또한, 윈도우 사이즈(WS)는 1이므로, 데이터 행렬 [C]는 6 X 8의 행렬이 되고, 데이터 벡터 [y]는 [y1, …, y6]T이다. 그러므로, [C]의 k번째 행벡터는 yk에 인접한 주변의 8개 화소들이 된다.FIG. 5 illustrates a case where eight edge directions having a window size of 1 are considered, and WS = n = 1 and m = 4. At this time, N 1 (Y 2i , j coordinate) is selected as the reference pixel in the window (when WS = n = 1), and eight pixels D 1 adjacent to the reference pixel N 1 (when m = 4). The reference weight coefficients α 1 to α 8 for each of the directions of ˜ D 8 are calculated. In addition, since the window size WS is 1, the data matrix [C] is a matrix of 6 X 8, and the data vector [y] is [y1,... , y6] T. Therefore, the k-th row vector of [C] becomes eight pixels adjacent to y k .

물론, 윈도우 사이즈가 1이고, m이 3인 경우, α1 ~ α6을 가중치 벡터 [α]로 표시하게 되고, 데이터 행렬 [C]는 6 X 6의 행렬이 되게 되며, 에지 방향은 6방향만 고려하게 된다. 6개의 에지 방향을 고려하는 경우, 도 3에서 N1의 수평 스캔 라인에 위치하는 D4와 D5에 대한 기준 가중치는 고려 대상에서 제외된다.Of course, when the window size is 1 and m is 3, α 1 to α 6 are represented by the weight vector [α], the data matrix [C] is a matrix of 6 X 6, and the edge direction is 6 directions. Only consideration will be given. When considering the six edge directions, reference weights for D 4 and D 5 located in the horizontal scan line of N 1 in FIG. 3 are excluded from consideration.

기준 화소 N1에 대한 8개의 에지 방향의 기준 가중치는 α1 ~ α8에 대응하는 보간 대상 화소에 대한 8개의 에지 방향의 적용 가중치는 β1 ~ β8이다. 일반적인 자연 영상은 인접한 화소의 값이 크게 변하지 않는 특성이 있다. 그러므로, 에지의 방향도 일정 범위 내에서 동일한 경향성을 가진다. 그리하여, 두 변수 α, β의 상관도가 양의 상관 관계를 나타내며, 두 변수 α, β의 공분산의 값도 양수가 된다. 따라서, 기존의 화소간의 관계가 보간하고자 하는 화소간의 관계와 동일하다고 볼 수 있다. 이러한 관계는 기하 쌍대성(geometric duality)으로 칭할 수 있다. 즉, 동일한 방향을 가지는 화소들은 비례 관계에 있는 가중치를 가진다고 가정할 수 있다. 즉, β ∝ α의 관계가 성립한다.Based on the weight of the eight edge direction with respect to the reference pixels N 1 is applied weight of the eight edge direction for the interpolation subject pixel corresponding to the α 1 α ~ 8 is a β 1 ~ β 8. The general natural image has a characteristic that the value of adjacent pixels does not change significantly. Therefore, the direction of the edge also has the same tendency within a certain range. Thus, the correlation between the two variables α and β represents a positive correlation, and the covariance of the two variables α and β is also positive. Therefore, it can be said that the relationship between the existing pixels is the same as the relationship between the pixels to be interpolated. This relationship may be referred to as geometric duality. That is, it may be assumed that pixels having the same direction have weights in proportional relations. That is, the relationship of β ∝ α is established.

따라서, 기준 화소의 각 방향에 대한 가중치와 보간 대상 화소의 각 방향에 대한 가중치가 동일하다는 가정도 가능하며, 기준 화소의 각 방향에 대한 기준 가중치를 기초로 보간 대상 화소의 화소값을 산출하게 된다.Therefore, it is also possible to assume that the weight of each direction of the reference pixel is the same as the weight of each direction of the interpolation target pixel, and the pixel value of the interpolation target pixel is calculated based on the reference weight of each direction of the reference pixel. .

그러므로, 하기의 수학식 (6), (7)에 따라 보간 대상 화소의 화소값을 산출할 수 있다. Therefore, the pixel value of the interpolation target pixel can be calculated according to the following equations (6) and (7).

[수학식 (6)][Equation 6]

[α]=[β][α] = [β]

[수학식 (7)][Equation (7)]

Figure 112010055307375-pat00007
Figure 112010055307375-pat00007

여기에서, [α]는 기준 화소의 각 방향에 대한 기준 가중치 벡터, [β]는 보상 대상 화소의 각 방향에 대한 적용 가중치 벡터, N은 보간 대상 화소에 인접한 복수의 화소의 화소값, Y는 보간 대상 화소의 화소값이다.Here, [α] is a reference weight vector for each direction of the reference pixel, [β] is an applied weight vector for each direction of the compensation target pixel, N is a pixel value of a plurality of pixels adjacent to the interpolation target pixel, and Y is Pixel value of the interpolation target pixel.

보간 대상 화소의 화소값은 보간 대상 화소의 좌측 상부에 위치한 기준 화소 N1에서 구한 기준 가중치 α1, …, α8을 보간 대상 화소에 인접한 N1, …, N8에 적용하여 구한다. 그러므로, α를 β에 대입하여 보간 대상 화소의 화소값은, α1·N1 + α2·N2 + α3·N3 + α4·N4 + α5·N5 + α6·N6 + α7·N7 + α8·N8 이 된다. N4와 N5는 보간 대상 스캔 라인에 위치하고 있으나, 간단히 상부 스캔 라인과 하부 스캔 라인에 위치한 화소의 화소값을 평균하여 구하면 된다.The pixel values of the interpolation target pixel are the reference weights α 1 ,..., Obtained from the reference pixel N 1 located on the upper left of the interpolation target pixel. , N 1, adjacent to the α 8 to the interpolation subject pixel ... , N 8 . Therefore, the pixel value of the pixel to be interpolated by substituting α to β is α 1 · N 1. + Α 2 · N 2 + Α 3 · N 3 + Α 4 · N 4 + Α 5 · N 5 + Α 6 · N 6 + Α 7 · N 7 + Α 8 · N 8 . N 4 and N 5 are located on the scan line to be interpolated, but the average of pixel values of pixels located on the upper scan line and the lower scan line may be obtained.

또한, 에지 방향을 6개만 고려하면, N4와 N5는 보간 대상 화소의 화소값 계산에서 제외되어 보간 대상 스캔 라인의 화소를 이용하지 않아도 된다.In addition, when only six edge directions are considered, N 4 and N 5 may be excluded from the pixel value calculation of the interpolation target pixel, and thus the pixel of the interpolation target scan line may not be used.

기준 가중치를 적용 가중치와 동일한 값이 아닌, 사용자가 미리 설정한 임계값을 기준 가중치에 곱하여 적용 가중치로 이용할 수도 있음은 물론이다.The reference weight may be used as the application weight by multiplying the reference weight by the user's preset threshold value rather than the same value as the application weight.

보간부(160)는 보간방법 결정부(150)에 의해 결정된 보간방법을 이용하여 보간 대상 화소를 보간한다. 보간된 화소는 디인터레이스 이미지(deinterlaced image)로 출력되게 된다.The interpolator 160 interpolates the interpolation target pixel by using the interpolation method determined by the interpolation method determiner 150. The interpolated pixel is output as a deinterlaced image.

도 6은 본 발명의 일 실시예에 따른 디인터레이싱 방법의 순서도이다.6 is a flowchart of a deinterlacing method according to an embodiment of the present invention.

인터레이스 이미지(interlaced image)가 입력되고(S10), 인터레이스 이미지의 참조 화소에 대한 그래디언트 벡터(gradient vector)의 크기를 산출하기 위한 연산을 수행하고(S20), 그래디언트 벡터의 크기를 미리 설정된 값, 즉 문턱값과 비교하여 참조 화소의 에지를 검출하고(S30), 검출된 에지들을 이용하여 참조 화소의 에지 여부에 따라 보간 대상 화소가 에지인지 아닌지를 결정하고(S40, S50), 보간 대상 화소가 에지이면 기하학적 쌍대성을 이용한 보간방법을 적용하고, 에지가 아니면 라인 평균을 이용한 보간방법을 적용하며(S60), 보간방법을 이용하여 보간 대상 화소를 보간하여 디인터레이스 이미지(deinterlaced image)를 출력한다(S70).An interlaced image is input (S10), an operation for calculating a gradient vector with respect to the reference pixel of the interlaced image is performed (S20), and the size of the gradient vector is set to a preset value, that is, The edge of the reference pixel is detected by comparing with the threshold value (S30), and whether or not the interpolation target pixel is an edge according to whether the reference pixel is an edge using the detected edges (S40, S50), and the interpolation target pixel is an edge In this case, an interpolation method using geometric duality is applied, and an interpolation method using a line average is applied if not an edge (S60), and a deinterlaced image is output by interpolating an interpolation target pixel using an interpolation method (S70). ).

그래디언트 벡터의 크기는 3x3 크기의 소벨 마스크를 적용하여 소벨 연산을 수행할 수 있다. Sobel operation of the gradient vector may be performed by applying a 3 × 3 Sobel mask.

또한, 보간 대상 화소가 참조하는 에지맵에 포함된 참조 화소는 보간 대상 화소의 수직 상부 또는 수직 하부 중 어느 한 곳에 위치할 수 있다.In addition, the reference pixel included in the edge map referred to by the interpolation target pixel may be positioned at any one of a vertical upper portion or a vertical lower portion of the interpolation target pixel.

보간방법을 선택할 때, 보간 대상 화소가 에지로 결정되면 기하학적 쌍대성을 이용한 보간방법을 선택하고, 보간 대상 화소가 에지가 아닌 것으로 결정되면 라인 평균을 이용한 보간방법을 선택한다.When selecting an interpolation method, if the interpolation target pixel is determined to be an edge, an interpolation method using geometric duality is selected. If the interpolation target pixel is determined to be not an edge, an interpolation method using a line average is selected.

라인 평균을 이용한 보간방법은 LA 보간방법, ELA 보간방법, EELA 보간방법 및 MELA 보간방법 중 하나일 수 있다.The interpolation method using the line average may be one of an LA interpolation method, an ELA interpolation method, an EELA interpolation method, and a MELA interpolation method.

보간 대상 화소가 에지로 결정되면 적용되는 기하학적 쌍대성을 이용한 보간방법은 전술한 수학식 (5), (7)에 따라 보간 대상 화소를 보간하는 방법이다.When the interpolation target pixel is determined as an edge, an interpolation method using geometric duality is a method of interpolating the interpolation target pixel according to Equations (5) and (7) described above.

[수학식 (5)][Equation (5)]

[α]=([C]T·[C])-1 ([C]T·[y])[α] = ([C] T · [C]) -1 ([C] T · [y])

[수학식 (7)][Equation (7)]

Figure 112010055307375-pat00008
Figure 112010055307375-pat00008

여기에서, [α]는 상기 보간 대상 화소의 보간시 기준이 되는 기준 화소의 각 방향에 대한 기준 가중치 벡터, [y]는 데이터 벡터, [C]는 [{2n X (2n+1)} X 6] 또는 [{2n X (2n+1)} X 8]의 데이터 행렬을 나타내며, 상기 n 은 임의의 자연수이고, N은 보간 대상 화소에 인접한 복수의 화소의 화소값으로 6 또는 8이며, Y는 보간 대상 화소의 화소값이다.Here, [α] is a reference weight vector for each direction of the reference pixel which is the reference for interpolation of the interpolation target pixel, [y] is a data vector, and [C] is [{2n X (2n + 1)} X 6] or [{2n X (2n + 1)} X 8], wherein n is any natural number, N is a pixel value of a plurality of pixels adjacent to the pixel to be interpolated, and is Y or Y. Is the pixel value of the interpolation target pixel.

마지막으로, 여러 디인터레이싱 알고리즘의 성능과 처리 시간을 비교하도록 한다.Finally, we compare the performance and processing time of the various deinterlacing algorithms.

도 7은 원본 영상과 디인터레이싱 알고리즘을 적용한 영상을 비교하는 구성도이다.7 is a diagram illustrating a comparison between an original image and an image to which a deinterlacing algorithm is applied.

객관적인 화질의 비교 요소로 널리 사용하고 있는 PSNR(Peak Signal to Noise Ratio)과 CPU time(처리 시간)을 여러 인트라 필드(intra field) 디인터레이싱 알고리즘을 적용하여 산출하였다. PSNR은 MSE(Mean Squared Error)로부터 구해지며, 하기의 수학식 (8)로 표현되며, CPU time은 디인터레이싱의 처리 시간을 나타낸다.Peak signal to noise ratio (PSNR) and CPU time (processing time), which are widely used as objective elements of comparative image quality, were calculated by applying various intra field deinterlacing algorithms. PSNR is obtained from Mean Squared Error (MSE), and is represented by Equation (8) below, and CPU time represents processing time of deinterlacing.

[수학식 (8)][Equation (8)]

Figure 112010055307375-pat00009
Figure 112010055307375-pat00009

여기에서, Xorg, Xrec는 width X height의 크기를 가지는 원본 영상과 복원 영상을 나타낸다.Here, X org and Xr ec represent an original image and a reconstructed image having a size of width X height.

도 8은 LA, ELA, EELA, MELA, DOI(Direction-Oriented Interpolation), LCID(Low-Complexity Interpolation Deinterlacing), BNI(Bayesian Network based line Interpolation), EMD(Edge Nap Deinterlacing), MCAD(Modified Covariance-based Adaptive Deinterlacing), CADEM(Covariance-based Adaptive Deinterlacing using Edge Map) 알고리즘을 이용하여 8개의 테스트 이미지의 PSNR 값과 CPU time을 구한 결과이다. MCAD 알고리즘은 본 발명에서 제안하는 CAD 알고리즘을 개량한 알고리즘이다. 또한, 에지에만 CAD 알고리즘을 적용하는 것이 CADEM 알고리즘이다. 8 shows LA, ELA, EELA, MELA, Direction-Oriented Interpolation (DOI), Low-Complexity Interpolation Deinterlacing (LCID), Bayesian Network based line Interpolation (BNI), Edge Nap Deinterlacing (EMD), Modified Covariance-based The PSNR values and the CPU time of eight test images were obtained by using Adaptive Deinterlacing and Covariance-based Adaptive Deinterlacing using Edge Map algorithms. The MCAD algorithm is an improvement on the CAD algorithm proposed in the present invention. In addition, it is a CADEM algorithm to apply a CAD algorithm only to edges.

도 8을 살펴 보면, MCAD 알고리즘을 이용하여 구한 평균 PSNR 값이 33.274로 LA, ELA, EELA, MELA 알고리즘에 비하여 높은 값을 가지고 있으나, CPU time이 6. 260으로 긴 것을 알 수 있다. CADEM 알고리즘은 PSNR 값이 CAD 알고리즘을 이용하여 구한 PSNR 값보다 약간 낮으나, CPU time이 0.630으로 CAD 알고리즘에 비해 처리 시간이 짧으며, LA 알고리즘 등 여타 알고리즘과 처리 시간이 커다란 차이를 보이지도 않는다. 그러므로, 높은 성능을 요하는 경우에는 CAD 알고리즘을 적용하는 것이 유리하며, 높은 성능과 더불어 빠른 처리 시간을 요하는 경우에는 CADEM 알고리즘을 적용하는 것이 유리함을 알 수 있다.Referring to FIG. 8, the average PSNR value obtained using the MCAD algorithm is 33.274, which is higher than the LA, ELA, EELA, and MELA algorithms, but the CPU time is 6.260 long. In the CADEM algorithm, the PSNR value is slightly lower than the PSNR value obtained using the CAD algorithm, but the processing time is shorter than that of the CAD algorithm with a CPU time of 0.630. The processing time is not significantly different from other algorithms such as the LA algorithm. Therefore, it is advantageous to apply a CAD algorithm when high performance is required, and it is advantageous to apply a CADEM algorithm when fast processing time is required with high performance.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현할 수 있다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 독출되는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 예를 들어, ROM, RAM, CD, DVD, 자기 테이프 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 컴퓨터가 읽을 수 있는 코드가 실행될 수 있다.The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data read by a computer system is stored. For example, there are ROM, RAM, CD, DVD, magnetic tape and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is executed.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, You will understand. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive.

100: 디인터레이싱 장치 110: 입력부
120: 마스킹 적용부 130: 에지 검출부
140: 에지 결정부 150: 보간방법 선택부
160: 보간부
100: deinterlacing device 110: input unit
120: masking application unit 130: edge detection unit
140: edge determination unit 150: interpolation method selection unit
160: interpolator

Claims (13)

입력 인터레이스 이미지의 참조 화소에 대한 그래디언트 벡터의 크기를 연산하는 마스킹 적용부;
상기 연산된 그래디언트 벡터의 크기를 미리 설정된 값과 비교하여 상기 참조 화소의 에지를 검출하는 에지 검출부;
상기 참조 화소의 에지 여부에 따라 보간 대상 화소의 에지 여부를 결정하는 에지 결정부;
상기 보간 대상 화소의 에지 여부에 따라 상기 보간 대상 화소에 적용될 보간방법을 선택하는 보간방법 선택부; 및
상기 선택된 보간방법을 이용하여 상기 보간 대상 화소를 보간하는 보간부를 포함하는 디인터레이싱 장치.
A masking applying unit which calculates a magnitude of the gradient vector with respect to the reference pixel of the input interlaced image;
An edge detector for detecting an edge of the reference pixel by comparing the magnitude of the calculated gradient vector with a preset value;
An edge determination unit that determines whether the interpolation target pixel is edged according to the edge of the reference pixel;
An interpolation method selector which selects an interpolation method to be applied to the interpolation target pixel according to an edge of the interpolation target pixel; And
And an interpolation unit configured to interpolate the interpolation target pixel by using the selected interpolation method.
제 1항에 있어서,
상기 마스킹 적용부는, 3x3 크기의 소벨 마스크를 적용하여 연산을 수행하는 디인터레이싱 장치.
The method of claim 1,
The masking applying unit, the de-interlacing apparatus for performing a calculation by applying a 3x3 Sobel mask.
제 1항에 있어서,
상기 에지 검출부는, 상기 그래디언트 벡터의 크기가 상기 미리 설정된 값보다 큰 경우에 상기 참조 화소를 에지로 판별하는 디인터레이싱 장치.
The method of claim 1,
And the edge detector is configured to determine the reference pixel as an edge when the magnitude of the gradient vector is larger than the preset value.
제 1항에 있어서,
상기 참조 화소는 상기 보간 대상 화소의 수직 상방 스캔 라인 또는 수직 하방 스캔 라인에 위치하고,
상기 에지 결정부는 상기 참조 화소가 에지이면 상기 보간 대상 화소를 에지로 결정하며, 상기 참조 화소가 에지가 아니면 상기 보간 대상 화소를 에지가 아닌 것으로 결정하는 디인터레이싱 장치.
The method of claim 1,
The reference pixel is positioned in a vertical upper scan line or a vertical lower scan line of the interpolation target pixel;
And the edge determining unit determines the interpolation target pixel as an edge when the reference pixel is an edge, and determines that the interpolation target pixel is not an edge when the reference pixel is not an edge.
제 1항에 있어서,
상기 보간방법 선택부는 상기 보간 대상 화소가 에지로 결정되면 기하하적 쌍대성(geometric duality)을 이용한 보간방법을 선택하고, 상기 보간 대상 화소가 에지가 아닌 것으로 결정되면 라인 평균(line averaging)을 이용한 보간방법을 선택하는 디인터레이싱 장치.
The method of claim 1,
The interpolation method selector selects an interpolation method using geometric duality when the interpolation target pixel is determined as an edge, and uses line averaging when it is determined that the interpolation target pixel is not an edge. De-interlacing device to select an interpolation method.
제 5항에 있어서,
상기 기하하적 쌍대성(geometric duality)을 이용한 보간방법은 하기의 식 (a), (b)에 따라 보간 대상 화소를 보간하는 디인터레이싱 장치:
[α]=([C]T·[C])-1 ([C]T·[y]) (a)
Figure 112010055307375-pat00010
(b)
여기에서, [α]는 상기 보간 대상 화소의 보간시 기준이 되는 기준 화소의 각 방향에 대한 가중치 벡터, [y]는 데이터 벡터, [C]는 [{2n X (2n+1)} X 6] 또는 [{2n X (2n+1)} X 8]의 데이터 행렬을 나타내며, 상기 n 은 임의의 자연수이고, N은 보간 대상 화소에 인접한 복수의 화소의 화소값으로 6 또는 8이며, Y는 보간 대상 화소의 화소값이다.
6. The method of claim 5,
The interpolation method using the geometric duality is a deinterlacing apparatus for interpolating interpolation target pixels according to the following equations (a) and (b):
[α] = ([C] T · [C]) -1 ([C] T · [y]) (a)
Figure 112010055307375-pat00010
(b)
Here, [α] is a weight vector for each direction of the reference pixel which is a reference for interpolation of the interpolation target pixel, [y] is a data vector, and [C] is [{2n X (2n + 1)} X 6 ] Or [{2n X (2n + 1)} X 8], where n is any natural number, N is a pixel value of a plurality of pixels adjacent to the interpolation target pixel, and Y is 6 Pixel value of the interpolation target pixel.
입력 인터레이스 이미지의 참조 화소에 대한 그래디언트 벡터의 크기를 연산하는 단계;
상기 연산된 그래디언트 벡터의 크기를 미리 설정된 값과 비교하여 상기 참조 화소의 에지를 검출하는 단계;
상기 참조 화소의 에지 여부에 따라 보간 대상 화소의 에지 여부를 결정하는 단계;
상기 보간 대상 화소의 에지 여부에 따라 상기 보간 대상 화소에 적용될 보간방법을 선택하는 단계; 및
상기 선택된 보간방법을 이용하여 상기 보간 대상 화소를 보간하는 단계를 포함하는 디인터레이싱 방법.
Calculating the magnitude of the gradient vector for the reference pixel of the input interlaced image;
Detecting an edge of the reference pixel by comparing the magnitude of the calculated gradient vector with a preset value;
Determining whether an interpolation target pixel is edged according to whether the reference pixel is edged;
Selecting an interpolation method to be applied to the interpolation target pixel according to an edge of the interpolation target pixel; And
And interpolating the interpolation target pixel using the selected interpolation method.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020100083086A 2010-08-26 2010-08-26 Deinterlacing apparatus and method using edge map KR101158847B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100083086A KR101158847B1 (en) 2010-08-26 2010-08-26 Deinterlacing apparatus and method using edge map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100083086A KR101158847B1 (en) 2010-08-26 2010-08-26 Deinterlacing apparatus and method using edge map

Publications (2)

Publication Number Publication Date
KR20120040764A KR20120040764A (en) 2012-04-30
KR101158847B1 true KR101158847B1 (en) 2012-06-27

Family

ID=46140533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100083086A KR101158847B1 (en) 2010-08-26 2010-08-26 Deinterlacing apparatus and method using edge map

Country Status (1)

Country Link
KR (1) KR101158847B1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102003780B1 (en) 2014-01-02 2019-07-25 한화테크윈 주식회사 Apparatus for interpolating color
KR101981773B1 (en) 2018-01-03 2019-05-27 경북대학교 산학협력단 Apparatus and method of edge localization based on adaptive weighting of gradients
KR102610671B1 (en) 2019-10-02 2023-12-06 한화비전 주식회사 Apparatus for interpolation color, and method therof

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050032893A (en) * 2003-10-02 2005-04-08 삼성전자주식회사 Image adaptive deinterlacing method based on edge
KR20080066372A (en) * 2007-01-12 2008-07-16 한양대학교 산학협력단 De-interlacing device using modified sobel operation and method of the same

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050032893A (en) * 2003-10-02 2005-04-08 삼성전자주식회사 Image adaptive deinterlacing method based on edge
KR20080066372A (en) * 2007-01-12 2008-07-16 한양대학교 산학협력단 De-interlacing device using modified sobel operation and method of the same

Also Published As

Publication number Publication date
KR20120040764A (en) 2012-04-30

Similar Documents

Publication Publication Date Title
KR101536794B1 (en) Image interpolation with halo reduction
JP4997281B2 (en) Method for determining estimated motion vector in image, computer program, and display device
US7259794B2 (en) De-interlacing device and method therefor
US6141056A (en) System for conversion of interlaced video to progressive video using horizontal displacement
JP2007525132A (en) Artifact reduction in scan rate conversion of image signals by combining image interpolation and extrapolation
KR20060047556A (en) Film-mode detection in video sequences
KR100484182B1 (en) Apparatus and method for deinterlacing
KR100979811B1 (en) Deinterlacing apparatus and method based on horizontal edge pattern
JP3842756B2 (en) Method and system for edge adaptive interpolation for interlace-to-progressive conversion
KR100422575B1 (en) An Efficient Spatial and Temporal Interpolation system for De-interlacing and its method
KR101158847B1 (en) Deinterlacing apparatus and method using edge map
JP2007323635A (en) Recursive filtering of video image
CN111294545B (en) Image data interpolation method and device, storage medium and terminal
WO2003084206A2 (en) Upconversion with noise constrained diagonal enhancement
Park et al. Covariance-based adaptive deinterlacing method using edge map
KR101235488B1 (en) De-interlacing Apparatus Using Weight Based on Wiener Filter and Method of Using the Same
KR100931110B1 (en) Deinterlacing apparatus and method using fuzzy rule-based edge recovery algorithm
KR101192402B1 (en) Covariance-based adaptive deinterlacing apparatus and method, and hybrid deinterlacing apparatus and method considering degree of complexity
KR100909032B1 (en) Motion adaptive deinterlacing method and apparatus
KR101069712B1 (en) A Method and Apparatus for Intra Field Scan-Line Interpolation Using Weighted Median of Edge Direction
KR100874380B1 (en) Deinterlacing apparatus and method using modified Sobel operator, and recording medium
KR101046347B1 (en) Image deinterlacing method and apparatus
KR101204210B1 (en) Methods of deinterlacing using geometric duality and image processing device using the same
KR101513395B1 (en) A motion adaptive deinterlacing system
KR101174589B1 (en) Methods of deinterlacing based on local complexity and image processing devices using the same

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160418

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee