KR100874380B1 - Deinterlacing apparatus and method using modified Sobel operator, and recording medium - Google Patents

Deinterlacing apparatus and method using modified Sobel operator, and recording medium Download PDF

Info

Publication number
KR100874380B1
KR100874380B1 KR1020070003723A KR20070003723A KR100874380B1 KR 100874380 B1 KR100874380 B1 KR 100874380B1 KR 1020070003723 A KR1020070003723 A KR 1020070003723A KR 20070003723 A KR20070003723 A KR 20070003723A KR 100874380 B1 KR100874380 B1 KR 100874380B1
Authority
KR
South Korea
Prior art keywords
pixel
interpolated
edge direction
sobel
pixels
Prior art date
Application number
KR1020070003723A
Other languages
Korean (ko)
Other versions
KR20080066372A (en
Inventor
정제창
진순종
박상준
김원기
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020070003723A priority Critical patent/KR100874380B1/en
Publication of KR20080066372A publication Critical patent/KR20080066372A/en
Application granted granted Critical
Publication of KR100874380B1 publication Critical patent/KR100874380B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A42HEADWEAR
    • A42BHATS; HEAD COVERINGS
    • A42B3/00Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04Parts, details or accessories of helmets
    • A42B3/0406Accessories for helmets
    • AHUMAN NECESSITIES
    • A42HEADWEAR
    • A42BHATS; HEAD COVERINGS
    • A42B3/00Helmets; Helmet covers ; Other protective head coverings
    • A42B3/04Parts, details or accessories of helmets
    • A42B3/06Impact-absorbing shells, e.g. of crash helmets
    • AHUMAN NECESSITIES
    • A42HEADWEAR
    • A42BHATS; HEAD COVERINGS
    • A42B1/00Hats; Caps; Hoods
    • A42B1/24Hats; Caps; Hoods with means for attaching articles thereto, e.g. memorandum tablets or mirrors

Abstract

변형된 소벨 연산자를 이용한 디인터레이싱 장치 및 방법이 개시된다. 제1에지방향 검출부는 E-ELA방법에서 정의된 P와 Q를 기초로 보간될 픽셀에 대한 임시에지방향을 검출한다. 소벨연산부는 임시에지방향에 해당하는 픽셀에 대해 그래디언트 벡터의 크기와 위상을 산출하기 위한 소벨연산을 수행한다. 제2에지방향 검출부는 소벨연산부에 의해 산출된 그래디언트 벡터 중에서 크기 순으로 사전에 설정된 개수의 그래디언트 벡터를 선택하고, 선택된 그래디언트 벡터 중에서 위상이 큰 그래디언트 벡터의 위상을 보간될 픽셀의 에지방향으로 검출한다. 보간부는 검출된 에지방향에 위치하는 픽셀의 픽셀값에 의해 보간될 픽셀을 보간한다. 본 발명에 따르면, 필드내 보간의 수행시 정확한 에지방향의 예측을 통해 복원된 영상의 화질을 향상시킬 수 있고, 잡음의 영향을 덜 받으면서 실시간으로 영상을 보간할 수 있다.Disclosed are a deinterlacing apparatus and method using a modified Sobel operator. The first edge direction detector detects a temporary edge direction for the pixel to be interpolated based on P and Q defined in the E-ELA method. The Sobel operation unit performs a Sobel operation for calculating the magnitude and phase of the gradient vector for the pixel corresponding to the temporary edge direction. The second edge direction detection unit selects a predetermined number of gradient vectors in order of magnitude from the gradient vectors calculated by the Sobel calculation unit, and detects the phase of the gradient vector having a large phase among the selected gradient vectors in the edge direction of the pixel to be interpolated. . The interpolation section interpolates the pixels to be interpolated by the pixel values of the pixels located in the detected edge direction. According to the present invention, the image quality of the reconstructed image can be improved by accurately predicting the edge direction when performing interpolation in the field, and the image can be interpolated in real time while being less affected by noise.

Description

변형된 소벨 연산자를 이용한 디인터레이싱 장치 및 방법, 그리고 기록매체{De-interlacing device using modified sobel operation and method of the same and recoding medium}De-interlacing device using modified sobel operation and method of the same and recoding medium}

도 1은 본 발명에 따른 변형된 소벨 연산자를 이용한 디인터레이싱 장치에 대한 바람직한 실시예의 구성을 도시한 도면,1 is a view showing the configuration of a preferred embodiment of a deinterlacing apparatus using a modified Sobel operator according to the present invention,

도 2는 보간될 화소를 중심으로 하는 3×3 크기의 윈도우가 설정된 픽셀열을 도시한 도면, FIG. 2 is a diagram illustrating a pixel column in which a 3 × 3 window is formed around a pixel to be interpolated; FIG.

도 3a는 3×3 크기의 소벨 마스크를 도시한 도면,3A shows a 3 × 3 size Sobel mask,

도 3b는 수직방향으로 2번째와 4번째 열이 비어있는 3×9 크기의 변형된 소벨 마스크를 도시한 도면,FIG. 3b illustrates a 3 × 9 modified Sobel mask of the second and fourth columns blank in the vertical direction, FIG.

도 4는 픽셀의 상대적 위치에 따른 에지각도를 도시한 도면,4 is a diagram illustrating edge angles according to relative positions of pixels;

도 5는 본 발명에 따른 변형된 소벨 연산자를 이용한 디인터레이싱 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,5 is a flowchart illustrating a preferred embodiment of the deinterlacing method using the modified Sobel operator according to the present invention;

도 6은 본 발명에 따른 디인터레이싱 방법과 DOI방법의 상대적 수행시간을 나타낸 그래프, 그리고,6 is a graph showing the relative execution time of the deinterlacing method and the DOI method according to the present invention, and

도 7a 내지 도 7h는 각각 원본 finger 영상, 원본 finger 영상을 확대한 영상, LD방법에 의해 보간된 finger 영상, LA방법에 의해 보간된 finger 영상, ELA방법에 의해 보간된 finger 영상, E-ELA방법에 의해 보간된 finger 영상, DOI방법에 의해 보간된 finger 영상, 그리고, 본 발명에 의해 보간된 finger 영상을 도시한 도면이다.7A to 7H illustrate an original finger image, an enlarged image of an original finger image, a finger image interpolated by the LD method, a finger image interpolated by the LA method, a finger image interpolated by the ELA method, and an E-ELA method. The interpolated finger image, the interpolated finger image by the DOI method, and the interpolated finger image according to the present invention.

본 발명은 디인터레이싱 장치 및 방법에 관한 것으로, 보다 상세하게는, 비월주사(interlaced scan) 방식의 영상신호를 순차주사(progressive scain) 방식의 영상신호로 변환시켜주는 디인터레이싱 장치 및 방법에 관한 것이다.The present invention relates to a deinterlacing apparatus and method, and more particularly, to a deinterlacing apparatus and method for converting an interlaced scan video signal to a progressive scan video signal.

기존의 아날로그 TV에서는 수직방향으로 표본화하는 주사 방식을 사용하고, 디지털 TV에서는 수평 수직방향으로 일정한 간격마다 표본을 취해서 이 표본값을 양자화하여 만든 디지털 신호를 처리한다. 아날로그 TV신호는 짝수, 홀수 필드가 1/60초의 시간 차이를 두고 교차되어 하나의 프레임을 구성하는 인터레이스 신호를 사용한다. 아날로그 TV 신호는 이러한 주사선에 의해 수직축으로 샘플링되며, 또한 필드 교번(Field alteration)에 의해 시간축으로도 샘플링 된다. 따라서 아날로그 TV의 영상을 디지털 TV나 컴퓨터에서 그대로 사용한다면 테두리와 줄의 깜박임이 나타날 뿐 아니라 줄 사이의 얼룩이 나타나게 되는데, 이러한 문제점을 해결하기 위해 디인터레이싱 방식이 제안되었다. Conventional analog TVs use a vertical sampling method, and digital TVs take samples at regular intervals in the horizontal and vertical directions and process digital signals created by quantizing these sample values. The analog TV signal uses an interlace signal in which even and odd fields are crossed at a time difference of 1/60 second to form one frame. The analog TV signal is sampled on the vertical axis by these scan lines and also on the time axis by field alteration. Therefore, if the image of analog TV is used as it is in a digital TV or a computer, not only flickering of edges and lines but also stains between lines appear. To solve this problem, a deinterlacing method has been proposed.

지금까지 다양한 디인터레이싱 방법들이 제안되었는데, 이러한 방법들은 크게 한 프레임 안에서 공간적인 상관성을 이용하는 공간적 디인터레이싱 방법과 여러 개의 프레임간의 시간적 상관성을 이용하는 시간적 디인터레이싱 방법으로 나 눌 수 있다. 공간적 디인터레이싱 방법 중 가장 널리 사용하는 것은 ELA(Edge based line average) 알고리즘이다. 고전적인 ELA 알고리즘은 영상에서 라인 사이의 상관도 방향을 검출하여 가장 상관도가 가장 높은 쪽으로 방향을 정하고, 이 방향을 바탕으로 두 라인의 화소 평균을 취하여 보간하는 방법이다. 하지만 픽셀 값의 작은 변화에 민감하고, 45도 보다 크거나 작은 각도의 대각선에 대해서는 잘못된 에지 정보를 이용하는 단점이 있다. 또한 에지 부분이 눈에 매우 확실하게 보이는 시각적 특성에도 불구하고 급격한 변화를 찾아내어 적용할 수 없다는 것은 큰 문제가 된다. 이러한 문제점을 보완하기 위한 알고리즘이 E-ELA(Efficient ELA)방법이다. E-ELA방법은 ELA방법보다 더 정확한 방향성을 찾기 위해 현재 위치에서 영상의 공간적인 형태를 세가지로 분류한다. 즉, 공간적인 방향성이 왼쪽, 오른쪽, 또는 그 외의 경우로 분류하여 각각 분류된 범주에서 적절한 방법으로 ELA를 변형하여 적용한다. 그러나 E-ELA방법 역시 ELA방법과 마찬가지로 비교적 간단하고 대각 방향성을 잘 감지할 경우 주관적으로 좋은 효율을 보이고 있지만 고주파 성분이나 잡음이 끼어 미세한 변화에 반응하게 될 경우에는 수직 라인 평균보다 더 안 좋은 효과를 나타낼 수도 있다. 나아가 추정된 에지방향의 정밀도의 관점에서 최적의 성능을 구현하는데 무리가 있으며, 부정확한 에지방향에 의해 보간이 이루어짐에 따라 복원된 화질이 저하되는 문제를 가지고 있다.Various deinterlacing methods have been proposed so far, and these methods can be broadly divided into a spatial deinterlacing method using spatial correlation in one frame and a temporal deinterlacing method using temporal correlation between several frames. The most widely used spatial deinterlacing method is an edge based line average (ELA) algorithm. The classical ELA algorithm detects the direction of correlation between lines in an image and determines the direction with the highest correlation, and interpolates by taking the average of the pixels of two lines based on the direction. However, it is sensitive to small changes in pixel values and has the disadvantage of using wrong edge information for diagonals greater than or equal to 45 degrees. In addition, it is a big problem that the edge part cannot find and apply a drastic change despite the visual characteristics that are clearly visible to the eyes. An algorithm to compensate for this problem is the E-ELA (Efficient ELA) method. The E-ELA method classifies the spatial form of the image into three types in order to find more accurate orientation than the ELA method. That is, spatial directionality is classified into left, right, or other cases, and the ELA is modified and applied in an appropriate manner in each classified category. However, like the ELA method, the E-ELA method is relatively simple and shows a good subjective efficiency when the diagonal direction is well sensed.However, when the E-ELA method reacts to minute changes due to high frequency components or noise, it is worse than the vertical line average. It may be indicated. Furthermore, there is a problem in implementing optimal performance in view of the estimated edge direction accuracy, and there is a problem in that the restored image quality is degraded as interpolation is performed by an incorrect edge direction.

E-ELA방법보다 에지의 방향성을 더욱 자세히 찾아내어 보간하는 방법으로는 DOI(Direction Oriented Interpolation)방법이 있다. DOI방법은 보간할 픽셀의 위치를 중심으로 하여 3x2의 블록매칭을 통해 에지의 방향성을 더욱 자세히 찾아내어 보다 정확한 보간을 수행할 수 있다. 이러한 DOI방법에서 사용되는 방향 벡터가 ELA 방법에서 사용되는 방향성의 상관도를 검출하는 방법보다 잡음의 영향에 대해서 덜 민감하게 하고 그에 따라서 보다 멀리 떨어진 위치와의 상관도를 계산할 때 더 정확한 결과를 보여준다. 그러나 DOI방법은 여러방향을 고려하기 위해 방향벡터 개념을 이용하므로 상당한 복잡도를 가지게 되며, 이로 인해 실시간 영상복원이 곤란하다는 문제가 있다.The Direction Oriented Interpolation (DOI) method is used to find and interpolate the edge direction in more detail than the E-ELA method. The DOI method can more accurately find the direction of the edge through 3x2 block matching centering on the position of the pixel to be interpolated to perform more accurate interpolation. The direction vector used in the DOI method is less sensitive to the influence of noise than the method of detecting the correlation of the directionality used in the ELA method, and thus shows a more accurate result when calculating the correlation with a farther position. . However, the DOI method has a considerable complexity since the direction vector concept is used to consider various directions, which makes it difficult to restore a real-time image.

본 발명이 이루고자 하는 기술적 과제는, 필드내 보간의 수행시 정확한 에지방향의 예측을 통해 복원된 영상의 화질을 향상시킬 수 있고, 잡음의 영향을 덜 받으면서 실시간으로 영상을 복원할 수 있는 변형된 소벨 연산자를 이용한 디인터레이싱 장치 및 방법을 제공하는 데 있다.The technical problem to be achieved by the present invention is to improve the image quality of the reconstructed image through the prediction of the correct edge direction when performing the interpolation in the field, the modified Sobel that can reconstruct the image in real time while being less affected by noise An apparatus and method for deinterlacing using an operator are provided.

본 발명이 이루고자 하는 다른 기술적 과제는, 필드내 보간의 수행시 정확한 에지방향의 예측을 통해 복원된 영상의 화질을 향상시킬 수 있고, 잡음의 영향을 덜 받으면서 실시간으로 영상을 복원할 수 있는 변형된 소벨 연산자를 이용한 디인터레이싱 방법을 컴퓨터에서 실행시키기 위한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.Another technical object of the present invention is to improve the image quality of a reconstructed image through accurate edge prediction when performing interpolation in a field, and to modify the image in real time while being less affected by noise. The present invention provides a computer-readable recording medium for executing a deinterlacing method using a Sobel operator on a computer.

상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 디인터레이싱 장치는, E-ELA방법에서 정의된 P와 Q를 기초로 보간될 픽셀에 대한 임시에지방향을 검출하는 제1에지방향 검출부; 상기 임시에지방향에 해당하는 픽셀에 대해 그래디언트 벡 터의 크기와 위상을 산출하기 위한 소벨연산을 수행하는 소벨연산부; 상기 소벨연산부에 의해 산출된 그래디언트 벡터 중에서 크기 순으로 사전에 설정된 개수의 그래디언트 벡터를 선택하고, 선택된 그래디언트 벡터 중에서 위상이 큰 그래디언트 벡터의 위상을 상기 보간될 픽셀의 에지방향으로 검출하는 제2에지방향 검출부; 및 상기 검출된 에지방향에 위치하는 픽셀의 픽셀값에 의해 상기 보간될 픽셀을 보간하는 보간부;를 구비한다.In order to achieve the above technical problem, the deinterlacing apparatus according to the present invention comprises: a first edge direction detection unit for detecting a temporary edge direction for a pixel to be interpolated based on P and Q defined in an E-ELA method; A Sobel calculation unit for performing a Sobel operation for calculating the magnitude and phase of the gradient vector for the pixel corresponding to the temporary edge direction; A second edge direction that selects a predetermined number of gradient vectors in order of magnitude from the gradient vectors calculated by the Sobel calculation unit, and detects a phase of the gradient vector having a large phase among the selected gradient vectors in an edge direction of the pixel to be interpolated; Detection unit; And an interpolation unit which interpolates the pixel to be interpolated by the pixel value of the pixel located in the detected edge direction.

상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 디인터레이싱 방법은, (a) E-ELA방법에서 정의된 P와 Q를 기초로 보간될 픽셀에 대한 임시에지방향을 검출하는 단계; (b) 상기 임시에지방향에 해당하는 픽셀에 대해 그래디언트 벡터의 크기와 위상을 산출하기 위한 소벨연산을 수행하는 단계; (c) 상기 소벨연산에 의해 산출된 그래디언트 벡터 중에서 크기 순으로 사전에 설정된 개수의 그래디언트 벡터를 선택하고, 선택된 그래디언트 벡터 중에서 위상이 큰 그래디언트 벡터의 위상을 상기 보간될 픽셀의 에지방향으로 검출하는 단계; 및 (d) 상기 검출된 에지방향에 위치하는 픽셀의 픽셀값에 의해 상기 보간될 픽셀을 보간하는 단계;를 갖는다.According to another aspect of the present invention, a deinterlacing method includes: (a) detecting a temporary edge direction for a pixel to be interpolated based on P and Q defined in an E-ELA method; (b) performing a Sobel operation for calculating the magnitude and phase of the gradient vector for the pixel corresponding to the temporary edge direction; (c) selecting a predetermined number of gradient vectors in order of magnitude from the gradient vectors calculated by the Sobel operation, and detecting a phase of the gradient vector having a large phase among the selected gradient vectors in the edge direction of the pixel to be interpolated; ; And (d) interpolating the pixel to be interpolated by the pixel value of the pixel located in the detected edge direction.

이에 의해 필드내 보간의 수행시 정확한 에지방향의 예측을 통해 복원된 영상의 화질을 향상시킬 수 있고, 잡음의 영향을 덜 받으면서 실시간으로 영상을 보간할 수 있다.As a result, the image quality of the reconstructed image can be improved by accurately predicting the edge direction when performing interpolation in the field, and the image can be interpolated in real time while being less affected by noise.

이하에서 첨부된 도면들을 참조하여 본 발명에 따른 디인터레이싱 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, exemplary embodiments of a deinterlacing apparatus and method according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 변형된 소벨 연산자를 이용한 디인터레이싱 장치에 대한 바람직한 실시예의 구성을 도시한 도면이다.1 is a diagram showing the configuration of a preferred embodiment of a deinterlacing apparatus using a modified Sobel operator according to the present invention.

도 1을 참조하면, 본 발명에 따른 변형된 소벨 연산자를 이용한 디인터레이싱 장치(100)는 제1에지방향 검출부(110), 소벨연산부(120), 제2에지방향 검출부(130) 및 보간부(140)를 구비한다.Referring to FIG. 1, the deinterlacing apparatus 100 using the modified Sobel operator 100 according to the present invention includes a first edge direction detector 110, a Sobel operator 120, a second edge direction detector 130, and an interpolator 140. ).

제1에지방향 검출부(110)는 E-ELA방법에서 정의된 P와 Q를 기초로 보간할 픽셀에 대한 임시에지방향을 검출한다. 도 2에는 보간될 화소 D를 중심으로 하는 3×3 크기의 윈도우가 도시되어 있다. 도 2를 참조하면, 보간될 화소 D에 대한 P와 Q는 다음의 수학식으로 정의된다.The first edge direction detection unit 110 detects a temporary edge direction for the pixel to be interpolated based on P and Q defined in the E-ELA method. FIG. 2 shows a 3 × 3 window centered on pixel D to be interpolated. 2, P and Q for the pixel D to be interpolated are defined by the following equation.

Figure 112007003244879-pat00001
Figure 112007003244879-pat00001

제1에지방향 검출부(110)는 수학식 1에 의해 얻어진 P와 Q를 비교하여 에지의 방향성을 찾는다. 만약, P가 Q보다 크면 에지가 Q방향으로 흐른다는 것을 의미하며, 따라서 제1에지방향 검출부(110)는 픽셀 B와 픽셀 E를 잇는 직선방향을 임시에지방향으로 결정한다. 이와 달리, P가 Q보다 작으면 에지가 P방향으로 흐른다는 것을 의미하며, 따라서 제1에지방향 검출부(110)는 픽셀 B와 픽셀 G를 잇는 직선방향을 임시에지방향으로 결정한다. 한편, P와 Q가 같으면 에지의 방향이 명확하지 않거나 에지가 없는 평탄한 영역을 가능성이 높으므로, 제1에지방향 검출부(110)는 픽셀 B와 픽셀 F를 잇는 직선방향을 임시에지방향으로 결정한다.The first edge direction detection unit 110 compares P and Q obtained by Equation 1 to find the edge direction. If P is larger than Q, it means that the edge flows in the Q direction. Accordingly, the first edge direction detection unit 110 determines the linear direction connecting the pixel B and the pixel E as the temporary edge direction. On the other hand, if P is smaller than Q, the edge flows in the P direction, and thus, the first edge direction detection unit 110 determines the linear direction connecting the pixel B and the pixel G as the temporary edge direction. On the other hand, if P and Q are the same, it is highly likely that the direction of the edge is not clear or there is no edge, so the first edge direction detection unit 110 determines the linear direction connecting the pixel B and the pixel F as the temporary edge direction. .

소벨연산부(110)는 제1에지방향 검출부(110)에 의해 결정된 임시에지방향에 해당하는 픽셀에 대해 소벨연산을 수행한다. 도 3a에는 3×3 크기의 소벨 마스크가 도시되어 있다. 소벨연산은 여러 가지 에지검출 알고리즘 중 가장 대표적인 에지검출 방법으로 픽셀 사이의 밝기값의 2차변화를 이용하여 에지를 검출하는 알고리즘이다. 소벨연산에서 (x, y) 위치에 대한 그래디언트 벡터(gradient vector) ▽f는 다음의 수학식으로 정의된다.The Sobel operation unit 110 performs Sobel operation on a pixel corresponding to the temporary edge direction determined by the first edge direction detection unit 110. In Fig. 3a, a 3 × 3 Sobel mask is shown. Sobel operation is the most representative edge detection method among various edge detection algorithms and is an edge detection algorithm using the second-order change of brightness value between pixels. The gradient vector ▽ f for the (x, y) position in the Sobel operation is defined by the following equation.

Figure 112007003244879-pat00002
Figure 112007003244879-pat00002

또한, 그래디언트 벡터의 크기와 위상은 다음의 수학식으로 정의된다.In addition, the magnitude and phase of the gradient vector are defined by the following equation.

Figure 112007003244879-pat00003
Figure 112007003244879-pat00003

그래디언트 벡터의 크기 |▽f|는 (x, y) 위치에서의 그래디언트 벡터의 방향에 따른 단위 거리당 f(x, y)의 최대 변화율을 의미하며, 위상 ∠(▽f)는 (x, y) 위치에서의 그래디언트 벡터의 방향을 의미한다. The magnitude of the gradient vector | ▽ f | means the maximum rate of change of f (x, y) per unit distance according to the direction of the gradient vector at the position (x, y), and the phase ∠ (▽ f) is (x, y). ) Means the direction of the gradient vector at the position.

한편, 도 3a에 도시된 소벨 마스크를 이용하여 그리디언트 벡터의 크기와 위상은 다음의 수학식에 의해 얻어진다.Meanwhile, the magnitude and phase of the gradient vector are obtained by the following equation using the Sobel mask shown in FIG. 3A.

Figure 112007003244879-pat00004
Figure 112007003244879-pat00004

그러나 비월주사 방식의 영상은 픽셀열들 사이에 비어있는 열이 존재하므로, 상술한 바와 같은 소벨 마스크를 직접 소벨연산에 적용할 수 없다. 따라서, 비월주사 방식의 영상에 소벨연산을 적용하기 위해 소벨 마스크를 변경할 필요가 있다. 도 3b에는 수직방향으로 2번째와 4번째 열이 비어있는 5×3 크기의 변형된 소벨 마스크가 도시되어 있다. 도 3b를 참조하면, 변형된 소벨 마스크의 2번째 열과 4번째 열은 0으로 채워져 있다. 나아가 변형된 소벨 마스크에 의해 얻어진 Gx와 Gy의 정확성을 높이기 위해 각각에 변환계수 αx와 αy를 곱할 필요가 있다. 이러한 변환계수는 실험적으로 정해지며, 일예로 αx와 αy는 각각 0.8과 3.0으로 설정될 수 있다. 도 3b에 도시된 소벨 마스크에서 Z5는 그래디언트 벡터가 산출된 픽셀위치이다.However, in an interlaced scan image, an empty column exists between pixel columns, and thus, the Sobel mask as described above cannot be directly applied to the Sobel operation. Therefore, it is necessary to change the Sobel mask in order to apply the Sobel operation to the interlaced image. FIG. 3B shows a 5 × 3 modified Sobel mask with the second and fourth columns blank in the vertical direction. Referring to FIG. 3B, the second and fourth columns of the modified Sobel mask are filled with zeros. Furthermore, in order to increase the accuracy of Gx and Gy obtained by the modified Sobel mask, it is necessary to multiply the conversion coefficients α x and α y respectively. These conversion coefficients are determined experimentally. For example, α x and α y may be set to 0.8 and 3.0, respectively. In the Sobel mask shown in FIG. 3B, Z 5 is a pixel position where a gradient vector is calculated.

따라서 소벨연산부(120)는 도 3b에 도시된 변형된 소벨 마스크를 제1에지방향 검출부(110)에 의해 결정된 임시에지방향에 해당하는 픽셀에 대해 소벨연산을 수행한다. 만약 임시에지방향이 P방향이면 소벨연산부(120)는 픽셀 A, 픽셀 B, 픽셀 D, 픽셀 F 및 픽셀 G에 대해 소벨연산을 수행한다. 소벨연산부(120)는 픽셀 A, 픽셀 B, 픽셀 F 및 픽셀 G에 대해서는 도 3b에 도시된 변형된 소벨마스크를 적용하여 소벨연산을 수행하며, 픽셀 D에 대해서는 도 3a에 도시된 소벨마스크를 적용하여 소벨연산을 수행한다. 이때, 픽셀 D의 경우 픽셀 X의 값이 비어있으므로 소벨연 산을 수행할 수 없다. 따라서 소벨연산부(120)는 먼저 픽셀 H와 픽셀 I의 평균을 픽셀 X의 값으로 설정한 후 소벨연산을 수행한다. 이상과 같은 임시에지방향에 대응하는 픽셀들에 대한 소벨연산을 통해 5개의 그래디언트 벡터의 크기 및 위상이 얻어진다. 한편, 임시에지방향이 Q방향일 때 소벨연산부(120)는 픽셀 B, 픽셀 C, 픽셀 D, 픽셀 E 및 픽셀 F에 대해 상술한 바와 같은 연산을 수행한다.Accordingly, the Sobel operator 120 performs Sobel operation on the pixel corresponding to the temporary edge direction determined by the first edge direction detector 110 in the modified Sobel mask illustrated in FIG. 3B. If the temporary edge direction is the P direction, the Sobel operation unit 120 performs the Sobel operation on the pixel A, the pixel B, the pixel D, the pixel F, and the pixel G. The Sobel operation unit 120 performs the Sobel operation by applying the modified Sobel mask shown in FIG. 3B to the pixels A, B, F, and G, and applies the Sobel mask shown in FIG. 3A to the pixel D. Sobel operation is performed. In this case, since the value of the pixel X is empty, the Sobel operation cannot be performed. Therefore, the Sobel operator 120 first sets the average of the pixels H and I to the value of the pixel X, and then performs the Sobel operation. The magnitude and phase of five gradient vectors are obtained through the Sobel operation on the pixels corresponding to the temporary edge directions as described above. Meanwhile, when the temporary edge direction is the Q direction, the Sobel calculation unit 120 performs the operation described above with respect to the pixel B, the pixel C, the pixel D, the pixel E, and the pixel F. FIG.

제2에지방향 검출부(130)는 소벨연산부(120)에 의해 산출된 5개의 그래디언트 벡터 중에서 크기가 큰 2개의 그래디언트 벡터를 선택한다. 그래디언트 벡터의 크기가 클수록 강한 에지를 의미하므로, 그래디언트 벡터의 크기를 기초로 에지방향을 결정하는 것이 타당하다. 다음으로, 제2에지방향 검출부(130)는 선택된 2개의 그래디언트 벡터 중에서 위상이 큰 그래디언트 벡터의 위상을 에지방향으로 결정한다. 이때 제2에지방향 검출부(130)는 선택된 2개의 그래디언트 벡터의 위상이 사전에 설정된 임계값보다 작으면 에지방향 검출에 실패한 것으로 판단한다. 도 4에는 픽셀의 상대적 위치에 따른 에지각도가 도시되어 있다. 도 4를 참조하면, 보간될 픽셀 D로부터 각각의 픽셀까지의 상대적인 위치에 따른 에지각도는 각각 90.00°, 45.00°, 26.57°, 18.43°, 14.04°, 11.31° 및 9.46°이다. 본 발명에서는 에지방향을 산출하기 위한 픽셀이 보간될 픽셀로부터 4픽셀을 초과하는 위치에 있는 경우(즉, 에지각도가 14.04°보다 작은 경우)에는 에지방향이 잘못 구해진 것으로 판단한다. 따라서 에지각도의 임계값은 14.04°로 설정된다. 이러한 에지각도의 임계값은 영상의 특성에 따라 실험적으로 결정된다. 이상과 같이 에지각도를 결정하게 되면 ±90°~ ±14.04°까지의 모든 각도의 에지를 판별할 수 있어 보다 정밀한 에 지검출이 가능하다. The second edge direction detection unit 130 selects two gradient vectors having a large size among the five gradient vectors calculated by the Sobel calculation unit 120. Since the larger the magnitude of the gradient vector is, the stronger the edge is. Therefore, it is reasonable to determine the edge direction based on the size of the gradient vector. Next, the second edge direction detection unit 130 determines the phase of the gradient vector having a large phase among the two selected gradient vectors in the edge direction. At this time, the second edge direction detection unit 130 determines that the edge direction detection has failed when the phases of the two selected gradient vectors are smaller than the preset threshold. 4 shows the edge angle according to the relative position of the pixel. Referring to FIG. 4, the edge angles according to the relative positions from the pixel D to be interpolated to each pixel are 90.00 °, 45.00 °, 26.57 °, 18.43 °, 14.04 °, 11.31 ° and 9.46 °, respectively. In the present invention, when the pixel for calculating the edge direction is located at a position exceeding 4 pixels from the pixel to be interpolated (that is, when the edge angle is smaller than 14.04 °), it is determined that the edge direction is incorrectly obtained. Therefore, the threshold value of the edge angle is set to 14.04 °. The threshold of this edge angle is determined experimentally according to the characteristics of the image. As described above, if the edge angle is determined, edges of all angles from ± 90 ° to ± 14.04 ° can be discriminated, enabling more precise edge detection.

보간부(140)는 제2에지방향 검출부(130)에 의해 검출된 에지방향을 기초로 보간될 픽셀을 보간한다. 따라서 에지방향이 45°로 결정되면, 보간부(140)는 픽셀 C와 픽셀 E의 평균값으로 픽셀 D를 보간한다. 또한, 에지방향이 -45로 결정되면, 보간부(140)는 픽셀 A와 픽셀 G의 평균값으로 픽셀 D를 보간한다. 또한, 제2에지방향 검출부(130)로부터 에지방향 검출에 실패했음을 나타내는 정보가 입력되면, 보간부(140)는 픽셀 B와 픽셀 F의 평균값으로 픽셀 D를 보간한다. The interpolator 140 interpolates the pixels to be interpolated based on the edge direction detected by the second edge direction detector 130. Therefore, when the edge direction is determined to be 45 °, the interpolator 140 interpolates the pixel D with the average value of the pixel C and the pixel E. FIG. In addition, when the edge direction is determined to be −45, the interpolator 140 interpolates the pixel D with an average value of the pixel A and the pixel G. In addition, when information indicating that the edge direction detection has failed is input from the second edge direction detection unit 130, the interpolation unit 140 interpolates the pixel D with an average value of the pixels B and F.

한편, 상술한 바와 같은 소벨연산을 이용하여 에지를 판단할 경우에 상당히 정확한 에지방향을 검출할 수 있지만, 그에 따른 계산의 복잡도가 높다는 단점이 있다. 이러한 계산의 복잡도를 줄이기 위해서는 보간될 픽셀이 평탄한 영역인지 아니면 에지영역인지 판단하여 선택적으로 소벨연산을 적용하는 것이 바람직하다. 이를 위해 본 발명에서는 다음의 수학식으로 정의되는 평가값이 보간될 픽셀(즉, 픽셀 D)의 상부픽셀(즉, 픽셀 B)과 하부픽셀(즉, 픽셀 F)의 절대차이값인 기준값보다 큰 경우에 소벨연산을 적용한다. On the other hand, when the edge is determined using the Sobel operation as described above, the edge direction can be detected quite accurately, but there is a disadvantage in that the complexity of the calculation is high. In order to reduce the complexity of the calculation, it is preferable to selectively apply the Sobel operation by determining whether the pixel to be interpolated is a flat area or an edge area. To this end, in the present invention, an evaluation value defined by the following equation is larger than a reference value, which is an absolute difference value between an upper pixel (ie, pixel B) and a lower pixel (ie, pixel F) of a pixel to be interpolated (ie, pixel D). In this case the Sobel operation is applied.

Figure 112007003244879-pat00005
Figure 112007003244879-pat00005

여기서, T2B는 평가값이고, Pel(i, j)는 보간될 픽셀의 픽셀값이다.Here, T2B is an evaluation value and Pel (i, j) is a pixel value of a pixel to be interpolated.

따라서, 도 2에 도시된 픽셀열에 있어서 픽셀 D에 대한 평가값 T2B(D)는 |Pel(A)-Pel(E)|+|Pel(B)-Pel(F)|+|Pel(C)-Pel(G)|로 구해진다. 이러한 평가과정은 별도로 구비된 에지평가부(미도시)가 수행하거나 제1에지방향 검출부(110)가 수행하도록 구현될 수 있다. 만약 평가값이 기준값보다 작으면 에지평가부 또는 제1에지방향 검출부(110)는 보간부(140)로 평탄영역임을 나타내는 신호를 출력하며, 이때, 보간부(140)는 보간될 픽셀(즉, 픽셀 D)의 상부픽셀(즉, 픽셀 B)과 하부픽셀(즉, 픽셀 F)의 평균값으로 보간될 픽셀을 보간한다.Therefore, the evaluation value T2B (D) for the pixel D in the pixel column shown in FIG. 2 is | Pel (A) -Pel (E) | + | Pel (B) -Pel (F) | + | Pel (C) Obtained as -Pel (G) | This evaluation process may be performed by an edge evaluation unit (not shown) provided separately or by the first edge direction detection unit 110. If the evaluation value is smaller than the reference value, the edge evaluation unit or the first edge direction detection unit 110 outputs a signal indicating the flat area to the interpolation unit 140, where the interpolation unit 140 is a pixel to be interpolated (that is, The pixel to be interpolated is interpolated by the average value of the upper pixel (i.e. pixel B) and the lower pixel (i.e. pixel F) of pixel D).

도 5는 본 발명에 따른 변형된 소벨 연산자를 이용한 디인터레이싱 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.5 is a flowchart illustrating a preferred embodiment of the deinterlacing method using the modified Sobel operator according to the present invention.

도 5를 참조하면, 에지평가부는 수학식 5에 의해 보간될 픽셀에 대한 평가값을 산출한다(S500). 다음으로, 에지평가부는 산출된 평가값과 보간될 픽셀의 상부픽셀과 하부픽셀의 절대차이값인 기준값을 비교하여 소벨연산의 수행여부를 판단한다(S510). 만약 평가값이 기준값보다 크면, 제1에지방향 검출부(110)는 E-ELA방법에서 정의된 P와 Q를 기초로 보간될 픽셀에 대한 임시에지방향을 검출한다(S520). 다음으로, 소벨연산부(120)는 제1에지방향 검출부(110)에 의해 결정된 임시에지방향에 해당하는 픽셀에 대해 소벨연산을 수행한다(S530). 이때 소벨연산부(120)는 보간될 픽셀에 대해서는 기존의 소벨 마스크를 적용하여 소벨연산을 수행하고, 보간될 픽셀 이외의 픽셀에 대해서는 변형된 소벨 마스크를 적용하여 소벨연산을 수행한다. Referring to FIG. 5, the edge evaluation unit calculates an evaluation value for a pixel to be interpolated by Equation 5 (S500). Next, the edge evaluation unit compares the calculated evaluation value with a reference value which is an absolute difference value between the upper pixel and the lower pixel of the pixel to be interpolated and determines whether the Sobel operation is performed (S510). If the evaluation value is larger than the reference value, the first edge direction detection unit 110 detects the temporary edge direction for the pixel to be interpolated based on P and Q defined in the E-ELA method (S520). Next, the Sobel calculation unit 120 performs a Sobel operation on the pixel corresponding to the temporary edge direction determined by the first edge direction detection unit 110 (S530). In this case, the Sobel operation unit 120 performs a Sobel operation by applying an existing Sobel mask to the pixels to be interpolated, and performs the Sobel operation by applying a modified Sobel mask to pixels other than the pixels to be interpolated.

제2에지방향 검출부(130)는 소벨연산부(120)에 의해 산출된 5개의 그래디언트 벡터 중에서 크기가 큰 2개의 그래디언트 벡터를 선택한다(S540). 다음으로, 제 2에지방향 검출부(130)는 선택된 2개의 그래디언트 벡터의 위상이 사전에 설정된 임계값보다 큰지 확인한다(S550). 선택된 2개의 그래디언트 벡터의 위상이 사전에 설정된 임계값보다 큰 것으로 확인되면, 제2에지방향 검출부(130)는 선택된 2개의 그래디언트 벡터 중에서 위상이 큰 그래디언트 벡터의 위상을 에지방향으로 검출한다(S560). 보간부(140)는 제2에지방향 검출부(130)에 의해 검출된 에지방향을 기초로 보간될 픽셀을 보간한다(S570). 한편, S510단계에서 평가값이 기준값보다 작은 것으로 확인되거나 S550단계에서 선택된 2개의 그래디언트 벡터의 위상이 사전에 설정된 임계값보다 작은 것으로 확인되면, 보간부(140)는 보간될 픽셀의 상부와 하부에 위치한 픽셀의 평균값에 의해 보간될 픽셀을 보간한다(S580).The second edge direction detection unit 130 selects two gradient vectors having a large size among the five gradient vectors calculated by the Sobel calculation unit 120 (S540). Next, the second edge direction detection unit 130 checks whether the phase of the two selected gradient vectors is greater than a preset threshold value (S550). When it is determined that the phases of the two selected gradient vectors are greater than the preset threshold value, the second edge direction detection unit 130 detects the phase of the gradient vector having the larger phase among the two selected gradient vectors in the edge direction (S560). . The interpolator 140 interpolates the pixels to be interpolated based on the edge direction detected by the second edge direction detector 130 (S570). On the other hand, if it is determined in step S510 that the evaluation value is smaller than the reference value or the phases of the two gradient vectors selected in step S550 are smaller than the preset threshold value, the interpolator 140 is positioned on the upper and lower parts of the pixel to be interpolated. A pixel to be interpolated is interpolated by an average value of the located pixels (S580).

표 1은 본 발명에 따른 디인터레이싱 방법과 종래의 디인터레이싱 방법을 다양한 정지영상에 대해 수행하여 얻어진 영상의 객관적 화질을 PSNR(dB)에 의해 나타낸 테이블이다. 실험에 사용된 정지영상의 크기는 512×512(픽셀)이다.Table 1 is a table showing the objective image quality of the image obtained by performing the deinterlacing method according to the present invention and the conventional deinterlacing method for various still images by PSNR (dB). The size of the still image used in the experiment is 512 x 512 (pixels).

LDLD LALA ELAELA E-ELAE-ELA DOIDOI 본 발명The present invention airplaneairplane 29.3229.32 34.2534.25 33.0433.04 33.3333.33 34.0134.01 34.4934.49 baboonbaboon 21.8221.82 23.9423.94 23.3523.35 23.5723.57 23.8623.86 23.9823.98 barbarabarbara 27.2527.25 32.1432.14 25.2125.21 30.6730.67 29.6529.65 32.3432.34 boatboat 30.1730.17 35.3835.38 32.4732.47 33.4533.45 34.7634.76 35.5735.57 fingerfinger 25.9625.96 31.6931.69 28.8228.82 29.3429.34 29.2329.23 31.7531.75 girlgirl 33.0133.01 38.2938.29 37.1837.18 37.4737.47 37.7937.79 38.6138.61 goldhillgoldhill 30.2330.23 33.6333.63 32.2732.27 32.6332.63 35.5335.53 33.7533.75 lenalena 32.7732.77 37.6537.65 35.9635.96 36.8836.88 37.6637.66 38.1638.16 manman 26.3826.38 29.3129.31 28.6028.60 29.1529.15 29.4129.41 29.6229.62 pepperspeppers 30.3730.37 33.7833.78 34.1334.13 34.2134.21 33.9933.99 34.2534.25 tiffanytiffany 32.9432.94 35.6535.65 34.8634.86 35.4035.40 35.8435.84 35.8835.88 toystoys 29.1929.19 33.3133.31 32.5532.55 32.9732.97 33.2533.25 33.3933.39 zeldazelda 35.8735.87 41.3041.30 39.3839.38 39.7839.78 40.6940.69 41.4041.40 평균Average 29.6429.64 33.8733.87 32.1432.14 32.9932.99 33.3633.36 34.0934.09

표 1을 참조하면, 본 발명에 따른 디인터레이싱 방법이 DOI방법보다 보간된 영상의 객관적 화질에 있어서 평균 0.73dB 향상됨을 알 수 있다. 한편, 도 6에는 본 발명에 따른 디인터레이싱 방법과 DOI방법의 상대적 수행시간을 나타낸 그래프가 도시되어 있다. 도 6에 도시된 상대적 수행시간은 100번의 평균시간을 기준으로 산출된 것이다. 도 6을 참조하면, 본 발명에 따른 디인터레이싱 방법이 DOI방법보다 복잡도에 있어서 36.34% 향상됨을 알 수 있다. 또한, 도 7a 내지 도 7h에는 각각 원본 finger 영상, 원본 finger 영상을 확대한 영상, LD방법에 의해 보간된 finger 영상, LA방법에 의해 보간된 finger 영상, ELA방법에 의해 보간된 finger 영상, E-ELA방법에 의해 보간된 finger 영상, DOI방법에 의해 보간된 finger 영상, 그리고, 본 발명에 의해 보간된 finger 영상이 도시되어 있다. 도 7a 내지 도 7h를 참조하면, 보간된 영상의 주관적 화질 역시 본 발명에 따른 디인터레이싱 방법이 우수함을 알 수 있다.Referring to Table 1, it can be seen that the deinterlacing method according to the present invention has an average improvement of 0.73 dB in the objective image quality of the interpolated image than the DOI method. Meanwhile, FIG. 6 is a graph showing the relative execution times of the deinterlacing method and the DOI method according to the present invention. The relative execution time shown in FIG. 6 is calculated based on 100 average times. Referring to FIG. 6, it can be seen that the deinterlacing method according to the present invention is improved by 36.34% in complexity than the DOI method. 7A to 7H also show an original finger image, an enlarged image of an original finger image, a finger image interpolated by the LD method, a finger image interpolated by the LA method, a finger image interpolated by the ELA method, and E-. A finger image interpolated by the ELA method, a finger image interpolated by the DOI method, and a finger image interpolated by the present invention are shown. 7A to 7H, it can be seen that the subjective quality of the interpolated image is also excellent in the deinterlacing method according to the present invention.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific preferred embodiments described above, and the present invention belongs to the present invention without departing from the gist of the present invention as claimed in the claims. Various modifications can be made by those skilled in the art, and such changes are within the scope of the claims.

본 발명에 따른 변형된 소벨연산자를 이용한 디인터레이싱 장치 및 방법에 의하면, 대략적인 에지방향성을 검출한 후에 선택적으로 소벨연산자를 적용하여 에지방향을 검출함으로써, 필드내 보간의 수행시 정확한 에지방향의 검출이 가능하여 보간된 영상의 화질을 향상시킬 수 있고, 잡음의 영향을 최소화하면서 실시간 영상보간이 가능하다. 특히 보간될 픽셀이 평탄한 영역인지 아니면 에지영역인지 판단하여 선택적으로 소벨연산을 적용함으로써 계산의 복잡도를 낮추면서 보간된 영상의 객관적 및 주관적 화질을 향상시킬 수 있다.According to the deinterlacing apparatus and method using the modified Sobel operator according to the present invention, the edge direction is detected by selectively applying the Sobel operator after detecting the approximate edge orientation. It is possible to improve the quality of the interpolated image, and real-time image interpolation is possible while minimizing the influence of noise. In particular, by determining whether the pixel to be interpolated is a flat area or an edge area and selectively applying the Sobel operation, it is possible to improve the objective and subjective picture quality of the interpolated image while reducing the complexity of the calculation.

Claims (11)

보간될 화소를 중심으로 소정 크기의 윈도우를 적용하여 E-ELA 방법에서 정의된 P와 Q를 기초로 상기 보간될 픽셀에 대한 임시에지방향을 검출하는 제1에지방향 검출부;A first edge direction detection unit detecting a temporary edge direction for the pixel to be interpolated based on P and Q defined in the E-ELA method by applying a window having a predetermined size around the pixel to be interpolated; 상기 임시에지방향에 해당하는 픽셀들에 대해 소벨연산을 수행하여 상기 임시에지방향에 해당하는 픽셀들 각각에 대응하는 그래디언트 벡터의 크기와 위상을 산출하는 소벨연산부;A Sobel calculation unit performing a Sobel operation on the pixels corresponding to the temporary edge direction to calculate the magnitude and phase of a gradient vector corresponding to each of the pixels corresponding to the temporary edge direction; 상기 산출된 그래디언트 벡터들 중에서 크기 순으로 사전에 설정된 개수의 그래디언트 벡터를 선택하고, 상기 선택된 그래디언트 벡터 중에서 위상이 큰 그래디언트 벡터의 위상을 상기 보간될 픽셀의 에지방향으로 검출하는 제2에지방향 검출부; 및A second edge direction detection unit which selects a predetermined number of gradient vectors in order of magnitude among the calculated gradient vectors and detects a phase of a gradient vector having a large phase among the selected gradient vectors in an edge direction of the pixel to be interpolated; And 상기 검출된 에지방향 상에 위치하는 픽셀들의 픽셀값에 의해 상기 보간될 픽셀을 보간하는 보간부;를 포함하며,And an interpolation unit which interpolates the pixel to be interpolated by pixel values of pixels positioned on the detected edge direction. 상기 소벨연산부는 상기 보간될 픽셀에 대해서는 3×3 크기의 소벨 마스크를 적용하여 소벨연산을 수행하고, 상기 보간될 픽셀 이외의 픽셀에 대해서는 짝수열의 값이 0인 5×3 크기의 변형된 소벨 마스크를 적용하여 소벨연산을 수행하는 것을 특징으로 하는 디인터레이싱 장치.The Sobel calculation unit performs a Sobel operation by applying a 3 × 3 size Sobel mask to the pixels to be interpolated, and a 5 × 3 sized Sobel mask having a value of even columns equal to 0 for pixels other than the pixels to be interpolated. De-interlacing apparatus characterized in that to perform the Sobel operation. 보간될 화소를 중심으로 소정 크기의 윈도우를 적용하여 E-ELA 방법에서 정의된 P와 Q를 기초로 상기 보간될 픽셀에 대한 임시에지방향을 검출하는 제1에지방향 검출부;A first edge direction detection unit detecting a temporary edge direction for the pixel to be interpolated based on P and Q defined in the E-ELA method by applying a window having a predetermined size around the pixel to be interpolated; 상기 임시에지방향에 해당하는 픽셀들에 대해 소벨연산을 수행하여 상기 임시에지방향에 해당하는 픽셀들 각각에 대응하는 그래디언트 벡터의 크기와 위상을 산출하는 소벨연산부;A Sobel calculation unit performing a Sobel operation on the pixels corresponding to the temporary edge direction to calculate the magnitude and phase of a gradient vector corresponding to each of the pixels corresponding to the temporary edge direction; 상기 산출된 그래디언트 벡터들 중에서 크기 순으로 사전에 설정된 개수의 그래디언트 벡터를 선택하고, 상기 선택된 그래디언트 벡터 중에서 위상이 큰 그래디언트 벡터의 위상을 상기 보간될 픽셀의 에지방향으로 검출하는 제2에지방향 검출부;A second edge direction detection unit which selects a predetermined number of gradient vectors in order of magnitude among the calculated gradient vectors and detects a phase of a gradient vector having a large phase among the selected gradient vectors in an edge direction of the pixel to be interpolated; 상기 검출된 에지방향 상에 위치하는 픽셀들의 픽셀값에 의해 상기 보간될 픽셀을 보간하는 보간부; 및An interpolation unit which interpolates the pixel to be interpolated by pixel values of pixels positioned on the detected edge direction; And 다음의 수학식에 의해 산출된 평가값과 보간될 픽셀의 상부픽셀과 하부픽셀의 절대차이값인 기준값을 비교하여 소벨연산의 수행여부를 판단하는 에지평가부;를 포함하며, And an edge evaluator which compares the evaluation value calculated by the following equation with a reference value which is an absolute difference value between the upper pixel and the lower pixel of the pixel to be interpolated and determines whether the Sobel operation is performed. 상기 보간부는 상기 평가값이 상기 기준값보다 작으면, 상기 보간될 픽셀의 상부픽셀과 하부픽셀의 평균값에 의해 상기 보간될 픽셀을 보간하는 것을 특징으로 하는 디인터레이싱 장치:The interpolation unit, when the evaluation value is smaller than the reference value, interpolating the pixel to be interpolated by an average value of upper and lower pixels of the pixel to be interpolated;
Figure 712008003022814-pat00006
,
Figure 712008003022814-pat00006
,
여기서, T2B는 평가값이고, Pel(i, j)는 보간될 픽셀의 픽셀값이다.Here, T2B is an evaluation value and Pel (i, j) is a pixel value of a pixel to be interpolated.
제 2항에 있어서,The method of claim 2, 상기 소벨연산부는 상기 보간될 픽셀에 대해서는 3×3 크기의 소벨 마스크를 적용하여 소벨연산을 수행하고, 상기 보간될 픽셀 이외의 픽셀에 대해서는 짝수열의 값이 0인 5×3 크기의 변형된 소벨 마스크를 적용하여 소벨연산을 수행하는 것을 특징으로 하는 디인터레이싱 장치.The Sobel calculation unit performs a Sobel operation by applying a 3 × 3 size Sobel mask to the pixels to be interpolated, and a 5 × 3 sized Sobel mask having a value of even columns equal to 0 for pixels other than the pixels to be interpolated. De-interlacing apparatus characterized in that to perform the Sobel operation. 제 1항 또는 제 2항에 있어서,The method according to claim 1 or 2, 상기 제2에지방향 검출부는 상기 선택된 그래디언트 벡터의 위상이 사전에 설정된 임계값보다 큰 것으로 확인되면, 상기 선택된 그래디언트 벡터 중에서 위상이 큰 그래디언트 벡터의 위상을 에지방향으로 결정하는 것을 특징으로 하는 디인터레이싱 장치.And when the second edge direction detector determines that the phase of the selected gradient vector is greater than a preset threshold, determining the phase of the gradient vector having a larger phase among the selected gradient vectors in an edge direction. 제 4항에 있어서,The method of claim 4, wherein 상기 보간부는 상기 선택된 그래디언트 벡터의 위상이 사전에 설정된 임계값보다 작은 것으로 확인되면, 상기 보간될 픽셀의 상부픽셀과 하부픽셀의 평균값에 의해 상기 보간될 픽셀을 보간하는 것을 특징으로 하는 디인터레이싱 장치.And when the phase of the selected gradient vector is determined to be smaller than a preset threshold, the interpolation unit interpolates the pixel to be interpolated by an average value of upper and lower pixels of the pixel to be interpolated. (a) 보간될 화소를 중심으로 소정 크기의 윈도우를 적용하여 E-ELA 방법에서 정의된 P와 Q를 기초로 상기 보간될 픽셀에 대한 임시에지방향을 검출하는 단계;(a) detecting a temporary edge direction for the pixel to be interpolated based on P and Q defined in the E-ELA method by applying a window having a predetermined size around the pixel to be interpolated; (b) 상기 임시에지방향에 해당하는 픽셀들에 대해 소벨연산을 수행하여 상기 임시에지방향에 해당하는 픽셀들 각각에 대응하는 그래디언트 벡터의 크기와 위상을 산출하는 단계;(b) calculating a magnitude and phase of a gradient vector corresponding to each of the pixels corresponding to the temporary edge direction by performing a Sobel operation on the pixels corresponding to the temporary edge direction; (c) 상기 산출된 그래디언트 벡터들 중에서 크기 순으로 사전에 설정된 개수의 그래디언트 벡터를 선택하고, 상기 선택된 그래디언트 벡터 중에서 위상이 큰 그래디언트 벡터의 위상을 상기 보간될 픽셀의 에지방향으로 검출하는 단계; 및(c) selecting a predetermined number of gradient vectors in order of magnitude among the calculated gradient vectors, and detecting a phase of a gradient vector having a large phase among the selected gradient vectors in an edge direction of the pixel to be interpolated; And (d) 상기 검출된 에지방향 상에 위치하는 픽셀들의 픽셀값에 의해 상기 보간될 픽셀을 보간하는 단계;를 포함하며,(d) interpolating the pixel to be interpolated by pixel values of pixels located on the detected edge direction; 상기 (b)단계에서, 상기 보간될 픽셀에 대해서는 3×3 크기의 소벨 마스크를 적용하여 소벨연산을 수행하고, 상기 보간될 픽셀 이외의 픽셀에 대해서는 짝수열의 값이 0인 5×3 크기의 변형된 소벨 마스크를 적용하여 소벨연산을 수행하는 것을 특징으로 하는 디인터레이싱 방법.In the step (b), the Sobel operation is performed by applying a 3 × 3 size Sobel mask to the pixels to be interpolated, and a 5 × 3 size deformation with an even number of 0 for pixels other than the pixels to be interpolated. The de-interlacing method characterized in that performing the Sobel operation by applying the Sobel mask. (a) 보간될 화소를 중심으로 소정 크기의 윈도우를 적용하여 E-ELA 방법에서 정의된 P와 Q를 기초로 상기 보간될 픽셀에 대한 임시에지방향을 검출하는 단계;(a) detecting a temporary edge direction for the pixel to be interpolated based on P and Q defined in the E-ELA method by applying a window having a predetermined size around the pixel to be interpolated; (b) 상기 임시에지방향에 해당하는 픽셀들에 대해 소벨연산을 수행하여 상기 임시에지방향에 해당하는 픽셀들 각각에 대응하는 그래디언트 벡터의 크기와 위상을 산출하는 단계;(b) calculating a magnitude and phase of a gradient vector corresponding to each of the pixels corresponding to the temporary edge direction by performing a Sobel operation on the pixels corresponding to the temporary edge direction; (c) 상기 산출된 그래디언트 벡터들 중에서 크기 순으로 사전에 설정된 개수의 그래디언트 벡터를 선택하고, 상기 선택된 그래디언트 벡터 중에서 위상이 큰 그래디언트 벡터의 위상을 상기 보간될 픽셀의 에지방향으로 검출하는 단계;(c) selecting a predetermined number of gradient vectors in order of magnitude among the calculated gradient vectors, and detecting a phase of a gradient vector having a large phase among the selected gradient vectors in an edge direction of the pixel to be interpolated; (d) 상기 검출된 에지방향 상에 위치하는 픽셀들의 픽셀값에 의해 상기 보간될 픽셀을 보간하는 단계; 및(d) interpolating the pixel to be interpolated by pixel values of pixels located on the detected edge direction; And (e) 다음의 수학식에 의해 산출된 평가값과 보간될 픽셀의 상부픽셀과 하부픽셀의 절대차이값인 기준값을 비교하여 소벨연산의 수행여부를 판단하는 단계;를 포함하며, (e) comparing the evaluation value calculated by the following equation and a reference value which is an absolute difference value between the upper pixel and the lower pixel of the pixel to be interpolated and determining whether to perform the Sobel operation. 상기 (d)단계에서, 상기 평가값이 상기 기준값보다 작으면, 상기 보간될 픽셀의 상부픽셀과 하부픽셀의 평균값에 의해 상기 보간될 픽셀을 보간하는 것을 특징으로 하는 디인터레이싱 방법:In the step (d), if the evaluation value is less than the reference value, the de-interlacing method characterized in that for interpolating the pixel to be interpolated by the average value of the upper and lower pixels of the pixel to be interpolated:
Figure 712008003022814-pat00007
,
Figure 712008003022814-pat00007
,
여기서, T2B는 평가값이고, Pel(i, j)는 보간될 픽셀의 픽셀값이다.Here, T2B is an evaluation value and Pel (i, j) is a pixel value of a pixel to be interpolated.
제 7항에 있어서,The method of claim 7, wherein 상기 (b)단계에서, 상기 보간될 픽셀에 대해서는 3×3 크기의 소벨 마스크를 적용하여 소벨연산을 수행하고, 상기 보간될 픽셀 이외의 픽셀에 대해서는 짝수열의 값이 0인 5×3 크기의 변형된 소벨 마스크를 적용하여 소벨연산을 수행하는 것을 특징으로 하는 디인터레이싱 방법.In the step (b), the Sobel operation is performed by applying a 3 × 3 size Sobel mask to the pixels to be interpolated, and a 5 × 3 size deformation with an even number of 0 for pixels other than the pixels to be interpolated. The de-interlacing method characterized in that performing the Sobel operation by applying the Sobel mask. 제 6항 또는 제 7항에 있어서,The method according to claim 6 or 7, 상기 (c)단계에서, 상기 선택된 그래디언트 벡터의 위상이 사전에 설정된 임계값보다 큰 것으로 확인되면, 상기 선택된 그래디언트 벡터 중에서 위상이 큰 그래디언트 벡터의 위상을 에지방향으로 결정하는 것을 특징으로 하는 디인터레이싱 방법.In the step (c), if it is determined that the phase of the selected gradient vector is larger than a preset threshold, the phase of the gradient vector having a larger phase among the selected gradient vectors is determined in an edge direction. 제 9항에 있어서,The method of claim 9, 상기 (d)단계에서, 상기 선택된 그래디언트 벡터의 위상이 사전에 설정된 임계값보다 작은 것으로 확인되면, 상기 보간될 픽셀의 상부픽셀과 하부픽셀의 평균 값에 의해 상기 보간될 픽셀을 보간하는 것을 특징으로 하는 디인터레이싱 방법.In step (d), if it is determined that the phase of the selected gradient vector is smaller than a preset threshold, the pixel to be interpolated is interpolated by an average value of upper and lower pixels of the pixel to be interpolated. De-interlacing method. 제 6항 또는 제 7항에 기재된 디인터레이싱 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.A computer-readable recording medium having recorded thereon a program for executing the deinterlacing method according to claim 6 or 7.
KR1020070003723A 2007-01-12 2007-01-12 Deinterlacing apparatus and method using modified Sobel operator, and recording medium KR100874380B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070003723A KR100874380B1 (en) 2007-01-12 2007-01-12 Deinterlacing apparatus and method using modified Sobel operator, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070003723A KR100874380B1 (en) 2007-01-12 2007-01-12 Deinterlacing apparatus and method using modified Sobel operator, and recording medium

Publications (2)

Publication Number Publication Date
KR20080066372A KR20080066372A (en) 2008-07-16
KR100874380B1 true KR100874380B1 (en) 2008-12-18

Family

ID=39821253

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070003723A KR100874380B1 (en) 2007-01-12 2007-01-12 Deinterlacing apparatus and method using modified Sobel operator, and recording medium

Country Status (1)

Country Link
KR (1) KR100874380B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118260A (en) * 2013-03-11 2013-05-22 成都博盛信息技术有限公司 Deinterlacing system and method based on four-domain local motion compensation

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101158847B1 (en) * 2010-08-26 2012-06-27 중앙대학교 산학협력단 Deinterlacing apparatus and method using edge map

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100196872B1 (en) 1995-12-23 1999-06-15 전주범 Apparatus for restoring error of image data in image decoder
JP2004056586A (en) 2002-07-22 2004-02-19 Renesas Technology Corp Image processor and image processing method

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100196872B1 (en) 1995-12-23 1999-06-15 전주범 Apparatus for restoring error of image data in image decoder
JP2004056586A (en) 2002-07-22 2004-02-19 Renesas Technology Corp Image processor and image processing method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103118260A (en) * 2013-03-11 2013-05-22 成都博盛信息技术有限公司 Deinterlacing system and method based on four-domain local motion compensation

Also Published As

Publication number Publication date
KR20080066372A (en) 2008-07-16

Similar Documents

Publication Publication Date Title
US7265791B2 (en) Method and apparatus for de-interlacing video signal
JP4563603B2 (en) Format conversion apparatus and method using bi-directional motion vectors
JP4162621B2 (en) Frame interpolation method and apparatus for frame rate conversion
TWI287401B (en) Edge adaptive image expansion and enhancement system and method
US7907209B2 (en) Content adaptive de-interlacing algorithm
EP2330817B1 (en) Video signal converting system
US8184705B2 (en) Method and apparatus for motion compensated filtering of video signals
US20090208123A1 (en) Enhanced video processing using motion vector data
US6614485B2 (en) Deinterlacing apparatus
EP1039746B1 (en) Line interpolation method and apparatus
US6930728B2 (en) Scan conversion apparatus
US7035481B2 (en) Apparatus and method for line interpolating of image signal
US20090219439A1 (en) System and Method of Deinterlacing Interlaced Video Signals to Produce Progressive Video Signals
KR100422575B1 (en) An Efficient Spatial and Temporal Interpolation system for De-interlacing and its method
KR100874380B1 (en) Deinterlacing apparatus and method using modified Sobel operator, and recording medium
CN111294545B (en) Image data interpolation method and device, storage medium and terminal
Park et al. Covariance-based adaptive deinterlacing method using edge map
KR101158847B1 (en) Deinterlacing apparatus and method using edge map
KR100931110B1 (en) Deinterlacing apparatus and method using fuzzy rule-based edge recovery algorithm
US7233363B2 (en) De-interlacing method, apparatus, video decoder and reproducing apparatus thereof
Zhao et al. Towards an overview of spatial up-conversion techniques
KR101069712B1 (en) A Method and Apparatus for Intra Field Scan-Line Interpolation Using Weighted Median of Edge Direction
JP4371907B2 (en) Pixel feature determination device, pixel interpolation device, and video signal processing device
JP5752167B2 (en) Image data processing method and image data processing apparatus
JPH08317347A (en) Image information converting device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121011

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20131002

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20141008

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151012

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee