KR20100106695A - Video interlacing method and apparatus thereof - Google Patents
Video interlacing method and apparatus thereof Download PDFInfo
- Publication number
- KR20100106695A KR20100106695A KR1020090024781A KR20090024781A KR20100106695A KR 20100106695 A KR20100106695 A KR 20100106695A KR 1020090024781 A KR1020090024781 A KR 1020090024781A KR 20090024781 A KR20090024781 A KR 20090024781A KR 20100106695 A KR20100106695 A KR 20100106695A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- value
- current
- area
- interpolation
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
- Television Systems (AREA)
Abstract
Description
본 발명은 영상 디인터레이싱 방법 및 그 장치에 관한 것으로, 보다 구체적으로는 적응적으로 영상 디인터레이싱을 수행하는 방법 및 그 장치에 관한 것이다. The present invention relates to an image deinterlacing method and apparatus thereof, and more particularly, to a method and apparatus for adaptively performing image deinterlacing.
최근 PDP나 LCD와 같은 대형 디스플레이 및 평판 디스플레이 장치들이 널리 사용됨에 따라 영상 화질 개선에 대한 연구가 더욱 중요해지고 있다. 그러나 종래의 방송 시스템은 대역폭과 영상 화질을 함께 고려하여 비월 주사 방식을 채택하여 사용하고 있기 때문에 비월 주사 방식을 순차 주사 방식으로 변환이 필요하다. Recently, as large display and flat panel display devices such as PDP and LCD are widely used, research on improving image quality is becoming more important. However, since the conventional broadcasting system adopts the interlaced scanning method in consideration of the bandwidth and the image quality, it is necessary to convert the interlaced scanning method into the sequential scanning method.
이러한 변환을 디인터레이싱이라 부르는데, 종래의 디인터레이싱 방법은 크게 MC(Motion Compensation) 디인터레이싱 방법과 No-MC(No Motion Compensation) 디인터레이싱 방법으로 구분할 수 있다. Such a transformation is called deinterlacing, and a conventional deinterlacing method can be largely divided into a motion compensation (MC) deinterlacing method and a no motion compensation (No-MC) deinterlacing method.
일반적으로 MC 디인터레이싱 방법은 No-MC 디인터레이싱 방법과 비교하여 성능은 우수하지만 연산 복잡도가 높고 메모리 용량을 많이 필요로 하기 때문에 하드 웨어로 구현에 있어서 어려움이 따른다. In general, the MC deinterlacing method has better performance than the No-MC deinterlacing method, but it is difficult to implement as hardware because the computational complexity is high and the memory capacity is required.
반면 상대적으로 구현이 용이한 No-MC 디인터레이싱 방법들 중에는 움직임 정보를 이용하여 적응적으로 시, 공간 필터를 적용하는 방법, 필드 내의 정보만을 이용하여 보간을 하는 공간 필터를 이용하는 경우가 연산 복잡도가 낮고, 실시간 구현이 용이하기 때문에 많이 적용되고 있다. On the other hand, among the relatively easy to implement No-MC de-interlacing methods, the computational complexity is low when the spatial and spatial filters are interpolated using only the information in the field. Many applications have been made because they are easy to implement in real time.
공간 필터 중에 성능이 우수하고 많이 적용되고 있는 알고리듬은 에지의 방향성을 이용한 보간하는 알고리듬이다. 이러한 방법들은 먼저 에지 정보를 추출하여 방향성을 계산하고 이에 따라 적절한 화소들을 이용하여 보간 하게 되는데 이 경우, 정확한 에지 정보의 추출과 방향성을 결정하는 부분이 성능을 좌우하는 중요한 요소이다. 그리하여 에지를 추출하기 위한 다양한 방법들이 제시되었는데 대부분의 방법에 있어서 대각선 에지에 취약한 단점이 있고, 구해진 에지의 방향을 완전히 신뢰할 수 없는 문제가 있었다. Algorithm that has high performance and is widely applied among spatial filters is an interpolation algorithm that uses edge orientation. These methods first extract the edge information to calculate the directionality and interpolate accordingly with appropriate pixels. In this case, the accurate extraction of the edge information and the determination of the directionality are important factors that determine performance. Thus, various methods for extracting the edges have been proposed. In most of the methods, there are disadvantages of being vulnerable to diagonal edges, and there is a problem that the direction of the obtained edge is not completely reliable.
예컨대, 현재 널리 사용하는 ELA(Edge-based Line Average) 알고리듬은 에지의 방향을 추출하고 이를 이용하여 화소간의 평균값을 구하여 보간하는 방법으로서, 간단한 연산과 구현의 용이성 때문에 많이 사용되고 있지만, 화소 값의 작은 변화에도 민감하고, 잘못된 에지 정보를 이용하는 등의 단점이 있다. For example, the widely used edge-based line average (ELA) algorithm is an interpolation method that extracts the direction of edges and calculates the average value between pixels using the edge direction. It is also susceptible to change and uses wrong edge information.
이러한 ELA 알고리듬의 단점을 보완하기 위해 여러 알고리듬들이 제안되고 있다. 에지 방향의 검출 성능을 높이기 위한 추가적인 측정 방법이 제안되었고, 수평 에지 패턴이나 콘텐츠 분석에 따른 보간 방법들이 제안되었다. Several algorithms have been proposed to compensate for the shortcomings of the ELA algorithm. Additional measurement methods have been proposed to improve the detection performance in the edge direction, and interpolation methods based on horizontal edge patterns or content analysis have been proposed.
특히 DOI(Direction Oriented Interpolation) 알고리듬은 윈도우 기반으로 에지를 검출하기 때문에 이전의 ELA 알고리듬 보다 좀 더 성능이 우수한 것으로 알려져 있다. DOI 알고리듬은 에지 방향을 좀 더 정교하게 찾고 공간적으로 강한 하나의 에지나 수평 방향성의 에지를 갖는 영상에서 좋은 성능을 보인다. 그러나 DOI 알고리듬은 큰 검색 범위 내에서 에지 패턴을 찾기 때문에 연산 복잡도가 높고, 유사하거나 반복적인 에지 패턴을 가지는 영역에서는 좋지 않은 성능을 보인다. In particular, the Direction Oriented Interpolation (DOI) algorithm is known to outperform the previous ELA algorithm because it detects edges on a window basis. The DOI algorithm finds more precise edge direction and performs well on images with one spatially strong edge or a horizontally oriented edge. However, since the DOI algorithm finds edge patterns within a large search range, it has high computational complexity and poor performance in areas with similar or repetitive edge patterns.
따라서, 본 발명의 목적은 먼저 텍스쳐 감지를 통해 현재 보간할 영역이 평탄한 영역인지 에지가 존재하는 텍스쳐 영역인지 판단하여 상황에 따라 적응적으로 보간방식을 적용하여 더 좋은 성능을 얻는 것이다. Accordingly, an object of the present invention is to first determine whether an area to be interpolated is a flat area or a texture area in which an edge exists through texture detection, and to obtain better performance by adaptively applying an interpolation method according to a situation.
상기 목적은 본 발명에 따라, 영상 디인터레이싱 방법에 있어서, (a) 보간할 현재 화소를 중심으로 하는 현재영역이 에지나 텍스쳐가 존재하는 텍스쳐 영역인지 여부를 판별하는 단계; (b) 상기 현재영역에 상기 텍스쳐 영역이 아닌 경우 미디안 필터를 사용하여 상기 현재 화소의 값을 산출하는 단계; (c) 상기 현재영역이 상기 텍스쳐 영역인 경우 상기 현재 화소의 각 방향에 대한 화소값 기울기를 이용한 화소값 기울기 필터를 사용하여 상기 현재 화소의 값을 산출하는 단계; 및 (d) 상기 산출된 값으로 상기 현재 화소를 보간하는 단계를 포함하는 것을 특징으로 하는 영 상 디인터레이싱 방법에 의해 구현 가능하다. According to the present invention, there is provided a video deinterlacing method comprising the steps of: (a) determining whether a current area centered on a current pixel to be interpolated is a texture area in which edges or textures exist; calculating a value of the current pixel using a median filter when the current area is not the texture area; (c) calculating a value of the current pixel using a pixel value gradient filter using a pixel value gradient of each direction of the current pixel when the current area is the texture area; And (d) interpolating the current pixel with the calculated value.
상기 (a) 단계는 상기 현재 화소의 주변 화소의 분산값이 임계치보다 큰 경우 상기 텍스쳐 영역으로 판별하고, 그렇지 않은 경우 평탄영역으로 판별할 수 있다. In the step (a), when the dispersion value of the surrounding pixels of the current pixel is larger than a threshold, the texture area may be determined as the texture area.
상기 (b) 단계는, 다음 식에 의해 상기 현재 화소의 값을 산출할 있다:In step (b), the value of the current pixel may be calculated by the following equation:
(여기서, a=X(i-1,j-1), b=X(i,j-1), c=X(i+1,j-1), d=X(i-1,j+1), e=X(i,j+1), f=X(i+1,j+1) 이고, 현재 화소는 X(i,j) 이며, i,j는 화소의 행과 열의 인덱스임).(Where a = X (i-1, j-1), b = X (i, j-1), c = X (i + 1, j-1), d = X (i-1, j + 1), e = X (i, j + 1), f = X (i + 1, j + 1), the current pixel is X (i, j), and i, j are the indexes of the rows and columns of the pixel ).
상기 (c) 단계는, 상기 현재 화소를 중심으로 이전프레임과 현재프레임의 주변화소들에 기초하여 다수의 방향에 대한 화소값 기울기를 산출하는 단계; 상기 산출한 화소값 기울기의 값에 기초하여 에지 방향을 결정하는 단계; 및 상기 결정된 에지 방향에 존재하는 주변 화소들의 평균값을 상기 현재 화소의 값으로 산출하는 단계를 포함한다. The step (c) may include calculating a pixel value slope with respect to a plurality of directions based on the previous frame and the surrounding pixels of the current frame with respect to the current pixel; Determining an edge direction based on the calculated value of the pixel value gradient; And calculating the average value of the neighboring pixels existing in the determined edge direction as the value of the current pixel.
상기 에지 방향을 결정하는 단계는 다음 식에 의해 상기 에지 방향을 산출하고:Determining the edge direction calculates the edge direction by the following equation:
, ,
(여기서, Gy 는 y각도 방향의 화소 기울기 값을 의미함)Where Gy Is the value of pixel tilt in the y-angle direction)
상기 현재 화소의 값을 산출하는 단계는 다음 식에 의해 산출한다:The calculating of the value of the current pixel is calculated by the following equation:
(여기서, 는 입력 화소 정보를 나타내고, 는 보간 된 화소의 값을 나타낸다. 는 화소의 위치를 의미하는 (i,j)를 나타낸다. 또한, 와 에서의 n은 영상의 프레임의 위치를 나타내는 것으로, n은 현재의 프레임, n-1은 이전 프레임, n+1은 다음 프레임을 의미함).(here, Represents input pixel information, Denotes the value of the interpolated pixel. Denotes (i, j) which means the position of the pixel. Also, Wow Where n denotes the position of the frame of the image, n denotes the current frame, n-1 denotes the previous frame, and n + 1 denotes the next frame).
한편, 상기 목적은 본 발명에 따라, 영상 디인터레이싱 장치에 있어서, 보간할 현재 화소를 중심으로 하는 현재영역이 에지나 텍스쳐가 존재하는 텍스쳐 영역인지 여부를 판별하는 영역판별부; 판별결과에 따라 보간모드를 결정하는 보간모드결정부; 미디안 필터를 사용하여 상기 현재 화소의 값을 보간하는 미디안 보간부; 및 상기 현재 화소의 주변화소들에 기초하여 각 방향에 대한 화소값 기울기를 산출하는 화소값 기울기 산출부, 상기 산출된 화소값 기울기 값에 기초하여 에지 방향을 결정하는 에지 방향 결정부, 및 상기 결정된 에지 방향에 대응하는 화소들의 평균값으로 보간을 수행하는 평균값 보간부를 포함하는 화소값 기울기 보간부를 포함하며, 상기 보간모드결정부는 상기 텍스쳐 영역이 아닌 경우 상기 미디안 보간부에 의한 보간을 선택하고, 상기 텍스쳐 영역인 경우 상기 화소값 기울기 보간부에 의 한 보간을 선택하는 것을 특징으로 하는 영상 디인터레이싱 장치에 의해 달성될 수 있다. On the other hand, according to the present invention, an image de-interlacing apparatus, comprising: an area discriminating unit for determining whether a current area centered on a current pixel to be interpolated is a texture area in which edges or textures exist; An interpolation mode determination unit to determine an interpolation mode according to the determination result; A median interpolation unit which interpolates a value of the current pixel using a median filter; And a pixel value gradient calculator for calculating a pixel value gradient with respect to each direction based on peripheral pixels of the current pixel, an edge direction determiner for determining an edge direction based on the calculated pixel value gradient value, and the determined A pixel value gradient interpolation unit including an average value interpolation unit for performing interpolation with an average value of pixels corresponding to an edge direction, wherein the interpolation mode determining unit selects interpolation by the median interpolation unit when the interpolation mode is not the texture area, In the case of the texture area, the image deinterlacing apparatus may select interpolation by the pixel value gradient interpolation unit.
이상 설명한 바와 같이, 본 발명에 따르면, 먼저 텍스쳐 감지를 통해 현재 보간할 영역이 평탄한 영역인지 에지가 존재하는 텍스쳐 영역인지 판단하여 상황에 따라 적응적으로 보간방식을 적용하여 더 좋은 성능을 얻을 수 있다. 또한, 종래의 보간방식에 비해 연산이 간단하기 때문에 구현이 쉽고 경제성이 있다. As described above, according to the present invention, first, by detecting the texture, it is possible to determine whether the current interpolation area is a flat area or a texture area in which an edge exists, and thus it is possible to obtain better performance by adaptively applying an interpolation method according to the situation. . In addition, since the operation is simpler than the conventional interpolation method, the implementation is easy and economical.
이하, 도면을 참조하여 본 발명의 구체적인 실시예들에 대해 설명하기로 한다. Hereinafter, specific embodiments of the present invention will be described with reference to the drawings.
본 발명은 디인터레이싱 된 영상의 객관적 화질 및 주관적 화질을 개선하기 위해 텍스쳐 감지를 이용한 화소값 기울기 보간 및 미디안 보간 기반의 디인터레이싱 방법 및 장치를 제안한다. The present invention proposes a method and apparatus for deinterlacing based on pixel value gradient interpolation and median interpolation using texture sensing in order to improve the objective and subjective image quality of a deinterlaced image.
도 1은 본 발명의 일 실시예에 따라 디인터레이싱을 수행하는 방법의 대략적인 흐름을 보여준다.1 shows a schematic flow of a method for performing deinterlacing according to an embodiment of the present invention.
화소들이 입력되면(S10), 입력된 화소들에 기초하여 현재 화소를 중심으로 하는 영역이 에지나 텍스쳐가 존재하는 텍스쳐 영역인지 여부를 판별한다(S11).When the pixels are input (S10), it is determined based on the input pixels whether the area centered on the current pixel is a texture area in which an edge or a texture exists (S11).
만약, 텍스쳐 영역으로 판별된 경우(S12), 화소값 기울기 필터를 사용하여 현재 화소의 값을 산출한다(S13). 반면, 평탄영역으로 판별된 경우(S14), 미디안 필터를 사용하여 현재 화소의 값을 산출한다(S15). 그리고, 산출된 화소값으로 현 재 화소를 보간한다(S16).If it is determined as the texture area (S12), the value of the current pixel is calculated using the pixel value gradient filter (S13). On the other hand, if it is determined as a flat region (S14), the median filter is used to calculate the current pixel value (S15). The current pixel is interpolated with the calculated pixel value (S16).
본 발명은 텍스쳐 영역인지 여부에 따라 보간 방법을 적응적으로 달리 적용함으로써 더욱 선명한 화질을 얻을 수 있다.According to the present invention, a clearer picture quality can be obtained by adaptively applying an interpolation method differently depending on whether the texture area is a texture area.
이하, 도 2 내지 도 6을 참조하여 구체적인 본 발명의 영상 디인터레이싱 방법 및 장치에 대해 설명하기로 한다. Hereinafter, the image deinterlacing method and apparatus of the present invention will be described in detail with reference to FIGS. 2 to 6.
도 2는 본 발명의 일 실시예에 따른 영상 디인터레이싱 장치의 개략적인 제어블록도이고, 도 3은 본 발명의 일 실시예에 따라 텍스쳐 영역인지 여부를 판단하는데 기초가 되는 주변 화소들을 도시한 것이다.FIG. 2 is a schematic control block diagram of an image deinterlacing apparatus according to an embodiment of the present invention, and FIG. 3 illustrates peripheral pixels as a basis for determining whether or not the texture area is in accordance with an embodiment of the present invention.
도 2를 참조하면, 본 실시예에 따른 영상 디인터레이싱 장치는 영역판별부(10), 보간모드결정부(20), 및 영상 보간부(30)를 포함한다. Referring to FIG. 2, the image deinterlacing apparatus according to the present embodiment includes an area discriminator 10, an interpolation mode determiner 20, and an
영역판별부(10)는 현재 화소가 속한 일정 크기의 영역이 에지나 텍스쳐가 존재하는 텍스쳐 영역인지 여부를 먼저 판별한다. The
본 실시예에서 텍스쳐 영역 여부의 판별은 도 3과 같이, 이전 필드와 현재 필드의 주변화소들의 분산값을 산출하여 판별한다. In the present embodiment, whether the texture area is determined or not is determined by calculating a variance value of neighboring pixels of the previous field and the current field as shown in FIG. 3.
도 3에서, XO는 보간할 현재 화소의 위치를 나타내며, X1~X8은 텍스쳐 영역 여부의 판단을 위한 주변 화소들을 나타낸다. 현재 필드에서 현재 화소의 좌우 화소가 존재하지 않기 때문에, 이전 필드의 동일 위치에 존재하는 화소인 X7, X8을 기초로 분산을 산출한다.In FIG. 3, X O represents a position of a current pixel to be interpolated, and X 1 to X 8 represent neighboring pixels for determining whether a texture area is present. Since there are no left and right pixels of the current pixel in the current field, the variance is calculated based on X 7 and X 8 , which are pixels existing at the same position of the previous field.
분산과 평균은 아래의 수학식 1 및 2에 의해 산출한다.Variance and average are calculated by the following equations (1) and (2).
도 1을 다시 참고하면, 영역판별부(10)는 분산값 Var이 Th(임계값)보다 클 경우에는 현재 화소가 속한 현재영역이 텍스쳐 영역인 것으로 판단하고, 그렇지 않은 경우에는 에지나 텍스쳐가 존재하지 않는 평탄영역으로 판단한다.Referring back to FIG. 1, when the variance value Var is greater than Th (threshold value), the area discriminator 10 determines that the current area to which the current pixel belongs is a texture area. Otherwise, the edge discriminator exists. It is determined that the flat area is not.
여기서, 임계값은 실험을 통해 적절하게 결정될 수 있다. Here, the threshold value can be appropriately determined through experimentation.
보간모드결정부(20)는 현재 화소의 영역이 텍스쳐 영역이 아닌 것으로 판별되면, 즉 평탄영역으로 판별되면 미디안 보간을 선택하고, 현재 화소의 영역이 텍스쳐 영역으로 판별되면 화소값 기울기 보간을 선택한다. 이와 같이, 본 발명은 텍스쳐 영역인지 여부에 따라 보간 방법을 적응적으로 달리 적용함으로써 더욱 선명한 화질을 얻을 수 있다.If it is determined that the area of the current pixel is not the texture area, that is, if the area of the current pixel is determined as the flat area, the interpolation mode determiner 20 selects the pixel value gradient interpolation if the area of the current pixel is determined to be the texture area. . As described above, according to the present invention, a sharper picture quality can be obtained by adaptively applying an interpolation method differently depending on whether the texture area is a texture area.
영상 보간부(30)는 결정된 보간 방법에 의해 현재 화소의 값을 보간하는 것으로, 미디안 보간부(31) 및 화소값 기울기 보간부(33)를 포함한다.The
미디안 보간부(31)는 미디안 필터를 사용하여 보간을 수행하는 것으로, 평탄영역에 적용된다. 미디안 필터는 구현이 매우 간단하고 많은 영상에서 비교적 좋은 성능을 보여주고 있다. The
도 4는 미디안 보간부(31)의 보간 방법을 설명하기 위한 주변픽셀들을 도시 한 것이고, 아래 수학식 3은 보간 식을 나타낸 것이다. 4 illustrates peripheral pixels for explaining the interpolation method of the
미디안 보간부(31)는 a,b,c,d,e,f와 g를 비교하여 그 중 중간값을 갖는 화소값으로 현재 화소를 보간한다. 여기서, g는 b와 e의 평균값이다. The
미디안 필터 알고리즘은 강한 잡음에 효과적인 것으로 알려져 있다. 다만, 자연 이미지 또는 풍경 이미지와 같은 영상 또는 에지를 가진 영상에서는 비효율적인 것으로 알려져 있다. 따라서, 본 발명에서는 에지나 텍스쳐가 존재하지 않는 평탄영역의 경우 미디안 필터를 사용하여 고화질의 영상을 얻고, 에지나 텍스쳐가 존재하는 텍스쳐 영역의 경우 화소값 기울기 필터를 사용한다.The median filter algorithm is known to be effective against strong noise. However, it is known to be inefficient in an image having an edge or an image such as a natural image or a landscape image. Accordingly, the present invention obtains a high quality image by using a median filter in the case of flat areas without edges or textures, and uses a pixel value gradient filter in the case of texture areas in which edges or textures exist.
화소값 기울기 보간부(33)는 화소값 기울기 필터를 사용하여 보간을 수행하는 것으로, 도 5는 화소값 기울기 보간부(33)의 보간 방법을 개략적으로 보여주는 흐름도이다.The pixel
먼저, 각 방향에 대한 화소값 기울기를 구하여(S20), 에지 방향을 결정하고(S21), 결정된 에지 방향에 대응하는 화소들의 평균값으로 현재 화소를 보간한다(S22).First, the slope of the pixel value for each direction is obtained (S20), the edge direction is determined (S21), and the current pixel is interpolated with an average value of pixels corresponding to the determined edge direction (S22).
화소값 기울기 보간부(33)의 보간 방법에 대해서는 도 1 및 도 6을 참조하여 보다 구체적으로 설명한다. An interpolation method of the pixel value
도 1을 다시 참조하면, 화소값 기울기 보간부(33)는 화소값 기울기 산출 부(33a), 에지 방향 결정부(33b), 및 평균값 보간부(33c)를 포함한다.Referring back to FIG. 1, the pixel
화소값 기울기 산출부(33a)는 다음과 같은 식으로 화소값 기울기를 산출한다.The pixel
여기서, G(x)는 화소 x의 화소값 기울기를 나타내고, Px -1, Px +1은 각각 x-1, x+1 위치의 화소값을 나타낸다. 만약 G(x)의 값이 0이 된다면, 그것이 에지 방향을 의미하게 된다. 본 실시예에서, 화소값 기울기는 시간 및 공간 영역을 기반으로 한다. Here, G (x) denotes a pixel value gradient of the pixel x, P x -1, P +1 x represents the pixel value of x-1, x + 1 positions. If the value of G (x) becomes zero, it means the edge direction. In this embodiment, the pixel value slope is based on the temporal and spatial regions.
도 6은 화소값 기울기 필터에 이용되는 주변 화소들을 나타낸다. 도 6에서, X는 보간 대상이 되는 현재 화소의 위치를 나타내고, 회색으로 표시된 영역의 화소들(a, b, c, d, e, f, g, h, i, j, k, l)은 화소값 기울기 필터에 이용되는 주변 화소들을 나타낸다. 6 illustrates peripheral pixels used in the pixel value gradient filter. In FIG. 6, X denotes the position of the current pixel to be interpolated, and pixels (a, b, c, d, e, f, g, h, i, j, k, l) of the regions shown in gray are The peripheral pixels used for the pixel value gradient filter are shown.
90°각도 방향90 ° angle direction
90°각도 방향의 화소값 기울기의 연산은 다음 수학식 5와 같이 구할 수 있다. The calculation of the pixel value gradient in the 90 ° angle direction can be obtained as shown in Equation 5 below.
여기서, ≫는 오른쪽 시프트 연산을 의미하고, P(a), P(i), ...은 a, i, ... 위치의 화소 값을 의미한다. 만약, 위 식에서 G90 °가 0이 된다면 에지 방향은 90°가 된다.Here, >> means right shift operation, and P (a), P (i), ... means pixel value of a, i, ... position. If G 90 ° becomes 0 in the above equation, the edge direction is 90 °.
0°각도 방향0 ° angle
0°각도 방향의 화소값 기울기의 연산은 아래 수학식 6에 의해 구할 수 있다. The calculation of the pixel value slope in the 0 ° angle direction can be obtained by the following equation (6).
45°각도 방향45 ° angle
45°각도 방향은 화소값 기울기 필터의 방향을 변경하는 것으로 다음과 같은 식으로 구할 수 있다. The 45 ° angle direction is obtained by changing the direction of the pixel value gradient filter, as follows.
135°각도 방향135 ° angle
135°각도 방향의 화소값 기울기의 연산은 45°각도 방향과 유사하게 다음과 같이 구할 수 있다. The calculation of the pixel value gradient in the 135 ° angle direction can be obtained as follows, similar to the 45 ° angle direction.
22.5°각도 및 157.5°각도 방향22.5 ° angle and 157.5 ° angle direction
22.5°각도와 157.5°각도 방향에 대한 화소값 기울기는 각각 각도의 좌,우에 해당하는 각도 방향의 평균으로 구할 수 있다. 예컨대, 22.5°의 각도의 경우, 주변의 각도의 방향의 모드(각각 0°각도와 45°각도 방향)으로부터 다음과 같은 식에 의해 구할 수 있다. The pixel value slope with respect to the 22.5 ° angle and the 157.5 ° angle direction may be obtained as an average of the angular directions corresponding to the left and right of the angle, respectively. For example, in the case of an angle of 22.5 degrees, it can be calculated | required by the following formula from the mode (each 0 degree angle and 45 degree angle direction) of the direction of the surrounding angle.
마찬가지로 157.5°각도 방향에 대한 화소값 기울기는 다음과 같은 식으로 구할 수 있다.Similarly, the slope of the pixel value with respect to the 157.5 ° angle direction can be obtained as follows.
이렇게 각 각도에 대한 화소값 기울기 값이 산출되면, 에지 방향 결정부(33b)는 다음과 같은 식에 의해 에지 방향을 결정하게 된다.When the pixel value gradient value for each angle is calculated in this way, the edge
여기서, fIGF는 최종적으로 결정되어 출력되는 에지 방향을 나타낸다. 즉, 화소값 기울기 값 중 최소값을 가진 화소값 기울기의 방향을 에지 방향으로 결정한다. Here, f IGF represents the edge direction finally determined and output. That is, the direction of the pixel value gradient having the minimum value among the pixel value gradient values is determined as the edge direction.
이렇게 에지 방향이 결정되면, 평균값 보간부(33c)는 결정된 에지 방향에 따라 두 화소의 평균값으로 보간할 화소를 보간하게 되는데, 구체적인 식은 다음과 같다.When the edge direction is determined as described above, the
여기서, 는 입력 화소 정보를 나타내고, 는 보간 된 화소의 값을 나타낸다. 는 화소의 위치를 의미하는 (i,j)를 나타낸다. 또한, 와 에서의 n은 영상의 프레임의 위치를 나타낸다. 예컨대, n이 현재의 프레임이라 하면, n-1은 이전 프레임을 의미하고, n+1은 다음 프레임을 의미한다. here, Represents input pixel information, Denotes the value of the interpolated pixel. Denotes (i, j) which means the position of the pixel. Also, Wow N in E denotes a position of a frame of an image. For example, if n is a current frame, n-1 means a previous frame and n + 1 means a next frame.
추가적으로, 최적 에지 방향인 fIGF의 결과가 G0 °이면, 다른 각도의 방향처럼, 현재 필드의 화소 정보를 갖고 보간을 하는 것이 아니라, 이전 프레임과 다음 프레임의 현재 보간할 화소의 위치와 동일한 위치의 화소 정보의 평균으로 보간을 수행하게 된다. 이는 비록 텍스쳐 영역으로 판단되었지만, 수평각의 경우 그 영역이 수평 에지의 영역인지 배경 영역인지가 불분명하기 때문에, 본 발명에서는 실험을 통해 가장 좋은 성능을 보여주는 이전 프레임과 다음 프레임의 정보를 이용하여 보간을 수행하도록 하였다.In addition, if the result of f IGF , which is the optimal edge direction, is G 0 ° , the same position as the position of the pixel to be interpolated in the previous frame and the next frame, instead of interpolating with the pixel information of the current field, as in the direction of another angle The interpolation is performed with an average of pixel information. Although this is determined as a texture area, it is unclear whether the area is a horizontal edge area or a background area in the case of a horizontal angle. Therefore, in the present invention, interpolation is performed using information of a previous frame and a next frame which show the best performance through experiments. To be performed.
본 발명에 따른 디인터레이싱 방법 및 장치는 소프트웨어 알고리즘 및/또는 하드웨어에 의해 구현 가능하다. The deinterlacing method and apparatus according to the present invention can be implemented by software algorithms and / or hardware.
실험 결과Experiment result
본 실험에서는 여러 종류의 CIF 동영상(Akiyo, Bus, Coastguard, Flower, Foreman, Mobile, Paris, Stefan, Table Tennis, 그리고 Tempete)을 대상으로 디인터레이싱 알고리듬들의 성능을 평가하였다. 종래의 알고리듬들과 성능을 비교하기 위하여 객관적인 화질의 비교 척도로 잘 알려져 있고, 널리 사용하고 있는 PSNR(Peak Signal-to-Noise Ratio)을 사용하여 비교하였다. In this experiment, we evaluated the performance of the deinterlacing algorithms for various types of CIF videos (Akiyo, Bus, Coastguard, Flower, Foreman, Mobile, Paris, Stefan, Table Tennis, and Tempete). In order to compare the performance with the conventional algorithms, a comparison was made using the Peak Signal-to-Noise Ratio (PSNR), which is well known as a comparative measure of objective image quality and is widely used.
다음 식들은 PSNR과 MSE를 산출하는 방법을 나타낸다. 아래 수학식 13에서 MSE(Mean Squared Error)는 수학식 14에서 보여 주듯이 원본 영상과 복원된 영상의 차이의 제곱의 평균을 의미한다. The following equations show how PSNR and MSE are calculated. In Equation 13 below, Mean Squared Error (MSE) refers to an average of squares of differences between original images and reconstructed images, as shown in Equation 14.
여기서 xorg와 xrec는 width×height 크기를 갖는 원본 영상과 복원된 영상을 나타낸다. Where x org and x rec represent the original image and the reconstructed image with width × height.
도 7은 성능 평가 방법에 대한 대략적인 흐름도를 나타낸다. 실험 대상의 CIF 동영상들은 도 7에 의해 프로그레시브(Progressive) 형식으로부터 인터레이 스(Interlaced) 형식으로 변환된다.7 shows a schematic flowchart of a performance evaluation method. The CIF videos of the test subject are converted from the progressive format to the interlaced format by FIG. 7.
다음으로, 프로그레시브 형식의 원본 영상과 종래의 여러 디인터레이싱 알고리듬들을 이용하여 복원된 영상들을 비교하였다. Next, the original images of the progressive format are compared with the reconstructed images using various conventional deinterlacing algorithms.
아래 표 1 및 표 2는 각각 제안한 본 발명에 따른 알고리듬(이하, IMTD라 함)과 종래의 디인터레이싱 알고리듬들인 LD(Line Doubling), LA(Line Average), ELA, E-ELA, A-ELA, DOI, LABI, PMED, 및 MIAD의 평균 PSNR 결과와 평균 CPU 타임(time)의 비교 결과를 보여준다.Tables 1 and 2 below show the proposed algorithm (hereinafter referred to as IMTD) and the conventional deinterlacing algorithms LD (Line Doubling), LA (Line Average), ELA, E-ELA, A-ELA, and DOI, respectively. The comparison of the average PSNR results with the average CPU time of LABI, PMED, and MIAD is shown.
-CIF 영상에 대한 PSNR의 비교(dB/frame)-PSNR Comparison for CIF Images (dB / frame)
-CIF 영상에 대한평균 CPU 타임 비교(ms/frame)-Average CPU Time Comparison for CIF Images (ms / frame)
표 1과 표 2에서 알 수 있듯이, 제안하는 본 발명에 따른 IMTD 알고리듬은 기존 알고리듬들 보다 객관적인 화질에서 우수한 성능을 보인다. 특히, 에지의 방향이 선명하게 나타나는 "Foreman" 영상이나 반복적인 패턴이 많이 나타나는 "Flower" 영상의 경우에는 일반적으로 성능이 좋다고 알려진 LA(Line Average), DOI 알고리듬들 보다 객관적 화질의 비교 척도인 PSNR이 0.4486dB, 0.4488dB 우수한 성능을 보이고 있으며, CPU 타임은 DOI 알고리듬과 비교하여 월등히 빠른 성능을 보여주고 있다. 또한 평균 PSNR에서도 본 발명에 따른 IMTD 알고리듬을 제외하고 높은 성능을 보이는 LA, DOI, MIAD 알고리듬들과 비교하여 최대 0.2782dB 우수한 성능을 보이고 있다.As can be seen from Table 1 and Table 2, the proposed IMTD algorithm according to the present invention shows better performance in objective image quality than the existing algorithms. In particular, in the case of "Foreman" images with sharp edges or "Flower" images with many repetitive patterns, PSNR, which is a comparative measure of objective image quality, is generally better than LA (Line Average) and DOI algorithms, which are known to perform well. The performance is excellent at 0.4486dB and 0.4488dB, and the CPU time is much faster than the DOI algorithm. In addition, the average PSNR shows excellent performance up to 0.2782dB compared to the LA, DOI, and MIAD algorithms showing high performance except the IMTD algorithm according to the present invention.
도 8 및 9는 종래의 디인터레이싱 알고리듬과 본 발명에 따른 ITMD 알고리듬의 주관적인 화질을 비교한 영상으로서, 각각 "flower"와 "stefan" 영상의 주관적인 화질을 비교한 것이다. 8 and 9 are images comparing the subjective picture quality of the conventional de-interlacing algorithm and the ITMD algorithm according to the present invention, and compare the subjective picture quality of the "flower" and "stefan" images, respectively.
구체적으로, 도 8은 "Flower" 영상의 170번째 프레임 영상의 특정 부분을 확대한 것이고, 도 9는 "Stefan" 영상의 202번째 프레임 영상의 특정부분을 확대한 것이다. 도 8의 (a)의 영상과 도 9의 (a)에서 영상의 확대한 부분을 사각형으로 표시하였다. 영상의 확대한 부분은 에지 방향의 라인이 잘 나타나는 부분을 포함하고 있어 본 발명에 따른 IMTD 알고리듬의 특성을 나타내는데 효과적이다. Specifically, FIG. 8 is an enlarged view of a specific portion of the 170th frame image of the "Flower" image, and FIG. 9 is an enlarged view of a specific portion of the 202th frame image of the "Stefan" image. An enlarged portion of the image of FIG. 8A and the image of FIG. 9A is represented by a rectangle. The magnified portion of the image includes a portion in which edge lines are well represented, which is effective for representing the characteristics of the IMTD algorithm according to the present invention.
LA(Line Average) 알고리듬의 경우 객관적 화질 비교 척도인 PSNR은 높지만 도 8의 (d)와 도 9의 (d)에서 보듯이 주관적 화질은 매우 좋지 않다. 즉, 주관적 화질은 인간의 눈으로 판단하는 것이므로 객관적 성능이 좋다고 하여 항상 주관적 화질 성능이 좋은 것은 아니고, 주관적 화질 성능이 좋다고 하여 객관적 성능까지 높은 것은 아니다. In the case of the LA (Line Average) algorithm, the PSNR, which is an objective quality comparison measure, is high, but the subjective picture quality is not very good as shown in FIGS. 8 (d) and 9 (d). In other words, since the subjective image quality is judged by the human eye, the objective performance is not always good because the subjective image quality is good, and the subjective image quality is good, and the objective performance is not high.
그 예로, 도 8의 "Stefan" 영상의 경우 본 발명에 따른 IMTD 알고리듬이 가장 좋은 PSNR 값을 가지지는 않지만 주관적 화질의 관점에서 볼 때 가장 좋은 성능을 보이고 있음을 알 수 있다.For example, in the case of the "Stefan" image of FIG. 8, the IMTD algorithm according to the present invention does not have the best PSNR value but shows the best performance in terms of subjective picture quality.
이와 같이, 본 발명은 비교적 간단한 연산을 통해, 에지나 텍스쳐가 존재하는 텍스쳐 영역을 감지하여 서로 다른 보간 방법을 적용하여 적응적으로 디인터레이싱을 수행함으로써 경제적이고 성능이 좋은 결과를 얻을 수 있다.As described above, the present invention can achieve economical and good performance by detecting the texture area where the edge or texture exists and adaptively performing deinterlacing by applying different interpolation methods through a relatively simple operation.
비록 본 발명의 몇몇 실시예들이 도시되고 설명되었지만, 본 발명이 속하는 기술분야의 통상의 지식을 가진 당업자라면 본 발명의 원칙이나 정신에서 벗어나지 않으면서 본 실시예를 변형할 수 있음을 알 수 있을 것이다. 발명의 범위는 첨부된 청구항과 그 균등물에 의해 정해질 것이다.Although some embodiments of the invention have been shown and described, it will be apparent to those skilled in the art that modifications may be made to the embodiment without departing from the spirit or spirit of the invention. . It is intended that the scope of the invention be defined by the claims appended hereto and their equivalents.
도 1은 본 발명의 일 실시예에 따라 디인터레이싱을 수행하는 방법의 대략적인 흐름을 보여준다.1 shows a schematic flow of a method for performing deinterlacing according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 영상 디인터레이싱 장치의 개략적인 제어블록도이고, 도 3은 본 발명의 일 실시예에 따라 텍스쳐 영역인지 여부를 판단하는데 기초가 되는 주변 화소들을 도시한 것이다.FIG. 2 is a schematic control block diagram of an image deinterlacing apparatus according to an embodiment of the present invention, and FIG. 3 illustrates peripheral pixels as a basis for determining whether or not the texture area is in accordance with an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따라 텍스쳐 영역인지 여부를 판단하는데 기초가 되는 주변 화소들을 도시한 것이다. 3 illustrates peripheral pixels as a basis for determining whether a texture area is in accordance with an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 미디안 보간부(31)의 보간 방법을 설명하기 위한 주변픽셀들을 도시한 것이다.4 illustrates peripheral pixels for explaining an interpolation method of the
도 5는 본 발명의 일 실시예에 따른 화소값 기울기 보간부(33)의 보간 방법을 개략적으로 보여주는 흐름도이다.5 is a flowchart schematically illustrating an interpolation method of the pixel value
도 6은 본 발명의 일 실시예에 따른 화소값 기울기 필터에 이용되는 주변 화소들을 나타낸다.6 illustrates peripheral pixels used in a pixel value gradient filter according to an embodiment of the present invention.
도 7은 성능 평가 방법에 대한 대략적인 흐름도를 나타낸다. 7 shows a schematic flowchart of a performance evaluation method.
도 8 및 9는 종래의 디인터레이싱 알고리듬과 본 발명에 따른 ITMD 알고리듬의 주관적인 화질을 비교한 영상으로서, 각각 "flower"와 "stefan" 영상의 주관적인 화질을 비교한 것이다. 8 and 9 are images comparing the subjective picture quality of the conventional de-interlacing algorithm and the ITMD algorithm according to the present invention, and compare the subjective picture quality of the "flower" and "stefan" images, respectively.
Claims (6)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090024781A KR101046347B1 (en) | 2009-03-24 | 2009-03-24 | Image deinterlacing method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090024781A KR101046347B1 (en) | 2009-03-24 | 2009-03-24 | Image deinterlacing method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100106695A true KR20100106695A (en) | 2010-10-04 |
KR101046347B1 KR101046347B1 (en) | 2011-07-05 |
Family
ID=43128735
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090024781A KR101046347B1 (en) | 2009-03-24 | 2009-03-24 | Image deinterlacing method and apparatus |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101046347B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101662591B1 (en) | 2014-12-31 | 2016-10-05 | 인천대학교 산학협력단 | Method and apparatus for deinterlacing based on soft decision |
KR101661716B1 (en) | 2014-12-31 | 2016-10-04 | 인천대학교 산학협력단 | Method and apparatus for deinterlacing |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100422575B1 (en) * | 2001-07-26 | 2004-03-12 | 주식회사 하이닉스반도체 | An Efficient Spatial and Temporal Interpolation system for De-interlacing and its method |
KR100568105B1 (en) * | 2003-10-02 | 2006-04-05 | 삼성전자주식회사 | Image adaptive deinterlacing method based on edge |
-
2009
- 2009-03-24 KR KR1020090024781A patent/KR101046347B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR101046347B1 (en) | 2011-07-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101536794B1 (en) | Image interpolation with halo reduction | |
JP4162621B2 (en) | Frame interpolation method and apparatus for frame rate conversion | |
US7259794B2 (en) | De-interlacing device and method therefor | |
US20080246885A1 (en) | Image-processing method and device | |
US20110206127A1 (en) | Method and Apparatus of Frame Interpolation | |
GB2458934A (en) | Detection of linear boundary between image border and picture regions based on pixel spatial gradients | |
KR100484182B1 (en) | Apparatus and method for deinterlacing | |
KR100422575B1 (en) | An Efficient Spatial and Temporal Interpolation system for De-interlacing and its method | |
KR101046347B1 (en) | Image deinterlacing method and apparatus | |
CN111294545B (en) | Image data interpolation method and device, storage medium and terminal | |
Park et al. | Covariance-based adaptive deinterlacing method using edge map | |
KR101158847B1 (en) | Deinterlacing apparatus and method using edge map | |
EP1955548B1 (en) | Motion estimation using motion blur information | |
KR101235488B1 (en) | De-interlacing Apparatus Using Weight Based on Wiener Filter and Method of Using the Same | |
KR100909032B1 (en) | Motion adaptive deinterlacing method and apparatus | |
KR20030082249A (en) | Motion adaptive spatial-temporal deinterlacing method | |
KR101697566B1 (en) | Deinterlacing Algorithm using Edge Direction from Analysis of the DCT Coefficient Distribution | |
KR100471186B1 (en) | Deinterlacing apparatus and method for interpolating of image data by region based | |
KR101192402B1 (en) | Covariance-based adaptive deinterlacing apparatus and method, and hybrid deinterlacing apparatus and method considering degree of complexity | |
KR100949137B1 (en) | Apparatus for video interpolation, method thereof and computer recordable medium storing the method | |
JP4681341B2 (en) | Sequential scan converter | |
KR100942665B1 (en) | Apparatus for video interpolation, method thereof and computer recordable medium storing the method | |
KR20080066372A (en) | De-interlacing device using modified sobel operation and method of the same | |
TWI288364B (en) | Method for processing resolution of an image by image interpolation algorithm | |
KR101652265B1 (en) | Method for intra-field deinterlacing based maximum a posteriori |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20140401 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20160418 Year of fee payment: 6 |
|
LAPS | Lapse due to unpaid annual fee |