KR100841591B1 - Apparatus and method for adaptive de-interlacing using takagi-sugeno fuzzy model - Google Patents
Apparatus and method for adaptive de-interlacing using takagi-sugeno fuzzy model Download PDFInfo
- Publication number
- KR100841591B1 KR100841591B1 KR1020070019704A KR20070019704A KR100841591B1 KR 100841591 B1 KR100841591 B1 KR 100841591B1 KR 1020070019704 A KR1020070019704 A KR 1020070019704A KR 20070019704 A KR20070019704 A KR 20070019704A KR 100841591 B1 KR100841591 B1 KR 100841591B1
- Authority
- KR
- South Korea
- Prior art keywords
- maximum
- value
- interpolation
- coefficient
- membership
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
Landscapes
- Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Systems (AREA)
Abstract
Description
도 1은 본 발명에 따른 적응적 디인터레이싱 장치에 대한 바람직한 실시예의 상세한 구성을 도시한 블록도,1 is a block diagram showing a detailed configuration of a preferred embodiment of an adaptive deinterlacing apparatus according to the present invention;
도 2는 보간대상화소를 포함하고 있는 현재프레임과 현재프레임과 시간적으로 인접하는 프레임에 대해 설정된 공간축 및 시간축 윈도우를 도시한 도면,2 is a diagram illustrating a space axis and a time axis window set for a current frame including an interpolation target pixel and a frame temporally adjacent to the current frame;
도 3은 제1멤버쉽값 및 제2멤버쉽값을 구하기 위한 멤버쉽 함수를 도시한 도면,3 is a diagram illustrating a membership function for obtaining a first membership value and a second membership value;
도 4는 타카기-스게노(Takagi-Sugeno : TS) 퍼지 모델에 따른 퍼지셋 및 각각의 퍼지셋의 소속값을 도시한 도면,FIG. 4 is a diagram illustrating the belonging values of a fuzzy set and each fuzzy set according to a Takagi-Sugeno (TS) fuzzy model. FIG.
도 5는 본 발명에 따른 적응적 디인터레이싱 방법에 대한 바람직한 실시예의 수행과정을 도시한 도면, 그리고,5 is a view showing the implementation of a preferred embodiment for the adaptive de-interlacing method according to the present invention, and
도 6a 내지 도 6d는 각각 실험영상(Stefan)에 대한 Bob 방법, Weave 방법, FDIO 방법 및 퍼지변수가 속하는 계층에 따라 적응적으로 보간을 수행하는 방법(Takagi-Sugino Interpolation : TSI)에 의해 얻어진 영상이 도시되어 있다. 6A to 6D are images obtained by a method of adaptively interpolating according to a layer to which a Bob method, a Weave method, an FDIO method, and a fuzzy variable belong to an experiment image (Takagi-Sugino Interpolation: TSI), respectively. Is shown.
본 발명은 적응적 디인터레이싱 장치 및 방법에 관한 것으로, 보다 상세하게는, 타카기-스게노 퍼지 모델을 이용한 적응적 디인터레이싱 장치 및 방법에 관한 것이다.The present invention relates to an adaptive deinterlacing apparatus and method, and more particularly, to an adaptive deinterlacing apparatus and method using the Takagi-Sugeno fuzzy model.
대부분의 영상 소스(DVD, SDTV, HDTV)는 격행주사(interlaced scanning)방식의 영상이 전송되는 반면, DLP, LCD, LCOS(SXRX, D-ILA), PDP와 같은 수신기의 표시장치는 순행주사(progressive scanning) 방식으로 영상을 재생하기 때문에 이를 해결하기 위한 디인터레이싱(de-interlacing) 기술개발이 이루어지고 있다.Most video sources (DVD, SDTV, HDTV) are transmitted by interlaced scanning, while receiver displays such as DLP, LCD, LCOS (SXRX, D-ILA) and PDP are progressive scans. Since an image is reproduced by a progressive scanning method, a de-interlacing technology has been developed to solve this problem.
디인터레이싱 기술은 격행주사로 입력되는 영상을 순행주사 영상으로 변환하여 출력하는 주사포맷 변환기술이다. 디인터레이싱 기술이 사용되는 대표적인 예는 공중파 방송인 텔레비젼신호를 컴퓨터로 시청하는 경우를 들 수 있다. 이러한 디인터레이싱 기술은 한 필드내에 빠져있는 화소값들을 예측하여 완전한 한 프레임을 만든다. 디인터레이싱 기술은 크게 필드간 보간(inter-field interpolation) 및 필드내 보간(intra-field interpolation)의 두가지로 구분할 수 있다.De-interlacing technology is a scanning format conversion technology that converts an image input by a parallel scan into a progressive scan image and outputs it. A representative example in which the deinterlacing technique is used is a case where a television signal, which is an air wave broadcast, is viewed on a computer. This deinterlacing technique predicts pixel values missing in a field to make a complete frame. De-interlacing techniques can be classified into two types, inter-field interpolation and intra-field interpolation.
필드간 보간의 한 예로 위브(Weave)를 들 수 있으며, 탑필드(top-field)와 바텀필드(bottom-field)를 결합하여 하나의 프레임을 만든다. 즉, 현재 필드의 라인 사이에 직전 필드의 라인을 단순히 삽입함으로써 하나의 프레임을 구현하는 것이다. 이는 움직임 보상이 없는 영상을 보간하는 경우에는 간단히 구현할 수 있지만, 움직임 보상이 있는 영상을 보간하는 경우에는 수평선이 생기거나 화면이 열화 된다. 또한 필드내 보간은 흔히 밥(Bob)이라고 알려져 있으며, 한 필드의 각 라인을 두 번 사용하여 하나의 프레임을 만든다. 다시 말하면, 하나의 필드에서 두 라인사이의 영역에 두 라인의 평균데이터를 삽입하여 새로운 프레임을 구현한다. 이러한 필드내 보간 방법은 움직임 보상이 있는 영상에 수평선이 생긴 것을 방지한다. 그러나, 정지 영상을 보간하는 경우 화면이 열화되며, 복잡하고 미세한 화면은 30Hz로 떨리게 된다.One example of interfield interpolation is Weave, which combines top-field and bottom-field to form a frame. That is, one frame is implemented by simply inserting the line of the immediately preceding field between the lines of the current field. This can be easily implemented when interpolating an image without motion compensation, but when interpolating an image with motion compensation, horizontal lines are generated or the screen is degraded. In-field interpolation is also commonly known as Bob, which creates a frame using each line of a field twice. In other words, a new frame is implemented by inserting average data of two lines in an area between two lines in one field. This intrafield interpolation method prevents horizontal lines from appearing in the image with motion compensation. However, when the still image is interpolated, the screen is deteriorated, and the complex and fine screen is shaken at 30 Hz.
한편 현재 보간할 화소의 상하 라인에 위치한 화소값의 평균을 사용하는 ELA(Edge-based line-averaging) 보간방법과 경계부분의 방향성을 고려한 DOI(Direction-oriented interpolation) 보간방법이 가장 널리 사용되고 있으나, 이러한 보간방법 역시 여전히 보간한 영상의 화질과 계산 속도의 개선이 필요하다.Currently, the edge-based interpolation (ELA) interpolation method using the average of pixel values located on the upper and lower lines of the pixel to be interpolated and the direction-oriented interpolation (DOI) interpolation method considering the direction of the boundary part are most widely used. Such interpolation method still needs improvement of interpolated image quality and calculation speed.
본 발명이 이루고자 하는 기술적 과제는, 영상의 에지특성 또는 움직임 특성과 관계없이 양호한 화질의 보간영상을 얻을 수 있으면서, 동시에 영상의 모션특성에 따라 복잡도를 고려하여 보간방식을 선택적으로 적용함으로써 객관적 및 주관적 화질과 알고리즘 계산 속도를 향상시킬 수 있는 적응적 디인터레이싱 장치 및 방법을 제공하는 데 있다.The technical problem to be achieved by the present invention is to obtain an interpolation image with good image quality regardless of the edge characteristics or motion characteristics of the image, and at the same time, to selectively apply the interpolation method in consideration of the complexity according to the motion characteristics of the image. The present invention provides an apparatus and method for adaptive deinterlacing that can improve image quality and algorithm calculation speed.
본 발명이 이루고자 하는 다른 기술적 과제는, 영상의 에지특성 또는 움직임 특성과 관계없이 양호한 화질의 보간영상을 얻을 수 있으면서, 동시에 영상의 모션특성에 따라 복잡도를 고려하여 보간방식을 선택적으로 적용함으로써 객관적 및 주 관적 화질과 알고리즘 계산 속도를 향상시킬 수 있는 적응적 디인터레이싱 방법을 컴퓨터에서 실행시키기 위한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.Another technical problem to be solved by the present invention is to obtain an interpolation image having good image quality regardless of edge characteristics or motion characteristics of an image, and to simultaneously apply an interpolation method selectively considering the complexity according to the motion characteristics of the image. The present invention provides a computer-readable recording medium for executing a computer on an adaptive deinterlacing method which can improve subjective picture quality and algorithm calculation speed.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 적응적 디인터레이싱 장치의 바람직한 실시예는, 보간대상화소가 포함된 현재프레임에 대해 설정된 공간축 윈도우 내에서 선택된 복수의 제1화소의 화소값 중에서 최대값과 최소값의 차이값인 제1최대차계수를 산출하고, 상기 보간대상화소가 포함된 현재프레임과 시간축 상에서 인접한 참조프레임들에 대해 설정된 시간축 윈도우 내에서 선택된 복수의 제2화소의 화소값 중에서 최대값과 최소값의 차이값인 제2최대차계수를 산출하는 최대차계수 산출부; 상기 제1최대차계수를 기초로 상기 공간축 윈도우 내의 제1화소들이 이루는 에지방향각 각각에 대한 제1멤버쉽값을 산출하고, 상기 제2최대차계수를 기초로 상기 시간축 윈도우 내의 제2화소들이 이루는 에지방향각 각각에 대한 제2멤버쉽값을 산출하는 멤버쉽값 산출부; 상기 제1멤버쉽값들과 상기 제2멤버쉽값들 중에서 최대인 멤버쉽값에 해당하는 에지방향각을 최대에지방향각으로 결정하는 에지방향각 결정부; 및 상기 최대인 멤버쉽값에 해당하는 화소들이 속하는 윈도우 내에서 상기 최대에지방향각 상에 위치하는 화소들의 평균 화소값에 의해 상기 보간대상화소를 보간하는 제1보간부;를 구비한다.In order to achieve the above technical problem, a preferred embodiment of the adaptive deinterlacing apparatus according to the present invention is the maximum among pixel values of a plurality of first pixels selected within a spatial axis window set for a current frame including an interpolation target pixel. A first maximum coefficient, which is a difference between a value and a minimum value, is calculated, and is the maximum among pixel values of a plurality of second pixels selected within a time axis window set for reference frames adjacent to the current frame including the interpolation target pixel and a time axis; A maximum difference coefficient calculating unit for calculating a second maximum difference coefficient that is a difference between the value and the minimum value; A first membership value for each edge direction angle formed by the first pixels in the space axis window is calculated based on the first maximum difference coefficient, and second pixels in the time axis window are calculated based on the second maximum difference coefficient. A membership value calculator configured to calculate a second membership value for each edge direction angle formed; An edge direction angle determiner that determines an edge direction angle corresponding to a maximum membership value among the first membership values and the second membership values as a maximum edge direction angle; And a first interpolation unit which interpolates the interpolation target pixel by an average pixel value of pixels positioned on the maximum edge direction angle in a window to which pixels corresponding to the maximum membership value belong.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 적응적 디인터레이싱 방법의 바람직한 실시예는, 보간대상화소가 포함된 현재프레임에 대해 설정된 공간축 윈도우 내에서 선택된 복수의 제1화소의 화소값 중에서 최대값과 최소값의 차이값인 제1최대차계수를 산출하는 단계; 상기 보간대상화소가 포함된 현재프레임과 시간축 상에서 인접한 참조프레임들에 대해 설정된 시간축 윈도우 내에서 선택된 복수의 제2화소의 화소값 중에서 최대값과 최소값의 차이값인 제2최대차계수를 산출하는 단계; 상기 제1최대차계수를 기초로 상기 공간축 윈도우 내의 제1화소들이 이루는 에지방향각 각각에 대한 제1멤버쉽값을 산출하고, 상기 제2최대차계수를 기초로 상기 시간축 윈도우 내의 제2화소들이 이루는 에지방향각 각각에 대한 제2멤버쉽값을 산출하는 단계; 상기 제1멤버쉽값들과 상기 제2멤버쉽값들 중에서 최대인 멤버쉽값에 해당하는 에지방향각을 최대에지방향각으로 결정하는 단계; 및 상기 최대인 멤버쉽값에 해당하는 화소들이 속하는 윈도우 내에서 상기 최대에지방향각 상에 위치하는 화소들의 평균 화소값에 의해 상기 보간대상화소를 보간하는 제1보간단계;를 갖는다.In order to achieve the above technical problem, a preferred embodiment of the adaptive deinterlacing method according to the present invention includes a pixel value of a plurality of first pixels selected within a spatial axis window set for a current frame including an interpolation target pixel. Calculating a first maximum difference coefficient that is a difference between a maximum value and a minimum value; Calculating a second maximum difference coefficient that is a difference between a maximum value and a minimum value among pixel values of a plurality of second pixels selected within a time axis window set for the current frame including the interpolation target pixel and adjacent reference frames on a time axis; ; A first membership value for each edge direction angle formed by the first pixels in the space axis window is calculated based on the first maximum difference coefficient, and second pixels in the time axis window are calculated based on the second maximum difference coefficient. Calculating a second membership value for each edge direction angle; Determining an edge direction angle corresponding to a maximum membership value among the first membership values and the second membership values as a maximum edge direction angle; And a first interpolation step of interpolating the interpolation target pixel by an average pixel value of pixels positioned on the maximum edge direction angle in a window to which pixels corresponding to the maximum membership value belong.
이에 의해 격행주사방식의 영상 신호를 순행주사방식의 영상 신호로 변환할 때 타카기-스게노 퍼지 이론(Takagi-Sugeno Fuzzy Theory)을 적용하여 에지가 존재하면서 동시에 움직임이 많은 영역과 움직임이 적은 영역을 모두 포함하고 있는 영상에 대해 종래의 Weave 방식 또는 Bob 방식에 의해 복원된 영상보다 객관적 및 주관적으로 향상된 화질의 영상을 얻을 수 있다. By applying the Takagi-Sugeno Fuzzy Theory when converting a progressive scan type video signal into a progressive scan type video signal, an area with a lot of edges and a small amount of motion at the same time is present. For an image including all regions, an image having an objectively and subjectively improved image quality can be obtained than an image reconstructed by a conventional Weave or Bob method.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 적응적 디인터레이싱 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of an adaptive deinterlacing apparatus and method according to the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 적응적 디인터레이싱 장치에 대한 바람직한 실시예의 상세한 구성을 도시한 블록도이다.1 is a block diagram showing a detailed configuration of a preferred embodiment of the adaptive deinterlacing apparatus according to the present invention.
도 1을 참조하면, 본 발명에 따른 적응적 디인터레이싱 장치는, 최대차계수 산출부(110), 멤버쉽값 산출부(120), 에지방향각 결정부(130), 퍼지셋 분류부(140), 퍼지변수 산출부(150), 보간수단 선택부(160), 제1보간부(170), 제2보간부(180) 및 제3보간부(190)를 구비한다.Referring to FIG. 1, the adaptive deinterlacing apparatus according to the present invention includes a maximum difference
최대차계수 산출부(110)는 보간대상화소가 포함된 현재프레임에 대해 설정된 공간축 윈도우 내에서 선택된 복수의 제1화소의 화소값 중에서 최대값과 최소값의 차이값인 제1최대차계수를 산출하고, 보간대상화소가 포함된 현재프레임과 시간축 상에서 인접한 참조프레임들에 대해 설정된 시간축 윈도우 내에서 선택된 복수의 제2화소의 화소값 중에서 최대값과 최소값의 차이값인 제2최대차계수를 산출한다. 도 2에는 보간대상화소를 포함하고 있는 현재프레임과 현재프레임과 시간적으로 인접하는 프레임에 대해 설정된 공간축 및 시간축 윈도우가 도시되어 있다.The maximum difference
최대차계수 산출부(110)는 도 2에 도시된 바와 같이 보간대상화소의 손실된 화소값 x(i,j,k)를 보간하기 위해 보간대상화소를 포함하고 있는 현재프레임(210)에 대해 설정된 공간축 윈도우(250) 내에서 선택된 6개의 화소(212, 214, 216, 218, 220, 222)를 기초로 다음의 수학식에 의해 제1최대차계수를 산출한다. As shown in FIG. 2, the maximum difference
수학식 1에서, SMDW는 공간축 윈도우(250) 내에 위치하는 보간대상화소와 인 접한 화소들간의 화소값의 차이 중에서 최대값인 제1최대차계수이고, β는 SMDW의 값을 0에서 255로 제한하기 위한 비례상수이며, 는 공간축 윈도우 내에 위치하는 화소의 개수이다.In
또한 최대차계수 산출부(110)는 보간대상화소를 포함하고 있는 현재프레임(210)에 인접한 전·후 프레임(220, 240)에 대해 설정된 시간축 윈도우(250) 내에서 선택된 6개의 화소(232, 234, 236, 242, 244, 246)를 기초로 다음의 수학식에 의해 제2최대차계수를 산출한다. In addition, the maximum difference
수학식 2에서, TMDW는 시간축 윈도우(260) 내에 위치하는 보간대상화소와 인접한 화소들간의 화소값의 차이 중에서 최대값인 제2최대차계수이고, β는 TMDW의 값을 0에서 255로 제한하기 위한 비례상수이며, 는 시간축 윈도우 내에 위치하는 화소의 개수이다.In
멤버쉽값 산출부(120)는 제1최대차계수를 기초로 퍼지 추론 방식을 적용하기 위해 θ(0°, ±45°, ±60°)의 기울기 각각에 대해 다음의 수학식에 의해 공간축 윈도우(250) 내의 제1화소들이 이루는 에지방향각 각각에 대한 제1멤버쉽값을 산출한다.The membership
또한 멤버쉽값 산출부(120)는 제2최대차계수를 기초로 퍼지 추론 방식을 적용하기 위해 θ(0°, ±45°, ±60°)의 기울기 각각에 대해 다음의 수학식에 의해 시간축 윈도우(260) 내의 제2화소들이 이루는 에지방향각 각각에 대한 제2멤버쉽값을 산출한다.In addition, the
수학식 3 및 4에서, 및 는 각각 제1멤버쉽값 및 제2멤버쉽값이고, 및 는 각각 와 의 θ가 0°일 때 공간축 윈도우 및 시간축 윈도우에 각각 대응하는 제1최대차계수 및 제2최대차계수이고, 및 는 각각 공간축 윈도우와 시간축 윈도우에서의 기울기 θ와 수평 위치차 d(-1 또는 0 또는 1)에 대한 보간할 화소에 인접하여 위치하는 화소들의 차이값이다.In Equations 3 and 4, And Are the first membership value and the second membership value, respectively, And Are each Wow Is a first maximum coefficient and a second maximum coefficient corresponding to the space axis window and the time axis window, respectively, when θ is 0 °, And Is a difference value between pixels positioned adjacent to the pixel to be interpolated for the tilt θ and the horizontal position difference d (−1 or 0 or 1) in the space axis window and the time axis window, respectively.
제1멤버쉽값 및 제2멤버쉽값을 구하기 위한 멤버쉽 함수는 도 3에 도시된 바와 같은 퍼지셋 스몰(SMALL)에 해당하는 함수이며, 각각의 멤버쉽 값을 구하기 위한 파라미터 , , 및 는 도 3에 도시된 멤버쉽 함수로부터 정 의된다. 표 1에는 각각의 멤버쉽 값을 구하기 위한 파라미터가 기재되어 있다.The membership function for obtaining the first membership value and the second membership value is a function corresponding to a fuzzy set small as shown in FIG. 3, and a parameter for obtaining each membership value. , , And Is defined from the membership function shown in FIG. Table 1 lists the parameters for obtaining each membership value.
에지방향각 결정부(130)는 제1멤버쉽값들과 제2멤버쉽값들 중에서 최대인 멤버쉽값에 해당하는 에지방향각을 최대에지방향각으로 결정한다. 이때 에지방향각 결정부(130)로 입력되는 입력값 및 는 다음의 수학식으로 표현된다.The edge direction angle determiner 130 determines the edge direction angle corresponding to the maximum membership value among the first and second membership values as the maximum edge direction angle. At this time, the input value input to the edge direction angle determiner 130 And Is expressed by the following equation.
수학식 5 및 6에서, d는 0, 1, -1의 수평성분 차이값이며, 및 는 각각 공간축 윈도우와 시간축 윈도우에서 θ에 의해 결정되는 경사 차이값으로 0, ±1, ±2의 값을 갖는다.In Equations 5 and 6, d is a horizontal component difference value of 0, 1, -1, And Are the slope difference values determined by θ in the space and time axis windows, respectively, and have values of 0, ± 1, and ± 2.
에지방향각 결정부(130)는 수학식 5 및 6으로 표현되는 입력값을 퍼지화하여 멤버쉽값과 퍼지셋들을 찾아낸다. 그리고 에지방향각 결정부(130)는 추론 엔진(Interence Engine)을 통하여 각각의 θ값에 대해 입력값을 퍼지한 값과 멤버쉽 함수로부터 얻어진 퍼지셋 SMALL의 최소값을 다음의 수학식에 의해 구한다. 이러한 과정은 공간축과 시간축에 대해 각각 수행된다. The edge direction angle determiner 130 fuzzy the input values represented by Equations 5 and 6 to find the membership value and the fuzzy sets. The edge direction angle determiner 130 obtains the minimum value of the fuzzy set SMALL obtained from the input value and the membership function for each value of θ through an inference engine, and the following equation. This process is performed for the space axis and the time axis respectively.
수학식 7 및 8에서, Cm 및 Dm은 각각 공간축 및 시간축에 대해 얻어진 최소값이고, Am(·) 및 Bm(·)는 각각 공간축 및 시간축 상에서의 차이값이 퍼지화된 값이다. In equations (7) and (8), C m and D m are the minimum values obtained for the space axis and the time axis, respectively, and A m (·) and B m (·) are the values in which the difference values on the space axis and the time axis are respectively purged. to be.
다음으로, 에지방향 검출부(130)는 수학식 7 및 8에 의해 얻어진 다섯 개의 방향의 멤버십 값들을 모두 비교하여 최대 멤버십 값을 가지는 Cm(·) 또는 Dm(·)에 해당하는 θ값을 찾는다. 이상의 과정을 통해 에지방향 검출부(130)는 다음의 수학식으로 표현되는 최대의 멤버쉽 값을 구하고, 그때의 θ값을 에지방향으로 결정한다.Next, the edge
제1보간부(170)는 최대인 멤버쉽값에 해당하는 화소들이 속하는 윈도우 내에서 최대에지방향각 상에 위치하는 화소들의 평균 화소값에 의해 보간대상화소를 보간한다. 제1보간부(170)에 의한 보간은 다음의 수학식에 의해 수행되며, 이러한 보 간방법은 FDOI(Fuzzy Directional-oriented Interpolation) 보간법이라 할 수 있다.The
상술한 바와 같은 FDOI 보간법은 에지가 존재하면서 동시에 움직임이 많은 영역과 움직임이 적은 영역을 모두 포함하고 있는 영상에 대해 종래의 Weave 방식 또는 Bob 방식에 의해 복원된 영상보다 객관적 및 주관적으로 향상된 화질의 영상을 얻을 수 있는 이점이 있다.As described above, the FDOI interpolation method has an objectively and subjectively improved image quality compared to the image reconstructed by the conventional Weave method or Bob method for an image including both an area with high edges and an area with low motions while edges exist. There is an advantage to get it.
이하에서는 타카기-스게노 퍼지 법칙을 이용하여 보간대상화소가 포함되어 있는 현재프레임의 각 영역의 움직임 특성에 따른 복잡도를 고려하여 각각의 영역에 대해 Weave 방식, Bob 방식 및 FDOI 방식 중에서 적합한 보간방식을 결정하여 보간을 수행하는 과정에 대해 설명한다.The interpolation method that is suitable among the Weave method, the Bob method, and the FDOI method for each area in consideration of the complexity according to the motion characteristics of each area of the current frame including the interpolation target pixel using the Takagi-Sugeno fuzzy law is described below. This section describes the process of performing interpolation by determining.
퍼지셋 분류부(140)는 제1최대차계수 및 제2최대차계수를 소정의 기준값(예를 들면, 24)을 기준으로 스몰(SMALL) 퍼지셋과 라지(LARGE) 퍼지셋으로 분류한다. 도 4에는 타카기-스게노(Takagi-Sugeno : TS) 퍼지 모델에 따른 퍼지셋 및 각각의 퍼지셋의 소속값이 도시되어 있다. The fuzzy
퍼지변수 산출부(150)는 시스템의 전반적인 퍼지 모델을 각각의 선형시스템 모델의 퍼지 결합으로 나타내는 TS 퍼지 모델을 이용하여 입력값 SMDW와 TMDW를 다 음의 수학식에 의해 퍼지 변수로 변환한다.The fuzzy
수학식 11을 일반화하면 TS 퍼지 모델은 다음의 수학식과 같이 표현될 수 있다.Generalizing the equation (11), the TS fuzzy model can be expressed as the following equation.
수학식 12에서, 는 퍼지변수, SMDW는 제1최대차계수, TMDW는 제2최대차계수, aij는 TS 계수 행렬, hi[z(t)]는 정규화된 가중치값으로 이고, 이며, zj(t)는 제1최대차계수 또는 제2최대차계수, 그리고, Aji[zj(t)]는 제1최대차계수 또는 제2최대차계수가 속하는 퍼지셋의 소속값이다. In Equation 12, Is the fuzzy variable, SMDW is the first maximum coefficient, TMDW is the second maximum coefficient, a ij is the TS coefficient matrix, and h i [z (t)] is the normalized weight value. ego, Where z j (t) is the first or second maximum coefficient, and A ji [z j (t)] is the belonging value of the fuzzy set to which the first or second maximum coefficient belongs. to be.
이때, 수학식 12의 TS 계수 행렬 aij는 다음의 수학식과 같이 정의될 수 있다.In this case, the TS coefficient matrix a ij of Equation 12 may be defined as follows.
보간수단 선택부(160)는 퍼지변수 산출부(150)에 의해 산출된 퍼지변수를 크기를 기초로 표 2에 기재된 3가지 계층으로 구분하고, 퍼지변수가 속하는 계층에 따라 수학식 14에 의해 보간대상화소의 보간수단을 선택적으로 결정한다. The interpolation means selecting
이때, t1 및 t2는 실험적으로 결정되며, 일예로 각각 37 및 60으로 설정될 수 있다.In this case, t 1 and t 2 are determined experimentally, and may be set to 37 and 60, for example.
수학식 14에 따르면 보간대상화소가 속하는 계층이 0이면 Weave 방식에 의 해, 1이면 Bob 방식에 의해, 2이면 FDOI 방식에 의해 보간대상화소에 대한 보간이 수행된다. 이러한 선택적인 보간을 위해 제2보간부(180)는 시간축 윈도우 내에서 선택된 화소들에 의해 보간대상화소를 보간하는 Weave 방식으로 보간을 수행하며, 제3보간부(190)는 공간축 윈도우 내에서 선택된 화소들에 의해 보간대상화소를 보간하는 Bob 방식으로 보간을 수행한다.According to Equation 14, when the layer to which the interpolation target pixel belongs is 0, the interpolation is performed by the Weave method, the 1 by the Bob method, and the 2 by the FDOI method. For this selective interpolation, the
도 5는 본 발명에 따른 적응적 디인터레이싱 방법에 대한 바람직한 실시예의 수행과정을 도시한 도면이다.FIG. 5 is a flowchart illustrating a preferred embodiment of the adaptive deinterlacing method according to the present invention.
도 5를 참조하면, 최대차계수 산출부(110)는 보간대상화소가 포함된 현재프레임에 대해 설정된 공간축 윈도우 내에서 선택된 복수의 제1화소의 화소값 중에서 최대값과 최소값의 차이값인 제1최대차계수를 산출한다(S510). 또한 최대차계수 산출부(110)는 보간대상화소가 포함된 현재프레임과 시간축 상에서 인접한 참조프레임들에 대해 설정된 시간축 윈도우 내에서 선택된 복수의 제2화소의 화소값 중에서 최대값과 최소값의 차이값인 제2최대차계수를 산출한다(S520). 다음으로, 멤버쉽값 산출부(120)는 제1최대차계수를 기초로 공간축 윈도우 내의 제1화소들이 이루는 에지방향각 각각에 대한 제1멤버쉽값을 산출하고, 제2최대차계수를 기초로 시간축 윈도우 내의 제2화소들이 이루는 에지방향각 각각에 대한 제2멤버쉽값을 산출한다(S530). 에지방향각 결정부(130)는 제1멤버쉽값들과 제2멤버쉽값들 중에서 최대인 멤버쉽값에 해당하는 에지방향각을 최대에지방향각으로 결정한다(S540). Referring to FIG. 5, the maximum difference
다음으로, 퍼지셋 분류부(140)는 제1최대차계수 및 제2최대차계수를 소정의 기준값(예를 들면, 24)을 기준으로 스몰퍼지셋과 라지퍼지셋으로 분류한다(S550). 이어서 퍼지변수 산출부(150)는 제1최대차계수 및 제2최대차계수가 속하는 퍼지셋에 따라 수학식 12에 의해 제1최대차계수 및 제2최대차계수를 퍼지변수로 변환한다(S560). 또한 보간수단 선택부(160)는 퍼지변수 산출부(150)에 의해 산출된 퍼지변수를 크기를 기초로 표 2에 기재된 3가지 계층으로 구분하고, 퍼지변수가 속하는 계층에 따라 수학식 14에 의해 Weave 방법, Bob 방법 및 FDOI 방법 중에서 보간대상화소의 보간방법을 선택적으로 결정한다(S570). 마지막으로 제1보간부(170), 제2보간부(180) 및 제3보간부(190) 중에서 보간수단 선택부(160)에 의해 결정된 보간부가 보간대상화소를 보간한다(S580).Next, the fuzzy
도 6a 내지 도 6d에는 각각 실험영상(Stefan)에 대한 Bob 방법, Weave 방법, FDIO 방법 및 퍼지변수가 속하는 계층에 따라 적응적으로 보간을 수행하는 방법(Takagi-Sugino Interpolation : TSI)에 의해 얻어진 영상이 도시되어 있다. 6A to 6D show images obtained by a method of adaptively interpolating according to a layer to which a Bob method, a Weave method, an FDIO method, and a fuzzy variable belong to an experimental image (Takagi-Sugino Interpolation: TSI), respectively. Is shown.
도 6a 내지 도 6d를 참조하면, Bob 방법에 의해 보간된 영상은 전체적으로 선명도가 떨어지며(blurred), Weave 방법에 의해 보간된 영상은 움직임이 많은 영역에서 너무 많은 부분에 톱니형상의 왜곡(serration)이 나타난다. 이와 달리 FDOI 방법에 의해 보간된 영상은 Bob 방법과 Weave 방법에 의해 보간된 영상보다 전체적으로 화질이 우수하다. 또한 Takagi-Sugeno 퍼지 모델을 이용하여 적응적으로 보간방법을 선택하여 수행되는 보간방법은 에지성분이 적은 영역은 Bob 방법에 의해, 움직임이 적은 영역은 Weave 방법에 의해, 그리고 에지성분이 많은 영역 또는 움직 임이 많은 영역은 FDOI 방법에 의해 보간을 수행함으로써 객관적 및 주관적으로 양호한 화질의 영상을 얻을 수 있다. 표 3에는 상이한 실험영상에 대한 각각의 보간 방법에 대한 PSNR(단위: dB)이 기재되어 있다.6A to 6D, the image interpolated by the Bob method is blurred as a whole, and the image interpolated by the Weave method has a serrated distortion in too many parts in a high-motion region. appear. In contrast, the image interpolated by the FDOI method has better overall image quality than the image interpolated by the Bob and Weave methods. In addition, the interpolation method that is performed by adaptively selecting interpolation method using Takagi-Sugeno fuzzy model is performed by Bob method for low edge components, Weave method for low motion components, and areas with many edge components or By performing interpolation by the FDOI method, an area with a lot of motion can obtain an image having good image quality objectively and subjectively. Table 3 lists the PSNR (in dB) for each interpolation method for different experimental images.
표 3을 참조하면, FDOI 방법과 TSI 방법이 다른 보간 방법들에 비해 모든 영상에 대해서 우수한 성능을 보임을 알 수 있다. 아울러 상술한 실시예에서는 Weave, Bob 및 FDOI 보간방법 중에서 보간대상화소의 특성에 따라 선택된 보간방법에 의해 보간대상화소를 보간하고 있으나, 위브 및 밥 보간방법 대신에 표 3에 기재된 보간방법 중에서 임의로 두개의 보간방법이 선택될 수도 있다.Referring to Table 3, it can be seen that the FDOI method and the TSI method perform better for all images than other interpolation methods. In addition, in the above-described embodiment, the interpolation target pixel is interpolated by the interpolation method selected according to the characteristics of the interpolation target pixel among the Weave, Bob and FDOI interpolation methods. The interpolation method of may be selected.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. The invention can also be embodied as computer readable code on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage, and the like, and may also be implemented in the form of a carrier wave (for example, transmission over the Internet). Include. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.Although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific preferred embodiments described above, and the present invention belongs to the present invention without departing from the gist of the present invention as claimed in the claims. Various modifications can be made by those skilled in the art, and such changes are within the scope of the claims.
본 발명에 따른 적응적 디인터레이싱 장치 및 방법에 의하면, 격행주사방식의 영상 신호를 순행주사방식의 영상 신호로 변환할 때 타카기-스게노퍼지 이론(Takagi-Sugeno Fuzzy Theory)을 적용하여 에지가 존재하면서 동시에 움직임이 많은 영역과 움직임이 적은 영역을 모두 포함하고 있는 영상에 대해 종래의 Weave 방식 또는 Bob 방식에 의해 복원된 영상보다 객관적 및 주관적으로 향상된 화질의 영상을 얻을 수 있다. 또한 타카기-스게노퍼지 이론(Takagi-Sugeno Fuzzy Theory)을 적용하여 보간할 화소 주변의 시간축 및 공간축인 윈도우내 화소간 최대 차이값들을 이용하여 보간할 화소를 3가지 계층으로 나누고, 각각의 계층이 갖는 모션의 특성에 따라 복잡도를 고려하여 보간방식을 선택적으로 적용함으로써 객관적 및 주관적 화질과 알고리즘 계산 속도를 향상시킬 수 있다.According to the adaptive de-interlacing apparatus and method according to the present invention, when the image signal of the progressive scan method is converted into the image signal of the forward scan method, the edge is applied by applying Takagi-Sugeno Fuzzy Theory. It is possible to obtain an image having an objectively and subjectively improved image quality compared to the image reconstructed by the conventional Weave method or the Bob method, for an image including both a high motion region and a low motion region at the same time. In addition, by applying the Takagi-Sugeno Fuzzy Theory, the pixels to be interpolated are divided into three layers by using the maximum differences between the pixels in the window, which are the time and space axes around the pixels to be interpolated. The interpolation method can be selectively applied in consideration of the complexity according to the characteristics of the motion of the layer to improve the objective and subjective picture quality and the algorithm calculation speed.
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070019704A KR100841591B1 (en) | 2007-02-27 | 2007-02-27 | Apparatus and method for adaptive de-interlacing using takagi-sugeno fuzzy model |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070019704A KR100841591B1 (en) | 2007-02-27 | 2007-02-27 | Apparatus and method for adaptive de-interlacing using takagi-sugeno fuzzy model |
Publications (1)
Publication Number | Publication Date |
---|---|
KR100841591B1 true KR100841591B1 (en) | 2008-06-26 |
Family
ID=39772562
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070019704A KR100841591B1 (en) | 2007-02-27 | 2007-02-27 | Apparatus and method for adaptive de-interlacing using takagi-sugeno fuzzy model |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100841591B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101500266B1 (en) * | 2014-03-28 | 2015-03-06 | 인천대학교 산학협력단 | A robust fuzzy-bilateral filtering method and its application to video deinterlacing |
CN112731444A (en) * | 2020-12-23 | 2021-04-30 | 中国人民解放军陆军工程大学 | Ultra-wideband impulse SAR imaging method based on variable threshold correlation |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19990060492A (en) * | 1997-12-31 | 1999-07-26 | 구자홍 | DTV's deinterlacing device and method |
-
2007
- 2007-02-27 KR KR1020070019704A patent/KR100841591B1/en not_active IP Right Cessation
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR19990060492A (en) * | 1997-12-31 | 1999-07-26 | 구자홍 | DTV's deinterlacing device and method |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101500266B1 (en) * | 2014-03-28 | 2015-03-06 | 인천대학교 산학협력단 | A robust fuzzy-bilateral filtering method and its application to video deinterlacing |
CN112731444A (en) * | 2020-12-23 | 2021-04-30 | 中国人民解放军陆军工程大学 | Ultra-wideband impulse SAR imaging method based on variable threshold correlation |
CN112731444B (en) * | 2020-12-23 | 2022-05-17 | 中国人民解放军陆军工程大学 | Ultra-wideband impulse SAR imaging method based on variable threshold correlation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6459455B1 (en) | Motion adaptive deinterlacing | |
US5592231A (en) | Motion adaptive scan-rate conversion using directional edge interpolation | |
KR100403364B1 (en) | Apparatus and method for deinterlace of video signal | |
US7907209B2 (en) | Content adaptive de-interlacing algorithm | |
EP1143712A2 (en) | Method and apparatus for calculating motion vectors | |
US20030086498A1 (en) | Apparatus and method of converting frame and/or field rate using adaptive motion compensation | |
US20080174694A1 (en) | Method and apparatus for video pixel interpolation | |
Jeon et al. | Specification of the geometric regularity model for fuzzy if-then rule-based deinterlacing | |
US7274404B1 (en) | Motion object video on film detection and adaptive de-interlace method based on fuzzy logic | |
KR100989650B1 (en) | Equipment and Method for Deinterlacing | |
US20050219408A1 (en) | Apparatus to suppress artifacts of an image signal and method thereof | |
US20070070243A1 (en) | Adaptive vertical temporal flitering method of de-interlacing | |
KR100841591B1 (en) | Apparatus and method for adaptive de-interlacing using takagi-sugeno fuzzy model | |
US7548663B2 (en) | Intra-field interpolation method and apparatus | |
US8866967B2 (en) | Method and apparatus for motion adaptive deinterlacing | |
EP1488636A2 (en) | Upconversion with noise constrained diagonal enhancement | |
US7349026B2 (en) | Method and system for pixel constellations in motion adaptive deinterlacer | |
Jeon et al. | Fuzzy weighted approach to improve visual quality of edge-based filtering | |
KR100876400B1 (en) | Deinterlacing apparatus and method based on rough set theory | |
KR100910208B1 (en) | Apparatus and method for deinterlacing | |
KR100931110B1 (en) | Deinterlacing apparatus and method using fuzzy rule-based edge recovery algorithm | |
US7129988B2 (en) | Adaptive median filters for de-interlacing | |
KR102603650B1 (en) | System for Interpolating Color Image Intelligent and Method for Deinterlacing Using the Same | |
KR101174589B1 (en) | Methods of deinterlacing based on local complexity and image processing devices using the same | |
US20060077305A1 (en) | Method and system for supporting motion in a motion adaptive deinterlacer with 3:2 pulldown (MAD32) |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130410 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20140401 Year of fee payment: 7 |
|
LAPS | Lapse due to unpaid annual fee |