KR101204210B1 - Methods of deinterlacing using geometric duality and image processing device using the same - Google Patents
Methods of deinterlacing using geometric duality and image processing device using the same Download PDFInfo
- Publication number
- KR101204210B1 KR101204210B1 KR1020100112925A KR20100112925A KR101204210B1 KR 101204210 B1 KR101204210 B1 KR 101204210B1 KR 1020100112925 A KR1020100112925 A KR 1020100112925A KR 20100112925 A KR20100112925 A KR 20100112925A KR 101204210 B1 KR101204210 B1 KR 101204210B1
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- pixels
- interpolation target
- target pixel
- scan line
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
- H04N7/012—Conversion between an interlaced and a progressive signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
- H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
- H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
Abstract
기하학적 이중성을 이용한 디인터레이싱 방법 및 이러한 방법을 수행하는 영상 처리 장치가 개시되어 있다. 기하학적 이중성을 이용한 디인터레이싱 방법은 보간 대상 화소의 로컬 에지 방향을 결정하는 단계와 결정된 상기 보간 대상 화소의 상기 로컬 에지 방향을 기초로 기존의 전송된 화소간의 관계가 보간하고자 하는 화소간의 관계와 유사한 것을 기반으로 한 기하학적 이중성을 이용하여 가중치를 산출하고 산출된 상기 가중치를 상기 보간 대상 화소에 적용하여 상기 보간 대상 화소를 디인터레이싱하는 단계를 포함할 수 있다. 따라서, 따라서, 디인터레이싱 성능이 기존의 디인터레이싱 방법보다 향상되어 고해상도 영상을 수신받을 수 있다.A deinterlacing method using geometric duality and an image processing apparatus for performing the method are disclosed. The deinterlacing method using geometric duplexing is based on determining the local edge direction of the interpolation target pixel and the relationship between existing transmitted pixels based on the determined local edge direction of the interpolation target pixel and the similarity between the pixels to be interpolated. And calculating the weight using the geometric duality and applying the calculated weight to the interpolation target pixel to deinterlace the interpolation target pixel. Therefore, the deinterlacing performance is improved compared to the existing deinterlacing method so that high resolution images can be received.
Description
본 발명은 기하학적 이중성을 이용한 디인터레이싱 방법 및 이러한 방법을 수행하는 영상 처리 장치에 관한 것으로, 더욱 상세하게는 에지 방향을 고려하여 디인터레이싱을 수행하는 방법 및 장치에 관한 것이다. The present invention relates to a deinterlacing method using geometric duality and an image processing apparatus for performing the method, and more particularly, to a method and apparatus for performing deinterlacing in consideration of the edge direction.
기존의 SDTV 방송 표준들(NTSC, PAL SECAM)은 한정된 전송 대역을 효율적으로 사용하기 위해 격행 주사 방식(Interlaced Scan Format)을 사용하였다. 이러한 격행 주사 방식은 사람의 눈이 깜빡임을 인식하지 못하는 50/60 Hz의 필드율(Field Rate)를 사용하여 동일한 대역에서 순차 주사 방식(Progressive Scan Format)에 비해 두 배의 프레임 율을 가진다. 이는 영상의 수직 해상도의 절반만을 이용하여 움직임이 거의 없는 영역에서는 고화질의 수직 성분을 표현할 수 있고 움직임이 많은 영역은 높은 필드율로 인하여 좋은 영상을 표현하는 것이 가능하다. 하지만, 이 격행 주사 방식은 특성상 수직 방향의 고주파 성분이 존재하거나 움직임이 많은 경우 주사선 깜빡임(Flicker), 주사선 떨림(Line Twitter) 그리고 주사선의 흐름(Line Crawling) 현상과 같은 시각적인 문제를 발생시킨다. 그 결과 이런 특성의 영상들의 경우 수직 해상도가 저하되는 단점이 있다. The existing SDTV broadcasting standards (NTSC, PAL SECAM) used the interlaced scan format to efficiently use a limited transmission band. Such a progressive scan method has a frame rate twice that of a progressive scan format in the same band using a field rate of 50/60 Hz that does not recognize a blink of a human eye. This means that only half of the vertical resolution of the image can be used to express high-quality vertical components in an area with little motion, and a high-field rate can represent a good image due to a high field rate. However, this catenary scanning method causes visual problems such as flickering, line tweeting, and line crawling when there is a high frequency component or a lot of movement in the vertical direction. As a result, the vertical resolution is deteriorated in the case of images having such characteristics.
격행 주사 방식은 이러한 문제점에도 불구하고 전송대역의 제한과 기술적인 문제로 기존의 TV 전송 방식으로 사용되어 왔으나, 최근 기술 발전과 함께 격행 주사 방식이 가진 전술한 문제점들이 발생하지 않는 순차주사 방식이 가능해졌다. 그리고 고밀도의 정보를 전송하는 DTV(Digital TV)가 상용화 되었으며 이러한 DTV 방송 시스템의 경우 고화질, 고선명 등을 위해서는 격행 주사 방식보다는 순차 주사 방식이 더욱 적합하며 실제로 순차 주사 방식을 주로 채택하고 있다. 또한, HDTV를 비롯하여, 평판 디스플레이(LCD, 플라즈마 TV), PC 모니터 그리고 각종 디지털 디스플레이 기기 등은 순차 주사 방식이 적합하고 주로 순차 주사 방식을 채택하고 있다. 따라서 격행 주사 방식에서 순차 주사 방식으로 변화하는 것은 시대의 흐름이며 지금은 그 과도기에 있다고 할 수 있다. In spite of these problems, the conventional scanning method has been used as a conventional TV transmission method due to the limitation of the transmission band and the technical problem, but with the recent technological development, the progressive scanning method is possible without the aforementioned problems of the conventional scanning method. Done In addition, DTV (Digital TV), which transmits high-density information, has been commercialized, and in the case of such a DTV broadcasting system, a sequential scanning method is more suitable than a conventional scan method for high quality and high definition, and in fact, a sequential scanning method is mainly adopted. In addition, sequential scanning methods are suitable for HDTV, flat panel displays (LCD, plasma TV), PC monitors, and various digital display devices, and mainly adopt sequential scanning methods. Therefore, the transition from a conventional scan method to a sequential scan method is the trend of the times and can be said to be in the transitional period.
그러나 기존에 대부분의 문화 컨텐츠들은 격행 주사 방식으로 제작되었고 아직까지도 기존의 TV 전송 방식이 공존하고 있는 과도기적 현실에서 격행 주사 방식을 당장 중단하고 순차 주사 방식만을 적용할 수 없으며, 또한 모든 TV 컨텐츠를 두 방식을 모두 적용하거나 곧바로 모든 시스템에 순차 주사 방식만을 적용한다면 이는 큰 낭비가 될 수 있다. 그러므로 격행 주사 방식의 영상 신호를 순차 주사 방식으로 변화하는 방법(IPC, Interlace to Progressive Conversion)은 중요한 문제라고 할 수 있으며, 이러한 변환 과정을 디인터레이싱(Deinterlacing)이라고 한다. 즉, 디인터레이싱 방법은 격행 주사 방법의 각 필드에서 사라진 주사선을 보간하여 순차 신호 형태로 변환시키는 것이다. 또한 영상 신호에서의 필드율 변환이나 일반 영상에서 한 프레임의 정지 화면을 출력하고자 할 때 주사방식을 변환하는 기법이 사용된다. 이때 디지털 영상 신호를 효과적으로 전송하기 위해서는 순차 주사 방식의 영상신호가 취급과 압축의 효율 측면에서 보다 유리하기 때문에 고화질 고속의 디인터레이싱 방법이 요구된다. However, in the past, most of the cultural contents have been produced by an anti-scanning method, and even in the transitional reality where the existing TV transmission system coexists, the anti-scanning method cannot be applied immediately and only the sequential scanning method can be applied. This can be a huge waste if you apply all the schemes or just the sequential scan scheme to all the systems. Therefore, an interlaced to progressive conversion (IPC) method of converting an image signal of a progressive scan method into a sequential scan method is an important problem, and this conversion process is called deinterlacing. In other words, the deinterlacing method is to interpolate the scan lines disappearing from each field of the perforated scanning method and convert them into a sequential signal form. In addition, a method of converting a scanning method is used to convert a field rate in an image signal or to output a still image of one frame in a general image. At this time, in order to effectively transmit a digital video signal, since a sequential scanning video signal is more advantageous in terms of handling and compression efficiency, a high quality high speed deinterlacing method is required.
지금까지 많은 디인터레이싱 방법들이 IPC를 위하여 제안되어 왔다. 이렇게 제안된 디인터레이싱 방법들은 크게 필드 내 보간 방법(Intrafield Interpolation)과 필드 간 보간 방법(Interfield Interpolation) 두 가지로 분류된다. 첫째, 필드 내 보간 방법은 필드 내 화소의 값들만을 이용하여 보간하는 방법으로써, 이는 다시 행의 반복과 같은 공간적 상호 관계를 이용한 보간 방법과 미디어 필터와 같은 비선형 필터를 이용하는 보간 방법으로 구분할 수 있다. 두 번째, 필드간 보간 방법은 여러 필드간 상관 관계를 이용하는 것으로 주로 움직임 적응적 방법과 움직임 추정을 통해 움직임을 보상하는 방법으로 구분할 수 있다. Many deinterlacing methods have been proposed for IPC. The proposed deinterlacing methods are classified into two categories, intrafield interpolation and interfield interpolation. First, an interpolation method in a field is an interpolation method using only values of pixels in a field, which can be divided into an interpolation method using a spatial correlation such as a repetition of a row and an interpolation method using a nonlinear filter such as a media filter. . Second, interfield interpolation methods use correlations between fields, and can be classified into a motion adaptive method and a motion compensation method through motion estimation.
첫째, 공간적 상호관계를 이용하여 보간하는 방법은 현재 필드의 화소값들만을 사용하기 때문에 매우 간단하다. 따라서, 이들 방법들은 필드 메모리가 필요없고 낮은 계산 복잡성을 요구하기 때문에 하드웨어 구현이 간단하여 폭넓게 사용되고 있다. 그러나 이들 방법들은 현재 필드 내의 정보만 이용함으로 사라진 화소값을 찾는데 제한적이고 움직임이 많거나 고주파 성분이 있는 영역에서는 화면 깜빡임(Flicker)과 화면 번짐(Blurring)같은 현상이 나타나는 등 고화질의 영상을 얻는데 어려움이 있다. 이러한 문제점을 극복하기 위해서 필드 내에서 윤곽선 정보를 이용하여 보다 효과적으로 화소 값을 보간하는 방법들이 제시되었다. First, the interpolation method using spatial correlation is very simple because only pixel values of the current field are used. Therefore, these methods are widely used because of their simple hardware implementation because they do not require field memory and require low computational complexity. However, these methods are limited in finding missing pixel values by using only the information in the current field, and are difficult to obtain high quality images such as flickering and blurring in areas with high motion or high frequency components. There is this. To overcome this problem, methods for more effectively interpolating pixel values using outline information in a field have been proposed.
둘째, 미디언 필터를 포함하는 비선형 필터를 이용하는 방법 역시 필드 내 보간법의 하나로 미디언 필터는 단지 외곽선 정보를 이용한다. 그러나 만약 미디어 필터가 시간 영역으로 확장된다면 이는 움직임 적응적 방법과 유사하게 필드 내 보간법과 필드 간 보간법을 전환해가며 이행하게 된다. 일반적으로 미디언 필터는 수직 방향의 세밀한 부분이 왜곡되거나 엘리어싱(Aliasing)을 유발하는 문제점이 있다. Second, a method of using a nonlinear filter including a median filter is also an interpolation method in a field. The median filter uses only outline information. However, if the media filter is extended to the time domain, this is implemented by switching between interfield and interfield interpolation methods similarly to the motion adaptive method. In general, the median filter has a problem in that small details in the vertical direction are distorted or cause aliasing.
셋째, 움직임 적응적 보간 방법은 움직임 추정없이 시간 영역 정보를 이용한다. 이는 인접한 필드들 사이에는 높은 상관 관계가 존재하기 때문에 현재 필드에서 없어진 화소값들은 인접 필드들의 정보를 이용하여 현재 필드의 움직임 형태에 따라 적절히 선택하게 된다. Third, the motion adaptive interpolation method uses time domain information without motion estimation. Since there is a high correlation between adjacent fields, the pixel values lost in the current field are appropriately selected according to the movement type of the current field by using the information of the adjacent fields.
마지막으로, 움직임 보상에 의한 방법은 다양한 인터레이싱 방법들 중 일반적으로 가장 좋은 성능을 보인다. 이러한 방법들은 인접한 필드의 높은 상관 관계를 이용하여 현재 필드의 움직임을 추정하고 그 움직임을 보상하는 것으로 움직임 추정이 잘못되었을 경우, 원하지 않았던 화소값이 복원될 수 있고, 움직임 추정과 보상에서 많은 시간이 소요되는 문제점이 있다. Finally, the motion compensation method generally performs best among various interlacing methods. These methods use the high correlation of adjacent fields to estimate the motion of the current field and compensate for the motion. If the motion estimation is wrong, unwanted pixel values can be restored, and a lot of time is spent in motion estimation and compensation. There is a problem.
일반적으로 위헤서 살펴본 방법들 중 필드 내 디인터레이싱 방법들의 경우 별도의 필드 메모리가 필요없고 간단한 계산에 의해 디인터레이싱을 수행하는 시간이 짧지만, 움직임 영역 및 경계 영역 복원이 만족스럽지 않다. 반면, 필드간 인터레이싱 방법들의 경우 필드 내 디인터레이싱 방법을 적용하고 다시 현재 필드의 움직임을 추정하여 그 움직임에 대해 보상을 함으로써 많은 성능 향상을 이루었지만 수평 방향 경계 영역과 고주파 영역 등에서는 여전히 만족스럽지 못한 결과를 나타내는 경향이 있다. In general, in-field deinterlacing methods of the above-described methods do not require a separate field memory and the time required to perform deinterlacing by simple calculation is short, but motion region and boundary region restoration are not satisfactory. On the other hand, the inter-field interlacing methods achieve many performance improvements by applying the de-interlacing method in the field, and then estimating the motion of the current field and compensating for the motion, but are still unsatisfactory in the horizontal boundary region and the high frequency region. There is a tendency to show results.
따라서, 본 발명의 제1 목적은 디인터레이싱 성능을 향상 시키기 위한 기하학적 이중성을 이용한 디인터레이싱 방법을 제공하는 것이다. Accordingly, it is a first object of the present invention to provide a deinterlacing method using geometric duality for improving deinterlacing performance.
또한, 본 발명의 제2 목적은 디인터레이싱 성능을 향상 시키기 위한 기하학적 이중성을 이용한 디인터레이싱 방법을 수행하는 영상 처리 장치를 제공하는 것이다. In addition, a second object of the present invention is to provide an image processing apparatus for performing a deinterlacing method using geometric duality for improving the deinterlacing performance.
상술한 본 발명의 제1 목적을 달성하기 위한 본 발명의 일 측면에 따른 기하학적 이중성을 이용한 디인터레이싱 방법은 보간 대상 화소의 로컬 에지 방향을 결정하는 단계와 결정된 상기 보간 대상 화소의 상기 로컬 에지 방향을 기초로 기존의 전송된 화소간의 관계가 보간하고자 하는 화소간의 관계와 유사한 것을 기반으로 한 기하학적 이중성을 이용하여 가중치를 산출하고 산출된 상기 가중치를 상기 보간 대상 화소에 적용하여 상기 보간 대상 화소를 디인터레이싱하는 단계를 포함할 수 있다. 상기 보간 대상 화소의 로컬 에지 방향을 결정하는 단계는 상기 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소 및 상기 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소에 기초하여 상기 보간 대상 화소의 로컬 에지 방향을 결정할 수 있다. 상기 결정된 상기 보간 대상 화소의 로컬 에지 방향을 기초로 기존의 전송된 화소간의 관계가 보간하고자 하는 화소간의 관계와 유사한 것을 기반으로 한 기하학적 이중성을 이용하여 가중치를 산출하고 산출된 상기 가중치를 상기 보간 대상 화소에 적용하여 상기 보간 대상 화소를 디인터레이싱하는 단계는 상기 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소 및 상기 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소를 기준으로 보간 대상 화소와 동일한 로컬 에지 방향을 가지는 화소들의 화소값을 이용하여 상기 보간 대상 화소에 적용할 가중치를 산출할 수 있다. 상기 보간 대상 화소의 로컬 에지 방향을 결정하는 단계는 상기 보간 대상 화소의 상위 스캔 라인에 위치하되 상기 보간 대상 화소를 기준으로 좌측에 위치한 화소를 , 중간에 위치한 화소를 , 우측에 위치한 화소를 , 상기 보간 대상 화소의 하위 스캔 라인에 위치하되 상기 보간 대상 화소를 기준으로 좌측에 위치한 화소를 , 중간에 위치한 화소를 , 우측에 위치한 화소를 라고 할 경우, 아래의 식 1에 의하여 상기 보간 대상 화소의 주변 픽셀 화소값 사이의 차이와 상기 보간 대상 화소의 주변 픽셀 화소값 사이의 공간적 코릴레이션을 판단하고, Deinterlacing method using a geometric duality according to an aspect of the present invention for achieving the first object of the present invention described above is based on the step of determining the local edge direction of the interpolation target pixel and the determined local edge direction of the interpolation target pixel Deriving a weight using geometric duplex based on a similar relationship between the existing transmitted pixels and a relationship between the pixels to be interpolated, and deinterlacing the interpolation target pixel by applying the calculated weight to the interpolation target pixel. It may include. The determining of the local edge direction of the interpolation target pixel may be performed based on three pixels included in an upper scan line of the interpolation target pixel and three pixels included in a lower scan line of the interpolation target pixel. The local edge direction can be determined. Based on the determined local edge direction of the interpolation target pixel, a weight is calculated by using geometric duality based on the similarity between the existing transmitted pixels and the relationship between the pixels to be interpolated, and the weight is calculated based on the interpolation target. The deinterlacing of the interpolation target pixel by applying to a pixel is performed based on three pixels included in an upper scan line of the interpolation target pixel and three pixels included in a lower scan line of the interpolation target pixel. A weight to be applied to the interpolation target pixel may be calculated using pixel values of pixels having a local edge direction. The determining of the local edge direction of the interpolation target pixel may include a pixel located on an upper scan line of the interpolation target pixel and positioned on the left side of the interpolation target pixel. , The middle pixel , The pixel on the right A pixel positioned on a lower scan line of the interpolation target pixel and positioned on the left side of the interpolation target pixel , The middle pixel , The pixel on the right In this case, according to
(식 1)(Equation 1)
(여기서, 상기 은 상기 과 상기 의 화소값 차의 절대값, 상기 는 상기 와 상기 의 화소값 차의 절대값, 은 상기 와 상기 의 화소값 차의 절대값이고 는 상기 과 , 와 , 와 의 화소값 차의 절대값을 더해 3으로 나눈 값, 는 과 , 와 의 화소값 차의 절대값을 더해 2로 나눈 값, 는 와 , 와 의 화소값 차의 절대값을 더해 2로 나눈 값을 의미함) 상기 식 1를 이용해 산출된 값을 기초로, 인 경우, 상기 보간 대상 화소의 상기 로컬 에지 방향을 방향-여기서, 상기 방향은 보간 대상 화소를 중심으로 한 스캔 라인 상단 좌측에 위치한 화소 및 한 스캔 라인 수직 아래 위치한 화소를 연결한 방향임-으로 판별하고,Where Said above And Absolute value of the pixel value difference of Above And Absolute value of the difference in pixel values, Said above And Is the absolute value of the pixel value difference Above and , Wow , Wow The absolute value of the difference in pixel values divided by 3 The and , Wow Plus the absolute value of the difference in pixel values divided by 2, The Wow , Wow Means the absolute value of the difference in pixel values divided by 2.) Based on the value calculated using
인 경우 상기 상기 보간 대상 화소의 로컬 에지 방향을 방향-여기서, 상기 방향은 보간 대상 화소를 중심으로 한 스캔 라인 수직 상단에 위치한 화소 및 한 스캔 라인 하단 좌측에 위치한 화소를 연결한 방향임-으로 판별하고, In the case of the local edge direction of the interpolation target pixel. Direction-where The direction is determined by connecting the pixel located at the top of the scan line vertically centered on the interpolation target pixel and the pixel located at the bottom left of one scan line.
그 외의 경우 상기 로컬 에지 방향을 상기 보간 대상 화소의 수직 방향으로 판별할 수 있다. 상기 결정된 상기 보간 대상 화소의 상기 로컬 에지 방향을 기초로 기존의 전송된 화소간의 관계가 보간하고자 하는 화소간의 관계와 유사한 것을 기반으로 한 기하학적 이중성을 이용하여 가중치를 산출하고 산출된 상기 가중치를 상기 보간 대상 화소에 적용하여 상기 보간 대상 화소를 디인터레이싱하는 단계는, In other cases, the local edge direction may be determined as the vertical direction of the interpolation target pixel. Based on the determined local edge direction of the interpolation target pixel, a weight is calculated by using geometric duality based on a similar relationship between pixels to be interpolated, and the calculated weight is interpolated. Deinterlacing the interpolation target pixel by applying the target pixel,
상기 보간 대상 화소의 상기 로컬 에지 방향이 방향-여기서, 상기 방향은 보간 대상 화소를 중심으로 한 스캔 라인 상단 좌측에 위치한 화소 및 한 스캔 라인 수직 아래 위치한 화소를 연결한 방향임-으로 판단된 경우 하기 식 2The local edge direction of the interpolation target pixel Direction-where Direction is determined by connecting the pixel located at the upper left of the scan line centered on the interpolation target pixel and the pixel located below the vertical line of one scan line.
(식 2)(Equation 2)
(는 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소-여기서, 상기 3개의 화소는 보간 대상 화소의 수직 윗방향, 좌측 상단 방향, 우측 상단 방향에 위치한 화소임-와 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소-여기서, 상기 3개의 화소는 보간 대상 화소의 수직 아래 방향, 좌측 하단 방향, 우측 하단 방향에 위치한 화소임-로 이루어진 행렬이고, 상기 행렬의 각 행은 보간 대상 화소가 i번째 행 j번째 열에 위치한 경우, 에 포함된 각 화소는 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소는 i-1번째 행에 j-1, j, j+1열에 위치한 화소 및 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소는 i+1번째 행에 j-1, j, j+1열에 위치한 화소이고, 행렬의 각 행에 포함된 화소는 상기 상위 스캔 라인에 포함된 3개의 화소 및 상기 하위 스캔 라인에 포함된 3개의 화소 중 하나의 화소 중심으로 상기 하나의 화소가 i-1번째 행에 j-1번째 열에 위치한 화소인 경우, 두 스캔 라인 수직 위에 위치한 화소-여기서, 상기 두 스캔 라인 수직 위에 위치한 화소는 i-3번째 행 및 j-1번째 열에 위치한 화소임-, 두 스캔 라인 수직 아래에 위치한 화소- 여기서 상기 두 스캔 라인 수직 아래에 위치한 화소는 i+1번째 행에 j-1번째 열에 위치한 화소임-, 두 스캔 라인 수직 위, 좌측으로 두 화소 옆에 위치한 화소- 여기서, 상기 두 스캔 라인 수직 위, 좌측으로 두 화소 옆에 위치한 화소는 i-3번째 행에 j-3번째 열에 위치한 화소임-, 두 스캔 라인 수직 아래, 우측으로 두 화소 옆에 위치한 화소-여기서, 두 스캔 라인 수직 아래, 우측으로 두 화소 옆에 위치한 화소는 i+1번째 행에 j+1번째 열에 위치한 화소임-고, 는 로서 상기 행렬과 상기 행렬을 기초로 산출된 가중치 벡터로 기하학적 이중성을 기초로 산출된 상기 보간 대상 화소의 화소값을 보간하는데 사용되는 가중치 벡터임)( Are three pixels included in the upper scan line of the interpolation target pixel, wherein the three pixels are pixels located in the vertical upward direction, upper left direction, and upper right direction of the interpolation target pixel, and lower scan lines of the interpolation target pixel. Is a matrix consisting of three pixels included in the pixel, wherein the three pixels are pixels positioned in a vertically downward direction, a lower left direction, and a lower right direction of the interpolation target pixel. For each row of the matrix, if the pixel to be interpolated is located in the i th row j th column, Each pixel included in is 3 pixels included in the upper scan line of the interpolation target pixel, and the 3 pixels included in the j-1, j, j + 1 columns in the i-1 th row and 3 included in the lower scan line of the interpolation target pixel. Pixels are pixels j-1, j, j + 1 in the i + 1th row, Pixels included in each row of the matrix are centered on one pixel among three pixels included in the upper scan line and three pixels included in the lower scan line. The pixel located in the first column, the pixels located vertically above the two scan lines, wherein the pixel located above the two scan lines vertically are the pixels located in the i-3th row and the j-1 th column; Wherein the pixels located below the two scan lines vertically are the pixels located in the j-1th column of the i + 1th row, the pixels located above the two scan lines vertically and two pixels to the left. Pixels located above and to the left of two pixels are pixels located in column j-3 of the i-3th row, below two scan lines vertically, and pixels located next to two pixels to the right, where two scan lines vertically below Ooh The pixel located next to the two pixels on the i + 1-th row j + 1-th column in the pixel being - and, The As above Matrix and above Is a weight vector calculated based on a matrix and is a weight vector used to interpolate pixel values of the pixel to be interpolated based on geometric duality.
를 이용하여 상기 가중치를 산출하는 단계를 포함할 수 있다. 상기 결정된 상기 보간 대상 화소의 상기 로컬 에지 방향을 기초로 기존의 전송된 화소간의 관계가 보간하고자 하는 화소간의 관계와 유사한 것을 기반으로 한 기하학적 이중성을 이용하여 가중치를 산출하고 산출된 상기 가중치를 상기 보간 대상 화소에 적용하여 상기 보간 대상 화소를 디인터레이싱하는 단계는, It may include the step of calculating the weight using. Based on the determined local edge direction of the interpolation target pixel, a weight is calculated by using geometric duality based on a similar relationship between pixels to be interpolated, and the calculated weight is interpolated. Deinterlacing the interpolation target pixel by applying the target pixel,
산출된 상기 를 기초로 아래의 식 3Calculated above Based on
(식 3)(Equation 3)
을 이용해서 보간 대상 화소를 보간하여 디인터레이싱 하는 단계를 포함할 수 있다. 상기 결정된 상기 보간 대상 화소의 상기 로컬 에지 방향을 기초로 기존의 전송된 화소간의 관계가 보간하고자 하는 화소간의 관계와 유사한 것을 기반으로 한 기하학적 이중성을 이용하여 가중치를 산출하고 산출된 상기 가중치를 상기 보간 대상 화소에 적용하여 상기 보간 대상 화소를 디인터레이싱하는 단계는, The method may include interpolating and deinterlacing the interpolation target pixel using the lateral interpolation. Based on the determined local edge direction of the interpolation target pixel, a weight is calculated by using geometric duality based on a similar relationship between pixels to be interpolated, and the calculated weight is interpolated. Deinterlacing the interpolation target pixel by applying the target pixel,
상기 보간 대상 화소의 로컬 에지 방향이 방향-여기서, 상기 방향은 보간 대상 화소를 중심으로 한 스캔 라인 수직 상단에 위치한 화소 및 한 스캔 라인 하단 좌측에 위치한 화소를 연결한 방향-으로 판단된 경우 아래의 식 4The local edge direction of the interpolation target pixel Direction-where Direction is determined by connecting the pixel located at the vertical top of the scan line centered on the interpolation target pixel and the pixel located at the bottom left of one scan line.
(식 4)(Equation 4)
(는 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소(보간 대상 화소의 수직 윗방향, 좌측 상단 방향, 우측 상단 방향에 위치한 화소)와 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소(보간 대상 화소의 수직 아래 방향, 좌측 하단 방향, 우측 하단 방향)로 이루어진 행렬, 행렬의 각 행은 보간 대상 화소가 i번째 행 j번째 열에 위치한 경우, 에 포함된 각 화소는 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소는 i-1번째 행에 j-1, j, j+1열에 위치한 화소 및 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소는 i+1번째 행에 j-1, j, j+1열에 위치한 화소이고, 행렬의 각 행에 포함된 화소는 상기 상위 스캔 라인에 포함된 3개의 화소 및 상기 하위 스캔 라인에 포함된 3개의 화소 중 하나의 화소 중심으로 상기 하나의 화소가 i-1번째 행에 j-1번째 열에 위치한 화소인 경우, 두 스캔 라인 수직 위에 위치한 화소-여기서, 상기 두 스캔 라인 수직 위에 위치한 화소는 i-3번째 행에 j-1번째 열에 위치한 화소임-, 두 스캔 라인 수직 아래에 위치한 화소-여기서, 상기 두 스캔 라인 수직 아래에 위치한 화소는 i+1번째 행에 j-1번째 열에 위치한 화소임-, 두 스캔 라인 수직 위, 좌측으로 두 화소 옆에 위치한 화소-여기서, 상기 두 스캔 라인 수직 위, 좌측으로 두 화소 옆에 위치한 화소는 i-3번째 행에 j+1번째 열에 위치한 화소임-, 두 스캔 라인 수직 아래, 우측으로 두 화소 옆에 위치한 화소-여기서, 상기 두 스캔 라인 수직 아래, 우측으로 두 화소 옆에 위치한 화소는 i+1번째 행에 j-3번째 열에 위치한 화소임-고, 는 로서 상기 행렬과 상기 행렬을 기초로 산출된 가중치 벡터로 기하학적 이중성을 이용하여 상기 보간 대상 화소의 화소값을 보간하는데 사용되는 가중치 벡터임.)( Are three pixels included in the upper scan line of the interpolation target pixel (pixels located in the vertical upward direction, upper left direction, and upper right direction of the interpolation target pixel) and three pixels included in the lower scan line of the interpolation target pixel (interpolation). Matrix consisting of a vertically downward direction, a lower left direction, and a lower right direction of the target pixel; For each row of the matrix, if the pixel to be interpolated is located in the i th row j th column, Each pixel included in is 3 pixels included in the upper scan line of the interpolation target pixel, and the 3 pixels included in the j-1, j, j + 1 columns in the i-1 th row and 3 included in the lower scan line of the interpolation target pixel. Pixels are pixels j-1, j, j + 1 in the i + 1th row, Pixels included in each row of the matrix are centered on one pixel among three pixels included in the upper scan line and three pixels included in the lower scan line. The pixel located in the first column, the pixel located above the two scan lines vertically, wherein the pixel located above the two scan line vertically are the pixels located in the j-1 th column in the i-3 th row, Wherein the pixels located below the two scan lines vertically are the pixels located in the j-1th column of the i + 1th row, and the pixels located above the two scan lines vertically and two pixels to the left, where the two scan lines Pixels located above two pixels to the left and above vertical are pixels located in the j + 1th column in the i-3th row, two pixels below the scan line vertical and two pixels to the right, where the two scan lines vertical bottom, The pixels next to the two pixels to the right are the pixels located in the j-3th column of the i + 1th row. The As above Matrix and above A weight vector calculated based on a matrix, which is a weight vector used to interpolate pixel values of the pixel to be interpolated using geometric duality.)
을 이용하여 상기 가중치를 산출하는 단계를 포함할 수 있다. 상기 결정된 상기 보간 대상 화소의 상기 로컬 에지 방향을 기초로 기존의 전송된 화소간의 관계가 보간하고자 하는 화소간의 관계와 유사한 것을 기반으로 한 기하학적 이중성을 이용하여 가중치를 산출하고 산출된 상기 가중치를 상기 보간 대상 화소에 적용하여 상기 보간 대상 화소를 디인터레이싱하는 단계는, It may include the step of calculating the weight using. Based on the determined local edge direction of the interpolation target pixel, a weight is calculated by using geometric duality based on a similar relationship between pixels to be interpolated, and the calculated weight is interpolated. Deinterlacing the interpolation target pixel by applying the target pixel,
산출된 상기 를 기초로 아래의 식 5 Calculated above Based on Equation 5 below
(식 5)(Eq. 5)
를 이용해서 보간 대상 화소를 보간하여 디인터레이싱하는 단계를 포함할 수 있다. 상기 결정된 상기 보간 대상 화소의 상기 로컬 에지 방향을 기초로 기존의 전송된 화소간의 관계가 보간하고자 하는 화소간의 관계와 유사한 것을 기반으로 한 기하학적 이중성을 이용하여 가중치를 산출하고 산출된 상기 가중치를 상기 보간 대상 화소에 적용하여 상기 보간 대상 화소를 디인터레이싱하는 단계는, The method may include interpolating and deinterlacing the interpolation target pixel using the lateral interpolation. Based on the determined local edge direction of the interpolation target pixel, a weight is calculated by using geometric duality based on a similar relationship between pixels to be interpolated, and the calculated weight is interpolated. Deinterlacing the interpolation target pixel by applying the target pixel,
상기 상기 보간 대상 화소의 로컬 에지 방향이 방향 또는 방향을 제외한 방향으로 판단되는 경우 아래의 식 6 The local edge direction of the interpolation target pixel Direction or Equation 6 below when it is judged as a direction except
(식 6)(Equation 6)
을 이용하여 보간 대상 화소를 디인터레이싱하는 단계를 포함할 수 있다. Deinterlacing the interpolation target pixel by using a.
또한 상술한 본 발명의 제2 목적을 달성하기 위한 본 발명의 일 측면에 따른 기하학적 이중성을 이용한 디인터레이싱을 수행하는 영상 처리 장치는 수신된 보간 대상 화소의 주변 화소 정보를 기초로 보간 대상 화소의 로컬 에지 방향을 판단하는 로컬 에지 방향 판별부, 로컬 에지 방향 판별부에서 결정된 상기 보간 대상 화소의 로컬 에지 방향을 기초로 기존의 전송된 화소간의 관계가 보간하고자 하는 화소간의 관계와 유사한 것을 기반으로 한 기하학적 이중성을 이용하여 보간 대상 화소에 적용할 가중치를 산출하는 가중치 산출부와 상기 가중치 산출부을 통해 산출된 보간 대상 화소의 가중치를 보간 대상 화소에 적용하는 화소 보간부를 포함할 수 있다. 상기 로컬 에지 방향 판별부는 상기 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소 및 상기 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소에 기초하여 상기 보간 대상 화소의 로컬 에지 방향을 결정할 수 있다. 상기 가중치 산출부는 상기 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소 및 상기 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소를 기준으로 보간 대상 화소와 동일한 로컬 에지 방향을 가지는 화소들의 화소값을 이용하여 상기 보간 대상 화소에 적용할 가중치를 산출할 수 있다. 상기 로컬 에지 방향 판별부는,In addition, the image processing apparatus for performing the deinterlacing using geometric duality according to an aspect of the present invention for achieving the second object of the present invention described above is a local edge of the interpolation target pixel based on the peripheral pixel information of the received interpolation target pixel. A local edge direction determination unit for determining a direction, and based on a local edge direction of the interpolation target pixel determined by the local edge direction determination unit, geometric duality based on a similar relationship between the pixels to be interpolated The apparatus may include a weight calculator configured to calculate a weight to be applied to the interpolation target pixel, and a pixel interpolator to apply the weight of the interpolation target pixel calculated through the weight calculator to the interpolation target pixel. The local edge direction determination unit may determine a local edge direction of the interpolation target pixel based on three pixels included in an upper scan line of the interpolation target pixel and three pixels included in a lower scan line of the interpolation target pixel. . The weight calculator includes pixel values of pixels having the same local edge direction as the interpolation target pixel based on three pixels included in the upper scan line of the interpolation target pixel and three pixels included in the lower scan line of the interpolation target pixel. A weight to be applied to the interpolation target pixel may be calculated using. The local edge direction determination unit,
상기 보간 대상 화소의 상위 스캔 라인에 위치하되 상기 보간 대상 화소를 기준으로 좌측에 위치한 화소를 , 중간에 위치한 화소를 , 우측에 위치한 화소를 , 상기 보간 대상 화소의 하위 스캔 라인에 위치하되 상기 보간 대상 화소를 기준으로 좌측에 위치한 화소를 , 중간에 위치한 화소를 , 우측에 위치한 화소를 라고 할 경우, 아래의 식 1에 의하여 상기 보간 대상 화소의 주변 픽셀 화소값 사이의 차이와 상기 보간 대상 화소의 주변 픽셀 화소값 사이의 공간적 코릴레이션을 판단하고, Pixels positioned on the upper scan line of the interpolation target pixel and positioned on the left side of the interpolation target pixel , The middle pixel , The pixel on the right A pixel positioned on a lower scan line of the interpolation target pixel and positioned on the left side of the interpolation target pixel , The middle pixel , The pixel on the right In this case, according to
(식 1)(Equation 1)
(여기서, 상기 은 상기 과 상기 의 화소값 차의 절대값, 상기 는 상기 와 상기 의 화소값 차의 절대값, 은 상기 와 상기 의 화소값 차의 절대값이고 는 상기 과 , 와 , 와 의 화소값 차의 절대값을 더해 3으로 나눈 값, 는 과 , 와 의 화소값 차의 절대값을 더해 2로 나눈 값, 는 와 , 와 의 화소값 차의 절대값을 더해 2로 나눈 값을 의미한다.)Where Said above And Absolute value of the pixel value difference of Above And Absolute value of the difference in pixel values, Said above And Is the absolute value of the pixel value difference Above and , Wow , Wow The absolute value of the difference in pixel values divided by 3 The and , Wow Plus the absolute value of the difference in pixel values divided by 2, The Wow , Wow Means the absolute value of the pixel value difference, divided by 2.
상기 식 1를 이용해 산출된 값을 기초로,Based on the value calculated using
인 경우, 상기 로컬 에지 방향을 방향-여기서, 상기 방향은 보간 대상 화소를 중심으로 한 스캔 라인 상단 좌측에 위치한 화소 및 한 스캔 라인 수직 아래 위치한 화소를 연결한 방향임-으로 판별하고, If is, the local edge direction Direction-where The direction is determined by connecting the pixel located at the upper left of the scan line centered on the interpolation target pixel and the pixel positioned vertically below one scan line.
인 경우 상기 로컬 에지 방향을 방향-여기서, 상기 방향은 보간 대상 화소를 중심으로 한 스캔 라인 수직 상단에 위치한 화소 및 한 스캔 라인 하단 좌측에 위치한 화소를 연결한 방향임-으로 판별하고, If is the local edge direction Direction-where The direction is determined by connecting the pixel located at the top of the scan line vertically centered on the interpolation target pixel and the pixel located at the bottom left of one scan line.
그 외의 경우 상기 로컬 에지 방향을 상기 보간 대상 화소의 수직 방향으로 판별할 수 있다. 상기 가중치 산출부는,In other cases, the local edge direction may be determined as the vertical direction of the interpolation target pixel. The weight calculation unit,
상기 로컬 에지 방향 판별부를 통해 상기 보간 대상 화소의 상기 로컬 에지 방향이 방향-여기서, 상기 방향은 보간 대상 화소를 중심으로 한 스캔 라인 상단 좌측에 위치한 화소 및 한 스캔 라인 수직 아래 위치한 화소를 연결한 방향임-으로 판단된 경우 아래의 식 2The local edge direction of the interpolation target pixel is changed through the local edge direction determination unit. Direction-where The direction is the direction connecting the pixel located on the upper left of the scan line centered on the interpolation target pixel and the pixel located below the vertical line of one scan line.
(식 2)(Equation 2)
(는 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소-여기서, 상기 3개의 화소는 보간 대상 화소의 수직 윗방향, 좌측 상단 방향, 우측 상단 방향에 위치한 화소임-와 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소-여기서, 상기 3개의 화소는 보간 대상 화소의 수직 아래 방향, 좌측 하단 방향, 우측 하단 방향에 위치한 화소임-로 이루어진 행렬이고, 상기 행렬의 각 행은 보간 대상 화소가 i번째 행 j번째 열에 위치한 경우, 에 포함된 각 화소는 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소는 i-1번째 행에 j-1, j, j+1열에 위치한 화소 및 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소는 i+1번째 행에 j-1, j, j+1열에 위치한 화소이고, 행렬의 각 행에 포함된 화소는 상기 상위 스캔 라인에 포함된 3개의 화소 및 상기 하위 스캔 라인에 포함된 3개의 화소 중 하나의 화소 중심으로 상기 하나의 화소가 i-1번째 행에 j-1번째 열에 위치한 화소인 경우, 두 스캔 라인 수직 위에 위치한 화소-여기서, 상기 두 스캔 라인 수직 위에 위치한 화소는 i-3번째 행 및 j-1번째 열에 위치한 화소임-, 두 스캔 라인 수직 아래에 위치한 화소- 여기서 상기 두 스캔 라인 수직 아래에 위치한 화소는 i+1번째 행에 j-1번째 열에 위치한 화소임-, 두 스캔 라인 수직 위, 좌측으로 두 화소 옆에 위치한 화소- 여기서, 상기 두 스캔 라인 수직 위, 좌측으로 두 화소 옆에 위치한 화소는 i-3번째 행에 j-3번째 열에 위치한 화소임-, 두 스캔 라인 수직 아래, 우측으로 두 화소 옆에 위치한 화소-여기서, 두 스캔 라인 수직 아래, 우측으로 두 화소 옆에 위치한 화소는 i+1번째 행에 j+1번째 열에 위치한 화소임-고, 는 로서 상기 행렬과 상기 행렬을 기초로 산출된 가중치 벡터로 기하학적 이중성을 기초로 산출된 상기 보간 대상 화소의 화소값을 보간하는데 사용되는 가중치 벡터임)를 이용하여 상기 가중치를 산출하는 단계를 포함할 수 있다. 상기 화소 보간부는,( Are three pixels included in the upper scan line of the interpolation target pixel, wherein the three pixels are pixels located in the vertical upward direction, upper left direction, and upper right direction of the interpolation target pixel, and lower scan lines of the interpolation target pixel. Is a matrix consisting of three pixels included in the pixel, wherein the three pixels are pixels positioned in a vertically downward direction, a lower left direction, and a lower right direction of the interpolation target pixel. For each row of the matrix, if the pixel to be interpolated is located in the i th row j th column, Each pixel included in is 3 pixels included in the upper scan line of the interpolation target pixel, and the 3 pixels included in the j-1, j, j + 1 columns in the i-1 th row and 3 included in the lower scan line of the interpolation target pixel. Pixels are pixels j-1, j, j + 1 in the i + 1th row, Pixels included in each row of the matrix are centered on one pixel among three pixels included in the upper scan line and three pixels included in the lower scan line. The pixel located in the first column, the pixels located vertically above the two scan lines, wherein the pixel located above the two scan lines vertically are the pixels located in the i-3th row and the j-1 th column; Wherein the pixels located below the two scan lines vertically are the pixels located in the j-1th column of the i + 1th row, the pixels located above the two scan lines vertically and two pixels to the left. Pixels located above and to the left of two pixels are pixels located in column j-3 of the i-3th row, below two scan lines vertically, and pixels located next to two pixels to the right, where two scan lines vertically below Ooh The pixel located next to the two pixels on the i + 1-th row j + 1-th column in the pixel being - and, The As above Matrix and above And calculating the weight using a weight vector calculated based on a matrix, which is a weight vector used to interpolate pixel values of the pixel to be interpolated based on geometric duality. The pixel interpolation unit,
상기 로컬 에지 판별부에 의해 산출된 상기 를 기초로 아래의 식 3The calculated by the local edge discriminating unit Based on
(식 3)(Equation 3)
을 이용해서 보간 대상 화소를 보간하여 디인터레이싱 하는 단계를 포함할 수 있다. 상기 가중치 산출부는,The method may include interpolating and deinterlacing the interpolation target pixel using the lateral interpolation. The weight calculation unit,
상기 로컬 에지 방향 판별부를 통해 상기 보간 대상 화소의 상기 로컬 에지 방향이 방향-여기서, 상기 방향은 보간 대상 화소를 중심으로 한 스캔 라인 수직 상단에 위치한 화소 및 한 스캔 라인 하단 좌측에 위치한 화소를 연결한 방향-으로 판단된 경우, 아래의 식 4The local edge direction of the interpolation target pixel is changed through the local edge direction determination unit. Direction-where The direction is determined by connecting the pixel located at the vertical top of the scan line centered on the interpolation target pixel and the pixel located at the bottom left of one scan line.
(식 4)(Equation 4)
(는 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소(보간 대상 화소의 수직 윗방향, 좌측 상단 방향, 우측 상단 방향에 위치한 화소)와 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소(보간 대상 화소의 수직 아래 방향, 좌측 하단 방향, 우측 하단 방향)로 이루어진 행렬, 행렬의 각 행은 보간 대상 화소가 i번째 행 j번째 열에 위치한 경우, 에 포함된 각 화소는 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소는 i-1번째 행에 j-1, j, j+1열에 위치한 화소 및 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소는 i+1번째 행에 j-1, j, j+1열에 위치한 화소이고, 행렬의 각 행에 포함된 화소는 상기 상위 스캔 라인에 포함된 3개의 화소 및 상기 하위 스캔 라인에 포함된 3개의 화소 중 하나의 화소 중심으로 상기 하나의 화소가 i-1번째 행에 j-1번째 열에 위치한 화소인 경우, 두 스캔 라인 수직 위에 위치한 화소-여기서, 상기 두 스캔 라인 수직 위에 위치한 화소는 i-3번째 행에 j-1번째 열에 위치한 화소임-, 두 스캔 라인 수직 아래에 위치한 화소-여기서, 상기 두 스캔 라인 수직 아래에 위치한 화소는 i+1번째 행에 j-1번째 열에 위치한 화소임-, 두 스캔 라인 수직 위, 좌측으로 두 화소 옆에 위치한 화소-여기서, 상기 두 스캔 라인 수직 위, 좌측으로 두 화소 옆에 위치한 화소는 i-3번째 행에 j+1번째 열에 위치한 화소임-, 두 스캔 라인 수직 아래, 우측으로 두 화소 옆에 위치한 화소-여기서, 상기 두 스캔 라인 수직 아래, 우측으로 두 화소 옆에 위치한 화소는 i+1번째 행에 j-3번째 열에 위치한 화소임-고, 는 로서 상기 행렬과 상기 행렬을 기초로 산출된 가중치 벡터로 기하학적 이중성을 이용하여 상기 보간 대상 화소의 화소값을 보간하는데 사용되는 가중치 벡터임.)( Are three pixels included in the upper scan line of the interpolation target pixel (pixels located in the vertical upward direction, upper left direction, and upper right direction of the interpolation target pixel) and three pixels included in the lower scan line of the interpolation target pixel (interpolation). Matrix consisting of a vertically downward direction, a lower left direction, and a lower right direction of the target pixel; For each row of the matrix, if the pixel to be interpolated is located in the i th row j th column, Each pixel included in is 3 pixels included in the upper scan line of the interpolation target pixel, and the 3 pixels included in the j-1, j, j + 1 columns in the i-1 th row and 3 included in the lower scan line of the interpolation target pixel. Pixels are pixels j-1, j, j + 1 in the i + 1th row, Pixels included in each row of the matrix are centered on one pixel among three pixels included in the upper scan line and three pixels included in the lower scan line. The pixel located in the first column, the pixel located above the two scan lines vertically, wherein the pixel located above the two scan line vertically are the pixels located in the j-1 th column in the i-3 th row, Wherein the pixels located below the two scan lines vertically are the pixels located in the j-1th column of the i + 1th row, and the pixels located above the two scan lines vertically and two pixels to the left, where the two scan lines Pixels located above two pixels to the left and above vertical are pixels located in the j + 1th column in the i-3th row, two pixels below the scan line vertical and two pixels to the right, where the two scan lines vertical bottom, The pixels next to the two pixels to the right are the pixels located in the j-3th column of the i + 1th row. The As above Matrix and above A weight vector calculated based on a matrix, which is a weight vector used to interpolate pixel values of the pixel to be interpolated using geometric duality.)
을 이용하여 상기 가중치를 산출하는 단계를 포함할 수 있다. 상기 화소 보간부는, It may include the step of calculating the weight using. The pixel interpolation unit,
상기 로컬 에지 판별부에 의해 산출된 상기 를 기초로 아래의 식 5The calculated by the local edge discriminating unit Based on Equation 5 below
(식 5)(Eq. 5)
를 이용해서 상기 보간 대상 화소를 보간하여 디인터레이싱하는 단계를 포함할 수 있다. 상기 화소 보간부는,The method may include interpolating and deinterlacing the interpolation target pixel using. The pixel interpolation unit,
상기 로컬 에지 방향 판별부를 통해 상기 보간 대상 화소의 상기 로컬 에지 방향이 방향 또는 방향을 제외한 방향으로 판단되는 경우 아래의 식 6The local edge direction of the interpolation target pixel is changed through the local edge direction determination unit. Direction or Equation 6 below when it is judged as a direction except
(식 6)(Equation 6)
를 이용하여 보간 대상 화소를 디인터레이싱하는 단계를 포함할 수 있다. 상기 기하학적 이중성을 이용한 디인터레이싱을 수행하는 영상 처리 장치는, HDTV(High Definition Television) 수신단 또는 HDTV 이상의 해상도를 가지는 TV 수신단에서 사용될 수 있다.And deinterlacing the interpolation target pixel using. An image processing apparatus that performs deinterlacing using the geometric duplex may be used in a high definition television (HDTV) receiver or a TV receiver having a resolution greater than or equal to HDTV.
상술한 바와 같이 본 발명의 실시예에 따른 기하학적 이중성을 이용한 디인터레이싱 방법 및 이러한 방법을 수행하는 영상 처리 장치에 따르면, 기하학적 이중성을 이용하여 보간 대상 화소의 주변 화소에 개별적인 가중치를 적용하여 디인터레이싱을 수행한다. As described above, according to the deinterlacing method using geometric duplex according to the embodiment of the present invention and the image processing apparatus for performing the method, the deinterlacing is performed by applying individual weights to peripheral pixels of the interpolation target pixel using the geometric duplex. .
따라서, 디인터레이싱 성능이 기존의 디인터레이싱 방법보다 향상되어 고해상도 영상을 수신받을 수 있다.Therefore, the deinterlacing performance is improved over the conventional deinterlacing method so that high resolution images can be received.
또한, 디스플레이의 크기가 커지는 추세에 맞추어 HDTV급 이상의 TV 수신기에 사용될 경우 최대한 처리 복잡도를 낮추면서 실시간 처리가 가능하면서도 만족할만한 화질을 얻을 수 있다.In addition, when the size of the display is increased, it is possible to obtain a satisfactory picture quality while enabling real-time processing while reducing processing complexity as much as possible when used in a TV receiver of HDTV or higher.
도 1은 디인터레이싱을 위한 CAD 알고리즘을 설명하기 위한 개념도이다.
도 2는 디인터레이싱 방법 중 MELA(Modified Edge-based Line Averaging) 기법을 설명하기 위한 개념도이다.
도 3은 본 발명의 일실시예에 따른 로컬 에지 방향이 방향인 경우, 보간 대상 화소를 복원하는 방법을 나타내는 개념도이다.
도 4는 본 발명의 일실시예에 따른 로컬 에지 방향이 방향인 경우, 보간 대상 화소를 복원하는 방법을 나타내는 개념도이다.
도 5는 본 발명의 일실시예에 따른 디인터레이싱 방법을 기존의 디인터레이싱 방법과 비교한 표이다.
도 6은 본 발명의 일실시예에 따른 기하학적 이중성을 이용한 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 영상의 성능을 나타내기 위한 것이다.
도 7은 본 발명의 일실시예에 따른 기하학적 이중성을 이용하여 디인터레이싱 방법을 나타내는 순서도이다.
도 8은 본 발명의 일실시예에 따른 기하학적 이중성을 이용하여 디인터레이싱을 수행하는 영상 처리 장치를 나타낸 개념도이다. 1 is a conceptual diagram illustrating a CAD algorithm for deinterlacing.
FIG. 2 is a conceptual diagram illustrating a modified edge-based line averaging (MELA) technique among deinterlacing methods.
3 is a local edge direction according to an embodiment of the present invention In the case of a direction, it is a conceptual diagram which shows the method of restoring an interpolation target pixel.
4 is a local edge direction according to an embodiment of the present invention In the case of a direction, it is a conceptual diagram which shows the method of restoring an interpolation target pixel.
5 is a table comparing a deinterlacing method with a conventional deinterlacing method according to an embodiment of the present invention.
FIG. 6 illustrates the performance of an image subjected to deinterlacing using a deinterlacing method using geometric duality according to an embodiment of the present invention.
7 is a flowchart illustrating a deinterlacing method using geometric duality according to an embodiment of the present invention.
8 is a conceptual diagram illustrating an image processing apparatus that performs deinterlacing using geometric duality according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.The terms first, second, etc. may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component. And / or < / RTI > includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, . On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Hereinafter, the same reference numerals are used for the same components in the drawings, and duplicate descriptions of the same components are omitted.
이하 본 발명의 실시예에서는 윈도우 사이즈(Window Size)를 1로 가정하여 보간하는 방법에 대해 개시하지만, 본 발명의 본질에서 벋어나지 않는 한 디인터레이싱을 위한 윈도우 사이즈는 1이상의 값을 가질 수 있다.
Hereinafter, although the embodiment of the present invention discloses a method of interpolating assuming a window size of 1, the window size for deinterlacing may have a value of 1 or more, as long as it does not emerge from the essence of the present invention.
또한, 이하 본 발명의 일실시예에 따르면, 본 발명에서 사용되는 화소값은 설명의 편의상 화소의 휘도값을 의미할 수 있다. 하지만, 본 발명의 본질에서 벋어나지 않는한 화소의 색차값 역시 화소값에 포함되는 개념으로서 본 발명의 권리범위에 포함될 수 있다.
In addition, according to an embodiment of the present invention, the pixel value used in the present invention may mean a luminance value of the pixel for convenience of description. However, the color difference value of the pixel may also be included in the scope of the present invention as a concept included in the pixel value, unless it deviates from the essence of the present invention.
도 1은 디인터레이싱을 위한 CAD 알고리즘을 설명하기 위한 개념도이다. 1 is a conceptual diagram illustrating a CAD algorithm for deinterlacing.
도 1을 참조하면, 기준화소()에 대한 8 방향의 기준 가중치 계수 가 표시되어 있으며, 아래의 수학식 1로부터 가중치 계수 를 구할 수 있다.Referring to Figure 1, the reference pixel ( Reference weighting factor in 8 directions for Is shown, and the weighting coefficient is Can be obtained.
여기에서, 는 인터레이스 이미지(즉, 저해상도 이미지)에서 로컬 윈From here, Is a local window in an interlaced image (ie, a low resolution image).
도우(local window)안에 위치 보간 대상 화소인 m에 인접한 8개의 화소값을 의미한다.It means eight pixel values adjacent to m, which is a target pixel for position interpolation, in a local window.
도 1을 참조하면 특정 기준 화소()에 대한 8개의 에지 방향의 기준 가중치는 이고, 보간 대상 화소에 대한 8개의 에지 방향의 적용 가중치는 이다. 일반적인 자연 영상은 인접한 화소의 값이 크게 변하지 않는 특성이 있다. 그러므로, 에지의 방향도 일정 범위 내에서 동일한 경향성을 가진다. 그리하여, 두 변수 기준 가중치 , 적용 가중치 의 상관도가 양의 상관 관계를 나타내며, 두 변수 , 의 공분산의 값도 양수가 된다. 이는 아래의 수학식 2로 표현된다.Referring to FIG. 1, a specific reference pixel ( The reference weights for the eight edge directions for The applied weights of eight edge directions for the interpolation target pixel are to be. The general natural image has a characteristic that the value of adjacent pixels does not change significantly. Therefore, the direction of the edge also has the same tendency within a certain range. Thus, two variable reference weights , Weight applied The correlation of represents a positive correlation, and the two variables , The covariance of is also positive. This is represented by
여기에서, 는 기준 화소의 각 방향에 대한 기준 가중치 벡터, 는 보상 대상 화소의 각 방향에 대한 적용 가중치 벡터이다. 즉, 기준 화소로부터 얻어지는 기준 가중치를 이용하여 보간 대상 화소에 적용되는 적용 가중치를 구할 수 있다.From here, Is a reference weight vector for each direction of the reference pixel, Is an applied weight vector for each direction of the compensation target pixel. That is, the application weight applied to the interpolation target pixel may be obtained using the reference weight obtained from the reference pixel.
CAD에서는 기존의 전송된 화소간의 관계가 보간하고자 하는 화소간의 관계와 동일하다고 보는 기하학적 이중성(Geometric Duality)을 이용하여 보간 대상 화소를 보간한다. 즉, 기존에 전송된 화소간의 관계가 보간하고자 하는 화소간의 관계와 동일하다고 가정하고 이러한 관계는 기하학적 이중성(Geometric Duality)으로 칭할 수 있다. In CAD, interpolation target pixels are interpolated by using geometric duality that the relationship between the transmitted pixels is the same as the relationship between the pixels to be interpolated. That is, it is assumed that the relationship between the previously transmitted pixels is the same as the relationship between the pixels to be interpolated. Such a relationship may be referred to as geometric duality.
따라서, 기하학적 이중성(Geometric Duality)을 기초로 동일한 로컬 에지 방향을 가지는 화소들은 동일한 가중치를 가지거나 또는 비례 관계에 있는 가중치를 가질 수 있다.
Accordingly, pixels having the same local edge direction based on geometric duality may have the same weight or have a weight in proportional relationship.
도 2는 디인터레이싱 방법 중 MELA(Modified Edge-based Line Averaging) 기법을 설명하기 위한 개념도이다. FIG. 2 is a conceptual diagram illustrating a modified edge-based line averaging (MELA) technique among deinterlacing methods.
도 2을 참조하면, MELA 기법은 보간 대상 화소의 위에 위치한 3개의 픽셀과 아래의 3개의 픽셀을 이용해 화소의 값을 보간할 수 있다. Referring to FIG. 2, the MELA technique may interpolate pixel values using three pixels located above and three pixels located below the interpolation target pixel.
는 보간 대상 화소의 이웃 화소들의 값을 나타낸다. 보간 대상 화소의 상위 스캔 라인에 위치하되 보간 대상 화소를 기준으로 좌측에 위치한 화소를 , 중간에 위치한 화소를 , 우측에 위치한 화소를 , 보간 대상 화소의 하위 스캔 라인에 위치하되 보간 대상 화소를 기준으로 좌측에 위치한 화소를 , 중간에 위치한 화소를 , 우측에 위치한 화소를 라고 할 수 있다. Denotes values of neighboring pixels of the interpolation target pixel. Pixels positioned on the upper scan line of the interpolation target pixel but left on the interpolation target pixel , The middle pixel , The pixel on the right , Located on the lower scan line of the interpolation target pixel, but located on the left side of the pixel , The middle pixel , The pixel on the right .
MELA 기법은 아래의 수학식 3로 표현되는 3개의 방향 픽셀 차이 측정(Directional Pixel Difference Measure)과 아래의 수학식 4로 표현되는 방향적 코릴레이션(Directional Correlation)을 사용하여 로컬 에지 방향(Local Edge Direction)을 결정할 수 있다.The MELA technique uses the Local Edge Direction using three Directional Pixel Difference Measures represented by
여기서, 는 번째 줄, 번째 열에 위치한 보간되는 화소값을 의미한다. 기호는 AND 연산을 나타낸다. 즉, MELA 기법에서는 값과 값을 모두 고려하여 화소를 보간한다. 수학식 5에 표현된 상단의 두 개의 수식을 보면, 보간 대상 화소값의 로컬 에지 방향이 대각선 방향으로 선택되면 그 방향의 선상에 놓여있는 인접한 화소 4개의 평균값을 보간값으로 예측한다. 그 외의 경우, 수학식 5 하단의 수학식과 같이 보간하고자 하는 화소의 위와 아래의 화소값의 평균값을 보간값으로 결정한다. here, The Line one, The interpolated pixel value located in the first column. The symbol represents an AND operation. In other words, in the MELA technique Value and The pixels are interpolated considering all the values. Referring to the two equations at the top of Equation 5, when the local edge direction of the interpolation target pixel value is selected in the diagonal direction, the average value of four adjacent pixels lying on the line in the direction is predicted as the interpolation value. In other cases, as shown in Equation 5 below, the average value of pixel values above and below the pixel to be interpolated is determined as the interpolation value.
방향은 보간 대상 화소를 중심으로 한 스캔 라인 상단 좌측에 위치한 화소 및 한 스캔 라인 수직 아래 위치한 화소를 연결한 방향이고, 방향은 보간 대상 화소를 중심으로 한 스캔 라인 수직 상단에 위치한 화소 및 한 스캔 라인 하단 좌측에 위치한 화소를 연결한 방향이다. The direction is a direction connecting pixels located on the upper left side of the scan line centered on the interpolation target pixel and pixels positioned vertically below one scan line. The direction is a direction connecting pixels located on the upper vertical line of the scan line centered on the interpolation target pixel and pixels located on the lower left side of one scan line.
보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소 및 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소에 기초하여 상기 보간 대상 화소의 로컬 에지 방향을 결정할 수 있다. The local edge direction of the interpolation target pixel may be determined based on three pixels included in the upper scan line of the interpolation target pixel and three pixels included in the lower scan line of the interpolation target pixel.
즉, 로컬 에지 방향을 방향으로 판단하는 경우, 보간 대상 화소를 중심으로 수직 윗방향으로 , 수직 아래 방향으로 , 좌측 상단 방향으로 , 우측 하단 방향 에 위치한 화소의 화소값을 이용하여 보간 대상화소를 보간한다.That is, the local edge direction In the case of judging in the direction, it is vertically upward with respect to the interpolation target pixel. , Vertically downward , In the upper left direction , Bottom right direction The interpolation target pixel is interpolated using the pixel value of the pixel located at.
또한, 로컬 에지 방향을 방향으로 판단하는 경우, 보간 대상 화소를 중심으로 수직 윗방향으로 , 수직 아래 방향으로 , 우측 상단 방향으로 , 좌측 하단 방향 에 위치한 화소의 화소값을 이용하여 보간 대상 화소를 보간한다.Also, the local edge orientation In the case of judging in the direction, it is vertically upward with respect to the interpolation target pixel. , Vertically downward , In the upper right direction , Bottom left direction The interpolation target pixel is interpolated using the pixel value of the pixel located at.
그 외에 로컬 에지 방향으로 판단되는 경우, 보간 대상 화소를 중심으로 수직 윗방향으로 , 수직 아래 방향으로 에 위치한 화소의 화소값을 이용하여 보간 대상 화소를 보간한다.
In addition, when it is determined to be in the local edge direction, it is vertically upward with respect to the interpolation target pixel. , Vertically downward The interpolation target pixel is interpolated using the pixel value of the pixel located at.
본 발명의 일실시예에 따른 기하학적 이중성을 이용한 디인터레이싱 방법에서는 로컬 에지 방향을 방향으로 판단하는 경우, 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소와 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소 중 하나의 화소를 기준으로 수직 방향으로 위로 두 스캔 라인 위에 있는 화소에 , 수직 방향으로 두 스캔 라인 아래에 있는 화소에 , 수직 방향 위로 두 스캔 라인 위 좌측 두 화소 옆에 위치한 화소에 , 수직 방햐으로 두 스캔 라인 아래 우측 두 화소 옆에 위치한 화소에 의 가중치를 부여하여 이용하여 보간 대상 화소를 보간할 수 있다.
In the deinterlacing method using geometric duality according to an embodiment of the present invention, the local edge direction is determined. In the case of judging in the direction, the pixels above the two scan lines in the vertical direction with respect to one of the three pixels included in the upper scan line of the interpolation target pixel and one of the three pixels included in the lower scan line of the interpolation target pixel. on On the pixels below the two scan lines in the vertical direction On the pixels next to the two left pixels above the two scan lines On the pixel located next to the right two pixels below the two scan lines in a vertical direction. The interpolation target pixel may be interpolated by using a weighting factor of.
본 발명의 일실시예에 따르면, 본 발명은 MELA 기법을 변형한 아래의 수학식 6를 이용해 보간 대상 화소를 보간할 수 있다.
According to an embodiment of the present invention, the present invention may interpolate an interpolation target pixel by using Equation 6, which is a modification of the MELA technique.
수학식 6를 참조하면, 인 경우 , , , 각각의 화소값에 가중치 , , , 를 곱하여 더해주고, 인 경우, , , , 각각의 화소값에 가중치 , , , 를 곱하여 더해준다. 그 외의 경우, 와 의 화소값의 평균을 보간 대상 화소의 화소값으로 할 수 있다.
Referring to Equation 6, If , , , Weight each pixel value , , , Multiply by to add it, Quot; , , , Weight each pixel value , , , Multiply and add. Otherwise, Wow The average of pixel values can be taken as the pixel value of the interpolation target pixel.
도 3은 본 발명의 일실시예에 따른 로컬 에지 방향이 방향인 경우, 보간 대상 화소를 복원하는 방법을 나타내는 개념도이다. 3 is a local edge direction according to an embodiment of the present invention In the case of a direction, it is a conceptual diagram which shows the method of restoring an interpolation target pixel.
도 3을 참조하면, 개념도에는 보간 대상 화소와 보간 대상 화소의 주변에 존재하는 6개의 화소(D10, D11, D12, D17, D18, D19)와, 그 외에 6개의 화소 주변에 존재하는 화소(D1, D2, D3, D4, D5, D6, D7, D8, D9, D13, D14, D15, D16, D20, D21, D22, D23, D24, D25, D26, D27, D28)가 나타나있다.Referring to FIG. 3, the conceptual diagram includes six pixels D10, D11, D12, D17, D18, and D19 that exist around the interpolation target pixel and the interpolation target pixel, and pixels D1 that exist around six pixels. , D2, D3, D4, D5, D6, D7, D8, D9, D13, D14, D15, D16, D20, D21, D22, D23, D24, D25, D26, D27, D28).
수학식 7를 참조하면, 보간 대상 화소의 주변의 화소를 데이터 벡터 라고 행렬의 각 행은 각 데이터 벡터의 원소의 방향에 놓여있는 4개의 이웃한 화소들이다. Referring to equation (7), the pixel around the interpolation target pixel data vector Called Each row of the matrix is an element of each data vector Four neighboring pixels in the direction.
기존의 MELA 방법 에서는, 대상 화소의 로컬 에지 방향을 방향으로 판단하는 경우, 보간 대상 화소를 중심으로 수직으로 한 스캔 라인 윗 방향에 위치한 화소에 , 수직으로 한 스캔 라인 아래 방향에 위치한 화소에 , 수직으로 한 스캔 라인 위, 좌측으로 하나 옆에 위치한 화소에 , 수직으로 한 스캔 라인 아래 우측 하나 옆에 위치한 화소에 의 가중치를 부여하여 보간 대상화소를 보간할 수 있다. In the conventional MELA method, the local edge direction of the target pixel is changed. Direction, the pixel located above the scan line perpendicular to the interpolation target pixel. To the pixels vertically below one scan line On the pixels vertically on one scan line and one on the left On the pixels located next to the right one below the scan line An interpolation target pixel may be interpolated by assigning a weight to.
본 발명의 일실시예에 따른 기하학적 이중성을 이용한 디인터레이싱 방법에서는 로컬 에지 방향을 방향으로 판단하는 경우, 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소(보간 대상 화소의 수직 윗방향, 좌측 상단 방향, 우측 상단 방향에 위치한 화소)와 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소(보간 대상 화소의 수직 아래 방향, 좌측 하단 방향, 우측 하단 방향) 중 하나의 화소를 기준으로 산출된 수직 방향으로 두 스캔 라인 위에 위치한 화소에서 , 수직 방향으로 아래로 두 스캔 라인 아래에 위치한 화소에서 , 수직 방향으로 두 스캔 라인 위 좌측으로 두 화소 옆에 위치한 화소에서 , 수직 방향으로 두 스캔 라인 아래 우측으로 두 화소 옆에 위치한 화소에서 의 가중치를 산출하고, 기하학적 이중성을 기초로 동일한 가중치를 보간 대상 화소를 보간하기 위한 가중치로 산출할 수 있다. In the deinterlacing method using geometric duality according to an embodiment of the present invention, the local edge direction is determined. In the case of judging in the direction, three pixels included in the upper scan line of the interpolation target pixel (pixels located in the vertical upward direction, upper left direction, and upper right direction of the interpolation target pixel) and the lower scan line of the interpolation target pixel In a pixel located above two scan lines in a vertical direction calculated based on one of three pixels (vertical downward direction, lower left direction, and lower right direction of the interpolation target pixel). From the pixels located below the two scan lines down in the vertical direction, At pixels next to two pixels to the left above both scan lines in the vertical direction At pixels next to two pixels to the right below two scan lines in the vertical direction, The weight of may be calculated and the same weight may be calculated as the weight for interpolating the interpolation target pixel based on the geometric duplex.
즉, 보간 대상 화소가 i번째 행 j번째 열에 위치한 경우, 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소는 i-1번째 행에 j-1, j, j+1열에 위치한 화소를 의미하고, 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소는 i+1번째 행에 j-1, j, j+1열에 위치한 화소를 의미한다. That is, when the interpolation target pixel is located in the i-th row of the j-th column, the three pixels included in the upper scan line of the interpolation target pixel mean the pixels located in the j-1, j, j + 1 columns of the i-1 th row. The three pixels included in the lower scan line of the interpolation target pixel mean pixels located in j-1, j, and j + 1 columns in the i + 1th row.
본 발명의 일실시예에 따르면 로컬 에지 방향이 방향으로 판단하는 경우, i-1번째 행에 j-1번째 열에 위치한 화소를 기준으로 두 스캔 라인 수직 위에 위치한 화소( i-3번째 행에 j-1번째 열에 위치한 화소), 두 스캔 라인 수직 아래에 위치한 화소( i+1번째 행에 j-1번째 열에 위치한 화소), 두 스캔 라인 수직 위, 좌측으로 두 화소 옆에 위치한 화소( i-3번째 행에 j-3번째 열에 위치한 화소), 두 스캔 라인 수직 아래, 우측으로 두 화소 옆에 위치한 화소( i+1번째 행에 j+1번째 열에 위치한 화소)를 기초로 보간 대상 화소에 적용할 가중치를 산출할 수 있다. According to one embodiment of the invention the local edge direction is In the case of judging in the direction, the pixels located above the two scan lines vertically based on the pixels located in the j-1th column in the i-1th row (the pixels located in the j-1th row in the i-3th row), and the two vertically below the scanline. Pixels located in the j-1th column of the i + 1th row, pixels located above the two scan lines vertically and two pixels to the left (pixels located in the j-3th column of the i-3th row), two A weight to be applied to the interpolation target pixel may be calculated based on the pixels (pixels located in the j + 1th column of the i + 1th row) positioned two pixels below the scan line vertically and to the right.
예를 들어, 행렬의 첫 번째 행을 참조하면, 행렬의 첫 번째 행에는 D1, D3, D17, D19 의 화소값이 행렬에 표현된다. 개념도를 보면, D1, D3, D17, D19는 보간 대상 화소의 주변 화소 중 하나인 D10을 기준으로 방향의 로컬 에지 방향에 놓여있는 4개의 화소값이다. E.g, If you refer to the first row of the matrix, In the first row of the matrix, pixel values of D1, D3, D17, and D19 are represented in the matrix. In the conceptual diagram, D1, D3, D17, and D19 are based on D10, which is one of the pixels around the interpolation target pixel. Four pixel values lying in the local edge direction of the direction.
행렬은 각 행은 순차적으로 보간 대상 화소의 주변에 존재하는 6개의 화소(D10, D11, D12, D17, D18, D19)를 기준으로 방향의 로컬 에지 방향에 놓여있는 4개의 화소값으로 구성될 수 있다. The matrix is based on six pixels (D10, D11, D12, D17, D18, and D19) that exist in the periphery of the pixel to be interpolated sequentially. It may consist of four pixel values lying in the local edge direction of the direction.
아래의 수학식 8은 본 발명의 일실시예에 따른 기하학적 이중성에 따른 가중치 적용을 나타낸 것이다. Equation 8 below shows the weight application according to the geometric duality according to an embodiment of the present invention.
즉, 기준화소(보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소 및 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소)을 기준으로 방향의 로컬 에지 방향에 놓여있는 4개의 화소값을 이용하여 산출한 가중치 계수인 는 기하학적 이중성에 의해 보간 대상 화소를 기준으로 방향의 로컬 에지 방향에 놓인 주변 화소에 적용하는 가중치 와 유사한 값을 가질 수 있다. 따라서, 기존이 알고 있는 화소값을 이용하여 를 산출함으로써 보간 대상 화소를 기준으로 방향의 로컬 에지 방향에 놓인 주변 화소에 적용하는 가중치 를 산출할 수 있다. That is, based on the reference pixel (three pixels included in the upper scan line of the interpolation target pixel and three pixels included in the lower scan line of the interpolation target pixel) Weight coefficient calculated using four pixel values lying in the local edge direction of the Is based on the interpolation target pixel by geometric duality Weight applied to surrounding pixels oriented in the local edge direction of the direction It can have a value similar to Therefore, by using the known pixel value Is calculated based on the interpolation target pixel. Weight applied to surrounding pixels oriented in the local edge direction of the direction Can be calculated.
즉, 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소 및 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소를 기준으로 보간 대상 화소와 동일한 로컬 에지 방향을 가지는 화소들의 화소값을 이용하여 보간 대상 화소에 적용할 가중치를 산출할 수 있다. That is, interpolation is performed using pixel values of pixels having the same local edge direction as the interpolation target pixel based on three pixels included in the upper scan line of the interpolation target pixel and three pixels included in the lower scan line of the interpolation target pixel. The weight to be applied to the target pixel may be calculated.
수학식 9의 데이터 벡터 와 데이터 행렬 는 아래의 수학식 9와 같은 관계를 가질 수 있다. Data Vector of Equation 9 And data matrix May have a relationship as in Equation 9 below.
위의 수학식 9에서 는 최소 자승 근사값(Least Square Approximation)을 이용하여 아래의 수학식 10을 사용하여 구할 수 있다.
In Equation 9 above Can be obtained using Equation 10 below using Least Square Approximation.
즉, 수학식 10을 이용하여 산출된 가중치 값을 통해 기하학적 이중성을 이용하여 값을 유추하여 보간 대상 화소를 보간할 수 있다.
That is, using geometric duality through the weight value calculated using Equation 10 The interpolation target pixel may be interpolated by inferring a value.
도 4는 본 발명의 일실시예에 따른 로컬 에지 방향이 방향인 경우, 보간 대상 화소를 복원하는 방법을 나타내는 개념도이다. 4 is a local edge direction according to an embodiment of the present invention In the case of a direction, it is a conceptual diagram which shows the method of restoring an interpolation target pixel.
도 4를 참조하면, 개념도에는 보간 대상 화소와 보간 대상 화소의 주변에 존재하는 6개의 화소(D10, D11, D12, D17, D18, D19)와, 그 외에 6개의 화소 주변에 존재하는 화소(D1, D2, D3, D4, D5, D6, D7, D8, D9, D13, D14, D15, D16, D20, D21, D22, D23, D24, D25, D26, D27, D28)가 나타나있다.Referring to FIG. 4, the conceptual diagram includes six pixels D10, D11, D12, D17, D18, and D19 that exist around the interpolation target pixel and the interpolation target pixel, and pixels D1 that exist around the six pixels. , D2, D3, D4, D5, D6, D7, D8, D9, D13, D14, D15, D16, D20, D21, D22, D23, D24, D25, D26, D27, D28).
수학식 11을 참조하면, 보간 대상 화소의 주변의 화소를 데이터 벡터 라고 행렬의 각 행은 각 데이터 벡터의 원소의 방향에 놓여있는 4개의 이웃한 화소들이다. Referring to Equation 11, the pixel of the peripheral of the interpolation target pixel is a data vector Called Each row of the matrix is an element of each data vector Four neighboring pixels in the direction.
기존의 MELA 디인터레이싱 방법에서는 보간 대상 화소의 로컬 에지 방향을 방향으로 판단하는 경우, 보간 대상 화소를 중심으로 수직 윗 방향에 위치한 화소에 , 수직 아랫 방향에 위치한 화소에 , 수직 윗방향, 우측 한 화소 옆에 위치한 화소에 , 수직 아래 방향, 좌측 한 화소 옆에 위치한 화소에 의 가중치를 부여하여 보간 대상화소를 보간할 수 있다.In the conventional MELA deinterlacing method, the local edge direction of the pixel to be interpolated In the case of judging in the direction, the pixel located in the vertical upward direction with respect to the interpolation target pixel On the pixels vertically down , Vertically upward, to the pixel next to one pixel on the right , Vertically down, to the pixel next to one pixel to the left An interpolation target pixel may be interpolated by assigning a weight to.
본 발명의 일실시예에 따른 기하학적 이중성을 이용한 디인터레이싱 방법에서는 로컬 에지 방향을 방향으로 판단하는 경우, 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소(보간 대상 화소의 수직 윗방향, 좌측 상단 방향, 우측 상단 방향에 위치한 화소)와 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소(보간 대상 화소의 수직 아래 방향, 좌측 하단 방향, 우측 하단 방향) 중 하나의 화소를 기준으로 수직 방향으로 두 스캔 라인 위에 위치한 화소에서 , 수직 방향으로 두 스캔 라인 아래에 위치한 화소에서 , 수직으로 두 스캔 라인 위 우측으로 두 화소 옆에 위치한 화소에서 , 수직으로 두 스캔 라인 위 우측으로 두 화소 옆에 위치한 화소에서 의 가중치를 산출하고 기하학적 이중성을 기초로 이를 보간 대상 화소를 보간하기 위해 적용할 수 있다.In the deinterlacing method using geometric duality according to an embodiment of the present invention, the local edge direction is determined. In the case of judging in the direction, three pixels included in the upper scan line of the interpolation target pixel (pixels located in the vertical upward direction, upper left direction, and upper right direction of the interpolation target pixel) and the lower scan line of the interpolation target pixel Pixels located above two scan lines in a vertical direction with respect to one of three pixels (vertical downward direction, lower left direction, and lower right direction of the interpolation target pixel) In pixels located below two scan lines in the vertical direction, At pixels next to two pixels vertically above the two scan lines At pixels next to two pixels vertically above the two scan lines Calculate the weight of and apply it to interpolate the interpolation target pixel based on the geometric duality.
즉, 보간 대상 화소가 i번째 행 j번째 열에 위치한 경우, 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소는 i-1번째 행에 각각 j-1, j, j+1열에 위치한 화소를 의미하고, 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소는 i+1번째 행에 각각 j-1, j, j+1열에 위치한 화소를 의미한다. That is, when the interpolation target pixel is located in the i-th row of the j-th column, the three pixels included in the upper scan line of the interpolation target pixel mean pixels located in the j-1, j, j + 1 columns of the i-1 th row, respectively. The three pixels included in the lower scan line of the interpolation target pixel mean pixels located in j-1, j, and j + 1 columns in the i + 1th row, respectively.
본 발명의 일실시예에 따르면 로컬 에지 방향이 방향으로 판단하는 경우, i-1번째 행에 j-1번째 열에 위치한 화소를 기준으로 두 스캔 라인 수직 위에 위치한 화소( i-3번째 행에 j-1번째 열에 위치한 화소), 두 스캔 라인 수직 아래에 위치한 화소( i+1번째 행에 j-1번째 열에 위치한 화소), 두 스캔 라인 수직 위, 우측으로 두 화소 옆에 위치한 화소( i-3번째 행에 j+1번째 열에 위치한 화소), 두 스캔 라인 수직 아래, 좌측으로 두 화소 옆에 위치한 화소( i+1번째 행에 j-3번째 열에 위치한 화소)를 기초로 보간 대상 화소에 적용할 가중치를 산출할 수 있다.
According to one embodiment of the invention the local edge direction is In the case of judging in the direction, the pixels located above the two scan lines vertically based on the pixels located in the j-1th column in the i-1th row (the pixels located in the j-1th row in the i-3th row), and the two vertically below the scanline. Pixels located in the j-1th column of the i + 1th row, pixels located above the two scan lines vertically and two pixels to the right (pixels located in the j + 1th column of the i-3th row), two A weight to be applied to the interpolation target pixel may be calculated based on the pixels (pixels located in the j-3th column of the i + 1th row) positioned two pixels below the scan line vertically and to the left.
예를 들어, 행렬의 첫 번째 행을 참조하면, 행렬의 첫 번째 행에는 D3, D5, D15, D17 의 화소값이 행렬에 표현된다. 개념도를 보면, D3, D5, D15, D17은 보간 대상 화소의 주변 화소 중 하나인 D10을 기준으로 방향의 로컬 에지 방향에 놓여있는 4개의 화소값이다. E.g, If you refer to the first row of the matrix, In the first row of the matrix, pixel values of D3, D5, D15, and D17 are represented in the matrix. In the conceptual diagram, D3, D5, D15, and D17 are based on D10, which is one of the surrounding pixels of the interpolation target pixel. Four pixel values lying in the local edge direction of the direction.
행렬은 각 행은 순차적으로 보간 대상 화소의 주변에 존재하는 6개의 화소(D10, D11, D12, D17, D18, D19)를 기준으로 방향의 로컬 에지 방향에 놓여있는 4개의 화소값으로 구성될 수 있다. The matrix is based on six pixels (D10, D11, D12, D17, D18, and D19) that exist in the periphery of the pixel to be interpolated sequentially. It may consist of four pixel values lying in the local edge direction of the direction.
아래의 수학식 12는 본 발명의 일실시예에 따른 기하학적 이중성에 따른 가중치 적용을 나타낸 것이다. Equation 12 below shows a weight application according to geometric duality according to an embodiment of the present invention.
즉, 기준화소(보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소 및 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소)을 기준으로 방향의 로컬 에지 방향에 놓여있는 4개의 화소값을 이용하여 산출한 가중치 계수인 는 기하학적 이중성에 의해 보간 대상 화소를 기준으로 방향의 로컬 에지 방향에 놓인 주변 화소에 적용하는 가중치 와 유사한 값을 가질 수 있다. 따라서, 기존이 알고 있는 화소값을 이용하여 를 산출함으로써 보간 대상 화소를 기준으로 방향의 로컬 에지 방향에 놓인 주변 화소에 적용하는 가중치 를 산출할 수 있다. That is, based on the reference pixel (three pixels included in the upper scan line of the interpolation target pixel and three pixels included in the lower scan line of the interpolation target pixel) Weight coefficient calculated using four pixel values lying in the local edge direction of the Is based on the interpolation target pixel by geometric duality Weight applied to surrounding pixels oriented in the local edge direction of the direction It can have a value similar to Therefore, by using the known pixel value Is calculated based on the interpolation target pixel. Weight applied to surrounding pixels oriented in the local edge direction of the direction Can be calculated.
즉, 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소 및 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소를 기준으로 보간 대상 화소와 동일한 로컬 에지 방향을 가지는 화소들의 화소값을 이용하여 보간 대상 화소에 적용할 가중치를 산출할 수 있다. That is, interpolation is performed using pixel values of pixels having the same local edge direction as the interpolation target pixel based on three pixels included in the upper scan line of the interpolation target pixel and three pixels included in the lower scan line of the interpolation target pixel. The weight to be applied to the target pixel may be calculated.
수학식 11의 데이터 벡터 와 데이터 행렬 는 아래의 수학식 13과 같은 관계를 가질 수 있다. Data Vector of Equation 11 And data matrix May have a relationship as shown in Equation 13 below.
위의 수학식 13에서 는 최소 자승 근사값(Least Square Approximation)을 이용하여 아래의 수학식 14를 사용하여 구할 수 있다. In Equation 13 above Can be obtained using Equation 14 below using Least Square Approximation.
즉, 수학식 14를 이용하여 산출된 가중치 값을 통해 기하학적 이중성을 이용하여 값을 유추하는 방법으로 보간 대상 화소를 보간할 수 있다.
That is, by using the geometric duality through the weight value calculated using Equation 14 The interpolation target pixel may be interpolated by inferring a value.
도 1에서 설명한 CAD 방법은 뛰어난 성능을 가지지만, 기존의 LA를 이용한 디인터레이싱 방법보다 20배 많은 처리 시간을 가진다. 더욱이, CAD 방법이 로컬 에지 방향을 고려하지 않기 때문에 낮은 레졸루션 샘플(Low-Resolution Sample)들 (기존에 디코딩해서 화소값을 알고 있는 샘플들을 의미함.)사이에 코릴레이션을 계산하기 위한 8개의 이웃 픽셀을 불필요하게 포함할 수 있다. The CAD method described in FIG. 1 has excellent performance, but has 20 times more processing time than the conventional deinterlacing method using LA. Moreover, the eight neighbors for calculating correlation between Low-Resolution Samples (previously decoded and known pixel values) because the CAD method does not consider local edge orientation. Pixels may be included unnecessarily.
본 발명의 일실시예에 따르면, 본 발명에서 개시한 기하학적 이중성을 고려하는 방법은 이러한 CAD 방법의 단점을 극복하기 위해서, CAD 방법보다 더 적은 수의 로컬 에지 방향의 이웃 픽셀만 고려할 수 있다. According to one embodiment of the present invention, the method considering the geometric duality disclosed in the present invention may consider only fewer pixels in the local edge direction than the CAD method, in order to overcome the disadvantage of the CAD method.
즉, 본 발명의 일실시예에 따르면, 기하학적 이중성을 고려한 디인터레이싱 방법은 로컬 에지 방향의 화소값을 고려하여 기존의 CAD 방법보다 훨씬 처리속도가 향상되면서 더 나은 디인터레이싱 성능을 가질 수 있다.
That is, according to an embodiment of the present invention, the deinterlacing method considering the geometric duality may have a better deinterlacing performance while the processing speed is much improved than the conventional CAD method in consideration of pixel values in the local edge direction.
도 5는 본 발명의 일실시예에 따른 디인터레이싱 방법을 기존의 디인터레이싱 방법과 비교한 표이다. 5 is a table comparing a deinterlacing method with a conventional deinterlacing method according to an embodiment of the present invention.
도 5를 참조하면, 본 발명의 일실시예에 따른 기하학적 이중성에 디인터레이싱 방법을 기존의 디인터레이싱 기술들(LA, ELA, EELA, DOI, NEDD, MELA, FDD, EPD, CAD)를 3개의 영상들 (Airplane, Boat, Girl), 3개의 영상(Football, Foreman, Table, Tennis), 하나의 영상(Raven), 하나의 영상(Blue Sky)에 대해 실험을 한 것이다.Referring to FIG. 5, three deinterlacing methods for geometric duality according to an embodiment of the present invention include three conventional deinterlacing techniques (LA, ELA, EELA, DOI, NEDD, MELA, FDD, EPD, and CAD). Videos (Airplane, Boat, Girl), 3 Video (Football, Foreman, Table, Tennis), one Raven, one We experimented with the image (Blue Sky).
도 5의 표를 보면, 본 발명에 따른 기하학적 이중성을 이용한 디인터레이싱 방법은 PSNR에서 평균적으로 MELA 방법보다 0.4 높고 CAD 방법보다 0.5 높다. Referring to the table of FIG. 5, the deinterlacing method using geometric duplex according to the present invention has an average of 0.4 than the MELA method in PSNR. 0.5 higher than CAD method high.
특히 본 발명에 따른 기하학적 이중성을 이용한 디인터레이싱 방법은 Foreman 영상과 같은 대각선 방향의 에지를 가진 이미지에 좋은 복원 성능을 가지는 것을 알 수 있다. In particular, it can be seen that the deinterlacing method using the geometric duality according to the present invention has a good reconstruction performance for an image having a diagonal edge like the Foreman image.
또한 영상 처리 속도에 있어서 본 발명에 따른 기하학적 이중성을 이용한 디인터레이싱 방법은 높은 해상도의 영상에서 CAD 방법에 비하여 79% 이상 감소된 처리 속도를 가진다.
In addition, the deinterlacing method using the geometrical duality according to the present invention has a processing speed that is reduced by more than 79% compared to the CAD method in a high resolution image.
도 6은 본 발명의 일실시예에 따른 기하학적 이중성을 이용한 디인터레이싱 방법을 사용하여 디인터레이싱을 수행한 영상의 성능을 나타내기 위한 것이다. FIG. 6 illustrates the performance of an image subjected to deinterlacing using a deinterlacing method using geometric duality according to an embodiment of the present invention.
도 6을 참조하면, 각 화면은 Raven 시퀀스의 첫 번째 프레임의 주관적인 영상 화질을 비교한 것으로 서Referring to FIG. 6, each screen compares the subjective image quality of the first frame of the Raven sequence.
좌측 상단으로부터 알파벳 순서로 LA, ELA, EELA, DOI, NEDD, MELA, FDD, EPD, CAD, 본 발명에 따른 디인터레이싱 방법이다. LA, ELA, EELA, DOI, NEDD, MELA, FDD, EPD, CAD, the deinterlacing method according to the invention in alphabetical order from the top left.
LA와 FDD 방법은 상대적으로 높은 PSNR 결과를 제공하지만, 디테일한 부분에 있어서 거칠고 스테어케이스 잡음(Staircase artifact)이 영상에 나타난다. The LA and FDD methods provide relatively high PSNR results, but in detail the graininess and staircase artifacts appear in the image.
NEDD, MELA, CAD와 본 발명에 따른 기하학적 이중성을 이용한 디인터레이싱 방법은 LA와 FDD 방법에 비하여 만족스러운 결과를 가진다. The deinterlacing method using NEDD, MELA, CAD and the geometric duplex according to the present invention has satisfactory results compared to the LA and FDD methods.
비록 CAD 방법이 원래 이미지의 에지를 잘 보존하기는 하지만, 배경 영역에서 블러링이 발생한다. 이와 달리, 본 발명에 따른 기하학적 이중성을 이용한 디인터레이싱 방법은 원래의 이미지와 거의 유사한 이미지를 가진다. ELA, EELA, DOI와 EPD는 로컬 에지 방향의 부정확한 탐지로 인해 노이즈가 발생하는 것을 확인할 수 있다.
Although the CAD method preserves the edges of the original image well, blurring occurs in the background area. In contrast, the deinterlacing method using geometric duality according to the present invention has an image almost similar to the original image. ELAs, EELAs, DOIs, and EPDs can identify noise caused by inaccurate detection in the local edge direction.
도 7은 본 발명의 일실시예에 따른 기하학적 이중성을 이용하여 디인터레이싱 방법을 나타내는 순서도이다. 7 is a flowchart illustrating a deinterlacing method using geometric duality according to an embodiment of the present invention.
도 7을 참조하면, 보간 대상 화소의 로컬 에지 방향을 산출할 수 있다(S700).Referring to FIG. 7, the local edge direction of the interpolation target pixel may be calculated (S700).
보간 대상 화소의 로컬 에지 방향은 MELA 방법을 이용하여 수학식 3 및 수학식 4를 통해 산출된 값을 기초로 수학식 6의 조건식을 통해 결정된다. The local edge direction of the interpolation target pixel is determined through the conditional expression of Equation 6 based on the values calculated through
인 경우, 로컬 에지 방향을 방향으로 결정하고 인 경우, 로컬 에지 방향을 방향으로 결정하고 그 이외의 경우 로컬 에지 방향을 보간 대상 화소의 수직 방향으로 결정한다. If, the local edge direction Decided in the direction If, the local edge direction Direction, and otherwise, the local edge direction is determined as the vertical direction of the interpolation target pixel.
결정된 로컬 에지 방향을 기초로 가중치를 산출한다(단계 S710). The weight is calculated based on the determined local edge direction (step S710).
보간 대상 화소의 로컬 에지 방향을 방향으로 결정된 경우, 수학식 7 내지 수학식 10을 이용하여 가중치 를 산출한다. 보간 대상 화소의 로컬 에지 방향을 방향으로 결정된 경우, 수학식 11 내지 수학식 14를 이용하여 가중치 를 산출한다. Direction of the local edge of the pixel When determined in the direction, the weight using the equations (7) to (10) Calculate Direction of the local edge of the pixel When determined in the direction, weights using Equations 11 to 14 Calculate
산출된 가중치를 적용하여 보간 대상 화소의 디인터레이싱을 수행한다(단계 S720)The interpolation target pixel is deinterlaced by applying the calculated weight (step S720).
수학식 6을 이용해 보간 대상 화소의 로컬 에지 방향이 방향으로 결정된 경우, , , , 각각의 화소값에 가중치 , , , 를 곱하여 더해주고, 보간 대상 화소의 로컬 에지 방향이 방향으로 결정된 경우, , , , 각각의 화소값에 가중치 , , , 를 곱하여 더해준다. 그 외의 경우, 와 의 화소값의 평균을 보간 대상 화소의 화소값으로 할 수 있다.
By using Equation 6, the local edge direction of the interpolation target pixel If determined by direction, , , , Weight each pixel value , , , Multiply by to get the local edge direction of the pixel If determined by direction, , , , Weight each pixel value , , , Multiply and add. Otherwise, Wow The average of pixel values can be taken as the pixel value of the interpolation target pixel.
도 8은 본 발명의 일실시예에 따른 기하학적 이중성을 이용하여 디인터레이싱을 수행하는 영상 처리 장치를 나타낸 개념도이다. 8 is a conceptual diagram illustrating an image processing apparatus that performs deinterlacing using geometric duality according to an embodiment of the present invention.
각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합 및 분리된 실시예의 경우도 본 발명의 본질에서 벋어나지 않는 한 본 발명의 권리범위에 포함된다.For convenience of explanation, the respective components are arranged in the respective components, and at least two of the components may be combined to form one component, or one component may be divided into a plurality of components to perform the functions. The scope of the present invention is also encompassed within the scope of the present invention unless otherwise specified.
도 8을 참조하면, 기하학적 이중성을 이용하여 디인터레이싱을 수행하는 영상 처리 장치는 로컬 에지 방향 판별부(800), 가중치 산출부(810), 화소 보간부(820)을 포함할 수 있다. Referring to FIG. 8, an image processing apparatus that performs deinterlacing using geometric duality may include a local edge
로컬 에지 방향 판별부(800)는 수신된 보간 대상 화소의 주변 화소 정보를 기초로 보간 대상 화소의 로컬 에지 방향을 판단한다.The local edge
보간 대상 화소의 로컬 에지 방향은 MELA 방법을 이용하여 수학식 3 및 수학식 4를 통해 산출된 값을 기초로 수학식 6의 조건식을 통해 결정된다. The local edge direction of the interpolation target pixel is determined through the conditional expression of Equation 6 based on the values calculated through
즉, 인 경우, 로컬 에지 방향을 방향으로 결정하고 인 경우, 로컬 에지 방향을 방향으로 결정하고 그 이외의 경우 로컬 에지 방향을 보간 대상 화소의 수직 방향으로 결정한다. In other words, If, the local edge direction Decided in the direction If, the local edge direction Direction, and otherwise, the local edge direction is determined as the vertical direction of the interpolation target pixel.
가중치 산출부(810)는 로컬 에지 방향 판별부(800)에서 결정된 로컬 에지 방향을 기초로 보간 대상 화소에 적용할 가중치를 산출한다.
The
보간 대상 화소의 로컬 에지 방향이 방향으로 결정된 경우, 수학식 7 내지 수학식 10을 이용하여 가중치 를 산출한다. 보간 대상 화소의 로컬 에지 방향을 방향으로 결정된 경우, 수학식 11 내지 수학식 14를 이용하여 가중치 를 산출한다. The local edge direction of the pixel to be interpolated When determined in the direction, the weight using the equations (7) to (10) Calculate Direction of the local edge of the pixel When determined in the direction, weights using Equations 11 to 14 Calculate
화소 보간부(820)는 가중치 산출부(810)을 통해 산출된 보간 대상 화소의 가중치를 보간 대상 화소에 적용한다. The
수학식 4를 이용해 보간 대상 화소의 로컬 에지 방향이 방향으로 결정된 경우, , , , 각각의 화소값에 가중치 , , , 를 곱하여 더해주고, 보간 대상 화소의 로컬 에지 방향이 방향으로 결정된 경우, , , , 각각의 화소값에 가중치 , , , 를 곱하여 더해준다. 그 외의 경우, 와 의 화소값의 평균을 보간 대상 화소의 화소값으로 할 수 있다.
By using Equation 4, the local edge direction of the interpolation target pixel If determined by direction, , , , Weight each pixel value , , , Multiply by to get the local edge direction of the pixel If determined by direction, , , , Weight each pixel value , , , Multiply and add. Otherwise, Wow The average of pixel values can be taken as the pixel value of the interpolation target pixel.
본 발명의 일실시예에 따른 디인터레이싱을 수행하는 영상 처리 장치는 HDTV 수신단에서 사용 될 수 있다. 특히, 본 발명의 일실시예에 따른 디인터레이싱을 수행하는 영상 처리 장치는 HDTV 수신단에서 후처리(post-processing)하는 경우에 사용될 수 있다. 또한, 본 발명의 일실시예에 따른 디인터레이싱을 수행하는 영상 처리 장치는 HDTV 이상의 해상도를 가지는 TV 수신단에서 후처리(post-processing)하는 경우에도 사용될 수 있다.
An image processing apparatus that performs deinterlacing according to an embodiment of the present invention may be used in an HDTV receiver. In particular, an image processing apparatus that performs deinterlacing according to an embodiment of the present invention may be used when post-processing at an HDTV receiver. In addition, the image processing apparatus for performing deinterlacing according to an embodiment of the present invention may be used when post-processing at a TV receiver having a resolution of HDTV or higher.
이상 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although described with reference to the embodiments above, those skilled in the art will understand that the present invention can be variously modified and changed without departing from the spirit and scope of the invention as set forth in the claims below. Could be.
Claims (19)
보간 대상 화소의 로컬 에지 방향을 결정하는 단계; 및
보간 대상 화소의 로컬 에지 방향과 동일한 로컬 에지 방향을 가지는 화소를 선택하고, 선택한 화소를 중심으로 화소 간의 가중치를 산출하고, 산출된 상기 가중치를 상기 보간 대상 화소에 적용하여 상기 보간 대상 화소를 디인터레이싱하는 단계를 포함하는 기하학적 이중성을 이용한 디인터레이싱 방법.In the deinterlacing method using geometric duplex,
Determining a local edge direction of the interpolation target pixel; And
Selecting a pixel having the same local edge direction as the local edge direction of the interpolation target pixel, calculating a weight between the pixels based on the selected pixel, and applying the calculated weight to the interpolation target pixel to deinterlace the interpolation target pixel A method of deinterlacing using geometrical duality comprising steps.
상기 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소 및 상기 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소에 기초하여 상기 보간 대상 화소의 로컬 에지 방향을 결정하는 것을 특징으로 하는 기하학적 이중성을 이용한 디인터레이싱 방법.The method of claim 1, wherein the determining of the local edge direction of the interpolation target pixel comprises:
The geometric duality of the interpolation target pixel may be determined based on three pixels included in an upper scan line of the interpolation target pixel and three pixels included in a lower scan line of the interpolation target pixel. Deinterlacing method used.
상기 보간 대상 화소의 상위 스캔 라인에 위치하되 상기 보간 대상 화소를 기준으로 좌측에 위치한 화소를 , 중간에 위치한 화소를 , 우측에 위치한 화소를 , 상기 보간 대상 화소의 하위 스캔 라인에 위치하되 상기 보간 대상 화소를 기준으로 좌측에 위치한 화소를 , 중간에 위치한 화소를 , 우측에 위치한 화소를 라고 할 경우, 아래의 식 1에 의하여 상기 보간 대상 화소의 주변 픽셀 화소값 사이의 차이와 상기 보간 대상 화소의 주변 픽셀 화소값 사이의 공간적 코릴레이션을 판단하고,
(식 1)
(여기서, 상기 은 상기 과 상기 의 화소값 차의 절대값, 상기 는 상기 와 상기 의 화소값 차의 절대값, 은 상기 와 상기 의 화소값 차의 절대값이고 는 상기 과 , 와 , 와 의 화소값 차의 절대값을 더해 3으로 나눈 값, 는 과 , 와 의 화소값 차의 절대값을 더해 2로 나눈 값, 는 와 , 와 의 화소값 차의 절대값을 더해 2로 나눈 값을 의미함)
상기 식 1를 이용해 산출된 값을 기초로,
인 경우, 상기 보간 대상 화소의 상기 로컬 에지 방향을 방향-여기서, 상기 방향은 보간 대상 화소를 중심으로 한 스캔 라인 상단 좌측에 위치한 화소 및 한 스캔 라인 수직 아래 위치한 화소를 연결한 방향임-으로 판별하고,
인 경우 상기 상기 보간 대상 화소의 로컬 에지 방향을 방향-여기서, 상기 방향은 보간 대상 화소를 중심으로 한 스캔 라인 수직 상단에 위치한 화소 및 한 스캔 라인 하단 좌측에 위치한 화소를 연결한 방향임-으로 판별하고,
그 외의 경우 상기 로컬 에지 방향을 상기 보간 대상 화소의 수직 방향으로 판별하는 것을 특징으로 하는 기하학적 이중성을 이용한 디인터레이싱 방법.The method of claim 1, wherein the determining of the local edge direction of the interpolation target pixel comprises:
Pixels positioned on the upper scan line of the interpolation target pixel and positioned on the left side of the interpolation target pixel , The middle pixel , The pixel on the right A pixel positioned on a lower scan line of the interpolation target pixel and positioned on the left side of the interpolation target pixel , The middle pixel , The pixel on the right In this case, according to Equation 1 below, the spatial correlation between the difference between the pixel value of the pixel of the interpolation target pixel and the pixel value of the pixel of the pixel of the interpolation target pixel is determined.
(Equation 1)
Where Said above And Absolute value of the pixel value difference of Above And Absolute value of the difference in pixel values, Said above And Is the absolute value of the pixel value difference Above and , Wow , Wow The absolute value of the difference in pixel values divided by 3 The and , Wow Plus the absolute value of the difference in pixel values divided by 2, The Wow , Wow Means the absolute value of the difference in pixel values divided by 2)
Based on the value calculated using Equation 1,
When is, the local edge direction of the interpolation target pixel Direction-where The direction is determined by connecting the pixel located at the upper left of the scan line centered on the interpolation target pixel and the pixel positioned vertically below one scan line.
In the case of the local edge direction of the interpolation target pixel. Direction-where The direction is determined by connecting the pixel located at the top of the scan line vertically centered on the interpolation target pixel and the pixel located at the bottom left of one scan line.
In other cases, the local edge direction is determined as the vertical direction of the interpolation target pixel.
상기 보간 대상 화소의 상기 로컬 에지 방향이 방향-여기서, 상기 방향은 보간 대상 화소를 중심으로 한 스캔 라인 상단 좌측에 위치한 화소 및 한 스캔 라인 수직 아래 위치한 화소를 연결한 방향임-으로 판단된 경우 하기 식 2
(식 2)
(는 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소-여기서, 상기 3개의 화소는 보간 대상 화소의 수직 윗방향, 좌측 상단 방향, 우측 상단 방향에 위치한 화소임-와 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소-여기서, 상기 3개의 화소는 보간 대상 화소의 수직 아래 방향, 좌측 하단 방향, 우측 하단 방향에 위치한 화소임-로 이루어진 행렬이고, 상기 행렬의 각 행은 보간 대상 화소가 i번째 행 j번째 열에 위치한 경우, 에 포함된 각 화소는 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소는 i-1번째 행에 j-1, j, j+1열에 위치한 화소 및 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소는 i+1번째 행에 j-1, j, j+1열에 위치한 화소이고, 행렬의 각 행에 포함된 화소는 상기 상위 스캔 라인에 포함된 3개의 화소 및 상기 하위 스캔 라인에 포함된 3개의 화소 중 하나의 화소 중심으로 상기 하나의 화소가 i-1번째 행에 j-1번째 열에 위치한 화소인 경우, 두 스캔 라인 수직 위에 위치한 화소-여기서, 상기 두 스캔 라인 수직 위에 위치한 화소는 i-3번째 행 및 j-1번째 열에 위치한 화소임-, 두 스캔 라인 수직 아래에 위치한 화소- 여기서 상기 두 스캔 라인 수직 아래에 위치한 화소는 i+1번째 행에 j-1번째 열에 위치한 화소임-, 두 스캔 라인 수직 위, 좌측으로 두 화소 옆에 위치한 화소- 여기서, 상기 두 스캔 라인 수직 위, 좌측으로 두 화소 옆에 위치한 화소는 i-3번째 행에 j-3번째 열에 위치한 화소임-, 두 스캔 라인 수직 아래, 우측으로 두 화소 옆에 위치한 화소-여기서, 두 스캔 라인 수직 아래, 우측으로 두 화소 옆에 위치한 화소는 i+1번째 행에 j+1번째 열에 위치한 화소임-고, 는 로서 상기 행렬과 상기 행렬을 기초로 산출된 가중치 벡터로 기하학적 이중성을 기초로 산출된 상기 보간 대상 화소의 화소값을 보간하는데 사용되는 가중치 벡터임)
를 이용하여 상기 가중치를 산출하는 단계를 포함하는 기하학적 이중성을 이용한 디인터레이싱 방법.The method of claim 1, wherein the deinterlacing the interpolation target pixel by applying the calculated weight to the interpolation target pixel comprises:
The local edge direction of the interpolation target pixel Direction-where Direction is determined by connecting the pixel located at the upper left of the scan line centered on the interpolation target pixel and the pixel located below the vertical line of one scan line.
(Equation 2)
( Are three pixels included in the upper scan line of the interpolation target pixel, wherein the three pixels are pixels located in the vertical upward direction, upper left direction, and upper right direction of the interpolation target pixel, and lower scan lines of the interpolation target pixel. Is a matrix consisting of three pixels included in the pixel, wherein the three pixels are pixels positioned in a vertically downward direction, a lower left direction, and a lower right direction of the interpolation target pixel. For each row of the matrix, if the pixel to be interpolated is located in the i th row j th column, Each pixel included in is 3 pixels included in the upper scan line of the interpolation target pixel, and the 3 pixels included in the j-1, j, j + 1 columns in the i-1 th row and 3 included in the lower scan line of the interpolation target pixel. Pixels are pixels j-1, j, j + 1 in the i + 1th row, Pixels included in each row of the matrix are centered on one pixel among three pixels included in the upper scan line and three pixels included in the lower scan line. The pixel located in the first column, the pixels located vertically above the two scan lines, wherein the pixel located above the two scan lines vertically are the pixels located in the i-3th row and the j-1 th column; Wherein the pixels located below the two scan lines vertically are the pixels located in the j-1th column of the i + 1th row, the pixels located above the two scan lines vertically and two pixels to the left. Pixels located above and to the left of two pixels are pixels located in column j-3 of the i-3th row, below two scan lines vertically, and pixels located next to two pixels to the right, where two scan lines vertically below Ooh The pixel located next to the two pixels on the i + 1-th row j + 1-th column in the pixel being - and, The As above Matrix and above Is a weight vector calculated based on a matrix and is a weight vector used to interpolate pixel values of the pixel to be interpolated based on geometric duality.
Deinterlacing method using geometric duality comprising the step of calculating the weight using.
산출된 상기 를 기초로 아래의 식 3
(식 3)
을 이용해서 보간 대상 화소를 보간하여 디인터레이싱 하는 단계를 포함하는 기하학적 이중성을 이용한 디인터레이싱 방법.The method of claim 5, wherein the deinterlacing the interpolation target pixel by applying the calculated weight to the interpolation target pixel comprises:
Calculated above Based on Equation 3 below
(Equation 3)
Deinterlacing method using geometric duality comprising the step of interpolating and interpolating the interpolation target pixel using.
상기 보간 대상 화소의 로컬 에지 방향이 방향-여기서, 상기 방향은 보간 대상 화소를 중심으로 한 스캔 라인 수직 상단에 위치한 화소 및 한 스캔 라인 하단 좌측에 위치한 화소를 연결한 방향-으로 판단된 경우 아래의 식 4
(식 4)
(는 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소(보간 대상 화소의 수직 윗방향, 좌측 상단 방향, 우측 상단 방향에 위치한 화소)와 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소(보간 대상 화소의 수직 아래 방향, 좌측 하단 방향, 우측 하단 방향)로 이루어진 행렬, 행렬의 각 행은 보간 대상 화소가 i번째 행 j번째 열에 위치한 경우, 에 포함된 각 화소는 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소는 i-1번째 행에 j-1, j, j+1열에 위치한 화소 및 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소는 i+1번째 행에 j-1, j, j+1열에 위치한 화소이고, 행렬의 각 행에 포함된 화소는 상기 상위 스캔 라인에 포함된 3개의 화소 및 상기 하위 스캔 라인에 포함된 3개의 화소 중 하나의 화소 중심으로 상기 하나의 화소가 i-1번째 행에 j-1번째 열에 위치한 화소인 경우, 두 스캔 라인 수직 위에 위치한 화소-여기서, 상기 두 스캔 라인 수직 위에 위치한 화소는 i-3번째 행에 j-1번째 열에 위치한 화소임-, 두 스캔 라인 수직 아래에 위치한 화소-여기서, 상기 두 스캔 라인 수직 아래에 위치한 화소는 i+1번째 행에 j-1번째 열에 위치한 화소임-, 두 스캔 라인 수직 위, 좌측으로 두 화소 옆에 위치한 화소-여기서, 상기 두 스캔 라인 수직 위, 좌측으로 두 화소 옆에 위치한 화소는 i-3번째 행에 j+1번째 열에 위치한 화소임-, 두 스캔 라인 수직 아래, 우측으로 두 화소 옆에 위치한 화소-여기서, 상기 두 스캔 라인 수직 아래, 우측으로 두 화소 옆에 위치한 화소는 i+1번째 행에 j-3번째 열에 위치한 화소임-고, 는 로서 상기 행렬과 상기 행렬을 기초로 산출된 가중치 벡터로 기하학적 이중성을 이용하여 상기 보간 대상 화소의 화소값을 보간하는데 사용되는 가중치 벡터임.)
을 이용하여 상기 가중치를 산출하는 단계를 포함하는 기하학적 이중성을 이용한 디인터레이싱 방법.The method of claim 1, wherein the deinterlacing the interpolation target pixel by applying the calculated weight to the interpolation target pixel comprises:
The local edge direction of the interpolation target pixel Direction-where Direction is determined by connecting the pixel located at the vertical top of the scan line centered on the interpolation target pixel and the pixel located at the bottom left of one scan line.
(Equation 4)
( Are three pixels included in the upper scan line of the interpolation target pixel (pixels located in the vertical upward direction, upper left direction, and upper right direction of the interpolation target pixel) and three pixels included in the lower scan line of the interpolation target pixel (interpolation). Matrix consisting of a vertically downward direction, a lower left direction, and a lower right direction of the target pixel; For each row of the matrix, if the pixel to be interpolated is located in the i th row j th column, Each pixel included in is 3 pixels included in the upper scan line of the interpolation target pixel, and the 3 pixels included in the j-1, j, j + 1 columns in the i-1 th row and 3 included in the lower scan line of the interpolation target pixel. Pixels are pixels j-1, j, j + 1 in the i + 1th row, Pixels included in each row of the matrix are centered on one pixel among three pixels included in the upper scan line and three pixels included in the lower scan line. The pixel located in the first column, the pixel located above the two scan lines vertically, wherein the pixel located above the two scan line vertically are the pixels located in the j-1 th column in the i-3 th row, Wherein the pixels located below the two scan lines vertically are the pixels located in the j-1th column of the i + 1th row, and the pixels located above the two scan lines vertically and two pixels to the left, where the two scan lines Pixels located above two pixels to the left and above vertical are pixels located in the j + 1th column in the i-3th row, two pixels below the scan line vertical and two pixels to the right, where the two scan lines vertical bottom, The pixels next to the two pixels to the right are the pixels located in the j-3th column of the i + 1th row. The As above Matrix and above A weight vector calculated based on a matrix, which is a weight vector used to interpolate pixel values of the pixel to be interpolated using geometric duality.)
Deinterlacing method using the geometric duality comprising the step of calculating the weight using.
산출된 상기 를 기초로 아래의 식 5
(식 5)
를 이용해서 보간 대상 화소를 보간하여 디인터레이싱하는 단계를 포함하는 기하학적 이중성을 이용한 디인터레이싱 방법.The method of claim 7, wherein the deinterlacing the interpolation target pixel by applying the calculated weight to the interpolation target pixel comprises:
Calculated above Based on Equation 5 below
(Equation 5)
Deinterlacing method using geometric duality comprising interpolating and deinterlacing the interpolation target pixel using.
상기 상기 보간 대상 화소의 로컬 에지 방향이 방향 또는 방향을 제외한 방향으로 판단되는 경우 아래의 식 6
(식 6)
을 이용하여 보간 대상 화소를 디인터레이싱하는 단계를 포함하는 기하학적 이중성을 이용한 디인터레이싱 방법.The method of claim 1, wherein the deinterlacing the interpolation target pixel by applying the calculated weight to the interpolation target pixel comprises:
The local edge direction of the interpolation target pixel Direction or Equation 6 below when it is judged as a direction except
(Equation 6)
A method of deinterlacing using geometrical duality, the method comprising: deinterlacing an interpolation target pixel using the interpolation target pixel.
수신된 보간 대상 화소의 주변 화소 정보를 기초로 보간 대상 화소의 로컬 에지 방향을 판단하는 로컬 에지 방향 판별부;
보간 대상 화소의 로컬 에지 방향과 동일한 로컬 에지 방향을 가지는 화소를 선택하고, 선택한 화소를 중심으로 화소 간의 가중치를 산출하는 가중치 산출부; 및
상기 가중치 산출부을 통해 산출된 가중치를 보간 대상 화소에 적용하는 화소 보간부를 포함하는 기하학적 이중성을 이용한 디인터레이싱을 수행하는 영상 처리 장치.An image processing apparatus for performing deinterlacing using geometric duality,
A local edge direction determination unit determining a local edge direction of the interpolation target pixel based on the received peripheral pixel information of the interpolation target pixel;
A weight calculator configured to select a pixel having the same local edge direction as the local edge direction of the interpolation target pixel, and calculate a weight between pixels based on the selected pixel; And
And an interpolation unit including a pixel interpolation unit applying the weight calculated by the weight calculator to the interpolation target pixel.
상기 보간 대상 화소의 상위 스캔 라인에 포함된 3개의 화소 및 상기 보간 대상 화소의 하위 스캔 라인에 포함된 3개의 화소에 기초하여 상기 보간 대상 화소의 로컬 에지 방향을 결정하는 기하학적 이중성을 이용한 디인터레이싱을 수행하는 영상 처리 장치.The method of claim 10, wherein the local edge direction determination unit,
Deinterlacing using geometric duplexing to determine the local edge direction of the interpolation target pixel based on three pixels included in the upper scan line of the interpolation target pixel and three pixels included in the lower scan line of the interpolation target pixel Image processing device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100112925A KR101204210B1 (en) | 2010-11-12 | 2010-11-12 | Methods of deinterlacing using geometric duality and image processing device using the same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100112925A KR101204210B1 (en) | 2010-11-12 | 2010-11-12 | Methods of deinterlacing using geometric duality and image processing device using the same |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120051477A KR20120051477A (en) | 2012-05-22 |
KR101204210B1 true KR101204210B1 (en) | 2012-11-26 |
Family
ID=46268553
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100112925A KR101204210B1 (en) | 2010-11-12 | 2010-11-12 | Methods of deinterlacing using geometric duality and image processing device using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101204210B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101368751B1 (en) | 2012-02-22 | 2014-03-03 | 삼성메디슨 주식회사 | Method for controlling image diagnosis apparatus using wi-fi direct network and mobile device, and method for operating of image diagnosis apparatus using wi-fi direct network and image diagnosis apparatus |
-
2010
- 2010-11-12 KR KR1020100112925A patent/KR101204210B1/en not_active IP Right Cessation
Non-Patent Citations (1)
Title |
---|
논문:한국통신학회논문지 |
Also Published As
Publication number | Publication date |
---|---|
KR20120051477A (en) | 2012-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6118488A (en) | Method and apparatus for adaptive edge-based scan line interpolation using 1-D pixel array motion detection | |
US6459455B1 (en) | Motion adaptive deinterlacing | |
US6269484B1 (en) | Method and apparatus for de-interlacing interlaced content using motion vectors in compressed video streams | |
US7280155B2 (en) | Method and system for converting interlaced formatted video to progressive scan video | |
US7057664B2 (en) | Method and system for converting interlaced formatted video to progressive scan video using a color edge detection scheme | |
KR100403364B1 (en) | Apparatus and method for deinterlace of video signal | |
KR20060047556A (en) | Film-mode detection in video sequences | |
JP2002503428A (en) | A system for converting interlaced video to progressive video using edge correlation | |
US20080174694A1 (en) | Method and apparatus for video pixel interpolation | |
JP3842756B2 (en) | Method and system for edge adaptive interpolation for interlace-to-progressive conversion | |
KR100484182B1 (en) | Apparatus and method for deinterlacing | |
EP1511311B1 (en) | Method and system for de-interlacing digital images, and computer program product therefor | |
KR20070030223A (en) | Pixel interpolation | |
KR100422575B1 (en) | An Efficient Spatial and Temporal Interpolation system for De-interlacing and its method | |
US8704945B1 (en) | Motion adaptive deinterlacer | |
KR101204210B1 (en) | Methods of deinterlacing using geometric duality and image processing device using the same | |
KR101158847B1 (en) | Deinterlacing apparatus and method using edge map | |
KR100913890B1 (en) | Motion Adaptive Spatial-Temporal Deinterlacing Method | |
KR100931110B1 (en) | Deinterlacing apparatus and method using fuzzy rule-based edge recovery algorithm | |
JP3898546B2 (en) | Image scanning conversion method and apparatus | |
KR101144435B1 (en) | Methods of edge-based deinterlacing using weight and image processing devices using the same | |
KR100910208B1 (en) | Apparatus and method for deinterlacing | |
KR101174589B1 (en) | Methods of deinterlacing based on local complexity and image processing devices using the same | |
CN1643916B (en) | Method and circuit of upconversion of interlaced video to de-lnterlace video | |
KR101192402B1 (en) | Covariance-based adaptive deinterlacing apparatus and method, and hybrid deinterlacing apparatus and method considering degree of complexity |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20151012 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20161004 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |