KR102284613B1

KR102284613B1 - Display device and method of image data processing thereof

Info

Publication number: KR102284613B1
Application number: KR1020150093603A
Authority: KR
Inventors: 황건우; 김일호; 박효정
Original assignee: 엘지디스플레이 주식회사
Priority date: 2015-06-30
Filing date: 2015-06-30
Publication date: 2021-07-30
Also published as: KR20170003219A

Abstract

본 발명의 표시장치 및 그의 영상데이터 처리방법은 1차원으로 영상의 비트-뎁스(bit depth)를 확장함으로써 메모리의 추가 사용 및 로직의 복잡함 없이 화질을 향상시키기 위한 것이다.
이때, 본 발명은 에지 예측(edge prediction)을 통해 콘투어(contour) 에지의 불연속성을 완화시키고, 적응성 평균 필터링(adaptive mean filtering)을 적용하여 비트-뎁스 확장(bit depth expansion) 이후 발생한 가로선 결함(artifact)을 완화시키는 것을 특징으로 한다.A display device and an image data processing method thereof according to the present invention are for improving image quality without additional use of a memory and complexity of logic by extending a bit depth of an image in one dimension.
In this case, the present invention alleviates discontinuity of contour edges through edge prediction, and applies adaptive mean filtering to bit-defects in horizontal lines that occur after bit depth expansion ( It is characterized by mitigating artifacts.

Description

Display device and image data processing method thereof

본 발명은 표시장치 및 그의 영상데이터 처리방법에 관한 것이다.The present invention relates to a display device and a method for processing image data thereof.

표시장치는 화상을 표시하기 위한 표시패널과 이 표시패널을 구동하기 위한 드라이버를 포함한다. 표시패널에는 다수의 데이터라인들과 다수의 게이트라인들이 형성되고, 이들의 교차 영역마다 화소가 형성된다. 드라이버는 데이터라인들을 구동하기 위한 소스 드라이버와 게이트라인들을 구동하기 위한 게이트 드라이버를 포함한다.The display device includes a display panel for displaying an image and a driver for driving the display panel. A plurality of data lines and a plurality of gate lines are formed in the display panel, and a pixel is formed in each intersecting area thereof. The driver includes a source driver for driving the data lines and a gate driver for driving the gate lines.

표시장치에서 영상을 표현할 수 있는 기본 단위인 비트 수(bit depth)를 늘려 화질을 향상시키는 기술이 알려져 있다. 비트-뎁스 확장(Bit Depth Expansion; BDE)은 비트의 뎁스(크기)를 확장하여 원본 비트로 표현할 수 없는 부분을 확장된 비트를 이용해서 보상하여 표현하는 기술이다. 종래 기술에서는 확장된 비트를 이용하여 데이터를 보상하는 방법으로 제로 패딩(Zero Padding; ZP), 비트 복제(Bit Replication; BR) 등이 있으나 효과적이지 못하다.A technique for improving image quality by increasing the number of bits, which is a basic unit capable of expressing an image in a display device, is known. Bit Depth Expansion (BDE) is a technology for expressing a part that cannot be expressed with the original bit by compensating for it using the extended bit by extending the depth (size) of the bit. In the prior art, there are zero padding (ZP) and bit replication (BR) methods for compensating data using extended bits, but they are not effective.

효과적인 비트-뎁스 확장 방법으로 적응성 필터(adaptive filter)를 사용하는 방법과 콘투어 영역 복원(contour region reconstruction) 방법이 있다.As an effective bit-depth extension method, there are a method using an adaptive filter and a contour region reconstruction method.

그러나, 이들 방법 모두 영상의 가로 방향과 세로 방향으로의 연산(2차원 연산)을 필요로 하므로 라인 메모리(line memory)와 프레임 메모리(frame memory) 사용이 불가피하다. 즉, 하드웨어 특성상 비트-뎁스 확장을 세로 방향으로 진행하기 위해서는 라인 메모리가 필요하다.However, since both of these methods require operations (two-dimensional operations) in the horizontal and vertical directions of the image, the use of a line memory and a frame memory is unavoidable. That is, line memory is required in order to vertically extend the bit-depth due to the characteristics of the hardware.

이때, 메모리와 로직(logic) 크기를 최소화하기 위해 1차원 연산(가로 방향으로의 연산)만을 할 경우 사이드-이펙트(side effect) 발생이 불가피하다. 즉, 이상적인 영상(ideal image)의 경우 콘투어 에지는 연속적이지만, 실제 영상(real image)에서 콘투어 에지는 불연속적일 수 있다. 1차원 연산 시 콘투어 에지가 불연속적일 때 가로선 결함(artifact)이 발생한다. 즉, 콘투어 에지의 불연속성 때문에 가로 방향으로 비트-뎁스 확장이 적용되는 영역과 적용되지 않는 영역이 명확하게 구분된다.In this case, when only one-dimensional operation (operation in the horizontal direction) is performed in order to minimize the size of memory and logic, a side effect is unavoidable. That is, in the case of an ideal image, the contour edge may be continuous, but in the real image, the contour edge may be discontinuous. A horizontal line artifact occurs when the contour edges are discontinuous during one-dimensional operation. That is, a region to which the bit-depth extension is applied and a region to which the bit-depth extension is not applied in the horizontal direction are clearly distinguished due to the discontinuity of the contour edge.

콘투어 에지의 불연속 정도가 심할수록 가로선 결함으로 나타나는 영역이 증가한다.As the degree of discontinuity of the contour edge increases, the area that appears as a horizontal line defect increases.

본 발명은 상기한 문제를 해결하기 위한 것으로, 비트-뎁스 확장의 하드웨어 설계 시 한계를 극복하고 제한된 로직 크기에서 성능을 이끌어낼 수 있는 표시장치 및 그의 영상데이터 처리방법을 제공하는데 목적이 있다.An object of the present invention is to provide a display device capable of overcoming a limitation in hardware design of bit-depth extension and deriving performance from a limited logic size, and an image data processing method thereof.

기타, 본 발명의 다른 목적 및 특징들은 후술되는 발명의 구성 및 특허청구범위에서 설명될 것이다.In addition, other objects and features of the present invention will be described in the following description of the invention and claims.

상기한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 표시장치는 입력 영상이 표시되는 표시패널 및 입력 영상에서 콘투어 영역과 에지 영역을 판단하고, 콘투어 영역에 대해서는 1차원 방향으로 비트-뎁스가 확장된 영상을 만드는 영상데이터 처리회로를 포함하여 구성될 수 있다.In order to achieve the above object, a display device according to an embodiment of the present invention determines a contour region and an edge region from a display panel on which an input image is displayed and an input image, and a bit in a one-dimensional direction for the contour region. - It can be configured including an image data processing circuit that creates an image with an extended depth.

이때, 영상데이터 처리회로는 콘투어 영역의 판단 전에 에지 예측을 수행하고, 비트-뎁스가 확장된 영상에 대해 적응성 평균 필터링을 수행할 수 있다.In this case, the image data processing circuit may perform edge prediction before determining the contour region, and may perform adaptive average filtering on an image having an extended bit-depth.

영상데이터 처리회로는 에지 예측부, 콘투어 영역 판단부, 비트-뎁스 확장부, 적응성 평균 필터링부 및 데이터 처리부를 포함할 수 있다.The image data processing circuit may include an edge prediction unit, a contour region determination unit, a bit-depth extension unit, an adaptive average filtering unit, and a data processing unit.

영상데이터 처리회로는 1차원 방향으로 입력 영상의 콘투어 에지를 검출하고, 현재 화소의 값과 주변 화소들의 값 차이가 기준 값보다 작으면 콘투어 영역으로 판별할 수 있다.The image data processing circuit may detect a contour edge of the input image in a one-dimensional direction, and if a difference between a value of a current pixel and values of neighboring pixels is smaller than a reference value, it may be determined as a contour region.

에지 예측부는 영상 예측변수를 계산하고, 화소 각각의 영상 증감률을 계산하고, 영상 예측변수와 영상 증감률을 이용하여 영상 예측 값을 계산한 후에 이를 바탕으로 예측 영상을 산출할 수 있다.The edge predictor may calculate an image predictor, calculate an image increase/decrease rate of each pixel, calculate an image prediction value using the image predictor variable and an image increase/decrease rate, and then calculate a predicted image based on this.

이때, 콘투어 영역 판단부는 에지 예측부를 통해 산출된 예측 영상에 대해 콘투어 영역과 에지 영역을 판단할 수 있다.In this case, the contour area determining unit may determine the contour area and the edge area with respect to the predicted image calculated through the edge prediction unit.

이때, 콘투어 영역 판단부는 콘투어 영역 이외의 영역이라 판단하는 경우, 그 영역의 입력 영상을 데이터 처리부로 바이 패스할 수 있다.In this case, when the contour area determining unit determines that the area is other than the contour area, the input image of the area may be bypassed to the data processing unit.

비트-뎁스 확장부는 콘투어 영역에 대해서 콘투어 맵을 생성할 수 있다.The bit-depth extension unit may generate a contour map for the contour area.

이때, 비트-뎁스 확장부는 콘투어 맵을 이용하여 스텝_비율과 스텝_값을 계산하여, 제로 패딩으로 비트 확장한 입력 영상의 하위 비트에 스텝_값을 더하여 비트-뎁스가 확장된 영상을 만들 수 있다.At this time, the bit-depth extension unit calculates the step_ratio and the step_value using the contour map, adds the step_value to the lower bit of the input image bit-extended by zero padding to create an image with the bit-depth extended. can

적응성 평균 필터링부는 비트-뎁스가 확장된 영상과 평균 영상 사이의 차이를 계산한 후에, 그 차이가 문턱 값보다 크면 출력은 비트-뎁스가 확장된 영상으로 하고, 문턱 값보다 작으면 출력은 평균 영상으로 하여 데이터 처리부로 보낼 수 있다.The adaptive average filtering unit calculates the difference between the bit-depth extended image and the average image, and if the difference is greater than the threshold value, the output is the bit-depth extended image. If it is less than the threshold value, the output is the average image. can be sent to the data processing unit.

본 발명의 일 실시예에 따른 영상데이터 처리방법은 입력 영상을 영상데이터 처리회로에 공급하는 단계, 입력 영상에 연산을 통해 예측 영상을 산출하는 단계, 산출된 예측 영상을 바탕으로 1차원 방향으로 비트-뎁스 확장을 수행하는 단계 및 비트-뎁스가 확장된 영상에 대해 적응성 평균 필터링을 수행하는 단계를 포함할 수 있다.An image data processing method according to an embodiment of the present invention includes the steps of supplying an input image to an image data processing circuit, calculating a predicted image through an operation on the input image, and bit in a one-dimensional direction based on the calculated predicted image. - It may include performing depth extension and performing adaptive average filtering on the bit-depth-extended image.

이때, 예측 영상을 산출하는 단계는 영상 예측변수를 계산하는 단계, 화소 각각의 영상 증감률을 계산하는 단계 및 영상 예측변수와 영상 증감률을 이용하여 영상 예측 값을 계산한 후에 이를 바탕으로 예측 영상을 산출하는 단계를 포함할 수 있다.In this case, the step of calculating the predicted image includes calculating an image predictor variable, calculating an image change rate of each pixel, and calculating an image prediction value using the image predictor variable and the image change rate. It may include the step of calculating

비트-뎁스 확장을 수행하는 단계는 산출된 예측 영상에 대해 콘투어 영역과 에지 영역을 판단하는 단계, 콘투어 영역 이외의 영역이라 판단하는 경우, 영역의 입력 영상을 데이터 처리부로 바이 패스하는 단계, 콘투어 영역에 대해서 콘투어 맵을 생성하는 단계 및 콘투어 맵을 이용하여 스텝_비율과 스텝_값을 계산하여, 제로 패딩으로 비트 확장한 입력 영상의 하위 비트에 스텝_값을 더하여 비트-뎁스가 확장된 영상을 생성하는 단계를 포함할 수 있다.The step of performing the bit-depth extension includes determining a contour region and an edge region with respect to the calculated prediction image, and if it is determined that the region is a region other than the contour region, bypassing the input image of the region to a data processing unit; The step of generating a contour map for the contour region, calculating the step_ratio and step_value using the contour map, and adding the step_value to the lower bit of the input image bit-extended with zero padding to add the bit-depth may include generating an expanded image.

적응성 평균 필터링을 수행하는 단계는 비트-뎁스가 확장된 영상을 입력받는 단계, 마스크 사이즈에 따라 평균값을 계산하고, 각 화소마다 화소 값과 평균값의 차이를 계산하는 단계 및 차이가 문턱 값보다 크면 출력은 비트-뎁스가 확장된 영상으로 하고, 문턱 값보다 작으면 출력은 평균값의 영상으로 하는 단계를 포함할 수 있다.The step of performing the adaptive average filtering includes receiving an image with a bit-depth extended, calculating an average value according to the mask size, calculating the difference between the pixel value and the average value for each pixel, and outputting the difference if the difference is greater than a threshold value The method may include setting the bit-depth as an extended image, and outputting the image as an average value when it is smaller than a threshold value.

상술한 바와 같이, 본 발명의 일 실시예에 따른 표시장치 및 그의 영상데이터 처리방법은 1차원으로 영상의 비트-뎁스를 확장함으로써 메모리의 추가 사용 및 로직의 복잡함 없이 화질을 향상시키는 것을 특징으로 한다.As described above, the display device and the image data processing method according to an embodiment of the present invention are characterized in that the image quality is improved without additional use of memory and complexity of logic by extending the bit-depth of the image in one dimension. .

또한, 본 발명은 에지 예측(edge prediction)을 통해 콘투어 에지의 불연속성을 완화시키고, 적응성 평균 필터링(adaptive mean filtering)을 적용하여 비트-뎁스 확장 이후 발생한 가로선 결함을 완화시키는 것을 특징으로 한다.In addition, the present invention is characterized in that the discontinuity of the contour edge is mitigated through edge prediction, and horizontal line defects generated after bit-depth extension are mitigated by applying adaptive mean filtering.

따라서, 본 발명은 제한된 메모리와 로직 크기만으로 알고리즘을 설계함으로써 비용 절감에 효과적이며, 비트-뎁스를 확장하여 표시패널의 영상 표현력을 극대화하는 동시에 가로선 결함의 완화에 따라 부드러운 화질을 구현할 수 있다.Accordingly, the present invention is effective in reducing cost by designing an algorithm with only a limited memory and logic size, maximizing the image expression power of the display panel by extending the bit-depth, and at the same time realizing smooth image quality by alleviating horizontal line defects.

도 1a 및 도 1b는 데이터와 출력 휘도 사이의 관계를 예로 들어 보여주는 그래프들.
도 2a 및 도 2b는 데이터를 패딩(padding)한 경우의 데이터와 출력 휘도 사이의 관계를 예로 들어 보여주는 그래프들.
도 3은 본 발명의 실시예에 따른 표시장치를 개략적으로 보여주는 도면.
도 4는 영상데이터 처리회로를 상세히 보여주는 도면.
도 5는 본 발명의 실시예에 따른 표시장치의 영상데이터 처리방법을 순차적으로 보여주는 흐름도.
도 6a 및 도 6b는 비트-뎁스 확장에 따른 가로줄 결함이 발생하는 것을 설명하기 위한 사진들.
도 7a 및 도 7b는 콘투어 에지 및 비트-뎁스 확장 영역을 예로 들어 보여주는 도면들.
도 8은 본 발명의 실시예에 따른 에지 예측을 설명하기 위한 도면.
도 9 및 도 10은 본 발명의 실시예에 따른 영상데이터 처리과정을 설명하기 위한 도면들.
도 11은 본 발명의 실시예에 따른 적응성 평균 필터링을 순차적으로 보여주는 흐름도.
도 12a 및 도 12b는 로우 비트-뎁스 영상에서 관측되는 콘투어 영역을 보여주기 위한 사진들.
도 13a 및 도 13b는 콘투어 에지를 예로 들어 보여주는 도면들.
도 14a 및 도 14b는 비트-뎁스 확장 영역을 예로 들어 보여주는 도면들.
도 15a는 기존의 로우 비트-뎁스 영상을 확대하여 보여주는 사진.
도 15b는 비트-뎁스 확장을 거친 영상을 확대하여 보여주는 사진.
도 15c는 본 발명의 실시예에 따른 적응성 평균 필터링을 거친 영상을 확대하여 보여주는 사진.
도 16a와 도 16b 및 도 16c는 영상의 위치에 따른 휘도 데이터 값을 예로 들어 보여주는 그래프들.
도 17은 본 발명의 실시예에 따른 영상데이터 처리방법을 검증하기 위한 방법을 순차적으로 보여주는 흐름도.1A and 1B are graphs showing a relationship between data and output luminance as an example;
2A and 2B are graphs showing, as an example, a relationship between data and output luminance when data is padded;
3 is a diagram schematically showing a display device according to an embodiment of the present invention;
4 is a diagram showing the image data processing circuit in detail;
5 is a flowchart sequentially illustrating an image data processing method of a display device according to an embodiment of the present invention.
6A and 6B are photographs for explaining occurrence of a horizontal line defect according to bit-depth extension.
7A and 7B are diagrams illustrating a contour edge and a bit-depth extension region as an example;
8 is a diagram for explaining edge prediction according to an embodiment of the present invention;
9 and 10 are diagrams for explaining an image data processing process according to an embodiment of the present invention.
11 is a flowchart sequentially illustrating adaptive average filtering according to an embodiment of the present invention;
12A and 12B are photographs for showing a contour region observed in a low bit-depth image;
13A and 13B are views showing a contour edge as an example;
14A and 14B are diagrams illustrating a bit-depth extension region as an example;
15A is an enlarged photograph showing a conventional low bit-depth image.
15B is an enlarged picture showing an image that has undergone bit-depth extension.
15C is an enlarged photograph showing an image subjected to adaptive average filtering according to an embodiment of the present invention;
16A, 16B, and 16C are graphs showing luminance data values according to image positions as examples;
17 is a flowchart sequentially illustrating a method for verifying an image data processing method according to an embodiment of the present invention.

이하, 첨부한 도면을 참조하여 본 발명에 따른 표시장치 및 그의 영상데이터 처리방법의 바람직한 실시예를 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Hereinafter, preferred embodiments of a display device and an image data processing method thereof according to the present invention will be described in detail with reference to the accompanying drawings so that those of ordinary skill in the art can easily implement the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 도면에서 층 및 영역들의 크기 및 상대적인 크기는 설명의 명료성을 위해 과장될 수 있다.Advantages and features of the present invention and methods of achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in various different forms, and only these embodiments allow the disclosure of the present invention to be complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout. The sizes and relative sizes of layers and regions in the drawings may be exaggerated for clarity of description.

소자(element) 또는 층이 다른 소자 또는 "위(on)" 또는 "상(on)"으로 지칭되는 것은 다른 소자 또는 층의 바로 위뿐만 아니라 중간에 다른 층 또는 다른 소자를 개재한 경우를 모두 포함한다. 반면, 소자가 "직접 위(directly on)" 또는 "바로 위"로 지칭되는 것은 중간에 다른 소자 또는 층을 개재하지 않는 것을 나타낸다.Reference to an element or layer to another element or “on” or “on” includes not only directly on the other element or layer, but also with other layers or other elements interposed therebetween. do. On the other hand, reference to an element "directly on" or "directly on" indicates that there are no intervening elements or layers.

공간적으로 상대적인 용어인 "아래(below, beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 소자 또는 구성 요소들과 다른 소자 또는 구성 요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 소자의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들면, 도면에 도시되어 있는 소자를 뒤집을 경우, 다른 소자의 "아래(below)" 또는 "아래(beneath)"로 기술된 소자는 다른 소자의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다.The spatially relative terms "below, beneath", "lower", "above", "upper", etc. are one element or component as shown in the drawings. and can be used to easily describe the correlation with other devices or components. Spatially relative terms should be understood as terms including different orientations of the device during use or operation in addition to the orientation shown in the drawings. For example, if an element shown in the figures is turned over, an element described as "beneath" or "beneath" another element may be placed "above" the other element. Accordingly, the exemplary term “below” may include both directions below and above.

본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며, 따라서 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprise)" 및/또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of describing the embodiments, and thus is not intended to limit the present invention. As used herein, the singular also includes the plural unless specifically stated otherwise in the phrase. As used herein, “comprise” and/or “comprising” refers to the presence of one or more other components, steps, operations and/or elements mentioned. or addition is not excluded.

도 1a 및 도 1b는 데이터와 출력 휘도 사이의 관계를 예로 들어 보여주는 그래프들이다.1A and 1B are graphs illustrating a relationship between data and output luminance as an example.

비트-뎁스는 한 개가 화소가 얼마나 자세하고 많은 정보를 지니면서 색을 표현하는가를 나타낸다.Bit-depth indicates how detailed and how much information one pixel expresses color.

비트-뎁스 확장은 비트의 뎁스(크기)를 확장하여 원본 비트로 표현할 수 없는 부분을 확장된 비트를 이용해서 보상하여 표현하는 기술이다.The bit-depth extension is a technique for expressing a part that cannot be expressed with the original bit by extending the depth (size) of the bit by using the extended bit.

비트-뎁스 확장은 일 예로, 표시장치의 예로 유기전계발광 표시장치(Organic Light Emitting Display Device; OLED)에서 초고선명(Ultra High Definition; UHD) 표시패널의 10비트 데이터의 하위 4비트 ~ 6비트를 확장하여 소수점에 해당하는 값까지 표현할 수 있도록 한다.The bit-depth extension is an example of a display device. In an organic light emitting display device (OLED) as an example, the lower 4 bits to 6 bits of the 10-bit data of an Ultra High Definition (UHD) display panel It is extended so that it can be expressed up to the value corresponding to the decimal point.

이는 비트-뎁스를 증가시켜 노이즈(noise)와 콘투어 현상을 완화시킴으로써 더욱 향상된 화질의 영상을 제공하는 것이다.This is to provide a more improved image quality by reducing noise and contour phenomena by increasing the bit-depth.

도 1a는 10비트로 표현한 데이터와 출력 휘도 사이의 관계를 보여주며, 도 1b는 16비트로 표현한 데이터와 출력 휘도 사이의 관계를 보여주고 있다.FIG. 1A shows the relationship between data expressed in 10-bits and output luminance, and FIG. 1B shows the relationship between data expressed in 16 bits and output luminance.

도 1a를 참조하면, 10비트로 정수만을 표현하기 때문에 수소에 해당하는 데이터 값은 표현할 수 없다.Referring to FIG. 1A , since only integers are expressed with 10 bits, a data value corresponding to hydrogen cannot be expressed.

이에 비해 도 1b를 참조하면, 10비트의 하위 비트를 확장하여 소수에 해당하는 데이터 값도 모두 표현할 수 있다.In contrast, referring to FIG. 1B , all data values corresponding to decimals can be expressed by extending the 10-bit lower bit.

이때, 데이터 1차이는 콘투어 에지(contour edge)로 인식하며, 데이터 2이상의 차이는 영상 에지(image edge)로 인식한다. 따라서, 영상의 콘투어 에지만을 검출하여 비트-뎁스 확장을 적용하는 것이 중요하다.In this case, the first difference of data is recognized as a contour edge, and the difference of two or more data is recognized as an image edge. Therefore, it is important to apply the bit-depth extension by detecting only the contour edge of the image.

콘투어 에지는 사람 눈에 콘투어로 인식되는 경계 부분이며, 영상 에지는 영상의 고주파(high frequency) 성분을 의미한다.The contour edge is a boundary part recognized as a contour by the human eye, and the image edge refers to a high frequency component of an image.

즉, 현재 화소의 데이터 값과 주변 화소의 데이터 값의 차이가 표시장치에서 표현할 수 있는 최소 단위만큼 차이가 날 때, 이것이 사람의 눈으로 인지되면 콘투어 에지가 된다. 이때, 현재 화소 데이터와 주변 화소 데이터의 차이가 표시장치에서 표현할 수 있는 최소 단위보다 클 때에는 영상 에지로 인식한다.That is, when the difference between the data value of the current pixel and the data value of the neighboring pixels differs by the smallest unit that can be expressed in the display device, when the difference is recognized by the human eye, it becomes a contour edge. In this case, when the difference between the current pixel data and the surrounding pixel data is greater than the minimum unit that can be expressed in the display device, it is recognized as an image edge.

또한, 현재 화소 데이터와 주변 화소 데이터의 차이가 표시장치에서 표현할 수 있는 최소 단위만큼 차이가 나더라도 이것이 사람의 눈으로 인지되지 않는다면 콘투어 에지로 볼 수 없고 부드러운 영역(smooth region)으로 인식한다.Also, even if the difference between the current pixel data and the surrounding pixel data differs by the smallest unit that can be expressed in the display device, if the difference is not recognized by the human eye, it cannot be viewed as a contour edge and is recognized as a smooth region.

콘투어 에지가 발생하는 원인은 일 예로, 8비트 장치에 6비트 영상이 입력되는 경우 6비트의 하위 2비트를 패딩(padding)하여 8비트로 만들어 장치를 통해 출력한다. 이때, 하위 2비트에 해당하는 휘도 차이가 콘투어로 인식되며 콘투어간의 경계를 콘투어 에지라 한다.The cause of the contour edge is, for example, when a 6-bit image is input to an 8-bit device, the lower 2 bits of the 6-bit are padded to make 8 bits and output through the device. In this case, a difference in luminance corresponding to the lower 2 bits is recognized as a contour, and a boundary between the contours is referred to as a contour edge.

도 2a 및 도 2b는 데이터를 패딩한 경우의 데이터와 출력 휘도 사이의 관계를 예로 들어 보여주는 그래프들이다.2A and 2B are graphs illustrating a relationship between data and output luminance when data is padded.

이때, 도 2a는 8비트 장치에 6비트 영상이 입력되는 경우의 데이터와 출력 휘도 사이의 관계를 예로 들어 보여주고 있다. 도 2b는 6비트의 하위 2비트를 패딩 하여 8비트로 만들어 출력하는 경우의 데이터와 출력 휘도 사이의 관계를 예로 들어 보여주고 있다.In this case, FIG. 2A illustrates a relationship between data and output luminance when a 6-bit image is input to an 8-bit device as an example. FIG. 2B shows, as an example, a relationship between data and output luminance when outputting 8 bits by padding the lower 2 bits of 6 bits.

이에 따르면, 하위 2비트에 해당하는 휘도 차이가 콘투어로 인식된다.According to this, the luminance difference corresponding to the lower 2 bits is recognized as the contour.

초고선명 OLED는 실제 10비트로 구동하는 표시장치이므로 8비트 또는 6비트의 입력 영상이 들어갈 경우 2비트 또는 4비트에 해당하는 콘투어 에지를 발견할 수 있다.Since the ultra-high-definition OLED is a display device that is actually driven by 10-bit, when an 8-bit or 6-bit input image is input, a contour edge corresponding to 2 or 4 bits can be found.

콘투어는 화질을 떨어뜨리는 일 요인이 되므로 눈에 안 띄게 감소시키는 것이 좋으며, 따라서 전술한 바와 같이 영상의 콘투어 에지만을 검출하여 비트-뎁스 확장을 적용하는 것이 중요하다.Since the contour is a factor that degrades the image quality, it is better to reduce it inconspicuously. Therefore, as described above, it is important to detect only the contour edge of the image and apply the bit-depth extension.

본 발명에서는 비트-뎁스 확장의 하드웨어 설계 시 한계를 극복하고 제한된 로직 크기에서 성능을 이끌어내기 위해 1차원으로 영상의 비트-뎁스를 확장하는 것을 특징으로 한다. 즉, 하드웨어 특성상 비트-뎁스 확장을 세로 방향으로 적용하기 위해서는 라인 메모리 및 복잡한 로직이 필요하며, 이는 비용발생을 초래한다. 이에 본 발명에서는 비용 절감을 위해 가로 방향으로만 비트-뎁스 확장을 수행하도록 하는 것을 특징으로 한다.The present invention is characterized in that the bit-depth of the image is extended in one dimension in order to overcome the limitation in hardware design of the bit-depth extension and to derive performance in a limited logical size. That is, line memory and complex logic are required to vertically apply the bit-depth extension due to the nature of the hardware, which incurs cost. Accordingly, the present invention is characterized in that the bit-depth extension is performed only in the horizontal direction in order to reduce cost.

그리고, 본 발명에서는 에지 예측(edge prediction)을 통해 콘투어 에지의 불연속성을 완화시키고, 적응성 평균 필터링(adaptive mean filtering)을 적용하여 비트-뎁스 확장 이후 발생한 가로선 결함(artifact)을 완화시키는 것을 특징으로 한다. 즉, 실제 영상에서 콘투어 에지는 불연속적이며, 메모리와 로직 크기를 최소화하기 위해 1차원 연산(가로 방향으로의 연산)만을 할 경우 가로선 결함이 발생하는데, 이를 완화하기 위해 비트-뎁스 확장 전후에 에지 예측 및 적응성 평균 필터링을 적용하는 것을 특징으로 한다.In addition, in the present invention, discontinuity of contour edges is mitigated through edge prediction, and horizontal line artifacts generated after bit-depth extension are mitigated by applying adaptive mean filtering. do. That is, in the actual image, the contour edges are discontinuous, and horizontal line defects occur when only one-dimensional operation (operation in the horizontal direction) is performed to minimize the memory and logic size. It is characterized by applying edge prediction and adaptive averaging filtering.

도 3은 본 발명의 실시예에 따른 표시장치를 개략적으로 보여주는 도면이다.3 is a diagram schematically illustrating a display device according to an exemplary embodiment of the present invention.

그리고, 도 4는 영상데이터 처리회로를 상세히 보여주는 도면이다.And, FIG. 4 is a diagram showing the image data processing circuit in detail.

도 3을 참조하면, 본 발명의 실시예에 따른 표시장치는 표시패널(120), 타이밍 컨트롤러(121), 소스 드라이버(122), 게이트 드라이버(123) 및 영상데이터 처리회로(124)를 구비한다.Referring to FIG. 3 , a display device according to an embodiment of the present invention includes a display panel 120 , a timing controller 121 , a source driver 122 , a gate driver 123 , and an image data processing circuit 124 . .

본 발명의 실시예에 따른 표시장치는 액정표시장치, 전계방출 표시장치, 플라즈마 디스플레이 패널, 유기전계발광 표시장치, 전기영동 표시장치 등의 평판 표시장치로 구현될 수 있다. 이하의 실시예에서, 표시장치를 액정표시장치 중심으로 설명하지만, 본 발명의 표시장치는 액정표시장치에 한정되어 적용되지 않음에 주의하여야 한다.The display device according to an embodiment of the present invention may be implemented as a flat panel display device such as a liquid crystal display device, a field emission display device, a plasma display panel, an organic light emitting display device, an electrophoretic display device, and the like. In the following embodiments, the display device will be described with a focus on the liquid crystal display device, but it should be noted that the display device of the present invention is not limited to the liquid crystal display device.

표시패널(120)은 2장의 유리기판 사이에 배치된 액정분자들을 구비한다. 이 표시패널(120)에는 데이터라인들(D1 내지 Dm)과 게이트라인들(G1 내지 Gn)의 교차 구조에 의해 매트릭스 형태로 m×n(m, n은 양의 정수)개의 액정 셀들(Clc)이 배치된다.The display panel 120 includes liquid crystal molecules disposed between two glass substrates. In the display panel 120 , m×n (m, n is a positive integer) liquid crystal cells Clc in a matrix form by an intersecting structure of the data lines D1 to Dm and the gate lines G1 to Gn. this is placed

표시패널(120)의 하부 유리기판에는 m개의 데이터라인들(D1 내지 Dm), n개의 게이트라인들(G1 내지 Gn), TFT들, TFT들에 각각 접속된 액정 셀(Clc)의 화소전극들(1) 및 스토리지 커패시터들(Cst) 등을 포함한 화소 어레이가 형성된다.On the lower glass substrate of the display panel 120 , m data lines D1 to Dm, n gate lines G1 to Gn, TFTs, and pixel electrodes of the liquid crystal cell Clc respectively connected to the TFTs are provided. A pixel array including (1) and storage capacitors Cst is formed.

표시패널(120)의 상부 유리기판 상에는 블랙매트릭스, 컬러필터 및 공통전극(2)이 형성된다.A black matrix, a color filter, and a common electrode 2 are formed on the upper glass substrate of the display panel 120 .

공통전극(2)은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식에서 상부 유리기판 상에 형성되며, IPS(In Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식에서 화소전극(1)과 함께 하부 유리기판 상에 형성된다.The common electrode 2 is formed on the upper glass substrate in a vertical electric field driving method such as TN (Twisted Nematic) mode and VA (Vertical Alignment) mode, IPS (In Plane Switching) mode and FFS (Fringe Field Switching) mode and It is formed on the lower glass substrate together with the pixel electrode 1 in the same horizontal electric field driving method.

표시패널(120)의 상부 유리기판과 하부 유리기판 각각에는 광축이 직교하는 편광판이 부착되고 액정분자와 접하는 내면에 액정분자의 프리틸트 각을 설정하기 위한 배향막이 형성된다.A polarizing plate having an optical axis orthogonal to each other is attached to the upper glass substrate and the lower glass substrate of the display panel 120 , and an alignment layer for setting a pretilt angle of the liquid crystal molecules is formed on the inner surface in contact with the liquid crystal molecules.

소스 드라이버(122)는 영상데이터 처리회로(124)에서 가공된 처리 데이터(RpGpBp)를 입력받는다. 소스 드라이버(122)는 타이밍 컨트롤러(121)의 제어 하에 처리 데이터(RpGpBp)를 래치하고, 그 처리 데이터(RpGpBp)를 아날로그 정극성/부극성 감마보상전압으로 변환하여 정극성/부극성 데이터전압을 발생하고, 그 데이터전압을 데이터라인들(D1 내지 Dm)에 공급한다. 일 예로, 소스 드라이버(122)는 TCP(Tape Carrier Package) 상에 실장되어 TAB(Tape Automated Bonding) 공정에 의해 표시패널(120)의 하부 유리기판에 접합될 수 있다.The source driver 122 receives the processed data RpGpBp processed by the image data processing circuit 124 . The source driver 122 latches the processed data RpGpBp under the control of the timing controller 121 , and converts the processed data RpGpBp into analog positive/negative gamma compensation voltages to obtain positive/negative data voltages. and supplying the data voltage to the data lines D1 to Dm. For example, the source driver 122 may be mounted on a Tape Carrier Package (TCP) and bonded to the lower glass substrate of the display panel 120 by a Tape Automated Bonding (TAB) process.

게이트 드라이버(123)는 쉬프트 레지스터, 쉬프트 레지스터의 출력신호를 액정 셀의 TFT 구동에 적합한 스윙 폭으로 변환하기 위한 레벨 쉬프터 등을 포함한다. 게이트 드라이버(123)는 타이밍 컨트롤러(121)의 제어 하에 대략 1수평기간의 펄스 폭을 가지는 스캔펄스들을 게이트라인들(G1 내지 Gn)에 순차적으로 공급한다. 게이트 드라이버(123)는 TCP 상에 실장되어 TAB 공정에 의해 표시패널(120)의 하부 유리기판에 접합되거나, 또는 GIP(Gate In Panel) 공정에 의해 화소 어레이와 동시에 하부 유리기판 상에 직접 형성될 수 있다.The gate driver 123 includes a shift register, a level shifter for converting an output signal of the shift register into a swing width suitable for driving a TFT of a liquid crystal cell, and the like. The gate driver 123 sequentially supplies scan pulses having a pulse width of approximately one horizontal period to the gate lines G1 to Gn under the control of the timing controller 121 . The gate driver 123 is mounted on the TCP and bonded to the lower glass substrate of the display panel 120 by the TAB process, or is directly formed on the lower glass substrate simultaneously with the pixel array by the GIP (Gate In Panel) process. can

타이밍 컨트롤러(121)는 영상 구현을 위해 시스템보드(미도시)로부터 입력되는 입력 데이터(RiGiBi)를 영상데이터 처리회로(124)에 공급한다. 타이밍 컨트롤러(121)는 시스템보드로부터 수직/수평 동기신호(Vsync, Hsync), 데이터 인에이블(Data Enable), 도트 클럭(CLK) 등의 타이밍신호를 입력받아 소스 드라이버(122)와 게이트 드라이버(123)의 동작 타이밍을 제어하기 위한 제어신호들을 발생한다.The timing controller 121 supplies input data RiGiBi input from a system board (not shown) to the image data processing circuit 124 for image implementation. The timing controller 121 receives timing signals such as vertical/horizontal synchronization signals (Vsync, Hsync), data enable, and dot clock (CLK) from the system board, and receives the source driver 122 and the gate driver 123 . ) to generate control signals for controlling the operation timing.

소스 드라이버(122)를 제어하기 위한 데이터 타이밍 제어신호는 소스 스타트 펄스(Source Start Pulse, SSP), 소스 샘플링 클럭(Source Sampling Clock, SSC), 극성제어신호(Polarity : POL), 및 소스 출력 인에이블신호(Source Output Enable, SOE) 등을 포함한다. 소스 스타트 펄스(SSP)는 소스 드라이버(122)의 데이터 샘플링 시작 타이밍을 제어한다. 소스 샘플링 클럭(SSC)은 라이징 또는 폴링 에지에 기준 하여 소스 드라이버(122) 내에서 데이터의 샘플링 타이밍을 제어하는 클럭신호이다. 소스 출력 인에이블신호(SOE)는 소스 드라이버(122)의 출력 타이밍을 제어한다. 극성제어신호(POL)는 소스 드라이버(122)로부터 출력되는 데이터전압의 수평 극성 반전 타이밍을 제어한다.The data timing control signal for controlling the source driver 122 includes a source start pulse (SSP), a source sampling clock (SSC), a polarity control signal (POL), and a source output enable signal. signals (Source Output Enable, SOE), and the like. The source start pulse SSP controls the data sampling start timing of the source driver 122 . The source sampling clock SSC is a clock signal that controls the sampling timing of data in the source driver 122 based on a rising or falling edge. The source output enable signal SOE controls the output timing of the source driver 122 . The polarity control signal POL controls the horizontal polarity inversion timing of the data voltage output from the source driver 122 .

게이트 드라이버(123)를 제어하기 위한 게이트 타이밍 제어신호는 게이트 스타트 펄스(Gate Start Pulse, GSP), 게이트 쉬프트 클럭(Gate Shift Clock, GSC), 게이트 출력 인에이블신호(Gate Output Enable, GOE) 등을 포함한다. 게이트 스타트 펄스(GSP)는 1 프레임기간 동안 그 프레임기간의 시작과 동시에 1회 발생하여 첫 번째 게이트펄스를 발생시킨다. 게이트 쉬프트 클럭(GSC)은 쉬프트 레지스터를 구성하는 다수의 스테이지들에 공통으로 입력되는 클럭신호로써 게이트 스타트 펄스(GSP)를 쉬프트 시킨다. 게이트 출력 인에이블신호(GOE)는 게이트 드라이버(123)의 출력을 제어한다.The gate timing control signal for controlling the gate driver 123 includes a gate start pulse (GSP), a gate shift clock (GSC), a gate output enable signal (Gate Output Enable, GOE), and the like. include The gate start pulse GSP is generated once during one frame period at the same time as the start of the frame period to generate the first gate pulse. The gate shift clock GSC is a clock signal commonly input to a plurality of stages constituting the shift register and shifts the gate start pulse GSP. The gate output enable signal GOE controls the output of the gate driver 123 .

영상데이터 처리회로(124)는 영상 구현을 위한 입력 데이터(RiGiBi)를 분석하여 입력 영상에서 콘투어 영역과 에지 영역을 판단하고, 콘투어 영역에 대해서는 비트-뎁스가 확장된 영상을 만든다. 즉, 콘투어 영역에 대해서는 콘투어 맵을 생성한 후 스텝_비율과 스텝_값을 계산하여 제로 패딩으로 비트 확장한 영상의 하위 비트에 스텝_값을 더하여 비트-뎁스가 확장된 영상을 만든다. 이에 따라 콘투어 영역에서는 입력 데이터(RiGiBi)를 보상하는 데 반해, 에지 영역에 대해서는 상기와 같은 보상 없이 입력 데이터(RiGiBi)를 유지시킨다.The image data processing circuit 124 analyzes the input data RiGiBi for image realization to determine a contour region and an edge region from the input image, and creates an image in which the bit-depth is extended for the contour region. That is, for the contour region, a step_ratio and step_value are calculated after a contour map is generated, and a step_value is added to the lower bit of an image bit-extended by zero padding to create an image with an extended bit-depth. Accordingly, while the input data RiGiBi is compensated in the contour area, the input data RiGiBi is maintained in the edge area without compensation as described above.

영상데이터 처리회로(124)는 콘투어 영역에 대해서만 선택적으로 보상함으로써 보상 과정에서 영상의 에지 영역이 부분적으로 소실되는 것을 방지한다. 특히, 본 발명에 따른 영상데이터 처리회로(124)는 1차원 방향으로 입력 영상의 콘투어 에지를 검출하고, 현재 화소의 값과 주변 화소들의 차이가 콘투어 에지 검출 문턱 값보다 작으면 콘투어 영역으로 판별함으로써 입력 영상에서 콘투어 영역과 에지 영역을 구분한다.The image data processing circuit 124 selectively compensates only the contour region, thereby preventing the edge region of the image from being partially lost in the compensation process. In particular, the image data processing circuit 124 according to the present invention detects a contour edge of the input image in a one-dimensional direction, and when the difference between the current pixel value and the surrounding pixels is less than the contour edge detection threshold value, the contour area By discriminating as , the contour area and the edge area are distinguished from the input image.

영상데이터 처리회로(124)는 에지 영역에 대응되는 입력 데이터(RiGiBi)를 입력 그대로 출력한다. 영상데이터 처리회로(124)는 콘투어 영역에 대응되는 입력 데이터(RiGiBi)의 비트-뎁스를 확장하여 보상 데이터(RcGcBc)를 출력한다.The image data processing circuit 124 outputs the input data RiGiBi corresponding to the edge region as it is. The image data processing circuit 124 outputs the compensation data RcGcBc by extending the bit-depth of the input data RiGiBi corresponding to the contour area.

특히, 본 발명에 따른 영상데이터 처리회로(124)는 에지 검출이 제대로 되지 않는 현상을 개선하기 위해 에지 예측부를 구비한다. 또한, 본 발명에 따른 영상데이터 처리회로(124)는 비트-뎁스 확장에 의한 가로선 결함을 제거하기 위해 적응성 평균 필터링부를 구비한다. In particular, the image data processing circuit 124 according to the present invention includes an edge prediction unit to improve a phenomenon in which edge detection is not performed properly. In addition, the image data processing circuit 124 according to the present invention includes an adaptive average filtering unit to remove a horizontal line defect caused by bit-depth extension.

영상데이터 처리회로(124)는 에지 영역에 대한 입력 데이터(RiGiBi)와 콘투어 영역에 대한 보상 데이터(RcGcBc)를 처리 데이터(RpGpBp)로서 데이터 드라이버(122)에 출력한다. 영상데이터 처리회로(124)는 타이밍 컨트롤러(121)에 내장될 수 있다. 다만, 본 발명이 이에 한정되는 것은 아니다.The image data processing circuit 124 outputs the input data RiGiBi for the edge region and the compensation data RcGcBc for the contour region to the data driver 122 as processing data RpGpBp. The image data processing circuit 124 may be embedded in the timing controller 121 . However, the present invention is not limited thereto.

도 4를 참조하면, 영상데이터 처리회로(124)는 에지 예측부(124a), 콘투어 영역 판단부(124b), 비트-뎁스 확장부(124c), 적응성 평균 필터링부(124d) 및 데이터 처리부(124e)를 포함할 수 있다.Referring to FIG. 4 , the image data processing circuit 124 includes an edge prediction unit 124a, a contour area determination unit 124b, a bit-depth extension unit 124c, an adaptive average filtering unit 124d, and a data processing unit ( 124e).

에지 예측부(124a)는 콘투어 영역 판단부(124b)와 함께 콘투어 영역을 판단하는 알고리즘을 사용하여 입력 영상에서 콘투어 영역과 에지 영역을 판단하고 그 결과를 라인 메모리에 저장한다.The edge prediction unit 124a determines the contour area and the edge area in the input image by using an algorithm for determining the contour area together with the contour area determination unit 124b, and stores the results in the line memory.

에지 예측부(124a)는 에지의 방향성을 예측하여 콘투어 에지 예측을 수행함으로써 에지 검출이 제대로 이루어지지 않는 현상을 개선할 수 있다.The edge prediction unit 124a may improve a phenomenon in which edge detection is not performed properly by predicting the directionality of the edge and performing the contour edge prediction.

콘투어 영역 판단부(124b)는 에지 예측부(124a)를 통해 콘투어 에지의 불연속성이 완화된 입력 영상에 대해 콘투어 영역과 에지 영역을 판단한다.The contour area determination unit 124b determines a contour area and an edge area with respect to the input image in which the discontinuity of the contour edge is alleviated through the edge prediction unit 124a.

콘투어 영역 판단부(124b)는 1차원 방향으로 입력 영상의 콘투어 에지를 검출하고, 현재 화소의 값과 주변 화소들의 차이가 기준 값(REF, 예컨대 '1')보다 작으면 콘투어 영역으로 판별함으로써 입력 영상에서 콘투어 영역과 에지 영역을 구분한다. 콘투어 영역은 다수 개 있을 수 있다. 콘투어 영역 판단부(124b)는 그 결과를 라인 메모리에 저장할 수 있다.The contour area determining unit 124b detects a contour edge of the input image in a one-dimensional direction, and when the difference between the value of the current pixel and the surrounding pixels is less than the reference value REF, for example, '1', it is set as the contour area. By discriminating, a contour region and an edge region are distinguished from the input image. There may be a plurality of contour areas. The contour area determining unit 124b may store the result in the line memory.

콘투어 영역 판단부(124b)는 콘투어 에지로부터 다음 콘투어 에지까지, 또는 콘투어 에지로부터 영상의 에지까지 관찰하여 콘투어 영역인지 아닌지를 구분할 수 있다. 콘투어 영역 판단부(124b)는 콘투어 영역 이외의 영역이라 판단하는 경우, 이 영역의 입력 데이터(RiGiBi)를 데이터 처리부(245)로 바이 패스할 수 있다.The contour area determining unit 124b may distinguish whether it is a contour area by observing from the contour edge to the next contour edge or from the contour edge to the edge of the image. When the contour area determining unit 124b determines that the area is other than the contour area, the input data RiGiBi of this area may be bypassed to the data processing unit 245 .

비트-뎁스 확장부(124c)는 콘투어 영역에 대해서 비트-뎁스가 확장된 영상을 만든다. 즉, 콘투어 영역에 대해서 콘투어 맵을 생성한 후 스텝_비율과 스텝_값을 계산하여 제로 패딩으로 비트 확장한 영상의 하위 비트에 스텝_값을 더하여 비트-뎁스가 확장된 영상을 만든다. 콘투어 맵은 현재 화소와 주변 화소들을 비교하여 업_맵과 다운_맵으로 구성될 수 있다.The bit-depth extension unit 124c creates an image in which the bit-depth is extended with respect to the contour area. That is, after a contour map is generated for the contour region, a step_ratio and a step_value are calculated, and the step_value is added to the lower bit of an image bit-extended by zero padding to create an image with an extended bit-depth. The contour map may be composed of an up_map and a down_map by comparing the current pixel and neighboring pixels.

적응성 평균 필터링부(124e)는 이와 같은 방식으로 비트-뎁스가 확장된 영상과 평균 영상 사이의 차이를 계산한 후에, 그 차이가 문턱 값보다 크면 출력은 입력 영상, 즉 비트-뎁스가 확장된 영상으로 하고, 문턱 값보다 작으면 출력은 평균 영상으로 하여 데이터 처리부(124e)로 보낸다.The adaptive average filtering unit 124e calculates the difference between the bit-depth-extended image and the average image in this way, and if the difference is greater than the threshold value, the output is the input image, that is, the bit-depth-extended image. , and if it is smaller than the threshold value, the output is sent to the data processing unit 124e as an average image.

데이터 처리부(124e)는 에지 영역과 콘투어 영역에서 서로 다르게 데이터를 가공하여 처리 데이터(RpGpBp)를 출력한다. 데이터 처리부(124e)는 에지 영역에 대해서는 입력 데이터(RiGiBi)를 입력 그대로 출력한다. 즉, 에지 영역에 대응하여 출력되는 처리 데이터(RpGpBp)는 입력 데이터(RiGiBi)이다. 반면에, 콘투어 영역에 대해서는 입력 데이터(RiGiBi)를 보상한다. 즉, 콘투어 영역에 대응하여 출력되는 처리 데이터(RpGpBp)는 보상 데이터(RcGcBc)이다. 이 보상 데이터(RcGcBc)는 비트-뎁스가 확장된 영상이거나 평균 영상일 수 있다.The data processing unit 124e processes data differently in the edge area and the contour area to output processed data RpGpBp. The data processing unit 124e outputs the input data RiGiBi as it is input to the edge region. That is, the processed data RpGpBp output corresponding to the edge region is the input data RiGiBi. On the other hand, the input data RiGiBi is compensated for the contour area. That is, the processing data RpGpBp output corresponding to the contour area is the compensation data RcGcBc. The compensation data RcGcBc may be a bit-depth extended image or an average image.

도 5는 본 발명의 실시예에 따른 표시장치의 영상데이터 처리방법을 순차적으로 보여주는 흐름도이다.5 is a flowchart sequentially illustrating an image data processing method of a display device according to an exemplary embodiment of the present invention.

시스템보드로부터 입력되는 입력 데이터(또는, 입력 영상)(RiGiBi)는, 영상 구현을 위해 타이밍 컨트롤러를 통해 영상데이터 처리회로에 공급된다(S110).The input data (or input image) RiGiBi input from the system board is supplied to the image data processing circuit through the timing controller for image implementation (S110).

이때, 일 예로 초고선명 OLED는 실제 10비트로 구동하는 표시장치이나, 8비트 또는 6비트의 입력 영상이 들어갈 경우 2비트 또는 4비트에 해당하는 콘투어 에지를 발견할 수 있다.In this case, as an example, the ultra-high-definition OLED is a display device that is actually driven by 10 bits, but when an 8-bit or 6-bit input image is input, a contour edge corresponding to 2 bits or 4 bits can be found.

따라서, 영상데이터 처리회로에 공급된 입력 영상은 영상의 콘투어 에지만을 검출하여 비트-뎁스 확장을 적용하여 데이터 드라이버를 거쳐 출력된다.Accordingly, the input image supplied to the image data processing circuit is output through the data driver by detecting only the contour edge of the image and applying bit-depth extension.

이때, 본 발명의 경우에는 비용 절감을 위해 1차원(가로) 방향으로만 비트-뎁스 확장을 수행하는 것을 특징으로 한다. 그 결과 메모리의 추가 사용 및 로직의 복잡함 없이 화질을 향상시킬 수 있다.In this case, in the case of the present invention, it is characterized in that the bit-depth extension is performed only in the one-dimensional (horizontal) direction in order to reduce the cost. As a result, image quality can be improved without additional use of memory and complexity of logic.

다만, 이와 같이 메모리와 로직 크기를 최소화하기 위해 1차원 연산만을 할 경우 사이드-이펙트 발생이 불가피하다. 즉, 전술한 바와 같이 이상적인 영상의 콘투어 에지는 연속적이나 실제 영상의 콘투어 에지는 불연속적이다. 이때, 본 발명에서와 같이 1차원으로만 연산 시 콘투어 에지가 불연속적일 때 가로선 결함과 같은 사이드-이펙트가 발생한다.However, when only one-dimensional operation is performed to minimize the size of memory and logic, side-effects are inevitable. That is, as described above, the contour edges of the ideal image are continuous, but the contour edges of the actual image are discontinuous. In this case, as in the present invention, when the contour edges are discontinuous when calculating only in one dimension, a side-effect such as a horizontal line defect occurs.

도 6a 및 도 6b는 비트-뎁스 확장에 따른 가로줄 결함이 발생하는 것을 설명하기 위한 사진들이다.6A and 6B are photographs for explaining that a horizontal line defect occurs due to bit-depth extension.

이때, 도 6a는 콘투어 에지 영상을 예로 들어 보여주고 있으며, 도 6b는 비트-뎁스 확장 영역을 예로 들어 보여주고 있다.In this case, FIG. 6A shows a contour edge image as an example, and FIG. 6B shows a bit-depth extension region as an example.

이들을 참조하면, 콘투어 에지의 불연속성에 의해 비트가 확장되는 영역은 도 6b의 밝은 부분에 해당한다. 즉, 실제 영상의 콘투어 에지는 불연속적이기 때문에 비트가 확장되는 영역은 도 6b에서 밝은 부분처럼 나타난다. 이 영역에 대해서만 비트 확장이 이루어지기 때문에 비트가 확장된 영상은 콘투어 현상은 완화되지만 가로줄 결함이 생긴다.Referring to these, the region in which the bit is extended by the discontinuity of the contour edge corresponds to the bright part of FIG. 6B . That is, since the contour edge of the actual image is discontinuous, the area in which the bit is extended appears as a bright part in FIG. 6B . Since bit extension is performed only in this region, the bit-extended image alleviates the contour phenomenon, but creates a horizontal line defect.

그리고, 도 7a 및 도 7b는 콘투어 에지 및 비트-뎁스 확장 영역을 예로 들어 보여주는 도면들이다.7A and 7B are diagrams illustrating a contour edge and a bit-depth extension region as an example.

이때, 도 7a는 이상적인 영상의 콘투어 에지 및 비트-뎁스 확장 영역을 예로 들어 보여주고 있으며, 반면에 도 7b는 실제 영상의 콘투어 에지 및 비트-뎁스 확장 영역을 예로 들어 보여주고 있다.In this case, FIG. 7A shows a contour edge and a bit-depth extension region of an ideal image as an example, whereas FIG. 7B shows a contour edge and a bit-depth extension region of an actual image as an example.

도 7b를 참조하면, 콘투어 에지의 불연속성 때문에 가로 방향으로 비트-뎁스 확장이 적용되는 영역과 적용되지 않는 영역이 명확하게 구분된다. 콘투어 에지의 불연속 정도가 심할수록 가로선 결함으로 나타나는 영역이 증가한다.Referring to FIG. 7B , a region to which the bit-depth extension is applied and a region to which the bit-depth extension is not applied in the horizontal direction are clearly distinguished due to the discontinuity of the contour edge. As the degree of discontinuity of the contour edge increases, the area that appears as a horizontal line defect increases.

이러한 사이드-이펙트를 해결하기 위해 본 발명에서는, 우선적으로 비트-뎁스 확장 전에 에지 예측(edge prediction)으로 콘투어 에지의 불연속성을 완화시키는 것을 특징으로 한다(S120). 즉, 에지 검출이 제대로 이루어지지 않는 현상을 개선하기 위해 전-처리(pre processing)로 에지 예측을 수행한다.In order to solve this side-effect, in the present invention, it is characterized in that the discontinuity of the contour edge is alleviated by using edge prediction before bit-depth extension first ( S120 ). That is, edge prediction is performed by pre-processing to improve a phenomenon in which edge detection is not performed properly.

콘투어 에지를 판별하기 위해 사용하는 영상데이터는 동일 계조(gray)를 표현할 때 하위 비트가 1~4 사이로 불규칙하게 움직이는 현상이 있으며, 콘투어 에지의 검출이 원활하지 않다. 이에 하위 비트 1~4까지의 영향을 없애도록 영상데이터의 하위 비트에 대해 1~4까지 값을 무시할 수 있도록 전-처리를 수행한다.In the image data used to determine the contour edge, the lower bit moves irregularly between 1 and 4 when the same gray is expressed, and the detection of the contour edge is not smooth. Accordingly, pre-processing is performed so that the values 1 to 4 of the lower bits of the image data can be ignored in order to eliminate the influence of the lower bits 1 to 4.

도 8은 본 발명의 실시예에 따른 에지 예측을 설명하기 위한 도면이다.8 is a diagram for explaining edge prediction according to an embodiment of the present invention.

에지 예측은 다음과 같은 순서로 연산을 수행한다.Edge prediction is performed in the following order.

우선, 영상 예측변수(predictor)를 계산한다(S121). 가로, 세로 방향에 대한 영상 예측변수(P_h(i, j), P_v(i, j))는 다음의 수학식 1, 2를 통해 계산할 수 있다.First, an image predictor is calculated ( S121 ). _{The image predictor variables P h} (i, j), P _v (i, j) for the horizontal and vertical directions can be calculated through Equations 1 and 2 below.

[수학식 1] P_h(i, j) = (I_zp(i, j-1) + I_zp(i, j+1))/2[Equation 1] P _h (i, j) = (I _zp (i, j-1) + I _zp (i, j+1))/2

[수학식 2] P_v(i, j) = (I_zp(i-1, j) + I_zp(i+1, j))/2[Equation 2] P _v (i, j) = (I _zp (i-1, j) + I _zp (i+1, j))/2

이때, P_h(i, j)는 화소 (i, j)에서의 가로 방향에 대한 영상 예측변수를 나타내며, P_v(i, j)는 화소 (i, j)에서의 세로 방향에 대한 영상 예측변수를 나타낸다.In this case, P _h (i, j) represents the image predictor in the horizontal direction in the pixel (i, j), and P _v (i, j) is the image prediction in the vertical direction in the pixel (i, j). represents a variable.

다음으로, 화소 각각의 영상 증감률(image gradient)을 계산한다(S122). 가로, 세로 방향에 대해 화소 각각의 영상 증감률(d_h(i, j), d_v(i, j))은 다음의 수학식 3, 4를 통해 계산할 수 있다.Next, an image gradient of each pixel is calculated ( S122 ). The image increase/decrease rate (d _h (i, j), d _v (i, j)) of each pixel in the horizontal and vertical directions can be calculated using Equations 3 and 4 below.

[수학식 3] d_h(i, j) = ｜I_zp(i, j-1) - I_zp(i, j+1)｜ + 1[Equation 3] d _h (i, j) = |I _zp (i, j-1) - I _zp (i, j+1) | + 1

[수학식 4] d_v(i, j) = ｜I_zp(i-1, j) - I_zp(i+1, j)｜ + 1[Equation 4] d _v (i, j) = ｜I _zp (i-1, j) - I _zp (i+1, j)｜ + 1

이때, d_h(i, j)는 화소 (i, j)에서의 가로 방향에 대한 영상 증감률을 나타내며, d_v(i, j)는 화소 (i, j)에서의 세로 방향에 대한 영상 증감률을 나타낸다.In this case, d _h (i, j) represents the image increase/decrease rate in the horizontal direction in the pixel (i, j), and d _v (i, j) is the image increase/decrease in the vertical direction in the pixel (i, j). represents the rate.

다음으로, 위 과정에서 구한 값들을 이용하여 영상 예측 값(IP_h)을 계산하며(S123), 이를 바탕으로 예측 영상을 산출한다(S124).Next, an image prediction value (IP _h ) is calculated using the values obtained in the above process (S123), and a predicted image is calculated based on this (S124).

[수학식 5] IP_h = {(d_v·P_h + d_h·P_v) / (d_v + d_h)}[Equation 5] IP _h = {(d _v P _h + d _h P _v ) / (d _v + d _h )}

이때, IP_h(i, j)는 화소 (i, j)에서의 지향성(directional) 예측변수의 가중 합(weighted sum)을 나타낸다.In this case, IP _h (i, j) represents a weighted sum of the directional predictors in the pixel (i, j).

도 8을 참조하면, 전술한 연산 과정을 통해 일 예로, 4x4의 화소들에 대한 2번째 라인의 화소들에서 영상 예측 값(IP_h)을 구할 수 있으며, 이를 통해 콘투어 에지의 불연속성을 완화시킬 수 있다.Referring to FIG. 8 , through the above-described operation process, for example, an image prediction value (IP _h ) can be obtained from the pixels of the second line for the 4x4 pixels, and through this, discontinuity of the contour edge can be alleviated. can

다음으로, 이와 같이 산출된 예측 영상을 바탕으로 1차원 방향으로 비트-뎁스 확장을 수행한다(S130).Next, bit-depth expansion is performed in a one-dimensional direction based on the predicted image calculated as described above (S130).

도 9 및 도 10은 본 발명의 실시예에 따른 영상데이터 처리과정을 설명하기 위한 도면들이다.9 and 10 are diagrams for explaining an image data processing process according to an embodiment of the present invention.

이때, 도 9는 제로 패딩된 영상(ZP)과 실제 값(AV)을 비교하여 보여주는 도면이며, 도 10은 제로 패딩된 영상(ZP)과 본 발명의 실시예에 따른 새로운 값(NV)을 비교하여 보여주는 도면이다.In this case, FIG. 9 is a view showing a comparison between the zero-padded image ZP and the actual value AV, and FIG. 10 is a comparison of the zero-padded image ZP and a new value NV according to an embodiment of the present invention. It is a drawing showing

일 예로, X를 p=3비트(비트-퍼-컬러(bits per color))를 가진 하위 비트-뎁스 영상으로 가정하고, Y를 q=5비트(비트-퍼-컬러(bits per color))를 가진 재구성된(reconstructed) 상위 비트-뎁스 영상으로 가정한다.As an example, it is assumed that X is a lower bit-depth image having p = 3 bits (bits per color), and Y is q = 5 bits (bits per color). It is assumed as a reconstructed upper bit-depth image with

이 경우 제로 패딩(zero padding) 방법에 의하면, 다음과 같이 컬러 값의 비트-전환이 이루어지고, 마지막 부분의 최하위 비트(Least Significant Bit; LSB)에 0이 삽입된다.In this case, according to the zero padding method, bit-switching of the color value is performed as follows, and 0 is inserted into the least significant bit (LSB) of the last part.

Y = X × 2^q-p = (x₂ x₁ x₀ 0 0)₂ Y = X × 2 ^qp = (x ₂ x ₁ x ₀ 0 0) ₂

제로 패딩에 의해 재구성된 영상(ZP)은 다소 더 흐릿해(어둑해)진다. 이것은 각각의 값이 상위 비트-뎁스 공간에서 그들의 가능한 최하위 값으로 매핑 되기 때문이다.즉, 제로 패딩은 최하위 비트에 0이 들어가므로 상대적으로 다른 비트-뎁스 확장 기법보다 결과 영상이 조금 더 어둡다.The image ZP reconstructed by zero padding becomes somewhat more blurry (dimmer). This is because each value is mapped to their lowest possible value in the upper bit-depth space. That is, zero padding puts 0 in the least significant bit, so the resulting image is relatively darker than other bit-depth extension techniques.

도 9를 참조하면, 5비트 영상이 3비트 영상으로 줄어든(truncated) 후에, 제로 패딩을 이용하여 확장된다. 즉, 5비트-뎁스의 원본 영상을 3비트-뎁스로 줄인 후 제로 패딩 하여 하위 2비트를 확장한다.Referring to FIG. 9 , after a 5-bit image is truncated to a 3-bit image, it is expanded using zero padding. That is, after reducing the 5-bit-depth original image to 3-bit-depth, zero padding is performed to extend the lower 2 bits.

높이 1의 일부 에지들은 길이 축소에 따라 손실되며, 대신에 높이 4 에지들이 도입된다. 높이 4 에지들이 높이 1 에지들보다 더 두드러진 반면, 콘투어 에지들은 매우 성가시게 한다. 즉, 원본 영상의 높이가 1씩 변하는데 비해, 제로 패딩된 결과 영상(ZP)은 에지 부분에서 높이가 4씩 변한다.Some edges of height 1 are lost with length reduction, and height 4 edges are introduced instead. While the height 4 edges are more prominent than the height 1 edges, the contour edges are very annoying. That is, while the height of the original image changes by 1, the zero-padded result image ZP changes by 4 in height at the edge.

공간적인 위치가 위쪽 방향(upward)의 높이 4 에지에 가까워질 때, 실제 값(AV)은 보통, 11과 동일한 최하위 비트를 가진 상위 한계(upper limit)에 가까워진다. 유사하게, 아래쪽 방향(downward)의 높이 4 에지 근처의 화소들은 2비트 범위 내에 하위 한계(lower limit)에 가까워진다. 즉, 제로 패딩된 결과 영상(ZP)의 에지 주변에서 원본 영상의 하위 2비트를 관찰하면, 위쪽 방향으로 높이 4에 가까워지면 하위 2비트는 2'b11, 반대로 아래 방향으로 높이 4에 가까워지면 하위 2비트는 2'b00이다.When the spatial position approaches the height 4 edge in the upward direction, the actual value AV approaches the upper limit, usually with the least significant bit equal to 11. Similarly, pixels near the height 4 edge in the downward direction approach the lower limit within the 2-bit range. That is, if the lower 2 bits of the original image are observed around the edge of the zero-padded result image ZP, the lower 2 bits are 2'b11 when the height approaches 4 in the upward direction, and the lower 2 bits are 2'b11 when the height approaches 4 in the downward direction. 2 bits is 2'b00.

이로부터 최하위 비트의 진행방향은 대부분의 영상들 내의 콘투어 에지로부터의 거리와 관련이 있다는 것을 알 수 있다.From this, it can be seen that the moving direction of the least significant bit is related to the distance from the contour edge in most images.

따라서, 본 발명에 따른 비트-뎁스 확장의 방법은 콘투어 에지들로부터의 거리를 분석하는데 기초한다.Accordingly, the method of bit-depth extension according to the present invention is based on analyzing the distance from the contour edges.

도 10을 참조하면, 1차원(가로) 방향으로 입력 영상의 콘투어 에지를 검출한다(detect)(S131). 이때, 기존에는 2차원(가로, 세로) 방향으로 콘투어 에지를 검출하였으나, 본 발명에서는 비용 절감을 위해 가로 방향으로만 비트-뎁스 확장을 수행하도록 한다.Referring to FIG. 10 , a contour edge of an input image is detected in a one-dimensional (horizontal) direction (S131). In this case, in the prior art, the contour edge was detected in the two-dimensional (horizontal, vertical) direction, but in the present invention, the bit-depth extension is performed only in the horizontal direction for cost reduction.

이때, 현재 화소의 값과 주변 화소들 값의 차이가 콘투어 에지 검출 한계점(threshold)보다 작으면 콘투어 영역으로 판별하도록 한다.In this case, if the difference between the value of the current pixel and the values of the surrounding pixels is smaller than a contour edge detection threshold, the contour area is determined.

다음으로, 콘투어 에지로부터 다음 콘투어 에지까지, 또는 콘투어 에지로부터 영상의 에지까지 관찰하여 콘투어 영역인지 아닌지 검출한다(S132).Next, by observing from the contour edge to the next contour edge, or from the contour edge to the edge of the image, whether it is a contour area or not is detected (S132).

다음으로, 위쪽 방향의 콘투어 에지들로부터의 거리 및 아래쪽 방향의 콘투어 에지들로부터의 거리를 나타내는 2개의 거리 맵들, 즉 업_맵(up_map) 및 다운_맵(down_map)을 생성한다(S133).Next, two distance maps indicating the distance from the contour edges in the upward direction and the distance from the contour edges in the downward direction, ie, an up_map and a down_map, are generated (S133). ).

즉, 거리 맵은 현재 화소와 주변 화소를 비교하여 업_맵 및 다운_맵으로 구성된다. 그리고, 업_맵은 위쪽 방향의 콘투어 에지로부터 떨어진 거리를 의미하며, 다운_맵은 아래쪽 방향의 콘투어 에지로부터 떨어진 거리를 의미한다.That is, the distance map is composed of an up_map and a down_map by comparing the current pixel and neighboring pixels. And, up_map means a distance away from the contour edge in the upward direction, and down_map means a distance away from the contour edge in the downward direction.

이 거리 값들은 결과 영상의 최하위 비트 값을 결정하기 위해 사용된다.These distance values are used to determine the least significant bit value of the resulting image.

이와 같이 거리 맵을 작성하기 위해, 먼저 콘투어 에지 기준을 정의할 수 있다. 하위 비트-뎁스 영상에서 높이가 1인 에지만을 비트-뎁스 확장 후에 콘투어 에지로 정의하고, 하위 비트-뎁스 영상에서 높이가 1보다 큰 에지들은 콘투어 에지로 정의하지 않는다.In order to create a distance map in this way, a contour edge criterion may be defined first. Only edges having a height of 1 in the lower bit-depth image are defined as contour edges after bit-depth extension, and edges having a height greater than 1 in the lower bit-depth image are not defined as contour edges.

일 예로, 현재 위치의 화소 값을 주변 4개 위치의 화소들의 값과 비교했을 때, 4개의 화소들 중 하나라도 현재의 화소보다 1만큼 크면 현재 화소 값은 아래쪽 방향의 콘투어 에지 포인트가 된다.For example, when a pixel value at the current position is compared with values of pixels at four neighboring positions, if at least one of the four pixels is greater than the current pixel by 1, the current pixel value becomes a contour edge point in a downward direction.

다음으로, 이러한 방식으로 콘투어 에지를 판별하여 업_맵과 다운_맵의 콘투어 에지 부분을 1로 지정한다. 그리고, 같은 높이 값을 유지하는 영역에 대해 업_맵과 다운_맵의 콘투어 에지 부분으로부터 멀어질수록 업_맵과 다운_맵의 값을 1씩 증가시켜 업_맵과 다운_맵을 작성한다.Next, the contour edges are determined in this way, and the contour edge portions of the up_map and down_map are designated as 1. Then, for an area that maintains the same height value, the values of up_map and down_map are increased by 1 as the distance from the contour edges of up_map and down_map is increased to create up_map and down_map. do.

즉, 도 10에 도시된 바와 같이, 위쪽 방향의 콘투어 에지 및 아래쪽 방향의 콘투어 에지로부터 시작하여 거리 맵들은 값 1이 할당된다. 그리고 나서, 거리 맵들은, 콘투어 에지로부터 멀어지면서 동일한 화소 값의 영역에 따라, 거리 값들의 증가와 함께 진행한다.That is, as shown in FIG. 10 , the distance maps are assigned a value of 1 starting from the contour edge in the upward direction and the contour edge in the downward direction. The distance maps then proceed with increasing distance values along the region of the same pixel value as it moves away from the contour edge.

다음으로, 영상을 제로 패딩을 이용하여 비트-뎁스를 확장한다.Next, the image is bit-depth by using zero padding.

다음으로, 업_맵과 다운_맵을 이용하여 스텝_비율을 도출한 후에, 스텝_비율을 이용하여 스텝_값을 계산한다(S134).Next, after deriving the step_ratio using the up_map and the down_map, the step_value is calculated using the step_ratio ( S134 ).

즉, 결과 영상에 대한 최하위 비트 값들을 결정하기 위해, 스텝_비율을 계산한다.That is, in order to determine the least significant bit values for the resulting image, the step_ratio is calculated.

다음의 수학식 6은 스텝_비율의 표현을 보여준다.Equation 6 below shows the expression of step_ratio.

[수학식 6] 스텝_비율[i] = {(다운_맵[i]) / (다운_맵[i] + 업_맵[i])}[Equation 6] step_ratio[i] = {(down_map[i]) / (down_map[i] + up_map[i])}

스텝_비율은 아래쪽 방향의 콘투어 에지와 위쪽 방향의 콘투어 에지 사이에 0부터 1의 범위의 숫자가 골고루 분포되어 있다.In the step_ratio, a number ranging from 0 to 1 is evenly distributed between the contour edge in the downward direction and the contour edge in the upward direction.

위의 수학식 6에서 i는 현재 화소의 위치를 의미하며, 스텝_비율로부터 스텝_값을 도출할 수 있다.In Equation 6 above, i means the position of the current pixel, and the step_value can be derived from the step_ratio.

즉, 스텝_비율이 최하위 비트의 동적(dynamic) 범위에 적용되어 다음 수학식 7과 같이 스텝_값이 계산된다.That is, the step_ratio is applied to the dynamic range of the least significant bit, and the step_value is calculated as in Equation 7 below.

[수학식 7] 스텝_값[i] = 스텝_비율[i] × 2^q-p [Equation 7] Step_Value[i] = ^{Step_Ratio[i] × 2 qp}

이때, p는 확장 전 비트-뎁스를 의미하며, q는 확장 후 비트-뎁스를 의미한다.In this case, p denotes a bit-depth before extension, and q denotes a bit-depth after extension.

이를 토대로 제로 패딩으로 비트 확장된 영상의 최하위 비트에 스텝_값을 더해 비트-뎁스가 확장된 영상을 만든다(S135).Based on this, a bit-depth-extended image is created by adding a step_value to the least significant bit of an image bit-extended by zero padding (S135).

결과 값 Y는, 다음의 수학식 8과 같이, X의 제로 패딩 값에 스텝_값을 추가함으로써 계산될 수 있다.The result value Y may be calculated by adding a step_value to the zero padding value of X as shown in Equation 8 below.

[수학식 8] Y[i] = 제로 패드(X[i]) + 스텝_값[i][Equation 8] Y[i] = zero pad (X[i]) + step_value[i]

이때, X는 확장 전 비트-뎁스 영상의 값을 의미하며, Y는 확장 후 비트-뎁스 영상의 값을 의미한다.In this case, X means the value of the bit-depth image before extension, and Y means the value of the bit-depth image after extension.

전술한 바와 같이 p=3비트 영상이 q=5비트로 확장된 경우의 예를 도 10에 도시하고 있다.As described above, an example of a case in which a p=3-bit image is extended to q=5 bits is illustrated in FIG. 10 .

이와 같은 방법으로 Y를 도출하면 콘투어 에지가 없는 비트-뎁스 확장이 가능하다.If Y is derived in this way, bit-depth extension without a contour edge is possible.

본 발명의 알고리즘을 적용함으로써, 모든 콘투어 에지들이 급격한 값의 변화 대신에 점진적 기울기로 변화될 수 있다. 즉, 도 10에 도시된 바와 같이, 제로 패딩된 영상 내에 높이 4 에지들이, 불필요한 콘투어 에지들이 보이지 않게 매끄럽게되는 것을 알 수 있다.By applying the algorithm of the present invention, all contour edges can be changed with a gradual slope instead of an abrupt value change. That is, as shown in FIG. 10 , it can be seen that the height 4 edges in the zero-padded image are smoothed so that unnecessary contour edges are not seen.

다음으로, 비트-뎁스 확장 후에 발생하는 가로선 결함에 대해서 본 발명에 따른 후-처리(post processing)로 적응성 평균 필터링(adaptive mean filtering)을 수행하여 그 효과를 완화시킨다(S140).Next, adaptive mean filtering is performed with post-processing according to the present invention on a horizontal line defect occurring after bit-depth extension to alleviate the effect (S140).

1 × M(가로) 또는 1 × N(세로) 한 방향의 마스크에 대해 현재 화소 값과 마스크 내의 평균 또는 중간 값(median)의 차이가 문턱 값보다 작은 영역에 대해서는 스무딩(smoothing) 작업을 하고, 큰 영역에 대해서는 영상의 에지로 판별하여 스무딩 작업을 하지 않는다.1 × M (horizontal) or 1 × N (vertical) For a mask in one direction, smoothing is performed on the area where the difference between the current pixel value and the average or median value within the mask is less than the threshold value, For a large area, it is determined as an edge of the image and no smoothing operation is performed.

도 11은 본 발명의 실시예에 따른 적응성 평균 필터링을 순차적으로 보여주는 흐름도이다.11 is a flowchart sequentially illustrating adaptive average filtering according to an embodiment of the present invention.

우선, 비트-뎁스 확장이 적용되어 확장된 영상데이터(Ri'Gi'Bi')를 입력으로 받는다(S141).First, the image data Ri'Gi'Bi' extended by applying bit-depth extension is received as an input (S141).

마스크 사이즈에 따라 평균값을 계산하고, 각 화소마다 화소 값과 평균값의 차이를 계산한다(S142, S143).The average value is calculated according to the mask size, and the difference between the pixel value and the average value is calculated for each pixel ( S142 and S143 ).

이때, 전술한 바와 같이 1 × M(가로) 또는 1 × N(세로) 한 방향의 마스크에 대해 마스크 내의 평균 또는 중간 값을 구한다. 그리고, 이를 현재 화소 값과 비교하여 그 차이를 계산한다.At this time, as described above, the average or median value in the mask is obtained for a mask in one direction of 1 × M (horizontal) or 1 × N (vertical). Then, the difference is calculated by comparing it with the current pixel value.

다음으로, 차이 값이 문턱 값보다 크면 출력은 입력 영상, 즉 비트-뎁스가 확장된 영상으로 한다(S144).Next, if the difference value is greater than the threshold value, the output is an input image, that is, an image with a bit-depth extended (S144).

반면에 차이 값이 문턱 값보다 작으면 출력은 평균 영상으로 한다(S145). 따라서, 출력되는 영상데이터(RpGpBp)는 비트-뎁스가 확장된 영상이거나 평균 영상이 될 수 있다.On the other hand, if the difference value is smaller than the threshold value, the output is an average image (S145). Accordingly, the output image data RpGpBp may be a bit-depth extended image or an average image.

이하, 본 발명에 따른 전-처리와 후-처리를 수행한 경우의 결과 영상 및 이를 검증하는 방법을 도면을 참조하여 상세히 설명한다.Hereinafter, an image resulting from performing pre-processing and post-processing according to the present invention and a method of verifying it will be described in detail with reference to the drawings.

도 12a 및 도 12b는 로우 비트-뎁스 영상에서 관측되는 콘투어 영역을 보여주기 위한 사진들이다.12A and 12B are photographs for illustrating a contour region observed in a low bit-depth image.

이때, 도 12a는 비트-뎁스 확장만을 수행한 경우의 결과 영상을 보여주고 있으며, 도 12b는 비트-뎁스 확장에 전-처리와 후-처리를 수행한 경우의 결과 영상을 보여주고 있다.In this case, FIG. 12A shows a result image when only bit-depth extension is performed, and FIG. 12B shows a result image when pre-processing and post-processing are performed on bit-depth extension.

도 13a 및 도 13b는 콘투어 에지를 예로 들어 보여주는 도면들로써, 각각 도 12a 및 도 12b에 도시된 사각형 부분에 해당하는 영상을 예로 들고 있다.13A and 13B are views illustrating a contour edge as an example, and exemplify an image corresponding to the rectangular portion shown in FIGS. 12A and 12B , respectively.

그리고, 도 14a 및 도 14b는 비트-뎁스 확장 영역을 예로 들어 보여주는 도면들로써, 각각 도 12a 및 도 12b에 도시된 사각형 부분에 해당하는 영상을 예로 들고 있다.Also, FIGS. 14A and 14B are diagrams illustrating a bit-depth extension region as an example, and an image corresponding to the rectangular portion shown in FIGS. 12A and 12B is taken as an example.

도 13a를 참조하면, 영상 상에 존재하는 노이즈와 프레임 비율 조절 디더링(Frame Rate Control Dithering; FRC 디더링)의 영향으로 검출되는 콘투어 에지의 연속성이 떨어지는 것을 알 수 있다. 또한, 도 14a를 참조하면, 비트-뎁스 확장이 적용되는 영역이 세로 방향으로 불연속이므로 가로선이 강하게 나타나는 것을 알 수 있다.Referring to FIG. 13A , it can be seen that the continuity of the detected contour edges is deteriorated due to noise existing on the image and the influence of frame rate control dithering (FRC dithering). Also, referring to FIG. 14A , it can be seen that the region to which the bit-depth extension is applied is discontinuous in the vertical direction, so that a horizontal line appears strongly.

참고로, 표시장치는 원가 절감을 위해 외부로부터 입력되는 영상데이터의 비트 수보다 데이터 처리 능력이 낮은 데이터 드라이버를 사용할 수 있다. 예를 들면, 표시장치로 입력되는 영상데이터가 8비트인 경우 8비트보다 낮은 6비트 데이터 처리 능력을 갖는 데이터 드라이버를 이용하면 원가를 절감할 수 있다. 다만, 데이터 드라이버가 6비트 데이터의 처리 능력을 갖더라도 표시장치가 8비트에 해당하는 계조를 표현할 수 있도록 FRC 디더링 방법이 적용되고 있다.For reference, the display device may use a data driver having a lower data processing capability than the number of bits of image data input from the outside in order to reduce cost. For example, when the image data input to the display device is 8 bits, the cost can be reduced by using a data driver having a 6-bit data processing capability lower than that of 8 bits. However, even if the data driver has the processing capability of 6-bit data, the FRC dithering method is applied so that the display device can express the gray level corresponding to 8 bits.

FRC 디더링 방법은, 입력 데이터에서 데이터 드라이버가 처리할 수 있는 상위 비트만 취한 영상데이터를 나머지 하위 비트에 기초한 FRC 디더 패턴을 이용하여 계조별 및 프레임별로 다르게 보정 함으로써 휘도 미세 조정으로 계조 표현력을 증가시킬 수 있다. 이를 위하여, 표시장치는 계조별 및 프레임별로 서로 다른 다수의 FRC 패턴을 미리 저장하여 FRC 디더링 방법에 이용하고 있다.The FRC dithering method uses an FRC dither pattern based on the remaining low-order bits for image data that takes only the upper bits that the data driver can process from the input data. can To this end, the display device pre-stores a plurality of different FRC patterns for each gradation and each frame and uses them in the FRC dithering method.

이이 비해 본 발명의 경우에는 도 13b를 참조하면, 에지의 방향성을 예측하여 콘투어 에지 예측을 수행함에 따라 콘투어 에지의 불연속성이 개선된 것을 알 수 있다. 또한, 도 14b를 참조하면, 이에 따라 가로선으로 나타나는 영역이 줄어든 것을 알 수 있다.In contrast, in the case of the present invention, referring to FIG. 13B , it can be seen that the discontinuity of the contour edge is improved as the contour edge prediction is performed by predicting the directionality of the edge. Also, referring to FIG. 14B , it can be seen that the area indicated by the horizontal line is reduced accordingly.

도 15a는 기존의 로우 비트-뎁스 영상을 확대하여 보여주는 사진으로써, 전술한 바와 같이 도 12a에 도시된 사각형 부분에 해당하는 영상을 예로 들고 있다.FIG. 15A is an enlarged picture showing a conventional low-bit-depth image, taking an image corresponding to the rectangular portion shown in FIG. 12A as an example as described above.

도 15b는 비트-뎁스 확장을 거친 영상을 확대하여 보여주는 사진이다.15B is a picture showing an enlarged image that has undergone bit-depth extension.

그리고, 도 15c는 본 발명의 실시예에 따른 적응성 평균 필터링을 거친 영상을 확대하여 보여주는 사진으로써, 도 12b에 도시된 사각형 부분에 해당하는 영상을 예로 들고 있다.Also, FIG. 15C is an enlarged picture showing an image subjected to adaptive average filtering according to an embodiment of the present invention, taking an image corresponding to the rectangular portion shown in FIG. 12B as an example.

참고로, 도 15a는 6비트 영상에 해당하며, 도 15b 및 도 15c는 12비트 영상에 해당한다.For reference, FIG. 15A corresponds to a 6-bit image, and FIGS. 15B and 15C correspond to a 12-bit image.

도 15b를 참조하면, 비트가 확장된 영역에 대해 비트-뎁스 확장 적용 범위가 불연속적이므로 가로선 결함이 나타나는 것을 알 수 있다.Referring to FIG. 15B , it can be seen that a horizontal line defect appears because the bit-depth extension application range is discontinuous with respect to the bit-extended region.

이이 비해 본 발명의 경우에는 도 15c를 참조하면, 영상의 에지는 보존하고 비트-뎁스 확장이 적용된 영역에 대해서만 평균 필터링을 적용한 결과, 가로선 결함이 사라진 것을 확인할 수 있다.In contrast, in the case of the present invention, referring to FIG. 15C , as a result of preserving the edge of the image and applying average filtering only to the region to which the bit-depth extension is applied, it can be seen that the horizontal line defect disappears.

도 16a와 도 16b 및 도 16c는 영상의 위치에 따른 휘도 데이터 값을 예로 들어 보여주는 그래프들이다.16A, 16B, and 16C are graphs showing luminance data values according to image positions as examples.

일 예로, FRC 디더링이 적용된 6비트 영상의 위치에 따른 휘도 데이터 값은 도 16a에 도시되어 있으며, 눈에 띄는 콘투어를 확인할 수 있다.As an example, luminance data values according to positions of 6-bit images to which FRC dithering is applied are shown in FIG. 16A , and a conspicuous contour can be identified.

또한, 비트-뎁스 확장이 이루어진 8비트 영상의 위치에 따른 휘도 데이터 값은 도 16b에 도시되어 있다. 비트-뎁스 확장을 적용해 콘투어 현상은 완화되었으나, 전술한 도 15b에서와 같이 가로선이 생긴 것을 알 수 있다.In addition, the luminance data value according to the position of the 8-bit image to which the bit-depth extension is performed is shown in FIG. 16B . Although the contour phenomenon is alleviated by applying the bit-depth extension, it can be seen that a horizontal line is generated as in FIG. 15B described above.

적응성 평균 필터링을 거친 영상의 위치에 따른 휘도 데이터 값은 도 16c에 도시되어 있으며, 8비트 영상이 스무딩해진 것을 알 수 있다. 따라서, 콘투어가 제거되고 가로선 또한 사라진 것을 확인할 수 있다.The luminance data value according to the position of the image subjected to the adaptive average filtering is shown in FIG. 16C , and it can be seen that the 8-bit image is smoothed. Accordingly, it can be seen that the contour is removed and the horizontal line also disappears.

도 17은 본 발명의 실시예에 따른 영상데이터 처리방법을 검증하기 위한 방법을 순차적으로 보여주는 흐름도이다.17 is a flowchart sequentially illustrating a method for verifying an image data processing method according to an embodiment of the present invention.

먼저, 에지 예측을 검증하기 위해 제 1 테스트 영상을 입력한다(S210).First, a first test image is input to verify edge prediction (S210).

본 발명의 특징에 따라 비트를 확장하였다면, 에지 예측 없이는 가로 방향의 가로선 결함을 피할 수 없다. 따라서, 세로 방향으로 불연속적인 콘투어가 존재하는 제 1 테스트 영상을 입력하여 결과 영상에 가로선 결함이 기준치를 초과하여 나타나는지 확인한다.If the bit is extended according to the features of the present invention, a horizontal line defect in the horizontal direction cannot be avoided without edge prediction. Therefore, by inputting the first test image having discontinuous contours in the vertical direction, it is checked whether the horizontal line defect exceeds the reference value in the result image.

이때, 에지 예측이 적용되지 않은 경우에는 가로선 결함이 심하게 발생할 것이며, 에지 예측을 적용한 경우에는 가로선 결함이 적을 것이다.In this case, when the edge prediction is not applied, horizontal line defects will be severely generated, and when the edge prediction is applied, there will be few horizontal line defects.

즉, 본 발명의 경우에는 콘투어 에지 검출을 가로 방향으로만 수행하기 때문에 콘투어가 세로 방향으로 불연속적이라면 비트 확장이 가로 방향으로 불연속적으로 되면서 가로선 결함이 발생한다.That is, in the case of the present invention, since contour edge detection is performed only in the horizontal direction, if the contour is discontinuous in the vertical direction, the bit extension becomes discontinuous in the horizontal direction and a horizontal line defect occurs.

따라서, 본 발명의 특징을 적용하였다면, 에지 예측으로 불연속적인 콘투어 에지를 연속적으로 만들었기 때문에 가로선 결함을 발견할 수 없거나 적게 발견하게 되며, 이 경우 침해를 의심할 수 있다(S250).Therefore, if the features of the present invention are applied, since discontinuous contour edges are continuously made by edge prediction, no or few horizontal line defects are found, and in this case, infringement may be suspected ( S250 ).

다음으로, 일반적인 영상 처리를 이용한 비트 확장은 마스크 사이즈에 따라 콘투어 에지 검출에 성능 차이가 발생한다. 그러나, 본 발명의 특징에 따른 방법은 비트 확장에 마스크를 사용하지 않기 때문에 콘투어의 크기와 상관없이 정확한 검출과 비트 확장이 가능하다.Next, in bit extension using general image processing, performance difference occurs in contour edge detection according to the mask size. However, since the method according to the present invention does not use a mask for bit extension, accurate detection and bit extension are possible regardless of the size of the contour.

따라서, 이를 검증하기 위해 콘투어로 인식되는 영역이 매우 큰 제 2 테스트 영상을 입력한다(S210).Therefore, in order to verify this, a second test image having a very large area recognized as a contour is input (S210).

이때, 기존과 같이 마스크를 사용하여 콘투어 에지를 검출하고 비트를 확장하는 경우에는 일부 영역, 즉 마스크 주변으로만 비트 확장이 이루어지며, 이 경우 침해를 의심할 수 있다(S250). 이에 비해 본 발명에 따르면, 마스크 사이즈와 관계가 없이 비트 확장이 이루어지기 때문에 전체 영역에 대한 비트 확장이 이루어진다.At this time, when the contour edge is detected and the bit is extended using a mask as in the prior art, the bit is extended only in a partial area, that is, around the mask, and in this case, infringement may be suspected ( S250 ). On the other hand, according to the present invention, since the bit extension is performed regardless of the mask size, the bit extension is performed for the entire area.

마지막으로, 적응성 평균 필터링의 검증을 위해 제 3 테스트 영상을 입력한다(S230).Finally, a third test image is input to verify the adaptive average filtering ( S230 ).

본 발명의 특징에 따라 비트 확장을 할 경우에, 극단적인 형태의 비트 확장에는 가로선 결함 보상과 비트 확장 성능간의 트레이드-오프(trade off) 관계가 존재한다. 예를 들어, 6비트 입력 영상을 8비트 또는 10비트로 확장할 경우 문제가 없지만, 확장해야 할 비트 단위가 커질수록 가로선 결함을 보상할 수 있는 성능이 떨어진다. 즉, 4비트를 12비트 또는 그 이상으로 비트 확장할 경우 1차원 비트 확장으로 인해 발생하는 가로선 결함을 모두 제거할 수 없다. 만약, 적응성 평균 필터링의 문턱 값을 높여 스무딩을 많이 한다면 가로선 결함뿐만 아니라 영상의 에지 성분까지 모두 흐릿해지는 사이드-이펙트를 피할 수 없다.When bit extension is performed according to the feature of the present invention, a trade-off relationship exists between horizontal line defect compensation and bit extension performance in an extreme form of bit extension. For example, there is no problem in extending a 6-bit input image to 8 bits or 10 bits, but as the bit unit to be extended increases, the performance capable of compensating for horizontal line defects decreases. That is, when bit-extending 4 bits to 12 bits or more, it is impossible to remove all horizontal line defects caused by 1-dimensional bit expansion. If smoothing is performed by increasing the threshold value of adaptive average filtering, a side-effect in which not only horizontal line defects but also edge components of the image are blurred can be avoided.

따라서, 10비트 출력 또는 12비트 출력 표시패널에 4비트 영상데이터를 입력하면, 본 발명의 특징을 이용한 비트 확장을 한 경우 오히려 가로선 결함이 보이게 되며, 이 경우 침해를 의심할 수 있다(S250).Therefore, when 4-bit image data is input to a 10-bit output or 12-bit output display panel, a horizontal line defect is rather seen when the bit is extended using the features of the present invention, and in this case, infringement may be suspected (S250).

상기한 설명에 많은 사항이 구체적으로 기재되어 있으나 이것은 발명의 범위를 한정하는 것이라기보다 바람직한 실시예의 예시로서 해석되어야 한다. 따라서 발명은 설명된 실시예에 의하여 정할 것이 아니고 특허청구범위와 특허청구범위에 균등한 것에 의하여 정하여져야 한다.Although many matters are specifically described in the above description, these should be construed as examples of preferred embodiments rather than limiting the scope of the invention. Therefore, the invention should not be defined by the described embodiments, but should be defined by the claims and equivalents to the claims.

120 : 표시패널 121 : 타이밍 컨트롤러
122 : 소스 드라이버 123 : 게이트 드라이버
124 : 영상데이터 처리회로 124a : 에지 예측부
124b : 비트-뎁스 확장부 124c : 콘투어 맵 생성부
124d : 적응성 평균 필터링부120: display panel 121: timing controller
122: source driver 123: gate driver
124: image data processing circuit 124a: edge prediction unit
124b: bit-depth extension unit 124c: contour map generation unit
124d: adaptive average filtering unit

Claims

a display panel on which an input image is displayed; and
and an image data processing circuit that determines a contour region and an edge region from the input image, and creates an image in which a bit-depth is extended in a one-dimensional direction with respect to the contour region,
The image data processing circuit performs edge prediction before determining the contour region, generates a contour map for the contour region, and calculates a step_ratio and a step_value through the contour map. A display device for generating the bit-depth-extended image by calculating and adding the step_value to the lower bit of the bit-extended input image by zero padding.

The method of claim 1, wherein the image data processing circuit comprises:
edge prediction unit;
a contour area determination unit;
bit-depth extension;
adaptive average filtering unit; and
A display device comprising a data processing unit.

The method according to claim 1, wherein the image data processing circuit detects a contour edge of the input image in the one-dimensional direction, and determines as the contour region when a difference between a value of a current pixel and values of neighboring pixels is smaller than a reference value. display device.

The method of claim 2, wherein the edge prediction unit
Calculate the image predictor,
Calculate the image increase/decrease rate for each pixel,
A display device for calculating an image prediction value using the image predictor variable and the image increase/decrease rate, and then calculates a predicted image based on the image prediction value.

The display device of claim 4 , wherein the contour area determination unit determines the contour area and the edge area with respect to the predicted image calculated through the edge prediction unit.

The display device of claim 5 , wherein when the contour area determining unit determines that the area is other than the contour area, the input image of the area is bypassed to the data processing unit.

The display device of claim 5 , wherein the bit-depth extension unit generates the contour map with respect to the contour area.

The method of claim 7, wherein the bit-depth extension unit calculates the step_ratio and the step_value using the contour map, and adds the step_value to the lower bit of the input image bit-extended by the zero padding. A display device for generating an image having the bit-depth extended by adding .

The method according to claim 2, wherein the adaptive average filtering unit calculates the difference between the bit-depth-extended image and the average image, and if the difference is greater than a threshold value, the output is the bit-depth-extended image, If it is smaller than the threshold value, the output is transmitted to the data processing unit as the average image.

supplying the input image to the image data processing circuit;
calculating a predicted image through an operation on the input image;
performing bit-depth extension in a one-dimensional direction based on the calculated prediction image; and
and performing adaptive average filtering on the bit-depth-extended image,
The performing of the bit-depth extension includes determining a contour region and an edge region with respect to the calculated prediction image, generating a contour map for the contour region, and using the contour map. An image data processing method comprising the step of calculating a step_ratio and a step_value, and adding the step_value to a lower bit of an input image bit-extended by zero padding to generate an image having an extended bit-depth.

The method of claim 10, wherein the calculating of the predicted image comprises:
calculating an image predictor;
calculating an image increase/decrease rate of each pixel; and
and calculating an image prediction value using the image predictor variable and the image increase/decrease rate, and then calculating a predicted image based on this.

The method of claim 10, wherein the performing the bit-depth extension comprises:
and bypassing the input image of the region to a data processing unit when it is determined that the region is other than the contour region.

11. The method of claim 10, wherein the performing of the adaptive mean filtering comprises:
receiving the bit-depth-extended image;
calculating an average value according to the mask size, and calculating a difference between the pixel value and the average value for each pixel; and
and outputting the image with the bit-depth extended when the difference is greater than the threshold value, and outputting the image with the average value when the difference is smaller than the threshold value.