KR102326165B1

KR102326165B1 - Image processing method and display device using the same

Info

Publication number: KR102326165B1
Application number: KR1020170106915A
Authority: KR
Inventors: 송지희; 김정겸; 추교혁
Original assignee: 엘지디스플레이 주식회사
Priority date: 2017-08-23
Filing date: 2017-08-23
Publication date: 2021-11-16
Also published as: KR20190021756A

Abstract

본 발명에 따른 영상 처리 방법은, 제1 필터를 이용하여 제1 해상도의 이미지 데이터로부터 제1 크기의 블록 단위로 제1 해상도보다 높은 제2 해상도의 1차 복원 데이터를 생성하고, 제2 필터를 이용하여 블록의 1차 복원 데이터로부터 제1 크기보다 작은 제2 크기의 국소 영역 단위로 2차 복원 데이터를 생성하고, 2차 복원 데이터를 이용하여 표시 장치에 입력되는 영상 데이터를 국소 영역 단위로 보상하여, 저해상도의 보상 데이터를 이용하여 표시 장치 고유의 표시 결함을 보상할 수 있다.In the image processing method according to the present invention, primary reconstruction data of a second resolution higher than the first resolution is generated in blocks of a first size from image data of a first resolution by using a first filter, and the second filter is applied. Secondary reconstruction data is generated in units of a local area having a second size smaller than the first size from the primary reconstruction data of the block using the second reconstruction data, and image data input to the display device is compensated in units of local areas by using the second reconstruction data. Accordingly, display defects inherent in the display device may be compensated using the low-resolution compensation data.

Description

Image processing method and display device using the same

본 발명은 영상 처리 방법 및 이를 이용한 표시 장치에 관한 것이다.The present invention relates to an image processing method and a display device using the same.

정보화 사회로 진행함에 따라 화상을 표시하기 위한 표시 장치에 대한 요구가 다양해지고 있으며, 근래에는 액정 표시 장치(LCD: Liquid Crystal Display), 유기 발광 다이오드 표시 장치(OLED: Organic Light Emitting Diode)와 같은 여러 평판 표시 장치가 널리 사용되고 있다.As the information society progresses, the demand for a display device for displaying an image is diversifying, and in recent years, various A flat panel display is widely used.

평판 표시 장치를 제조할 때, 제품 사이 화질의 편차를 줄이고 또한 제품 내에서도 각 픽셀마다 화질이 균일하게 되도록 많은 노력을 기울이지만, 각 제품마다 또한 각 픽셀마다 휘도나 색채를 균일하게 하는 것이 쉽지 않아, 특정 위치의 휘도가 높거나 낮거나 특정 색채가 더 두드러지게 보일 수 있다. 또한, 표시 장치의 제조 과정에 화면 특정 위치에 얼룩이나 스크래치가 발생할 수 있고, 이는 해당 표시 장치의 표시 결함으로 나타난다.When manufacturing a flat panel display device, much effort is made to reduce the difference in image quality between products and to make the image quality uniform for each pixel within the product, but it is not easy to make the luminance or color uniform for each product and for each pixel, The luminance of a specific location may be high or low, or a specific color may appear more prominent. In addition, during the manufacturing process of the display device, a stain or scratch may occur at a specific location on the screen, which appears as a display defect of the display device.

이러한 점을 고려하여, 제품 제조 후 출하 전에 각 제품에 대해 표시 결함과 관련된 정보를 얻고 이를 보상하기 위한 보상 데이터를 취득하는 과정을 수행하는데, 화면에 소정 휘도와 색채를 표시한 상태에서 카메라로 찍고 카메라가 캡쳐한 이미지를 근거로 보상 데이터를 얻는 카메라 보상 과정을 거친다.In consideration of this, the process of obtaining information related to display defects for each product and obtaining compensation data to compensate for it is performed after product manufacturing and before shipment. It goes through a camera compensation process that obtains compensation data based on the image captured by the camera.

표시 장치는, 이러한 보상 데이터를 메모리에 저장하고, 호스트로부터 입력되는 영상 데이터에 보상 데이터를 더하거나 빼주는 보상 연산을 하고 보상 연산이 된 영상 데이터를 화면에 표시함으로써, 해당 표시 장치에 고유한 표시 결함이 제거된 영상을 표시할 수 있다.The display device stores the compensation data in a memory, performs a compensation operation that adds or subtracts compensation data to or from the image data input from the host, and displays the compensated image data on the screen, so that a display defect unique to the display device is eliminated. Removed images can be displayed.

하지만, 표시 장치의 해상도가 증가함에 따라, 메모리에 저장해야 할 보상 데이터의 크기가 커져 메모리 용량이 커지고 제품 비용이 높아지는 문제가 있다.However, as the resolution of the display device increases, the size of compensation data to be stored in the memory increases, resulting in increased memory capacity and increased product cost.

또한, 고해상도의 보상 데이터를 얻는 카메라 보상 과정을 각 제품마다 수행해야 하는데, 카메라 보상 과정에 시간이 많이 걸리거나 카메라 촬영한 화면에 모아레(Moire)가 발생하여 제대로 된 보상 데이터를 얻지 못하는 문제가 있다.In addition, the camera compensation process to obtain high-resolution compensation data must be performed for each product, but there is a problem in that the compensation data cannot be obtained properly because the camera compensation process takes a lot of time or moire occurs on the screen shot by the camera. .

또한, 보상 데이터를 저화질 또는 저해상도로 얻는 경우, 보상 데이터가 해당 제품 고유의 표시 결함을 제대로 반영하지 못하여 보상 성능이 저하되고 화면 품질이 떨어지는 문제가 있다.In addition, when the compensation data is obtained in a low quality or a low resolution, the compensation data does not properly reflect a display defect unique to the corresponding product, so compensation performance is deteriorated and the screen quality is deteriorated.

본 발명은 이러한 상황을 감안한 것으로, 본 발명의 목적은 작은 용량의 보상 데이터를 이용하여 표시 장치 고유의 표시 결함을 보상하는 방법과 장치를 제공하는 데 있다.The present invention has taken this situation into account, and an object of the present invention is to provide a method and an apparatus for compensating for a display defect inherent in a display device by using compensation data having a small capacity.

본 발명의 또 다른 목적은, 표시 장치의 리소스를 증가시키지 않고 표시 장치 고유의 표시 결함을 보상하는 방법과 장치를 제공하는 데 있다.Another object of the present invention is to provide a method and apparatus for compensating for a display defect inherent in a display device without increasing resources of the display device.

본 발명의 또 다른 목적은, 표시 장치 고유의 표시 결함을 보상할 보상 데이터를 적은 용량의 데이터로 빠르게 얻는 방법을 제공하는 데 있다.Another object of the present invention is to provide a method of quickly obtaining compensation data for compensating for a display defect inherent in a display device with a small amount of data.

본 발명의 일 실시예에 따른 영상 처리 방법은, 제1 필터를 이용하여 제1 해상도의 이미지 데이터로부터 제1 크기의 블록 단위로 제1 해상도보다 높은 제2 해상도의 1차 복원 데이터를 생성하는 단계; 제2 필터를 이용하여 블록의 1차 복원 데이터로부터 제1 크기보다 작은 제2 크기의 국소 영역 단위로 2차 복원 데이터를 생성하는 단계; 2차 복원 데이터를 이용하여 표시 장치에 입력되는 영상 데이터를 국소 영역 단위로 보상하는 단계; 및 보상된 영상 데이터를 표시하는 단계를 포함하여 이루어지는 것을 특징으로 한다.The image processing method according to an embodiment of the present invention comprises the steps of generating primary reconstructed data of a second resolution higher than the first resolution in units of blocks of a first size from image data of a first resolution by using a first filter; ; generating secondary restoration data in units of a local area having a second size smaller than the first size from primary restoration data of a block by using a second filter; compensating for image data input to a display device in units of a local area using the secondary reconstruction data; and displaying the compensated image data.

일 실시예에서, 블록은 n x n (여기서, n은 짝수인 자연수) 크기의 픽셀 집합이고 국소 영역은 블록에 포함된 하나의 픽셀 라인일 수 있다.In one embodiment, a block may be a set of pixels with a size of n x n (where n is an even natural number), and the local area may be one pixel line included in the block.

일 실시예에서, 1 필터와 제2 필터는 복수 개의 입력 노드, 복수 개의 노드를 포함하는 둘 이상의 숨겨진 레이어 및 복수 개의 출력 노드를 포함하고 노드들이 서로 연결되는 인공 신경망으로 구현될 수 있다.In an embodiment, the first filter and the second filter may be implemented as an artificial neural network including a plurality of input nodes, two or more hidden layers including a plurality of nodes, and a plurality of output nodes, and the nodes are connected to each other.

일 실시예에서, 인공 신경망은 복수 개의 표시 장치에 대해 촬영한 제1 해상도의 이미지 데이터와 제2 해상도의 이미지 데이터를 이용하여 학습한 파라미터를 포함할 수 있다.In an embodiment, the artificial neural network may include parameters learned using image data of a first resolution and image data of a second resolution photographed for a plurality of display devices.

일 실시예에서, 제1 해상도의 이미지 데이터는 해당 표시 장치에 소정의 영상을 표시한 화면을 디포커스 상태로 촬영한 이미지가 다운샘플링 되어 해당 표시 장치에 저장될 수 있다.In an embodiment, the image data of the first resolution may be stored in the corresponding display device by down-sampling an image obtained by photographing a screen on which a predetermined image is displayed on the corresponding display device in a defocused state.

일 실시예에서, 2차 복원 데이터를 생성하는 단계는, 블록 단위의 1차 복원 데이터로부터 국소 영역 단위로 데이터를 추출하는 제1 단계; 제2 필터를 이용하여 추출된 국소 영역의 데이터에 대한 세부 프로파일을 예측하는 제2 단계; 및 예측된 세부 프로파일과 추출된 국소 영역의 데이터를 결합하여 2차 복원 데이터를 생성하는 제3 단계를 포함하여 이루어지고, 세부 프로파일은 국소 영역의 1차 복원 데이터와 해당 국소 영역의 실제 데이터 사이의 오차 값에 해당 할 수 있다.In an embodiment, the generating of the secondary reconstructed data may include: a first step of extracting data in units of a local area from the primary reconstructed data in units of blocks; a second step of predicting a detailed profile of the extracted local region data using a second filter; and a third step of generating secondary reconstructed data by combining the predicted detailed profile and the extracted local area data, wherein the detailed profile is formed between the first reconstructed data of the local area and the actual data of the corresponding local area. It may correspond to an error value.

일 실시예에서, 복수 개의 국소 영역의 세부 프로파일들을 복수 개의 클래스로 분류할 때, 제2 필터는 각 클래스에 대한 확률 값을 출력하되, 입력되는 국소 영역의 데이터가 속하는 클래스에 대한 제1 확률 값을 높은 값으로 출력하고, 다른 클래스에 대한 확률 값을 제1 확률 값보다 낮은 값으로 출력할 수 있다.In an embodiment, when classifying detailed profiles of a plurality of local regions into a plurality of classes, the second filter outputs a probability value for each class, but a first probability value for a class to which input local region data belongs may be output as a high value, and a probability value for another class may be output as a value lower than the first probability value.

일 실시예에서, 제3 단계는, 복수 개의 클래스 각각에 대해서 해당 클래스의 대표 데이터와 해당 클래스에 대한 확률 값을 곱하고 복수 개의 곱한 결과를 더하여 제1 값을 구하고, 추출된 국소 영역의 데이터에 소정의 파라미터를 곱하여 제2 값을 구하고, 제1 값과 제2 값을 더하여 해당 국소 영역에 대한 2차 복원 데이터를 생성할 수 있다.In an embodiment, the third step is to obtain a first value by multiplying the representative data of the corresponding class and the probability value for the corresponding class for each of the plurality of classes and adding the plurality of multiplication results, and adding a predetermined value to the extracted local area data. A second value may be obtained by multiplying a parameter of , and the second reconstructed data for the corresponding local area may be generated by adding the first value and the second value.

본 발명의 다른 실시예에 따른 영상 처리 장치는, 제1 해상도의 이미지 데이터를 저장하기 위한 메모리; 제1 필터를 내장하고, 입력되는 영상 데이터의 각 국소 영역에 대하여 해당 국소 영역을 포함하는 블록을 이미지 데이터로부터 찾고, 제1 필터를 이용하여 블록의 이미지 데이터로부터 제1 해상도보다 높은 제2 해상도의 1차 복원 데이터를 생성하기 위한 글로벌 특징 복원부; 제2 필터를 내장하고, 블록의 1차 복원 데이터로부터 해당 국소 영역의 데이터를 추출하고, 제2 필터를 이용하여 추출된 국소 영역의 데이터로부터 해당 국소 영역의 세부 프로파일이 복원된 제2 복원 데이터를 생성하기 위한 로컬 프로파일 복원부; 및 입력되는 영상 데이터 중에서 해당 국소 영역의 데이터에 복원된 제2 복원 데이터를 더하거나 빼주어 보상된 영상 데이터를 출력하기 위한 보상부를 포함하여 구성되고, 세부 프로파일은 국소 영역의 1차 복원 데이터와 해당 국소 영역의 실제 데이터 사이의 오차 값에 해당하는 것을 특징으로 한다.An image processing apparatus according to another embodiment of the present invention includes: a memory for storing image data of a first resolution; A first filter is built in, and for each local area of input image data, a block including the corresponding local area is found from the image data, and a second resolution higher than the first resolution is obtained from the image data of the block using the first filter. a global feature restoration unit for generating primary restoration data; The second filter is built-in, the data of the corresponding local area is extracted from the primary reconstruction data of the block, and the second reconstruction data in which the detailed profile of the corresponding local area is reconstructed from the data of the extracted local area using the second filter. a local profile restoration unit for generating; and a compensator for outputting image data compensated by adding or subtracting second reconstructed data to data of a corresponding local area from among input image data, wherein the detailed profile includes the first reconstructed data of the local area and the corresponding local area. It is characterized in that it corresponds to an error value between the actual data of the region.

일 실시예에서, 메모리는 해당 표시 장치에 소정의 영상을 표시한 화면을 디포커스 상태로 촬영한 이미지를 다운샘플링 한 제1 해상도의 이미지 데이터를 저장할 수 있다.In an embodiment, the memory may store image data of a first resolution obtained by down-sampling an image obtained by photographing a screen displaying a predetermined image on a corresponding display device in a defocused state.

일 실시예에서, 로컬 프로파일 복원부는, 블록의 1차 복원 데이터로부터 해당 국소 영역의 데이터를 추출하기 위한 로컬 프로파일 추출부; 제2 필터를 이용하여 추출된 국소 영역에 대한 세부 프로파일을 예측하기 위한 세부 프로파일 예측부; 및 예측된 세부 프로파일과 추출된 국소 영역의 데이터를 결합하여 2차 복원 데이터를 생성하기 위한 로컬 프로파일 계산부를 포함하여 구성되고, 제2 필터는, 복수 개의 국소 영역의 세부 프로파일들을 복수 개의 클래스로 분류할 때, 각 클래스에 대한 확률 값을 출력하되, 입력되는 국소 영역의 데이터가 속하는 클래스에 대한 제1 확률 값을 높은 값으로 출력하고, 다른 클래스에 대한 확률 값을 제1 확률 값보다 낮은 값으로 출력할 수 있다.In an embodiment, the local profile restoration unit includes: a local profile extraction unit for extracting data of a corresponding local area from the primary restoration data of a block; a detailed profile prediction unit for predicting a detailed profile for the local region extracted using the second filter; and a local profile calculator for generating secondary reconstruction data by combining the predicted detailed profile and extracted local region data, wherein the second filter classifies detailed profiles of a plurality of local regions into a plurality of classes When outputting the probability value for each class, the first probability value for the class to which the data of the input local area belongs is output as a high value, and the probability value for the other class is set to a value lower than the first probability value can be printed out.

본 발명의 또 다른 실시예에 따른 표시 장치는, 데이터 라인들과 게이트 라인들이 교차하고 매트릭스 형태로 형성되는 픽셀들을 포함하는 표시 패널; 보상 데이터를 생성하고 이를 이용하여 입력되는 영상 데이터를 보상하여 출력하기 위한 영상 처리부; 영상 처리부가 출력하는 영상 데이터를 표시하기 위한 제어 신호들을 생성하기 위한 타이밍 컨트롤러; 타이밍 컨트롤러의 제어에 따라 타이밍 컨트롤러로부터 입력되는 영상 데이터를 데이터 전압으로 변환하여 데이터 라인들에 출력하기 위한 데이터 구동 회로; 및 타이밍 컨트롤러의 제어에 따라 데이터 전압에 동기되는 스캔 펄스를 생성하여 게이트 라인들에 순차적으로 공급하기 위한 게이트 구동 회로를 포함하여 구성되고, 영상 처리부는, 제1 해상도의 이미지 데이터를 저장하기 위한 메모리; 제1 필터를 내장하고, 입력되는 영상 데이터의 각 국소 영역에 대하여 해당 국소 영역을 포함하는 블록을 이미지 데이터로부터 찾고, 제1 필터를 이용하여 블록의 이미지 데이터로부터 제1 해상도보다 높은 제2 해상도의 1차 복원 데이터를 생성하기 위한 글로벌 특징 복원부; 제2 필터를 내장하고, 블록의 1차 복원 데이터로부터 해당 국소 영역의 데이터를 추출하고, 제2 필터를 이용하여 추출된 국소 영역의 데이터로부터 해당 국소 영역의 세부 프로파일이 복원된 제2 복원 데이터를 생성하기 위한 로컬 프로파일 복원부; 및 입력되는 영상 데이터 중에서 해당 국소 영역의 데이터에 복원된 제2 복원 데이터를 더하거나 빼주어 보상된 영상 데이터를 출력하기 위한 보상부를 포함하여 구성되고, 세부 프로파일은 국소 영역의 1차 복원 데이터와 해당 국소 영역의 실제 데이터 사이의 오차 값에 해당하는 것을 특징으로 한다.A display device according to another embodiment of the present invention includes: a display panel including pixels in which data lines and gate lines intersect and are formed in a matrix form; an image processing unit for generating compensation data and compensating and outputting the input image data using the compensation data; a timing controller for generating control signals for displaying image data output by the image processing unit; a data driving circuit configured to convert image data input from the timing controller into data voltages under the control of the timing controller and output the converted image data to data lines; and a gate driving circuit for generating scan pulses synchronized with the data voltage under the control of the timing controller and sequentially supplying them to the gate lines, wherein the image processing unit includes a memory for storing image data of a first resolution ; A first filter is built in, and for each local area of input image data, a block including the corresponding local area is found from the image data, and a second resolution higher than the first resolution is obtained from the image data of the block using the first filter. a global feature restoration unit for generating primary restoration data; The second filter is built-in, the data of the corresponding local area is extracted from the primary reconstruction data of the block, and the second reconstruction data in which the detailed profile of the corresponding local area is reconstructed from the data of the extracted local area using the second filter. a local profile restoration unit for generating; and a compensator for outputting image data compensated by adding or subtracting second reconstructed data to data of a corresponding local area from among input image data, wherein the detailed profile includes the first reconstructed data of the local area and the corresponding local area. It is characterized in that it corresponds to an error value between the actual data of the region.

따라서, 낮은 해상도 또는 낮은 용량의 보상 데이터를 이용하면서도 표시 장치 고유의 표시 결함을 보상하는 보상 성능을 향상시킬 수 있게 된다.Accordingly, it is possible to improve compensation performance for compensating for a display defect inherent in a display device while using compensation data having a low resolution or a low capacity.

또한, 표시 장치 고유의 표시 결함을 보상하기 위한 보상 데이터를 저장하기 위한 메모리 용량을 증가시키지 않고도, 고해상도 표시 장치의 화면 특징을 효과적으로 보상할 수 있게 된다.In addition, it is possible to effectively compensate the screen characteristics of the high-resolution display device without increasing the memory capacity for storing compensation data for compensating for display defects inherent in the display device.

또한, 표시 장치를 출하하는 과정에서 보상 데이터를 얻기 위한 카메라 보상 과정에 걸리는 시간을 줄일 수 있게 된다.In addition, it is possible to reduce the time required for the camera compensation process for obtaining compensation data in the process of shipping the display device.

도 1은 점등하는 픽셀 도트를 이동시키면서 화면을 복수 회 촬영하고 이를 합성하여 고해상도 보상 데이터를 얻는 카메라 보상 과정을 도시한 것이고,
도 2는 카메라 보상 과정에서 화면에 포커스를 맞추어 고해상도의 보상 데이터를 얻을 때 보상 데이터에 모아레가 발생하는 것을 도시한 것이고,
도 3은 고주파 영역의 프로파일이 서로 다른 두 영상을 도시한 것이고,
도 4는 영상의 프로파일과 정확하게 일치하지 않는 보상 데이터로 해당 영상을 보상할 때 해당 영상의 프로파일과 보상 데이터가 영상에 표시되는 예를 도시한 것이고,
도 5는 본 발명의 일 실시예에 따라 저해상도로 촬영된 디포커스 이미지 데이터로부터 고해상도의 보상 데이터를 얻는 과정을 도시한 것이고,
도 6은 본 발명이 적용되는 표시 장치를 블록으로 도시한 것이고,
도 7은 본 발명에 따른 영상 처리부의 구성을 블록으로 도시한 것이고,
도 8은 본 발명에 따른 로컬 프로파일 복원부의 구성을 블록으로 도시한 것이고,
도 9는 본 발명의 일 실시예에 따라 글로벌 특징 복원부에 적용되는 필터의 파라미터를 얻는 글로벌 특징 학습 과정을 도시한 것이고,
도 10은 본 발명의 일 실시예에 따라 로컬 프로파일 복원부에 적용되는 필터의 파라미터를 얻는 로컬 프로파일 학습 과정을 도시한 것이고,
도 11은 도 10의 로컬 프로파일 학습 과정에서 로컬 프로파일 추출 과정을 구체적으로 도시한 것이고,
도 12는 도 11의 로컬 프로파일 추출 과정에서 얻은 세부 프로파일을 이용하여 로컬 프로파일 클래스를 추출하는 과정을 도시한 것이고,
도 13은 도 10의 로컬 프로파일 학습 과정에서 로컬 프로파일 클래스를 학습하는 과정을 구체적으로 도시한 것이고,
도 14는 카메라가 복수 개의 패널에 대해서 촬영한 보상 화면 데이터로부터 다수 개의 로컬 프로파일 데이터를 얻는 과정을 도시한 것이고,
도 15는 도 14 과정에서 얻은 로컬 프로파일 데이터를 픽셀 위치 별로 분류하는 것을 도시한 것이고,
도 16은 각 픽셀 위치마다 그 값의 분포 특성을 이용하여 분류하는 과정을 도시한 것이고,
도 17과 도 18은 픽셀 위치마다 소정 개수의 클래스로 분류된 결과를 도시한 것이고,
도 19는 2개의 픽셀 위치를 하나의 단위로 하여 그 값의 분포 특성에 따라 로컬 프로파일 데이터를 분류하는 다른 예를 도시한 것이고,
도 20은 복수의 방법에 따라 얻은 보상 데이터 이미지를 비교한 것이고,
도 21은 복수의 방법에 따라 얻은 로컬 프로파일 데이터를 비교한 것이다.1 is a diagram illustrating a camera compensation process in which a screen is photographed multiple times while moving a lit pixel dot and synthesized to obtain high-resolution compensation data;
2 is a diagram illustrating that moiré occurs in compensation data when high-resolution compensation data is obtained by focusing on the screen in the camera compensation process;
3 shows two images with different profiles in the high-frequency region;
4 shows an example in which the profile and compensation data of the image are displayed on the image when the image is compensated with compensation data that does not exactly match the profile of the image;
5 is a diagram illustrating a process of obtaining high-resolution compensation data from defocused image data taken at low resolution according to an embodiment of the present invention;
6 is a block diagram of a display device to which the present invention is applied;
7 is a block diagram illustrating the configuration of an image processing unit according to the present invention;
8 is a block diagram illustrating the configuration of a local profile restoration unit according to the present invention;
9 is a diagram illustrating a global feature learning process for obtaining a parameter of a filter applied to a global feature restoration unit according to an embodiment of the present invention;
10 is a diagram illustrating a local profile learning process for obtaining a parameter of a filter applied to a local profile restoration unit according to an embodiment of the present invention;
11 shows in detail the local profile extraction process in the local profile learning process of FIG.
12 is a diagram illustrating a process of extracting a local profile class using a detailed profile obtained in the process of extracting a local profile of FIG. 11;
13 is a detailed view of a process of learning a local profile class in the local profile learning process of FIG.
14 is a diagram illustrating a process of obtaining a plurality of local profile data from compensation screen data captured by a camera for a plurality of panels;
15 is a diagram illustrating the classification of the local profile data obtained in the process of FIG. 14 for each pixel position;
16 is a diagram illustrating a process of classifying each pixel position using a distribution characteristic of its value;
17 and 18 show the results of classification into a predetermined number of classes for each pixel position,
19 shows another example of classifying local profile data according to the distribution characteristics of the values by using two pixel positions as one unit;
20 is a comparison of compensation data images obtained according to a plurality of methods,
21 is a comparison of local profile data obtained according to a plurality of methods.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성 요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings. Like reference numerals refer to substantially identical elements throughout. In the following description, if it is determined that a detailed description of a known function or configuration related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted.

표시 장치 제조 과정에서 화면 표면에 얼룩이 지거나 상처가 발생할 수 있고, 또한 위치에 따라 휘도나 색채가 달라지고, 이는 화면에 표시되는 영상의 품질을 저하시킨다. 이와 같이 표시 장치 고유의 표시 결함을 해소하기 위해 제품 출하 전에 카메라 보상 과정을 거친다.During the manufacturing process of the display device, stains or scratches may occur on the surface of the screen, and the luminance or color changes depending on the location, which deteriorates the quality of the image displayed on the screen. As described above, in order to solve the display defects inherent in the display device, a camera compensation process is performed before product shipment.

즉, 조립된 표시 장치에 소정의 영상, 예를 들어 중간 휘도의 그레이를 표시하고 이를 카메라로 캡쳐 하여 화면 고유의 표시 결함, 즉 얼룩, 스크래치, 휘도 차, 색채 이상 등을 검출하고, 이를 보상할 수 있는 보상 데이터를 생성하고, 표시 장치의 메모리에 저장할 수 있다.That is, a predetermined image, for example, gray of medium luminance is displayed on the assembled display device, and it is captured by a camera to detect display defects unique to the screen, that is, stains, scratches, luminance differences, color abnormalities, etc., and compensate them. Compensation data that can be used may be generated and stored in the memory of the display device.

도 1은 점등하는 픽셀 도트를 이동시키면서 화면을 복수 회 촬영하고 이를 합성하여 고해상도 보상 데이터를 얻는 카메라 보상 과정을 도시한 것이고, 도 2는 카메라 보상 과정에서 화면에 포커스를 맞추어 고해상도의 보상 데이터를 얻을 때 보상 데이터에 모아레가 발생하는 것을 도시한 것이다.1 shows a camera compensation process of photographing a screen a plurality of times while moving a lit pixel dot and synthesizing them to obtain high-resolution compensation data, and FIG. It shows that moiré occurs in the compensation data when

도 1은, 고해상도의 보상 데이터를 얻기 위해, 표시 장치의 픽셀들을 소정 개수를 하나의 블록으로 분할하고, 각 블록의 대응되는 위치의 픽셀들만을 순서대로 점등한 상태로 카메라로 화면을 촬영하되 블록에 포함된 픽셀의 개수만큼 카메라로 화면을 촬영하여 영상을 합성하고, 이를 근거로 화면의 표시 결함을 보상하기 위한 보상 데이터를 생성하는 쉬프트 닷 패턴(Shift Dot Pattern) 촬영 방식이라고 한다.1 is a block diagram in which a predetermined number of pixels of a display device are divided into one block in order to obtain high-resolution compensation data, and only pixels in corresponding positions of each block are sequentially lit and the screen is photographed with a camera. It is called a shift dot pattern shooting method in which a screen is taken with a camera as many as the number of pixels included in the camera, an image is synthesized, and compensation data for compensating for a display defect of the screen is generated based on this.

도 1에서는, 패널의 픽셀들을 4x4 크기의 블록으로 분할하고, 먼저 각 블록의 (1, 1) 위치의 픽셀만을 점등하고 다른 픽셀들은 소등한 상태로 화면을 표시하고 카메라로 이를 (1, 1) 패턴으로 촬영하고, 각 블록의 (1, 2) 위치의 픽셀만을 점등하고 다른 픽셀들은 소등한 상태로 화면을 표시하고 카메라로 이를 (1, 2) 패턴으로 촬영하고, 비슷하게 점등 위치를 순차적으로 바꾸면서 (4, 4) 패턴까지 16회 촬영하여, 16개의 패턴 영상을 합성하여 고해상도의 보상 데이터를 얻을 수 있다.In Fig. 1, the pixels of the panel are divided into 4x4 blocks, and first, only the pixels at the (1, 1) position of each block are turned on and the other pixels are turned off. Shooting in a pattern, lighting only the pixels at the (1, 2) position of each block, and displaying the screen with the other pixels turned off (4, 4) It is possible to obtain high-resolution compensation data by synthesizing 16 pattern images by shooting 16 times up to the pattern.

도 1의 쉬프트 닷 패턴 촬영 방식은 화면을 고해상도로 촬영하여 고해상도의 보상 데이터를 얻는 장점이 있지만, 블록의 크기가 커질수록 촬영 회수가 증가하고 보상 데이터를 생성하기 위해 필요한 시간이 증가하는 문제가 있다.The shift dot pattern shooting method of FIG. 1 has the advantage of obtaining high-resolution compensation data by photographing the screen at high resolution, but as the size of the block increases, the number of times of shooting increases and the time required to generate compensation data increases. .

도 2에서는 화면에 포커스를 정확히 맞추어(On focus) 높은 해상도로 화면을 촬영하고 이를 이용하여 보상 데이터를 생성하는데, 포커스를 정확히 맞추어 화면을 촬영하면 촬영된 이미지에 모아레가 발생하여 화면 고유의 결함을 반영하지 못하는 문제가 있다.In FIG. 2, the screen is captured at a high resolution by accurately focusing on the screen, and compensation data is generated using this. There is a problem that cannot be reflected.

도 1의 쉬프트 닷 패턴 촬영 방식에서 블록의 크기를 줄이면 촬영 시간을 줄일 수 있지만, 블록의 크기를 줄여, 예를 들어 블록을 2x2 크기로 줄여 도 2와 같이 고해상도로 화면을 촬영하면 모아레가 발생하기 때문에, 블록의 크기를 줄이는데 한계가 있다.In the shift dot pattern shooting method of Fig. 1, reducing the size of the block can reduce the shooting time, but reducing the size of the block, for example, reducing the block to a 2x2 size, and shooting a screen at a high resolution as shown in Fig. 2, causes moiré. Therefore, there is a limit in reducing the size of the block.

한편, 모아레를 막기 위해, 화면에 포커스를 맞추지 않고 디포커스 상태로 화면을 촬영할 수 있지만, 이 경우 촬영된 화면 이미지는 고해상도일 수 있지만 디포커스 상태이기 때문에 화면 이미지는 화면의 고주파 성분을 반영하지 못하고 저해상도의 데이터를 얻을 수 있을 뿐이다.On the other hand, in order to prevent moiré, the screen can be photographed in a defocused state without focusing on the screen. You can only get low-resolution data.

즉, 작은 얼룩이나 날카로운 특징을 가진 얼룩은 디포커스로 인해 뭉개져 촬영되기 때문에, 디포커스 상태로 촬영한 화면 이미지로는 이러한 얼룩을 정확히 보상하기 어렵고 보상 성능이 떨어진다.That is, since small specks or speckles with sharp features are crushed and photographed due to defocus, it is difficult to accurately compensate for these specks with a screen image taken in a defocused state, and the compensation performance is poor.

도 3은 고주파 영역의 프로파일이 서로 다른 두 영상을 도시한 것이고, 도 4는 영상의 프로파일과 정확하게 일치하지 않는 보상 데이터로 해당 영상을 보상할 때 해당 영상의 프로파일과 보상 데이터가 영상에 표시되는 예를 도시한 것이다.3 shows two images having different profiles in the high-frequency region, and FIG. 4 is an example in which the profile and compensation data of the corresponding image are displayed on the image when the corresponding image is compensated with compensation data that does not exactly match the profile of the image. will show

도 3에서 제1 일반 영상(Normal Image #1)과 제2 일반 영상(Normal Image #2)은 고주파 영역의 특징 또는 결함, 즉 고주파 프로파일(Profile #1, Profile #2)이 서로 일치하지는 않지만 그 패턴이 서로 유사하여, 시청자가 제1 일반 영상과 제2 일반 영상의 차이를 인지하기가 어렵다.In FIG. 3 , the first normal image (Normal Image #1) and the second normal image (Normal Image #2) do not match the characteristics or defects of the high-frequency region, that is, the high-frequency profiles (Profile #1, Profile #2). Since the patterns are similar to each other, it is difficult for a viewer to recognize a difference between the first normal image and the second normal image.

도 4의 위 그림에서, 제1 일반 영상에 대한 고주파 프로파일(Profile #1)을 보상할 수 있는 제1 보상 데이터(Compensation Data for Profile #1)를 제1 일반 영상과 합성하면, 고주파 영역의 결함이 제1 보상 데이터에 의해 상쇄되어 제1 일반 영상에 고주파 영역의 결함이 표시되지 않는다.4, when the first compensation data (Compensation Data for Profile #1) capable of compensating the high-frequency profile (Profile #1) for the first general image is synthesized with the first general image, defects in the high-frequency region The high-frequency region defect is not displayed in the first normal image because it is canceled by the first compensation data.

도 4의 아래 그림에서는, 제2 일반 영상의 고주파 프로파일(Profile #2)과 유사한 제1 일반 영상의 고주파 프로파일(Profile #1)을 제2 일반 영상에 대한 보상 데이터로 하여 제2 일반 영상과 합성한 결과가 도시되어 있는데, 도 3에서 일반 영상을 비교하는 것과는 달리, 보상하고자 하는 영상에 정확한 보상 데이터를 이용하지 않으면 보상 결과에 해당 영상의 고주파 결함뿐만 아니라 보상 데이터도 함께 표시될 수 있다.In the figure below of FIG. 4 , the high frequency profile (Profile #1) of the first general image similar to the high frequency profile (Profile #2) of the second general image is used as compensation data for the second general image and synthesized with the second general image Although a result is shown, unlike the comparison of normal images in FIG. 3 , if accurate compensation data is not used for an image to be compensated, not only high-frequency defects of the corresponding image but also compensation data may be displayed in the compensation result.

이와 같이, 일반 영상과는 달리, 보상 데이터는 전체적인 패턴뿐만 아니라 구체적인 프로파일도 포함하여야 화면의 표시 결함을 상쇄시킬 수 있다. 즉, 디포커스 상태로 저해상도로 화면을 촬영하여 얻은 보상 데이터를 단순히 그대로 이용해서는 화면의 표시 결함을 제대로 보상할 수 없다.As such, unlike a general image, the compensation data must include a specific profile as well as an overall pattern to offset display defects on the screen. That is, it is impossible to properly compensate for display defects of the screen by simply using the compensation data obtained by photographing the screen at a low resolution in a defocused state.

저해상도로 촬영한 이미지 데이터로부터 제대로 된 보상 데이터를 얻기 위해서는, 촬영한 이미지 데이터로부터 화면의 결함을 정확히 표현하는 구체적인 프로파일을 복원해야 한다.In order to obtain correct compensation data from image data taken at a low resolution, it is necessary to restore a specific profile that accurately expresses screen defects from the captured image data.

본 발명에서는, 저해상도로 촬영한 이미지 데이터로부터 손실이 적은 고해상도의 보상 데이터를 얻되, 블록 단위로 그 특성을 학습하여 1차 고해상도 복원 데이터를 얻고, 이를 다시 국소 영역 단위로 나누어 그 프로파일을 학습하여 2차 고해상도 보상 데이터를 얻고, 이를 결합하여 고해상도의 보상 데이터를 얻을 수 있다.In the present invention, high-resolution compensation data with low loss is obtained from image data taken at low resolution, the first high-resolution reconstructed data is obtained by learning the characteristics of each block, and the profile is learned by dividing it into local area units. It is possible to obtain the differential high-resolution compensation data and combine them to obtain high-resolution compensation data.

도 5는 본 발명의 일 실시예에 따라 저해상도로 촬영된 디포커스 이미지 데이터로부터 고해상도의 보상 데이터를 얻는 과정을 도시한 것이다.5 is a diagram illustrating a process of obtaining high-resolution compensation data from defocused image data captured at low resolution according to an embodiment of the present invention.

저해상도로 촬영한 이미지 데이터를 소정 크기의 블록 단위로 나누고 각 블록 이미지 데이터의 특징을 학습시켜(Global Feature Training) 블록의 글로벌 특징을 복원하여(Global Feature Recovery) 1차 고해상도 복원 데이터를 얻고, 복원된 글로벌 특징을 이용하여 블록에 포함된 각 국소 영역의 프로파일, 즉 로컬 프로파일을 학습시켜(Local Profile Training) 로컬 프로파일을 복원하여(Local Profile Recovery) 2차 고해상도 복원 데이터를 얻고, 이를 근거로 고해상도의 보상 데이터를 얻을 수 있다.The image data taken at low resolution is divided into blocks of a predetermined size, the characteristics of each block image data are learned (Global Feature Training), the global characteristics of the block are restored (Global Feature Recovery), the first high-resolution restored data is obtained, and the restored By learning the local profile, that is, the profile of each local area included in the block using global features (Local Profile Training), the second high-resolution restoration data is obtained (Local Profile Recovery), and high-resolution compensation is based on this. data can be obtained.

도 5에서 학습하는 과정, 즉 글로벌 특징 학습 과정과 로컬 프로파일 학습 과정은, 다수 개의 표시 장치에 대해서 수행하고, 그 수행 결과로 저해상도 이미지를 입력으로 하여 고해상도 이미지를 출력하는 필터를 얻는 과정이다. 또한, 도 5에서 복원하는 과정, 즉 글로벌 특징 복원 과정과 로컬 프로파일 복원 과정은, 각 표시 장치에서 입력되는 영상을 보상하기 위한 보상 데이터를 얻기 위해 수행할 수 있다.The learning process in FIG. 5 , that is, the global feature learning process and the local profile learning process, is a process of obtaining a filter that outputs a high-resolution image by taking a low-resolution image as an input as a result of performing it on a plurality of display devices. In addition, the restoration process in FIG. 5 , that is, the global feature restoration process and the local profile restoration process may be performed to obtain compensation data for compensating an image input from each display device.

같은 모델의 복수의 표시 장치 각각에 대해서, 화면에 소정 휘도와 색채를 표시한 상태에서 디포커스 상태로 이미지를 촬영하여 저해상도의 이미지 데이터를 얻고, 다수의 저해상도의 이미지 데이터를 이용하여 제1 필터, 예를 들어 제1 인공 신경망(ANN: Artificial Neural Network)을 학습시켜 저해상도의 블록을 입력으로 하여 고해상도의 블록(1차 고해상도 복원 데이터)을 출력으로 하는, 제1 필터의 파라미터를 얻는다(글로벌 특징 학습).For each of a plurality of display devices of the same model, an image is taken in a defocused state while a predetermined luminance and color are displayed on the screen to obtain low-resolution image data, and a first filter using the plurality of low-resolution image data; For example, a first artificial neural network (ANN: Artificial Neural Network) is trained, a low-resolution block is input, and a high-resolution block (first-order high-resolution reconstructed data) is obtained as an output, the parameter of the first filter is obtained (global feature learning). ).

또한, 다수의 저해상도 이미지 데이터로부터 제1 필터를 이용하여 다수의 고해상도의 블록을 얻고, 각 고해상도 블록에 포함된 다수의 국소 영역 데이터, 즉 1차 로컬 데이터를 이용하여 제2 필터, 예를 들어 제2 인공 신경망을 학습시켜 1차 로컬 데이터를 입력으로 하여 세부 프로파일이 반영된 2차 로컬 데이터를 출력하는, 제2 필터의 파라미터를 얻는다(로컬 프로파일 학습).In addition, a plurality of high-resolution blocks are obtained from a plurality of low-resolution image data using a first filter, and a second filter, for example, a second filter, 2 The artificial neural network is trained to obtain the parameters of the second filter that takes the primary local data as input and outputs the secondary local data reflecting the detailed profile (local profile learning).

2차 로컬 데이터는 해당 국소 영역의 세부 프로파일이 반영된 고해상도의 데이터로, 2차 로컬 데이터들을 결합하여 해당 표시 장치의 고해상도 보상 데이터를 얻을 수 있다.The secondary local data is high-resolution data in which the detailed profile of the corresponding local area is reflected, and high-resolution compensation data of the corresponding display device can be obtained by combining the secondary local data.

즉, 다수의 저해상도 이미지 데이터를 이용하여 제1 필터와 제2 필터를 학습시켜 고해상도의 보상 데이터를 얻도록 하는 파라미터를 얻은 상태에서, 같은 모델의 다른 표시 장치(학습에 이용되지 않은 표시 장치)에 대해 디포커스 상태로 촬영한 저해상도 이미지 데이터를 제1 필터와 제2 필터에 적용하면 블록 단위의 글로벌 특징과 국소 영역 단위의 세부 프로파일이 반영된 고해상도의 보상 데이터를 얻을 수 있다.That is, in the state that the parameters for obtaining high-resolution compensation data by learning the first filter and the second filter using a plurality of low-resolution image data are obtained, other display devices of the same model (display devices not used for learning) are displayed. By applying the low-resolution image data captured in the defocused state to the first filter and the second filter, high-resolution compensation data in which global features in block units and detailed profiles in local area units are reflected can be obtained.

여기서, 국소 영역은, 블록에 포함되어 블록보다 그 크기가 더 작은 영역으로, 블록을 구성하는 복수의 라인 중에서 하나의 라인(하나의 행에 포함된 픽셀들의 그룹)으로 설정할 수 있는데, 이는 라인 단위로 패널에 데이터를 기입하는 표시 장치에서 입력 영상 데이터를 라인 단위로 보상하는 것이 데이터 처리 속도나 메모리 관리에 유리하기 때문이다.Here, the local area is an area included in a block and has a smaller size than the block, and may be set to one line (a group of pixels included in one row) among a plurality of lines constituting the block, which is a line unit. This is because, in a display device that writes data to a raw panel, compensating for input image data line by line is advantageous for data processing speed or memory management.

표시 장치를 출하할 때, 디포커스 상태로 화면을 촬영한 저해상도의 이미지 데이터를 다운샘플링 하여 작은 용량의 저해상도 보상 데이터로 해당 표시 장치의 메모리에 저장하고, 학습 과정에서 획득한 파라미터를 적용한 제1 필터와 제2 필터도 보상 회로에 하드웨어로 추가할 수 있다.When the display device is shipped, it downsamples the low-resolution image data captured on the screen in a defocused state, stores it in the memory of the display device as a small capacity low-resolution compensation data, and applies the parameters acquired in the learning process to the first filter and a second filter can also be added to the compensation circuit as hardware.

표시 장치는, 입력 영상의 각 국소 영역, 즉 라인에 대해서, 제1 필터와 제2 필터를 이용하여 메모리에 저장된 저해상도의 이미지 데이터로부터 고해상도의 보상 데이터를 국소 영역 단위로 얻고, 이를 해당 국소 영역의 입력 영상 데이터와 결합하여 화면에 표시함으로써, 표시 장치 고유의 표시 결함을 상쇄할 수 있다.The display device obtains high-resolution compensation data from low-resolution image data stored in a memory for each local region, ie, a line, in a local region unit by using a first filter and a second filter for each local region, that is, a line of the input image, Display defects inherent in the display device can be offset by combining the input image data and displaying it on the screen.

도 6은 본 발명이 적용되는 표시 장치를 블록으로 도시한 것이다. 본 발명의 실시예에 따른 표시 장치는 표시 패널(10), 타이밍 컨트롤러(11), 데이터 구동 회로(12), 게이트 구동 회로(13) 및 영상 처리부(20)를 구비할 수 있다.6 is a block diagram of a display device to which the present invention is applied. A display device according to an exemplary embodiment may include a display panel 10 , a timing controller 11 , a data driving circuit 12 , a gate driving circuit 13 , and an image processing unit 20 .

표시 패널(10)에는 데이터 라인들(14)과 게이트 라인들(15)이 교차하고 매트릭스 형태로 형성되는 픽셀들을 포함한다. 표시 패널(10)의 데이터 라인들과 게이트 라인들의 교차부에는 박막 트랜지스터(Thin Film Transistor: TFT)가 형성된다. 표시 패널(10)은, 액정 표시 소자(Liquid Crystal Display, LCD), 전계 방출 표시 소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP) 및 무기 전계 발광 소자와 유기 발광 다이오드 소자(Organic Light Emitting Diode, OLED)를 포함한 전계 발광 소자(Electroluminescence Device, EL), 전기 영동 표시 소자(Electrophoresis, EPD) 등의 평판 표시 소자로 구현될 수 있다. 표시 패널(10)이 액정 표시 소자의 표시 패널로 구현되는 경우, 백라이트 유닛이 필요하다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다.The display panel 10 includes pixels in which data lines 14 and gate lines 15 cross each other and are formed in a matrix form. A thin film transistor (TFT) is formed at the intersection of the data lines and the gate lines of the display panel 10 . The display panel 10 includes a liquid crystal display (LCD), a field emission display (FED), a plasma display panel (PDP), an inorganic electroluminescent element, and an organic light emitting diode element. It may be implemented as a flat panel display device such as an electroluminescence device (EL) including an organic light emitting diode (OLED) and an electrophoresis display device (EPD). When the display panel 10 is implemented as a display panel of a liquid crystal display device, a backlight unit is required. The backlight unit may be implemented as a direct type backlight unit or an edge type backlight unit.

영상 처리부(20)는, 저해상도의 이미지 데이터로부터 고해상도의 보상 데이터를 복원하고, 입력되는 영상 데이터(RGB)에 복원된 보상 데이터를 더하거나 빼서 표시 결함이 상쇄된 영상 데이터(RGB')를 출력한다. 영상 처리부(20)는 타이밍 컨트롤러(11) 앞에 배치되거나 타이밍 컨트롤러(11) 내부에 장착될 수도 있다. 영상 처리부(20)에 대한 자세한 설명은 도 7과 도 8을 결부하여 다음에 설명한다.The image processing unit 20 restores high-resolution compensation data from low-resolution image data, and outputs image data RGB′ in which display defects are canceled by adding or subtracting the restored compensation data to input image data RGB. The image processing unit 20 may be disposed in front of the timing controller 11 or mounted inside the timing controller 11 . A detailed description of the image processing unit 20 will be described next in conjunction with FIGS. 7 and 8 .

타이밍 컨트롤러(11)는 영상 처리부(20)로부터 출력되는 영상 데이터(RGB')를 데이터 구동 회로(12)에 공급한다. 타이밍 컨트롤러(11)는 호스트 시스템(도시하지 않음)으로부터 수직 동기 신호(Vsync), 수평 동기 신호(Hsync), 데이터 인에이블 신호(Data Enable, DE), 도트 클럭(CLK) 등의 타이밍 신호를 입력 받아 데이터 구동 회로(12)와 게이트 구동 회로(13)의 동작 타이밍을 제어하기 위한 제어 신호들을 생성한다. 제어 신호들은 게이트 구동 회로(13)의 동작 타이밍을 제어하기 위한 게이트 타이밍 제어 신호(GCS)와 데이터 구동 회로(12)의 동작 타이밍을 제어하기 위한 데이터 타이밍 제어 신호(DCS)를 포함한다.The timing controller 11 supplies the image data RGB′ output from the image processing unit 20 to the data driving circuit 12 . The timing controller 11 inputs timing signals such as a vertical synchronization signal Vsync, a horizontal synchronization signal Hsync, a data enable signal DE, and a dot clock CLK from a host system (not shown). It receives and generates control signals for controlling operation timings of the data driving circuit 12 and the gate driving circuit 13 . The control signals include a gate timing control signal GCS for controlling an operation timing of the gate driving circuit 13 and a data timing control signal DCS for controlling an operation timing of the data driving circuit 12 .

데이터 구동 회로(12)는 타이밍 컨트롤러(11)의 제어에 따라 영상 데이터(RGB')를 데이터 전압으로 변환하여 데이터 라인들(14)로 출력한다. 게이트 구동 회로(13)는 타이밍 컨트롤러(11)의 제어에 따라 데이터 전압에 동기되는 스캔 펄스를 게이트 라인들(15)에 순차적으로 공급한다.The data driving circuit 12 converts the image data RGB' into a data voltage under the control of the timing controller 11 and outputs the converted image data RGB' to the data lines 14 . The gate driving circuit 13 sequentially supplies scan pulses synchronized with the data voltage to the gate lines 15 under the control of the timing controller 11 .

게이트 구동 회로(13)는, 타이밍 컨트롤러(11)의 제어에 따라 데이터 전압에 동기되는 스캔 펄스를 표시 패널(10)의 게이트 라인들(15)에 순차적으로 공급한다. 게이트 구동 회로(13)는 쉬프트 레지스터, 쉬프트 레지스터의 출력 신호를 픽셀의 TFT 구동에 적합한 스윙 폭으로 변환하기 위한 레벨 쉬프터 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적 회로들로 구성될 수 있다. 또는, 게이트 구동 회로(13)는 GIP(Gate Drive IC in Panel) 방식으로 표시 패널(10)의 하부 기판에 직접 형성될 수도 있다. GIP 방식의 경우, 레벨 쉬프터는 PCB(Printed Circuit Board) 위에 실장되고, 쉬프트 레지스터는 표시 패널(10)의 하부 기판에 형성될 수 있다.The gate driving circuit 13 sequentially supplies a scan pulse synchronized with the data voltage to the gate lines 15 of the display panel 10 under the control of the timing controller 11 . The gate driving circuit 13 may be composed of a plurality of gate driving integrated circuits each including a shift register, a level shifter for converting an output signal of the shift register to a swing width suitable for driving a TFT of a pixel, an output buffer, and the like. . Alternatively, the gate driving circuit 13 may be directly formed on the lower substrate of the display panel 10 using a GIP (Gate Drive IC in Panel) method. In the case of the GIP method, the level shifter may be mounted on a printed circuit board (PCB), and the shift register may be formed on a lower substrate of the display panel 10 .

도 7은 본 발명에 따른 영상 처리부의 구성을 블록으로 도시한 것이다.7 is a block diagram illustrating the configuration of an image processing unit according to the present invention.

영상 처리부(20)는, 패널에 표시할 영상 데이터(RGB)를 호스트로부터 입력 받고, 저해상도의 보상 데이터로부터 고해상도의 보상 데이터를 복원하고, 복원된 고해상도 보상 데이터를 이용하여 영상 데이터(RGB)를 보상하여, 표시 결함이 제거된 영상 데이터(RGB')를 출력한다.The image processing unit 20 receives image data RGB to be displayed on the panel from the host, restores high-resolution compensation data from low-resolution compensation data, and compensates for image data RGB using the restored high-resolution compensation data. Thus, the image data RGB' from which the display defect is removed is output.

이를 위해, 영상 처리부(20)는, 저해상도의 보상 데이터를 저장하기 위한 메모리(210), 제1 파라미터(Parameter #1)가 채용된 제1 필터를 이용하여 저해상도의 보상 데이터로부터 블록 단위로 해당 블록의 글로벌 특징을 복원하여 1차 고해상도 복원 데이터(Global Image)를 생성하는 글로벌 특징 복원부(220), 글로벌 특징 복원부가 블록 단위로 복원한 1차 고해상도 보상 데이터로부터 국소 영역 단위로 세부 프로파일을 예측하고 예측한 세부 프로파일과 해당 국소 영역의 데이터를 결합하여 각 국소 영역에 대한 고해상도 보상 데이터(Local Compensation Data)를 생성하는 로컬 프로파일 복원부(230) 및 로컬 프로파일 복원부가 생성한 국소 영역의 고해상도 보상 데이터를 이용하여 대응되는 국소 영역의 입력 영상 데이터(RGB)를 보상하여 보상된 영상 데이터(RGB')를 출력하는 보상부(240)를 포함하여 구성될 수 있다.To this end, the image processing unit 20 uses the memory 210 for storing the low-resolution compensation data and the first filter to which the first parameter (Parameter #1) is employed, from the low-resolution compensation data to the corresponding block in block units. The global feature restoration unit 220 that generates primary high-resolution restoration data (Global Image) by restoring the global characteristics of The local profile restoration unit 230 that generates high-resolution compensation data for each local region by combining the predicted detailed profile and data of the corresponding local region, and the high-resolution compensation data of the local region generated by the local profile restoration unit The compensator 240 may be configured to compensate the input image data RGB of a corresponding local area using the compensator 240 to output the compensated image data RGB'.

메모리(210)에는, 적은 용량으로 저장하기 위해 디포커스 상태로 촬영한 이미지를 다운샘플링 하여 저해상도의 보상 이미지 또는 저해상도의 보상 데이터가 저장될 수 있다. 글로벌 특징 복원부(220)에 내장된 제1 필터가 블록 단위의 이미지 데이터를 입력으로 하고 같은 블록 단위의 이미지 데이터를 출력으로 할 수 있기 때문에, 글로벌 특징 복원부(220)는 메모리(210)로부터 읽어온 저해상도의 보상 데이터를 간삽(Interpolation) 등을 통해 고해상도의 보상 데이터로 변환하는 과정을 먼저 수행할 수도 있는데, 이는 단순히 간삽한 것으로 고차원의 필터를 이용하여 복원한 것과는 달라서 구체적인 특징을 복원하지 못한다.In the memory 210 , a low-resolution compensation image or low-resolution compensation data may be stored by downsampling an image taken in a defocused state to store it in a small capacity. Since the first filter built into the global feature restoration unit 220 may input image data in block units and output image data in units of the same block as an output, the global feature restoration unit 220 receives data from the memory 210 . The process of converting the read low-resolution compensation data into high-resolution compensation data through interpolation, etc. can be performed first, which is simply interpolated, which is different from restoration using a high-dimensional filter, so that specific features cannot be restored. .

글로벌 특징 복원부(220)는 제1 파라미터가 채용된 인공 신경망과 같은 제1 필터를 사용하여 블록 단위로 해당 블록의 글로벌 특징을 복원하여 고해상도의 1차 복원 데이터를 생성하는데, 제1 필터는 계산 속도나 전력 소모를 고려하여 하드웨어 방식으로 구현될 수 있다.The global feature restoration unit 220 uses a first filter such as an artificial neural network to which the first parameter is employed to restore the global feature of the corresponding block in block units to generate high-resolution primary restored data, the first filter calculates It may be implemented in a hardware manner in consideration of speed or power consumption.

보상부(240)는, 입력 영상 데이터의 각 국소 영역 데이터에 로컬 프로파일 복원부(230)가 대응되는 국소 영역에 대해 복원하여 출력하는 보상 데이터를 더하거나 빼주어 보상된 영상 데이터를 출력할 수 있는데, 국소 영역은 소정 크기의 블록에 포함된 하나의 라인이 될 수 있다.The compensator 240 may output compensated image data by adding or subtracting compensation data that the local profile restoration unit 230 restores and outputs for a local region corresponding to each local region data of the input image data. The local area may be one line included in a block of a predetermined size.

글로벌 특징 복원부(220)와 로컬 프로파일 복원부(230)는, 영상 데이터가 입력될 때마다 입력 영상 데이터의 각 국소 영역에 대해서, 해당 국소 영역에 대응되는 블록을 저해상도의 보상 이미지에서 찾고, 제1 필터를 이용하여 저해상도 보상 이미지 데이터로부터 블록의 글로벌 특징을 복원하여 해당 블록에 대한 제1 고해상 복원 데이터를 생성하고, 제1 복원 데이터에서 대응되는 국소 영역의 데이터를 추출하고 제2 필터를 이용하여 국소 영역의 세부 프로파일을 복원하여 해당 국소 영역에 대한 고해상도의 제2 복원 데이터를 생성할 수 있다. 글로벌 특징 복원부(220), 로컬 프로파일 복원부(230) 및 보상부(240)의 이러한 동작은 영상 데이터의 입력 속도에 맞추어 국소 영역 단위로 실시간으로 수행된다.The global feature restoration unit 220 and the local profile restoration unit 230 search for a block corresponding to the local region in the low-resolution compensation image for each local region of the input image data whenever image data is input, and First, the first high-resolution reconstructed data is generated for the block by restoring the global features of the block from the low-resolution compensated image data using a filter, and the data of the corresponding local area is extracted from the first reconstructed data and using the second filter. By reconstructing the detailed profile of the local area, high-resolution second reconstructed data for the corresponding local area may be generated. These operations of the global feature restoration unit 220 , the local profile restoration unit 230 , and the compensator 240 are performed in real time in units of local regions according to the input speed of image data.

도 8은 본 발명에 따른 로컬 프로파일 복원부의 구성을 블록으로 도시한 것이다.8 is a block diagram illustrating the configuration of a local profile restoration unit according to the present invention.

로컬 프로파일 복원부(230)는, 블록 단위로 복원된 1차 고해상도 복원 데이터(Global Image)를 글로벌 특징 복원부(220)로부터 입력 받아 국소 영역 단위로 복원된 고해상도 보상 데이터를 출력하는데, 로컬 프로파일 추출부(231), 세부 프로파일 예측부(232) 및 로컬 프로파일 계산부(233)를 포함하여 구성될 수 있다.The local profile restoration unit 230 receives the primary high-resolution restoration data (Global Image) restored in units of blocks from the global feature restoration unit 220 and outputs high-resolution compensation data restored in units of local regions, extracting the local profile. It may be configured to include a unit 231 , a detailed profile prediction unit 232 , and a local profile calculation unit 233 .

로컬 프로파일 추출부(231)는 블록 단위의 1차 복원 데이터로부터 국소 영역 단위, 예를 들어 라인 단위로 데이터를 추출한다.The local profile extracting unit 231 extracts data in units of a local area, for example, in units of lines, from the primary restoration data in units of blocks.

세부 프로파일 예측부(232)는, 제2 파라미터(Parameter #2)가 채용된 제2 필터를 이용하여 로컬 프로파일 추출부(231)가 추출한 국소 영역의 데이터에 대한 세부 프로파일을 예측한다. 세부 프로파일에 대한 예측 값은, 블록 단위로 글로벌 특징 복원을 통해 거칠게 복원된 블록 단위의 고해상도의 복원 데이터 중에서 국소 영역의 데이터를 국소 영역 단위로 세밀하게 복원하기 위한 확률 값으로, 국소 영역의 실제 데이터와 해당 국소 영역의 복원된 데이터의 차이 값인 세부 프로파일들을 소정 개수의 클래스(Class)로 분류할 때 각 클래스에 대한 확률 값 또는 가중치가 될 수 있다.The detailed profile prediction unit 232 predicts the detailed profile of the data of the local area extracted by the local profile extraction unit 231 by using the second filter to which the second parameter (Parameter #2) is employed. The prediction value for the detailed profile is a probability value for finely reconstructing the local area data in the local area unit among high-resolution reconstructed data of the block unit coarsely reconstructed through global feature restoration in the block unit, and the actual data of the local area When categorizing detailed profiles, which are difference values between and the reconstructed data of a corresponding local area, into a predetermined number of classes, it may be a probability value or a weight for each class.

로컬 프로파일 계산부(233)는, 해당 국소 영역의 추출 데이터에, 각 클래스의 대표 데이터와 해당 클래스의 확률 값을 곱한 값들의 합을 더하여 해당 국소 영역에 대한 보상 데이터를 구할 수 있다. 로컬 프로파일 추출부(231)가 추출한 국소 영역의 추출 데이터(1차 고해상도 복원 데이터)를 HR1, i번째 클래스의 대표 데이터를 Ci, 세부 프로파일 예측부(232)가 예측한 i번째 클래스에 대한 확률 값을 Pi, 국소 영역에 대한 최종 고해상도 보상 데이터(2차 고해상도 복원 데이터)를 HR2라 할 때, HR2 = b*HR1 + (C1*P2 + C2*P2 + + Cn*Pn)로 표현할 수 있고, 여기서 b는 패널의 특성을 반영한 파라미터이고, n은 클래스의 개수이다.The local profile calculator 233 may obtain compensation data for the corresponding local area by adding the sum of values obtained by multiplying the representative data of each class and the probability value of the corresponding class to the extracted data of the corresponding local area. Probability value for the i-th class predicted by HR1, representative data of the i-th class as Ci, and the detailed profile predicting unit 232 as the extracted data (primary high-resolution restored data) of the local region extracted by the local profile extraction unit 231 is Pi, and the final high-resolution compensation data (secondary high-resolution reconstructed data) for the local area is HR2, HR2 = b*HR1 + (C1*P2 + C2*P2 + + Cn*Pn), where b is a parameter reflecting the characteristics of the panel, and n is the number of classes.

도 9는 본 발명의 일 실시예에 따라 글로벌 특징 복원부에 적용되는 필터의 파라미터를 얻는 글로벌 특징 학습 과정을 도시한 것이다.9 is a diagram illustrating a global feature learning process for obtaining a parameter of a filter applied to a global feature restoration unit according to an embodiment of the present invention.

영상 처리부(20)의 글로벌 특징 복원부(220)에 내장되는 제1 필터는, 해당 표시 장치를 출하하기 전에, 해당 표시 장치와 같은 모델인 다수 개의 표시 장치에 대해서 소정의 영상을 표시하는 화면을 디포커스 상태로 촬영하여 얻은 저해상도의 보상 이미지를 이용하여 파라미터를 학습시켜, 저해상도 보상 이미지로부터 고해상도의 이미지를 출력하는 파라미터를 얻는다.The first filter built into the global feature restoration unit 220 of the image processing unit 20 removes a screen for displaying a predetermined image for a plurality of display devices having the same model as the corresponding display device before shipping the corresponding display device. A parameter is learned using a low-resolution compensation image obtained by shooting in a defocused state, and a parameter for outputting a high-resolution image is obtained from the low-resolution compensation image.

화면을 디포커스 상태로 촬영하여 얻은 저해상도 보상 이미지를 입력으로 하여 인공 신경망과 같은 제1 필터의 출력을 얻고 그 출력을 쉬프트 닷 패턴 촬영 방식으로 촬영한 고해상도 보상 이미지와 비교하여 에러 값을 구하고, 에러 값을 피드백 하여 제1 필터의 파라미터를 갱신하는 방식으로 제1 필터를 학습시킬 수 있다.The output of the first filter such as an artificial neural network is obtained by taking the low-resolution compensation image obtained by photographing the screen in a defocused state as an input, and the output is compared with the high-resolution compensation image photographed by the shift dot pattern shooting method to obtain the error value, and the error value is obtained. The first filter may be trained by feeding back a value to update the parameters of the first filter.

먼저, 같은 모델의 다수의 표시 장치 각각에 대해서 화면에 소정 영상, 예를 들어 중간 휘도의 그레이를 표시하고 카메라를 디포커스 상태로 촬영하여 디포커스 이미지를 얻는다. 카메라가 촬영한 이미지의 해상도는 높을 수 있지만 디포커스 상태로 찍혔기 때문에 고주파 성분이 뭉개져서 화면의 세부 특징을 반영하지 못한다.First, a predetermined image, for example, gray of medium luminance, is displayed on a screen for each of a plurality of display devices of the same model, and the camera is photographed in a defocused state to obtain a defocused image. The resolution of the image taken by the camera may be high, but since it is taken in a defocused state, the high-frequency component is crushed and does not reflect the detailed characteristics of the screen.

디포커스 상태로 좔영된 디포커스 이미지를 소정 픽셀 크기, 예를 들어 8x8 또는 16x16 크기의 복수 개의 블록으로 분할하고, 각 블록에 대해서 필터를 학습시킨다.A defocused image projected in a defocused state is divided into a plurality of blocks having a predetermined pixel size, for example, 8x8 or 16x16, and a filter is trained for each block.

첫 번째 블록의 데이터를 파라미터가 초기 값으로 설정된 제1 필터(도 9에서 Global Feature Training Filter)에 입력하면, 제1 필터는 글로벌 특징이 복원된 고해상도의 이미지(Recovered Global Image (A))를 출력한다.When the data of the first block is input to the first filter (Global Feature Training Filter in FIG. 9) whose parameters are set to initial values, the first filter outputs a high-resolution image (Recovered Global Image (A)) with global features restored. do.

또한, 해당 표시 장치의 화면을 쉬프트 닷 패턴 촬영 방식으로 촬영하여 고해상도 이미지 데이터를 얻고, 제1 필터를 통과한 첫 번째 블록에 대응되는 블록의 데이터를 추출하여(Shift Dot Image (B)), 제1 필터가 출력하는 복원된 고해상도의 이미지와 차이인 오차 값을 구한다(Error Calculation (B-A)). 구해진 오차 값을 반영하여 제1 필터의 파라미터를 갱신한다(Parameter Update).In addition, high-resolution image data is obtained by shooting the screen of the corresponding display device in a shift dot pattern shooting method, and data of a block corresponding to the first block that has passed through the first filter is extracted (Shift Dot Image (B)), 1 Obtain the error value, which is the difference from the reconstructed high-resolution image output by the filter (Error Calculation (BA)). The parameter of the first filter is updated by reflecting the obtained error value (Parameter Update).

다음 블록을 파라미터가 갱신된 제1 필터에 입력하고 그 출력을 쉬프트 닷 패턴 촬영 방식으로 촬영한 고해상도 이미지 데이터에서 대응되는 블록과 비교하여 오차 값을 구하고 구해진 오차 값을 반영하여 제1 필터의 파라미터를 다시 갱신한다.The next block is input to the first filter whose parameters have been updated, and the output is compared with the corresponding block in the high-resolution image data taken by the shift dot pattern shooting method to obtain the error value, and the parameter of the first filter is calculated by reflecting the obtained error value. update again.

하나의 표시 장치에서 촬영된 디포커스 이미지의 모든 블록에 대해서 이러한 필터 학습 과정을 반복하고, 같은 모델의 복수 개의 다른 표시 장치에 대해서도 이러한 필터 학습 과정을 반복하되, 오차 값의 변화가 거의 없고 포화될 때까지 반복하여(Error Saturated?), 제1 필터에 대한 제1 파라미터(Parameter #1)를 얻는다.This filter learning process is repeated for all blocks of the defocused image captured by one display device, and this filter learning process is repeated for a plurality of other display devices of the same model, but there is little change in the error value and the Repeat until (Error Saturated?) to obtain the first parameter (Parameter #1) for the first filter.

이렇게 같은 모델의 복수 개의 표시 장치에 대해서 학습을 통해 구해진 제1 필터는, 같은 모델로 학습에 이용되지 않은 표시 장치에 대해서도, 해당 표시 장치에 촬영된 저해상도의 보상 이미지를 블록 단위로 복원하여, 해당 표시 장치의 실제 고해상도 보상 이미지(쉬프트 닷 패턴 촬영 방식으로 촬영한 고해상도 보상 이미지)에 근접한 1차 복원 이미지를 출력할 수 있다.The first filter obtained through learning for a plurality of display devices of the same model in this way restores the low-resolution compensation image photographed on the display device in block units, even for a display device that is not used for learning with the same model, in block units, A primary reconstructed image close to the actual high-resolution compensation image of the display device (a high-resolution compensation image photographed by a shift dot pattern imaging method) may be output.

이 때 인공 신경망으로 구현되는 제1 필터는 각각 복수 개의 노드를 포함하는 2 이상의 숨겨진 레이어를 포함하고, 블록에 포함된 픽셀의 개수만큼을 입력 노드와 출력 노드로 하여, 노드들이 서로 연결된 형태로 구현될 수 있다. 제1 필터에서 입력되는 블록의 데이터와 파라미터의 컨볼류션(Convolution) 연산을 통해 특징 영상이 추출되고, 레이어가 깊어질수록 출력되는 데이터가 더 고해상 특징을 포함하게 되어, 제1 레이어의 출력 데이터의 해상력보다 제2 레이어의 출력 데이터의 해상력이 높고, 제3 레이어의 출력 데이터의 해상력이 더 높아진다. 파라미터는 갱신이 거듭될수록 고해상의 글로벌 특징을 더 잘 추출하게 된다.At this time, the first filter implemented as an artificial neural network includes two or more hidden layers each including a plurality of nodes, and uses as many as the number of pixels included in the block as input nodes and output nodes, so that the nodes are connected to each other. can be A feature image is extracted through a convolution operation of data and parameters of a block input from the first filter, and as the layer becomes deeper, the output data includes higher-resolution features, so that the output data of the first layer The resolution of the output data of the second layer is higher than the resolution of the output data of the third layer, and the resolution of the output data of the third layer is higher. The more the parameters are updated, the better the high-resolution global features are extracted.

하지만, 제1 필터는, 8x8 또는 16x16 크기의 블록 단위로 저해상도의 이미지 데이터를 고해상도의 이미지 데이터로 복원하기 때문에, 블록의 전체적인 특징, 즉 글로벌 특징만을 거칠게 반영할 뿐, 세부적인 특징을 구체적으로 반영하기에는 한계가 있다. 이에, 블록을 구성하는 국소 영역 단위로 세부적인 프로파일을 추가로 학습시킬 필요가 있다.However, since the first filter restores low-resolution image data into high-resolution image data in blocks of 8x8 or 16x16 size, only the overall characteristics of the block, that is, only the global characteristics, are roughly reflected, and detailed characteristics are specifically reflected. There are limits to what you can do. Accordingly, it is necessary to additionally learn a detailed profile in units of local regions constituting the block.

도 10은 본 발명의 일 실시예에 따라 로컬 프로파일 복원부에 적용되는 필터의 파라미터를 얻는 로컬 프로파일 학습 과정을 도시한 것이다.10 is a diagram illustrating a local profile learning process for obtaining a parameter of a filter applied to a local profile restoration unit according to an embodiment of the present invention.

로컬 프로파일을 학습시키는 과정은, 디포커스 이미지의 블록 데이터로부터 해당 블록의 글로벌 특징이 복원된 1차 고해상도 이미지 데이터를 얻고 이로부터 해당 블록을 구성하는 국소 영역의 데이터를 추출하는 로컬 프로파일 추출 과정(Local Profile Extraction), 추출된 복수 개의 국소 영역의 데이터 각각에 대해서 해당 국소 영역의 데이터와 해당 국소 영역의 실제 데이터의 차이 값인 세부 프로파일을 분류하여 소정 개수의 클래스를 추출하는 과정(Local Profile Class Extraction) 및 추출된 국소 영역의 데이터를 이용하여 해당 국소 영역의 데이터에 대응되는 클래스를 가리키는 정보를 출력하도록 하는 제2 필터를 학습시키는 로컬 프로파일 클래스 학습 과정(Local Profile Class Training)을 포함하여 구성될 수 있다.The process of learning a local profile is a local profile extraction process (Local Profile Extraction), the process of extracting a predetermined number of classes by classifying a detailed profile that is a difference value between the data of the corresponding local area and the actual data of the corresponding local area for each of the extracted data of the plurality of local areas (Local Profile Class Extraction) and It may be configured to include a local profile class training process for learning a second filter for outputting information indicating a class corresponding to the data of the corresponding local area using the extracted data of the local area.

도 10의 로컬 프로파일 학습 과정도 같은 모델의 복수 개의 표시 장치에 대해서 수행되는데, 각 표시 장치에서 디포커스 상태로 촬영된 저해상도의 보상 이미지를 블록 단위로 분할하고, 글로벌 특징 학습 과정에서 얻어진 제1 필터를 이용하여 분할된 블록 단위로 글로벌 특징을 복원하고, 글로벌 특징이 복원된 각 블록에 포함된 각 국소 영역의 데이터에 대해 로컬 프로파일 학습 과정을 수행하여 제2 필터를 학습시켜 제2 파라미터를 얻는다. 제2 파라미터는 각 표시 장치의 영상 처리부에 내장된다.The local profile learning process of FIG. 10 is also performed for a plurality of display devices of the same model. A first filter obtained in the global feature learning process by dividing a low-resolution compensation image photographed in a defocused state in each display device into blocks, and A global feature is reconstructed in units of blocks divided using The second parameter is embedded in the image processing unit of each display device.

도 11 내지 도 13을 참조하여 도 10에 포함된 로컬 프로파일 학습 과정의 각 단계를 구체적으로 설명한다.Each step of the local profile learning process included in FIG. 10 will be described in detail with reference to FIGS. 11 to 13 .

도 11은 도 10의 로컬 프로파일 학습 과정에서 로컬 프로파일 추출 과정을 구체적으로 도시한 것이다.FIG. 11 specifically illustrates a local profile extraction process in the local profile learning process of FIG. 10 .

저해상도의 디포커스 이미지를 블록으로 분할하여 추출한 블록의 이미지 데이터를 제1 파라미터로 학습된 제1 필터를 통과시켜 글로벌 특징을 복원하여 1차 복원된 고해상도 이미지 데이터(Recovered Global Image)를 얻는다. 1차 복원 이미지 데이터에서 소정 국소 영역의 데이터, 예를 들어 1 라인의 데이터를 추출한다(Extracted Local Profile (A)).The image data of the block extracted by dividing the low-resolution defocused image into blocks is passed through a first filter learned as a first parameter to restore global features to obtain primary restored high-resolution image data (Recovered Global Image). Data of a predetermined local area, for example, data of one line, is extracted from the primary reconstructed image data (Extracted Local Profile (A)).

쉬프트 닷 패턴 촬영 방식으로 촬영한 고해상도 보상 이미지에서 대응되는 블록의 이미지 데이터(Shift Dot Image)를 얻고, 이로부터 대응되는 국소 영역의 데이터(Extracted Local Profile (B))를 추출한다.Image data (Shift Dot Image) of a corresponding block is obtained from a high-resolution compensation image photographed by a shift dot pattern imaging method, and data of a corresponding local area (Extracted Local Profile (B)) is extracted therefrom.

1차 복원된 블록 이미지 데이터에서 추출된 국소 영역의 데이터(A) 및 대응되는 국소 영역의 실제 데이터(B) 사이의 차이 값을 세부 프로파일로 구한다(Detail Profile (B-A)).A difference value between the data (A) of the local area extracted from the first reconstructed block image data and the actual data (B) of the corresponding local area is obtained as a detailed profile (Detail Profile (B-A)).

즉, 세부 프로파일은 제1 필터로 복원한 고해상 보상 이미지와 실제 고해상 보상 이미지와의 차이 값으로 구성된 블록 데이터 중에서 국소 영역 단위로 쪼갠 것으로, 국소 영역을 블록에 포함된 하나의 라인으로 설정할 때 8개 또는 16개의 연속되는 픽셀 값(차이 값)이 세부 프로파일이 될 수 있다.That is, the detailed profile is divided into local area units among block data composed of the difference between the high resolution compensation image restored by the first filter and the actual high resolution compensation image. When the local area is set as one line included in the block, 8 Alternatively, 16 consecutive pixel values (difference values) may be a detailed profile.

도 12는 도 11의 로컬 프로파일 추출 과정에서 얻은 세부 프로파일을 이용하여 로컬 프로파일 클래스를 추출하는 과정을 도시한 것이다.12 is a diagram illustrating a process of extracting a local profile class using a detailed profile obtained in the process of extracting a local profile of FIG. 11 .

각 국소 영역에 대해서, 즉 같은 모델의 복수 개의 표시 장치에서 촬영한 저해상도의 보상 이미지에 포함된 복수 개의 블록에 포함된 복수 개의 국소 영역 각각에 대해서, 복원한 보상 데이터와 실제 보상 데이터의 차이 값인 세부 프로파일(Detail Profile (B-A))을 구하고, 이들을 비슷한 유형의 것들끼리 묶어서 분류하고(Similar Profile Classification), 비슷하게 묶인 것들을 하나의 클래스로 하여 소정 개수의 클래스를 생성하고 각 클래스에 대해서 대표 프로파일을 추출할 수 있다(Representative Profile Extraction for Each Class).For each local area, that is, for each of a plurality of local areas included in a plurality of blocks included in a low-resolution compensation image captured by a plurality of display devices of the same model, the detail value that is the difference value between the reconstructed compensation data and the actual compensation data Obtain a profile (Detail Profile (BA)), classify them by grouping them with similar types (Similar Profile Classification), create a predetermined number of classes using similar groups as a class, and extract a representative profile for each class. (Representative Profile Extraction for Each Class).

도 12에서는, 세부 프로파일을 예를 들어 36개의 클래스로 분류하고 있는데, 각 클래스에 대해서 예를 들어 해당 클래스로 묶인 세부 프로파일들의 평균 값을 대표 값으로 할 수 있다.In FIG. 12 , for example, detailed profiles are classified into 36 classes. For each class, for example, an average value of detailed profiles bundled with the corresponding class may be used as a representative value.

세부 프로파일을 소정 개수의 클래스로 분류하는 구체적인 방법은 도 14 내지 도 19를 참조로 다음에 자세히 설명한다.A specific method of classifying the detailed profile into a predetermined number of classes will be described in detail next with reference to FIGS. 14 to 19 .

도 13은 도 10의 로컬 프로파일 학습 과정에서 로컬 프로파일 클래스를 학습하는 과정을 구체적으로 도시한 것으로, 표시 장치의 영상 처리부(20)의 로컬 프로파일 복원부(230)에 내장되는 제2 필터의 파라미터를 구하는 과정에 해당한다.FIG. 13 is a detailed diagram illustrating a process of learning a local profile class in the local profile learning process of FIG. 10 , and includes parameters of the second filter built in the local profile restoration unit 230 of the image processing unit 20 of the display device. It is in the process of retrieval.

도 13의 로컬 프로파일 클래스 학습은 국소 영역 단위로 수행된다.The local profile class learning of FIG. 13 is performed in units of local regions.

제1 필터를 통해 저해상도 보상 이미지로부터 블록 단위로 글로벌 특징을 복원하여 블록 크기의 1차 복원 데이터를 구하고, 이로부터 2차 필터를 학습시키기 위한 국소 영역의 데이터를 추출한다(Local Profile Data Extracted from Recovered Global Image).Through the first filter, global features are restored in block units from the low-resolution compensation image to obtain block-sized primary restored data, and from this, local profile data for learning the secondary filter is extracted (Local Profile Data Extracted from Recovered). Global Image).

추출한 국소 영역의 데이터를 제2 필터(Local Profile Training Filter), 예를 들어 인공 신경망 필터에 입력하면, 제2 필터는 해당 국소 영역의 데이터가 속하는 클래스를 예측하는 값, 즉 해당 국소 영역의 데이터가 속하는 클래스가 도 12에서 구한 복수의 클래스 각각에 대응되는 정도를 가리키는 확률 값을 출력하는 것으로 예정된다.When the extracted local region data is input to a second filter (Local Profile Training Filter), for example, an artificial neural network filter, the second filter determines the class to which the data of the local region belongs, that is, the data of the local region is It is scheduled to output a probability value indicating the degree to which the belonging class corresponds to each of the plurality of classes obtained in FIG. 12 .

제2 필터의 파라미터가 충분히 갱신된 상태에서, 36개의 클래스 중에서 예를 들어 제1 클래스에 속하는 국소 영역의 데이터가 제2 필터에 입력되면, 제2 필터는 제1 클래스에 해당하는 값이 1에 가깝고 나머지 클래스에 해당하는 값이 0에 가까운 36개의 확률 값을 출력할 수 있다.In a state in which the parameters of the second filter are sufficiently updated, when, for example, data of a local region belonging to the first class among 36 classes is input to the second filter, the value corresponding to the first class is set to 1 in the second filter. It is possible to output 36 probability values that are close and the values corresponding to the remaining classes are close to 0.

첫 번째 국소 영역의 데이터를 파라미터가 초기 값으로 설정된 제2 필터에 입력하면, 제2 필터는 입력된 국소 영역의 데이터에 해당하는 클래스를 예측하여 도 12에서 분류한 개수의 클래스 각각에 대한 확률 값(Probability values for each Class (A))을 출력한다.When the data of the first local region is input to the second filter in which the parameter is set as an initial value, the second filter predicts the class corresponding to the input data of the local region, and a probability value for each of the number of classes classified in FIG. 12 . (Probability values for each Class (A))

해당 표시 장치의 화면을 쉬프트 닷 패턴 촬영 방식으로 촬영하여 얻은 고해상도 이미지 데이터에서 해당 국소 영역에 대응되는 실제 데이터가 속하는 클래스, 정확히는 해당 국소 영역에 대해서 실제 데이터와 1차 복원된 데이터의 차이 값, 즉 세부 프로파일이 속하는 클래스를 추출하고 실제 확률 값으로 표현한다(Corresponding Class (B)). 예를 들어 현재 진행 중인 국소 영역의 실제 데이터와 1차 복원된 데이터의 차이 값, 즉 현재 진행 중인 국소 영역의 데이터의 세부 프로파일이 첫 번째 클래스에 속한다면 해당 국소 영역의 실제 확률 값(B)은 (1, 0, 0, , 0)으로 표현할 수 있다. 비슷하게 현재 진행 중인 국소 영역의 데이터의 세부 프로파일이 두 번째 클래스에 속한다면 해당 국소 영역의 실제 확률 값(B)은 (0, 1, 0, , 0)으로 표현할 수 있다In the high-resolution image data obtained by photographing the screen of the display device by the shift dot pattern imaging method, the class to which the real data corresponding to the local area belongs, that is, the difference between the real data and the primary reconstructed data for the local area, that is, The class to which the detailed profile belongs is extracted and expressed as an actual probability value (Corresponding Class (B)). For example, if the difference value between the actual data of the current local area and the primary reconstructed data, that is, the detailed profile of the data of the current local area belongs to the first class, the actual probability value (B) of the local area is It can be expressed as (1, 0, 0, , 0). Similarly, if the detailed profile of the current local area data belongs to the second class, the actual probability value (B) of the local area can be expressed as (0, 1, 0, , 0).

제2 필터가 출력하는 확률 값(A)과 실제 확률 값(B)의 차이 값인 오차 값을 구하고(Error Calculation (B-A)), 구해진 오차 값을 반영하여 제2 필터의 파라미터를 갱신한다(Parameter Update).An error value that is the difference between the probability value (A) output by the second filter and the actual probability value (B) is calculated (Error Calculation (BA)), and the parameters of the second filter are updated by reflecting the obtained error value (Parameter Update) ).

다음 국소 영역의 데이터에 대해서 제2 필터에 입력하여 해당 국소 영역의 데이터가 속하는 클래스를 예측하는 예측 확률 값을 구하고, 해당 국소 영역의 실제 확률 값과 예측 확률 값을 비교하여 오차 값을 구하고, 이를 반영하여 제2 필터의 파라미터를 다시 갱신한다.The data of the next local region is input to the second filter to obtain the predicted probability value for predicting the class to which the data of the corresponding local region belongs, and the error value is obtained by comparing the actual probability value and the predicted probability value of the corresponding local region. Reflecting this, the parameter of the second filter is updated again.

하나의 표시 장치에서 촬영된 디포커스 이미지에 대해서 글로벌 특징이 복원된 모든 블록에 포함된 모든 국소 영역의 데이터에 대해서 이러한 필터 학습 과정을 반복하고, 같은 모델의 복수 개의 다른 표시 장치에 대해서도 이러한 필터 학습 과정을 반복하되, 오차 값의 변화가 거의 없고 포화될 때까지 반복하여(Error Saturated?), 제2 필터에 대한 제2 파라미터(Parameter #2)를 얻는다.This filter learning process is repeated for data of all local regions included in all blocks in which global features are reconstructed for a defocused image captured by one display device, and this filter learning process is also performed on a plurality of other display devices of the same model. The process is repeated, but until there is little change in the error value and is saturated (Error Saturated?), a second parameter (Parameter #2) for the second filter is obtained.

이렇게 같은 모델의 복수 개의 표시 장치에 대해서 학습을 통해 구해진 제2 필터는, 같은 모델로 학습에 이용되지 않은 표시 장치에 대해서도, 해당 표시 장치에 촬영된 저해상도의 보상 이미지의 각 국소 영역의 데이터에 대해서 해당 국소 영역의 1차 복원 데이터와 실제 데이터 사이의 차이 값, 즉 세부 프로파일이 속하는 클래스를 예측하는 확률 값을 출력하는 제2 필터를 얻을 수 있다.The second filter obtained through learning for a plurality of display devices of the same model in this way is applied to the data of each local area of the low-resolution compensation image photographed on the display device, even for a display device that is not used for learning with the same model. It is possible to obtain a second filter that outputs a difference value between the primary reconstruction data of the corresponding local region and the actual data, that is, a probability value for predicting a class to which the detailed profile belongs.

제2 필터가 출력하는 확률 값은, 국소 영역의 1차 복원 데이터로부터 해당 국소 영역의 실제 데이터를 복원하기 위해 필요한 클래스들의 가중치에 해당한다. 즉 국소 영역의 1차 복원 데이터와 실제 데이터의 차이 값을 각 클래스의 대표 값을 제2 필터가 출력하는 확률 값으로 가중 합산하여 구하는 것이다.The probability value output by the second filter corresponds to the weights of classes necessary to reconstruct the actual data of the local area from the primary reconstructed data of the local area. That is, the difference value between the primary reconstruction data of the local region and the actual data is obtained by weighting and summing the representative value of each class with the probability value output by the second filter.

제2 필터가 처리하고 있는 국소 영역의 복원 데이터가 속하는 클래스를 정확하게 예측하면, 제2 필터는 해당 국소 영역의 복원 데이터가 속하는 클래스의 확률 값이 1에 가깝고 다른 클래스의 확률 값이 0에 가까운 값을 출력한다. 해당 국소 영역의 데이터가 속하는 클래스는 해당 국소 영역의 복원 데이터와 실제 데이터의 차이 값을 클러스터링 한 것으로, 해당 클래스의 대표 프로파일이 해당 국소 영역의 복원 데이터와 실제 데이터의 차이 값을 충분히 반영하는 것으로 생각할 수 있기 때문에, 해당 클래스의 대표 프로파일을 거의 1 값으로 가중하여 해당 국소 영역의 복원 데이터에 더하면, 해당 국소 영역의 복원 데이터로부터 해당 국소 영역의 실제 데이터를 근사하게 얻을 수 있다.When the second filter accurately predicts the class to which the reconstructed data of the local area being processed belongs, the second filter has a probability value of a class to which the reconstructed data of the local area belongs is close to 1 and a probability value of another class is close to 0 to output The class to which the data of the local area belongs is the clustering of the difference value between the reconstructed data and the actual data of the local area, and it is considered that the representative profile of the class sufficiently reflects the difference value between the reconstructed data and the actual data of the local area. Therefore, if the representative profile of the corresponding class is weighted with a value of almost 1 and added to the reconstructed data of the local area, the actual data of the local area can be approximated from the reconstructed data of the local area.

이렇게 구한 제2 파라미터(Parameter #2)는 도 8의 세부 프로파일 예측부(232)에 하드웨어 방식으로 구현되어 내장되는 제2 필터에 적용되어, 국소 영역 단위, 예를 들어 소정 크기의 블록에 의해 그 길이가 한정되는 라인 단위로 보상 데이터를 실시간으로 복원할 수 있다.The second parameter (Parameter #2) obtained in this way is applied to the second filter implemented in a hardware manner and built-in in the detailed profile prediction unit 232 of FIG. Compensation data can be restored in real time in units of lines with a limited length.

한편, 도 14 내지 도 19를 참조하여 국소 영역 단위의 데이터를 세부 프로파일로 분류하는 과정을 설명한다.Meanwhile, a process of classifying data of a local area unit into a detailed profile will be described with reference to FIGS. 14 to 19 .

도 14는 카메라가 복수 개의 패널에 대해서 촬영한 보상 화면 데이터로부터 다수 개의 로컬 프로파일 데이터를 얻는 과정을 도시한 것이다.14 is a diagram illustrating a process of obtaining a plurality of local profile data from compensation screen data captured by a camera for a plurality of panels.

같은 모델의 복수 개의 표시 장치에 대해서 카메라가 디포커스 상태로 화면을 촬영하거나 쉬프트 닷 패턴 방법으로 화면을 촬영하여 저해상도 보상 이미지와 고해상도 보상 이미지를 얻는다. 저해상도 보상 이미지 각각은 소정 크기, 예를 들어 8x8 크기의 블록으로 나뉘고, 각 블록은 소정 크기의 국소 영역으로 나뉘어 처리되는데, 도 14에서는 라인 단위로 8개의 픽셀 데이터를 하나로 하는 로컬 프로파일 데이터가 처리된다.For a plurality of display devices of the same model, a camera captures a screen in a defocused state or captures a screen using a shift dot pattern method to obtain a low-resolution compensation image and a high-resolution compensation image. Each of the low-resolution compensation images is divided into blocks of a predetermined size, for example, 8x8, and each block is divided and processed into a local area of a predetermined size. .

도 15는 도 14 과정에서 얻은 로컬 프로파일 데이터를 픽셀 위치 별로 분류하는 것을 도시한 것으로, 14에서 추출된 각 로컬 프로파일 데이터를 1부터 8까지 8개의 픽셀 위치를 기준으로 데이터를 정렬하고, 픽셀 위치마다 별도로 해당 위치에서의 데이터 값을 수직선에 표시한 것이다.15 is a diagram illustrating the classification of the local profile data obtained in the process of FIG. 14 by pixel position, and each local profile data extracted in 14 is sorted based on 8 pixel positions from 1 to 8, and for each pixel position. Separately, the data values at the corresponding positions are displayed on a vertical line.

도 14에서 N개의 패널이 있고, 각 패널마다 M개의 로컬 프로파일 데이터가 있기 때문에, NxM개의 로컬 프로파일 데이터를 소정 개수의 부분 클래스로 분류한다.Since there are N panels in FIG. 14 and M pieces of local profile data for each panel, NxM pieces of local profile data are classified into a predetermined number of partial classes.

도 16은 각 픽셀 위치마다 그 값의 분포 특성을 이용하여 분류하는 과정을 도시한 것인데, 로컬 프로파일 데이터는 각 픽셀 위치에 하나의 픽셀 값이 존재하기 때문에 각 픽셀 위치의 값들은 1차원의 직선 위에 표현되지만, 클래스를 분류하고 클래스의 대표 값을 결정하는 과정을 이해하기 쉽도록 2차원에 표현한다.16 shows a process of classifying each pixel position using the distribution characteristic of the value. Since one pixel value exists at each pixel position in the local profile data, the values of each pixel position are on a one-dimensional straight line. However, it is expressed in two dimensions to make it easier to understand the process of classifying classes and determining the representative values of the classes.

도 16(a)와 같이 데이터가 분포할 때, 사용자가 임의로 2개의 클래스를 선택하고, (b)와 같이 클래스의 개수만큼, 즉 제1 클래스와 제2 클래스의 중심(큰 원)을 각각 임의로 설정할 수 있다.When data is distributed as shown in Fig. 16(a), the user arbitrarily selects two classes, and as shown in (b), the center (large circle) of the first class and the second class is arbitrarily selected as many as the number of classes. can be set.

데이터 사이의 거리를 기준으로 1차 분류를 하는데, 제1 클래스와 제2 클래스의 임의 중심과 데이터 사이 거리를 각각 구하고, (c)와 같이 가까운 거리에 위치한 중심 값으로 클래스를 1차 분류한다.The primary classification is based on the distance between the data, and the distance between the random centers of the first class and the second class is obtained, respectively, and the class is first classified by the central value located at a close distance as shown in (c).

(d)와 같이, 1차 분류된 클래스의 데이터를 기반으로 중심 값을 계산하고 새로운 중심 값(네모)으로 설정한다.As in (d), the central value is calculated based on the data of the first classified class and set as a new central value (square).

(e)와 같이, 거리를 기반으로 2차 분류를 하는데, 새로운 2개의 중심 값과 각 데이터 사이의 거리를 구하고, 해당 데이터에 가까운 거리에 위치한 중심 값의 클래스로 다시 분류한다.As in (e), secondary classification is performed based on the distance, and the distance between two new centroid values and each data is obtained, and the class is reclassified into a class of centroid values located close to the corresponding data.

(f)와 같이, 2차 분류를 기반으로 같은 클래스에 속하는 데이터들의 중심 값을 계산하고 새로운 중심 값으로 설정한다.As shown in (f), based on the secondary classification, the central value of data belonging to the same class is calculated and set as a new central value.

(g)와 (h)와 같이 데이터 사이의 거리를 기반으로 3차 분류를 하고, 분류 결과가 이전과 같다면 분류 동작을 종료하고 분류 결과가 이전과 다르면 같아질 때까지 새로운 중심 설정과 분류를 반복한다.As in (g) and (h), tertiary classification is performed based on the distance between data, and if the classification result is the same as before, the classification operation is terminated. Repeat.

도 17과 도 18은 픽셀 위치마다 소정 개수의 클래스로 분류된 결과를 도시한 것으로, 첫 번째 위치의 데이터는 4개의 부분 클래스, 두 번째 위치의 데이터는 3개의 부분 클래스, 8번째 위치의 데이터는 3개의 부분 클래스로 분류되고, 각각의 부분 클래스에 대한 평균 값을 대표 값으로 구한다.17 and 18 show the results of classification into a predetermined number of classes for each pixel position. The data at the first position has 4 partial classes, the data at the second position has 3 partial classes, and the data at the 8th position is It is classified into three subclasses, and the average value for each subclass is obtained as a representative value.

픽셀의 위치 별로 부분 클래스를 조합하고 이를 기반으로 전체 클래스를 구하고, 각 부분 클래스의 대표 값을 이용하여 각 클래스의 대표 프로파일을 생성한다.A partial class is combined for each pixel position, a full class is obtained based on this, and a representative profile of each class is generated using the representative value of each partial class.

도 14 내지 도 18에서는, 라인의 픽셀 위치마다 해당 위치의 데이터 값을 기준으로 둘 이상으로 분류하여 클래스를 설정하고 각 픽셀 위치에 설정된 클래스들의 조합으로 전체 클래스를 분류한다.14 to 18 , for each pixel position of a line, a class is set by classifying two or more based on the data value of the corresponding position, and the entire class is classified by a combination of the classes set at each pixel position.

도 19는 2개의 픽셀 위치를 하나의 단위로 하여 그 값의 분포 특성에 따라 로컬 프로파일 데이터를 분류하는 다른 예를 도시한 것으로, 이웃하는 2개의 픽셀 위치의 데이터 값들을 가로 축은 i번째 픽셀 위치의 데이터 값으로 하고 세로 축을 (i+1)번째 픽셀 위치의 데이터 값으로 하여 2차원 평면에 표시하고, 편의상 4개의 같은 넓이의 영역으로 나누어 각 영역에 하나의 부분 클래스를 할당하여 데이터들을 분류할 수 있다. 또는 도 16에서 설명한 방법으로 부분 클래스를 분류할 수도 있다.19 shows another example of classifying local profile data according to the distribution characteristic of two pixel positions as a unit, and the horizontal axis is the i-th pixel position of data values of two neighboring pixel positions. The data can be classified by dividing the data into four equal areas for convenience and assigning one subclass to each area. have. Alternatively, partial classes may be classified by the method described with reference to FIG. 16 .

8개의 픽셀 위치를 2개의 픽셀 위치씩 하나로 묶어서 분류할 수도 있고, 몇 개는 하나의 픽셀 위치마다 부분 클래스를 분류하고 몇 개는 2개의 픽셀 위치마다 하나로 묶어 분류할 수도 있다.Eight pixel positions may be classified by grouping each two pixel positions into one, some may be classified as a subclass for each pixel position, and some may be classified by grouping each two pixel positions.

연속하는 3개의 픽셀 위치의 데이터 값들을 3차원 공간에 표시하고, 8개의 클래스로 분류할 수도 있다.Data values of consecutive three pixel positions may be displayed in a three-dimensional space and classified into eight classes.

도 20은 복수의 방법에 따라 얻은 보상 데이터 이미지를 비교한 것이고, 도 21은 복수의 방법에 따라 얻은 로컬 프로파일 데이터를 비교한 것이다.20 is a comparison of compensation data images obtained according to a plurality of methods, and FIG. 21 is a comparison of local profile data obtained according to a plurality of methods.

도 20에서, (a)는 디포커스 상태에서 촬영한 디포커스 이미지이고, (b)는 디포커스 이미지를 제1 필터를 이용하여 글로벌 특징을 복원한 이미지이고, (c)는 제1 필터를 이용하여 글로벌 특징을 복원하고 제2 필터를 이용하여 로컬 프로파일까지 복원한 이미지이고, (d)는 쉬프트 닷 패턴 방법으로 촬영한 이미지이다.In FIG. 20, (a) is a defocused image photographed in a defocused state, (b) is an image in which global features are reconstructed from the defocused image using a first filter, and (c) is a defocused image using the first filter. to restore the global features and use the second filter to restore the local profile, (d) is an image taken by the shift dot pattern method.

디포커스 이미지보다 글로벌 특징이 복원된 이미지가 더 실제 이미지에 가깝고, 글로벌 특징이 복원된 이미지보다 로컬 프로파일까지 복원된 이미지가 더 실제 이미지에 가깝게 된다.The image in which the global features are restored is closer to the real image than the defocus image, and the image in which the local profile is restored is closer to the real image than the image in which the global features are restored.

도 21에서 글로벌 특징과 로컬 프로파일을 복원한 이미지가 쉬프트 닷 패턴 방법으로 촬영한 이미지에 근접하여 가장 잘 추종하고 있다.In FIG. 21 , the image in which the global features and the local profile are restored closely follows the image captured by the shift dot pattern method.

따라서, 표시 장치는 저해상도의 보상 이미지만을 저장하기 때문에, 고해상도의 보상 데이터를 저장하기 위한 비휘발성 메모리의 사용을 줄일 수 있다. 또한, 저해상도의 보상 이미지로부터 라인 단위로, 정확히는 패널의 하나의 라인 중 일부에 대해서 실시간으로 고해상도의 보상 데이터를 복원하여 출력하므로, 입력 영상 데이터를 보상하기 위해 필요로 하는 휘발성 메모리의 용량도 줄일 수 있다.Accordingly, since the display device stores only the low-resolution compensation image, it is possible to reduce the use of the non-volatile memory for storing the high-resolution compensation data. In addition, since the high-resolution compensation data is restored and output line by line from the low-resolution compensation image in real time for a portion of one line of the panel, the capacity of the volatile memory required to compensate the input image data can be reduced. have.

또한, 저해상도의 보상 이미지로도 실제의 고해상도 보상 데이터에 근사한 보상 데이터를 복원하므로, 해당 표시 장치에 고유한 표시 결함을 제대로 치유하여 표시 품질을 향상시킬 수 있게 된다.In addition, since compensation data close to the actual high-resolution compensation data is restored even with a low-resolution compensation image, display defects unique to the corresponding display device can be properly healed to improve display quality.

또한, 표시 장치를 출하하기 전에 카메라 보상 데이터를 얻을 때 소요되는 시간을 줄여, 제조 비용을 절감할 수 있게 된다.In addition, it is possible to reduce the manufacturing cost by reducing the time required to obtain camera compensation data before shipping the display device.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.Those skilled in the art from the above description will be able to see that various changes and modifications are possible without departing from the technical spirit of the present invention. Accordingly, the technical scope of the present invention should not be limited to the contents described in the detailed description of the specification, but should be defined by the claims.

10: 표시 패널 11: 타이밍 컨트롤러
12: 데이터 구동 회로 13: 게이트 구동 회로
14: 데이터 라인 15: 게이트 라인
20: 영상 처리부 210: 메모리
220: 글로버 특징 복원부 230: 로컬 프로파일 복원부
231: 로컬 프로파일 추출부 232: 로컬 프로파일 예측부
233: 로컬 프로파일 계산부 240: 보상부10: display panel 11: timing controller
12: data driving circuit 13: gate driving circuit
14: data line 15: gate line
20: image processing unit 210: memory
220: Glover feature restoration unit 230: local profile restoration unit
231: local profile extraction unit 232: local profile prediction unit
233: local profile calculation unit 240: compensation unit

Claims

generating primary reconstruction data of a second resolution higher than the first resolution in block units of a first size from image data of a first resolution by using a first filter;
generating secondary restored data in units of a local area having a second size smaller than the first size from the primary restored data of the block by using a second filter;
compensating for the image data in units of the local area by adding or subtracting the secondary reconstruction data to data of a corresponding local area among image data input to a display device; and
Displaying the compensated image data,
The generating of the secondary restoration data comprises:
a first step of extracting data in units of the local area from the primary reconstruction data in units of blocks;
a second step of predicting a detailed profile of the extracted local region data using the second filter; and
A third step of generating the secondary reconstruction data by combining the predicted detailed profile and the extracted local area data,
The detailed profile corresponds to an error value between the primary reconstruction data of the local area and actual data of the corresponding local area.

According to claim 1,
The block is a set of pixels with a size of nxn (where n is an even natural number), and the local area is one pixel line included in the block.

According to claim 1,
wherein the first filter and the second filter are implemented as an artificial neural network including a plurality of input nodes, two or more hidden layers including a plurality of nodes, and a plurality of output nodes, and the nodes are connected to each other. Way.

4. The method of claim 3,
and the artificial neural network includes parameters learned by using image data of a first resolution and image data of a second resolution photographed for a plurality of display devices.

According to claim 1,
The image data of the first resolution is an image obtained by photographing a screen displaying a predetermined image on a corresponding display device in a defocused state, down-sampled, and stored in the corresponding display device.

delete

According to claim 1,
When classifying detailed profiles of a plurality of local regions into a plurality of classes, the second filter outputs a probability value for each class, and sets the first probability value for a class to which input local region data belongs to a high value. and outputting a probability value for another class as a value lower than the first probability value.

8. The method of claim 7,
In the third step, for each of the plurality of classes, the representative data of the corresponding class and the probability value for the corresponding class are multiplied, and a first value is obtained by adding the plurality of multiplication results, and a predetermined value is obtained from the extracted local area data. An image processing method, characterized in that a second value is obtained by multiplying a parameter, and the second value is generated by adding the first value and the second value to generate secondary reconstructed data for a corresponding local area.

a memory for storing image data of a first resolution;
A first filter is built in, and for each local area of input image data, a block including a corresponding local area is found from the image data, and a higher resolution than the first resolution is obtained from the image data of the block using the first filter. a global feature restoration unit for generating primary restoration data of a second resolution;
A second filter is built in, data of a corresponding local area is extracted from the primary reconstruction data of the block, and a detailed profile of the corresponding local area is restored from the extracted local area data using the second filter. a local profile restoration unit for generating restoration data; and
and a compensator for outputting image data compensated by adding or subtracting the secondary reconstruction data to data of a corresponding local area among the input image data,
The local profile restoration unit,
a local profile extractor for extracting data of a corresponding local area from the primary reconstruction data of the block;
a detailed profile prediction unit for predicting the detailed profile for the extracted local region using the second filter; and
and a local profile calculator for generating the secondary reconstruction data by combining the predicted detailed profile and the extracted local area data,
The detailed profile corresponds to an error value between the primary reconstruction data of the local area and actual data of the corresponding local area.

10. The method of claim 9,
The first filter and the second filter are implemented as an artificial neural network including a plurality of input nodes, two or more hidden layers including a plurality of nodes, and a plurality of output nodes, wherein the nodes are connected to each other,
and the artificial neural network includes parameters learned by using image data of a first resolution and image data of a second resolution photographed for a plurality of display devices.

10. The method of claim 9,
and the memory stores image data of a first resolution obtained by down-sampling an image obtained by photographing a screen on which a predetermined image is displayed on a corresponding display device in a defocused state.

10. The method of claim 9,
The second filter, when classifying detailed profiles of a plurality of local regions into a plurality of classes, outputs a probability value for each class, and sets a first probability value for a class to which input local region data belongs to a high value. and outputting a probability value for another class as a value lower than the first probability value.

a display panel including pixels in which data lines and gate lines cross and are formed in a matrix;
an image processing unit for generating compensation data and compensating and outputting the input image data using the compensation data;
a timing controller for generating control signals for displaying image data output by the image processing unit;
a data driving circuit for converting image data input from the timing controller into data voltages under the control of the timing controller and outputting them to data lines; and
and a gate driving circuit for generating a scan pulse synchronized with the data voltage under the control of the timing controller and sequentially supplying it to the gate lines;
The image processing unit,
a memory for storing image data of a first resolution;
A first filter is built in, and for each local area of input image data, a block including a corresponding local area is found from the image data, and a higher resolution than the first resolution is obtained from the image data of the block using the first filter. a global feature restoration unit for generating primary restoration data of a second resolution;
A second filter is built in, data of a corresponding local area is extracted from the primary reconstruction data of the block, and a detailed profile of the corresponding local area is restored from the extracted local area data using the second filter. a local profile restoration unit for generating restoration data; and
and a compensator for outputting image data compensated by adding or subtracting the restored secondary restored data to data of a corresponding local area among the input image data,
The local profile restoration unit,
a local profile extractor for extracting data of a corresponding local area from the primary reconstruction data of the block;
a detailed profile prediction unit for predicting the detailed profile for the extracted local region using the second filter; and
and a local profile calculator for generating the secondary reconstruction data by combining the predicted detailed profile and the extracted local area data,
The detailed profile corresponds to an error value between the primary reconstruction data of the local area and actual data of the corresponding local area.