KR20190021756A

KR20190021756A - 영상 처리 방법 및 이를 이용한 표시 장치

Info

Publication number: KR20190021756A
Application number: KR1020170106915A
Authority: KR
Inventors: 송지희; 김정겸; 추교혁
Original assignee: 엘지디스플레이 주식회사
Priority date: 2017-08-23
Filing date: 2017-08-23
Publication date: 2019-03-06
Also published as: KR102326165B1

Abstract

본 발명에 따른 영상 처리 방법은, 제1 필터를 이용하여 제1 해상도의 이미지 데이터로부터 제1 크기의 블록 단위로 제1 해상도보다 높은 제2 해상도의 1차 복원 데이터를 생성하고, 제2 필터를 이용하여 블록의 1차 복원 데이터로부터 제1 크기보다 작은 제2 크기의 국소 영역 단위로 2차 복원 데이터를 생성하고, 2차 복원 데이터를 이용하여 표시 장치에 입력되는 영상 데이터를 국소 영역 단위로 보상하여, 저해상도의 보상 데이터를 이용하여 표시 장치 고유의 표시 결함을 보상할 수 있다.

Description

영상 처리 방법 및 이를 이용한 표시 장치{IMAGE PROCESSING METHOD AND DISPLAY DEVICE USING THE SAME}

본 발명은 영상 처리 방법 및 이를 이용한 표시 장치에 관한 것이다.

정보화 사회로 진행함에 따라 화상을 표시하기 위한 표시 장치에 대한 요구가 다양해지고 있으며, 근래에는 액정 표시 장치(LCD: Liquid Crystal Display), 유기 발광 다이오드 표시 장치(OLED: Organic Light Emitting Diode)와 같은 여러 평판 표시 장치가 널리 사용되고 있다.

평판 표시 장치를 제조할 때, 제품 사이 화질의 편차를 줄이고 또한 제품 내에서도 각 픽셀마다 화질이 균일하게 되도록 많은 노력을 기울이지만, 각 제품마다 또한 각 픽셀마다 휘도나 색채를 균일하게 하는 것이 쉽지 않아, 특정 위치의 휘도가 높거나 낮거나 특정 색채가 더 두드러지게 보일 수 있다. 또한, 표시 장치의 제조 과정에 화면 특정 위치에 얼룩이나 스크래치가 발생할 수 있고, 이는 해당 표시 장치의 표시 결함으로 나타난다.

이러한 점을 고려하여, 제품 제조 후 출하 전에 각 제품에 대해 표시 결함과 관련된 정보를 얻고 이를 보상하기 위한 보상 데이터를 취득하는 과정을 수행하는데, 화면에 소정 휘도와 색채를 표시한 상태에서 카메라로 찍고 카메라가 캡쳐한 이미지를 근거로 보상 데이터를 얻는 카메라 보상 과정을 거친다.

표시 장치는, 이러한 보상 데이터를 메모리에 저장하고, 호스트로부터 입력되는 영상 데이터에 보상 데이터를 더하거나 빼주는 보상 연산을 하고 보상 연산이 된 영상 데이터를 화면에 표시함으로써, 해당 표시 장치에 고유한 표시 결함이 제거된 영상을 표시할 수 있다.

하지만, 표시 장치의 해상도가 증가함에 따라, 메모리에 저장해야 할 보상 데이터의 크기가 커져 메모리 용량이 커지고 제품 비용이 높아지는 문제가 있다.

또한, 고해상도의 보상 데이터를 얻는 카메라 보상 과정을 각 제품마다 수행해야 하는데, 카메라 보상 과정에 시간이 많이 걸리거나 카메라 촬영한 화면에 모아레(Moire)가 발생하여 제대로 된 보상 데이터를 얻지 못하는 문제가 있다.

또한, 보상 데이터를 저화질 또는 저해상도로 얻는 경우, 보상 데이터가 해당 제품 고유의 표시 결함을 제대로 반영하지 못하여 보상 성능이 저하되고 화면 품질이 떨어지는 문제가 있다.

본 발명은 이러한 상황을 감안한 것으로, 본 발명의 목적은 작은 용량의 보상 데이터를 이용하여 표시 장치 고유의 표시 결함을 보상하는 방법과 장치를 제공하는 데 있다.

본 발명의 또 다른 목적은, 표시 장치의 리소스를 증가시키지 않고 표시 장치 고유의 표시 결함을 보상하는 방법과 장치를 제공하는 데 있다.

본 발명의 또 다른 목적은, 표시 장치 고유의 표시 결함을 보상할 보상 데이터를 적은 용량의 데이터로 빠르게 얻는 방법을 제공하는 데 있다.

본 발명의 일 실시예에 따른 영상 처리 방법은, 제1 필터를 이용하여 제1 해상도의 이미지 데이터로부터 제1 크기의 블록 단위로 제1 해상도보다 높은 제2 해상도의 1차 복원 데이터를 생성하는 단계; 제2 필터를 이용하여 블록의 1차 복원 데이터로부터 제1 크기보다 작은 제2 크기의 국소 영역 단위로 2차 복원 데이터를 생성하는 단계; 2차 복원 데이터를 이용하여 표시 장치에 입력되는 영상 데이터를 국소 영역 단위로 보상하는 단계; 및 보상된 영상 데이터를 표시하는 단계를 포함하여 이루어지는 것을 특징으로 한다.

일 실시예에서, 블록은 n x n (여기서, n은 짝수인 자연수) 크기의 픽셀 집합이고 국소 영역은 블록에 포함된 하나의 픽셀 라인일 수 있다.

일 실시예에서, 1 필터와 제2 필터는 복수 개의 입력 노드, 복수 개의 노드를 포함하는 둘 이상의 숨겨진 레이어 및 복수 개의 출력 노드를 포함하고 노드들이 서로 연결되는 인공 신경망으로 구현될 수 있다.

일 실시예에서, 인공 신경망은 복수 개의 표시 장치에 대해 촬영한 제1 해상도의 이미지 데이터와 제2 해상도의 이미지 데이터를 이용하여 학습한 파라미터를 포함할 수 있다.

일 실시예에서, 제1 해상도의 이미지 데이터는 해당 표시 장치에 소정의 영상을 표시한 화면을 디포커스 상태로 촬영한 이미지가 다운샘플링 되어 해당 표시 장치에 저장될 수 있다.

일 실시예에서, 2차 복원 데이터를 생성하는 단계는, 블록 단위의 1차 복원 데이터로부터 국소 영역 단위로 데이터를 추출하는 제1 단계; 제2 필터를 이용하여 추출된 국소 영역의 데이터에 대한 세부 프로파일을 예측하는 제2 단계; 및 예측된 세부 프로파일과 추출된 국소 영역의 데이터를 결합하여 2차 복원 데이터를 생성하는 제3 단계를 포함하여 이루어지고, 세부 프로파일은 국소 영역의 1차 복원 데이터와 해당 국소 영역의 실제 데이터 사이의 오차 값에 해당 할 수 있다.

일 실시예에서, 복수 개의 국소 영역의 세부 프로파일들을 복수 개의 클래스로 분류할 때, 제2 필터는 각 클래스에 대한 확률 값을 출력하되, 입력되는 국소 영역의 데이터가 속하는 클래스에 대한 제1 확률 값을 높은 값으로 출력하고, 다른 클래스에 대한 확률 값을 제1 확률 값보다 낮은 값으로 출력할 수 있다.

일 실시예에서, 제3 단계는, 복수 개의 클래스 각각에 대해서 해당 클래스의 대표 데이터와 해당 클래스에 대한 확률 값을 곱하고 복수 개의 곱한 결과를 더하여 제1 값을 구하고, 추출된 국소 영역의 데이터에 소정의 파라미터를 곱하여 제2 값을 구하고, 제1 값과 제2 값을 더하여 해당 국소 영역에 대한 2차 복원 데이터를 생성할 수 있다.

본 발명의 다른 실시예에 따른 영상 처리 장치는, 제1 해상도의 이미지 데이터를 저장하기 위한 메모리; 제1 필터를 내장하고, 입력되는 영상 데이터의 각 국소 영역에 대하여 해당 국소 영역을 포함하는 블록을 이미지 데이터로부터 찾고, 제1 필터를 이용하여 블록의 이미지 데이터로부터 제1 해상도보다 높은 제2 해상도의 1차 복원 데이터를 생성하기 위한 글로벌 특징 복원부; 제2 필터를 내장하고, 블록의 1차 복원 데이터로부터 해당 국소 영역의 데이터를 추출하고, 제2 필터를 이용하여 추출된 국소 영역의 데이터로부터 해당 국소 영역의 세부 프로파일이 복원된 제2 복원 데이터를 생성하기 위한 로컬 프로파일 복원부; 및 입력되는 영상 데이터 중에서 해당 국소 영역의 데이터에 복원된 제2 복원 데이터를 더하거나 빼주어 보상된 영상 데이터를 출력하기 위한 보상부를 포함하여 구성되고, 세부 프로파일은 국소 영역의 1차 복원 데이터와 해당 국소 영역의 실제 데이터 사이의 오차 값에 해당하는 것을 특징으로 한다.

일 실시예에서, 메모리는 해당 표시 장치에 소정의 영상을 표시한 화면을 디포커스 상태로 촬영한 이미지를 다운샘플링 한 제1 해상도의 이미지 데이터를 저장할 수 있다.

일 실시예에서, 로컬 프로파일 복원부는, 블록의 1차 복원 데이터로부터 해당 국소 영역의 데이터를 추출하기 위한 로컬 프로파일 추출부; 제2 필터를 이용하여 추출된 국소 영역에 대한 세부 프로파일을 예측하기 위한 세부 프로파일 예측부; 및 예측된 세부 프로파일과 추출된 국소 영역의 데이터를 결합하여 2차 복원 데이터를 생성하기 위한 로컬 프로파일 계산부를 포함하여 구성되고, 제2 필터는, 복수 개의 국소 영역의 세부 프로파일들을 복수 개의 클래스로 분류할 때, 각 클래스에 대한 확률 값을 출력하되, 입력되는 국소 영역의 데이터가 속하는 클래스에 대한 제1 확률 값을 높은 값으로 출력하고, 다른 클래스에 대한 확률 값을 제1 확률 값보다 낮은 값으로 출력할 수 있다.

본 발명의 또 다른 실시예에 따른 표시 장치는, 데이터 라인들과 게이트 라인들이 교차하고 매트릭스 형태로 형성되는 픽셀들을 포함하는 표시 패널; 보상 데이터를 생성하고 이를 이용하여 입력되는 영상 데이터를 보상하여 출력하기 위한 영상 처리부; 영상 처리부가 출력하는 영상 데이터를 표시하기 위한 제어 신호들을 생성하기 위한 타이밍 컨트롤러; 타이밍 컨트롤러의 제어에 따라 타이밍 컨트롤러로부터 입력되는 영상 데이터를 데이터 전압으로 변환하여 데이터 라인들에 출력하기 위한 데이터 구동 회로; 및 타이밍 컨트롤러의 제어에 따라 데이터 전압에 동기되는 스캔 펄스를 생성하여 게이트 라인들에 순차적으로 공급하기 위한 게이트 구동 회로를 포함하여 구성되고, 영상 처리부는, 제1 해상도의 이미지 데이터를 저장하기 위한 메모리; 제1 필터를 내장하고, 입력되는 영상 데이터의 각 국소 영역에 대하여 해당 국소 영역을 포함하는 블록을 이미지 데이터로부터 찾고, 제1 필터를 이용하여 블록의 이미지 데이터로부터 제1 해상도보다 높은 제2 해상도의 1차 복원 데이터를 생성하기 위한 글로벌 특징 복원부; 제2 필터를 내장하고, 블록의 1차 복원 데이터로부터 해당 국소 영역의 데이터를 추출하고, 제2 필터를 이용하여 추출된 국소 영역의 데이터로부터 해당 국소 영역의 세부 프로파일이 복원된 제2 복원 데이터를 생성하기 위한 로컬 프로파일 복원부; 및 입력되는 영상 데이터 중에서 해당 국소 영역의 데이터에 복원된 제2 복원 데이터를 더하거나 빼주어 보상된 영상 데이터를 출력하기 위한 보상부를 포함하여 구성되고, 세부 프로파일은 국소 영역의 1차 복원 데이터와 해당 국소 영역의 실제 데이터 사이의 오차 값에 해당하는 것을 특징으로 한다.

따라서, 낮은 해상도 또는 낮은 용량의 보상 데이터를 이용하면서도 표시 장치 고유의 표시 결함을 보상하는 보상 성능을 향상시킬 수 있게 된다.

또한, 표시 장치 고유의 표시 결함을 보상하기 위한 보상 데이터를 저장하기 위한 메모리 용량을 증가시키지 않고도, 고해상도 표시 장치의 화면 특징을 효과적으로 보상할 수 있게 된다.

또한, 표시 장치를 출하하는 과정에서 보상 데이터를 얻기 위한 카메라 보상 과정에 걸리는 시간을 줄일 수 있게 된다.

도 1은 점등하는 픽셀 도트를 이동시키면서 화면을 복수 회 촬영하고 이를 합성하여 고해상도 보상 데이터를 얻는 카메라 보상 과정을 도시한 것이고,
도 2는 카메라 보상 과정에서 화면에 포커스를 맞추어 고해상도의 보상 데이터를 얻을 때 보상 데이터에 모아레가 발생하는 것을 도시한 것이고,
도 3은 고주파 영역의 프로파일이 서로 다른 두 영상을 도시한 것이고,
도 4는 영상의 프로파일과 정확하게 일치하지 않는 보상 데이터로 해당 영상을 보상할 때 해당 영상의 프로파일과 보상 데이터가 영상에 표시되는 예를 도시한 것이고,
도 5는 본 발명의 일 실시예에 따라 저해상도로 촬영된 디포커스 이미지 데이터로부터 고해상도의 보상 데이터를 얻는 과정을 도시한 것이고,
도 6은 본 발명이 적용되는 표시 장치를 블록으로 도시한 것이고,
도 7은 본 발명에 따른 영상 처리부의 구성을 블록으로 도시한 것이고,
도 8은 본 발명에 따른 로컬 프로파일 복원부의 구성을 블록으로 도시한 것이고,
도 9는 본 발명의 일 실시예에 따라 글로벌 특징 복원부에 적용되는 필터의 파라미터를 얻는 글로벌 특징 학습 과정을 도시한 것이고,
도 10은 본 발명의 일 실시예에 따라 로컬 프로파일 복원부에 적용되는 필터의 파라미터를 얻는 로컬 프로파일 학습 과정을 도시한 것이고,
도 11은 도 10의 로컬 프로파일 학습 과정에서 로컬 프로파일 추출 과정을 구체적으로 도시한 것이고,
도 12는 도 11의 로컬 프로파일 추출 과정에서 얻은 세부 프로파일을 이용하여 로컬 프로파일 클래스를 추출하는 과정을 도시한 것이고,
도 13은 도 10의 로컬 프로파일 학습 과정에서 로컬 프로파일 클래스를 학습하는 과정을 구체적으로 도시한 것이고,
도 14는 카메라가 복수 개의 패널에 대해서 촬영한 보상 화면 데이터로부터 다수 개의 로컬 프로파일 데이터를 얻는 과정을 도시한 것이고,
도 15는 도 14 과정에서 얻은 로컬 프로파일 데이터를 픽셀 위치 별로 분류하는 것을 도시한 것이고,
도 16은 각 픽셀 위치마다 그 값의 분포 특성을 이용하여 분류하는 과정을 도시한 것이고,
도 17과 도 18은 픽셀 위치마다 소정 개수의 클래스로 분류된 결과를 도시한 것이고,
도 19는 2개의 픽셀 위치를 하나의 단위로 하여 그 값의 분포 특성에 따라 로컬 프로파일 데이터를 분류하는 다른 예를 도시한 것이고,
도 20은 복수의 방법에 따라 얻은 보상 데이터 이미지를 비교한 것이고,
도 21은 복수의 방법에 따라 얻은 로컬 프로파일 데이터를 비교한 것이다.

이하 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예들을 상세히 설명한다. 명세서 전체에 걸쳐서 동일한 참조번호들은 실질적으로 동일한 구성 요소들을 의미한다. 이하의 설명에서, 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.

표시 장치 제조 과정에서 화면 표면에 얼룩이 지거나 상처가 발생할 수 있고, 또한 위치에 따라 휘도나 색채가 달라지고, 이는 화면에 표시되는 영상의 품질을 저하시킨다. 이와 같이 표시 장치 고유의 표시 결함을 해소하기 위해 제품 출하 전에 카메라 보상 과정을 거친다.

즉, 조립된 표시 장치에 소정의 영상, 예를 들어 중간 휘도의 그레이를 표시하고 이를 카메라로 캡쳐 하여 화면 고유의 표시 결함, 즉 얼룩, 스크래치, 휘도 차, 색채 이상 등을 검출하고, 이를 보상할 수 있는 보상 데이터를 생성하고, 표시 장치의 메모리에 저장할 수 있다.

도 1은 점등하는 픽셀 도트를 이동시키면서 화면을 복수 회 촬영하고 이를 합성하여 고해상도 보상 데이터를 얻는 카메라 보상 과정을 도시한 것이고, 도 2는 카메라 보상 과정에서 화면에 포커스를 맞추어 고해상도의 보상 데이터를 얻을 때 보상 데이터에 모아레가 발생하는 것을 도시한 것이다.

도 1은, 고해상도의 보상 데이터를 얻기 위해, 표시 장치의 픽셀들을 소정 개수를 하나의 블록으로 분할하고, 각 블록의 대응되는 위치의 픽셀들만을 순서대로 점등한 상태로 카메라로 화면을 촬영하되 블록에 포함된 픽셀의 개수만큼 카메라로 화면을 촬영하여 영상을 합성하고, 이를 근거로 화면의 표시 결함을 보상하기 위한 보상 데이터를 생성하는 쉬프트 닷 패턴(Shift Dot Pattern) 촬영 방식이라고 한다.

도 1에서는, 패널의 픽셀들을 4x4 크기의 블록으로 분할하고, 먼저 각 블록의 (1, 1) 위치의 픽셀만을 점등하고 다른 픽셀들은 소등한 상태로 화면을 표시하고 카메라로 이를 (1, 1) 패턴으로 촬영하고, 각 블록의 (1, 2) 위치의 픽셀만을 점등하고 다른 픽셀들은 소등한 상태로 화면을 표시하고 카메라로 이를 (1, 2) 패턴으로 촬영하고, 비슷하게 점등 위치를 순차적으로 바꾸면서 (4, 4) 패턴까지 16회 촬영하여, 16개의 패턴 영상을 합성하여 고해상도의 보상 데이터를 얻을 수 있다.

도 1의 쉬프트 닷 패턴 촬영 방식은 화면을 고해상도로 촬영하여 고해상도의 보상 데이터를 얻는 장점이 있지만, 블록의 크기가 커질수록 촬영 회수가 증가하고 보상 데이터를 생성하기 위해 필요한 시간이 증가하는 문제가 있다.

도 2에서는 화면에 포커스를 정확히 맞추어(On focus) 높은 해상도로 화면을 촬영하고 이를 이용하여 보상 데이터를 생성하는데, 포커스를 정확히 맞추어 화면을 촬영하면 촬영된 이미지에 모아레가 발생하여 화면 고유의 결함을 반영하지 못하는 문제가 있다.

도 1의 쉬프트 닷 패턴 촬영 방식에서 블록의 크기를 줄이면 촬영 시간을 줄일 수 있지만, 블록의 크기를 줄여, 예를 들어 블록을 2x2 크기로 줄여 도 2와 같이 고해상도로 화면을 촬영하면 모아레가 발생하기 때문에, 블록의 크기를 줄이는데 한계가 있다.

한편, 모아레를 막기 위해, 화면에 포커스를 맞추지 않고 디포커스 상태로 화면을 촬영할 수 있지만, 이 경우 촬영된 화면 이미지는 고해상도일 수 있지만 디포커스 상태이기 때문에 화면 이미지는 화면의 고주파 성분을 반영하지 못하고 저해상도의 데이터를 얻을 수 있을 뿐이다.

즉, 작은 얼룩이나 날카로운 특징을 가진 얼룩은 디포커스로 인해 뭉개져 촬영되기 때문에, 디포커스 상태로 촬영한 화면 이미지로는 이러한 얼룩을 정확히 보상하기 어렵고 보상 성능이 떨어진다.

도 3은 고주파 영역의 프로파일이 서로 다른 두 영상을 도시한 것이고, 도 4는 영상의 프로파일과 정확하게 일치하지 않는 보상 데이터로 해당 영상을 보상할 때 해당 영상의 프로파일과 보상 데이터가 영상에 표시되는 예를 도시한 것이다.

도 3에서 제1 일반 영상(Normal Image #1)과 제2 일반 영상(Normal Image #2)은 고주파 영역의 특징 또는 결함, 즉 고주파 프로파일(Profile #1, Profile #2)이 서로 일치하지는 않지만 그 패턴이 서로 유사하여, 시청자가 제1 일반 영상과 제2 일반 영상의 차이를 인지하기가 어렵다.

도 4의 위 그림에서, 제1 일반 영상에 대한 고주파 프로파일(Profile #1)을 보상할 수 있는 제1 보상 데이터(Compensation Data for Profile #1)를 제1 일반 영상과 합성하면, 고주파 영역의 결함이 제1 보상 데이터에 의해 상쇄되어 제1 일반 영상에 고주파 영역의 결함이 표시되지 않는다.

도 4의 아래 그림에서는, 제2 일반 영상의 고주파 프로파일(Profile #2)과 유사한 제1 일반 영상의 고주파 프로파일(Profile #1)을 제2 일반 영상에 대한 보상 데이터로 하여 제2 일반 영상과 합성한 결과가 도시되어 있는데, 도 3에서 일반 영상을 비교하는 것과는 달리, 보상하고자 하는 영상에 정확한 보상 데이터를 이용하지 않으면 보상 결과에 해당 영상의 고주파 결함뿐만 아니라 보상 데이터도 함께 표시될 수 있다.

이와 같이, 일반 영상과는 달리, 보상 데이터는 전체적인 패턴뿐만 아니라 구체적인 프로파일도 포함하여야 화면의 표시 결함을 상쇄시킬 수 있다. 즉, 디포커스 상태로 저해상도로 화면을 촬영하여 얻은 보상 데이터를 단순히 그대로 이용해서는 화면의 표시 결함을 제대로 보상할 수 없다.

저해상도로 촬영한 이미지 데이터로부터 제대로 된 보상 데이터를 얻기 위해서는, 촬영한 이미지 데이터로부터 화면의 결함을 정확히 표현하는 구체적인 프로파일을 복원해야 한다.

본 발명에서는, 저해상도로 촬영한 이미지 데이터로부터 손실이 적은 고해상도의 보상 데이터를 얻되, 블록 단위로 그 특성을 학습하여 1차 고해상도 복원 데이터를 얻고, 이를 다시 국소 영역 단위로 나누어 그 프로파일을 학습하여 2차 고해상도 보상 데이터를 얻고, 이를 결합하여 고해상도의 보상 데이터를 얻을 수 있다.

도 5는 본 발명의 일 실시예에 따라 저해상도로 촬영된 디포커스 이미지 데이터로부터 고해상도의 보상 데이터를 얻는 과정을 도시한 것이다.

저해상도로 촬영한 이미지 데이터를 소정 크기의 블록 단위로 나누고 각 블록 이미지 데이터의 특징을 학습시켜(Global Feature Training) 블록의 글로벌 특징을 복원하여(Global Feature Recovery) 1차 고해상도 복원 데이터를 얻고, 복원된 글로벌 특징을 이용하여 블록에 포함된 각 국소 영역의 프로파일, 즉 로컬 프로파일을 학습시켜(Local Profile Training) 로컬 프로파일을 복원하여(Local Profile Recovery) 2차 고해상도 복원 데이터를 얻고, 이를 근거로 고해상도의 보상 데이터를 얻을 수 있다.

도 5에서 학습하는 과정, 즉 글로벌 특징 학습 과정과 로컬 프로파일 학습 과정은, 다수 개의 표시 장치에 대해서 수행하고, 그 수행 결과로 저해상도 이미지를 입력으로 하여 고해상도 이미지를 출력하는 필터를 얻는 과정이다. 또한, 도 5에서 복원하는 과정, 즉 글로벌 특징 복원 과정과 로컬 프로파일 복원 과정은, 각 표시 장치에서 입력되는 영상을 보상하기 위한 보상 데이터를 얻기 위해 수행할 수 있다.

같은 모델의 복수의 표시 장치 각각에 대해서, 화면에 소정 휘도와 색채를 표시한 상태에서 디포커스 상태로 이미지를 촬영하여 저해상도의 이미지 데이터를 얻고, 다수의 저해상도의 이미지 데이터를 이용하여 제1 필터, 예를 들어 제1 인공 신경망(ANN: Artificial Neural Network)을 학습시켜 저해상도의 블록을 입력으로 하여 고해상도의 블록(1차 고해상도 복원 데이터)을 출력으로 하는, 제1 필터의 파라미터를 얻는다(글로벌 특징 학습).

또한, 다수의 저해상도 이미지 데이터로부터 제1 필터를 이용하여 다수의 고해상도의 블록을 얻고, 각 고해상도 블록에 포함된 다수의 국소 영역 데이터, 즉 1차 로컬 데이터를 이용하여 제2 필터, 예를 들어 제2 인공 신경망을 학습시켜 1차 로컬 데이터를 입력으로 하여 세부 프로파일이 반영된 2차 로컬 데이터를 출력하는, 제2 필터의 파라미터를 얻는다(로컬 프로파일 학습).

2차 로컬 데이터는 해당 국소 영역의 세부 프로파일이 반영된 고해상도의 데이터로, 2차 로컬 데이터들을 결합하여 해당 표시 장치의 고해상도 보상 데이터를 얻을 수 있다.

즉, 다수의 저해상도 이미지 데이터를 이용하여 제1 필터와 제2 필터를 학습시켜 고해상도의 보상 데이터를 얻도록 하는 파라미터를 얻은 상태에서, 같은 모델의 다른 표시 장치(학습에 이용되지 않은 표시 장치)에 대해 디포커스 상태로 촬영한 저해상도 이미지 데이터를 제1 필터와 제2 필터에 적용하면 블록 단위의 글로벌 특징과 국소 영역 단위의 세부 프로파일이 반영된 고해상도의 보상 데이터를 얻을 수 있다.

여기서, 국소 영역은, 블록에 포함되어 블록보다 그 크기가 더 작은 영역으로, 블록을 구성하는 복수의 라인 중에서 하나의 라인(하나의 행에 포함된 픽셀들의 그룹)으로 설정할 수 있는데, 이는 라인 단위로 패널에 데이터를 기입하는 표시 장치에서 입력 영상 데이터를 라인 단위로 보상하는 것이 데이터 처리 속도나 메모리 관리에 유리하기 때문이다.

표시 장치를 출하할 때, 디포커스 상태로 화면을 촬영한 저해상도의 이미지 데이터를 다운샘플링 하여 작은 용량의 저해상도 보상 데이터로 해당 표시 장치의 메모리에 저장하고, 학습 과정에서 획득한 파라미터를 적용한 제1 필터와 제2 필터도 보상 회로에 하드웨어로 추가할 수 있다.

표시 장치는, 입력 영상의 각 국소 영역, 즉 라인에 대해서, 제1 필터와 제2 필터를 이용하여 메모리에 저장된 저해상도의 이미지 데이터로부터 고해상도의 보상 데이터를 국소 영역 단위로 얻고, 이를 해당 국소 영역의 입력 영상 데이터와 결합하여 화면에 표시함으로써, 표시 장치 고유의 표시 결함을 상쇄할 수 있다.

도 6은 본 발명이 적용되는 표시 장치를 블록으로 도시한 것이다. 본 발명의 실시예에 따른 표시 장치는 표시 패널(10), 타이밍 컨트롤러(11), 데이터 구동 회로(12), 게이트 구동 회로(13) 및 영상 처리부(20)를 구비할 수 있다.

표시 패널(10)에는 데이터 라인들(14)과 게이트 라인들(15)이 교차하고 매트릭스 형태로 형성되는 픽셀들을 포함한다. 표시 패널(10)의 데이터 라인들과 게이트 라인들의 교차부에는 박막 트랜지스터(Thin Film Transistor: TFT)가 형성된다. 표시 패널(10)은, 액정 표시 소자(Liquid Crystal Display, LCD), 전계 방출 표시 소자(Field Emission Display, FED), 플라즈마 디스플레이 패널(Plasma Display Panel, PDP) 및 무기 전계 발광 소자와 유기 발광 다이오드 소자(Organic Light Emitting Diode, OLED)를 포함한 전계 발광 소자(Electroluminescence Device, EL), 전기 영동 표시 소자(Electrophoresis, EPD) 등의 평판 표시 소자로 구현될 수 있다. 표시 패널(10)이 액정 표시 소자의 표시 패널로 구현되는 경우, 백라이트 유닛이 필요하다. 백라이트 유닛은 직하형(direct type) 백라이트 유닛 또는 에지형(edge type) 백라이트 유닛으로 구현될 수 있다.

영상 처리부(20)는, 저해상도의 이미지 데이터로부터 고해상도의 보상 데이터를 복원하고, 입력되는 영상 데이터(RGB)에 복원된 보상 데이터를 더하거나 빼서 표시 결함이 상쇄된 영상 데이터(RGB')를 출력한다. 영상 처리부(20)는 타이밍 컨트롤러(11) 앞에 배치되거나 타이밍 컨트롤러(11) 내부에 장착될 수도 있다. 영상 처리부(20)에 대한 자세한 설명은 도 7과 도 8을 결부하여 다음에 설명한다.

타이밍 컨트롤러(11)는 영상 처리부(20)로부터 출력되는 영상 데이터(RGB')를 데이터 구동 회로(12)에 공급한다. 타이밍 컨트롤러(11)는 호스트 시스템(도시하지 않음)으로부터 수직 동기 신호(Vsync), 수평 동기 신호(Hsync), 데이터 인에이블 신호(Data Enable, DE), 도트 클럭(CLK) 등의 타이밍 신호를 입력 받아 데이터 구동 회로(12)와 게이트 구동 회로(13)의 동작 타이밍을 제어하기 위한 제어 신호들을 생성한다. 제어 신호들은 게이트 구동 회로(13)의 동작 타이밍을 제어하기 위한 게이트 타이밍 제어 신호(GCS)와 데이터 구동 회로(12)의 동작 타이밍을 제어하기 위한 데이터 타이밍 제어 신호(DCS)를 포함한다.

데이터 구동 회로(12)는 타이밍 컨트롤러(11)의 제어에 따라 영상 데이터(RGB')를 데이터 전압으로 변환하여 데이터 라인들(14)로 출력한다. 게이트 구동 회로(13)는 타이밍 컨트롤러(11)의 제어에 따라 데이터 전압에 동기되는 스캔 펄스를 게이트 라인들(15)에 순차적으로 공급한다.

게이트 구동 회로(13)는, 타이밍 컨트롤러(11)의 제어에 따라 데이터 전압에 동기되는 스캔 펄스를 표시 패널(10)의 게이트 라인들(15)에 순차적으로 공급한다. 게이트 구동 회로(13)는 쉬프트 레지스터, 쉬프트 레지스터의 출력 신호를 픽셀의 TFT 구동에 적합한 스윙 폭으로 변환하기 위한 레벨 쉬프터 및 출력 버퍼 등을 각각 포함하는 다수의 게이트 드라이브 집적 회로들로 구성될 수 있다. 또는, 게이트 구동 회로(13)는 GIP(Gate Drive IC in Panel) 방식으로 표시 패널(10)의 하부 기판에 직접 형성될 수도 있다. GIP 방식의 경우, 레벨 쉬프터는 PCB(Printed Circuit Board) 위에 실장되고, 쉬프트 레지스터는 표시 패널(10)의 하부 기판에 형성될 수 있다.

도 7은 본 발명에 따른 영상 처리부의 구성을 블록으로 도시한 것이다.

영상 처리부(20)는, 패널에 표시할 영상 데이터(RGB)를 호스트로부터 입력 받고, 저해상도의 보상 데이터로부터 고해상도의 보상 데이터를 복원하고, 복원된 고해상도 보상 데이터를 이용하여 영상 데이터(RGB)를 보상하여, 표시 결함이 제거된 영상 데이터(RGB')를 출력한다.

이를 위해, 영상 처리부(20)는, 저해상도의 보상 데이터를 저장하기 위한 메모리(210), 제1 파라미터(Parameter #1)가 채용된 제1 필터를 이용하여 저해상도의 보상 데이터로부터 블록 단위로 해당 블록의 글로벌 특징을 복원하여 1차 고해상도 복원 데이터(Global Image)를 생성하는 글로벌 특징 복원부(220), 글로벌 특징 복원부가 블록 단위로 복원한 1차 고해상도 보상 데이터로부터 국소 영역 단위로 세부 프로파일을 예측하고 예측한 세부 프로파일과 해당 국소 영역의 데이터를 결합하여 각 국소 영역에 대한 고해상도 보상 데이터(Local Compensation Data)를 생성하는 로컬 프로파일 복원부(230) 및 로컬 프로파일 복원부가 생성한 국소 영역의 고해상도 보상 데이터를 이용하여 대응되는 국소 영역의 입력 영상 데이터(RGB)를 보상하여 보상된 영상 데이터(RGB')를 출력하는 보상부(240)를 포함하여 구성될 수 있다.

메모리(210)에는, 적은 용량으로 저장하기 위해 디포커스 상태로 촬영한 이미지를 다운샘플링 하여 저해상도의 보상 이미지 또는 저해상도의 보상 데이터가 저장될 수 있다. 글로벌 특징 복원부(220)에 내장된 제1 필터가 블록 단위의 이미지 데이터를 입력으로 하고 같은 블록 단위의 이미지 데이터를 출력으로 할 수 있기 때문에, 글로벌 특징 복원부(220)는 메모리(210)로부터 읽어온 저해상도의 보상 데이터를 간삽(Interpolation) 등을 통해 고해상도의 보상 데이터로 변환하는 과정을 먼저 수행할 수도 있는데, 이는 단순히 간삽한 것으로 고차원의 필터를 이용하여 복원한 것과는 달라서 구체적인 특징을 복원하지 못한다.

글로벌 특징 복원부(220)는 제1 파라미터가 채용된 인공 신경망과 같은 제1 필터를 사용하여 블록 단위로 해당 블록의 글로벌 특징을 복원하여 고해상도의 1차 복원 데이터를 생성하는데, 제1 필터는 계산 속도나 전력 소모를 고려하여 하드웨어 방식으로 구현될 수 있다.

보상부(240)는, 입력 영상 데이터의 각 국소 영역 데이터에 로컬 프로파일 복원부(230)가 대응되는 국소 영역에 대해 복원하여 출력하는 보상 데이터를 더하거나 빼주어 보상된 영상 데이터를 출력할 수 있는데, 국소 영역은 소정 크기의 블록에 포함된 하나의 라인이 될 수 있다.

글로벌 특징 복원부(220)와 로컬 프로파일 복원부(230)는, 영상 데이터가 입력될 때마다 입력 영상 데이터의 각 국소 영역에 대해서, 해당 국소 영역에 대응되는 블록을 저해상도의 보상 이미지에서 찾고, 제1 필터를 이용하여 저해상도 보상 이미지 데이터로부터 블록의 글로벌 특징을 복원하여 해당 블록에 대한 제1 고해상 복원 데이터를 생성하고, 제1 복원 데이터에서 대응되는 국소 영역의 데이터를 추출하고 제2 필터를 이용하여 국소 영역의 세부 프로파일을 복원하여 해당 국소 영역에 대한 고해상도의 제2 복원 데이터를 생성할 수 있다. 글로벌 특징 복원부(220), 로컬 프로파일 복원부(230) 및 보상부(240)의 이러한 동작은 영상 데이터의 입력 속도에 맞추어 국소 영역 단위로 실시간으로 수행된다.

도 8은 본 발명에 따른 로컬 프로파일 복원부의 구성을 블록으로 도시한 것이다.

로컬 프로파일 복원부(230)는, 블록 단위로 복원된 1차 고해상도 복원 데이터(Global Image)를 글로벌 특징 복원부(220)로부터 입력 받아 국소 영역 단위로 복원된 고해상도 보상 데이터를 출력하는데, 로컬 프로파일 추출부(231), 세부 프로파일 예측부(232) 및 로컬 프로파일 계산부(233)를 포함하여 구성될 수 있다.

로컬 프로파일 추출부(231)는 블록 단위의 1차 복원 데이터로부터 국소 영역 단위, 예를 들어 라인 단위로 데이터를 추출한다.

세부 프로파일 예측부(232)는, 제2 파라미터(Parameter #2)가 채용된 제2 필터를 이용하여 로컬 프로파일 추출부(231)가 추출한 국소 영역의 데이터에 대한 세부 프로파일을 예측한다. 세부 프로파일에 대한 예측 값은, 블록 단위로 글로벌 특징 복원을 통해 거칠게 복원된 블록 단위의 고해상도의 복원 데이터 중에서 국소 영역의 데이터를 국소 영역 단위로 세밀하게 복원하기 위한 확률 값으로, 국소 영역의 실제 데이터와 해당 국소 영역의 복원된 데이터의 차이 값인 세부 프로파일들을 소정 개수의 클래스(Class)로 분류할 때 각 클래스에 대한 확률 값 또는 가중치가 될 수 있다.

로컬 프로파일 계산부(233)는, 해당 국소 영역의 추출 데이터에, 각 클래스의 대표 데이터와 해당 클래스의 확률 값을 곱한 값들의 합을 더하여 해당 국소 영역에 대한 보상 데이터를 구할 수 있다. 로컬 프로파일 추출부(231)가 추출한 국소 영역의 추출 데이터(1차 고해상도 복원 데이터)를 HR1, i번째 클래스의 대표 데이터를 Ci, 세부 프로파일 예측부(232)가 예측한 i번째 클래스에 대한 확률 값을 Pi, 국소 영역에 대한 최종 고해상도 보상 데이터(2차 고해상도 복원 데이터)를 HR2라 할 때, HR2 = b*HR1 + (C1*P2 + C2*P2 + + Cn*Pn)로 표현할 수 있고, 여기서 b는 패널의 특성을 반영한 파라미터이고, n은 클래스의 개수이다.

도 9는 본 발명의 일 실시예에 따라 글로벌 특징 복원부에 적용되는 필터의 파라미터를 얻는 글로벌 특징 학습 과정을 도시한 것이다.

영상 처리부(20)의 글로벌 특징 복원부(220)에 내장되는 제1 필터는, 해당 표시 장치를 출하하기 전에, 해당 표시 장치와 같은 모델인 다수 개의 표시 장치에 대해서 소정의 영상을 표시하는 화면을 디포커스 상태로 촬영하여 얻은 저해상도의 보상 이미지를 이용하여 파라미터를 학습시켜, 저해상도 보상 이미지로부터 고해상도의 이미지를 출력하는 파라미터를 얻는다.

화면을 디포커스 상태로 촬영하여 얻은 저해상도 보상 이미지를 입력으로 하여 인공 신경망과 같은 제1 필터의 출력을 얻고 그 출력을 쉬프트 닷 패턴 촬영 방식으로 촬영한 고해상도 보상 이미지와 비교하여 에러 값을 구하고, 에러 값을 피드백 하여 제1 필터의 파라미터를 갱신하는 방식으로 제1 필터를 학습시킬 수 있다.

먼저, 같은 모델의 다수의 표시 장치 각각에 대해서 화면에 소정 영상, 예를 들어 중간 휘도의 그레이를 표시하고 카메라를 디포커스 상태로 촬영하여 디포커스 이미지를 얻는다. 카메라가 촬영한 이미지의 해상도는 높을 수 있지만 디포커스 상태로 찍혔기 때문에 고주파 성분이 뭉개져서 화면의 세부 특징을 반영하지 못한다.

디포커스 상태로 좔영된 디포커스 이미지를 소정 픽셀 크기, 예를 들어 8x8 또는 16x16 크기의 복수 개의 블록으로 분할하고, 각 블록에 대해서 필터를 학습시킨다.

첫 번째 블록의 데이터를 파라미터가 초기 값으로 설정된 제1 필터(도 9에서 Global Feature Training Filter)에 입력하면, 제1 필터는 글로벌 특징이 복원된 고해상도의 이미지(Recovered Global Image (A))를 출력한다.

또한, 해당 표시 장치의 화면을 쉬프트 닷 패턴 촬영 방식으로 촬영하여 고해상도 이미지 데이터를 얻고, 제1 필터를 통과한 첫 번째 블록에 대응되는 블록의 데이터를 추출하여(Shift Dot Image (B)), 제1 필터가 출력하는 복원된 고해상도의 이미지와 차이인 오차 값을 구한다(Error Calculation (B-A)). 구해진 오차 값을 반영하여 제1 필터의 파라미터를 갱신한다(Parameter Update).

다음 블록을 파라미터가 갱신된 제1 필터에 입력하고 그 출력을 쉬프트 닷 패턴 촬영 방식으로 촬영한 고해상도 이미지 데이터에서 대응되는 블록과 비교하여 오차 값을 구하고 구해진 오차 값을 반영하여 제1 필터의 파라미터를 다시 갱신한다.

하나의 표시 장치에서 촬영된 디포커스 이미지의 모든 블록에 대해서 이러한 필터 학습 과정을 반복하고, 같은 모델의 복수 개의 다른 표시 장치에 대해서도 이러한 필터 학습 과정을 반복하되, 오차 값의 변화가 거의 없고 포화될 때까지 반복하여(Error Saturated?), 제1 필터에 대한 제1 파라미터(Parameter #1)를 얻는다.

이렇게 같은 모델의 복수 개의 표시 장치에 대해서 학습을 통해 구해진 제1 필터는, 같은 모델로 학습에 이용되지 않은 표시 장치에 대해서도, 해당 표시 장치에 촬영된 저해상도의 보상 이미지를 블록 단위로 복원하여, 해당 표시 장치의 실제 고해상도 보상 이미지(쉬프트 닷 패턴 촬영 방식으로 촬영한 고해상도 보상 이미지)에 근접한 1차 복원 이미지를 출력할 수 있다.

이 때 인공 신경망으로 구현되는 제1 필터는 각각 복수 개의 노드를 포함하는 2 이상의 숨겨진 레이어를 포함하고, 블록에 포함된 픽셀의 개수만큼을 입력 노드와 출력 노드로 하여, 노드들이 서로 연결된 형태로 구현될 수 있다. 제1 필터에서 입력되는 블록의 데이터와 파라미터의 컨볼류션(Convolution) 연산을 통해 특징 영상이 추출되고, 레이어가 깊어질수록 출력되는 데이터가 더 고해상 특징을 포함하게 되어, 제1 레이어의 출력 데이터의 해상력보다 제2 레이어의 출력 데이터의 해상력이 높고, 제3 레이어의 출력 데이터의 해상력이 더 높아진다. 파라미터는 갱신이 거듭될수록 고해상의 글로벌 특징을 더 잘 추출하게 된다.

하지만, 제1 필터는, 8x8 또는 16x16 크기의 블록 단위로 저해상도의 이미지 데이터를 고해상도의 이미지 데이터로 복원하기 때문에, 블록의 전체적인 특징, 즉 글로벌 특징만을 거칠게 반영할 뿐, 세부적인 특징을 구체적으로 반영하기에는 한계가 있다. 이에, 블록을 구성하는 국소 영역 단위로 세부적인 프로파일을 추가로 학습시킬 필요가 있다.

도 10은 본 발명의 일 실시예에 따라 로컬 프로파일 복원부에 적용되는 필터의 파라미터를 얻는 로컬 프로파일 학습 과정을 도시한 것이다.

로컬 프로파일을 학습시키는 과정은, 디포커스 이미지의 블록 데이터로부터 해당 블록의 글로벌 특징이 복원된 1차 고해상도 이미지 데이터를 얻고 이로부터 해당 블록을 구성하는 국소 영역의 데이터를 추출하는 로컬 프로파일 추출 과정(Local Profile Extraction), 추출된 복수 개의 국소 영역의 데이터 각각에 대해서 해당 국소 영역의 데이터와 해당 국소 영역의 실제 데이터의 차이 값인 세부 프로파일을 분류하여 소정 개수의 클래스를 추출하는 과정(Local Profile Class Extraction) 및 추출된 국소 영역의 데이터를 이용하여 해당 국소 영역의 데이터에 대응되는 클래스를 가리키는 정보를 출력하도록 하는 제2 필터를 학습시키는 로컬 프로파일 클래스 학습 과정(Local Profile Class Training)을 포함하여 구성될 수 있다.

도 10의 로컬 프로파일 학습 과정도 같은 모델의 복수 개의 표시 장치에 대해서 수행되는데, 각 표시 장치에서 디포커스 상태로 촬영된 저해상도의 보상 이미지를 블록 단위로 분할하고, 글로벌 특징 학습 과정에서 얻어진 제1 필터를 이용하여 분할된 블록 단위로 글로벌 특징을 복원하고, 글로벌 특징이 복원된 각 블록에 포함된 각 국소 영역의 데이터에 대해 로컬 프로파일 학습 과정을 수행하여 제2 필터를 학습시켜 제2 파라미터를 얻는다. 제2 파라미터는 각 표시 장치의 영상 처리부에 내장된다.

도 11 내지 도 13을 참조하여 도 10에 포함된 로컬 프로파일 학습 과정의 각 단계를 구체적으로 설명한다.

도 11은 도 10의 로컬 프로파일 학습 과정에서 로컬 프로파일 추출 과정을 구체적으로 도시한 것이다.

저해상도의 디포커스 이미지를 블록으로 분할하여 추출한 블록의 이미지 데이터를 제1 파라미터로 학습된 제1 필터를 통과시켜 글로벌 특징을 복원하여 1차 복원된 고해상도 이미지 데이터(Recovered Global Image)를 얻는다. 1차 복원 이미지 데이터에서 소정 국소 영역의 데이터, 예를 들어 1 라인의 데이터를 추출한다(Extracted Local Profile (A)).

쉬프트 닷 패턴 촬영 방식으로 촬영한 고해상도 보상 이미지에서 대응되는 블록의 이미지 데이터(Shift Dot Image)를 얻고, 이로부터 대응되는 국소 영역의 데이터(Extracted Local Profile (B))를 추출한다.

1차 복원된 블록 이미지 데이터에서 추출된 국소 영역의 데이터(A) 및 대응되는 국소 영역의 실제 데이터(B) 사이의 차이 값을 세부 프로파일로 구한다(Detail Profile (B-A)).

즉, 세부 프로파일은 제1 필터로 복원한 고해상 보상 이미지와 실제 고해상 보상 이미지와의 차이 값으로 구성된 블록 데이터 중에서 국소 영역 단위로 쪼갠 것으로, 국소 영역을 블록에 포함된 하나의 라인으로 설정할 때 8개 또는 16개의 연속되는 픽셀 값(차이 값)이 세부 프로파일이 될 수 있다.

도 12는 도 11의 로컬 프로파일 추출 과정에서 얻은 세부 프로파일을 이용하여 로컬 프로파일 클래스를 추출하는 과정을 도시한 것이다.

각 국소 영역에 대해서, 즉 같은 모델의 복수 개의 표시 장치에서 촬영한 저해상도의 보상 이미지에 포함된 복수 개의 블록에 포함된 복수 개의 국소 영역 각각에 대해서, 복원한 보상 데이터와 실제 보상 데이터의 차이 값인 세부 프로파일(Detail Profile (B-A))을 구하고, 이들을 비슷한 유형의 것들끼리 묶어서 분류하고(Similar Profile Classification), 비슷하게 묶인 것들을 하나의 클래스로 하여 소정 개수의 클래스를 생성하고 각 클래스에 대해서 대표 프로파일을 추출할 수 있다(Representative Profile Extraction for Each Class).

도 12에서는, 세부 프로파일을 예를 들어 36개의 클래스로 분류하고 있는데, 각 클래스에 대해서 예를 들어 해당 클래스로 묶인 세부 프로파일들의 평균 값을 대표 값으로 할 수 있다.

세부 프로파일을 소정 개수의 클래스로 분류하는 구체적인 방법은 도 14 내지 도 19를 참조로 다음에 자세히 설명한다.

도 13은 도 10의 로컬 프로파일 학습 과정에서 로컬 프로파일 클래스를 학습하는 과정을 구체적으로 도시한 것으로, 표시 장치의 영상 처리부(20)의 로컬 프로파일 복원부(230)에 내장되는 제2 필터의 파라미터를 구하는 과정에 해당한다.

도 13의 로컬 프로파일 클래스 학습은 국소 영역 단위로 수행된다.

제1 필터를 통해 저해상도 보상 이미지로부터 블록 단위로 글로벌 특징을 복원하여 블록 크기의 1차 복원 데이터를 구하고, 이로부터 2차 필터를 학습시키기 위한 국소 영역의 데이터를 추출한다(Local Profile Data Extracted from Recovered Global Image).

추출한 국소 영역의 데이터를 제2 필터(Local Profile Training Filter), 예를 들어 인공 신경망 필터에 입력하면, 제2 필터는 해당 국소 영역의 데이터가 속하는 클래스를 예측하는 값, 즉 해당 국소 영역의 데이터가 속하는 클래스가 도 12에서 구한 복수의 클래스 각각에 대응되는 정도를 가리키는 확률 값을 출력하는 것으로 예정된다.

제2 필터의 파라미터가 충분히 갱신된 상태에서, 36개의 클래스 중에서 예를 들어 제1 클래스에 속하는 국소 영역의 데이터가 제2 필터에 입력되면, 제2 필터는 제1 클래스에 해당하는 값이 1에 가깝고 나머지 클래스에 해당하는 값이 0에 가까운 36개의 확률 값을 출력할 수 있다.

첫 번째 국소 영역의 데이터를 파라미터가 초기 값으로 설정된 제2 필터에 입력하면, 제2 필터는 입력된 국소 영역의 데이터에 해당하는 클래스를 예측하여 도 12에서 분류한 개수의 클래스 각각에 대한 확률 값(Probability values for each Class (A))을 출력한다.

해당 표시 장치의 화면을 쉬프트 닷 패턴 촬영 방식으로 촬영하여 얻은 고해상도 이미지 데이터에서 해당 국소 영역에 대응되는 실제 데이터가 속하는 클래스, 정확히는 해당 국소 영역에 대해서 실제 데이터와 1차 복원된 데이터의 차이 값, 즉 세부 프로파일이 속하는 클래스를 추출하고 실제 확률 값으로 표현한다(Corresponding Class (B)). 예를 들어 현재 진행 중인 국소 영역의 실제 데이터와 1차 복원된 데이터의 차이 값, 즉 현재 진행 중인 국소 영역의 데이터의 세부 프로파일이 첫 번째 클래스에 속한다면 해당 국소 영역의 실제 확률 값(B)은 (1, 0, 0, , 0)으로 표현할 수 있다. 비슷하게 현재 진행 중인 국소 영역의 데이터의 세부 프로파일이 두 번째 클래스에 속한다면 해당 국소 영역의 실제 확률 값(B)은 (0, 1, 0, , 0)으로 표현할 수 있다

제2 필터가 출력하는 확률 값(A)과 실제 확률 값(B)의 차이 값인 오차 값을 구하고(Error Calculation (B-A)), 구해진 오차 값을 반영하여 제2 필터의 파라미터를 갱신한다(Parameter Update).

다음 국소 영역의 데이터에 대해서 제2 필터에 입력하여 해당 국소 영역의 데이터가 속하는 클래스를 예측하는 예측 확률 값을 구하고, 해당 국소 영역의 실제 확률 값과 예측 확률 값을 비교하여 오차 값을 구하고, 이를 반영하여 제2 필터의 파라미터를 다시 갱신한다.

하나의 표시 장치에서 촬영된 디포커스 이미지에 대해서 글로벌 특징이 복원된 모든 블록에 포함된 모든 국소 영역의 데이터에 대해서 이러한 필터 학습 과정을 반복하고, 같은 모델의 복수 개의 다른 표시 장치에 대해서도 이러한 필터 학습 과정을 반복하되, 오차 값의 변화가 거의 없고 포화될 때까지 반복하여(Error Saturated?), 제2 필터에 대한 제2 파라미터(Parameter #2)를 얻는다.

이렇게 같은 모델의 복수 개의 표시 장치에 대해서 학습을 통해 구해진 제2 필터는, 같은 모델로 학습에 이용되지 않은 표시 장치에 대해서도, 해당 표시 장치에 촬영된 저해상도의 보상 이미지의 각 국소 영역의 데이터에 대해서 해당 국소 영역의 1차 복원 데이터와 실제 데이터 사이의 차이 값, 즉 세부 프로파일이 속하는 클래스를 예측하는 확률 값을 출력하는 제2 필터를 얻을 수 있다.

제2 필터가 출력하는 확률 값은, 국소 영역의 1차 복원 데이터로부터 해당 국소 영역의 실제 데이터를 복원하기 위해 필요한 클래스들의 가중치에 해당한다. 즉 국소 영역의 1차 복원 데이터와 실제 데이터의 차이 값을 각 클래스의 대표 값을 제2 필터가 출력하는 확률 값으로 가중 합산하여 구하는 것이다.

제2 필터가 처리하고 있는 국소 영역의 복원 데이터가 속하는 클래스를 정확하게 예측하면, 제2 필터는 해당 국소 영역의 복원 데이터가 속하는 클래스의 확률 값이 1에 가깝고 다른 클래스의 확률 값이 0에 가까운 값을 출력한다. 해당 국소 영역의 데이터가 속하는 클래스는 해당 국소 영역의 복원 데이터와 실제 데이터의 차이 값을 클러스터링 한 것으로, 해당 클래스의 대표 프로파일이 해당 국소 영역의 복원 데이터와 실제 데이터의 차이 값을 충분히 반영하는 것으로 생각할 수 있기 때문에, 해당 클래스의 대표 프로파일을 거의 1 값으로 가중하여 해당 국소 영역의 복원 데이터에 더하면, 해당 국소 영역의 복원 데이터로부터 해당 국소 영역의 실제 데이터를 근사하게 얻을 수 있다.

이렇게 구한 제2 파라미터(Parameter #2)는 도 8의 세부 프로파일 예측부(232)에 하드웨어 방식으로 구현되어 내장되는 제2 필터에 적용되어, 국소 영역 단위, 예를 들어 소정 크기의 블록에 의해 그 길이가 한정되는 라인 단위로 보상 데이터를 실시간으로 복원할 수 있다.

한편, 도 14 내지 도 19를 참조하여 국소 영역 단위의 데이터를 세부 프로파일로 분류하는 과정을 설명한다.

도 14는 카메라가 복수 개의 패널에 대해서 촬영한 보상 화면 데이터로부터 다수 개의 로컬 프로파일 데이터를 얻는 과정을 도시한 것이다.

같은 모델의 복수 개의 표시 장치에 대해서 카메라가 디포커스 상태로 화면을 촬영하거나 쉬프트 닷 패턴 방법으로 화면을 촬영하여 저해상도 보상 이미지와 고해상도 보상 이미지를 얻는다. 저해상도 보상 이미지 각각은 소정 크기, 예를 들어 8x8 크기의 블록으로 나뉘고, 각 블록은 소정 크기의 국소 영역으로 나뉘어 처리되는데, 도 14에서는 라인 단위로 8개의 픽셀 데이터를 하나로 하는 로컬 프로파일 데이터가 처리된다.

도 15는 도 14 과정에서 얻은 로컬 프로파일 데이터를 픽셀 위치 별로 분류하는 것을 도시한 것으로, 14에서 추출된 각 로컬 프로파일 데이터를 1부터 8까지 8개의 픽셀 위치를 기준으로 데이터를 정렬하고, 픽셀 위치마다 별도로 해당 위치에서의 데이터 값을 수직선에 표시한 것이다.

도 14에서 N개의 패널이 있고, 각 패널마다 M개의 로컬 프로파일 데이터가 있기 때문에, NxM개의 로컬 프로파일 데이터를 소정 개수의 부분 클래스로 분류한다.

도 16은 각 픽셀 위치마다 그 값의 분포 특성을 이용하여 분류하는 과정을 도시한 것인데, 로컬 프로파일 데이터는 각 픽셀 위치에 하나의 픽셀 값이 존재하기 때문에 각 픽셀 위치의 값들은 1차원의 직선 위에 표현되지만, 클래스를 분류하고 클래스의 대표 값을 결정하는 과정을 이해하기 쉽도록 2차원에 표현한다.

도 16(a)와 같이 데이터가 분포할 때, 사용자가 임의로 2개의 클래스를 선택하고, (b)와 같이 클래스의 개수만큼, 즉 제1 클래스와 제2 클래스의 중심(큰 원)을 각각 임의로 설정할 수 있다.

데이터 사이의 거리를 기준으로 1차 분류를 하는데, 제1 클래스와 제2 클래스의 임의 중심과 데이터 사이 거리를 각각 구하고, (c)와 같이 가까운 거리에 위치한 중심 값으로 클래스를 1차 분류한다.

(d)와 같이, 1차 분류된 클래스의 데이터를 기반으로 중심 값을 계산하고 새로운 중심 값(네모)으로 설정한다.

(e)와 같이, 거리를 기반으로 2차 분류를 하는데, 새로운 2개의 중심 값과 각 데이터 사이의 거리를 구하고, 해당 데이터에 가까운 거리에 위치한 중심 값의 클래스로 다시 분류한다.

(f)와 같이, 2차 분류를 기반으로 같은 클래스에 속하는 데이터들의 중심 값을 계산하고 새로운 중심 값으로 설정한다.

(g)와 (h)와 같이 데이터 사이의 거리를 기반으로 3차 분류를 하고, 분류 결과가 이전과 같다면 분류 동작을 종료하고 분류 결과가 이전과 다르면 같아질 때까지 새로운 중심 설정과 분류를 반복한다.

도 17과 도 18은 픽셀 위치마다 소정 개수의 클래스로 분류된 결과를 도시한 것으로, 첫 번째 위치의 데이터는 4개의 부분 클래스, 두 번째 위치의 데이터는 3개의 부분 클래스, 8번째 위치의 데이터는 3개의 부분 클래스로 분류되고, 각각의 부분 클래스에 대한 평균 값을 대표 값으로 구한다.

픽셀의 위치 별로 부분 클래스를 조합하고 이를 기반으로 전체 클래스를 구하고, 각 부분 클래스의 대표 값을 이용하여 각 클래스의 대표 프로파일을 생성한다.

도 14 내지 도 18에서는, 라인의 픽셀 위치마다 해당 위치의 데이터 값을 기준으로 둘 이상으로 분류하여 클래스를 설정하고 각 픽셀 위치에 설정된 클래스들의 조합으로 전체 클래스를 분류한다.

도 19는 2개의 픽셀 위치를 하나의 단위로 하여 그 값의 분포 특성에 따라 로컬 프로파일 데이터를 분류하는 다른 예를 도시한 것으로, 이웃하는 2개의 픽셀 위치의 데이터 값들을 가로 축은 i번째 픽셀 위치의 데이터 값으로 하고 세로 축을 (i+1)번째 픽셀 위치의 데이터 값으로 하여 2차원 평면에 표시하고, 편의상 4개의 같은 넓이의 영역으로 나누어 각 영역에 하나의 부분 클래스를 할당하여 데이터들을 분류할 수 있다. 또는 도 16에서 설명한 방법으로 부분 클래스를 분류할 수도 있다.

8개의 픽셀 위치를 2개의 픽셀 위치씩 하나로 묶어서 분류할 수도 있고, 몇 개는 하나의 픽셀 위치마다 부분 클래스를 분류하고 몇 개는 2개의 픽셀 위치마다 하나로 묶어 분류할 수도 있다.

연속하는 3개의 픽셀 위치의 데이터 값들을 3차원 공간에 표시하고, 8개의 클래스로 분류할 수도 있다.

도 20은 복수의 방법에 따라 얻은 보상 데이터 이미지를 비교한 것이고, 도 21은 복수의 방법에 따라 얻은 로컬 프로파일 데이터를 비교한 것이다.

도 20에서, (a)는 디포커스 상태에서 촬영한 디포커스 이미지이고, (b)는 디포커스 이미지를 제1 필터를 이용하여 글로벌 특징을 복원한 이미지이고, (c)는 제1 필터를 이용하여 글로벌 특징을 복원하고 제2 필터를 이용하여 로컬 프로파일까지 복원한 이미지이고, (d)는 쉬프트 닷 패턴 방법으로 촬영한 이미지이다.

디포커스 이미지보다 글로벌 특징이 복원된 이미지가 더 실제 이미지에 가깝고, 글로벌 특징이 복원된 이미지보다 로컬 프로파일까지 복원된 이미지가 더 실제 이미지에 가깝게 된다.

도 21에서 글로벌 특징과 로컬 프로파일을 복원한 이미지가 쉬프트 닷 패턴 방법으로 촬영한 이미지에 근접하여 가장 잘 추종하고 있다.

따라서, 표시 장치는 저해상도의 보상 이미지만을 저장하기 때문에, 고해상도의 보상 데이터를 저장하기 위한 비휘발성 메모리의 사용을 줄일 수 있다. 또한, 저해상도의 보상 이미지로부터 라인 단위로, 정확히는 패널의 하나의 라인 중 일부에 대해서 실시간으로 고해상도의 보상 데이터를 복원하여 출력하므로, 입력 영상 데이터를 보상하기 위해 필요로 하는 휘발성 메모리의 용량도 줄일 수 있다.

또한, 저해상도의 보상 이미지로도 실제의 고해상도 보상 데이터에 근사한 보상 데이터를 복원하므로, 해당 표시 장치에 고유한 표시 결함을 제대로 치유하여 표시 품질을 향상시킬 수 있게 된다.

또한, 표시 장치를 출하하기 전에 카메라 보상 데이터를 얻을 때 소요되는 시간을 줄여, 제조 비용을 절감할 수 있게 된다.

이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여져야만 할 것이다.

10: 표시 패널 11: 타이밍 컨트롤러
12: 데이터 구동 회로 13: 게이트 구동 회로
14: 데이터 라인 15: 게이트 라인
20: 영상 처리부 210: 메모리
220: 글로버 특징 복원부 230: 로컬 프로파일 복원부
231: 로컬 프로파일 추출부 232: 로컬 프로파일 예측부
233: 로컬 프로파일 계산부 240: 보상부

Claims

제1 필터를 이용하여, 제1 해상도의 이미지 데이터로부터 제1 크기의 블록 단위로 상기 제1 해상도보다 높은 제2 해상도의 1차 복원 데이터를 생성하는 단계;
제2 필터를 이용하여, 상기 블록의 1차 복원 데이터로부터 상기 제1 크기보다 작은 제2 크기의 국소 영역 단위로 2차 복원 데이터를 생성하는 단계;
상기 2차 복원 데이터를 이용하여, 표시 장치에 입력되는 영상 데이터를 상기 국소 영역 단위로 보상하는 단계; 및
상기 보상된 영상 데이터를 표시하는 단계를 포함하여 이루어지는 영상 처리 방법.
제1 항에 있어서,
상기 블록은 n x n (여기서, n은 짝수인 자연수) 크기의 픽셀 집합이고, 상기 국소 영역은 상기 블록에 포함된 하나의 픽셀 라인인 것을 특징으로 하는 영상 처리 방법.
제1 항에 있어서,
상기 제1 필터와 제2 필터는, 복수 개의 입력 노드, 복수 개의 노드를 포함하는 둘 이상의 숨겨진 레이어 및 복수 개의 출력 노드를 포함하고 상기 노드들이 서로 연결되는 인공 신경망으로 구현되는 것을 특징으로 하는 영상 처리 방법.
제3 항에 있어서,
상기 인공 신경망은 복수 개의 표시 장치에 대해 촬영한 제1 해상도의 이미지 데이터와 제2 해상도의 이미지 데이터를 이용하여 학습한 파라미터를 포함하는 것을 특징으로 하는 영상 처리 방법.
제1 항에 있어서,
상기 제1 해상도의 이미지 데이터는, 해당 표시 장치에 소정의 영상을 표시한 화면을 디포커스 상태로 촬영한 이미지가 다운샘플링 되어 해당 표시 장치에 저장되어 있는 것을 특징으로 하는 영상 처리 방법.
제1 항에 있어서,
상기 2차 복원 데이터를 생성하는 단계는,
상기 블록 단위의 1차 복원 데이터로부터 상기 국소 영역 단위로 데이터를 추출하는 제1 단계;
상기 제2 필터를 이용하여 상기 추출된 국소 영역의 데이터에 대한 세부 프로파일을 예측하는 제2 단계; 및
상기 예측된 세부 프로파일과 상기 추출된 국소 영역의 데이터를 결합하여 상기 2차 복원 데이터를 생성하는 제3 단계를 포함하여 이루어지고,
상기 세부 프로파일은, 상기 국소 영역의 1차 복원 데이터와 해당 국소 영역의 실제 데이터 사이의 오차 값에 해당하는 것을 특징으로 하는 영상 처리 방법.
제6 항에 있어서,
복수 개의 국소 영역의 세부 프로파일들을 복수 개의 클래스로 분류할 때, 상기 제2 필터는 각 클래스에 대한 확률 값을 출력하되, 입력되는 국소 영역의 데이터가 속하는 클래스에 대한 제1 확률 값을 높은 값으로 출력하고, 다른 클래스에 대한 확률 값을 상기 제1 확률 값보다 낮은 값으로 출력하는 것을 특징으로 하는 영상 처리 방법.
제7 항에 있어서,
상기 제3 단계는, 상기 복수 개의 클래스 각각에 대해서 해당 클래스의 대표 데이터와 해당 클래스에 대한 확률 값을 곱하고 상기 복수 개의 곱한 결과를 더하여 제1 값을 구하고, 상기 추출된 국소 영역의 데이터에 소정의 파라미터를 곱하여 제2 값을 구하고, 상기 제1 값과 제2 값을 더하여 해당 국소 영역에 대한 2차 복원 데이터를 생성하는 것을 특징으로 하는 영상 처리 방법.
제1 해상도의 이미지 데이터를 저장하기 위한 메모리;
제1 필터를 내장하고, 입력되는 영상 데이터의 각 국소 영역에 대하여 해당 국소 영역을 포함하는 블록을 상기 이미지 데이터로부터 찾고, 상기 제1 필터를 이용하여 상기 블록의 이미지 데이터로부터 상기 제1 해상도보다 높은 제2 해상도의 1차 복원 데이터를 생성하기 위한 글로벌 특징 복원부;
제2 필터를 내장하고, 상기 블록의 1차 복원 데이터로부터 해당 국소 영역의 데이터를 추출하고, 상기 제2 필터를 이용하여 상기 추출된 국소 영역의 데이터로부터 해당 국소 영역의 세부 프로파일이 복원된 제2 복원 데이터를 생성하기 위한 로컬 프로파일 복원부; 및
상기 입력되는 영상 데이터 중에서 해당 국소 영역의 데이터에 상기 복원된 제2 복원 데이터를 더하거나 빼주어 보상된 영상 데이터를 출력하기 위한 보상부를 포함하여 구성되고,
상기 세부 프로파일은 상기 국소 영역의 1차 복원 데이터와 해당 국소 영역의 실제 데이터 사이의 오차 값에 해당하는 것을 특징으로 하는 영상 처리 장치.
제9 항에 있어서,
상기 제1 필터와 제2 필터는, 복수 개의 입력 노드, 복수 개의 노드를 포함하는 둘 이상의 숨겨진 레이어 및 복수 개의 출력 노드를 포함하고 상기 노드들이 서로 연결되는 인공 신경망으로 구현되고,
상기 인공 신경망은 복수 개의 표시 장치에 대해 촬영한 제1 해상도의 이미지 데이터와 제2 해상도의 이미지 데이터를 이용하여 학습한 파라미터를 포함하는 것을 특징으로 하는 영상 처리 장치.
제9 항에 있어서,
상기 메모리는 해당 표시 장치에 소정의 영상을 표시한 화면을 디포커스 상태로 촬영한 이미지를 다운샘플링 한 제1 해상도의 이미지 데이터를 저장하는 것을 특징으로 하는 영상 처리 장치.
제9 항에 있어서,
상기 로컬 프로파일 복원부는,
상기 블록의 1차 복원 데이터로부터 해당 국소 영역의 데이터를 추출하기 위한 로컬 프로파일 추출부;
상기 제2 필터를 이용하여 상기 추출된 국소 영역에 대한 세부 프로파일을 예측하기 위한 세부 프로파일 예측부; 및
상기 예측된 세부 프로파일과 상기 추출된 국소 영역의 데이터를 결합하여 상기 2차 복원 데이터를 생성하기 위한 로컬 프로파일 계산부를 포함하여 구성되고,
상기 제2 필터는, 복수 개의 국소 영역의 세부 프로파일들을 복수 개의 클래스로 분류할 때, 각 클래스에 대한 확률 값을 출력하되, 입력되는 국소 영역의 데이터가 속하는 클래스에 대한 제1 확률 값을 높은 값으로 출력하고, 다른 클래스에 대한 확률 값을 상기 제1 확률 값보다 낮은 값으로 출력하는 것을 특징으로 하는 영상 처리 장치.
데이터 라인들과 게이트 라인들이 교차하고 매트릭스 형태로 형성되는 픽셀들을 포함하는 표시 패널;
보상 데이터를 생성하고 이를 이용하여 입력되는 영상 데이터를 보상하여 출력하기 위한 영상 처리부;
상기 영상 처리부가 출력하는 영상 데이터를 표시하기 위한 제어 신호들을 생성하기 위한 타이밍 컨트롤러;
상기 타이밍 컨트롤러의 제어에 따라 상기 타이밍 컨트롤러로부터 입력되는 영상 데이터를 데이터 전압으로 변환하여 데이터 라인들에 출력하기 위한 데이터 구동 회로; 및
상기 타이밍 컨트롤러의 제어에 따라 상기 데이터 전압에 동기되는 스캔 펄스를 생성하여 상기 게이트 라인들에 순차적으로 공급하기 위한 게이트 구동 회로를 포함하여 구성되고,
상기 영상 처리부는,
제1 해상도의 이미지 데이터를 저장하기 위한 메모리;
제1 필터를 내장하고, 입력되는 영상 데이터의 각 국소 영역에 대하여 해당 국소 영역을 포함하는 블록을 상기 이미지 데이터로부터 찾고, 상기 제1 필터를 이용하여 상기 블록의 이미지 데이터로부터 상기 제1 해상도보다 높은 제2 해상도의 1차 복원 데이터를 생성하기 위한 글로벌 특징 복원부;
제2 필터를 내장하고, 상기 블록의 1차 복원 데이터로부터 해당 국소 영역의 데이터를 추출하고, 상기 제2 필터를 이용하여 상기 추출된 국소 영역의 데이터로부터 해당 국소 영역의 세부 프로파일이 복원된 제2 복원 데이터를 생성하기 위한 로컬 프로파일 복원부; 및
상기 입력되는 영상 데이터 중에서 해당 국소 영역의 데이터에 상기 복원된 제2 복원 데이터를 더하거나 빼주어 보상된 영상 데이터를 출력하기 위한 보상부를 포함하여 구성되고,
상기 세부 프로파일은 상기 국소 영역의 1차 복원 데이터와 해당 국소 영역의 실제 데이터 사이의 오차 값에 해당하는 것을 특징으로 하는 표시 장치.