KR20150142562A - 디스플레이의 불량 픽셀을 보상하기 위한 방법, 전자 장치 및 저장 매체 - Google Patents

디스플레이의 불량 픽셀을 보상하기 위한 방법, 전자 장치 및 저장 매체 Download PDF

Info

Publication number
KR20150142562A
KR20150142562A KR1020140083982A KR20140083982A KR20150142562A KR 20150142562 A KR20150142562 A KR 20150142562A KR 1020140083982 A KR1020140083982 A KR 1020140083982A KR 20140083982 A KR20140083982 A KR 20140083982A KR 20150142562 A KR20150142562 A KR 20150142562A
Authority
KR
South Korea
Prior art keywords
pixel
data
pixels
image
subpixel
Prior art date
Application number
KR1020140083982A
Other languages
English (en)
Inventor
캔디스 헬렌 브라운 엘리엇
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20150142562A publication Critical patent/KR20150142562A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1306—Details
    • G02F1/1309—Repairing; Testing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G09G5/04—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed using circuits for interfacing with colour displays
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/30—Devices specially adapted for multicolour light emission
    • H10K59/35—Devices specially adapted for multicolour light emission comprising red-green-blue [RGB] subpixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/08—Fault-tolerant or redundant circuits, or circuits in which repair of defects is prepared
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/10—Dealing with defective pixels

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

다양한 실시 예들에 따르면, 제1 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 수신하는 동작; 및 설정된 복수의 변환 데이터들 중 선택된 변환 데이터를 이용하여 상기 수신된 픽셀 데이터 중 적어도 하나의 픽셀 데이터로부터 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 출력하는 동작;을 포함하며, 상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 존재하지 않으면, 상기 복수의 변환 데이터들 중 제1 변환 데이터를 이용하여 픽셀 데이터를 출력하며, 상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 적어도 하나 존재하면, 상기 복수의 변환 데이터들 중 제2 변환 데이터를 이용하여 픽셀 데이터를 출력하는 것을 특징으로 할 수 있다. 다른 실시 예들이 가능하다.

Description

디스플레이의 불량 픽셀을 보상하기 위한 방법, 전자 장치 및 저장 매체{METHOD, APPARATUS AND STORAGE MEDIUM FOR COMPENSATING FOR DEFECT PIXEL OF DISPLAY}
다양한 실시 예는 디스플레이의 픽셀 보상 방법 및 전자 장치에 관한 것이다.
디스플레이는 시각적 정보, 예를 들면, 이미지(image) 또는 비디오(video) 등을 표현하는 장치이다. 최근의 디스플레이는 2차원적으로 이미지 또는 비디오를 표현하는 수준에서, 나아가 깊이 지각(depth perception) 또는 입체 시각(stereovision)이 가능하도록 3차원적으로 시각적 정보를 표현할 수 있다. 입력 정보로서, 전기적 신호를 공급받는 디스플레이는 "전자 디스플레이"로 불릴 수 있다.
전자 디스플레이의 종류에는 액정 디스플레이(liquid crystal display, LCD), 발광 다이오드(light-emitting diode, LED), 유기 발광 다이오드(organic light-emitting diode, OLED), 및 전자 종이 등이 있으며, 그 중에 액정 디스플레이(LCD)와 유기 발광 다이오드(OLED)가 많이 사용된다.
예를 들면, 액정 디스플레이(LCD)에서는 기판상에 복수의 액정 픽셀들이 매트릭스 형태로 배열될 수 있으며, 액정 픽셀들의 각각에 예컨대 두 개의 투명 전극이 연결될 수 있다. 액정 픽셀들의 각각의 양쪽에는 편광 필터들이 배치되며, 그 편광축들이 서로 수직하도록 배치될 수 있다. 평상시에는 액정 픽셀들의 일정한 배열이 편광 필터를 통하여 빛을 통과시키지만 액정 픽셀들의 각각의 투명 전극에 전압을 걸면 액정 픽셀들의 배열이 고정되어 빛이 통과되지 못하고 차단되는 방식으로 구동될 수 있다.
액정 디스플레이와 다른 방식의 전자 디스플레이로, 예를 들면, 유기 발광 다이오드(OLED)가 있다. 유기 발광 다이오드는 유기 화합물을 사용하여, 발광 다이오드들 각각에서 자체적으로 빛을 생성할 수 있다. 이에 따라, 유기 발광 다이오드에서, 빛의 표현 범위가 액정 디스플레이보다 넓게 표현될 수 있다. 유기 발광 다이오드가 색상을 구현하는 방식에는 예를 들면, 3색 방식, 변환 방식 또는 컬러 필터 방식 등이 있다. 3색 방식은, 예를 들면, 적색(red), 녹색(green) 및 청색(blue)의 서로 다른 색상을 갖는 발광층들을 사용하여 다양한 색상들을 구현할 수 있다. 3색 방식에서, 후술할 컬러 필터를 병용하여 색상의 순도를 향상시킬 수 있다. 변환 방식은, 예를 들면, 청색 색상의 발광층에서 생성하는 빛의 적어도 일부를 색 변환층을 통과시켜 적색 또는 녹색 등의 색상을 구현할 수 있다. 컬러 필터 방식은, 예를 들면, 백색(white) 색상의 발광층에서 생성하는 빛의 적어도 일부를 적색, 녹색 또는 청색 등의 다양한 색상의 컬러 필터들에 통과시켜 컬러 필터들의 각각에 대응되는 색상을 구현할 수 있다.
전술한 액정 디스플레이 및 유기 발광 다이오드 이외에도, 전자 장치에 다양한 방식의 디스플레이가 적용될 수 있다.
디스플레이의 제조 공정 또는 사용자의 사용 과정에서, 다양한 형태(type)의 불량 픽셀이 발생할 수 있다. 불량 픽셀은, 예를 들면, 해당 픽셀에 대한 입력 신호와 무관하게, 항상 켜져 있는 핫 픽셀(hot pixel), 항상 꺼져 있는 데드 픽셀(dead pixel), 켜지기도 하고 꺼지기도 하는 스턱 픽셀(stuck pixel)등일 수 있다.
디스플레이 제조 공정에서는, 디스플레이 제조 업체의 내부 기준에 따라, 불량 픽셀을 제거하여, 디스플레이 패널을 생산 및 출하하게 된다. 이에 따라 제조 공정에서 디스플레이 패널에 발생되는 불량 픽셀은 디스플레이 제조 업체의 수율 및 수익에 직접적인 영향을 줄 수 있다.
그리고 사용자의 사용 과정에서도, 예를 들면, 사용에 따른 성능 열화, 압력 및 충격 등의 다양한 원인들로 인해 불량 픽셀이 발생할 수 있다. 사용자의 사용 과정에서 발생하는 불량 픽셀은 사용자의 제품에 대한 품질 만족도를 낮출 수 있다. 또한, 불량 픽셀이 발견된 디스플레이 패널의 교체 또는 폐기는 제조 업체의 사후 관리 비용을 증가시킬 수 있다. 더욱이, 고해상도화 및 대형화되고 있는 디스플레이 발전 추세에 따라, 디스플레이 패널에 불량 픽셀이 발생할 가능성은 더욱 증가할 수 있다.
본 발명의 다양한 실시 예는 전술한 문제점 또는 다른 문제점을 해결하기 위한 전자 장치의 디스플레이 패널에 발생하는 불량 픽셀을 보상하는 장치 및 방법을 제공할 수 있다.
전술한 과제 또는 다른 과제를 해결하기 위한 한 실시 예에 따른 디스플레이 보상 방법은, 제1 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 수신하는 동작; 및 설정된 복수의 변환 데이터들 중 선택된 변환 데이터를 이용하여 상기 수신된 픽셀 데이터 중 적어도 하나의 픽셀 데이터로부터 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 출력하는 동작;을 포함하며, 상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 존재하지 않으면, 상기 복수의 변환 데이터들 중 제1 변환 데이터를 이용하여 픽셀 데이터를 출력하며, 상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 적어도 하나 존재하면, 상기 복수의 변환 데이터들 중 제2 변환 데이터를 이용하여 픽셀 데이터를 출력하는 것을 특징으로 할 수 있다.
한 실시 예에 따른 디스플레이 보상 장치는 복수의 픽셀들에 각각 대응하는 복수의 제어 신호들에 의해 구동되는 디스플레이 패널; 상기 복수의 픽셀들 중 적어도 하나의 픽셀을 불량 픽셀로 인식하도록 설정된 인식 모듈; 및 제1 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 수신하고, 설정된 복수의 변환 데이터들 중 선택된 변환 데이터를 이용하여 상기 수신된 픽셀 데이터 중 적어도 하나의 픽셀 데이터로부터 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 출력하며, 상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 존재하지 않으면, 상기 복수의 변환 데이터들 중 제1 변환 데이터를 이용하여 픽셀 데이터를 출력하며, 상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 적어도 하나 존재하면, 상기 복수의 변환 데이터들 중 제2 변환 데이터를 이용하여 픽셀 데이터를 출력하는 보상 모듈을 포함하는 전자 장치를 제공할 수 있다.
다양한 실시 예에 따른 디스플레이 보상 방법 및 장치는, 디스플레이의 제조 공정에서 발생하는 다양한 형태의 불량 픽셀의 기능을 용이하게 보상할 수 있고, 디스플레이 제조 공정의 수율 및 수익을 높일 수 있다. 아울러, 사용자의 사용 과정에서 발생한 불량 픽셀의 기능을 용이하게 보상할 수 있어, 디스플레이 패널 및 디스플레이 패널을 포함하는 전자 장치의 수명을 연장시킬 수 있다.
도 1은 다양한 실시 예에 따른 전자 장치에 대한 블록도를 도시한다.
도 2는 다양한 실시 예에 따른 픽셀 보상을 위한 전자 장치에 대한 블록도를 도시한다.
도 3은 다양한 실시 예에 따른 불량 픽셀 보상의 예를 나타내는 도면이다.
도 4는 다양한 실시 예에 따른 서브 픽셀의 패턴을 나타내는 도면이다.
도 5a 내지 도 5f는 다양한 실시 예에 따른 서브 픽셀의 매핑을 나타내는 도면이다.
도 6은 다양한 실시 예에 따른 RGB 이미지 데이터를 나타내는 도면이다.
도 7, 도 8a 및 도 8b는 다양한 실시 예에 따른 서브 픽셀 렌더링 알고리즘을 나타내는 도면이다.
도 9는 다양한 실시 예에 따른 재샘플링된 RGBW 이미지 데이터를 나타내는 도면이다.
도 10은 다양한 실시 예에 따른 녹색 서브 픽셀의 재구성을 나타내는 도면이다.
도 11은 다양한 실시 예에 따른 백색 서브 픽셀의 재구성을 나타내는 도면이다.
도 12는 다양한 실시 예에 따른 RGBW 데이터를 재샘플링하는 방법을 나타내는 도면이다.
도 13은 다양한 실시 예에 따른 메타머 필터링을 나타내는 도면이다.
도 14는 다양한 실시 예에 따른 메타머 선명도 필터 생성을 나타내는 도면이다.
도 15는 다양한 실시 예에 따른 이미지 재샘플링을 위한 필터 커널 매트릭스를 나타내는 도면이다.
도 16은 다양한 실시 예에 따른 픽셀 보상 샘플링 영역을 나타내는 도면이다.
도 17은 다양한 실시 예에 따른 불량 픽셀 데이터의 재샘플링을 나타내는 도면이다.
도 18은 다양한 실시 예에 따른 정상 픽셀 데이터의 재샘플링을 위한 필터 커널 매트릭스를 나타내는 도면이다.
도 19는 다양한 실시 예에 따른 불량 픽셀 데이터의 재샘플링을 위한 필터 커널 매트릭스를 나타내는 도면이다.
도 20은 다양한 실시 예에 따른 픽셀 재샘플링을 위한 장치를 나타내는 블록도이다.
도 21은 다양한 실시 예에 따른 서브 픽셀 복구를 위한 장치를 나타내는 블록도이다.
도 22는 다양한 실시 예에 따른 서브 픽셀 재샘플링을 위한 회로를 나타내는 도면이다.
도 23은 다양한 실시 예들에 따른 픽셀 보상 방법의 흐름도를 도시한다.
도 24는 다양한 실시 예들에 따른 전자 장치의 블록도를 도시한다.
이하, 첨부된 도면을 참조하여 본 발명(present disclosure)를 설명한다. 본 발명은 특정 실시 예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있다. 따라서, 본 발명은 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경 또는 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조부호가 사용되었다. 또한 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 하기의 설명에서는 본 발명의 다양한 실시 예들에 따른 동작을 이해하는데 필요한 부분만이 설명되며, 그 이외 부분의 설명은 본 발명의 요지를 흩트리지 않도록 생략될 것이라는 것을 유의하여야 한다.
본 발명 가운데 사용될 수 있는 "포함한다", "포함할 수 있다" 등의 표현은 개시된 해당 기능, 동작, 구성요소 등의 존재를 가리키며, 추가적인 하나 이상의 기능, 동작, 구성요소 등을 제한하지 않는다. 또한, 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명에서 “또는” 등의 표현은 함께 나열된 단어들의 어떠한, 그리고 모든 조합을 포함한다. 예를 들어, “A 또는 B”는, A를 포함할 수도, B를 포함할 수도, 또는 A 와 B 모두를 포함할 수도 있다.
본 발명 가운데 “제 1,”“제2,”“첫째,”또는“둘째,”등의 표현들이 본 발명의 다양한 구성요소들을 수식할 수 있지만, 해당 구성요소들을 한정하지 않는다. 예를 들어, 상기 표현들은 해당 구성요소들의 순서 및/또는 중요도 등을 한정하지 않는다. 상기 표현들은 한 구성요소를 다른 구성요소와 구분 짓기 위해 사용될 수 있다. 예를 들어, 제1 사용자 기기와 제 2 사용자 기기는 모두 사용자 기기이며, 서로 다른 사용자 기기를 나타낸다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 발명에 따른 전자 장치는, 디스플레이 기능이 포함된 장치일 수 있다. 예를 들면, 전자 장치는 스마트 폰(smartphone), 태블릿 PC(tablet personal computer), 이동전화기(mobile phone), 화상전화기, 전자북 리더기(e-book reader), 데스크탑 PC(desktop personal computer), 랩탑 PC(laptop personal computer), 넷북 컴퓨터(netbook computer), PDA(personal digital assistant), PMP(portable multimedia player), MP3 플레이어, 모바일 의료기기, 카메라(camera), 웨어러블 장치(wearable device)(예: 전자 안경과 같은 head-mounted-device(HMD), 전자 의복, 전자 팔찌, 전자 목걸이, 전자 앱세서리(appcessory), 또는 스마트 와치(smartwatch) 중의 적어도 하나를) 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 디스플레이 기능을 갖춘 스마트 가전 제품(smart home appliance)일 수 있다. 스마트 가전 제품은, 예를 들자면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스(set-top box), TV 박스(예를 들면, 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(game consoles), 전자 사전, 전자 키, 캠코더(camcorder), 또는 전자 액자 중의 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는 각종 의료기기(예: MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 초음파기, 네비게이션(navigation) 장치, GPS 수신기(global positioning system receiver), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트(infotainment) 장치, 선박용 전자 장비(예: 선박용 항법 장치 및 자이로 콤파스 등), 항공 전자기기(avionics), 또는 보안 기기 중의 적어도 하나를 포함할 수 있다.
어떤 실시 예들에 따르면, 전자 장치는, 디스플레이 기능을 포함한 가구(furniture) 또는 건물/구조물의 일부, 전자 보드(electronic board), 전자 사인 입력장치(electronic signature receiving device), 프로젝터(projector), 또는 각종 계측기기(예: 수도, 전기, 가스, 또는 전파 등) 중의 적어도 하나를 포함할 수 있다. 본 발명에 따른 전자 장치는 전술한 다양한 장치들 중 하나 또는 그 이상의 조합일 수 있다. 또한, 본 발명에 따른 전자 장치는 전술한 기기들에 한정되지 않음은 당업자에게 자명하다.
이하, 첨부된 도면을 참조하여 다양한 실시 예에 따른 전자 장치에 대해서 살펴본다. 다양한 실시 예에서 이용되는 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 포함하여 지칭할 수 있다.
도 1은 다양한 실시 예에 따른 전자 장치에 대한 블록도를 도시한다. 도 1을 참조하면, 상기 전자 장치(100)는 버스(110), 프로세서(120), 메모리(130), 입출력 인터페이스(140), 디스플레이(150), 통신 모듈(160) 또는 픽셀 제어 모듈(170)을 포함할 수 있다.
상기 버스(110)는 전술한 구성요소들을 서로 연결하고, 전술한 구성요소들 간의 통신(예: 제어 메시지)을 전달하는 회로일 수 있다.
상기 프로세서(120)는 상기 버스(110)를 통해 전술한 다른 구성요소들(예: 상기 메모리(130), 상기 입출력 인터페이스(140), 상기 디스플레이(150), 상기 통신 모듈(160) 등)로부터 명령을 수신하여, 수신된 명령을 해독하고, 해독된 명령에 따른 연산이나 데이터 처리를 실행할 수 있다.
상기 메모리(130)는, 상기 프로세서(120) 또는 다른 구성요소들(예: 상기 입출력 인터페이스(140), 상기 디스플레이(150), 상기 통신 모듈(160)등)로부터 수신되거나 상기 프로세서(120) 또는 다른 구성요소들에 의해 생성된 명령 또는 데이터를 저장할 수 있다. 상기 메모리(130)는, 예를 들면, 커널(131), 미들웨어(132), 어플리케이션 프로그래밍 인터페이스(API: application programming interface, 133) 또는 적어도 하나의 어플리케이션(134) 등의 프로그래밍 모듈들을 포함할 수 있다. 전술한 각각의 프로그래밍 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들 중 적어도 둘 이상의 조합으로 구성될 수 있다.
상기 커널(131)은 나머지 다른 프로그래밍 모듈들, 예를 들면, 상기 미들웨어(132), 상기 API(133) 또는 상기 어플리케이션(134)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 상기 버스(110), 상기 프로세서(120) 또는 상기 메모리(130) 등)을 제어 또는 관리할 수 있다. 또한, 상기 커널(131)은 상기 미들웨어(132), 상기 API(133) 또는 상기 어플리케이션(134)에서 상기 전자 장치(100)의 개별 구성요소에 접근하여 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
상기 미들웨어(132)는 상기 API(133) 또는 상기 어플리케이션(134)이 상기 커널(131)과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 상기 미들웨어(132)는 상기 다수의 어플리케이션들(134)로부터 수신된 작업 요청들과 관련하여, 예를 들면, 상기 다수의 어플리케이션들(134) 중 적어도 하나의 어플리케이션에 상기 전자 장치(100)의 시스템 리소스(예: 상기 버스(110), 상기 프로세서(120) 또는 상기 메모리(130) 등)를 사용할 수 있는 우선 순위를 배정하는 등의 방법을 이용하여 작업 요청에 대한 로드 밸런싱을 수행할 수 있다.
상기 API(133)는 상기 어플리케이션(134)이 상기 커널 131 또는 상기 미들웨어(132)에서 제공하는 기능을 제어할 수 있는 인터페이스로, 예를 들면, 파일 제어, 창 제어, 화상 처리 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수를 포함할 수 있다.
상기 입출력 인터페이스(140)는, 예를 들면, 사용자로부터 명령 또는 데이터를 입력받아 상기 버스(110)를 통해 상기 프로세서(120) 또는 상기 메모리(130)에 전달할 수 있다. 상기 디스플레이(150)는 사용자에게 화상, 영상 또는 데이터(예컨대, 멀티미디어 데이터, 또는 텍스트 데이터 등) 등을 표시할 수 있다.
상기 통신 모듈(160)은 다른 전자 장치(102, 104) 또는 서버(164)와 상기 전자 장치(100) 간의 통신을 연결할 수 있다. 상기 통신 모듈(160)은 소정의 근거리 유무선 통신(예: Wifi(wireless fidelity), BT(Bluetooth), NFC(near field communication), 소정의 네트워크 통신(예: 인터넷(Internet), LAN(local area network), WAN(wire area network), 텔레커뮤니케이션 네트워크(telecommunication network), 셀룰러 네트워크(cellular network), 위성 네트워크(satellite network), USB(universal serial bus), RS-232(recommended standard 232) 또는 POTS(plain old telephone service) 등) 등의 유무선 통신(162)을 지원할 수 있다. 상기 전자 장치(102, 104) 각각은 상기 전자 장치(100)와 동일한 장치(예: 같은 타입의 장치)이거나 또는 다른 장치(예: 다른 타입의 장치) 일 수 있다.
상기 픽셀 제어 모듈(170)은 불량 픽셀에 대한 정보를 다른 구성 요소(예: 버스(110), 메모리(130), 입출력 인터페이스(140) 또는 통신 모듈(160))로부터 입력받거나, 기 저장된 불량 픽셀에 대한 정보를 기반으로 디스플레이(150)에 발생한 불량 픽셀을 보상할 수 있다.
후술하는 도 2를 참조하여, 상기 픽셀 제어 모듈(170)에 대한 추가적인 정보가 제공된다.
도 2는 다양한 실시 예에 따른, 픽셀 보상을 위한 전자 장치(200)에 대한 블록도를 도시한다. 상기 전자 장치(200)는, 예를 들면, 도 1에 도시된 전자 장치(100)일 수 있다. 도 2를 참조하면, 전자 장치(200) 디스플레이 패널(210), 픽셀 제어 모듈(220) 및 저장 모듈(230)을 포함할 수 있다. 한 실시 예에 따르면, 전자 장치(200)는 센서(240)를 더 포함할 수 있다.
한 실시 예에 따르면, 디스플레이 패널(210)은 도 1에 도시된 디스플레이(150)의 적어도 일부일 수 있다. 디스플레이 패널(210)은 복수의 픽셀들에 각각 대응하는 복수의 제어 신호들에 의해 구동될 수 있다. 한 실시 예에 따른 전자 장치(200)는 디스플레이 패널(210)에 포함되는 복수의 픽셀들 중 적어도 하나의 불량 픽셀이 발생한 경우에 해당 불량 픽셀의 기능을 보상할 수 있다.
한 실시 예에 따르면, 상기 복수의 픽셀들은, 디스플레이 패널(210)의 물리적인 특성(예: 해상도, 수평 해상도, 수직 해상도 또는 PPI(pixel per inch))에 대응하는 표현 기능을 구현하는 일반 픽셀들과 상기 일반 픽셀들 사이에 배치되어, 인접한 일반 픽셀의 표현 기능을 보상(compensate)하거나 강화(strengthen)하기 위한 여분 픽셀(redundancy cell or redundancy pixel)들을 포함할 수 있다.
한 실시 예에 따르면, 픽셀 제어 모듈(220)은 인식 모듈(223) 및 보상 모듈(225)을 포함할 수 있다. 한 실시 예에 따르면, 픽셀 제어 모듈(220)은, 도 1에 도시된 픽셀 제어 모듈(170) 일 수 있다. 한 실시 예에 따르면, 픽셀 제어 모듈(220)은, 도 1에 도시된 프로세서(120) 또는 디스플레이(150)를 구동하는 디스플레이 구동칩(DDI: display driver ic, 미도시)의 적어도 일부일 수 있다. 픽셀 제어 모듈(220)은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함할 수 있다.
한 실시 예에 따르면, 인식 모듈(223)은, 예를 들면, 도 1에 도시된 전자 장치(100) 내부에 있는 다른 구성 요소들(예: 프로세서(120), 메모리(130), 입출력 인터페이스(140), 디스플레이(150) 또는 통신 모듈(160)로부터 명령 또는 정보를 수신할 수 있다. 예를 들면, 인식 모듈(223)은 도 1에 도시된 프로세서(120), 입출력 인터페이스(140) 또는 통신 모듈(160) 중 적어도 하나로부터, MIPI(mobile industry processor interface), RGB interface(red green blue interface), CPU 인터페이스(central processing unit interface), MDDI(mobile display digital interface), SPI(serial peripheral interface), 또는 I2C(inter integrated circuit) 등의 다양한 규격의 디스플레이 인터페이스 프로토콜을 통해 디스플레이(150)와 관련된 명령 또는 정보를 수신할 수 있다.
인식 모듈(223)은 디스플레이를 구성하는 복수의 픽셀들 중 적어도 하나의 픽셀을 불량 픽셀로 인식할 수 있다. 어떤 실시 예들에 따르면, 인식 모듈(223)은 불량 픽셀의 정보를 획득할 수 있다. 불량 픽셀의 정보는, 예를 들면, 디스플레이 패널(210)의 복수의 픽셀들 중 적어도 하나의 픽셀을 가리키는 정보일 수 있다. 불량 픽셀의 정보의 적어도 일부는, 예를 들면, 불량 픽셀의 좌표(coordinate) 및 색상(color)일 수 있다. 이 때, 해당 정보에 의해 특정되는 불량 픽셀은 특정 좌표에 대응되는 픽셀 그룹에 속한 특정 색상의 픽셀일 수 있다. 또한, 불량 픽셀의 정보의 적어도 일부는, 예를 들면, 불량 픽셀의 위치(position)일 수 있다. 이 때의 불량 픽셀의 위치는 디스플레이 패널(210) 상의 특정 지점을 가리키는 절대적인 위치 정보일 수 있고, 기정의된 기준점과 특정 지점간의 상대적인 위치에 따라 특정 지점을 가리키는 상대적인 위치 정보일 수 있다. 또한, 불량 픽셀의 정보의 적어도 일부는, 예를 들면, 불량 픽셀의 식별자(identifier)일 수 있다. 아울러, 불량 픽셀의 정보는, 예를 들면, 불량 픽셀의 수량을 추가적으로 포함할 수 있다. 한 실시 예에 따르면, 인식 모듈(223)은 전자 장치(200)와 기능적으로 연결된 센서(240)(예: 터치 센서 또는 펜 센서 등)로부터 불량 픽셀의 정보를 수신할 수 있다. 예컨대, 상기 센서(240)는 터치 패널(touch panel), 펜 센서(pen sensor) 또는 울트라 소닉 센서(ultrasonic sensor) 등일 수 있다. 한 실시 예에 따르면, 인식 모듈(223)은 저장 모듈(230)로부터 불량 픽셀의 정보를 획득할 수 있다. 한 실시 예에 따르면, 인식 모듈(223)은 전자 장치 내부의 다른 구성요소(예: 프로세서, 메모리, 입출력 인터페이스, 디스플레이 또는 통신 모듈)로부터 불량 픽셀의 정보를 획득할 수 있다.
어떤 실시 예들에 따르면, 인식 모듈(223)은 디스플레이 패널(210)의 표시 상태에 대한 정보(예: 디스플레이 패널(210)의 표시 상태를 촬영한 이미지 또는 해당 이미지를 가공한 데이터)를 수신하여, 수신된 표시 상태에 대한 정보에 기반하여, 디스플레이 패널(210)의 복수의 픽셀들 중 적어도 하나의 픽셀을, 불량 픽셀로 결정할 수 있다. 인식 모듈(223)은 불량 픽셀로 결정된 픽셀의 정보를, 불량 픽셀의 정보로서 획득할 수 있다. 이 때의 불량 픽셀의 정보는 불량 픽셀의 수량(quantity), 좌표(coordinate), 위치(position), 식별자(identifier) 또는 색상(color)중 적어도 하나를 포함할 수 있다.
한 실시 예에 따르면, 디스플레이 패널(210)의 표시 상태에 대한 정보도, 불량 픽셀의 정보의 적어도 일부로서, 포함될 수 있다.
한 실시 예에 따르면, 보상 모듈(225)은, 획득된 불량 픽셀의 정보에 기반하여, 상기 복수의 픽셀들 중 불량 픽셀을 제외한 나머지 픽셀을 이용하여, 입력된 이미지에 대한 서브 픽셀 재샘플링시 불량 픽셀을 보상할 수 있다. 한 실시 예에 따르면, 보상 모듈(225)은, 디스플레이 패널(210)을 구성하는 복수의 픽셀들 중 불량 픽셀에 대응하는 인접한 부분 영역 내에 위치한 픽셀을 이용하여, 불량 픽셀이 정상적으로 동작하는 경우의 표시 상태와 동일하거나 근사한 시각적 효과를 사용자에게 제공할 수 있다.
저장 모듈(230)은, 예를 들면, 도 1에 도시된 메모리(130) 또는 디스플레이(150)를 구동하는 디스플레이 구동칩(DDI: display driver ic, 미도시) 내부에 있는 레지스터(register)일 수 있다. 한 실시 예에 따르면, 저장 모듈(230)은 인식 모듈(223)을 통해 획득된 불량 픽셀의 정보를 저장할 수 있다. 또한, 역으로, 저장 모듈(230)은 저장된 불량 픽셀의 정보를 인식 모듈(223)에 제공할 수 있다
또한, 상기 저장 모듈(230)은 서브 픽셀 재샘플링시 적용할 변환 데이터(예컨대, 필터 커널 매트릭스)에 대한 정보를 저장하고, 보상 모듈(225)에서의 서브 픽셀 재샘플링시 상기 저장된 변환 데이터를 이용할 수 있다. 다양한 실시 예에 따라, 상기 저장 모듈(230)에는 정상 픽셀에 대해 적용할 변환 데이터와 인접 영역에 블량 픽셀이 있는 픽셀에 대해 적용할 변환 데이터가 구분되어 저장될 수 있다. 상기 보상 모듈(225)은 서브 픽셀 재샘플링시 처리할 픽셀의 인접한 영역에 불량 픽셀이 존재하는지 여부에 따라 상기 저장 모듈(230)에 저장된 변환 데이터를 선택하여 적용할 수 있다.
어떤 실시 예들에 따르면, 센서(240)는, 예를 들면, 도 1에 도시된 입출력 인터페이스(140)에 포함될 수 있다. 센서(240)는, 예를 들면, 터치 패널(touch panel), 펜 센서(pen sensor) 또는 울트라 소닉 센서(ultrasonic sensor) 등일 수 있다. 한 실시 예에 따르면, 센서(240)는, 디스플레이 패널(210)을 구성하는 복수의 픽셀들 중 적어도 하나의 픽셀을 불량 픽셀로 감지한 경우에, 감지된 불량 픽셀을 지정하기 위해, 불량 픽셀의 정보의 적어도 일부로, 불량 픽셀의 좌표 및 색상 정보를 전술한 인식 모듈(223)에 제공할 수 있다.
다양한 실시 예들에 따르면, 센서(240)는, 전자 장치(200) 내부에 장착된 카메라 모듈이거나, 또는 전자 장치(200)와 통신 모듈(160)을 통해 연결된 다른 장치(예: 전자 장치 102 또는 전자 장치 104)에 포함된 카메라 모듈(미도시)일 수 있다. 한 실시 예에 따르면, 센서(240)는 디스플레이 패널(210)의 표시 상태에 관한 정보를 생성(예: 이미지 촬영 또는 촬영 이미지의 가공)하여, 인식 모듈(223)에 제공할 수 있다.
다양한 실시 예들에 따르면, 복수의 픽셀들에 각각 대응되는 복수의 제어 신호들에 의해 구동되는 디스플레이 패널; 상기 복수의 픽셀들 중 적어도 하나의 픽셀을 불량 픽셀로 인식하도록 설정된 인식 모듈; 및 제1 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 수신하고, 설정된 복수의 변환 데이터들 중 선택된 변환 데이터를 이용하여 상기 수신된 픽셀 데이터 중 적어도 하나의 픽셀 데이터로부터 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 출력하는 보상 모듈;을 포함하며, 상기 보상 모듈은, 상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 존재하지 않으면, 상기 복수의 변환 데이터들 중 제1 변환 데이터를 이용하여 픽셀 데이터를 출력하며, 상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 적어도 하나 존재하면, 상기 복수의 변환 데이터들 중 제2 변환 데이터를 이용하여 픽셀 데이터를 출력하는 것을 특징으로 할 수 있다.
다양한 실시 예들에 따르면, 상기 인식 모듈은, 상기 불량 픽셀의 수량(quantity), 좌표(coordinate), 위치(position), 식별자(identifier) 또는 색상(color)중 적어도 하나에 대한 정보를 수신하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 서브 픽셀은, 적색(red), 녹색(green), 청색(blue) 또는 백색(white) 중 적어도 하나를 포함하는 복수의 색상들 중 하나의 색상에 대응할 수 있다.
다양한 실시 예들에 따르면, 상기 제1 서브 픽셀 패턴은, 적색(R), 녹색(G), 및 청색(B)에 대응하는 서브 픽셀들이 순차적으로 배치되어 픽셀을 형성하고, 상기 형성된 픽셀이 반복적으로 배치될 수 있다.
다양한 실시 예들에 따르면, 상기 제2 서브 픽셀 패턴은, 적색(R), 녹색(G), 청색(B), 및 녹색(G)에 대응하는 서브 픽셀들이 순차적으로 배치되어 픽셀을 형성하고, 상기 형성된 픽셀이 반복적으로 배치될 수 있다.
다양한 실시 예들에 따르면, 상기 제2 서브 픽셀 패턴은, 적색(R), 녹색(G), 청색(B), 및 백색(W)에 대응하는 서브 픽셀들이 순차적으로 배치되어 픽셀을 형성하고, 상기 형성된 픽셀이 반복적으로 배치될 수 있다.
다양한 실시 예들에 따르면, 상기 변환 데이터는, 서브 픽셀 렌더링을 위한 필터 커널이 매트릭스 형태로 구성된 데이터일 수 있다.
다양한 실시 예들에 따르면, 상기 제2 변환 데이터는, 상기 제1 변환 데이터의 각 좌표 성분들 중에서, 불량 픽셀이 위치한 방향에 대응하는 적어도 하나의 좌표 값에 가중치가 부여되어 설정될 수 있다.
다양한 실시 예들에 따르면, 상기 변환 데이터는, 가우시안 필터 유닛의 차이(difference of gaussian; DOG)를 더 반영하여 생성될 수 있다.
도 3은 다양한 실시 예에 따른 불량 픽셀 보상의 예를 나타내는 도면이다. 도 3을 참조하면, 다양한 실시 예에 따라 주변 픽셀의 밝기를 조절함으로써 불량 픽셀에 대한 보상을 할 수 있다. 도 3에 도시된 픽셀의 패턴은 이해를 돕기 위하여 다양한 실시 예에 따른 일 예로서 제공되며, 본 개시의 다양한 실시 예들이 특정 픽셀 패턴으로 한정되는 것은 아니다.
예컨대, 도시된 바와 같은 RGBG(적색-녹색-청색-녹색)의 반복된 패턴으로 디스플레이 이미지가 구성이 될 때, 특정 픽셀에 불량 픽셀(310)이 발생할 수 있다. 상기 불량 픽셀은, 예를 들면, 해당 픽셀에 대한 입력 신호와 무관하게, 항상 켜져 있는 핫 픽셀(hot pixel), 항상 꺼져 있는 데드 픽셀(dead pixel), 켜지기도 하고 꺼지기도 하는 스턱 픽셀(stuck pixel)등 일 수 있다.
다양한 실시 예에서는 상기 불량 픽셀(310)일 발생할 경우, 상기 불량 픽셀(310)에 인접한 픽셀들에 대한 밝기를 조절함으로써 불량 픽셀(310)을 보상할 수 있다. 예컨대, 상기 도 3에 도시된 바와 같이 적색에 해당하는 픽셀에 불량 픽셀(310)이 발생하였을 때, 상기 불량 픽셀(310)에 인접한 픽셀들 중 적색 픽셀에 해당하는 픽셀의 값을 조절함으로써 불량 픽셀(310)을 보상할 수 있다. 예컨대, 상기 불량 픽셀(310)의 좌측 상부, 우측 상부, 좌측 하부, 우측 하부에 각각 인접한 적색 픽셀들(320, 330, 340, 350) 중 적어도 하나의 픽셀에 대한 픽셀 값을 조절함으로써 불량 픽셀(310)을 보상할 수 있다.
다양한 실시 예에 따라, 상기 픽셀 값을 조절하는 방법으로 후술하는 설명에서와 같이 제1 서브 픽셀 패턴에서 제2 서브 픽셀 패턴으로 영역 재샘플링을 위한 서브 픽셀 렌더링(sub-pixel rendering; SPR) 시, 변환 데이터(예컨대, 필터 커널 매트릭스(filter kernel matrix)의 각 좌표값을 조절하는 방법이 사용될 수 있다.
상기 서브 픽셀 렌더링은 상기 불량 픽셀(310)에 정상적으로 제공되었을 에너지를 주변의 인접한 서브 픽셀들(neighbor sub-pixels)에 재할당하는데 이용될 수 있다. 이를 위해, 최대 밝기(full brightness) 이상의 '헤드룸(headroom)'이 적용될 수도 있다. 예컨대, 본 개시가 OLED에 적용되는 경우, 커브 제어(curve control)를 이용하여 헤드 스페이스(headspace)를 확보할 수 있다. 또한, RGBW LCD의 경우, 이는 DBLC를 이용하여 헤드 스페이스를 확보할 수 있다.
상기 도 3은 제1 서브 픽셀 패턴(예컨대, RGB 패턴)에서 제2 서브 픽셀 패턴(예컨대, RGBG 패턴('펜타일(pentile)' 패턴이라고도 한다))으로 영역 재샘플링이 된 이미지를 나타내며, 상기 영역 재샘플링을 위한 서브 픽셀 렌더링 시 상기 불량 픽셀의 위치를 확인하여, 주변 픽셀의 렌더링을 위한 변환 데이터를 상이하게 적용함으로써 불량 픽셀을 주변 픽셀들에 의해 보상할 수 있다.
상기에서는 제1 서브 픽셀 패턴을 RGB 패턴으로, 제2 서브 픽셀 패턴을 RGBG 패턴으로 예를 들어 설명하였으나, 다양한 실시 예들이 상기 특정 패턴으로 한정되는 것은 아니다. 예컨대, 상기 제1 서브 픽셀 패턴 또는 제2 서브 픽셀 패턴은 RGB, RGBG, RGBW(적색-녹색-청색-백색) 등 다양한 패턴들이 적용될 수 있으며, 각 서브 픽셀 패턴의 배치 형태는 마름모-타입(rhombic type), 바-타입(bar type), 삼각형-타입(triangle type), L6W-타입, RGB 스트라이프(Stripe) 타입, 정사각형-타입(square type), 직사각형-타입(rectangular type), 오각형-타입(pentagon type) 또는 육각형-타입(hexagonal type) 중 적어도 하나의 구조를 포함할 수 있다. 후술하는 설명들에서 특정 패턴 또는 특정 형태의 서브 픽셀 패턴으로 형성된 이미지가 도시되더라도 본 개시의 다양한 실시 예들은 다양한 패턴 또는 형태에 동일하게 적용될 수 있다.
도 4는 다양한 실시 예에 따른 서브 픽셀의 패턴을 나타내는 도면이다. 도 4를 참조하면, RGBW 패턴(소위 '펜타일' 패턴이라고도 하나, 상기 용어에 한정되는 것은 아니다.)이 반복된 형태로 디스플레이가 구성될 수 있다.
상기 도 4에서 적색-녹색-청색-백색으로 구성된 하나의 단위를 '픽셀(pixel)(410)'로 정의할 수 있으며, 상기 각 픽셀을 구성하는 각 색상 단위인 적색 픽셀(411), 녹색 픽셀(412), 청색 픽셀(413), 백색 픽셀(414)을 '서브 픽셀(sub-pixel)'로 정의할 수 있다. 이와 같이 구성된 서브 픽셀 패턴은 '레이아웃 6W'로 지칭될 수 있다. 상기 도 4에서는 RGBW 패턴이 도시되었으나, 전술한 바와 같이 다양한 실시 예들에 따라 RGBG 패턴이 적용될 수도 있다. 또한, 다양한 실시 예들은 LCD 형태의 디스플레이뿐만 아니라, LED, OLED 등 다양한 유형의 디스플레이들에도 적용될 수 있다.
도 5a 내지 도 5f는 다양한 실시 예에 따른 서브 픽셀의 매핑을 나타내는 도면이다. 도시된 다양한 실시 예들을 설명하기에 앞서, 서브 픽셀 렌더링의 개념을 먼저 설명하기로 한다. 후술하는 설명들은 다양한 실시 예들에 대한 이해를 위해 설명되며, 본 개시의 다양한 실시 예들을 한정하기 위함이 아니다. 다수의 원색 및 RGBW 디스플레이와 그 연관된 시스템에서는, 일반적인 RGB 이미지를 다수의 원색 이미지 데이터로 변환할 수 있다. 색역 매핑 알고리즘(GMA; gamut mapping algorithms)의 많은 기술들이 사용될 수 있으며, 다수의 원색 디스플레이를 포함하는 다수의 서브 픽셀 반복 그룹들이 존재할 수 있다.
4개 이상의 상이한 원색이 통상의 관련 분야에서 '다수의 원색(multiprimary)' 디스플레이라 칭하는 디스플레이에서 사용될 때, 동일한 색 값을 할당할 수 있는 원색에 관한 값들의 다수의 조합이 존재할 수 있다. 예컨대, 보는 사람으로 하여금 주어진 색조, 포화도 및 밝기에 관해, 동일한 색 인상을 줄 수 있는 4개 이상의 원색의 강도 값이 2개 이상의 세트가 존재할 수 있다. 그러한, 가능한 강도 값 각각을 상기 색에 관한 '메타머(metamer)'라 칭한다. 그러므로, 서브 픽셀화된 디스플레이 상의 메타머는 채색된 서브 픽셀의 적어도 2개의 그룹의 조합(또는 세트)이고, 이는 각각의 그러한 그룹에 적용될 때, 사람의 시각 체계에 의해 인지되는 원하는 색을 만들어내는 신호들이 존재하도록 이루어질 수 있다. 또한, 동일하거나 실질적으로 유사한 인지된 색을 만들어내기 위해, 그러한 신호는 서브 픽셀 그룹마다 변할 수 있다. 이러한 이유로, 일부 효과에 관한 원색의 상대적인 값을 조정하기 위한 자유도가 존재할 수 있다.
예컨대, 4개의 원색인 RGBW 프로잭터의 무색(백색)의 강도를 최대화함으로써, 필드 연속되는 색 붕괴(break-up)의 가시도(visibility)를 감소시킬 수 있다. 또한, 유기 발광 다이오드에서 전력을 감소시키기 위해 상이한 방법을 사용하는 RGBW 디스플레이의 백색을 최대화하는 유사한 선택을 적용할 수 있다. 그러므로, 색 서브 픽셀화된 다수의 원색 디스플레이 시스템에 관한 메타머의 선택은 자유도 만큼이나 서브 픽셀 레벨에서 데이터를 변환하기 위한 기회를 제공할 수 있다. 예컨대, 서브 픽셀의 원색의 강도 값은, 그와 이웃하는 것들과 비교된 서브 픽셀 포인트에서 렌더링되는 이미지의 상대적인 휘도 신호의 값에 의해 조정될 수 있다. 이러한 방법으로, 색 서브 픽셀 레벨에서 렌더링하는 이미지의 품질을 개선하도록 메타머가 조정될 수 있게 됨으로써, '서브 픽셀 렌더링'의 개선이 이루어질 수 있다.
예컨대, 메타머에 있어 임의의 주어진 색과 밝기가 국부적인 영역에서 채색된 서브 픽셀의 강도 값의 또 다른 세트에 의해 실현될 수도 있다. 예컨대. RGBW 시스템에서, W 서브 픽셀은 R, G, B 서브 픽셀의 가까운 그룹을 갖는 회색에 관한 메타머일 수 있다. 물론, 주어진 색을 생성하기 위해 사용되는 서브 픽셀은 사람의 시각체계가 이들 색을 모두 혼합하기에 충분히 가까운 임의의 근접한 서브 픽셀일 수 있다. 메타머 중에서 선택함으로써 제공된 자유도와 결합된 유사한 색 서브 픽셀 중으로부터 신호 값과 색 서브 픽셀의 상이한 세트 중에서의 신호 값을 선택하는 자유도는, 전역(global)(지각할 수 있는) 레벨에서의 올바른 밝기와 색을 유지하면서, 서브 픽셀 레벨에서 더 큰 충실도(fidelity)로 주어진 이미지의 휘도 구성 성분이 가능하게 나타내어지는 것을 허용할 수 있다.
서브 픽셀 렌더링된 이미지에 관해서는, 메타머 선택이 바라는 이미지와 디스플레이된 실제 이미지 사이의 가능한 에러를 감소시키도록 하는 메타머를 선택하는 잠재적인 기회를 나타낼 수 있다. RGBW 시스템은 이들 자유도를 이용할 수 있는 디스플레이 시스템의 일 예이다. RGBW 시스템에 관한 메타머는 백색 축 대 RGB 축 상에서 발견될 수 있다. 따라서, 간단한 일 예로서, 주어진 서브 픽셀에 매핑된 주어진 픽셀로 높은 공간 주파수 휘도 신호를 측정하는 필터를 구성하고, 서브 픽셀 렌더링 후 그러한 서브 픽셀 위치에 있게 되는 색으로 휘도 신호의 에너지를 집중시키기 위해 그러한 필터를 사용하는 것이 가능할 수 있다. 휘도(즉, 'L') 값(예컨대, 상기 개시된 RGB로부터 RGBWL 색역 매핑 연산으로부터의 L 값)을 사용하게 되면, 픽셀 위치에 기초한 백색 대 RGB 값에 있어야 하는 강도의 양을 측정하는 것이 가능할 수 있다.
메타머 서브 픽셀 그룹 및 연관된 신호들 사이의 동적인 관계를 모델링하는 것이 가능할 수 있다. 예컨대, 메타머와 임의의 특별한 색의 신호 사이의 선형 관계를 찾는 것이 가능할 수 있다. 그러한 모델은 이미지 아티팩트와 색 에러 등과 같은 에러들을 최소화하는 방식으로 메타머를 포함하는 서브 픽셀의 강도 값을 조정하는 데 사용될 수 있다. 그러한 모델로부터, 전술한 바와 같은 휘도 데이터와 같은 특정 데이터에 따라 이미지 데이터를 조정할 필요가 있을 때는 언제나, 강도 조정 값이 디스플레이 시스템에서 저장되어 이용될 수 있다.
예컨대, 디스플레이의 원색과 백색 포인트에 대한 가정을 단순화하는 것이 가능하고, 이에 따라 디스플레이 시스템의 설계를 크게 간략화시킬 수 있다. 전술한 바와 같이 메타머 기울기를 계산할 때, 메타머를 사용한 시스템의 설계를 간략화하기 위해 사용될 수 있는 변수로서 원색의 상대적인 휘도가 사용될 수 있다. 도 5a의 RGBW 서브 픽셀 레이아웃과 같은 실시 예에서는, 백색 서브 픽셀(500)의 휘도가 나머지 3개의 원색(적색, 녹색, 청색)이 결합된 밝기와 거의 같거나, 디스플레이의 총 휘도의 약 절반을 차지할 수 있다.
도 4에서 상술한 서브 픽셀 반복 그룹을 가지는 RGBW 시스템 상에서는, 레이아웃이 색과 교대로 나타나는 백색의 바둑판(checker)으로서 보여질 수 있다. 예컨대, 2개의 바둑판으로서 그 중 하나는 청색과 백색의 서브 픽셀이고, 또 하나는 적색과 녹색의 서브 픽셀이다. 이러한 레이아웃에 대한 서브 픽셀 렌더링에 있어, 'One-Pixel-to-Two-Subpixel' 매핑과 같은 영역 재샘플링(resampling) 서브 픽셀 렌더링의 버전을 수행할 수 있다. 그러한 렌더링에서는 하나의 입력 픽셀이 도 4에 도시된 바와 같은 쌍과 같은 백색과 청색 서브 픽셀 쌍으로 매핑될 수 있고, 둘레의 번갈아 가며 나타나는 입력 픽셀은 녹색과 적색의 서브 픽셀 쌍으로 매핑될 수 있다.
다양한 메타머 중에서 색을 선택하는 자유는 이미지를 개선하기 위한 새로운 가능성을 제공할 수 있다. 디스플레이는 W의 서브 픽셀 값이 그러한 서브 픽셀이 높은 주파수 에지의 밝은 면 위에 있을 때 증가되거나 높은 주파수 에지의 어두운 면에 있을 때 감소되는 식으로 메타머를 선택하도록 설계될 수 있다. 적색과 녹색 서브 픽셀 쌍이 높은 주파수 에지의 밝은 면 위에 떨어지게 되면, R 서브 픽셀과 G 서브 픽셀이 증가되도록 메타머를 선택하는 것이 바람직할 수 있다. 반대로, 서브 픽셀 쌍이 에지의 어두운 면 위에 있다면, R 서브 픽셀 값과 G 서브 픽셀 값은 감소되는 것이 바람직할 수 있다. B 서브 픽셀은 밝기에 상당한 기여를 하지 않고, 고려되지 않을 수 있다.
위의 설명은, 반대인 필터링 동작이 각 서브 픽셀 쌍에 대해 행해져야함을 의미하며, 하기 <수학식 1> 및 <수학식 2>는 각 필터의 일 실시 예들이다.
Figure pat00001
Figure pat00002
상기 <수학식 1>은 WB에 매핑된 픽셀을 나타내며, <수학식 2>는 RG에 매핑된 픽셀을 나타낸다. 상기 'x'의 값은 이러한 동작의 스케일 인자로서 조정될 수 있다. x=0.5인 값은 적합한 값의 일 예로서, 다른 값이 선택될 수 있다. 상기 필터의 부호가 RG 색 대 흰색 서브 픽셀 위치에 관해 반대로 되어 있다. 이는 몇 가지 하드웨어 또는 소프트웨어의 최적화를 이끌 수 있다. 예컨대, 모든 다른 출력 서브 픽셀 쌍에 대해 1개의 필터를 사용하지만, 그 결과의 부호는 반전될 수 있다. 이들 필터는 관련 분야로부터의 직교 선명도(sharpening) 필터와 유사하지만, 상기 필터들은 L(즉, 다수 원색 데이터의 휘도 채널)에 포함되는 것으로서, 색 채널에 포함되는 것은 아니다. L의 계산은 전술한 GMA 단계에서 수행될 수 있으며, 상기 L값은 GMA 모듈과 라인 버퍼 사이에 적용될 수 있다.
상기 수학식들에서 필터 동작의 결과인 a 값은 필터 아래에 중심을 가진 픽셀 내에 다시 저장될 수 있다. 또한, 메타머 필터링에서는, 중심의 'a'값이 중심 픽셀의 메타머를 수정하도록 사용될 수 있다.
도 5a를 참조하면, 적색, 녹색, 및 청색 서브 픽셀이 함께 그룹화(506)되어 있고, 도 5b에 도시된 것처럼, 단일 재구성 포인트(506B)로 간주될 수 있다. 흰색 서브 픽셀(500)은 또 다른 그룹(501)에 있고, 그룹마다 유일한 점유자로서 또 다른 재구성 포인트(501A)로 간주될 수 있다. 이들 2가지 재구성 포인트(501A, 506B)의 세트는 도 5c에 도시된 바와 같이, 1-픽셀-1-재구성-포인트(one-pixel-to-one-reconstruction-point) 기반의 것들과 연관된 함축된 샘플 영역(511)을 갖는 입력되는 픽셀(509)로 매핑될 수 있다.
도 5d에서 백색의 재구성 포인트(5011)를 격리시킴으로써, 각 재구성 포인트(5011)와 연관된 영역 재샘플 영역(520)을 구성할 수 있다. 그러한 재샘플 영역(520)은 일 실시 예에서, 그것의 연관된 재구성 포인트(5011)에 가장 가까운 영역에 의해 한정될 수 있고, 그 경계는 다른 이웃하는 재구성 포인트로부터 등거리의 라인의 세트에 의해 한정될 수 있다.그러므로, 주어진 백색 재구성 포인트(5011A)는 연관된 재샘플 영역(521)을 가질 수 있다. 또한, 동일한 색의 가장 가까운 이웃하는 재구성 포인트(5011B)에서의 정점들 사이에 그려진 라인에 의해 한정된 것처럼, 연관된 다각형(또는 다른 적절한 형태의) 선명도 영역(531)을 가질 수 있다.
도 5e에서는, 입력 픽셀(509)이 재구성 포인트(5011)로 매핑될 수 있고, 재샘플 영역(520)에 의해 재샘플링될 수 있다. 주어진 재구성 포인트(5011A)와 연관된 주어진 재샘플 영역(521)은, 5개의 입력 픽셀(509) 위에 중첩될 수 있다. 이들 영역은 하기 <수학식 3>과 같은 영역 재샘플링 기반의 필터 커널을 생성하기 위해 전체 영역의 소수(fraction)를 생성할 수 있다.
Figure pat00003
또한, 주어진 선명도 영역(531)은 9개의 입력되는 픽셀 위에 중첩되어, 하기 <수학식 4>와 같은 선명도 영역 재샘플 필터를 생성할 수 있다.
Figure pat00004
대략적인 DOG(Difference of Gaussian) 선명도 필터 소파동(wavelet)을 개산하기 위해, 선명도 영역 필터 커널이 영역 재샘플 필터 커널로부터 차가 산출될 수 있다. 이를 수학식으로 나타내면 하기 <수학식 5>와 같다.
Figure pat00005
상기 <수학식 5>는 "영역 재샘플" - "선명도 영역" = "DOG 웨이블릿"을 나타낸다. 일 실시 예에 따라, RGBW 메타머 필터링은, 영역 재샘플 필터가 색 서브 픽셀 패턴으로 앨리어싱(aliasing)할 수 있는 채색 이미지 신호 성분을 필터링하는 결과로 이미지를 흐릿하게 하기 전에, 렌더링될 서브 픽셀 레이아웃에 관해, 높은 공간 주파수의 휘도 신호, 특히 비스듬히 배향된 주파수를 사전에 선명하게 하거나 최대로 되게 하는 경향이 있을 수 있다. 영역 재샘플 필터는 수평이나 수직 신호들보다 더 대각선을 감쇄시키는 경향이 있을 수 있다. DOG 웨이블릿(가우시안의 차이(DOG) 소파동)은 영역 재샘플과 동일한 색 평면으로부터, 또 다른 색 평면으로부터 또는 휘도 데이터 평면으로부터 동작할 수 있으며, 대각선보다 더 수평 및 수직 공간 주파수를 선명하게 하고 유지시킬 수 있다. 이러한 예시적인 DOG 웨이블릿 동작은, 메타머 필터링 동작이 상이한 컬러의 서브 픽셀에 걸쳐 강도 값을 이동시키면서, 대각선 방향으로 동일한 색의 서브 픽셀을 따라 강도 값을 이동시키는 것으로 보일 수 있다.
RGBW 메타머 필터링은 수평 및 수직 신호보다 대각선 신호를 선명하게 하는 경향이 있는데 반해, 영역 재샘플링은 수평 신호와 수직 신호보다 대각선 신호를 감쇄시키는 경향이 있을 수 있다. 실제로 RGBW 메타머 필터 연산자가 대략 x=0.5로 설정되면 비례하여 서로 상보적이 될 수 있다. 그러므로, 결합하여 DOG 웨이블릿에 관한 필요성 없이, 본래의 이미지의 풀(full) 신호 에너지로 이미지를 렌더링하는 역할을 할 수 있다. 그러나, 이미지를 더 선명하게 하기 위해, DOG 웨이블릿을 사용하는 것이 유리할 수 있다. 다양한 실시 예에 따라 덜 밝은 원색의 변조 전달 함수(modulation transfer function; MTF)를 덜 밝은 원색이 휘도 신호의 렌더링에 비례적으로 더 잘 기여할 수 있도록, 증가시키기 위해 DOG 웨이블릿을 사용할 수 있다. 상술한 설명에서와 같이 대략적인 메타머 선명도 필터를 생성하는 것이 가능할지라도, 영역 재샘플링 필터 구성 방법을 사용하여 진행하는 것이 도움이 될 수 있다.
도 5f를 참조하면, 백색(5011)과 원색(5066) 휘도 재구성 포인트가 들어오는 픽셀(509)과 그것들과 연관되어 나타내는 샘플 영역(511) 위에 겹쳐진 것으로 도시될 수 있다. 휘도 재샘플 영역(525)은 들어오는 픽셀(509)의 나타난 샘플 영역(511)과 실질적으로 일치할 수 있다. 상기 실시 예에서 주어진 재구성 포인트는 백색 재구성 포인트(5011A)가 들어오는 픽셀(509)의 암시된 샘플 영역(511)과 실질적으로 일치하는 연관된 휘도 샘플 영역(526)을 가질 수 있다. 그러므로, 휘도 샘플 영역은 하나의 암시된 샘플 영역 위에 실질적으로 겹쳐지고, 1인 값을 갖는 근사 단위(approximate unity) 필터를 초래할 수 있다. 도 5f에 도시된 바와 같이, 휘도 재구성 포인트(5011A)는 또한 반대쪽 메타머 교환 재구성 포인트(5066A)의 가장 가까운 이웃에서 정점을 가진 라인에 의해 한정된 연관되는 다각형 메타머의 선명도 샘플 영역(536)을 가질 수 있다. 이러한 메타머의 선명도 샘플 영역은 5개의 나타낸 픽셀 샘플 영역(511)과 겹쳐져서 도 15에 도시된 바와 같은 필터 커널을 생성할 수 있다. 직접 메타머 필터 커널을 계산하기 위해서는, 메타머의 선명도 영역 필터 커널이 휘도 샘플 영역 필터 커널로부터 빼질 수 있다.
들어오는 픽셀 값(501와 같은)이 백색 서브 픽셀(500)로 매핑되고, 들어오는 픽셀 값이 그 둘레의 픽셀(506)보다 더 큰 밝기를 가진다면, 백색 서브 픽셀(500)이 더 밝아진다는 사실 등이 주목되어야 한다. 그러나, 2가지 방법이 동일한 결과를 만들어내지 않을 수 있다. 서브 픽셀 렌더링이 그 다음에 이어지는 사전 조정 동작의 결과는 2가지 동작의 컨벌루션(convolution)일 수 있다. 주어진 서브 픽셀의 출력 강도 값이 4개의 가장 가까운 이웃을 둘러싸는 픽셀의 입력 휘도 값에 의해 영향을 받고, 직접적인 메타머 필터링 동작은 이러한 행동을 보이지 않을 수 있다.
전술한 바와 같이 이미지를 추가로 선명하게 하는 것이 바람직할 때 DOG 필터링이 추가될 수 있다. 라인 버퍼로부터의 휘도 값이 추가 DOG 필터 단계에서 사용될 수 있다. 이러한 DOG 필터로부터의 출력은 SPR 필터와 메타머 필터로부터의 출력과 합쳐질 수 있다. 상기 합쳐진 결과는 출력 디스플레이에 보내지거나 다음 처리 단계로 전송될 수 있다. 또 다른 실시 예에서는, 메타머 필터와 DOG 필터를 하나의 사전 계산된 필터 커널로 결합시키는 것이 가능할 수 있다.
도 6은 다양한 실시 예에 따른 RGB 이미지 데이터를 나타내는 도면이다. 도 6을 참조하면, 각 점(602)들은 적색, 녹색, 및 청색 이미지 데이터를 위한 픽셀 샘플링 포인트를 나타낸다. 또한, 각각의 사각 영역들은 각 데이터 포인트를 위한 유효한 픽셀 샘플링 영역을 나타낸다.
재샘플링되는 영역의 각 픽셀 값은 상기 도 6에서 대응되는 픽셀뿐만 아니라 해당 픽셀의 인접하는 영역의 픽셀들을 고려하여 결정될 수 있다. 예컨대, 3×3 픽셀 영역의 데이터가 픽셀 재샘플링에서의 픽셀 값 결정을 위해 사용될 수 있다.
도 7, 도 8a 및 도 8b는 다양한 실시 예에 따른 서브 픽셀 렌더링 알고리즘을 나타내는 도면이다. 도 7을 참조하면, 영역 재샘플링을 위한 값(711)과 선명하게 하기 위해 주변부를 죽이는 필터링 값(712)으로 변환 매트릭스(710)가 구성될 수 있으며, 상기 변환 매트릭스(710)를 RGB 도메인(720)과 연산함으로써 RGBW의 펜타일 도메인(730) 값이 결정될 수 있다. 도 8a 및 도 8b를 참조하면, 영역 재샘플링을 위한 값(711)의 합은 1이 될 수 있으며, 선명하게 하기 위한 필터링 값(712)의 합은 0이 될 수 있다.
이하, 도 9 내지 도 19를 참조하여 다양한 실시 예에 따른 불량 픽셀에 대한 보상 처리 방법을 설명한다.
도 9는 다양한 실시 예에 따른 재샘플링된 RGBW 이미지 데이터를 나타내는 도면이다. 도 9를 참조하면, RGBW 서브 픽셀 반복 패턴으로 이미가 구성됨을 나타내며, 이를 L6W 유형이라 칭할 수 있다. 상기 영역 재샘플링은 색채(chromatic) 앨리어싱(aliasing)을 유발할 수 있는 RGBW 서브 픽셀 그리들의 각각으로부터 높은 공간 주파수들을 제거할 수 있다.
상기 도 9에 도시된 픽셀 재샘플링에서와 같이 RGB 서브 픽셀 패턴의 이미지를 RGBW 서브 픽셀 패턴의 이미지로 재샘플링할 경우, 하나의 픽셀(910)이 RG(912, 914) 및 BW(916, 918)의 각 서브 픽셀들을 갖기 때문에, W(918)의 화소 값을 이용하여 휘도를 조절할 수 있다.
도 10은 다양한 실시 예에 따른 녹색 서브 픽셀의 재구성을 나타내는 도면이다. 도 10을 참조하면, 각 녹색 포인트(1011)는 펜타일 매트릭스(PenTile Matrix)의 RGB 재구성 포인트를 나타낸다. 또한, 각 사각형(1010) 또는 에지(edge) 다각형은 각 재구성 포인트에 대한 재샘플링 영역을 나타낸다.
또한, 다양한 실시 예에 따라 백색 서브 픽셀 재샘플 영역(1020)들은 동일한 크기의 영역을 갖지만, 미러링(mirrored)됨으로써 상기 녹색 서브 픽셀 영역에 비해 180°의 위상 차를 가질 수 있다.
도 11은 다양한 실시 예에 따른 백색 서브 픽셀의 재구성을 나타내는 도면이다. 도 11을 참조하면, 적색으로 표시된 각 포인트(1111)는 펜타일 매트릭스(PenTile Matrix)의 백색 재구성 포인트를 나타낸다. 또한, 각 사각형(1110) 또는 에지(edge) 다각형은 각 재구성 포인트에 대한 재샘플링 영역을 나타낸다.
또한, 다양한 실시 예에 따라 RGB 서브 픽셀 재샘플 영역(1020)들은 동일한 크기의 영역을 갖지만, 미러링(mirrored)됨으로써 상기 백색 서브 픽셀 영역에 비해 180°의 위상 차를 가질 수 있다.
도 12는 다양한 실시 예에 따른 RGBW 데이터를 재샘플링하는 방법을 나타내는 도면이다. 도 12를 참조하면, RGBW 데이터를 재샘플링할 때, 각 서브 픽셀 재샘플 영역은 도시된 바와 같이 5개의 입력 픽셀들(예컨대, RGB 입력 픽셀들)과 중첩될 수 있다.
상기 도 12에서 중심 픽셀(1211)의 재샘플링 영역(1210)은 전체 재샘플링 영역의 50%(1/2)를 차지할 수 있다. 또한, 상기 중심 픽셀(1211)의 재샘플링 영역(1210)의 각 이웃 픽셀 영역(1220, 1230, 1240, 1250)은 전체 재샘플링 영역의 12.5%(1/8)를 차지할 수 있다.
따라서, 각 재샘플링 영역의 합은 100%로서, 이를 필터 커널 매트릭스로 나타내면 하기 <수학식 6>과 같이 나타낼 수 있다.
Figure pat00006
상기 필터 커널 매트릭스에서 각 좌표는 상기 도 12에서의 각 영역에 대응될 수 있다.
도 13은 다양한 실시 예에 따른 메타머 필터링을 나타내는 도면이다. 도 13을 참조하면, 전술한 바와 같이 메타머를 통해 선명도를 높일 수 있다. 예컨대, 계산된 L 채널에 의해 구동되는 이웃하는 W 및 RGB 서브 픽셀들 간의 에너지 교환은 최고 충실도(full fidelity)를 갖는 휘도 필드를 재구성할 수 있다. 이는 또한 변조 전달 함수(modulation transfer function; MTF)가 대각 방향으로 나이키스트 한계(Nyquist Limit)를 초과할 수 있도록 한다.
도 14는 다양한 실시 예에 따른 메타머 선명도 필터 생성을 나타내는 도면이다. 도 14를 참조하면, 도 12의 설명에서도 전술한 바와 같이, RGBW 데이터를 재샘플링할 때, 각 서브 픽셀 재샘플 영역은 도시된 바와 같이 5개의 입력 픽셀들(예컨대, RGB 입력 픽셀들)과 중첩될 수 있다.
상기 도 14에서 중심 픽셀(1411)의 재샘플링 영역(1410)은 전체 재샘플링 영역의 50%(1/2)를 차지할 수 있다. 또한, 상기 중심 픽셀(1411)의 재샘플링 영역(1410)의 각 이웃 픽셀 영역(1400)은 전체 재샘플링 영역의 12.5%(1/8)를 차지할 수 있다.
따라서, 각 재샘플링 영역의 합은 100%로서, 상기 <수학식 6>에서 선명하게 하는 영역과 DOG 웨이블릿을 반영하여 필터 커널 매트릭스로 나타내면 도 15에 도시된 바와 같이 나타낼 수 있다. 상기 도 15는 "영역 재샘플링" - "선명도 영역" = "DOG 웨이블릿"을 나타낸다.
이하, 도 16 내지 도 19를 참조하여, 상기 도 14의 RGBW 데이터에서 필터 커널 매트릭스의 재설정에 의해 불량 픽셀을 보상하는 실시 예를 설명한다.
도 16은 다양한 실시 예에 따른 픽셀 보상 샘플링 영역을 나타내는 도면이다. 상기 도 16에서 각각의 녹색 포인트들은 펜타일 매트릭스(PenTile Matrix)의 유효한(working) 서브 픽셀 재구성 포인트를 나타낸다.
다양한 실시 예에 따라 특정 서브 픽셀이 불량 픽셀(1600)로 판단될 경우, 인접하는 서브 픽셀에 대한 재샘플 영역이 재설정될 수 있다. 이는 인접하는 서브 픽셀에 대한 필터 커널 매트릭스 적용시 인접하는 불량 픽셀에 대한 보상치를 반영하는 것을 의미할 수 있다. 상기 불량 픽셀(1600)은 데드 서브 픽셀로 인해 하나의 픽셀이 '유실(miss)'되었음을 의미할 수 있다.
상기 도 16에서 불량 픽셀(1600)에 인접한 4개의 다각형 영역들(1610, 1620, 1630, 1640)은 각 재구성 포인트(1611, 1621, 1631, 1641)에 대한 재샘플 영역을 나타낸다. 이에 대한 보다 구체적인 설명을 도 17을 참조하여 설명하기로 한다.
도 17은 다양한 실시 예에 따른 불량 픽셀 데이터의 재샘플링을 나타내는 도면이다. 도 17을 참조하면, 특정 서브 픽셀이 불량 픽셀(1700)로 판단될 경우, 인접하는 서브 픽셀에 대한 재샘플 영역이 재설정될 수 있다. 이는 인접하는 서브 픽셀에 대한 필터 커널 매트릭스 적용시 인접하는 불량 픽셀에 대한 보상치를 반영하는 것을 의미할 수 있다.
상기 도 17에서 불량 픽셀(1700)에 인접한 4개의 다각형 영역들에 대해서는 재샘플링시 불량 픽셀에 대한 보정이 반영된 조정된 필터 커널 매트릭스가 적용될 수 있다.
도 17에서는 4개의 다각형 영역들 중 좌측 상부에 인접한 픽셀에 대한 재샘플 영역(1710)을 일 예로서 설명한다. 상기 도 17에서 좌측 상부에 인접한 픽셀의 재샘플링 영역(1710)은 중심 영역(1711)을 포함하여 5개의 주변 영역들(1712, 1713, 1714, 1715, 1716)을 더 포함할 수 있다.
상기 좌측 상부에 인접한 픽셀에 대한 재샘플링을 위한 필터 커널 매트릭스는 하기 <수학식 7>과 같이 나타낼 수 있다.
Figure pat00007
상기 필터 커널 매트릭스에서 각 좌표는 상기 도 17에서 구분된 각 영역들에 대응될 수 있다. 상기 <수학식 7>을 참조하면, 상기 <수학식 6>과 비교할 때, (2,3), (3,2), (3,3) 좌표에 해당하는 값이 증가되었음을 알 수 있다.
예컨대, 다양한 실시 예에 따라, 상기 불량 픽셀의 좌측 상부에 인접한 픽셀은 자신을 기준으로 우측 하부에 불량 픽셀이 존재하는 것이 되므로, 상기 필터 커널 매트릭스에서 우측 하부에 대응하는 (2,3), (3,2), (3,3) 좌표에 해당하는 값을 증가시킴으로써 불량 픽셀에 대한 보상을 할 수 있다.
예컨대, 우측 하부에 불량 픽셀이 존재함에 따라, 필터 커널 매트릭스에서 (2.3) 및 (3.2)에 해당하는 값은 각각 0.125에서 0.1875로 증가시키고, (3.3)에 해당하는 값은 0에서 0.125로 증가시킴으로써 우측 하부에 발생한 불량 픽셀을 보상할 수 있다.
상기 불량 픽셀 보상을 위한 필터 커널 매트릭스의 조정은 상기 불량 픽셀의 좌측 상부뿐만 아니라, 우측 상부, 좌측 하부, 우측 하부 등에도 동일하게 적용할 수 있다. 다양한 실시 예에 따라 상기 우측 상부, 좌측 하부, 우측 하부에 대한 필터 커널 매트릭스는 상기 <수학식 7>에서 매트릭스를 회전시킴으로써 재설정될 수 있다.
예컨대, 불량 픽셀의 우측 상부에 인접한 픽셀에 대한 필터 커널 매트릭스는 자신을 기준으로 좌측 하부에 불량 픽셀이 발생한 것이므로, 상기 필터 커널 매트릭스에서 좌측 하부에 대응하는 (2.1), (3.1), (3.2) 좌표에 해당하는 값을 증가시킴으로써 불량 픽셀에 대한 보상을 할 수 있다.
상술한 바와 같이 불량 픽셀에 인접한 픽셀에 대한 필터 커널 매트릭스를 조정하여 대응하는 값을 증가시킴으로써, 도 3에 도시된 바와 같이 불량 픽셀에 대한 보상을 할 수 있다.
상기 도 17을 참조하면, 각 서브 픽셀 재샘플링 영역은 6개의 입력 픽셀들의 영역들(1711, 1712, 1713, 1714, 1715, 1716)과 중첩될 수 있으며, 각 재샘플링 영역들의 합은 125%로서 인접한 픽셀에 불량 픽셀이 존재하지 않는 <수학식 6>의 경우보다 25% 증가했음을 알 수 있다. 또한, 상기 필터 커널 매트릭스는 도시된 바와 같이 불량 픽셀의 인접하는 위치에 따라 4개의 지향들(orientations)이 가짐을 알 수 있다.
도 18은 다양한 실시 예에 따른 인접하는 픽셀들에 불량 픽셀이 존재하지 않는 경우의 재샘플링을 위한 필터 커널 매트릭스를 나타내는 도면이며, 도 19는 다양한 실시 예에 따른 인접하는 픽셀들에 적어도 하나의 불량 픽셀이 존재하는 경우의 재샘플링을 위한 필터 커널 매트릭스를 나타내는 도면이다.
도 19에 도시된 예에서는 해당 픽셀의 좌측 상부에 불량 픽셀이 존재하는 경우의 재샘플링을 위한 필터 커널 매트릭스를 나타내는 도면이다. 도 19를 참조하면, 선명하게 하는 영역(선명도 영역)과 DOG 웨이블릿의 각 매트릭스에서 (1, 1), (1, 2), (2, 1)에 해당하는 좌표 값이 조정되었음을 알 수 있다. 예컨대, 도 18의 각 대응되는 매트릭스와 비교할 때, (1, 1) 좌표 값은 0에서 0.125로 증가되었고, (1, 2) 및 (2, 1) 좌표 값은 0.125에서 0.1875로 증가되었음을 알 수 있다.
상기 도 19에 도시된 각 값들은 예시를 위해 제공된 값들이며 다양한 실시 예에 따라 다른 값들로 설정될 수도 있다. 예컨대, 상기 불량 픽셀의 보상을 위해 필터 커널 매트릭스 상에서 조정하는 각 값들은 디스플레이 패널의 물질, 특성, 공정에 따라 다양한 값으로 설정될 수 있다. 또한, 상기 필터 커널 매트릭스의 값들은 디스플레이를 포함하는 제품의 완성시 고정된 값으로 저장되어 이미지 처리시 적용될 수 있다.
도 20은 다양한 실시 예에 따른 픽셀 재샘플링을 위한 장치를 나타내는 블록도이다. 도 20을 참조하면, 다양한 실시 예에 따른 픽셀 재샘플링을 위한 장치(2000)는 GMA 모듈(2010), 라인 버퍼 모듈(2020), 메타머 필터링 모듈(2030), SPR 모듈(2040) 중 적어도 하나를 포함할 수 있다.
상기 장치(2000)는 입력 픽셀 값을 받아들이고, 다수의 원색 디스플레이에 관한 출력을 만들어내는 "파이프라인(pipeline)"을 포함할 수 있다. 상기 파이프라인에서 대부분의 계산은 선형 색 값에 대해 행해질 수 있어, 비록 선택적이기는 해도 입력 감마 전환과 출력 감마 전환이 요구될 수 있다. 입력 픽셀은 GMA 모듈(1010)에서 다수의 원색으로 전환될 수 있는 RGB 또는 YCbCr과 같은 3원색으로 구성될 수 있다. GMA 모듈(1010)이 또한 다른 다수의 원색 신호 외에, 입력 이미지 데이터 신호의 휘도 채널(L)을 계산하는 것이 가능하다.
다양한 실시 예에 따라, 입력 원색의 개수가 N이고, 출력 원색의 개수가 M이며, (1) N은 M보다 작은 경우; (2) N=M 인, 특히 N=M>3인 경우; 또는 (3) N이 M보다 큰 상황에서 적용 가능하고, 특히 색 공간을 다운 샘플링하는 시스템에서 적용 가능하다는 점을 알 수 있다. 또한, 이들 기술은 메타머가 출력 색 공간 내에 존재하는 임의의 색 공간 매핑에서 적용 가능하다. 일부 장치에서는, 제1 다수 원색 공간으로부터 그 자체로 매핑하는 것이 바람직할 수 있다. 그러한 경우, 개시된 실시 예들은 색 공간에 메타머가 존재하는 한 적용 가능하다. 그러한 경우, GMA에 관한 필요성은 선택적이라는 점을 알 수 있다.
다양한 실시 예에 따라, 메타머의 계산은 복수의 주위 이미지 데이터(예컨대, 픽셀 또는 서브 픽셀) 값을 참조하는 필터링 연산으로서 구현될 수 있다. 이들 주위 값은 비록 다수의 프레임 버퍼와 같은 다른 실시 예가 가능할지라도, 1개의 라인 버퍼 모듈(2020)에 의해 조직될 수 있다. 이러한 실시 예는 또한 후술하는 설명의 연산을 수행하는 메타머 필터링 모듈(2030)을 포함할 수 있다. 일 실시 예에서, 메타머 필터링이 라인 버퍼를 서브 픽셀 렌더링(sub-pixel rendering; SPR) 모듈(2040)과 공유하는 것이 가능하다. 메타머 필터링이 이와 유사한 방식으로 SPR과 결합될 때마다, '직접 메타머 필터링(direct metamer filtering)'이라 칭할 수 있다.
상기 GMA 모듈(2010)은 1개의 색 공간으로부터 또 다른 색 공간으로 들어오는 이미지 데이터를 매핑하기 위해 포함될 수 있다. 다양한 실시 예에 따라 상기 메타머 필터링 모듈(2030)은 그러한 픽셀 데이터 위의 분리된 경로에서 달성될 수 있다. 이러한 처리를 '사전 조정 메타머 필터링(preconditioning metamer filtering)'이라 칭할 수 있다. 이러한 경우, SPR 모듈(2040)은 분리된 프레임 버퍼 또는 메타머 필터링 모듈(2030)에 의해 사용된 임의의 메모리나 라인 버퍼 모듈(2020)로부터 떨어진 라인 버퍼를 필요로 할 수도 있다.
다양한 실시 예에 따라, 디스플레이 시스템은 이미지 데이터를 입력하고, 그러한 이미지 데이터로부터 휘도 데이터를 추출할 수 있다. 상기 휘도 데이터는 외부 소스에 의해 공급되거나 하드웨어에서의 GMA 또는 다른 서브 시스템을 경유하여 계산될 수도 있다.
휘도 데이터는 메타머 필터에 입력될 수 있으며, 이후 그 출력은 조정 값에 따라 하나의 메타머로부터 또 다른 메타머로 이미지 데이터를 조정 또는 매핑(예컨대, 강도 값이나 다른 적합한 값을 조정)하기 위해 입력으로서 사용될 수 있다. 상기 조정 값의 일 실시 예는 전술한 바와 같이 선명도 값일 수 있으며, 다른 조정 값이 가능하다. 결과로 이미지 데이터가 출력될 수 있다.
전술한 실시 예에서와 같이, 메타머 필터링이 가우시안의 차이(DOG)를 이용하는 여러 개의 3×3 필터 마스크 및/또는 영역 리샘플링 필터를 가질 수 있다. 많은 다른 필터 마스크가 가능하다. 예컨대, 3×3 외의 크기; 또는 행 및 열과 반대되는 대각선 마스크 엔트리, 또는 직교 엔트리 등이 있을 수 있다. 전술한 기술을 이용하는 디스플레이 시스템 및 방법을 구현할 목적으로는 공간 주파수 데이터나 내부의 변동치를 검출 또는 계산 또는 추론하는 어떤 유닛을 가지고, 검출되는 것을 반영하는 값이나 함수와 같은 일부 특징을 만들어 내는 것으로 충분할 수 있다. 그러한 특징은 이후 그러한 특징에 기초한 메타머의 세트로부터 이미지 데이터를 계산 또는 선택하게 되는 유닛이나 모듈에 의해 사용될 수 있다. 공간 주파수 변동치를 검출, 계산 또는 추론하는 많은 시스템 및 방법이 존재하고 알려져 있으며, 그 예로는 필터, 적응 필터, 엣지(edge) 검출기, 편평한 필드 검출기, 불선명(blurring) 필터 및 변환 검출기(예컨대, 푸리에, 소파동(wavelet), DCT 등)가 있을 수 있다.
전술한 바와 같이 다양한 실시 예에 따라 불량 픽셀을 보상하기 위해, 선택된 필터 마스크가 무엇이든 간에, 바라는 효과를 위해 이미지 데이터에서의 서브 픽셀 강도 값을 바꾸거나 선택하는 변경이 수행될 수 있다. 또한, 필터링 외의 방식으로 이미지 데이터에 휘도 데이터를 적용하는 것이 가능하다. 이후 조정된 이미지 데이터는 디스플레이로 출력될 수 있다.
도 21은 다양한 실시 예에 따른 서브 픽셀 복구를 위한 장치를 나타내는 블록도이다. 도 21을 참조하면, 다양한 실시 예에 따라, 서브 픽셀 복구를 위한 장치는 RGB 이미지 프로세서(2110), 제어부(2120), 펜타일 이미지 프로세서(2130), 소스 드라이버(2140), 디스플레이 패널(2150) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예에 따라, 제1 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터는 설정된 복수의 변환 데이터들 중 선택된 변환 데이터를 이용하여 제2 서브 픽셀 패턴을 갖는 이미지의 픽셀 데이터로 변환되어 출력될 수 있다.
도 21에서는 상기 제1 서브 픽셀 패턴을 갖는 이미지의 예로서 RGB 이미지를 예로서 설명하며, 상기 제2 서브 픽셀 패턴을 갖는 이미지의 예로서 펜타일(Pentile) 이미지를 예로서 설명한다.
도 21을 참조하면, RGB 이미지 프로세서(2110)에서는 적어도 하나의 이미지 프로세서(IP; image processor)를 포함하여 각종 이미지 처리를 수행할 수 있다. 펜타일 이미지 프로세서(2130)에서는 상기 RGB 이미지 프로세서(2110)로부터 동기 정보(예컨대, Vsync, Hsync, Clock 등) 및 디스플레이 데이터(예컨대, RGB의 각 서브 픽셀 정보)를 수신하고, 수신된 데이터를 변환 데이터(예컨대, 필터 커널 매트릭스)에 의해 서브 픽셀 렌더링하여 펜타일 이미지 데이터(예컨대, RGBW 이미지 데이터 또는 RGBG 이미지 데이터 등)를 출력시킬 수 있다.
상기 제어부(2120)에서는 미리 식별한 불량 픽셀 정보를 펜타일 이미지 프로세서(2130)로 제공할 수 있다. 펜타일 이미지 프로세서(2130)에서는 다양한 실시 예에 따라 상기 제어부(2120)로부터 수신된 불량 픽셀 정보를 참조하여 현재 렌더링할 서브 픽셀에 일반적인 필터 커널 매트릭스 또는 불량 픽셀에 대한 보상이 적용된 필터 커널 매트릭스 중에서 선택하여 서브 픽셀 렌더링을 수행할 수 있다.
예컨대, 상기 펜타일 이미지 프로세서(2130)는 상기 제어부(2120)로부터 수신된 불량 픽셀 정보를 참조하여 현재 처리할 픽셀에 인접한 픽셀 중에서 적어도 하나의 불량 픽셀이 존재하는지 판단할 수 있다. 상기 판단 결과, 인접한 픽셀 중에서 적어도 하나의 불량 픽셀이 존재하면 상기 불량 픽셀에 대한 보상이 적용된 필터 커널 매트릭스(예컨대, 도 19에 도시된 필터 커널 매트릭스)를 이용하여 서브 픽셀 렌더링을 수행할 수 있다. 상기 판단 결과, 인접한 픽셀 중에서 불량 픽셀이 존재하지 않으면 일반적인(default) 필터 커널 매트릭스(예컨대, 도 18에 도시된 필터 커널 매트릭스)를 이용하여 서브 픽셀 렌더링을 수행할 수 있다. 상기와 같은 방법으로 서브 픽셀 렌더링을 수행함에 따라 불량 픽셀의 보상이 서브 픽셀 렌더링 과정에서 제공될 수 있다.
소스 드라이버(2140)는 펜타일 이미지 프로세서(2130)로부터 제공된 디지털 데이터를 디스플레이 패널(2150)로 제공하기 위한 아날로그 데이터로 변환시킬 수 있다. 디스플레이 패널(2150)은 소스 드라이버(2140)로부터 아날로그 데이터를 수신하여 디스플레이의 각 픽셀에 적용함으로써 이미지를 디스플레이할 수 있다.
도 22는 다양한 실시 예에 따른 서브 픽셀 재샘플링을 위한 회로를 나타내는 도면이다. 도 22는 서브 픽셀 렌더링 함수를 수행할 때 2 개의 합산 버퍼(2221, 2222)를 이용하는 라인 버퍼 블록, 계수 처리 블록, 및 승산기+가산기 블록을 위한 회로(2200)의 예를 도시한 도면이다.
도 22를 참조하면, 3개의 래치(L1 내지 L3)는 픽셀 값을 저장하고, 상기 픽셀 값은 9개의 승산기(M1 내지 M9)로 공급될 수 있다. 승산기(M1 내지 M3)는 저장부(2240)에 저장된 계수 테이블들 중 어느 하나의 계수 테이블로부터 대응되는 계수 값을 가져와, 래치(L1 내지 L3)로부터의 픽셀값과 곱하여 그 결과 값을 가산기(2211)로 공급할 수 있다. 상기 가산기(2211)는 결과의 합을 계산하고, 그 합을 합산 버퍼(2221)에 저장할 수 있다. 승산기(M4 내지 M6)는 저장부(2240)에 저장된 계수 테이블들 중 어느 하나의 계수 테이블로부터 대응되는 계수 값을 가져와, 래치(L4 내지 L6)로부터의 픽셀값과 곱하여 그 결과 값을 가산기(2212)로 공급할 수 있다. 상기 가산기(2212)는 승산기(M4 내지 M6)로부터의 곱셈값과 합산 버퍼(2221)의 출력값의 합을 계산하고, 그 합을 합산 버퍼(2222)에 저장할 수 있다. 승산기(M7 내지 M9)는 저장부(2240)에 저장된 계수 테이블들 중 어느 하나의 계수 테이블로부터 대응되는 계수 값을 가져와, 래치(L7 내지 L9)로부터의 픽셀값과 곱하여 그 결과 값을 가산기(2213)로 공급할 수 있다. 상기 가산기(2213)는 출력(Vout)을 계산하기 위해, 승산기(M7 내지 M9)로부터의 곱셈값과 합산 버퍼(2222)의 출력값의 합을 계산할 수 있다.
다양한 실시 예에 따라, 계수 테이블 선택부(2230)에서는 입력되는 각 입력 데이터(Vin)에 대해 인접 픽셀에 불량 픽셀이 존재하는지 여부를 판단하고, 인접 픽셀에 불량 픽셀이 존재하지 않으면, 저장부(2240)로부터 제1 계수 테이블에 대응되는 계수 값을 가져와서 연산할 수 있다. 또한, 상기 계수 테이블 선택부(2230)에서는 입력되는 각 입력 데이터(Vin)에 대해 인접 픽셀에 불량 픽셀이 존재하는지 여부를 판단하고, 인접 인접 픽셀에 적어도 하나의 불량 픽셀이 존재하면, 저장부(2240)로부터 제2 계수 테이블에 대응되는 계수 값을 가져와서 연산할 수 있다.
다양한 실시 예에 따라 도 2를 다시 참조하여 불량 픽셀 보상 방법을 설명하며, 한 실시 예에 따르면, 인식 모듈(예: 인식 모듈(223))은, 예를 들면, 외부의 다른 전자 장치(예: 전자 장치 102, 전자 장치 104), 전자 장치 내부의 다른 구성요소(예: 프로세서(120), 메모리(130), 입출력 인터페이스(140) 또는 통신 모듈(160)) 또는 센서(예: 센서(240)) 등을 통해 불량 픽셀에 관련된 정보를 수신할 수 있다. 한 실시 예에 따르면, 불량 픽셀에 관련된 정보는, 디스플레이 패널(예: 디스플레이 패널(210))의 복수의 픽셀들 중 적어도 하나의 픽셀을 가리키는 정보(예: 좌표, 위치, 식별자 또는 색상)를 포함할 수 있다. 한 실시 예에 따르면, 불량 픽셀에 관련된 정보는 디스플레이 패널(예: 디스플레이 패널(210))의 표시 상태에 대한 정보(예: 촬영 이미지 또는 해당 이미지를 가공한 데이터)를 포함할 수 있다.
표시 상태에 대한 정보는, 예를 들면, 디스플레이 패널(예: 디스플레이 패널(210))에 포함된 픽셀 각각의 색상(예: 적색 (red), 녹색(green), 청색(blue) 또는 백색(white) 등) 정보를 포함할 수 있다. 추가적으로 또는 대체적으로, 표시 상태에 대한 정보는, 예를 들면, 디스플레이 패널(예: 디스플레이 패널(210))에 포함된 픽셀 각각의 색상이 서로 혼합되어 발생된 혼합 색상(예: 시안(cyan), 마젠타(magenta), 옐로우(yellow) 또는 백색(white) 등) 정보를 포함할 수 있다.
인식 모듈(예: 인식 모듈(223))은 예를 들면, 상기 수신된 불량 픽셀에 관련된 정보에 기반하여, 디스플레이 패널을 구성하는 복수의 픽셀들 중 적어도 하나의 픽셀을 불량 픽셀로 결정할 수 있다. 한 실시 예에 따르면, 수신된 정보의 적어도 일부가 특정 픽셀을 직접 가리키는 정보, 예를 들면, 불량 픽셀 각각의 위치, 좌표 또는 색상 등의 정보인 경우에는 해당 정보가 가리키는 특정 픽셀을 불량 픽셀로 결정할 수 있다. 한 실시 예에 따르면, 수신된 정보의 적어도 일부가 디스플레이 패널(예: 디스플레이 패널(210))의 표시 상태를 촬영한 이미지 정보인 경우에는, 이미지 분석 알고리즘 등을 적용하여, 촬영된 픽셀들 중 적어도 하나의 픽셀을 불량 픽셀로 결정할 수 있다. 아울러, 결정된 불량 픽셀에 기반하여, 불량 픽셀의 정보(수량, 좌표, 위치, 식별자 또는 색상 등)를 생성할 수 있다.
상기 이미지 분석 방법은, 한 실시 예에 따르면, 디스플레이 패널(예: 디스플레이 패널(210))에 포함된 픽셀 각각의 색상(예: 적색(red), 녹색(green), 청색(blue) 또는 백색(white) 등) 정보를 포함하는 복수의 이미지들을 서로 비교하는 방법일 수 있다. 상기 이미지 분석 방법은, 한 실시 예에 따르면, 디스플레이 패널(예: 디스플레이 패널(210))에 포함된 픽셀 각각의 색상이 서로 혼합되어 발생된 색상(예: 시안(cyan), 마젠타(magenta), 노란색(yellow) 또는 백색(white) 등) 정보를 포함하는 복수의 이미지들을 비교하는 방법일 수 있다. 이미지 분석 방법에 사용되는 복수의 이미지들은, 예를 들면, 동일한 디스플레이 패널의 동일한 표시 제어 신호에 의한 표시 상태를, 서로 다른 복수의 촬영 시점에서 촬영한 이미지들일 수 있다.
저장 모듈(예: 저장 모듈(230))은 불량 픽셀의 정보를 저장할 수 있다.
보상 모듈(예: 보상 모듈(225))은 불량 픽셀의 정보에 기반하여, 디스플레이 패널(예: 디스플레이 패널(210))을 구성하는 복수의 픽셀들 중 적어도 하나의 다른 픽셀을 이용하여, 불량 픽셀의 기능을 보상할 수 있다. 상기 불량 픽셀의 정보는 상기에서 수신된 정보, 상기에서 생성된 정보 또는 상기에서 저장된 정보 중 적어도 하나일 수 있다. 상기 불량 픽셀의 보상에 이용되는 다른 픽셀은, 예를 들면, 불량 픽셀에 대응하는 인접한 픽셀들 중 적어도 하나의 픽셀일 수 있으며, 상기 불량 픽셀과 동일한 색상의 픽셀이거나, 불량 픽셀에 대응하는 동일 부분 영역 또는 인접 부분 영역 내에 위치한 다른 픽셀일 수 있다.
도 23은 다양한 실시 예들에 따른 픽셀 보상 방법의 흐름도를 도시한다. 도 23을 참조하면, 동작 2310에서, 디스플레이 패널에 대해 적어도 하나의 불량 픽셀을 인식하여 저장부에 저장할 수 있다.
동작 2320에서 제1 서브 픽셀 패턴(예컨대, RGB 패턴)의 픽셀 데이터를 수신하면, 동작 2330에서 상기 저장부에 저장된 불량 픽셀 정보를 참조하여 처리하고자 하는 각 픽셀(또는 서브 픽셀) 데이터의 인접 픽셀(또는 서브 픽셀)에 불량 픽셀(또는 서브 픽셀)이 존재하는지를 판단할 수 있다.
동작 2340에서, 상기 판단 결과 인접하는 픽셀(또는 서브 픽셀)들 중에서 적어도 하나의 불량 픽셀(또는 서브 픽셀)이 존재하면, 다양한 실시 예에 따라 동작 2350에서 상기 불량 픽셀 보상을 위해 조정된 필터 커널 매트릭스를 이용하여 픽셀(또는 서브 픽셀)을 재샘플링할 수 있다.
동작 2340에서, 상기 판단 결과 인접하는 픽셀(또는 서브 픽셀)들 중에서 불량 픽셀(또는 서브 픽셀)이 하나도 존재하지 않으면, 다양한 실시 예에 따라 동작 2360에서 디폴트로 설정된 일반적인 필터 커널 매트릭스를 이용하여 픽셀(또는 서브 픽셀)을 재샘플링할 수 있다.
다양한 실시 예들에 따르면, 제1 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 수신하는 동작; 및 설정된 복수의 변환 데이터들 중 선택된 변환 데이터를 이용하여 상기 수신된 픽셀 데이터 중 적어도 하나의 픽셀 데이터로부터 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 출력하는 동작;을 포함하며, 상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 존재하지 않으면, 상기 복수의 변환 데이터들 중 제1 변환 데이터를 이용하여 픽셀 데이터를 출력하며, 상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 적어도 하나 존재하면, 상기 복수의 변환 데이터들 중 제2 변환 데이터를 이용하여 픽셀 데이터를 출력하는 것을 특징으로 할 수 있다.
다양한 실시 예들에 따르면, 상기 방법은, 디스플레이를 구성하는 복수의 픽셀들 중 적어도 하나의 픽셀을 불량 픽셀로 인식하는 동작;을 더 포함하며, 상기 인식하는 동작은, 상기 불량 픽셀의 수량(quantity), 좌표(coordinate), 위치(position), 식별자(identifier) 또는 색상(color)중 적어도 하나에 대한 정보를 수신하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 상기 서브 픽셀은, 적색(red), 녹색(green), 청색(blue) 또는 백색(white) 중 적어도 하나를 포함하는 복수의 색상들 중 하나의 색상에 대응할 수 있다.
다양한 실시 예들에 따르면, 상기 제1 서브 픽셀 패턴은, 적색(R), 녹색(G), 및 청색(B)에 대응하는 서브 픽셀들이 순차적으로 배치되어 픽셀을 형성하고, 상기 형성된 픽셀이 반복적으로 배치될 수 있다.
다양한 실시 예들에 따르면, 상기 제2 서브 픽셀 패턴은, 적색(R), 녹색(G), 청색(B), 및 녹색(G)에 대응하는 서브 픽셀들이 순차적으로 배치되어 픽셀을 형성하고, 상기 형성된 픽셀이 반복적으로 배치될 수 있다.
다양한 실시 예들에 따르면, 상기 제2 서브 픽셀 패턴은, 적색(R), 녹색(G), 청색(B), 및 백색(W)에 대응하는 서브 픽셀들이 순차적으로 배치되어 픽셀을 형성하고, 상기 형성된 픽셀이 반복적으로 배치될 수 있다.
다양한 실시 예들에 따르면, 상기 제2 서브 픽셀 패턴은, 서로 인접한 일부의 픽셀들이, 마름모-타입(rhombic type), 바-타입(bar type), 삼각형-타입(triangle type), L6W-타입, RGB 스트라이프(Stripe) 타입, 정사각형-타입(square type), 직사각형-타입(rectangular type), 오각형 타입(pentagon type) 또는 육각형-타입(hexagonal type) 중 적어도 하나의 구조로 배열되어 구성될 수 있다.
다양한 실시 예들에 따르면, 상기 변환 데이터는, 서브 픽셀 렌더링을 위한 필터 커널이 매트릭스 형태로 구성된 데이터일 수 있다.
다양한 실시 예들에 따르면, 상기 제2 변환 데이터는, 상기 제1 변환 데이터의 각 좌표 성분들 중에서, 불량 픽셀이 위치한 방향에 대응하는 적어도 하나의 좌표 값에 가중치가 부여되어 설정될 수 있다.
다양한 실시 예들에 따르면, 상기 변환 데이터는, 가우시안 필터 유닛의 차이(difference of gaussian; DOG)를 더 반영하여 생성될 수 있다.
도 24는 다양한 실시 예들에 따른 전자 장치(2400)의 블록도를 도시한다. 상기 전자 장치(2400)은, 예를 들면, 도 1에 도시된 전자 장치(100)의 전체 또는 일부를 구성할 수 있다. 도 24를 참조하면, 상기 전자 장치(2400)는 하나 이상의 프로세서(2410), SIM(subscriber identification module) 카드(2414), 메모리(2420), 통신 모듈(2430), 센서 모듈(2440), 입력 모듈(2450), 디스플레이(2460), 인터페이스(2470), 오디오 모듈(2480), 카메라 모듈(2491), 전력관리 모듈(895), 배터리(2496), 인디케이터(2497), 또는 모터(2498)를 포함할 수 있다.
상기 프로세서(2410)는 하나 이상의 애플리케이션 프로세서(AP: application processor, 911) 또는 하나 이상의 커뮤니케이션 프로세서(CP: communication processor, 913)를 포함할 수 있다. 상기 프로세서(2410)는, 예를 들면, 도 1에 도시된 프로세서(120)일 수 있다. 도 24에서는 상기 AP(2411) 및 상기 CP(2413)가 프로세서(2410) 내에 포함된 것으로 도시되었으나, 상기 AP(2411)와 상기 CP(2413)는 서로 다른 IC 패키지들 내에 각각 포함될 수 있다. 한 실시 예에 따르면, 상기 AP(2411) 및 상기 CP(2413)는 하나의 IC 패키지 내에 포함될 수 있다.
상기 AP(2411)는 운영체제 또는 응용 프로그램을 구동하여 상기 AP(2411)에 연결된 다수의 하드웨어 또는 소프트웨어 구성 요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 상기 AP(2411)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시 예에 따르면, 상기 프로세서(2410)는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
상기 CP(2413)는 상기 전자 장치(2400)와 네트워크로 연결된 다른 전자 장치들 간의 통신에서 데이터 링크를 관리하고 통신 프로토콜을 변환하는 기능을 수행할 수 있다. 상기 CP(2413)는, 예를 들면, SoC로 구현될 수 있다. 한 실시 예에 따르면, 상기 CP(2413)는 멀티미디어 제어 기능의 적어도 일부를 수행할 수 있다. 상기 CP(2413)는, 예를 들면, 가입자 식별 모듈(예: SIM 카드(2414))을 이용하여 통신 네트워크 내에서 상기 전자 장치(2400)의 구별 및 인증을 수행할 수 있다. 또한, 상기 CP(2413)는 사용자에게 음성 통화, 영상 통화, 문자 메시지 또는 패킷 데이터(packet data) 등의 서비스들을 제공할 수 있다.
또한, 상기 CP(2413)는 상기 통신 모듈(2430)의 데이터 송수신을 제어할 수 있다. 도 24에서는, 상기 CP(2413), 상기 전력관리 모듈(2495) 또는 상기 메모리(2420) 등의 구성 요소들이 상기 AP(2411)와 별개의 구성 요소로 도시되어 있으나, 한 실시 예에 따르면, 상기 AP(2411)가 전술한 구성 요소들의 적어도 일부(예: 상기 CP(2413))를 포함하도록 구현될 수 있다.
한 실시 예에 따르면, 상기 AP(2411) 또는 상기 CP(2413)는, 각각에 연결된 비휘발성 메모리 또는 다른 구성요소 중 적어도 하나로부터 수신한 명령 또는 데이터를, 휘발성 메모리에 로드(load)하여 처리할 수 있다. 또한, 상기 AP(2411) 또는 상기 CP(2413)는 다른 구성 요소 중 적어도 하나로부터 수신하거나 다른 구성 요소 중 적어도 하나에 의해 생성된 데이터를, 비휘발성 메모리에 저장(store)할 수 있다.
상기 SIM 카드(2414)는 가입자 식별 모듈을 구현한 카드일 수 있으며, 전자 장치(2400)의 특정 위치에 형성된 슬롯에 삽입될 수 있다. 상기 SIM 카드(2414)는 고유한 식별 정보(예: ICCID(integrated circuit card identifier))또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
상기 메모리(2420)는 내장 메모리(2422) 또는 외장 메모리(2424)를 포함할 수 있다. 상기 메모리(2420)는, 예를 들면, 도 1에 도시된 메모리(130)일 수 있다. 상기 내장 메모리(2422)는, 예를 들면, 휘발성 메모리(예를 들면, DRAM(dynamic RAM), SRAM(static RAM), SDRAM(synchronous dynamic RAM) 등) 또는 비휘발성 메모리(non-volatile Memory, 예를 들면, OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, NAND flash memory, NOR flash memory 등) 중 적어도 하나를 포함할 수 있다. 한 실시 예에 따르면, 상기 내장 메모리(2422)는 Solid State Drive(SSD)일 수 있다. 상기 외장 메모리(2424)는 flash drive, 예를 들면, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital) 또는 Memory Stick 등을 더 포함할 수 있다. 상기 외장 메모리(2424)는 다양한 인터페이스를 통하여 상기 전자 장치(2400)와 기능적으로 연결될 수 있다.
도시되지는 않았으나, 상기 전자 장치(2400)는 하드 드라이브와 같은 저장 장치(또는 저장 매체)를 더 포함할 수 있다.
상기 통신 모듈(2430)은 무선 통신 모듈(2431) 또는 RF 모듈(2434)을 포함할 수 있다. 상기 통신 모듈(2430)은, 예를 들면, 도 1에 도시된 통신 모듈(160)에 포함될 수 있다. 상기 무선 통신 모듈(2431)은, 예를 들면, WiFi(2433), BT(bluetooth, 935), GPS(2437) 또는 NFC(near field communication, 939)를 포함할 수 있다. 예를 들면, 상기 무선 통신 모듈(2431)은 무선 주파수를 이용하여 무선 통신 기능을 제공할 수 있다. 추가적으로 또는 대체적으로, 상기 무선 통신 모듈(2431)은 상기 전자 장치(2400)를 네트워크(예: Internet, LAN(local area network), WAN(wire area network), telecommunication network, cellular network, satellite network 또는 POTS(plain old telephone service) 등)와 연결시키기 위한 네트워크 인터페이스(예: LAN card) 또는 모뎀 등을 포함할 수 있다.
상기 RF 모듈(2434)은 음성 또는 데이터 신호의 송수신을 처리할 수 있다. 상기 RF 모듈(2434)은, 도시되지는 않았으나, 예를 들면, 트랜시버(transceiver), PAM(power amp module), 주파수 필터(frequency filter) 또는 LNA(low noise amplifier) 등을 포함할 수 있다. 또한, 상기 RF 모듈(2434)은 무선통신에서 자유 공간상의 전자파를 송수신하기 위한 부품, 예를 들면, 도체 또는 도선 등을 더 포함할 수 있다.
상기 센서 모듈(2440)은, 예를 들면, 제스쳐 센서(2440A), 자이로 센서(2440B), 기압 센서(2440C), 마그네틱 센서(2440D), 가속도 센서(2440E), 그립 센서(2440F), 근접 센서(2440G), RGB(red, green, blue) 센서(2440H), 생체 센서(2440I), 온/습도 센서(2440J), 조도 센서(2440K) 또는 UV(ultra violet) 센서(2440M), IR(infra red) 센서(미도시) 중의 적어도 하나를 포함할 수 있다. 상기 센서 모듈(2440)은 물리량을 계측하거나 전자 장치의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 추가적으로 또는 대체적으로, 상기 센서 모듈(2440)은, 예를 들면, 후각 센서(E-nose sensor, 미도시), EMG 센서(electromyography sensor, 미도시), EEG 센서(electroencephalogram sensor, 미도시), ECG 센서(electrocardiogram sensor, 미도시) 또는 지문 센서 등을 포함할 수 있다. 상기 센서 모듈(2440)은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 입력 모듈(2450)은 터치 패널(touch panel, 952), (디지털) 펜 센서(pen sensor, 954), 키(key, 956) 또는 초음파 입력 장치(울트라소닉, 958)를 포함할 수 있다. 상기 입력 모듈(2450)은, 예를 들면, 도 1에 도시된 입출력 인터페이스(140)에 포함될 수 있다. 상기 터치 패널(2452)은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 상기 터치 패널(2452)은 컨트롤러(미도시)를 더 포함할 수도 있다. 정전식의 경우, 물리적인 접촉뿐만 아니라 근접 인식도 가능하다. 상기 터치 패널(2452)은 택타일(tactile layer) 기능을 더 포함할 수도 있다. 이 경우, 상기 터치 패널(2452)은 사용자에게 촉각 반응을 제공할 수 있다.
상기 (디지털) 펜 센서(2454)는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 상기 키(2456)는, 예를 들면, 물리적인 버튼을 포함할 수 있다. 또한, 예를 들면, 광학식 키, 키패드, 또는 터치 키가 포함될 수 있다. 상기 초음파 입력 장치(울트라소닉, 958)는 초음파 신호를 발생하는 입력도구를 통해, 단말에서 마이크(예: 마이크(2488))로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다. 한 실시 예에 따르면, 상기 전자 장치(2400)는 상기 통신 모듈(2430)를 이용하여, 이와 연결된 외부 장치(예: 네트워크, 컴퓨터 또는 서버)로부터 사용자 입력을 수신할 수도 있다.
상기 디스플레이(2460)은 패널(2462), 홀로그램(2464), 또는 프로젝터(2466)를 포함할 수 있다. 상기 디스플레이(2460)는, 예를 들면, 도 1에 도시된 디스플레이(150)일 수 있다. 상기 패널(2462)은, 예를 들면, LCD(liquid-crystal display) 또는 AM-OLED(active-matrix organic light-emitting diode) 등일 수 있다. 상기 패널(2462)은, 예를 들면, 유연하게(flexible), 투명하게(transparent) 또는 착용할 수 있게(wearable) 구현될 수 있다. 상기 패널(2462)은 상기 터치 패널(2452)과 하나의 모듈로 구성될 수도 있다. 상기 홀로그램(2464)은 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 상기 프로젝터(2466)는 빛의 투사를 통해 영상을 외부 스크린에 보여줄 수 있다. 한 실시 예에 따르면, 상기 디스플레이(2460)는 상기 패널(2462), 상기 홀로그램(2464), 또는 프로젝터(2466)를 제어하기 위한 제어 회로를 더 포함할 수 있다.
상기 인터페이스(2470)는, 예를 들면, HDMI(high-definition multimedia interface, 972, USB(universal serial bus, 974), Optical(광통신, 976) 또는 D-sub(D-subminiature, 978)를 포함할 수 있다. 상기 통신 모듈(2430)은, 예를 들면, 도 1에 도시된 통신 모듈(760)에 포함될 수 있다. 추가적으로 또는 대체적으로, 상기 인터페이스(2470)는, 예를 들면, SD(secure Digital)/MMC(multi-media card)(미도시) 또는 IrDA(infrared data association, 미도시)를 포함할 수 있다.
상기 오디오 모듈(2480)은 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 상기 오디오 모듈(2480)은, 예를 들면, 도 1에 도시된 입출력 인터페이스(140)에 포함될 수 있다. 오디오 모듈(2480)은, 예를 들면, 스피커(2482), 리시버(2484), 이어폰(2486) 또는 마이크(2488) 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다.
상기 카메라 모듈(2491)은 화상 및 동영상을 촬영할 수 있는 장치로서, 한 실시 예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, ISP(image signal processor, 미도시) 또는 플래쉬(flash, 미도시)(예: LED 또는 xenon lamp)를 포함할 수 있다.
상기 전력관리 모듈(2495)은 상기 전자 장치(2400)의 전력을 관리할 수 있다. 도시하지는 않았으나, 상기 전력관리 모듈(2495)은, 예를 들면, PMIC(power management integrated circuit), 충전 IC(charger integrated circuit) 또는 배터리 게이지(battery fuel gauge)를 포함할 수 있다.
상기 PMIC는, 예를 들면, 집적회로 또는 SoC 반도체 내에 탑재될 수 있다. 충전 방식은 유선과 무선으로 구분될 수 있다. 상기 충전 IC는 배터리를 충전시킬 수 있으며, 충전기로부터의 과전압 또는 과전류 유입을 방지할 수 있다. 한 실시 예에 따르면, 상기 충전 IC는 유선 충전 방식 또는 무선 충전 방식 중 적어도 하나를 위한 충전 IC를 포함할 수 있다. 무선 충전 방식으로는, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등이 있으며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 정류기 등의 회로가 추가될 수 있다.
상기 배터리 게이지는, 예를 들면, 상기 배터리(2496)의 잔량, 충전 중 전압, 전류 또는 온도를 측정할 수 있다. 상기 배터리(2496)는 전기를 저장하여 전원을 공급할 수 있다. 상기 배터리(2496)는, 예를 들면, 충전식 전지(rechargeable battery) 또는 태양 전지(solar battery)를 포함할 수 있다.
상기 인디케이터(2497)는 상기 전자 장치(2400) 혹은 그 일부(예: 상기 AP(2411))의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 상기 모터(2498)는 전기적 신호를 기계적 진동으로 변환할 수 있다.
도시되지는 않았으나, 상기 전자 장치(2400)는 모바일 TV지원을 위한 처리 장치(예: GPU)를 포함할 수 있다. 상기 모바일 TV 지원을 위한 처리 장치는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting) 또는 미디어플로우(media flow) 등의 규격에 따른 미디어 데이터를 처리할 수 있다.
본 발명에 따른 전자 장치의 전술한 구성 요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성 요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 본 발명에 따른 전자 장치는 전술한 구성요소 중 적어도 하나를 포함하여 구성될 수 있으며, 일부 구성요소가 생략되거나 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 또한, 본 발명에 따른 전자 장치의 구성 요소들 중 일부가 결합되어 하나의 개체(entity)로 구성됨으로써, 결합되기 이전의 해당 구성 요소들의 기능을 동일하게 수행할 수 있다.
본 발명에 사용된 용어 "모듈"은, 예를 들어, 하드웨어, 소프트웨어 또는 펌웨어(firmware) 중 하나 또는 둘 이상의 조합을 포함하는 단위(unit)를 의미할 수 있다. "모듈"은 예를 들어, 유닛(unit), 로직(logic), 논리 블록(logical block), 부품(component) 또는 회로(circuit) 등의 용어와 바꾸어 사용(interchangeably use)될 수 있다. "모듈"은, 일체로 구성된 부품의 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수도 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있다. 를 들면, 본 발명에 따른 "모듈"은, 알려졌거나 앞으로 개발될, 어떤 동작들을 수행하는 ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays) 또는 프로그램 가능 논리 장치(programmable-logic device) 중 적어도 하나를 포함할 수 있다.
다양한 실시 예들에 따르면, 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 제1 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 수신하는 동작; 및 설정된 복수의 변환 데이터들 중 선택된 변환 데이터를 이용하여 상기 수신된 픽셀 데이터 중 적어도 하나의 픽셀 데이터로부터 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 출력하는 동작;을 포함하며, 상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 존재하지 않으면, 상기 복수의 변환 데이터들 중 제1 변환 데이터를 이용하여 픽셀 데이터를 출력하며, 상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 적어도 하나 존재하면, 상기 복수의 변환 데이터들 중 제2 변환 데이터를 이용하여 픽셀 데이터를 출력하는 것을 특징으로 할 수 있다.
본 발명에 따른 전자 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 전자 장치가 불량 픽셀 보상 방법을 수행하도록 하는 명령들을 포함하는 프로그램을 수신하여 저장할 수 있고, 도 1에 도시된 전자 장치 또는 서버가 프로그램 제공 장치가 될 수도 있다. 상기 프로그램 제공 장치는 상기 프로그램을 저장하기 위한 메모리와, 상기 전자 장치와의 유선 또는 무선 통신을 수행하기 위한 통신 모듈과, 상기 전자 장치의 요청 또는 자동으로 해당 프로그램을 상기 전자 장치로 전송하는 프로세서를 포함할 수 있다.
100, 102, 104, 200, 2400: 전자 장치
110: 버스 120, 2410: 프로세서
130, 2420: 메모리 140: 입출력 인터페이스
150: 디스플레이 160, 2430: 통신 모듈
210: 디스플레이 패널 220: 픽셀 제어 모듈
221: 인터페이스 223: 인식 모듈
225: 보상 모듈 230: 저장 모듈
240: 센서 2000 : 전자 장치
2010 : GMA 2020 : 라인 버퍼들
2030 : 메타머 필터링 2040 : SPR
2110 : RGB 이미지 프로세서 2120 : 제어부
2130 : 펜타일 이미지 프로세서
2140 : 소스 드라이버 2150 : 디스플레이 패널
2200 : SPR 2211, 2212, 2213 : 가산기
2221, 2222 : 합산 버퍼 2230 : 계수 테이블 선택부
2240 : 저장부 2414: SIM카드
2440: 센서 모듈 2450: 입력 모듈
2460: 디스플레이 2470: 인터페이스
2480: 오디오 모듈 2491: 카메라 모듈
2492: 인디케이터 2493: 모터
2495: 전력 관리 모듈 2496: 배터리

Claims (20)

  1. 제1 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 수신하는 동작; 및
    설정된 복수의 변환 데이터들 중 선택된 변환 데이터를 이용하여 상기 수신된 픽셀 데이터 중 적어도 하나의 픽셀 데이터로부터 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 출력하는 동작;을 포함하며,
    상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 존재하지 않으면, 상기 복수의 변환 데이터들 중 제1 변환 데이터를 이용하여 픽셀 데이터를 출력하며,
    상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 적어도 하나 존재하면, 상기 복수의 변환 데이터들 중 제2 변환 데이터를 이용하여 픽셀 데이터를 출력하는 것을 특징으로 하는, 방법.
  2. 제1항에 있어서, 상기 방법은,
    디스플레이를 구성하는 복수의 픽셀들 중 적어도 하나의 픽셀을 불량 픽셀로 인식하는 동작;을 더 포함하며,
    상기 인식하는 동작은,
    상기 불량 픽셀의 수량(quantity), 좌표(coordinate), 위치(position), 식별자(identifier) 또는 색상(color)중 적어도 하나에 대한 정보를 수신하는 동작을 포함하는, 방법.
  3. 제1항에 있어서, 상기 서브 픽셀은,
    적색(red), 녹색(green), 청색(blue) 또는 백색(white) 중 적어도 하나를 포함하는 복수의 색상들 중 하나의 색상에 대응하는, 방법.
  4. 제1항에 있어서, 상기 제1 서브 픽셀 패턴은,
    적색(R), 녹색(G), 및 청색(B)에 대응하는 서브 픽셀들이 순차적으로 배치되어 픽셀을 형성하고, 상기 형성된 픽셀이 반복적으로 배치되는, 방법.
  5. 제1항에 있어서, 상기 제2 서브 픽셀 패턴은,
    적색(R), 녹색(G), 청색(B), 및 녹색(G)에 대응하는 서브 픽셀들이 순차적으로 배치되어 픽셀을 형성하고, 상기 형성된 픽셀이 반복적으로 배치되는, 방법.
  6. 제1항에 있어서, 상기 제2 서브 픽셀 패턴은,
    적색(R), 녹색(G), 청색(B), 및 백색(W)에 대응하는 서브 픽셀들이 순차적으로 배치되어 픽셀을 형성하고, 상기 형성된 픽셀이 반복적으로 배치되는, 방법.
  7. 제1항에서, 상기 제2 서브 픽셀 패턴은,
    서로 인접한 일부의 픽셀들이, 마름모-타입(rhombic type), 바-타입(bar type), 삼각형-타입(triangle type), L6W-타입, RGB 스트라이프(Stripe) 타입, 정사각형-타입(square type), 직사각형-타입(rectangular type), 오각형-타입(pentagon type) 또는 육각형-타입(hexagonal type) 중 적어도 하나의 구조로 배열되어 구성된, 방법.
  8. 제1항에 있어서, 상기 변환 데이터는,
    서브 픽셀 렌더링을 위한 필터 커널이 매트릭스 형태로 구성된 데이터인, 방법.
  9. 제8항에 있어서, 상기 제2 변환 데이터는,
    상기 제1 변환 데이터의 각 좌표 성분들 중에서, 불량 픽셀이 위치한 방향에 대응하는 적어도 하나의 좌표 값에 가중치가 부여되어 설정되는, 방법.
  10. 제8항에 있어서, 상기 변환 데이터는,
    가우시안 필터 유닛의 차이(difference of gaussian; DOG)를 더 반영하여 생성되는, 방법.
  11. 복수의 픽셀들에 각각 대응되는 복수의 제어 신호들에 의해 구동되는 디스플레이 패널;
    상기 복수의 픽셀들 중 적어도 하나의 픽셀을 불량 픽셀로 인식하도록 설정된 인식 모듈; 및
    제1 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 수신하고, 설정된 복수의 변환 데이터들 중 선택된 변환 데이터를 이용하여 상기 수신된 픽셀 데이터 중 적어도 하나의 픽셀 데이터로부터 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 출력하는 보상 모듈;을 포함하며,
    상기 보상 모듈은,
    상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 존재하지 않으면, 상기 복수의 변환 데이터들 중 제1 변환 데이터를 이용하여 픽셀 데이터를 출력하며,
    상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 적어도 하나 존재하면, 상기 복수의 변환 데이터들 중 제2 변환 데이터를 이용하여 픽셀 데이터를 출력하는 것을 특징으로 하는, 전자 장치.
  12. 제11항에 있어서, 상기 인식 모듈은,
    상기 불량 픽셀의 수량(quantity), 좌표(coordinate), 위치(position), 식별자(identifier) 또는 색상(color)중 적어도 하나에 대한 정보를 수신하는 동작을 포함하는, 전자 장치.
  13. 제11항에 있어서, 상기 서브 픽셀은,
    적색(red), 녹색(green), 청색(blue) 또는 백색(white) 중 적어도 하나를 포함하는 복수의 색상들 중 하나의 색상에 대응하는, 전자 장치.
  14. 제11항에 있어서, 상기 제1 서브 픽셀 패턴은,
    적색(R), 녹색(G), 및 청색(B)에 대응하는 서브 픽셀들이 순차적으로 배치되어 픽셀을 형성하고, 상기 형성된 픽셀이 반복적으로 배치되는, 전자 장치.
  15. 제11항에 있어서, 상기 제2 서브 픽셀 패턴은,
    적색(R), 녹색(G), 청색(B), 및 녹색(G)에 대응하는 서브 픽셀들이 순차적으로 배치되어 픽셀을 형성하고, 상기 형성된 픽셀이 반복적으로 배치되는, 전자 장치.
  16. 제11항에 있어서, 상기 제2 서브 픽셀 패턴은,
    적색(R), 녹색(G), 청색(B), 및 백색(W)에 대응하는 서브 픽셀들이 순차적으로 배치되어 픽셀을 형성하고, 상기 형성된 픽셀이 반복적으로 배치되는, 전자 장치.
  17. 제11항에 있어서, 상기 변환 데이터는,
    서브 픽셀 렌더링을 위한 필터 커널이 매트릭스 형태로 구성된 데이터인, 전자 장치.
  18. 제17항에 있어서, 상기 제2 변환 데이터는,
    상기 제1 변환 데이터의 각 좌표 성분들 중에서, 불량 픽셀이 위치한 방향에 대응하는 적어도 하나의 좌표 값에 가중치가 부여되어 설정되는, 전자 장치.
  19. 제17항에 있어서, 상기 변환 데이터는,
    가우시안 필터 유닛의 차이(difference of gaussian; DOG)를 더 반영하여 생성되는, 전자 장치.
  20. 명령들을 저장하고 있는 저장 매체에 있어서, 상기 명령들은 적어도 하나의 프로세서에 의하여 실행될 때에 상기 적어도 하나의 프로세서로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은,
    제1 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 수신하는 동작; 및
    설정된 복수의 변환 데이터들 중 선택된 변환 데이터를 이용하여 상기 수신된 픽셀 데이터 중 적어도 하나의 픽셀 데이터로부터 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀 데이터를 출력하는 동작;을 포함하며,
    상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 존재하지 않으면, 상기 복수의 변환 데이터들 중 제1 변환 데이터를 이용하여 픽셀 데이터를 출력하며, 상기 제2 서브 픽셀 패턴을 갖는 이미지의 각 픽셀에 대해 인접한 픽셀들 중 불량 픽셀이 적어도 하나 존재하면, 상기 복수의 변환 데이터들 중 제2 변환 데이터를 이용하여 픽셀 데이터를 출력하는 것을 특징으로 하는, 저장 매체.
KR1020140083982A 2014-06-11 2014-07-04 디스플레이의 불량 픽셀을 보상하기 위한 방법, 전자 장치 및 저장 매체 KR20150142562A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462010674P 2014-06-11 2014-06-11
US62/010,674 2014-06-11

Publications (1)

Publication Number Publication Date
KR20150142562A true KR20150142562A (ko) 2015-12-22

Family

ID=55081829

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140083982A KR20150142562A (ko) 2014-06-11 2014-07-04 디스플레이의 불량 픽셀을 보상하기 위한 방법, 전자 장치 및 저장 매체

Country Status (1)

Country Link
KR (1) KR20150142562A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482308B2 (en) 2016-10-28 2019-11-19 Samsung Electronics Co., Ltd. Method of recognizing fingerprint and electronic device including the same
KR20200017881A (ko) * 2018-08-09 2020-02-19 삼성전자주식회사 디스플레이의 엣지 영역에 출력되는 이미지 데이터의 밝기를 변경하기 위한 전자 장치
CN113748456A (zh) * 2019-04-09 2021-12-03 维耶尔公司 微型led装置和阵列的修复技术
CN116504169A (zh) * 2023-06-27 2023-07-28 联士光电（深圳）有限公司 显示设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10482308B2 (en) 2016-10-28 2019-11-19 Samsung Electronics Co., Ltd. Method of recognizing fingerprint and electronic device including the same
KR20200017881A (ko) * 2018-08-09 2020-02-19 삼성전자주식회사 디스플레이의 엣지 영역에 출력되는 이미지 데이터의 밝기를 변경하기 위한 전자 장치
CN113748456A (zh) * 2019-04-09 2021-12-03 维耶尔公司 微型led装置和阵列的修复技术
CN116504169A (zh) * 2023-06-27 2023-07-28 联士光电（深圳）有限公司 显示设备
CN116504169B (zh) * 2023-06-27 2023-09-08 联士光电（深圳）有限公司 显示设备

Similar Documents

Publication Publication Date Title
KR102163034B1 (ko) 디스플레이의 불량 화소를 보상하기 위한 방법, 전자 장치 및 저장 매체
KR102555953B1 (ko) 전지 장치, 디스플레이 장치 및 그의 제어 방법
US9418398B2 (en) Low power subpixel rendering on RGBW display
KR102248841B1 (ko) 디스플레이 장치, 전자 장치 및 전자 장치의 동작 방법
US10979612B2 (en) Electronic device comprising plurality of cameras using rolling shutter mode
CN108391060B (zh) 一种图像处理方法、图像处理装置和终端
CN109473059B (zh) 显示电流确定、补偿方法、装置、显示装置和存储介质
US10978027B2 (en) Electronic display partial image frame update systems and methods
CN108962167B (zh) 数据处理方法及装置、驱动方法、显示面板和存储介质
CN114127666A (zh) 使用可变帧率的中央凹渲染
US11735147B1 (en) Foveated display burn-in statistics and burn-in compensation systems and methods
CN108615496B (zh) 图像数据处理方法及装置
CN108230406B (zh) 数据处理方法及电子设备
KR20150142562A (ko) 디스플레이의 불량 픽셀을 보상하기 위한 방법, 전자 장치 및 저장 매체
EP3012830B1 (en) Image up-scale unit and method
US20190182434A1 (en) Method of providing image and electronic device for supporting the method
US10043472B2 (en) Digital compensation for V-gate coupling
CN116348947A (zh) 背光重建和补偿
US11423866B2 (en) Method for displaying content of application via display, and electronic device
KR102192674B1 (ko) 이미지 처리 장치 및 방법
CN108604367B (zh) 一种显示方法以及手持电子设备
US20230343269A1 (en) Temperature-Based Pixel Drive Compensation
US7619652B2 (en) Frame processing and frame processing method
US11929021B1 (en) Optical crosstalk compensation for foveated display
CN112162719A (zh) 显示内容渲染方法及装置、计算机可读介质和电子设备

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid