KR102601853B1 - 표시장치 및 그의 영상 처리방법 - Google Patents

표시장치 및 그의 영상 처리방법 Download PDF

Info

Publication number
KR102601853B1
KR102601853B1 KR1020160162044A KR20160162044A KR102601853B1 KR 102601853 B1 KR102601853 B1 KR 102601853B1 KR 1020160162044 A KR1020160162044 A KR 1020160162044A KR 20160162044 A KR20160162044 A KR 20160162044A KR 102601853 B1 KR102601853 B1 KR 102601853B1
Authority
KR
South Korea
Prior art keywords
gain
image
pixel
block
color
Prior art date
Application number
KR1020160162044A
Other languages
English (en)
Other versions
KR20180062123A (ko
Inventor
허천
권경준
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020160162044A priority Critical patent/KR102601853B1/ko
Priority to US15/802,218 priority patent/US10366673B2/en
Priority to CN201711237312.4A priority patent/CN108122546B/zh
Publication of KR20180062123A publication Critical patent/KR20180062123A/ko
Application granted granted Critical
Publication of KR102601853B1 publication Critical patent/KR102601853B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611Control of matrices with row and column drivers
    • G09G3/3648Control of matrices with row and column drivers using an active matrix
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10Intensity circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6002Corrections within particular colour systems
    • H04N1/6008Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6016Conversion to subtractive colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/646Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00Aspects of the constitution of display devices
    • G09G2300/04Structural and physical details of display devices
    • G09G2300/0439Pixel structures
    • G09G2300/0452Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/08Details of timing specific for flat panels, other than clock recovery
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00Control of display operating conditions
    • G09G2320/02Improving the quality of display appearance
    • G09G2320/0233Improving the luminance or brightness uniformity across the screen

Abstract

표시장치 및 그의 영상 처리 방법에 관한 것이다. 본 발명에 따른 표시장치는 적색, 녹색, 청색 및 백색 서브픽셀로 이루어진 복수의 픽셀을 포함하는 표시 패널, 적색, 녹색, 청색 및 백색 서브픽셀에 공급되는 3색 입력 영상을 4색 영상 데이터로 변환하고, 상기 각각의 서브픽셀의 프레임 게인, 픽셀 게인 및 블록 게인을 이용하여 연산된 최종 게인에 기초하여 출력 영상을 출력하는 영상 처리부 및 영상 처리부에서 출력되는 상기 출력 영상을 상기 표시 패널로 출력하는 타이밍 컨트롤러를 포함하고, 상기 블록 게인은 상기 3색 입력 영상의 휘도를 변환하여 변환된 휘도에 따른 휘도 가중치와 상기 복수의 서브픽셀의 위치 정보를 고려하여 연산될 수 있다.

Description

표시장치 및 그의 영상 처리방법{DISPLAY DEVICE AND IMAGE PROCESSING METHOD THEREOF}
본 발명은 표시장치에 관한 것으로서, 보다 상세하게는 RGBW형 표시장치에서 유채색의 선명도를 향상시킬 수 있는 표시장치 및 그의 영상 처리방법에 관한 것이다.
최근 정보화 시대를 맞아 표시 장치는 빠른 속도로 보급되고 있다. 이러한 표시 장치는 경량, 박형, 저소비 전력 구동 등의 특징으로 인해 TV, 모니터, 노트북뿐만 아니라 모바일폰, PDA, 스마트폰 등 그 응용 범위가 점차 확대되고 있다.
이러한 표시 장치는 액정 표시 장치(Liquid Crystal Display; LCD), 플라즈마 표시 장치(Plasma Display Panel Device; PDP), 전계 방출 표시 장치(Field Emission Display Device; FED), 유기 발광 표시 장치(Organic Light Emitting Display; OLED) 등을 포함한다.
이와 같은 표시 장치는 복수의 데이터 라인과 복수의 게이트 라인에 의해 정의되는 복수의 픽셀(pixel)을 포함한다.
이와 같은 표시장치의 각 픽셀은 적색(R), 녹색(G) 및 청색(B)의 서브 픽셀을 포함하고, 표시장치는 적색(R), 녹색(G) 및 청색(B)의 서브 픽셀 광을 혼합하여 하나의 컬러 화상을 구현한다. 그러나, 적색(R), 녹색(G) 및 청색(B)의 서브 픽셀 광을 혼합하여 하나의 컬러 화상을 구현하는 표시장치에서는 적색(R), 녹색(G) 및 청색(B) 각각의 서브 픽셀에 배치된 컬러필터가 인가되는 빛의 1/3 정도만 투과시키기 때문에 전체적으로 광 효율이 저하되는 단점이 발생한다.
이와 같은 단점을 보완하기 위해 적색(R), 녹색(G) 및 청색(B)의 서브 픽셀 외에 백색 서브픽셀(W)을 더 포함하는 RGBW형 표시장치가 제안되었다.
RGBW형 표시장치는 적색, 녹색 및 청색 데이터 각각에 설정된 게인 값을 곱하여 3색 증폭 데이터를 생성한 후 3색 증폭 데이터 중 최소 계조를 가지는 백색 데이터로 추출하고, 3색 증폭 데이터에서 추출된 백색 데이터를 차감하여 4색 데이터를 생성한다.
이와 같이 일반적인 RGBW형 표시장치는 4색 데이터를 생성한 후 프레임 전체의 채도를 고려하여 픽셀 게인을 적용한다. 이후, 픽셀 게인과 프레임 게인을 이용해 최종 게인을 연산한 후, 색대비비는 각 픽셀들의 최종 게인과 프레임 전체의 최종 게인 전체 평균의 차이를 통해 연산된다. 이와 같이 일반적인 RGBW형 표시장치는 프레임 전체에 대해 일괄적으로 색대비비가 연산된다. 즉, 일반적인 RGBW형 표시장치는 동일한 입력 데이터인 경우 동일한 픽셀 게인이 적용될 수 있다.
그러나, 일반적인 RGBW형 표시장치는 유채색보다 무채색의 휘도 증가가 크기 때문에 동일한 픽셀 게인을 적용하는 경우 유채색이 상대적으로 어둡게 느껴져 유채색의 선명도가 저하되는 문제가 있다.
이에, 본 발명이 해결하고자 하는 과제는 무채색 영역 중 유채색과 인접한 영역의 휘도를 개선하여 유채색의 선명도를 향상시킬 수 있는 표시장치 및 그의 영상 처리방법을 제공하는 것이다.
본 발명의 과제들은 이상에서 언급한 과제들로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 표시장치는 적색, 녹색, 청색 및 백색 서브픽셀로 이루어진 복수의 픽셀을 포함하는 표시 패널, 적색, 녹색, 청색 및 백색 서브픽셀에 공급되는 3색 입력 영상을 4색 영상 데이터로 변환하고, 상기 각각의 서브픽셀의 프레임 게인, 픽셀 게인 및 블록 게인을 이용하여 연산된 최종 게인에 기초하여 출력 영상을 출력하는 영상 처리부 및 영상 처리부에서 출력되는 상기 출력 영상을 상기 표시 패널로 출력하는 타이밍 컨트롤러를 포함하고, 블록 게인은 상기 3색 입력 영상의 휘도를 변환하여 변환된 휘도에 따른 휘도 가중치와 상기 복수의 서브픽셀의 위치 정보를 고려하여 연산될 수 있다.
본 발명의 일 실시예에 따른 표시장치의 영상 처리 방법은 적색, 녹색, 청색 및 백색 서브픽셀로 이루어진 복수의 픽셀을 포함하는 표시 장치의 영상 처리 방법에 있어서, 외부로부터 입력되는 3색의 입력 영상을 4색의 영상 데이터로 변환하는 단계, 4색의 영상 데이터가 입력되는 서브 픽셀들의 프레임 게인을 연산하는 단계, 3 색의 입력 영상의 휘도와 채도를 각각 변환하여 휘도 가중치와 채도 가중치를 생성하는 단계, 휘도 가중치와 채도 가중치를 이용하여 블록 게인을 연산하는 단계, 서브 픽셀들의 채도를 고려하여 픽셀 게인을 연산하는 단계, 프레임 게인, 픽셀 게인 및 블록 게인을 더하여 최종 게인을 연산하는 단계 및 최종 게인을 반영하여 출력 프레임 영상을 출력하는 단계를 포함할 수 있다.
기타 실시예의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다
본 발명은 무채색 영역 중 유채색 영역과 인접한 영역의 무채색 영역의 휘도를 유채색 영역과 인접하지 않은 영역에 비해 휘도를 보다 어둡게 처리함으로써 유채색의 선명도를 향상시킬 수 있다.
본 발명에 따른 효과는 이상에서 예시된 내용에 의해 제한되지 않으며, 더욱 다양한 효과들이 본 명세서 내에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 표시장치를 개략적으로 나타낸 블록도이다.
도 2는 도 1의 영상 처리부의 구성을 개략적으로 나타낸 블록도이다.
도 3은 도 2의 휘도 변환부에서 입력 영상의 휘도를 변환한 후 픽셀에 적용될 휘도와 휘도 가중치를 나타낸 그래프이다.
도 4는 도 2의 채도 변환부에서 입력 영상의 채도를 변환한 후 픽셀에 적용될 채도와 채도 가중치를 나타낸 그래프이다.
도 5는 도 2의 블록 게인 연산부의 구성을 개략적으로 나타낸 블록도이다.
도 6은 본 발명의 일 실시예에 따른 표시장치의 영상 처리 방법을 설명하기 위한 하나의 실시예를 나타낸 도면이다.
도 7은 도 6의 (r) 영상에 대해 Ⅶ-Ⅶ'선에 따른 단면을 나타낸 그래프이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 발명의 실시예를 설명하기 위한 도면에 개시된 형상, 크기, 비율, 각도, 개수 등은 예시적인 것이므로 본 발명이 도시된 사항에 한정되는 것은 아니다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다. 본 명세서 상에서 언급된 '포함한다', '갖는다', '이루어진다' 등이 사용되는 경우 '~만'이 사용되지 않는 이상 다른 부분이 추가될 수 있다. 구성 요소를 단수로 표현한 경우에 특별히 명시적인 기재 사항이 없는 한 복수를 포함하는 경우를 포함한다.
구성 요소를 해석함에 있어서, 별도의 명시적 기재가 없더라도 오차 범위를 포함하는 것으로 해석한다.
비록 제1, 제2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않는다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 도시된 것이며, 본 발명이 도시된 구성의 크기 및 두께에 반드시 한정되는 것은 아니다.
본 발명의 여러 실시예들의 각각 특징들이 부분적으로 또는 전체적으로 서로 결합 또는 조합 가능하며, 당업자가 충분히 이해할 수 있듯이 기술적으로 다양한 연동 및 구동이 가능하며, 각 실시예들이 서로에 대하여 독립적으로 실시 가능할 수도 있고 연관 관계로 함께 실시 가능할 수도 있다.
이하, 첨부된 도면을 참조하여 본 발명의 다양한 실시예들을 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 표시 장치를 설명하기 위한 블록도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 표시 장치(100)는 표시 패널(110), 게이트 구동부(120), 데이터 구동부(130), 영상 처리부(140) 및 타이밍 컨트롤러(150)를 포함한다. 도 1에서는 영상 처리부(140)와 타이밍 컨트롤러(150)가 별개의 구성인 것으로 설명하였으나, 영상 처리부(140)가 타이밍 컨트롤러(150)에 포함되는 구성일 수도 있고, 영상 처리부(140)와 타이밍 컨트롤러(150)가 일체로 구성될 수도 있다.
표시 패널(110)에는 제1 방향의 m개의 데이터 라인(DL1, DL2, … DLm) 및 제1 방향과 교차 방향인 제2 방향의 n개의 게이트 라인(GL1, GL2, … GLn)이 배열된다. 또한, 표시 패널(110)에는 m개의 데이터 라인(DL1, DL2, … DLm) 및 n개의 게이트 라인(GL1, GL2, … GLn)에 의해 복수의 픽셀이 정의된다.
각각의 픽셀은 적색(R), 녹색(G), 청색(B) 및 백색(W)의 서브 픽셀을 포함하고, 각각의 서브 픽셀은 박막 트랜지스터(Thin Film Transistor: TFT), 스토리지 커패시터(Cst), 액정 커패시터(Clc), 픽셀 전극 및 공통 전극 등을 포함할 수 있다.
박막 트랜지스터(TFT)는 게이트 라인(GL1, GL2, … GLn)으로부터 인가되는 게이트 신호에 따라 턴온(turn on)되어 데이터 라인(DL1, DL2, … DLm)으로부터 인가되는 데이터 신호(Data)를 해당 픽셀에 인가되도록 한다.
스토리지 커패시터(Cst)는 픽셀의 전압을 일정 기간 유지시키는 역할을 한다.
픽셀은 박막 트랜지스터(TFT)를 통해 데이터 신호(Data)가 인가되는 픽셀 전극과 공통 전압이 인가되는 공통 전극 사이의 전계에 의해 구동되는 액정 분자들을 포함할 수 있다. 이에 따라, 픽셀은 공통전극과 박막 트랜지스터(TFT)에 접속된 서브 픽셀전극으로 구성되므로 등가적으로 액정 커패시터(Clc)로 표시될 수 있다. 이러한 픽셀은 액정 커패시터(Clc)에 충전된 데이터 신호를 다음 데이터 신호가 충전될 때까지 유지시키기 위하여 스토리지 커패시터(Cst)를 포함한다.
한편, 표시 패널(110)에는 적색(R), 녹색(G), 청색(B) 및 백색(W)의 서브 픽셀들이 서브 픽셀의 제1 방향으로 반복적으로 형성될 수 있다. 이러한 백색(W)의 서브 픽셀을 제외한 적색(R), 녹색(G), 청색(B) 서브 픽셀들 각각에는 각 색에 대응되는 컬러필터가 배치될 수 있다. 또한, 적색(R), 녹색(G), 청색(B) 및 백색(W) 서브픽셀들은 동일한 면적 비율 또는 다른 면적 비율의 스트라이프(stripe) 구조를 이룰 수 있다. 또한, 적색(R), 녹색(G), 청색(B) 및 백색(W) 서브픽셀들은 상하좌우, 즉, 2X2 행렬 형태로 배치될 수도 있다.
또한, 본 발명의 일 실시예에 따른 표시장치(100)는 백라이트 및 백라이트 구동부를 더 포함할 수 있다. 한편, 본 발명의 일 실시예에서는 표시 패널(110)이 액정 표시 패널인 경우를 예시로 하여 설명하였으나, 이에 한정되지 않고 표시 패널(110)은 유기 발광 표시 패널일 수도 있다.
게이트 구동부(120)는 타이밍 컨트롤러(150)로부터 입력되는 게이트 제어 신호(GCS)에 응답하여 n개의 게이트 라인(GL1, GL2, … GLn)에 게이트 온 전압을 순차적으로 인가한다. 게이트 구동부(120)는 게이트 온 전압을 순차적으로 발생시키는 쉬프트 레지스터(shift register)를 포함할 수 있다.
데이터 구동부(130)는 타이밍 컨트롤러(150)로부터 데이터 제어 신호(DCS)를 입력받아 타이밍 컨트롤러(150)에서 정렬된 4색 데이터(Data)를 아날로그 신호인 화상 신호로 변환하여 m개의 데이터 라인(DL1, DL2, … DLm)에 인가한다.
영상 처리부(140)는 외부로부터 입력되는 적색(R), 녹색(G) 및 청색(B)의 입력 영상이 입력되면 입력 영상을 4색 영상 데이터(R'G'B'W')로 변환하고, 4색 영상 데이터가 입력되는 적색, 녹색, 청색 및 백색의 서브픽셀 각각의 프레임 게인 및 픽셀 게인을 연산할 수 있다. 영상 처리부(140)는 프레임 게인과 픽셀 게인을 이용하여 최종 게인을 연산하고, 최종 게인을 반영한 출력 영상을 타이밍 컨트롤러(150)로 출력한다. 특히, 영상 처리부(140)는 최종 게인을 연산할 때, 픽셀 간 거리, 입력 영상에 대한 휘도 가중치 및 채도 가중치를 고려한 블록 게인을 연산하고, 블록 게인을 반영하여 최종 게인을 연산함으로써 유채색의 선명도를 기존에 비해 보다 향상시킬 수 있다. 이와 같은 영상 처리부(140)의 상세 구성에 대해서는 다음 도 2를 참조하여 살펴보기로 한다.
타이밍 컨트롤러(150)는 영상 데이터 처리부(140)로부터 4색 영상 데이터(RGBW)를 입력받아 데이터 구동부(130)에 공급한다. 또한 타이밍 컨트롤러(150)는 외부로부터 입력되는 메인 클럭(MCLK), 데이터 인에이블 신호(DE), 수직 동기 신호(Vsync) 및 수평 동기신호(Hsync) 등의 타이밍 신호를 이용하여 게이트 구동부(120)와 데이터 구동부(130)의 동작 타이밍을 제어하는 게이트 제어 신호(GCS) 및 데이터 제어 신호(DCS)를 생성한다.
도 2는 도 1의 영상 처리부의 구성을 개략적으로 나타낸 블록도이다. 도 3은 도 2의 휘도 변환부에서 입력 영상의 휘도를 변환한 후 픽셀에 적용될 휘도와 휘도 가중치를 나타낸 그래프이다. 도 4는 도 2의 채도 변환부에서 입력 영상의 채도를 변환한 후 픽셀에 적용될 채도와 채도 가중치를 나타낸 그래프이다. 도 5는 도 2의 블록 게인 연산부의 구성을 개략적으로 나타낸 블록도이다.
먼저, 도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 처리부(140)는 RGBW 변환부(141), 휘도 변환부(142), 채도 변환부(143), 프레임 게인 연산부(144), 픽셀 게인 연산부(145), 최종 게인 연산부(146), 색대비비 연산부(147) 및 블록 게인 연산부(148)를 포함한다. 이때, 영상 처리부(140)의 RGBW 변환부(141), 휘도 변환부(142) 및 채도 변환부(143)는 3색 입력 영상을 이용하므로, RGBW 변환, 휘도 가중치 결정 및 채도 가중치 결정이 동시에 이루어질 수 있다.
RGBW 변환부(141)는 스펙트럼 교환 방식을 바탕으로 외부로부터 입력되는 적색(R), 녹색(G) 및 청색(B)의 3색 입력 영상을 4색 영상 데이터(R'G'B'W')로 변환한다. 일반적으로, 표시장치의 백색(W) 서브픽셀에서 발생되는 백색광은 적색(R) 파장, 녹색(G) 파장 및 청색(B) 파장의 빛을 포함한다. 이에 따라, 스펙트럼 교환 방식은 백색(W) 서브픽셀에서 발생되는 적색(R), 녹색(G) 및 청색(B)의 광량만큼 적색(R), 녹색(G) 및 청색(B) 서브픽셀들의 광량을 줄이기 위하여 적색(R), 녹색(G) 및 청색(B)의 서브픽셀들에 입력되는 3색 데이터를 차감하고 백색(W) 서브픽셀에 기입될 백색 데이터를 생성하여 3색 입력 영상(RGB)을 4색 영상 데이터(R'G'B'W')로 변환할 수 있다.
휘도 변환부(142)는 먼저, 외부로부터 입력되는 적색(R), 녹색(G) 및 청색(B)의 3색의 입력 영상의 휘도(Y luminance)를 변환하여 맵핑한다. 맵핑할 때, 휘도가 높은 부분에 대해서는 사용자가 휘도의 차이를 인지하기 쉽고, 휘도가 낮은 부분은 사용자가 휘도의 차이를 적게 인지하기 때문에, 휘도가 높은 영역은 휘도 가중치를 높게 설정하고, 휘도가 낮은 영역은 휘도 가중치를 낮게 설정한다. 이와 같이, 휘도와 휘도 가중치의 관계를 나타낸 도면이 도 3이 될 수 있다. 보다 상세히 설명하면, 도 3의 그래프를 참조하면, 휘도가 높은 부분, 예를 들어 백색의 경우 휘도가 높은 색상에 해당되므로, 백색을 나타내는 픽셀은 휘도 값이 255이므로 휘도 가중치가 1일 수 있고, 옐로우를 나타내는 픽셀은 휘도 값이 80을 가진다면 휘도 가중치가 0.3일 수 있다. 한편, 도 3의 그래프는 휘도와 휘도 가중치가 비례 관계인 것으로 도시하였으나, 이에 한정되는 것은 아니고, 설계에 따라 변경될 수 있다. 또한, 도 3을 참조하면, 휘도 가중치(Yweight)의 초기 값은 0으로 설정되지 않고 휘도 가중치(Yweight)가 0 내지 1의 값 중 어느 하나를 갖는다면 0에서 1 사이의 중간값, 예를 들어, 0.5로 설정될 수 있다. 왜냐하면, 휘도 가중치(Yweight)의 초기 값을 0으로 결정하는 경우 유채색과 인접한 무채색의 휘도가 너무 어둡게 처리될 수 있고, 이에 따라 표시장치의 표시 품질이 저하될 수 있기 때문이다.
채도 변환부(143)는 외부로부터 입력되는 적색(R), 녹색(G) 및 청색(B)의 3색의 입력 영상의 채도(saturation)를 변환하여 맵핑한다. 채도는 3색 입력 영상의 최소 값을 3색 입력 영상의 평균값으로 나누어 연산될 수 있다. 이에 채도가 0에 가까우면 유채색으로 판단하고, 채도가 1에 가까우면 무채색으로 판단한다. 그러나, 일반적인 영상 처리에서 채도 맵핑은 채도가 1인 경우 유채색으로 맵핑하고, 채도가 0인 경우 무채색으로 맵핑한다. 이에 따라, 입력 영상의 채도를 변환하여 맵핑될 때, 색상이 반전되어 맵핑될 수 있다. 또한, 채도와 채도 가중치(Sweight)는, 도 4에 도시된 바와 같이, 비례 관계를 가질 수 있다. 즉, 픽셀의 채도가 높으면 해당 픽셀에 높은 채도 가중치가 적용될 수 있고, 픽셀의 채도가 낮으면 낮은 채도 가중치가 적용될 수 있다. 한편, 도 4의 그래프에서는 채도와 채도 가중치가 비례 관계인 것으로 도시하였으나, 이에 한정되는 것은 아니고, 설계에 따라 변경될 수 있다. 이때, 채도 가중치(Sweight)의 초기 값은 0이 아닌 중간 값으로 설정될 수 있다.
프레임 게인 연산부(144)는 입력 영상에 대한 적색(R), 녹색(G), 청색(B) 및 백색(W)의 서브픽셀들의 프레임 게인(frame gain) 값을 연산한다. 프레임 게인 연산부(144)에서는 연산된 프레임 게인을 해당 프레임 내의 각 색의 서브픽셀 데이터에 동일하게 곱함으로써, 프레임의 색감에는 변화없이 절대 휘도만 변경될 수 있다.
픽셀 게인 연산부(145)는 입력 영상의 채도(saturation)에 따라 픽셀 별로 픽셀 게인을 연산한다. 보다 상세하게, 픽셀 게인 연산부(145)는 3색 입력 영상 데이터의 평균 값을 3색 입력 영상 데이터의 최소값으로 나누어 채도를 연산할 수 있고, 이렇게 연산된 채도의 비율에 따라 픽셀 게인을 연산할 수 있다. 이와 같이, 픽셀 게인 연산부(145)는 채도에 따라 픽셀 별로 픽셀 게인을 연산하기 때문에 픽셀 게인은 무채색 영역의 픽셀들과 유채색 영역의 픽셀들이 서로 다른 값을 가질 수 있다. 예를 들어, 8bit 픽셀 데이터의 적색(R) 데이터, 녹색(G) 데이터 및 청색(B) 데이터가 각각 250, 250, 250이면 채도가 없는 무채색 영역의 픽셀로 판단될 수 있고, 이때, 무채색 영역의 픽셀은 채도 값이 1이고, 유채색 영역의 픽셀은 채도 값이 0일 수 있다. 즉, 픽셀 게인 연산부(145)는 채도 값이 1에 가까울수록 픽셀이 무채색을 나타내는 것으로 판단하고, 채도 값이 0에 가까울수록 픽셀이 유채색을 나타내는 것으로 판단할 수 있다. 이와 같이, 픽셀 게인 연산부(145)를 통해 연산된 픽셀 게인은 유채색 영역과 무채색 영역에서 각각 서로 다른 값을 가질 수 있다. 또한, 본 발명의 일 실시예에 따른 픽셀 게인 연산부(145)는 입력 영상에 대한 픽셀 게인을 연산할 때 채도 외에 색대비비를 함께 고려할 수 있다. 색대비비는 입력 영상의 첫번째 프레임의 최종 게인을 이용하여 연산될 수 있다.
최종 게인 연산부(146)는 프레임 게인 연산부(144)에서 연산된 프레임 게인과 픽셀 게인 연산부(145)에서 연산된 픽셀 게인을 더하여 각 픽셀의 최종 게인 값을 연산할 수 있다. 또한, 최종 게인 연산부(146)는 입력 영상의 첫번째 프레임의 최종 게인을 이용하여 연산된 블록 게인을 두번째 프레임의 최종 게인 연산 시 반영하여 두번째 프레임의 최종 게인을 연산할 수 있다.
색대비비 연산부(147)는 최종 게인 연산부(146)를 통해 입력 영상의 첫번째 프레임의 최종 게인을 이용하여 색대비비를 연산할 수 있다. 보다 상세하게, 색대비비 연산부(147)는 입력 영상의 첫번째 프레임의 최종 게인의 평균 값을 연산하고, 연산된 최종 게인의 평균 값과 첫번째 프레임의 최종 게인의 차이를 연산하면 색대비비를 연산할 수 있다. 이때, 색대비비는 최종 게인과 최종 게인의 평균 값 차이는 절대값일 수 있다.
블록 게인 연산부(148)는 픽셀 가중치와 블록 보간 값을 이용하여 블록 게인을 연산할 수 있다. 블록 게인 연산부(148)는, 도 5에 도시된 바와 같이, 픽셀 가중치 연산부(1481), 블록 보간값 연산부(1482) 및 블록 게인 출력부(1483)를 포함할 수 있다.
픽셀 가중치 연산부(1481)는 휘도 변환부(142)에서 출력되는 휘도 가중치(Yweight)와 채도 변환부(143)에서 출력되는 채도 가중치(Sweight)를 곱하여 각 픽셀에 대한 픽셀 가중치를 연산할 수 있다. 예를 들어, 휘도 변환부(142)에서 휘도 가중치(Yweight)가 반영되어 맵핑된 영상과 채도 변환부(143)에서 채도 가중치(Sweight)가 반영되어 맵핑된 영상을 곱하여 픽셀 가중치가 반영되어 맵핑된 영상이 연산될 수 있다.
블록 보간값 연산부(1482)는 먼저, 입력 영상이 입력되는 픽셀들의 위치 정보를 고려하기 위해, 즉, 픽셀 간 거리를 고려하기 위해 입력 영상의 첫번째 프레임의 출력 프레임 영상을 복수의 블록들로 가상 분할한 후 블록들의 게인 평균 값을 연산한다. 이와 같이, 첫번째 프레임 영상에 대해 복수의 블록으로 처리하는 경우 추후 사용자가 인지할 때 영상의 블록들 경계를 경계로 인식되는 것을 방지하기 위해 블록들 간의 경계 영역에 인접한 블록들의 중간 값을 취하여 보간(interpolation)한다. 예를 들어, 블록 보간값 연산부(1482)는 유채색 영역과 무채색 영역 모두 복수의 블록들로 가상 분할하고, 유채색 영역과 무채색 영역의 경계 영역에 위치한 블록들은 유채색 영역의 블록 평균 값이 1이고 무채색 영역의 블록 평균 값이 0.5라면 블록 보간 값은 그 중간값인 0.75로 연산될 수 있다. 즉, 블록 보간값 연산부(1482)는 에버리지 필터(average filter)으로 지칭될 수 있다.
블록 게인 출력부(1483)는 픽셀 가중치 연산부(1481)에서 연산된 픽셀 가중치를 블록 보간값 연산부(1482)에서 연산된 블록 보간값으로 나누어 블록 게인을 출력할 수 있다.
이와 같이 본 발명의 일 실시예에 따른 표시장치(100)에서는 입력 영상의 첫번째 프레임의 출력 프레임 영상에 대해 복수의 블록으로 분할하고 분할된 블록 간 경계의 인식을 방지하기 위해 인접하는 블록들을 보간 처리함으로써 픽셀 간 거리를 반영한 최종 게인을 연산할 수 있다.
이에 따라, 본 발명의 일 실시예에 따른 표시장치(100)의 영상 처리부(140)는 입력 영상이 입력되는 픽셀들의 휘도를 반영한 휘도 가중치와 픽셀 간 거리를 반영한 블록 게인을 이용하여 최종 게인을 연산하고, 연산된 최종 게인이 반영된 영상을 출력함으로써 출력된 영상에서의 유채색 영역의 인지성을 향상시킬 수 있다.
다음으로, 본 발명의 일 실시예에 따른 표시장치의 영상 처리 방법을 보다 다음 도 6을 참조하여 보다 상세히 살펴보기로 한다.
도 6은 본 발명의 일 실시예에 따른 표시 장치의 영상 처리 방법을 설명하기 위한 하나의 실시예를 나타낸 도면이다. 도 7은 도 6의 (r) 영상의 단면을 나타낸 그래프이다.
도 6 및 도 7을 살펴보기 전에, 도 1 내지 도 5에서 입력 영상의 첫번째 프레임 및 출력 프레임 영상이라고 기재된 것을 도 6 및 7에서는 제1 프레임 영상 및 제1 출력 프레임 영상이라 지칭하기로 한다. 또한, 제1 프레임 영상 이후에 입력되는 프레임 영상들에 대해서는 제2 프레임 영상 및 제3 프레임 영상 등으로 지칭하기로 한다.
도 6을 참조하면, 외부에서 영상 처리부(140)로, (a)와 같이, 유채색 영역(CCA)과 무채색 영역(ACA)을 갖는 3색(RGB)의 입력 영상의 제1 프레임 영상이 입력되면, RGBW 변환부(141)에서, (b)와 같이, 4색(R'G'B'W')의 제1 프레임 영상으로 변환한다.
이후, 프레임 게인 연산부(144)에서는, (c)와 같이, 제1 프레임 영상이 입력될 4색의 서브픽셀에 미리 설정된 설정 값을 곱하여 프레임 게인을 연산한다. 이때, 4색의 서브픽셀에 모두 동일한 설정 값을 곱하기 때문에 유채색 영역(CCA)과 무채색 영역(ACA)이 동일한 프레임 게인을 가질 수 있다. 본 실시예에서는 이후의 설명과 이해의 편의를 위해 프레임 게인이, 예를 들어, 1의 값을 가진다고 가정한다.
이후, 픽셀 게인 연산부(145)에서는, (d)와 같이, 제1 프레임 영상이 입력될 4색의 서브픽셀의 픽셀 게인을 연산한다. 기술한 바와 같이, 픽셀 게인은 채도에 따라 연산된다. 이에 따라, 유채색 영역(CCA)의 픽셀 게인과 무채색 영역(ACA)의 픽셀 게인은 서로 다른 값을 가질 수 있다. 예를 들어, 제1 프레임 영상의 유채색 영역(CCA)의 픽셀 게인 값은 0일 수 있고, 무채색 영역(ACA)의 픽셀 게인 값은 0.5일 수 있다.
이후, 최종 게인 연산부(146)에서는, (e)와 같이, 프레임 게인과 픽셀 게인을 이용하여 유채색 영역(CCA)의 최종 게인과 무채색 영역(ACA)의 최종 게인을 연산한다. 최종 게인은, 앞서 설명한 바와 같이, 프레임 게인과 픽셀 게인을 더하여 연산될 수 있다. 예를 들어, 앞선 예에서 프레임 게인은 1의 값을 가지고, 유채색 영역(CCA)의 픽셀 게인은 0의 값을 가지며, 무채색 영역(ACA)의 픽셀 게인은 0.5의 값을 가졌으므로, 유채색 영역(CCA)의 최종 게인은 1의 값을 갖고, 무채색 영역(ACA)의 최종 게인은 1.5의 값을 가질 수 있다.
이와 같이, 영상 처리부(140)는, 기술한 바와 같이, 연산된 최종 게인을 제1 프레임 영상에 적용하여, (f)와 같이, 제1 출력 프레임 영상을 출력한다.
이후, 색대비비 연산부(147)는, (g)와 같이, 제1 출력 프레임 영상의 최종 게인의 평균 값을 연산한다. 예를 들어, 제1 출력 프레임 영상의 최종 게인 값이 유채색 영역(CCA)이 1이고, 무채색 영역(ACA)은 1.5였으므로, 제1 출력 프레임 영상의 최종 게인 평균 값은 1.125가 될 수 있다.
이후, 색대비비 연산부(147)는, (h)와 같이, 제1 출력 프레임 영상의 최종 게인과 제1 출력 프레임 영상의 최종 게인 평균 값의 차이를 연산한다. 예를 들어, 제1 출력 프레임 영상의 최종 게인 값이 유채색 영역(CCA)은 1이고 최종 게인 평균 값이 1.125이므로 유채색 영역(CCA)의 최종 게인과 최종 게인 평균 값의 차이는 0.125이고, 무채색 영역(ACA)은 최종 게인 값이 1.5이고 최종 게인 평균 값이 1.125이므로 무채색 영역(ACA)의 최종 게인과 최종 게인 평균 값의 차이는 0.375가 된다.
이후, 색대비비 연산부(147)는, (i)와 같이, 유채색 영역(CCA)과 무채색 영역(ACA)의 색대비비를 연산한다. 색대비비 연산부(147)는 제1 출력 프레임 영상의 유채색 영역(CCA)에서의 최종 게인과 최종 게인 평균 값의 차이와 무채색 영역(ACA)에서의 최종 게인과 최종 게인 평균 값의 차이를 더하여 연산될 수 있다. 예를 들어, 제1 출력 프레임 영상의 유채색 영역(CCA)의 최종 게인과 최종 게인 평균 값의 차이는 0.125이고, 무채색 영역(ACA)의 최종 게인과 최종 게인 평균 값의 차이는 0.375이므로 색대비비는 0.5가 될 수 있다.
이후, 픽셀 게인 연산부(145)는, (j)와 같이, 제1 프레임 영상의 픽셀 게인에 색대비비를 반영하여 제1 프레임 영상 이후에 입력되는 제2 프레임 영상이 입력될 서브픽셀들의 픽셀 게인을 연산한다. 예를 들어, 제1 프레임 영상이 입력될 픽셀 게인이 유채색 영역(CCA)은 0이고, 무채색 영역(ACA)은 0.5였으므로, 이를 기준으로 하여 색대비비를 반영한 제2 프레임 영상이 입력될 서브픽셀의 픽셀 게인 값은 유채색 영역(CCA)이 0이고, 무채색 영역(ACA)이 0.25가 될 수 있다.
한편, 최종 게인 연산부(146)에서 제2 프레임 영상의 최종 게인 값을 연산할 때에는 제1 프레임 영상의 출력 영상인 제1 출력 프레임 영상을 이용하여 연산된 블록 게인이 필요하다. 이에 따라, 제2 프레임 영상의 최종 게인 값을 연산하는 과정은 이후에 기술될 (l) 내지 (q) 단계 순으로 진행될 수 있다.
(l)에서와 같이, 휘도 변환부(142)는 제1 프레임 영상의 휘도를 변환하여 각 픽셀의 휘도 가중치(Yweight)를 결정하여 이를 반영한 제1 프레임 영상을 맵핑하고, 채도 변환부(143)에서는, (m)에서와 같이, 제1 프레임 영상의 채도를 변환하여 채도 가중치(Sweight)를 결정하여 이를 반영하여 제1 프레임 영상을 맵핑한다.
이후, 블록 게인 연산부(148)의 픽셀 가중치 연산부(1481)에서는, (l) 단계와 (m) 단계에서 결정된 휘도 가중치(Yweight)와 채도 가중치(Sweight)를 곱하여 (n)에서와 같이 픽셀 가중치를 연산한다. 보다 상세하게, 픽셀 가중치 연산부(1481)는 휘도 가중치(Yweight)가 반영된 제1 프레임 영상에 대한 맵핑 영상과 채도 가중치(Sweight)가 반영된 제1 프레임 영상에 대한 맵핑 영상을 곱하여 픽셀 가중치가 반영된 제1 프레임 영상의 맵핑 영상을 얻을 수 있다.
한편, 블록 보간 값 연산부(1482)는, (o)와 같이, 제1 출력 프레임 영상의 유채색 영역(CCA)과 무채색 영역(ACA)을 복수의 블록으로 가상 분할한 후 유채색 영역(CCA)과 무채색 영역(ACA)의 경계부 영역을 경계로 인식하는 것을 방지하기 위해, (p)와 같이, 블록 처리된 영상을 보간(interpolation)한다.
이후, 블록 게인 출력부(1483)는 블록 처리된 영상 보간 값과, (n)에서 연산된 픽셀 가중치를 이용하여 (q)와 같이 블록 게인을 연산하여 출력한다. 이때, 블록 게인 연산부(148)에서 블록 게인은 픽셀 가중치에 블록 보간 값을 나누어 연산될 수 있다. 이와 같이, 블록 게인 연산부(148)에서 블록 게인을 연산하게 되면 유채색 영역(CCA)과 무채색 영역(ACA)의 경계부를 기준으로 경계부와 인접한 영역은 유채색 영역(CCA)의 블록 게인과 무채색 영역(ACA)의 블록 게인 간 차이가 크지만, 경계부와 먼 영역은 유채색 영역(CCA)의 블록 게인과 무채색 영역(ACA)의 블록 게인의 차이가 거의 유사해질 수 있다. 이에 따라, 유채색 영역(CCA)과 무채색 영역(ACA)의 경계부, 보다 명확하게는 무채색 영역(ACA) 중 유채색 영역(CCA)과 인접한 무채색 영역(ACA)의 최종 게인이 낮아져 휘도가 어두워질 수 있다. 이는 제1 출력 프레임 영상을 복수의 블록으로 나눈 후 경계부 영역을 보간 처리했기 때문이다.
이후, 최종 게인 연산부(146)에서는, (j)에서 연산된 제2 프레임 영상의 픽셀 게인 값과 (q)에서 연산된 블록 게인 값을 곱하면 (k)와 같이, 제2 프레임 영상의 최종 게인 값을 연산할 수 있다. 이때, 도 6에서 도시하지는 않았으나, 제2 프레임 영상 또한 제1 프레임 영상과 같이, 도 6의 (a)에서 (c)에 도시된 바와 같이 제2 프레임 영상이 입력되면 4색 제2 프레임 영상으로 변환한 후 제2 프레임 영상의 프레임 게인 값을 연산하는 단계가 포함되어 있기 있기 때문에 제2 프레임 영상의 최종 게인 값 연산 시 제2 프레임 영상의 프레임 게인도 함께 고려되어 최종 게인이 연산될 수 있다.
이후, 영상 처리부(140)는, (r)에서와 같이, 제2 최종 게인이 반영된 제2 출력 프레임 영상이 출력된다.
(r)에서 출력되는 영상의 단면을 살펴보면, 도 7에 도시된 바와 같이, 유채색 영역(CCA)과 인접한 무채색 영역(ACA)의 경계 영역(BA)에 위치한 픽셀들의 게인 값을 낮춰 휘도가 경계 영역(BA)에서 낮아지는 것을 알 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 표시장치의 영상 처리 방법은 제1 프레임 영상을 복수의 블록으로 나눈 후 보간처리하고 제1 프레임 영상의 휘도와 채도를 반영한 블록 게인을 최종 게인 연산 시 반영하여 최종 게인을 연산함으로써 유채색 영역(CCA)과 인접한 무채색 영역(ACA)의 최종 게인 값을 낮춰 상대적으로 유채색 영역(CCA)의 색감을 향상시킬 수 있다.
본 발명의 일 실시예에 따른 표시 장치는 다음과 같이 설명될 수 있다.
본 발명의 일 실시예에 따른 표시장치는 적색, 녹색, 청색 및 백색 서브픽셀로 이루어진 복수의 픽셀을 포함하는 표시 패널, 적색, 녹색, 청색 및 백색 서브픽셀에 공급되는 3색 입력 영상을 4색 영상 데이터로 변환하고, 각각의 서브픽셀의 프레임 게인, 픽셀 게인 및 블록 게인을 이용하여 연산된 최종 게인에 기초하여 출력 영상을 출력하는 영상 처리부 및 영상 처리부에서 출력되는 상기 출력 영상을 상기 표시 패널로 출력하는 타이밍 컨트롤러를 포함하고, 상기 블록 게인은 상기 3색 입력 영상의 휘도를 변환하여 변환된 휘도에 따른 휘도 가중치와 상기 복수의 서브픽셀의 위치 정보를 고려하여 연산될 수 있다.
영상 처리부는 3색 입력 영상의 제1 프레임 영상과 제2 프레임 영상을 영상 처리하여 제1 출력 프레임 영상과 제2 출력 프레임 영상을 출력하고, 픽셀 게인과 상기 블록 게인은 상기 제1 출력 프레임 영상을 이용하여 연산되는, 표시장치.
블록 게인은 휘도 가중치와 3색 입력 영상의 채도를 변환하여 결정되는 채도 가중치를 곱하여 연산되는 픽셀 가중치와 복수의 서브픽셀의 위치 정보를 반영하기 위해 제1 출력 프레임 영상을 복수의 블록으로 나누고 복수의 블록들을 상기 복수의 블록들 값의 중간 값으로 보간한 보간 값을 이용하여 연산될 수 있다.
영상 처리부는 제1 프레임 영상과 상기 제2 프레임 영상을 4색의 제1 프레임 영상과 4색의 제2 프레임 영상으로 변환하는 RGBW 변환부, 제1 프레임 영상의 휘도를 변환하여 상기 서브 픽셀들의 휘도 가중치(weight)를 결정하는 휘도 변환부, 제1 프레임 영상의 채도(saturation)를 변환하여 상기 서브 픽셀들의 채도 가중치(weight)를 결정하는 채도 변환부, 제1 프레임 영상과 상기 제2 프레임 영상이 입력되는 상기 복수의 픽셀들의 제1 프레임 게인과 제2 프레임 게인을 연산하는 프레임 게인 연산부, 제1 프레임 영상과 상기 제2 프레임 영상이 입력되는 상기 복수의 픽셀들의 제1 픽셀 게인과 제2 픽셀 게인을 연산하는 픽셀 게인 연산부, 휘도 가중치와 채도 가중치를 이용하여 블록 게인을 연산하는 블록 게인 연산부, 제1 프레임 게인과 상기 제1 픽셀 게인을 이용하여 상기 제1 프레임 영상의 제1 최종 게인을 연산하고, 상기 제2 프레임 게인, 상기 제2 픽셀 게인 및 상기 블록 게인을 이용하여 상기 제2 프레임 영상의 제2 최종 게인을 연산하는 최종 게인 연산부 및 제1 최종 게인을 이용하여 색대비비를 연산하는 색대비비 연산부를 포함할 수 있다.
픽셀 게인 연산부는 제1 프레임 영상의 상기 제1 픽셀 게인은 채도에 따라 연산되고, 제1 프레임 영상이 입력되는 유채색 영역에 대응되는 픽셀들은 픽셀 게인 값이 0이고, 무채색 영역에 대응되는 픽셀들은 픽셀 게인 값이 0.1 내지 1 사이의 값을 가질 수 있다.
색대비비 연산부는 제1 최종 게인의 평균을 연산하고, 제1 최종 게인과 상기 제1 최종 게인의 평균의 차를 연산하여 유채색 영역에서 상기 제1 최종 게인과 상기 제1 최종 게인의 평균과의 차이를 연산한 결과 값과 무채색 영역에서 상기 제1 최종 게인과 상기 제1 최종 게인의 평균과의 차이를 연산한 결과 값을 합하여 색대비비를 연산할 수 있다.
픽셀 게인 연산부는 제1 픽셀 게인에 상기 색대비비를 반영하여 제2 프레임 영상에 대한 상기 제2 픽셀 게인을 연산할 수 있다.
블록 게인 연산부는 휘도 가중치와 상기 채도 가중치를 이용하여 픽셀 가중치를 연산하는 픽셀 가중치 연산부, 제1 출력 프레임 영상을 복수의 블록으로 가상 분할한 후 분할된 블록들을 보간 처리하여 블록 보간 값을 연산하는 블록 보간 값 연산부 및 픽셀 가중치에 상기 블록 보간 값을 나누어 상기 블록 게인을 출력하는 블록 게인 출력부를 포함할 수 있다.
블록 보간 값 연산부는 유채색 영역의 블록 평균 값과 무채색 영역의 블록 평균 값을 연산하고, 상기 유채색 영역과 상기 무채색 영역의 경계 영역은 상기 유채색 영역의 블록 평균 값과 상기 무채색 영역의 블록 평균 값의 중간 값으로 보간(interpolation)하여 블록 보간 값을 연산할 수 있다.
휘도 가중치와 채도 가중치의 초기 값은 각각의 가중치의 범위 내에서 중간 값으로 설정될 수 있다.
영상 처리부는 무채색을 나타내는 복수의 픽셀들이 배치된 영역 중 유채색을 나타내는 복수의 픽셀들이 배치된 영역과 인접하게 배치된 상기 무채색을 나타내는 복수의 픽셀들의 게인을 낮출 수 있다.
본 발명의 일 실시예에 따른 표시장치의 영상 처리 방법은 다음과 같이 설명될 수 있다.
본 발명의 일 실시예에 따른 표시장치의 영상 처리 방법은 적색, 녹색, 청색 및 백색 서브픽셀로 이루어진 복수의 픽셀을 포함하는 표시 장치의 영상 처리 방법에 있어서, 외부로부터 입력되는 3색의 입력 영상을 4색의 영상 데이터로 변환하는 단계, 4색의 영상 데이터가 입력되는 상기 서브 픽셀들의 프레임 게인을 연산하는 단계, 3 색의 입력 영상의 휘도와 채도를 각각 변환하여 휘도 가중치와 채도 가중치를 생성하는 단계, 휘도 가중치와 상기 채도 가중치를 이용하여 블록 게인을 연산하는 단계, 서브 픽셀들의 채도를 고려하여 픽셀 게인을 연산하는 단계, 프레임 게인, 상기 픽셀 게인 및 상기 블록 게인을 더하여 최종 게인을 연산하는 단계 및 최종 게인을 반영하여 출력 프레임 영상을 출력하는 단계를 포함할 수 있다.
블록 게인을 연산하는 단계는 3색 입력 영상 중 첫번째 프레임의 출력 프레임 영상을 복수의 블록으로 분할한 후 분할된 블록들을 중간 값으로 보간한 블록 보간 값을 더 포함하여 연산될 수 있다.
블록 게인은 휘도 가중치와 채도 가중치를 곱하여 연산된 픽셀 가중치에 상기 블록 보간 값을 나누어 연산될 수 있다.
픽셀 게인을 연산하는 단계 이전에 3색 입력 영상 중 첫번째 프레임의 최종 게인을 이용하여 색대비비를 연산하는 단계를 더 포함할 수 있다.
색대비비를 연산하는 단계는 첫번째 프레임의 모든 픽셀의 최종 게인의 평균 값을 연산하는 단계, 유채색이 표시되는 유채색 영역에서 상기 첫번째 프레임의 최종 게인과 상기 최종 게인의 평균 값의 차이를 연산한 제1 값과, 무채색이 표시되는 무채색 영역에서 상기 첫번째 프레임의 최종 게인과 상기 최종 게인의 평균 값의 차이를 연산한 제2 값을 연산하는 단계 및 제1 값과 상기 제2 값을 합하여 색대비비를 연산하는 단계를 포함할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 표시 장치
110: 표시 패널
120: 게이트 구동부
130: 데이터 구동부
140: 영상 처리부
150: 타이밍 컨트롤러
141: RGBW 변환부
142: 휘도 변환부
143: 채도 변환부
144: 프레임 게인 연산부
145: 픽셀 게인 연산부
146: 최종 게인 연산부
147: 색대비비 연산부
148: 블록 게인 연산부

Claims (16)

  1. 적색, 녹색, 청색 및 백색 서브픽셀로 이루어진 복수의 픽셀을 포함하는 표시 패널;
    상기 적색, 녹색, 청색 및 백색 서브픽셀에 공급되는 3색 입력 영상을 4색 영상 데이터로 변환하고, 상기 적색, 녹색, 청색 및 백색 서브픽셀들의 프레임 게인, 상기 적색, 녹색, 청색 및 백색 서브픽셀들의 픽셀 게인, 및 블록 게인을 이용하여 연산된 최종 게인에 기초하여 출력 영상을 출력하는 영상 처리부; 및
    상기 영상 처리부에서 출력되는 상기 출력 영상을 상기 표시 패널로 출력하는 타이밍 컨트롤러를 포함하고,
    상기 블록 게인은 상기 3색 입력 영상의 휘도를 변환하여 변환된 휘도에 따른 휘도 가중치와 상기 복수의 서브픽셀의 위치 정보를 고려하여 연산되는, 표시장치.
  2. 제1항에 있어서, 상기 영상 처리부는,
    상기 3색 입력 영상의 제1 프레임 영상과 제2 프레임 영상을 영상 처리하여 제1 출력 프레임 영상과 제2 출력 프레임 영상을 출력하고,
    상기 픽셀 게인과 상기 블록 게인은 상기 제1 출력 프레임 영상을 이용하여 연산되는, 표시장치.
  3. 제2항에 있어서,
    상기 블록 게인은 상기 휘도 가중치와 상기 3색 입력 영상의 채도를 변환하여 결정되는 채도 가중치를 곱하여 연산되는 픽셀 가중치와 상기 복수의 서브픽셀의 위치 정보를 반영하기 위해 상기 제1 출력 프레임 영상을 복수의 블록으로 나누고 상기 복수의 블록들을 상기 복수의 블록들 값의 중간 값으로 보간한 보간 값을 이용하여 연산되는, 표시장치.
  4. 제3항에 있어서, 상기 영상 처리부는,
    상기 제1 프레임 영상과 상기 제2 프레임 영상을 4색의 제1 프레임 영상과 4색의 제2 프레임 영상으로 변환하는 RGBW 변환부;
    상기 제1 프레임 영상의 휘도를 변환하여 상기 서브 픽셀들의 휘도 가중치(weight)를 결정하는 휘도 변환부;
    상기 제1 프레임 영상의 채도(saturation)를 변환하여 상기 서브 픽셀들의 채도 가중치(weight)를 결정하는 채도 변환부;
    상기 제1 프레임 영상과 상기 제2 프레임 영상이 입력되는 상기 복수의 픽셀들의 제1 프레임 게인과 제2 프레임 게인을 연산하는 프레임 게인 연산부;
    상기 제1 프레임 영상과 상기 제2 프레임 영상이 입력되는 상기 복수의 픽셀들의 제1 픽셀 게인과 제2 픽셀 게인을 연산하는 픽셀 게인 연산부;
    상기 휘도 가중치와 상기 채도 가중치를 이용하여 블록 게인을 연산하는 블록 게인 연산부;
    상기 제1 프레임 게인과 상기 제1 픽셀 게인을 이용하여 상기 제1 프레임 영상의 제1 최종 게인을 연산하고, 상기 제2 프레임 게인, 상기 제2 픽셀 게인 및 상기 블록 게인을 이용하여 상기 제2 프레임 영상의 제2 최종 게인을 연산하는 최종 게인 연산부; 및
    상기 제1 최종 게인을 이용하여 색대비비를 연산하는 색대비비 연산부를 포함하는, 표시장치.
  5. 제4항에 있어서, 상기 픽셀 게인 연산부는,
    상기 제1 프레임 영상의 상기 제1 픽셀 게인은 채도에 따라 연산되고,
    상기 제1 프레임 영상이 입력되는 유채색 영역에 대응되는 픽셀들은 픽셀 게인 값이 0이고, 무채색 영역에 대응되는 픽셀들은 픽셀 게인 값이 0.1 내지 1 사이의 값을 갖는, 표시장치.
  6. 제4항에 있어서, 상기 색대비비 연산부는,
    상기 제1 최종 게인의 평균을 연산하고, 상기 제1 최종 게인과 상기 제1 최종 게인의 평균의 차를 연산하여 유채색 영역에서 상기 제1 최종 게인과 상기 제1 최종 게인의 평균과의 차이를 연산한 결과 값과 무채색 영역에서 상기 제1 최종 게인과 상기 제1 최종 게인의 평균과의 차이를 연산한 결과 값을 합하여 색대비비를 연산하는, 표시장치.
  7. 제6항에 있어서, 상기 픽셀 게인 연산부는,
    상기 제1 픽셀 게인에 상기 색대비비를 반영하여 상기 제2 프레임 영상에 대한 상기 제2 픽셀 게인을 연산하는, 표시장치.
  8. 제4항에 있어서, 상기 블록 게인 연산부는,
    상기 휘도 가중치와 상기 채도 가중치를 이용하여 픽셀 가중치를 연산하는 픽셀 가중치 연산부;
    상기 제1 출력 프레임 영상을 복수의 블록으로 가상 분할한 후 분할된 블록들을 보간 처리하여 블록 보간 값을 연산하는 블록 보간 값 연산부; 및
    상기 픽셀 가중치에 상기 블록 보간 값을 나누어 상기 블록 게인을 출력하는 블록 게인 출력부를 포함하는, 표시 장치.
  9. 제8항에 있어서,
    상기 블록 보간 값 연산부는 유채색 영역의 블록 평균 값과 무채색 영역의 블록 평균 값을 연산하고, 상기 유채색 영역과 상기 무채색 영역의 경계 영역은 상기 유채색 영역의 블록 평균 값과 상기 무채색 영역의 블록 평균 값의 중간 값으로 보간(interpolation)하여 블록 보간 값을 연산하는, 표시장치.
  10. 제9항에 있어서,
    상기 휘도 가중치와 상기 채도 가중치의 초기 값은 각각의 가중치의 범위 내에서 중간 값으로 설정되는, 표시장치.
  11. 제1항에 있어서, 상기 영상 처리부는,
    무채색을 나타내는 복수의 픽셀들이 배치된 영역 중 유채색을 나타내는 복수의 픽셀들이 배치된 영역과 인접하게 배치된 상기 무채색을 나타내는 복수의 픽셀들의 게인을 낮추는, 표시장치.
  12. 적색, 녹색, 청색 및 백색 서브픽셀로 이루어진 복수의 픽셀을 포함하는 표시 장치의 영상 처리 방법에 있어서,
    외부로부터 입력되는 3색의 입력 영상을 4색의 영상 데이터로 변환하는 단계;
    상기 4색의 영상 데이터가 입력되는 상기 서브 픽셀들의 프레임 게인을 연산하는 단계;
    상기 3 색의 입력 영상의 휘도와 채도를 각각 변환하여 휘도 가중치와 채도 가중치를 생성하는 단계;
    상기 휘도 가중치와 상기 채도 가중치를 이용하여 블록 게인을 연산하는 단계;
    상기 서브 픽셀들의 채도를 고려하여 픽셀 게인을 연산하는 단계;
    상기 프레임 게인, 상기 픽셀 게인 및 상기 블록 게인을 더하여 최종 게인을 연산하는 단계; 및
    상기 최종 게인을 반영하여 출력 프레임 영상을 출력하는 단계를 포함하는 표시장치의 영상 처리방법.
  13. 제12항에 있어서,
    상기 블록 게인을 연산하는 단계는 상기 3색의 입력 영상 중 첫번째 프레임의 출력 프레임 영상을 복수의 블록으로 분할한 후 분할된 블록들을 중간 값으로 보간한 블록 보간 값을 더 포함하여 연산되는, 표시장치의 영상 처리방법.
  14. 제13항에 있어서,
    상기 블록 게인은 상기 휘도 가중치와 상기 채도 가중치를 곱하여 연산된 픽셀 가중치에 상기 블록 보간 값을 나누어 연산되는, 표시장치의 영상 처리방법.
  15. 제12항에 있어서,
    상기 픽셀 게인을 연산하는 단계 이전에 상기 3색의 입력 영상 중 첫번째 프레임의 최종 게인을 이용하여 색대비비를 연산하는 단계를 더 포함하는, 표시장치의 영상 처리방법.
  16. 제15항에 있어서, 상기 색대비비를 연산하는 단계는,
    상기 첫번째 프레임의 모든 픽셀의 최종 게인의 평균 값을 연산하는 단계;
    유채색이 표시되는 유채색 영역에서 상기 첫번째 프레임의 최종 게인과 상기 최종 게인의 평균 값의 차이를 연산한 제1 값과, 무채색이 표시되는 무채색 영역에서 상기 첫번째 프레임의 최종 게인과 상기 최종 게인의 평균 값의 차이를 연산한 제2 값을 연산하는 단계; 및
    상기 제1 값과 상기 제2 값을 합하여 색대비비를 연산하는 단계를 포함하는, 표시장치의 영상 처리방법.
KR1020160162044A 2016-11-30 2016-11-30 표시장치 및 그의 영상 처리방법 KR102601853B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160162044A KR102601853B1 (ko) 2016-11-30 2016-11-30 표시장치 및 그의 영상 처리방법
US15/802,218 US10366673B2 (en) 2016-11-30 2017-11-02 Display device and image processing method thereof
CN201711237312.4A CN108122546B (zh) 2016-11-30 2017-11-30 显示设备及其图像处理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160162044A KR102601853B1 (ko) 2016-11-30 2016-11-30 표시장치 및 그의 영상 처리방법

Publications (2)

Publication Number Publication Date
KR20180062123A KR20180062123A (ko) 2018-06-08
KR102601853B1 true KR102601853B1 (ko) 2023-11-13

Family

ID=62190958

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160162044A KR102601853B1 (ko) 2016-11-30 2016-11-30 표시장치 및 그의 영상 처리방법

Country Status (3)

Country Link
US (1) US10366673B2 (ko)
KR (1) KR102601853B1 (ko)
CN (1) CN108122546B (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107146569B (zh) * 2017-07-14 2019-02-12 武汉华星光电技术有限公司 适用rgbw显示的分区背光显示方法及装置
US10497321B2 (en) * 2017-10-31 2019-12-03 Wuhan China Star Optoelectronics Technology Co., Ltd. Image processing method and device thereof
US11373622B2 (en) * 2018-06-26 2022-06-28 Nvidia Corporation Dynamic display switching
KR102588297B1 (ko) * 2018-07-24 2023-10-11 엘지디스플레이 주식회사 표시장치 및 그의 구동방법
US11217164B2 (en) * 2019-04-04 2022-01-04 Lg Electronics Inc. Signal processing device and image display apparatus including the same
CN112581914B (zh) * 2019-09-29 2022-03-29 上海海思技术有限公司 图像处理方法及装置
KR20220060583A (ko) * 2020-11-04 2022-05-12 삼성디스플레이 주식회사 표시 장치의 열화에 의한 얼룩 보상 방법 및 표시 장치의 열화에 의한 얼룩 보상 장치

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7176935B2 (en) * 2003-10-21 2007-02-13 Clairvoyante, Inc. Gamut conversion system and methods
KR100590529B1 (ko) * 2003-11-04 2006-06-15 삼성전자주식회사 영상의 국부적 휘도 향상 방법 및 장치와 컴퓨터프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록 매체
ATE538466T1 (de) * 2005-01-24 2012-01-15 Koninkl Philips Electronics Nv Ansteuerung einer anzeige mit rgbw farbraum
DE102006001876A1 (de) * 2006-01-13 2007-11-08 Siemens Ag Bauteil mit einer elektrischen Flachbaugruppe
KR101319321B1 (ko) * 2006-12-28 2013-10-16 엘지디스플레이 주식회사 액정 표시장치의 구동장치와 그 구동방법
KR101367199B1 (ko) * 2007-09-07 2014-02-27 삼성전자주식회사 영상표시장치 및 그의 디스플레이 특성 보정 방법
KR101464742B1 (ko) * 2008-01-07 2014-11-25 삼성전자주식회사 휴대단말에서 시인성 향상 제공 장치 및 방법
US8144979B2 (en) * 2008-04-18 2012-03-27 Sap France Automatic color contrast analyzer
JP4968219B2 (ja) * 2008-09-18 2012-07-04 株式会社Jvcケンウッド 液晶表示装置及びこれに用いる映像表示方法
JP5589585B2 (ja) * 2009-07-07 2014-09-17 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5669489B2 (ja) * 2009-10-15 2015-02-12 オリンパス株式会社 画像処理装置、画像処理方法および画像処理プログラム
KR101588901B1 (ko) * 2009-11-24 2016-02-12 엘지디스플레이 주식회사 액정표시장치 및 그의 로컬디밍 제어방법
KR101984735B1 (ko) * 2012-10-26 2019-06-03 삼성디스플레이 주식회사 표시 장치 및 표시 장치의 구동 방법
KR102018751B1 (ko) * 2012-12-21 2019-11-04 엘지디스플레이 주식회사 유기 발광 표시 장치 및 그의 구동 방법
KR20150022235A (ko) 2013-08-22 2015-03-04 삼성디스플레이 주식회사 색 보상 장치와 이를 포함하는 표시 장치, 및 색 보상 방법
KR102194571B1 (ko) * 2014-10-23 2020-12-24 엘지디스플레이 주식회사 데이터 변환부와 데이터 변환부의 데이터 변환 방법
KR20160082752A (ko) * 2014-12-29 2016-07-11 엘지디스플레이 주식회사 데이터 변환 장치와 이를 포함하는 유기발광다이오드 표시장치
WO2016205419A1 (en) * 2015-06-15 2016-12-22 Flir Systems Ab Contrast-enhanced combined image generation systems and methods
JP2017173415A (ja) * 2016-03-22 2017-09-28 株式会社ジャパンディスプレイ 表示装置及び表示装置の制御方法

Also Published As

Publication number Publication date
US10366673B2 (en) 2019-07-30
CN108122546A (zh) 2018-06-05
US20180151153A1 (en) 2018-05-31
CN108122546B (zh) 2020-09-15
KR20180062123A (ko) 2018-06-08

Similar Documents

Publication Publication Date Title
KR102587865B1 (ko) 표시장치 및 그의 영상 처리방법
KR102601853B1 (ko) 표시장치 및 그의 영상 처리방법
US9799275B2 (en) Display device
US9318075B2 (en) Image driving using color-compensated image data that has been color-scheme converted
WO2019114369A1 (zh) 基色转换方法及其转换器、显示控制方法、显示装置
CN1882103B (zh) 实现改进的色域对映演算的系统及方法
JP5124051B1 (ja) 表示装置
US9589534B2 (en) System and method for converting RGB data to WRGB data
WO2018214188A1 (zh) 图像处理方法、图像处理装置及显示装置
JP2009103926A (ja) 画像表示装置、該画像表示装置に用いられる画像表示方法、及び液晶表示装置
CN101390153A (zh) 改进的色域映射和子像素着色系统及方法
CN103714771A (zh) 图像显示单元及其驱动方法、信号生成器、程序和方法
CN106560880B (zh) 显示装置和该显示装置的图像渲染方法
JP2016145982A (ja) 表示装置
TWI278825B (en) Color display device, color compensation method, color compensation program, and storage medium readable by computer
RU2656700C1 (ru) Жидкокристаллическое устройство отображения и способ управления им
JP2013137547A (ja) 画像表示装置、該画像表示装置に用いられる画像表示方法、及び液晶表示装置
CN103985348A (zh) 四色转换器、显示装置及三色数据到四色数据的转换方法
CN109727573B (zh) 一种显示方法及显示装置
CN105684071A (zh) 信号生成装置、信号生成程序、信号生成方法及图像显示装置
US11887549B2 (en) Color gamut mapping method and device
KR102450547B1 (ko) 표시장치 및 그 데이터 변환방법, 그 컨트롤러
KR20160074810A (ko) 영상 처리 방법 및 이를 이용한 표시 장치
KR102582376B1 (ko) 유기발광 표시장치 및 그의 영상처리방법
KR20180023085A (ko) 표시 장치의 구동 방법 및 이를 수행하는 표시 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant