KR102276902B1 - 픽셀 콘트라스트 제어 시스템들 및 방법들 - Google Patents

픽셀 콘트라스트 제어 시스템들 및 방법들 Download PDF

Info

Publication number
KR102276902B1
KR102276902B1 KR1020207024857A KR20207024857A KR102276902B1 KR 102276902 B1 KR102276902 B1 KR 102276902B1 KR 1020207024857 A KR1020207024857 A KR 1020207024857A KR 20207024857 A KR20207024857 A KR 20207024857A KR 102276902 B1 KR102276902 B1 KR 102276902B1
Authority
KR
South Korea
Prior art keywords
pixel
image data
contrast control
local
tone maps
Prior art date
Application number
KR1020207024857A
Other languages
English (en)
Other versions
KR20200110441A (ko
Inventor
마헤시 비. 차팰리
창기 민
Original Assignee
애플 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 애플 인크. filed Critical 애플 인크.
Publication of KR20200110441A publication Critical patent/KR20200110441A/ko
Application granted granted Critical
Publication of KR102276902B1 publication Critical patent/KR102276902B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2007—Display of intermediate tones
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3225—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix
    • G09G3/3233—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED] using an active matrix with pixel circuitry controlling the current through the light-emitting element
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G09G3/3611—Control of matrices with row and column drivers
    • G09G3/3648—Control of matrices with row and column drivers using an active matrix
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0271—Adjustment of the gradation levels within the range of the gradation scale, e.g. by redistribution or clipping
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0626—Adjustment of display parameters for control of overall brightness
    • G09G2320/0653—Controlling or limiting the speed of brightness adjustment of the illumination source
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/066—Adjustment of display parameters for control of contrast
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/106—Determination of movement vectors or equivalent parameters within the image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Receiver Circuits (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

전자 디바이스(10)는 이미지 데이터 소스(38)와 디스플레이 패널(12) 사이에 커플링될 디스플레이 파이프라인(36)을 포함할 수 있다. 디스플레이 파이프라인(36)은, 디스플레이 패널(12) 상에 구현된 대응하는 디스플레이 픽셀의 초기 타깃 휘도를 나타내는 이미지 데이터에 적어도 부분적으로 기초하여 이미지 프레임을 나타내는 픽셀 통계치들(60)을 결정하도록 프로그래밍되는 픽셀 콘트라스트 제어 프로세싱 회로부(52)를 포함할 수 있다. 픽셀 콘트라스트 제어 회로부(52)는, 또한, 수정된 타깃 휘도를 나타내는 수정된 이미지 데이터를 결정하기 위해 한 세트의 로컬 톤 맵들(64)을 적용할 수 있다. 디스플레이 파이프라인(36)은, 또한, 픽셀 콘트라스트 제어 프로세싱 회로부(52)에 커플링된 픽셀 콘트라스트 제어 제어기(62)를 포함할 수 있다. 픽셀 콘트라스트 제어 제어기(62)는 픽셀 콘트라스트 제어 프로세싱 회로부(52)에 의해 결정된 픽셀 통계치들에 적어도 부분적으로 기초하여 다음 이미지 프레임 동안 적용될 로컬 톤 맵들을 결정하기 위해 펌웨어 명령어들을 실행하도록 프로그래밍될 수 있다.

Description

픽셀 콘트라스트 제어 시스템들 및 방법들
본 발명은 대체적으로 전자 디스플레이들에 관한 것으로, 더 구체적으로는, 전자 디스플레이 상에 이미지들을 디스플레이하는 데 사용될 이미지 데이터를 프로세싱하는 것에 관한 것이다.
이러한 섹션은 아래에서 설명되고 그리고/또는 청구되는 본 개시내용의 다양한 태양들에 관련될 수 있는 기술의 다양한 태양들을 독자에게 소개하도록 의도된다. 이 논의는 본 발명의 다양한 태양들에 대한 더 양호한 이해를 용이하게 하기 위해 독자에게 배경 정보를 제공하는 데 도움이 될 것으로 여겨진다. 따라서, 이들 진술들이 종래 기술의 인정으로서가 아니라 이러한 관점에서 읽혀질 것임이 이해되어야 한다.
전자 디바이스들은, 종종, 하나 이상의 전자 디스플레이들을 사용하여, 하나 이상의 이미지들(예컨대, 이미지 프레임들)을 디스플레이함으로써 정보의 시각적 표현들을 텍스트, 정지 이미지들, 및/또는 비디오로서 제시한다. 예를 들어, 그러한 전자 디바이스들은, 많은 다른 것들 중에서, 컴퓨터, 이동 전화, 휴대용 미디어 디바이스, 태블릿, 텔레비전, 가상현실 헤드셋, 및 차량 계기판을 포함할 수 있다. 이미지를 디스플레이하기 위해, 전자 디스플레이는 대응하는 이미지 데이터에 적어도 부분적으로 기초하여 그의 디스플레이 픽셀들의 발광(예컨대, 휘도)을 제어할 수 있다. 대체적으로, 이미지를 디스플레이하는 동안의 디스플레이 픽셀들의 휘도는 인지되는 밝기에 영향을 미칠 수 있고, 이에 따라, 이미지에서의 인지되는 콘트라스트(예컨대, 디스플레이 픽셀들 사이의 밝기 차이)에 영향을 미칠 수 있다. 실제로, 적어도 일부 경우들에서, 콘트라스트를 증가시키는 것은 이미지 선예도(sharpness)를 개선하는 것, 및 이에 따라, 인지된 이미지 품질을 개선하는 것을 용이하게 할 수 있다.
그러나, 주변 조명 조건들과 같은 환경 인자들은 인지되는 콘트라스트에 영향을 미칠 수 있다. 예를 들어, 전자 디스플레이의 스크린에 입사하는 주변광은 브라이트 픽셀(bright pixel)들의 인지되는 밝기에 비해 다크 디스플레이 픽셀들의 인지되는 밝기를 증가시킬 수 있다. 이와 같이, 증가하는 주변광은 이미지에서 인지되는 콘트라스트를 감소시킬 수 있으며, 이는, 적어도 일부 경우들에서, 이미지가 워시아웃(wash out)된 것으로 보이는 결과를 초래할 수 있다.
인지되는 콘트라스트를 개선하는 것을 용이하게 하기 위해, 일부 경우들에서, 브라이트 디스플레이 픽셀들의 휘도는, 예를 들어 주변 조명 조건들에 대응하도록, 다크 디스플레이 픽셀들의 휘도에 비해 더 증가될 수 있다. 그러나, 그럼에도 불구하고, 전자 디스플레이에서의 휘도 증가는 그의 광원(예컨대, LED 백라이트 또는 OLED 디스플레이 픽셀들)의 최대 휘도에 의해 제한될 수 있다. 게다가, 그의 디스플레이 픽셀들의 휘도를 증가시키는 것은 전자 디스플레이의 동작에 기인하는 전력 소비를 증가시킬 수 있다.
본 명세서에 개시된 소정의 실시예들의 개요가 아래에 기재된다. 이들 태양들은 단지 이들 소정의 실시예들의 간단한 개요를 독자에게 제공하기 위해 제시되며, 이들 태양들은 본 발명의 범주를 제한하도록 의도되지 않음이 이해되어야 한다. 실제로, 본 발명은 아래에 기재되지 않을 수 있는 다양한 태양들을 포함할 수 있다.
따라서, 인지되는 이미지 품질을 개선하고/하거나 전력 소비를 감소시키는 것을 용이하게 하기 위해, 본 발명은, 예를 들어 전자 디스플레이의 이미지 데이터 소스와 디스플레이 패널 사이에 커플링된, 디스플레이 파이프라인 내의 픽셀 콘트라스트 제어(pixel contrast control, PCC) 블록을 구현하고 동작시키기 위한 기법들을 제공한다. 일부 실시예들에서, 픽셀 콘트라스트 제어 블록은, 인지되는 콘트라스트를 개선하는 것을 용이하게 할 것으로 예상되는 방식으로, 결과로 초래된 컬러 색조 및/또는 휘도를 조정하도록 이미지 데이터를 수정하는 프로세싱 회로부(예컨대, 하드웨어)를 포함할 수 있다. 예를 들어, 이미지 픽셀을 수정하기 위해, 픽셀 콘트라스트 제어 프로세싱 회로부는 이미지 픽셀의 픽셀 위치를 결정할 수 있고, 대응하는 픽셀 위치와 각각 연관된 하나 이상의 로컬 톤 맵들을 이미지 픽셀에 적용할 수 있다. 다수의(예컨대, 4개의 가장 가까운) 로컬 톤 맵들이 적용될 때, 일부 실시예들에서, 픽셀 콘트라스트 제어 프로세싱 회로부는 이미지 픽셀의 픽셀 위치와 로컬 톤 맵들과 연관된 픽셀 위치들 사이의 거리에 적어도 부분적으로 기초하여 결과들을 보간할 수 있다.
추가로, 인지되는 콘트라스트를 개선하는 것을 용이하게 하기 위해, 일부 경우들에서, 브라이트 디스플레이 픽셀들의 휘도는, 예를 들어 주변 조명 조건들에 대응하도록, 다크 디스플레이 픽셀들의 휘도에 비해 증가 또는 변경될 수 있다. 예를 들어, 전자 디스플레이는 디스플레이 픽셀들에 인접하게 구현되는 백라이트 및/또는 디스플레이 픽셀들 내에 구현되는 유기 발광 다이오드(OLED)들과 같은 광원에 공급되는 전력을 증가시킴으로써 그의 디스플레이 픽셀들의 휘도를 증가시킬 수 있다.
일부 실시예들에서, 픽셀 콘트라스트 제어 프로세싱 회로부는 이미지의 컬러 색조들 및 픽셀 휘도를 나타낼 수 있는 픽셀 통계치들을 결정할 수 있다. 따라서, 픽셀 통계치들은 로컬 톤 맵들을 결정하는 데 사용될 수 있다. 일부 실시예들에서, 픽셀 통계치들은 현재 이미지 프레임에서 정의된 로컬 윈도우들(예컨대, 셀들)에 기초하여 수집될 수 있다. 추가로, 픽셀 콘트라스트 제어 프로세싱 회로부는 현재 이미지 프레임에 정의된 활성 영역에 기초하여 전역 픽셀 통계치들을 결정할 수 있다. 활성 영역은 자막과 같은 현재 이미지 프레임의 정적 부분들을 배제할 수 있다. 일부 실시예들에서, 픽셀 통계치들은 활성 영역 내의 각각의 이미지 픽셀의 최대 컬러 성분 값들, 평균 값들, 히스토그램들, 및/또는 루마 값들을 포함할 수 있다.
일부 실시예들에서, 이미지 픽셀과 연관된 루마 값은 타깃 밝기 레벨에 적어도 부분적으로 기초하여 결정될 수 있다. 예를 들어, 이미지 픽셀에 대응하는 루마 값은 평균 루마 값(예컨대, 컬러 성분들의 가중된 평균), 최대 루마 값(예컨대, 가중된 컬러 성분들의 최대치), 및/또는 혼합된 루마 값으로서 설정될 수 있다. 일부 실시예들에서, 혼합된 루마 값은, 예를 들어, 그들 사이에 매끄러운 전이를 야기하기 위해, 평균 루마 값과 최대 루마 값을 혼합함으로써 결정될 수 있다.
픽셀 콘트라스트 제어 블록은 픽셀 콘트라스트 제어 프로세싱 회로부로부터 수신된 픽셀 통계치들 및 검출된 환경 조건들에 적어도 부분적으로 기초하여 하나 이상의 로컬 톤 맵들을 결정하기 위해 명령어들(예컨대, 펌웨어)을 실행하는 제어기(예컨대, 프로세서)를 추가로 포함할 수 있다. 일부 실시예들에서, 픽셀 통계치들 및 로컬 톤 맵들은 동시에 결정될 수 있다. 그러나, 일부 실시예들에서, 동시에 동작하는 것은 로컬 톤 맵들이 이전 프레임으로부터의 픽셀 통계치들에 기초하여 결정되는 결과를 초래할 수 있다. 따라서, 그러한 실시예들에서, 픽셀 콘트라스트 제어 제어기는 현재 이미지 프레임과 연관된 픽셀 통계치들에 적어도 부분적으로 기초하여 로컬 톤 맵들을 결정할 수 있는 한편, 픽셀 콘트라스트 제어 프로세싱 회로부는 이전 이미지 프레임과 연관된 픽셀 통계치들에 적어도 부분적으로 기초하여 결정되는 로컬 톤 맵들을 적용한다.
일부 실시예들에서, 한 세트의 로컬 톤 맵들은 이미지 프레임에서 의도하지 않은 급작스러운 밝기 변화들을 야기할 가능성을 감소시키는 것을 용이하게 하기 위해 공간적으로 그리고/또는 시간적으로 필터링될 수 있다. 그러나, 일부 실시예들에서, 연속적인 세트들의 로컬 톤 맵들의 시간적 필터링은 장면 변화가 검출될 때 디스에이블될 수 있다. 일부 실시예들에서, 장면 변화는 각각의 로컬 윈도우 및/또는 전체 활성 영역과 연관된 픽셀 통계치들로부터 결정될 수 있다.
그러한 구현을 가능하게 하기 위해, 픽셀 콘트라스트 제어 제어기는 각각의 로컬 톤 맵의 다수의 버전들을 결정할 수 있다. 예를 들어, 픽셀 콘트라스트 제어 제어기는 시간적 필터링이 인에이블된 제1 버전 및 시간적 필터링이 디스에이블된 제2 버전을 결정할 수 있다. 이러한 방식으로, 픽셀 콘트라스트 제어 프로세싱 회로부는 장면 변화가 검출되었는지의 여부에 적어도 부분적으로 기초하여 로컬 톤 맵들의 제1 버전 또는 로컬 톤 맵들의 제2 버전 중 어느 하나를 선택적으로 적용할 수 있다.
게다가, 일부 실시예들에서, 픽셀 콘트라스트 제어 제어기는, 장착된 경우, 백라이트의 밝기를 기회주의적으로 디밍함으로써(예컨대, 감소시킴으로써) 전력 소비를 감소시키는 것을 용이하게 할 수 있다. 일부 실시예들에서, 백라이트 레벨에 적용되는 디밍 인자는 급작스러운 밝기 변화들을 야기할 가능성을 감소시키는 것을 용이하게 하기 위해 (예컨대, 이동 평균을 통해) 시간적으로 필터링될 수 있다. 예를 들어, 이미지 프레임의 타깃 휘도는 이전 이미지 프레임의 휘도 및 이미지 프레임들에 이전에 적용된 디밍 비율(dimming ratio)에 기초하여 결정될 수 있다. 이러한 방식으로, 하기에서 더 상세히 기술되는 바와 같이, 본 명세서에서 설명되는 기술들은 전자 디스플레이들의 전력 소비를 감소시키고/시키거나 인지되는 이미지 품질을 개선하는 것을 용이하게 하는 기술적 이점들을 제공한다.
본 발명의 다양한 태양들은 다음의 발명을 실시하기 위한 구체적인 내용을 읽을 시에 그리고 도면을 참조할 시에 더 양호하게 이해될 수 있다.
도 1은 일 실시예에 따른, 전자 디스플레이를 포함하는 전자 디바이스의 블록도이다.
도 2는 일 실시예에 따른 도 1의 전자 디바이스의 일례이다.
도 3은 일 실시예에 따른 도 1의 전자 디바이스의 다른 예이다.
도 4는 일 실시예에 따른 도 1의 전자 디바이스의 다른 예이다.
도 5는 일 실시예에 따른 도 1의 전자 디바이스의 다른 예이다.
도 6은 일 실시예에 따른, 도 1의 전자 디바이스에 포함된, 이미지 데이터 소스와 디스플레이 드라이버 사이에 커플링되는 디스플레이 파이프라인의 블록도이다.
도 7은 일 실시예에 따른, 도 6의 디스플레이 파이프라인에 포함된 픽셀 콘트라스트 제어 블록의 블록도이다.
도 8은 일 실시예에 따른, 도 7의 픽셀 콘트라스트 제어 블록을 동작시키기 위한 프로세스의 흐름도이다.
도 9는 일 실시예에 따른 예시적인 이미지 프레임의 도식 표현이다.
도 10은 일 실시예에 따른, 픽셀 통계치들을 결정하기 위한 프로세스의 흐름도이다.
도 11은 일 실시예에 따른, 이미지 픽셀과 연관된 루마 값을 결정하기 위한 프로세스의 흐름도이다.
도 12는 일 실시예에 따른, 도 7의 픽셀 콘트라스트 제어 블록 내에 구현되는 제어기를 동작시키기 위한 프로세스의 흐름도이다.
도 13은 일 실시예에 따른, 도 7의 픽셀 콘트라스트 제어 블록 내에 구현되는 프로세싱 회로부를 동작시키기 위한 프로세스의 흐름도이다.
도 14는 일 실시예에 따른, 도 9의 이미지 프레임 상에 오버레이된 예시적인 프레임 그리드(frame grid)의 도식 표현이다.
하나 이상의 구체적인 실시예들이 아래에서 설명될 것이다. 이러한 실시예들에 대한 간명한 설명을 제공하려는 노력으로, 명세서에는 실제 구현의 모든 특징들이 설명되어 있지는 않다. 임의의 엔지니어링 또는 설계 프로젝트에서와 같이 임의의 그러한 실제 구현의 개발에서, 구현마다 다를 수 있는 시스템-관련 및 사업-관련 제약들의 준수와 같은 개발자들의 특정 목표들을 달성하기 위해 많은 구현-특정 결정들이 이루어져야 한다는 것이 이해되어야 한다. 또한, 그러한 개발 노력은 복잡하고 시간 소모적일 수 있지만, 그럼에도 본 개시내용의 이익을 갖는 당업자를 위한 설계, 제조, 및 제작의 일상적인 과제일 것이라는 것이 인식되어야 한다.
정보의 통신을 용이하게 하기 위해, 전자 디바이스들은, 종종, 하나 이상의 전자 디스플레이들을 사용하여, 하나 이상의 이미지들(예컨대, 이미지 프레임들)을 통해 정보의 시각적 표현들을 제시한다. 대체적으로, 이미지를 디스플레이하기 위해, 전자 디스플레이는 대응하는 이미지 데이터에 기초하여 그의 디스플레이 픽셀들의 발광(예컨대, 휘도)을 제어할 수 있다. 예를 들어, 이미지 데이터 소스(예컨대, 메모리, 입력/출력(I/O) 포트, 및/또는 통신 네트워크)는, 각각이 대응하는 픽셀 위치에 위치된 디스플레이 픽셀의 타깃 휘도를 나타내는 이미지 데이터를 이미지 픽셀들의 스트림으로서 출력할 수 있다.
대체적으로, 디스플레이 픽셀 휘도는 인지되는 밝기에 영향을 미칠 수 있고, 이에 따라, 이미지에서 인지되는 콘트라스트에 영향을 미칠 수 있다. 적어도 일부 경우들에서, 인지되는 콘트라스트는 디스플레이된 이미지의 인지되는 품질에 영향을 줄 수 있다. 예를 들어, 더 높은 인지되는 콘트라스트는 에지 및/또는 라인 선예도(예컨대, 선명도(definition))를 개선할 수 있다.
그러나, 인지되는 콘트라스트는 또한 환경 인자들, 예컨대 주변 조명 조건들에 의해 영향을 받을 수 있다. 예를 들어, 더 밝은 주변 조명 조건들은 이미지 내의 다크 디스플레이 픽셀들의 인지되는 밝기와 이미지 내의 브라이트 디스플레이 픽셀들의 인지되는 밝기 사이의 차이가 감소하는 결과를 초래하여, 이에 의해, 이미지에서 인지되는 콘트라스트를 감소시킬 수 있다. 다시 말하면, 동일한 디스플레이 픽셀 휘도를 사용하여, 인지되는 콘트라스트는, 대체적으로, 주변 조명 조건들이 변화(예컨대, 증가)함에 따라 변화(예컨대, 감소)한다.
인지되는 콘트라스트를 개선하는 것을 용이하게 하기 위해, 일부 경우들에서, 브라이트 디스플레이 픽셀들의 휘도는, 예를 들어 주변 조명 조건들에 대응하도록, 다크 디스플레이 픽셀들의 휘도에 비해 더 증가될 수 있다. 대체적으로, 전자 디스플레이는 디스플레이 픽셀들에 인접하게 구현되는 백라이트 및/또는 디스플레이 픽셀들 내에 구현되는 유기 발광 다이오드(OLED)들과 같은 광원에 공급되는 전력을 증가시킴으로써 그의 디스플레이 픽셀들의 휘도를 증가시킬 수 있다. 이와 같이, 디스플레이 픽셀들의 휘도를 증가시키는 것은, 또한, 전자 디스플레이의 동작에 기인하는 전력 소비를 증가시킬 수 있다. 추가로, 광원의 최대 밝기는 전자 디스플레이가 디스플레이 픽셀 휘도를 계속해서 증가시키는 능력을 제한할 수 있다.
게다가, 환경 조건 변화들은, 예를 들어, 전자 디스플레이가 실내 환경으로부터 실외 환경으로 이동됨으로 인해, 종종, 비교적 급작스럽게 발생한다. 따라서, 적어도 일부 경우들에서, 환경 조건 변화들에 대한 반응성이, 또한, 인지되는 이미지 품질에 영향을 미칠 수 있다. 예를 들어, 디스플레이 픽셀들의 타깃 휘도를 전적으로 소프트웨어(예컨대, 루프 외(out-of-loop))로 조정하는 것은 환경 조건 변화가 처리되기 이전에 인지가능한 지연을 초래할 수 있다.
따라서, 인지되는 이미지 품질을 개선하고/하거나 전력 소비를 감소시키는 것을 용이하게 하기 위해, 본 발명은, 예를 들어 전자 디스플레이의 이미지 데이터 소스와 디스플레이 패널 사이에 커플링된, 디스플레이 파이프라인 내의 픽셀 콘트라스트 제어(PCC) 블록을 구현하고 동작시키기 위한 기법들을 제공한다. 일부 실시예들에서, 픽셀 콘트라스트 제어 블록은, 인지되는 콘트라스트를 개선하는 것을 용이하게 할 것으로 예상되는 방식으로, 결과로 초래된 컬러 색조 및/또는 휘도를 조정하도록 이미지 데이터를 수정하는 프로세싱 회로부(예컨대, 하드웨어)를 포함할 수 있다. 예를 들어, 이미지 픽셀을 수정하기 위해, 픽셀 콘트라스트 제어 프로세싱 회로부는 이미지 픽셀의 픽셀 위치를 결정할 수 있고, 대응하는 픽셀 위치와 각각 연관된 하나 이상의 로컬 톤 맵들을 이미지 픽셀에 적용할 수 있다. 다수의(예컨대, 4개의 가장 가까운) 로컬 톤 맵들이 적용될 때, 일부 실시예들에서, 픽셀 콘트라스트 제어 프로세싱 회로부는 이미지 픽셀의 픽셀 위치와 로컬 톤 맵들과 연관된 픽셀 위치들 사이의 거리에 적어도 부분적으로 기초하여 결과들을 보간할 수 있다.
인지되는 콘트라스트가 대체적으로 디스플레이 픽셀 휘도에 따라 변하기 때문에, 일부 실시예들에서, 픽셀 콘트라스트 제어 프로세싱 회로부는 픽셀 통계치들을 결정할 수 있는데, 이러한 픽셀 통계치들은 이미지 콘텐츠를 나타낼 수 있고, 이에 따라, 로컬 톤 맵들을 결정하는 데 사용될 수 있다. 예를 들어, 픽셀 콘트라스트 제어 프로세싱 회로부는 현재 이미지 프레임에서 정의된 로컬 윈도우들(예컨대, 셀들)에 기초하여 로컬 픽셀 통계치들을 결정할 수 있다. 추가로, 픽셀 콘트라스트 제어 프로세싱 회로부는 현재 이미지 프레임에 정의된 활성 영역에 기초하여 전역 픽셀 통계치들을 결정할 수 있다.
전역 픽셀 통계치들을 결정하기 위해, 일부 실시예들에서, 픽셀 콘트라스트 제어 프로세싱 회로부는 자막과 같은 현재 이미지 프레임의 정적 부분들을 배제하기 위해 활성 영역을 정의할 수 있다. 일부 실시예들에서, 활성 영역 내의 각각의 이미지 픽셀의 최대 컬러 성분 값에 기초하여, 픽셀 콘트라스트 제어 프로세싱 회로부는 현재 이미지 프레임과 연관된 전역 최대 컬러 성분 히스토그램을 결정할 수 있다. 추가로, 활성 영역 내의 각각의 이미지 픽셀과 연관된 루마 값에 기초하여, 픽셀 콘트라스트 제어 프로세싱 회로부는 현재 이미지 프레임과 연관된 전역 루마 히스토그램을 결정할 수 있다.
일부 실시예들에서, 이미지 픽셀과 연관된 루마 값은 타깃 밝기 레벨에 적어도 부분적으로 기초하여 결정될 수 있다. 예를 들어, 이미지 픽셀에 대응하는 루마 값은, 타깃 밝기 레벨이 더 낮은 임계 밝기 레벨(예컨대, 어둡기 레벨 내지 중간 레벨 밝기) 미만일 때의 평균 루마 값(예컨대, 컬러 성분들의 가중화된 평균), 타깃 밝기가 상위 임계 밝기 레벨(예컨대, 밝기 범위의 하이-엔드) 초과일 때의 최대 루마 값(예컨대, 가중화된 컬러 성분들의 최대치), 및 타깃 밝기 레벨이 하위 임계 밝기 레벨과 상위 임계 밝기 레벨 사이에 있을 때의 혼합된 루마 값으로서 설정될 수 있다. 일부 실시예들에서, 혼합된 루마 값은, 예를 들어, 그들 사이에 매끄러운 전이를 야기하기 위해, 평균 루마 값과 최대 루마 값을 혼합함으로써 결정될 수 있다.
로컬 픽셀 통계치들을 결정하기 위해, 일부 실시예들에서, 픽셀 콘트라스트 제어 프로세싱 회로부는 현재 이미지 프레임 내의 하나 이상의 세트들의 로컬 윈도우들을 정의할 수 있으며, 이때 예를 들어, 제1 세트의 로컬 윈도우들은 그것이 활성 영역을 둘러싸도록 정의되고, 제2 세트의 로컬 윈도우들은 그것이 활성 영역 내에 둘러싸이도록 정의된다. 일부 실시예들에서, (예컨대, 제2 세트의) 로컬 윈도우 내의 각각의 이미지 픽셀의 최대 컬러 성분 값에 기초하여, 픽셀 콘트라스트 제어 프로세싱 회로부는 로컬 윈도우와 연관된 가장 큰 최대 컬러 성분 값 및 평균 최대 컬러 성분 값을 결정할 수 있다. 추가로, (예컨대, 제1 세트의) 로컬 윈도우 내의 각각의 이미지 픽셀과 연관된 루마 값에 기초하여, 픽셀 콘트라스트 제어 프로세싱 회로부는 로컬 윈도우와 연관된 로컬 루마 히스토그램을 결정할 수 있다.
이러한 방식으로, 픽셀 콘트라스트 제어 블록은 이미지 콘텐츠를 나타내는 픽셀 통계치들을 결정할 수 있고, 이미지 데이터를 인-루프로 수정할 수 있으며, 이는 적어도 일부 경우들에서, 예를 들어 이미지들이 실제로 디스플레이될 때에 환경 조건들이 더 가깝게 간주되는 것으로 인해, 환경 조건 변화들에 대한 반응성을 개선하는 것을 용이하게 할 수 있다. 그러나, 대체적으로, 디스플레이 파이프라인에 할당된 프로세싱 지속기간이 제한되고, 이에 따라, 픽셀 콘트라스트 제어 프로세싱 회로부가 제한된다. 그의 제한적인 할당된 프로세싱 지속기간을 처리하는 것을 용이하게 하기 위해, 일부 실시예들에서, 픽셀 콘트라스트 제어 블록은, 픽셀 콘트라스트 제어 프로세싱 회로부로부터 수신된 픽셀 통계치들 및 검출된 환경 조건들에 적어도 부분적으로 기초하여 하나 이상의 로컬 톤 맵들을 결정하기 위해 명령어들(예컨대, 펌웨어)을 실행하는 제어기(예컨대, 프로세서)를 추가로 포함할 수 있다.
특히, 이러한 방식으로 픽셀 콘트라스트 제어 블록을 구현하는 것은 픽셀 콘트라스트 제어 프로세싱 회로부 및 픽셀 콘트라스트 제어 제어기가 동시에 동작할 수 있게 할 수 있다. 그러나, 일부 실시예들에서, 동시에 동작하는 것은, 현재 이미지 프레임 내의 이미지 픽셀들이 수정될 때 아직 이용가능하지 않은 현재 이미지 프레임과 연관된 픽셀 통계치들에 기초하여 로컬 톤 맵들이 결정되는 결과를 초래할 수 있다. 따라서, 그러한 실시예들에서, 픽셀 콘트라스트 제어 제어기는 현재 이미지 프레임과 연관된 픽셀 통계치들에 적어도 부분적으로 기초하여 로컬 톤 맵들을 결정할 수 있는 한편, 픽셀 콘트라스트 제어 프로세싱 회로부는 이전 이미지 프레임과 연관된 픽셀 통계치들에 적어도 부분적으로 기초하여 결정되는 로컬 톤 맵들을 적용한다.
예를 들어, 이전 이미지 프레임과 연관된 전역 루마 히스토그램 및 현재 이미지 프레임과 연관된 로컬 루마 히스토그램들에 적어도 부분적으로 기초하여, 픽셀 콘트라스트 제어 제어기는 다음 이미지 프레임을 수정하기 위해 픽셀 콘트라스트 제어 프로세싱 회로부에 의해 적용될 (예컨대, 제1 세트의) 각각의 로컬 윈도우에 대한 하나 이상의 로컬 톤 맵들을 결정할 수 있다. 특히, 로컬 윈도우에 대해 결정된 하나 이상의 로컬 톤 맵들은 로컬 윈도우에(예컨대, 그의 중심에) 위치된 픽셀 위치와 연관될 수 있다. 일부 실시예들에서, 한 세트의 로컬 톤 맵들은 이미지 프레임에서 의도하지 않은 급작스러운 밝기 변화들을 야기할 가능성을 감소시키는 것을 용이하게 하기 위해 공간적으로 필터링될 수 있으며, 이는 적어도 일부 경우들에서, 인지되는 이미지 품질을 개선하는 것을 용이하게 할 수 있다.
인지되는 이미지 품질을 추가로 개선하는 것을 용이하게 하기 위해, 일부 실시예들에서, 연속적인 세트들의 로컬 톤 맵들은 연속적인 이미지 프레임들에서 의도하지 않은 급작스러운 밝기 변화들을 야기할 가능성을 감소시키는 것을 용이하게 하기 위해 시간적으로 필터링될 수 있다. 그러나, 상이한 장면들 내에 포함된 연속적인 이미지 프레임들이 대체적으로 상당히 상이하기 때문에, 장면 경계를 가로질러 시간적 필터링을 적용하는 것은 부정확한 이미지 프레임을 초래할 수 있다. 그러한 부정확한 이미지 프레임들을 인지하는 가능성을 감소시키기 위해, 연속적인 세트들의 로컬 톤 맵들의 시간적 필터링은 장면 변화가 검출될 때 디스에이블될 수 있다.
일부 실시예들에서, 픽셀 콘트라스트 제어 블록은, 예를 들어 제1 이미지 프레임과 연관된 장면 변화 통계치들에 비해, 제2 이미지 프레임 내의 (예컨대, 제2 세트의) 각각의 로컬 윈도우와 연관된 장면 변화 통계치들(예컨대, 가장 큰 최대 컬러 성분 값 및 평균 최대 컬러 성분 값)에 적어도 부분적으로 기초하여, 제1 이미지 프레임과 제2 이미지 프레임 사이에 장면 변화가 발생했음을 검출할 수 있다. 이와 같이, 장면 변화는, 픽셀 콘트라스트 제어 블록이 제2 이미지 프레임과 연관된 픽셀 통계치들의 결정을 완료한 이후까지, 그리고 이에 따라, 제2 이미지 프레임과 연관된 픽셀 통계치들이 이미 사용되어 다음 이미지 프레임에 적용될 로컬 톤 맵들을 결정한 이후까지 검출되지 않을 수 있다. 그럼에도 불구하고, 시간적으로 필터링된 로컬 톤 맵들이 제2 이미지 프레임에 적용될 수 있지만, 인지가능한 시각적 아티팩트들을 야기할 가능성은 다음 이미지 프레임에서 디스에이블되는 시간적 필터링에 의해 생성되는 로컬 톤 맵들을 적용함으로써 감소될 수 있다.
그러한 구현을 가능하게 하기 위해, 픽셀 콘트라스트 제어 제어기는 각각의 로컬 톤 맵의 다수의 버전들을 결정할 수 있다. 예를 들어, 픽셀 콘트라스트 제어 제어기는 시간적 필터링이 인에이블된 제1 버전 및 시간적 필터링이 디스에이블된 제2 버전을 결정할 수 있다. 이러한 방식으로, 픽셀 콘트라스트 제어 프로세싱 회로부는 장면 변화가 검출되었는지의 여부에 적어도 부분적으로 기초하여 로컬 톤 맵들의 제1 버전 또는 로컬 톤 맵들의 제2 버전 중 어느 하나를 선택적으로 적용할 수 있다.
게다가, 일부 실시예들에서, 픽셀 콘트라스트 제어 제어기는, 예를 들어 액정 디스플레이(liquid crystal display, LCD)에서, 장착된 경우, 백라이트의 밝기를 기회주의적으로 디밍함으로써(예컨대, 감소시킴으로써) 전력 소비를 감소시키는 것을 용이하게 할 수 있다. 예를 들어, 백라이트 유닛에 의한 전력 소비를 감소시키기 위해, 픽셀 값들은 백라이트 레벨을 감소(즉, 디밍)시키면서 증가될 수 있다. 이와 같이, 디밍된 백라이트 레벨을 유지하면서 동일한 시각적 휘도가 제공될 수 있다. 일부 실시예들에서, 백라이트 레벨에 적용되는 디밍 인자는 급작스러운 밝기 변화들을 야기할 가능성을 감소시키는 것을 용이하게 하기 위해 (예컨대, 이동 평균을 통해) 시간적으로 필터링될 수 있다. 예를 들어, 이미지 프레임의 타깃 휘도는 이전 이미지 프레임의 휘도 및 이미지 프레임들에 이전에 적용된 디밍 비율에 기초하여 결정될 수 있다. 이러한 방식으로, 하기에서 더 상세히 기술되는 바와 같이, 본 명세서에서 설명되는 기법들은 전자 디스플레이들의 전력 소비를 감소시키고/시키거나 인지되는 이미지 품질을 개선하는 것을 용이하게 하는 기술적 이점들을 제공한다.
설명을 돕기 위해, 전자 디스플레이(12)를 포함하는 전자 디바이스(10)가 도 1에 도시되어 있다. 아래에서 더 상세히 기술되는 바와 같이, 전자 디바이스(10)는, 컴퓨터, 이동 전화, 휴대용 미디어 디바이스, 태블릿, 텔레비전, 가상현실 헤드셋, 차량 계기판 등과 같은 임의의 적합한 전자 디바이스일 수 있다. 따라서, 도 1이 단지 특정 구현의 하나의 예이고, 전자 디바이스(10)에 존재할 수 있는 컴포넌트들의 타입들을 예시하도록 의도되는 것임을 주의해야 한다.
도시된 실시예에서, 전자 디바이스(10)는 전자 디스플레이(12), 하나 이상의 입력 디바이스들(14), 하나 이상의 입력/출력(I/O) 포트들(16), 하나 이상의 프로세서(들) 또는 프로세서 코어들을 갖는 프로세서 코어 컴플렉스(18), 로컬 메모리(20), 메인 메모리 저장 디바이스(22), 네트워크 인터페이스(24), 전원(26), 및 이미지 프로세싱 회로부(27)를 포함한다. 도 1에 설명된 다양한 컴포넌트들은 하드웨어 요소들(예컨대, 회로부), 소프트웨어 요소들(예컨대, 명령어들을 저장하는 유형적인(tangible) 비일시적 컴퓨터 판독가능 매체), 또는 하드웨어와 소프트웨어 요소들 둘 모두의 조합을 포함할 수 있다. 다양한 도시된 컴포넌트들은 더 적은 수의 컴포넌트들로 조합될 수 있거나 추가의 컴포넌트들로 분리될 수 있음을 유의해야 한다. 예를 들어, 로컬 메모리(20) 및 메인 메모리 저장 디바이스(22)는 단일 컴포넌트 내에 포함될 수 있다. 추가로, 이미지 프로세싱 회로부(27)(예컨대, 그래픽 프로세싱 유닛)는 프로세서 코어 컴플렉스(18) 내에 포함될 수 있다.
도시된 바와 같이, 프로세서 코어 컴플렉스(18)는 로컬 메모리(20) 및 메인 메모리 저장 디바이스(22)와 동작가능하게 커플링된다. 따라서, 프로세서 코어 컴플렉스(18)는 이미지 데이터를 생성하고/하거나 송신하는 것과 같은 동작들을 수행하기 위해 로컬 메모리(20) 및/또는 메인 메모리 저장 디바이스(22)에 저장된 명령어를 실행할 수 있다. 이와 같이, 프로세서 코어 컴플렉스(18)는 하나 이상의 범용 마이크로프로세서, 하나 이상의 ASIC(application specific integrated circuit), 하나 이상의 FPGA(field programmable logic array), 또는 이들의 임의의 조합을 포함할 수 있다.
명령어들에 더하여, 로컬 메모리(20) 및/또는 메인 메모리 저장 디바이스(22)는 프로세서 코어 컴플렉스(18)에 의해 프로세싱될 데이터를 저장할 수 있다. 따라서, 일부 실시예들에서, 로컬 메모리(20) 및/또는 메인 메모리 저장 디바이스(22)는 하나 이상의 유형적인 비일시적 컴퓨터 판독가능 매체들을 포함할 수 있다. 예를 들어, 로컬 메모리(20)는 RAM(random access memory)을 포함할 수 있고, 메인 메모리 저장 디바이스(22)는 ROM(read only memory), 재기록가능한 비휘발성 메모리, 예컨대, 플래시 메모리, 하드 드라이브, 광학 디스크 등을 포함할 수 있다.
도시된 바와 같이, 프로세서 코어 컴플렉스(18)는 또한 네트워크 인터페이스(24)와 동작가능하게 커플링된다. 일부 실시예들에서, 네트워크 인터페이스(24)는 데이터를 다른 전자 디바이스 및/또는 네트워크와 통신하는 것을 가능하게 할 수 있다. 예를 들어, 네트워크 인터페이스(24)(예컨대, 무선 주파수 시스템)는 전자 디바이스(10)가 블루투스 네트워크와 같은 개인 영역 네트워크(PAN), 802.11x Wi-Fi 네트워크와 같은 로컬 영역 네트워크(LAN), 및/또는 4G 또는 LTE 셀룰러 네트워크와 같은 광역 네트워크(WAN)에 통신가능하게 커플링되는 것을 가능하게 할 수 있다.
추가로, 도시된 바와 같이, 프로세서 코어 컴플렉스(18)는 전원(26)에 동작가능하게 커플링된다. 일부 실시예들에서, 전원(26)은 프로세서 코어 컴플렉스(18) 및/또는 전자 디스플레이(12)와 같은, 전자 디바이스(10) 내의 하나 이상의 컴포넌트에 전력을 제공할 수 있다. 따라서, 전원(26)은 재충전가능한 리튬 폴리머(Li-poly) 배터리 및/또는 교류(AC) 전력 변환기와 같은 임의의 적합한 에너지원을 포함할 수 있다.
더욱이, 도시된 바와 같이, 프로세서 코어 컴플렉스(18)는 하나 이상의 I/O 포트들(16)과 동작가능하게 커플링된다. 일부 실시예들에서, I/O 포트들(16)은 전자 디바이스(10)가 다른 전자 디바이스들과 인터페이싱하는 것을 가능하게 할 수 있다. 예를 들어, 휴대용 저장 디바이스가 접속될 때, I/O 포트(16)는 프로세서 코어 컴플렉스(18)가 데이터를 휴대용 저장 디바이스와 통신할 수 있게 할 수 있다.
도시된 바와 같이, 전자 디바이스(10)는 또한 하나 이상의 입력 디바이스들(14)과 동작가능하게 커플링된다. 일부 실시예들에서, 입력 디바이스(14)는, 예를 들어 사용자 입력들을 수신함으로써, 전자 디바이스(10)와의 사용자 상호작용을 용이하게 할 수 있다. 따라서, 입력 디바이스(14)는 버튼, 키보드, 마우스, 트랙패드 등을 포함할 수 있다. 추가로, 일부 실시예들에서, 입력 디바이스(14)는 전자 디스플레이(12) 내의 터치 감지 컴포넌트들을 포함할 수 있다. 그러한 실시예들에서, 터치 감지 컴포넌트들은 전자 디스플레이(12)의 표면을 터치하는 물체의 발생 및/또는 위치를 검출함으로써 사용자 입력들을 수신할 수 있다.
사용자 입력들을 가능하게 하는 것에 더하여, 전자 디스플레이(12)는 하나 이상의 디스플레이 픽셀들을 갖는 디스플레이 패널을 포함할 수 있다. 전술된 바와 같이, 전자 디스플레이(12)는, 대응하는 이미지 데이터(예컨대, 동일한 픽셀 위치에 위치된 이미지 픽셀)에 적어도 부분적으로 기초하여 프레임들을 디스플레이함으로써, 운영 체제의 그래픽 사용자 인터페이스(GUI), 애플리케이션 인터페이스, 정지 이미지, 또는 비디오 콘텐츠와 같은 정보의 시각적 표현들을 제시하기 위해 그의 디스플레이 픽셀들로부터의 발광을 제어할 수 있다. 도시된 바와 같이, 전자 디스플레이(12)는 프로세서 코어 컴플렉스(18) 및 이미지 프로세싱 회로부(27)에 동작가능하게 커플링된다. 이러한 방식으로, 전자 디스플레이(12)는 프로세서 코어 컴플렉스(18), 이미지 프로세싱 회로부(27)에 의해 생성된 이미지 데이터에 적어도 부분적으로 기초하여 이미지들을 디스플레이할 수 있다. 추가로 또는 대안으로, 전자 디스플레이(12)는 네트워크 인터페이스(24), 입력 디바이스(14), 및/또는 I/O 포트(16)를 통해 수신된 이미지 데이터에 적어도 부분적으로 기초하여 이미지들을 디스플레이할 수 있다.
전술된 바와 같이, 전자 디바이스(10)는 임의의 적합한 전자 디바이스일 수 있다. 설명을 돕기 위해, 적합한 전자 디바이스(10)의 하나의 예, 특히 핸드헬드 디바이스(10A)가 도 2에 도시되어 있다. 일부 실시예들에서, 핸드헬드 디바이스(10A)는 휴대용 전화, 미디어 플레이어, 개인용 데이터 오거나이저(personal data organizer), 핸드헬드 게임 플랫폼 등일 수 있다. 예시를 위해, 핸드헬드 디바이스(10A)는 Apple Inc.로부터 입수가능한 임의의 iPhone® 모델과 같은 스마트 폰일 수 있다.
도시된 바와 같이, 핸드헬드 디바이스(10A)는 인클로저(28)(예컨대, 하우징)를 포함한다. 일부 실시예들에서, 인클로저(28)는 물리적 손상으로부터 내부 컴포넌트들을 보호하고/하거나 전자기 간섭으로부터 그들을 차폐시킬 수 있다. 추가로, 도시된 바와 같이, 인클로저(28)는 전자 디스플레이(12)를 둘러쌀 수 있다. 도시된 실시예에서, 전자 디스플레이(12)는 아이콘들(32)의 어레이를 갖는 그래픽 사용자 인터페이스(GUI)(30)를 디스플레이하고 있다. 예로서, 아이콘(32)이 입력 디바이스(14) 또는 전자 디스플레이(12)의 터치 감지 컴포넌트 중 어느 하나에 의해 선택될 때, 애플리케이션 프로그램이 시작될 수 있다.
더욱이, 도시된 바와 같이, 입력 디바이스들(14)은 인클로저(28) 내의 개구들을 통해 액세스될 수 있다. 전술된 바와 같이, 입력 디바이스들(14)은 사용자가 핸드헬드 디바이스(10A)와 상호작용하는 것을 가능하게 할 수 있다. 예를 들어, 입력 디바이스들(14)은, 사용자가 핸드헬드 디바이스(10A)를 활성화 또는 비활성화시키고/시키거나 사용자 인터페이스를 홈 스크린으로 내비게이트하고/하거나 사용자 인터페이스를 사용자-구성가능 애플리케이션 스크린으로 내비게이트하고/하거나 음성-인식 특징부를 활성화시키고/시키거나 볼륨 제어부를 제공하고/하거나 진동 모드와 벨소리 모드 사이에서 토글링하는 것을 가능하게 할 수 있다. 도시된 바와 같이, I/O 포트들(16)은 인클로저(28) 내의 개구들을 통해 액세스될 수 있다. 일부 실시예들에서, I/O 포트들(16)은, 예를 들어, 외부 디바이스들에 접속하기 위한 오디오 잭을 포함할 수 있다.
추가로 예시하기 위해, 적합한 전자 디바이스(10)의 다른 예, 특히 태블릿 디바이스(10B)가 도 3에 도시되어 있다. 예시를 위해, 태블릿 디바이스(10B)는 Apple Inc.로부터 입수가능한 임의의 iPad® 모델일 수 있다. 적합한 전자 디바이스(10)의 추가의 예, 특히 컴퓨터(10C)가 도 4에 도시되어 있다. 예시를 위해, 컴퓨터(10C)는 Apple Inc.로부터 입수가능한 임의의 Macbook® 또는 iMac® 모델일 수 있다. 적합한 전자 디바이스(10)의 다른 예, 특히 시계(10D)가 도 5에 도시되어 있다. 예시를 위해, 시계(10D)는 Apple Inc.로부터 입수가능한 임의의 Apple Watch® 모델일 수 있다. 도시된 바와 같이, 태블릿 디바이스(10B), 컴퓨터(10C), 및 시계(10D) 각각은 또한 전자 디스플레이(12), 입력 디바이스들(14), I/O 포트들(16), 및 인클로저(28)를 포함한다.
전술된 바와 같이, 전자 디스플레이(12)는, 예를 들어, 프로세서 코어 컴플렉스(18) 및/또는 이미지 프로세싱 회로부(27)로부터 수신된 이미지 데이터에 기초하여 이미지들(예컨대, 이미지 프레임들)을 디스플레이할 수 있다. 예시를 돕기 위해, 이미지 데이터를 동작가능하게 취출, 프로세싱, 및 출력하는 디스플레이 파이프라인(36)을 포함하는, 전자 디바이스(10)의 일부분(34)이 도 6에 도시되어 있다. 일부 실시예들에서, 디스플레이 파이프라인(36)은 이미지 데이터 소스(38)로부터 획득된 이미지 데이터를 분석하고/하거나 프로세싱하여, 예를 들어, 이미지 데이터가 대응하는 이미지들을 디스플레이하기 위해 사용되기 전에 톤 곡선들을 결정하고 이미지 데이터에 적용할 수 있다. 추가로, 일부 실시예들에서, 디스플레이 드라이버(40)는 디스플레이 파이프라인(36)으로부터 수신된 이미지 데이터에 적어도 부분적으로 기초하여 이미지를 디스플레이하기 위해 아날로그 전기 신호들을 생성하고 디스플레이 픽셀들에 공급할 수 있다.
일부 실시예들에서, 디스플레이 파이프라인(36) 및/또는 디스플레이 드라이버(40)는 전자 디바이스(10), 전자 디스플레이(12), 또는 이들의 조합에서 구현될 수 있다. 예를 들어, 디스플레이 파이프라인(36)은 프로세서 코어 컴플렉스(18), 이미지 프로세싱 회로부(27), 전자 디스플레이(12) 내의 타이밍 제어기(TCON), 하나 이상의 다른 프로세싱 유닛들 또는 회로부, 또는 이들의 임의의 조합 내에 포함될 수 있다. 추가로, 제어기(42)는 이미지 데이터 소스(38)로부터 수신된 이미지 데이터의 프로세싱을 동기화하고/하거나 보완하도록 구현될 수 있다. 그러한 제어기는 프로세서(44) 및/또는 메모리(46)를 포함할 수 있고, 별개의 회로부로서 구현되거나 다른 컴포넌트들에 통합될 수 있다. 예를 들어, 디스플레이 파이프라인(36)에서와 같이, 제어기(42)는 전자 디바이스(10) 내에, 예컨대 프로세서 코어 콤플렉스(18), 이미지 프로세싱 회로부(27), 하나 이상의 다른 프로세싱 유닛들 또는 회로부, 또는 이들의 임의의 조합에서 구현될 수 있다.
일부 실시예들에서, 이미지 데이터는 이미지 데이터 소스(38) 내의 소스 버퍼에 저장되고 디스플레이 파이프라인(36)에 의해 페칭될 수 있다. 일부 경우들에서, 전자 디바이스(10)는 이미지 데이터를 프로세싱하도록 구현된 하나 이상의 프로세싱 파이프라인들(예컨대, 디스플레이 파이프라인(36))을 포함할 수 있다. 프로세싱 파이프라인들 사이의 통신을 용이하게 하기 위해, 이미지 데이터는 프로세싱 파이프라인들 외부의 이미지 데이터 소스(38)에 저장될 수 있다. 그러한 경우들에서, 디스플레이 파이프라인(36)과 같은 프로세싱 파이프라인은 이미지 데이터 소스(38)(예컨대, 메모리(46), 메인 메모리 저장 디바이스(22), 및/또는 로컬 메모리) 내의 이미지 데이터를 판독(예컨대, 취출)하고/하거나 기록(예컨대, 저장)하는 직접 메모리 액세스(direct memory access, DMA) 블록을 포함할 수 있다.
제어기(42) 및 디스플레이 드라이버(40)는, 또한, 전자 디스플레이(12) 내에 존재하는 경우, 백라이트(48)에 동작가능하게 커플링될 수 있다. 예를 들어 액정 디스플레이(LCD)를 사용하는 전자 디바이스(10)와 같은 일부 실시예들에서, 디스플레이 픽셀들을 위한 광원처럼 작용하는 정적 또는 가변 광원, 및 이에 따른, 이미지들의 관찰을 제공하기 위해 백라이트(48)가 포함된다. 그러나, 일부 디스플레이(12)에서, 백라이트(48) 이외의 대안의 광원이 사용될 수 있다. 예를 들어, 유기 발광 다이오드(OLED) 디스플레이들은 자가-발광형 디스플레이 픽셀들을 가질 수 있다. 더욱이, 일부 실시예들은 자가-발광형 픽셀들 및 백라이트(48)와 같은 하나 초과의 광원을 포함할 수 있다.
디스플레이 파이프라인(36)에 의해 이미지 데이터 소스(38)로부터 취출(예컨대, 페칭)될 때, 이미지 데이터는 소스 공간에서 포맷화될 수 있다. 소스 공간은 이미지 데이터 소스(38)에 고유한 파일 포맷들 및/또는 코딩을 포함할 수 있다. 전자 디스플레이 상에 대응하는 이미지들의 디스플레이를 용이하게 하기 위해, 디스플레이 파이프라인(36)은 소스 공간으로부터 전자 디스플레이(12)에 의해 사용되는 디스플레이 공간으로 이미지 데이터를 맵핑할 수 있다. 상이한 타입들, 모델들, 크기들, 및 해상도의 디스플레이들은 상이한 디스플레이 공간들을 가질 수 있다.
추가로, 디스플레이 파이프라인(36)은, 예를 들어, 소스 공간으로부터 디스플레이 공간으로 이미지 데이터를 맵핑하기 위해, 다양한 이미지 프로세싱 동작들을 수행하는 하나 이상의 이미지 데이터 프로세싱 블록들(50)을 포함할 수 있다. 도시된 실시예에서, 이미지 데이터 프로세싱 블록들(50)은 픽셀 콘트라스트 제어(PCC) 블록(52) 및 디더(dither) 블록(53)을 포함한다. 일부 실시예들에서, 이미지 데이터 프로세싱 블록들(50)은 추가로 또는 대안으로 컬러 관리 블록, 블렌드 블록, 크롭(crop) 블록 등을 포함할 수 있다. 일부 실시예들에서, 디스플레이 파이프라인(36)은 더 많은, 더 적은, 조합된, 분할된, 그리고/또는 재순서화된 이미지 데이터 프로세싱 블록들(50)을 포함할 수 있다.
디더 블록(53)은 픽셀 컬러들 및 세기들을 전역적으로 그리고/또는 국부적으로 평활화하는 것을 도울 수 있다. 이러한 조정들은 양자화 오차를 보상하는 것을 도울 수 있다. 예를 들어, 디스플레이는 이미지 데이터의 풀 컬러 팔레트를 달성하지 못할 수 있다. 가장 가까운 컬러로 라운딩(rounding) 또는 추정하는 대신에, 디더 블록(53)은 로컬화된 픽셀들 사이에서 디스플레이의 컬러 팔레트의 컬러들을 상호얽히게 하여, 원래의 이미지 데이터를 근사화하고 관찰을 위해 더 심미적이고/이거나 투명하고/하거나 예리한 출력을 제공할 수 있다. 추가로 또는 대안으로, 디더 블록(53)은, 또한, 상이한 이미지들 상의 컬러들 및/또는 광 세기들을 교번시켜서 타깃화된(예컨대, 원하는) 컬러의 외관을 산출할 수 있는 시간적 디더링을 제공할 수 있다.
디스플레이 공간 이미지 데이터 및 환경 조건들, 예컨대 주변 조명의 특성들에 기초하여, PCC 블록(52)은 현재 및/또는 이전 프레임들로부터의 이미지 데이터를 분석하고 로컬 톤 맵들을 적용할 수 있다. 일부 실시예들에서, 로컬 톤 맵들은 이미지 데이터 특성들 및 환경 인자들에 기초하여 픽셀들의 컬러 및 밝기 레벨들을 조정할 수 있다.
예시를 돕기 위해, 도 7은, 입력 이미지 데이터(54)를 수신하고 출력 이미지 데이터(56)를 생성하는 PCC 블록(52)의 블록도이다. 도래하는 프레임의 입력 이미지 데이터(54)는 픽셀 통계치들(60)을 획득하기 위해 통계치 서브블록(58)에 의해 분석될 수 있다. 이러한 픽셀 통계치들(60)은 입력 이미지 데이터(54)의 콘텐츠를 나타내는 최소치들, 최대치들, 평균들, 히스토그램들, 및/또는 다른 정보를 포함할 수 있다. 추가로, 픽셀 통계치들(60)은 전역적으로 그리고/또는 국부적으로 결정될 수 있다. 픽셀 통계치들(60)은 픽셀 수정 서브블록(66)에서 이미지 입력 데이터(54)를 조정하기 위해 로컬 톤 맵들(64)을 결정하도록 PCC 제어기(62)에 의해 프로세싱될 수 있다. 이어서, 출력 이미지 데이터(56)는 추가로 프로세싱되고/되거나 디스플레이 드라이버(40)로 전송될 수 있다.
일부 실시예들에서, PCC 블록(52)은 하나 초과의 프로세싱 섹션들로 분할될 수 있다. 예를 들어, 통계치 서브블록(58) 및 픽셀 수정 서브블록(66)은 픽셀 콘트라스트 제어 프로세싱 회로부(예컨대, 하드웨어)에 의해 구현될 수 있고, PCC 제어기(62)는 유형적(tangible), 비일시적 컴퓨터 판독가능 매체에 저장된 명령어들(예컨대, 펌웨어)을 실행하는 프로세서로 구현될 수 있다. 일부 실시예들에서, PCC 제어기(62)는 전용 프로세서 또는 마이크로프로세서를 포함할 수 있다. 추가로 또는 대안으로, PCC 제어기(62)는 프로세싱 리소스들을 제어기(42), 프로세서 코어 컴플렉스(18) 등과 공유할 수 있다.
일부 실시예들에서, 통계치 서브블록(58)은 픽셀 통계치들(60)이 프로세싱을 위해 이용가능할 때 PCC 제어기(62)에 인터럽트 신호를 통신할 수 있다. 추가로, 픽셀 통계치들(60)에 적어도 부분적으로 기초하여 로컬 톤 맵들(64)을 결정한 이후, PCC 제어기(62)는 로컬 톤 맵들(64)을 픽셀 수정 서브블록(66)에 의해 액세스가능한 레지스터들에 저장할 수 있다. 추가로, 동작을 동기화하는 것을 용이하게 하기 위해, PCC 제어기(62)는 로컬 톤 맵들(64)이 업데이트되었고 적용될 준비가 되었음을 픽셀 수정 서브블록(66)에 나타낼 수 있다.
도 8은 PCC 블록(52)의 동작의 개요를 예시하는 흐름도(68)이다. PCC 블록(52)은 프레임에 대한 입력 이미지 데이터(54)를 수신하고(프로세스 블록(70)), 프레임 내의 하나 이상의 활성 영역들을 결정한다(프로세스 블록(72)). 활성 영역(들)은 인지되는 콘트라스트를 제어하기 위해 고려되도록 요구되는 프레임의 영역들일 수 있다. 이어서, PCC 블록(52)의 통계치 서브블록(58)은 활성 영역에 대한 전역 통계치들을 결정할 수 있다(프로세스 블록(74)). 프레임의 하나 이상의 세트들의 로컬 윈도우들이 또한 결정되어(프로세스 블록(76)), 각각의 로컬 윈도우에 대한 로컬 통계치들이 결정될 수 있게 할 수 있다(프로세스 블록(78)). 이어서, 전역 및 로컬 통계치들로부터, 로컬 톤 맵들(64)이 결정될 수 있고(프로세스 블록(80)), 입력 이미지 데이터(54)에 적용될 수 있다(프로세스 블록(82)).
예시를 돕기 위해, 도 9는 활성 영역(86)이 정의되는 입력 이미지 데이터(54)의 예시적인 이미지 프레임(84)이다. 전술된 바와 같이, 활성 영역(86)은 이미지 프레임(84)의 나머지와는 별개로 PCC 프로세싱을 포함할 이미지 프레임(84)의 영역일 수 있다. 예를 들어, 활성 영역들(86)은 자막, 일정한 컬러 섹션들(예컨대, 레터박스들) 등을 포함하는 이미지 프레임(84)의 영역들을 배제하거나 그로부터 분리될 수 있다. 추가로, 활성 영역(86)은 픽처-인-픽처(picture-in-picture)들 또는 분할 스크린(split-screen)을 통해 분리되는 이미지 프레임(84)의 일부분을 포함할 수 있다. 일부 실시예들에서, 활성 영역(86)은 풀 이미지 프레임(84)을 포함할 수 있다.
어느 경우든, 하나 이상의 세트들의 로컬 윈도우들(88)은 활성 영역(85)에 적어도 부분적으로 기초하여 정의될 수 있다. 예를 들어, 제1 세트는 활성 영역(86)을 완전히 둘러싸도록 정의될 수 있다. 실제로, 일부 실시예들에서, 제1 세트는 활성 영역(86) 외부의 이미지 프레임(84)의 부분들을 포함하는 에지 윈도우(90)를 포함할 수 있다. 픽셀 통계치들(60)이 활성 영역(86) 내의 에지 윈도우들(90)의 부분으로부터 인출되어야 하지만, 그럼에도 불구하고, 일부 실시예들에서, 픽셀 통계치들(60)은 활성 영역(86) 외부에서 수집될 수 있다.
추가로 또는 대안으로, 제2 세트는 그것이 활성 영역(86) 내에 완전히 둘러싸이도록 정의될 수 있다. 일부 실시예들에서, 제2 세트에 포함된 로컬 윈도우들(88)은 장면 변화의 발생을 검출하는 것을 용이하게 하기 위해 사용될 수 있다. 또한, 일부 실시예들에서, 제2 세트에 포함된 로컬 윈도우들(88)은, 예를 들어 그들이 상이하게 정렬되고/되거나 오프셋되도록 제1 세트에 포함된 로컬 윈도우들(88)과는 상이할 수 있다. 다른 실시예들에서, 단일 세트의 로컬 윈도우들(88)이 사용될 수 있다.
전술된 바와 같이, 로컬 및 전역 통계치들은 통계치 서브블록(58)에 의해 결정될 수 있다. 추가로, 로컬 통계치들 및 전역 통계치들 둘 모두는 최대치들, 평균들, 히스토그램들, 및/또는 다른 원하는 픽셀 통계치들(60)을 포함할 수 있다. 도 10은 픽셀 통계치들(60)을 결정하기 위한 프로세스의 일례의 개요를 설명하는 블록도(94)이다. 입력 이미지 데이터(54)는 통계치 서브블록(58)에 의해 수신될 수 있다(프로세스 블록(96)). 입력 이미지 데이터(54)는, 각각이 대응하는 디스플레이 픽셀에 위치된 각각의 컬러 성분들(예컨대, 적색, 녹색, 및 청색)의 타깃 휘도를 나타내는 픽셀들을 이미징할 수 있다.
하나의 세트의 픽셀 통계치들(60)을 찾는 데 있어서, 각각의 픽셀에 대한 컬러 성분들의 최대 세기 레벨이 결정된다(프로세스 블록(98)). 각각의 픽셀의 최대 세기 레벨은 컬러 성분들(예컨대, 적색, 녹색, 또는 청색) 중 임의의 것으로부터의 것일 수 있고, 로컬 통계치들 및 전역 통계치들 둘 모두를 생성하는 데 사용될 수 있다. 로컬 윈도우(88) 내의 각각의 픽셀의 최대 세기 레벨들은 전체 최대 세기 레벨뿐만 아니라 최대치 사이의 평균 세기 레벨, 즉 평균 최대치를 찾기 위해 사용될 수 있다(프로세스 블록(100)). 전술된 바와 같이, 결정된 픽셀 통계치들(60)은, 이어서, 로컬 톤 맵들(64)의 계산을 위해 PCC 제어기(62)로 전송된다(프로세스 블록(102)). 일부 실시예들에서, 각각의 최대 세기 레벨은 대응하는 픽셀에 대한 최대 감마 값으로 인코딩될 수 있다(프로세스 블록(104)). 이러한 인코딩은 컬러 성분 세기 레벨들을 비선형 공간으로 변환하여 사람의 눈에 인지가능한 차이들을 증가시킬 수 있다. 최대 세기 레벨들을 사용하든 최대 감마 값들을 사용하든, 최대치들의 전역 히스토그램이 생성될 수 있고(프로세스 블록(106)), PCC 제어기(62)로 전송될 수 있다(프로세스 블록(102)).
추가로 또는 대안으로, 전체 입력 이미지 데이터(54)의 컬러 성분 세기들은 추가 통계치들을 수집하기 전에 감마 값들로 인코딩될 수 있다(프로세스 블록(108)). 인코딩이 요구되지 않는 경우, 감마 값들 또는 컬러 성분 세기들은 또한 각각의 이미지 픽셀에 대한 루마 값들을 결정하는 데 사용될 수 있다(프로세스 블록(110)). 루마 값들은 대응하는 디스플레이 픽셀의 휘도 또는 발광에 대응할 수 있다. 이와 같이, 상이한 컬러 성분들에 대해 보정 계수들이 사용될 수 있다.
일부 실시예들에서, 각각의 이미지 픽셀의 상이한 컬러 성분들의 최대 루마 값 및/또는 상이한 컬러 성분들 사이의 평균 루마 값이 계산될 수 있다. 더욱이, 명과 암 사이의 전이들을 시간적으로 그리고/또는 공간적으로 평활화하기 위해 최대 및 평균 루마 값들의 혼합이 또한 계산될 수 있다. 일부 실시예들에서, 적어도 최소 루마 레벨을 유지하기 위해 평균 루마 값들 및/또는 혼합된 루마 값들에 대해 바닥 값(floor value)이 확립될 수 있다. 이들 최대 루마 값들, 평균 루마 값들, 및 혼합된 루마 값들은 활성 영역(86) 전체에 걸쳐서 전역 히스토그램들을 계산하고/하거나(프로세스 블록(112)), 각각의 로컬 윈도우들(88) 사이에서의 로컬 히스토그램들을 계산하기 위해(프로세스 블록(114)) 사용될 수 있다. 추가로, 일부 실시예들에서, 필터(예컨대, 저역 통과)는 PCC 제어기(62)로 전송되기(프로세스 블록(102)) 전에 공간적 이상치(outlier)들을 평활화하는 것을 용이하게 하기 위해 하나 이상의 히스토그램들(예컨대, 로컬 히스토그램들)에 적용될 수 있다(프로세스 블록(116)).
전술된 바와 같이, 평균, 최대, 및/또는 혼합된 루마 값들은 로컬 톤 맵들(64)을 생성하기 위해 PCC 제어기(62)에 의해 사용될 수 있다. 일부 경우들에서, 입력 이미지 데이터(54)는 고도로 포화된 컬러들을 포함할 수 있다. 높은 순색량(color content)을 갖지만, 고도로 포화된 컬러들의 광 출력은 매우 높지 않을 수 있다.
도 11은 어느 루마 값을 사용할지를 선택하는 것을 예시하는 데 도움을 주기 위한 흐름도(118)이다. 픽셀, 로컬 윈도우(88), 또는 활성 영역(86)의 타깃 밝기 레벨이 결정될 수 있다(프로세스 블록(120)). 이러한 타깃 밝기 레벨은 픽셀, 로컬 윈도우(88), 또는 활성 영역(86)의 원하는 광 출력에 기초하여 결정될 수 있다. 이와 같이, 각각의 이미지 픽셀에 대한 루마 값은, 개별적으로 선택될 수 있거나, 로컬 윈도우(88)에 의해 그룹화될 수 있거나, 활성 영역(86)에 의해 그룹화될 수 있거나, 또는 이미지 프레임(84)으로서 함께 선택될 수 있다. 타깃 밝기가 하위 임계치보다 작은 경우(결정 블록(122)), 루마 값은 평균 루마 값으로서 설정될 수 있다(프로세스 블록(124)). 타깃 밝기가 상위 임계치보다 큰 경우(결정 블록(126)), 루마 값은 최대 루마 값으로서 설정될 수 있다(프로세스 블록(128)). 더욱이, 타깃 밝기 레벨이 임계치들 사이에 있는 경우, 루마 값은 혼합된 루마 값으로 설정될 수 있다. 일부 실시예들에서, 로컬 톤 맵들(64)을 생성할 때 혼합된 또는 평균 루마 값들 대신에 최대 루마 값들을 사용하는 것이 바람직할 수 있는데, 이는 최대 루마 값을 사용하는 것이 컬러 성분 변화들을 감소시킬 수 있기 때문이다. 그러나, 평균 및/또는 혼합된 루마 값들은 그레이 레벨에서의 부스트(boost)를 산출하여, 이에 의해, 컬러 성분 세기들에 대해 상대적으로 더 많은 변화들을 행함으로써 인지되는 콘트라스트를 보존할 수 있다.
일단 수신되면, PCC 제어기(62)는 픽셀 통계치들(60)에 적어도 부분적으로 기초하여 로컬 톤 맵들(64)을 생성할 수 있다. 도 12는 로컬 톤 맵들(64)의 생성을 예시하는 흐름도(132)이다. PCC 제어기(62)는 로컬 톤 맵들(64)을 인자로 포함하기 위해 환경 조건들(예컨대, 주변 조명)을 결정할 수 있다(프로세스 블록(134)). PCC 제어기(62)는, 또한, 통계치 서브블록(58)으로부터 픽셀 통계치들(60)을 수신한다(프로세스 블록(136)). 환경 조건들 및 픽셀 통계치들(60)(예컨대, 전역 최대 히스토그램, 전역 루마 히스토그램, 로컬 히스토그램 등)로부터, PCC 제어기(62)는 디밍 인자를 결정할 수 있고(프로세스 블록(138)), 톤 맵들을 결정할 수 있다(프로세스 블록(140)). 일부 실시예들에서, 로컬 톤 맵들(64)은 컬러 성분 및 광 출력 세기들을 평활화하는 것을 용이하게 하기 위해, 예를 들어 저역 통과 필터를 사용하여 필터링될 수 있다(프로세스 블록(142)). 이어서, 이러한 로컬 톤 맵들(64)은 입력 이미지 데이터(54)에 적용하기 위해 픽셀 수정 서브블록(66)으로 전송될 수 있다. 로컬 톤 맵들(64)은 픽셀당 또는 로컬 윈도우들(88) 및/또는 활성 영역들(86)을 통해 적용될 수 있다. 추가로, 일부 실시예들에서, 디밍 인자는, 장착되는 경우, 전자 디스플레이(12)의 백라이트(48)에, 또는 자가-발광 디스플레이 픽셀들에 대한 전류 및/또는 전압 레벨들에 영향을 미치는 데 사용될 수 있다. 추가의 시간적 필터가 급작스러운 조명 변화들의 가능성을 감소시키기 위해 그러한 조명 효과들에 적용될 수 있다.
로컬 톤 맵들(64)을 생성하기 위해, PCC 제어기(62)는 시간적 및/또는 공간적 필터들을 채용할 수 있다. 예를 들어, 시간적 필터들은 컬러 성분 인자 변화들뿐만 아니라 매끄러운 광 출력 변화들(예컨대, 백라이트(48) 변화들)을 허용할 수 있다. 추가로, 시간적 필터들은 시간 경과에 따른 매끄러운 톤 곡선 변화들을 허용할 수 있다. 일부 실시예들에서, 시간적 필터는 하나 이상의 이전 프레임들로부터의 픽셀 통계치들(60)을 사용할 수 있다. 그러나, 시간적 필터링의 효과들로 인해, 장면 변화가 발생하는 경우, 시간적 필터링이 리셋되지 않는다면, 컬러 또는 조명 효과들에서의 아티팩트들 및/또는 원하지 않는 변화들이 발생할 수 있다. 장면 변화 식별은 픽셀 통계치(예컨대, 전역 통계치) 분석의 일부로서 행해질 수 있다. 예를 들어, 입력 이미지 데이터(54)의 전역 히스토그램이 이전 프레임의 것과는 상당히 상이한 경우, 장면 변화가 발생했을 수 있다.
이제 도 7을 다시 참조하면, 전술된 바와 같이, 통계치 서브블록(58)은 픽셀 통계치들(60)을 PCC 제어기(62)에 제공하여 로컬 톤 맵들(64)을 생성한다. 일부 실시예들에서, PCC 블록(52)은 픽셀 통계치들(60)을 수집할 수 있고, 출력 이미지 데이터(54)를 동시에 보간할 수 있다. 이와 같이, 이것은 현재 프레임에 대응하는 이미지 데이터에 대해 이전 프레임과 연관된 픽셀 통계치들(60)에 기초하여 결정되는 로컬 톤 맵들(64)의 사용을 가져올 수 있다. 시간적 필터들은 프레임들(84) 사이의 임의의 차이들을 평활화하는 것을 용이하게 할 수 있다. 그러나, 장면 변화는 후속 프레임까지 검출되지 않을 수 있다. 이와 같이, 장면 변화가 발생할 때, 이러한 프레임 지연은 전술된 아티팩트들, 또는 시간적 필터링으로 인한 원하지 않는 컬러 및/또는 조명 효과 변화들과 혼합될 수 있다. 시간적 필터링이 다수의 프레임들에 걸쳐서 달성될 수 있기 때문에, 그것은 발생하는 문제들을 보정하기 위해 다수의 프레임들을 취할 수 있다.
장면 변화의 영향들을 최소화하기 위해, 2개 세트들의 톤 맵들이 PCC 제어기(62)에 의해 생성될 수 있다. 하나의 세트의 로컬 톤 맵들(64)은 이전 프레임들(84)로부터의 시간적 필터링을 포함할 수 있는 반면, 제2 세트의 로컬 톤 맵들(64)은 시간적 필터들이 리셋되게 하여, 이에 의해, 이전 프레임들(84)을 고려하지 않을 수 있다. 그럼에도 불구하고, 장면 변화가 검출될 때, 시간적으로 필터링된 로컬 톤 맵들(64)이 적용될 수 있지만, 인지가능한 시각적 아티팩트들을 생성할 가능성은 시간적 필터링 없이 로컬 톤 맵들(64)을 적용함으로써 감소될 수 있다. 이는, 시간적 필터링으로 인한 지연의 추가 없이 위에서 개요가 서술된 바와 같은 단일 프레임 지연 아티팩트들을 초래할 수 있다. 일부 실시예들에서, 더 빠른 프로세싱은 프레임 지연을 추가로 감소시킬 수 있다. 더욱이, 대체적으로, 단일 프레임 이상치는 구현(예컨대, 프레임 레이트)에 따라 사람의 눈에 의해 인지될 때 허용가능할 수 있다.
추가의 예시를 돕기 위해, 도 13은 픽셀 수정 서브블록(66)의 예시적인 동작을 도시하는 흐름도(144)이다. 픽셀 수정 서브블록(66)은 시간적으로 필터링된 로컬 톤 맵들 및 비-시간적으로 필터링된 로컬 톤 맵들(64)을 수신할 수 있다(프로세스 블록(146)). 이어서, 장면 변화가 발생했는지 여부가 결정될 수 있다(결정 블록(148)). 장면 변화가 발생한 경우, 비-시간적으로 필터링된 로컬 톤 맵들(64)이 입력 이미지 데이터(54)에 적용되고(프로세스 블록(150)), 시간적으로 필터링된 로컬 톤 맵들(64)은 장면 변화가 검출되지 않는 경우에 적용된다(프로세스 블록(152)). 일부 실시예들에서, 장면 변화가 검출되는 경우, 시간적으로 필터링된 톤 맵들(64) 및/또는 비-시간적으로 필터링된 로컬 톤 맵들(64)의 상이한 가중화가 적용될 수 있다. 적절한 로컬 톤 맵들(64)을 적용할 때, 픽셀 수정 서브블록(66)은 톤 맵핑된 이미지 데이터를 보간할 수 있다(프로세스 블록(154)).
톤 맵핑된 이미지 데이터, 출력 이미지 데이터(56)는 도 14의 프레임 그리드(156)에 의해 도시된 바와 같이 인터페이스들 및 경계들을 평활화하기 위해 활성 영역(86) 내에서 공간적으로 보간될 수 있다. 로컬 톤 맵들(64)은, 활성 영역(86) 내부에 놓이는 내부 픽셀 위치들(158) 및 활성 영역(86) 외부에 놓이는 외부 픽셀 위치들(160)의 2차원 프레임 그리드(156) 상에 특정될 수 있다. 프레임 그리드(156)가 로컬 윈도우들(88)과 정렬될 필요가 없지만, 일부 실시예들에서, 내부 픽셀 위치(158)는 로컬 윈도우들(88)의 중심에 대응한다.
어느 경우든, 픽셀 수정 서브블록(66)은 각각의 내부 픽셀 위치(158)에 대응하는 하나 이상의 로컬 톤 맵들(64)을 수신할 수 있다. 활성 영역(86) 내에 놓이는 이미지 픽셀들에 대해, 하나 이상(예컨대, 4개)의 둘러싸는 로컬 톤 맵들(64)이 적용될 수 있고, 그 결과들은 출력 이미지 데이터(56)를 결정하기 위해 로컬 톤 맵들(64) 사이의 거리들에 적어도 부분적으로 기초하여 보간될 수 있다. 활성 영역(86) 외부의 이미지 픽셀들에 대해, 입력 이미지 데이터(54)는 단지 출력 이미지 데이터(56)에 복사될 수 있다. 유사하게, PCC 블록(52)이 디스에이블되는 경우, 출력 이미지 데이터(56)는 입력 이미지 데이터(54)와 동일할 수 있다.
PCC 블록(52)을 디스에이블하는 것이 바람직한 경우, 추가의 시간적 필터가 출사 단계에서의 광 출력 레벨에 적용될 수 있다. PCC 블록(52)이 광 출력 레벨(예컨대, 백라이트(48) 레벨, 자가-발광형 픽셀 레벨 등)을 조정했을 수 있기 때문에, 출사 단계는 광 출력 레벨의 급격한 변화들을 피하기 위해 원하는 대로 천천히 램프업 또는 램프다운할 수 있다. 유사하게, 입사 단계는, 또한, 광 출력 레벨을 시간적으로 조정하여 원하는 대로 레벨을 조정할 수 있다. 추가로, 입사 단계는 픽셀 통계치들(60)이 수집될 때까지 하나 이상의 프레임들에 대해 픽셀 보간을 건너뛸 수 있다.
인에이블될 때, PCC 블록(52)은 주변 광과 같은 환경 인자들을 고려하면서 전자 디스플레이(12) 상에 보여지는 프레임들(84)의 인지되는 콘트라스트 레벨을 증가시키도록 동작한다. 전자 디스플레이(12)의 타입(예컨대, OLED, LCD, 플라즈마 등)에 따라, 추가의 이득들이 또한 마찬가지로 얻어질 수 있다. 예를 들어, 일부 디스플레이들(12)(예컨대, LCD)은 픽셀들과 별개로 제어되는 백라이트(48)의 출력 레벨을 감소시킴으로써 전력 절감을 산출할 수 있다.
전술된 흐름도들이 주어진 순서로 도시되어 있지만, 소정 실시예들에서, 결정 및 프로세스 블록들은 동시에 재정렬되고/되거나, 변경되고/되거나, 삭제되고/되거나 발생할 수 있다. 추가로, 언급된 흐름도들은 예시적인 도구들로서 주어지며, 추가 결정 및 프로세스 블록들이 또한 원하는 대로 추가될 수 있다.
위에서 설명된 특정 실시예들은 예로서 도시되었으며, 이들 실시예들은 다양한 변경들 및 대안적인 형태들을 받아들일 수 있다는 것이 이해되어야 한다. 청구항들은 개시된 특정 형태들로 한정하고자 하는 것이 아니라, 오히려 본 발명의 사상 및 범주 내에 속하는 모든 수정들, 등가물들, 및 대안들을 커버하도록 의도된다는 것이 추가로 이해되어야 한다.
본 명세서에서 제시되고 청구된 기술들은 본 기술분야를 명백히 개선하고 그러므로 추상적이거나 무형이거나 순수하게 이론적이지 않은 실용적인 속성의 물질적인 대상들 및 구체적인 예들을 참조하고 그에 적용된다. 추가로, 본 명세서의 말단에 첨부된 임의의 청구항들이 "[기능]을 [수행]하기 위한 수단 ..." 또는 "[기능]을 [수행]하기 위한 단계..."로 지정된 하나 이상의 요소들을 포함하면, 그러한 요소들은 35 U.S.C. 112(f) 하에서 해석될 것이라고 의도된다. 그러나, 임의의 다른 방식으로 지정된 요소들을 포함하는 임의의 청구항들에 대해, 그러한 요소들은 35 U.S.C. 112(f) 하에서 해석되지 않을 것이라고 의도된다.

Claims (22)

  1. 이미지 데이터 소스와 디스플레이 패널 사이에 커플링되도록 구성된 디스플레이 파이프라인을 포함하는 전자 디바이스로서, 상기 디스플레이 파이프라인은,
    회로 접속부들을 포함하는 픽셀 콘트라스트 제어 프로세싱 회로부 ― 상기 픽셀 콘트라스트 제어 프로세싱 회로부는,
    현재 이미지 프레임 동안 상기 디스플레이 패널 상에 구현된 대응하는 디스플레이 픽셀의 초기 타깃 휘도를 나타내는 수신된 이미지 데이터에 적어도 부분적으로 기초하여 상기 현재 이미지 프레임의 콘텐츠를 나타내는 제1 픽셀 통계치들을 결정하도록; 그리고
    상기 현재 이미지 프레임 동안 상기 대응하는 디스플레이 픽셀의 수정된 타깃 휘도를 나타내는 수정된 이미지 데이터를 결정하기 위해, 이전 이미지 프레임과 연관된 제2 픽셀 통계치들에 적어도 부분적으로 기초하여 결정된 제1 복수의 로컬 톤 맵들을 적용하도록 프로그래밍되고,
    상기 제1 픽셀 통계치들을 결정하는 것은,
    상기 현재 이미지 프레임에서 제1 세트의 로컬 윈도우들을 포함하는 활성 영역을 결정하는 것;
    상기 현재 이미지 프레임 내의 하나의 이미지 픽셀과 각각 연관된 복수의 루마 값들을 결정하는 것;
    상기 활성 영역 내의 각각의 이미지 픽셀과 연관된 루마 값들에 적어도 부분적으로 기초하여 제1 전역 루마 히스토그램을 결정하는 것; 및
    상기 제1 세트의 로컬 윈도우들 중 대응하는 로컬 윈도우 내의 각각의 이미지 픽셀과 연관된 루마 값들에 적어도 부분적으로 기초하여 상기 대응하는 로컬 윈도우와 각각 연관된 복수의 로컬 루마 히스토그램들을 결정하는 것을 포함함 ―; 및
    상기 픽셀 콘트라스트 제어 프로세싱 회로부에 커플링된 픽셀 콘트라스트 제어 제어기 ― 상기 픽셀 콘트라스트 제어 제어기는 상기 픽셀 콘트라스트 제어 프로세싱 회로부로부터 수신된 상기 제1 픽셀 통계치들에 적어도 부분적으로 기초하여 다음 이미지 프레임 동안 적용될 제2 복수의 로컬 톤 맵들을 결정하기 위해 펌웨어 명령어들을 실행하도록 프로그래밍됨 ― 를 포함하는, 전자 디바이스.
  2. 제1항에 있어서, 상기 활성 영역은 자막, 픽처-인-픽처(picture-in-picture) 영역, 일정한 컬러, 또는 이들의 조합을 포함하는 상기 현재 이미지 프레임의 부분들을 배제하는, 전자 디바이스.
  3. 제2항에 있어서, 상기 제2 복수의 로컬 톤 맵들을 결정하기 위해, 상기 픽셀 콘트라스트 제어 제어기는,
    상기 이전 이미지 프레임과 연관된 제2 전역 루마 히스토그램을 결정하도록; 그리고
    상기 현재 이미지 프레임과 연관된, 상기 복수의 로컬 루마 히스토그램들 중 대응하는 로컬 루마 히스토그램 및 상기 제2 전역 루마 히스토그램에 적어도 부분적으로 기초하여 상기 제2 복수의 로컬 톤 맵들 각각을 결정하도록 프로그래밍되는, 전자 디바이스.
  4. 제2항에 있어서, 상기 제1 픽셀 통계치들을 결정하기 위해, 상기 픽셀 콘트라스트 제어 프로세싱 회로부는,
    상기 현재 이미지 프레임의 활성 영역 내에 완전히 둘러싸이는 제2 세트의 로컬 윈도우들을 결정하도록;
    상기 수신된 이미지 데이터에 적어도 부분적으로 기초하여 상기 현재 이미지 프레임 내의 하나의 이미지 픽셀과 각각 연관된 복수의 최대 컬러 성분 값들을 결정하도록;
    상기 활성 영역 내의 이미지 픽셀들과 연관된 상기 복수의 최대 컬러 성분 값들에 적어도 부분적으로 기초하여 제1 전역 최대 컬러 성분 히스토그램을 결정하도록; 그리고
    상기 제2 세트의 로컬 윈도우들 중 제2 대응하는 로컬 윈도우 내의 각각의 이미지 픽셀과 연관된 최대 컬러 성분 값에 적어도 부분적으로 기초하여 상기 제2 대응하는 로컬 윈도우와 각각 연관된 제1 복수의 가장 큰 최대 컬러 성분 값들 및 제1 복수의 평균 최대 컬러 성분 값들을 결정하도록 프로그래밍되는, 전자 디바이스.
  5. 제4항에 있어서, 상기 픽셀 콘트라스트 제어 프로세싱 회로부는,
    상기 현재 이미지 프레임과 연관된 상기 제1 전역 최대 컬러 성분 히스토그램과 상기 이전 이미지 프레임과 연관된 제2 전역 최대 컬러 성분 히스토그램 사이의 비교;
    상기 현재 이미지 프레임과 연관된 상기 제1 복수의 가장 큰 최대 컬러 성분 값들과 상기 이전 이미지 프레임과 연관된 제2 복수의 가장 큰 최대 컬러 성분 값들 사이의 비교;
    상기 현재 이미지 프레임과 연관된 상기 제1 복수의 평균 최대 컬러 성분 값들과 상기 이전 이미지 프레임과 연관된 제2 복수의 평균 최대 컬러 성분 값들 사이의 비교; 또는
    이들의 임의의 조합에 적어도 부분적으로 기초하여 상기 이전 이미지 프레임과 상기 현재 이미지 프레임 사이에 장면 변화가 발생했는지의 여부를 결정하도록 프로그래밍되는, 전자 디바이스.
  6. 삭제
  7. 제1항에 있어서, 상기 제1 복수의 로컬 톤 맵들을 적용하기 위해, 상기 픽셀 콘트라스트 제어 프로세싱 회로부는,
    상기 픽셀 콘트라스트 제어 프로세싱 회로부가 상기 이전 이미지 프레임 직전에 장면 변화가 발생했다고 결정할 때 상기 수신된 이미지 데이터에 제1 로컬 톤 맵을 적용하도록; 그리고
    상기 픽셀 콘트라스트 제어 프로세싱 회로부가 상기 이전 이미지 프레임 직전에 장면 변화가 발생했다고 결정하지 않을 때 상기 이전 이미지 프레임에서 적용되는 제2 로컬 톤 맵으로 상기 제1 로컬 톤 맵을 시간적으로 필터링함으로써 결정된 시간적으로 필터링된 톤 맵을 상기 수신된 이미지 데이터에 적용하도록 프로그래밍되는, 전자 디바이스.
  8. 제1항에 있어서, 상기 제1 복수의 로컬 톤 맵들을 적용하기 위해, 상기 픽셀 콘트라스트 제어 제어기는,
    상기 수신된 이미지 데이터와 연관된 제1 픽셀 위치를 결정하도록;
    제2 픽셀 위치와 연관된, 상기 제1 복수의 로컬 톤 맵들 중 제1 로컬 톤 맵을 결정하도록;
    상기 제1 로컬 톤 맵을 상기 수신된 이미지 데이터에 적용하여 제1 결과를 결정하도록;
    제3 픽셀 위치와 연관된, 상기 제1 복수의 로컬 톤 맵들 중 제2 로컬 톤 맵을 결정하도록;
    상기 제2 로컬 톤 맵을 상기 수신된 이미지 데이터에 적용하여 제2 결과를 결정하도록; 그리고
    상기 제1 픽셀 위치와 상기 제2 픽셀 위치 사이의 제1 거리 및 상기 제1 픽셀 위치와 상기 제3 픽셀 위치 사이의 제2 거리에 적어도 부분적으로 기초한 상기 제1 결과 및 상기 제2 결과의 보간에 적어도 부분적으로 기초하여 상기 수정된 이미지 데이터를 결정하도록 프로그래밍되는, 전자 디바이스.
  9. 제8항에 있어서, 상기 제1 복수의 로컬 톤 맵들을 적용하기 위해, 상기 픽셀 콘트라스트 제어 제어기는,
    제3 픽셀 위치와 연관된, 상기 제1 복수의 로컬 톤 맵들 중 제3 로컬 톤 맵을 결정하도록;
    상기 제3 로컬 톤 맵을 상기 수신된 이미지 데이터에 적용하여 제3 결과를 결정하도록;
    제4 픽셀 위치와 연관된, 상기 제1 복수의 로컬 톤 맵들 중 제4 로컬 톤 맵을 결정하도록;
    상기 제4 로컬 톤 맵을 상기 수신된 이미지 데이터에 적용하여 제4 결과를 결정하도록; 그리고
    상기 수정된 이미지 데이터를,
    상기 제1 픽셀 위치와 상기 제2 픽셀 위치 사이의 제1 거리 및 상기 제1 픽셀 위치와 상기 제3 픽셀 위치 사이의 제2 거리에 적어도 부분적으로 기초하여 상기 제1 결과 및 상기 제2 결과를 보간하여 제1 중간 결과를 결정하고;
    상기 제1 픽셀 위치와 상기 제3 픽셀 위치 사이의 제3 거리 및 상기 제1 픽셀 위치와 상기 제4 픽셀 위치 사이의 제4 거리에 적어도 부분적으로 기초하여 상기 제3 결과 및 상기 제4 결과를 보간하여 제2 중간 결과를 결정하고;
    상기 제1 중간 결과 및 상기 제2 중간 결과를 보간함으로써 결정하도록 프로그래밍되는, 전자 디바이스.
  10. 제1항에 있어서, 상기 전자 디바이스는 휴대용 전화, 미디어 플레이어, 개인용 데이터 오거나이저(personal data organizer), 핸드헬드 게임 플랫폼, 태블릿 디바이스, 컴퓨터, 또는 이들의 임의의 조합을 포함하는, 전자 디바이스.
  11. 전자 디스플레이의 인지되는 콘트라스트, 광 출력 레벨, 또는 이들의 조합을 조정하기 위해 이미지 데이터를 프로세싱하는 방법으로서,
    전자 디바이스의 픽셀 콘트라스트 제어 블록을 통해, 상기 이미지 데이터를 수신하는 단계;
    상기 픽셀 콘트라스트 제어 블록을 통해, 상기 이미지 데이터로부터 픽셀 통계치들을 결정하는 단계 ― 상기 픽셀 통계치들은 적어도 하나의 픽셀에 대한 루마 레벨을 포함하고, 상기 적어도 하나의 픽셀에 대한 상기 루마 레벨은 제1 밝기 임계치 및 제2 밝기 임계치에 대한 타깃 밝기의 값에 적어도 부분적으로 기초하여 평균 루마 레벨, 최대 루마 레벨, 및 혼합된 루마 레벨 중 하나로부터 선택되고, 상기 혼합된 루마 레벨은 상기 적어도 하나의 픽셀에 대한 상기 최대 루마 레벨과 상기 평균 루마 레벨의 조합을 포함함 ―;
    상기 픽셀 콘트라스트 제어 블록을 통해, 적어도 부분적으로 상기 픽셀 통계치들로부터 하나 이상의 톤 맵들을 결정하는 단계;
    상기 하나 이상의 톤 맵들을 상기 이미지 데이터에 적용하는 단계; 및
    상기 픽셀 콘트라스트 제어 블록을 통해, 상기 하나 이상의 톤 맵들이 적용된 상기 이미지 데이터를 전자 디스플레이에 출력하는 단계를 포함하는, 방법.
  12. 제11항에 있어서, 상기 픽셀 콘트라스트 제어 블록을 통해, 디밍(dimming) 인자를 결정하는 단계를 포함하고, 상기 디밍 인자는 상기 전자 디스플레이의 광원의 광 출력 레벨을 설정하도록 구성되는, 방법.
  13. 제12항에 있어서, 상기 디밍 인자는 상기 광 출력 레벨의 변화들을 평활화하도록 시간적으로 필터링되는, 방법.
  14. 제11항에 있어서, 상기 하나 이상의 톤 맵들은, 적어도 부분적으로 환경 인자들에 대해 결정되고, 상기 환경 인자들은 주변 조명 조건을 포함하는, 방법.
  15. 제11항에 있어서, 상기 픽셀 통계치들의 적어도 일부분은 상기 이미지 데이터의 공간적 이상치(outlier)들을 평활화하기 위해 저역 통과 필터를 통해 프로세싱되는, 방법.
  16. 전자 디스플레이 상의 인지되는 콘트라스트를 증가시키기 위해 이미지 데이터를 프로세싱하는 방법으로서,
    전자 디바이스의 픽셀 콘트라스트 제어 블록을 통해, 상기 이미지 데이터로부터 픽셀 통계치들을 결정하는 단계;
    상기 픽셀 콘트라스트 제어 블록을 통해, 상기 픽셀 통계치들에 적어도 부분적으로 기초하여 제1 세트의 톤 맵들을 결정하는 단계 ― 상기 제1 세트의 톤 맵들은 시간적으로 필터링됨 ―;
    상기 픽셀 콘트라스트 제어 블록을 통해, 상기 픽셀 통계치들에 적어도 부분적으로 기초하여 제2 세트의 톤 맵들을 결정하는 단계 ― 상기 제2 세트의 톤 맵들은 시간적으로 필터링되지 않음 ―; 및
    상기 픽셀 콘트라스트 제어 블록을 통해, 상기 제1 세트의 톤 맵들 또는 상기 제2 세트의 톤 맵들 중 어느 하나를 상기 이미지 데이터에 적용하는 단계를 포함하는, 방법.
  17. 제16항에 있어서, 상기 픽셀 통계치들로부터 장면 변화를 결정하는 것에 응답하여, 상기 제2 세트의 톤 맵들을 적용하는 단계를 포함하는, 방법.
  18. 제16항에 있어서, 상기 픽셀 통계치들을 결정하는 단계는 상기 이미지 데이터를 비선형 감마 공간으로 변환하는 단계를 포함하는, 방법.
  19. 제16항에 있어서, 상기 제1 세트의 톤 맵들 또는 상기 제2 세트의 톤 맵들은 프레임 그리드(frame grid)에 걸쳐서 상기 이미지 데이터에 적용되는, 방법.
  20. 제19항에 있어서, 상기 제1 세트의 톤 맵들 또는 상기 제2 세트의 톤 맵들의 보간은 복수의 픽셀들 각각의 위치에 적어도 부분적으로 기초하여 상기 복수의 픽셀들 각각에 적용되는, 방법.
  21. 시스템으로서,
    이미지 데이터로부터 픽셀 통계치들을 결정하기 위한 수단 ― 상기 픽셀 통계치들은 적어도 하나의 픽셀에 대한 루마 레벨을 포함하고, 상기 적어도 하나의 픽셀에 대한 상기 루마 레벨은 제1 밝기 임계치 및 제2 밝기 임계치에 대한 타깃 밝기의 값에 적어도 부분적으로 기초하여 평균 루마 레벨, 최대 루마 레벨, 및 혼합된 루마 레벨 중 하나로부터 선택되고, 상기 혼합된 루마 레벨은 상기 적어도 하나의 픽셀에 대한 상기 최대 루마 레벨과 상기 평균 루마 레벨의 조합을 포함함 ―;
    적어도 부분적으로 상기 픽셀 통계치들로부터 하나 이상의 톤 맵들을 결정하기 위한 수단;
    상기 하나 이상의 톤 맵들을 상기 이미지 데이터에 적용하기 위한 수단; 및
    상기 하나 이상의 톤 맵들이 적용된 상기 이미지 데이터를 전자 디스플레이에 출력하기 위한 수단을 포함하는, 시스템.
  22. 전자 디바이스로서,
    이미지 데이터를 생성하도록 구성된 이미지 소스;
    상기 이미지 데이터를 디스플레이하도록 구성된 전자 디스플레이; 및
    상기 이미지 데이터가 상기 전자 디스플레이 상에 디스플레이되기 전에 상기 이미지 소스로부터의 상기 이미지 데이터를 수정하도록 구성된 디스플레이 파이프라인을 포함하는 이미지 프로세싱 회로부를 포함하고, 상기 디스플레이 파이프라인은,
    회로 접속부들을 포함하는 픽셀 콘트라스트 제어 프로세싱 회로부 ― 상기 픽셀 콘트라스트 제어 프로세싱 회로부는,
    현재 이미지 프레임 동안 상기 전자 디스플레이 상에 구현된 대응하는 디스플레이 픽셀의 초기 타깃 휘도를 나타내는 상기 이미지 데이터의 상기 현재 이미지 프레임의 콘텐츠를 나타내는 제1 픽셀 통계치들을 결정하도록 ― 상기 픽셀 통계치들은 낮은 밝기 레벨과 높은 밝기 레벨 사이의 전이들을 평활화하기 위해 적어도 하나의 픽셀에 대한 혼합된 루마 레벨을 포함하고, 상기 혼합된 루마 레벨은 상기 적어도 하나의 픽셀에 대한 적어도 최대 루마 레벨과 평균 루마 레벨의 조합을 포함함 ―; 그리고
    이전 이미지 프레임과 연관된 제2 픽셀 통계치들에 적어도 부분적으로 기초하여 결정된 제1 복수의 로컬 톤 맵들을, 상기 현재 이미지 프레임 동안 상기 대응하는 디스플레이 픽셀의 수정된 타깃 휘도를 나타내는 상기 이미지 데이터에 적용하도록 프로그래밍됨 ―; 및
    상기 픽셀 콘트라스트 제어 프로세싱 회로부에 커플링된 픽셀 콘트라스트 제어 제어기 ― 상기 픽셀 콘트라스트 제어 제어기는 상기 픽셀 콘트라스트 제어 프로세싱 회로부로부터 수신된 상기 제1 픽셀 통계치들에 적어도 부분적으로 기초하여 다음 이미지 프레임 동안 적용될 제2 복수의 로컬 톤 맵들을 결정하기 위해 펌웨어 명령어들을 실행하도록 프로그래밍됨 ― 를 포함하는, 전자 디바이스.
KR1020207024857A 2018-03-12 2018-12-14 픽셀 콘트라스트 제어 시스템들 및 방법들 KR102276902B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/918,879 2018-03-12
US15/918,879 US10504452B2 (en) 2018-03-12 2018-03-12 Pixel contrast control systems and methods
PCT/US2018/065719 WO2019177675A1 (en) 2018-03-12 2018-12-14 Pixel contrast control systems and methods

Publications (2)

Publication Number Publication Date
KR20200110441A KR20200110441A (ko) 2020-09-23
KR102276902B1 true KR102276902B1 (ko) 2021-07-14

Family

ID=65012087

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207024857A KR102276902B1 (ko) 2018-03-12 2018-12-14 픽셀 콘트라스트 제어 시스템들 및 방법들

Country Status (6)

Country Link
US (1) US10504452B2 (ko)
EP (1) EP3743907A1 (ko)
JP (2) JP2021516363A (ko)
KR (1) KR102276902B1 (ko)
CN (2) CN117935712A (ko)
WO (1) WO2019177675A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102641738B1 (ko) * 2019-09-30 2024-02-29 삼성전자주식회사 영상 처리 방법 및 이를 지원하는 전자 장치
US20230073431A1 (en) * 2020-02-07 2023-03-09 Google Llc System and method for reducing display artifacts

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140092012A1 (en) * 2012-09-28 2014-04-03 Kalpana Seshadrinathan Adaptive tone map to a region of interest to yield a low dynamic range image
US20150356904A1 (en) * 2014-06-05 2015-12-10 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20170025074A1 (en) * 2015-05-12 2017-01-26 Dolby Laboratories Licensing Corporation Backlight Control and Display Mapping for High Dynamic Range Images

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09219830A (ja) * 1996-02-13 1997-08-19 Toshiba Corp 映像処理装置
JP2001343957A (ja) * 2000-03-27 2001-12-14 Hitachi Ltd 液晶表示装置
JP4093127B2 (ja) * 2003-06-24 2008-06-04 カシオ計算機株式会社 液晶表示装置
JP5013581B2 (ja) * 2005-05-26 2012-08-29 ルネサスエレクトロニクス株式会社 表示装置、コントローラドライバ、及び表示パネルの駆動方法
JP4687526B2 (ja) * 2005-07-27 2011-05-25 セイコーエプソン株式会社 動画像表示装置および動画像表示方法
US7636496B2 (en) * 2006-05-17 2009-12-22 Xerox Corporation Histogram adjustment for high dynamic range image mapping
KR100831369B1 (ko) * 2006-06-09 2008-05-21 삼성전자주식회사 표시장치용 백라이트장치 및 그 밝기조절방법
TWI479891B (zh) * 2007-06-26 2015-04-01 Apple Inc 動態背光調適
KR101539379B1 (ko) * 2008-12-31 2015-07-29 주식회사 동부하이텍 실시간 영상 발생기
US9055227B2 (en) 2010-03-17 2015-06-09 Texas Instruments Incorporated Scene adaptive brightness/contrast enhancement
US8890793B2 (en) * 2010-03-26 2014-11-18 Hong Kong Applied Science and Technology Research Institute, Co. Ltd. Adjusting a brightness level of a backlight of a display device
US20120075353A1 (en) * 2010-09-27 2012-03-29 Ati Technologies Ulc System and Method for Providing Control Data for Dynamically Adjusting Lighting and Adjusting Video Pixel Data for a Display to Substantially Maintain Image Display Quality While Reducing Power Consumption
US9666119B2 (en) * 2012-08-30 2017-05-30 Apple Inc. Systems and methods for controlling current in display devices
JP6275146B2 (ja) 2012-09-05 2018-02-07 エーティーアイ・テクノロジーズ・ユーエルシーＡｔｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｕｌｃ 選択的な表示更新のための方法および装置
US9183812B2 (en) 2013-01-29 2015-11-10 Pixtronix, Inc. Ambient light aware display apparatus
US10444958B2 (en) * 2013-09-23 2019-10-15 Adobe Systems Incorporated Visual example-based user interface for adjusting photos along two dimensions
CN105745914B (zh) * 2013-11-22 2018-09-07 杜比实验室特许公司 用于逆色调映射的方法和系统
GB201410635D0 (en) 2014-06-13 2014-07-30 Univ Bangor Improvements in and relating to the display of images
US9378543B2 (en) * 2014-07-28 2016-06-28 Disney Enterprises, Inc. Temporally coherent local tone mapping of high dynamic range video
KR20160034503A (ko) 2014-09-19 2016-03-30 삼성디스플레이 주식회사 유기 발광 표시 장치 및 이의 구동 방법
KR102322708B1 (ko) 2014-12-24 2021-11-09 엘지디스플레이 주식회사 유기 발광 다이오드 표시장치와 그 소자 특성 센싱 방법
US10249263B2 (en) * 2015-06-05 2019-04-02 Apple Inc. Rendering and displaying high dynamic range content
US9741305B2 (en) 2015-08-04 2017-08-22 Apple Inc. Devices and methods of adaptive dimming using local tone mapping
JP2017227775A (ja) * 2016-06-22 2017-12-28 キヤノン株式会社 表示装置、およびその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140092012A1 (en) * 2012-09-28 2014-04-03 Kalpana Seshadrinathan Adaptive tone map to a region of interest to yield a low dynamic range image
US20150356904A1 (en) * 2014-06-05 2015-12-10 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20170025074A1 (en) * 2015-05-12 2017-01-26 Dolby Laboratories Licensing Corporation Backlight Control and Display Mapping for High Dynamic Range Images

Also Published As

Publication number Publication date
CN111819618B (zh) 2024-03-01
CN111819618A (zh) 2020-10-23
KR20200110441A (ko) 2020-09-23
US10504452B2 (en) 2019-12-10
US20190279579A1 (en) 2019-09-12
CN117935712A (zh) 2024-04-26
JP2021516363A (ja) 2021-07-01
JP2023052085A (ja) 2023-04-11
WO2019177675A1 (en) 2019-09-19
EP3743907A1 (en) 2020-12-02

Similar Documents

Publication Publication Date Title
KR102425302B1 (ko) 번-인 통계 및 번-인 보상
CN107230182B (zh) 一种图像的处理方法、装置以及存储介质
JP5334402B2 (ja) 映像のチラつきを改善するディスプレイ装置および方法
JP6602789B2 (ja) 局所的なコントラスト強調のためのシステムおよび方法
US20170039967A1 (en) Devices and methods of adaptive dimming using local tone mapping
JP2023052085A (ja) 画素コントラスト制御システム及び方法
CN112055875B (zh) 电子显示器部分图像帧更新系统和方法
US10762604B2 (en) Chrominance and luminance enhancing systems and methods
US11941785B2 (en) Directional scaling systems and methods
US20220414824A1 (en) Hierarchical Grid Interpolation Systems and Methods
US10719916B2 (en) Statistical noise estimation systems and methods
JP5896834B2 (ja) 画像調整ユニット、画像表示装置、コンピュータプログラム、記録媒体及び画像調整方法
CN111613168A (zh) 一种影像显示处理方法、装置以及计算机可读存储介质
US20240078648A1 (en) Tone Mapping for Preserving Contrast of Fine Features in an Image
KR102669220B1 (ko) 지향성 스케일링 시스템들 및 방법들
US20240105131A1 (en) Rgb pixel contrast control systems and methods
US11321813B2 (en) Angular detection using sum of absolute difference statistics systems and methods
US20240105132A1 (en) Dynamic backlight color shift compensation systems and methods
CN108735180B (zh) 一种影像处理方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant