KR102488538B1 - 중심와-렌더링된 디스플레이 - Google Patents

중심와-렌더링된 디스플레이 Download PDF

Info

Publication number
KR102488538B1
KR102488538B1 KR1020197038893A KR20197038893A KR102488538B1 KR 102488538 B1 KR102488538 B1 KR 102488538B1 KR 1020197038893 A KR1020197038893 A KR 1020197038893A KR 20197038893 A KR20197038893 A KR 20197038893A KR 102488538 B1 KR102488538 B1 KR 102488538B1
Authority
KR
South Korea
Prior art keywords
pixels
column
array
pixel
row
Prior art date
Application number
KR1020197038893A
Other languages
English (en)
Other versions
KR20200003281A (ko
Inventor
칼린 비에리
마크 스피처
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Publication of KR20200003281A publication Critical patent/KR20200003281A/ko
Application granted granted Critical
Publication of KR102488538B1 publication Critical patent/KR102488538B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2085—Special arrangements for addressing the individual elements of the matrix, other than by driving respective rows and columns in combination
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3266—Details of drivers for scan electrodes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3275—Details of drivers for data electrodes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0421—Structural details of the set of electrodes
    • G09G2300/0426—Layout of electrodes and connections
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0439—Pixel structures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0202—Addressing of scan or signal lines
    • G09G2310/0205—Simultaneous scanning of several lines in flat panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0202—Addressing of scan or signal lines
    • G09G2310/0218—Addressing of scan or signal lines with collection of electrodes in groups for n-dimensional addressing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0202—Addressing of scan or signal lines
    • G09G2310/0221—Addressing of scan or signal lines with use of split matrices
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0232—Special driving of display border areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0264—Details of driving circuits
    • G09G2310/0267—Details of drivers for scan electrodes, other than drivers for liquid crystal, plasma or OLED displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0264—Details of driving circuits
    • G09G2310/027—Details of drivers for data electrodes, the drivers handling digital grey scale data, e.g. use of D/A converters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0264—Details of driving circuits
    • G09G2310/0291—Details of output amplifiers or buffers arranged for use in a driving circuit
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0414—Vertical resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0421—Horizontal resolution change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/08—Details of image data interface between the display device controller and the data line driver circuit
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

디스플레이 시스템(400)은, 픽셀 데이터(614, 815)를 수신하는 입력부를 가지는 디스플레이 패널(100, 401) ― 픽셀 데이터는 복수의 픽셀 값들을 포함함 ― , 중심와 영역(110, 210, 310) 및 적어도 하나의 주변 영역(112, 212, 312-1, 312-2)으로 파티셔닝된 픽셀들(104, 404)의 어레이(102, 402), 및 적어도 하나의 주변 영역의 픽셀들을 적어도 2개의 픽셀들의 서브세트들로 그룹핑하고, 복수의 픽셀 값들로부터의 대응하는 단일 픽셀 값을 사용하여 각각의 서브세트를 제어하는 어레이 제어기(105, 405)를 포함한다. 디스플레이 시스템은, 중심와 영역의 위치들 및 적어도 하나의 주변 영역들에 기반하여 디스플레이 이미지를 중심와 렌더링하는 렌더링 시스템(421)을 추가로 포함할 수 있고, 주변 영역 중 적어도 하나의 주변 영역 내의 픽셀들을 가지는 디스플레이 이미지의 각각의 행에 대해, 행에 대한 픽셀 데이터에서 표현되는 픽셀 수의 값들은 행의 픽셀들의 수보다 적다.

Description

중심와-렌더링된 디스플레이{FOVEALLY-RENDERED DISPLAY}
본 출원은 "Foveally-Rendered Display"라는 명칭으로 2016년 2월 17일자로 출원된 미국 특허 출원 일련 번호 제 62/296,278 호(사건 번호: 1500-G16004-PR)에 대한 우선권을 주장하고, 상기 미국 특허 출원의 전체가 본원에 인용에 의해 포함된다.
본 개시내용은 일반적으로 디스플레이 시스템들에 관한 것으로, 더 상세하게는, 중심와 렌더링(foveal rendering) 및 디스플레이에 관한 것이다.
인간의 눈은, 중심와(fovea)가 망막 내의 콘(cone)들의 가장 높은 밀도를 포함하므로, 중심와에 투영되는 디스플레이되는 이미지의 영역 내의 세부사항에 가장 민감하다. 따라서, 중심와로부터 멀어질수록 세부사항을 인지하는 망막의 능력이 저하된다. VR(virtual reality) 시스템들, AR(augmented reality) 시스템들 및 다른 디스플레이 시스템들은 중심와 렌더링으로 지칭되는 프로세스에서 망막의 이러한 특성을 활용하고, 여기서, 눈의 초점인(즉, 중심와에 쏠리는) 이미지의 영역은 더 높은 해상도로 렌더링되는 반면, 이미지의 나머지는 더 낮은 해상도로 렌더링된다. 따라서, 중심와 렌더링은 통상적으로, 종래의 전체-해상도 렌더링 프로세스들보다 낮은 계산 로드를 가진다. 그러나, VR 또는 AR에 사용되는 종래의 디스플레이들은 통상적으로, 디스플레이가 사용자가 응시할 수 있는 디스플레이의 임의의 영역으로부터의 사용자의 눈의 중심와에 이미지를 제공할 수 있어야 하는 요건에 적어도 부분적으로 기인하여, 전체 디스플레이 패널에 걸쳐 일정한 또는 균일한 디스플레이 픽셀 밀도를 가진다. 결과적으로, 그러한 종래의 디스플레이 패널을 구동시키기 위해서는 고-해상도 픽셀 데이터를 전달하는 것이 여전히 필요하다. 따라서, 계산 로드는 디스플레이 이미지를 렌더링할 시 감소될 수 있지만, 종래의 디스플레이와 함께 중심와 렌더링하는 구현은 디스플레이 데이터를 디스플레이에 송신하기 위한 대역폭 요건들을 감소시키지도 않고, 그것은 중심와-렌더링된 디스플레이 이미지에 대한 픽셀 데이터를 클록-인(clock in)하기 위해 디스플레이 백플레인에 의해 소비되는 전력을 감소시키지도 않는다.
첨부한 도면들을 참조함으로써 당업자들에 의해 본 개시내용이 더 잘 이해될 수 있으며, 당업자들에게 본 개시내용의 많은 특징들 및 이점들이 명백해진다. 상이한 도면들에서의 동일한 참조 부호들의 사용은 유사한 또는 동일한 항목들을 표시한다.
도 1은 일부 실시예들에 따른, 예시적 중심와-구성가능한 디스플레이 패널을 예시하는 다이어그램이다.
도 2는 일부 실시예들에 따른, 현재 시선 방향에 기반하여 포지셔닝된 중심와 영역을 가지는 예시적 중심와-구성가능한 디스플레이 패널을 예시하는 다이어그램이다.
도 3은 일부 실시예들에 따른, 다수의 주변 영역들을 가지는 예시적 중심와-구성가능한 디스플레이 패널을 예시하는 다이어그램이다.
도 4는 일부 실시예들에 따른, 중심와-구성가능한 디스플레이 패널을 구현하는 디스플레이 시스템을 예시하는 다이어그램이다.
도 5는 일부 실시예들에 따른, 도 4의 디스플레이 시스템의 동작의 방법을 예시하는 흐름 다이어그램이다.
도 6은 일부 실시예들에 따른, 중심와-구성가능한 디스플레이 패널의 예시적 구현을 예시하는 다이어그램이다.
도 7은 일부 실시예들에 따른, 중심와-구성가능한 디스플레이 패널의 다른 예시적 구현을 예시하는 다이어그램이다.
도 8은 일부 실시예들에 따른, 중심와-구성가능한 디스플레이 패널의 또 다른 예시적 구현을 예시하는 다이어그램이다.
다음의 설명은 중심와-구성가능한 디스플레이들을 활용하는 디스플레이 시스템들을 수반하는 다수의 특정 실시예들 및 세부사항들을 제공함으로써 본 개시내용의 철저한 이해를 전달하도록 의도된다. 그러나, 본 개시내용은 단지 예들일뿐인 이러한 특정 실시예들 및 세부사항들로 제한되는 것은 아니고, 따라서, 본 개시내용의 범위는 다음의 청구항들 및 이들의 등가물들에 의해서만 제한되도록 의도된다는 것이 이해된다. 알려진 시스템들 및 방법들에 비추어, 당업자는 특정 설계 및 다른 필요성들에 따라 임의의 수의 대안적 실시예들에서 의도된 목적들 및 이익들을 위해 본 개시내용의 사용을 인식할 것이라는 것이 추가로 이해된다.
도 1-8은 디스플레이 패널에 송신될 픽셀 데이터의 양을 감소시키고, 따라서 디스플레이 전력 소비, 대역폭 요건들 및 연관된 복잡성을 감소시키기 위해 중심와 렌더링과 함께 중심와-구성가능한 디스플레이 패널을 활용하기 위한 예시적 시스템들 및 기법들을 예시한다. 적어도 일부 실시예들에서, 렌더링될 디스플레이 이미지의 픽셀 어레이 또는 이미지 공간은, 사용자의 시선의 타겟인 것으로 예상된 또는 추정된 디스플레이 이미지의 영역을 표현하는 적어도 중심와 영역, 및 이러한 중심와 영역을 둘러싸는 적어도 하나의 주변 영역을 포함하는 2개 또는 그 초과의 영역들로 논리적으로 세그먼트화된다. 중심와 렌더링 프로세스는 식별된 영역들에 기반하여 디스플레이 이미지를 중심와 렌더링하기 위해 렌더링 시스템에 의해 사용되고, 이때 중심와 영역은 가장 높은 해상도로 렌더링되고, 하나 또는 그 초과의 주변 영역들은 더 낮은 해상도들로 렌더링되며, 일부 실시예들에서, 주변 영역의 해상도는 중심와 영역으로부터의 해당 영역의 거리에 적어도 부분적으로 기반할 수 있다.
이어서, 중심와-렌더링된 디스플레이 이미지는 중심와-구성가능한 디스플레이에 디스플레이하기 위해 렌더링 시스템으로부터 스캔 아웃(scanned out)된다. 적어도 하나의 실시예에서, 중심와-구성가능한 디스플레이는 행(row)들 및 열(column)들로서 배열된 픽셀들의 어레이를 포함하며, 수신 픽셀 데이터의 단일 픽셀 값이 대응하는 페어링(pairing)/그룹핑(grouping) 내의 모든 픽셀들을 구동시키는 데 사용되도록 주변 영역에 대응하는 위치들을 가지는 픽셀들을 함께 그룹핑하거나 또는 페어링하도록 구성가능한 어레이 제어기를 더 포함한다. 즉, 주변 영역 내의 픽셀들의 각각의 그룹핑은 송신된 픽셀 데이터로부터의 동일한 픽셀 값을 공유한다. 한편, 중심와 영역에 대응하는 위치들을 가지는 픽셀들은 별개의 픽셀 값들을 사용하여 계속 제어 및 구동된다. 즉, 중심와 영역 내의 각각의 픽셀은 별개의 고유한 픽셀 데이터를 이용하여 구동된다. 이러한 접근법 하에서, 렌더링 시스템과 주변 영역들에 대한 중심와-구성가능한 디스플레이 사이에서 더 적은 픽셀 데이터가 전달된다. 이것은 중심와-렌더링된 디스플레이 이미지에 대한 픽셀 데이터를 디스플레이에 송신할 대역폭 요건들을 감소시킬뿐만 아니라, 연관된 픽셀 데이터의 클록-인 시 디스플레이 패널에 의한 전력 소비를 감소시키는 효과를 가진다.
도 1은 본 개시내용의 적어도 하나의 실시예에 따른, 중심와-렌더링된 디스플레이 이미지들을 디스플레이하기 위한 예시적 중심와-구성가능한 디스플레이 패널(100)을 예시한다. 디스플레이 패널(100)은 행들 및 열들로 배열된 픽셀들(104)의 어레이(102)를 포함한다. 도시된 예에서, 어레이(102)는 14개의 열들(열들 0-13) 및 8개의 행들(행들 0-7)을 가지는 비교적 낮은 해상도로 예시되며, 따라서, 112개의 픽셀들(104)을 가진다. 그러나, 실제 구현에서, 디스플레이 패널(100)은 통상적으로 대략 수천 또는 심지어 수만의 행들 및 열들의 훨씬 더 높은 해상도를 가질 것이라는 것이 인식될 것이다. 각각의 픽셀(104)은 RGB(red, green, and blue) 서브-픽셀들의 특정 어레인지먼트(arrangement)와 같은 서브-픽셀들의 행렬로서 구현될 수 있고, 이 RGB 서브-픽셀들 각각은 대응하는 휘도에서 대응하는 컬러의 광을 방출하도록 제어되고, 광 컬러들과 그들의 휘도의 조합은 전체로서 픽셀에 대한 의도된 밝기 및 컬러를 초래한다. 픽셀들(104)에 대한 예시적 픽셀 아키텍처들은, 예컨대, LED(light emitting diode)들 및 OLED(organic light emitting diode)들을 포함할 수 있다.
디스플레이 패널(100)은 열-제어 컴포넌트(106), 행-제어 컴포넌트(108) 및 중심와 제어 컴포넌트(109)를 포함하는 어레이 제어기(105)를 더 포함한다. 아래에서 더 상세하게 설명되는 바와 같이, 열-제어 컴포넌트(106)는 열별로 픽셀들(104)을 제어하도록 함께 동작하는 픽셀 데이터 버퍼들, 라인 구동기들 및 열 결합 로직을 포함할 수 있다. 유사하게, 아래에서 또한 설명되는 바와 같이, 행-제어 컴포넌트(108)는 행별로 픽셀들(104)을 제어하도록 함께 동작하는 행 선택 로직 및 행 결합 로직을 포함할 수 있다.
아래에서 설명되는 바와 같이, 디스플레이 패널(100)을 사용하는 렌더링 시스템은 사용자의 예상되는 시선 방향에 대응하는 어레이(102)의 중심와 영역(110)을 식별한다. 일부 실시예들에서, 이러한 중심와 영역(110)은 어레이(102)의 고정된 영역이다. 예컨대, 사용자는 주로 디스플레이 패널(100)의 중심을 응시할 수 있고, 따라서, 중심와 영역(110)이 디스플레이 패널(100)의 이러한 중심점을 중심으로 하는 픽셀들(104)의 영역으로 세팅될 수 있다는 것이 예상될 수 있다. 다른 실시예들에서, 렌더링 시스템은 사용자의 눈들 중 하나 또는 둘 모두의 시선 방향을 추적하고, 이로부터 사용자의 시선의 타겟인, 어레이(102) 내의 위치(이 위치는 "시선 타겟 위치"로 본원에서 지칭됨)를 식별하는 시선 추적 시스템을 사용할 수 있다. 예시하자면, 도 2는 예시적 디스플레이 패널(200)(디스플레이 패널(100)의 일 실시예)을 도시하며, 여기서, 디스플레이 패널(200)을 사용하는 디스플레이 시스템의 시선 추적 시스템은 사용자의 시선 방향을 식별하며, 이로부터 디스플레이 패널(200) 내의 위치(202)를 현재 시선 타겟 위치로서 추정한다. 이것을 기초로, 디스플레이 시스템은, 예컨대, 이러한 위치(202)를 중심으로 하는 픽셀들(204)의 8x8 어레이를 중심와 영역(210)으로서 지정하고, 나머지 픽셀들(204)을 렌더링될 다음 디스플레이 이미지에 대한 주변 영역(212)으로서 지정할 수 있다.
도 1로 리턴하면, 시선 타겟 위치가 이와 같이 추정되거나 또는 그렇지 않으면 식별되면, 중심와 영역(110)은 이러한 시선 타겟 위치를 둘러싸는 영역으로서 결정될 수 있다. 어레이(102)의 나머지는, 도 1에 도시된 바와 같이 중심와 영역(110)을 둘러싸는 단일 주변 영역(112)과 같은 하나 또는 그 초과의 주변 영역들로 논리적으로 파티셔닝될 수 있다. (픽셀들(104)에서 측정된 바와 같은) 중심와 영역(110)의 디멘션(dimension)들은, 디스플레이 패널(100)의 전체 해상도, 구현될 상이한 주변 영역들의 수, 디스플레이 패널(100)과 사용자의 눈 사이의 거리, 디스플레이 패널(100)과 사용자의 눈 사이의 임의의 렌즈들 또는 다른 광학 시스템들의 존재 및 디스플레이 패널(100)의 사용자의 인식에 대한 그들의 영향 등을 포함하는 다수의 팩터들에 기반할 수 있다. 예시하자면, 중심와 비전이 눈의 광축의 수직 +/- 5도 및 수평 +/- 5도의 영역에서 발생한다고 가정하면, 중심와 영역(110)은 이러한 중심와 시야를 커버하도록 디멘셔닝될(dimensioned) 수 있으며, 추가로 일부 부가적 마진을 포함할 수 있다. 포함될 마진의 양은 눈의 시선 방향을 추정할 시 잠재적 에러에 기반할 수 있다. 예시하자면, 도 1의 예의 경우, 4x4 픽셀들의 영역은 중심와 시야를 표현하는 것으로 가정될 수 있고, 4x4 영역의 각각의 측면 상에서 픽셀들의 하나의 열을 부가함으로써 보상되는 수평 방향의 시선 추적의 에러의 마진이 존재하고(이 예에서는 무시할 수 있는 수직 눈 추적 에러를 가정함), 따라서, 6개의 픽셀들 x 4개의 픽셀들로 디멘셔닝된 예시적 중심와 영역(110)을 초래한다. 추가로, 도 1의 예에서, 중심와 영역(110)은 어레이(102) 내에서 중심이 되는 것으로 식별되는데, 그 이유는 이것이 중심와 영역에 대한 고정된 위치이거나 또는 눈 추적 시스템이, 사용자의 시선이 디스플레이 패널(100)의 중심으로 현재 지향되는 것으로 추정하기 때문이다.
도 1의 예는 단일 주변 영역(112)을 도시하지만, 일부 실시예들에서 디스플레이 패널(100)의 나머지 영역은 다수의 주변 영역들로 분할될 수 있다. 예시하자면, 도 3은 중심와 영역(310)이 정의되고, 디스플레이 패널(300)의 나머지 픽셀들이 2개의 동심 주변 영역들, 즉, 중심와 영역(310)을 둘러싸는 근접 주변 영역(312-1) 및 근접 주변 영역(312-1)을 둘러싸는 먼 주변 영역(312-2)으로 분할되는 예시적 디스플레이 패널(300)을 도시한다. 다수의 주변 영역들이 존재하는 사례들에서, 디스플레이 이미지는 중심와 렌더링될 수 있고, 디스플레이 패널(300)은 각각의 주변 영역 내에서 구현되는 결과적인 해상도가 중심와 영역으로부터 멀어질수록 감소하도록 대응하게 구성될 수 있다. 예시하자면, 근접 주변 영역(312-1)의 픽셀들(304)은, 근접 주변 영역(312-1)의 모든 각각의 N개의 픽셀들(304)이 단일 픽셀 값에 기반하여 제어되도록, N개의 픽셀들(304)(N >= 2)의 서브세트들로 그룹핑될 수 있는 반면, 먼 주변 영역(312-2)의 픽셀들(304)은, 먼 주변 영역(312-2)의 모든 각각의 M개의 픽셀들(304)이 단일 픽셀 값에 기반하여 제어되도록, M개의 픽셀들(304)(M > N)의 서브세트들로 그룹핑된다.
다시 도 1을 참조하여, 중심와 영역(110)의 위치 및 디멘션들이 식별되면(뿐만 아니라 하나 또는 그 초과의 주변 영역들(112)의 위치 및 디멘션들이 결과로서 식별되면), 프로세싱 시스템은 중심와 영역(110)에 대응하는 영역 내의 더 높은 해상도 및 하나 또는 그 초과의 주변 영역들(112)에 대응하는 영역(들)에 대한 더 낮은 해상도(들)로 결과적인 디스플레이 이미지를 렌더링하는 중심와 렌더링 프로세스를 사용하여 다음의 디스플레이 이미지를 렌더링할 수 있다. 종래의 디스플레이 상에 이미저리(imagery)를 디스플레이하기 위해 활용되는 종래의 중심와 렌더링 프로세스에서, 결과적인 렌더링된 이미지는 디스플레이의 각각의 픽셀에 대한 별개의 픽셀 데이터를 가진다. 그러한 종래의 중심와 렌더링 프로세스들에서의 계산 로드 절감들은, 각각의 픽셀에 대한 고유한 픽셀 값을 계산해야 하기보다는 이미지의 비-중심와 또는 주변 영역(들)에 로케이팅된 하나 초과의 픽셀에 대해 동일한 픽셀 값이 복제될 수 있다는 사실로부터 비롯된다. 따라서, 주변 영역들의 픽셀들에 대한 픽셀 값들의 이러한 복제는 렌더링 컴퓨테이션(computation)들의 수를 감소시키지만, 종래의 중심와 렌더링 프로세스를 사용하여 렌더링된 디스플레이 이미지에 대해 생성된 픽셀 데이터의 양은 통상적으로, 동일한 주어진 디스플레이 해상도에 대해, 중심와 렌더링 없이 디스플레이 이미지에 대해 생성된 픽셀 데이터의 양과 동일하다.
중심와-구성가능한 디스플레이 패널(100)은 어레이(102)의 픽셀들(104)을 중심와 영역(110) 및 하나 또는 그 초과의 주변 영역들(112)로 논리적으로 파티셔닝하도록 구성될 수 있다. 참조의 용이함을 위해, 중심와 영역 내에 속하는 그러한 픽셀들은 "중심와 픽셀들"로 본원에서 지칭되는 반면, 주변 영역 내에 속하는 그러한 픽셀들은 "주변 픽셀들"로 본원에서 지칭된다. 이어서, 디스플레이 패널(100)은, 주변 영역들(112) 내의 픽셀들(104)의 서브세트들이 동일한 단일 픽셀 값을 사용하여 구동되거나 또는 그렇지 않으면 제어되도록, 주변 영역들(112) 내의 픽셀들(104)의 서브세트들을 페어링하거나 또는 그렇지 않으면 그룹핑할 수 있다. 따라서, 이러한 성능으로, 렌더링 시스템에 의해 사용되는 중심와 렌더링 프로세스는 주변 영역들 내의 디스플레이 이미지의 픽셀들이 픽셀들의 서브세트들로 결합되거나 또는 그룹핑되도록 디스플레이 이미지를 렌더링할 수 있고, 픽셀들의 각각의 그러한 서브세트는 대응하는 디스플레이 이미지에 대한 픽셀 데이터의 단일 픽셀 값으로서 렌더링된다. 따라서, 종래의 중심와 렌더링 접근법들과는 대조적으로, 렌더링 시스템으로부터 디스플레이 패널(100)로 송신될 픽셀 데이터의 양이 감소될 수 있고, 그에 따라서 디스플레이 패널(100)과 렌더링 시스템 사이의 연결의 대역폭 요건들이 감소될뿐만 아니라, 이러한 픽셀 데이터를 클록-인 시 디스플레이 패널(100)에 의해 소비되는 전력이 감소될 수 있다.
일 실시예에서, 어레이 제어기(105)는 주변 영역(112) 내의 주어진 행의 2개 또는 그 초과의 인접 픽셀들이 대응하는 서브세트로 그룹핑될 수 있도록 열-제어 컴포넌트(106)를 통해 행별로 주변 픽셀들을 그룹핑한다. 예컨대, 도면(120)은 어레이(102)의 행 1의 픽셀들(104)이 2개의 픽셀들의 서브세트들로 그룹핑되는 열-제어 컴포넌트(106)를 통해 구현되는 구성을 예시한다. 이러한 예에서, 행 1의 전체가 주변 영역(112) 내에 있기 때문에, 행 1의 모든 각각의 픽셀(104)은 이러한 그룹핑 구성에 포함된다. 결과적으로, (X,Y)로 지정된 어레이(102) 내의 픽셀 위치들을 참조하면 ― X는 행을 표현하고, Y는 열을 표현함 ― , (1,0) 및 (1,1)에서의 픽셀들(104)이 서브세트로 그룹핑되고, (1,2) 및 (1,3)에서의 픽셀들(104)이 서브세트로 그룹핑되며, (1,4) 및 (1,5)에서의 픽셀(104)이 서브세트로 그룹핑되고, (1,6) 및 (1,7)에서의 픽셀들(104)이 서브세트로 그룹핑되며, (1,8) 및 (1,9)에서의 픽셀들(104)이 서브세트로 그룹핑되고, (1,10) 및 (1,11)에서의 픽셀들(104)이 서브세트로 그룹핑되며, (1,12) 및 (1,13)에서의 픽셀들(104)이 서브세트로 그룹핑된다. 결과적으로, 행 1의 14개의 픽셀들(104)은 7개의 픽셀 서브세트들로 그룹핑된다. 이어서, 각각의 픽셀 서브세트는 열-제어 컴포넌트(106)에 의해 제공되는 구성에 기반하여 단일 픽셀 값을 사용하여 구동된다. 예시하자면, 픽셀 값 PV1은 제1 서브세트의 픽셀들(104)을 구동시키는 데 사용되고, 픽셀 값 PV2는 제2 서브세트의 픽셀들(104)을 구동시키는 데 사용되는 식이다. 따라서, 이러한 구성에서, 행 1의 픽셀들(104)을 구동시킬 시간일 때, 행 1의 14개의 픽셀들을 구동시키기 위해 단지 7개의 픽셀 값들만이 행 1에 대한 픽셀 데이터에서 렌더링 시스템으로부터 디스플레이 패널(100)로 송신될 필요가 있다. 동일한 수평 해상도를 가지는 종래의 디스플레이는 행 1을 구동시키기 위해 14개의 픽셀 값들을 요구할 것이고, 따라서, 주변 영역들에 대한 그룹핑된 픽셀 서브세트 접근법은 이러한 특정 예에서 행 1에 대해 송신될 데이터의 50% 감소를 제공한다.
도면(122)은 중심와 영역(110) 내에 픽셀들을 포함하는 행에 대한 열-제어 컴포넌트(106)에 의해 구현되는 구성을 예시한다. 이러한 예에서, 행 2는 중심와 영역(110)에 6개의 픽셀들(104)을 포함하고, 이러한 6개의 픽셀들은 주변 영역(112)의 4개의 픽셀들(104)에 의해 각각의 측면 상에서 경계된다. 따라서, 행 2의 픽셀들(104)을 구동시킬 시간일 때, 열-제어 컴포넌트(106)는 주변 영역(112)에 로케이팅된 행 2의 픽셀들(104)을 2개 또는 그 초과의 픽셀들(104)의 서브세트들로 그룹핑할 수 있다. 예시된 예에서, 이러한 픽셀들은, (2,0) 및 (2,1)에서의 픽셀들(104)이 서브세트로 그룹핑되고, (2,2) 및 (2,3)에서의 픽셀들(104)이 서브세트로 그룹핑되며, (2,10) 및 (2,11)에서의 픽셀들(104)이 서브세트로 그룹핑되고, (2,12) 및 (2,13)에서의 픽셀들(104)이 서브세트로 그룹핑되도록, 2개의 픽셀들(104)의 서브세트들로 그룹핑된다. (2,4), (2,5), (2,6), (2,7), (2,8) 및 (2,9)에서의 픽셀들(104)은 중심와 영역(110)에 로케이팅되며, 따라서, 서브세트들로 그룹핑되지 않는다. 픽셀 서브세트들 각각이 단일 픽셀 값을 사용하여 구동될 때, 그리고 중심와 영역(110)의 픽셀들(104) 각각이 별개의 픽셀 값을 사용하여 구동될 때, 행 2의 픽셀들(104)을 구동시킬 시간인 경우, 10개의 픽셀 값들은 디스플레이 패널(100)에 송신될 필요가 있을 것이며, 픽셀 값들 PV1, PV2, PV9 및 PV10은 주변 영역(112)의 4개의 픽셀 서브세트들의 픽셀들(104)을 구동시키는 데 사용되고, 픽셀 값들 PV3, PV4, PV5, PV6, PV7 및 PV8은 중심와 영역(110)에 있는 행 2의 6개의 픽셀들(104)을 구동시키는 데 사용된다. 이에 반해, 동일한 수평 해상도를 가지는 종래의 디스플레이는 행 2를 구동시키기 위해 14개의 픽셀 값들을 요구할 것이고, 따라서, 주변 영역들에 대한 그룹핑된 픽셀 서브세트 접근법은 이러한 특정 예에서 행 2에 대해 송신될 데이터의 28.5% 감소를 제공한다.
동일한 행의 픽셀들(104)을 이들이 주변 영역 내에 속할 때 그룹핑하는 것 이외에, 주변 영역 픽셀들(104)의 그룹핑은 또한 인접 행들의 주변 영역 픽셀들이 대응하는 서브세트에 포함될 수 있도록 행-제어 컴포넌트(108)를 통해 다수의 인접 열들에 걸친 주변 영역 픽셀들의 그룹핑으로 확장될 수 있다. 예시하자면, 행 0 및 행 1은 전체적으로 주변 픽셀들(104)로 구성되며(즉, 행 0 및 행 1의 픽셀들(104) 중 어느 것도 중심와 영역(110) 내에 속하지 않음), 따라서 행-제어 컴포넌트(108)는 행 0의 특정 열의 픽셀(104)이 행 1의 동일한 열의 픽셀(104)과 그룹핑되도록 행 0 및 행 1을 함께 결합할 수 있다. 따라서, 행 0 및 행 1의 픽셀들(104)은 동일한 픽셀 값을 사용하여 구동된다. 마찬가지로, 행 6 및 행 7은, 이들이 전적으로 주변 픽셀들(104)로만 구성되므로 함께 결합될 수 있다. 추가로, 행-기반 그룹핑으로 구현될 때, 단일 픽셀 값은 다수의 행-인접 주변 픽셀들(104)뿐만 아니라, 다수의 열-인접 주변 픽셀들(104)을 구동시키는 데 사용될 수 있다. 예컨대, 도면(124)은 행 0의 픽셀들(104)이 2-픽셀 서브세트들로 그룹핑되고, 행 1의 픽셀들이 2-픽셀 서브세트들로 그룹핑되며, 열-인접 서브세트들이 7개의 4-픽셀 서브세트들을 형성하도록 그룹핑되는 ― 각각의 서브세트는 행 0의 2개의 행-인접 픽셀들(104) 및 행 0의 픽셀 페어(pair)에 열-인접한 행 0의 2개의 행-인접 픽셀들을 포함함 ― 열-제어 컴포넌트(106) 및 행-제어 컴포넌트를 통한 예시적 구성을 예시한다. 따라서, 이러한 예시적 구성에서, 단일 픽셀 값은 4개의 주변 픽셀들(104)을 구동시키는 데 사용될 수 있고, 따라서, 행 0 및 행 1의 28개의 픽셀들(104)을 구동시키기 위해 단지 7개의 픽셀 값들만이 디스플레이 패널(100)에 송신될 필요가 있으며, 따라서, 종래의 디스플레이 구현에 비해 필요한 데이터 송신의 75% 감소를 제공할 수 있다.
도 4는 적어도 하나의 실시예에 따른, 중심와 렌더링 및 중심와-구성가능한 디스플레이 패널을 활용하는 예시적 디스플레이 시스템(400)을 예시한다. 디스플레이 시스템(400)은 HMD(head mounted display), 헤드-업 디스플레이 또는 다른 근안(near-eye) 디스플레이 디바이스로 구현되는 디스플레이 시스템을 포함할 수 있다. 참조의 용이함을 위해, 디스플레이 시스템(400)은 VR 또는 AR 성능을 지원하는 HMD의 예시적 맥락으로 아래에서 설명된다. 그러나, 디스플레이 시스템(400)은 본원에서 제공된 가이드라인들을 사용하여 다른 맥락들로 구현될 수 있다.
디스플레이 시스템(400)은 행들 및 열들로 배열된 픽셀들(404)의 어레이(402)를 가지는 중심와-구성가능한 디스플레이 패널(401)(디스플레이 패널(100)의 일 실시예)뿐만 아니라, 열-제어 컴포넌트(406) 및 행-제어 컴포넌트(408)를 가지는 어레이 제어기(405)를 포함한다. 도시된 예에서, 열-제어 컴포넌트(406)는 행 버퍼(410), 열 구동기들(412)(어레이(402)의 각각의 열에 대해 하나씩)의 세트 및 열 결합 로직(414)을 포함한다. 행-제어 컴포넌트(408)는 행 선택 로직(416) 및 행 결합 로직(418)을 포함한다. 어레이 제어기(405)는 열 결합 로직(414) 및 행 결합 로직(418)에 커플링된 중심와 제어 컴포넌트(420)를 더 포함한다. 스테레오스코픽 구현들에서, 디스플레이 시스템(400)은 디스플레이 패널(401)을 2개의 영역들 ― 사용자의 각각의 눈에 대해 하나씩 ― 로 논리적으로 분할하고, 각각의 영역에 대해 별개의 디스플레이 이미저리를 구동시킬 수 있다. 다른 실시예들에서, 디스플레이 시스템(400)은 사용자의 각각의 눈에 대해 별개의 디스플레이 패널(401), 프레임 버퍼(426) 및 디스플레이 제어기(428)를 구현할 수 있다.
디스플레이 시스템(400)은 프로세서(422), 시스템 메모리(424), 프레임 버퍼(426)(시스템 메모리(424)로 구현될 수 있음), 상호연결부(429)를 통해 디스플레이 패널(401)에 연결된 디스플레이 제어기(428) 및 일부 실시예들에서는, 시선 추적 시스템(430)을 포함하는 렌더링 시스템(421)을 더 포함한다. 시선 추적 시스템(430)은 당해 기술 분야에서 알려져 있는 바와 같이 대응하는 디스플레이 패널에 대한 사용자의 시선을 추적하기 위해 활용되는 다양한 시선 추적 시스템들 중 임의의 것을 포함할 수 있다. 프로세서(422)는 하나 또는 그 초과의 CPU(central processing unit)들, GPU(graphics processing unit)들, 또는 하나 또는 그 초과의 CPU들과 하나 또는 그 초과의 GPU들의 결합을 포함한다. 디스플레이 제어기(428)는, 예컨대, ASIC, 프로그래밍가능한 로직으로서, 설명되는 기능성을 제공하기 위해 하나 또는 그 초과의 GPU들을 조작하는 소프트웨어를 실행하는 하나 또는 그 초과의 GPU들로서, 또는 이들의 조합으로 구현될 수 있다. 동작 중에, 프로세서(422)는 VR/AR 기능성을 사용자에게 제공하기 위해 (예컨대, 시스템 메모리(804) 내에 저장된) VR/AR 애플리케이션(423)을 실행한다. 이러한 프로세스의 일부로서, VR/AR 애플리케이션(423)은 프로세서(422) 또는 연관 프로세서를 조작하여 디스플레이 패널(401)에서의 디스플레이를 위한 이미지들의 시퀀스를 렌더링하고, 이미지들의 시퀀스는 VR 또는 AR 장면을 표현한다. 디스플레이 제어기(428)는 디스플레이 패널(401)의 픽셀 데이터 입력부(431)로서 역할을 하는 스캔-인 로직(도 4에 도시되지 않음)에 상호연결부(429)를 통해, 이러한 이미지들의 시퀀스를 구성하는 픽셀 데이터를 송신하도록 동작하고, 그 결과, 디스플레이 패널(401)은 본원에서 더 상세하게 설명되는 바와 같이, 이러한 픽셀 데이터에 기반하여 이미지들의 시퀀스를 디스플레이하도록 동작한다.
도 5는 VR 또는 AR 이미저리를 표현하는 디스플레이 이미지들의 시퀀스의 중심와 렌더링 및 중심와 디스플레이를 위한 디스플레이 시스템(400)의 동작의 예시적 방법(500)을 예시한다. 디스플레이 시스템(400)이 시선 추적 시스템(430)을 구현하는 구현들에서, 방법(500)은 동시에 수행되는 2개의 별개의 방법 흐름들, 흐름(501) 및 흐름(502)으로 표현된다. 디스플레이 시스템(400)이 고정된 중심 영역을 구현하는 구현들에서, 흐름(501)은 생략될 수 있다.
흐름(501)은, 사용자의 눈들의 현재 시선 방향을 추적 및 업데이트하고, 이에 따라, 디스플레이 패널(401)의 중심와 영역(예컨대, 중심와 영역(110), 도 1) 및 하나 또는 그 초과의 주변 영역들(예컨대, 주변 영역(112), 도 1)의 위치를 업데이트하는 시선 추적 시스템(430) 및 중심와 제어 컴포넌트(420)의 동작을 표현한다. 따라서, 블록(504)에서, 시선 추적 시스템(430)은, 현재 시선 방향(432)(도 4)을 결정하기 위한 적합한 시선 추적 프로세스를 수행하며, (예컨대, 중심와 제어 컴포넌트(420)가 액세스가능한 레지스터 또는 다른 저장 위치에 현재 시선 방향(432)을 표현하는 하나 또는 그 초과의 값들을 저장함으로써) 현재 시선 방향(432)의 표현을 중심와 제어 컴포넌트(420)에 제공한다. 블록(506)에서, 중심와 제어 컴포넌트(420)는 현재 시선 방향(432)에 기반하여 디스플레이 패널(401) 내의 시선 타겟 위치(예컨대, 시선 타겟 위치(202), 도 2)를 결정하며, 이로부터 디스플레이 패널(401)의 현재 중심와 영역을 식별한다. 일부 실시예들에서, 중심와 영역의 디멘션들은, 예컨대, N×M 픽셀들의 영역으로서 고정될 수 있고, 따라서, 중심와 제어 컴포넌트(420)는 이에 따라, 시선 타겟 위치를 둘러싸는 NxM 픽셀들이 중심와 픽셀들로서 지정되도록, 시선 타겟 위치를 실질적으로 중심으로 하도록 중심와 영역의 위치를 세팅할 수 있다. 다른 실시예들에서, 중심와 영역의 디멘션들 및/또는 형상은 다수의 팩터들에 따라 변경될 수 있다. 예시하자면, 중심와 영역의 디멘션들은 디스플레이 패널(401)의 중심으로부터 멀어질수록 감소하거나 또는 그 반대일 수 있거나, 또는 형상은 시선 타겟 위치의 특정 위치에 따라 변경될 수 있다.
중심와 영역의 위치가 결정되면, 중심와 제어 컴포넌트(420)는 레지스터, 버퍼 또는 다른 저장 엘리먼트에 중심와 영역 위치 식별자(434)를 저장할 수 있다. 예시하자면, 중심와 영역에 대한 고정된 디멘션들을 가정하면, 중심와 영역 위치 식별자(434)는, 예컨대, 중심와 영역의 좌측 최상단 픽셀(404)의 행 및 열을 표현하는 좌표 페어(X,Y)로 표현될 수 있다. 중심와 영역이 하나 또는 그 초과의 가변 디멘션들을 가지면, 중심와 영역 위치는, 예컨대, 중심와 영역의 상부 좌측 코너를 정의하는 픽셀(404)을 식별하는 좌표 페어(X,Y) 및 그 다음, 픽셀들의 면에서, 중심와 영역의 수평 범위 및 수직 범위를 표현하는 2개의 값들로 표현될 수 있다. 따라서, 블록들(504 및 506)의 프로세스들은, 시선 추적 시스템(430)의 시선 방향 업데이트 주파수 또는 디스플레이 시스템의 프레임 레이트와 같은 특정 레이트에서 이러한 방식으로 반복될 수 있다.
흐름(501)의 시선 방향 업데이트/중심와 영역 업데이트 프로세스와 동시에, 흐름(502)은 디스플레이 패널(401)을 통해 이미지들의 시퀀스를 렌더링 및 디스플레이하도록 동작한다. 따라서, 블록(508)에서, 디스플레이 시스템(400)은 프레임 레이트, 중심와 영역 디멘션들 등과 같은 다양한 파라미터들이 세팅되는 개시 프로세스를 구현한다. 이러한 초기화 프로세스의 일부는 VR/AR 소프트웨어 애플리케이션(423)의 로딩 및 실행 개시를 포함할 수 있다. 이러한 초기화 이후에, 디스플레이 시스템(400)은 VR 또는 AR 이미저리를 표현하는 디스플레이 이미지들의 시퀀스의 렌더링 및 디스플레이를 개시한다.
따라서, 블록(510)에서, VR/AR 소프트웨어 애플리케이션(423)은 현재 중심와 영역 위치에 기반하여 디스플레이 이미지의 렌더링을 개시한다. 이를 위해, 디스플레이 시스템(400)은, 현재 중심와 영역 위치에 대응하는 디스플레이 이미지의 영역이 저장된 중심와 영역 위치 식별자(434)에 기반하여 식별되며, 더 높은 해상도로 렌더링되는 반면, 디스플레이 이미지의 나머지가 하나 또는 그 초과의 더 낮은 해상도들로 렌더링되도록(여기서, 단일 픽셀 값이 어레이(402)의 2개 또는 그 초과의 픽셀들(404)의 대응하는 그룹핑의 동작을 제어하는 데 사용됨) 디스플레이 이미지를 렌더링하는 중심와 렌더링 프로세스(436)(도 4)를 구현한다. 중심와 렌더링 프로세스(436)는 프로세서(422)에 의해 하드코딩된 로직으로서, VR/AR 소프트웨어 애플리케이션(423)의 일부인 소프트웨어 코드로서, 또는 별개의 소프트웨어 기능(예컨대, VR/AR 소프트웨어 애플리케이션(423)이라 칭해지는 API(application program interface))으로서 구현될 수 있다. 결과적인 중심와-렌더링된 디스플레이 이미지는 프레임 버퍼(426)에 버퍼링된다.
종래의 디스플레이 패널에서와 같이, 디스플레이 패널(401)은 행별로 이미지를 디스플레이하도록 동작하며, 픽셀들의 각각의 행에 대한 이러한 픽셀 데이터는 스캔인되어 통상적으로 최상단 픽셀 행으로 시작하여 순차적으로 디스플레이된다. 따라서, 디스플레이 패널(401)의 주어진 픽셀 행을 구동시키기 이전에, 블록(510)에서, 중심와 제어 컴포넌트(420), 열 결합 로직(414) 및 행 결합 로직(418)은 각각의 픽셀(404)이 로케이팅된 특정 영역에 기반하여 현재 행의 픽셀들(404)을 구성하도록 함께 동작한다. 현재 중심와 영역 내에 속하는 현재 행의 임의의 픽셀들(404)은 별개의 픽셀들(404)로서 유지된다. 이어서, 다른 픽셀들(404)은 위에서 설명된 바와 같이, 2개 또는 그 초과의 픽셀들의 서브세트들로 그룹핑된다. 도 6-8은 주변 픽셀들의 이러한 그룹핑을 구현하기 위한 열 결합 로직(414) 및 행 결합 로직(418)의 예시적 구성들을 예시한다.
블록(512)의 구성 프로세스 이전에, 그 동안 또는 그 이후에, 블록(514)에서, 디스플레이 제어기(428)는 프레임 버퍼(426)로부터 프레임 이미지의 픽셀 데이터의 현재 행에 액세스하며, 픽셀 데이터를 디스플레이 패널(401)에 송신하고, 그 결과, 픽셀 데이터는 행 버퍼(410)로 스캔된다. 현재 픽셀 행에 대한 픽셀 데이터의 스캔-인이 완료된 이후에, 블록(516)에서, 행 선택 로직(416)은 디스플레이 패널(401)의 현재 픽셀 행과 연관된 제어 라인들을 어서트(assert)하고, 열 구동기들(412)의 세트는 대응하는 열 라인들 상에서 전압을 구동시키고, 각각의 열 구동기의 구동 전압은 동일한 열과 연관된 대응하는 픽셀 값에 기반한다. 도 6-8을 참조하여 아래에서 더 상세하게 설명되는 바와 같이, 이러한 픽셀 구동 프로세스 동안, 열 결합 로직(414) 및 행 결합 로직(416)의 구성들은, 디스플레이 제어기(428)에 의해 송신된 픽셀 데이터의 행의 단일 픽셀 값이 현재 행의 다수의 주변 픽셀을 구동시키는 데 사용되도록 동작하고, 따라서, 더 적은 픽셀 값들이 주변 영역과 적어도 부분적으로 오버랩하는 디스플레이 이미지의 그러한 행들에 대해 렌더링 및 송신 둘 모두가 수행될 수 있게 한다. 더욱이, 현재 행 및 인접 행이 전적으로 주변 픽셀들로만 구성되는 경우, 동일한 픽셀 값은 2개 또는 그 초과의 행들의 주변 픽셀들을 구동시키는 데 사용될 수 있으며, 이는 추가로, 픽셀 데이터 송신 요건들을 감소시킨다.
현재 픽셀 행에 대한 구동 프로세스가 완료된 이후에, 디스플레이 시스템(400)은 현재 픽셀 행이 디스플레이 이미지의 마지막 픽셀 행인지를 블록(518)에서 결정한다. 만약 그렇지 않으면, 행 선택 로직(416)은 다음 행으로 증분하고, 블록들(512, 514, 516 및 518)의 프로세스는 디스플레이 프레임의 다음 행 및 디스플레이 패널(401)의 대응하는 행에 대해 반복한다. 그렇지 않으면, 현재 픽셀 행이 디스플레이 이미지의 마지막 행인 경우, 방법(500)은 다음 디스플레이 이미지의 중심와 렌더링 및 디스플레이를 위한 블록(510)으로 리턴한다.
도 6-8은 어레이(402)의 픽셀들(404)의 중심와 영역 및 하나 또는 그 초과의 주변 영역들을 구성하도록 디스플레이 패널(401)의 행별 구성을 위한 열 결합 로직(414), 행 결합 로직(418) 및 중심와 제어 컴포넌트(420)의 예시적 구현들을 예시한다. 도 6에 도시된 디스플레이 패널(401)의 구현에서, 행 버퍼(410)는 열 버퍼들(602)의 세트로서 구현되며, 각각의 열 버퍼(602)는 픽셀들(404)의 대응하는 열과 연관되며, 대응하는 전압을 대응하는 열과 연관된 열 제어 라인(604)에 인가하기 위한 열 구동기(도 6에 도시되지 않음)를 제어하는 픽셀 값을 저장하도록 구성된다. 추가로, 열 결합 로직(414)은 복수의 트랜지스터들 또는 다른 스위치 컴포넌트들(608) 및 제어 비트 버퍼들(609)을 포함하는 스위치 어레이(606)로서 구현된다. 각각의 스위치 컴포넌트(608)는 2개의 인접 열 제어 라인들(604)에 연결된다. 비트 값 "1"이 대응하는 제어 비트 버퍼(609)에 저장될 때, 스위치 컴포넌트(608)는 관여되며(engaged), 자신이 연결된 2개의 인접 제어 라인들(604)을 전기적으로 연결시키도록 동작한다. 반대로, 비트 값 "0"이 대응하는 제어 비트 버퍼(609)에 저장될 때, 스위치 컴포넌트(608)는 관여해제되며(disengaged), 따라서, 2개의 인접 열 제어 라인들(604)을 전기적으로 격리한다. 따라서, 이러한 방식으로 중심와 제어 컴포넌트(420)는, 제어 신호(411)를 통해 적절하게 제어 비트 버퍼들(609) 각각에 "0" 또는 "1"을 가지는 제어 비트들을 기록함으로써 주어진 행 내의 픽셀들(404)의 그룹핑을 구성할 수 있다.
2개의 인접 열 제어 라인들(604)이 페어링될 때(즉, 전기적으로 연결될 때), 단일 열 구동기가 열 제어 라인들(604) 둘 모두를 구동시키는 데 사용될 수 있다(따라서, 각각의 열 구동기는 두 제어 라인들 모두를 구동시키는 데 필요한 부가적 구동 세기를 보상하기 위한 부가적 회로를 포함할 수 있음). 이로써, 별개의 픽셀 값을 각각의 열 버퍼(602)에 기록해야 하기보다는, 페어링된 픽셀들에 대해, 단일 픽셀 값이 그 페어에 대한 열 버퍼들(602) 중 하나에 기록될 수 있고, 대응하는 열 구동기는 그 단일 픽셀 값에 기반하여 열 제어 라인들(604) 둘 모두를 구동시킬 것이며, 따라서, 동일한 컬러 및 강도의 광을 방출하도록 행의 2개의 페어링된 픽셀들을 제어할 것이다.
예시하자면, 도 6에 도시된 바와 같이 중심와 영역(610) 및 주변 영역(612)을 가정하면, 행 2를 디스플레이하도록 디스플레이 패널(401)을 구성할 때, 중심와 제어 컴포넌트(420)는 각각, "1"을 열 0 및 열 1에 대한 열 제어 라인들(604)을 링크하는 제어 비트 버퍼(609)에 기록하고, 따라서, 픽셀들(2,0) 및 (2,1)을 페어링할 수 있으며, "1"을 열 2 및 열 3에 대한 열 제어 라인들(604)을 링크하는 제어 비트 버퍼(609)에 기록하고, 따라서, 픽셀들(2,2) 및 (2,3)을 페어링할 수 있으며, "0"을 열들 4-9에 대한 열 제어 라인들(604)과 연관된 제어 비트 버퍼들(609)에 기록하고, 따라서, 픽셀들(2,4), (2,5), (2,6), (2,7), (2,8) 및 (2,9)가 중심와 영역(610) 내에 있으므로 픽셀들(2,4), (2,5), (2,6), (2,7), (2,8) 및 (2,9)를 페어링되지 않은 픽셀들로서 유지할 수 있으며, "1"을 열 10 및 열 11과, 열 12 및 열 13에 대한 열 제어 라인들(604)을 링크하는 제어 비트 버퍼들(609)에 기록하고, 따라서, 픽셀들(2,10) 및 (2,11)을 페어링하고, 픽셀들(2,12) 및 (2,13)을 페어링할 수 있다. 추가로, 이러한 예에서, 이 구성에서 행 2에 대한 픽셀 데이터(614)가 아래의 표 1에 나타낸 바와 같이, 10개의 픽셀 값들로 구성된다고 가정한다:
표 1: 예시적 픽셀 값 할당
Figure 112019135699052-pat00001
이러한 구성에서 단지 10개의 픽셀 값들만이 행 2의 14개의 픽셀을 구동시키는 데 필요하지만, 행 버퍼(410)는 이러한 예에서 14개의 픽셀들(404)에 대해 14개의 열 버퍼들(602)을 가진다는 것이 인식될 것이다. 따라서, 픽셀 값 및 대응하는 픽셀의 적절한 정렬을 가능하게 하기 위해, 중심와 제어 컴포넌트(420)는 픽셀 데이터(614)를 열 버퍼들(602)로 스캔하는 데 사용되는 스캔-인 로직(619)에 제어 시그널링(616)을 제공할 수 있고, 여기서, 제어 시그널링(616)은 어떤 픽셀들이 페어링되었는지를 식별한다. 이러한 정보에 기반하여, 스캔-인 로직(619)은 대응하는 픽셀 값을 페어링된 픽셀 세트의 2개의 열 버퍼들(602) 중 하나에 기록하며, 다른 열 버퍼(602)를 스킵하거나 또는 0 값 또는 다른 널 값을 페어링된 픽셀 세트의 다른 열 버퍼(602)에 기록한다.
추가로, 인접 행들의 픽셀들이 페어링되거나 또는 그룹핑될 수 있는 실시예들에서, 행 결합 로직(418)은 도 6의 열 결합 로직(414)과 유사한 방식으로 구현될 수 있다. 따라서, 행 결합 로직(418)은 복수의 트랜지스터들 또는 다른 스위치 컴포넌트들(620) 및 제어 비트 버퍼들(622)을 포함하는 스위치 어레이(618)를 포함할 수 있다. 각각의 스위치 컴포넌트(620)는 2개의 인접 행 제어 라인들(624)에 연결되며, 중심와 제어 컴포넌트(420)에 의해 제공된 제어 신호(613)를 통해 대응하는 제어 비트 버퍼들(622)에 저장된 비트 값 전류에 기반하여 2개의 행 제어 라인들(624)을 전기적으로 연결시키거나 또는 전기적으로 격리하도록 동작한다. 따라서, 중심와 제어 컴포넌트(420)는 전적으로 주변 픽셀들로만 구성된 픽셀들의 2개의 행들을 함께 결합할 수 있어서, 대응하는 열 제어 라인(604)이 대응하는 픽셀 값에 기반하여 열 구동기에 의해 구동될 때, 그 열의 2개의 페어링된 픽셀들은 그 픽셀 값에 기반하여 동일한 컬러 및 강도의 광을 방출하도록 제어된다. 따라서, 2개의 행-인접 픽셀들이 동일한 픽셀 값에 결합되면 그리고 이러한 픽셀들 각각이 대응하는 열-인접 픽셀에 결합될 수 있으면, 스위치 어레이들(606, 618)의 대응하는 구성을 통해, 하나의 픽셀 값이 픽셀들(404)의 2x2 어레이를 구동시키는 데 사용될 수 있고, 따라서, 각각의 픽셀에 대해 스캔인되도록 별개의 픽셀 값을 요구하는 종래의 디스플레이 패널에 비해 픽셀들(404)의 이러한 2x2 어레이에 대해 75%만큼 픽셀 데이터 송신 및 클록-인 전력 소비를 감소시킬 수 있다.
도 7은 일부 실시예들에 따른, 디스플레이 패널(401)의 다른 예시적 구현을 예시한다. 위에서 설명된 도 6의 예에서와 같이, 행 버퍼(410)는 열 버퍼들(602)의 세트로서 구현될 수 있으며, 각각의 열 버퍼(602)는 픽셀들(404)의 대응하는 열과 연관되며, 대응하는 전류를 대응하는 열과 연관된 열 제어 라인(604) 상에서 구동시키기 위한 열 구동기(도 7에 도시되지 않음)를 제어하는 픽셀 값을 저장하도록 구성된다. 그러나, 열 제어 라인들(604)의 페어들을 함께 연결시키는 스위칭 어레이를 가지는 것보다는, 도 7의 구현에서, 행에 대한 수신 픽셀 데이터의 단일 픽셀 값은, 픽셀 데이터가 디스플레이 패널(401)에 대한 입력으로서 역할을 하는 스캔-인 로직(719)을 통해 스캔인될 때 페어링된 주변 픽셀들(404)의 버퍼들에 대해 복제된다.
적어도 하나의 실시예에서, 디스플레이 제어기(428)로부터 행 버퍼(410)로의 픽셀 데이터의 스캐닝은 2개의 클록들, 즉, 디스플레이 제어기(428)와 디스플레이 패널(401)의 스캔-인 로직(719) 사이의 상호연결부 상에서 데이터 신호의 타이밍을 제어하는 데 사용되는 데이터 클록(704), 및 대응하는 버퍼(602)로 시프팅되는 픽셀 값을 획득하기 위해 데이터 신호를 샘플링하기 위해 스캔-인 로직(719)에 의해 사용되는 픽셀 클록(706)을 사용하여 제어된다. 따라서, 적어도 하나의 실시예에서, 중심와 제어 컴포넌트(420)는 스캔-인 프로세스를 조작하여서, 착신(incoming) 픽셀 데이터로부터의 동일한 픽셀 값은, 픽셀 값을 표현하는 데이터 신호가 픽셀 클록(706)을 기초로 스캔-인 로직(619)에 의해 2회 샘플링되도록 그러한 픽셀 값에서 스캔할 때 제어 시그널링(708)을 통해 데이터 클록(704)을 늦춤으로써 페어링된 픽셀 세트의 2개의 열 버퍼들(602)에 대해 복제되며, 따라서, 2개의 인접 버퍼들(602)에 저장하기 위해 스캔-인 로직(719)에 의해 2회 출력된다. 도 7의 타이밍 다이어그램(720)은, 중심와 영역(610) 내에 속하는 픽셀들 및 주변 영역(612) 내에 속하는 픽셀들 둘 모두를 포함하는 행 2의 픽셀들을 구동시키기 위한 10개의 픽셀 값들을 포함하는 픽셀 데이터(614)를 표현하는 데이터 신호의 수신에 대해 도 6에서 제시되는 동일한 예를 사용하여 이러한 프로세스를 예시한다. 대안적으로, 픽셀 값들의 이러한 더블 샘플링을 획득하기 위해 픽셀 클록(706)의 주파수는 일정한 주파수로 데이터 클록(704)을 유지하면서 2배가 될 수 있다.
픽셀 데이터를 로드하기 위해 단일 직렬 경로를 사용하는 것보다는, 일부 디스플레이 패널들은 픽셀 클록의 주파수를 감소시키기 위해 픽셀 데이터를 송신하기 위한 다수의 병렬 레인들을 활용한다. 도 8은 다수의 레인들(이러한 예에서는 4개)이 픽셀 데이터를 로드하는 데 활용되고, 주변 픽셀들의 그룹핑이 레인들의 서브세트들을 함께 결합함으로써 달성되는 예시적 구현을 예시한다. 이러한 예시적 구현에서, 행 버퍼(410)는, 열 버퍼들(802)(16개의 픽셀 열들에 대해 16개의 열 버퍼들(802)이 도시됨)의 세트로서 그리고 레인 1 - 레인 4로 각각 나타내는 4개의 레인 버퍼들(811-814)로 구현된다. 픽셀들의 행에 대한 픽셀 데이터는 4개의 레인 버퍼들(811-814)로 병렬로 로드된다. 레인 버퍼(811)는 자신의 로드된 픽셀 값들을 열 0, 열 4, 열 8 및 열 12에 대한 열 버퍼들(802)로 시프팅하고, 레인 버퍼(812)는 자신의 로드된 픽셀 값들을 열 1, 열 5, 열 9 및 열 13에 대한 열 버퍼들(802)로 시프팅하며, 레인 버퍼들(813)은 자신의 로드된 픽셀 값들을 열 2, 열 6, 열 10 및 열 14에 대한 열 버퍼들(803)로 시프팅하고, 레인 버퍼들(814)은 자신의 로드된 픽셀 값들을 열 3, 열 7, 열 11 및 열 15에 대한 열 버퍼들(803)로 시프팅한다.
주변 픽셀들에 대한 픽셀 값들의 복제 로딩을 가능하게 하기 위해, 열 결합 로직(414)은 2개의 개개의 레인들을 페어링하는 스위치들의 세트로서 구현되고, 스위치(816)는 활성화될 때 레인 1 및 레인 2를 전기적으로 연결시키도록 동작가능하며, 스위치(817)는 활성화될 때 레인 2 및 레인 3을 전기적으로 연결시키도록 동작가능하고, 스위치(818)는 활성화될 때 레인 3 및 레인 4를 전기적으로 연결시키도록 동작가능하며, 중심와 제어 컴포넌트(420)는 각각 제어 신호들(821-823)을 통해 스위치들(816-818)을 제어한다.
이러한 접근법을 이용하여, 중심와 제어 컴포넌트(420)는, 레인 1 및 레인 2가 페어링될 수 있거나, 레인 3 및 레인 4가 페어링될 수 있거나, 또는 모든 4개 레인들이 함께 결합될 수 있도록, 2개 또는 그 초과의 레인들을 함께 결합하기 위해 스위치들(816-818) 중 하나 또는 그 초과를 선택적으로 활성화시킬 수 있다. 스위치들(816-818)을 통해 함께 연결된 2개 또는 그 초과의 레인들에 대해, 픽셀 데이터는 레인들 중 오직 하나에만 공급될 필요가 있고, 대응하는 스위치에 의해 제공된 연결은 픽셀 데이터가 다른 연결된 레인(들)에서 복제되게 할 것이다. 따라서, 이러한 4개 레인 접근법을 사용하여, 디스플레이 패널(401)은 전체 해상도, 1/2 해상도 또는 1/4 해상도로 동작될 수 있다. 따라서, 스위치들(816-818)을 통한 레인 연결들의 제어를 통해, 픽셀 데이터의 행의 스캔-인은 단지, 만약 있다면, 디스플레이 이미지의 중심와 영역의 일부분에 대한 픽셀 데이터를 포함하는 행의 해당 부분에 대해 높은 해상도로 동작할 필요가 있다.
예컨대, 예시된 중심와 영역(810) 및 근접 주변 영역(813)으로의 디스플레이 패널(401)의 픽셀들(404)의 파티셔닝을 가정하기로 한다. 디스플레이 이미지가 이러한 파티셔닝에 기반하여 중심와 렌더링될 때, 제어 정보는 중심와 제어 컴포넌트(420)에 대해 생성되고, 이는, 열 0 및 열 1에서의 행 2의 해당 픽셀들이 페어링된 주변 픽셀들로서 함께 그룹핑되고, 열 2 및 열 3에서의 행 2의 픽셀들이 페어링된 주변 픽셀들로서 함께 그룹핑되며, 열 4, 열 5, 열 6, 열 7, 열 8, 열 9, 열 10 및 열 11에서의 행 2의 픽셀들이 중심와 픽셀들로서 그룹핑되지 않은 상태로 유지되고, 열 12 및 열 13에서의 행 2의 픽셀들이 페어링된 주변 픽셀들로서 함께 그룹핑되며, 열 14 및 열 15에서의 행 2의 픽셀들이 페어링된 주변 픽셀들로서 함께 그룹핑되는 것임을 표시한다. 따라서, 행 2에 대한 픽셀 데이터의 로드는, 중심와 제어 컴포넌트(420)가 스위치(816)를 활성화시킴으로써 (이는 열 0 및 열 1에 대한 열 버퍼들(802)을 함께 결합하는 효과를 가짐) 시작된다. 따라서, 행 2에 대한 제1 픽셀 값이 행 2에 대해 송신되는 픽셀 데이터(815)로부터 레인 1로 로드될 때, 이러한 픽셀 값은 복제되어 열 0 및 열 1 둘 모두에 대한 열 버퍼들(802)에 저장된다. 이어서, 중심와 제어 컴포넌트(420)는 스위치(816)를 활성화해제시키며, 스위치(818)를 활성화시켜 열 2 및 열 3에 대한 열 버퍼들(802)을 함께 결합한다. 따라서, 제2 픽셀 값이 레인 3으로 로드될 때, 제2 픽셀 값은 복제되고, 따라서, 동일한 픽셀 값이 열 2 및 열 3에 대한 열 버퍼들(802)에 저장된다. 이어서, 중심와 제어 컴포넌트(420)는 스위치들(816-818) 모두를 활성화해제시키고, 제3 픽셀 값, 제4 픽셀 값, 제5 픽셀 값 및 제6 픽셀 값은 각각 레인들 1-4로 로드되며, 이어서, 각각 열들 4-7에 대한 열 버퍼들(802)에 전달된다. 이어서, 제7 픽셀 값, 제8 픽셀 값, 제9 픽셀 값 및 제10 픽셀 값은 각각 레인들 1-4로 로드되며, 이어서, 각각 열들 8-11에 대한 열 버퍼들(802)에 전달된다. 그 이후, 중심와 제어 컴포넌트(420)는, 레인 1의 제11 수신 픽셀 값이 레인 2에 대해 복제되고, 따라서, 열 12 및 열 13의 열 버퍼들(802)을 제11 픽셀 값으로 채우도록 스위치(816)를 다시 활성화시킨다. 이어서, 중심와 제어 컴포넌트(420)는, 레인 3의 제12 수신 픽셀 값이 레인 4에 복제되고, 따라서, 열 14 및 열 15에 대한 열 버퍼들(802) 둘 모두가 제12 픽셀 값으로 채워지도록 스위치(818)를 활성화시킨다. 이어서, 행 선택 로직(414)은 행 2에 대한 제어 라인을 활성화시키고, 열 구동기들은 자신들의 대응하는 열 버퍼(802)에 저장된 픽셀 값들에 기반하여 행 2의 픽셀들을 구동시킨다.
예시의 용이함을 위해 본 개시내용의 중심와 디스플레이 기법들이 비교적 낮은 해상도를 가지는 예들을 참조하여 위에서 설명된다. 그러나, 이러한 기법들을 활용할 수 있는 실제 디스플레이 패널들의 훨씬 더 큰 해상도들의 맥락에서 고려될 때, 픽셀 데이터 대역폭 및 디스플레이 백플레인 스위칭 전력 소비의 유리한 감소가 훨씬 더 명백해진다. 예시하자면, 수평으로 및 수직으로 모두 110도의 시야를 제공하는 디스플레이 패널을 고려하기로 한다. 대략 1분간 아크의 중심와 해상도를 가정하면, 그러한 디스플레이는 대략 수평으로 6,600개의 픽셀들 및 수직으로 6,600개의 픽셀들을 요구하거나 또는 총 4,356만개의 픽셀들을 요구할 것이다. 각각의 픽셀이 3개의 바이트들(RGB(red, green, and blue) 서브픽셀들에 대해 각각 1 바이트씩)을 요구하면, 디스플레이 이미지는 대략 131MB(megabytes)를 요구한다. 120 Hz(hertz)의 프레임 레이트에서, 종래의 디스플레이 패널은 대응하는 스위칭 전력 소비 레이트에 대해 대략 15.7GB/s(gigabytes per second)의 대역폭을 요구할 것이다.
그러나, 본원에서 설명된 기법들을 사용하여, 수평으로 5도 x 수직으로 5도의 중심와 영역이 구현되면, 중심와 영역은 90,000 픽셀들을 요구할 것이며, 픽셀당 3개의 바이트들에서, 각각의 디스플레이 이미지의 중심와 영역은 대략 270KB(kilobytes)이다. 따라서, 120Hz 프레임 레이트에서, 각각의 디스플레이 이미지의 중심와 영역을 전달하는 데 요구되는 데이터 대역폭은 대략 32.4MB/s이다. 또한 픽셀당 2분에서 30도 x 30도의 근접 주변 영역 또는 경계 영역이 구현되고, 이러한 근접 주변 영역이 1/2 해상도로 구현되면(즉, 픽셀들이 2의 서브세트들로 페어링됨), 디스플레이 이미지들의 근접 주변 영역들을 송신하기 위해 요구되는 데이터 레이트는 대략 203MB/s이다. 디스플레이 이미지의 나머지 영역이 1/4 해상도로 먼 주변 영역으로서 구현되면(즉, 픽셀들이 4의 서브세트들로 그룹핑됨), 디스플레이 이미지들의 먼 주변 영역들을 송신하기 위해 요구되는 데이터 레이트는 대략 518MB/s이다. 따라서, 종래의 디스플레이 패널에 대해 위에서 서술된 15.7GB/s의 데이터 레이트에 비해, 본 예에서 위에서 설명된 기법들에 따른 중심와 렌더링된 디스플레이 이미지들을 전달하는 총 데이터 레이트는 대략 753MB/s이다. 따라서, 이러한 예는, 인간의 눈의 중심와 인식 특성들로 인해 인식된 이미지 품질에 거의 또는 전혀 해로운 영향을 미치지 않으면서, 종래의 접근법들에 비해 요구되는 픽셀 데이터 전달 대역폭의 20배만큼의 감소를 예시한다.
위에서 설명된 본 발명의 기능성 중 대부분 및 본 발명의 원리들 중 다수는 ASIC(application specific IC)들과 같은 IC(integrated circuit)들로 또는 이들을 이용하여 구현하기에 매우 적합하다. 당업자는, 예컨대, 이용가능한 시간, 현재 기술 및 경제적 고려사항들에 의해 동기유발된 아마도 상당한 노력 및 다수의 설계 선택들에도 불구하고, 본원에서 개시된 개념들 및 원리들에 의해 안내될 때, 최소의 실험으로 그러한 IC들을 용이하게 생성할 수 있을 것으로 예상된다. 그에 따라서, 본 개시내용에 따른 원리들 및 개념들을 모호하게 하는 임의의 위험의 간결함 및 최소화를 위해, 만약 있다면, 그러한 소프트웨어 및 IC들의 추가적 논의는, 바람직한 실시예들 내의 원리들 및 개념들에 대한 본질들로 제한될 것이다.
일부 실시예들에서, 위에서 설명된 기법들의 특정 양상들은 소프트웨어를 실행하는 프로세싱 시스템의 하나 또는 그 초과의 프로세서들에 의해 구현될 수 있다.　 소프트웨어는 비-일시적 컴퓨터 판독가능한 저장 매체 상에 저장되거나, 또는 그렇지 않으면 유형적으로(tangibly) 구현된 실행가능한 명령들의 하나 또는 그 초과의 세트들을 포함한다.　 소프트웨어는, 하나 또는 그 초과의 프로세서들에 의해 실행될 때, 위에서 설명된 기법들의 하나 또는 그 초과의 양상들을 수행하기 위해 하나 또는 그 초과의 프로세서들을 조작하는 명령들 및 특정 데이터를 포함할 수 있다. 비-일시적 컴퓨터 판독가능한 저장 매체는, 예컨대, 자기 또는 광학 디스크 저장 디바이스, 플래시 메모리(Flash memory)와 같은 솔리드 스테이트(solid state) 저장 디바이스들, 캐시(cache), RAM(random access memory) 또는 다른 비-휘발성 메모리 디바이스 또는 디바이스들 등을 포함할 수 있다. 비-일시적 컴퓨터 판독가능한 저장 매체 상에 저장된 실행가능한 명령들은 소스 코드(source code), 어셈블리 언어 코드(assembly language code), 오브젝트 코드(object code), 또는 하나 또는 그 초과의 프로세서들에 의해 해석되거나 또는 그렇지 않으면 실행가능한 다른 명령 포맷으로 되어 있을 수 있다.
이 문서에서, 제1 및 제2 등과 같은 관계 용어들은, 하나의 엔티티 또는 액션을 다른 엔티티 또는 액션으로부터, 그러한 엔티티들 또는 액션들 사이의 임의의 실제적인 그러한 관계 또는 순서를 반드시 요구하거나 또는 암시하지 않으면서 구별하기 위해 전적으로 사용될 수 있다. "포함한다", "포함하는"이라는 용어들 또는 이들의 임의의 다른 변형은 비-배타적 포함을 커버하도록 의도된 것이어서, 엘리먼트들의 리스트를 포함하는 프로세스, 방법, 물품, 또는 장치는 그러한 엘리먼트들만을 포함하는 것이 아니라, 명백하게 열거되지 않거나 또는 그러한 프로세스, 방법, 물품, 또는 장치에 고유한 다른 엘리먼트들을 포함할 수 있다. "...을 포함하다"에 선행하는 엘리먼트들은, 추가 제약들 없이, 엘리먼트를 포함하는 프로세스, 방법, 물품 또는 장치에서의 부가적인 동일한 엘리먼트들의 존재를 배제하지 않는다. 본원에서 사용되는 "다른"이라는 용어는 적어도 제2 또는 그 이후의 것으로서 정의된다. 본원에서 사용되는 "포함하는" 및/또는 "가지는"이라는 용어들은 포함하는으로서 정의된다. 전자-광학 기술을 참조하여 본원에서 사용되는 "커플링된"이라는 용어는 연결된으로서 정의되지만, 반드시 직접적으로가 아니고, 반드시 기계적으로도 아니다. 본원에서 사용되는 "프로그램"이라는 용어는 컴퓨터 시스템 상에서의 실행을 위해 설계된 명령들의 시퀀스로서 정의된다. "애플리케이션" 또는 "소프트웨어"는 서브루틴, 함수, 프로시저, 오브젝트 방법, 오브젝트 구현, 실행가능한 애플리케이션, 애플릿, 서블릿, 소스 코드, 오브젝트 코드, 공유 라이브러리/동적 로드 라이브러리 및/또는 컴퓨터 시스템 상에서의 실행을 위해 설계된 명령들의 다른 시퀀스를 포함할 수 있다.
명세서 및 도면들은 단지 예들로서 고려되어야 하고, 따라서 본 개시내용의 범위는 다음의 청구항들 및 이의 등가물들에 의해서만 제한되도록 의도된다. 일반적 설명에서 위에서 설명된 모든 활동들 또는 엘리먼트들이 요구되는 것은 아니고, 특정 활동 또는 디바이스의 일부분이 요구되지 않을 수 있으며, 설명된 것들 이외에 하나 또는 그 초과의 추가적 활동들이 수행될 수 있거나 또는 엘리먼트들이 포함될 수 있다는 점이 주목된다. 여전히 추가로, 활동들이 열거된 순서가 반드시 활동들이 수행되는 순서는 아니다. 위에서 도시된 흐름도들의 단계들은, 달리 명시되지 않는 한, 임의의 순서일 수 있으며, 단계들은 구현에 따라 제거, 반복 및/또는 부가될 수 있다. 또한, 개념들은 특정 실시예들을 참조하여 설명되었다. 그러나, 당업자는 아래의 청구항들에서 기재된 바와 같은 본 개시내용의 범위로부터 벗어나지 않으면서 다양한 수정들 및 변화들이 이루어질 수 있다는 것을 인식한다. 따라서, 명세서 및 도면들은 제한적 의미가 아니라, 예시적 의미로 간주되어야 하고, 모든 그러한 수정들은 본 개시내용의 범위 내에 포함되도록 의도된다.
이익들, 다른 이점들 및 문제들에 대한 솔루션들은 특정 실시예들에 대해 위에서 설명되었다. 그러나, 이익들, 이점들, 문제들에 대한 솔루션들, 및 임의의 이익, 이점 또는 솔루션이 발생하게 하거나 또는 더 확연해지게(pronounced) 할 수 있는 임의의 특징(들)은 임의의 또는 모든 청구항들의 중요하거나, 요구되거나, 또는 필수적인 특징들로서 해석되지 않아야 한다.

Claims (20)

  1. 디스플레이 시스템으로서,
    디스플레이 패널을 포함하고,
    상기 디스플레이 패널은:
    디스플레이 이미지의 픽셀 데이터를 수신하기 위한 입력부 ― 상기 픽셀 데이터는 상기 디스플레이 이미지의 픽셀 컬러들을 특정하고, 그리고 상기 디스플레이 이미지의 중심와(foveal) 영역 내의 각각의 픽셀에 대응하는 개별 픽셀 값을 포함하는 복수의 중심와 픽셀 값들 및 상기 디스플레이 이미지의 적어도 하나의 주변 영역의 픽셀들에 대한 복수의 주변 픽셀 값들을 포함함 ―;
    상기 중심와 영역 및 적어도 하나의 주변 영역으로 파티셔닝되는 픽셀들의 어레이; 및
    상기 적어도 하나의 주변 영역 내의 상기 어레이의 픽셀들을 적어도 2개의 픽셀들의 서브세트들로 그룹핑하고 그리고 상기 복수의 주변 픽셀 값들로부터의 픽셀 데이터의 하나의 인스턴스(instance)를 복제함으로써 각각의 서브세트를 제어하기 위한 어레이 제어기를 포함하고,
    상기 어레이 제어기는 추가로 상기 복수의 중심와 픽셀 값들로부터의 상기 대응하는 개별 픽셀 값을 사용하여 상기 중심와 영역 내의 상기 어레이의 각각의 픽셀을 제어하기 위한 것인, 디스플레이 시스템.
  2. 제1항에 있어서,
    상기 어레이 제어기는 상기 어레이의 행(row)의 적어도 2개의 인접 픽셀들을 대응하는 서브세트로 그룹핑하기 위한 열(column) 결합 로직을 포함하는, 디스플레이 시스템.
  3. 제2항에 있어서,
    상기 어레이 제어기는:
    열 버퍼들의 세트 ― 각각의 열 버퍼는 상기 어레이의 대응하는 열과 연관되고 그리고 상기 대응하는 열의 열 제어 라인을 구동하기 위한 열 구동기에 의해 사용되는 픽셀 값을 저장하기 위한 것임 ―;
    제어 비트 버퍼들 및 복수의 스위치들을 포함하는 스위치 어레이 ― 각각의 스위치는 대응하는 제어 비트 버퍼에 저장되는 제어 비트에 기초하여 상기 어레이의 2개 이상의 열들의 대응하는 서브세트의 열 제어 라인들을 선택적으로 전기적으로 연결시키도록 동작가능함 ―; 및
    상기 중심와 영역의 포지션 및 상기 적어도 하나의 주변 영역의 각각의 주변 영역의 포지션에 기초하여 상기 제어 비트 버퍼들에 제어 비트들을 저장하기 위한 중심와 제어 컴포넌트를 더 포함하는, 디스플레이 시스템.
  4. 제2항에 있어서,
    상기 어레이 제어기는:
    열 버퍼들의 세트 ― 각각의 열 버퍼는 상기 어레이의 대응하는 열과 연관되고 그리고 상기 대응하는 열의 열 제어 라인을 구동하기 위한 열 구동기에 의해 사용되는 픽셀 값을 저장하기 위한 것임 ―;
    상기 픽셀 값들을 생성하기 위해 상기 픽셀 데이터를 표현하는 데이터 신호를 샘플링하기 위한 스캔-인(scan-in) 로직 ― 각각의 샘플링된 픽셀 값은 대응하는 열 버퍼로의 저장을 위해 제공됨 ―; 및
    상기 적어도 2개의 픽셀들의 서브세트들의 각각에 대해, 단일 픽셀 값을 표현하는 상기 데이터 신호의 대응하는 부분이, 상기 서브세트와 연관된 상기 열 버퍼들의 각각의 열 버퍼에 대한 픽셀 값을 복제하기 위해 다수 회 샘플링되도록, 상기 스캔-인 로직의 샘플 레이트를 제어하기 위한 중심와 제어 컴포넌트를 더 포함하는, 디스플레이 시스템.
  5. 제2항에 있어서,
    상기 어레이 제어기는:
    열 버퍼들의 세트 ― 각각의 열 버퍼는 상기 어레이의 대응하는 열과 연관되고 그리고 상기 대응하는 열의 열 제어 라인을 구동하기 위한 열 구동기에 의해 사용되는 픽셀 값을 저장하기 위한 것임 ―;
    병렬로 상기 픽셀 데이터를 수신하기 위한 복수의 레인(lane)들 ― 각각의 레인은 상기 열 버퍼들의 세트의 열 버퍼들의 대응하는 서브세트에 커플링되는 레인 버퍼를 가짐 ―;
    복수의 스위치들을 포함하는 스위치 어레이 ― 각각의 스위치는 활성화될 때 상기 복수의 레인들 중 2개 이상의 레인들의 대응하는 서브세트를 선택적으로 전기적으로 연결시키도록 동작가능함 ―; 및
    상기 중심와 영역의 포지션 및 상기 적어도 하나의 주변 영역의 각각의 주변 영역의 포지션에 기초하여 상기 스위치 어레이의 스위치들을 선택적으로 활성화시키기 위한 중심와 제어 컴포넌트를 더 포함하는, 디스플레이 시스템.
  6. 제2항에 있어서,
    상기 어레이 제어기는 상기 어레이의 열의 적어도 2개의 인접 픽셀들을 대응하는 서브세트로 그룹핑하기 위한 행 결합 로직을 더 포함하는, 디스플레이 시스템.
  7. 제1항에 있어서,
    상기 픽셀들의 어레이는 다수의 주변 영역들로 파티셔닝되고; 그리고
    상기 다수의 주변 영역들 중 하나의 주변 영역에 대한 서브세트로 그룹핑되는 픽셀들의 수는 상기 중심와 영역으로부터의 상기 주변 영역의 거리에 기초하는, 디스플레이 시스템.
  8. 제1항에 있어서,
    상기 픽셀들의 어레이는 상기 중심와 영역에 근접한 제1 주변 영역 및 상기 중심와 영역으로부터 먼 제2 주변 영역으로 파티셔닝되고; 그리고
    상기 어레이 제어기는 상기 제1 주변 영역 내의 상기 어레이의 픽셀들을 N개의 픽셀들의 대응하는 서브세트들로 그룹핑하고 그리고 상기 제2 주변 영역 내의 상기 어레이의 픽셀들을 M개의 픽셀들의 대응하는 서브세트들로 그룹핑하기 위한 것이고,
    M은 N보다 큰, 디스플레이 시스템.
  9. 삭제
  10. 제1항에 있어서,
    상기 어레이에 대한 상기 적어도 하나의 주변 영역 및 상기 중심와 영역의 위치들에 기초하여 디스플레이 이미지를 중심와 렌더링하기 위한 렌더링 시스템 ― 상기 주변 영역 중 적어도 하나의 주변 영역 내의 픽셀들을 갖는 상기 디스플레이 이미지의 각각의 행에 대해, 상기 행에 대한 상기 픽셀 데이터에서 표현되는 픽셀 값들의 수는 상기 행의 픽셀들의 수보다 적음 ―; 및
    상호연결부를 통해 상기 디스플레이 패널의 입력부에 연결되는 디스플레이 제어기를 더 포함하고,
    상기 디스플레이 제어기는 행별로(on a row-by-row basis) 상기 디스플레이 이미지의 상기 픽셀 데이터를 송신하기 위한 것인, 디스플레이 시스템.
  11. 방법으로서,
    디스플레이 패널의 픽셀들의 어레이를 중심와 영역 및 적어도 하나의 주변 영역으로 파티셔닝하는 단계;
    상기 적어도 하나의 주변 영역 내의 픽셀들을 적어도 2개의 픽셀들의 서브세트들로 그룹핑하는 단계;
    디스플레이 이미지의 픽셀 데이터를 수신하는 단계 ― 상기 픽셀 데이터는 상기 디스플레이 이미지의 픽셀 컬러들을 특정하고, 그리고 상기 디스플레이 이미지의 중심와 영역 내의 각각의 픽셀에 대응하는 개별 픽셀 값을 포함하는 복수의 중심와 픽셀 값들 및 상기 디스플레이 이미지의 적어도 하나의 주변 영역의 픽셀들에 대한 복수의 주변 픽셀 값들을 포함함 ―;
    상기 복수의 주변 픽셀 값들의 픽셀 데이터의 하나의 인스턴스를 복제함으로써 상기 주변 영역 내의 상기 어레이의 적어도 2개의 픽셀들의 각각의 서브세트를 제어하는 단계; 및
    상기 복수의 중심와 픽셀 값들로부터의 상기 대응하는 개별 픽셀 값을 사용하여 상기 중심와 영역 내의 상기 어레이의 각각의 픽셀을 제어하는 단계를 포함하는, 방법.
  12. 제11항에 있어서,
    상기 적어도 하나의 주변 영역 내의 픽셀들을 적어도 2개의 픽셀들의 서브세트들로 그룹핑하는 것은, 상기 어레이의 행의 적어도 2개의 인접 픽셀들을 대응하는 서브세트로 그룹핑하는 것을 포함하는, 방법.
  13. 제12항에 있어서,
    열 버퍼들의 세트에 상기 복수의 중심와 픽셀 값들 및 상기 복수의 주변 픽셀 값들을 저장하는 단계 ― 각각의 열 버퍼는 상기 어레이의 대응하는 열과 연관되고 그리고 상기 대응하는 열의 열 제어 라인을 구동하기 위한 열 구동기에 의해 사용되는 픽셀 값을 저장함 ―; 및
    상기 어레이의 파티셔닝에 기초하여 스위치 어레이를 구성하는 단계를 더 포함하고,
    상기 스위치 어레이는 제어 비트 버퍼들 및 복수의 스위치들을 포함하고, 각각의 스위치는 대응하는 제어 비트 버퍼에 저장되는 제어 비트에 기초하여 상기 어레이의 2개 이상의 열들의 대응하는 서브세트의 열 제어 라인들을 선택적으로 전기적으로 연결시키도록 동작가능한, 방법.
  14. 제12항에 있어서,
    열 버퍼들의 세트에 상기 복수의 중심와 픽셀 값들 및 상기 복수의 주변 픽셀 값들을 저장하는 단계 ― 각각의 열 버퍼는 상기 어레이의 대응하는 열과 연관되고 그리고 상기 대응하는 열의 열 제어 라인을 구동하기 위한 열 구동기에 의해 사용되는 픽셀 값을 저장함 ―;
    상기 픽셀 값들을 생성하기 위해 상기 픽셀 데이터를 표현하는 데이터 신호를 샘플링하는 단계 ― 각각의 샘플링된 픽셀 값은 대응하는 열 버퍼로의 저장을 위해 제공됨 ―; 및
    상기 적어도 2개의 픽셀들의 서브세트들의 각각에 대해, 단일 픽셀 값을 표현하는 상기 데이터 신호의 대응하는 부분이, 상기 서브세트와 연관된 상기 열 버퍼들의 각각의 열 버퍼에 대한 픽셀 값을 복제하기 위해 다수 회 샘플링되도록, 상기 샘플링의 샘플 레이트를 제어하는 단계를 더 포함하는, 방법.
  15. 제12항에 있어서,
    병렬로 상기 픽셀 데이터를 수신하기 위한 복수의 레인들에 병렬로 상기 픽셀 데이터를 저장하는 단계 ― 각각의 레인은 열 버퍼들의 세트의 열 버퍼들의 대응하는 서브세트에 커플링되는 레인 버퍼를 갖고, 각각의 열 버퍼는 상기 어레이의 대응하는 열과 연관되고 그리고 상기 대응하는 열의 열 제어 라인을 구동하기 위한 열 구동기에 의해 사용되는 픽셀 값을 저장함 ―; 및
    상기 파티셔닝에 기초하여 스위치 어레이의 스위치들을 선택적으로 활성화시키는 단계를 더 포함하고,
    각각의 스위치는 활성화될 때 상기 복수의 레인들 중 2개 이상의 레인들의 대응하는 서브세트를 선택적으로 전기적으로 연결시키도록 동작가능한, 방법.
  16. 제12항에 있어서,
    상기 적어도 하나의 주변 영역 내의 픽셀들을 적어도 2개의 픽셀들의 서브세트들로 그룹핑하는 것은, 상기 어레이의 열의 적어도 2개의 인접 픽셀들을 대응하는 서브세트로 그룹핑하는 것을 포함하는, 방법.
  17. 제11항에 있어서,
    상기 픽셀들의 어레이를 파티셔닝하는 것은, 상기 픽셀들의 어레이를 다수의 주변 영역들로 파티셔닝하는 것을 포함하고; 그리고
    상기 다수의 주변 영역들 중 하나의 주변 영역에 대한 서브세트로 그룹핑되는 픽셀들의 수는 상기 중심와 영역으로부터의 상기 주변 영역의 거리에 기초하는, 방법.
  18. 제11항에 있어서,
    상기 픽셀들의 어레이를 파티셔닝하는 것은, 상기 픽셀들의 어레이를 상기 중심와 영역에 근접한 제1 주변 영역 및 상기 중심와 영역으로부터 먼 제2 주변 영역으로 파티셔닝하는 것을 포함하고; 그리고
    상기 픽셀들을 그룹핑하는 것은, 상기 제1 주변 영역 내의 상기 어레이의 픽셀들을 N개의 픽셀들의 대응하는 서브세트들로 그룹핑하고 그리고 상기 제2 주변 영역 내의 상기 어레이의 픽셀들을 M개의 픽셀들의 대응하는 서브세트들로 그룹핑하는 것을 포함하고,
    M은 N보다 큰, 방법.
  19. 삭제
  20. 제11항에 있어서,
    상기 어레이에 대한 상기 적어도 하나의 주변 영역 및 상기 중심와 영역의 위치들에 기초하여 디스플레이 이미지를 중심와 렌더링하는 단계 ― 상기 주변 영역 중 적어도 하나의 주변 영역 내의 픽셀들을 갖는 상기 디스플레이 이미지의 각각의 행에 대해, 상기 행에 대한 상기 픽셀 데이터에서 표현되는 픽셀 값들의 수는 상기 행의 픽셀들의 수보다 적음 ―; 및
    행별로 상호연결부를 통해 디스플레이 제어기로부터 상기 디스플레이 패널에 상기 디스플레이 이미지의 상기 픽셀 데이터를 송신하는 단계를 더 포함하는, 방법.
KR1020197038893A 2016-02-17 2016-12-14 중심와-렌더링된 디스플레이 KR102488538B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US201662296278P 2016-02-17 2016-02-17
US62/296,278 2016-02-17
US15/135,944 2016-04-22
US15/135,944 US10475370B2 (en) 2016-02-17 2016-04-22 Foveally-rendered display
KR1020187015527A KR20180074785A (ko) 2016-02-17 2016-12-14 중심와-렌더링된 디스플레이
PCT/US2016/066613 WO2017142613A1 (en) 2016-02-17 2016-12-14 Foveally-rendered display

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187015527A Division KR20180074785A (ko) 2016-02-17 2016-12-14 중심와-렌더링된 디스플레이

Publications (2)

Publication Number Publication Date
KR20200003281A KR20200003281A (ko) 2020-01-08
KR102488538B1 true KR102488538B1 (ko) 2023-01-12

Family

ID=59561703

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020187015527A KR20180074785A (ko) 2016-02-17 2016-12-14 중심와-렌더링된 디스플레이
KR1020197038893A KR102488538B1 (ko) 2016-02-17 2016-12-14 중심와-렌더링된 디스플레이

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020187015527A KR20180074785A (ko) 2016-02-17 2016-12-14 중심와-렌더링된 디스플레이

Country Status (6)

Country Link
US (1) US10475370B2 (ko)
EP (1) EP3384483A1 (ko)
JP (1) JP6783866B2 (ko)
KR (2) KR20180074785A (ko)
CN (1) CN109074774B (ko)
WO (1) WO2017142613A1 (ko)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10930205B2 (en) * 2016-05-19 2021-02-23 Semiconductor Energy Laboratory Co., Ltd. Display system and moving object
US10373592B2 (en) * 2016-08-01 2019-08-06 Facebook Technologies, Llc Adaptive parameters in image regions based on eye tracking information
CN109643515B (zh) 2016-08-15 2022-07-12 苹果公司 具有可变分辨率的显示器
US10690991B1 (en) 2016-09-02 2020-06-23 Apple Inc. Adjustable lens systems
KR20180057101A (ko) * 2016-11-21 2018-05-30 엘지디스플레이 주식회사 게이트 구동회로 및 이를 이용한 표시패널
US10110802B2 (en) * 2016-12-30 2018-10-23 Axis Ab Historical gaze heat map for a video stream
US10657873B2 (en) * 2017-01-12 2020-05-19 Synaptics Japan Gk System and method for subpixel rendering and display driver
WO2018148565A1 (en) * 2017-02-09 2018-08-16 Wove, Inc. Method for managing data, imaging, and information computing in smart devices
KR102487747B1 (ko) * 2017-04-27 2023-01-11 가부시키가이샤 한도오따이 에네루기 켄큐쇼 표시 유닛, 표시 장치, 및 전자 기기
CN107168668A (zh) * 2017-04-28 2017-09-15 北京七鑫易维信息技术有限公司 图像数据传输方法、装置以及存储介质、处理器
GB2563832B (en) * 2017-06-23 2021-11-10 Sony Interactive Entertainment Inc Display method and apparatus
DE102017129795A1 (de) * 2017-06-30 2019-01-03 Lg Display Co., Ltd. Anzeigevorrichtung und gate-treiberschaltkreis davon, ansteuerungsungsverfahren und virtuelle-realität-vorrichtung
CN107393465B (zh) * 2017-07-24 2019-02-19 武汉华星光电技术有限公司 Oled显示装置及其驱动方法
US10466779B1 (en) * 2017-07-24 2019-11-05 Facebook Technologies, Llc Event camera for eye tracking
WO2019067157A1 (en) * 2017-09-27 2019-04-04 Apple Inc. MITIGATION OF VISUAL ARTIFACTS OF DYNAMIC FOVÉAL DISPLAY
WO2019082510A1 (ja) * 2017-10-23 2019-05-02 ソニー株式会社 表示制御装置、ヘッドマウントディスプレイ、表示制御方法およびコンピュータプログラム
US10395624B2 (en) 2017-11-21 2019-08-27 Nvidia Corporation Adjusting an angular sampling rate during rendering utilizing gaze information
GB2569176B (en) * 2017-12-08 2022-04-13 Displaylink Uk Ltd Processing visual information for display on a screen
KR102532972B1 (ko) * 2017-12-29 2023-05-16 엘지디스플레이 주식회사 표시장치의 보상 방법 및 보상값 저장부를 포함하는 표시장치
WO2019143729A1 (en) 2018-01-16 2019-07-25 Pacific Light & Hologram, Inc. Three-dimensional displays using electromagnetic field computations
JP2019128468A (ja) * 2018-01-25 2019-08-01 セイコーエプソン株式会社 表示装置、および電子機器
US10713997B2 (en) 2018-03-23 2020-07-14 Valve Corporation Controlling image display via mapping of pixel values to pixels
CN111954901B (zh) * 2018-04-24 2023-05-05 惠普发展公司，有限责任合伙企业 包括用于选择列像素数据的开关的显示设备
US10770023B2 (en) 2018-05-29 2020-09-08 Synaptics Incorporated Dynamic overdrive for liquid crystal displays
US11295709B2 (en) * 2018-06-04 2022-04-05 Beijing Boe Optoelectronics Technology Co., Ltd. Method for processing image data with reduced transmission bandwidth for display
KR20210066797A (ko) * 2018-08-29 2021-06-07 피씨엠에스 홀딩스, 인크. 모자이크 주기적 층에 기반한 광 필드 디스플레이를 위한 광학 방법 및 시스템
US10762866B2 (en) 2018-08-30 2020-09-01 Synaptics Incorporated Display rescan
US11023995B2 (en) * 2018-09-21 2021-06-01 Apple Inc. Systems and methods to toggle display links
US11721307B1 (en) * 2018-11-02 2023-08-08 Meta Platforms Technologies, Llc Beam-racing pixel generation in a display engine
CN113490873A (zh) 2018-12-28 2021-10-08 奇跃公司 带有机械致动图像投影仪的可变像素密度显示系统
CN109637418B (zh) * 2019-01-09 2022-08-30 京东方科技集团股份有限公司 一种显示面板及其驱动方法、显示装置
FR3091965B1 (fr) * 2019-01-22 2021-02-12 Commissariat Energie Atomique Système d’affichage a resolution variable
GB2583061B (en) * 2019-02-12 2023-03-15 Advanced Risc Mach Ltd Data processing systems
US11009944B1 (en) * 2019-07-24 2021-05-18 Facebook Technologies, Llc Systems and methods for displaying foveated images
KR20230144093A (ko) * 2019-07-28 2023-10-13 구글 엘엘씨 포비에이티드 메시들로 몰입형 비디오 콘텐츠를 렌더링하기 위한 방법들, 시스템들, 및 매체들
TWI707320B (zh) * 2019-08-07 2020-10-11 友達光電股份有限公司 顯示裝置
US11100899B2 (en) * 2019-08-13 2021-08-24 Facebook Technologies, Llc Systems and methods for foveated rendering
WO2021094844A1 (ja) 2019-11-11 2021-05-20 株式会社半導体エネルギー研究所 情報処理装置、および情報処理装置の動作方法
CN110830783B (zh) * 2019-11-28 2021-06-01 歌尔光学科技有限公司 一种vr影像处理方法、装置、vr眼镜及可读存储介质
KR102665516B1 (ko) * 2019-12-04 2024-05-14 엘지디스플레이 주식회사 표시 장치
FR3107611B1 (fr) 2020-02-26 2022-03-04 Aledia Ecran d’affichage à résolution multiple et procédé de réalisation
US20220083006A1 (en) 2020-09-17 2022-03-17 Pacific Light & Hologram, Inc. Displaying three-dimensional objects
KR20220045611A (ko) * 2020-10-05 2022-04-13 삼성디스플레이 주식회사 표시 장치 및 표시 패널의 구동 방법
JP2022113550A (ja) * 2021-01-25 2022-08-04 株式会社ソニー・インタラクティブエンタテインメント 画像表示システムおよび画像表示方法
JPWO2022167890A1 (ko) * 2021-02-05 2022-08-11
CN114935971A (zh) * 2021-02-05 2022-08-23 京东方科技集团股份有限公司 显示驱动芯片、显示装置和显示驱动方法
US11355043B1 (en) * 2021-02-18 2022-06-07 Facebook Technologies, Llc Dynamically driving multiple portions of display device with different duty cycles
JP2024057112A (ja) * 2021-02-26 2024-04-24 ソニーグループ株式会社 表示制御装置、表示装置、及び表示制御方法
US11545072B2 (en) * 2021-06-08 2023-01-03 Huizhou China Star Optoelectronics Display Co., Ltd. Driving device of display panel and display device
US11972742B2 (en) * 2021-07-30 2024-04-30 Canon Kabushiki Kaisha Display apparatus, photoelectric conversion apparatus, electronic equipment, and wearable device
US11749231B2 (en) * 2021-08-04 2023-09-05 Synaptics Incorporated Device and method for foveated rendering
WO2023062976A1 (ja) * 2021-10-14 2023-04-20 ソニーセミコンダクタソリューションズ株式会社 表示装置及び電子機器
WO2023084356A1 (ja) * 2021-11-12 2023-05-19 株式会社半導体エネルギー研究所 表示装置、及び電子機器
US20230306909A1 (en) * 2022-03-25 2023-09-28 Meta Platforms Technologies, Llc Modulation of display resolution using macro-pixels in display device
WO2023192661A1 (en) * 2022-04-01 2023-10-05 Meta Platforms Technologies, Llc Grouped display gate scanning in foveated resolution displays
US11900842B1 (en) 2023-05-12 2024-02-13 Pacific Light & Hologram, Inc. Irregular devices

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020109819A1 (en) 2001-02-15 2002-08-15 Tveye Inc. Method and apparatus for low bandwidth transmission of data utilizing of the human eye anatomy

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5422653A (en) * 1993-01-07 1995-06-06 Maguire, Jr.; Francis J. Passive virtual reality
JPH0777665A (ja) * 1993-03-29 1995-03-20 Canon Inc 画像表示装置及びその為の画像撮影装置
US5600347A (en) 1993-12-30 1997-02-04 International Business Machines Corporation Horizontal image expansion system for flat panel displays
US6496187B1 (en) 1998-02-17 2002-12-17 Sun Microsystems, Inc. Graphics system configured to perform parallel sample to pixel calculation
US6781606B2 (en) 1999-05-20 2004-08-24 Hewlett-Packard Development Company, L.P. System and method for displaying images using foveal video
US6303921B1 (en) * 1999-11-23 2001-10-16 Hewlett-Packard Company Method and system for capturing large format documents using a portable hand-held scanner
US20010033287A1 (en) * 2000-01-11 2001-10-25 Sun Microsystems, Inc. Graphics system having a super-sampled sample buffer which utilizes a window ID to specify pixel characteristics
KR20020089475A (ko) * 2001-02-21 2002-11-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 신호를 처리하기 위한 디스플레이 시스템
US7068813B2 (en) * 2001-03-28 2006-06-27 Koninklijke Philips Electronics N.V. Method and apparatus for eye gazing smart display
JP4152699B2 (ja) * 2001-11-30 2008-09-17 シャープ株式会社 信号線駆動回路、および、それを用いた表示装置
US7202846B2 (en) * 2001-11-30 2007-04-10 Sharp Kabushiki Kaisha Signal line drive circuit and display device using the same
US7408572B2 (en) 2002-07-06 2008-08-05 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
JP2004302065A (ja) 2003-03-31 2004-10-28 Canon Inc 表示装置の駆動制御装置及び駆動制御方法
US7495638B2 (en) 2003-05-13 2009-02-24 Research Triangle Institute Visual display with increased field of view
JP4608866B2 (ja) * 2003-10-20 2011-01-12 セイコーエプソン株式会社 表示制御装置
US7488072B2 (en) 2003-12-04 2009-02-10 New York University Eye tracked foveal display by controlled illumination
EP1801775A1 (en) * 2005-12-20 2007-06-27 Deutsche Thomson-Brandt Gmbh Method for displaying an image on an organic light emitting display and respective apparatus
TWI361007B (en) 2006-07-24 2012-03-21 Himax Semiconductor Inc Video processing method and video display system
US8314814B2 (en) 2007-12-20 2012-11-20 Raytheon Company Imaging system
JP5247353B2 (ja) 2008-10-28 2013-07-24 セイコーエプソン株式会社 駆動方法および電気光学装置
US8511823B2 (en) * 2010-02-18 2013-08-20 Raytheon Company Imaging system
US8184069B1 (en) 2011-06-20 2012-05-22 Google Inc. Systems and methods for adaptive transmission of data
JP5842632B2 (ja) 2012-01-26 2016-01-13 セイコーエプソン株式会社 電気光学装置および電子機器
US20140267616A1 (en) * 2013-03-15 2014-09-18 Scott A. Krig Variable resolution depth representation
US9710881B2 (en) * 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
US20160125257A1 (en) * 2014-11-03 2016-05-05 Texas Instruments Incorporated Optimized Fast Feature Detection for Vector Processors
WO2016084735A1 (ja) * 2014-11-28 2016-06-02 シャープ株式会社 データ信号線駆動回路、それを備えた表示装置、およびその駆動方法
CN204595338U (zh) * 2015-05-12 2015-08-26 成都理想境界科技有限公司 头戴式虚拟现实显示设备
EP3096158A1 (de) 2015-05-18 2016-11-23 HILTI Aktiengesellschaft Vorrichtung zur optischen distanzmessung zu einem reflektierenden zielobjekt

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020109819A1 (en) 2001-02-15 2002-08-15 Tveye Inc. Method and apparatus for low bandwidth transmission of data utilizing of the human eye anatomy

Also Published As

Publication number Publication date
JP2019507380A (ja) 2019-03-14
EP3384483A1 (en) 2018-10-10
WO2017142613A1 (en) 2017-08-24
US10475370B2 (en) 2019-11-12
KR20180074785A (ko) 2018-07-03
CN109074774A (zh) 2018-12-21
JP6783866B2 (ja) 2020-11-11
KR20200003281A (ko) 2020-01-08
CN109074774B (zh) 2022-01-28
US20170236466A1 (en) 2017-08-17

Similar Documents

Publication Publication Date Title
KR102488538B1 (ko) 중심와-렌더링된 디스플레이
US11810516B2 (en) Foveated display
US10078922B2 (en) Eye tracking for display resolution adjustment in a virtual reality system
KR102328639B1 (ko) 표시 장치 및 그의 구동 방법
CN108288452B (zh) 显示装置及其驱动方法
US11210990B2 (en) Foveated display
CN109891381A (zh) 双路径中央凹图形管线
CN108109570A (zh) 用于有效传输的低分辨率rgb渲染
CN109844850A (zh) 早期子像素渲染
WO2018026809A2 (en) Reconfigurable display and method therefor
KR20160037637A (ko) 입체 영상 모드의 선택적 제어가 가능한 ｄｄｉ
US10504417B2 (en) Low latency display system and method
US10347167B2 (en) Image driving method and system using the same
US11663980B2 (en) Display device and personal immersive system and mobile terminal system using the same
US11568783B1 (en) Display drivers, apparatuses and methods for improving image quality in foveated images
KR20170122911A (ko) 표시장치와 그 구동 방법
WO2023183645A1 (en) Grouped demultiplexing for foveated-resolution display
EP3491638A2 (en) Reconfigurable display and method therefor

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant