KR102666129B1 - 픽셀 값들 대 픽셀들의 매핑을 통한 이미지 디스플레이의 제어 - Google Patents

픽셀 값들 대 픽셀들의 매핑을 통한 이미지 디스플레이의 제어 Download PDF

Info

Publication number
KR102666129B1
KR102666129B1 KR1020207030658A KR20207030658A KR102666129B1 KR 102666129 B1 KR102666129 B1 KR 102666129B1 KR 1020207030658 A KR1020207030658 A KR 1020207030658A KR 20207030658 A KR20207030658 A KR 20207030658A KR 102666129 B1 KR102666129 B1 KR 102666129B1
Authority
KR
South Korea
Prior art keywords
pixels
pixel values
display
display area
pixel
Prior art date
Application number
KR1020207030658A
Other languages
English (en)
Other versions
KR20200138767A (ko
Inventor
몽고메리 빈센트 굿선
야세르 말라이카
Original Assignee
밸브 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/934,789 external-priority patent/US10713997B2/en
Application filed by 밸브 코포레이션 filed Critical 밸브 코포레이션
Publication of KR20200138767A publication Critical patent/KR20200138767A/ko
Application granted granted Critical
Publication of KR102666129B1 publication Critical patent/KR102666129B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6377—Control signals issued by the client directed to the server or network components directed to server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/64322—IP
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/30—Devices specially adapted for multicolour light emission
    • H10K59/35—Devices specially adapted for multicolour light emission comprising red-green-blue [RGB] subpixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0439—Pixel structures
    • G09G2300/0452—Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components

Abstract

적어도 부분적으로 픽셀 값들 대 픽셀들의 선택적인 매핑에 기초하여 비디오 데이터 및/또는 다른 이미지 데이터의 디스플레이를 제어하기 위한 기술들이 설명된다. 이러한 기술들은 디스플레이 패널을 다수의 영역들로 분할하는 단계를 포함할 수 있으며, 여기에서 다수의 영역들은, 디스플레이되는 이미지 데이터의 최고 해상도를 갖는 적어도 하나의 1차 영역, 및 (예를 들어, 각각의 이러한 이미지 픽셀 값이 M개의 이러한 픽셀들의 디스플레이를 제어하도록 각각의 이러한 2차 영역에 대하여 패널 픽셀들을 디스플레이 하기 위해 이미지 픽셀 값들 대 디스플레이 패널 픽셀들의 1-대-M 매핑을 사용함으로써) 디스플레이되는 이미지 데이터의 하나 이상의 더 낮은 해상도들을 갖는 하나 이상의 2차 영역들을 갖는다. 이미지 데이터는 추가로, 예컨대, 디스플레이 패널로의 송신 이전에 그것의 크기를 감소시키기 위해 디스플레이 패널 배열마다 이미지 데이터를 인코딩하기 위하여, 이러한 디스플레이 패널 배열에 따라 인코딩되고 선택적으로 디코딩될 수 있다.

Description

픽셀 값들 대 픽셀들의 매핑을 통한 이미지 디스플레이의 제어
다음의 개시는 전반적으로 디스플레이 패널 상의 이미지 데이터의 디스플레이를 제어하기 위한 기술들에 관한 것으로서, 보다 더 구체적으로는, 디스플레이의 픽셀들 대 픽셀 값들의 매핑을 위한 기술들에 관한 것이다.
증가하는 시각적 디스플레이 해상도에 대한 수요는 이미지 데이터 크기 및 연관된 송신 대역폭 사용량에서의 대응하는 큰 증가들을 야기하였다. 예를 들어, 더 높은 송신 대역폭들은 게이밍 디바이스들, 비디오 디스플레이 디바이스들, 모바일 컴퓨팅, 범용 컴퓨팅 등에서 증가하는 시각적 디스플레이 해상도로부터 기인하였다. 이에 더하여, 가상 현실(virtual reality; "VR") 및 증강 현실(augmented reality; "AR") 시스템들, 특히 머리-착용 디스플레이들을 사용하는 가상 현실 및 증강 현실 시스템들의 성장하고 있는 인기가 이러한 수요를 추가로 증가시키고 있다. 가상 현실 시스템들은 전형적으로 착용자의 눈들을 완전히 감싸고 착용자의 전방에서 실제 뷰(view)(또는 실제 현실)를 "가상" 현실로 치환하며, 반면 증강 현실 시스템들은 전형적으로, 실제 뷰가 추가적인 정보로 증강되도록 착용자의 눈들의 전방에 하나 이상의 스크린들의 반-투명 또는 투명 오버레이(overlay)를 제공한다.
그러나, 시청자의 눈과 디스플레이 사이에 감소된 거리를 가지며 보통 완전히 가려진 시야를 갖는 이러한 머리 착용 디스플레이들은, 전통적인 디스플레이들 및 송신 성능들이 충족시키지 못하며 동시에 보통 디스플레이의 일 부분 상에만 착용자의 시선 및 주의를 포커싱하는 디스플레이 시스템들의 증가된 성능 요건들을 갖는다.
도 1a는, 이미지 데이터 관리자(Image Data Manager; “IDM”) 시스템의 일 실시예를 포함하는, 본 개시에서 설명되는 적어도 일부 기술들을 수행하기에 적절한 하나 이상의 시스템들을 포함하는 네트워크형 환경의 개략도이다.
도 1b는 본 개시에서 설명되는 적어도 일부 기술들을 수행하기 위한 디스플레이 디바이스의 예시적으로 구성된 하드웨어 회로부를 예시하는 개략도이다.
도 2a 내지 도 2c는 본원에서 설명되는 기술들에 따른 IDM 시스템의 일 실시예에 의한 디스플레이를 위하여 이미지 데이터를 인코딩하고 디코딩하는 예들을 예시한다.
도 3은 IDM 시스템의 이미지 데이터 픽셀 값 대 픽셀 맵퍼(mapper) 루틴(300)의 예시적인 실시예의 순서도이다.
도 4는 IDM 시스템의 이미지 데이터 디스플레이 관리자 루틴의 예시적인 실시예의 순서도이다.
본 개시는 전반적으로, 예컨대 비디오 데이터 및/또는 다른 이미지들의 프레임들과 함께 사용하기 위한, 그리고 일부 실시예들에서는 VR 및/또는 AR 디스플레이 기술들에 대하여 사용되는 머리-착용 디스플레이(head-mounted display; “HMD”) 디바이스들의 부분인 하나 이상의 디스플레이 패널들과 함께 사용하기 위한, 적어도 부분적으로 픽셀 값들 대 픽셀들의 매핑에 기초하여 디스플레이 패널 상의 이미지 데이터의 디스플레이를 제어하기 위한 기술들에 관한 것이며 - 적어도 일부 이러한 실시예들에 있어서, 기술들은, 디스플레이 패널의 상이한 구역(area)들 내의 단일 이미지 데이터 픽셀 값에 매핑되는 상이한 양의 디스플레이 픽셀 패널들을 사용하는 단계를 포함한다. 예를 들어, 적어도 일부 이러한 실시예들에 있어서, 이러한 기술들은 디스플레이 패널을 다수의 영역(region)들로 분할하는 단계를 포함할 수 있으며, 여기에서 다수의 영역들은, (예를 들어, 각각의 이러한 이미지 픽셀 값이 하나의 이러한 픽셀의 디스플레이를 제어하도록 이미지 픽셀 값들 대 디스플레이 패널 픽셀들의 1-대-1 매핑을 사용함으로써) 디스플레이되는 이미지 데이터의 최고 해상도를 갖는 적어도 하나의 1차 영역, 및 (예를 들어, 각각의 이러한 이미지 픽셀 값이 M개의 이러한 픽셀들의 디스플레이를 제어하도록(여기에서 선택적으로 상이한 M 값들이 상이한 2차 영역들에 대해 사용된다) 각각의 이러한 2차 영역에 대하여 패널 픽셀들을 디스플레이하기 위해 이미지 픽셀 값들 대 디스플레이 패널 픽셀들의 1-대-M 매핑(여기에서 M1은 1보다 크다)을 사용함으로써) 디스플레이되는 이미지 데이터의 하나 이상의 더 낮은 해상도들을 갖는 하나 이상의 2차 영역들을 갖는다. 이미지 데이터는 추가로, 적어도 일부 이러한 실시예들에 있어서, 예컨대, 디스플레이 패널로의 송신 이전에 그것의 크기를 감소시키기 위해 디스플레이 패널 배열마다 이미지 데이터를 인코딩하기 위하여, 그리고 선택적으로 1-대-1 픽셀 값들-대-픽셀들 스루풋(throughout)을 가지고 이미지 데이터를 재생성하기 위해 송신 이후에 이미지를 디코딩하기 위하여, 또는 이러한 디코딩 없이 디스플레이 패널 상의 픽셀들의 디스플레이를 직접 제어하기 위해 인코딩된 이미지 데이터를 사용하기 위하여, 이러한 디스플레이 패널 배열에 따라 인코딩되고 선택적으로 디코딩될 수 있다. 기술들은 추가로, 적어도 일부 실시예들에 있어서, 예컨대, (예를 들어, 시청자의 초점의 이미지 및/또는 디스플레이 패널의 구역을 반영하기 위하여, 특정한 중요한 또는 관심이 있는 이미지의 구역을 반영하기 위하여, 등을 위하여) 디스플레이 패널 상에 도시되는 이미지의 중심(또는 다른 선택된 부분)에 디스플레이되는 이미지 데이터의 최고 해상도를 제공하기 위해, VR 헤드셋 및/또는 다른 VR 또는 AR 디스플레이의 각각의 디스플레이 패널과 함께 사용될 수 있다. 본원에서 설명되는 기술들 중 일부 또는 전부는 이하에서 더 상세하게 논의되는 바와 같은 이미지 데이터 관리자(Image Data Manager; “IDM”) 시스템의 실시예들의 자동화 동작들을 통해 수행될 수 있다.
예를 들어, 일부 실시예들에서 연관된 비디오 프레임에 대한 픽셀 값 정보를 포함하는 비디오 프레임 데이터가 획득되며, 여기에서 픽셀 값은 연관된 비디오 프레임의 1차원 픽셀 어레이 로우들 및 1차원 픽셀 어레이 컬럼들 내의 각각의 픽셀에 대한 픽셀 값들을 포함한다. 공간적 분할(partition) 구조는, 예컨대, 비디오 프레임 데이터를 인코딩하기 위한 다양한 기준에 기초하여 다수의 디스플레이 영영들을 갖는 디스플레이 패널 배열로서 사용되도록 결정되며, 이는, 연관된 비디오 프레임의 1차 디스플레이 영역 및 연관된 비디오 프레임의 다수의 2차 디스플레이 영역에 대한 치수들 및 위치들을 결정하는 것을 포함하고, 다수의 2차 디스플레이 영역들의 각각에 대하여 픽셀 클러스터 치수를 선택하는 것을 더 포함한다. 다수의 2차 디스플레이 영역들의 각각에 대하여, 2차 디스플레이 영역의 콘텐트들은, 2차 디스플레이 영역이 각기 선택된 픽셀 클러스터 치수(dimension) 및 단일 픽셀 값을 갖는 다수의 픽셀 클러스터들을 포함하도록, 포함된 2 이상의 1차원 픽셀 어레이들의 하나 이상의 소스 1차원 픽셀 어레이들의 각각으로부터의 픽셀 값들을 소스 1차원 픽셀 어레이에 인접한 2차 디스플레이 영역의 하나 이상의 목적지 1차원 픽셀 어레이들의 픽셀들에 할당함으로써 수정된다. 인코딩이 완료된 이후에, 인코딩된 비디오 프레임은 이후의 디스플레이를 위하여 저장될 수 있거나, 또는 표현을 위해 하나 이상의 디스플레이 디바이스들로 포워딩될 수 있다.
이상에서 언급된 바와 같이, 설명되는 기술들은, 적어도 일부 실시예들에서, 디스플레이 패널의 상이한 구역들 내의 단일 이미지 데이터 픽셀 값에 매핑된 상이한 양의 디스플레이 패널 픽셀들을 사용하는 것을 포함하여, 적어도 부분적으로 픽셀 값들 대 픽셀들의 매핑에 기초하여 디스플레이 패널 상의 이미지 데이터의 디스플레이를 제어하기 위해 사용될 수 있다. 디스플레이를 제어하는 하나 이상의 디스플레이 패널 픽셀들의 양에 대한 단일 픽셀 값의 사용에 대한 매핑들의 결정은 다양한 실시예들에서 다양한 방식들로 이루어질 수 있다. 예를 들어, 일부 실시예들에 있어서, 매핑들은 정적일 수 있으며, 그 결과 각각의 이미지는 동일한 매핑들을 사용하여 인코딩되거나 및/또는 디스플레이될 수 있으며, 반면 다른 실시예들에서 사용되는 매핑들은 상이한 이미지들에 대하여 동적으로 변화될 수 있다. 일 예로서, 일부 디스플레이 패널들에는, 시청자가 현재 포커싱하고 있는 디스플레이 패널 및/또는 디스플레이되는 이미지의 구역을 식별할 수 있는 (예를 들어, VR 및/또는 AR 시스템의 부분으로서) 눈 추적 또는 다른 시선 추적 시스템이 수반될 수 있으며, 그러한 경우, 사용되는 매핑들은, 식별된 구역이 최고 이미지 해상도에 대응하는 매핑을 사용하는 1차 디스플레이 영역으로 결정되도록 동적으로 조정될 수 있으며, 반면 디스플레이 패널의 하나 이상의 다른 구역들은 더 낮은 이미지 해상도에 대응하는 하나 이상의 다른 매핑들을 사용하는 2차 디스플레이 영역들로서 결정될 수 있으며 - 이러한 실시예들에 있어서, 매핑들은 다양한 시간들에서(예를 들어, 이미지가 디스플레이될 때마다, 시청자의 초점의 구역이 적어도 임계 양만큼 변화할 때, 매 X개의 이미지들 이후에(여기에서 X는 1보다 더 클 수 있음), 하나 이상의 다른 기준이 충족될 때, 등에) 동적으로 수정될 수 있다. 이에 더하여, 일부 실시예들에 있어서, 디스플레이를 위한 이미지를 생성하거나 또는 달리 제공하는 소프트웨어 프로그램 또는 다른 시스템은 이미지의 하나 이상의 구역들을, IDM 시스템에 의해 최고 이미지 해상도에 대응하는 매핑(예를 들어, 이미지를 생성하거나 또는 달리 제공하는 소프트웨어 프로그램 또는 다른 시스템에 의해 표시되는 매핑 또는 해상도, 이러한 1차 디스플레이 구역들에 대응하도록 IDM 시스템에 의해 선택된 매핑 또는 해상도, 시청자의 세팅들 또는 다른 액션들 또는 선호사항들에 의해 지정되거나 또는 영향을 받는 매핑 또는 해상도, 등)을 갖도록 결정된 1차 디스플레이 구역들인 것으로 식별할 수 있으며,선택적으로 추가로, 이미지의 하나 이상의 다른 구역들을 더 낮은 이미지 해상도에 대응하는 하나 이상의 다른 매핑들을 갖도록 IDM 시스템에 의해 결정된 2차 디스플레이 구역들로서 식별할 수 있다. 추가로, 일부 실시예들에 있어서, 시청자 또는 다른 사용자는 예컨대, 다음: IDM 시스템이 대응하는 매핑 및 다른 설명되는 기술들을 사용하여 최고 해상도를 제공할 디스플레이 패널의 하나 이상의 1차 디스플레이 영역들을 식별하기 위해; IDM 시스템이 대응하는 매핑 및 다른 설명되는 기술들을 사용하여 최고 해상도를 제공할 이미지의 하나 이상의 1차 디스플레이 구역들을 식별하기 위해; 하나 이상의 1차 디스플레이 패널 영역들/이미지 구역들에 대하여 및/또는 하나 이상의 2차 디스플레이 패널 영역들/이미지 구역들에 대하여 사용할 매핑 및/또는 해상도를 식별하기 위해; 등을 위해 중 하나 이상을 위해 IDM 시스템에 의해 사용되는 다양한 입력을 제공할 수 있다. 다른 실시예들에 있어서, 디스플레이 패널의 상이한 부분들에서의 상이한 디스플레이되는 이미지 해상도들은, 디스플레이 패널의 상이한 구역들 내에 상이한 크기의 픽셀들을 갖는 디스플레이 패널을 구성하는 것에 의하는 것을 포함하여, 다른 방식들로 달성될 수 있다(예를 들어, 디스플레이 패널은 중심에서의 픽셀들의 크기보다 4배인 코너에서의 픽셀들을 가지며, 그 결과, 코너에서의 픽셀은 단지 그것의 디스플레이를 제어하기 위해 사용되는 단일의 대응하는 픽셀 값만을 가지지만, 디스플레이 패널 전체에 걸쳐 균일한 크기인 코너에서 4개의 픽셀들의 디스플레이를 제어하기 위해 단일 픽셀 값이 사용되는 1-대-4 매핑을 사용하는 것과 유사한 시각적 효과를 생성한다). 적어도 부분적으로 픽셀 값들 대 픽셀들의 매핑에 기초하여 디스플레이 패널 상의 이미지 데이터의 디스플레이를 제어하는 것과 관련된 추가적인 세부사항들이 이하에 포함된다.
설명된 기술들의 적어도 일부 실시예들에서의 이점들은, 이미지 데이터 크기를 감소시킴으로써 이미지 인코딩에 대한 증가된 매체 송신 대역폭들을 처리하고 완화시키는 것, (예를 들어, 적어도 부분적으로 대응하는 감소된 이미지 데이터 크기에 기초하여) 디스플레이 패널 픽셀들을 제어하는 속도를 개선하는 것, 특정한 관심이 있는 이미지들 및/또는 디스플레이 패널들의 서브세트들을 반영하는 포비티드(foveated) 이미지 시스템들 및 다른 기술들을 개선하는 것, 등을 포함한다. 포비티드 이미지 인코딩 시스템들은 (초점 및 그 주위에서만 상세한 정보를 제공할 수 있는) 인간 시각계의 특정 측면들을 활용하지만, (예를 들어, 비디오 및 이미지 데이터를 송신하기 위한 대응하는 대역폭들을 감소시키기 위해 더 높은 해상도의 비디오 및 이미지를 프로세싱하기 위해서 훨씬 더 큰 컴퓨팅 능력을 사용하는) 계산 집중적일 수 있다. 특정 VR 및 AR 디스플레이들의 경우에 있어서, 특정 디스플레이 디바이스가, 각기 적절한 해상도를 수반하는 2개의 별개의 어드레스가능(addressable) 픽셀 어레이들을 갖는 2개의 별개의 디스플레이 패널들(즉, 각각의 눈에 대한 하나)을 수반하기 때문에, 고 해상도 매체를 프로세싱하기 위한 대역폭 및 컴퓨팅 사용량 둘 모두가 악화된다. 따라서, 설명되는 기술들은, 예를 들어, 이러한 이미지 데이터를 프로세싱하기 위한 컴퓨팅 사용량을 최소화하면서 이미지 내의 시청자의 "관심이 있는 구역" 내의 해상도 및 세부사항을 보존하면서, 비디오 프레임 또는 다른 이미지의 로컬 및/또는 원격 디스플레이를 위한 송신 대역폭을 감소시키기 위해 사용될 수 있다. 추가로, 다른 디스플레이들과 함께 그리고 머리-착용 디스플레이 디바이스들 내의 렌즈들의 사용은 디스플레이 패널의 서브세트 상에 더 큰 초점 또는 해상도를 제공할 수 있으며, 그 결과, 디스플레이 패널 내의 다른 부분들에서 더 낮은 해상도 정보를 디스플레이하기 위해 이러한 기술들을 사용하는 것은 이러한 실시예들에서 이러한 기술들을 사용할 때 이점들을 추가로 제공할 수 있다.
예시적인 목적들을 위하여, 일부 실시예들이 이하에서 설명되며, 여기에서 특정 유형들의 구조들에 대한 특정 유형들의 방식들로 그리고 특정 유형들의 디바이스들을 사용하여 특정 유형들의 정보가 획득되고 사용된다. 그러나, 이러한 설명되는 기술들이 다른 실시예들에서 다른 방식들로 사용될 수 있다는 것, 및 따라서 본 발명이 제공되는 예시적인 세부사한들에 한정되지 않는다는 것이 이해될 것이다. 비-배타적인 일 예로서, 본원에서 논의되는 다양한 실시예들은 비디오 프레임들인 이미지들의 사용을 포함하지만 - 그러나, 본원에서 설명되는 다수의 예들이 편의성을 위해 "비디오 프레임"을 언급하지만, 이러한 예들을 참조하여 설명되는 기술들은, (예를 들어, 초 당 30 또는 60 또는 90 또는 어떤 다른 수량의 프레임들의) 연속적인 다수의 비디오 프레임들, 다른 비디오 콘텐트, 사진들, 컴퓨터-생성 그래픽 콘텐트, 시각적 매체의 다른 물품들, 또는 이들의 어떤 조합의 비-배타적인 예들을 포함하여, 다양한 유형들의 하나 이상의 이미지들에 대하여 이용될 수 있음이 이해될 것이다. 다른 비-배타적인 예로서, 일부 예시된 실시예들은, 예컨대, 특정 2차 디스플레이 영역 내의 이러한 로우 및/또는 컬럼 내의 픽셀 값들을 하나 이상의 다른 인접하거나 또는 달리 근처에 있는 로우들 및/또는 컬럼들에 카피하기 위하여, 특정 방식들로 특정 디스플레이 로우들 및/또는 컬럼들(예를 들어, 1차원 어레이들)을 사용하는 설명되는 기술의 일 실시예의 구현을 논의하지만, 다른 실시예들은 다른 방식들로 1-대-M 매핑들에서의 픽셀 값들의 사용을 구현할 수 있다. 다른 비-배타적인 예로서, 일부 예시된 실시예들은 1차 디스플레이 영역에 대하여 1-대-1 매핑 및 2차 디스플레이 영역에 대하여 1-대-M 매핑을 사용하는 것을 논의하지만, 복제된(duplicated) 픽셀 값들에 대하여 다른 매핑들 또는 기술들이 다른 실시예들에서 사용될 수 있다(예를 들어, 1차 디스플레이 영역들에 대하여 1-대-N 매핑, 여기에서 N은 1 이상; 1차 또는 2차 디스플레이 영역에 대하여 J-대-K 매핑, 여기에서 J 및 K는 상이하며, K는 J보다 더 크거나 또는 더 작다, 등). 이에 더하여, 다양한 세부사항들이 예시적인 목적들을 위하여 도면들 및 본문에서 제공되지만, 이는 본 발명의 범위를 제한하도록 의도되지 않는다.
일 예로서, 특정 실시예들에 있어서, 픽셀 값들의 어레이에 걸쳐 균일한 디스플레이 해상도를 갖는 비디오 프레임은, 비디오 프레임이 (전형적으로 비디오 프레임의 중심을 향해 위치된) 1차 디스플레이 영역 및 (전형적으로 비디오 프레임의 에지들을 향해 위치된) 다수의 2차 디스플레이 영역들로 분할되도록 수정될 수 있다. 하나 이상의 디스플레이 패널들에 의한 디스플레이를 위해 비디오 프레임 데이터를 프로세싱하는 것의 적어도 일 부분으로서, 비디오 프레임 데이터와 연관된 데이터 밀도는, 각각의 2차 디스플레이 영역 내의 하나 이상의 컬럼 또는 로우("1차원 픽셀 어레이")로부터의 픽셀 값들을 이웃 컬럼 또는 로우의 인접하거나 또는 달리 근처에 있는 픽셀들에 선택적으로 할당함으로써 감소될 수 있으며, 그 결과 인접하거나 또는 달리 근처에 있는 픽셀들에 대한 별개의 픽셀 값들은 인코딩된 감소된 데이터 내에 포함되지 않는다. 실제로, 이러한 2차 디스플레이 영역들의 인접한 컬럼들 및/또는 로우들은, (예컨대, 인터넷 비디오 스트리밍에 대하여, 예를 들어, 하나 이상의 컴퓨터 네트워크들을 통해; 예컨대, 비디오 프로세싱 디바이스와 디스플레이 디바이스 사이의 유선 또는 무선 연결에서 로컬 버스 또는 케이블 또는 다른 송신 경로를 통해) 그 비디오 프레임에 대응하는 데이터를 송신하기 이전에 비디오 프레임의 전체 데이터 밀도를 감소시키기 위하여 복제된다. 다수의 원본 픽셀 값들로부터 인코딩하고 사용하기 위한 단일 대표(representative) 픽셀 값을 선택하는 것은, 다운 샘플링 또는 평균화, 서브-샘플링 또는 4개의 값들 중 단일의 하나의 값을 픽(pick)하는 것, 등을 통해서 수행되는 것을 포함하여, 다양한 실시예들에서 다양한 방식들로 수행될 수 있다는 것이 이해될 것이다. 추가로, 적어도 일부 실시예들에 있어서, 압축의 정도(예를 들어, 단일 인코딩된 대표 픽셀 값을 사용하여 디스플레이될 다수의 원본 픽셀 값들 및/또는 디코딩된 픽셀 값들의 양)는, 예컨대 (예를 들어, 녹색 컬러 채널에 대하여, 적색 또는 청색 컬러 채널들보다 더 적은 압축을 사용하기 위하여) 압축의 양에서의 컬러-특정 변동들을 수행하기 위하여, 및/또는 컬러-특정 방식으로 동적 범위 컴포넌트를 변화시키기 위하여, 디스플레이 패널 및 이미지의 영역들과는 다른 방식들로 변화될 수 있다. 이러한 방식으로 비디오 프레임 내의 고유 픽셀 값들의 양을 선택적으로 감소시킴으로써, 상당한 대역폭 송신 절감들이 제공될 수 있다. 예를 들어, 비디오 프로세싱을 위해 이러한 기술들을 사용하는 예시적인 시나리오들은 67.1 Gb/초로부터 29.4 Gb/초로의 송신 대역폭 감소를 야기할 수 있으며, 이는 약 44%의 대역폭 감소이다.
특정 실시예들에 있어서, 디스플레이를 위해 비디오 프레임 데이터 또는 다른 이미지 데이터를 인코딩하는 것을 담당하는 시스템 또는 디바이스는 대응하는 비디오 프레임을, 그 위에 비디오 프레임 데이터가 디스플레이될 디스플레이 패널의 연관된 1차 및 2차 디스플레이 영역들에 대응하는 1차 및 2차 디스플레이 구역들의 다양한 구조적 배열들로 공간적으로 분할할 수 있다. 비-제한적인 일 예로서, 일 실시예에 있어서, 시스템은, 비디오 프레임의 기하학적 중심에서 또는 근처에서 비디오 프레임 자체와 유사하지만 더 작은 비율들의 중심 구역을 지정할 수 있으며, 여기에서 1차 디스플레이 영역의 각각의 측면에 대한 비디오 프레임의 부분들이, 각각의 컬럼에 대한 픽셀 값들이 인접한 컬럼으로 복제되는 2차 디스플레이 영역들로서 지정되며, 1차 디스플레이 영역 위 및 아래의 비디오 프레임의 부분들이, 각각의 로우에 대한 픽셀 값들이 인접한 로우로 복제되는 2차 디스플레이 영역들로서 지정된다. 다른 실시예들에 있어서, 1차 디스플레이 영역은, 예컨대, 대응하는 비디오 프레임의 시청자의 가능성이 있는 초점이 디스플레이 픽셀 어레이의 기하학적 중심으로부터 소정의 거리만큼 떨어져 존재할 것이라고 결정되는 경우, 비디오 프레임 또는 다른 데이터를 인코딩하기 위한 목적들을 위하여 비대칭적인 방식으로 더 큰 디스플레이 픽셀 어레이 내에 위치될 수 있다. 이러한 시스템 또는 디바이스의 하나 이상의 하드웨어 프로세서들 또는 다른 구성된 하드웨어 회로부는, 이하에서 추가로 논의되는 바와 같이, 예를 들어, 하나 이상의 GPU("그래픽 프로세싱 유닛")들 및/또는 CPU("중앙 프로세싱 유닛")들을 포함할 수 있으며, 예컨대 여기에서 하드웨어 프로세서(들)는 그 위에 이미지가 디스플레이될 하나 이상의 디스플레이 패널들을 통합하는 HMD 디바이스 또는 다른 디바이스의 부분이거나 및/또는 디스플레이를 위하여 디스플레이 패널(들)로 전송될 이미지를 생성하거나 또는 달리 준비하는 컴퓨팅 시스템의 부분이다. 보다 더 일반적으로, 이러한 하드웨어 프로세서 또는 다른 구성된 하드웨어 회로부는, 비제한적으로, 하나 이상의 응용-특정 집적 회로(application-specific integrated circuit; ASIC)들, 표준 집적 회로들, (예를 들어, 적절한 명령어들을 실행함으로써, 그리고 마이크로제어기들 및/또는 내장형 제어기들을 포함하는) 제어기들, 필드-프로그램가능 게이트 어레이(field-programmable gate array; FPGA)들, 복합 프로그램가능 로직 디바이스(complex programmable logic device; CPLD)들, 디지털 신호 프로세서(digital signal processor; DSP)들, 프로그램가능 로직 제어기(programmable logic controller; PLC)들, 등을 포함할 수 있다. 이하에서 도 2a 내지 도 2c에 대한 것을 포함하여, 1차 및 2차 디스플레이 영역들에 대한 추가적인 세부사항들 및 예시적인 배열들이 또한 본원의 다른 곳에서 제공된다.
다양한 실시예들에 있어서, 설명되는 방식으로 픽셀-기반 데이터를 인코딩하기 위한 특정 디스플레이 분할 배열의 결정은 하나 이상의 기준에 따라 이루어질 수 있다. 이러한 기준의 비-제한적인 예들은, 예컨대, 더 적은 데이터 송신 대역폭이 이용가능한 경우에 1차 디스플레이 영역으로서 대응하는 비디오 프레임의 더 작은 부분을 지정하기 위한 데이터 송신 대역폭 제한들; 예컨대, 이러한 비디오 프레임 데이터를 송신하기 위하여 더 적은 데이터 송신 대역폭의 사용이 바람직한 경우에 더 큰 픽셀 클러스터 치수들을 사용하기 위한 데이터 송신 대역폭 목표들; 예컨대, 더 높은 인지되는 콘텐트 품질을 달성하기 위하여 더 작은 2차 디스플레이 영역들의 더 큰 양을 사용하여 인코딩될 데이터를 분할하기 위한 그래픽 컴퓨팅 성능 제한들 또는 목표들; 매체 유형(예를 들어, 인코딩될 콘텐트가, 예컨대 무손실 또는 손실 압출을 통해, 송신 대역폭에 영향을 줄 수 있는 다른 방식으로 이전에 인코딩되었는지 여부); 매체 콘텐트(예를 들어, 시청자의 예상되거나 또는 달리 예측된 초점에 기초하여, 인코딩될 콘텐트 내의 비디오 프레임 데이터의 세트들의 분석에 기초하여, 인코딩될 콘텐트 내에 포함된 하나 이상의 태그들 또는 메타데이터에 기초하여, 등); 목적지 디스플레이 디바이스의 표시된 유형; 그래픽 제한들 및 목표들(예를 들어, 목표 비디오 프레임 해상도 또는 목표 프레임 레이트); 시각적 추적 정보(예컨대, 사용자의 눈 또는 시선 위치 및 초점의 하나 이상의 표시들에 기초함); 하나 이상의 미리 정의된 사용자 선호사항들; 하나 이상의 미리 정의된 파티션 구조들, 예컨대, 단일 표준화된 파티션 구조 또는 이러한 표준화된 파티션 구조들의 유한한 서브세트가 설명되는 방식으로 인코딩된 모든 매체 콘텐트에 대하여 사용될 경우; 구성 정보; 및 다른 적절한 기준.
본원에서 사용되는 바와 같은, "픽셀"은, 그 디스플레이에 대하여 가능한 모든 컬러 값들을 제공하도록 활성화될 수 있는 디스플레이의 최소 어드레스가능 이미지 엘리먼트를 지칭한다. 다수의 경우들에 있어서, 픽셀은, 인간 시청자에 의한 인식을 위해 개별적으로 적색, 녹색, 및 청색 광을 생성하기 위한 (일부 경우들에 있어서, 별개의 "서브-픽셀들"로서) 개별적인 각각의 서브-엘리먼트들을 포함한다. 본원에서 사용되는 바와 같은 픽셀 "값"은 단일 픽셀의 이들의 개별적인 RGB 엘리먼트들 중 하나 이상에 대한 자극의 개별적인 레벨들에 대응하는 데이터 값을 지칭한다. 본원에서 사용되는 바와 같은 용어 "인접한"은, 대상 픽셀과 직접적으로 인접하거나 또는 단순히 연속적인 픽셀들 또는 픽셀들의 어레이들을 나타낼 수 있음이 이해될 것이다. 예를 들어, 3개의 픽셀들 중 제 1 픽셀로부터의 값들을 다른 2개의 픽셀들에 할당하는 것은, 심지어 개재되는 제 2 픽셀에 의해 제 3 픽셀이 제 1 픽셀로부터 분리되는 경우에도, 제 1 픽셀로부터의 이러한 값들을 2개의 "인접한" 픽셀들에 할당하는 것으로서 설명될 수 있다.
도 1a는, 본원에서 설명되는 적어도 일부 기술들을 수행하기에 적절한 로컬 컴퓨팅 시스템(120) 및 디스플레이 디바이스들(180a 및/또는 180b)을 포함하는, 로컬 매체 렌더링(local media rendering; LMR) 시스템(110)(예를 들어, 게이밍 시스템)을 포함하는 네트워크형 환경(100a)의 개략도이다. 도시된 실시예에 있어서, LMR 시스템(110)은, 추가로 디스플레이를 위하여 LMR 시스템(110)에 콘텐트를 제공할 수 있으며 일부 실시예들에서 하나 이상의 이러한 기술들을 이용할 수 있는 예시적인 네트워크-액세스가능 매체 콘텐트 제공자(190)에 하나 이상의 컴퓨터 네트워크들(101) 및 네트워크 링크들(102)을 통해 통신가능하게 연결된다. 다양한 실시예들에 있어서, 로컬 컴퓨팅 시스템(120)은 (비제한적인 예들로서) 범용 컴퓨팅 시스템; 게이밍 콘솔; 비디오 스트림 프로세싱 디바이스; 모바일 컴퓨팅 디바이스(예를 들어, 무선 전화, PDA, 또는 다른 모바일 디바이스); VR 또는 AR 프로세싱 디바이스; 또는 다른 컴퓨팅 시스템을 포함할 수 있다. 특정 실시예들에 있어서, 로컬 컴퓨팅 시스템(120)은 이들 중 하나, 다수, 또는 전부와 연관된 기능을 제공할 수 있다. 도 1a의 도시된 실시예에 있어서, 로컬 매체 렌더링 시스템(110)은, (예컨대 하나 이상의 케이블들을 통해서 유선일 수 있거나 또는 무선일 수 있는) 송신 링크들(115)을 통해 로컬 컴퓨팅 시스템(120)에 통신가능하게 연결된 하나 이상의 디스플레이 디바이스들(180)을 포함한다. 디스플레이 디바이스들은, 각각 스케일의 정확성이 아니라 명료성을 위해 의도된 방식으로 도 1a 내에 그래픽적으로 묘사된 하나 이상의 어드레스가능 픽셀 어레이들을 포함하는 패널 디스플레이 디바이스(180a) 및/또는 머리-착용 디스플레이("HMD") 디바이스(180b)를 포함한다(전형적인 픽셀-기반 디스플레이의 각각의 픽셀은, 예를 들어, 일반적으로 마이크로미터로 측정된다).
예시된 실시예에 있어서, 로컬 컴퓨팅 시스템(120)은, 하나 이상의 일반적인 하드웨어 프로세서들(예를 들어, 중앙 프로세싱 유닛, 또는 "CPU")(125); 메모리(130); 다양한 I/O("입력/출력") 하드웨어 컴포넌트들(127)(예를 들어, 키보드, 마우스, 하나 이상의 게이밍 제어기들, 스피커들, 마이크, IR 송신기 및/또는 수신기, 등); 하나 이상의 특수 하드웨어 프로세서들(예를 들어, 그래픽 프로세싱 유닛들, 또는 "GPU들")(144) 및 비디오 메모리(VRAM)(148)을 포함하는 비디오 서브시스템(140); 컴퓨터-판독가능 저장부(150); 및 네트워크 연결(160)을 포함하는 컴포넌트들을 갖는다. 또한, 예시된 실시예에 있어서, IDM(이미지 데이터 관리자) 시스템(135)은, 예컨대, 이들의 설명된 기술들을 구현하는 자동화된 동작들을 수행하기 위하여 CPU(들)(125) 및/또는 GPU(들)(144)에 의해, 설명된 기술들 중 적어도 일부를 수행하기 위하여 메모리(130) 내에서 실행된다. IDM 시스템(135)의 예시된 실시예는 이미지 데이터를 인코딩하고 송신하기 위하여 자동화된 동작들을 수행하는 이미지 데이터 픽셀-값-대-픽셀 맵퍼 컴포넌트(139)를 포함하며, 메모리(130)는 선택적으로 IDM 시스템(135)의 이미지 데이터 디스플레이 관리자 컴포넌트(137) 및/또는 (예를 들어, 디스플레이 디바이스(들)(180) 상에 디스플레이될 비디오 또는 다른 이미지들을 생성하기 위한) 하나 이상의 다른 프로그램들(133)을 추가로 실행할 수 있다. 다른 실시예들에 있어서, 이미지 데이터 디스플레이 관리자 컴포넌트(137)는 그 대신에, 예컨대, 이미지 데이터를 디코딩하고 디스플레이하기 위해 자동화된 동작들을 수행하기 위하여 HMD 디바이스(180b) 또는 다른 디스플레이 디바이스(180a)의 구성된 하드웨어 회로부를 사용하기 위해, 디스플레이가 발생할 하나 이상의 디스플레이 패널들을 포함하는 디스플레이 디바이스 상에 전체적으로 또는 부분적으로 구현된다. 본원에서 설명되는 적어도 일부 기술들을 구현하기 위한 자동화된 동작들의 부분으로서, 메모리(130) 내에서 실행 중인 IDM 시스템(135) 및/또는 다른 이미지-생성 프로그램(들)(133)은 저장부(150)의 예시적인 데이터베이스 데이터 구조체 내를 포함하여, 다양한 유형들의 데이터를 저장하거나 및/또는 검색할 수 있다. 이러한 예에 있어서, 사용되는 데이터는 데이터베이스(database; “DB”)(154) 내의 다양한 유형들의 이미지 데이터 정보, DB(152) 내의 다양한 유형들의 애플리케이션, DB(157) 내의 다양한 유형들의 구성 데이터를 포함할 수 있으며, 시스템 데이터 또는 다른 정보와 같은 추가적인 정보를 포함할 수 있다.
또한, 도 1a의 예시된 실시예에 있어서, 네트워크-액세스가능 매체 콘텐트 제공자(190)는 하나 이상의 서버 컴퓨팅 시스템들(192), 콘텐트 저장부(194), 및 하나 이상의 네트워크 연결들(196)을 포함한다. 예시된 서버 컴퓨팅 시스템들(192)은 각기, 하나 이상의 하드웨어 프로세서들, I/O 컴포넌트들, 로컬 저장 디바이스들 및 메모리를 포함하여, 로컬 컴퓨팅 시스템(120)과 유사한 컴포넌트들을 가질 수 있지만, 일부 세부사항들은 간결함을 위하여 서버 컴퓨팅 시스템에 대하여 예시되지 않는다.
로컬 매체 렌더링 시스템에 의해 로컬적으로 수행되는 동작들을 수반하는 일 예로서, 로컬 컴퓨팅 시스템(120)은 게이밍 컴퓨팅 시스템이며 그 결과 애플리케이션 데이터(152)는 메모리(130)를 사용하여 CPU(125)를 통해 실행되는 하나 이상의 게이밍 애플리케이션들을 포한다는 것, 및 다양한 비디오 프레임 디스플레이 데이터가 예컨대, 비디오 서브시스템(140)의 GPU(144)와 함께 IDM 시스템(135)에 의해 생성되거나 및/또는 프로세싱되는 것을 가정한다. 양질의 게이밍 경험을 제공하기 위하여 (초 당 이러한 비디오 프레임들의 약 60-180의 높은 "프레임 레이트"뿐만 아니라 각각의 비디오 프레임에 대한 높은 이미지 해상도에 대응하는) 높은 볼륨의 비디오 프레임 데이터이 로컬 컴퓨팅 시스템에 의해 생성되고, 송신 링크들(115)을 통해 디스플레이 디바이스들(180)에 제공된다.
디스플레이 디바이스들(180a 및/또는 180b)이 도 1a의 예시된 실시예에서 로컬 컴퓨팅 시스템(120)과는 별개의 그리고 구별되는 것으로서 도시되지만, 특정 실시예들에 있어서, 로컬 컴퓨팅 시스템의 일부 또는 모든 컴포넌트들이 모바일 게이밍 디바이스, 휴대용 VR 엔터테인먼트 시스템, 등과 같은 단일 디바이스 내에 통합되거나 및/또는 하우징될 수 있다는 것이 이해될 것이다. 이러한 실시예들에 있어서, 송신 링크들(115)은, 예를 들어, 하나 이상의 시스템 버스 및/또는 비디오 버스 아키텍처들을 포함할 수 있다. 이에 더하여, 일부 실시예들에서, 설명되는 기술들 중 적어도 일부는, 예컨대 로컬 컴퓨팅 시스템(120)으로부터 연결(들)(115)을 통해 인코딩된 형태로 수신되는 이미지 데이터를 디코딩하기 위하여 디스플레이 디바이스들(180a 및/또는 180b) 상에서 수행될 수 있으며 - 도 1b는, 이하에서 추가로 논의되는 바와 같은, 예컨대 HMD 디바이스(180b)에 대하여 이러한 이미지 디코딩 기술들을 수행하기 위한 하드웨어 회로부의 일 예를 예시한다.
컴퓨팅 시스템들(120 및 190)이 단지 예시적이며 본 발명의 범위를 제한하도록 의도되지 않는다는 것이 또한 이해될 것이다. 컴퓨팅 시스템들은 그 대신에 각기 다수의 상호작용 컴퓨팅 시스템들 또는 디바이스들을 포함할 수 있으며, 컴퓨팅 시스템들은 인터넷과 같은 하나 이상의 네트워크들을 통해, 웹을 통해, 또는 사설 네트워크들(예를 들어, 모바일 통신 네트워크들, 등)을 통하는 것을 포함하여, 예시되지 않은 다른 디바이스들에 연결될 수 있다. 보다 더 일반적으로, 컴퓨팅 시스템 또는 다른 컴퓨팅 노드는, 비제한적으로, 데스크탑 또는 다른 컴퓨터들, 게임 시스템들, 데이터베이스 서버들, 네트워크 저장 디바이스들 및 다른 네트워크 디바이스들, PDA들, 휴대용 전화기들, 무선 전화기들, 호출기들, 전자 수첩들, 인터넷 전기기기들, (예를 들어, 셋탑 박스들 및/또는 개인용/디지털 비디오 레코더들을 사용하는) 텔레비전-기반 시스템들, 및 적절한 통신 성능들을 포함하는 다양한 다른 소비자 제품들을 포함하는, 설명되는 유형들의 기능을 수행하고 상호작용할 수 있는 하드웨어 또는 소프트웨어의 임의의 조합을 포함할 수 있다. 이에 더하여, 일부 실시예들에 있어서, 시스템(135)에 의해 제공되는 기능은 하나 이상의 컴포넌트들에 분산될 수 있으며, 일부 실시예들에 있어서, 시스템(135)의 기능 중 일부가 제공되지 않을 수 있거나 및/또는 다른 추가적인 기능이 이용가능할 수 있다. 다양한 아이템들이 사용되고 있는 동안 메모리 내에 또는 저장부 상에 저장되는 것으로서 예시되지만, 이러한 아이템들 또는 이들의 부분들은 메모리 관리 및/또는 데이터 무결성의 목적들을 위하여 메모리와 저장 디바이스들 사이에서 전송될 수 있다는 것이 또한 이해될 것이다. 따라서, 일부 실시예들에 있어서, 설명되는 기술들 중 일부 또는 전부는, 예컨대, (예를 들어, 시스템(135) 및/또는 그것의 컴포넌트들에 의해) 하나 이상의 소프트웨어 프로그램들에 의해 및/또는 데이터 구조들에 의해, 예컨대 하나 이상의 소프트웨어 프로그램들의 소프트웨어 명령어들의 실행에 의해 및/또는 이러한 소프트웨어 명령어들 및/또는 데이터 구조들의 저장에 의해, 구성될 때, 하나 이상의 프로세서들 또는 다른 구성된 하드웨어 회로부 및/또는 메모리 및/또는 저장부를 포함하는 하드웨어 수단에 의해 수행될 수 있다. 컴포넌트들, 시스템들 또는 데이터 구조들의 일부 또는 전부는 또한, 적절한 드라이브에 의해 또는 적절한 연결을 통해 판독될 하드 디스크 또는 플래시 드라이브 또는 다른 비-휘발성 저장 디바이스, 휘발성 또는 비-휘발성 메모리(예를 들어, RAM), 네트워크 저장 디바이스, 또는 휴대용 매체 물품(예를 들어, DVD 디스크, CD 디스크, 광 디스크, 등)과 같은, 비-일시적인 컴퓨터-판독가능 저장 매체 상에 (예를 들어, 소프트웨어 명령어들 또는 구조화된 데이터로서) 저장될 수 있다. 일부 실시예들에 있어서, 시스템들, 컴포넌트들 및 데이터 구조들은 또한, 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독가능 송신 매체들 상의 생성된 데이터 신호들로서(예를 들어, 반송파 또는 다른 아날로그 또는 디지털 전파형 신호의 부분으로서) 송신될 수 있으며, (예를 들어, 단일 또는 멀티플렉스된 아날로그 신호의 부분으로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 이러한 컴퓨터 프로그램 제품들이 또한 다른 실시예들에서 다른 형태들을 취할 수 있다. 따라서, 본 발명은 다른 컴퓨터 시스템 구성들을 가지고 실시될 수 있다.
도 1b는, 설명되는 기술들에 따른, 인코딩된 형태로 수신된 이미지 데이터를 디코딩하고 하나 이상의 디스플레이 패널들 상에 이미지 데이터의 디스플레이를 개시하기 위하여 자동화된 동작들을 수행하도록 구성될 수 있는 HMD 디바이스(180b)와 같은 디스플레이 디바이스 상의 하드웨어 회로부의 일 예를 예시한다. 특히, 도 1b는, 그 내부에서 복수의 픽셀들 P가 로우들 R 및 컬럼들 C로 배열되는 픽셀 어레이(103)를 갖는 예시적인 디스플레이 시스템(100b)을 포함한다. 단지 (Rx로 라벨링된) 하나의 예시적인 로우 및 (cy로 라벨링된) 하나의 예시적인 컬럼만이 도시되고, 그들의 교차부에서의 (Pxy로 라벨링된) 하나의 예시적인 픽셀이 도시되지만, 실제로 픽셀 어레이(103)는 임의의 M x N 어레이일 수 있으며, 여기에서 M은 픽셀 어레이 내의 로우들의 수이고 N은 컬럼들의 수이다. 디스플레이 시스템(100b)은, 예를 들어, LCD 시스템 또는 OLED 시스템일 수 있다. 디스플레이 시스템(100b)이 컬러 디스플레이인 구현예들에 있어서, 픽셀들 P는, 각기 상이한 컬러(예를 들어, 적색, 녹색, 청색)을 생성하는 서브-픽셀들을 포함할 수 있다.
디스플레이 시스템(100b)의 픽셀 어레이(103)에 인접하여, 픽셀 어레이(103)의 개별적인 픽셀들을 구동할 뿐만 아니라 선택적으로 다른 기능들을 수행하기 위한 하드웨어 회로부가 존재한다. 특히, 하드웨어 회로부는, 때때로 게이트 또는 스캔 드라이버 회로로도 지칭되는 로우 드라이버 회로(예를 들어, IC 또는 집적 회로)(106), 및 때때로 데이터 드라이버 회로로도 지칭되는 컬럼 드라이버 회로(예를 들어, IC)(108)를 포함한다. 로우 드라이버 회로(106) 및 컬럼 드라이버 회로(108)는 집합적으로 본원에서 "픽셀 드라이버 서브시스템"으로 지칭될 수 있다. 드라이버 회로들(106 및 108)의 각각은, 예를 들어, 하나 이상의 집적 회로들로부터 형성될 수 있다. 실제로는, 디스플레이 포트(113)는, 예컨대 본원의 다른 곳에서 논의되는 바와 같은 인코딩된 형태로, 외부 비디오 소스 시스템(116)(예를 들어, 도 1a의 로컬 컴퓨팅 시스템(120))으로부터 이미지 데이터 입력을 수신하고, 수신된 데이터를 브리지 IC(117)로 송신한다. 브리지 IC(117)는, 본원에서 논의되는 바와 같은 수신된 인코딩된 데이터를 디코딩하기 위한, 그리고 디코딩된 픽셀 값들을 구현하기 위하여 개별적인 정보를 로우 및 컬럼 드라이버 회로들로 포워딩하기 위한 자동화 동작들을 수행하기 위한 로직을 구현하도록 구성된다. 특히, 로우 드라이버 회로(106)는 복수의 로우 선택 라인들(112)을 포함하며, 하나의 로우 선택 라인은 픽셀 어레이(103) 내의 픽셀들(또는 서브-픽셀들)의 로우들 R의 각각에 대한 것이고, 여기에서 로우 선택 라인들(112)의 각각은 픽셀 어레이(103)의 대응하는 로우 내의 픽셀들에 대한 스캔 전극들에 전기적으로 결합된다. 컬럼 드라이버 회로(108)는 복수의 데이터 라인들(114)을 포함하며, 하나의 데이터 라인은 픽셀 어레이(103) 내의 픽셀들(또는 서브-픽셀들)의 컬럼들 C의 각각에 대한 것이고, 여기에서 데이터 라인들(114)의 각각은 픽셀 어레이(103)의 대응하는 컬럼 내의 픽셀들에 대한 데이터 전극들에 전기적으로 결합된다. 로우 드라이버 회로(106)는, 브리지 IC(117)의 제어 하에서, 로우 선택 라인들(112)을 통해 소정의 시간에 픽셀 어레이(103)의 하나 이상의 로우들을 선택적으로 인에이블(enable)하며, 컬럼 드라이버 회로(108)는, 브리지 IC(117)의 제어 하에서, 픽셀 어레이(103) 내의 픽셀들의 컬럼들의 각각에 대하여 데이터 라인들(114) 상에 데이터(예를 들어, 전압 레벨들)를 출력한다. 따라서, 각각의 픽셀에 의해 송신되는 광의 세기는, 픽셀들의 스캔 전극들이 로우 선택 라인(112)을 통해 로우 드라이버 회로(106)에 의해 하이(high)로 펄싱될 때 데이터 라인(114)을 통해 픽셀의 데이터 전압들로 컬럼 드라이버 회로(108)에 의해 인가되는 구동 전압에 의해 결정된다. 적어도 일부 구현예들에 있어서, 드라이버 회로들(106 및 108) 및/또는 브리지 IC(117)는 동일한 데이터 또는 유사한 데이터를 다수의 로우들에 동시에 로딩하도록 구성될 수 있다.
이전에 언급된 바와 같이, 브리지 IC(117)는, 디스플레이 시스템(100b) 상의 디스플레이를 위해 브리지 IC(117)에 이미지 스트림(예를 들어, 프로세싱된 비디오 데이터)을 공급하는 비디오 소스 시스템(116)에 디스플레이 포트 입력부(113)를 통해 동작가능하게 결합된다. 비디오 소스 시스템(116)은, 평면 패널 텔레비전, 랩탑, 태블릿 컴퓨터, 모바일 폰, 머리 착용 디스플레이, 착용형 컴퓨터, 등과 같은 디스플레이 시스템을 사용하는 임의의 비디오 출력 소스 시스템일 수 있다. 비디오 소스 시스템(116)은 더 큰 시스템의 컴포넌트(예를 들어, 그래픽 제어기)일 수 있다. 브리지 IC(117)는 이미지 스트림을 수신하고, 이를 이미지 스트림 내에 존재하는 이미지들을 순차적으로 디스플레이하기 위하여 픽셀 어레이(103) 내의 픽셀들에 제공될 적절한 전압 프로그래밍 정보로 변환한다. 브리지 IC(117)는, 예를 들어, 레벨 시프터(level shifter), 타이밍, 및 아날로그 함수 생성기들일 수 있다. 일반적으로, 브리지 IC(117)는, 비디오 소스 시스템(116)으로부터의 입력으로서 이미지 스트림 신호들(예를 들어, 디지털 신호들), 동기화 정보, 타이밍 정보, 등 중 하나 이상을 취함으로써 로우 및 컬럼 드라이버 회로들(106 및 108)을 바이어싱하기 위한 타이밍 및 데이터 신호들을 생성할 수 있다.
디스플레이 시스템(100b)은 또한 예시된 예에 있어서, 예컨대 정보를 생성하고 이를 다시 비디오 소스 시스템(116)으로 송신하기 위한 마이크로제어기(111)를 포함하지만, 다른 실시예들은 디스플레이 시스템(100b)의 부분으로서 이러한 마이크로제어기를 포함하지 않을 수 있다(예를 들어, 하나 이상의 이러한 마이크로제어기들이 디스플레이 디바이스의 하나 이상의 다른 시스템들의 부분이거나 또는 그 대신에 특정 실시예들에 있어서 구현되지 않는 경우). 송신되는 정보는, 예를 들어, 다음: 그 위에 디스플레이 시스템이 구현되는 디스플레이 디바이스(예를 들어, HMD 디바이스(180b))에 대한 로케이션(location) 및/또는 배향; 착용 사용자 동공 및/또는 시선 방향 정보; 등 중 하나 이상을 포함할 수 있지만, 일 실시예들에 있어서, 하나 이상의 이러한 유형들의 정보는, 디스플레이 시스템(100b)과는 별개의 디스플레이 디바이스 상의 다른 하드웨어 회로부(미도시)로부터 비디오 소스 시스템으로 송신될 수 있다. 브리지 IC(117) 및/또는 마이크로제어기(111)는, 하나 이상의 프로세서들(예를 들어, 하나 이상의 중앙 프로세싱 유닛(central processing unit; CPU)들, 마이크로프로세서들, 디지털 신호 프로세서(digital signal processor; DSP)들, 애플리케이션-특정 집적 회로(application-specific integrated circuit; ASIC)들, 필드 프로그램가능 게이트 어레이(field programmable gate array; FPGA)들, 그래픽 프로세싱 유닛(graphics processing unit; GPU)들, 다른 프로그램가능 회로들, 및 이들의 조합들, 등)뿐만 아니라 메모리, I/O 인터페이스들, 통신 시스템들 등을 포함할 수 있다.
특정 실시예들에 있어서, 하나 이상의 비디오 프레임들에 대한 비디오 프레임 데이터를 생성하는 것의 부분으로서 또는 이러한 비디오 프레임 데이터의 후속 프로세싱의 부분으로서, 비디오 프레임 데이터는 1차 디스플레이 영역 및 하나 이상의 2차 디스플레이 영역들을 반영하도록 인코딩된다. 이러한 인코딩은, 예를 들어, 1차 디스플레이 영역에 대하여 1-대-1 매핑을 사용하는 것을 포함할 수 있으며, 예컨대, 2차 디스플레이 영역의 일부 픽셀들로부터의 픽셀 값들을 2차 디스플레이 영역의 다수의 다른 픽셀들에 할당함으로써 각각의 2차 디스플레이 영역에 대하여 1-대-다수 매핑을 반영하기 위해 각각의 2차 디스플레이 영역의 콘텐트를 수정하는 것을 더 포함할 수 있고 - 예를 들어, 특정 2차 디스플레이 영역에 대하여, 1-대-다수 매핑을 구현하는 것은 2차 디스플레이 영역 내의 제 1의 1차원 픽셀 어레이(즉, 컬럼 또는 로우)로부터의 픽셀 값들을 하나 이상의 이웃 1차원 픽셀 어레이들(즉, 인접한 컬럼 또는 인접한 로우)의 픽셀들에 할당하는 것을 포함할 수 있다. 다양한 실시예들에 있어서, 각각의 2차 디스플레이 영역 내의 이러한 복제된 또는 "미러링된" 픽셀들 대 원본 "소스" 픽셀들의 비율은, 2차 디스플레이 영역 내의 연속적인 픽셀 클러스터의 결과적인 치수들에 의해 특징지어질 수 있으며, 여기에서 이러한 픽셀 클러스터 내의 모든 픽셀들에는 IDM 시스템에 의해 단일 픽셀 값이 할당된다. 이에 더하여, IDM 시스템은, 일부 실시예들에서, (1-대-1 1차 영역들의 내부 에지들을 따른) 1차 및 2차 디스플레이 영역 사이의 및/또는 2개 이상의 2차 디스플레이 영역들 사이의 경계를 따라 시뮬레이션된 매핑을 더 제공하며, 여기에서, 시뮬레이션된 매핑은, 상이한 매핑들을 갖는 영역들의 경계를 별개의 경계 아티팩트들(artifact)에 대한 경향이 덜 하도록 그리고 그에 따라서 시각적으로 덜 인식할 수 있게 만들기 위하여 경계로부터 떨어진 픽셀들의 거리에 걸쳐 페더링(feathering) 및/또는 보간을 사용한다. 추가로, IDM 시스템은 또한, 일부 실시예들에서, 상이한 디스플레이 영역들에 대응하는 비디오 프레임 데이터의 상이한 부분들에 대하여, 변화하는 매핑들을 갖는 그들의 후속 디스플레이를 반영하기 위하여 이러한 상이한 부분들을 상이하게 사전-프로세싱할 수 있으며 - 예를 들어, 일 실시예에 있어서, 상이한 디스플레이 영역들에 대하여 의도된 이미지 데이터는, 이러한 영역들이 상이한 치수들에서 가질 수 있는 가변 주파수 변조 응답 커브(varying frequency modulation response curve)를 보상하기 위하여 적용되는 상이한 이미지 필터링을 가질 수 있다. 2차 디스플레이 영역들 중 하나 이상에 대한 픽셀 클러스터 치수(즉, 1-대-M 매핑에 대하여 M의 크기)는 다양한 기준에 기초하여 IDM 시스템에 의해 선택될 수 있으며, 여기에서 이러한 기준의 비-제한적인 예들은 다음을 포함한다: 예컨대, 이러한 비디오 프레임 데이터를 송신하기 위하여 더 적은 데이터 송신 대역폭이 이용가능한 경우에 더 큰 픽셀 클러스터 치수들을 사용하기 위한 데이터 송신 대역폭 제한들; 예컨대, 이러한 비디오 프레임 데이터를 송신하기 위하여 더 적은 데이터 송신 대역폭의 사용이 바람직한 경우에, 더 큰 픽셀 클러스터 치수들을 사용하기 위한 데이터 송신 대역폭 목표들; 그래픽 컴퓨팅 성능 제한들 또는 목표들; 매체 유형(예를 들어, 인코딩될 콘텐트가, 예컨대 무손실 또는 손실 압출을 통해, 송신 대역폭에 영향을 줄 수 있는 다른 방식으로 이전에 인코딩되었는지 여부); 매체 콘텐트(예를 들어, 시청자의 예측된 초점에 기초하여, 인코딩될 비디오 프레임 데이터의 세트들의 분석에 기초하여); 목적지 디스플레이 디바이스의 표시된 유형; 그래픽 제한들 및 목표들(예를 들어, 목표 비디오 프레임 해상도 또는 목표 프레임 레이트); 시각적 추적 정보(예컨대, 사용자의 눈 위치 및 초점의 하나 이상의 표시들에 기초함); 하나 이상의 미리 정의된 사용자 선호사항들; 구성 정보; 및 다른 적절한 기준.
적어도 일부 실시예들에 있어서, IDM 시스템은, 예컨대, 각각의 비디오 프레임 또는 다른 이미지에 대하여, 픽셀-기반 데이터를 인코딩하기 위해 디스플레이를 1차 및 2차 디스플레이 영역들 및/또는 픽셀 클러스터 치수들로 분할하는 방식을 동적으로 결정할 수 있다. 예를 들어, 이러한 디스플레이 분할은 이전의 또는 장래의 이용가능 송신 대역폭 용량보다 더 크거나 또는 더 작을 수 있는 현재 이용가능 송신 대역폭 용량에 따라 IDM 시스템에 의해 수행될 수 있다(예를 들어, "피크" 네트워크 사용 시간들 동안 송신을 위해 비디오 스트림을 인코딩하는 컴퓨팅 시스템은, 낮은 네트워크 사용의 시간 동안 송신을 위해 동일한 비디오 스트림을 인코딩하는 동일한 컴퓨팅 시스템보다 더 작은 1차 디스플레이 영역을 사용하여 비디오 스트림에 대한 비디오 프레임을 분할하는 것을 선택할 수 있다). 대안적으로, 또는 더 작은 1차 디스플레이 영역과 함께, 인코딩하는 컴퓨팅 시스템은 인코딩 프로세스의 부분으로서 2차 디스플레이 영역들 중 하나 이상에 대하여 더 큰 픽셀 클러스터 치수들을 사용하는 것을 결정할 수 있다.
하나 이상의 실시예들에 있어서, IDM 시스템은, 예컨대, 디스플레이 디바이스(예를 들어, 디스플레이 디바이스들(180a 및/또는 180b)) 상의 비디오 프레임 데이터(또는 다른 이미지)의 디스플레이를 개시하는 것의 부분으로서, 이상에서 설명된 방식으로 이전에 인코딩된 비디오 프레임 데이터를 디코딩할 것을 결정할 수 있다. 예를 들어, IDM 시스템은, 비디오 프레임 데이터의 1차 디스플레이 영역의 디스플레이를 제어하기 위해 1-대-1 픽셀 매핑을 사용하고 그리고 (즉, 비디오 프레임 데이터가 이전에 인코딩되었던 선택된 픽셀 클러스터 치수에 의해 표시되는 1-대-다수 픽셀 매핑에 따라) 2차 디스플레이 영역 내의 다수의 픽셀들의 디스플레이를 제어하기 위해 각각의 인코딩된 2차 디스플레이 영역의 각각의 픽셀 값을 사용함으로써 디스플레이 디바이스 상의 이러한 인코딩된 비디오 프레임 데이터의 디스플레이를 개시할 수 있다.
로컬 매체 렌더링 시스템(110) 및 매체 콘텐트 제공자(190) 둘 모두에 의해 수행되는 동작들을 수반하는 다른 예로서, 로컬 컴퓨팅 시스템(120)이 (예를 들어, 비디오 프레임 데이터를 포함하는 특정 매체 콘텐트에 대한 요청에 응답하여) 컴퓨터 네트워크(들)(101) 및 네트워크 링크들(102)을 통해 매체 콘텐트 제공자로부터 비디오 프레임 데이터를 수신하고 디스플레이 디바이스들(180) 상에서 그 매체 콘텐트를 프로세싱하고 렌더링하기 위한 비디오 스트림 프로세싱 디바이스인 것으로 가정한다. 이러한 제 2 예에 있어서, 매체 콘텐트 제공자(190)는 로컬 컴퓨팅 시스템으로부터의 요청에 응답하여 콘텐트 저장부(194)로부터 요청된 매체 콘텐트를 검색하며, 여기에서 매체 콘텐트는 (예를 들어, 매체 콘텐트 제공자(190)의 서버 컴퓨팅 시스템들(192) 중 하나 이상의 로컬 메모리에서 실행 중인 IDM 시스템(미도시)에 의해) 로컬 매체 렌더링 시스템으로의 송신 이전에 (적어도 하나의 1차 디스플레이 영역 및 하나 이상의 2차 디스플레이 영역들에 대하여) 이상에서 논의된 것과 유사한 방식으로 매체 콘텐트 제공자에 의해 인코딩된다. 특정 실시예들에 있어서, 검색된 매체 콘텐트는 이전에 인코딩되었을 수 있거나, 또는, 그 대신에, 검색 및 송신의 시간에 동적으로 인코딩될 수 있다 - 이전이 인코딩된 콘텐트를 갖는 이러한 실시예의 일 예로서, 콘텐트 저장부(194)는 요청된 매체 콘텐트의 다수의 버전들을 포함할 수 있으며(여기에서, 각각의 버전은 다양한 인코딩 기법들에 따라 인코딩됨), 다양한 기준들 중 하나 이상에 기초하여 특정 요청에 응답하여 버전들 중 하나를 선택하고 사용할 수 있다. 이러한 기준의 비-제한적인 예들은 제 1 예에서 2차 디스플레이 영역에 대한 특정 픽셀 클러스터 치수의 선택에 대하여 이상에서 설명된 것들을 포함할 수 있다. 이러한 예에 있어서, 매체 콘텐트 제공자(190)는 네트워크(들)(101) 및 네트워크 링크들(102)을 통해 로컬 매체 렌더링 시스템(110)으로 요청된 매체 콘텐트의 선택되고 인코딩된 버전을 송신한다. 일단 요청된 매체 콘텐트의 인코딩된 버전이 부분적으로 또는 완전히 로컬 매체 렌더링 시스템에 의해 수신되면, IDM 시스템(135)은, 비디오 프레임 데이터의 1차 디스플레이 영역의 디스플레이를 제어하기 위해 1-대-1 픽셀 매핑을 사용하고 그리고 (즉, 비디오 프레임 데이터가 매체 콘텐트 제공자(190)에 의해 이전에 인코딩되었던 선택된 픽셀 클러스터 치수에 의해 표시되는 1-대-다수 픽셀 매핑에 따라) 그 2차 디스플레이 영역 내의 다수의 픽셀들의 디스플레이를 제어하기 위해 각각의 인코딩된 2차 디스플레이 영역의 각각의 픽셀 값을 사용하여, 이상에서 설명된 방식으로 수신된 매체 콘텐트의 디코딩 및 하나 이상의 디스플레이 디바이스들(180)을 통한 디코딩된 매체 콘텐트의 디스플레이를 개시한다.
도 2a는 본원에서 설명되는 기술들의 일 실시예에 따른 디스플레이하기 위해 비디오 프레임 데이터를 인코딩하는 것의 결과를 예시한다. 구체적으로, 도 2a는 평면-패널 콘솔 디스플레이 디바이스(200)를 이용하는 기술들의 사용을 도시하지만, 유사한 기술들은 그 대신에 도 2b 및 도 2c에 대하여 추가로 예시되는 바와 같은 머리-착용 디스플레이 디바이스(295)의 하나 이상의 디스플레이 패널들과 함께 사용될 수 있으며 - 이러한 예에 있어서, 디스플레이 디바이스(200)는, 이러한 비디오 프레임 데이터를 1차 디스플레이 영역(210) 및 2차 디스플레이 영역들(212(영역들(212a 및 212b)을 포함함), 214(영역들(214a 및 214b)을 포함함), 216(영역들(216a, 216b, 216c 및 216d)를 포함함))로 인코딩하기 위하여 분할된 픽셀 어레이를 포함한다. 2차 디스플레이 영역들(212a 및 212b)은 각기 1차 디스플레이 영역과 픽셀 어레이의 상단 및 하단 에지들 사이에 위치된다. 2차 디스플레이 영역들(214a 및 214b)은 각기 1차 디스플레이 영역과 픽셀 어레이의 좌측 및 우측 에지들 사이에 위치된다. 2차 디스플레이 영역들(216a-d)은 각기 픽셀 어레이의 코너들에 위치되며, 2차 디스플레이 영역들(212 및 214)의 4개의 접합부들을 묘사한다.
도 2a 내지 도 2c의 예시된 실시예들에 있어서, 각각의 분할된 디스플레이 영역은, 그 디스플레이 영역 내의 1차원 픽셀 어레이들에 대하여 수행된 인코딩 동작의 결과로서 동일한 픽셀 값들을 공유하는 픽셀 클러스터들의 (픽셀 단위로, 그리고 방향 표시자(201)에 의해 도시된 수평 x 및 수직 y 배향을 가지고) 표시된 치수들로 라벨링된다. 예를 들어, “1x1”의 표시된 픽셀-치수를 갖는 디스플레이 영역에서, 디스플레이 영역의 원본 해상도 및 픽셀 값들은 1-대-1 매핑에서 인코딩 동안 보존되며; “2x2”의 표시된 픽셀-치수를 갖는 디스플레이 영역에서, 인코딩 프로세스는, (단일 소스 픽셀 값 및 3개의 복제된 픽셀 값들을 갖는) 1-대-4 매핑에 대응하며 4개의 픽셀들의 픽셀 클러스터 크기를 제공하는, 단일 소스 픽셀 값으로부터의 동일한 픽셀 값들이 할당된 2개의 픽셀들(수평) x 2개의 픽셀들(수직)의 픽셀 클러스터들을 야기하고; “2x3”의 픽셀-치수를 갖는 디스플레이 영역(미도시)에서, 인코딩 프로세스는, 6개의 픽셀들의 픽셀 클러스터 크기를 제공하는, 동일한 픽셀 값들이 할당된 2개의 픽셀들(수평) x 3개의 픽셀들(수직)의 픽셀 클러스터들을 야기한다.
다시 도 2a의 특정 실시예를 참조하면, 1차 디스플레이 영역(210)은 완전한 “1x1” 해상도에 대응하는 픽셀 값 정보를 포함하고, 이는 어떠한 픽셀에도 1차 디스플레이 영역 내의 이웃 픽셀들로부터의 픽셀 값들이 할당되지 않는 1-대-1 픽셀 매핑을 나타내며 - 따라서, 1차 디스플레이 영역(210)의 크기가 1000 픽셀 x 800 픽셀이었던 경우, 예를 들어, 영역(210)에 대한 인코딩된 데이터는 800,000개의 픽셀 값들에 대한 데이터를 포함할 것이다. 이러한 도시된 실시예에 있어서, 2차 디스플레이 영역들(212a 및 212b)은 예시된 실시예에서 1개의 수평 픽셀 대 2개의 수직 픽셀들을 갖는 “1x2” 방식으로 구조화된 1-대-2 매핑(즉, 2의 픽셀 클러스터 치수)을 나타내는 픽셀 클러스터들을 갖는 것으로서 식별된다. 예를 들어, 확대도(205)에 표시된 바와 같이, 212b의 2차 디스플레이 영역은 1차원 픽셀 어레이들(로우들)(230c 및 230d)을 포함한다. 비디오 프레임의 인코딩 이전에, 로우들(230c 및 230d)의 각각은 픽셀 값들의 고유한 세트를 갖는 것으로 가정한다. 비디오 프레임을 인코딩하는 것의 부분으로서, 영역(212b)의 로우(230c) 내의 픽셀들의 픽셀 값들은 (예컨대, 본원의 다른 곳에서 더 상세하게 설명되는 기준에 기초하여) 인접한 로우(230d) 내의 대응하는 픽셀들에 할당된다. 결과적으로, 1 수평 픽셀 x 2 수직 픽셀의 치수들을 갖는 픽셀 클러스터(241)는, 각기 로우(230c)와 컬럼(220a) 및 로우(230d)와 컬럼(220a)의 교차부에 위치된 2개의 이전의 별개의 픽셀들을 포괄하며; 마찬가지로, 컬럼(220b)의 로우들(230c 및 230d)은 단일 픽셀 값(예를 들어, 로우(230c) 및 컬럼(220b)에 대한 원본 픽셀 값)을 사용하는 추가적인 픽셀 클러스터를 형성한다. 이러한 방식으로, 2차 디스플레이 영역(212b)의 전체에 대하여, 인코딩 프로세스 이전에 영역(212b)에 대한 로우(230c) 내의 고유 픽셀 값들의 세트는 영역(212b) 내에 새로운 확장된 로우(212b-1)를 형성하도록 확장되거나 또는 "미러링"되고; 인코딩 프로세스 이전에 영역(212b)에 대한 로우(230e) 내의 고유 픽셀 값들의 세트는 영역(212b) 내에 새로운 확장된 로우(212b-2)를 형성하도록 유사하게 미러링되며; 하는 등이다. 결과적으로, 2차 디스플레이 영역(212b)에 대응하는 프레임 데이터의 부분의 유효 해상도(및 이에 대한 송신 대역폭)는 절반으로 감소된다. 2차 디스플레이 영역(212a)의 픽셀들에 대응하는 프레임 데이터를 인코딩하기 위한 동작들이 유사한 방식으로 수행된다.
유사한 방식으로, 예시된 실시예에서, 2 수평 픽셀 대 1 수직 픽셀을 갖는 “2x1” 방식으로 구조화된 1-대-2 매핑(즉, 2의 픽셀 클러스터 치수)를 갖는 픽셀 클러스터를 갖는 것으로 식별되며, 1차원 픽셀 어레이들(컬럼들)(220c, 220d, 220e, 및 220f))을 포함하는 2차 디스플레이 영역(214b)을 고려한다. 다시, 인코딩 이전에, 각각의 이러한 컬럼이 픽셀 값들의 고유 세트를 갖는 것으로 가정한다. 비디오 프레임을 인코딩하는 것의 부분으로서, 컬럼(220c) 내의 픽셀들의 픽셀 값들이 인접한 컬럼(220d) 내의 대응하는 픽셀들에 할당된다. 결과적으로, 2 수평 픽셀 x 1 수직 픽셀의 치수들을 갖는 픽셀 클러스터(243)는, 각기 로우(230a)와 컬럼(220c) 및 로우(230a)와 컬럼(220d)의 교차부에 위치된 2개의 이전의 별개의 픽셀들을 포괄한다. 이러한 방식으로, 2차 디스플레이 영역(214b)의 전체에 대하여, 인코딩 프로세스 이전에 영역(214b)에 대한 컬럼(220c) 내의 고유 픽셀 값들의 세트는 새로운 확장된 컬럼(214b-1)를 형성하도록 컬럼(220d)에 미러링되고; 인코딩 프로세스 이전에 영역(214b)에 대한 컬럼(220e) 내의 고유 픽셀 값들의 세트는 새로운 확장된 컬럼(214b-2)을 형성하도록 컬럼(220f)에 미러링되며; 하는 등이다. 따라서, 2차 디스플레이 영역(212b)에 대하여 이상에서 설명된 것과 유사한 방식으로, 2차 디스플레이 영역(214b)에 대응하는 프레임 데이터의 부분의 유효 해상도(및 이에 대한 송신 대역폭)는 절반으로 감소된다. 프레임 데이터의 인코딩이 2차 디스플레이 영역(214a)에 대하여 유사하게 수행된다.
도 2a의 도시된 실시예에 있어서, 2차 디스플레이 영역들(216a-216d)에 대응하는 비디오 프레임 데이터에 대한 인코딩 프로세스는 2차 디스플레이 영역들(212a-212b 및 214a-214b)에 대한 것과 유사한 방식으로 수행된다. 구체적으로, 그리고 확대도(205)에 도시된 바와 같은 2차 디스플레이 영역(216d)을 참조하면, 2차 디스플레이 영역(216d)의 각각의 1차원 픽셀 어레이는 인코딩 이전에 고유한 픽셀 값들의 세트를 포함하는 것으로 가정된다. 비디오 프레임 데이터를 인코딩하는 것의 부분으로서, 그 2차 디스플레이 영역(216d) 내의 로우(230c)의 부분의 것과 같은 제 1의 1차원 픽셀 어레이에 대한 픽셀 값들이 그 2차 디스플레이 영역 내의 인접한 로우(230d)의 부분의 대응하는 픽셀들에 할당된다. 유사하게, 영역(216d)에 대한 컬럼(220e)의 부분 내의 1차원 픽셀 어레이에 대한 픽셀 값들이 인접한 컬럼(220f)의 부분의 대응하는 픽셀들에 할당된다. 결과적인 픽셀 클러스터(245)는 2차 디스플레이 영역(216d)에 대하여 표시된 “2x2”의 치수 크기를 가지며, 여기에서 모든 4개의 픽셀들은 로우(230c) 및 컬럼(220e)의 교차부에 위치된 고유 픽셀에 대하여 인코딩되지 않은 프레임 내에 이전에 표시된 픽셀 값을 공유한다. 픽셀 클러스터 내의 4개의 픽셀들이 이러한 예에서 표시된 바와 같이 먼저 로우 값들을 이중으로 만들고(doubling) 그런 다음 표시된 바와 같이 컬럼 값들을 이중으로 만들어서 설정되지만, 4개의 값들은 다른 실시예들에서 다른 방식들로(예를 들어, 단일 동작으로) 설정될 수도 있다.
이러한 예에서 2차 디스플레이 영역들에 대하여 사용되는 1-대-다수 픽셀 매핑이 복제된 로우 및/또는 복제된 컬럼 접근방식을 반영하지만, 1-대-다수 픽셀 매핑들 및 픽셀 클러스터 치수들의 다른 배열들 및 구성들이 다양한 환경들 및 실시예들에서 IDM 시스템에 의해 사용될 수 있다는 것, 및 특정 픽셀 값 할당들 및 픽셀 값 매핑들에 대하여 이상에서 설명된 인코딩 기법의 다수의 변형예들이 설명되는 기술의 범위로부터 벗어나지 않고 사용될 수 있다는 것이 이해될 것이다. 일 예로서, 이로부터의 픽셀 값들이 하나 이상의 이웃 및/또는 인접한 1차원 픽셀 어레이들에 할당되는 제 1의 1차원 픽셀 어레이의 선택은 인코딩 프로세스에 실질적으로 영향을 주지 않으면서 IDM 시스템에 의해 다양한 방식들로 이루어질 수 있다. 예를 들어, 특정 실시예들에 있어서, (예컨대, 도 2a의 로우(230b)에 대응하는) 1차 디스플레이 영역(210)의 경계를 형성하는 1차원 픽셀 어레이는 (예컨대, 로우(230c)에 대응하는) 인접한 2차 디스플레이 영역(212)의 에지 상의 1차원 픽셀 어레이에 대한 픽셀 값들의 "소스"로서 사용될 수 있다. 특정 실시예들에 있어서, 1차원 픽셀 어레이들은 이상에서 설명된 것과는 다른 방식으로, 예컨대, 이러한 1차원 픽셀 어레이들이 위치된 2차 디스플레이 영역들의 상대적인 비율(proportion)들에 직교하는 방식으로 미러링될 수 있으며 - 예를 들어, 로우들이 아니라 2차 디스플레이 영역(212b) 내의 컬럼들을 유효하게 미러링하는 방식으로 픽셀 값들을 할당하는 것(예컨대, 컬럼(220a)의 픽셀들로부터의 값들을 컬럼(220b)의 픽셀들에 할당하는 것), 및/또는 컬럼이 아니라 2차 디스플레이 영역(214b)의 로우들을 유효하게 미러링하기 위해 픽셀 값들을 할당하는 것(예컨대, 로우(230b)의 픽셀들로부터의 값들을 로우(230a)의 픽셀들에 할당하는 것).
다른 예로서, 그리고 도 2b 및 도 2c에 대하여 이하에서 논의되는 바와 같이, 예컨대, 인코딩되지 않은 1차원 픽셀 어레이(230d)으로부터의 픽셀 값들이 1차원 픽셀 어레이들(230c, 230e, 및 230f)의 대응하는 픽셀들에 할당되었던 경우에, 픽셀 클러스터의 다수의 픽셀들에는 단일 픽셀로부터의 값들이 할당될 수 있다. 이러한 예에 있어서, 2차 디스플레이 영역들(212b 및 216d)은 각기 1x4 및 2x4의 복제 구조를 가질 것이며, 여기에서 이러한 2차 디스플레이 영역들에 대응하는 인코딩된 비디오 프레임 데이터에 대한 필요 송신 대역폭의 결과적인 감소가 그에 따라 증가할 것이다.
도 2b 및 도 2c는 픽셀 어레이를 1차 및 2차 디스플레이 영역들로 분할하기 위한 대안적인 실시예들 및 배열들을 도시하며, 예컨대, 인코딩 컴퓨팅 시스템이 다른 기준에 따라 또는 동일한 기준에 따르지만 변경된 상황들에서(예컨대, 이용가능 송신 대역폭이 변화되거나, 지정된 사용자 선호사항들이 변경되거나, 또는 상이한 유형들의 매체가 인코딩되고/디코딩될 경우에) 비디오 프레임 데이터를 분할하도록 결정한 실시예들을 도시한다. 이에 더하여, 도 2b 및 도 2c는 머리-착용 디스플레이 디바이스(295)의 2개의 디스플레이 패널들 중 하나를 이용하는 기술들의 사용을 도시하며, 여기에서 디바이스(295)의 절반이 도시되고 - 예시되지는 않았지만, 유사한 기술들이 디바이스(295)의 다른 절반(미도시) 내의 추가적인 디스플레이 패널에서 사용될 수 있다.
도 2b의 예시적인 실시예에 있어서, 그리고 도 2a의 1차 디스플레이 영역(210)에 대하여 이상에서 설명된 것과 유사한 방식으로, IDM 시스템은, 1-대-1의 픽셀 매핑 및 1x1의 대응하는 클러스터 구조를 가지고, 머리-착용 디스플레이 디바이스(295)의 더 큰 픽셀 어레이의 대략적인 지리적 중심 내의 완전-해상도 1차 디스플레이 영역(250)을 분할할 것을 결정한다. 도 2a에 도시된 분할 배열과는 현저하게 대조적으로, 도 2b의 중심 1차 디스플레이 영역은 2차 디스플레이 영역들의 2개의 별개의 층들에 의해 둘러싸이며, 여기에서 2차 디스플레이 영역들의 최외측 층에는, 다음과 같이, 1차 디스플레이 영역(250)에 바로 인접한 이러한 2차 디스플레이 영역들보다 더 큰 픽셀 매핑 및 클러스터 치수가 할당된다. 2차 디스플레이 영역들(252a 및 252b)에는 2x1의 픽셀 클러스터 구조가 할당되며, 이들은 각기 1차 디스플레이 영역의 좌측 및 우측 경계들에 인접하여 위치된다. 2차 디스플레이 영역들(254a 및 254b)에는 3x1의 픽셀 클러스터 구조가 할당되며, 여기에서 2차 디스플레이 영역(254a)은 2차 디스플레이 영역(252a)과 패널 디스플레이 디바이스의 최좌측 에지 사이에 위치되고, 2차 디스플레이 영역(254b)은 2차 디스플레이 영역(252b)과 패널 디스플레이 디바이스의 최우측 에지 사이에 위치된다. 2차 디스플레이 영역들(256a 및 256b)에는 1x2의 픽셀 클러스터 구조가 할당되며, 이들은 각기 1차 디스플레이 영역의 상단 및 하단 경계들에 인접하여 위치된다. 2차 디스플레이 영역들(258a 및 258b)에는 1x3의 픽셀 클러스터 구조가 할당되며, 여기에서 2차 디스플레이 영역(258a)은 2차 디스플레이 영역(256a)과 패널 디스플레이 디바이스의 최상단 에지 사이에 위치되고, 2차 디스플레이 영역(258b)은 2차 디스플레이 영역(256b)과 패널 디스플레이 디바이스의 하단 에지 사이에 위치된다. 2차 디스플레이 영역들(260a-d)에는 2x2의 픽셀 클러스터 구조가 할당되며, 이들은 각기 2차 디스플레이 영역들(256a 및 252a, 256a 및 252b, 252a 및 256b, 및 252b 및 256b)의 접합부들에 위치된다. 2차 디스플레이 영역들(262a-d)에는 3x2의 픽셀 클러스터 구조가 할당되며, 이들은 각기 2차 디스플레이 영역들(256a 및 254a, 256a 및 254b, 256b 및 254a, 및 256b 및 254b)의 접합부들에 위치된다. 2차 디스플레이 영역들(264a-d)에는 2x3의 픽셀 클러스터 구조가 할당되며, 이들은 각기 2차 디스플레이 영역들(258a 및 252a, 258a 및 252b, 258b 및 252a, 및 258b 및 252b)의 접합부들에 위치된다. 2차 디스플레이 영역들(266a-d)에는 3x3의 픽셀 클러스터 구조가 할당되며, 이들은 각기 2차 디스플레이 영역들(258a 및 254a, 258a 및 254b, 258b 및 254a, 및 258b 및 254b)의 접합부들에 위치된다.
도 2a의 실시예에서 프레임 데이터의 인코딩에 대하여 설명된 것과 유사한 방식으로, 다수의 2차 디스플레이 영역들의 각각에 대응하는 비디오 프레임 데이터는, 2차 디스플레이 영역 내의 제 1 픽셀(그리고 구체적으로 이러한 예에서, 하나 이상의 제 1의 1차원 픽셀 어레이들)로부터의 픽셀 값들을 2차 디스플레이 영역 내의 하나 이상의 제 2 픽셀들에(다시, 이러한 예에서 하나 이상의 제 2의 1차원 픽셀 어레이들에) 할당함으로써 수정된다. 예를 들어, 도시된 실시예에 있어서, 2차 디스플레이 영역(256b) 내의 소스 로우로부터의 픽셀 값들은 그 2차 디스플레이 영역 내의 인접한 로우의 대응하는 픽셀들에 할당되며(이는 2차 디스플레이 영역(256b)에 대한 1x2의 표시된 픽셀 클러스터 치수를 야기함); 2차 디스플레이 영역(258b) 내의 소스 로우로부터의 픽셀 값들은 그 2차 디스플레이 영역 내의 2개의 인접한 로우들의 대응하는 픽셀들에 할당된다(이는 2차 디스플레이 영역(258b)에 대한 1x3의 표시된 픽셀 클러스터 치수를 야기한다). 마찬가지로, 2차 디스플레이 영역(252b) 내의 소스 컬럼으로부터의 픽셀 값들은 그 2차 디스플레이 영역 내의 그 소스 컬럼에 인접한 컬럼의 대응하는 픽셀들에 할당되며(이는 2차 디스플레이 영역(252b)에 대한 2x1의 표시된 픽셀 클러스터 치수를 야기함); 2차 디스플레이 영역(254b) 내의 소스 컬럼으로부터의 픽셀 값들은 그 2차 디스플레이 영역 내의 그 소스 컬럼에 인접한 2개의 컬럼들의 대응하는 픽셀들에 할당된다(이는 2차 디스플레이 영역(254b)에 대한 3x1의 표시된 픽셀 클러스터 치수를 야기한다). 2차 디스플레이 영역들(260a-d, 262a-d, 264a-d 및 266a-d)은 도 2a의 2차 디스플레이 영역들(216a-d)과 유사한 방식으로 처리된다.
도 2c의 예시적인 실시예에 있어서, 그리고 도 2a 및 도 2b에 대하여 이상에서 설명된 것에 대하여 대조되는 방식으로, 인코딩 컴퓨팅 시스템은 비디오 프레임 데이터를 비대칭적인 구성으로 분할할 것을 결정한다. 본원의 다른 곳에서 설명되는 바와 같이, 이러한 분할 결정은 다양한 기준에 기초하여 이루어질 수 있으며, 일부 경우들에 있어서, 도 2b에 도시된 방식으로 HMD 디바이스(295)에 대하여 제 1 비디오 프레임 또는 다른 이미지를 인코딩하기 위한 동적 결정, 및 도 2c에 도시된 방식으로 HMD 디바이스(295)의 디스플레이 패널에 대하여 이후의 비디오 프레임 또는 다른 이미지(예를 들어, 다음 비디오 프레임 또는 다른 이미지)를 인코딩하기 위한 동적 결정을 반영할 수 있고 - 따라서, 이러한 실시예들에 있어서, 1차 디스플레이 영역 및/또는 2차 디스플레이 영역의 위치(예를 들어, 로케이션 및/또는 배향)가 상이한 이미지들에 대하여 변화할 수 있다. 그러나, (로케이션들이 선택적으로 변화하면서) 디스플레이 영역들의 크기가 유지되는 실시예들에 있어서, 인코딩된 이미지들의 크기(예를 들어, 인코딩된 이미지들 내의 데이터의 양) 및 대응하는 송신 레이트가 일정한 방식으로 유지될 수 있다. 예를 들어, 최고 해상도를 갖는 1차 디스플레이 영역(270)을 머리-착용 디스플레이 디바이스(295)의 디스플레이 패널의 지리적 중심으로부터 떨어진 위치에 위치시키기 위한 도 2c에서의 결정은, 예컨대, 인간 시청자의 집중의 초점이 인코딩 컴퓨팅 시스템에 통신가능하게 결합된 하나 이상의 디바이스들에 의해 모니터링되는 경우에, 눈-추적 또는 시선-추적 데이터에 기초할 수 있다. 대안적으로, 최고 해상도를 갖는 1차 디스플레이 영역(270)을 디스플레이 패널의 지리적 중심으로부터 떨어진 위치에 위치시키기 위한 도 2c에서의 결정은, (예컨대, 인코딩될 비디오 프레임 데이터를 포함하는 비디오 시퀀스에 의해 묘사되는 액션이 대응하는 비디오 프레임의 상부-좌측을 향해 위치되는 경우에, 또는, 대응하는 비디오 프레임 내의 세부사항의 레벨이 상부-좌측 코너를 향해 상당히 더 높은 경우에) 인코딩되는 매체의 콘텐트에 기초하거나 또는 그 대신에 다른 기준에 기초할 수 있다. 이러한 비대칭적인 배열에 추가로, 도 2c의 1차 디스플레이 영역(270)은 상단 및 좌측 측면들 상의 2차 디스플레이 영역들의 단일 층에 의해 경계가 형성되지만, 하단 및 우측 측면들 상에서 2차 디스플레이 영역들의 2개의 층들에 의해 경계가 형성된다.
도 2c의 이러한 예에 있어서, 2차 디스플레이 영역들(272a 및 272b)에는 2x1의 픽셀 클러스터 구조가 할당되며, 이들은 각기 1차 디스플레이 영역(270)의 좌측 및 우측 측면들에 인접하여 위치된다. 2차 디스플레이 영역들(274a 및 274b)에는 1x2의 픽셀 클러스터 구조가 할당되며, 이들은 각기 1차 디스플레이 영역의 상단 및 하단 측면들에 인접하여 위치된다. 2차 디스플레이 영역(276)에는 4x1의 픽셀 클러스터 구조가 할당되며, 이는 2차 디스플레이 영역(272b)과 패널 디스플레이 디바이스의 최우측 에지 사이에 위치된다. 2차 디스플레이 영역(278)에는 1x4의 픽셀 클러스터 구조가 할당되며, 이는 2차 디스플레이 영역(274b)과 패널 디스플레이 디바이스의 하단 에지 사이에 위치된다. 2차 디스플레이 영역들(280a-d)에는 2x2의 픽셀 클러스터 구조가 할당되며, 이들은 각기 2차 디스플레이 영역들(274a 및 272a, 274a 및 272b, 274b 및 272a, 및 274b 및 272b)의 접합부들에 위치된다. 2차 디스플레이 영역들(282a-b)에는 2x4의 픽셀 클러스터 구조가 할당되며, 이들은 각기 2차 디스플레이 영역(278)과 2차 디스플레이 영역들(272a 및 272b)의 접합부들에 위치된다. 2차 디스플레이 영역들(284a-b)에는 4x2의 픽셀 클러스터 구조가 할당되며, 이들은 각기 2차 디스플레이 영역(276)과 2차 디스플레이 영역들(274a 및 274b)의 접합부들에 위치된다. 2차 디스플레이 영역들(286)에는 4x4의 픽셀 클러스터 구조가 할당되며, 이는 2차 디스플레이 영역들(276 및 278)의 접합부에 위치된다.
도 2a 및 도 2b의 실시예에서 프레임 데이터의 인코딩에 대하여 설명된 것과 유사한 방식으로, 다수의 2차 디스플레이 영역들의 각각에 대응하는 비디오 프레임 데이터는, 2차 디스플레이 영역 내의 하나 이상의 제 1의 1차원 픽셀 어레이들의 각각으로부터의 픽셀 값들을 2차 디스플레이 영역 내의 하나 이상의 제 2의 1차원 픽셀 어레이들에 할당함으로써 수정된다. 예를 들어, 2차 디스플레이 영역(274b) 내의 소스 로우로부터의 픽셀 값들은 그 2차 디스플레이 영역(274b) 내의 그 소스 로우에 인접한 로우의 대응하는 픽셀들에 할당되며(이는 1x2의 표시된 픽셀 클러스터 치수를 야기함); 2차 디스플레이 영역(278) 내의 소스 로우로부터의 픽셀 값들은 그 2차 디스플레이 영역(258b) 내의 각각의 이러한 소스 로우에 인접한 3개의 로우들의 대응하는 픽셀들에 할당된다(이는 2차 디스플레이 영역에 대한 1x4의 표시된 픽셀 클러스터 치수를 야기한다). 마찬가지로, 2차 디스플레이 영역(272b) 내의 소스 컬럼으로부터의 픽셀 값들은 그 2차 디스플레이 영역(272b) 내의 각각의 이러한 소스 컬럼에 인접한 컬럼의 대응하는 픽셀들에 할당되며(이는 2x1의 표시된 픽셀 클러스터 치수를 야기함); 2차 디스플레이 영역(276) 내의 소스 컬럼으로부터의 픽셀 값들은 그 2차 디스플레이 영역(276) 내의 각각의 이러한 소스 컬럼에 인접한 3개의 컬럼들의 대응하는 픽셀들에 할당된다(이는 4x1의 표시된 픽셀 클러스터 치수를 야기한다). 다른 2차 디스플레이 영역들이 표시된 바와 같이, 그리고 이상에서 논의된 것과 유사한 방식으로 구조화되고 유지된다. 다른 곳에서 언급된 바와 같이, 이러한 예에 대하여 설명된 1-대-다수 픽셀 매핑은 2차 디스플레이 영역들의 1차원 픽셀 어레이들에 대하여 이러한 매핑을 사용하지만, 다양한 시나리오들 및 실시예들에 있어서, 이러한 매핑들은, 예컨대, 단일 픽셀 값을 임의의 적절한 픽셀 클러스터 치수를 갖는 픽셀 클러스터에 매핑하기 위해 다른 구성들로 사용될 수 있음이 이해될 것이다.
본원에서 표현의 명료성 및 용이성을 위하여, 도 2a 내지 도 2c의 예시된 예들은 오로지 대표 비디오 프레임의 직사각형 파티션들로만 구성된 디스플레이 분할 배열들을 사용한다. 그러나, 제시되는 기술들의 의도된 범위로부터 벗어나지 않고 다양한 대안적인 파티션 형상들이 사용될 수 있으며, 그 결과, 목적지 픽셀 어레이는 이상에서 설명된 방식으로 인코딩되며 - 즉, 그 결과, 제 1 해상도를 갖는 하나 이상의 1차 디스플레이 영역들이 제공되며, 여기에서 하나 이상의 2차 디스플레이 영역들은, 하나 이상의 소스 픽셀들로부터의 픽셀 값들을 각각의 2차 디스플레이 영역 내의 하나 이상의 미러링된 픽셀들에 할당함으로써 그들의 개별적인 경계들 내의 그 제 1 해상도를 효과적으로 감소시키도록 인코딩된다는 것이 이해될 것이다. 예를 들어, 특정 실시예들에 있어서, 원형 또는 타원형 1차 디스플레이 영역들이 사용될 수 있으며, 여기에서 디스플레이 패널 픽셀 어레이의 나머지 부분은, 1차 디스플레이 영역으로부터의, 디스플레이되는 픽셀 어레이의 하나 이상의 에지들로부터의, 또는 다른 방식들로 상대적인 거리에 따라 하나 이상의 2차 디스플레이 영역들로 분할된다.
도 3은 픽셀 값 대 픽셀 맵퍼 루틴(300)의 예시적인 실시예의 순서도이다. 루틴(300)은, 예컨대, 적어도 하나의 1차 디스플레이 영역 및 하나 이상의 2차 디스플레이 영역들을 갖는 결정된 픽셀 배열 구조에 따라 이미지 데이터를 인코딩하기 위하여, 도 2a 내지 도 2c에 대하여 그리고 본원의 다른 곳에서 논의된 바와 같이 이미지 데이터를 인코딩하기 위한 동작들을 수행하는, 예를 들어, 도 1a의 이미지 데이터 픽셀 값 대 픽셀 맵퍼 컴포넌트(139) 및/또는 시스템에 의해 수행될 수 있다. 루틴(300)의 예시된 실시예가 한 번에 단일 이미지에 대한 동작들을 수행하는 것을 논의하지만, 루틴(300)의 동작들이 다수의 이미지들의 시퀀스(예를 들어, 다수의 연속적인 비디오 프레임들)에 적용될 수 있다는 것이 이해될 것이다. 루틴의 예시된 실시예가 적절한 바와 같이 소프트웨어 및/또는 하드웨어로 구현될 수 있으며, 예를 들어, HMD 디바이스 상에서 또는 다른 별개의 컴퓨팅 시스템 상에서 동작하는 시스템에 의해 수행될 수 있다는 것이 또한 이해될 것이다.
루틴(300)의 예시된 실시예는 블록(305)에서 시작하며, 여기에서 루틴은 이미지 데이터 및 그 이미지 데이터를 디스플레이하는 디스플레이 패널에 대한 정보를 획득한다. 블록들(310 및 315)에서, 루틴은, 예컨대, 블록(305)에서 사용하기 위한 배열에 대한 정보를 수신함으로써, 또는 그 대신에 현재 콘텍스트(context)(예를 들어, 시청자의 시선 추적, 이미지를 생성하거나 또는 달리 제공하는 프로그램으로부터의 정보, 등과 같은 강조의 이미지의 일 부분에 대한 수신된 정보)에 기초하여 사용하기 위한 구조를 동적으로 결정함으로써, 데이터를 인코딩하기 위해 사용하기 위한 디스플레이 영역들(예를 들어, 모든 이미지들에 대하여 사용하기 위한 고정된 구조들)을 식별한다. 구체적으로, 루틴은 블록(310)에서 디스플레이 패널의 1차 영역 및 픽셀-값들-대-픽셀들의 대응하는 1-대-N 매핑(여기에서 N은 1 이상)을 식별하고, 블록(315)에서 각각에 대한 픽셀-값들-대-픽셀들의 대응하는 1-대-M 픽셀 매핑(여기에서 M은 (1-대-다수 픽셀 매핑을 반영하여) 1보다 더 큼)과 함께 디스플레이 패널의 하나 이상의 2차 영역들을 식별한다.
그런 다음, 루틴은 블록(320)으로 진행하며, 여기에서, 루틴은 획득된 이미지 데이터로부터, 식별된 1-대-N 및 1-대-N 픽셀 매핑들에 따라 각각의 디스플레이 영역 내의 픽셀들을 조명하기 위해 사용될 픽셀 값들을 선택한다. 블록(325)에서, 그런 다음, 루틴은, 예컨대, 도 4에 대하여 논의되는 것과 유사한 방식으로, 디스플레이 패널 상의 후속 디스플레이에서 사용하기 위하여, 매핑 데이터와 연관하여 선택된 픽셀 값들에 대한 인코딩된 정보를 저장하거나 및/또는 송신한다. 그런 다음, 루틴은 블록(360)으로 진행하며, 여기에서, 예컨대, 종료를 위한 명시적인 표시가 수신될 때까지 계속하기 위하여, 추가적인 이미지 데이터가 획득되고 인코딩될 것이다. 그러한 경우, 루틴은 추가적인 이미지 데이터를 획득하기 위해 블록(305)으로 복귀하며, 그렇지 않은 경우, 루틴은 블록(399)으로 진행하여 종료된다.
도 4는 이미지 데이터 디스플레이 관리자 루틴(400)의 예시적인 실시예의 순서도이다. 루틴(400)은, 예컨대, 적어도 하나의 1차 디스플레이 영역 및 하나 이상의 2차 디스플레이 영역들을 갖는 결정된 픽셀 배열 구조에 따라 인코딩된 이미지 데이터를 수신하고, 하나 이상의 디스플레이 패널들 상에 대응하는 디스플레이 동작들을 수행하기 위하여, 도 2a 내지 도 2c에 대하여 그리고 본원의 다른 곳에서 논의된 바와 같이 이미지 데이터를 수신하고 디스플레이하기 위한 동작들을 수행하는, 예를 들어, (예컨대, 도 1b에 대하여 논의된 방식으로, 예를 들어, HMD 디바이스의 구성된 하드웨어 회로들 상에 구현되는 바와 같은) 도 1a의 이미지 데이터 디스플레이 관리자 컴포넌트(137) 및/또는 시스템에 의해 수행된다. 루틴(400)의 예시된 실시예가 한 번에 단일 이미지에 대한 동작들을 수행하는 것을 논의하지만, 루틴(400)의 동작들이 다수의 이미지들의 시퀀스(예를 들어, 다수의 연속적인 비디오 프레임들)에 적용될 수 있다는 것이 이해될 것이다. 루틴의 예시된 실시예가 적절한 바와 같이 소프트웨어 및/또는 하드웨어로 구현될 수 있으며, 예를 들어, HMD 디바이스 상에서 또는 다른 별개의 컴퓨팅 시스템 상에서 동작하는 시스템에 의해 수행될 수 있다는 것이 또한 이해될 것이다.
루틴(400)의 예시된 실시예는 블록(405)에서 시작하며, 여기에서 표시된 디스플레이 패널 상의 디스플레이를 위하여 인코딩된 이미지 데이터 정보가 획득되며 - 획득된 이미지 데이터는, 도 3에 대하여 논의된 방식으로 인코딩된 데이터와 같은, 표시된 디스플레이 패널의 다수의 디스플레이 영역들에 대한 매핑 데이터와 연관되어 사용하기 위한 선택된 픽셀 값들을 포함한다. 일부 실시예들 및 상황들에 있어서, 블록(405)에서 디스플레이 패널에 대한 디스플레이 영역들의 정의된 구조가 알려지거나 또는 또한 획득될 수 있다(예를 들어, 이는, 예컨대, 상이한 이미지들에 대하여 구조가 동적으로 변화할 수 있는 상황들에 대하여, 인코딩된 이미지 데이터의 부분일 것이다). 일단 이미지 데이터 및 디스플레이 정보가 획득되면, 루틴은 블록(410)으로 진행하며, 여기에서, 루틴은 획득된 이미지 데이터 정보 및 디스플레이 영역들의 대응하는 구조에 따라 표시된 디스플레이 패널 상의 디스플레이를 위하여 선택된 픽셀 값들을 로딩한다. 그런 다음, 루틴은 블록(425)으로 진행하며, 표시된 디스플레이 패널 상에 로딩된 픽셀 값들의 디스플레이를 개시한다. 그런 다음, 루틴은, 예컨대 종료하기 위한 명시적인 표시가 수신될 때까지 계속하기 위하여, 추가적인 이미지 데이터 정보가 획득되고 디스플레이될지 여부를 결정하기 위해 블록(460)으로 진행한다. 그러한 경우, 루틴은 추가적인 이미지 데이터를 획득하기 위해 블록(405)으로 복귀하며, 그렇지 않은 경우, 루틴은 블록(499)으로 진행하여 종료된다.
일부 실시예들에 있어서 이상에서 논의된 루틴들에 의해 제공되는 기능은, 더 많은 루틴들 사이에서 분할되거나 또는 더 적은 루틴들로 통합되는 것과 같은 대안적인 방식들로 제공될 수 있다는 것이 이해될 것이다. 유사하게, 일부 실시예들에 있어서, 예를 들어 다른 예시된 루틴들이 각기 그 대신에 이러한 기능을 결여하거나 또는 포함할 때 또는 제공되는 기능의 양이 변경될 때, 예시된 루틴들은 설명된 것보다 더 적거나 또는 더 많은 기능을 제공할 수 있다. 이에 더하여, 다양한 동작들이 특정 방식으로(예를 들어, 직렬로 또는 병렬로) 및/또는 특정 순서로 수행되는 것으로서 예시되었지만, 당업자들은 다른 실시예들에서 이러한 동작들이 다른 순서들로 그리고 다른 방식들로 수행될 수 있다는 것을 이해할 것이다. 이상에서 논의된 데이터 구조들은, 예컨대, 단일 데이터 구조를 다수의 데이터 구조들로 분할함으로써 또는 다수의 데이터 구조들을 단일 데이터 구조로 통합함으로써, 데이터베이스들 또는 사용자 인터페이스 스크린들/페이지들 또는 다른 유형들의 데이터 구조들에 대한 것을 포함하여, 상이한 방식들로 구조화될 수 있다는 것이 마찬가지로 이해될 것이다. 유사하게, 일부 실시예들에 있어서, 예시된 데이터 구조들은, 예컨대 다른 예시된 데이터 구조들이 각기 그 대신에 이러한 정보를 결여하거나 또는 포함할 때, 또는 저장되는 정보의 양 또는 유형들이 변경될 때, 설명된 것보다 더 많거나 또는 더 적은 정보를 저장할 수 있다.
이에 더하여, 다양한 엘리먼트들의 형상들 및 각도들을 포함하여, 도면들 내의 엘리먼트들의 크기들 및 상대적은 위치들이 반드시 축적이 맞춰져야 하는 것은 아니며, 여기에서 일부 엘리먼트들은 도면 가독성을 개선하기 위해 확장되고 위치되며, 적어도 일부 실시예들의 특정 형상들은 이러한 엘리먼트들의 실제 형상 또는 축적에 관한 정보를 전달하지 않고 인식의 용이성을 위해 선택된다. 이에 더하여, 일부 엘리먼트들이 명료성 및 강조를 위하여 생략될 수 있다. 추가로, 상이한 도면들에서 반복되는 참조 번호들은 동일하거나 또는 유사한 엘리먼트들을 나타낼 수 있다.
이상의 내용으로부터, 특정 실시예들이 본원에서 예시의 목적들을 위하여 설명되었지만, 본 발명의 사상 및 범위로부터 벗어나지 않고 다양한 수정들이 이루어질 수 있다는 것이 이해될 것이다. 이에 더하여, 본 발명의 특정 측면들이 때때로 특정 청구항 형식들로 제공되거나 또는 어떤 경우들에 임의의 청구항들에 구현되지 않을 수도 있지만, 본 발명자들은 임의의 이용이 가능한 청구항 형식으로 본 발명의 다양한 측면들을 고려한다. 예를 들어, 단지 본 발명의 일부 측면들이 특정 시간에 컴퓨터-판독가능 매체 내에 구현되는 것으로 언급될 수 있지만, 다른 측면들이 마찬가지로 그렇게 구현될 수 있다.
이로써, 본 출원이 우선권을 주장하는 2018년 03월 23일자로 출원된 미국 특허 출원 제15/934,789호는 그 전체가 참조로서 본원에 포함된다.

Claims (31)

  1. 방법으로서,
    하나 이상의 컴퓨팅 시스템들의 하나 이상의 프로세서들에 의해, 연관된 비디오 프레임에 대한 픽셀 값 정보를 포함하는 비디오 프레임 데이터를 획득하는 단계로서, 상기 픽셀 값 정보는 상기 연관된 비디오 프레임의 복수의 1차원 픽셀 어레이들에 대한 픽셀 값들을 포함하며, 각각의 1차원 픽셀 어레이는 어드레스가능(addressable) 픽셀 컬럼(column) 또는 어드레스가능 로우(row)인, 단계;
    하기의 단계들에 의해 상기 비디오 프레임 데이터를 인코딩하는 단계로서,
    상기 하나 이상의 프로세서들에 의해, 상기 연관된 비디오 프레임을 디스플레이하기 위한 디스플레이 패널의 1차 디스플레이 영역에 대한 제 1 위치, 및 상기 디스플레이 패널의 다수의 2차 디스플레이 영역들에 대한 다수의 제 2 위치들을 결정하고, 상기 다수의 2차 디스플레이 영역들의 각각에 대해 사용할 픽셀 값-대-픽셀 매핑을 식별하는 단계;
    상기 하나 이상의 프로세서들에 의해, 상기 1차 디스플레이 영역의 상기 결정된 제 1 위치에 대응하는 상기 연관된 비디오 프레임의 제 1 부분, 및 상기 다수의 2차 디스플레이 영역들에 대응하는 상기 연관된 비디오 프레임의 다수의 제 2 부분들을 식별하는 단계로서, 상기 다수의 제 2 부분들의 각각은 복수의 1차원 픽셀 어레이들 중 2개 이상의 1차원 픽셀 어레이들을 포함하는, 단계; 및
    상기 다수의 제 2 부분들의 각각에 대하여, 그리고 상기 제 2 부분 내에 포함된 상기 2개 이상의 1차원 픽셀 어레이들 중 하나 이상의 제 1의 1차원 픽셀 어레이들의 각각에 대하여, 상기 제 2 부분에 대해 사용할 수정된 픽셀 값들이, 각각이 픽셀 클러스터 내의 모든 픽셀들에 대하여 단일 픽셀 값을 갖는 상기 제 2 부분에 대한 상기 픽셀 값-대-픽셀 매핑에 따른 다수의 픽셀 클러스터들을 포함하도록, 상기 제 1의 1차원 픽셀 어레이로부터의 픽셀 값들을 상기 제 1의 1차원 픽셀 어레이에 인접한 상기 제 2 부분 내에 포함된 상기 2개 이상의 1차원 픽셀 어레이들 중 하나 이상의 제 2의 1차원 픽셀 어레이들의 픽셀들에 할당함으로써, 상기 인코딩된 비디오 프레임 내의 상기 제 2 부분에 대하여 사용하기 위해 픽셀 값들을 수정하는 단계에 의해 수행되는, 상기 비디오 프레임 데이터를 인코딩하는 단계;
    상기 인코딩된 비디오 프레임 데이터를 상기 디스플레이 패널에 대한 적어도 하나의 제어기로 송신하는 단계; 및
    상기 적어도 하나의 제어기의 제어 하에서, 상기 디스플레이 패널의 상기 제 1 부분에서 상기 1차 디스플레이 영역 내의 픽셀들의 디스플레이를 제어하기 위해 상기 연관된 비디오 프레임의 상기 제 1 부분의 픽셀 값들을 사용하는 것, 및 상기 디스플레이 패널의 상기 다수의 제 2 부분들에서 상기 다수의 2차 디스플레이 영역들 내의 픽셀들의 디스플레이를 제어하기 위해 상기 다수의 제 2 부분들의 각각에 대하여 상기 수정된 픽셀 값들을 사용하는 것을 포함하여, 상기 디스플레이 패널 상에 상기 인코딩된 비디오 프레임 데이터를 디스플레이하는 단계를 포함하며,
    상기 다수의 2차 디스플레이 영역들의 각각에 대해 사용할 픽셀 값-대-픽셀 매핑을 식별하는 단계는 적어도 부분적으로 상기 인코딩된 비디오 프레임 데이터를 송신하기 위한 이용가능 대역폭 송신 용량에 기초하는, 방법.
  2. 청구항 1에 있어서,
    상기 획득하는 단계 및 상기 인코딩하는 단계 및 상기 송신하는 단계 및 상기 디스플레이하는 단계는 연속적인 다수의 비디오 프레임들의 각각에 대해 수행되며, 상기 1차 디스플레이 영역에 대한 상기 제 1 위치를 결정하는 단계는 적어도 부분적으로 상기 비디오 프레임에 대응하는 현재 데이터에 기초하여 각각의 비디오 프레임에 대해 동적으로 수행되는, 방법.
  3. 삭제
  4. 청구항 1에 있어서,
    상기 다수의 2차 디스플레이 영역들의 각각에 대해 사용할 픽셀 값-대-픽셀 매핑을 식별하는 단계는 적어도 하나의 상기 인코딩된 비디오 프레임 데이터 내의 데이터의 목표 양 또는 목표 유효 해상도에 기초하는, 방법.
  5. 방법으로서,
    하나 이상의 구성된 하드웨어 회로들에 의해, 이미지를 디스플레이하기 위해 디스플레이 패널 내의 픽셀들의 디스플레이를 제어하는데 사용하기 위한 복수의 픽셀 값들을 포함하는 데이터를 수신하는 단계;
    픽셀들의 제 1 서브세트를 가지며 픽셀 값들-대-픽셀들의 1-대-1 매핑과 연관되는 상기 디스플레이 패널의 1차 디스플레이 영역에 대하여, 상기 제 1 서브세트의 상기 픽셀들의 디스플레이를 제어하는데 사용하기 위한 그리고 상기 제 1 서브세트의 상기 픽셀들의 수량과 동일한, 상기 복수의 픽셀 값들 중의 제 1 픽셀 값들을 결정하는 단계;
    상기 픽셀들의 적어도 하나의 제 2 서브세트를 가지며 적어도 하나의 픽셀 값들-대-픽셀들의 1-대-다수 매핑과 연관되는 상기 디스플레이 패널의 적어도 하나의 2차 디스플레이 영역에 대하여, 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들의 디스플레이를 제어하는데 사용하기 위한 그리고 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들보다 수량이 더 적은, 상기 복수의 픽셀 값들 중의 제 2 픽셀 값들을 결정하는 단계; 및
    상기 하나 이상의 구성된 하드웨어 회로들에 의해, 상기 1차 디스플레이 영역에 대하여 상기 제 1 서브세트의 상기 픽셀들 중 하나의 디스플레이를 제어하기 위해 상기 결정된 제 1 픽셀 값들의 각각을 사용하는 것, 및 상기 적어도 하나의 2차 디스플레이 영역에 대하여 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들 중 다수의 픽셀들의 디스플레이를 제어하기 위해 상기 결정된 제 2 픽셀 값들의 각각을 사용하는 것을 포함하여, 상기 1차 디스플레이 영역에 대하여 상기 1-대-1 매핑을 사용하고 상기 적어도 하나의 2차 디스플레이 영역에 대하여 상기 적어도 하나의 1-대-다수 매핑을 사용하여 상기 디스플레이 패널 상에 상기 이미지의 디스플레이를 개시하는 단계를 포함하며,
    상기 수신된 데이터는 상기 이미지의 원본 비-인코딩된 버전보다 더 적은 데이터를 갖는 인코딩된 버전이며, 상기 제 1 픽셀 값들을 결정하는 단계 및 상기 제 2 픽셀 값들을 결정하는 단계는, 상기 이미지의 상기 인코딩된 버전으로부터, 상기 제 1 픽셀 값들 및 상기 1차 디스플레이 영역과 상기 제 1 픽셀 값들의 제 1 연관의 표시, 상기 제 2 픽셀 값들 및 상기 적어도 하나의 2차 디스플레이 영역과 상기 제 2 픽셀 값들의 제 2 연관의 표시를 검색하는 단계를 포함하고,
    상기 방법은,
    상기 데이터를 수신하는 단계 이전에,
    하나 이상의 하드웨어 프로세서들에 의해, 상기 디스플레이 패널의 2차 디스플레이 영역에 대응하는 상기 이미지의 각각의 부분에 대하여, 상기 이미지의 상기 부분에 대한 다수의 픽셀 값들을 상기 이미지의 상기 인코딩된 버전 내의 대체된 다수의 픽셀 값들을 나타내는 결정된 제 2 픽셀 값으로 반복적으로 대체하여 상기 이미지의 상기 비-인코딩된 버전을 수정함으로써 상기 이미지의 상기 인코딩된 버전을 생성하는 단계; 및
    상기 이미지의 상기 인코딩된 버전을 하나 이상의 네트워크 연결들을 통해 상기 하나 이상의 컴퓨팅 시스템들로 송신하는 단계,
    상기 디스플레이 패널의 2차 디스플레이 영역에 대응하는 상기 이미지의 각각의 부분에 대하여, 상기 다수의 픽셀 값들을 결정된 제 2 픽셀 값으로 반복적으로 대체하는 단계 이전에, 상기 이미지의 상기 인코딩된 버전을 송신하기 위하여 사용할 대역폭 송신 용량을 결정하고, 적어도 부분적으로 상기 결정된 대역폭 송신 용량에 기초하여 반복적으로 대체하기 위해 사용할 하나 이상의 1-대-다수 매핑들을 선택하는 단계를 더 포함하는, 방법.
  6. 청구항 5에 있어서,
    상기 디스플레이 패널 내의 상기 픽셀들은 다수의 로우들 및 다수의 컬럼들을 갖는 어레이 내에 배열된 복수의 1차원 픽셀 어레이들 내에 존재하며, 상기 적어도 하나의 2차 디스플레이 영역에 대하여 상기 적어도 하나의 1-대-다수 매핑을 사용하여 상기 디스플레이 패널 상에 상기 이미지의 디스플레이를 개시하는 단계는, 상기 복수의 1차원 픽셀 어레이들 중 하나 이상의 제 1의 1차원 픽셀 어레이들의 각각에 대하여, 상기 제 1의 1차원 픽셀 어레이와 연관된 픽셀 값들을 상기 제 1의 1차원 픽셀 어레이의 픽셀들에 그리고 하나 이상의 인접한 제 2의 1차원 픽셀 어레이들의 픽셀들에 할당하는 단계를 포함하는, 방법.
  7. 청구항 5에 있어서,
    상기 적어도 하나의 2차 디스플레이 영역의 제 1의 2차 디스플레이 영역에 대한 1-대-다수 매핑은 1-대-N 매핑을 포함하며, N은 각각의 픽셀 값에 대한 다수의 픽셀들의 지정된 수량이고, 상기 디스플레이 패널 상에 상기 이미지의 디스플레이를 개시하는 단계는, 상기 제 1의 2차 디스플레이 영역에 대한 각각의 결정된 제 2 픽셀 값에 대하여, 상기 제 1의 2차 디스플레이 영역 내의 N개의 픽셀들의 클러스터를 식별하고, 상기 식별된 클러스터의 상기 N개의 픽셀들의 각각에 상기 결정된 제 2 픽셀 값을 할당하는 단계를 포함하는, 방법.
  8. 청구항 5에 있어서,
    상기 수신된 데이터는 상기 이미지의 각각의 픽셀에 대한 픽셀 값을 포함하는 상기 이미지의 비-인코딩된 버전이며, 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들의 디스플레이를 제어하는데 사용하기 위한 상기 제 2 픽셀 값들을 결정하는 단계는, 상기 디스플레이 패널의 2차 디스플레이 영역에 대응하는 상기 이미지의 각각의 부분에 대하여, 상기 수신된 데이터 내의 다수의 픽셀 값들을 대체된 다수의 픽셀 값들을 나타내는 결정된 제 2 픽셀 값으로 반복적으로 대체하는 단계를 포함하는, 방법.
  9. 청구항 8에 있어서,
    상기 방법은, 상기 제 1 픽셀 값들을 결정하는 단계 및 상기 제 2 픽셀 값들을 결정하는 단계 이전에, 상기 디스플레이 패널에 대한 상기 1차 디스플레이 영역 및 상기 디스플레이 패널의 상기 적어도 하나의 2차 디스플레이 영역의 로케이션(location)들을 결정하는 단계를 더 포함하며, 상기 제 1 픽셀 값들을 결정하는 단계 및 상기 제 2 픽셀 값들을 결정하는 단계는 하나 이상의 구성된 하드웨어 회로들에 의해 수행되고, 결정된 제 2 픽셀 값을 가지고 반복적으로 대체할 상기 다수의 픽셀 값들을 결정하기 위해 상기 결정된 로케이션들을 사용하는 단계를 더 포함하는, 방법.
  10. 삭제
  11. 삭제
  12. 청구항 5에 있어서,
    상기 이미지의 상기 인코딩된 버전을 생성하는 단계는,
    상기 디스플레이 패널의 각각의 2차 디스플레이 영역에 대하여, 상기 2차 디스플레이 영역의 크기를 포함하는 상기 2차 디스플레이 영역의 위치에 대한 정보를 획득하는 단계; 및
    상기 생성하는 단계 동안 상기 위치에 대한 상기 획득된 정보를 사용하고, 각각의 결정된 제 2 픽셀 값과 상기 적어도 하나의 2차 디스플레이 영역들 중 하나를 연관시키기 위해 상기 이미지의 상기 인코딩된 버전 내에 정보를 포함시키는 단계를 더 포함하는, 방법.
  13. 청구항 5에 있어서,
    상기 방법은, 상기 디스플레이 패널의 2차 디스플레이 영역에 대응하는 상기 이미지의 각각의 부분에 대하여, 상기 다수의 픽셀 값들을 결정된 제 2 픽셀 값으로 반복적으로 대체하는 단계 이전에,
    상기 1차 디스플레이 영역 및 상기 적어도 하나의 2차 디스플레이 영역의 로케이션들을 포함하는, 상기 디스플레이 패널에 대한 상기 1차 디스플레이 영역에 대한 그리고 상기 디스플레이 패널의 상기 적어도 하나의 2차 디스플레이 영역에 대한 위치 정보를 결정하는 단계; 및
    상기 생성하는 단계 동안 상기 결정된 위치 정보를 사용하는 단계를 더 포함하는, 방법.
  14. 삭제
  15. 청구항 5에 있어서,
    상기 방법은, 상기 디스플레이 패널의 2차 디스플레이 영역에 대응하는 상기 이미지의 각각의 부분에 대하여, 상기 다수의 픽셀 값들을 결정된 제 2 픽셀 값으로 반복적으로 대체하는 단계 이전에, 상기 이미지의 상기 비-인코딩된 버전과 비교하여 상기 이미지의 상기 인코딩된 버전의 데이터 감소의 양을 결정하고, 적어도 부분적으로 상기 결정된 데이터 감소의 양에 기초하여 반복적으로 대체하기 위해 사용할 하나 이상의 1-대-다수 매핑들을 선택하는 단계를 더 포함하는, 방법.
  16. 청구항 5에 있어서,
    상기 방법은, 상기 디스플레이 패널의 2차 디스플레이 영역에 대응하는 상기 이미지의 각각의 부분에 대하여, 상기 다수의 픽셀 값들을 결정된 제 2 픽셀 값으로 반복적으로 대체하는 단계 이전에, 상기 이미지의 상기 인코딩된 버전 내의 데이터의 양을 결정하고, 상기 결정된 데이터의 양에 도달하기 위해서 반복적으로 대체하기 위해 사용할 하나 이상의 1-대-다수 매핑들을 선택하는 단계를 더 포함하는, 방법.
  17. 청구항 5에 있어서,
    다수의 픽셀 값들을 대체된 다수의 픽셀 값들을 나타내는 결정된 제 2 픽셀 값으로 반복적으로 대체하는 단계는 상기 결정된 제 2 픽셀 값을 생성하기 위하여 상기 다수의 픽셀 값들 중 적어도 일부를 결합하는 단계를 포함하는, 방법.
  18. 청구항 5에 있어서,
    다수의 픽셀 값들을 대체된 다수의 픽셀 값들을 나타내는 결정된 제 2 픽셀 값으로 반복적으로 대체하는 단계는 상기 결정된 제 2 픽셀 값으로 사용하기 위한 상기 다수의 픽셀 값들 중 하나를 결정하는 단계를 포함하는, 방법.
  19. 청구항 5에 있어서,
    상기 디스플레이 패널의 상기 적어도 하나의 2차 디스플레이 영역은 제 1 픽셀 컬러와 연관된 적어도 하나의 제 1의 2차 디스플레이 영역 및 제 2 픽셀 컬러와 연관된 적어도 하나의 제 2의 2차 디스플레이 영역을 포함하며, 상기 이미지의 상기 인코딩된 버전을 생성하는 단계는 상기 적어도 하나의 제 1의 2차 디스플레이 영역 및 상기 적어도 하나의 제 2의 2차 디스플레이 영역에 대하여 픽셀 값들-대-픽셀들의 상이한 1-대-다수 매핑들을 사용하는 단계를 포함하는, 방법.
  20. 방법으로서,
    하나 이상의 구성된 하드웨어 회로들에 의해, 이미지를 디스플레이하기 위해 디스플레이 패널 내의 픽셀들의 디스플레이를 제어하는데 사용하기 위한 복수의 픽셀 값들을 포함하는 데이터를 수신하는 단계;
    픽셀들의 제 1 서브세트를 가지며 픽셀 값들-대-픽셀들의 1-대-1 매핑과 연관되는 상기 디스플레이 패널의 1차 디스플레이 영역에 대하여, 상기 제 1 서브세트의 상기 픽셀들의 디스플레이를 제어하는데 사용하기 위한 그리고 상기 제 1 서브세트의 상기 픽셀들의 수량과 동일한, 상기 복수의 픽셀 값들 중의 제 1 픽셀 값들을 결정하는 단계;
    상기 픽셀들의 적어도 하나의 제 2 서브세트를 가지며 적어도 하나의 픽셀 값들-대-픽셀들의 1-대-다수 매핑과 연관되는 상기 디스플레이 패널의 적어도 하나의 2차 디스플레이 영역에 대하여, 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들의 디스플레이를 제어하는데 사용하기 위한 그리고 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들보다 수량이 더 적은, 상기 복수의 픽셀 값들 중의 제 2 픽셀 값들을 결정하는 단계; 및
    상기 하나 이상의 구성된 하드웨어 회로들에 의해, 상기 1차 디스플레이 영역에 대하여 상기 제 1 서브세트의 상기 픽셀들 중 하나의 디스플레이를 제어하기 위해 상기 결정된 제 1 픽셀 값들의 각각을 사용하는 것, 및 상기 적어도 하나의 2차 디스플레이 영역에 대하여 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들 중 다수의 픽셀들의 디스플레이를 제어하기 위해 상기 결정된 제 2 픽셀 값들의 각각을 사용하는 것을 포함하여, 상기 1차 디스플레이 영역에 대하여 상기 1-대-1 매핑을 사용하고 상기 적어도 하나의 2차 디스플레이 영역에 대하여 상기 적어도 하나의 1-대-다수 매핑을 사용하여 상기 디스플레이 패널 상에 상기 이미지의 디스플레이를 개시하는 단계를 포함하며,
    상기 디스플레이 패널의 상기 적어도 하나의 2차 디스플레이 영역은 높은 동적 범위 성능들을 제공하는 적어도 하나의 제 1의 2차 디스플레이 영역 및 높은 동적 범위 성능들을 제공하지 않는 적어도 하나의 제 2의 2차 디스플레이 영역을 포함하며, 상기 이미지의 인코딩된 버전을 생성하는 단계는, 상기 적어도 하나의 제 1의 2차 디스플레이 영역 및 상기 적어도 하나의 제 2의 2차 디스플레이 영역에 대하여 픽셀 값들-대-픽셀들의 상이한 1-대-다수 매핑들을 사용하는 단계를 포함하는, 방법.
  21. 방법으로서,
    하나 이상의 구성된 하드웨어 회로들에 의해, 이미지를 디스플레이하기 위해 디스플레이 패널 내의 픽셀들의 디스플레이를 제어하는데 사용하기 위한 복수의 픽셀 값들을 포함하는 데이터를 수신하는 단계;
    픽셀들의 제 1 서브세트를 가지며 픽셀 값들-대-픽셀들의 1-대-1 매핑과 연관되는 상기 디스플레이 패널의 1차 디스플레이 영역에 대하여, 상기 제 1 서브세트의 상기 픽셀들의 디스플레이를 제어하는데 사용하기 위한 그리고 상기 제 1 서브세트의 상기 픽셀들의 수량과 동일한, 상기 복수의 픽셀 값들 중의 제 1 픽셀 값들을 결정하는 단계;
    상기 픽셀들의 적어도 하나의 제 2 서브세트를 가지며 적어도 하나의 픽셀 값들-대-픽셀들의 1-대-다수 매핑과 연관되는 상기 디스플레이 패널의 적어도 하나의 2차 디스플레이 영역에 대하여, 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들의 디스플레이를 제어하는데 사용하기 위한 그리고 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들보다 수량이 더 적은, 상기 복수의 픽셀 값들 중의 제 2 픽셀 값들을 결정하는 단계; 및
    상기 하나 이상의 구성된 하드웨어 회로들에 의해, 상기 1차 디스플레이 영역에 대하여 상기 제 1 서브세트의 상기 픽셀들 중 하나의 디스플레이를 제어하기 위해 상기 결정된 제 1 픽셀 값들의 각각을 사용하는 것, 및 상기 적어도 하나의 2차 디스플레이 영역에 대하여 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들 중 다수의 픽셀들의 디스플레이를 제어하기 위해 상기 결정된 제 2 픽셀 값들의 각각을 사용하는 것을 포함하여, 상기 1차 디스플레이 영역에 대하여 상기 1-대-1 매핑을 사용하고 상기 적어도 하나의 2차 디스플레이 영역에 대하여 상기 적어도 하나의 1-대-다수 매핑을 사용하여 상기 디스플레이 패널 상에 상기 이미지의 디스플레이를 개시하는 단계를 포함하며,
    상기 이미지의 인코딩된 버전을 생성하는 단계는, 적어도 하나의 2차 디스플레이 영역에 대하여 상기 이미지의 적어도 하나의 부분에 주파수 변조 응답(frequency modulation response)을 반영하도록 명암(contrast)을 조정하기 위해 이미지 필터링을 적용하고 적어도 하나의 2차 디스플레이 영역에 대하여 상기 이미지의 적어도 하나의 다른 부분에 상기 이미지 필터링을 적용하지 않는 단계를 더 포함하는, 방법.
  22. 방법으로서,
    하나 이상의 구성된 하드웨어 회로들에 의해, 이미지를 디스플레이하기 위해 디스플레이 패널 내의 픽셀들의 디스플레이를 제어하는데 사용하기 위한 복수의 픽셀 값들을 포함하는 데이터를 수신하는 단계;
    픽셀들의 제 1 서브세트를 가지며 픽셀 값들-대-픽셀들의 1-대-1 매핑과 연관되는 상기 디스플레이 패널의 1차 디스플레이 영역에 대하여, 상기 제 1 서브세트의 상기 픽셀들의 디스플레이를 제어하는데 사용하기 위한 그리고 상기 제 1 서브세트의 상기 픽셀들의 수량과 동일한, 상기 복수의 픽셀 값들 중의 제 1 픽셀 값들을 결정하는 단계;
    상기 픽셀들의 적어도 하나의 제 2 서브세트를 가지며 적어도 하나의 픽셀 값들-대-픽셀들의 1-대-다수 매핑과 연관되는 상기 디스플레이 패널의 적어도 하나의 2차 디스플레이 영역에 대하여, 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들의 디스플레이를 제어하는데 사용하기 위한 그리고 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들보다 수량이 더 적은, 상기 복수의 픽셀 값들 중의 제 2 픽셀 값들을 결정하는 단계;
    상기 하나 이상의 구성된 하드웨어 회로들에 의해, 상기 1차 디스플레이 영역에 대하여 상기 제 1 서브세트의 상기 픽셀들 중 하나의 디스플레이를 제어하기 위해 상기 결정된 제 1 픽셀 값들의 각각을 사용하는 것, 및 상기 적어도 하나의 2차 디스플레이 영역에 대하여 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들 중 다수의 픽셀들의 디스플레이를 제어하기 위해 상기 결정된 제 2 픽셀 값들의 각각을 사용하는 것을 포함하여, 상기 1차 디스플레이 영역에 대하여 상기 1-대-1 매핑을 사용하고 상기 적어도 하나의 2차 디스플레이 영역에 대하여 상기 적어도 하나의 1-대-다수 매핑을 사용하여 상기 디스플레이 패널 상에 상기 이미지의 디스플레이를 개시하는 단계; 및
    픽셀 값들-대-픽셀들의 2개의 상이한 매핑들을 갖는 2개의 디스플레이 영역들 사이의 경계의 적어도 일 부분에 대응하는 상기 이미지의 적어도 하나의 부분에 대하여, 픽셀 값들-대-픽셀들의 상기 2개의 상이한 매핑들 사이의 중간인 픽셀 값들-대-픽셀들의 추가적인 매핑을 시뮬레이션하기 위해 상기 적어도 하나의 부분 내의 픽셀 값들을 조정하는 단계로서, 상기 조정하는 단계는 상기 이미지의 인코딩된 버전을 생성하는 단계 또는 상기 디스플레이 패널 상의 상기 이미지의 디스플레이 중 적어도 하나의 부분으로서 수행되는, 단계를 포함하는, 방법.
  23. 청구항 5에 있어서,
    상기 방법은, 상기 이미지 이전의 하나 이상의 이전 이미지들의 디스플레이 동안 상기 디스플레이 패널의 시청자의 시선을 추적하는 단계, 상기 추적된 시선에 대응하는 상기 디스플레이 패널의 로케이션을 식별하는 단계, 및 상기 식별된 로케이션에 기초하여, 상기 이미지에 대한, 상기 디스플레이 패널의 상기 1차 디스플레이 영역을 동적으로 결정하는 단계를 더 포함하는, 방법.
  24. 방법으로서,
    하나 이상의 구성된 하드웨어 회로들에 의해, 이미지를 디스플레이하기 위해 디스플레이 패널 내의 픽셀들의 디스플레이를 제어하는데 사용하기 위한 복수의 픽셀 값들을 포함하는 데이터를 수신하는 단계;
    픽셀들의 제 1 서브세트를 가지며 픽셀 값들-대-픽셀들의 1-대-1 매핑과 연관되는 상기 디스플레이 패널의 1차 디스플레이 영역에 대하여, 상기 제 1 서브세트의 상기 픽셀들의 디스플레이를 제어하는데 사용하기 위한 그리고 상기 제 1 서브세트의 상기 픽셀들의 수량과 동일한, 상기 복수의 픽셀 값들 중의 제 1 픽셀 값들을 결정하는 단계;
    상기 픽셀들의 적어도 하나의 제 2 서브세트를 가지며 적어도 하나의 픽셀 값들-대-픽셀들의 1-대-다수 매핑과 연관되는 상기 디스플레이 패널의 적어도 하나의 2차 디스플레이 영역에 대하여, 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들의 디스플레이를 제어하는데 사용하기 위한 그리고 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들보다 수량이 더 적은, 상기 복수의 픽셀 값들 중의 제 2 픽셀 값들을 결정하는 단계;
    상기 하나 이상의 구성된 하드웨어 회로들에 의해, 상기 1차 디스플레이 영역에 대하여 상기 제 1 서브세트의 상기 픽셀들 중 하나의 디스플레이를 제어하기 위해 상기 결정된 제 1 픽셀 값들의 각각을 사용하는 것, 및 상기 적어도 하나의 2차 디스플레이 영역에 대하여 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들 중 다수의 픽셀들의 디스플레이를 제어하기 위해 상기 결정된 제 2 픽셀 값들의 각각을 사용하는 것을 포함하여, 상기 1차 디스플레이 영역에 대하여 상기 1-대-1 매핑을 사용하고 상기 적어도 하나의 2차 디스플레이 영역에 대하여 상기 적어도 하나의 1-대-다수 매핑을 사용하여 상기 디스플레이 패널 상에 상기 이미지의 디스플레이를 개시하는 단계를 포함하며,
    상기 방법은, 상기 이미지 이전의 하나 이상의 이전 이미지들을 디스플레이하는 단계, 상기 이미지의 콘텐트에 기초하여 상기 이미지의 일 부분을 식별하는 단계, 상기 이미지의 상기 식별된 부분에 대응하는 상기 디스플레이 패널의 로케이션을 식별하는 단계, 및 상기 식별된 로케이션에 기초하여, 상기 이미지에 대한, 상기 디스플레이 패널의 상기 1차 디스플레이 영역을 동적으로 결정하는 단계를 더 포함하는, 방법.
  25. 청구항 5에 있어서,
    상기 하나 이상의 컴퓨팅 시스템들은 게이밍 시스템을 포함하며, 상기 이미지는 게임 프로그램을 실행함으로써 생성되는 비디오의 프레임이고, 상기 디스플레이 프레임은 가상-현실 머리-착용 디스플레이 디바이스의 부분인, 방법.
  26. 시스템으로서,
    다수의 픽셀들을 갖는 디스플레이 패널; 및
    상기 시스템이 하기의 자동화 동작들을 수행하게끔 하도록 구성된 하나 이상의 하드웨어 회로들을 포함하며, 상기 자동화 동작들은 적어도,
    이미지를 디스플레이하기 위해 상기 디스플레이 패널 내의 상기 다수의 픽셀들의 디스플레이를 제어하는데 사용하기 위한 복수의 픽셀 값들을 포함하는 데이터를 수신하는 동작;
    상기 다수의 픽셀들의 제 1 서브세트를 가지며 픽셀 값들-대-픽셀들의 제 1 매핑과 연관되는 상기 디스플레이 패널의 1차 디스플레이 영역에 대하여, 상기 제 1 서브세트의 상기 픽셀들의 디스플레이를 제어하는데 사용하기 위한 상기 복수의 픽셀 값들 중의 제 1 픽셀 값들을 결정하는 동작;
    상기 다수의 픽셀들의 적어도 하나의 제 2 서브세트를 가지며 적어도 하나의 픽셀 값들-대-픽셀들의 제 2 매핑과 연관되는 상기 디스플레이 패널의 적어도 하나의 2차 디스플레이 영역에 대하여, 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들의 디스플레이를 제어하는데 사용하기 위한 그리고 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들보다 수량이 더 적은, 상기 복수의 픽셀 값들 중의 제 2 픽셀 값들을 결정하는 동작; 및
    상기 1차 디스플레이 영역에 대하여 상기 제 1 서브세트의 상기 픽셀들 중 적어도 하나의 디스플레이를 제어하기 위해 상기 결정된 제 1 픽셀 값들의 각각을 사용하는 것, 및 상기 적어도 하나의 2차 디스플레이 영역에 대하여 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들의 디스플레이를 제어하기 위해 상기 결정된 제 2 픽셀 값들을 사용하는 것을 포함하여, 상기 1차 디스플레이 영역에 대하여 상기 제 1 매핑을 사용하고 상기 적어도 하나의 2차 디스플레이 영역에 대하여 상기 적어도 하나의 제 2 매핑을 사용하여 상기 디스플레이 패널 상에 상기 이미지의 디스플레이를 개시하는 동작을 포함하며,
    상기 수신된 데이터는 상기 이미지의 원본 비-인코딩된 버전보다 더 적은 데이터를 갖는 인코딩된 버전이며, 상기 제 1 픽셀 값들을 결정하는 동작 및 상기 제 2 픽셀 값들을 결정하는 동작은, 상기 이미지의 상기 인코딩된 버전으로부터, 상기 제 1 픽셀 값들 및 상기 1차 디스플레이 영역과 상기 제 1 픽셀 값들의 제 1 연관의 표시, 상기 제 2 픽셀 값들 및 상기 적어도 하나의 2차 디스플레이 영역과 상기 제 2 픽셀 값들의 제 2 연관의 표시를 검색하는 동작을 포함하고,
    상기 동작들은,
    상기 데이터를 수신하는 동작 이전에,
    하나 이상의 하드웨어 프로세서들에 의해, 상기 디스플레이 패널의 2차 디스플레이 영역에 대응하는 상기 이미지의 각각의 부분에 대하여, 상기 이미지의 상기 부분에 대한 다수의 픽셀 값들을 상기 이미지의 상기 인코딩된 버전 내의 대체된 다수의 픽셀 값들을 나타내는 결정된 제 2 픽셀 값으로 반복적으로 대체하여 상기 이미지의 상기 비-인코딩된 버전을 수정함으로써 상기 이미지의 상기 인코딩된 버전을 생성하는 동작; 및
    상기 이미지의 상기 인코딩된 버전을 하나 이상의 네트워크 연결들을 통해 상기 하나 이상의 컴퓨팅 시스템들로 송신하는 동작,
    상기 디스플레이 패널의 2차 디스플레이 영역에 대응하는 상기 이미지의 각각의 부분에 대하여, 상기 다수의 픽셀 값들을 결정된 제 2 픽셀 값으로 반복적으로 대체하는 동작 이전에, 상기 이미지의 상기 인코딩된 버전을 송신하기 위하여 사용할 대역폭 송신 용량을 결정하고, 적어도 부분적으로 상기 결정된 대역폭 송신 용량에 기초하여 반복적으로 대체하기 위해 사용할 하나 이상의 1-대-다수 매핑들을 선택하는 동작을 더 포함하는, 시스템.
  27. 청구항 26에 있어서,
    상기 시스템은, 상기 하나 이상의 구성된 하드웨어 회로들 중 적어도 하나에 의해 실행될 때, 상기 시스템이 상기 자동화 동작들 중 적어도 일부를 수행하게끔 하는 저장된 명령어들을 갖는 하나 이상의 메모리들을 더 포함하는, 시스템.
  28. 청구항 26에 있어서,
    상기 시스템은 제 2 디스플레이 패널을 더 포함하며, 상기 시스템은, 머리-착용 디스플레이 디바이스의 착용자의 하나의 눈에 의해 보일 수 있는 위치에 상기 디스플레이 패널을 하우징하고 상기 착용자의 다른 눈에 의해 보일 수 있는 위치에 상기 제 2 디스플레이 패널을 하우징하는 머리-착용 디스플레이 디바이스의 부분이고, 상기 자동화된 동작들은, 상기 디스플레이 패널 상의 상기 이미지의 디스플레이와 동시에 상기 제 2 디스플레이 패널 상의 제 2 이미지의 디스플레이를 개시하는 동작을 더 포함하며, 상기 제 2 이미지의 디스플레이를 개시하는 동작은 상기 제 2 디스플레이 패널의 다수의 디스플레이 영역들에 대하여 상기 제 2 디스플레이 패널의 픽셀들에 상기 제 2 이미지의 픽셀 값들의 다수의 상이한 매핑들을 사용하는 것을 포함하는, 시스템.
  29. 청구항 26에 있어서,
    상기 시스템은, 적어도 하나의 네트워크 연결에 의해 상기 하나 이상의 구성된 하드웨어 회로들로부터 분리되며, 상기 디스플레이 패널 상의 디스플레이를 위해 다수의 비디오 프레임들의 시퀀스를 생성하는 소프트웨어 애플리케이션을 실행하고 상기 적어도 하나의 네트워크 연결을 통해 상기 하나 이상의 구성된 하드웨어 회로들로 송신하기 이전에 상기 다수의 비디오 프레임들의 각각을 인코딩하도록 구성된 컴퓨팅 디바이스를 더 포함하며, 상기 이미지는 다수의 비디오 프레임들 중 하나이고, 상기 수신하는 동작, 및 상기 제 1 픽셀 값들을 결정하는 동작, 및 상기 제 2 픽셀 값들을 결정하는 동작, 및 상기 디스플레이를 개시하는 동작은 상기 다수의 비디오 프레임들의 각각에 대하여 수행되는, 시스템.
  30. 청구항 29에 있어서,
    상기 자동화된 동작들은, 상기 이미지와는 별개의 상기 비디오 프레임들 중 적어도 하나에 대하여, 상기 제 1 매핑 및 상기 적어도 하나의 제 2 매핑과는 상이한 픽셀 값들-대-픽셀들의 적어도 하나의 제 3 매핑을 사용하는 동작을 더 포함하며, 상기 제 1 매핑은 픽셀 값들-대-픽셀들의 1-대-L 매핑을 포함하고, L은 적어도 1이며, 상기 적어도 하나의 제 2 매핑은 픽셀 값들-대-픽셀들의 1-대-M 매핑을 포함하고, M은 1보다 더 크며, 상기 적어도 하나의 제 3 매핑은 픽셀 값들-대-픽셀들의 1-대-N 매핑을 포함하고, N은 L과 상이하고 M과도 상이한, 시스템.
  31. 청구항 26에 있어서,
    상기 디스플레이 패널의 상기 1차 디스플레이 영역에 대한 상기 제 1 서브세트의 상기 픽셀들은 제 1 크기이며, 상기 디스플레이 패널의 상기 적어도 하나의 2차 디스플레이 영역에 대한 상기 적어도 하나의 제 2 서브세트의 상기 픽셀들은 제 1 크기와는 상이한 적어도 하나의 제 2 크기인, 시스템.
KR1020207030658A 2018-03-23 2019-03-14 픽셀 값들 대 픽셀들의 매핑을 통한 이미지 디스플레이의 제어 KR102666129B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/934,789 US10713997B2 (en) 2018-03-23 2018-03-23 Controlling image display via mapping of pixel values to pixels
US15/934,789 2018-03-23
PCT/US2019/022299 WO2019182869A1 (en) 2018-03-23 2019-03-14 Controlling image display via mapping of pixel values to pixels

Publications (2)

Publication Number Publication Date
KR20200138767A KR20200138767A (ko) 2020-12-10
KR102666129B1 true KR102666129B1 (ko) 2024-05-17

Family

ID=

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170236252A1 (en) 2016-02-12 2017-08-17 Qualcomm Incorporated Foveated video rendering
US20170236466A1 (en) * 2016-02-17 2017-08-17 Google Inc. Foveally-rendered display
US20170295373A1 (en) 2016-04-08 2017-10-12 Google Inc. Encoding image data at a head mounted display device based on pose information

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170236252A1 (en) 2016-02-12 2017-08-17 Qualcomm Incorporated Foveated video rendering
US20170236466A1 (en) * 2016-02-17 2017-08-17 Google Inc. Foveally-rendered display
US20170295373A1 (en) 2016-04-08 2017-10-12 Google Inc. Encoding image data at a head mounted display device based on pose information

Similar Documents

Publication Publication Date Title
US10713997B2 (en) Controlling image display via mapping of pixel values to pixels
JP7415931B2 (ja) 画像周辺領域内のリアルタイム圧縮による画像表示制御
CN109074774B (zh) 经过中央凹渲染的显示
US8441490B1 (en) System and method for managing graphics applications
US20110249026A1 (en) Electronic visual displays
US8564647B2 (en) Color management of autostereoscopic 3D displays
CN111902803A (zh) 用于显示具有不同比特深度的区域的图像的装置、系统和方法
CN105528207A (zh) 一种虚拟现实系统及其中显示安卓应用图像的方法和装置
KR101993941B1 (ko) 안티앨리어싱 기법을 이용하여 텍스트를 렌더링하기 위한 커버리지 값의 캐싱 기법
US11615509B2 (en) Picture processing method and device
EP3139278A1 (en) Apparatus and method of performing fourier transform
KR102464362B1 (ko) 홀로그래픽 이미지 처리방법 및 장치
KR102666129B1 (ko) 픽셀 값들 대 픽셀들의 매핑을 통한 이미지 디스플레이의 제어
US9749649B2 (en) Method and system for generating and displaying thumbnail images from original images
US9811945B2 (en) On-demand transformation aware shape tessellation
EP3210191B1 (en) Accelerated image gradient based on one-dimensional data
US20230334737A1 (en) Partial depth ordering with vector interlacing
US11902503B1 (en) System and method for preprocessing of focal planes data for rendering
KR20240069100A (ko) 영역 분리를 이용한 영상 처리 장치, 영상 처리 방법, 및 이를 포함하는 전자 시스템
JP2024509782A (ja) マルチビューファイルフォーマットを検出するシステムおよび方法
JP2023515649A (ja) マルチビュースタイル変換のシステムおよび方法
CN115440168A (zh) 低延时可变背光液晶显示器系统
CN117083852A (zh) 多视图图像创建系统和方法