KR102467376B1 - 디스플레이 처리 회로 - Google Patents

디스플레이 처리 회로 Download PDF

Info

Publication number
KR102467376B1
KR102467376B1 KR1020217003426A KR20217003426A KR102467376B1 KR 102467376 B1 KR102467376 B1 KR 102467376B1 KR 1020217003426 A KR1020217003426 A KR 1020217003426A KR 20217003426 A KR20217003426 A KR 20217003426A KR 102467376 B1 KR102467376 B1 KR 102467376B1
Authority
KR
South Korea
Prior art keywords
delete delete
display
processing circuitry
data stream
content
Prior art date
Application number
KR1020217003426A
Other languages
English (en)
Other versions
KR20210028240A (ko
Inventor
고든 웨츠슈타인
앤드류 빅터 존스
토미 페테리 마일라
칼리 풀리
라이언 필립 스파이서
Original Assignee
구글 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 엘엘씨 filed Critical 구글 엘엘씨
Priority to KR1020227039404A priority Critical patent/KR102656507B1/ko
Publication of KR20210028240A publication Critical patent/KR20210028240A/ko
Application granted granted Critical
Publication of KR102467376B1 publication Critical patent/KR102467376B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T5/009—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/028—Improving the quality of display appearance by changing the viewing angle properties, e.g. widening the viewing angle, adapting the viewing angle to the view direction
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/068—Adjustment of display parameters for control of viewing angle adjustment
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2350/00—Solving problems of bandwidth in display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2352/00—Parallel handling of streams of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/06—Use of more than one graphics processor to process data before displaying to one or more screens

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Library & Information Science (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

본 개시는 디스플레이 처리 회로의 양상을 설명한다. 일 양상에서, 다수의 뷰를 지원하는 하나 이상의 디스플레이는 하나 이상의 픽셀 어레이, 하나 이상의 백플레인 및 처리 회로를 포함하고, 처리 회로는 하나 이상의 데이터 스트림을 수신하고 동작 모드를 선택하기 위한 정책에 기초하여 데이터 스트림의 처리를 제어하도록 구성되고, 각 동작 모드는 디스플레이에서 픽셀 어레이가 특정 뷰 또는 뷰들을 생성하기 위해 기여하는 빛의 광선 및 그에 따라 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업을 정의한다. 처리 회로는 특정 뷰 또는 뷰들을 생성할 광선에 기여하기 위해 픽셀 어레이에 대한 백플레인의 회로 구성을 통해 픽셀 어레이에 수정된 데이터 스트림을 나타내는 시그널링을 더 제공한다. 대응하는 방법이 또한 설명된다.

Description

디스플레이 처리 회로
연관된 출원에 대한 상호 참조
본 특허 출원은 2019년 7월 2일에 출원되고, 명칭이 "DISPLAY PROCESSING CIRCUITRY"인 미국 정규출원 제16/460,880호 및 2018년 7월 3일에 출원되고 명칭이 "DISPLAY PROCESSING UNIT"인 미국 가출원 제62/693,607호에 대한 우선권을 주장하며, 이들의 내용은 그 전체가 본원에 참조로 통합된다.
본 개시의 양상은 일반적으로 디스플레이에 관한 것이고, 보다 구체적으로 디스플레이 내의 콘텐츠를 처리하는 디스플레이 처리 유닛에 관한 것이다.
초-고해상도(Ultra-high-resolution) 디스플레이, 높은-동적-범위(high-dynamic-range)(즉, 고-대비(high-contrast)) 디스플레이 및 라이트 필드(light field)(즉, 안경이 없는 3D) 디스플레이는 기존의 콘텐츠 부족으로 어려움을 겪는다. 새로운 카메라 및 컴퓨터-생성된 콘텐츠가 향후 이 콘텐츠가 생성되도록 허용할 수 있는 한편, 예를 들어, 해상도를 업-샘플링(up-sample)하고, 낮은-동적-범위 콘텐츠를 높은-동적-범위 콘텐츠로 변환하며, 깊이 정보를 갖는 2차원(2D) 이미지 또는 2D 이미지를 디스플레이를 위한 고해상도의 높은-동적-범위 및/또는 라이트 필드 데이터로 변환하기 위해 레거시 콘텐츠(legacy content) 또는 다른 타입의 콘텐츠의 오프라인 및 온-더-플라이 처리(on-the-fly processing)에 대한 요구가 있다.
더욱이, 중앙 처리 유닛(CPU) 또는 그래픽 처리 유닛(GPU)으로부터 디스플레이 그 자체로 데이터를 전송하기 위한 기존의 표준(예를 들어, HDMI 또는 디스플레이포트(DisplayPort))에 의해 제공되는 대역폭이 제한된다. 최근 생겨난 초-고해상도 디스플레이 패널, 높은-동적-범위 디스플레이 및 라이트 필드 디스플레이에 의해 요구되는 대역폭은 수 배의(orders of magnitude) 더욱 많은 데이터가 CPU 또는 GPU 사이에서 디스플레이로 전송되는 것을 요구한다. 향후 표준 또는 기존 표준의 향후 발전이 더욱 많은 대역폭을 가능하게 할 수 있지만, 현재 표준의 한계는 데이터가 디스플레이로 전송된 이후에, 상당한 양의 이미지 처리가 디스플레이에서 직접적으로 수행되는 것을 필요로 할 수 있다.
일부 기존 디스플레이는 비디오의 공간 및 시간적 해상도를 개선하기 위해 간단한 보간(예를 들어, 선형, 큐빅 보간(cubic interpolations))을 수행할 수 있으며, 대비 또는 동적 범위를 개선하기 위해 이미지를 스케일링할 수 있지만, 레이턴시가 낮고, 전력 소비가 낮으며, 품질이 높은 더욱 정교한 이미지 및 비디오 처리에 대한 요구가 있다.
스마트 TV(예를 들어, 미국특허 제5,905,521호 참조)는 텔레비전 디스플레이를 처리 유닛 및 네트워크 연결에 연결하기 위한 통합 하드웨어를 사용한다. 이 기술은 멀티미디어 콘텐츠의 스트리밍이 종래의 방송과 동반하는 것을 가능하게 한다. 셋톱 박스(예를 들어, 애플 TV(Apple TV), 구글 크롬캐스트(Google ChromeCast), 아마존 파이어TV(Amazon FireTV)) 및 게임 콘솔(예를 들어, 마이크로소프트 엑스박스(Microsoft Xbox), 소니 플레이스테이션(Sony PlayStation), 닌텐도 위 U(Nintendo Wii U))은 공통 인터페이스를 통해, 오버-더-에어(over-the-air), 케이블, 게임 및 인터넷 콘텐츠의 다수의 소스를 기록하고, 스트리밍하며, 탐색(navigate)하기 위해 전용 중앙 처리 유닛/그래픽 처리 유닛(CPU/GPU)을 사용한다. 하지만, 이들 시스템의 해상도는 현재 디스플레이 프로토콜에 의해 여전히 제한되며, 이들 시스템은 2D, 3차원(3D) 및 라이트 필드 콘텐츠의 처리를 제공하지 않는다.
전송된 비디오에서 SMPTE ST280와 같은 추가적인 메타데이터, 비트 깊이 및 확장된 전송 기능을 인코딩함으로써 높은-동적-범위 콘텐츠(HDR10, HDR10+, 하이브리드-로그-감마(Hybrid-Log-Gamma))의 송신 및 스트리밍을 위한 새로운 표준이 개발되고 있다. 새로운 디스플레이에서 이들 표준에 대한 지원이 새롭게 생성된 콘텐츠에 대한 동적 범위 및 대비를 개선할 수 있는 한편, 표준은 기존의 낮은-동적-범위 레거시 콘텐츠를 기존의 낮은-동적-범위의 레거시 콘텐츠로 상향 변환하는(upconvert) 요구를 해소하지 않는다.
따라서, 특히 많은 양의 데이터가 필요할 때, 다른 타입의 디스플레이에서 다른 타입의 콘텐츠를 효과적으로 다루는 것을 가능하게 하는 기술 및 디바이스가 바람직하다.
다음은 이러한 양상의 기본적인 이해를 제공하기 위해 하나 이상의 양상의 단순화된 요약을 제시한다. 이 요약은 모든 고려되는 양상의 광범위한 개요가 아니며, 모든 양상의 핵심 또는 중요한 요소를 식별하지 않거나 또는 임의의 또는 모든 양상의 범위를 기술하지도 않는 것으로 의도된다. 그의 목적은 하나 이상의 양상의 일부 개념을 단순화된 형태로, 추후에 제시되는 더욱 상세한 설명의 서문(prelude)으로서 제시하는 것이다.
본 개시의 일 양상에서, 다수의 뷰(views)를 지원하는 하나 이상의 디스플레이는 하나 이상의 픽셀 어레이, 하나 이상의 픽셀 어레이에 결합된 하나 이상의 백플레인(backplanes), 및 하나 이상의 백플레인에 결합된 처리 회로를 포함하는 것으로 설명되고, 처리 회로는 하나 이상의 데이터 스트림을 수신하고, 처리 회로에 의해 지원되는 동작 모드를 선택하기 위한 정책에 기초하여 하나 이상의 데이터 스트림의 처리를 제어하고 - 각 동작 모드는 하나 이상의 픽셀 어레이가 동작 모드의 특정 뷰 또는 뷰들을 생성할 빛의 광선(rays of light)에 기여하도록, 하나 이상의 디스플레이에서 하나 이상의 픽셀 어레이가 특정 뷰 또는 뷰들을 생성하기 위해 기여하는 빛의 광선 및 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업을 정의함 -, 및 동작 모드의 특정 뷰 또는 뷰들을 생성할 광선(rays)에 기여하기 위해 하나 이상의 픽셀 어레이에 대한 하나 이상의 백플레인의 회로 구성을 통해 하나 이상의 픽셀 어레이에 수정된 하나 이상의 데이터 스트림을 나타내는 시그널링(signaling)을 제공하도록 구성된다.
본 개시의 다른 양상에서, 다수의 뷰를 지원하는 하나 이상의 디스플레이에서 데이터 스트림을 처리하기 위한 방법은 하나 이상의 디스플레이의 처리 회로에서 하나 이상의 데이터 스트림을 수신하는 것 - 처리 회로는 하나 이상의 디스플레이의 하나 이상의 백플레인에 결합되고, 결국 하나 이상의 디스플레이의 하나 이상의 픽셀 어레이에 결합됨 -; 처리 회로에 의해 지원되는 동작 모드를 선택하기 위한 정책에 기초하여, 처리 회로에 의해 하나 이상의 데이터 스트림의 처리를 제어하는 것 - 각 동작 모드는 하나 이상의 픽셀 어레이가 동작 모드의 특정 뷰 또는 뷰들을 생성할 빛의 광선에 기여하도록, 하나 이상의 디스플레이에서 하나 이상의 픽셀 어레이가 특정 뷰 또는 뷰들을 생성하기 위해 기여하는 빛의 광선 및 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업을 정의함 -, 및 처리 회로에 의해, 동작 모드의 특정 뷰 또는 뷰들을 생성할 광선에 기여하기 위한 하나 이상의 픽셀 어레이에 대한 하나 이상의 백플레인의 회로 구성을 통해 하나 이상의 픽셀 어레이에 수정된 하나 이상의 데이터 스트림을 나타내는 시그널링을 제공하는 것을 포함하는 것으로 설명된다.
본 개시의 일 양상에서, 디스플레이(또한, 디스플레이 처리 회로 또는 유닛으로도 지칭됨) 내의 콘텐츠를 처리하기 위한 처리 회로는 소스로부터 콘텐츠를 수신하도록 구성된 입력 구성요소, 디스플레이에 의한 프리젠테이션(presentation)을 위해 콘텐츠를 수정하는 작업 세트를 수행하는 하나 이상의 신경망을 구현하고 실행하도록 구성된 처리 구성요소 - 하나 이상의 신경망은 디스플레이의 메모리에 저장된 다수의 가중치를 사용하여 구현됨 -, 및 수정된 콘텐츠를 디스플레이의 각각의 패널에 제공하도록 구성된 출력 구성요소를 포함한다.
본 개시의 일 양상에서, 디스플레이(예를 들어, 디스플레이 처리 회로 또는 유닛) 내의 콘텐츠를 처리하기 위해 회로를 처리하기 위한 방법은 처리 유닛의 입력 구성요소에서 소스로부터 콘텐츠를 수신하는 것, 처리 유닛의 처리 구성요소에서 하나 이상의 신경망을 구현하는 것 - 하나 이상의 신경망은 디스플레이의 메모리에 저장된 다수의 가중치를 사용하여 구현됨 -, 하나 이상의 신경망을 실행함으로써 디스플레이에 의한 프리젠테이션을 위해 콘텐츠를 수정하는 작업 세트를 수행하는 것, 및 처리 유닛의 출력 구성요소에 의해 수정된 콘텐츠를 디스플레이의 각각의 패널에 제공하는 것을 포함한다.
첨부된 도면은 일부 구현만을 예시하므로 범주를 제한하는 것으로 간주되지 않는다.
도 1a는 본 개시의 양상에 따른, 디스플레이, 및 디스플레이에 대한 데이터 스트림의 소스의 예시를 도시한다.
도 1b는 본 개시의 양상에 따른, 디스플레이에서의 디스플레이 처리 회로의 예시를 도시한다.
도 1c는 본 개시의 양상에 따른, 디스플레이에서의 다수의 디스플레이 처리 회로의 예시를 도시한다.
도 1d는 본 개시의 양상에 따른, 공통 또는 공유 디스플레이 처리 회로를 갖는 하나 이상의 디스플레이의 예시를 도시한다.
도 2a는 본 개시의 양상에 따른, 다수의 화소(picture elements)를 갖는 라이트 필드 디스플레이의 예시를 도시한다.
도 2b는 본 개시의 양상에 따른, 다수의 화소를 갖는 라이트 필드 디스플레이의 다른 예시를 도시한다.
도 2c는 본 개시의 양상에 따른, 라이트 필드 디스플레이의 일부의 단면도의 예시를 도시한다.
도 2d는 본 개시의 양상에 따른, 디스플레이 처리 회로와 하나 이상의 백플레인 사이의 통합의 예시를 도시한다.
도 2e는 본 개시의 양상에 따른, 하나 이상의 백플레인에 걸친 디스플레이 처리 회로의 분포의 예시를 도시한다.
도 3은 본 개시의 양상에 따른, 디스플레이 처리 유닛에 대한 처리 파이프라인의 예시를 도시한다.
도 4는 본 개시의 양상에 따른, 디스플레이 처리 회로의 예시를 도시하는 블록도이다.
도 5a 및 5b는 본 개시의 양상에 따른, 디스플레이 처리 유닛의 처리 엔진 내의 프로그램 가능 신경망의 예시를 도시한다.
도 5c는 본 개시의 양상에 따른, 처리 엔진을 도시하는 블록도이다.
도 6a 및 6b는 본 개시의 양상에 따른, 신경망에 대한 다른 프로그램 가능 가중치의 예시를 도시한다.
도 7은 본 개시의 양상에 따른, 디스플레이 내의 콘텐츠를 처리하기 위한 처리 회로에 대한 방법의 예시를 도시하는 흐름도이다.
도 8은 본 개시의 양상에 따른 디스플레이 처리 회로의 다른 예시를 도시하는 블록도이다.
도 9는 본 개시의 양상에 따른, 하나 이상의 디스플레이 내의 하나 이상의 데이터 스트림을 처리하기 위한 처리 회로에 대한 방법의 예시를 도시하는 흐름도이다.
첨부된 도면과 연관되어 아래에 제시된 상세한 설명은 다양한 구성에 대한 설명으로서 의도된 것이며, 본원에서 설명된 개념이 실시될 수 있는 구성만을 나타내는 것으로 의도되지 않는다. 상세한 설명은 다양한 개념의 철저한 이해를 제공하는 목적을 위해 특정 세부사항을 포함한다. 하지만, 이들 개념이 이들 특정 세부사항 없이 실시될 수 있다는 것은 통상의 기술자에게 명백할 것이다. 일부 경우에서, 잘-알려진 구성요소가 이러한 개념을 모호하게 하는 것을 회피하기 위해 블록도의 형태로 도시된다.
현재의 디스플레이 시스템에서, 콘텐츠 또는 데이터의 소스는 중앙 처리 유닛(CPU) 및/또는 그래픽 처리 유닛(GPU)(예를 들어, 도 1b 및 1c 참조)를 포함할 수 있다. 소스는 사용자 입력, 3차원(3D) 모델, 비디오 또는 다른 콘텐츠를 수신할 수 있으며, 컴퓨터-생성(computer-generated, CG) 콘텐츠를 렌더링하고 콘텐츠 또는 데이터를 처리할 수 있다. 소스는 디지털 비주얼 인터페이스(digital visual interface, DVI), 고화질 멀티미디어 인터페이스(high-definition multimedia interface, HDMI), 디스플레이포트(DP), 임베디드 디스플레이포트(embedded DisplayPort, eDP) 또는 콘텐츠/데이터를 디스플레이에 전송하는데 적합한 임의의 다른 데이터 인터페이스를 통해, 콘텐츠/데이터를 디스플레이에 제공할 수 있다. 일 예시에서, HDMI 2.1은 콘텐츠/데이터 전송에 사용될 수 있고, 이는 42Gb/s 데이터 속도 및 8-16 색상 당 비트(bits per color, bpc)를 지원한다. 8pbc의 경우, 4K@144Hz 및/또는 8K@30Hz가 지원될 수 있는 한편, 10bpc(HDR10)의 경우, 4K@144Hz 및/또는 8K@30Hz가 지원될 수 있다. 다른 예시에서, 디스플레이포트 1.4는 25.92Gb/s 및 8-10bpc를 지원하는 콘텐츠/데이터 전송에 사용될 수 있다. 8pbc의 경우 4K@144Hz 및/또는 8K@30Hz가 지원될 수 있다. 또 다른 예시에서, USB-C 3.1은 콘텐츠/데이터를 디스플레이로 전송하기 위한 DP 1.4의 대안으로서 사용될 수 있다.
현재 디스플레이는 색상 관리, 데이터 변환 및 선택적으로 패널(들)에 대한 LED 백라이트 드라이버를 제공하는 드라이버 보드를 포함할 수 있다. 드라이버 보드는 저전압 차동 시그널링(low voltage differential signaling, LVDS), MIPI 인터페이스 또는 eDP를 통해 처리된 데이터를 타이머 컨트롤러(timer controller, TCON)(예를 들어, 도 1b의 TCON(140)을 참조)에 제공할 수 있으며, 여기서 TCON은 디스플레이의 패널(들)을 차례로 구동시킨다. LVDS는 직렬 버스이며 MIPI 디스플레이 직렬 인터페이스(display serial interface, DSI)는 LVDS를 송신 방법으로서 사용하는 프로토콜이다(MIPI DSI는 최대 1440p@60Hz를 처리한다).
위에서 언급된 바와 같이, 현재 디스플레이 또는 디스플레이 시스템은 최근 생겨난 초-고해상도 디스플레이 패널, 높은-동적-범위 디스플레이 및 라이트 필드 디스플레이에 의해 요구되는 대역폭을 처리할 수 없으며, 다른 타입의 콘텐츠 또는 데이터를 다루기 위한 그의 능력에 또한 제한된다. 예를 들어, 다수의 뷰가 가능한 라이트 필드 디스플레이의 경우, 100 뷰, 10 픽셀 당 비트(bpp) 및 60Hz를 갖는 4K 디스플레이(예를 들어, 3840 × 2160 = 8,294,400,00 픽셀을 갖는 4K UHD)는 497,664,000,000 비트(또는 62,208,000,000 바이트, 60,750,000 킬로바이트, 59,327 메가바이트)/초를 요구할 것이다. 다른 타입의 디스플레이에서 다른 타입의 콘텐츠의 효과적인 처리를 가능하게 하기 위해 디스플레이 내에서 구현되는 다양한 기술은 도 1a - 9와 관련되어 아래에서 더욱 상세히 설명된다.
도 1a는 소스(120)로부터 하나 이상의 데이터 스트림(125)(예를 들어, 이미지 콘텐츠, 비디오 콘텐츠 또는 둘 모두)에서 콘텐츠/데이터 또는 다른 정보를 수신하는 디스플레이(110)의 예시를 예시하는 도면(100a)을 도시한다. 디스플레이(110)는 하나 이상의 패널(예를 들어, 요소의 어레이)을 포함할 수 있으며, 디스플레이(110)에서의 각 패널은 발광 패널, 광 반사 패널, 광 투과 패널, 광 수정 패널(light modifying panel)이다. 발광 패널이 사용될 때, 이들은 다수의 발광 요소를 포함할 수 있다(예를 들어, 도 2a의 발광 요소(225)를 참조). 이들 발광 요소는 하나 이상의 반도체 재료로 만들어진 발광 다이오드(light-emitting diodes, LED)일 수 있다. LED는 무기 LED(inorganic LEDs)일 수 있다. LED는 예를 들어, 마이크로LED, mLED 또는 μLED로도 지칭될 수 있는, 마이크로-LED일 수 있다. 발광 요소를 만들 수 있는 다른 디스플레이 기술은 액정 디스플레이(liquid crystal display, LCD) 기술 또는 유기 LED(organic LED, OLED) 기술을 포함한다. "발광 요소", "광 방출기" 또는 간단히 "방출기"란 용어는 본 개시에서 상호 교환적으로 사용될 수 있다. 방출하지 않는 요소에 대해, "광 반사 요소", "광 투과 요소" 또는 "광 수정 요소"라는 용어가 사용될 수 있다.
디스플레이(110)는 초-고해상도 능력(예를 들어, 8K 이상의 해상도에 대한 지원), 높은 동적-범위(예를 들어, 고-대비) 능력 및/또는 (예를 들어, 하나 이상의 뷰로 지각되는 광선에 기여할 수 있는) 라이트 필드 능력을 포함하는 능력을 가질 수 있다. 디스플레이(110)가 라이트 필드 능력을 갖고 라이트 필드 디스플레이로서 동작할 수 있을 때, 디스플레이(110)는 다수의 화소(예를 들어, 수퍼-락셀(super-raxels))를 포함할 수 있으며, 각 화소는 동일한 반도체 기판에 통합되는 각각의 광-조향(light-steering) 광학 요소 및 발광 요소(예를 들어, 서브 락셀)의 어레이를 갖고, 어레이 내의 발광 요소는 라이트 필드 디스플레이에 의해 지원되는 다수의 뷰를 제공하기 위해 분리된(separate) 그룹(예를 들어, 락셀)으로 배열된다(예를 들어, 도 2a-2c를 참조).
도 1a의 디스플레이(110) 및 소스(120)의 추가적인 세부사항을 예시하기 위한 도면(100b)이 도 1b에 도시된다. 단일 소스(120)가 도시되어 있지만, 디스플레이(110)는 다수의 소스(120)로부터 하나 이상의 데이터 스트림(125)을 수신할 수 있다는 것이 이해될 것이다. 이 예시에서, 소스(120)는 (예를 들어, 콘텐츠/데이터 또는 다른 정보를 갖는) 데이터 스트림(들)(125)을 디스플레이(110) 내에 통합된 디스플레이 처리 회로(130)에 제공한다. "디스플레이 처리 회로" 및 "처리 회로"란 용어는 본 개시에서 상호 교환적으로 사용될 수 있다. 디스플레이 소스에 대해 위에서 설명된 기능에 추가하여, 소스(120)는 영화 또는 특수 카메라로부터 적색-녹색-청색 및 깊이(red-green-blue and depth, RGBD) 데이터를 스트리밍하도록 구성될 수 있으며, 컴퓨터 생성 콘텐츠로부터 RGBD 데이터를 또한, 렌더링할 수 있다. 이에 관련하여, 소스(120)는 깊이 정보를 갖는 다중-색상 데이터를 제공할 수 있으며, 여기서 다중-색상 데이터는 RGB 데이터로 제한될 필요가 없다. 소스(120)는 예를 들어, HDMI/DP를 통해 데이터 스트림(들)(125)을 제공할 수 있고, 데이터 스트림(들)(125)은 10비트의 높은-동적-범위(HDR) 데이터, 또는 RGBD 데이터 또는 일부 다른 타입의 데이터를 포함할 수 있다.
디스플레이 처리 회로(130)는 디스플레이 처리 회로(130)에 의해 지원되는 다수의 동작 모드로부터 동작 모드를 선택하기 위한 정책(예를 들어, 결정을 안내하기 위해 디스플레이 처리 회로(130)의 동작에 내장된 규칙 또는 원리)을 기초로, 하나 이상의 데이터 스트림(125)을 처리하도록 구성된다. 디스플레이 처리 회로(130)는 신경망 아키텍처, 고정-기능 논리 신호 처리 아키텍처, 프로그램 가능 파이프라인 아키텍처, 또는 이들의 일부 조합에 기초할 수 있다. 따라서, 디스플레이 처리 회로(130)는 디스플레이(110)에 의한 프리젠테이션을 위해, 데이터 스트림(들)(125)에서 이미지 또는 비디오 콘텐츠(또는 일부 다른 타입의 정보)를 수정하는 작업 세트를 수행하기 위해 하나 이상의 신경망을 구현하고 실행하도록 구성될 수 있다. 하나 이상의 신경망은 디스플레이 메모리(135)에 저장되거나, 디스플레이 처리 회로(130)에 저장되거나, 또는 디스플레이 처리 회로(130)에 하드 코딩된(hard coded) 다수의 가중치를 사용함으로써 구현될 수 있다. 디스플레이 메모리(135) 또는 적어도 그의 일부는 디스플레이 처리 회로(130)와 통합될 수 있다. 디스플레이 처리 회로(130)에 의해 수행될 수 있는 작업 세트는 색상 관리, 데이터 변환, 및/또는 다중-뷰 처리 동작과 연관된 작업을 포함할 수 있다. 디스플레이 처리 회로(130)에 의해 수행될 수 있는 작업은 더 광범위할 수 있고, 다양하고 다채로운 작업의 세부사항이 아래에서 더 상세히 설명된다는 것이 이해될 것이다. 이들 작업의 각각은 디스플레이 처리 회로(130)에서 개별적으로 선택되고/활성화되거나 또는 선택해제되고/비활성화될 수 있다. 일부 경우에서, 수행될 작업 또는 작업들은 하나 이상의 동작 모드를 지원하도록 구성될 수 있는, 디스플레이 처리 회로(130)의 동작 모드를 기초로 선택된다. 다수의 동작 모드가 지원될 때, 적절한 동작 모드를 식별하고 수행하기 위해 디스플레이 처리 회로(130)에 의해 정책 제어기(미도시)가 사용될 수 있다.
도 1b에서 도면(100b)에 도시된 바와 같이, 디스플레이 처리 회로(130)는 타이밍 컨트롤러(TCON)(140)의 기능을 포함할 수 있으며, 이는 결국 하나 이상의 백플레인(150)을 통해 하나 이상의 픽셀 어레이(151)에 적절한 정보 및/또는 시그널링(signaling)을 제공한다. 점선으로 예시된 TCON(140)은 또한, 디스플레이 처리 회로(130) 외부에서 또는 이와 분리되어 구현될 수 있다. 일부 경우에서, 디스플레이 처리 회로(130)의 아키텍처는 TCON(140) 또는 그의 기능이 적절하지 않고, 그러므로 디스플레이 처리 회로(130)와 관련하여 사용되지 않도록 한다. 일 예시에서, 하나 이상의 백플레인(150)(또는 그의 서브세트)과 하나 이상의 픽셀 어레이(151)(또는 그 서브세트)의 조합은 디스플레이의 패널로서 지칭될 수 있다. 일부 경우에서, 다수의 LVDS 및/또는 MIPI 인터페이스가 정보를 TCON(140)으로 전송하기 위해 사용될 수 있다. 유사하게, TCON(140)으로부터 백플레인(들)(150) 및 픽셀 어레이(들)(151)로의 정보 또는 시그널링은 다수의 화살표로 예시된 바와 같이 병렬화될 수 있다. 백플레인(들)(150)은 단일 백플레인(150) 또는 단일 백플레인으로서 논리적으로 동작하는 백플레인(150)의 그룹으로 구성될 수 있음이 이해될 것이다. 유사하게, 픽셀 어레이(들)(151)는 단일 픽셀 어레이(151) 또는 단일 픽셀 어레이로서 논리적으로 동작하는 픽셀 어레이(151)의 그룹으로 구성될 수 있음이 이해될 것이다.
소스(120)는 GPU(160) 및/또는 CPU(165)를 포함할 수 있다. GPU(160) 및 CPU(165)는 디스플레이(110)와 분리되어 구현될 수 있거나, 또는 디스플레이(110)의 통합 구성요소로서 구현될 수 있는 호스트 프로세서(155)의 일부일 수 있다. 후자의 경우, 호스트 프로세서(155)(그러므로, 소스(120)의 적어도 일부)는 디스플레이(110)의 일부일 수 있다. 호스트 프로세서(155)는 디스플레이 처리 회로(130)로 전송되기 전에 데이터 스트림(들)(125)에서 수개의 작업을 수행하도록 구성될 수 있으며, 여기서 추가적인 작업은 데이터 스트림(들)(125)에서 수행된다. 일 예시에서, 호스트 프로세서(155)는 하나 이상의 HDMI 또는 디스플레이포트 연결을 통해 디스플레이(110)의 디스플레이 처리 회로(130)로 이미지 또는 비디오 콘텐츠를 송신하거나 전송할 수 있다. 호스트 프로세서(155)는 적색, 녹색, 청색 및 깊이 정보(RGBD)를 포함하는 10비트의 높은-동적-범위 데이터로서 디스플레이(110)에서의 디스플레이 처리 회로(130)에 이미지 또는 비디오 콘텐츠를 송신하거나 또는 전송할 수 있다. 호스트 프로세서(155)는 실세계 이미지 또는 비디오 콘텐츠를 생성하기 위해 렌더링된 화상(imagery), 깊이 센서 또는 카메라 어레이에 대해 래스터화(rasterization) 또는 광선-추적(ray-tracing)을 수행하도록 구성될 수 있다. 더욱이, 호스트 프로세서(155)는 이미지 또는 비디오 콘텐츠, 또는 일부 다른 타입의 정보의 데이터 압축을 수행하도록 구성될 수 있다.
추가적으로 또는 대안적으로, 소스(120)는 데이터 스트림(들)(125)을 통해 디스플레이(110)에 제공될 콘텐츠/데이터를 저장하는 하드 디스크(170)를 포함할 수 있다. 추가적으로 또는 대안적으로, 소스(120)는 인터넷 연결(181), (무선 인터넷을 포함하는) 무선 연결(182) 및 데이터 인터페이스(183)와 같은 다양한 입력 또는 연결로부터 콘텐츠/데이터를 수신하도록 구성된 수신기(180)를 포함할 수 있으며, 콘텐츠/데이터는 디스플레이(110)에 제공될 것이다. 데이터 인터페이스(183)는 디지털 비디오 인터페이스를 포함할 수 있다. 데이터 인터페이스(183)는 예를 들어, 범용 직렬 인터페이스(USB)(예를 들어, USB-C 또는 USBC) 및/또는 비디오 그래픽 어레이(VGA) 인터페이스일 수 있다. 호스트 프로세서(155)와 마찬가지로, 하드 디스크(170) 및/또는 수신기(180)는 디스플레이(110)와 분리되어 구현될 수 있거나 또는 디스플레이(110)의 통합 구성요소로서 구현될 수 있다.
디스플레이(110)는 또한, 디스플레이 처리 회로(130)에 정보를 제공할 수 있는 하나 이상의 센서(155)(예를 들어, 오디오 센서, 마이크로폰, 카메라, 광 센서 등)를 포함할 수 있으며, 디스플레이 처리 회로(130)는 본원에서 설명된 다양한 작업 중 하나 이상과 관련하여 사용할 수 있다. 예를 들어, 디스플레이 처리 회로(130)는 아래에서 더 상세히 설명되는 사용자 추적과 같은 시청자 특정 동작의 일부로서 센서 정보를 사용할 수 있다. 이 예시에서, 하나 이상의 센서(155)는 사용자 또는 시청자 추적을 가능하게 할 수 있는 센서를 포함할 수 있다.
도 1c는 다수의 디스플레이 처리 회로(130)를 갖는 디스플레이(110)의 예시를 예시하는 도면(100c)을 도시한다. 이 예시에서, 소스(120)는 데이터 스트림(125a), ..., 데이터 스트림(125n)과 같은 다수의 데이터 스트림을 디스플레이(110)에 제공할 수 있다. 이들 데이터 스트림의 각각에 대해, 도면(100c)에서 데이터 스트림(125a)이 디스플레이 처리 회로(130a)에 의해 수신되고 처리되며, 데이터 스트림(125n)이 디스플레이 처리 회로(130n)에 의해 수신되고 처리되도록, 각각의 디스플레이 처리 회로(130)가 있다. 디스플레이 처리 회로(130a, ..., 130n)의 각각은 대응하는 TCON(140)(또는 TCON(140)의 내장된 기능) 및 대응하는 백플레인(들)(150) 및 픽셀 어레이(들)(151)를 갖는다(그러나 위에 언급된 바와 같이, TCON은 디스플레이 처리 회로(130)의 일부 구현에서 필수적이지 않을 수 있다). 즉, 디스플레이 처리 회로(130a)는 데이터 스트림(125a)의 수정으로부터 초래되는 처리된 콘텐츠/데이터를 TCON(140a)을 통해 대응하는 백플레인(들)(150a) 및 픽셀의 어레이(들)(151a)로 제공할 수 있다. 유사하게, 디스플레이 처리 회로(130n)는 데이터 스트림(125n)의 수정으로부터 처리된 결과를 TCON(140n)을 통해 대응하는 백플레인(들)(150n) 및 픽셀의 어레이(들)(151n)로 제공할 수 있다. 다른 디스플레이 처리 회로(130)에 의해 지원되는 백플레인(들)/픽셀의 어레이(들)는 동일한 크기이거나 또는 다른 크기일 수 있다. 디스플레이 처리 회로(130a, ..., 130n)의 각각은 디스플레이 메모리(135)에 저장된 정보를 사용할 수 있다.
도면(100c)에 예시된 예시에서, 다수의 디스플레이 처리 회로(130), 다수의 백플레인(들)(150) 및 다수의 픽셀 어레이(들)(151)는 디스플레이(110)와 통합될 수 있다. 일부 경우에서, 이러한 통합 디스플레이(110)는 예를 들어, 무선 통신 디바이스 또는 근안 디바이스(near-eye device) 또는 훨씬 더 큰 디스플레이와 같은 휴대형 디바이스(handheld device)의 일부일 수 있다.
도 1d는 디스플레이 처리 회로(130)가 하나보다 많은 디스플레이(110)와 사용되도록 구성되는 경우를 예시하는 도면(100d)을 도시한다. 이 예시에서, 디스플레이 처리 회로(130)는 백플레인(들)(150a) 및 픽셀 어레이(들)(151a)를 포함하는 제1 디스플레이(110a)에서 사용될 수 있으면서, 이는 백플레인(들)(150b) 및 픽셀 어레이(들)(151b)를 포함하는 제2 디스플레이(110b)에서 동시에 사용될 수 있다. 각 디스플레이는 그 자체의 메모리(예를 들어, 디스플레이 메모리(135)) 및/또는 그 자체의 센서(예를 들어, 센서(들)(155))를 포함할 수 있다. 이 예시에서 디스플레이 처리 회로(130)는 처리를 위해 하나 이상의 데이터 스트림(125)을 수신할 수 있고, 데이터 스트림에 대한(예를 들어, 데이터 스트림에서의 콘텐츠/데이터에 대한) 임의의 수정이 디스플레이를 위한 각각의 백플레인(들)/픽셀의 어레이(들)에 제공되게 할 수 있다.
위에서 설명된 바와 같이, 디스플레이(110)는 초-고해상도 능력, 높은 동적-범위(대비) 능력 및/또는 라이트 필드 능력을 포함하는 다른 능력을 가질 수 있다. 디스플레이(110)가 라이트 필드 디스플레이로서 동작할 수 있을 때, 이는 다른 타입의 디스플레이가 생성하지 못할 수 있는, 사용자 또는 시청자가 보는 다수의 필드 또는 뷰의 생성을 가능하게 하는 아키텍처 구성을 가질 수 있다. 아래의 도 2a-2c는 라이트 필드 능력(예를 들어, 라이트 필드 디스플레이)을 가능하게 하는 아키텍처를 갖는 디스플레이(110)와 같은, 디스플레이에 관한 추가적인 세부사항을 제공한다.
도 2a의 도면(200a)은 디스플레이가 라이트 필드 동작을 위한 능력을 할 수 있거나 또는 지원하고 이러한 능력이 활성화될 때, 도 1a-1d에서의 디스플레이(110)의 예시인 라이트 필드 디스플레이(210)를 도시한다. 이와 같이, 라이트 필드 디스플레이(210)는 예를 들어, 색상 관리, 콘텐츠 또는 데이터 변환 및 다중-뷰 처리를 포함하는 다양한 작업을 수행하기 위해 하나 이상의 디스플레이 처리 회로(130)를 포함할 수 있다. 라이트 필드 디스플레이(210)는 다수의 화소 또는 수퍼-락셀(220)을 가질 수 있다. 본 개시에서, "화소"란 용어 및 "슈퍼-락셀"이란 용어는 라이트 필드 디스플레이에서 유사한 구조적인 유닛을 설명하기 위해 상호 교환적으로 사용될 수 있다. 라이트 필드 디스플레이(210)는 다른 타입의 애플리케이션에 사용될 수 있으며, 그의 크기는 그에 따라 달라질 수 있다. 예를 들어, 라이트 필드 디스플레이(210)는 몇 개를 예로 들자면, 시계, 근안 애플리케이션, 전화, 태블릿, 랩톱, 모니터, 텔레비전 및 광고판(billboards)을 위한 디스플레이로서 사용될 때 다른 크기를 가질 수 있다. 따라서, 그리고 애플리케이션에 의존하여, 라이트 필드 디스플레이(210)에서 화소(220)는 어레이, 그리드, 또는 다른 타입의 다른 크기의 정렬된 배열로 구성될 수 있다. 라이트 필드 디스플레이(210)의 화소(220)는 도 1b-1d에 예시된 바와 같이 픽셀 어레이 내로 배열될 수 있다.
도 2a에 도시된 예시에서, 화소(220)는 그 자체로 발광 요소(225)의 어레이 또는 그리드를 갖는 어레이 내의 각 화소(220)와 N×M 어레이 내로 구성되거나 위치될 수 있다.
보다 구체적인 예시에서, 전통적인 디스플레이에서의 픽셀이 화소(220)에 의해 대체된 4K 라이트 필드 디스플레이의 경우, 화소(220)의 N×M 어레이는 약 830만 개의 화소(220)를 포함하는 2,160 × 3,840 어레이일 수 있다. 화소(220)의 각각에서 발광 요소(225)의 수에 의존하여, 4K 라이트 필드 디스플레이는 대응하는 전통적인 디스플레이의 것보다 1배 또는 2배 더 큰 해상도를 가질 수 있다. 화소 또는 수퍼-락셀(220)이 적색(R) 광, 녹색(G) 광 및 청색(B) 광을 생성하는 동일한 반도체 기판에서 발광 요소(225)로서 다른 LED를 포함할 때, 4K 라이트 필드 디스플레이는 통합 RGB LED 수퍼-락셀로부터 만들어지는 것으로 언급될 수 있다. 상세히 설명되지는 않지만, 유사한 아키텍처를 사용하여 8K 이상의 라이트 필드 디스플레이도 가능하다.
그의 대응하는 광-조향 광학 요소(215)(도 2b의 도면(200b)에 예시된 통합 이미징 렌즈)를 포함하는 라이트 필드 디스플레이(210)에서 화소(220)의 각각은 디스플레이 해상도에 의해 제한되는 최소 화소 크기를 나타낼 수 있다. 이에 관련하여, 화소(220)의 발광 요소(225)의 어레이 또는 그리드는 그 화소에 대한 대응하는 광-조향 광학 요소(215)보다 작을 수 있다. 하지만, 실제로, 화소(220)의 발광 요소(225)의 어레이 또는 그리드의 크기가 대응하는 광-조향 광학 요소(215)의 크기(예를 들어, 마이크로 렌즈 또는 렌즈릿(lenslet)의 직경)에 유사, 결국 화소(220) 사이의 피치(230)와 유사하거나 동일한 것이 가능할 수 있다.
위에서 언급된 바와 같이, 화소(220)에 대한 발광 요소(225)의 어레이의 확대된 버전이 도면(200a)의 오른쪽에 도시된다. 발광 요소(225)의 어레이는 P × Q 어레이일 수 있으며, P는 어레이의 발광 요소(225)의 행의 수이고 Q는 어레이의 발광 요소(225)의 열의 수이다. 어레이 크기의 예시는 P ≥ 5 및 Q ≥ 5, P ≥ 8 및 Q ≥ 8, P ≥ 9 및 Q ≥ 9, P ≥ 10 및 Q ≥ 10, P ≥ 12 및 Q ≥ 12, P ≥ 20 및 Q ≥ 20, 그리고 P ≥ 25 및 Q ≥ 25를 포함할 수 있다. 예시에서, P × Q 어레이는 81개의 발광 요소 또는 서브-락셀(225)을 포함하는 9 × 9 어레이이다.
각 화소(220)에 대해, 어레이 내의 발광 요소(225)는 공간 및 각도 근접성을 기초로 할당되거나 또는 그룹화되고(예를 들어, 논리적으로 그룹화되고), 라이트 필드 디스플레이(210)에 의해 시청자에게 제공되는 라이트 필드 뷰를 생성하는 데 기여되는 다른 광 출력(예를 들어, 방향성 광 출력)을 생성하도록 구성되는 발광 요소(225)의 개별적이고 분리된 그룹(예를 들어, 도 2c의 발광 요소의 그룹(260)을 참조)을 포함할 수 있다. 서브-락셀 또는 발광 요소를 락셀로 그룹화하는 것은 고유할 필요가 없다. 예를 들어, 조립 또는 제조 동안, 디스플레이 경험을 최선으로 최적화하는 특정 락셀로의 하위-락셀의 매핑이 있을 수 있다. 예를 들어, 다른 색상의 발광 요소의 밝기 및/또는 광-조향 광학 요소의 변하는 특성에서 시간에 따른 변화를 포함하는, 디스플레이의 다양한 부품 또는 요소의 노화를 고려하기 위해 배치되면, 디스플레이에 의해 유사한 재-매핑이 수행될 수 있다. 본 개시에서, "발광 요소의 그룹"이란 용어 및 "락셀"이란 용어는 라이트 필드 디스플레이에서 유사한 구조적인 유닛을 설명하기 위해 상호 교환적으로 사용될 수 있다. 다양한 그룹의 발광 요소 또는 락셀의 기여에 의해 생성된 라이트 필드 뷰는 시청자에 의해 연속적이거나 또는 비-연속적인 뷰로서 지각될 수 있다.
발광 요소(225)의 어레이에서 발광 요소(225)의 그룹의 각각은 적어도 세 개의 다른 색상의 광(예를 들어, 적색 광, 녹색 광, 청색 광 및 어쩌면 또한 백색 광)을 생성하는 발광 요소를 포함한다. 일 예시에서, 이들 그룹 또는 락셀의 각각은 적색 광을 생성하는 적어도 하나의 발광 요소(225), 녹색 광을 생성하는 하나의 발광 요소(225), 및 청색 광을 생성하는 하나의 발광 요소(225)를 포함한다. 다른 예시에서, 이들 그룹 또는 락셀의 각각은 적색 광을 생성하는 두 개의 발광 요소(225), 녹색 광을 생성하는 하나의 발광 요소(225) 및 청색 광을 생성하는 하나의 발광 요소(225)를 포함한다. 또 다른 예시에서, 이들 그룹 또는 락셀의 각각은 적색 광을 생성하는 하나의 발광 요소(225), 녹색 광을 생성하는 하나의 발광 요소(225), 청색 광을 생성하는 하나의 발광 요소(225) 및 백색 광을 생성하는 하나의 발광 요소(225)를 포함한다.
위에서 설명된 다양한 애플리케이션(예를 들어, 다른 크기의 라이트 필드 디스플레이)에 기인하여, 라이트 필드 디스플레이(210)와 관련하여 설명된 구조적인 유닛 중 일부의 크기 또는 치수는 상당히 변할 수 있다. 예를 들어, 화소(220)에서 발광 요소(225)의 어레이 또는 그리드의 크기(예를 들어, 어레이 또는 그리드의 직경, 폭 또는 스팬(span))는 약 10 마이크론과 약 1,000 마이크론 범위일 수 있다. 즉, 화소 또는 수퍼-락셀(220)과 연관된 크기는 이 범위 안에 있을 수 있다. 본 개시에서 사용된 "약"이란 용어는 공칭 값이거나 또는 공칭 값으로부터 1%, 2%, 3%, 4%, 5%, 10%, 15%, 20% 또는 25% 내의 차이를 나타낸다.
다른 예시에서, 화소(220)에서 발광 요소(225)의 각 그룹의 크기(예를 들어, 그룹의 직경, 폭 또는 스팬)는 약 1 마이크론과 약 10 마이크론 사이의 범위에 있을 수 있다. 즉, 발광 요소(225)의 그룹(예를 들어, 락셀(260))과 연관된 크기는 이 범위에 있을 수 있다.
또 다른 예시에서, 각 발광 요소(225)의 크기(예를 들어, 발광 요소 또는 서브-락셀의 직경, 폭 또는 스팬)는 약 0.4 마이크론과 약 4 마이크론 사이의 범위에 있을 수 있다. 유사하게, 각 발광 요소(225)의 크기(예를 들어, 발광 요소 또는 서브-락셀의 직경, 폭 또는 스팬)는 약 1 마이크론 미만일 수 있다. 즉, 발광 요소 또는 서브-락셀(225)과 연관된 크기는 위에서 설명된 범위에 있을 수 있다.
또 다른 예시에서, 광 조향 광학 요소(215)의 크기(예를 들어, 마이크로 렌즈 또는 렌즈릿의 직경, 폭 또는 스팬)는 화소 또는 수퍼-락셀에 대한 크기의 범위에 유사한, 약 10 마이크론과 약 1,000 마이크론 사이의 범위에 있을 수 있다.
도 2b에서, 도면(200b)은 위에서 설명된 바와 같이 대응하는 광-조향 광학 요소(215)를 갖는 화소(220)의 어레이의 일부의 확대도를 예시하는 라이트 필드 디스플레이(210)의 다른 예시를 도시한다. 피치(230)는 화소(220) 사이의 간격 또는 거리를 나타낼 수 있고, 광-조향 광학 요소(215)의 크기(예를 들어, 마이크로 렌즈 또는 렌즈릿의 크기)에 대한 것일 수 있다.
이 예시에서, 도 2b의 라이트 필드 디스플레이(210)는 화소 또는 수퍼 락셀(220)의 2,160 × 3,840 어레이를 갖는 4K 라이트 필드 디스플레이일 수 있다. 이러한 경우, 약 1.5 미터 또는 약 5 피트의 시청자 거리에 대해, 광-조향 광학 요소(115)의 크기는 약 0.5mm일 수 있다. 이러한 크기는 약 1 분각(arc-minute)/화소의 사람의 시력(acuity)과 일치할 수 있다. 이 예시에서 시청자의 시야(field of view, FOV)는 화소에 의해 제공되는 시야각보다 작을 수 있다(예를 들어, 시야각>FOV). 더욱이, 이 예시에서 4K 라이트 필드 디스플레이에 의해 제공되는 다수의 뷰는 사람의 동공의 직경과 일치하는 4mm 간격을 가질 수 있다. 이는 예를 들어 312개의 발광 요소(225)를 갖는 화소(220)에 의해 생성된 출력 광을 조향하는 광-조향 광학 요소(215)로 해석될 수 있다. 따라서, 이 예시에서 4K 라이트 필드 디스플레이는 라이트 필드 위상과 연속 시차를 제공할 수 있다. 8K 이상의 크기의 라이트 필드 디스플레이에 의해 유사한 결과가 제공될 수 있다.
도 2c에서 도면(200c)은 도 1a에서의 디스플레이(110)가 라이트 필드 디스플레이로서 구성될 때 본 개시에서 설명된 구조적인 유닛의 일부를 예시하기 위해 라이트 필드 디스플레이(예를 들어, 라이트 필드 디스플레이(210))의 일부의 단면도를 도시한다. 예를 들어, 도면(200c)은 각각 대응하는 광-조향 광학 요소(215)를 갖는 세 개의 인접한 화소 또는 수퍼-락셀(220a)을 도시한다. 이 예시에서, 광-조향 광학 요소(215)는 화소(220a)와 분리된 것으로 간주될 수 있지만, 다른 경우에서 광-조향 광학 요소(215)는 화소의 일부인 것으로 간주될 수 있다.
도 2c에 도시된 바와 같이, 각 화소(220a)는 다수의 발광 요소(225)(예를 들어, 다수의 서브 락셀)를 포함하고, 다른 타입의 수개의 발광 요소(225)(예를 들어, 수개의 서브 락셀)는 그룹(260) 내로(예를 들어, 락셀 내로) 함께 그룹화될 수 있다. 그룹 또는 락셀은 중간 화소(220a)에서 가장 오른쪽 그룹 또는 락셀에 의해 도시된 바와 같이 특정 광선 요소(광선)(205)에 기여하는 다양한 구성요소를 생성할 수 있다. 다른 화소에서 다른 그룹 또는 락셀에 의해 생성된 광선 요소(205)는 라이트 필드 디스플레이로부터 멀리 떨어진 시청자에 의해 지각되는 뷰에 기여할 수 있음이 이해될 것이다.
도 2c에서 설명된 추가적인 구조 유닛은 화소(220a)의 동일한 타입(예를 들어, 동일한 색상의 광을 생성함)의 발광 요소(225)의 그룹화를 나타내는 서브-화소(270)의 개념이다.
라이트 필드 디스플레이의 경우, 하나 이상의 디스플레이 처리 회로(130)는 화소(220)에서 발광 요소(225) 또는 발광 요소의 그룹(260)을 구동하는 데 사용되는 콘텐츠 또는 데이터를 처리하거나 수정하는 데 사용될 수 있다. 따라서, 도 1a 내지 도 1c와 관련하여 위에서 설명된 다양한 아키텍처 피처는 라이트 필드 능력을 갖는 향상된 디스플레이를 제공하기 위해 도 2a 내지 2c와 관련하여 위에서 설명된 아키텍처 피처와 결합될 수 있다. 이와 관련하여, 디스플레이 처리 회로(130)는 슈퍼-락셀 레벨(화소(220))에서, 락셀 레벨(발광 요소의 그룹(26))에서 및/또는 서브-락셀 레벨(발광 요소(225))에서 적절한 정보를 생성하도록 구성될 수 있다. 즉, 디스플레이 처리 회로(130)는 하나 이상의 작업을 수행하는 동안 데이터 스트림을 수신하고 데이터 스트림을 수정하도록 구성될 수 있으며, 수정된 데이터 스트림은 어레이 내의 픽셀이 슈퍼-락셀, 락셀 또는 서브-락셀이든, 라이트 필드 디스플레이의 뷰 또는 원하는 뷰를 생성하는 데 필요한 광선 요소 또는 광선(205)에 기여하기 위한 적절한 신호 또는 명령어를 수신하도록, 백플레인(들)(150) 및 픽셀 어레이(들)(151)에 신호 또는 다른 명령어를 제공하는 데 사용될 수 있다.
도 2d는 디스플레이(210)와 같은 라이트 필드 디스플레이에서 디스플레이 처리 회로(130)와 백플레인(들)(150) 사이의 통합의 예시를 예시하는 도면(200d)을 도시한다. 도시된 바와 같이, 디스플레이 처리 회로(130)는 하나 이상의 백플레인(150)에 결합되고, 이는 결국 하나 이상의 픽셀 어레이(151)에 결합된다.
도면(200d)에서 하나 이상의 픽셀 어레이(151)는 방향성 픽셀을 포함할 수 있다. 더욱이, 하나 이상의 픽셀 어레이(151) 내의 픽셀의 다른 서브세트는 다른 방향으로 지향된 광에 기여하도록 구성된다. 즉, 하나 이상의 픽셀 어레이(151) 내의 픽셀은 하나 이상의 방향에서 다른 색상의 광 및 다른 강도의 광에 기여하도록 구성된다.
하나 이상의 픽셀 어레이(151)는 하나 이상의 층(미도시)을 포함할 수 있고, 각 층은 광 생성 요소(예를 들어, 발광 요소(225) 참조), 광 흡수 요소, 광 반사 요소, 광 투과 요소, 광 수정 요소 또는 광학 요소 중 하나 이상을 포함한다. 광학 요소는 렌즈, 광학 장벽(optical barriers), 도파관(waveguides), 광섬유, 전환 가능한 광학계(switchable optics), 방향 수정 요소, 편광 수정 요소 또는 광 스플릿 요소 중 하나 이상을 포함한다.
디스플레이 처리 회로(130)는 애플리케이션 특정 집적회로(application specific integrated circuits, ASICs), 필드 프로그램 가능 게이트 어레이(field programmable gate arrays, FPGAs), 프로그램 가능 집적 회로, 중앙 처리 유닛, 그래픽 처리 유닛, 텐서 처리 유닛(tensor processing units), 신경망 집적 회로, 비전 처리 유닛 또는 뉴로모픽 프로세서(neuromorphic processors) 중 하나 이상을 포함할 수 있다. 즉, 디스플레이 처리 회로(130)는 일부 형태의 전자 하드웨어를 포함할 수 있다. 일부 구현에서, 디스플레이 처리 회로는 또한, 정책 및 선택된 동작 모드에 따라 전자 하드웨어를 동작시키기 위해 저장된 명령어를 포함할 수 있다. 명령어는 소프트웨어, 펌웨어 또는 둘 모두의 형태이다. 디스플레이 처리 회로(130)가 저장된 명령어 없이 동작할 수 있는 구현이 있을 수 있다. 예를 들어, 연산의 논리는 ASIC 또는 FPGA에 내장될 수 있고, 신경망 칩은 ASIC 또는 FPGA로 구현된 그의 논리를 갖고, 명령어에 대한 요구 없이 저장된 그의 가중치를 가질 수 있다.
도 2e는 본 개시의 양상에 따라 백플레인(들)(150) 위의 디스플레이 처리 회로(130)의 분포의 예시를 예시하는 도면(200e)을 도시한다. 예를 들어, 디스플레이 처리 회로(130)의 전자 하드웨어는 하나 이상의 백플레인(150)에 걸쳐 공간적으로 분포된 트랜지스터-레벨 회로를 포함한다. 일부 구현에서, 하나 이상의 백플레인(150)에 걸쳐 분포된 트랜지스터-레벨 회로는 백플레인(150)의 회로 구성의 트랜지스터-레벨 회로와 동일한 기판 상에 형성된다(예를 들어, 도 2d의 도면(200d)에서 백플레인(들)(150)에 형성된 디스플레이 처리 회로(130)의 부분(280) 참조).
도면(200e)은 디스플레이 처리 회로(130)에서의 전자 하드웨어가 백플레인에 걸쳐 공간적으로 분포된 다수의 이산 집적 회로(IC) 유닛(285)을 포함할 수 있고, 각 IC 유닛(285)이 픽셀 어레이의 서브세트와 연관될 수 있음을 도시한다. 일부 경우에서, IC 유닛은 동일한 기능을 수행하도록 구성된다. 다른 경우에서, IC 유닛은 다른 기능을 수행하도록 구성된다.
다른 구현에서, 디스플레이 처리 회로(130)의 전자 하드웨어는 하나 이상의 백플레인(150)에 걸쳐 공간적으로 분포된 다수의 IC 유닛(285)뿐만 아니라, 하나 이상의 백플레인(150)에 걸쳐 또한 공간적으로 분포되는 트랜지스터-레벨 회로를 포함할 수 있다.
디스플레이 처리 회로(130)에서의 전자 하드웨어는 공간적으로, 각도로, 시간적으로, 무작위 분포(random distribution)에 의해, 도착 순서에 의해, 하나 이상의 데이터 스트림과 연관된 일부 다른 순서에 의해, 또는 이들의 조합에 의해 처리 작업을 분리한 회로의 계층(hierarchy)으로서 구현될 수 있다. 회로의 계층에서 분리한 처리 작업은 동시에, 순차적으로 또는 이들 모두로 처리될 수 있다. 도면(200e)은 IC 유닛을 사용하여 구현될 수 있는 상위 레벨, 및 IC 유닛(285) 중 하나 이상을 사용하여 구현된 것으로 도시된 하위 레벨을 갖는 계층을 도시한다. 이는 단지 설명을 위한 예시로서 제공되고 디스플레이 처리 회로(130)에 대한 계층적인 배열의 다른 구현이 또한 가능하다는 것이 이해될 것이다.
도 3은 디스플레이에서 사용되는 데이터를 처리하기 위한 처리 파이프라인의 예시를 예시하는 도면(300)을 도시한다. 처리 파이프라인은 예를 들어, 호스트 프로세서(155)(또는 소스(120)의 일부 부분)와 같은 처리 호스트에 의해 수행될 수 있는 작업의 예시를 포함하는 콘텐츠 호스트 파이프라인(310)을 포함할 수 있다. 처리 파이프라인은 또한, 디스플레이측 파이프라인(330)을 포함할 수 있으며, 이는 예를 들어 디스플레이(110)에서의 디스플레이 처리 회로(130)(또는 다수의 디스플레이 처리 회로(130))와 같은 디스플레이에서의 처리 엔진에 의해 수행될 수 있는 작업의 예시를 포함한다. 상기 예시가 처리 호스트에 의해 수행되는 작업과 디스플레이측에서 수행되는 작업 간에 분할된 처리 파이프라인을 도시하지만, 처리 호스트가 디스플레이에 통합되면, 전체 처리 파이프라인이 디스플레이측에서 수행될 수 있다.
콘텐츠 호스트 파이프라인(310)은 하나 이상의 작업을 포함할 수 있다. 이 예시에서, 콘텐츠 호스트 파이프라인(310)은 호스트 프로세서(155)에 의해 수행될 수 있는, 렌더링/캡처(315) 및/또는 데이터 압축(320)을 선택적으로 포함할 수 있다. 위에서 설명된 바와 같이, 호스트 프로세서(155)는 영화 또는 RGBD 카메라로부터 RGBD 데이터를 스트리밍하거나, 또는 컴퓨터 생성 콘텐츠로부터 RGBD 데이터를 렌더링할 수 있다. 유사하게, 호스트 프로세서(155)는 데이터 스트림(들)(125)에서 콘텐츠/데이터를 HDMI/DP 연결을 통해 디스플레이 처리 회로(130)로 전송할 수 있도록 데이터 압축 동작을 수행할 수 있다.
콘텐츠 호스트 파이프라인(310)이 디스플레이측에서 수행될 때, 디스플레이 처리 회로(130)는 작업을 수행하기 위해 수개의 아키텍처 중 하나를 사용할 수 있다. 일 예시에서, 디스플레이 처리 회로(130)는 작업을 수행하기 위해 고유한 다수의 가중치 세트를 사용하여 하나 이상의 신경망(예를 들어, 도 5a 및 5b 참조)을 구현하고 실행할 수 있다. 일부 경우에서, 단일 신경망이 구현되고 실행될 수 있는 반면, 다른 경우에서 다수의 신경망이 구현되고 실행될 수 있다.
디스플레이측 파이프라인(330)은 하나 이상의 작업을 포함할 수 있다. 이 예시에서, 디스플레이측 파이프라인(330)은 콘텐츠 분류(340), 대응(350), 보간/초해상도(interpolation/super-resolution, 360) 및/또는 디스플레이 재매핑(remapping, 370)을 선택적으로 포함할 수 있다. 덧붙여, 디스플레이측 파이프라인(330)은 또한, 보간/초해상도(360) 및 디스플레이 재매핑(370) 중 하나 또는 둘 모두에 피드백을 제공하는 데 사용될 수 있는 사용자 추적(380)을 포함할 수 있다.
콘텐츠 호스트 파이프라인(310) 및 디스플레이측 파이프라인(330)에 도시된 다양한 작업이 특정 순서 또는 시퀀스로 설명되지만, 동일한 작업 또는 동일한 작업의 서브세트가 도면(300)에 도시된 것과 다른 순서 또는 시퀀스로 수행될 수 있음이 이해될 것이다. 더욱이, 도시된 작업의 각각은 콘텐츠 호스트 파이프라인(310) 및 디스플레이측 파이프라인(330)이 도면(300)에 도시된 것보다 더 적은 작업을 포함할 수 있도록, 선택적일 수 있다. 덧붙여, 도면(300)은 제한이 아닌 예시로서 제공된다. 아래에서 더욱 상세히 설명되는 바와 같이, 도면(300)에 도시된 것과 다른 작업이 또한, 수행될 수 있으며, 이들 다른 작업은 도면(330)에 설명된 작업의 양상 또는 피처를 포함할 수 있거나 및/또는 도면(300)에서 설명된 작업 중 일부에 추가적으로 사용될 수 있다. 예를 들어, 보간/초해상도(360)의 양상은 아래에서 더 상세히 설명되는 다수의 변환 작업에서 사용될 수 있다.
디스플레이측 파이프라인(330)으로 돌아가면, 콘텐츠 분류(340)는 개별적인 픽셀, 2차원(2D) 피처, 3차원(3D) 피처, 이미지 타입 또는 이들의 조합을 분류하기 위한 차원 축소를 제공할 수 있다. 일 예시에서, 콘텐츠 분류(340)는 하나 이상의 기준을 기초로 소스(예를 들어, 소스(120))로부터 콘텐츠(예를 들어, 콘텐츠/데이터(125))의 분류를 제공하며, 이러한 분류는 분류의 결과와 일치하는 적절한 처리 동작을 식별하는데 사용될 수 있다. 일부 구현에서, 콘텐츠 분류(340)는 이미지 처리 또는 콘텐츠의 타입(스포츠, 영화, 데스크톱 처리, 게임 등) 또는 낮은 레벨의 이미지 피처에 영향을 미치는 편집(컷(cuts)), 조명, 카메라 프레이밍(클로즈업(closeup)/광각)의 높은 레벨의 특성을 식별할 수 있다. 일 예시에서, 디스플레이 처리 회로(130)가 신경망을 사용할 때, 디스플레이 처리 회로(130)는 분류에 응답하여, 디스플레이의 메모리(예를 들어, 메모리(135))에 저장된 다른 다수의 가중치 세트로부터 고유한 다수의 가중치 세트를 동적으로 로딩하도록(load) 구성될 수 있다. 더욱이, 디스플레이 처리 회로(130)는 그 후, 고유한 다수의 가중치 세트를 사용하여 하나 이상의 신경망(예를 들어, 도 5a 및 5b 참조)을 구현하고 실행할 수 있다. 일부 경우에서, 단일 신경망이 구현되고 실행될 수 있는 반면, 다른 경우에서 다수의 신경망이 구현되고 실행될 수 있다.
위에서 설명된 콘텐츠 분류(340)는 다음 중 하나 이상을 포함할 수 있다: 애플리케이션(예를 들어, 게임, 워드-프로세싱, 스포츠, 원격 회의(teleconferencing) 등) 별로 콘텐츠를 분류하는 것, 주제(사람, 텍스트, 풍경, 실내, 실외 등) 별로 콘텐츠를 분류하는 것, 추정된 깊이, 움직임에 기초하여 분류를 수행하는 것, 장면 파라미터(예를 들어, 조명, 카메라, 기하학적 구조)의 추정/분류를 수행하는 것 및 (예를 들어, 변화, 강도, 움직임의 크기에 기인한) 장면 컷의 추정을 수행하는 것. 장면 추정은 콘텐츠 분류뿐만 아니라 일반적인 깊이/3D 추정에도 관련된다. 깊이의 추정은 각 프레임이 분리되어 다루어지지 않는 경우 훨씬 더 강력하지만, 홀을 채우고 움직임으로부터 깊이를 추정하고 잡음을 제거하는 등을 위해 추가적인 정보를 사용한다. 워드 프로세싱과 같은 일부 애플리케이션에서는 2D 텍스트가 두드러진 경향이 있을 것이다 - 이 경우 콘텐츠는 공간 해상도, 대비 및 가독성에 초점을 맞추면서 디스플레이 평면에서 보이도록 최적화될 가능성이 높을 것이다. 원격 회의는 인체에 초점을 맞추는 경향이 있으며, 눈 및 입의 세부사항을 캡처하는 것이 가장 중요하다. 게임 또는 스포츠와 같은 다른 애플리케이션은 더욱 동적일 것이며, 분류의 목적으로 훨씬 더 넓은 범위의 콘텐츠를 가질 것이다. 실제로, 특정 데이터의 클래스(예를 들어, 얼굴, 스포츠, 텍스트)에 대해 신경망을 트레이닝시키고(train), 처리하는 데이터를 기초로 런타임에 신경망에 의해 필요한 가중치를 전환하는 것이 가능할 것이다.
대응(350)은 스테레오 매칭 또는 광학 흐름 중 하나 이상에 대해 수행할 수 있다. 보간/초해상도(360)는 2D 대 3D의 변환 또는 낮은 동적 범위 대 높은 동적 범위(LDR 대 HDR) 변환 중 하나 또는 둘 모두에 대해 수행할 수 있다. 일부 구현에서, 대응(350) 및 보간/초해상도(360)는 공간 차원, 시간적 차원 또는 각도 차원 중 하나 이상에 걸칠 수 있다.
디스플레이 재매핑(370)은 수신된 콘텐츠/데이터가 디스플레이의 능력에 직접적으로 매핑되지 않는 경우, 강도 재매핑, 밝기 재매핑, 해상도 재매핑, 종횡비 재매핑, 색상 재매핑 또는 콘텐츠 깊이 재매핑 중 하나 이상을 수행할 수 있다.
디스플레이 재매핑(370)은 하나 이상의 지각 메트릭(예를 들어, 사용자 추적(380)에 의해 제공되는 지각 메트릭)을 사용하여 디스플레이 깊이 총량(display depth budget) 내에 맞추기 위해 이미지 강도 및 불일치(disparity)를 왜곡하도록(warp), 보간/초해상도(360)의 보간 부분의 신경망 구현에 사용되는 가중치의 조정을 제공하는 깊이 재매핑을 수행할 수 있다.
다른 양상에서, 디스플레이 재매핑(370)은 깊이 정보가 이용 가능할 때(예를 들어, 콘텐츠 또는 데이터가 깊이 정보를 포함할 때) 적용 가능한 깊이 재매핑을 수행하거나, 또는 깊이 정보가 이용 가능하지 않을 때 적용 가능한 불일치 재매핑을 수행할 수 있다. 불일치 재매핑은 스테레오 이미지 또는 스테레오 비디오를 포함하는 콘텐츠 또는 데이터와 관련하여 사용될 수 있다. 일 구현에서, 불일치 재매핑은 깊이 정보로 변환될 수 있으며, 이 경우 깊이 재매핑은 불일치 재매핑의 변환의 결과로서 수행될 수 있다.
깊이 재매핑에 관련하여, 라이트 필드 디스플레이는 콘텐츠가 물리적인 디스플레이의 평면에 가깝게 배치될 때 가장 높은 해상도 및 정확도로 3D 콘텐츠를 나타낼 수 있다. 점점 디스플레이 평면 뒤로 위치하거나 또는 점점 디스플레이의 앞으로 위치하는 콘텐츠는 감소된 해상도와 정확도로만 표현되고 디스플레이될 수 있다. 디스플레이될 장면의 일부가 디스플레이 평면으로부터 멀리 떨어져 있는 경우, 이는 종종 흐릿하게 나타난다. 깊이 재매핑의 프로세스는 장면의 일부가 디스플레이 평면에 더욱 가깝게 이동하도록, 장면의 3D 구조를 수정하는 것을 수반한다. 이를 달성하는 일부 방식은 장면 내에서 전체 장면 또는 개별적인 객체를 이동시키는 것, 장면 또는 객체의 크기를 균일하게 스케일링(scaling)하는 것, 장면 또는 객체의 깊이 방향만을 스케일링하는 것, 또는 전체 장면 또는 장면의 일부에 대한 비선형 공간 변환을 적용하는 것을 포함한다.
디스플레이 재매핑(370)은 디스플레이의 파라미터 또는 디스플레이의 능력 중 하나 또는 둘 모두와 연관된 하나 이상의 재매핑 파라미터에 기초할 수 있고, 디스플레이의 파라미터 또는 디스플레이의 능력 중 하나 또는 둘 모두는 공간 해상도, 각도 해상도, 동적 범위 또는 시야 중 하나 이상을 포함한다. 즉, 들어오는 콘텐츠 또는 데이터가 공간 해상도, 각도 해상도, 동적 범위 및/또는 시야(또는 디스플레이의 다른 유사한 파라미터 또는 능력)에 맞지 않을 때, 디스플레이의 물리적인 제한 및 성능 제한에 콘텐츠 또는 데이터를 더욱 잘 맞추도록, 디스플레이 재매핑(360)이 수행될 수 있다.
디스플레이 처리 회로(130)가 디스플레이측 파이프라인(330)에서 작업을 수행하기 위해 하나 이상의 신경망을 구현하고 실행하는 데 사용될 때, 디스플레이 처리 회로(130)는 디스플레이 재매핑(370)을 수행하기 위한 하나의 신경망, 및 디스플레이측 파이프라인(330)에서 다른 작업의 일부 또는 전체를 수행하기 위한 하나 이상의 추가적인 신경망을 구현하고 실행할 수 있다.
다른 양상에서, 디스플레이 처리 회로(130)는 콘텐츠 분류(340), 보간/초해상도(360) 및 디스플레이 재매핑(370)을 수행하기 위해 단일 신경망을 구현하고 실행할 수 있다. 단일 신경망을 사용함으로써, 이들 작업의 모두는 분리되고 순차적인 신경망 동작으로서 수행되는 대신에, 단일 신경망 동작으로 결합될 수 있다.
사용자 추적(380)은 예상되는 시청 위치에 대한 계산 리소스 및 지각 메트릭의 최적화를 제공하며, 예를 들어 센서 피드백을 기초로 할 수 있다.
수행될 수 있는 광범위한 가능한 작업의 관점에서, 본 개시는 디스플레이 상의 이미지 및 비디오 처리, 즉 CPU/GPU 또는 일부 다른 소스로부터의 데이터 전송 이후의 신경망의 사용을 제안한다. 신경망은 다양한 애플리케이션을 위한 컴퓨터 비전 및 카메라 중심 작업에서의 이미지 처리에 대해 숙련된 품질(art quality)의 상태를 증명하였지만, 이들 기술은 아직 디스플레이 중심 처리에 사용되지 않고 있다. 따라서, 본 개시는 디스플레이상에서 본원에서 설명된 수개의 특정 작업을 수행하기 위한 신경망의 사용을 제안한다. 이들 특정 작업 또는 알고리즘은 디스플레이에서의 전용 프로세서, PU(처리 유닛) 또는 디스플레이 처리 유닛(DPU)로 지칭될 수 있는 디스플레이 처리 회로(130)에서 구현될 것이다. 본원에서 설명된 바와 같이 디스플레이-중심 작업을 사용함으로써, 대역폭을 절약하고 소스(120)(예를 들어, CPU(165)/GPU(160))로부터 가능한 한 적은 콘텐츠/데이터를 디스플레이(110)로 송신하는 것이 가능할 수 있다.
도 1b 및 1c에 관련하여 위에서 설명된 바와 같이, 하나 이상의 디스플레이 처리 회로(130)는 디스플레이(110) 또는 다수의 디스플레이(110) 상에 설치되거나 또는 통합될 수 있으며, 이들 디스플레이 처리 회로(130)는 프로그램 가능할 수 있고, 일부 경우에서 신경망-특정 계산과 같은 특정 아키텍처에 대한 하드웨어 가속을 포함하는 하드웨어 가속을 제공할 수 있다. 신경망 아키텍처를 사용할 때(디스플레이 처리 회로(130)가 또한, 고정-함수 논리 신호 처리 아키텍처 또는 프로그램 가능 파이프라인 아키텍처를 사용하는 경우), 디스플레이 처리 회로(130)는 맞춤형으로 설계된 칩(custom-designed chip)일 수 있거나 또는 이는 일반적인 신경망 가속기(예를 들어, 구글의 텐서 처리 유닛(Tensor Processing Unit) 또는 인텔의 모비디우스(Movidius) 칩)를 사용하여 구현될 수 있다. 다른 예시에서, 디스플레이 처리 회로(130)는 예를 들어, 필드 프로그램 가능 게이트 어레이(FPGA), 디지털 신호 프로세서(digital signal processor, DSP), ARM 프로세서 또는 GPU에서 구현될 수 있다. 이들 경우 중 어느 것에서, 디스플레이 처리 회로(130)는 본원에서 설명된 (콘텐츠 호스트 파이프라인(310) 및/또는 디스플레이측 파이프라인(330)의 작업을 포함하는) 다양한 작업을 포함하는 디스플레이-중심 이미지 또는 비디오 처리 및/또는 다른 디스플레이 관련 작업에 사용될 수 있다.
도 4는 디스플레이(110)에서 디스플레이 처리 회로(130)의 아키텍처의 일 예시를 예시하는 블록도(400)를 도시한다(아래에서 도 8은 디스플레이 처리 회로(130)에 대한 다른 아키텍처를 설명한다). 디스플레이 처리 회로(130)는 입력 구성요소(410), 처리 구성요소(420) 및 출력 구성요소(430)를 포함할 수 있다. 입력 구성요소(410)는 소스로부터 콘텐츠(예를 들어, 소스(120)로부터의 하나 이상의 데이터 스트림(125) 내의 콘텐츠/데이터 또는 다른 정보)를 수신하도록 구성된다. 처리 구성요소(420)는 디스플레이(110)에 의한 프리젠테이션을 위한 데이터 및/또는 시그널링으로 수정된 데이터 스트림(들)(450)을 생성하기 위해 데이터 스트림(들)(125)을 수정하는 작업 세트를 수행하기 위해 하나 이상의 신경망을 구현하고 실행하도록 구성된다. 하나 이상의 신경망은 컨볼루션 신경망(convolutional neural networks)을 포함할 수 있다. 컨벌루션 신경망은 하나 이상의 컨볼루션층으로 구성된다. 컨볼루션 신경망은 또한, 하나 이상의 다운-샘플링층(down-sampling layers)을 포함할 수 있다. 선택적으로, 컨볼루션층 및/또는 서브 샘플링층은 완전히 연결된 층이 후속할 수 있다. 컨볼루션 신경망은 예를 들어, 연관된 2D, 3D, 4D 또는 5D 컨볼루션 연산을 수행하는 데 사용될 수 있다.
하나 이상의 데이터 스트림(125)이 이미지를 포함할 때, 예를 들어, 하나 이상의 데이터 스트림(125)의 수정은 전체 이미지 또는 이미지의 하나 이상의 부분에 대해 처리 구성요소(420)에 의해 선택적으로 수행될 수 있다.
처리 구성요소(420)는 하나 이상의 신경망의 구현을 가능하게 하는 처리 엔진(425)을 포함할 수 있다. 일 예시에서, 처리 엔진(425)은 다른 가중치 세트를 기초로 다른 신경망 구성을 구현하기 위해 동적으로 구성 가능한 패브릭(fabric)을 포함한다. 다른 구성은 다른 수의 층, 노드 및/또는 가중치를 가질 수 있다. 신경망은 디스플레이 메모리(135)에 저장되고 디스플레이(110)에 제공되는 가중치를 사용하여 처리 구성요소(420) 및/또는 처리 엔진(425)에서 구현된다. 출력 구성요소(430)는 디스플레이(110) 내의 각각의 백플레인(들)(150) 및 픽셀 어레이(들)(151)에 수정된 콘텐츠(예를 들어, 수정된 데이터 스트림(들)(450))를 제공하도록 구성된다.
위에서 설명된 바와 같이, 디스플레이 처리 회로(130)(및 처리 엔진(425))는 동작 이전에 및/또는 동작 동안에, 동적으로 프로그램되거나 또는 구성될 수 있다. 이와 같이, 디스플레이 처리 회로(130)는 디스플레이 처리 회로(130)에 의해 수행될 다양한 작업에 따라, 처리 구성요소(420) 및/또는 처리 엔진(425)을 구성하는 구성 구성요소(440)를 포함할 수 있다. 일 양상에서, 구성 구성요소(440)는 디스플레이 메모리(135)로부터 하나 이상의 신경망 가중치 세트를 수신하거나 획득할 수 있고, 프로그램 가능 가중치 구성요소(445)와 같은 내부 메모리 구조에 가중치를 저장할 수 있다. 프로그램 가능 가중치 구성요소(445)에서 가중치는 처리 구성요소(420) 및/또는 처리 엔진(425)에서 다른 신경망 구성을 프로그램 하는 데 사용될 수 있다.
일 양상에서, 구성 구성요소(440)는 입력 구성요소(410)로부터 데이터 스트림(들)(125)과 연관된 정보를 수신할 수 있다. 구성 구성요소(440)는 출력 구성요소(430)로부터 수정된 콘텐츠/데이터(450)와 연관된 정보를 수신할 수 있다. 구성 구성요소(440)는 수신하는 정보를 기초로, 특정 작업에 대해(또는 특정 작업 세트에 대해) 사용할 가중치 세트를 결정할 수 있다. 다시 말해서, 구성 구성요소(440)는 가장 적절한 가중치 세트 및 결과적으로, 특정한 작업에 대해 사용할 가장 적절한 신경망 구성을 결정하기 위해 조건 기준을 결정하도록 입력 정보 및/또는 출력 정보를 사용할 수 있다. 예를 들어, 디스플레이(110)에 의한 프리젠테이션을 위해 처리 구성요소(420)에 의한 데이터 스트림(들)(125)의 수정 또는 처리는 콘텐츠 그 자체, 추정된 현저성(saliency) 또는 (예를 들어, 하나 이상의 센서(155)로부터의) 지각 메트릭에 적어도 부분적으로 기초할 수 있다. 현저성에 관련하여, 디스플레이 처리 회로(130)의 일 양상은 낮은 비트 속도의 JPEG 압축에서의 직사각형(straight-edged) 블록과 같이, 그 자체로 주의를 끌 수 있는 허위 현저성 큐(spurious saliency cues)를 도입할 수 있는 압축/디스플레이 아티팩트(artifacts)를 최소화하는 것이다.
처리 구성요소(420)는 도 3의 도면(300)에서 디스플레이측 파이프라인(330)과 관련하여 위에서 설명된 작업뿐만 아니라, 아래에서 설명된 하나 이상의 작업 중 하나 이상을 포함하는, 하나 이상의 작업을 수행하도록 구성된다.
예를 들어, 처리 구성요소(420), 그러므로 디스플레이 처리 회로(130)는 (예를 들어, 보간/초해상도(360) 또는 일부 다른 작업의 일부로서) 이미지 및 비디오 초해상도를 수행하도록 구성될 수 있다. 이미지 및 비디오 초해상도는 단일 2D 이미지, 비디오 또는 다수의 이미지 또는 비디오를 입력으로 취하고, 단일 고해상도 이미지 또는 고해상도 비디오를 출력으로서 생성함으로써 이 데이터의 해상도 또는 픽셀 수를 개선하는 기술을 지칭할 수 있다. 이 기술은 입력 이미지(들) 또는 비디오가 디스플레이보다 낮은 해상도를 가질 때 필요하다. 기존의 디스플레이는 초해상도 애플리케이션을 위해 선형 또는 큐빅 업-샘플링(up-sampling)과 같은 간단한 알고리즘을 사용할 수 있다. 하지만, 신경망 기술을 사용함으로써, 더욱 넓은 범위의 알고리즘이 사용될 수 있다. 더욱이, 신경망은 대규모 트레이닝 데이터 세트로부터 학습된 자연 이미지 통계를 적용함으로써 간단한 보간을 능가할 수 있다. 신경망은 예를 들어, 저해상도/고해상도의 쌍 또는 대응하는 RGB, RGBD, 스테레오, 라이트 필드 데이터에서 독립적으로 트레이닝될 수 있다. 트레이닝에 사용되는 데이터는 합성되거나 기록될 수 있다. 다수의 작업을 단일 네트워크로 통합함으로써 전체로서 네트워크를 트레이닝시키는 것이 또한 가능하다.
다른 예시에서, 처리 구성요소(420) 및 그러므로, 디스플레이 처리 회로(130)는 낮은-동적-범위 대 높은-동적-범위(LDR 대 HDR)의 이미지 및 비디오 변환을 수행하도록 구성될 수 있다. 종래의 이미지 및 비디오 콘텐츠는 색상 채널당 8 비트, 즉 적색, 녹색 및 청색 채널의 각각에 대해 8 비트를 사용하여 디지털로 인코딩된다. 최근 생겨난 고-대비 또는 높은-동적-범위 디스플레이(예를 들어, 고-대비 또는 높은 동적-범위 능력을 갖는 디스플레이(110))는 디스플레이에 의해 처리 가능한 휘도/색상/강도 값의 범위를 적절하게 인코딩하기 위해 색상 채널당 더욱 많은 비트를 요구한다. 충분한 비트 깊이 없이, 윤곽 대비(contouring)와 같은 강도/색상 아티팩트가 관찰 가능할 것이다. 통상적으로 채널당 10, 16 또는 32 비트로 인코딩된 높은 동적-범위 이미지 및 비디오가 생성될 수 있지만, 이 포맷의 콘텐츠는 현재 드물며 모든 디스플레이 데이터 통신 표준이 이들 데이터 포맷을 지원하는 것은 아니다. 이미지 및 비디오 처리를 위해 레거시 낮은 동적-범위 이미지 또는 비디오를 높은 동적-범위 이미지 또는 비디오로 변환하기 위한 수개의 알고리즘이 제안되었지만, 이들 알고리즘은 제한을 가질 수 있다. 처리 구성요소(420)에서 구현된 신경망을 사용함으로써, 디스플레이에서 광범위한 디스플레이 중심 LDR-대-HDR 동작을 직접적으로 수행하는 것이 가능하다. 알고리즘의 입력은 단일 낮은-동적-범위 이미지, 다수의 낮은-동적-범위 이미지 또는 낮은-동적-범위 비디오가 될 것이고, 출력은 단일의 높은-동적-범위 이미지 또는 비디오가 될 것이다.
다른 예시에서, 처리 구성요소(420) 및 그러므로, 디스플레이 처리 회로(130)는 단일 이미지 또는 비디오로부터 깊이 추정을 수행하도록 구성될 수 있다. 라이트 필드 또는 안경이 없는 3D 디스플레이는 통상적으로, 입력으로서 3D 이미지 콘텐츠 예를 들어, 깊이 정보를 갖는 이미지 또는 비디오, 또는 라이트 필드 이미지 또는 비디오를 요구한다. 레거시 2D 이미지 또는 비디오는 보통, 이 정보를 제공하지 않는다. 처리 구성요소(420)는 모든 프레임에 대한 이 이미지 또는 비디오의 깊이 정보를 추정하기 위해 단일 2D 이미지 또는 비디오를 입력으로 취하기 위해 디스플레이상의 신경망을 사용하도록 구성될 수 있다. 따라서, 출력은 각 픽셀에 대한 거리를 카메라 또는 시청자에게 제공하는, 깊이 정보의 깊이 맵 또는 비디오이다. 이 깊이 정보는 직접적으로 사용되거나 또는 라이트 필드 합성을 위해 더 처리될 수 있다.
다른 예시에서, 처리 구성요소(420) 및 그러므로 디스플레이 처리 회로(130)는 단일 이미지 또는 비디오로부터 라이트 필드 합성을 수행하도록 구성될 수 있다. 라이트 필드 디스플레이는 디스플레이의 서로 다른 방향으로 다수의 다른 이미지를 디스플레이할 목적으로 빛의 광선 또는 빛의 광선 번들(예를 들어, 도 2c의 광선(205)을 참조)을 물리적으로 처리한다. 이는 하나 또는 다수의 사용자에 의한 콘텐츠의 안경이 없는 3D 시청을 허용하거나, 또는 사용자가 디스플레이의 물리적인 거리뿐만 아니라 다른 거리에 그의 눈을 맞추도록(예를 들어, 초점을 맞추도록) 허용하거나, 또는 사용자의 시각적인 결함이 보정되는 것(예를 들어, 근시, 원시, 노안 또는 다른 광학적인 수차(optical aberrations)의 처방 교정)을 허용할 수 있다.
라이트 필드는 디스플레이의 표면(예를 들어, 일반적인 디스플레이에서와 같은 픽셀) 위에서 변하는 강도 및 색상 정보를 포함하지만, 각 픽셀에 대해 라이트 필드는 또한, 방향 정보도 포함한다. 즉, 디스플레이 픽셀은 다른 강도 또는 색상을 다른 방향으로 방출할 수 있다. 도 2a-2c에 도시된 바와 같이, 라이트 필드 디스플레이는 화소(220)(슈퍼-락셀), 발광 요소의 그룹(260)(락셀) 및 발광 요소(225)(서브-락셀)를 가질 수 있다. 라이트 필드 디스플레이는 개별적인 발광 요소(225), 발광 요소 그룹(260) 및 화소(220)에 대해 다른 강도 또는 색상을 다른 방향으로 제어할 수 있다.
라이트 필드는 전용 라이트 필드 카메라로 기록되거나 또는 컴퓨터 생성될 수 있다. 하지만, 대부분의 기존의 콘텐츠는 라이트 필드 포맷으로는 이용 가능하지 않다. 처리 구성요소(420)는 2D 이미지 또는 비디오를 입력으로서 취하고 그로부터 라이트 필드 이미지 또는 비디오를 직접적으로 계산하기 위해 디스플레이상의 신경망을 사용하도록 구성될 수 있다. 이는 신경망을 사용하여 직접적으로 이루어지거나, 또는 각 스테이지가 신경망 또는 다른 알고리즘을 사용할 수 있는 다수의 스테이지에서 이루어질 수 있다. 이들 스테이지는 다음 동작 중 하나 이상을 포함할 수 있지만 이들에 제한되지 않는다: (a) (위에서 설명된) 단일 이미지 또는 비디오로부터의 깊이 추정, (b) 뷰 왜곡 또는 깊이-기반 이미지 왜곡, (c) 홀-채우기(hole-filling), (d) 색상 또는 강도 처리 또는 (e) 뷰 인터레이싱(interlacing).
다른 예시에서, 처리 구성요소(420) 및 그러므로 디스플레이 처리 회로(130)는 이미지 및 깊이 또는 비디오 및 깊이로부터 라이트 필드 합성을 수행하도록 구성될 수 있다. 하지만, 위에서 설명된 개념에 유사하게, 2D 이미지 또는 비디오를 입력으로 취하고 라이트 필드를 출력하는 것 대신에, 처리 구성요소(420)는 깊이 정보를 갖는 단일 2D 이미지, 깊이 정보를 갖는 다수의 2D 이미지, 또는 깊이 정보를 갖는 3D 비디오를 입력으로 취하고 라이트 필드 이미지 또는 비디오를 출력함으로써, 라이트 필드 합성을 위해 신경망을 사용하도록 구성될 수 있다. 스테이지는 제4항에서 설명된 것과 동일하게 위에서 설명된 것과 동일하거나 유사할 수 있지만, 정보가 이미 제공되거나, 이전에 계산되거나, GPU로부터 스트리밍되거나 또는 애플리케이션에 의해 다른 방식으로 제공되기 때문에, 단일 이미지 또는 비디오로부터의 깊이 추정은 필요치 않을 수 있다.
다른 예시에서, 처리 구성요소(420), 및 그러므로 디스플레이 처리 회로(130)는 스테레오 이미지 또는 비디오로부터 라이트 필드 합성을 수행하도록 구성될 수 있다. 이는 위에서 설명된 개념과 또 유사하지만, 이 경우 2D 이미지 또는 비디오 또는 깊이 정보를 갖는 2D 이미지 또는 비디오를 입력으로 취하는 대신에, 처리 구성요소(420)는 이미지 또는 비디오의 스테레오 쌍을 입력으로 취함으로써 라이트 필드 합성을 위한 신경망을 사용하도록 구성될 수 있다. 이 타입의 콘텐츠는 스테레오스코픽 디스플레이(stereoscopic displays)를 사용하기 위해 널리 이용 가능할 수 있고, 이미지 쌍의 각각은 사용자의 왼쪽 눈 또는 오른쪽 눈에 대해 각각 하나의 이미지를 인코딩한다. 이 타입의 콘텐츠를 라이트 필드로 변환하기 위해 필요한 단계는 스테레오 이미지 대 깊이 변환을 포함하고, 그 후 (b) 뷰 왜곡 또는 깊이 기반 이미지 왜곡, (c) 홀-채우기, (d) 색상 또는 강도 처리 및/또는 (e) 뷰 인터레이싱 또는 스테레오 이미지로부터 직접적인 라이트 필드 뷰 합성이 후속하고, 그 후 (c) 홀-채우기, (d) 색상 또는 강도 처리 및/또는 (e) 뷰 인터레이싱이 후속할 수 있다. 대안적으로, 이 변환은 신경망을 사용하여 단일 단계로 이루어질 수 있다.
다른 예시에서, 처리 구성요소(420), 및 그러므로 디스플레이 처리 회로(130)는 비디오 움직임 및 형상의 시간적인 추적을 수행하도록 구성될 수 있다. 비디오의 프레임에 걸쳐 움직임을 추적함으로써 이미지 품질이 더 개선될 수 있다. 이 정보는 높은 주사율(refresh rate)을 갖는 디스플레이에 대한 시간적 프레임 속도를 업-샘플링하거나, 압축 아티팩트를 감소시키거나, 또는 3D 홀을 채우는 데(예를 들어, 홀-채우기) 사용될 수 있다. 3D 또는 라이트 필드 데이터에 대해, 추적 알고리즘은 더욱 정확한 시간적인 대응을 확립하기 위해 2D 및 3D 깊이 피처를 모두 이용할 수 있다. 대응된 피처의 검출 및 보간은 또한, 신경망 기반 아키텍처를 이용할 수 있다.
다른 예시에서, 처리 구성요소(420), 및 그러므로 디스플레이 처리 회로(130)는 라이트 필드 뷰 및 라이트 필드 강도 및 색상 처리의 인터레이싱을 수행하도록 구성될 수 있다. 처리 구성요소(420)는 라이트 필드의 디스플레이 중심 신경망-기반 처리를 수행할 수 있으며, 이는 강도 또는 색상 처리, 화이트 밸런싱(white balancing), 뷰 인터레이싱, 디스플레이 패널에서 마이크로 광학계의 비네팅 보정(vignetting correction), 톤 매핑(tone mapping) 또는 다른 디스플레이 패널-특정 처리를 포함할 수 있다.
다른 예시에서, 처리 구성요소(420), 및 그러므로 디스플레이 처리 회로(130)는 (예를 들어, 센서(들)(155)를 사용함으로써) 사용자, 머리 또는 눈 추적을 통해 시청자-특정 또는 시선-기반 처리(gaze-contingent processing)를 수행하도록 구성될 수 있다. 위에서 설명된 처리 작업 및 아래에서 더 상세히 설명되는 작업의 각각은 또한, 사용자(들)의 특정 위치, 머리 배향 또는 시선 방향을 아는 것으로부터 이익을 얻을 수 있다. 예를 들어, 디스플레이 또는 그의 시선 방향에 대한 사용자의 위치가 알려지는 경우, 모든 3D 이미지 처리가 가속화되거나 품질이 개선될 수 있다. 사용자 위치, 머리 배향 또는 시선 방향은 하나 이상의 카메라 또는 다른 센서의 사용을 통해 추정될 수 있다. 얼굴 및/또는 사용자의 검출은 또한, 신경망 처리를 활용할 수도 있다.
더욱이, 처리 구성요소(420)는 디스플레이(110)의 하나 이상의 센서(155)로부터 정보를 수신하도록 더 구성될 수 있고, 여기서 정보는 디스플레이 환경의 밝기 또는 색상 중 하나 이상을 포함하고, 정보는 디스플레이(110)에 의한 프리젠테이션을 위해 수정된 데이터 스트림(들)(450)을 생성하기 위해 데이터 스트림(들)(125)을 수정하는 작업 세트를 수행하는 것과 관련되어 사용될 수 있다.
도 4로 돌아가면, 처리 구성요소(420)에서 처리 엔진(425)은 디스플레이 처리 회로(130)가 본 개시에서 설명된 다양한 작업들을 수행하기 위해 사용하는 하나 이상의 신경망들을 구현하고 실행하는 데 사용될 수 있다. 도 5a 및 5b의 도면(500a 및 500b)은 각각, 처리 엔진(425) 내에서 구현되고 실행되는 신경망의 예시를 예시한다. 신경망의 이들 예시 및 그의 변형은 또한, 도 8과 관련하여 아래에서 설명되는 디스플레이 처리 회로(130)의 아키텍처에 의해 구현될 수 있다. 일 구현에서, 처리 엔진(425)은 예를 들어, 도 4에 도시된 구성 구성요소(440)의 프로그램 가능 가중치 구성요소(445)와 다른 신경망 가중치 세트를 사용함으로써 동적으로 구성 가능하거나 프로그램 가능한 프로그램 가능 신경망 패브릭(510)을 포함할 수 있다.
일반적으로, 신경망은 숫자의 집합일 수 있는 입력을 하나 이상의 상호 연결층에 연결하고 결국에는 출력층에 연결한다. 층에 대한 입력은 이전의 층 또는 일부 다른 앞선 층(스킵(skip) 또는 잔차 연결(residual connection)) 또는 이후의 층(순환 연결(recurrent connection))으로부터 초래될 수 있다. 입력은 선택적으로 숫자 가중치와 곱해질 수 있다. 선택적으로 가중치가 부여된(weighted) 입력의 합은 시그모이드 함수(sigmoid function) 또는 정류된 선형 유닛(rectified linear unit, ReLU)과 같은 비선형 활성화층으로 전달될 수 있다. 예를 들어, 입력의 최대 또는 최소를 취하거나 이들을 합산하거나 또는 이들을 평균냄으로써 수개의 값을 단일 값으로 결합하는 선택적인 풀링층(pooling layer)이 있을 수 있다. 하나의 층에, 각각 가중치, 비선형성 및 풀링의 그 자체의 세트를 갖는 하나 이상의 출력이 있을 수 있다.
도면(500a)은 프로그램 가능 신경망 패브릭(510)에서 구현되고 실행될 수 있는 신경망 구성의 몇 가지 예시를 도시한다.
예시에서, 입력층, 제1 중간층(은닉층(hidden layer) 1), 제2 중간층(은닉층 2) 및 출력층을 포함하는 제1 신경망 구성(구성 1(515))이 도시된다. 이들 층의 각각은 도면(500a)에서 각각의 노드에 대해 원으로 표현된 하나 이상의 노드를 포함할 수 있다. 예를 들어, 입력층은 세 개(3)의 노드를 갖고, 은닉층 1은 네 개(4)의 노드를 갖고, 은닉층 2는 네 개(4)의 노드를 가지며, 출력층은 세 개(3)의 노드를 갖는다. 이 구성을 구현하기 위해 프로그램 가능 신경망 패브릭(510)에 의해 사용되는 특정 가중치 세트는 각 층에서의 노드의 수 및 하나의 층의 노드(들)와 다른 층의 노드(들) 간의 관계를 확립한다. 이들 관계는 분리된 층에서 임의의 두 개의 특정 노드를 연결하는 선에 의해 도면(500a)에서 표현된다.
다른 예시에서, 입력층, 제1 중간층(은닉층 1), 제2 중간층(은닉층 2), 제3 중간층(은닉층 3) 및 출력층을 포함하는 제2 신경망 구성(구성 2(525))이 도시된다. 이들 층의 각각은 하나 이상의 노드를 포함할 수 있다. 예를 들어, 입력층은 네 개(4)의 노드를 갖고, 은닉층 1은 여섯 개(6)의 노드를 갖고, 은닉층 2는 네 개(4)의 노드를 갖고, 은닉층 3은 세 개(3)의 노드를 가지며, 출력층은 한 개(1)의 노드를 갖는다. 이 구성을 구현하기 위해 프로그램 가능 신경망 패브릭(510)에 의해 사용되는 특정 가중치 세트는 각 층에서의 노드의 수 및 하나의 층의 노드(들)와 다른 층의 노드(들) 간의 관계를 확립한다. 따라서, 구성 1(515)을 구현하는 데 사용되는 가중치 세트는 구성 2(520)를 구현하는 데 사용되는 가중치 세트와 다르다.
도면(500b)은 프로그램 가능 신경망 패브릭(510)이 하나보다 많은 신경망을 구현하고 실행하는 데 사용될 수 있는 다른 예시를 도시한다. 이 예시에서, 프로그램 가능 신경망 패브릭(510)에서 구현될 수 있는 구성 3(525a) 및 구성 4(525b)의 두 개의 신경망 구성이 도시된다. 단지 예시를 위해, 구성 3(525a) 및 구성 4(525b)는 도면(500a)에서의 구성 1(515)에 유사하다;　하지만, 구현되고 실행될 수 있는 구성 및 구성의 수는 다를 수 있다. 더욱이, 구성 3(525a) 및 구성 4(525b)는 동시에 구현되고 순차적으로 수행 또는 실행될 수 있거나(예를 들어, 구성 3(525a)이 먼저 수행되고, 그의 출력(들)이 그 다음에 수행되는 구성 4(525b)에 대한 입력(들)으로서 제공됨), 또는 이들은 순차적으로 구현되고 실행될 수 있다(예를 들어, 구성 3(525a)이 먼저 구현되고 먼저 실행되며, 그 출력(들)이 그 다음에 구현되고 그 다음에 실행되는 구성 4(525b)에 대한 입력(들)으로서 저장되고 제공됨). 구현될 신경망의 수가 두 개(2)보다 많을 때, 유사한 접근법이 사용될 수 있다.
도 5a 및 5b에 도시된 예시는 제한이 아닌 예시로서 제공되고, 신경망의 다수의 다른 구성이 프로그램 가능 신경망 패브릭(510)에서 구현되고 실행될 수 있다. 즉, 특정 신경망 구성(즉, 사용되는 가중치의 세트)에서 요구되는 층의 노드의 수 및 층의 수는 수행되는 작업 및 작업을 수행하기 위한 조건에 따라 달라질 수 있다. 더욱이, 순차적으로 구현되거나 및/또는 실행될 수 있는 신경망의 수 및 크기(예를 들어, 층의 수 및/또는 층당 노드의 수)는 프로그램 가능 신경망 패브릭(510)의 능력에 의존할 수 있다. 예를 들어, 프로그램 가능 신경망 패브릭(510)이 큰 신경망 구성을 지원할 수 있는 경우, 다수의 작업이 단일 또는 수 개의 신경망으로 결합될 수 있다. 다른 한편으로, 프로그램 가능 신경망 패브릭(510)이 제한된 크기의 신경망 구성을 지원할 수 있는 경우, 각각의 신경망 구성을 사용하여 다른 작업이 독립적으로 및 순차적으로 분리되고 구현될 수 있다.
도 5a 및 5b의 도면(500a 및 500b)의 다른 양상에서,　각 신경망 구성은 다른 타입의 층 및/또는 연결을 포함할 수 있다. 예를 들어, 구성은 적어도 하나의 컨볼루션층, 적어도 하나의 완전히 연결된 층, 적어도 하나의 비선형 활성화층, 적어도 하나의 풀링층, 적어도 하나의 업-샘플링층, 적어도 하나의 다운-샘플링층, 적어도 하나의 스킵 또는 잔차 연결, 적어도 하나의 밀집한 연결(dense connection), 또는 적어도 하나의 피드백 연결을 포함할 수 있다.
프로그램 가능 신경망 패브릭(510)에서 및 그에 의한 신경망의 구현 및 실행의 다른 양상에서, 처리되는 데이터 스트림(들)(125)에서의 콘텐츠/데이터 또는 다른 정보가 시간적 비디오 콘텐츠를 포함할 때, 하나 이상의 신경망은 시간적 비디오 콘텐츠의 프레임 사이에 일부 정보를 유지하는 순환 신경망을 포함할 수 있다.
프로그램 가능 신경망 패브릭(510)에서 및 그에 의한 신경망의 구현 및 실행의 또 다른 양상에서, 처리되는 데이터 스트림(들)(125)에서의 콘텐츠/데이터 또는 다른 정보가 시간적 비디오 콘텐츠를 포함할 때, 하나 이상의 신경망은 시간적 비디오 콘텐츠를 통해 적어도 부분적으로 트레이닝되는 온보드 네트워크(on-board network)를 포함할 수 있다.
프로그램 가능 신경망 패브릭(510)에서 및 그에 의한 신경망의 구현 및 실행의 또 다른 양상에서, 현재 장면 콘텐츠에 대한 하나 이상의 신경망을 적응시키기 위해 최근 프레임에 기초하여 온 더 플라이로 사용되는 가중치 중 하나 이상을 수정하거나 변경하는 것이 가능하다. 이 경우, 적응된 신경망에 의해 수행될 수 있는 작업의 타입은 보간, 초해상도 또는 둘 모두를 포함할 수 있고, 보간 작업은 공간 보간, 각도 보간 또는 시간적 보간 중 하나 이상을 포함할 수 있다.
프로그램 가능 신경망 패브릭(510)에서 및 그에 의한 신경망의 구현 및 실행의 또 다른 양상에서, 데이터 스트림(들)(125)에서의 콘텐츠/데이터 또는 다른 정보가 다수의 프레임을 포함할 때, 하나 이상의 신경망에 의해 수행되는 작업 세트는 시간에 걸쳐 다수의 프레임을 결합하고 정렬함으로써 장면의 지속적인 3D 모델의 추정을 포함할 수 있다.
프로그램 가능 신경망 패브릭(510)에서 및 그에 의한 신경망의 구현 및 실행의 또 다른 양상에서, 데이터 스트림(들)(125)에서의 콘텐츠/데이터 또는 다른 정보가 다중 프레임을 포함할 때, 하나 이상의 신경망에 의해 수행되는 작업 세트는 시간이 지남에 따라 다수의 프레임의 시각적 세부사항을 결합함으로써 장면의 더 높은 해상도 모델의 추정을 포함할 수 있다.
프로그램 가능 신경망 패브릭(510)에서 및 그에 의한 신경망의 구현 및 실행의 또 다른 양상에서, 데이터 스트림(들)(125)에서의 콘텐츠/데이터 또는 다른 정보가 비디오를 포함할 때, 처리 구성요소(420)에서의 처리 엔진(425)은 비디오 내의 장면 콘텐츠 또는 뷰 중 하나 또는 둘 모두에서 발생하는 시각적 변화의 크기를 측정함으로써 비디오의 컷 또는 점프 중 하나 또는 둘 모두를 검출하도록 구성될 수 있다. 프로그램 가능 신경망 패브릭(510)에서 하나 이상의 신경망은 비디오에서 컷 또는 점프의 검출에 기초하여 적응되거나 변경될 수 있다.
프로그램 가능 신경망 패브릭(510)에서 및 그에 의한 신경망의 구현 및 실행의 또 다른 양상에서, 데이터 스트림(들)(125)에서의 콘텐츠/데이터 또는 다른 정보가 다수의 장면을 포함하면, 하나 이상의 신경망은 단기 메모리(short-term memory)에서 콘텐츠로부터 최근에 나타난 장면과 연관된 피처, 가중치 또는 정보 중 하나 이상을 유지하도록 구성된다. 단기 메모리는 디스플레이 처리 회로(130)의 구성요소 중 임의의 것에서 구현될 수 있으며, 일부 경우에는 처리 구성요소(420) 또는 처리 구성요소(420)의 처리 엔진(425) 내에서 구현될 수 있다.
도 5c는 처리 엔진(425)의 예시를 예시하는 블록도(500c)를 도시한다. 프로그램 가능 신경망 패브릭(510)에 추가하여, 처리 엔진(425)은 디스플레이측 파이프라인(330)과 관련하여 위에서 설명된 작업을 가능하게 하고 제어하도록 구성되는 일반 콘텐츠 수정 구성요소(530)를 선택적으로 포함할 수 있다. 예를 들어, 일반 콘텐츠 수정 구성요소(530)는 도 3의 도면(300)과 관련하여 위에서 설명된 콘텐츠 분류(340), 대응(350), 보간/초해상도(360), 디스플레이 재매핑(370), 또는 사용자 추적(380) 중 하나 이상의 피처를 수행하기 위해, 프로그램 가능 신경망 패브릭(510)에서 다른 신경망 구성의 구현 및 실행을 가능하게 하고 제어하는 데 사용될 수 있다. 이와 관련하여, 일반 콘텐츠 수정 구성요소(530)는 콘텐츠 분류(340)의 피처의 구현 및 실행의 양상을 프로그램 가능 신경망 패브릭(510)에서의 하나 이상의 신경망과 조정하기 위한 콘텐츠 분류(535), 대응(530)의 피처의 구현 및 실행의 양상을 프로그램 가능 신경망 패브릭(510)에서의 하나 이상의 신경망과 조정하기 위한 대응(540), 보간/초해상도(360)의 피처의 구현 및 실행의 양상을 프로그램 가능 신경망 패브릭(510)에서의 하나 이상의 신경망과 조정하기 위한 보간/초해상도(545), 디스플레이 매핑(370)의 피처의 구현 및 실행의 양상을 프로그램 가능 신경망 패브릭(510)의 하나 이상의 신경망과 조정하기 위한 디스플레이 재매핑(550), 및/또는 사용자 추적(380)의 피처의 실행의 구현의 양상을 프로그램 가능 신경망 패브릭(510)에서의 하나 이상의 신경망과 조정하기 위한 사용자 추적(555)을 포함할 수 있다.
처리 엔진(425)은 또한, 도 6a 및 6b와 관련하여 아래에서 더 상세히 설명되는 것과 같은 더 특정한 작업을 가능하게 하고 제어하도록 구성되는 특정 콘텐츠 수정 구성요소(560)를 선택적으로 포함할 수 있다.
도 6a 및 6b는 디스플레이 처리 회로(130)에 의해 수행될 수 있는 다양한 작업과 관련하여 사용되는 신경망에 대한 다른 프로그램 가능 가중치의 예시를 각각 예시하는 도면(600a 및 600b)을 도시한다.
도면(600a)은 구성 구성요소(440)의 일부일 수 있고 다른 작업에 대한 다른 가중치 세트를 저장하는 데 사용될 수 있는 프로그램 가능 가중치 구성요소(445)를 도시한다. 이들 가중치의 세트는 디스플레이 처리 회로(130)에 의해 수신된 콘텐츠/데이터에 대해 다양한 디스플레이-중심 작업을 수행하기 위해 특정 신경망 구성을 구현하고 실행하도록, 처리 엔진(425)에서의 프로그램 가능 신경망 패브릭(510)에 의해 사용하기 위해 처리 구성요소(420)에 제공되거나 그에 의해 액세스될 수 있다.
프로그램 가능 가중치 구성요소(445)의 이 예시에서, 디스플레이측 파이프라인(330)과 관련하여 위에서 설명된 작업 중 어느 하나를 수행하기 위한 신경망 가중치를 포함할 수 있는 다른 콘텐츠 수정 가중치(665)가 선택적으로 있을 수 있다. 이와 관련하여, 처리 엔진(425)에서 일반 콘텐츠 수정 구성요소(530)는 (콘텐츠 분류(535)를 통한) 콘텐츠 분류(340), (대응(540)을 통한) 대응(350), (보간 및 초해상도(545)를 통한) 보간/초해상도(360), (디스플레이 재매핑(550)을 통한) 디스플레이 재매핑(370), 또는 (사용자 추적(555)을 통한) 사용자 추적(380) 중 하나 이상을 수행하기 위한 신경망의 구현 및 실행을 가능하게 하고 제어하기 위해, 다른 콘텐츠 수정 가중치(665)의 가중치를 사용할 수 있다.
프로그램 가능 가중치 구성요소(445)는 아래에서 설명되는 특정한 또는 특별한 작업을 수행하기 위한 신경망 가중치를 포함할 수 있는 특정 콘텐츠 수정 가중치(605)를 선택적으로 포함할 수 있다. 이와 관련하여, 처리 엔진(425)에서의 특정 콘텐츠 수정 구성요소(560)는 이들 다른 작업 중 하나 이상을 수행하기 위한 신경망의 구현 및 실행을 가능하게 하고 제어하기 위해 특정 콘텐츠 수정 가중치(605)의 가중치를 사용할 수 있다.
일부 경우에서, 특정 콘텐츠 수정 가중치(605)와 연관된 특정 작업은 동일하거나 유사한 기능, 기능의 서브세트, 또는 디스플레이측 파이프라인(330)에서의 작업을 포함하여 위에서 설명된 작업의 기능의 조합을 포함할 수 있고, 또한 추가적인 기능 또는 위에서 설명된 작업의 것과 다른 기능을 포함할 수 있다.
특정 작업의 제1 예시에서, 2D 초해상도를 수반하는 작업은 처리 구성요소(420)의 일부인, 처리 엔진(425)의 프로그램 가능 신경망 패브릭(510)에서 하나 이상의 신경망을 구현하고 실행함으로써 수행될 수 있다. 하나 이상의 신경망은 특정 콘텐츠 수정 가중치(605)에서 2D 초해상도로부터의 가중치 세트(610)를 사용하여 구현된다.
이 예시에서, 소스(120)로부터의 데이터 스트림(들)(125)은 2D 이미지 또는 2D 비디오를 포함하고, 처리 구성요소(420)에 의해 생성된 수정된 콘텐츠(예를 들어, 수정된 데이터 스트림(들)(450))는 소스로부터의 콘텐츠의 해상도보다 더 높은 해상도의 2D 이미지 또는 2D 비디오를 포함하며, 더 높은 해상도를 생성하기 위해 하나 이상의 신경망이 소스(120)로부터의 콘텐츠를 업-샘플링하게 트레이닝되도록 가중치(예를 들어, 2D 초해상도로부터의 가중치 세트(610))가 결정된다. 더 높은 해상도는 소스(120)의 데이터 스트림(들)(125)의 총 픽셀의 수보다 더 높은 수의 총 픽셀을 포함하거나, 또는 더 높은 해상도는 소스(120)의 데이터 스트림(들)(125)의 픽셀 밀도보다 더 높은 픽셀 밀도를 포함한다.
특정 작업의 제2 예시에서, 2D 높은 동적 범위(HDR)를 수반하는 작업은 처리 구성요소(420)의 일부인 처리 엔진(425)의 프로그램 가능 신경망 패브릭(510)에서 하나 이상의 신경망을 구현하고 실행함으로써 수행될 수 있다. 하나 이상의 신경망은 특정 콘텐츠 수정 가중치(605)에서 2D HDR로부터의 가중치 세트(615)를 사용하여 구현된다.
이 예시에서, 소스(120)로부터의 데이터 스트림(들)(125)은 2D 이미지 또는 2D 비디오를 포함하고, 처리 구성요소(120)에 의해 생성된 수정된 콘텐츠(예를 들어, 수정된 데이터 스트림(들)(450))는 소스로부터의 콘텐츠의 동적 범위보다 더 높은 동적 범위의 2D 이미지 또는 2D 비디오를 포함하며, 더 높은 동적 범위를 생성하기 위해 하나 이상의 신경망이 소스로부터의 데이터 스트림(들)(125)를 처리하게 트레이닝되도록 가중치(예를 들어, 2D HDR로부터의 가중치 세트(615))가 결정된다.
특정 작업의 제3 예시에서, 2D 초해상도 및 HDR을 수반하는 작업은 처리 구성요소(420)의 일부인 처리 엔진(425)의 프로그램 가능 신경망 패브릭(510)에서 하나 이상의 신경망을 구현하고 실행함으로써 수행될 수 있다. 하나 이상의 신경망은 특정 콘텐츠 수정 가중치(605)에서 2D 초해상도 및 HDR로부터의 가중치 세트(620)를 사용하여 구현된다.
이 예시에서, 소스(120)로부터의 데이터 스트림(들)(125)은 2D 이미지 또는 2D 비디오를 포함하고, 처리 구성요소(420)에 의해 생성된 수정된 콘텐츠(예를 들어, 수정된 데이터 스트림(들)(450))는 소스(120)로부터의 콘텐츠/데이터(125)의 해상도 및 동적-범위보다 더 높은 해상도 및 더 높은 동적 범위의 2D 이미지 또는 2D 비디오를 포함하며, 더 높은 해상도 및 더 높은 동적 범위를 생성하기 위해 하나 이상의 신경망이 소스로부터 콘텐츠를 처리하게 트레이닝되도록 가중치(예를 들어, 2D 초해상도 및 HDR로부터의 가중치 세트(620))가 결정된다. 일 구현에서, 하나 이상의 신경망은 더 높은 해상도를 생성하기 위한 제1 신경망 및 더 높은 동적-범위를 생성하기 위한 제2 신경망을 포함할 수 있으며, 제1 신경망 및 제2 신경망은 연접된다(concatenated)(예를 들어, 두 개의 구성이 순차적으로 사용된다). 다른 구현에서, 하나 이상의 신경망은 더 높은 해상도 및 더 높은 동적-범위를 생성하기 위해 단일 신경망을 포함한다.
특정 작업의 제4 예시에서, 적색-녹색-청색(또한, 적색, 녹색, 청색 또는 RGB로도 지칭됨) 콘텐츠의 깊이 정보를 갖는 RGB(RGB+깊이) 콘텐츠로의 변환을 수반하는 작업은 처리 구성요소(420)의 일부인 처리 엔진(425)의 프로그램 가능 신경망 패브릭(510)에서 하나 이상의 신경망을 구현하고 실행함으로써 수행될 수 있다. 하나 이상의 신경망은 특정 콘텐츠 수정 가중치(605)에서 RGB로부터 RGB+깊이로의 가중치 세트(625)를 사용하여 구현된다.
이 예시에서, 소스(120)로부터의 데이터 스트림(들)(125)은 RGB 이미지 또는 비디오를 포함하고, 처리 구성요소(420)에 의해 생성된 수정된 콘텐츠(예를 들어, 수정된 데이터 스트림(들)(450))는 깊이 정보를 갖는 RGB 이미지 또는 비디오를 포함하며, 깊이 정보를 갖는 RGB 이미지 또는 비디오를 생성하기 위해 하나 이상의 신경망이 소스(120)로부터 데이터 스트림(들)(125)을 처리하게 트레이닝되도록, 가중치(예를 들어, RGB로부터 RGB+깊이로의 가중치 세트(625))가 결정된다. 처리 구성요소(420)는 디스플레이(110)에 의한 프리젠테이션을 위해 콘텐츠/데이터(125)를 수정할 때 깊이 정보를 갖는 RGB 이미지 또는 비디오를 처리하기 위해 렌더링 엔진을 구현하고 실행하도록 더 구성될 수 있다. 깊이 정보는 하나 이상의 깊이 맵의 형태일 수 있다.
특정 작업의 제5 예시에서, 깊이 정보를 갖는 RGB(RGB+깊이) 콘텐츠의 라이트 필드 콘텐츠로의 변환을 수반하는 작업은 처리 구성요소(420)의 일부인 처리 엔진(425)의 프로그램 가능 신경망 패브릭(510)에서 하나 이상의 신경망을 구현하고 실행함으로써 수행될 수 있다. 본원에 설명된 라이트 필드 콘텐츠는 도 2a-2c와 관련하여 위에서 설명된 것과 같은 라이트 필드 디스플레이에서 사용되는 라이트 필드 콘텐츠를 지칭할 수 있다. 따라서, 라이트 필드 콘텐츠는 화소, 발광 요소의 그룹 또는 발광 요소 중 하나 이상에 대한 색상 및 방향성 정보를 포함할 수 있다(예를 들어, 도 2c 참조). 하나 이상의 신경망은 특정 콘텐츠 수정 가중치(605)의 RGB+깊이로부터 라이트 필드로의 가중치 세트(630)를 사용하여 구현된다.
이 예시에서, 소스(120)로부터의 데이터 스트림(들)(125)은 깊이 정보를 갖는 RGB 이미지 또는 비디오를 포함하고, 처리 구성요소(420)에 의해 생성된 수정된 콘텐츠(예를 들어, 수정된 데이터 스트림(들)(450))는 3차원(3D) 장면의 다수의 RGB 뷰를 갖는 라이트 필드 또는 라이트 필드 비디오를 포함하며, 3D 장면의 다수의 RGB 뷰를 생성하기 위해, 하나 이상의 신경망이 소스(120)로부터의 데이터 스트림(들)(125)을 처리하게 트레이닝되도록, 가중치(예를 들어, RGB+깊이로부터 라이트 필드로의 가중치 세트(630)가 결정된다. 이 경우에 사용되는 하나 이상의 신경망은 뷰 합성 동작, 홀 채우기 동작, 초해상도 동작 또는 낮은-동적-범위(LDR) 대 높은-동적-범위(HDR) 동작(LDR 대 HDR 동작) 중 하나 이상을 수행하기 위해 3D 장면의 다수의 RGB 뷰를 생성하도록, 소스(120)로부터 콘텐츠/데이터(125)를 처리하기 위해 더 트레이닝될 수 있다.
특정 작업의 제6 예시에서, RGB 콘텐츠의 라이트 필드 콘텐츠로의 변환을 수반하는 작업은 처리 구성요소(420)의 일부인 처리 엔진(425)의 프로그램 가능 신경망 패브릭(510)에서 하나 이상의 신경망을 구현하고 실행함으로써 수행될 수 있다. 하나 이상의 신경망은 특정 콘텐츠 수정 가중치(605)에서 RGB로부터 라이트 필드로의 가중치 세트(635)를 사용하여 구현된다.
이 예시에서, 소스(120)로부터의 데이터 스트림(들)(125)은 RGB 이미지 또는 비디오를 포함하고, 처리 구성요소(420)에 의해 생성된 수정된 콘텐츠(예를 들어, 수정된 데이터 스트림(들)(450))는 3D 장면의 다수의 RGB 뷰를 갖는 라이트 필드 또는 라이트 필드 비디오를 포함하며, 3D 장면의 다수의 RGB 뷰를 생성하기 위해 하나 이상의 신경망이 소스(120)로부터 데이터 스트림(들)을 처리하게 트레이닝되도록, 가중치(예를 들어, RGB로부터 라이트 필드로의 가중치 세트(635))가 결정된다. 하나 이상의 신경망은 깊이 정보를 포함하는 수정된 콘텐츠의 중간 결과를 생성하기 위해 소스(120)로부터 콘텐츠/데이터(125)를 처리하도록 더 트레이닝될 수 있다.
특정 작업의 제7 예시에서, RGB 콘텐츠의 스테레오 콘텐츠로의 변환을 수반하는 작업은 처리 구성요소(420)의 일부인 처리 엔진(425)의 프로그램 가능 신경망 패브릭(510)에서 하나 이상의 신경망을 구현하고 실행함으로써 수행될 수 있다. 하나 이상의 신경망은 특정 콘텐츠 수정 가중치(605)에서 RGB로부터 스테레오로의 가중치 세트(640)를 사용하여 구현된다.
이 예시에서, 소스(120)로부터의 데이터 스트림(들)은 RGB 이미지 또는 비디오를 포함하고, 처리 구성요소(420)에 의해 생성된 수정된 콘텐츠(예를 들어, 수정된 데이터 스트림(들)(450))는 스테레오 이미지 또는 스테레오 비디오를 포함하며, 스테레오 이미지 또는 스테레오 비디오를 생성하기 위해 하나 이상의 신경망이 데이터 스트림(들)(125)을 처리하게 트레이닝되도록 가중치(예를 들어, RGB로부터 스테레오로의 가중치 세트(640))가 결정된다. 스테레오 이미지 또는 스테레오 비디오는 3D 장면의 두 개의 뷰를 포함한다.
특정 작업의 제8 예시에서, 깊이 정보 콘텐츠를 갖는 RGB의 스테레오 콘텐츠로의 변환을 수반하는 작업은 처리 구성요소(420)의 일부인 처리 엔진(425)의 프로그램 가능 신경망 패브릭(510)에서 하나 이상의 신경망을 구현하고 실행함으로써 수행될 수 있다. 하나 이상의 신경망은 특정 콘텐츠 수정 가중치(605)에서 RGB+깊이로부터 스테레오로의 가중치 세트(645)를 사용하여 구현된다.
이 예시에서, 소스(120)로부터의 데이터 스트림(들)(125)은 깊이 정보를 갖는 RGB 이미지 또는 비디오를 포함하고, 처리 구성요소(420)에 의해 생성된 수정된 콘텐츠(예를 들어, 수정된 데이터 스트림(들)(450))는 스테레오 이미지 또는 스테레오 비디오를 포함하며, 스테레오 이미지 또는 스테레오 비디오를 생성하기 위해 하나 이상의 신경망이 소스(120)로부터 데이터 스트림(들)(125)을 처리하게 트레이닝되도록 가중치(예를 들어, RGB+깊이로부터 스테레오로의 가중치 세트(645))가 결정된다. 위에서 언급된 바와 같이, 스테레오 이미지 또는 스테레오 비디오는 3D 장면의 두 개의 뷰를 포함한다.
특정 작업의 제9 예시에서, 라이트 필드 콘텐츠의 라이트 필드 콘텐츠로의 변환을 수반하는 작업은 처리 구성요소(420)의 일부인 처리 엔진(425)의 프로그램 가능 신경망 패브릭(510)에서 하나 이상의 신경망을 구현하고 실행함으로써 수행될 수 있다. 하나 이상의 신경망은 특정 콘텐츠 수정 가중치(605)에서 라이트 필드로부터 라이트 필드로의 가중치 세트(650)를 사용하여 구현된다.
이 예시에서, 소스(120)로부터의 데이터 스트림(들)(125)은 라이트 필드 또는 라이트 필드 비디오를 포함하고, 처리 구성요소(420)에 의해 생성된 수정된 콘텐츠(예를 들어, 수정된 데이터 스트림(들)(450))는 소스로부터의 콘텐츠의 RGB 뷰의 수에 비해 3D 장면의 추가적인 RGB 뷰, 소스의 콘텐츠의 해상도보다 더 높은 해상도 또는 소스의 콘텐츠의 동적 범위보다 더 높은 동적 범위 중 하나 이상을 갖는 수정된 라이트 필드 또는 라이트 필드 비디오를 포함하며, 수정된 라이트 필드 또는 라이트 필드 비디오를 생성하기 위해 하나 이상의 신경망이 소스(129)로부터의 데이터 스트림(들)(125)을 처리하게 트레이닝되도록 가중치(예를 들어, 라이트 필드로부터 라이트 필드로의 가중치 세트(650))가 결정된다.
특정 작업의 제10 예시에서, 스테레오 콘텐츠의 라이트 필드 콘텐츠로의 변환을 수반하는 작업은 처리 구성요소(420)의 일부인 처리 엔진(425)의 프로그램 가능 신경망 패브릭(510)에서 하나 이상의 신경망을 구현하고 실행함으로써 수행될 수 있다. 하나 이상의 신경망은 특정 콘텐츠 수정 가중치(605)에서 스테레오로부터 라이트 필드로의 가중치 세트(655)를 사용하여 구현된다.
이 예시에서, 소스(120)로부터의 데이터 스트림(들)(125)은 스테레오 이미지 또는 스테레오 비디오를 포함하고, 수정된 콘텐츠(예를 들어, 수정된 데이터 스트림(들)(450))는 소스로부터 콘텐츠의 RGB 뷰의 수에 비해 3D 장면의 추가적인 RGB 뷰, 소스의 콘텐츠의 해상도보다 더 높은 해상도, 또는 소스의 콘텐츠의 동적 범위보다 높은 동적 범위 중 하나 이상을 갖는 라이트 필드 또는 라이트 필드 비디오를 포함하며, 라이트 필드 또는 라이트 필드 비디오를 생성하기 위해, 하나 이상의 신경망이 소스(120)로부터 데이터 스트림(들)(125)을 처리하게 트레이닝되도록 가중치(예를 들어, 스테레오로부터 라이트 필드로의 가중치 세트(655))가 결정된다.
특정 작업의 제11 예시에서, 깊이 정보를 갖는 라이트 필드(라이트 필드+깊이) 콘텐츠의 라이트 필드 콘텐츠로의 변환을 수반하는 작업은 처리 구성요소(420)의 일부인 처리 엔진(425)의 프로그램 가능 신경망 패브릭(510)에서 하나 이상의 신경망을 구현하고 실행함으로써 수행될 수 있다. 하나 이상의 신경망은 특정 콘텐츠 수정 가중치(605)에서 라이트 필드+깊이로부터 라이트 필드로의 가중치 세트(660)를 사용하여 구현된다.
이 예시에서, 소스(120)로부터의 데이터 스트림(들)(125)은 깊이 정보를 갖는 라이트 필드 또는 라이트 필드 비디오를 포함하고, 처리 구성요소(420)에 의해 생성된 수정된 콘텐츠(예를 들어, 수정된 데이터 스트림(들)(450))는 소스로부터 콘텐츠의 RGB 뷰의 수에 비해 3D 장면의 추가적인 RGB 뷰, 소스의 콘텐츠의 해상도보다 더 높은 해상도, 또는 소스의 콘텐츠의 동적 범위보다 더 높은 동적 범위 중 하나 이상을 갖는 수정된 라이트 필드 또는 라이드 필드 비디오를 포함하며, 수정된 라이트 필드 또는 라이트 필드 비디오를 생성하기 위해 하나 이상의 신경망이 소스(120)로부터 데이터 스트림을 처리하게 트레이닝되도록, 가중치(예를 들어, 라이트 필드+깊이로부터 라이트 필드로의 가중치 세트(660))가 결정된다. 깊이 정보는 소스의 콘텐츠에서 하나의 RGB 뷰에 대한 깊이 정보, 소스의 콘텐츠에서 다수의 RGB 뷰에 대한 깊이 정보, 또는 소스의 콘텐츠에서 모든 RGB 뷰에 대한 깊이 정보 중 하나를 포함할 수 있다.
이들 특정 작업 중 임의의 것 또는 위에서 설명된 다른 작업 중 임의의 것으로부터의 양상은 결합된 양상을 수행하는 데 사용될 대응하는 신경망의 트레이닝으로부터 초래하는 적절한 가중치의 세트를 사용함으로써 결합될 수 있다.
도 6b의 도면(600b)은 특정 작업에 대해, 다양한 조건 또는 기준을 기초로 작업을 수행하기 위해 하나가 선택되거나 식별되는 이용 가능한 다수의 가중치 세트가 얼마나 있을 수 있는지를 도시한다. 예를 들어, 디스플레이 능력의 제한, 사용자 동작의 변경(예를 들어, 사용자 추적) 또는 환경적인 변경은 특정 작업을 수행하는 데 사용할 최선의 가중치 세트를 결정하는 데 사용될 수 있다. 도면(600b)에 도시된 예시에서, 각 특정 작업에 대해 하나가 선택될 수 있는 a, ... n개의 가능한 가중치 세트가 있을 수 있다. 가중치 세트의 수는 하나의 작업이 다른 작업보다 더 적거나 더 많은 가중치 세트를 가질 수 있도록 각 작업 마다 다를 수 있다.
도 7은 디스플레이 처리 회로(130)와 같은 처리 유닛이 디스플레이 내의 콘텐츠를 처리하는 방법(700)의 예시를 예시하는 흐름도를 도시한다. 방법(700)의 양상은 입력 구성요소(410), 처리 구성요소(420), 출력 구성요소(430), 처리 엔진(425), 구성 구성요소(440) 및/또는 프로그램 가능 가중치 구성요소(445)와 같은 그의 구성요소 및 서브 구성요소 중 하나 이상을 포함하는 디스플레이 처리 회로(130)(예를 들어, 도 4에 도시된 것)에 의해 수행될 수 있다. 방법(700)은 또한, 예를 들어 도 8에 도시된 디스플레이 처리 회로(130)에 의해 수행될 수 있다.
710에서, 방법(700)은 처리 유닛의 입력 구성요소(예를 들어, 입력 구성요소(410))에서 소스로부터 콘텐츠(예를 들어, 소스(120)로부터의 하나 이상의 데이터 스트림(125)으로부터 콘텐츠/데이터 또는 다른 정보)를 수신하는 것을 포함한다.
720에서, 방법(700)은 처리 유닛의 처리 구성요소(예를 들어, 처리 구성요소(420))에서, 하나 이상의 신경망(예를 들어, 도 5a 및 5b 참조)을 구현하는 것을 포함하며, 하나 이상의 신경망은 디스플레이의 메모리에 저장된 다수의 가중치를 사용하여 구현된다(예를 들어, 도 4, 6a 및 6b 참조).
730에서, 방법(700)은 하나 이상의 신경망(예를 들어, 처리 구성요소(420), 처리 엔진(425))을 실행함으로써 디스플레이에 의한 프리젠테이션을 위해 콘텐츠를 수정하는 작업 세트를 수행하는 것을 포함한다.
740에서, 방법(700)은 처리 유닛의 출력 구성요소(예를 들어, 출력 구성요소(430))에 의해, 수정된 콘텐츠(예를 들어, 수정된 하나 이상의 데이터 스트림(450)에서의 수정된 콘텐츠/데이터)를 디스플레이의 각각의 패널에(예를 들어, 디스플레이(110)의 각각의 백플레인(들)(150) 및 픽셀 어레이(들)(151)에)) 제공하는 것을 포함한다.
방법(700)의 일 양상에서, 콘텐츠는 이미지 콘텐츠, 비디오 콘텐츠 또는 둘 모두를 포함한다.
방법(700)의 다른 양상에서, 작업 세트를 수행하는 것은 2D 이미지 또는 2D 비디오의 해상도를 증가시키기 위해 콘텐츠를 수정하는 것을 포함한다.
방법(700)의 다른 양상에서, 작업 세트를 수행하는 것은 2D 이미지 또는 2D 비디오의 동적 범위를 증가시키기 위해 콘텐츠를 수정하는 것을 포함한다.
방법(700)의 다른 양상에서, 작업 세트를 수행하는 것은 2D 이미지 또는 2D 비디오의 해상도 및 동적-범위를 증가시키기 위해 콘텐츠를 수정하는 것을 포함한다.
방법(700)의 다른 양상에서, 작업 세트를 수행하는 것은 깊이 정보를 갖는 RGB 이미지 또는 비디오를 생성하기 위해, RGB 이미지 또는 비디오를 갖는 콘텐츠를 수정하는 것을 포함한다.
방법(700)의 다른 양상에서, 작업 세트를 수행하는 것은 3D 장면의 다수의 RGB 뷰를 갖는 라이트 필드 또는 라이트 필드 비디오를 생성하기 위해 깊이 정보를 갖는 RGB 이미지 또는 비디오를 갖는 콘텐츠를 수정하는 것을 포함한다.
방법(700)의 다른 양상에서, 작업 세트를 수행하는 것은 3D 장면의 다수의 RGB 뷰를 갖는 라이트 필드 또는 라이트 필드 비디오를 생성하기 위해, RGB 이미지 또는 비디오를 갖는 콘텐츠를 수정하는 것을 포함한다.
방법(700)의 또 다른 양상에서, 작업 세트를 수행하는 것은 콘텐츠의 RGB 뷰의 수에 비해 3D 장면의 추가적인 RGB 뷰, 콘텐츠의 해상도보다 높은 해상도 또는 콘텐츠의 동적 범위보다 높은 동적 범위 중 하나 이상을 포함하는 수정된 라이트 필드 또는 라이트 필드 비디오를 생성하기 위해, 라이트 필드 또는 라이트 필드 비디오를 갖는 콘텐츠를 수정하는 것을 포함한다.
방법(700)의 또 다른 양상에서, 작업 세트를 수행하는 것은 스테레오 이미지 또는 스테레오 비디오를 생성하기 위해 RGB 이미지 또는 비디오를 갖는 콘텐츠를 수정하는 것을 포함한다.
방법(700)의 또 다른 양상에서, 작업 세트를 수행하는 것은 스테레오 이미지 또는 스테레오 비디오를 생성하기 위해 깊이 정보를 갖는 RGB 이미지 또는 비디오를 갖는 콘텐츠를 수정하는 것을 포함한다.
방법(700)의 다른 양상에서, 작업 세트를 수행하는 것은 콘텐츠에서 RGB 뷰의 수에 비해 3D 장면의 추가적인 RGB 뷰, 콘텐츠의 해상도보다 높은 해상도 또는 콘텐츠의 동적 범위보다 높은 동적 범위 중 하나 이상을 포함하는 라이트 필드 또는 라이트 필드 비디오를 생성하기 위해 스테레오 이미지 또는 스테레오 비디오를 갖는 콘텐츠를 수정하는 것을 포함한다.
방법(700)의 다른 양상에서, 작업 세트를 수행하는 것은 콘텐츠의 RGB 뷰의 수에 비해 3D 장면의 추가적인 RGB 뷰, 콘텐츠의 해상도보다 더 높은 해상도, 또는 콘텐츠의 동적 범위보다 더 높은 동적 범위 중 하나 이상을 포함하는 수정된 라이트 필드 또는 라이트 필드 비디오를 생성하기 위해, 깊이 정보를 갖는 라이트 필드 또는 라이트 필드 비디오를 갖는 콘텐츠를 수정하는 것을 포함한다.
위에서 설명된 방법(700)은 디스플레이 처리 회로(130) 및/또는 그의 구성요소 중 임의의 것과 관련하여 위에서 설명된 동작과 연관된 추가적인 양상을 포함할 수 있다는 것이 이해될 것이다. 더욱이, 디스플레이 처리 회로(130) 및/또는 그 구성요소들 중 임의의 것에 대한 아키텍처의 예시는 예시의 방식으로 제공되며, 두 개 이상의 구성요소 또는 서브-구성요소의 기능은 본 개시에 의해 다루어지는 전체 피처에서 벗어나지 않으면서, 다양한 설계 고려사항에 따라 결합되거나 분포될 수 있다.
도 8은 하나 이상의 디스플레이(110)와 사용될 수 있는 디스플레이 처리 회로(130)의 다른 예시를 예시하는 블록도(800)이고, 예를 들어 디스플레이(110)는 라이트 필드 능력을 갖는다(예를 들어, 디스플레이(210)). 도 8의 디스플레이 처리 회로(130)는 하나 이상의 데이터 스트림(125)을 수신하고 하나 이상의 수정된 데이터 스트림(850)을 생성할 수 있다. 일부 구현에서, 디스플레이 처리 회로(130)는, 예를 들어 정책 동작, 동작 모드 및 작업을 포함하는 디스플레이 처리 회로(130)와 연관된 다양한 동작을 수행하도록 구성되는 디스플레이 처리 회로 아키텍처(810)를 포함할 수 있다. 디스플레이 처리 회로(130)는 디스플레이 메모리(135)로부터 및/또는 선택적으로 센서(들)(155)로부터 데이터, 시그널링 또는 다른 정보를 수신하도록 구성될 수 있다(예를 들어, 도 1b-1d 참조).
도 8의 디스플레이 처리 회로(130)의 양상은 도 4의 디스플레이 처리 회로(130)의 양상과 결합될 수 있다. 예를 들어, 하나와 관련하여 설명된 입력, 출력 및 처리의 타입은 다른 것에도 적용될 수 있다. 예를 들어, 도 8의 디스플레이 처리 회로(130)가 하나 이상의 신경망을 구현하도록 구성될 때,　도 8의 디스플레이 처리 회로(130)는 예를 들어, 도 5a-6b에서 설명된 양상 중 하나 이상을 구현하도록 구성될 수 있다.
도 8의 디스플레이 처리 회로(130)는 하나 이상의 디스플레이(예를 들어, 도 1d의 디스플레이(110a 및 110b) 참조)와 사용될 수 있고, 이들 디스플레이는 다수의 뷰(예를 들어, 라이트 필드 디스플레이(210))를 지원할 수 있다. 하나 이상의 디스플레이는 하나 이상의 픽셀 어레이(예를 들어, 픽셀 어레이(151)), 하나 이상의 픽셀 어레이에 결합된 하나 이상의 백플레인(예를 들어, 백플레인(150));　및 하나 이상의 백플레인에 결합된 처리 회로(예를 들어, 도 8의 디스플레이 처리 회로(130))를 포함할 수 있다. 처리 회로는 하나 이상의 데이터 스트림(예를 들어, 데이터 스트림(125))을 수신하도록 구성된다. 처리 회로는 처리 회로에 의해 지원되는 동작 모드를 선택하는 정책에 기초하여 하나 이상의 데이터 스트림의 처리를 제어하도록 더 구성되고, 여기서 각 동작 모드는 하나 이상의 디스플레이에서 하나 이상의 픽셀 어레이가 특정 뷰 또는 뷰들을 생성하기 위해 기여하기 위한 빛의 광선(예를 들어, 도 2c의 광선(205)) 및 하나 이상의 데이터 스트림을 수정하기 위해(예를 들어, 수정된 데이터 스트림(850)) 처리 회로에 의해 수행될 작업(예를 들어, 동작, 계산, 알고리즘)을 정의하여, 하나 이상의 픽셀 어레이는 동작 모드의 특정 뷰 또는 뷰들을 생성할 빛의 광선에 기여한다. 처리 회로는 동작 모드의 특정 뷰 또는 뷰들을 생성할 광선에 기여하는 하나 이상의 픽셀 어레이에 대한 하나 이상의 백플레인의 회로 구성을 통해 하나 이상의 픽셀 어레이에 수정된 하나 이상의 데이터 스트림을 나타내는 시그널링(예를 들어, 전기, 광학 시그널링)을 제공하도록 더 구성된다.
하나 이상의 디스플레이에서의 처리 회로는 하나 이상의 동작 모드를 지원하고, 하나 이상의 동작 모드는 단일 뷰가 하나 이상의 디스플레이의 모든 시청자에 대해 생성되는 제1 동작 모드, 다른 뷰가 하나 이상의 디스플레이의 각 시청자에 대해 생성되는 제2 동작 모드, 다수의 뷰가 하나 이상의 디스플레이의 하나 이상의 시청자의 각각에 대해 생성되는 제3 동작 모드, 하나 이상의 뷰가 하나 이상의 디스플레이의 하나 이상의 시청자의 각각에 대해 생성되는 제4 동작 모드, 또는 단일 뷰가 하나 이상의 디스플레이의 하나 이상의 시청자에 대해 생성되고, 하나 이상의 뷰가 하나 이상의 디스플레이의 나머지 시청자의 각각에 대해 생성되는 제5 동작 모드 중 하나 이상을 포함할 수 있다.
일 양상에서, 하나 이상의 백플레인의 회로 구성은 수정된 하나 이상의 데이터 스트림과 연관된 시그널링을 하나 이상의 픽셀 어레이의 지정된 부분에 분포시키도록 구성된 논리적인 배열이다.
일 양상에서, 하나 이상의 디스플레이에서 처리 회로의 적어도 일부의 아키텍처(예를 들어, 디스플레이 처리 회로 아키텍처(810))는 신경망 아키텍처, 고정-함수 논리 신호 처리 아키텍처, 또는 프로그램 가능 파이프라인 아키텍처를 포함할 수 있다. 일부 경우에서, 처리 회로의 아키텍처는 위에서 설명된 아키텍처의 조합을 포함할 수 있다.
일 양상에서, 아키텍처가 신경망 아키텍처를 포함할 때, 신경망 아키텍처는 하나 이상의 입력 데이터 스트림(예를 들어, 데이터 스트림(125))을 하나 이상의 출력 데이터 스트림(예를 들어, 수정된 데이터 스트림(850))으로 처리하는 알고리즘을 수행하도록 구성되고, 여기서 알고리즘이 수행하는 계산은 트레이닝 프로세스에서 학습되고, 트레이닝 프로세스는 입력 데이터의 처리 이전에 수행된다.
트레이닝 프로세스는 알고리즘의 네트워크 구성을 처리 회로로 전송하기 전에 하나 이상의 디스플레이와 다른 시스템에서 수행될 수 있다. 대안적으로, 트레이닝 프로세스는 하나 이상의 디스플레이의 처리 회로에서 수행된다. 또 다른 대안에서, 트레이닝 프로세스는 알고리즘의 네트워크 구성을 처리 회로로 전송하기 전에 하나 이상의 디스플레이와 다른 시스템에서 초기에 수행될 수 있고, 이어서 하나 이상의 데이터 스트림으로부터 새로운 데이터가 처리될 때 하나 이상의 디스플레이의 처리 회로에서 수행될 수 있다. 트레이닝 프로세스에서 학습은 하나 이상의 비용 또는 목적 함수의 최적화를 포함할 수 있다. 알고리즘이 수행하는 계산은 하나 이상의 네트워크(예를 들어, 도 5a 및 5b의 신경망)를 사용하여 구현될 수 있으며, 하나 이상의 네트워크는 함수가 하나 이상의 수에 의해 지정되는, 그리고 하나 이상의 비용 또는 목적 함수가 이들 하나 이상의 수를 변경함으로써 최적화되는 하나 이상의 계산 유닛을 포함한다. 하나 이상의 비용 또는 목적 함수는 경사 하강 기반 최적화(gradient decent based optimization)를 수치적으로 적용함으로써 최적화된다.
트레이닝 프로세스는 입력 데이터 항목 및 출력 데이터 항목 쌍으로 구성된 트레이닝 세트를 제공하는 것으로 구성될 수 있으며, 계산은 쌍의 입력 항목이 계산에 대한 입력으로서 제공될 때 쌍의 출력 항목과 실질적으로 유사한 출력을 생성하도록 최적화된다. 쌍의 출력 항목에 실질적으로 유사한 출력은 유클리드 거리(Euclidian distance)를 포함하는 적어도 하나의 거리 메트릭의 어느 하나를 사용하여 짧은 거리만큼 떨어져 있음을 나타낸다.
트레이닝 프로세스는 입력 데이터 항목을 포함하는 트레이닝 세트를 제공하는 것으로 구성될 수 있으며, 여기서 알고리즘이 수행하는 계산은 하나 이상의 네트워크를 사용하여 구현되고, 하나 이상의 네트워크는 트레이닝 프로세스에 응답하여 입력 데이터 항목을 실질적으로 재현하도록 최적화된다. 입력 데이터 항목이 수정되고 하나 이상의 네트워크가 수정되지 않은 입력 데이터 항목을 재현하기 위해 수정을 제거하도록 최적화된다. 입력 데이터 항목에 대한 수정은 입력 데이터 항목에 잡음을 추가하는 것, 입력 데이터 항목에 왜곡(distortions)을 추가하는 것, 입력 데이터 항목에서 이미지의 일부를 제거하거나 또는 마스킹하는 것 중 하나 이상을 포함하지만, 이에 제한될 필요는 없다.
트레이닝 프로세스는 트레이닝 세트를 제공하는 것으로 구성될 수 있으며, 트레이닝 세트는 입력 항목만을 포함하는 샘플, 및 입력 항목 및 원하는 출력 항목을 모두 포함하는 샘플의 하이브리드이며, 여기서 알고리즘이 수행하는 계산은 하나 이상의 네트워크를 사용하여 구현되고, 하나 이상의 네트워크는 출력 항목 쌍을 갖지 않는 샘플에 대한 수정되지 않은 입력 항목을 재현하기 위해, 및 원하는 출력 항목을 갖는 샘플에 대한 원하는 출력 항목을 생성하기 위해 최적화된다.
다른 양상에서, 알고리즘이 수행하는 계산은 적어도 두 개의 네트워크를 사용하여 구현될 수 있으며, 두 개의 네트워크는 공동으로 트레이닝되며, 여기서 하나의 네트워크는 트레이닝 세트로부터의 샘플과 비슷한(resembling) 샘플을 생성하도록 트레이닝되고 다른 네트워크는 샘플이 트레이닝 세트로부터의 것이거나 또는 다른 네트워크에 의해 생성되는지를 결정하도록 트레이닝된다.
다른 양상에서, 알고리즘이 수행하는 계산은 하나 이상의 네트워크를 사용하여 구현될 수 있고, 하나 이상의 네트워크는 하나 이상의 네트워크에 의해 생성된 출력의 시퀀스에 걸쳐 전체 비용 또는 목적 함수를 최적화하도록 트레이닝된다.
또 다른 양상에서, 알고리즘이 수행하는 계산은 하나 이상의 네트워크를 사용하여 구현될 수 있으며, 하나 이상의 네트워크는 숫자의 집합인 하나 이상의 데이터 스트림에 의해 제공된 입력을 하나 이상의 네트워크의 하나 이상의 상호 연결층에, 및 최종적으로 하나 이상의 네트워크의 출력층에 연결시킨다.
다른 양상에서, 알고리즘이 수행하는 계산은 하나 이상의 네트워크를 사용하여 구현될 수 있으며, 하나 이상의 네트워크의 층(예를 들어, 도 5a 및 5b의 신경망의 층을 참조)에 대한 입력은 하나 이상의 네트워크의 이전의 층, 하나 이상의 네트워크의 앞선 층에 대한 스킵 또는 잔차 연결, 하나 이상의 네트워크의 이후의 층으로부터의 피드백 연결, 또는 하나 이상의 네트워크의 어느 층의 이력 값에 대한 순환 연결로부터 나올 수 있다. 이들 입력의 각각은 선택적으로 숫자 가중치로 곱해질 수 있다. 더욱이, 선택적으로 가중치가 부여된 입력의 합은 하나 이상의 네트워크의 비선형 활성화층으로 전달될 수 있으며, 여기서 비선형 활성화층은 시그모이드 함수, tanh 함수, 정류된 선형 유닛(ReLU), 또는 누출 정류된 선형 유닛(leaky rectified linear unit, 누출 ReLU) 중 하나를 제공한다. 디스플레이 처리 회로(130)(예를 들어, 다른 IC 및/또는 다른 트랜지스터-레벨 회로에 분포된 다수의 처리 레벨 또는 층)와 관련하여 계층적 접근이 사용될 때, 계층의 다른 레벨 또는 층에서 계산 네트워크(예를 들어, 신경망)의 다른 층을 구현하는 것이 가능하다. 예를 들어, 디스플레이 처리 회로(130)의 최상위 레벨 또는 층은 신경망의 하나의 층을 구현하고 실행할 수 있는 한편, 디스플레이 처리 회로(130)의 하위 레벨 또는 층은 신경망의 다른 층 또는 층들을 구현할 수 있다.
다른 양상에서, 알고리즘이 수행하는 계산은 하나 이상의 네트워크를 사용하여 구현될 수 있고, 하나 이상의 네트워크는 수개의 값을 단일 값으로 결합하는 선택적 풀링층을 포함한다. 수개의 값의 단일 값으로의 결합은 입력의 최대 또는 최소를 취하거나, 입력을 합산하거나 또는 입력을 평균냄으로써 이루어진다.
다른 양상에서, 알고리즘이 수행하는 계산은 하나 이상의 네트워크를 사용하여 구현되고, 하나 이상의 네트워크는 층에서의 하나 이상의 출력을 포함하고, 각 출력은 가중치, 비선형성 및 풀링의 그 자체의 세트를 갖는다.
또 다른 양상에서, 알고리즘이 수행하는 계산은 처리 회로에 의해 수행될 다수의 작업의 동시(또는 병행(concurrent)) 처리를 포함할 수 있으며, 여기서 각 작업의 출력은 고유한 출력 데이터 스트림에 의해 표현된다. 다수의 작업의 동시 처리는 하나 이상의 데이터 스트림으로부터 다수의 입력 데이터 스트림을 다수의 출력 데이터 스트림으로 처리하는 것을 포함할 수 있다.
다른 양상에서, 알고리즘이 수행하는 계산은 하나 이상의 네트워크를 사용하여 구현되고, 하나 이상의 네트워크는 다수의 작업에 의해 공유되는 층 및 작업 간에 공유되지 않는 작업-특정 층을 포함한다.
하나 이상의 디스플레이(예를 들어, 디스플레이 처리 회로 아키텍처(810))의 처리 회로의 아키텍처가 신경망 아키텍처를 포함하는 이들 경우에서, 신경망 아키텍처는 선택된 동작 모드에 대해 하나 이상의 데이터 스트림을 수정하기 위한 작업을 수행하기 위해 하나 이상의 신경망(예를 들어, 도 5a 및 5b의 신경망)을 구현하고 실행하도록 구성된다. 하나 이상의 신경망의 다수의 가중치는 트레이닝 데이터 세트에 대한 비용 함수를 최적화함으로써 결정될 수 있으며, 트레이닝 데이터 세트는 실세계 콘텐츠, 합성 데이터 또는 둘 모두를 포함할 수 있다. 하나 이상의 신경망의 다수의 가중치는 하나 이상의 디스플레이의 제조 동안 설정되거나 또는 하나 이상의 디스플레이의 동작 동안 동적으로 업데이트될 수 있으며, 여기서 동적 업데이트는 수신되는 하나 이상의 데이터 스트림에 응답하여, 소프트웨어 업데이트에 응답하여 또는 둘 모두에 응답하여 발생한다. 하나 이상의 신경망의 다수의 가중치는 하나 이상의 신경망의 구현으로 하드 코딩될 수 있거나, 또는 메모리(예를 들어, 디스플레이 메모리(135))에 저장될 수 있고 하나 이상의 신경망의 구현을 위해 액세스될 수 있다. 하나 이상의 신경망의 다수의 가중치는 하나 이상의 데이터 스트림에서 이용 가능한 데이터 스트림, 디스플레이를 위한 하나 이상의 데이터 스트림의 콘텐츠, 하나 이상의 데이터 스트림을 수정하기 위해 수행될 작업 또는 하나 이상의 디스플레이의 출력 모드 중 하나 이상을 기초로 조정될 수 있다. 더욱이, 위에서 논의된 바와 같이, 계층적 접근이 디스플레이 처리 회로(130)(예를 들어, 다른 IC 및/또는 다른 트랜지스터-레벨 회로에 걸쳐 분포된 다수의 처리 레벨 또는 층)와 관련하여 사용될 때, 계층의 다른 레벨 또는 층에서 다른 층의 계산 네트워크(예를 들어, 신경망)를 구현하는 것이 가능하다.
신경망 아키텍처에서 하나 이상의 신경망 각각의 구성은 하나 이상의 컨벌루션층, 하나 이상의 완전히 연결된 층, 하나 이상의 풀링층, 하나 이상의 업-샘플링층, 하나 이상의 다운-샘플링층, 하나 이상의 스킵 또는 잔차 연결, 하나 이상의 밀집한 연결, 하나 이상의 피드백 연결, 하나 이상의 드물게 연결된 층, 하나 이상의 장기 또는 단기 메모리 유닛(long-term or short-term memory), 또는 하나 이상의 순환 연결 중 하나 이상을 포함한다.
다른 양상에서, 하나 이상의 신경망은 다수의 신경망을 포함하고, 다수의 신경망은 연접된다. 하나 이상의 신경망은 다수의 신경망을 포함하고, 다른 신경망은 하나 이상의 데이터 스트림을 수정하기 위해 다른 작업을 수행한다.
또한 도 8에 대해, 디스플레이 처리 회로(130)가 하나 이상의 디스플레이와 사용될 때, 하나 이상의 디스플레이는 또한, 하나 이상의 픽셀 어레이(예를 들어, 픽셀 어레이(151))를 포함할 수 있다. 도 2a-2c는 라이트 필드 디스플레이(예를 들어, 라이트 필드 디스플레이(210))의 픽셀 어레이가 화소(220)의 어레이 또는 발광 요소(225)의 어레이를 지칭할 수 있지만, 하나 이상의 디스플레이에서 디스플레이 처리 회로(130)와 사용될 수 있는 픽셀 어레이는 그렇게 제한될 필요가 없는 예시를 예시한다. 어레이에서의 픽셀은 방향성 픽셀일 수 있다(예를 들어, 도 2c 참조). 즉, 하나 이상의 픽셀 어레이에서 픽셀의 다른 서브세트는 다른 방향으로 향하여 지향되는 광에 기여하도록 구성될 수 있다. 더욱이, 하나 이상의 픽셀 어레이에서의 픽셀은 하나 이상의 방향에서 다른 색상의 광 및 다른 강도의 광에 기여하도록 구성될 수 있다.
도 8의 디스플레이 처리 회로(130) 및 하나 이상의 디스플레이와 사용되는 하나 이상의 픽셀 어레이는 하나 이상의 층을 포함할 수 있으며, 여기서 각 층은 광 생성 요소, 광 흡수 요소, 광 반사 요소, 광 투과 요소, 광 수정 요소 또는 광학 요소 중 하나 이상을 포함한다. 광학 요소는 렌즈, 광학 장벽, 도파관, 광섬유, 전환 가능한 광학계, 방향 수정 요소, 편광 수정 요소, 또는 광 스플릿 요소 중 하나 이상을 포함할 수 있다.
도 8의 디스플레이 처리 회로(130)의 다른 양상에서, 디스플레이 처리 회로(130)는 애플리케이션 특정 집적 회로, 필드 프로그램 가능 게이트 어레이, 프로그램 가능 집적 회로, 중앙 처리 유닛, 그래픽 처리 유닛, 텐서 처리 유닛, 신경망 집적 회로, 비전 처리 유닛, 또는 뉴로모픽 프로세서 중 하나 이상을 포함할 수 있다. 예를 들어, 디스플레이 처리 회로(130)의 디스플레이 처리 회로 아키텍처(810)는 위에 나열된 디바이스 중 하나 이상을 포함하거나 위에 나열된 장치 중 하나 이상을 사용하여 구현된다.
도 2d 및 2e와 관련하여 위에서 설명된 바와 같이, 처리 회로(예를 들어, 도 8의 디스플레이 처리 회로(130))는 정책 및 선택된 동작 모드에 따라 동작하는 전자 하드웨어를 포함한다. 처리 회로는 정책 및 선택된 동작 모드에 따라 전자 하드웨어를 동작시키기 위해 저장된 명령어를 더 포함할 수 있다. 명령어는 소프트웨어, 펌웨어 또는 둘 모두의 형태일 수 있다. 처리 회로에서 전자 하드웨어는 하나 이상의 백플레인에 걸쳐 공간적으로 분포된 트랜지스터-레벨 회로를 포함할 수 있다. 하나 이상의 백플레인에 걸쳐 분포된 트랜지스터-레벨 회로는 백플레인의 회로 구성의 트랜지스터-레벨 회로와 동일한 기판 상에 형성될 수 있다. 처리 회로에서의 전자 하드웨어는 백플레인에 걸쳐 공간적으로 분포된 다수의 이산 집적 회로(IC) 유닛(예를 들어, 도 2e 참조)을 포함할 수 있으며, 각 IC 유닛은 픽셀 어레이의 서브세트와 연관된다. IC 유닛의 각각은 동일한 기능을 수행하도록 구성될 수 있거나, 또는 대안적으로 다른 IC 유닛은 다른 기능을 수행하도록 구성될 수 있다. 다른 구현에서, 처리 회로에서의 전자 하드웨어는 하나 이상의 백플레인에 걸쳐 공간적으로 분포된 다수의 IC 유닛을 포함할 수 있고, 또한 하나 이상의 백플레인에 걸쳐 공간적으로 분포되는 트랜지스터-레벨 회로를 포함할 수 있다. 더욱이, 처리 회로에서의 전자 하드웨어는 처리 작업을 공간적으로, 각도로, 시간적으로, 랜덤 분포에 의해, 도착 순서에 의해, 하나 이상의 데이터 스트림과 연관된 일부 다른 순서에 의해, 또는 이들의 조합에 의해 분리한 회로의 계층(예를 들어, 도 2e 참조)으로서 구현될 수 있다. 회로의 계층에서 분리한 처리 작업은 동시에, 순차적으로 또는 이들 모두로 처리될 수 있다.
또한, 도 8에 대해, 디스플레이 처리 회로(130)가 하나 이상의 디스플레이와 사용될 때, 디스플레이 처리 회로(130)에 의해 수신된 하나 이상의 데이터 스트림(예를 들어, 데이터 스트림(125)) 중 적어도 하나는 처리 회로에 의해 수정될 때, 특정 뷰 또는 뷰들을 생성할 빛의 광선에 기여하기 위한 하나 이상의 백플레인의 회로 구성을 통해 하나 이상의 픽셀 어레이에 제공되는 신호를 생성하는 실세계 콘텐츠, 합성 데이터 또는 둘 다의 표현을 포함한다.
디스플레이 처리 회로(130)에 의해 수신된 하나 이상의 데이터 스트림은 2차원(2D) 이미지 또는 2D 비디오, 다중-색상 이미지 또는 다중-색상 비디오(예를 들어, RGB 이미지 또는 RGB 비디오), 깊이 정보를 갖는 다중-색상 이미지 또는 다중-색상 비디오, 하나 이상의 깊이 맵을 포함하는 깊이 정보, 라이트 필드 또는 라이트 필드 비디오, 다수의 프레임, 광선 또는 광선 번들, 광선 또는 광선 번들의 시퀀스 또는 시퀀스들, 감각 데이터, 오디오 데이터, 하나 이상의 디스플레이로부터 디스플레이 환경의 밝기, 색상 또는 둘 모두, 또는 하나 이상의 디스플레이에 대한 시청자 위치, 시청자 머리 배향 또는 시청자 시선 방향의 추정 중 하나 이상을 포함한다. 감각 데이터는 예를 들어 센서(들)(155)로부터 데이터 스트림(들)(125)을 통해 및/또는 센서(들)(155)로부터 직접적으로 수신될 수 있다. 깊이 정보는 데이터 소스의 하나의 색상 스트림에 대한 깊이 정보, 데이터 소스의 다수의 색상 스트림에 대한 깊이 정보 또는 데이터 소스의 모든 색상 스트림에 대한 깊이 정보 중 하나 이상을 포함할 수 있다.
디스플레이 처리 회로(130)에 의해 수신된 하나 이상의 데이터 스트림은 하나 이상의 픽셀 어레이의 픽셀과 연관된 채널을 포함할 수 있으며, 각 채널은 하나 이상의 색상, 깊이, 투명도, 내장된 피처, 이미지 분할(image segmentation) 및 라벨링, 방향성 데이터, 또는 현저성 또는 중요도 가중치 중 하나 이상을 포함한다. 현저성에 대해, 나머지로부터 지각적으로 부각되는(stands out from) 3D 장면 또는 2D 이미지의 일부는 현저한(salient) 것으로 지칭된다. 시간 또는 공간에서 색상 또는 강도의 빠른 변화는 균일한 영역보다 더 현저한 경향이 있다. 사람 관찰자에 대해, 사람의 얼굴이 현저한 경향이 있다. 일반적으로, 시청자는 현저한 영역에 더 많은 주의를 기울이며, 따라서 현저하지 않은 영역보다 더 높은 충실도(fidelity)를 갖는 현저한 영역을 디스플레이하는 것이 더 중요하다.
디스플레이 처리 회로(130)에 의해 수신된 하나 이상의 데이터 스트림은 장면 설명을 포함할 수 있으며, 여기서 장면 설명은 2D 또는 3D 객체, 재료 특성, 조명, 카메라 파라미터, 사용자 또는 시청자 위치, 타임 코드, 높은-레벨 이미지 피처, 이미지 분할 또는 라벨링 또는 콘텐츠 설명 중 하나 이상이다.
디스플레이 처리 회로(130)에 의해 수신된 하나 이상의 데이터 스트림은 하나 이상의 이미지, 뷰 위치 또는 눈 위치를 나타내는 이미지, 눈 위치를 나타내는 하나 이상의 스테레오 쌍, 뷰 위치 또는 눈 위치의 규칙적이거나 불규칙적인 샘플링, 또는 하나 이상의 라이트 필드를 포함할 수 있다.
일 양상에서, 디스플레이 처리 회로(130)에 의해 수신된 하나 이상의 데이터 스트림의 각각은 압축되거나 압축되지 않을 수 있다.
디스플레이 처리 회로(130)에 의해 수신된 하나 이상의 데이터 스트림은 하나 이상의 디스플레이에서 하나 이상의 센서(예를 들어, 센서(들)(155))로부터의 정보를 포함할 수 있으며, 여기서 정보는 디스플레이 환경의 밝기 및 색상의 광센서 판독치, 하나 이상의 디스플레이 주위의 환경, 사용자 또는 이들 모두의 카메라 시야, 하나 이상의 디스플레이 주위의 환경, 사용자 또는 이들 모두의 마이크로폰 판독치, 또는 사용자 입력 및 선호도 중 하나 이상을 포함한다. 따라서, 센서(들)(155)는 광 센서, 카메라, 마이크로폰 및/또는 입력 디바이스를 포함할 수 있다.
또한, 도 8에 대해, 디스플레이 처리 회로(130)가 하나 이상의 디스플레이와 사용될 때, 디스플레이 처리 회로(130)에 의해 생성되거나, 제작되거나 또는 형성되는 하나 이상의 수정된 데이터 스트림(예를 들어, 수정된 데이터 스트림(850))은 2차원(2D) 이미지 또는 2D 비디오, 깊이 정보를 갖는 다중-색상 이미지 또는 다중-색상 비디오(예를 들어, RGB 이미지 또는 RGB 비디오), 스테레오 이미지 또는 스테레오 비디오, 광선 또는 광선 번들, 광선의 시퀀스 또는 광선 번들의 시퀀스, 라이트 필드 또는 라이트 필드 비디오, 또는 3D 장면의 다수의 다중-색상 뷰를 갖는 라이트 필드 또는 라이트 필드 비디오 중 하나 이상을 포함한다.
수정된 하나 이상의 데이터 스트림은 하나 이상의 픽셀 어레이의 픽셀과 연관된 채널을 포함할 수 있으며, 각 채널은 하나 이상의 색상, 깊이, 투명도, 내장된 피처, 이미지 분할 및 라벨링, 방향성 데이터, 또는 현저성 또는 중요도 가중치 중 하나 이상을 포함한다. 투명도에 관하여, 객체 또는 이미지층은 불투명할 수 있으며, 이는 이들이 모든 광을 차단하고 시청자는 이를 통해 볼 수 없음을 의미한다. 완전히 투명한 객체 또는 이미지층은 보이지 않는다. 부분적으로 투명한 객체 또는 층은 그 뒤에 있는 장면의 일부를 표시하고 그의 자체 색상을 추가한다. 투명도는 종종 알파 채널로 불리는 추가적인 색상 채널로 인코딩되며, 여기서 알파 값 1은 완전히 불투명함을 의미하고, 0은 완전히 투명함을 의미하며, 1과 0 사이의 값은 부분적으로 투명함을 의미한다.
수정된 하나 이상의 데이터 스트림은 장면 설명(예를 들어, 일부 형태의 메타데이터)을 포함할 수 있고, 여기서 장면 설명은 2D 또는 3D 객체, 재료 특성, 조명, 카메라 파라미터, 사용자 또는 시청자 위치, 타임 코드, 높은-레벨의 이미지 피처, 이미지 분할 또는 라벨링 또는 콘텐츠 설명 중 하나 이상이다.
다른 양상에서, 수정된 하나 이상의 데이터 스트림은 하나 이상의 이미지, 뷰 위치 또는 눈 위치를 나타내는 이미지, 눈 위치를 나타내는 하나 이상의 스테레오 쌍, 뷰 위치 또는 눈 위치의 규칙적 또는 불규칙적인 샘플링, 또는 하나 이상의 라이트 필드 중 하나 이상을 포함할 수 있다.
더욱이, 수정된 하나 이상의 데이터 스트림의 각각은 압축되거나 압축되지 않는다.
또한 도 8에 대해, 디스플레이 처리 회로(130)가 하나 이상의 디스플레이와 사용될 때, 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업 또는 작업들은 원래 픽셀 수보다 더 높은 수의 총 픽셀 또는 원래 픽셀의 밀도보다 더 높은 픽셀의 밀도를 갖는 더 높은 해상도로 변환하는 것, 원래 범위를 넘는 범위를 외삽함으로써(extrapolating) 더 높은 동적 범위를 생성하는 것, 깊이 정보를 갖는 다중-색상 이미지 또는 다중-색상 비디오를 생성하는 것, 스테레오 이미지 또는 스테레오 비디오를 생성하는 것, 3D 장면의 하나 또는 다수의 다중-색상 뷰를 생성하는 것, 3D 장면의 추가적인 다중-색상 뷰를 생성하는 것, 다수의 프레임으로부터 시각적인 세부사항을 결합함으로써 장면의 더 높은 해상도 모델을 추정하는 것, 또는 비디오에서 장면 콘텐츠 또는 뷰의 하나 또는 둘 모두에서 발생하는 시각적인 변화의 크기를 측정함으로써 비디오에서 컷 또는 점프 중 하나 또는 둘 모두를 검출하는 것 중 하나 이상을 포함할 수 있다.
3D 장면의 하나 또는 다수의 다중-색상 뷰를 생성하는 작업은 뷰 합성 동작, 홀-채우기 동작, 초해상도 동작, 깊이 조정 동작, 포비티드 렌더링(foveated rendering)에 의한 대역폭 제어, 또는 낮은-동적-범위(LDR) 대 높은-동적-범위(HDR) 변환 중 하나 이상을 더 포함한다.
하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업 또는 작업들은 콘텐츠 분류, 대응, 보간 및 초해상도, 디스플레이 재매핑, 사용자 추적, 다중-뷰로의 변환, 깊이 추정, 이미지 분할 또는 장면 특성의 추정 중 하나 이상을 포함할 수 있다.
위에서 설명된 콘텐츠 분류의 작업은 개별 픽셀, 2D 피처, 3D 피처, 이미지 타입 또는 이들의 조합을 분류하기 위한 차원 축소를 제공한다. 차원 축소는 처리하기 더 쉽거나 및/또는 더 대상으로 하는 더 적은 정보로 정보의 표현을 가능하게 한다.
다른 양상에서, 위에서 설명된 콘텐츠 분류 작업은 하나 이상의 데이터 스트림에서 콘텐츠의 분류를 제공하며, 여기서 처리 회로는 분류에 응답하여, (예를 들어, 디스플레이 메모리(135)로부터) 처리 회로에 의해 액세스 가능한 다른 다수의 가중치 세트로부터 고유한 다수의 가중치 세트를 동적으로 로딩하도록 더 구성되고, 하나 이상의 처리 네트워크(예를 들어, 신경망)는 고유한 다수의 가중치 세트를 사용하여 처리 회로에서 구현된다.
다른 양상에서, 위에서 설명된 콘텐츠 분류는 다음: 애플리케이션(예를 들어, 게임, 워드-프로세스, 스포츠, 원격 회의 등) 별로 콘텐츠를 분류하는 것, 주제(사람, 텍스트, 풍경, 실내, 실외 등) 별로 콘텐츠를 분류하는 것, 추정된 깊이, 움직임을 기초로 한 분류, 장면 파라미터(예를 들어, 조명, 카메라, 기하학)의 추정/분류를 수행하는 것, 및 (예를 들어, 변화, 강도, 움직임의 크기에 기인한) 장면 컷의 추정을 수행하는 것 중 하나 이상을 포함할 수 있다. 장면 추정은 콘텐츠 분류뿐만 아니라 일반적인 깊이/3D 추정에도 관련된다. 깊이의 추정은 각 프레임이 분리되어 다루어지지 않는 경우 훨씬 더 강인하지만(robust), 홀을 채우고 움직임으로부터 깊이를 추정하고 잡음을 제거하는 등을 위해 추가적인 정보를 사용한다. 워드 프로세싱과 같은 일부 애플리케이션에서는 2D 텍스트가 두드러진 경향이 있을 것이다 - 이 경우 콘텐츠는 공간 해상도, 대비 및 가독성에 초점을 맞추면서 디스플레이 평면에서 보이도록 최적화될 가능성이 높다. 원격 회의는 인체에 초점을 맞추는 경향이 있으며, 눈 및 입의 세부사항을 캡처하는 것이 가장 중요하다. 게임 또는 스포츠와 같은 다른 애플리케이션은 더욱 동적일 것이며, 분류의 목적으로 훨씬 더 넓은 범위의 콘텐츠를 가질 것이다. 실제로, 특정 데이터의 클래스(예를 들어, 얼굴, 스포츠, 텍스트)에 대해 신경망을 트레이닝시키고 처리하는 데이터를 기초로 런타임에 신경망에 의해 요구되는 가중치를 전환하는 것이 가능할 것이다.
위에서 설명된 디스플레이 재매핑의 작업은 강도 재매핑, 밝기 재매핑, 해상도 재매핑, 종횡비 재매핑, 색상 재매핑, 또는 깊이 재매핑 중 하나 이상을 포함한다. 디스플레이 재매핑은 하나 이상의 지각 메트릭을 사용하여 디스플레이 깊이 총량 내로 맞추기 위해 이미지 강도 및 불일치를 왜곡하도록, 보간 및 초해상도의 보간 부분에서 가중치의 조정을 제공하는 깊이 재매핑을 포함할 수 있다. 위에서 설명한 바와 같이, 깊이 재매핑의 프로세스는 장면의 일부가 디스플레이 평면에 더 가깝게 이동되도록 장면의 3D 구조를 수정하는 것을 수반한다. 디스플레이 재매핑은 깊이 정보가 이용 가능할 때 적용 가능한 깊이 재매핑, 또는 깊이 정보가 이용 가능하지 않을 때 적용 가능한 불일치 재매핑을 포함할 수 있다. 불일치 재매핑은 예를 들어, 스테레오 이미지 또는 스테레오 비디오와 관련하여 사용될 수 있다. 추가적으로, 처리 회로는 불일치 재매핑을 깊이 정보로 변환하도록 더 구성된다.
위에서 설명된 디스플레이 재매핑의 작업은 하나 이상의 재매핑 파라미터에 기초할 수 있으며, 여기서 하나 이상의 재매핑 파라미터는 하나 이상의 디스플레이의 파라미터 또는 하나 이상의 디스플레이의 능력 중 하나 또는 둘 모두와 연관되고, 하나 이상의 디스플레이의 파라미터 또는 하나 이상의 디스플레이의 능력 중 하나 또는 둘 모두는 공간 해상도, 각도 해상도, 동적 범위 또는 시야 중 하나 이상을 포함한다.
위에서 설명된 콘텐츠 분류의 작업은 하나 이상의 기준에 기초하여 하나 이상의 데이터 스트림에서 데이터의 분류를 제공하고, 처리 회로는 분류에 응답하여 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업을 동적으로 업데이트하도록 구성된다.
위에서 설명된 보간 및 초해상도의 작업은 2D 대 3D 변환 또는 LDR 대 HDR 변환 중 하나 또는 둘 모두를 제공한다.
위에서 설명된 디스플레이 재매핑의 작업은 강도 재매핑, 밝기 재매핑, 해상도 재매핑, 종횡비 재매핑, 색상 재매핑 또는 콘텐츠 깊이 재매핑 중 하나 이상을 포함할 수 있다.
다른 양상에서, 처리 회로(예를 들어, 도 8의 디스플레이 처리 회로(130))는 작업을 현재 장면 콘텐츠에 적응시킴으로써 최근 프레임을 기초로 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업을 수정하도록 더 구성되고, 수정된 작업이 보간을 포함할 때, 보간은 공간 보간, 각도 보간 또는 시간적 보간 중 하나 이상을 포함할 수 있다.
다른 양상에서, 처리 회로에 의해 수신된 하나 이상의 데이터 스트림은 다수의 프레임을 포함할 수 있고, 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업은 시간에 걸쳐 다수의 프레임을 결합하고 정렬함으로써 장면의 지속적인 3D 모델의 추정을 포함할 수 있다.
또 다른 양상에서, 처리 회로에 의해 수신된 하나 이상의 데이터 스트림은 다수의 프레임을 포함할 수 있고, 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업은 시간에 걸쳐 다수의 프레임으로부터 시각적인 세부사항을 결합함으로써 장면의 더 높은 해상도 모델의 추정을 포함할 수 있다.
또 다른 양상에서, 처리 회로에 의해 수신된 하나 이상의 데이터 스트림은 비디오를 포함할 수 있고, 처리 회로는 비디오의 장면 콘텐츠 또는 뷰의 하나 또는 둘 모두에서 발생하는 시각적인 변화의 크기를 측정함으로써 비디오의 컷 또는 점프 중 하나 또는 둘 모두를 검출하도록 더 구성된다.
다른 양상에서, 처리 회로에 의해 수신된 하나 이상의 데이터 스트림은 다수의 장면을 포함할 수 있고, 처리 회로는 이전에 나타난 장면과 연관된 피처, 가중치 또는 정보 중 하나 이상을 유지하도록 구성된다.
또한,　도 8에 대해, 디스플레이 처리 회로(130)가 하나 이상의 디스플레이와 사용될 때, 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업 또는 작업들은 하나 이상의 데이터 스트림에서 2D 이미지 또는 비디오로부터의 다수의 프레임에 대한 깊이 정보의 추정을 포함할 수 있다.
더욱이, 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업 또는 작업들은 공간 해상도, 각도 해상도, 시간적 해상도, 비트 깊이, 동적 범위 또는 이들 모두, 색상, 깊이, 스펙트럼 샘플링 또는 투명도를 포함하는 픽셀 채널, 방향성 데이터, 또는 현저성 또는 중요도 가중치 중 하나 이상에 의해 픽셀 데이터를 증가시킴으로써 추가적인 픽셀 데이터를 합성하는 것을 포함할 수 있다.
하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업 중 적어도 일부는 이용 가능한 공간 해상도, 이용 가능한 각도 해상도, 재생률, 색영역(color gamut) 또는 동적-범위 중 하나 이상을 포함하는 하나 이상의 디스플레이의 아키텍처 및 능력을 기초로 하나 이상의 데이터 스트림에서의 콘텐츠를 적응시키도록 구성될 수 있고, 작업 중 적어도 일부는 강도 처리, 색상 처리, 화이트 밸런싱, 뷰 인터레이싱, 톤 매핑 또는 디스플레이 광학계에 대한 보정 중 하나 이상을 포함할 수 있다.
하나 이상의 디스플레이(예를 들어, 디스플레이(110, 210))는 픽셀 강도, 색영역, 재생률 또는 동적 범위 중 하나 이상의 디스플레이 능력 및 변화를 측정하도록 교정될(calibrated) 수 있으며, 여기서 하나 이상의 디스플레이의 교정은 하나 이상의 디스플레이의 제조 동안 또는 하나 이상의 디스플레이의 동작 동안 수행된다.
하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업은 픽셀 어레이에서 픽셀의 하나 이상의 서브세트에 선택적으로 적용될 수 있으며, 여기서 하나 이상의 서브세트는 공간 서브세트, 각도 서브세트 또는 시간적 서브세트이다.
다른 양상에서, 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업 중 적어도 일부는 다수의 프레임을 분석하도록 구성될 수 있고, 이들 작업은 비디오 콘텐츠에서 프레임에 걸쳐 움직임을 추적하는 것을 포함할 수 있다.
또 다른 양상에서, 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업 중 적어도 하나는 하나 이상의 디스플레이에 대한 하나 이상의 사용자 위치의 추정에 적어도 부분적으로 기초할 수 있고, 사용자 위치는 2D 또는 3D 머리 위치 정보, 2D 또는 3D 눈 위치 정보, 머리 배향 정보, 눈 배향 정보, 시선 방향 또는 이들의 조합에 의해 표시된다.
또한, 도 8에 대해, 디스플레이 처리 회로(130)는 하나 이상의 디스플레이와 사용되고, 하나 이상의 디스플레이의 능력은 하나 이상의 초-고해상도 능력 또는 높은 동적-범위 능력을 포함한다. 일 예시에서, 초-고해상도 능력은 8K 이상의 해상도에 대한 지원을 포함할 수 있다.
도 9는 처리 회로가 하나 이상의 디스플레이(예를 들어, 디스플레이(110, 210)) 내에서 하나 이상의 데이터 스트림을 처리하는 방법(900)의 예시를 예시하는 흐름도이다. 방법(900)은 도 8에 도시된 디스플레이 처리 회로(130)에 의해 수행될 수 있다. 추가적으로, 방법(900)의 양상은 또한, 도 4에 도시된 디스플레이 처리 회로(130)에 의해 수행될 수 있다. 방법(900)은 다수의 뷰(예를 들어, 디스플레이(210))를 지원하는 하나 이상의 디스플레이상에서 데이터 스트림(예를 들어, 데이터 스트림(125))의 처리를 가능하게 한다.
910에서, 방법(900)은 하나 이상의 디스플레이의 처리 회로(예를 들어, 디스플레이 처리 회로(130))에서 하나 이상의 데이터 스트림을 수신하는 것을 포함하며, 여기서 처리 회로는 하나 이상의 디스플레이의 하나 이상의 백플레인(예를 들어, 백플레인(들)(150))에 결합되고, 결국 하나 이상의 디스플레이의 하나 이상의 픽셀 어레이(예를 들어, 픽셀 어레이(들)(151))에 결합된다.
920에서, 방법(900)은 처리 회로에 의해 지원되는 동작 모드를 선택하기 위한 정책에 기초하여 하나 이상의 데이터 스트림의 처리를 처리 회로에 의해 제어하는 것을 포함하고, 각 동작 모드는 하나 이상의 디스플레이에서 하나 이상의 픽셀 어레이가 특정 뷰 또는 뷰들을 생성하기 위해 기여하는 빛의 광선(예를 들어, 도 2c의 광선(205) 참조) 및 하나 이상의 데이터 스트림(예를 들어, 수정된 데이터 스트림(850))을 수정하기 위한 처리 회로에 의해 수행될 작업을 정의하여, 하나 이상의 픽셀 어레이가 동작 모드의 특정 뷰 또는 뷰들을 생성할 광선에 기여한다.
930에서, 방법(900)은 처리 회로에 의해, 동작 모드의 특정 뷰 또는 뷰들을 생성할 광선에 기여하기 위한 하나 이상의 픽셀 어레이에 대한 하나 이상의 백플레인의 회로 구성을 통해 하나 이상의 픽셀 어레이에 수정된 하나 이상의 데이터 스트림을 나타내는 시그널링을 제공하는 것을 포함한다.
방법(900)의 일 양상에서, 처리 회로는 하나 이상의 동작 모드를 지원하고, 하나 이상의 동작 모드는 단일 뷰가 하나 이상의 디스플레이의 모든 시청자에 대해 생성되는 제1 동작 모드, 다른 뷰가 하나 이상의 디스플레이의 각 시청자에 대해 생성되는 제2 동작 모드, 다수의 뷰가 하나 이상의 디스플레이의 하나 이상의 시청자의 각각에 대해 생성되는 제3 동작 모드, 하나 이상의 뷰가 하나 이상의 디스플레이의 하나 이상의 시청자의 각각에 대해 생성되는 제4 동작 모드, 또는 단일 뷰가 하나 이상의 디스플레이의 하나 이상의 시청자에 대해 생성되고 하나 이상의 뷰가 하나 이상의 디스플레이의 각 나머지 시청자에 대해 생성되는 제5 동작 모드 중 하나 이상을 포함한다.
방법(900)의 다른 양상에서, 하나 이상의 백플레인의 회로 구성은 수정된 하나 이상의 데이터 스트림과 연관된 시그널링을 하나 이상의 픽셀 어레이의 지정된 부분에 분포시키도록 구성된 논리적인 배열이다.
방법(900)의 다른 양상에서, 처리 회로(예를 들어, 디스플레이 처리 회로 아키텍처(810))의 적어도 일부의 아키텍처는 신경망 아키텍처, 고정된-함수 논리 신호 처리 아키텍처, 또는 프로그램 가능 파이프라인 아키텍처를 포함한다.
방법(900)의 다른 양상에서, 아키텍처가 신경망 아키텍처일 때, 방법(900)은 신경망 아키텍처에 의해, 하나 이상의 입력 데이터 스트림을 하나 이상의 출력 데이터 스트림으로 처리하기 위한 알고리즘을 수행하는 것을 더 포함하고, 알고리즘이 수행하는 계산은 트레이닝 프로세스에서 학습되고, 트레이닝 프로세스는 입력 데이터의 처리 이전에 수행된다.
방법(900)의 다른 양상에서, 방법(900)은 알고리즘의 네트워크 구성을 처리 회로로 전송하는 것 이전에 하나 이상의 디스플레이와 다른 시스템에 대해 트레이닝 프로세스를 수행하는 것을 포함한다. 대안적으로, 트레이닝 프로세스는 하나 이상의 디스플레이의 처리 회로에서 수행될 수 있다. 더욱이, 트레이닝 프로세스는 알고리즘의 네트워크 구성을 처리 회로로 전송하는 것 이전에 하나 이상의 디스플레이와 다른 시스템에서 초기에 수행될 수 있고, 하나 이상의 데이터 스트림으로부터 새로운 데이터가 처리될 때, 하나 이상의 디스플레이의 처리 회로에서 후속적으로 수행될 수 있다.
방법(900)의 다른 양상에서, 트레이닝 프로세스에서 학습은 하나 이상의 비용 또는 목적 함수를 최적화하는 것을 포함할 수 있다.
방법(900)의 다른 양상에서, 방법(900)은 알고리즘이 하나 이상의 네트워크를 사용하여 수행하는 계산을 구현하는 것을 더 포함할 수 있고, 하나 이상의 네트워크는 함수가 하나 이상의 수에 의해 지정되고 하나 이상의 비용 또는 목적 함수가 이들 하나 이상의 수를 변경시킴으로써 최적화되는 하나 이상의 계산 유닛을 포함한다. 방법은 경사 하강 기반 최적화를 수치적으로 적용함으로써 하나 이상의 비용 또는 목적 함수를 최적화하는 것을 더 포함할 수 있다.
방법(900)의 다른 양상에서, 트레이닝 프로세스는 입력 데이터 항목 및 출력 데이터 항목의 쌍이 포함된 트레이닝 세트를 제공하는 것으로 구성될 수 있고, 계산은 쌍의 입력 항목이 계산에 대한 입력으로서 제공될 때 쌍의 출력 항목에 실질적으로 유사한 출력을 생성하기 위해 최적화된다. 쌍의 출력 항목과 실질적으로 유사한 출력은 유클리드 거리(Euclidian distance)를 포함하는 적어도 하나의 거리 메트릭의 어느 하나를 사용하여 짧은 거리만큼 떨어져 있음을 나타낸다.
방법(900)의 다른 양상에서, 트레이닝 프로세스는 입력 데이터 항목이 포함된 트레이닝 세트를 제공하는 것으로 구성될 수 있으며, 방법은 알고리즘이 하나 이상의 네트워크(예를 들어, 도 5a 및 5b에서와 같은 신경망)를 사용하여 수행하는 계산을 구현하는 것을 더 포함하고, 방법은 트레이닝 프로세스에 응답하여 입력 데이터 항목을 실질적으로 재현하기 위해 하나 이상의 네트워크를 최적화하는 것을 더 포함한다. 방법은 입력 데이터 항목을 수정하는 것을 더 포함할 수 있고, 하나 이상의 네트워크는 수정되지 않은 입력 데이터 항목을 재현하기 위해 수정을 제거하도록 최적화된다. 덧붙여, 입력 데이터 항목을 수정하는 것은 입력 데이터 항목에 잡음을 추가하는 것, 입력 데이터 항목에 왜곡을 추가하는 것, 입력 데이터 항목에서 이미지의 일부를 제거하거나 마스킹하는 것 중 하나 이상을 포함할 수 있다.
방법(900)의 다른 양상에서, 트레이닝 프로세스는 트레이닝 세트를 제공하는 것으로 구성될 수 있고, 트레이닝 세트는 입력 항목만을 포함하는 샘플, 및 입력 항목 및 원하는 출력 항목을 모두 포함하는 샘플의 하이브리드이며, 방법은 알고리즘이 하나 이상의 네트워크를 사용하여 수행하는 계산을 구현하는 것을 더 포함할 수 있고, 방법은 출력 항목 쌍을 갖지 않는 샘플에 대해 수정되지 않은 입력 항목을 재현하기 위해, 및 원하는 출력 항목을 갖는 샘플에 대한 원하는 출력 항목을 생성하기 위해 하나 이상의 네트워크를 최적화하는 것을 더 포함한다.
방법(900)의 다른 양상에서, 방법(900)은 알고리즘이 적어도 두 개의 네트워크를 사용하여 수행하는 계산을 구현하는 것을 더 포함할 수 있으며, 여기서 두 개의 네트워크는 공동으로 트레이닝되고, 하나의 네트워크는 트레이닝 세트로부터의 샘플과 비슷한 샘플을 생성하도록 트레이닝되고, 다른 네트워크는 샘플이 트레이닝 세트로부터의 것이거나 또는 다른 네트워크에 의해 생성되는지를 결정하도록 트레이닝된다.
방법(900)의 다른 양상에서, 방법(900)은 알고리즘이 하나 이상의 네트워크를 사용하여 수행하는 계산을 구현하는 것을 더 포함할 수 있고, 여기서 하나 이상의 네트워크는 네트워크에 의해 생성된 출력의 시퀀스에 걸쳐 전체 비용 또는 목적 함수를 최적화하도록 트레이닝되고, 하나 이상의 네트워크는 숫자의 집합인 하나 이상의 데이터 스트림에 의해 제공되는 입력을 네트워크의 하나 이상의 상호 연결층에 연결하고, 결국 하나 이상의 네트워크의 출력층에 연결하며, 하나 이상의 네트워크에서 층으로의 입력은 하나 이상의 네트워크에서 이전 층으로부터, 하나 이상의 네트워크에서 앞선 층에 대한 스킵 또는 잔차 연결로부터, 하나 이상의 네트워크에서 이후의 층으로부터의 피드백 연결로부터 또는 하나 이상의 네트워크에서 어느 층의 이력 값에 대한 순환 연결로부터, 또는 이들의 조합으로부터 초래될 수 있다. 방법은 선택적으로 각 입력에 숫자 가중치를 곱하는 것, 및 선택적으로 가중치가 부여된 입력의 합을 하나 이상의 네트워크의 비선형 활성화층에 전달하는 것을 더 포함할 수 있으며, 비선형 활성화층은 시그모이드 함수, tanh 함수, 정류된 선형 유닛(ReLU) 또는 누출 정류된 선형 유닛(누출 ReLU) 중 하나를 제공한다.
방법(900)의 다른 양상에서, 방법(900)은 알고리즘이 하나 이상의 네트워크를 사용하여 수행하는 계산을 구현하는 것을 더 포함할 수 있으며, 여기서 하나 이상의 네트워크는 입력의 최대 또는 최소를 취함으로써 또는 입력을 합산함으로써 수개의 값을 단일 값으로 결합하는 선택적인 풀링층을 포함한다.
방법(900)의 다른 양상에서, 방법(900)은 알고리즘이 하나 이상의 네트워크를 사용하여 수행하는 계산을 구현하는 것을 더 포함할 수 있으며, 여기서 하나 이상의 네트워크는 층에서의 하나 이상의 출력을 포함하고, 각 출력은 가중치, 비선형성 및 풀링의 그 자체의 세트를 갖는다.
방법(900)의 다른 양상에서, 알고리즘이 수행하는 계산은 처리 회로에 의해 수행될 다수의 작업의 동시 처리를 포함하며, 각 작업의 출력은 고유한 출력 데이터 스트림에 의해 표현된다. 방법은 알고리즘이 하나 이상의 네트워크를 사용하여 수행하는 계산을 구현하는 것을 더 포함할 수 있으며, 하나 이상의 네트워크는 다수의 작업에 의해 공유되는 층 및 작업 간에 공유되지 않는 작업-특정 층을 포함한다. 더욱이, 다수의 작업의 동시 처리는 하나 이상의 데이터 스트림으로부터의 다수의 입력 데이터 스트림을 다수의 출력 데이터 스트림으로 처리하는 것을 포함할 수 있다.
방법(900)의 다른 양상에서, 처리 회로의 적어도 일부의 아키텍처는 신경망 아키텍처를 포함하고, 방법은 선택된 동작 모드에 대해 하나 이상의 데이터 스트림을 수정하기 위한 작업을 수행하는 하나 이상의 신경망을 신경망 아키텍처의 일부로서 구현하고 실행하는 것을 더 포함한다. 이 경우, 하나 이상의 신경망의 다수의 가중치는 트레이닝 데이터 세트에 대한 비용 함수를 최적화함으로써 결정될 수 있으며, 트레이닝 데이터 세트는 실세계 콘텐츠, 합성 데이터 또는 둘 모두를 포함한다. 방법은 하나 이상의 디스플레이의 제조 동안 하나 이상의 신경망의 다수의 가중치를 설정하는 것 또는 하나 이상의 디스플레이의 동작 동안 다수의 가중치를 동적으로 업데이트하는 것을 더 포함할 수 있으며, 여기서 동적 업데이트는 수신된 하나 이상의 데이터 스트림에 응답하여, 소프트웨어 업데이트에 응답하여, 또는 이들 모두에 응답하여 발생한다. 방법은 하나 이상의 신경망의 구현에 하나 이상의 신경망의 다수의 가중치를 하드 코딩하는 것 또는 메모리에 다수의 가중치를 저장하는 것 및 하나 이상의 신경망의 구현을 위해 메모리로부터 다수의 가중치에 액세스하는 것을 더 포함할 수 있다. 방법은 하나 이상의 데이터 스트림에서 이용 가능한 데이터 스트림, 디스플레이를 위한 하나 이상의 데이터 스트림의 콘텐츠, 하나 이상의 데이터 스트림을 수정하기 위해 수행될 작업, 또는 하나 이상의 디스플레이의 출력 모드 중 하나 이상을 기초로 하나 이상의 신경망의 다수의 가중치를 조정하는 것을 더 포함할 수 있다.
하나 이상의 신경망 각각의 구성은 하나 이상의 컨볼루션층, 하나 이상의 완전히 연결된 층, 하나 이상의 풀링층, 하나 이상의 업-샘플링층, 하나 이상의 다운-샘플링층, 하나 이상의 스킵 또는 잔차 연결, 하나 이상의 밀집한 연결 또는 하나 이상의 피드백 연결, 하나 이상의 드물게 연결된 층, 하나 이상의 장기 또는 단기 메모리 유닛, 또는 하나 이상의 순환 연결 중 하나 이상을 포함한다. 하나 이상의 신경망은 다수의 신경망을 포함할 수 있고 다수의 신경망은 연접된다. 하나 이상의 신경망은 다수의 신경망을 포함할 수 있고, 다른 신경망은 하나 이상의 데이터 스트림을 수정하기 위해 다른 작업을 수행한다.
방법(900)의 다른 양상에서, 하나 이상의 데이터 스트림 중 적어도 하나는 처리 회로에 의해 수정될 때 동작 모드의 특정 뷰 또는 뷰들을 생성할 광선에 기여하기 위한 하나 이상의 백플레인의 회로 구성을 통해 하나 이상의 픽셀 어레이에 제공되는 신호를 생성하는 실세계 콘텐츠, 합성 데이터 또는 둘 모두의 표현을 포함한다.
방법(900)의 다른 양상에서, 하나 이상의 데이터 스트림을 수신하는 것은 2차원(2D) 이미지 또는 2D 비디오, 다중-색상 이미지 또는 다중-색상 비디오(예를 들어, RGB 이미지 또는 RGB 비디오), 깊이 정보를 갖는 다중-색상 이미지 또는 다중-색상 비디오 - 깊이 정보는 하나 이상의 깊이 맵을 포함함 -, 라이트 필드 또는 라이트 필드 비디오, 다수의 프레임, 광선 또는 광선 번들, 광선 또는 광선 번들의 시퀀스 또는 시퀀스들, 감각 데이터, 오디오 데이터, 하나 이상의 디스플레이로부터 디스플레이 환경의 밝기, 색상 또는 둘 모두, 하나 이상의 디스플레이에 대한 시청자 위치, 시청자 머리 배향 또는 시청자 시선 방향의 추정 중 하나 이상을 수신하는 것을 포함한다. 예시에서, 깊이 정보는 데이터 소스의 하나의 색상 스트림에 대한 깊이 정보, 데이터 소스의 다수의 색상 스트림에 대한 깊이 정보, 또는 데이터 소스의 모든 색상 스트림에 대한 깊이 정보 중 하나 이상을 포함한다.
방법(900)의 다른 양상에서, 하나 이상의 데이터 스트림은 하나 이상의 픽셀 어레이의 픽셀과 연관된 채널을 포함하고, 각 채널은 하나 이상의 색상, 깊이, 투명도, 내장된 피처, 이미지 분할 및 라벨링, 방향성 데이터 또는 현저성 또는 중요도 가중치 중 하나 이상을 포함한다.
방법(900)의 다른 양상에서, 하나 이상의 데이터 스트림은 장면 설명(예를 들어, 메타 데이터)을 포함하고, 여기서 장면 설명은 2D 또는 3D 객체, 재료 특성, 조명, 카메라 파라미터, 사용자 또는 시청자 위치, 타임 코드, 높은 레벨의 이미지 피처, 이미지 분할 또는 라벨링 또는 콘텐츠 설명 중 하나 이상이다.
방법(900)의 다른 양상에서, 하나 이상의 데이터 스트림은 하나 이상의 이미지, 뷰 위치 또는 눈 위치를 나타내는 이미지, 눈 위치를 나타내는 하나 이상의 스테레오 쌍, 뷰 위치 또는 눈 위치의 규칙적 또는 불규칙적인 샘플링, 또는 하나 이상의 라이트 필드 중 하나 이상을 포함한다.
방법(900)의 다른 양상에서, 하나 이상의 데이터 스트림의 각각은 압축되거나 압축되지 않는다.
방법(900)의 다른 양상에서, 하나 이상의 데이터 스트림은 하나 이상의 디스플레이에서 하나 이상의 센서로부터의 정보를 포함하고, 정보는 디스플레이 환경의 밝기 및 색상의 광센서 판독치, 하나 이상의 디스플레이 주위의 환경, 사용자 또는 이들 모두의 카메라 시야, 하나 이상의 디스플레이 주위의 환경, 사용자 또는 이들 모두의 마이크로폰 판독치, 또는 사용자 입력 및 선호도 중 하나 이상을 포함한다. 하나 이상의 센서(예를 들어, 센서(들)(155))로부터의 정보는 하나 이상의 데이터 스트림을 통해 처리 회로(예를 들어, 디스플레이 처리 회로(130))에 의해, 센서로부터 직접적으로 또는 이의 조합으로부터 수신될 수 있다.
방법(900)의 다른 양상에서, 하나 이상의 데이터 스트림(예를 들어, 수정된 데이터 스트림(850))을 수정하는 것은 2차원(2D) 이미지 또는 2D 비디오, 깊이 정보를 갖는 다중-색상 이미지 또는 다중-색상 비디오, 스테레오 이미지 또는 스테레오 비디오, 광선 또는 광선의 번들, 광선의 시퀀스 또는 광선 번들의 시퀀스, 라이트 필드 또는 라이트 필드 비디오, 또는 3D 장면의 다수의 다중 색상 뷰를 갖는 라이트 필드 또는 라이트 필드 비디오 중 하나 이상을 생성하는 것을 포함할 수 있다.
방법(900)의 다른 양상에서, 수정된 하나 이상의 데이터 스트림은 하나 이상의 픽셀 어레이의 픽셀과 연관된 채널을 포함할 수 있으며, 여기서 각 채널은 하나 이상의 색상, 깊이, 투명도, 내장된 피처, 이미지 분할 및 라벨링, 방향성 데이터 또는 현저성 또는 중요도 가중치 중 하나 이상을 포함한다.
방법(900)의 다른 양상에서, 수정된 하나 이상의 데이터 스트림은 장면 설명(예를 들어, 메타 데이터)을 포함할 수 있으며, 여기서 장면 설명은 2D 또는 3D 객체, 재료 특성, 조명, 카메라 파라미터, 사용자 또는 시청자 위치, 타임 코드, 높은 레벨의 이미지 피처, 이미지 분할 또는 라벨링 또는 콘텐츠 설명 중 하나 이상이다.
방법(900)의 또 다른 양상에서, 수정된 하나 이상의 데이터 스트림은 하나 이상의 이미지, 뷰 위치 또는 눈 위치를 나타내는 이미지, 눈 위치를 나타내는 하나 이상의 스테레오 쌍, 뷰 위치 또는 눈 위치의 규칙적 또는 불규칙적인 샘플링 또는 하나 이상의 라이트 필드 중 하나 이상을 포함할 수 있다. 더욱이, 수정된 하나 이상의 데이터 스트림의 각각은 압축되거나 압축되지 않는다.
방법(900)의 또 다른 양상에서, 하나 이상의 데이터 스트림을 수정하기 위한 처리 회로에 의해 작업을 수행하는 것은 원래의 픽셀 수보다 더 높은 총 픽셀 수 또는 원래의 픽셀 밀도보다 더 높은 픽셀 밀도를 갖는 더 높은 해상도로 변환하는 것, 원래 범위를 벗어난 범위를 외삽함으로써 더 높은 동적 범위를 생성하는 것, 깊이 정보를 갖는 다중-색상 이미지 또는 다중-색상 비디오를 생성하는 것, 스테레오 이미지 또는 스테레오 비디오를 생성하는 것, 3D 장면의 하나 또는 다수의 다중-색상 뷰를 생성하는 것, 3D 장면의 추가적인 다중-색상 뷰를 생성하는 것, 다수의 프레임으로부터 시각적인 세부사항을 결합함으로써 장면의 더 높은 해상도 모델을 추정하는 것, 또는 비디오에서 장면 콘텐츠 또는 뷰 중 하나 또는 둘 모두에서 발생하는 시각적인 변화의 크기를 측정함으로써 비디오의 컷 또는 점프 중 하나 또는 둘 모두를 검출하는 것 중 하나 이상을 수행하는 것을 포함한다.
방법(900)의 일부로서, 3D 장면의 하나 또는 다수의 다중-색상 뷰를 생성하는 것은 뷰 합성 동작, 홀-채우기 동작, 초해상도 동작, 깊이 조정 동작, 포비티드 렌더링에 의한 대역폭 제어 또는 낮은-동적-범위(LDR) 대 높은-동적-범위(HDR) 변환 중 하나 이상을 수행하는 것을 더 포함한다.
방법(900)의 다른 양상에서, 하나 이상의 데이터 스트림을 수정하기 위한 처리 회로에 의해 작업을 수행하는 것은 콘텐츠 분류, 대응, 보간 및 초해상도, 디스플레이 재매핑, 사용자 추적, 다중-뷰로의 변환, 깊이 추정, 이미지 분할 또는 장면 특성의 추정 중 하나 이상을 수행하는 것을 포함한다.
방법(900)의 일부로서, 위에서 설명된 콘텐츠 분류를 수행하는 것은 개별적인 픽셀, 2D 피처, 3D 피처, 이미지 타입 또는 이들의 조합을 분류하기 위해 차원 축소를 제공하는 것을 포함한다.
방법(900)의 일부로서, 위에서 설명된 콘텐츠 분류를 수행하는 것은 하나 이상의 데이터 스트림에서 콘텐츠를 분류하는 것, 분류에 응답하여 처리 회로에 의해 액세스 가능한 다른 다수의 가중치 세트로부터 고유한 다수의 가중치 세트를 동적으로 로딩하는 것, 및 고유한 다수의 가중치 세트를 사용하여 처리 회로에서 하나 이상의 처리 네트워크를 구현하는 것을 포함할 수 있다.
방법(900)의 일부로서, 위에서 설명된 디스플레이 재매핑을 수행하는 것은 강도 재매핑, 밝기 재매핑, 해상도 재매핑, 종횡비 재매핑, 색상 재매핑 또는 콘텐츠 깊이 재매핑 중 하나 이상을 수행하는 것을 포함할 수 있다.
방법(900)의 일부로서, 위에서 설명된 디스플레이 재매핑을 수행하는 것은 하나 이상의 지각 메트릭을 사용하여 디스플레이 깊이 총량 내에 맞추기 위해 이미지 강도 및 불일치를 왜곡하도록, 보간 및 초해상도의 보간 부분에서 가중치의 조정을 제공하는 깊이 재매핑을 수행하는 것을 포함할 수 있다.
방법(900)의 일부로서, 위에서 설명된 디스플레이 재매핑을 수행하는 것은 깊이 정보가 이용 가능할 때 적용 가능한 깊이 재매핑을, 또는 깊이 정보가 이용 가능하지 않을 때 적용 가능한 불일치 재매핑을 수행하는 것을 포함할 수 있으며, 불일치 재매핑은 스테레오 이미지 또는 스테레오 비디오와 관련하여 사용되고, 방법은 불일치 재매핑을 깊이 정보로 변환하는 것을 더 포함할 수 있다.
위에서 설명된 디스플레이 재매핑은 하나 이상의 재매핑 파라미터를 기초로 할 수 있고, 하나 이상의 재매핑 파라미터는 하나 이상의 디스플레이의 파라미터 또는 하나 이상의 디스플레이의 능력 중 하나 또는 둘 모두와 연관되고, 하나 이상의 디스플레이의 파라미터 또는 하나 이상의 디스플레이의 능력 중 하나 또는 둘 모두는 공간 해상도, 각도 해상도, 동적 범위 또는 시야 중 하나 이상을 포함한다.
방법(900)의 일부로서, 위에서 설명된 콘텐츠 분류를 수행하는 것은 하나 이상의 기준을 기초로 하나 이상의 데이터 스트림에서 데이터의 분류를 제공하고, 방법은 처리 회로에 의해, 분류에 응답하여 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업을 동적으로 업데이트하는 것을 더 포함한다.
방법(900)의 일부로서, 위에서 설명된 보간 및 초해상도를 수행하는 것은 2D 대 3D 변환 또는 LDR 대 HDR 변환 중 하나 또는 둘 모두를 제공한다.
방법(900)의 일부로서, 위에서 설명된 디스플레이 재매핑을 수행하는 것은 강도 재매핑, 밝기 재매핑, 해상도 재매핑, 종횡비 재매핑, 색상 재매핑 또는 콘텐츠 깊이 재매핑 중 하나 이상을 수행하는 것을 포함한다.
방법(900)의 다른 양상에서, 방법(900)은 작업을 현재 장면 콘텐츠에 적응시킴으로써 최근 프레임에 기초하여 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업을 수정하는 것을 더 포함할 수 있고, 수정된 작업이 보간을 포함할 때, 보간은 공간 보간, 각도 보간 또는 시간적 보간 중 하나 이상을 포함할 수 있다.
방법(900)의 다른 양상에서, 하나 이상의 데이터 스트림은 다수의 프레임을 포함할 수 있고, 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업은 시간에 걸쳐 다수의 프레임을 결합하고 정렬함으로써 장면의 지속적인 3D 모델의 추정을 포함할 수 있다.
방법(900)의 다른 양상에서, 하나 이상의 데이터 스트림은 다수의 프레임을 포함할 수 있고, 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업은 시간에 걸쳐 다수의 프레임으로부터 시각적인 세부사항을 결합함으로써 장면의 더 높은 해상도 모델의 추정을 포함할 수 있다.
방법(900)의 또 다른 양상에서, 하나 이상의 데이터 스트림은 비디오를 포함할 수 있고, 방법은 처리 회로에 의해, 비디오에서 장면 콘텐츠 또는 뷰의 하나 또는 둘 모두에서 발생하는 시각적인 변화의 크기를 측정함으로써, 비디오에서 컷 또는 점프의 하나 또는 둘 모두를 검출하는 것을 더 포함할 수 있다.
방법(900)의 다른 양상에서, 하나 이상의 데이터 스트림은 다수의 장면을 포함할 수 있고, 방법은 처리 회로에 의해, 이전에 나타난 장면과 연관된 피처, 가중치 또는 정보 중 하나 이상을 유지하는 것을 더 포함할 수 있다.
방법(900)의 다른 양상에서, 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업은 하나 이상의 데이터 스트림에서 2D 이미지 또는 비디오로부터의 다수의 프레임에 대한 깊이 정보의 추정을 포함할 수 있다.
방법(900)의 다른 양상에서, 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업은 공간 해상도, 각도 해상도, 시간적 해상도, 비트 깊이, 동적 범위 또는 이들 모두, 색상, 깊이, 스펙트럼 샘플링 또는 투명도를 포함하는 픽셀 채널, 방향성 데이터 또는 현저성 또는 중요도 가중치 중 하나 이상에 의해 픽셀 데이터를 증가시킴으로써 추가적인 픽셀 데이터를 합성하는 것을 포함할 수 있다.
방법(900)의 또 다른 양상에서, 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업 중 적어도 일부는 이용 가능한 공간 해상도, 이용 가능한 각도 해상도, 재생률, 색영역 또는 동적 범위 중 하나 이상을 포함하는 하나 이상의 디스플레이의 아키텍처 및 능력을 기초로 하나 이상의 데이터 스트림의 콘텐츠를 적응시키는 것을 포함할 수 있다. 작업 중 적어도 일부는 강도 처리, 색상 처리, 화이트 밸런싱, 뷰 인터레이싱, 톤 매핑 또는 디스플레이 광학계에 대한 보정 중 하나 이상을 포함할 수 있다.
방법(900)의 다른 양상에서, 방법(900)은 하나 이상의 디스플레이에 의해, 픽셀 강도, 색영역, 재생률 또는 동적 범위 중 하나 이상의 디스플레이 능력 및 변화를 교정 측정하는 것을 더 포함할 수 있으며, 교정은 하나 이상의 디스플레이의 제조 동안 또는 하나 이상의 디스플레이의 동작 동안 수행된다.
방법(900)의 다른 양상에서, 방법(900)은 하나 이상의 데이터 스트림을 픽셀 어레이 내의 픽셀의 하나 이상의 서브세트로 수정하기 위해 처리 회로에 의해 수행될 작업을 선택적으로 적용하는 것을 더 포함할 수 있으며, 하나 이상의 서브세트는 공간 서브세트, 각도 서브세트 또는 시간적 서브세트이다.
방법(900)의 다른 양상에서, 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업 중 적어도 일부는 다수의 프레임을 분석하도록 구성되며, 작업 중 적어도 일부는 비디오 콘텐츠에서 프레임에 걸쳐 움직임을 추적하는 것을 포함한다.
방법(900)의 또 다른 양상에서, 하나 이상의 데이터 스트림을 수정하기 위해 처리 회로에 의해 수행될 작업 중 적어도 하나는 하나 이상의 디스플레이에 대한 하나 이상의 사용자 위치의 추정에 적어도 부분적으로 기초하고, 사용자 위치는 2D 또는 3D 머리 위치 정보, 2D 또는 3D 눈 위치 정보, 머리 배향 정보, 눈 배향 정보, 시선 방향, 또는 이들의 조합에 의해 표시된다.
따라서, 본 개시가 도시된 구현에 따라 제공되었지만, 통상의 기술자는 실시예에 대한 변형이 있을 수 있고 이들 변형이 본 개시의 범주 내에 있을 것임을 쉽게 인식할 것이다. 그러므로, 첨부된 청구 범위를 벗어나지 않으면서 통상의 기술자에 의해 다수의 수정이 이루어질 수 있다.

Claims (173)

  1. 다수의 뷰(views)를 지원하도록 구성된 디스플레이로서,
    빛의 광선을 생성하도록 구성된 적어도 하나의 픽셀 어레이;
    상기 적어도 하나의 픽셀 어레이와 전자적으로 결합된 적어도 하나의 백플레인(backplane); 및
    상기 적어도 하나의 백플레인과 전자적으로 결합된 처리 회로를 포함하고,
    상기 처리 회로는 상기 디스플레이에서 수신된 입력 데이터의 데이터 스트림을 처리하도록 구성된 신경망 아키텍처(neural network architecture)를 포함하고,
    상기 처리 회로는:
    상기 입력 데이터의 데이터 스트림을 수신하고,
    상기 처리 회로에 의해 지원되는 복수의 동작 모드 중에서 동작 모드를 선택하고 - 상기 복수의 동작 모드의 각 동작 모드에서, 상기 각 동작 모드에 대해 정의되는 작업 및 빛의 광선에 기초하여 상기 각 동작 모드의 특정 뷰가 생성되고, 상기 작업은 상기 특정 뷰를 생성하기 위해 상기 입력 데이터의 데이터 스트림을 수정하도록 상기 처리 회로에 의해 수행됨 -, 및
    상기 특정 뷰를 생성하기 위한 상기 빛의 광선에 기여하기 위해 상기 적어도 하나의 백플레인의 회로 구성을 통해 상기 적어도 하나의 픽셀 어레이에 상기 수정된 데이터 스트림을 나타내는 시그널링(signaling)을 제공하도록 구성되고,
    상기 처리 회로는 상기 입력 데이터의 데이터 스트림을 상기 수정된 데이터 스트림을 포함하는 출력 데이터의 스트림으로 처리하기 위해 상기 신경망 아키텍처를 사용하도록 구성되는, 디스플레이.
  2. 제1항에 있어서,
    상기 신경망 아키텍처는 상기 디스플레이의 상기 처리 회로에 저장된 다수의 가중치를 포함하고,
    상기 처리 회로는 그 안에 저장된 상기 다수의 가중치 중 적어도 하나에 따라 상기 입력 데이터의 데이터 스트림을 수정하도록 더 구성되는, 디스플레이.
  3. 다수의 뷰를 지원하는 디스플레이 상의 적어도 하나의 데이터 스트림을 처리하기 위한 방법으로서, 상기 디스플레이는 빛의 광선을 생성하기 위한 픽셀 어레이, 상기 픽셀 어레이와 전자적으로 결합된 백플레인, 및 상기 백플레인과 전자적으로 결합된 처리 회로를 포함하고, 상기 방법은:
    상기 처리 회로에서 데이터 스트림을 수신하는 것;
    상기 처리 회로에 의해 지원되는 복수의 동작 모드 중 동작 모드를 선택하는 것 - 상기 복수의 동작 모드의 각 동작 모드에서, 상기 각 동작 모드에 대해 정의되는 작업 및 빛의 광선에 기초하여 상기 각 동작 모드의 특정 뷰가 생성되고, 상기 작업은 상기 특정 뷰를 생성하도록 상기 데이터 스트림을 수정하기 위해 상기 처리 회로에 의해 수행됨 -;
    상기 선택된 동작 모드에 따라, 수정된 데이터 스트림을 획득하기 위해 상기 데이터 스트림을 처리하는 것; 및
    상기 특정 뷰를 생성하기 위한 상기 픽셀 어레이에 대한 상기 백플레인의 회로 구성을 통해 상기 픽셀 어레이에 상기 수정된 데이터 스트림을 나타내는 시그널링을 제공하는 것을 포함하고,
    상기 복수의 동작 모드는 신경망 아키텍처를 사용하여 구현되는, 방법.
  4. 제3항에 있어서, 상기 데이터 스트림을 처리하는 것은 상기 디스플레이의 제조, 상기 디스플레이의 동작, 상기 데이터 스트림의 수신 및 상기 데이터 스트림의 부분으로서 소프트웨어 업데이트의 수신 중 적어도 하나 동안 상기 신경망 아키텍처의 다수의 가중치를 설정하는 것을 포함하는, 방법.
  5. 제4항에 있어서, 상기 신경망 아키텍처의 다수의 가중치를 설정하는 것은 상기 처리 회로에 상기 신경망 아키텍처의 다수의 가중치를 하드 코딩하는 것을 포함하는, 방법.
  6. 제3항에 있어서, 상기 데이터 스트림을 처리하는 것은 상기 데이터 스트림, 상기 데이터 스트림에서의 콘텐츠, 상기 선택된 동작 모드, 및 상기 디스플레이의 출력 모드 중 적어도 하나를 기초로 상기 신경망 아키텍처의 다수의 가중치를 조정하는 것을 포함하는, 방법.
  7. 제3항에 있어서, 상기 신경망 아키텍처는:
    컨볼루션층,
    완전히 연결된 층,
    풀링층,
    업-샘플링층,
    다운-샘플링층,
    스킵 연결,
    잔차 연결,
    밀집한 연결, 또는
    피드백 연결,
    드물게 연결된 층,
    장기 또는 단기 메모리 유닛, 또는
    순환 연결(recurrent connection) 중 적어도 하나를 포함하는, 방법.
  8. 제3항에 있어서, 상기 신경망 아키텍처는 다수의 연접된 신경망(concatenated neural networks)을 포함하는, 방법.
  9. 제3항에 있어서, 상기 신경망 아키텍처는 다수의 신경망을 포함하고, 상기 다수의 신경망 중 각 신경망은 상기 데이터 스트림을 수정하기 위해 다른 작업을 수행하는, 방법.
  10. 다수의 뷰를 지원하도록 구성된 디스플레이로서,
    광선을 생성하도록 구성된 픽셀 어레이;
    상기 픽셀 어레이와 전자적으로 결합된 백플레인; 및
    상기 백플레인과 전자적으로 결합된 처리 회로를 포함하고,
    상기 처리 회로는 상기 디스플레이에서 수신된 입력 데이터 스트림을 처리하도록 구성된 신경망 아키텍처를 포함하고,
    상기 처리 회로는 특정 뷰를 생성하는 광선의 특정 세트 및 상기 입력 데이터 스트림을 수정하여 상기 특정 뷰를 생성하도록 상기 신경망 아키텍처에 의해 수행될 작업을 정의하는 복수의 동작 모드를 지원하도록 구성되고.
    상기 처리 회로는:
    상기 입력 데이터 스트림을 수신하고,
    상기 입력 데이터 스트림에 따라 상기 복수의 동작 모드로부터 특정 동작 모드를 선택하고,
    상기 특정 동작 모드에 따라 출력 데이터 스트림을 생성하기 위해 상기 입력 데이터 스트림을 처리하고, 및
    상기 백플레인을 통해 상기 픽셀 어레이에 상기 출력 데이터 스트림을 나타내는 시그널링을 제공하도록 - 상기 픽셀 어레이는 상기 특정 뷰를 생성하기 위한 상기 광선의 특정 세트에 기여하도록 구성됨 - 더 구성되는, 디스플레이.
  11. 제10항에 있어서, 상기 디스플레이는 복수의 시청자가 시청하도록 구성되고, 상기 복수의 동작 모드는:
    단일 뷰가 상기 복수의 시청자에 대해 생성되는 제1 동작 모드,
    다른 뷰가 상기 복수의 시청자의 각 시청자에 대해 생성되는 제2 동작 모드,
    다수의 뷰가 상기 복수의 시청자의 각 시청자에 대해 생성되는 제3 동작 모드 중 적어도 하나를 포함하는, 디스플레이.
  12. 제10항에 있어서,
    상기 신경망 아키텍처는 상기 디스플레이의 상기 처리 회로에 저장된 다수의 가중치를 포함하고, 및
    상기 처리 회로는 그 안에 저장된 상기 다수의 가중치 중 적어도 하나에 따라 상기 입력 데이터 스트림을 수정하도록 더 구성되는, 디스플레이.
  13. 제10항에 있어서, 상기 픽셀 어레이 내의 다른 픽셀은 다른 방향을 향해 지향되는 광선을 생성하는, 디스플레이.
  14. 제10항에 있어서, 상기 픽셀 어레이는 적어도 두 개의 다른 색상을 포함하는 광선을 생성하는, 디스플레이.
  15. 제10항에 있어서, 상기 처리 회로는 애플리케이션 특정 집적 회로, 필드 프로그램 가능 게이트 어레이, 프로그램 가능 집적 회로, 중앙 처리 유닛, 그래픽 처리 유닛, 텐서 처리 유닛, 신경망 집적 회로, 비전 처리 유닛, 또는 뉴로모픽 프로세서 중 적어도 하나를 포함하는, 디스플레이.
  16. 제10항에 있어서, 상기 처리 회로는 상기 백플레인에 걸쳐 분포된 트랜지스터-레벨 회로를 포함하는, 디스플레이.
  17. 제16항에 있어서, 상기 트랜지스터-레벨 회로는 상기 백플레인과 동일한 기판 상에 형성되는, 디스플레이.
  18. 제10항에 있어서, 상기 입력 데이터 스트림은 실세계 콘텐츠 및 합성 데이터 중 적어도 하나를 포함하는, 디스플레이.
  19. 제18항에 있어서, 상기 입력 데이터 스트림은:
    2차원(2D) 이미지,
    2D 비디오,
    다중-색상 이미지,
    다중-색상 비디오,
    깊이 정보,
    깊이 맵,
    라이트 필드 이미지,
    라이트 필드 비디오,
    감각 데이터,
    오디오 데이터,
    밝기 데이터,
    디스플레이 환경 데이터의 색상,
    상기 디스플레이에 대한 시청자 위치의 추정치,
    시청자 머리 배향 데이터, 및
    시청자 시선 방향 데이터 중 적어도 하나를 포함하는, 디스플레이.
  20. 제10항에 있어서, 상기 처리 회로는:
    콘텐츠 분류,
    대응,
    보간,
    디스플레이 재매핑,
    사용자 추적,
    다중-뷰로의 변환,
    깊이 추정,
    이미지 분할,
    장면 특성의 추정
    뷰 합성,
    홀-채우기,
    초해상도,
    깊이 조정,
    포비티드 렌더링에 의한 대역폭 제어, 및
    낮은-동적-범위 대 높은-동적-범위(LDR 대 HDR) 변환 중 적어도 하나를 수행함으로써 상기 입력 데이터 스트림을 처리하도록 구성되는, 디스플레이.
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
  71. 삭제
  72. 삭제
  73. 삭제
  74. 삭제
  75. 삭제
  76. 삭제
  77. 삭제
  78. 삭제
  79. 삭제
  80. 삭제
  81. 삭제
  82. 삭제
  83. 삭제
  84. 삭제
  85. 삭제
  86. 삭제
  87. 삭제
  88. 삭제
  89. 삭제
  90. 삭제
  91. 삭제
  92. 삭제
  93. 삭제
  94. 삭제
  95. 삭제
  96. 삭제
  97. 삭제
  98. 삭제
  99. 삭제
  100. 삭제
  101. 삭제
  102. 삭제
  103. 삭제
  104. 삭제
  105. 삭제
  106. 삭제
  107. 삭제
  108. 삭제
  109. 삭제
  110. 삭제
  111. 삭제
  112. 삭제
  113. 삭제
  114. 삭제
  115. 삭제
  116. 삭제
  117. 삭제
  118. 삭제
  119. 삭제
  120. 삭제
  121. 삭제
  122. 삭제
  123. 삭제
  124. 삭제
  125. 삭제
  126. 삭제
  127. 삭제
  128. 삭제
  129. 삭제
  130. 삭제
  131. 삭제
  132. 삭제
  133. 삭제
  134. 삭제
  135. 삭제
  136. 삭제
  137. 삭제
  138. 삭제
  139. 삭제
  140. 삭제
  141. 삭제
  142. 삭제
  143. 삭제
  144. 삭제
  145. 삭제
  146. 삭제
  147. 삭제
  148. 삭제
  149. 삭제
  150. 삭제
  151. 삭제
  152. 삭제
  153. 삭제
  154. 삭제
  155. 삭제
  156. 삭제
  157. 삭제
  158. 삭제
  159. 삭제
  160. 삭제
  161. 삭제
  162. 삭제
  163. 삭제
  164. 삭제
  165. 삭제
  166. 삭제
  167. 삭제
  168. 삭제
  169. 삭제
  170. 삭제
  171. 삭제
  172. 삭제
  173. 삭제
KR1020217003426A 2018-07-03 2019-07-03 디스플레이 처리 회로 KR102467376B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020227039404A KR102656507B1 (ko) 2018-07-03 2019-07-03 디스플레이 처리 회로

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862693607P 2018-07-03 2018-07-03
US62/693,607 2018-07-03
US16/460,880 2019-07-02
US16/460,880 US10951875B2 (en) 2018-07-03 2019-07-02 Display processing circuitry
PCT/US2019/040474 WO2020010183A2 (en) 2018-07-03 2019-07-03 Display processing circuitry

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020227039404A Division KR102656507B1 (ko) 2018-07-03 2019-07-03 디스플레이 처리 회로

Publications (2)

Publication Number Publication Date
KR20210028240A KR20210028240A (ko) 2021-03-11
KR102467376B1 true KR102467376B1 (ko) 2022-11-17

Family

ID=67470662

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217003426A KR102467376B1 (ko) 2018-07-03 2019-07-03 디스플레이 처리 회로
KR1020227039404A KR102656507B1 (ko) 2018-07-03 2019-07-03 디스플레이 처리 회로

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020227039404A KR102656507B1 (ko) 2018-07-03 2019-07-03 디스플레이 처리 회로

Country Status (7)

Country Link
US (2) US10951875B2 (ko)
EP (1) EP3818515A2 (ko)
JP (2) JP7247336B2 (ko)
KR (2) KR102467376B1 (ko)
CN (1) CN112585669A (ko)
TW (1) TWI786310B (ko)
WO (1) WO2020010183A2 (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10891715B2 (en) * 2017-09-22 2021-01-12 Continental Automotive Systems, Inc. Deep neural network for image enhancement
US10951875B2 (en) 2018-07-03 2021-03-16 Raxium, Inc. Display processing circuitry
US11514298B2 (en) * 2018-10-31 2022-11-29 International Business Machines Corporation High-frame-rate real-time multiscale spatiotemporal disparity on distributed low-power event-based neuromorphic hardware
US10929954B2 (en) * 2019-01-25 2021-02-23 Qualcomm Incorporated Methods and apparatus for inline chromatic aberration correction
US11436743B2 (en) 2019-07-06 2022-09-06 Toyota Research Institute, Inc. Systems and methods for semi-supervised depth estimation according to an arbitrary camera
TWI768282B (zh) * 2020-01-15 2022-06-21 宏碁股份有限公司 光源資訊預測模型建立方法與系統
US11652972B2 (en) 2020-03-04 2023-05-16 Toyota Research Institute, Inc. Systems and methods for self-supervised depth estimation according to an arbitrary camera
KR20210158566A (ko) * 2020-06-24 2021-12-31 엘지디스플레이 주식회사 표시 장치, 그것의 데이터 신호 보상 방법 및 딥러닝 기반 보상모델 생성 방법
KR102655908B1 (ko) * 2020-07-07 2024-04-11 인하대학교 산학협력단 적층 가능한 라이트필드 기반 가상공간 구축 방법 및 장치
CN111932464B (zh) * 2020-09-18 2024-03-29 北京百度网讯科技有限公司 超分辨率模型使用和训练方法、装置、设备及介质
CN112581366B (zh) * 2020-11-30 2022-05-20 黑龙江大学 一种便携式图像超分辨系统及系统构建方法
JPWO2022118151A1 (ko) * 2020-12-06 2022-06-09
JP2024500230A (ja) * 2020-12-21 2024-01-05 グーグル エルエルシー オートビュー３ｄディスプレイ用の高密度画素アレイ
CN114935971A (zh) * 2021-02-05 2022-08-23 京东方科技集团股份有限公司 显示驱动芯片、显示装置和显示驱动方法
WO2022216309A1 (en) * 2021-04-04 2022-10-13 Innopeak Technology, Inc. Novel view synthesis with neural light field
US11688365B2 (en) * 2021-04-26 2023-06-27 Apple Inc. Synchronous display pipeline systems and methods
CN112988203B (zh) * 2021-05-18 2021-10-22 广州朗国电子科技股份有限公司 一种拼接屏驱动板升级方法及拼接屏
KR20230010156A (ko) 2021-07-09 2023-01-18 삼성디스플레이 주식회사 표시 장치
US20230171374A1 (en) * 2021-11-29 2023-06-01 Novatek Microelectronics Corp. Screen control system
CN114327337B (zh) * 2021-12-28 2023-08-18 威创集团股份有限公司 显示模式的配置和开窗方法、装置、拼接屏、介质和设备
TWI806677B (zh) * 2022-06-23 2023-06-21 瑞昱半導體股份有限公司 電子系統以及播放方法
US11967291B1 (en) * 2022-08-02 2024-04-23 Apple Inc. Using content type to select brightness in direct-lit backlight units
CN116484269B (zh) * 2023-06-25 2023-09-01 深圳市彤兴电子有限公司 显示屏模组的参数处理方法、装置、设备及存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316736A1 (en) 2014-10-22 2017-11-02 Oculus Vr, Llc Sub-Pixel for a Display with Controllable Viewing Angle

Family Cites Families (195)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US2403731A (en) 1943-04-01 1946-07-09 Eastman Kodak Co Beam splitter
US3936817A (en) 1974-06-06 1976-02-03 Sidney Levy Thermoelectric display device
DE3176454D1 (en) 1980-02-22 1987-10-22 Toshiba Kk Liquid crystal display device
US4923285A (en) 1985-04-22 1990-05-08 Canon Kabushiki Kaisha Drive apparatus having a temperature detector
US4825201A (en) 1985-10-01 1989-04-25 Mitsubishi Denki Kabushiki Kaisha Display device with panels compared to form correction signals
US5189406A (en) 1986-09-20 1993-02-23 Thorn Emi Plc Display device
JPH079560B2 (ja) 1988-07-08 1995-02-01 工業技術院長 マッチドフィルタリング方法
DE68920239T2 (de) 1988-09-07 1995-05-04 Seiko Epson Corp Methode zum Betrieb einer Flüssigkristallanzeige.
US4996523A (en) 1988-10-20 1991-02-26 Eastman Kodak Company Electroluminescent storage display with improved intensity driver circuits
DE69022891T2 (de) 1989-06-15 1996-05-15 Matsushita Electric Ind Co Ltd Gerät zur Kompensierung von Videosignalen.
TW227005B (ko) 1990-11-14 1994-07-21 Hoechst Ag
JP2932686B2 (ja) 1990-11-28 1999-08-09 日本電気株式会社 プラズマディスプレイパネルの駆動方法
US5144418A (en) 1990-12-18 1992-09-01 General Electric Company Crystal stabilization of amplitude of light valve horizontal sweep
NL9002808A (nl) 1990-12-19 1992-07-16 Philips Nv Inrichting ten behoeve van projectieweergave.
US5548347A (en) 1990-12-27 1996-08-20 Philips Electronics North America Corporation Single panel color projection video display having improved scanning
JP2829149B2 (ja) 1991-04-10 1998-11-25 シャープ株式会社 液晶表示装置
JP3230755B2 (ja) 1991-11-01 2001-11-19 富士写真フイルム株式会社 平面型表示デバイスのマトリックス駆動方法
US5473338A (en) 1993-06-16 1995-12-05 In Focus Systems, Inc. Addressing method and system having minimal crosstalk effects
US5349379A (en) 1992-09-09 1994-09-20 Dimension Technologies Inc. Autostereoscopic display illumination system allowing viewing zones to follow the observer's head
WO1994009473A1 (en) 1992-10-15 1994-04-28 Rank Brimar Limited Display device
US5471225A (en) 1993-04-28 1995-11-28 Dell Usa, L.P. Liquid crystal display with integrated frame buffer
JP3102666B2 (ja) 1993-06-28 2000-10-23 シャープ株式会社 画像表示装置
US5537128A (en) 1993-08-04 1996-07-16 Cirrus Logic, Inc. Shared memory for split-panel LCD display systems
JP2639311B2 (ja) 1993-08-09 1997-08-13 日本電気株式会社 プラズマディスプレイパネルの駆動方法
CA2137723C (en) 1993-12-14 1996-11-26 Canon Kabushiki Kaisha Display apparatus
JP3476241B2 (ja) 1994-02-25 2003-12-10 株式会社半導体エネルギー研究所 アクティブマトリクス型表示装置の表示方法
GB9407116D0 (en) 1994-04-11 1994-06-01 Secr Defence Ferroelectric liquid crystal display with greyscale
US5936604A (en) 1994-04-21 1999-08-10 Casio Computer Co., Ltd. Color liquid crystal display apparatus and method for driving the same
US5497172A (en) 1994-06-13 1996-03-05 Texas Instruments Incorporated Pulse width modulation for spatial light modulator with split reset addressing
US5619228A (en) 1994-07-25 1997-04-08 Texas Instruments Incorporated Method for reducing temporal artifacts in digital video systems
FR2726670A1 (fr) 1994-11-09 1996-05-10 Fast France Adv Sys Tech Sarl Systeme de traitement de l'information utilisant la television dans un reseau de type numerique ou analogique
US5757348A (en) 1994-12-22 1998-05-26 Displaytech, Inc. Active matrix liquid crystal image generator with hybrid writing scheme
JPH08234703A (ja) 1995-02-28 1996-09-13 Sony Corp 表示装置
US5751264A (en) 1995-06-27 1998-05-12 Philips Electronics North America Corporation Distributed duty-cycle operation of digital light-modulators
US5959598A (en) 1995-07-20 1999-09-28 The Regents Of The University Of Colorado Pixel buffer circuits for implementing improved methods of displaying grey-scale or color images
US6201521B1 (en) 1995-09-29 2001-03-13 Texas Instruments Incorporated Divided reset for addressing spatial light modulator
JP3834086B2 (ja) 1995-11-06 2006-10-18 シャープ株式会社 マトリックス型表示装置およびその駆動方法
US5945972A (en) 1995-11-30 1999-08-31 Kabushiki Kaisha Toshiba Display device
US5936603A (en) 1996-01-29 1999-08-10 Delco Electronics Corporation Liquid crystal display with temperature compensated voltage
US5731802A (en) 1996-04-22 1998-03-24 Silicon Light Machines Time-interleaved bit-plane, pulse-width-modulation digital display system
US6127991A (en) 1996-11-12 2000-10-03 Sanyo Electric Co., Ltd. Method of driving flat panel display apparatus for multi-gradation display
JPH10164750A (ja) 1996-11-26 1998-06-19 Nec Corp 出力電圧可変方式
US6046716A (en) 1996-12-19 2000-04-04 Colorado Microdisplay, Inc. Display system having electrode modulation to alter a state of an electro-optic layer
US5926162A (en) 1996-12-31 1999-07-20 Honeywell, Inc. Common electrode voltage driving circuit for a liquid crystal display
US6020687A (en) 1997-03-18 2000-02-01 Fujitsu Limited Method for driving a plasma display panel
US6369782B2 (en) 1997-04-26 2002-04-09 Pioneer Electric Corporation Method for driving a plasma display panel
JP3750889B2 (ja) 1997-07-02 2006-03-01 パイオニア株式会社 ディスプレイパネルの中間調表示方法
GB2327798B (en) 1997-07-23 2001-08-29 Sharp Kk Display device using time division grey scale display method
US6518945B1 (en) 1997-07-25 2003-02-11 Aurora Systems, Inc. Replacing defective circuit elements by column and row shifting in a flat-panel display
US6144356A (en) 1997-11-14 2000-11-07 Aurora Systems, Inc. System and method for data planarization
JP3279238B2 (ja) 1997-12-01 2002-04-30 株式会社日立製作所 液晶表示装置
US6034659A (en) 1998-02-02 2000-03-07 Wald; Steven F. Active matrix electroluminescent grey scale display
US6151011A (en) 1998-02-27 2000-11-21 Aurora Systems, Inc. System and method for using compound data words to reduce the data phase difference between adjacent pixel electrodes
WO1999057706A2 (en) 1998-05-04 1999-11-11 Koninklijke Philips Electronics N.V. Display device
US6285360B1 (en) 1998-05-08 2001-09-04 Aurora Systems, Inc. Redundant row decoder
US6067065A (en) 1998-05-08 2000-05-23 Aurora Systems, Inc. Method for modulating a multiplexed pixel display
US6005558A (en) 1998-05-08 1999-12-21 Aurora Systems, Inc. Display with multiplexed pixels for achieving modulation between saturation and threshold voltages
US6121948A (en) 1998-05-08 2000-09-19 Aurora Systems, Inc. System and method for reducing inter-pixel distortion by dynamic redefinition of display segment boundaries
US6587084B1 (en) 1998-07-10 2003-07-01 Orion Electric Co., Ltd. Driving method of a plasma display panel of alternating current for creation of gray level gradations
JP2994632B1 (ja) 1998-09-25 1999-12-27 松下電器産業株式会社 発光中心変動防止のためのｐｄｐ表示の駆動パルス制御装置
US6262703B1 (en) 1998-11-18 2001-07-17 Agilent Technologies, Inc. Pixel cell with integrated DC balance circuit
GB9827964D0 (en) 1998-12-19 1999-02-10 Secr Defence Active backplane circuitry
GB9827944D0 (en) 1998-12-19 1999-02-10 Secr Defence Displays based on multiple digital bit planes
KR100375806B1 (ko) 1999-02-01 2003-03-15 가부시끼가이샤 도시바 색 얼룩 보정 장치 및 휘도 얼룩 보정 장치
US6567138B1 (en) 1999-02-15 2003-05-20 Rainbow Displays, Inc. Method for assembling a tiled, flat-panel microdisplay array having imperceptible seams
JP2000322024A (ja) 1999-05-11 2000-11-24 Nec Corp プラズマディスプレイ駆動方法及び駆動装置
AU4844900A (en) 1999-05-14 2000-12-05 Colorlink, Inc. Optical system for producing a modulated color image
US6642915B1 (en) 1999-07-13 2003-11-04 Intel Corporation Display panel
US7379039B2 (en) 1999-07-14 2008-05-27 Sony Corporation Current drive circuit and display device using same pixel circuit, and drive method
JP3665515B2 (ja) 1999-08-26 2005-06-29 セイコーエプソン株式会社 画像表示装置
GB2354099B (en) 1999-09-09 2003-09-10 Sony Uk Ltd Image identification apparatus and method of identifying images
JP3433406B2 (ja) 1999-10-18 2003-08-04 インターナショナル・ビジネス・マシーンズ・コーポレーション ホワイトポイント調整方法、カラー画像処理方法、ホワイトポイント調整装置、および液晶表示装置
JP3606138B2 (ja) 1999-11-05 2005-01-05 セイコーエプソン株式会社 ドライバｉｃ、電気光学装置及び電子機器
US6771325B1 (en) 1999-11-05 2004-08-03 Texas Instruments Incorporated Color recapture for display systems
JP3840856B2 (ja) 1999-11-10 2006-11-01 セイコーエプソン株式会社 液晶パネルの駆動方法、液晶装置および電子機器
EP1229510B1 (en) 1999-12-27 2012-04-25 Toshiba Mobile Display Co., Ltd Liquid crystal display apparatus and method for driving the same by performing a transition from an initial state to a display state
KR100758622B1 (ko) 2000-01-14 2007-09-13 마쯔시다덴기산교 가부시키가이샤 액티브 매트릭스형 표시장치 및 그 구동방법
EP1166258A1 (en) 2000-01-31 2002-01-02 Three-Five Systems, Inc. Methods and apparatus for driving a display
JP3558959B2 (ja) 2000-05-25 2004-08-25 シャープ株式会社 温度検出回路およびそれを用いる液晶駆動装置
JP3769463B2 (ja) 2000-07-06 2006-04-26 株式会社日立製作所 表示装置、表示装置を備えた画像再生装置及びその駆動方法
EP2273778A1 (en) 2000-07-28 2011-01-12 Melexis Tessenderlo NV Precise MOS imager transfer function control for expanded dynamic range imaging
JP3664059B2 (ja) 2000-09-06 2005-06-22 セイコーエプソン株式会社 電気光学装置の駆動方法、駆動回路及び電気光学装置並びに電子機器
TW482991B (en) 2000-09-13 2002-04-11 Acer Display Tech Inc Power-saving driving circuit for plasma display panel
GB2367413A (en) 2000-09-28 2002-04-03 Seiko Epson Corp Organic electroluminescent display device
US7184014B2 (en) 2000-10-05 2007-02-27 Semiconductor Energy Laboratory Co., Ltd. Liquid crystal display device
JP2002116741A (ja) 2000-10-10 2002-04-19 Optrex Corp 液晶表示素子の表示輝度の調整方法および液晶表示装置
JP4552069B2 (ja) 2001-01-04 2010-09-29 株式会社日立製作所 画像表示装置およびその駆動方法
JP2002215095A (ja) 2001-01-22 2002-07-31 Pioneer Electronic Corp 発光ディスプレイの画素駆動回路
JP2002244202A (ja) 2001-02-14 2002-08-30 Sony Corp 液晶プロジェクタ装置および液晶プロジェクタ装置の駆動方法
JP4663896B2 (ja) 2001-03-30 2011-04-06 株式会社日立製作所 液晶表示装置
US6690432B2 (en) 2001-04-12 2004-02-10 Koninklijke Philips Electronics N.V. Alignment of the optical and the electrical scan in a scrolling color projector
US6744415B2 (en) 2001-07-25 2004-06-01 Brillian Corporation System and method for providing voltages for a liquid crystal display
US7576734B2 (en) 2001-10-30 2009-08-18 Semiconductor Energy Laboratory Co., Ltd. Signal line driving circuit, light emitting device, and method for driving the same
FR2832843A1 (fr) 2001-11-29 2003-05-30 Thomson Licensing Sa Procede pour ameliorer le rendement lumineux d'un afficheur matriciel a affichage sequentiel des couleurs
US6843564B2 (en) * 2002-01-04 2005-01-18 Neurok Llc Three-dimensional image projection employing retro-reflective screens
US6762739B2 (en) 2002-02-14 2004-07-13 Aurora Systems, Inc. System and method for reducing the intensity output rise time in a liquid crystal display
US9583031B2 (en) 2002-05-10 2017-02-28 Jasper Display Corp. Modulation scheme for driving digital display systems
US8421828B2 (en) 2002-05-10 2013-04-16 Jasper Display Corp. Modulation scheme for driving digital display systems
US7129920B2 (en) 2002-05-17 2006-10-31 Elcos Mircrodisplay Technology, Inc. Method and apparatus for reducing the visual effects of nonuniformities in display systems
US6781737B2 (en) 2002-08-13 2004-08-24 Thomson Licensing S.A. Pulse width modulated display with hybrid coding
US7088329B2 (en) 2002-08-14 2006-08-08 Elcos Microdisplay Technology, Inc. Pixel cell voltage control and simplified circuit for prior to frame display data loading
US7468717B2 (en) 2002-12-26 2008-12-23 Elcos Microdisplay Technology, Inc. Method and device for driving liquid crystal on silicon display systems
US20050052437A1 (en) 2002-08-14 2005-03-10 Elcos Microdisplay Technology, Inc. Temperature sensor circuit for microdisplays
US7136042B2 (en) 2002-10-29 2006-11-14 Microsoft Corporation Display controller permitting connection of multiple displays with a single video cable
US6784898B2 (en) 2002-11-07 2004-08-31 Duke University Mixed mode grayscale method for display system
US7443374B2 (en) 2002-12-26 2008-10-28 Elcos Microdisplay Technology, Inc. Pixel cell design with enhanced voltage control
US8040311B2 (en) 2002-12-26 2011-10-18 Jasper Display Corp. Simplified pixel cell capable of modulating a full range of brightness
TW594634B (en) 2003-02-21 2004-06-21 Toppoly Optoelectronics Corp Data driver
DE10307525B4 (de) 2003-02-21 2006-03-16 Litef Gmbh Verfahren und Einrichtung zur Erhöhung der Auflösung eines digitalen Phasenmodulators für eine faseroptische Signalübertragungs- oder Messeinrichtung
EP1649445A4 (en) 2003-04-24 2009-03-25 Displaytech Inc MICRO-DISPLAY AND INTERFACE ON A SINGLE CHIP
JP3918770B2 (ja) 2003-04-25 2007-05-23 セイコーエプソン株式会社 電気光学装置、電気光学装置の駆動方法および電子機器
WO2004097781A1 (en) 2003-04-25 2004-11-11 Koninklijke Philips Electronics N.V. Method and device for driving an active matrix display panel
JP3870933B2 (ja) 2003-06-24 2007-01-24 ソニー株式会社 表示装置及びその駆動方法
ITMI20031518A1 (it) 2003-07-24 2005-01-25 Dora Spa Metodo di pilotaggio di moduli lcd a basso consumo
US7295612B2 (en) 2003-09-09 2007-11-13 Apple Inc. Determining the number of unidirectional and bidirectional motion compensated frames to be encoded for a video sequence and detecting scene cuts in the video sequence
US20050062765A1 (en) 2003-09-23 2005-03-24 Elcos Microdisplay Technology, Inc. Temporally dispersed modulation method
GB0323283D0 (en) * 2003-10-04 2003-11-05 Koninkl Philips Electronics Nv Optimising brightness control in a 3D image display device
US20080218458A1 (en) 2007-03-02 2008-09-11 Taro Endo Color display system
US8228595B2 (en) 2003-11-01 2012-07-24 Silicon Quest Kabushiki-Kaisha Sequence and timing control of writing and rewriting pixel memories with substantially lower data rate
US8081371B2 (en) 2003-11-01 2011-12-20 Silicon Quest Kabushiki-Kaisha Spatial light modulator and display apparatus
US20080007576A1 (en) 2003-11-01 2008-01-10 Fusao Ishii Image display device with gray scales controlled by oscillating and positioning states
US7502411B2 (en) 2004-03-05 2009-03-10 Silicon Image, Inc. Method and circuit for adaptive equalization of multiple signals in response to a control signal generated from one of the equalized signals
KR20050112363A (ko) 2004-05-25 2005-11-30 삼성전자주식회사 표시 장치
US7397980B2 (en) 2004-06-14 2008-07-08 Optium Australia Pty Limited Dual-source optical wavelength processor
TWI228744B (en) 2004-07-12 2005-03-01 Au Optronics Corp Plasma display panel and method for driving thereof
TWI253050B (en) 2004-07-14 2006-04-11 Au Optronics Corp Method of multiple-frame scanning for a display
US7067853B1 (en) 2004-08-26 2006-06-27 Jie Yao Image intensifier using high-sensitivity high-resolution photodetector array
US20060066645A1 (en) 2004-09-24 2006-03-30 Ng Sunny Y Method and apparatus for providing a pulse width modulation sequence in a liquid crystal display
CA2496642A1 (en) 2005-02-10 2006-08-10 Ignis Innovation Inc. Fast settling time driving method for organic light-emitting diode (oled) displays based on current programming
US7545396B2 (en) 2005-06-16 2009-06-09 Aurora Systems, Inc. Asynchronous display driving scheme and display
US8339428B2 (en) 2005-06-16 2012-12-25 Omnivision Technologies, Inc. Asynchronous display driving scheme and display
BRPI0616547A2 (pt) 2005-08-17 2011-06-21 Seereal Technologies Gmbh método e sistema de reconhecimento e rastreamento, em tempo real, da posição ocular de múltiplos usuários
EP1966788B1 (en) * 2005-12-19 2013-09-04 Pixtronix, Inc. Direct-view mems display devices and methods for generating images thereon
US8111271B2 (en) 2006-04-27 2012-02-07 Jasper Display Corporation Gray scale drive sequences for pulse width modulated displays
US7852307B2 (en) 2006-04-28 2010-12-14 Jasper Display Corp. Multi-mode pulse width modulated displays
US20080158437A1 (en) 2006-12-27 2008-07-03 Kazuma Arai Method for displaying digital image data and digital color display apparatus
DE102007025069B4 (de) 2007-05-21 2018-05-24 Seereal Technologies S.A. Holographisches Rekonstruktionssystem
US8223179B2 (en) 2007-07-27 2012-07-17 Omnivision Technologies, Inc. Display device and driving method based on the number of pixel rows in the display
ITTO20070620A1 (it) * 2007-08-31 2009-03-01 Giancarlo Capaccio Sistema e metodo per presentare dati visuali rilevati a distanza in immagini multi-spettrali, di fusione, ed a tre dimensioni spaziali.
DE102007051520B4 (de) 2007-10-19 2021-01-14 Seereal Technologies S.A. Komplexwertiger räumlicher Lichtmodulator, räumliche Lichtmodulationseinrichtung und Verfahren zur Modulation eines Wellenfeldes
US8120555B2 (en) 2007-11-02 2012-02-21 Global Oled Technology Llc LED display with control circuit
DE102007056528B3 (de) 2007-11-16 2009-04-02 Seereal Technologies S.A. Verfahren und Vorrichtung zum Auffinden und Verfolgen von Augenpaaren
JP5167274B2 (ja) 2007-12-05 2013-03-21 浜松ホトニクス株式会社 位相変調装置及び位相変調方法
DE102009002987B4 (de) 2008-05-16 2018-11-08 Seereal Technologies S.A. Steuerbare Vorrichtung zur Phasenmodulation
US9024964B2 (en) 2008-06-06 2015-05-05 Omnivision Technologies, Inc. System and method for dithering video data
US8446309B2 (en) 2009-02-19 2013-05-21 Cmosis Nv Analog-to-digital conversion in pixel arrays
US9047818B1 (en) 2009-03-23 2015-06-02 Iii-N Technology, Inc. CMOS IC for micro-emitter based microdisplay
CN102473382B (zh) 2009-07-23 2015-08-12 杜比实验室特许公司 降低功率的显示器
US8593483B2 (en) * 2009-10-20 2013-11-26 Apple Inc. Temporal filtering techniques for image signal processing
CN102597865B (zh) * 2009-10-30 2015-09-30 皇家飞利浦电子股份有限公司 多视图显示装置
US8497828B2 (en) 2009-11-12 2013-07-30 Ignis Innovation Inc. Sharing switch TFTS in pixel circuits
US8605015B2 (en) 2009-12-23 2013-12-10 Syndiant, Inc. Spatial light modulator with masking-comparators
US8538234B2 (en) * 2009-12-28 2013-09-17 Panasonic Corporation Display device and method, transmission device and method, and reception device and method
TW201227684A (en) * 2010-09-01 2012-07-01 Seereal Technologies Sa Backplane device
TW201216249A (en) 2010-10-07 2012-04-16 Jasper Display Corp Improved pixel circuit and display system comprising same
US9007444B2 (en) 2010-10-07 2015-04-14 Massachusetts Institute Of Technology Array directed light-field display for autostereoscopic viewing
US20130258073A1 (en) * 2010-12-06 2013-10-03 Dolby Laboratories Licensing Corporation Methods and apparatus for image adjustment for displays having 2d and 3d display modes
JP5907368B2 (ja) 2011-07-12 2016-04-26 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP5970758B2 (ja) 2011-08-10 2016-08-17 セイコーエプソン株式会社 電気光学装置、電気光学装置の駆動方法および電子機器
US8645878B1 (en) 2011-08-23 2014-02-04 Suvolta, Inc. Porting a circuit design from a first semiconductor process to a second semiconductor process
KR102254617B1 (ko) 2012-01-26 2021-05-21 시리얼 테크놀로지즈 에스.에이. 관찰자 추적 방식 디스플레이
US8963944B2 (en) 2012-05-15 2015-02-24 Omnivision Technologies, Inc. Method, apparatus and system to provide video data for buffering
US9036243B2 (en) 2012-09-24 2015-05-19 Alces Technology, Inc. Digital drive signals for analog MEMS ribbon arrays
US9406269B2 (en) 2013-03-15 2016-08-02 Jasper Display Corp. System and method for pulse width modulating a scrolling color display
US10311773B2 (en) 2013-07-26 2019-06-04 Darwin Hu Circuitry for increasing perceived display resolutions from an input image
US9679258B2 (en) 2013-10-08 2017-06-13 Google Inc. Methods and apparatus for reinforcement learning
US9589514B2 (en) 2014-02-21 2017-03-07 Texas Instruments Incorporated Methods and apparatus for reduced bandwidth pulse width modulation
KR102139268B1 (ko) * 2014-03-03 2020-07-30 아이웨이 비전 엘티디. 눈 투영 시스템
CN103941391A (zh) * 2014-04-11 2014-07-23 京东方科技集团股份有限公司 一种光栅结构及显示装置
US9918053B2 (en) 2014-05-14 2018-03-13 Jasper Display Corp. System and method for pulse-width modulating a phase-only spatial light modulator
US9551873B2 (en) * 2014-05-30 2017-01-24 Sony Interactive Entertainment America Llc Head mounted device (HMD) system having interface with mobile computing device for rendering virtual reality content
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
KR20170031700A (ko) 2014-07-15 2017-03-21 오스텐도 테크놀로지스 인코포레이티드 완전 시차 광 필드 압축을 위한 전처리기
US20160026912A1 (en) 2014-07-22 2016-01-28 Intel Corporation Weight-shifting mechanism for convolutional neural networks
WO2016048402A2 (en) 2014-09-26 2016-03-31 Reald Multiscopic image capture system
US20160203801A1 (en) 2015-01-08 2016-07-14 Pixtronix, Inc. Low capacitance display address selector architecture
CN107430677B (zh) 2015-03-20 2022-04-12 英特尔公司 基于对二进制卷积神经网络特征进行提升的目标识别
WO2016163783A1 (en) * 2015-04-07 2016-10-13 Samsung Electronics Co., Ltd. Display device and method of controlling the same
US10600823B2 (en) 2015-09-02 2020-03-24 Facebook Technologies, Llc Assembly of semiconductor devices
US10504204B2 (en) 2016-07-13 2019-12-10 Semiconductor Energy Laboratory Co., Ltd. Electronic device
WO2018014046A1 (en) 2016-07-15 2018-01-18 Light Field Lab, Inc. Encoded energy waveguides for holographic super resolution
WO2018014045A2 (en) 2016-07-15 2018-01-18 Light Field Lab, Inc. Method of calibration for holographic energy directing systems
KR20230166155A (ko) 2016-07-15 2023-12-06 라이트 필드 랩 인코포레이티드 라이트 필드 및 홀로그램 도파관 어레이에서의 에너지의 선택적 전파
US10319743B2 (en) * 2016-12-16 2019-06-11 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device, display system, and electronic device
WO2018130930A1 (en) * 2017-01-16 2018-07-19 Semiconductor Energy Laboratory Co., Ltd. Display device
CN107609563A (zh) 2017-09-15 2018-01-19 成都澳海川科技有限公司 图片语义描述方法及装置
US11030942B2 (en) 2017-10-13 2021-06-08 Jasper Display Corporation Backplane adaptable to drive emissive pixel arrays of differing pitches
US10629153B2 (en) 2017-10-13 2020-04-21 Jasper Display Corp. Backplane suitable to form part of an emissive pixel array and system and methods of modulating same
TWI807981B (zh) 2018-01-14 2023-07-01 美商光場實驗室公司 全像及繞射光學編碼系統
KR20200116941A (ko) 2018-01-14 2020-10-13 라이트 필드 랩 인코포레이티드 정렬된 구조를 사용해 에너지 릴레이의 횡방향 에너지 편재를 위한 시스템 및 방법
US11650354B2 (en) 2018-01-14 2023-05-16 Light Field Lab, Inc. Systems and methods for rendering data from a 3D environment
CN117991612A (zh) 2018-01-14 2024-05-07 光场实验室公司 四维能量场封装组合件
US10437402B1 (en) 2018-03-27 2019-10-08 Shaoher Pan Integrated light-emitting pixel arrays based devices by bonding
US10909926B2 (en) 2018-05-08 2021-02-02 Apple Inc. Pixel circuitry and operation for memory-containing electronic display
US10951875B2 (en) 2018-07-03 2021-03-16 Raxium, Inc. Display processing circuitry

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170316736A1 (en) 2014-10-22 2017-11-02 Oculus Vr, Llc Sub-Pixel for a Display with Controllable Viewing Angle

Also Published As

Publication number Publication date
CN112585669A (zh) 2021-03-30
JP2021530181A (ja) 2021-11-04
US20210203904A1 (en) 2021-07-01
KR20210028240A (ko) 2021-03-11
TWI786310B (zh) 2022-12-11
WO2020010183A2 (en) 2020-01-09
JP2023078287A (ja) 2023-06-06
US10951875B2 (en) 2021-03-16
JP7247336B2 (ja) 2023-03-28
EP3818515A2 (en) 2021-05-12
KR20220156669A (ko) 2022-11-25
TW202014876A (zh) 2020-04-16
WO2020010183A3 (en) 2020-02-13
US11961431B2 (en) 2024-04-16
TW202309736A (zh) 2023-03-01
KR102656507B1 (ko) 2024-04-12
US20200014904A1 (en) 2020-01-09

Similar Documents

Publication Publication Date Title
KR102467376B1 (ko) 디스플레이 처리 회로
JP7415931B2 (ja) 画像周辺領域内のリアルタイム圧縮による画像表示制御
US10715782B2 (en) 3D system including a marker mode
CN109409251B (zh) 虚拟和增强现实系统和方法
US10572764B1 (en) Adaptive stereo rendering to reduce motion sickness
JPWO2020010183A5 (ko)
US10122987B2 (en) 3D system including additional 2D to 3D conversion
US11070783B2 (en) 3D system
US10277879B2 (en) 3D system including rendering with eye displacement
US20220108420A1 (en) Method and system of efficient image rendering for near-eye light field displays
TWI842191B (zh) 支援多個視圖的顯示器以及用於該顯示器的方法
WO2017083509A1 (en) Three dimensional system
US11568783B1 (en) Display drivers, apparatuses and methods for improving image quality in foveated images
Ludé New Standards for Immersive Storytelling through Light Field Displays

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right