KR20230110739A

KR20230110739A - 오버레이 컴포지션을 위한 평면 계획

Info

Publication number: KR20230110739A
Application number: KR1020237017652A
Authority: KR
Inventors: 마헤쉬 아이아; 모하메드 나시르 아흐메드
Original assignee: 퀄컴 인코포레이티드
Priority date: 2020-12-02
Filing date: 2021-11-03
Publication date: 2023-07-25
Also published as: US20220172695A1; WO2022119681A1; CN116490917A; EP4256551A1; TW202225962A

Abstract

본 개시내용은 장치, 예컨대 DPU, 컴포지터, 컴포지터 백엔드, DPU 드라이버, 및/또는 DPU 펌웨어를 포함하는 디스플레이 프로세싱을 위한 디바이스들 및 방법들에 관한 것이다. 일부 양상들에서, 장치는 프레임의 하나 이상의 레이어들 각각에 대한 콘텐츠 정보를 수신할 수 있다. 장치는 또한 하나 이상의 레이어들 각각에 대한 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는지 여부를 결정할 수 있다. 부가적으로, 장치는 하나 이상의 레이어들 중 적어도 하나의 레이어에 대한 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는 경우, 하나 이상의 레이어들의 우선순위 순서를 결정할 수 있다. 장치는 또한 하나 이상의 레이어들의 결정된 우선순위 순서에 기반하여 하나 이상의 레이어들 각각에 하나 이상의 디스플레이 오버레이 리소스들 각각을 맵핑할 수 있다.

Description

오버레이 컴포지션을 위한 평면 계획

[0001] 본 출원은, 발명의 명칭이 “METHODS AND APPARATUS FOR PLANE PLANNING FOR OVERLAY COMPOSITION”으로 2020년 12월 2일자로 출원된 미국 특허출원 제 17/110,200호의 이익을 주장하며, 그 특허출원은 그 전체가 본원에 인용에 의해 명백히 포함된다.

[0002] 본 개시내용은 일반적으로 프로세싱 시스템들에 관한 것으로, 더 구체적으로, 디스플레이 프로세싱을 위한 하나 이상의 기법들에 관한 것이다.

[0003] 컴퓨팅 디바이스들은 디스플레이를 위한 그래픽 데이터의 렌더링을 가속화하기 위해 종종 GPU(graphics processing unit)를 활용한다. 이러한 컴퓨팅 디바이스들은, 예컨대, 컴퓨터 워크스테이션들, 모바일 폰들, 이를테면 이른바 스마트폰들, 임베디드 시스템들, 개인용 컴퓨터들, 태블릿 컴퓨터들, 및 비디오 게임 콘솔들을 포함할 수 있다. GPU들은 그래픽 프로세싱(graphics processing) 커맨드들을 실행하고 프레임을 출력하기 위해 함께 동작하는 하나 이상의 프로세싱 스테이지들을 포함하는 그래픽 프로세싱 파이프라인을 실행한다. CPU(central processing unit)는 GPU에 하나 이상의 그래픽 프로세싱 커맨드들을 발행함으로써 GPU의 동작을 제어할 수 있다. 오늘날의 CPU들은 통상적으로 다수의 애플리케이션들을 동시에 실행할 수 있으며 애플리케이션들 각각은 실행 중에 GPU를 활용할 필요가 있을 수 있다. 디스플레이 상에 시각적 표현을 위한 콘텐츠를 제공하는 디바이스는 일반적으로 GPU를 포함한다.

[0004] 통상적으로, 디바이스의 GPU는 그래픽 프로세싱 파이프라인에서 프로세스들을 수행하도록 구성된다. 그러나, 무선 통신과 소형 핸드헬드 디바이스들의 등장으로 인해, 향상된 그래픽 프로세싱에 대한 요구가 증가하게 되었다.

[0005] 아래에서는 하나 이상의 양상들의 기본적인 이해를 제공하기 위해 그러한 양상들의 간략화된 요약이 제시된다. 이러한 요약은 모든 고려된 양상들의 포괄적인 개요가 아니며, 모든 양상들의 핵심 엘리먼트들을 식별하거나 임의의 또는 모든 양상들의 범위를 서술하도록 의도되지 않는다. 이러한 요약의 유일한 목적은, 이후에 제시되는 더 상세한 설명에 대한 서론으로서 간략화된 형태로 하나 이상의 양상들의 일부 개념들을 제시하려는 것이다.

[0006] 본 개시내용의 양상에서, 방법, 컴퓨터-판독가능 매체, 및 장치가 제공된다. 장치는 디스플레이 프로세싱 유닛(DPU), 컴포지터, 컴포지터 백엔드, DPU 드라이버, DPU 펌웨어, CPU, GPU, 및/또는 디스플레이 프로세싱을 수행할 수 있는 임의의 장치일 수 있다. 장치는 프레임의 하나 이상의 레이어들 각각에 맵핑하기 위한 하나 이상의 디스플레이 오버레이 리소스들을 식별할 수 있으며, 여기서 하나 이상의 디스플레이 오버레이 리소스들은 DPU에 포함된다. 장치는 또한 프레임의 하나 이상의 레이어들 각각에 대한 콘텐츠 정보를 수신할 수 있다. 장치는 또한 하나 이상의 레이어들 각각에 대한 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는지 여부를 결정할 수 있다. 부가적으로, 장치는 하나 이상의 레이어들 중 적어도 하나의 레이어에 대한 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는 경우, 하나 이상의 레이어들의 우선순위 순서를 결정할 수 있다. 장치는 또한 하나 이상의 레이어들의 결정된 우선순위 순서에 기반하여 하나 이상의 레이어들 각각에 하나 이상의 디스플레이 오버레이 리소스들 각각을 맵핑할 수 있다.

[0007] 본 개시내용의 하나 이상의 예들의 세부사항들은 아래의 설명 및 첨부 도면들에서 기재된다. 본 개시내용의 다른 특성들, 목적들, 및 이점들은 설명 및 도면들, 그리고 청구항들로부터 명백할 것이다.

[0008] 도 1은 본 개시내용의 하나 이상의 기법들에 따른 예시적인 콘텐츠 생성 시스템을 예시하는 블록 다이어그램이다.
[0009] 도 2는 본 개시내용의 하나 이상의 기법들에 따른 예시적인 GPU를 예시한다.
[0010] 도 3은 본 개시내용의 하나 이상의 기법들에 따른 디스플레이 프로세싱의 예시적인 통신 흐름 다이어그램을 예시한다.
[0011] 도 4는 본 개시내용의 하나 이상의 기법들에 따른 디스플레이 프로세싱의 예시적인 통신 흐름 다이어그램을 예시한다.
[0012] 도 5는 본 개시내용의 하나 이상의 기법들에 따른 예시적인 방법의 예시적인 흐름도를 예시한다.

[0013] 디스플레이 프로세싱의 일부 양상들은 DPU 상에서 컴포지션 프로세스를 수행하는 데 이용가능한 제한된 수의 디스플레이 하드웨어 리소스들, 예컨대 DPU 파이프들을 포함할 수 있다. DPU 파이프들의 수가 제한되고 그리고/또는 DPU 파이프들의 서브세트가 전문화된 동작들, 예컨대 톤-맵핑 및 인라인 로테이션이 가능한 경우들에서, 이는 고가치 사용 사례(use case)들, 예컨대 HD(high definition) 또는 HDR(high dynamic range) 비디오 플레이백에 대한 준최적(sub-optimal) 할당을 초래할 수 있다. 특정 타입들의 애플리케이션 사용 사례들, 예컨대 HD 또는 HDR 비디오 플레이백은 DPU 하드웨어 오버레이들 또는 파이프들의 비-이용가능성으로 인해 간헐적으로, DPU에 의해 프로세싱되지 않을 수 있는데, 예컨대 GPU에서 프로세싱될 수 있다. 예를 들어, 이는, GPU 상에서의 프로세싱 알고리즘들은 DPU 상에서의 프로세싱 알고리즘들과 상이할 수 있기 때문에, 사용자에게 일관되지 않은 시각적 경험을 야기할 수 있다. 일부 애플리케이션 사용 사례들에서, 프레임의 일부 디스플레이 레이어 속성들은 컴포지션 사이클에 앞서 DPU에 의해 알려질 수 있다. 그러한 경우들에서, 최적의 DPU 리소스들이 고가치 사용 사례들을 위해 예비될 수 있도록, 프로듀서가 이러한 정보를 DPU 또는 컴포지터에 미리 시그널링하는 것이 유리할 수 있다. 부가적으로, 특정 애플리케이션들 또는 사용 사례들은 컴포지션 프로세스 동안 다른 애플리케이션들 또는 사용 사례들에 비해 우선순위화될 수 있다. 본 개시내용의 양상들은, 이를테면, 이러한 사용 사례들을 DPU 파이프들에 할당함으로써 DPU들이 특정 타입들의 디스플레이 프로세싱 애플리케이션들 또는 사용 사례들을 우선순위화하기 위한 정보, 예컨대, 진보된 예견(look-ahead) 정보를 제공할 수 있다. 예컨대, 본 개시내용의 양상들은 컴포지션 사이클에 앞서 특정 정보, 이를테면 레이어들의 컬러 공간, 레이어들의 픽셀 포맷, 및/또는 비디오를 렌더링하는 윈도우의 데스티네이션 디멘션(destination dimension)들을 제공할 수 있다. 본 개시내용의 양상들은 오버레이 컴포지션을 위한 리소스 계획을 최적화하고/하거나 일관된 사용자 경험을 보장하기 위해 이러한 예견 정보를 레버리지할 수 있다.

[0014] 시스템들, 장치들, 컴퓨터 프로그램 제품들, 및 방법들의 다양한 양상들이 첨부된 도면들을 참조하여 아래에서 더 완전히 설명된다. 그러나, 본 개시내용은 많은 상이한 형태들로 구현될 수 있으며, 본 개시내용 전반에 걸쳐 제시되는 임의의 특정 구조 또는 기능으로 제한되는 것으로서 해석되지는 않아야 한다. 오히려, 이런 양상들은, 본 개시내용이 철저하고 완전해지고 본 개시내용의 범위를 당업자들에게 충분히 전달하도록 제공된다. 본 명세서의 교시들에 기초하여, 당업자는, 본 개시내용의 범위가, 본 개시내용의 다른 양상들과는 독립적으로 구현되든 또는 임의의 다른 양상과 결합되어 구현되든, 본 명세서에 개시된 시스템들, 장치들, 컴퓨터 프로그램 제품들 및 방법들의 임의의 양상을 커버하도록 의도됨을 인식해야 한다. 예컨대, 본원에서 기재된 양상들 중 임의의 수의 양상들을 사용하여, 장치가 구현될 수 있거나 방법이 실시될 수 있다. 부가적으로, 본 개시내용의 범위는, 본원에서 기재된 본 개시내용의 다양한 양상들에 추가하여 또는 그 다양한 양상들 이외의 다른 구조, 기능, 또는 구조 및 기능을 사용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 본 명세서에서 개시되는 임의의 양상은 청구항의 하나 이상의 엘리먼트들에 의해 구현될 수 있다.

[0015] 다양한 양상들이 본원에 설명되지만, 이 양상들의 많은 변경들 및 치환들은 본 개시의 범위 내에 속한다. 본 개시내용의 양상들의 일부 잠재적인 이익들 및 이점들이 언급되지만, 본 개시내용의 범위는 특정한 이점들, 사용들 또는 목적들로 제한되도록 의도되지 않는다. 오히려, 본 개시내용의 양상들은, 상이한 무선 기술들, 시스템 구성들, 네트워크들, 및 송신 프로토콜들에 광범위하게 적용가능하도록 의도되고, 이들 중 일부는 하기 설명 및 도면들에서 예시의 방식으로 예시된다. 상세한 설명 및 도면들은 제한적이기 보다는 본 개시내용의 단지 예시이고, 본 개시내용의 범위는 첨부된 청구항들 및 이들의 균등물들에 의해 정의된다.

[0016] 몇몇 양상들이 다양한 장치 및 방법들을 참조하여 제시된다. 이들 장치 및 방법들은, 다양한 블록들, 컴포넌트들, 회로들, 프로세스들, 알고리즘들 등(집합적으로, “엘리먼트들”로 지칭됨)에 의해 아래의 상세한 설명에서 설명되고 첨부한 도면들에서 예시된다. 이러한 엘리먼트들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들의 임의의 조합을 사용하여 구현될 수 있다. 그러한 엘리먼트들이 하드웨어로서 구현될지 또는 소프트웨어로서 구현될지는 특정 애플리케이션 및 전체 시스템에 부과된 설계 제약들에 의존한다.

[0017] 예로서, 엘리먼트, 또는 엘리먼트의 임의의 일부, 또는 엘리먼트들의 임의의 조합은, 하나 이상의 프로세서들을 포함하는 "프로세싱 시스템"(이는 프로세싱 유닛들로 지칭될 수 있음)으로서 구현될 수 있다. 프로세서들의 예들은 마이크로프로세서들, 마이크로제어기들, GPU(graphics processing unit)들, GPGPU(general purpose GPU)들, CPU(central processing unit)들, 애플리케이션 프로세서들, DSP(digital signal processor)들, RISC(reduced instruction set computing) 프로세서들, SOC(systems-on-chip), 기저대역 프로세서들, ASIC(application specific integrated circuit)들, FPGA들(field programmable gate array)들, PLD(programmable logic device)들, 상태 머신들, 게이팅된 로직, 이산적 하드웨어 회로들, 및 본 개시내용 전반에 걸쳐 설명되는 다양한 기능성을 수행하도록 구성되는 다른 적절한 하드웨어를 포함한다. 프로세싱 시스템의 하나 이상의 프로세서들은 소프트웨어를 실행할 수 있다. 소프트웨어는, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 디스크립션 언어, 또는 다른 용어로서 지칭되는지에 관계없이, 명령들, 명령 세트들, 코드, 코드 세그먼트들, 프로그램 코드, 프로그램들, 서브프로그램들, 소프트웨어 컴포넌트들, 애플리케이션들, 소프트웨어 애플리케이션들, 소프트웨어 패키지들, 루틴들, 서브루틴들, 오브젝트들, 실행파일(executable)들, 실행 스레드들, 절차들, 함수들 등을 의미하도록 광범위하게 해석될 수 있다. 애플리케이션이라는 용어는 소프트웨어를 지칭할 수 있다. 본 명세서에 기술된 바와 같이, 하나 이상의 기법들은 하나 이상의 기능들을 수행하도록 구성되는 애플리케이션, 즉 소프트웨어를 지칭할 수 있다. 이러한 예들에서, 애플리케이션은 메모리, 예컨대 프로세서의 온-칩 메모리, 시스템 메모리, 또는 임의의 다른 메모리에 저장될 수 있다. 프로세서와 같은 본원에 기술된 하드웨어는 애플리케이션을 실행하도록 구성될 수 있다. 예컨대, 애플리케이션은 하드웨어에 의해 실행될 때, 하드웨어로 하여금 본원에 기술된 하나 이상의 기법들을 수행하게 하는 코드를 포함하는 것으로 기술될 수 있다. 일 예로서, 하드웨어는 메모리로부터 코드에 액세스하고 메모리로부터 액세스된 코드를 실행하여 본원에 기술된 하나 이상의 기법들을 수행할 수 있다. 일부 예들에서, 컴포넌트들이 본 개시내용에서 식별된다. 그러한 예들에서, 컴포넌트들은 하드웨어, 소프트웨어, 또는 이들의 조합일 수 있다. 컴포넌트들은 별개의 컴포넌트들이거나 단일 컴포넌트의 하위 컴포넌트들일 수 있다.

[0018] 따라서, 본원에 설명된 하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되는 경우, 기능들은 컴퓨터-판독가능 매체에 하나 이상의 명령들 또는 코드로서 저장되거나 인코딩될 수 있다. 컴퓨터-판독가능 매체들은 컴퓨터 저장 매체들을 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수 있다. 제한이 아닌 예로서, 그러한 컴퓨터-판독가능 매체들은 RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable ROM), 광학 디스크 저장소, 자기 디스크 저장소, 다른 자기 저장 디바이스들, 위에서 언급된 타입들의 컴퓨터-판독가능 매체들의 조합들, 또는 컴퓨터에 의해 액세스될 수 있는 명령들 또는 데이터 구조들의 형태로 컴퓨터 실행가능 코드를 저장하는 데 사용될 수 있는 임의의 다른 매체를 포함할 수 있다.

[0019] 일반적으로, 본 개시내용은 단일 디바이스 또는 다수의 디바이스들에서 그래픽 프로세싱 파이프라인을 갖고, 그래픽 콘텐츠의 렌더링을 개선하고, 그리고/또는 프로세싱 유닛, 즉 본원에 설명된 하나 이상의 기법들을 수행하도록 구성된 임의의 프로세싱 유닛, 이를테면 GPU의 로드를 줄이기 위한 기법들을 설명한다. 예컨대, 본 개시내용은 그래픽 프로세싱을 활용하는 임의의 디바이스에서 그래픽 프로세싱을 위한 기법들을 설명한다. 다른 예시적인 이점들이 본 개시내용 전체에 걸쳐 설명된다.

[0020] 본원에서 사용되는 바와 같이, "콘텐츠"라는 용어의 인스턴스들은 "그래픽 콘텐츠", "이미지"를 지칭할 수 있고, 그 반대의 경우도 마찬가지이다. 이는, 용어들이 형용사, 명사, 또는 다른 품사들로서 사용되고 있는지 여부에 관계없이 사실이다. 일부 예들에서, 본원에서 사용되는 바와 같이, "그래픽 콘텐츠"라는 용어는 그래픽 프로세싱 파이프라인의 하나 이상의 프로세스들에 의해 생성된 콘텐츠를 지칭할 수 있다. 일부 예들에서, 본원에서 사용되는 바와 같이, "그래픽 콘텐츠"라는 용어는 그래픽 프로세싱을 수행하도록 구성된 프로세싱 유닛에 의해 생성된 콘텐츠를 지칭할 수 있다. 일부 예들에서, 본원에서 사용되는 바와 같이, "그래픽 콘텐츠"라는 용어는 그래픽 프로세싱 유닛에 의해 생성된 콘텐츠를 지칭할 수 있다.

[0021] 일부 예들에서, 본원에서 사용되는 바와 같이, "그래픽 콘텐츠"라는 용어는 디스플레이 프로세싱을 수행하도록 구성된 프로세싱 유닛에 의해 생성된 콘텐츠를 지칭할 수 있다. 일부 예들에서, 본원에서 사용되는 바와 같이, "디스플레이 콘텐츠"라는 용어는 디스플레이 프로세싱 유닛에 의해 생성된 콘텐츠를 지칭할 수 있다. 그래픽 콘텐츠는 디스플레이 콘텐츠가 되도록 프로세싱될 수 있다. 예컨대, 그래픽 프로세싱 유닛은 프레임과 같은 그래픽 콘텐츠를 버퍼(프레임 버퍼라고도 지칭될 수 있음)에 출력할 수 있다. 디스플레이 프로세싱 유닛은 버퍼로부터 하나 이상의 프레임들과 같은 그래픽 콘텐츠를 판독할 수 있고, 디스플레이 콘텐츠를 생성하기 위해 그래픽 콘텐츠에 하나 이상의 디스플레이 프로세싱 기법들을 수행할 수 있다. 예컨대, 디스플레이 프로세싱 유닛은 프레임을 생성하기 위해 하나 이상의 렌더링된 레이어들에 대해 컴포지션을 수행하도록 구성될 수 있다. 다른 예로서, 디스플레이 프로세싱 유닛은 2개 이상의 레이어들을 단일 프레임으로 함께 컴포징, 블렌딩, 또는 다른 방식으로 결합하도록 구성될 수 있다. 디스플레이 프로세싱 유닛은 프레임에 대해 스케일링, 예컨대 업스케일링 또는 다운스케일링을 수행하도록 구성될 수 있다. 일부 예들에서, 프레임은 레이어를 지칭할 수 있다. 다른 예들에서, 프레임은 프레임을 형성하기 위해 이미 함께 블렌딩된 2개 이상의 레이어들을 지칭할 수 있는데, 즉, 프레임은 2개 이상의 레이어들을 포함하고, 2개 이상의 레이어들을 포함하는 프레임은 후속적으로 블렌딩될 수 있다.

[0022] 도 1은 본 개시내용의 하나 이상의 기법들을 구현하도록 구성된 예시적인 콘텐츠 생성 시스템(100)을 예시하는 블록 다이어그램이다. 콘텐츠 생성 시스템(100)은 디바이스(104)를 포함한다. 디바이스(104)는 본원에 설명된 다양한 기능들을 수행하기 위한 하나 이상의 컴포넌트들(또는 회로들)을 포함할 수 있다. 일부 예들에서, 디바이스(104)의 하나 이상의 컴포넌트들은 SOC의 컴포넌트들일 수 있다. 디바이스(104)는 본 개시내용의 하나 이상의 기법들을 수행하도록 구성된 하나 이상의 컴포넌트들을 포함할 수 있다. 도시된 예에서, 디바이스(104)는 프로세싱 유닛(120), 콘텐츠 인코더/디코더(122), 및 시스템 메모리(124)를 포함할 수 있다. 일부 양상들에서, 디바이스(104)는 다수의 선택적 컴포넌트들, 예컨대, 통신 인터페이스(126), 트랜시버(132), 수신기(128), 송신기(130), 디스플레이 프로세서(127), 및 하나 이상의 디스플레이들(131)을 포함할 수 있다. 디스플레이(131)에 대한 언급은 하나 이상의 디스플레이들(131)을 지칭할 수 있다. 예컨대, 디스플레이(131)는 단일 디스플레이 또는 다수의 디스플레이들을 포함할 수 있다. 디스플레이(131)는 제1 디스플레이 및 제2 디스플레이를 포함할 수 있다. 제1 디스플레이는 좌안 디스플레이일 수 있고, 제2 디스플레이는 우안 디스플레이일 수 있다. 일부 예들에서, 제1 및 제2 디스플레이는 그 위에 제시(presentment)하기 위한 상이한 프레임들을 수신할 수 있다. 다른 예들에서, 제1 및 제2 디스플레이는 그 위에 제시하기 위한 동일한 프레임들을 수신할 수 있다. 추가의 예들에서, 그래픽 프로세싱의 결과들이 디바이스 상에 디스플레이되지 않을 수 있는데, 예컨대, 제1 및 제2 디스플레이가 그 위에 제시하기 위한 어떠한 프레임들도 수신하지 않을 수 있다. 대신, 프레임들 또는 그래픽 프로세싱 결과들이 다른 디바이스에 전달될 수 있다. 일부 양상들에서, 이는 분할-렌더링(split-rendering)으로 지칭될 수 있다.

[0023] 프로세싱 유닛(120)은 내부 메모리(121)를 포함할 수 있다. 프로세싱 유닛(120)은 그래픽 프로세싱 파이프라인(107)에서와 같이 그래픽 프로세싱을 수행하도록 구성될 수 있다. 콘텐츠 인코더/디코더(122)는 내부 메모리(123)를 포함할 수 있다. 일부 예들에서, 디바이스(104)는 하나 이상의 디스플레이들(131)에 의한 제시 전에, 프로세싱 유닛(120)에 의해 생성된 하나 이상의 프레임들에 대해 하나 이상의 디스플레이 프로세싱 기법들을 수행하기 위해, 디스플레이 프로세서(127)와 같은 디스플레이 프로세서를 포함할 수 있다. 디스플레이 프로세서(127)는 디스플레이 프로세싱을 수행하도록 구성될 수 있다. 예컨대, 디스플레이 프로세서(127)는 프로세싱 유닛(120)에 의해 생성된 하나 이상의 프레임들에 대해 하나 이상의 디스플레이 프로세싱 기법들을 수행하도록 구성될 수 있다. 하나 이상의 디스플레이들(131)은 디스플레이 프로세서(127)에 의해 프로세싱된 프레임들을 디스플레이하거나 다른 방식으로 제시하도록 구성될 수 있다. 일부 예들에서, 하나 이상의 디스플레이들(131)은: LCD(liquid crystal display), 플라즈마 디스플레이, OLED(organic light emitting diode) 디스플레이, 투사 디스플레이 디바이스, 증강 현실 디스플레이 디바이스, 가상 현실 디스플레이 디바이스, 머리-장착 디스플레이, 또는 임의의 다른 타입의 디스플레이 디바이스를 포함할 수 있다.

[0024] 프로세싱 유닛(120) 및 콘텐츠 인코더/디코더(122) 외부의 메모리, 이를테면 시스템 메모리(124)는 프로세싱 유닛(120) 및 콘텐츠 인코더/디코더(122)에 의해 액세스가능할 수 있다. 예컨대, 프로세싱 유닛(120) 및 콘텐츠 인코더/디코더(122)는 시스템 메모리(124)와 같은 외부 메모리로부터 판독 및/또는 시스템 메모리(124)와 같은 외부 메모리에 기록하도록 구성될 수 있다. 프로세싱 유닛(120) 및 콘텐츠 인코더/디코더(122)는 버스를 통해 시스템 메모리(124)에 통신가능하게 커플링될 수 있다. 일부 예들에서, 프로세싱 유닛(120) 및 콘텐츠 인코더/디코더(122)는 버스 또는 다른 연결을 통해 서로 통신가능하게 커플링될 수 있다.

[0025] 콘텐츠 인코더/디코더(122)는 시스템 메모리(124) 및/또는 통신 인터페이스(126)와 같은 임의의 소스로부터 그래픽 콘텐츠를 수신하도록 구성될 수 있다. 시스템 메모리(124)는 수신된, 인코딩된 또는 디코딩된 그래픽 콘텐츠를 저장하도록 구성될 수 있다. 콘텐츠 인코더/디코더(122)는 예컨대, 시스템 메모리(124) 및/또는 통신 인터페이스(126)로부터, 인코딩된 픽셀 데이터의 형태로 인코딩된 또는 디코딩된 그래픽 콘텐츠를 수신하도록 구성될 수 있다. 콘텐츠 인코더/디코더(122)는 임의의 그래픽 콘텐츠를 인코딩 또는 디코딩하도록 구성될 수 있다.

[0026] 내부 메모리(121) 또는 시스템 메모리(124)는 하나 이상의 휘발성 또는 비휘발성 메모리들 또는 저장 디바이스들을 포함할 수 있다. 일부 예들에서, 내부 메모리(121) 또는 시스템 메모리(124)는 RAM, SRAM, DRAM, EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리, 자기 데이터 매체 또는 광학 저장 매체, 또는 임의의 다른 타입의 메모리를 포함할 수 있다.

[0027] 내부 메모리(121) 또는 시스템 메모리(124)는 일부 예들에 따라 비-일시적인 저장 매체일 수 있다. "비-일시적인"이라는 용어는 저장 매체가 반송파(carrier wave) 또는 전파되는 신호로 구현되지 않는다는 것을을 표시할 수 있다. 그러나, "비-일시적인"이라는 용어가, 내부 메모리(121) 또는 시스템 메모리(124)가 이동 불가능하거나 그 콘텐츠가 정적(static)이라는 의미로 해석되어서는 안된다. 일 예로서, 시스템 메모리(124)는 디바이스(104)로부터 제거되어 다른 디바이스로 이동될 수 있다. 다른 예로서, 시스템 메모리(124)는 디바이스(104)로부터 제거가능하지 않을 수 있다.

[0028] 프로세싱 유닛(120)은 CPU(central processing unit), GPU(graphics processing unit), GPGPU(general purpose GPU) 또는 그래픽 프로세싱을 수행하도록 구성될 수 있는 임의의 다른 프로세싱 유닛일 수 있다. 일부 예들에서, 프로세싱 유닛(120)은 디바이스(104)의 마더보드에 통합될 수 있다. 일부 예들에서, 프로세싱 유닛(120)은 디바이스(104)의 마더보드에 있는 포트에 설치된 그래픽 카드 상에 존재할 수 있거나, 그렇지 않으면 디바이스(104)와 상호동작(interoperate)하도록 구성된 주변 디바이스 내에 통합될 수 있다. 프로세싱 유닛(120)은 하나 이상의 프로세서들, 이를테면 하나 이상의 마이크로프로세서들, GPU들, ASIC(application specific integrated circuit)들, FPGA(field programmable gate array)들, ALU(arithmetic logic unit)들, DSP(digital signal processor)들, 이산 로직, 소프트웨어, 하드웨어, 펌웨어, 기타 등가의 통합 또는 이산 로직 회로부 또는 이들의 임의의 조합들을 포함할 수 있다. 기법들이 부분적으로 소프트웨어로 구현되는 경우, 프로세싱 유닛(120)은 소프트웨어를 위한 명령들을, 적합한 비-일시적인 컴퓨터-판독가능 저장 매체, 예컨대 내부 메모리(121)에 저장할 수 있고, 본 개시내용의 기법들을 수행하기 위해 하나 이상의 프로세서들을 사용하는 하드웨어에서 명령들을 실행할 수 있다. 하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등을 포함하여 전술한 임의의 것은 하나 이상의 프로세서들인 것으로 간주될 수 있다.

[0029] 콘텐츠 인코더/디코더(122)는 콘텐츠 디코딩을 수행하도록 구성된 임의의 프로세싱 유닛일 수 있다. 일부 예들에서, 콘텐츠 인코더/디코더(122)는 디바이스(104)의 마더보드에 통합될 수 있다. 콘텐츠 인코더/디코더(122)는 하나 이상의 프로세서들, 이를테면 하나 이상의 마이크로프로세서들, ASIC(application specific integrated circuit)들, FPGA(field programmable gate array)들, ALU(arithmetic logic unit)들, DSP(digital signal processor)들, 비디오 프로세서들, 이산 로직, 소프트웨어, 하드웨어, 펌웨어, 기타 등가의 통합 또는 이산 로직 회로부 또는 이들의 임의의 조합들을 포함할 수 있다. 기법들이 부분적으로 소프트웨어로 구현되는 경우, 콘텐츠 인코더/디코더(122)는 소프트웨어를 위한 명령들을, 적합한 비-일시적인 컴퓨터-판독가능 저장 매체, 예컨대 내부 메모리(123)에 저장할 수 있고, 본 개시내용의 기법들을 수행하기 위해 하나 이상의 프로세서들을 사용하는 하드웨어에서 명령들을 실행할 수 있다. 하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등을 포함하여 전술한 임의의 것은 하나 이상의 프로세서들인 것으로 간주될 수 있다.

[0030] 일부 양상들에서, 콘텐츠 생성 시스템(100)은 선택적 통신 인터페이스(126)를 포함할 수 있다. 통신 인터페이스(126)는 수신기(128) 및 송신기(130)를 포함할 수 있다. 수신기(128)는 디바이스(104)에 대해 본원에서 설명된 임의의 수신 기능을 수행하도록 구성될 수 있다. 부가적으로, 수신기(128)는 다른 디바이스로부터 정보, 예컨대 눈 또는 머리 포지션 정보, 렌더링 커맨드들, 또는 위치 정보를 수신하도록 구성될 수 있다. 송신기(130)는 디바이스(104)에 대해 본원에서 설명된 임의의 송신 기능을 수행하도록 구성될 수 있다. 예컨대, 송신기(130)는 콘텐츠에 대한 요청을 포함할 수 있는 정보를 다른 디바이스에 송신하도록 구성될 수 있다. 수신기(128) 및 송신기(130)는 트랜시버(132)로 결합될 수 있다. 이러한 예들에서, 트랜시버(132)는 디바이스(104)에 대해 본원에서 설명된 수신 기능 및/또는 송신 기능을 수행하도록 구성될 수 있다.

[0031] 다시 도 1을 참조하면, 특정 양상들에서, 그래픽 프로세싱 파이프라인(107)은 프레임의 하나 이상의 레이어들 각각에 맵핑하기 위한 하나 이상의 디스플레이 오버레이 리소스들을 식별하도록 구성된 결정 컴포넌트(198)를 포함할 수 있으며, 여기서 하나 이상의 디스플레이 오버레이 리소스들은 DPU에 포함된다. 결정 컴포넌트(198)는 또한 프레임의 하나 이상의 레이어들 각각에 대한 콘텐츠 정보를 수신하도록 구성될 수 있다. 결정 컴포넌트(198)는 또한 하나 이상의 레이어들 각각에 대한 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는지 여부를 결정하도록 구성될 수 있다. 결정 컴포넌트(198)는 또한 하나 이상의 레이어들 중 적어도 하나의 레이어에 대한 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는 경우, 하나 이상의 레이어들의 우선순위 순서를 결정하도록 구성될 수 있다. 결정 컴포넌트(198)는 또한 하나 이상의 레이어들의 결정된 우선순위 순서에 기반하여 하나 이상의 레이어들 각각에 하나 이상의 디스플레이 오버레이 리소스들 각각을 맵핑하도록 구성될 수 있다.

[0032] 본원에서 설명된 바와 같이, 디바이스(104)와 같은 디바이스는 본원에서 설명되는 하나 이상의 기법들을 수행하도록 구성된 임의의 디바이스, 장치, 또는 시스템을 지칭할 수 있다. 예컨대, 디바이스는 서버, 기지국, 사용자 장비, 클라이언트 디바이스, 스테이션, 액세스 포인트, 컴퓨터, 예컨대, 개인용 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 컴퓨터 워크스테이션, 또는 메인프레임 컴퓨터, 최종 제품, 장치, 폰, 스마트 폰, 서버, 비디오 게임 플랫폼 또는 콘솔, 핸드헬드 디바이스, 예컨대, 휴대용 비디오 게임 디바이스 또는 PDA(personal digital assistant), 웨어러블 컴퓨팅 디바이스, 예컨대, 스마트 워치, 증강 현실 디바이스, 또는 가상 현실 디바이스, 비-웨어러블 디바이스, 디스플레이 또는 디스플레이 디바이스, 텔레비전, 텔레비전 셋톱 박스, 중간 네트워크 디바이스, 디지털 미디어 플레이어, 비디오 스트리밍 디바이스, 콘텐츠 스트리밍 디바이스, 차량용 컴퓨터, 임의의 모바일 디바이스, 그래픽 콘텐츠를 생성하도록 구성된 임의의 디바이스, 또는 본원에 설명된 하나 이상의 기법들을 수행하도록 구성된 임의의 디바이스일 수 있다. 본원의 프로세스들은 특정 컴포넌트(예컨대, GPU)에 의해 수행되는 것으로서 설명될 수 있지만, 추가의 실시예들에서, 개시된 실시예들과 일치하는 다른 컴포넌트들(예컨대, CPU)을 사용하여 수행될 수 있다.

[0033] GPU들은 GPU 파이프라인에서 다수의 타입들의 데이터 또는 데이터 패킷들을 프로세싱할 수 있다. 예를 들어, 일부 양상들에서, GPU는 2개의 타입들의 데이터 또는 데이터 패킷들, 예컨대 콘텍스트 레지스터 패킷들 및 드로우 콜 데이터를 프로세싱할 수 있다. 콘텍스트 레지스터 패킷은 그래픽 콘텍스트(graphics context)가 어떻게 프로세싱될지를 조절할 수 있는 글로벌 상태 정보, 예컨대, 글로벌 레지스터, 쉐이딩 프로그램 또는 상수 데이터에 관한 정보의 세트일 수 있다. 예컨대, 콘텍스트 레지스터 패킷들은 컬러 포맷에 관한 정보를 포함할 수 있다. 콘텍스트 레지스터 패킷들의 일부 양상들에서, 어느 워크로드가 콘텍스트 레지스터에 속하는지를 표시하는 비트가 존재할 수 있다. 또한, 동시에 그리고/또는 병렬로 실행되는 다수의 기능들 또는 프로그래밍이 존재할 수 있다. 예컨대, 기능들 또는 프로그래밍은 특정 동작, 예컨대 컬러 모드 또는 컬러 포맷을 설명할 수 있다. 따라서, 콘텍스트 레지스터는 GPU의 다수의 상태들을 정의할 수 있다.

[0034] 콘텍스트 상태들은, 개별 프로세싱 유닛, 예컨대 VFD(vertex fetcher), VS(vertex shader), 셰이더 프로세서, 또는 기하구조 프로세서가 어떻게 기능하는지 그리고/또는 프로세싱 유닛이 어떤 모드에서 기능하는지를 결정하는 데 활용될 수 있다. 그렇게 하기 위해, GPU들은 콘텍스트 레지스터들 및 프로그래밍 데이터를 사용할 수 있다. 일부 양상들에서, GPU는 모드 또는 상태의 콘텍스트 레지스터 정의에 기반하여 파이프라인에서 워크로드, 예컨대 버텍스 또는 픽셀 워크로드를 생성할 수 있다. 특정 프로세싱 유닛들, 예컨대 VFD는, 이러한 상태들을 사용하여 특정 기능들, 예컨대 버텍스가 어떻게 어셈블링되는지를 결정할 수 있다. 이러한 모드들 또는 상태들이 변할 수 있기 때문에, GPU들은 대응하는 콘텍스트를 변경할 필요가 있을 수 있다. 부가적으로, 모드 또는 상태에 대응하는 워크로드는 변경되는 모드 또는 상태를 따를 수 있다.

[0035] 도 2는 본 개시내용의 하나 이상의 기법들에 따른 예시적인 GPU(200)를 예시한다. 도 2에 도시된 바와 같이, GPU(200)는 CP(command processor)(210), 드로우 콜 패킷들(212), VFD(220), VS(222), VPC(vertex cache)(224), TSE(triangle setup engine)(226), RAS(rasterizer)(228), ZPE(Z process engine)(230), PI(pixel interpolator)(232), FS(fragment shader)(234), RB(render backend)(236), UCHE(L2 cache)(238) 및 시스템 메모리(240)를 포함한다. 도 2는 GPU(200)가 프로세싱 유닛들(220-238)을 포함하는 것으로 디스플레이하지만, GPU(200)는 다수의 부가적인 프로세싱 유닛들을 포함할 수 있다. 부가적으로, 프로세싱 유닛들(220-238)은 단지 예일 뿐이며, 프로세싱 유닛들의 임의의 조합 또는 순서가 본 개시내용에 따른 GPU들에 의해 사용될 수 있다. GPU(200)는 또한 커맨드 버퍼(250), 콘텍스트 레지스터 패킷들(260), 및 콘텍스트 상태들(261)을 포함한다.

[0036] 도 2에 도시된 바와 같이, GPU는 커맨드 버퍼를, 콘텍스트 레지스터 패킷들, 예컨대 콘텍스트 레지스터 패킷들(260) 및/또는 드로우 콜 데이터 패킷들, 예컨대 드로우 콜 패킷들(212)로 파싱하기 위해 CP, 예컨대, CP(210), 또는 하드웨어 가속기를 활용할 수 있다. 이어서, CP(210)는 GPU 내의 프로세싱 유닛들 또는 블록들로 별개의 경로들을 통해 콘텍스트 레지스터 패킷들(260) 또는 드로우 콜 데이터 패킷들(212)을 전송할 수 있다. 추가로, 커맨드 버퍼(250)는 콘텍스트 레지스터들과 드로우 콜들의 상이한 상태들을 교대로 사용할 수 있다. 예컨대, 커맨드 버퍼는 다음의 방식으로 구조화될 수 있다: 콘텍스트 N의 콘텍스트 레지스터, 콘텍스트 N의 드로우 콜(들), 콘텍스트 N+1의 콘텍스트 레지스터, 및 콘텍스트 N+1의 드로우 콜(들).

[0037] GPU들은 다양한 상이한 방식들로 이미지들을 렌더링할 수 있다. 일부 경우들에서, GPU들은 렌더링 또는 타일링된 렌더링을 사용하여 이미지를 렌더링할 수 있다. 타일링된 렌더링 GPU들에서, 이미지는 상이한 섹션들 또는 타일들로 분할 또는 분리될 수 있다. 이미지의 분할 후에, 각각의 섹션 또는 타일은 개별적으로 렌더링될 수 있다. 타일링된 렌더링 GPU들은, 그리드의 각각의 부분, 즉, 타일이 개별적으로 렌더링되도록, 컴퓨터 그래픽 이미지들을 그리드 포맷으로 분할할 수 있다. 일부 양상들에서, 비닝 패스(binning pass) 동안, 이미지는 상이한 빈들 또는 타일들로 분할될 수 있다. 일부 양상들에서, 비닝 패스 동안, 가시적인(visible) 프리미티브(primitive)들 또는 드로우 콜들이 식별될 수 있는 가시성 스트림이 구성될 수 있다.

[0038] 일부 양상들에서, GPU들은 드로잉 또는 렌더링 프로세스를 상이한 빈들 또는 타일들에 적용할 수 있다. 예컨대, GPU는 하나의 빈에 대해 렌더링하고, 그 빈 내의 프리미티브들 또는 픽셀들에 대한 모든 드로우들을 수행할 수 있다. 빈에 대해 렌더링하는 프로세스 동안, 렌더 타깃들은 GMEM에 로케이팅될 수 있다. 일부 경우들에서, 하나의 빈에 대해 렌더링한 후에, 렌더 타깃들의 콘텐츠는 시스템 메모리로 이동될 수 있고, 다음 빈을 렌더링하기 위해 GEME가 확보될 수 있다. 부가적으로, GPU는 다른 빈에 대해 렌더링하고, 그 빈 내의 프리미티브들 또는 픽셀들에 대한 드로우들을 수행할 수 있다. 따라서, 일부 양상들에서, 하나의 표면에 있는 모든 드로우들을 커버하는 적은 수의 빈들, 예컨대 4개의 빈들이 있을 수 있다. 추가로, GPU들은 하나의 빈 내의 모든 드로우들을 순환할 수 있지만, 가시적인 드로우 콜들, 즉, 가시적인 기하구조를 포함하는 드로우 콜들에 대한 드로우들을 수행할 수 있다. 일부 양상들에서, 가시성 스트림은, 이미지 또는 장면에서 각각의 프리미티브의 가시성 정보를 결정하기 위해, 예컨대 비닝 패스에서, 생성될 수 있다. 예를 들어, 이 가시성 스트림은 특정 프리미티브가 가시적인지 여부를 식별할 수 있다. 일부 양상들에서, 이 정보는, 예컨대 렌더링 패스에서 가시적이지 않은 프리미티브들을 제거하는 데 사용될 수 있다. 또한, 가시적인 것으로서 식별되는 프리미티브들 중 적어도 일부는 렌더링 패스에서 렌더링될 수 있다.

[0039] 타일링된 렌더링의 일부 양상들에서, 다수의 프로세싱 단계들 또는 패스들이 존재할 수 있다. 예를 들어, 렌더링은 2개의 패스들, 예컨대, 가시성 또는 빈-가시성 패스 및 렌더링 또는 빈-렌더링 패스에서 수행될 수 있다. 가시성 패스 동안, GPU는 렌더링 워크로드를 입력하고 프리미티브들 또는 삼각형들의 포지션들을 기록하고, 이어서 어떤 프리미티브들 또는 삼각형들이 어떤 빈 또는 영역에 속하는지 결정할 수 있다. 가시성 패스의 일부 양상들에서, GPU들은 또한 가시성 스트림에서 각각의 프리미티브 또는 삼각형의 가시성을 식별하거나 마킹할 수 있다. 렌더링 패스 동안, GPU는 가시성 스트림을 입력하고 한번에 하나의 빈 또는 영역을 프로세싱할 수 있다. 일부 양상들에서, 가시성 스트림은 어느 프리미티브들 또는 프리미티브들의 버텍스들이 가시적인지 또는 가시적이지 않은지를 결정하기 위해 분석될 수 있다. 이로써, 가시적인 프리미티브들 또는 프리미티브들의 버텍스들이 프로세싱될 수 있다. 그렇게 함으로써, GPU들은 가시적이지 않은 프리미티브들 또는 삼각형들을 프로세싱 또는 렌더링하는 불필요한 워크로드를 줄일 수 있다.

[0040] 일부 양상들에서, 가시성 패스 동안, 특정 타입들의 프리미티브 기하구조, 예컨대 포지션-전용 기하구조가 프로세싱될 수 있다. 부가적으로, 프리미티브들 또는 삼각형들의 포지션 또는 위치에 따라, 프리미티브들은 상이한 빈들 또는 영역들로 소팅(sort)될 수 있다. 일부 경우들에서, 프리미티브들 또는 삼각형들을 상이한 빈들로 소팅하는 것은 이들 프리미티브들 또는 삼각형들에 대한 가시성 정보를 결정함으로써 수행될 수 있다. 예컨대, GPU들은, 예컨대, 시스템 메모리에서, 각각의 빈 또는 영역 내의 각각의 프리미티브에 대한 가시성 정보를 결정 또는 기록할 수 있다. 이 가시성 정보는 가시성 스트림을 결정 또는 생성하는 데 사용될 수 있다. 렌더링 패스에서, 각각의 빈 내의 프리미티브들은 개별적으로 렌더링될 수 있다. 이러한 경우들에서, 가시성 스트림은 그 빈에 대해 가시적이지 않은 프리미티브들을 드롭하는 데 사용되는 메모리로부터 페칭될 수 있다.

[0041] GPU들 또는 GPU 아키텍처들의 일부 양상들은 렌더링을 위한 다수의 상이한 옵션들, 예컨대, 소프트웨어 렌더링 및 하드웨어 렌더링을 제공할 수 있다. 소프트웨어 렌더링에서, 드라이버 또는 CPU는 각각의 뷰를 한번 프로세싱함으로써 전체 프레임 기하구조를 복제할 수 있다. 부가적으로, 일부 상이한 상태들은 뷰에 의존하여 변경될 수 있다. 따라서, 소프트웨어 렌더링에서, 소프트웨어는 이미지의 각각의 시점에 대해 렌더링하는 데 활용될 수 있는 일부 상태들을 변경함으로써 전체 워크로드를 복제할 수 있다. 특정 양상들에서, GPU들이 이미지의 각각의 시점에 대해 동일한 워크로드를 여러 번 제출하고 있을 수 있기 때문에, 증가된 양의 오버헤드가 존재할 수 있다. 하드웨어 렌더링에서, 하드웨어 또는 GPU는 이미지의 각각의 시점에 대한 기하구조를 복제 또는 프로세싱하는 것을 담당할 수 있다. 따라서, 하드웨어는 이미지의 각각의 시점에 대한 프리미티브들 또는 삼각형들의 복제 또는 프로세싱을 관리할 수 있다.

[0042] 본원에 표시된 바와 같이, 일부 양상들에서, 이를테면 빈 또는 타일링된 렌더링 아키텍처에서, 프레임 버퍼들은, 예컨대 상이한 타입들의 메모리로부터 렌더링할 때, 반복적으로 그들에 기록되거나 또는 저장되는 데이터를 가질 수 있다. 이는 프레임 버퍼 또는 시스템 메모리를 리졸빙(resolve) 및 언리졸빙(unresolve)하는 것으로 지칭될 수 있다. 예컨대, 하나의 프레임 버퍼에 저장 또는 기록하고 이어서 다른 프레임 버퍼로 스위칭할 때, 프레임 버퍼에 대한 데이터 또는 정보는 GPU에 있는 GMEM(GPU internal memory)로부터 시스템 메모리, 즉, DDR(double data rate) RAM 또는 DRAM(dynamic RAM)의 메모리로 리졸빙될 수 있다.

[0043] 일부 양상들에서, 시스템 메모리는 또한, 예컨대, 디바이스 또는 스마트 폰 상에 데이터 또는 정보를 저장하기 위한 SoC(system-on-chip) 메모리 또는 다른 칩-기반 메모리일 수 있다. 시스템 메모리는 또한, CPU 및/또는 GPU에 의해 공유되는 물리적 데이터 저장소일 수 있다. 일부 양상들에서, 시스템 메모리는, 예컨대, 디바이스 또는 스마트 폰 상의 DRAM 칩일 수 있다. 따라서, SoC 메모리는 데이터를 저장하는 칩-기반 방식일 수 있다.

[0044] 일부 양상들에서, GMEM은 GPU에서의 온-칩 메모리일 수 있으며, 이는 SRAM(static RAM)에 의해 구현될 수 있다. 부가적으로, GMEM은 디바이스, 예컨대, 스마트 폰 상에 저장될 수 있다. 본원에서 표시된 바와 같이, 데이터 또는 정보는, 예컨대, 디바이스에서, 시스템 메모리 또는 DRAM과 GMEM 사이에서 전달될 수 있다. 일부 양상들에서, 시스템 메모리 또는 DRAM은 CPU 또는 GPU에 있을 수 있다. 부가적으로, 데이터는 DDR 또는 DRAM에 저장될 수 있다. 일부 양상들에서, 이를테면 빈 또는 타일링된 렌더링에서, 메모리의 작은 부분이 GPU에, 예컨대, GMEM에 저장될 수 있다. 일부 경우들에서, GMEM에 데이터를 저장하는 것은 프레임 버퍼 또는 시스템 메모리에 데이터를 저장하는 것에 비해 더 큰 프로세싱 워크로드 및/또는 소비되는 전력을 활용할 수 있다.

[0045] 디스플레이 프로세싱의 일부 양상들은 디스플레이 프로세싱 유닛(DPU)들에 대한 특정 타입들의 컴포지션 또는 디스플레이 전략들을 포함할 수 있다. 예를 들어, 디스플레이 레이어들의 컴포지션은 패널에서 디스플레이 하기 전에 디스플레이 레이어들 각각을 최종 디스플레이 프레임으로 결합하는 것을 포함할 수 있다. 디스플레이 프로세싱, 예컨대, 오버레이-기반 DPU 컴포지터 하드웨어를 포함하는 컴포지션 파이프라인의 일부 구현들에서, DPU 하드웨어 리소스들 또는 파이프들은 드로우 사이클의 시작 시에 할당될 수 있다. 이러한 타입들의 할당들은 사용 사례에 대한 사전 지식 없이, 뿐만 아니라 디스플레이 패널로 전달될 시간 내에, 발생할 수 있다.

[0046] DPU들은 다수의 레이어들을 갖는 이미지 또는 프레임을 디스플레이 패널에 송신하기 전에 다수의 프로세스들, 이를테면 이미지 프로세싱, 결합, 또는 컴포지션을 수행할 수 있다. DPU들은 또한 이미지 또는 프레임의 레이어들을 프로세싱하기 위해 다수의 파이프들 또는 애플리케이션들을 포함할 수 있다. 예를 들어, 프레임 또는 이미지 내의 다수의 레이어들, 예컨대 8개의 레이어들을 프로세싱하기 위해 다수의 파이프들 또는 애플리케이션들, 예컨대 4개의 파이프들이 존재할 수 있다. 이러한 파이프들 또는 애플리케이션들은 다수의 디스플레이 프로세싱 단계들, 이를테면, 다운스케일링 또는 업스케일링, 톤 맵핑(tone mapping) 등을 수행할 수 있다. 이러한 디스플레이 프로세싱 단계들 중 일부는 다른 디스플레이 프로세싱 단계들, 예컨대, HD(high definition) 또는 HDR(high dynamic range) 비디오 플레이백에 비해 더 높은 우선순위를 포함할 수 있다.

[0047] 일부 양상들에서, DPU에 대해 컴포지션 프로세스를 수행하는 데 이용가능한 제한된 수의 디스플레이 하드웨어 리소스들, 예컨대 DPU 파이프들이 있을 수 있다. 따라서, 애플리케이션들 또는 리소스들의 수는 컴포지션 프로세스 동안 제한될 수 있다. DPU 파이프들의 수가 제한되고 그리고/또는 DPU 파이프들의 서브세트가 전문화된 동작들, 예컨대 톤-맵핑 및 인라인 로테이션이 가능한 경우들에서, 이는 고가치 사용 사례들, 예컨대 HD(high definition) 또는 HDR(high dynamic range) 비디오 플레이백에 대한 준최적(sub-optimal) 할당을 초래할 수 있다. 따라서, 고가치 사용 사례는 준최적 할당을 받을 수 있거나, 일부 경우들에서는 DPU 파이프에 할당되지 않을 수 있다.

[0048] 일부 경우들에서, DPU 또는 컴포지터는 애플리케이션 또는 사용 사례의 임의의 특성들을 인식하지 못할 수 있다. 따라서, DPU 또는 컴포지터는 각각의 애플리케이션 또는 사용 사례를 동일하게 취급할 수 있다. 추가로, DPU 또는 컴포지터는 각각의 애플리케이션 또는 사용 사례에 대한 대응하는 디스플레이 프로세싱 리소스를 인식하지 못할 수 있다. 애플리케이션 레이어들 각각이 디스플레이 프로세싱 리소스에 대응하지 않으면, DPU는 컴포지션을 핸들링할 수 없을 수 있고, 따라서 컴포지션은 GPU에 의해 핸들링되거나 또는 GPU로 폴백(fall back)될 수 있다. 이는 GPU에 의해 활용되는 전력 또는 오버헤드의 증가를 초래할 수 있다. 추가로, 프로세싱 알고리즘들은 DPU와 비교하여 GPU에서 상이할 수 있어서, 디스플레이 프로세싱을 수행하기 위해 업스케일링 또는 다운스케일링이 활용될 수 있다.

[0049] 위에서 표시된 바와 같이, 특정 타입들의 애플리케이션 사용 사례들, 예컨대 HD 또는 HDR 비디오 플레이백은, DPU 하드웨어 오버레이들 또는 파이프들의 비이용가능성으로 인해, DPU에 의해 프로세싱되지 않을 수 있는데, 예컨대 GPU에서 프로세싱될 수 있다. 예를 들어, 이는, GPU 상의 프로세싱 알고리즘들이 DPU 상의 프로세싱 알고리즘들과 상이할 수 있기 때문에, 사용자에게 일관되지 않은 시각적 경험을 야기할 수 있다. 추가로, 이 문제는 증가된 DPU 파이프 경합으로 인해 하나 초과의 디스플레이가 연결될 때 악화될 수 있다.

[0050] 일부 애플리케이션 사용 사례들에서, 프레임의 디스플레이 레이어 속성들의 일부가 컴포지션 사이클에 앞서 DPU에 의해 알려질 수 있다. 예컨대, 레이어들의 컬러 공간, 레이어들의 픽셀 포맷, 및/또는 비디오를 렌더링하는 윈도우의 데스티네이션 디멘션들은 컴포지션 사이클 전에 DPU에 알려질 수 있다. 그러한 경우들에서, 최적의 DPU 리소스들이 고가치 사용 사례들을 위해 예비될 수 있도록, 프로듀서가 이러한 정보를 DPU 또는 컴포지터에 미리 시그널링하는 것이 유리할 수 있다. 부가적으로, 특정 애플리케이션들 또는 사용 사례들은 컴포지션 프로세스 동안 다른 애플리케이션들 또는 사용 사례들에 비해 우선순위화될 수 있다. 예컨대, DPU 파이프들은, 특정 사용 사례들, 예컨대 HD 또는 HDR 비디오 플레이백을 프로세싱하기 위해, 다른 사용 사례들보다 우선순위화될 수 있다.

[0051] 디스플레이 프로세싱의 일부 양상들은 다수의 디스플레이 사용 사례들 또는 고해상도 디스플레이 사용 사례들을 포함할 수 있다. 이에 기반하여, 예컨대 이러한 사용 사례들을 DPU 파이프들에 할당함으로써, DPU들이 특정 타입들의 디스플레이 프로세싱 애플리케이션들 또는 사용 사례들을 우선순위화하기 위한 진보된 예견(look-ahead) 정보를 제공하는 것이 유리할 수 있다. 예를 들어, 오버레이 컴포지션을 위한 리소스 계획을 최적화하고 일관된 사용자 경험을 보장하기 위해 이러한 예견 정보를 레버리징(leverage)하는 것이 유리할 수 있다. 따라서, 컴포지션 프로세스 동안 다른 애플리케이션들 또는 사용 사례들과 비교하여 특정 애플리케이션들 또는 사용 사례들을 우선순위화하는 것이 유리할 수 있다. 예컨대, 특정 타입들의 디스플레이 프로세싱 애플리케이션들, 예컨대, HD 또는 HDR 비디오 플레이백을 프로세싱하기 위해 특정 DPU 하드웨어 오버레이 리소스들 또는 파이프들을 예비 또는 할당하는 것이 유리할 수 있다. 즉, 제한된 리소스들, 이를테면 DPU 하드웨어 오버레이 리소스들 또는 파이프들을 높은 우선순위 사용 사례들 또는 디스플레이 프로세싱 애플리케이션들에 최적으로 배정하는 것이 유리할 수 있다.

[0052] 본 개시내용의 양상들은, 이를테면, 이러한 사용 사례들을 DPU 파이프들에 할당함으로써 DPU들이 특정 타입들의 디스플레이 프로세싱 애플리케이션들 또는 사용 사례들을 우선순위화하기 위한 정보, 예컨대, 진보된 예견 정보를 포함할 수 있다. 예컨대, 본 개시내용의 양상들은 컴포지션 사이클에 앞서 특정 정보, 이를테면 프레임 레이어들의 컬러 공간, 레이어들의 픽셀 포맷, 및/또는 비디오를 렌더링하는 윈도우의 데스티네이션 디멘션들을 제공할 수 있다. 본 개시내용의 양상들은 오버레이 컴포지션을 위한 리소스 계획을 최적화하고 일관된 사용자 경험을 보장하기 위해 이러한 예견 정보를 레버리지할 수 있다.

[0053] 부가적으로, 본 개시내용의 양상들은 특정 사용 사례들, 예컨대 다수의 디스플레이 사용 사례들 또는 고해상도 디스플레이 사용 사례들에 이 예견 정보를 적용할 수 있다. 본 개시내용의 양상들은 또한 컴포지션 프로세스 동안 다른 애플리케이션들에 비해 특정 애플리케이션들을 우선순위화할 수 있다. 예컨대, 본 개시내용의 양상들은 특정 타입들의 디스플레이 프로세싱 애플리케이션들 또는 사용 사례들, 예컨대, HD 또는 HDR 비디오 플레이백을 프로세싱하기 위해 특정 DPU 하드웨어 오버레이 리소스들 또는 파이프들을 예비 또는 할당할 수 있다. 따라서, 본 개시내용의 양상들은 DPU 하드웨어 오버레이 리소스들 또는 파이프들과 같은 제한된 리소스들을 높은 우선순위 사용 사례들 또는 디스플레이 프로세싱 애플리케이션들에 최적으로 배정할 수 있다.

[0054] 일부 경우들에서, 본 개시내용의 양상들은 우선순위화 또는 피드-포워드 단계를 정의할 수 있으며, 여기서 특정 정보, 예컨대, 프로듀서 또는 비디오 디코더로부터의 초기 평면 데이터는 다수의 디스플레이 파이프라인 스테이지들을 계획하기 위해 미리 컴포지터에 공급된다. 부가적으로, 본 개시내용의 양상들은 고가치 사용 사례들, 이를테면 HD 또는 HDR 비디오 플레이백의 최적의 컴포지션을 위해 DPU 하드웨어 오버레이 리소스들 또는 파이프들을 세팅 또는 로킹할 수 있다. 예를 들어, 디스플레이 콘텐츠, 예컨대, HD 또는 HDR 메타데이터는 미리 디코딩될 수 있고, DPU 하드웨어 오버레이 리소스들 또는 파이프들의 우선순위화를 위해 레이어 속성들이 컴포지터에 공급될 수 있다. 이러한 계획으로부터 기인하는 임의의 추가된 파이프라인 스테이지들은, 그렇지 않았다면 DPU 프로세싱 제한들에 기반하여 GPU 컴포지션에 할당되었을 수 있는 레이어들의 오프라인 사전-프로세싱을 달성하기 위해 본 개시내용의 양상들에 의해 추가로 활용될 수 있다.

[0055] 본 개시내용의 양상들은 또한 특정 타입들의 사용 사례들, 예컨대 HD 또는 HDR 미디어 사용 사례들에 대해 상이한 단계들 또는 프로세스들을 포함할 수 있다. 예를 들어, 미디어 파이프라인 초기화 시에, 비디오 디코더는 콘텐츠에서 HDR 메타데이터를 검출하고 그에 따라 렌더링 윈도우 속성들을 세팅할 수 있다. 부가적으로, 윈도우 관리자는 임박한 미디어 플레이백 사용 사례의 특정 레이어 속성들, 예컨대 컬러 공간, 데스티네이션 ROI(region of interest) 사이즈, 및/또는 픽셀 포맷 정보에 관해 컴포지터에 알리거나 명령할 수 있다. 이어서, 컴포지터는 DPU 하드웨어 오버레이 리소스들 또는 파이프들에 레이어들을 할당하거나 우선순위화하기 위해 이러한 정보를 활용할 수 있다.

[0056] 본 개시내용의 일부 양상들에서, 컴포지터는 사용 사례들, 예컨대 HD 또는 HDR 사용 사례들에 대한 동시 발생(co-incident) 레이어 데이터를 수집하기 위해 상기 정보를 활용할 수 있다. 예컨대, 일부 사용 사례들은, 각각의 동시 발생 레이어가 작업 혼합 공간(working blend space)에 함께 톤-맵핑되는 것을 특정할 수 있다. 그런 다음, 컴포지터는 컴포지터 백 엔드로, 레이어 세트를 세팅 또는 로킹(lock)할 수 있는데, 즉 록 호출(lock call)을 수행할 수 있다. 추가로, 컴포지터 백 엔드는 사전-식별된 레이어 세트에 대한 전용 DPU 하드웨어 오버레이 리소스들을 예비하기 위해 록 호출을 사용할 수 있다. 사용 사례가 시작되면, 컴포지터 백엔드는 로킹된 레이어 세트에 대해 예비된 하드웨어 오버레이 리소스들을 할당할 수 있다.

[0057] 일부 경우들에서, 사용 사례 동안 도달하는 임의의 새로운 간헐적인(intermittent) 레이어들, 예컨대 업데이트들 또는 통지들은 더 낮은 레이트로 우선순위화되고, GPU에서 컴포지션에 할당되거나 라우팅될 수 있다. 위에서 표시된 바와 같이, 높은 우선순위 레이어들은 DPU 하드웨어 오버레이 리소스들 또는 파이프들에서 컴포지션에 할당될 수 있다. 게다가, 컴포지터는 특정 경우들에서 사용 사례에 전용된 DPU 하드웨어 오버레이 리소스들을 언로킹(unlock)할 수 있다. 예컨대, 컴포지터는 미디어 플레이백이 일시 중지되거나 백그라운드 활동으로 전달될 때 DPU 하드웨어 오버레이 리소스들을 언로킹할 수 있다.

[0058] 일부 양상들에서, 외부 디스플레이에서, HDR 비디오와 같은 고가치 사용 사례는 특정 디스플레이를 타깃으로 할 수 있다. 애플리케이션 측으로부터의 이러한 정보의 예지(foreknowledge)는 본 개시내용의 양상들이 정확한 디스플레이에 대해 올바른 DPU 리소스들을 선제적으로 우선순위화하게 할 수 있다. 제안은 본 개시내용의 양상들이 레이어들의 사전프로세싱을 수행하거나 다른 오프라인 동작들을 수행하기에 충분한 리드 타임(lead time)을 획득하는 것을 가능하게 할 수 있다. 일부 경우들에서, 그렇지 않았다면 GPU에 할당되거나 라우팅되었을 수 있는 레이어들, 예컨대 블러 레이어, 고도로 다운스케일링된 레이어, 또는 다른 비-표준 효과는 오프라인 프로세싱 경로를 타깃으로 할 수 있다. 그렇게 하기 위해, 본 개시내용의 양상들은 GPU 컴포지션보다는, 그러한 레이어들의 DPU 컴포지션을 가능하게 하기 위해, 특정 엔진들, 예컨대 라이트백(writeback) 엔진 또는 블리트(blit) 엔진을 활용할 수 있다. 그렇게 함으로써, 이는 DPU에서 개선된 품질 및/또는 전력 절감들을 초래할 수 있다.

[0059] 도 3은 본 개시내용의 하나 이상의 기법들에 따른 디스플레이 프로세싱의 통신 흐름도(300)를 예시한다. 도 3에 도시된 바와 같이, 다이어그램(300)은 비디오 플레이어(302), 미디어 파이프라인(304), 윈도우 애플리케이션 프로그램 인터페이스(API)(306), 컴포지터(308), 컴포지터 백엔드(310), 및 DPU 드라이버(312)를 포함한다. 다이어그램(300)은 디스플레이 프로세싱에서 활용되는 다수의 컴포넌트들을 포함한다.

[0060] 320에서, 비디오 플레이어(302)는 미디어 파이프라인(304)이 디코더 인스턴스를 생성할 수 있도록 미디어 파이프라인(304)에 생성할 것을 명령할 수 있다. 이어서, 미디어 파이프라인(304)은 렌더링 윈도우를 생성하고 윈도우 속성들을 세팅할 것을 윈도우 API(306)에 명령할 수 있다. 이어서, 윈도우 API(306)는 클라이언트 인스턴스를 생성할 것을 컴포지터(308)에 명령할 수 있다. 이어서, 컴포지터(308)는 레이어들을 계획하고, 레이어들을 로킹할 것을 컴포지터 백엔드(310)에 명령할 수 있다. 이어서, 컴포지터 백엔드(310)는 DPU 리소스들을 예비할 수 있다. 그 후에, 계획 단계가 완료될 수 있다.

[0061] 330에서, 비디오 플레이어(302)는 미디어 파이프라인(304)에 실행할 것을 명령할 수 있다. 이어서, 미디어 파이프라인(304)은 디코딩된 버퍼들을 윈도우 API(306)에 송신할 수 있다. 이어서, 윈도우 API(306)는 queueBuffer를 컴포지터(308)에 송신할 수 있다. 이어서, 수직 동기화(Vsync)(340)가 시작될 수 있다. 부가적으로, 컴포지터(308)는 컴포지터 백엔드(310)에 컴포징 할 것을 명령할 수 있다. 다음으로, 컴포지터 백엔드(310)는 로킹된 레이어 세트가 존재하는지를 결정할 수 있다. 컴포지터 백엔드(310)는 예비된 파이프들을 할당할 것을 DPU 드라이버(312)에 명령할 수 있다. 추가로, 컴포지터 백엔드(310)는 추가적인 레이어들이 있는지를 결정할 수 있다. 컴포지터 백엔드(310)는 나머지 파이프들을 할당할 뿐만 아니라 커미팅(commit)할 것을 DPU 드라이버(312)에 명령할 수 있다. 이 후, Vsync(340)가 종료될 수 있다.

[0062] 350에서, 비디오 플레이어(302)는 미디어 파이프라인(304)을 중단할 것을 명령할 수 있다. 이어서, 미디어 파이프라인(304)은 윈도우 API(306)로 디스트로이 윈도우를 송신할 수 있다. 이어서, 윈도우 API(306)는 초기화해제를 컴포지터(308)에 명령할 수 있다. 컴포지터(308)는 언로킹된 레이어들을 컴포지터 백엔드(310)로 송신할 수 있다. 이 후, 컴포지터 백엔드(310)는 DPU 리소스들을 해제(free)할 수 있다.

[0063] 본 개시내용의 양상들은 다수의 이점들 또는 장점들을 포함할 수 있다. 예를 들어, 본 개시내용의 양상들은, GPU에서의 컴포지션에 대해, HD 또는 HDR 비디오 플레이백과 같은 고가치 사용 사례들의 라우팅 또는 할당을 최소화할 수 있다. 그렇게 함으로써, 본 개시내용의 양상들은 DPU에서 컴포지션 품질 또는 전력 절감들을 개선할 수 있다. 부가적으로, 본 개시내용의 양상들은 디스플레이 프로세싱을 위한 개선된 품질 및/또는 사용자 경험을 제공할 수 있다.

[0064] 도 4는 본 개시내용의 하나 이상의 기법들에 따른 디스플레이 프로세싱의 통신 흐름도(400)를 예시한다. 도 4에 도시된 바와 같이, 다이어그램(400)은 GPU(402), 컴포지터(412) 및 컴포지터 백엔드(414)를 포함하는 DPU(410), 및 디스플레이(406)를 포함한다. DPU(410)는 컴포지터(412), 컴포지터 백엔드(414), DPU 드라이버, 및/또는 DPU 펌웨어와 같은 다수의 상이한 컴포넌트들을 포함할 수 있다.

[0065] 420에서, 컴포지터(412) 또는 컴포지터 백엔드(414)와 같은 DPU(410)는, 프레임의 하나 이상의 레이어들, 예컨대 하나 이상의 레이어들(422) 각각에 맵핑하기 위한 하나 이상의 디스플레이 오버레이 리소스들을 식별할 수 있다. 하나 이상의 디스플레이 오버레이 리소스들은 DPU, 예컨대 DPU(410)에 포함될 수 있다. 또한, 하나 이상의 레이어들, 예컨대 하나 이상의 레이어들(422)은 하나 이상의 애플리케이션 레이어들 또는 하나 이상의 시스템 UI(user interface) 레이어들 중 적어도 하나에 대응할 수 있다.

[0066] 430에서, 컴포지터(412) 또는 컴포지터 백엔드(414)와 같은 DPU(410)는, 프레임의 하나 이상의 레이어들, 예컨대 하나 이상의 레이어들(422) 각각에 대한 콘텐츠 정보, 예컨대 콘텐츠 정보(432)를 수신할 수 있다. 일부 경우들에서, 콘텐츠 정보, 예컨대 콘텐츠 정보(432)는 하나 이상의 레이어들, 예컨대 하나 이상의 레이어들(422) 각각의 하나 이상의 콘텐츠 속성들을 포함할 수 있다. 하나 이상의 콘텐츠 속성들은 콘텐츠 메타데이터, 픽셀 메타데이터, 디멘션 메타데이터, 또는 효과 메타데이터 중 적어도 하나를 포함할 수 있다.

[0067] 440에서, 컴포지터(412) 또는 컴포지터 백엔드(414)와 같은 DPU(410)는, 하나 이상의 레이어들, 예컨대 하나 이상의 레이어들(422) 각각에 대한 콘텐츠 정보, 예컨대 콘텐츠 정보(432)가 적어도 하나의 우선순위 포맷을 포함하는지 여부를 결정할 수 있다. 적어도 하나의 우선순위 포맷은 HD(high definition) 비디오, HDR(high dynamic range) 비디오, HD 비디오 플레이백, HDR 비디오 플레이백, 비디오 플레이백, 비디오 레코딩, 적어도 하나의 애플리케이션 사용 사례, 또는 적어도 하나의 두드러진 디스플레이 활동 중 적어도 하나를 포함할 수 있다. 또한, 적어도 하나의 우선순위 포맷은 우선순위 포맷 순서를 포함할 수 있고, 여기서 우선순위 포맷 순서는 구성가능하거나 조정가능할 수 있다.

[0068] 450에서, 하나 이상의 레이어들 중 적어도 하나에 대한 콘텐츠 정보, 예컨대 콘텐츠 정보(432)가 적어도 하나의 우선순위 포맷을 포함하는 경우, 컴포지터(412) 또는 컴포지터 백엔드(414)와 같은 DPU(410)는 하나 이상의 레이어들, 예컨대 하나 이상의 레이어들(422)의 우선순위 순서를 결정할 수 있다. 하나 이상의 레이어들, 예컨대 하나 이상의 레이어들(422)의 우선순위 순서는 DPU, 예컨대 DPU(410), 컴포지터, 예컨대 컴포지터(412), 컴포지터 백엔드, 예컨대 컴포지터 백엔드(414), DPU 드라이버, 또는 DPU 펌웨어 중 적어도 하나에 의해 결정될 수 있다.

[0069] 460에서, 컴포지터(412) 또는 컴포지터 백엔드(414)와 같은 DPU(410)는, 하나 이상의 레이어들의 결정된 우선순위 순서에 기반하여, 하나 이상의 레이어들, 예컨대 하나 이상의 레이어들(422) 각각에 하나 이상의 디스플레이 오버레이 리소스들 각각을 맵핑할 수 있다. 예를 들어, 하나 이상의 디스플레이 오버레이 리소스들은 우선순위 순서에 기반하여 하나 이상의 레이어들 각각에 할당될 수 있다. 하나 이상의 디스플레이 오버레이 리소스들은 하나 이상의 DPU 파이프들, 하나 이상의 DPU 엔진들, 하나 이상의 DPU 클록들, 또는 DPU 메모리 대역폭 중 적어도 하나에 대응할 수 있다. 일부 양상들에서, 하나 이상의 레이어들 모두에 대한 콘텐츠 정보, 예컨대 콘텐츠 정보(432)가 적어도 하나의 우선순위 포맷을 포함하는 않는 경우, 하나 이상의 디스플레이 오버레이 리소스들 각각은 하나 이상의 레이어들의 픽셀 우선순위들에 기반하여, 하나 이상의 레이어들, 예컨대 하나 이상의 레이어들(422) 각각에 맵핑될 수 있다. 일부 경우들에서, 하나 이상의 레이어들, 예컨대 하나 이상의 레이어들(422) 각각은 DPU, 예컨대 DPU(410)에서 맵핑된 디스플레이 오버레이 리소스에 의해 프로세싱될 수 있다.

[0070] 게다가, 하나 이상의 레이어들, 예컨대 하나 이상의 레이어들(422)은 DPU, 예컨대 DPU(410)에서 맵핑된 디스플레이 오버레이 리소스에 의해 프로세싱될 때, 디스플레이 패널, 예컨대 디스플레이(406)로 송신될 수 있다. 예컨대, DPU(410)는, 하나 이상의 레이어들(422)을 프로세싱할 때, 하나 이상의 레이어들(422)을 디스플레이 패널, 예컨대 디스플레이(406)로 송신할 수 있다. 마찬가지로, 디스플레이(406)는 DPU(410)로부터 하나 이상의 레이어들(422)을 수신할 수 있다.

[0071] 도 5는 본 개시내용의 하나 이상의 기법들에 따른 예시적인 방법의 흐름도(500)를 예시한다. 방법은 DPU(display processing unit), 컴포지터, 컴포지터 백엔드, DPU 드라이버, DPU 펌웨어, CPU, GPU, 및/또는 디스플레이 프로세싱을 수행할 수 있는 임의의 장치와 같은 장치에 의해 수행될 수 있다.

[0072] 도 3 및 도 4의 예들과 관련하여 설명된 바와 같이, 502에서, 장치는 프레임의 하나 이상의 레이어들 각각에 맵핑하기 위한 하나 이상의 디스플레이 오버레이 리소스들을 식별할 수 있으며, 여기서 하나 이상의 디스플레이 오버레이 리소스들은 DPU에 포함된다. 도 3 및 도 4의 예와 관련하여 설명된 바와 같이, 하나 이상의 레이어들은 하나 이상의 애플리케이션 레이어들 또는 하나 이상의 시스템 UI(user interface) 레이어들 중 적어도 하나에 대응할 수 있다.

[0073] 도 3 및 도 4의 예와 관련하여 설명된 바와 같이, 504에서, 장치는 프레임의 하나 이상의 레이어들 각각에 대한 콘텐츠 정보를 수신할 수 있다. 도 3 및 도 4의 예들과 관련하여 설명된 바와 같이, 일부 경우들에서, 콘텐츠 정보는 하나 이상의 레이어들 각각의 하나 이상의 콘텐츠 속성들을 포함할 수 있다. 도 3 및 도 4의 예들과 관련하여 설명된 바와 같이, 하나 이상의 콘텐츠 속성들은 콘텐츠 메타데이터, 픽셀 메타데이터, 디멘션 메타데이터, 또는 효과 메타데이터 중 적어도 하나를 포함할 수 있다.

[0074] 도 3 및 도 4의 예들과 관련하여 설명된 바와 같이, 506에서, 장치는 하나 이상의 레이어들 각각에 대한 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는지 여부를 결정할 수 있다. 도 3 및 도 4의 예들과 관련하여 설명된 바와 같이, 적어도 하나의 우선순위 포맷은, HD(high definition) 비디오, HDR(high dynamic range) 비디오, HD 비디오 플레이백, HDR 비디오 플레이백, 비디오 플레이백, 비디오 레코딩, 적어도 하나의 애플리케이션 사용 사례, 또는 적어도 하나의 두드러진 디스플레이 활동 중 적어도 하나를 포함할 수 있다. 또한, 도 3 및 도 4의 예들과 관련하여 설명된 바와 같이, 적어도 하나의 우선순위 포맷은 우선순위 포맷 순서를 포함할 수 있고, 여기서 우선순위 포맷 순서는 구성가능하거나 조정가능할 수 있다.

[0075] 도 3 및 도 4의 예들과 관련하여 설명된 바와 같이, 508에서, 하나 이상의 레이어들 중 적어도 하나의 레이어에 대한 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는 경우, 장치는 하나 이상의 레이어들의 우선순위 순서를 결정할 수 있다. 도 3 및 도 4의 예들과 관련하여 설명된 바와 같이, 하나 이상의 레이어들의 우선순위 순서는 DPU(display processing unit), 컴포지터, 컴포지터 백엔드, DPU 드라이버, 또는 DPU 펌웨어 중 적어도 하나에 의해 결정될 수 있다.

[0076] 도 3 및 도 4의 예들과 관련하여 설명된 바와 같이, 510에서, 장치는 또한 하나 이상의 레이어들의 결정된 우선순위 순서에 기반하여 하나 이상의 레이어들 각각에 하나 이상의 디스플레이 오버레이 리소스들 각각을 할당 또는 맵핑할 수 있다. 도 3 및 도 4의 예들과 관련하여 설명된 바와 같이, 하나 이상의 디스플레이 오버레이 리소스들은 하나 이상의 DPU 파이프들, 하나 이상의 DPU 엔진들, 하나 이상의 DPU 클록들, 또는 DPU 메모리 대역폭 중 적어도 하나에 대응할 수 있다. 도 3 및 도 4의 예들과 관련하여 설명된 바와 같이, 일부 양상들에서, 하나 이상의 디스플레이 오버레이 리소스들 각각은 하나 이상의 레이어들 모두에 대한 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는 않는 경우, 하나 이상의 레이어들의 픽셀 속성들에 기반하여 하나 이상의 레이어들 각각에 맵핑될 수 있다. 도 3 및 4의 예들과 관련하여 설명된 바와 같이, 일부 경우들에서, 하나 이상의 레이어들 각각은, DPU(display processing unit)에서, 맵핑된 디스플레이 오버레이 리소스에 의해 프로세싱될 수 있다. 게다가, 하나 이상의 레이어들은 도 3 및 도 4의 예들과 관련하여 설명된 바와 같이, DPU에서 맵핑된 디스플레이 오버레이 리소스들에 의해 프로세싱될 때, 디스플레이 패널로 송신될 수 있다.

[0077] 일 구성에서, 디스플레이 프로세싱을 위한 방법 또는 장치가 제공된다. 장치는 DPU, 컴포지터, 컴포지터 백엔드, DPU 드라이버, DPU 펌웨어, CPU, GPU 또는 디스플레이 프로세싱을 수행할 수 있는 일부 다른 장치 또는 프로세서일 수 있다. 일 양상에서, 장치는 디바이스(104) 내의 프로세싱 유닛(120)일 수 있거나, 디바이스(104) 또는 다른 디바이스 내의 일부 다른 하드웨어일 수 있다. 장치는 프레임의 하나 이상의 레이어들 각각에 대한 콘텐츠 정보를 수신하기 위한 수단을 포함할 수 있다. 장치는 또한 하나 이상의 레이어들 각각에 대한 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는지 여부를 결정하기 위한 수단을 포함할 수 있다. 장치는 또한 하나 이상의 레이어들 중 적어도 하나의 레이어에 대한 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는 경우, 하나 이상의 레이어들의 우선순위 순서를 결정하기 위한 수단을 포함할 수 있다. 장치는 또한 하나 이상의 레이어들의 결정된 우선순위 순서에 기반하여 하나 이상의 레이어들 각각에 하나 이상의 디스플레이 오버레이 리소스들 각각을 맵핑하기 위한 수단을 포함할 수 있다. 장치는 프레임의 하나 이상의 레이어들 각각에 맵핑하기 위한 하나 이상의 디스플레이 오버레이 리소스들을 식별하기 위한 수단을 포함할 수 있으며, 여기서 하나 이상의 디스플레이 오버레이 리소스들은 DPU(display processing unit)에 포함된다.

[0078] 본원에서 설명된 청구대상은 하나 이상의 이점들 또는 장점들을 실현하도록 구현될 수 있다. 예를 들어, 설명된 디스플레이 프로세싱 기법들은 DPU, 컴포지터, 컴포지터 백엔드, DPU 드라이버, DPU 펌웨어, CPU, GPU 또는 본원에서 설명된 오버레이 컴포지션 기법들을 구현하기 위해 디스플레이 프로세싱을 수행할 수 있는 일부 다른 장치 또는 프로세서에 의해 사용될 수 있다. 이는 또한 다른 디스플레이 프로세싱 기법들에 비해 저렴한 비용으로 달성될 수 있다. 게다가, 본원의 디스플레이 프로세싱 기법들은 디스플레이 프로세싱 또는 실행을 개선하거나 가속화할 수 있다. 추가로, 본원의 디스플레이 프로세싱 기법들은 리소스 또는 데이터 활용 및/또는 리소스 효율성을 개선할 수 있다. 부가적으로, 본 개시내용의 양상들은 전력을 절약하고, 프로세싱 시간을 개선하고, 레이턴시를 줄이고, 그리고/또는 성능 오버헤드를 줄이기 위해 오버레이 컴포지션 기법들을 활용할 수 있다.

[0079] 본 개시내용에 따르면, "또는"이라는 용어는 문맥상 달리 지시하지 않는 경우 "및/또는"으로 해석될 수 있다. 부가적으로, "하나 이상" 또는 "적어도 하나" 등과 같은 문구들이 본원에 개시된 일부 피처들에 대해 사용되었을 수 있지만, 문맥이 달리 지시하지 않는 경우 그러한 언어가 사용되지 않았던 피처들이 그러한 의미를 갖는 것으로 해석될 수 있다.

[0080] 하나 또는 그 초과의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수도 있다. 예컨대, "프로세싱 유닛"이라는 용어가 본 개시내용 전반에 걸쳐 사용되었지만, 이러한 프로세싱 유닛들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 본원에서 설명된 임의의 기능, 프로세싱 유닛, 기법, 또는 다른 모듈은 본원에서 설명된 소프트웨어, 기능, 프로세싱 유닛, 기법으로 구현될 수 있거나, 다른 모듈이 컴퓨터-판독가능 매체 상의 하나 이상의 명령들 또는 코드들에 저장되거나 이를 통해 송신될 수 있다. 컴퓨터 판독가능 매체들은, 일 장소에서 다른 장소로의 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체들을 포함한 통신 매체들 또는 컴퓨터 데이터 저장 매체들을 포함할 수 있다. 이러한 방식으로, 컴퓨터 판독가능 매체는 일반적으로 (1) 비일시적인 유형의 컴퓨터 판독가능 저장 매체 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체들은, 본 개시에 설명된 기술들의 구현을 위해 명령들, 코드 및/또는 데이터 구조들을 리트리브하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 이용가능한 매체일 수 있다. 제한이 아닌 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 기타 광학 디스크 저장소, 자기 디스크 저장소 또는 기타 자기 저장소를 포함할 수 있다. 본 명세서에서 사용된 것과 같은 디스크(disk 및 disc)는 CD(compact disc), 레이저 디스크(laser disc), 광 디스크(optical disc), DVD(digital versatile disc), 플로피 디스크(floppy disk) 및 블루레이 디스크(Blu-Ray disc)를 포함하며, 여기서 디스크(disk)들은 보통 데이터를 자기적으로 재생하는 한편, 디스크(disc)들은 데이터를 레이저들에 의해 광학적으로 재생한다. 상기한 것들의 조합들이 또한 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다. 컴퓨터 프로그램 제품은, 컴퓨터 판독가능 매체를 포함할 수 있다.

[0081] 코드는, 하나 또는 그 초과의 DSP(digital signal processor)들, 범용 마이크로프로세서들, ASIC(application specific integrated circuit)들, ALU(arithmetic logic unit)들, FPGA(field programmable logic array)들, 또는 다른 동등한 집적 또는 이산 로직 회로와 같은 하나 또는 그 초과의 프로세서들에 의해 실행될 수 있다. 따라서, 본원에서 사용된 바와 같이, “프로세서”라는 용어는, 본원에 설명된 기법들의 구현에 적합한 전술한 구조 또는 임의의 다른 구조 중 임의의 구조를 지칭할 수도 있다. 또한, 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들로 완전히 구현될 수 있다.

[0082] 본 개시내용의 기법들은, 무선 핸드셋, IC(integrated circuit) 또는 IC들의 세트, 예컨대 칩셋을 포함하는 광범위하게 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 다양한 컴포넌트들, 모듈들, 또는 유닛들은, 개시된 기법들을 수행하도록 구성된 디바이스들의 기능 양상들을 강조하기 위해 본 발명에서 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 요구할 필요는 없다. 오히려, 상술된 바와 같이, 다양한 유닛들은, 임의의 하드웨어 유닛으로 결합될 수도 있거나, 적절한 소프트웨어 및/또는 펌웨어와 함께 상술된 바와 같은 하나 또는 그 초과의 프로세서들을 포함하는 상호동작하는(interoperative) 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.

[0083] 다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 존재한다.

[0084] 다음의 양상들은 단지 예시일 뿐이며, 제한 없이, 본원에서 설명되는 다른 양상들 또는 교시들과 결합될 수 있다.

[0085] 양상 1은 디스플레이 프로세싱 방법이다. 방법은, 프레임의 하나 이상의 레이어들 각각에 대한 콘텐츠 정보를 수신하는 단계; 하나 이상의 레이어들 각각에 대한 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는지 여부를 결정하는 단계; 하나 이상의 레이어들 중 적어도 하나의 레이어에 대한 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는 경우, 하나 이상의 레이어들의 우선순위 순서를 결정하는 단계; 및 하나 이상의 레이어들의 결정된 우선순위 순서에 기반하여 하나 이상의 레이어들 각각에 하나 이상의 디스플레이 오버레이 리소스들 각각을 맵핑하는 단계를 포함한다.

[0086] 양상 2는 양상 1의 방법으로서, 하나 이상의 디스플레이 오버레이 리소스들은 하나 이상의 DPU(display processing unit) 파이프들, 하나 이상의 DPU 엔진들, 하나 이상의 DPU 클록들, 또는 DPU 메모리 대역폭 중 적어도 하나에 대응한다.

[0087] 양상 3은 양상 1 및 양상 2 중 임의의 양상의 방법으로서, 콘텐츠 정보는 하나 이상의 레이어들 각각의 하나 이사으이 콘텐츠 속성들을 포함한다.

[0088] 양상 4는 양상 1 내지 양상 3 중 임의의 양상의 방법으로서, 하나 이상의 콘텐츠 속성들은 콘텐츠 메타데이터, 픽셀 메타데이터, 디멘션 메타데이터, 또는 효과 메타데이터 중 적어도 하나를 포함할 수 있다.

[0089] 양상 5는 양상 1 내지 양상 4 중 임의의 양상의 방법으로서, 방법은 프레임의 하나 이상의 레이어들 각각에 맵핑하기 위한 하나 이상의 디스플레이 오버레이 리소스들을 식별하는 단계를 더 포함하고, 하나 이상의 디스플레이 오버레이 리소스들은 DPU(display processing unit)에 포함된다.

[0090] 양상 6은 양상 1 내지 양상 5 중 임의의 양상의 방법으로서, 적어도 하나의 우선순위 포맷은 HD(high definition) 비디오, HDR(high dynamic range) 비디오, HD 비디오 플레이백, HDR 비디오 플레이백, 비디오 플레이백, 비디오 레코딩, 적어도 하나의 애플리케이션 사용 사례, 또는 적어도 하나의 두드러진 디스플레이 활동 중 적어도 하나를 포함한다.

[0091] 양상 7은 양상 1 내지 양상 6 중 임의의 양상의 방법으로서, 하나 이상의 레이어들의 우선순위 순서는 DPU(display processing unit), 컴포지터, 컴포지터 백엔드, DPU 드라이버, 또는 DPU 펌웨어 중 적어도 하나에 의해 결정된다.

[0092] 양상 8은 양상 1 내지 양상 7 중 임의의 양상의 방법으로서, 적어도 하나의 우선순위 포맷은 우선순위 포맷 순서를 포함하고, 우선순위 포맷 순서는 구성가능하거나 조정가능하다.

[0093] 양상 9는 양상 1 내지 양상 8 중 임의의 양상의 방법으로서, 하나 이상의 레이어들은 하나 이상의 애플리케이션 레이어들 또는 하나 이상의 시스템 UI(user interface) 레이어들 중 적어도 하나에 대응한다.

[0094] 양상 10은 양상 1 내지 양상 9 중 임의의 양상의 방법으로서, 하나 이상의 디스플레이 오버레이 리소스들 각각은 하나 이상의 레이어들 모두에 대한 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는 않는 경우, 하나 이상의 레이어들의 픽셀 속성들에 기반하여 하나 이상의 레이어들 각각에 맵핑된다.

[0095] 양상 11은 양상 1 내지 양상 10 중 임의의 양상의 방법으로서, 하나 이상의 레이어들 각각은 DPU(display processing unit)에서, 맵핑된 디스플레이 오버레이 리소스에 의해 프로세싱된다.

[0096] 양상 12는 양상 1 내지 양상 11 중 임의의 양상의 방법으로서, 하나 이상의 레이어들은, DPU에서, 맵핑된 디스플레이 오버레이 리소스에 의해 프로세싱될 때, 디스플레이 패널로 송신된다.

[0097] 양상 13은 양상 1 내지 양상 12 중 임의의 양상에서와 같은 방법을 구현하기 위한 수단을 포함하는 디스플레이 프로세싱을 위한 장치이다.

[0098] 양상 14는, 메모리에 커플링되며 양상 1 내지 양상 12 중 임의의 양상에서와 같은 방법을 구현하도록 구성된 적어도 하나의 프로세서를 포함하는 디스플레이 프로세싱을 위한 장치이다.

[0099] 양상 15는 컴퓨터 실행가능 코드를 저장하는 컴퓨터-판독가능 매체이고, 코드는 프로세서에 의해 실행될 때, 프로세서로 하여금 양상 1 내지 양상 12 중 임의의 양상에서와 같은 방법을 구현하게 한다.

Claims

디스플레이 프로세싱 방법으로서,
프레임의 하나 이상의 레이어들 각각에 대한 콘텐츠 정보를 수신하는 단계;
상기 하나 이상의 레이어들 각각에 대한 상기 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는지 여부를 결정하는 단계;
상기 하나 이상의 레이어들 중 적어도 하나의 레이어에 대한 상기 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는 경우, 상기 하나 이상의 레이어들의 우선순위 순서를 결정하는 단계; 및
상기 하나 이상의 레이어들의 결정된 우선순위 순서에 기반하여 상기 하나 이상의 레이어들 각각에 하나 이상의 디스플레이 오버레이 리소스들 각각을 맵핑하는 단계를 포함하는,
디스플레이 프로세싱 방법.
제1 항에 있어서,
상기 하나 이상의 디스플레이 오버레이 리소스들은 하나 이상의 DPU(display processing unit) 파이프들, 하나 이상의 DPU 엔진들, 하나 이상의 DPU 클록들, 또는 DPU 메모리 대역폭 중 적어도 하나에 대응하는,
디스플레이 프로세싱 방법.
제1 항에 있어서,
상기 콘텐츠 정보는 상기 하나 이상의 레이어들 각각의 하나 이상의 콘텐츠 속성들을 포함하는,
디스플레이 프로세싱 방법.
제3 항에 있어서,
상기 하나 이상의 콘텐츠 속성들은 콘텐츠 메타데이터, 픽셀 메타데이터, 디멘션(dimension) 메타데이터, 또는 효과(effects) 메타데이터 중 적어도 하나를 포함하는,
디스플레이 프로세싱 방법.
제1 항에 있어서,
상기 프레임의 하나 이상의 레이어들 각각에 맵핑하기 위한 상기 하나 이상의 디스플레이 오버레이 리소스들을 식별하는 단계를 더 포함하고, 상기 하나 이상의 디스플레이 오버레이 리소스들은 DPU(display processing unit)에 포함되는,
디스플레이 프로세싱 방법.
제1 항에 있어서,
상기 적어도 하나의 우선순위 포맷은 HD(high definition) 비디오, HDR(high dynamic range) 비디오, HD 비디오 플레이백, HDR 비디오 플레이백, 비디오 플레이백, 비디오 레코딩, 적어도 하나의 애플리케이션 사용 사례(use case), 또는 적어도 하나의 두드러진 디스플레이 활동 중 적어도 하나를 포함하는,
디스플레이 프로세싱 방법.
제1 항에 있어서,
상기 하나 이상의 레이어들의 우선순위 순서는 DPU(display processing unit), 컴포지터, 컴포지터 백엔드, DPU 드라이버, 또는 DPU 펌웨어 중 적어도 하나에 의해 결정되는,
디스플레이 프로세싱 방법.
제1 항에 있어서,
상기 적어도 하나의 우선순위 포맷은 우선순위 포맷 순서를 포함하고, 상기 우선순위 포맷 순서는 구성가능하거나 조정가능한,
디스플레이 프로세싱 방법.
제1 항에 있어서,
상기 하나 이상의 레이어들은 하나 이상의 애플리케이션 레이어들 또는 하나 이상의 시스템 UI(user interface) 레이어들 중 적어도 하나에 대응하는,
디스플레이 프로세싱 방법.
제1 항에 있어서,
상기 하나 이상의 디스플레이 오버레이 리소스들 각각은 상기 하나 이상의 레이어들 모두에 대한 상기 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는 않는 경우, 상기 하나 이상의 레이어들의 픽셀 속성들에 기반하여 상기 하나 이상의 레이어들 각각에 맵핑되는,
디스플레이 프로세싱 방법.
제1 항에 있어서,
상기 하나 이상의 레이어들 각각은 DPU(display processing unit)에서 상기 맵핑된 디스플레이 오버레이 리소스에 의해 프로세싱되는,
디스플레이 프로세싱 방법.
제11 항에 있어서,
상기 하나 이상의 레이어들은, 상기 DPU에서 상기 맵핑된 디스플레이 오버레이 리소스에 의해 프로세싱될 때, 디스플레이 패널로 송신되는,
디스플레이 프로세싱 방법.
디스플레이 프로세싱을 위한 장치로서,
메모리; 및
상기 메모리에 커플링된 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
프레임의 하나 이상의 레이어들 각각에 대한 콘텐츠 정보를 수신하고;
상기 하나 이상의 레이어들 각각에 대한 상기 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는지 여부를 결정하고;
상기 하나 이상의 레이어들 중 적어도 하나의 레이어에 대한 상기 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는 경우, 상기 하나 이상의 레이어들의 우선순위 순서를 결정하고; 그리고
상기 하나 이상의 레이어들의 결정된 우선순위 순서에 기반하여 상기 하나 이상의 레이어들 각각에 하나 이상의 디스플레이 오버레이 리소스들 각각을 맵핑하도록 구성되는,
디스플레이 프로세싱을 위한 장치.
제13 항에 있어서,
상기 하나 이상의 디스플레이 오버레이 리소스들은 하나 이상의 DPU(display processing unit) 파이프들, 하나 이상의 DPU 엔진들, 하나 이상의 DPU 클록들, 또는 DPU 메모리 대역폭 중 적어도 하나에 대응하는,
디스플레이 프로세싱을 위한 장치.
제13 항에 있어서,
상기 콘텐츠 정보는 상기 하나 이상의 레이어들 각각의 하나 이상의 콘텐츠 속성들을 포함하는,
디스플레이 프로세싱을 위한 장치.
제15 항에 있어서,
상기 하나 이상의 콘텐츠 속성들은 콘텐츠 메타데이터, 픽셀 메타데이터, 디멘션 메타데이터, 또는 효과 메타데이터 중 적어도 하나를 포함하는,
디스플레이 프로세싱을 위한 장치.
제13 항에 있어서,
상기 적어도 하나의 프로세서는:
상기 프레임의 하나 이상의 레이어들 각각에 맵핑하기 위한 상기 하나 이상의 디스플레이 오버레이 리소스들을 식별하도록 추가로 구성되고, 상기 하나 이상의 디스플레이 오버레이 리소스들은 DPU(display processing unit)에 포함되는,
디스플레이 프로세싱 방법.
제13 항에 있어서,
상기 적어도 하나의 우선순위 포맷은 HD(high definition) 비디오, HDR(high dynamic range) 비디오, HD 비디오 플레이백, HDR 비디오 플레이백, 비디오 플레이백, 비디오 레코딩, 적어도 하나의 애플리케이션 사용 사례, 또는 적어도 하나의 두드러진 디스플레이 활동 중 적어도 하나를 포함하는,
디스플레이 프로세싱 방법.
제13 항에 있어서,
상기 하나 이상의 레이어들의 우선순위 순서는 DPU(display processing unit), 컴포지터, 컴포지터 백엔드, DPU 드라이버, 또는 DPU 펌웨어 중 적어도 하나에 의해 결정되는,
디스플레이 프로세싱 방법.
제13 항에 있어서,
상기 적어도 하나의 우선순위 포맷은 우선순위 포맷 순서를 포함하고, 상기 우선순위 포맷 순서는 구성가능하거나 조정가능한,
디스플레이 프로세싱 방법.
제13 항에 있어서,
상기 하나 이상의 레이어들은 하나 이상의 애플리케이션 레이어들 또는 하나 이상의 시스템 UI(user interface) 레이어들 중 적어도 하나에 대응하는,
디스플레이 프로세싱 방법.
제13 항에 있어서,
상기 하나 이상의 디스플레이 오버레이 리소스들 각각은 상기 하나 이상의 레이어들 모두에 대한 상기 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는 않는 경우, 상기 하나 이상의 레이어들의 픽셀 속성들에 기반하여 상기 하나 이상의 레이어들 각각에 맵핑되는,
디스플레이 프로세싱 방법.
제13 항에 있어서,
상기 하나 이상의 레이어들 각각은 DPU(display processing unit)에서 상기 맵핑된 디스플레이 오버레이 리소스에 의해 프로세싱되는,
디스플레이 프로세싱 방법.
제23 항에 있어서,
상기 하나 이상의 레이어들은, 상기 DPU에서 상기 맵핑된 디스플레이 오버레이 리소스에 의해 프로세싱될 때, 디스플레이 패널로 송신되는,
디스플레이 프로세싱 방법.
디스플레이 프로세싱을 위한 장치로서,
프레임의 하나 이상의 레이어들 각각에 대한 콘텐츠 정보를 수신하기 위한 수단;
상기 하나 이상의 레이어들 각각에 대한 상기 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는지 여부를 결정하기 위한 수단;
상기 하나 이상의 레이어들 중 적어도 하나의 레이어에 대한 상기 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는 경우, 상기 하나 이상의 레이어들의 우선순위 순서를 결정하기 위한 수단; 및
상기 하나 이상의 레이어들의 결정된 우선순위 순서에 기반하여 상기 하나 이상의 레이어들 각각에 하나 이상의 디스플레이 오버레이 리소스들 각각을 맵핑하기 위한 수단을 포함하는,
디스플레이 프로세싱을 위한 장치.
제25 항에 있어서,
상기 하나 이상의 디스플레이 오버레이 리소스들은 하나 이상의 DPU(display processing unit) 파이프들, 하나 이상의 DPU 엔진들, 하나 이상의 DPU 클록들, 또는 DPU 메모리 대역폭 중 적어도 하나에 대응하는,
디스플레이 프로세싱을 위한 장치.
제25 항에 있어서,
상기 콘텐츠 정보는 상기 하나 이상의 레이어들 각각의 하나 이상의 콘텐츠 속성들을 포함하는,
디스플레이 프로세싱을 위한 장치.
제27 항에 있어서,
상기 하나 이상의 콘텐츠 속성들은 콘텐츠 메타데이터, 픽셀 메타데이터, 디멘션 메타데이터, 또는 효과 메타데이터 중 적어도 하나를 포함하는,
디스플레이 프로세싱을 위한 장치.
제25 항에 있어서,
상기 프레임의 하나 이상의 레이어들 각각에 맵핑하기 위한 상기 하나 이상의 디스플레이 오버레이 리소스들을 식별하기 위한 수단을 더 포함하고, 상기 하나 이상의 디스플레이 오버레이 리소스들은 DPU(display processing unit)에 포함되는,
디스플레이 프로세싱을 위한 장치.
제25 항에 있어서,
상기 적어도 하나의 우선순위 포맷은 HD(high definition) 비디오, HDR(high dynamic range) 비디오, HD 비디오 플레이백, HDR 비디오 플레이백, 비디오 플레이백, 비디오 레코딩, 적어도 하나의 애플리케이션 사용 사례, 또는 적어도 하나의 두드러진 디스플레이 활동 중 적어도 하나를 포함하는,
디스플레이 프로세싱을 위한 장치.
제25 항에 있어서,
상기 하나 이상의 레이어들의 우선순위 순서는 DPU(display processing unit), 컴포지터, 컴포지터 백엔드, DPU 드라이버, 또는 DPU 펌웨어 중 적어도 하나에 의해 결정되는,
디스플레이 프로세싱을 위한 장치.
제25 항에 있어서,
상기 적어도 하나의 우선순위 포맷은 우선순위 포맷 순서를 포함하고, 상기 우선순위 포맷 순서는 구성가능하거나 조정가능한,
디스플레이 프로세싱을 위한 장치.
제25 항에 있어서,
상기 하나 이상의 레이어들은 하나 이상의 애플리케이션 레이어들 또는 하나 이상의 시스템 UI(user interface) 레이어들 중 적어도 하나에 대응하는,
디스플레이 프로세싱을 위한 장치.
제25 항에 있어서,
상기 하나 이상의 디스플레이 오버레이 리소스들 각각은 상기 하나 이상의 레이어들 모두에 대한 상기 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는 않는 경우, 상기 하나 이상의 레이어들의 픽셀 속성들에 기반하여 상기 하나 이상의 레이어들 각각에 맵핑되는,
디스플레이 프로세싱을 위한 장치.
제25 항에 있어서,
상기 하나 이상의 레이어들 각각은 DPU(display processing unit)에서 상기 맵핑된 디스플레이 오버레이 리소스에 의해 프로세싱되는,
디스플레이 프로세싱을 위한 장치.
제35 항에 있어서,
상기 하나 이상의 레이어들은, 상기 DPU에서 상기 맵핑된 디스플레이 오버레이 리소스에 의해 프로세싱될 때, 디스플레이 패널로 송신되는,
디스플레이 프로세싱을 위한 장치.
디스플레이 프로세싱을 위한 컴퓨터 실행가능 코드를 저장하는 컴퓨터-판독가능 저장 매체로서,
상기 코드는 프로세서에 의해 실행될 때, 상기 프로세서로 하여금,
프레임의 하나 이상의 레이어들 각각에 대한 콘텐츠 정보를 수신하게 하고;
상기 하나 이상의 레이어들 각각에 대한 상기 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는지 여부를 결정하게 하고;
상기 하나 이상의 레이어들 중 적어도 하나의 레이어에 대한 상기 콘텐츠 정보가 적어도 하나의 우선순위 포맷을 포함하는 경우, 상기 하나 이상의 레이어들의 우선순위 순서를 결정하게 하고; 그리고
상기 하나 이상의 레이어들의 결정된 우선순위 순서에 기반하여 상기 하나 이상의 레이어들 각각에 하나 이상의 디스플레이 오버레이 리소스들 각각을 맵핑하게 하는,
컴퓨터-판독가능 저장 매체.