KR20230084153A

KR20230084153A - 복수의 프레임들을 사용한 히스토그램 기반 및 적응적 톤 매핑을 위한 방법들 및 장치

Info

Publication number: KR20230084153A
Application number: KR1020237011208A
Authority: KR
Inventors: 민 리; 이케 이키잔; 수딥 라비 코틸링갈; 고피크리쉬나이아 안단단
Original assignee: 퀄컴 인코포레이티드
Priority date: 2020-10-07
Filing date: 2021-09-09
Publication date: 2023-06-12
Also published as: WO2022076125A1; CN116406504A; US11769234B2; BR112023005822A2; EP4226615A1; TW202218418A; US20220108429A1

Abstract

본 개시는 장치, 예를 들어 비디오 또는 프레임 프로세서를 포함하는 비디오 또는 프레임 프로세싱을 위한 방법들 및 디바이스들에 관한 것이다. 일부 양태들에서, 장치는 복수의 프레임들을 포함하는 비디오 스트림을 수신할 수도 있으며, 복수의 프레임들의 각각은 휘도 정보를 포함한다. 장치는 또한, 복수의 프레임들의 각각에 대한 휘도 정보에 대해 히스토그램 분석을 수행할 수도 있다. 추가로, 장치는 복수의 프레임들의 각각에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 큰지 여부를 결정할 수도 있다. 장치는 또한, 프레임에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 클 때, 프레임에 대한 휘도 정보에 기초하여, 업데이트된 톤 매핑 구성을 계산할 수도 있다.

Description

복수의 프레임들을 사용한 히스토그램 기반 및 적응적 톤 매핑을 위한 방법들 및 장치

관련 출원에 대한 상호 참조

본 출원은 "METHODS AND APPARATUS FOR HISTOGRAM BASED TONE MAPPING"이라는 제목으로 2020년 10월 7일자 출원된 미국 특허 출원 제17/065,334호의 이익을 주장하며, 이는 그 전체가 본원에 참조에 의해 명시적으로 통합된다.

기술 분야

본 개시는 일반적으로 프로세싱 시스템에 관한 것으로, 보다 구체적으로는 비디오 또는 프레임 프로세싱을 위한 하나 이상의 기법들에 관한 것이다.

컴퓨팅 디바이스들은 종종 그래픽 프로세싱 유닛(GPU)을 활용하여, 디스플레이를 위한 그래픽 데이터의 렌더링(rendering)을 가속화한다. 이러한 컴퓨팅 디바이스들은 예를 들어, 컴퓨터 워크스테이션들, 이른바 스마트 폰들과 같은 모바일 폰들, 임베디드 시스템들, 개인용 컴퓨터들, 태블릿 컴퓨터들, 및 비디오 게임 콘솔들을 포함할 수도 있다. GPU들은, 그래픽 프로세싱 커맨드들을 실행하고 프레임을 출력하기 위해 함께 운용되는 하나 이상의 프로세싱 스테이지들을 포함하는 그래픽 프로세싱 파이프라인을 실행한다. 중앙 프로세싱 유닛(CPU)은 하나 이상의 그래픽 프로세싱 커맨드들을 GPU에 발행함으로써 GPU의 동작을 제어할 수도 있다. 현대의 CPU들은 통상적으로 다수의 애플리케이션들을 동시에 실행할 수 있으며, 그 각각은 실행 동안 GPU를 활용할 필요가 있을 수도 있다. 디스플레이 상에서의 시각적 프리젠테이션을 위한 콘텐츠를 제공하는 디바이스는 일반적으로 GPU를 포함한다.

통상적으로, 디바이스의 GPU는 그래픽 프로세싱 파이프라인에서 프로세스들을 수행하도록 구성된다. 그러나, 무선 통신 및 더 작은, 핸드헬드 디바이스들의 출현으로, 개선된 그래픽 프로세싱에 대한 필요가 증가하였다.

다음은 하나 이상의 양태들의 기본적인 이해를 제공하기 위해 그러한 양태들의 단순화된 개요를 제시한다. 이 개요는 모든 고려된 양태들의 광범위한 개관이 아니며, 모든 양태들의 핵심 엘리먼트들을 식별하도록 의도된 것도 아니고 임의의 또는 모든 양태들의 범위를 기술하도록 의도된 것도 아니다. 그의 유일한 목적은, 이후에 제시되는 보다 상세한 설명에 대한 도입부로서 간략화된 형태로 하나 이상의 양태들의 일부 개념들을 제시하는 것이다.

본 개시의 양태에서, 방법, 컴퓨터 판독가능 매체, 및 장치가 제공된다. 장치는 비디오 프로세서, 프레임 프로세서, 비디오 디코더, 비디오 프로세싱 하드웨어, 비디오 프로세싱 소프트웨어, 디스플레이 프로세싱 유닛(DPU), 히스토그램, 및/또는 비디오 또는 프레임 프로세싱을 수행할 수 있는 임의의 장치일 수도 있다. 장치는 복수의 프레임들을 포함하는 비디오 스트림을 수신할 수도 있으며, 복수의 프레임들의 각각은 휘도(luminance) 정보를 포함한다. 장치는 또한 복수의 프레임들의 각각에 대한 휘도 정보를 메모리, 동적 랜덤 액세스 메모리(DRAM), 또는 캐시 중 적어도 하나에 저장할 수도 있다. 또한, 장치는 복수의 프레임들의 각각에 대한 휘도 정보에 대해 히스토그램 분석을 수행할 수도 있다. 추가적으로, 장치는 복수의 프레임들의 각각에 대해 휘도 정보의 평균 휘도 또는 휘도 정보의 피크 휘도 중 적어도 하나를 계산할 수도 있다. 장치는 또한, 복수의 프레임들의 각각에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치(perceptual threshold)보다 큰지 여부를 결정할 수도 있다. 장치는 또한, 복수의 프레임들의 각각에 대한 평균 휘도 또는 피크 휘도 중 적어도 하나를 지각적으로 균일한 도메인으로 컨버팅(converting)할 수도 있다. 더욱이, 장치는 프레임에 대한 평균 휘도 또는 피크 휘도 중 적어도 하나와 현재 휘도 분포의 평균 휘도 또는 현재 휘도 분포의 피크 휘도 중 적어도 하나 사이의 비교를 수행할 수도 있다. 장치는 또한, 프레임에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 클 때, 프레임에 대한 휘도 정보에 기초하여, 업데이트된 톤 매핑(tone mapping) 구성을 계산할 수도 있다. 장치는 또한, 프레임에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 작거나 동일할 때, 업데이트된 톤 매핑 구성을 계산하는 것을 스킵할 수도 있다.

본 개시의 하나 이상의 예들의 상세들이 첨부 도면들 및 이하의 설명에 제시된다. 본 개시의 다른 특징들, 목적들 및 이점들은 설명 및 도면들로부터, 그리고 청구항들로부터 명백해질 것이다.

도 1은 본 개시의 하나 이상의 기법들에 따른 예시적인 콘텐츠 생성 시스템을 예시하는 블록도이다.
도 2는 본 개시의 하나 이상의 기법들에 따른 예시적인 GPU를 예시한다.
도 3a 내지 도 3c는 본 개시의 하나 이상의 기법들에 따른 입력 장면 밝기 대 디스플레이 밝기를 예시하는 예시적인 그래프들을 예시한다.
도 4는 본 개시의 하나 이상의 기법들에 따른 디스플레이 프로세싱 컴포넌트들의 예시적인 도면을 예시한다.
도 5는 본 개시의 하나 이상의 기법들에 따른 시간 필터(temporal filter) 프로세싱의 예시적인 도면을 예시한다.
도 6은 본 개시의 하나 이상의 기법들에 따른 피크 차이 대 적응성 컴포넌트를 예시하는 예시적인 그래프를 예시한다.
도 7은 본 개시의 하나 이상의 기법들에 따른 예시적인 방법의 예시적인 흐름도를 예시한다.

비디오 프로세싱의 일부 양태들은, 각각의 장면에 대해 맞춤화된 톤 매핑 곡선들을 활용할 수 있는, 동적 메타데이터 또는 동적 톤 매핑을 포함할 수 있다. 동적 메타데이터는 특정 타입들의 콘텐츠, 예를 들어 HDR(high dynamic range) 콘텐츠 또는 HDR10+로 사용될 수 있다. 또한, 동적 메타데이터는 고정된 톤 매핑을 사용하는 것과 같이, 이미지를 디스플레이로 컨버팅하는 품질을 손상시키는 것을 회피하는 데 도움이 될 수 있다. 장면이 강한 하이라이트들을 포함하지 않고 디스플레이의 동적 범위(dynamic range) 내에 들어맞는 경우, 톤 압축은 회피되고 창작 의도(creative intent)가 충실하게 재현(reproduce)될 수 있다. 입력 콘텐츠의 동적 범위가 확장됨에 따라, 톤 매핑 곡선들은 장면 통계 및/또는 디스플레이 패널 능력들에 기초하여 최적의 렌더링을 위해 적응될 수도 있다. 동적 메타데이터는, 낮은 동적 범위를 포함하는 패널들을 사용하더라도, 창작 의도를 최적으로 보존하는 데 도움이 될 수 있다. 특정 타입들의 콘텐츠, 예컨대 HDR10+는 각각의 프레임 또는 장면을 위한 휘도 분포에 대한 정보를 제공하는 메타데이터를 포함할 수도 있다. 그러나, 동적 메타데이터의 상기 언급된 이익들은 동적 메타데이터가 없는 콘텐츠, 예컨대 HDR10 콘텐츠에 대해 존재하지 않을 수도 있다. 이러한 타입의 콘텐츠는 정적 메타데이터를 포함할 수도 있다. 본 개시의 양태들은 모든 타입들의 디스플레이 콘텐츠를 위한 동적 메타데이터 기반 품질을 제공할 수 있다. 예를 들어, 본 개시의 양태들은 동적 메타데이터 없는 콘텐츠를 위한 동적 메타데이터 기반 품질을 제공할 수도 있다. 또한, 본 개시의 양태들은 비디오 재생(playback) 프로세스 동안 메타데이터를 동적으로 생성할 수 있다. 그렇게 하기 위해, 본 개시의 양태들은 히스토그램 분석을 사용하여 비디오 재생 동안 동적으로 생성된 메타데이터를 포함할 수도 있다.

시스템들, 장치들, 컴퓨터 프로그램 제품들, 및 방법들의 다양한 양태들은 첨부 도면들을 참조하여 이하에서 보다 충분하게 설명된다. 그러나, 본 개시는 많은 상이한 형태들로 구현될 수도 있고 본 개시의 전반에 걸쳐 제시된 임의의 특정 구조 또는 기능으로 한정되는 것으로 해석되지 않아야 한다. 오히려, 이들 양태들은 본 개시가 철저하고 완전하게 되고 당업자에게 본 개시의 범위를 충분하게 전달하도록 제공된다. 본 명세서에서의 교시들에 기초하여 당업자는, 본 개시의 범위가 본 개시의 다른 양태들과 독립적으로 구현되든 또는 그와 조합하여 구현되든, 본 명세서에서 개시된 시스템들, 장치들, 컴퓨터 프로그램 제품들, 및 방법들의 임의의 양태를 커버하도록 의도됨을 이해할 것이다. 예를 들어, 본 명세서에서 제시된 임의의 수의 양태들을 사용하여 장치가 구현될 수도 있거나 방법이 실시될 수도 있다. 또한, 본 개시의 범위는 본 명세서에 제시된 본 개시의 다양한 양태들에 더하여 또는 그 외로 다른 구조, 기능성, 또는 구조 및 기능성을 사용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 본 명세서에 개시된 임의의 양태는 청구항의 하나 이상의 엘리먼트들에 의해 구현될 수도 있다.

다양한 양태들이 본 명세서에서 설명되지만, 이들 양태들의 많은 변형들 및 치환들이 본 개시의 범위 내에 속한다. 본 개시의 양태들의 일부 잠재적인 이익들 및 이점들이 언급되지만, 본 개시의 범위는 특정 이익들, 사용들, 또는 목적들로 한정되도록 의도되지 않는다. 오히려, 본 개시의 양태들은 상이한 무선 기술들, 시스템 구성들, 네트워크들, 및 송신 프로토콜들에 폭넓게 적용가능하도록 의도되며, 이들 중 일부가 도면들 및 다음의 설명에서 예로서 예시된다. 상세한 설명 및 도면들은 본 개시의 한정이라기 보다는 단지 예시하는 것이며, 본 개시의 범위는 첨부된 청구항들 및 그 등가물들에 의해 정의된다.

다양한 장치 및 방법들을 참조하여 여러 양태들이 제시된다. 이들 장치 및 방법들은 다양한 블록들, 컴포넌트들, 회로들, 프로세스들, 알고리즘들 등("엘리먼트들"로 총칭됨)에 의해 다음의 상세한 설명에서 설명되며 첨부 도면들에서 예시된다. 이들 엘리먼트들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들의 임의의 조합을 사용하여 구현될 수도 있다. 이러한 엘리먼트들이 하드웨어로서 구현되는지 또는 소프트웨어로서 구현되는지는, 시스템 전반에 부과된 설계 제약들 및 특정 애플리케이션에 의존한다.

예로서, 엘리먼트, 또는 엘리먼트의 임의의 부분, 또는 엘리먼트들의 임의의 조합은 (프로세싱 유닛들로도 지칭될 수도 있는) 하나 이상의 프로세서들을 포함하는 "프로세싱 시스템"으로서 구현될 수도 있다. 프로세서들의 예들은, 마이크로프로세서들, 마이크로제어기들, 그래픽 프로세싱 유닛(GPU)들, 범용 GPU(GPGPU)들, 중앙 프로세싱 유닛(CPU)들, 애플리케이션 프로세서들, 디지털 신호 프로세서(DSP)들, 축소 명령어 집합 컴퓨팅(RISC) 프로세서들, 시스템 온 칩(SOC)들, 기저대역 프로세서들, 주문형 집적회로(ASIC)들, 필드 프로그래밍가능 게이트 어레이(FPGA)들, 프로그래밍가능 로직 디바이스(PLD)들, 스테이트 머신들, 게이티드 로직, 이산 하드웨어 회로들, 및 본 개시 전반에 걸쳐 설명되는 다양한 기능성을 수행하도록 구성된 다른 적합한 하드웨어를 포함한다. 프로세싱 시스템에서의 하나 이상의 프로세서들은 소프트웨어를 실행할 수도 있다. 소프트웨어는 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 디스크립션 언어, 또는 달리 지칭되든 간에, 명령들, 명령 세트들, 코드, 코드 세그먼트들, 프로그램 코드, 프로그램들, 서브프로그램들, 소프트웨어 컴포넌트들, 애플리케이션들, 소프트웨어 애플리케이션들, 소프트웨어 패키지들, 루틴들, 서브루틴들, 오브젝트들, 실행가능물들, 실행 스레드들, 절차들, 기능들 등을 의미하도록 폭넓게 해석될 수 있다. 애플리케이션이라는 용어는 소프트웨어를 지칭할 수도 있다. 본 명세서에서 설명된 바와 같이, 하나 이상의 기법들은 하나 이상의 기능들을 수행하도록 구성되는 애플리케이션, 즉 소프트웨어를 지칭할 수도 있다. 그러한 예들에서, 애플리케이션은 메모리, 예컨대 프로세서의 온 칩(on-chip) 메모리, 시스템 메모리, 또는 임의의 다른 메모리 상에 저장될 수도 있다. 프로세서와 같은, 본 명세서에 설명된 하드웨어는 애플리케이션을 실행하도록 구성될 수도 있다. 예를 들면 애플리케이션은, 하드웨어에 의해 실행될 때 하드웨어로 하여금 본 명세서에서 설명된 하나 이상의 기법들을 수행하게 하는 코드를 포함하는 것으로서 설명될 수도 있다. 예로서, 하드웨어는 메모리로부터의 코드에 액세스하고 메모리로부터 액세스된 코드를 실행하여 본 명세서에서 설명된 하나 이상의 기법들을 수행할 수도 있다. 일부 예들에서, 컴포넌트들이 본 개시에서 식별된다. 그러한 예들에서, 컴포넌트들은 하드웨어, 소프트웨어, 또는 이들의 조합일 수도 있다. 컴포넌트들은 별개의 컴포넌트들, 또는 단일 컴포넌트의 서브컴포넌트들일 수도 있다.

이에 따라, 본 명세서에 설명된 하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 소프트웨어에서 구현되는 경우, 기능들은 컴퓨터 판독가능 매체 상의 하나 이상의 명령들 또는 코드로서 저장되거나 또는 인코딩될 수도 있다. 컴퓨터 판독가능 매체들은 컴퓨터 저장 매체들을 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 한정이 아닌 예로서, 이러한 컴퓨터 판독가능 매체들은 랜덤 액세스 메모리(RAM), 판독전용 메모리(ROM), 전기적으로 소거가능한 프로그래밍가능 ROM(EEPROM), 광학 디스크 스토리지, 자기 디스크 스토리지, 다른 자기 저장 디바이스들, 상기 언급된 타입들의 컴퓨터 판독가능 매체들의 조합, 또는 컴퓨터에 의해 액세스될 수 있는 명령들 또는 데이터 구조들의 형태로 컴퓨터 실행가능 코드를 저장하는데 사용될 수 있는 임의의 다른 매체를 포함할 수도 있다.

일반적으로, 본 개시는 단일의 디바이스 또는 다수의 디바이스들에서 그래픽 프로세싱 파이프라인을 갖는 것, 그래픽 콘텐츠의 렌더링을 개선시키는 것 및/또는 프로세싱 유닛, 즉 본 명세서에서 설명된 하나 이상의 기법들을 수행하도록 구성된 임의의 프로세싱 유닛, 이를테면 GPU의 부하를 감소시키는 것을 위한 기법들을 설명한다. 예를 들어, 본 개시는 그래픽 프로세싱을 활용하는 임의의 디바이스에서의 그래픽 프로세싱을 위한 기법들을 설명한다. 다른 예시적인 이익들이 본 개시 전반에 걸쳐 설명된다.

본 명세서에 사용된 바와 같이, 용어 "콘텐츠"의 인스턴스들은 "그래픽 콘텐츠", "이미지"를 지칭할 수도 있으며, 그 역 또한 마찬가지이다. 이는, 용어들이 형용사, 명사 또는 다른 품사들로서 사용되고 있는지에 관계없이 해당된다. 일부 예들에서, 본 명세서에서 사용된 바와 같이, 용어 "그래픽 콘텐츠"는 그래픽 프로세싱 파이프라인의 하나 이상의 프로세스들에 의해 생성된 콘텐츠를 지칭할 수도 있다. 일부 예들에서, 본 명세서에서 사용되는 바와 같이, 용어 "그래픽 콘텐츠" 는 그래픽 프로세싱을 수행하도록 구성된 프로세싱 유닛에 의해 생성된 콘텐츠를 지칭할 수도 있다. 일부 예들에서, 본 명세서에서 사용되는 바와 같이, 용어 "그래픽 콘텐츠"는 그래픽 프로세싱 유닛에 의해 생성된 콘텐츠를 지칭할 수도 있다.

일부 예들에서, 본 명세서에서 사용되는 바와 같이, 용어 "디스플레이 콘텐츠"는 디스플레 프로세싱을 수행하도록 구성된 프로세싱 유닛에 의해 생성된 콘텐츠를 지칭할 수도 있다. 일부 예들에서, 본 명세서에서 사용되는 바와 같이, 용어 "디스플레이 콘텐츠"는 디스플레이 프로세싱 유닛에 의해 생성된 콘텐츠를 지칭할 수도 있다. 그래픽 콘텐츠는 디스플레이 콘텐츠가 되도록 프로세싱될 수도 있다. 예를 들어, 그래픽 프로세싱 유닛은 프레임과 같은 그래픽 콘텐츠를 버퍼(프레임버퍼로 지칭될 수도 있음)에 출력할 수도 있다. 디스플레이 프로세싱 유닛은 버퍼로부터의, 하나 이상의 프레임들과 같은, 그래픽 콘텐츠를 판독할 수도 있고, 그에 대해 하나 이상의 디스플레이 프로세싱 기법들을 수행하여 디스플레이 콘텐츠를 생성할 수도 있다. 예를 들어, 디스플레이 프로세싱 유닛은 프레임을 생성하기 위해 하나 이상의 렌더링된 레이어들에 대해 컴포지션(composition)을 수행하도록 구성될 수도 있다. 다른 예로서, 디스플레이 프로세싱 유닛은 둘 이상의 레이어들을 함께 단일 프레임으로 합성(composing), 블렌딩, 또는 달리 결합하도록 구성될 수도 있다. 디스플레이 프로세싱 유닛은 프레임에 대해 스케일링, 예컨대 업스케일링 또는 다운스케일링을 수행하도록 구성될 수도 있다. 일부 예들에서, 프레임은 계층을 지칭할 수도 있다. 다른 예들에서, 프레임은 프레임을 형성하도록 이미 함께 블렌딩된 둘 이상의 계층들을 지칭할 수도 있으며, 즉 프레임은 둘 이상의 계층들을 포함하고, 둘 이상의 계층들을 포함하는 프레임이 후속적으로 블렌딩될 수도 있다.

도 1은 본 개시의 하나 이상의 기법들을 구현하도록 구성된 예시적인 콘텐츠 생성 시스템(100)을 예시하는 블록도이다. 콘텐츠 생성 시스템(100)은 디바이스(104)를 포함한다. 디바이스(104)는 본 명세서에서 설명된 다양한 기능들을 수행하기 위한 하나 이상의 컴포넌트들 또는 회로들을 포함할 수도 있다. 일부 예들에서, 디바이스(104)의 하나 이상의 컴포넌트들은 SOC의 컴포넌트들일 수도 있다. 디바이스(104)는 본 개시의 하나 이상의 기법들을 수행하도록 구성된 하나 이상의 컴포넌트들을 포함할 수도 있다. 도시된 예에서, 디바이스(104)는 프로세싱 유닛(120), 콘텐츠 인코더/디코더(122), 및 시스템 메모리(124)를 포함할 수도 있다. 일부 양태들에서, 디바이스(104)는 다수의 선택적 컴포넌트들, 예를 들어 통신 인터페이스(126), 트랜시버(132), 수신기(128), 송신기(130), 디스플레이 프로세서(127), 및 하나 이상의 디스플레이들(131)을 포함할 수 있다. 디스플레이(131)에 대한 언급은 상기 하나 이상의 디스플레이들(131)을 지칭할 수도 있다. 예를 들어, 디스플레이(131)는 단일의 디스플레이 또는 다수의 디스플레이들을 포함할 수도 있다. 디스플레이(131)는 제1 디스플레이 및 제2 디스플레이를 포함할 수도 있다. 제1 디스플레이는 좌안(left-eye) 디스플레이일 수도 있고 제2 디스플레이는 우안(right-eye) 디스플레이일 수도 있다. 일부 예들에서 제1 및 제2 디스플레이는, 제1 및 제2 디스플레이 상에서의 제시를 위해 상이한 프레임들을 수신할 수도 있다. 다른 예들에서 제1 및 제2 디스플레이는, 제1 및 제2 디스플레이 상에서의 제시를 위해 동일한 프레임들을 수신할 수도 있다. 추가 예들에서, 그래픽 프로세싱의 결과들은 디바이스 상에 디스플레이되지 않을 수도 있으며, 예를 들어 제1 및 제2 디스플레이는 제1 및 제2 디스플레이 상에서의 제시를 위해 어떠한 프레임들도 수신하지 않을 수도 있다. 대신에, 프레임들 또는 그래픽 프로세싱 결과들이 다른 디바이스로 전송될 수도 있다. 일부 양태들에서, 이는 스플릿 렌더링(split-rendering)으로 지칭될 수 있다.

프로세싱 유닛(120)은 내부 메모리(121)를 포함할 수도 있다. 프로세싱 유닛(120)은, 그래픽 프로세싱 파이프라인(107)에서와 같이, 그래픽 프로세싱을 수행하도록 구성될 수도 있다. 콘텐츠 인코더/디코더(122)는 내부 메모리(123)를 포함할 수도 있다. 일부 예들에서, 디바이스(104)는 하나 이상의 디스플레이들(131)에 의한 제시 전에 프로세싱 유닛(120)에 의해 생성된 하나 이상의 프레임들에 대해 하나 이상의 디스플레이 프로세싱 기법들을 수행하기 위해, 디스플레이 프로세서(127)와 같은 디스플레이 프로세서를 포함할 수도 있다. 디스플레이 프로세서(127)는 디스플레이 프로세싱을 수행하도록 구성될 수도 있다. 예를 들어, 디스플레이 프로세서(127)는 프로세싱 유닛(120)에 의해 생성된 하나 이상의 프레임들에 대해 하나 이상의 디스플레이 프로세싱 기법들을 수행하도록 구성될 수도 있다. 하나 이상의 디스플레이들(131)은 디스플레이 프로세서(127)에 의해 프로세싱된 현재의 프레임들을 디스플레이하거나 달리 제시하도록 구성될 수도 있다. 일부 예들에서, 하나 이상의 디스플레이들(131)은 LCD(liquid crystal display), 플라즈마 디스플레이, OLED(organic light emitting diode) 디스플레이, 투사 디스플레이 디바이스, 증강 현실 디스플레이 디바이스, 가상 현실 디스플레이 디바이스, 헤드 마운티드 디스플레이, 또는 임의의 다른 타입의 디스플레이 디바이스 중 하나 이상을 포함할 수도 있다.

프로세싱 유닛(120) 및 콘텐츠 인코더/디코더(122) 외부의 메모리, 이를 테면 시스템 메모리(124)는 프로세싱 유닛(120) 및 콘텐츠 인코더/디코더(122)에 액세스가능할 수도 있다. 예를 들어, 프로세싱 유닛(120) 및 콘텐츠 인코더/디코더(122)는 시스템 메모리(124)와 같은 외부 메모리로부터 판독하고/하거나 그에 기입(write)하도록 구성될 수도 있다. 프로세싱 유닛(120) 및 콘텐츠 인코더/디코더(122)는 버스를 통해 시스템 메모리(124)에 통신가능하게 커플링될 수도 있다. 일부 예들에서, 프로세싱 유닛(120) 및 콘텐츠 인코더/디코더(122)는 버스 또는 상이한 커넥션을 통해서 서로에게 통신가능하게 커플링될 수도 있다.

콘텐츠 인코더/디코더(122)는, 시스템 메모리(124) 및/또는 통신 인터페이스(126)와 같은 임의의 소스로부터 그래픽 콘텐츠를 수신하도록 구성될 수도 있다. 시스템 메모리(124)는 수신된 인코딩된 또는 디코딩된 그래픽 콘텐츠를 저장하도록 구성될 수도 있다. 콘텐츠 인코더/디코더(122)는 인코딩된 또는 디코딩된 그래픽 콘텐츠를, 예를 들어 시스템 메모리(124) 및/또는 통신 인터페이스(126)로부터, 인코딩된 픽셀 데이터의 형태로 수신하도록 구성될 수도 있다. 콘텐츠 인코더/디코더(122)는 임의의 그래픽 콘텐츠를 인코딩 또는 디코딩하도록 구성될 수도 있다.

내부 메모리(121) 또는 시스템 메모리(124)는 하나 이상의 휘발성 또는 비휘발성 메모리들 또는 저장 디바이스들을 포함할 수도 있다. 일부 예들에서, 내부 메모리(121) 또는 시스템 메모리(124)는 RAM, SRAM, DRAM, 소거가능 프로그래밍가능 ROM(EPROM), 전기적으로 소거가능한 프로그래밍가능 ROM(EEPROM), 플래시 메모리, 자기 데이터 매체 또는 광학 저장 매체, 또는 임의의 다른 타입의 메모리를 포함할 수도 있다.

내부 메모리(121) 또는 시스템 메모리(124)는 일부 예들에 따라 비일시적(non-transitory) 저장 매체일 수도 있다. 용어 "비일시적"은, 저장 매체가 캐리어파(carrier wave) 또는 전파된 신호에서 구현되지 않는다는 것을 나타낼 수도 있다. 그러나, 용어 "비일시적"은 내부 메모리(121) 또는 시스템 메모리(124)가 이동가능하지 않음을 또는 그의 콘텐츠들이 정적임을 의미하는 것으로 해석되지 않아야 한다. 일 예로서, 시스템 메모리(124)는 디바이스(104)로부터 제거될 수도 있고, 다른 디바이스로 이동될 수도 있다. 다른 예로서, 시스템 메모리(124)는 디바이스(104)로부터 제거가능하지 않을 수도 있다.

프로세싱 유닛(120)은 중앙 프로세싱 유닛(CPU), 그래픽 프로세싱 유닛(GPU), 범용 GPU(GPGPU), 또는 그래픽 프로세싱을 수행하도록 구성될 수도 있는 임의의 다른 프로세싱 유닛일 수도 있다. 일부 예들에서, 프로세싱 유닛(120)은 디바이스(104)의 마더보드에 통합될 수도 있다. 일부 예들에서, 프로세싱 유닛(120)은 디바이스(104)의 마더보드 내 포트에 설치되는 그래픽 카드 상에 존재할 수도 있거나, 그렇지 않으면 디바이스(104)와 상호동작하도록 구성된 주변 디바이스 내에 통합될 수도 있다. 프로세싱 유닛(120)은, 하나 이상의 마이크로프로세서들, GPU들, 주문형 집적 회로(ASIC)들, 필드 프로그래밍가능 게이트 어레이(FPGA)들, 산술 논리 유닛(ALU)들, 디지털 신호 프로세서(DSP)들, 이산 로직, 소프트웨어, 하드웨어, 펌웨어, 다른 등가의 집적 또는 이산 논리 회로부, 또는 이들의 임의의 조합들과 같은 하나 이상의 프로세서들을 포함할 수도 있다. 기법들이 소프트웨어에서 부분적으로 구현되는 경우, 프로세싱 유닛(120)은 소프트웨어에 대한 명령들을 적합한 비일시적인 컴퓨터 판독가능 저장 매체, 예컨대 내부 메모리(121)에 저장할 수도 있고, 하나 이상의 프로세서들을 사용하여 하드웨어에서 명령들을 실행하여 본 개시의 기법들을 수행할 수도 있다. 하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등을 포함하는 전술한 것들 중 임의의 것은 하나 이상의 프로세서들인 것으로 고려될 수도 있다.

콘텐츠 인코더/디코더(122)는 콘텐츠 디코딩을 수행하도록 구성된 임의의 프로세싱 유닛일 수도 있다. 일부 예들에서, 콘텐츠 인코더/디코더(122)는 디바이스(104)의 마더보드에 통합될 수도 있다. 콘텐츠 인코더/디코더(122)는 하나 이상의 마이크로프로세서들, 주문형 집적회로(ASIC)들, 필드 프로그래밍가능 게이트 어레이(FPGA)들, 산술 논리 유닛(ALU)들, 디지털 신호 프로세서(DSP)들, 비디오 프로세서들, 이산 로직, 소프트웨어, 하드웨어, 펌웨어, 다른 등가의 집적 또는 이산 논리 회로부, 또는 이들의 임의의 조합들과 같은 하나 이상의 프로세서들을 포함할 수도 있다. 기법들이 소프트웨어에서 부분적으로 구현되는 경우, 콘텐츠 인코더/디코더(122)는 소프트웨어에 대한 명령들을 적합한 비일시적인 컴퓨터 판독가능 저장 매체, 예컨대 내부 메모리(123)에 저장할 수도 있고, 하나 이상의 프로세서들을 사용하여 하드웨어에서 명령들을 실행하여 본 개시의 기법들을 수행할 수도 있다. 하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등을 포함하는 전술한 것들 중 임의의 것은 하나 이상의 프로세서들인 것으로 고려될 수도 있다.

일부 양태들에서, 콘텐츠 생성 시스템(100)은 선택적인 통신 인터페이스(126)를 포함할 수 있다. 통신 인터페이스(126)는 수신기(128) 및 송신기(130)를 포함할 수도 있다. 수신기(128)는 디바이스(104)에 대하여 본 명세서에서 설명된 임의의 수신 기능을 수행하도록 구성될 수도 있다. 추가적으로, 수신기(128)는 정보, 예를 들어 눈 또는 머리 포지션 정보, 렌더링 커맨드들, 또는 위치 정보를 다른 디바이스로부터 수신하도록 구성될 수도 있다. 송신기(130)는 디바이스(104)에 대하여 본 명세서에서 설명된 임의의 송신 기능을 수행하도록 구성될 수도 있다. 예를 들어, 송신기(130)는 콘텐츠에 대한 요청을 포함할 수도 있는 정보를 다른 디바이스로 송신하도록 구성될 수도 있다. 수신기(128) 및 송신기(130)는 트랜시버(132)에 결합될 수도 있다. 그러한 예들에서, 트랜시버(132)는 디바이스(104)에 대하여 본 명세서에서 설명된 임의의 수신 기능 및/또는 송신 기능을 수행하도록 구성될 수도 있다.

다시 도 1을 참조하면, 특정 양태들에서, 그래픽 프로세싱 파이프라인(107)은 복수의 프레임들을 포함하는 비디오 스트림을 수신하도록 구성된 결정 컴포넌트(198)를 포함할 수도 있으며, 복수의 프레임들의 각각은 휘도 정보를 포함한다. 결정 컴포넌트(198)는 또한, 복수의 프레임들의 각각에 대한 휘도 정보를 메모리, 동적 랜덤 액세스 메모리(DRAM), 또는 캐시 중 적어도 하나에 저장하도록 구성될 수 있다. 결정 컴포넌트(198)는 또한, 복수의 프레임들의 각각에 대한 휘도 정보에 대해 히스토그램 분석을 수행하도록 구성될 수 있다. 결정 컴포넌트(198)는 또한, 복수의 프레임들의 각각에 대한 휘도 정보의 평균 휘도 또는 휘도 정보의 피크 휘도 중 적어도 하나를 계산하도록 구성될 수 있다. 결정 컴포넌트(198)는 또한, 복수의 프레임들의 각각에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 큰지 여부를 결정하도록 구성될 수 있다. 결정 컴포넌트(198)는 또한, 복수의 프레임들의 각각에 대한 평균 휘도 또는 피크 휘도 중 적어도 하나를 지각적으로 균일한 도메인으로 컨버팅하도록 구성될 수 있다. 결정 컴포넌트(198)는 또한, 프레임에 대한 평균 휘도 또는 피크 휘도 중 적어도 하나와 현재 휘도 분포의 평균 휘도 또는 현재 휘도 분포의 피크 휘도 중 적어도 하나 사이의 비교를 수행하도록 구성될 수 있다. 결정 컴포넌트(198)는 또한, 프레임에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 클 때, 프레임에 대한 휘도 정보에 기초하여, 업데이트된 톤 매핑 구성을 계산하도록 구성될 수 있다. 결정 컴포넌트(198)는 또한, 프레임에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 작거나 동일할 때, 업데이트된 톤 매핑 구성을 계산하는 것을 스킵하도록 구성될 수 있다.

본 명세서에서 설명된 바와 같이, 디바이스(104)와 같은 디바이스는 본 명세서에서 설명된 하나 이상의 기법들을 수행하도록 구성된 임의의 디바이스, 장치 또는 시스템을 지칭할 수도 있다. 예를 들어, 디바이스는 서버, 기지국, 사용자 장비, 클라이언트 디바이스, 스테이션, 액세스 포인트, 컴퓨터, 예를 들어 개인용 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 컴퓨터 워크스테이션, 또는 메인프레임 컴퓨터, 최종 제품(end product), 장치, 전화기, 스마트폰, 서버, 비디오 게임 플랫폼 또는 콘솔, 핸드헬드 디바이스, 예를 들어 휴대용 비디오 게임 디바이스 또는 PDA(personal digital assistant), 웨어러블 컴퓨팅 디바이스, 예를 들어 스마트 워치, 증강 현실 디바이스, 또는 가상 현실 디바이스, 비웨어러블(non-wearable) 디바이스, 디스플레이 또는 디스플레이 디바이스, 텔레비전, 텔레비전 셋톱 박스, 중간 네트워크 디바이스, 디지털 미디어 플레이어, 비디오 스트리밍 디바이스, 콘텐츠 스트리밍 디바이스, 인카(in-car) 컴퓨터, 임의의 모바일 디바이스, 그래픽 콘텐츠를 생성하도록 구성된 임의의 디바이스, 또는 본 명세서에 설명된 하나 이상의 기법들을 수행하도록 구성된 임의의 디바이스일 수도 있다. 본 명세서에서의 프로세스들은 특정 컴포넌트(예를 들어, GPU)에 의해 수행되는 것으로 설명될 수도 있지만, 추가 실시예들에서, 개시된 실시예들과 일치하는, 다른 컴포넌트들(예를 들어, CPU)을 사용하여 수행될 수 있다.

GPU들은 GPU 파이프라인에서 다수의 타입들의 데이터 또는 데이터 패킷들을 프로세싱할 수 있다. 예를 들어, 일부 양태들에서, GPU는 2 개의 타입들의 데이터 또는 데이터 패킷들, 예컨대 컨텍스트 레지스터(context register) 패킷들 및 드로우 콜(draw call) 데이터를 프로세싱할 수 있다. 컨텍스트 레지스터 패킷은 글로벌 상태 정보, 예를 들어 글로벌 레지스터, 셰이딩(shading) 프로그램, 또는 상수 데이터에 관한 정보의 세트일 수 있으며, 이는 그래픽 컨텍스트가 어떻게 프로세싱될 것인지를 조절할 수 있다. 예를 들어, 컨텍스트 레지스터 패킷들은 컬러 포맷에 관한 정보를 포함할 수 있다. 컨텍스트 레지스터 패킷들의 일부 양태들에서, 어느 워크로드가 컨텍스트 레지스터에 속하는지를 표시하는 비트가 있을 수 있다. 또한, 동시에 그리고/또는 병렬로 실행되는 다수의 기능들 또는 프로그래밍이 있을 수 있다. 예를 들어, 기능들 또는 프로그래밍은 특정 동작, 예를 들어 컬러 모드 또는 컬러 포맷을 설명할 수 있다. 이에 따라, 컨텍스트 레지스터는 GPU의 다수의 상태들을 정의할 수 있다.

컨텍스트 상태들은 개별 프로세싱 유닛, 예를 들어 버텍스 페처(vertex fetcher)(VFD), 버텍스 셰이더(VS), 셰이더 프로세서, 또는 지오메트리 프로세서가 어떻게 기능하는지, 및/또는 프로세싱 유닛이 어떤 모드에서 기능하는지를 결정하는데 활용될 수 있다. 그렇게 하기 위해, GPU들은 컨텍스트 레지스터들 및 프로그래밍 데이터를 사용할 수 있다. 일부 양태들에서, GPU는 모드 또는 상태의 컨텍스트 레지스터 정의에 기초하여 파이프라인에서의 워크로드, 예컨대 버텍스 또는 픽셀 워크로드를 생성할 수 있다. 특정 프로세싱 유닛들, 예컨대 VFD는 이들 상태들을 사용하여 특정 기능들, 예를 들어 어떻게 버텍스가 어셈블되는지를 결정할 수 있다. 이들 모드들 또는 상태들은 변경될 수 있으므로, GPU들은 대응하는 컨텍스트들을 변경할 필요가 있을 수도 있다. 추가적으로, 그 모드 또는 상태에 대응하는 워크로드는 변경되는 모드 또는 상태를 따를 수도 있다.

도 2는 본 개시의 하나 이상의 기법들에 따른 예시적인 GPU(200)를 예시한다. 도 2에 도시된 바와 같이, GPU(200)는 커맨드 프로세서(CP)(210), 드로우 콜 패킷들(212), VFD(220), VS(222), 버텍스 캐시(VPC)(224), 삼각형 셋업 엔진(TSE)(226), 래스터라이저(RAS)(228), Z 프로세스 엔진(ZPE)(230), 픽셀 보간기(PI)(232), 프래그먼트 셰이더(FS)(234), 렌더 백엔드(RB)(236), L2 캐시(UCHE)(238), 및 시스템 메모리(240)를 포함한다. 도 2는 GPU(200)가 프로세싱 유닛들(220 내지 238)을 포함하는 것을 보여주지만, GPU(200)는 다수의 추가적인 프로세싱 유닛들을 포함할 수 있다. 추가적으로, 프로세싱 유닛들(220 내지 238)은 단지 예일 뿐이고 임의의 조합 또는 순서의 프로세싱 유닛들이 본 개시에 따른 GPU들에 의해 사용될 수 있다. GPU(200)는 또한, 커맨드 버퍼(250), 컨텍스트 레지스터 패킷들(260), 및 컨텍스트 상태들(261)을 포함한다.

도 2에 도시된 바와 같이, GPU는 CP, 예컨대 CP(210), 또는 하드웨어 가속기를 활용하여 커맨드 버퍼를 컨텍스트 레지스터 패킷들, 예컨대 컨텍스트 레지스터 패킷들(260), 및/또는 드로우 콜 데이터 패킷들, 예컨대 드로우 콜 패킷들(212)로 파싱(parsing)할 수 있다. 그 후, CP(210)는 컨텍스트 레지스터 패킷들(260) 또는 드로우 콜 데이터 패킷들(212)을 별개의 경로들을 통해 GPU 내의 프로세싱 유닛들 또는 블록들로 전송할 수 있다. 또한, 커맨드 버퍼(250)는 컨텍스트 레지스터들 및 드로우 콜들의 상이한 상태들을 교번할 수 있다. 예를 들어, 커맨드 버퍼는 다음의 방식으로 구조화될 수 있다: 컨텍스트 N의 컨텍스트 레지스터, 컨텍스트 N의 드로우 콜(들), 컨텍스트 N+1의 컨텍스트 레지스터, 및 컨텍스트 N+1의 드로우 콜(들).

GPU들은 다양한 상이한 방식들로 이미지들을 렌더링할 수 있다. 일부 경우들에서, GPU들은 렌더링 또는 타일 렌더링(tiled rendering)을 사용하여 이미지를 렌더링할 수 있다. 타일 렌더링 GPU들에서, 이미지는 상이한 섹션들 또는 타일들로 분할 또는 분리될 수 있다. 이미지의 분할 후, 각각의 섹션 또는 타일은 개별적으로 렌더링될 수 있다. 타일 렌더링 GPU들은 그리드의 각 부분, 즉 타일이 개별적으로 렌더링되도록 컴퓨터 그래픽 이미지들을 그리드 포맷으로 분할할 수 있다. 일부 양태들에서, 비닝(binning) 패스 동안, 이미지는 상이한 빈(bin)들 또는 타일들로 분할될 수 있다. 일부 양태들에서, 비닝 패스 동안, 가시적 프리미티브들 또는 드로우 콜들이 식별될 수 있는 가시성 스트림이 구성될 수 있다.

일부 양태들에서, GPU들은 드로잉 또는 렌더링 프로세스를 상이한 빈들 또는 타일들에 적용할 수 있다. 예를 들어, GPU는 하나의 빈으로 렌더링할 수 있고, 빈 내의 프리미티브들 또는 픽셀들에 대한 모든 드로우들을 수행할 수 있다. 빈으로 렌더링하는 프로세스 동안, 렌더 타겟들은 GMEM에 위치될 수 있다. 일부 경우들에서, 하나의 빈으로 렌더링한 후, 렌더 타겟들의 콘텐츠는 시스템 메모리로 이동될 수 있고 GMEM은 다음 빈을 렌더링하기 위해 비워질 수 있다. 추가적으로, GPU는 다른 빈으로 렌더링할 수 있고, 그 빈 내의 프리미티브들 또는 픽셀들에 대한 드로우들을 수행할 수 있다. 그러므로, 일부 양태들에서, 하나의 표면에서의 드로우들 모두를 커버하는 적은 수의 빈들, 예를 들어 4 개의 빈들이 있을 수도 있다. 또한, GPU들은 하나의 빈 내의 드로우들 모두를 통해 순환할 수 있지만, 가시적인 드로우 콜들, 즉 가시적 지오메트리를 포함하는 드로우 콜들에 대한 드로우들을 수행할 수 있다. 일부 양태들에서, 이미지 또는 장면 내 각 프리미티브의 가시성 정보를 결정하기 위해, 예를 들어 비닝 패스에서, 가시성 스트림이 생성될 수 있다. 예를 들어, 이 가시성 스트림은 특정 프리미티브가 가시적인지 아닌지를 식별할 수 있다. 일부 양태들에서 이 정보는, 예를 들어 렌더링 패스에서, 가시적이지 않은 프리미티브들을 제거하는데 사용될 수 있다. 또한, 가시적인 것으로 식별되는 프리미티브들의 적어도 일부는 렌더링 패스에서 렌더링될 수 있다.

타일 렌더링의 일부 양태들에서, 다수의 프로세싱 페이즈들 또는 패스들이 있을 수 있다. 예를 들어, 2 개의 패스들, 예컨대 가시성 또는 빈-가시성 패스 및 렌더링 또는 빈-렌더링 패스에서 렌더링이 수행될 수 있다. 가시성 패스 동안, GPU는 렌더링 워크로드를 입력하고, 프리미티브들 또는 삼각형들의 포지션들을 기록하고, 그 후 어느 프리미티브들 또는 삼각형들이 어느 빈 또는 영역에 속하는지를 결정할 수 있다. 가시성 패스의 일부 양태들에서, GPU들은 또한 가시성 스트림에서 각각의 프리미티브 또는 삼각형의 가시성을 식별 또는 마킹할 수 있다. 렌더링 패스 동안, GPU는 가시성 스트림을 입력하고 한 번에 하나의 빈 또는 영역을 프로세싱할 수 있다. 일부 양태들에서, 가시성 스트림이 분석되어 어느 프리미티브들, 또는 프리미티브들의 버텍스들이 가시적인지 혹은 가시적이지 않은지를 결정할 수 있다. 이와 같이, 가시적인 프리미티브들, 또는 프리미티브들의 버텍스들이 프로세싱될 수도 있다. 그렇게 함으로써, GPU들은 가시적이지 않은 프리미티브들 또는 삼각형들을 프로세싱하거나 렌더링하는 불필요한 워크로드를 감소시킬 수 있다.

일부 양태들에서, 가시성 패스 동안, 소정 타입들의 프리미티브 지오메트리, 예를 들어 포지션 전용 지오메트리가 프로세싱될 수도 있다. 추가적으로, 프리미티브들 또는 삼각형들의 포지션 또는 위치에 의존하여, 프리미티브들은 상이한 빈들 또는 영역들로 소팅(sorting)될 수도 있다. 일부 경우들에서, 프리미티브들 또는 삼각형들을 상이한 빈들로 소팅하는 것은 이들 프리미티브들 또는 삼각형들을 위한 가시성 정보를 결정함으로써 수행될 수도 있다. 예를 들어, GPU들은, 예컨대 시스템 메모리에서, 각각의 빈 또는 영역에서의 각 프리미티브의 가시성 정보를 결정하거나 기입할 수도 있다. 이 가시성 정보는 가시성 스트림을 결정하거나 생성하는데 사용될 수 있다. 렌더링 패스에서, 각각의 빈 내의 프리미티브들은 개별적으로 렌더링될 수 있다. 이들 경우들에서, 가시성 스트림은 그 빈에 대해 가시적이지 않은 프리미티브들을 드롭하는데 사용되는 메모리로부터 페치(fetch)될 수 있다.

GPU들 또는 GPU 아키텍처들의 일부 양태들은 렌더링을 위한 다수의 상이한 옵션들, 예컨대 소프트웨어 렌더링 및 하드웨어 렌더링을 제공할 수 있다. 소프트웨어 렌더링에서, 드라이버 또는 CPU는 각각의 뷰를 한 번 프로세싱함으로써 전체 프레임 지오메트리를 복제(replicate)할 수 있다. 추가적으로, 일부 상이한 상태들은 뷰에 의존하여 변경될 수도 있다. 이와 같이, 소프트웨어 렌더링에서, 소프트웨어는 이미지에서 각각의 시점에 대해 렌더링하기 위해 활용될 수도 있는 일부 상태들을 변경함으로써 전체 워크로드를 복제할 수 있다. 특정 양태들에서, GPU들이 이미지에서 각각의 뷰포인트에 대해 동일한 워크로드를 여러 번 제출할 수도 있으므로, 증가된 오버헤드의 양이 있을 수도 있다. 하드웨어 렌더링에서, 하드웨어 또는 GPU는 이미지에서의 각각의 시점에 대한 지오메트리를 복제하거나 프로세싱하는 역할을 할 수도 있다. 이에 따라, 하드웨어는 이미지에서의 각각의 시점에 대한 프리미티브들 또는 삼각형들의 복제 또는 프로세싱을 관리할 수 있다.

본 명세서에 표시된 바와 같이, 빈 또는 타일 렌더링 아키텍처에서와 같은 일부 양태들에서, 프레임 버퍼들은, 예컨대 상이한 타입들의 메모리로부터 렌더링할 때, 반복적으로 그들에 데이터를 저장하거나 기록하게 할 수 있다. 이는, 프레임 버퍼 또는 시스템 메모리를 리졸브(resolve) 및 언리졸브(unresolve)하는 것으로서 지칭될 수 있다. 예를 들어, 하나의 프레임 버퍼에 저장 또는 기입하고 그 후 다른 프레임 버퍼로 스위칭할 때, 프레임 버퍼 상의 데이터 또는 정보는 GPU에서의 GPU 내부 메모리(GMEM)로부터 시스템 메모리, 즉 DDR(double data rate) RAM 또는 동적 RAM(DRAM) 내의 메모리로 리졸브될 수 있다.

일부 양태들에서, 시스템 메모리는 또한, 예를 들어 디바이스 또는 스마트 폰 상에서, 데이터 또는 정보를 저장하기 위한 시스템 온 칩(SoC) 메모리 또는 다른 칩 기반 메모리일 수 있다. 시스템 메모리는 또한, CPU 및/또는 GPU에 의해 공유되는 물리적 데이터 스토리지일 수 있다. 일부 양태들에서, 시스템 메모리는, 예를 들어 디바이스 또는 스마트 폰 상에서의, DRAM 칩일 수 있다. 이에 따라, SoC 메모리는 데이터를 저장하는 칩 기반 방식일 수 있다.

일부 양태들에서, GMEM은 SRMA(static RAM)에 의해 구현될 수 있는, GPU 에서의 온 칩 메모리일 수 있다. 추가적으로, GMEM은 디바이스, 예를 들어 스마트 폰 상에 저장될 수 있다. 본 명세서에서 나타낸 바와 같이, 예를 들어 디바이스에서의, 시스템 메모리 또는 DRAM과 GMEM 사이에서 데이터 또는 정보가 전송될 수 있다. 일부 양태들에서, 시스템 메모리 또는 DRAM은 CPU 또는 GPU에 있을 수 있다. 추가적으로, 데이터는 DDR 또는 DRAM에 저장될 수 있다. 일부 양태들에서, 빈 또는 타일 렌더링에서와 같이, 메모리의 작은 부분이 GPU에, 예를 들어 GMEM에 저장될 수 있다. 일부 경우들에서, GMEM에 데이터를 저장하는 것은 프레임 버퍼 또는 시스템 메모리에 데이터를 저장하는 것에 비해 더 큰 프로세싱 워크로드 및/또는 소비 전력을 활용할 수도 있다.

비디오 프로세싱의 일부 양태들은, 각각의 장면에 대해 맞춤화된 톤 매핑 곡선들을 활용할 수 있는, 동적 메타데이터 또는 동적 톤 매핑을 포함할 수 있다. 동적 메타데이터는 특정 타입들의 콘텐츠, 예를 들어 HDR(high dynamic range) 콘텐츠 또는 HDR10+로 사용될 수 있다. 또한, 동적 메타데이터는 고정된 톤 매핑을 사용하는 것과 같이, 이미지를 디스플레이로 컨버팅하는 품질을 손상시키는 것을 회피하는 데 도움이 될 수 있다. 예를 들어, 동적 메타데이터에서, 각각의 프레임은 어떻게 다음 프레임 또는 장면을 최적으로 톤 매핑할지를 명령하는 메타데이터 형태의 명령들과 함께 도달한다.

도 3a 내지 도 3c는 입력 장면 밝기(x축) 대 디스플레이 밝기(y축)를 예시하는 그래프들(300, 310 및 320)을 각각 예시한다. 입력 장면 및 디스플레이 양자 모두에 대한 밝기는 니트(nit)로 측정되며, 여기서 1 니트는 1 칸델라 매 제곱미터(cd/m²)의 밝기에 대응한다. 도 3a는 디스플레이 밝기(최대 500 니트)에 비교한 입력 장면 밝기(최대 500 니트)의 고정된 톤 매핑의 그래프(300)를 도시한다. 도 3b는 디스플레이 밝기(최대 500 니트)에 비교한 입력 장면 밝기(최대 700 니트)의 동적 톤 매핑의 그래프(310)를 예시한다. 도 3c는 디스플레이 밝기(최대 500 니트)에 비교한 입력 장면 밝기(최대 1000 니트)의 동적 톤 매핑의 그래프(320)를 도시한다.

도 3a에 도시된 바와 같이, 장면이 강한 하이라이트들을 포함하지 않고 디스플레이의 동적 범위 내에 들어맞을 때, 톤 압축이 회피될 수 있고 창작 의도가 충실하게 재현될 수 있다. 도 3b 및 도 3c에 도시된 바와 같이, 입력 콘텐츠의 동적 범위가 확장됨에 따라, 톤 매핑 곡선들은 장면 통계 및/또는 패널 능력들에 기초하여 최적의 렌더링을 위해 적응될 수도 있다. 동적 메타데이터는, 낮은 동적 범위를 포함하는 패널들을 사용하더라도, 창작 의도를 최적으로 보존하는 데 도움이 될 수 있다. 특정 타입들의 콘텐츠, 예컨대 HDR10+는 각각의 프레임 또는 장면을 위한 휘도 분포에 대한 정보를 제공하는 메타데이터를 포함할 수도 있다.

그러나, 동적 메타데이터의 상기 언급된 이익들은 동적 메타데이터가 없는 콘텐츠, 예컨대 HDR10 콘텐츠에 대해 존재하지 않을 수도 있다. 이러한 타입의 콘텐츠는 정적 메타데이터를 포함할 수도 있다. 상기에 기초하여, 모든 타입들의 디스플레이 콘텐츠를 위한 동적 메타데이터 기반 품질을 제공하는 것이 유리할 수도 있다. 예를 들어, 동적 메타데이터 없는 콘텐츠를 위한 동적 메타데이터 기반 품질을 제공하는 것이 유리할 수도 있다. 비디오 재생 프로세스 동안 메타데이터를 동적으로 생성하는 것이 또한 유리할 수도 있다.

본 개시의 양태들은 모든 타입들의 디스플레이 콘텐츠를 위한 동적 메타데이터 기반 품질을 제공할 수 있다. 예를 들어, 본 개시의 양태들은 동적 메타데이터 없는 콘텐츠를 위한 동적 메타데이터 기반 품질을 제공할 수도 있다. 또한, 본 개시의 양태들은 비디오 재생 프로세스 동안 메타데이터를 동적으로 생성할 수 있다. 그렇게 하기 위해, 본 개시의 양태들은 히스토그램 분석을 사용하여 비디오 재생 동안 동적으로 생성된 메타데이터를 포함할 수도 있다.

위에서 언급된 바와 같이, 동적 메타데이터를 갖는 HDR 콘텐츠, 예를 들어 HDR10+는 동적 메타데이터가 없는 콘텐츠, 예를 들어 정적 HDR10보다 우월하게 보일 수도 있다. 본 개시의 양태들은 매우 다양한 HDR 콘텐츠, 심지어 동적 메타데이터가 없는 HDR 콘텐츠를 위한 동적 픽처 품질을 달성할 수도 있다. 예를 들어, 본 개시의 양태들은 동적 메타데이터를 온 더 플라이(on-the-fly)로 생성하거나 히스토그램 분석을 사용하여 비디오 재생 동안 메타데이터를 동적으로 생성할 수도 있다. 또한, 본 개시의 일부 양태들은 시간 필터링을 포함할 수 있다. 예를 들어, 시간 필터링은 휘도 변화들이 지각 임계치보다 작을 때 불필요한 연산들을 제거함으로써 전력 소비를 감소시키거나 최소화할 수도 있다.

본 개시의 일부 양태들은 동적 메타데이터가 결여된 비디오 스트림 콘텐츠를 위한 메타데이터를 생성할 수 있다. 이를 위해, 본 발명은 비디오 스트림 내 인커밍 프레임들 각각을 분석하고, 그 후 개별 프레임들에 기초하여 메타데이터를 생성할 수 있다. 이 개별 프레임 메타데이터는 히스토그램 분석을 사용하여 각각의 프레임에 대해 온 더 플라이로 생성될 수 있다. 본 개시의 양태들은 또한 프레임당 기반으로 톤 매핑들을 컴퓨팅하기 위한 전력 소비를 최소화하도록 시간 필터링 기술을 사용할 수 있다.

도 4는 디스플레이 프로세싱을 위한 다수의 컴포넌트들의 도면(400)을 예시한다. 도 4에 도시된 바와 같이 도면(400)은, 비디오 디코더(420), 히스토그램(422), DRAM(430), 디스플레이 프로세싱 유닛(DPU)(440), 및 톤 매핑 하드웨어(442)를 포함하는 비디오 프로세싱 하드웨어(410)를 포함한다. 도면(400)은 또한, 히스토그램 분석 컴포넌트(460), 시간 필터 및 변화 검출기(470), 및 톤 매핑 구성 컴포넌트(480)를 포함하는 비디오 프로세싱 소프트웨어(450)를 포함한다. 도 4에 도시된 바와 같이 도면(400)은 또한, 비디오 입력(402), 휘도(Y) 색차(UV)(YUV) 데이터(432), 빈들(452), 평균 휘도(462), 피크 휘도(464), 메타데이터(472), 트리거(474), 파라미터들(482), 및 비디오 출력(492)을 포함한다.

도 4에 도시된 바와 같이, 본 개시의 양태들은 비디오 디코더(420)에서 히스토그램(422), 예컨대 루마 (Y') 히스토그램을 포함할 수 있다. 비디오 입력(402)에서의 압축된 비디오 스트림 또는 비트스트림이 비디오 디코더(420)에서 압축해제될 때, 히스토그램(422)은 휘도 분포 정보를 제공할 수 있다. 예컨대 히스토그램(422) 및/또는 히스토그램 분석 컴포넌트(460)에서 수행되는, 히스토그램 분석에 기초하여, 본 개시는 휘도 분포 정보의 평균 밝기 및/또는 피크 밝기와 같은 메타데이터를 도출할 수 있다. 따라서, 본 개시의 양태들은 비디오 프로세싱 하드웨어(410)에서 히스토그램(422)을 사용하여 프레임당 기반들로 메타데이터를 생성할 수 있다. 이에 따라, 본 개시는 비디오 스트림을 취하고 비디오 스트림에 대해 프레임 바이 프레임(frame-by-frame) 기반으로 메타데이터를 생성할 수 있다.

도 4에 도시된 바와 같이, 압축된 비디오 비트스트림 또는 비디오 입력(402)은 네트워크로부터 비디오 디코더(420)로 입력될 수 있다. 비디오 스트림 내의 프레임들의 각각이 비디오 디코더(420)에서 압축해제됨에 따라, 프레임들은 동적 랜덤 액세스 메모리(DRAM)(430) 내에 저장될 수도 있다. 일부 양태들에서, 프레임들이 DRAM(430) 내에 저장되는 것과 동시에, 본 개시는 히스토그램(422)에서와 같이, 각각의 프레임을 위한 휘도 분포에 대한 히스토그램을 수집할 수 있다.

일단 프레임이 DRAM(430)에 저장되면, 디스플레이 프로세싱 유닛(DPU)(440)은 비압축 휘도(Y) 색차(UV)(YUV) 데이터(432), 예컨대 10-비트 YUV 4:2:0 데이터 또는 지각 양자화기(PQ) 감마 BT2020 색역(gamut) 데이터와 같은 프레임 데이터를 DRAM(430)으로부터 검색(retrieve)할 수 있다. 그 후 디스플레이 프로세싱 유닛(440)은 스케일링, 샤프닝(sharpening), 디테일 향상 등과 같은 다수의 상이한 동작들을 수행할 수 있다. 본 개시는 또한 톤 매핑 하드웨어(442)로 톤 향상을 수행할 수 있다. 예를 들어, 일단 톤 매핑이 정의되면, 하드웨어(410)는 톤 매핑 하드웨어(442)를 사용하여 프레임 내의 인커밍 픽셀들의 각각을 변환하고, 그 후 새로운 픽셀들을, 예컨대 비디오 출력(492)에서, 출력할 수 있다. 일부 경우들에서, 새로운 톤 매핑이 수행되거나 선택되지 않으면, 이 프로세스는 소프트웨어(450)로부터의 임의의 추가 개입 없이 하드웨어(410)에 의해 수행될 수 있다.

본 개시의 일부 양태들에서, 새로운 톤 매핑이 계산되거나 수행되면, 프로세스에서 소프트웨어(450)가 활용될 수 있다. 또한, 소프트웨어(450)는 인커밍 프레임의 통계를 분석하고, 톤 매핑에 관한 일부 결정들을 하며, 그리고/또는 톤 매핑 하드웨어 구성을 업데이트할 수 있다. 톤 매핑 하드웨어(442)는 그후 임의의 추가 소프트웨어 개입 없이 각각의 프레임에서 후속 픽셀들을 변환할 수 있다. 따라서, 하드웨어(410)는 압축된 비트스트림, 예컨대 비디오 입력(402)을 수신할 수 있고 그 후, 예컨대 히스토그램(422) 및/또는 히스토그램 분석 컴포넌트(460)에서, 히스토그램 분석에 기초하여 프레임들의 각각에 대한 휘도 정보를 결정할 수 있다. 또한 소프트웨어(450)는, 예컨대 히스토그램 분석 컴포넌트(460)를 통해, 비디오 디코더(420)에서 히스토그램들을 호출 또는 질의(interrogate)할 수 있고, 분석을 위해 빈 값들을 검색할 수 있다. 빈들(452)은 다수의 상이한 빈들, 예컨대 1024 개의 빈들을 포함할 수 있다. 이와 같이, 본 발명은 각각의 프레임에서 휘도 정보에 대해 히스토그램 분석을 수행할 수 있다.

도 4에 도시된 바와 같이, 일단 각각의 프레임에서의 휘도 정보에 대해 히스토그램 분석이, 예컨대 히스토그램 분석 컴포넌트(460)에서 수행되면, 각각의 프레임에 대한 휘도 정보의 평균 휘도(462) 및 피크 휘도(464)가 추출될 수 있다. 예를 들어, 히스토그램 분석 동안, 예컨대 히스토그램 분석 컴포넌트(460)에서, 각각의 프레임에 대한 평균 또는 피크 휘도가 휘도 정보에 기초하여 컴퓨팅될 수 있다. 그 후, 이 평균 휘도(462) 및 피크 휘도(464)는 시간 필터 및 변화 검출기(470)로 전송될 수 있다. 시간 필터(470)는 현재 프레임이 이전 프레임들로부터의 시각적으로 현저한 변화를 포함하는지 여부를 결정할 수도 있다. 그 후, 시간 필터 및 변화 검출기(470)는 메타데이터(472) 및/또는 트리거(474)를 톤 매핑 구성 컴포넌트(480)로 전송할 수도 있다.

일부 양태들에서, 현재 프레임이 이전 프레임들과 비교하여 시각적으로 상당한 변화를 포함한다면, 본 개시는 업데이트된 톤 매핑 구성을 계산할 수 있다. 이 업데이트된 톤 매핑 구성은 톤 매핑 구성 컴포넌트(480)에서 계산될 수 있다. 현재 프레임이 이전 프레임들로부터의 시각적으로 현저한 변화를 포함하지 않으면, 본 개시는 업데이트된 톤 매핑 구성의 계산을 스킵할 수 있다. 예를 들어, 업데이트된 톤 매핑 구성의 계산은 많은 양의 전력을 활용할 수도 있어서, 현재 프레임이 이전 프레임들과 유사하면 본 개시는 업데이트된 톤 매핑 구성을 계산하지 않음으로써 전력을 절약할 수 있다.

도 4에 도시된 바와 같이, 시간 필터 및 변화 검출기(470)는 새로운 장면이 새로운 변환 구성 또는 변환 테이블의 생성을 보장할만큼 충분히 변화되는지 여부를 결정하는 것을 도울 수도 있다. 새로운 변환 구성 또는 테이블이 생성되면, 테이블 엔트리들, 예컨대 파라미터들(482)은 디스플레이 프로세싱 유닛(440) 또는 톤 매핑 하드웨어(442)로 전송될 수 있다. 그 후, 톤 매핑 하드웨어(442)는 이들 테이블 엔트리들에 기초하여 픽셀들을 프로세싱할 수 있다. 마지막으로, 전술한 단계들 후에, 프레임에 대한 적색(R) 녹색(G) 청색(B)(RGB) 컬러 데이터는, 예컨대 비디오 출력(492)으로서, 디스플레이로 전송될 수 있다.

도 5는 시간 필터에서의 프로세싱의 도면(500)을 예시한다. 도 5에 도시된 바와 같이, 도면(500)은 이전 프레임 피크 휘도(Pp)(510) 및 현재 프레임 피크 휘도(Pc)(520)를 포함한다. 도면(500)은 또한 차이 연산 단계(530), 톤 매핑 구성 계산 스킵 단계(540), 및 톤 매핑 구성 재계산 단계(550)와 같은 다수의 단계들을 포함한다.

도 5는 전력 최적화를 위해 사용되는 전술한 시간 필터, 예를 들어 시간 필터(470)에 의해 수행되는 프로세싱을 도시한다. 도 5는 전술한 히스토그램 통계, 예를 들어 피크 휘도(464) 및/또는 평균 휘도(462)에 기초한 적응적 필터, 예컨대 시간 필터(470)의 프로세스를 도시한다. 예를 들어, 도 5는 이전 프레임의 피크 휘도와 비교한 현재 프레임의 피크 휘도, 예컨대 피크 휘도(464)에 대한 프로세스를 예시한다. 이러한 동일 프로세스는, 이전 프레임의 평균 휘도와 비교하여 현재 프레임의 평균 휘도, 예컨대 평균 휘도(462)에 대해 수행될 수 있다.

도 5에 도시된 바와 같이, 현재 프레임(Pc)(520)의 피크 휘도는 이전 프레임(Pp)(510), 예를 들어 톤 매핑이 마지막으로 업데이트되었을 때의 프레임의 피크 휘도와 블렌딩되거나 또는 그에 가산될 수 있다. 이러한 블렌딩에 기초하여, 본 개시는 업데이트된 톤 매핑 구성을 보장하기에 Pc와 Pp 사이의 차이가 충분히 상이한지 여부의 결정을 할 수 있다. 도 5에 도시된 바와 같이, Pp(510)는 적응성 컴포넌트(α)로 곱해질 수 있고 Pc(520)는 (1-α)로 곱해질 수 있다. 그 후 이들 값들은 함께 가산되어 블렌딩된 값 [Pp*α] + [Pc*(1-α)]을 생성할 수 있다. 블렌딩된 값 [Pp*α] + [Pc*(1-α)]는 그후, 인컴벤트 값 Pp (510)로부터 감산되어 차이를 생성할 수 있다. 차이가, 예컨대 단계 530에서 결정될 수도 있는, 지각 임계치(T)를 초과하면, 예컨대 톤 매핑 구성 재계산 단계(550)에서, 업데이트된 톤 매핑 계산이 트리거될 수도 있다. 도 5에 도시된 바와 같이, 톤 매핑 구성이 재계산될 때, 버퍼링된 데이터는 Pc의 필터링된 값으로 업데이트될 수 있다. 차이가, 예컨대 단계 530에서 결정된, 지각 임계치(T)보다 작으면, 예컨대 톤 매핑 구성 계산 스킵 단계(540)에서, 업데이트된 톤 매핑 계산은 스킵될 수도 있다.

도 5에 도시된 바와 같이, 본 개시의 양태들은 다음 프레임에 대한 새로운 히스토그램이 존재할 때마다 새로운 톤 매핑 구성의 비용이 많이 드는 연산을 회피할 수도 있다. 예를 들어, 도 5에 도시된 시간 필터는 히스토그램 통계에서의 변화들이 지각 임계치를 초과할 때 톤 매핑 구성 업데이트들을 트리거할 수 있다. 또한, 도 5에 도시된 시간 필터는 히스토그램 통계에서의 변화들이 지각 임계치보다 작거나 동일할 때 업데이트된 톤 매핑 구성의 계산을 스킵함으로써 전력을 절약할 수 있다. 시간 필터는, 단일 임계값 T를 갖는 지각적 균일성을 달성하기 위해 (지각 양자화기(PQ)와 유사한) 로그-니트(log-nits) 도메인에서 동작할 수 있다. 위에서 표시된 바와 같이, 니트는 1 칸델라 매 제곱미터(cd/ m²)의 밝기에 대응한다. 추가적으로, 도 5의 로직과 유사한 필터링 로직은 또한 콘텐츠 평균 휘도 레벨들 또는 현재 프레임 평균 휘도에 적용될 수도 있다. 일부 양태들에서, 전술한 프로세스는 또한, 예컨대 캠코더 사용 경우들에서, 메타데이터가 각각의 프레임을 변경할 때, 비디오 스트림들, 예컨대 HDR10+ 스트림들에 대한 전력을 감소시킬 수 있다.

도 6은 피크 차이(|Pc - Pp|) 대 적응성 컴포넌트(α)를 예시하는 그래프(600)를 예시한다. 도 6에 도시된 바와 같이, 피크 차이는 현재 프레임 피크 휘도(Pc)와 이전 프레임 피크 휘도(Pp)의 절대 차이와 동일할 수 있다. 또한, 그래프(600)는 피크 차이가 증가함에 따라, 적응성 컴포넌트(α)가 감소할 수도 있음을 도시한다.

본 개시의 전술한 시간 필터들은 다수의 이익들 또는 이점들을 포함할 수 있다. 예를 들어, 본 개시의 시간 필터들은 톤 매핑 구성들을 위한 재계산 레이트(rate)들을 상당히 감소시킬 수도 있다. 예를 들어, 본 개시의 시간 필터들은 특정 수의 프레임들, 예컨대 390 개의 프레임들에 대해 특정 포맷들, 예컨대 HDR10+을 위한 0.3%의 톤 매핑 재계산 레이트를 초래할 수도 있다. 추가적으로, 본 개시의 시간 필터들은 특정 수의 프레임들, 예컨대 5266, 5443, 6063, 및 1000 개의 프레임들에 대해 특정 포맷들, 예컨대 HDR10을 위한 각각 4.9%, 0.6%, 7.4%, 및 9.5%의 톤 매핑 계산 레이트들을 초래할 수도 있다. 일부 경우들에서, 본 개시의 시간 필터를 활용하지 않고, 톤 매핑 재계산 레이트들은 각각의 프레임에서 100%, 즉 재계산에 가까울 수도 있다.

추가적으로, 본 개시의 시간 필터들은 톤 매핑 재계산들에 대한 신규성 및 유용성을 제공할 수도 있다. 본 명세서에 표시된 바와 같이, 시간 필터들은 비디오 또는 디스플레이 다이나믹스의 컨텍스트에서 활용될 수도 있다. 시간 필터들은, 전이 레이트들을 제어하고/하거나 플리커(flicker) 아티팩트들을 억제하기 위해 사용될 수도 있다. 또한, 전술한 시간 필터들의 사용은 디스플레이 프로세싱 전력을 감소시키거나 최소화할 신규 방식들을 포함할 수도 있다. 예를 들어, 본 개시는 신규의 지각적으로 균일한 변화 검출 및 임계화 프로세스를 활용할 수도 있다. 또한, 로그-니트 도메인에서의 필터링은 인간 시각 시스템의 감도를 휘도 정보의 변화들에 더 잘 매칭시킬 수도 있다.

도 3a 내지 도 6은 히스토그램 기반 톤 매핑을 위한 전술한 방법들 및 프로세스들의 예들을 예시한다. 도 3a 내지 도 6에 도시된 바와 같이, 본 개시의 양태들, 예컨대 본 명세서의 비디오 프로세서들은 소비되는 전력의 양을 감소시키기 위해 히스토그램 기반 톤 매핑을 위한 다수의 상이한 단계들 또는 프로세스들을 수행할 수 있다. 예를 들어, 본 명세서의 비디오 프로세서들은 이전 프레임 휘도와 현재 프레임 휘도 사이의 차이가 지각 임계치보다 클 때, 업데이트된 톤 매핑 구성을 계산하는 것을 스킵할 수도 있다.

본 명세서에서의 비디오 프로세서들, 예컨대 하드웨어(410)는 복수의 프레임들을 포함하는 비디오 스트림, 예컨대 비디오 입력(402)을 수신할 수도 있으며, 여기서 복수의 프레임들의 각각은 휘도 정보를 포함한다. 일부 경우들에서, 비디오 스트림, 예컨대 비디오 입력(402)은 압축된 비트스트림일 수도 있다.

본 명세서의 비디오 프로세서들, 예컨대 하드웨어(410)는 또한 복수의 프레임들의 각각에 대한 휘도 정보를 메모리, 동적 랜덤 액세스 메모리(DRAM), 예컨대 DRAM(430), 또는 캐시 중 적어도 하나에 저장할 수도 있다.

추가적으로, 본 명세서의 비디오 프로세서들, 예컨대 소프트웨어(450) 또는 하드웨어(410)는 복수의 프레임들의 각각에 대한 휘도 정보에 대해 히스토그램 분석을 수행할 수도 있다. 일부 양태들에서, 복수의 프레임들의 각각에 대한 휘도 정보는 하드웨어 히스토그램 수집 프로세스 또는 동적 메타데이터 중 적어도 하나로부터 도출되거나 추출될 수도 있다.

본 명세서의 비디오 프로세서들, 예컨대 소프트웨어(450)는 또한 복수의 프레임들의 각각에 대한, 휘도 정보의 평균 휘도, 예컨대 평균 휘도(462), 또는 휘도 정보의 피크 휘도, 예컨대 피크 휘도(464) 중 적어도 하나를 계산할 수도 있다.

본 명세서의 비디오 프로세서들, 예컨대 소프트웨어(450)는 또한, 예컨대 시간 필터(470)에서, 복수의 프레임들의 각각에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 큰지 여부를 결정할 수도 있다. 도 5에 도시된 바와 같이, 이 프로세스는 단계 530에 의해 수행될 수도 있다.

본 명세서의 비디오 프로세서들, 예컨대 소프트웨어(450)는 또한 복수의 프레임들의 각각에 대한 평균 휘도, 예컨대 평균 휘도(462) 또는 피크 휘도, 예컨대 피크 휘도(464) 중 적어도 하나를 지각적으로 균일한 도메인으로 컨버팅할 수도 있다. 일부 경우들에서, 지각적으로 균일한 도메인은 로그-니트일 수도 있다.

본 명세서의 비디오 프로세서들, 예컨대 소프트웨어(450)는 또한 프레임에 대한 평균 휘도, 예컨대 평균 휘도(462), 또는 피크 휘도, 예컨대 피크 휘도(464) 중 적어도 하나와 현재 휘도 분포의 평균 휘도 또는 현재 휘도 분포의 피크 휘도 중 적어도 하나 사이의 비교를 수행할 수도 있다. 일부 양태들에서, 비교는 예컨대 톤 매핑 구성 컴포넌트(480)에서, 프레임에 대한 평균 휘도 또는 피크 휘도 중 적어도 하나와 현재 휘도 분포의 평균 휘도 또는 현재 휘도 분포의 피크 휘도 중 적어도 하나 사이의 절대 차이를 계산하는 것을 포함할 수도 있다. 절대 차이는 지각 임계치에 비교될 수도 있다. 예를 들어, 이 과정은 도 5의 단계 530에서 수행될 수도 있다. 또한, 비교는 적응적 시간 필터로 수행될 수도 있다. 일부 경우들에서, 적응적 시간 필터는 적응성 컴포넌트(α), 예컨대 도 5에서의 적응성 컴포넌트(α)를 포함하는 적응적 재귀(recursive) 필터일 수도 있다.

본 명세서의 비디오 프로세서들, 예컨대 소프트웨어(450) 또는 하드웨어(410)는 또한, 예컨대 톤 매핑 구성 컴포넌트(480)에서, 프레임에 대한 휘도 정보와 현재의 휘도 분포 사이의 차이가 지각 임계치보다 클 때 프레임에 대한 휘도 정보에 기초하여, 업데이트된 톤 매핑 구성을 계산할 수도 있다. 예를 들어, 이 과정은 도 5의 단계 550에서 수행될 수도 있다.

본 명세서의 비디오 프로세서들, 예컨대 소프트웨어(450) 또는 하드웨어(410)는 또한, 예컨대 톤 매핑 구성 컴포넌트(480)에서, 프레임에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 작거나 동일할 때, 업데이트된 톤 매핑 구성을 계산하는 것을 스킵할 수도 있다. 예를 들어, 이 과정은 도 5의 단계 540에서 수행될 수도 있다. 일부 양태들에서, 업데이트된 톤 매핑 구성을 계산하는 것을 스킵하는 것은 활용되는 전력의 양의 감소와 연관될 수도 있다.

도 7는 본 개시의 하나 이상의 기법들에 따른 예시적인 방법의 플로우차트(700)를 예시한다. 방법은 비디오 프로세서, 프레임 프로세서, 비디오 디코더, 비디오 프로세싱 하드웨어, 비디오 프로세싱 소프트웨어, 디스플레이 프로세싱 유닛(DPU), 히스토그램, 또는 비디오 또는 프레임 프로세싱을 위한 장치와 같은 장치에 의해 수행될 수도 있다.

702에서, 도 3a, 도 3b, 도 3c, 도 4, 도 5, 및 도 6의 예들과 관련하여 설명된 바와 같이, 장치는 복수의 프레임들을 포함하는 비디오 스트림을 수신할 수도 있으며, 복수의 프레임들의 각각은 휘도 정보를 포함한다. 일부 경우들에서, 도 3a, 도 3b, 도 3c, 도 4, 도 5, 및 도 6에서의 예들과 관련하여 설명된 바와 같이, 비디오 스트림은 압축된 비트스트림일 수도 있다.

704에서, 도 3a, 도 3b, 도 3c, 도 4, 도 5, 및 도 6에서의 예들과 관련하여 설명된 바와 같이, 장치는 복수의 프레임들의 각각에 대한 휘도 정보를 메모리, 동적 랜덤 액세스 메모리(DRAM), 또는 캐시 중 적어도 하나에 저장할 수도 있다.

706에서, 도 3a, 도 3b, 도 3c, 도 4, 도 5, 및 도 6에서의 예들과 관련하여 설명된 바와 같이, 장치는 복수의 프레임들의 각각에 대한 휘도 정보에 대해 히스토그램 분석을 수행할 수도 있다. 일부 양태들에서, 도 3a, 도 3b, 도 3c, 도 4, 도 5, 및 도 6에서의 예들과 관련하여 설명된 바와 같이, 복수의 프레임들의 각각에 대한 휘도 정보는 하드웨어 히스토그램 수집 프로세스 또는 동적 메타데이터 중 적어도 하나로부터 도출되거나 추출될 수도 있다.

708에서, 도 3a, 도 3b, 도 3c, 도 4, 도 5, 및 도 6에서의 예들과 관련하여 설명된 바와 같이, 장치는 복수의 프레임들의 각각에 대한 휘도 정보의 평균 휘도 또는 휘도 정보의 피크 휘도 중 적어도 하나를 계산할 수도 있다.

710에서, 도 3a, 도 3b, 도 3c, 도 4, 도 5 및 도 6에서의 예들과 관련하여 설명된 바와 같이, 장치는 복수의 프레임들의 각각에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 큰지 여부를 결정할 수도 있다.

712에서, 장치는 복수의 프레임들의 각각에 대한 평균 휘도 또는 피크 휘도 중 적어도 하나를 지각적으로 균일한 도메인으로 컨버팅할 수도 있다. 일부 경우들에서, 도 3a, 도 3b, 도 3c, 도 4, 도 5 및 도 6에서의 예들과 관련하여 설명된 바와 같이, 지각적으로 균일한 도메인은 로그-니트일 수도 있다.

714에서, 도 3a, 도 3b, 도 3c, 도 4, 도 5 및 도 6에서의 예들과 관련하여 설명된 바와 같이, 장치는 프레임에 대한 평균 휘도 또는 피크 휘도 중 적어도 하나와 현재 휘도 분포의 평균 휘도 또는 현재 휘도 분포의 피크 휘도 중 적어도 하나 사이의 비교를 수행할 수도 있다. 일부 양태들에서, 도 3a, 도 3b, 도 3c, 도 4, 도 5, 및 도 6에서의 예들과 관련하여 설명된 바와 같이, 비교는 프레임에 대한 평균 휘도 또는 피크 휘도 중 적어도 하나와 현재 휘도 분포의 평균 휘도 또는 현재 휘도 분포의 피크 휘도 중 적어도 하나 사이의 절대 차이를 계산하는 것을 포함할 수도 있다. 절대 차이는, 도 3a, 도 3b, 도 3c, 도 4, 도 5 및 도 6에서의 예와 관련하여 설명된 바와 같이, 지각 임계치에 비교될 수도 있다. 또한, 도 3a, 도 3b, 도 3c, 도 4, 도 5 및 도 6에서의 예들과 관련하여 설명된 바와 같이, 적응적 시간 필터로 비교가 수행될 수도 있다. 일부 경우들에서, 도 3a, 도 3b, 도 3c, 도 4, 도 5 및 도 6에서의 예들과 관련하여 설명된 바와 같이, 적응적 시간 필터는 적응성 컴포넌트(α)를 포함하는 적응적 재귀 필터일 수도 있다.

716에서, 도 3a, 도 3b, 도 3c, 도 4, 도 5 및 도 6에서의 예들과 관련하여 설명된 바와 같이, 장치는 프레임에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 더 클 때, 프레임에 대한 휘도 정보에 기초하여, 업데이트된 톤 매핑 구성을 계산할 수도 있다.

718에서, 도 3a, 도 3b, 도 3c, 도 4, 도 5 및 도 6에서의 예들과 관련하여 설명된 바와 같이, 장치는 프레임에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 작거나 동일할 때, 업데이트된 톤 매핑 구성을 계산하는 것을 스킵할 수도 있다. 일부 양태들에서, 업데이트된 톤 매핑 구성을 계산하는 것을 스킵하는 것은, 도 3a, 도 3b, 도 3c, 도 4, 도 5 및 도 6에서의 예들과 관련하여 설명된 바와 같이, 활용되는 전력의 양의 감소와 연관될 수도 있다.

일 구성에서, 그래픽 프로세싱을 위한 방법 또는 장치가 제공된다. 장치는 비디오 프로세서, 프레임 프로세서, 비디오 디코더, 비디오 프로세싱 하드웨어, 비디오 프로세싱 소프트웨어, 디스플레이 프로세싱 유닛(DPU), 히스토그램, 및/또는 비디오 또는 프레임 프로세싱을 수행할 수 있는 임의의 장치일 수도 있다. 일 양태에서, 장치는 디바이스(104) 내의 프로세싱 유닛(120)일 수도 있고, 또는 디바이스(104) 또는 다른 디바이스 내의 일부 다른 하드웨어일 수도 있다. 장치는 복수의 프레임들을 포함하는 비디오 스트림을 수신하기 위한 수단들을 포함할 수도 있으며, 복수의 프레임들의 각각은 휘도 정보를 포함한다. 장치는 또한 복수의 프레임들의 각각에 대한 휘도 정보에 대해 히스토그램 분석을 수행하기 위한 수단을 포함할 수도 있다. 장치는 또한, 복수의 프레임들의 각각에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 큰지 여부를 결정하기 위한 수단을 포함할 수도 있다. 장치는 또한, 프레임에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 클 때, 프레임에 대한 휘도 정보에 기초하여, 업데이트된 톤 매핑 구성을 계산하기 위한 수단을 포함할 수도 있다. 장치는 또한, 프레임에 대한 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 작거나 동일할 때, 업데이트된 톤 매핑 구성을 계산하는 것을 스킵하기 위한 수단을 포함할 수도 있다. 장치는 또한, 복수의 프레임들의 각각에 대한 휘도 정보의 평균 휘도 및 휘도 정보의 피크 휘도 중 적어도 하나를 계산하기 위한 수단을 포함할 수도 있다. 장치는 또한, 프레임에 대한 평균 휘도 또는 피크 휘도 중 적어도 하나와 현재 휘도 분포의 평균 휘도 또는 현재 휘도 분포의 피크 휘도 중 적어도 하나 사이의 비교를 수행하기 위한 수단을 포함할 수도 있다. 장치는 또한, 복수의 프레임들의 각각에 대한 평균 휘도 또는 피크 휘도 중 적어도 하나를 지각적으로 균일한 도메인으로 컨버팅하기 위한 수단을 포함할 수도 있다. 장치는 또한, 복수의 프레임들의 각각에 대한 휘도 정보를 메모리, 동적 랜덤 액세스 메모리(DRAM), 또는 캐시 중 적어도 하나에 저장하기 위한 수단을 포함할 수도 있다.

본 명세서에서 설명된 주제는 하나 이상의 이익들 또는 이점들을 실현하도록 구현될 수 있다. 예를 들어, 설명된 비디오 또는 프레임 프로세싱 기법들은 비디오 프로세서, 프레임 프로세서, 비디오 디코더, 비디오 프로세싱 하드웨어, 비디오 프로세싱 소프트웨어, 디스플레이 프로세싱 유닛(DPU), 히스토그램, 또는 본 명세서에 설명된 히스토그램 기반 톤 매핑 기법들을 구현하기 위해 비디오 또는 프레임 프로세싱을 수행할 수 있는 일부 다른 프로세서에 의해 사용될 수 있다. 이는 또한 다른 비디오 또는 프레임 프로세싱 기법들에 비해 낮은 비용으로 달성될 수 있다. 게다가, 본 명세서에서의 비디오 또는 프레임 프로세싱 기법들은 비디오 프로세싱 또는 실행을 개선시키거나 가속화할 수 있다. 더욱이, 본 명세서에서의 비디오 또는 프레임 프로세싱 기법들은 리소스 또는 데이터 활용 및/또는 리소스 효율성을 개선시킬 수 있다. 추가적으로, 본 개시의 양태들은 전력을 절약하고, 프로세싱 시간을 개선시키고, 레이턴시를 감소시키고, 그리고/또는 성능 오버헤드를 감소시키기 위해 히스토그램 기반 톤 매핑 기법들을 활용할 수 있다.

본 개시에 따라, 용어 "또는"은 문맥이 달리 지시하지 않는 경우 "및/또는"으로서 해석될 수도 있다. 추가적으로, "하나 이상" 또는 "적어도 하나" 등과 같은 어구들이 본 명세서에 개시된 일부 특징들에 대해 사용되었을 수도 있지만, 이러한 언어가 사용되지 않은 특징들은 문맥이 달리 지시하지 않는 경우 그러한 의미가 암시되는 것으로 해석될 수도 있다.

하나 이상의 예들에서, 본 명세서에 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 예를 들어, 용어 "프로세싱 유닛"이 본 개시 전체에 걸쳐 사용되었지만, 그러한 프로세싱 유닛들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합에서 구현될 수도 있다. 임의의 기능, 프로세싱 유닛, 본 명세서에 설명된 기법, 또는 다른 모듈이 소프트웨어에서 구현되는 경우, 기능, 프로세싱 유닛, 본 명세서에 설명된 기법, 또는 다른 모듈은 하나 이상의 명령들 또는 코드로서 컴퓨터 판독가능 매체 상에 저장되거나 이를 통해 전송될 수도 있다. 컴퓨터 판독가능 매체들은 한 장소로부터 다른 장소로의 컴퓨터 프로그램의 전송을 용이하게 하는 임의의 매체를 포함하는 통신 매체들 또는 컴퓨터 데이터 저장 매체들을 포함할 수도 있다. 이러한 방식으로, 컴퓨터 판독가능 매체들은 일반적으로 (1) 비일시적인, 유형의(tangible) 컴퓨터 판독가능 저장 매체들 또는 (2) 신호 또는 캐리어파와 같은 통신 매체에 대응할 수도 있다. 데이터 저장 매체들은 본 개시에서 설명된 기법들의 구현을 위한 명령들, 코드, 및/또는 데이터 구조들을 검색하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수도 있다. 한정이 아닌 예로서, 그러한 컴퓨터 판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스들을 포함할 수 있다. 본 명세서에서 사용된 바와 같은, 디스크(disk) 및 디스크(disc)는 CD(compact disc), 레이저 디스크, 광학 디스크, DVD(digital versatile disc), 플로피 디스크 및 블루레이 디스크를 포함하며, 여기서 디스크(disk)들은 보통 데이터를 자기적으로 재현하는 반면, 디스크(disc)들은 레이저들로 데이터를 광학적으로 재현한다. 상기의 조합들은 또한 컴퓨터 판독가능 매체들의 범위 내에 포함되어야 한다. 컴퓨터 프로그램 제품은 컴퓨터 판독가능 매체를 포함할 수도 있다.

코드는, 하나 이상의 디지털 신호 프로세서(DSP)들, 범용 마이크로프로세서들, 주문형 집적 회로(ASIC)들, 산술 논리 유닛(ALU)들, 필드 프로그래밍가능 로직 어레이(FPGA)들, 또는 다른 균등한 집적 또는 이산 논리 회로부와 같은 하나 이상의 프로세서들에 의해 실행될 수도 있다. 이에 따라, 본 명세서에서 사용된 바와 같은 용어 "프로세서"는 전술한 구조 또는 본 명세서에서 설명된 기법들의 구현에 적합한 임의의 다른 구조 중 임의의 것을 지칭할 수도 있다. 또한, 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들에서 완전히 구현될 수도 있다.

본 개시의 기법들은, 무선 핸드셋, 집적 회로(IC) 또는 IC들의 세트, 예컨대 칩 세트를 포함하여, 광범위하게 다양한 디바이스들 또는 장치들에서 구현될 수도 있다. 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적인 양태들을 강조하기 위해 다양한 컴포넌트들, 모듈들 또는 유닛들이 본 개시에 설명되지만, 상이한 하드웨어 유닛들에 의한 실현을 반드시 필요로 하는 것은 아니다. 오히려, 위에서 설명된 바와 같이, 다양한 유닛들이 임의의 하드웨어 유닛에 결합될 수도 있거나, 적합한 소프트웨어 및/또는 펌웨어와 함께, 위에서 설명된 바와 같은 하나 이상의 프로세서들을 포함하는 상호동작적인 하드웨어 유닛들의 집합에 의해 제공될 수도 있다.

다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.

Claims

비디오 프로세싱의 방법으로서,
복수의 프레임들을 포함하는 비디오 스트림을 수신하는 단계로서, 상기 복수의 프레임들의 각각은 휘도 정보를 포함하는, 상기 비디오 스트림을 수신하는 단계;
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보에 대해 히스토그램 분석을 수행하는 단계;
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 큰지 여부를 결정하는 단계; 및
프레임에 대한 상기 휘도 정보와 상기 현재 휘도 분포 사이의 상기 차이가 상기 지각 임계치보다 클 때, 상기 프레임에 대한 상기 휘도 정보에 기초하여, 업데이트된 톤 매핑 구성을 계산하는 단계를 포함하는, 비디오 프로세싱의 방법.
제 1 항에 있어서,
상기 프레임에 대한 상기 휘도 정보와 상기 현재 휘도 분포 사이의 상기 차이가 상기 지각 임계치보다 작거나 동일할 때, 상기 업데이트된 톤 매핑 구성을 계산하는 것을 스킵하는 단계를 더 포함하는, 비디오 프로세싱의 방법.
제 2 항에 있어서,
상기 업데이트된 톤 매핑 구성을 계산하는 것을 스킵하는 단계는, 활용되는 전력의 양의 감소와 연관되는, 비디오 프로세싱의 방법.
제 1 항에 있어서,
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보의 평균 휘도 또는 상기 휘도 정보의 피크 휘도 중 적어도 하나를 계산하는 단계를 더 포함하는, 비디오 프로세싱의 방법.
제 4 항에 있어서,
상기 프레임에 대한 상기 평균 휘도 또는 상기 피크 휘도 중 적어도 하나와 상기 현재 휘도 분포의 평균 휘도 또는 상기 현재 휘도 분포의 피크 휘도 중 적어도 하나 사이의 비교를 수행하는 단계를 더 포함하는, 비디오 프로세싱의 방법.
제 5 항에 있어서,
상기 비교는, 상기 프레임에 대한 상기 평균 휘도 또는 상기 피크 휘도 중 적어도 하나와 상기 현재 휘도 분포의 상기 평균 휘도 또는 상기 현재 휘도 분포의 상기 피크 휘도 중 적어도 하나 사이의 절대 차이를 계산하는 것을 포함하는, 비디오 프로세싱의 방법.
제 6 항에 있어서,
상기 절대 차이는 상기 지각 임계치에 비교되는, 비디오 프로세싱의 방법.
제 5 항에 있어서,
상기 비교는 적응적 시간 필터로 수행되는, 비디오 프로세싱의 방법.
제 8 항에 있어서,
상기 적응적 시간 필터는, 적응성 컴포넌트(α)를 포함하는 적응적 재귀 필터인, 비디오 프로세싱의 방법.
제 4 항에 있어서,
상기 복수의 프레임들의 각각에 대한 상기 평균 휘도 또는 상기 피크 휘도 중 적어도 하나를 지각적으로 균일한 도메인으로 컨버팅하는 단계를 더 포함하는, 비디오 프로세싱의 방법.
제 10 항에 있어서,
상기 지각적으로 균일한 도메인은 로그-니트인, 비디오 프로세싱의 방법.
제 1 항에 있어서,
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보를 메모리, 동적 랜덤 액세스 메모리(DRAM), 또는 캐시 중 적어도 하나에 저장하는 단계를 더 포함하는, 비디오 프로세싱의 방법.
제 1 항에 있어서,
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보는 하드웨어 히스토그램 수집 프로세스 또는 동적 메타데이터 중 적어도 하나로부터 도출되거나 추출되는, 비디오 프로세싱의 방법.
제 1 항에 있어서,
상기 비디오 스트림은 압축된 비트스트림인, 비디오 프로세싱의 방법.
비디오 프로세싱을 위한 장치로서,
메모리; 및
상기 메모리에 커플링되는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는:
복수의 프레임들을 포함하는 비디오 스트림을 수신하는 것으로서, 상기 복수의 프레임들의 각각은 휘도 정보를 포함하는, 상기 비디오 스트림을 수신하고;
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보에 대해 히스토그램 분석을 수행하고;
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 큰지 여부를 결정하고; 그리고
프레임에 대한 상기 휘도 정보와 상기 현재 휘도 분포 사이의 상기 차이가 상기 지각 임계치보다 클 때, 상기 프레임에 대한 상기 휘도 정보에 기초하여, 업데이트된 톤 매핑 구성을 계산하도록
구성되는, 비디오 프로세싱을 위한 장치.
제 15 항에 있어서,
상기 적어도 하나의 프로세서는 추가로:
상기 프레임에 대한 상기 휘도 정보와 상기 현재 휘도 분포 사이의 상기 차이가 상기 지각 임계치보다 작거나 동일할 때, 상기 업데이트된 톤 매핑 구성을 계산하는 것을 스킵하도록 구성되는, 비디오 프로세싱을 위한 장치.
제 16 항에 있어서,
상기 업데이트된 톤 매핑 구성을 계산하는 것을 스킵하는 것은, 활용되는 전력의 양의 감소와 연관되는, 비디오 프로세싱을 위한 장치.
제 15 항에 있어서,
상기 적어도 하나의 프로세서는 추가로:
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보의 평균 휘도 또는 상기 휘도 정보의 피크 휘도 중 적어도 하나를 계산하도록 구성되는, 비디오 프로세싱을 위한 장치.
제 18 항에 있어서,
상기 적어도 하나의 프로세서는 추가로:
상기 프레임에 대한 상기 평균 휘도 또는 상기 피크 휘도 중 적어도 하나와 상기 현재 휘도 분포의 평균 휘도 또는 상기 현재 휘도 분포의 피크 휘도 중 적어도 하나 사이의 비교를 수행하도록 구성되는, 비디오 프로세싱을 위한 장치.
제 19 항에 있어서,
상기 비교는, 상기 프레임에 대한 상기 평균 휘도 또는 상기 피크 휘도 중 적어도 하나와 상기 현재 휘도 분포의 상기 평균 휘도 또는 상기 현재 휘도 분포의 상기 피크 휘도 중 적어도 하나 사이의 절대 차이를 계산하는 것을 포함하는, 비디오 프로세싱을 위한 장치.
제 20 항에 있어서,
상기 절대 차이는 상기 지각 임계치에 비교되는, 비디오 프로세싱을 위한 장치.
제 19 항에 있어서,
상기 비교는 적응적 시간 필터로 수행되는, 비디오 프로세싱을 위한 장치.
제 22 항에 있어서,
상기 적응적 시간 필터는, 적응성 컴포넌트(α)를 포함하는 적응적 재귀 필터인, 비디오 프로세싱을 위한 장치.
제 18 항에 있어서,
상기 적어도 하나의 프로세서는 추가로:
상기 복수의 프레임들의 각각에 대한 상기 평균 휘도 또는 상기 피크 휘도 중 적어도 하나를 지각적으로 균일한 도메인으로 컨버팅하도록 구성되는, 비디오 프로세싱을 위한 장치.
제 24 항에 있어서,
상기 지각적으로 균일한 도메인은 로그-니트인, 비디오 프로세싱을 위한 장치.
제 15 항에 있어서,
상기 적어도 하나의 프로세서는 추가로:
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보를 메모리, 동적 랜덤 액세스 메모리(DRAM), 또는 캐시 중 적어도 하나에 저장하도록 구성되는, 비디오 프로세싱을 위한 장치.
제 15 항에 있어서,
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보는 하드웨어 히스토그램 수집 프로세스 또는 동적 메타데이터 중 적어도 하나로부터 도출되거나 추출되는, 비디오 프로세싱을 위한 장치.
제 15 항에 있어서,
상기 비디오 스트림은 압축된 비트스트림인, 비디오 프로세싱을 위한 장치.
비디오 프로세싱을 위한 장치로서,
복수의 프레임들을 포함하는 비디오 스트림을 수신하기 위한 수단으로서, 상기 복수의 프레임들의 각각은 휘도 정보를 포함하는, 상기 비디오 스트림을 수신하기 위한 수단;
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보에 대해 히스토그램 분석을 수행하기 위한 수단;
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 큰지 여부를 결정하기 위한 수단; 및
프레임에 대한 상기 휘도 정보와 상기 현재 휘도 분포 사이의 상기 차이가 상기 지각 임계치보다 클 때, 상기 프레임에 대한 상기 휘도 정보에 기초하여, 업데이트된 톤 매핑 구성을 계산하기 위한 수단을 포함하는, 비디오 프로세싱을 위한 장치.
제 29 항에 있어서,
상기 프레임에 대한 상기 휘도 정보와 상기 현재 휘도 분포 사이의 상기 차이가 상기 지각 임계치보다 작거나 동일할 때, 상기 업데이트된 톤 매핑 구성을 계산하는 것을 스킵하기 위한 수단을 더 포함하는, 비디오 프로세싱을 위한 장치.
제 30 항에 있어서,
상기 업데이트된 톤 매핑 구성을 계산하는 것을 스킵하는 것은, 활용되는 전력의 양의 감소와 연관되는, 비디오 프로세싱을 위한 장치.
제 29 항에 있어서,
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보의 평균 휘도 또는 상기 휘도 정보의 피크 휘도 중 적어도 하나를 계산하기 위한 수단을 더 포함하는, 비디오 프로세싱을 위한 장치.
제 32 항에 있어서,
상기 프레임에 대한 상기 평균 휘도 또는 상기 피크 휘도 중 적어도 하나와 상기 현재 휘도 분포의 평균 휘도 또는 상기 현재 휘도 분포의 피크 휘도 중 적어도 하나 사이의 비교를 수행하기 위한 수단을 더 포함하는, 비디오 프로세싱을 위한 장치.
제 33 항에 있어서,
상기 비교는, 상기 프레임에 대한 상기 평균 휘도 또는 상기 피크 휘도 중 적어도 하나와 상기 현재 휘도 분포의 상기 평균 휘도 또는 상기 현재 휘도 분포의 상기 피크 휘도 중 적어도 하나 사이의 절대 차이를 계산하는 것을 포함하는, 비디오 프로세싱을 위한 장치.
제 34 항에 있어서,
상기 절대 차이는 상기 지각 임계치에 비교되는, 비디오 프로세싱을 위한 장치.
제 33 항에 있어서,
상기 비교는 적응적 시간 필터로 수행되는, 비디오 프로세싱을 위한 장치.
제 36 항에 있어서,
상기 적응적 시간 필터는, 적응성 컴포넌트(α)를 포함하는 적응적 재귀 필터인, 비디오 프로세싱을 위한 장치.
제 32 항에 있어서,
상기 복수의 프레임들의 각각에 대한 상기 평균 휘도 또는 상기 피크 휘도 중 적어도 하나를 지각적으로 균일한 도메인으로 컨버팅하기 위한 수단을 더 포함하는, 비디오 프로세싱을 위한 장치.
제 38 항에 있어서,
상기 지각적으로 균일한 도메인은 로그-니트인, 비디오 프로세싱을 위한 장치.
제 29 항에 있어서,
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보를 메모리, 동적 랜덤 액세스 메모리(DRAM), 또는 캐시 중 적어도 하나에 저장하기 위한 수단을 더 포함하는, 비디오 프로세싱을 위한 장치.
제 29 항에 있어서,
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보는 하드웨어 히스토그램 수집 프로세스 또는 동적 메타데이터 중 적어도 하나로부터 도출되거나 추출되는, 비디오 프로세싱을 위한 장치.
제 29 항에 있어서,
상기 비디오 스트림은 압축된 비트스트림인, 비디오 프로세싱을 위한 장치.
비디오 프로세싱을 위한 컴퓨터 실행가능 코드를 저장하는 컴퓨터 판독가능 저장 매체로서,
상기 코드는, 프로세서에 의해 실행될 때 상기 프로세서로 하여금:
복수의 프레임들을 포함하는 비디오 스트림을 수신하게 하는 것으로서, 상기 복수의 프레임들의 각각은 휘도 정보를 포함하는, 상기 비디오 스트림을 수신하게 하고;
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보에 대해 히스토그램 분석을 수행하게 하고;
상기 복수의 프레임들의 각각에 대한 상기 휘도 정보와 현재 휘도 분포 사이의 차이가 지각 임계치보다 큰지 여부를 결정하게 하고; 그리고
프레임에 대한 상기 휘도 정보와 상기 현재 휘도 분포 사이의 상기 차이가 상기 지각 임계치보다 클 때, 상기 프레임에 대한 상기 휘도 정보에 기초하여, 업데이트된 톤 매핑 구성을 계산하게 하는, 컴퓨터 판독가능 저장 매체.