KR20230101803A - 구역 불연속성에 기반한 모션 추정 - Google Patents

Abstract

본 개시내용은 장치, 예를 들어, GPU를 포함하는 이미지 또는 프레임 프로세싱을 위한 방법들 및 디바이스들에 관한 것이다. 일부 양상들에서, 장치는 제1 프레임의 적어도 하나의 제1 구역과 제2 프레임의 적어도 하나의 제2 구역 사이의 불연속성을 식별할 수 있고, 적어도 하나의 제1 구역은 적어도 하나의 제2 구역에 대응한다. 장치는 또한, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치 이상인지 여부를 결정할 수 있다. 장치는 또한, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치 이상인 경우에, 적어도 하나의 제1 구역 및 적어도 하나의 제2 구역에 대한 모션 추정을 스킵할 수 있다.

Description

구역 불연속성에 기반한 모션 추정

관련 출원에 대한 상호참조

[0001] 본 출원은, 2020년 11월 2일에 출원되고 발명의 명칭이 "METHODS AND APPARATUS FOR MOTION ESTIMATION BASED ON REGION DISCONTINUITY"인 미국 특허 출원 번호 제17/087,528호의 이익을 주장하며, 이는 그 전체가 인용에 의해 본원에 명백히 포함된다.

[0002] 본 개시내용은 일반적으로 프로세싱 시스템들에 관한 것으로, 더 상세하게는, 이미지 또는 프레임 프로세싱을 위한 하나 이상의 기법들에 관한 것이다.

[0003] 컴퓨팅 디바이스들은 종종, 디스플레이를 위한 그래픽 데이터의 렌더링을 가속하기 위해 GPU(graphics processing unit)를 활용한다. 그러한 컴퓨팅 디바이스들은, 예를 들어, 컴퓨터 워크스테이션들, 모바일 폰들, 이를테면, 소위 스마트폰들, 임베디드 시스템들, 개인용 컴퓨터들, 태블릿 컴퓨터들, 및 비디오 게임 콘솔들을 포함할 수 있다. GPU들은, 그래픽스 프로세싱 커맨드들을 실행하고 프레임을 출력하도록 함께 동작하는 하나 이상의 프로세싱 스테이지들을 포함하는 그래픽스 프로세싱 파이프라인을 실행한다. CPU(central processing unit)는 하나 이상의 그래픽스 프로세싱 커맨드들을 GPU에 발행함으로써 GPU의 동작을 제어할 수 있다. 현대의 CPU들은 통상적으로 다수의 애플리케이션들을 동시에 실행할 수 있으며, 이들 각각은 실행 동안 GPU를 활용할 필요가 있을 수 있다. 디스플레이 상에서의 시각적 프리젠테이션을 위한 콘텐츠를 제공하는 디바이스는 일반적으로 GPU를 포함한다.

[0004] 통상적으로, 디바이스의 GPU는 그래픽스 프로세싱 파이프라인에서 프로세스들을 수행하도록 구성된다. 그러나, 무선 통신 및 더 작은 핸드헬드 디바이스들의 도래로 인해, 개선된 그래픽스 프로세싱에 대한 증가된 필요성이 전개되었다.

[0005] 다음은, 하나 이상의 양상들의 기본적인 이해를 제공하기 위해 그러한 양상들의 간략화된 요약을 제시한다. 이러한 요약은 모든 고려된 양상들의 포괄적인 개요가 아니며, 모든 양상들의 핵심 엘리먼트들을 식별하거나 임의의 또는 모든 양상들의 범위를 기술하지 않는 것으로 의도된다. 이러한 요약의 유일한 목적은, 이후에 제시되는 더 상세한 설명에 대한 서론으로서 간략화된 형태로 하나 이상의 양상들의 일부 개념들을 제시하는 것이다.

[0006] 본 개시내용의 양상에서, 방법, 컴퓨터-판독가능 매체, 및 장치가 제공된다. 장치는 GPU, CPU, 이미지 프로세서, 프레임 프로세서, DPU(display processing unit), 및/또는 이미지 또는 프레임 프로세싱을 수행할 수 있는 임의의 장치일 수 있다. 장치는 제1 프레임이 수신된 후에 제2 프레임을 수신할 수 있다. 장치는 또한 제1 프레임의 적어도 하나의 제1 구역을 제2 프레임의 적어도 하나의 제2 구역과 비교할 수 있다. 장치는 또한, 제1 프레임의 적어도 하나의 제1 구역과 제2 프레임의 적어도 하나의 제2 구역 사이의 불연속성을 식별할 수 있고, 적어도 하나의 제1 구역은 적어도 하나의 제2 구역에 대응하고, 제1 프레임은 복수의 제1 구역들을 포함하고, 제2 프레임은 복수의 제2 구역들을 포함하고, 제1 프레임 및 제2 프레임은 복수의 프레임들과 연관된다. 추가적으로, 장치는 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치 이상인지 여부를 결정할 수 있다. 장치는 또한, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치 이상인 경우, 적어도 하나의 제1 구역 및 적어도 하나의 제2 구역에 대한 모션 추정을 스킵할 수 있다. 더욱이, 장치는 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치보다 작은 경우, 적어도 하나의 제1 구역 및 적어도 하나의 제2 구역에 대한 모션 추정을 수행할 수 있다. 장치는 또한, 수행된 모션 추정에 기초하여 제3 프레임을 구성할 수 있고, 여기서 구성된 제3 프레임은 프레임 외삽 프로세스와 연관될 수 있다.

[0007] 본 개시내용의 하나 이상의 예들의 세부사항들은 첨부 도면들 및 아래의 설명에서 제시된다. 본 개시내용의 다른 특징들, 목적들, 및 이점들은 설명 및 도면들로부터 그리고 청구항들로부터 명백할 것이다.

[0008] 도 1은 본 개시내용의 하나 이상의 기법들에 따른 예시적인 콘텐츠 생성 시스템을 예시하는 블록도이다.
[0009] 도 2는 본 개시내용의 하나 이상의 기법들에 따른 예시적인 GPU를 예시한다.
[0010] 도 3은 본 개시내용의 하나 이상의 기법들에 따른 예시적인 이미지 또는 표면을 예시한다.
[0011] 도 4a 및 도 4b는 본 개시내용의 하나 이상의 기법들에 따른 예시적인 프레임들을 예시한다.
[0012] 도 5는 본 개시내용의 하나 이상의 기법들에 따른 이미지 프로세싱의 예시적인 도면을 예시한다.
[0013] 도 6은 본 개시내용의 하나 이상의 기법들에 따른 이미지 프로세싱의 예시적인 도면을 예시한다.
[0014] 도 7은 본 개시내용의 하나 이상의 기법들에 따른 이미지 프로세싱 컴포넌트들의 예시적인 도면을 예시한다.
[0015] 도 8은 본 개시내용의 하나 이상의 기법들에 따른 예시적인 방법의 예시적인 흐름도를 예시한다.

[0016] XR(extended reality), AR(augmented reality), 또는 VR(virtual reality) 애플리케이션들은, 전력 및 성능 효율에 대한 까다로운 제약들 하에 있을 수 있는 특정 디바이스들, 예를 들어, 모바일 디바이스들 또는 스마트폰들과 함께 활용될 수 있다. 이러한 제약들을 완화하기 위해, 모션 추정은 이전에 렌더링된 콘텐츠에 대해 수행되고 그리고/또는 프레임들을 외삽하는 데 사용될 수 있다. 모션 추정은 때때로 잘 작동할 수 있지만, 콘텐츠는 이를테면, 프레임 단위로 프레임들 사이에서 트랜지션할 때 불연속적일 수 있다. 이러한 경우들에서, 모션 추정을 수행하는 것은 프레임들 사이의 불연속 콘텐츠에 기초하여, 부정확한 데이터, 예를 들어, 부정확한 또는 스퓨리어스(spurious) 모션 추정 데이터를 초래할 수 있다. 이러한 부정확한 데이터는 모션 추정에 기초하여 불량한 또는 불완전한 프레임 외삽을 초래할 수 있다. 일부 예시들에서, 이러한 불연속 프레임들에 걸쳐 적용되는 모션 추정 및/또는 프레임 외삽은 랜덤 또는 부정확한 모션 벡터들을 생성할 수 있다. 더욱이, 불연속 프레임들로부터 생성되는 이러한 랜덤 또는 부정확한 모션 벡터들은 외삽된 프레임 또는 외삽된 프레임의 특정 부분에서 강한 의도하지 않은 왜곡들을 초래할 수 있다. 예를 들어, 프레임들의 콘텐츠 또는 밝기에 기초하여 프레임들 사이에 불연속성이 존재하면, 부정확한 모션 추정이 생성될 수 있다. 본 개시내용의 양상들은 부정확한 모션 벡터들 및/또는 의도하지 않은 왜곡들을 회피하기 위해 특정 프레임들 또는 프레임들의 구역들에 대한 모션 추정을 수행하는 것을 스킵하거나 또는 바이패스할 수 있다. 예를 들어, 본 개시의 양상들은 특정 프레임들 또는 프레임들의 구역들 사이의 불연속성 또는 차이를 식별할 수 있다. 추가적으로, 본 개시내용의 양상들은, 특정 프레임들 또는 프레임들의 구역들 사이의 불연속성 또는 차이가 임계치를 초과하는지를 결정하고, 그런 다음, 불연속성 또는 차이가 임계치를 초과하면 모션 추정을 수행하는 것을 스킵하거나 또는 바이패스할 수 있다.

[0017] 이하, 시스템들, 장치들, 컴퓨터 프로그램 제품들, 및 방법들의 다양한 양상들이 첨부 도면들을 참조하여 더 완전히 설명된다. 그러나, 본 개시내용은 많은 상이한 형태들로 구현될 수 있고, 본 개시내용 전반에 걸쳐 제시되는 임의의 특정 구조 또는 기능으로 제한되는 것으로 해석되어서는 안된다. 오히려, 이러한 양상들은, 본 개시내용이 철저하고 완전하도록, 그리고 당해 기술분야에서 통상의 지식을 가진 자들에게 본 개시내용의 범위를 완전히 전달하도록 제공된다. 본원의 교시들에 기초하여, 당업자는, 본 개시내용의 범위가, 본 개시내용의 다른 양상들과 독립적으로 또는 다른 양상들과 결합되어 구현되든지 간에, 본원에 개시된 시스템들, 장치들, 컴퓨터 프로그램 제품들, 및 방법들의 임의의 양상을 커버하는 것으로 의도됨을 인식해야 한다. 예를 들어, 본원에서 기술된 임의의 수의 양상들을 사용하여 장치가 구현될 수 있거나 방법이 실시될 수 있다. 또한, 본 개시내용의 범위는, 본원에 기술된 본 개시내용의 다양한 양상들에 추가로 또는 그 이외의 다른 구조, 기능성, 또는 구조와 기능성을 사용하여 실시되는 그러한 장치 또는 방법을 커버하도록 의도된다. 본원에 개시된 임의의 양상은 청구항의 하나 이상의 엘리먼트들에 의해 구현될 수 있다.

[0018] 다양한 양상들이 본원에 설명되지만, 이러한 양상들의 많은 변형들 및 치환들이 본 개시내용의 범위 내에 속한다. 본 개시내용의 양상들의 일부 잠재적 이익들 및 이점들이 언급되지만, 본 개시내용의 범위는 특정 이점들, 사용들, 또는 목적들로 제한되도록 의도되지 않는다. 오히려, 본 개시내용의 양상들은 상이한 무선 기술들, 시스템 구성들, 네트워크들, 및 송신 프로토콜들에 광범위하게 적용가능하도록 의도되며, 이들 중 일부는 도면들에서 그리고 다음의 설명에서 예로서 예시된다. 상세한 설명 및 도면들은 본 개시내용을 제한하는 것이 아니라 단지 예시하며, 본 개시내용의 범위는 첨부된 청구항들 및 이들의 등가물들에 의해 정의된다.

[0019] 몇몇 양상들은 다양한 장치 및 방법들을 참조하여 제시된다. 이러한 장치 및 방법들은 다양한 블록들, 컴포넌트들, 회로들, 프로세스들, 알고리즘들 등(총괄하여 "엘리먼트들"로 지칭됨)에 의해 다음의 상세한 설명에서 설명되고 첨부 도면들에서 예시된다. 이러한 엘리먼트들은 전자 하드웨어, 컴퓨터 소프트웨어, 또는 이들의 임의의 조합을 사용하여 구현될 수 있다. 이러한 엘리먼트들이 하드웨어로서 구현될지 또는 소프트웨어로서 구현될지 여부는 전체 시스템에 부과된 설계 제약들 및 특정 애플리케이션에 의존한다.

[0020] 예로서, 엘리먼트, 또는 엘리먼트의 임의의 부분, 또는 엘리먼트들의 임의의 조합은, (프로세싱 유닛들로 또한 지칭될 수 있는) 하나 이상의 프로세서들을 포함하는 "프로세싱 시스템"으로서 구현될 수 있다. 프로세서들의 예들은 마이크로프로세서들, 마이크로제어기들, GPU(graphics processing unit)들, GPGPU(general purpose GPU)들, CPU(central processing unit)들, 애플리케이션 프로세서들, DSP(digital signal processor)들, RISC(reduced instruction set computing) 프로세서들, SOC(systems-on-chip), 기저대역 프로세서들, ASIC(application specific integrated circuit)들, FPGA(field programmable gate array)들, PLD(programmable logic device)들, 상태 머신들, 게이팅된 로직, 이산 하드웨어 회로들, 및 본 개시내용 전반에 걸쳐 설명된 다양한 기능을 수행하도록 구성된 다른 적합한 하드웨어를 포함한다. 프로세싱 시스템의 하나 이상의 프로세서들은 소프트웨어를 실행할 수 있다. 소프트웨어는, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 설명 언어 등으로 지칭되는지 간에, 명령들, 명령 세트들, 코드, 코드 세그먼트들, 프로그램 코드, 프로그램들, 서브프로그램들, 소프트웨어 컴포넌트들, 애플리케이션들, 소프트웨어 애플리케이션들, 소프트웨어 패키지들, 루틴들, 서브루틴들, 오브젝트들, 실행 파일들, 실행 스레드들, 절차들, 기능들을 의미하는 것으로 광범위하게 해석될 수 있다. 애플리케이션이라는 용어는 소프트웨어를 지칭할 수 있다. 본원에 설명된 바와 같이, 하나 이상의 기법들은 하나 이상의 기능들을 수행하도록 구성되는 애플리케이션, 즉 소프트웨어를 지칭할 수 있다. 이러한 예들에서, 애플리케이션은 메모리, 예를 들어, 프로세서의 온-칩 메모리, 시스템 메모리 또는 임의의 다른 메모리 상에 저장될 수 있다. 프로세서와 같은, 본원에 설명된 하드웨어는 애플리케이션을 실행하도록 구성될 수 있다. 예를 들어, 애플리케이션은 하드웨어에 의해 실행될 때 하드웨어로 하여금 본원에서 설명된 하나 이상의 기법들을 수행하게 하는 코드를 포함하는 것으로 설명될 수 있다. 예로서, 하드웨어는 메모리로부터의 코드에 액세스하고, 메모리로부터 액세스된 코드를 실행하여 본원에 설명된 하나 이상의 기법들을 수행할 수 있다. 일부 예들에서, 본 개시내용에서 컴포넌트들이 식별된다. 이러한 예들에서, 컴포넌트들은 하드웨어, 소프트웨어, 또는 이들의 조합일 수 있다. 컴포넌트들은 단일 컴포넌트의 별개의 컴포넌트들 또는 서브-컴포넌트들일 수 있다.

[0021] 이에 따라, 본원에 설명된 하나 이상의 예들에서, 설명된 기능들은 하드웨어, 소프트웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어로 구현되면, 기능들은 컴퓨터-판독가능 매체 상에 하나 이상의 명령들 또는 코드로서 저장되거나 이로서 인코딩될 수 있다. 컴퓨터-판독가능 매체들은 컴퓨터 저장 매체들을 포함한다. 저장 매체들은 컴퓨터에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수 있다. 제한이 아닌 예로서, 그러한 컴퓨터-판독가능 매체들은, RAM (random access memory), ROM (read-only memory), EEPROM (electrically erasable programmable ROM), 광학 디스크 저장소, 자기 디스크 저장소, 다른 자기 저장 디바이스들, 전술된 타입들의 컴퓨터 판독가능 매체들의 조합들, 또는 컴퓨터에 의해 액세스될 수 있는 명령들 또는 데이터 구조들의 형태로 컴퓨터 실행가능 코드를 저장하는 데 사용될 수 있는 임의의 다른 매체를 포함할 수 있다.

[0022] 일반적으로, 본 개시내용은 단일 디바이스 또는 다수의 디바이스들에서 그래픽스 프로세싱 파이프라인을 갖고, 그래픽 콘텐츠의 렌더링을 개선시키고, 그리고/또는 프로세싱 유닛, 즉, GPU와 같은 본원에 설명된 하나 이상의 기법들을 수행하도록 구성된 임의의 프로세싱 유닛의 로드를 감소시키기 위한 기법들을 설명한다. 예를 들어, 본 개시내용은 그래픽스 프로세싱을 이용하는 임의의 디바이스에서의 그래픽스 프로세싱을 위한 기법들을 설명한다. 다른 예시적인 이익들이 본 개시내용 전반에 걸쳐 설명된다.

[0023] 본원에서 사용되는 바와 같이, "콘텐츠"라는 용어의 인스턴스들은 "그래픽 콘텐츠", "이미지"를 지칭할 수 있으며, 그 반대의 경우도 마찬가지이다. 이는, 용어들이 형용사, 명사, 또는 다른 품사들로서 사용되고 있는지에 관계없이 사실이다. 일부 예들에서, 본원에서 사용된 바와 같이, "그래픽 콘텐츠"라는 용어는 그래픽 프로세싱 파이프라인의 하나 이상의 프로세스들에 의해 생성된 콘텐츠를 지칭할 수 있다. 일부 예들에서, 본원에서 사용된 바와 같이, "그래픽 콘텐츠"라는 용어는 그래픽 프로세싱을 수행하도록 구성된 프로세싱 유닛에 의해 생성된 콘텐츠를 지칭할 수 있다. 일부 예들에서, 본원에서 사용된 바와 같이, "그래픽 콘텐츠"라는 용어는 그래픽 프로세싱 유닛에 의해 생성된 콘텐츠를 지칭할 수 있다.

[0024] 일부 예들에서, 본원에서 사용된 바와 같이, "디스플레이 콘텐츠"라는 용어는 디스플레이 프로세싱을 수행하도록 구성된 프로세싱 유닛에 의해 생성된 콘텐츠를 지칭할 수 있다. 일부 예들에서, 본원에서 사용된 바와 같이, "디스플레이 콘텐츠"라는 용어는 디스플레이 프로세싱 유닛에 의해 생성된 콘텐츠를 지칭할 수 있다. 그래픽 콘텐츠는 디스플레이 콘텐츠가 되도록 프로세싱될 수 있다. 예를 들어, 그래픽 프로세싱 유닛은 프레임과 같은 그래픽 콘텐츠를 버퍼(프레임 버퍼로 지칭될 수 있음)에 출력할 수 있다. 디스플레이 프로세싱 유닛은 버퍼로부터 그래픽 콘텐츠, 이를테면 하나 이상의 프레임들을 판독하고, 디스플레이 콘텐츠를 생성하기 위해 그래픽 콘텐츠 상에서 하나 이상의 디스플레이 프로세싱 기법들을 수행할 수 있다. 예를 들어, 디스플레이 프로세싱 유닛은 프레임을 생성하기 위해 하나 이상의 렌더링된 층들에 대해 구성을 수행하도록 구성될 수 있다. 다른 예로서, 디스플레이 프로세싱 유닛은 2개 이상의 층들을 단일 프레임으로 함께 구성, 혼합, 또는 다른 방식으로 조합하도록 구성될 수 있다. 디스플레이 프로세싱 유닛은 프레임에 대해 스케일링, 예를 들어, 업스케일링 또는 다운스케일링을 수행하도록 구성될 수 있다. 일부 예들에서, 프레임은 계층을 지칭할 수 있다. 다른 예들에서, 프레임은 프레임을 형성하기 위해 이미 함께 혼합된 2개 이상의 층들을 지칭할 수 있는데, 즉 프레임은 2개 이상의 층들을 포함하고, 2개 이상의 층들을 포함하는 프레임은 후속하여 혼합될 수 있다.

[0025] 도 1은 본 개시내용의 하나 이상의 기법들을 구현하도록 구성된 예시적인 콘텐츠 생성 시스템(100)을 예시하는 블록도이다. 콘텐츠 생성 시스템(100)은 디바이스(104)를 포함한다. 디바이스(104)는 본원에 설명된 다양한 기능들을 수행하기 위한 하나 이상의 컴포넌트들 또는 회로들을 포함할 수 있다. 일부 예들에서, 디바이스(104)의 하나 이상의 컴포넌트들은 SOC의 컴포넌트들일 수 있다. 디바이스(104)는 본 개시내용의 하나 이상의 기법들을 수행하도록 구성된 하나 이상의 컴포넌트들을 포함할 수 있다. 도시된 예에서, 디바이스(104)는 프로세싱 유닛(120), 콘텐츠 인코더/디코더(122), 및 시스템 메모리(124)를 포함할 수 있다. 일부 양상들에서, 디바이스(104)는 다수의 선택적인 컴포넌트들, 예를 들어, 통신 인터페이스(126), 트랜시버(132), 수신기(128), 송신기(130), 디스플레이 프로세서(127), 및 하나 이상의 디스플레이들(131)을 포함할 수 있다. 디스플레이(131)에 대한 참조는 하나 이상의 디스플레이들(131)을 참조할 수 있다. 예를 들어, 디스플레이(131)는 단일 디스플레이 또는 다수의 디스플레이들을 포함할 수 있다. 디스플레이(131)는 제1 디스플레이 및 제2 디스플레이를 포함할 수 있다. 제1 디스플레이는 좌안 디스플레이일 수 있고, 제2 디스플레이는 우안 디스플레이일 수 있다. 일부 예들에서, 제1 및 제2 디스플레이는 그 상에서의 제시를 위해 상이한 프레임들을 수신할 수 있다. 다른 예들에서, 제1 및 제2 디스플레이는 그 상에서의 제시를 위해 동일한 프레임들을 수신할 수 있다. 추가 예들에서, 그래픽스 프로세싱의 결과들은 디바이스 상에 디스플레이되지 않을 수 있는데, 예를 들어, 제1 및 제2 디스플레이는 그에 대한 제시를 위한 어떠한 프레임들도 수신하지 않을 수 있다. 대신에, 프레임들 또는 그래픽스 프로세싱 결과들은 다른 디바이스에 전달될 수 있다. 일부 양상들에서, 이는 분할-렌더링으로 지칭될 수 있다.

[0026] 프로세싱 유닛(120)은 내부 메모리(121)를 포함할 수 있다. 프로세싱 유닛(120)은, 이를테면, 그래픽스 프로세싱 파이프라인(107)에서 그래픽스 프로세싱을 수행하도록 구성될 수 있다. 콘텐츠 인코더/디코더(122)는 내부 메모리(123)를 포함할 수 있다. 일부 예들에서, 디바이스(104)는 하나 이상의 디스플레이들(131)에 의한 제시 전에 프로세싱 유닛(120)에 의해 생성된 하나 이상의 프레임들에 대해 하나 이상의 디스플레이 프로세싱 기법들을 수행하기 위해 디스플레이 프로세서, 이를테면 디스플레이 프로세서(127)를 포함할 수 있다. 디스플레이 프로세서(127)는 디스플레이 프로세싱을 수행하도록 구성될 수 있다. 예를 들어, 디스플레이 프로세서(127)는 프로세싱 유닛(120)에 의해 생성된 하나 이상의 프레임들에 대해 하나 이상의 디스플레이 프로세싱 기법들을 수행하도록 구성될 수 있다. 하나 이상의 디스플레이들(131)은 디스플레이 프로세서(127)에 의해 프로세싱된 프레임들을 디스플레이하거나 그렇지 않으면 제시하도록 구성될 수 있다. 일부 예들에서, 하나 이상의 디스플레이들(131)은: LCD(liquid crystal display), 플라즈마 디스플레이, OLED(organic light emitting diode) 디스플레이, 투사 디스플레이 디바이스, 증강 현실 디스플레이 디바이스, 가상 현실 디스플레이 디바이스, 머리-장착 디스플레이, 또는 임의의 다른 타입의 디스플레이 디바이스 중 하나 이상을 포함할 수 있다.

[0027] 프로세싱 유닛(120) 및 콘텐츠 인코더/디코더(122) 외부의 메모리, 이를테면, 시스템 메모리(124)는 프로세싱 유닛(120) 및 콘텐츠 인코더/디코더(122)가 액세스가능할 수 있다. 예를 들어, 프로세싱 유닛(120) 및 콘텐츠 인코더/디코더(122)는 시스템 메모리(124)와 같은 외부 메모리로부터 판독하고 그리고/또는 외부 메모리에 기록하도록 구성될 수 있다. 프로세싱 유닛(120) 및 콘텐츠 인코더/디코더(122)는 버스를 통해 시스템 메모리(124)에 통신가능하게 커플링될 수 있다. 일부 예들에서, 프로세싱 유닛(120) 및 콘텐츠 인코더/디코더(122)는 버스 또는 상이한 연결을 통해 서로 통신가능하게 커플링될 수 있다.

[0028] 콘텐츠 인코더/디코더(122)는 임의의 소스, 이를테면 시스템 메모리(124) 및/또는 통신 인터페이스(126)로부터 그래픽 콘텐츠를 수신하도록 구성될 수 있다. 시스템 메모리(124)는 수신된 인코딩된 또는 디코딩된 그래픽 콘텐츠를 저장하도록 구성될 수 있다. 콘텐츠 인코더/디코더(122)는, 예를 들어, 시스템 메모리(124) 및/또는 통신 인터페이스(126)로부터 인코딩된 또는 디코딩된 그래픽 콘텐츠를 인코딩된 픽셀 데이터의 형태로 수신하도록 구성될 수 있다. 콘텐츠 인코더/디코더(122)는 임의의 그래픽 콘텐츠를 인코딩 또는 디코딩하도록 구성될 수 있다.

[0029] 내부 메모리(121) 또는 시스템 메모리(124)는 하나 이상의 휘발성 또는 비-휘발성 메모리들 또는 저장 디바이스들을 포함할 수 있다. 일부 예들에서, 내부 메모리(121) 또는 시스템 메모리(124)는 RAM, SRAM, DRAM, EPROM(erasable programmable ROM), EEPROM(electrically erasable programmable ROM), 플래시 메모리, 자기 데이터 매체 또는 광학 저장 매체, 또는 임의의 다른 타입의 메모리를 포함할 수 있다.

[0030] 일부 예들에 따르면, 내부 메모리(121) 또는 시스템 메모리(124)는 비-일시적 저장 매체일 수 있다. "비-일시적"이라는 용어는 저장 매체가 반송파 또는 전파된 신호에 구현되지 않음을 표시할 수 있다. 그러나, "비-일시적"이라는 용어는, 내부 메모리(121) 또는 시스템 메모리(124)가 비-이동가능하거나 그 콘텐츠들이 정적이라는 것을 의미하는 것으로 해석되지 않아야 한다. 일 예로서, 시스템 메모리(124)는 디바이스(104)로부터 제거되고 다른 디바이스로 이동될 수 있다. 다른 예로서, 시스템 메모리(124)는 디바이스(104)로부터 제거가능하지 않을 수 있다.

[0031] 프로세싱 유닛(120)은 CPU(central processing unit), GPU (graphics processing unit), GPGPU (general purpose GPU), 또는 그래픽스 프로세싱을 수행하도록 구성될 수 있는 임의의 다른 프로세싱 유닛일 수 있다. 일부 예들에서, 프로세싱 유닛(120)은 디바이스(104)의 마더보드에 통합될 수 있다. 일부 예들에서, 프로세싱 유닛(120)은 디바이스(104)의 마더보드 내의 포트에 설치된 그래픽 카드 상에 존재할 수 있거나, 또는 그렇지 않으면 디바이스(104)와 상호동작하도록 구성된 주변 디바이스 내에 통합될 수 있다. 프로세싱 유닛(120)은 하나 이상의 프로세서들, 이를테면, 하나 이상의 마이크로프로세서들, GPU들, ASIC(application specific integrated circuit)들, FPGA(field programmable gate array)들, ALU(arithmetic logic unit)들, DSP(digital signal processor)들, 이산 로직, 소프트웨어, 하드웨어, 펌웨어, 다른 등가의 집적 또는 이산 로직 회로, 또는 이들의 임의의 조합들을 포함할 수 있다. 기법들이 부분적으로 소프트웨어로 구현되는 경우, 프로세싱 유닛(120)은 소프트웨어에 대한 명령들을 적합한 비-일시적 컴퓨터-판독가능 저장 매체, 예를 들어 내부 메모리(121)에 저장할 수 있고, 본 개시내용의 기법들을 수행하기 위해 하나 이상의 프로세서들을 사용하여 하드웨어로 명령들을 실행할 수 있다. 하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등을 포함하는 전술한 것 중 임의의 것은 하나 이상의 프로세서들인 것으로 고려될 수 있다.

[0032] 콘텐츠 인코더/디코더(122)는 콘텐츠 디코딩을 수행하도록 구성된 임의의 프로세싱 유닛일 수 있다. 일부 예들에서, 콘텐츠 인코더/디코더(122)는 디바이스(104)의 마더보드에 통합될 수 있다. 콘텐츠 인코더/디코더(122)는 하나 이상의 프로세서들, 이를테면, 하나 이상의 마이크로프로세서들, ASIC(application specific integrated circuit)들, FPGA(field programmable gate array)들, ALU(arithmetic logic unit)들, DSP(digital signal processor)들, 비디오 프로세서들, 이산 로직, 소프트웨어, 하드웨어, 펌웨어, 다른 등가의 집적 또는 이산 로직 회로, 또는 이들의 임의의 조합들을 포함할 수 있다. 기법들이 부분적으로 소프트웨어로 구현되는 경우, 콘텐츠 인코더/디코더(122)는 소프트웨어에 대한 명령들을 적합한 비-일시적 컴퓨터-판독가능 저장 매체, 예를 들어 내부 메모리(123)에 저장할 수 있고, 본 개시내용의 기법들을 수행하기 위해 하나 이상의 프로세서들을 사용하여 하드웨어로 명령들을 실행할 수 있다. 하드웨어, 소프트웨어, 하드웨어와 소프트웨어의 조합 등을 포함하는 전술한 것 중 임의의 것은 하나 이상의 프로세서들인 것으로 고려될 수 있다.

[0033] 일부 양상들에서, 콘텐츠 생성 시스템(100)은 선택적인 통신 인터페이스(126)를 포함할 수 있다. 통신 인터페이스(126)는 수신기(128) 및 송신기(130)를 포함할 수 있다. 수신기(128)는 디바이스(104)에 대해 본원에 설명된 임의의 수신 기능을 수행하도록 구성될 수 있다. 추가적으로, 수신기(128)는 다른 디바이스로부터 정보, 예를 들어, 눈 또는 머리 포지션 정보, 렌더링 커맨드들, 또는 로케이션 정보를 수신하도록 구성될 수 있다. 송신기(130)는 디바이스(104)에 대해 본원에 설명된 임의의 송신 기능을 수행하도록 구성될 수 있다. 예를 들어, 송신기(130)는 콘텐츠에 대한 요청을 포함할 수 있는 정보를 다른 디바이스에 송신하도록 구성될 수 있다. 수신기(128) 및 송신기(130)는 트랜시버(132)로 결합될 수 있다. 이러한 예들에서, 트랜시버(132)는 디바이스(104)에 대해 본원에 설명된 임의의 수신 기능 및/또는 송신 기능을 수행하도록 구성될 수 있다.

[0034] 도 1을 다시 참조하면, 특정 양상들에서, 그래픽 프로세싱 파이프라인(107)은 제1 프레임이 수신된 후 제2 프레임을 수신하도록 구성된 결정 컴포넌트(198)를 포함할 수 있다. 결정 컴포넌트(198)는 또한, 제1 프레임의 적어도 하나의 제1 구역을 제2 프레임의 적어도 하나의 제2 구역과 비교하도록 구성될 수 있다. 결정 컴포넌트(198)는 또한, 제1 프레임의 적어도 하나의 제1 구역과 제2 프레임의 적어도 하나의 제2 구역 사이의 불연속성을 식별하도록 구성될 수 있고, 적어도 하나의 제1 구역은 적어도 하나의 제2 구역에 대응하고, 제1 프레임은 복수의 제1 구역들을 포함하고, 제2 프레임은 복수의 제2 구역들을 포함하고, 제1 프레임 및 제2 프레임은 복수의 프레임들과 연관된다. 결정 컴포넌트(198)는 또한, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치 이상인지 여부를 결정하도록 구성될 수 있다. 결정 컴포넌트(198)는 또한, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치 이상인 경우, 적어도 하나의 제1 구역 및 적어도 하나의 제2 구역에 대한 모션 추정을 스킵하도록 구성될 수 있다. 결정 컴포넌트(198)는 또한, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치보다 작은 경우, 적어도 하나의 제1 구역 및 적어도 하나의 제2 구역에 대한 모션 추정을 수행하도록 구성될 수 있다. 결정 컴포넌트(198)는 또한, 수행된 모션 추정에 기초하여 제3 프레임을 구성하도록 구성될 수 있고, 여기서 구성된 제3 프레임은 프레임 외삽 프로세스와 연관될 수 있다.

[0035] 본원에서 설명된 바와 같이, 디바이스, 이를테면 디바이스(104)는 본원에서 설명된 하나 이상의 기법들을 수행하도록 구성된 임의의 디바이스, 장치, 또는 시스템을 지칭할 수 있다. 예를 들어, 디바이스는 서버, 기지국, 사용자 장비, 클라이언트 디바이스, 스테이션, 액세스 포인트, 컴퓨터, 예를 들어, 개인용 컴퓨터, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 컴퓨터 워크스테이션, 또는 메인프레임 컴퓨터, 최종 제품, 장치, 폰, 스마트 폰, 서버, 비디오 게임 플랫폼 또는 콘솔, 핸드헬드 디바이스, 예를 들어, 휴대용 비디오 게임 디바이스 또는 개인 휴대 정보 단말(PDA) 웨어러블 컴퓨팅 디바이스, 예를 들어, 스마트 워치, 증강 현실 디바이스, 또는 가상 현실 디바이스, 비-웨어러블 디바이스, 디스플레이 또는 디스플레이 디바이스, 텔레비전, 텔레비전 셋톱 박스, 중간 네트워크 디바이스 디지털 미디어 플레이어, 비디오 스트리밍 디바이스, 콘텐츠 스트리밍 디바이스, 차량용 컴퓨터, 임의의 모바일 디바이스, 그래픽 콘텐츠를 생성하도록 구성된 임의의 디바이스, 또는 본원에 설명된 하나 이상의 기법들을 수행하도록 구성된 임의의 디바이스일 수 있다. 본원의 프로세스들은 특정 컴포넌트(예를 들어, GPU)에 의해 수행되는 것으로 설명될 수 있지만, 추가의 실시예들에서, 개시된 실시예들과 일치하는 다른 컴포넌트들(예를 들어, CPU)을 사용하여 수행될 수 있다.

[0036] GPU들은 GPU 파이프라인에서 다수의 타입들의 데이터 또는 데이터 패킷들을 프로세싱할 수 있다. 예를 들어, 일부 양상들에서, GPU는 2개의 타입들의 데이터 또는 데이터 패킷들, 예를 들어 콘텍스트 레지스터 패킷들 및 드로우 콜 데이터(draw call data)를 프로세싱할 수 있다. 콘텍스트 레지스터 패킷은 글로벌 상태 정보의 세트, 예를 들어, 글로벌 레지스터, 쉐이딩 프로그램, 또는 상수 데이터에 관한 정보일 수 있고, 이는 그래픽스 콘텍스트가 어떻게 프로세싱될지를 조절할 수 있다. 예를 들어, 콘텍스트 레지스터 패킷들은 컬러 포맷에 관한 정보를 포함할 수 있다. 콘텍스트 레지스터 패킷들의 일부 양상들에서, 어느 워크로드가 콘텍스트 레지스터에 속하는지를 표시하는 비트가 존재할 수 있다. 또한, 동시에 그리고/또는 병렬로 실행되는 다수의 기능들 또는 프로그래밍이 존재할 수 있다. 예를 들어, 기능들 또는 프로그래밍은 특정 동작, 예를 들어, 컬러 모드 또는 컬러 포맷을 설명할 수 있다. 이에 따라, 콘텍스트 레지스터는 GPU의 다수의 상태들을 정의할 수 있다.

[0037] 콘텍스트 상태들은, 개별 프로세싱 유닛, 예를 들어, 버텍스 페쳐(VFD), 버텍스 쉐이더(VS), 셰이더 프로세서, 또는 기하학적 구조 프로세서가 어떻게 기능하는지, 및/또는 프로세싱 유닛이 어떤 모드에서 기능하는지를 결정하는 데 활용될 수 있다. 그렇게 하기 위해, GPU들은 콘텍스트 레지스터들 및 프로그래밍 데이터를 사용할 수 있다. 일부 양상들에서, GPU는 모드 또는 상태의 콘텍스트 레지스터 정의에 기반하여 파이프라인에서 워크로드, 예를 들어, 정점 또는 픽셀 워크로드를 생성할 수 있다. 특정 프로세싱 유닛들, 예를 들어, VFD는 이러한 상태들을 사용하여 특정 기능들, 예를 들어, 정점이 어떻게 조립되는지를 결정할 수 있다. 이러한 모드들 또는 상태들이 변할 수 있기 때문에, GPU들은 대응하는 콘텍스트를 변경할 필요가 있을 수 있다. 추가적으로, 모드 또는 상태에 대응하는 워크로드는 변화하는 모드 또는 상태를 따를 수 있다.

[0038] 도 2는 본 개시내용의 하나 이상의 기법들에 따른 예시적인 GPU(200)를 예시한다. 도 2에 도시된 바와 같이, GPU(200)는 CP(command processor)(210), 드로우 콜 패킷들(212), VFD(220), VS(222), VPC(vertex cache)(224), TSE (triangle setup engine)(226), RAS(rasterizer)(228), ZPE(Z process engine)(230), PI(pixel interpolator)(232), FS(fragment shader)(234), RB(render backend)(236), L2 캐시(UCHE)(238), 및 시스템 메모리(240)를 포함한다. 도 2는 GPU(200)가 프로세싱 유닛들(220-238)을 포함하는 것을 디스플레이하지만, GPU(200)는 다수의 추가적인 프로세싱 유닛들을 포함할 수 있다. 추가적으로, 프로세싱 유닛들(220-238)은 단지 예일 뿐이며, 본 개시내용에 따른 GPU들에 의해 프로세싱 유닛들의 임의의 조합 또는 순서가 사용될 수 있다. GPU(200)는 또한 커맨드 버퍼(250), 콘텍스트 레지스터 패킷들(260), 및 콘텍스트 상태들(261)을 포함한다.

[0039] 도 2에 도시된 바와 같이, GPU는 커맨드 버퍼를 콘텍스트 레지스터 패킷들, 예를 들어, 콘텍스트 레지스터 패킷들(260) 및/또는 드로우 콜 데이터 패킷들, 예를 들어, 드로우 콜 패킷들(212)로 파싱하기 위해 CP, 예를 들어, CP(210), 또는 하드웨어 가속기를 활용할 수 있다. 이어서, CP(210)는 GPU 내의 프로세싱 유닛들 또는 블록들로의 별개의 경로들을 통해 콘텍스트 레지스터 패킷들(260)을 전송하거나 드로우 콜 데이터 패킷들(212)을 전송할 수 있다. 추가로, 커맨드 버퍼(250)는 콘텍스트 레지스터들 및 드로우 콜들의 상이한 상태들을 교번할 수 있다. 예를 들어, 커맨드 버퍼는 다음의 방식: 콘텍스트 N의 콘텍스트 레지스터, 콘텍스트 N의 드로우 콜(들), 콘텍스트 N+1의 콘텍스트 레지스터, 및 콘텍스트 N+1의 드로우 콜(들)의 방식으로 구조화될 수 있다.

[0040] GPU들은 다양한 상이한 방식들로 이미지들을 렌더링할 수 있다. 일부 예들에서, GPU들은 렌더링 또는 타일링된 렌더링을 사용하여 이미지를 렌더링할 수 있다. 타일링된 렌더링 GPU들에서, 이미지는 상이한 섹션들 또는 타일들로 분할 또는 분리될 수 있다. 이미지의 분할 후에, 각각의 섹션 또는 타일은 개별적으로 렌더링될 수 있다. 타일링된 렌더링 GPU들은, 그리드의 각각의 부분, 즉, 타일이 개별적으로 렌더링되도록 컴퓨터 그래픽스 이미지들을 그리드 포맷으로 분할할 수 있다. 일부 양상들에서, 비닝 패스(binning pass) 동안, 이미지는 상이한 빈들 또는 타일들로 분할될 수 있다. 일부 양상들에서, 비닝 패스 동안, 가시적인 프리미티브들 또는 드로우 콜들이 식별될 수 있는 가시성 스트림이 구성될 수 있다.

[0041] 일부 양상들에서, GPU들은 드로잉 또는 렌더링 프로세스를 상이한 빈들 또는 타일들에 적용할 수 있다. 예를 들어, GPU는 하나의 빈으로 렌더링하고, 빈 내의 프리미티브들 또는 픽셀들에 대한 모든 드로우들을 수행할 수 있다. 빈으로 렌더링하는 프로세스 동안, 렌더 타겟들은 GMEM에 로케이팅될 수 있다. 일부 예시들에서, 하나의 빈으로 렌더링한 후에, 렌더 타겟들의 콘텐츠는 시스템 메모리로 이동될 수 있고, GMEM은 다음 빈을 렌더링하기 위해 확보될 수 있다. 추가적으로, GPU는 다른 빈으로 렌더링하고, 그 빈 내의 프리미티브들 또는 픽셀들에 대한 드로우들을 수행할 수 있다. 따라서, 일부 양상들에서, 하나의 표면에서 드로우들 모두를 커버하는 적은 수의 빈들, 예를 들어, 4개의 빈들이 존재할 수 있다. 추가로, GPU들은 하나의 빈에서 모든 드로우들을 순환시킬 수 있지만, 가시적인 드로우 콜들, 즉, 가시적인 기하학적 구조를 포함하는 드로우 콜들에 대한 드로우들을 수행할 수 있다. 일부 양상들에서, 가시성 스트림은, 이미지 또는 장면에서 각각의 프리미티브의 가시성 정보를 결정하기 위해, 예를 들어, 비닝 패스에서 생성될 수 있다. 예를 들어, 이 가시성 스트림은 특정 프리미티브가 가시적인지 여부를 식별할 수 있다. 일부 양상들에서, 이러한 정보는, 예를 들어, 렌더링 패스에서 가시적이지 않은 프리미티브들을 제거하는 데 사용될 수 있다. 또한, 가시적인 것으로 식별되는 프리미티브들 중 적어도 일부는 렌더링 패스에서 렌더링될 수 있다.

[0042] 타일링된 렌더링의 일부 양상들에서, 다수의 프로세싱 단계들 또는 패스들이 존재할 수 있다. 예를 들어, 렌더링은 2개의 패스들, 예를 들어, 가시성 또는 빈-가시성 패스 및 렌더링 또는 빈-렌더링 패스에서 수행될 수 있다. 가시성 패스 동안, GPU는 렌더링 워크로드를 입력하고, 프리미티브들 또는 삼각형들의 포지션들을 기록하고, 그런 다음, 어느 프리미티브들 또는 삼각형들이 어느 빈 또는 영역에 속하는지를 결정할 수 있다. 가시성 패스의 일부 양상들에서, GPU들은 또한 가시성 스트림에서 각각의 프리미티브 또는 삼각형의 가시성을 식별 또는 마킹할 수 있다. 렌더링 패스 동안, GPU는 가시성 스트림을 입력하고 한번에 하나의 빈 또는 영역을 프로세싱할 수 있다. 일부 양상들에서, 가시성 스트림은, 어느 프리미티브들 또는 프리미티브들의 정점들이 가시적인지 또는 가시적이지 않은지를 결정하기 위해 분석될 수 있다. 이와 같이, 가시적인 프리미티브들 또는 프리미티브들의 정점들이 프로세싱될 수 있다. 그렇게 함으로써, GPU들은 가시적이지 않은 프리미티브들 또는 삼각형들을 프로세싱 또는 렌더링하는 불필요한 워크로드를 감소시킬 수 있다.

[0043] 일부 양상들에서, 가시성 패스 동안, 특정 타입들의 프리미티브 기하학적 구조, 예를 들어, 포지션-전용 기하학적 구조가 프로세싱될 수 있다. 추가적으로, 프리미티브들 또는 삼각형들의 포지션 또는 로케이션에 의존하여, 프리미티브들은 상이한 빈들 또는 영역들로 분류될 수 있다. 일부 예시들에서, 프리미티브들 또는 삼각형들을 상이한 빈들로 분류하는 것은 이들 프리미티브들 또는 삼각형들에 대한 가시성 정보를 결정함으로써 수행될 수 있다. 예를 들어, GPU들은, 예를 들어, 시스템 메모리에서, 각각의 빈 또는 영역 내의 각각의 프리미티브에 대한 가시성 정보를 결정 또는 기록할 수 있다. 이러한 가시성 정보는 가시성 스트림을 결정 또는 생성하는 데 사용될 수 있다. 렌더링 패스에서, 각각의 빈 내의 프리미티브들은 개별적으로 렌더링될 수 있다. 이러한 경우들에서, 가시성 스트림은 해당 빈에 대해 가시적이지 않은 프리미티브들을 드롭하는 데 사용되는 메모리로부터 페칭될 수 있다.

[0044] GPU들 또는 GPU 아키텍처들의 일부 양상들은 렌더링을 위한 다수의 상이한 옵션들, 예를 들어, 소프트웨어 렌더링 및 하드웨어 렌더링을 제공할 수 있다. 소프트웨어 렌더링에서, 드라이버 또는 CPU는 각각의 뷰를 한번 프로세싱함으로써 전체 프레임 기하학적 구조를 복제할 수 있다. 추가적으로, 일부 상이한 상태들은 뷰에 의존하여 변경될 수 있다. 이와 같이, 소프트웨어 렌더링에서, 소프트웨어는 이미지의 각각의 시점에 대해 렌더링하는 데 활용될 수 있는 일부 상태들을 변경함으로써 전체 워크로드를 복제할 수 있다. 특정 양상들에서, GPU들이 이미지의 각각의 시점에 대해 동일한 워크로드를 여러 번 제출할 수 있기 때문에, 증가된 양의 오버헤드가 존재할 수 있다. 하드웨어 렌더링에서, 하드웨어 또는 GPU는 이미지의 각각의 시점에 대한 기하학적 구조를 복제 또는 프로세싱하는 것을 담당할 수 있다. 이에 따라, 하드웨어는 이미지의 각각의 시점에 대한 프리미티브들 또는 삼각형들의 복제 또는 프로세싱을 관리할 수 있다.

[0045] 도 3은 다수의 빈들로 분할된 다수의 프리미티브들을 포함하는 이미지 또는 표면(300)을 예시한다. 도 3에 도시된 바와 같이, 이미지 또는 표면(300)은 프리미티브들(321, 322, 323, 및 324)을 포함하는 영역(302)을 포함한다. 프리미티브들(321, 322, 323, 및 324)은 상이한 빈들, 예를 들어, 빈들(310, 311, 312, 313, 314, 및 315)로 분할되거나 배치된다. 도 3은 프리미티브들(321-324)에 대한 다수의 시점들을 사용하는 타일링된 렌더링의 예를 예시한다. 예를 들어, 프리미티브들(321-324)은 제1 시점(350) 및 제2 시점(351)에 있다. 이와 같이, GPU가 영역(302)을 포함하는 이미지 또는 표면(300)을 프로세싱 또는 렌더링하는 것은 다수의 시점들 또는 다시점 렌더링을 활용할 수 있다.

[0046] 본원에서 표시된 바와 같이, GPU들 또는 그래픽 프로세서 유닛들은 전력 소비를 감소시키거나 메모리 대역폭을 절약하기 위해 타일링된 렌더링 아키텍처를 사용할 수 있다. 위에서 추가로 언급된 바와 같이, 이 렌더링 방법은 장면을 다수의 빈들로 분할할 수 있을 뿐만 아니라, 각각의 빈에서 가시적인 삼각형들을 식별하는 가시성 패스를 포함할 수 있다. 따라서, 타일링된 렌더링에서, 전체 스크린은 다수의 빈들 또는 타일들로 분할될 수 있다. 그런 다음, 장면은 각각의 빈에 대해 여러 번, 예를 들어, 한 번 이상 렌더링될 수 있다.

[0047] 그래픽스 렌더링의 양상들에서, 일부 그래픽스 애플리케이션들은 단일 타겟, 즉, 렌더 타겟에 한 번 이상 렌더링할 수 있다. 예를 들어, 그래픽스 렌더링에서, 시스템 메모리 상의 프레임 버퍼는 여러 번 업데이트될 수 있다. 프레임 버퍼는, GPU에 대한 디스플레이 데이터를 저장하는 것을 돕기 위해, 예를 들어, 비트맵 또는 저장소를 포함하는 메모리 또는 RAM(random access memory)의 일부일 수 있다. 프레임 버퍼는 또한, 데이터의 완전한 프레임을 포함하는 메모리 버퍼일 수 있다. 추가적으로, 프레임 버퍼는 로직 버퍼일 수 있다. 일부 양상들에서, 프레임 버퍼를 업데이트하는 것은 빈 또는 타일 렌더링에서 수행될 수 있으며, 여기서 앞서 논의된 바와 같이, 표면은 다수의 빈들 또는 타일들로 분할되고, 이어서 각각의 빈 또는 타일은 개별적으로 렌더링될 수 있다. 추가로, 타일링된 렌더링에서, 프레임 버퍼는 다수의 빈들 또는 타일들로 파티셔닝될 수 있다.

[0048] 본원에 표시된 바와 같이, 일부 양상들에서, 이를테면 빈 또는 타일링된 렌더링 아키텍처에서, 프레임 버퍼들은, 예를 들어, 상이한 타입들의 메모리로부터 렌더링할 때, 반복적으로 프레임 버퍼들에 기록되거나 또는 저장되는 데이터를 가질 수 있다. 이는 프레임 버퍼 또는 시스템 메모리를 리졸빙(resolve)하는 것 및 언리졸빙(unresolve)하는 것으로 지칭될 수 있다. 예를 들어, 하나의 프레임 버퍼에 저장 또는 기록하고, 이어서 다른 프레임 버퍼로 스위칭할 때, 프레임 버퍼 상의 데이터 또는 정보는 GPU에서의 GPU 내부 메모리(GMEM)로부터 시스템 메모리, 즉, DDR(double data rate) RAM 또는 DRAM(dynamic RAM)의 메모리로 리졸빙될 수 있다.

[0049] 일부 양상들에서, 시스템 메모리는 또한, 예를 들어, 디바이스 또는 스마트 폰 상에 데이터 또는 정보를 저장하기 위한 SoC(system-on-chip) 메모리 또는 다른 칩-기반 메모리일 수 있다. 시스템 메모리는 또한, CPU 및/또는 GPU에 의해 공유되는 물리적 데이터 저장소일 수 있다. 일부 양상들에서, 시스템 메모리는, 예를 들어, 디바이스 또는 스마트 폰 상의 DRAM 칩일 수 있다. 이에 따라, SoC 메모리는 데이터를 저장하는 칩-기반 방식일 수 있다.

[0050] 일부 양상들에서, GMEM은 GPU에서의 온-칩 메모리일 수 있으며, 이는 SRAM(static RAM)에 의해 구현될 수 있다. 추가적으로, GMEM은 디바이스, 예를 들어, 스마트 폰 상에 저장될 수 있다. 본원에서 표시된 바와 같이, 데이터 또는 정보는, 예를 들어, 디바이스에서, 시스템 메모리 또는 DRAM과 GMEM 사이에서 전달될 수 있다. 일부 양상들에서, 시스템 메모리 또는 DRAM은 CPU 또는 GPU에 있을 수 있다. 추가적으로, 데이터는 DDR 또는 DRAM에 저장될 수 있다. 일부 양상들에서, 이를테면 빈 또는 타일링된 렌더링에서, 메모리의 작은 부분은 GPU에, 예를 들어, GMEM에 저장될 수 있다. 일부 예시들에서, GMEM에 데이터를 저장하는 것은 프레임 버퍼 또는 시스템 메모리에 데이터를 저장하는 것에 비해 더 큰 프로세싱 워크로드 및/또는 소비 전력을 활용할 수 있다.

[0051] 이미지 또는 프레임 프로세싱의 일부 양상들은 상이한 타입들의 애플리케이션들, 예를 들어, 확장 현실(XR), 증강 현실(AR), 또는 가상 현실(VR) 애플리케이션들과 연관될 수 있다. 일부 양상들에서, XR, AR, 또는 VR 애플리케이션들 또는 시스템들은 전력 및 성능 효율에 대한 까다로운 제약들 하에 있을 수 있는 특정 디바이스들, 예를 들어, 모바일 디바이스들 또는 스마트폰들과 함께 활용될 수 있다. 이러한 제약들을 완화하기 위해, 모션 추정은 이전에 렌더링된 콘텐츠에 대해 수행되고 그리고/또는 프레임들을 외삽하는 데 사용될 수 있다. 예를 들어, 프레임을 렌더링하는 대신에, 이전에 렌더링된 프레임들이 프레임에 대한 모션을 추정하는 데 사용될 수 있다. 결국, 모션 추정은 렌더링 동작들이 감소된 프레임 레이트로 실행되게 허용할 수 있다. 프레임 외삽은 또한, 이를테면, 간헐적인 네트워크 문제들 및/또는 대역폭 제약들을 커버하기 위해 스트리밍 원격 게임 렌더링을 위해 활용될 수 있다.

[0052] 모션 추정은 때때로 잘 작동할 수 있지만, 콘텐츠는 이를테면, 프레임 단위로 프레임들 사이에서 트랜지션할 때 불연속적일 수 있다. 예를 들어, 애플리케이션들 내의 특정 액션들은, 예를 들어, 사용자가 게이밍 애플리케이션에서 텔레포트할 때, 프레임들 사이에 불연속 콘텐츠를 초래할 수 있다. 이러한 경우들에서, 모션 추정을 수행하는 것은 프레임들 사이의 불연속 콘텐츠에 기초하여, 부정확한 데이터, 예를 들어, 부정확한 또는 스퓨리어스(spurious) 모션 추정 데이터를 초래할 수 있다. 이러한 부정확한 데이터는 모션 추정에 기초하여 불량한 또는 불완전한 프레임 외삽을 초래할 수 있다.

[0053] 특정 타입들의 콘텐츠는 프레임들 사이에서 전술된 불연속성들을 초래할 수 있다. 예를 들어, 사용자 인터페이스(UI) 엘리먼트들 또는 메뉴들, 이를테면, 단일 프레임에서 콘텐츠를 변경하거나 또는 팝 오픈(pop open)하는 것들은 연속적인 프레임들에 대해 불연속적일 수 있다. 또한, 공통 텔레포트 XR 이동 메커니즘과 같은 단일 프레임에서 발생하는 특정 카메라 전환들은 프레임마다 불연속적일 수 있다. 추가로, 단일 프레임에서 카메라를 많은 양으로 회전시키는 스냅 턴들은 연속적인 프레임들에 대해 불연속적일 수 있다. 밝기에서 즉각적인 투명한 오버레이들 또는 변화들을 추가하는 효과들은 또한 프레임마다 불연속적일 수 있다. 추가적으로, 빠른 제어기 이동들은 연속적인 프레임들에 대해 불연속적일 수 있다.

[0054] 일부 예시들에서, 이러한 불연속 프레임들에 걸쳐 적용되는 모션 추정 및/또는 프레임 외삽은 랜덤 또는 부정확한 모션 벡터들을 생성할 수 있다. 이전에 표시된 바와 같이, 콘텐츠의 결과적인 불연속성은 전체 프레임에 걸쳐 또는 프레임의 특정 구역 내에 있을 수 있다. 더욱이, 불연속 프레임들로부터 생성되는 이러한 랜덤 또는 부정확한 모션 벡터들은 외삽된 프레임 또는 외삽된 프레임의 특정 부분에서 강한 의도하지 않은 왜곡들을 초래할 수 있다.

[0055] 위에서 표시된 바와 같이, 모션 추정은 프레임들 또는 프레임들의 특정 구역들 사이의 연속성을 특정할 수 있다. 예를 들어, 프레임들의 콘텐츠 또는 밝기에 기초하여 프레임들 사이에 불연속성이 존재하면, 부정확한 모션 추정이 생성될 수 있다. 상기에 기초하여, 부정확한 모션 벡터들 및/또는 의도하지 않은 왜곡들을 회피하기 위해 특정 프레임들 또는 프레임들의 구역들에 대한 모션 추정을 스킵하거나 또는 바이패스하는 것이 유익할 수 있다. 예를 들어, 특정 프레임들 또는 프레임들의 구역들 사이의 불연속성 또는 차이가 식별되면, 모션 추정을 수행하는 것을 스킵하거나 또는 바이패스하는 것이 유익할 수 있다.

[0056] 본 개시내용의 양상들은 부정확한 모션 벡터들 및/또는 의도하지 않은 왜곡들을 회피하기 위해 특정 프레임들 또는 프레임들의 구역들에 대한 모션 추정을 수행하는 것을 스킵하거나 또는 바이패스할 수 있다. 예를 들어, 본 개시의 양상들은 특정 프레임들 또는 프레임들의 구역들 사이의 불연속성 또는 차이를 식별할 수 있다. 추가적으로, 본 개시내용의 양상들은, 특정 프레임들 또는 프레임들의 구역들 사이의 불연속성 또는 차이가 임계치를 초과하는지를 결정하고, 그런 다음, 불연속성 또는 차이가 임계치를 초과하면 모션 추정을 수행하는 것을 스킵하거나 또는 바이패스할 수 있다.

[0057] 위에서 표시된 바와 같이, 모션 추정은 불연속 콘텐츠가 제공되는 경우에도 다수의 추정된 벡터들을 생성할 수 있고, 이는 낮은 품질의 추정의 구역들을 초래할 수 있다. 본 개시내용의 일부 양상들은, 콘텐츠가 프레임들 또는 프레임들의 구역들 사이에서 발산된 때를 식별하기 위한 분석을 수행하기 위해, 특정 컴포넌트들, 예를 들어, 경량 해시를 활용할 수 있다. 예를 들어, 프레임들은 구역들로 분할될 수 있으며, 프레임의 구역마다 해시 분석이 수행된다. 본 개시내용의 경량 해시는 프레임 구역들 사이의 불연속성을 결정 또는 식별하기 위해 각각의 프레임 구역의 콘텐츠들을 비교할 수 있다.

[0058] 일부 예시들에서, 프레임들의 구역들 사이에 너무 많은 변화 또는 불연속성이 존재하면, 구역 또는 프레임에 대한 모션 추정이 스킵 또는 바이패스되게 하는 임계치가 트리거될 수 있다. 이에 따라, 각각의 프레임 구역에 대한 결과들은 벡터 생성을 스킵하거나 또는 그 특정 구역에 대한 신뢰도 메트릭을 통지하기 위해 사용될 수 있다. 따라서, 본 개시내용의 양상들은, 모션 추정을 핸들링할 수 없을 수 있는 프레임들 또는 프레임 구역들 사이의 불연속성들을 결정 또는 식별하고, 그런 다음, 이들 프레임들 또는 프레임 구역들에 대한 모션 추정을 스킵 또는 바이패스할 수 있다. 더욱이, 본 개시내용은 모션 추정을 핸들링할 수 있는 프레임들 또는 프레임 구역들 사이의 그러한 불연속성들을 결정 또는 식별할 수 있다. 또한, 본 개시내용의 일부 양상들은 특정 타입들의 렌더링, 예를 들어, 빈 렌더링 또는 타일링된 렌더링과 함께 활용될 수 있다.

[0059] 도 4a 및 도 4b는 각각 제1 프레임(400) 및 제2 프레임(450)을 예시한다. 더욱 구체적으로, 도 4a는 구역들(411-418)을 포함하는 제1 프레임(400)을 묘사하고, 도 4b는 구역들(451-458)을 포함하는 제2 프레임(450)을 묘사한다. 도 4a 및 도 4b에 도시된 바와 같이, 제1 프레임(400) 및 제2 프레임(450)은 상이한 패턴들을 갖는 다수의 구역들을 포함한다. 대응하는 프레임 구역들 사이의 유사한 패턴들은 상관된 또는 연속적인 콘텐츠를 표시한다. 마찬가지로, 대응하는 프레임 구역들 사이의 유사하지 않은 패턴들은 상관되지 않은 또는 불연속적인 콘텐츠를 표시한다. 예를 들어, 제1 프레임(400)의 구역들(411, 412, 415, 417, 418) 및 제2 프레임(450)의 구역들(451, 452, 455, 457, 458)은 각각 점선 패턴을 포함한다. 이에 따라, 대응하는 프레임 구역들, 예를 들어, 구역(411/451, 412/452, 415/455, 417/457, 및 418/458)은 상관된 또는 연속적인 콘텐츠를 포함한다. 더욱이, 제1 프레임(400)의 구역들(413, 414, 416)은 수평 패턴을 포함하는 한편, 제2 프레임(450)의 구역들(453, 454, 456)은 수직 패턴을 포함한다. 이와 같이, 대응한 프레임 구역들, 예를 들어, 구역들(413/453, 414/454, 및 416/456)은 상관되지 않은 또는 불연속적인 콘텐츠를 포함한다.

[0060] 본 개시내용의 일부 양상들에서, 장면 변화들의 검출 및 결과적인 모션 추정 워크로드의 수정은 모션 추정 프로세스와 인-라인, 즉, 동시에 수행될 수 있다. 일부 경우들에서, 본 개시내용의 모션 추정 알고리즘은 이미지 피라미드 또는 부분 이미지 피라미드를 활용할 수 있다. 이러한 이미지 피라미드는 입력 이미지의 축소된 버전들의 시퀀스를 포함하는 계층일 수 있다. 본 개시내용의 양상들은 전형적인 모션 추정과 비교하여 더 낮은 해상도 레벨들로 이미지 피라미드를 확장할 수 있다. 이와 같이, 본 개시내용은, 전술된 프레임 구역 당 해시 분석을 수행하기 위해, 이미지 피라미드를 특정 해상도들, 예를 들어, 8x8 픽셀들로 확장할 수 있다. 이러한 해시 분석은 모션 추정 임계치와 비교될 수 있는 특정 불연속성 또는 델타 계산들에 대한 해시 값을 초래할 수 있다.

[0061] 위에서 언급된 바와 같이, 본 개시내용의 양상들은 이미지 해시 함수를 사용하여 연속적인 프레임 콘텐츠, 즉, 프레임-투-프레임 콘텐츠에서 불연속성들을 검출할 수 있다. 본 개시내용의 이러한 이미지 해시 함수는 프레임 구역들로 세그먼트화될 수 있는 더 낮은 해상도 이미지 피라미드 레벨에 대해 수행될 수 있다. 일부 양상들에서, 구역이 불연속성을 갖는 것으로 검출될 때, 해시 함수 셰이더 패스는 표면의 어느 구역들이 모션 추정이 적용될 수 있는지를 제어하는 마스크를 수정할 수 있다. 일단 본 개시내용이 모션 추정이 수행될 프레임 구역들을 식별하였다면, 모션 벡터 레벨에서 탐색이 수행될지 여부를 결정하기 위해 마스크 또는 마스킹된 모션 추정이 활용될 수 있다. 따라서, 일단 프레임의 구역들이 모션 추정을 위해 식별되면, 이러한 정보는 마스크 또는 마스킹된 모션 추정에 제공될 수 있다. 각각의 구역 또는 구역들의 일부가 불연속 콘텐츠를 포함하는 것으로 식별 또는 결정되면, 본 개시내용은 프레임 외삽을 바이패스할 수 있다.

[0062] 일부 양상들에서, 프레임 또는 프레임 구역의 불연속 콘텐츠의 식별 또는 결정은 특정 컴포넌트, 예를 들어, GPU 또는 CPU에 의해 수행될 수 있다. 예를 들어, 본 개시내용의 양상들은 AR/XR/VR 애플리케이션의 프레임 렌더링 프로세스 동안 GPU에 의해 수행될 수 있다. 예를 들어, 본 개시내용의 양상들은 호스트 디바이스 또는 클라이언트 디바이스, 이를테면 모바일 디바이스 또는 스마트폰 상의 GPU 또는 CPU에 의해 수행될 수 있다.

[0063] 프레임 구역들 사이의 전술된 불연속성들 콘텐츠, 밝기, 및/또는 잡음의 차이와 연관될 수 있다. 추가적으로, 프레임 구역들 사이의 전술된 불연속성들은 구역들 사이의 투명한 오버레이에 대응할 수 있다. 예를 들어, 사용자는 객체를 보고 있을 수 있고 UI를 활성화시킬 수 있으며, 이는 이전의 프레임과 비교하여 후속 프레임 상에서 투명한 오버레이를 발생시킬 수 있다. 일부 양상들에서, 본 개시내용은 불연속성 식별을 수행할 때 2개의 프레임들을 고려할 수 있다. 다른 양상들에서, 본 개시내용은 불연속성 식별을 수행할 때 2개 초과의 프레임들, 예를 들어, 3개, 4개, 8개, 16개의 프레임들 등을 고려할 수 있다.

[0064] 도 5는 본 개시내용에 따른 이미지 또는 프레임 프로세싱의 도면(500)을 예시한다. 도 5에 도시된 바와 같이, 502에서, 본 개시내용의 양상들은 다수의 입력 프레임들을 수신할 수 있다. 504에서, 본 개시내용의 양상들은 각각의 프레임을 구역들 또는 서브-구역들로 분할할 수 있다. 프레임의 각각의 구역 또는 서브-구역에 대해, 본 개시내용은 단계들(512/514/522/524)을 수행할 수 있다. 512에서, 본 개시내용의 양상들은 연속적인 프레임들의 구역들 또는 서브-구역들 사이의 해시 값을 계산할 수 있다. 514에서, 본 개시내용의 양상들은 해시 값을 임계치, 예를 들어, 모션 추정 임계치와 비교할 수 있다. 해시 값이 임계치를 초과하지 않으면, 522에서, 본 개시내용의 양상들은 프레임들의 구역 또는 서브-구역에 대한 모션 추정을 수행할 수 있다. 해시 값이 임계치를 초과하면, 524에서, 본 개시내용의 양상들은 구역 또는 서브-구역에 대한 모션 추정을 수행하지 않을 수 있다.

[0065] 도 6은 본 개시내용에 따른 이미지 또는 프레임 프로세싱의 도면(600)을 예시한다. 도 6에 도시된 바와 같이, 602에서, 본 개시내용의 양상들은 고해상도 이미지 피라미드를 활용할 수 있다. 604에서, 본 개시내용의 양상들은 고해상도 이미지 피라미드를 저해상도 피라미드로 확장할 수 있다. 606에서, 본 개시내용의 양상들은 마스크, 예를 들어, 애플리케이션의 모션 추정 마스크를 활용할 수 있다. 604 및 606에 기초하여, 608에서, 본 개시내용의 양상들은 해시 계산, 임계치 비교, 및/또는 마스크 수정을 수행할 수 있다. 602 및/또는 608에서 검출되는 부분 프레임 구역들에 기초하여, 610에서, 본 개시내용의 양상들은 마스킹된 모션 추정을 수행할 수 있다. 추가적으로, 612에서, 본 개시내용의 양상들은 프레임 외삽을 수행할 수 있다. 602 및/또는 608에서 전체 프레임이 검출되는 것에 기초하여, 614에서, 본 개시내용의 양상들은 프레임 외삽을 스킵 또는 바이패스할 수 있다.

[0066] 이전에 표시된 바와 같이, 특정 양상들에서, 예를 들어, 사용자가 부정확한 모션 추정을 텔레포트할 때, 장면 변화 검출의 부재는 후속 프레임에 대해 높은 왜곡을 초래할 수 있다. 대조적으로, 장면 변화 검출을 포함하는 본 개시내용의 양상들에서, 연속적인 프레임들에 대한 저품질 모션 벡터들이 식별되고 제거될 수 있다. 저품질 모션 벡터들의 이러한 제거는 깨끗한 외삽 프레임 및/또는 증가된 정확도를 초래할 수 있다.

[0067] 도 7은 이미지, 프레임, 또는 그래픽 프로세싱 컴포넌트들의 도면(700)을 예시한다. 도 7에 도시된 바와 같이, 도면(700)은 CPU(central processing unit)(710), GPU(graphics processing unit)(720), 및 DPU(display processing unit)를 포함하는 디스플레이(730)를 포함한다. 도면(700)은 XR, AR, 또는 VR 애플리케이션들에서 클라이언트 디바이스들 또는 호스트 디바이스들, 예를 들어, 모바일 디바이스들 또는 스마트폰들에 의해 활용될 수 있는 다수의 컴포넌트들을 묘사한다. 예를 들어, CPU(710), GPU(720), 및 디스플레이(730)는 본원에 설명된 스킵 모션 추정 기법들을 수행하기 위해 활용될 수 있다.

[0068] 도 4a 내지 도 7은 모션 추정을 스킵하기 위한 전술된 방법들 및 프로세스들의 예들을 예시한다. 도 4a 내지 도 7에 도시된 바와 같이, 본 개시내용의 양상들에서, 본원의 CPU들 및 GPU들, 예를 들어, CPU(710) 및/또는 GPU(720)는 이미지 프로세싱의 정확도를 증가시키기 위해 모션 추정을 스킵하기 위한 다수의 상이한 단계들 또는 프로세스들을 수행할 수 있다. 예를 들어, 본원의 CPU들 및 GPU들은, 제1 구역과 제2 구역 사이의 불연속성이 모션 추정 임계치 이상인 경우, 제1 프레임 구역 및 제2 프레임 구역에 대한 모션 추정을 스킵할 수 있다.

[0069] 본원의 GPU들, 예를 들어, GPU(720)는 제1 프레임, 예를 들어, 제1 프레임(400)이 수신된 후 제2 프레임, 예를 들어, 제2 프레임(450)을 수신할 수 있으며, 여기서 제1 프레임 및 제2 프레임은 복수의 프레임들과 연관될 수 있다. 예를 들어, 이러한 프로세스는 도 5의 단계(502)에 의해 수행될 수 있다. 제1 프레임, 예를 들어, 제1 프레임(400) 및 제2 프레임, 예를 들어, 제2 프레임(450)은 AR(augmented reality), XR(extended reality), 또는 VR(virtual reality) 애플리케이션들 중 적어도 하나와 연관될 수 있다. 또한, 제1 프레임 및 제2 프레임과 연관된 복수의 프레임들은 비디오 스트림에 대응할 수 있다.

[0070] 본원의 GPU들, 예를 들어, GPU(720)는 또한 제1 프레임의 적어도 하나의 제1 구역, 예를 들어, 구역(413)을 제2 프레임의 적어도 하나의 제2 구역, 예를 들어, 구역(453)과 비교할 수 있다.

[0071] 본원의 GPU들, 예를 들어, GPU(720)는 또한, 제1 프레임의 적어도 하나의 제1 구역, 예를 들어, 구역(413)과 제2 프레임의 적어도 하나의 제2 구역, 예를 들어, 구역(453) 사이의 불연속성을 식별할 수 있고, 적어도 하나의 제1 구역은 적어도 하나의 제2 구역에 대응하고, 제1 프레임은 복수의 제1 구역들, 예를 들어, 구역들(411-418)을 포함하고, 제2 프레임은 복수의 제2 구역들, 예를 들어, 구역들(451-458)을 포함하고, 제1 프레임 및 제2 프레임은 복수의 프레임들과 연관된다.

[0072] 일부 양상들에서, 적어도 하나의 제1 구역, 예를 들어, 구역(413)과 적어도 하나의 제2 구역, 예를 들어, 구역(453) 사이의 불연속성은 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 비-인접 콘텐츠에 대응할 수 있다. 추가로, 불연속성은 적어도 하나의 제1 구역, 예를 들어, 구역(413)과 적어도 하나의 제2 구역, 예를 들어, 구역(453) 사이의 콘텐츠, 밝기, 또는 잡음 중 적어도 하나의 차이와 연관될 수 있다. 적어도 하나의 제1 구역, 예를 들어, 구역(413)과 적어도 하나의 제2 구역, 예를 들어, 구역(453) 사이의 불연속성은 또한 복수의 모션 벡터들과 연관될 수 있다. 추가적으로, 적어도 하나의 제1 구역, 예를 들어, 구역(413)과 적어도 하나의 제2 구역, 예를 들어, 구역(453) 사이의 불연속성은 GPU(graphics processing unit), 예를 들어, GPU(720)에 의해 식별될 수 있다.

[0073] 본원의 GPU들, 예를 들어, GPU(720)는 또한, 적어도 하나의 제1 구역, 예를 들어, 구역(413)과 적어도 하나의 제2 구역, 예를 들어, 구역(453) 사이의 불연속성이 모션 추정 임계치 이상인지 여부를 결정할 수 있다. 예를 들어, 이 프로세스는 도 6의 단계(608)에 의해 수행될 수 있다.

[0074] 본원의 GPU들, 예를 들어, GPU(720)는 또한, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치 이상인 경우, 적어도 하나의 제1 구역, 예를 들어, 구역(413) 및 적어도 하나의 제2 구역, 예를 들어, 구역(453)에 대한 모션 추정을 스킵할 수 있다. 예를 들어, 이러한 프로세스는 도 5의 단계(524)에 의해 수행될 수 있다. 일부 예시들에서, 스킵된 모션 추정 또는 식별된 불연속성 중 적어도 하나는, 이를테면, 도 6의 단계(610)에서 마스크 또는 마스킹된 모션 추정 중 적어도 하나와 연관될 수 있다. 또한, 스킵된 모션 추정 또는 식별된 불연속성 중 적어도 하나는, 예를 들어, 도 6의 단계들(602 및 604)에서의 이미지 피라미드, 또는 예를 들어, 도 6의 단계(608)에서의 이미지 해시 함수 중 적어도 하나와 연관될 수 있다.

[0075] 본원의 GPU들, 예를 들어, GPU(720)는 또한, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치 보다 작은 경우, 적어도 하나의 제1 구역, 예를 들어, 구역(413) 및 적어도 하나의 제2 구역, 예를 들어, 구역(453)에 대한 모션 추정을 수행할 수 있다. 예를 들어, 이러한 프로세스는 도 5의 단계(522)에 의해 수행될 수 있다. 일부 양상들에서, 수행된 모션 추정은 복수의 모션 벡터들에 대응할 수 있다.

[0076] 본원의 GPU들, 예를 들어, GPU(720)는 또한, 수행된 모션 추정에 기초하여 제3 프레임을 구성할 수 있고, 여기서 구성된 제3 프레임은 이를테면, 도 6의 단계(612)에서의 프레임 외삽 프로세스와 연관될 수 있다.

[0077] 도 8은 본 개시내용의 하나 이상의 기법들에 따른 예시적인 방법의 흐름도(800)를 예시한다. 방법은 GPU, CPU, 이미지 프로세서, 프레임 프로세서, DPU(display processing unit), 또는 이미지, 프레임, 또는 그래픽스 프로세싱을 위한 장치와 같은 장치에 의해 수행될 수 있다.

[0078] 802에서, 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이, 장치는 제1 프레임이 수신된 후 제2 프레임을 수신할 수 있으며, 여기서 제1 프레임 및 제2 프레임은 복수의 프레임들과 연관될 수 있다. 제1 프레임 및 제2 프레임은, 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이, AR(augmented reality), XR(extended reality), 또는 VR(virtual reality) 애플리케이션들 중 적어도 하나와 연관될 수 있다. 또한, 제1 프레임 및 제2 프레임과 연관된 복수의 프레임들은 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이 비디오 스트림에 대응할 수 있다.

[0079] 804에서, 장치는, 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이, 제1 프레임의 적어도 하나의 제1 구역을 제2 프레임의 적어도 하나의 제2 구역과 비교할 수 있다.

[0080] 806에서, 장치는, 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이, 제1 프레임의 적어도 하나의 제1 구역과 제2 프레임의 적어도 하나의 제2 구역 사이의 불연속성을 식별할 수 있고, 적어도 하나의 제1 구역은 적어도 하나의 제2 구역에 대응하고, 제1 프레임은 복수의 제1 구역들을 포함하고, 제2 프레임은 복수의 제2 구역들을 포함하고, 제1 프레임 및 제2 프레임은 복수의 프레임들과 연관된다.

[0081] 일부 양상들에서, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성은, 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 비인접 콘텐츠에 대응할 수 있다. 추가로, 불연속성은 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 콘텐츠, 밝기, 또는 잡음 중 적어도 하나의 차이와 연관될 수 있다. 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성은 또한, 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이, 복수의 모션 벡터들과 연관될 수 있다. 추가적으로, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성은, 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이, GPU(graphics processing unit)에 의해 식별될 수 있다.

[0082] 808에서, 장치는, 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치 이상인지 여부를 결정할 수 있다.

[0083] 810에서, 장치는 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치 이상인 경우, 적어도 하나의 제1 구역 및 적어도 하나의 제2 구역에 대한 모션 추정을 스킵할 수 있다. 일부 예시들에서, 스킵된 모션 추정 또는 식별된 불연속성 중 적어도 하나는, 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이, 마스크 또는 마스킹된 모션 추정 중 적어도 하나와 연관될 수 있다. 또한, 스킵된 모션 추정 또는 식별된 불연속성 중 적어도 하나는, 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이, 이미지 피라미드 또는 이미지 해시 함수 중 적어도 하나와 연관될 수 있다.

[0084] 812에서, 장치는 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치 보다 작은 경우 적어도 하나의 제1 구역 및 적어도 하나의 제2 구역에 대한 모션 추정을 수행할 수 있다. 일부 양상들에서, 수행된 모션 추정은 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이, 복수의 모션 벡터들에 대응할 수 있다.

[0085] 814에서, 장치는, 도 4a, 도 4b, 도 5, 도 6, 및 도 7의 예들과 관련하여 설명된 바와 같이, 수행된 모션 추정에 기초하여 제3 프레임을 구성할 수 있고, 여기서 구성된 제3 프레임은 프레임 외삽 프로세스와 연관될 수 있다.

[0086] 일 구성에서, 이미지, 프레임, 또는 그래픽스 프로세싱을 위한 방법 또는 장치가 제공된다. 장치는 GPU, CPU, 이미지 프로세서, 프레임 프로세서, DPU(display processing unit), 또는 이미지, 프레임, 또는 그래픽스 프로세싱을 수행할 수 있는 일부 다른 프로세서일 수 있다. 일 양상에서, 장치는 디바이스(104) 내의 프로세싱 유닛(120)일 수 있거나, 또는 디바이스(104) 또는 다른 디바이스 내의 일부 다른 하드웨어일 수 있다. 장치는 제1 프레임의 적어도 하나의 제1 구역과 제2 프레임의 적어도 하나의 제2 구역 사이의 불연속성을 식별하기 위한 수단을 포함할 수 있고, 적어도 하나의 제1 구역은 적어도 하나의 제2 구역에 대응하고, 제1 프레임은 복수의 제1 구역들을 포함하고, 제2 프레임은 복수의 제2 구역들을 포함하고, 제1 프레임 및 제2 프레임은 복수의 프레임들과 연관된다. 장치는 또한, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치 이상인지 여부를 결정하기 위한 수단을 포함할 수 있다. 장치는 또한, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치 이상인 경우, 적어도 하나의 제1 구역 및 적어도 하나의 제2 구역에 대한 모션 추정을 스킵하기 위한 수단을 포함할 수 있다. 장치는 또한, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치 보다 작은 경우, 적어도 하나의 제1 구역 및 적어도 하나의 제2 구역에 대한 모션 추정을 수행하기 위한 수단을 포함할 수 있다. 장치는 또한, 수행된 모션 추정에 기초하여 제3 프레임을 구성하기 위한 수단을 포함할 수 있고, 여기서 구성된 제3 프레임은 프레임 외삽 프로세스와 연관될 수 있다. 장치는 또한, 제1 프레임이 수신된 후 제2 프레임을 수신하기 위한 수단을 포함할 수 있다. 장치는 또한, 제1 프레임의 적어도 하나의 제1 구역을 제2 프레임의 적어도 하나의 제2 구역과 비교하기 위한 수단을 포함할 수 있다.

[0087] 본원에서 설명되는 청구대상은 하나 이상의 이익들 또는 이점들을 실현하도록 구현될 수 있다. 예를 들어, 설명된 이미지, 프레임, 또는 그래픽스 프로세싱 기법들은 GPU, CPU, 이미지 프로세서, 프레임 프로세서, DPU(display processing unit), 또는 본원에 설명된 스킵 모션 추정 기법들을 구현하기 위한 이미지, 프레임, 또는 그래픽스 프로세싱을 수행할 수 있는 일부 다른 프로세서에 의해 사용될 수 있다. 이는 또한, 다른 이미지, 프레임, 또는 그래픽스 프로세싱 기법들과 비교하여 낮은 비용으로 달성될 수 있다. 더욱이, 본원의 이미지, 프레임, 또는 그래픽스 프로세싱 기법들은 프레임 프로세싱 또는 실행을 개선하거나 가속화할 수 있다. 추가로, 본원의 이미지, 프레임, 또는 그래픽스 프로세싱 기법들은 자원 또는 데이터 활용 및/또는 자원 효율을 개선할 수 있다. 추가적으로, 본 개시내용의 양상들은, 정확도를 증가시키고, 전력을 절약하고, 프로세싱 시간을 개선하고, 레이턴시를 감소시키고, 그리고/또는 성능 오버헤드를 감소시키기 위해, 모션 추정 기법들을 스킵하는 것을 활용할 수 있다.

[0088] 본 개시내용에 따르면, 맥락이 달리 지시하지 않는 경우, "또는"이라는 용어는 "및/또는"으로서 중단될 수 있다. 추가적으로, "하나 이상" 또는 "적어도 하나" 등과 같은 문구들은 본원에 개시된 일부 특징들에 대해 사용되었지만 다른 특징들에 대해서는 사용되지 않았을 수 있지만, 그러한 언어가 사용되지 않은 특징들은 문맥에서 달리 지시하지 않는 경우 그러한 의미를 암시하는 것으로 해석될 수 있다.

[0089] 하나 이상의 예들에서, 본원에 설명된 기능들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, "프로세싱 유닛"이라는 용어가 본 개시내용 전반에 걸쳐 사용되었지만, 이러한 프로세싱 유닛들은 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 임의의 조합으로 구현될 수 있다. 본원에서 설명된 임의의 기능, 프로세싱 유닛, 기법, 또는 다른 모듈이 소프트웨어로 구현되는 경우, 기능, 프로세싱 유닛, 본원에서 설명되는 기법, 또는 다른 모듈은, 컴퓨터-판독가능 매체 상에서 하나 이상의 명령들 또는 코드로서 저장되거나 이를 통해 송신될 수 있다. 컴퓨터-판독가능 매체들은, 일 장소에서 다른 장소로의 컴퓨터 프로그램의 전달을 용이하게 하는 임의의 매체를 포함하는 컴퓨터 데이터 저장 매체들 또는 통신 매체들을 포함할 수 있다. 이러한 방식으로, 컴퓨터-판독가능 매체들은 일반적으로, (1) 비-일시적인 유형의 컴퓨터-판독가능 저장 매체들 또는 (2) 신호 또는 반송파와 같은 통신 매체에 대응할 수 있다. 데이터 저장 매체들은, 본 개시내용에 설명된 기법들의 구현을 위해 명령들, 코드 및/또는 데이터 구조들을 리트리브하기 위해 하나 이상의 컴퓨터들 또는 하나 이상의 프로세서들에 의해 액세스될 수 있는 임의의 이용가능한 매체들일 수 있다. 제한이 아닌 예로서, 그러한 컴퓨터-판독가능 매체들은 RAM, ROM, EEPROM, CD-ROM, 또는 다른 광학 디스크 저장소, 자기 디스크 저장소, 또는 다른 자기 저장 디바이스들을 포함할 수 있다. 본원에서 사용되는 바와 같이, 디스크(disk) 및 디스크(disc)는 CD(compact disc), 레이저 디스크(laser disc), 광학 디스크(optical disc), DVD(digital unified disc), 플로피 디스크(floppy disk) 및 블루레이 디스크(Blu-ray disc)를 포함하며, 디스크(disk)들은 대개 자기적으로 데이터를 재생하는 반면, 디스크(disc)들은 레이저들을 이용하여 데이터를 광학적으로 재생한다. 상기한 것들의 조합들이 또한 컴퓨터-판독가능 매체들의 범위 내에 포함되어야 한다. 컴퓨터 프로그램 제품은 컴퓨터-판독가능 매체를 포함할 수 있다.

[0090] 코드는 하나 이상의 프로세서들, 이를테면 하나 이상의 디지털 신호 프로세서(DSP)들, 범용 마이크로프로세서들, 주문형 집적 회로(ASIC)들, 산술 로직 유닛(ALU)들, 필드 프로그램가능 로직 어레이(FPGA)들, 또는 다른 등가의 집적 또는 이산 로직 회로에 의해 실행될 수 있다. 이에 따라, 본원에서 사용된 바와 같은 "프로세서”라는 용어는, 본원에서 설명되는 기법들의 구현에 적합한 전술한 구조 또는 임의의 다른 구조 중 임의의 구조를 지칭할 수 있다. 또한, 기법들은 하나 이상의 회로들 또는 로직 엘리먼트들로 완전히 구현될 수 있다.

[0091] 본 개시내용의 기법들은 무선 핸드셋, 집적 회로(IC) 또는 IC들의 세트, 예를 들어, 칩 세트를 포함하는 매우 다양한 디바이스들 또는 장치들에서 구현될 수 있다. 개시된 기법들을 수행하도록 구성된 디바이스들의 기능적 양상들을 강조하기 위해 본 개시내용에서 다양한 컴포넌트들, 모듈들 또는 유닛들이 설명되지만, 반드시 상이한 하드웨어 유닛들에 의한 실현을 필요로 하는 것은 아니다. 오히려, 위에서 설명된 바와 같이, 다양한 유닛들은 임의의 하드웨어 유닛으로 결합되거나, 적절한 소프트웨어 및/또는 펌웨어와 함께, 위에서 설명된 바와 같은 하나 이상의 프로세서들을 포함하는 상호동작하는 하드웨어 유닛들의 집합에 의해 제공될 수 있다.

[0092] 다양한 예들이 설명되었다. 이들 및 다른 예들은 다음의 청구항들의 범위 내에 있다.

[0093] 다음의 양상들은 단지 예시적이며, 제한 없이, 본원에 설명된 다른 양상들 또는 교시들과 조합될 수 있다.

[0094] 양상 1은 이미지 프로세싱 방법이다. 방법은 제1 프레임의 적어도 하나의 제1 구역과 제2 프레임의 적어도 하나의 제2 구역 사이의 불연속성을 식별하는 단계 ― 적어도 하나의 제1 구역은 적어도 하나의 제2 구역에 대응하고, 제1 프레임은 복수의 제1 구역들을 포함하고, 제2 프레임은 복수의 제2 구역들을 포함하고, 제1 프레임 및 제2 프레임은 복수의 프레임들과 연관됨 ―; 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연성이 모션 추정 임계치 이상인지 여부를 결정하는 단계; 및 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치 이상인 경우, 적어도 하나의 제1 구역 및 적어도 하나의 제2 구역에 대한 모션 추정을 스킵하는 단계를 포함한다.

[0095] 양상 2는, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 비인접 콘텐츠에 대응하는, 양상 1의 방법이다.

[0096] 양상 3은, 불연속성이 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 콘텐츠, 밝기, 또는 잡음 중 적어도 하나의 차이와 연관되는, 양상 1 또는 양상 2의 방법이다.

[0097] 양상 4는, 스킵된 모션 추정 또는 식별된 불연속성 중 적어도 하나가 마스크 또는 마스킹된 모션 추정 중 적어도 하나와 연관되는, 양상 1 내지 양상 3 중 어느 하나의 방법이다.

[0098] 양상 5는, 스킵된 모션 추정 또는 식별된 불연속성 중 적어도 하나가 이미지 피라미드 또는 이미지 해시 함수 중 적어도 하나와 연관되는, 양상 1 내지 양상 4 중 어느 하나의 방법이다.

[0099] 양상 6은, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 모션 추정 임계치보다 작은 경우, 적어도 하나의 제1 구역 및 적어도 하나의 제2 구역에 대한 모션 추정을 수행하는 단계를 더 포함하는, 양상 1 내지 양상 5 중 어느 하나의 방법이다.

[0100] 양상 7은, 수행된 모션 추정에 기초하여 제3 프레임을 구성하는 단계를 더 포함하고, 구성된 제3 프레임은 프레임 외삽 프로세스와 연관되는, 양상 1 내지 양상 6 중 어느 하나의 방법이다.

[0101] 양상 8은, 수행된 모션 추정이 복수의 모션 벡터들에 대응하는, 양상 1 내지 양상 7 중 어느 하나의 방법이다.

[0102] 양상 9는, 제1 프레임이 수신된 후에 제2 프레임을 수신하는 단계를 더 포함하는, 양상 1 내지 양상 8 중 어느 하나의 방법이다.

[0103] 양상 10은, 제1 프레임의 적어도 하나의 제1 구역을 제2 프레임의 적어도 하나의 제2 구역에 비교하는 단계를 더 포함하는, 양상 1 내지 양상 9 중 어느 하나의 방법이다.

[0104] 양상 11은, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 복수의 모션 벡터들과 연관되는, 양상 1 내지 양상 10 중 어느 하나의 방법이다.

[0105] 양상 12는, 제1 프레임 및 제2 프레임이 AR(augmented reality), XR(extended reality), 또는 VR(virtual reality) 애플리케이션들 중 적어도 하나와 연관되는, 양상 1 내지 양상 11 중 어느 하나의 방법이다.

[0106] 양상 13은, 적어도 하나의 제1 구역과 적어도 하나의 제2 구역 사이의 불연속성이 GPU(graphics processing unit)에 의해 식별되는, 양상 1 내지 양상 12 중 어느 하나의 방법이다.

[0107] 양상 14는, 제1 프레임 및 제2 프레임과 연관된 복수의 프레임들이 비디오 스트림에 대응하는, 양상 1 내지 양상 13 중 어느 하나의 방법이다.

[0108] 양상 15는, 양상 1 내지 양상 14 중 어느 하나에서와 같은 방법을 구현하기 위한 수단을 포함하는, 이미지 프로세싱을 위한 장치이다.

[0109] 양상 16은, 메모리에 커플링되고 양상 1 내지 양상 14 중 어느 하나에서와 같은 방법을 구현하도록 구성된 적어도 하나의 프로세서를 포함하는, 이미지 프로세싱을 위한 장치이다.

[0110] 양상 17은, 컴퓨터 실행가능 코드를 저장하는 컴퓨터-판독가능 매체이며, 여기서, 코드는 프로세서에 의해 실행될 때, 프로세서로 하여금 양상 1 내지 양상 14 중 어느 하나에서와 같은 방법을 구현하게 한다.

Claims (43)

1. 이미지 프로세싱 방법으로서,
   제1 프레임의 적어도 하나의 제1 구역과 제2 프레임의 적어도 하나의 제2 구역 사이의 불연속성을 식별하는 단계 ― 상기 적어도 하나의 제1 구역은 상기 적어도 하나의 제2 구역에 대응하고, 상기 제1 프레임은 복수의 제1 구역들을 포함하고, 상기 제2 프레임은 복수의 제2 구역들을 포함하고, 상기 제1 프레임 및 상기 제2 프레임은 복수의 프레임들과 연관됨 ―;
   상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성이 모션 추정 임계치 이상인지 여부를 결정하는 단계; 및
   상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성이 상기 모션 추정 임계치 이상인 경우, 상기 적어도 하나의 제1 구역 및 상기 적어도 하나의 제2 구역에 대한 모션 추정을 스킵하는 단계를 포함하는, 이미지 프로세싱 방법.
2. 제1항에 있어서,
   상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성은 상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 비인접 콘텐츠에 대응하는, 이미지 프로세싱 방법.
3. 제1항에 있어서,
   상기 불연속성은 상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 콘텐츠, 밝기, 또는 잡음 중 적어도 하나의 차이와 연관되는, 이미지 프로세싱 방법.
4. 제1항에 있어서,
   상기 스킵된 모션 추정 또는 상기 식별된 불연속성 중 적어도 하나는 마스크 또는 마스킹된 모션 추정 중 적어도 하나와 연관되는, 이미지 프로세싱 방법.
5. 제1항에 있어서,
   상기 스킵된 모션 추정 또는 상기 식별된 불연속성 중 적어도 하나는 이미지 피라미드 또는 이미지 해시 함수 중 적어도 하나와 연관되는, 이미지 프로세싱 방법.
6. 제1항에 있어서,
   상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성이 상기 모션 추정 임계치보다 작은 경우, 상기 적어도 하나의 제1 구역 및 상기 적어도 하나의 제2 구역에 대한 모션 추정을 수행하는 단계를 더 포함하는, 이미지 프로세싱 방법.
7. 제6항에 있어서,
   상기 수행된 모션 추정에 기초하여 제3 프레임을 구성하는 단계를 더 포함하고, 상기 구성된 제3 프레임은 프레임 외삽 프로세스와 연관되는, 이미지 프로세싱 방법.
8. 제6항에 있어서,
   상기 수행된 모션 추정은 복수의 모션 벡터들에 대응하는, 이미지 프로세싱 방법.
9. 제1항에 있어서,
   상기 제1 프레임이 수신된 후에 상기 제2 프레임을 수신하는 단계를 더 포함하는, 이미지 프로세싱 방법.
10. 제1항에 있어서,
    상기 제1 프레임의 상기 적어도 하나의 제1 구역을 상기 제2 프레임의 상기 적어도 하나의 제2 구역과 비교하는 단계를 더 포함하는, 이미지 프로세싱 방법.
11. 제1항에 있어서,
    상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성은 복수의 모션 벡터들과 연관되는, 이미지 프로세싱 방법.
12. 제1항에 있어서,
    상기 제1 프레임 및 상기 제2 프레임은 AR(augmented reality), XR(extended reality), 또는 VR(virtual reality) 애플리케이션들 중 적어도 하나와 연관되는, 이미지 프로세싱 방법.
13. 제1항에 있어서,
    상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성은 GPU(graphics processing unit)에 의해 식별되는, 이미지 프로세싱 방법.
14. 제1항에 있어서,
    상기 제1 프레임 및 상기 제2 프레임과 연관된 상기 복수의 프레임들은 비디오 스트림에 대응하는, 이미지 프로세싱 방법.
15. 이미지 프로세싱을 위한 장치로서,
    메모리; 및
    상기 메모리에 커플링된 적어도 하나의 프로세서를 포함하며,
    상기 적어도 하나의 프로세서는,
    제1 프레임의 적어도 하나의 제1 구역과 제2 프레임의 적어도 하나의 제2 구역 사이의 불연속성을 식별하고 ― 상기 적어도 하나의 제1 구역은 상기 적어도 하나의 제2 구역에 대응하고, 상기 제1 프레임은 복수의 제1 구역들을 포함하고, 상기 제2 프레임은 복수의 제2 구역들을 포함하고, 상기 제1 프레임 및 상기 제2 프레임은 복수의 프레임들과 연관됨 ―;
    상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성이 모션 추정 임계치 이상인지 여부를 결정하고; 그리고
    상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성이 상기 모션 추정 임계치 이상인 경우, 상기 적어도 하나의 제1 구역 및 상기 적어도 하나의 제2 구역에 대한 모션 추정을 스킵하도록
    구성되는, 이미지 프로세싱을 위한 장치.
16. 제15항에 있어서,
    상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성은 상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 비인접 콘텐츠에 대응하는, 이미지 프로세싱을 위한 장치.
17. 제15항에 있어서,
    상기 불연속성은 상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 콘텐츠, 밝기, 또는 잡음 중 적어도 하나의 차이와 연관되는, 이미지 프로세싱을 위한 장치.
18. 제15항에 있어서,
    상기 스킵된 모션 추정 또는 상기 식별된 불연속성 중 적어도 하나는 마스크 또는 마스킹된 모션 추정 중 적어도 하나와 연관되는, 이미지 프로세싱을 위한 장치.
19. 제15항에 있어서,
    상기 스킵된 모션 추정 또는 상기 식별된 불연속성 중 적어도 하나는 이미지 피라미드 또는 이미지 해시 함수 중 적어도 하나와 연관되는, 이미지 프로세싱을 위한 장치.
20. 제15항에 있어서,
    상기 적어도 하나의 프로세서는 상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성이 상기 모션 추정 임계치보다 작은 경우, 상기 적어도 하나의 제1 구역 및 상기 적어도 하나의 제2 구역에 대한 모션 추정을 수행하도록 추가로 구성되는, 이미지 프로세싱을 위한 장치.
21. 제20항에 있어서,
    상기 적어도 하나의 프로세서는 상기 수행된 모션 추정에 기초하여 제3 프레임을 구성하도록 추가로 구성되고, 상기 구성된 제3 프레임은 프레임 외삽 프로세스와 연관되는, 이미지 프로세싱을 위한 장치.
22. 제20항에 있어서,
    상기 수행된 모션 추정은 복수의 모션 벡터들에 대응하는, 이미지 프로세싱을 위한 장치.
23. 제15항에 있어서,
    상기 적어도 하나의 프로세서는 상기 제1 프레임이 수신된 후에 상기 제2 프레임을 수신하도록 추가로 구성되는, 이미지 프로세싱을 위한 장치.
24. 제15항에 있어서,
    상기 적어도 하나의 프로세서는 상기 제1 프레임의 상기 적어도 하나의 제1 구역을 상기 제2 프레임의 상기 적어도 하나의 제2 구역과 비교하도록 추가로 구성되는, 이미지 프로세싱을 위한 장치.
25. 제15항에 있어서,
    상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성은 복수의 모션 벡터들과 연관되는, 이미지 프로세싱을 위한 장치.
26. 제15항에 있어서,
    상기 제1 프레임 및 상기 제2 프레임은 AR(augmented reality), XR(extended reality), 또는 VR(virtual reality) 애플리케이션들 중 적어도 하나와 연관되는, 이미지 프로세싱을 위한 장치.
27. 제15항에 있어서,
    상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성은 GPU(graphics processing unit)에 의해 식별되는, 이미지 프로세싱을 위한 장치.
28. 제15항에 있어서,
    상기 제1 프레임 및 상기 제2 프레임과 연관된 상기 복수의 프레임들은 비디오 스트림에 대응하는, 이미지 프로세싱을 위한 장치.
29. 이미지 프로세싱을 위한 장치로서,
    제1 프레임의 적어도 하나의 제1 구역과 제2 프레임의 적어도 하나의 제2 구역 사이의 불연속성을 식별하기 위한 수단 ― 상기 적어도 하나의 제1 구역은 상기 적어도 하나의 제2 구역에 대응하고, 상기 제1 프레임은 복수의 제1 구역들을 포함하고, 상기 제2 프레임은 복수의 제2 구역들을 포함하고, 상기 제1 프레임 및 상기 제2 프레임은 복수의 프레임들과 연관됨 ―;
    상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성이 모션 추정 임계치 이상인지 여부를 결정하기 위한 수단; 및
    상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성이 상기 모션 추정 임계치 이상인 경우, 상기 적어도 하나의 제1 구역 및 상기 적어도 하나의 제2 구역에 대한 모션 추정을 스킵하기 위한 수단을 포함하는, 이미지 프로세싱을 위한 장치.
30. 제29항에 있어서,
    상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성은 상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 비인접 콘텐츠에 대응하는, 이미지 프로세싱을 위한 장치.
31. 제29항에 있어서,
    상기 불연속성은 상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 콘텐츠, 밝기, 또는 잡음 중 적어도 하나의 차이와 연관되는, 이미지 프로세싱을 위한 장치.
32. 제29항에 있어서,
    상기 스킵된 모션 추정 또는 상기 식별된 불연속성 중 적어도 하나는 마스크 또는 마스킹된 모션 추정 중 적어도 하나와 연관되는, 이미지 프로세싱을 위한 장치.
33. 제29항에 있어서,
    상기 스킵된 모션 추정 또는 상기 식별된 불연속성 중 적어도 하나는 이미지 피라미드 또는 이미지 해시 함수 중 적어도 하나와 연관되는, 이미지 프로세싱을 위한 장치.
34. 제29항에 있어서,
    상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성이 상기 모션 추정 임계치보다 작은 경우, 상기 적어도 하나의 제1 구역 및 상기 적어도 하나의 제2 구역에 대한 모션 추정을 수행하기 위한 수단을 더 포함하는, 이미지 프로세싱을 위한 장치.
35. 제34항에 있어서,
    상기 수행된 모션 추정에 기초하여 제3 프레임을 구성하기 위한 수단을 더 포함하고, 상기 구성된 제3 프레임은 프레임 외삽 프로세스와 연관되는, 이미지 프로세싱을 위한 장치.
36. 제34항에 있어서,
    상기 수행된 모션 추정은 복수의 모션 벡터들에 대응하는, 이미지 프로세싱을 위한 장치.
37. 제29항에 있어서,
    상기 제1 프레임이 수신된 후에 상기 제2 프레임을 수신하기 위한 수단을 더 포함하는, 이미지 프로세싱을 위한 장치.
38. 제29항에 있어서,
    상기 제1 프레임의 상기 적어도 하나의 제1 구역을 상기 제2 프레임의 상기 적어도 하나의 제2 구역과 비교하기 위한 수단을 더 포함하는, 이미지 프로세싱을 위한 장치.
39. 제29항에 있어서,
    상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성은 복수의 모션 벡터들과 연관되는, 이미지 프로세싱을 위한 장치.
40. 제29항에 있어서,
    상기 제1 프레임 및 상기 제2 프레임은 AR(augmented reality), XR(extended reality), 또는 VR(virtual reality) 애플리케이션들 중 적어도 하나와 연관되는, 이미지 프로세싱을 위한 장치.
41. 제29항에 있어서,
    상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성은 GPU(graphics processing unit)에 의해 식별되는, 이미지 프로세싱을 위한 장치.
42. 제29항에 있어서,
    상기 제1 프레임 및 상기 제2 프레임과 연관된 상기 복수의 프레임들은 비디오 스트림에 대응하는, 이미지 프로세싱을 위한 장치.
43. 이미지 프로세싱을 위한 컴퓨터 실행가능 코드를 저장하는 컴퓨터-판독가능 저장 매체로서,
    상기 코드는, 프로세서에 의해 실행되는 경우, 상기 프로세서로 하여금,
    제1 프레임의 적어도 하나의 제1 구역과 제2 프레임의 적어도 하나의 제2 구역 사이의 불연속성을 식별하게 하고 ― 상기 적어도 하나의 제1 구역은 상기 적어도 하나의 제2 구역에 대응하고, 상기 제1 프레임은 복수의 제1 구역들을 포함하고, 상기 제2 프레임은 복수의 제2 구역들을 포함하고, 상기 제1 프레임 및 상기 제2 프레임은 복수의 프레임들과 연관됨 ―;
    상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성이 모션 추정 임계치 이상인지 여부를 결정하게 하고; 그리고
    상기 적어도 하나의 제1 구역과 상기 적어도 하나의 제2 구역 사이의 상기 불연속성이 상기 모션 추정 임계치 이상인 경우, 상기 적어도 하나의 제1 구역 및 상기 적어도 하나의 제2 구역에 대한 모션 추정을 스킵하게 하는, 컴퓨터-판독가능 저장 매체.

Images