KR102432755B1 - 비디오 인코더에 직접 렌더링하는 게임 엔진 애플리케이션 - Google Patents

비디오 인코더에 직접 렌더링하는 게임 엔진 애플리케이션 Download PDF

Info

Publication number
KR102432755B1
KR102432755B1 KR1020207016094A KR20207016094A KR102432755B1 KR 102432755 B1 KR102432755 B1 KR 102432755B1 KR 1020207016094 A KR1020207016094 A KR 1020207016094A KR 20207016094 A KR20207016094 A KR 20207016094A KR 102432755 B1 KR102432755 B1 KR 102432755B1
Authority
KR
South Korea
Prior art keywords
image
color space
rendered
encoder
properties
Prior art date
Application number
KR1020207016094A
Other languages
English (en)
Other versions
KR20200088830A (ko
Inventor
가버 시네스
카일 플루마도레
양 리우
이햅 아메르
보리스 이바노비치
Original Assignee
에이티아이 테크놀로지스 유엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에이티아이 테크놀로지스 유엘씨 filed Critical 에이티아이 테크놀로지스 유엘씨
Publication of KR20200088830A publication Critical patent/KR20200088830A/ko
Application granted granted Critical
Publication of KR102432755B1 publication Critical patent/KR102432755B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6008—Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • A63F13/5258—Changing parameters of virtual cameras by dynamically adapting the position of the virtual camera to keep a game object or game character in its viewing frustum, e.g. for tracking a character or a ball
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/32—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using local area network [LAN] connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/33—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections
    • A63F13/335—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers using wide area network [WAN] connections using Internet
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/20—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterised by details of the game platform
    • A63F2300/203—Image generating hardware
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)

Abstract

이미지를 비디오 인코더에 직접 렌더링하기 위한 시스템, 장치, 및 방법이 개시된다. 게임 엔진은 이미지를 모드에 따라 상이한 색 공간으로 렌더링하도록 구성된 내장형 렌더링 유닛을 포함한다. 렌더링 유닛은 제1 모드로 동작하는 동안 디스플레이에 직접 구동되도록 제1 색 공간에 대해서만 이미지를 렌더링한다. 렌더링 유닛은 제2 모드로 동작하는 동안 비디오 인코더에 직접 제공되는 제2 색 공간에 대해서만 이미지를 렌더링한다. 제3 모드에서, 렌더링 유닛은 양쪽의 색 공간에 대해 이미지를 렌더링한다. 일 실시형태에서, 제1 색 공간은 RGB이고 제2 색 공간은 YUV이다. 게임 엔진은 또한 각각의 렌더링된 이미지와 관련된 복수의 속성을 생성하고, 비디오 인코더는 렌더링된 이미지와 관련된 속성에 기초하여 각각의 렌더링된 이미지를 인코딩된 비트스트림으로 인코딩한다.

Description

비디오 인코더에 직접 렌더링하는 게임 엔진 애플리케이션
본 발명은 이미지를 비디오 인코더에 직접 렌더링하기 위한 시스템, 장치, 및 방법에 관한 것이다.
다양한 애플리케이션은 이미지 또는 비디오 콘텐트의 실시간 인코딩 및 디코딩을 수행한다. 예를 들어, 클라우드 게이밍 및 게이밍 관람(gaming spectatorship)은 콘텐트의 실시간 인코딩 및 디코딩을 위한 지원을 포함하는 애플리케이션의 예이다. 레이턴시, 품질, 비트레이트, 전력, 및 성능 과제는 일반적으로 이러한 작업 부하를 실시간으로 전달할 때에 발생한다. 많은 시나리오에서, 그래픽 처리 유닛(GPU)에서 실행하는 게이밍 엔진 기반 애플리케이션은 RGB 색 공간에서 시스템 부착형 디스플레이를 통해 이미지를 표시하도록 렌더링하고 있다. 또한, 렌더링된 이미지가 네트워크를 통해 원격 시스템으로 전송되도록 의도된 경우, 렌더링된 이미지는 코덱(일반적으로 YUV)에 의해 사용되는 색 공간으로 변환되고 비디오 인코더에 의해 비디오 비트스트림으로 인코딩된다. 낮은 인코딩 레이턴시를 유지하고 인코딩된 비디오 비트스트림의 아티팩트(artifact)를 감소시키면서 비디오 인코더가 비디오의 품질을 최적화하는 것은 곤란할 수 있다. 상기를 고려하여, 이미지를 렌더링하고 렌더링된 이미지를 인코딩된 비트스트림으로 인코딩하기 위한 새롭고 개선된 방법(들)이 요구된다.
이하의 상세한 설명에서는, 본 명세서에 개시된 방법 및 메커니즘의 완전한 이해를 가능하게 하기 위해 다수의 구체적인 상세에 대하여 제시된다. 그러나, 당업자는 이러한 구체적인 상세없이도 다양한 실시형태를 실시하는 것이 가능하다는 것을 인식해야 한다. 일부 경우에, 잘 알려진 구조, 구성요소, 신호, 컴퓨터 프로그램 명령어, 및 기술이 본 명세서에 기술된 접근 방식을 모호하게 하는 것을 회피하기 위해 상세하게 도시되어 있지 않다. 도시의 단순성 및 명료성을 위해, 도면에 나타낸 요소가 반드시 일정한 비율로 도시된 것이 아니라는 것을 이해할 것이다. 예를 들어, 일부 요소의 치수는 다른 요소에 비해 과장될 수 있다.
비디오 인코더에 직접 렌더링하는 게임 엔진을 위한 시스템, 장치, 및 방법이 본 명세서에 개시된다. 일 실시형태에서, 시스템은 네트워크를 통해 디코더를 갖는 클라이언트에 연결된 서버 내에 게임 엔진 및 비디오 인코더를 포함한다. 게임 엔진은 디스플레이를 위해 제1 색 공간에서 이미지를 렌더링하도록 구성된 내장형 렌더링 유닛을 포함한다. 렌더링 유닛은 또한 제2 색 공간에서 이미지를 비디오 인코더에 직접 렌더링하도록 구성된다. 일 실시형태에서, 제1 색 공간은 RGB이고 제2 색 공간은 YUV이다. 게임 엔진은 또한 각각의 렌더링된 이미지와 관련된 복수의 속성을 생성하고 복수의 속성을 비디오 인코더에 전달한다. 복수의 속성은 이미지를 렌더링하기 위한 렌더링 유닛에 의해 사용된 다양한 유형의 데이터를 포함한다. 비디오 인코더는 렌더링된 이미지와 관련된 복수의 속성에 기초하여 각각의 렌더링된 이미지를 인코딩된 비트스트림으로 인코딩한다.
일 실시형태에서, 렌더링 유닛은 클라우드의 서버 상에 배치되고, 렌더링된 콘텐트는 네트워크를 통해 클라이언트에 전달되고 있다. 예를 들어, 클라우드에서 렌더링되고 있는 게이밍 애플리케이션 프레임으로 클라우드 게이밍 애플리케이션이 실행될 수 있다. 이 시나리오에서, 렌더링 유닛은 렌더링된 프레임을 인코더에 전달할 것이다. 렌더링 유닛은 다양한 유형의 처리 유닛 중 임의의 것을 사용하여 구현될 수 있다. 일 실시형태에서, 렌더링 유닛은 그래픽 프로세서 또는 그래픽 서브시스템에서 구현된다. 다른 실시형태에서, 렌더링 유닛은 범용 중앙 처리 유닛(CPU)에서 구현된다. 다른 실시형태에서, 렌더링 유닛은 다른 유형의 처리 유닛(예를 들어, 주문형 집적 회로(ASIC), 필드 프로그램가능 게이트 어레이(FPGA), 디지털 신호 프로세서(DSP))에서 구현될 수 있다.
본 명세서에 기술된 방법 및 메커니즘의 이점은 첨부 도면과 함께 이하의 설명을 참조함으로써 더 잘 이해될 수 있다.
도 1은 렌더링된 이미지를 네트워크를 통해 전송되는 비디오 비트스트림으로 인코딩하기 위한 시스템의 일 실시형태의 블록도이다.
도 2는 서버의 소프트웨어 구성요소의 일 실시형태의 블록도이다.
도 3은 컴퓨팅 시스템의 일 실시형태의 블록도이다.
도 4는 컴퓨팅 시스템의 다른 실시형태의 블록도이다.
도 5는 비디오 엔진에 직접 렌더링하는 게임 엔진을 위한 방법의 일 실시형태를 도시하는 일반화된 흐름도이다.
도 6은 멀티모드 게임 엔진을 동작시키기 위한 방법의 일 실시형태를 도시하는 일반화된 흐름도이다.
이제 도 1을 참조하면, 렌더링된 이미지를 네트워크를 통해 전송되는 비디오 비트스트림으로 인코딩하기 위한 시스템(100)의 일 실시형태의 블록도가 나타나 있다. 시스템(100)은 서버(105), 네트워크(110), 클라이언트(115), 및 디스플레이(120)를 포함한다. 다른 실시형태에서, 시스템(100)은 네트워크(110)를 통해 서버(105)에 연결된 다수의 클라이언트를 포함할 수 있고, 다수의 클라이언트는 서버(105)에 의해 생성된 동일한 비트스트림 또는 상이한 비트스트림을 수신한다. 시스템(100)은 또한 다수의 클라이언트에 대한 다수의 비트스트림을 생성하기 위한 둘 이상의 서버(105)를 포함할 수 있다. 일 실시형태에서, 시스템(100)은 클라우드 게이밍 애플리케이션의 일부로서 게임 콘텐트의 실시간 렌더링 및 인코딩을 구현하도록 구성된다. 레이턴시, 품질, 비트레이트, 전력, 및 성능 과제는 일반적으로 이러한 작업 부하를 실시간으로 전달할 때에 발생한다. 다른 실시형태에서, 시스템(100)은 다른 유형의 애플리케이션을 실행하도록 구성된다.
일 실시형태에서, 서버(105)는 비디오 또는 이미지 프레임을 렌더링하고, 프레임을 비트스트림으로 인코딩한 다음, 인코딩된 비트스트림을 네트워크(110)를 통해 클라이언트(115)에 전달하도록 구성된다. 클라이언트(115)는 인코딩된 비트스트림을 디코딩하고 비디오 프레임 또는 이미지를 생성하여 디스플레이(120) 또는 디스플레이 컴포지터(display compositor)에 구동하도록 구성된다. 일 실시형태에서, 서버(105)는 사용자에게 디스플레이될 이미지를 렌더링하기 위한 게임 엔진을 포함한다. 본 명세서에서 사용되는 바와 같이, 용어 "게임 엔진"은 이미지를 렌더링하기 위한 실시간 렌더링 애플리케이션으로서 정의된다. 게임 엔진은 이미지를 렌더링하기 위한 다양한 쉐이더(shader)(예를 들어, 버텍스 쉐이더, 지오메트리 쉐이더)를 포함할 수 있다. 게임 엔진은 일반적으로 서버(105)에 연결된 디스플레이 상에 즉시 디스플레이될 렌더링된 이미지를 생성하는 데 이용된다. 그러나, 일부 애플리케이션은 렌더링된 콘텐트가 원격 위치에 디스플레이될 클라이언트-서버 모델을 사용하여 실행할 수 있다. 이들 애플리케이션의 경우, 렌더링된 이미지는 비디오 인코더에 의해 비디오 비트스트림으로 인코딩된다. 그 후, 비디오 비트스트림은 네트워크(110)를 통해 클라이언트(115)로 전송되어 디스플레이(120) 상에 보여진다. 다양한 실시형태에서, 비디오 비트스트림(235)은 다양한 적합한 통신 프로토콜(예를 들어, TCP/IP 등) 중 임의의 것에 따라 네트워크 인터페이스(미도시)를 통해 네트워크(240)에 전달된다.
네트워크(110)는 무선 연결, 다이렉트 근거리 통신망(LAN), 도시권 통신망(MAN), 원거리 통신망(WAN), 인트라넷, 인터넷, 케이블 네트워크, 패킷 교환 네트워크, 광섬유 네트워크, 라우터, 스토리지 전용 네트워크, 또는 다른 유형의 네트워크를 포함한, 임의의 유형의 네트워크 또는 네트워크의 조합을 나타낸다. LAN의 예는 이더넷 네트워크, FDDI(Fiber Distributed Data Interface) 네트워크 및 토큰 링 네트워크를 포함한다. 네트워크(110)는 원격 직접 메모리 액세스(RDMA) 하드웨어 및/또는 소프트웨어, 전송 제어 프로토콜/인터넷 프로토콜(TCP/IP) 하드웨어 및/또는 소프트웨어, 라우터, 리피터, 스위치, 그리드, 및/또는 다른 구성요소를 더 포함할 수 있다.
서버(105)는 비디오/이미지 프레임을 렌더링하고 프레임을 비트스트림으로 인코딩하기 위한 소프트웨어 및/또는 하드웨어의 임의의 조합을 포함한다. 일 실시형태에서, 서버(105)는 하나 이상의 서버의 하나 이상의 프로세서에서 실행하는 하나 이상의 소프트웨어 애플리케이션을 포함한다. 서버(105)는 또한 네트워크 통신 성능, 하나 이상의 입력/출력 디바이스, 및/또는 다른 구성요소를 포함한다. 서버(105)의 프로세서(들)는 임의의 수 및 유형(예를 들어, 그래픽 처리 유닛(GPU), CPU, DSP, FPGA, ASIC)의 프로세서를 포함할 수 있다. 프로세서(들)는 프로세서(들)에 의해 실행 가능한 프로그램 명령어를 저장하는 하나 이상의 메모리 디바이스에 연결될 수 있다. 마찬가지로, 클라이언트(115)는 비트스트림을 디코딩하고 프레임을 디스플레이(120)에 구동하기 위한 소프트웨어 및/또는 하드웨어의 임의의 조합을 포함한다. 일 실시형태에서, 클라이언트(115)는 하나 이상의 컴퓨팅 디바이스의 하나 이상의 프로세서에서 실행하는 하나 이상의 소프트웨어 애플리케이션을 포함한다. 클라이언트(115)는 컴퓨팅 디바이스, 게임 콘솔, 모바일 디바이스, 스트리밍 미디어 플레이어, 또는 다른 유형의 디바이스일 수 있다.
이제 도 2를 참조하면, 서버(205)의 소프트웨어 구성요소의 일 실시형태의 블록도가 나타나 있다. 일 실시형태에서, 서버(205)는 서버(205)의 처리 유닛에서 실행하도록 구성된 애플리케이션(210)을 포함한다. 일 실시형태에서, 애플리케이션(210)은 비디오 게임 애플리케이션이다. 예를 들어, 애플리케이션(210)은 게임플레이의 비디오를 전달 및/또는 수신하도록 구성된 클라우드 게이밍 애플리케이션일 수 있다. 다른 실시형태에서, 애플리케이션(210)은 게임플레이의 비디오를 시청하도록 구성된 게이밍 관람 애플리케이션이다. 다양한 실시형태에서, 서버(205)는 하나 이상의 프로세서, 하나 이상의 메모리 디바이스, 및 서버 또는 다른 컴퓨팅 디바이스를 나타내는 추가 구성요소를 포함한다. 도 2에 나타낸 다양한 소프트웨어 구성요소는 서버(205)의 처리 유닛에서 실행하도록 구성된다. 일 실시형태에서, 서버(205)는 클라우드 컴퓨팅 아키텍처의 일부이다.
일 실시형태에서, 애플리케이션(210)은 사용자가 애플리케이션(210)에 의해 생성된 비디오 스트림을 디스플레이하고 그와 상호 작용하는 클라이언트 디바이스에서 캡처된 사용자 움직임/행동을 지정하는 입력(예를 들어, 게임 커맨드)을 수신하도록 구성된다. 애플리케이션(210)은 디스플레이를 위해 프레임을 렌더링하도록 게임 엔진(215)에 제공되는 그래픽 정보를 포함한다. 게임 엔진(215)은 애플리케이션(210)의 게임 상태에 기초하여 이미지 프레임을 렌더링하도록 구성된다. 그 후, 렌더링된 이미지 프레임은 디스플레이 엔진에 제공되고 이어서 디스플레이에 구동되도록 의도되어 있다. 그러나, 일 실시형태에서, 렌더링된 이미지 프레임은 원격 클라이언트 디바이스의 디스플레이 상에 디스플레이될 것이다. 이 실시형태에서, 렌더링된 이미지 프레임은 비디오 비트스트림으로 인코딩될 것이고, 비디오 비트스트림은 원격 클라이언트 디바이스에 전송된다.
일 실시형태에서, 게임 엔진(215)은 렌더링된 이미지로부터 비디오 비트스트림의 인코딩에 사용하기 위해 각각의 렌더링된 이미지(227)와 관련된 복수의 속성(228)을 인코더(230)에 제공하도록 구성된다. 복수의 속성(228)은 렌더링 유닛(220)이 렌더링된 이미지를 구축하는 데 사용된 다양한 데이터를 포함한다. 따라서, 이들 속성(228)은 이미 존재하고, 렌더링 유닛(220)은 인코딩 프로세스를 향상시키기 위해 이들 속성(228)을 인코더(230)에 제공할 수 있다. 이들 속성(228)을 수신함으로써, 인코더(230)는 각각의 렌더링된 이미지(227)에 대해 일반적으로 수행될 다양한 처리 및 분석 작업을 생략할 수 있다. 다양한 실시형태에서, 복수의 속성(228)은 이하의 속성, 즉 카메라-뷰(camera-view) 속도 버퍼, 객체별(per-object) 모션 정보, 텍스처 데이터 힌트, 관심 영역(ROI), 깊이 정보(예를 들어, 입체 비디오 인코딩), 시간 통계(temporal statistics), 렌더링 프레임 레이트, 장면 변경(scene change), 추가 비트가 필요한 영역(예를 들어, 사각형), 스킵(skip) 또는 정적 프레임 표시, 및 후처리 데이터를 포함할 수 있지만, 이에 한정되지 않는다. 다른 실시형태에서는, 다른 정보가 수집될 수 있고 및/또는 이들 속성 중 하나 이상이 비디오 인코더(230)에 제공되는 속성(228)으로부터 생략될 수 있다.
일 실시형태에서, 카메라-뷰 속도 정보는 모션 추정기를 보조하는 데 이용될 수 있다. 일 실시형태에서, ROI 정보는 더티 사각형 데이터(dirty rectangles data), 중요 콘텐트 의존 객체, 게임/앱 통계 등을 포함할 수 있다. 게임/앱 통계는 불투명, 투명, 또는 반투명 오버레이로 나타낼 수 있다. 장면 변경 데이터는 인코더 리프레시 로직(encoder refresh logic)을 보조할 수 있다. 추가 비트가 필요할 수 있는 영역은 오버레이드 게임 통계 또는 메뉴를 포함한다.
실시형태에 따라, 다양한 렌더링된 이미지 속성이 상이한 인코더 설정을 제어 또는 조정하는 데 이용될 수 있다. 예를 들어, 2개의 연속 이미지(ImageN-1 및 ImageN)가 유사한 경우(예를 들어, ImageN - ImageN-1 < 임계값), 렌더링 유닛(220)은 프레임을 스킵하도록 인코더(230)에 신호를 보낼 수 있다. 또한, 2개의 연속 이미지를 비교(ImageN을 ImageN-1과 비교)할 때에 마킹된 영역이 변하지 않는 경우, 인코더(230)는 ImageN 내지 ImageN-1의 해당 영역에 대한 직접적인 기준을 구축할 수 있다. 또한, 렌더링 유닛(220)은 (다소간의 압축을 달성하기 위해) 마킹된 ROI 양자화 파라미터 값을 교대로 할 수 있다. 또한, 속도 버퍼(ImageN을 ImageN-1과 비교함)로부터의 모션 정보가 이용될 수 있다. 예를 들어, 모션 데이터는 인코딩 프로세스에서 사용되는 매크로블록당(per-macroblock) 양자화 파라미터를 수정하는 데 사용될 수 있다. 이것은 속도에 기초하여 특정 콘텐트를 향해 더 많은 인코딩 비트를 할당하는 것을 의미한다. 또한, 깊이 정보는 입체 이미지를 인코딩하는 데 사용될 수 있다.
일 실시형태에서, 게임 엔진(215)은 적/녹/청(Red/Green/Blue(RGB)) 색 공간에서 이미지를 렌더링하도록 구성된다. 그러나, 일 실시형태에서, 인코더(230)는 휘도/색차 신호(Luminance/Chrominance(YUV)) 색 공간에서 이미지를 비디오 스트림으로 인코딩하도록 구성된다. 따라서, 이러한 경우, 렌더링된 RGB 이미지는 YUV 색 공간에서 이미지를 렌더링하도록 구성된 인코더(230)와 호환 불가능하다. 이러한 불일치를 해결하기 위해, 다양한 실시형태에서 렌더링 유닛(220)은 RGB 및 YUV 색 공간 중 하나 또는 둘 모두에서 이미지를 렌더링하도록 구성된다. YUV 색 공간은 YCbCr 또는 Y'CbCr 색 공간이라고도 지칭될 수 있음에 유의해야 한다.
일 실시형태에서, 게임 엔진(215)의 렌더링 유닛(220)은 렌더링된 이미지(227)를 버퍼(225)의 제1 부분에 기입하고, 게임 엔진(215)의 렌더링 유닛(220)은 렌더링된 이미지(227)와 관련된 속성(228)을 버퍼(225)의 제2 부분에 기입한다. 일 실시형태에서, 비디오 인코더(230)는 렌더링된 이미지(227) 및 관련 속성(228)을 버퍼(225)로부터 검색하도록 구성된다. 비디오 인코더(230)는 렌더링된 이미지(227)를 인코딩된 비디오 비트스트림(235)으로 인코딩할 때에 속성(228)을 이용하도록 구성된다. 비디오 인코더(230)는 버퍼(225)로부터 후속의 렌더링된 이미지 및 관련 속성을 검색(또는 다른 방식으로 수신)하고 후속의 렌더링된 이미지로부터 인코딩된 비디오 비트스트림(235)을 계속 생성하도록 구성된다. 다양한 실시형태에서, 게임 엔진(215)의 렌더링 유닛(220)에 의해 생성된 프레임의 인코딩은 원하는 다양한 비디오 포맷 및 표준(예를 들어, "HD", "4K", "4K Ultra", H.262, H.264, H.265 등) 중 임의의 것에 따른다.
일 실시형태에서, 인코더(230)는 주어진 비트 예산(bit budget)을 갖는 인코딩된 비트스트림(235)을 생성하도록 구성된다. 예를 들어, 인코더(230)는 비트스트림(235)에 대해 이용 가능한 또는 지정된 네트워크 대역폭(예를 들어, 2Mbps (megabits per second))에 기초하여 특정 비트 예산을 가질 수 있고, 인코더(230)는 이 특정 비트 예산을 충족시키도록 프레임을 인코딩한다. 인코딩된 비트스트림(235)이 인코더(230)에 의해 생성될 때, 인코딩된 비트스트림(235)은 서버(205)로부터 클라이언트(미도시)로 전달된다. 클라이언트는 인코딩된 비트스트림(235)을 수신하고, 비트스트림(235)을 개별 프레임으로 디코딩한 다음, 프레임을 디스플레이 또는 디스플레이 컴포지터에 구동한다.
이제 도 3을 참조하면, 컴퓨팅 시스템(305)의 일 실시형태의 블록도가 나타나 있다. 컴퓨팅 시스템(305)은 플레이어 움직임 또는 행동을 수신하는 애플리케이션(310)을 포함한다. 컴퓨팅 시스템(305)은 또한 통합된 렌더링 유닛(320)을 갖는 게임 엔진(315)을 포함한다. 도 3에 나타낸 실시형태에서, 컴퓨팅 시스템(305)은 디스플레이 디바이스(324) 상에 디스플레이하기 위한 렌더링된 이미지(322) 및 특히 비디오 인코더(330)를 위해 렌더링되는 렌더링된 이미지(327)를 생성하도록 구성된다. 렌더링 유닛(320)은 또한 인코딩 프로세스를 보조하기 위해 속성(328)을 버퍼(325)의 비디오 인코더(330)에 제공한다. 비디오 인코더(330)는 게임 엔진(315)의 렌더링 유닛(320)에 의해 생성된 각각의 이미지에 대해 버퍼(325)로부터 렌더링된 이미지(327) 및 속성(328)을 검색하고, 이어서 비디오 인코더(330)는 렌더링된 이미지(327) 및 속성(328)으로부터 인코딩된 비디오 비트스트림(335)을 생성한다. 일 실시형태에서, 렌더링된 이미지(322)는 제1 색 공간에서 생성되고, 렌더링된 이미지(327)는 제2 색 공간에서 생성된다. 일 실시형태에서, 제1 색 공간은 RGB이고 제2 색 공간은 YUV이다. 실시형태에 따라, 인코딩된 비디오 비트스트림(335)은 네트워크(340)를 통해 원격 시스템에 전달될 수 있거나, 또는 인코딩된 비디오 비트스트림(335)은 메모리(345)에 기록 및 저장될 수 있다.
이제 도 4를 참조하면, 컴퓨팅 시스템(405)의 다른 실시형태의 블록도가 나타나 있다. 시스템(405)은 통합된 렌더링 유닛(420)을 갖는 게임 엔진(415)을 포함한다. 일 실시형태에서, 게임 엔진(415)은 실행되고 있는 특정 소프트웨어 애플리케이션 및/또는 시스템(405)의 동작 조건에 따라 상이한 모드로 동작할 수 있다. 테이블(416)은 일 실시형태에 따라 게임 엔진(415)이 구현할 수 있는 상이한 동작 모드의 리스트를 포함한다. 예를 들어, 모드(417A)에서, 게임 엔진(415)은 비디오 인코더(450)에만 렌더링하도록 구성된다. 모드(417A)에서, 렌더링 유닛(420)은 이미지를 YUV 색 공간에 렌더링하고, 각각의 렌더링된 이미지(430)를 비디오 비트스트림으로 인코딩할 때에 비디오 인코더(450)에 의해 이용될 속성(435)을 생성한다. 렌더링 유닛(420)은 이미지 속성 섹션(435)에 저장될 데이터를 수집한다. 렌더링 유닛(420)이 이미지(깊이, 모션, 텍스처)를 생성하기 위해 기본적으로 사용하는 데이터 이외에, 렌더링 유닛(420)은 또한 이전 이미지에 대한 ROI 및 시간 변화를 암시할 수 있다. 예를 들어, 현재 렌더링된 이미지(430)의 작은 부분만이 이전에 렌더링된 이미지와 비교하여 변경된 경우, 렌더링 유닛(420)은 비디오 인코더(450)에 대한 표시(속성(435)에 포함됨)를 생성하여 현재 렌더링된 이미지를 인코딩할 때에 이전의 렌더링된 이미지(430)로부터 미변경 부분을 재사용한다.
모드(417B)로 동작할 때, 게임 엔진(415)은 디스플레이(424)에만 렌더링하도록 구성된다. 모드(417B)에서, 렌더링 유닛(420)은 RGB 색 공간에서 각각의 렌더링된 이미지(422)를 생성하고, 이어서 렌더링된 RGB 이미지(422)는 디스플레이(424) 또는 디스플레이 컴포지터에 구동된다. 모드(417C)로 동작할 때, 게임 엔진(415)은 비디오 인코더(450) 및 디스플레이(424)에 렌더링하도록 구성된다. 모드(417C)에서, 호스트 게이밍 애플리케이션의 각 프레임에 대해, 렌더링 유닛(420)은 디스플레이(424)를 위해 RGB 색 공간에서의 렌더링된 이미지(422)를 생성하고, 렌더링 유닛(420)은 YUV 색 공간에서의 렌더링된 이미지(430) 및 비디오 인코더(450)를 위한 속성(435)을 생성한다. 다른 실시형태에서, 게임 엔진(415)은 다른 유형의 모드로 동작할 수 있고 및/또는 게임 엔진(415)은 테이블(416)에 나타낸 모드 중 하나를 생략할 수 있다.
일 실시형태에서, 게임 엔진(415)이 비디오 인코더(450)에 의해 직접 소비될 이미지를 렌더링하고 있을 때, 게임 엔진(415)은 비디오 인코더(450)에 의한 검색을 위해 렌더링된 이미지(430) 및 속성(435)을 버퍼(425)에 저장한다. 일 실시형태에서, 변환 유닛(translation unit)(440)은 렌더링된 이미지(430)를 인코딩된 비디오 비트스트림으로 인코딩할 때에 비디오 인코더(450)가 소비할 수 있는 포맷으로 속성(435)을 변환한다. 변환 유닛(440)은 게임 엔진(415)에 의해 버퍼(425)에 저장된 메타데이터(metadata)(즉, 속성(435))를 검색할 수 있고, 변환 유닛(440)은 메타데이터가 시스템(405)에 의해 구현될 수 있는 다양한 다른 유형의 비디오 인코더에 의해 소비될 수 있도록 메타데이터를 변환할 수 있다. 예를 들어, 이 데이터는 인코더가 시간 차이, 텍스처, ROI를 이해하고 이미지 분석을 완전히 또는 부분적으로 스킵하는 데 도움이 될 것이다. 이를 통해, 인코더는 이미지를 압축하는 시간을 절약하고, 시간 제약(낮은 레이턴시)을 고려하면 더 양호한 이미지 품질을 제공할 것이다. 일부 실시형태에서, 변환 유닛(440)은 ROI 맵, 압축 파라미터 맵, 및 스킵 프레임을 비트스트림에 삽입할 것인지에 대한 결정과 같은 비디오 인코더(450)에 대한 추가 파라미터를 제공한다.
예를 들어, 비디오 인코더(450)가 H.264 비디오 표준에 따라 비디오 비트스트림을 인코딩하고 있는 경우, 변환 유닛(440)은 속성(435)을 H.264 표준과 호환 가능한 포맷으로 변환할 수 있다. 대안적으로, 비디오 인코더(450)가 H.265 비디오 표준(즉, 고효율 비디오 코딩(HEVC))에 따라 비디오 비트스트림을 인코딩하고 있는 경우, 변환 유닛(440)은 속성(435)을 H.265 표준과 호환 가능한 포맷으로 변환할 수 있다. 또한, 비디오 인코더(450)가 VP9 코덱에 따라 비디오 비트스트림을 인코딩하고 있는 경우, 변환 유닛(440)은 속성(435)을 VP9 코덱과 호환 가능한 포맷으로 변환할 수 있다. 변환 유닛(440)은 또한 속성(435)을 비디오 인코더(450)에 의해 지원되는 표준에 따라 다른 비디오 압축 표준과 호환 가능한 다른 형식으로 변환할 수 있다.
일 실시형태에서, 비디오 인코더(450)는 게임 엔진(415)의 렌더링 유닛(420) 및/또는 변환 유닛(440)에 피드백을 제공하도록 구성된다. 예를 들어, 비디오 인코더(450)가 비디오 비트스트림을 전송하고 있는 네트워크 연결의 이용 가능한 대역폭이 감소하는 경우, 비디오 인코더(450)는 렌더링된 이미지(430)의 해상도를 감소시키기 위해 게임 엔진(415)의 렌더링 유닛(420)에 통지할 수 있다. 또한, 일부 실시형태에서, 비디오 인코더(450)는 다수의 클라이언트에 대한 비디오 비트스트림을 생성할 수 있고, 비디오 인코더(450)가 비디오 비트스트림을 인코딩하기 위한 소수의 연산 리소스를 갖는 경우, 비디오 인코더(450)는 렌더링된 이미지(430)를 생성할 때에 프레임 레이트를 감소시키고, 해상도를 감소시키며, 및/또는 하나 이상의 다른 조치를 수행하도록 게임 엔진(415)의 렌더링 유닛(420)에 통지한다. 다른 실시형태에서, 비디오 인코더(450)는 또한 하나 이상의 추가 속성이 속성(435)에 추가되도록 요청할 수 있다. 또한, 또 다른 실시형태에서, 비디오 인코더(450)는 또한 비디오 인코더(450)에 제공되는 다양한 속성(435)을 포맷하는 방법을 지정하기 위해 피드백을 변환 유닛(440)에 제공한다.
이제 도 5를 참조하면, 비디오 인코더에 직접 렌더링하는 게임 엔진을 위한 방법(500)의 일 실시형태가 나타나 있다. 설명의 목적으로, 이 실시형태에서의 단계 및 도 6의 단계는 순차적으로 나타나 있다. 그러나, 기술된 방법의 다양한 실시형태에서, 기술된 요소 중 하나 이상이 나타낸 것과 다른 순서로 동시에 수행되거나, 또는 완전히 생략된다는 것에 유의해야 한다. 또한, 다른 추가 요소가 원하는 대로 수행된다. 본 명세서에 기술된 다양한 시스템 또는 장치 중 임의의 것이 방법(500)을 구현하도록 구성된다.
내장형 렌더링 유닛을 갖는 게임 엔진이 이미지를 렌더링하기 위한 입력을 수신한다(블록(505)). 게임 엔진이 비디오 인코더와 직접 호환 가능한 포맷으로 이미지를 렌더링한다(블록(510)). 예를 들어, 게임 엔진은 인코딩 프로세스를 수행할 때에 비디오 인코더가 이용할 색 포맷(예를 들어, YUV)으로 이미지를 렌더링한다. 게임 엔진은 또한 렌더링된 이미지에 대한 복수의 속성을 비디오 인코더에 제공한다(블록(515)). 다음으로, 비디오 인코더가 렌더링된 이미지를 복수의 속성에 기초하여 인코딩된 비트스트림으로 인코딩한다(블록(520)). 그 후, 비디오 인코더가 인코딩된 비트스트림을 클라이언트에 전송하거나 인코딩된 비트스트림을 저장한다(블록(525)). 블록(525) 후, 방법(500)은 게임 엔진이 다음 이미지를 렌더링하기 위한 입력을 수신하는 블록(505)으로 복귀한다.
이제 도 6을 참조하면, 멀티모드 게임 엔진을 동작시키기 위한 방법(600)의 일 실시형태가 나타나 있다. 내장형 렌더링 유닛을 갖는 멀티모드 게임 엔진이 컴퓨팅 시스템에서 실행된다(블록(605)). 시스템이 게임 엔진의 동작 모드를 결정한다(블록(610)). 게임 엔진이 제1 모드로 동작하는 경우(조건부 블록(615), "Yes" 레그), 렌더링 유닛은 각각의 이미지를 비디오 인코더에 대해서만 직접 제1 색 공간(즉, YUV 색 공간)으로 렌더링한다(블록(620)). 또한, 게임 엔진이 각각의 렌더링된 이미지에 대한 복수의 속성을 비디오 인코더에 제공한다(블록(625)). 일 실시형태에서, 렌더링 유닛 속성 데이터는 YUV 렌더링 이미지로 패킹된다. 블록(625) 후, 방법(600)이 종료한다.
게임 엔진이 제2 모드로 동작하는 경우(조건부 블록(630), "Yes" 레그), 렌더링 유닛은 각각의 이미지를 로컬로 연결된 디스플레이에 대해서만 제2 색 공간(즉, RGB 색 공간)으로 렌더링한다(블록(635)). 블록(635) 후, 방법(600)이 종료한다. 게임 엔진이 제3 모드로 동작하는 경우(조건부 블록(630), "No" 레그), 렌더링 유닛은 각각의 이미지를 비디오 인코더에 대해 직접 제1 색 공간(즉, YUV 색 공간)으로 그리고 로컬로 연결된 디스플레이에 대해 제2 색 공간(즉, RGB 색 공간)으로 양쪽으로 렌더링한다(블록(640)). 블록(640) 후, 방법(600)이 종료한다. 다른 실시형태에서는, 게임 엔진이 다른 동작 모드를 가질 수 있음에 유의해야 한다. 이들 실시형태에서, 방법(600)은 이러한 다른 동작 모드를 이용하는 것에 적합할 수 있다.
다양한 실시형태에서, 소프트웨어 애플리케이션의 프로그램 명령어는 본 명세서에 기술된 방법 및/또는 메커니즘을 구현하는 데 사용된다. 예를 들어, 범용 또는 특수 목적 프로세서에 의해 실행 가능한 프로그램 명령어가 고려된다. 다양한 실시형태에서, 이러한 프로그램 명령어는 고급 프로그래밍 언어로 표현될 수 있다. 다른 실시형태에서, 프로그램 명령어는 고급 프로그래밍 언어로부터 이진, 중간, 또는 다른 형태로 컴파일링될 수 있다. 대안적으로, 하드웨어의 행동 또는 설계를 기술하는 프로그램 명령어가 기입될 수 있다. 이러한 프로그램 명령어는 C/C++와 같은 고급 프로그래밍 언어로 표현될 수 있다. 대안적으로, 베릴로그(Verilog)와 같은 하드웨어 설계 언어(HDL)가 사용될 수 있다. 다양한 실시형태에서, 프로그램 명령어는 다양한 비일시적 컴퓨터 판독가능 저장 매체 중 어느 하나에 저장된다. 저장 매체는 프로그램 실행을 위해 프로그램 명령어를 컴퓨팅 시스템에 제공하기 위해 사용 중에 컴퓨팅 시스템에 의해 액세스 가능하다. 일반적으로, 이러한 컴퓨팅 시스템은 적어도 하나 이상의 메모리 및 프로그램 명령어를 실행하도록 구성된 하나 이상의 프로세서를 포함한다.
전술한 실시형태는 단지 구현예의 비한정적인 예에 불과하다는 것이 강조되어야 한다. 상기 개시가 완전히 이해되면 많은 변형 및 변경이 당업자에게 명백해질 것이다. 다음의 청구범위는 모든 이러한 변형 및 변경을 망라하는 것으로 해석되는 것으로 의도되어 있다.

Claims (20)

  1. 시스템으로서,
    디스플레이를 위해 이미지를 렌더링하도록 구성된 렌더링 유닛을 포함하는 게임 엔진; 및
    제1 색 공간에서 렌더링되어 있는 렌더링된 이미지들을 인코딩하도록 구성된 비디오 인코더를 포함하며,
    상기 렌더링 유닛은,
    각각의 이미지를 상기 제1 색 공간에서 렌더링하고;
    상기 제1 색 공간에서 렌더링된 각각의 이미지와 관련되고, 서로 구별되는 속성들을 생성하고;
    상기 제1 색 공간에서 렌더링된 각각의 이미지를 상기 인코더에 전달하고; 및
    각각의 이미지와 관련된 상기 속성들을 상기 인코더에 전달하도록 구성되고,
    상기 인코더는 상기 렌더링 유닛에 의해 제공된 복수의 속성들에 기초하여 각각의 렌더링된 이미지를 인코딩하도록 구성되는 것을 특징으로 하는 시스템.
  2. 제1항에 있어서,
    상기 시스템은 상기 복수의 속성을 제1 포맷으로부터 상기 인코더와 호환 가능한 제2 포맷으로 변환하도록 구성된 변환 유닛(translation unit)을 더 포함하는 것을 특징으로 하는 시스템.
  3. 제1항에 있어서,
    소정 모드에서 동작하는 것에 응답하여, 상기 렌더링 유닛은,
    상기 제1 색 공간 및 상기 제1 색 공간과 다른 제2 색 공간에서 소정 이미지를 생성하고;
    상기 제1 색 공간에서의 렌더링된 이미지를 대응하는 생성된 속성들과 함께 상기 인코더로 전달하고;
    상기 제2 색 공간에서 렌더링된 상기 소정 이미지를 디스플레이 디바이스에 전달하도록 구성되는 것을 특징으로 하는 시스템.
  4. 제1항에 있어서,
    상기 제1 색 공간에서 렌더링된 각각의 이미지는, 대응하는 각각의 이미지와 관련되어 생성된 속성들과 별도로 저장되는 것을 특징으로 하는 시스템.
  5. 제1항에 있어서,
    상기 복수의 속성들은 카메라-뷰( camera-view) 속도 버퍼, 객체별(per-object) 모션 정보, 텍스처 데이터 힌트, 관심 영역, 깊이 정보, 시간 통계(temporal statistics), 렌더링 프레임 레이트, 장면 변경(scene change) 데이터, 추가 비트가 필요한 영역, 스킵(skip) 또는 정적 프레임 데이터, 및 후처리 데이터를 포함하는 것을 특징으로 하는 시스템.
  6. 제1항에 있어서,
    상기 게임 엔진은 현재 렌더링된 프레임 속성들을 수집하고 이전에 렌더링된 이미지에 대한 시간적 및 공간적 변화들을 제공하도록 구성되는 것을 특징으로 하는 시스템.
  7. 제6항에 있어서,
    상기 게임 엔진은 상기 현재 렌더링된 이미지와 하나 이상의 이전에 렌더링된 이미지의 비교에 기초하여 상기 복수의 속성들 중 하나 이상의 속성들을 생성하도록 구성되고, 상기 하나 이상의 속성들은 장면 변경 데이터, 관심 영역, 또는 모션 벡터 데이터를 포함하는 것을 특징으로 하는 시스템.
  8. 방법으로서,
    게임 엔진의 렌더링 유닛에 의해, 제1 색 공간에서 이미지를 렌더링하는 단계;
    상기 제1 색 공간에서 렌더링된 상기 이미지와 관련되고, 서로 구별되는 속성들을 생성하는 단계;
    상기 제1 색 공간에서 렌더링된 상기 이미지를 인코더에 전달하는 단계;
    상기 이미지와 관련된 속성들을 상기 인코더에 전달하는 단계;
    상기 인코더에 의해, 복수의 속성들에 기초하여 각각의 렌더링된 이미지를 인코딩하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제8항에 있어서,
    변환 유닛에 의해, 상기 복수의 속성들을 제1 포맷으로부터 상기 인코더와 호환 가능한 제2 포맷으로 변환하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  10. 제8항에 있어서,
    소정 모드에서 동작하는 것에 응답하여, 상기 방법은,
    상기 제1 색 공간 및 상기 제1 색 공간과 다른 제2 색 공간에서 소정 이미지를 생성하는 단계;
    상기 제1 색 공간에서의 렌더링된 이미지를 대응하는 생성된 속성들과 함께 상기 인코더로 전달하는 단계;
    상기 제2 색 공간에서 렌더링된 상기 소정 이미지를 디스플레이 디바이스에 전달하는 단계
    를 더 포함하는 것을 특징으로 하는 방법.
  11. 제8항에 있어서,
    상기 제1 색 공간에서 렌더링된 각각의 이미지를, 대응하는 각각의 이미지와 관련되어 생성된 속성들과 별도로 저장하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  12. 제8항에 있어서,
    상기 복수의 속성들은 카메라-뷰 속도 버퍼, 객체별 모션 정보, 텍스처 데이터 힌트, 관심 영역, 깊이 정보, 시간 통계, 렌더링 프레임 레이트, 장면 변경 데이터, 추가 비트가 필요한 영역, 스킵 또는 정적 프레임 데이터, 및 후처리 데이터를 포함하는 것을 특징으로 하는 방법.
  13. 제8항에 있어서,
    상기 게임 엔진에 의해, 현재 렌더링된 프레임 속성들을 수집하고 이전에 렌더링된 이미지에 대한 시간적 및 공간적 변화화들을 제공하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  14. 제13항에 있어서,
    상기 게임 엔진에 의해, 상기 현재 렌더링된 이미지와 하나 이상의 이전에 렌더링된 이미지의 비교에 기초하여 상기 복수의 속성들 중 하나 이상의 속성들을 생성하는 단계를 더 포함하고, 상기 하나 이상의 속성들은 장면 변경 데이터, 관심 영역, 또는 모션 벡터 데이터를 포함하는 것을 특징으로 하는 방법.
  15. 장치로서,
    디스플레이를 위해 이미지들을 렌더링하도록 구성된 렌더링 유닛을 포함하는 게임 엔진;
    렌더링된 이미지들을 인코딩하도록 구성된 인코더; 및
    상기 게임 엔진 및 상기 인코더에 연결된 변환 유닛을 포함하며,
    상기 렌더링 유닛은,
    각각의 이미지를 상기 인코더와 호환 가능한 제1 색 공간에서 렌더링하고;
    상기 제1 색 공간에서 렌더링된 각각의 이미지와 관련되고 서로 구별되는 속성들을 생성하고;
    상기 제1 색 공간에서 렌더링된 각각의 이미지를 상기 인코더에 전달하고; 및
    각각의 이미지와 관련된 상기 속성들을 상기 인코더에 전달하도록 구성되며,
    상기 인코더는 복수의 속성들에 기초하여 각각의 렌더링된 이미지를 인코딩하도록 구성되는 것을 특징으로 하는 장치.
  16. 제15항에 있어서,
    상기 변환 유닛은 상기 복수의 속성들을 제1 포맷으로부터 상기 인코더와 호환 가능한 제2 포맷으로 변환하도록 구성되는 것을 특징으로 하는 장치.
  17. 제15항에 있어서,
    소정 모드에서 동작하는 것에 응답하여, 상기 렌더링 유닛은,
    상기 제1 색 공간 및 상기 제1 색 공간과 다른 제2 색 공간에서 소정 이미지를 생성하고;
    상기 제1 색 공간에서의 렌더링된 이미지를 대응하는 생성된 속성들과 함께 상기 인코더로 전달하고;
    상기 제2 색 공간에서 렌더링된 상기 소정 이미지를 디스플레이 디바이스에 전달하도록 구성되는 것을 특징으로 하는 장치.
  18. 제15항에 있어서,
    상기 제1 색 공간에서 렌더링된 각각의 이미지는, 대응하는 각각의 이미지와 관련되어 생성된 속성들과 별도로 저장되는 것을 특징으로 하는 장치.
  19. 제15항에 있어서,
    상기 복수의 속성들은 카메라-뷰 속도 버퍼, 객체별 모션 정보, 텍스처 데이터 힌트, 관심 영역, 깊이 정보, 시간 통계, 렌더링 프레임 레이트, 장면 변경 데이터, 추가 비트가 필요한 영역, 스킵 또는 정적 프레임 데이터, 및 후처리 데이터를 포함하는 것을 특징으로 하는 장치.
  20. 제15항에 있어서,
    상기 게임 엔진은 현재 렌더링된 프레임 속성들을 수집하고 이전에 렌더링된 이미지에 대한 시간적 및 공간적 변화들을 제공하도록 구성되는 것을 특징으로 하는 장치.
KR1020207016094A 2017-11-17 2018-09-27 비디오 인코더에 직접 렌더링하는 게임 엔진 애플리케이션 KR102432755B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/816,765 2017-11-17
US15/816,765 US10594901B2 (en) 2017-11-17 2017-11-17 Game engine application direct to video encoder rendering
PCT/IB2018/057511 WO2019097319A1 (en) 2017-11-17 2018-09-27 Game engine application direct to video encoder rendering

Publications (2)

Publication Number Publication Date
KR20200088830A KR20200088830A (ko) 2020-07-23
KR102432755B1 true KR102432755B1 (ko) 2022-08-18

Family

ID=66532691

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207016094A KR102432755B1 (ko) 2017-11-17 2018-09-27 비디오 인코더에 직접 렌더링하는 게임 엔진 애플리케이션

Country Status (6)

Country Link
US (1) US10594901B2 (ko)
EP (1) EP3711296A4 (ko)
JP (1) JP7221957B2 (ko)
KR (1) KR102432755B1 (ko)
CN (1) CN111357289B (ko)
WO (1) WO2019097319A1 (ko)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10523947B2 (en) 2017-09-29 2019-12-31 Ati Technologies Ulc Server-based encoding of adjustable frame rate content
US11290515B2 (en) 2017-12-07 2022-03-29 Advanced Micro Devices, Inc. Real-time and low latency packetization protocol for live compressed video data
US11100604B2 (en) 2019-01-31 2021-08-24 Advanced Micro Devices, Inc. Multiple application cooperative frame-based GPU scheduling
US11418797B2 (en) 2019-03-28 2022-08-16 Advanced Micro Devices, Inc. Multi-plane transmission
CN110708604B (zh) * 2019-09-03 2021-09-28 中国联合网络通信集团有限公司 一种视频转发服务器的ip信道带宽的适配方法及装置
US11070829B2 (en) 2019-12-16 2021-07-20 Ati Technologies Ulc Reducing latency in wireless virtual and augmented reality systems
CN113256745A (zh) * 2020-02-13 2021-08-13 英特尔公司 用于基于重要度值来编码的方法和装置
US11652863B2 (en) * 2020-03-16 2023-05-16 Tencent America LLC Method and apparatus for cloud gaming
US11833419B2 (en) 2020-03-16 2023-12-05 Tencent America LLC Method and apparatus for cloud gaming
JP7393267B2 (ja) * 2020-03-25 2023-12-06 株式会社ソニー・インタラクティブエンタテインメント 画像データ転送装置、画像表示システム、および画像データ転送方法
EP4131952A1 (en) * 2020-03-31 2023-02-08 Sony Interactive Entertainment Inc. Transmission device, transmission method, and program
CN111654720B (zh) * 2020-07-17 2023-08-25 腾讯科技（深圳）有限公司 视频编码方法、装置、设备及可读存储介质
US11488328B2 (en) 2020-09-25 2022-11-01 Advanced Micro Devices, Inc. Automatic data format detection
CN112164132B (zh) * 2020-10-17 2021-04-02 深圳市游梦初心文化网络有限公司 基于大数据和云计算的游戏兼容处理方法及云端计算中心
US11478701B1 (en) * 2020-11-06 2022-10-25 Rockwell Collins, Inc. Quasi cloud rendering technique for legacy databases using game engines
CN113041617B (zh) * 2021-03-18 2022-07-26 深圳市腾讯网域计算机网络有限公司 一种游戏画面渲染方法、装置、设备及存储介质
CN113117326B (zh) * 2021-03-26 2023-06-09 腾讯数码（深圳）有限公司 一种帧率控制方法和装置
CN113747198B (zh) * 2021-06-25 2024-02-09 航天时代飞鸿技术有限公司 无人机集群视频图片渲染及后处理的方法、介质和装置
CN113794887A (zh) * 2021-08-17 2021-12-14 镕铭微电子(济南)有限公司 一种游戏引擎中视频编码的方法及相关设备
CN117793367B (zh) * 2024-02-26 2024-06-04 此芯科技(上海)有限公司 一种图像编码方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120008679A1 (en) * 2010-07-07 2012-01-12 Steve Bakke 4:4:4 color space video with 4:2:0 color space video encoders and decoders systems and methods
US20140267780A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Hdmi image quality analysis
US20170142447A1 (en) * 2015-06-12 2017-05-18 Intel Corporation Facilitating environment-based lossy compression of data for efficient rendering of contents at computing devices

Family Cites Families (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5930390A (en) 1996-03-28 1999-07-27 Intel Corporation Encoding/decoding signals using a remap table
US6680976B1 (en) 1997-07-28 2004-01-20 The Board Of Trustees Of The University Of Illinois Robust, reliable compression and packetization scheme for transmitting video
JP3606306B2 (ja) 1998-10-08 2005-01-05 沖電気工業株式会社 画像符号化装置、画像復号化装置及び画像伝送システム
US6754234B1 (en) 1999-05-21 2004-06-22 Ati International Srl Method and apparatus for asynchronous frame synchronization
US6611273B2 (en) * 2000-02-25 2003-08-26 Microsoft Corporation Method and data arrangement for encapsulating signed over-ranged color image data to accommodate in-range file formats
JP2002017908A (ja) 2000-07-07 2002-01-22 Endo Mfg Co Ltd ゴルフクラブ及びその製造方法
US6618397B1 (en) 2000-10-05 2003-09-09 Provisionpoint Communications, Llc. Group packet encapsulation and compression system and method
US7609402B2 (en) * 2001-01-19 2009-10-27 Flexiworld, Inc. Methods for universal data output
US7215813B2 (en) * 2001-12-03 2007-05-08 Apple Computer, Inc. Method and apparatus for color correction
KR20040046901A (ko) * 2002-11-28 2004-06-05 엘지전자 주식회사 영상 전화 시스템 및 그 운용방법
JP4552400B2 (ja) * 2003-08-07 2010-09-29 セイコーエプソン株式会社 画像表示装置、画像表示方法及び画像表示プログラム
US7813000B2 (en) * 2003-12-30 2010-10-12 Microsoft Corporation Device color characterization profile format
US7337273B2 (en) * 2004-03-31 2008-02-26 Microsoft Corporation Strategies for reading information from a mass storage medium using a cache memory
WO2006048807A1 (en) * 2004-11-04 2006-05-11 Koninklijke Philips Electronics N.V. Method and device for processing coded video data
US7570819B2 (en) * 2005-01-28 2009-08-04 Chih-Ta Star Sung Method and apparatus for displaying images with compression mechanism
US20110157196A1 (en) * 2005-08-16 2011-06-30 Exent Technologies, Ltd. Remote gaming features
WO2007119236A2 (en) * 2006-04-13 2007-10-25 Yosef Mizrachi Method and apparatus for providing gaming services and for handling video content
US20080055318A1 (en) 2006-08-31 2008-03-06 Glen David I J Dynamic frame rate adjustment
TW200844899A (en) * 2007-05-04 2008-11-16 Sunplus Mmobile Inc An interactive image and graphical system and method that is capable of detecting collisions of graphical objects
US8175181B1 (en) 2007-05-31 2012-05-08 Marvell International Ltd. Method and apparatus for selecting a modulation coding scheme
EP2153608B1 (en) 2007-06-01 2013-09-18 BlackBerry Limited Determination of compression state information for use in interactive compression
CN101772961B (zh) 2007-08-02 2012-07-11 索尼公司 图像处理装置
US8953685B2 (en) 2007-12-10 2015-02-10 Qualcomm Incorporated Resource-adaptive video interpolation or extrapolation with motion level analysis
WO2009136969A2 (en) * 2008-01-22 2009-11-12 Carnegie Mellon University Apparatuses, systems, and methods for apparatus operation and remote sensing
US8265171B2 (en) 2008-02-26 2012-09-11 Richwave Technology Corp. Error resilient video transmission using instantaneous receiver feedback and channel quality adaptive packet retransmission
US8793749B2 (en) 2008-08-25 2014-07-29 Broadcom Corporation Source frame adaptation and matching optimally to suit a recipient video device
US8958485B2 (en) 2010-06-04 2015-02-17 Broadcom Corporation Method and system for providing selected layered video service via a broadband gateway
US8395709B2 (en) 2009-03-04 2013-03-12 ATI Technology ULC 3D video processing
WO2011028626A2 (en) * 2009-09-01 2011-03-10 Entertainment Experience Llc Method for producing a color image and imaging device employing same
CN102860007A (zh) * 2010-04-20 2013-01-02 汤姆森特许公司 对使用计算机图形呈现至少一个图像的数据进行编码的方法和设备及其对应的解码方法和设备
HUE026534T2 (en) 2010-07-15 2016-06-28 Ge Video Compression Llc Hybrid video encoding to support intermediate view synthesis
US20120236934A1 (en) * 2011-03-18 2012-09-20 Qualcomm Incorporated Signaling of multiview video plus depth content with a block-level 4-component structure
US8797602B2 (en) * 2011-03-23 2014-08-05 Xerox Corporation UV and IR specialty imaging methods and systems
US8813111B2 (en) * 2011-08-22 2014-08-19 Xerox Corporation Photograph-based game
GB2495468B (en) 2011-09-02 2017-12-13 Skype Video coding
US20130057567A1 (en) * 2011-09-07 2013-03-07 Michael Frank Color Space Conversion for Mirror Mode
US20130076771A1 (en) * 2011-09-23 2013-03-28 Apple Inc. Generating a visual depiction of a cover for a digital item
US8872895B2 (en) * 2011-09-30 2014-10-28 Deutsche Telekom Ag Real-time video coding using graphics rendering contexts
JP5331192B2 (ja) * 2011-11-07 2013-10-30 株式会社スクウェア・エニックス・ホールディングス 描画サーバ、センタサーバ、符号化装置、制御方法、符号化方法、プログラム、及び記録媒体
EP2801193B1 (en) * 2012-01-04 2016-10-26 Dolby Laboratories Licensing Corporation Dual-layer backwards-compatible progressive video delivery
US9232139B2 (en) 2012-07-24 2016-01-05 Apple Inc. Image stabilization using striped output transformation unit
US8938127B2 (en) * 2012-09-18 2015-01-20 Nvidia Corporation Hybrid encoding/decoding for remote gaming
RU2617914C2 (ru) 2012-11-16 2017-04-28 Сони Компьютер Энтертейнмент Америка Ллк Системы и способы облачной обработки и наложения содержимого на потоковые видеокадры удаленно обрабатываемых приложений
US9433858B2 (en) * 2013-01-04 2016-09-06 International Business Machines Corporation Access control of user based photograph bundles
GB2513090B (en) 2013-01-28 2019-12-11 Microsoft Technology Licensing Llc Conditional concealment of lost video data
US9407923B2 (en) 2013-05-20 2016-08-02 Gamefly Israel Ltd. Overconing lost IP packets in streaming video in IP networks
US20150296215A1 (en) 2014-04-11 2015-10-15 Microsoft Corporation Frame encoding using hints
US9161006B1 (en) * 2014-12-05 2015-10-13 Kamcord, Inc. Systems and methods for efficient screen capture
CN105933724A (zh) * 2016-05-23 2016-09-07 福建星网视易信息系统有限公司 视频制作方法、装置及系统
US10469857B2 (en) 2016-09-26 2019-11-05 Samsung Display Co., Ltd. System and method for electronic data communication
US20190068983A1 (en) 2017-08-25 2019-02-28 Advanced Micro Devices, Inc. Sending a Frame Difference or Raw Chunk Based on a Known Acknowledgement
US10523947B2 (en) 2017-09-29 2019-12-31 Ati Technologies Ulc Server-based encoding of adjustable frame rate content
US11290515B2 (en) 2017-12-07 2022-03-29 Advanced Micro Devices, Inc. Real-time and low latency packetization protocol for live compressed video data

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120008679A1 (en) * 2010-07-07 2012-01-12 Steve Bakke 4:4:4 color space video with 4:2:0 color space video encoders and decoders systems and methods
US20140267780A1 (en) * 2013-03-14 2014-09-18 Microsoft Corporation Hdmi image quality analysis
US20170142447A1 (en) * 2015-06-12 2017-05-18 Intel Corporation Facilitating environment-based lossy compression of data for efficient rendering of contents at computing devices

Also Published As

Publication number Publication date
JP2021503777A (ja) 2021-02-12
CN111357289B (zh) 2024-04-02
EP3711296A1 (en) 2020-09-23
US20190158704A1 (en) 2019-05-23
EP3711296A4 (en) 2021-08-04
JP7221957B2 (ja) 2023-02-14
KR20200088830A (ko) 2020-07-23
CN111357289A (zh) 2020-06-30
US10594901B2 (en) 2020-03-17
WO2019097319A1 (en) 2019-05-23

Similar Documents

Publication Publication Date Title
KR102432755B1 (ko) 비디오 인코더에 직접 렌더링하는 게임 엔진 애플리케이션
US10523947B2 (en) Server-based encoding of adjustable frame rate content
JP2022133427A (ja) マルチラインフレーム内予測のための方法、装置、及びコンピュータプログラム
JP7262602B2 (ja) 一般化されたｔｒｉｓｏｕｐジオメトリ符号化のための技術
JP7135067B2 (ja) ゲーム－生成された動きベクトルのためのシステムおよび方法
CN112153391B (zh) 视频编码的方法、装置、电子设备及存储介质
US11388437B2 (en) View-position and angle dependent processing of point cloud data
US20220141548A1 (en) Streaming Volumetric and Non-Volumetric Video
KR102611940B1 (ko) 콘텐츠 적응적 양자화 강도 및 비트 레이트 모델링
TWI559748B (zh) 用於視訊編解碼器的延伸預測模式及效能之方法及系統
US20190215520A1 (en) Systems and methods for deferred post-processes in video encoding
KR102163440B1 (ko) 그래픽 처리기를 이용한 비디오 디코딩에 대한 픽처 참조 제어
JP2022504379A (ja) イントラ予測におけるイントラモード選択
US20240089460A1 (en) Scene-change detection at server for triggering client-side temporal frame buffer reset
WO2024140685A1 (zh) 端云协同系统、编解码方法及电子设备
US20240233271A1 (en) Bitstream syntax for mesh displacement coding
US20230342983A1 (en) Vertex prediction based on mesh triangulation derivation
US20230388544A1 (en) Dynamic mesh compression using inter and intra prediction
US20230412842A1 (en) Vertex prediction based on decoded neighbors
US20240137564A1 (en) Fast computation of local coordinate system for displacement vectors in mesh coding
JP2024514060A (ja) ストリーミングアプリケーションにおけるビデオデータの微調整

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant