TW202131688A - 用於產生遊戲的運動向量的系統及方法 - Google Patents

用於產生遊戲的運動向量的系統及方法 Download PDF

Info

Publication number
TW202131688A
TW202131688A TW110103931A TW110103931A TW202131688A TW 202131688 A TW202131688 A TW 202131688A TW 110103931 A TW110103931 A TW 110103931A TW 110103931 A TW110103931 A TW 110103931A TW 202131688 A TW202131688 A TW 202131688A
Authority
TW
Taiwan
Prior art keywords
motion vectors
per
block
motion
engine
Prior art date
Application number
TW110103931A
Other languages
English (en)
Other versions
TWI797550B (zh
Inventor
麥克 柯比士
Original Assignee
美商時美媒體公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商時美媒體公司 filed Critical 美商時美媒體公司
Publication of TW202131688A publication Critical patent/TW202131688A/zh
Application granted granted Critical
Publication of TWI797550B publication Critical patent/TWI797550B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B77/00—Vehicle locks characterised by special functions or purposes
    • E05B77/54—Automatic securing or unlocking of bolts triggered by certain vehicle parameters, e.g. exceeding a speed threshold
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B79/00—Mounting or connecting vehicle locks or parts thereof
    • E05B79/10—Connections between movable lock parts
    • E05B79/20—Connections between movable lock parts using flexible connections, e.g. Bowden cables
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B83/00—Vehicle locks specially adapted for particular types of wing or vehicle
    • E05B83/16—Locks for luggage compartments, car boot lids or car bonnets
    • E05B83/24—Locks for luggage compartments, car boot lids or car bonnets for car bonnets
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B85/00—Details of vehicle locks not provided for in groups E05B77/00 - E05B83/00
    • E05B85/20—Bolts or detents
    • E05B85/24—Bolts rotating about an axis
    • E05B85/243—Bolts rotating about an axis with a bifurcated bolt
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B85/00—Details of vehicle locks not provided for in groups E05B77/00 - E05B83/00
    • E05B85/20—Bolts or detents
    • E05B85/24—Bolts rotating about an axis
    • E05B85/26—Cooperation between bolts and detents
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B81/00—Power-actuated vehicle locks
    • E05B81/12—Power-actuated vehicle locks characterised by the function or purpose of the powered actuators
    • E05B81/16—Power-actuated vehicle locks characterised by the function or purpose of the powered actuators operating on locking elements for locking or unlocking action
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16H—GEARING
    • F16H59/00—Control inputs to control units of change-speed-, or reversing-gearings for conveying rotary motion
    • F16H59/02—Selector apparatus
    • F16H59/08—Range selector apparatus
    • F16H59/10—Range selector apparatus comprising levers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
    • F16H—GEARING
    • F16H63/00—Control outputs from the control unit to change-speed- or reversing-gearings for conveying rotary motion or to other devices than the final output mechanism
    • F16H63/02—Final output mechanisms therefor; Actuating means for the final output mechanisms
    • F16H63/30—Constructional features of the final output mechanisms
    • F16H63/34—Locking or disabling mechanisms
    • F16H63/36—Interlocking devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本發明揭示用於整合式圖形演現之系統及方法。在某些實施例中，該等系統及方法利用一圖形引擎、一視訊編碼引擎，及透過一網路演現圖形之遠端用戶端寫碼引擎。該等系統及方法涉及產生在該圖形引擎處被轉換成每區塊運動向量之每像素運動向量。該圖形引擎將此等每區塊運動向量注入至一視訊編碼引擎中，使得該視訊編碼引擎可將此等向量轉換成經編碼視訊資料以用於傳輸至該遠端用戶端寫碼引擎。

Description

用於產生遊戲的運動向量的系統及方法
其中藉由一用戶端玩家控制一伺服器端遊戲之遠端遊戲應用程式已嘗試使用現有或客製化編碼器即時編碼來自三維(3D)圖形引擎之視訊輸出。然而，視訊遊戲之互動式本質，尤其視訊輸出與玩家輸入之間的玩家回饋迴圈，使遊戲視訊串流比傳統視訊串流對延時更敏感。現有視訊寫碼方法可權衡運算能力(其他很少)以縮減編碼時間。用於將編碼程序整合至視訊演現程序中之新方法可顯著縮減編碼時間同時亦減少運算能力、改良經編碼視訊之品質、及保留原始位元串流資料格式以保持現有硬體裝置之互操作性。
現有視訊寫碼標準僅具有包含在影像序列中之色彩及時間資訊以改良視訊編碼時間、大小或品質。一些寫碼標準(諸如MPEG標準系列中之寫碼標準)使用一運算密集型基於區塊之運動估計方法以基於一視訊中所含有之色彩資料而大致估計運算物件移動。此等基於區塊之運動估計方法在歷史上已顯著減小經編碼視訊之大小，但卻是即時視訊串流環境中之顯著延時之一來源。
將編碼程序整合至視訊演現程序中提供對可用於編碼改良之額外資料源之存取。例如，一些3D圖形引擎(諸如一遊戲引擎中所含有之3D圖形引擎)可已產生較佳描述各視訊圖框上之各像素之移動之運動向量。藉由提供最終演現圖框及適當格式化之運動向量資料兩者以注入至編碼器中，可針對各圖框間略過視訊編碼器中之最運算複雜且耗時之步驟。此外，藉由圖形引擎供應之運動向量將比藉由一基於區塊之運動估計演算法大致估計之運動向量更準確，此將改良經編碼視訊之品質。
此兩個領域(視訊編碼及即時圖形演現)傳統上分開並獨立操作。藉由整合圖形引擎及編碼器以利用各者之優勢，可充分縮減編碼時間以支援對延時超敏感之串流應用。
鑒於下文所描述之技術中之缺陷將明白本發明之此等及其他伴隨優點。
例如，美國專利公開申請案第2015/0228106 A1號(「‘106公開案」)揭示與解碼視訊資料以產生一視訊影像之一序列經解碼區塊有關之技術。該技術容許在藉由編碼解碼器引擎產生經解碼區塊時使用一視訊影像之各經解碼區塊作為幾何表面之對應多邊形之一分開紋理。該‘106公開案技術描述解碼經編碼視訊資料以產生待映射之視訊影像之一編碼解碼器引擎與藉由執行視訊影像至幾何表面之紋理映射而部分演現顯示圖片之一3D圖形引擎之間的整合。然而，相較於本發明，此技術係有缺陷的，部分係因為此技術未揭示亦未使用一圖形引擎，該圖形引擎提供最終演現圖框及適當格式化之運動向量資料兩者以注入至視訊編碼解碼器引擎中，使得視訊編碼解碼器引擎在將經編碼視訊資料傳輸至遠端用戶端寫碼引擎之前不需要執行任何運動估計。相比而言，本發明對電腦技術之改良提供編碼時間及運算能力之減少、經編碼視訊之品質改良，且結果是保留原始位元串流資料格式以便保持互操作性。
美國專利公開申請案第2011/0261885 A1號(「‘885公開案」)揭示與透過整合運動估計與巨集區塊編碼減小頻寬有關之系統及方法。在此系統中，可使用經提取視訊資料執行運動估計，以產生包含運動向量之運動估計相關資訊。此等運動向量可對應於使用在緩衝器中快取之對應視訊資料之一當前巨集區塊。又，相較於本發明，‘885公開案技術係有缺陷的，部分係因為其未揭示亦未使用一圖形引擎，該圖形引擎提供最終演現圖框及適當格式化之運動向量資料兩者以注入至視訊編碼解碼器引擎中，使得視訊編碼解碼器引擎在將經編碼視訊資料傳輸至遠端用戶端寫碼引擎之前不需要執行任何運動估計。因而，‘885公開案之技術未提供與本發明提供相同之編碼時間及運算能力之減少及經編碼視訊之品質改良。
如自本技術中之最新技術之以上論述明白，此項技術需要改良與遊戲環境中之視訊編碼有關之目前電腦技術。
因此本文中所揭示之例示性實施例之一目的係解決此項技術缺點並提供用於圖形產生之系統及方法，該等系統及方法使用執行一圖形引擎、一視訊編碼解碼器引擎及傳輸經編碼視訊資料之一遠端用戶端寫碼引擎之經網路連線伺服器架構，藉以該圖形引擎提供最終演現圖框及適當格式化之運動向量資料兩者以注入至視訊編碼解碼器引擎中。
本發明之另一目的係提供用於圖形產生之系統及方法，其中視訊編碼解碼器引擎在將經編碼視訊資料傳輸至遠端用戶端寫碼引擎之前不需要執行任何運動估計。
本發明之又另一目的係提供用於圖形產生之系統及方法，其中圖形引擎將每像素運動向量轉換成每區塊運動向量。
本發明之又另一目的係提供用於圖形產生之系統及方法，其中藉由使用一運算著色器產生每像素運動向量以將該等每像素運動向量增加至攝影機速度以獲得一每像素結果，且其中將該每像素結果儲存於一運動向量緩衝器中。
本發明之又另一目的係提供用於圖形產生之系統及方法，其中該每區塊運動向量資料與一色度次取樣視訊圖框同時地藉由圖形引擎即時注入至視訊編碼引擎中。
相關申請案之交叉參考 本申請案主張以下美國臨時申請案之權利：於2017年4月21日申請之美國臨時申請案第62/488,526號及於2017年12月8日申請之美國臨時申請案第62/596,325號。
在描述圖式中所繪示之本發明之較佳實施例時，為清楚起見，將採用特定術語學。然而，本發明不意欲限於如此選擇之特定術語，且應理解，各特定術語包含以一類似方式操作以達成一類似目的之所有技術等效物。本發明之若干較佳實施例係出於圖解說明目的而描述，應理解，本發明可依其他形式而非圖式中明確展示之形式來體現。
在其中一3D圖形引擎演現待即時編碼及傳輸之視訊的應用中，該圖形引擎與編碼器可更緊密耦合以縮減總運算時間且減少運算額外耗用。可將已藉由圖形引擎針對各視訊圖框產生之每像素運動向量資料轉換成每區塊運動向量資料並注入至編碼解碼器引擎中，以規避在編碼程序中作為單個最複雜且運算密集型步驟的運動估計步驟。在將重建濾波器用於似真運動模糊方法之圖形引擎中，可已針對各視訊圖框來計算每像素運動向量。可藉由求得針對16x16個像素之各巨集區塊的平均向量來執行自每像素運動向量至每區塊運動向量的轉換。該轉換係在3D圖形引擎中執行，使得原始運動向量資料之僅一小分率需要自3D圖形引擎被傳遞至寫碼引擎。在其中圖形引擎及寫碼引擎不共用記憶體之情況中，此亦將幫助減少記憶體頻寬消耗。將每區塊運動向量注入至編碼解碼器引擎中，以完全略過運動估計步驟，無需顯著修改編碼程序之其餘部分。
圖1至圖4繪示用於改良視訊串流應用中之視訊編碼之一實例性技術，其中一3D圖形引擎在演現一視訊圖框之程序中產生隨附運動向量資料。
圖1繪示其中視訊經演現及編碼以傳輸至一遠端用戶端116之一實例性系統。執行於某伺服器架構120上之記憶體106中之一3D圖形引擎100將視訊及關於一經演現視訊圖框之增補運動向量資訊傳遞至一編碼解碼器引擎(在本文中被稱為編碼解碼器或編碼器) 102，該編碼解碼器引擎102產生一經編碼位元串流108以用於傳輸至一用戶端電腦系統116。伺服器架構120係可支援一圖形引擎及一編碼解碼器引擎兩者之功能之硬體或軟體之任何組合。在給定實例中，圖形引擎100可實施為(例如)執行載入至某電腦可讀記憶體106中之視訊遊戲軟體104之一GPU，而編碼解碼器引擎102可實施為執行視訊編碼軟體之一CPU。編碼引擎102產生經編碼視訊資料108以用於傳輸至某遠端用戶端電腦系統116，遠端用戶端電腦系統116包含解碼位元串流以在藉由一顯示控制器112驅動之一顯示器114上播放之一遠端寫碼引擎(編碼解碼器) 110。遠端用戶端電腦系統116係達成經編碼位元串流108之解碼及顯示之硬體、裝置或軟體之任何組合。
圖2繪示藉由在視訊編碼程序中重新使用來自演現程序之現有增補資料達成更快速編碼時間所需之步驟。在步驟202中，必須首先產生作為位於一伺服器120處之圖形引擎100之一正常操作特徵之增補資料。隨著GPU變得更加強大且無處不在，即時每像素運動向量產生已變為現代視訊遊戲引擎中之一常見特徵。在演現來自一3D場景之一2D視訊圖框期間，一3D圖形引擎將在色彩產生程序期間產生輔助輸出用作稍後後處理遍次之輸入。該等輔助輸出可包含寫入至累積緩衝器、色彩緩衝器或速度緩衝器之資訊，三個記憶體位置經分配以用於分別暫時儲存關於像素深度、像素色彩及像素移動之資訊。
在運動模糊之一常用實施方案(被稱為用於似真運動模糊之重建濾波器)中，來自速度緩衝器之每像素速度首先經減少取樣至較小數目個影像塊中，其中各影像塊假定來自像素群組之最大速度。接著使用累積緩衝器中之每像素深度遮罩該等影像塊且將結果施加至色彩緩衝器中之每像素色彩以產生運動模糊。關於重建濾波器方法具有若干種變化，其等改良保真度、效能或兩者，但概念保持類似且一速度緩衝器含有兩個相鄰圖框之間的每像素運動。儘管「速度」係圖形引擎術語學中所使用之術語且「運動向量」係視訊編碼術語學中所使用之術語，但該等術語在功能上等效且一每像素速度與一每像素運動向量相同之事物。速度緩衝器含有將在視訊編碼程序中重新使用之呈每像素運動向量之形式之增補資料。
在步驟204中，位於伺服器120處之圖形引擎100基於待用於編碼中之巨集區塊大小將每像素運動向量轉換成每區塊運動向量。H.264編碼解碼器依據預設使用16x16像素巨集區塊且具有進一步再劃分之可能。256個每像素運動向量可一起經平均化以提供將用作每區塊運動向量之一單個平均向量。結合圖3進一步詳細描述此程序。
在步驟206中，將每巨集區塊運動向量資訊注入至位於伺服器120處之寫碼引擎/編碼器102中，從而略過運動估計步驟。在編碼器之軟體實施方案中，可完全停用該運動估計步驟，此顯著節省CPU運算時間。CPU中之時間節省應更多地抵消計算GPU中之平均向量(在步驟204中)並將其等傳遞至CPU所需之額外時間。
在步驟208中，因為藉由圖形引擎100供應之每區塊運動向量可與在一典型運動估計步驟中計算之每區塊運動向量互換，所以編碼自運動補償步驟開始向前進行(步驟208)。如結合圖4進一步詳細描述之視訊編碼程序之其餘部分並非明顯不同於藉由使用運動估計技術之一編碼標準執行之典型運動補償、殘餘計算及編碼步驟。
圖3進一步詳細繪示圖形引擎100中發生之自每像素運動向量至每巨集區塊運動向量之變換。在色彩產生階段期間，位於一伺服器120處之一3D圖形引擎100將產生每像素運動向量且將資料儲存於亦位於伺服器120處之速度緩衝器300中。速度緩衝器300可含有僅用於動態物件之資料，不包括由玩家攝影機移動賦予之運動資訊。為獲得針對影像空間中之各像素之運動向量資訊，一運算著色器302將組合速度緩衝器300中之向量與已不包含於速度緩衝器中之用於所有靜態物件之攝影機速度且將每像素結果儲存於運動向量緩衝器304中。攝影機速度係圖框期間之旋轉及平移攝影機移動之2D投影。特定圖形引擎可使用略微不同方法以計算針對整個螢幕空間之此等每像素運動向量，但概念保持相同。
H.264編碼器使用16x16之一預設巨集區塊大小，但可被再劃分成低達4x4之更小大小。在圖3實例中，一4x4巨集區塊306係被用作一簡化情況，但應推廣該方法以匹配編碼器中所使用之巨集區塊大小。對於一4x4巨集區塊306，在運動向量緩衝器304中儲存有16個每像素運動向量308。此等每像素運動向量308需要變換312成可被注入至編碼器中以用於如圖4中所展示之運動補償中之一單個每巨集區塊運動向量310。每像素向量308之集合的算術平均數係具有低運算複雜性及短運算時間之一變換312方法。
可對算術平均數變換312進行選用修改，以依額外運算複雜性或能力為代價來改良品質。例如，可應用向量中值濾波技術以在算術平均數運算之前移除巨集區塊之向量場中的不連續性，以確保每巨集區塊運動向量310表示巨集區塊306中的大部分像素。因為所得每巨集區塊運動向量係自最初基於已知物件移動資料運算之像素完整運動向量導出，所以此等每巨集區塊運動向量將總是為比藉由可僅基於像素色彩資料導出移動之現有基於區塊之運動估計演算法所計算之每巨集區塊運動向量更準確之一表示。
圖4繪示藉由將圖1之伺服器120之圖形引擎100中所產生之運動向量注入至圖1之伺服器120之寫碼引擎102中而略過運算複雜運動估計程序之一方法。如下文詳細闡釋，將經編碼視訊資料108之所得位元串流傳輸至遠端用戶端電腦系統116。圖4中所展示之方法繪示用於一單個圖框間，明確言之，如藉由視訊編碼解碼器標準之MPEG系列所定義之一P圖框之編碼程序。圖框內(I圖框)產生將不被改變，此係因為在I圖框產生中未執行運動補償406。色度次取樣視訊圖框402與每區塊運動向量資料404將儘可能快速地自圖形引擎100傳遞。產生遊戲之運動向量404係用於規避將以其他方式在一典型運動估計426步驟中發生之運動向量產生，如H.264/MPEG-4 AVC標準中所概述。該運動估計426步驟將被略過，且可在寫碼引擎之一軟體實施方案中被停用。略過基於區塊之運動估計426步驟將顯著縮減編碼時間，此將更多地抵消如結合圖3所描述將速度緩衝器資料轉換成適當格式所花費的時間。
已針對適當巨集區塊大小轉換之運動向量404可立即使用而無需對運動補償406進行任何變更。運動補償406之結果與輸入色度次取樣視訊圖框402組合以形成殘餘影像430，殘餘影像430係藉由通常在現有硬體或軟體視訊編碼器中發生之殘餘變換及按比例調整408、量化410及掃描412步驟處理。
若實施方案所選取之解碼標準需要解塊步驟，則必須執行解塊步驟。解塊設定420及經解塊影像428係藉由應用用於逆量化414之寫碼標準之演算法、逆變換及按比例調整416及解塊418而計算。經掃描係數412與解塊設定420組合且在作為一位元串流108傳輸至遠端用戶端電腦系統116，以在遠端用戶端電腦系統之編碼解碼器110處解碼之前在熵寫碼器422中予以編碼。經解塊影像428變為下一圖框之運動補償406之輸入。位元串流(包括經編碼視訊資料) 108保留與藉由諸如H.264/MPEG-4 AVC之實施方案中所使用之編碼標準所定義相同之格式。此實例特定於H.264/MPEG-4 AVC標準，可通常用於使用運動估計426及運動補償406技術之類似寫碼標準。實例 1 ：證實編碼時間縮減之基準測試
傳統H.264合規編碼中之運動估計步驟通常係最運算複雜且耗時之步驟。如本文中所論述，重新使用產生遊戲之運動向量可顯著縮減編碼時間。
在測試環境中，圖形引擎以每秒60個圖框依1280x720之解析度產生輸出。自執行單執行緒之一x264編碼器擷取編碼時間。執行編碼器單執行緒將產生比現實使用情況更長之編碼時間但將量測正規化至一個核心，因此量測可直接相比較。編碼時間首先使用編碼器內之未經修改運動估計量測，接著在相同環境中使用經啟用之產生遊戲之運動估計特徵重新量測。
選擇包括第一人稱玩家之手、武器及一靜止牆之該玩家視圖之一低運動區域。玩家之手及武器循環通過輕微「浮動」動畫以在相對較少量之螢幕空間中產生少量像素運動。此測試之結果在下列表1中重現，表1展示使用及不使用本文中所描述之產生遊戲之運動估計技術之情況下之延時結果。在低強度下，在產生遊戲之運動估計停用的情況下，未經修改編碼時間係12 ms。當啟用產生遊戲之運動估計時，編碼時間縮減3 ms而降至9 ms之一編碼時間。展示針對平均及高運動強度案例之類似延時縮減，其中平均運動強度案例延時縮減17.6%且高延時案例中延時縮減介於15%至30%之間。此等結果證實，在啟用產生遊戲之運動估計時，延時顯著縮減。
運動強度 x264 運動估計 產生遊戲之運動估計 % 變化
低 12 ms 9 ms 25%
平均 17 ms 14 ms 17.6%
高 20 ms至27 ms 17 ms至19 ms 15%至30%
表 1 ：變化運動強度下之延時結果
測試環境亦揭示在將產生遊戲之每像素運動向量轉換成用於編碼器之每巨集區塊運動向量時具有一額外成本。然而，此成本顯著少於先前章節中所描述之編碼時間縮減。在圖形引擎依1280x720之一解析度產生視訊之情況下，自每像素至每巨集區塊之運動向量變換花費0.02 ms。經量測編碼器時間節省係比使用產生遊戲之運動向量用於編碼之增加成本大三個數量級。
前面描述及圖式應被視為僅繪示本發明之原理。本發明不意欲受較佳實施例限制且可依一般技術者將明白之各種方式實施。熟習此項技術者將易於明白本發明之數種應用。因此，不需要將本發明限於所揭示之特定實例或所展示及描述之精確構造及操作。實情係，可採取落在本發明之範疇內之所有合適修改及等效例。
100:三維(3D)圖形引擎/圖形引擎 102:編碼解碼器引擎/寫碼引擎/編碼器 104:視訊遊戲軟體 106:記憶體/電腦可讀記憶體 108:經編碼位元串流/經編碼視訊資料/位元串流 110:遠端寫碼引擎/編碼解碼器 112:顯示控制器 114:顯示器 116:遠端用戶端/用戶端電腦系統/遠端用戶端電腦系統 120:伺服器架構/伺服器 202:步驟 204:步驟 206:步驟 208:步驟 300:速度緩衝器 302:運算著色器 304:運動向量緩衝器 306:巨集區塊 308:每像素運動向量/每像素向量 310:每巨集區塊運動向量 312:變換/算術平均數變換 402:色度次取樣視訊圖框/輸入色度次取樣視訊圖框 404:每區塊運動向量資料/產生遊戲之運動向量/運動向量 406:運動補償 408:殘餘變換及按比例調整 410:量化 412:掃描/經掃描係數 414:逆量化 416:逆變換及按比例調整 418:解塊 420:解塊設定 422:熵寫碼器 426:運動估計/基於區塊之運動估計 428:經解塊影像 430:殘餘影像
本發明之一更完全瞭解及其之許多伴隨優點在結合隨附圖式考量時藉由參考以下詳細描述較佳理解時將容易獲得，其中：
圖1係繪示演現一視訊以編碼並傳輸至一用戶端之一3D圖形引擎之一方塊圖；
圖2係繪示藉由將3D圖形引擎產生之運動向量注入至圖4之經修改編碼程序中而縮減延時所需之步驟之一流程圖；
圖3係繪示將圖形引擎中所產生之每像素運動向量變換成每巨集區塊運動向量以注入至編碼引擎中之一圖式；
圖4係繪示對圖1中所使用之一視訊編碼程序之所需變更之一流程圖。
100:三維(3D)圖形引擎/圖形引擎
102:編碼解碼器引擎/寫碼引擎/編碼器
104:視訊遊戲軟體
106:記憶體/電腦可讀記憶體
108:經編碼位元串流/經編碼視訊資料/位元串流
110:遠端寫碼引擎/編碼解碼器
112:顯示控制器
114:顯示器
116:遠端用戶端/用戶端電腦系統/遠端用戶端電腦系統
120:伺服器架構/伺服器

Claims (20)

  1. 一種用於產生圖形之電腦實施方法，其包括： 將一或多個運動向量轉換成一或多個每區塊運動向量； 將該等每區塊運動向量及一或多個色度次取樣視訊圖框傳輸至一編碼解碼器；及 組合該等每區塊運動向量及該等色度次取樣視訊圖框以編碼視訊資料。
  2. 如請求項1之方法，其中經組合之該等每區塊運動向量及該等色度次取樣視訊圖框形成一殘餘影像。
  3. 如請求項1之方法，其中當產生該等每區塊運動向量及該等色度次取樣視訊圖框時，傳輸該等每區塊運動向量及該等色度次取樣視訊圖框。
  4. 如請求項1之方法，其中略過運動補償。
  5. 如請求項4之方法，其中該運動補償由H.264/MPEG-4 AVC標準定義。
  6. 如請求項1之方法，其中該等每區塊運動向量被轉換成一適當巨集區塊大小。
  7. 如請求項1之方法，其中使用物件移動資料將每像素運動向量轉換成該等每區塊運動向量。
  8. 如請求項1之方法，其中該視訊資料與H.264/MPEG-4 AVC標準相容。
  9. 如請求項1之方法，其進一步包括對該等每區塊運動向量執行向量中值濾波技術。
  10. 如請求項1之方法，其中每像素運動向量係儲存於一速度緩衝器中。
  11. 一種用於產生圖形之系統，其包括： 一伺服器，其中該伺服器： 將一或多個運動向量轉換成一或多個每區塊運動向量； 將該等每區塊運動向量及一或多個色度次取樣視訊圖框傳輸至一編碼解碼器；及 組合該等每區塊運動向量及該等色度次取樣視訊圖框以編碼視訊資料。
  12. 如請求項11之系統，其中經組合之該等每區塊運動向量及該等色度次取樣視訊圖框形成一殘餘影像。
  13. 如請求項11之系統，其中當產生該等每區塊運動向量及該等色度次取樣視訊圖框時，傳輸該等每區塊運動向量及該等色度次取樣視訊圖框。
  14. 如請求項11之系統，其中略過運動補償。
  15. 如請求項14之系統，其中該運動補償由H.264/MPEG-4 AVC標準定義。
  16. 如請求項11之系統，其中該等每區塊運動向量被轉換成一適當巨集區塊大小。
  17. 如請求項11之系統，其中使用物件移動資料將每像素運動向量轉換成該等每區塊運動向量。
  18. 如請求項11之系統，其中該視訊資料與H.264/MPEG-4 AVC標準相容。
  19. 如請求項11之系統，其中該伺服器進一步對該等每區塊運動向量執行向量中值濾波技術。
  20. 如請求項11之系統，其中每像素運動向量係儲存於一速度緩衝器中。
TW110103931A 2017-04-21 2018-04-20 用於產生遊戲的運動向量的系統及方法 TWI797550B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762488526P 2017-04-21 2017-04-21
US62/488,526 2017-04-21
US201762596325P 2017-12-08 2017-12-08
US62/596,325 2017-12-08

Publications (2)

Publication Number Publication Date
TW202131688A true TW202131688A (zh) 2021-08-16
TWI797550B TWI797550B (zh) 2023-04-01

Family

ID=63854345

Family Applications (3)

Application Number Title Priority Date Filing Date
TW107113590A TWI691199B (zh) 2017-04-21 2018-04-20 用於產生遊戲的運動向量的系統及方法
TW110103931A TWI797550B (zh) 2017-04-21 2018-04-20 用於產生遊戲的運動向量的系統及方法
TW109107924A TWI721816B (zh) 2017-04-21 2018-04-20 用於產生遊戲的運動向量的系統及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW107113590A TWI691199B (zh) 2017-04-21 2018-04-20 用於產生遊戲的運動向量的系統及方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW109107924A TWI721816B (zh) 2017-04-21 2018-04-20 用於產生遊戲的運動向量的系統及方法

Country Status (15)

Country Link
US (4) US10567788B2 (zh)
EP (1) EP3613015A4 (zh)
JP (1) JP7135067B2 (zh)
KR (4) KR20200019854A (zh)
CN (1) CN110959169A (zh)
AU (2) AU2018254550B2 (zh)
BR (1) BR112019022007A2 (zh)
CA (2) CA3059740A1 (zh)
DE (1) DE112018002110T5 (zh)
GB (1) GB2576846A (zh)
MX (1) MX2021004095A (zh)
RU (2) RU2735241C1 (zh)
TW (3) TWI691199B (zh)
WO (1) WO2018195405A1 (zh)
ZA (2) ZA201907680B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589367B2 (en) 2014-06-27 2017-03-07 Samsung Electronics Co., Ltd. Reconstruction of missing data point from sparse samples during graphics processing using cubic spline polynomials
US11049269B2 (en) 2014-06-27 2021-06-29 Samsung Electronics Co., Ltd. Motion based adaptive rendering
US11736822B1 (en) 2020-02-28 2023-08-22 Apple Inc. Controlling an image sensor based on GPU temporal processing values
US11833419B2 (en) 2020-03-16 2023-12-05 Tencent America LLC Method and apparatus for cloud gaming
CN111901666B (zh) 2020-07-01 2021-05-11 腾讯科技（深圳）有限公司 图像处理方法、装置、电子设备以及存储介质
JP2022041553A (ja) * 2020-09-01 2022-03-11 ヤマハ株式会社 通信制御方法
CN113794887A (zh) * 2021-08-17 2021-12-14 镕铭微电子(济南)有限公司 一种游戏引擎中视频编码的方法及相关设备

Family Cites Families (71)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4501980A (en) 1982-06-04 1985-02-26 Motornetics Corporation High torque robot motor
JPH06129865A (ja) 1992-10-20 1994-05-13 Sumitomo Electric Ind Ltd シングルモ−ドファイバ型デポラライザとその製造方法及び光ファイバジャイロ
US5778190A (en) * 1995-07-21 1998-07-07 Intel Corporation Encoding video signals using multi-phase motion estimation
US5886741A (en) 1995-08-18 1999-03-23 Texas Instruments Incorporated Method and apparatus for improved video coding using a zero block predictor module
GB9623573D0 (en) * 1996-11-13 1997-01-08 Philips Electronics Nv Image segmentation
US6687405B1 (en) * 1996-11-13 2004-02-03 Koninklijke Philips Electronics N.V. Image segmentation
WO1998024243A1 (en) 1996-11-27 1998-06-04 Princeton Video Image, Inc. Motion tracking using image-texture templates
EP1075147A1 (en) 1999-08-02 2001-02-07 Koninklijke Philips Electronics N.V. Motion estimation
US6850571B2 (en) 2001-04-23 2005-02-01 Webtv Networks, Inc. Systems and methods for MPEG subsample decoding
WO2003075116A2 (en) * 2002-03-01 2003-09-12 T5 Labs Ltd Centralised interactive graphical application server
CA2491522C (en) 2002-07-01 2014-12-09 E G Technology Inc. Efficient compression and transport of video over a network
US6903662B2 (en) 2002-09-19 2005-06-07 Ergodex Computer input device with individually positionable and programmable input members
US8054880B2 (en) 2004-12-10 2011-11-08 Tut Systems, Inc. Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
KR100624429B1 (ko) * 2003-07-16 2006-09-19 삼성전자주식회사 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법
US20050094729A1 (en) * 2003-08-08 2005-05-05 Visionflow, Inc. Software and hardware partitioning for multi-standard video compression and decompression
US20050047504A1 (en) 2003-09-03 2005-03-03 Sung Chih-Ta Star Data stream encoding method and apparatus for digital video compression
US7724827B2 (en) 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7408984B2 (en) 2003-09-17 2008-08-05 International Business Machines Corporation Method and system for multiple pass video coding
US20060230428A1 (en) 2005-04-11 2006-10-12 Rob Craig Multi-player video game system
DE602006015650D1 (de) * 2005-07-08 2010-09-02 Tag Networks Inc Videospielsystem mit vorcodierten makroblöcken
JP4178480B2 (ja) 2006-06-14 2008-11-12 ソニー株式会社 画像処理装置、画像処理方法、撮像装置および撮像方法
KR100919886B1 (ko) * 2006-12-06 2009-09-30 한국전자통신연구원 영상 복호기에서 움직임 벡터 특성을 이용한 움직임 보상스킵 제어 장치 및 그 방법
US9064010B2 (en) 2006-12-13 2015-06-23 Quickplay Media Inc. Encoding and transcoding for mobile media
JP4931223B2 (ja) * 2007-03-30 2012-05-16 株式会社バンダイナムコゲームス 動きベクトル探索プログラム、情報記憶媒体、動きベクトル探索装置、及び、ネットワークシステム
US8069258B1 (en) 2007-09-11 2011-11-29 Electronic Arts Inc. Local frame processing to apparently reduce network lag of multiplayer deterministic simulations
US8127233B2 (en) 2007-09-24 2012-02-28 Microsoft Corporation Remote user interface updates using difference and motion encoding
JP5197630B2 (ja) 2008-01-09 2013-05-15 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
US8154553B2 (en) 2008-05-22 2012-04-10 Playcast Media System, Ltd. Centralized streaming game server
WO2009138878A2 (en) 2008-05-12 2009-11-19 Playcast Media Systems, Ltd. Centralized streaming game server
US8208065B2 (en) 2008-07-30 2012-06-26 Cinnafilm, Inc. Method, apparatus, and computer software for digital video scan rate conversions with minimization of artifacts
US8678929B1 (en) 2008-08-01 2014-03-25 Electronics Arts Inc. Client-side prediction of a local game object to reduce apparent network lag of multiplayer simulations
US8854376B1 (en) 2009-07-30 2014-10-07 Lucasfilm Entertainment Company Ltd. Generating animation from actor performance
US8171154B2 (en) * 2009-09-29 2012-05-01 Net Power And Light, Inc. Method and system for low-latency transfer protocol
CN102577393B (zh) 2009-10-20 2015-03-25 夏普株式会社 运动图像编码装置、运动图像解码装置、运动图像编码/解码系统、运动图像编码方法及运动图像解码方法
US9338523B2 (en) 2009-12-21 2016-05-10 Echostar Technologies L.L.C. Audio splitting with codec-enforced frame sizes
GB2480422B (en) * 2010-02-25 2014-07-09 Imagination Tech Ltd Object tracking using graphics engine derived vectors in a motion estimation system
US20110261885A1 (en) 2010-04-27 2011-10-27 De Rivaz Peter Francis Chevalley Method and system for bandwidth reduction through integration of motion estimation and macroblock encoding
KR20120088488A (ko) * 2011-01-31 2012-08-08 한국전자통신연구원 시간적 움직임 벡터 저장 방법 및 그 장치
JP5155462B2 (ja) 2011-08-17 2013-03-06 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
US8872895B2 (en) * 2011-09-30 2014-10-28 Deutsche Telekom Ag Real-time video coding using graphics rendering contexts
RU2487489C2 (ru) * 2011-10-18 2013-07-10 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "МИЭТ" Способ поиска векторов перемещений в динамических изображениях
US10027982B2 (en) * 2011-10-19 2018-07-17 Microsoft Technology Licensing, Llc Segmented-block coding
JP5977023B2 (ja) 2011-11-07 2016-08-24 株式会社スクウェア・エニックス・ホールディングス 描画システム、プログラム、及び記録媒体
EA201492099A1 (ru) 2012-05-14 2015-04-30 Лука Россато Разложение остаточных данных при кодировании, декодировании и реконструкции сигнала в многоуровневой иерархии
JP6787667B2 (ja) 2012-09-21 2020-11-18 ノキア テクノロジーズ オサケユイチア ビデオコーディングのための方法と装置
KR102137266B1 (ko) 2012-09-28 2020-07-23 삼성전자주식회사 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치
US9984504B2 (en) * 2012-10-01 2018-05-29 Nvidia Corporation System and method for improving video encoding using content information
US9819965B2 (en) * 2012-11-13 2017-11-14 Intel Corporation Content adaptive transform coding for next generation video
CN104737542B (zh) 2013-01-30 2018-09-25 英特尔公司 用于下一代视频的内容自适应熵编码
US9661351B2 (en) 2013-03-15 2017-05-23 Sony Interactive Entertainment America Llc Client side frame prediction for video streams with skipped frames
US9521425B2 (en) 2013-03-19 2016-12-13 Qualcomm Incorporated Disparity vector derivation in 3D video coding for skip and direct modes
CN105246567B (zh) 2013-05-31 2016-09-14 英派尔科技开发有限公司 受缓存影响的视频游戏
US9313493B1 (en) * 2013-06-27 2016-04-12 Google Inc. Advanced motion estimation
US20150071357A1 (en) 2013-09-12 2015-03-12 Qualcomm Incorporated Partial intra block copying for video coding
US9648332B2 (en) 2013-10-28 2017-05-09 Qualcomm Incorporated Adaptive inter-color component residual prediction
KR101586125B1 (ko) * 2013-12-17 2016-02-02 세종대학교산학협력단 영상의 복호화/부호화 방법 및 장치
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US20150228106A1 (en) 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
US9589367B2 (en) * 2014-06-27 2017-03-07 Samsung Electronics Co., Ltd. Reconstruction of missing data point from sparse samples during graphics processing using cubic spline polynomials
US9762919B2 (en) 2014-08-28 2017-09-12 Apple Inc. Chroma cache architecture in block processing pipelines
US9830888B2 (en) * 2014-11-10 2017-11-28 Dell Products, Lp Gaze driven display front of screen performance
US10237559B2 (en) * 2014-11-20 2019-03-19 Getgo, Inc. Layer-based video decoding
US10063866B2 (en) 2015-01-07 2018-08-28 Texas Instruments Incorporated Multi-pass video encoding
WO2016119046A1 (en) 2015-01-29 2016-08-04 Ecole De Technologie Superieure Methods and systems for determining motion vectors in a motion estimation process of a video encoder
WO2016172314A1 (en) 2015-04-21 2016-10-27 Vid Scale, Inc. Artistic intent based video coding
JP6910130B2 (ja) 2015-11-06 2021-07-28 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ３ｄレンダリング方法及び３ｄレンダリング装置
US10163183B2 (en) 2016-01-13 2018-12-25 Rockwell Collins, Inc. Rendering performance using dynamically controlled samples
US9705526B1 (en) 2016-03-17 2017-07-11 Intel Corporation Entropy encoding and decoding of media applications
US10109100B2 (en) 2016-03-25 2018-10-23 Outward, Inc. Adaptive sampling of pixels
US20180054613A1 (en) * 2016-08-22 2018-02-22 Mediatek Inc. Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus
US10402932B2 (en) * 2017-04-17 2019-09-03 Intel Corporation Power-based and target-based graphics quality adjustment

Also Published As

Publication number Publication date
TW202025757A (zh) 2020-07-01
JP7135067B2 (ja) 2022-09-12
TWI721816B (zh) 2021-03-11
BR112019022007A2 (pt) 2020-05-12
WO2018195405A1 (en) 2018-10-25
US20180310016A1 (en) 2018-10-25
US10567788B2 (en) 2020-02-18
AU2018254550B2 (en) 2020-09-24
ZA201907680B (en) 2021-04-28
MX2021004095A (es) 2021-06-08
US11381835B2 (en) 2022-07-05
AU2020267252A1 (en) 2020-12-10
GB2576846A (en) 2020-03-04
ZA202007051B (en) 2022-04-28
US20230089232A1 (en) 2023-03-23
KR20220123141A (ko) 2022-09-05
US20200141162A1 (en) 2020-05-07
KR102617595B1 (ko) 2023-12-22
DE112018002110T5 (de) 2020-01-09
US10701388B2 (en) 2020-06-30
KR20210148381A (ko) 2021-12-07
RU2020134091A (ru) 2020-11-17
CA3173525A1 (en) 2018-10-25
US20200404317A1 (en) 2020-12-24
TW201844002A (zh) 2018-12-16
RU2760974C2 (ru) 2021-12-02
EP3613015A4 (en) 2021-02-24
KR20200019854A (ko) 2020-02-25
US11503326B2 (en) 2022-11-15
RU2735241C1 (ru) 2020-10-29
TWI797550B (zh) 2023-04-01
EP3613015A1 (en) 2020-02-26
AU2020267252B2 (en) 2022-01-27
GB201916979D0 (en) 2020-01-08
TWI691199B (zh) 2020-04-11
CN110959169A (zh) 2020-04-03
US20190230375A1 (en) 2019-07-25
CA3059740A1 (en) 2018-10-25
RU2020134091A3 (zh) 2021-05-18
KR20240001278A (ko) 2024-01-03
AU2018254550A1 (en) 2019-12-12
JP2020518209A (ja) 2020-06-18

Similar Documents

Publication Publication Date Title
TWI721816B (zh) 用於產生遊戲的運動向量的系統及方法
US10594901B2 (en) Game engine application direct to video encoder rendering
EP1609244B1 (en) Accelerating video decoding using a graphics processing unit
US11509896B2 (en) Picture quality oriented rate control for low-latency streaming applications
TWI559748B (zh) 用於視訊編解碼器的延伸預測模式及效能之方法及系統
US12003756B2 (en) Systems and methods for game-generated motion vectors
TWI519139B (zh) 資料處理方法及數位影像處理裝置
Zhao et al. GPU_CPU based parallel architecture for reduction in power consumption
Zhao et al. Parallel implementation of Multi-view Video Decoder for Reduction in Power Consumption