TWI797550B - 用於產生遊戲的運動向量的系統及方法 - Google Patents
用於產生遊戲的運動向量的系統及方法 Download PDFInfo
- Publication number
- TWI797550B TWI797550B TW110103931A TW110103931A TWI797550B TW I797550 B TWI797550 B TW I797550B TW 110103931 A TW110103931 A TW 110103931A TW 110103931 A TW110103931 A TW 110103931A TW I797550 B TWI797550 B TW I797550B
- Authority
- TW
- Taiwan
- Prior art keywords
- per
- motion vectors
- block
- video
- engine
- Prior art date
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 159
- 239000013598 vector Substances 0.000 title claims abstract description 108
- 238000000034 method Methods 0.000 title claims abstract description 58
- 230000005540 biological transmission Effects 0.000 claims abstract description 6
- 238000001914 filtration Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims 1
- 238000009877 rendering Methods 0.000 abstract description 10
- 230000008569 process Effects 0.000 description 12
- 230000009467 reduction Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000002347 injection Methods 0.000 description 4
- 239000007924 injection Substances 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 230000000153 supplemental effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000002950 deficient Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
- H04N19/517—Processing of motion vectors by encoding
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
- E05B77/00—Vehicle locks characterised by special functions or purposes
- E05B77/54—Automatic securing or unlocking of bolts triggered by certain vehicle parameters, e.g. exceeding a speed threshold
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/005—General purpose rendering architectures
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
- E05B79/00—Mounting or connecting vehicle locks or parts thereof
- E05B79/10—Connections between movable lock parts
- E05B79/20—Connections between movable lock parts using flexible connections, e.g. Bowden cables
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
- E05B83/00—Vehicle locks specially adapted for particular types of wing or vehicle
- E05B83/16—Locks for luggage compartments, car boot lids or car bonnets
- E05B83/24—Locks for luggage compartments, car boot lids or car bonnets for car bonnets
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
- E05B85/00—Details of vehicle locks not provided for in groups E05B77/00 - E05B83/00
- E05B85/20—Bolts or detents
- E05B85/24—Bolts rotating about an axis
- E05B85/243—Bolts rotating about an axis with a bifurcated bolt
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
- E05B85/00—Details of vehicle locks not provided for in groups E05B77/00 - E05B83/00
- E05B85/20—Bolts or detents
- E05B85/24—Bolts rotating about an axis
- E05B85/26—Cooperation between bolts and detents
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/513—Processing of motion vectors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/527—Global motion vector estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
-
- E—FIXED CONSTRUCTIONS
- E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
- E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
- E05B81/00—Power-actuated vehicle locks
- E05B81/12—Power-actuated vehicle locks characterised by the function or purpose of the powered actuators
- E05B81/16—Power-actuated vehicle locks characterised by the function or purpose of the powered actuators operating on locking elements for locking or unlocking action
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16H—GEARING
- F16H59/00—Control inputs to control units of change-speed-, or reversing-gearings for conveying rotary motion
- F16H59/02—Selector apparatus
- F16H59/08—Range selector apparatus
- F16H59/10—Range selector apparatus comprising levers
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F16—ENGINEERING ELEMENTS AND UNITS; GENERAL MEASURES FOR PRODUCING AND MAINTAINING EFFECTIVE FUNCTIONING OF MACHINES OR INSTALLATIONS; THERMAL INSULATION IN GENERAL
- F16H—GEARING
- F16H63/00—Control outputs from the control unit to change-speed- or reversing-gearings for conveying rotary motion or to other devices than the final output mechanism
- F16H63/02—Final output mechanisms therefor; Actuating means for the final output mechanisms
- F16H63/30—Constructional features of the final output mechanisms
- F16H63/34—Locking or disabling mechanisms
- F16H63/36—Interlocking devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本發明揭示用於整合式圖形演現之系統及方法。在某些實施例中,該等系統及方法利用一圖形引擎、一視訊編碼引擎,及透過一網路演現圖形之遠端用戶端寫碼引擎。該等系統及方法涉及產生在該圖形引擎處被轉換成每區塊運動向量之每像素運動向量。該圖形引擎將此等每區塊運動向量注入至一視訊編碼引擎中,使得該視訊編碼引擎可將此等向量轉換成經編碼視訊資料以用於傳輸至該遠端用戶端寫碼引擎。
Description
其中藉由一用戶端玩家控制一伺服器端遊戲之遠端遊戲應用程式已嘗試使用現有或客製化編碼器即時編碼來自三維(3D)圖形引擎之視訊輸出。然而,視訊遊戲之互動式本質,尤其視訊輸出與玩家輸入之間的玩家回饋迴圈,使遊戲視訊串流比傳統視訊串流對延時更敏感。現有視訊寫碼方法可權衡運算能力(其他很少)以縮減編碼時間。用於將編碼程序整合至視訊演現程序中之新方法可顯著縮減編碼時間同時亦減少運算能力、改良經編碼視訊之品質、及保留原始位元串流資料格式以保持現有硬體裝置之互操作性。
現有視訊寫碼標準僅具有包含在影像序列中之色彩及時間資訊以改良視訊編碼時間、大小或品質。一些寫碼標準(諸如MPEG標準系列中之寫碼標準)使用一運算密集型基於區塊之運動估計方法以基於一視訊中所含有之色彩資料而大致估計運算物件移動。此等基於區塊之運動估計方法在歷史上已顯著減小經編碼視訊之大小,但卻是即時視訊串流環境中之顯著延時之一來源。
將編碼程序整合至視訊演現程序中提供對可用於編碼改良之額外資料源之存取。例如,一些3D圖形引擎(諸如一遊戲引擎中所含有之3D圖形引擎)可已產生較佳描述各視訊圖框上之各像素之移動之運動向量。藉由提供最終演現圖框及適當格式化之運動向量資料兩者以注入至編碼器中,可針對各圖框間略過視訊編碼器中之最運算複雜且耗時之步驟。此外,藉由圖形引擎供應之運動向量將比藉由一基於區塊之運動估計演算法大致估計之運動向量更準確,此將改良經編碼視訊之品質。
此兩個領域(視訊編碼及即時圖形演現)傳統上分開並獨立操作。藉由整合圖形引擎及編碼器以利用各者之優勢,可充分縮減編碼時間以支援對延時超敏感之串流應用。
鑒於下文所描述之技術中之缺陷將明白本發明之此等及其他伴隨優點。
例如,美國專利公開申請案第2015/0228106 A1號(「‘106公開案」)揭示與解碼視訊資料以產生一視訊影像之一序列經解碼區塊有關之技術。該技術容許在藉由編碼解碼器引擎產生經解碼區塊時使用一視訊影像之各經解碼區塊作為幾何表面之對應多邊形之一分開紋理。該‘106公開案技術描述解碼經編碼視訊資料以產生待映射之視訊影像之一編碼解碼器引擎與藉由執行視訊影像至幾何表面之紋理映射而部分演現顯示圖片之一3D圖形引擎之間的整合。然而,相較於本發明,此技術係有缺陷的,部分係因為此技術未揭示亦未使用一圖形引擎,該圖形引擎提供最終演現圖框及適當格式化之運動向量資料兩者以注入至視訊編碼解碼器引擎中,使得視訊編碼解碼器引擎在將經編碼視訊資料傳輸至遠端用戶端寫碼引擎之前不需要執行任何運動估計。相比而言,本發明對電腦技術之改良提供編碼時間及運算能力之減少、經編碼視訊之品質改良,且結果是保留原始位元串流資料格式以便保持互操作性。
美國專利公開申請案第2011/0261885 A1號(「‘885公開案」)揭示與透過整合運動估計與巨集區塊編碼減小頻寬有關之系統及方法。在此系統中,可使用經提取視訊資料執行運動估計,以產生包含運動向量之運動估計相關資訊。此等運動向量可對應於使用在緩衝器中快取之對應視訊資料之一當前巨集區塊。又,相較於本發明,‘885公開案技術係有缺陷的,部分係因為其未揭示亦未使用一圖形引擎,該圖形引擎提供最終演現圖框及適當格式化之運動向量資料兩者以注入至視訊編碼解碼器引擎中,使得視訊編碼解碼器引擎在將經編碼視訊資料傳輸至遠端用戶端寫碼引擎之前不需要執行任何運動估計。因而,‘885公開案之技術未提供與本發明提供相同之編碼時間及運算能力之減少及經編碼視訊之品質改良。
如自本技術中之最新技術之以上論述明白,此項技術需要改良與遊戲環境中之視訊編碼有關之目前電腦技術。
因此本文中所揭示之例示性實施例之一目的係解決此項技術缺點並提供用於圖形產生之系統及方法,該等系統及方法使用執行一圖形引擎、一視訊編碼解碼器引擎及傳輸經編碼視訊資料之一遠端用戶端寫碼引擎之經網路連線伺服器架構,藉以該圖形引擎提供最終演現圖框及適當格式化之運動向量資料兩者以注入至視訊編碼解碼器引擎中。
本發明之另一目的係提供用於圖形產生之系統及方法,其中視訊編碼解碼器引擎在將經編碼視訊資料傳輸至遠端用戶端寫碼引擎之前不需要執行任何運動估計。
本發明之又另一目的係提供用於圖形產生之系統及方法,其中圖形引擎將每像素運動向量轉換成每區塊運動向量。
本發明之又另一目的係提供用於圖形產生之系統及方法,其中藉由使用一運算著色器產生每像素運動向量以將該等每像素運動向量增加至攝影機速度以獲得一每像素結果,且其中將該每像素結果儲存於一運動向量緩衝器中。
本發明之又另一目的係提供用於圖形產生之系統及方法,其中該每區塊運動向量資料與一色度次取樣視訊圖框同時地藉由圖形引擎即時注入至視訊編碼引擎中。
相關申請案之交叉參考
本申請案主張以下美國臨時申請案之權利:於2017年4月21日申請之美國臨時申請案第62/488,526號及於2017年12月8日申請之美國臨時申請案第62/596,325號。
在描述圖式中所繪示之本發明之較佳實施例時,為清楚起見,將採用特定術語學。然而,本發明不意欲限於如此選擇之特定術語,且應理解,各特定術語包含以一類似方式操作以達成一類似目的之所有技術等效物。本發明之若干較佳實施例係出於圖解說明目的而描述,應理解,本發明可依其他形式而非圖式中明確展示之形式來體現。
在其中一3D圖形引擎演現待即時編碼及傳輸之視訊的應用中,該圖形引擎與編碼器可更緊密耦合以縮減總運算時間且減少運算額外耗用。可將已藉由圖形引擎針對各視訊圖框產生之每像素運動向量資料轉換成每區塊運動向量資料並注入至編碼解碼器引擎中,以規避在編碼程序中作為單個最複雜且運算密集型步驟的運動估計步驟。在將重建濾波器用於似真運動模糊方法之圖形引擎中,可已針對各視訊圖框來計算每像素運動向量。可藉由求得針對16x16個像素之各巨集區塊的平均向量來執行自每像素運動向量至每區塊運動向量的轉換。該轉換係在3D圖形引擎中執行,使得原始運動向量資料之僅一小分率需要自3D圖形引擎被傳遞至寫碼引擎。在其中圖形引擎及寫碼引擎不共用記憶體之情況中,此亦將幫助減少記憶體頻寬消耗。將每區塊運動向量注入至編碼解碼器引擎中,以完全略過運動估計步驟,無需顯著修改編碼程序之其餘部分。
圖1至圖4繪示用於改良視訊串流應用中之視訊編碼之一實例性技術,其中一3D圖形引擎在演現一視訊圖框之程序中產生隨附運動向量資料。
圖1繪示其中視訊經演現及編碼以傳輸至一遠端用戶端116之一實例性系統。執行於某伺服器架構120上之記憶體106中之一3D圖形引擎100將視訊及關於一經演現視訊圖框之增補運動向量資訊傳遞至一編碼解碼器引擎(在本文中被稱為編碼解碼器或編碼器) 102,該編碼解碼器引擎102產生一經編碼位元串流108以用於傳輸至一用戶端電腦系統116。伺服器架構120係可支援一圖形引擎及一編碼解碼器引擎兩者之功能之硬體或軟體之任何組合。在給定實例中,圖形引擎100可實施為(例如)執行載入至某電腦可讀記憶體106中之視訊遊戲軟體104之一GPU,而編碼解碼器引擎102可實施為執行視訊編碼軟體之一CPU。編碼引擎102產生經編碼視訊資料108以用於傳輸至某遠端用戶端電腦系統116,遠端用戶端電腦系統116包含解碼位元串流以在藉由一顯示控制器112驅動之一顯示器114上播放之一遠端寫碼引擎(編碼解碼器) 110。遠端用戶端電腦系統116係達成經編碼位元串流108之解碼及顯示之硬體、裝置或軟體之任何組合。
圖2繪示藉由在視訊編碼程序中重新使用來自演現程序之現有增補資料達成更快速編碼時間所需之步驟。在步驟202中,必須首先產生作為位於一伺服器120處之圖形引擎100之一正常操作特徵之增補資料。隨著GPU變得更加強大且無處不在,即時每像素運動向量產生已變為現代視訊遊戲引擎中之一常見特徵。在演現來自一3D場景之一2D視訊圖框期間,一3D圖形引擎將在色彩產生程序期間產生輔助輸出用作稍後後處理遍次之輸入。該等輔助輸出可包含寫入至累積緩衝器、色彩緩衝器或速度緩衝器之資訊,三個記憶體位置經分配以用於分別暫時儲存關於像素深度、像素色彩及像素移動之資訊。
在運動模糊之一常用實施方案(被稱為用於似真運動模糊之重建濾波器)中,來自速度緩衝器之每像素速度首先經減少取樣至較小數目個影像塊中,其中各影像塊假定來自像素群組之最大速度。接著使用累積緩衝器中之每像素深度遮罩該等影像塊且將結果施加至色彩緩衝器中之每像素色彩以產生運動模糊。關於重建濾波器方法具有若干種變化,其等改良保真度、效能或兩者,但概念保持類似且一速度緩衝器含有兩個相鄰圖框之間的每像素運動。儘管「速度」係圖形引擎術語學中所使用之術語且「運動向量」係視訊編碼術語學中所使用之術語,但該等術語在功能上等效且一每像素速度與一每像素運動向量相同之事物。速度緩衝器含有將在視訊編碼程序中重新使用之呈每像素運動向量之形式之增補資料。
在步驟204中,位於伺服器120處之圖形引擎100基於待用於編碼中之巨集區塊大小將每像素運動向量轉換成每區塊運動向量。H.264編碼解碼器依據預設使用16x16像素巨集區塊且具有進一步再劃分之可能。256個每像素運動向量可一起經平均化以提供將用作每區塊運動向量之一單個平均向量。結合圖3進一步詳細描述此程序。
在步驟206中,將每巨集區塊運動向量資訊注入至位於伺服器120處之寫碼引擎/編碼器102中,從而略過運動估計步驟。在編碼器之軟體實施方案中,可完全停用該運動估計步驟,此顯著節省CPU運算時間。CPU中之時間節省應更多地抵消計算GPU中之平均向量(在步驟204中)並將其等傳遞至CPU所需之額外時間。
在步驟208中,因為藉由圖形引擎100供應之每區塊運動向量可與在一典型運動估計步驟中計算之每區塊運動向量互換,所以編碼自運動補償步驟開始向前進行(步驟208)。如結合圖4進一步詳細描述之視訊編碼程序之其餘部分並非明顯不同於藉由使用運動估計技術之一編碼標準執行之典型運動補償、殘餘計算及編碼步驟。
圖3進一步詳細繪示圖形引擎100中發生之自每像素運動向量至每巨集區塊運動向量之變換。在色彩產生階段期間,位於一伺服器120處之一3D圖形引擎100將產生每像素運動向量且將資料儲存於亦位於伺服器120處之速度緩衝器300中。速度緩衝器300可含有僅用於動態物件之資料,不包括由玩家攝影機移動賦予之運動資訊。為獲得針對影像空間中之各像素之運動向量資訊,一運算著色器302將組合速度緩衝器300中之向量與已不包含於速度緩衝器中之用於所有靜態物件之攝影機速度且將每像素結果儲存於運動向量緩衝器304中。攝影機速度係圖框期間之旋轉及平移攝影機移動之2D投影。特定圖形引擎可使用略微不同方法以計算針對整個螢幕空間之此等每像素運動向量,但概念保持相同。
H.264編碼器使用16x16之一預設巨集區塊大小,但可被再劃分成低達4x4之更小大小。在圖3實例中,一4x4巨集區塊306係被用作一簡化情況,但應推廣該方法以匹配編碼器中所使用之巨集區塊大小。對於一4x4巨集區塊306,在運動向量緩衝器304中儲存有16個每像素運動向量308。此等每像素運動向量308需要變換312成可被注入至編碼器中以用於如圖4中所展示之運動補償中之一單個每巨集區塊運動向量310。每像素向量308之集合的算術平均數係具有低運算複雜性及短運算時間之一變換312方法。
可對算術平均數變換312進行選用修改,以依額外運算複雜性或能力為代價來改良品質。例如,可應用向量中值濾波技術以在算術平均數運算之前移除巨集區塊之向量場中的不連續性,以確保每巨集區塊運動向量310表示巨集區塊306中的大部分像素。因為所得每巨集區塊運動向量係自最初基於已知物件移動資料運算之像素完整運動向量導出,所以此等每巨集區塊運動向量將總是為比藉由可僅基於像素色彩資料導出移動之現有基於區塊之運動估計演算法所計算之每巨集區塊運動向量更準確之一表示。
圖4繪示藉由將圖1之伺服器120之圖形引擎100中所產生之運動向量注入至圖1之伺服器120之寫碼引擎102中而略過運算複雜運動估計程序之一方法。如下文詳細闡釋,將經編碼視訊資料108之所得位元串流傳輸至遠端用戶端電腦系統116。圖4中所展示之方法繪示用於一單個圖框間,明確言之,如藉由視訊編碼解碼器標準之MPEG系列所定義之一P圖框之編碼程序。圖框內(I圖框)產生將不被改變,此係因為在I圖框產生中未執行運動補償406。色度次取樣視訊圖框402與每區塊運動向量資料404將儘可能快速地自圖形引擎100傳遞。產生遊戲之運動向量404係用於規避將以其他方式在一典型運動估計426步驟中發生之運動向量產生,如H.264/MPEG-4 AVC標準中所概述。該運動估計426步驟將被略過,且可在寫碼引擎之一軟體實施方案中被停用。略過基於區塊之運動估計426步驟將顯著縮減編碼時間,此將更多地抵消如結合圖3所描述將速度緩衝器資料轉換成適當格式所花費的時間。
已針對適當巨集區塊大小轉換之運動向量404可立即使用而無需對運動補償406進行任何變更。運動補償406之結果與輸入色度次取樣視訊圖框402組合以形成殘餘影像430,殘餘影像430係藉由通常在現有硬體或軟體視訊編碼器中發生之殘餘變換及按比例調整408、量化410及掃描412步驟處理。
若實施方案所選取之解碼標準需要解塊步驟,則必須執行解塊步驟。解塊設定420及經解塊影像428係藉由應用用於逆量化414之寫碼標準之演算法、逆變換及按比例調整416及解塊418而計算。經掃描係數412與解塊設定420組合且在作為一位元串流108傳輸至遠端用戶端電腦系統116,以在遠端用戶端電腦系統之編碼解碼器110處解碼之前在熵寫碼器422中予以編碼。經解塊影像428變為下一圖框之運動補償406之輸入。位元串流(包括經編碼視訊資料) 108保留與藉由諸如H.264/MPEG-4 AVC之實施方案中所使用之編碼標準所定義相同之格式。此實例特定於H.264/MPEG-4 AVC標準,可通常用於使用運動估計426及運動補償406技術之類似寫碼標準。實例 1 :證實編碼時間縮減之基準測試
傳統H.264合規編碼中之運動估計步驟通常係最運算複雜且耗時之步驟。如本文中所論述,重新使用產生遊戲之運動向量可顯著縮減編碼時間。
在測試環境中,圖形引擎以每秒60個圖框依1280x720之解析度產生輸出。自執行單執行緒之一x264編碼器擷取編碼時間。執行編碼器單執行緒將產生比現實使用情況更長之編碼時間但將量測正規化至一個核心,因此量測可直接相比較。編碼時間首先使用編碼器內之未經修改運動估計量測,接著在相同環境中使用經啟用之產生遊戲之運動估計特徵重新量測。
選擇包括第一人稱玩家之手、武器及一靜止牆之該玩家視圖之一低運動區域。玩家之手及武器循環通過輕微「浮動」動畫以在相對較少量之螢幕空間中產生少量像素運動。此測試之結果在下列表1中重現,表1展示使用及不使用本文中所描述之產生遊戲之運動估計技術之情況下之延時結果。在低強度下,在產生遊戲之運動估計停用的情況下,未經修改編碼時間係12 ms。當啟用產生遊戲之運動估計時,編碼時間縮減3 ms而降至9 ms之一編碼時間。展示針對平均及高運動強度案例之類似延時縮減,其中平均運動強度案例延時縮減17.6%且高延時案例中延時縮減介於15%至30%之間。此等結果證實,在啟用產生遊戲之運動估計時,延時顯著縮減。
表 1 :變化運動強度下之延時結果
運動強度 | x264 運動估計 | 產生遊戲之運動估計 | % 變化 |
低 | 12 ms | 9 ms | 25% |
平均 | 17 ms | 14 ms | 17.6% |
高 | 20 ms至27 ms | 17 ms至19 ms | 15%至30% |
測試環境亦揭示在將產生遊戲之每像素運動向量轉換成用於編碼器之每巨集區塊運動向量時具有一額外成本。然而,此成本顯著少於先前章節中所描述之編碼時間縮減。在圖形引擎依1280x720之一解析度產生視訊之情況下,自每像素至每巨集區塊之運動向量變換花費0.02 ms。經量測編碼器時間節省係比使用產生遊戲之運動向量用於編碼之增加成本大三個數量級。
前面描述及圖式應被視為僅繪示本發明之原理。本發明不意欲受較佳實施例限制且可依一般技術者將明白之各種方式實施。熟習此項技術者將易於明白本發明之數種應用。因此,不需要將本發明限於所揭示之特定實例或所展示及描述之精確構造及操作。實情係,可採取落在本發明之範疇內之所有合適修改及等效例。
100:三維(3D)圖形引擎/圖形引擎
102:編碼解碼器引擎/寫碼引擎/編碼器
104:視訊遊戲軟體
106:記憶體/電腦可讀記憶體
108:經編碼位元串流/經編碼視訊資料/位元串流
110:遠端寫碼引擎/編碼解碼器
112:顯示控制器
114:顯示器
116:遠端用戶端/用戶端電腦系統/遠端用戶端電腦系統
120:伺服器架構/伺服器
202:步驟
204:步驟
206:步驟
208:步驟
300:速度緩衝器
302:運算著色器
304:運動向量緩衝器
306:巨集區塊
308:每像素運動向量/每像素向量
310:每巨集區塊運動向量
312:變換/算術平均數變換
402:色度次取樣視訊圖框/輸入色度次取樣視訊圖框
404:每區塊運動向量資料/產生遊戲之運動向量/運動向量
406:運動補償
408:殘餘變換及按比例調整
410:量化
412:掃描/經掃描係數
414:逆量化
416:逆變換及按比例調整
418:解塊
420:解塊設定
422:熵寫碼器
426:運動估計/基於區塊之運動估計
428:經解塊影像
430:殘餘影像
本發明之一更完全瞭解及其之許多伴隨優點在結合隨附圖式考量時藉由參考以下詳細描述較佳理解時將容易獲得,其中:
圖1係繪示演現一視訊以編碼並傳輸至一用戶端之一3D圖形引擎之一方塊圖;
圖2係繪示藉由將3D圖形引擎產生之運動向量注入至圖4之經修改編碼程序中而縮減延時所需之步驟之一流程圖;
圖3係繪示將圖形引擎中所產生之每像素運動向量變換成每巨集區塊運動向量以注入至編碼引擎中之一圖式;
圖4係繪示對圖1中所使用之一視訊編碼程序之所需變更之一流程圖。
100:三維(3D)圖形引擎/圖形引擎
102:編碼解碼器引擎/寫碼引擎/編碼器
104:視訊遊戲軟體
106:記憶體/電腦可讀記憶體
108:經編碼位元串流/經編碼視訊資料/位元串流
110:遠端寫碼引擎/編碼解碼器
112:顯示控制器
114:顯示器
116:遠端用戶端/用戶端電腦系統/遠端用戶端電腦系統
120:伺服器架構/伺服器
Claims (20)
- 一種用於產生圖形之電腦實施方法,其包括:將一或多個運動向量轉換成一或多個每區塊運動向量;將該等每區塊運動向量及一或多個色度次取樣視訊圖框傳輸至一編碼解碼器;及組合該等每區塊運動向量及該等色度次取樣視訊圖框以編碼視訊資料。
- 如請求項1之方法,其中經組合之該等每區塊運動向量及該等色度次取樣視訊圖框形成一殘餘影像。
- 如請求項1之方法,其中當產生該等每區塊運動向量及該等色度次取樣視訊圖框時,傳輸該等每區塊運動向量及該等色度次取樣視訊圖框。
- 如請求項1之方法,其中略過運動補償。
- 如請求項4之方法,其中該運動補償由H.264/MPEG-4 AVC標準定義。
- 如請求項1之方法,其中該等每區塊運動向量針對一適當巨集區塊大小而轉換。
- 如請求項1之方法,其中使用物件移動資料將每像素運動向量轉換成該等每區塊運動向量。
- 如請求項1之方法,其中該視訊資料與H.264/MPEG-4 AVC標準相容。
- 如請求項1之方法,其進一步包括對該等每區塊運動向量執行向量中值濾波技術。
- 如請求項1之方法,其中每像素運動向量係儲存於一速度緩衝器中。
- 一種用於產生圖形之系統,其包括:一伺服器,其中該伺服器:將一或多個運動向量轉換成一或多個每區塊運動向量;將該等每區塊運動向量及一或多個色度次取樣視訊圖框傳輸至一編碼解碼器;及組合該等每區塊運動向量及該等色度次取樣視訊圖框以編碼視訊資料。
- 如請求項11之系統,其中經組合之該等每區塊運動向量及該等色度次取樣視訊圖框形成一殘餘影像。
- 如請求項11之系統,其中當產生該等每區塊運動向量及該等色度次 取樣視訊圖框時,傳輸該等每區塊運動向量及該等色度次取樣視訊圖框。
- 如請求項11之系統,其中略過運動補償。
- 如請求項14之系統,其中該運動補償由H.264/MPEG-4 AVC標準定義。
- 如請求項11之系統,其中該等每區塊運動向量針對一適當巨集區塊大小而轉換。
- 如請求項11之系統,其中使用物件移動資料將每像素運動向量轉換成該等每區塊運動向量。
- 如請求項11之系統,其中該視訊資料與H.264/MPEG-4 AVC標準相容。
- 如請求項11之系統,其中該伺服器進一步對該等每區塊運動向量執行向量中值濾波技術。
- 如請求項11之系統,其中每像素運動向量係儲存於一速度緩衝器中。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201762488526P | 2017-04-21 | 2017-04-21 | |
US62/488,526 | 2017-04-21 | ||
US201762596325P | 2017-12-08 | 2017-12-08 | |
US62/596,325 | 2017-12-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
TW202131688A TW202131688A (zh) | 2021-08-16 |
TWI797550B true TWI797550B (zh) | 2023-04-01 |
Family
ID=63854345
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109107924A TWI721816B (zh) | 2017-04-21 | 2018-04-20 | 用於產生遊戲的運動向量的系統及方法 |
TW107113590A TWI691199B (zh) | 2017-04-21 | 2018-04-20 | 用於產生遊戲的運動向量的系統及方法 |
TW110103931A TWI797550B (zh) | 2017-04-21 | 2018-04-20 | 用於產生遊戲的運動向量的系統及方法 |
Family Applications Before (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW109107924A TWI721816B (zh) | 2017-04-21 | 2018-04-20 | 用於產生遊戲的運動向量的系統及方法 |
TW107113590A TWI691199B (zh) | 2017-04-21 | 2018-04-20 | 用於產生遊戲的運動向量的系統及方法 |
Country Status (15)
Country | Link |
---|---|
US (5) | US10567788B2 (zh) |
EP (1) | EP3613015A4 (zh) |
JP (1) | JP7135067B2 (zh) |
KR (4) | KR102617595B1 (zh) |
CN (1) | CN110959169A (zh) |
AU (2) | AU2018254550B2 (zh) |
BR (1) | BR112019022007A2 (zh) |
CA (2) | CA3173525A1 (zh) |
DE (1) | DE112018002110T5 (zh) |
GB (1) | GB2576846A (zh) |
MX (1) | MX2021004095A (zh) |
RU (2) | RU2735241C1 (zh) |
TW (3) | TWI721816B (zh) |
WO (1) | WO2018195405A1 (zh) |
ZA (2) | ZA201907680B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9589367B2 (en) | 2014-06-27 | 2017-03-07 | Samsung Electronics Co., Ltd. | Reconstruction of missing data point from sparse samples during graphics processing using cubic spline polynomials |
US11049269B2 (en) | 2014-06-27 | 2021-06-29 | Samsung Electronics Co., Ltd. | Motion based adaptive rendering |
US10567788B2 (en) | 2017-04-21 | 2020-02-18 | Zenimax Media Inc. | Systems and methods for game-generated motion vectors |
US11736822B1 (en) | 2020-02-28 | 2023-08-22 | Apple Inc. | Controlling an image sensor based on GPU temporal processing values |
US11833419B2 (en) | 2020-03-16 | 2023-12-05 | Tencent America LLC | Method and apparatus for cloud gaming |
CN111901666B (zh) | 2020-07-01 | 2021-05-11 | 腾讯科技(深圳)有限公司 | 图像处理方法、装置、电子设备以及存储介质 |
JP2022041553A (ja) * | 2020-09-01 | 2022-03-11 | ヤマハ株式会社 | 通信制御方法 |
CN113794887A (zh) * | 2021-08-17 | 2021-12-14 | 镕铭微电子(济南)有限公司 | 一种游戏引擎中视频编码的方法及相关设备 |
CN118339838A (zh) | 2021-11-30 | 2024-07-12 | 三星电子株式会社 | 允许在服务器和电子装置之间流传输视频内容的方法以及用于流传输视频内容的服务器和电子装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050104889A1 (en) * | 2002-03-01 | 2005-05-19 | Graham Clemie | Centralised interactive graphical application server |
US20120213278A1 (en) * | 2009-10-20 | 2012-08-23 | Yukinobu Yasugi | Moving image coding device, moving image decoding device, moving image coding/decoding system, moving image coding method and moving image decoding method |
US20160150231A1 (en) * | 2014-11-20 | 2016-05-26 | Citrix Systems, Inc. | Layer-based video decoding |
Family Cites Families (70)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4501980A (en) | 1982-06-04 | 1985-02-26 | Motornetics Corporation | High torque robot motor |
JPH06129865A (ja) | 1992-10-20 | 1994-05-13 | Sumitomo Electric Ind Ltd | シングルモ−ドファイバ型デポラライザとその製造方法及び光ファイバジャイロ |
US5778190A (en) * | 1995-07-21 | 1998-07-07 | Intel Corporation | Encoding video signals using multi-phase motion estimation |
US5926221A (en) | 1995-08-18 | 1999-07-20 | Texas Instruments Incorporated | Method and apparatus for improved video coding using a center-biased orthogonal search technique and a zero block predictor module |
GB9623573D0 (en) * | 1996-11-13 | 1997-01-08 | Philips Electronics Nv | Image segmentation |
US6687405B1 (en) * | 1996-11-13 | 2004-02-03 | Koninklijke Philips Electronics N.V. | Image segmentation |
US6529613B1 (en) | 1996-11-27 | 2003-03-04 | Princeton Video Image, Inc. | Motion tracking using image-texture templates |
EP1075147A1 (en) | 1999-08-02 | 2001-02-07 | Koninklijke Philips Electronics N.V. | Motion estimation |
US6850571B2 (en) | 2001-04-23 | 2005-02-01 | Webtv Networks, Inc. | Systems and methods for MPEG subsample decoding |
EP1520431B1 (en) | 2002-07-01 | 2018-12-26 | E G Technology Inc. | Efficient compression and transport of video over a network |
US6903662B2 (en) | 2002-09-19 | 2005-06-07 | Ergodex | Computer input device with individually positionable and programmable input members |
US8054880B2 (en) | 2004-12-10 | 2011-11-08 | Tut Systems, Inc. | Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window |
KR100624429B1 (ko) * | 2003-07-16 | 2006-09-19 | 삼성전자주식회사 | 칼라 영상을 위한 비디오 부호화/복호화 장치 및 그 방법 |
US20050094729A1 (en) * | 2003-08-08 | 2005-05-05 | Visionflow, Inc. | Software and hardware partitioning for multi-standard video compression and decompression |
US20050047504A1 (en) | 2003-09-03 | 2005-03-03 | Sung Chih-Ta Star | Data stream encoding method and apparatus for digital video compression |
US7724827B2 (en) | 2003-09-07 | 2010-05-25 | Microsoft Corporation | Multi-layer run level encoding and decoding |
US7408984B2 (en) | 2003-09-17 | 2008-08-05 | International Business Machines Corporation | Method and system for multiple pass video coding |
US20060230428A1 (en) | 2005-04-11 | 2006-10-12 | Rob Craig | Multi-player video game system |
ATE475266T1 (de) * | 2005-07-08 | 2010-08-15 | Tag Networks Inc | Videospielsystem mit vorcodierten makroblöcken |
JP4178480B2 (ja) | 2006-06-14 | 2008-11-12 | ソニー株式会社 | 画像処理装置、画像処理方法、撮像装置および撮像方法 |
KR100919886B1 (ko) * | 2006-12-06 | 2009-09-30 | 한국전자통신연구원 | 영상 복호기에서 움직임 벡터 특성을 이용한 움직임 보상스킵 제어 장치 및 그 방법 |
US20080195664A1 (en) | 2006-12-13 | 2008-08-14 | Quickplay Media Inc. | Automated Content Tag Processing for Mobile Media |
JP4931223B2 (ja) | 2007-03-30 | 2012-05-16 | 株式会社バンダイナムコゲームス | 動きベクトル探索プログラム、情報記憶媒体、動きベクトル探索装置、及び、ネットワークシステム |
US8069258B1 (en) | 2007-09-11 | 2011-11-29 | Electronic Arts Inc. | Local frame processing to apparently reduce network lag of multiplayer deterministic simulations |
US8127233B2 (en) | 2007-09-24 | 2012-02-28 | Microsoft Corporation | Remote user interface updates using difference and motion encoding |
KR20100099723A (ko) | 2008-01-09 | 2010-09-13 | 미쓰비시덴키 가부시키가이샤 | 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 및 화상 복호 방법 |
EP2364190B1 (en) | 2008-05-12 | 2018-11-21 | GameFly Israel Ltd. | Centralized streaming game server |
US8154553B2 (en) | 2008-05-22 | 2012-04-10 | Playcast Media System, Ltd. | Centralized streaming game server |
US20100026897A1 (en) | 2008-07-30 | 2010-02-04 | Cinnafilm, Inc. | Method, Apparatus, and Computer Software for Modifying Moving Images Via Motion Compensation Vectors, Degrain/Denoise, and Superresolution |
US8678929B1 (en) | 2008-08-01 | 2014-03-25 | Electronics Arts Inc. | Client-side prediction of a local game object to reduce apparent network lag of multiplayer simulations |
US8854376B1 (en) | 2009-07-30 | 2014-10-07 | Lucasfilm Entertainment Company Ltd. | Generating animation from actor performance |
US8171154B2 (en) * | 2009-09-29 | 2012-05-01 | Net Power And Light, Inc. | Method and system for low-latency transfer protocol |
US9338523B2 (en) | 2009-12-21 | 2016-05-10 | Echostar Technologies L.L.C. | Audio splitting with codec-enforced frame sizes |
GB2480422B (en) * | 2010-02-25 | 2014-07-09 | Imagination Tech Ltd | Object tracking using graphics engine derived vectors in a motion estimation system |
US20110261885A1 (en) | 2010-04-27 | 2011-10-27 | De Rivaz Peter Francis Chevalley | Method and system for bandwidth reduction through integration of motion estimation and macroblock encoding |
US8427583B2 (en) * | 2010-09-30 | 2013-04-23 | Sharp Laboratories Of America, Inc. | Automatic parameter control for spatial-temporal filter |
KR20120088488A (ko) * | 2011-01-31 | 2012-08-08 | 한국전자통신연구원 | 시간적 움직임 벡터 저장 방법 및 그 장치 |
JP5155462B2 (ja) | 2011-08-17 | 2013-03-06 | 株式会社スクウェア・エニックス・ホールディングス | 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体 |
US8872895B2 (en) * | 2011-09-30 | 2014-10-28 | Deutsche Telekom Ag | Real-time video coding using graphics rendering contexts |
RU2487489C2 (ru) * | 2011-10-18 | 2013-07-10 | Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "МИЭТ" | Способ поиска векторов перемещений в динамических изображениях |
US10027982B2 (en) * | 2011-10-19 | 2018-07-17 | Microsoft Technology Licensing, Llc | Segmented-block coding |
JP5977023B2 (ja) | 2011-11-07 | 2016-08-24 | 株式会社スクウェア・エニックス・ホールディングス | 描画システム、プログラム、及び記録媒体 |
MX341203B (es) | 2012-05-14 | 2016-08-11 | Rossato Luca | Descomposicion de datos residuales durante la codificacion, decodificacion y reconstruccion de señal en jerarquia escalonada. |
BR112015006178B1 (pt) | 2012-09-21 | 2022-11-16 | Nokia Technologies Oy | Métodos, aparelhos e meio não transitório legível por computador para codificação e decodificação de vídeo |
KR102137266B1 (ko) | 2012-09-28 | 2020-07-23 | 삼성전자주식회사 | 움직임 벡터와 변이 벡터를 예측하는 영상 처리 방법 및 장치 |
US9984504B2 (en) * | 2012-10-01 | 2018-05-29 | Nvidia Corporation | System and method for improving video encoding using content information |
KR20150056811A (ko) * | 2012-11-13 | 2015-05-27 | 인텔 코포레이션 | 차세대 비디오를 위한 콘텐츠 적응적 변환 코딩 |
EP2951999A4 (en) | 2013-01-30 | 2016-07-20 | Intel Corp | CONTENT PARAMETRIC TRANSFORMATIONS FOR CODING VIDEOS OF THE NEXT GENERATION |
US9661351B2 (en) | 2013-03-15 | 2017-05-23 | Sony Interactive Entertainment America Llc | Client side frame prediction for video streams with skipped frames |
US9521425B2 (en) | 2013-03-19 | 2016-12-13 | Qualcomm Incorporated | Disparity vector derivation in 3D video coding for skip and direct modes |
WO2014193403A1 (en) | 2013-05-31 | 2014-12-04 | Empire Technology Development Llc | Cache-influenced video games |
US9313493B1 (en) * | 2013-06-27 | 2016-04-12 | Google Inc. | Advanced motion estimation |
US20150071357A1 (en) | 2013-09-12 | 2015-03-12 | Qualcomm Incorporated | Partial intra block copying for video coding |
US9648332B2 (en) | 2013-10-28 | 2017-05-09 | Qualcomm Incorporated | Adaptive inter-color component residual prediction |
KR101586125B1 (ko) * | 2013-12-17 | 2016-02-02 | 세종대학교산학협력단 | 영상의 복호화/부호화 방법 및 장치 |
US9749642B2 (en) | 2014-01-08 | 2017-08-29 | Microsoft Technology Licensing, Llc | Selection of motion vector precision |
US20150228106A1 (en) | 2014-02-13 | 2015-08-13 | Vixs Systems Inc. | Low latency video texture mapping via tight integration of codec engine with 3d graphics engine |
US9589367B2 (en) * | 2014-06-27 | 2017-03-07 | Samsung Electronics Co., Ltd. | Reconstruction of missing data point from sparse samples during graphics processing using cubic spline polynomials |
US9762919B2 (en) | 2014-08-28 | 2017-09-12 | Apple Inc. | Chroma cache architecture in block processing pipelines |
US9830888B2 (en) * | 2014-11-10 | 2017-11-28 | Dell Products, Lp | Gaze driven display front of screen performance |
US10063866B2 (en) | 2015-01-07 | 2018-08-28 | Texas Instruments Incorporated | Multi-pass video encoding |
CA2958254A1 (en) | 2015-01-29 | 2016-08-04 | Ecole De Technologie Superieure | Methods and systems for determining motion vectors in a motion estimation process of a video encoder |
EP3286918A1 (en) | 2015-04-21 | 2018-02-28 | VID SCALE, Inc. | Artistic intent based video coding |
JP6910130B2 (ja) | 2015-11-06 | 2021-07-28 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 3dレンダリング方法及び3dレンダリング装置 |
US10163183B2 (en) | 2016-01-13 | 2018-12-25 | Rockwell Collins, Inc. | Rendering performance using dynamically controlled samples |
US9705526B1 (en) | 2016-03-17 | 2017-07-11 | Intel Corporation | Entropy encoding and decoding of media applications |
US10109100B2 (en) | 2016-03-25 | 2018-10-23 | Outward, Inc. | Adaptive sampling of pixels |
US20180054613A1 (en) * | 2016-08-22 | 2018-02-22 | Mediatek Inc. | Video encoding method and apparatus with in-loop filtering process not applied to reconstructed blocks located at image content discontinuity edge and associated video decoding method and apparatus |
US10402932B2 (en) * | 2017-04-17 | 2019-09-03 | Intel Corporation | Power-based and target-based graphics quality adjustment |
US10567788B2 (en) | 2017-04-21 | 2020-02-18 | Zenimax Media Inc. | Systems and methods for game-generated motion vectors |
-
2018
- 2018-04-20 US US15/958,499 patent/US10567788B2/en active Active
- 2018-04-20 TW TW109107924A patent/TWI721816B/zh active
- 2018-04-20 AU AU2018254550A patent/AU2018254550B2/en active Active
- 2018-04-20 CA CA3173525A patent/CA3173525A1/en active Pending
- 2018-04-20 KR KR1020227028903A patent/KR102617595B1/ko active IP Right Grant
- 2018-04-20 BR BR112019022007-0A patent/BR112019022007A2/pt unknown
- 2018-04-20 KR KR1020197033912A patent/KR20200019854A/ko not_active Application Discontinuation
- 2018-04-20 RU RU2019136490A patent/RU2735241C1/ru active
- 2018-04-20 DE DE112018002110.6T patent/DE112018002110T5/de active Pending
- 2018-04-20 TW TW107113590A patent/TWI691199B/zh active
- 2018-04-20 JP JP2020507497A patent/JP7135067B2/ja active Active
- 2018-04-20 TW TW110103931A patent/TWI797550B/zh active
- 2018-04-20 CN CN201880040171.3A patent/CN110959169A/zh active Pending
- 2018-04-20 KR KR1020237043929A patent/KR20240001278A/ko active Application Filing
- 2018-04-20 CA CA3059740A patent/CA3059740A1/en active Pending
- 2018-04-20 EP EP18788077.8A patent/EP3613015A4/en active Pending
- 2018-04-20 GB GB1916979.6A patent/GB2576846A/en not_active Withdrawn
- 2018-04-20 WO PCT/US2018/028544 patent/WO2018195405A1/en active Application Filing
- 2018-04-20 RU RU2020134091A patent/RU2760974C2/ru active
- 2018-04-20 KR KR1020217038338A patent/KR20210148381A/ko not_active Application Discontinuation
-
2019
- 2019-03-01 US US16/290,468 patent/US10701388B2/en active Active
- 2019-10-18 MX MX2021004095A patent/MX2021004095A/es unknown
- 2019-11-20 ZA ZA2019/07680A patent/ZA201907680B/en unknown
-
2020
- 2020-01-07 US US16/736,490 patent/US11503326B2/en active Active
- 2020-04-13 US US16/847,493 patent/US11381835B2/en active Active
- 2020-11-12 AU AU2020267252A patent/AU2020267252B2/en active Active
- 2020-11-12 ZA ZA2020/07051A patent/ZA202007051B/en unknown
-
2022
- 2022-09-29 US US17/955,665 patent/US12003756B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050104889A1 (en) * | 2002-03-01 | 2005-05-19 | Graham Clemie | Centralised interactive graphical application server |
US20120213278A1 (en) * | 2009-10-20 | 2012-08-23 | Yukinobu Yasugi | Moving image coding device, moving image decoding device, moving image coding/decoding system, moving image coding method and moving image decoding method |
US20160150231A1 (en) * | 2014-11-20 | 2016-05-26 | Citrix Systems, Inc. | Layer-based video decoding |
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI797550B (zh) | 用於產生遊戲的運動向量的系統及方法 | |
JP4554600B2 (ja) | グラフィックス処理ユニットを使用してビデオ復号化を加速すること | |
US10013746B2 (en) | High dynamic range video tone mapping | |
US11509896B2 (en) | Picture quality oriented rate control for low-latency streaming applications | |
US8311088B2 (en) | Method and system for image processing in a microprocessor for portable video communication devices | |
TW201442490A (zh) | 視訊編解碼器的延伸預測模式及效能 | |
TWI519139B (zh) | 資料處理方法及數位影像處理裝置 | |
Zhao et al. | GPU_CPU based parallel architecture for reduction in power consumption |