TWI735193B - 用於在視訊編碼中的順延後處理的系統及方法 - Google Patents

用於在視訊編碼中的順延後處理的系統及方法 Download PDF

Info

Publication number
TWI735193B
TWI735193B TW109110609A TW109110609A TWI735193B TW I735193 B TWI735193 B TW I735193B TW 109110609 A TW109110609 A TW 109110609A TW 109110609 A TW109110609 A TW 109110609A TW I735193 B TWI735193 B TW I735193B
Authority
TW
Taiwan
Prior art keywords
post
processing
client
server
list
Prior art date
Application number
TW109110609A
Other languages
English (en)
Other versions
TW202027504A (zh
Inventor
麥克 柯比士
Original Assignee
美商時美媒體公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商時美媒體公司 filed Critical 美商時美媒體公司
Publication of TW202027504A publication Critical patent/TW202027504A/zh
Application granted granted Critical
Publication of TWI735193B publication Critical patent/TWI735193B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • Debugging And Monitoring (AREA)
  • Computer And Data Communications (AREA)

Abstract

本發明揭示用於在視訊編碼中之順延後處理效應之系統及方法。該等系統及方法能夠計算用戶端硬體之容量以順延負載，及加總一或多個順延候選者之一已知負載，以評估多少個後處理順延候選者能夠被順延至用戶端硬體。該等系統及方法亦能夠將後處理之一更新順延清單發送至一遠端伺服器，該遠端伺服器在一第一視訊圖框之後處理階段期間應用經順延後處理候選者之該清單。

Description

用於在視訊編碼中的順延後處理的系統及方法
其中藉由一用戶端玩家控制一伺服器端遊戲之遠端遊戲應用程式已嘗試使用現有或客製化編碼器即時編碼來自三維(3D)圖形引擎之視訊輸出。然而，視訊遊戲之互動式本質，尤其視訊輸出與玩家輸入之間的玩家回饋迴圈，使遊戲視訊串流比傳統視訊串流對延時更敏感。現有視訊寫碼方法可權衡運算能力(其他很少)以縮減編碼時間。用於將編碼程序整合至視訊演現程序中之新方法可顯著縮減編碼時間同時亦減少運算能力、改良經編碼視訊之品質、及保留原始位元串流資料格式以保持現有硬體裝置之互操作性。
典型視訊演現管線與視訊編碼管線分開並獨立於視訊編碼管線，其中在該兩個領域中之程序及專業知識之間幾乎無交叉。因此，視訊演現管線中所應用之一些視覺效應及後處理與視訊編碼程序產生相反結果，而導致視訊假影、增加經編碼視訊大小及較長編碼時間。然而，此等視覺效應在所得解碼視訊中仍為所需要的。
藉由整合視訊演現與視訊編碼管線，可順延後處理效應以改良編碼程序。例如，經模擬底片顆粒感引入隨機發生之動畫顆粒，對於典型編碼器而言，在顯著的視訊品質或壓縮比成本情況下，難以處理隨機發生之動畫顆粒。一些視訊編碼方法嘗試在編碼之前移除此額外視覺雜訊，但此等方法係僅離線的且在運算上成本高。藉由停用演現管線中之此特定後處理，視訊自動變得更容易編碼。可接著在解碼視訊之後應用後處理。在底片顆粒感之情況中，在經解碼視訊上方合成顆粒在運算上要求不高，可在解碼器處即時完成，且可藉由偽裝其他編碼假影而改良主觀視訊品質。
國際專利申請案第WO2016172314 A1號(「314申請案」)揭示與基於藝術意圖之內容寫碼有關之系統及方法。一寫碼使用者介面准許一使用者指定一藝術集且組態與一藝術集相關聯之像素及/或區塊之處理，諸如一保真度增強、QP調整值及/或後處理。可新增至視訊輸出之藝術意圖之實例包含在編碼之前一編碼器可何時自原始信號移除底片顆粒感並使用該底片顆粒感SEI以傳遞至解碼器關於如何重新產生底片顆粒感並在其經顯示之前將其新增回至視訊信號。本發明可區別於’314申請案，至少係因為’314申請案未揭示在編碼之前在演現管線中停用特定後處理且接著在解碼視訊之後應用該等後處理。因此，本發明係對此電腦技術之一改良，此係因為本發明在無需顯著的視訊品質或壓縮比成本的情況下提供視訊資料之經改良編碼及解碼。本發明亦係一改良，此係因為本發明改良所得頻寬、位元率、編碼時間且能夠以改良之視訊品質用於即時視訊串流應用中。
美國專利第9,609,330號(「‘330專利」)揭示模式及參考類型資料之內容自適應性熵寫碼，意謂編碼器之一預分析器子系統分析內容以運算對於改良視訊寫碼效率及速度效能有用之各種類型之參數。此等參數包含水平及垂直梯度資訊(Rs、Cs)、變異、每圖片之空間複雜度、每圖片之時間複雜度、場景變化偵測、運動範圍估計、增益偵測、預測距離估計、物件數目估計、區域邊界偵測、空間複雜度圖運算、焦點估計及底片顆粒感估計。藉由該預分析器子系統產生之該等參數可接著藉由編碼器消耗或經量化並傳送至解碼器。本發明可再次區別於‘330專利中所揭示之技術，至少係因為該技術在編碼之前未在演現管線中停用特定後處理且接著在解碼視訊之後應用該等後處理。因此，本發明係對‘330專利之電腦技術之一改良，此係因為本發明在無需顯著的視訊品質或壓縮比成本的情況下提供視訊資料之經改良編碼及解碼且因為本發明能夠以改良之視訊品質用於即時視訊串流應用中。
美國專利第9,762,911號(「‘911專利」)揭示用於與運動向量之內容自適應性預測及熵寫碼有關之技術之系統及方法。所揭示之技術容許在一熵編碼器模組處接收用於熵編碼之一第一視訊資料及第二視訊資料。該第一視訊資料及該第二視訊資料可為不同資料類型(例如，標頭資料、變形(morphing)參數、合成參數或全域圖資料或運動向量或內部預測分區資料或等等，如本文中進一步論述)。可基於與第一視訊資料相關聯之一參數(舉例而言，諸如第一視訊資料之壓縮位元之數目、與第一視訊資料相關聯之一預定指示符或旗標、一預定臨限值或一啟發式判定之臨限值或類似者)判定用於第一視訊資料之一第一熵編碼技術。在一些實例中，可自一自適應性符號執行可變長度寫碼技術或一自適應性代理可變長度寫碼技術之一者選取第一熵編碼技術。第一視訊資料可使用第一熵編碼技術進行熵編碼且第二視訊資料可使用第一熵編碼技術進行熵編碼。再一次，本發明係可區別的，至少係因為‘911專利中所揭示之技術未涉及在編碼之前在演現管線中選擇性停用後處理且接著在解碼視訊之後應用該等後處理。再一次，本發明係對‘911專利之電腦技術之一改良，此係因為本發明在無需顯著的視訊品質或壓縮比成本的情況下提供視訊資料之經改良編碼及解碼。本發明亦係一改良，此係因為本發明改良所得位元率、編碼時間且能夠以改良之視訊品質用於即時視訊串流應用中。
如自本技術中之最新技術之以上論述明白，此項技術需要改良與遊戲環境中之視訊編碼有關之目前電腦技術。
因此本文中所揭示之例示性實施例之一目的係解決此項技術缺點並提供用於透過技術縮減延時及編碼時間之系統及方法，其中一伺服器傳輸一指令至一用戶端應用程式以量測用戶端硬體容量並傳輸一指令至一用戶端應用程式以加總一或多個預定後處理順延候選者之一已知負載，以評估多少個後處理順延候選者能夠順延至用戶端硬體。在該用戶端應用程式處，編譯並以反向順序建置後處理順延清單。伺服器接著接收後處理順延清單，在一第一視訊圖框之後處理階段期間略過經順延後處理之清單且傳輸一指令至一用戶端應用程式以演現一影像。
本發明之另一目的係提供用於藉由使一用戶端應用程式執行一回呼或輪詢一或多個作業系統事件以判定是否重新量測用戶端硬體之容量而縮減延時及編碼時間之系統及方法。
本發明之又另一目的係提供用於藉由憑藉偵測可用指令集、記憶體、CPU及/或GPU特性而量測用戶端硬體之容量從而縮減延時及編碼時間的系統及方法。
本發明之又另一目的係提供用於藉由憑藉量測圖框率及/或資源使用率而評估多少個後處理順延候選者能夠順延至用戶端硬體從而縮減延時及編碼時間的系統及方法。
相關申請案之交叉參考 本申請案主張以下美國臨時申請案之權利：於2017年4月21日申請之美國臨時申請案第62/488,526號及於2018年1月17日申請之美國臨時申請案第62/618,498號。
在描述圖式中所繪示之本發明之較佳實施例時，為清楚起見將採用特定術語學。然而，本發明不意欲限於如此選擇之特定術語，且應理解，各特定術語包含以一類似方式操作以達成一類似目的之所有技術等效物。本發明之若干較佳實施例係出於圖解說明目的而描述，應理解，本發明可依其他形式而非圖式中明確展示之形式體現。
後處理管線可執行許多複雜程序，包含抗頻疊、運動模糊、景深、色彩分級、輝散、底片顆粒感、色差、漸暈及色調映射。此等效應中之一些積極地不利於編碼程序，從而在與未處理之圖框相比時增加編碼時間且減小壓縮比。等待應用特定後處理直至在解碼一圖框之後為止可增加主觀視訊品質且提供額外有利權衡。
在用戶端應用程式之開發期間，應針對演現管線中之各後處理來評估編碼時間、頻寬與主觀品質之間的平衡，以判定哪些後處理係適於順延之候選者。在執行時間期間由用戶端使用順延候選者之清單，以判定後處理中之哪些可順延至用戶端上。
應測試各後處理以量測其對編碼程序所產生之效應。首先，應透過未變更之演現及編碼管線饋送一系列參考圖框且應量測編碼時間及經編碼圖框大小。應在演現管線中一次關閉一個後處理且應比較編碼時間及經編碼圖框大小與控制結果。此等量測將有助於通知哪些後處理係適於順延之候選者。增加藉由一增加之經編碼圖框大小量測之影像熵之幾乎任何後處理效應都有可能為適於順延之一候選者。例如，一經模擬底片顆粒感後處理對一影像新增隨機雜訊從而導致較低壓縮比。在特定情形中，色差及輝散可增加影像熵且導致較低壓縮比。減少熵或影像資料之幾乎任何後處理效應不應被順延，此係因為熵減少將減少編碼額外耗用。
可選擇不改變影像熵之後處理作為順延候選者以達成次要目標，諸如主觀視訊品質改良或伺服器負載減少。例如，色彩分級可能不會影響編碼時間或頻寬使用，但在順延至用戶端時可導致伺服器端運算負載之一可量測縮減。類似地，在順延時，抗頻疊可改良主觀視訊品質且顯著減少伺服器端負載。應執行額外測試以判定順延熵中性後處理是否有利。例如，使用參考圖框之一類似測試程序可被用以比較在順延一熵中性後處理之前及之後的伺服器負載。
用戶端應用程式應能夠針對各順延候選者執行後處理計算。一些程式碼重構可有必要將此等功能移動至用戶端應用程式中。演現管線之端部處的後處理(諸如底片顆粒感、色差或漸暈)通常比在演現管線中較早發生的後處理(諸如抗頻疊或景深)更容易移動至用戶端應用程式。可能存在一些情況，其中在一後處理通常被應用於線性空間中時，順延該後處理將引起該後處理被應用於一非線性空間中，諸如在色調映射之前應用之該等後處理，如色差、輝散或漸暈。該處理可直接被應用於伽瑪(gamma)空間中且在數學上可能不正確，但觀看者可能感知不到差異，且整體主觀品質可經改良。另外，以一些用戶端運算循環及損耗影像品質為代價，用戶端應用程式可將影像轉換回成線性空間，應用後處理，接著轉換回成伽瑪空間。轉換回成線性空間將犧牲一定程度品質，此係因為影像將在編碼期間量化及壓縮。應在用戶端應用程式之開發期間進行此等主觀品質決策。
用戶端應用程式可執行之所有後處理形成順延候選者清單之基礎。順延候選者之清單應按與其等在演現管線中出現相同之順序以便保持任何相依性。清單中之各順延候選者亦應與硬體特徵要求(諸如記憶體最少量或GPU要求)配對。
圖1繪示其中在視訊演現期間順延像素品質後處理之一實例性系統。此實例性系統表示在相較於其他類型之視訊系統時主要受益於藉由順延每像素品質處理而提供之主觀品質改良及縮減之編碼時間之一即時遠端遊戲串流應用程式。在此系統中，一伺服器100裝載視訊遊戲軟體102及演現視訊輸出之一圖形引擎104。在一編碼解碼器106中編碼視訊且將經編碼視訊資料108傳輸至一遠端用戶端。伺服器架構100係可支援圖形引擎104及編碼解碼器106兩者之功能之硬體或軟體之任何組合。在給定實例中，圖形引擎104可實施為(例如)執行負載至某電腦可讀記憶體112中之視訊遊戲軟體102之一GPU 110，而編碼解碼器106 (亦被稱為編碼器)可實施為執行視訊編碼軟體之一CPU 114。
遠端用戶端電腦系統116能夠執行用以解碼傳輸之經編碼視訊資料108之一用戶端編碼解碼器118及用以應用經順延像素品質後處理之一用戶端應用程式120。用戶端電腦系統116亦含有驅動顯示器硬體124之一顯示控制器122。來自用戶端輸入週邊設備126之輸入將藉由用戶端應用程式120轉換成傳輸回至執行於伺服器100上之遊戲軟體102之控制資料128。基於經順延像素品質後處理之特定實施方案，一些額外控制資料128可需要自伺服器端軟體102流動至用戶端應用程式120以確保針對一給定視訊圖框應用正確後處理。
圖2繪示在演現、編碼及解碼視訊之一系統中順延後處理所需之步驟。在步驟200處，演現管線照常在伺服器100處開始。在後處理階段之前不需要改變演現程序。
在步驟202處，在伺服器100之圖形引擎104處之視訊演現後處理階段，應略過將順延之任何後處理。若用戶端電腦系統116具有應用所有經順延後處理所需之運算能力，則可略過任何數目個後處理。圖4進一步詳細描述伺服器100如何判定將順延哪些後處理。在略過任何經順延後處理之後，演現管線應繼續進行直至完全演現圖框為止。
在步驟204處，在編碼解碼器106處編碼所得圖框。基於選擇經順延後處理，編碼時間可更快且經編碼資料可需要更少頻寬。例如，若順延一底片顆粒感後處理，則編碼解碼器106將更容易編碼圖框而不會引入雜訊。
在步驟206處，視需要將經編碼視訊資料108儲存或傳輸至遠端用戶端電腦系統116。在一即時視訊遊戲串流應用程式中，如在來自圖1之實例中，將立即傳輸視訊資料108。在系統之替代實施例中，經編碼視訊資料108可儲存於一伺服器100上以按需串流或儲存於實體媒體上。
在步驟208處，在遠端用戶端電腦系統116之編碼解碼器118處解碼經編碼視訊。不需要對該解碼程序進行任何改變。
在步驟210處，一軟體應用程式將應用按與其等在演現管線中出現相同之順序順延之任何後處理。若經順延後處理在圖框之間改變，則圖1中展示為用戶端應用程式120之此軟體亦可需要自伺服器100接收控制資料128。如在視訊遊戲串流系統中，若視訊係互動式，則用戶端應用程式120亦可需要發送控制資料128。取決於經順延後處理之運算複雜度要求，用戶端應用程式120可為稀疏的，此可容許用戶端處之更廣泛範圍之運算能力。
圖3繪示圖1之實例性系統中之經順延後處理之實施方案。位於伺服器100處之描繪為「演現管線」步驟300之一典型3D演現管線包括「應用」步驟302、「幾何學」步驟304及展示為「光柵化」步驟306之光柵化階段。「光柵化」步驟306處之該光柵化階段之輸出係通常藉由展示為步驟308之「後處理」處之後處理增強之一完整視訊圖框。在「編碼」步驟310處之編碼程序期間一些後處理不利於編碼時間或頻寬，且若用戶端可稍後應用該等後處理則在「後處理」步驟308處之後處理階段略過此等後處理。未順延至用戶端116之其餘後處理在「後處理」步驟308處之後處理期間照常應用。輸出視訊圖框係在「編碼」步驟310處經編碼且在「傳輸」步驟312處經傳輸。
當用戶端116接收經編碼視訊圖框時，該經編碼視訊圖框在「解碼」步驟314處經解碼。此時，在「順延後處理」步驟316處對該經解碼圖框應有所有經順延後處理。在底片顆粒感之情況中，例如，一動畫效果可提前經快取且以一相對較低運算成本在經解碼圖框上方合成。即時解決方案已針對色彩分級、遞色及銳化視訊而存在且可基於一用戶端之運算能力而應用。所得視訊圖框係在「顯示」步驟318處顯示。
圖4繪示用戶端應用程式120藉由其建置將被順延之後處理清單且將該清單傳送至伺服器100之一程序。
在步驟400處，用戶端應用程式120將量測用戶端硬體之容量以判定哪些後處理可被順延至用戶端116上。可透過用於硬體資訊(諸如可用指令集、記憶體、CPU或GPU)之特徵偵測量測用戶端容量。
在步驟402處，用戶端應用程式120讀取順延候選者清單且摒棄用戶端未針對其滿足硬體要求之任何順延候選者。順延候選者後處理應在用戶端上經基準測試以量測即時用戶端效能。應一次增加一個順延候選者至基準測試程序直至用戶端不再能夠維持藉由圖框率、資源使用率或某其他實況(live)量測所量測之所要效能。基準測試可在用戶端應用程式安裝期間、在用戶端應用程式120之初始負載期間或對應用程式之各負載進行。
用戶端116應針對儘可能多的順延候選者進行後處理。按反向順序建置順延清單以保持接近原始演現管線順序之整體操作順序。例如，一行動裝置可能夠僅執行最後後處理，一膝上型電腦可能夠在演現管線之端部處執行三個後處理，而一新的桌上型電腦可能夠執行順延候選者清單中之所有後處理。
在步驟404處，用戶端116發送順延至伺服器100之後處理清單。
在步驟202處，伺服器100在第一視訊圖框之後處理階段期間使用經順延後處理之清單。略過順延清單上之所有後處理。
在步驟206處，經編碼視訊資料串流108開始傳輸至用戶端116。因為用戶端116在任何圖框產生之前發送順延清單，所以沒有額外後設資料需要自伺服器100發送至用戶端116。用戶端116將自動知道哪些後處理已被順延。
在步驟210處，用戶端116應用順延清單中之所有後處理。用戶端116將繼續對未來圖框應用經順延後處理。
可能存在其中用戶端容量在執行時間期間改變，從而需要經順延後處理清單改變之案例。例如，若用戶端應用程式執行於剛剛進入電池節省模式之一行動裝置，則用戶端可希望縮短經順延後處理之清單。在此實例中，用戶端應用程式將需要註冊一回呼或輪詢作業系統(「OS」)事件以便監聽電池狀態之變化。在步驟412處，用戶端應用程式120藉由重新量測用戶端容量而回應於一最近環境變化。一環境變化可為影響遠端用戶端電腦系統116之硬體效能之任何變化。對於上文實例，電池節省模式將藉由可直接提取之一倍增器而降低時脈速率。時脈速率倍增器之變化可對用戶端容量變化提供一粗略估計。另外，電池節省模式中之一額外基準可新增至步驟402處所描述之基準階段。
若用戶端容量已改變，則用戶端應用程式120將在步驟414處重新評估哪些後處理可被順延。在電池節省模式實例中，順延清單可針對時脈速率倍增器之變化而在比例上縮短。例如，若電池節省模式降低時脈速率達50%，則順延清單將縮短至少一半。若用戶端116順延四個後處理，則將使清單縮短降至兩個後處理。另外，若一電池節省模式基準已在先前被執行，則順延清單將已知。
若順延清單改變，則用戶端116在步驟416處將變更之順延清單發送至伺服器100。用戶端116將繼續應用來自原始順延清單之後處理，直至其自伺服器100接收宜包括一不同順延後處理清單之一訊息為止。
在步驟418處，伺服器100對下一可用圖框應用變更之順延清單。為與用戶端116同步，將一些後設資料施加至此圖框。
在步驟420處，發送經編碼視訊資料108之圖框連同其對應後設資料。
用戶端等待直至其接收後設資料旗標為止。在步驟422處，用戶端116根據變更之順延清單開始處理圖框。用戶端116將繼續根據變更之順延清單應用經順延後處理。若執行時間環境再次改變，則順延清單可再次增長或縮短，開始於步驟412。若順延清單歸因於一暫時執行時間環境變化(諸如一行動裝置上之電池節省模式)而縮短，則用戶端應用程式120應盡快使順延清單增長，使得在任何給定時間順延最大可能後處理。實例 1 ：基準測試結果
底片顆粒感引入引起顯著影響編碼器之壓縮比之隨機發生之視覺雜訊。在用戶端上應用後處理(諸如底片顆粒感)將導致較小經編碼圖框大小。
實驗位元率值係在圖形引擎以每秒60個圖框依1280x720之一解析度產生輸出時獲取且在60個圖框內平均化以求得一平均位元率。經量測值比較其中在伺服器端處應用底片顆粒感之一視訊串流之位元率與其中將底片顆粒感順延至用戶端之一視訊串流之位元率。此等量測針對三種不同大小之底片顆粒感及針對兩個編碼器品質設定值重複。底片顆粒感1表示最小顆粒大小而底片顆粒感3表示最大顆粒大小。在下文表1及表2中重現實驗結果。表1展示使用16之一編碼器品質之結果，而表2展示使用20之一編碼器品質之結果。
編碼器品質 = 16 伺服器端底片顆粒感 經順延底片顆粒感
底片顆粒感 1 550 KByte/s 270 KByte/s
底片顆粒感 2 1700 KByte/s 270 KByte/s
底片顆粒感 3 1900 KByte/s 270 KByte/s
表 1 ：依 16 之一編碼器品質設定之位元率結果
編碼器品質 = 20 伺服器端底片顆粒感 經順延底片顆粒感
底片顆粒感 1 150 KByte/s 140 KByte/s
底片顆粒感 2 270 KByte/s 140 KByte/s
底片顆粒感 3 520 KByte/s 140 KByte/s
表 2 ：依 20 之一編碼器品質設定之位元率結果
基於實驗結果，應明白，諸如底片顆粒感之後處理導致非所要之較大經編碼圖框大小。此等負面效應在較高編碼器品質值下更明顯且隨著經引入雜訊之量增加而變得甚至更加明顯。然而，藉由使底片顆粒感順延至用戶端，可達成位元率之急劇降低，如表1及表2中所展示，其中位元率分別降低至270 Kbyte/s及140 Kbyte/s。無關於如藉由此等實驗中之底片顆粒感之大小量測之經引入雜訊之量，位元率針對一給定編碼器品質保持穩定。
類似地，如下文表3中所展示，在圖形引擎針對若干編碼器品質設定以60個圖框依1280x720之一解析度產生輸出時量測實驗編碼時間。經量測值比較其中在伺服器端處應用底片顆粒感之一視訊串流之編碼時間與其中將底片顆粒感順延至用戶端之一視訊串流之編碼時間。底片顆粒感之大小跨所有量測保持固定。如自表3明白，應用本文中所論述之技術之編碼時間縮短在較高編碼器品質設定下更明顯。
編碼器品質 伺服器端底片顆粒感 經順延底片顆粒感
15 16 ms 10 ms
17 15 ms 10 ms
20 11 ms 9 ms
25 9 ms 7 ms
40 9 ms 7 ms
表 3 ：跨編碼器品質設定之延時結果
前面描述及圖式應被視為僅繪示本發明之原理。本發明不意欲受較佳實施例限制且可依一般技術者將明白之各種方式實施。熟習此項技術者將易於明白本發明之數種應用。因此，不需要將本發明限於所揭示之特定實例或所展示及描述之精確構造及操作。實情係，可採取落在本發明之範疇內之所有合適修改及等效例。
100:伺服器/伺服器架構 102:視訊遊戲軟體/遊戲軟體/伺服器端軟體 104:圖形引擎 106:編碼解碼器 108:經編碼視訊資料/視訊資料/經編碼視訊資料串流 110:GPU 112:電腦可讀記憶體 114:CPU 116:遠端用戶端電腦系統/用戶端電腦系統/用戶端 118:用戶端編碼解碼器/編碼解碼器 120:用戶端應用程式 122:顯示控制器 124:顯示器硬體 126:用戶端輸入週邊設備 128:控制資料 200:步驟 202:步驟 204:步驟 206:步驟 208:步驟 210:步驟 300:演現管線 302:應用 304:幾何學 306:光柵化 308:後處理 310:編碼 312:傳輸 314:解碼 316:順延後處理 318:顯示 400:步驟 402:步驟 404:步驟 412:步驟 414:步驟 416:步驟 418:步驟 420:步驟 422:步驟
本發明之一更完全瞭解及其之許多伴隨優點在結合隨附圖式考量時藉由參考以下詳細描述較佳理解時將容易獲得，其中：
圖1係繪示根據本發明之一實施例之演現一視訊以在一遠端用戶端上觀看之一例示性3D圖形引擎的一方塊圖；
圖2係繪示根據本發明之一實施例之藉由順延每像素後處理而改良編碼時間或主觀視訊品質所需之例示性步驟的一流程圖；
圖3係繪示根據本發明之一實施例之在視訊演現、編碼及解碼階段期間之順延每像素品質之一例示性最小實施方案的一圖式；及
圖4係繪示根據本發明之一實施例之使順延後處理之清單同步之介於一伺服器與一用戶端之間的例示性通信的一流程圖。
300:演現管線
302:應用
304:幾何學
306:光柵化
308:後處理
310:編碼
312:傳輸
314:解碼
316:順延後處理
318:顯示

Claims (24)

  1. 一種用於順延(defer)後處理(post-processes)之電腦實施方法，其包括以下步驟：傳輸一指令至一用戶端應用程式以加總一或多個預定後處理順延候選者之一已知負載；及編譯一後處理順延清單，其中一伺服器接收該後處理順延清單，並在一第一視訊圖框之後處理階段期間略過經順延後處理之該清單。
  2. 如請求項1之電腦實施方法，其中該伺服器將該後處理順延清單應用於一下一可用視訊圖框。
  3. 如請求項1之電腦實施方法，其中該伺服器連同一後設資料旗標(metadata flag)將該第一視訊圖框或下一可用視訊圖框返回至該用戶端應用程式。
  4. 如請求項1之電腦實施方法，進一步包括在不具有與後處理相關聯之後設資料的情況下，該伺服器將經編碼視訊資料傳輸至該用戶端應用程式之該步驟。
  5. 如請求項1之電腦實施方法，基於一用戶端硬體電池狀態來重新計算該後處理順延清單。
  6. 一種用於順延後處理之系統，其中一伺服器：傳輸一指令至一用戶端應用程式以加總一或多個預定後處理順延候選者之一已知負載；及編譯一後處理順延清單，其中一伺服器接收該後處理順延清單，並在一第一視訊圖框之後處理階段期間略過經順延後處理之該清單。
  7. 如請求項6之系統，其中該伺服器將該後處理順延清單應用於一下一可用視訊圖框。
  8. 如請求項6之系統，其中該伺服器連同一後設資料旗標將該第一視訊圖框或下一可用視訊圖框返回至該用戶端應用程式。
  9. 如請求項6之系統，進一步包括在不具有與後處理相關聯之後設資料的情況下，該伺服器將經編碼視訊資料傳輸至該用戶端應用程式之該步驟。
  10. 如請求項6之系統，基於一用戶端硬體電池狀態來重新計算該後處理順延清單。
  11. 一種用於順延後處理之電腦實施方法，其包括：識別用於順延之一或多個後處理； 略過經識別之該一或多個後處理；在一編碼解碼器(codec)處編碼一或多個圖框為一或多個經編碼視訊；及將該一或多個經編碼視訊傳輸至一用戶端。
  12. 如請求項11之電腦實施方法，其中略過該等後處理發生於一圖形引擎。
  13. 如請求項11之電腦實施方法，其中該等經編碼視訊之至少一者在傳輸至該客戶端之前被儲存於一伺服器。
  14. 如請求項13之電腦實施方法，其中該等經編碼視訊被儲存於該伺服器上以按需串流或儲存於實體媒體上。
  15. 如請求項11之電腦實施方法，其中識別用於順延之該等後處理係基於該用戶端之運算能力而被判定。
  16. 如請求項11之電腦實施方法，其中該等經編碼視訊係用於視訊遊戲串流。
  17. 如請求項11之電腦實施方法，其中該伺服器自該用戶端接收控制資料。
  18. 一種用於順延後處理之系統，其中一伺服器：識別用於順延之一或多個後處理；略過經識別之該一或多個後處理；在一編碼解碼器(codec)處編碼一或多個圖框為一或多個經編碼視訊；及將該一或多個經編碼視訊傳輸至一用戶端。
  19. 如請求項18之系統，其中略過該等後處理發生於一圖形引擎。
  20. 如請求項18之系統，其中該等經編碼視訊之至少一者在傳輸至該客戶端之前被儲存於一伺服器。
  21. 如請求項20之系統，其中該等經編碼視訊被儲存於該伺服器上以按需串流或儲存於實體媒體上。
  22. 如請求項18之系統，其中識別用於順延之該等後處理係基於該用戶端之運算能力而被判定。
  23. 如請求項18之系統，其中該等經編碼視訊係用於視訊遊戲串流。
  24. 如請求項18之系統，其中該伺服器自該用戶端接收控制資料。
TW109110609A 2017-04-21 2018-04-20 用於在視訊編碼中的順延後處理的系統及方法 TWI735193B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762488526P 2017-04-21 2017-04-21
US62/488,526 2017-04-21
US201862618498P 2018-01-17 2018-01-17
US62/618,498 2018-01-17

Publications (2)

Publication Number Publication Date
TW202027504A TW202027504A (zh) 2020-07-16
TWI735193B true TWI735193B (zh) 2021-08-01

Family

ID=63854347

Family Applications (2)

Application Number Title Priority Date Filing Date
TW107113615A TWI691200B (zh) 2017-04-21 2018-04-20 用於在視訊編碼中的順延後處理的系統及方法
TW109110609A TWI735193B (zh) 2017-04-21 2018-04-20 用於在視訊編碼中的順延後處理的系統及方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW107113615A TWI691200B (zh) 2017-04-21 2018-04-20 用於在視訊編碼中的順延後處理的系統及方法

Country Status (15)

Country Link
US (4) US10271055B2 (zh)
EP (1) EP3613210A4 (zh)
JP (1) JP7077396B2 (zh)
KR (1) KR102282233B1 (zh)
CN (1) CN111052738B (zh)
AU (1) AU2018254570B2 (zh)
BR (1) BR112019021627A2 (zh)
CA (1) CA3059743A1 (zh)
DE (1) DE112018002117T5 (zh)
GB (1) GB2576286B (zh)
MX (1) MX2021004096A (zh)
RU (2) RU2744982C2 (zh)
TW (2) TWI691200B (zh)
WO (1) WO2018195431A1 (zh)
ZA (2) ZA201907681B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112018002117T5 (de) 2017-04-21 2020-01-02 Zenimax Media Inc. Systeme und verfahren für verzögerte post-prozesse in der videocodierung
US11731043B2 (en) * 2019-11-19 2023-08-22 Sony Interactive Entertainment Inc. Adaptive graphics for cloud gaming
US20220212100A1 (en) * 2021-01-04 2022-07-07 Microsoft Technology Licensing, Llc Systems and methods for streaming interactive applications

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050182582A1 (en) * 2004-02-12 2005-08-18 International Business Machines Corporation Adaptive resource monitoring and controls for a computing system
US20130212440A1 (en) * 2012-02-13 2013-08-15 Li-Raz Rom System and method for virtual system management
US8952962B2 (en) * 2011-09-14 2015-02-10 Samsung Electronics Co., Ltd. Graphics processing method and apparatus using post fragment shader

Family Cites Families (85)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4501980A (en) 1982-06-04 1985-02-26 Motornetics Corporation High torque robot motor
JP2972410B2 (ja) 1991-10-03 1999-11-08 富士通株式会社 光学的読取装置
JPH06129865A (ja) 1992-10-20 1994-05-13 Sumitomo Electric Ind Ltd シングルモ−ドファイバ型デポラライザとその製造方法及び光ファイバジャイロ
US6728713B1 (en) * 1999-03-30 2004-04-27 Tivo, Inc. Distributed database management system
US6345279B1 (en) * 1999-04-23 2002-02-05 International Business Machines Corporation Methods and apparatus for adapting multimedia content for client devices
US6788680B1 (en) * 1999-08-25 2004-09-07 Sun Microsystems, Inc. Defferrable processing option for fast path forwarding
IL152198A0 (en) * 2000-04-12 2003-05-29 Janssen Pharmaceutica Nv Method and apparatus for detecting outliers in biological/pharmaceutical screening experiments
CA2491522C (en) 2002-07-01 2014-12-09 E G Technology Inc. Efficient compression and transport of video over a network
US6903662B2 (en) 2002-09-19 2005-06-07 Ergodex Computer input device with individually positionable and programmable input members
US8054880B2 (en) 2004-12-10 2011-11-08 Tut Systems, Inc. Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
US7408984B2 (en) 2003-09-17 2008-08-05 International Business Machines Corporation Method and system for multiple pass video coding
EP1673626B8 (en) * 2003-10-14 2012-03-21 Verseon Method and apparatus for analysis of molecular combination based on computations of shape complementarity using basis expansions
US20050108707A1 (en) * 2003-11-14 2005-05-19 Taylor Thomas M. Systems and methods for creating and managing a virtual retail store on end-user client computers within a network
JP4789494B2 (ja) * 2004-05-19 2011-10-12 株式会社ソニー・コンピュータエンタテインメント 画像フレーム処理方法、装置、レンダリングプロセッサおよび動画像表示方法
JP2006014981A (ja) * 2004-07-02 2006-01-19 Fujitsu Ltd ネットワークゲーム制御方法及びネットワークゲームプログラム
US8347088B2 (en) * 2005-02-01 2013-01-01 Newsilike Media Group, Inc Security systems and methods for use with structured and unstructured data
US20060230428A1 (en) * 2005-04-11 2006-10-12 Rob Craig Multi-player video game system
US8139642B2 (en) * 2005-08-29 2012-03-20 Stmicroelectronics S.R.L. Method for encoding signals, related systems and program product therefor
JP4888996B2 (ja) * 2005-10-21 2012-02-29 株式会社ユニバーサルエンターテインメント 会話制御装置
US7925136B2 (en) * 2006-05-25 2011-04-12 Qualcomm Incorporated Method and apparatus for recording information in battery operated devices
US9349201B1 (en) * 2006-08-03 2016-05-24 Sony Interactive Entertainment America Llc Command sentinel
DE102006043894B3 (de) * 2006-09-19 2007-10-04 Siemens Ag Detailtiefenstufen-Einstellung mehrdimensionaler Bilddaten mit einem Client/Server-basierten Bildrenderingsystem
US8995815B2 (en) 2006-12-13 2015-03-31 Quickplay Media Inc. Mobile media pause and resume
US8069258B1 (en) 2007-09-11 2011-11-29 Electronic Arts Inc. Local frame processing to apparently reduce network lag of multiplayer deterministic simulations
US9967590B2 (en) 2008-04-10 2018-05-08 Qualcomm Incorporated Rate-distortion defined interpolation for video coding based on fixed filter or adaptive filter
KR20090117429A (ko) * 2008-05-09 2009-11-12 삼성전자주식회사 영상 부호화 및 복호화 방법 및 장치
WO2009138879A2 (en) 2008-05-12 2009-11-19 Wei Shi System and method for fit prediction and recommendation of footwear and clothing
US8154553B2 (en) 2008-05-22 2012-04-10 Playcast Media System, Ltd. Centralized streaming game server
WO2009138878A2 (en) 2008-05-12 2009-11-19 Playcast Media Systems, Ltd. Centralized streaming game server
JP4613990B2 (ja) * 2008-07-31 2011-01-19 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US8678929B1 (en) 2008-08-01 2014-03-25 Electronics Arts Inc. Client-side prediction of a local game object to reduce apparent network lag of multiplayer simulations
US20100278231A1 (en) 2009-05-04 2010-11-04 Imagine Communications Ltd. Post-decoder filtering
US8506402B2 (en) 2009-06-01 2013-08-13 Sony Computer Entertainment America Llc Game execution environments
CA2684678A1 (en) 2009-11-03 2011-05-03 Research In Motion Limited System and method for dynamic post-processing on a mobile device
US9338523B2 (en) 2009-12-21 2016-05-10 Echostar Technologies L.L.C. Audio splitting with codec-enforced frame sizes
US20110261885A1 (en) 2010-04-27 2011-10-27 De Rivaz Peter Francis Chevalley Method and system for bandwidth reduction through integration of motion estimation and macroblock encoding
EP2663925B1 (en) * 2011-01-14 2016-09-14 Google, Inc. A method and mechanism for performing both server-side and client-side rendering of visual data
KR20120096317A (ko) * 2011-02-22 2012-08-30 한국전자통신연구원 스테레오스코픽 비디오를 부호화하는 방법 및 그 장치
JP5155462B2 (ja) 2011-08-17 2013-03-06 株式会社スクウェア・エニックス・ホールディングス 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体
WO2013040533A1 (en) * 2011-09-16 2013-03-21 Umami Co. Second screen interactive platform
JP5977023B2 (ja) 2011-11-07 2016-08-24 株式会社スクウェア・エニックス・ホールディングス 描画システム、プログラム、及び記録媒体
EP2859729B1 (en) * 2012-06-12 2020-09-16 Coherent Logix, Incorporated A distributed architecture for encoding and delivering video content
EP2869563B1 (en) * 2012-07-02 2018-06-13 Samsung Electronics Co., Ltd. METHOD FOR ENTROPY DECODING of a VIDEO
WO2014044908A1 (en) 2012-09-21 2014-03-27 Nokia Corporation Method and apparatus for video coding
EP2920962A4 (en) 2012-11-13 2016-07-20 Intel Corp ADAPTIVE TRANSFORMATION ENCODING OF CONTENT FOR NEXT GENERATION VIDEO
US20140192207A1 (en) * 2013-01-07 2014-07-10 Jinsong Ji Method and apparatus to measure video characteristics locally or remotely
US9794569B2 (en) 2013-01-30 2017-10-17 Intel Corporation Content adaptive partitioning for prediction and coding for next generation video
US9661351B2 (en) 2013-03-15 2017-05-23 Sony Interactive Entertainment America Llc Client side frame prediction for video streams with skipped frames
WO2014193403A1 (en) 2013-05-31 2014-12-04 Empire Technology Development Llc Cache-influenced video games
US9210434B2 (en) * 2013-06-12 2015-12-08 Microsoft Technology Licensing, Llc Screen map and standards-based progressive codec for screen content coding
US20140368505A1 (en) * 2013-06-13 2014-12-18 Nvidia Corporation Graphics processing subsystem for recovering projection parameters for rendering effects and method of use thereof
US9374552B2 (en) * 2013-11-11 2016-06-21 Amazon Technologies, Inc. Streaming game server video recorder
CN103686195B (zh) * 2013-11-22 2017-04-05 华为技术有限公司 视频信息处理方法及设备
US9854270B2 (en) 2013-12-19 2017-12-26 Qualcomm Incorporated Device and method for scalable coding of video information
US9749642B2 (en) 2014-01-08 2017-08-29 Microsoft Technology Licensing, Llc Selection of motion vector precision
US20150228106A1 (en) 2014-02-13 2015-08-13 Vixs Systems Inc. Low latency video texture mapping via tight integration of codec engine with 3d graphics engine
US10880565B2 (en) 2014-03-24 2020-12-29 Qualcomm Incorporated Use of specific HEVC SEI messages for multi-layer video codecs
US9885223B2 (en) 2014-05-30 2018-02-06 Halliburton Energy Services, Inc. Methods for formulating a cement slurry for use in a subterranean salt formation
US10078631B2 (en) * 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9762919B2 (en) 2014-08-28 2017-09-12 Apple Inc. Chroma cache architecture in block processing pipelines
US20160092037A1 (en) 2014-09-25 2016-03-31 Osix Corporation Computer-Implemented Methods, Computer Readable Media, And Systems For Distributed Processing
US10142386B2 (en) * 2014-10-29 2018-11-27 DLVR, Inc. Determining manifest file data used in adaptive streaming video delivery
US10021411B2 (en) 2014-11-05 2018-07-10 Apple Inc. Techniques in backwards compatible multi-layer compression of HDR video
EP3029940B1 (en) * 2014-12-04 2017-03-15 Axis AB Method and device for post processing of a video stream
US9832521B2 (en) * 2014-12-23 2017-11-28 Intel Corporation Latency and efficiency for remote display of non-media content
US10063866B2 (en) 2015-01-07 2018-08-28 Texas Instruments Incorporated Multi-pass video encoding
KR102271721B1 (ko) * 2015-01-13 2021-07-01 에스케이플래닛 주식회사 클라우드 스트리밍 서비스 시스템, 단말 성능을 고려한 이미지 클라우드 스트리밍 서비스 방법 및 이를 위한 장치
US10000963B2 (en) 2015-01-26 2018-06-19 Rolltech A/S Two part spacer with overlapping surfaces
CN107251008B (zh) * 2015-02-27 2020-11-13 帝威视有限公司 在实况视频编码和流传输中进行帧复制和帧扩展的系统和方法
CN106034241B (zh) * 2015-03-19 2019-04-26 华为技术有限公司 一种多媒体重定向的方法、客户端、服务器和系统
TW201642655A (zh) 2015-04-21 2016-12-01 Ｖｉｄ衡器股份有限公司 基於藝術意向之視訊編碼
KR102370842B1 (ko) * 2015-06-03 2022-03-08 삼성전자주식회사 컨텐츠를 암호화하기 위한 전자 장치 및 방법
US9491490B1 (en) 2015-06-12 2016-11-08 Intel Corporation Facilitating environment-based lossy compression of data for efficient rendering of contents at computing devices
JP6910130B2 (ja) 2015-11-06 2021-07-28 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． ３ｄレンダリング方法及び３ｄレンダリング装置
US10163183B2 (en) 2016-01-13 2018-12-25 Rockwell Collins, Inc. Rendering performance using dynamically controlled samples
US10000961B2 (en) 2016-02-29 2018-06-19 Ford Global Technologies, Llc Temperature control for powered vehicle doors
US9705526B1 (en) 2016-03-17 2017-07-11 Intel Corporation Entropy encoding and decoding of media applications
US10109100B2 (en) 2016-03-25 2018-10-23 Outward, Inc. Adaptive sampling of pixels
US20170347126A1 (en) 2016-05-27 2017-11-30 Qualcomm Incorporated Video debanding using adaptive filter sizes and gradient based banding detection
US20180115795A1 (en) * 2016-10-22 2018-04-26 Gopro, Inc. Adaptive bit rate algorithm for point-to-point wifi devices
US10462334B2 (en) 2016-11-04 2019-10-29 Disney Enterprises, Inc. Pipeline for high dynamic range video coding based on luminance independent chromaticity preprocessing
US11095877B2 (en) 2016-11-30 2021-08-17 Microsoft Technology Licensing, Llc Local hash-based motion estimation for screen remoting scenarios
US10591971B2 (en) * 2017-04-01 2020-03-17 Intel Corporation Adaptive multi-resolution for graphics
US10719902B2 (en) * 2017-04-17 2020-07-21 Intel Corporation Thread serialization, distributed parallel programming, and runtime extensions of parallel computing platform
DE112018002117T5 (de) 2017-04-21 2020-01-02 Zenimax Media Inc. Systeme und verfahren für verzögerte post-prozesse in der videocodierung

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050182582A1 (en) * 2004-02-12 2005-08-18 International Business Machines Corporation Adaptive resource monitoring and controls for a computing system
US8952962B2 (en) * 2011-09-14 2015-02-10 Samsung Electronics Co., Ltd. Graphics processing method and apparatus using post fragment shader
US20130212440A1 (en) * 2012-02-13 2013-08-15 Li-Raz Rom System and method for virtual system management

Also Published As

Publication number Publication date
DE112018002117T5 (de) 2020-01-02
RU2744982C2 (ru) 2021-03-17
TW202027504A (zh) 2020-07-16
AU2018254570B2 (en) 2021-08-05
US20190215520A1 (en) 2019-07-11
BR112019021627A2 (pt) 2020-05-12
GB201916964D0 (en) 2020-01-08
RU2728812C1 (ru) 2020-07-31
MX2021004096A (es) 2021-06-08
ZA202007052B (en) 2022-03-30
EP3613210A1 (en) 2020-02-26
CN111052738B (zh) 2021-12-21
CN111052738A (zh) 2020-04-21
EP3613210A4 (en) 2021-02-24
WO2018195431A1 (en) 2018-10-25
JP7077396B2 (ja) 2022-05-30
JP2020520203A (ja) 2020-07-02
US20230362388A1 (en) 2023-11-09
US10271055B2 (en) 2019-04-23
US20180309999A1 (en) 2018-10-25
TWI691200B (zh) 2020-04-11
CA3059743A1 (en) 2018-10-25
RU2020124345A3 (zh) 2021-01-14
AU2018254570A1 (en) 2019-12-05
GB2576286A (en) 2020-02-12
KR102282233B1 (ko) 2021-07-28
ZA201907681B (en) 2021-04-28
RU2020124345A (ru) 2020-08-20
GB2576286B (en) 2022-09-07
TW201842775A (zh) 2018-12-01
US10841591B2 (en) 2020-11-17
US20210044807A1 (en) 2021-02-11
US11778199B2 (en) 2023-10-03
KR20200019853A (ko) 2020-02-25

Similar Documents

Publication Publication Date Title
US10594901B2 (en) Game engine application direct to video encoder rendering
US9264749B2 (en) Server GPU assistance for mobile GPU applications
US20100295922A1 (en) Coding Mode Selection For Block-Based Encoding
US20230362388A1 (en) Systems and methods for deferred post-processes in video encoding
US9984504B2 (en) System and method for improving video encoding using content information
US10536696B2 (en) Image encoding device and image encoding method
MX2012004747A (es) Codificacion de graficos integrados: corriente de bits reclasificada para descodificacion paralela.
KR20220119706A (ko) 기계를 위한 비디오 코딩의 방법 및 장치
CN113473148A (zh) 一种用于视频编码的计算系统及视频编码方法
US10250892B2 (en) Techniques for nonlinear chrominance upsampling
US10979704B2 (en) Methods and apparatus for optical blur modeling for improved video encoding
JPWO2014167609A1 (ja) 情報処理装置、制御方法、プログラム、及び記録媒体
US11902532B2 (en) Video encoding optimization for machine learning content categorization
US11272185B2 (en) Hierarchical measurement of spatial activity for text/edge detection
US10848772B2 (en) Histogram-based edge/text detection
EP2958103A1 (en) Method and device for encoding a sequence of pictures