TW201501075A - 經由遠端圖形處理服務串流顯像內容的圖形伺服器以及方法 - Google Patents

經由遠端圖形處理服務串流顯像內容的圖形伺服器以及方法 Download PDF

Info

Publication number
TW201501075A
TW201501075A TW102147755A TW102147755A TW201501075A TW 201501075 A TW201501075 A TW 201501075A TW 102147755 A TW102147755 A TW 102147755A TW 102147755 A TW102147755 A TW 102147755A TW 201501075 A TW201501075 A TW 201501075A
Authority
TW
Taiwan
Prior art keywords
frame
graphics
server
content
encoder
Prior art date
Application number
TW102147755A
Other languages
English (en)
Other versions
TWI606419B (zh
Inventor
Thomas Meier
Sharad Gupta
Chong Zhang
Bhanu Murthy
Karthik Vijayan
Original Assignee
Nvidia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nvidia Corp filed Critical Nvidia Corp
Publication of TW201501075A publication Critical patent/TW201501075A/zh
Application granted granted Critical
Publication of TWI606419B publication Critical patent/TWI606419B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本發明提供一種經由遠端圖形顯像服務以串流顯像內容的圖形伺服器及方法。該圖形伺服器之一具體實施例包括：(1)一圖框擷取器，其組態以圖框更新率以擷取顯像內容之圖框；(2)一編碼器，其組態以該圖框更新率編碼所擷取的圖框；及(3)一處理器，其組態若該顯像內容至少部分已改變則使得所編碼的圖框進行傳輸，並使得略過圖框訊息進行傳輸，該略過圖框訊息組態若該顯像內容尚未改變則使得該圖框擷取器放棄擷取且該編碼器放棄編碼。

Description

經由遠端圖形處理服務串流顯像內容的圖形伺服器及方法 【交互參照相關申請】
本申請案依據邁爾等人所申請之美國專利申請第13/923,482號主張優先權，其共同讓本申請案且整個併入本文供參考。
本申請案一般係針對電腦圖形處理，且更具體而言，係針對電量、記憶體與時效遠端顯像、圖框擷取及編碼。
個人計算的公用程式起初關注於企業層級，將功能強大的工具放在研究人員、工程師、分析師與打卡員的桌面上。該公用程式已從單純的大量運算與文字處理，發展成能為驚人的精細電腦輔助設計、製圖與視覺化而進行生產層級與即時圖形顯像的高度可程式設計、互動式工件。個人計算近來更已發展成如同媒體與遊戲銷路(outlet)的重要角色，受到行動計算的發展帶動。個人計算不再託付給全球的桌上型電腦，或甚至膝上型電腦。健全的網路與計算電量的小型化，已促成諸如手機與平板電腦的行動裝置開創出一大片個人計算市場。
行動計算已改變資訊可及性與媒體傳播的傳統概念。網路致能之裝置係新的規範，通過各種網路連接廣泛多種之裝置。如此已導致傳統或「主流(mainstream)」內容及非傳統、業餘或自製內容的激增。展望未來，除了傳統銷路之外，此種內容不僅將在幾乎任何行動裝置上皆可取得，而且行動裝置可扮演媒體中心的角色，接觸到大量內容並轉發或「推向(pushing it out)」一部或多部顯示裝置，包括電視機、電腦螢幕、投影機或能接收、解碼及顯示串流內容的任何裝置。雖然通常視為用戶端，但行動裝置與更一般來說幾乎任何計算裝置皆可扮演「媒體伺服器(media server)」的角色。
在一般的伺服器-用戶端遠端圖形處理設置中，圖形內容儲存、取回及顯像於伺服器上。顯像內容之圖框隨後通常以管理裝置所指定或僅係配置之一部分圖框更新率進行擷取及編碼。所擷取及編碼的圖框隨後進行封裝化並作為視訊串流(通常包括音訊)通過網路傳輸到用戶端。該用戶端僅解碼該視訊串流並顯示該內容。此種「精簡型用戶端(thin-client)」應用程式很容易可攜帶到各種平台。
由於行動計算隨著對於內容可及性與傳播不斷增長的關注而持續發展，因此行動裝置的角色將會持續擴展。一般的用戶端伺服器界線將會持續消失，且更多人將會依感興趣的內容而定，依賴行動裝置作為其用戶端與伺服器。
一態樣提供一種圖形伺服器。在一具體實施例中，該伺服器 包括：(1)一圖框擷取器，其組態以圖框更新率擷取顯像內容之圖框；(2)一編碼器，其組態以該圖框更新率編碼所擷取的圖框；及(3)一處理器，其組態若該顯像內容至少部分已改變則使得所編碼的圖框進行傳輸，並使得略過圖框訊息進行傳輸，該略過圖框訊息組態若該顯像內容尚未改變則使得該圖框擷取器放棄擷取且該編碼器放棄編碼。
另一態樣提供一種經由遠端圖形處理服務以串流顯像內容的方法，包括：(1)若該顯像內容尚未改變則省略該遠端圖形處理服務之圖框擷取及編碼階段；及(2)傳輸指示用戶端的預計算的略過圖框訊息以重新使用先前所擷取、編碼及傳輸的圖框。
仍舊另一態樣提供一種用於串流視訊串流之顯像內容的圖形伺服器。在一具體實施例中，該伺服器包括：(1)一記憶體，其組態儲存指示用戶端的預計算的略過圖框訊息，以重新使用該視訊串流之先前所傳輸的圖框；(2)一圖形顯像器，其組態產生該顯像內容，且若該顯像內容至少部分係新的則由控制位元指示；及(3)一中央處理單元(Central processing unit，CPU)，其組態採用該控制位元來引導圖框擷取器與編碼器是否放棄對於該顯像內容的操作，並使得該預計算的略過圖框傳輸向該用戶端。
100‧‧‧伺服器-用戶端遠端圖形處理系統；系統
110‧‧‧網路
120‧‧‧伺服器
122‧‧‧網路介面卡
124‧‧‧中央處理單元
130‧‧‧圖形處理單元
132‧‧‧圖形顯像器
134‧‧‧圖框擷取器
136‧‧‧編碼器
140‧‧‧用戶端
142‧‧‧網路介面卡
144‧‧‧解碼器
146‧‧‧視訊顯像器
148‧‧‧顯示器
150‧‧‧中央處理單元
200‧‧‧圖形伺服器；伺服器
210‧‧‧記憶體
220‧‧‧資料匯流排
230‧‧‧控制匯流排
310‧‧‧起始步驟
320‧‧‧偵測步驟
330‧‧‧決策步驟
340‧‧‧擷取及編碼步驟
350‧‧‧傳輸圖框步驟
360‧‧‧省略步驟
370‧‧‧傳輸略過圖框步驟
380‧‧‧結束步驟
現將參照以下連同附圖的描述，其中：圖1為伺服器-用戶端遠端圖形處理系統之一具體實施例的方塊圖；圖2為一種圖形伺服器之一具體實施例的方塊圖；及 圖3為一種經由遠端圖形處理服務以串流顯像內容的方法之一具體實施例的流程圖。
由於媒體伺服器的角色對於不斷成長的各種計算裝置開放，因此產生先前在傳統的伺服器-用戶端狀態下所屏除的限制。傳統的伺服器位於中心，插入牆上的電源，且通常依賴外部提供的網路存取、冷卻及可能的儲存。雖然此種設置並未免於電量、記憶體或延遲限制，但這些限制在處於伺服器角色的行動裝置中更加普遍。
包括智慧型手機、平板電腦、膝上型電腦與其他的行動裝置，通常在某程度上依賴電池電量。許多行動裝置亦受限於內建記憶體，或者至多擴充至某種形式之可拆卸式媒體，諸如SD快閃記憶體或MicroSD卡。以那些限制為前提，行動裝置製造商與軟體開發商皆小心不要引入不必要的過程或記憶體快取。考量處於伺服器角色的行動裝置，即使在電量消耗、記憶體頻寬與延遲上的少量效益亦可成為關鍵。
本說明書體現當顯像閒置且該顯像內容尚未改變時，可省略遠端圖形處理之擷取及編碼階段。在圖形伺服器上，處理通常在中央處理單元(CPU)與圖形處理單元(Graphics processing unit，GPU)之間進行劃分。GPU執行顯像任務與圖框擷取，並在一些情況下進行編碼。CPU執行應用程式，產生場景資料與顯像命令，或者可從記憶體喚回內容並將其引導到GPU進行顯像。此外，CPU處理擷取及編碼圖框以準備傳輸給用戶端。在一些具體實施例中，CPU藉由致能及停用、時脈頻率縮放或一些其他的機 制任一者來管理顯像、擷取及編碼階段之操作。藉由在顯像內容尚未改變時進行偵測，擷取及編碼階段可停用或至少其操作可減緩至與內容更新速率更相當的速率。本說明書進一步體現其可藉由維護在設定時指示新內容是否已顯像的控制位元而達成。該控制位元可由顯像階段維護並由擷取及編碼階段讀取，或者該控制位元可由將會依據該控制位元管理擷取及編碼階段之操作的CPU維護。
本說明書體現藉由省略擷取及編碼，除了編碼所需求的處理循環之外，亦放棄昂貴的記憶體讀取/寫入循環。這些節省降低電量消耗、記憶體頻寬消耗與延遲。
雖然伺服器已省略不必要的過程，但用戶端仍然需求圖框以指定的圖框更新率進行顯示。本說明書體現略過圖框訊息可替代所擷取及編碼的圖框進行傳輸。該略過圖框訊息通常建組態是否採用任何編碼架構供串流處理。舉例來說，H.264標準提供指示用戶端重新使用先前已接收及解碼的圖框的協定。亦即，保持顯示現有的圖框，顯像內容尚未改變。本說明書進一步體現此略過圖框訊息可與顯像、擷取及編碼階段無關連進行預計算。舉例來說，CPU可預計算H.264略過圖框訊息，且每當控制位元指示時，省略擷取及編碼階段單純進行傳輸。
本說明書亦體現在顯像內容尚未改變時所獲得的效益，亦可在顯像內容係新的時獲得，但眾所周知。在那些情況下，只要有效的編碼模式可代替所擷取及編碼的圖框進行預計算，則擷取及編碼可省略。本說明書進一步體現該等效益可能在行動裝置係伺服器時最有價值，但僅如同適用於傳統的集中式伺服器設置。此種設置之規模可能到達將會在每個用 戶端層級上皆證明在電量與記憶體效益上的少量獲得的程度。
描述圖形伺服器與串流本說明書所引用顯像內容的方法之各種具體實施例以前，將會先描述於其內可體現或執行該圖形伺服器與方法的伺服器-用戶端遠端圖形處理系統。
圖1為伺服器-用戶端遠端圖形處理系統100之一具體實施例的方塊圖。系統100包括一網路110，伺服器120與用戶端140透過其進行通信。伺服器120代表內容、處理與顯像資源之中央儲存庫。用戶端140係該內容與那些資源之消費者。在某些具體實施例中，伺服器120可隨意擴充，並有能力藉由運用並行及所分配的處理與顯像資源將該內容與那些服務同時提供給多個用戶端。除了對伺服器120之電量、記憶體頻寬或延遲的任何限制之外，伺服器120之可擴充性受到高於某用戶端數量之臨界值的網路110之能力限制，沒有足夠的網路頻寬則需要降低對所有用戶端的服務。
伺服器120包括一網路介面卡(Network interface card，NIC)122、一中央處理單元(CPU)124與一GPU 130。在伺服器120的選擇上，或者在某些具體實施例中來自用戶端140的請求上，圖形內容經由執行於CPU 124上的應用程式從記憶體喚回。依照例如遊戲的圖形應用程式慣例，CPU 124保留自身用於執行高階操作，諸如判定在特定場景中物件之位置、運動與碰撞。從這些高階操作，CPU 124產生顯像命令，其在與該場景資料結合時可由GPU 130執行。舉例來說，顯像命令與資料可為場景定義場景幾何形狀、照明、陰影、紋理、運動與相機參數。
GPU 130包括一圖形顯像器132、一圖框擷取器134與一編碼器136。圖形顯像器132根據CPU 124所產生的該等顯像命令執行顯像程序， 產生該場景視訊圖框之串流。那些原始的視訊圖框由圖框擷取器134擷取並由編碼器136進行編碼。編碼器136可格式化該原始的視訊串流進行傳輸，可採用視訊壓縮演算法，諸如國際電信聯盟電信標準部門(International Telecommunication Union Telecommunication Standardization Sector，ITU-T)所訂定的H.264標準，或者來自國際標準組織/國際電工委員會(International Organization for Standardization/International Electrotechnical Commission，ISO/IEC)的MPEG-4先進視訊編碼(Advanced Video Coding，AVC)標準。或者，該視訊串流可編碼為Windows Media Video®(WMV)格式、VP8格式或任何其他的視訊編碼格式。
CPU 124準備該所編碼的視訊串流進行傳輸，其前進通過NIC 122。NIC 122包括經由諸如乙太網路(Ethernet)、無線相容認證(Wi-Fi)或網際網路協定(Internet Protocol，IP)的網路協定通過網路110進行通信所必要的電路。NIC 122提供實體層與伺服器120之網路介面之軟體層的基礎。
用戶端140接收該所傳輸的視訊串流進行顯示。用戶端140可以係各種個人計算裝置，包括：一桌上型或膝上型個人電腦、一平板電腦、一智慧型手機或一電視機。用戶端140包括一NIC 142、一解碼器144、一視訊顯像器146、一顯示器148與一CPU 150。類似於NIC 122的NIC 142包括通過網路110進行通信所必要的電路，並提供實體層與用戶端140之網路介面之軟體層的基礎。該所傳輸的視訊串流由用戶端140透過NIC 142接收。CPU 150拆解該所接收到的視訊串流並準備進行解碼。
該視訊串流隨後由解碼器144進行解碼。解碼器144應匹配編碼器136，其每個應採用相同的格式化或壓縮架構。舉例來說，若編碼器136 採用ITU-T H.264標準，則解碼器144亦應採用。依實體的用戶端裝置而定，解碼可由用戶端CPU或用戶端GPU之任一者執行。一旦已解碼，則視訊串流中全部所其餘者皆係原始的顯像圖框。如同任何其他串流媒體所進行，該等顯像圖框由基本的視訊顯像器146處理。該顯像視訊隨後可顯示於顯示器148上。
已描述於其內可體現或執行圖形伺服器與串流顯像內容的方法的伺服器-用戶端遠端圖形處理系統後，將描述該圖形伺服器與方法之各種具體實施例。
圖2為諸如圖1之伺服器120的圖形伺服器200之一具體實施例的方塊圖。圖形伺服器200包括全部圖1全部的NIC 122、CPU 124與GPU 130。此外，圖形伺服器200包括一記憶體210、一資料匯流排220與一控制匯流排230。GPU 130包括亦係圖1之圖形顯像器132、圖框擷取器134與編碼器136。
如同在圖1之伺服器120中，圖形伺服器200之基本操作包括顯像內容、擷取圖框及編碼圖框進行到用戶端的後續傳輸。CPU 124、圖形顯像器132、圖框擷取器134與編碼器136全部經由資料匯流排220讀取及寫入記憶體210。資料匯流排220係透過顯像、擷取及編碼過程移動內容的主要途徑。資料匯流排220可用於從處理單元到處理單元直接移動資料，但更常見的情況係，對於大量的資料而言，資料從處理單元移動通過資料匯流排220並進入記憶體210。一旦在記憶體中，則對該資料的存取可由連接到資料匯流排220的任何處理單元進行。CPU 124經由控制匯流排230管理圖形顯像器132、圖框擷取器134與編碼器136之操作。
CPU 124執行藉由其產生顯像命令並從記憶體產生或召回任一者場景資料進行顯像的應用程式。通常，場景資料儲存於記憶體210中並稍後在顯像期間使用。圖形顯像器132獲得經由資料匯流排220對記憶體210中場景資料的存取，並對該場景資料執行該等顯像命令以產生顯像內容。顯像內容經由資料匯流排220移動進入記憶體210。圖形顯像器132通常僅在「螢幕(on-screen)」內容已改變時顯像。有眾多方法可在內容尚未改變時節省顯像資源。在顯像內容至少部分已改變時，設定控制信號或控制位元。
圖框擷取器134與編碼器136組態以CPU 124所指定的圖框更新率進行操作。該圖框更新率通常係使用者設定、服務品質(Quality-of-service，QoS)處理、伺服器200與用戶端之間的協商或一些其他的配置之結果。該圖框更新率不僅係顯像內容之圖框所擷取及編碼而且係所傳輸並可能所解碼及顯示的速率。此種設置對於延遲與次最佳網路狀態敏感。圖框擷取器134藉由將顯像內容週期性複製到記憶體210的暫存緩衝區(staging buffer)中而「擷取(captures)」顯像內容。在某些具體實施例中，控制位元在新的顯像內容提交到該擷取階段時設定。一旦已擷取，則清除該控制位元。若在圖框擷取器134進行複製顯像內容時，該控制位元被清除，則圖框擷取器知道該顯像內容從上一次擷取之後尚未改變。在圖2之具體實施例中，CPU 124維護該控制位元。在圖形顯像器132產生新的顯像內容時，設定控制位元。CPU 124隨後使用該控制位元經由控制匯流排230致能及停用圖框擷取器134與編碼器136。或者，CPU 124可使用依據該控制位元的時脈頻率縮放來管理圖框擷取器134與編碼器136進行操作的速率。時 脈頻率縮放允許時控裝置根據其工作負荷與工作能力加速及減緩。在此情況下，CPU 124可降低圖框擷取器134進行操作的速率，使得除非該顯像內容至少部分已改變否則不會擷取到圖框。如此省略圖框擷取階段藉由排除不必要的讀取與寫入循環而降低電量與記憶體頻寬之消耗。
編碼器136獲得經由資料匯流排220對記憶體210中暫存緩衝區的存取，並編碼所儲存的圖框。舉例來說，許多視訊串流實作使用H.264編碼。該所編碼的圖框隨後經由資料匯流排220寫入記憶體210中的圖框緩衝區。類似於圖框擷取器134，編碼器136之操作由CPU 124通過控制匯流排230管理。CPU 124依據控制位元降低編碼器136進行操作的速率。若該控制位元已設定，則顯像內容至少部分已改變且新的資料已寫入記憶體210中的暫存緩衝區。若該控制位元被清除，則顯像內容尚未改變且新的資料尚未寫入記憶體210中的暫存緩衝區。該編碼階段被省略，如此藉由排除不必要的處理而降低電量消耗。
CPU 124經由資料匯流排220從記憶體210取回所編碼的圖框，並經由NIC 122準備或「封裝(pack)」進行傳輸。此準備通常涉及封裝化來自圖框緩衝區的資料與傳輸協定的可能額外編碼。在省略擷取及編碼階段時，如同控制位元經由控制匯流排230所指示，沒有新的圖框準備好進行封裝及傳輸。用以替代的，是略過圖框訊息傳輸到用戶端。該略過圖框訊息對該用戶端指示不需要更新且用戶端應持續顯示或使用先前的圖框。該用戶端不論內容是否正在改變、進行顯像、擷取及編碼而皆維護其圖框更新率。該略過圖框訊息通常建立成編碼架構，舉例來說H.264略過圖框訊息。略過圖框訊息係固定的訊息並可在顯像時間之前由CPU 124預計算及儲 存於記憶體210中。一旦已計算，則CPU 124每當螢幕內容閒置或尚未改變時可使該略過圖框訊息經由NIC 122重新傳輸。
圖3係經由遠端圖形處理服務串流顯像內容的方法之一具體實施例的流程圖。該方法是從起始步驟310開始。在偵測步驟320，判斷顯像內容是否尚未改變。根據該判定，驅動控制信號。在某些具體實施例中，該控制信號係可嵌入控制訊息或形成其自身訊息的控制位元。該控制信號亦可為分送給一或多個處理裝置的獨立信號。在判斷步驟330，判斷是依據來自偵測步驟320的控制信號進行。若該控制信號指示該顯像內容至少部分已改變，則該方法進行到擷取及編碼步驟340與傳輸圖框步驟350。若該控制信號指示該顯像內容尚未改變，則該方法進行省略步驟360與傳輸略過圖框步驟370。
在其他具體實施例中，顯像內容可部分已改變，但該顯像內容眾所周知且有效的編碼模式可預計算來代表。在該情況下，在那些其他具體實施例中，該方法將會進行到省略步驟360。而非進行到傳輸略過圖框步驟370，該預計算的圖框已傳輸。如此降低在擷取及編碼期間一般會經歷的電量消耗、記憶體頻寬與延遲。
持續圖3之具體實施例，在顯像內容至少部分已改變時，顯像內容之圖框在擷取及編碼步驟340進行擷取及編碼。圖框擷取通常以指定的圖框更新率發生。編碼係依循前例，以該指定的圖框更新率編碼所擷取的圖框。在傳輸圖框步驟350，所擷取及編碼的圖框傳輸至用戶端，其預期處於該指定的圖框更新率的圖框。該方法隨後結束於結束步驟380。
在顯像內容尚未改變時，顯像閒置且新的顯像內容不會提交 到擷取及編碼階段。該等擷取及編碼階段在省略步驟360省略。隨後，在傳輸略過圖框步驟370，預計算的略過圖框訊息朝向該用戶端傳輸。在用戶端接收到該略過圖框訊息時，該用戶端將其解譯為持續顯示，或者重新使用先前所擷取及編碼圖框的指令。該略過圖框訊息可儲存於記憶體中，在起始時、在場景載入時間或在顯像、擷取及編碼之前的任何其他時間進行計算。該方法隨後在步驟380結束。
本申請案相關的熟習此項技術者應明白可對所描述的各具體實施例做出其他與進一步的添加、刪除、代換及修改。
122‧‧‧網路介面卡
124‧‧‧中央處理單元
130‧‧‧圖形處理單元
132‧‧‧圖形顯像器
134‧‧‧圖框擷取器
136‧‧‧編碼器
200‧‧‧圖形伺服器；伺服器
210‧‧‧記憶體
220‧‧‧資料匯流排
230‧‧‧控制匯流排

Claims (10)

  1. 一種圖形伺服器，包括：一圖框擷取器，其組態以一圖框更新率擷取顯像內容之圖框；一編碼器，其組態以該圖框更新率編碼所擷取的圖框；及一處理器，其組態若該顯像內容至少部分已改變則使得所編碼的圖框進行傳輸，並使得一略過圖框訊息進行傳輸，該略過圖框訊息組態若該顯像內容尚未改變則使得該圖框擷取器放棄擷取且該編碼器放棄編碼。
  2. 如申請專利範圍第1項所述之圖形顯像伺服器，其中該圖形顯像伺服器係一行動計算裝置。
  3. 如申請專利範圍第1項所述之圖形顯像伺服器，其中該圖框擷取器與該編碼器包含於可通信地耦接於該處理器的一圖形處理單元內。
  4. 如申請專利範圍第1項所述之圖形顯像伺服器，其中該處理器包括該圖框擷取器與該編碼器。
  5. 如申請專利範圍第1項所述之圖形顯像伺服器更包括一圖形顯像器，其可操作產生該顯像內容，並組態在該顯像內容至少部分已改變時進行識別。
  6. 如申請專利範圍第5項所述之圖形顯像伺服器，其中該圖形顯像器組態在新內容進行顯像並提交給該圖框擷取器時設定一控制位元，且該 處理器組態採用該控制位元來控制該圖框擷取器與該編碼器。
  7. 如申請專利範圍第1項所述之圖形顯像伺服器，其中該略過圖框訊息係一預計算的H.264略過訊息。
  8. 一種用於串流視訊串流之顯像內容的圖形伺服器，包括：一記憶體，其組態儲存一預計算的略過圖框訊息，指示一用戶端重新使用該視訊串流之一先前所傳輸的圖框；一圖形顯像器，其組態產生該顯像內容，且若該顯像內容至少部分係新的則由一控制位元指示；及一中央處理單元(Central processing unit，CPU)，其組態採用該控制位元來引導一圖框擷取器與一編碼器放棄對於該顯像內容的操作，並使得該預計算的略過圖框傳輸向該用戶端。
  9. 如申請專利範圍第8項所述之圖形伺服器，其中該圖形顯像器實行於一圖形處理單元(Graphics processing unit，GPU)內。
  10. 如申請專利範圍第9項所述之圖形伺服器，其中該GPU包括該圖框擷取器與該編碼器。
TW102147755A 2013-06-21 2013-12-23 經由遠端圖形處理服務串流顯像內容的圖形伺服器以及方法 TWI606419B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US13/923,482 US10154265B2 (en) 2013-06-21 2013-06-21 Graphics server and method for streaming rendered content via a remote graphics processing service

Publications (2)

Publication Number Publication Date
TW201501075A true TW201501075A (zh) 2015-01-01
TWI606419B TWI606419B (zh) 2017-11-21

Family

ID=52010243

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102147755A TWI606419B (zh) 2013-06-21 2013-12-23 經由遠端圖形處理服務串流顯像內容的圖形伺服器以及方法

Country Status (4)

Country Link
US (2) US10154265B2 (zh)
CN (1) CN104243440A (zh)
DE (1) DE102013021710A1 (zh)
TW (1) TWI606419B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807435B2 (en) 2015-07-29 2017-10-31 Inventec (Pudong) Technology Corporation Video processing apparatus

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102282365B1 (ko) 2015-02-06 2021-07-27 삼성전자주식회사 Os들의 화면을 통합하여 표시하는 방법 및 장치
US9800641B2 (en) * 2015-05-04 2017-10-24 Google Inc. Pre-fetched encoding for application streaming
CN105578008A (zh) * 2015-12-23 2016-05-11 福建星网智慧科技股份有限公司 一种基于android终端提高USB2.0摄像头高分辨率高帧率的方法
KR102507114B1 (ko) 2016-06-08 2023-03-07 삼성전자주식회사 복수의 운영체제들의 화면을 통합하여 표시하는 방법 및 그 전자 장치
US10673955B2 (en) 2017-04-04 2020-06-02 Microsoft Technology Licensing, Llc Systems and methods for negotiation of structured configuration parameters for stateful server/client systems
WO2019183149A1 (en) 2018-03-19 2019-09-26 Nvidia Corporation Improving area light shadows in computer generated scenes
US11706404B2 (en) 2018-04-28 2023-07-18 Intel Corporaton Weighted prediction mechanism
US11830225B2 (en) * 2018-05-30 2023-11-28 Ati Technologies Ulc Graphics rendering with encoder feedback
CN111562837B (zh) * 2020-05-02 2023-05-05 桂林理工大学 一种多cpu/gpu异构服务器的功耗控制方法
CN111773691A (zh) * 2020-07-03 2020-10-16 珠海金山网络游戏科技有限公司 云游戏服务系统、云客户端及数据处理方法
CN114025238B (zh) * 2022-01-10 2022-04-05 北京蔚领时代科技有限公司 基于Linux服务器原生安卓应用云端虚拟化方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6952215B1 (en) 1999-03-31 2005-10-04 International Business Machines Corporation Method and system for graphics rendering using captured graphics hardware instructions
CA2394352C (en) * 1999-12-14 2008-07-15 Scientific-Atlanta, Inc. System and method for adaptive decoding of a video signal with coordinated resource allocation
TWI444047B (zh) 2006-06-16 2014-07-01 Via Tech Inc 用於視訊解碼的去方塊效應濾波器、視訊解碼器與圖形處理單元
US20100027663A1 (en) * 2008-07-29 2010-02-04 Qualcomm Incorporated Intellegent frame skipping in video coding based on similarity metric in compressed domain
US8254704B2 (en) * 2008-10-30 2012-08-28 Microsoft Corporation Remote computing platforms providing high-fidelity display and interactivity for clients
US8644389B2 (en) 2009-05-15 2014-02-04 Texas Instruments Incorporated Real-time video image processing
US8599934B2 (en) * 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
CN102638658A (zh) 2012-03-01 2012-08-15 盛乐信息技术（上海）有限公司 音视频编辑方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9807435B2 (en) 2015-07-29 2017-10-31 Inventec (Pudong) Technology Corporation Video processing apparatus

Also Published As

Publication number Publication date
US20140376606A1 (en) 2014-12-25
US10560698B2 (en) 2020-02-11
DE102013021710A1 (de) 2014-12-24
US10154265B2 (en) 2018-12-11
CN104243440A (zh) 2014-12-24
TWI606419B (zh) 2017-11-21
US20190075297A1 (en) 2019-03-07

Similar Documents

Publication Publication Date Title
TWI606419B (zh) 經由遠端圖形處理服務串流顯像內容的圖形伺服器以及方法
US10652506B2 (en) High quality multimedia transmission from a mobile device for live and on-demand viewing
JP7221957B2 (ja) ビデオエンコーダレンダリング向けのゲームエンジンアプリケーション
EP2890080B1 (en) Method for wirelessly transmitting content from a source device to a sink device
CN110430441B (zh) 一种云手机视频采集方法、系统、装置及存储介质
CN104685873B (zh) 编码控制设备以及编码控制方法
KR20150022532A (ko) 컨텐츠 재생 방법 및 그에 따른 단말, 그에 따른 시스템
TWI590653B (zh) 影像訊框處理方法
WO2021057697A1 (zh) 视频编解码方法和装置、存储介质及电子装置
CN106412588B (zh) 影像帧处理方法
CN113973224B (zh) 媒体信息的传输方法、计算设备及存储介质
US20210400334A1 (en) Method and apparatus for loop-playing video content
TWI509563B (zh) 管理串流參數之圖形伺服器與方法
US20140099039A1 (en) Image processing device, image processing method, and image processing system
WO2016154816A1 (zh) 数据处理方法及装置
WO2023024832A1 (zh) 数据处理方法、装置、计算机设备和存储介质
TW201427354A (zh) 漸進式資料編碼傳輸系統及方法
TWI700918B (zh) 具有初始化片段之視訊及音訊之寫碼
Börner et al. Performance of Augmented Reality Remote Rendering via Mobile Network
TW201514917A (zh) 影像處理裝置與方法
TW201429229A (zh) 影片傳輸系統及方法
WO2019018407A1 (en) TRANSMITTING SUBTITLE DATA FOR WIRELESS DISPLAY
CN109639979B (zh) 一种基于usb的可穿戴设备传输方法
TW201429228A (zh) 影片傳輸系統及方法
JP2004165974A (ja) デコード制御装置及び方法及並びにプログラム