TWI509563B - 管理串流參數之圖形伺服器與方法 - Google Patents

Description

管理串流參數之圖形伺服器與方法

本申請案概略關於遠端電腦圖形處理，更特定而言係關於基於即時網路頻寬估計來管理串流參數。

個人運算之運用原本係針對企業層級，在研究員、工程師、分析師與打字員的桌面上安置強有力的工具。該用途已經由僅為數字運算與文字處理演進到生產層面的高度可程式化的、互動的工具，以及非常細節的電腦輔助設計、繪圖與視覺化的即時性圖形顯像。由於行動運算發展的推動，個人運算現今更演進成為媒體與遊戲工具的關鍵角色。個人運算不再限制於目前的桌上型電腦，或甚至膝上型電腦。穩固的網路以及運算能力的小型化已經使得行動裝置(例如行動電話與平板電腦)佔據了個人運算市場的很大一部份。

行動運算已經轉變了以往資訊存取與媒體散播的概念。具有網路的裝置成為新的規範，能夠在多種網路上連接廣泛種類的裝置。如此已造成習用或「主流」內容以及非傳統、業餘或自製內容的蓬勃發展。接下來，此內容不僅差不多可在任何行動裝置上取得，除了習用方法，行動裝置亦可扮演媒體集線器的角色、能夠存取到非常多的內容，並將其轉送或「推出」給一或多個顯示裝置，其中包括電視、電腦監視器、投影機、 或任何能夠接收、解碼與顯示串流化內容的裝置。基本上可想到的是用戶端、行動裝置、更廣泛而言為差不多任何運算裝置皆能夠扮演「媒體伺服器」的角色。

在一種典型的伺服器-用戶端遠端圖形處理配置中，圖形內容係在一伺服器上進行儲存、取得及顯像。然後顯像內容的圖框被捕捉與編碼，概略是以由一管理裝置所指定或僅為一種組態之一部份的一圖框率來進行。然後被捕捉與編碼的圖框被封包化，並於一網路上以一視訊流(通常包括音訊)傳送到一用戶端。該用戶端僅解碼該視訊流，並顯示該內容。這種「精簡型用戶端」應用可以簡易地轉移到多種平台。

因為行動運算持續針對更多聚焦在內容存取性與散播性來演進，行動裝置的角色將持續擴充。典型的用戶端-伺服器的邊界將持續模糊，且有更多的人將根據有興趣的內容而依賴行動裝置成為他們的用戶端與伺服器。

本發明一種態樣提供一種圖形伺服器。在一具體實施例中，該伺服器包括：(1)即時頻寬估計器(RBE,“Real-time bandwidth estimator”)設置成對於在其上可傳送一顯像場景的一網路產生一頻寬估計，(2)一服務品質(QoS,“Quality-of-service”)管理器設置成基於該頻寬估計產生串流參數，及(3)一圖形處理器(GPU,“Graphics processing unit”)設置成利用該等串流參數至少部份地預備該顯像場景進行傳輸。

另一種態樣提供一種管理用於在一網路上傳送一顯像場景之串流參數的方法。在一具體實施例中，該方法包括：(1)利用針對該網路的一即時頻寬估計以決定該等串流參數，(2)根據該等串流參數預備該顯像場景，及(3)封包化該顯像場景，並在該網路上傳送。

又另一種態樣提供一種圖形伺服器。在一具體實施例中，該 伺服器包括：(1)一通訊子系統，其具有：(1a)一網路介面控制器(NIC,“Network interface controller”)耦接於一網路，並於該網路上傳送描述一顯像場景的封包，及(1b)一即時頻寬估計器(RBE)耦接於該NIC，並設置成對於該網路產生一頻寬估計，(2)一QoS管理器設置成基於頻寬估計產生串流參數，及(3)一GPU，其具有：(3a)一圖形顯像器根據該等串流參數顯像該顯像場景，(3b)一圖框捕捉器設置成根據該等串流參數捕捉該顯像場景的圖框，及(3c)一編碼器設置成根據該等串流參數編碼該等圖框，藉此預備該顯像場景進行封包化與傳輸。

100‧‧‧伺服器-用戶端圖形處理系統

110‧‧‧網路

120‧‧‧伺服器

122‧‧‧網路介面卡

124‧‧‧中央處理單元

130‧‧‧圖形處理器

132‧‧‧圖形顯像器

134‧‧‧圖框捕捉器

136‧‧‧編碼器

140‧‧‧用戶端

142‧‧‧網路介面卡

144‧‧‧解碼器

146‧‧‧視訊顯像器

148‧‧‧顯示器

150‧‧‧中央處理單元

200‧‧‧圖形伺服器

210‧‧‧即時頻寬估計器

220‧‧‧服務品質管理器

310,320,330,340,350,360,370‧‧‧步驟

現在請參照配合該等附屬圖式所做的以下說明，其中：圖1為一伺服器-用戶端遠端圖形處理系統的一具體實施例之方塊圖；圖2為一圖形伺服器的一具體實施例之方塊圖；及圖3為一種用於管理在一網路上傳送一顯像場景之串流參數的方法之一具體實施例的流程圖。

遠端圖形處理的主要限制為遲延，以及其所帶來的不可預測之網路狀況。遲延由多種網路狀況造成，其中包括：網路頻寬限制與變動，在該網路上的封包遺失，由該伺服器到該用戶端之封包延遲增加與封包延遲的變動，這些在該用戶端上呈現為跳動。視訊串流化中的遲延對於該串流經驗有很大影響。遲延與造成遲延的網路狀況通常可藉由預先編碼該串流化媒體、在該接收端上緩衝化該串流，或兩者皆執行來克服。遲延為該串流經驗中一重要的因素，而對於該用戶端之視訊流之外顯的保真度亦受到相同網路狀況的影響。保真度為一顯示的影像或視訊流對應於理想狀況 之程度的度量。一理想影像與真實極為接近；其解析度非常高，且其沒有壓縮、顯像或傳輸的人為效果。一種理想的視訊流為一序列不會出現跳動的理想影像，其圖框率相當地高而亦可接近於真實。因此，一較高解析度、較高圖框率、較少人為影響、較低跳動之視訊流會比具有較低解析度、較低圖框率、包含更多人為效果或有更多跳動者會具有一較高的保真度。

遲延與保真度本質上為該用戶端之串流經驗的度量。但是， 由該伺服器的觀點來看，遲延與保真度之組合為服務品質(QoS)的成分。一QoS系統，通常為一伺服器，其工作即管理其用戶端的QoS。其目標係要確保遲延與保真度在一可接受的水準，並且於任何網路狀況發生下，以及對任何訂閱該服務的用戶端裝置，皆可維持一定的串流經驗。

該管理工作包含收集網路資料，並評估該伺服器與用戶端之 間的該等網路狀況。傳統上，該用戶端執行該評估，並回頭指示該伺服器對於該視訊流進行需要的改變。正是因為該伺服器的角色已經開啟發展出多種運算裝置，用戶端裝置的多樣性亦增加許多。用戶端的複雜程度已經明顯降低，僅需要有能力可以解碼與顯示一視訊流。因此，依賴用戶端提供的網路資料之QoS系統由於精簡型用戶端的發展趨勢而受到挑戰。許多精簡型用戶端裝置並不收集必要的網路資料，且並非所有通訊協定皆支援對於該伺服器那種等級的回饋。在此可瞭解圖形伺服器將因為它們不需要依賴於用戶端供應的網路資料而受惠。在此另可瞭解到伺服器能夠使用即時頻寬估計來驅動QoS管理。

QoS管理的目標基本上係要在當頻寬不足時保留網路頻 寬，且當有頻寬可使用時，來改善該傳送的視訊之保真度，因其基本上會消耗更多的頻寬。QoS管理藉由產生串流參數來達到此目標，其在當於該伺服器上使用時，即會影響用來傳送或串流該視訊所需要的該頻寬。該伺服器使用該等串流參數來預備該視訊流進行封包化與傳輸。此預備基本上包括顯像一場景、捕捉該顯像場景的圖框，並編碼該等捕捉的圖框。

一串流參數的一個示例為一圖形顯像器用來顯像一場景的 解析度。以一較高解析度做顯像基本上需要更多的頻寬來傳送，因為該顯像在較高的解析度下會產生更多的資料。以一較低解析度做顯像可以保留頻寬。較高解析度的場景一般可感知為具有較高的保真度。

一串流參數的另一示例為該圖框率。該圖框率為圖框捕捉發 生的速率，概略表示成一頻率。圖框捕捉概略包含複製一顯像場景到一緩衝器做進一步的處理。此程序基本上在一時脈上或以該圖框率自動地發生。由一用戶端的角度而言，該圖框率為該螢幕上內容被更新的速率，其通常與該顯像程序無關。以一較高圖框率進行串流需要在一給定的時間區間中傳送更多的圖框，其會增加網路的壅塞。降低該圖框率可保留頻寬。 以一較高圖框率串流的視訊一般可感知為具有較高的保真度。相反地，一較低的圖框率一般將感知為具有較低的保真度。

一串流參數的又另一示例為該視訊流之捕捉的圖框被編碼 的該位元率。該位元率本質上為資料被傳送的速率。增加該位元率會消耗更多頻寬，而藉由降低該位元率可保留頻寬，但通常會犧牲了保真度。以一較高位元率串流的視訊一般可感知為具有較高的保真度。

在說明此處所介紹之用於管理串流參數的該圖形伺服器與 方法之多種具體實施例之前，將說明在其中可實施或執行該圖形伺服器與方法之一遠端圖形處理系統。

圖1為一伺服器-用戶端遠端圖形處理系統100的一具體實 施例之方塊圖。系統100包括一網路110，藉此一伺服器120與一用戶端140可進行通訊。伺服器120代表內容、處理與顯像資源之中央儲存庫。用戶端140為該內容與那些資源的消費者。在某些具體實施例中，伺服器120可自由地擴充，並有能力藉由利用到平行與經分配的處理與顯像資源來同時提供該內容與那些服務給許多用戶端。除了伺服器120之電力、記憶體頻寬或遲延的限制外，伺服器120的可擴充性係受限於網路110於前開某 些用戶端數目臨界值的能力，網路頻寬的不足需要對於所有用戶端的該服務做平均地降級。

伺服器120包括一網路介面卡(NIC)122、一中央處理單元 (CPU)124與一GPU 130。在於伺服器120上做選擇時，或在某些具體實施例中在有用戶端140做要求時，圖形內容經由在CPU 124上執行的一應用自記憶體被叫回。如以往在圖形應用中，例如遊戲，CPU 124會保留其本身用於執行高階作業，例如決定在一給定場景中物體的位置、移動與碰撞。 由這些高階作業，CPU 124產生顯像命令，當其結合於該場景資料時，可由GPU 130執行。例如，顯像命令與資料可定義場景幾何、光線、著色、紋路、移動與一場景的相機參數。

GPU 130包括一圖形顯像器132、一像框捕捉器134與一編 碼器136。圖形顯像器132根據由CPU 124產生的該等顯像命令執行顯像程序，而產生該場景的視訊的圖框串流。那些原始視訊圖框由圖框捕捉器134捕捉，並由編碼器136編碼。編碼器136格式化該原始視訊流進行封包和傳輸，可能利用一種視訊壓縮演算法，例如國際電信聯盟電信標準化部門(International Telecommunication Union Telecommunication Standardization Sector(ITU-T))所提出的H.264標準，或是來自國際標準組織/國際電工委員會(International Organization for Standardization/International Electrotechnical Commission(ISO/IEC))的MPEG-4先進視訊編碼(AVC,“Advanced Video Coding”)標準。另外，該視訊流可被編碼成Windows Media Video®(WMV)格式、VP8格式、或任何其它視訊編碼格式。

CPU 124預備該編碼的視訊流用於傳輸，其一同傳送到NIC 122。NIC 122包括經由像是Ethernet、Wi-Fi或網際網路協定(IP)的網路協定而在網路110上進行通訊所需要的電路。NIC 122提供該實體層，以及伺服器120的網路介面之軟體層的基礎。

用戶端140接收該傳送的視訊流做顯示。用戶端140可為多 種個人運算裝置，其包括：一桌上型或膝上型個人電腦、一平板電腦、一智慧型手機或一電視。用戶端140包括一NIC 142、一解碼器144、一視訊顯像器146、一顯示器148與一CPU 150。NIC 142類似於NIC 122包括在網路110上進行通訊所需要的電路，並提供該實體層與用戶端140的網路介面之軟體層的基礎。該傳送的視訊流由用戶端140經由NIC 142接收。CPU 150解開該接收的視訊流，並預備其進行解碼。

然後該視訊流由解碼器144做解碼。解碼器144必須匹配編碼器136，其中每一者必須利用相同的格式化或壓縮方式。例如，如果編碼器136利用該ITU-T H.264標準，解碼器144亦必須相同。根據該實體用戶端裝置，解碼可由一用戶端CPU或一用戶端GPU執行。一旦解碼，所有餘留在該視訊流中的為該等原始顯像的圖框。該等顯像的圖框由一基本視訊顯像器146處理，如同針對任何其它串流化媒體所進行者。然後該顯像的視訊可被顯示在顯示器148上。

在說明了在其中可以實施或執行用於管理串流參數的該圖形伺服器與方法的一伺服器-用戶端遠端圖形處理系統之後，將說明該圖形伺服器與方法之多種具體實施例。

圖2為一圖形伺服器200之一具體實施例的方塊圖，例如圖1的伺服器120。圖形伺服器200包括圖1所示之所有的NIC 122、CPU 124與GPU 130。此外，圖形伺服器200包括一即時頻寬估計器(RBE)210與一QoS管理器220。GPU 130包括圖形顯像器132、圖框捕捉器134與編碼器136，亦如圖1所示。

如圖1的伺服器120中，圖形伺服器200的基本作業包括顯像一場景、捕捉圖框、及編碼圖框用於後續傳輸給一用戶端。CPU 124執行一應用，藉此來產生顯像命令，亦產生或自記憶體叫回場景資料進行顯像。圖形顯像器132對該場景資料執行該顯像命令，以產生具有一解析度的一顯像場景。圖框捕捉器134與編碼器136設置成以由CPU 124指定的 一圖框率來操作。不僅是該圖框率為顯像內容的圖框被捕捉與編碼的速率，亦為被傳送，以及可能被解碼與顯示的速率。這種配置對於遲延與次等最佳的網路狀況很敏感。圖框捕捉器134藉由定期地複製該顯像的內容到記憶體中一中介的緩衝器中來「捕捉」顯像的內容。編碼器136能夠存取記憶體中該中介緩衝器，並編碼該儲存的圖框。編碼器136可使用多種編碼方式，包括H.264、WMV與MPEG-4。編碼器136同時以一圖框率與一位元率操作。該圖框率指定在一給定時間區間中編碼器136進行編碼的圖框數目，類似於圖框捕捉器134。該位元率指定分配用於編碼每一圖框的位元數目。該圖框率與該位元率的組合轉譯成資料在一網路上經由NIC 122傳送的速率，另可稱之為該資料速率或串流位元率。

CPU 124自記憶體取得編碼的圖框，其被「包裝」來透過 NIC 122做傳輸。此預備基本上包含封包化來自該圖框緩衝器的資料，以及可能針對該傳輸協定的額外編碼。

RBE 210監視經由NIC 122的網路壅塞，並基於資料來產生 一頻寬估計，例如重試數目與等待時間。在某些具體實施例中，RBE 210內建於NIC 122中。有多種方法可執行即時頻寬估計；所使用的方法基本上係要對應一特定網路介面之裝置與晶片製造商所決定。例如，某些具體實施例使用一Wi-Fi晶片組做為該網路介面的一部份。一Wi-Fi晶片組的製造商可以為了多種原因而選擇一種頻寬估計方法。

繼續參照圖2的具體實施例，QoS管理器220自RBE 210 接收該頻寬估計，並用於產生串流參數。由RBE 210提供的該頻寬估計可簡化為一二元化評估：該網路具有多餘的頻寬，或該網路的頻寬短缺。更為複雜的RBE實作可以更為量化，但是對於QoS管理器220之目的而言並非必要。當該頻寬估計指明頻寬不足時，QoS管理器220採取步驟來降低經由串流參數傳送該顯像場景所需要的該頻寬。例如，QoS管理器220能夠降低該解析度、降低該圖框率、降低該位元率、或三者之任何組合。此 外，QoS管理器220能夠操縱任何其它的串流參數來影響該頻寬需求。通常串流參數以群組方式修改，或結合在一起來護衛會破壞該串流經驗的不良組合。例如，當解析度增加時，維持相同保真度所需要的位元率亦增加。同樣地，增加位元率而保持解析度穩定將會造成降低保真度增益。

圖3為一種用於管理在一網路上傳送一顯像場景之串流參數的方法之一具體實施例的流程圖。該方法開始於一開始步驟310。在一QoS管理步驟320，使用該網路的一即時頻寬估計來決定影響頻寬需求的串流參數。該頻寬估計係在沒有用戶端回饋之下做成，且通常為內建於該網路控制器(例如Wi-Fi晶片組)中的能力。該頻寬估計在當資料於該網路上傳送時連續地做成。

串流參數可為一特定視訊流的多種設定，且通常由該伺服器上一GPU來執行。串流參數包括解析度、圖框率、位元率及其它。在一顯像步驟330，該場景以在QoS管理步驟320中決定的一解析度來顯像。在一捕捉步驟340，該顯像場景的圖框以亦在QoS管理步驟320中決定的一圖框率被捕捉。在一編碼步驟350，來自捕捉步驟340的該等捕捉的圖框以在QoS管理步驟320中決定的一位元率來編碼。然後在一傳送步驟360，來自編碼步驟350的該等編碼圖框被封包化，並在該網路上傳送。封包化與傳輸可包括針對一特定網路協定之該等編碼圖框的額外編碼或格式化。例如，格式化用於在一Wi-Fi網路上做傳輸。對於一完整的視訊段落，當即時頻寬估計被連續地產生且串流參數偶爾被調整時，即重複該方法。該方法結束於一結束步驟370。

與本申請案相關的熟此技藝者將可瞭解到可能對該等描述的具體實施例進行其它與進一步的加入、刪除、取代和修改。

122‧‧‧網路介面卡

124‧‧‧中央處理單元

130‧‧‧圖形處理器

132‧‧‧圖形顯像器

134‧‧‧圖框捕捉器

136‧‧‧編碼器

210‧‧‧即時頻寬估計器

220‧‧‧服務品質管理器

Claims (10)

1. 一種圖形伺服器，其包含：一即時頻寬估計器(RBE)設置成對於在其上可傳送一顯像場景的一網路產生一頻寬估計；一服務品質(QoS)管理器設置成基於該頻寬估計產生串流參數；及一圖形處理器(GPU)設置成利用該等串流參數至少部份地預備該顯像場景以進行傳輸。
2. 如申請專利範圍第1項之圖形伺服器，其中該GPU包括一用於顯像該顯像場景之圖形顯像器。
3. 如申請專利範圍第2項之圖形伺服器，其中該等串流參數包括該圖形顯像器用以顯像該顯像場景之一解析度。
4. 如申請專利範圍第1項之圖形伺服器，其中該GPU包括一設置成捕捉該顯像場景的圖框之圖框捕捉器，及一設置成編碼該等圖框進行後續傳輸的編碼器。
5. 如申請專利範圍第4項之圖形伺服器，其中該等串流參數包括該圖框捕捉器用於捕捉圖框的一圖框率。
6. 如申請專利範圍第4項之圖形伺服器，其中該等串流參數包括該編碼器用於編碼該等圖框的一位元率。
7. 如申請專利範圍第1項之圖形伺服器，其中該QoS管理器產生該等串 流參數，使得當該頻寬估計指示出一頻寬不足時頻寬消耗被降低。
8. 一種圖形伺服器，其包含：一通訊子系統，其具有：一網路介面控制器(NIC)耦接於一網路，並於該網路上傳送描述一顯像場景的封包，及一即時頻寬估計器(RBE)耦接於該NIC，並設置成對於該網路產生一頻寬估計；一服務品質(QoS)管理器，其設置成基於該頻寬估計產生串流參數；及一圖形處理器(GPU)，其具有：一圖形顯像器根據該等串流參數顯像該顯像場景，一圖框捕捉器設置成根據該等串流參數捕捉該顯像場景的圖框，及一編碼器設置成根據該等串流參數編碼該等圖框，藉此預備該顯像場景以進行封包化與傳輸。
9. 如申請專利範圍第8項之圖形伺服器，其中該網路為一Wi-Fi網路。
10. 如申請專利範圍第8項之圖形伺服器，其中該圖形伺服器為一行動運算裝置。