TWI837574B - 遠端圖形處理器的動態畫質調整方法、畫質預測模型之訓練方法與應用其之遠端伺服器 - Google Patents

Abstract

一種遠端圖形處理器的動態畫質調整方法、畫質預測模型之訓練方法與應用其之遠端伺服器。遠端伺服器之遠端圖形處理器的動態畫質調整方法包括以下步驟。獲得遠端伺服器之一網路剩餘頻寬。獲得遠端伺服器之一視訊記憶體剩餘容量。獲得一本地電子裝置之一剩餘電量。將網路剩餘頻寬、視訊記憶體剩餘容量及剩餘電量輸入至一畫質預測模型，以獲得一畫質設定值。控制遠端圖形處理器依據畫質設定值，設定一畫面解析度，以進行畫面處理。

Description

遠端圖形處理器的動態畫質調整方法、畫質預測 模型之訓練方法與應用其之遠端伺服器

本揭露是有關於一種畫質調整方法、預測模型之訓練方法與應用其之伺服器，且特別是有關於一種遠端圖形處理器的動態畫質調整方法、畫質預測模型之訓練方法與應用其之遠端伺服器。

針對電競和創作的電腦雖然具有較強大的圖形處理器運算能力，但大多是桌機或是較為厚重的筆記型電腦。這類型電腦的可攜帶性相當的差，造成當使用者無法在外從事電競或創作。

此外，現今高運算能力的圖形處理器相當耗電。即使使用者帶這類型電腦出門，頂多也只能使用1小時。

為了讓輕薄的筆記型電腦也能夠進行電競和創作，發展出一種遠端圖形處理器技術(Remote GPU)。遠端圖形處理器的運算需求可以由筆記型電腦傳回到遠端伺服器。複雜的圖形處理可以交由遠端伺服器來執行。

本揭露係有關於一種遠端圖形處理器的動態畫質調整方法、畫質預測模型之訓練方法與應用其之遠端伺服器，其利用畫質預測模型綜合考慮遠端伺服器之網路剩餘頻寬、遠端伺服器之視訊記憶體剩餘容量，以預測最適合的畫質設定值。網路頻寬阻塞、運算延遲等情況能夠有效避免，進而優化使用者的體驗。

根據本揭露之一方面，提出一種遠端伺服器之遠端圖形處理器(Remote GPU)的動態畫質調整方法。遠端伺服器之遠端圖形處理器的動態畫質調整方法包括以下步驟。獲得遠端伺服器之一網路剩餘頻寬。獲得遠端伺服器之一視訊記憶體剩餘容量(VRAM remaining capacity)。獲得一本地電子裝置之一剩餘電量。將網路剩餘頻寬、視訊記憶體剩餘容量及剩餘電量輸入至一畫質預測模型，以獲得一畫質設定值。控制遠端圖形處理器依據畫質設定值，設定一畫面解析度，以進行畫面處理。

根據本揭露之另一方面，提出一種畫質預測模型之訓練方法。畫質預測模型之訓練方法包括以下步驟。以一遠端伺服器之一網路剩餘頻寬、遠端伺服器之一視訊記憶體剩餘容量 (VRAM remaining capacity)及一本地電子裝置之一剩餘電量，對畫質分析模型進行初始訓練。以畫質預測模型進行預測，以獲得數筆畫質設定值。收集對應這些畫質設定值之數筆評分。依據這些評分重新訓練畫質預測模型。

根據本揭露之再一方面，提出一種遠端伺服器。遠端伺服器包括一遠端圖形處理器、一視訊記憶體、一網路傳輸單元、一畫質預測模型及一畫質設定單元。視訊記憶體具有一視訊記憶體剩餘容量(VRAM remaining capacity)。網路傳輸單元連接一本地電子裝置。網路傳輸單元具有一網路剩餘頻寬。畫質預測模型用以接收網路剩餘頻寬、視訊記憶體剩餘容量及本地電子裝置之一剩餘電量，以輸出一畫質設定值。畫質設定單元用以控制遠端圖形處理器依據畫質設定值，設定一畫面解析度，以進行畫面處理。

為了對本揭露之上述及其他方面有更佳的瞭解，下文特舉實施例，並配合所附圖式詳細說明如下：

100:遠端伺服器

110:遠端圖形處理器

120:視訊記憶體

130:網路傳輸單元

140:畫質預測模型

150:畫質設定單元

200:本地電子裝置

900:網路

BT:剩餘電量

BW:網路剩餘頻寬

CM:運算指令

FM,FM1,FM2m FM3,FM4,FM5:畫面

QS,QSi,QS1,QS2,QS3,QS4,QS5:畫質設定值

RM:視訊記憶體剩餘容量

S110,S120,S130,S140,S150,S210,S220,S230,S240:步驟

SC,SCi,SC1~SC5:評分

第1圖繪示根據一實施例之遠端伺服器之運作方式的示意圖。

第2圖繪示根據一實施例之畫質預測模型。

第3圖繪示根據一實施例之遠端伺服器之方塊圖。

第4圖繪示根據一實施例之遠端伺服器之遠端圖形處理器的 動態畫質調整方法的流程圖。

第5圖繪示根據一實施例之畫質預測模型之訓練方法的流程圖。

第6圖繪示5次預測的畫面。

請參照第1圖，其繪示根據一實施例之遠端伺服器100之運作方式的示意圖。本地電子裝置200可以將運算指令CM透過網路900上傳至遠端伺服器100。應用程式的運算指令CM可以透過VirGL套接字(socket)的方式傳遞給遠端伺服器100的VirGLrenderer渲染器。遠端伺服器100使用遠端圖形處理器(Remote GPU)110與視訊記憶體120運算完的畫面FM再透過網路900回傳給本地電子裝置200。本地電子裝置200取得畫面FM後，即可把畫面FM顯示出來。

如此一來，本地電子裝置200可以維持輕薄，不僅可滿足方便攜帶的需求，也能夠順暢地完成複雜的圖形運算。然而，請參照下表一，回傳畫面FM的不同畫面解析度所占用的頻寬資源相差數十倍。回傳畫面FM的畫面解析度過高時，可能會使網路頻寬阻塞，或者使遠端伺服器100的運算產生延遲。因此，本技術提出人工智慧技術以最佳化畫面解析度，優化使用者的體驗。

請參照第2圖，其繪示根據一實施例之畫質預測模型140。本實施例之畫質預測模型140例如是一種神經網路模型。遠端伺服器100之一網路剩餘頻寬BW、遠端伺服器100之一視訊記憶體剩餘容量(VRAM remaining capacity)RM及本地電子裝置200之一剩餘電量BT輸入至畫質預測模型140，以獲得一畫質設定值QS。畫質設定值QS例如是720P、1080P、4K。

請參照第3圖，其繪示根據一實施例之遠端伺服器之方塊圖。遠端伺服器100包括前述之遠端圖形處理器110、前述之視訊記憶體120、一網路傳輸單元130、前述之畫質預測模型140及一畫質設定單元150。各項元件之功能概述如下。遠端圖形處理器110用以進行圖形處理，例如是一處理晶片、或一電路板。視訊記憶體120用以暫存處理的圖形。網路傳輸單元130用以傳輸資料，例如是一Wifi傳輸模組、或一LTE傳輸模組。畫質預測模型140用以預測適合的畫質設定值QS，例如是一電路、一電路板、一晶片、程式碼、或儲存程式碼之記錄媒體。畫質設定單元150用以進行畫質設定，例如是一電路、一電路板、一晶片、程式碼、或儲存程式碼之記錄媒體。本實施例透過畫質預測模型140來預測 最適合的畫質設定值QS，有效避免網路頻寬阻塞、運算延遲等情況，來優化使用者的體驗。

以下先說明應用畫質預測模型140的動態畫質調整方法。接著再說明畫質預測模型140的訓練方法。

請參照第4圖，其繪示根據一實施例之遠端伺服器100之遠端圖形處理器110的動態畫質調整方法的流程圖。在步驟S110中，獲得遠端伺服器100之網路剩餘頻寬BW。網路剩餘頻寬BW通常不斷跳動。遠端伺服器100可以週期地偵測網路剩餘頻寬BW。在一實施例中，網路剩餘頻寬BW可以是上傳的頻寬。網路剩餘頻寬BW例如是相對百分比或絕對數值。

接著，在步驟S120中，獲得遠端伺服器100之視訊記憶體剩餘容量RM。遠端伺服器100可以週期地偵測視訊記憶體剩餘容量RM。視訊記憶體剩餘容量RM例如是相對百分比或絕對數值。

然後，在步驟S130中，獲得本地電子裝置200之剩餘電量BT。本地電子裝置200之剩餘電量BT係透過網路900傳遞至遠端伺服器100。剩餘電量BT例如是相對百分比或絕對數值。上述步驟S110、S120、S130係可同步執行、或者交換順序執行。步驟S110、S120、S130之執行順序並不侷限本發明。

然後，在步驟S140中，將網路剩餘頻寬BW、視訊記憶體剩餘容量RM及剩餘電量BT輸入至畫質預測模型140，以獲得畫質設定值QS。畫質設定值QS傳輸至畫質設定單元150。

接著，在步驟S150中，畫質設定單元150控制遠端圖形處理器110依據畫質設定值QS，設定一畫面解析度，以進行畫面處理。遠端圖形處理器110處理之畫面FM即具有設定之畫面解析度。畫質設定值QS例如是絕對數值，如720P、1080P、4K。在另一實施例中，畫質設定值QS例如是相對調整值，例如是上調一階、下降一階。

在一實施例中，畫面解析度可以漸進式調整，以調合使用者的觀看舒適度。

請參照第5圖，其繪示根據一實施例之畫質預測模型140之訓練方法的流程圖。在步驟S210中，在線下狀態(off-line)下，以遠端伺服器100之網路剩餘頻寬BW、遠端伺服器100之視訊記憶體剩餘容量RM及一本地電子裝置200之剩餘電量BT對畫質預測模型140進行初始訓練。初始訓練之畫質設定值QS的真值(ground truth)可以由研究人員自定義，或者設定為過往歷史中最常用的幾個數值。初始訓練後所形成之畫質預測模型140並不具有高準確率。

接著，在步驟S220中，在線上狀態(on-line)下，以畫質預測模型140進行預測，以獲得數數筆畫質設定值QSi。此步驟例如是上述第4圖所述之步驟S110~S150。

然後，在步驟S230中，本地電子裝置200收集對應這些畫質設定值QSi之數筆評分SCi。評分SCi例如是使用者對於 畫面FM之畫質滿意度、對網路速度滿意度、對延遲時間滿意度等。這些評分SCi透過網路傳遞至遠端伺服器100。

請參照第6圖，其繪示5次預測的畫面FM1~FM5。對於這些畫面FM1~FM5，使用者可以進行評比，以獲得評分SC1~SC5。或者，也可以由系統自動給予評分(例如定期地觀察使用者調整情況：未進行手動調整解析度，即表示使用者滿意；有進行手動調整解析度，即表示使用者不滿意)。

接著，在步驟S240中，依據這些評分SCi重新訓練畫質預測模型140，以獲得最終的畫質預測模型140。重新訓練後的畫質預測模型140具有高準確率，能夠準確預測出最適合的畫質設定值QS，有效避免網路頻寬阻塞、運算延遲等情況，來優化使用者的體驗。

根據上述實施例，本實施例透過畫質預測模型140綜合考慮遠端伺服器100之網路剩餘頻寬BW、遠端伺服器100之視訊記憶體剩餘容量RM，以預測最適合的畫質設定值QS。網路頻寬阻塞、運算延遲等情況能夠有效避免，進而優化使用者的體驗。

綜上所述，雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露。本揭露所屬技術領域中具有通常知識者，在不脫離本揭露之精神和範圍內，當可作各種之更動與潤飾。因此，本揭露之保護範圍當視後附之申請專利範圍所界定者為準。

140:畫質預測模型

BT:剩餘電量

BW:網路剩餘頻寬

QS:畫質設定值

RM:視訊記憶體剩餘容量

Claims (11)

1. 一種遠端伺服器之遠端圖形處理器(Remote GPU)的動態畫質調整方法，包括：獲得該遠端伺服器之一網路剩餘頻寬；獲得該遠端伺服器之一視訊記憶體剩餘容量(VRAM remaining capacity)；獲得一本地電子裝置之一剩餘電量；將該網路剩餘頻寬、該視訊記憶體剩餘容量及該剩餘電量輸入至一畫質預測模型，以獲得一畫質設定值；控制該遠端圖形處理器依據該畫質設定值，設定一畫面解析度，以進行畫面處理；以及依據一使用者的手動調整，收集對應於該畫質設定值之一畫質滿意度、一網路速度滿意度及一延遲時間滿意度之複數筆評分，並根據該些評分重新訓練該畫質預測模型。
2. 如請求項1所述之遠端伺服器之遠端圖形處理器的動態畫質調整方法，其中該網路剩餘頻寬係由該遠端伺服器進行偵測。
3. 如請求項1所述之遠端伺服器之遠端圖形處理器的動態畫質調整方法，其中該視訊記憶體剩餘容量係由該遠端伺服器進行偵測。
4. 如請求項1所述之遠端伺服器之遠端圖形處理器的動態畫質調整方法，其中該剩餘電量之資訊係由該本地電子裝置傳輸至該遠端伺服器。
5. 如請求項1所述之遠端伺服器之遠端圖形處理器的動態畫質調整方法，其中該畫質預測模型設置於該遠端伺服器內。
6. 如請求項1所述之遠端伺服器之遠端圖形處理器的動態畫質調整方法，其中該畫面解析度係漸進式調整。
7. 一種畫質預測模型之訓練方法，包括：以一遠端伺服器之一網路剩餘頻寬、該遠端伺服器之一視訊記憶體剩餘容量(VRAM remaining capacity)及一本地電子裝置之一剩餘電量對該畫質預測模型進行初始訓練；以該畫質預測模型進行預測，以獲得複數筆畫質設定值；依據依使用者的手動調整，收集對應該些畫質設定值之一畫質滿意度、一網路速度滿意度及一延遲時間滿意度之複數筆評分；以及依據該些評分重新訓練該畫質預測模型。
8. 如請求項7所述之畫質預測模型之訓練方法，其中該畫質預測模型設置於該遠端伺服器。
9. 一種遠端伺服器，包括：一遠端圖形處理器；一視訊記憶體，具有一視訊記憶體剩餘容量(VRAM remaining capacity)；一網路傳輸單元，連接一本地電子裝置，該網路傳輸單元具有一網路剩餘頻寬；一畫質預測模型，用以接收該網路剩餘頻寬、該視訊記憶體剩餘容量及該本地電子裝置之一剩餘電量，以輸出一畫質設定值；以及一畫質設定單元，用以控制該遠端圖形處理器依據該畫質設定值，設定一畫面解析度，以進行畫面處理；其中該畫質預測模型係依據對應於該畫質設定值之一畫質滿意度、一網路速度滿意度及一延遲時間滿意度之複數筆評分，進行重新訓練，且該些評分係依據一使用者的手動調整而產生。
10. 如請求項9所述之遠端伺服器，其中該剩餘電量之資訊係由該本地電子裝置傳輸至該遠端伺服器。
11. 如請求項9所述之遠端伺服器，其中該畫質設定單元係控制該遠端圖形處理器漸進式調整該畫面解析度。

Images