TWI829350B - 增強幀序列的質量的方法及系統 - Google Patents

增強幀序列的質量的方法及系統 Download PDF

Info

Publication number
TWI829350B
TWI829350B TW111135520A TW111135520A TWI829350B TW I829350 B TWI829350 B TW I829350B TW 111135520 A TW111135520 A TW 111135520A TW 111135520 A TW111135520 A TW 111135520A TW I829350 B TWI829350 B TW I829350B
Authority
TW
Taiwan
Prior art keywords
frame
quality
query
sequence
value
Prior art date
Application number
TW111135520A
Other languages
English (en)
Other versions
TW202315380A (zh
Inventor
王耀笙
叢培貴
呂佳倪
張櫂閔
林鈺盛
偉文 黃
Original Assignee
聯發科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 聯發科技股份有限公司 filed Critical 聯發科技股份有限公司
Publication of TW202315380A publication Critical patent/TW202315380A/zh
Application granted granted Critical
Publication of TWI829350B publication Critical patent/TWI829350B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

一種增強引擎增強幀序列的質量的方法，包括：從第一級電路接收到具有至少一個質量下降的幀的幀序列，其中該質量下降包括不均勻分辨率和不均勻每秒幀數（FPS）中至少一種；使用基於該質量下降的幀的查詢輸入來查詢信息庫以獲得該質量下降的幀的參考信息作為查詢輸出；對該查詢輸入和該查詢輸出應用神經網絡來產生優化後的幀；將包括該優化後的幀的增強後的幀序列發送給第二級電路。

Description

增強幀序列的質量的方法及系統
本發明的實施例涉及圖像處理技術，更具體地，涉及圖像及視頻處理以執行幀質量增強。
典型的邊緣電子設備，例如電視、智能手機、可穿戴設備、便攜式計算設備、遊戲設備等，由於對功耗和熱性能的嚴格要求而具有有限的計算能力。邊緣設備上的圖形渲染(Graphics rendering)操作通常會產生大量的圖形處理單元(Graphics Processing Unit，GPU)工作負載。為了保持進行平滑圖像顯示的目標幀速率，邊緣設備可能會遭受高功耗。有時，由於各種資源限制，例如高計算工作量和功耗限制，無法實現目標幀速率。因此，需要改進圖像處理技術以最小化資源限制對幀質量的影響。
本發明提供了增強幀序列的質量的方法及系統。
在一個實施例中，本發明提供的增強引擎增強幀序列的質量的方法，可包括：從第一級電路接收到具有至少一個質量下降的幀的幀序列，其中該質量下降包括不均勻分辨率和不均勻每秒幀數(FPS)中至少一種；使用基於該質量下降的幀的查詢輸入來查詢信息庫以獲得該質量下降的幀的參考信息作 為查詢輸出；對該查詢輸入和該查詢輸出應用神經網絡來產生優化後的幀；將包括該優化後的幀的增強後的幀序列發送給第二級電路。
在一個實施例中，本發明提供的增強幀序列的質量的系統，可包括：第一級電路，用於發送具有至少一個質量下降的幀的幀序列，其中該質量下降包括不均勻分辨率和不均勻每秒幀數(FPS)中至少一種；和增強引擎，用於接收該幀序列，使用基於該質量下降的幀的查詢輸入來查詢信息庫以獲得該質量下降的幀的參考信息作為查詢輸出；對該查詢輸入和該查詢輸出應用神經網絡來產生優化後的幀；將包括該優化後的幀的增強後的幀序列發送給第二級電路。
如上所述，本發明實施例對質量下降的幀進行優化，從而可增強幀的質量。
110:第一級電路
120:第二級電路
112:分辨率調整模塊
113:FPS調整模塊
210:質量檢測器
251:運動合成器
252:對齊模塊
250,350,450,1350,1550:增強引擎
253:優化模塊
220:質量檢驗器
100,1500:系統
260:信息庫
300,400:輸入圖像
320:雲服務器
321:雲存儲器
310,430,410,910,1010,1020,1110,1120:神經網絡
360:輸出圖像
370,470:優化後的圖像
456:特徵圖元素
455,1055,1155:特徵圖
420:資料庫
466:輸出元素
460,1060,1160:查詢輸出
521:關鍵元素
631,751:新的關鍵元素
510:混合權重
522:值
632,752:新的值
610:圖像嵌入
621,622,721,722:卷積核權重
641,761:N個新的關鍵元素
642,762:N個新的值
650,770,780:操作
731:中間關鍵元素
732:中間值元素
741,742:多層感知權重
821:更新後的關鍵元素
822:更新後的值
931,932:區域
930:第一對象
940:第二對象
920:擴展後的資料庫
1070:修復後的幀
1170:SR幀
1200:方法
1210,1220,1230,1240:步驟
1300,1400:設備
1370,1470:處理硬件
1360:CPU
1310:GPU
1330:記憶體
1340:顯示接口電路
1335:緩衝器
1380,1480:顯示子系統
1320:顯示面板
1510:發送器設備
1520:接收器設備
1580:傳輸網絡
圖1根據一些實施例圖示了複數個幀序列的示例。
圖2是圖示根據一個實施例的用於提高幀序列的質量的系統100的框圖。
圖3是圖示根據一個實施例的使用由雲服務器320提供的信息的增強引擎操作的示例的圖。
圖4是圖示根據一個實施例的使用由資料庫420提供的信息的增強引擎的操作的示例圖。
圖5根據一個實施例示出了對資料庫420的查詢操作。
圖6是根據一個實施例說明計算新的(關鍵元素，值)對的圖。
圖7是根據另一實施例說明計算新的(關鍵元素，值)對的圖。
圖8是根據一個實施例說明更新資料庫的操作的圖。
圖9是根據一個實施例說明基於幀的一部分的資料庫擴展的圖。
圖10是根據一個實施例說明使用擴展後的資料庫執行修復的圖。
圖11是根據一個實施例說明使用擴展資料庫執行超分辨率(SR)的圖。
圖12是根據一個實施例說明用於增強幀序列的質量的方法1200的流程圖。
圖13根據一個實施例示出設備1300的示例圖。
圖14根據另一個實施例示出設備1400的示例圖。
圖15根據一個實施例圖示了系統1500的示例。
在說明書及申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬技術領域具有通常知識者應可理解，硬體製造商可能會用不同的名詞來稱呼同一個元件。本說明書及申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及申請專利範圍當中所提及的“包含”及“包括”為一開放式的用語，故應解釋成“包含但不限定於”。“大體上”或“大約”是指在可接受的誤差範圍內，所屬技術領域具有通常知識者能夠在一定誤差範圍內解決所述技術問題，基本達到所述技術效果。此外，“耦接”或“耦合”一詞在此包含任何直接及間接的電性連接手段。因此，若文中描述一第一裝置耦接在一第二裝置，則代表該第一裝置可直接電性連接於該第二裝置，或通過其它裝置或連接手段間接地電性連接至該第二裝置。以下所述為實施本發明的較佳方式，目的在於說明本發明的精神而非用以限定本發明的保護範圍，本發明的保護範圍當視之後附的申請專利範圍所界定者為准。
下面的描述為本發明預期的最優實施例。這些描述用於闡述本發明的大致原則而不應用於限制本發明。本發明的保護範圍應在參考本發明的申 請專利範圍的基礎上進行認定。
圖1根據一些實施例圖示了複數個幀序列的示例。第一級電路110將幀序列發送到第二級電路120。幀序列的質量有時可能不穩定；也就是說，有時幀序列的幀速率可能低於目標每秒幀數(Frame Per Second，FPS)，並且幀序列中的某些幀的分辨率可能低於其他幀的分辨率。第一級電路110可以輸出以下非限制性示例中所示的任何幀序列。列(A)示出了具有均勻質量(even quality)的幀序列，其中所有幀(I0-I6)由第一級電路110以目標FPS和目標分辨率生成。列(B)顯示了不均勻(uneven)的FPS狀況，其中幀I1、I2、I4和I6在傳輸中丟失或不由第一級電路110生成(例如，不被渲染)。在具有不均勻FPS狀況的幀序列中，幀速率(也稱為FPS)在不遵循規則模式(regular pattern)的情況下動態變化。
列(C)示出了不均勻的分辨率狀況，其中幀I0、I4和I6具有目標分辨率(例如，2400x1080)，幀I3具有低於目標分辨率的分辨率(例如，1600x720)，並且幀I1、I2和I5在幀序列中具有最低的分辨率(例如，600x270)。在分辨率不均勻的幀序列中，幀的分辨率在不遵循規則模式(regular pattern)的情況下動態變化。列(D)顯示了不均勻FPS和不均勻分辨率狀況的組合。列(B)、(C)和(D)提供了具有不均勻質量狀況的幀序列的非限制性示例。可以理解，具有不均勻質量狀況的幀序列可以具有不均勻的FPS和不均勻的分辨率的任意組合，包括僅具有不均勻的FPS或僅具有不均勻的分辨率。儘管這裡的示例示出了不均勻的質量狀況，但是應當理解，第一級電路110也可以發送具有均勻質量降低(even quality degradation)的幀序列，例如，每隔一個幀丟失或每隔一個幀分辨率較低的幀序列。
在以下描述中，具有不均勻質量狀況的幀序列也可以稱為在時間上不均勻間隔的複數個幀中具有質量降低的幀序列。在列(B)的例子中，丟失 的幀I1、I2、I4和I6在時間上不均勻地間隔，其中I1和I2之間的間隔是一個幀間隔(frame interval)，I2和I4之間的間隔是兩個幀間隔，以及I4和I6之間的間隔是兩個幀間隔。類似地，在列(C)和列(D)的示例中，丟失和/或低分辨率幀的在時間上不均勻地間隔。因此，應當理解，下文中的術語“不均勻”可以解釋為“幀序列不均勻”。
由於資源限制，第一級電路110可以確定或被請求生成具有不均勻質量狀況的幀序列。資源限制的非限制性示例包括傳輸帶寬不足、計算工作量高、功耗限制等。在一個實施例中，第一級電路110可以降低具有低或緩慢變化的信息內容的那些幀的質量。替代地或附加地，當受限資源已超過其使用閾值時，例如，當功耗超過閾值時，第一級電路110可降低一個或複數個幀的質量。當與預定閾值比較時，量化值可能是“不足”、“高”、“慢”或“低”。在一個實施例中，第一級電路可以使用主機電路(host)或運行後台線程(background thread)來監控受限資源的使用。當主機電路或線程檢測到受限資源使用超過閾值時，通知第一級電路調整幀序列的質量降低。這種質量降低可以包括不均勻的分辨率和不均勻的FPS中的至少一種。受限資源的非限制性示例包括計算資源、功率資源和傳輸帶寬中的一種或複數種。
第一級電路110和第二級電路120可以是幀序列傳播網絡或連接的任意兩個端點。在一個實施例中，第一級電路110和第二級電路120可以位於同一電子設備中，例如位於同一設備中的圖形處理單元(GPU)和顯示面板中。在另一個實施例中，第一級電路110和第二級電路120可以位於不同的設備中，例如通過傳輸網絡連接的發送器(Tx)設備和接收器(Rx)設備。
第一級電路110可以在渲染和/或發送期間動態調整幀質量，以產生具有不均勻質量狀況的幀序列。該調整可以包括時間減少(temporal reduction)和/或空間減少(spatial reduction)。時間減少是指FPS的降低；例如，減少每時 間單位的渲染幀(rendered frame)和/或傳輸幀(transmitted frame)的數量。空間減少是指幀分辨率的降低；例如，減少渲染和/或傳輸幀中的像素數量。如圖1的列(B)和列(D)所示，時間減少可能是不均勻的；例如，兩個直接相鄰的幀之間的時間間隔可能會不時變化。此外，如圖1的列(C)和列(D)所示，空間減少可能是不均勻的；例如，低分辨率幀可能不會以固定的時間間隔出現。幀序列中的不均勻質量狀況，例如FPS降低和/或分辨率降低，可以節省第一級電路110的大量計算、帶寬和/或功率資源。第一級電路110可以以極大的靈活性調整質量降低(quality reduction)以獲得幀質量和資源使用之間的平衡且平穩的權衡(balanced and smooth trade-off)。
如稍後將更詳細描述的，所公開的系統還包括增強引擎(booster engine)以從幀序列的質量降低中恢復。增強引擎可按需啟動。在一個實施例中，增強引擎從第一級電路110接收幀序列，增強幀質量，並將增強的幀序列發送到第二級電路120。幀序列可以具有不均勻質量狀況或均勻質量狀況。在增強引擎與諸如GPU的第一級電路110共存的實施例中，增強引擎可以從GPU卸載渲染操作。渲染操作的卸載可以使系統能夠以可接受的功耗增加FPS。在增強引擎位於傳輸網絡的Rx設備中的另一個實施例中，增強引擎可以用作穩定器以穩定由Rx設備接收的幀質量。
圖2是圖示根據一個實施例的用於提高幀序列的質量的系統100的框圖。由虛線指示的元件表示在一些替代實施例中可能不存在的元件。系統100包括第一級電路110及經由連接(例如，總線連接或傳輸網絡連接)耦合到第一級電路110的第二級電路120。增強引擎250被耦合到該連接並且用於提高從第一級電路110傳輸到第二級電路120的幀序列的質量。增強引擎250可以是專用硬件電路，或執行包含用於增強幀質量的指令的軟件，由處理器執行的軟件，或硬件電路和軟件指令的組合的通用硬件電路。因此，在一些實施例中，增強 引擎250也被稱為增強引擎電路。增強引擎250執行的幀質量增強可以包括超分辨率、幀內插和/或外插、修復、圖像對齊、運動合成等。
在一個實施例中，第一級電路110包括分辨率調整模塊112和FPS調整模塊113。第一級電路110使用分辨率調整模塊112動態地調整幀質量以生成低分辨率幀，以及/或FPS調整模塊113改變幀速率。在一個實施例中，系統100還可以包括控制第一級電路110的操作的主處理器(未示出)。系統100監控系統資源使用情況，例如計算資源使用情況、功耗、傳輸帶寬使用情況等。當資源的使用達到極限時，第一級電路110或主處理器啟動分辨率調整模塊112和FPS調整模塊113中的一個或兩個以調整(例如，降低)輸出幀質量。可以根據需要進行調整，例如，可以在任何時間間隔對任何幀進行分辨率和/或幀速率的降低。分辨率調整模塊112和FPS調整模塊113之一或兩者可以由專用硬件電路、包含可由處理器執行的指令的軟件、或硬件電路和軟件指令的組合來實現。在一個實施例中，分辨率調整模塊112和FPS調整模塊113都可以是GPU渲染管線(pipeline)的一部分。
在一個實施例中，第一級電路110可生成包括關於低分辨率幀和丟失幀的元資料(metadata)的額外信息，並將額外信息發送給增強引擎250。例如，第一級電路110可以對幀(N)進行渲染，但是不渲染低分辨率幀(N+1)或以低分辨率對幀(N+1)進行渲染。為了幫助增強引擎250改善幀質量，第一級電路110可以生成描述了幀(N+1)的屬性的元資料並將元資料發送到增強引擎250。元資料可包括關於幀(N+1)的以下任何一項信息：深度、紋理、法線、顏色、實例分割、運動矢量信息(例如，光流)、幀分辨率等。可以理解的是，增強引擎250可在使用或不使用來自第一及電路110的額外信息的情形下增強幀的質量。
在一個實施例中，第一級電路110可向增強引擎250發送幫助請求(help request)以請求幀質量增強。幫助請求可指示質量降低策略，例如FPS降 低和/或分辨率降低。幫助請求還可提供具有質量降低的幀的索引。例如，幫助請求可以包括幀插入請求，該幀插入請求指示幀序列中未渲染或未傳輸的幀的位置。增強引擎250可執行運動合成和對齊以插入這些丟失的幀。
在一個實施例中，增強引擎250包括對齊模塊252，其耦合至優化模塊253。對齊模塊252基於複數個幀各自的參考幀分別對複數個幀執行時間和空間對齊。對齊模塊252執行幾何變換、幀插值和/或外插，以及其他後處理(post-processing)(包括但不限於混合)。對齊模塊252可以利用第一級電路110發送的運動信息(其可以包括在元資料中)來執行上述操作。或者，對齊模塊252可以包括運動合成器251以產生運動信息。運動合成器251可以從幀中提取運動信息；例如，通過在當前幀(即，當前由增強引擎250處理的幀)和參考幀之間生成運動矢量和光流。運動信息可以包括幀中對象(object)的加速度估計。
優化模塊253執行幀優化操作，包括但不限於超分辨率(Super-Resolution，SR)、修復、混合、銳化和其他圖像處理操作。在一個實施例中，優化模塊253可包括經過訓練以執行優化操作的人工智能(Artificial Intelligence，AI)模型。例如，優化模塊253可包括用於將低分辨率圖像放大到更高分辨率圖像的AI SR模型。優化模塊253還可包括AI修復模型，用於修復具有許多缺失像素(例如，圖像中的孔)的圖像。優化模塊253的輸出可以被發送到第二級電路120。
增強引擎250中的運動合成器251、對齊模塊252和優化模塊253中的一個或複數個可以由專用硬件電路、包含可由處理器執行的指令的軟件或兩者的組合來實現。根據從第一級電路110傳輸的信息、平台能力和/或目標輸出質量，增強引擎250可以激活運動合成器251、對齊模塊252和優化模塊253中的一個或複數個以改善幀質量。
在一個實施例中，增強引擎250包括質量檢測器210，質量檢測器 210用於檢測從第一級電路110傳輸到第二級電路120的幀序列中的幀質量。當質量檢測器210檢測到幀序列中的質量不均勻情況；例如，不均勻的FPS和/或不均勻的分辨率，增強引擎250激活對齊模塊252和優化器模塊253以提高幀質量。如果使用質量檢測器210，則不再需要來自第一級電路110的幫助請求。
在該實施例中，優化模塊253的輸出由質量檢驗器220進行檢驗，質量檢驗器220將從優化模塊253輸出的幀的質量與質量閾值進行比較。如果輸出的幀的幀質量未達到質量閾值，則輸出回退到(fall back to)由增強引擎250接收的原始幀。例如，原始幀可能已經丟失了太多信息，使得優化模塊253執行的修復具有不可接受的質量。
在可選的實施例中，增強引擎250可在沒有來自第一級電路110的額外信息(例如元資料)的情況下提高幀質量。例如，增強引擎250可從接收到的幀序列中計算以下任何一項：深度、紋理、法線、顏色、實例分割、運動矢量信息(例如，光流)、幀分辨率等，以執行運動估計和補償、幀插值/外插，對齊，超分辨率，修復等。
在第一級電路110不提供額外信息或所提供的額外信息不包括運動信息的實施例中，運動合成器251可以使用一個或複數個先前幀中的信息來生成用於運動估計和補償的光流。
作為由第一級電路提供的額外信息的替代或補充，增強引擎250可能會利用其他來源提供的信息。在一個實施例中，增強引擎250可使用包括給定幀中的內容作為索引的查詢輸入來查詢(即，搜索)信息庫260以獲得參考信息。然後使用信息庫260的輸出來增強給定幀的質量。在一個實施例中，信息庫260可以包括通過因特網可訪問的任何信息；例如，萬維網(即萬維網)提供的信息。增強引擎250可以使用專有或公共搜索引擎來搜索信息。或者，信息庫260可包括資料庫，該資料庫可由增強引擎250通過有線或無線方式的公共或專有連 接在本地或遠程訪問。
圖3是圖示根據一個實施例的使用由雲服務器320提供的信息的增強引擎操作的示例的圖。在該實施例中，增強引擎350包括神經網絡310來處理查詢輸出並生成優化後的圖像370。增強引擎350可為圖2中的增強引擎250的示例。增強引擎350可在運行時向雲服務器320發送搜索請求，其中搜索請求包括輸入圖像300。搜索請求可以通過互聯網發送。在一個實施例中，雲服務器320管理存儲在雲存儲器321中的圖像信息。輸入圖像300可以是以下之一：幀序列中的幀、內插幀、外插幀或幀的一部分。輸入圖像300可能具有降低的圖像質量，例如低分辨率或丟失像素資料。由搜索生成的輸出圖像360可以通過修復、超分辨率或其他圖像處理技術提高輸入圖像300的質量。輸入圖像300和輸出圖像360被饋送到神經網絡310，神經網絡310執行SR操作或修復操作以產生優化後的圖像370。優化後的圖像370是被發送到第二級電路120的增強的幀序列的一部分。
圖4是圖示根據一個實施例的使用由資料庫420提供的信息的增強引擎的操作的示例圖。資料庫420存儲N個(關鍵元素，值)((key,value))對的集合，其中每個關鍵元素(key)的長度為C，每個值(value)的長度為C'，其中C和C'可能不同。也就是說，每個關鍵元素的長度與其對應的值的長度無關。關鍵元素和值是可訓練的參數。增強引擎250可以在運行時向資料庫420發送搜索請求，搜索請求中包括由神經網絡430從輸入圖像400生成的特徵圖455，輸入圖像400可以與圖3中的輸入圖像300相同。
特徵圖455具有尺寸H(高度)×W(寬度)×C(通道)，也表示為(H,W,C)。特徵圖455包括H×W個特徵圖元素456，每個特徵圖元素具有尺寸(1、1、C)。對於每個特徵圖元素456，增強引擎250查詢資料庫420以獲得尺寸為(1,1,C')的輸出元素466。因此，當查詢輸入為整個特徵圖455，資料庫420產生尺寸為(H、W、C')的查詢輸出460。查詢輸出460和特徵圖455被發送到神經網絡 410，神經網絡410執行SR操作或修復操作以產生優化後的圖像470。優化後的圖像470是被發送到第二級電路120的增強後的幀序列的一部分。
圖5-圖8根據一些實施例描述了查詢(query)、擴展(extend)和更新(update)資料庫420的一些操作。在資料庫420由增強引擎450管理的實施例中，這些資料庫操作可以由增強引擎450執行。在資料庫420由不同於增強引擎450的實體(例如，資料庫服務器)管理的另一實施例中，這些資料庫操作可以由該實體響應於增強引擎450提交的請求而執行。儘管以下的公開參考圖5-圖8描述了執行資料庫操作的增強引擎，應該理解的是，增強引擎可以執行或促使另一個實體(例如，資料庫服務器)執行參考附圖5-圖8所公開的資料庫操作。
圖5根據一個實施例示出了對資料庫420的查詢操作。根據圖5的實施例，資料庫420(圖4)包括N對關鍵元素521和值522(也即，N個(關鍵元素，值)對)。特徵圖元素456中的每一個用於查詢N個關鍵元素521以產生N個混合權重(blending weight)510；例如，互相關(cross-correlation)可以應用於每個特徵圖元素456和N個關鍵元素521。每一個混合權重510是用於指示查詢輸入(即，特徵圖元素456)和對應關鍵元素之間的相似性的指示。混合權重510被應用於值522(例如，通過卷積(convolution)或矩陣乘積(matrix product))以產生值522的加權和(weighted sum)。加權和是查詢輸出460的元素(例如，圖4中的輸出元素466)。對混合權重和加權和的計算被重複以生成查詢輸出460。
在一個實施例中，增強引擎450可在運行時(at runtime)擴展和/或更新資料庫420，或在運行時使資料庫420被擴展和/或被更新。對資料庫的擴展和更新可能基於增強引擎450在運行時接收的幀。
圖6是根據一個實施例說明計算新的(關鍵元素，值)對的圖。同時參考圖4，在一個實施例中，該計算可以由增強引擎450執行並且新的(關鍵元素，值)對被提交到資料庫420。最初，增強引擎450使用諸如神經網絡430 的神經網絡從幀或幀的一部分計算圖像嵌入(image embedding)610。圖像嵌入610可以是特徵圖455或特徵圖455的一部分。圖像嵌入610具有尺寸(H ",W ",C ")，其可能與特徵圖的尺寸(H、W、C)相同或不同。增強引擎450在圖像嵌入610上執行N次操作650以產生新的關鍵元素641和新的值642。根據操作650，圖像嵌入610與尺寸為(H"、W"、C")的卷積核權重(convolution kernel weight)621進行卷積。卷積的步幅(stride)大小=1。每個卷積產生一個尺寸為(1,1,1)的像素。該卷積被重複C次以獲得尺寸為(1,1,C)的新的關鍵元素631。類似地，圖像嵌入610與尺寸為(H ",W ",C ")的卷積核權重622進行卷積，該卷積的步幅大小=1。該卷積被重複C'次以獲得尺寸為(1,1,C')的新的值632。操作650重複N次，每次使用不同組的卷積核權重621和不同組的卷積核權重622。卷積核權重621和622是可訓練的參數。N次重複產生N個新的關鍵元素641和N個新的值642。
圖7是根據另一實施例說明計算新的(關鍵元素，值)對的圖。同時參考圖4，在一個實施例中，該計算可以由增強引擎450執行並且新的(關鍵元素，值)對被提交到資料庫420。增強引擎450對圖像嵌入610執行操作770，然後執行N次操作780以產生新的關鍵元素761和新的值762。根據操作770，圖像嵌入610與尺寸為(k，k，C")的卷積核權重721進行卷積。該卷積的步幅大小=s。該卷積被重複C次以產生尺寸為(
Figure 111135520-A0305-02-0014-13
,
Figure 111135520-A0305-02-0014-14
,C)的中間關鍵元素731。根據操作780，尺寸為(
Figure 111135520-A0305-02-0014-11
,
Figure 111135520-A0305-02-0014-12
,C)的一組多層感知(Multi-Layer Perception，MLP)權重741與中間關鍵元素731進行卷積以產生尺寸為(1,1,C)的新的關鍵元素751。該卷積是步幅=1的(
Figure 111135520-A0305-02-0014-9
,
Figure 111135520-A0305-02-0014-10
)卷積，並且相同的核權重應用於C個通道中的每一個。
此外，根據操作770，圖像嵌入610與尺寸為(k，k，C")的卷積核權重722進行卷積。該卷積的步幅=s。該卷積被重複C'次以產生尺寸為(
Figure 111135520-A0305-02-0014-4
,
Figure 111135520-A0305-02-0014-5
,C')的中間值元素732。根據操作780，尺寸為(
Figure 111135520-A0305-02-0014-6
,
Figure 111135520-A0305-02-0014-7
,1)的一組MLP權重742與中間值元素732進行卷積以產生尺寸為(1,1,C)的新的值元素752(也即，新的 值)。該卷積是步幅=1的(
Figure 111135520-A0305-02-0015-1
,
Figure 111135520-A0305-02-0015-2
)卷積，並且相同的核權重應用於C'個通道中的每一個。操作780重複N次，產生N個新的關鍵元素761和N個新的值762。每次重複使用不同組的MLP權重741和不同組的MLP權重742。卷積核權重721和722以及MLP權重741和MLP權重742是可訓練的參數。
根據圖6和圖7中的操作計算的(關鍵元素，值)對可以用於擴展和/或更新資料庫420。例如，增強引擎450可以通過將新的(關鍵元素，值)對添加到現有的對(existing pair)中來擴展資料庫420。增強引擎450還可以通過用新的(關鍵元素，值)對替換現有的(關鍵元素，值)對來更新資料庫420，以控制資料庫存儲空間。要替換的現有的對可能是最舊的或最少使用的對。替代地或附加地，增強引擎450可以通過參數化更新(parametrized update)來更新資料庫420，其中更新速度由參數α和β控制。
圖8是根據一個實施例說明更新資料庫的操作的圖。在該實施例中，N對更新後的關鍵元素821和更新後的值822計算為：(更新後的關鍵元素，更新後的值)=(α．新的關鍵元素+(1-α)．舊的關鍵元素，β．新的值+(1-β)．舊的關鍵元素)，其中α和β是[0,1]範圍內的參數。當α=β=0時，資料庫420中N個現有的(關鍵元素，值)對不變。當α=β=1時，資料庫420中的N個現有的(關鍵元素，值)對被新的(關鍵元素，值)對完全替換。在另一實施例中，可以一次對一個或複數個(關鍵元素，值)對執行更新。
圖9-圖11使用增強引擎450在時刻T=0，1，2接收到的幀作為示例。可以理解的是，T=0，1，2處的三個幀在增強引擎450接收的幀序列中不是連續的三個幀；幀序列在圖中所示的時刻之間存在複數個中間幀。該三個幀示出第二對象940從第一對象930的左邊移動到右邊。在T=0時，第一對象930的區域931可見，並且第一對象930的其餘部分被第二對象940遮擋。在T=1時，第一對象930完全被第二對象940遮擋。在T=2時，第一對象930的區域932未被覆 蓋(即，可見)，而區域932在T=0時至少部分被遮擋。
圖9是根據一個實施例說明基於幀的一部分的資料庫擴展的圖。同時參考圖4，增強引擎450可以通過將M個(關鍵元素，值)對添加到現有的N個(關鍵元素，值)對中來擴展資料庫420，以產生擴展後的資料庫920。增強引擎450可以基於幀(例如，T=2之前的幀)的一部分(例如，在T=0時刻的第一對象930的區域931)計算M個(關鍵元素，值)對中的一個或複數個。增強引擎450可以預測在後續幀(例如，T=2時的幀)中第一對象930的區域931將被遮擋並且區域932將變得可見。該預測可以基於複數個幀在時刻0和1之間的運動合成。雖然區域931和區域932是不同的區域(在可選的實施例中，區域931和區域932也存在部分重疊)，但它們屬於同一對象，因此，相較於擴展後的資料庫920中的其他值，從區域931導出的信息(值)可能對於優化區域932更有用。當在後續的幀中存在質量降低時(例如，在T=2處)，增強引擎450可以查詢擴展後的資料庫920並受益於具有與第一對象930相關的信息的(關鍵元素，值)對(例如，與區域931相關的(關鍵元素，值)對)來預測區域932的(關鍵元素，值)對，以此來優化區域932(例如修復932中丟失的像素或增強區域932的分辨率)。因此，增強引擎450可以基於當前在場景中(in-scene)且可能在後續幀中至少部分位於場景中但在後續幀中存在質量降低(例如缺失部分/全部像素)的圖像區域來擴展資料庫。另外，增強引擎450可以基於高分辨率(High Resolution，HR)幀擴展資料庫，並且資料庫查詢輸出可以用於在隨後的低分辨率(Low Resolution，LR)幀中銳化圖像。
在圖9的示例中，增強引擎450通過將神經網絡910應用於區域931來使用區域931計算(關鍵元素，值)對(例如，前述的M個(關鍵元素，值)對中的一個或複數個)，其中神經網絡910可以根據圖6或圖7所示的操作執行操作。編碼(例如，通過將神經網絡910應用於)幀的一個區域而不是整個幀可節 省資料庫存儲空間並減少資料庫搜索時間。由於資料庫存儲每幀的感興趣信息而不是整個幀，相同數量的資料庫存儲空間可以存儲更多幀的信息。增強引擎450然後將計算的(關鍵元素，值)對(一個或複數個對)添加到擴展後的資料庫920。
需要說明的是，在圖9中僅在T=2之前僅示出T=0及T=1兩個時刻，在實際中，對於T=2時刻中具有缺失像素的區域932(例如，區域932可能完全丟失或缺失一部分)，增強引擎450可以使用T=2時刻之前的複數個時刻的複數個幀的複數個區域來產生該M個(關鍵元素，值)對而並非僅基於T=0時刻的對象930的區域931。也即，M個(關鍵元素，值)對中的一部分可來源於T=0時刻與區域932有部分重疊關係的區域931相關的(關鍵元素，值)對，而M個(關鍵元素，值)對中的其餘部分可來源於T=2之前其他時刻與區域932具有重疊關係的其他可見區域相關的(關鍵元素，值)對。隨後，增強引擎450則可利用該M個(關鍵元素，值)對來優化(例如對T=2時刻的幀執行超分辨率處理或修復T=2時刻的區域932)。也即，作為區域932的參考(關鍵元素，值)對的(關鍵元素，值)對可來源於T=2時刻之前的複數個時刻的複數個幀的複數個區域。此外，在可替代的實施方式中，還可以利用資料庫中現有的K個(關鍵元素，值)對來作為參考(關鍵元素，值)來對T=2時刻的可見區域932進行優化。該K個(關鍵元素，值)對可能與時序無關(也即，並非來源於T=2之前的任意幀)。其中，該K個(關鍵元素，值)對可為現有的N個(關鍵元素，值)對中的一部分。
圖10是根據一個實施例說明使用擴展後的資料庫執行修復的圖。同時參考圖4，增強引擎450可檢測到第一對象930正相較於第二對象940進行移動(實際中，運動的物體可能是第一對象或第二對象)。基於複數個幀在時刻0和1之間的運動合成，增強引擎450可以預測第一對象930在T=2時的位置以及第一對象930在T=2時的可見區域(即，區域932)。如果幀在T=2時丟失 或區域932的像素資料丟失或損壞，則增強引擎450可以為T=2構建一個幀，其中該構建的幀包括區域932。在一個實施例中，增強引擎450使用神經網絡1010以生成特徵圖1055作為查詢輸入來查詢擴展後的資料庫920。在該示例中，增強引擎450可以將神經網絡1010應用於預測為T=2時出現的幀的一部分(例如，具有缺失像素的區域932(此處缺失像素可包括區域932完全缺失或僅缺失部分像素))以生成特徵圖1055。根據圖5所示的查詢操作，資料庫420為特徵圖1055的每個元素(具有尺寸(1,1,C))輸出查詢輸出1060的一個元素(具有尺寸(1,1,C'))。增強引擎450然後對查詢輸出1060和特徵圖1055應用神經網絡1020來生成T=2時的修復後的幀1070，其中修復後的幀1070包括第一對象930的修復後的區域932。
圖11是根據一個實施例說明使用擴展資料庫執行超分辨率(SR)的圖。在該示例中，T=2處的幀具有低分辨率(LR)，而T=0和T=1處的幀具有高分辨率(HR)。同時參考圖4，增強引擎450使用包括區域932的LR幀的一部分作為神經網絡1110的輸入來生成特徵圖1155。增強引擎450然後使用特徵圖1155作為查詢輸入來查詢擴展後的資料庫920。根據圖5所示的查詢操作，資料庫420為特徵圖1155的每個元素(具有尺寸(1,1,C))輸出查詢輸出1160的一個元素(具有尺寸(1,1,C'))。然後增強引擎450對查詢輸出1160和特徵圖1155應用神經網絡1120來生成區域932的SR版本。增強引擎450還可以使用T=1處的幀作為參考幀，並使用對齊模塊252(圖2)將T=2處的幀中的第二對象940與T=1處的幀中的第二對象940對齊。對齊輸出被添加到區域932的SR版本中以為T=2產生SR幀1170。
圖12是根據一個實施例說明用於增強幀序列的質量的方法1200的流程圖。方法1200可由增強引擎執行，例如增強引擎250(圖2)、增強引擎350(圖3)和/或增強引擎450(圖4)。增強引擎用於增強從第一級電路傳輸到 第二級電路(例如圖1和圖2中的第一級電路110和第二級電路120)的幀序列的質量。方法1200開始於步驟1210，在該步驟中增強引擎從第一級電路接收到具有至少一個質量下降的幀的幀序列。質量下降包括不均勻分辨率和不均勻每秒幀數(FPS)中至少一種。在步驟1220，增強引擎使用基於質量下降的幀的查詢輸入來查詢信息庫以獲得該質量下降的幀的參考信息作為查詢輸出。在步驟1230，增強引擎對查詢輸入和查詢輸出應用神經網絡來產生優化後的幀。在步驟1240，增強引擎將包括優化後的幀的增強後的幀序列發送給第二級電路。
在一個實施例中，神經網絡對質量下降的幀執行超分辨率(SR)操作和修復操作中至少一個。信息庫可通過互聯網訪問；或者，信息庫是可由增強引擎讀寫的資料庫。資料庫存儲複數組關鍵元素和相應的值。在一個實施例中，增強引擎可使用給定的神經網絡並基於幀(具有質量下降)生成特徵圖，使用特徵圖的元素來查詢關鍵元素以生成一組混合權重，並對相應的值應用該組混合權重或導致該組混合權重被應用於相應的值以生成查詢輸出的元素。在一個實施例中，將該神經網絡應用於該質量下降的幀中具有缺失像素的區域以生成該特徵圖。
在一個實施例中，增強引擎可基於幀序列中的一給定幀中的對象的第一區域計算圖像嵌入。增強引擎可進一步對圖像嵌入應用卷積核權重或導致卷積權重被應用於圖像嵌入來獲得新的(關鍵元素，值)對，通過將新的(關鍵元素，值)對加入資料庫來擴展資料庫或導致資料庫被拓展，以及查詢該資料庫(也即，擴展後的資料庫)來獲得後續幀(例如質量下降的幀)中該對象的第二區域上的信息。其中該第二區域在該給定幀中可見並且在該後續幀中至少預測為可見。
在一個實施例中，增強引擎可基於幀序列中的一給定幀中的對象的第一區域計算圖像嵌入。增強引擎可進一步對圖像嵌入應用卷積核權重或導 致卷積權重被應用於圖像嵌入來獲得新的(關鍵元素，值)對，通過用新的(關鍵元素，值)對替換現有的(關鍵元素，值)對來更新資料庫或導致資料庫被更新。
在一個實施例中，第一級電路、增強引擎和第二級電路可以位於同一電子設備內。或者，第一級電路和第二級電路位於通過傳輸網絡相互耦合的兩個電子設備中。此外，本文公開的神經網絡的特徵在於具有可訓練的參數。
圖13根據一個實施例示出設備1300的示例圖。設備1300可為圖2中的系統100的非限制性的示例。設備1300的一個示例是具有圖形處理能力的電子設備。例如，設備1300可以是智能手機、計算設備、聯網設備、遊戲設備、娛樂設備、物聯網(IoT)設備或任何能夠處理和顯示圖像和/或視頻的設備。
設備1300包括處理硬件1370。在一個實施例中，處理硬件1370包括中央處理單元(Central Processing Unit，CPU)1360、GPU 1310和以下中的一個或複數個：數位處理單元(Digital Processing Unit，DSP)、人工智能(Artificial Intelligence，AI)處理器、多媒體處理器、其他通用和/或專用處理電路。在一個實施例中，GPU 1310可以是前述的第一級電路110(圖1、2和3)，並且CPU 1360是GPU 1310的主處理器。
設備1300還包括通過顯示接口電路1340耦合到處理硬件1370的顯示子系統1380。在一個實施例中，顯示子系統1380包括增強引擎1350和顯示面板1320。顯示面板1320顯示諸如圖像、視頻、消息、遊戲、文本、圖形等的信息。在一個實施例中，顯示面板1320可以是上述的第二級電路120(圖1和圖2)，並且增強引擎1350可以是增強引擎250(圖2)、增強引擎350(圖3)和/或增強引擎450(圖4)。增強引擎1350可以是顯示子系統1380的一部分。增強引擎1350可以通過硬件實現，或者可以通過在通用或專用處理電路上運行的程序代碼來實現。在一個實施例中，增強引擎1350可以包括硬件加速器，例如 AI加速器，以執行幀質量優化(例如基於AI的超分辨率、修復和其他圖像處理操作)。
設備1300還包括耦合到處理硬件1370和顯示子系統1380的記憶體1330。記憶體1330可以包括諸如動態隨機存取記憶體(DRAM)、靜態隨機存取記憶體(SRAM)、閃存記憶體和其他非暫時性機器可讀存儲介質(例如，易失性或非易失性記憶體設備)。記憶體1330包括一個或複數個緩衝器1335，例如顏色緩衝器、元資料緩衝器、幀緩衝器等。GPU 1310可以將渲染後的幀存儲在顏色緩衝器或幀緩衝器中，並將元資料存儲在元資料緩衝器中，其中元資料包括關於那些未渲染的幀的信息，以及那些質量下降的幀(例如，低分辨率)的信息。在一些實施例中，記憶體1330可以存儲指令，這些指令在由處理硬件1370執行時使處理硬件1370執行圖12的方法1200。
在一個實施例中，CPU 1360可以設置顯示接口電路1340的目標刷新率(refresh rate)來控製圖像從緩衝器1335輸出到顯示面板1320的速率，並且當有必要時可以動態地執行刷新率調整。可以理解，圖13的實施例為了說明的目的而被簡化。本發明的設備可能包括額外的硬件組件。例如，設備1300還可以包括網絡接口以連接到有線和/或無線網絡，以用於發送和/或接收語音、數位資料和/或媒體信號。
圖14根據另一個實施例示出設備1400的示例圖。設備1400可為圖2中的系統100的非限制性的示例。在圖13和圖14中，相同的數位標籤用於指代相同的組件。設備1400包括處理硬件1470和顯示子系統1480。在這個實施例中，增強引擎1350是處理硬件1470的一部分；例如，增強引擎1350可以是GPU 1310的協同處理器，或者增強引擎1350可以通過在處理硬件1470的通用或專用處理電路上運行的程序代碼來實現。
在圖13和圖14的實施例中，GPU 1310可以將其渲染任務中的一 些卸載到增強引擎1350以在顯示面板1320上實現平滑的圖像顯示。卸載可以響應於資源限製(例如計算能力不足或功耗高)而發生。卸載使顯示器的刷新率能夠維持在默認刷新率(例如，60 FPS)或超過默認刷新率(例如，120 FPS)。
圖15根據一個實施例圖示了系統1500的示例。系統1500可以是圖2中的系統100的非限制性示例。系統1500包括通過傳輸網絡1580彼此耦合的發送器(Tx)設備1510和接收器(Rx)設備1520。傳輸網絡1580可以是有線和/或無線網絡；例如，互聯網。同時參照圖1和圖2，Tx設備1510包括第一級電路110，Rx設備1520包括第二級電路120和增強引擎1550。增強引擎1550可以是增強引擎250(圖2)、增強引擎350(圖3)和/或增強引擎450(圖4)。在一個實施例中，Tx設備1510和Rx設備1520可以是幀序列的傳輸路徑中的任意兩個端點。作為非限制性示例，Tx設備1510可以是雲服務器，Rx設備1520可以從雲服務器下載幀序列(例如，視頻)。由Tx設備1510生成並由Rx設備1520接收的幀序列的質量可能不均勻，因為幀的FPS和分辨率可能由於不穩定的傳輸帶寬而動態變化。增強引擎1550可以根據上述結合圖2-12的操作來穩定接收端的幀質量。
已經參照圖2-圖4的示例性實施例描述了圖12的流程圖的操作。然而，應該理解，圖12的流程圖的操作可以由本發明的圖2-4的實施例之外的實施例執行，並且圖2-4的實施例可以執行與上文討論的那些操作不同的操作。參考流程圖。儘管圖12的流程圖示出了由本發明的某些實施例執行的特定操作順序，但應當理解，這種順序是示例性的(例如，替代實施例可以以不同順序執行操作、組合某些操作、重疊某些操作等)。
本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域具有通常知識者，在不脫離本發明的精神和範圍內，當可做些許的更動與潤飾，因此本發明的保護範圍當視申請專利範圍所界定者為准。
1200:方法
1210,1220,1230,1240:步驟

Claims (18)

  1. 一種增強引擎增強幀序列的質量的方法，包括：從第一級電路接收到具有至少一個質量下降的幀的幀序列，其中該質量下降包括不均勻分辨率和不均勻每秒幀數中至少一種；使用基於該質量下降的幀的查詢輸入來查詢信息庫以獲得該質量下降的幀的參考信息作為查詢輸出；對該查詢輸入和該查詢輸出應用神經網絡來產生優化後的幀；將包括該優化後的幀的增強後的幀序列發送給第二級電路；其中該信息庫是由該增強引擎讀寫的資料庫；其中該資料庫存儲複數個(關鍵元素，值)對，且其中每一個該關鍵元素的長度與每一個相應的值的長度無關。
  2. 如請求項1所述的增強引擎增強幀序列的質量的方法，其中該神經網絡對該質量下降的幀執行超分辨率操作和修復操作中至少一個。
  3. 如請求項1所述的增強引擎增強幀序列的質量的方法，其中該信息庫通過互聯網訪問。
  4. 如請求項1所述的增強引擎增強幀序列的質量的方法，其中該資料庫存儲複數組關鍵元素和相應的值，其中使用基於該質量下降的幀的查詢輸入來查詢信息庫以獲得該質量下降的幀的參考信息作為查詢輸出包括：使用給定的神經網絡並基於該質量下降的幀生成特徵圖；使用該特徵圖的元素來查詢該資料庫中的關鍵元素以生成一組混合權重；和對該相應的值應用該組混合權重或導致該組混合權重被應用於該相應的值以生成該查詢輸出的元素。
  5. 如請求項4所述的增強引擎增強幀序列的質量的方法，其中 該使用給定的神經網絡並基於該質量下降的幀生成特徵圖進一步包括：將該給定的神經網絡應用於該質量下降的幀中具有缺失像素的區域以生成該特徵圖。
  6. 如請求項1所述的增強引擎增強幀序列的質量的方法，其中還包括：基於該幀序列中的一給定幀中的對象的第一區域計算圖像嵌入；對該圖像嵌入應用卷積核權重或導致卷積權重被應用於該圖像嵌入來獲得新的(關鍵元素，值)對；通過將該新的(關鍵元素，值)對加入該資料庫來擴展該資料庫或導致該資料庫被拓展。
  7. 如請求項6所述的增強引擎增強幀序列的質量的方法，其中還包括：其中該質量下降的幀包括該給定幀的一後續幀，且使用基於該質量下降的幀的查詢輸入來查詢信息庫以獲得該質量下降的幀的參考信息作為查詢輸出包括：使用基於該後續幀的查詢輸入查詢擴展後的該資料庫來獲得該後續幀中該對象的第二區域上的信息，其中該第二區域在該給定幀中可見並且在該後續幀中至少預測為可見。
  8. 如請求項1所述的增強引擎增強幀序列的質量的方法，其中還包括：基於該幀序列中的一給定幀中的對象的第一區域計算圖像嵌入；對該圖像嵌入應用卷積核權重或導致該卷積權重被應用於該圖像嵌入來獲得新的(關鍵元素，值)對；通過用該新的(關鍵元素，值)對替換現有的(關鍵元素，值)對來更新 該資料庫或導致該資料庫被更新。
  9. 如請求項6或8所述的增強引擎增強幀序列的質量的方法，其中對該圖像嵌入應用卷積核權重或導致該卷積權重被應用於該圖像嵌入來獲得新的(關鍵元素，值)對進一步包括：對該圖像嵌入應用該卷積核權重或導致該卷積權重被應用於該圖像嵌入來獲得中間(關鍵元素，值)對，並對該中間(關鍵元素，值)對應用多層感知權重來獲得該新的(關鍵元素，值)對。
  10. 一種增強幀序列的質量的系統，包括：第一級電路，用於發送具有至少一個質量下降的幀的幀序列，其中該質量下降包括不均勻分辨率和不均勻每秒幀數中至少一種；和增強引擎，用於接收該幀序列，使用基於該質量下降的幀的查詢輸入來查詢信息庫以獲得該質量下降的幀的參考信息作為查詢輸出；對該查詢輸入和該查詢輸出應用神經網絡來產生優化後的幀；將包括該優化後的幀的增強後的幀序列發送給第二級電路；其中該信息庫是由該增強引擎讀寫的資料庫；其中該資料庫存儲複數個(關鍵元素，值)對，且其中每一個該關鍵元素的長度與每一個相應的值的長度無關。
  11. 如請求項10所述的增強幀序列的質量的系統，其中該神經網絡對該質量下降的幀執行超分辨率操作和修復操作中至少一個。
  12. 如請求項10所述的增強幀序列的質量的系統，其中該信息庫通過互聯網訪問。
  13. 如請求項10所述的增強幀序列的質量的系統，其中該資料庫存儲複數組關鍵元素和相應的值，當使用基於該質量下降的幀的查詢輸入來查詢信息庫以獲得該質量下降的幀的參考信息作為查詢輸出時，該增強引擎執行： 使用給定的神經網絡並基於該質量下降的幀生成特徵圖；使用該特徵圖的元素來查詢該資料庫中的關鍵元素以生成一組混合權重；和對該相應的值應用該組混合權重或導致該組混合權重被應用於該相應的值以生成該查詢輸出的元素。
  14. 如請求項13所述的增強幀序列的質量的系統，其中該使用給定的神經網絡並基於該質量下降的幀生成特徵圖進一步包括：將該給定的神經網絡應用於該質量下降的幀中具有缺失像素的區域以生成該特徵圖。
  15. 如請求項10所述的增強幀序列的質量的系統，其中該增強引擎還執行：基於該幀序列中的一給定幀中的對象的第一區域計算圖像嵌入；對該圖像嵌入應用卷積核權重或導致該卷積權重被應用於該圖像嵌入來獲得新的(關鍵元素，值)對；通過將該新的(關鍵元素，值)對加入該資料庫來擴展該資料庫或導致該資料庫被拓展。
  16. 如請求項15所述的增強幀序列的質量的系統，其中該質量下降的幀包括該給定幀的一後續幀，且其中使用基於該質量下降的幀的查詢輸入來查詢信息庫以獲得該質量下降的幀的參考信息作為查詢輸出時，該增強引擎還執行：使用基於該後續幀的查詢輸入查詢擴展後的該資料庫來獲得該後續幀中該對象的第二區域上的信息，其中該第二區域在該給定幀中可見並且在該後續幀中至少預測為可見。
  17. 如請求項10所述的增強幀序列的質量的系統，該增強引擎還 執行：基於該幀序列中的一給定幀中的對象的第一區域計算圖像嵌入；對該圖像嵌入應用卷積核權重或導致該卷積權重被應用於該圖像嵌入來獲得新的(關鍵元素，值)對；通過用該新的(關鍵元素，值)對替換現有的(關鍵元素，值)對來更新該資料庫或導致該資料庫被更新。
  18. 如請求項10所述的增強幀序列的質量的系統，其中該第一級電路、該增強引擎和該第二級電路位於同一電子設備內；或者該第一級電路和該第二級電路位於通過傳輸網絡相互耦合的兩個電子設備中。
TW111135520A 2021-09-22 2022-09-20 增強幀序列的質量的方法及系統 TWI829350B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163246833P 2021-09-22 2021-09-22
US63/246,833 2021-09-22
US17/939,939 US20230087097A1 (en) 2021-09-22 2022-09-07 Frame sequence quality booster using information in an information repository
US17/939,939 2022-09-07

Publications (2)

Publication Number Publication Date
TW202315380A TW202315380A (zh) 2023-04-01
TWI829350B true TWI829350B (zh) 2024-01-11

Family

ID=85572028

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111135520A TWI829350B (zh) 2021-09-22 2022-09-20 增強幀序列的質量的方法及系統

Country Status (3)

Country Link
US (1) US20230087097A1 (zh)
CN (1) CN115914493A (zh)
TW (1) TWI829350B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006080655A1 (en) * 2004-10-18 2006-08-03 Samsung Electronics Co., Ltd. Apparatus and method for adjusting bitrate of coded scalable bitsteam based on multi-layer
CN111587447A (zh) * 2018-01-02 2020-08-25 谷歌有限责任公司 帧循环视频超分辨率

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006080655A1 (en) * 2004-10-18 2006-08-03 Samsung Electronics Co., Ltd. Apparatus and method for adjusting bitrate of coded scalable bitsteam based on multi-layer
CN111587447A (zh) * 2018-01-02 2020-08-25 谷歌有限责任公司 帧循环视频超分辨率

Also Published As

Publication number Publication date
CN115914493A (zh) 2023-04-04
TW202315380A (zh) 2023-04-01
US20230087097A1 (en) 2023-03-23

Similar Documents

Publication Publication Date Title
US11321906B2 (en) Asynchronous time and space warp with determination of region of interest
US20180191868A1 (en) Method and System for Downloading Multiple Resolutions Bitrate for Virtual Reality (VR) Video Streaming Optimization
US10242462B2 (en) Rate control bit allocation for video streaming based on an attention area of a gamer
US20230108115A1 (en) Distribution of application computations
US20230169935A1 (en) Method and apparatus for adjusting image luminance, storage medium, and electronic device
US20080100613A1 (en) Method, medium, and system rendering 3D graphics data to minimize power consumption
US11455705B2 (en) Asynchronous space warp for remotely rendered VR
CN115088254A (zh) 分布式系统中的运动平滑
US11128730B2 (en) Predictive bitrate selection for 360 video streaming
US20190033961A1 (en) Graphics processing systems
KR20190011212A (ko) 출력면을 제공하는 방법 및 데이터 처리 시스템
US20210044807A1 (en) Systems and methods for deferred post-processes in video encoding
TWI829350B (zh) 增強幀序列的質量的方法及系統
CN111696034B (zh) 图像处理方法、装置及电子设备
US20180174359A1 (en) Frame difference generation hardware in a graphics system
US20160284315A1 (en) Content Adaptive Backlight Power Saving Technology
US11315211B2 (en) Methods and apparatus for efficient motion estimation
US20230067568A1 (en) Frame Sequence Quality Booster under Uneven Quality Conditions
CN112774193A (zh) 一种云游戏的图像渲染方法
US8482574B2 (en) System, method, and computer program product for calculating statistics associated with a surface to be rendered utilizing a graphics processor
US20240087207A1 (en) Depth analyzer and shading rate controller
US20230134779A1 (en) Adaptive Mesh Reprojection for Low Latency 6DOF Rendering
CN111010525B (zh) 动态调整图像清晰度的方法及其图像处理装置
WO2024126043A1 (en) Mechanism to control the refresh rate of the real-environment computation for augmented reality (ar) experiences
CN116916028A (zh) 使用虚拟分辨率调整的视频流缩放