TWI786906B

TWI786906B - 幀處理設備、方法及幀處理器

Info

Publication number: TWI786906B
Application number: TW110139994A
Authority: TW
Inventors: 任正隆; 叢培貴; 陳志瑋; 王耀笙; 陳釋澈; 林鈺盛; 古志文; 林士欽; 黃聰賢; 陳英傑
Original assignee: 聯發科技股份有限公司
Priority date: 2019-12-06
Filing date: 2021-10-28
Publication date: 2022-12-11
Also published as: TW202224402A; CN114596339A; US11580621B2; US20230153958A1; US20210174473A1; US11983848B2

Abstract

本發明提供幀處理設備，包括：運動估計電路，被配置為估計當前幀和先前幀之間的運動資料；變形電路，耦接至所述運動估計電路，被配置基於所述運動資料對所述先前幀進行變形，使得所述變形的所述先前幀與所述當前幀對齊，並確定所述當前幀與所述變形的先前幀是否一致；和臨時決定電路，與所述變形電路耦接，被配置為生成輸出幀，當所述當前幀和所述變形後的先前幀一致時，所述輸出幀包括所述當前幀和所述變形後的先前幀。

Description

幀處理設備、方法及幀處理器

本發明涉及圖像處理技術，並且更具體地，涉及用於處理具有混疊偽像（aliasing artifact）的圖像的人工智能（Artificial Intelligence，AI）引擎。

本文提供的背景技術的描述是為了從總體上呈現本發明的內容。本發明的發明人的工作，包括本背景技術部分描述的內容以及說明書中在申請日時不符合先前技術的那些方面，它們都不應當被明確地或暗含地認為是本發明的先前技術。

圖像（image）或幀（frame）可以顯示在行動電話上。所述幀可以包括通過互聯網（Internet）且來自云源端的視頻幀和由行動電話的處理器（例如，圖形處理單元（Graphics Processing Unit，GPU））產生的遊戲視頻。受Internet帶寬以及行動電話尺寸和分辨率的限制，視頻幀和遊戲幀可能具有較低的分辨率和具有混疊特性。

本發明提供幀處理設備、方法及幀處理器，可有助於消除幀的混疊偽像。

本發明提供的一種幀處理設備，包括：運動估計電路，被配置為估計當前幀和先前幀之間的運動資料；變形電路，耦接至所述運動估計電路，被配置基於所述運動資料對所述先前幀進行變形，使得所述變形的所述先前幀與所述當前幀對齊，並確定所述當前幀與所述變形的先前幀是否一致；和臨時決定電路，與所述變形電路耦接，被配置為生成輸出幀，當所述當前幀和所述變形後的先前幀一致時，所述輸出幀包括所述當前幀和所述變形後的先前幀。

本發明提供的幀處理器器，包括：超分辨率（SR）和抗混疊（AA）引擎，用於接收訓練幀並增強所述訓練幀的分辨率並消除所述訓練幀的混疊偽像，以生成具有混疊偽像的第一高分辨率幀和消除了混疊偽像的第二高分辨率幀；和連接到所述SR和AA引擎的關注參考幀生成器，其被配置為基於所述第一高分辨率幀和所述第二高分辨率幀生成關注參考幀。

本發明提供的幀的處理方法，包括：估計當前幀和先前幀之間的運動資料；基於所述運動資料使所述先前幀變形，使得所述變形後的先前幀與所述當前幀對齊；和生成輸出幀，當所述當前幀和所述變形後的先前幀一致時，所述輸出幀包括所述當前幀和所述變形後的先前幀。

在說明書及申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬技術領域具有通常知識者應可理解，硬體製造商可能會用不同的名詞來稱呼同一個元件。本說明書及申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及申請專利範圍當中所提及的“包含”及“包括”為一開放式的用語，故應解釋成“包含但不限定於”。“大體上”是指在可接受的誤差範圍內，所屬技術領域具有通常知識者能夠在一定誤差範圍內解決所述技術問題，基本達到所述技術效果。此外，“耦接”一詞在此包含任何直接及間接的電性連接手段。因此，若文中描述一第一裝置耦接於一第二裝置，則代表該第一裝置可直接電性連接於該第二裝置，或通過其它裝置或連接手段間接地電性連接至該第二裝置。以下所述為實施本發明的較佳方式，目的在於說明本發明的精神而非用以限定本發明的保護範圍，本發明的保護範圍當視後附的申請專利範圍所界定者為准。

接下面的描述為本發明預期的最優實施例。這些描述用於闡述本發明的大致原則而不應用於限制本發明。本發明的保護範圍應在參考本發明的申請專利範圍的基礎上進行認定。

超分辨率（Super-Resolution，SR）技術可以從低分辨率圖像重建高分辨率圖像，所述低分辨率圖像可由包括的傳感器數量不足的圖像捕獲設備捕獲。抗混疊（Anti-Aliasing，AA）技術可以提高具有混疊偽像的低分辨率圖像的質量。但是，在SR和AA操作之後，圖像的某些信息可能會丟失。例如，當原始圖像（例如，連續幀流中的當前幀）中的對象（例如登機梯）水平移動時，在移除了混疊偽像後，登機梯的某些垂直部分（例如欄杆）可能會消失而不顯示在已處理的圖像中。代替在SR和AA操作期間僅處理原始圖像，當附加圖像和原始圖像滿足某些要求時，本發明還可進一步考慮至少一個附加圖像（例如，連續幀流中的先前幀）。在一個實施例中，可以首先確定附加圖像和原始圖像之間的運動資料（motion data），然後可以基於該運動資料使附加圖像變形（warp），使得變形後的附加圖像可以與原始圖像對齊（aligned），並且當變形後的附加圖像和原始圖像一致時，變形後的附加圖像可以在對原始圖像執行SR和AA的操作中進一步被使用。根據本發明的一些其他實施例，可以將分辨率被增強後的幀與消除了混疊偽像的幀進行比較，以生成關注參考幀（attention reference frame），該關注參考幀包括這兩個幀之間的關鍵差異信息。在一個實施例中，可以使用關注參考幀訓練神經網絡（Neural Network，NN），然後，訓練後的NN可以增強另一幀的分辨率，並使用所述另一幀增強後的分辨率移除所述另一幀的混疊偽像，其中，僅關注所述關注參考幀中包含的關鍵信息（也即，所述關鍵差異信息）來增強所述另一幀的分辨率。

在大多數數位成像應用中，始終期望具有更高分辨率的數位圖像用於後續圖像處理和分析。數位圖像的分辨率越高，數位圖像的細節越多。數位圖像的分辨率可以分類為例如像素分辨率（pixel resolution），空間分辨率（spatial resolution），時間分辨率（temporal resolution）和光譜分辨率（spectral resolution）。空間分辨率可能會受到圖像捕獲設備和圖像顯示設備的限制。例如，電荷耦接設備（Charge-Coupled Device，CCD）和互補金屬氧化物半導體（Complementary Metal-Oxide-Semiconductor，CMOS）是圖像捕獲設備中使用最廣泛的圖像傳感器。傳感器的尺寸和每單位面積的傳感器數量可以確定圖像捕獲設備捕獲的圖像的空間分辨率。具有高傳感器密度的圖像捕獲設備可以生成高分辨率圖像，但是消耗很多功率並且具有高硬件成本。

傳感器數量不足的圖像捕獲設備可能會生成低分辨率圖像。這樣生成的低分辨率圖像將具有失真偽影或鋸齒狀邊緣（稱為混疊），每當使用位於精確列（row）和行（column）中的像素創建非矩形形狀時，就會發生這種混疊。當以較低的分辨率表示高分辨率圖像時，會發生混疊。混疊可能會分散電腦（PC）或行動設備用戶的注意力。

圖1根據本發明的一些實施例示出了示例性的虛擬高分辨率圖像110如何被顯示在低分辨率的光柵顯示器100上。顯示器100可以具有位於列和行中的複數個像素120。十字“+”代表像素120的取樣點130，取樣點130用於確定是否會為像素生成片段（fragment）。例如，當取樣點130A未被圖像110（例如三角形圖元）覆蓋時，即使像素120A的一部分被該三角形110覆蓋，也不會為具有取樣點130A的像素120A生成片段；當取樣點130B被三角形110覆蓋時，即使像素120B的一部分未被三角形110覆蓋，也將為具有取樣點130B的像素120B生成片段。因此顯示器100渲染（render）的三角形110被示為具有鋸齒狀邊緣。

抗混疊是一種通過以比預期最終輸出速率高的速率對圖像進行過取樣從而消除（smooth）圖像的鋸齒狀邊緣來解決混疊問題的技術。例如，多樣本抗混疊（Multisample Anti-Aliasing，MSAA）是為解決出現在三角形110邊緣的混疊而提出的超取樣抗混疊（Supersampling Anti-Aliasing，SSAA）算法之一，其可以將顯示器的每個像素模擬為具有複數個子像素，並根據被目標圖像覆蓋的子像素的數量確定像素的顏色。圖2根據本發明的一些實施例示出了示例性的三角形110如何能夠在應用了MSAA的情況下顯示在低分辨率光柵顯示器100上。MSAA可以將每個像素120模擬為具有2x2個子像素220，每個子像素均具有一個子取樣點230，並根據三角形110所覆蓋的子取樣點230的數量確定像素120的顏色。例如，當沒有子取樣點230A被三角形110覆蓋，不會為具有取樣點230A的像素120A生成片段，且像素120A是空白的；當三角形110僅覆蓋一個子取樣點230B時，具有取樣點230B的像素120B將具有淺色，例如，三角形110的顏色的四分之一，其可以由片段著色器估計；當三角形110僅覆蓋兩個子取樣點230C時，具有取樣點230C的像素120C將具有比像素120B暗的顏色，例如，三角形110的顏色的一半；當三角形110覆蓋多達三個子取樣點230D時，具有取樣點230D的像素120D將具有比像素120C更暗的顏色，例如，三角形110的顏色的四分之三；當所有子取樣點230E被三角形110覆蓋時，具有取樣點230E的像素120E將具有與圖1所示的像素120B相同的最暗顏色。因此致使渲染在顯示器100上的應用了MSAA三角形110與未施加MSAA的圖1的顯示器100上渲染的三角形110相比，具有更平滑的邊緣。

如圖2所示，每個像素120採用2x2子取樣點230的規則網格來確定其顏色。在一個實施例中，每個像素120還可以採用1×2或2×1或4×4或8×8子取樣點230的規則網格來確定其顏色。在另一個實施例中，每個像素120還可以使用2×2子取樣點230，即，旋轉網格超取樣（Rotated Grid SuperSampling，RGSS），以及五個子取樣點230（例如，梅花形抗混疊），其中所述五個子取樣點中的四個分別與其他四個其他像素共享。隨著子像素數量的增加，計算變得昂貴並且需要大的記憶體。

MSAA可以通過諸如卷積加速器和圖形處理單元（Graphics Processing Unit，GPU）之類的人工智能（AI）處理器執行，這樣的處理器被設計為加速旨在輸出到顯示器的圖像在圖像緩衝區中的創建，以便從中央處理器（CPU）上卸載圖形處理操作。桌面GPU可以使用即時模式渲染（rendering）。即時模式GPU需要片外主記憶體（例如DRAM）來存儲大量的多取樣像素資料，並且必須訪問DRAM以從多取樣像素資料中獲取當前片段的像素坐標以為每個片段著色（shading），這會佔用大量帶寬。本發明提出了一種基於行動電話圖塊（tile-based）的GPU，以最大程度減少片段著色期間GPU所需的外部記憶體訪問量。基於圖塊的GPU將圖像緩衝區從片外記憶體移出，並將其移入高速片上記憶體（即需要訪問較少的電源的圖塊緩衝區）。不同的GPU中圖塊緩衝區的大小可能有所不同，但圖塊緩衝區最小可以小至16x16像素。為了使用這樣的小圖塊緩衝區，基於圖塊的GPU將渲染目標（render target）拆分為小圖塊，並一次渲染一個圖塊。渲染完成後，將圖塊複製到外部記憶體中。在拆分渲染目標之前，基於圖塊的GPU必須將大量幾何資料（即每個頂點變化的資料和圖塊中間狀態）存儲到主記憶體中，這將犧牲（compromise）一部分用於圖像緩衝區資料的帶寬節省。

圖3根據本發明的一些實施例示出了用於處理具有混疊偽像的圖像或幀的示例性設備300的功能框圖。設備300可以增強當前幀的分辨率（例如，通過超分辨率技術），並且可以通過僅處理當前幀，或者當前幀和變形後的與當前幀對齊的先前幀來消除增強了分辨率的當前幀的混疊偽像，以盡可能保留當前幀中包含的信息。例如，設備300可以包括運動估計電路310，變形電路320和臨時決定（temporal decision）電路330。

運動估計電路310可以接收至少包括當前幀和一先前幀的複數個連續圖像或幀。例如，當前幀和先前幀可以是視頻幀流，其可能是通過Internet獲取的來自雲源端的低分辨率信號並具有混疊特性。作為另一示例，當前幀和先前幀可以是由行動電話的處理器（例如，GPU）生成的遊戲幀。受行動電話的尺寸和分辨率限制，遊戲幀也可能是低分辨率的，因此具有混疊特性。運動估計電路310可以估計當前幀和先前幀之間的運動資料。例如，運動資料可以包括先前幀移動到當前幀的方向以及從先前幀移動到當前幀需要多遠（例如，複數個像素）。在一個實施例中，運動估計電路310可以是可以被訓練以估計當前幀和先前幀之間的運動資料的神經網絡。在另一實施例中，運動估計電路310可以使用絕對差之和（Sum of Absolute Difference，SAD）方法，平均絕對差（Mean Absolute Difference，MAD）方法，平方差之和（Sum of Squared Difference，SSD）方法，零均值SAD方法，局部縮放的SAD方法或歸一化互相關（Normalized Cross Correlation，NCC）方法估計運動資料。例如，在SAD操作中，可以提取先前幀的一個塊（patch）並將其向右移位一個值，並且先前幀移位後的塊的像素與當前幀的對應塊的像素之間的絕對差的第一和可以被計算出來。先前幀的該移位後的塊可進一步向右移位該值，並且先前幀進一步移位後的塊的像素與當前幀的對應塊的像素之間的絕對差的第二和也可被計算出來。當第一和小於第二和時，該運動資料可以等於該值，或者當第二和小於第一和時，該運動資料可以等於該值的兩倍。

變形電路320可以耦接到運動估計電路310，並且基於運動資料來變形先前幀，使得變形後的先前幀與當前幀對齊。例如，變形電路320可以基於運動資料將先前幀的結構（texture）/形狀與當前幀幾何對齊。在一個實施例中，當第一和小於第二和時，變形電路320可以基於該值向右變形先前幀。在另一個實施例中，當第二和小於第一和時，變形電路320可以以該值的兩倍向右變形先前幀。例如，變形電路320可以沿著先前幀的列線性插入像素，然後再沿著行插入，以將先前幀中最接近S的四個像素的雙線性函數（bilinear function）值分配給當前幀的參考像素位置，並在雙立方插值（bicubic interpolation）中使用16個最近的鄰居及使用雙立方波形（bicubic waveform）來減少重取樣偽像。在一個實施例中，當移位後的先前幀與當前幀匹配時，變形電路320可以變形先前幀。例如，當第一和小於第二和且小於和閾值時，變形電路320可以基於該值向右變形先前幀。作為另一示例，當第二和小於第一和且小於和閾值時，變形電路320可以基於該值的兩倍向右變形先前幀。在另一個實施例中，當運動資料小於運動閾值時，變形電路320可以變形先前幀。例如，運動閾值可以是該值的三倍，無論先前幀向右移位三倍所述值後的塊的像素與當前幀的對應塊之間的像素的絕對差的第三和是否是小於第一和，第二和及運動閾值，變形電路320均不基於該三倍所述值向右變形先前幀。在另一個實施例中，變形電路320還可以確定當前幀和變形後的先前幀是否一致。例如，變形電路320可以基於當前幀和變形後的先前幀之間的互相關來確定當前幀和變形後的先前幀的一致性信息。例如，當互相關超過閾值時，變形電路320可以確定變形後的先前幀和當前幀是一致的。

臨時決定電路330可以耦接到變形電路320並且被配置為生成輸出幀。例如，當當前幀和變形後的先前幀一致時，輸出幀可以包括當前幀和變形後的先前幀。作為另一示例，當當前幀和變形後的先前幀不一致時，輸出幀可以僅包括當前幀。在一些實施例中，臨時決定電路330可以進一步耦接到運動估計電路310，並且當運動資料等於或超過運動閾值時，輸出幀可以僅包括當前幀。

如圖3所示，設備300可以進一步包括幀融合電路340。幀融合電路340可以耦接到臨時決定電路330，並且融合包括當前幀和變形後的先前幀的輸出幀。例如，幀融合電路340可以通過逐通道（channel-wise）方式將變形後的先前幀連接到（concatenate）當前幀。作為另一示例，幀融合電路340可以將變形後的先前幀添加到當前幀以生成單個幀。

如圖3所示，設備300還可以包括幀處理器350。幀處理器350可以耦接到幀融合電路340並處理從幀融合電路340輸出的幀，該幀可以是當前幀，當前幀連接到變形的先前幀，或所述單個幀。例如，幀處理器350可以調整當前幀的尺寸或增強當前幀的分辨率，並使用當前幀增強後的分辨率來消除當前幀的混疊偽像。在一個實施例中，可以省略幀融合電路340，並且可以將幀處理器350直接耦接至臨時決定電路330，並處理當前幀，或當前幀和變形後的先前幀。由於變形後的先前幀也可以由變形電路320生成並且在變形後的先前幀與當前幀一致時被輸出到幀處理器350，因此幀處理器350可以增強當前幀的分辨率並通過進一步考慮變形後的先前幀來消除增強分辨率後的當前幀的混疊偽像。在這種情況下，與僅考慮當前幀來處理當前幀相比，被處理的當前幀將丟失較少的信息。

圖4根據本發明的一些實施例示出了用於處理具有混疊偽像的圖像或幀的示例性幀處理器400的功能框圖。幀處理器400可以耦接到設備300的臨時決定電路330或幀融合電路340。幀處理器400可以包括關注參考幀生成器430和耦接到關注參考幀生成器430的人工智能（AI）神經網絡（NN）440。關注參考幀生成器430可以基於具有混疊偽像的第一高分辨率幀和消除了混疊偽像的第二高分辨率幀來生成關注參考幀。例如，關注參考幀生成器430可以比較第一幀（也即，該第一高分辨率幀）和第二幀（也即，該第二高分辨率幀）以捕獲第一幀區別於第二幀的關鍵信息。AI NN 440可以基於關注參考幀消除另一幀（例如低分辨率的當前幀）的混疊偽像。例如，可以通過使用關注參考幀來訓練AI NN 440，然後AI NN 440增強低分辨率幀的分辨率，並使用低分辨率幀增強後的分辨率消除低分辨率幀的混疊偽像，其中僅關註低分辨率幀中與包括在關注參考幀中的關鍵信息相對應的一部分來增強所述低分辨率幀的分辨率。

圖5根據本發明的一些實施例示出了用於處理具有混疊偽像的圖像或幀的示例性幀處理器500的功能框圖。幀處理器500可以耦接到設備300的臨時決定電路330或幀融合電路340。幀處理器500可以包括尺寸調整或超分辨率（SR）和抗混疊（AA）引擎501，與SR和AA引擎501耦接的關注參考幀生成器430以及AI NN440。SR和AA引擎501可以生成具有混疊偽像的第一高分辨率幀和已消除混疊偽像的第二高分辨率幀。在一個實施例中，SR和AA引擎501可以包括SR引擎510，其可以增強可能具有混疊偽像的幀的分辨率以生成增強分辨率的幀，例如，具有混疊偽像的第一高分辨率幀。例如，SR引擎510可以是人工智能（AI）SR引擎。在另一個實施例中，SR和AA引擎501可以進一步包括耦接到SR引擎510的AA引擎520，其可以消除增強分辨率的幀的混疊偽像以生成抗混疊幀，例如消除了混疊偽像的第二高分辨率幀。例如，AA引擎520可以是AI AA引擎。在另一實施例中，AA引擎520可以被佈置在SR引擎510的前面。在這種情況下，一個幀（具有混疊偽像的幀）將被AA引擎520首先消除其混疊偽像，然後兩個幀（具有混疊偽像的幀和AA引擎520消除混疊偽像的幀）將透過SR引擎510增強它們的分辨率，由此得到具有混疊偽像的第一高分辨率幀和消除了混疊偽像的第二高分辨率幀。關注參考幀生成器430可基於增強分辨率的幀（也即，具有混疊偽像的第一高分辨率幀）和消除抗混疊的幀（也即，消除了混疊偽像的第二高分辨率幀）來生成關注參考幀。例如，關注參考幀生成器430可以將增強分辨率的幀和消除抗混疊的幀進行比較以捕獲增強分辨率的幀中與抗混疊的幀有區別的關鍵信息。

圖6根據本發明的一些實施例示出了用於處理具有混疊偽像的圖像或幀的示例性方法600的流程圖。當幀處理器400和500正在消除低分辨率幀的混疊偽像時，方法600可以向幀處理器，例如幀處理器400和500，提供附加的變形後的先前幀。在各種實施例中，方法600所示的一些步驟可以同時執行，以與圖6所示順序不同的順序執行，被其他方法步驟代替，或者可以省略。還可以根據需要執行額外的方法步驟。方法600的各方面可以由前面基於附圖示出或描述的設備300來實施。

在步驟610，可以估計當前幀和先前幀之間的運動資料。

在步驟620，可以基於所述運動資料變形所述先前幀，以使變形後的所述先前幀與所述當前幀對齊。

在步驟630，可以生成輸出幀。例如，當所述當前幀和所述變形後的先前幀一致時，所述輸出幀可以包括所述當前幀和所述變形後的先前幀。作為另一示例，當所述當前幀與所述變形後的先前幀不一致時，所述輸出幀可以僅包括所述當前幀。然後，方法600可以處理所述輸出幀。

在步驟640，可以對輸入幀（也即，步驟630的所述輸出幀）執行AI模型（也即，訓練後的AI神經網絡）以生成消除了混疊偽像的AA幀或AA + SR幀。

圖7根據本發明的一些實施例示出了用於處理具有混疊偽像的圖像或幀的示例性方法700的流程圖。在各個實施例中，方法700所示的一些步驟可以同時執行，以與圖7所示順序不同的順序執行，被其他方法步驟代替，或者可以省略。還可以根據需要執行額外的方法步驟。方法700的各方面可以由前面基於附圖示出或描述的幀300處理器400和500來實施。可通過方法700獲得訓練的AI 神經網絡。

在步驟710，接收具有混疊偽像的第一高分辨率幀和混疊偽像被消除的第二高分辨率幀，例如。用於產生具有混疊偽像的第一高分辨率幀和混疊偽像被消除的第二高分辨率幀的原始輸入可為在訓練AI神經網絡的階段提供至SR和AA引擎501的訓練幀。

在步驟720，可以基於所述第一幀（也即，第一高分辨率幀）和所述第二幀（也即，第二高分辨率幀）生成關注參考幀。在一個實施例中，關注參考幀可以包括所述第一幀的關鍵信息，所述關鍵信息是所述第一幀區別於所述第二幀的信息。

在步驟730，可以使用低分辨率幀（例如，在訓練AI神經網絡時，臨時決定電路330所生成的輸出幀）和所述關注參考幀來訓練AI NN。

在步驟740，可以確定AI模型（AA或AA + SR）的參數。

在步驟750，可以獲得參數被確定或凍結的AI模型（AA或AA + SR）（也即，訓練後的AI神經網絡）（例如，方法600之步驟640所使用之AI模型）。

在根據本發明的一個實施例中，運動估計電路310，變形電路320，臨時決定電路330和幀融合電路340可以包括被配置為與軟件結合或在沒有軟件的情況下執行本文描述的功能和過程的電路。在另一個實施例中，運動估計電路310，變形電路320，臨時決定電路330和幀融合電路340可以是數位信號處理器（Digital Signal Processor，DSP），專用集成電路（Application Specific Integrated Circuit，ASIC），可編程邏輯器件（Programmable Logic Device，PLD），現場可編程門陣列（Field Programmable Gate Array，FPGA），數位增強電路或類似設備或其組合。在根據本發明的另一實施例中，運動估計電路310，變形電路320，臨時決定電路330和幀融合電路340可以是中央處理單元（Central Processing Unit，CPU），其被配置為執行程序指令以執行本文所述的各種功能和方法。在各種實施例中，運動估計電路310，變形電路320，臨時決定電路330和幀融合電路340可以彼此不同。在一些其他實施例中，運動估計電路310，變形電路320，臨時決定電路330和幀融合電路340可以被包括在單個芯片中。

設備300以及幀處理器400和500可選擇性地包括其他組件，例如輸入和輸出設備，附加的信號處理電路等。因此，設備300以及幀處理器400和500可能能夠執行其他附加功能，例如執行應用程序，以及處理備選通信協議。

本發明雖以較佳實施例揭露如上，然其並非用以限定本發明的範圍，任何所屬技術領域具有通常知識者，在不脫離本發明的精神和範圍內，當可做些許的更動與潤飾，因此本發明的保護範圍當視申請專利範圍所界定者為准。

110:圖像 100:顯示器 130,130A,130B:取樣點 120,120A,120B,120C,120D,120E:像素 220:子像素 230,230A,230B,230C,230D,230E:子取樣點 310:運動估計電路 320:變形電路 350,400,500:幀處理器 340:幀融合電路 330:臨時決定電路 300:設備 440:人工智能神經網絡 430:關注參考幀生成器 501:超分辨率和抗混疊引擎 510:超分辨率引擎 520:抗混疊引擎 600,700:方法 610,620,630,640,650,710,720,730,740,750:步驟

圖1根據本發明的一些實施例示出了示例性的虛擬高分辨率圖像110如何被顯示在低分辨率的光柵顯示器100上。圖2根據本發明的一些實施例示出了示例性的三角形110如何能夠在應用了MSAA的情況下顯示在低分辨率光柵顯示器100上。圖3根據本發明的一些實施例示出了用於處理具有混疊偽像的圖像或幀的示例性設備300的功能框圖。圖4根據本發明的一些實施例示出了用於處理具有混疊偽像的圖像或幀的示例性幀處理器400的功能框圖。圖5根據本發明的一些實施例示出了用於處理具有混疊偽像的圖像或幀的示例性幀處理器500的功能框圖。圖6根據本發明的一些實施例示出了用於處理具有混疊偽像的圖像或幀的示例性方法600的流程圖。圖7根據本發明的一些實施例示出了用於處理具有混疊偽像的圖像或幀的示例性方法700的流程圖。

310:運動估計電路

320:變形電路

350:幀處理器

340:幀融合電路

330:臨時決定電路

300:設備

Claims

一種幀處理設備，包括：運動估計電路，被配置為估計當前幀和先前幀之間的運動資料；變形電路，耦接至所述運動估計電路，被配置基於所述運動資料對所述先前幀進行變形，使得變形後的所述先前幀與所述當前幀對齊，並確定所述當前幀與所述變形後的先前幀是否一致；和臨時決定電路，與所述變形電路耦接，被配置為生成輸出幀，當所述當前幀和所述變形後的先前幀一致時，所述輸出幀包括所述當前幀和所述變形後的先前幀。
如請求項1所述的設備，其中當所述當前幀與所述變形後的先前幀不一致時，所述輸出幀包括所述當前幀。
如請求項1或2所述的設備，還包括：耦接到所述臨時決定電路的幀處理器，被配置為處理所述輸出幀，以消除所述輸出幀的混疊偽像。
如請求項3所述的設備，其中所述幀處理器包括：超分辨率和抗混疊引擎，被配置為增強訓練幀的分辨率並消除所述訓練幀的混疊偽像，以生成具有混疊偽像的第一高分辨率幀和消除了混疊偽像的第二高分辨率幀。
如請求項4所述的設備，其中所述幀處理器還包括：關注參考幀生成器，耦接到所述超分辨率和抗混疊引擎，被配置為基於所述第一高分辨率幀和所述第二高分辨率幀來生成關注參考幀。
如請求項5所述的設備，其中所述幀處理器還包括：人工智能神經網絡，耦接到所述關注參考幀生成器，被配置為基於所述關注參考幀執行訓練獲得訓練後的人工智能神經網絡，並基於訓練後的人工智能神經網絡來消除所述輸出幀的混疊偽像。
如請求項1所述的設備，還包括：幀融合引擎，耦接到所述臨時決定電路，被配置為融合所述當前幀和所述變形後的所述先前幀。
如請求項7所述的設備，其中所述幀融合引擎通過以逐通道方式將所述變形後的所述先前幀連接到所述當前幀來融合所述當前幀和所述變形後的所述先前幀。
如請求項1所述的設備，其中所述運動估計電路使用絕對差之和方法來估計所述當前幀與所述先前幀之間的所述運動資料。
如請求項9所述的設備，其中所述變形電路基於所述運動資料變形所述先前幀，且當被基於所述運動資料變形後所述先前幀與所述當前幀匹配。
如請求項1所述的設備，其中當所述運動資料小於運動閾值時，所述變形電路基於所述運動資料來變形所述先前幀。
如請求項11所述的設備，其中所述臨時決定電路還耦接至所述運動估計電路，當所述運動資料不小於所述運動閾值時，所述臨時決定電路生成包括所述當前幀的所述輸出幀。
如請求項1所述的設備，其中所述運動估計電路是神經網絡。
一種幀處理器，包括：超分辨率和抗混疊引擎，用於接收訓練幀並增強所述訓練幀的分辨率並消除所述訓練幀的混疊偽像，以生成具有混疊偽像的第一高分辨率幀和消除了混疊偽像的第二高分辨率幀；和連接到所述超分辨率和抗混疊引擎的關注參考幀生成器，其被配置為基於所述第一高分辨率幀和所述第二高分辨率幀生成關注參考幀。
如請求項14所述的幀處理器，還包括耦接到所述關注參考幀生成器的人工智能神經網絡，其被配置為基於所述關注參考幀執行訓練獲得訓練後的人工智能神經網絡，並基於訓練後的人工智能神經網絡來消除其他幀的混疊偽像。
如請求項14所述的幀處理器，其中所述超分辨率和抗混疊引擎包括作為人工智能超分辨率引擎的超分辨率引擎，所述第一高分辨率幀和所述第二高分辨率幀的分辨率被所述人工智能超分辨率引擎增強。
如請求項14所述的幀處理器，其中所述超分辨率和抗混疊引擎包括作為人工智能抗混疊引擎的人工智能引擎，所述人工智能抗混疊引擎用於生成消除了所述混疊偽像的所述第二高分辨率幀。
一種幀的處理方法，包括：估計當前幀和先前幀之間的運動資料；基於所述運動資料使所述先前幀變形，使得所述變形後的先前幀與所述當前幀對齊；和生成輸出幀，當所述當前幀和所述變形後的先前幀一致時，所述輸出幀包括所述當前幀和所述變形後的先前幀。
如請求項18所述的方法，其中當所述當前幀與所述變形後的先前幀不一致時，所述輸出幀包括所述當前幀。
如請求項18或19所述的方法，還包括：增強訓練幀的分辨率並消除所述輸出幀的混疊偽像，以生成具有混疊偽像的第一高分辨率幀和已消除混疊偽像的第二高分辨率幀。
如請求項20所述的方法，還包括基於所述第一高分辨率幀和所述第二高分辨率幀生成關注參考幀。
如請求項21所述的方法，還包括：基於所述關注參考幀執行訓練獲得訓練後的人工智能神經網絡，並基於訓練後的人工智能神經網絡來消除所述輸出幀的混疊偽像。