TW202345094A - 顯示縮放器的基於模糊邏輯的圖案匹配與角濾波 - Google Patents
顯示縮放器的基於模糊邏輯的圖案匹配與角濾波 Download PDFInfo
- Publication number
- TW202345094A TW202345094A TW111147381A TW111147381A TW202345094A TW 202345094 A TW202345094 A TW 202345094A TW 111147381 A TW111147381 A TW 111147381A TW 111147381 A TW111147381 A TW 111147381A TW 202345094 A TW202345094 A TW 202345094A
- Authority
- TW
- Taiwan
- Prior art keywords
- primitives
- output
- features
- display
- scan windows
- Prior art date
Links
- 238000001914 filtration Methods 0.000 title claims description 87
- 238000012545 processing Methods 0.000 claims abstract description 180
- 238000000034 method Methods 0.000 claims abstract description 129
- 230000008569 process Effects 0.000 claims abstract description 23
- 230000001629 suppression Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 18
- 238000010586 diagram Methods 0.000 description 53
- 238000001514 detection method Methods 0.000 description 47
- 230000006870 function Effects 0.000 description 24
- 230000008901 benefit Effects 0.000 description 19
- 238000003860 storage Methods 0.000 description 19
- 239000011159 matrix material Substances 0.000 description 18
- 238000009877 rendering Methods 0.000 description 18
- 238000004891 communication Methods 0.000 description 16
- 238000005516 engineering process Methods 0.000 description 15
- 230000004927 fusion Effects 0.000 description 15
- 238000007781 pre-processing Methods 0.000 description 12
- 238000003708 edge detection Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 8
- 238000002156 mixing Methods 0.000 description 8
- 230000011218 segmentation Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 239000000203 mixture Substances 0.000 description 6
- 230000002457 bidirectional effect Effects 0.000 description 5
- 238000013461 design Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 239000012634 fragment Substances 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000000638 solvent extraction Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000009432 framing Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000005192 partition Methods 0.000 description 2
- 238000004321 preservation Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000012913 prioritisation Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
Abstract
本文所提出的各態樣涉及用於顯示處理的方法和設備,其包括諸如DPU之類的裝置。該裝置可以接收用於縮放操作的至少一個輸入影像,該至少一個輸入影像與一或多個掃瞄訊窗相關聯,每個掃瞄訊窗包括複數個圖元。該裝置亦可以偵測一或多個掃瞄訊窗之每一者掃瞄訊窗中複數個圖元中的一或多個特徵。此外,該裝置可以針對所偵測的特徵之每一者特徵,調整每個掃瞄訊窗中的複數個圖元的數量。該裝置亦可以將針對所偵測的一或多個特徵之每一者特徵的經調整數量的複數個圖元組合為複數個輸出圖元。該裝置亦可以將複數個輸出圖元之每一者輸出圖元處理為至少一個輸出影像。
Description
本專利申請案主張享受2022年1月19日提出申請的、標題為「FUZZY LOGIC-BASED PATTERN MATCHING AND CORNER FILTERING FOR DISPLAY SCALER」的美國專利申請號第17/648,414號的權益,故以引用方式將其全部內容明確地併入本文中。
概括地說,本案內容係關於處理系統,具體地說,本案內容係關於用於顯示處理的一或多個技術。
計算設備經常執行圖形及/或顯示處理(例如,利用圖形處理單元(GPU)、中央處理單元(CPU)、顯示處理器等)來渲染和顯示視覺內容。此類計算設備可以包括例如電腦工作站、諸如智慧手機之類的行動電話、嵌入式系統、個人電腦、平板電腦和視訊遊戲控制台。GPU被配置為執行包括一或多個處理階段的圖形處理流水線,這些處理階段一起操作以執行圖形處理命令並輸出訊框。中央處理單元(CPU)可以經由向GPU發出一或多個圖形處理命令來控制GPU的操作。現代CPU通常能夠同時執行多個應用,每個應用可能需要在執行期間使用GPU。顯示處理器被配置為將從CPU接收到的數位資訊轉換為類比值,並且可以向顯示面板發出命令以顯示視覺內容。在顯示器上提供視覺呈現內容的設備可以使用GPU及/或顯示處理器。
設備的GPU可以被配置為執行圖形處理流水線中的處理。此外,顯示處理器或顯示處理單元(DPU)可以被配置為執行顯示處理的程序。然而,隨著無線通訊和更小的手持設備的出現,增加了對改進的圖形或顯示處理的需求。
為了對本發明的一或多個態樣有一個基本的理解,下文提供了這些態樣的簡單概括。該概括部分不是對所有預期態樣的詳盡概述,亦不是意欲標識所有態樣的關鍵或重要元素,或者描述任意或全部態樣的範疇。其唯一目的是用簡單的形式呈現一或多個態樣的一些概念,以此作為後面的詳細說明的前奏。
在本案內容的一個態樣,提供了一種方法、電腦可讀取媒體和裝置。該裝置可以是執行顯示處理的顯示處理單元(DPU)或任何裝置。該裝置可以接收用於縮放操作的至少一個輸入影像,該至少一個輸入影像與一或多個掃瞄訊窗相關聯,該一或多個掃瞄訊窗之每一者掃瞄訊窗包括複數個圖元。該裝置亦可以偵測該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中的一或多個特徵。另外,該裝置可以針對在該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中所偵測的該一或多個特徵之每一者特徵,來計算置信因數。該裝置亦可以針對所偵測到的一或多個特徵中的每一者,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的數量。該裝置亦可以將針對所偵測到的一或多個特徵之每一者特徵的經調整數量的該複數個圖元組合為複數個輸出圖元。此外,該裝置可以將該複數個輸出圖元之每一者輸出圖元處理為至少一個輸出影像。該裝置亦可以在處理該複數個輸出圖元之每一者輸出圖元之後,向顯示器或面板發送該至少一個輸出影像。
在附圖和下文的說明書中闡述了本案內容的一或多個實例的細節。根據說明書、附圖以及申請專利範疇,本案內容的其他特徵、物件和優點將變得顯而易見。
顯示處理的各態樣可以利用不同類型的縮放部件(例如,縮放器或DPU縮放器),用於不同的縮放操作(例如,放大或縮小)。一些DPU縮放器使用雙三次濾波(亦即,邊緣不可知濾波)和基於梯度的邊緣濾波的組合,以在影像放大期間保留高頻內容。該技術可以提取亮度梯度以估計邊緣方向和強度。根據設計方案,邊緣濾波沿對角線(亦即,45°和-45°)最強,沿水平方向(亦即,0°)和豎直方向(亦即,90°)最弱。在一些情況下,可以經由使用權重度量,沿兩個固定方向混合輸出來估計邊緣濾波或方向輸出。例如,可以利用以下公式:輸出=輸出*權重+輸出*(1–權重)。此外,例如,當在所偵測的方向上對輸出進行濾波時,DPU縮放器可以利用定向濾波。所偵測的方向中的該經濾波的輸出可以是沿某個方向角度(例如,在26°和63°方向之間)的輸出的線性混合。用於顯示處理的一些縮放或濾波操作可以包括許多缺點。例如,縮放或濾波操作可能不能很好地保留影像的角,這是因為亮度梯度在角的兩個方向上可能是非零的。此外,縮放或濾波操作可能無法保持水平和豎直邊緣,這是因為邊緣濾波可能沿這些方向下降到0。此外,縮放或濾波操作可能不能充分利用沿對角線方向的強邊緣偵測。本案內容的各態樣可以將新穎的影像縮放技術用於顯示應用中的影像重建/增強處理。例如,本案內容的各態樣可以利用基於邏輯的圖案匹配和角濾波技術來進行縮放或濾波操作。此外,本案內容的各態樣可以利用保持影像的角以及保持影像的水平和豎直邊緣的縮放或濾波操作。此外,本案內容的各態樣可以利用允許沿著影像的對角線方向進行強邊緣偵測的縮放或濾波操作。
下文參照附圖更全面地描述系統、裝置、電腦程式產品和方法的各個態樣。但是,本案內容可以以多種不同的形式實現,並且不應被解釋為受限於貫穿本案內容提供的任何特定結構或功能。相反,提供這些態樣只是使得本案內容變得透徹和完整,並將向本發明所屬領域中具有通常知識者完整地傳達本案內容的保護範疇。基於本案內容,本發明所屬領域中具有通常知識者應當理解的是,本案內容的保護範疇意欲覆蓋本文所揭示的系統、裝置、電腦程式產品和方法的任何態樣,無論其是獨立實現的還是結合本案內容的其他態樣實現的。例如,使用本文闡述的任意數量的態樣可以實現裝置或可以實現方法。此外,本案內容的保護範疇意欲覆蓋這種裝置或方法,這種裝置或方法可以經由使用其他結構、功能、或者除本文所闡述的本案內容的各個態樣的結構和功能、或不同於本文所闡述的本案內容的各個態樣的結構和功能來實現。本文所揭示的任何態樣可以經由本發明的一或多個組成部分來體現。
儘管本文描述了各個態樣,但是這些態樣的許多變化和排列亦落入本案內容的保護範疇內。儘管提到了本案內容的各態樣的一些潛在益處和優點,但是本案內容的保護範疇並不意欲限於特定的益處、用途或目標。相反,本案內容的態樣意欲廣泛地適用於不同的無線技術、系統組態、網路和傳輸協定,其中的一些在附圖和以下的描述中經由實例的方式進行了示出。具體實施方式和附圖僅僅是對本案內容的說明而非限制,本案內容的保護範疇由所附請求項及其均等物進行限定。
現在參照各種裝置和方法來提供一些態樣。這些裝置和方法將在下文的具體實施方式中進行描述,並在附圖中經由各種方塊、部件、電路、處理、演算法等等(其統稱為「元素」)來進行圖示。可以使用電子硬體、電腦軟體或者其任意組合來實現此類元素。至於這些元素是實現成硬體還是實現成軟體,取決於特定的應用和對整個系統所施加的設計約束條件。
舉例而言,元素或者元素的任何部分或者元素的任意組合,可以實現成包括一或多個處理器(其亦可以稱為處理單元)的「處理系統」。處理器的實例包括微處理器、微控制器、圖形處理單元(GPU)、通用GPU(GPGPU)、中央處理單元(CPU)、應用處理器、數位訊號處理器(DSP)、精簡指令集計算(RISC)處理器、片上系統(SOC)、基頻處理器、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)、可程式設計邏輯裝置(PLD)、狀態機、閘邏輯、分離硬體電路和被配置為執行貫穿本案內容描述的各種功能的其他適當硬體。處理系統中的一或多個處理器可以執行軟體。軟體應當被廣泛地解釋為意味著指令、指令集、代碼、程式碼片段、程式碼、程式、副程式、軟體部件、應用、軟體應用、套裝軟體、例行程式、子例行程式、物件、可執行檔、執行的執行緒、程序、函數等等,無論其被稱為軟體、韌體、中介軟體、微代碼、硬體描述語言還是其他術語。術語應用程式可以代表軟體。如本文所描述的,一或多個技術可以代表應用程式,亦即,被配置為執行一或多個功能的軟體。在此類實例中,應用程式可以儲存在記憶體(例如,處理器的片上記憶體、系統記憶體或任何其他記憶體)中。本文描述的硬體(例如,處理器)可以被配置為執行應用程式。例如,可以將應用程式描述為包括代碼,當代碼由硬體執行時,使硬體執行本文所描述的一或多個技術。舉例而言,硬體可以存取記憶體中的代碼,並且執行從記憶體存取的代碼以執行本文描述的一或多個技術。在一些實例中,在本案內容中標識了部件。在此類實例中,部件可以是硬體、軟體或其組合。部件可以是單獨的部件或單個部件的子部件。
因此,在本文所描述的一或多個實例中,本文所描述的功能可以用硬體、軟體或者其任意組合來實現。當使用軟體實現時,可以將這些功能儲存或編碼成電腦可讀取媒體上的一或多個指令或代碼。電腦可讀取媒體包括電腦儲存媒體。儲存媒體可以是電腦能夠存取的任何可用媒體。經由實例的方式而不是限制的方式,這種電腦可讀取媒體可以包括隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電子可抹除可程式設計ROM(EEPROM)、光碟儲存、磁碟儲存、其他磁存放裝置、前述類型的電腦可讀取媒體的組合、或者能夠用於儲存具有指令或資料結構形式的電腦可執行代碼並能夠由電腦存取的任何其他媒體。
通常,本案內容描述了用於在單個設備或多個設備中具有圖形處理流水線、改進圖形內容的渲染及/或減少處理單元(亦即,被配置為執行本文所描述的一或多個技術的任何處理單元,例如GPU)的負載的技術。例如,本案內容描述了用於在利用圖形處理的任何設備中進行圖形處理的技術。貫穿本案內容描述了其他示例性益處。
如本文所使用的,術語「內容」的實例可以代表「圖形內容」、「影像」,反之亦然。不管這些術語是用作形容詞、名詞還是其他詞類,這都是正確的。在一些實例中,如本文所使用的,術語「圖形內容」可以代表圖形處理流水線的一或多個程序產生的內容。在一些實例中,如本文所使用的,術語「圖形內容」可以代表被配置為執行圖形處理的處理單元所產生的內容。在一些實例中,如本文所使用的,術語「圖形內容」可以代表由圖形處理單元產生的內容。
在一些實例中,如本文所使用的,術語「顯示內容」可以代表由被配置為執行顯示處理的處理單元產生的內容。在一些實例中,如本文所使用的,術語「顯示內容」可以代表由顯示處理單元產生的內容。可以對圖形內容進行處理以變成顯示內容。例如,圖形處理單元可以將諸如訊框的圖形內容輸出到緩衝器(其可以被稱為訊框緩衝器)。顯示處理單元可以從緩衝器讀取圖形內容(例如,從緩衝器中讀取一或多個訊框),並對其執行一或多個顯示處理技術以產生顯示內容。例如,顯示處理單元可以被配置為對一或多個經渲染的層執行合成以產生訊框。再舉一個實例,顯示處理單元可以被配置為組合、混合或以其他方式將兩個或更多層組合在一起形成單個訊框。顯示處理單元可以被配置為對訊框執行縮放(例如,放大或縮小)。在一些實例中,訊框可以代表層。在其他實例中,訊框可以代表已經混合在一起以形成該訊框的兩個或兩個以上層,亦即,該訊框包括兩個或更多層,並且隨後可以對包括兩個或更多層的訊框進行混合。
圖1是根據本案內容的一或多個技術,示出實例內容產生系統100的方塊圖,該實例內容產生系統100被配置為實現本案內容的一或多個技術。內容產生系統100包括設備104。設備104可以包括用於執行本文所描述的各種功能的一或多個部件或電路。在一些實例中,設備104的一或多個部件可以是SOC的部件。設備104可以包括被配置為執行本案內容的一或多個技術的一或多個部件。在所示的實例中,設備104可以包括處理單元120、內容編碼器/解碼器122和系統記憶體124。在一些態樣,設備104可以包括多個可選的部件(例如,通訊介面126、收發器132、接收器128、發射器130、顯示處理器127和一或多個顯示器131)。對顯示器131的引用可以代表一或多個顯示器131。例如,顯示器131可以包括單個顯示器或多個顯示器。顯示器131可以包括第一顯示器和第二顯示器。第一顯示器可以是左眼顯示器,而第二顯示器可以是右眼顯示器。在一些實例中,第一顯示器和第二顯示器可以接收不同的訊框以在其上呈現。在其他實例中,第一顯示器和第二顯示器可以接收相同的訊框以在其上呈現。在進一步的實例中,可以不在設備上顯示圖形處理的結果,例如,第一顯示器和第二顯示器可以不接收任何訊框以在其上進行呈現。相反,可以將這些訊框或圖形處理結果傳送到另一個設備。在一些態樣,這可以被稱為分割渲染。
處理單元120可以包括內部記憶體121。處理單元120可以被配置為例如在圖形處理流水線107中執行圖形處理。內容編碼器/解碼器122可以包括內部記憶體123。在一些實例中,設備104可以包括顯示處理器(例如,顯示處理器127),以在一或多個顯示器131顯示處理單元120產生的一或多個訊框之前,對這些訊框執行一或多個顯示處理技術。顯示處理器127可以被配置為執行顯示處理。例如,顯示處理器127可以被配置為對處理單元120產生的一或多個訊框執行一或多個顯示處理技術。一或多個顯示器131可以被配置為顯示或以其他方式呈現由顯示處理器127處理的訊框。在一些實例中,一或多個顯示器131可以包括以下各項中的一項或多項:液晶顯示器(LCD)、電漿顯示器、有機發光二極體(OLED)顯示器、投影顯示裝置、增強現實顯示裝置、虛擬實境顯示裝置、頭戴式顯示器、或者任何其他類型的顯示裝置。
處理單元120和內容編碼器/解碼器122外部的記憶體(例如,系統記憶體124)可以被處理單元120和內容編碼器/解碼器122存取。例如,處理單元120和內容編碼器/解碼器122可以被配置為從外部記憶體(例如,系統記憶體124)讀取,及/或寫入到外部記憶體。處理單元120和內容編碼器/解碼器122可以經由匯流排,通訊地耦合到系統記憶體124。在一些實例中,處理單元120和內容編碼器/解碼器122可以經由匯流排或不同的連接來彼此通訊地耦合。
內容編碼器/解碼器122可以被配置為從任何源(例如,系統記憶體124及/或通訊介面126)接收圖形內容。系統記憶體124可以被配置為儲存所接收的經編碼或解碼的圖形內容。內容編碼器/解碼器122可以被配置為以編碼圖元資料的形式,例如從系統記憶體124及/或通訊介面126接收經編碼或解碼的圖形內容。內容編碼器/解碼器122可以被配置為對任何圖形內容進行編碼或解碼。
內部記憶體121或系統記憶體124可以包括一或多個揮發性或非揮發性記憶體或存放裝置。在一些實例中,內部記憶體121或系統記憶體124可以包括RAM、SRAM、DRAM、可抹除可程式設計ROM(EPROM)、電子可抹除可程式設計ROM(EEPROM)、快閃記憶體、磁資料媒體或光學儲存媒體、或者任何其他類型的記憶體。
根據一些實例,內部記憶體121或系統記憶體124可以是非臨時性儲存媒體。術語「非臨時性」可以表示不是以載波或傳播信號來體現的儲存媒體。然而,術語「非臨時性」不應被解釋為意味著內部記憶體121或系統記憶體124是不可移動的,或者其內容是靜態的。舉一個實例,可以從設備104中移除系統記憶體124並將其移動到另一個設備。再舉一個實例,系統記憶體124可能不能從設備104中移除。
處理單元120可以是中央處理單元(CPU)、圖形處理單元(GPU)、通用GPU(GPGPU)、或者可以被配置為執行圖形處理的任何其他處理單元。在一些實例中,處理單元120可以整合到設備104的主機板中。在一些實例中,處理單元120可以存在於安裝在設備104的主機板的埠中的圖形卡上,或者可以以其他方式併入在被配置為與設備104交互動操作的周邊設備中。處理單元120可以包括一或多個處理器,例如,一或多個微處理器、GPU、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)、算數邏輯單位(ALU)、數位訊號處理器(DSP)、離散邏輯、軟體、硬體、韌體、其他等效的整合或離散邏輯電路、或其任何組合。若部分地以軟體實現這些技術,則處理單元120可以將用於軟體的指令儲存在適當的、非臨時性電腦可讀取儲存媒體(例如,內部記憶體121)中,並且可以使用一或多個處理器在硬體中執行這些指令以執行本案內容的技術。前述內容中的任何一種(包括硬體、軟體、硬體和軟體的組合等等)皆可以被認為是一或多個處理器。
內容編碼器/解碼器122可以是被配置為執行內容解碼的任何處理單元。在一些實例中,內容編碼器/解碼器122可以整合到設備104的主機板中。內容編碼器/解碼器122可以包括一或多個處理器,例如一或多個微處理器、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)、算數邏輯單位(ALU)、數位訊號處理器(DSP)、視訊處理器、離散邏輯、軟體、硬體、韌體、其他等效整合或離散邏輯電路、或其任何組合。若這些技術部分地利用軟體來實現,則內容編碼器/解碼器122可以將軟體的指令儲存在合適的、非臨時性的電腦可讀取儲存媒體(例如,內部記憶體123)中,並且可以使用一或多個處理器在硬體中執行這些指令以執行本案內容的技術。上述中的任何一種(包括硬體、軟體、硬體和軟體的組合等)皆可以被視為一或多個處理器。
在一些態樣,內容產生系統100可以包括可選的通訊介面126。通訊介面126可以包括接收器128和發射器130。接收器128可以被配置為執行本文關於設備104所描述的任何接收功能。另外,接收器128可以被配置為從另一個設備接收資訊(例如,眼睛或頭部位置資訊、渲染命令或位置資訊)。發射器130可以被配置為執行本文關於設備104所描述的任何發射功能。例如,發射器130可以被配置為向另一個設備發射資訊,該資訊可以包括針對內容的請求。可以將接收器128和發射器130組合成收發器132。在此類實例中,收發器132可以被配置為執行本文關於設備104所描述的任何接收功能及/或發射功能。
再次參考圖1,在某些態樣,顯示處理器127可以包括決定部件198,其被配置為接收用於縮放操作的至少一個輸入影像,該至少一個輸入影像與一或多個掃瞄訊窗相關聯,該一或多個掃瞄訊窗之每一者掃瞄訊窗包括複數個圖元。決定部件198亦可以被配置為偵測該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中的一或多個特徵。另外,決定部件198亦可以被配置為針對在該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中所偵測的該一或多個特徵之每一者特徵,來計算置信因數。決定部件198亦可以被配置為針對所偵測的一或多個特徵之每一者特徵,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的數量。決定部件198亦可以被配置為將針對所偵測的一或多個特徵之每一者特徵的經調整數量的該複數個圖元組合為複數個輸出圖元。此外,決定部件198亦可以被配置為將該複數個輸出圖元之每一者輸出圖元處理為至少一個輸出影像。決定部件198亦可以被配置為在處理該複數個輸出圖元之每一者輸出圖元之後,向顯示器或面板發送該至少一個輸出影像。儘管下文的描述集中於顯示處理,但是本文所描述的概念亦可以適用於其他類似的處理技術。
如本文所描述的,諸如設備104之類的設備可以代表被配置為執行本文所描述的一或多個技術的任何設備、裝置或系統。例如,設備可以是伺服器、基地台、使用者設備、客戶端設備、站、存取點、電腦(例如,個人電腦、桌面型電腦、膝上型電腦、平板電腦、電腦工作站、或大型電腦)、終端產品、裝置、電話、智慧手機、伺服器、視訊遊戲平臺或控制台、手持設備(例如,可攜式視訊遊戲裝置或個人數位助理(PDA))、可穿戴計算設備(例如,智慧手錶、增強現實設備或虛擬實境設備)、非可穿戴設備、顯示器或顯示裝置、電視機、電視機上盒、中間網路設備、數位媒體播放機、視訊流設備、內容流設備、車載電腦、任何行動設備、被配置為產生圖形內容的任何設備、或者被配置為執行本文所描述的一或多個技術的任何設備。本文的程序可以被描述為由特定部件(例如,GPU)執行,但在進一步的實施例中,可以使用與所揭示的實施例一致的其他部件(例如,CPU)來執行。
GPU可以處理GPU流水線中的多種類型的資料或資料封包。例如,在一些態樣,GPU可以處理兩種類型的資料或資料封包(例如,上下文暫存器封包和提取調用資料)。上下文暫存器封包可以是全域狀態資訊集合(例如,關於全域暫存器、陰影程式或常數資料的資訊),這些資訊可以調節對圖形上下文進行處理的方式。例如,上下文暫存器封包可以包括有關顏色格式的資訊。在上下文暫存器封包的一些態樣,可以存在指示哪個工作負載屬於上下文暫存器的位元。此外,可以同時及/或並行地執行多個函數或程式。例如,函數或程式可以描述某個操作(例如,顏色模式或顏色格式)。因此,上下文暫存器可以定義GPU的多個狀態。
可以利用上下文狀態來決定單個處理單元功能,例如,頂點提取器(VFD)、頂點著色器(VS)、著色器處理器或幾何處理器,及/或處理單元的工作模式。為此,GPU可以使用上下文暫存器和程式資料。在一些態樣,GPU可以基於模式或狀態的上下文暫存器定義,在流水線中產生工作負載(例如,頂點或圖元工作負載)。某些處理單元(例如,VFD)可以使用這些狀態來決定某些功能,例如頂點的組裝方式。由於這些模式或狀態可以更改,GPU可能需要更改相應的上下文。此外,與模式或狀態相對應的工作負載可以遵循更改的模式或狀態。
圖2圖示根據本案內容的一或多個技術的實例GPU 200。如圖2所示,GPU 200包括命令處理器(CP)210、繪製調用封包212、VFD 220、VS 222、頂點緩存(VPC)224、三角形設置引擎(TSE)226、光柵器(RAS)228、Z處理引擎(ZPE)230、圖元內插器(PI)232、片段著色器(FS)234、渲染後端(RB)236、二級(L2)緩存(UCHE)238和系統記憶體240。儘管圖2顯示了GPU 200包括處理單元220-238,但GPU 200可以包括多個其他的處理單元。此外,處理單元220-238僅僅是實例,根據本案內容的GPU可以使用處理單元的任何組合或順序。GPU 200亦包括命令緩衝器250、上下文暫存器封包260和上下文狀態261。
如圖2所示,GPU可以利用CP(例如,CP 210)或硬體加速器,將命令緩衝區解析為上下文暫存器封包(例如,上下文暫存器封包260)及/或繪製調用資料封包(例如,繪製調用封包212)。隨後,CP 210可以經由單獨的路徑,向GPU中的處理單元或塊發送上下文暫存器封包260或繪製調用封包212。此外,命令緩衝器250可以交替上下文暫存器和繪製調用的不同狀態。例如,可以以下列方式構造命令緩衝器:上下文N的上下文暫存器、上下文N的繪製調用、上下文N+1的上下文暫存器、以及上下文N+1的繪製調用。
GPU可以以各種不同的方式渲染影像。在一些實例中,GPU可以使用渲染及/或瓦片渲染來渲染影像。在瓦片渲染GPU中,可以將影像分割或分離成不同的部分或瓦片。在分割影像之後,可以分別渲染每個部分或瓦片。瓦片渲染GPU可以將電腦圖形影像劃分為網格格式,使得網格的每個部分(亦即,瓦片)進行單獨地渲染。在一些態樣,在裝箱(bining)程序期間,可以將影像劃分為不同的箱(bin)或瓦片。在一些態樣,在裝箱程序期間,可以構造可視流,其中可以辨識可視的圖元或繪製調用。與瓦片渲染不同,直接渲染不會將訊框劃分為較小的箱或瓦片。相反,在直接渲染中,一次渲染整個訊框。另外,某些類型的GPU可以允許瓦片渲染和直接渲染兩者。
圖3是示出包括處理單元120、系統記憶體124、顯示處理器127和顯示器131的示例性顯示框架的方塊圖300,如可以結合示例性設備104所辨識的。
GPU可以包含在為顯示器上的視覺呈現提供內容的設備中。例如,處理單元120可以包括GPU 310,GPU 310被配置為渲染圖形資料以在計算設備(例如,設備104)上顯示,該計算設備可以是電腦工作站、行動電話、智慧手機或其他智慧設備、嵌入式系統、個人電腦、平板電腦、視訊遊戲控制台等等。可以基於由CPU 315提供的一或多個圖形處理命令來控制GPU 310的操作。CPU 315可以被配置為同時執行多個應用。在一些情況下,同時執行的多個應用中的每一者可以同時使用GPU 310。可以經由處理單元120在實體或無線通訊通道上輸出訊框來執行處理技術。
可以由處理單元120執行的系統記憶體124可以包括使用者空間320和核心空間325。使用者空間320(有時被稱為「應用空間」)可以包括軟體應用及/或應用框架。例如,軟體應用可以包括作業系統、媒體應用、圖形應用、工作空間應用等等。應用框架可以包括一或多個軟體應用所使用的框架,例如庫、服務(例如,顯示服務、輸入服務等)、應用程式介面(API)等。核心空間325亦可以包括顯示驅動器330。顯示驅動器330可以被配置為控制顯示處理器127。例如,顯示驅動器330可以使顯示處理器127組分框,並將該訊框的資料發送到顯示器。
顯示處理器127包括顯示控制區塊335和顯示介面340。顯示處理器127可以被配置為操縱顯示器131的功能(例如,基於從顯示驅動器330接收的輸入)。顯示控制區塊335亦可以被配置為經由顯示介面340向顯示器131輸出影像訊框。在一些實例中,顯示控制區塊335可以另外地或替代地執行基於處理單元120對系統記憶體124的執行而提供的影像資料的後處理。
顯示介面340可以被配置為使顯示器131顯示影像訊框。顯示介面340可以根據介面協定(例如,MIPI DSI(移動工業處理器介面,顯示序列介面))向顯示器131輸出影像資料。亦即,可以根據MIPI DSI標準來配置顯示器131。MIPI DSI標準支援視訊模式和命令模式。在顯示器131以視訊模式操作的實例中,顯示處理器127可以連續刷新顯示器131的圖形內容。例如,可以按刷新週期(例如,逐行)刷新整個圖形內容。在顯示器131以命令模式操作的實例中,顯示處理器127可以將訊框的圖形內容寫入緩衝器350。
在一些此類實例中,顯示處理器127可能不會連續刷新顯示器131的圖形內容。相反,顯示處理器127可以使用豎直同步(Vsync)脈衝來協調緩衝器350處的圖形內容的渲染和消耗。例如,當產生Vsync脈衝時,顯示處理器127可以向緩衝器350輸出新的圖形內容。因此,Vsync脈衝的產生可以指示已經在緩衝器350處渲染當前圖形內容。
基於顯示控制器345、顯示客戶端355和緩衝器350在顯示器131上顯示訊框。顯示控制器345可以從顯示介面340接收影像資料,並將所接收的影像資料儲存在緩衝器350中。在一些實例中,顯示控制器345可以將儲存在緩衝器350中的影像資料輸出到顯示客戶端355。因此,緩衝器350可以表示顯示器131的本機存放區器。在一些實例中,顯示控制器345可以將從顯示介面340接收的影像資料直接輸出到顯示客戶端355。
顯示客戶端355可以與感測使用者與顯示器131之間的互動的觸摸面板相關聯。當使用者與顯示器131互動時,觸摸面板中的一或多個感測器可以向顯示控制器345輸出信號,指示該一或多個感測器中的哪一個具有感測器活動、感測器活動的持續時間、施加到該一或多個感測器的壓力等等。顯示控制器345可以使用感測器輸出,來決定使用者與顯示器131互動的方式。顯示器131可以進一步與其他設備相關聯/包括其他設備(例如,相機、麥克風及/或揚聲器),其中這些設備結合顯示客戶端355進行操作。
可以在三個階段(例如,階段1:渲染階段;階段2:合成階段;及階段3:顯示/傳送階段)上執行設備104的一些處理技術。然而,其他處理技術可以將合成階段和顯示/傳送階段組合成單個階段,使得可以基於兩個總階段(例如,階段1:渲染階段;及階段2:合成/顯示/傳送階段)來執行該處理技術。在渲染階段期間,GPU 310可以基於對於逐圖元產生內容的應用的執行,來處理內容緩衝器。在合成和顯示階段期間,可以組裝圖元元件以形分框,將該訊框傳送到顯示該訊框的實體顯示面板/子系統(例如,顯示器131)。
由CPU(例如,軟體指令)或顯示處理器執行的指令可以使CPU或顯示處理器基於與一或多個合成策略組相關聯的動態優先順序和執行時統計資訊,來搜尋及/或產生用於合分框的合成策略。要由諸如顯示面板之類的實體顯示裝置顯示的訊框可以包括複數個層。此外,訊框的合成可以基於將複數個層組合分框(例如,基於訊框緩衝器)。在將複數個層組合分框之後,可以將訊框提供給顯示面板以在其上顯示。將該複數個層中的每一個層組合分框的程序可以被稱為合成、訊框合成、合成程序、合成處理等等。
顯示處理的各態樣可以利用不同類型的縮放部件(例如,縮放器或DPU縮放器),用於不同的縮放操作(例如,放大或縮小)。一些DPU縮放器使用雙三次濾波(亦即,邊緣不可知濾波)和基於梯度的邊緣濾波的組合,以在影像放大期間保留高頻內容。該技術可以提取亮度梯度以估計邊緣方向和強度。根據設計方案,邊緣濾波沿對角線(亦即,45°和-45°)最強,沿水平方向(亦即,0°)和豎直方向(亦即,90°)最弱。在一些情況下,可以經由使用權重度量,沿兩個固定方向混合輸出來估計邊緣濾波或方向輸出。例如,可以利用以下公式:輸出=輸出1*權重+輸出2*(1–權重)。此外,例如。當在所偵測的方向上對輸出進行濾波時,DPU縮放器可以利用定向濾波。所偵測的方向上的該經濾波的輸出可以是沿某個方向角度(例如,在26°和63°方向之間)的輸出的線性混合。
圖4圖示包括用於顯示處理的縮放技術的一個實例的圖400。具體地說,圖400包括雙三次濾波和雙向濾波的線性組合。如圖4中所示,圖400包括輸入影像410、輸出影像450和濾波塊420,濾波塊420包括雙三次可分離濾波部件422、雙向邊緣濾波部件424、線性組合部件430。圖4圖示了如何使用具有雙三次可分離濾波部件422和雙向邊緣濾波部件424的線性組合部件430對輸入影像410進行濾波,以獲得輸出影像450。如圖4中所示,線性組合部件430包括邊緣強度度量。此外,輸出影像450圖示影像的角和邊緣。
用於顯示處理的一些縮放或過濾操作可能包括許多缺點。例如,縮放或濾波操作可能不能很好地保留影像的角,這是因為亮度梯度在角的兩個方向上可能是非零的。此外,縮放或濾波操作可能無法保持水平和豎直邊緣,這是因為當雙三次可分離濾波器保持水平和豎直邊緣時,邊緣濾波可能沿這些方向下降到0。此外,縮放或濾波操作可能不能充分利用沿對角線方向的強邊緣偵測,這是因為沿這些方向可能沒有直接濾波估計。基於以上內容,縮放或濾波操作可能有益於保留影像的角。對於縮放或濾波操作以保持影像的水平和豎直邊緣亦是有益的。此外,沿著影像的對角線方向,利用強邊緣偵測可能是有益的。
本案內容的各態樣可以將新穎的影像縮放技術用於顯示應用(例如,高解析度顯示應用)中的影像重建/增強處理。例如,本案內容的各態樣可以利用基於模糊邏輯的圖案匹配和角濾波技術來進行縮放或濾波操作。此外,本案內容的各態樣可以利用允許保持影像的角的縮放或濾波操作。本文提出的各態樣亦可以利用保持影像的水平和豎直邊緣的縮放或濾波操作。另外,本案內容的各態樣可以利用允許沿著影像的對角線方向進行強邊緣偵測的縮放或濾波操作。
在一些情況下,本文提出的各態樣可以在放大影像的同時保留影像的角和邊緣,這可以導致更高的影像保真度,因為這有助於視覺場景的結構。本案內容的各態樣可以提供一種特徵偵測技術的集合,其其協同工作以在影像放大期間保持影像的角和邊緣。例如,這些特徵偵測技術可以包括硬體可實現的定點演算法,以使用單個低解析度輸入影像來構造高解析度影像。該等特徵偵測技術可能優於其他基於邊緣偵測的DPU縮放器,這可以導致在放大期間更好地保持影像品質,尤其是對於圖形內容和本文內容。
本文提出的各態樣可以包括對DPU縮放器的最佳化,當輸入影像在圖形內容和本文內容態樣豐富時,這些最佳化可能很重要。例如,本文提出的各態樣可以利用包括基於模糊邏輯的圖案匹配技術的特徵偵測技術。本文提出的各態樣亦可以包括基於二階亮度梯度的角偵測。此外,本文提出的各態樣可以包括三方向邊緣濾波。本文提出的各態樣亦可以包括非最大抑制演算法。在一些情況下,本案內容的各態樣可以基於多種假設,例如:(1)人類視覺系統可以高度地適合於從影像中提取結構和幾何資訊;(2)像雙三次濾波此類邊緣不可知演算法可能導致沿45°和-45°的邊緣的最大模糊;(3)通常可以將影像的清晰且銳利的角劃分成亮度極性相反的兩個區域;(4)二階亮度梯度可以在影像的角處呈現高的非零值。
圖5圖示包括用於顯示處理的縮放技術的一個實例的圖500。具體地說,圖500包括雙三次濾波、角濾波和三方向濾波的線性組合。如圖5中所示,圖500包括輸入影像510、輸出影像550和濾波塊520,其中濾波塊520包括雙三次可分離濾波部件522、三方向邊緣濾波部件524、基於圖案匹配的角濾波部件526和線性組合部件530。圖5圖示了如何使用具有雙三次可分離濾波部件522、三方向邊緣濾波部件524和基於圖案匹配的角濾波部件526的線性組合部件530對輸入影像510進行濾波,以獲得輸出影像550。如圖5中所示,線性組合部件530可以包括邊緣強度度量和角強度度量。此外,基於圖案匹配的角濾波部件526可以包括預定義的圖案。輸出影像550圖示影像的角和邊緣,與其他縮放技術相比,其可能更銳利和清晰。如圖5中所示,圖500包括基於模糊邏輯的圖案匹配技術以及基於二階亮度梯度的角濾波技術。
圖6圖示包括用於顯示處理的縮放技術的一個實例的圖600。如圖6中所示,圖600包括輸入影像610和輸出影像650。圖6圖示了根據本案內容的各態樣的縮放技術如何可以包括角偵測、邊緣偵測及/或邊緣方向估計。例如,與其他縮放技術相比,本文提出的各態樣可以包括改進的角偵測。此外,與其他縮放技術相比,本文提出的各態樣可以包括改進的邊緣方向估計。與其他縮放技術相比,本文提出的各態樣亦可以包括影像的更銳利和更少模糊的邊緣、以及更好的對比度。
圖7圖示包括用於顯示處理的縮放架構的一個實例的圖700。具體地說,圖700包括用於顯示縮放器或DPU縮放器的縮放架構。如圖7中所示,圖700包括圖案匹配和角偵測部件710(包括非最大抑制)、方向偵測部件712和更精細的方向估計部件714(包括三方向估計)。圖700亦包括本端存貯設備(LS)720、方向圖元提取器722、角圖元提取器724、三角形選擇器730、方向相位計算部件732、豎直相位(Vphase)部件734、程式對選擇器740和方向相位計算部件742。此外,圖700包括VphaseAccY部件750(其包括輸入VphaseIncUV和VphaseIccY)、VphaseAccUV部件752、HphaseAccY部件754(其包括輸入HphaseIncUV和HphaseIncY)和HphaseAccUV部件756。圖700亦包括雙線性內插器760-763、二維(2D)可分離內插器765-768、方向融合部件770、2D可分離濾波器780、雙線性內插器781-784、角融合部件786和圖元融合部件790。
如圖7中所示,圖700是DPU縮放器的頂級縮放架構,其包括用於角偵測、角內插、邊緣偵測和邊緣內插的部件。圖700的角偵測部件包括圖案匹配和角偵測部件710、三角形選擇器730和方向相位計算部件732。圖700的角內插部件包括雙線性內插器781-784和角融合部件786。角偵測和角內插部件是圖700的設計中的新穎元素。此外,可以將新穎的非最大抑制演算法與角濾波整合,該角濾波允許新穎的元素與其他特徵協同地工作。圖700的邊緣偵測部件包括方向偵測部件712、更精細方向估計部件714、程式對選擇器740和方向相位計算部件742。另外,圖700的邊緣內插部件包括雙線性內插器760-763、二維(2D)可分離內插器765-768和方向融合部件770。可以修改邊緣偵測和邊緣內插部件以適應沿第三方向(例如,45°或-45°)新引入的濾波態樣。
在本案內容的各態樣,基於模糊邏輯的圖案偵測和非最大抑制(或非最大抑制)的組合塊,可以是一種用於偵測影像中的角,同時減輕邊緣上的錯誤角偵測(反之亦然)的新穎方法。因此,本文提出的各態樣可以包括用於縮放架構的新穎元件(例如,角偵測和內插元件),其亦可被視作為獨立演算法。此外,本文提出的各態樣亦可以提供這些新穎元件(例如,角偵測和內插元件)如何借助於邊緣塊和角濾波塊之間的非最大抑制和資訊傳遞,而與現有元件(例如,基於邊緣的濾波)互動。基於影像品質評估,本文提出的各態樣可以更好地保留有助於影像中的物件結構的高頻特徵。對於圖形或本文用例,本文提出的各態樣亦可以勝過其他傳統的基於濾波的影像縮放技術和某些基於人工智慧(AI)的縮放器。此外,可以利用可以受益於基於角偵測的濾波的任何影像/視訊處理任務來實現本文提出的各態樣。特別地,本文提出的各態樣可以用於處理圖形內容的顯示器(例如,遊戲顯示器)中。
在一些情況下,本案內容的圖案/角偵測可以經由被稱為角度的強度度量和被稱為角類型(CornerType)的類型度量來參數化,其中角類型可以指示角的方向。該演算法可以偵測兩種類別的角(例如,類別1角和類別2角)。角的這些類別可能在其方向類型上有所不同。在一些情況下,可以丟棄具有較低偵測強度的類別。此外,包圍內插區域的圖元處的四個子偵測可以進行雙線性混合,以輸出最終的角度值。在一些態樣,可以在3x3亮度柵格上執行每個子偵測。
圖8圖示包括用於顯示處理的縮放技術的一個實例的圖800。具體地說,圖8圖示了子偵測方案和角分類。如圖8中所示,圖800包括輸入亮度網格810、偵測塊830(使用鄰域訊窗)以及角度和角類型對830(例如,4對的角度和角類型)。圖8圖示偵測塊830使用3x3鄰域訊窗在四個點處進行偵測。圖8亦圖示了類別1角和類別2角(與類別1角相比旋轉了45度)。
在類別1角偵測(亦即,基於模糊邏輯的圖案匹配)中,該偵測可以是基於:計算輸入網格和預定義圖案之間的相關性度量,以參數化圖案強度。相關度量可以被稱為角度1。偵測程序可以包括多個不同的步驟。例如,偵測程序可以包括預處理步驟,其中該步驟可以採用3x3亮度作為輸入,隨後輸出被稱為分割矩陣的兩個3x3矩陣(亦即,Ep和En)。局部亮度統計可以用於預處理。目標可以是將輸入網格劃分為相對於中心圖元具有高亮度極性的兩個區域。可以在下文的圖案匹配步驟中利用這種高極性。圖案匹配步驟可以採用四個預定義的圖案,並將它們與Ep和En進行匹配來決定哪個模式與亮度輸入最接近地匹配。此外,可以整合非最大抑制塊,以防止虛假角偵測並減輕對於方向偵測的干擾。
圖9圖示包括用於顯示處理的縮放技術的一個實例的圖900。具體地說,圖9圖示了模糊邏輯圖案偵測的高級方案。如圖9中所示,圖900包括3x3輸入902、預處理部件910(亦即,區域分割部件)、圖案匹配部件920(包括,偽最大抑制)、預定義圖案931-934(3x3圖案)以及角度和角類型940。預定義圖案931-934圖示在類別1下偵測到的圖案的四個方向。此外,圖案931-934中的每一個可以具有3x3的尺寸,並且可以劃分為具有相反亮度極性的兩個區域(例如,區域A和B)。
圖10圖示包括用於顯示處理的縮放技術的一個實例的圖1000。具體地說,圖10圖示了預處理步驟的低層流程圖。如圖10所示,圖1000包括具有偵測點的輸入1010(3x3輸入)、差分矩陣1020、區域分割矩陣1030、區域分割矩陣1040(Ep)和逆分割矩陣1042(En)。圖10描述了存在用於輸入1010和差分矩陣1020的方差計算器。此外,在區域分割矩陣1030之後存在sigmoid啟動步驟。如圖10中所示,圖1000亦包括輸入1050,其經歷預處理以產生圖案1060。此外,將圖案1070與圖案1060進行比較以判斷是否存在匹配圖案。
圖11圖示包括用於顯示處理的縮放架構的一個實例的圖1100。如圖11中所示,圖1100包括預處理塊1102,其包括3x3輸入1110、均值計算器1112、方差計算器1114、分割矩陣產生器1116、Ep 1118和En 1119。圖11圖示了預處理塊1102包括四個類似的實例,例如,每個3x3子訊窗一個。例如,預處理塊1102包括3x3輸入1120、均值計算器1122、方差計算器1124、分割矩陣產生器1126、Ep 1128和En 1129。預處理塊1102亦包括3x3輸入1130、均值計算器1132、方差計算器1134、分割矩陣產生器1136、Ep 1138和En 1139。此外,預處理塊1102包括3x3輸入1140、均值計算器1142、方差計算器1144、分割矩陣產生器1146、Ep 1148和En 1149。
在一些情況下,本文提出的各態樣可以包括圖案匹配步驟的按情況分解。例如,兩種情況下的輸入極性可能不同,但圖案相同。在一種情況下,本文提出的各態樣可以將Ep中的區域(例如,區域A)中的所有值相加,並將En中的區域(例如,區域B)中的所有值相加。這可以對應於下式:
其中
代表角度1,
代表角類型。此外,Index
type可以等於Index
max 。在一些情況下,該公式中的第一個乘積可能導致更高的值。在其他情況下,該公式中的第二個乘積可能導致更高的值。若完美匹配,則這兩個乘積中的一個可以是20。
圖12圖示包括用於顯示處理的縮放架構的一個實例的圖1200。具體地說,圖12圖示了圖案匹配方塊圖。如圖12中所示,圖1200包括Ep 1204、En 1206、角度計算器1210、角度計算器1211、角度計算器1212、角度計算器1213、最大部件1220和角度1230。圖12圖示了可以存在4個相同的圖案匹配塊(例如,每個3x3輸入一個)。這些塊中的每一個可以具有4個相同的子塊(例如,對於4個圖案之每一者圖案一個)。因此,與當前的圖相比,圖12中的圖1200可以包括4倍的部件數量。
圖13圖示包括用於顯示處理的縮放架構的一個實例的圖1300。如圖13中所示,圖1300包括Ep 1310、En 1312、Ep區域A求和部件1321、En區域B求和部件1322、Ep區域B求和部件1323、En區域A求和部件1324、sigmoid查閱資料表(LUT)1330、非最大抑制計算器1340和角度1350。圖13圖示了用於角度計算器的圖。例如,圖13圖示了經由sigmoid啟動步驟和非最大抑制步驟的角度1調制。
在一些態樣,非最大抑制計算可以對應於以下公式:
,其中GST代表梯度平方張量。在一些情況下,非最大抑制可以近似等於零。此外,非最大抑制可以對應於:
,這可以允許沿著水平和豎直線進行微弱的錯誤偵測,這可能有利於提供更銳利的水平和豎直邊緣。GST是一種用於參數化邊緣強度的度量(當邊緣沿對角線時,該度量取最強值)。GST亦可以包括邊緣角度的變化。在一些情況下,用於錯誤偵測的輸入實例可以包括邊緣中存在的微角。此外,非最大抑制可以防止錯誤的角偵測。此外,一致和微弱的錯誤偵測可以允許部分雙線性/角內插(例如,其中
NonMaxSup= 1)。在一些實例中,4x4內插可以對應於2x2內插。這可以導致許多優點,例如更銳利的水平和豎直線、減少的光暈偽影及/或增強的角銳度。此外,這可以利用雙三次濾波函數或雙線性sigmoidal函數來計算。
本案內容的各態樣亦可以利用類別2角偵測(亦即,使用二階亮度梯度的角偵測)。類別2偵測可以計算以下值:相交以形成角的邊緣之間的強度變化的幅度。量化這種變化幅度的強度度量可以被稱為角度2。可以經由被稱為梯度平方張量(GST)的度量集合來參數化邊緣強度,其中使用一階亮度梯度來匯出這些GST。可以將二階梯度(ΔGST)計算為在相鄰3x5亮度網格上計算的兩個一階梯度之間的差。
圖14圖示包括用於顯示處理的縮放技術的一個實例的圖1400。如圖14中所示,圖1400包括取樣輸入1410的圖元級表示、以及四個GST(例如,GST
0= 0、GST
1= 0、GST
2= 1、GST
3= 1)。圖14圖示了取樣輸入的一階梯度如何在水平和豎直方向上變化,以及它如何有助於類別2偵測。另外,一階梯度沿水平軸可以是不變的。此外,一階梯度可以沿豎直軸改變,這表明存在類別2角。
本案內容的各態樣亦可以利用角內插。角內插可以跟隨角偵測,並且可以取決於偵測到的角類型索引。例如,可以針對四個3x3網格中的每一個來獨立地計算四個子內插,隨後可以進行雙線性混合以獲得最終的角濾波器輸出。內插濾波器可以是經修改的雙線性濾波器,並且可以使用三個圖元(一起被稱為三角形)而不是四個圖元。
圖15圖示包括用於顯示處理的縮放技術的一個實例的圖1500。具體地說,圖15圖示了根據本案內容的角內插技術。如圖15中所示,圖1500包括圖元1501、圖元1502、圖元1503和圖元1504。圖15圖示了類別1角內插的實例。PhX和PhY表示輸出圖元與圖元1501的水平和豎直距離。ph1和ph2值(被稱為方向相位)表示用於雙線性內插的距離權重值。如圖15中所示,邊緣的水平性質可以在一個區域中保持,而邊緣的豎直性質可以在另一個區域中保持。在一些情況下,類別1三角形內插可以與方向不可知的內插進行混合。經由這樣做,本文提出的各態樣可以:(i)確保角內插和非角內插之間的平滑過渡,以及(ii)利用錯誤角偵測來更好地保持水平和豎直邊緣。方向不可知內插可以是使用ph1和ph2的簡單雙線性內插。
圖16圖示包括用於顯示處理的縮放技術的一個實例的圖1600。具體地說,圖16圖示了根據本案內容的類別2角內插技術。如圖16中所示,圖1600包括圖元1601、圖元1602、圖元1603和圖元1604。圖16圖示了類別2角內插的實例。PhX和PhY表示輸出圖元與圖元1601的水平和豎直距離。ph45和ph135值(被稱為方向相位)表示用於雙線性內插的距離權重值。如圖16中所示,邊緣的對角性質可以在一個區域中保持,而邊緣的對角特性可以在另一個區域中保持。
圖17圖示包括用於顯示處理的縮放架構的一個實例的圖1700。具體地說,圖17圖示了根據本案內容的角內插方塊圖。如圖17中所示,圖1700包括圖元三角形選擇器1710、方向相位計算部件1712、V0V1V2部件1730-1733、雙線性內插器1740-1743、線性融合部件1750-1753、方向不可知角內插器1760和雙線性角融合部件1770。圖17圖示了角類型和2x2圖元網格輸入到圖元三角形選擇器1710。當與雙線性角融合部件1770通訊時,圖元三角形選擇器1710亦可以利用PhaseX和PhaseY,隨後雙線性角融合部件1770可以輸出corner
out值。圖17亦圖示了4條平行路徑,其中每個3x3子訊窗包括一條路徑。
本文提出的各態樣亦可以利用三方向邊緣濾波。當前的邊緣濾波可以利用雙向濾波,其中沿63°和26°方向(或-63°和-26°方向)估計邊緣濾波,並基於被稱為精細方向估計(FDE)的強度度量進行線性混合。本案內容的各態樣可以增加沿45°和135°方向的第三估計,以改進邊緣的保留,特別是那些靠近對角線方向定向的邊緣(其中邊緣濾波強度最大)。本文提出的各態樣所使用的方案可以類似於負方向,亦即,當所偵測的邊緣沿著負方向時。例如,可以在當前演算法中定義63°/-63°和26°/-26°內插,而45°/135°方向濾波塊可以是新穎的。45°/135°方向濾波塊可以使用四個3x3 2D可分離濾波器。45°和135°核心之間的選擇可以取決於所偵測的邊緣的符號(經由GST度量的符號來指示)。此外,可以對4個可分離濾波器的輸出進行雙線性混合以獲得方向輸出。
圖18圖示包括用於顯示處理的縮放架構的一個實例的圖1800。具體地說,圖18圖示了45°/135°方向濾波塊的資料串流。如圖18中所示,圖1800包括方向相位計算部件1812、係數查閱資料表(LUT)1820、係數解包部件1822、程式3x3 45°部件1830-1833、程式3x4 135°部件1834-1837、程式3x3部件1840-1843、可分離濾波器1850-1853和雙線性內插器1870。圖18圖示了將直接PhX和直接PhY從方向相位計算部件1812傳送到係數查閱資料表(LUT)1820。此外,在方向相位計算部件1812和雙線性內插器1870之間傳輸PhaseX和PhaseY。最後,雙線性內插器1870可以輸出方向輸出。
本文提出的各態樣亦可以利用圖元融合程序(例如,混合角濾波、方向濾波和雙三次濾波)。在圖元融合中,可以使用GST權重(其表示邊緣強度),對來自方向濾波塊的三方向輸出(
)和雙三次濾波器輸出進行組合。此外,可以使用角度,對來自角濾波器塊的角度輸出(
)和
進行組合以提供最終輸出圖元。
圖19圖示包括用於顯示處理的縮放技術的一個實例的圖1900。具體地說,圖19圖示了圖元融合塊架構。如圖19中所示,圖1900包括輸入1910、輸出1950和圖元融合塊1902,其中該圖元融合塊1902包括雙三次可分離濾波部件1920、三方向邊緣濾波部件1922、基於圖案匹配的角濾波部件1924、預定義圖案1926、線性組合1930(包括GST權重)和線性組合1940(包括角度)。如圖19中所示,在一些實例中,
=
GST*
+ (1 –
GST)*
。此外,在一些實例中,
=
cornerness*
+ (1 –
cornerness) *
。
本案內容的各態樣可以包括許多益處或優點。例如,本案內容的各態樣更好地保留了有助於影像中的物件結構的高頻特徵。本文提出的各態樣亦可以優於其他傳統的基於濾波的影像縮放技術,以及用於圖形用例或本文用例的某些基於AI的縮放器。
圖20是根據本案內容的一或多個技術的顯示處理的通訊流程圖2000。如圖20中所示,根據本案內容的一或多個技術,圖2000包括DPU 2002(或其他顯示處理器)、記憶體2004和顯示器2006(例如,顯示面板)之間的實例通訊。
在2010處,DPU 2002可以接收用於縮放操作的至少一個輸入影像(例如,輸入影像2012),該至少一個輸入影像與一或多個掃瞄訊窗相關聯,該一或多個掃瞄訊窗中的每一個包括複數個圖元。在一些態樣,該一或多個掃瞄訊窗可以是一或多個圖元網格。
在2020處,DPU 2002可以偵測該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中的一或多個特徵。該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中的一或多個特徵,可以包括一或多個角或者一或多個邊緣中的至少一項。該一或多個角可以包括一或多個類別1角和一或多個類別2角,其中該一或多個類別1角可以與未經旋轉的水平軸和未經旋轉的豎直軸相關聯,並且該一或多個類別2角可以與經經45度旋轉的水平軸和經經45度旋轉的豎直軸相關聯。
在2030處,DPU 2002可以針對在該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中所偵測的一或多個特徵之每一者特徵,來計算置信因數。在一些情況下,針對該一或多個特徵之每一者特徵的置信因數的計算,可以對應於非最大抑製程序。針對該一或多個特徵之每一者特徵的置信因數可以對應於該一或多個特徵之每一者特徵的精度的置信度,其中該置信因數可以是介於0和1之間的值。此外,該複數個圖元的經調整數量的組合可以是基於針對該一或多個特徵之每一者特徵的置信因數。此外,該一或多個特徵可以包括一或多個角和一個或更個邊緣,其中置信因數可以是針對該一或多個邊緣之每一者邊緣的邊緣強度度量和針對該一或多個角之每一者角的角強度度量。
在2040處,DPU 2002可以針對所偵測的一或多個特徵之每一者特徵,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的數量。在一些態樣,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的數量,可以調整該一個或者多個掃瞄訊窗的圖元解析度。此外,對該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的數量的調整,可以對應於角內插或邊緣內插。邊緣內插可以與三方向邊緣濾波相關聯,而角內插可以與基於圖案匹配的角濾波相關聯。
在2050處,DPU 2002可以將針對所偵測的一或多個特徵之每一者特徵的經調整數量的該複數個圖元組合為複數個輸出圖元。針對所偵測的一或多個特徵之每一者特徵的經調整數量的該複數個圖元的組合可以是線性組合。
在2060處,DPU 2002可以將該複數個輸出圖元之每一者輸出圖元處理為至少一個輸出影像。在一些情況下,DPU可以掃瞄該複數個輸出圖元之每一者輸出圖元,其中可以按掃瞄順序來掃瞄該複數個輸出圖元之每一者輸出圖元。例如,對該複數個輸出圖元之每一者輸出圖元進行處理可以包括:掃瞄該複數個輸出象素中的每一個,其中可以按掃瞄順序來掃瞄該複數個輸出象素中的每一個。另外,可以在顯示處理單元(DPU)或DPU縮放器處,處理該複數個輸出圖元之每一者輸出圖元。
在2070處,DPU 2002可以在處理該複數個輸出圖元之每一者輸出圖元之後,向顯示器或面板(例如,顯示器2006)發送該至少一個輸出影像(例如,輸出影像2072)。
圖21是根據本案內容的一或多個技術的顯示處理的實例方法的流程圖2100。該方法可以由諸如以下的DPU來執行:用於顯示處理的裝置、顯示處理器、無線通訊設備、及/或可以執行如結合圖1-20的實例使用的顯示處理的任何裝置。
在2102處,DPU可以接收用於縮放操作的至少一個輸入影像,該至少一個輸入影像與一或多個掃瞄訊窗相關聯,一或多個掃瞄訊窗中的每一個掃瞄訊窗包括複數個圖元,如結合圖1-20中的實例所描述的。例如,如圖20的2010中所述,DPU 2002可以接收用於縮放操作的至少一個輸入影像,該至少一個輸入影像與一或多個掃瞄訊窗相關聯,該一或多個掃瞄訊窗之每一者掃瞄訊窗包括複數個圖元。此外,步驟2102可以由圖1中的顯示處理器127執行。在一些態樣,該一或多個掃瞄訊窗可以是一或多個圖元網格。
在2104處,DPU可以偵測該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該多個圖元中的一或多個特徵,如結合圖1-20中的實例所描述的。例如,如圖20的2020中所述,DPU 2002可以偵測該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中的一或多個特徵。此外,步驟2104可以由圖1中的顯示處理器127執行。該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中的一或多個特徵,可以包括一或多個角或者一或多個邊緣中的至少一項。該一或多個角可以包括一或多個類別1角和一或多個類別2角,其中該一或多個類別1角可以與未經旋轉的水平軸和未經旋轉的豎直軸相關聯,並且該一或多個類別2角可以與經45度旋轉的水平軸和經45度旋轉的豎直軸相關聯。
在2108處,DPU可以針對所偵測的一或多個特徵之每一者特徵,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的數量,如結合圖1-20中的實例所描述的。例如,如圖20的2040中所述,DPU 2002可以針對所偵測的一或多個特徵之每一者特徵,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的數量。此外,步驟2108可以由圖1中的顯示處理器127執行。在一些態樣,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該多個圖元的數量,可以調整該一個或者多個掃瞄訊窗的圖元解析度。此外,對該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的數量的調整,可以對應於角內插或邊緣內插。邊緣內插可以與三方向邊緣濾波相關聯,而角內插可以與基於圖案匹配的角濾波相關聯。
在2110處,DPU可以將針對所偵測的一或多個特徵之每一者特徵的經調整數量的該複數個圖元組合為複數個輸出圖元,如結合圖1-20中的實例所描述的。例如,如圖20的2050中所述,DPU 2002可以將針對所偵測的一或多個特徵之每一者特徵的經調整數量的該複數個圖元組合為複數個輸出圖元。此外,步驟2110可以由圖1中的顯示處理器127執行。針對所偵測的一或多個特徵之每一者特徵的經調整數量的該複數個圖元的組合可以是線性組合。
在2112處,DPU可以將該複數個輸出圖元之每一者輸出圖元處理為至少一個輸出影像,如結合圖1-20中的實例所描述的。例如,如圖20的2060中所述,DPU 2002可以將該複數個輸出圖元之每一者輸出圖元處理為至少一個輸出影像。此外,步驟2112可以由圖1中的顯示處理器127執行。在一些情況下,DPU可以掃瞄該複數個輸出圖元之每一者輸出圖元,其中可以按掃瞄順序來掃瞄該複數個輸出圖元之每一者輸出圖元。例如,對該複數個輸出圖元之每一者輸出圖元進行處理可以包括:掃瞄該複數個輸出象素中的每一個,其中可以按掃瞄順序來掃瞄該複數個輸出象素中的每一個。另外,可以在顯示處理單元(DPU)或DPU縮放器處,處理該複數個輸出圖元之每一者輸出圖元。
圖22是根據本案內容的一或多個技術的顯示處理的實例方法的流程圖2200。該方法可以由諸如以下的DPU來執行:用於顯示處理的裝置、顯示處理器、無線通訊設備、及/或可以執行如結合圖1-20的實例使用的顯示處理的任何裝置。
在2202處,DPU可以接收用於縮放操作的至少一個輸入影像,該至少一個輸入影像與一或多個掃瞄訊窗相關聯,該一或多個掃瞄訊窗之每一者掃瞄訊窗包括複數個圖元,如結合圖1-20中的實例所描述的。例如,如圖20的2010中所述,DPU 2002可以接收用於縮放操作的至少一個輸入影像,該至少一個輸入影像與一或多個掃瞄訊窗相關聯,該一或多個掃瞄訊窗之每一者掃瞄訊窗包括複數個圖元。此外,步驟2202可以由圖1中的顯示處理器127執行。在一些態樣,該一或多個掃瞄訊窗可以是一或多個圖元網格。
在2204處,DPU可以偵測該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中的一或多個特徵,如結合圖1-20中的實例所描述的。例如,如圖20的2020中所述,DPU 2002可以偵測該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中的一或多個特徵。此外,步驟2204可以由圖1中的顯示處理器127執行。該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中的一或多個特徵,可以包括一或多個角或者一或多個邊緣中的至少一項。該一或多個角可以包括一或多個類別1角和一或多個類別2角,其中該一或多個類別1角可以與未經旋轉的水平軸和未經旋轉的豎直軸相關聯,並且該一或多個類別2角可以與經45度旋轉的水平軸和經45度旋轉的豎直軸相關聯。
在2206處,DPU可以針對在該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中偵測到的一或多個特徵之每一者特徵,來計算置信因數,如結合圖1-20中的實例所描述的。例如,如圖20的2020中所述,DPU 2002可以針對在該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中所偵測的一或多個特徵之每一者特徵,來計算置信因數。此外,步驟2206可以由圖1中的顯示處理器127執行。在一些情況下,針對該一或多個特徵之每一者特徵的置信因數的計算,可以對應於非最大抑製程序。針對該一或多個特徵之每一者特徵的置信因數可以對應於該一或多個特徵之每一者特徵的精度的置信度,其中該置信因數可以是介於0和1之間的值。此外,該複數個圖元的經調整數量的組合可以是基於針對該一或多個特徵之每一者特徵的置信因數。此外,該一或多個特徵可以包括一或多個角和一個或更個邊緣,其中置信因數可以是針對該一或多個邊緣之每一者邊緣的邊緣強度度量和針對該一或多個角之每一者角的角強度度量。
在2208處,DPU可以針對所偵測到的一或多個特徵之每一者特徵,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的數量,如結合圖1-20中的實例所描述的。例如,如圖20的2040中所述,DPU 2002可以針對所偵測的一或多個特徵之每一者特徵,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的數量。此外,步驟2208可以由圖1中的顯示處理器127執行。在一些態樣,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的數量,可以調整該一個或者多個掃瞄訊窗的圖元解析度。此外,對該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的數量的調整,可以對應於角內插或邊緣內插。邊緣內插可以與三方向邊緣濾波相關聯,而角內插可以與基於圖案匹配的角濾波相關聯。
在2210處,DPU可以將針對所偵測的一或多個特徵之每一者特徵的經調整數量的該複數個圖元組合為複數個輸出圖元,如結合圖1-20中的實例所描述的。例如,如圖20的2050中所述,DPU 2002可以將針對所偵測的一或多個特徵之每一者特徵的經調整數量的該複數個圖元組合為複數個輸出圖元。此外,步驟2210可以由圖1中的顯示處理器127執行。針對所偵測的一或多個特徵之每一者特徵的經調整數量的該複數個圖元的組合可以是線性組合。
在2212處,DPU可以將該複數個輸出圖元之每一者輸出圖元處理為至少一個輸出影像,如結合圖1-20中的實例所描述的。例如,如圖20的2060中該,DPU 2002可以將該複數個輸出圖元之每一者輸出圖元處理為至少一個輸出影像。此外,步驟2212可以由圖1中的顯示處理器127執行。在一些情況下,DPU可以掃瞄該複數個輸出圖元之每一者輸出圖元,其中可以按掃瞄順序來掃瞄該複數個輸出圖元之每一者輸出圖元。例如,對該複數個輸出圖元之每一者輸出圖元進行處理可以包括:掃瞄該複數個輸出象素中的每一個,其中可以按掃瞄順序來掃瞄該複數個輸出象素中的每一個。另外,可以在顯示處理單元(DPU)或DPU縮放器處,處理該複數個輸出圖元之每一者輸出圖元。
在2214體會,DPU可以在處理該複數個輸出圖元之每一者輸出圖元之後,向顯示器或面板發送該至少一個輸出影像,如結合圖1-20中的實例所描述的。例如,如圖20的2070中所述,DPU 2002可以在處理該複數個輸出圖元之每一者輸出圖元之後,向顯示器或面板發送該至少一個輸出影像。此外,步驟2214可以由圖1中的顯示處理器127執行。
在配置中,提供了一種用於顯示處理的方法或裝置。該裝置可以是DPU、顯示處理器或可以執行顯示處理的某種其他處理器。在各態樣,該裝置可以是設備104內的顯示處理器127,或者可以是設備104或另一個設備內的某種其他硬體。該裝置(例如,顯示處理器127)可以包括:用於接收用於縮放操作的至少一個輸入影像的單元,該至少一個輸入影像與一或多個掃瞄訊窗相關聯,該一或多個掃瞄訊窗之每一者掃瞄訊窗包括複數個圖元;用於偵測該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中的一或多個特徵的單元;用於針對所偵測的一或多個特徵之每一者特徵,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的數量的單元;用於將針對所偵測到的一或多個特徵之每一者特徵的經調整數量的該複數個圖元組合為複數個輸出圖元的單元;用於將該複數個輸出圖元之每一者輸出圖元處理為至少一個輸出影像的單元;用於針對在該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中所偵測的該一或多個特徵之每一者特徵,來計算置信因數的單元;用於在處理該複數個輸出圖元之每一者輸出圖元之後,向顯示器或面板發送該至少一個輸出影像的單元。
可以實施本文所描述的主題以實現一或多個益處或優點。例如,所描述的顯示處理技術可以由DPU、顯示處理器、或者可以執行顯示處理以實現本文所描述的圖案匹配和角/邊緣濾波技術的某種其他處理器使用。與其他顯示處理技術相比,這亦可以以低成本實現。此外,本文中的顯示處理技術可以改進或加速資料處理或執行。此外,本文的顯示處理技術可以提高資源或資料利用率及/或資源效率。此外,本案內容的各態樣可以利用圖案匹配和角/邊緣濾波技術,以提高記憶體頻寬效率及/或提高DPU處的處理速度。
應當理解的是,本文所揭示處理/流程圖中的特定順序或者方塊層次只是實例方法的一個實例。應當理解的是,基於設計優先選擇,可以重新排列這些處理/流程圖中的特定順序或方塊層次。此外,可以對一些方塊進行組合或省略。所附的方法請求項以實例順序提供各種方塊的元素,但並不意味著其受到提供的特定順序或層次的限制。
為使本發明所屬領域中任何具有通常知識者能夠實現本文所描述的各個態樣,上面圍繞各個態樣進行了描述。對於本發明所屬領域中具有通常知識者來說,對這些態樣的各種修改皆是顯而易見的,並且本文定義的整體原理亦可以適用於其他態樣。因此,本發明並不限於本文所示出的態樣,而是與本發明揭示的全部範疇相一致,其中除非特別說明,否則用單數形式修飾某一部件並不意味著「一個和僅僅一個」,而可以是「一或多個」。本文所使用的「示例性的」一詞意味著「用作實例、例證或說明」。本文中描述為「示例性」的任何態樣不應被解釋為比其他態樣更優選或更具優勢。
除非另外特別說明,否則術語「一些」代表一或多個,並且在上下文沒有另行規定的情況下,可以將術語「或」解釋為「及/或」。諸如「A、B或C中的至少一個」、「A、B或C中的一或多個」、「A、B和C中的至少一個」、「A、B和C中的一或多個」以及「A、B、C或者其任意組合」之類的組合,包括A、B及/或C的任意組合,其可以包括多個A、多個B或者多個C。具體而言,諸如「A、B或C中的至少一個」、「A、B或C中的一或多個」、「A、B和C中的至少一個」、「A、B和C中的一或多個」以及「A、B、C或者其任意組合」之類的組合,可以是僅僅A、僅僅B、僅僅C、A和B、A和C、B和C或者A和B和C,其中任意的這種組合可以包含A、B或C中的一或多個成員或者一些成員。貫穿本案內容描述的各個態樣的部件的所有結構和功能均等物以引用方式明確地併入本文中,並且意欲由請求項所涵蓋,這些結構和功能均等物對於本發明所屬領域中具有通常知識者來說是公知的或將要是公知的。此外,本文中沒有任何揭示內容是想要奉獻給公眾的,不管此類揭示內容是否明確記載在申請專利範圍中。「模組」、「裝置」、「元素」、「設備」等等之類的詞語,並不是詞語「單元」的替代詞。因此,請求項的構成要素不應被解釋為功能模組,除非該構成要素明確採用了「手段功能」的措辭進行記載。
在一或多個實例中,所描述的功能可以利用硬體、軟體、韌體或者其任意組合來實現。例如,儘管貫穿本案內容使用了術語「處理單元」,但是此類處理單元可以利用硬體、軟體、韌體或者其任意組合來實現。當利用軟體實現任何功能、處理單元、本文描述的技術或其他模組時,可以將這些功能、處理單元、本文描述的技術、或其他模組儲存在電腦可讀取媒體上,或者作為電腦可讀取媒體上的一或多個指令或代碼進行傳輸。
根據本案內容,若上下文沒有另外規定,術語「或」可以解釋為「及/或」。此外,儘管可能已使用諸如「一或多個」或「至少一個」等等之類的短語來用於本文所揭示的一些特徵,而其他特徵沒有使用,但可以將未使用此類語言的特徵解釋為具有上下文沒有另行規定的隱含含義。
在一或多個實例中,本文所描述的功能可以利用硬體、軟體、韌體或其任何組合來實現。例如,儘管貫穿本案內容使用了術語「處理單元」,但是這種處理單元可以利用硬體、軟體、韌體或其任何組合來實現。若本文描述的任何功能、處理單元、技術或其他模組利用軟體來實現,則本文所描述的功能、處理單元、技術或其他模組可以作為電腦可讀取媒體上的一或多個指令或代碼進行儲存或傳輸。電腦可讀取媒體可以包括電腦資料儲存媒體或通訊媒體,其包括有助於將電腦程式從一個地方傳送到另一個地方的任何媒體。用此方式,電腦可讀取媒體通常可以對應於:(1)非臨時性的有形電腦可讀取儲存媒體;或者(2)諸如信號或載波波形之類的通訊媒體。資料儲存媒體可以是一或多個電腦或者一或多個處理器能夠進行存取以獲取用於實現本案內容中描述的技術的指令、代碼及/或資料結構的任何可用媒體。舉例而言,但非做出限制,這種電腦可讀取媒體可以包括RAM、ROM、EEPROM、CD-ROM或者其他光碟記憶體、磁碟記憶體或其他磁存放裝置。如本文所使用的,磁碟和光碟包括壓縮光碟(CD)、鐳射光碟、光碟、數位多功能光碟(DVD)、軟碟和藍光光碟,其中磁碟通常磁性地複製資料,而光碟則通常用鐳射來光學地複製資料。上述的組合亦應當包括在電腦可讀取媒體的保護範疇之內。電腦程式產品可以包括電腦可讀取媒體。
代碼可以由一或多個處理器(例如,一或多個數位訊號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、算數邏輯單位(ALU)、現場可程式設計邏輯陣列(FPGA)或其他等效整合或離散邏輯電路)來執行。因此,如本文所使用的術語「處理器」可以代表任何前述結構或者適用於實現本文所描述的技術的任何其他結構。此外,可以在一或多個電路或邏輯元件中完全地實現這些技術。
本案內容的技術可以使用多種多樣的設備或裝置來實現,其包括使用無線手持裝置、積體電路(IC)或者一組IC(例如,晶片組)。本案內容中描述了各種部件、模組或單元,以強調被配置為執行所揭示的技術的設備的功能態樣,但不一定需要由不同的硬體單元來實現。相反,如前述,各個單元可以組合在任何硬體單元中,或者經由協調的硬體單元集合(其包括如前述的一或多個處理器)結合適當的軟體及/或韌體來提供。因此,如本文所使用的,術語「處理器」可以代表前述的結構或者適合於實現本文所描述的技術的任何其他結構中的任何一種。此外,這些技術可以在一或多個電路或邏輯部件中完全實現。
以下態樣僅是說明性的,可以與本文描述的其他態樣或教導相結合,但不限於此。
態樣1是一種用於顯示處理的裝置,其包括耦合到記憶體的至少一個處理器,其被配置為:接收用於縮放操作的至少一個輸入影像,該至少一個輸入影像與一或多個掃瞄訊窗相關聯,該一或多個掃瞄訊窗之每一者掃瞄訊窗包括複數個圖元;偵測該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中的一或多個特徵;針對所偵測的該一或多個特徵之每一者特徵,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的數量;將針對所偵測的該一或多個特徵之每一者特徵的經調整數量的該複數個圖元組合為複數個輸出圖元;並將該複數個輸出圖元之每一者輸出圖元處理為至少一個輸出影像。
態樣2是根據態樣1之裝置,其中該至少一個處理器亦被配置為:針對在該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中所偵測的該一或多個特徵之每一者特徵,來計算置信因數。
態樣3是根據態樣1和2中的任何一項所述的裝置,其中對針對該一或多個特徵之每一者特徵的該置信因數的該計算對應於非最大抑製程序。
態樣4是根據態樣1至3中的任何一項所述的裝置,其中針對該一或多個特徵之每一者特徵的該置信因數對應於該一或多個特徵之每一者特徵的精度的置信度,其中該置信因數是介於0和1之間的值。
態樣5是根據態樣1至4中的任何一項所述的裝置,其中經調整數量的該複數個圖元的該組合是基於該一或多個特徵之每一者特徵的該置信因數的。
態樣6是根據態樣1至5中的任何一項所述的裝置,其中該一或多個特徵包括一或多個角和一或多個邊緣,其中該置信因數是針對該一或多個邊緣之每一者邊緣的邊緣強度度量和針對該一或多個角之每一者角的角強度度量。
態樣7是根據態樣1至6中的任何一項所述的裝置,其中調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的數量,調整該一或多個掃瞄訊窗的圖元解析度。
態樣8是根據態樣1至7中的任何一項該的裝置,其中對該一或多個掃瞄訊窗之每一者掃瞄訊窗中該複數個圖元的數量的該調整對應於角內插或邊緣內插。
態樣9是根據態樣1至8中的任何一項所述的裝置,其中該邊緣內插與三方向邊緣濾波相關聯,並且該角內插與基於圖案匹配的角濾波相關聯。
態樣10是根據態樣1至9中的任何一項該的裝置,其中該一或多個掃瞄訊窗之每一者掃瞄訊窗中該複數個圖元中的該一或多個特徵包括一或多個角或者一或多個邊緣中的至少一項。
態樣11是根據態樣1至10中的任何一項所述的裝置,其中該一或多個角包括一或多個類別1角和一或多個類別2角,其中該一或多個類別1角與未經旋轉的水平軸和未經旋轉的豎直軸相關聯,並且該一或多個類別2角與經45度旋轉的水平軸和經45度旋轉的豎直軸相關聯。
態樣12是根據態樣1至11中的任何一項所述的裝置,其中針對所偵測的一或多個特徵之每一者特徵的該經調整數量的該複數個圖元的該組合是線性組合。
態樣13是根據態樣1至12中的任何一項所述的裝置,其中為了處理該複數個輸出圖元之每一者輸出圖元,該至少一個處理器被配置為掃瞄該複數個輸出圖元之每一者輸出圖元,其中以掃瞄順序來掃瞄該複數個輸出圖元之每一者輸出圖元。
態樣14是根據態樣1至13中的任何一項所述的裝置,其中該至少一個處理器亦被配置為:在處理該複數個輸出圖元之每一者輸出圖元之後,向顯示器或面板發送該至少一個輸出影像。
態樣15是根據態樣1至14中的任何一項所述的裝置,其中該一或多個掃瞄訊窗是一或多個圖元網格。
態樣16是根據態樣1至15中的任何一項所述的裝置,其中在顯示處理單元(DPU)或DPU縮放器處處理該複數個輸出圖元之每一者輸出圖元。
態樣17是根據態樣1至16中的任何一項所述的裝置,亦包括:耦合到該至少一個處理器的天線或收發機中的至少一項。
態樣18是一種用於實現態樣1至17中的任何一項的顯示處理方法。
態樣19是一種用於顯示處理的裝置,其包括用於實現態樣1至17中的任何一項的單元。
態樣20是一種儲存有電腦可執行代碼的電腦可讀取媒體,當該代碼由至少一個處理器執行時,使該至少一個處理器實現態樣1至17中的任何一項。
100:內容產生系統
104:設備
107:圖形處理流水線
120:處理單元
121:內部記憶體
122:內容編碼器/解碼器
123:內部記憶體
124:系統記憶體
126:通訊介面
127:顯示處理器
128:接收器
130:發射器
131:顯示器
132:收發器
198:決定部件
200:圖形處理單元
210:命令處理器(CP)
212:繪製調用封包
220:頂點提取器(VFD)
222:頂點著色器(VS)
224:頂點緩存(VPC)
226:三角形設置引擎(TSE)
228:光柵器(RAS)
230:、Z處理引擎(ZPE)
232:圖元內插器(PI)
234:片段著色器(FS)
236:渲染後端(RB)
238:二級(L2)緩存(UCHE)
240:系統記憶體
250:命令緩衝器
260:上下文暫存器封包
261:上下文狀態
300:方塊圖
310:圖形處理單元(GPU)
315:中央處理單元(CPU)
320:使用者空間
325:核心空間
330:顯示驅動器
335:控制區塊
340:顯示介面
345:顯示控制器
350:緩衝器
355:顯示客戶端
400:圖
410:輸入影像
420:濾波塊
422:雙三次可分離濾波部件
424:雙向邊緣濾波部件
430:線性組合部件
450:輸出影像
500:圖
510:輸入影像
520:濾波塊
522:雙三次可分離濾波部件
524:三方向邊緣濾波部件
526:角濾波部件
530:線性組合部件
550:輸出影像
600:圖
610:輸入影像
650:輸出影像
700:圖
710:圖案匹配和角偵測部件
712:方向偵測部件
714:方向估計部件
720:本端存貯設備(LS)
722:方向圖元提取器
724:角圖元提取器
730:三角形選擇器
732:方向相位計算部件
734:豎直相位部件
740:程式對選擇器
742:方向相位計算部件
750:VphaseAccY部件
752:VphaseAccUV部件
754:HphaseAccY部件
756:HphaseAccUV部件
760:雙線性內插器
761:雙線性內插器
762:雙線性內插器
763:雙線性內插器
765:二維(2D)可分離內插器
766:二維(2D)可分離內插器
767:二維(2D)可分離內插器
768:二維(2D)可分離內插器
770:方向融合部件
780:2D可分離濾波器
781:雙線性內插器
782:雙線性內插器
783:雙線性內插器
784:雙線性內插器
786:角融合部件
790:圖元融合部件
800:圖
810:輸入亮度網格
820:偵測塊
830:角度和角類型對
900:圖
902:3x3輸入
910:預處理部
920:圖案匹配部件
931:預定義圖案
932:預定義圖案
933:預定義圖案
934:預定義圖案
940:角度和角類型
1000:圖
1010:輸入
1020:差分矩陣
1030:區域分割矩陣
1040:區域分割矩陣
1042:逆分割矩陣
1050:輸入
1060:圖案
1070:圖案
1100:圖
1102:預處理塊
1110:3x3輸入
1112:均值計算器
1114:方差計算器
1116:分割矩陣產生器
1118:Ep
1119:En
1120:3x3輸入
1122:均值計算器
1124:方差計算器
1126:分割矩陣產生器
1128:Ep
1129:En
1130:3x3輸入
1132:均值計算器
1134:方差計算器
1136:分割矩陣產生器
1138:Ep
1139:En
1140:3x3輸入
1142:均值計算器
1144:方差計算器
1146:分割矩陣產生器
1148:Ep
1149:En
1200:圖
1204:Ep
1206:En
1210:角度計算器
1211:角度計算器
1212:角度計算器
1213:角度計算器
1220:最大部件
1230:角度
1300:圖
1310:Ep
1312:En
1321:Ep區域A求和部件
1322:En區域B求和部件
1323:Ep區域B求和部件
1324:En區域A求和部件
1330:sigmoid查閱資料表(LUT)
1340:非最大抑制計算器
1350:角度
1400:圖
1410:取樣輸入
1500:圖
1501:圖元
1502:圖元
1503:圖元
1504:圖元
1600:圖
1601:圖元
1602:圖元
1603:圖元
1604:圖元
1700:圖
1710:圖元三角形選擇器
1712:方向相位計算部件
1730:V0V1V2部件
1731:V0V1V2部件
1732:V0V1V2部件
1733:V0V1V2部件
1740:雙線性內插器
1741:雙線性內插器
1742:雙線性內插器
1743:雙線性內插器
1750:線性融合部件
1751:線性融合部件
1752:線性融合部件
1753:線性融合部件
1760:方向不可知角內插器
1770:雙線性角融合部件
1800:圖
1812:方向相位計算部件
1820:係數查閱資料表(LUT)
1822:係數解包部件
1830:程式3x3 45°部件
1831:程式3x3 45°部件
1832:程式3x3 45°部件
1833:程式3x3 45°部件
1834:程式3x4 135°部件
1835:程式3x4 135°部件
1836:程式3x4 135°部件
1837:程式3x4 135°部件
1840:程式3x3部件
1841:程式3x3部件
1842:程式3x3部件
1843:程式3x3部件
1850:可分離濾波器
1851:可分離濾波器
1852:可分離濾波器
1853:可分離濾波器
1870:雙線性內插器
1900:圖
1902:圖元融合塊
1910:輸入
1920:雙三次可分離濾波部件
1922:三方向邊緣濾波部件
1924:角濾波部件
1926:預定義圖案
1930:線性組合
1940:線性組合
1950:輸出
2000:圖
2002:DPU
2004:記憶體
2006:顯示器
2010:方塊
2012:輸入影像
2020:方塊
2030:方塊
2040:方塊
2050:方塊
2060:方塊
2070:方塊
2072:輸出影像
2100:流程圖
2102:方塊
2104:方塊
2108:方塊
2110:方塊
2112:方塊
2200:流程圖
2202:方塊
2204:方塊
2206:方塊
2208:方塊
2210:方塊
2212:方塊
2214:方塊
圖1是示出實例內容產生系統的方塊圖。
圖2圖示實例圖形處理單元(GPU)。
圖3圖示包括顯示處理器和顯示器的實例顯示框架。
圖4是示出用於顯示處理的實例縮放技術的圖。
圖5是示出用於顯示處理的實例縮放技術的圖。
圖6是示出用於顯示處理的實例縮放技術的圖。
圖7是示出用於顯示處理的實例縮放架構的圖。
圖8是示出用於顯示處理的實例縮放技術的圖。
圖9是示出用於顯示處理的實例縮放技術的圖。
圖10是示出用於顯示處理的實例縮放技術的圖。
圖11是示出用於顯示處理的實例縮放架構的圖。
圖12是示出用於顯示處理的實例縮放架構的圖。
圖13是示出用於顯示處理的實例縮放架構的圖。
圖14是示出用於顯示處理的實例縮放技術的圖。
圖15是示出用於顯示處理的實例縮放技術的圖。
圖16是示出用於顯示處理的實例縮放技術的圖。
圖17是示出用於顯示處理的實例縮放架構的圖。
圖18是示出用於顯示處理的實例縮放架構的圖。
圖19是示出用於顯示處理的實例縮放技術的圖。
圖20是示出記憶體、DPU和顯示器之間的實例通訊的通訊流程圖。
圖21是實例顯示處理方法的流程圖。
圖22是實例顯示處理方法的流程圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記)
無
國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記)
無
2000:圖
2002:DPU
2004:記憶體
2006:顯示器
2010:方塊
2012:輸入影像
2020:方塊
2030:方塊
2040:方塊
2050:方塊
2060:方塊
2070:方塊
2072:輸出影像
Claims (30)
- 一種用於顯示處理的裝置,包括: 一記憶體;及 耦合到該記憶體的至少一個處理器,其被配置為: 接收用於一縮放操作的至少一個輸入影像,該至少一個輸入影像與一或多個掃瞄訊窗相關聯,該一或多個掃瞄訊窗之每一者掃瞄訊窗包括複數個圖元; 偵測該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中的一或多個特徵; 針對所偵測的一或多個特徵之每一者特徵,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的一數量; 將針對所偵測的一或多個特徵之每一者特徵的經調整數量的該複數個圖元組合為複數個輸出圖元;及 將該複數個輸出圖元之每一者輸出圖元處理為至少一個輸出影像。
- 根據請求項1之裝置,其中該至少一個處理器亦被配置為: 針對在該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中所偵測的一或多個特徵之每一者特徵,來計算一置信因數。
- 根據請求項2之裝置,其中對針對該一或多個特徵之每一者特徵的該置信因數的該計算對應於一非最大抑製程序。
- 根據請求項2之裝置,其中針對該一或多個特徵之每一者特徵的該置信因數對應於該一或多個特徵之每一者特徵的一精度的一置信度,其中該置信因數是介於0和1之間的一值。
- 根據請求項2之裝置,其中該經調整數量的該複數個圖元的該組合是基於針對該一或多個特徵之每一者特徵的該置信因數的。
- 根據請求項2之裝置,其中該一或多個特徵包括一或多個角和一或多個邊緣,其中該置信因數是針對該一或多個邊緣之每一者邊緣的一邊緣強度度量和針對該一或多個角之每一者角的一角強度度量的。
- 根據請求項1之裝置,其中調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的該數量,調整該一或多個掃瞄訊窗的一圖元解析度。
- 根據請求項1之裝置,其中對該一或多個掃瞄訊窗之每一者掃瞄訊窗中該複數個圖元的該數量的該調整對應於角內插或邊緣內插。
- 根據請求項8之裝置,其中該邊緣內插與三方向邊緣濾波相關聯,並且該角內插與基於圖案匹配的角濾波相關聯。
- 根據請求項1之裝置,其中該一或多個掃瞄訊窗之每一者掃瞄訊窗中該複數個圖元中的該一或多個特徵包括一或多個角或者一或多個邊緣中的至少一項。
- 根據請求項10之裝置,其中該一或多個角包括一或多個類別1角和一或多個類別2角,其中該一或多個類別1角與一未經旋轉的水平軸和一未經旋轉的豎直軸相關聯,並且該一或多個類別2角與一經45度旋轉的水平軸和一經45度旋轉的豎直軸相關聯。
- 根據請求項1之裝置,其中針對所偵測的一或多個特徵之每一者特徵的該經調整數量的該複數個圖元的該組合是一線性組合。
- 根據請求項1之裝置,其中為了處理該多個輸出圖元之每一者輸出圖元,該至少一個處理器被配置為掃瞄該複數個輸出圖元之每一者輸出圖元,其中以一掃瞄順序來掃瞄該複數個輸出圖元之每一者輸出圖元。
- 根據請求項1之裝置,其中該至少一個處理器亦被配置為: 在處理該複數個輸出圖元之每一者輸出圖元之後,向一顯示器或一面板發送該至少一個輸出影像。
- 根據請求項1之裝置,其中該一或多個掃瞄訊窗是一或多個圖元網格。
- 根據請求項1之裝置,亦包括耦合到該至少一個處理器的一天線或一收發器中的至少一項,其中在一顯示處理單元(DPU)或一DPU縮放器處處理該複數個輸出圖元之每一者輸出圖元。
- 一種顯示處理的方法,包括以下步驟: 接收用於一縮放操作的至少一個輸入影像,該至少一個輸入影像與一或多個掃瞄訊窗相關聯,該一或多個掃瞄訊窗之每一者掃瞄訊窗包括複數個圖元; 偵測該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中的一或多個特徵; 針對所偵測的一或多個特徵之每一者特徵,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的一數量; 將針對所偵測的一或多個特徵之每一者特徵的經調整數量的該複數個圖元組合為複數個輸出圖元;及 將該複數個輸出圖元之每一者輸出圖元處理為至少一個輸出影像。
- 根據請求項17之方法,亦包括以下步驟: 針對在該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中所偵測的一或多個特徵之每一者特徵,來計算一置信因數。
- 根據請求項18之方法,其中對針對該一或多個特徵之每一者特徵的該置信因數的該計算對應於一非最大抑製程序。
- 根據請求項18之方法,其中針對該一或多個特徵之每一者特徵的該置信因數對應於該一或多個特徵之每一者特徵的一精度的一置信度,其中該置信因數是介於0和1之間的一值。
- 根據請求項18之方法,其中該經調整數量的該複數個圖元的該組合是基於針對該一或多個特徵之每一者特徵的該置信因數的。
- 根據請求項18之方法,其中該一或多個特徵包括一或多個角和一或多個邊緣,其中該置信因數是針對該一或多個邊緣之每一者邊緣的一邊緣強度度量和針對該一或多個角之每一者角的一角強度度量的。
- 根據請求項17之方法,其中調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的該數量,調整該一或多個掃瞄訊窗的一圖元解析度。
- 根據請求項17之方法,其中對該一或多個掃瞄訊窗之每一者掃瞄訊窗中該複數個圖元的該數量的該調整對應於角內插或邊緣內插,其中該邊緣內插與三方向邊緣濾波相關聯,並且該角內插與基於圖案匹配的角濾波相關聯。
- 根據請求項17之方法,其中該一或多個掃瞄訊窗之每一者掃瞄訊窗中該複數個圖元中的該一或多個特徵包括一或多個角或者一或多個邊緣中的至少一項,其中該一或多個角包括一或多個類別1角和一或多個類別2角,其中該一或多個類別1角與一未經旋轉的水平軸和一未經旋轉的豎直軸相關聯,並且該一或多個類別2角與一經45度旋轉的水平軸和一經45度旋轉的豎直軸相關聯。
- 根據請求項17之方法,其中針對所偵測的一或多個特徵之每一者特徵的該經調整數量的該複數個圖元的該組合是一線性組合,其中處理該複數個輸出圖元之每一者輸出圖元包括:掃瞄該複數個輸出圖元之每一者輸出圖元,其中以一掃瞄順序來掃瞄該複數個輸出圖元之每一者輸出圖元。
- 根據請求項17之方法,亦包括以下步驟: 在處理該複數個輸出圖元之每一者輸出圖元之後,向一顯示器或一面板發送該至少一個輸出影像。
- 根據請求項17之方法,其中該一或多個掃瞄訊窗是一或多個圖元網格,其中在一顯示處理單元(DPU)或一DPU縮放器處處理該複數個輸出圖元之每一者輸出圖元。
- 一種用於顯示處理的方法,包括以下步驟: 用於接收用於一縮放操作的至少一個輸入影像的單元,該至少一個輸入影像與一或多個掃瞄訊窗相關聯,該一或多個掃瞄訊窗之每一者掃瞄訊窗包括複數個圖元; 用於偵測該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中的一或多個特徵的單元; 用於針對所偵測的一或多個特徵之每一者特徵,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的一數量的單元; 用於將針對所偵測的一或多個特徵之每一者特徵的經調整數量的該複數個圖元組合為複數個輸出圖元的單元;及 用於將該複數個輸出圖元之每一者輸出圖元處理為至少一個輸出影像的單元。
- 一種儲存有用於顯示處理的電腦可執行代碼的非臨時性電腦可讀取媒體,在該代碼由一處理器執行時,使該處理器用於: 接收用於一縮放操作的至少一個輸入影像,該至少一個輸入影像與一或多個掃瞄訊窗相關聯,該一或多個掃瞄訊窗之每一者掃瞄訊窗包括複數個圖元; 偵測該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元中的一或多個特徵; 針對所偵測的一或多個特徵之每一者特徵,調整該一或多個掃瞄訊窗之每一者掃瞄訊窗中的該複數個圖元的一數量; 將針對所偵測的一或多個特徵之每一者特徵的經調整數量的該複數個圖元組合為複數個輸出圖元;及 將該複數個輸出圖元之每一者輸出圖元處理為至少一個輸出影像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/648,414 US20230230201A1 (en) | 2022-01-19 | 2022-01-19 | Fuzzy logic-based pattern matching and corner filtering for display scaler |
US17/648,414 | 2022-01-19 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202345094A true TW202345094A (zh) | 2023-11-16 |
Family
ID=85222302
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW111147381A TW202345094A (zh) | 2022-01-19 | 2022-12-09 | 顯示縮放器的基於模糊邏輯的圖案匹配與角濾波 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230230201A1 (zh) |
TW (1) | TW202345094A (zh) |
WO (1) | WO2023140939A1 (zh) |
-
2022
- 2022-01-19 US US17/648,414 patent/US20230230201A1/en active Pending
- 2022-12-09 WO PCT/US2022/052443 patent/WO2023140939A1/en unknown
- 2022-12-09 TW TW111147381A patent/TW202345094A/zh unknown
Also Published As
Publication number | Publication date |
---|---|
US20230230201A1 (en) | 2023-07-20 |
WO2023140939A1 (en) | 2023-07-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10164458B2 (en) | Selective rasterization | |
KR101922482B1 (ko) | 다수의 렌더 타겟들 내에서 활성 컬러 샘플 카운트를 변경함으로써 스크린 위치에 의한 변화하는 유효 분해능 | |
JP2014533382A (ja) | グラフィックス処理ユニットにおけるレンダリングモード選択 | |
WO2008118805A2 (en) | Processor with adaptive multi-shader | |
CN112740278B (zh) | 用于图形处理的方法及设备 | |
US8797325B2 (en) | Method and system for decomposing complex shapes into curvy RHTs for rasterization | |
EP1141892B1 (en) | Method and apparatus for stretch blitting using a 3d pipeline processor | |
US11908079B2 (en) | Variable rate tessellation | |
TW202345094A (zh) | 顯示縮放器的基於模糊邏輯的圖案匹配與角濾波 | |
TW202303374A (zh) | 具有訊框外插的高品質ui元素 | |
KR20230168281A (ko) | 포비티드 렌더링에서의 콘텐츠 시프팅 | |
TW202230287A (zh) | 用於遮擋處理技術的方法和裝置 | |
TW202137141A (zh) | 用於邊緣壓縮抗混疊的方法和裝置 | |
TW202111663A (zh) | 用於高效的運動估計的方法和裝置 | |
WO2023197284A1 (en) | Saliency-based adaptive color enhancement | |
WO2024113227A1 (en) | Range aware spatial upscaling | |
US20240046410A1 (en) | Foveated scaling for rendering and bandwidth workloads | |
US20240212257A1 (en) | Workload packing in graphics texture pipeline | |
TW202316375A (zh) | 與取樣空間相關聯的注視點分塊渲染 | |
TW202318332A (zh) | 動態可變速率著色 | |
EP4042365A1 (en) | Methods and apparatus for multiple lens distortion correction | |
TW202217745A (zh) | 用於擴展式分箱的可配置圍邊支援 | |
TW202240526A (zh) | 基於顯著性的訊框顏色增強 |