TW201308309A - 用於影像處理的裝置和系統 - Google Patents

用於影像處理的裝置和系統 Download PDF

Info

Publication number
TW201308309A
TW201308309A TW101134121A TW101134121A TW201308309A TW 201308309 A TW201308309 A TW 201308309A TW 101134121 A TW101134121 A TW 101134121A TW 101134121 A TW101134121 A TW 101134121A TW 201308309 A TW201308309 A TW 201308309A
Authority
TW
Taiwan
Prior art keywords
pixel
processing
image
pixel values
memory
Prior art date
Application number
TW101134121A
Other languages
English (en)
Other versions
TWI494916B (zh
Inventor
Sreenath Kurupati
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of TW201308309A publication Critical patent/TW201308309A/zh
Application granted granted Critical
Publication of TWI494916B publication Critical patent/TWI494916B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Abstract

本案揭示供合併有管線交疊之顯示器處理線緩衝器用的裝置、系統以及方法。例如，本案揭示一種裝置，其包含處理邏輯裝置以及多個線緩衝器，其中該處理邏輯裝置使用像素處理演算法以處理一影像之第一部份的像素值，並且該等線緩衝器係耦合至該處理邏輯裝置。該等線緩衝器至少保存該影像相鄰於該第一部份的其他部份之一些像素值。其中由該等線緩衝器保存之影像的其他部份之像素值，對應於將由像素處理演算法予以與第一部份之像素值進行旋積運算的影像之相鄰部份的像素值。本案同時也揭示其他實作例。

Description

用於影像處理的裝置和系統 發明領域
本發明係關於合併管線交疊之顯示器處理線緩 衝器。
發明背景
用於顯示器之影像處理一般以光域掃描形式被處置，其中像素自一圖框中最上方列之最左方像素開始並且一列接一列地向下經過該圖框而連續地被處理，以至於所有在任何特定列中的像素將一起被處理。當處理圖框一列中之一所給予的像素時，像素處理演算法或"濾波核心"可能需要存取環繞之垂直像素。但是，因為像素通常以光域掃描形式經由一般的處理管線而連續地被掃描，該等環繞之垂直像素可能不是可即時供利用的。
一種存取環繞垂直像素之通常解決辦法是使用線緩衝器以儲存環繞著被處理之像素列之像素，因而那些垂直像素是即刻地可供用於正被執行之濾波。因此，例如，當使用一個5乘5(5x5)之二維(2D)濾波核心時，通常之解決辦法是採用四線緩衝器以儲存四個環繞之列的像素。針對一個9x9之2D濾波則需要採用八個線緩衝器。但是，製作線緩衝器是昂貴的。在全高清晰度(HD)影像處理中，這尤其是確實的，其中各線緩衝器一般是足夠地寬以儲存至少1920個像素值。對於採用多數個濾波核心之一般影像處 理管線，使用全寬度線緩衝器的相關費用可能是非常昂貴的。
發明概要
依據本發明之一較佳實施例，係特地提出一種方法，其包含有下列步驟：決定與將對一影像施用之一影像處理管線相關聯的一管線交疊係數，該影像被分割成為數個水平相鄰影像區域，各該等影像區域具有一區域寬度；提供多數個線緩衝器，其具有足夠容納該區域寬度及該管線交疊係數二倍之一寬度；以及使用該等線緩衝器經由該影像處理管線而處理像素資料。
圖式簡單說明
被包含以及構成本說明之一部份的附圖，將展示與本發明原理一致的一個或多個製作例，並且，將與本發明之說明一起描述此等製作例。該等圖形是不必定是依尺度繪製，其重點是在展示本發明之原理。於圖形中：第1圖展示依據本發明一些實作之一影像處理系統的部份；第2圖展示一影像處理機構範例；第3圖是展示依據本發明一些實作之處理程序的流程圖；第4圖展示一影像處理管線機構範例；第5圖展示一影像處理像素標幟機構之範例；第6圖展示依據本發明一些實作之影像處理機 構合併管線交疊的範例；以及第7圖展示依據本發明一些實作之系統。
較佳實施例之詳細說明
下面將參考附圖予以說明。在各種圖形之間，相同參考號碼可被使用以辨識相同或相似元件。雖然下面的說明將藉由特定細節(例如，特定結構、構造、介面、技術等等)以提供本發明申請專利之各種論點的全面了解，然而此些細節應只為說明目的而被提供並且不應被視為對本發明之限制。此外，根據本發明揭示，熟習本技術者應了解，本發明申請專利之各種論點亦可以在脫離這些特定詳細說明之其他的範例中或實作中被實施。下面揭示的說明中，習知裝置、電路、以及方法的某些結合之非必要細節已被省略，以避免混淆本發明之說明。
第1圖是依據本發明之一些實作的影像處理系統100之部份的簡化方塊圖。系統100可包含一顯示處理引擎(DPE)102、一顯示控制器104、一記憶體控制器106、以及記憶體108。DPE 102同時也包含一組線緩衝器112。
DPE 102可以是能夠支援其像素資料處理之硬體、軟體及/或韌體形式的任何邏輯組合，依據本發明一些實作，DPE 102可包含處理邏輯而至少能夠評估聯結於一組濾波核心之全部的全面管線水平交疊，其中該組濾波核心可被考慮包含將利用DPE 102被製作的一濾波管線，如將在下面之進一步地詳細說明。結果，依據本發明一些實 作，DPE 102可提供足夠寬度的線緩衝器112以支援像素資料之處理，其中可以在水平相鄰區域之間提供的交疊變化度將在下面進一步地詳細說明。此外，DPE 102可包含一個或多個處理核心(如所展示)，其各可依據本發明製作以一種平行的及/或同時的形式進行處理。DPE 102之使用以及功能將在下面更詳細地加以說明。
顯示控制器104可包含任何處理及/或控制邏輯(亦即，以硬體、軟體、及/或韌體形式)，其能夠轉換藉由DPE 102供應之被處理的像素資料成為適用於驅動一顯示器之格式(亦即，顯示器特定資料)。例如，雖然本發明是不受這方面之限制，DPE 102亦可以一種特定之彩色資料格式(例如，一種被壓縮之紅色-綠色-藍色(RGB)格式)而提供被處理的像素資料至控制器104，並且控制器104亦可修改此資料，例如，藉由產生對應的液晶顯示器(LCD)驅動資料位準等等。雖然第1圖展示DPE 102以及控制器104為個別的構件，但本發明是不受這方面之限制，並且熟習本技術者將了解，例如，顯示控制器104的一些功能(如果不是全部)將可藉由DPE 102被執行，或進一步地，顯示處理器及/或一主處理器(例如，微處理機)可提供DPE 102及/或控制器104之功能。
記憶體控制器106可包含任何記憶體存取邏輯(亦即，以硬體、軟體、及/或韌體之形式)，其反應於一組濾波核心而能夠提供將利用DPE 102被處理或被過濾的像素資料(亦即，像素值)給予DPE 102。控制器106同時也可 提供對於至記憶體108之存取給予DPE 102，以儲存對應至利用DPE 102被處理之像素值的像素資料。記憶體控制器106同時也可提供對於被儲存或被保持在記憶體108中的像素資料(被處理或在不同情況者)之存取給予顯示控制器104。但是，本發明是不受限制於記憶體控制器106之特定實作例並且因此這項目將不在此處詳細地被說明。
記憶體108可包含適用於儲存及/或保持像素資料(例如，亮度及色彩區分信號(亦即，"YUV"資料)之形式或紅-綠-藍(RGB)彩色像素資料或數值、或其他可能的格式)之任何記憶體裝置或機構。而記憶體108亦可包含任何依電性或非依電性記憶體技術，例如，隨機存取記憶體(RAM)記憶體或依電性記憶體技術(例如，快閃記憶體)，本發明是決不受限制於被採用以作為記憶體108使用之記憶體型式。
第2圖展示用於影像處理之機構200的簡化範例。第2圖僅依據本發明一些實作被提供以協助處理程序之討論，並且因此應該可理解，在第2圖中沒有展示數量或項目，以避免在任何方面限制本發明。第2圖展示一影像圖框202，例如，對應至一高清晰度(HD)1920x1080顯示器格式(亦即，其中圖框202包含1920垂直行以及1080水平列之像素值)，其中圖框202已經被分割成為4個水平相鄰區域204-207，其各包含1080列和480行之像素值並且其相對於邊界208之相鄰區域而各被定義。雖然第2圖展示四個區域204-207，然而本發明本身是不受限制於被採用之區域數 目或被採用的那些區域之寬度(例如，以每區域之像素行被量測)。
依據本發明被應用至一所給予的圖框202像素列之一影像處理機構的一些實作例，任何所給予的區域204-207之像素可自任何其他區域204-207的像素分別地被處理。換言之，例如，區域205中之像素可自區域206中之像素分別地被處理。進一步地，依據本發明一些實作例，任何區域204-206之像素可以連續方式及/或串列方式(亦即，藉由一個處理核心)或平行形式(亦即，藉由多數個處理核心)分別地被處理。此外，依據本發明一些實作例，一影像處理機構可自一光域掃描影像處理機構被區分，於其中，針對一所給予的圖框202列，一光域掃描影像處理機構可以連續及/或串列方式處理該列的所有像素。
第3圖是展示依據本發明一些實作例之處理程序300的流程圖。同時，為容易說明起見，處理程序300可以相關之第1圖的系統100以及第2圖之機構200而被說明，本發明是不受這方面之限制並且藉由依據本發明之適當裝置也可支援其他的處理程序或機構。
處理程序300可開始於決定相關於一影像處理管線之一管線交疊值[動作302]。依據本發明一些實作例，DPE 102可在預處理階段中進行動作302。亦即，當DPE 102被組態以實作一影像處理管線時，動作302可被進行，其中該管線採用一個或多個濾波核心以處理像素資料。熟習本技術者應明白，利用裝置(例如，DPE 102)被執行之影像 處理可採用一個或多個濾波核心，其中那些的核心包含，實際上，例如，利用環繞像素之加權數值對一所給予的像素值進行旋積運算之數值矩陣。進一步地，熟習本技術者同時也應明白，裝置(例如，DPE 102)也可以，反應於一濾波演算法，而採用內部處理邏輯以處理像素值而實作所對應的數值核心。
第4圖展示採用一系列濾波核心之影像處理管線400的範例。第4圖被提供以協助處理程序300之討論，尤其是動作302，並且應可理解，其中沒有展示數量或項目以避免在任何方面限制本發明。管線400包含一系列之三個演算法或濾波核心：第一個演算法402(對應至5x5二維(2D)濾波核心)、第二個演算法404(對應至9分支水平，或一維(1D)之濾波器)，以及第三個演算法406(對應至9x9 2D濾波器)。熟習本技術者應明白，專有名詞NxN 2D濾波核心(例如，5x5 2D、9x9 2D，等等)以及N-分支水平濾波器之意含，雖然這些專有名詞將進一步地被置於下面的本文中。第4圖提供之演算法範例的演算法402-406僅作為說明並且可理解地不應是限制本發明於特定的影像處理演算法及/或特定的影像處理管線機構。
熟習本技術者應進一步地明白，採用演算法402之影像處理機構可能需要使用具有至少四(4)線之線緩衝器408以儲存四(4)列的像素值之像素值，該等四(4)列之像素值是垂直地相鄰於及/或鄰近於(上面的兩個列以及下面的二個列)將利用演算法402被處理之像素列之像素值中 的四(4)個列之像素值。相似地，採用演算法406也可能需要使用具有至少8線之線緩衝器410以儲存8個列之像素的像素值。進一步地，熟習本技術者應明白，演算法404、9分支水平演算法，不需要使用線緩衝器以儲存相鄰列之像素值，因為這演算法利用來自相同列中的鄰近及/或相鄰像素之數值以對將被處理的像素進行旋積運算。此外，依據本發明一些實作例，如果管線400被採用以進行像素資料圖框之影像處理，其中該圖框被分割成為水平地相鄰影像區域，則線緩衝器408/410之寬度(亦即，被儲存在各個線或列中之像素值數量)可對應至較小於將利用管線400被處理的影像圖框之全部水平解析度的寬度。
第5圖展示標明像素之範例機構500。第5圖被提供以協助處理程序300之討論，尤其是動作302，並且應該可理解，圖中沒有展示數量或項目以避免在任何方面限制本發明。第5圖包含利用區域界線506被分離之二個相鄰影像區域504和505的代表部份。考慮到一種情況，其中在區域504內並且相鄰於區域界線之一像素508(例如，其中像素508是在有240個像素寬區域之一列中的第240個像素)將採用管線400利用DPE 102被處理(第4圖)。如所展示地，針對像素508，應用演算法402藉由環繞著像素508的像素5x5矩陣510之加權數值而對像素508之數值進行旋積運算，應用演算法404藉由置於像素508任一側上之相同列內的4個鄰近像素512之加權數值而對像素508數值進行旋積運算，並且應用演算法406藉由環繞著像素508像素的9x9矩 陣514之加權數值而對像素508數值進行旋積運算。
考慮管線400本文(第4圖)中之第5圖，應可明白，如果像素508之數值將利用管線400數學地被處理的話，則針對區域504之像素508的管線400之應用將導致利用像素508之數值而對在區域505中的一些像素進行旋積運算。尤其是，當僅考慮包含像素508之列時，其中為說明起見，像素508是區域504中之第240個並且是最後的像素(如240個像素之區域寬度範例)，則演算法402(5x5 2D濾波器)將對相鄰於像素508右方的二個像素516(例如，該第241和第242個像素)之數值進行旋積運算。同樣地，演算法404(9分支水平濾波器)將對相鄰於像素508右方之四個像素517(例如，第241個至第244個像素)的數值進行旋積運算。但是，當時如此進行時，除非演算法402已對那4個像素517右方之進一步的兩個相鄰像素518(例如，第245個和第246個像素)進行旋積運算，否則當演算法404利用第240個像素之數值(亦即，像素508之數值)對第244個像素進行旋積運算時，可能，例如，不使用一個正確值。
此外，演算法406(9x9 2D濾波器)將對像素508右方的四個相鄰像素517(例如，第241至第244個像素)之數值進行旋積運算。但是，當如此進行時，除非演算法404已對那4個像素517右方之進一步的4個相鄰像素519(例如，第245至第248個像素)進行旋積運算並且除非演算法402同時也已對4個像素519右方之進一步地的兩個相鄰像素520(例如，第249和第250個像素)進行旋積運算，否則演 算法406當利用第240個像素之數值對第244個像素進行旋積運算時，可能，例如，不使用一個正確值。因此，為了確保應用管線400對在被分割成為水平地相鄰區域的影像圖框之一區域中的像素結果是數學相似於將以一光域掃描像素處理機構處理所得到的結果，一水平交疊可依據本發明被定義，其中該水平交疊包含自相鄰於被處理之區域的區域所取得之足夠的像素。
例如，如第5圖之展示，為得到管線400對區域504中最右方像素508之數學正確應用，一交疊522可依據本發明一些實作例被定義，其中該交疊包含相鄰於最右方像素之區域505中的10個像素。因此，依據本發明一些實作例，如果交疊522被合併於區域504之處理，則區域504之影像處理可產生數學上相似於利用一標準光域掃描處理被產生的那些結果。
一般，一管線交疊係數可依據本發明一些實作例被定義，其中該係數可以被表示如：
其中在像素處理管線中之各個演算法"i"具有一相關的水平交疊係數h_交疊[i](h_overlap)。因此，例如，管線400中之演算法402將具有一水平交疊係數二(2)，並且管線400中之演算法404和406兩者皆將具有水平交疊係數四(4)。因此，對於管線400之管線_交疊(pipeline_overlap)(方程式1)的數值將是十(10)。依據本發明一些實作例，動作 302可包含使得DPE 102依據方程式1而決定一管線交疊係數，其中DPE 102被提供具有將在處理程序300中被使用的像素處理管線演算法之分別的水平交疊係數h_交疊[i]。另外地，該管線交疊係數可藉由另一裝置(例如，一主處理器)被提供至DPE 102。
處理程序300接著可繼續供應具有足夠容納一區域寬度加上二倍管線交疊係數之寬度的一個或多個線緩衝器[動作304]。第6圖展示影像600之範例，其依據本發明一些實作例展示與影像區域相關的水平交疊，其中那些的交疊具有對應至在動作302中被決定之管線交疊係數的寬度。第6圖被提供以協助處理程序300之討論，尤其是動作304，並且應可理解，於其中沒有展示數量或項目，以避免在任何方面限制本發明。
如第6圖之展示，影像600範例已被分割成為包含一個最左方區域602的三個水平地相鄰區域，依據本發明一些實作，其可具有合併相鄰區域606的一些行之一交疊604，其中交疊604寬度對應至如在動作302中被決定以針對一特定影像處理管線的管線交疊係數。因為多數的影像處理演算法(例如，濾波核心)是對稱的，依據本發明一些實作例，接著之區域606可具有兩個交疊，第一個交疊608合併區域604的一些行至區域606左方並且第二個交疊610合併區域612的一些行至區域606右方。交疊608和610兩者之寬度同時也可對應至如在動作302中被決定的管線交疊係數。
最後，第三個以及最右方區域612可具有一個合併區域606的一些行至區域612左方之交疊614。再次地，交疊614之寬度同時也可對應至如在動作302中被決定之管線交疊係數。因此，如果，例如，管線400分別地被應用至區域602、606、以及612中之像素，接著，依據本發明一些實作例，各交疊604、608、610以及614可具有等於一管線交疊係數10之寬度。換言之，使用這範例，各交疊604、608、610以及614可具有一個足以包含分別的相鄰區域606、602、612、以及606之10個行的寬度。
如果，如第6圖之展示，將被處理的影像分別地具有水平和垂直尺度影像_w以及影像_h，則各區域"j"可分別地具有水平和垂直尺度區域_w(j)以及影像_h。此外，如上面所討論地，各區域可以是與寬度等於管線_交疊之一個或二個交疊相關。因此，依據本發明一些實作例，各區域602以及612之將被處理的像素資料之總寬度可被表示如下：區域_w(j)+管線_交疊 (2)
而區域606將被處理的像素資料之總寬度可被表示如下：區域_w(j)+2＊管線_交疊 (3)
因此，假設所有的三個區域具有相同區域寬度，例如，240個像素，以及10個像素的管線_交疊數值，則區域602和612將被處理的像素資料寬度將是250個像素，而區域606將被處理的像素資料寬度將是260個像素。因此，為 使應用至影像600之各區域的影像處理管線結果，與如果整個影像600以光域掃描方式被處理所獲得之結果，具有數學相似性，依據本發明一些實作例，線緩衝器可被採用，其具有與方程式(2)一致的寬度。換言之，使用上面之範例，當比較於240個像素之區域寬度時，那些線緩衝器可具有260個像素之寬度。
但是，應注意到，本發明是不受限於被採用以處理一影像圖框之特定的區域數目，且本發明也不受限於所有具有相同區域寬度之區域。此外，專有名詞如影像區域、影像部份、影像條紋、影像步距、影像紋痕、及/或影像部份可替換地被使用而不脫離本發明之範疇和精神。
返回至第3圖，當進行動作304時，DPE 102，在動作302中存取或決定一管線交疊係數(例如，管線_交疊)後，可使用該交疊係數以及預定之區域寬度(例如，區域_w)以提供一個或多個線緩衝器，其中那些線緩衝器具有對應至上面方程式(2)的寬度。例如，參看至管線400(第4圖)以及影像600(第6圖)，動作304將包含提供10個線緩衝器，其各具有對應至260個像素之寬度。
處理程序300可以繼續接收供處理之像素資料[動作306]。在本發明一些實作例中，動作306可藉由使得DPE 102使用記憶體控制器106以存取被儲存在記憶體108中之像素資料而被進行。因此，例如，動作306可包含使用一內部直接記憶體存取(DMA)引擎(未被展示)以經由控制器106而存取記憶體108中之像素資料之DPE 102，其 中，依據本發明一些實作例，自記憶體108得到之像素資料寬度可匹配在動作304中被提供之線緩衝器的寬度。繼續上述之範例，如果DPE是將要處理像素508(第5圖)並且在動作304中被提供之線緩衝器將具有260個像素之寬度，則動作306可包含DPE 102，後者得到對應至關於包含像素508之列為中央的區域606之9個列(寬度=240個像素)的像素資料以及用於分別地從對應至針對那些9個列之區域602和612的像素資料所取得之交疊區域608和610的像素資料。
處理程序300接著可經由影像處理管線繼續像素資料之處理[動作308]。依據本發明一些實作例，DPE 102可放置在動作306中所接收的像素資料在動作304中所提供的線緩衝器中，並且接著可藉由應用一過濾管線至該像素資料以進行動作308。繼續上述之範例，DPE 102可處理在動作306中所接收之像素資料，其連續地使用演算法402、404以及406(亦即，管線400)以過濾該像素資料。
第3圖展示之動作不需要以展示之順序被執行；也不必定需要所有的動作被進行。同時，不是依賴其他動作的那些動作也可與其他動作平行地被進行。進一步地，動作302和304兩者皆可被進行一次，例如，在預處理階段期間，並且接著多數個同時發生的動作306和308可藉由兩個或多個處理核心及/或二個或多個DPE 102而被進行，其中，例如，動作306/308之一發生的動作可以是與一個區域中(例如，區域602)之處理像素相關，而動作306/308 之另一者發生的動作可以是與另一區域中(例如，區域606)之處理像素相關，等等。進一步地，這圖形中之至少一些動作可以在一機器可讀取媒體中被製作為可執行之指令、或指令群。
第7圖展示依據本發明一些實作例之系統700的範例。系統700可包含一主處理器702、圖形處理器704、記憶體706以及708(例如，動態隨機存取記憶體(DRAM)、靜態隨機存取記憶體(SRAM)、非依電性記憶體等等)、匯流排或通訊通路710、輸入/輸出(I/O)介面712(例如，通用同步匯流排(USB)介面、平行埠、串接埠、電話接埠、及/或其他I/O介面)、網路介面714(例如，有線及/或無線本地性區域網路(LAN)及/或寬域網路(WAN)及/或個人區域網路(PAN)、及/或其他有線及/或無線網路介面)、顯示處理器及/或控制器716、以及顯示器718。系統700同時也可包含被耦合至網路介面714之天線715(例如，雙極天線、窄頻迴線天線(MLA)、寬頻MLA、倒"F"天線、平面倒"F"天線、古鮑[Goubau]天線、塊狀天線等等)。一般，系統700可以是適用於處理顯示器像素資料之任何系統。
系統700可假設多種實際的實作例。例如，系統700可被實作在下列構件上，如個人電腦(PC)、網路PC、媒體PC、伺服器計算系統、手持計算平臺(例如，個人數位助理(PDA))、遊戲系統(輕便或不同的)、機上盒(STB)、手提電話機等等。此外，雖然系統700的一些構件可以被製作在單一裝置(例如，系統單晶片(SOC)積體電路(IC))之 內，同時系統700之構件也可以被分佈在多數個IC或裝置上。例如，主處理器702可與構件704、706、712、以及714一起被製作為被包含在例如，單一PC之內的多數個IC，同時顯示處理器716也可經由通訊通路710被製作在一分離裝置中，例如，被耦合至主處理器702之顯示器718以及構件704、706、712、以及714。另外，系統700中的所有項目，除了顯示器718之外，亦可被製作在單一平臺或裝置中，例如，在一些範例中，如被耦合至顯示器718之媒體PC或STB。
主處理器702可包含一特殊用途或一般用途之處理器，其包含能夠提供像素資料及/或指令給予顯示處理器716之任何控制及/或處理邏輯(亦即，以硬體、軟體及/或韌體形式)。例如，主處理器702可置放像素資料的一影像圖框(或其之z部份，例如，一影像區域的許多列)在顯示處理器716可自其存取該像素資料之記憶體708中。在一實作例中，主處理器702可執行任何可支援合併管線交疊之顯示器處理線緩衝器的一些工作。這些工作可包含，雖然本發明是不受這方面之限制，例如，提供像素處理演算法(例如，包含一濾波器管線(例如，管線400)之演算法)至顯示處理器716、下載微碼(經由天線715和介面714)至處理器716、啟始化及/或組態在處理器716之內的暫存器、中斷服務、提供用以上載及/或下載像素及/或影像資料之一匯流排介面等等。在另外的實作例中，一些或所有的這些功能可藉由顯示處理器716被執行。進一步地，雖然第7圖展示 主處理器702以及顯示處理器716作為個別的構件，但本發明是不因任何方式而受這方面之限制並且熟習本技術者應可明白，處理器702和716可能除了在系統700的其他構件被實作之外亦可被實作在單一IC之內。
匯流排或通訊通路710可包含任何用於在系統700任何元件之間或在其之中傳送資訊(例如，像素資料、指令等等)的機構。例如，雖然本發明是不受這方面之限制，通訊通路710可包含能夠在記憶體706或記憶體708以及顯示處理器716之間傳送，例如，像素資料之多用途匯流排。另外地，通路710可包含一無線通訊通路。此外，圖形處理器704可包含記憶體控制器(未被展示)，其提供引動顯示處理器716以提供像素資料至記憶體706/708或以自記憶體706/708得到像素資料之功能。
顯示處理器716可包含任何能夠依據本發明一些實作例執行合併管線交疊之顯示器處理線緩衝器以及能夠供應被處理的像素資料至顯示器718之控制及/或處理邏輯(亦即，以硬體、軟體、及/或韌體形式)。進一步地，處理器716可包含一個或多個DPE 102之實施例或可提供如上述之DPE 102的功能。此外，處理器716可進一步地處理被處理的像素資料(例如，利用DPE 102執行處理程序300所被產生)，以執行，例如，轉換彩色像素值為對應的顯示器驅動資料位準等等。雖然第7圖展示顯示處理器716作為一個別的構件，但本發明是不受這方面之限制，並且熟習本技術者應可明白，例如，顯示處理器716的一些(如果不 是全部)功能可藉由圖示處理器704及/或主處理器702被執行。
最後，顯示器718可以是任何能夠顯示藉由顯示處理器716被提供且能夠利用DPE 102被處理之像素資料的裝置。因此，於一些更重要的範例中，顯示器718可以是液晶顯示器(LCD)或電漿顯示器面板(PDP)。但是，本發明是不受限制於在顯示器718中被採用之任何特定型式的顯示器面板。
因此，依據本發明一些實作例，利用被尺度調整以包含管線交疊之線緩衝器的一顯示處理器及/或一顯示處理引擎可允許複雜、高品質像素處理演算法(例如，移動補償解交錯、蚊式雜訊減少等等)被採用於將在被分割成為水平地相鄰區域的一影像上操作之處理機構中，其中該機構保留那些演算法的數學精確度，而同時使被提供至顯示器處理管線的矽區域之成本最小化。
雖然之前與本發明一致的一個或多個例證之說明提供本發明之展示與說明，其不欲排除或限制本發明之範疇於被揭示之特定實作例中。熟習本技術者應可明白，上面之技術可以有各種修改和變化或可自本發明實施之各種實作例取得。例如，雖然第1圖以及附屬之文字可展示並且說明一種被耦合至記憶體控制器106之單一顯示處理引擎102，熟習本技術者應明白，依據本發明之顯示處理系統也可採用被耦合至一個或多個記憶體控制器之多數個顯示處理引擎，其各依據本發明而操作。明白地， 許多其他實作例可被採用以提供合併管線交疊之顯示器處理線緩衝器。
應可理解地，在本申請案之說明中之裝置、元件、動作、資料形式、指令等等，除非明確地被說明否則對於本發明無一是緊要或必要的。同時，如在此處被使用地，冠詞"一"是將包含一個或多個項目。此外，當名詞或片語，例如"耦合於"或"反應於"或"通訊於"在此處或在之後的申請專利範圍中被使用時，這些名詞意謂著將廣義地被詮釋。例如，片語"耦合於"可以是指示使用該片語的本文中通訊地、電氣地及/或可操作地被適當耦合。進一步地，熟習本技術者將明白，術語像素、像素值、像素資料、顯示器資料及/或影像資料可替換地被使用。上述所說明之本發明的實作例可以有許多變化和修改，而不脫離本發明之精神及原理。此處所有的此等修改和變化將被包含在揭示之範疇內以及被下面的申請專利範圍所保護。
100‧‧‧影像處理系統
102‧‧‧顯示處理引擎
104‧‧‧顯示控制器
106‧‧‧記憶體控制器
108‧‧‧記憶體
112‧‧‧線緩衝器
200‧‧‧影像處理機構
202‧‧‧影像圖框
204-207‧‧‧水平區域
208‧‧‧邊界
300‧‧‧處理程序
302~308‧‧‧處理動作
400‧‧‧影像處理管線
402、404、406‧‧‧演算法
408、410‧‧‧線緩衝器
500‧‧‧標示像素機構
504、505‧‧‧影像區域
506‧‧‧區域界線
508、512、516、517、519、520‧‧‧像素
510、514‧‧‧像素矩陣
522‧‧‧交疊
600‧‧‧影像
602、606、612‧‧‧區域
604、608、610、614‧‧‧交疊
700‧‧‧系統
702‧‧‧主處理器
704‧‧‧圖形處理器
706、708‧‧‧記憶體
710‧‧‧匯流排或通訊通路
712‧‧‧輸入/輸出介面
714‧‧‧網路介面
715‧‧‧天線
716‧‧‧顯示處理器
718‧‧‧顯示器
第1圖展示依據本發明一些實作之一影像處理系統的部份；第2圖展示一影像處理機構範例；第3圖是展示依據本發明一些實作之處理程序的流程圖；第4圖展示一影像處理管線機構範例；第5圖展示一影像處理像素標幟機構之範例；第6圖展示依據本發明一些實作之影像處理機構合併 管線交疊的範例；以及第7圖展示依據本發明一些實作之系統。
602‧‧‧區域
604‧‧‧交疊
606‧‧‧區域
608‧‧‧交疊
610‧‧‧交疊
612‧‧‧區域
614‧‧‧交疊

Claims (8)

  1. 一種用於影像處理的裝置，其包含：處理邏輯裝置，用以利用數個像素處理演算法來處理一影像之一第一部份的一像素值；以及耦合至該處理邏輯裝置的數個線緩衝器，該等線緩衝器係用於至少保存該影像之相鄰於該第一部份的其他部份的一些像素值，其中由該等線緩衝器所保存之該影像的該等其他部份之該等像素值對應於要由該等像素處理演算法來與該第一部份之該像素值進行旋積運算的該影像之該等相鄰部份的像素值。
  2. 如申請專利範圍第1項之裝置，其進一步包含：耦合至該處理邏輯裝置的記憶體，該記憶體係用於至少儲存該第一部份的該像素值。
  3. 如申請專利範圍第1項之裝置，其進一步包含：耦合至該處理邏輯裝置的顯示邏輯裝置，該顯示邏輯裝置係用於接收由該處理邏輯裝置所處理的像素值。
  4. 如申請專利範圍第1項之裝置，其中要由該等像素處理演算法來與該第一部份之該像素值進行旋積運算的該影像之該等相鄰部份的該等像素值包含：對應於各個像素處理演算法所要與該第一部份之該像素值進行旋積運算的一數目之像素值之相加總和的，該等相鄰部份之該數目的像素值。
  5. 一種用於影像處理的系統，其包含：處理邏輯裝置，用以利用數個像素處理演算法來處 理一影像之一第一部份的一像素值；耦合至該處理邏輯裝置的記憶體，該記憶體係用於至少儲存該第一部份之該像素值；以及耦合至該處理邏輯裝置的數個線緩衝器，該等線緩衝器係用於至少保存該影像之相鄰於該第一部份的其他部份的一些像素值，其中由該等線緩衝器所保存的該影像之該等其他部份之該等像素值對應於要由該等像素處理演算法來與該第一部份之該像素值進行旋積運算的該影像之該等相鄰部份的像素值。
  6. 如申請專利範圍第5項之系統，其中該記憶體包含下列中之一者：動態隨機存取記憶體(DRAM)、靜態隨機存取記憶體(SRAM)、或非依電性記憶體。
  7. 如申請專利範圍第5項之系統，其進一步包含一天線，用以接收該第一部份之該像素值。
  8. 如申請專利範圍第7項之系統，其中該天線包含下列中之一者：一雙極天線、一窄頻迂迴線天線(MLA)、一寬頻MLA、一倒“F”天線、一平面倒“F”天線、一古鮑(Goubau)天線、或一塊狀天線。
TW101134121A 2006-08-25 2007-08-20 用於影像處理的裝置和系統 TWI494916B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/510,045 US7834873B2 (en) 2006-08-25 2006-08-25 Display processing line buffers incorporating pipeline overlap

Publications (2)

Publication Number Publication Date
TW201308309A true TW201308309A (zh) 2013-02-16
TWI494916B TWI494916B (zh) 2015-08-01

Family

ID=39107132

Family Applications (2)

Application Number Title Priority Date Filing Date
TW096130710A TWI381364B (zh) 2006-08-25 2007-08-20 用於影像處理的方法以及包含儲存有指令之機器可存取媒體的物品
TW101134121A TWI494916B (zh) 2006-08-25 2007-08-20 用於影像處理的裝置和系統

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW096130710A TWI381364B (zh) 2006-08-25 2007-08-20 用於影像處理的方法以及包含儲存有指令之機器可存取媒體的物品

Country Status (6)

Country Link
US (2) US7834873B2 (zh)
EP (1) EP2054794A4 (zh)
JP (1) JP2009545085A (zh)
CN (1) CN101495952B (zh)
TW (2) TWI381364B (zh)
WO (1) WO2008024668A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8754895B2 (en) * 2008-09-09 2014-06-17 Sony Corporation Pipelined image processing engine
TW201106679A (en) * 2009-08-05 2011-02-16 Silicon Motion Inc Image processing device and deinterlacing method
CN102215324B (zh) * 2010-04-08 2013-07-31 安凯(广州)微电子技术有限公司 用于对视频图像进行滤波操作的滤波电路及其滤波方法
JP5835942B2 (ja) * 2010-06-25 2015-12-24 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
JP5703769B2 (ja) * 2011-01-19 2015-04-22 ソニー株式会社 画像変換装置、画像変換方法、プログラム、および電子機器
US8761454B2 (en) * 2011-05-10 2014-06-24 Hewlett-Packard Development Company, L.P. Detecting streaks in printed images
KR101344858B1 (ko) 2012-03-23 2013-12-24 경북대학교 산학협력단 영상처리장치 및 영상처리방법, 컴퓨터 판독가능 기록매체
TWI520598B (zh) * 2012-05-23 2016-02-01 晨星半導體股份有限公司 影像處理裝置與影像處理方法
CN103474049B (zh) * 2012-06-08 2017-05-17 晨星软件研发(深圳)有限公司 影像处理装置与影像处理方法
GB2533565A (en) * 2014-12-18 2016-06-29 Stmicroelectronics (Research & Development) Ltd A method, apparatus and system
US9749548B2 (en) 2015-01-22 2017-08-29 Google Inc. Virtual linebuffers for image signal processors
US9756268B2 (en) 2015-04-23 2017-09-05 Google Inc. Line buffer unit for image processor
US10204396B2 (en) * 2016-02-26 2019-02-12 Google Llc Compiler managed memory for image processor
GB2551426B (en) * 2016-04-18 2021-12-29 Avago Tech Int Sales Pte Lid Hardware optimisation for generating 360° images
US10367639B2 (en) * 2016-12-29 2019-07-30 Intel Corporation Graphics processor with encrypted kernels
US10255655B1 (en) 2017-06-16 2019-04-09 Apple Inc. Serial pixel processing with storage for overlapping texel data
US11431941B2 (en) * 2018-06-12 2022-08-30 Carl Zeiss Ag Method, apparatus, and system for processing digital images
US10681266B2 (en) * 2018-06-12 2020-06-09 Carl Zeiss Ag Method, apparatus, and system for processing digital images
CN110047031A (zh) * 2019-03-26 2019-07-23 深兰科技（上海）有限公司 一种像素段拼接的方法和装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5469223A (en) 1993-10-13 1995-11-21 Auravision Corporation Shared line buffer architecture for a video processing circuit
WO2000014650A1 (en) * 1998-09-03 2000-03-16 Conexant Systems, Inc. A method of frequency domain filtering employing a real to analytic transform
US6327000B1 (en) * 1999-04-02 2001-12-04 Teralogic, Inc. Efficient image scaling for scan rate conversion
JP2000351242A (ja) * 1999-04-05 2000-12-19 Seiko Epson Corp 画像形成装置
JP3510997B2 (ja) * 1999-04-05 2004-03-29 セイコーエプソン株式会社 画像処理装置およびコピーシステム
US6457075B1 (en) * 1999-05-17 2002-09-24 Koninkijke Philips Electronics N.V. Synchronous memory system with automatic burst mode switching as a function of the selected bus master
FR2797979B1 (fr) * 1999-08-24 2002-05-24 St Microelectronics Sa Procede et systeme de filtrage anti-scintillement
US6642962B1 (en) 1999-09-01 2003-11-04 Neomagic Corp. Merged pipeline for color interpolation and edge enhancement of digital images
SE517525C2 (sv) * 1999-09-07 2002-06-18 Ericsson Telefon Ab L M Förfarande och anordning för konstruktion av digitala filter
US7495669B2 (en) * 2002-12-26 2009-02-24 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US6625629B1 (en) * 2000-05-23 2003-09-23 Microsoft Corporation System and method for signal processing using an improved convolution technique
US7184059B1 (en) * 2000-08-23 2007-02-27 Nintendo Co., Ltd. Graphics system with copy out conversions between embedded frame buffer and main memory
KR100423503B1 (ko) * 2001-09-14 2004-03-18 삼성전자주식회사 디지털영상 처리 장치 및 방법
US6765622B2 (en) * 2001-10-26 2004-07-20 Koninklijke Philips Electronics N.V. Line-buffer reuse in vertical pixel-processing arrangement
JP3862621B2 (ja) * 2002-06-28 2006-12-27 キヤノン株式会社 画像処理装置、画像処理方法、及びそのプログラム
KR100940203B1 (ko) * 2003-02-18 2010-02-10 삼성전자주식회사 세그먼트 기반의 화소 처리 장치 및 그 방법
US7376908B2 (en) * 2003-03-24 2008-05-20 Microsoft Corporation On-screen display image rendered with MPEG hardware
US7266255B1 (en) * 2003-09-26 2007-09-04 Sun Microsystems, Inc. Distributed multi-sample convolution
US6999105B2 (en) * 2003-12-04 2006-02-14 International Business Machines Corporation Image scaling employing horizontal partitioning
JP2005260875A (ja) * 2004-03-15 2005-09-22 Yokowo Co Ltd 表面実装型パッチアンテナおよびその実装方法
JP2005311745A (ja) * 2004-04-22 2005-11-04 Olympus Corp 画像処理装置
JP4007342B2 (ja) * 2004-06-08 2007-11-14 セイコーエプソン株式会社 表示コントローラ、電子機器及び画像データ供給方法
US7515766B2 (en) * 2004-09-22 2009-04-07 Intel Corporation Apparatus and method for edge handling in image processing
US20060092320A1 (en) 2004-10-29 2006-05-04 Nickerson Brian R Transferring a video frame from memory into an on-chip buffer for video processing
JP4219887B2 (ja) * 2004-12-28 2009-02-04 富士通マイクロエレクトロニクス株式会社 画像処理装置及び画像処理方法
TWI260547B (en) * 2005-03-07 2006-08-21 Li Shing Comm Science And Tech Readable tag having dual reading function

Also Published As

Publication number Publication date
EP2054794A1 (en) 2009-05-06
US7834873B2 (en) 2010-11-16
CN101495952B (zh) 2012-04-18
WO2008024668A1 (en) 2008-02-28
CN101495952A (zh) 2009-07-29
TWI381364B (zh) 2013-01-01
US20080049037A1 (en) 2008-02-28
JP2009545085A (ja) 2009-12-17
US20110037771A1 (en) 2011-02-17
TWI494916B (zh) 2015-08-01
TW200820213A (en) 2008-05-01
EP2054794A4 (en) 2011-09-07

Similar Documents

Publication Publication Date Title
TWI494916B (zh) 用於影像處理的裝置和系統
WO2017016322A1 (en) Controller for compensating mura defects, display apparatus having the same, and method for compensating mura defects
CN101681502B (zh) 用于三维图形电路的像素高速缓冲存储器
EP2600337A2 (en) Inline image rotation
US7742636B2 (en) Method and apparatus for scaling down a bayer domain image
JP2018512644A (ja) 低品質タイルを使用してメモリ帯域幅を減らすためのシステムおよび方法
US11710213B2 (en) Application processor including reconfigurable scaler and devices including the processor
WO2024077745A1 (zh) 一种分块渲染模式图形处理方法及系统
CN113672183B (zh) 图像处理装置与图像处理方法
WO2022213784A1 (zh) 图像处理方法及装置、电子设备和存储介质
US11127375B2 (en) Systems and methods for graphical layer blending
US7492373B2 (en) Reducing memory bandwidth to texture samplers via re-interpolation of texture coordinates
WO2023151386A1 (zh) 数据处理方法、装置、终端和可读存储介质
US8860739B2 (en) Method and device for processing digital images
KR20080059717A (ko) 영상신호 처리장치 및 그 제어방법
EP3857516A1 (en) Blending neighboring bins
TWI486947B (zh) 圖層擷取方法、資料擷取裝置與圖層擷取安排方法
JP2015138417A (ja) 画像処理装置および画像処理方法
US20140063068A1 (en) Accommodating display data corresponding to a scanout area of a graphics processor within an incompatible display unit
WO2024073953A1 (zh) 一种分块渲染模式图形处理方法及系统
TWI408618B (zh) 具有可設定化濾波模組之繪圖處理器及其運算方法
JP6430086B1 (ja) 画像提供装置、画像提供方法および画像提供プログラム
US20060268014A1 (en) System and method for efficiently supporting image deformation procedures in an electronic device
JP2003228713A (ja) パチンコ機の画像表示装置
CN101242470A (zh) 一种显示图像数据的处理方法及装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees