TWI381364B - 用於影像處理的方法以及包含儲存有指令之機器可存取媒體的物品 - Google Patents

用於影像處理的方法以及包含儲存有指令之機器可存取媒體的物品 Download PDF

Info

Publication number
TWI381364B
TWI381364B TW096130710A TW96130710A TWI381364B TW I381364 B TWI381364 B TW I381364B TW 096130710 A TW096130710 A TW 096130710A TW 96130710 A TW96130710 A TW 96130710A TW I381364 B TWI381364 B TW I381364B
Authority
TW
Taiwan
Prior art keywords
image
pipeline
pixel
overlap
image processing
Prior art date
Application number
TW096130710A
Other languages
English (en)
Other versions
TW200820213A (en
Inventor
Sreenath Kurupati
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of TW200820213A publication Critical patent/TW200820213A/zh
Application granted granted Critical
Publication of TWI381364B publication Critical patent/TWI381364B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)

Description

用於影像處理的方法以及包含儲存有指令之機器可存取媒體的物品 發明領域
[0000]本發明係關於合併管線交疊之顯示器處理線緩衝器。
 發明背景
[0001]用於顯示器之影像處理一般以光域掃描形式被處置，其中像素自一圖框中最上方列之最左方像素開始並且一列接一列地向下經過該圖框而連續地被處理，以至於所有在任何特定列中的像素將一起被處理。當處理圖框一列中之一所給予的像素時，像素處理演算法或"濾波核心"可能需要存取環繞之垂直像素。但是，因為像素通常以光域掃描形式經由一般的處理管線而連續地被掃描，該等環繞之垂直像素可能不是可即時供利用的。
[0002]一種存取環繞垂直像素之通常解決辦法是使用線緩衝器以儲存環繞著被處理之像素列之像素，因而那些垂直像素是即刻地可供用於正被執行之濾波。因此，例如，當使用一個5乘5(5x5)之二維(2D)濾波核心時，通常之解決辦法是採用四線緩衝器以儲存四個環繞之列的像素。針對一個9x9之2D濾波則需要採用八個線緩衝器。但是，製作線緩衝器是昂貴的。在全高清晰度(HD)影像處理中，這尤其是確實的，其中各線緩衝器一般是足夠地寬以儲存至少1920個像素值。對於採用多數個濾波核心之一般影像處理管線，使用全寬度線緩衝器的相關費用可能是非常昂貴的。
 發明概要
[0002a]依據本發明之一較佳實施例，係特地提出一種方法，其包含有下列步驟：決定與將對一影像施用之一影像處理管線相關聯的一管線交疊係數，該影像被分割成為數個水平相鄰影像區域，各該等影像區域具有一區域寬度；提供多數個線緩衝器，其具有足夠容納該區域寬度及該管線交疊係數二倍之一寬度；以及使用該等線緩衝器經由該影像處理管線而處理像素資料。
圖式簡單說明
[0003]被包含以及構成本說明之一部份的附圖，將展示與本發明原理一致的一個或多個製作例，並且，將與本發明之說明一起描述此等製作例。該等圖形是不必定是依尺度繪製，其重點是在展示本發明之原理。於圖形中：[0004]第1圖展示依據本發明一些實作之一影像處理系統的部份；[0005]第2圖展示一影像處理機構範例；[0006]第3圖是展示依據本發明一些實作之處理程序的流程圖；[0007]第4圖展示一影像處理管線機構範例；[0008]第5圖展示一影像處理像素標幟機構之範例；[0009]第6圖展示依據本發明一些實作之影像處理機構合併管線交疊的範例；以及[0010]第7圖展示依據本發明一些實作之系統。
 較佳實施例之詳細說明
[0011]下面將參考附圖予以說明。在各種圖形之間，相同參考號碼可被使用以辨識相同或相似元件。雖然下面的說明將藉由特定細節(例如，特定結構、構造、介面、技術等等)以提供本發明申請專利之各種論點的全面了解，然而此些細節應只為說明目的而被提供並且不應被視為對本發明之限制。此外，根據本發明揭示，熟習本技術者應了解，本發明申請專利之各種論點亦可以在脫離這些特定詳細說明之其他的範例中或實作中被實施。下面揭示的說明中，習知裝置、電路、以及方法的某些結合之非必要細節已被省略，以避免混淆本發明之說明。
[0012]第1圖是依據本發明之一些實作的影像處理系統100之部份的簡化方塊圖。系統100可包含一顯示處理引擎(DPE)102、一顯示控制器104、一記憶體控制器106、以及記憶體108。DPE 102同時也包含一組線緩衝器112。
[0013]DPE 102可以是能夠支援其像素資料處理之硬體、軟體及/或韌體形式的任何邏輯組合，依據本發明一些實作，DPE 102可包含處理邏輯而至少能夠評估聯結於一組濾波核心之全部的全面管線水平交疊，其中該組濾波核心可被考慮包含將利用DPE 102被製作的一濾波管線，如將在下面之進一步地詳細說明。結果，依據本發明一些實作，DPE 102可提供足夠寬度的線緩衝器112以支援像素資料之處理，其中可以在水平相鄰區域之間提供的交疊變化度將在下面進一步地詳細說明。此外，DPE 102可包含一個或多個處理核心(如所展示)，其各可依據本發明製作以一種平行的及/或同時的形式進行處理。DPE 102之使用以及功能將在下面更詳細地加以說明。
[0014]顯示控制器104可包含任何處理及/或控制邏輯(亦即，以硬體、軟體、及/或韌體形式)，其能夠轉換藉由DPE 102供應之被處理的像素資料成為適用於驅動一顯示器之格式(亦即，顯示器特定資料)。例如，雖然本發明是不受這方面之限制，DPE 102亦可以一種特定之彩色資料格式(例如，一種被壓縮之紅色－綠色－藍色(RGB)格式)而提供被處理的像素資料至控制器104，並且控制器104亦可修改此資料，例如，藉由產生對應的液晶顯示器(LCD)驅動資料位準等等。雖然第1圖展示DPE 102以及控制器104為個別的構件，但本發明是不受這方面之限制，並且熟習本技術者將了解，例如，顯示控制器104的一些功能(如果不是全部)將可藉由DPE 102被執行，或進一步地，顯示處理器及/或一主處理器(例如，微處理機)可提供DPE 102及/或控制器104之功能。
[0015]記憶體控制器106可包含任何記憶體存取邏輯(亦即，以硬體、軟體、及/或韌體之形式)，其反應於一組濾波核心而能夠提供將利用DPE 102被處理或被過濾的像素資料(亦即，像素值)給予DPE 102。控制器106同時也可提供對於至記憶體108之存取給予DPE 102，以儲存對應至利用DPE 102被處理之像素值的像素資料。記憶體控制器106同時也可提供對於被儲存或被保持在記憶體108中的像素資料(被處理或在不同情況者)之存取給予顯示控制器104。但是，本發明是不受限制於記憶體控制器106之特定實作例並且因此這項目將不在此處詳細地被說明。
[0016]記憶體108可包含適用於儲存及/或保持像素資料(例如，亮度及色彩區分信號(亦即，"YUV"資料)之形式或紅－綠－藍(RGB)彩色像素資料或數值、或其他可能的格式)之任何記憶體裝置或機構。而記憶體108亦可包含任何依電性或非依電性記憶體技術，例如，隨機存取記憶體(RAM)記憶體或依電性記憶體技術(例如，快閃記憶體)，本發明是決不受限制於被採用以作為記憶體108使用之記憶體型式。
[0017]第2圖展示用於影像處理之機構200的簡化範例。第2圖僅依據本發明一些實作被提供以協助處理程序之討論，並且因此應該可理解，在第2圖中沒有展示數量或項目，以避免在任何方面限制本發明。第2圖展示一影像圖框202，例如，對應至一高清晰度(HD)1920x1080顯示器格式(亦即，其中圖框202包含1920垂直行以及1080水平列之像素值)，其中圖框202已經被分割成為4個水平相鄰區域204－207，其各包含1080列和480行之像素值並且其相對於邊界208之相鄰區域而各被定義。雖然第2圖展示四個區域204－207，然而本發明本身是不受限制於被採用之區域數目或被採用的那些區域之寬度(例如，以每區域之像素行被量測)。
[0018]依據本發明被應用至一所給予的圖框202像素列之一影像處理機構的一些實作例，任何所給予的區域204－207之像素可自任何其他區域204－207的像素分別地被處理。換言之，例如，區域205中之像素可自區域206中之像素分別地被處理。進一步地，依據本發明一些實作例，任何區域204－206之像素可以連續方式及/或串列方式(亦即，藉由一個處理核心)或平行形式(亦即，藉由多數個處理核心)分別地被處理。此外，依據本發明一些實作例，一影像處理機構可自一光域掃描影像處理機構被區分，於其中，針對一所給予的圖框202列，一光域掃描影像處理機構可以連續及/或串列方式處理該列的所有像素。
[0019]第3圖是展示依據本發明一些實作例之處理程序300的流程圖。同時，為容易說明起見，處理程序300可以相關之第1圖的系統100以及第2圖之機構200而被說明，本發明是不受這方面之限制並且藉由依據本發明之適當裝置也可支援其他的處理程序或機構。
[0020]處理程序300可開始於決定相關於一影像處理管線之一管線交疊值[動作302]。依據本發明一些實作例，DPE 102可在預處理階段中進行動作302。亦即，當DPE 102被組態以實作一影像處理管線時，動作302可被進行，其中該管線採用一個或多個濾波核心以處理像素資料。熟習本技術者應明白，利用裝置(例如，DPE 102)被執行之影像處理可採用一個或多個濾波核心，其中那些的核心包含，實際上，例如，利用環繞像素之加權數值對一所給予的像素值進行旋積運算之數值矩陣。進一步地，熟習本技術者同時也應明白，裝置(例如，DPE 102)也可以，反應於一濾波演算法，而採用內部處理邏輯以處理像素值而實作所對應的數值核心。
[0021]第4圖展示採用一系列濾波核心之影像處理管線400的範例。第4圖被提供以協助處理程序300之討論，尤其是動作302，並且應可理解，其中沒有展示數量或項目以避免在任何方面限制本發明。管線400包含一系列之三個演算法或濾波核心：第一個演算法402(對應至5x5二維(2D)濾波核心)、第二個演算法404(對應至9分支水平，或一維(1D)之濾波器)，以及第三個演算法406(對應至9x9 2D濾波器)。熟習本技術者應明白，專有名詞NxN 2D濾波核心(例如，5x5 2D、9x9 2D，等等)以及N－分支水平濾波器之意含，雖然這些專有名詞將進一步地被置於下面的本文中。第4圖提供之演算法範例的演算法402－406僅作為說明並且可理解地不應是限制本發明於特定的影像處理演算法及/或特定的影像處理管線機構。
[0022]熟習本技術者應進一步地明白，採用演算法402之影像處理機構可能需要使用具有至少四(4)線之線緩衝器408以儲存四(4)列的像素值之像素值，該等四(4)列之像素值是垂直地相鄰於及/或鄰近於(上面的兩個列以及下面的二個列)將利用演算法402被處理之像素列之像素值中的四(4)個列之像素值。相似地，採用演算法406也可能需要使用具有至少8線之線緩衝器410以儲存8個列之像素的像素值。進一步地，熟習本技術者應明白，演算法404、9分支水平演算法，不需要使用線緩衝器以儲存相鄰列之像素值，因為這演算法利用來自相同列中的鄰近及/或相鄰像素之數值以對將被處理的像素進行旋積運算。此外，依據本發明一些實作例，如果管線400被採用以進行像素資料圖框之影像處理，其中該圖框被分割成為水平地相鄰影像區域，則線緩衝器408/410之寬度(亦即，被儲存在各個線或列中之像素值數量)可對應至較小於將利用管線400被處理的影像圖框之全部水平解析度的寬度。
[0023]第5圖展示標明像素之範例機構500。第5圖被提供以協助處理程序300之討論，尤其是動作302，並且應該可理解，圖中沒有展示數量或項目以避免在任何方面限制本發明。第5圖包含利用區域界線506被分離之二個相鄰影像區域504和505的代表部份。考慮到一種情況，其中在區域504內並且相鄰於區域界線之一像素508(例如，其中像素508是在有240個像素寬區域之一列中的第240個像素)將採用管線400利用DPE 102被處理(第4圖)。如所展示地，針對像素508，應用演算法402藉由環繞著像素508的像素5x5矩陣510之加權數值而對像素508之數值進行旋積運算，應用演算法404藉由置於像素508任一側上之相同列內的4個鄰近像素512之加權數值而對像素508數值進行旋積運算，並且應用演算法406藉由環繞著像素508像素的9x9矩陣514之加權數值而對像素508數值進行旋積運算。
[0024]考慮管線400本文(第4圖)中之第5圖，應可明白，如果像素508之數值將利用管線400數學地被處理的話，則針對區域504之像素508的管線400之應用將導致利用像素508之數值而對在區域505中的一些像素進行旋積運算。尤其是，當僅考慮包含像素508之列時，其中為說明起見，像素508是區域504中之第240個並且是最後的像素(如240個像素之區域寬度範例)，則演算法402(5x5 2D濾波器)將對相鄰於像素508右方的二個像素516(例如，該第241和第242個像素)之數值進行旋積運算。同樣地，演算法404(9分支水平濾波器)將對相鄰於像素508右方之四個像素517(例如，第241個至第244個像素)的數值進行旋積運算。但是，當時如此進行時，除非演算法402已對那4個像素517右方之進一步的兩個相鄰像素518(例如，第245個和第246個像素)進行旋積運算，否則當演算法404利用第240個像素之數值(亦即，像素508之數值)對第244個像素進行旋積運算時，可能，例如，不使用一個正確值。
[0025]此外，演算法406(9x9 2D濾波器)將對像素508右方的四個相鄰像素517(例如，第241至第244個像素)之數值進行旋積運算。但是，當如此進行時，除非演算法404已對那4個像素517右方之進一步的4個相鄰像素519(例如，第245至第248個像素)進行旋積運算並且除非演算法402同時也已對4個像素519右方之進一步地的兩個相鄰像素520(例如，第249和第250個像素)進行旋積運算，否則演算法406當利用第240個像素之數值對第244個像素進行旋積運算時，可能，例如，不使用一個正確值。因此，為了確保應用管線400對在被分割成為水平地相鄰區域的影像圖框之一區域中的像素結果是數學相似於將以一光域掃描像素處理機構處理所得到的結果，一水平交疊可依據本發明被定義，其中該水平交疊包含自相鄰於被處理之區域的區域所取得之足夠的像素。
[0026]例如，如第5圖之展示，為得到管線400對區域504中最右方像素508之數學正確應用，一交疊522可依據本發明一些實作例被定義，其中該交疊包含相鄰於最右方像素之區域505中的10個像素。因此，依據本發明一些實作例，如果交疊522被合併於區域504之處理，則區域504之影像處理可產生數學上相似於利用一標準光域掃描處理被產生的那些結果。
[0027]一般，一管線交疊係數可依據本發明一些實作例被定義，其中該係數可以被表示如：
其中在像素處理管線中之各個演算法"i"具有一相關的水平交疊係數h＿交疊[i](h_overlap)。因此，例如，管線400中之演算法402將具有一水平交疊係數二(2)，並且管線400中之演算法404和406兩者皆將具有水平交疊係數四(4)。因此，對於管線400之管線＿交疊(pipeline_overlap)(方程式1)的數值將是十(10)。依據本發明一些實作例，動作302可包含使得DPE 102依據方程式1而決定一管線交疊係數，其中DPE 102被提供具有將在處理程序300中被使用的像素處理管線演算法之分別的水平交疊係數h＿交疊[i]。另外地，該管線交疊係數可藉由另一裝置(例如，一主處理器)被提供至DPE 102。
[0028]處理程序300接著可繼續供應具有足夠容納一區域寬度加上二倍管線交疊係數之寬度的一個或多個線緩衝器[動作304]。第6圖展示影像600之範例，其依據本發明一些實作例展示與影像區域相關的水平交疊，其中那些的交疊具有對應至在動作302中被決定之管線交疊係數的寬度。第6圖被提供以協助處理程序300之討論，尤其是動作304，並且應可理解，於其中沒有展示數量或項目，以避免在任何方面限制本發明。
[0029]如第6圖之展示，影像600範例已被分割成為包含一個最左方區域602的三個水平地相鄰區域，依據本發明一些實作，其可具有合併相鄰區域606的一些行之一交疊604，其中交疊604寬度對應至如在動作302中被決定以針對一特定影像處理管線的管線交疊係數。因為多數的影像處理演算法(例如，濾波核心)是對稱的，依據本發明一些實作例，接著之區域606可具有兩個交疊，第一個交疊608合併區域604的一些行至區域606左方並且第二個交疊610合併區域612的一些行至區域606右方。交疊608和610兩者之寬度同時也可對應至如在動作302中被決定的管線交疊係數。
[0030]最後，第三個以及最右方區域612可具有一個合併區域606的一些行至區域612左方之交疊614。再次地，交疊614之寬度同時也可對應至如在動作302中被決定之管線交疊係數。因此，如果，例如，管線400分別地被應用至區域602、606、以及612中之像素，接著，依據本發明一些實作例，各交疊604、608、610以及614可具有等於一管線交疊係數10之寬度。換言之，使用這範例，各交疊604、608、610以及614可具有一個足以包含分別的相鄰區域606、602、612、以及606之10個行的寬度。
[0031]如果，如第6圖之展示，將被處理的影像分別地具有水平和垂直尺度影像＿w以及影像＿h，則各區域"j"可分別地具有水平和垂直尺度區域＿w(j)以及影像＿h。此外，如上面所討論地，各區域可以是與寬度等於管線＿交疊之一個或二個交疊相關。因此，依據本發明一些實作例，各區域602以及612之將被處理的像素資料之總寬度可被表示如下：區域＿w(j)＋管線＿交疊 (2)
而區域606將被處理的像素資料之總寬度可被表示如下：區域＿w(j)＋2*管線＿交疊 (3)
因此，假設所有的三個區域具有相同區域寬度，例如，240個像素，以及10個像素的管線ˍ交疊數值，則區域602和612將被處理的像素資料寬度將是250個像素，而區域606將被處理的像素資料寬度將是260個像素。因此，為使應用至影像600之各區域的影像處理管線結果，與如果整個影像600以光域掃描方式被處理所獲得之結果，具有數學相似性，依據本發明一些實作例，線緩衝器可被採用，其具有與方程式(2)一致的寬度。換言之，使用上面之範例，當比較於240個像素之區域寬度時，那些線緩衝器可具有260個像素之寬度。
[0032]但是，應注意到，本發明是不受限於被採用以處理一影像圖框之特定的區域數目，且本發明也不受限於所有具有相同區域寬度之區域。此外，專有名詞如影像區域、影像部份、影像條紋、影像步距、影像紋痕、及/或影像部份可替換地被使用而不脫離本發明之範疇和精神。
[0033]返回至第3圖，當進行動作304時，DPE 102，在動作302中存取或決定一管線交疊係數(例如，管線＿交疊)後，可使用該交疊係數以及預定之區域寬度(例如，區域＿w)以提供一個或多個線緩衝器，其中那些線緩衝器具有對應至上面方程式(2)的寬度。例如，參看至管線400(第4圖)以及影像600(第6圖)，動作304將包含提供10個線緩衝器，其各具有對應至260個像素之寬度。
[0034]處理程序300可以繼續接收供處理之像素資料[動作306]。在本發明一些實作例中，動作306可藉由使得DPE 102使用記憶體控制器106以存取被儲存在記憶體108中之像素資料而被進行。因此，例如，動作306可包含使用一內部直接記憶體存取(DMA)引擎(未被展示)以經由控制器106而存取記憶體108中之像素資料之DPE 102，其中，依據本發明一些實作例，自記憶體108得到之像素資料寬度可匹配在動作304中被提供之線緩衝器的寬度。繼續上述之範例，如果DPE是將要處理像素508(第5圖)並且在動作304中被提供之線緩衝器將具有260個像素之寬度，則動作306可包含DPE 102，後者得到對應至關於包含像素508之列為中央的區域606之9個列(寬度＝240個像素)的像素資料以及用於分別地從對應至針對那些9個列之區域602和612的像素資料所取得之交疊區域608和610的像素資料。
[0035]處理程序300接著可經由影像處理管線繼續像素資料之處理[動作308]。依據本發明一些實作例，DPE 102可放置在動作306中所接收的像素資料在動作304中所提供的線緩衝器中，並且接著可藉由應用一過濾管線至該像素資料以進行動作308。繼續上述之範例，DPE 102可處理在動作306中所接收之像素資料，其連續地使用演算法402、404以及406(亦即，管線400)以過濾該像素資料。
[0036]第3圖展示之動作不需要以展示之順序被執行；也不必定需要所有的動作被進行。同時，不是依賴其他動作的那些動作也可與其他動作平行地被進行。進一步地，動作302和304兩者皆可被進行一次，例如，在預處理階段期間，並且接著多數個同時發生的動作306和308可藉由兩個或多個處理核心及/或二個或多個DPE 102而被進行，其中，例如，動作306/308之一發生的動作可以是與一個區域中(例如，區域602)之處理像素相關，而動作306/308之另一者發生的動作可以是與另一區域中(例如，區域606)之處理像素相關，等等。進一步地，這圖形中之至少一些動作可以在一機器可讀取媒體中被製作為可執行之指令、或指令群。
第7圖展示依據本發明一些實作例之系統700的範例。系統700可包含一主處理器702、圖形處理器704、記憶體706以及708(例如，動態隨機存取記憶體(DRAM)、靜態隨機存取記憶體(SRAM)、非依電性記憶體等等)、匯流排或通訊通路710、輸入/輸出(I/O)介面712(例如，通用同步匯流排(USB)介面、平行埠、串接埠、電話接埠、及/或其他I/O介面)、網路介面714(例如，有線及/或無線本地性區域網路(LAN)及/或寬域網路(WAN)及/或個人區域網路(PAN)、及/或其他有線及/或無線網路介面)、顯示處理器及/或控制器716、以及顯示器718。系統700同時也可包含被耦合至網路介面714之天線715(例如，雙極天線、窄頻迴線天線(MLA)、寬頻MLA、倒"F"天線、平面倒"F"天線、古鮑[Goubau]天線、塊狀天線等等)。一般，系統700可以是適用於處理顯示器像素資料之任何系統。
系統700可假設多種實際的實作例。例如，系統700可被實作在下列構件上，如個人電腦(PC)、網路PC、媒體PC、伺服器計算系統、手持計算平臺(例如，個人數位助理(PDA))、遊戲系統(輕便或不同的)、機上盒(STB)、手提電話機等等。此外，雖然系統700的一些構件可以被製作在單一裝置(例如，系統單晶片(SOC)積體電路(IC))之內，同時系統700之構件也可以被分佈在多數個IC或裝置上。例如，主處理器702可與構件704、706、712、以及714一起被製作為被包含在例如，單一PC之內的多數個IC，同時顯示處理器716也可經由通訊通路710被製作在一分離裝置中，例如，被耦合至主處理器702之顯示器718以及構件704、706、712、以及714。另外，系統700中的所有項目，除了顯示器718之外，亦可被製作在單一平臺或裝置中，例如，在一些範例中，如被耦合至顯示器718之媒體PC或STB。
[0039]主處理器702可包含一特殊用途或一般用途之處理器，其包含能夠提供像素資料及/或指令給予顯示處理器716之任何控制及/或處理邏輯(亦即，以硬體、軟體及/或韌體形式)。例如，主處理器702可置放像素資料的一影像圖框(或其之z部份，例如，一影像區域的許多列)在顯示處理器716可自其存取該像素資料之記憶體708中。在一實作例中，主處理器702可執行任何可支援合併管線交疊之顯示器處理線緩衝器的一些工作。這些工作可包含，雖然本發明是不受這方面之限制，例如，提供像素處理演算法(例如，包含一濾波器管線(例如，管線400)之演算法)至顯示處理器716、下載微碼(經由天線715和介面714)至處理器716、啟始化及/或組態在處理器716之內的暫存器、中斷服務、提供用以上載及/或下載像素及/或影像資料之一匯流排介面等等。在另外的實作例中，一些或所有的這些功能可藉由顯示處理器716被執行。進一步地，雖然第7圖展示主處理器702以及顯示處理器716作為個別的構件，但本發明是不因任何方式而受這方面之限制並且熟習本技術者應可明白，處理器702和716可能除了在系統700的其他構件被實作之外亦可被實作在單一IC之內。
匯流排或通訊通路710可包含任何用於在系統700任何元件之間或在其之中傳送資訊(例如，像素資料、指令等等)的機構。例如，雖然本發明是不受這方面之限制，通訊通路710可包含能夠在記憶體706或記憶體708以及顯示處理器716之間傳送，例如，像素資料之多用途匯流排。另外地，通路710可包含一無線通訊通路。此外，圖形處理器704可包含記憶體控制器(未被展示)，其提供引動顯示處理器716以提供像素資料至記憶體706/708或以自記憶體706/708得到像素資料之功能。
顯示處理器716可包含任何能夠依據本發明一些實作例執行合併管線交疊之顯示器處理線緩衝器以及能夠供應被處理的像素資料至顯示器718之控制及/或處理邏輯(亦即，以硬體、軟體、及/或韌體形式)。進一步地，處理器716可包含一個或多個DPE 102之實施例或可提供如上述之DPE 102的功能。此外，處理器716可進一步地處理被處理的像素資料(例如，利用DPE 102執行處理程序300所被產生)，以執行，例如，轉換彩色像素值為對應的顯示器驅動資料位準等等。雖然第7圖展示顯示處理器716作為一個別的構件，但本發明是不受這方面之限制，並且熟習本技術者應可明白，例如，顯示處理器716的一些(如果不是全部)功能可藉由圖示處理器704及/或主處理器702被執行。
[0042]最後，顯示器718可以是任何能夠顯示藉由顯示處理器716被提供且能夠利用DPE 102被處理之像素資料的裝置。因此，於一些更重要的範例中，顯示器718可以是液晶顯示器(LCD)或電漿顯示器面板(PDP)。但是，本發明是不受限制於在顯示器718中被採用之任何特定型式的顯示器面板。
[0043]因此，依據本發明一些實作例，利用被尺度調整以包含管線交疊之線緩衝器的一顯示處理器及/或一顯示處理引擎可允許複雜、高品質像素處理演算法(例如，移動補償解交錯、蚊式雜訊減少等等)被採用於將在被分割成為水平地相鄰區域的一影像上操作之處理機構中，其中該機構保留那些演算法的數學精確度，而同時使被提供至顯示器處理管線的矽區域之成本最小化。
[0044]雖然之前與本發明一致的一個或多個例證之說明提供本發明之展示與說明，其不欲排除或限制本發明之範疇於被揭示之特定實作例中。熟習本技術者應可明白，上面之技術可以有各種修改和變化或可自本發明實施之各種實作例取得。例如，雖然第1圖以及附屬之文字可展示並且說明一種被耦合至記憶體控制器106之單一顯示處理引擎102，熟習本技術者應明白，依據本發明之顯示處理系統也可採用被耦合至一個或多個記憶體控制器之多數個顯示處理引擎，其各依據本發明而操作。明白地，許多其他實作例可被採用以提供合併管線交疊之顯示器處理線緩衝器。
[0045]應可理解地，在本申請案之說明中之裝置、元件、動作、資料形式、指令等等，除非明確地被說明否則對於本發明無一是緊要或必要的。同時，如在此處被使用地，冠詞"一"是將包含一個或多個項目。此外，當名詞或片語，例如"耦合於"或"反應於"或"通訊於"在此處或在之後的申請專利範圍中被使用時，這些名詞意謂著將廣義地被詮釋。例如，片語"耦合於"可以是指示使用該片語的本文中通訊地、電氣地及/或可操作地被適當耦合。進一步地，熟習本技術者將明白，術語像素、像素值、像素資料、顯示器資料及/或影像資料可替換地被使用。上述所說明之本發明的實作例可以有許多變化和修改，而不脫離本發明之精神及原理。此處所有的此等修改和變化將被包含在揭示之範疇內以及被下面的申請專利範圍所保護。
100．．．影像處理系統
102．．．顯示處理引擎
104．．．顯示控制器
106．．．記憶體控制器
108．．．記憶體
112．．．線緩衝器
200．．．影像處理機構
202．．．影像圖框
204－207．．．水平區域
208．．．邊界
300．．．處理程序
302~308．．．處理動作
400．．．影像處理管線
402、404、406．．．演算法
408、410．．．線緩衝器
500．．．標示像素機構
504、505．．．影像區域
506．．．區域界線
508、512、516、517、519、520．．．像素
510、514．．．像素矩陣
522．．．交疊
600．．．影像
602、606、612．．．區域
604、608、610、614．．．交疊
700．．．系統
702．．．主處理器
704．．．圖形處理器
706、708．．．記憶體
710．．．匯流排或通訊通路
712．．．輸入/輸出介面
714．．．網路介面
715．．．天線
716．．．顯示處理器
718．．．顯示器
第1圖展示依據本發明一些實作之一影像處理系統的部份；第2圖展示一影像處理機構範例；第3圖是展示依據本發明一些實作之處理程序的流程圖；第4圖展示一影像處理管線機構範例；第5圖展示一影像處理像素標幟機構之範例；第6圖展示依據本發明一些實作之影像處理機構合併管線交疊的範例；以及第7圖展示依據本發明一些實作之系統。
602．．．區域
604．．．交疊
606．．．區域
608．．．交疊
610．．．交疊
612．．．區域
614．．．交疊

Claims (10)

  1. 一種用於影像處理的方法，其包含下列步驟：決定一管線交疊係數，該管線交疊係數與要對一影像施用的一影像處理管線相關聯，該影像被分割成為水平相鄰的數個影像區域，該等影像區域各具有一區域寬度；提供多個線緩衝器，其具有足以容納該區域寬度及兩倍該管線交疊係數的寬度；以及利用該等線緩衝器而經由該影像處理管線來處理像素資料。
  2. 如申請專利範圍第1項之方法，其中該影像處理管線包含多個演算法，各個演算法具有一相關聯水平交疊，並且其中決定一管線交疊係數之步驟包含：決定該等水平交疊的一相加總和。
  3. 如申請專利範圍第2項之方法，其中各個演算法的水平交疊包含：當在位於與一個影像區域之一界線相鄰處的一像素上操作相關聯之該演算法時，該演算法所取樣的一相鄰影像區域之水平相鄰像素值的數目。
  4. 如申請專利範圍第1項之方法，其中該區域寬度包含：在一影像區域的一個維度中之像素的數目。
  5. 如申請專利範圍第4項之方法，其中利用該等線緩衝器而經由該影像處理管線來處理像素資料之步驟包含：利用該影像處理管線來將儲存在該等線緩衝器中的像素值與一影像區域的像素值進行旋積運算，其中該等線緩 衝器除了儲存一相鄰影像區域的像素之外尚儲存該影像區域的像素。
  6. 一種包含儲存有指令之機器可存取媒體的物品，該等指令在由一機器執行時會致使該機器執行下列步驟：決定與一影像處理管線相關聯的一管線交疊係數，該影像處理管線係用於處理一影像圖框，該影像資料圖框被分割成為水平相鄰的數個影像區域，各個影像區域具有一區域寬度；提供多個線緩衝器，其具有足以容納該區域寬度及兩倍該管線交疊係數的寬度；以及利用該等線緩衝器而經由該影像處理管線來處理像素資料。
  7. 如申請專利範圍第6項之物品，其中該影像處理管線包含多個演算法，各個演算法具有一相關聯水平交疊，並且其中用來決定一管線交疊係數的該等指令在由一機器執行時會致使該機器執行下列步驟：決定該等水平交疊的一相加總和。
  8. 如申請專利範圍第7項之物品，其中各個演算法的水平交疊包含當相關聯之該演算法在位於與一個影像區域之一界線相鄰處的一像素上操作時，該演算法所取樣的一相鄰影像區域之水平相鄰像素值的數目。
  9. 如申請專利範圍第6項之物品，其中該區域寬度包含在一影像區域的一個維度中之像素的數目。
  10. 如申請專利範圍第9項之物品，其中用於利用該等線緩 衝器而經由該影像處理管線來處理像素資料的該等指令在由一機器執行時會致使該機器執行下列步驟：利用該影像處理管線來將儲存在該等線緩衝器中的像素值與一影像區域的像素值進行旋積運算，其中該等線緩衝器除了儲存一相鄰影像區域的像素之外尚儲存該影像區域的像素。
TW096130710A 2006-08-25 2007-08-20 用於影像處理的方法以及包含儲存有指令之機器可存取媒體的物品 TWI381364B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/510,045 US7834873B2 (en) 2006-08-25 2006-08-25 Display processing line buffers incorporating pipeline overlap

Publications (2)

Publication Number Publication Date
TW200820213A TW200820213A (en) 2008-05-01
TWI381364B true TWI381364B (zh) 2013-01-01

Family

ID=39107132

Family Applications (2)

Application Number Title Priority Date Filing Date
TW101134121A TWI494916B (zh) 2006-08-25 2007-08-20 用於影像處理的裝置和系統
TW096130710A TWI381364B (zh) 2006-08-25 2007-08-20 用於影像處理的方法以及包含儲存有指令之機器可存取媒體的物品

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW101134121A TWI494916B (zh) 2006-08-25 2007-08-20 用於影像處理的裝置和系統

Country Status (6)

Country Link
US (2) US7834873B2 (zh)
EP (1) EP2054794A4 (zh)
JP (1) JP2009545085A (zh)
CN (1) CN101495952B (zh)
TW (2) TWI494916B (zh)
WO (1) WO2008024668A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8754895B2 (en) * 2008-09-09 2014-06-17 Sony Corporation Pipelined image processing engine
TW201106679A (en) * 2009-08-05 2011-02-16 Silicon Motion Inc Image processing device and deinterlacing method
CN102215324B (zh) * 2010-04-08 2013-07-31 安凯(广州)微电子技术有限公司 用于对视频图像进行滤波操作的滤波电路及其滤波方法
JP5835942B2 (ja) * 2010-06-25 2015-12-24 キヤノン株式会社 画像処理装置、その制御方法及びプログラム
JP5703769B2 (ja) * 2011-01-19 2015-04-22 ソニー株式会社 画像変換装置、画像変換方法、プログラム、および電子機器
US8761454B2 (en) * 2011-05-10 2014-06-24 Hewlett-Packard Development Company, L.P. Detecting streaks in printed images
KR101344858B1 (ko) 2012-03-23 2013-12-24 경북대학교 산학협력단 영상처리장치 및 영상처리방법, 컴퓨터 판독가능 기록매체
TWI520598B (zh) * 2012-05-23 2016-02-01 晨星半導體股份有限公司 影像處理裝置與影像處理方法
CN103474049B (zh) * 2012-06-08 2017-05-17 晨星软件研发(深圳)有限公司 影像处理装置与影像处理方法
GB2533565A (en) * 2014-12-18 2016-06-29 Stmicroelectronics (Research & Development) Ltd A method, apparatus and system
US9749548B2 (en) 2015-01-22 2017-08-29 Google Inc. Virtual linebuffers for image signal processors
US9756268B2 (en) 2015-04-23 2017-09-05 Google Inc. Line buffer unit for image processor
US10204396B2 (en) * 2016-02-26 2019-02-12 Google Llc Compiler managed memory for image processor
US11042962B2 (en) * 2016-04-18 2021-06-22 Avago Technologies International Sales Pte. Limited Hardware optimisation for generating 360° images
US10367639B2 (en) * 2016-12-29 2019-07-30 Intel Corporation Graphics processor with encrypted kernels
US10255655B1 (en) 2017-06-16 2019-04-09 Apple Inc. Serial pixel processing with storage for overlapping texel data
US10681266B2 (en) * 2018-06-12 2020-06-09 Carl Zeiss Ag Method, apparatus, and system for processing digital images
US11431941B2 (en) * 2018-06-12 2022-08-30 Carl Zeiss Ag Method, apparatus, and system for processing digital images
CN110047031A (zh) * 2019-03-26 2019-07-23 深兰科技（上海）有限公司 一种像素段拼接的方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040130553A1 (en) * 2002-12-26 2004-07-08 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20040160452A1 (en) * 2003-02-18 2004-08-19 Samsung Electronics Co., Ltd. Method and apparatus for processing pixels based on segments
US20050031223A1 (en) * 2002-06-28 2005-02-10 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
TW200619935A (en) * 2004-10-29 2006-06-16 Intel Corp Transferring a video frame from memory into an on-chip buffer for video processing

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5469223A (en) 1993-10-13 1995-11-21 Auravision Corporation Shared line buffer architecture for a video processing circuit
WO2000014650A1 (en) * 1998-09-03 2000-03-16 Conexant Systems, Inc. A method of frequency domain filtering employing a real to analytic transform
US6327000B1 (en) * 1999-04-02 2001-12-04 Teralogic, Inc. Efficient image scaling for scan rate conversion
JP3510997B2 (ja) * 1999-04-05 2004-03-29 セイコーエプソン株式会社 画像処理装置およびコピーシステム
JP2000351242A (ja) * 1999-04-05 2000-12-19 Seiko Epson Corp 画像形成装置
US6457075B1 (en) * 1999-05-17 2002-09-24 Koninkijke Philips Electronics N.V. Synchronous memory system with automatic burst mode switching as a function of the selected bus master
FR2797979B1 (fr) * 1999-08-24 2002-05-24 St Microelectronics Sa Procede et systeme de filtrage anti-scintillement
US6642962B1 (en) 1999-09-01 2003-11-04 Neomagic Corp. Merged pipeline for color interpolation and edge enhancement of digital images
SE517525C2 (sv) * 1999-09-07 2002-06-18 Ericsson Telefon Ab L M Förfarande och anordning för konstruktion av digitala filter
US6625629B1 (en) * 2000-05-23 2003-09-23 Microsoft Corporation System and method for signal processing using an improved convolution technique
US7184059B1 (en) * 2000-08-23 2007-02-27 Nintendo Co., Ltd. Graphics system with copy out conversions between embedded frame buffer and main memory
KR100423503B1 (ko) * 2001-09-14 2004-03-18 삼성전자주식회사 디지털영상 처리 장치 및 방법
US6765622B2 (en) * 2001-10-26 2004-07-20 Koninklijke Philips Electronics N.V. Line-buffer reuse in vertical pixel-processing arrangement
US7376908B2 (en) * 2003-03-24 2008-05-20 Microsoft Corporation On-screen display image rendered with MPEG hardware
US7266255B1 (en) * 2003-09-26 2007-09-04 Sun Microsystems, Inc. Distributed multi-sample convolution
US6999105B2 (en) * 2003-12-04 2006-02-14 International Business Machines Corporation Image scaling employing horizontal partitioning
JP2005260875A (ja) * 2004-03-15 2005-09-22 Yokowo Co Ltd 表面実装型パッチアンテナおよびその実装方法
JP2005311745A (ja) * 2004-04-22 2005-11-04 Olympus Corp 画像処理装置
JP4007342B2 (ja) * 2004-06-08 2007-11-14 セイコーエプソン株式会社 表示コントローラ、電子機器及び画像データ供給方法
US7515766B2 (en) * 2004-09-22 2009-04-07 Intel Corporation Apparatus and method for edge handling in image processing
JP4219887B2 (ja) * 2004-12-28 2009-02-04 富士通マイクロエレクトロニクス株式会社 画像処理装置及び画像処理方法
TWI260547B (en) * 2005-03-07 2006-08-21 Li Shing Comm Science And Tech Readable tag having dual reading function

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050031223A1 (en) * 2002-06-28 2005-02-10 Canon Kabushiki Kaisha Image processing apparatus and control method thereof
US20040130553A1 (en) * 2002-12-26 2004-07-08 Canon Kabushiki Kaisha Image processing apparatus and image processing method
US20040160452A1 (en) * 2003-02-18 2004-08-19 Samsung Electronics Co., Ltd. Method and apparatus for processing pixels based on segments
TW200619935A (en) * 2004-10-29 2006-06-16 Intel Corp Transferring a video frame from memory into an on-chip buffer for video processing

Also Published As

Publication number Publication date
JP2009545085A (ja) 2009-12-17
US20080049037A1 (en) 2008-02-28
CN101495952B (zh) 2012-04-18
US20110037771A1 (en) 2011-02-17
CN101495952A (zh) 2009-07-29
WO2008024668A1 (en) 2008-02-28
TW201308309A (zh) 2013-02-16
EP2054794A1 (en) 2009-05-06
EP2054794A4 (en) 2011-09-07
TWI494916B (zh) 2015-08-01
US7834873B2 (en) 2010-11-16
TW200820213A (en) 2008-05-01

Similar Documents

Publication Publication Date Title
TWI381364B (zh) 用於影像處理的方法以及包含儲存有指令之機器可存取媒體的物品
WO2017016322A1 (en) Controller for compensating mura defects, display apparatus having the same, and method for compensating mura defects
TW591547B (en) Method and apparatus for the implementation of full-scene anti-aliasing supersampling
AU2012227210B2 (en) Inline image rotation
KR100932805B1 (ko) 이미지 프로세싱에서의 에지 핸들링을 위한 장치 및 방법
US7742636B2 (en) Method and apparatus for scaling down a bayer domain image
CN105096235B (zh) 图形处理方法及图形处理装置
WO2022149746A1 (en) Method and system for image retargeting
US11710213B2 (en) Application processor including reconfigurable scaler and devices including the processor
WO2024077745A1 (zh) 一种分块渲染模式图形处理方法及系统
CN113672183B (zh) 图像处理装置与图像处理方法
US20100061650A1 (en) Method And Apparatus For Providing A Variable Filter Size For Providing Image Effects
WO2022213784A1 (zh) 图像处理方法及装置、电子设备和存储介质
US20140179370A1 (en) System, process, and computer program product for implementing a document scanner in a hand-held device
JP4532746B2 (ja) ３ｄパイプラインを使用したストレッチ・ブリッティングのための方法および装置
KR20080059717A (ko) 영상신호 처리장치 및 그 제어방법
TWI486947B (zh) 圖層擷取方法、資料擷取裝置與圖層擷取安排方法
JP2015138417A (ja) 画像処理装置および画像処理方法
WO2020167360A1 (en) Image processor complex transfer functions
US20140063068A1 (en) Accommodating display data corresponding to a scanout area of a graphics processor within an incompatible display unit
WO2024073953A1 (zh) 一种分块渲染模式图形处理方法及系统
CN114004967A (zh) 一种图像有效区域识别的方法及装置
CN117648067A (zh) 超大幅面遥感影像的快速显示方法及系统
JP2003225346A (ja) スロットマシーン又はパチスロ機の画像転送装置
JP2003225392A (ja) パチンコ機の画像転送装置

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees