TW576101B - Combined color space matrix transformation and FIR filter - Google Patents

Description

576101 A7 B7 五、發明説明 本發明係關於視訊處理領域，特別係關於一包括一彩色 空間矩陣轉換及有限脈衝響應（FIR)濾波器之視訊處理 器。 發明背景 有限脈衝響應之濾波器： 有限脈衝響應（FIR)濾波器一般係用於視訊處理系統中 用以過濾圖像元素（像素）值，尤其是當影像經過縮放或從 其原始形式轉換之後所產生的像素值。舉例來說，藉由從 每四個輸入像素值僅提供一個輸出像素值便可大量分解或 向下取樣一影像，以產生一 4 : 1的縮小影像。不過，此種 取樣通常都會產生視覺不規則及/或不連續，因為所選擇 的特殊像素值可旎播法代表未選擇的像素值。有限脈衝響 應之濾波器可對複數個像素值進行加權平均計算之後產生 每個像素值，從而降低未濾波縮放時可能會發:的不規則 及不連續。在放大的應用中，其中每個輸人取樣會產生多 個輸出取樣，該加權平均可提供每個輸出取樣—個内插 值、，其中會涵蓋緊鄰輸入取樣以外的像素值可在該輸入取 樣之間提供較少人造填充值。

裝 訂

視訊處理的一般有限脈衝響應結 組成物的)慮波咨’其可提供一與六 出像素值，每個像素值都係由三個組成物表示， 色空間中的紅-綠-藍組成物。 成物的有限脈衝響應之濾波器 構都係六個底數，三個 個輸入像素值相關的輸 如RGB彩 在慣用的六個底數，三個組 中 曰進行下面的轉換： 本紙張尺度適用中國國家標準(CNS) A4規格(210X 297公爱丁 -4-

^00 ax C〇〇 Cq\ C〇2 C〇3 C〇4 C〇5 V < α，ι Q〇 Cn Cl2 C13 Cu Cl5 X ^22 4. eo p -α，2. _c20 C2l C22 ^23 C24 c25 ^03 丁 e\ V < < A5 ^r5 ^25 在上面的等式中，a丨係第j個像素值的第i個組成物， 〜則係其係數，或權值，作為加權平均使肖，而〜…係 位移量，或偏移值，其係施加於每個輸出像素組成物的數 值a’o-a’3之上。後續還會進行額外的處理，包括量化，概 數運算，嵌位計算等，但是為使容易瞭解，此處並未顯 示〇 請注意’為有效濾波，必須使用至少3個底數，較佳的 係一般都會使用6個以上的底數，的有限脈衝響應之濾波 器。為執行6個底數，3個組成物之有限脈衝響應之滤波 器，至少需要十八個乘法器及加法器。 彩色空間轉換 一般來說，不同的視訊處理應用會使用不同的像素值彩 色空間《舉例來說，電腦系統通常會使用RGB(紅·綠-藍） 彩色空間，其中每個像素值都係由一個紅色組成物，一個 綠色組成物，及一個藍色組成物來表示。相反地，慣用的 廣播電視信號則係使用對應於YUV彩色空間的一個照度組 成物（Y)，及兩個色度組成物（U及V)編碼影像。YUV與 YIQ彩色空間的相位相差九十度。YCbCr彩色空間則係數 位視訊編碼中所使用的YUV的縮放版本。在本技藝中亦常 -5- 本紙張尺度適用中國國家標準(CNS) A4規格(210X 297公釐) 576101 五、發明説明（3 見其它彩色空間的影像表示方式。由Keith Jack所著，

HighText lnteractive公司，San Dieg〇，⑸伽·所發行之 1 VIDEO DEMYSTIFIED」中便提出八種不同的彩色空間 ^ ^其具有不同的等式用以從其中一個彩色空間轉換至 另一個彩色空間。 在支援一種以上彩色空間的傳統系統中，彩色空間之間 的轉換通常都係利用已經針對該項特殊的彩色空間轉換進 行客戶化的硬體來進行。客戶化設計可降低電路數及該電 各杰積把包路中所砝要的面冑，但是該項設計卻只能限用 於該項特殊的彩色空間轉換。#果希望支援多種轉換的 話，一般會使用矩陣轉換結構·· 「 …Ί rc。。 。。| c02-- ci〇 CM CI2 βίο C2| C22 其中Ao-八2係該輸入彩色空間中輸入像素的組成物數 值’八’。-八’2係該輸出彩色空間中輸出像素的組成物數值， D0-D2係與該輸入彩色组成物相關聯的偏移值，係 與該輸出彩色組成物相關聯的偏移值，而c〇〇_c22則係該項 特殊轉換等式的係、數。舉例來說，慣用的刪及代心彩 色空間之間的轉換可透過下面的等式來進行。 k，、R-G-B組成物數值的輸入像素轉換至具卜&組 Ί6, X G + 128 B 128 丫 厂 Cb = Cr 0.257 0.504 0.098 -0.148 -0.291 0.439 0.439 —0.368 - 〇,〇71 本紙張尺度適财_家標準_) Μ規格(2igx297公爱) -6- 576101 A7

從具Y-Cb-Cr組成物數值的輸入像素轉換至具r_g B纽 )-16 _ X C6-128 + 0 Ο -128_ _0_ 'R 「 G = B U64 0 1.596 1.164 -0.392 -0.813 1.164 〇 2.017

在配置用以提供多種彩色空間轉換的系統中，藉由載入 正確的係數及偏移值至一 3x3的矩陣乘法器及加法器中便 可執行不同的輸入對輸出（input_to_output)彩色空間轉換。 請注意1了前置處理器會從特殊彩色空間的輸人組成物 (例如：Y-16’Cb-128及Cr-128)中如除正確的偏移值（d〇， 装

Di，之外，此種具體實施例還需要至少九個乘法器及 加法器。 ^ 本發明的其中一項目的便係降低電路數及執行彩色空間 訂

轉換所需要的面積。本發明進一步的目的係對有限脈衝響 應濾波電路的使用方式予以最佳化。 所有的目的都可使用一種用以執行有限脈衝響應濾波及 彩色空間轉換相同的電路達成。慣用的有限脈衝響應之濾 波器的乘法-加法陣列之輸入經過正確多工之後可提供該 有限脈衝響應之濾波器組成物的替代用法。舉例來說，依 照此方式，可使用同一個乘法-加法組成物陣列縮放一影 像及將該影像從一個彩色空間轉換至另一個空間。 圖式簡單說明 本發明將參考隨附的圖式，以實例的方式作更詳細的解 釋，其中：

576101 A7

B7 五、發明説明（ 6 的。根據本發明，該彩色空間轉換器i2〇係配置用以使用 一有限脈衝響應之濾波器14〇b的乘法及加法組成物，如下 面的進一步討論。 如本技藝中常見的情況，在該範例影像處理系統100 中’會使用記憶體130在處理方塊中交換影像資料。該記 憶體13 0可能包括，舉例來說，供該影像中個別的線使用 的線緩衝器，供連續影像使用的訊框記憶體，快取記憶體 等。在此實例中，該彩色空間轉換器120係配置用以提供 該源影像資料給該有限脈衝響應之濾波器140b，而該有限 脈衝響應之濾波器14〇b則係配置用以將該經過彩色空間轉 換後的資料放置在該記憶體1 30中。 定標器150係配置用以對來自該記憶體130的影像進行選 擇性縮放。根據本發明，該範例定標器1 50係配置用以透 過多工器14〇a使用與該彩色空間轉換器120相同的有限脈 衝響應之濾波器140b乘法-加法陣列，如下面的進一步討 論。在此實例中，來自該有限脈衝響應之濾波器140b的縮 放影像亦會儲存在該記憶體130中，供顯示驅動器160進行 後續的處理，以便將該影像呈現在顯示器170中。請注 意’如本技藝中常見的情況，可以對記憶體13 〇中已經過 縮放或未經過縮放的資料進行其它的處理，如量化，概數 運算，嵌位計算，清晰處理等，但是為使容易瞭解，圖i 中並未顯示。 多工器140a會從該彩色空間轉換器120或該定標器1 50中 選擇其中一個輸入至該有限脈衝響應之濾波器14〇b中。視 __—_____-9- _ I紙張尺度適用中國@家標準(CNS) A4规格(“^297公釐) ' 576101 A7 B7 五、發明説明（7 ) 該處理系統100的特殊結構及所支援的功能而定，該多工 器140a可能會對該有限脈衝響應之濾波器14〇b的使用方式 加以限制。舉例來說，對該系統1〇()的最大處理量來說， 該多工器140a可能會配置對一特定輸入流可能僅會運用一 種功能’如彩色空間轉換或影像縮放。也就是，舉例來 說’在RGB基礎的系統中，可能僅會對來自rgb源的影像 進行縮放，因為其不需要進行彩色空間轉換。如果處理量 並非關鍵的話，那麼該系統丨〇〇可能會配置用以設置該多 工器140a將每個輸入影像轉換成該選擇彩色空間，並且在 該影像轉換之後設置該多工器14〇a對該經過彩色空間轉換 後的影像進行縮放。熟習此揭露之技藝的人士將會非常清 楚其它的多工技術。舉例來說，該系統可能會配置用以控 制該多工器140a交替處理來自該轉換器120及該定標器150 的資料，從而能夠進抒連續處理，不過比起在整個過程中 限制該有限脈衝響應之濾波器14〇b僅處理其中一個輸入或 另一個輸入的系統，其速率會比較慢。 圖2所示的係根據本發明之多用法有限脈衝響應之滤波 器組合140的範例方塊圖。該有限脈衝響應之濾波器組合 140包括前述的有限脈衝響應之濾波器i4〇b，及複數個構 成圖1中多工器140a的多工器220，230，240。 根據本發明，該多工器220，230，240係配置用以提供一 正確的輸入給該有限脈衝響應之濾波器140b以便執行所希 望的轉換。在圖2的實例中，輸入I η B相當於用以執行縮放 -10- 本紙張尺度適用中國國家標準(CNS) Α4規格(210 X 297公釐)

裝 訂

576101 A7 B7 五、發明説明（8 ) 功能之有限脈衝響應二 面矩陣運算的6個底數

3 3 3 Co cl C2 2 Co C 丨 C2 coicnc2I ο ο ο Co cl C2 I_I

C /;思收获的Ί貝川铡八，如上述提供下 ，3個組成物的濾波器： 04 ^05 。14。丨5 C24 C25 ^0° ^1° α20 -j ^01 V X -2 -l —3 -3 + V ex 」 -4 一 4 α〇 < /2, 八—5 _αο a\ αΓ 在該有限脈衝響應之濾波器140b中 如圖2的實例所示， 有一系列的延遲元件2 1 0用以提供，舉例來說，對應於包 括長度為六個像素水平線的一系列像素的像素值，a〇 a ，…a 。係數c〇(rc25及偏移值e 〇 - e 3係由（圖1中的）定 標器1 50根據該縮放倍數及該輸入與輸出像素值的相位使 用本技藝中常見的演算法進行設定。上面的矩陣乘法及加 法係透過慣用的有限脈衝響應之濾波器的技藝中常見的乘 法器及加法器陣列250進行。 為對多工有限脈衝響應之濾波器系統丨4〇的輸入丨n a進行 彩色空間轉換，該範例6個底數，3個組成物的有限脈衝響 應之濾波器會提供下面慣用的3x3矩陣運算。 如上述’該慣用的3x3彩色空間的棘拖古士 ‘π · C〇〇 C〇| C〇2 Λ + A 二 C|〇 Cn Cl2 X 4 + A + 5丨 _。20 C2| C22, a2 + β2 此慣用的3x3彩色空間轉換可以下面等效的方式表示

576101 A7 B7 五、發明説明（

χ- sc" c01cnc2l COOQC-sc22 colcnc2I rfcfrf •-- A^l^QDQ ΛΛΛΙ)da q。aa + 50^52 _ j 也就是，該3x3彩色空間轉換的係數矩陣〇)()-(：22係重複填 入該6x3的有限脈衝響應之濾波器係數矩陣中，而輸入值 A〇-A2及偏移值DG-D2則當成離散輸入。舉例來說，會重 新執行本發明背景中所提供的由YCbCr至RGB的彩色空間 轉換： 重新對6x3的有限脈衝響應之濾波器矩陣執行慣用的 3x3彩色空間轉換矩陣運算，該多工器220，230，240可 配置用以提供一正確的輸入給圖2中的範例6 X 3有限脈衝 響應之濾波器140b。如上所述，當該模式信號宣告成用 以執行該慣用的有限脈衝響應之濾波器功能的正狀態 時，該多工器便會切換該有限脈衝響應之濾波器140b的 乘法·加法陣列250的輸入以提供正確的輸入值A o-A 2， 輸出偏移值B〇-B2，複製的係數值C〇(rC22，及輸入偏移 值D〇-D2給該6x3的乘法器及加法器以便執行上述的6x3 -12- 本紙張尺廣：適用中國國家標準(CNS) A4規格(210 X 297公董]

576101 A7 B7 五、發明説明（1G ) 彩色轉換矩陣運算。請注意，雖然該3 χ 3彩色空間轉換矩 陣運算係由3x6乘法-加法陣列250執行，其實質上大於一 般用於執行3 χ3矩陣運算的慣用的3 χ3乘法-加法睁列， 不過卻比較節省電路面積，因為多工器22〇 , 23〇，24〇耗 用比慣用的3x3乘法-加法陣列更少的面積。 熟習本技藝的人士將會非常清楚，如果提供不同大小的 有限脈衝響應之濾波器140b的話，便可視需要重新執行該 3 χ 3彩色空間轉換矩陣運算以符合不同大小的有限脈衝響 應之濾波器。舉例來說，藉由直接將該3 x3彩色空間矩陣 的參數填入一 4x4有限脈衝響應之濾波器中3x3的子集 中，並且對未使用的輸入填入零值，便可使用該4x4有限 脈衝響應之濾波器。 前面範例僅係闡述本發明的原理。因此，可以理解的 係，雖然此處未明確'說明或顯示，但是熟習本技藝的人士 將能夠設計出各種可實現本發明原理的配置，並且涵蓋於 下面申請專利範圍的精神及範圍内。 -13 - 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐)

Claims (1)

1. 576101 年 案(92 請本 申換 利替 專圍 號範|圍 551 範 ⑷料I 511中專 09、又/請 第中/中 8 8 8 8 A B 月 ι· 一種影像處理系統（100)，其包括： -一彩色空間轉換器（120)，其係配置用以將第—步 色空間（In Α)中的像素值（Α0-Α2)轉換成第二彩色空間 中對應的像素值， θ -一定標器（150)，其係配置用以提供第一縮放（InB) 處的像素縮放值（aG- a_5)轉換成第二縮放處對應的像素 值，及 •一濾波器（140b)，其係配置用以對像素值提供遽波 功能；其中 -該彩色空間轉換器（120)會使用該濾波器（i4〇b)進行 轉換，及 -該定標器（150)會使用該滤波器（140b)進行縮放。 2.如申請專利範圍第1項之影像處理系統（1⑼），進一步包 括一第一多工器（2 2 0 )，其係配置用以選擇性地提供像 素值（A0-A2，aG-a-5)給該濾波器（140b)以便選擇性地進 行轉換及縮放。 3·如申請專利範圍第2項之影像處理系統（1〇〇)，進一步包 括一第二多工器（23 0)，其係配置用以選擇性地提供彩 色空間轉換係數（C 〇 〇 - C 2 2 )及縮放係數（c 〇 〇 - c 2 5 )給該滤 波器（140b)以便選擇性地進行轉換及縮放。 4·如申請專利範圍第3項之影像處理系統（100)，其中第三 多工器（2 40)係配置用以選擇性地提供偏移參數值（6〇-B 2 ’ e 〇 - e 2)給該滤波為（14 〇 b)以便選擇性地進行轉換及 縮放。 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 576101 六、申請專利範圍

   5.如申請專利範圍第i項之影像處理系統（1〇〇)，其中該滤 波器（l4〇b)係一有限脈衝響應之濾波器。 6·如申請專利範圍第}項之影像處理系統（丨〇〇)，進_步包 括一記憶體，其係用以在該彩色空間轉換器（12〇),該 定標器（150)，及該濾波器（i4〇b)之間進行像素值通 信。 7·如申請專利範圍第1項之影像處理系統（丨〇〇)，其中該滤 波器（140b)係一 6個底數，3個元素的有限脈衝響應之濾 波器。 8·如申請專利範圍第1項之影像處理系統（1〇〇),其中： -該濾、波器（140b)包括一乘法-加法陣列（2 5 〇 )， -該彩色空間轉換器（120)會使用該濾波器（14〇b)的乘 法-加法陣列（250)進行轉換，及 -該定標器（1 50)會使用該濾波器（14〇b)的乘法j口法 陣列（2 50)進行縮放。 9. 一種資料處理系統，其包括： _ 一乘法·加法陣列（2 5 0),其具有： 六個資料輸入，每個資料輸入各具三個元素輸入， 及 十八個係數輸入； 該乘法-加法陣列（2 50)係配置用以對該六個資料 輸入及該十八個係數執行3 X 6的矩陣乘法，以便提供 具三個元素輸出的一輸出（Out)，及 -一多工器（140a)，其係用以耦合至該乘法·加法陣列 本紙張尺度適用中國國家標準(CNS) A4規格(210X297公釐) 576101六、申請專利範圍 A8 B8 C8 D8

   (2 5 0 )，該乘法-加法陣列（2 5 〇 )係配置用以提供， 當該多工器（14〇a)位於一第一可選模式時， 將各具有三個組成物數值的六個像素值（aG_a-5)中的 每一個輸入至該六個資料輸入中的每一個；及 當該多工器（14〇a)位於一第二可選模式時， 將一單一像素值（A0-A2)中三個組成物中的每一個輸 入至該六個資料輸入的其中三個，該三個組成物中的每 一個係提供至該三個資料輸入中的每一個的三個元素輸 入中，及 與該單一像素值（A 0 - A 2)中三個組成物相關聯的三個 偏移值（DO-D2)中的每一個輸入至該六個資料輸入的另 外三個，該三個偏移值（D 〇 - D 2)中的每一個係提供至該 另外三個資料輸入中的每一個的三個元素輸入中。 10.如申請專利範圍第9項之資料處理系統，其中該多工器 (140a)係進一步配置用以提供， -當該多工器（140a)位於該第一可選模式時， 將十八個縮放係數（Cgg-c25)輸入該十八個係數輸入 中，以便提供一對應於該六個像素值（aG-a·5)經過縮放 的像素值作為該輸出（〇 u t);及 -當該多工器（140a)位於該第二可選模式時， 將九個彩色空間轉換係數（C 〇 〇 - C 2 2)輸入至下面每一 項中： 該十八個係數輸入中其中九個係數輸入的一第一組， 及 -3- 本紙張尺度適用中國國家標準(CNS) A4規格(210 X 297公釐) 、该十八個係數輸入中另外九個係數輪入的一第二組， 以便提供該單-像素值（抓⑼之—個彩色㈣轉換作 為該輸出（Out)。 11·如申請專利範圍第1〇項之資料處理系統，其中·· -該乘法-加法陣列（2 5 〇 )進一步包括： 三個偏移值輸入，用以對該三個元素輪出中的每一個 進行偏移；及 -該多工器（14〇a)係進一步配置以提供， 當該多工器（14〇a)位於該第一可選模式時， 將一個縮放偏移值（e Q _ e 2)輸入至該三個偏移值輸入 中，以便對該經過縮放後的像素值進行偏移；及 當該多工器（14〇a)位於該第二可選模式時， 將三個彩色空間偏移值（B〇_B2)輸入至該三個偏移值 輸入中’以便對該單一像素值（A 〇 - A 2 )的彩色空間轉換 進行偏移。