TW508940B - Method and apparatus for color image date processing and compression - Google Patents

Description

508940 五、發明說明（1) '-s 發明領域： 本發明與一種成像方法及裝置有關，特別是一種以影 像感測裝置處理及壓縮彩色影像的方法及設備。 發明背景： 現行色彩影像或壓縮的方法（例如以J 〇 i n t Photographic Experts Group(JPEG)格式）通常是在完全 塵 變更，式色彩空間（fully interpolated color space)中處 理資料。此種色彩空間的範例包含具4 : 2 : 2比例之YUV空 間（其中Y為輝度成份（luminance component)，U及V為色 度成份（chrominance component)或是色差成份（color di fference component)及YCbCr空間（其中Y為輝度成份，

Cb為藍色度成份，Cr為紅色度成份）。因為標準的未處理 〜 資料串（例如Bayer圖案中之資料）係於這些空間中處理， 所以更難以壓縮。其亦難以高度壓縮，除非於一標準色彩 空間（例如YCbCr)中進行。因此，大部份的壓縮運算使用 一壓縮運算前先將RGB(紅、綠、藍）未處理資料變更為一 j 標準色彩空間（例如YCbCr)之處理步驟。 圖一係一說明此過程之流程圖1 0。方塊1 2之R G B未處 理資料係於一轉換（i nt erpo 1 a t i on)方塊1 4中預處理，以 將此RGB未處理資料變更為一 YCbCr空間。因此RGB未處理資

第4頁 508940 五、發明說明（2) 料域會對映於Y C bC域。來自轉換方塊1 4同時於Y C bC域中之 於方塊1 6中進行影像增強。於方塊1 8中之引擎壓縮進行壓 縮，且於方塊20中進行儲存或傳輸。在方塊22中，以一解 壓縮引擎對彩色影像資料進行解壓縮。典型上在方塊2 2中 是以軟體進行解壓縮，且在方塊1 4中以一附加之特殊硬體 對變更進行預處理。 典型上YC bC r資料每個像素（例如圖像元素）包含8位元 或是更多的輝度資料，以及每像素（p i xe 1 ) 8位元或是更多 的色彩資料。通常未處理RGB資料在預設圖案（例如一 Bayer圖案）中每個像素包含8位元或是更多的輝度資料。 影像資料壓縮係用以降低所需之儲存資料以及/或是降低 於兩地間傳輸影像資料之頻寬或是所需時間。 如圖一之方塊1 6所示，影像增強處理演繹通常需要在 方塊1 8壓縮之前預先處理，因為壓縮演繹需要完全轉換色 彩資料。雖然影像增強係用以改善尖銳度，但是色彩飽和 度、色彩表現以及其他影像參數仍難以以YC bC r資料進行影 像增強。例如，因為YC bC之本質以及其他色彩空間資料的 緣故，所以在變更之前YC bC影像資料中每個像素通常缺乏 許多原始色彩資訊。如此會使原始影像資料最終重現複雜 化，以及使得難以得到高度之影像品質。 因此，亟需對彩色影像之處理進行改善。

第5頁 508940 五、發明說明（3) — 發明目的及概述·· ^ ^發明之方法使一原始彩色影像圖案對映（maps)於一 第/一彩色影像圖案。壓縮及解壓縮該第一彩色影像圖案之 彩色影像資料；解壓縮之彩色影像資料重新對映於一大致 相同於該原始彩色影像之第二彩色影像圖案。 發明詳細說明： 處理及壓縮彩色影像資料之設備及方法的實施例詳述 於下。下列描述中有數個特殊細節，例如圖五處理彩色影 像之硬體元件用以提供對於本發明之全面性了解。然而， 热悉遠相關技藝者可認知的是本發明可不以此特殊細節中 的一或多個或是其他方法來實施。在其他範例中，並未詳 細顯示或描述已知的結構或運作，以避免混淆本發明之不 同實施例的觀點。 說明書中的"一貫施例（ο n e e m b 〇 d i m e n t ) ”或π實施例 (an embodiment )”係指被包含於本發明之至少一個實施例 的一特殊特徵、結構或特性描述。因此，本說明書中出現 之子眼一貫施例中（i n 〇 n e e m b 〇 d i m e n t)π或H實施例中 (i n an embod i ment)"不須指同一實施例。並且，特殊之

第6頁 508940 五、發明說明（4) 特徵、結構或是特性可以任何適當方式結合於一或多個實 施例中。 圖二係〆說明本發明之實施例的流程圖。方塊丨2所示 係一提供未處理影像資料之未處理資料源，例如一對應於 標準Bayer圖案之RGB未處理資料源。雖然此處係以rGB資 料之描述為例’但是可以了解的是方塊1 2亦可提供其他彩 色影像資料格式。例如，此方塊12可為一 CYM(青綠色、黃 色、洋紅色）未處理資料源、CYWG(青綠色、黃色、白色、 綠色）未處理資料源，或是任何其他色彩編碼方式。 接著在方塊3 2，以對映演繹法（a p p i n g a 1 g 0 r丨f h m) 將來自未處理資料源之RGB未處理資料圖案重新編排或重 新組織。此種對映以下將依圖三做更詳細之描述，且通常 與將RGB未處理資料之非方形（non-square)彩色圖案重新 編排有關，其為更易於以標準壓縮演繹處理的彩色圖案。

在方塊3 4，以一使用壓縮演繹之壓縮引擎壓縮重新編 排之RGB圖案，例如以JPEG演繹法、不連續餘弦轉換演繹 (discrete cosine transform-based algorithm;DCT algorithm)或是其他適當的壓縮演繹法。方塊36之儲存及 /或傳輸通常在此壓縮步驟之後進行。接著，在方塊3 8此 壓、％資料被解壓縮還原（或是大致相同）與方塊3 4壓縮前之

第7頁 508940 五、發明說明（5) 再對映/重新編排RGB圖案。方塊38之解壓縮RGB圖案至少 包含（若非全部）大部份壓縮前的原始彩色圖案。 在方塊40，以一重現（重建）演繹法對此解壓縮RGB圖 案進行再對映或重新編排。此重現演繹法對再對映於此解 壓縮RGB圖案以表現出方塊32前的RGB原始彩色圖案。然 後，此重現RGB原始彩色圖案可變更為一 YCbCr•空間，例如 於方塊42中。在其他實施例中，對YUV空間之變更可在方 塊4 2中進行。 除了（或是作為另外的）在方塊42中進行轉換（變更） 外，更可在方塊44中進行影像增強。此影像增強處理可包 含改善尖銳度、色彩飽和度、色彩表現等的方法。與前述 習知技術不同的是，本發明之實施例可使方塊4 4之影像增 強易於進行並獲得強化之影像品質，因為在圖二之處理過 程中可保有大部份的原始色彩内容。 如圖二之流程圖3 0所示，方塊1 2及3 2 - 4 2執行之運算 係在RGB未處理資料域（domain)中進行。換言之，壓縮及 解壓縮係在RGB未處理資料域中進行，且本發明之實施例 不進行兩色彩空間之變更（例如由RGB空間變更為YCbCr空 間），直到方塊3 8解壓縮後。 類似地，本發明之實施例不進行影像增強，直到方塊

第8頁 508940 五、發明說明（6) 38解壓縮後。方塊44之影像增強可在YCbC域中進行，並使 習知技術中將未處理彩色影像資料變更為標準色彩空間 時，因色彩資訊流失所導致之影像品質的負面影響減至最 〇 圖三a -三e係顯示圖二之方塊1 2及3 2 - 4 0所進行處理的 實施例。圖三a開始時係一標準RGB彩色圖案5 0，但是其他 彩色圖案（例如CYM圖案）亦可作為此未處理資料之部份來 源。此圖案5 0可以一依據Bay er圖案所配置之彩色濾光片 實施，例如濾光並依據圖案配置提供光線。此圖案5 0至少 包含一具有複數個紅R、綠G、藍B元素之西洋棋盤圖案。 典型上，此紅R及藍B元素/平面如圖三a所示係為一方 塊圖案。如圖三b所示，此綠G元素/平面通常為一非方塊 圖案52配置。因為大部分的壓縮演繹（例如JPEG格式）典型 上是在Y C bC急彩空間之方塊圖案中進行壓縮。本發明之實 施例將非矩形G-平面圖案52重新編排或對映為圖三c之矩 形G-平面圖案54。換言之，若非方塊G-平面圖案52中之綠 色G元素標為G〇fG31’然後重新編排元素G〇i、Gi〇、及G30 以得到圖三c之矩形G -平面圖案。此步驟可在圖二之方 塊32(例如）中進行。 接著，方塊G-平面圖案54之資料可以藉由圖二之方塊 3 2 - 3 8壓縮及解壓縮以得到圖三d之方塊圖案5 6。此圖案5 6

508940 五、發明說明（7) 至少包含圖三c之方塊G -平面圖案5 4的大部分資料^ 部），並且標示為圖二d之g Q(r g 3元素。圖三ε顯、示(〒非全 案56之重現形態的非方塊圖案58，其中Sn1、σ/、S?三d圖 1 ^ 01 g 1〇" g Τξ 餘 此再 元素（表示原先之G 01、G 10、G 2及G 3死素）係再對映 §3〇 存於其原始位置。圖二之方塊4 0可於解壓縮後執彳=再 現〇 於傳統壓縮演繹中’ G-平面通常是壓縮成Yc /『空間之 _度頻道，且級B-平面資料分別被壓縮成C j c在度頻 道。若未處理RGB資料係未轉換即直接施以壓縮運算，壓 縮產物的形式中會有大量的影像於解壓縮時變差。 胃 因此，本發明之貫施例的另一種對映技術係著重於在 f縮運算之前將非方塊G-平面資料對映於或是重新排列成 :重方塊G-平面資料。特別是請先參閱圖四a，RGB彩色圖 ，5〇中之綠G元素被標示為G^hi。在圖四b之圖案6〇中， f水平及垂直軸具於偶數位置之綠G元素/像素gq1、 2及GZ1，以及在水平及垂直軸於奇數位置之綠g元素/像素 1〇、Gu、G3及G3對映於個別之方塊G_平面。，此 素/像素Gfll、Gz及對映於 方 =乂2,且綠?素/像素Gi〇、％、對映於圖四 平5 T: : Ϊ !二此兩個別方塊G-平面(標為G平面#°及G 面#1)之對映可在圖二之方塊32中進行。

第10頁 508940 五、發明說明（8) 然後以方塊3 2 - 3 8對這些奇數及偶數G平面進行壓縮及 解壓縮為個別的平面、圖四e-四f中圖號為gQ(rg31^圖案 6 6-68。在壓縮之後，以方塊4 0轉換（改變）此兩方塊G平面 # 0及G平面# 1的位置或是重新對映，以大致上產生圖四g所 示之一原始單一非方塊G平面圖案7 0。因為此兩個別方塊 G-平面（沿著方塊R及B平面）分別被施以壓縮運算，所以可 以徹底地減少影像衰退，同時保留更多的原始色彩内容。 圖五係顯示一可實施上述方法及前圖之過程的影像感 測系統8 0。初始，習知方法（例如圖一所示）的色彩變更、 影像增強及資料壓縮一般是以特殊硬體完成。更如圖一所 示，解壓縮典型是以一主機電腦及/或軟體完成。 相反地，圖五之影像感測器系統8 0的實施例包含進行 ' 壓縮之硬體，此硬體較先前技術色彩變更及影像增強之所 _ 需硬體簡單許多。此硬體可降低複雜度及尺寸。並且，因 為本發明之實施例直到資料存於主系統（例如在圖二之方 塊3 8解壓縮後）才將色彩轉換反轉成一標準色彩空間，所 以可以主機電腦及軟體進行色彩轉換。類似地，方塊4 4可 以主機電腦及軟體進行影像增強。此整體可節省所需之特 定硬體同時改善所得影像之品質。 此影像感測器系統8 0至少包含一影像感測器陣列8 2。 此影像感測器陣列8 2包含複數個光感元件，其沿著圖案 508940 五、發明說明（9) (例如獨三a及圖四a之RGB彩色圖案50)中一或多個彩色濾 光片配置。來自此影像感測陣列82(對應於RGB彩色圖案50 中之不同色彩）之線性訊號被送至感測器讀取結構8 4。 然後此感測器讀取結構8 4藉一或多條線由耦合至一重 排/重對映單元8 6，以便使該重排/重對映單元8 6可接收複 數個對應於R、G、B平面彩色影像資料之輸入訊號（例如 RGB未處理資料）。此重排/重對映單元8 6以例如圖三c、四 c及四d之方式對G平面元素進行一重新編排或是重新對 映。隨後，所記錄之資料被送至一使用任何已知適當運算 法之壓縮單元8 8以及伴隨之硬體以壓縮此記錄之彩色影像 資料。在一實施例中，此重排/重對映單元8 6與此壓縮單 元88可至少包含一或多個數位訊號處理器（DSP)單元。 依據一實施例，此影像感測器陣列8 2、感測器讀取結 _ 構84、重排/重對映單元86及壓縮單元88係位於單一之積 體電路晶片9 0上。在另一實施例中，這些元件之一或多個 並非位於此積體電路晶片9 0板上，而是位於其他晶片上， 或是作為影像感測器系統8 0之個別元件。因此，本發明之 實施並不限定影像感測器系統80中元件之特定位置。 壓縮單元8 8所壓縮之彩色影像資料可儲存於一儲存及 /或傳輸單元9 2。此儲存及/或傳輸單元9 2可至少包含任意 種類之機械可讀儲存媒體，包含（但不限定）隨機存取記憶

第12頁 508940 五、發明說明（ίο) 體、軟式磁碟及硬式磁碟…等，與對應之處理，通訊及使 儲存之資料可取回及傳輸至影像感測器系統8 0中之其他元 件的傳輸硬體。 隨後一主機電腦9 4 (或軟體）可 或傳輸單元9 2之資料。此主機電腦 (包含一處理器）及軟體（圖五僅顯示少數）。在一實施例 中，此主機電腦係分離於積體電路 例中，此主機電腦9 4之一或多個元 處理儲存於此儲 9 4至少包含不同 存及/ 的硬體 晶片9 0 ’且在另 件可為積體電路 實施 之内建（ο n - b 〇 a r d)元件。在再另一實施例中，一分 械可讀儲存媒體可具有一組指令， (未顯示）執行時進行各種過程及上 明之實施並不限定主機電腦9 4中硬 置(或執行位置）。 其當被一或多個 述運算法。因此 體元件及軟體之 晶片90 離之機 處理器 ，本發 特定位 此主機電腦94包含兩者均可嵌於一軟體中之解壓縮單 元9 6及一重建單元98，以執行前述之解壓縮及重現。若轉 換將被執行（例如由RGB空間變更為YC bC r空間），一色彩矩 陣及轉換單元1 〇 〇以已知技術執行此轉換。可以一輝度訊 號處理單元1 0 2取回所得之Y輝度資料，及以一色差訊號處 理單元102、104取回所得之（：潰料及Cr資料。然後此色差 訊號處理單元1 0 4可產生一輸出訊號1 0 6，或是提供輸入至 一影像增強單元1 0 8，其可以執行影像之品質提升操作於 彩色影像資料。

第13頁 508940 五、發明說明（11) 總結來說，本發明之實施例可藉由在壓縮、壓縮及解 壓縮此彩色影像資料之前重排，然後將此彩色影像資料還 原為其原本之色彩圖案來提供改善之影像品質，轉換及/ 或影像增強可在彩色影像資料解壓縮及重現之後進行。如 此可保留甚多的原始影像資料。 本發明之上述實施例並非旨在將本發明限定於上揭形 式，且熟悉該項技藝者可以認知的是上述特定實施例、等 效改良均包含於本發明之範疇中。 可依據上述詳細說明進行這些改良。下列專利申請範 圍所用之字眼不應構成將本發明限定於說明書所揭之特定 實施例及專利申請範圍之限制。相反地，本發明之範圍必 須由下列之專利申請範圍（依據解釋專利申請範圍之文件 所構成）所決定。

第14頁 508940 圖式簡單說明 ， 圖式簡單說明： 本發明之非限定及非耗盡實施例將於往後之說明文字中輔 以下列圖形做更詳細的闡述，其中相同圖號除非特定係指 不同觀點之相同部份，其中： 圖一係一流程圖，用以說明已知的彩色影像資料處理及壓 縮； 圖二係一流程圖，用以說明本發明的彩色影像資料處理及 壓縮； 圖三a -三e係以一實施例說明以圖二之方法進行壓縮、解 壓縮及重新對映； 圖四a-四g係以另一實施例說明以圖二之方法進行壓縮、 解壓縮及重新對映；及 圖五係顯示可實現圖二-四之方法的影像感測器系統的實 施例。 影像感測器系統8 0 影像感測器陣列8 2 感測器讀取結構8 4。

第15頁 508940 圖式簡單說明 重排/重對映單元8 6 壓縮單元8 8 積體電路晶片9 0 儲存及/或傳輸單元9 2 主機電腦9 4 軟體中之解壓縮單元96 重建單元98 色彩矩陣及轉換單元1 0 0 輝度訊號處理單元102 色差訊號處理單元102、104 輸出訊號1 0 6 影像增強單元1 〇 8

第16頁

Claims (1)

1. 508940 91. ?. 24 年少：s _充 六、申請專利範圍 1. 一種彩色影像資料處理及壓縮的方法，至少包含下列步 驟： 對映一原始彩色影像圖案於一第一彩色影像圖案；壓縮 及解壓縮該第一彩色影像圖案之彩色影像資料；及重新 對映解壓縮之彩色影像資料於一大致與該原始彩色影像 相同之第二彩色影像圖案。 2. 如申請專利範圍第 1項之彩色影像資料處理及壓縮的方 法，更包含將上述第二彩色影像圖案之彩色影像資料由 第一色彩空間轉換至第二色彩空間。 3. 如申請專利範圍第 1項之彩色影像資料處理及壓縮的方 法，更包含對上述第二彩色影像圖案之解壓縮彩色影像 資料進行影像增強之處理。 4. 如申請專利範圍第 1項之彩色影像資料處理及壓縮的方 法，更包含： 轉換上述第二彩色影像圖案之解壓縮彩色影像資料由 RGB空間至YCbC息彩空間；及 執行影像增強處理於YC bC惠彩空間之已轉換彩色影像資 料。 5. 如申請專利範圍第 1項之彩色影像資料處理及壓縮的方 法，其中上述使原始彩色影像圖案對映於第一彩色影像

   第17頁 508940

   圖案之步驟至少包含：將上述原始彩 塊彩色平面圖案資料重新排列為一心像圖案之非方 資料。 ”、万塊狀彩色平面圖案 6·如申請專利範圍第1項之彩色影像資粗 法，其中上述使原始彩色影像圖案對映於方 圖案之步驟至少包含：將上述原妒 知色衫像 個非方塊彩色平面圖案資料重新二=== 面圖案資料。 万塊狀衫色平 7 ·如申請專利範圍第1項之彩色影像資粗 ^其中上述使原始彩色影像圖;=方 圖案之步驟至少包含：將上述原始 /色衫像 個非方塊狀彩色平面圖案資料重排案之複數 方塊狀彩色平面圖案資料，上數個 及解壓縮該複數個方塊狀彩色平面圖案資料! 土壓縮 種彩色影像資料處理及 壓縮的方法’至少包含下列步 方i::ί非方塊彩色影像圖案之彩色景“象；使該非 壓縮ϊ二n案對映於一大致為方塊彩色影像圖案； 料；及、、*亥大致為方塊彩色影像圖案之彩色影像資 重新對映解壓縮之彩色影像資料於-大致與該非方塊彩 91. 7. ? 508940 I „* * ^ y 六、申請專利範圍 色影像圖案相同之另一彩色影像圖案。 9.如申請專利範圍第 8項之彩色影像資料處理及壓縮的方 法，更包含將上述另一彩色影像圖案之彩色影像資料由 RGB空間轉換至YCbC惠彩空間。 1 0 .如申請專利範圍第 8項之彩色影像資料處理及壓縮的 方法，更包含執行一影像增強處理於上述另一彩色影 像圖案之已解壓縮彩色影像資料。 11.如申請專利範圍第 8項之彩色影像資料處理及壓縮的 方法，其中對映上述該非方塊彩色影像圖案於一大致 為方塊彩色影像圖案至少包含：將上述非方塊彩色影 像圖案之複數個非方塊、彩色平面圖案資料重新排列 為對應之複數個方塊狀、彩色平面圖案資料。 1 2. —種影像感測器系統，至少包含： 一影像感測器單元，用以產生排列於第一彩色影像圖 案之彩色影像資料； 一重排單元，耦合於該影像感測器單元，用以對映該 第一彩色影像圖案至一第二彩色影像圖案； 一壓縮/解壓縮單元，耦合於該重排單元，用以壓縮 及解壓縮接收自該重排單元之該第二彩色影像圖案的 彩色影像資料；及

   第19頁 508940 m· 修正 年月日、 補无 六、申請專利範圍 一處理器，用以使該第二彩色影像圖案的解壓縮彩色 影像資料重建為大致與該第一彩色影像圖案相同之第 三彩色影像圖案。 1 3.如申請專利範圍第1 2項之系統，其中上述處理器至少 包含一主機電腦之部份，該主機電腦至少包含： 一重建單元，反應於該處理器以進行該解壓縮彩色影 像資料之重建；及 一轉換單元，用以轉換上述第三彩色影像圖案之彩色 影像資料由第一色彩空間轉換至第二色彩空間。 1 4.如申請專利範圍第1 2項之系統，更包含一影像增強單 元，用以執行上述第三彩色影像圖案之彩色影像資料 之影像增強。 1 5.如申請專利範圍第1 2項之系統，其中上述影像感測器 單元及上述重排單元係位於同一積體電路晶片上。 1 6. —種儲存以一或多個處理器執行之指令的機械可讀儲 存媒體，使該處理器造成下列步驟： 對映一原始彩色影像圖案於一第一彩色影像圖案； 壓縮及解壓縮該第一彩色影像圖案之彩色影像資料； 且 重新對映已解壓縮之彩色影像資料於一大致與該原始

   第20頁 508940 L.J 六、申請專利範圍 彩色影像相同之第二彩色影像圖案。 1 7.如申請專利範圍第1 6項之機械可讀儲存媒體，其中上 述指令使該處理器更造成： 轉換該第二彩色影像圖案之彩色影像資料由第一色彩 空間至第二色彩空間。 1 8.如申請專利範圍第1 6項之機械可讀儲存媒體，其中上 述指令使該處理器更造成： 執行影像增強處理於該第二彩色影像圖案之已解壓縮 彩色影像資料。

   第21頁