TW456153B - A new scaling algorithm for efficient color representation/recovery in video - Google Patents

Description

五、發明說明（1) 發明背景 1. 發明領！ ίΛ i η—般性地與影像處理有關。更詳細地，是I n 的縮放與色彩的添加/回復有關。 是與景Μ象 2. 祖_關技^藝之描诚 习二%境的數位影像通常有特定的尺寸，此尺寸β =戶包含像素（一個色彩/強度的個別點）之列 = 因此，影像的尺寸(或"解析度"）是以行數仃乘數來 擁有768達#如’―個解析度為768 Χ 576的影像，代表ΐ 行、576列的像素，亦即，擁有442, 368個像寺’、 w所!ί ί疋應用時，攝影機或是稍後會提到的那歧麥傻® 拍攝到的原始影像尺寸通常都嫌太大。雖然解=象f 的影像内含較多的影像資訊（每塊區域擁有較多又較 頻赏，可比：解析度之影像在視覺上更具品質，但是由於 用較柄ί憶體或是其他方面的限制，可能使得我們/口妒估 採用較低的解折是數位照相機)會希望 低裝置的整體Ϊί ϊ:置中储存元件的用*’從而降 會定義=以準=，在視訊會議的相關設計中，： 接收與傳送點就不需要去關心影傻尺； ;致的問題。在視訊會議中，通常/希寸不 率，通常會將格ϋ二輸出之速率）。為維持此圖樞 a傢的尺寸為小，特別是那些由數位照相

第4頁 45 615 3 五、發明說明（2) 機所拍攝到的數位影像。因為應用時所希望的影像解 可能與原始影像的解析度不同，所以會使用到影像縮故度 處理。如果影像是被”上"縮放，代表其尺寸增加；如果= 像是被"下"縮放，則代表其尺寸縮減。從現在開始厂 將只注意”下"縮放，亦即尺寸縮減的問題。 門 影像的縮減與影像的切剪是不一樣的，影像的切努是r 切掉影像的一部份來達到降低解析度的目的β影像的缩、 雖然也是使影像的尺寸變小，但是其會將縮減前影像(-此 後，我們除了會稱”縮減前"影像’也會稱之為，，原始（” 像）中絕大部份的景像/環境給保留住。原始影像中的景ν 依然完整，只是在經過縮減後，是以較低的解析度表 已。 _ 有好幾種方法可達到影像的縮減，最常用的技術 特定影像區域中之像素，以等權值的方式予以平均 容' 生，減影像之像素，然後再將該區域中之像素全部"殺 或疋丟掉。該平均像素將會取代一整個區域的像素，而 取代區域不一定要與先前作平均的區域相同。舉個 这 考慮二個2 : 1之縮減程序，其中，原始影像中每個二乘二 之區域都會被一個縮減影像像素所取代。當我們決 縮=像像素的值之後，可能會希望與-個較該2乘2 =: 區域為大之，譬如，隔壁的3乘3區域中的像素一 ' 如果是這種情況，那麼我們就稱"取樣,，區域 :於。 '缩二區域(2χ2)，這對於確保更多的影 縮減區域以及過去縮減區域流失的特性加上正確^=更將

第5頁 45 6 1 5 3 五、發明說明（3) 可能是有用處的。不過，這個將取樣區域 權值的方式予以平均的方法，在 母個像素以等 最主要的是，卩等權值來平均像素：不足之處。 影：有關之資訊1為等權值平均法對影像始 像素都-視同仁的處理，之後再全數摒棄，中:：的 5忍影像的特性方面，著墨地很少^ 確 除了影像縮減之外，為了希望將影像感測器在 時所丟掉的色彩予以還原（以下會說明），我們還會使用二 種通常是與影像縮減分開執行，稱之為色彩加添之 理技術。在數位照相攝影機以及某些其他影像裝置中y，厚 的影像首先會被表示成矩形的像素列與像素行，而其中 每一個像素則僅只擁有一個特定顏色的強度值。在RGB (紅，綠’藍）次取樣影像裝置中，其是依"拜爾"圖案形式 來取得以及儲存影像。當我們用濾色陣列（CFA)來次取樣 三種顏色面時’此拜爾圖案的特徵是，影像中的一列是紅 與綠的交錯’而另—列則是藍與綠的交錯。譬如，拜爾圖 案的前四列像素（每一個像素典型地是一 8位元數值）排列 情形如下C第四列以後之情形則是此圖案的重覆）： GRGRGR -BGBGBG ··· GRGRGR-BGBGBG …

第6頁 5 6 15 3

五、發明說明¢4) 、其結果是 > 每一個像素位置上所包含的僅是一種顏色成 份之強度值。假設’（雖是假設，但這也是某些影像裝置 的真實情況），此拜爾圖案的每/個像素具8位元之解析度 (亦即’此像素代表該顏色之強度範圍可從0至2 55 )，那 麼，一個n全彩"的像素—即三種顏色成份R，G , B均擁有之 像素，就會是一個24位元之數值。色彩加添就是，將每一 個像素其所失去的另兩個顏色成份添加進去。 縮減與顏色加添通常是獨立執行，分開處理的。如果影 像的縮減是在顏色加添之前執行，那麼在輪到做添加處理 時，我們將會對那些原始由感測器所得來，與色彩内容有 關之資訊一無所知，而使處理過後的影像品質變差。然 而，如果在末端影像有需要縮減與顏色添加此二者之處理 時，就有必要擁有—個可同時執行兩者之組合技術。另 外，傳統縮減與顏色添加技術所會產生的缺點，也應該在 :計該組合技術時予以克服，以便產生可接受的影像品 % ° 施另：如關=…，如果縮減是用硬體的方式來實 施，#如，用CMOS (互補式金氧半）影像驻 縮減程序的運算複雜度就變得非常重 \ ^兮― ATS ^ ^ ^ ^ ^ ^ 特別是當該裝1 仍需執仃#多其他功能的時候。當影傻 合今步植3 m 1 ^ 1冢裝置在為實行視訊 會《義來傳送影像圖框（一序列的單f貞靜μ W ώ , _ 、耶止圖像）的時候，此 傳达的速度必須要快到符合圖框率， ^ ^ ^ u* » , _ 、a 亚且要相容於影像裝 置與處理裝置C電腦系統）間介面的頻赏 貝見各量；該處理裝置

第7頁 456153

五、發明說明（5) 負責將該補捉到的影像圖框予以包裹並傳送至目的點。 於具雙模式-即可同時提供動態以及靜態影像之裝置而對 言，其也會需要可輕易提供出可互換的不同層級缩$ 法與裝置。 ' , 方 發明摘要 所揭示之方法包含：在CFA(濾色陣列）中指出縮減區域， 起始位置’然後產生該縮減區域下縮版本之超像素談7 像素被添加成全彩；該縮減以及色彩添加是以敕 =超 一併完成。 式 圖示之簡要說号 本發明方法與裝置之目的，特性以及優點，將會從下 的說明中得知，其中： < 列 圖1是本發明之用以執行4 : 1縮減之具體實施例的流 圖。 '王 圖2是至少依本發明之一具體實施例來進行縮減之 的CFA區域。 ，x 圖3(a)-3(c)是濾色器罩幕應用於該CFA區域之紅次影 的各個階段。 / 圖4 ( a )是使用罩幕後所得到的4 : 1縮減影像超像素中 紅色成份。 ’ >圖4 ( b )是使用罩幕後所得到的4 ‘ 1縮減影像中超像 藍色成份。 μ ， 圖4(c)是使用罩幕後所得到的4: 1縮減影像中起 綠色成份。 々1冢素的

第8頁 五、發明說明（6) 圖5是本發明具體實施例之方塊圖。 圖δ是本發明具體實施例之系統方塊圖。 之詳細說明 參考附圖’現在來說明本發明之具體實施例。此示範用 之具體實施例是用來說明本發明之樣貌，不應以此為限 。本具體實施例主要是以方塊圖或流程圖來說明。關於流 程圖’其内所包含的每一個方塊代表的是用以執行該方法 步驟之方法步驟以及裝置元件。相對應的裝置元件可以將

之規劃為硬體，軟體，韌體或是三者的組合，全視要如何 實施而定D 圖1是本發明用以執行4 : 1縮減之具體實施例的流程圖。 描述於圖1之技術乃是專門地應用在以六（濾色陣列）形式 之影像上，這種形式之影像得自於，譬如，一個影像感測 器或是一組影像感測器。拜爾圖案（說明如下並示於圖2) 是CFA通用之圖案形式，其陣列之每一個像素位置中只存 放紅（R)、綠（G)、藍（b)三種顏色中之一種。每一個紅或 色像素都夾雜著綠色像素。咸信這種每個像素都僅只與 二種顏色（R，G，B)中之一種相關的配置，已足以表現出 全’’彩’而真正的全彩像素，其實是三種色彩成份_R，G， β均有包含之像素。 根據本發明之具體實施例，首先，必須在CFA中定出一 個初始位置（步驟11 〇)。此位置將確立取樣區域與縮減區 域的起始點。譬如，第一塊4 χ 4縮減區域之起始位置是位 在行1 ’列1之紅色像素（R11)(看圖2)。對於一個4:1之縮

第9頁 456彳 53 五、發明說明（7) 減’我們會運用適當的濾色功能於每一個次影像（顏色平 面）區域上’以便做出R、G和b三種顏色成份均有包含在内 之"超像素"’此"超像素"會取代CFA之待縮減區域，而使 影像得以縮減。圖3 (a )所示的是一個運用在紅色次影像上 之矩陣（11罩幕此紅色次影像開始於像素Rn ,而運用 此矩陣於紅色次影像上的目的是為了要得到第一個超像素 XI1之紅顏色成份。使用三接頭濾色器來製作該罩幕，所 以次影像中總共會有32，9個像素位置落在此罩幕的取樣 區中。隨後再將罩幕所取得之乘積值（示於圖4(a))全部相 加（步驟125)以還原出此4 : 1縮減影像之超像素其紅顏色的 成份。該總和值的取得可以在濾色期間，每得到一個乘積 值的時候就予以累計，依次而完成；也可以先將乘積值分 開儲存，待稍後九個都得到後，再一起相加。接下來，為 了要得到可以代表該縮減影像素紅色成份之強度值，整個 罩幕運算後的結果必須予以歸一化（步驟1 30)，亦即，必 須將該罩幕結果除以該罩幕之總權值數。根據步驟1 20， 藉由圖4(a)，4(c)與4(b)之罩幕，濾色行為將會發生而可 分別地得到超像素的R，G和B成份°此三種顏色成份可同 時地或依序地決定出來，此取決於設計時之需要。看圖 4 (a)所示之罩幕情況，可知該除數會是1 6 (罩幕所有係數 的和）。該歸一化後的罩幕結果代表的是縮減影像中超像 素之某成份顏色，至於顏色種類則是與其取樣之次影像的 顏色種類相同。如果處理的位置是初始像素位置’那麼第 一個此種歸一化之罩幕值將會是縮減影像超像素X1 1之紅

O：V59\59808.PTD 第ίο頁 4561 53 五、發明說明（8) ' --- 色成伤Rx 1 1。此歸一化之罩幕值隨後會被儲存在縮減影 列Γ/'驟】4〇)。此時，原始的CFA像素還不能完全地 、 為當我們在決定下一個縮減影像像素時，會重新

ί=:—部份。用以得到第-個超像素紅：成：K 一 （a))其取樣區域包含到像素ί?ϊ5 ^因為該濾色 頭之濾色器，所以用以得到超像素中某成份 素除L包含縮減區域r還額外多包含了-列 :去，口不過二，·色以及藍色成伤的取得也是用類似的方 :。二以:1分別是根據圖4(c)與4(b)所示之罩幕取 二中挑一出下種成份都得到之後，本技術就會在 CFA中挑出下一個起始位置，此位置會是下一 之起始位置（步驟1 5 〇)。如果缩減卑 ，品域 p哩计曾+ * 7,本跑 咸如像中所有的超像素都 已I彳^出來了（步驟16〇)，即可將此縮 部 時進行之程序視為完成。如果尚有未計曾去 同 選起始位置之步驟12。至150會不斷地c所 個超像素（的成份）。 復以决疋出一個 圖2是要按照本發明之至少— 之原始CFA區域。 個具體只施例來執行縮減 圖2所示之CFA可以被視為其包 -紅⑻，綠⑹與藍⑻。屬於或是伴同的顏色平於 我們標之以"R"字首，而伴隨藍 处紅色平面之像素， "B"字首。同樣的，伴隨綠色平面 =像素，則標之以 字首，圖案CFA有—個特徵 素，則被標之以”G" 色平面之像素是隔著~列與— 者，那就是不同顏 父又出現的。所以’給定 156153 五、發明說明（9) 了 一個起始像素位置後，要抽取或取得次影像中與起始像 素顏色相同之像素是很容易的；只要先從與起始位置所在 之列開始，每隔一行取一次，待此列完成後，再跳到下列 繼續重覆相同的程序，乃至於第三列…。圖2所示之以八， 代表的是由數位照相機或其他感測器系統這類的影像裝置 所得到的原生影像資料。 傳統的縮減技術並不執行任何色彩型式之加添。因為這 類技術並不是針對拜爾圖案形式之輸入影像，而是針對每 個像素岣包含全RGB色彩資訊之輸入影像所發展出來 ^克a個平均以及/或是摒除之技術，其將原始像素平均 ί ^棄的作法，對全彩像素影像可能是沒有問題的，但若 法直接應用到⑴形式之影像上就會發生問題。 枯卞歹、：一個可提供出2 : 1縮減影像功能之平均法縮減 秋而，因A卷加平均*然後將此平均值取代原R11值。 ;(明二4 ί;個像素包含著不同的色差(色彩)資訊與輝 ⑴這兩個綠色像素主要包二均是法二…^ 則主要地包含色差資訊。V縮二度，訊’而Β22與R11 種將此四個顏色面予以混八^ = 之忒點像素疋以妒 紅色資訊就會被破壞杻曲：5而得到&，那麼該點的

或B像素上，同樣也會造成J種的’右气將平均法用在G 起，而破壞了原先内含於相之資訊都混在一 差)。相類似地，在縮減：，=/=(譬如，色 k種很喃皁地就只是把G2 1，

456153 五、發明朗⑽） ~~ ' G12，G22予以丟掉（去除）之蠻力縮減方式，甚至會破壞更 多之影像資訊，而會使得CFA在縮減後基本上已無法使用 像色彩加添這樣的技術來轉換成全彩影像了。

本發明之一具鱧實施例特將一種罩幕獨立地使用於每一 個顏色面次影像，然後再將罩幕所得的結果組合成一個單 —的超像素；如此可同時完成尺寸縮減與色彩加添以克 服上述之CFA影像所產生之障礙，以及提高轉換與縮減的 ，率該；慮色器可先以列方向施用於次影像區，然後再在 仃方向上施行一次。當我們欲以此方式施行時’該濾色器 將構形出-係數矩陣（—罩幕）’而次影像區域之像素強度 值矩陣會與此係數矩陣作點相乘。我們會以示於圖1之罩 幕的權值來歸一化該點相乘的最終數值（亦即，所有罩幕 乘積的和）。此歸一後的數值即為超像素的 (R，G，B)之數值。 Λ W 適4 : 1縮減之"縮減"區域（圖2中以實心邊界所框之區 域），是由一4X4之原始CFA像素區域所構成，區域中之像 素在4:1縮減的情況中，會被轉換成縮減影像超像素，或 是在2:1縮減的情況中，被轉換成4χ4 CFA區域。根據本 發明之一具體實施例’罩幕會施用到每一個顏色面次影 像，以決定出縮減影像超像素的所有成份（三個成份）。取 樣區域-即為會被罩幕取來作轉換用之像素數目，會大於 縮減區域。譬如’如果要決定的是4 : !縮減影像中超像素 XII之紅色成份RxU，那麼，我們將會施用一個3χ3之罩 幕於紅色像素im，R13，R15，R31，R33，R35 ,R5i 456153 五、發明說明（π) 與Κ55。相同地，縮減影像超像素XI 1之綠色成份Gx 1〗是以 施用一個2乘4之罩幕於原始CFA令之綠色像素G12，G14 , G21 ’G23，G32 ’G34 ’G41與G43而決定出來的。是故，我 們可看出’取樣區域較縮減區域為大。這種取樣區域較縮 減區域為大的現象將導致取樣的重疊，縮減區域中同一個 次影像像素有的會被再次取樣，稍後會提到，較之於傳統 的縮減技術’這種方式有助於更正確地偵測邊緣特性。 若是如此做，每一個縮減影像超像素Xi 都具有三個顏 色成份Rx 1 j，Gx 1 j以及Bx i j。一個4 : 1之縮減影像是由一個 個超像素Xi j所構成，每一個超像素取代掉一個原始中 之4列與4行方塊縮減區域。所以，如果原始CFA的尺寸為μ 乘Ν，那麼，一個4:1縮減影像的尺寸將會是μ/4_/4是 Μ*Μ/1 6。它的優點是，每一個縮減影像超像素將會擁有全 彩的資訊，而沒有必要再實行色彩加添步驟。 圖3(a):3(c)顯示的是使用；慮色器於紅色次影像cfa區 域，以取彳于此區域之罩幕的各個階段。 的是—原始CFA中之紅色次影像區域。-個 9^^^^ _Λ cfa中並非連續接靠在域^個:色面次影像像素♦ V…影像是在原始:二 一個的方式所取得的（看圖2)。 心歹！以&仃取 如果根據本發明之呈讲 (1，2，1丨之二垃:體貫例，使用的是一係數為 二《色器並以水平的方式施於圖3 a之原

第14頁 456153 五、發明說明（12) 始次影像上（即該遽色器以跨於次影像列的方式施加其 上）’那麼其結果將會是示於圖3(：b)之乘積值陣列 幕）》如果該三接頭渡色器{1，2，1}現在再以垂戈 施加^該圖3(b)之結果陣列上，那麼將會得_ ^ 之罩幕。圖3(c)所示之罩幕是一組罩幕乘 ,^ 值：：：加在-起產生出-個值，然後再關於圖Γ:上所 述地將此值歸一化。 所 根據該最終之罩幕可知，該次影像 .R33) ^ ^ ^ f ί " 意到該次影像區域的非角落側邊像素（ c = 最後-列，第-與最後-行的位置)：：： = ! ” ’該中央像素在施加罩幕後其權值則是 預測，但是沒有一個像素可完：：：：=== 一個像素會像使用了傳統縮減;慮色器之像邊 =關聯性，在統計學上可保證邊緣特性 出來，不會被消除》因為具顯著視覺衝擊（ 常會通過至少多於一兩個像素(二楚可;^ "事貫疋相當正確的。就如圖4 (b)所示’用來彳e Sl丨p I «二藍色成份Bxu之…係數與圖3(c)罩幕“數是 樣的，所以它也可以用三接頭濾色器{丨 向施於次影像上之方式來取得。 圖4(a)顯示的是施用之用以取得4:1縮減影像中超像素

〇'A59\59SQ8.PTD 第15頁 4561 53

五、發明說明（13) 紅顏色成份之罩幕 回去參考圖3 ’我們將一個上述之二 列方向施用於取樣次影像，然後再以—色器首先以 方向施用後的結果。藉著運用這個於：：：施用於剛剛列 濾色操作而得到之罩幕，我們可以^象取樣區域執行 其成份的強度心為方便起』二==超Λ素 :始最左上角之：素的列數為Μ，行數為中取樣二域 我們將列數與行數之間以逗號隔開。圖4(3)所=: 決定超像素Xij紅色成份之罩幕。譬如，參考圖2，縮減斧 像超像素XII的紅色成份RxU是由圖4(a) / 將示於圖4⑷中之各罩幕乘積值加在一起就軍可 單一 數值a因為m中之每-個像素通常是_組強度解析度， 典型地為一8位兀（0至255)之數值，所以該各罩幕乘積值 的和必須予以標準化為8位元數值。這只須將該各單幕乘 積值的總和除以罩幕係數的總和就可以達到。因為罩幕中 係數為4的有一項，係數為2的4項，另有4項係數為！，所 以圖4 ( a)罩幕之總”權值”（即為這些係數的總和）為〗6。所 以’ Rx 11 ’這個縮減影像超像素X u之紅顏色成份，它的 值就應該是 [R1H2*R13+R15+2^R31+4*R33+2*R35+R51+2*R53+R55] / 1 6 (注意’在此表示式中’原先用以隔開列數與行數之逗 號已被移去）。相同地’計算下式就可以得到化丨2，這個 縮減影像超像素2之紅顏色成份（看圖2 )(其縮減區域之 起始位置為R15，即M = 1，N=5):

0:娜9808.PTD 第16頁 456153

[R15+2*R17+R19+2*R35+4*R37+2*R39+R55；2*R57+R59]/ 從該等罩幕係數在取樣區域的分佈可看出，取樣區域中 之中央像素與角落像素，二者在縮減後影像中之顯示份量 或相對的涵蓋量’僅只差四倍而6。因為當中沒有一個像 素被賦予過度的加權’ ~以這對邊緣㈣測是很有幫助 的；並且也與直接平均法不同的是，其對中央區域内更重 要的地方可有更良好的涵蓋β 圖4(b)之罩幕可用之以獲得縮減影像中超像素之藍 色成份β 用以取得縮減影像中超像素Χ藍色成份8之罩幕，與圖 4 (a)之罩幕相類似’其中該罩幕陣列之係數分佈是—樣 的。不過’罩幕中之取樣像素卻與圖4(a)之完全不—樣， 圖4(a)的成員屬於紅色次影像區，此處的成員則是屬於藍 色次影像區的。藍色次影像區取樣區域的起始像素是原始 CFA中之B22(看圖2) 〇從此位置B12開始，我們會以相同於 圖3(a)至3(c)之對待紅色次影像那樣的方式，再將一三接 頭之濾色器’垂直地與水平地施用於該藍色次影像。最終 之罩幕示於圖4 ( b)。就如得到紅色成份rx 11那樣，將該暑 幕乘積值都加起來，然後除以該罩幕之總權值（1 6 )，則藍 色成份可得。回去參考圖2，4 : 1縮減影像超像素X的藍色 成伤就疋由此程序而產生。再一次地’假設待縮減區域之 起始位置為（Μ ’Ν) ’藍色成份匕1 1 (屬於超像素XI1的）以 及Βχ12(屬於超像素Χ12的），它們取樣區域的起始位置分

O:\59\59S08,PTD 第17頁 456153 五、發明說明（15) 別為M=1，N=1以及M=1，N = 5。此二成份由下式計算而得： Βχ11=[Β22+2*Β24+Β26+2*Β42+4*Β44+2*Β46+Β62+2*Β64+ B66]/l 6

Bx12=[B26+2*B28+B20+2木B46+4*B48+2*B40+B66+2*B68+ B60]/16 其中"0"代表的是CFA之第十行。 圖4 ( c)之罩幕可用之以獲得4 : 1縮減影像中超像素之綠 色成份。 針對母一個縮減影像令之超像素 如以上所述的一 χα j，都必須產生屬於它的紅色成份匕丨j，綠色成份Gxi j， 以及藍色成份Bx i j ^本發明將縮減與顏色加添操作合併 行於一MxN CFA影像上，使該影像成為具1/4尺寸之全彩 影像。在具拜爾圖案之CFA中，我們可看到紅色與藍色像 素是交錯著列地出現，但綠色像素 紅色或藍色像素的量是綠色像素的兩倍：：色 一 > „ 业且内3 5午多重要的有關影像"輝度"之 貧讯，’輝度丨丨資訊對在視覺 又之 為這些理由，圖4(c)r斤ίΐΐ!:該影像是报重要的。因 洛血駐s± 綠色罩幕與圖4(a)與4(b)之红 色，、k色罩幕比較起來，有很大的不同。 圖4(c)顆示只要8個星墓由+ * 而非9個。並且，组Ιίί:，產品即可獲得綠色成分， 稱，一如装/圖M f 產品之係數並非在罩幕中為對 私如其在圖4(a)及圖4(b)中所示。所以， 于 3(a)-3(c)所示之將據色器兩方 圖 製出圖4(c)之最終罩幕，蔣合欢现於汾像上的方式來 举將會發現這是很困難的。罩幕係

第18頁 ^56153 五、發明說明（16) 數的和依舊是16，但加權的對象集中於兩個像素上。 重新回去參考圖1，在超像素XI1 CFA取樣區域的中央位 置有兩個綠色像素，G23與G32。其他的綠色像素則被視為 在此區域中之邊緣/角落位置。該二中央位置之綠色像素 最有可能展現出該取樣區域之基本輝度資訊，所以，派給 匕們的罩幕係數為4。參考圖4(c) ’中央綠色像素GM + 1， N + 2以及GM + 2，N + 1的權值均為4。所以，超像素χη的綠色 成份Gxll可以表示成： [G12 + G14mG2H4*G23 + 4*G32 + 2*G34 + G41+G43]。相同 地’超像素X12的綠色成份gx12可以表示成二 [G16+G18+2*G25+4*G27+4*G36+2*G38+G45+G47]/16 。 另外須注意的是，以上所述圊4 (a )至4 (c )之取得影像像 素用之罩幕’只適於縮小4倍之用。像視訊會議這樣的動 態影像應用，通常所需要的就是四分之一尺寸的影像縮 減。在需要二分之一（即2 : 1 )縮減的應用中，上述之罩幕 程序就需做如下之修正。若是要做2 : 1之縮減影像，那戶‘ 原始未縮減C F A中之像素每兩列兩行就需映射（縮減）成一 單一縮減影像像素。此情況示於圖2，其中2 : 1縮減影像區 域的尺寸是原始CF A中待縮減區域的1 / 2。該大小以及乘^ 值的數目（亦即’取樣準則）就可能需要修正，也有可能^ 上述縮四分之一所用的準則相類似。如果希望 此/、 口 J 7^. {固 硬體做出之快速雙模式（2 ·· 1以及4 ·· 1 )縮減-通常視訊會 所需的就是如此，那麼，如果兩種模式有其各自β 5 幕，此將會是不利的。 $的罩

4 5 61 5 3

圖5是本發明具體實施例的方塊圖。 圖5是一影像捕捉裝置其内部的影像處理與壓縮元件之 方塊圖》感測器5 0 0產生像素成份，此像素成份為某影像 源之強度值。由感測器5 0 0所產生之m位元像素值會被送至 捕捉介面510。數位照相機中之感測器5〇〇面對一個，，感測„ 位置典型地僅只感測R，G，β三個成份中之一個。所以， 每—個像素的強度值僅只相關於三種顏色面/ (像素）中之 _種。捕捉介面51 0會將感測器所產生之影像予以捕捉並 附加上可用以確認各個像素其相關顏色的標籤。此種標箴 具有兩個位元，譬如，分別地是以〇〇 , 〇1 , 1〇以及η來代 表R(紅色）像素，G(位於偶數列之綠色）像素，G(位於奇數 列之綠色）像素以及B (藍色）像素。整個影像之像素纟且 CFA 。 、’ 不管我們使用的是那一種感測器裝置，通常都會有一些 位於感測器平面中之像素單元’無法正確地反應出光線狀 況。這也因而使得由這些單元所產生出來之像素值具有缺 的。這些像素稱之為"死亡像素"。該"像素取代"單元 515將會用每一個死亡像素其所在列之上—個有效的像素 來將之代換。 、

Ik機存取記憶體表5 1 6存有由感測器提供之死亡像素所 在的列行數。此隨機存取記憶體表5 i 6可幫助我們確認死 亡像素在該捕捉影像中之位置。縮伸模組525是一個以抬 頭表為基礎之轉換器，其將每一個由該感測器所捕捉到的 m位元（標為1 0 b)原始像素強度值，轉換成η位元強度值；

O:\59\5980S.PTD 第20頁 ^6153 五、發明說明（18) 其中m<n(典型地111=10，n = 8)o隨機存取記憶體表5 2 6是與 ，縮伸模組525連在一起的，以儲存此感測器之整個縮伸 表之用。所以，CFA中之每一個像素都將會是一n位元數 值’代表著三顏色面中之某一種顏色。 縮伸之後，就要使用縮減與顏色加添（SCI)單元5 27來縮 減該影像。如果原始影像的尺寸是ΜχΝ，那麼—個2:1縮 減之操作就會把影像尺寸縮減成Μ/2 χ N/2，而執行的若是 一個4:1的縮減，那麼影像尺寸就會被縮減至^4><!^/4， $過，無論是縮2或縮4，縮減後影像中的每一個像素均包 3 —種顏色成份。隨機存取記憶體表528是與SCI單元52? 連在起的，以可立即地將執行過縮減/顏色加添之像素 儲存起來 根據本發明之各種具體實施例，縮減單元5 2 7可有效地 同時執灯縮減與顏色加添。就如本發明之一具體實施例， 將一组罩幕施用於次影像（從某一特定顏色面上所挑選出 之像素）上且每-個次影像r，G，B均有一個罩幕，則該 縮減可成。因為該等罩幕是由係數（乘數）丨與4所構成 、，所以該等罩幕可以用位移暫存器來實現，其可左移給 定像素之強度值。 在本發明之一具體實施例中，需將罩幕乘積值相加在一 ，並予以歸化’以產生出縮減影像像素。該使用位移暫 存器與緩衝器之濾色器設計可以再加上一個 將每-行或列所得之乘積值加到一個累加器中。當9個(】 色的是8個）乘積值都累加完畢後，累加器的結果就可輸出

4561 53 五、發明說明（19) 至另-個位移暫存器，將4個位元右移出去—實際上就是除 以16，而此16值是為此三罩幕之罩幕權值。另外還有一種 方法，那就是將處理每一列或行像素後所得之乘積加在_ 起，然，歸一化。譬如，可將該三接頭濾色器的輸出通至 一加法器以便將乘積值相加。然後將此總和除以該濾色器 之接頭總和-此值將會是4 (i+2 + l)，而予以歸一化。此除 四之執行可藉著向右移2個位元（再一次地，使用的是位移 暫存器）來達成。每一個歸一化後之列或行結果，可予以 累加’並於整個取樣區域均已施用該濾色器後，將該累加 值再一次地予以歸一化。 SCI 6 27除了可以將該原始的CFA縮減4倍之外，也可以 將其縮減2倍。$於此藝人士可輕易地將上述之方法加以 修改，做出2 : 1或N : 1之縮減。使用上述之實施方式，可更 輕易地產生縮減影像資料來送至其他的如圖6中所示之影 像處理單元；因此’終將加快影像資料在匯流排5 6 0上之 傳遞速度’縮短該影像捕捉裝置之輸出時間。這對4 :1縮 減運算是特別地有利，這對必須維持圖框率之視訊會議是 很重要的。由於顏色加添是與縮減同時地執行，以致所產 生出來之縮減影像資料就已具全彩，所以該縮減影像的品 質也較傳統的4 : 1縮減影像為優。如果CFA中的每一個像素 均具η個位元’那麼縮減影像中的每一個超像素則都將具 3木η個位元-—種顏色成份佔η個位元。這些顏色成份值可 以連結在一起’並視情況分開傳送。我們可以將該由一個 接一個的超像素所組成之縮減影像資料，傳遞至壓縮單元

O:\59\59808.PTD 第22頁 456153 五、發明説明（20) 530以及編碼器535 ’以便將該縮減影像資料簡潔化，以及 編碼成易處理與可傳輸的區塊。然後，資料打包單元5 4 〇 會將該壓縮與編碼過之縮減影像資料包封在一起；並輸出 至直接記憶體存取控制器5 5 0 ’然後轉移至匯流排5 6 〇 ^匯 流排技術’定址協定以及直接記憶體存取控制器，在系統 設計範疇中已廣為熟知，我們可輕易地將之修改/特殊化 以使其功能符合我們之所需。 每一個隨機存取記憶體表516，52 6，528，5 3 2以及 5 3 4 ’都可以直接地與匯流排5 6 〇通訊，以便可以載入它們 的資料在稍後有需要時加以修改。另外，在有需要時， 我們可以將那些隨機存取記憶體表以及其他的隨機存取記 憶體表用來儲存縮減影像資料之用。雖然，關於縮減單元 527中之各個元件（選擇器，位移器，暫存器以及控制地址 k说），我們並未洋細地描述，但是習於此藝人士應有能 力輕易地實現此縮減裝置。由於可很容易且很有效率地同 時進行縮減與顏色加添，所以擁有可製造出高品質影像的 優點，而此經過縮減後的彩色影像，其對邊緣特性的保有 程度將較傳統只縮減卻未添顏色之技術的保有程度為高。 雖然我們只針對CFA形式之RGB來描述本發明，但其實本發 明可應用於任何排列成C F A形式之顏色，譬如，μ w Y (洋紅 色，白色與黃色）。 . 圖6是本發明之一具體實施例的系統方塊圖。 圖6中有一計算機系統610，它可以是任何—種通用的或 是特殊用途的計算機或資料處理機，譬如，Pc(個人電

O:\59V59808.PTD 第23頁

456153 五、發明說明（21) 月：算m機系统與攝像機630相連接。攝像機63 0可以 統或它們的組合體；== 捕捉裝置或影像系 到的影像會送到影像處理電咖處ί以S 有效率地將之儲存在影像記憶體單元6 體單元634可以是唯讀呓情俨， 匕〜像。己隐 错存裝置，譬如，固定磁/。儲憶體或是其他 巾t t ^ β ^ 碟儲存在影像記憶體單元6 34 中之衫像資枓會被送往計算機系統61〇，進行更進一 ，強，以使其可保有邊緣特性並進而使影像特性的損 =傳統那種縮減與顏色加添分開進行所致的損失。在 2份可執行靜態取像的數位照相機巾，是先將影像儲存 捕叔’稍ί f予以下載的。這讓攝影機630有辦法快速地 捕捉下-個物體/景像，而不致有額外的延遲。不過 =的若是數位攝影機，特別是要用作現場視訊會議的，吏 f，影像不僅僅是要能快速地捕捉進來，也要能夠 處理並自攝影機63 0傳送出纟；這是相當重要的。本發迷 之各種具體實施例都可以使顏色影像資料送往影像x理 路632其他部份的通量很高；如此，這些沒有執行顏色 色之影像框1整體傳送的速度才會高於傳統： 在本發明之此具體實施例中，影像的縮減與顏色 疋在影像處理電路632中執行的。在影像縮減/加添之^

456153 五、發明說明（22) ： -- 器612以及記憶體6Π(像是隨機存取記憶體）來將之解墨 縮，會用到s己憶體6 1 1是為了儲存/載入指令位址與最終資 =之用。另外還有一種具體的實施方式，那就是，用在計 算機系統61 0中跑應用軟體的方式來執行縮減/顏色加添， 而非直接地使用硬體。該從攝像機63〇下載，用以產生縮 減影像超像素之應用軟體’可能是由某種語言（像是c + + ) 所寫成之原始碼，在經過編譯後而得到之可執行檔。此拿 來縮減影像用之可執行檔之指令，可以儲存在磁碟618或 記憶體611中。習於此藝人士可輕易地將上述之同時對影 像進行縮減與加色之方法寫成程式。另外，本發明各種之 具體實施例，可以實施在有提供縮減與顏色加添功能之視 頻顯示轉接器或圖形處理單元上。 汁算機系統61 0具有系統匯流排6 1 3 ,以使資訊在處理器 2與記憶體611以及橋接線6 1 4間之轉移得以簡易而順 暢。該橋接線6 1 4則是連往輸出入匯流排6丨5。輸出入匯流 排615速接著各種輸出入裝置，譬如，顯示轉接器616，磁 碟6 1 8以及像串列埠這樣的輸出入埠6 1 7。許多這種輸出入 裝置’匯流排以及橋接線的組合都可以使用本發明，顯示 在此處的組合僅只是多種組合中之一種。 為攝像機630所捕捉到的影像（譬如，景像64〇之影像）， 會被送至影像處理電路632。影像處理電路632是由積體電 路與其他元件所組成，其可對捕捉到的影像同時執行縮減 與加色功能’以及一些其他的功能。此處所討論之縮減/ 加色技術’可以利用影像記憶體單元來儲存攝像機6 3 〇所

O:\59\59808.PTD 第25頁 456153 五、發明說明（23) 捕捉到的景像6 4 0之原始C F A。另外’同樣的這個記憶體單 元也可以用來儲存縮減/加色過後的影像資料。一旦所有 的像素都已縮減’處理以及轉移至計算機系統6 1 〇而顯示 出來後’該攝像機6 3 0才會去捕捉下一個影像β此具顏色 加添功能之縮減技術會使得攝像機6 3()好似一個色彩能力 勝於灰階之動態攝影機，縱使其構造並不及純灰階型攝影 機來得複雜。在使用者或有應用想要/要求下載影像時， 該已縮減並壓縮過的影像就會從其所在的影像記憶體單元 634中’轉移至輪出入埠617。輸出入埠61?則利用該匯流 排-橋接線架構（輸出入匯流排615至橋接線614至系統匯^ 排613) ’將該已縮減壓縮之影像資料送至記憶體61 1或磁 碟618中，作暫時性地儲存。 計具機系統6 1 2中會有適合的應用軟體（或硬體）將該壓 縮的影像予以解壓縮’我們可以使用處理器6丨2來執行該 軟體。接著，我們會使用顯示轉接器6丨6將該影像資料^ 換成可視的顯示/縮減彩色影像6 5 0。此縮減的彩色影像， 其尺寸小於當初所捕捉進來景像的原始尺寸。在許多不♦ 要原始捕捉影像尺寸的影像應用中，這種功能是必然所2 的。在視訊會議應用中，該具壓縮以及縮減形式之影像^ 料’可此會需要藉由網路或是通訊系統，與計算機系咬 6 1 0以外之其他節點（或計算機系統）通訊交流，以使視气 會議得以進行。因為’若依照本發明之—具體實施例， 該縮減與加色動作在攝像機中就已完成；所以，我們可1 在攝像機6 3 0中做一個通訊埠，讓該影像資料可以直接地乂

O:\59\59808.PTD 第26頁 456153

攸攝像機中傳輸至視訊會議的其他節點。每當計算機6 ! 〇 的使用者也希望在監視器δ20中看到自己的影像時，該已 縮減與已加色之影像資料除了會透過網路被送至其他的節 點之外，同時也會被送至計算機系統6丨〇 ^另外’可發明 之各種具體實施例也允許在有需要時實施一個有效率的縮 減用軟體。就如稍早所描述的，由於影像縮減處理技術增 進’且顏色加添又嵌入到處理程序中與縮減同時進行，所 以成縮減/加色後之彩色影像，其看上去的邊緣特性將較 傳統縮減運作所得之影像更精確β本技術最終所得的影像 結果-該顯示在監視器62 〇上或在進行視訊會議時顯示在真 他節點上之顯示/縮減彩色影像6 5 〇，其品質將高於傳統未 執行加色之縮減方法所得之影像品質，該傳統的縮減方法 會將加色這個工作留給其他影像處理裝置/程序（階段）來 做。 此處所述及之具體實施例僅只提供為說明本發明之原則 之用’本發明之範圍不應以此為限。而是’應該將本發明 之原則廣泛地應用在各系統中，以期享受到此述之各項優 點，或甚至更多其他的優點或同時滿足另外的目的。

a\59\59S08.PTD 第27頁

Claims (1)

1. 456153 六、申請專利範圍 1. 一種方法，包含 藉由在CF A (色濾陣列）中指出起始位置，以定義縮減區 域；以及 產生該縮放區域下縮版本之超像素，該超像素添加成 全彩；該下縮以及色彩添加是以整合的方式一併完成。 2. 如申請專利範圍第1項之方法，其中該CF A中之每一個 像素均只與三種顏色面中之一種有關。 3. 如申請專利範圍第2項之方法，其中該顏色面是紅 色，綠色以及藍色。 4. 如申請專利範圍第2項之方法，其中該CFA安排成拜f 圖案。 5. 如申請專利範圍第1項之方法，其中該下縮是4比1之 下縮。 6 -如申請專利範圍第3項之方法，其中每一個超像素具 全彩解析度，意謂該所有三種紅色，綠色以及藍色面，均 為每一個超像素所具有之成份。 7. 如申請專利範圍第1項之方法，其中該產生包含： 施用罩幕於一次影像區域，該次影像區域中之所有像 素，其顏色面均相同；以及 將該罩幕之結果歸一化，以形成該每一超像素之一 k 顏色成份，該顏色成份之顏色與該次影像區域相關。 8. 如申請專利範圍第1項之方法，_其中該罩幕被規劃為 幫助該影像區域之中央部份，然而卻維持其表現其他非該 中央部份所發生之邊緣特性的能力。

   第28頁 456153 六、申請專利範圍 9. 如申請專利範圍第2項之方法，其中該顏色面為洋 紅，白色以及黃色。 10. —種裝置包含： 一縮減與色彩添加整合單元，其被規劃為用以將每一 個均只與三種顏色成份中的一種有關之CFA(色濾陣列）像 素，轉換成下縮超像素，每一個超像素均具全該三種顏色 成份。 1 1.如申請專利範圍第1 0項之裝置，包含： 一連接至該縮減與加色整合單元之記憶體，其被規劃 為儲存該超像素之用。 1 2.如申請專利範圍第1 0項之裝置，包含： 一連接至該縮減與加色整合單元之影像感測器，該感 測器為該CFA提供拜爾圖案資料。 1 3.如申請專利範圍第1 0項之裝置，其中該縮減與加色 整合單元被併入一影像裝置。 1 4.如申請專利範圍第1 3項之裝置，其中該影像裝置是 數位照相機。 15. —種物件，包含一有指令儲存於其中之計算機可讀 媒體，當指令執行時致令： 藉由在CFA(色濾陣列）中指出起始位置，以定義縮減 區域；以及 產生該縮放區域下縮版本之超像素，該超像素添加成 全彩；該下縮以及色彩添加是以整合的方式一併完成。

   第29頁