TWI296482B - Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels - Google Patents
Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels Download PDFInfo
- Publication number
- TWI296482B TWI296482B TW094141197A TW94141197A TWI296482B TW I296482 B TWI296482 B TW I296482B TW 094141197 A TW094141197 A TW 094141197A TW 94141197 A TW94141197 A TW 94141197A TW I296482 B TWI296482 B TW I296482B
- Authority
- TW
- Taiwan
- Prior art keywords
- color
- interpolation
- image
- pixel
- value
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 38
- 239000003086 colorant Substances 0.000 title claims description 9
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000037431 insertion Effects 0.000 claims description 5
- 238000003780 insertion Methods 0.000 claims description 4
- 210000004209 hair Anatomy 0.000 claims description 2
- 238000004040 coloring Methods 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 13
- 230000003044 adaptive effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 238000005070 sampling Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000010606 normalization Methods 0.000 description 3
- 238000003491 array Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000005311 autocorrelation function Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000003014 reinforcing effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 235000012431 wafers Nutrition 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/403—Edge-driven scaling; Edge-based scaling
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
- H04N1/648—Transmitting or storing the primary (additive or subtractive) colour signals; Compression thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/843—Demosaicing, e.g. interpolating colour pixel values
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
- H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
- H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
- H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2209/00—Details of colour television systems
- H04N2209/04—Picture signal generators
- H04N2209/041—Picture signal generators using solid-state devices
- H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
- H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
- H04N2209/046—Colour interpolation to calculate the missing colour values
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Spectroscopy & Molecular Physics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
1296482 九、發明說明: 【發明所屬之技術領域】 本發明係有關於影像處理,尤指一種應用經隨機調整因子調整 後之〜像邊緣私示值來重建像素所缺色彩成份的色彩内插裝置與 色彩内插方法。 【先前技術】 於一影像擷取系統中,三種色彩成份必須同時地被擷取以便可 精確地表示出一影像的内容,而為了建構可同時擷取三種色彩成 份的數位影_取祕,往往需要使用三侧立的影像感測器, 如此一來,將造成生產成本過高以及使產品結構變得十分複雜, 所以’為了使-數位影像獅^制成核尺寸_最小化,該 數位影像擷取系統上的影像影像感測縛列(由複數個♦晶片所 構成)亦必須讓其尺寸減小,換言之,色彩取樣的個數便必須是 一個較小的數值。一種可行的方法係使影像擷取系統中每一影像 感測器僅收鮮-色彩的資料來產生具有低資料量的擷取影像, 所以,影像擷取系統-般而言便採用一馬赛克式彩色渡鏡(麵也 color filter),其中該馬赛克式彩色濾鏡又可被稱作彩色濾鏡陣列 (color filter array,CFA),因此,影像擷取系統便經由取樣三種色 彩成份之一所得到的色彩陣列來獲得一擷取影像,其中該色彩陣 列係對每-像素而儲存其所包含的單—色彩成份。由於影像感測 系統係忽略各像素的其他兩種色彩成份,因此,對於每一像素而 5 1296482 言,影像感測系統所獲取的原始感測資料便包含較少的色彩取 樣。由於彩色遽鏡陣列中的每一濾鏡係對應一像素並僅允許位於 -特定頻帶的色彩成份通過,因此在所擷取的影像被進_步處理 補示之前,每-像素所缺乏的色彩成份便必須先進行重建以使 每一像素包含所有的三種色彩成份。 由於人眼係依據三原色的刺激來進行色彩感測,所以為了自一 原始感測資料重建出-完整的彩色影像,則必須執行—色彩内插 機制來估算每-像素所缺乏的兩種色彩成份。假設現實世界中一 物體所對應之影像t的色彩強度係平滑地變動,所以,為了節省 影像處理所耗費的資源’因此色_插操作便依據每—待重建像 素之周一邓伤像素所提供的資訊來進行,亦即,當一彩色濾鏡 陣列(例如美國專利3,971,065所揭露的吻沉色彩型樣)為已知 時,則每-像素騎乏的兩種色佩份便可經由使用相鄰像素所 提供的資訊而加以重建出來。於重建一色彩成份時,習知色彩内 插方法係直接複製最鄰近之像素的色彩值或者是制相鄰像素之 色心值於纟二由線性(linear)平均或對數平均後所 產生的平均值,來經由相鄰像素來估測出每一像素中所缺乏色彩 成份以便將原域測資雖換為完歸色影像的色軸插操作即 為業界習知的解馬赛克操作(demQSaieing)。由於在影像邊緣進行 像素值的平均(亦即低通濾波操作)會造成影像失真(aliasing), 所以大多數的習知解馬赛克操作經常造成下述的影像問題:鑛齒 邊緣(zippereffect)、假色(faisecol〇r)或於影像邊緣密度高的地 1296482 方產生模_邊緣。現今已有—些習知色軸插方法可用來解決 上述影像問題,例如雙線性⑽near)方法、以色彩值差值為基 礎(color difiference based)的方法、以色彩值變 一的方法以及叫。丨。—= chrectional derivatives)方法,此外,大部分的習知方法主要可以 劃分為兩種類型:非自適性色彩内插方法(跡♦ interpolation )以及與影像邊緣有關的自適性色彩内插方法 (edge-directed adaptive color interpolation )。 非自適性色彩内插方法包含有上述的色彩内插操作,其係均勻 地應用於整張影像中;另一方面,對於自適性色彩内插方法而言, 其則應用影像邊緣的資訊來於色彩内插操作的過程中調整色彩取 樣的權重(weight)。此外,進行即時(real_time)影像處理的應用 裝置一般會需要一種低運算複雜度的内插演算法來提供銳利且不 3假色的咼品質影像。由於咼空間頻率(spatial frequency)的關 係,假色經常發生於一影像中的邊緣部分,而區域性空間特性 (localized spatial feature),例如鄰近像素之色調(hue)突然變化的 景’像邊緣部分,會造成預估出來的色彩是不正確的;此外,假色 往往發生在缺乏一種色彩成份時,特別是應用彩色濾鏡陣列來擷 取影像的影像擷取系統,更是常遭遇此一假色問題。此外,為了 提供不具假色的銳利影像,因此於顯示影像之前便經常使用一銳 利化濾鏡(sharpeningfilter)來預先提升影像品質,然而,若每一 像素有短缺一些色彩成份時,則銳利化濾鏡不但無法去除色彩假 7 1296482 • ’?7(eGlw artlfaet) ’反而加強了該色彩假影的視覺效果。 /所以’於實作-影侧取彡統時,自雜色彩内插方法的效能 係極度奠基於影像邊緣的偵測能力以及内插演算法的運算複雜 度換句洁况,對於色彩内插而言,影像邊緣的偵測能力是很重 要的。以習知⑶2方法為例,其常常受影像邊緣模糊與假色的 問題所苦,所以,對於數位影像擷取系統而言,其係極需要一種 _ 色彩内插、/貝算法以於每一像素使用較少色彩取樣下仍可正確地重 建出所缺乏的色軸份,並可產生不具鋪邊緣與假色的銳利影 像。 【發明内容】 因此,本發明的目的之一在於提供一種應用隨機調整因子調 整後之影像邊緣指示值來正確地重建像素所缺色彩的色彩内插裝 置與色彩内插方法,以解決上述問題。 依據本發明之實施例,其係揭露一種色彩内插裝置,用來處理 對應一彩色濾鏡陣列之複數個像素以重建具有單一色彩成份之每 一像素中所缺乏之色彩成份。該色彩内插裝置包含有:一影像邊 緣偵測電路以及一内插電路。該影像邊緣偵測電路係用來偵測一 目標像素所對應之複數個内插方向上的影像邊緣,並產生分別對 應於該複數個内插方向之複數個影像邊緣指示值,其中該影像邊 緣债測電路係加總一第一色彩差值之絕對值與一第二色彩差值之 8 1296482 、邑對值以產生_總和並接著以一隨機調整因子來正規化該總和以 規化該複數個内插方向的標準差來決定一内插方向所對應之— 影像邊緣指示值,該第—色彩差值係為該内插方向上—第一像素 色卷值與相反於该内插方向之另一内插方向上一第二像素之色 %值之差,該第二色彩差值係為該内插方向上一第三像素之色彩 值與該目標像素之色彩值之差,該第―、第二像素所具有之色彩 成伤係相同於該目標像素所缺乏之一色彩成份,以及該第三像素 之色彩成份係相同於該目標像素所具有之色彩成份。該内插電路 係耦接於該影像邊緣偵測電路,用來依據分別位於該複數個内插 方向上複數個鄰近像素以及該複數個内插方向所對應之該複數個 衫像邊緣指示值來重建該目標像素所缺乏之至少一色彩成份,其 中該複數個鄰近像素中每一鄰近像素所具有的色彩成份係相同於 該目標像素所缺乏之該色彩成份。 此外,依據本發明之實施例,其另揭露一種色彩内插方法,用 來處理對應一彩色濾鏡陣列之複數個像素以重建具有單一色彩成 份之每一像素中所缺乏之色彩成份。該色彩内插方法包含有:(a) 债測一目標像素所對應之複數個内插方向上的影像邊緣,並產生 分別對應於該複數個内插方向之複數個影像邊緣指示值,其中一 内插方向所對應之一影像邊緣指示值係經由加總一第一色彩差值 之絕對值與一第二色彩差值之絕對值以產生一總和並接著以一隨 機調整因子來正規化該總和以正規化該複數個内插方向的標準差 而產生,該第一色彩差值係為該内插方向上一第一像素之色彩值 1296482 與相反於該内插方向之另一内插方向上一第二像素之色彩值之 差,該第二色彩差值係為該内插方向上一第三像素之色彩值與該 目標像素之色彩值之差,該第一、第二像素所具有之色彩成份係 相同於該目標像素所缺乏之一色彩成份,以及該第三像素之色彩 成份係相同於該目標像素所具有之色彩成份;以及(b)依據分別位 於該複數個内插方向上複數個鄰近像素以及該複數個内插方向所 對應之該複數個影像邊緣指示值來重建該目標像素所缺乏之至少 一色彩成份,其中該複數個鄰近像素中每一鄰近像素所具有的色 彩成份係相同於該目標像素所缺乏之該色彩成份。 本發明提供㈣的影像邊緣侧能力以及雛的影像品質,此 外由於本發明的操作係根據鄰近像素於空間上所具有之特性的 债測結果,因此其便可精確地重建出每—像素所缺乏的色彩,換 言之,經由本發财向性影像邊緣自適性加權式色彩_方法的 使用,便可提供不具假色域有像素之間色調平滑轉變的銳利影 象再者本么曰月方向性景,像邊緣自適性力口重式色彩内插方法可 應用於任何鱗擷取裝置,例如數位相機或餘攝影機。 【實施方式】 /參閱第1圖,第1圖為本發明應用於數位相機或數位攝影機 mcorder)以進行影像擷取的影像擷取系統川之 Π圖。影像操取系統1〇包含有鏡頭丨丨,用來以先學方^ 收〜像,-衫色濾、鏡陣列12,其具有一特定色彩型樣(咖 1296482 pattern)以過濾穿透鏡頭11的影像;一影像感測器陣列(image sensor array) 13,用來感測彩色濾鏡陣列12之輸出結果;以及一 色彩内插處理器14,用來執行本發明所揭露之方向性影像邊緣自 適性的加權式色彩内插方法(directional edge_adaptive wdghted color interpolation)以重建每一像素所缺乏的色彩成份來得到一完 整的彩色影像。 請參閱第2圖,第2圖為第1圖所示之彩色濾鏡陣列12之色 彩型樣20的示意圖。於本實施例中,色彩型樣2〇係為習知的Ba%r 色彩型樣,然而請注意,本發明並未侷限於使用Bayer色彩型樣。 如第2圖所示,-目標像素B44所缺乏之一色彩成份係需被重建, 因此本發明色彩内插方法便使用12個内插方向D1〜D12來重建所 缺乏的綠色色彩成份,而依據習知Bayer色彩型樣可知,目標像 素aw本身係具有藍色色彩成份,以及相鄰的每一像素^^、G 、 45、Gy、&、Gw、Gw、G36、&、θα、Gw、G52 均具有綠色 色彩成份。於本實施例中,由於每一内插方向上的相鄰像素均具 有綠色色彩成份,因此第1圖所示之色彩内插處理器14便會分別 於12個内插方向D1〜D12上執行内插運算,亦即,12個相鄰像素 g43、g34、g45、G54、g32、G23、G25、G36、g56、G ” ° VJ52 可用來提供内插出目標像素B44所缺乏色彩成份所需使用的色彩 值。另-方面,若目標像素B44所要重建的色彩成份不是綠色(例 如紅色)’則僅有具有紅色色彩成份的4個鄰近像素反3 3 n、 R53會被選用。本發明色彩内插處理器14的運作詳述如下。 1296482 請同時參閱第2圖與第3圖,第3圖為第!圖所示之色彩内插 處理器14的功能方塊圖。色彩内插處理器14包含有一影像邊緣 偵測電路41以及-加權式内插電路42。於本實施例中,影像娜 糸統1〇做料1 ®所示之彩色絲_ 12騎翻複數個像 素以重建每—像素所缺乏的色彩成份。影像邊緣侧電路41係用 來處理目標像素b44之12個内插方向D1〜D12上的影像邊緣,狹 後分別產生對麟_方向m〜D12的概姆像邊緣指示值 IW12。加權朗插電路42係_於影像邊緣_電路μ,用來 分別依據位於内插方向D1〜D12上的鄰近像素 所 1:: 了25、A6、A6、G65、G63、A2以重建出目標像素β44 近傻夸Τ^、色色彩成份;此外,加權式内插電路42另用來依據鄰 2素r33、R35、r55、R53重建出目標像素Β44所缺乏的紅色色彩 對於各内插方向D1、D2、...、D12,影像邊緣伽 色彩差值的絕對值與—第二色彩差值的絕對值以 U、衫像邊緣的解析度,並決定相對應之一影像邊緣指示值η、 紅·、m其中該第—色彩差值係為位於該内插方向上-第-俊去的色截與錄減於油插方向之另—_方向上一第二 一第值縣值’職第二色彩差值則為位於該嶋方向上 驾I色彩值與位於該目標像素之色彩值的差值,此外, 、弟-像素所具有的色彩成份係相同於目標像素所缺乏的 12 1296482 - 色彩成份,以及該第三像素所具有的色彩成份則相同於目標像素 、 本身所具有的色彩成份。 μ 為了增加影像邊緣指示值的解析度,本發明係提供一種隨機影 像邊緣偵測(stochastic edge-detecting)的機制,而相較於習知影 像邊緣侧機制(例如於習知⑽2方法中的線性調整機制^ 發明隨機影像邊緣綱機射具有鮮顧影像邊緣侧能力, # 且可通用於其他的邊緣方向。在隨機影像邊緣偵測機制中,其係 使用具有一區域性固定高斯分佈(i—iy _ic>naiy & ,stnbution)的影像來源(images〇urce),所以,在一區域性固定 區域(locally stationaiyregi〇n)中的影像取樣將會具有相同的隨機 平均值(stochastic mean)。若一目前影像取樣表示為桐,而相 距該目前影像取樣聯達以固像素的影像取樣則表示為卿,於 本實施例中,兩影像取樣柳與聯均位於一固定區域中而具有 春 _的,機平均值;然後,兩影像取樣谓與聯的差值増, 將會是具有平均值為零的高斯隨機、變數(Gaussian random ^ )而且差值大巾田偏離零點的機率將會極小。由於本發明加 權式色知内插操作的目的係在—影像取樣與—目標像素之間之影 像邊緣的可此性很局時施加一較小的權重予該影像取樣,此外, 2於機率分佈會隨著不同像素距離d之影像像素所求出的差值而 ^ 、本發明的影像邊緣指示值另會經由正規化各影像像 息斤十應的差值來加以求出,如此一來,便可公正地量測出影像 邊緣的強度。 13 1296482 為了對差值進行正規化,於本實施例中,所計算出來的差值會 再乘上一調整因子K,如此一來,調整後的差值便對應於具有相同 標準差(standard deviation)的同一高斯分佈,而上述調整因子κ 的設定如下所述。假設Ω⑼係代表一自相關函數(autocorrelation function),並表示為: Ω(^Ε[(Χ,μχ)_—μχΜ)/(σχ2) (i) 於算式(1)中,μχ代表於一固定區域中的隨機平均值, 而σχ則 代表標準差,其中,差值的標準差則如下表示之: Mx(〇yx(d)f] (2.a) =V 砑(1(0)-外)2 - 2(x(0)-外 XX⑷-外)+(尤⑷-外)2] (2.b) = λ/σχΖ - 2cx2Q(d) + crx2 (2.c) • =>/(1 - Q(^〇) (2.d) 其中,算式(2.c)會成立是因為該固定區域本身所具有的特性。 若預疋距離名係设定為一基本距離(basic出贫⑽^),則對於其 他距離毛而言,正規化因子(調整因子)κη將會是: ⑶ 14 1296482 其中,當將經由算式⑴所求出的Ω(〇與ω(4)代入算式(3)後, 便可得到所要的正規化因子κη。 以影像邊緣指示值II為例,其運算如下所述·· π = /c! * [ABS (the color value of G43 - the color value of G45) + ABS (the color value of B42 the color value of B44)] (4) 於异式(4)中,ABS〇係為一絕對值運算函數,G43即為上述第一 像素’ G45即為上述第二像素,以及Be即為上述第三像素,所以, 距離山等於2個像素。如第2圖所示,複數個距離可被劃 分為兩種類別:若丨,則dn=2 ;以及若5 ,則^ =2^。 換言之’ /cn的數值也會有兩種。假設自相關函數Ω(雜有如下格 式:Ω⑷”2) ’其中:代表與影像有關的因子(image dependent factor) ’如此一來,若函數值Q⑹很大則對於仏 ㈣而言’ ^將會極趨近〇.5,因此,調整因子(正規化因子) Κ η的設定便可歸納如下:
\<η<Α 5</7<12 (5) 的像邊緣指示值12〜112可輕易地根據上述技 術揭露、算式⑷與算式⑸ 11技 开式(5)而加以求出,故不另贅述於此。 !296482 〜於本實施例中,第3圖所示之加權式内插電路幻係包含有一 核重運算模組43以及模組44。權重運算模組Μ係依據複 數個影像邊緣指示值II〜112來計算出鄰近像素g^、g ^、g23、g25、g36、g56、g65、g63、g52 所分別對應的複數 ^權 重(weight) wl〜wl2,其中複數個權重Wi〜Wi2 由下列算^計算妹: ⑹ 4注意,异式(6)並非計算權重的唯一方法,亦即,於另一實施 例中,亦可其⑽運算式或者—對照表(1GC)k_uptable)來決 定所需的職,簡而言之,本發未侷限於使用上述算式⑹。 内插模組44係耦接於權重運算模組43,用來依據算式(6)所求 出的權重Wl〜w12以及鄰近像f g43、G34、G45、G54、知、G23、 b ' Gw ' Gw、Gw、G63、G52的色彩值來重建色彩成份,其中内 播模組44係加總鄰近像素G43、G34、G45、、G32、、ϋ25、 G36、Gw、Gw、G«、G52的色彩值與相對應權重Wi〜Wi2的乘積 來汁异出目知^像素B44所缺乏的綠色色彩成份,換句話說,所重建 之綠色色彩成份G等於: W] (color value of G43) + W2 * (color value of G34) + ... + W12 16 1296482 (color value of G52) ⑺ 然而,如“Effective color interpolation in CCD color filter arrays using signal correlation44 (IEEE Trans, on Circuit and System for Video Technology,vol· 13, no· 6, Jun 2003 )所揭露,因為影像擷取 系統10所擷取之影像中的藍色、綠色及紅色色彩成份具有高度相 關性,所以相較於色彩值(R,QB),色彩差值(G_R,QG_B)會較為 平滑(smoother),如此一來,於色彩差值空間(color difference space ) 中,影像失真便將不那麼明顯(亦即於視覺上較不易察覺),因此, 内插模組44亦可以應用色彩差值(G-R,Q G-B)而非色彩值(R,Q B) 的方式來重建缺乏的綠色色彩成份,以獲得較佳的影像品質,亦 即,於另一使用色彩差值的實施例中,重建的綠色色彩成份G便 等於: G- (color value of B44)+Wi* (color difference value between green color component and blue color component of G43)+ W2*(color difference value between green color component and blue color component of G34)+...+ Wi2*(color difference value between green color component and blue color component of G52) ⑻ 對於重建目標像素B44所缺乏的紅色色彩成份而言,其操作 係類似於上述重建綠色色彩成份的操作。參照算式(4)以及相關技 17 1296482 術揭露可知,影像邊緣偵測電路41可獲得複數個影像邊緣指示值 IP〜14’ ;同樣地,參照算式⑹與相關技術揭露可知,權重運算模 組43可獲得複數個權重W!,〜W4,,而於本發明一實施例中,所重 建之紅色色彩成份R等於:
Rs W/ * (color value of R33) + W2’ * (color value of R35) + W3’ * (color value of R55) + W4’ * (color value of R53) (9) 此外,於使用色彩差值的另一實施例中,所重建之紅色色彩成份 R則等於: (reconstructed green color value of B44) - * (color difference value between green color component and red color component of R33) - Ψ2 * (color difference value between green color
component and red color component of R35) — W3,* (color difference value between green color component and red color component of R55) W4’ * (color difference value between green color component and red color component of R53) (10) 於上述發明說明中,用於重建目標像素B44所缺乏之色彩成份 的色彩内插操作已被詳細地揭露,而根據上述技術揭露,熟習此 項技藝者便可輕易瞭解同樣操作可應用於其他像素來重建其所缺 乏的色彩成份,因此在不影響本發明之技術揭露下,不另贊述於 1296482 此。 明參閱弟4圖,弟4圖為本發明重建一目標像素所缺乏 彩成份之一實施例的流程圖。本發明所揭露之方向性影像邊緣 適性的加權式色彩内插方法於重建色彩時包含下列步驟·
步驟300:依據12個内插方向來進行色彩内插以重建複數個目標 像素中缺乏的綠色色彩成份。 T 步驟3〇2:依據4個内插方向來進行色彩内插以重建步驟綱中該 複數個目標像素中仍缺乏的其他色彩成份。 步驟慨依據I2 _插方向來進行色軸插以重建其他像素所 缺乏的色彩成份。 明庄思’色衫内插係由第i圖所示之硬體電路來加以實施,默 而,色彩内插亦可由軟體運算的方式來加以實作。舉例來說二 處^器與—儲縣置侧祕構所要的色彩_裝置,其中該儲 錢置係畴有-色彻齡式,所以,#該處理賴入並執行 ^色和内插S式時’該處職便可執行前述之加權式色彩内插操 ^換句話說,執行該色軸插程式之該處理騎具有的功能係 目同於上述以硬體來加以實作之色彩_裝置的功能。 相較於習知技術,本發明提供較強的影像邊緣制能力以及較 19 1296482 2品質’此外’由縣發_操作係根據鄰近像素於空間 j之概(spatialfeaturc)的_妓,因此其便可精確地 =母-像素所缺乏的色彩,換言之,經岭發财向性影像 且古自適性加權式色彩内插方法的,便可提供不具假色以及 ^有,素之間色調(hue)平滑轉變的銳利影像。再者,本發明方 =性影像邊緣自適性加權式色彩内插方法可應用於任何影像娜 衣置,例如數位相機或數位攝影機。 以上所述僅為本發明之較佳實施例,凡依本發明申請專利範 圍所做之均等變倾料m本發明之涵蓋範圍。 【圖式簡單說明】 第1圖為本發明應用於數位相機或數位攝影機以進行影像擷取的 影像擷取系統之一實施例的示意圖。 第2圖為第1圖所示之彩色濾鏡陣狀色彩型樣的示意圖。 第3圖為第1圖所示之色彩内插處理器的功能方塊圖。 第4圖為本發明重建一目標像素所缺乏之色彩成份之一實施例的 流程圖。 【主要元件符號說明】 10 影像擷取系統 11 鏡頭 12 1 Λ 彩色濾鏡陣列 13 影像感測器陣列 14 色彩内插處理器 4Ϊ 影像邊緣偵測電路 20 1296482
42 加權式内插電路 43 權重運算模組 44 内插模組 21
Claims (1)
1296482 、 十、申請專利範圍: , 種色毛内插裝置,用來處理對應一彩色濾、鏡陣列之複數個像 素以重建具有單一色彩成份之每一像素中所缺乏之色彩成 份,該色彩内插裝置包含有: 一影像邊緣偵測電路,用來偵測一目標像素所對應之複數個内 插方向上的影像邊緣,並產生分別對應於該複數個内插方向 之複數個影像邊緣指示值,其中該影像邊緣偵測電路係加總 • H彩差值之絕對值與—第二色彩差值之絕對值以產 生一總和並接著以一隨機調整因子來正規化該總和以正規 化該複數_插方向的鮮絲決定方向所對應之 -轉邊緣指示值,該第-色彩差值係為軸插方向上一第 一像素之色彩值與相反於該内插方向之另一内插方向上一 2二像素之色彩值之差’該第二色彩差值係為該内插方向上 -第三像素之色彩值與該目標像素之色彩值之差該第一、 • f二像素所具有之色彩成份係相同於該目標像素所缺乏之 一色彩成份’以及該第三像素之色彩成份係相同於該目標像 素所具有之色彩成份;以及 一内插電路,躲於像雜_電路,时依據分別位於 該複數個内插方向上複數個鄰近像素以及該複數個内插方 向崎應之該複數娜像邊緣細縣錢該目標像素所 . 2之至少—色彩成份,其巾該複數_近像素巾每一鄰近 . f素所具有的色彩成份係相同於該目標像素所缺乏之該色 22 1296482 2·如申請專利範圍第1項所述之色彩内插裝置,其中該内插電路 包含有: 一權重運算模組,用來依據該複數個影像邊緣指示值計算分別 對應該複數個鄰近像素之複數個權重;以及 一内插模組,耦接於該權重運算模組,用來依據該複數個權重 與該複數個鄰近像素所具有之色彩成份以重建該目標像 素所缺乏之該色彩成份。 3·如申請專利範圍第2項所述之色彩内插裝置,其中該内插裝置 係加總該複數個權重與該複數個鄰近像素所具有之色彩成份 的複數個乘積來重建該目標像素所缺乏之該色彩成份。 4·如申請專利範圍第丨項所述之色彩内插裝置,其中該彩色濾鏡 陣列係為一 Bayer色彩型樣。 5·如申請專利範圍第1項所述之色彩内插裝置,其係應用於一影 像擷取裝置。 6·如申請專利範圍第5項所述之色彩内插裝置,其中該影像擷取 裝置係為一數位相機或一數位攝影機。 7· 一種色彩内插方法,用來處理對應一彩色濾鏡陣列之複數個像 素以重建具有單一色彩成份之每一像素中所缺乏之色彩成 23 1296482 份,該色彩内插方法包含有: (a) 偵測一目標像素所對應之複數個内插方向上的影像邊緣,並 產生分別對應於该複數個内插方向之複數個影像邊緣指示 值’其中一内插方向所對應之一影像邊緣指示值係經由加總 一第一色彩差值之絕對值與一第二色彩差值之絕對值以產 生一總和並接著以一隨機調整因子來正規化該總和以正規 化該複數個内插方向的標準差而產生,該第一色彩差值係為 該内插方向上一第一像素之色彩值與相反於該内插方向之 另一内插方向上一第二像素之色彩值之差,該第二色彩差值 係為該内插方向上一第三像素之色彩值與該目標像素之色 彩值之差,該第一、第二像素所具有之色彩成份係相同於該 目標像素所缺乏之一色彩成份,以及該第三像素之色彩成份 係相同於該目標像素所具有之色彩成份;以及 (b) 依據分別位於該複數個内插方向上複數個鄰近像素以及該複 數個内插方向所對應之該複數個影像邊緣指示值來重建該 目標像素所缺乏之至少—色彩成份,其巾該複數個鄰近像素 中每-鄰近像素所具有的色彩成份係相同於該目標像素所 缺乏之該色彩成份。 8·如申請專利範圍帛7項所述之色彩内插方法,其中步驟⑻另包 含有: (al)依據該複數個影像雜指示料算分麟麟複數個鄰近 像素之複數個權重;以及 24 1296482 (a2)依據該複數個權重與該複數個鄰近像素所具有之色彩成份 以重建該目標像素所缺乏之該色彩成份。 9·如申請專利範圍第8項所述之色彩内插方法,其中步驟(a2)另 包含有:加總該複數個權重與該複數個鄰近像素所具有之色彩 成份的複數個乘積來重建該目標像素所缺乏之該色彩成份。 10·如申請專利範圍第7項所述之色彩内插方法,其中該彩色濾、鏡 陣列係為一 Bayer色彩型樣。 11·如申請專利範圍第7項所述之色彩内插方法,其係應用於一影 像擷取裝置。 Ο·如申請專利範圍第11項所述之色彩内插方法,其中該影像擷 取裝置係為一數位相機或一數位攝影機。
25
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US11/164,284 US7486844B2 (en) | 2005-11-17 | 2005-11-17 | Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels |
Publications (2)
Publication Number | Publication Date |
---|---|
TW200721851A TW200721851A (en) | 2007-06-01 |
TWI296482B true TWI296482B (en) | 2008-05-01 |
Family
ID=38040859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW094141197A TWI296482B (en) | 2005-11-17 | 2005-11-23 | Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels |
Country Status (3)
Country | Link |
---|---|
US (1) | US7486844B2 (zh) |
CN (1) | CN100521797C (zh) |
TW (1) | TWI296482B (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9147257B2 (en) | 2013-11-15 | 2015-09-29 | Realtek Semiconductor Corp. | Consecutive thin edge detection system and method for enhancing a color filter array image |
Families Citing this family (61)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8471852B1 (en) | 2003-05-30 | 2013-06-25 | Nvidia Corporation | Method and system for tessellation of subdivision surfaces |
US8571346B2 (en) | 2005-10-26 | 2013-10-29 | Nvidia Corporation | Methods and devices for defective pixel detection |
US7885458B1 (en) | 2005-10-27 | 2011-02-08 | Nvidia Corporation | Illuminant estimation using gamut mapping and scene classification |
US7750956B2 (en) | 2005-11-09 | 2010-07-06 | Nvidia Corporation | Using a graphics processing unit to correct video and audio data |
US8588542B1 (en) | 2005-12-13 | 2013-11-19 | Nvidia Corporation | Configurable and compact pixel processing apparatus |
US8005297B2 (en) * | 2006-01-18 | 2011-08-23 | Qualcomm Incorporated | Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing |
US8737832B1 (en) | 2006-02-10 | 2014-05-27 | Nvidia Corporation | Flicker band automated detection system and method |
KR100809687B1 (ko) * | 2006-02-28 | 2008-03-06 | 삼성전자주식회사 | 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법 |
KR100780932B1 (ko) * | 2006-05-30 | 2007-11-30 | 엠텍비젼 주식회사 | 컬러 보간 방법 및 장치 |
JP4983141B2 (ja) * | 2006-08-04 | 2012-07-25 | ソニー株式会社 | カラーフィルタ |
US8594441B1 (en) | 2006-09-12 | 2013-11-26 | Nvidia Corporation | Compressing image-based data using luminance |
US7822293B2 (en) * | 2006-11-17 | 2010-10-26 | Aptina Imaging Corporation | Imaging systems and method for generating video data using edge-aware interpolation with soft-thresholding |
US8723969B2 (en) | 2007-03-20 | 2014-05-13 | Nvidia Corporation | Compensating for undesirable camera shakes during video capture |
US8564687B2 (en) * | 2007-05-07 | 2013-10-22 | Nvidia Corporation | Efficient determination of an illuminant of a scene |
US8698917B2 (en) * | 2007-06-04 | 2014-04-15 | Nvidia Corporation | Reducing computational complexity in determining an illuminant of a scene |
US8724895B2 (en) * | 2007-07-23 | 2014-05-13 | Nvidia Corporation | Techniques for reducing color artifacts in digital images |
CN101122998B (zh) * | 2007-09-28 | 2010-06-23 | 宝利微电子系统控股公司 | 一种基于方向检测的图像插值方法及装置 |
US8570634B2 (en) | 2007-10-11 | 2013-10-29 | Nvidia Corporation | Image processing of an incoming light field using a spatial light modulator |
US9177368B2 (en) | 2007-12-17 | 2015-11-03 | Nvidia Corporation | Image distortion correction |
US8780128B2 (en) | 2007-12-17 | 2014-07-15 | Nvidia Corporation | Contiguously packed data |
US8698908B2 (en) | 2008-02-11 | 2014-04-15 | Nvidia Corporation | Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera |
KR100952667B1 (ko) * | 2008-03-20 | 2010-04-13 | 중앙대학교 산학협력단 | 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법 |
US7995840B2 (en) * | 2008-03-28 | 2011-08-09 | Seiko Epson Corporation | Image processing apparatus, image processing method, and program for attaining image processing |
US9379156B2 (en) | 2008-04-10 | 2016-06-28 | Nvidia Corporation | Per-channel image intensity correction |
US8111299B2 (en) * | 2008-08-15 | 2012-02-07 | Seiko Epson Corporation | Demosaicking single-sensor camera raw data |
JP5076186B2 (ja) * | 2008-10-23 | 2012-11-21 | 株式会社メガチップス | 画像拡大方法 |
US8373718B2 (en) | 2008-12-10 | 2013-02-12 | Nvidia Corporation | Method and system for color enhancement with color volume adjustment and variable shift along luminance axis |
TWI376646B (en) * | 2008-12-23 | 2012-11-11 | Silicon Motion Inc | Pixel processing method and image processing system |
US8331688B2 (en) * | 2009-01-07 | 2012-12-11 | International Business Machines Corporation | Focus-based edge detection |
US8571312B2 (en) * | 2009-01-16 | 2013-10-29 | Samsung Electronics Co., Ltd. | Image interpolation method and apparatus using pattern characteristics of color filter array |
KR101637488B1 (ko) * | 2009-01-16 | 2016-07-07 | 삼성전자주식회사 | 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치 |
WO2010088465A1 (en) * | 2009-02-02 | 2010-08-05 | Gentex Corporation | Improved digital image processing and systems incorporating the same |
US8749662B2 (en) | 2009-04-16 | 2014-06-10 | Nvidia Corporation | System and method for lens shading image correction |
US8463035B2 (en) * | 2009-05-28 | 2013-06-11 | Gentex Corporation | Digital image processing for calculating a missing color value |
CN101969571B (zh) * | 2009-07-27 | 2013-08-21 | 慧帝科技(深圳)有限公司 | 像素处理方法 |
US20110032269A1 (en) * | 2009-08-05 | 2011-02-10 | Rastislav Lukac | Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process |
TWI389571B (zh) * | 2009-09-30 | 2013-03-11 | Mstar Semiconductor Inc | 影像處理方法以及影像處理裝置 |
US8698918B2 (en) | 2009-10-27 | 2014-04-15 | Nvidia Corporation | Automatic white balancing for photography |
CN101834586A (zh) * | 2010-04-21 | 2010-09-15 | 四川和芯微电子股份有限公司 | 随机信号产生电路及方法 |
JP5672776B2 (ja) * | 2010-06-02 | 2015-02-18 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
JP2012099903A (ja) * | 2010-10-29 | 2012-05-24 | Sony Corp | 画像処理装置、画像処理方法、撮像装置 |
JP2012191465A (ja) * | 2011-03-11 | 2012-10-04 | Sony Corp | 画像処理装置、および画像処理方法、並びにプログラム |
US9769430B1 (en) | 2011-06-23 | 2017-09-19 | Gentex Corporation | Imager system with median filter and method thereof |
DE102011086456A1 (de) * | 2011-11-16 | 2013-05-16 | Siemens Aktiengesellschaft | Rekonstruktion von Bilddaten |
CN104115211B (zh) | 2012-02-14 | 2017-09-22 | 金泰克斯公司 | 高动态范围成像系统 |
US9798698B2 (en) | 2012-08-13 | 2017-10-24 | Nvidia Corporation | System and method for multi-color dilu preconditioner |
US9508318B2 (en) | 2012-09-13 | 2016-11-29 | Nvidia Corporation | Dynamic color profile management for electronic devices |
US9307213B2 (en) | 2012-11-05 | 2016-04-05 | Nvidia Corporation | Robust selection and weighting for gray patch automatic white balancing |
CN103974043B (zh) * | 2013-01-24 | 2016-02-10 | 瑞昱半导体股份有限公司 | 影像处理装置与影像处理方法 |
US9870598B2 (en) | 2013-04-26 | 2018-01-16 | Nvidia Corporation | Low complexity adaptive filtering for mobile captures |
US9826208B2 (en) | 2013-06-26 | 2017-11-21 | Nvidia Corporation | Method and system for generating weights for use in white balancing an image |
US9756222B2 (en) | 2013-06-26 | 2017-09-05 | Nvidia Corporation | Method and system for performing white balancing operations on captured images |
CN104376540B (zh) * | 2014-12-01 | 2017-02-22 | 北京思比科微电子技术股份有限公司 | 一种Bayer图像的去噪方法 |
US10520975B2 (en) * | 2016-03-03 | 2019-12-31 | Regents Of The University Of Minnesota | Polysynchronous stochastic circuits |
US10740686B2 (en) | 2017-01-13 | 2020-08-11 | Regents Of The University Of Minnesota | Stochastic computation using pulse-width modulated signals |
JP6781406B2 (ja) * | 2017-03-28 | 2020-11-04 | ブラザー工業株式会社 | 画像処理装置、および、コンピュータプログラム |
US10848730B2 (en) * | 2017-06-15 | 2020-11-24 | Blackmagic Design Pty Ltd | Raw image processing system and method |
US10996929B2 (en) | 2018-03-15 | 2021-05-04 | Regents Of The University Of Minnesota | High quality down-sampling for deterministic bit-stream computing |
CN110858894B (zh) * | 2018-08-23 | 2021-11-26 | 瑞昱半导体股份有限公司 | 色彩重建装置与方法 |
CN116347186A (zh) * | 2021-12-15 | 2023-06-27 | 超威半导体(上海)有限公司 | 用于图像去马赛克的装置和方法 |
CN115082323B (zh) * | 2022-08-19 | 2022-11-04 | 深流微智能科技(深圳)有限公司 | 图像处理方法、装置、电子设备及存储介质 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS59171387A (ja) * | 1983-03-18 | 1984-09-27 | Hitachi Ltd | テレビジヨン信号の構成方法 |
FI91029C (fi) * | 1992-04-14 | 1994-04-25 | Salon Televisiotehdas Oy | Menetelmä ja kytkentäjärjestely kuvaruudulla näytettävän kuvan pysty- ja vaakaresoluution kaksinkertaistamiseksi |
JP3644874B2 (ja) * | 1999-07-15 | 2005-05-11 | シャープ株式会社 | 画像補間装置 |
US6628330B1 (en) * | 1999-09-01 | 2003-09-30 | Neomagic Corp. | Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera |
US7088392B2 (en) * | 2001-08-27 | 2006-08-08 | Ramakrishna Kakarala | Digital image system and method for implementing an adaptive demosaicing method |
US7242819B2 (en) * | 2002-12-13 | 2007-07-10 | Trident Microsystems, Inc. | Method and system for advanced edge-adaptive interpolation for interlace-to-progressive conversion |
-
2005
- 2005-11-17 US US11/164,284 patent/US7486844B2/en not_active Expired - Fee Related
- 2005-11-23 TW TW094141197A patent/TWI296482B/zh not_active IP Right Cessation
- 2005-11-23 CN CNB2005101248306A patent/CN100521797C/zh not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9147257B2 (en) | 2013-11-15 | 2015-09-29 | Realtek Semiconductor Corp. | Consecutive thin edge detection system and method for enhancing a color filter array image |
Also Published As
Publication number | Publication date |
---|---|
CN1968422A (zh) | 2007-05-23 |
CN100521797C (zh) | 2009-07-29 |
TW200721851A (en) | 2007-06-01 |
US7486844B2 (en) | 2009-02-03 |
US20070110300A1 (en) | 2007-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI296482B (en) | Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels | |
JP5529048B2 (ja) | 補間システムおよび方法 | |
JP5048600B2 (ja) | データ品位を向上する方法及びシステム | |
US20130077862A1 (en) | Image processing apparatus, image processing method and program | |
Hore et al. | An edge-sensing generic demosaicing algorithm with application to image resampling | |
JP2000341707A (ja) | 方向性平滑化演算を用いた画像のモザイク解除方法 | |
JP2005136766A (ja) | 画像処理装置および画像処理方法 | |
TW200810566A (en) | Imaging apparatus | |
JP2004048465A (ja) | 画像処理装置および画像処理プログラム | |
JP5049460B2 (ja) | カラー撮像画像データの補間方法およびプログラム | |
JP2011041210A (ja) | 信号処理装置、撮像装置及び信号処理方法 | |
Lukac et al. | A new CFA interpolation framework | |
Zhou et al. | An effective color image interpolation algorithm | |
Hua et al. | A color interpolation algorithm for Bayer pattern digital cameras based on green components and color difference space | |
Wu et al. | Improvement of color video demosaicking in temporal domain | |
Sung et al. | Color filter array demosaicking by using subband synthesis scheme | |
Wang et al. | Demosaicing with improved edge direction detection | |
Yang et al. | Quality evaluation of color demosaicing according to image resolution | |
Battiato et al. | Recent patents on color demosaicing | |
Lee et al. | Edge-adaptive demosaicking for artifact suppression along line edges | |
TW200945257A (en) | Method for rebuilding color information of pixels | |
Jeong et al. | Edge-Adaptive Demosaicking for Reducing Artifact along Line Edge | |
Goyal et al. | Impact of neighborhood size on median filter based color filter array interpolation. | |
CN116896689B (zh) | Bayer图像的处理方法、装置及电子设备 | |
KR20190036253A (ko) | 그라디언트 기반 rgbw cfa 디모자킹 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |