TWI296482B - Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels - Google Patents

Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels Download PDF

Info

Publication number
TWI296482B
TWI296482B TW094141197A TW94141197A TWI296482B TW I296482 B TWI296482 B TW I296482B TW 094141197 A TW094141197 A TW 094141197A TW 94141197 A TW94141197 A TW 94141197A TW I296482 B TWI296482 B TW I296482B
Authority
TW
Taiwan
Prior art keywords
color
interpolation
image
pixel
value
Prior art date
Application number
TW094141197A
Other languages
English (en)
Other versions
TW200721851A (en
Inventor
Hung An Chang
Homer H Chen
Original Assignee
Avisonic Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Avisonic Technology Corp filed Critical Avisonic Technology Corp
Publication of TW200721851A publication Critical patent/TW200721851A/zh
Application granted granted Critical
Publication of TWI296482B publication Critical patent/TWI296482B/zh

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/58Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/403Edge-driven scaling; Edge-based scaling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/64Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/648Transmitting or storing the primary (additive or subtractive) colour signals; Compression thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843Demosaicing, e.g. interpolating colour pixel values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00Details of colour television systems
    • H04N2209/04Picture signal generators
    • H04N2209/041Picture signal generators using solid-state devices
    • H04N2209/042Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)
  • Color Image Communication Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

1296482 九、發明說明: 【發明所屬之技術領域】 本發明係有關於影像處理,尤指一種應用經隨機調整因子調整 後之〜像邊緣私示值來重建像素所缺色彩成份的色彩内插裝置與 色彩内插方法。 【先前技術】 於一影像擷取系統中,三種色彩成份必須同時地被擷取以便可 精確地表示出一影像的内容,而為了建構可同時擷取三種色彩成 份的數位影_取祕,往往需要使用三侧立的影像感測器, 如此一來,將造成生產成本過高以及使產品結構變得十分複雜, 所以’為了使-數位影像獅^制成核尺寸_最小化,該 數位影像擷取系統上的影像影像感測縛列(由複數個♦晶片所 構成)亦必須讓其尺寸減小,換言之,色彩取樣的個數便必須是 一個較小的數值。一種可行的方法係使影像擷取系統中每一影像 感測器僅收鮮-色彩的資料來產生具有低資料量的擷取影像, 所以,影像擷取系統-般而言便採用一馬赛克式彩色渡鏡(麵也 color filter),其中該馬赛克式彩色濾鏡又可被稱作彩色濾鏡陣列 (color filter array,CFA),因此,影像擷取系統便經由取樣三種色 彩成份之一所得到的色彩陣列來獲得一擷取影像,其中該色彩陣 列係對每-像素而儲存其所包含的單—色彩成份。由於影像感測 系統係忽略各像素的其他兩種色彩成份,因此,對於每一像素而 5 1296482 言,影像感測系統所獲取的原始感測資料便包含較少的色彩取 樣。由於彩色遽鏡陣列中的每一濾鏡係對應一像素並僅允許位於 -特定頻帶的色彩成份通過,因此在所擷取的影像被進_步處理 補示之前,每-像素所缺乏的色彩成份便必須先進行重建以使 每一像素包含所有的三種色彩成份。 由於人眼係依據三原色的刺激來進行色彩感測,所以為了自一 原始感測資料重建出-完整的彩色影像,則必須執行—色彩内插 機制來估算每-像素所缺乏的兩種色彩成份。假設現實世界中一 物體所對應之影像t的色彩強度係平滑地變動,所以,為了節省 影像處理所耗費的資源’因此色_插操作便依據每—待重建像 素之周一邓伤像素所提供的資訊來進行,亦即,當一彩色濾鏡 陣列(例如美國專利3,971,065所揭露的吻沉色彩型樣)為已知 時,則每-像素騎乏的兩種色佩份便可經由使用相鄰像素所 提供的資訊而加以重建出來。於重建一色彩成份時,習知色彩内 插方法係直接複製最鄰近之像素的色彩值或者是制相鄰像素之 色心值於纟二由線性(linear)平均或對數平均後所 產生的平均值,來經由相鄰像素來估測出每一像素中所缺乏色彩 成份以便將原域測資雖換為完歸色影像的色軸插操作即 為業界習知的解馬赛克操作(demQSaieing)。由於在影像邊緣進行 像素值的平均(亦即低通濾波操作)會造成影像失真(aliasing), 所以大多數的習知解馬赛克操作經常造成下述的影像問題:鑛齒 邊緣(zippereffect)、假色(faisecol〇r)或於影像邊緣密度高的地 1296482 方產生模_邊緣。現今已有—些習知色軸插方法可用來解決 上述影像問題,例如雙線性⑽near)方法、以色彩值差值為基 礎(color difiference based)的方法、以色彩值變 一的方法以及叫。丨。—= chrectional derivatives)方法,此外,大部分的習知方法主要可以 劃分為兩種類型:非自適性色彩内插方法(跡♦ interpolation )以及與影像邊緣有關的自適性色彩内插方法 (edge-directed adaptive color interpolation )。 非自適性色彩内插方法包含有上述的色彩内插操作,其係均勻 地應用於整張影像中;另一方面,對於自適性色彩内插方法而言, 其則應用影像邊緣的資訊來於色彩内插操作的過程中調整色彩取 樣的權重(weight)。此外,進行即時(real_time)影像處理的應用 裝置一般會需要一種低運算複雜度的内插演算法來提供銳利且不 3假色的咼品質影像。由於咼空間頻率(spatial frequency)的關 係,假色經常發生於一影像中的邊緣部分,而區域性空間特性 (localized spatial feature),例如鄰近像素之色調(hue)突然變化的 景’像邊緣部分,會造成預估出來的色彩是不正確的;此外,假色 往往發生在缺乏一種色彩成份時,特別是應用彩色濾鏡陣列來擷 取影像的影像擷取系統,更是常遭遇此一假色問題。此外,為了 提供不具假色的銳利影像,因此於顯示影像之前便經常使用一銳 利化濾鏡(sharpeningfilter)來預先提升影像品質,然而,若每一 像素有短缺一些色彩成份時,則銳利化濾鏡不但無法去除色彩假 7 1296482 • ’?7(eGlw artlfaet) ’反而加強了該色彩假影的視覺效果。 /所以’於實作-影侧取彡統時,自雜色彩内插方法的效能 係極度奠基於影像邊緣的偵測能力以及内插演算法的運算複雜 度換句洁况,對於色彩内插而言,影像邊緣的偵測能力是很重 要的。以習知⑶2方法為例,其常常受影像邊緣模糊與假色的 問題所苦,所以,對於數位影像擷取系統而言,其係極需要一種 _ 色彩内插、/貝算法以於每一像素使用較少色彩取樣下仍可正確地重 建出所缺乏的色軸份,並可產生不具鋪邊緣與假色的銳利影 像。 【發明内容】 因此,本發明的目的之一在於提供一種應用隨機調整因子調 整後之影像邊緣指示值來正確地重建像素所缺色彩的色彩内插裝 置與色彩内插方法,以解決上述問題。 依據本發明之實施例,其係揭露一種色彩内插裝置,用來處理 對應一彩色濾鏡陣列之複數個像素以重建具有單一色彩成份之每 一像素中所缺乏之色彩成份。該色彩内插裝置包含有:一影像邊 緣偵測電路以及一内插電路。該影像邊緣偵測電路係用來偵測一 目標像素所對應之複數個内插方向上的影像邊緣,並產生分別對 應於該複數個内插方向之複數個影像邊緣指示值,其中該影像邊 緣债測電路係加總一第一色彩差值之絕對值與一第二色彩差值之 8 1296482 、邑對值以產生_總和並接著以一隨機調整因子來正規化該總和以 規化該複數個内插方向的標準差來決定一内插方向所對應之— 影像邊緣指示值,該第—色彩差值係為該内插方向上—第一像素 色卷值與相反於该内插方向之另一内插方向上一第二像素之色 %值之差,該第二色彩差值係為該内插方向上一第三像素之色彩 值與該目標像素之色彩值之差,該第―、第二像素所具有之色彩 成伤係相同於該目標像素所缺乏之一色彩成份,以及該第三像素 之色彩成份係相同於該目標像素所具有之色彩成份。該内插電路 係耦接於該影像邊緣偵測電路,用來依據分別位於該複數個内插 方向上複數個鄰近像素以及該複數個内插方向所對應之該複數個 衫像邊緣指示值來重建該目標像素所缺乏之至少一色彩成份,其 中該複數個鄰近像素中每一鄰近像素所具有的色彩成份係相同於 該目標像素所缺乏之該色彩成份。 此外,依據本發明之實施例,其另揭露一種色彩内插方法,用 來處理對應一彩色濾鏡陣列之複數個像素以重建具有單一色彩成 份之每一像素中所缺乏之色彩成份。該色彩内插方法包含有:(a) 债測一目標像素所對應之複數個内插方向上的影像邊緣,並產生 分別對應於該複數個内插方向之複數個影像邊緣指示值,其中一 内插方向所對應之一影像邊緣指示值係經由加總一第一色彩差值 之絕對值與一第二色彩差值之絕對值以產生一總和並接著以一隨 機調整因子來正規化該總和以正規化該複數個内插方向的標準差 而產生,該第一色彩差值係為該内插方向上一第一像素之色彩值 1296482 與相反於該内插方向之另一内插方向上一第二像素之色彩值之 差,該第二色彩差值係為該内插方向上一第三像素之色彩值與該 目標像素之色彩值之差,該第一、第二像素所具有之色彩成份係 相同於該目標像素所缺乏之一色彩成份,以及該第三像素之色彩 成份係相同於該目標像素所具有之色彩成份;以及(b)依據分別位 於該複數個内插方向上複數個鄰近像素以及該複數個内插方向所 對應之該複數個影像邊緣指示值來重建該目標像素所缺乏之至少 一色彩成份,其中該複數個鄰近像素中每一鄰近像素所具有的色 彩成份係相同於該目標像素所缺乏之該色彩成份。 本發明提供㈣的影像邊緣侧能力以及雛的影像品質,此 外由於本發明的操作係根據鄰近像素於空間上所具有之特性的 债測結果,因此其便可精確地重建出每—像素所缺乏的色彩,換 言之,經由本發财向性影像邊緣自適性加權式色彩_方法的 使用,便可提供不具假色域有像素之間色調平滑轉變的銳利影 象再者本么曰月方向性景,像邊緣自適性力口重式色彩内插方法可 應用於任何鱗擷取裝置,例如數位相機或餘攝影機。 【實施方式】 /參閱第1圖,第1圖為本發明應用於數位相機或數位攝影機 mcorder)以進行影像擷取的影像擷取系統川之 Π圖。影像操取系統1〇包含有鏡頭丨丨,用來以先學方^ 收〜像,-衫色濾、鏡陣列12,其具有一特定色彩型樣(咖 1296482 pattern)以過濾穿透鏡頭11的影像;一影像感測器陣列(image sensor array) 13,用來感測彩色濾鏡陣列12之輸出結果;以及一 色彩内插處理器14,用來執行本發明所揭露之方向性影像邊緣自 適性的加權式色彩内插方法(directional edge_adaptive wdghted color interpolation)以重建每一像素所缺乏的色彩成份來得到一完 整的彩色影像。 請參閱第2圖,第2圖為第1圖所示之彩色濾鏡陣列12之色 彩型樣20的示意圖。於本實施例中,色彩型樣2〇係為習知的Ba%r 色彩型樣,然而請注意,本發明並未侷限於使用Bayer色彩型樣。 如第2圖所示,-目標像素B44所缺乏之一色彩成份係需被重建, 因此本發明色彩内插方法便使用12個内插方向D1〜D12來重建所 缺乏的綠色色彩成份,而依據習知Bayer色彩型樣可知,目標像 素aw本身係具有藍色色彩成份,以及相鄰的每一像素^^、G 、 45、Gy、&、Gw、Gw、G36、&、θα、Gw、G52 均具有綠色 色彩成份。於本實施例中,由於每一内插方向上的相鄰像素均具 有綠色色彩成份,因此第1圖所示之色彩内插處理器14便會分別 於12個内插方向D1〜D12上執行内插運算,亦即,12個相鄰像素 g43、g34、g45、G54、g32、G23、G25、G36、g56、G ” ° VJ52 可用來提供内插出目標像素B44所缺乏色彩成份所需使用的色彩 值。另-方面,若目標像素B44所要重建的色彩成份不是綠色(例 如紅色)’則僅有具有紅色色彩成份的4個鄰近像素反3 3 n、 R53會被選用。本發明色彩内插處理器14的運作詳述如下。 1296482 請同時參閱第2圖與第3圖,第3圖為第!圖所示之色彩内插 處理器14的功能方塊圖。色彩内插處理器14包含有一影像邊緣 偵測電路41以及-加權式内插電路42。於本實施例中,影像娜 糸統1〇做料1 ®所示之彩色絲_ 12騎翻複數個像 素以重建每—像素所缺乏的色彩成份。影像邊緣侧電路41係用 來處理目標像素b44之12個内插方向D1〜D12上的影像邊緣,狹 後分別產生對麟_方向m〜D12的概姆像邊緣指示值 IW12。加權朗插電路42係_於影像邊緣_電路μ,用來 分別依據位於内插方向D1〜D12上的鄰近像素 所 1:: 了25、A6、A6、G65、G63、A2以重建出目標像素β44 近傻夸Τ^、色色彩成份;此外,加權式内插電路42另用來依據鄰 2素r33、R35、r55、R53重建出目標像素Β44所缺乏的紅色色彩 對於各内插方向D1、D2、...、D12,影像邊緣伽 色彩差值的絕對值與—第二色彩差值的絕對值以 U、衫像邊緣的解析度,並決定相對應之一影像邊緣指示值η、 紅·、m其中該第—色彩差值係為位於該内插方向上-第-俊去的色截與錄減於油插方向之另—_方向上一第二 一第值縣值’職第二色彩差值則為位於該嶋方向上 驾I色彩值與位於該目標像素之色彩值的差值,此外, 、弟-像素所具有的色彩成份係相同於目標像素所缺乏的 12 1296482 - 色彩成份,以及該第三像素所具有的色彩成份則相同於目標像素 、 本身所具有的色彩成份。 μ 為了增加影像邊緣指示值的解析度,本發明係提供一種隨機影 像邊緣偵測(stochastic edge-detecting)的機制,而相較於習知影 像邊緣侧機制(例如於習知⑽2方法中的線性調整機制^ 發明隨機影像邊緣綱機射具有鮮顧影像邊緣侧能力, # 且可通用於其他的邊緣方向。在隨機影像邊緣偵測機制中,其係 使用具有一區域性固定高斯分佈(i—iy _ic>naiy & ,stnbution)的影像來源(images〇urce),所以,在一區域性固定 區域(locally stationaiyregi〇n)中的影像取樣將會具有相同的隨機 平均值(stochastic mean)。若一目前影像取樣表示為桐,而相 距該目前影像取樣聯達以固像素的影像取樣則表示為卿,於 本實施例中,兩影像取樣柳與聯均位於一固定區域中而具有 春 _的,機平均值;然後,兩影像取樣谓與聯的差值増, 將會是具有平均值為零的高斯隨機、變數(Gaussian random ^ )而且差值大巾田偏離零點的機率將會極小。由於本發明加 權式色知内插操作的目的係在—影像取樣與—目標像素之間之影 像邊緣的可此性很局時施加一較小的權重予該影像取樣,此外, 2於機率分佈會隨著不同像素距離d之影像像素所求出的差值而 ^ 、本發明的影像邊緣指示值另會經由正規化各影像像 息斤十應的差值來加以求出,如此一來,便可公正地量測出影像 邊緣的強度。 13 1296482 為了對差值進行正規化,於本實施例中,所計算出來的差值會 再乘上一調整因子K,如此一來,調整後的差值便對應於具有相同 標準差(standard deviation)的同一高斯分佈,而上述調整因子κ 的設定如下所述。假設Ω⑼係代表一自相關函數(autocorrelation function),並表示為: Ω(^Ε[(Χ,μχ)_—μχΜ)/(σχ2) (i) 於算式(1)中,μχ代表於一固定區域中的隨機平均值, 而σχ則 代表標準差,其中,差值的標準差則如下表示之: Mx(〇yx(d)f] (2.a) =V 砑(1(0)-外)2 - 2(x(0)-外 XX⑷-外)+(尤⑷-外)2] (2.b) = λ/σχΖ - 2cx2Q(d) + crx2 (2.c) • =>/(1 - Q(^〇) (2.d) 其中,算式(2.c)會成立是因為該固定區域本身所具有的特性。 若預疋距離名係设定為一基本距離(basic出贫⑽^),則對於其 他距離毛而言,正規化因子(調整因子)κη將會是: ⑶ 14 1296482 其中,當將經由算式⑴所求出的Ω(〇與ω(4)代入算式(3)後, 便可得到所要的正規化因子κη。 以影像邊緣指示值II為例,其運算如下所述·· π = /c! * [ABS (the color value of G43 - the color value of G45) + ABS (the color value of B42 the color value of B44)] (4) 於异式(4)中,ABS〇係為一絕對值運算函數,G43即為上述第一 像素’ G45即為上述第二像素,以及Be即為上述第三像素,所以, 距離山等於2個像素。如第2圖所示,複數個距離可被劃 分為兩種類別:若丨,則dn=2 ;以及若5 ,則^ =2^。 換言之’ /cn的數值也會有兩種。假設自相關函數Ω(雜有如下格 式:Ω⑷”2) ’其中:代表與影像有關的因子(image dependent factor) ’如此一來,若函數值Q⑹很大則對於仏 ㈣而言’ ^將會極趨近〇.5,因此,調整因子(正規化因子) Κ η的設定便可歸納如下:
\<η<Α 5</7<12 (5) 的像邊緣指示值12〜112可輕易地根據上述技 術揭露、算式⑷與算式⑸ 11技 开式(5)而加以求出,故不另贅述於此。 !296482 〜於本實施例中,第3圖所示之加權式内插電路幻係包含有一 核重運算模組43以及模組44。權重運算模組Μ係依據複 數個影像邊緣指示值II〜112來計算出鄰近像素g^、g ^、g23、g25、g36、g56、g65、g63、g52 所分別對應的複數 ^權 重(weight) wl〜wl2,其中複數個權重Wi〜Wi2 由下列算^計算妹: ⑹ 4注意,异式(6)並非計算權重的唯一方法,亦即,於另一實施 例中,亦可其⑽運算式或者—對照表(1GC)k_uptable)來決 定所需的職,簡而言之,本發未侷限於使用上述算式⑹。 内插模組44係耦接於權重運算模組43,用來依據算式(6)所求 出的權重Wl〜w12以及鄰近像f g43、G34、G45、G54、知、G23、 b ' Gw ' Gw、Gw、G63、G52的色彩值來重建色彩成份,其中内 播模組44係加總鄰近像素G43、G34、G45、、G32、、ϋ25、 G36、Gw、Gw、G«、G52的色彩值與相對應權重Wi〜Wi2的乘積 來汁异出目知^像素B44所缺乏的綠色色彩成份,換句話說,所重建 之綠色色彩成份G等於: W] (color value of G43) + W2 * (color value of G34) + ... + W12 16 1296482 (color value of G52) ⑺ 然而,如“Effective color interpolation in CCD color filter arrays using signal correlation44 (IEEE Trans, on Circuit and System for Video Technology,vol· 13, no· 6, Jun 2003 )所揭露,因為影像擷取 系統10所擷取之影像中的藍色、綠色及紅色色彩成份具有高度相 關性,所以相較於色彩值(R,QB),色彩差值(G_R,QG_B)會較為 平滑(smoother),如此一來,於色彩差值空間(color difference space ) 中,影像失真便將不那麼明顯(亦即於視覺上較不易察覺),因此, 内插模組44亦可以應用色彩差值(G-R,Q G-B)而非色彩值(R,Q B) 的方式來重建缺乏的綠色色彩成份,以獲得較佳的影像品質,亦 即,於另一使用色彩差值的實施例中,重建的綠色色彩成份G便 等於: G- (color value of B44)+Wi* (color difference value between green color component and blue color component of G43)+ W2*(color difference value between green color component and blue color component of G34)+...+ Wi2*(color difference value between green color component and blue color component of G52) ⑻ 對於重建目標像素B44所缺乏的紅色色彩成份而言,其操作 係類似於上述重建綠色色彩成份的操作。參照算式(4)以及相關技 17 1296482 術揭露可知,影像邊緣偵測電路41可獲得複數個影像邊緣指示值 IP〜14’ ;同樣地,參照算式⑹與相關技術揭露可知,權重運算模 組43可獲得複數個權重W!,〜W4,,而於本發明一實施例中,所重 建之紅色色彩成份R等於:
Rs W/ * (color value of R33) + W2’ * (color value of R35) + W3’ * (color value of R55) + W4’ * (color value of R53) (9) 此外,於使用色彩差值的另一實施例中,所重建之紅色色彩成份 R則等於: (reconstructed green color value of B44) - * (color difference value between green color component and red color component of R33) - Ψ2 * (color difference value between green color
component and red color component of R35) — W3,* (color difference value between green color component and red color component of R55) W4’ * (color difference value between green color component and red color component of R53) (10) 於上述發明說明中,用於重建目標像素B44所缺乏之色彩成份 的色彩内插操作已被詳細地揭露,而根據上述技術揭露,熟習此 項技藝者便可輕易瞭解同樣操作可應用於其他像素來重建其所缺 乏的色彩成份,因此在不影響本發明之技術揭露下,不另贊述於 1296482 此。 明參閱弟4圖,弟4圖為本發明重建一目標像素所缺乏 彩成份之一實施例的流程圖。本發明所揭露之方向性影像邊緣 適性的加權式色彩内插方法於重建色彩時包含下列步驟·
步驟300:依據12個内插方向來進行色彩内插以重建複數個目標 像素中缺乏的綠色色彩成份。 T 步驟3〇2:依據4個内插方向來進行色彩内插以重建步驟綱中該 複數個目標像素中仍缺乏的其他色彩成份。 步驟慨依據I2 _插方向來進行色軸插以重建其他像素所 缺乏的色彩成份。 明庄思’色衫内插係由第i圖所示之硬體電路來加以實施,默 而,色彩内插亦可由軟體運算的方式來加以實作。舉例來說二 處^器與—儲縣置侧祕構所要的色彩_裝置,其中該儲 錢置係畴有-色彻齡式,所以,#該處理賴入並執行 ^色和内插S式時’該處職便可執行前述之加權式色彩内插操 ^換句話說,執行該色軸插程式之該處理騎具有的功能係 目同於上述以硬體來加以實作之色彩_裝置的功能。 相較於習知技術,本發明提供較強的影像邊緣制能力以及較 19 1296482 2品質’此外’由縣發_操作係根據鄰近像素於空間 j之概(spatialfeaturc)的_妓,因此其便可精確地 =母-像素所缺乏的色彩,換言之,經岭發财向性影像 且古自適性加權式色彩内插方法的,便可提供不具假色以及 ^有,素之間色調(hue)平滑轉變的銳利影像。再者,本發明方 =性影像邊緣自適性加權式色彩内插方法可應用於任何影像娜 衣置,例如數位相機或數位攝影機。 以上所述僅為本發明之較佳實施例,凡依本發明申請專利範 圍所做之均等變倾料m本發明之涵蓋範圍。 【圖式簡單說明】 第1圖為本發明應用於數位相機或數位攝影機以進行影像擷取的 影像擷取系統之一實施例的示意圖。 第2圖為第1圖所示之彩色濾鏡陣狀色彩型樣的示意圖。 第3圖為第1圖所示之色彩内插處理器的功能方塊圖。 第4圖為本發明重建一目標像素所缺乏之色彩成份之一實施例的 流程圖。 【主要元件符號說明】 10 影像擷取系統 11 鏡頭 12 1 Λ 彩色濾鏡陣列 13 影像感測器陣列 14 色彩内插處理器 4Ϊ 影像邊緣偵測電路 20 1296482
42 加權式内插電路 43 權重運算模組 44 内插模組 21

Claims (1)

1296482 、 十、申請專利範圍: , 種色毛内插裝置,用來處理對應一彩色濾、鏡陣列之複數個像 素以重建具有單一色彩成份之每一像素中所缺乏之色彩成 份,該色彩内插裝置包含有: 一影像邊緣偵測電路,用來偵測一目標像素所對應之複數個内 插方向上的影像邊緣,並產生分別對應於該複數個内插方向 之複數個影像邊緣指示值,其中該影像邊緣偵測電路係加總 • H彩差值之絕對值與—第二色彩差值之絕對值以產 生一總和並接著以一隨機調整因子來正規化該總和以正規 化該複數_插方向的鮮絲決定方向所對應之 -轉邊緣指示值,該第-色彩差值係為軸插方向上一第 一像素之色彩值與相反於該内插方向之另一内插方向上一 2二像素之色彩值之差’該第二色彩差值係為該内插方向上 -第三像素之色彩值與該目標像素之色彩值之差該第一、 • f二像素所具有之色彩成份係相同於該目標像素所缺乏之 一色彩成份’以及該第三像素之色彩成份係相同於該目標像 素所具有之色彩成份;以及 一内插電路,躲於像雜_電路,时依據分別位於 該複數個内插方向上複數個鄰近像素以及該複數個内插方 向崎應之該複數娜像邊緣細縣錢該目標像素所 . 2之至少—色彩成份,其巾該複數_近像素巾每一鄰近 . f素所具有的色彩成份係相同於該目標像素所缺乏之該色 22 1296482 2·如申請專利範圍第1項所述之色彩内插裝置,其中該内插電路 包含有: 一權重運算模組,用來依據該複數個影像邊緣指示值計算分別 對應該複數個鄰近像素之複數個權重;以及 一内插模組,耦接於該權重運算模組,用來依據該複數個權重 與該複數個鄰近像素所具有之色彩成份以重建該目標像 素所缺乏之該色彩成份。 3·如申請專利範圍第2項所述之色彩内插裝置,其中該内插裝置 係加總該複數個權重與該複數個鄰近像素所具有之色彩成份 的複數個乘積來重建該目標像素所缺乏之該色彩成份。 4·如申請專利範圍第丨項所述之色彩内插裝置,其中該彩色濾鏡 陣列係為一 Bayer色彩型樣。 5·如申請專利範圍第1項所述之色彩内插裝置,其係應用於一影 像擷取裝置。 6·如申請專利範圍第5項所述之色彩内插裝置,其中該影像擷取 裝置係為一數位相機或一數位攝影機。 7· 一種色彩内插方法,用來處理對應一彩色濾鏡陣列之複數個像 素以重建具有單一色彩成份之每一像素中所缺乏之色彩成 23 1296482 份,該色彩内插方法包含有: (a) 偵測一目標像素所對應之複數個内插方向上的影像邊緣,並 產生分別對應於该複數個内插方向之複數個影像邊緣指示 值’其中一内插方向所對應之一影像邊緣指示值係經由加總 一第一色彩差值之絕對值與一第二色彩差值之絕對值以產 生一總和並接著以一隨機調整因子來正規化該總和以正規 化該複數個内插方向的標準差而產生,該第一色彩差值係為 該内插方向上一第一像素之色彩值與相反於該内插方向之 另一内插方向上一第二像素之色彩值之差,該第二色彩差值 係為該内插方向上一第三像素之色彩值與該目標像素之色 彩值之差,該第一、第二像素所具有之色彩成份係相同於該 目標像素所缺乏之一色彩成份,以及該第三像素之色彩成份 係相同於該目標像素所具有之色彩成份;以及 (b) 依據分別位於該複數個内插方向上複數個鄰近像素以及該複 數個内插方向所對應之該複數個影像邊緣指示值來重建該 目標像素所缺乏之至少—色彩成份,其巾該複數個鄰近像素 中每-鄰近像素所具有的色彩成份係相同於該目標像素所 缺乏之該色彩成份。 8·如申請專利範圍帛7項所述之色彩内插方法,其中步驟⑻另包 含有: (al)依據該複數個影像雜指示料算分麟麟複數個鄰近 像素之複數個權重;以及 24 1296482 (a2)依據該複數個權重與該複數個鄰近像素所具有之色彩成份 以重建該目標像素所缺乏之該色彩成份。 9·如申請專利範圍第8項所述之色彩内插方法,其中步驟(a2)另 包含有:加總該複數個權重與該複數個鄰近像素所具有之色彩 成份的複數個乘積來重建該目標像素所缺乏之該色彩成份。 10·如申請專利範圍第7項所述之色彩内插方法,其中該彩色濾、鏡 陣列係為一 Bayer色彩型樣。 11·如申請專利範圍第7項所述之色彩内插方法,其係應用於一影 像擷取裝置。 Ο·如申請專利範圍第11項所述之色彩内插方法,其中該影像擷 取裝置係為一數位相機或一數位攝影機。
25
TW094141197A 2005-11-17 2005-11-23 Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels TWI296482B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/164,284 US7486844B2 (en) 2005-11-17 2005-11-17 Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels

Publications (2)

Publication Number Publication Date
TW200721851A TW200721851A (en) 2007-06-01
TWI296482B true TWI296482B (en) 2008-05-01

Family

ID=38040859

Family Applications (1)

Application Number Title Priority Date Filing Date
TW094141197A TWI296482B (en) 2005-11-17 2005-11-23 Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels

Country Status (3)

Country Link
US (1) US7486844B2 (zh)
CN (1) CN100521797C (zh)
TW (1) TWI296482B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9147257B2 (en) 2013-11-15 2015-09-29 Realtek Semiconductor Corp. Consecutive thin edge detection system and method for enhancing a color filter array image

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471852B1 (en) 2003-05-30 2013-06-25 Nvidia Corporation Method and system for tessellation of subdivision surfaces
US8571346B2 (en) 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US7885458B1 (en) 2005-10-27 2011-02-08 Nvidia Corporation Illuminant estimation using gamut mapping and scene classification
US7750956B2 (en) 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
US8005297B2 (en) * 2006-01-18 2011-08-23 Qualcomm Incorporated Method and apparatus for adaptive and self-calibrated sensor green channel gain balancing
US8737832B1 (en) 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
KR100809687B1 (ko) * 2006-02-28 2008-03-06 삼성전자주식회사 영상신호에 포함된 잡음을 제거할 수 있는 영상신호처리장치 및 방법
KR100780932B1 (ko) * 2006-05-30 2007-11-30 엠텍비젼 주식회사 컬러 보간 방법 및 장치
JP4983141B2 (ja) * 2006-08-04 2012-07-25 ソニー株式会社 カラーフィルタ
US8594441B1 (en) 2006-09-12 2013-11-26 Nvidia Corporation Compressing image-based data using luminance
US7822293B2 (en) * 2006-11-17 2010-10-26 Aptina Imaging Corporation Imaging systems and method for generating video data using edge-aware interpolation with soft-thresholding
US8723969B2 (en) 2007-03-20 2014-05-13 Nvidia Corporation Compensating for undesirable camera shakes during video capture
US8564687B2 (en) * 2007-05-07 2013-10-22 Nvidia Corporation Efficient determination of an illuminant of a scene
US8698917B2 (en) * 2007-06-04 2014-04-15 Nvidia Corporation Reducing computational complexity in determining an illuminant of a scene
US8724895B2 (en) * 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
CN101122998B (zh) * 2007-09-28 2010-06-23 宝利微电子系统控股公司 一种基于方向检测的图像插值方法及装置
US8570634B2 (en) 2007-10-11 2013-10-29 Nvidia Corporation Image processing of an incoming light field using a spatial light modulator
US9177368B2 (en) 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
US8780128B2 (en) 2007-12-17 2014-07-15 Nvidia Corporation Contiguously packed data
US8698908B2 (en) 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
KR100952667B1 (ko) * 2008-03-20 2010-04-13 중앙대학교 산학협력단 저역 통과 필터링을 기반으로 한 영상 보간 장치 및 방법
US7995840B2 (en) * 2008-03-28 2011-08-09 Seiko Epson Corporation Image processing apparatus, image processing method, and program for attaining image processing
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
US8111299B2 (en) * 2008-08-15 2012-02-07 Seiko Epson Corporation Demosaicking single-sensor camera raw data
JP5076186B2 (ja) * 2008-10-23 2012-11-21 株式会社メガチップス 画像拡大方法
US8373718B2 (en) 2008-12-10 2013-02-12 Nvidia Corporation Method and system for color enhancement with color volume adjustment and variable shift along luminance axis
TWI376646B (en) * 2008-12-23 2012-11-11 Silicon Motion Inc Pixel processing method and image processing system
US8331688B2 (en) * 2009-01-07 2012-12-11 International Business Machines Corporation Focus-based edge detection
US8571312B2 (en) * 2009-01-16 2013-10-29 Samsung Electronics Co., Ltd. Image interpolation method and apparatus using pattern characteristics of color filter array
KR101637488B1 (ko) * 2009-01-16 2016-07-07 삼성전자주식회사 컬러 필터 어레이의 패턴 특성을 이용한 이미지 보간 방법 및 장치
WO2010088465A1 (en) * 2009-02-02 2010-08-05 Gentex Corporation Improved digital image processing and systems incorporating the same
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
US8463035B2 (en) * 2009-05-28 2013-06-11 Gentex Corporation Digital image processing for calculating a missing color value
CN101969571B (zh) * 2009-07-27 2013-08-21 慧帝科技(深圳)有限公司 像素处理方法
US20110032269A1 (en) * 2009-08-05 2011-02-10 Rastislav Lukac Automatically Resizing Demosaicked Full-Color Images Using Edge-Orientation Maps Formed In The Demosaicking Process
TWI389571B (zh) * 2009-09-30 2013-03-11 Mstar Semiconductor Inc 影像處理方法以及影像處理裝置
US8698918B2 (en) 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
CN101834586A (zh) * 2010-04-21 2010-09-15 四川和芯微电子股份有限公司 随机信号产生电路及方法
JP5672776B2 (ja) * 2010-06-02 2015-02-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP2012099903A (ja) * 2010-10-29 2012-05-24 Sony Corp 画像処理装置、画像処理方法、撮像装置
JP2012191465A (ja) * 2011-03-11 2012-10-04 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
US9769430B1 (en) 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
DE102011086456A1 (de) * 2011-11-16 2013-05-16 Siemens Aktiengesellschaft Rekonstruktion von Bilddaten
CN104115211B (zh) 2012-02-14 2017-09-22 金泰克斯公司 高动态范围成像系统
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
CN103974043B (zh) * 2013-01-24 2016-02-10 瑞昱半导体股份有限公司 影像处理装置与影像处理方法
US9870598B2 (en) 2013-04-26 2018-01-16 Nvidia Corporation Low complexity adaptive filtering for mobile captures
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
CN104376540B (zh) * 2014-12-01 2017-02-22 北京思比科微电子技术股份有限公司 一种Bayer图像的去噪方法
US10520975B2 (en) * 2016-03-03 2019-12-31 Regents Of The University Of Minnesota Polysynchronous stochastic circuits
US10740686B2 (en) 2017-01-13 2020-08-11 Regents Of The University Of Minnesota Stochastic computation using pulse-width modulated signals
JP6781406B2 (ja) * 2017-03-28 2020-11-04 ブラザー工業株式会社 画像処理装置、および、コンピュータプログラム
US10848730B2 (en) * 2017-06-15 2020-11-24 Blackmagic Design Pty Ltd Raw image processing system and method
US10996929B2 (en) 2018-03-15 2021-05-04 Regents Of The University Of Minnesota High quality down-sampling for deterministic bit-stream computing
CN110858894B (zh) * 2018-08-23 2021-11-26 瑞昱半导体股份有限公司 色彩重建装置与方法
CN116347186A (zh) * 2021-12-15 2023-06-27 超威半导体(上海)有限公司 用于图像去马赛克的装置和方法
CN115082323B (zh) * 2022-08-19 2022-11-04 深流微智能科技(深圳)有限公司 图像处理方法、装置、电子设备及存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59171387A (ja) * 1983-03-18 1984-09-27 Hitachi Ltd テレビジヨン信号の構成方法
FI91029C (fi) * 1992-04-14 1994-04-25 Salon Televisiotehdas Oy Menetelmä ja kytkentäjärjestely kuvaruudulla näytettävän kuvan pysty- ja vaakaresoluution kaksinkertaistamiseksi
JP3644874B2 (ja) * 1999-07-15 2005-05-11 シャープ株式会社 画像補間装置
US6628330B1 (en) * 1999-09-01 2003-09-30 Neomagic Corp. Color interpolator and horizontal/vertical edge enhancer using two line buffer and alternating even/odd filters for digital camera
US7088392B2 (en) * 2001-08-27 2006-08-08 Ramakrishna Kakarala Digital image system and method for implementing an adaptive demosaicing method
US7242819B2 (en) * 2002-12-13 2007-07-10 Trident Microsystems, Inc. Method and system for advanced edge-adaptive interpolation for interlace-to-progressive conversion

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9147257B2 (en) 2013-11-15 2015-09-29 Realtek Semiconductor Corp. Consecutive thin edge detection system and method for enhancing a color filter array image

Also Published As

Publication number Publication date
CN1968422A (zh) 2007-05-23
CN100521797C (zh) 2009-07-29
TW200721851A (en) 2007-06-01
US7486844B2 (en) 2009-02-03
US20070110300A1 (en) 2007-05-17

Similar Documents

Publication Publication Date Title
TWI296482B (en) Color interpolation apparatus and color interpolation method utilizing edge indicators adjusted by stochastic adjustment factors to reconstruct missing colors for image pixels
JP5529048B2 (ja) 補間システムおよび方法
JP5048600B2 (ja) データ品位を向上する方法及びシステム
US20130077862A1 (en) Image processing apparatus, image processing method and program
Hore et al. An edge-sensing generic demosaicing algorithm with application to image resampling
JP2000341707A (ja) 方向性平滑化演算を用いた画像のモザイク解除方法
JP2005136766A (ja) 画像処理装置および画像処理方法
TW200810566A (en) Imaging apparatus
JP2004048465A (ja) 画像処理装置および画像処理プログラム
JP5049460B2 (ja) カラー撮像画像データの補間方法およびプログラム
JP2011041210A (ja) 信号処理装置、撮像装置及び信号処理方法
Lukac et al. A new CFA interpolation framework
Zhou et al. An effective color image interpolation algorithm
Hua et al. A color interpolation algorithm for Bayer pattern digital cameras based on green components and color difference space
Wu et al. Improvement of color video demosaicking in temporal domain
Sung et al. Color filter array demosaicking by using subband synthesis scheme
Wang et al. Demosaicing with improved edge direction detection
Yang et al. Quality evaluation of color demosaicing according to image resolution
Battiato et al. Recent patents on color demosaicing
Lee et al. Edge-adaptive demosaicking for artifact suppression along line edges
TW200945257A (en) Method for rebuilding color information of pixels
Jeong et al. Edge-Adaptive Demosaicking for Reducing Artifact along Line Edge
Goyal et al. Impact of neighborhood size on median filter based color filter array interpolation.
CN116896689B (zh) Bayer图像的处理方法、装置及电子设备
KR20190036253A (ko) 그라디언트 기반 rgbw cfa 디모자킹 장치 및 방법

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees