TWI451754B - 改善缺陷色彩及全色彩色濾光器陣列影像 - Google Patents

改善缺陷色彩及全色彩色濾光器陣列影像 Download PDF

Info

Publication number
TWI451754B
TWI451754B TW098136045A TW98136045A TWI451754B TW I451754 B TWI451754 B TW I451754B TW 098136045 A TW098136045 A TW 098136045A TW 98136045 A TW98136045 A TW 98136045A TW I451754 B TWI451754 B TW I451754B
Authority
TW
Taiwan
Prior art keywords
color
channel
pixels
image
pixel
Prior art date
Application number
TW098136045A
Other languages
English (en)
Other versions
TW201031184A (en
Inventor
Aaron T Deever
James E Adams Jr
John F Hamilton Jr
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW201031184A publication Critical patent/TW201031184A/zh
Application granted granted Critical
Publication of TWI451754B publication Critical patent/TWI451754B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • H04N25/683—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects by defect estimation performed on the scene signal, e.g. real time or on the fly detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

改善缺陷色彩及全色彩色濾光器陣列影像
本發明係關於具有若干色彩通道及一全色通道之彩色濾光器陣列影像，且特定言之係關於提供一改善的彩色濾光器陣列影像或全彩影像。
一種電子成影系統相依於一透鏡系統在一電子影像感測器上形成一影像，以建立一視覺影像之一電子表示。此等電子影像感測器之實例包含電荷耦合裝置(CCD)影像感測器及主動像素感測器(APS)裝置(因為在一互補金氧半導體製程中製造APS裝置之能力，所以APS裝置通常被稱為CMOS感測器)。一感測器包含二維陣列個別圖像元素感測器或像素。如在共同讓與之美國專利第3,971,065號中由Bayer所描述，每一像素通常具有任一紅色濾光器、綠色濾光器或藍色濾光器，使得可產生一全彩影像。無關於使用的電子技術(例如CCD或CMOS)，該像素作為與在由該電子成像系統擷取一影像期間照射該像素之光量成正比而在其中累積光電子之一儲存區。
並非進入一電子成像系統之前光學元件之所有光照射一像素。當行進穿過該電子成像系統之光徑時損失大部分光。通常，歸因於透鏡反射及霾而損失大約5%光，且因為該彩色濾光器陣列而損失大約60%。此外，若干光照射並非感光之像素區域。為聚集做出一正確曝光所需要之光量，電子成像感測器在一時間間隔(稱為曝光時間)期間聚集光。基於待成像之場景之亮度測量，使用該電子成像系統(通常為一自動曝光控制)，以判定將產出具有有效亮度之一影像之一合適曝光時間。場景越暗，該電子成像系統聚集光以做出一正確曝光所需要之時間量越大。然而，熟知的是較長曝光可引起模糊影像。此模糊可為在一場景中物體移動之結果。當擷取期間該影像擷取裝置相對於該場景移動時亦可產生此模糊。
減少模糊之一方法為縮短該曝光時間。此方法在影像擷取期間不足曝光該電子影像感測器，因此產生暗影像。可施加一類比增益或數位增益至該影像信號以增亮該等暗影像，但熟習此項技術者將瞭解此將引起雜訊影像。
減少模糊之另一方法為縮短該曝光時間且保留行進穿過該光徑之更多光並導引該光至電子影像感測器之像素。此方法可產生具有減少的模糊及可接受雜訊位準之影像。然而，電子成像系統之當代業界趨勢為使成像系統更小且更低廉。因此，可聚集更多光並保留行進穿過孔徑之更多光之具有大孔徑之高級光學元件為不適用。
減少模糊之另一方法為縮短曝光時間並使用一攝像閃光增補該可獲得光。一攝像閃光產生持續一瞬間之一強烈光通量且設定曝光時間為涵蓋閃光時間。可設定曝光時間為明顯短於無一閃光間隔之間隔，因為攝像閃光為強烈。因此，減少在曝光期間之模糊。然而，在亮日光下之物體仍可具有運動模糊，若介於閃光與物體之間之距離為小，閃光攝像術為最有用，且一閃光增加一影像擷取裝置之額外成本及重量。
頒予給Tull之美國專利第6,441,848號描述具有藉由監測每一像素收集電子之速率而移除物體運動模糊之一電子影像感測器之一數位相機。若光照射一像素之速率改變，則假定像素檢視之影像之亮度改變。當內建於感測器陣列中之一電路偵測到影像亮度正在改變時，保留收集的電荷量並記錄偵測到亮度改變之時刻。其中停止曝光之每一像素值係藉由線性外推該像素值而調整至適當值，使得該像素值對應於完整影像之動態範圍。此方法之一缺點為當曝光開始時已在移動中之一物體之外推像素值為極不確定。如感測器所見，影像亮度從不具有一恆定值，且因此在外推像素值中之不確定性引起具有運動假影之一影像。另一缺點為，該方法使用特殊硬體，因此不可搭配在當前商業相機中使用的習知習知電子影像感測器一起使用。
減少模糊之另一方法為擷取二個影像，一影像使用一短曝光時間，且一影像使用一長曝光時間。選取短曝光時間以便產生為雜訊但相對無運動模糊之一影像。選取長曝光時間以便產生幾乎無雜訊但可能具有明顯運動模糊之一影像。使用影像處理演算法以組合該二擷取影像為一最終輸出影像。在美國專利第7,239,342號、美國專利申請公開案第2006/0017837號、美國專利申請公開案第2006/0187308號及美國專利申請公開案第2007/0223831號中描述此等方法。此等方法之缺點包含需要額外緩衝區記憶體以儲存多個影像，增加處理多個影像之複雜度，且難以解析物體運動模糊。
減少模糊之另一方法為縮短曝光時間並保留行進穿過該彩色濾光器陣列之更多光。對於矽基影像感測器，像素組件本身對可見光寬泛地敏感，容許無濾光式像素適於擷取一單色影像。為擷取彩色影像，通常在像素樣式上使用用以製造僅對可見光光譜之一部分敏感之個別像素的不同濾光器材料製造濾光器之二維樣式。如在美國專利第3,971,065號中所述，濾光器之此一樣式之一實例為熟知Bayer彩色濾光器陣列樣式。該Bayer彩色濾光器陣列具有在典型條件下獲得全彩影像之優勢，然而，已發現此解決方法有其缺點。雖然需要濾光器以提供窄帶光譜回應，但入射光之任何濾光趨於減少到達每一像素之光量，因而減少每一像素之有效光敏感度並降低像素回應速度。
作為用於改善在變化光條件下之影像擷取及用於改善成像感測器之總體敏感度之解決方法，已揭示對熟悉的Bayer樣式之修改。舉例而言，共同讓與的Hamilton等人之美國專利申請公開案第2007/0046807號及Compton等人之美國專利申請公開案第2007/0024931號均描述將彩色濾光器與全色濾光器元件以某種方式空間交錯組合之替代感測器配置。運用此類型解決方法，影像感測器之某部分偵測色彩；另一全色部分針對改善的動態範圍及敏感度而最佳化以偵測跨越可見能帶之光。因此，此等解決方法提供像素之一樣式，一些像素具有彩色濾光器(提供一窄帶光譜回應)，且一些像素無彩色濾光器(無濾光式「全色」像素或經濾光以提供一寬頻光譜回應之像素)。然而，此解決方法不足以容許在低光條件下擷取無運動模糊之高品質影像。
在天體攝像術及遠端感測領域已知的在低光情景下減少模糊及擷取影像之另一方法為擷取二個影像：具有高空間解析度之一全色影像及具有低空間解析度之一多譜影像。合併該等影像以產生具有高空間解析度之一多譜影像。在美國專利第7,340,099號、美國專利第6,937,774號及美國專利申請公開案第2008/0129752號中描述此等方法。此等方法之缺點包含需要額外緩衝區記憶體以儲存多個影像且難以解析物體運動模糊。
因此，存在有產生具有彩色像素及全色像素之一改善的彩色濾光器陣列影像或全彩影像之需求，該影像藉由使用習知電子影像感測器而具有減少的運動模糊，無需使用一攝像閃光、無需增加影像雜訊且無明顯額外成本或複雜度或記憶體要求。
本發明之目的為提供一種具有彩色像素及全色像素之改善的彩色濾光器陣列影像。經由一種改善來自一影像感測器並具有複數個色彩通道及一全色通道之一第一彩色濾光器陣列影像之方法而達成此目的，該方法包括：
(a)使用該影像感測器以不同於該等色彩通道之至少一者之一曝光時間擷取該全色通道；
(b)使用該等色彩通道提供一照度通道；及
(c)分析該彩色濾光器陣列影像及該照度通道以判定在該等色彩通道中之缺陷像素，並使用相鄰色彩及照度像素值改善該等缺陷像素，以產生具有至少一改善的通道之一第二彩色濾光器陣列影像或全彩影像。
本發明之一優勢為可運用對影像處理軟體之基本變化而無需使用一攝像閃光或長曝光時間以合適地曝光一單一影像而產生具有減少的模糊之改善的彩色濾光器陣列影像或全彩影像。
本發明之另一優勢為可產生具有減少的影像擷取裝置引起模糊之彩色濾光器陣列影像或全彩影像而無需具有可橫向移動透鏡元件之昂貴地特殊透鏡。
本發明之另一優勢為可產生具有減少的模糊之彩色濾光器陣列影像或全彩影像而無需用於儲存多個影像之增加的緩衝區記憶體。
透過檢視較佳實施例及隨附申請專利範圍之下文詳細描述，並參考附圖，將更清晰地瞭解及意識到本發明之此及其他態樣、目的、特徵及優勢。
在下文描述中，將明確描述作為一軟體程式而一般實施之本發明之一較佳實施例。熟習此項技術者將容易瞭解亦可在硬體中建構此軟體之相等項。因為影像處理演算法及系統為熟知，特定言之當前描述尤其將針對形成依據本發明之系統及方法之一部分或與其等更直接協同操作之演算法及系統。可自在此項技術中習知的此等系統、演算法、組件及元件中選取未在本文中特定顯示及描述之此等演算法及系統之其他態樣及隨之涉及的用於產生並另外處理影像信號之硬體或軟體。在下列材料中給定如根據本發明所述之系統，對於實施本發明有用之本文未特定顯示、暗示或描述的軟體為習知並在此等技術之普通技術內。
更進一步，如本文所用，電腦程式可儲存在一電腦可讀儲存媒體內，該電腦可讀儲存媒體可包含(舉例而言)諸如一磁碟(諸如一硬碟或一軟碟)或磁帶之磁性儲存媒體；諸如一光碟、光學磁帶或機器可讀條碼之光學儲存媒體；諸如隨機存取記憶體(RAM)或唯讀記憶體(ROM)之固態電子儲存媒體；或用以儲存一電腦程式之任何其他實體裝置或媒體。
在描述本發明之前，促進理解的是注意本發明較佳係用於任何熟知電腦系統(諸如一個人電腦)。因此，本文中將不詳細討論電腦系統。亦有益的是注意影像係直接輸入至電腦系統(舉例而言藉由一數位相機)或在輸入至電腦系統之前經數位化(舉例而言藉由掃描一原件，諸如一鹵化銀薄膜)。
參考圖1，繪示用於實施本發明之一電腦系統110。雖然為說明一較佳實施例之目的繪示該電腦系統110，但是本發明不限於繪示的該電腦系統110，但可用在任何電子處理系統，諸如在家庭電腦、小賣部、零售或批發相片沖洗或用於處理數位影像之任何其他系統中找到。該電腦系統110包含用於接收及處理軟體程式並用於執行其他處理功能之一基於微處理器之單元112。用於(例如)藉由一圖形使用者介面顯示與軟體相關聯的使用者相關資訊之一顯示器114係經電連接至該基於微處理器之單元112。用於容許一使用者輸入資訊至軟體之一鍵盤116亦係經連接至該基於微處理器之單元112。如在此項技術中所熟知，作為使用該鍵盤116用於輸入之一替代物，一滑鼠118可用於移動在該顯示器114上之一游標120並用於選取該游標120覆蓋之一項目。
通常包含軟體程式之一唯讀光碟記憶體(CD-ROM)124係經插入至該基於微處理器之單元中，用於提供輸入軟體程式及其他資訊至該基於微處理器之單元112之一途徑。另外，一軟碟126亦可包含一軟體程式，且係經插入至該基於微處理器之單元112中，用於輸入該軟體程式。該唯讀光碟記憶體(CD-ROM)124或該軟碟126可兩者擇一地插入至經連接至該基於微處理器之單元112的位於外部之一磁碟驅動單元122。更進一步，如在此項技術中所熟知，該基於微處理器之單元112可經程式化用於內部儲存該軟體程式。該基於微處理器之單元112亦可具有至一外部網路(諸如一區域網路或網際網路)的一網路連接127(諸如一電話線)。一印表機128亦可連接至該基於微處理器之單元112用於列印來自該電腦系統110之輸出之一書面複本。
經由一個人電腦卡(PC卡)130(諸如，如其先前名稱PCMCIA卡(基於個人電腦記憶卡國際協會之規格，其含有在該個人電腦卡130中電子體現的數位化影像)，亦可在該顯示器114上顯示影像。最終，該個人電腦卡130係經插入至該基於微處理器之單元112中，用於容許在該顯示器114上視覺顯示該影像。另一選擇為，該個人電腦卡130可經插入至連接至該基於微處理器之單元112的位於外部之一個人電腦卡讀卡機132。亦可經由該光碟124、該軟碟126或該網路連接127而輸入影像。已可自多種源(諸如一數位相機(未繪示)或一掃描器(未繪示))獲得儲存在該個人電腦卡130、該軟碟126或該光碟124中或經由該網路連接127輸入之任何影像。亦可經由連接至該基於微處理器之單元112的一相機銜接埠136自一數位相機134直接輸入影像，或經由至該基於微處理器之單元112之一纜線連接138或經由至該基於微處理器之單元112之一無線連接140自該數位相機134直接輸入影像。
依據本發明，該演算法可經儲存於先前提到的任何儲存裝置內並經應用於彩色濾光器陣列影像，以便產生改善的彩色濾光器陣列影像或全彩影像。
在下文中，一彩色濾光器陣列影像係指使用經製造在像素上具有一彩色濾光器陣列樣式之一影像感測器擷取的一影像。一色彩通道係指相對應於一特別彩色濾光器之影像值。類似地，一全色通道係指相對應於一全色濾光器之影像值。一全彩影像係指對於每一像素有各色彩通道存在之一影像。一全彩影像亦可具有對於每一像素存在之一全色通道。可作為現有通道之一函數建立額外通道，諸如一照度通道。
圖2係本發明之一較佳實施例之一高階圖解。使用一數位相機134以擷取一彩色濾光器陣列影像270。特定言之，該數位相機134擷取一全色通道202及色彩通道204。該彩色濾光器陣列可含有紅色像素、綠色像素、藍色像素及全色像素，然而可使用其他通道組合(諸如青色、洋紅、黃色及全色)。包含全色像素尤為重要。以使得一全色通道252的曝光時間長度不同於至少一色彩通道254的曝光時間長度之方式，擷取一彩色濾光器陣列影像275。該全色通道252可具有短於該等色彩通道254之每一者之曝光，且曝光間隔經配置使得曝光同時結束。另一選擇為，用於該全色通道252之一較短曝光可在用於該等色彩通道254之該較長曝光內暫時居中。
使用該等色彩通道254以計算一照度通道206。用於自色彩通道254計算一照度通道206之公式在此項技術中為熟知。在一較佳實施例中，選擇該等色彩通道254之加權，使得一經計算照度通道256對於該全色通道252為可比較。
在下一步驟中，分析該彩色濾光器陣列影像275(特定言之，該全色通道252及該經計算照度通道256兩者)以判定缺陷像素208。缺陷像素係經定義為該經計算照度像素值未匹配該全色像素值及需要修改彩色像素值之此等像素。改善的像素係經定義為計算一經修改彩色像素值之此等像素。
在下一步驟中，使用相鄰像素210改善該等缺陷像素208。相鄰像素210可自一任意大半徑繪製。相鄰像素210亦可自一零半徑繪製，其暗示使用相對應於特定缺陷像素之全色值、照度值及色彩值以改善該像素。
在最終步驟中，該等改善的缺陷像素係經併入至該彩色濾光器陣列影像275中，以形成一改善的彩色濾光器陣列影像212。
現將更詳細地描述圖2中概述的個別步驟。首先，一數位相機134擷取一彩色濾光器陣列影像270。圖3繪示一較佳實施例之一實例彩色濾光器陣列樣式301。在此實例中，大約一半像素為全色302、而另一半為分為紅色(R)304、綠色(G)306及藍色(B)308之彩色像素。
用於該等全色像素302之曝光週期短於用於該等彩色像素之曝光週期。此容許以防止過度運動模糊之一短曝光時間擷取該全色通道252，同時亦容許以防止過度彩色雜訊假影之充分曝光擷取該等色彩通道254。
如圖4所示，在讀出該影像感測器期間可使用各種像素併像方案。在圖4中，繪示一影像感測器之兩個部分列401、402。在此實例中，用於一感測器陣列之基礎讀出電路使用每次可切換地連接至一個或多個周圍像素之一浮動擴散404。對於熟習數位影像獲得技術者，實施及使用浮動擴散為熟知。圖4繪示習知配置，其中每一浮動擴散404用於四個周圍像素，在一實例中繪示為四集體406。
可以任何許多組合切換像素信號至浮動擴散404。在一讀出組合408中，在四集體406中之每一像素具有分離地傳送至浮動擴散404之電荷，且因此個別讀出。在一讀出組合410中，併像全色像素P，即，藉由同時清空全色像素P儲存之電荷至浮動擴散404而共用浮動擴散404；類似地，併像在該四集體中之二彩色(G)像素，同時切換該等彩色像素信號至浮動擴散404。在另一讀出組合412中，全色像素P未經併像，而是予以分離地讀出；此處併像彩色像素(G)。
在本發明之一較佳實施例中，未併像該等全色像素，而併像彩色像素412，引起在圖5中繪示的讀出。圖5繪示僅用於影像感測器之一部分之讀出。在圖5中，該等全色像素佔有一棋盤式樣式502，而該等彩色像素共同形成一低解析度Bayer樣式504。
在已自該感測器讀出該彩色濾光器陣列影像275之後，使用該等色彩通道254以計算一照度通道206。用於照度之一計算上簡單計算給定為L=R+2G+B。在一較佳實施例中，如圖6所示，量測紅色像素、綠色像素、藍色像素及全色像素之光譜回應，並計算該照度通道256作為給出與該全色通道之一有效疑合之紅色、綠色及藍色之一線性組合。
參考圖6之圖表，繪示在一典型相機應用中具有紅色彩色濾光器、綠色彩色濾光器及藍色彩色濾光器之像素之相對光譜敏感度。圖6中之X軸表示以奈米為單位之光波長，跨越大約自近紫外線至近紅外線之波長，且Y軸表示效率(正規化)。在圖6中，曲線610表示用以阻擋紅外光及紫外光接觸影像感測器之一典型寬頻濾光器之光譜透射特性。需要此一濾光器，因為用於影像感測器之彩色濾光器通常未阻擋紅外光，因此像素不能辨別紅外光與在該等像素相關聯的彩色濾光器之通帶內之光。因此，由曲線610繪示的紅外線阻擋特性防止紅外光惡化可見光信號。對於具有應用之紅色濾光器、綠色濾光器及藍色濾光器之一典型矽感測器的光譜量子效率(即經擷取並轉換為一可量測之電信號的入射光子比例)與由曲線610表示的該紅外線阻擋濾光器之該光譜透射特性相乘，以產生由對於紅色之一曲線614、對於綠色之一曲線616及對於藍色之曲線618所表示的經組合系統量子效率。從此等曲線瞭解，每一彩色光敏反應僅對於該可見光譜之一部分為敏感。相比之下，由一曲線612繪示不具有應用之彩色濾光器(但包含該紅外線阻擋濾光器特性)之相同矽感測器之光敏反應；此為一全色光敏反應之一實例。藉由比較該等彩色光敏反應曲線614、616及618與一全色光敏反應曲線612，顯而易見的是，該全色光敏反應對於寬光譜光之敏感度可為對任何該等彩色光敏反應之敏感度的二至四倍。
首先，每一低解析度Bayer樣式504像素具有一色彩值--紅色、藍色或綠色。有自此起始點計算照度值之很多方式。一種方法為執行彩色濾光器陣列內插以在所有像素處產生紅色值、綠色值及藍色值。彩色濾光器陣列內插演算法在此項技術中為熟知且參考下列專利：美國專利第5,506,619號、第5,629,734號及第5,652,621號。自在每一像素處之該等經內插的紅色值、綠色值及藍色值計算在每一像素處之照度值。一旦已計算照度值，可捨棄該等經內插的彩色濾光器陣列值。若該內插演算法為一線性函數，其可與後續照度函數組合，以形成表達作為該等可獲得彩色濾光器陣列值的一線性組合之一像素照度值的一單一線性方程式。在計算照度值之另一方法中，在一2×2或更大相鄰域中之紅色值、綠色值及藍色值可在該相鄰域上求平均數並可用以計算該完整相鄰域之一平均照度值。
在步驟208中，全色通道連同照度通道及色彩通道一起使用以判定缺陷像素。接下來在步驟210中改善該等缺陷像素。首先，如圖7A所示，加總全色通道。圖7A繪示用於影像感測器之一部分之方法。在此圖式中，加總來自該全色讀出502之全色像素對702，以產生與該照度通道256之空間解析度相同之一全色通道704。在此點處，可過濾全色通道或照度通道以減少雜訊。隨後，可使用各種做法以判定缺陷像素208並且改善缺陷像素210。在一方法中，一缺陷像素係經定義為該照度值未匹配相對應加總的全色值之任何像素。在此情況下，藉由在缺陷像素處計算色差(定義為C-L)而改善該缺陷像素，其中C為色彩值(相依於該像素，紅色值、綠色值或藍色值)，且L為相對應照度值。將此色差相加至加總的全色值：，其中為改善的色彩值，且為加總的全色值。當在一對數空間中時，使用色差為較佳。另一選擇為，當在一線性空間中表示像素值時，可按比率倍數地按比例調整色彩值。
在測定缺陷像素208並改善缺陷像素210之另一方法中，首先，所有像素係經分類為有缺陷。對於每一像素，在一半徑k像素窗中求色差(C-L)平均數。如圖7B所示，該平均數限於在Bayer樣式中匹配空間位置之像素。在此圖式中，繪示圍繞一中心綠色像素之一半徑2。在此圖式中，九個圓圈像素752促成計算色差以用於改善一中心像素754。將平均色差值相加回至相對應全色值，以產生一改善的色彩值。
對於一給定像素(i,j)，由下列方程式給出此系列步驟：
其中：
I為限制包含於該相同Bayer樣式空間位置之此等像素之一指示項函數，且因此必需具有與該改善的中心像素相同之色彩。C Diff 為平均色差。最後，具有改善的色彩值之該改善的像素由下式給出：
C improved (i ,j )=Pan (i ,j )+C Diff (i ,j )。
在偵測缺陷像素208並改善缺陷像素210之另一方法中，首先，所有像素係經分類為有缺陷。對於每一像素，在該照度值充分類似於參考像素全色值且像素之空間位置匹配在Bayer樣式內之該參考像素之該空間位置的所有位置中，在k像素窗中求色差(C-L)平均數。判定充分類似值之一較佳方法為定義與該參考像素全色值相關聯的一預期雜訊標準偏差σ。接著，使用4σ之一臨限值以識別類似照度值。照度值與該參考像素全色值相差不多於4σ之像素被認為類似，且該等相對應色差係包含於該色差平均數內。
藉由將該參考全色值相加回至該平均色差而改善該像素色彩值。在此階段期間，跳過不具有充分類似相鄰照度值之全色值之像素，且隨後產生對於此等位置之改善的色彩值。
對於一給定像素(i,j)，由下列方程式給出此系列步驟：
其中：
I為限制包含於該相同Bayer樣式空間位置之此等充分類似像素之一指示項函數，且因此必需具有與該改善的中心像素相同之色彩。C Diff 為平均色差。最後，具有改善的色彩值之該改善的像素由下式給出：
C improved (i ,j )=Pan (i ,j )+C Diff (i ,j )。
在後文中，此步驟稱為像素匹配步驟。
需要一最終步驟以計算在該像素匹配步驟期間跳過的所有像素之改善的色彩值。在下文中，此步驟稱為填隙(void filling)。使V指在該像素匹配步驟期間跳過之該組像素。在本發明之一方法中，藉由作為該像素的全色值及在該Bayer樣式內之相同空間位置之相鄰像素之全色值(已計算改善的色彩值)之一函數，指派一權重至在V中之所有像素而實現填隙。該等像素係根據其等權重而排序，且具有最高權重之像素具有作為該像素的全色值以及相關聯於相鄰全色值與改善的色彩值的色差值之一函數而計算之一改善的色彩值。在計算一改善的色彩值之後，自該組V移除選取的像素，重新計算其餘像素權重並重複處理程序直到該組V為空。
在圖8及圖9中更詳細地描述與填隙之一方法相關聯的步驟。首先，該組V定義為：
V ={(i ,j )∣(i ,j )skipped in pixel matching step }。
接著，對於在V中之每一像素801，計算介於該像素與該相同Bayer樣式空間位置之該像素之四個最近相鄰者(4-相鄰者)之間之全色差異802。下文方程式說明計算至北之像素相鄰者。使用類似方程式以計算至南、東及西之相鄰者之全色差異。
另外，對於在V中之每一像素(i,j)，判定可促成計算像素(i,j)之改善的色彩值之該組可獲得4-相鄰者A(i,j)804。若相鄰者已具有一經計算的改善的色彩值，則一4-相鄰者被認為可獲得並包含於該組A(i,j)內：
對於在V中之每一像素，計算每一4-相鄰者之權重806：
其中σ(Pan(i,j))為與像素(i,j)之全色值相關聯的雜訊標準偏差。正規化此等權重使得其等加總為一權重808。在其餘討論中，W係指該等正規化權重。最後，計算在V中之每一像素之一可獲得權重項810。該可獲得權重表示相對應於已計算一改善的色彩值之像素之正規化權重之分率。
現參考圖9，起始在每一反覆中識別在V中具有最大可獲得權重之像素、計算此像素之一改善的色彩值、自V移除此像素並更新可獲得組及可獲得權重之一迴圈901。特定言之，選取在V中具有最大可獲得權重之像素(i,j)902。對於像素(i,j)之每一4-相鄰者，計算色差權重904。此為根據像素(i,j)之可獲得權重正規化之一權重：
使用此等色差權重，計算該選取像素之一改善的色彩值906：
在已計算該改善的色彩值之後，更新可獲得組以反映該新近產生的改善的色彩值908：
類似地，更新可獲得權重項910：
最後，自該組V移除像素(i,j)912。
V =V \( i ,j )
反複此迴圈直到該組V為空901。
該等改善的色彩值連同該原始全色通道252一起表示一改善的彩色濾光器陣列影像212，在此特別實例中，相對應於具有圖3中繪示的該彩色濾光器陣列樣式及在由圖4中之412給定的讀出期間之該併像策略之一影像感測器。
圖10中繪示本發明之另一實施例。在此實施例中，使用一數位相機134以擷取一彩色濾光器陣列影像270。特定言之，該數位相機134擷取一全色通道202及色彩通道204。以使得一全色通道252的曝光長度不同於至少一色彩通道254的曝光週期長度之方式，擷取一彩色濾光器陣列影像275。對該等色彩通道254執行一彩色濾光器陣列內插205以產生在每一像素處具有紅色值、綠色值及藍色值之一經內插的彩色影像255。使用該經內插的彩色影像255以計算該照度通道206，產生一經計算的照度通道256。隨後，偵測208並改善210缺陷像素，並產生一改善的彩色濾光器陣列影像212。
在偵測缺陷像素208及改善缺陷像素210期間，在每一像素處在此像素處之該Bayer樣式中出現之色彩通道被改變。此像素之另二色彩通道值用於計算中、但保持不變並且最終捨棄。舉例而言，給定一紅色Bayer樣式像素，改善在此像素處之一紅色色彩值。此改善處理程序可使用相鄰原始色彩值以及經內插的色彩值兩者。在此像素處之該等經內插的綠色色彩值及藍色色彩值可用於偵測中並且改善該像素及其他缺陷像素，但最終捨棄。當該等改善的色彩通道與該原始全色通道252相組合時，最終結果係一改善的彩色濾光器陣列影像212。
圖11中繪示本發明之另一實施例。在此實施例中，使用一數位相機134以擷取一彩色濾光器陣列影像270。特定言之，該數位相機134擷取一全色通道202及色彩通道204。以使得一全色通道252的曝光長度不同於至少一色彩通道254的曝光週期長度之方式，擷取一彩色濾光器陣列影像275。對該等色彩通道254執行彩色濾光器陣列內插205以產生在每一像素處具有紅色值、綠色值及藍色值之一經內插的彩色影像255。使用該經內插的彩色影像255以計算該照度通道206，產生一經計算的照度通道256。隨後，偵測208及改善210缺陷像素，並產生一改善的全彩影像213。
在偵測缺陷像素208及改善缺陷像素210期間，分析在每一像素處之所有三色彩通道值以偵測及改善缺陷像素。可產生所有三色彩通道之改善的色彩值。當該等改善的色彩通道與該原始全色通道252相組合時，最終結果係一改善的全彩影像。
圖12中繪示本發明之另一實施例。在此實施例中，使用一數位相機134以擷取一彩色濾光器陣列影像270。特定言之，該數位相機134擷取一全色通道202及色彩通道204。以使得一全色通道252的曝光長度不同於至少一色彩通道254的曝光週期長度之方式，擷取一彩色濾光器陣列影像275。對該等色彩通道254執行彩色濾光器陣列內插205以產生在每一像素處具有紅色值、綠色值及藍色值之一經內插的彩色影像255。使用該經內插的彩色影像255以計算該照度通道206，產生一經計算的照度通道256。隨後，偵測208及改善210缺陷像素。使用一彩色濾光器陣列整數倍降低取樣211以減少該全彩影像至一改善的彩色濾光器陣列影像212。
在偵測缺陷像素208及改善缺陷像素210期間，分析在每一像素處之所有三色彩通道值以偵測及改善缺陷像素。可產生所有三色彩通道之改善的色彩值。接著整數倍降低取樣該所得影像回到該彩色濾光器陣列樣式211，並與該原始全色通道252相組合，以產生一改善的彩色濾光器陣列影像212。此特別實施例與需要產生一改善的彩色濾光器陣列影像212之情況相關，然而，偵測缺陷像素208及改善缺陷像素210之該等步驟受益於貫穿該等偵測及改善步驟具有在所有像素處判定及保持所有色彩通道之改善的色彩值。
圖13中繪示本發明之另一實施例。在此實施例中，使用一數位相機134以擷取一彩色濾光器陣列影像270。特定言之，該數位相機134擷取一全色通道202及色彩通道204。以使得一全色通道252的曝光長度不同於至少一色彩通道254的曝光週期長度之方式，擷取一彩色濾光器陣列影像275。內插203該全色通道252以產生一經內插的全色通道253。對該等色彩通道254執行彩色濾光器陣列內插205以產生在每一像素處具有紅色值、綠色值及藍色值之一經內插的彩色影像255。使用該經內插的彩色影像255以計算該照度通道206，產生一經計算的照度通道256。增加取樣207該經內插的彩色影像255及照度通道256以產生與該經內插的全色通道253之解析度相同之增加取樣的色彩及照度通道257。增加取樣在此項技術中為熟知，且諸如雙線性內插之熟悉技術可用於該任務。隨後，偵測208及改善210缺陷像素，並產生一改善的全彩影像213。
在偵測缺陷像素208及改善缺陷像素210期間，分析在每一像素處之所有三色彩通道值以偵測及改善缺陷像素。可產生所有三色彩通道之改善的色彩值。當該等改善的色彩通道與該經內插的全色通道253相組合時，最終結果係一改善的全彩影像213。
在本發明之其他實施例中，包含運動估計及補償之一額外步驟，以在偵測及改善缺陷像素之前對齊該全色通道與該等色彩及照度通道。由於該全色通道之曝光時間不同於至少一色彩通道之曝光時間，可能的是當在擷取的場景中有運動(相機運動或物體運動)時，首先在該全色通道內含有的影像內容未對齊於在色彩通道及照度通道內含有的影像內容。在此情形下，有益的是，在偵測及改善缺陷像素之前，包含一運動估計及補償步驟，以對齊該等色彩及照度通道與該全色通道。
在執行運動估計及補償之一方法中，使用該照度通道以使該等色彩通道空間對齊於該全色通道。運動估計及補償技術在此項技術中為熟知，但在精確性、穩健性及計算複雜度上不同。運動模型及技術包含：仿射模型、來自光學流演算法之基於區塊的平移運動場及密集運動場。在一記憶體受限環境下之運動估計及補償之一方法中，在一給定時間內在記憶體中讀出並緩衝少量感測器像素列。使用基於區塊的平移運動以提供一快速、局部運動模型。可部分相依於在該緩衝區內可獲得之像素列數目而選擇該等區塊之尺寸及用以匹配區塊之搜尋範圍。舉例而言，如圖14所示，給定對於每一通道1402可獲得之具有16線之一緩衝區，該全色通道1404之中心八列可分為8×8個區塊1406，且可使用多達4像素之一運動範圍1408搜尋該照度通道之該等相對應列，以識別一相匹配區塊。對於每一區塊可保持區塊配對統計並用於隨後分析。此等統計包含與該較佳匹配相關聯的誤差以及介於跨所有偏移之平均誤差與最小誤差之間之比率。
一旦已在列之當前條中判定所有區塊之運動偏移，進一步處理該等偏移以加強規則性並減少對運動估計之雜訊影響。此可藉由使用自當前及先前列可獲得之運動資料對該等運動偏移進行中數過濾而實現。為了避免中數過濾橫越強邊緣，可使用經計算的區塊匹配統計可用以使未改變區塊通過中數濾光器。特定言之，介於平均誤差與最小誤差之間之一高比率暗示一強匹配及實質影像內容。自該中數濾光器排除平均誤差對最小誤差比率超出一預設臨限值之區塊。
於替代實施中可使用不同運動估計技術。在其中緩衝區記憶體較少受限且完整或幾乎完整彩色濾光器陣列影像在處理之前可經儲存於記憶體內之一案例中，可使用更複雜運動分析。可使用光學流技術以產生每一像素之一運動向量。較大搜尋範圍可用於區塊運動估計。在其中全色通道曝光週期係概略地居中於色彩通道之較長曝光週期內之一案例中，可完全跳過運動估計及補償或使用一減少的搜尋範圍，降低等處理演算法之總體複雜度。
一旦完成該運動估計步驟，根據運動估計來調整下伏的色彩通道及照度通道以對齊基礎全色通道。
圖15中繪示併入運動估計及補償之本發明之一實施例。在此實施例中，使用一數位相機134以擷取一彩色濾光器陣列影像270。特定言之，該數位相機134擷取一全色通道202及色彩通道204。以使得一全色通道252的曝光時間長度不同於至少一色彩通道254的曝光時間長度之方式，擷取一彩色濾光器陣列影像275。使用該等色彩通道254以計算該照度通道206。在此點處，結合該全色通道252使用該照度通道256以估計及補償介於全色資料與色彩/照度資料之間之運動1502。為確保該經運動補償的彩色濾光器陣列影像保持色彩值之Bayer樣式，運動估計限於在水平方向及垂直方向之各者中之一2像素倍數之平移偏移。運動估計及補償步驟產生改善的色彩通道。當該等改善的色彩通道與該原始全色通道252相組合時，最終結果係一改善的彩色濾光器陣列影像212。
圖16中繪示本發明之另一實施例。在此實施例中，使用一數位相機134以擷取一彩色濾光器陣列影像270。特定言之，該數位相機134擷取一全色通道202及色彩通道204。以使得一全色通道252的曝光時間長度不同於至少一色彩通道254的曝光時間長度之方式，擷取一彩色濾光器陣列影像275。使用該等色彩通道254以計算該照度通道206。在此點處，結合該全色通道252使用該照度通道256以估計及補償介於全色資料與色彩/照度資料之間之運動1502。為確保該經運動補償的彩色濾光器陣列影像保持色彩值之Bayer樣式，運動估計限於在水平方向及垂直方向之各者中之一2像素倍數之平移偏移。隨後，偵測208及改善210缺陷像素，並產生一改善的彩色濾光器陣列影像212。
圖17中繪示本發明之另一實施例。在此實施例中，使用一數位相機134以擷取一彩色濾光器陣列影像270。特定言之，該數位相機134擷取一全色通道202及色彩通道204。以使得一全色通道252的曝光時間長度不同於至少一色彩通道254的曝光時間長度之方式，擷取一彩色濾光器陣列影像275。對該等色彩通道254執行彩色濾光器陣列內插205以產生在每一像素處具有紅色值、綠色值及藍色值之一經內插的彩色影像255。使用該經內插的彩色影像255以計算該照度通道206，產生一經計算的照度通道256。在此點處，結合該全色通道252使用該照度通道256以估計及補償介於全色資料與色彩/照度資料之間之運動1502。隨後，偵測208及改善210缺陷像素，並產生一改善的全彩影像213。
在偵測缺陷像素208及改善缺陷像素210期間，分析在每一像素處之所有三色彩通道值以偵測及改善缺陷像素。可產生所有三色彩通道之改善的色彩值。當該等改善的色彩通道與該原始全色通道252相組合時，最終結果係一改善的全彩影像213。
圖18中繪示本發明之另一實施例。在此實施例中，使用一數位相機134以擷取一彩色濾光器陣列影像270。特定言之，該數位相機134擷取一全色通道202及色彩通道204。以使得一全色通道252的曝光時間長度不同於至少一色彩通道254的曝光時間長度之方式，擷取一彩色濾光器陣列影像275。內插203該全色通道252以產生一經內插的全色通道253。對該等色彩通道254執行彩色濾光器陣列內插205以產生在每一像素處具有紅色值、綠色值及藍色值之一經內插的彩色影像255。使用該經內插的彩色影像255以計算該照度通道206。增加取樣207該經內插的彩色影像255及照度通道256以產生與該經內插的全色通道253之解析度相同之增加取樣的色彩及照度通道257。在此點處，結合該經內插的全色通道253使用該經增加取樣的照度通道257，以估計及補償介於全色資料與色彩/照度資料之間之運動1502。隨後，偵測208及改善210缺陷像素，並產生一改善的全彩影像213。
在偵測缺陷像素208及改善缺陷像素210期間，分析在每一像素處之所有三色彩通道值以偵測及改善缺陷像素。可產生所有三色彩通道之改善的色彩值。當該等改善的色彩通道與該經內插的全色通道253相組合時，最終結果係一改善的全彩影像213。
熟習此項技術者將瞭解有本發明之很多替代方法。舉例而言，可使該等彩色像素保持未經併像，如圖4之408。在此情況下，可修改該彩色濾光器陣列內插205及增加取樣步驟207以考量該等未併像之像素。更通常地，熟習此項技術者將瞭解本發明可應用於全色像素及彩色像素之任何感測器樣式，使得全色通道之曝光週期不同於至少一色彩通道之曝光週期。
在本發明之另一方法中，該感測器樣式含有紅色像素、綠色像素及藍色像素，且該等像素係經分為若干子集使得一子集含有綠色像素並具有不同於該等其餘像素之一曝光週期。
在本發明之另一方法中，該感測器係經分為二個以上像素子集，每一像素子集具有不同於其他子集之一曝光週期。
在本發明之另一方法中，該感測器係經分為二個像素子集，至少讀取一次每一像素子集，且組合該等像素子集之多次讀取以形成一單一改善的彩色濾光器陣列影像或全彩影像。圖19及圖20中繪示此一方案。參考圖19，該擷取方法為分為封包之一集合。個別地讀取及處理每一封包1902，並組合來自每一封包處理步驟之結果1904成為一單一改善的彩色濾光器陣列影像或全彩影像1906。
圖20更詳細地繪示處理一個別封包。一封包包含一全色通道2002之一個或多個讀出，以及色彩通道2004之一個或多個讀出。將該等全色通道讀出組合為一單一全色影像2006。同樣，將該等色彩通道讀出組合為一單一彩色影像2008。隨後處理用以將彩色影像及全色影像組合2010成為一單一改善的彩色濾光器陣列影像或全彩影像2012。
在本發明之另一方法中，該數位相機134以視訊擷取模式操作。根據本發明之教示擷取及處理視訊之每一圖框。可包含額外處理以降低每一圖框之該解析度至目標視訊解析度。類似地，該數位相機134可以一叢訊擷取模式操作，在此情況下，根據本發明之該等教示擷取及處理每一圖框。
110．．．電腦系統
112．．．基於微處理器之單元
114．．．顯示器
116．．．鍵盤
118．．．滑鼠
120．．．顯示器上之游標
122．．．磁碟驅動單元
124．．．唯讀光碟記憶體(CD-ROM)
126．．．軟碟
127．．．網路連接
128．．．印表機
130．．．個人電腦卡(PC卡)
132．．．個人電腦卡讀卡機
134．．．數位相機
136．．．相機銜接埠
138．．．纜線連接
140．．．無線連接
202．．．擷取全色通道
203．．．內插全色通道
204．．．擷取色彩通道
205．．．內插彩色濾光器陣列
206．．．計算照度通道
207．．．增加取樣
208．．．判定缺陷像素
210．．．改善缺陷像素
211．．．彩色濾光器陣列整數倍降低取樣
212．．．改善的彩色濾光器陣列影像
213．．．改善的全彩影像
252．．．全色通道
253．．．經內插的全色通道
254．．．色彩通道
255．．．經內插的彩色影像
256．．．照度通道
257．．．經增加取樣的色彩及照度通道
270．．．擷取彩色濾光器陣列影像
275．．．彩色濾光器陣列影像
301．．．彩色濾光器陣列樣式
302．．．全色像素
304．．．紅色色彩像素
306．．．綠色色彩像素
308．．．藍色色彩像素
401．．．影像感測器之第一部分列
402．．．影像感測器之第二部分列
404．．．浮動擴散
406．．．四集體像素
408．．．第一讀出組合
410．．．第二讀出組合
412．．．第三讀出組合
502．．．全色像素
504．．．彩色像素
610．．．曲線
612．．．曲線
614．．．曲線
616．．．曲線
618．．．曲線
702．．．全色像素對
704．．．低解析度全色像素
752．．．有用像素
754．．．改善的像素
801．．．選取像素
802．．．計算全色像素差異
804．．．計算可獲得像素
806．．．計算權重
808．．．正規化權重
810．．．計算可獲得權重
901．．．迴圈
902．．．選取像素
904．．．計算色差權重
906．．．計算改善的像素值
908．．．更新可獲得性
910．．．更新可獲得權重
912．．．移除像素
1402．．．緩衝線
1404．．．中心緩衝線
1406．．．像素區塊
1408．．．搜尋區域
1502．．．運動估計及補償
1902．．．個別封包處理
1904．．．封包組合
1906．．．改善的影像
2002．．．多個全色擷取
2004．．．多個彩色擷取
2006．．．色彩組合
2010．．．全色及色彩組合
2012．．．改善的影像
圖1係包含用於實施本發明之一數位相機之一電腦系統之一透視圖；
圖2係本發明之一較佳實施例之一方塊圖；
圖3係用於本發明之一彩色濾光器陣列樣式之一視圖；
圖4係繪示在相鄰列中之像素如何共用相同浮動擴散組件而併像在一起之一示意圖；
圖5係自來自一併像策略之影像感測器之一部分讀出之像素之一視圖；
圖6提供代表紅色像素、綠色像素及藍色像素之光譜量子效率曲線，以及較寬光譜全色量子效率，所有量子效率與一紅外線截止濾光器之透射特性相乘；
圖7A係加總全色像素以產生用於影像感測器之一部分之一低解析度全色影像之一視圖；
圖7B係促成一色差計算之像素之一視圖；
圖8係本發明之一缺陷像素偵測及改善步驟之一部分之一流程圖；
圖9係本發明之一缺陷像素偵測及改善步驟之一部分之一流程圖；
圖10係本發明之一替代實施例之一流程圖；
圖11係本發明之一替代實施例之一流程圖；
圖12係本發明之一替代實施例之一流程圖；
圖13係本發明之一替代實施例之一流程圖；
圖14係根據本發明之區塊運動估計之一圖解；
圖15係本發明之一替代實施例之一流程圖；
圖16係本發明之一替代實施例之一流程圖；
圖17係本發明之一替代實施例之一流程圖；
圖18係本發明之一替代實施例之一流程圖；
圖19係涉及多個讀出之本發明之一實施例之一流程圖；及
圖20係涉及多個讀出之本發明之一實施例之一流程圖。
134．．．數位相機
202．．．擷取全色通道
204．．．擷取色彩通道
206．．．計算照度通道
208．．．判定缺陷像素
210．．．改善缺陷像素
212．．．改善的彩色濾光器陣列影像
252．．．全色通道
254．．．色彩通道
256．．．照度通道
270．．．擷取彩色濾光器陣列影像
275．．．彩色濾光器陣列影像

Claims (16)

  1. 一種改善來自一影像感測器並具有複數個色彩通道及一全色通道之一第一彩色濾光器陣列影像之方法，其包括：(a)使用該影像感測器以不同於該複數個色彩通道之至少一者之曝光時間擷取該全色通道；(b)使用該複數個色彩通道提供一照度通道；及(c)分析該第一彩色濾光器陣列影像及該照度通道以判定在該複數個色彩通道中之缺陷像素，其中一缺陷像素係其照度值不匹配一對應全色值之一像素，並使用相鄰色彩及照度像素值改善該等缺陷像素以產生具有至少一改善的通道之一第二彩色濾光器陣列影像或全彩影像，其包括針對該等缺陷像素之各者計算該等色彩通道之至少一者之一色彩值及該照度通道之一照度值之間的一色差，及加入該色差至該全色通道之一全色值以提升各缺陷像素。
  2. 如請求項1之方法，其中步驟(b)進一步包含產生一經內插的彩色影像並使用該經內插的彩色影像以提供該照度通道。
  3. 如請求項2之方法，其中步驟(c)進一步包含使用該經內插的彩色影像判定及改善該等缺陷像素。
  4. 如請求項1之方法，其中選取該照度通道使得該照度通 道可與該全色通道相比較。
  5. 如請求項1之方法，其進一步包含：在分析該第一彩色濾光器陣列影像及該照度通道之前，在該全色通道及該照度通道上執行一運動估計及補償，其中該分析係基於經運動估計且經補償之該全色通道及該照度通道。
  6. 如請求項5之方法，其進一步包含：產生一經內插的彩色影像並使用該經內插的彩色影像以提供該照度通道；及產生一經內插全色通道。
  7. 如請求項5之方法，其中選取該照度通道使的該照度通道可與該全色通道相比較。
  8. 如請求項6之方法，其進一步包含在該經內插的彩色影像及該照度通道上執行一增加取樣操作以產生與該經內插的全色通道之一相同解析度之經增加取樣的色彩通道及經增加取樣的照度通道。
  9. 如請求項8之方法，其中使用該經增加取樣的照度通道結合該經內插的全色通道以估計及補償用於全色資料、色彩資料及照度資料之間之一運動。
  10. 如請求項9之方法，其中執行該運動估計及補償係限於在水平方向及垂直方向之各者中之一2像素倍數之平移偏移之像素。
  11. 如請求項5之方法，其中執行該運動估計及補償包含基於該照度通道以使該複數個色彩通道對齊於該全色通 道。
  12. 如請求項1之方法，其進一步包含：將所有像素分類為缺陷像素；針對該等缺陷像素之各者，將在相對於一對應缺陷像素之一預定接近的相鄰像素的色差平均以產生一平均色差值；及將該平均色差值加入至該全色通道之該全色值以產生針對該對應缺陷像素之一經改善的色彩值，其中利用該經改善的色彩值以產生具有至少一改善的通道之該第二彩色濾光器陣列影像或全彩影像。
  13. 如請求項12之方法，其中識別該等相鄰像素具有在一Bayer樣式中之一相同空間位置。
  14. 如請求項13之方法，其中識別該等相鄰像素，於其中各相鄰像素的一照度值及該全色值的一差係小於一預定臨限。
  15. 如請求項14之方法，其進一步包含在一或多個像素上執行一填隙操作，該一或多個像素不在該Bayer樣式中之該相同空間位置內或該照度值及該全色值的該差係大於該預定臨限。
  16. 如請求項15之方法，其中執行該填隙操作包含：指派一權重至作為各像素的一全色值及在該Bayer樣式內之一相同空間位置之該等相鄰像素之全色值之一函數，該等像素之經改善的色彩值係已計算；該等像素係根據經指派至該等像素之權重而排序； 在所有該等像素中選擇具有一最高權重之一像素；針對該經選擇之像素計算一改善的色彩值；自該等經排序之像素中移除該經選擇之像素；及重複該指派、該排序、該選擇、該計算及該移除，直到已處理完所有像素。
TW098136045A 2008-10-25 2009-10-23 改善缺陷色彩及全色彩色濾光器陣列影像 TWI451754B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/258,389 US8111307B2 (en) 2008-10-25 2008-10-25 Defective color and panchromatic CFA image

Publications (2)

Publication Number Publication Date
TW201031184A TW201031184A (en) 2010-08-16
TWI451754B true TWI451754B (zh) 2014-09-01

Family

ID=41445426

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098136045A TWI451754B (zh) 2008-10-25 2009-10-23 改善缺陷色彩及全色彩色濾光器陣列影像

Country Status (7)

Country Link
US (1) US8111307B2 (zh)
EP (1) EP2347572B1 (zh)
JP (2) JP5140766B2 (zh)
KR (1) KR101267661B1 (zh)
CN (1) CN102197641B (zh)
TW (1) TWI451754B (zh)
WO (1) WO2010047746A1 (zh)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8207964B1 (en) 2008-02-22 2012-06-26 Meadow William D Methods and apparatus for generating three-dimensional image data models
US7929800B2 (en) * 2007-02-06 2011-04-19 Meadow William D Methods and apparatus for generating a continuum of image data
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
US8625934B2 (en) * 2008-01-28 2014-01-07 Pixart Imaging Inc. Method and apparatus for detecting displacement with sub-pixel accuracy
US8164651B2 (en) * 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor
US8350952B2 (en) * 2008-06-04 2013-01-08 Omnivision Technologies, Inc. Image sensors with improved angle response
US8073246B2 (en) * 2008-11-07 2011-12-06 Omnivision Technologies, Inc. Modifying color and panchromatic channel CFA image
US8478067B2 (en) * 2009-01-27 2013-07-02 Harris Corporation Processing of remotely acquired imaging data including moving objects
JP5012823B2 (ja) * 2009-01-28 2012-08-29 ソニー株式会社 撮像装置および撮像方法
US8260086B2 (en) * 2009-03-06 2012-09-04 Harris Corporation System and method for fusion of image pairs utilizing atmospheric and solar illumination modeling
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
US8194165B2 (en) 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8194164B2 (en) * 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8294803B2 (en) * 2009-09-30 2012-10-23 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8314873B2 (en) 2009-09-30 2012-11-20 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US20110074997A1 (en) * 2009-09-30 2011-03-31 Border John N Methods for capturing and reading out images from an image sensor
US8279316B2 (en) * 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8194166B2 (en) 2009-09-30 2012-06-05 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8144220B2 (en) 2009-09-30 2012-03-27 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8279317B2 (en) * 2009-09-30 2012-10-02 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8149303B2 (en) * 2009-09-30 2012-04-03 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8134628B2 (en) * 2009-09-30 2012-03-13 Truesense Imaging, Inc. Methods for capturing and reading out images from an image sensor
US8457433B2 (en) * 2010-01-28 2013-06-04 Texas Instruments Incorporated Methods and systems for image noise filtering
US9147222B2 (en) 2010-06-23 2015-09-29 Digimarc Corporation Detecting encoded signals under adverse lighting conditions using adaptive signal detection
US8351696B2 (en) * 2010-09-17 2013-01-08 Foveon, Inc. Correcting defective pixels in digital color images
EP2702375A2 (en) 2011-04-25 2014-03-05 Skybox Imaging, Inc. Systems and methods for overhead imaging and video
US8657200B2 (en) 2011-06-20 2014-02-25 Metrologic Instruments, Inc. Indicia reading terminal with color frame processing
LT3514677T (lt) * 2011-12-06 2020-12-28 Dolby Laboratories Licensing Corporation Percepcinio šviesio netiesinio vaizdo duomenų mainų tarp skirtingos gebos ekranų gerinimo įtaisas ir būdas
US9191635B2 (en) * 2012-03-19 2015-11-17 Semiconductor Components Industries, Llc Imaging systems with clear filter pixels
US9014504B2 (en) * 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
EP2677732B1 (en) * 2012-06-22 2019-08-28 Nokia Technologies Oy Method, apparatus and computer program product for capturing video content
JP5900194B2 (ja) * 2012-07-02 2016-04-06 ソニー株式会社 信号処理装置、信号処理方法、プログラム、固体撮像素子、および電子機器
DE102012221667A1 (de) * 2012-11-27 2014-05-28 Deutsches Zentrum für Luft- und Raumfahrt e.V. Vorrichtung und Verfahren zum Verarbeiten von Fernerkundungsdaten
US20140333669A1 (en) * 2013-05-08 2014-11-13 Nvidia Corporation System, method, and computer program product for implementing smooth user interface animation using motion blur
WO2015135164A1 (zh) 2014-03-12 2015-09-17 深圳市大疆创新科技有限公司 数码影像的坏点矫正方法和系统
US10230925B2 (en) 2014-06-13 2019-03-12 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
JP2016048815A (ja) * 2014-08-27 2016-04-07 ソニー株式会社 画像処理装置、画像処理方法、及び、画像処理システム
US10871561B2 (en) 2015-03-25 2020-12-22 Urthecast Corp. Apparatus and methods for synthetic aperture radar with digital beamforming
CN104902178A (zh) * 2015-05-27 2015-09-09 重庆大学 一种原数据分析与成像并行处理方法
CA2990063A1 (en) 2015-06-16 2017-03-16 King Abdulaziz City Of Science And Technology Efficient planar phased array antenna assembly
KR102440362B1 (ko) * 2015-09-25 2022-09-05 삼성전자주식회사 이미지 센서, 적층형 이미지 센서, 이미지 처리 장치 및 이미지 센서 칩 패키지의 제조 방법
US10955546B2 (en) 2015-11-25 2021-03-23 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
DE102016217282A1 (de) 2016-09-12 2018-03-15 Conti Temic Microelectronic Gmbh Bildsensor, bilderfassungsvorrichtung, fahrerassistenzsystem, fahrzeug und verfahren zur auswertung von elektromagnetischer strahlung
CA3064735C (en) 2017-05-23 2022-06-21 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
EP3646054A4 (en) 2017-05-23 2020-10-28 King Abdulaziz City for Science and Technology APERTURE SYNTHESIS RADAR IMAGING APPARATUS FOR MOBILE TARGETS
WO2019226194A2 (en) 2017-11-22 2019-11-28 Urthecast Corp. Synthetic aperture radar apparatus and methods
US10750108B2 (en) * 2018-09-25 2020-08-18 Omnivision Technologies, Inc. Image sensor with correction of non-uniform dark current
CN114342362A (zh) * 2019-09-09 2022-04-12 Oppo广东移动通信有限公司 图像传感器、摄像头模组、移动终端及图像采集方法
CN110996077A (zh) * 2019-11-25 2020-04-10 Oppo广东移动通信有限公司 图像传感器、摄像头组件和移动终端
WO2021171797A1 (ja) * 2020-02-26 2021-09-02 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置及び電子機器
CN111586375B (zh) * 2020-05-08 2021-06-11 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
EP4214930A4 (en) * 2020-11-06 2023-07-26 Guangdong Oppo Mobile Telecommunications Corp., Ltd. ELECTRICAL DEVICE, METHOD FOR GENERATION OF IMAGE DATA AND NON-TRANSITORY COMPUTER-READABLE MEDIA

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4246601A (en) * 1978-02-10 1981-01-20 Hitachi, Ltd. Solid-state color imaging device
US20020158977A1 (en) * 2001-02-19 2002-10-31 Eastman Kodak Company Correcting defects in a digital image caused by a pre-existing defect in a pixel of an image sensor
TW200303688A (en) * 2002-02-19 2003-09-01 Thomson Licensing Sa Compensation for adjacent pixel interdependence
US20080012969A1 (en) * 2006-05-15 2008-01-17 Masanori Kasai Image Pickup Apparatus, Image Processing Method, and Computer Program

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
JPS5763983A (en) * 1980-10-07 1982-04-17 Toshiba Corp Color image pickup device
JPS61114684A (ja) * 1984-11-09 1986-06-02 Mitsubishi Electric Corp 撮像素子の画像欠陥補償装置
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
US6714239B2 (en) * 1997-10-29 2004-03-30 Eastman Kodak Company Active pixel sensor with programmable color balance
US6759646B1 (en) * 1998-11-24 2004-07-06 Intel Corporation Color interpolation for a four color mosaic pattern
GB2345217A (en) 1998-12-23 2000-06-28 Nokia Mobile Phones Ltd Colour video image sensor
US6441848B1 (en) * 2000-05-19 2002-08-27 Damon L. Tull Preventing blur caused by motion of the subject in a digital image
US6937774B1 (en) * 2000-10-24 2005-08-30 Lockheed Martin Corporation Apparatus and method for efficiently increasing the spatial resolution of images
US6476865B1 (en) * 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
US8169517B2 (en) * 2001-03-26 2012-05-01 Panavision Imaging Llc Image sensor ADC and CDS per column with oversampling
US7340099B2 (en) * 2003-01-17 2008-03-04 University Of New Brunswick System and method for image fusion
US20040212723A1 (en) 2003-04-22 2004-10-28 Malcolm Lin Image pickup apparatus and operating method
US7563780B1 (en) * 2004-06-18 2009-07-21 Advanced Cardiovascular Systems, Inc. Heparin prodrugs and drug delivery stents formed therefrom
US7880785B2 (en) 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
US8081234B2 (en) * 2004-12-29 2011-12-20 Intel Corporation Technique for increased exposure range in image sensors
US8654201B2 (en) * 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US20070046807A1 (en) * 2005-08-23 2007-03-01 Eastman Kodak Company Capturing images under varying lighting conditions
US7680354B2 (en) * 2006-03-22 2010-03-16 Arcsoft, Inc. Image deblur based on two images
JP4449936B2 (ja) * 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法
JP4867448B2 (ja) 2006-04-18 2012-02-01 ソニー株式会社 物理情報取得方法および物理情報取得装置
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
US7826685B2 (en) * 2006-12-01 2010-11-02 Harris Corporation Spatial and spectral calibration of a panchromatic, multispectral image pair
US7825969B2 (en) * 2006-12-15 2010-11-02 Nokia Corporation Image stabilization using multi-exposure pattern
JP4930109B2 (ja) 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
JP5222625B2 (ja) * 2007-06-01 2013-06-26 富士フイルム株式会社 撮像装置
US7940311B2 (en) 2007-10-03 2011-05-10 Nokia Corporation Multi-exposure pattern for enhancing dynamic range of images
US8164651B2 (en) 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor
JP2010081583A (ja) * 2008-08-26 2010-04-08 Sony Corp 画像信号処理装置、撮像装置、画像信号処理方法、およびプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4246601A (en) * 1978-02-10 1981-01-20 Hitachi, Ltd. Solid-state color imaging device
US20020158977A1 (en) * 2001-02-19 2002-10-31 Eastman Kodak Company Correcting defects in a digital image caused by a pre-existing defect in a pixel of an image sensor
TW200303688A (en) * 2002-02-19 2003-09-01 Thomson Licensing Sa Compensation for adjacent pixel interdependence
US20080012969A1 (en) * 2006-05-15 2008-01-17 Masanori Kasai Image Pickup Apparatus, Image Processing Method, and Computer Program

Also Published As

Publication number Publication date
JP2012506669A (ja) 2012-03-15
CN102197641A (zh) 2011-09-21
KR101267661B1 (ko) 2013-05-24
EP2347572B1 (en) 2022-11-23
KR20110082530A (ko) 2011-07-19
US8111307B2 (en) 2012-02-07
US20100104209A1 (en) 2010-04-29
JP2013013142A (ja) 2013-01-17
JP5529230B2 (ja) 2014-06-25
EP2347572A1 (en) 2011-07-27
JP5140766B2 (ja) 2013-02-13
TW201031184A (en) 2010-08-16
CN102197641B (zh) 2016-09-28
WO2010047746A1 (en) 2010-04-29

Similar Documents

Publication Publication Date Title
TWI451754B (zh) 改善缺陷色彩及全色彩色濾光器陣列影像
TWI496463B (zh) 形成全彩色影像之方法
TWI459324B (zh) 修改色彩及全色通道彩色濾光片陣列影像
CN102726037B (zh) 图像处理装置、摄像装置和图像处理方法
US7602418B2 (en) Digital image with reduced object motion blur
US8896712B2 (en) Determining and correcting for imaging device motion during an exposure
US8224082B2 (en) CFA image with synthetic panchromatic image
TWI504257B (zh) 在產生數位影像中曝光像素群組
US8150209B2 (en) Method of forming a combined image based on a plurality of image frames
JP2002204389A (ja) 露出制御方法
JP2005123946A (ja) 欠陥画素検出方法、検出装置および撮像装置
US20200111193A1 (en) Image acquisition using time-multiplexed chromatic illumination
CN116506745A (zh) 成像装置和方法