TWI462055B - 具有合成全色影像之彩色濾光器陣列影像 - Google Patents

具有合成全色影像之彩色濾光器陣列影像 Download PDF

Info

Publication number
TWI462055B
TWI462055B TW099106801A TW99106801A TWI462055B TW I462055 B TWI462055 B TW I462055B TW 099106801 A TW099106801 A TW 099106801A TW 99106801 A TW99106801 A TW 99106801A TW I462055 B TWI462055 B TW I462055B
Authority
TW
Taiwan
Prior art keywords
color
image
full
pixels
resolution
Prior art date
Application number
TW099106801A
Other languages
English (en)
Other versions
TW201102968A (en
Inventor
Mrityunjay Kumar
James E Adams Jr
Bruce H Pillman
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW201102968A publication Critical patent/TW201102968A/zh
Application granted granted Critical
Publication of TWI462055B publication Critical patent/TWI462055B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10041—Panchromatic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Human Computer Interaction (AREA)
  • Color Television Image Signal Generators (AREA)

Description

具有合成全色影像之彩色濾光器陣列影像
本發明係關於具有彩色通道及一全色通道之彩色濾光器陣列影像，且更特定而言係關於提供具有減少之運動模糊的經改良之一全解析度彩色影像。
一電子成像系統依靠一透鏡系統在一電子影像感測器上形成一影像來產生一可視影像之一電子代表。此類電子影像感測器之實例包含電荷耦合器件(CCD)影像感測器及主動像素感測器(APS)器件(由於APS器件可在一互補金屬氧化物半導體製程中製造，所以APS器件通常被稱為CMOS感測器)。一感測器包括個別圖像元素感測器或像素之二維陣列。如Bayer在1976年7月20日發布的共同讓與之美國專利第3,971,065號中所述，各個像素一般具有一紅色、綠色或藍色濾光器以使可產生一彩色影像。不管使用何種電子技術(例如CCD或CMOS)，像素作用如同桶子，其中在該電子成像系統擷取影像期間光電子與撞擊該像素之光量成正比地累積。
並非所有進入一電子成像系統之前端光學元件的光都會撞擊一像素。許多光在通過電子成像系統之光學路徑時遺失。一般而言，大約5%的光歸因於透鏡折射及薄霧而遺失，而大約60%的光因彩色濾光器陣列而遺失。此外，一些光撞擊像素之非光敏感的區域。為聚集進行一正確曝光所需的光量，電子成像感測器持續聚集光達一時間間隔，該時間間隔稱為曝光時間。基於對待成像之場景的亮度量測，一般使用一自動曝光控制來決定可產生具有有效亮度之一影像的一合適曝光時間。場景越暗，電子成像系統所需用於聚集光來進行一正確曝光的時間量就越大。然而，眾所周知較長時間的曝光可能導致影像模糊。此類模糊可能為在物體一場景中運動的結果。當該影像擷取器件在擷取期間正相對於該場景運動時亦可產生此類模糊。
減少模糊的一個方法係縮短曝光時間。然而，在擷取影像期間此方法使電子影像感測器曝光不足，導致產生暗影像。可將一類比或數位增益施加至該影像信號以使該等暗影像變亮，但熟悉此項技術者將瞭解此會導致雜訊影像。
減少模糊的另一個方法係縮短曝光時間且保留通過光學路徑的較多光並將其導向至電子影像感測器之像素。此方法可產生具有經減少之模糊及可令人接收之雜訊量的影像。然而，目前電子成像系統領域中的產業趨勢為使成像系統較為小型且較便宜。因此可聚集更多光且保留更多通過其等之光的具有大孔徑之高階光學元件並不實用。
另一種減少模糊之方法係縮短曝光時間且用一攝影閃光來補充可用光。一攝影閃光產生持續一瞬間的一強烈光通量且曝光時間經設定以包含該閃光時間。由於攝影閃光係強烈的，因此可將該閃光時間設定為明顯短於無一閃光的時間間隔。因此，在曝光期間之模糊減少。然而，閃光攝像僅在該閃光與該物體之間的距離相對小的情況下係有實用價值的。此外，一閃光增加額外成本及重量至一影像擷取器件。
於2002年8月27日發布給Tull的美國專利案第6,441,848號描述具有一電子影像感測器的一數位相機，該數位相機藉由監測各個像素收集電子之速率而去除物體之運動模糊。若光撞擊一像素之速率發生變化，則假定該像素所觀看的影像之亮度正在改變。當內建於該感測器陣列中的一電路偵測到該影像亮度正在發生改變時，保留所收集之電荷量且記錄亮度發生改變的時間。藉由線性外推停止曝光處的各個像素值而將該像素值調整至適當值，以使該像素值對應於整個影像的動態範圍。此方法之一缺點在於當曝光開始時已在運動的一物體之外推像素值極不確定。如感測器所見之影像亮度從不具有一恆定值，且因此在外推像素值中的不確定性將導致具有運動假影之一影像。另一缺點在於該方法使用特定的硬體使得其無法與目前的商業相機中所使用之習知的電子影像感測器一起使用。
減少模糊之另一方法係擷取兩個影像，一者具有較短的一曝光時間，而一者具有較長的一曝光時間。該短曝光時間經選擇以產生具有雜訊但相對無運動模糊之一影像。該長曝光時間經選擇以產生具有少許雜訊但可能具有明顯運動模糊之一影像。使用影像處理演算法來將該等兩次擷取組合為一最終輸出影像。此類方法描述於美國專利案第7,239,342號、美國專利申請公開案第2006/0017837號、美國專利申請公開案第2006/0187308號及美國專利申請公開案第2007/0223831號中。此等方法之缺點包含：對於儲存多個影像之額外緩衝記憶體之一需求；處理多個影像的額外複雜性；及解決物體運動模糊的困難。
減少模糊的另一方法係縮短曝光時間且保留更多穿過彩色濾光器陣列的光。對於基於矽之影像感測器而言，該等像素組件本身對於可視光廣泛敏感，此容許未經濾光之像素適合用於擷取一單色影像。為擷取彩色影像，一般濾光器之二維圖案係根據像素之圖案來製造的，其使用不同濾光器材料以使個別像素僅對可視光譜之一部分敏感。濾光器的此一圖案的一實例為美國專利案第3,971,065號所描述之吾人所熟知的Bayer彩色濾光器陣列圖案。Bayer彩色濾光器陣列具有在一般條件下獲得全彩色影像的優點。然而，已發現此解決方案具有其缺點。雖然需要濾光器來提供窄帶光譜回應，但對入射光的任何濾光皆趨向於減少到達各個像素之光量，從而減少各個像素之有效光敏感度且減少像素回應速率。
已揭示對吾人所熟知的Bayer圖案之修改作為用於正變化的光條件下改良影像擷取及改良成像感測器之整體敏感度的解決方案。例如，由Hamilton等人共同讓與的名為「Capturing Images Under Varying Lighting Conditions」之美國專利申請公開案第2007/0046807號及由Compton等人共同讓與的名為「Image Sensor with Improved Light Sensitivity」之美國專利申請公開案第2007/002493號兩者描述交替的感測器配置，該等交替的感測器配置將彩色濾光器與全色濾光元件進行組合，以某種方式空間上交錯。用此類解決方案，一部分影像感測器偵測色彩；其他全色部分經最佳化以在經改良的動態範圍及敏感度內橫越可視譜帶而偵測光。因此此等解決方案提供像素之一圖案，一些像素具有彩色濾光器(提供一窄帶光譜回應)，而一些像素則不具有彩色濾光器(未經濾光之「全色」像素或經濾光以提供一寬帶光譜回應的像素)。然而，由於彩色像素仍經受運動模糊，因此此解決方案不足以容許在低光條件下擷取不具有運動模糊之高品質影像。
在天體攝影術及遠程感測之領域中所已知的在低光場景中減少模糊並攝取影像之另一方法係擷取兩個影像：具有高空間解析度之一全色影像；及具有低空間解析度之一多光譜影像。該等影像經融合以產生具有高空間解析度的一多光譜影像。此類方法描述於美國專利案第7,340,099號、美國專利案第6,011,875號及美國專利案第6,097,835號。此等方法之缺點包含：對於用於儲存多個影像之額外的緩衝記憶體之一需求；及解決物體運動模糊之困難。
可用於減少運動模糊的另一方法係使用具有可移動的透鏡系統或特定成像器定位硬體之一影像穩定系統。此類系統經設計以將影像保持在感測器上一穩定位置中。然而，此等系統具有複雜及昂貴的缺點。此外，此等系統未解決場景中之物體以不同速度運動的情形。
因此，需要製造經改良的一彩色濾光器陣列影像或具有彩色像素及全色像素的彩色影像，該影像藉由使用習知的電子影像感測器，不使用一攝影閃光、不增加影像雜訊且無明顯的額外成本或複雜性或記憶體需求而具有經減少之運動模糊。
根據本發明，提供一種用於形成具有減少之運動模糊的一最終影像的方法，該方法包括一個或多個處理器以用於處理下列步驟：
(a)　提供對應於具有相關彩色照片回應之至少兩個彩色通道之具有全色像素及彩色像素的影像；
(b)　在該等全色像素之間進行內插以產生一全解析度全色影像，及在該等彩色像素之間進行內插以產生一全解析度彩色影像；
(c)　自該全解析度彩色影像產生一全解析度合成全色影像；
(d)　回應於該全解析度合成全色影像及該全解析度全色影像而導出彩色校正權重；
(e)　使用該等彩色校正權重來修改該全解析度彩色影像，以提供具有減少之運動模糊的一最終彩色數位影像。
本發明之一優點在於可對影像處理軟體做基本的改變來產生具有經減少之模糊的全解析度彩色影像，而不必使用一攝影閃光或長曝光時間以適當曝光一單個影像。
本發明之一進一步優點在於可產生具有經減少之影像擷取器件所引入之模糊的全解析度彩色影像，而不需要具有可移動透鏡系統或特殊成像器定位硬體之一昂貴的影像穩定系統。
本發明之一進一步優點在於可產生具有減少之模糊的全解析度彩色影像，而不必增加用於多個影像的緩衝記憶體需求。
藉由回顧較佳實施例及所附隨之技術方案以及藉由參考所附圖式可更清楚地瞭解並理解本發明的此等及其他態樣、目的、特徵及優點。
在下列描述中，將描述本發明之一較佳實施例(就其通常可以一軟體程式來實施而言)。熟悉此項技術將易於認可此類軟體之等效物亦可在硬體中建構。由於影像操縱演算法及系統為所熟知的，因此本描述將特指形成根據本發明之系統及方法之一部分的(或與根據本發明之系統及方法協作的)演算法及系統。可從此項技術中所已知的此類系統、演算法、組件及元件中選擇本文中未明確繪示或描述的此類演算法及系統之其他態樣以及用於製造或處理有關的影像信號之硬體或軟體。根據為下列材料形式之本發明給定所描述系統，對實施本發明有用的在本文中未明確繪示、暗示或描述的軟體係為習知的且在此類技術之一般技藝範圍內。
更進一步而言，本文中所使用的用於執行本發明之方法的電腦程式可儲存於一電腦可讀儲存媒體中，該電腦可讀儲存媒體可包含(例如)：磁性儲存媒體，諸如一磁碟(諸如一硬體驅動或一軟碟)或磁帶；光學儲存媒體，諸如一光碟、光帶或機器可讀條碼；固態電儲存器件，諸如隨機存取記憶體(RAM)，或唯讀記憶體(ROM)；或者用於儲存一電腦程式的任何其他實體器件或媒體。
由於用於擷取及校正並用於曝光控制的使用成像器件之數位相機及相關電路為吾人所熟知，因此本描述將特指形成根據本發明之方法及設備之部分的(或更直接地與根據本發明之方法及設備協作的)元件。本文中未明確繪示或描述的元件係從此項技術中所已知者選出。將要描述的實施例之某些態樣係以軟體來提供。根據為下列材料形式之本發明給定所繪示及所描述之系統，對實施本發明有用的在本文中未明確繪示、暗示或描述的軟體係為習知的且在此類技術之一般技巧範圍內。
現轉至圖1，繪示一影像擷取器件之一方塊圖，該影像擷取器件被繪示為體現本發明之一數位相機。雖然現將解說一數位相機，但顯然本發明可應用於其他類型之影像擷取器件。在所揭示之相機中，將來自主場景10之光輸入至一成像階段11，在此處由透鏡12將光進行聚焦以在一固態影像感測器20上形成一影像。影像感測器20將入射光轉換成用於各個圖像元素(像素)之一電信號。較佳實施例之影像感測器20為一電荷耦合器件(CCD)類型或一主動像素感測器(APS)類型(由於APS器件可在一互補金屬氧化物半導體製程中製造，所以APS器件通常亦被稱為CMOS感測器)。亦可使用具有二維陣列像素之其他類型的影像感測器(若使用本發明之圖案)。在描述圖1之後，稍後將在本說明書中逐漸清楚本發明亦利用具有彩色像素及全色像素的二維陣列影像感測器20。
到達感測器20之光量藉由改變孔徑及一中性密度(ND)濾光器區塊13的一虹膜區塊14來調節，該ND濾光器包含內插於光學路徑中的一個或多個ND濾光器。在一快門18敞開時亦調節整體的光等級。一曝光控制器40回應於一亮度感測器區塊16所量測的場景中之光量且控制此三個調節功能之全部。
對一特定相機組態的此描述可為熟悉此項技術者所熟知，且顯然存在許多變動及額外特徵。例如，可添加一自動聚焦系統，或者透鏡可為可卸離的或可互換的。應瞭解本發明可應用於任何類型之數位相機，其中類似的功能性由替代的組件提供。例如，數位相機可為相對簡單的一傻瓜相機，其中快門18為相對簡單的一可移動葉片快門或類似物，來替代較複雜的焦平面配置。本發明亦可在包含於非相機器件(諸如行動電話及汽車)中的成像組件上實踐。
來自影像感測器20之類比信號由類比信號處理器22處理並被應用於類比轉數位(A/D)轉換器24。一時序產生器26產生各種時脈信號以選擇列及像素，且同步化類比信號處理器22及A/D轉換器24之操作。一影像感測器階段28包含影像感測器20、類比信號處理器22、A/D轉換器24及時序產生器26。影像感測器階段28之組件可為分開製造的積體電路，或者可如CMOS影像感測器通常所做將影像感測器階段28之組件製造為一單個積體電路。來自A/D轉換器24之數位像素值的串流儲存於一數位信號處理器(DSP)記憶體32中，該DSP記憶體32與一數位信號處理器(DSP)36關聯。
在本實施例中，(除了一系統控制器50及一曝光控制器40外，DSP 36亦為三個處理器或控制器之一者。雖然在多個控制器與處理器之間劃分相機功能控制係典型的，但可以各種方式組合此等控制器及處理器，而不影響相機的功能作業及本發明之應用。此等控制器或處理器可包含一個或多個數位信號處理器器件、微控制器、可程式化邏輯器件或其他數位邏輯電路。雖然已描述此類控制器或處理器之一組合，但應瞭解可指定一個控制器或處理器來執行所有所需功能。所有此等變化可執行相同的功能並落在本發明之範圍內，且將視需要使用術語「處理階段」以將此全部功能性涵蓋在一個語句中(例如在圖1之處理階段38中)。
在所繪示的實施例中，DSP 36根據一軟體程式操縱DSP記憶體32中的數位影像資料，該軟體程式永久儲存在一程式記憶體54中且在影像擷取期間被複製至DSP記憶體32以用於執行。DSP 36執行實踐圖1中繪示的影像處理所需之軟體。DSP記憶體32可為任何類型之隨機存取記憶體(諸如SDRAM)。包含用於位址信號及資料信號之一通道的匯流排30將DSP 36連接至其相關的DSP記憶體32、A/D轉換器24及其他相關器件。
系統控制器50基於儲存在程式記憶體54中之一軟體程式而控制相機的整體作業，該程式記憶體54可包含快閃EEPROM或其他非揮發性記憶體。此記憶體亦可用於儲存影像感測校準資料、使用者設定選擇及在相機關閉時必須留存之其他資料。系統控制器50藉由以下來控制影像擷取序列：引導曝光控制器40操作透鏡12、ND濾光器區塊13、虹膜區塊14及快門18，如前所述；引導時序產生器26操作影像感測器20及相關聯元件；以及引導DSP 36處理所擷取之影像資料。在擷取並處理一影像之後，儲存在DSP記憶體32中的最終影像檔案經由主機介面57而傳遞至一主機電腦，儲存在一可抽換式記憶體卡64或其他儲存器件上，且在一影像顯示器88上顯示給使用者。
一系統控制器匯流排52包含用於位址信號、資料信號及控制信號的一通道，且將系統控制器50連接至DSP 36、程式記憶體54、一系統記憶體56、主機介面57、一記憶體卡介面60及其他相關器件。主機介面57將一高速連接提供至一個人電腦(PC)或其他主機電腦以傳遞用於顯示、儲存、操縱或列印之影像資料。此介面可為一IEEE1394或USB2.0系列介面或任何其他的合適數位介面。記憶體卡64一般為插入於記憶體卡插座62中且經由記憶體介面60連接至系統控制器50的一緊密快閃記憶體(CF)卡。可使用的其他類型之儲存器包含(但不限於)：PC卡、多媒體卡(MMC)或安全數位(SD)卡。
經處理之影像被複製至系統記憶體56中的一顯示器緩衝器且經由視訊編碼器80連續讀出以產生視訊信號。此信號直接從相機輸出以在一外部監視器上顯示或由顯示器控制器82處理並呈現在影像顯示器88上。此顯示器一般為一主動矩陣彩色液晶顯示器(LCD)，但亦可使用其他類型之顯示器。
一使用者介面68受控於曝光控制器40及系統控制器50上執行的軟體程式之一組合，該使用介面68包含以下之全部或其等之任何組合：一取景器顯示器70、一曝光顯示器72、一狀態顯示器76、影像顯示器88及使用者輸入端74。使用者輸入端74一般包含以下之某種組合：按鈕、搖臂開關、操縱桿、旋轉式撥號盤或觸控螢幕。曝光控制器40對光量測、曝光模式、自動對焦及其他曝光功能進行作業。系統控制器50管理呈現在該等顯示器(例如影像顯示器88)上的一圖形使用者介面(GUI)。GUI一般包含用於進行各種選項選擇之選單及用於檢查所擷取之影像的回顧模式。
曝光控制器40接受使用者輸入對曝光模式、透鏡孔徑、曝光時間(快門速率)及曝光指數或ISO速率評等(speed rating)之選擇且相應地引導透鏡12及快門18以用於隨後之擷取。亮度感測器區塊16被用於測量場景之亮度，且為使用者提供一曝光量測功能以在手動設定ISO速率評等、孔徑及快門速率時用於參考。在此情形中，隨著使用者改變一個或多個設定，呈現在取景器顯示器70上的光量測指示符告知使用者該影像將曝光過度或是曝光不足至何種程度。在自動曝光模式中，使用者改變一個設定而曝光控制器40自動改變另一設定以維持正確曝光。例如，當使用者減少透鏡孔徑時對於給定的一ISO速率評等而言，曝光控制器40自動增加曝光時間以維持相同的整體曝光。
ISO速率評等係一數位靜態相機的一重要屬性。曝光時間、透鏡孔徑、透鏡透射比、場景照明之級別及光譜分布以及場景反射決定一數位靜態相機之曝光級別。當使用不足的一曝光而獲得來自一數位靜態相機之一影像時，一般可藉由增加電子增益或數位增益來維持適當的色調再現，但所得影像通常將含有令人無法接受之一雜訊量。隨著曝光增加，增益減少，且因此影像雜訊通常可減少至令人可接受之一級別。若曝光增加過度，則在影像之明亮區域內的所得信號可能超過影像感測器或相機信號處理之最大信號級別容量。此可引起影像之輝量部分被截斷而形成亮度一致的一區域或「輝散」至該影像的周圍區域中。因此，引導使用者設定適當曝光係重要的。意欲將一ISO速率評等用作此一引導。為使攝影者易於理解，用於一數位靜態相機之ISO速率評等應與用於照相軟片相機之ISO速率評等直接相關。例如，若一數位靜態相機具有ISO 200之一ISO速率評等，則相同的曝光時間及孔徑應適用於經ISO 200評等之一軟片/處理系統。
意欲將ISO速率評等與軟片ISO速率評等進行協調。然而，在電子成像系統與基於軟片之成像系統之間存在差異，該等差異排除精確的等效。數位靜態相機可包含可變增益，且在已擷取影像資料之後可提供數位處理，使得在相機曝光範圍之內可實現色調再現。因此對於數位靜態相機而言具有速率評等之一範圍係可能的。此範圍被定義為ISO速率寬容度(speed latitude)。為防止混淆，將一單個值指定為固有的ISO速率評等，而ISO速率寬容度上限及下限指示速率範圍(即，包含不同於固有的ISO速率評等之有效速率評等的一範圍)。至此，固有的ISO速率係從一數位靜態相機之焦平面處提供的曝光所計算而得用於產生特定相機輸出信號特性的一數值。該固有速率為用於一普通場景的一給定的相機系統產生最高影像品質的曝光指數值，其中該曝光指數係與提供給影像感測器之曝光成反比的一數值。
熟悉此項技術者將熟知對於一數位相機之以上描述。顯然存在許多可能的此實施例之變動，且選擇該等變動以減少成本、添加特徵或改良相機之效能。以下描述將詳細揭示用於擷取根據本發明之影像的此相機之作業。雖然此描述係參考一數位相機，但應瞭解可使用具有一影像感測器且該影像感測器具有彩色像素及全色像素的任何類型之影像擷取器件來應用本發明。
圖1中所繪示之影像感測器20一般包含製造於一矽基板上的光敏感像素之二維陣列，其提供將各個像素之射入光轉換成所測量之一電信號的方法。隨著影像感測器20曝光，將在各個像素之電子結構中產生並擷取自由電子。擷取此等自由電子達一段時間且接著測量所擷取之電子的數量，或者測量該等電子以何種速率產生可測量在各個像素之光等級。在之前情形中，在一電荷耦合器件中(CCD)所累積之電荷被移出該像素陣列以對電壓測量電路進行充電，或者在一主動像素感測器(APS或CMOS感測器)中接近各個像素之區域可含有對電壓測量電路進行充電之元件。
在下列描述中每當一般引用一影像感測器時，皆應將其理解為代表來自圖1之影像感測器20。應進一步瞭解本說明書中所揭示之本發明的影像感測器架構及像素圖案之所有實例及其等之等效物係用於影像感測器20。
在一影像感測器之背景內容中，一像素(「圖像元素」之一縮寫)指稱一離散光感測區域及與該光感測區域有關的電荷漂移或電荷量測電路。在一數位彩色影像之背景內容中，術語「像素」通常指稱具有相關彩色值之影像中的一特定位置。
圖2係本發明之較佳實施例之一高階圖，其代表用於實施本發明之步驟的一處理器。一影像感測器20(圖1)擷取對應於至少兩個彩色照片回應之含有一全色通道202及苦干彩色通道204的一彩色濾光器陣列影像。該彩色濾光器陣列可含有紅色像素、綠色像素、藍色像素及全色像素，但其他通道組合亦有可能(諸如青色、品紅、黃色及全色)。包含一全色通道特別重要。以將全色通道以至少不同於該等彩色通道之一者的時間長度曝光之一方式擷取彩色濾光器陣列影像。全色通道一般可具有不同於該等彩色通道之各者的一曝光時間，且曝光時間間隔經配置以使其等同時結束。
一CFA內插區塊206自數位相機(圖1)所擷取之一彩色濾光器陣列影像產生一全解析度全色影像208及一全解析度彩色影像210。該全解析度彩色影像210係用於計算一全解析度合成全色影像212。在一較佳實施例中，全解析度合成全色影像212係按全解析度彩色影像210之紅色、綠色及藍色彩色通道之加權線性組合進行估算的。區塊210產生的全解析度彩色影像之紅色、綠色、藍色彩色通道之權重經選擇，以使所計算的全解析度合成全色影像212可與全解析度全色影像208相比。
在最終步驟中，將全解析度全色影像208、全解析度彩色影像210及全解析度合成全色影像212用於產生具有經減少之運動模糊的經改良之一全解析度彩色影像214。
現將更詳細地描述圖2中概述的個別步驟。起初，一數位相機(圖1)擷取一彩色濾光器陣列影像。圖3繪示針對該較佳實施例的一例示性彩色濾光器陣列圖案301。在此實例中，大約一半像素為全色像素302，而另一半在紅色像素304、綠色像素306及藍色像素308中分開。
全色像素之曝光週期短於彩色像素之曝光週期。此容許以一短曝光時間擷取全色資料藉此防止過多的運動模糊，但亦容許以充分的曝光時間擷取彩色資料來減少彩色雜訊假影。
如圖4中注意到，在影像感測器讀出期間各種像素併像方案皆有可能。在圖4中，顯示一影像感測器的兩個部分列：影像感測器401之一第一部分列及影像感測器402之一第二部分列。在此實施例中，用於一感測器陣列的下伏讀出電路使用一浮動擴散404，該浮動擴散404在某時可切換地連接至一個或多個周圍像素。浮動擴散404之實施及使用為熟悉數位影像擷取技術者所熟知。圖4繪示其中之各個浮動擴散404用於四個周圍像素的一習知配置，在一個實例中，該配置繪示為一個四像素式套件406。
可以任何數目之組合將像素信號切換至浮動擴散404。在一第一讀出組合408中，四像素式套件中的各個像素406使其電荷分別傳遞至浮動擴散404且因此被各別讀取。在一第二讀出電路組合410中，將全色像素P進行併像，即，該等全色像素P藉由同時清空其等所儲存之電荷至浮動擴散404來共用浮動擴散404；類似地，四像素式套件中之彩色(G)像素兩者被併像，同時其等之信號切換至浮動擴散404。在一第三讀出組合412中，全色像素P未被併像，但該等全色像素P被分別讀取；而彩色像素(G)被併像。
在本發明之一較佳實施例中，用於全色通道202(圖2)之全色像素未被併像，而用於彩色通道204(圖2)之彩色像素被併像412，導致圖5中所繪示之讀出。在圖5中，全色像素502佔據一棋盤式圖案，而彩色像素504共同形成一低解析度Bayer圖案。
CFA內插區塊206(圖2)使用含有一全色通道202(圖2)及若干彩色通道204(圖2)的一彩色濾光器陣列影像產生一全解析度全色影像208(圖2)及一全解析度彩色影像210(圖2)。此項技術中用於執行CFA內插的方法為吾人所熟知。例如，可使用在美國專利申請公開案第2007/0024934號所描述的CFA內插方法，該案以引用之方式併入本文中。
在CFA內插區塊206已產生一全解析度彩色影像210之後，使用全解析度彩色影像210來計算一全解析度合成全色影像212。用於計算全解析度合成全色影像212的計算上簡單之一估算由L=R+2G+B給定，其中L為全解析度合成全色影像210(圖2)之像素值，且R、G、B係分別用於全解析度彩色影像210(圖2)的紅色、綠色、藍色彩色通道之像素值。在一較佳實施例中，如圖6繪示測量紅色、綠色、藍色及全色像素之光譜回應，且以紅色、綠色及藍色之加權線性組合估算最擬合該全色曲線的全解析度合成全色影像212。
參考圖6之曲線圖，其繪示在一典型相機應用中具有紅色、綠色及藍色彩色濾光器的相對光譜敏感度。圖6中之X軸代表以奈米為單位的光波長，其橫越從近紫外線到近紅外線之波長，且Y軸代表效率(經歸一化)。在圖6中，一頻寬濾光器曲線610代表用於阻斷紅外線光及紫外線光到達影像感測器的一典型頻寬濾光器之光譜傳輸特性。需要此類濾光器係由於用於影像感測器的彩色濾光器並不阻斷紅外線光，因此像素無法在紅外線光與在相關聯彩色濾光器之通帶內的光之間區別。因此頻寬濾光器曲線610所繪示之紅外線阻斷特性防止紅外線光干擾可視光信號。應用紅色、綠色及藍色濾光器的一典型矽感測器之光譜量子效率(即，經擷取及轉換為一可測量的電信號之入射光子的比例)乘以頻寬濾光器曲線610以產生組合的系統量子效率，其等由一紅色光回應曲線614代表用於紅色彩色通道，由一綠色光回應曲線616代表用於綠色彩色通道，由一藍色光回應曲線618代表用於藍色彩色通道。從此等曲線中可瞭解各個彩色光回應僅對可視光譜之一部分敏感。相比而言，未應用彩色濾光器(但包含紅外線阻斷濾光器特性)的相同矽感測器由一全色光回應曲線612繪示用於全色通道。藉由比較彩色光回應曲線614、616及618與全色光回應曲線612，將清楚全色光回應可比該等彩色光回應之任何一者對寬光譜光敏感2到4倍。
在步驟214(圖2)中，使用全解析度全色影像208(圖2)、全解析度彩色影像210(圖2)及全解析度合成全色影像212(圖2)以產生具有經減少之運動模糊的經改良之全解析度彩色影像。
圖7為較佳實施例之步驟214(圖2)之一較詳細的視點。彩色校正權重產生步驟702使用全解析度全色影像208(圖2)與全解析度全色影像212(圖2)之比率且產生彩色校正權重。一彩色校正權重調整步驟704在彩色校正權重產生步驟702產生的彩色校正權重上使用非線性運算來避免像素溢出形成經校正的彩色校正權重。一色彩改良步驟706使用經校正的彩色校正權重及全解析度彩色影像210(圖2)來產生具有經減少之運動模糊的經改良的一全解析度彩色影像708。
在圖7中，彩色校正權重產生步驟702可以熟悉此項技術者所熟知的任何適當方式執行。可使用以下等式(1)描述一種評估彩色校正權重的方法：
其中CCW為彩色校正權重產生步驟702所產生的彩色校正權重，pan為全解析度全色影像208(圖2)及synthetic pan為全解析度合成全色影像212(圖2)。
在圖7中，可以熟悉此項技術者所知的任何適當方法執行彩色校正權重調整步驟704。一種執行彩色校正權重調整步驟704的方法可用以下等式(2)來描述，在該等式(2)中彩色校正權重產生步驟702所產生的彩色校正權重限於小於1之值：
在圖7中，可以熟悉此項技術者所知的任何適當方式執行彩色改良步驟706。執行彩色改良步驟706以產生新的一全解析度彩色影像可用以下等式(3)、(4)及(5)來描述：
R New =R *(Adj CCW )　(3)
G New =G *(Adj CCW )　(4)
B New =B *(Adj CCW )　(5)
其中R、G及B分別為全解析度彩色影像210的全解析度紅色、綠色及藍色彩色通道值。RNew 、GNew 及BNew 分別為經改良之全解析度彩色影像708的全解析度紅色、綠色及藍色彩色通道值。
在本發明之較佳實施例中所揭示的彩色按比例調整演算法可用於各種使用者背景內容及環境。例示性背景內容及環境包含(但不限於)：批發數位照片洗印(其包含例示性處理或階段，諸如提交用於實現批發、數位處理及列印輸出的數位影像)、零售數位照片洗印(提交用於實現零售、數位處理及列印輸出之數位影像)、家庭列印(家庭數位影像輸入、數位處理、列印輸出)、桌上型電腦軟體(應用演算法至數位影像使其等更佳(或甚至改變其等)之軟體)、數位實現(從媒體或環球網之數位影像輸入、數位處理、經由網際網路而在媒體、數位表格上的數位影像輸出)、電子商務導覽站(數位影像輸入、數位處理、列印輸出或數位媒體輸出)、行動電話器件(例如可作為一處理單元、一顯示單元或給定處理指令之一單元使用的PDA或蜂巢式電話)及作為經由環球網而提供之一服務。
在各個情形中，彩色按比例調整演算法可獨立或可為一較大系統解決方案之一組件。此外，該演算法之介接(例如輸入、數位處理、對於一使用者的顯示(若有需要)、使用者之請求或處理指令之輸入(若有需要)、輸出)可各自在相同的或不同的器件及實體位置上，且可經由公共或私人網路連接或者基於媒體之通信該等器件及位置之間進行通信。與本發明之前的揭示一致，該等演算法本身可完全自動、可令使用者輸入(完全或部分手動)、可令使用者或操作者進行回顧以接受/或拒絕該結果、或可藉助於源資料(可為使用者供應、由一測量器件(例如在一相機中)供應、或由一演算法決定之元資料)。此外，該等演算法可與各種工作流程使用者介面方案介接。
本文中根據本發明所揭示之彩色按比例調整演算法可具有使用各種資料偵測及縮減技術(例如，面部偵測、眼睛偵測、皮膚偵測、閃光偵測)之內部組件。
本發明已參考其某些較佳實施例進行詳細描述，但應瞭解可在本發明之精神及範圍內實現變動及修改。
10．．．來自主場景之光
11．．．成像階段
12．．．透鏡
13．．．中性密度濾光器區塊
14．．．虹膜區塊
16．．．亮度感測器區塊
18．．．快門
20．．．影像感測器
22．．．類比信號處理器
24．．．類比數位(A/D)轉換器
26．．．時序產生器
28．．．影像感測器階段
30．．．匯流排
32．．．數位信號處理器(DSP)記憶體
36．．．數位信號處理器(DSP)
38．．．處理階段
40．．．曝光控制器
50．．．系統控制器
52．．．系統控制器匯流排
54．．．程式記憶體
56．．．系統記憶體
57．．．主機介面
60．．．記憶體卡介面
62．．．記憶體卡插座
64．．．記憶體卡
68．．．使用者介面
70．．．取景器顯示器
72．．．曝光顯示器
74．．．使用者輸入端
76．．．狀態顯示器
80．．．視訊編碼器
82．．．顯示器控制器
88．．．影像顯示器
202．．．全色通道
204．．．彩色通道
206．．．彩色濾光器陣列(CFA)內插區塊
208．．．全解析度全色影像
210．．．全解析度彩色影像
212．．．全解析度合成全色影像
214．．．具有經減少之運動模糊之經改良的全解析度彩色影像
301．．．彩色濾光器陣列圖案
302．．．全色像素
304．．．紅色像素
306．．．綠色像素
308．．．藍色像素
401．．．影像感測器之第一部分列
402．．．影像感測器之第二部分列
404．．．浮動擴散
406．．．四像素式套件
408．．．第一讀出組合
410．．．第二讀出組合
412．．．第三讀出組合
502．．．全色像素
504．．．彩色像素
610．．．頻寬濾光器曲線
612．．．全色光回應曲線
614．．．紅色光回應曲線
616．．．綠色光回應曲線
618．．．藍色光回應曲線
702．．．彩色校正權重步驟
704．．．彩色校正權重調整步驟
706．．．色彩改良
708．．．經改良之全解析度彩色影像
圖1係用於實施本發明的一數位相機之一方塊圖；
圖2係根據本發明之一較佳實施例的一方塊圖；
圖3係針對本發明的一彩色濾光器陣列之一視圖；
圖4係一示意圖，其繪示在相鄰列中的像素如何能夠併像在一起，共用相同的浮動擴散組件；
圖5係來自由一個可能的併像策略之影像感測器的像素讀出之一視圖；
圖6係提供針對紅色、綠色及藍色像素的代表性光譜量子效率曲線，及全部與一紅外線阻擋濾光器之光譜透射特性相乘的較寬的一光譜全色量子效率；及
圖7係更詳細地繪示圖2之步驟214的一方塊圖。
20．．．影像感測器
202．．．全色通道
204．．．彩色通道
206．．．彩色濾光器陣列(CFA)內插
208．．．全解析度全色影像
210．．．全解析度彩色影像
212．．．全解析度合成全色影像
214．．．具有經減少之運動模糊之經改良的全解析度彩色影像

Claims (8)

  1. 一種用於形成具有減少之運動模糊的一最終數位彩色影像之方法，該方法包括：(a)提供對應於具有相關彩色照片回應之至少兩個彩色通道之具有全色像素及彩色像素的影像；(b)在該等全色像素之間進行內插以產生一全解析度全色影像，及在該等彩色像素之間進行內插以產生一全解析度彩色影像；(c)自該全解析度彩色影像產生一全解析度合成全色影像；(d)藉由計算在該全解析度全色影像中之像素與在該全解析度合成全色影像中之對應像素之比率而計算出彩色校正權重；(e)使用該等彩色校正權重來修改該全解析度彩色影像，以提供具有減少之運動模糊的該最終數位彩色影像。
  2. 如請求項1之方法，其中在步驟(a)中所提供的該等全色像素及該等彩色像素係以不同的曝光時間來擷取。
  3. 如請求項1之方法，其中在步驟(a)中所提供的該等全色像素及該等彩色像素係使用具有全色像素及彩色像素兩者的一單個影像感測器來擷取。
  4. 如請求項1之方法，其中步驟(c)包含藉由計算在該全解析度彩色影像中之該等彩色通道之一加權總和而計算該全解析度合成全色影像。
  5. 如請求項1之方法，其中步驟(d)進一步包含藉由(i)若該等彩色校正權重小於或等於1時保持該等彩色校正權重、及(ii)若該等彩色校正權重大於1時將該等彩色校正權重指定為1而將該等彩色校正權重限於小於或等於1之值。
  6. 如請求項1之方法，其中步驟(d)包含對該等彩色校正權重應用一非線性運算。
  7. 如請求項6之方法，其中該等彩色校正權重限於小於或等於1之值。
  8. 如請求項1之方法，其中步驟(e)包含將該全解析度彩色影像乘以該等彩色校正權重以提供該最終彩色數位影像。
TW099106801A 2009-03-10 2010-03-09 具有合成全色影像之彩色濾光器陣列影像 TWI462055B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/401,002 US8224082B2 (en) 2009-03-10 2009-03-10 CFA image with synthetic panchromatic image

Publications (2)

Publication Number Publication Date
TW201102968A TW201102968A (en) 2011-01-16
TWI462055B true TWI462055B (zh) 2014-11-21

Family

ID=42104631

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099106801A TWI462055B (zh) 2009-03-10 2010-03-09 具有合成全色影像之彩色濾光器陣列影像

Country Status (4)

Country Link
US (1) US8224082B2 (zh)
CN (1) CN102369721B (zh)
TW (1) TWI462055B (zh)
WO (1) WO2010104551A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8300980B2 (en) * 2008-03-18 2012-10-30 Sony Corporation System, method and computer program product for providing a high resolution texture within an image
US8224082B2 (en) 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
DE102010041569B4 (de) 2010-09-28 2017-04-06 Leica Geosystems Ag Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem
US8761506B1 (en) 2011-04-22 2014-06-24 DigitalGlobe, Incorporated Pan sharpening digital imagery
US9020256B2 (en) * 2011-04-22 2015-04-28 Exelis Inc. System and method for combining color information with spatial information in multispectral images
EP2778635B1 (en) 2011-04-25 2023-11-29 Planet Labs PBC Systems and methods for overhead imaging and video
US9191635B2 (en) 2012-03-19 2015-11-17 Semiconductor Components Industries, Llc Imaging systems with clear filter pixels
KR101695252B1 (ko) * 2012-06-07 2017-01-13 한화테크윈 주식회사 멀티 대역 필터 어레이 기반 카메라 시스템 및 그의 영상 처리 방법
DE102012221667A1 (de) * 2012-11-27 2014-05-28 Deutsches Zentrum für Luft- und Raumfahrt e.V. Vorrichtung und Verfahren zum Verarbeiten von Fernerkundungsdaten
WO2015192056A1 (en) 2014-06-13 2015-12-17 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
US10871561B2 (en) 2015-03-25 2020-12-22 Urthecast Corp. Apparatus and methods for synthetic aperture radar with digital beamforming
WO2017044168A2 (en) 2015-06-16 2017-03-16 King Abdulaziz City Of Science And Technology Efficient planar phased array antenna assembly
CA3044806A1 (en) 2015-11-25 2017-06-01 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
EP3631504B8 (en) 2017-05-23 2023-08-16 Spacealpha Insights Corp. Synthetic aperture radar imaging apparatus and methods
EP3646054A4 (en) 2017-05-23 2020-10-28 King Abdulaziz City for Science and Technology APERTURE SYNTHESIS RADAR IMAGING APPARATUS FOR MOBILE TARGETS
US11525910B2 (en) 2017-11-22 2022-12-13 Spacealpha Insights Corp. Synthetic aperture radar apparatus and methods
US10616536B2 (en) 2018-01-12 2020-04-07 Semiconductor Components Industries, Llc Imaging systems having broadband monochromatic and chromatic image sensors
CN110248050B (zh) * 2018-03-07 2021-03-02 维沃移动通信有限公司 一种摄像头模组及移动终端
JP7349806B2 (ja) * 2018-03-28 2023-09-25 ブラックマジック デザイン ピーティーワイ リミテッド 画像処理方法及びフィルタアレイ
CN114422766B (zh) * 2018-08-03 2024-06-04 杭州海康威视数字技术股份有限公司 一种图像采集设备
CN114073068B (zh) * 2019-09-09 2023-11-03 Oppo广东移动通信有限公司 图像采集方法、摄像头组件及移动终端
WO2021046690A1 (zh) * 2019-09-09 2021-03-18 Oppo广东移动通信有限公司 图像传感器、摄像头模组、移动终端及图像采集方法
CN111246064B (zh) * 2020-02-19 2021-07-09 Oppo广东移动通信有限公司 图像处理方法、摄像头组件及移动终端
CN111405204B (zh) * 2020-03-11 2022-07-26 Oppo广东移动通信有限公司 图像获取方法、成像装置、电子设备及可读存储介质
CN111711766B (zh) * 2020-06-17 2022-01-04 Oppo广东移动通信有限公司 图像处理方法及装置、终端和计算机可读存储介质
WO2022073364A1 (zh) * 2020-10-09 2022-04-14 Oppo广东移动通信有限公司 图像获取方法及装置、终端和计算机可读存储介质
US20220303515A1 (en) * 2021-03-17 2022-09-22 Mediatek Inc. High Sensitivity Color Image Generation Using Hybrid Sensor
CN114466170B (zh) * 2021-08-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080012969A1 (en) * 2006-05-15 2008-01-17 Masanori Kasai Image Pickup Apparatus, Image Processing Method, and Computer Program

Family Cites Families (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US4437112A (en) * 1980-02-15 1984-03-13 Canon Kabushiki Kaisha Solid-state color imaging apparatus
US4615808A (en) * 1983-12-30 1986-10-07 Union Oil Co. Of California Acidification of steam condensate for incompatibility control during mixing with geothermal brine
US4896207A (en) * 1988-06-17 1990-01-23 Eastman Kodak Company Color imaging apparatus employing a horizontal stripe color filter to reduce rise-time artifacts
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
US5903388A (en) * 1992-06-11 1999-05-11 Sedlmayr Steven R High efficiency electromagnetic beam projector and systems and method for implementation thereof
US5227313A (en) * 1992-07-24 1993-07-13 Eastman Kodak Company Process for making backside illuminated image sensors
US5244817A (en) * 1992-08-03 1993-09-14 Eastman Kodak Company Method of making backside illuminated image sensors
US5506619A (en) * 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US6112031A (en) * 1995-07-27 2000-08-29 Eastman Kodak Company Generating digitized images on silver halide
US5786236A (en) * 1996-03-29 1998-07-28 Eastman Kodak Company Backside thinning using ion-beam figuring
JP3106953B2 (ja) * 1996-05-16 2000-11-06 富士電機株式会社 表示素子駆動方法
US5949914A (en) * 1997-03-17 1999-09-07 Space Imaging Lp Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening
US6097835A (en) * 1997-07-23 2000-08-01 Lockheed Martin Corporation Projective pan sharpening methods and apparatus
US5914749A (en) * 1998-03-31 1999-06-22 Intel Corporation Magenta-white-yellow (MWY) color system for digital image sensor applications
US6011875A (en) * 1998-04-29 2000-01-04 Eastman Kodak Company Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening
US6429036B1 (en) * 1999-01-14 2002-08-06 Micron Technology, Inc. Backside illumination of CMOS image sensor
US6168965B1 (en) * 1999-08-12 2001-01-02 Tower Semiconductor Ltd. Method for making backside illuminated image sensor
US20010054723A1 (en) * 2000-03-17 2001-12-27 Tadashi Narui Image sensor, method of fabricating the same, and exposure apparatus, measuring device, alignment device, and aberration measuring device using the image sensor
US6441848B1 (en) * 2000-05-19 2002-08-27 Damon L. Tull Preventing blur caused by motion of the subject in a digital image
US6813046B1 (en) * 2000-11-07 2004-11-02 Eastman Kodak Company Method and apparatus for exposure control for a sparsely sampled extended dynamic range image sensing device
US6611380B2 (en) 2001-12-21 2003-08-26 Eastman Kodak Company System and method for calibration of display system with linear array modulator
US7012643B2 (en) * 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
AU2003272202A1 (en) * 2002-06-21 2004-01-06 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US7095420B2 (en) * 2002-10-17 2006-08-22 Lockheed Martin Corporation System and related methods for synthesizing color imagery
US7340099B2 (en) * 2003-01-17 2008-03-04 University Of New Brunswick System and method for image fusion
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
FI20030583A (fi) * 2003-04-16 2004-10-17 Upstream Engineering Oy Dataprojektori
JP2004341206A (ja) * 2003-05-15 2004-12-02 Olympus Corp 表示装置
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
CN100390631C (zh) * 2003-07-23 2008-05-28 夏普株式会社 液晶显示装置
JP4349048B2 (ja) 2003-09-22 2009-10-21 セイコーエプソン株式会社 プロジェクタ
JP4046069B2 (ja) * 2003-11-17 2008-02-13 ソニー株式会社 固体撮像素子及び固体撮像素子の製造方法
JP2005268738A (ja) 2004-02-17 2005-09-29 Sony Corp 固体撮像素子とその製造方法、及び半導体集積回路装置とその製造方法
JP4211696B2 (ja) 2004-06-30 2009-01-21 ソニー株式会社 固体撮像装置の製造方法
US7298922B1 (en) * 2004-07-07 2007-11-20 Lockheed Martin Corporation Synthetic panchromatic imagery method and system
US7880785B2 (en) * 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
US8570389B2 (en) * 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
US7425460B2 (en) * 2004-09-17 2008-09-16 California Institute Of Technology Method for implementation of back-illuminated CMOS or CCD imagers
JP2006184567A (ja) * 2004-12-27 2006-07-13 Toshiba Corp プロジェクション映像表示装置とその明るさ調整方法
US7238583B2 (en) * 2005-02-11 2007-07-03 Sarnoff Corporation Back-illuminated imaging device and method of fabricating same
US7723215B2 (en) * 2005-02-11 2010-05-25 Sarnoff Corporation Dark current reduction in back-illuminated imaging sensors and method of fabricating same
US8654201B2 (en) 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
WO2006113583A2 (en) * 2005-04-15 2006-10-26 Mississippi State University Remote sensing imagery accuracy analysis method and apparatus
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7830430B2 (en) * 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US20070046807A1 (en) * 2005-08-23 2007-03-01 Eastman Kodak Company Capturing images under varying lighting conditions
JP2007067571A (ja) * 2005-08-29 2007-03-15 Fujitsu Ltd 画像処理装置
US7315014B2 (en) * 2005-08-30 2008-01-01 Micron Technology, Inc. Image sensors with optical trench
US20070052050A1 (en) 2005-09-07 2007-03-08 Bart Dierickx Backside thinned image sensor with integrated lens stack
US7978240B2 (en) * 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
CN101455075B (zh) * 2005-10-13 2011-09-14 Rjs科技公司 一种高性能色滤光片马赛克阵列的系统与方法
US20070159542A1 (en) * 2006-01-12 2007-07-12 Gang Luo Color filter array with neutral elements and color image formation
US7688368B2 (en) * 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
US7586139B2 (en) * 2006-02-17 2009-09-08 International Business Machines Corporation Photo-sensor and pixel array with backside illumination and method of forming the photo-sensor
US7680354B2 (en) * 2006-03-22 2010-03-16 Arcsoft, Inc. Image deblur based on two images
JP5000914B2 (ja) 2006-03-30 2012-08-15 日東光学株式会社 映像プロジェクション装置
JP4449936B2 (ja) * 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US7706022B2 (en) * 2006-06-12 2010-04-27 Kabushiki Kaisha Toshiba Image forming apparatus and image forming method
KR100791336B1 (ko) * 2006-08-10 2008-01-07 삼성전자주식회사 이미지 센서 제조 방법
US8031258B2 (en) * 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
US7796324B2 (en) 2006-10-10 2010-09-14 Panasonic Corporation Wavelength converting apparatus and image displaying apparatus
US7876956B2 (en) * 2006-11-10 2011-01-25 Eastman Kodak Company Noise reduction of panchromatic and color image
US20080123997A1 (en) * 2006-11-29 2008-05-29 Adams James E Providing a desired resolution color image
US7769229B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Processing images having color and panchromatic pixels
US7893976B2 (en) * 2006-12-01 2011-02-22 Eastman Kodak Company Light sensitivity in image sensors
JP5085140B2 (ja) * 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
US7733931B2 (en) * 2007-01-09 2010-06-08 Seiko Epson Corporation Light source device, projector device, monitor device, and lighting device
US7769241B2 (en) * 2007-01-09 2010-08-03 Eastman Kodak Company Method of sharpening using panchromatic pixels
US8184926B2 (en) 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
JP4930109B2 (ja) * 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
JP4888261B2 (ja) * 2007-07-12 2012-02-29 セイコーエプソン株式会社 光源装置、画像表示装置及びモニタ装置
US7855740B2 (en) * 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
US20090051984A1 (en) * 2007-08-23 2009-02-26 O'brien Michele Image sensor having checkerboard pattern
CN101408677B (zh) * 2007-10-11 2011-07-27 鸿富锦精密工业（深圳）有限公司 立体投影光学系统
US7871165B2 (en) * 2007-11-30 2011-01-18 Eastman Kodak Company Stereo projection apparatus using polarized solid state light sources
JP5213670B2 (ja) * 2008-01-16 2013-06-19 三洋電機株式会社 撮像装置及びぶれ補正方法
US7999870B2 (en) * 2008-02-01 2011-08-16 Omnivision Technologies, Inc. Sampling and readout of an image sensor having a sparse color filter array pattern
WO2009105120A1 (en) * 2008-02-19 2009-08-27 Sarnoff Corporation Method and device for reducing crosstalk in back illuminated imagers
US8164651B2 (en) * 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor
US8035711B2 (en) * 2008-05-22 2011-10-11 Panavision Imaging, Llc Sub-pixel array optical sensor
US8017426B2 (en) * 2008-07-09 2011-09-13 Omnivision Technologies, Inc. Color filter array alignment mark formation in backside illuminated image sensors
US20100006908A1 (en) * 2008-07-09 2010-01-14 Brady Frederick T Backside illuminated image sensor with shallow backside trench for photodiode isolation
US7915067B2 (en) * 2008-07-09 2011-03-29 Eastman Kodak Company Backside illuminated image sensor with reduced dark current
US7859033B2 (en) * 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
US8164682B2 (en) * 2008-10-14 2012-04-24 Omnivision Technologies, Inc. Dithered focus evaluation
US8111307B2 (en) * 2008-10-25 2012-02-07 Omnivision Technologies, Inc. Defective color and panchromatic CFA image
US8073246B2 (en) * 2008-11-07 2011-12-06 Omnivision Technologies, Inc. Modifying color and panchromatic channel CFA image
US20100149396A1 (en) * 2008-12-16 2010-06-17 Summa Joseph R Image sensor with inlaid color pixels in etched panchromatic array
US8224082B2 (en) 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US20100309340A1 (en) * 2009-06-03 2010-12-09 Border John N Image sensor having global and rolling shutter processes for respective sets of pixels of a pixel array
US8125546B2 (en) 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080012969A1 (en) * 2006-05-15 2008-01-17 Masanori Kasai Image Pickup Apparatus, Image Processing Method, and Computer Program

Also Published As

Publication number Publication date
WO2010104551A1 (en) 2010-09-16
TW201102968A (en) 2011-01-16
US20100232692A1 (en) 2010-09-16
CN102369721A (zh) 2012-03-07
US8224082B2 (en) 2012-07-17
CN102369721B (zh) 2014-05-14

Similar Documents

Publication Publication Date Title
TWI462055B (zh) 具有合成全色影像之彩色濾光器陣列影像
US9955071B2 (en) Using captured high and low resolution images
TWI496463B (zh) 形成全彩色影像之方法
US8068153B2 (en) Producing full-color image using CFA image
US8179445B2 (en) Providing improved high resolution image
CN103201766B (zh) 产生高动态范围图像的方法
US8363093B2 (en) Stereoscopic imaging using split complementary color filters
US8737755B2 (en) Method for creating high dynamic range image
US20110149111A1 (en) Creating an image using still and preview
US20110018993A1 (en) Ranging apparatus using split complementary color filters