TWI495336B - 利用彩色濾光片陣列影像產生全彩影像 - Google Patents

利用彩色濾光片陣列影像產生全彩影像 Download PDF

Info

Publication number
TWI495336B
TWI495336B TW099109215A TW99109215A TWI495336B TW I495336 B TWI495336 B TW I495336B TW 099109215 A TW099109215 A TW 099109215A TW 99109215 A TW99109215 A TW 99109215A TW I495336 B TWI495336 B TW I495336B
Authority
TW
Taiwan
Prior art keywords
image
color
panchromatic
interpolated
filter array
Prior art date
Application number
TW099109215A
Other languages
English (en)
Other versions
TW201105121A (en
Inventor
Mrityunjay Kumar
James E Adams Jr
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW201105121A publication Critical patent/TW201105121A/zh
Application granted granted Critical
Publication of TWI495336B publication Critical patent/TWI495336B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Description

利用彩色濾光片陣列影像產生全彩影像
本發明係關於具有彩色通道及一泛色通道之彩色濾光片陣列影像及更特定言之係關於提供具有減小的運動模糊之一改良的全解析度彩色影像。
一電子成像系統依靠一透鏡系統在一電子影像感測器上形成一影像從而創造一可見影像之一電子表現。此等電子影像感測器之實例包含電荷耦合器件(CCD)影像感測器及有效像素感測器(APS)器件(APS器件由於在一互補式金氧半導體處理程序中製造它們的能力而通常被稱為CMOS感測器)。一感測器包括獨立的圖像元件感測器或像素之一二維陣列。如Bayer在普通受讓之1976年7月20日授證的美國專利第3,971,065號中所描述，各個像素通常具有一紅、綠、或藍濾光片之任一個以便產生一彩色影像。不管所採用的諸如CCD或CMOS之電子技術，該像素充當一桶，光電子在該桶中積聚，該等光電子與在藉由該電子成像系統擷取一影像期間照射該像素的光之數量成正比。
並非進入一電子成像系統之該前方光學元件的所有光均照射一像素。當通過該電子成像系統之光徑時，該光之大部分被損失。通常，該光之約5%由於透鏡反射及模糊而被損失及約60%由於該彩色濾光片陣列而被損失。此外，某些光照射不感光的像素區域。為收集用於製造一適度曝光所需之光之數量，該電子影像感測器收集光達被稱為曝光時間之一時間間隔。基於待被成像之該場景之亮度測量，一自動曝光控制通常被採用以決定將產生具有有效亮度的一影像之一合適曝光時間。該場景越暗，該電子成像系統需要收集光以製造一適度曝光的時間越長。然而，已知的係越長的曝光可導致模糊的影像。此模糊係物體在一場景中移動之結果。當在擷取期間該影像擷取器件相對於該場景發生移動(諸如，由於攝影機抖動)時，亦可產生模糊。
一個減少模糊的方法係縮短該曝光時間。然而，此方法使該電子影像感測器在影像擷取期間曝光不足因此產生黑暗影像。一類比或數位增益可被應用於該影像信號以使該黑暗影像變亮，但是熟習此項技術者將認識到此將導致雜訊影像。
另一個減少模糊的方法係縮短該曝光時間及保留更多的光通過該光徑及將光引導至該電子影像感測器之該等像素。此方法可產生具有減小模糊與可接受的雜訊水準之影像。然而，電子成像系統之該當前工業趨勢係製造更小且更便宜的成像系統。可收集合更多的光及保留更多光傳遞通過的大孔徑高級光學元件因此係不可行的。
另一個減少模糊的方法係縮短該曝光時間及藉由一攝影閃光補充自然光。一攝影閃光產生一強光通量，其在一秒之一小部分中持續不變及該曝光時間被設定以包含該閃光時間。該曝光時間可被設定為一比不含一閃光之情況顯著更短的間隔，此乃由於該攝影閃光提供強照明。因此，在曝光期間之該模糊被減小。然而，僅有在該閃光與該物體之間的距離係相對小的條件下閃光攝影才係可行的。另外，一閃光給一影像擷取器件添加額外費用及重量。
Tull之2002年8月27日授證的美國專利第6,441,848號描述具有一電子影像感測器之一數位相機，該電子影像感測器藉由監控電子被各個像素收集之速率來移除物體運動模糊。如果光照射一像素的速率改變，那麼該像素所視之該影像之亮度被假定為正在變化。當被嵌入該感測器陣列中的一電路偵測到該影像亮度變化時，收集到的電荷之數量被保存及亮度變化被偵測到之該時間被記錄。藉由線性地外推該像素值使得該像素值相對應於該整個影像之動態範圍而將各個像素值(其中曝光被停止)調整至固有值。此方法之一缺點係當該曝光開始時仍舊在運動中的一物體之該等外推像素值係非常不確定的。該感測器所見之該影像亮度從不具有一恒定值及，因此，該等外推像素值之不確定導致具有運動偽像之一影像。另一個缺點係該方法使用專用硬體使得其不能使用被用於當前商業相機中的該等習知電子影像感測器。
另一個減少模糊的方法係擷取二個影像，一個具有一短的曝光時間，及一個具有一長的曝光時間。該短的曝光時間被選擇以致產生一影像，該影像具有雜訊但是相對地不含運動模糊。該長的曝光時間被選擇以致產生一影像，該影像具有較少雜訊但是卻具有顯著的運動模糊。影像處理演算法被用於將該二個擷取影像組合入一個最終輸出影像。此等方法在美國專利第7,239,342號、美國專利申請公開案第2006/0017837號、美國專利申請公開案第2006/0187308號及美國專利申請公開案第2007/0223831號中被描述。此等方法之缺陷包含針對儲存多個影像之額外的緩衝記憶體之一要求、處理多個影像之額外的複雜性、及消除物體運動模糊之困難。
另一個減少模糊的方法係縮短該曝光時間及保留更多的光通過該彩色濾光片陣列。針對矽基影像感測器，該等像素組件自身廣泛地對可見光靈敏，其允許未過濾的像素適於擷取一單色影像。為了擷取彩色影像，濾光片之一二維型樣通常被製造於像素之型樣之上，其中不同的過濾材料被用於製造僅對該可見光譜之一部分敏感的獨立像素。如美國專利第3,971,065號所描述，濾光片之此一型樣之一實例係該已知的拜耳(Bayer)彩色濾光片陣列型樣。該拜耳(Bayer)彩色濾光片陣列之優點係可在一般條件下獲得全彩影像；然而，此解決方案已被發現存在其缺陷。儘管濾光片係提供窄帶光譜回應所需，但是該入射光之任一過濾趨向減小到達各個像素之光的數量，由此減小各個像素之有效感光度及減小像素回應速度。
如用於在變化的光條件下改良影像擷取及用於改良該影像感測器之總靈敏度之解決方案，對於該熟悉的拜耳(Bayer)型樣之修改已被揭示。舉例而言，Hamilton等人所著之題為「在變化的照明條件下擷取影像(Capturing Images Under Varying Lighting Conditions)」之普通受讓美國專利申請公開案第2007/0046807號及Compton等人所著之題為「具有改良感光度之影像感測器(Image Sensor with Improved Light Sensitivity)」之美國專利申請公開案第2007/0024931號二者同時描述將彩色濾光片與泛色濾光片元件以某種方式被空間地穿插組合在一起之替代感測器配置。藉由此類型的解決方案，該影像感測器之某部分偵測色彩；其他的泛色部分被最優化以偵測橫跨該可見頻帶的光以求改良的動態範圍及靈敏度。此等解決方案由此提供一像素型樣，某些像素具有彩色濾光片(提供一窄帶光譜回應)及某些不具有彩色濾光片(未過濾的「泛色」像素或經過濾以提供一寬頻光譜回應之像素)。然而，由於該等彩色像素仍然遭受運動模糊，因此此等解決方案不足以容許不具有運動模糊的高品質影像在低光條件下被擷取。
在天體攝影術及遙感領域中已知，在低光情形下減少模糊及擷取影像之另一個方法係擷取二個影像：具有高空間解析度之一泛色影像及具有低空間解析度之一多光譜影像。該等影像被融合以產生具有高空間解析度之一多光譜影像。此等方法被描述在美國專利第7,340,099號、美國專利第6,011,875號及美國專利第6,097,835號中。此等方法之缺陷包含針對儲存多個影像之額外的緩衝記憶體之一要求、及消除物體運動模糊之困難。
可被用於減小運動模糊之另一個方法係使用一影像穩定系統，該影像穩定系統具有可移動的透鏡系統或專用成像器放置硬體。此等系統被設計以將影像保持在該感測器上的一穩定位置中。然而，此等系統具有複雜及昂貴之缺點。此外，其未解決在該場景中的物體係以不同速度在移動之情況。
由此，需要在不利用一攝影閃光、不增加影像雜訊、且不產生顯著額外成本、複雜性或存儲器需求的前提下產生一改良的彩色影像，該影像具有來自具有彩色及泛色像素之彩色濾光片陣列影像之減小的運動模糊。
根據本發明，提供一種利用具有複數個彩色通道及一泛色通道之一彩色濾光片陣列影像形成一全彩輸出影像的方法，該方法包括一個或更多個處理器用於提供下列(各項)：
a)利用一彩色濾光片陣列影像感測器擷取一彩色濾光片陣列影像，該彩色濾光片陣列影像具有複數個彩色通道及一泛色通道，其中該泛色通道係利用與該等彩色通道之至少一個不同的一曝光時間而被擷取；
b)計算來自該彩色濾光片陣列影像之一內插彩色影像及一內插泛色影像；
c)計算來自該內插彩色影像之一色度影像；及
d)利用該內插泛色影像及該色度影像形成該全彩輸出影像。
本發明之一優點係具有減小的運動模糊之改良全解析度彩色影像可被產生而不一定要使用一攝影閃光或長曝光時間以恰當地曝光一單一影像。
本發明之一另外的優點係具有減小的影像擷取器件所致模糊之全解析度彩色影像可被產生而不一定需要具有可移動透鏡系統或專用成像器放置硬體之一昂貴的影像穩定系統。
本發明之一另外的優點係具有減小的模糊之全解析度彩色影像可被產生而不增加用於儲存多個影像之緩衝記憶體要求。
本發明之此及其他的態樣、目的、特徵、及優點將從對該等較佳實施例及附屬申請專利範圍之下列詳細描述之一評論及參照該等圖式而被更清楚地理解及瞭解。
在以下描述中，本發明之一較佳實施例將以術語而被描述，該等術語通常作為軟體程式而被實現。熟習此項技術者將容易地認識到此軟體之等價物亦可被創構在硬體中。由於影像操縱演算法及系統係熟知的，因此本描述將被特別引導至形成根據本發明之該系統及方法的一部分或更直接地與根據本發明之該系統及方法協作的演算法及系統。在本文中未被明確顯示或描述之此等演算法與系統、及用於生產之硬體或軟體及該等影像信號所含有之其他處理的其他態樣可為選自在本技術中已知的此等系統、演算法、組件及元件。假定該系統在以下材料中根據本發明而被描述，那麼對執行本發明有用的在本文中未被明確顯示、建議或描述的軟體係習知的且在本技藝之普通技術範圍內。
更進一步，如在本文中所使用，用於執行本發明之該方法的該電腦程式可被儲存在一電腦可讀儲存媒體中，舉例而言，該電腦可讀存儲媒體包含；磁儲存媒體，諸如一磁碟(諸如一硬碟驅動器或一軟碟)或磁帶；光儲存媒體，諸如一光碟、光帶、或機器可讀條碼；固態電子記憶體，諸如隨機存取記憶體(RAM)、或唯讀記憶體(ROM)；或任一其他的實體器件或媒體，其被採用以儲存一電腦程式。
由於採用用於信號擷取與修正且用於曝光控制之成像器件及相關電路的數位相機係熟知的，因此本描述將被特別引導至形成根據本發明的該方法及裝置的一部分或更直接地與根據本發明的該方法及裝置協作之元件。在本文中未明確顯示或描述之元件係選自本技術之此等已知。待被描述之該等實施例之某些態樣被提供於軟體中。假定該系統在以下材料中根據本發明而被顯示及描述，那麼對執行本發明有用的在本文中未被明確顯示、描述或建議的軟體係習知的且在本技藝之普通技術範圍內。
現在轉向圖1，實施本發明的一影像擷取器件之一方塊圖被顯示。在此實例中，該影像擷取器件被顯示為一數位相機。然而，儘管一數位相機現在將被說明，本發明同樣清楚地適於其他類型的影像擷取器件。在該被揭示的相機中，來自主題場景10之光被輸入一成像階段11，其中該光被透鏡12聚焦以在一固態彩色濾光片陣列影像感測器20上形成一影像。彩色濾光片陣列影像感測器20將該入射光轉換為用於各個圖像元件(像素)之一電信號。該較佳實施例之該彩色濾光片陣列影像感測器20係一電荷耦合器件(CCD)類型或一有效像素感測器(APS)類型。(APS器件通常被稱為CMOS感測器，此乃由於能夠在一互補式金氧半導體程序中製造該等器件。)具有二維像素陣列之其他類型的影像感測器倘若採用本發明之型樣則亦可被使用。本發明所使用之該彩色濾光片陣列影像感測器20包括彩色及泛色像素之一二維陣列，其在圖1被描述之後在此說明書中隨後將變得清晰的。
到達該彩色濾光片陣列影像感測器20的光之數量藉由一虹膜塊14而被調節，該虹膜塊14改變孔徑及一中性密度(ND)濾塊13，該濾塊13包含一個或更多個插入該光徑中的ND濾光片。一光閘18被打開之時間亦調節總光度。一曝光控制器40回應藉由一亮度感測器塊16而被計量的在該場景中可得的光之數量及控制此等調節功能之全部三個。
一特殊相機組態之描述將為一熟習此項技術者所熟知，且明顯的係許多變化及額外的特徵被呈現。舉例而言，一自動聚焦系統可被添加，或該透鏡係可拆分的且可互換的。應瞭解本發明可被應用於任一類型的數位相機，其中相同的功能性藉由替代組件而被提供。舉例而言，該數位相機係一相對簡單的全自動數位相機，其中該光閘18係一相對簡單的可動葉片光閘、或類似物，其代替該更複雜的聚焦平面配置。本發明亦可利用被包含在諸如行動電話及機動車輛之非照相器件中的成像組件而被實踐。
來自該彩色濾光片陣列影像感測器20之該類比信號由類比信號處理器22處理且被應用於類比至數位(A/D)轉換器24。一時序產生器產生各種時脈信號以選擇列及像素並同步化類比信號處理器22與A/D轉換器24之操作。一影像感測階段28包含該彩色濾光片陣列影像感測器20、該類比信號處理器22、該A/D轉換器24、及該時序產生器26。影像感測階段28之該等組件可係分別被製造的積體電路，或該等組件可按照CMOS影像感測器常見處置方式被製造為一單一積體電路。來自該A/D轉換器24之由此產生的數位像素值串流被儲存在與一數位信號處理器(DSP)36相關的一數位信號處理器(DSP)記憶體32中。
該DSP 36係在此實施例中的三個處理器或控制器中之一個，除此之外還有一系統控制器50及一曝光控制器40。儘管在多個控制器及處理器之間的此種相機功能控制之劃分係典型的，但是此等控制器或處理器可以各種方式被組合而不影響該相機之功能操作及本發明之應用。此等控制器或處理器可包含一個或更多個數位信號處理器器件、微控制器、可程式化邏輯器件、或其他的數位邏輯電路。儘管以上係描述此等控制器或處理器之一組合，但是明顯的係一個控制器或處理器可被指定以執行該等所需功能之全部。所有此等變化可執行相同功能且屬於本發明之範圍，且該術語「處理階段」將按需要而被使用以在一語句內涵蓋此功能性之全部，舉例而言，如在圖1之處理階段38中。
在該被闡釋的實施例中，DSP 36根據一軟體程式操縱該DSP記憶體32中的該數位影像資料，該軟體程式被永久地儲存在一程式記憶體54中且被複製到DSP記憶體32中以用於在影像擷取期間執行。DSP 36執行實踐圖1所示之影像處理所需的該軟體。DSP記憶體32可為任一類型的隨機存取記憶體，諸如SDRAM。包含用於定址及資料信號之一通道的該母線30將DSP 36連接至與其相關的DSP記憶體32、A/D轉換器24及其他相關的器件。
系統控制器50基於被儲存在程式記憶體54中的一軟體程式控制該相機之總操作，該程式記憶體54可包含快閃EEPROM或其他非揮發性記憶體。此記憶體亦可被用於儲存影像感測器校準資料，使用者設置選項及當該相機被關閉時必須被保存的其他資料。系統控制器50控制影像擷取之序列，此乃藉由引導曝光控制器40以操作先前描述之該透鏡12、ND濾塊13、虹膜塊14、及光閘18，引導該時序產生器26以操作該彩色濾光片陣列影像感測器20及相關元件，以及引導DSP 36以處理經擷取的影像資料。在一影像被擷取及處理之後，儲存在DSP記憶體32中的該最終影像檔經由主介面57而被傳輸至一主電腦、被儲存在一可移動的記憶卡64或其他儲存器件中、及為了該使用者而被顯示在一影像顯示器88上。
一系統控制器母線52包含用於定址、資料及控制信號之一通道，及將系統控制器50連接至DSP 36、程式記憶體54、一系統記憶體56、主介面57、一記憶卡介面60及其他相關的器件。主介面57提供至一個人電腦(PC)或其他主電腦之一高速連接以傳輸用於顯示、儲存、操縱或列印之影像資料。此介面可係一IEEE1394或USB2.0串列介面或任一其他合適的數位介面。記憶卡64通常係被插入記憶卡插座62中的一壓縮快閃(CF)卡及經由記憶卡介面60被連接至該系統控制器50。可被利用的其他類型的儲存包含但不限PC卡、多媒體卡(MMC)、或安全數位(SD)卡。
已處理的影像被複製到在系統記憶體56中的一顯示緩衝器且經由視訊編碼器80被連續地讀出以產生一視訊信號。此信號從該相機被直接輸出以用於顯示在一外部監視器上，或藉由顯示控制器82而被處理及被呈現在影像顯示器88上。此顯示器通常為一主動矩陣彩色液晶顯示器(LCD)，不過其他類型的顯示器也可被使用。
包含一取景顯示器70、一曝光顯示器72、一狀態顯示器76、影像顯示器88、及使用者輸入74之全部或任一組合的一用戶介面68藉由在曝光控制器40及系統控制器50上被執行的軟體程式之一組合而被控制。使用者輸入74通常包含按鈕、搖臂開關、操縱桿、旋轉刻度盤或觸控螢幕之某種組合。曝光控制器40操作測光、曝光模式、自動聚焦及其他曝光功能。該系統控制器50管理呈現在該等顯示器之一個或更多個(諸如，在影像顯示器88上)上的一圖形用戶介面(GUI)。該GUI通常包含用於製造各種選項選擇的功能表及用於檢測擷取影像的審查模式。
曝光控制器40接收用戶輸入(其選擇曝光模式、透鏡孔徑、曝光時間(快門速度)、及曝光指數或ISO速度等級)及相應地引導該透鏡12及光閘18用於隨後的擷取。該亮度感測器塊16被採用以測量該場景之亮度及提供一曝光計功能以便當手動地設置該ISO速度等級、孔徑、及快門速度時供用戶參照。在此情況下，如該用戶更改一個或更多個設置，呈現在取景顯示器70上的該光度計指示告知該用戶該影像過度曝光或曝光不足之程度。在一自動曝光模式中，該用戶更改一個設置及該曝光控制器40自動地改變另一個設置以保持適度曝光，舉例而言，在一給定的ISO速度等級下當該用戶減小該透鏡孔徑時，該曝光控制器40自動地增加該曝光時間以保持該相同總曝光量。
該ISO速度等級係一數位靜像相機之一重要屬性。該曝光時間、該透鏡孔徑、該透鏡透光度、該場景照明度及光譜分佈，及該場景反射率決定一數位靜像相機之曝光水準。當來自一數位靜像相機之一影像係利用一不足曝光而被獲得時，適當的色調再現可大體上藉由增加電子或數位增益而被保持，但是該由此產生的影像通常將含有一不可接受的數量之雜訊。隨著該曝光量被增加，該增益被減小，及因此該影像雜訊可正常地被減少至一可接受的水準。如果該曝光量被過度增加，那麼在該影像之亮區域中的該由此產生的信號可超過該影像感測器或相機信號處理的該最大信號水準容量。此可導致影像高亮被剪除以形成一均勻亮區域，或「湧現」入該影像之周圍區域。因此，重要的係指導用戶設置適當的曝光量。一ISO速度等級意欲充當此一指導。為了被攝影師容易地理解，用於一數位靜像相機的該ISO速度等級應係直接地關於用於照相軟片相機之該ISO速度等級。舉例而言，如果一數位靜像相機具有ISO 200之一ISO速度等級，那麼該相同曝光時間及孔徑將適合於一ISO 200額定軟片/處理系統。
該等ISO速度等級意欲符合於軟片ISO速度等級。然而，基於電子與基於軟片的成像系統之間存在排除精確等效的差異。數位靜像相機可包含可變增益，及可在該影像資料已被擷取之後提供數位處理，從而使得色調再現能夠在相機曝光之一範圍內被獲得。因此，數位靜像相機可具有速度等級之一範圍。此範圍被定義為該ISO速度寬容度。為防止混亂，一單一值被指定為該固有的ISO速度等級，連同該ISO速度寬容度上下限指示該速度範圍，亦即，一範圍包含不同於該固有的ISO速度等級之有效速度等級。考慮到這一點，該固有的ISO速度係由被提供於一數位靜像相機之聚焦平面以產生指定相機輸出信號特性之曝光量計算得來的一數值。該固有的速度通常係產生用於正常的場景之一給定相機系統的最高影像品質之曝光指數值，其中該曝光指數係與被提供至該影像感測器之曝光量成反比的一數值。
一數位相機之該先前描述將為一個熟習此項技術者所熟知。明顯的係此實施例存在許多變化，該等變化係可能的且被選擇以減少該成本、添加特徵或改良該相機之性能。下列描述將詳細地揭示根據本發明的用於擷取影像之此相機之操作。雖然此描述係參照一數位相機，但是應瞭解本發明申請連同具有一影像感測器(其具有彩色及泛色像素)的任一類型的影像擷取器件使用。
圖1所示之該彩色濾光片陣列影像感測器20通常包含被製造於一矽基層上的感光像素之一二維陣列，該等像素提供一方式將各個像素之入射光轉換成被測量的一電信號。由於該彩色濾光片陣列影像感測器20暴露於光中，自由電子被產生及被擷取於各個像素之電子結構中。擷取此等自由電子某時間段及隨後測量被擷取的電子之數目、或測量自由電子被產生之速率可測量各個像素處的光度。在前一種情況下，如在一電荷耦合器件(CCD)中積聚電荷被移出該像素陣列至一電荷-電壓測量電路，或如在一有效像素感測器(APS或CMOS感測器)中接近各個像素之區域可含有一電荷-電壓測量電路之元件。
只要在下列描述中對一影像感測器作出一般參照，該影像感測器被認為係代表圖1之該彩色濾光片陣列影像感測器20。應進一步瞭解在此詳述中被揭示的本發明之影像感測器體系結構及像素型樣之全部實例及其等價物係用於彩色濾光片陣列影像感測器20。
在一影像感測器之內容中，一像素(「圖像元件」之一縮寫)涉及一離散感光區域及與該感光區域相關的電荷變換或電荷測量電路。在一數位彩色影像之內容中，該術語像素通常涉及在該影像中具有相關色彩值之一特殊位置。
圖2係本發明之該較佳實施例之一高階圖表，其代表用於執行本發明之該等步驟之一處理器。一彩色濾光片陣列影像感測器20(圖1)擷取一彩色濾光片陣列影像，該彩色濾光片陣列影像含有相對應於至少二個彩色相片回應之一泛色通道202與彩色通道204。該彩色濾光片陣列可含有紅、綠、藍及泛色像素，但是其他諸如青色、洋紅色、黃色及泛色的通道組合係可能的。特別重要的係包含一泛色通道。該彩色濾光片陣列影像係以一致使該泛色通道與該等彩色通道之至少一個相比在光中被暴露一不同的時間長度之方式擷取。該泛色通道大體上將具有與各個彩色通道不同的一曝光時間，及具有經安排使其等之曝光係同時結束的曝光間隔。
一彩色濾光片陣列(CFA)內插塊206根據藉由該數位相機(圖1)而被擷取之一彩色濾光片陣列影像產生一內插泛色影像208及一內插彩色影像210。該內插彩色影像210被用於計算一合成的泛色影像212。在一較佳實施例中，該合成的泛色影像212按照該內插彩色影像210之該紅、綠及藍色通道之一加權線性組合而被計算。藉由塊210而被產生的該內插彩色影像之該等紅、綠及藍色通道之該等加權係經選擇使得該計算所得合成泛色影像212可與該內插泛色影像208相比。
在該最終步驟中，該內插泛色影像208、該內插彩色影像210及該合成泛色影像212被用於產生一改良的全彩輸出影像216，該影像216具有利用一形式改良影像塊214而被減小的運動模糊。
在圖2中被概述之該等獨立的步驟現在將被更詳細地描述。最初，一數位相機(見圖1)擷取一彩色濾光片陣列影像。圖3繪示用於該較佳實施例的一實例彩色濾光片陣列(CFA)型樣301。在此實例中，該等像素之大約一半係泛色像素302，同時另一半被分為紅像素304、綠像素306及藍像素308。
用於該等泛色像素之曝光時間比用於該等彩色像素之曝光時間更短。此容許該泛色資料藉由一短曝光時間而被擷取由此防止過度的運動模糊，同時亦容許彩色資料藉由充分曝光而被擷取以減小彩色雜訊偽像。用於該等泛色像素及該等彩色像素之該曝光時間可藉由調整針對不同類型的像素之電荷積聚之時間量而被獨立地控制。
如圖4所註明，在該影像感測器之讀出期間各種像素重合方格化(binning)方案係可能的。在圖4中，一影像感測器之二個局部列被顯示：影像感測器之一第一局部列401及影像感測器一第二局部列402。在此實施例中，用於一感測器陣列之該底層讀出電路使用一浮動擴散404，該浮動擴散404每次被可轉換地連接到一個或更多個周圍像素。熟習該數位影像獲取技術之人熟知該浮動擴散404之執行及使用。圖4顯示一習知配置，其中各個浮動擴散404伺候四個周圍像素，其在一個實例中被顯示為一像素四重組合(quartet)406。
像素信號可以許多組合之任一個被切換至浮動擴散404。在一第一讀出組合408中，在四重組合406中的各個像素將其電荷分別傳輸至浮動擴散404及由此被逐一地讀出。在一第二讀出組合410中，泛色像素P被重合方格化，亦即，該等泛色像素P藉由將其儲存電荷同時清空至浮動擴散404而共用浮動擴散404；相似地，在該四重組合中的彩色(G)像素之二者被重合方格化，同時將其信號切換至浮動擴散404。在一第三讀出組合412中，泛色像素P未被重合方格化，而是被分別讀出；同時該等彩色像素(G)被重合方格化。
在本發明之一較佳實施例中，用於該泛色通道202(圖2)之該等泛色像素並未被重合方格化，同時用於該等色彩通道204(圖2)之彩色像素被重合方格化412，其導致圖5所繪示之該等讀出。在圖5中，該等泛色像素502佔有一棋盤型樣，同時該等彩色像素504共同形成一低解析度拜耳(Bayer)型樣。
該CFA內插塊206(圖2)利用一彩色濾光片陣列影像產生該內插泛色影像208及該內插彩色影像210，該彩色濾光片陣列影像含有一泛色通道202及彩色通道204。用於執行CFA內插之方法在本技術中係熟知的。舉例而言，在美國專利申請公開案第2007/0024934號中(其以引用的方式被併入本文中)描述的該CFA內插法可被使用。
在CFA內插塊206已經產生該內插彩色影像210之後，該內插彩色影像210被用於計算該合成的泛色影像212。用於計算該合成泛色影像212的一推算簡單計算係藉由L=R+2G+B而被給定，其中L係該合成泛色影像212之像素值，且R、G、B係用於該內插彩色影像210(圖2)之紅、綠及藍色通道之個別像素值。在一較佳實施例中，如圖6所繪示，該等紅、綠、藍、及泛色像素之該等光譜回應被測量，及該合成泛色影像212按紅、綠及藍之該加權線性組合而被計算，該加權線性組合給予泛色曲線一最佳擬合。
參照圖6之圖表，其顯示在一典型相機應用中具備紅、綠、及藍色濾光片的像素之相對光譜靈敏度。在圖6中的該X軸代表以奈米計之光波長，其橫跨大約從近紫外區至近紅外區之波長，該Y軸則代表效率(其被正規化)。在圖6中，一帶寬濾光片曲線610代表一典型的帶寬濾光片之光譜傳輸特性，該帶寬濾光片係用於阻擋紅外及紫外光到達該影像感測器。此一濾光片係需要的，此乃由於被用於影像感測器之該等彩色濾光片通常不阻擋紅外光，因此該等像素不能區分紅外光與在相關彩色濾光片之通帶中的光。藉由該帶寬濾光片曲線610顯示的該紅外光阻擋特性由此防止紅外光破壞該可見光信號。針對應用紅、綠、及藍濾光片之一典型矽感測器，該光譜量子效率(亦即，被擷取轉換成一可測量電信號的入射光子之比例)被乘以該紅外阻擋濾光片之該光譜傳輸特性(其由帶寬濾光片曲線610代表)以產生組合系統量子效率，該等組合系統量子效率由用於該紅色通道的一紅光回應曲線614、用於該綠色通道的一綠光回應曲線616、及用於該藍色通道的一藍光回應曲線618代表。從此等曲線應瞭解到各個彩色光回應僅對該可見光譜之一部分敏感。相反，不應用彩色濾光片(但是包含該紅外阻擋濾光片特性)之該相同矽感測器之光回應藉由用於該泛色通道之一泛色光回應曲線612而被顯示。藉由將該等彩色光回應曲線614、616、及618與該泛色光回應曲線612進行比較，很明顯該泛色光回應比該等彩色光回應之任一個對寬光譜更敏感二至四倍。
在該形式改良的影像區塊214(圖2)中，該內插泛色影像208、該內插彩色影像210，該合成泛色影像212被用於產生具有減小的運動模糊之一改良的全彩輸出影像。
圖7係根據本發明之一較佳實施例的來自圖2的該形式改良影像區塊214之一更詳細的視圖。該亮度-色度產生步驟701使用該內插彩色影像210(圖2)及該合成泛色影像212(圖2)並產生一亮度影像702及一色度影像703。該亮度-色度調整步驟704使用該內插泛色影像208(圖2)以修改於步驟701產生的該亮度影像702及色度影像703以形成一修改的亮度影像705及一修改的色度影像706。一彩色影像重構步驟707利用於步驟704產生的該修改的亮度影像705及該修改的色度影像706以產生具有減小的運動模糊之該改良的全彩輸出影像216(圖2)。
在圖7中，亮度-色度產生步驟701可以為熟習此項技術者所知的任一適當方式而被執行。根據本發明之一較佳實施例估算該等亮度及色度影像的一個方式利用以下方程式(1)-(4)而被描述：
synthetic pan =αR +βG +γ β　(1)
L =synthetic pan 　(2)
Cr =R -L 　(3)
Cb =B -L 　(4)
其中，如圖6所繪示，α、β及γ係由該等紅、綠、藍、及泛色像素之該等光譜回應計算而得的加權。R、G、及B分別係該內插彩色影像210(圖2)之紅、綠、及藍色通道值且synthetic pan係該合成泛色影像212(圖2)的值。L係該亮度影像702之像素值及及Cr與Cb係該色度影像703之色彩值。
在圖7中，該亮度-色度調整步驟704可以為熟習此項技術者所知的任一適當方式而被執行。根據本發明之一較佳實施例執行亮度-色度調整步驟704的一個方式利用以下方程式(5)-(7)而被描述：
L New =pan 　(5)
其中pan係該內插泛色影像208(圖2)之像素值，LNew 係該修改的亮度影像705之像素值且CrNew 與CbNew 係該修改的色度影像706之色彩值。
在本發明之一替代實施例中，該色度影像703可被直接地用於該彩色影像重構步驟707中。在此情況下，CrNew =Cr及CbNew =Cb。此方法具有的優點為計算係更快的，然而，將會對該由此產生的影像品質產生一相關的犧牲。
在圖7中，該彩色影像重構步驟707可以為熟習此項技術者所知的任一適當方式而被執行。根據本發明之一較佳實施例執行彩色影像重構步驟707的一個方式利用以下方程式(8)-(10)而被描述：
R New =Cr New +L New 　(8)
B New =Cb New +L New 　(9)
G N ew =(L New -αR New -γB New )/β 　(10)
其中，RNew 、GNew 及BNeW 分別係該改良全彩輸出影像216(圖2)之紅、綠及藍色通道值。
如本發明之該較佳實施例所揭示，用於計算具有減小的運動模糊之該改良全彩輸出影像的該演算法可被運用於各種用戶內容及環境中。非限制地，例示性的內容及環境包含：批量數位相片洗印(其涉及例示性的處理步驟或階段，諸如被提交用於批量實行、數位處理、列印之數位影像)，小量數位相片洗印(被提供用於小量實行、數位處理、列印之數位影像)，家庭列印(家庭數位影像輸入、數位處理、列印輸出)，桌面軟體(將演算法應用於數位影像以使其更好或乃至改變它們的軟體)，數位實行(來自媒體或經由網路取得的數位影像輸入，數位處理，輸出在媒體上、經由網際網路之數位形式的數位影像輸出)，資訊站(數位影像輸入、數位處理、列印或數位媒體輸出)，移動裝置(諸如可被使用作一處理單元、一顯示單元、或給予處理指令之一單元的PDA或手機)，及作為經由該全球資訊網而被提供之一服務。
在每種情況下，用於計算具有減小的運動模糊之該改良全彩輸出影像之該演算法可單獨成立或可為一較大的系統解決方案之一部分。此外，與該演算法之介面諸如輸入、數位處理、至一用戶之顯示(如果需要)、用戶請求或處理指令之輸入(如果需要)、輸出可分別在相同或不同的器件與實體位置上，且在該等器件與位置之間的通訊可係經由公共或私人網路連接、或係基於媒體之通訊。在與本發明之先前揭示內容一致的條件下，該等演算法自身可係全自動的，可具有用戶輸入(係完全或部分手動的)，可具有用戶或操作者審查至接收/拒絕該結果，或可藉由元資料而被輔助(元資料可由用戶提供，藉由諸如在一相機中的一測量裝置而被提供，或藉由一演算法而被決定)。此外，該演算法可與各種工作流程用戶介面方案接合。
根據本發明而在本文中被揭示的具有減小的運動模糊演算法的改良全彩輸出影像之該計算可具有內部組件，該等組件利用各種的資料偵測及縮減技術(諸如，面部偵測、眼睛偵測、皮膚偵測、閃光偵測)。
10．．．來自主題場景之光
11．．．成像階段
12．．．透鏡
13．．．中性密度(ND)濾塊
14．．．虹膜塊
16．．．亮度感測器塊
18．．．光閘
20．．．彩色濾光片陣列影像感測器
22．．．類比信號處理器
24．．．類比-數位(A/D)轉換器
26．．．時序產生器
28．．．影像感測器階段
30．．．母線
32．．．數位信號處理器(DSP)記憶體
36．．．數位信號處理器(DSP)
38．．．處理階段
40．．．曝光控制器
50．．．系統控制器
52．．．系統控制器母線
54．．．程式記憶體
56．．．系統記憶體
57．．．主介面
60．．．記憶卡介面
62．．．記憶卡插座
64．．．記憶卡
68．．．用戶介面
70．．．取景顯示器
72．．．曝光顯示器
74．．．用戶輸入
76．．．狀態顯示器
80．．．視訊編碼器
82．．．顯示控制器
88．．．影像顯示器
202．．．泛色通道
204．．．彩色通道
206．．．彩色濾光片陣列(CFA)內插塊
208．．．內插泛色影像
210．．．內插彩色影像
212．．．合成泛色影像
214．．．形式改良影像塊
216．．．改良全彩輸出影像
301．．．彩色濾光片陣列(CFA)型樣
302．．．泛色像素
304．．．紅像素
306．．．綠像素
308．．．藍像素
401．．．影像感測器之第一局部列
402．．．影像感測器之第二局部列
404．．．浮動擴散
406．．．像素四重組合
408．．．第一讀出組合
410．．．第二讀出組合
412．．．第三讀出組合
502．．．泛色像素
504．．．彩色像素
610．．．帶寬濾光片曲線
612．．．泛色光回應曲線
614．．．紅光回應曲線
616．．．綠光回應曲線
618．．．藍光回應曲線
701．．．亮度-色度產生步驟
702．．．亮度影像
703．．．色度影像
704．．．亮度-色度調整步驟
705．．．修改的亮度影像
706．．．修改的色度影像
707．．．彩色影像重構步驟
圖1係用於實現本發明之一數位相機之一方塊圖；
圖2係本發明之一較佳實施例之一方塊圖；
圖3係可被用於本發明之一彩色濾光片陣列型樣之一視圖；
圖4係顯示在鄰近列中的像素如何被併在一起之一示意圖，該等像素共用該相同浮動擴散組件；
圖5係來自一個可能的重合方格化策略之該影像感測器之一部分之該等像素讀出之一視圖；
圖6提供用於紅、綠、及藍像素之代表性的光譜量子效率曲線，以及一寬光譜泛色量子效率，其全部被乘以一紅外截止濾光片之傳遞特性；及
圖7係更詳細地顯示圖2之步驟214的一方塊圖。
20．．．彩色濾光片陣列影像感測器
202．．．泛色通道
204．．．彩色通道
206．．．彩色濾光片陣列(CFA)內插塊
208．．．內插泛色影像
210．．．內插彩色影像
212．．．合成泛色影像
214．．．形式改良影像塊
216．．．改良全彩輸出影像

Claims (8)

  1. 一種利用具有複數個彩色通道及一泛色(panchromatic)通道之一彩色濾光片陣列影像形成一全彩(full-color)輸出影像的方法，該方法包括一個或多個處理器用於提供下列：a)利用一彩色濾光片陣列影像感測器擷取一彩色濾光片陣列影像，該彩色濾光片陣列影像具有複數個彩色通道及一泛色通道，其中該泛色通道利用與該等彩色通道之至少一個不同的一曝光時間而被擷取；b)計算來自該彩色濾光片陣列影像之一內插彩色影像及一內插泛色影像；c)計算來自該內插彩色影像之一色度影像，及計算來自該內插彩色影像之一合成泛色影像，及將該色度影像修改為該合成泛色影像及該內插泛色影像之一函數；及d)利用該內插泛色影像及該色度影像形成該全彩輸出影像；其中該合成泛色影像係藉由執行該內插彩色影像之複數個彩色通道的一加權求和運算而被計算；且其中被用於該加權求和運算之加權值係由該等彩色通道及該泛色通道之光譜回應而被決定。
  2. 如請求項1之方法，其中該內插彩色影像之該等彩色通道係紅、綠及藍。
  3. 如請求項1之方法，其中該內插彩色影像之該等彩色通道係青色、洋紅色及黃色。
  4. 如請求項1之方法，其中用於該全彩輸出影像的紅、綠及藍色通道係藉由執行該內插泛色影像及該色度影像之彩色通道的一加權求和運算而被決定。
  5. 如請求項1之方法，其中該全彩輸出影像係藉由將該內插泛色影像及該色度影像組合在一起而被形成。
  6. 如請求項1之方法，其中該全彩輸出影像具有相對於該內插彩色影像之一降低的運動模糊水準。
  7. 一種利用具有複數個彩色通道及一泛色(panchromatic)通道之一彩色濾光片陣列影像形成一全彩(full-color)輸出影像的方法，該方法包括一個或多個處理器用於提供下列：a)利用一彩色濾光片陣列影像感測器擷取一彩色濾光片陣列影像，該彩色濾光片陣列影像具有複數個彩色通道及一泛色通道，其中該泛色通道利用與該等彩色通道之至少一個不同的一曝光時間而被擷取；b)計算來自該彩色濾光片陣列影像之一內插彩色影像及一內插泛色影像；c)計算來自該內插彩色影像之一色度影像，及計算來自該內插彩色影像之一合成泛色影像，及將該色度影像修改為該合成泛色影像及該內插泛色影像之一函數；及d)利用該內插泛色影像及該色度影像形成該全彩輸出影像；其中該色度影像係利用該內插泛色影像與該合成泛色影像之一比率而被修改。
  8. 如請求項7之方法，其中該色度影像係藉由將該色度影像乘以該內插泛色影像與該合成泛色影像之該比率而被修改。
TW099109215A 2009-03-27 2010-03-26 利用彩色濾光片陣列影像產生全彩影像 TWI495336B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/412,429 US8068153B2 (en) 2009-03-27 2009-03-27 Producing full-color image using CFA image

Publications (2)

Publication Number Publication Date
TW201105121A TW201105121A (en) 2011-02-01
TWI495336B true TWI495336B (zh) 2015-08-01

Family

ID=42236298

Family Applications (1)

Application Number Title Priority Date Filing Date
TW099109215A TWI495336B (zh) 2009-03-27 2010-03-26 利用彩色濾光片陣列影像產生全彩影像

Country Status (4)

Country Link
US (1) US8068153B2 (zh)
CN (1) CN102365860B (zh)
TW (1) TWI495336B (zh)
WO (1) WO2010110897A1 (zh)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896712B2 (en) 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
WO2009120928A2 (en) * 2008-03-28 2009-10-01 The Trustees Of Columbia University In The City Of New York Generalized assorted pixel camera systems and methods
US8350952B2 (en) 2008-06-04 2013-01-08 Omnivision Technologies, Inc. Image sensors with improved angle response
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8045024B2 (en) 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
US9100514B2 (en) 2009-10-28 2015-08-04 The Trustees Of Columbia University In The City Of New York Methods and systems for coded rolling shutter
US8692906B2 (en) * 2010-07-13 2014-04-08 Canon Kabushiki Kaisha Luminance signal generation apparatus, luminance signal generation method, image pickup apparatus, and storage medium
US8854377B2 (en) 2011-02-24 2014-10-07 Intel Corporation Hierarchical motion blur rasterization
EP2702375A2 (en) 2011-04-25 2014-03-05 Skybox Imaging, Inc. Systems and methods for overhead imaging and video
US9177988B2 (en) * 2011-12-16 2015-11-03 Chromatra, Llc. Systems and methods for creating full-color image in low light
KR101332689B1 (ko) * 2012-04-30 2013-11-25 클레어픽셀 주식회사 이미지 센서 및 이미지 센서의 출력 패턴 변환 방법
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
US9667933B2 (en) * 2013-07-01 2017-05-30 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing
WO2015192056A1 (en) 2014-06-13 2015-12-17 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
CN105323567B (zh) * 2014-07-11 2017-07-28 恒景科技股份有限公司 色彩处理系统及装置
CA2980920C (en) 2015-03-25 2023-09-26 King Abdulaziz City Of Science And Technology Apparatus and methods for synthetic aperture radar with digital beamforming
US10615513B2 (en) 2015-06-16 2020-04-07 Urthecast Corp Efficient planar phased array antenna assembly
US10178360B2 (en) * 2015-08-03 2019-01-08 Sony Corporation Imaging sensor coupled with layered filters
KR20170025087A (ko) * 2015-08-27 2017-03-08 (주) 픽셀플러스 이미지 센서, 이를 이용한 디지털 영상 처리 장치 및 그 영상 신호 처리 방법
US20170061586A1 (en) * 2015-08-28 2017-03-02 Nokia Technologies Oy Method, apparatus and computer program product for motion deblurring of image frames
EP3380864A4 (en) 2015-11-25 2019-07-03 Urthecast Corp. APPARATUS AND METHODS FOR OPEN SYNTHESIS RADAR IMAGING
CN109644258B (zh) * 2016-08-31 2020-06-02 华为技术有限公司 用于变焦摄影的多相机系统
CN110326284B (zh) * 2017-03-27 2021-11-30 株式会社尼康 摄像装置及摄像元件
CA3064586A1 (en) 2017-05-23 2018-11-29 King Abdullah City Of Science And Technology Synthetic aperture radar imaging apparatus and methods for moving targets
CA3064735C (en) 2017-05-23 2022-06-21 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
US10580149B1 (en) * 2017-06-26 2020-03-03 Amazon Technologies, Inc. Camera-level image processing
US10510153B1 (en) * 2017-06-26 2019-12-17 Amazon Technologies, Inc. Camera-level image processing
EP3658973B1 (en) 2017-07-24 2021-01-20 Chromatra, LLC System and apparatus for color imaging device
CA3083033A1 (en) 2017-11-22 2019-11-28 Urthecast Corp. Synthetic aperture radar apparatus and methods
CN111837155A (zh) * 2018-12-17 2020-10-27 深圳市大疆创新科技有限公司 图像处理方法及设备
WO2020177123A1 (en) 2019-03-07 2020-09-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Color imaging system
WO2021041928A1 (en) * 2019-08-30 2021-03-04 Chromatra, Llc Systems and methods for creating a full-color image in low light
KR20220051240A (ko) * 2019-09-09 2022-04-26 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드 이미지 캡쳐 방법, 카메라 어셈블리 및 모바일 터미널
EP3817375A4 (en) * 2019-09-09 2021-08-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. IMAGE SENSOR, CAMERA MODULE, MOBILE TERMINAL DEVICE AND IMAGE CAPTURE METHOD
US11765470B2 (en) 2020-10-26 2023-09-19 Samsung Electronics Co., Ltd. Pixel array including evenly arranged phase detection pixels and image sensor including the pixel array
CN114697586B (zh) * 2020-12-31 2023-12-29 杭州海康威视数字技术股份有限公司 一种图像处理系统、近红外光补光控制方法及装置
CN113781339B (zh) * 2021-09-02 2023-06-23 中科联芯(广州)科技有限公司 一种硅基多光谱信号处理方法、装置及移动终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200618617A (en) * 2004-07-21 2006-06-01 Micron Technology Inc Rod and cone response sensor
US20070024931A1 (en) * 2005-07-28 2007-02-01 Eastman Kodak Company Image sensor with improved light sensitivity
US20080012969A1 (en) * 2006-05-15 2008-01-17 Masanori Kasai Image Pickup Apparatus, Image Processing Method, and Computer Program
TW200913683A (en) * 2007-07-23 2009-03-16 Nvidia Corp Techniques for reducing color artifacts in digital images

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US4437112A (en) 1980-02-15 1984-03-13 Canon Kabushiki Kaisha Solid-state color imaging apparatus
US4896207A (en) 1988-06-17 1990-01-23 Eastman Kodak Company Color imaging apparatus employing a horizontal stripe color filter to reduce rise-time artifacts
US5323233A (en) 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
US5903388A (en) 1992-06-11 1999-05-11 Sedlmayr Steven R High efficiency electromagnetic beam projector and systems and method for implementation thereof
US5227313A (en) 1992-07-24 1993-07-13 Eastman Kodak Company Process for making backside illuminated image sensors
US5244817A (en) 1992-08-03 1993-09-14 Eastman Kodak Company Method of making backside illuminated image sensors
US5506619A (en) 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5786236A (en) 1996-03-29 1998-07-28 Eastman Kodak Company Backside thinning using ion-beam figuring
US6097835A (en) 1997-07-23 2000-08-01 Lockheed Martin Corporation Projective pan sharpening methods and apparatus
US5914749A (en) 1998-03-31 1999-06-22 Intel Corporation Magenta-white-yellow (MWY) color system for digital image sensor applications
US6011875A (en) 1998-04-29 2000-01-04 Eastman Kodak Company Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening
US6429036B1 (en) 1999-01-14 2002-08-06 Micron Technology, Inc. Backside illumination of CMOS image sensor
US6168965B1 (en) 1999-08-12 2001-01-02 Tower Semiconductor Ltd. Method for making backside illuminated image sensor
US20010054723A1 (en) 2000-03-17 2001-12-27 Tadashi Narui Image sensor, method of fabricating the same, and exposure apparatus, measuring device, alignment device, and aberration measuring device using the image sensor
US6441848B1 (en) 2000-05-19 2002-08-27 Damon L. Tull Preventing blur caused by motion of the subject in a digital image
US6813046B1 (en) 2000-11-07 2004-11-02 Eastman Kodak Company Method and apparatus for exposure control for a sparsely sampled extended dynamic range image sensing device
US6611380B2 (en) 2001-12-21 2003-08-26 Eastman Kodak Company System and method for calibration of display system with linear array modulator
US7012643B2 (en) 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
AU2003272202A1 (en) 2002-06-21 2004-01-06 The Trustees Of Columbia University In The City Of New York Systems and methods for de-blurring motion blurred images
US7340099B2 (en) 2003-01-17 2008-03-04 University Of New Brunswick System and method for image fusion
JP3804617B2 (ja) 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
FI20030583A (fi) 2003-04-16 2004-10-17 Upstream Engineering Oy Dataprojektori
JP2004341206A (ja) 2003-05-15 2004-12-02 Olympus Corp 表示装置
US8264576B2 (en) * 2007-03-05 2012-09-11 DigitalOptics Corporation Europe Limited RGBW sensor array
JP4349048B2 (ja) 2003-09-22 2009-10-21 セイコーエプソン株式会社 プロジェクタ
JP4046069B2 (ja) 2003-11-17 2008-02-13 ソニー株式会社 固体撮像素子及び固体撮像素子の製造方法
JP2005268738A (ja) 2004-02-17 2005-09-29 Sony Corp 固体撮像素子とその製造方法、及び半導体集積回路装置とその製造方法
JP4211696B2 (ja) 2004-06-30 2009-01-21 ソニー株式会社 固体撮像装置の製造方法
US7298922B1 (en) 2004-07-07 2007-11-20 Lockheed Martin Corporation Synthetic panchromatic imagery method and system
US8570389B2 (en) 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
WO2006137866A2 (en) 2004-09-17 2006-12-28 Bedabrata Pain Back- illuminated cmos or ccd imaging device structure
JP2006184567A (ja) 2004-12-27 2006-07-13 Toshiba Corp プロジェクション映像表示装置とその明るさ調整方法
US7238583B2 (en) 2005-02-11 2007-07-03 Sarnoff Corporation Back-illuminated imaging device and method of fabricating same
US7723215B2 (en) 2005-02-11 2010-05-25 Sarnoff Corporation Dark current reduction in back-illuminated imaging sensors and method of fabricating same
US8654201B2 (en) 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7830430B2 (en) * 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
US20070046807A1 (en) 2005-08-23 2007-03-01 Eastman Kodak Company Capturing images under varying lighting conditions
US7315014B2 (en) 2005-08-30 2008-01-01 Micron Technology, Inc. Image sensors with optical trench
US20070052050A1 (en) 2005-09-07 2007-03-08 Bart Dierickx Backside thinned image sensor with integrated lens stack
US7978240B2 (en) 2005-10-03 2011-07-12 Konica Minolta Photo Imaging, Inc. Enhancing image quality imaging unit and image sensor
US7872681B2 (en) 2005-10-13 2011-01-18 Rjs Technology, Inc. System and method for a high performance color filter mosaic array
US20070159542A1 (en) 2006-01-12 2007-07-12 Gang Luo Color filter array with neutral elements and color image formation
US7688368B2 (en) 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
US7586139B2 (en) 2006-02-17 2009-09-08 International Business Machines Corporation Photo-sensor and pixel array with backside illumination and method of forming the photo-sensor
US7680354B2 (en) 2006-03-22 2010-03-16 Arcsoft, Inc. Image deblur based on two images
JP5000914B2 (ja) 2006-03-30 2012-08-15 日東光学株式会社 映像プロジェクション装置
JP4449936B2 (ja) 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US7706022B2 (en) 2006-06-12 2010-04-27 Kabushiki Kaisha Toshiba Image forming apparatus and image forming method
KR100791336B1 (ko) 2006-08-10 2008-01-07 삼성전자주식회사 이미지 센서 제조 방법
US8031258B2 (en) 2006-10-04 2011-10-04 Omnivision Technologies, Inc. Providing multiple video signals from single sensor
WO2008044673A1 (fr) 2006-10-10 2008-04-17 Panasonic Corporation Dispositif de conversion de longueur d'onde et dispositif d'affichage d'images
US20080123997A1 (en) 2006-11-29 2008-05-29 Adams James E Providing a desired resolution color image
US7769229B2 (en) 2006-11-30 2010-08-03 Eastman Kodak Company Processing images having color and panchromatic pixels
US7893976B2 (en) 2006-12-01 2011-02-22 Eastman Kodak Company Light sensitivity in image sensors
JP5085140B2 (ja) 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
US7733931B2 (en) 2007-01-09 2010-06-08 Seiko Epson Corporation Light source device, projector device, monitor device, and lighting device
US8184926B2 (en) 2007-02-28 2012-05-22 Microsoft Corporation Image deblurring with blurred/noisy image pairs
JP4930109B2 (ja) 2007-03-06 2012-05-16 ソニー株式会社 固体撮像装置、撮像装置
US7622342B2 (en) 2007-03-27 2009-11-24 Sarnoff Corporation Method of fabricating back-illuminated imaging sensors
US8594451B2 (en) 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
JP4888261B2 (ja) 2007-07-12 2012-02-29 セイコーエプソン株式会社 光源装置、画像表示装置及びモニタ装置
US7855740B2 (en) 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
US8896712B2 (en) 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
CN101408677B (zh) 2007-10-11 2011-07-27 鸿富锦精密工业（深圳）有限公司 立体投影光学系统
US7871165B2 (en) 2007-11-30 2011-01-18 Eastman Kodak Company Stereo projection apparatus using polarized solid state light sources
JP5213670B2 (ja) 2008-01-16 2013-06-19 三洋電機株式会社 撮像装置及びぶれ補正方法
US7999870B2 (en) 2008-02-01 2011-08-16 Omnivision Technologies, Inc. Sampling and readout of an image sensor having a sparse color filter array pattern
WO2009105120A1 (en) 2008-02-19 2009-08-27 Sarnoff Corporation Method and device for reducing crosstalk in back illuminated imagers
US8164651B2 (en) 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor
US8035711B2 (en) * 2008-05-22 2011-10-11 Panavision Imaging, Llc Sub-pixel array optical sensor
US8017426B2 (en) 2008-07-09 2011-09-13 Omnivision Technologies, Inc. Color filter array alignment mark formation in backside illuminated image sensors
US7859033B2 (en) 2008-07-09 2010-12-28 Eastman Kodak Company Wafer level processing for backside illuminated sensors
US7915067B2 (en) 2008-07-09 2011-03-29 Eastman Kodak Company Backside illuminated image sensor with reduced dark current
US20100006908A1 (en) 2008-07-09 2010-01-14 Brady Frederick T Backside illuminated image sensor with shallow backside trench for photodiode isolation
US8130278B2 (en) 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
US8164682B2 (en) 2008-10-14 2012-04-24 Omnivision Technologies, Inc. Dithered focus evaluation
US8111307B2 (en) 2008-10-25 2012-02-07 Omnivision Technologies, Inc. Defective color and panchromatic CFA image
US8073246B2 (en) 2008-11-07 2011-12-06 Omnivision Technologies, Inc. Modifying color and panchromatic channel CFA image
US20100149396A1 (en) 2008-12-16 2010-06-17 Summa Joseph R Image sensor with inlaid color pixels in etched panchromatic array
US8224082B2 (en) 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8218068B2 (en) * 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US8045024B2 (en) 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US20100309340A1 (en) 2009-06-03 2010-12-09 Border John N Image sensor having global and rolling shutter processes for respective sets of pixels of a pixel array
US8125546B2 (en) 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200618617A (en) * 2004-07-21 2006-06-01 Micron Technology Inc Rod and cone response sensor
US20070024931A1 (en) * 2005-07-28 2007-02-01 Eastman Kodak Company Image sensor with improved light sensitivity
US20080012969A1 (en) * 2006-05-15 2008-01-17 Masanori Kasai Image Pickup Apparatus, Image Processing Method, and Computer Program
TW200913683A (en) * 2007-07-23 2009-03-16 Nvidia Corp Techniques for reducing color artifacts in digital images

Also Published As

Publication number Publication date
TW201105121A (en) 2011-02-01
US20100245636A1 (en) 2010-09-30
CN102365860B (zh) 2014-04-30
WO2010110897A1 (en) 2010-09-30
CN102365860A (zh) 2012-02-29
US8068153B2 (en) 2011-11-29

Similar Documents

Publication Publication Date Title
TWI495336B (zh) 利用彩色濾光片陣列影像產生全彩影像
US9955071B2 (en) Using captured high and low resolution images
TWI496463B (zh) 形成全彩色影像之方法
US8224082B2 (en) CFA image with synthetic panchromatic image
US8179445B2 (en) Providing improved high resolution image
US8218068B2 (en) Exposing pixel groups in producing digital images
US8818085B2 (en) Pattern conversion for interpolation
US20090268055A1 (en) Concentric exposure sequence for image sensor
US20110149111A1 (en) Creating an image using still and preview