TWI601427B - 具有透明濾波器像素之成像系統 - Google Patents

具有透明濾波器像素之成像系統 Download PDF

Info

Publication number
TWI601427B
TWI601427B TW105113157A TW105113157A TWI601427B TW I601427 B TWI601427 B TW I601427B TW 105113157 A TW105113157 A TW 105113157A TW 105113157 A TW105113157 A TW 105113157A TW I601427 B TWI601427 B TW I601427B
Authority
TW
Taiwan
Prior art keywords
image
image signal
image signals
signal
signals
Prior art date
Application number
TW105113157A
Other languages
English (en)
Other versions
TW201630419A (zh
Inventor
馬可 米林納
布萊恩 奇倫
Original Assignee
普廷數碼影像控股公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 普廷數碼影像控股公司 filed Critical 普廷數碼影像控股公司
Priority to TW105113157A priority Critical patent/TWI601427B/zh
Publication of TW201630419A publication Critical patent/TW201630419A/zh
Application granted granted Critical
Publication of TWI601427B publication Critical patent/TWI601427B/zh

Links

Landscapes

  • Color Television Image Signal Generators (AREA)

Description

具有透明濾波器像素之成像系統
本申請案主張2013年1月8日申請之美國專利申請案第13/736,768號及2012年3月19日申請之美國臨時專利申請案第61/612,819號之權利,該等專利申請案之全文特此以引用之方式併入本文中。
本發明大體係關於成像裝置,且更特定而言係關於具有透明影像像素之成像裝置。
影像感測器普遍用於諸如蜂巢式電話、相機及電腦之電子裝置中來俘獲影像。在典型佈置中,電子裝置具備佈置成像素列及像素行之影像像素陣列。電路通常耦合至每一像素行用於自影像像素讀出影像信號。
習知成像系統採用單一影像感測器,其中可見光譜藉由佈置成拜耳馬賽克圖案(Bayer mosaic pattern)之紅、綠及藍(RGB)影像像素取樣。拜耳馬賽克圖案由二乘二影像像素之重複單元組成,其中兩個綠像素彼此對角相對,且其他隅角為紅及藍。然而,拜耳圖案不能經由較小影像像素大小容易地實現影像感測器之進一步小型化,此係因為自影像像素俘獲之影像信號中之信雜比(SNR)具有侷限性。
一種改良SNR之手段係藉由增加低光級下之曝光來增加可用影像信號,其中SNR限制了影像品質。一種習知方法係使用相減濾波器,其中,舉例而言,紅、綠及藍影像像素被青、洋紅及黃影像像素代 替。然而,此等信號通常必須轉換為RGB或某一等效輸出影像信號顏色以能夠驅動大多數習知影像顯示器。此變換通常涉及使用彩色校正矩陣(CCM)修改所俘獲之影像信號,此可放大雜訊,使得曝光增加之效應受到損害。
因此,將需要能夠提供具有俘獲及處理影像信號之改良之手段的成像裝置。
10‧‧‧電子裝置
12‧‧‧相機模組
14‧‧‧透鏡
16‧‧‧影像感測器
18‧‧‧處理電路
40‧‧‧行線
122‧‧‧控制及處理電路
124‧‧‧列解碼器電路
126‧‧‧行解碼器電路
128‧‧‧控制路徑
190‧‧‧影像感測器像素/影像像素
192‧‧‧單位單元
194‧‧‧單位單元
196‧‧‧單位單元
200‧‧‧像素陣列
300‧‧‧處理器系統
391‧‧‧輸入/輸出(I/O)裝置
392‧‧‧隨機存取記憶體
393‧‧‧匯流排
394‧‧‧可移除式記憶體
395‧‧‧中央處理單元
396‧‧‧透鏡
397‧‧‧快門釋放按鈕
2000‧‧‧成像裝置
圖1為根據本發明之一實施例之具有成像系統的說明性電子電路之圖。
圖2為根據本發明之一實施例之說明性像素陣列及用於自沿著影像感測器中之行線之影像像素讀出像素資料的相關聯控制電路之圖。
圖3至圖5為根據本發明之實施例之具有透明濾波器像素的說明性像素單位單元之圖。
圖6為根據本發明之一實施例之可由成像系統中之處理電路執行以處理自經濾波像素陣列接收的影像信號之說明性步驟之流程圖。
圖7為根據本發明之一實施例之可由成像系統中之處理電路執行以對自經濾波像素陣列接收之影像信號進行去馬賽克及濾波的說明性步驟之流程圖。
圖8為根據本發明之一實施例之可由成像系統中之處理電路執行以將點濾波器應用於自經濾波像素陣列接收之影像信號的說明性步驟之流程圖。
圖9為根據本發明之一實施例之採用圖1之實施例的處理器系統之方塊圖。
諸如數位相機、電腦、蜂巢式電話及其他電子裝置之電子裝置包括聚集入射光以俘獲影像之影像感測器。該影像感測器可包括影像 像素之陣列。影像感測器中之像素可包括將入射光轉換為影像信號之諸如光電二極體之光敏元件。影像感測器可具有任何數目個像素(例如,數百或數千或更多)。典型影像感測器可例如具有數百或數千或數百萬像素(例如,兆像素)。影像感測器可包括控制電路,諸如用於操作影像像素之電路,及用於讀出對應於光敏元件產生之電荷的影像信號之讀出電路。讀出電路可包括耦合至像素之每一行之可選擇讀出電路,其可經啟用或停用以減少裝置中之功率消耗並改良像素讀出操作。
圖1為使用影像感測器來俘獲影像之說明性電子裝置之圖。圖1之電子裝置10可為諸如相機、蜂巢式電話、攝像機或俘獲數位影像資料之其他成像裝置之攜帶型電子裝置。相機模組12可用於將入射光轉換為數位影像資料。相機模組12可包括一或多個透鏡14,及一或多個對應之影像感測器16。在影像俘獲操作期間,來自場景之光可藉由透鏡14聚焦至影像感測器16上。影像感測器16可包括用於將類比像素資料轉換為待提供至處理電路18之對應數位影像資料之電路。視需要,相機模組12可具備透鏡14之陣列及對應之影像感測器16之陣列。
處理電路18可包括一或多個積體電路(例如,影像處理電路、微處理器、諸如隨機存取記憶體及非揮發性記憶體之儲存裝置,等等),且可使用與相機模組12分離之組件及/或形成相機模組12之一部分之組件(例如,形成包括影像感測器16之積體電路或模組12內之與影像感測器16相關聯的積體電路之一部分之電路)來實施。已由相機模組12俘獲之影像資料可使用處理電路18來處理及儲存。經處理之影像資料可視需要使用耦合至處理電路18之有線及/或無線通信路徑提供至外部設備(例如,電腦或其他裝置)。
如圖2所示,影像感測器16可包括含有影像感測器像素190(有時稱為影像像素190)之像素陣列200及控制及處理電路122。陣列200可 含有例如數百或數千列及行之影像感測器像素190。控制電路122可耦合至列解碼器電路124及行解碼器電路126。列解碼器電路124可接收來自控制電路122之列地址,且將諸如重設、列選擇、轉移及讀取控制信號之對應列控制信號經由控制路徑128供應至像素190。諸如行線40之一或多個導電線可耦合至陣列200中之像素190之每一行。行線40可用於自像素190讀出影像信號,且用於將偏壓信號(例如,偏壓電流或偏電壓)供應至像素190。在像素讀出操作期間,陣列200中之像素列可使用列解碼器電路124來選擇,且與該像素列中之影像像素190相關聯之影像資料可沿著行線40讀出。
行解碼器電路126可包括取樣與保持電路、放大器電路、類比/數位轉換電路、偏壓電路、行記憶體、用於選擇性地啟用或停用行電路之鎖存器電路,或耦合至陣列200中之像素之一行或一行以上用於操作像素190且用於自像素190讀出影像信號之其他電路。行解碼器電路126可用於選擇性地在行線40之選定子集上將功率提供至行電路。諸如與行解碼器電路126相關聯之信號處理電路(例如,取樣與保持電路,及類比/數位轉換電路)的讀出電路可用於針對選定像素行中之像素在路徑210上將數位影像資料供應至處理器18(圖1)。
諸如影像像素190之影像感測器像素習知地具備彩色濾波器陣列,其允許單一影像感測器使用佈置成拜耳馬賽克圖案之對應的紅、綠及藍影像感測器像素對紅、綠及藍(RGB)光進行取樣。拜耳馬賽克圖案由二乘二影像像素之重複單位單元組成,其中兩個綠影像像素彼此對角相對且鄰近於同藍影像像素對角相對之紅影像像素。然而,與拜耳馬賽克圖案相關聯之信雜比(SNR)之侷限性使得難以減小諸如影像感測器16之影像感測器的大小。因此,可能需要能夠提供具有俘獲影像之改良手段的影像感測器。
在本文中有時作為實例論述之一個適宜實例中,拜耳圖案中之 綠像素由透明影像像素代替,如圖3所示。如圖3所示,影像像素190之單位單元192可由兩個透明影像像素(本文中有時稱為白(W)影像像素)形成,該兩個透明影像像素彼此對角相對且鄰近於同藍(B)影像像素對角相對之紅(R)影像像素。單位單元192中之白影像像素190可利用視覺上透明之彩色濾波器形成,該視覺上透明之彩色濾波器發射可見光譜上之光(例如,白像素190可俘獲白光)。透明影像像素190可具有由形成透明彩色濾波器之材料及/或形成影像感測器像素之材料(例如,矽)界定的自然敏感度。透明影像像素190之敏感度可視需要經調整以藉由使用諸如顏料之光吸收劑實現較好之顏色再現及/或雜訊特性。單位單元192可在影像像素陣列200上重複以形成紅、白及藍影像像素190之馬賽克。以此方式,紅影像像素可回應於紅光而產生紅影像信號,藍影像像素可回應於藍光而產生藍影像信號,且白影像像素可回應於白光而產生白影像信號。白影像信號亦可由白影像像素回應於紅、藍及/或綠光之任何適宜之組合而產生。
圖3之單位單元192僅為說明性的。視需要,可形成鄰近於單位單元192中之對角相對的白影像像素之任何顏色之影像像素。舉例而言,單位單元194可由兩個白影像像素190界定,該兩個白影像像素190形成為彼此對角相對且鄰近於同綠(G)影像像素對角相對之紅影像像素,如圖4所示。在又一適宜佈置中,單位單元196可由兩個白影像像素190界定,該兩個白影像像素190形成為彼此對角相對且鄰近於同綠影像像素對角相對之藍影像像素,如圖5所示。
白影像像素W可有助於藉由與具有較窄彩色濾波器(例如,發射可見光譜之子集上的光之濾波器)之影像像素(諸如,綠影像像素)相比聚集額外光來增加影像像素190俘獲之影像信號之信雜比(SNR)。白影像像素W可尤其改良低光條件下之SNR,在低光條件下SNR有時可能會限制影像之影像品質。自具有白影像像素(例如,如圖3至圖5所示) 之影像像素陣列200聚集之影像信號可轉換為待與用於驅動大多數影像顯示器(例如,顯示屏、監視器等)之電路及軟體相容之紅、綠及藍影像信號。此轉換通常涉及使用彩色校正矩陣(CCM)修改所俘獲之影像信號。若不注意,則彩色校正操作可能不合需要地放大雜訊。
在一個適宜佈置中,CCM產生之雜訊可藉由在將CCM應用於所聚集之影像信號之前實施強去雜訊(例如,色度去雜訊)來減少。色度去雜訊可由處理電路18(圖1)藉由將色度濾波器應用於影像像素190所聚集之影像信號來執行。色度濾波器可用以增加來自不同顏色之影像像素之影像信號(例如,紅、白及藍影像信號)之間的雜訊相關。增加來自不同顏色之影像像素之影像信號之間的雜訊相關可減少CCM進行之雜訊放大,從而產生改良之最終影像品質。在另一佈置中,由CCM放大之雜訊可藉由將所謂之「點濾波器」應用於所俘獲之影像信號來補償。點濾波器可使用高保真白影像信號來增強使用CCM產生之紅、綠及藍影像信號之品質。視需要,影像感測器16可實施色度去雜訊及點濾波器兩者來減少CCM進行之雜訊放大以產生最終影像中之改良之亮度效能。
圖6展示可由諸如圖1之處理電路18的處理電路執行以處理由諸如像素陣列200之經濾波像素陣列(例如,無綠影像像素之像素陣列)聚集之影像信號的說明性步驟之流程圖。圖6之步驟可例如由處理電路18執行以減少使用具有諸如圖3至圖5所示之白影像像素之單位單元俘獲的影像信號中之雜訊。
在步驟100處,影像感測器16可自場景俘獲影像信號。影像感測器16俘獲之影像信號可包括回應於隨白像素聚集之光而產生之白影像信號。視需要,影像信號亦可包括紅影像信號、藍影像信號或綠影像信號中之一或多者,此取決於所使用之影像像素之組態(例如,若使用圖3之單位單元192,則影像信號可包括紅、白及藍影像信號;若使 用圖4之單位單元194,則影像信號可包括紅、白及綠影像信號,等等)。在圖6之實例中,可俘獲紅(R')、白(W')及藍(B')影像信號。紅影像信號可具有第一光譜回應值(作為紅影像感測器像素接收之光之頻率之函數之整合信號功率位準)、藍影像信號可具有第二光譜回應值,且白影像信號可具有例如大於第一光譜回應值與第二光譜回應值之和的百分之七十五之第三光譜回應值(例如,在標準CIE發光體E之情況下,白影像信號具有可見光譜上之針對相等能量輻射體之廣敏感度)。影像信號可具有對應於每一影像像素190俘獲之光的影像值(例如,紅影像信號可包括紅影像值、藍影像信號可包括藍影像值,等等)。所俘獲之影像信號可傳達至處理電路18以進行影像處理。
在步驟102處,可對所俘獲之影像信號執行白平衡操作。在圖6之實例中,可產生白平衡紅影像信號(R)、白平衡白影像信號(W)及白平衡藍影像信號(B)。
在步驟104處,處理電路18可對白平衡影像信號去馬賽克,且應用色度濾波器以自白平衡影像信號提取紅、白及藍影像資料。可應用色度濾波器以對白平衡影像信號進行色度去雜訊。處理電路18可(例如)對影像信號去馬賽克,且同時、循序地或以散置方式應用色度濾波器。此對影像信號應用色度濾波器及去馬賽克的過程可在本文中稱為「色度去馬賽克」。色度濾波器可增加每一顏色之影像信號之間的雜訊相關(例如,紅、白及藍通道中之雜訊波動可以相關方式一起增加或減小)。舉例而言,處理電路18可將紅、白及綠影像信號之間的相關雜訊增加至達與紅、白及綠影像信號相關聯之所有雜訊的70%或更多。
藉由增加雜訊相關,處理電路18可減少應用CCM於影像信號時產生之雜訊放大的量。對影像信號進行色度去馬賽克可允許自可用彩色影像信號判定遺失的彩色影像信號(例如,未由影像像素產生之顏 色的影像信號)。在此實例中,可能自所聚集之影像信號遺失綠影像信號,此係因為單位單元192中不使用綠彩色濾波器(圖3)。可使用白、紅及藍影像信號(例如,藉由執行減法運算)來判定綠影像信號。一般而言,可使用可用彩色影像信號來判定原色加色(例如,紅、綠及藍)之任一者。可能需要產生紅、綠及藍影像信號,而不管影像像素陣列200上使用之彩色濾波器如何,此係因為顯示器系統通常使用紅、綠及藍像素來顯示影像。
在步驟106處,處理電路18可將彩色校正矩陣(CCM)應用於紅影像資料、白影像資料及藍影像資料。CCM可(例如)自白影像資料提取綠影像資料以產生紅、綠及藍影像資料。舉例而言,CCM可將影像資料轉換為標準紅、標準綠及標準藍影像資料(有時統稱為線性sRGB影像資料或簡稱為sRGB影像資料)。在另一適宜佈置中,CCM可自紅及/或藍影像資料提取綠影像資料。視需要,可對線性sRGB影像資料執行伽馬校正過程。在伽馬校正之後,sRGB影像資料可用於使用影像顯示裝置來顯示。在一些情況下,可能需要提供額外雜訊減小(例如,藉由將點濾波器應用於sRGB影像資料)以進一步緩解由於將CCM應用於紅、白及藍影像資料而產生的雜訊放大。處理電路18可保存白影像資料,用於可選步驟108期間sRGB影像資料之進一步處理。
在可選步驟108處,處理電路18可將點濾波器應用於影像資料(例如,應用於在將CCM應用於紅、白及藍影像資料之後產生之sRGB影像資料)。點濾波器可對sRGB影像資料操作以產生經校正之sRGB資料。點濾波器可用以進一步減少由於將CCM應用於紅、白及藍影像資料而引起之雜訊放大。當使用顯示系統顯示時,經校正之sRGB資料藉此提供與在應用點濾波器之前的sRGB資料相比更佳之影像品質(例如,更佳之亮度效能)。
圖7展示可由處理電路18執行以對自影像像素陣列200接收之影 像信號去馬賽克及濾波的說明性步驟之流程圖。圖7之步驟可例如由處理電路18執行以對影像像素190聚集之紅、白及藍影像信號執行色度去馬賽克,從而產生紅、白及藍影像資料中之充分雜訊相關。圖7之步驟可例如作為圖6之步驟104之一部分執行。
在步驟110處,處理電路18可對白影像信號去馬賽克以產生白影像資料(例如,每一影像像素之白影像值)。在另一適宜佈置中,可針對可用影像像素190之組合產生白影像值。白影像值可用於計算使用紅及藍影像信號之不同值以增加紅、白及藍影像信號之間的雜訊相關。
在步驟112處,處理電路18可藉由針對每一像素自紅影像值減去白影像值來產生紅差值。處理電路18可藉由自藍影像值減去白影像值來產生藍差值。紅差值可例如針對每一紅影像像素計算,且藍差值可針對影像像素陣列200之每一藍影像像素計算。
在步驟114處,處理電路18可使用色度濾波器對紅差值及藍差值濾波。可例如藉由執行影像像素190之核上計算之差值之加權平均(例如,藉由執行步驟112計算之差值之群組之加權平均)而將色度濾波器應用於紅及藍差值。影像像素之核可界定為上面正執行色度濾波之影像像素陣列200中的影像像素之子集(例如,核可包括影像像素陣列200中之影像像素中之一些或全部)。舉例而言,當使用5像素乘5像素核時,在執行色度濾波時針對影像像素陣列200中之影像像素190的5像素乘5像素子集計算差值之加權平均(例如,使用影像像素陣列200中之25個環繞影像像素處之差值針對給定影像像素190計算差值之加權平均)。一般而言,可使用具有任何所要大小之核。
在步驟116處,可將白影像值加上經色度濾波之紅差值及經色度濾波之藍差值以分別產生經色度濾波之紅影像值及經色度濾波之藍影像值。
在步驟118處,處理電路18可對經色度濾波之紅影像值及經色度濾波之藍影像值去馬賽克以產生具有增加之相關雜訊的紅影像資料及藍影像資料(例如,已進行色度去馬賽克之紅及藍影像資料)。經去馬賽克之白影像資料及經色度去馬賽克之紅及藍影像資料可接著使用CCM操作以產生如上文結合圖6之步驟106描述的標準紅、標準綠及標準藍(sRGB)影像資料。
圖7僅為說明性的。視需要,處理電路18可在產生紅及藍差值之前對經色度濾波之紅及藍影像值去馬賽克(例如,處理電路18可在步驟112之前執行步驟118)。
若在影像像素190之足夠大之核上執行差值之色度濾波,則來自紅及藍影像信號之最小雜訊可在色度濾波之後(例如,執行步驟114之後)保留在紅及藍差值中。舉例而言,若核具有15像素乘15像素或更大之大小,則色度濾波可將紅及藍經色度濾波之差值中之雜訊減小至可忽略之位準。視需要,影像像素190之核可包括位於多個影像像素陣列200中之影像像素、位於多個影像感測器16中之影像像素,及/或多個時間框期間使用(例如,以允許時間去雜訊)之影像像素。當將白影像值加上經色度濾波之差值時,白影像值中之雜訊可支配差值中之雜訊。以此方式,步驟116處產生之紅及藍影像資料中之雜訊可大體等於白影像資料中之雜訊。紅及藍影像資料中之雜訊可藉此高度相關,從而產生CCM引起之減小之雜訊放大。當針對影像像素陣列200使用拜耳圖案時,此過程可產生CCM引起之較少雜訊放大。
在步驟106(圖6)處,CCM可對紅、白及藍影像資料操作以產生線性sRGB資料。舉例而言,CCM可自白影像資料提取資訊以產生標準綠資料。白影像資料(例如,步驟104處產生之經去馬賽克之白影像資料)可在利用CCM對影像資料操作之後保留。sRGB影像資料可在諸如亮度-色度-色調(LCH)空間之三維空間中表示。在LCH空間中,亮度 通道(L)可與影像感測器16俘獲之影像之亮度相關,且色度通道(C)可與影像之顏色飽和度相關,且色調通道可與影像之特定顏色(例如,紅、紫、黃、綠等)相關。所顯示影像中之雜訊及清晰度之感知可受亮度通道中之雜訊及信號變化影響。影像資料中之SNR可藉由將sRGB資料變換為LHC資料,用白影像值(其歸因於白影像信號之廣頻譜而與總體影像亮度較好地相關)代替亮度通道中之亮度值,及將LHC資料變換回至sRGB資料來改良。以此方式,CCM引起之雜訊放大可在亮度通道中被抑制,其中當觀察所顯示影像時雜訊特別可被觀察者注意到。
如上文結合圖6之可選步驟108所描述,點濾波器可應用於線性sRGB資料以使用白影像資料產生經校正之sRGB資料。點濾波器可在無來自鄰近影像像素190之資訊之情況下對單一影像像素190操作,而色度去馬賽克當應用於單一影像像素190處之影像信號時可需要來自多個影像像素(例如,影像像素之核)之影像信號(例如,差值)。舉例而言,點濾波器可針對每一影像像素對標準紅值、標準綠值及標準藍值操作。為對sRGB資料執行點濾波器操作,處理電路18可使用紅影像資料、白影像資料及藍影像資料(例如,在應用CCM之前之影像資料)來計算原始(原本)亮度信號。原始亮度信號可為白影像資料、紅影像資料及藍影像資料之線性組合(例如,加權和)。視需要,白影像資料可在線性組合中比紅及藍影像資料更重程度地加權。處理電路18可計算作為標準紅、標準綠及標準藍影像資料之線性組合的所暗示亮度信號(例如,在將CCM應用於影像資料之後)。視需要,用於計算所暗示亮度信號之線性組合中之權重可大體類似於用於計算原始亮度信號之權重。該等權重可經調整以修改點濾波器之「強度」(例如,點濾波器變換或校正sRGB資料之程度)。
處理電路18可在最簡單情況下藉由將原始亮度信號除以所暗示 亮度信號來產生定標值(例如,待應用於經彩色校正之影像值之定標因子)。視需要,定標因子可包括分子及分母。定標值之分子及/或分母可包括原始亮度信號及所暗示亮度信號之加權和。定標值可包括可變化以調整點濾波器之強度的可調整加權參數(例如,該等加權參數可持續變化以將點濾波器之強度自零調整為完全強度)。為將點濾波器應用於sRGB資料(例如,應用於標準紅、綠及藍影像資料),處理電路18可將sRGB資料乘以定標值以產生經校正之sRGB資料。舉例而言,處理電路18可將標準紅影像資料乘以定標值,將標準綠影像資料乘以定標值,等等。視需要,經校正之sRGB資料可具有自應用點濾波器之前(例如,在將經校正之sRGB資料轉換至LCH空間後)近似保留之色調及色度通道。經校正之sRGB資料可具有歸因於白影像信號之繼承之保真度之改良的雜訊及/或清晰度。
在最簡單情況下,原始亮度信號可藉由白影像資料來近似。圖8展示可由處理電路18執行以在將CCM應用於紅、白及藍影像資料之後將點濾波器(在最簡單情況下)應用於sRGB資料的說明性步驟之流程圖(作為一實例)。處理電路18可例如針對影像像素陣列200中之每一影像像素190將點濾波器應用於sRGB資料。圖8之步驟可例如作為圖6之步驟108之一部分執行。
在步驟130處,處理電路18可藉由組合紅、綠、藍影像資料(例如,在應用CCM之後)針對給定影像像素190產生所暗示之亮度值(例如,LCH空間中之亮度值)。所暗示之亮度值可例如計算作為紅、綠及藍影像資料之線性組合。
在步驟132處,處理電路18可藉由將白影像值除以所暗示之亮度值來產生定標值。視需要,可藉由將白影像值除以所暗示之亮度值與白影像值之加權和來產生定標因子。定標因子可包括可變化以調整點濾波器之強度的可調整加權參數(例如,該等加權參數可持續變化以 將點濾波器之強度自零調整為完全強度)。定標值可例如為對sRGB資料操作之運算子。
在步驟134處,處理電路18可將sRGB資料乘以定標值以產生經校正之sRGB資料(例如,經校正之標準紅、綠及藍影像資料)。舉例而言,處理電路18可將標準紅影像資料乘以定標值,將標準綠影像資料乘以定標值,等等。經校正之sRGB資料可視需要提供至影像顯示器。經校正之sRGB資料可具有與應用點濾波器之前的sRGB資料相比改良之雜訊及/或清晰度。
圖6至圖8之實例僅為說明性的。任何所要彩色濾波器可結合圖3至圖5所示之白色濾波器使用以獲得彩色影像信號。可使用所要彩色濾波器之任何組合(例如,紅色濾波器、綠色濾波器、青色濾波器、紅外濾波器、紫外濾波器、藍色濾波器、黃色濾波器、洋紅濾波器、紫色濾波器等之任何組合)。視需要,任何其他適宜之三維空間可用於執行點濾波器操作。
視需要,可使用形成在任何數目個影像感測器16上之任何數目個影像像素陣列200來俘獲影像。所使用之每一影像像素陣列可例如用於不同顏色之影像信號。舉例而言,第一影像像素陣列可具有用於產生白影像信號之透明濾波器,第二影像像素陣列可具有用於產生紅影像信號之紅色濾波器,且第三影像像素陣列可具有用於產生藍影像信號之藍色濾波器。來自此等陣列之每一者之影像信號可進行色度去馬賽克及/或使用點濾波器操作。每一影像像素陣列可視需要形成在裝置10中之諸如影像感測器16之等不同影像感測器上(例如,多個影像感測器16可形成在裝置10中)。此實施例可例如允許較短相機焦距及較薄相機模組。
圖9以簡化形式展示典型處理器系統300,諸如數位相機,其包括成像裝置2000(例如,諸如圖1至圖8之採用透明彩色濾波器及用於 上文描述之操作之技術之成像感測器16的成像裝置2000)。處理器系統300為具有可包括成像裝置2000之數位電路的例示性系統。在不限定之情況下,此系統可包括電腦系統、靜態或視訊攝影機系統、掃描儀、機器視覺、車輛導航、視訊電話、監督系統、自動聚焦系統、星象跟蹤儀系統、運動偵測系統、影像穩定系統,及採用成像裝置之其他系統。
處理器系統300通常包括:透鏡396,其用於當按壓快門釋放按鈕397時將影像聚焦在裝置2000之像素陣列200上;中央處理單元(CPU)395,例如微處理器,其控制相機及一或多個影像流功能,其經由匯流排393與一或多個輸入/輸出(I/O)裝置391通信。成像裝置2000亦經由匯流排393與CPU 395通信。系統300亦包括隨機存取記憶體(RAM)392,且可包括可移除式記憶體394,諸如快閃記憶體,其亦經由匯流排393與CPU 395通信。成像裝置2000可在具有或不具有單一積體電路上或不同晶片上之記憶體儲存之情況下與CPU組合。儘管匯流排393說明為單一匯流排,但其可為用於將系統組件互連之一或多個匯流排或橋接器或其他通信路徑。
已描述各種實施例,其說明具有透明影像像素濾波器及用於減少影像信號產生之影像信號中的雜訊之影像處理技術(例如,色度去馬賽克、應用點濾波器等)之影像感測器。
一種影像感測器可具有影像感測器像素之陣列,該等影像感測器像素包括回應於紅光而產生紅影像信號之紅影像像素、回應於藍光而產生藍影像信號之藍影像像素,及回應於至少紅光、綠光及藍光(例如,白光)而產生白影像信號之透明影像感測器像素。影像像素可佈置在像素單位單元之陣列中,每一像素單位單元包括若干不同顏色之影像像素。影像感測器可耦合至處理電路,該處理電路對紅、藍及白影像信號執行濾波操作以增加與紅、藍及白影像信號相關聯之雜訊 相關。該處理電路可針對給定影像像素例如藉由產生由影像像素陣列中之至少25個影像像素產生之影像信號之加權和來執行濾波操作。加權和可包括可調整權重(例如,基於觀察至之影像特徵調整之權重)。可針對在多個時間框期間或自多個影像感測器俘獲之影像信號產生加權和。藉由產生多個時間框之加權和,處理電路可減小影像像素之核之大小,同時成功減少影像信號雜訊。
此實例僅為例示性的。一般而言,影像感測器像素之陣列可包括任何所要顏色之影像感測器像素(例如,回應於任何顏色之光之影像感測器像素)。舉例而言,影像感測器像素之陣列可包括回應於第一顏色之光之影像感測器像素之第一群組、回應於第二顏色之光之影像感測器像素之第二群組,及回應於第三顏色之光(例如,紅、藍及白光)之影像感測器像素之第三群組。第一影像信號可具有第一光譜回應水準(例如,作為影像感測器像素之第一群組所接收之光之頻率之函數的整合信號功率位準),第二影像信號可具有第二光譜回應水準(例如,作為影像感測器像素之第二群組所接收之光之頻率之函數的整合信號功率位準),且第三影像信號可具有第三光譜回應水準(例如,作為影像感測器像素之第三群組所接收之光之頻率之函數的整合信號功率位準)。第三影像信號可具有大於第一光譜回應水準與第二光譜回應水準的光譜回應水準(例如,第三光譜回應水準可大於第一光譜回應水準與第二光譜回應水準之和的百分之75)。換言之,可回應於比第一影像信號及第二影像信號廣之範圍的光頻率而俘獲第三影像信號。
處理電路可視需要使用第一影像信號、第二影像信號及第三影像信號來產生估計之亮度值(例如,LCH空間中之亮度值)。處理電路可藉由將第一影像信號、第二影像信號及第三影像信號變換為導出之三色空間(例如,線性sRGB空間、CIE空間、XYZ空間、拜耳空間等) 來產生經變換之第一影像信號、第二影像信號及第三影像信號。處理電路可(例如)藉由對第一影像信號、第二影像信號及第三影像信號執行線性組合來產生經變換之第一影像信號、第二影像信號及第三影像信號。處理電路可藉由組合經變換之第一影像信號、經變換之第二影像信號及經變換之第三影像信號來產生導出之亮度值(例如,LCH空間中之亮度值)。處理電路可比較導出之亮度值與所估計之亮度值,且修改經變換之第一影像信號、經變換之第二影像信號及經變換之第三影像信號,使得導出之亮度值接近所估計之亮度值(例如,使得導出之亮度值與所估計之亮度值充分匹配)。
處理電路可視需要使用具有處理電路之影像感測器來處理包括第一顏色之第一影像信號、不同於第一顏色之第二顏色之第二影像信號及白影像信號之影像資料。處理電路可使用白影像信號來產生不同於第一顏色及第二顏色之第三顏色的第三影像信號。處理電路可將第一影像信號、第二影像信號及第三影像信號組合以形成導出之亮度值,且可自第一顏色影像信號、第二顏色影像信號及白影像信號計算所估計之亮度值。處理電路可藉由將白影像信號與第一影像信號、第二影像信號及第三影像信號組合來形成導出之亮度值。
處理電路可使用導出之亮度值及所估計之亮度值來修改第一影像信號、第二影像信號及第三影像信號。舉例而言,處理電路可基於導出之亮度值及所估計之亮度值來計算定標值,且可將第一影像信號、第二影像信號及第三影像信號與所產生之定標值相乘。處理電路可組合第一影像信號、第二影像信號及第三影像信號以藉由使用加權因子來計算第一影像信號、第二影像信號及第三影像信號之線性組合以形成導出之亮度值。
處理電路可視需要對所俘獲之影像信號執行無限脈衝回應(IIR)濾波。處理電路可藉由基於影像像素190俘獲之影像信號之特性調整 應用於所俘獲之影像信號的濾波器(例如,如結合圖6至圖8描述之濾波器)來執行IIR濾波。執行IIR濾波可增加處理電路處理所俘獲之影像信號之效率。
處理電路可視需要對紅、藍及白影像信號執行白平衡操作。處理電路可將彩色校正矩陣應用於白影像信號以自每一白影像信號提取諸如綠影像信號之不同顏色之影像信號。處理電路可組合紅影像信號、藍影像信號、綠影像信號及白影像信號以形成亮度值(例如,藉由計算紅、藍、綠及白影像信號之線性組合或加權和)。處理電路可將白影像信號除以亮度值以產生定標值。處理電路可藉由將紅、綠及藍影像信號乘以定標值來修改紅、綠及藍影像信號。定標值可充當在對紅、綠及藍影像信號操作時之點濾波器。視需要,可使用任何顏色之影像像素與白影像信號組合。視需要,處理電路可對來自多個影像像素陣列、多個影像感測器上之影像像素陣列及/或多個時間框期間俘獲之影像信號之影像信號執行此等操作。
可在一系統中實施透明影像像素及相關聯之濾波技術,該系統亦包括中央處理單元、記憶體、輸入-輸出電路,及成像裝置,該成像裝置進一步包括像素陣列、用於將光聚焦至像素陣列上之透鏡,及資料轉換電路。
根據一實施例,提供一種成像系統,其包括:具有影像感測器像素陣列之影像感測器,其中該影像感測器像素陣列包括經組態以回應於紅光產生紅影像信號之紅影像感測器像素、經組態以回應於藍光產生藍影像信號之藍影像感測器像素,及經組態以回應於至少紅光、綠光及藍光產生白影像信號之透明影像感測器像素;及處理電路,其經組態以對紅影像信號、藍影像信號及白影像信號執行濾波操作,此增加與紅影像信號、藍影像信號及白影像信號相關聯之雜訊相關。
根據另一實施例,處理電路經組態以將與紅影像信號、藍影像 信號及白影像信號相關聯之雜訊相關增加至大於與紅影像信號、藍影像信號及白影像信號相關聯之所有雜訊的百分之70。
根據另一實施例,處理電路經組態以藉由針對給定顏色之每一影像感測器像素產生由至少25個影像感測器像素產生之影像信號之加權和來執行濾波操作。
根據另一實施例,處理電路經組態以對紅影像信號、藍影像信號及白影像信號執行白平衡操作。
根據另一實施例,處理電路經組態以將彩色校正矩陣應用於白影像信號,其中該彩色校正矩陣自每一白影像信號提取綠影像信號。
根據另一實施例,影像感測器進一步包括額外影像感測器像素陣列。
根據另一實施例,成像系統進一步包括具有至少一個影像感測器像素陣列之額外影像感測器。
根據一實施例,提供一種使用具有處理電路之影像感測器處理影像資料的方法,該影像資料包括第一顏色之第一影像信號、不同於第一顏色之第二顏色之第二影像信號,及白影像信號,該方法包括:利用處理電路,使用白影像信號產生不同於第一顏色及第二顏色之第三顏色的第三影像信號;利用處理電路,組合第一影像信號、第二影像信號及第三影像信號以形成導出之亮度值;利用處理電路,基於第一影像信號、第二影像信號及白影像信號計算所估計之亮度值;及利用處理電路,使用導出之亮度值及所估計之亮度值修改第一影像信號、第二影像信號及第三影像信號。
根據另一實施例,該方法進一步包括利用處理電路,基於導出之亮度值及所估計之亮度值計算定標值,其中修改第一影像信號、第二影像信號及第三影像信號包括將第一影像信號、第二影像信號及第三影像信號乘以所產生之定標值。
根據另一實施例,組合第一影像信號、第二影像信號及第三影像信號以形成導出之亮度值包括使用加權因子計算第一影像信號、第二影像信號及第三影像信號之線性組合。
根據另一實施例,組合第一影像信號、第二影像信號及第三影像信號以形成導出之亮度值進一步包括將白影像信號與第一影像信號、第二影像信號及第三影像信號組合以形成導出之亮度值。
根據另一實施例,使用白影像信號產生第三顏色之第三影像信號包括使用彩色校正矩陣自白影像信號提取第三影像信號。
根據另一實施例,第一影像信號包括紅影像信號,第二影像信號包括藍影像信號,且第三影像信號包括綠影像信號。
根據另一實施例,第一影像信號包括紅影像信號,第二影像信號包括綠影像信號,且第三影像信號包括藍影像信號。
根據另一實施例,第一影像信號包括藍影像信號,第二影像信號包括綠影像信號,且第三影像信號包括紅影像信號。
根據一實施例,提供一種系統,其包括:中央處理單元、記憶體、輸入-輸出電路及成像裝置,其中該成像裝置包括:像素陣列;將影像聚焦在像素陣列上之透鏡;具有影像像素陣列之影像感測器,其中該影像像素陣列包括經組態以回應於紅光產生紅影像信號之紅影像像素、經組態以回應於藍光產生藍影像信號之藍影像像素,及經組態以回應於至少紅光、綠光及藍光產生白影像信號之透明影像像素;及處理電路,其經組態以產生作為白影像信號與至少紅影像信號、藍影像信號及綠影像信號之線性組合之比率之定標值,且使用所產生之定標值修改紅影像信號、藍影像信號及綠影像信號。
根據另一實施例,該影像像素陣列包括若干像素單位單元,每一像素單位單元包括紅影像像素之一者、藍影像像素之一者,及透明影像像素之兩者。
根據另一實施例,處理電路進一步經組態以對紅影像信號、藍影像信號及白影像信號執行濾波操作以增加與紅影像信號、藍影像信號及白影像信號相關聯之雜訊相關。
根據另一實施例,處理電路進一步經組態以產生白影像信號與紅影像信號之間及白影像信號與藍影像信號之間的差值。
根據另一實施例,處理電路進一步經組態以使用所產生之差值對紅影像信號、藍影像信號及白影像信號執行濾波操作。
根據一實施例,提供一種使用影像感測器處理影像信號之方法,其中該影像感測器包括影像感測器像素陣列及處理電路,且其中影像感測器像素包括紅影像感測器像素、藍影像感測器像素及透明影像感測器像素,且該方法包括:利用紅影像感測器像素,回應於紅光而產生紅影像信號;利用藍影像感測器像素,回應於藍光而產生藍影像信號;利用透明影像感測器像素,回應於至少紅光、綠光及藍光而產生白影像信號;及利用處理電路,對紅影像信號、藍影像信號及白影像信號執行濾波操作,此增加與紅影像信號、藍影像信號及白影像信號相關聯之雜訊相關。
根據另一實施例,執行濾波操作包括將與紅影像信號、藍影像信號及白影像信號相關聯之雜訊相關增加至大於與紅影像信號、藍影像信號及白影像信號相關聯之所有雜訊的百分之70。
根據另一實施例,執行濾波操作包括針對給定顏色之每一影像感測器像素產生由至少25個影像感測器像素產生之影像信號之加權和。
根據一實施例,提供一種使用影像感測器處理影像信號之方法,其中該影像感測器包括影像感測器像素陣列及處理電路,且其中影像感測器像素陣列包括回應於第一顏色之光之影像感測器像素之第一群組、回應於第二顏色之光之影像感測器像素之第二群組,及回應 於第三顏色之光之影像感測器像素之第三群組,且該方法包括:利用影像感測器像素之第一群組,回應於第一顏色之光而產生第一影像信號;利用影像感測器像素之第二群組,回應於第二顏色之光而產生第二影像信號;利用影像感測器像素之第三群組,回應於至少第一及第二顏色之光而產生第三影像信號;及利用處理電路,對第一影像信號、第二影像信號及第三影像信號執行濾波操作,此增加與第一影像信號、第二影像信號及第三影像信號相關聯之雜訊相關。
根據另一實施例,第一影像信號具有第一光譜回應水準,第二影像信號具有第二光譜回應水準,且回應於至少第一及第二顏色之光產生第三影像信號包括產生具有大於第一信號回應水準與第二信號回應水準之和的百分之75之第三光譜回應水準之第三影像信號。
根據另一實施例,產生第一影像信號包括回應於紅光產生紅影像信號,產生第二影像信號包括回應於藍光產生藍影像信號,且產生第三影像信號包括回應於至少紅光及藍光產生白影像信號。
根據另一實施例,紅影像信號具有第一光譜回應水準,藍影像信號具有第二光譜回應水準,且產生白影像信號包括產生具有大於第一光譜回應水準與第二光譜回應水準之和的百分之75之第三光譜回應水準之白影像信號。
根據另一實施例,對第一影像信號、第二影像信號及白影像信號執行濾波操作包括對第一影像信號、第二影像信號及第三影像信號執行無限脈衝回應濾波器。
根據一實施例,提供一種使用影像感測器處理影像信號之方法,其中該影像感測器包括處理電路、回應於第一顏色之光而產生第一影像信號之影像感測器像素之第一群組、回應於第二顏色之光而產生第二影像信號之影像感測器像素之第二群組,及回應於第三顏色之光而產生第三影像信號之影像感測器像素之第三群組,其中第一影像 信號具有第一光譜回應,其中第二影像信號具有第二光譜回應,且其中第三影像信號具有大於第一光譜回應及第二光譜回應之第三光譜回應,且該方法包括:利用處理電路,使用第一影像信號、第二影像信號及第三影像信號產生所估計之亮度值;利用處理電路,藉由將第一影像信號、第二影像信號及第三影像信號變換至導出之三色空間中來產生經變換之第一影像信號、經變換之第二影像信號及經變換之第三影像信號;利用處理電路,藉由組合經變換之第一影像信號、第二影像信號及第三影像信號產生導出之亮度值;及利用處理電路,修改經變換之第一影像信號、第二影像信號及第三影像信號使得導出之亮度值接近所估計之亮度值。
根據另一實施例,將第一影像信號、第二影像信號及第三影像信號變換至導出之三色空間中包括將第一影像信號、第二影像信號及第三影像信號變換至標準紅-綠-藍空間中。
根據另一實施例,產生經變換之第一影像信號、第二影像信號及第三影像信號包括產生第一影像信號、第二影像信號及第三影像信號之線性組合。
根據另一實施例,第一影像信號包括由影像感測器像素之第一群組回應於紅光而俘獲之紅影像信號,第二影像信號包括由影像感測器像素之第二群組回應於藍光而俘獲之藍影像信號,第三影像感測器信號包括由影像感測器像素之第三群組回應於至少藍光及紅光而俘獲之白影像信號,且產生第一影像信號、第二影像信號及第三影像信號之線性組合包括使用紅、藍及白影像信號產生線性組合。
根據一實施例,提供一種成像系統,其包括具有影像感測器像素陣列之影像感測器,其中該影像感測器像素陣列包括經組態以回應於第一顏色之光而產生第一影像信號之影像感測器像素之第一群組、經組態以回應於第二顏色之光而產生第二影像信號之影像感測器像素 之第二群組,及經組態以回應於至少第一顏色及第二顏色之光而產生第三影像信號之影像感測器像素之第三群組;及處理電路,其經組態以對第一影像信號、第二影像信號及第三影像信號執行濾波操作,此增加與第一影像信號、第二影像信號及第三影像信號相關聯之雜訊相關。
根據另一實施例,第一影像信號具有第一光譜回應水準,第二影像信號具有第二光譜回應水準,且第三影像信號具有大於第一光譜回應水準與第二光譜回應水準之和的百分之75之第三光譜回應水準。
根據另一實施例,影像感測器像素之第一群組包括經組態以回應於紅光而產生紅影像信號之紅影像感測器像素,影像感測器像素之第二群組包括經組態以回應於藍光而產生藍影像信號之藍影像感測器像素,且影像感測器像素之第三群組包括經組態以回應於至少紅光及藍光而產生白影像信號之透明影像感測器像素。
根據另一實施例,影像感測器像素之第一群組包括經組態以回應於紅光而產生紅影像信號之紅影像感測器像素,影像感測器像素之第二群組包括經組態以回應於綠光而產生綠影像信號之綠影像感測器像素,且影像感測器像素之第三群組包括經組態以回應於至少紅光及綠光而產生白影像信號之透明影像感測器像素。
以上僅說明可在其他實施例中實踐之本發明之原理。
190‧‧‧影像感測器像素/影像像素
192‧‧‧單位單元
200‧‧‧像素陣列

Claims (18)

  1. 一種使用具有一影像感測器像素陣列及處理電路之一影像感測器處理影像信號之方法,其中該影像感測器像素陣列包括回應於一第一顏色之光之一第一組影像感測器像素、回應於一第二顏色之光之一第二組影像感測器像素及回應於一第三顏色之光之一第三組影像感測器像素,該方法包含:利用該第一組影像感測器像素回應於該第一顏色之光產生第一影像信號;利用該第二組影像感測器像素回應於該第二顏色之光產生第二影像信號;利用該第三組影像感測器像素回應於該第三顏色之光產生第三影像信號;及利用該處理電路對該等第一影像信號、該等第二影像信號及該等第三影像信號執行濾波操作,該等濾波操作增加與該等第一影像信號、該等第二影像信號及該等第三影像信號關聯之雜訊相關性,其中對該等第一影像信號、該等第二影像信號及該等第三影像信號執行增加該等雜訊相關性之該等濾波操作使得該等第一影像信號、該等第二影像信號及該等第三影像信號中之雜訊波動以一相關方式一起增加或減小。
  2. 如請求項1之方法,其中所產生之該等第一影像信號具有一第一光譜回應水準(first spectral response level)、其中所產生之該等第二影像信號具有一第二光譜回應水準且其中所產生之該等第三影像信號具有大於該第一光譜回應水準並大於該第二光譜回應水準之一第三光譜回應水準。
  3. 如請求項2之方法,其中所生之該等第三影像信號之該第三光譜 回應水準係大於該第一光譜回應水準及該第二光譜回應水準之一總和之百分之75。
  4. 如請求項1之方法,其中對該等第一影像信號、該等第二影像信號及該等第三影像信號執行該濾波操作包含:增加與該等第一影像信號、該等第二影像信號及該等第三影像信號關聯之該等雜訊相關性至與該等第一影像信號、該等第二影像信號及該等第三影像信號關聯之所有雜訊之百分之70。
  5. 如請求項1之方法,其中對該等第一影像信號、該等第二影像信號及該等第三影像信號執行該濾波操作包含:針對一給定顏色之每一影像感測器像素產生由至少25個影像感測器像素產生之影像信號之一加權和。
  6. 如請求項1之方法,其進一步包含:利用該處理電路將一彩色校止矩陣應用於該等第三影像信號,其中該彩色校正矩陣自該等第三影像信號提取一綠影像信號。
  7. 一種成像系統,其包含:具有一影像感測器像素陣列之一影像感測器,其中該影像感測器像素陣列包括經組態以回應於一第一顏色之光而產生第一影像信號之一第一組影像感測器像素、經組態以回應於一第二顏色之光而產生第二影像信號之一第二組影像感測器像素,及經組態以回應於一第三顏色之光而產生第三影像信號之一第三組影像感測器像素;及處理電路,其經組態以對該等第一影像信號、該等第二影像信號及該等第三影像信號執行濾波操作,該等濾波操作增加與該等第一影像信號、該等第二影像信號及該等第三影像信號關聯之雜訊相關性,其中對該等第一影像信號、該等第二影像信 號及該等第三影像信號執行增加該等雜訊相關性之該等濾波操作使得該等第一影像信號、該等第二影像信號及該等第三影像信號中之雜訊波動以一相關方式一起增加或減小。
  8. 如請求項7之成像系統,其中該處理電路經組態以將一彩色校正矩陣應用於該等第三影像信號,其中該彩色校正矩陣自該等第三影像信號提取一綠影像信號。
  9. 如請求項7之成像系統,其中該處理電路經組態以藉由針對一給定顏色之每一影像感測器像素產生由至少25個影像感測器像素產生之影像信號之一加權和而對該等第一影像信號、該等第二影像信號及該等第三影像信號執行該等濾波操作。
  10. 如請求項7之成像系統,其中該等第一影像信號具有一第一光譜回應水準,其中該等第二影像信號具有一第二光譜回應水準,其中該等第三影像信號具有一第三光譜回應水準,該第三光譜回應水準大於該第一光譜回應水準並大於該第二光譜回應水準,且其中該等第三影像信號之該第三光譜回應水準係大於該第一光譜回應水準及該第二光譜回應水準之一總和之百分之75。
  11. 一種使用具有處理電路之一影像感測器處理影像資料之方法,該影像資料包括一第一顏色之第一影像信號、一第二顏色之第二影像信號,及第三影像信號,該方法包含:利用該處理電路,使用該等第三影像信號來產生一第三顏色的第四影像信號;利用該處理電路,組合該等第一影像信號、該等第二影像信號及該等第四影像信號以形成一導出之亮度值;利用該處理電路,基於該等第一影像信號、該等第二影像信號及該等第三影像信號來計算一所估計之亮度值;及 利用該處理電路,使用該導出之亮度值及該所估計之亮度值來修改該等第一影像信號、該等第二影像信號及該等第四影像信號。
  12. 如請求項11之方法,其中該第一顏色不同於該第二顏色且該第三顏色不同於該第一顏色及該第二顏色。
  13. 如請求項11之方法,其進一步包含:利用該處理電路,基於該導出之亮度值及該所估計之亮度值來計算一定標值,其中修改該等第一影像信號、該等第二影像信號及該等第四影像信號包含將該等第一影像信號、該等第二影像信號及該等第四影像信號乘以所產生之該定標值。
  14. 如請求項11之方法,其中該等第一影像信號具有一第一光譜回應、其中該等第二影像信號具有一第二光譜回應及其中該等第三影像信號具有一第三光譜回應,其中該第三光譜回應大於該第一光譜回應,且其中該第三光譜回應大於該第二光譜回應。
  15. 如請求項14之方法,其中該第三光譜回應大於該第一光譜回應及該第二光譜回應之一總和之百分之75。
  16. 如請求項11之方法,其中組合該等第一影像信號、該等第二影像信號及該等第四影像信號以形成該導出之亮度值包含使用加權因子計算該等第一影像信號、該等第二影像信號及該等第四影像信號之一線性組合。
  17. 如請求項11之方法,其中組合該等第一影像信號、該等第二影像信號及該等第四影像信號以形成該導出之亮度值包含將該等第三影像信號與該等第一影像信號、該等第二影像信號及該等第四影像信號組合以形成該導出之亮度值。
  18. 如請求項11之方法,其進一步包含:利用該處理電路,對該等第一影像信號、該等第二影像信號 及該等第三影像信號執行濾波操作以增加與該等第一影像信號、該等第二影像信號及該等第三影像信號關聯之雜訊相關性;利用該處理電路,於該等第三影像信號與該等第一影像信號之間及該等第三影像信號與該等第二影像信號之間產生差值;及利用該處理電路,使用該等所產生之差值對該等第一影像信號、該等第二影像信號及該等第三影像信號執行該濾波操作以增加該等雜訊相關性。
TW105113157A 2013-03-15 2013-03-15 具有透明濾波器像素之成像系統 TWI601427B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW105113157A TWI601427B (zh) 2013-03-15 2013-03-15 具有透明濾波器像素之成像系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW105113157A TWI601427B (zh) 2013-03-15 2013-03-15 具有透明濾波器像素之成像系統

Publications (2)

Publication Number Publication Date
TW201630419A TW201630419A (zh) 2016-08-16
TWI601427B true TWI601427B (zh) 2017-10-01

Family

ID=57182273

Family Applications (1)

Application Number Title Priority Date Filing Date
TW105113157A TWI601427B (zh) 2013-03-15 2013-03-15 具有透明濾波器像素之成像系統

Country Status (1)

Country Link
TW (1) TWI601427B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080068477A1 (en) * 2006-09-20 2008-03-20 Kabushiki Kaisha Toshiba Solid-state imaging device
EP2302900A2 (en) * 2009-08-31 2011-03-30 Sony Corporation Image processing device, image processing method, and program

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080068477A1 (en) * 2006-09-20 2008-03-20 Kabushiki Kaisha Toshiba Solid-state imaging device
EP2302900A2 (en) * 2009-08-31 2011-03-30 Sony Corporation Image processing device, image processing method, and program

Also Published As

Publication number Publication date
TW201630419A (zh) 2016-08-16

Similar Documents

Publication Publication Date Title
US10070104B2 (en) Imaging systems with clear filter pixels
US10136107B2 (en) Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
JP6725613B2 (ja) 撮像装置および撮像処理方法
US9793306B2 (en) Imaging systems with stacked photodiodes and chroma-luma de-noising
US8175378B2 (en) Method and system for noise management for spatial processing in digital image/video capture systems
US8294797B2 (en) Apparatus and method of generating a high dynamic range image
US10616536B2 (en) Imaging systems having broadband monochromatic and chromatic image sensors
WO2016047240A1 (ja) 画像処理装置、撮像素子、撮像装置および画像処理方法
US9179110B2 (en) Imaging systems with modified clear image pixels
TWI536765B (zh) 具有透明濾波器像素之成像系統
TWI601427B (zh) 具有透明濾波器像素之成像系統
TWI617198B (zh) 具有透明濾波器像素之成像系統
JP2009290795A (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、および電子情報機器
Dikbas et al. Impact of Photometric Space Linearity on Demosaicing Image Quality

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees