TW201545556A - 在產生數位影像中曝光像素群組 - Google Patents

在產生數位影像中曝光像素群組 Download PDF

Info

Publication number
TW201545556A
TW201545556A TW104126891A TW104126891A TW201545556A TW 201545556 A TW201545556 A TW 201545556A TW 104126891 A TW104126891 A TW 104126891A TW 104126891 A TW104126891 A TW 104126891A TW 201545556 A TW201545556 A TW 201545556A
Authority
TW
Taiwan
Prior art keywords
pixels
pixel
image
group
color
Prior art date
Application number
TW104126891A
Other languages
English (en)
Other versions
TWI561083B (en
Inventor
Aaron T Deever
Bruce H Pillman
John T Compton
Amy D Enge
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW201545556A publication Critical patent/TW201545556A/zh
Application granted granted Critical
Publication of TWI561083B publication Critical patent/TWI561083B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H04N25/589—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

本發明揭示一種用於自由一影像感測器陣列所擷取之像素信號產生一數位影像之方法。該方法包含：提供具有至少兩群組像素之一影像感測器陣列，其中各群組之像素係均勻地分佈在該感測器上；將該影像感測器陣列曝光於場景光並僅自第一群組像素讀取像素電荷以產生一第一組像素信號；在產生該第一組像素信號之後，使該影像感測器陣列曝光，及然後自第二群組像素讀取像素電荷且再次自該第一群組讀取像素以產生一第二組像素信號；及使用該第一組像素信號及該第二組像素信號來產生該數位影像。

Description

在產生數位影像中曝光像素群組
本發明係關於一種使用二維影像感測器陣列以多次曝光及讀出來產生一數位影像之影像擷取裝置。
在數位成像中，期望擷取具有高影像品質、高空間解析度及高時間解析度(亦稱為圖框速率)之一影像序列。然而，使用許多當前的影像序列擷取裝置不可能獲得此等高品質影像序列。在許多情況下，以(犧牲)其他影像序列屬性為代價而獲得一所期望之影像序列屬性。例如，在一習知的影像序列擷取裝置中，一給定影像之曝光持續時間受限於該圖框速率。圖框速率越高，各影像曝光必須越短。在一弱光環境中，一影像序列內之個別影像擷取可接收不充足的光並產生有雜訊的影像。藉由對各影像利用較長的曝光持續時間可改良一給定影像關於雜訊之品質，但是此係以一較低圖框速率為代價而達到。或者，藉由透過併像技術組合若干像素可改良關於雜訊之影像品質，然而此改良係以較低空間解析度為代價而達到。在許多情況下，影像序列之空間及時間解析度受該感測器之讀出能力所限制。一感測器每秒能夠讀取一定數目的像素。此讀出能力係在該等讀出之空間與時間解析度之間達到平衡。增加一者必須以另一者為代價而達到以保持像素讀取之總數目在該感測器之可達到範圍之內。
已經提出許多解決方案以允許一數位影像序列擷取裝置擷取具 有改良的品質及解析度之影像序列。減少一數位影像序列中之雜訊之一方法為透過時間雜訊清除。美國專利第7,330,218號中給出此一技術之一實例。時間雜訊減少技術利用鄰近像素之間的高度時間關聯以達到雜訊減少。在靜態場景中，可在連續影像中獲得相同影像場景內容之多次讀出，從而允許有效的雜訊減少。時間雜訊減少之缺點包含緩衝多重影像之記憶體需要以及過濾該等影像之運算需要，尤其在若運動估計及補償用於對齊局域或全域運動區域之時。另外，時間雜訊減少絲毫未改良該影像序列之空間或時間解析度。
改良時間解析度之一方法為時間圖框內插。然而，熟習此項技術者將認識，此等技術係運算複雜、記憶體密集且經常在經內插圖框中產生假影。
改良一影像序列之空間解析度之一方法為透過超級解析度技術。美國專利第7,215,831號及第7,379,612號中提供超級解析度演算法之實例。視訊超級解析度技術使用鄰近圖框來估計各高解析度視訊圖框。空間視訊超級解析度之缺點包含運算複雜性及記憶體需求。空間超級解析度演算法亦難以處理動態場景。
改良一數位影像序列之品質之另一方法為透過使用一雙感測器相機。標題為「Digital Camera Using Multiple Image Sensors to Provide Improved Temporal Sampling」之美國專利申請案第2008/0211941號中提出此一系統。藉由交錯該雙感測器之曝光可達到改良的時間解析度。藉由使該兩個感測器同等地曝光並然後組合所得到之影像，則改良的影像品質及雜訊減少係可能。此解決方案之缺點包含與一雙感測器相機相關之成本。另外，在一雙透鏡裝置中，需要空間對齊自該不同透鏡系統擷取之影像。
改良空間解析度之另一方法係藉由擷取一斷續高解析度影像以及低解析度影像序列，然後處理(該等影像)以自聚合資料產生一整體 高解析度影像序列。此等解決方案之實例為美國專利第7,110,025號及第7,372,504號。此解決方案之缺點包含在某些情況下需要一額外感測器及其他硬體來擷取該高解析度影像而不中斷該影像序列擷取過程。 其他缺點包含取決於在產生該最終高解析度影像序列中之該等高解析度影像之頻率及使用率，需要緩衝多重影像。
用於改良一影像序列之品質之另一方法為透過使用具有改良的光靈敏度之一影像感測器。如美國專利第3,971,065號中所描述，許多影像感測器使用配置為熟悉的拜耳(Bayer)圖案之紅色、綠色及藍色濾光片之一組合。作為用於改良在變化的光條件下之影響擷取且用於改良該成像感測器之整體靈敏度之解決方案，已經揭示對該熟悉的拜耳圖案之若干修改。例如，Hamilton等人之標題為「Capturing Images Under Varying Lighting Conditions」之共同讓與美國專利申請公開案第2007/0046807號及Compton等人之標題為「Image Sensor with Improved Light Sensitivity」之公開案第2007/0024931號兩者描述以某種方式交錯組合彩色濾光片與全色濾光片元件之替代感測器配置。在此類型解決方案情況下，該影像感測器之某部分偵測色彩，其他全色部分經最佳化以偵測橫跨對於改良的動態範圍及靈敏度之可見頻帶之光。此等解決方案由此提供一像素圖案，某些像素具有彩色濾光片(提供一窄頻帶光譜回應)而某些像素沒有彩色濾光片(未經過濾之像素或經過濾以提供一寬頻帶光譜回應之像素)。
使用窄光譜頻帶像素回應及寬光頻譜帶像素回應兩者之一組合，影像感測器可在較低光位準下使用或提供較短的曝光持續時間。參見Sato等人在美國專利第4,390,895號、Yamagami等人在美國專利第5,323,233號及Gindele等人在美國專利第6,476,865號中之內容。此等感測器可在低光位準下提供改良的影像品質，但是需要額外的技術來解決對於產生具有改良的空間及時間解析度之影像序列之需要。
在數位成像中，亦期望擷取具有高動態範圍之一影像序列。在攝影及成像中，在照度表達為坎德拉/平方米(cd/m2)之情況下，動態範圍表示兩個照度值之比率。人類視覺可處置之照度範圍係相當大。雖然星光之照度為大約0.001cd/m2，但是一陽光照射的場景之照度為大約100,000cd/m2，其比前者高一億倍。太陽自身之照度為大約1,000,000,000cd/m2。人眼可容納一單一視圖中之大約10,000：1之一動態範圍。一相機之動態範圍係定義為剛好使該相機飽和之強度與剛好使該相機回應提升高於相機雜訊的一個標準差之強度之比率。在今日之大多數市售感測器中，一像素之信號對雜訊的最大比率大約為100：1。此繼而表示該像素之最大動態範圍。
因為大多數數位相機僅能夠擷取一有限的動態範圍(曝光設定決定將擷取整個動態範圍之哪部分)，故高動態範圍影像係通常由在不同曝光位準下進行之相同場景之若干擷取建立。對於排除太陽之大多數白天室外場景，由兩個曝光值隔開之三個曝光係經常足以適當地覆蓋該動態範圍。然而，此方法需要在系列中之擷取之間不變化之一場景。
Jones(US 6,924,841 B2)揭示一種用於藉由擁有具有不同靈敏度之兩個群組像素而擴展一感測器之動態範圍之方法。然而，Jones需要該第一群組像素之靈敏度與該第二群組像素之靈敏度重疊以具有某一共同動態範圍。此方法係不合意，因為不會提供對於現實世界場景之一實質的動態範圍。該方法亦需要具有不同靈敏度之像素的一特殊化感測器。
Kindt等人在美國專利第6,348,681號中揭示一種用於設定若干斷點而使一感測器達到一使用者所選之分段線性傳送功能之方法及電路。
Ando等人在美國專利第7,446,812號中揭示一種使用在一相同圖 框期間之雙重積分週期及讀出以增加一擷取之動態範圍之方法。此方法不利用到達該感測器之每個光子，因為在讀出具有較短積分時間之像素與具有較長積分時間之像素之時間之間，具有較短積分時間之像素不會擷取光子。
因此，存在對產生具有改良的影像品質、空間解析度及時間解析度之一數位影像序列，而不產生空間或時間假影且不需大量記憶體成本、運算成本或硬體成本。
亦存在對自一影像感測器產生一高動態範圍影像而基本上無需增加該感測器中之個別像素的複雜性或組版(composition)。
本發明之目的為自一影像感測器陣列所擷取之像素信號產生一數位影像。該目的係藉由一種用於自一影像感測器陣列所擷取之像素信號產生一數位影像之方法而達成。該方法包括下列步驟：a)提供具有至少兩群組像素之一影像感測器陣列，其中任一群組之像素數目具有不少於產生該數位影像之整個感測器之部分的像素數目的四分之一，且其中各群組像素均勻地分佈在該感測器上；b)將該影像感測器陣列曝光於場景光並僅自第一群組像素讀取像素電荷以產生一第一組像素信號；c)在產生該第一組像素信號之後，使該影像感測器陣列曝光，及然後自第二組像素讀取像素電荷且再次自該第一群組讀取像素以產生一第二組像素信號；及d)使用該第一組像素信號及該第二組像素信號來產生該數位影像。
本發明之一優點在於可產生具有增加的空間解析度、時間解析度及影像品質之彩色影像序列而無需額外的透鏡及影像感測器陣列。
本發明之另一優點在於可產生具有增加的空間解析度、時間解 析度及影像品質之彩色影像序列而無需運算複雜及記憶體密集之演算法。
本發明之另一優點在於可產生具有低空間解析度、高時間解析度、彩色影像之序列與具有高空間解析度、低時間解析度、彩色影像之序列之若干組合而無需額外的透鏡及影像感測器陣列。
本發明之另一優點在於可產生經擴展之動態範圍影像而無需額外的透鏡及影像感測器陣列。
本發明之另一優點在於可使用較低緩衝且無需運算複雜及記憶體密集之演算法而產生經擴展之動態範圍影像。
由對較佳實施例之下列詳細描述及附加申請專利範圍之一審查並參考隨附圖式，將更清楚地理解並瞭解本發明之此種及其他態樣、目的、特徵及優點。
10‧‧‧光
11‧‧‧成像級
12‧‧‧透鏡
13‧‧‧濾光區塊
14‧‧‧虹膜
16‧‧‧感測器區塊
18‧‧‧快門區塊
20‧‧‧影像感測器
22‧‧‧類比信號處理器
24‧‧‧A/D轉換器
26‧‧‧時序產生器
28‧‧‧感測器級
30‧‧‧匯流排
32‧‧‧DSP記憶體
36‧‧‧數位信號處理器
38‧‧‧處理級
40‧‧‧曝光控制器
50‧‧‧系統控制器
52‧‧‧匯流排
54‧‧‧程式記憶體
56‧‧‧系統記憶體
57‧‧‧主機介面
60‧‧‧記憶體卡介面
62‧‧‧插口
64‧‧‧記憶體卡
68‧‧‧使用者介面
70‧‧‧取景器顯示器
72‧‧‧曝光顯示器
74‧‧‧使用者輸入
76‧‧‧狀態顯示器
80‧‧‧視訊編碼器
82‧‧‧顯示控制器
88‧‧‧影像顯示器
100‧‧‧區塊
102‧‧‧區塊
110‧‧‧濾光片透射曲線
112‧‧‧全色光回應曲線
114‧‧‧彩色光回應曲線
116‧‧‧彩色光回應曲線
118‧‧‧彩色光回應曲線
300‧‧‧重設程序
302‧‧‧讀出程序
320‧‧‧像素積分時間
402‧‧‧捲動快門讀取時間
404‧‧‧捲動快門讀取時間
410‧‧‧像素曝光
412‧‧‧像素曝光
414‧‧‧像素曝光
420‧‧‧像素信號
422‧‧‧像素信號
430‧‧‧影像
432‧‧‧影像
434‧‧‧數位影像
436‧‧‧影像
502‧‧‧影像擷取序列
504‧‧‧感測器
506‧‧‧感測器
508‧‧‧影像感測器
510‧‧‧像素信號
512‧‧‧影像處理步驟
514‧‧‧數位影像
516‧‧‧數位影像利用功能
518‧‧‧影像擷取完成查詢
520‧‧‧影像擷取程序終止
522‧‧‧自感測器之下一讀取
602‧‧‧彩色濾光片陣列圖案
604‧‧‧全色像素
606‧‧‧紅色像素
608‧‧‧綠色像素
610‧‧‧藍色像素
701‧‧‧列
702‧‧‧列
704‧‧‧浮動擴散
706‧‧‧像素之四像素組
708‧‧‧讀出組合
710‧‧‧讀出組合
712‧‧‧讀出組合
714‧‧‧讀出組合
802‧‧‧全色像素讀出
804‧‧‧像素讀出及重設
806‧‧‧捲動快門重設時間
808‧‧‧捲動快門重設時間
810‧‧‧全色及彩色像素信號
812‧‧‧像素信號
814‧‧‧全色像素曝光
816‧‧‧全色像素曝光
818‧‧‧彩色像素曝光
902‧‧‧四分之一解析度彩色像素
904‧‧‧感測器解析度全色像素
906‧‧‧數位影像
1002‧‧‧數位影像
1202‧‧‧四分之一解析度彩色影像
1204‧‧‧感測器解析度彩色影像
1206‧‧‧增加取樣區塊
1208‧‧‧感測器解析度增加取樣彩色影像
1210‧‧‧殘留影像形成區塊
1212‧‧‧殘留影像
1302‧‧‧像素讀出及重設
1304‧‧‧彩色像素重設
1306‧‧‧全色像素讀出及重設
1308‧‧‧像素信號
1310‧‧‧全色像素信號
1312‧‧‧彩色像素影像
1314‧‧‧數位影像
1316‧‧‧全色像素曝光
1318‧‧‧全色像素曝光
1320‧‧‧彩色像素曝光
1402‧‧‧像素陣列圖案
1404‧‧‧第一群組像素
1406‧‧‧第二群組像素
1412‧‧‧像素陣列圖案
1414‧‧‧第一群組像素
1416‧‧‧第二群組像素
1418‧‧‧第三群組像素
1420‧‧‧第四群組像素
1502‧‧‧捲動快門讀取時間
1504‧‧‧捲動快門讀取時間
1506‧‧‧捲動快門讀取時間
1510‧‧‧像素信號
1512‧‧‧像素曝光
1515‧‧‧像素曝光
1516‧‧‧像素曝光
1517‧‧‧像素曝光
1518‧‧‧像素曝光
1520‧‧‧像素信號
1522‧‧‧像素信號
1702‧‧‧彩色濾光片陣列圖案
1704‧‧‧第一群組像素
1706‧‧‧第二群組像素
1708‧‧‧第三群組像素
1710‧‧‧第四群組像素
1802‧‧‧像素讀出及重設
1804‧‧‧像素讀出及重設
1806‧‧‧像素讀出及重設
1810‧‧‧像素信號
1812‧‧‧像素曝光
1815‧‧‧像素曝光
1816‧‧‧像素曝光
1817‧‧‧像素曝光
1818‧‧‧像素曝光
1820‧‧‧像素信號
1822‧‧‧像素信號
圖1為一習知數位靜態相機系統之一方塊圖，該習知數位靜態相機系統可使用一習知感測器及處理方法或本發明之感測器及處理方法；圖2(先前技術)為展示一最小重複單元及一非最小重複單元之習知拜耳彩色濾光片之陣列圖案；圖3A及圖3B(先前技術)展示在各種光條件下操作之捲動快門之時序圖；圖4(先前技術)提供紅色、綠色及藍色像素之代表性光譜量子效率曲線以及一較寬光譜全色量子效率曲線，全部乘以一紅外光截止濾光片之透射特性；圖5繪示本發明之一實施例之一時序圖；圖6為展示本發明之一實施例之一流程圖；圖7(先前技術)為展示含有全色及彩色像素之一例示彩色濾光片 陣列圖案之一圖表；圖8(先前技術)為展示如何可使鄰近列中之像素併像在一起從而分享相同浮動擴散組件之一示意圖；圖9為展示對於本發明之一實施例中之全色及彩色像素之捲動快門操作之一時序圖；圖10為展示自全色像素之讀出及自經併像之全色像素及經併像之彩色像素之讀出產生處於該感測器之近似空間解析度下之數位影像之一圖表；圖11為展示自全色像素之讀出及自經併像之全色像素及經併像之彩色像素之讀出產生處於該感測器之大約一半水平及一半垂直空間解析度下之數位影像之一圖表；圖12為展示自全色像素之讀出及自經併像之全色像素及經併像之彩色像素之讀出產生處於該感測器之大約一半水平及一半垂直空間解析度下之數位影像以及處於該感測器之近似空間解析度下之數位影像之一圖表；圖13為展示產生一殘留影像之一流程圖；圖14為展示自經併像之全色像素之讀出及自經併像在一起之全色及彩色像素之讀出產生處於該感測器之大約一半水平及一半垂直空間解析度下之數位影像之一圖表；圖15為展示含有全色像素之一例示彩色濾光片陣列圖案之一圖表；圖16為展示自對全色像素之讀出產生數位影像之一圖表；圖17為展示含有全色像素之一例示彩色濾光片陣列圖案之一圖表；圖18為展示產生本發明之一經擴展動態範圍實施例中之全色像素之數位影像之一圖表； 圖19為展示含有全色像素及彩色像素之一例示彩色濾光片陣列圖案之一圖表；及圖20為展示對於本發明之一實施例中之全色像素之捲動快門操作之一時序圖。
因為使用成像裝置及相關電路用於信號擷取及校正且用於曝光控制之數位相機係為人熟知，故本描述將尤其關於形成根據本發明之方法及裝置之部分或更直接地與根據本發明之方法及裝置協作的元件。本文未具體展示或描述之元件係選自該項技術中已知的元件。待描述之實施例之某些態樣係以軟體提供。給出如在下列材料中根據本發明所展示並描述之系統，本文未具體展示、描述或建議而對於本發明之實施方案有用之軟體係習知且在此等技術中之一般技術內。
現在轉到圖1，其展示作為體現本發明之一數位相機而展示之一影像擷取裝置之一方塊圖。雖然現在將解釋一數位相機，但是本發明顯然適用於其他類型影像擷取裝置，(例如)諸如含於非相機裝置(諸如行動電話及機動車)中之成像子系統。將來自主體場景之光10輸入至一成像級11，其中藉由透鏡12聚焦該光以在固態影像感測器20上形成一影像。影像感測器20藉由對各圖像元素(像素)整合電荷而將入射光轉換為一電信號。較佳實施例之影像感測器20為一電荷耦合裝置(CCD)類型或一主動像素感測器(APS)類型。(經常將APS裝置稱為CMOS感測器，因為在一互補金屬氧化物半導體製程中製造其等之能力)。該感測器包含如隨後更詳細描述之一彩色濾光片配置。
到達該感測器20之光量係由改變孔徑之一虹膜區塊14及包含插入於光學路徑中之一個或一個以上中性密度(ND)濾光片之中性密度(ND)濾光片區塊13所調節。快門區塊18處於開放之時間亦調節整體的光位準。曝光控制器區塊40回應於如由亮度感測器區塊16所計量之在 場景中可用之光量並控制全部三個此等調節功能。
來自影像感測器20之類比信號係由類比信號處理器22所處理並被施加至類比轉數位(A/D)轉換器24以數位化該等感測器信號。時序產生器26產生各種時脈信號來選擇列及像素，並使類比信號處理器22與A/D轉換器24之操作同步。影像感測器級28包含該影像感測器20、該類比信號處理器22、該A/D轉換器24及該時序產生器26。影像感測器級28之功能元件為經單獨製造之積體電路，或可將其等製造為如通常使用CMOS影像感測器所做之一單一積體電路。將自A/D轉換器24得到之數位像素值串流儲存在與數位信號處理器(DSP)36相關之記憶體32中。
除系統控制器50及曝光控制器40以外，數位信號處理器36亦係此實施例中之三個處理器或控制器之一者。雖然在多重控制器及處理器之間的此相機功能控制分散係典型，但是此等控制器或處理器係以各種方式組合而不影響該相機之功能操作及本發明之應用。此等控制器或處理器可包括一個或一個以上數位信號處理器裝置、微控制器、可程式化邏輯裝置或其他數位邏輯電路。雖然已經描述此等控制器或處理器之一組合，但是應為明顯的是，一個控制器或處理器經派定以執行全部所需之功能。所有此等變更可執行相同的功能且落在本發明之範圍內，且用語「處理級」將視需要被用於涵蓋在一個短語內此功能之全部，例如在圖1中之處理級38中。
在該所繪示之實施例中，DSP 36根據永久地儲存在程式記憶體54中並在影像擷取期間複製到記憶體32供執行之一軟體程式操縱在其之記憶體32中之數位影像資料。DSP 36執行實踐圖18中所示之影像處理所需之軟體。記憶體32包含任意類型隨機存取記憶體，諸如SDRAM。包括對於位址及資料信號之一路徑之一匯流排30將DSP 36連接至與其相關的記憶體32、A/D轉換器24及其他相關的裝置。
系統控制器50基於儲存在程式記憶體54中之一軟體程式控制該相機之整體操作，該程式記憶體54可包含快閃EEPROM或其他非揮發性記憶體。此記憶體亦可用於儲存影像感測器校準資料、使用者設定選擇及在該相機關閉時必須保存之其他資料。藉由引導曝光控制器40來操作如先前所述之透鏡12、ND濾光器13、虹膜14及快門18，引導時序產生器26來操作影像感測器20及相關元件，且引導DSP 36來處理所擷取之影像資料，系統控制器50控制影像擷取序列。在擷取並處理一影像之後，經由介面57將儲存在記憶體32中之最終的影像檔案傳送至一主機電腦，將影像檔案儲存在一可卸除式記憶體卡64或其他儲存裝置上，並為該使用者顯示在影像顯示器88上。
一匯流排52包含對於位址信號、資料信號及控制信號之一路徑，並將系統控制器50連接至DSP 36、程式記憶體54、系統記憶體56、主機介面57、記憶體卡介面60及其他相關裝置。主機介面57提供至一個入電腦(PC)或其他主機電腦之一高速連接以傳送用於顯示、儲存、操縱或列印之影像資料。此介面為一IEEE1394或USB2.0串列介面或任意其他適當的數位介面。記憶體卡64通常為插入於插口62中並經由記憶體卡介面60連接至系統控制器50之一緊密快閃(CF)記憶體卡。所利用之其他類型儲存包含而不限於PC卡、多媒體卡(MMC)或安全數位(SD)卡。
將經處理之影像複製到系統記憶體56中之一顯示緩衝器，並經由視訊編碼器80連續地讀出以產生一視訊信號。自該相機直接輸出此信號用於顯示在一外部監視器上，或由顯示控制器82處理並呈現在影像顯示器88上。此顯示器通常為一主動矩陣彩色液晶顯示器(LCD)，雖然亦使用其他類型顯示器。
使用者介面68(包含取景顯示器70、曝光顯示器72、狀態顯示器76及影像顯示器88及使用者輸入74之全部或任意組合)係由在曝光控 制器40及系統控制器50上執行之軟體程式之一組合所控制。使用者輸入74通常包含按鈕、搖桿開關、操縱桿、旋轉式撥號盤或觸控螢幕之某一組合。曝光控制器40操作光計量、曝光模式、自動聚焦及其他曝光功能。系統控制器50管理呈現在該等顯示器之一者或多者(例如呈現在影像顯示器88上)之圖形使用者介面(GUI)。該GUI通常包含用於做各種可選選擇之選單及用於檢查所擷取影像之檢視模式。
曝光控制器40接受選擇曝光模式、透鏡孔徑、曝光時間(快門速度)及曝光指數或ISO速度評等(speed rating)之使用者輸入，並相應地引導該透鏡及快門用於隨後之擷取。亮度感測器16係用於量測場景之亮度並提供在手動地設定該ISO速度評等、孔徑及快門速度時供使用者參照之一曝光計量功能。在此情況下，隨著使用者改變一個或一個以上設定，呈現在取景顯示器70上之光計量指示符告訴使用者在什麽程度上該影像將曝光過度或曝光不足。在一自動曝光模式下，使用者改變一個設定，則該曝光控制器40自動地改變另一設定以維持正確的曝光，例如對於一給定的ISO速度評等，當使用者減小透鏡孔徑時，該曝光控制器40自動地增加曝光時間以維持相同之整體曝光。
ISO速度評等為一數位靜態相機之一重要屬性。曝光時間、透鏡孔徑、透鏡透射率、場景照明之位準與光譜分佈以及場景反射率決定一數位靜態相機之曝光位準。當使用一不充足的曝光自一數位靜態相機獲得一影像時，藉由增加電子或數位增益可大體上維持合適的色調重現，但是該影像會含有一不可接受的雜訊量。因為增加曝光，增益減小，且因此通常可將該影像雜訊減小到一可接受的位準。若過分增加曝光，則在該影像之明亮區域中得到之信號可超過該影像感測器或相機信號處理之最大信號位準容量。此可導致影像最明亮部分經裁剪以形成一均勻明亮的區域，或輝散至該影像之周圍區域中。重要的是指引使用者設定合適曝光。欲將一ISO速度評等用作為此一指引。為 了容易被攝影師所理解，一數位靜態相機之ISO速度評等應直接關於照相軟片相機之ISO速度評等。例如，若一數位靜態相機具有ISO 200之一ISO速度評等，則對於一標為ISO 200之軟片/處理系統，相同的曝光時間及孔徑應為合適。
欲使ISO速度評等與軟片ISO速度評等協調。然而，電子成像系統與排除精確等效性之基於軟片的成像系統之間存在差異。數位靜態相機可包含可變增益，且可在已經擷取影像資料之後提供數位處理，從而達到遍及一相機曝光範圍之色調重現。由於此靈活性，數位靜態相機可具有一速度評等範圍。此範圍係定義為ISO速度寬容度。為防止混淆，將一單一值派定為固有的ISO速度評等，而ISO速度寬容度上限及下限指示速度範圍，亦即包含與固有的ISO速度評等不同之有效速度評等之一範圍。將此銘記在心，該固有的ISO速度為由在一數位靜態相機之聚焦平面處提供以產生指定的相機輸出信號特性之曝光所計算之一數字值。該固有速度通常為產生對於正常場景之一給定相機系統之峰值影像品質之曝光指數值，其中該曝光指數為與提供至該影像感測器之曝光成反比例之一數字值。
熟習此項技術者將熟悉以上對一數位相機之描述。將為明顯的是，存在可經選擇以降低成本，增加特徵或改良相機效能之此實施例之許多變更。例如，添加一自動聚焦系統，或該透鏡係可卸離及可互換。應瞭解，本發明適用於任意類型數位相機或(更一般言之)數位影像擷取裝置，其中替代模組提供類似的功能。
給出圖1之例示性實例，下列描述然後將詳細描述用於根據本發明擷取一影像序列之此相機之操作。在下列描述中每當一般地參考一影像感測器，應將其理解為代表來自圖1之影像感測器20。圖1中所顯示之影像感測器20通常包含在一矽基板上製造而將各像素處之入射光轉換為一經量測之電信號之光靈敏像素之二維陣列。在一影像感測器 背景下，一像素(「圖像元素」之一縮寫)指代一離散光感測區域及與該光感測區域相關之電荷移位或電荷量測電路。在一數位彩色影像之背景下，用語像素通常指代具有相關聯色彩值之該影像中之一特定位置。用語彩色像素將指代具有遍及一相對窄的光譜頻帶之一彩色光回應之一像素。用語曝光持續時間及曝光時間係可互換地使用。
隨著使感測器20曝光於光，在各像素處之電子結構內產生並擷取自由電子。持續某一時間週期擷取此等自由電子且然後量測所擷取之電子數目或量測產生自由電子之速率可量測各像素處之光位準。在前一種情況下，經累積之電荷移出該像素陣列至如在一電容耦合裝置(CCD)中之一電荷至電壓量測電路，或接近各像素之區域可含有如在一主動像素感測器(APS或CMOS感測器)中之一電荷至電壓量測電路之若干元件。
為了產生一彩色影像，一影像感測器中之像素陣列通常具有置於其等之上的彩色濾光片之一圖案。圖2展示常用的紅色(R)、綠色(G)及藍色(B)濾光片之一圖案。通常將此特定圖案稱為以其之發明者布萊斯拜耳(Bryce Bayer)命名之一拜耳彩色濾光片陣列(CFA)，如美國專利第3,971,065號中所揭示。在具有二維彩色像素陣列之影像感測器中有效地使用此圖案。因此，各像素具有一特定色彩光回應，在此情況下，此係對於紅色、綠色或藍色光之一主導靈敏度。另一種有用的色彩光回應為對洋紅色(magenta)、黃色或青色光之一主導靈敏度。在各情況下，該特定色彩光回應具有對可見光譜之某些部分之高度靈敏度，而同時具有對可見光譜之其他部分之低靈敏度。
一最小重複單元為使得無其他重複單元具有更少像素的一重複單元。例如，圖2中之CFA包含如由圖2中之像素方塊100所示之兩個像素乘兩個像素之一最小重複單元，可將其表示為：G R
B G
此最小重複單元之多重複本經磚塊式排列以覆蓋一影像感測器中之整個像素陣列。以在左上角落中之一綠色像素展示該最小重複單元，但是藉由移動粗外框區域，將一個像素移到右邊，將一個像素向下移動，或將一個像素對角地移到右下，可容易辨別三個替代最小重複單元。雖然像素方塊102為一重複單元，但其不是一最小重複單元，因為像素方塊100為一重複單元而方塊100具有小於方塊102之像素。
使用具有含圖2之CFA之二維陣列的一影像感測器所擷取之一影像僅具有在各像素處之一色彩值。為了產生一全色影像，存在用於推斷或內插各像素處之缺失色彩之許多技術。此等CFA內插技術係在此項技術中為人熟知且參考下列專利：美國專利第5,506,619號、美國專利第5,629,734號及美國專利第5,652,621號。
影像感測器20之各像素具有光偵測器及用於讀出像素信號之主動電晶體電路兩者。該影像感測器陣列中之各像素之光偵測器藉由光電效應將撞擊在該像素上之光子轉換為一電荷。在足夠長以收集一可偵測之電荷量但是足夠短以避免使儲存元件飽和之一時間週期期間整合電荷。此整合時間週期類似於一軟片曝光時間(亦即快門速度)。
影像擷取之時序可遵循兩種基本圖案之一種。在一全域擷取序列中，同時簡單地讀取全部影像像素。然而，此類型序列需要相當高的裝置複雜性且可為不利，因為其該感測器晶片上用於光子接收之空間量受到約束。替代地，已經採納逐列式讀取方法，且其經常為讀取CMOS APS像素之較佳模式。
在一CMOS APS裝置之影像感測器陣列中，該整合時間為介於一給定列之一重設與對該列之一隨後讀取之間的時間。因為一次僅可選擇一列，故該重設/讀取常式係循序(亦即逐列式)。將此讀取技術稱為
一「捲動電子快門」，或更簡單地稱為「捲動快門」模式且在成像技術中係為人熟知。Yadid-Pecht等人之標題為「Image Sensor Producing at Least Two Integration Times from Each Sensing Pixel」之美國專利第6,115,065號及Krymski等人之標題為「Look-Ahead Rolling Shutter System in CMOS Sensors」之美國專利第6,809,766號中給出對捲動快門時間序列之變動之少數實例。讀取序列之快門寬度為介於整合啟用與讀出之間的時間。此可取決於具有相同整合時間之鄰近像素數量而具有可變大小。一次讀取一列或一列以上之該快門寬度亦可藉由一固定值予以調整，以控制一感測器陣列之一經曝光區域之增益。作為一種用於捲動快門序列之方法，將一重設指標編索引在一讀取指標之前等於該快門寬度之一量。該兩個指標之間的時間差異對應於該像素整合時間。如上所述，該快門寬度完全類似於一機械聚焦平面快門之兩個窗之間的實體開放之寬度。在下文中，用語曝光持續時間將用於對應該整合時間。
圖3A展示如習知地用於相對良好照明條件下之捲動快門模式之一時序序列。橫座標(x軸)表示時間。縱座標(y軸)表示該影像感測器之被讀出的列。各實斜線302表示從最高編號列開始並且進行至最低編號列循序地讀出該影像感測器之全部列。(或者，表示讀出之線條可從左到右向上傾斜以指示從最低編號列到最高編號列讀出該等列)。各虛線300表示再次從最高編號列開始並且進行至最低編號列循序地重設該影像感測器之全部列，而使整個重設程序需要與讀出程序恰好相同的時間。一重設程序300與其之即刻跟隨的讀出程序302之間的延遲為該等像素320之整合時間，如由實箭頭所指示。注意，對於每一列讀出，整合時間係恆定，但是各列之整合週期係關於前面列及後面列時間移位。
如可從圖3A之時序圖看到，此簡單捲動快門序列允許尤其介於 一讀取302與其之即刻跟隨的重設300之間的週期(在該週期期間未獲得光子)。雖然在良好照明下此可為可接受，但是在弱光條件下，此配置不可良好地執行。此係因為隨著光強度減小，可需要更長的像素整合時間。圖3B之時序圖展示對於弱光條件之一時序序列，其中在讀取302之後即刻執行重設300或重設300與讀取302同時執行。因此，該像素整合時間320已經增加以填充連續讀取之間的時間且浪費非常少的光子。
然而，即使採納捲動快門技術，有效率地讀取該影像感測器之任務仍然具有其之缺點。剪力運動假影為一類型問題。場景(或該場景之元素)與影像感測器之間的相對運動導致該場景中之物件在該影像感測器所擷取之影像中表現為扭曲。稱為影像「剪力」之此效應係捲動快門配置之特性。例如，若此一所謂之捲動快門或電子聚焦平面快門影像感測器係用於擷取水平移動之一小汽車之一影像，則隨著曝光並讀出該所擷取影像之各列，該小汽車相對於該影像感測器移動，故該所擷取影像之各列展示該小汽車處於一不同位置處。此可導致該小汽車之圓形輪胎表現為橢圓，且該小汽車之矩形窗表現為平行四邊形。此扭曲為讀出該影像感測器之全部列所需之時間量的一直接後果。仍然可改良弱光效能而影像動態範圍可仍然比所期望之範圍小。
已經提出之一類型解決方案為使用感測器陣列像素之某一部分作為全色像素。例如，Compton等人之標題為「Image Sensor with Improved Light Sensitivity」之共同讓與美國專利申請案第2007/0024931號揭示具有彩色及全色像素兩者之一影像感測器。在本揭示內容之背景下，用語全色像素指代具有一大體上全色光回應之一像素，全色像素具有比在所選組的色彩光回應中表示之較窄光譜靈敏度更寬的一光譜靈敏度。亦即，一全色像素可具有對跨於整個可見光譜之光的高度靈敏度。雖然該等全色像素通常具有比該組色彩光回應 更寬的一光譜靈敏度，但是各全色像素亦可具有一相關的濾光片。此種濾光片可為一中性密度濾光片或一彩色或頻寬濾光片。
參考圖4之圖表，其展示在一典型相機應用中具有紅色、綠色及藍色濾光片之像素的相對光譜靈敏度。圖4中之X軸表示以奈米為單位之光波長，波長大約自接近紫外橫跨至接近紅外光，且Y軸表示效率(經正規化)。圖4中，曲線110表示用於阻擋紅外光及紫外光到達影像感測器之一典型頻寬濾光片之光譜透射特性。需要此一濾光片，因為用於影像感測器之該等彩色濾光片通常不阻擋紅外光，因此該等像素可為不能區分紅外光與在與其等相關之彩色濾光片之通頻帶內之光。曲線110所展示之紅外光阻擋特性由此防止紅外光使可見光信號訛誤。將應用紅色、綠色及藍色濾光片之一典型矽感測器之光譜量子效率(亦即被擷取並被轉換為一可量測電信號之入射光子的比例)乘以曲線110所表示之紅外光阻擋濾光片之光譜透射特性以產生由對於紅色之曲線114，對於綠色之曲線116及對於藍色之曲線118所表示之經組合系統之量子效率。應從此等曲線瞭解，各色彩之光子回應僅對可見光譜之一部分靈敏。相比而言，曲線112展示不應用彩色濾光片(但是包含紅外光阻擋濾光片特性)之相同矽感測器之光子回應，此為一全色光子回應之一實例。藉由比較色彩光子回應曲線114、116及118與全色光子回應曲線112，顯然該全色光子回應可比該等色彩光子回應之任一者對寬光譜光更靈敏三倍至四倍。
在捲動快門模式下，通常如圖3A及圖3B中所繪示讀取影像序列。讀取整個影像感測器且此構成該影像序列中之一影像。隨後，再次讀取整個影像感測器且此構成該影像序列中之下一影像。或者，如美國專利申請案第11/780,523號中所述，將影像感測器劃分為分開式子集，且以某一相對順序讀取此等子集。
圖5展示本發明之一較佳實施例之捲動快門模式之一時序序列， 其中一影像感測器陣列具有至少兩群組像素，其中任一群組之像素數量具有不少於產生該數位影像之整個感測器之部分的像素數量之四分之一，且其中各群組之像素係均勻地分佈在該感測器上。404所給出之捲動快門讀取時間表示對該影像感測器之全部像素之像素信號422之一讀出，其中可個別地讀出一第一群組像素(X1)及一第二群組像素(X2)或對一第一群組像素(X1)及一第二群組像素(X2)併像。在讀取該等像素之後，可重設404該等像素。根據402所給出之捲動快門讀取時間讀出並重設該X1像素。線條410展示各X1像素之整體曝光，其表示介於重設並讀取該影像感測器之各列之該等X1像素之間的時間。像素信號420表示全部該等X1像素之一讀出。該讀取圖案在此階段重複，因為接著根據404所給出之捲動快門讀取時間讀出整個影像感測器。已經一次以上讀出該等X1像素。在404處之某些像素讀出具有線條412所給出之一較短曝光，而其他像素具有線條414所給出之一較長曝光。因此，可利用可到達該感測器之每個光子。
熟習此項技術者將認識，存在對本發明之許多替代方法。可對該等像素併像或個別地讀出該等像素。可使用兩群組以上像素以具有多重曝光時間。任一群組像素之讀出程序與重設程序之間可存在一延遲。下列較佳實施例將詳述此等替代方法之某些方法。
圖6為本發明之一較佳實施例之一高階流程圖。最初，諸如圖1中所描述之一數位相機藉由將影像感測器陣列20曝光於場景光而初始化一影像擷取序列502。圖1中之影像感測器級28控制選擇及讀取像素程序。透過類比信號處理器22自感測器504讀取第一時間像素信號，該等第一時間像素信號產生一第一組像素信號510。該第一組像素信號510可來自該第一群組像素，或該第一組像素信號510可來自該第一群組像素及該第二群組像素。若該第一讀取為該第一群組像素，則自感測器506讀取該第一群組像素之全部。若該第一讀取為該第一群組 像素及該第二群組像素，則讀取該第二群組像素之全部且自影像感測器508讀取該第一群組像素。繼續使該影像感測器曝光直到終止該擷取程序。對於自該感測器之隨後讀出，該讀出程序以與該第一讀取類似之一方式繼續。例如，自該感測器讀取第二時間像素信號，該等第二時間像素信號產生一第二組像素信號510。該第二組像素信號510可來自該第一群組像素或來自該第一群組像素及該第二群組像素。若該第二讀取係來自該第一群組像素，則再次自感測器506讀取全部第一群組像素。若該第二讀取係來自該第一群組像素及該第二群組像素，則讀取該第二群組像素之全部且再次自影像感測器508讀取該第一群組像素。
在自該感測器讀取該等像素信號510之後，一影像處理步驟512對可用之像素信號操作以產生一數位影像514。圖1中之數位信號處理器36可執行此處理。該影像處理步驟512可利用來自當前讀出之像素信號以及來自先前感測器讀出之在記憶體32中緩衝之資料。所產生之該數位影像514可對應於該當前感測器讀出，或一先前感測器讀出，或當前與先前感測器讀出之任意組合。相對於自一給定感測器讀出所獲得之像素信號，該數位影像514可具有更高的空間解析度、改良的影像品質、改良的色彩資訊或其他增強。數位影像序列亦可具有比藉由讀取處於目標空間解析度下之感測器而簡單可達成之時間解析度更高的時間解析度。將該數位影像514傳至一數位影像利用功能516。數位影像利用功能可表示一編碼程序，藉由該程序將該數位影像514編碼為一視訊位元串流。數位影像利用功能可表示一顯示功能，藉由該功能在一顯示器上產生該數位影像514。數位影像利用功能可表示一列印功能，藉由該功能列印該數位影像514。數位影像利用功能亦可表示一分享功能，藉由該功能與其他裝置分享該數位影像514。以上所提及的(方法)為可如何利用該數位影像514之實例，且無限制。
若完成該影像擷取序列518，則終止該擷取程序520。否則，該擷取程序評估自感測器522之下一讀取是否為第一群組像素或第一群組像素及第二群組像素，且重複讀出並處理迴圈直到完成該擷取程序。
該所提出之發明能夠與具有任意彩色濾光片陣列圖案之一影像感測器一起使用。該所提出之發明亦能夠與僅使用全色像素之一影像感測器一起使用。然而，在一較佳實施例中，該影像感測器具有全色像素及彩色像素兩者。全色像素為該第一群組像素，且彩色像素為該第二群組像素。在該所提出之發明中，藉由交替地讀取全部全色像素及讀取彩色像素及再次讀取該等全色像素而擷取一影像序列。
關於圖7中所繪示之彩色濾光片陣列圖案描述本發明之方法。圖7繪示本發明之一較佳實施例之一例示彩色濾光片陣列圖案602。在此實例中，大約一半像素為全色604，而另一半為在紅色(R)606、綠色(G)608及藍色(B)610當中分裂的彩色像素。該彩色濾光片陣列圖案602具有一最小重複單元，該最小重複單元含有下列4乘4陣列中之16個像素：P G P R
G P R P
P B P G
B P G P。
熟習此項技術者將認識，在本發明之範圍內，其他彩色濾光片陣列組態及最小重複單元係可能。
可組合若干像素，且可讀出此等經組合像素。在一較佳實施例中，透過像素併像而達到像素組合。如圖8中所繪示，可在讀出該影像感測器期間使用各種像素併像方案。圖8中展示一影像感測器之兩個部分列701、702。在此實例中，一感測器陣列之下伏讀出電路使用 可切換地一次連接至一個或一個以上周圍像素之一浮動擴散704。對於熟習此項數位影像擷取技術者，浮動擴散之實施方案及使用係為人熟知。圖8展示一習知配置，其中各浮動擴散704服務四個周圍像素，在一實例中該四個周圍像素展示為一個四像素組706。
可將像素信號切換至處於許多組合之任一組合中之浮動擴散704。在一讀出組合708中，在四像素組706中之各像素使其之電荷單獨地傳送至浮動擴散704，且由此個別地予以讀取。在一讀出組合710中，併像全色像素P，亦即藉由同時將其等所儲存之電荷清空至浮動擴散704而分享浮動擴散704；類似地，併像該四像素組中之兩個彩色(G)像素，同時將其等之信號切換至浮動擴散704。在此併像方案中，全色像素係僅與其他全色像素組合，且彩色像素係僅與其他彩色像素組合。在另一讀出組合712中，未併像全色像素P而是單獨地予以讀取，此處併像彩色像素(G)。在另一讀出組合714中，同時併像連接至該給定浮動擴散單元之全部四個像素。在此併像方案中，全色像素係與彩色像素及其他全色像素兩者組合。彩色像素係與全色像素及其他彩色像素兩者組合。
圖9繪示根據本發明之一較佳實施例之一影像感測器之讀出圖案。此圖係基於具有圖7中所示之彩色濾光片陣列圖案之一影像感測器並利用一捲動快門讀出。圖9中展示像素信號之若干連續讀出。此像素信號集合表示一整個影像擷取程序之一部分。該整個影像擷取程序可含有對在沿著時間軸之任一方向上延伸之像素信號之額外讀出。讀出804表示對應於彩色像素與全色像素之一組合之該影像感測器之全部像素之一讀出。對於連接至一浮動擴散單元之像素之各四像素組，併像兩個彩色像素並讀取為一單一值。亦單獨地併像兩個全色像素並讀取為一單一值。當組合時，其等給出對應於一經併像全色/經併像彩色讀出之像素信號810。在讀取該等像素之後，可重設該等像 素804。在該感測器讀出進程期間，存取各浮動擴散單元兩次。
亦根據806所給出之捲動快門重設時間重設該等彩色像素。根據802所給出之捲動快門時間讀出並重設該等全色像素。線條814展示各全色像素之整體曝光，其表示介於該影像感測器之各列之全色像素的重設與讀取之間的時間。無需任意併像而讀出該等全色像素以產生像素信號812，使得在該等全色像素之整體讀出期間存取各浮動擴散單元兩次。因此，對全色像素802之讀出及對全色像素與彩色像素804之一組合之讀出具有相同的讀出速率及相同的運動剪力屬性。此設計不但對於運動剪力有利，而且對於最小化未使用之光同時維持對全部全色像素之相等的曝光持續時間以及對全部彩色像素之相等的曝光持續時間有利。
根據808所給出之捲動快門重設時間再次重設該等全色像素。該讀取圖案在此階段重複，因為接著根據804所給出之捲動快門讀取時間讀出整個影像感測器。在804處之該等全色像素讀出具有816所給出之一較短曝光，而該等彩色像素具有818所給出之一較長曝光。於2008年10月25日申請之美國專利申請案第12/258,389號描述用於組合具有相對較短曝光之全色像素與具有相對較長曝光之彩色像素之技術，該案以引用方式含於本文中。
在圖9中，在一未經併像讀出之前，使該等全色像素曝光持續與其等在一經併像讀出之前所曝光之持續時間不同的一持續時間。特定言之，在一經併像讀出之前，使該等全色像素曝光持續其等在一未經併像讀出之前所曝光之持續時間之大約一半之持續時間。此為本發明之一有利特徵，因為該等全色像素信號經曝光平衡，使得不管在一較短曝光持續時間下經併像或是在一較長曝光持續時間下未經併像，自對應於該等全色像素之該浮動擴散單元讀取之電荷近似相等。
在圖9中，在一全色像素讀出之前的全色像素之曝光與在彩色像 素之隨後讀出之前的彩色像素之曝光部分重疊。
圖10更詳細地描述一種在完成對像素信號之各次讀出之後之影像處理512方法。可自此初始彩色濾光片陣列資料對係為經併像彩色像素及經併像全色像素之一組合之像素信號810色彩內插，以產生四分之一解析度之彩色影像902。全色像素信號812可經空間內插以產生感測器解析度全色影像904。對應於各次讀出而產生處於該影像感測器之空間解析度下之一數位影像906。對應於全色像素信號812之讀出，使用來自該感測器解析度之全色影像904之資料以及來自全色及彩色像素信號810之先前及隨後讀出之四分之一解析度之彩色影像902而產生一感測器解析度的數位影像906。對應於係為全色及彩色像素信號810之一組合之讀出，使用來自該四分之一解析度之彩色影像902之資料以及來自全色像素信號812之先前及隨後讀出之感測器解析度之全色影像904而產生一感測器解析度的數位影像906。此方案需要某些緩衝。在各數位影像906之形成中使用三次讀出。
該所提出之發明允許產生具有高空間解析度、高時間解析度及高影像品質之數位影像906之一影像序列。對於根據先前方法之影像序列擷取，藉由重複讀取整個感測器而產生具有高空間解析度之一影像序列。讀出整個感測器所需之時間比讀出經併像之全色及經併像之彩色像素信號810或全色像素信號812所需之時間更長。因此，此一影像序列之時間解析度(亦即圖框速率)低於使用該所提出發明所達到的時間解析度。
圖11更詳細地描述在完成對像素信號之各次讀出之後之另一種影像處理512方法。可自此初始彩色濾光片陣列資料對係為經併像之彩色像素及經併像之全色像素之一組合之像素信號810色彩內插，以產生四分之一解析度之彩色影像902。全色像素信號812可經空間內插以產生感測器解析度之全色影像904。對應於各次讀出而產生處於該感 測器之空間解析度之四分之一(一半的水平解析度及一半的垂直解析度)的一數位影像1002。對應於全色像素信號812，使用來自該感測器解析度之全色影像904之資料以及來自全色及彩色像素信號之先前及隨後讀出之四分之一解析度之彩色影像902而產生一經增強之四分之一解析度的數位影像1002。對應於係為全色及彩色像素信號810之一組合之讀出，使用來自該四分之一解析度之彩色影像902之資料以及來自先前及隨後之全色像素信號812之感測器解析度之全色影像904而產生一經增強之四分之一解析度的數位影像1002。此方案需要某些緩衝。在各數位影像1002之形成中使用三次讀出。
該所提出之發明允許產生具有改良的空間解析度、高時間解析度及高影像品質之數位影像1002之一影像序列。對於根據先前方法之影像序列擷取，可藉由重複併像或子取樣並讀取該感測器而產生四分之一解析度影像之一影像序列。為了讀出處於一高時間解析度下之影像序列，將各次讀出併像或子取樣為該感測器之解析度之四分之一。因此，該影像序列之空間解析度受到限制。在該所提出之發明中，對全色像素信號812之讀出具有該感測器之空間解析度，且由此可維持該數位影像1002中之改良的高空間頻率資訊。另外，在該所提出之方法中，彩色像素可具有比圖框速率之倒數更長之曝光持續時間。在根據先前方法之影像序列擷取中，此係不可能，因為各次讀出均為一全感測器讀出。經延長之彩色像素曝光持續時間允許獲得彩色像素之改良的信雜比，並且改良該等數位影像之整體影像品質。
圖12更詳細地描述在完成對像素信號之各次讀出之後的另一種影像處理512之方法。可自此初始彩色濾光片陣列資料對係為經併像之彩色像素及經併像之全色像素之一組合之像素信號810色彩內插，以產生四分之一解析度之彩色影像902。全色像素信號812可經空間內插以產生感測器解析度之全色影像904。對應於全色像素信號812，使 用來自該感測器解析度之全色影像904之資料以及來自全色及彩色像素信號810之先前及隨後讀出之四分之一解析度之彩色影像902而產生一經增強之四分之一解析度(一半的水平空間解析度，一半的垂直空間解析度)的數位影像1002以及一經增強之感測器解析度的數位影像906兩者。對應於全色及彩色像素信號810之讀出，使用來自該四分之一解析度之彩色影像902之資料以及來自先前及隨後之全色像素信號812之感測器解析度之全色影像904而產生一經增強之四分之一解析度的數位影像1002。此方案需要某些緩衝。在各四分之一解析度之數位影像906或感測器解析度之數位影像1002之形成中使用三次讀出。
該所提出之發明允許同時產生一低空間解析度、高圖框速率影像序列以及一高空間解析度、低圖框速率影像序列。因此，有可能同時擷取一低解析度影像序列與一高解析度、高品質的靜態影像兩者。用於同時擷取一影像序列與一靜態影像之先前解決方案通常需要額外的硬體，或必須中斷該影像序列擷取以獲取該靜態影像。
對於圖12中所描述之影像處理512，存在如何處理數位影像514之多重選擇。在一方法中，將該等四分之一解析度之彩色影像902處理為一第一序列，並將該等感測器解析度之彩色影像處理為一獨立的第二序列，且將該兩個序列儲存為單獨序列。圖13繪示用於處置該四分之一解析度及感測器解析度之數位影像514之一替代方法。在一增加取樣方塊1206中對一個四分之一解析度之彩色影像1202增加取樣，以產生一感測器解析度之增加取樣的彩色影像1208。藉由自該感測器解析度之彩色影像1204減掉感測器解析度之增加取樣的彩色影像1208而在一殘留影像形成方塊1210中形成一殘留影像1212。儲存此殘留影像1212以及該四分之一解析度之彩色影像1202。可單獨地或組合儲存該兩個影像。在一實例中，可使用一壓縮語法及檔案格式(諸如JPEG壓縮標準及TIFF檔案格式)儲存四分之一解析度之彩色影像1202，並 可將該殘留影像1212儲存為該檔案內之元資料。在另一實例中，可使用一壓縮語法及檔案格式(諸如MPEG壓縮標準及Quicktime.MOV檔案格式)儲存四分之一解析度之彩色影像1202，並可將該殘留影像1212儲存為該檔案內之元資料。檔案閱讀器可忽略該元資料而僅編碼該四分之一解析度之彩色影像。智慧檔案閱讀器亦可提取元資料並重新建構該等感測器解析度之彩色影像。
圖14繪示根據本發明之另一較佳實施例之一影像感測器之讀出圖案及影像產生。此圖式係基於具有圖7中所示之彩色濾光片圖案並且利用一捲動快門讀出之一影像感測器。圖14中展示若干連續讀出。此像素信號集合表示一整個影像擷取程序之一部分。該整個影像擷取程序可含有對在沿著時間軸之任一方向上延伸之像素信號之額外讀出。讀出1302表示對應於彩色像素及全色像素之一組合之該影像感測器之全部像素之一讀出。對於連接至一浮動擴散單元之像素之各四像素組，併像該兩個彩色像素及兩個全色像素並且讀取為一單一值。當組合時，其等產生具有一經稀釋拜耳圖案之像素信號1308。在讀取該等像素之後，亦在1302處重設該等像素。在該感測器讀出進程期間，存取各浮動擴散單元一次。
亦根據1304所給出之捲動重設時間重設該等彩色像素。根據1306所給出之捲動快門時間讀取並重設該等全色像素。線條1316展示各全色像素之整體曝光，其表示介於該影像感測器之各列之全色像素的重設與讀出之間的時間。藉由以併像讀取該等全色像素而產生全色像素信號1310，使得在對該等全色像素之整體讀出期間存取各浮動擴散單元一次。因此，該全色像素讀出1306及全色像素及彩色像素之該讀出1302具有相同的讀出速率及相同的運動剪力屬性。此設計不但對於運動剪力有利，而且對於最小化未使用之光同時維持全部全色像素之相等的曝光持續時間以及全部彩色像素之相等的曝光持續時間有 利。
該讀取圖案在此階段重複，因為接著根據1302所給出之捲動快門重設時間讀取整個影像感測器。在1302處讀取之該等全色像素具有1318所給出之一曝光，而該等彩色像素具有1320所給出之一曝光。圖14展示彩色像素，該等彩色像素具有比在像素讀出1302處所讀出之全色像素之曝光持續時間1318更長之一曝光持續時間1320。然而，此關係係非固定，且實際上，該彩色像素曝光持續時間1320亦可比該等全色像素之該曝光持續時間1318更短或與之相等。
圖14亦更詳細地描述在完成對像素信號之各次讀出之後之一種影像處理512方法。可組合對經併像之彩色及全色像素信號1308之一讀出與對經併像之全色像素信號1310之鄰近讀出，以產生一改良的全色及彩色像素影像1312。類似地，可組合對經併像之全色像素信號1310之一讀出與對經併像之彩色及全色像素信號1308之鄰近讀出，以產生一改良的全色及彩色像素影像1312。該改良的全色及彩色像素影像1312可經處理以產生一經增強的四分之一解析度之彩色影像1314。此方案需要某些緩衝。在各數位影像1314之形成中使用三次讀出。
本發明之另一實施例提供一經擴展的動態範圍影像。圖15及圖16中參考圖5更詳細地描述此實施例。圖15提供一例示性像素陣列圖案1402。在此實例中，像素(X1)1404表示一第一群組像素，且像素(X2)1406表示一第二群組像素。X1及X2表示全色像素。圖5展示使用圖15中所示之彩色濾光片陣列圖案之該捲動快門模式之一時序序列。
圖16更詳細地描述一種在完成對關於圖15中之像素陣列圖案之像素信號之各次讀出之後的自圖6之影像處理512方法。可自此初始陣列資料合適地處理像素信號420以產生影像430。可自此初始陣列資料合適地處理像素信號422以產生影像432。在此情況下，影像430及432為該感測器之水平解析度之一半。各次讀出之像素信號係藉由該等讀 出之全部之最長曝光與該讀出之曝光之比率所縮放。該等經縮放像素信號之總和係藉由該讀出之像素信號數目正規化，以產生該讀出之影像值。方程式1展示一種用於計算該等影像值之簡單的方法 其中Pe表示該等經擴展之動態範圍影像值，r表示該讀出，g表示該讀出內之群組數目，Tf表示最長的曝光，Tr,g表示該讀出及群組之曝光，且pixelsignalsr,g表示該讀出及群組之像素信號。若一像素信號係大於一上限或小於一下限，則不在該影像值之計算中使用該像素信號並相應地調整該讀出(g)之群組數目。
下列對圖16之描述將表明在一逐步程序中之該計算。參考圖5，線條414所示之曝光對應於最長的曝光(TF1)。自方程式2給出像素信號420之影像值Pa Pa=(TF1/TS1)*X1(420)/g(420) 方程式2，其中以線條410所示之曝光(TS1)使X1(420)曝光，線條414展示圖框曝光(TF1)，且該讀出之像素信號數目為g(420)。該讀出之像素信號數目g為對於該特定讀出所讀取之像素群組數目。因為該組像素信號420僅含有一組像素(X1)，故在方程式2中之g(420)之值為1。類似地，自方程式3給出像素信號422之影像值Pb Pb=((TF1/TS2)*X1(422)+X2(422))/g(422) 方程式3，其中以線條412所示之曝光(TS2)對X1(422)曝光，以線條414所示之最長曝光(TF1)對X2(422)曝光，且該讀出之像素信號數目為g(422)。方程式2中之g(422)之值為2，因為有兩群組像素用於計算Pb。若X1或X2之值係大於一上限或小於一下限，則不在該影像值之計算中使用X1或X2並相應地調整該讀出(g)之群組數目。半解析度影像432及430 經合併以產生具有一經擴展動態範圍值Pe之一數位影像434。在另一實例中，Pa及Pb經加總並除以半解析度影像之數目以產生一半解析度數位影像。在另一實例中，由Pa及Pb內插該值Pe以產生該數位影像。熟習此項技術者將認識，存在用於計算該經擴展動態範圍影像之許多替代方法。
圖17提供本發明之另一較佳實施例之一例示性像素陣列圖案1412。在此實例中，像素(X1)1414、(X2)1416、(X3)1418及(X4)1420表示四個不同之群組全色像素。在另一實施例中，可使用一彩色像素替換該等全色像素之一者或一者以上。該彩色像素可提供色彩資訊給經最後處理之影像。該彩色像素可提供與如在圖4中先前所述之全色像素不同之一靈敏度。
圖18繪示根據本發明之另一較佳實施例之一影像感測器之讀出圖案及影像產生。此圖式係基於具有圖17中所示之像素陣列圖案並且利用一捲動快門讀出之一影像感測器。此像素信號集合表示一整個影像擷取程序之一部分。該整個影像擷取程序可含有對在沿著時間軸之任一方向上延伸之像素信號之額外讀出。1504所給出之該捲動快門讀取時間表示對該影像感測器之全部像素(X1、X2、X3及X4)之像素信號1510之一讀取。在讀取該等像素之後，可重設該等像素1504。
根據1502所給出之該捲動快門讀取時間讀出並重設該等X1像素。線條1512展示各X1像素之整體曝光(TS1)，其表示介於該影像感測器之各列之該等X1像素的重設與讀取之間的時間。像素信號1520表示對全部該等X1像素之一讀出。
根據1506所給出之該捲動快門讀取時間再次讀出並重設該等X1及X2像素。線條1515展示各X1像素之整體曝光(TS2)，其表示介於該影像感測器之各列之該等X1像素的重設與讀取之間的時間。線條1516展示各X2像素之整體曝光(TS3)，其表示介於該影像感測器之各 列之該等X2像素的重設與讀取之間的時間。像素信號1522表示對該影像感測器之全部該等X1及X2像素之一讀出。此設計係有利，因為其最小化未使用之光同時擴展該感測器之動態範圍。
該讀取圖案在此階段重複，因為接著根據1504所給出之捲動快門讀取時間讀出整個影像感測器。在1504處讀出之該等像素之某些像素具有由1517所給出之一較短曝光(TS4)，而其他像素具有1518所給出之一較長曝光(TF1)。
在圖18中，以不同持續時間使該等像素曝光。此為本發明之一有利特徵，因為該等不同的曝光允許在一群組像素內之一更大的動態範圍。本發明之另一有利特徵在於讀取並且可使用可到達該感測器之每個光子。另外，某些像素群組可與其他像素群組併像以有效地使靈敏度翻倍。例如，可對於像素信號1510併像來自群組X3及X4之像素。可對於像素信號1510併像來自群組X1及X2之像素。可併像具有一給定讀出之相等曝光之像素群組。
類似於對於圖16所給出之解釋進行該影像值計算。可自此初始陣列資料合適地處理像素信號1520以產生影像430。可自此初始陣列資料合適地處理像素信號1522以產生影像432。可自此初始陣列資料合適地處理像素信號1510以產生影像436。自方程式2計算影像值Pa。自方程式4所計算影像值Pb Pb=((TF1/TS2)*X1+(TF1/TS3)*X2)/g 方程式4，其中以線條1515所示之曝光(TS2)對X1(1522)曝光，以線條1516所示之曝光(TS3)對X2(1522)曝光，線條1518展示最長曝光(TF1)，且該讀出之像素信號數目為g(1522)。自方程式5所給出像素信號1510之影像值Pf Pf=((TF1/TS4)*(X1+X2)+X3+X4)/g 方程式5，其中以線條1517所示之曝光(TS3)對X1(1510)及X2(1510)曝光，以線條1518所示之最長曝光(TF1)對X3(1510)及X4(1510)曝光，且該讀出之像素信號數目為g(1510)。若對於讀出1510併像像素群組X1及X2，對X1與X2之總和施加一純量以考慮該併像。類似地，若對於讀出1510併像X3及X4，對X3與X4之總和施加一純量。影像430、432及436經合併以產生具有一經擴展動態範圍值Pe之一數位影像434。
熟習此項技術者將認識，習知自動曝光技術及電路可經調適以適應本發明之若干實施例所提供之多組信號。在足夠長以收集對於全部像素之一可偵測電荷量之一時間週期期間整合電荷，同時需要較小約束以避免使儲存元件飽和。藉由最佳化對於一給定場景之該等像素群組之各者之曝光持續時間，通常可合適地曝光該影像之經裁剪最明亮區域及黑暗區域。具有一高動態範圍之一場景將提供比具有一較低動態範圍之一場景更高的一動態範圍影像。
圖19繪示本發明之一較佳實施例之一例示性彩色濾光片陣列圖案1702。在此實例中，像素為全色(P)1704、紅色(R)1706、綠色(G)1708及藍色(B)1710。該彩色濾光片陣列圖案1702具有一最小重複單元，該最小重複單元含有下列4乘4陣列中之16個像素：G P B P
P P P P
R P G P
P P P P。
熟習此項技術者將認識，在本發明之範圍內，其他彩色濾光片陣列組態及最小重複單元係可能。圖20繪示根據本發明之另一較佳實施例之一影像感測器之讀出圖案及影像產生。此圖式係基於具有圖19 中所示之一彩色濾光片陣列圖案並且利用一捲動快門讀出之一影像感測器。此為圖18中所繪示之讀出圖案之一略微的變更，其變更之處在於一彩色像素已經取代該等全色像素X2之一像素。在需要具有某些色彩資訊之更大動態範圍之應用中，此為有用。此像素信號集合表示一整個影像擷取程序之一部分。該整個影像擷取程序可含有對在沿著時間軸之任一方向上延伸之像素信號之額外讀出。1804所給出之該捲動快門讀取時間表示該影像感測器之全部像素(X1、彩色、X3及X4)之像素信號1810之一讀出。在讀取該等像素之後，可重設該等像素1804。
根據1802所給出之該捲動快門讀取時間讀出並重設該等X1像素。線條1812展示各X1像素之整體曝光，其表示介於該影像感測器之各列之該等X1像素的重設與讀取之間的時間。像素信號1820表示對全部該等X1像素之一讀出。
根據1806所給出之該捲動快門讀取時間再次讀出並重設該等X1及X4像素。線條1815展示各X1像素之整體曝光，其表示介於該影像感測器之各列之該等X1像素的重設與讀取之間的時間。線條1816展示各X4像素之整體曝光，其表示介於該影像感測器之各列之該等X4像素的重設與讀取之間的時間。像素信號1822表示對該影像感測器之全部該等X1及X4像素之一讀出。此設計係有利，因為其最小化未使用之光同時擴展該感測器之動態範圍。
該讀取圖案在此階段重複，因為接著根據1804所給出之捲動快門讀取時間讀出整個影像感測器。在1804處讀出之該等像素之某些像素具有由1817所給出之一較短曝光，而其他像素具有1818所給出之一較長曝光。
在圖18中，以不同持續時間使該等像素曝光。此為本發明之一有利特徵，因為該等不同的曝光允許在一群組像素內之一更大的動態 範圍。本發明之另一有利特徵在於讀取並且可使用可到達該感測器之每個光子。另外，某些像素群組可與其他像素群組併像以有效地使靈敏度翻倍。例如，可對於像素信號1810併像來自群組X3及彩色之像素。可對於像素信號1810併像來自群組X1及X4之像素。可併像具有一給定讀出之相同曝光之像素群組。
熟習此項技術者將認識，存在對本發明之許多替代方法。

Claims (42)

  1. 一種產生一數位影像之方法，該方法包括：提供一影像感測器，該影像感測器具有至少一第一群組像素及一第二群組像素；自該第一群組像素讀出第一像素信號，該等第一像素信號係於一第一曝光週期產生，其中在讀出於該第一曝光週期產生之該等第一像素信號之後重設該第一群組像素；在重設該第一群組像素之後自該第一群組像素讀出第二像素信號，該等第二像素信號係於一第二曝光週期產生；自該第二群組像素讀出第三像素信號，該等第三像素信號係產生於一第三曝光週期且該第三曝光週期與該第一曝光週期及該第二曝光週期之至少一部分重疊；及使用至少該等第一像素信號、該等第二像素信號及該等第三像素信號來產生該數位影像。
  2. 如請求項1之方法，其中該第二群組像素包括至少一彩色像素且該第一群組像素包括至少一全色像素。
  3. 如請求項1之方法，其進一步包含：在讀出該等第二像素信號且之後重設該第一群組像素之後自該第一群組像素讀出第四像素信號，該等第四像素信號係產生於該第二曝光週期之後之一第四曝光週期；自一第三群組像素讀出第五像素信號，該等第五像素信號係產生於一第五曝光週期且該第五曝光週期與該第一曝光週期、該第二曝光週期及該第三曝光週期之至少一部分重疊，其中該影像感測器包括該第一群組像素、該第二群組像素、及該第三群組像素；及 使用該等第四像素信號及該等第五像素信號來產生該數位影像。
  4. 如請求項3之方法，其進一步包含：在讀出該等第三像素信號且之後重設該第二群組像素之後自該第二群組像素讀出第六像素信號，該等第六像素信號係產生於該第三曝光週期之後之一第六曝光週期；及使用該等第六像素信號來產生該數位影像。
  5. 如請求項4之方法，其進一步包含：自一第四群組像素讀出第七像素信號，該等第七像素信號係產生於實質上與該第五曝光週期相同之一第七曝光週期；及使用該等第七像素信號來產生該數位影像。
  6. 如請求項5之方法，其中該第二群組像素包含至少一彩色像素且其中該第一群組像素、該第三群組像素及該第四群組像素包含至少一全色像素。
  7. 如請求項5之方法，其中該第二群組像素係一彩色像素且該第一群組像素、該第三群組像素及該第四群組像素係全色(P)像素。
  8. 如請求項7之方法，其中一像素圖案之一第一像素組態、一第二像素組態、一第三像素組態及一第四像素組態分別包括該第一群組像素、該第二群組像素、該第三群組像素、及該第四群組像素，其中該第一像素模組、該第二像素模組、該第三像素模組、及該第四像素模組之彩色像素係分別為紅(R)、綠(G)、綠(G)、及藍(B)。
  9. 如請求項8之方法，其中該像素圖案在該影像感測器中被配置為：G P B P P P P P R P G P P P P P。
  10. 如請求項5之方法，其中該第一群組像素(1)、該第二群組像素(2)、該第三群組像素(3)、及該第四群組像素(4)在該影像感測器中之一像素圖案中被配置為：12 34。
  11. 如請求項5之方法，其中該等第四像素信號及該等第六像素信號是併像的(binned)。
  12. 如請求項5之方法，其中該等第五像素信號及該等第七像素信號是併像的。
  13. 如請求項1之方法，其中該第一群組像素(1)及該第二群組像素(2)係全彩像素且在一像素圖案中被配置為：12 21，且其中產生該數位影像包括：處理該等第一像素信號以產生一第一影像且處理該等第二像素信號及該等第三像素信號以產生一第二影像，其中該第一影像及該第二影像係該影像感測器之水平解析度之一半；及組合該第一影像及該第二影像以產生具有經擴展之動態範圍的該數位影像。
  14. 如請求項13之方法，其中處理該等第一像素信號以產生一第一影像且處理該等第二像素信號及該等第三像素信號以產生一第二影像包括：以一比率縮放該等第一像素信號、該等第二像素信號、及該等第三像素信號以產生第一經縮放像素信號、第二經縮放像素 信號、及第三經縮放像素信號，該比率係該第三曝光週期之一第一持續期間除以一實際持續期間，該實際持續期間對應至該等各別像素信號之該各別曝光週期；及以每一個各別讀出值之像素信號之一數目正規化該等第一經縮放像素信號、該等第二經縮放像素信號、及該等第三經縮放像素信號之一和。
  15. 一種影像系統，其包含：一像素陣列，其包括至少一第一群組像素及一第二群組像素；控制邏輯，其經耦接以自該像素陣列獲取影像資料；及一提供指令之非暫時性機器可存取儲存媒介，當該等指令被該影像系統執行時將致使該影像系統執行包含以下之操作：自該第一群組像素讀出第一像素信號，該等第一像素信號係於一第一曝光週期產生，其中在讀出於該第一曝光週期產生之該等第一像素信號之後重設該第一群組像素；在重設該第一群組像素之後自該第一群組像素讀出第二像素信號，該等第二像素信號係於一第二曝光週期產生；自該第二群組像素讀出第三像素信號，該等第三像素信號係產生於一第三曝光週期且該第三曝光週期與該第一曝光週期及該第二曝光週期之至少一部分重疊；及使用至少該等第一像素信號、該等第二像素信號及該等第三像素信號來產生一數位影像。
  16. 如請求項15之影像系統，其中該第二群組像素包括至少一彩色像素且該第一群組像素包括至少一全色像素。
  17. 如請求項15之影像系統，該非暫時性機器可存取儲存媒介儲存有進一步的指令，其被該影像系統執行時將致使該影像系統執 行包含以下之操作：在讀出該等第二像素信號且之後重設該第一群組像素之後自該第一群組像素讀出第四像素信號，該等第四像素信號係產生於該第二曝光週期之後之一第四曝光週期；自一第三群組像素讀出第五像素信號，該等第五像素信號係產生於一第五曝光週期且該第五曝光週期與該第一曝光週期、該第二曝光週期及該第三曝光週期之至少一部分重疊，其中該像素陣列包括該第一群組像素、該第二群組像素、及該第三群組像素；及使用該等第四像素信號及該等第五像素信號來產生該數位影像。
  18. 如請求項17之影像系統，該非暫時性機器可存取儲存媒介儲存有進一步的指令，其被該影像系統執行時將致使該影像系統執行包含以下之操作：在讀出該等第三像素信號且之後重設該第二群組像素之後自該第二群組像素讀出第六像素信號，該等第六像素信號係產生於該第三曝光週期之後之一第六曝光週期；及使用該等第六像素信號來產生該數位影像。
  19. 如請求項18之影像系統，該非暫時性機器可存取儲存媒介儲存有進一步的指令，其被該影像系統執行時將致使該影像系統執行包含以下之操作：自一第四群組像素讀出第七像素信號，該等第七像素信號係產生於實質上與該第五曝光週期相同之一第七曝光週期；及使用該等第七像素信號來產生該數位影像。
  20. 如請求項19之影像系統，其中該第二群組像素包含至少一彩色像素且其中該第一群組像素、該第三群組像素及該第四群組像 素包含至少一全色像素。
  21. 如請求項19之影像系統，其中該第二群組像素係一彩色像素且該第一群組像素、該第三群組像素及該第四群組像素係全色(P)像素。
  22. 如請求項21之影像系統，其中一像素圖案之一第一像素組態、一第二像素組態、一第三像素組態及一第四像素組態分別包括該第一群組像素、該第二群組像素、該第三群組像素、及該第四群組像素，其中該第一像素模組、該第二像素模組、該第三像素模組、及該第四像素模組之彩色像素係分別為紅(R)、綠(G)、綠(G)、及藍(B)。
  23. 如請求項22之影像系統，其中該像素圖案在該像素陣列中被配置為：G P B P P P P P R P G P P P P P。
  24. 如請求項19之影像系統，其中該第一群組像素(1)、該第二群組像素(2)、該第三群組像素(3)、及該第四群組像素(4)在該像素陣列中之一像素圖案中被配置為：12 34。
  25. 如請求項19之影像系統，其中該等第四像素信號及該等第六像素信號是併像的。
  26. 如請求項19之影像系統，其中該等第五像素信號及該等第七像素信號是併像的。
  27. 如請求項15之影像系統，其中該第一群組像素(1)及該第二群組 像素(2)係全彩像素且在一像素圖案中被配置為：12 21，且其中產生該數位影像包括：處理該等第一像素信號以產生一第一影像且處理該等第二像素信號及該等第三像素信號以產生一第二影像，其中該第一影像及該第二影像係該影像感測器之水平解析度之一半；及組合該第一影像及該第二影像以產生具有經擴展之動態範圍的該數位影像。
  28. 如請求項27之影像系統，其中處理該等第一像素信號以產生一第一影像且處理該等第二像素信號及該等第三像素信號以產生一第二影像包括：以一比率縮放該等第一像素信號、該等第二像素信號、及該等第三像素信號以產生第一經縮放像素信號、第二經縮放像素信號、及第三經縮放像素信號，該比率係該第三曝光週期之一第一持續期間除以一實際持續期間，該實際持續期間對應至該等各別像素信號之該各別曝光週期；及以每一個各別讀出值之像素信號之一數目正規化該等第一經縮放像素信號、該等第二經縮放像素信號、及該等第三經縮放像素信號之一和。使用至少該等第一像素信號、該等第二像素信號及該等第三像素信號來產生一數位影像。
  29. 一種產生一數位影像之方法，該方法包括：提供一影像感測器，該影像感測器具有二彩色像素及二全色像素，其中該二彩色像素及該二全色像素共用(share)一浮動擴散； 重設該二全色像素；讀出該二全色像素之於一第一曝光週期產生之未經併像的全色信號，該第一曝光週期係初始化(initiated)於重設該二全色像素之後；讀出該二彩色像素之於一第二曝光週期產生之經併像的彩色信號，該第二曝光週期係初始化於讀出該等未經併像的全色信號之前；讀出該二全色像素之於一第三曝光週期產生之經併像的全色信號，該第三曝光週期係初始化於讀出該等未經併像的全色信號之後；使用至少該等未經併像的全色信號、該等經併像的彩色信號、及該等經併像的全色信號來產生該數位影像。
  30. 如請求項29之方法，其中在同一快門(shutter)期間讀出該等經併像的彩色信號及該等經併像的全色信號。
  31. 如請求項30之方法，其中該同一快門係一捲動快門。
  32. 如請求項29之方法，其中該第一曝光週期之一第一持續期間大約是該第三曝光週期之一第二持續期間的兩倍。
  33. 如請求項32之方法，其中該第二曝光週期之一第三持續期間大約相等於該第一持續期間及該第二持續期間之一和。
  34. 如請求項29之方法，其中產生該數位影像包括色彩內插該等經併像的彩色信號及該等經併像的全色信號且空間內插該等未經併像的全色信號。
  35. 如請求項34之方法，其中該數位影像具有該影像感測器之空間解析度。
  36. 如請求項34之方法，其中該數位影像係一經增強之四分之一解析度的數位影像，其係該影像感測器之垂直解析度的一半及該 影像感測器之水平解析度的一半。
  37. 一種產生一數位影像之方法，該方法包括：提供一影像感測器，該影像感測器具有與成對的全色像素共用浮動擴散之成對的彩色像素，該等成對的彩色像素包括一對第一彩色像素、一對第二彩色像素、及一對第三彩色像素；重設該等成對的全色像素之每一對且初始化一第一曝光週期；自該等成對的全色像素讀出經併像的全色信號，其中該等全色信號係產生於該第一曝光週期；在讀出該等經併像的全色信號之後重設該等成對的全色像素之每一對且初始化一第二曝光週期；重設該等成對的彩色像素之每一對且初始化一第三曝光週期；讀出經併像的彩色/全色信號，其中該等經併像的彩色/全色信號係產生於該第二曝光週期及該第三曝光週期且該等經併像的彩色/全色信號包括影像電荷且該影像電荷係來自一起儲存在該等浮動擴散之每一者之該等成對的彩色像素及該等成對的全色像素；及使用至少該等經併像的全色信號及該等經併像的彩色/全色信號來產生該數位影像。
  38. 如請求項37之方法，其中該第一曝光週期之一第一持續期間大約相等於該第二曝光週期之一第二持續期間。
  39. 如請求項37之方法，其中該第三曝光週期在該第二曝光週期之前開始。
  40. 如請求項37之方法，其中該第三曝光週期在該第二曝光週期之後開始。
  41. 如請求項37之方法，其中該等第一彩色像素係紅色像素、該等第二彩色像素係綠色像素、且該等第三彩色像素係藍色像素。
  42. 如請求項41之方法，其中該等經併像的彩色/全色信號包括一經稀釋拜耳(Bayer)圖案。
TW104126891A 2009-04-01 2010-03-31 Exposing pixel groups in producing digital images TWI561083B (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/416,172 US8218068B2 (en) 2009-04-01 2009-04-01 Exposing pixel groups in producing digital images

Publications (2)

Publication Number Publication Date
TW201545556A true TW201545556A (zh) 2015-12-01
TWI561083B TWI561083B (en) 2016-12-01

Family

ID=42263938

Family Applications (2)

Application Number Title Priority Date Filing Date
TW099109993A TWI504257B (zh) 2009-04-01 2010-03-31 在產生數位影像中曝光像素群組
TW104126891A TWI561083B (en) 2009-04-01 2010-03-31 Exposing pixel groups in producing digital images

Family Applications Before (1)

Application Number Title Priority Date Filing Date
TW099109993A TWI504257B (zh) 2009-04-01 2010-03-31 在產生數位影像中曝光像素群組

Country Status (6)

Country Link
US (2) US8218068B2 (zh)
EP (2) EP3038356B1 (zh)
CN (2) CN102365861B (zh)
HK (1) HK1204412A1 (zh)
TW (2) TWI504257B (zh)
WO (1) WO2010114594A1 (zh)

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
CN101578886B (zh) * 2007-08-07 2011-11-23 松下电器产业株式会社 摄像处理装置以及摄像装置、图像处理方法以及计算机程序
US8300980B2 (en) * 2008-03-18 2012-10-30 Sony Corporation System, method and computer program product for providing a high resolution texture within an image
US8350952B2 (en) * 2008-06-04 2013-01-08 Omnivision Technologies, Inc. Image sensors with improved angle response
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8218068B2 (en) 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
KR101080427B1 (ko) * 2009-08-31 2011-11-04 삼성전자주식회사 전자셔터를 이용하여 영상의 동적 범위를 향상시키는 방법 및 그 장치
US8665316B2 (en) * 2009-11-24 2014-03-04 Microsoft Corporation Multi-resolution digital large format camera with multiple detector arrays
US8822897B2 (en) 2010-03-19 2014-09-02 Invisage Technologies, Inc. Image sensors employing sensitized semiconductor diodes
FR2961019B1 (fr) * 2010-06-03 2013-04-12 Commissariat Energie Atomique Capteur d'image lineaire en technologie cmos
JP4657379B1 (ja) * 2010-09-01 2011-03-23 株式会社ナックイメージテクノロジー 高速度ビデオカメラ
US20140192238A1 (en) 2010-10-24 2014-07-10 Linx Computational Imaging Ltd. System and Method for Imaging and Image Processing
KR101901602B1 (ko) * 2011-01-14 2018-09-27 삼성전자주식회사 디지털 사진에서 노이즈를 제거하는 장치 및 방법
US8836816B2 (en) * 2011-05-19 2014-09-16 Foveon, Inc. Method of adjusting the brightness of a digital camera image
JP5871535B2 (ja) * 2011-09-22 2016-03-01 キヤノン株式会社 撮像装置及び撮像装置の制御方法
US8994859B2 (en) * 2011-09-30 2015-03-31 Semiconductor Components Industries, Llc Methods and devices for improving dynamic range in image sensors
KR101895986B1 (ko) * 2011-12-16 2018-10-05 삼성전자주식회사 촬상장치, 촬상 방법 및 컴퓨터 판독가능 기록매체
DE102012110092A1 (de) * 2012-10-23 2014-04-24 Conti Temic Microelectronic Gmbh Sensoranordnung zur Bilderfassung
US9667865B2 (en) * 2012-11-03 2017-05-30 Apple Inc. Optical demodulation using an image sensor
US9060404B2 (en) 2012-11-20 2015-06-16 RedBeard Ventures LLC Synchronized light source for rolling shutter imagers
US9307600B2 (en) 2012-11-20 2016-04-05 RedBeard Ventures LLC Synchronized light source for rolling shutter imagers
WO2014134501A2 (en) * 2013-02-28 2014-09-04 Olive Medical Corporation Videostroboscopy of vocal chords with cmos sensors
JP5904673B2 (ja) 2013-09-27 2016-04-20 富士フイルム株式会社 撮像装置及び内視鏡装置
WO2015080163A1 (ja) * 2013-11-26 2015-06-04 株式会社ニコン 電子機器、撮像装置、および、撮像素子
KR102135677B1 (ko) 2013-11-28 2020-07-20 삼성전자주식회사 이미지 센서 및 이미지 센서를 구동하는 방법
EP2887655A1 (fr) 2013-12-20 2015-06-24 Swiss Timing Ltd. Filtre couleur adaptatif pour capteur numérique
US20150319823A1 (en) * 2014-05-01 2015-11-05 Jonathan Stephen Farringdon Device for forming a light source
CA2949362A1 (en) * 2014-05-19 2015-11-26 Redbeard Ventures, Llc Synchronized light source for rolling shutter imagers
US9825074B2 (en) 2014-06-10 2017-11-21 Invisage Technologies, Inc. Layout and operation of pixels for image sensors
US9894304B1 (en) 2014-08-18 2018-02-13 Rambus Inc. Line-interleaved image sensors
US9826214B2 (en) * 2014-09-08 2017-11-21 Microsoft Technology Licensing, Llc. Variable resolution pixel
US9866764B2 (en) * 2014-11-21 2018-01-09 Motorola Mobility Llc Method and apparatus for synchronizing auto exposure between chromatic pixels and panchromatic pixels in a camera system
CN104486557B (zh) * 2014-12-29 2018-04-06 上海集成电路研发中心有限公司 在图像采集过程中插入短帧的系统及方法
US10424054B2 (en) * 2015-06-26 2019-09-24 Peking University Shenzhen Graduate School Low-illumination image processing method and device
US9654699B2 (en) * 2015-07-02 2017-05-16 Omnivision Technologies, Inc. High dynamic range imaging with reduced frame buffer
DE102015116026A1 (de) * 2015-09-22 2017-03-23 JENETRIC GmbH Vorrichtung und Verfahren zur direkten optischen Bildaufnahme von Dokumenten und / oder lebenden Hautbereichen ohne abbildende optische Elemente
US10068078B2 (en) * 2015-10-15 2018-09-04 Microsoft Technology Licensing, Llc Electronic devices with improved iris recognition and methods thereof
US10151838B2 (en) 2015-11-24 2018-12-11 Microsoft Technology Licensing, Llc Imaging sensor with shared pixel readout circuitry
CN105578072A (zh) 2015-12-18 2016-05-11 广东欧珀移动通信有限公司 成像方法、成像装置及电子装置
KR102469567B1 (ko) * 2016-04-11 2022-11-22 삼성전자주식회사 이미징 장치 및 그 동작 방법
JP6746421B2 (ja) * 2016-07-29 2020-08-26 キヤノン株式会社 撮像装置
DE102017201318A1 (de) 2017-01-27 2018-08-02 Conti Temic Microelectronic Gmbh Vorrichtung zur Regelung einer Pixel-Integrationszeit für einen Bildsensor für ein Kraftfahrzeug
US20180357750A1 (en) * 2017-06-07 2018-12-13 Mediatek Inc. Demosaicking for multi-cell image sensor
US10473903B2 (en) * 2017-12-28 2019-11-12 Waymo Llc Single optic for low light and high light level imaging
US10942274B2 (en) 2018-04-11 2021-03-09 Microsoft Technology Licensing, Llc Time of flight and picture camera
JP6635222B1 (ja) * 2018-08-31 2020-01-22 ソニー株式会社 撮像装置、撮像システム、撮像方法および撮像プログラム
FR3096542B1 (fr) * 2019-05-21 2021-04-23 Valeo Comfort & Driving Assistance Dispositif de capture d’images à expositions multiples et système de surveillance d’un conducteur associé
CN110505376B (zh) * 2019-05-31 2021-04-30 杭州海康威视数字技术股份有限公司 图像采集装置及方法
KR20210006043A (ko) * 2019-07-08 2021-01-18 삼성전자주식회사 광학적 지문 인식 기반의 지문 등록 방법 및 이를 이용한 광학적 지문 인식 방법
CN110740272B (zh) * 2019-10-31 2021-05-14 Oppo广东移动通信有限公司 图像采集方法、摄像头组件及移动终端
CN110971799B (zh) * 2019-12-09 2021-05-07 Oppo广东移动通信有限公司 控制方法、摄像头组件及移动终端
CN113973184A (zh) * 2020-05-22 2022-01-25 Oppo广东移动通信有限公司 图像传感器、摄像头组件、移动终端
CN111711755B (zh) * 2020-06-28 2022-01-04 Oppo广东移动通信有限公司 图像处理方法及装置、终端和计算机可读存储介质
CN111741221B (zh) * 2020-07-08 2021-04-09 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
TW202213978A (zh) * 2020-09-28 2022-04-01 大陸商廣州印芯半導體技術有限公司 影像感測裝置以及影像感測方法
US11252337B1 (en) * 2020-12-29 2022-02-15 Himax Imaging Limited Method and apparatus of performing automatic exposure control for image sensor with context switching
CN113411520B (zh) * 2021-05-20 2022-08-16 西北核技术研究所 一种高时间分辨的图像传感器结构及驱动方法
US11350048B1 (en) * 2021-07-25 2022-05-31 Shenzhen GOODIX Technology Co., Ltd. Luminance-adaptive processing of hexa-deca RGBW color filter arrays in CMOS image sensors
US11470270B1 (en) * 2021-07-28 2022-10-11 Shenzhen GOODIX Technology Co., Ltd. Staggered high-dynamic-range image capture with luminance-driven upsampling of pixel-binned image sensor array output
CN113674685B (zh) * 2021-08-25 2023-02-24 维沃移动通信有限公司 像素阵列的控制方法、装置、电子设备和可读存储介质

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
GB2014397B (en) * 1978-02-10 1982-08-18 Hitachi Ltd Solid-state colour imaging device
JPS5763983A (en) * 1980-10-07 1982-04-17 Toshiba Corp Color image pickup device
JPS57147374A (en) * 1981-03-06 1982-09-11 Fuji Xerox Co Ltd Reader of two-color original
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
JP3042643B2 (ja) 1991-11-05 2000-05-15 キヤノン株式会社 固体撮像装置及び固体撮像装置の駆動方法
DE69514874T2 (de) * 1994-08-23 2000-07-20 Hewlett Packard Co Sensoranordnung für einen optischen Bildabtaster die Grauwert- und Farbsignale liefert
US5629734A (en) 1995-03-17 1997-05-13 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
US5506619A (en) 1995-03-17 1996-04-09 Eastman Kodak Company Adaptive color plan interpolation in single sensor color electronic camera
EP0857210B1 (en) * 1995-10-23 2003-09-03 The Children's Medical Center Corporation Therapeutic antiangiogenic compositions and methods
JP3962431B2 (ja) * 1995-11-07 2007-08-22 カリフォルニア インスティチュート オブ テクノロジー 高ダイナミックレンジのリニア出力を有する画像センサ
US5652621A (en) 1996-02-23 1997-07-29 Eastman Kodak Company Adaptive color plane interpolation in single sensor color electronic camera
US6278490B1 (en) * 1996-05-23 2001-08-21 Olympus Optical Co., Ltd. Exposure control for an image pickup apparatus that uses an electronic flash
US7110025B1 (en) 1997-05-28 2006-09-19 Eastman Kodak Company Digital camera for capturing a sequence of full and reduced resolution digital images and storing motion and still digital image data
US6809766B1 (en) 1998-03-11 2004-10-26 Micro Technology, Inc. Look ahead rolling shutter system in CMOS sensors
US6999119B1 (en) * 1998-04-10 2006-02-14 Nikon Corporation Image-capturing element, image-capturing circuit for processing signal from image-capturing element, image-capturing device, driving method of image-capturing element
JP3592147B2 (ja) * 1998-08-20 2004-11-24 キヤノン株式会社 固体撮像装置
US6348681B1 (en) * 2000-06-05 2002-02-19 National Semiconductor Corporation Method and circuit for setting breakpoints for active pixel sensor cell to achieve piecewise linear transfer function
US6476865B1 (en) 2001-03-07 2002-11-05 Eastman Kodak Company Sparsely sampled image sensing device with color and luminance photosites
WO2002089046A1 (en) * 2001-04-26 2002-11-07 Georgia Tech Research Corporation Video enhancement using multiple frame techniques
US6924841B2 (en) * 2001-05-02 2005-08-02 Agilent Technologies, Inc. System and method for capturing color images that extends the dynamic range of an image sensor using first and second groups of pixels
US7038820B1 (en) * 2002-04-03 2006-05-02 Eastman Kodak Company Automatic exposure control for an image sensor
JP4269152B2 (ja) * 2003-05-29 2009-05-27 富士フイルム株式会社 カメラ
US7492391B1 (en) * 2003-07-14 2009-02-17 Arecont Vision, Llc. Wide dynamic range network camera
US7446812B2 (en) * 2004-01-13 2008-11-04 Micron Technology, Inc. Wide dynamic range operations for imaging
JP4665422B2 (ja) 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
US7330218B2 (en) * 2004-09-02 2008-02-12 Samsung Electronics Co., Ltd. Adaptive bidirectional filtering for video noise reduction
JP4882297B2 (ja) 2004-12-10 2012-02-22 ソニー株式会社 物理情報取得装置、半導体装置の製造方法
US20060291750A1 (en) * 2004-12-16 2006-12-28 Peyman Milanfar Dynamic reconstruction of high resolution video from low-resolution color-filtered video (video-to-video super-resolution)
US7780089B2 (en) * 2005-06-03 2010-08-24 Hand Held Products, Inc. Digital picture taking optical reader having hybrid monochrome and color image sensor array
US8139130B2 (en) * 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US20070046807A1 (en) * 2005-08-23 2007-03-01 Eastman Kodak Company Capturing images under varying lighting conditions
US7688368B2 (en) * 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
JP4487944B2 (ja) 2006-02-09 2010-06-23 ソニー株式会社 固体撮像装置
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8059174B2 (en) * 2006-05-31 2011-11-15 Ess Technology, Inc. CMOS imager system with interleaved readout for providing an image with increased dynamic range
US7782278B2 (en) * 2006-12-14 2010-08-24 Himax Technologies Limited Intra-pixel convolution for AMOLED
JP5085140B2 (ja) 2007-01-05 2012-11-28 株式会社東芝 固体撮像装置
US7978239B2 (en) * 2007-03-01 2011-07-12 Eastman Kodak Company Digital camera using multiple image sensors to provide improved temporal sampling
US7855740B2 (en) * 2007-07-20 2010-12-21 Eastman Kodak Company Multiple component readout of image sensor
JP5063234B2 (ja) * 2007-07-20 2012-10-31 キヤノン株式会社 撮像装置、撮像システム、及び、撮像装置の動作方法
JP2009055320A (ja) * 2007-08-27 2009-03-12 Fujifilm Corp 撮像装置及び固体撮像素子の駆動方法
JP4887314B2 (ja) * 2008-02-28 2012-02-29 富士フイルム株式会社 撮像装置及び画像信号処理方法
JP4484944B2 (ja) * 2008-04-01 2010-06-16 富士フイルム株式会社 撮像装置及び撮像装置の駆動方法
US8164651B2 (en) * 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor
US8218068B2 (en) 2009-04-01 2012-07-10 Omnivision Technologies, Inc. Exposing pixel groups in producing digital images

Also Published As

Publication number Publication date
EP3038356A1 (en) 2016-06-29
US8218068B2 (en) 2012-07-10
US20100253833A1 (en) 2010-10-07
EP2415254A1 (en) 2012-02-08
EP2415254B1 (en) 2016-07-06
TW201127034A (en) 2011-08-01
TWI504257B (zh) 2015-10-11
CN104301635A (zh) 2015-01-21
CN102365861B (zh) 2014-10-22
US8355074B2 (en) 2013-01-15
TWI561083B (en) 2016-12-01
CN102365861A (zh) 2012-02-29
EP3038356B1 (en) 2017-08-30
WO2010114594A1 (en) 2010-10-07
US20120300105A1 (en) 2012-11-29
HK1204412A1 (zh) 2015-11-13
CN104301635B (zh) 2018-05-01

Similar Documents

Publication Publication Date Title
TWI504257B (zh) 在產生數位影像中曝光像素群組
US8164651B2 (en) Concentric exposure sequence for image sensor
USRE47458E1 (en) Pattern conversion for interpolation
US7855740B2 (en) Multiple component readout of image sensor
TWI496463B (zh) 形成全彩色影像之方法
EP2543183B1 (en) Method and apparatus for providing a high resolution image using low resolution images
US8224082B2 (en) CFA image with synthetic panchromatic image
US8068153B2 (en) Producing full-color image using CFA image
EP2087725B1 (en) Improved light sensitivity in image sensors
US20110052095A1 (en) Using captured high and low resolution images
US20090051984A1 (en) Image sensor having checkerboard pattern
EP2502422A1 (en) Sparse color pixel array with pixel substitutes