TWI754291B - 高動態範圍影像感測器和影像捕獲方法 - Google Patents

高動態範圍影像感測器和影像捕獲方法 Download PDF

Info

Publication number
TWI754291B
TWI754291B TW109117906A TW109117906A TWI754291B TW I754291 B TWI754291 B TW I754291B TW 109117906 A TW109117906 A TW 109117906A TW 109117906 A TW109117906 A TW 109117906A TW I754291 B TWI754291 B TW I754291B
Authority
TW
Taiwan
Prior art keywords
exposure
pixel
pixels
values
pixel values
Prior art date
Application number
TW109117906A
Other languages
English (en)
Other versions
TW202046704A (zh
Inventor
劉成明
代鐵軍
理查 曼恩
Original Assignee
美商豪威科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商豪威科技股份有限公司 filed Critical 美商豪威科技股份有限公司
Publication of TW202046704A publication Critical patent/TW202046704A/zh
Application granted granted Critical
Publication of TWI754291B publication Critical patent/TWI754291B/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/59—Control of the dynamic range by controlling the amount of charge storable in the pixel, e.g. modification of the charge conversion ratio of the floating node capacitance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

一種用於捕獲高動態範圍影像的方法，包括：(i)存儲表示由包括像素陣列的影像感測器捕獲的第一影像的複數個像素值，每個像素值已經由像素陣列的像素子陣列的相應像素生成，每個像素被設置為N 1 個第一曝光值中的一個，N 1
Figure 109117906-A0101-11-0001-8
1；(ii)基於複數個像素值確定曝光計數N 2 ；(iii)將每個像素設置為數量為N 2 的第二複數個曝光值中的一個，使得對於第二複數個曝光值中的每個，至少一個像素被設置為所述曝光值，第二複數個曝光值中的一個與N 1 個第一曝光值中的每個相差超過閾值；以及(iv)在設置之後，利用影像感測器捕獲第二影像。

Description

高動態範圍影像感測器和影像捕獲方法
本發明涉及影像感測器，尤其是高動態範圍影像感測器及其影像捕獲方法。
許多消費電子產品包括至少一個相機。這些產品包括平板電腦、手機和智慧手錶。此類產品以及數位相機本身可以實現高動態範圍(HDR)功能，以使得能夠對具有高動態範圍光度(luminosity)的場景進行成像。相機包括具有佈置為像素(pixel)陣列的許多像素的影像感測器(image sensor)。捕獲HDR影像的一種方法是，當相機捕獲影像時，影像感測器跨像素陣列具有空間變化的曝光值。
在第一觀點中，一種用於捕獲高動態範圍影像的方法，包括：在記憶體中存儲複數個像素值，上述複數個像素值表示由包括像素陣列的影像感測器捕獲的第一影像，上述複數個像素值中的每個像素值已經由上述像素陣列的像素子陣列的第一複數個像素中的相應一個像素生成，上述第一複數個像素中的每個像素被設置為N 1個第一曝光值中的一個，N 1
Figure 109117906-A0101-12-0001-10
1。上述方法還包括基於上述複數個像素值確定曝光計數N 2。上述方法還包括將上述第一複數個像素中的每個像素設置為數量為N 2的第二複數個曝光值中的一個曝光值，使得對於上述第二複數個曝光值中的每個曝光值，上述第一複數個像素中的至少一個像素被設置為上述曝光值，上述第二複數個曝光值中的一個曝光值與上述N 1個第一曝光值中的每個曝光值相差超過閾值。上述方法還包括在將上述第一複數個像素中的每個像素設置為上述第二複數個曝光值中的一個曝光值的步驟之後，利 用上述影像感測器捕獲第二影像。
在第二觀點中，一種影像感測器包括像素陣列、連接到所述像素陣列的處理器和記憶體。上述記憶體存儲機器可讀指令，上述機器可讀指令在由處理器執行時控制處理器執行根據第一觀點中的方法。
100:相機
120:場景
122:窗戶
121:人
123:陽光場景
124:天空
125、126和127:場景區域
104:記憶體
102:處理器
130:影像感測器
132A:像素陣列
140:濾色器陣列
132:複數個像素
138:電路
106:運動感測器
190:影像
194:像素值
139:顯示器
127H和127L:子區域
240:濾色器陣列(CFA)
230:影像感測器
209:坐標系
132A:像素陣列
234:像素子陣列
310:原始影像
312:(1-S)影像區域
410:第一影像
412:(1，2，...，S)影像區域
498:HDR影像
400:曝光控制器
486:曝光值
402:處理器
420:存儲軟體
404:記憶體
408:先前影像
481:曝光計數
482:曝光值
484:最小曝光差
440:中間輸出
411:長條圖資料
442:特徵雜訊
443:色散
444:特徵飽和度
446:特徵不一致性
485:曝光計數
486:曝光值
414:(i)像素值集合
480:候選曝光值
452:信噪比(signal-to-noise ratio,SNR)
453:最大色散
454:最大飽和度
456:最大不一致性
500:用於捕獲高動態範圍影像的方法
510、512、520、530、540、550、560和570:步驟
521、522、523、524、526和528:步驟
534、542、544:步驟
552、554、556和558:步驟
630:影像感測器
634、734、634(1-4)、和734(1-4):像素子陣列
611和612:像素對
730:影像感測器
圖1描繪根據一實施例中透過包括影像感測器的相機進行成像的場景，其中該影像感測器包括像素陣列。
圖2是實施例中包括圖1的像素陣列以及其上的拜耳濾色器陣列(Bayer color filter array，CFA)的影像感測器的區域的平面示意圖。
圖3是與圖2中所示的像素陣列的區域相對應的原始影像的區域的平面示意圖。
圖4是實施例中被配置為生成高動態範圍影像的曝光控制器的功能方塊示意圖。
圖5顯示實施例中由圖4的控制器可執行的用於捕獲高動態範圍影像之方法的流程圖。
圖6是實施例中被設置為多重曝光值的第一配置的影像感測器的區域的平面示意圖。
圖7是實施例中被設置為多重曝光值的第二配置的影像感測器的區域的平面示意圖。
圖1描繪對具有高動態範圍光亮度的場景120進行成像的相機 100。場景120包括在窗戶122前面的人121，透過窗戶122可看見陽光場景123。場景120包括天空124和場景區域125、126和127。場景區域125和126分別被人121和天空124完全佔據。場景區域127包括天空124的一部分和人121的一部分。
相機100包括成像透鏡(未顯示)、影像感測器130、記憶體104以及通信地連接到影像感測器130的處理器102。影像感測器130包括像素陣列132A，在像素陣列132A上可以具有濾色器陣列(CFA)140。像素陣列132A包括複數個像素132，為了圖示清楚而在圖1中未示出。CFA 140的每個濾色器可以與像素陣列132A的相應像素132或與像素陣列132A的相應像素子陣列的中心對準。像素子陣列是例如像素132的m×n陣列，其中m和n是整數，其中至少一個大於1。成像透鏡將場景120成像到影像感測器130上。影像感測器130還包括電路138，電路138包括至少一個類比-數位轉換器。相機100還可以包括運動感測器106，運動感測器106可以包括至少一個加速度計。
每個像素132產生與來自被成像到像素陣列132A上的場景120的光的相應強度對應的相應像素電荷。電路138將每個像素電荷轉換為影像190的第一複數個像素值194中的相應一個。像素值194可以存儲在記憶體104中。相機100可以包括被配置為顯示影像190的顯示器139。像素值194可以以諸如JPEG或TIFF的影像檔格式或諸如TIFF/EP或數位負片(Digital Negative,DNG)的原始影像格式存儲在記憶體104中。
在場景120中，未顯示的室內照明照亮人121面對相機的正面，而日光照亮陽光場景123。因此，人121和陽光場景123具有各自不同的光度。由於直射日光通常顯著地比室內照明明亮，所以陽光場景123的光度遠遠超過人121的光度，使得場景120具有高動態範圍的光度。標準數位成像能夠使用針對人121或陽光場景123的任一(但不是兩者)光度進行優化後的單個曝光值來捕獲場景120。即使當針對人121的光度優化了曝光值時，曝光時間也可能太長而無法捕獲人121的清晰影像，例如，如果人121正在移動。
與影像感測器像素相關聯的曝光值可以取決於影像感測器像素的以下屬性中的至少一個：類比增益和曝光持續時間。在本文中，對於設置為第一曝光值的第一像素以及設置為超過第一曝光值的第二曝光值的第二像素而言，可以將第二像素設置為超過與第一像素相關聯的第一曝光持續時間(和/或增益)的第二曝光持續時間(和/或增益)。
相機100可以被配置為將不同的曝光時間分配給場景區域125-127中的每個。由於場景區域126具有較高的光度，因此分配給場景區域125的曝光時間可以超過分配給場景區域126的曝光時間。場景區域127包括分別包括天空124和人121的兩個子區域127H和127L。子區域127H的光亮度(illumination)明顯高於子區域127L的光亮度。當相機100將曝光時間分配給針對天空124優化後的場景區域127並且因此分配給子區域127H時，子區域127L中的人121的影像曝光不足，並且因此經受低信噪比(SNR)。當相機100將曝光時間分配給針對人121優化的場景區域127並且因此分配給子區域127L時，子區域127H中的天空124的影像被過度曝光，因此經受飽和。
圖2是包括CFA 240的影像感測器230區域的平面示意圖。CFA 240是CFA 140的例子。雖然圖2將CFA 240圖示為具有紅色、綠色和藍色濾色器的拜耳濾色器陣列，但是CFA 240可以具有以不同圖案佈置的紅色、綠色和藍色濾色器，或者CFA 240可以包括具有不同的相應透射光譜的濾色器。這些透射光譜可以對應於青色、品紅色、黃色和全色(例如白色)光。影像感測器230和CFA 240分別是影像感測器130和CFA 140的例子。
影像感測器230和CFA 240相對於x-y坐標系209定位。座標(x，y)表示每個濾色器和其下方像素的位置，其中坐標系209的原點(x=y=0)可以對應於像素陣列132A內的任何像素。在本文中，所有座標被表示為(x，y)座標，即其中首先列出x值。同樣在本文中，標記α(i，j)指的是在座標(x，y)=(i，j)處的濾色器，其中α表示濾色器的透射光譜，並且i和j是整數。例如，α是r、g、b、c、m、y和k中的一個，其分別表示紅色、綠色、藍色、青色、品紅色、黃色和透明(全色，panchromatic)濾色器。座標對上的下標指示覆蓋 位於該座標處的像素132的CFA 240的類型濾色器。例如，像素p(x，y) α 表示位於座標(x，y)處的像素132，像素132被具有由α表示的透射光譜的濾色器覆蓋。像素p(x，y) α 產生主像素值V α (x，y)。
像素陣列134A包括複數個像素子陣列234(1，2，...，S)，其中S是正整數。例如，可以將S個像素子陣列234佈置為m×n陣列，其中m和n是正整數，並且S=m‧n。每個像素子陣列234具有像素尺寸P x×P y，其中整數P x和P y可以各自是二的冪、或兩個二的冪之和。在實施例中，P y等於16且P x等於24或32。
圖3是與圖2中所示的像素陣列134A的區域相對應的原始影像310的區域的平面示意圖。原始影像310是影像190的例子，並且可以包括複數個像素值V α1、複數個像素值V α2和複數個像素值V α3。像素值V的每個下標α1、α2、α3對應於上面描述的透射光譜α中的一個。原始影像310可以包括複數個影像區域312(1-S)，使得每個影像區域312(i)對應於像素陣列134A的相應像素子陣列234(i)，其中整數i滿足1
Figure 109117906-A0101-12-0005-11
i
Figure 109117906-A0101-12-0005-12
R。在本文中，附圖標記後面的標記(X 1-X 2)是表示範圍(X 1 ，X 1+1，...X 2-1，X 2)的簡寫形式，其中X 1和X 2是整數。
影像區域312中的一個透過包括以第一光度為特徵的第一子區域和以遠遠超過第一光度的第二光度為特徵的第二子區域而可以類似於圖1中的場景區域127。第二光度可以超過第一光度至少兩倍。
每個主像素值V r 由CFA 140的紅色濾色器下方的相應像素132生成。每個主像素值V g 由CFA 140的綠色濾色器下方的相應像素132生成。每個主像素值V b 由CFA 140的藍色濾色器下方的相應像素132生成。例如，在相應座標(3，4)、(3，6)和(5，6)處的主像素值V r 、V g 和V b 是透過在相同的相應座標(3，4)、(3，6)和(5，6)處的影像感測器230的相應像素生成的。透過更簡潔來表達、並且引入本文中所使用的標記法則，主像素值V r(3，4)、V b(3，6)和V g(5，6)是透過影像感測器230的相應像素p(3，4)r、p(3，6)g 和p(5，6)b生成的。
圖4是被配置為從第一影像410生成HDR影像498的曝光控制器400的功能方塊示意圖。曝光控制器400可以在相機100內實現。影像190是第一影像410的示例。HDR影像498可以透過以下方式生成：使用影像感測器230捕獲第一影像410，並且針對影像感測器230(圖2)的每個像素子陣列234，基於第一影像410的特徵確定複數個曝光值486，並且接下來使用曝光值486捕獲HDR影像498。隨後是曝光控制器400的描述，其可以實現圖5中描述的用於捕獲諸如影像498的高動態範圍影像的方法。
曝光控制器400包括處理器402和存儲軟體420的記憶體404，軟體420包括電腦可讀指令。處理器402可以是諸如影像處理器的數位訊號處理器。記憶體404可以是暫時的和/或非暫時的，並且可以包括易失性記憶體(例如，SRAM、DRAM、VRAM或其任何組合)和非易失性記憶體(例如，FLASH、ROM、磁性介質、光學介質或其任何組合)中的一個或者兩者。
記憶體404和處理器402可以分別用作圖1的相機100的記憶體104和處理器102。處理器402適於執行指令以執行如本文描述的曝光控制器400的功能。記憶體404可以存儲先前影像408、第一影像410、曝光計數481、曝光值482、最小曝光差484、曝光值486和中間輸出440中的至少一個。當由處理器402執行時，軟體420產生中間輸出440，中間輸出440可以包括長條圖資料411、特徵雜訊442、色散443、特徵飽和度444、特徵不一致性446、曝光計數485和曝光值486中的至少一個。記憶體404可以存儲複數個中間輸出440，每個中間輸出440對應於圖3的原始影像310的相應影像區域312。因此，中間輸出440可以被索引為中間輸出440(1，2，...，S)。
第一影像410是影像190的示例，並且包括複數個影像區域412(1，2，...，S)，每個影像區域對應於圖2的影像感測器230的相應像素子陣列234(1，2，...，S)。每個影像區域412由相應像素子陣列234(i)生成的相應像素值集合414(i)表示，其中整數i是像素子陣列索引，1
Figure 109117906-A0101-12-0006-13
i
Figure 109117906-A0101-12-0006-14
R。每個 像素值集合414(i)包括等於像素子陣列234(i)的像素數量的複數個像素值。像素子陣列234(i)的每個像素被設置為N 1個曝光值482(1，2，...，N 1)中的一個，其中N 1在本文中被稱為曝光計數，並且曝光計數481是等於曝光計數N 1的整數。
曝光計數485是在本文中也稱為N 2 的整數。軟體420可以，例如，從第一影像410生成曝光值486，在這種情況下，曝光值486可以是中間輸出440的一部分。曝光值486包括N 2 個曝光值，其中的一個曝光值486(d)與每個曝光值482的相差超過最小曝光差484。索引d是小於或等於N 2 的正整數。因此，曝光值486包括未包括在曝光值482中的曝光值486(d)。最小曝光差484可以大於或等於曝光值482的最小值的50%。曝光值486可以包括未包括在曝光值482中的曝光值。
記憶體404可以存儲複數個候選曝光值480，其包括曝光值482和曝光值486。候選曝光值480可以是以下中的至少一個：獨立於第一影像410的，獨立於存儲在記憶體404中或由處理器402處理的任何影像的，以及在捕獲第一影像410之前確定的。可以限制候選曝光值480的最大值，以確保遵守用於捕獲的運動偽像和畫面播放速率限制。相機100可以包括允許用戶設置最大值的功能。
每個曝光值482(i)可以表示複數個不重疊的曝光值範圍中的相應一個，使得將影像感測器130的兩個像素設置為相同的曝光值482導致兩個像素在相同曝光值範圍中具有各自的曝光值，但不一定相等。類似地，每個曝光值486(i)可以表示複數個不重疊的曝光值範圍中的相應一個，使得將影像感測器130的兩個像素設置為相同的曝光值486會導致兩個像素在相同的曝光值範圍內具有各自的曝光值，但不一定相等。
記憶體404可以存儲最小信噪比(signal-to-noise ratio,SNR)452。在成像場景中，稍微可接受的信噪比和良好的信噪比的示例分別是三和十。最小信噪比452可以大於或等於三。記憶體404可以存儲影像區域412(i) 的特徵雜訊442作為中間輸出440的一部分。特徵雜訊442可與影像區域412(i)的部分或全部的平均SNR相關。
記憶體404可以存儲最大色散453。最大色散453可以是像素值或光亮度值的統計色散。超過最大色散453的影像區域412(i)的像素值或光亮度值的統計色散可以指示影像區域412(i)具有足夠高的動態範圍，使得軟體420增加影像區域412(i)的曝光計數。最大色散453可以包括標準差、方差、範圍、四分位距(interquartile range)、平均絕對差、絕對中位差(median absolute deviation)、平均偏差或其組合。
記憶體404可以存儲最大飽和度454，其可以是像素值集合414的飽和的和/或接近飽和的像素值的最大允許數量或最大允許百分比。記憶體404可以存儲影像區域412(i)的特徵飽和度444作為中間輸出440的一部分。特徵飽和度444可以與影像區域412(i)的部分或全部的平均飽和度相關。
在實施例中，曝光值486包括曝光值486(1)、486(2)和486(3)。在實施例中，設置為曝光值486(3)的每個像素與也設置為曝光值486(3)的至少一個其他像素側邊相鄰(side-adjacent)。例如參見圖6的水平相鄰的像素對611。與單個孤立像素具有不同於其各自相鄰像素中的每一像素的曝光值的情況相比，中間曝光像素的這種配對所需的存儲(包括位元和空間區域兩者)更少。配對中間曝光像素的第二個好處是，當像素大小足夠小時，具有中間曝光值(諸如曝光值486(3))的單個孤立像素不是足夠大到對應於需要中間曝光值的場景區域。
當選擇像素佈置以分配局部曝光時，考慮數個因素以提出有利的解決方案。在實施例中，將鄰近像素(或像素子陣列)歸組以相同曝光提供了基於局部場景資訊提供有效曝光的能力。鄰近像素的例子包括相鄰像素或穿插像素，諸如一對像素之間有一個到三個像素(垂直、級別或對角地或其組合)。這種穿插像素對允許在像素對之間插值曝光值。在上面的例子中，像素子陣列可以代替像素，使得兩個像素子陣列是鄰近的，如此段落中所描述的。
將複數個鄰近的像素(例如，像素子陣列234)分配給相同的曝光減少了對於存儲曝光值(例如，曝光值486)的局部存儲需求。可以實現在較小的曝光控制區域而需要較高密度的局部曝光存儲、與較大的局部曝光控制區域而允許在設備佈局中更輕鬆地創建存儲要求之間的合理平衡。另外，當僅僅此局部曝光集合提供用於渲染局部場景的最佳資訊時，可以設計像素在該局部曝光集合(例如，像素子陣列234)內的確切放置，以提供插值影像細節的最佳能力。
在實施例中，還在考慮曝光控制和存儲要求的情況下，對局部區塊內的可能曝光數量進行優化和/或配置。局部像素組，例如像素子陣列234，由局部存儲塊提供服務，並且共用存儲塊的局部像素組可以被分派到一個、兩個、三個或更複數個不同的曝光值(例如，N 2
Figure 109117906-A0101-12-0009-15
1)。可以優化對於不同曝光值的數量的選擇，以提供對區分相對亮區域和相對暗區域的邊緣進行處理的靈活性(例如，被室內照明照亮的窗框，其中窗戶顯示明亮的室外照明)。對於靜態場景，最少兩個不同的曝光可以應用於每個局部區域/存儲塊組合。當場景中存在明顯的相機移動或動態物件時，則軟體420可以生成等於三的曝光計數485。
在實施例中，還基於像素和記憶元件的相對大小的實際考慮，優化共用存儲塊的曝光分配的像素數量。由大像素集合共用存儲塊使得更容易實現以多種曝光選項呈現存儲塊。(例如，共用大小為40×30的公共曝光存儲的局部像素集合)。將存儲塊/像素集合分組為較小的集合增強了針對場景內容的局部變化來優化曝光的能力，但是將需要更先進的技術和/或更困難的佈局以提供存儲和所需的像素連接。例如，至少一個像素子陣列234可以是具有共用存儲的12×8區塊，該共用存儲為像素內的三個曝光子集合提供服務。
圖5是示出用於捕獲高動態範圍影像的方法500的流程圖。方法500例如在曝光控制器400的一個或複數個方面內實現。例如，方法500透過處理器402執行軟體420的電腦可讀指令來實現。方法500包括步驟510、512、520、530、540、560和570中的至少一個。
步驟510包括在記憶體中存儲表示由包括像素陣列的影像感測器捕獲的第一影像的複數個像素值。在步驟510之前，複數個像素值中的每個已經由像素陣列的像素子陣列的第一複數個像素中的相應一個生成。在生成複數個像素值之前，已經將第一複數個像素中的每個設置為N 1個第一曝光值中的一個，N 1
Figure 109117906-A0101-12-0010-16
1。在步驟510的例子中，曝光控制器400存儲像素值集合414(1)。像素值集合414(1)的每個像素值由像素子陣列234(1)的像素生成，其被設置為曝光值482(1-N 1)中的一個。
當像素子陣列除了第一複數個像素之外還包括額外複數個像素，該額外複數個像素的每一個位於上述第一複數個像素的相應像素對之間時，應用步驟512。步驟512包括從記憶體讀取複數個像素值，同時跳過由上述額外複數個像素產生的額外像素值。在步驟512的例子中，像素子陣列是包括複數個像素p odd(x，y)和複數個像素p even(x，y)的像素子陣列234(i)。由p odd(x，y)表示的像素位於座標(x，y)處，其中x和y兩者是整數，x+y之和是奇數整數。由p even(x，y)表示的像素位於座標(x，y)處，其中x和y兩者是整數，而x+y之和是偶數整數。在步驟512中，第一複數個像素可以是p odd(x，y)，而額外複數個像素可以是p even(x，y)。
步驟520包括基於上述複數個像素值確定曝光計數N 2。在步驟520的示例中，軟體420基於像素值集合414(1)確定曝光計數485，其中曝光計數485等於N 2。曝光計數485確定曝光值486的曝光值(N 2)的數量。
步驟520可以包括步驟521、522、523、524、526和528中的至少一個，用於確定曝光計數N 2。步驟521包括從複數個像素值生成長條圖資料。在步驟521的示例中，軟體420從像素值集合414(1)生成長條圖資料441。軟體420部分地根據長條圖資料441的特徵來確定曝光計數485。例如，當長條圖資料441具有、或最適合於(像素值集合414(1))的多模態分佈(multimodal distribution)時，曝光計數485可以大於或等於該多模態分佈的模態數量。
回想一下，像素值集合414(1)是由像素子陣列234(1)生成的。當對應于像素值集合414(1)的長條圖資料441是多模態分佈(例如，雙模態分佈)時，軟體420可以增加與緊鄰像素子陣列234(1)的像素子陣列234相關聯的曝光計數485。這些相鄰像素子陣列用作“緩衝子陣列”，當在第一影像410和HDR影像498的相應捕獲之間的時間間隔內移動相機100時，緩衝子陣列可以防止曝光過度或曝光不足。
步驟522包括將邊緣檢測方法應用於所述複數個像素值，其中步驟520當檢測到邊緣時，設置N 2>N 1，並且步驟520當沒有檢測到邊緣時，設置N 2
Figure 109117906-A0101-12-0011-18
N 1。在步驟522的示例中，軟體420將邊緣檢測方法應用於圖1的場景區域127，場景區域127是影像區域412(1)的例子。當軟體420在影像區域412(1)中檢測到邊緣時，軟體420將曝光計數485設置為超過曝光計數481的整數。當軟體420在影像區域412(1)中沒有檢測到邊緣時，軟體420將曝光計數485設置為小於或等於曝光計數481的整數。
當相機100包括運動感測器106時，可以應用步驟523，運動感測器106可以生成與相機100的運動相關聯、並因此與影像感測器230的運動相關聯的運動資料406。步驟523包括測量影像感測器的運動，其中曝光計數N 2 至少部分地透過所測量的影像感測器的運動確定。在步驟523的例子中，軟體420基於由運動感測器106生成的運動資料406來確定曝光計數485。
當第一複數個像素包括第一亞複數個像素，上述第一亞複數個像素被配置為檢測相同光譜範圍中的光並且生成複數個像素值中的相應第一亞複數個像素值時，可以應用步驟524。例如，第一亞複數個像素可以是相同類型的濾色器下方的像素子陣列234(i)的兩個或更複數個像素，例如如圖2所示的紅色(R)、綠色(G)或藍色(B)。步驟524包括計算第一亞複數個像素值的色散。當上述色散超過閾值時，步驟520包括確定超過N 1的曝光計數N 2。當上述色散不超過所述閾值時，步驟520包括確定小於或等於N 1的曝光計數N 2。在步驟524的示例中，軟體420計算像素值集合414(1)的色散443。當色散443超過最大色散453時，軟體420將曝光計數485設置為超過曝光計數481的整 數。當色散443不超過最大色散453時，軟體420將曝光計數485設置為小於或等於曝光計數481的整數。
步驟526包括確定複數個像素值中的作為飽和像素值的像素值的數量。當飽和像素值的數量超過閾值時，步驟520包括將N 2設置為超過N 1的值。當飽和像素值的數量小於閾值時，步驟520包括將N 2設置為不超過N 1的值。當相機100具有等於整數M的位元深度時，飽和像素值等於2 M -1。在步驟526中，“飽和像素值”可以由“接近飽和像素值”替代，其中接近飽和像素值與2 M -1相差預定值，諸如2 M/2 、或M的不同函數。
在步驟526的例子中，軟體420確定像素值集合414(1)的飽和像素值的數量。當飽和像素值的數量超過最大飽和度454時，軟體420將曝光計數485確定為超過曝光計數481的正整數。當飽和像素值的數量不超過最大飽和度454時，軟體420將曝光計數485確定為小於或等於曝光計數481的正整數。
當影像感測器在捕獲第一影像之前已經捕獲了由第一影像捕獲的場景的先前影像或包括由第一影像捕獲的場景的先前影像時，可以應用步驟528。步驟528包括將先前影像與第一影像進行比較，以確定以下運動的存在：(i)場景中的物體運動或(ii)相對於場景的影像感測器運動，曝光計數N 2至少部分地基於物體運動和影像感測器運動中的至少一個的存在。例如，當檢測到物體運動和/或影像感測器運動並且超過運動閾值時，步驟520包括將N 2設置為超過N 1的值。當沒有檢測到物體運動和/或影像感測器運動或不超過運動閾值時，步驟520包括將N 2設置為不超過N 1的值。
在步驟528的例子中，軟體420將先前影像408與第一影像410進行比較。軟體420可以將先前影像408的區域與第一影像410的區域進行比較。例如，當步驟520確定像素子陣列234(1)的曝光計數N 2時，步驟528可以將先前影像408的區域與第一影像410進行比較，先前影像408的區域與第一影像410的區域中的每一個對應於影像區域312(1)及其一個或複數個相鄰 影像區域。
步驟530包括基於所述複數個像素值確定第二複數個曝光值中的每個曝光值。在步驟530的例子中，軟體420基於像素值集合414(1)確定曝光值486。軟體420可以透過基於像素值集合414(1)選擇複數個候選曝光值480來確定曝光值486。
步驟530可以包括上述步驟521以及步驟534中的至少一個。步驟534包括至少部分地基於在步驟521(作為步驟520的一部分或作為步驟530的一部分)中生成的長條圖資料，確定第二複數個曝光值中的每個。在步驟534的例子中，軟體420至少部分地基於長條圖資料441確定曝光值486。
步驟540包括將第一複數個像素中的每個像素設置為數量為N 2的第二複數個曝光值中的一個。對於第二複數個曝光值中的每個曝光值，將第一複數個像素中的至少一個像素設置為所述曝光值。第二複數個曝光值中的一個曝光值與N 1個第一曝光值中的每個曝光值相差超過閾值，諸如最小曝光差484。在步驟540的示例中，曝光控制器400將像素子陣列234(1)的每個像素設置為曝光值486中的一個曝光值。
步驟540可以包括步驟542或步驟544，可以在第二複數個曝光值包括第一曝光值和第二曝光值時應用步驟542或步驟544。步驟542和544包括將第一百分比的第一複數個像素設置為第一曝光值，並且將第二百分比的第一複數個像素設置為第二曝光值。步驟542導致第一百分比和第二百分比相差小於二十個百分點。步驟544導致第一百分比和第二百分比相差超過五十個百分點。在步驟542和544的例子中，軟體420將第一百分比P 1的像素子陣列234(1)設置為曝光值486(1)，並且將第二百分比P 2的像素子陣列234(1)設置為曝光值486(2)。在步驟542的此例子中，|P 2-P 1|小於二十個百分點。在步驟544的此例子中，|P 2-P 1|超過五十個百分點。
步驟540還可以包括步驟550。當(i)曝光計數481大於或等於 2(N 1
Figure 109117906-A0101-12-0014-17
2)，(ii)N 1曝光值包括“短”曝光值E 1和“長”曝光值E 2(E 1<E 2)，第一百分比的第一複數個像素被設置為曝光值E 1，並且第二百分比的第一複數個像素被設置為曝光值E 2，以及(iii)曝光計數485超過曝光計數481(N 2>N 1)時，可以應用步驟550。N 2個曝光值包括曝光值E 1、E 2和E 3。步驟550包括將第三百分比的第一複數個像素設置為曝光值E 3，其中E 1<E 3<E 2。在步驟550的例子中，軟體420將第三百分比P 3的像素子陣列234(1)設置為曝光值486(3)，所述曝光值486(3)超過曝光值486(1)並且小於曝光值486(2)。
步驟550可以包括步驟552、554和558中的至少一個。步驟552包括確定指示第一亞複數個像素值的信噪比級別的雜訊度量。在步驟552的示例中，軟體420確定設置為曝光值E 1的像素值集合414(1)的像素值的特徵雜訊442。
步驟554包括確定指示第二亞複數個像素值的飽和度的飽和度度量。在步驟554的例子中，軟體420確定設置為曝光值E 2的像素值集合414(1)的像素值的特徵飽和度444。
步驟556包括確定指示(i)由第一亞複數個像素值預測的第一場景亮度和(ii)由第二亞複數個像素值預測的第二場景亮度的一致性的不一致性度量。第一場景亮度可以等於第一亞複數個像素值的除以對應於低曝光值E 1的曝光時間的平均像素值或像素電流，或與所述平均像素值或像素電流成比例。第二場景亮度可以等於第二亞複數個像素值的除以對應于高曝光值E 2的曝光時間的平均像素值或像素電流，或與所述平均像素值或像素電流成比例。在沒有諸如雜訊和飽和度之類的影像偽影的情況下，第一場景亮度和第二場景亮度應大致相等(例如，小於10%的相對差異)或至少是不對立的(一致的)，因為第一百分比的第一複數個像素和第二百分比的第一複數個像素檢測到來自場景同一部分的光。飽和度可對第二場景亮度施加下限，在這種情況下，第一場景亮度應大於或等於下限。否則，第一場景亮度和第二場景亮度不一致。在步驟556的示例中，軟體420確定特徵不一致性446。
步驟558包括在設置第三百分比的步驟中，當雜訊度量、飽和度度量和不一致性度量中的每一個均超過相應的閾值時，將第三百分比的第一複數個像素設置為曝光值V 3。在步驟558的示例中，當在步驟552中確定的特徵雜訊442超過最小信噪比452、在步驟554中確定的特徵飽和度444超過最大飽和度454、以及在步驟556中確定的特徵不一致性446超過最大不一致性456時，軟體420將像素子陣列234(1)的第三百分比P 3設置為曝光值486(3)。
步驟560包括針對像素陣列的至少一個額外像素子陣列，重複步驟510、512、520、530和540中的至少一個。在步驟560的示例中，軟體420針對像素子陣列234(2，3，...S)中的至少一個，執行步驟510、512、520、530和540中的至少一個。
步驟570包括利用影像感測器，利用根據步驟540設置的複數個像素來捕獲第二影像。在步驟540的例子中，相機100捕獲HDR影像498。
圖6是影像感測器630的包括複數個像素子陣列634的區域的平面示意圖，其中的每個像素子陣列具有數量相等的短曝光像素和長曝光像素，所述短曝光像素和長曝光像素以跨相鄰像素子陣列634連續的“之字形，zig-zag”圖案佈置。影像感測器630包括CFA 240，並且是圖1和圖2的影像感測器130的例子。每個像素子陣列634是像素子陣列234的示例，並且可以是方法500的步驟540的結果。當影像感測器230捕獲第一影像410時，像素子陣列234中的至少一個可以是像素子陣列734中的一個。
在本文中，影像感測器的短曝光像素是被設置為比相同影像感測器的長曝光像素的曝光值或曝光時間小的曝光值或曝光時間的像素。同樣在本文中，任何曝光值具有相應曝光時間，使得當第二曝光值超過第一曝光值時，第二曝光值可以具有超過與第一曝光值對應的第一曝光時間的相應曝光時間。
圖6示出了像素子陣列634(1-4)。每個像素子陣列634包括像素的4×4陣列，每個像素設置為兩個曝光值中的一個，這在圖6中透過圍繞在 像素上方對準的濾色器類型名稱(“R”、“G”或“B”)周圍的斜對角陰影線的存在(“陰影像素”)或不存在(“非陰影像素”)來表示。如圖6所示，影像感測器630可以具有與面向2×2陣列的像素子陣列634(1-4)的平鋪(tiling)對應的曝光值配置。
當捕獲圖4的第一影像410時，像素子陣列634(1)的陰影像素和非陰影像素可以具有各自的曝光值482(1)和482(2)，其中曝光值482(1)和482(2)相差例如至少10%。當捕獲圖4的HDR影像498時，像素子陣列634(1)的陰影像素和非陰影像素可以具有各自的曝光值486(1)和486(2)，其中曝光值486(1)和486(2)相差例如至少10%。在每個像素子陣列634中，陰影像素(設置為曝光值482(1))的數量等於非陰影像素(設置為曝光值482(2))的數量。在不脫離實施例的範圍的情況下，子陣列634中的陰影像素的數量可以不同於非陰影像素的數量。在實施例中，陰影像素的數量與非陰影像素的數量的比率在5到7之間。在實施例中，像素子陣列634中的陰影像素的百分比超過非陰影像素的百分比五十個百分點以上。
在方法500的實施例中，當(每步驟520)曝光計數N 2=2時，曝光控制器400將像素子陣列234(1)的每個像素(每步驟540)設置為兩個曝光值486中的一個，使得像素子陣列234(1)類似於像素子陣列643(2)。
一個或複數個像素子陣列634可以包括被設置為第三曝光值的一對相鄰像素，所述第三曝光值例如是曝光值482(3)。曝光值482(3)可以大於曝光值482(1)並且小於曝光值482(2)，並因此是中間曝光值的例子。例如，像素子陣列634的第一部分可以包括設置為曝光值482(3)的水平相鄰的像素對，如像素子陣列634(3)內的水平相鄰像素對611所示。類似地，像素子陣列634的第二部分可以包括設置為曝光值482(3)的垂直相鄰像素對，如像素子陣列634(4)內的垂直相鄰像素對612所示。第一部分可以等於第二部分，每個部分可以在1/8到1/4之間。在實施例中，第一部分和第二部分兩者都等於1/6。
在方法500的實施例中，當(每步驟520)曝光計數N 2=3時，曝光控制器400將像素子陣列234(1)的每個像素(每步驟540)設置為三個曝光值486中的一個，使得像素子陣列234(1)類似於像素子陣列643(3)。
圖6顯示了像素對611和612，它們分別減少了像素子陣列634中的具有曝光值486(2)(非陰影)和486(1)(陰影)的像素數量。在不脫離其範圍的情況下，像素對611和612可以在空間上移位，使得它們分別減少像素子陣列634中的具有曝光值486(1)和486(2)的像素數量。
圖7是包括複數個像素子陣列734的影像感測器730區域的平面示意圖。影像感測器730可以包括CFA 240，並且是圖1和圖2的影像感測器130的例子。每個像素子陣列734是圖3的像素子陣列234的例子，並且可以是方法500的步驟540的結果。當影像感測器230捕獲第一影像410時，像素子陣列234中的至少一個可以是像素子陣列734中的一個。
每個像素子陣列734具有第一部分的短曝光像素(陰影)和第二部分的長曝光像素(非陰影)，其中第一部分可以等於0、1/16或1/8中的一個。每個短曝光像素和每個長曝光像素可以具有各自的曝光值482(1)和482(2)，其中曝光值482(2)超過曝光值482(1)。像素子陣列734的任何像素的曝光值可以被修改，以從曝光值482(1)改變到482(2)或從曝光值482(2)改變到482(1)。例如，儘管圖7示出在(x，y)座標(9，6)和(4，10)處的像素為非陰影的、並且因此具有曝光值482(2)，但是這兩個像素中的一個或兩者的曝光值可以改變為曝光值482(1)。在實施例中，濾色器座標(4，6)是綠色濾色器(而不是紅色)，並且位於(4，6)和(4，7)處的兩個水平相鄰像素可以用作相位檢測自動聚焦像素並共用一個公共微透鏡。如圖7所示，影像感測器730可以具有與面向2×2陣列的像素子陣列734(1-4)的平鋪對應的曝光值配置。
特徵的組合
在不脫離本發明範圍的情況下，可以以各種方式組合上述特徵以 及下面要求保護的特徵。以下示例說明一些可能的非限制性組合：
(A1)一種用於捕獲高動態範圍影像的方法，包括：在記憶體中存儲複數個像素值，上述複數個像素值表示由包括像素陣列的影像感測器捕獲的第一影像，上述複數個像素值中的每個已經由所述像素陣列的像素子陣列的第一複數個像素中的相應一個像素生成，上述第一複數個像素中的每個像素被設置為N 1個第一曝光值中的一個，N 1
Figure 109117906-A0101-12-0018-19
1。上述方法還包括基於上述複數個像素值確定曝光計數N 2。上述方法還包括將上述第一複數個像素中的每個像素設置為數量為N 2的第二複數個曝光值中的一個，使得對於上述第二複數個曝光值中的每個曝光值，上述第一複數個像素中的至少一個像素被設置為上述曝光值，上述第二複數個曝光值中的一個曝光值與上述N 1個第一曝光值中的每個曝光值相差超過閾值。上述方法還包括在設置之後，利用上述影像感測器捕獲第二影像。
(A2)方法(A1)還可以包括：基於上述複數個像素值，確定上述第二複數個曝光值中的每個曝光值。
(A3)方法(A2)還可以包括從上述複數個像素值產生長條圖資料，以及基於上述長條圖資料，確定上述第二複數個曝光值中的每個曝光值。
(A4)當所述像素子陣列除了上述第一複數個像素之外還包括額外複數個像素，所述額外複數個像素的每一個位於上述第一複數個像素的相應像素對之間時，方法(A1)-(A3)中的任何方法還可以包括從上述記憶體讀取複數個像素值，同時跳過由上述額外複數個像素產生的額外像素值。
(A5)在方法(A1)-(A4)中的任何方法中，所述確定的步驟可以包括將邊緣檢測方法應用於上述複數個像素值，當檢測到邊緣時，N 2超過N 1，以及當未檢測到邊緣時，N 2不超過N 1。
(A6)在方法(A1)-(A5)中的任何方法中，當上述第一複數 個像素包括第一亞複數個像素，上述第一亞複數個像素被配置為檢測相同光譜範圍內的光並且生成複數個像素值中的相應的第一亞複數個像素值時所述，確定的步驟可以包括計算上述第一亞複數個像素值的色散，當上述色散超過閾值時，N 2超過N 1，以及當上述色散小於閾值時，N 2不超過N 1。
(A7)在方法(A1)-(A6)中的任何方法中，上述確定的步驟可以包括：確定所述複數個像素值中的飽和像素值的數量，當上述飽和像素值的數量超過閾值時，N 2超過N 1，以及當上述飽和像素值的數量小於閾值時，N 2不超過N 1。
(A8)在方法(A1)-(A7)中的任何方法中，當上述第一影像是場景的影像時，上述確定的步驟可以包括將先前影像與上述第一影像進行比較，以確定以下運動的存在：(i)上述場景中的物體運動，或(ii)相對於上述場景的影像感測器運動，曝光計數N 2至少部分地基於物體運動和影像感測器運動中的至少一個的上述存在，上述先前影像包括上述場景並且是在上述第一影像的捕獲之前由上述影像感測器捕獲的。
(A9)在方法(A1)-(A8)中的任何方法中，當上述第二複數個曝光值包括第一曝光值和第二曝光值時，上述設置的步驟還可以包括將第一百分比的第一複數個像素設置為上述第一曝光值，以及將第二百分比的上述第一複數個像素設置為上述第二曝光值，上述第一百分比和上述第二百分比相差小於二十個百分點。
(A10)當N 1
Figure 109117906-A0101-12-0019-22
2，上述N 1個曝光值包括曝光值V 1和V 2，第一百分比的上述第一複數個像素具有曝光值V 1，第二百分比的上述第一複數個像素具有曝光值V 2，以及在上述確定的步驟中，N 2>N 1，上述N 2個曝光值包括曝光值V 1、V 2和V 3，方法(A1)-(A9)中的任何方法還可以包括將第三百分比的上述第一複數個像素設置為曝光值V 3，V 1<V 3<V 2。
(A11)當上述第一百分比的上述第一複數個像素已經生成第一 亞複數個像素值，所述第二百分比的上述第一複數個像素已經生成第二亞複數個像素值時，方法(A10)可以還包括：確定指示上述第一亞複數個像素值的信噪比級別的雜訊度量；確定指示上述第二亞複數個像素值的飽和度的程度的飽和度度量；確定指示透過上述第一亞複數個像素值預測的第一場景亮度與透過上述第二亞複數個像素值預測的第二場景亮度的一致性的不一致性度量；以及在設置上述第三百分比的步驟中，當上述雜訊度量、上述飽和度度量和上述不一致性度量中的每個均超過相應閾值時，將上述第三百分比的上述第一複數個像素設置為上述曝光值V 3。
(A12)在方法(A10)和(A11)中的任何方法中，上述第一百分比和上述第二百分比相差可以小於二十個百分點，並且在設置上述第三百分比的步驟中，上述第三百分比可以小於二十個百分比點。
(A13)在方法(A1)-(A12)中的任何方法中，上述設置的步驟還可以包括將第一百分比的上述第一複數個像素設置為第一曝光值，以及將第二百分比的上述第一複數個像素設置為第二曝光值，上述第一百分比和上述第二百分比相差超過五十個百分點。
(B1)一種影像感測器，包括像素陣列、連接到上述像素陣列的處理器以及記憶體。上述記憶體存儲機器可讀指令，上述機器可讀指令在由上述處理器執行時控制上述處理器以執行方法(A1)-(A13)中的任何方法。
在不脫離本發明範圍的情況下，可以對上面方法和系統進行改變。因此應注意的是，包含在上面描述中或附圖中所示的內容應解釋為說明性的，而不是限制性的。在本文中，除非另有說明，否則形容詞“示例性”是指用作示例、實例或說明。所附權利要求書旨在覆蓋本文描述的所有通用和特定特徵，以及本方法和系統的範圍的所有陳述，就語言而言，可以認為其介於兩者之間。
500:用於捕獲高動態範圍影像的方法
510、512、520、530、540、550、560和570:步驟
521、522、523、524、526和528:步驟
534、542、544:步驟
552、554、556和558:步驟

Claims (15)

  1. 一種用於捕獲高動態範圍影像的方法，包括：在記憶體中存儲複數個像素值，該複數個像素值表示由包括像素陣列的影像感測器捕獲的第一影像，該複數個像素值中的每個像素值已經由該像素陣列的像素子陣列的第一複數個像素中的相應一個像素生成，該第一複數個像素中的每個像素被設置為N 1個第一曝光值中的一個，N 1
    Figure 109117906-A0305-02-0026-1
    1；從該記憶體讀取複數個像素值，同時跳過由該像素子陣列的額外複數個像素產生的額外像素值，該額外複數個像素的每一個位於該第一複數個像素的相應像素對之間；基於該複數個像素值確定曝光計數N 2，其中該N 2為一正整數；將該第一複數個像素中的每個像素設置為數量為N 2的第二複數個曝光值中的一個，使得對於該第二複數個曝光值中的每個曝光值，該第一複數個像素中的至少一個像素被設置為該曝光值，該第二複數個曝光值中的一個曝光值與該N 1個第一曝光值中的每個曝光值相差超過閾值；以及在設置之後，利用該影像感測器捕獲第二影像。
  2. 如請求項1所述的方法，更包含：基於上述複數個像素值，確定上述第二複數個曝光值中的每個曝光值。
  3. 如請求項2所述的方法，更包含：從上述複數個像素值產生長條圖資料；以及基於該長條圖資料，確定該第二複數個曝光值中的每個曝光值。
  4. 如請求項1所述的方法，其中更包含： 自該複數像素值產生長條圖資料；及當確定曝光計數N 2，基於該長條圖資料決定該曝光計數N 2。
  5. 如請求項1所述的方法，其中上述確定的步驟包括：將邊緣檢測方法應用於該複數個像素值，其中當檢測到邊緣時，N 2超過N 1，以及當未檢測到邊緣時，N 2不超過N 1。
  6. 如請求項1所述的方法，其中上述第一複數個像素包括第一亞複數個像素，該第一亞複數個像素被配置為檢測相同光譜範圍內的光並且生成該複數個像素值中的相應的第一亞複數個像素值，該確定的步驟包括：計算該第一亞複數個像素值的色散，其中當該色散超過閾值時，N 2超過N 1，以及當該色散小於閾值時，N 2不超過N 1。
  7. 如請求項1所述的方法，其中上述確定的步驟包括：確定上述複數個像素值中的飽和像素值的數量，其中當該飽和像素值的數量超過閾值時，N 2超過N 1，以及當該飽和像素值的數量小於閾值時，N 2不超過N 1。
  8. 如請求項1所述的方法，其中上述第一影像是場景的影像，上述確定的步驟包括：將先前影像與該第一影像進行比較，以確定以下運動的存在：(i)該場景中的物體運動，或(ii)相對於該場景的影像感測器運動，其中曝光計數N 2至少部分地基於物體運動和影像感測器運動中的至少一個的該存在，該先前影像包括該場景並且是在該第一影像的捕獲之前由該影像感測器捕獲的。
  9. 如請求項1所述的方法，其中上述第二複數個曝光值包括第一曝光值和第二曝光值，上述設置的步驟還包括將第一百分比的該第一複數個像素設置為該第一曝光值，以及將第二百分比的該第一複數個像素設置為該第二曝光值，該第一百分比和該第二百分比相差小於二十個百分點。
  10. 如請求項1所述的方法，其中N 1
    Figure 109117906-A0305-02-0028-2
    2，上述N 1個曝光值包括曝光值V 1和V 2，第一百分比的該第一複數個像素具有曝光值V 1，第二百分比的該第一複數個像素具有曝光值V 2，以及在該確定的步驟中，N 2>N 1，該N 2個曝光值包括曝光值V 1、V 2和V 3，並且還包括：將第三百分比的該第一複數個像素設置為曝光值V 3，V 1<V 3<V 2。
  11. 如請求項10所述的方法，其中上述第一百分比的該第一複數個像素已經生成第一亞複數個像素值，該第二百分比的該第一複數個像素已經生成第二亞複數個像素值，並且更包含：確定指示該第一亞複數個像素值的信噪比級別的雜訊度量；確定指示該第二亞複數個像素值的飽和度的程度的飽和度度量；確定指示透過該第一亞複數個像素值預測的第一場景亮度與透過該第二亞複數個像素值預測的第二場景亮度的一致性的不一致性度量；以及在設置該第三百分比的步驟中，當該雜訊度量、該飽和度度量和該不一致性度量中的每個均超過相應閾值時，將該第三百分比的該第一複數個像素設置為該曝光值V 3。
  12. 如請求項10所述的方法，其中上述第一百分比和上述第二百分比相差小於 二十個百分點，以及在設置所述第三百分比的步驟中，上述第三百分比小於二十個百分點。
  13. 如請求項1所述的方法，其中上述設置的步驟還包括：將第一百分比的該第一複數個像素設置為第一曝光值，以及將第二百分比的該第一複數個像素設置為第二曝光值，該第一百分比和該第二百分比相差超過五十個百分點。
  14. 一種影像感測器，包括：一像素陣列，包含像素子陣列，其包含(1)第一複數像素，及(2)額外複數個像素，該額外複數個像素的每一個位於該第一複數個像素的相應像素對之間；一處理器，該處理器連接到該像素陣列；以及一記憶體，用於存儲機器可讀指令，該機器可讀指令在由該處理器執行時控制該處理器以：從該記憶體讀取該複數個像素值，同時跳過由該額外複數個像素產生的額外像素值；在該記憶體中存儲複數個像素值，該複數個像素值表示由該影像感測器捕獲的第一影像，該複數個像素值中的每個像素值是由該第一複數個像素中的相應一個像素生成的，該第一複數個像素中的每個像素被設置為N 1個第一曝光值中的一個，N 1
    Figure 109117906-A0305-02-0029-3
    1；基於該複數個像素值確定曝光計數N 2，其中該N 2為一正整數；將該第一複數個像素中的每個像素設置為數量為N 2的第二複數個曝光值中的一個，使得對於該第二複數個曝光值中的每個曝光值，該第一複數個像素中的至少一個像素被設置為該曝光值，該第二複數個曝光值中的一個曝光值與該 N 1個第一曝光值中的每個曝光值相差超過閾值；以及在設置之後，利用該影像感測器捕獲第二影像。
  15. 如請求項14所述的影像感測器，其中上述第一複數個像素包括第一亞複數個像素，該第一亞複數個像素被配置為檢測相同光譜範圍內的光並且生成該複數個像素值中的相應的第一亞複數個像素值，該記憶體還存儲機器可讀指令，該機器可讀指令在由該處理器執行時控制該處理器以當確定該曝光計數N 2時：計算該第一亞複數個像素值的色散，其中當該色散超過閾值時，N 2超過N 1，以及當該色散小於閾值時，N 2不超過N 1。
TW109117906A 2019-06-05 2020-05-28 高動態範圍影像感測器和影像捕獲方法 TWI754291B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/431,887 2019-06-05
US16/431,887 US11102422B2 (en) 2019-06-05 2019-06-05 High-dynamic range image sensor and image-capture method

Publications (2)

Publication Number Publication Date
TW202046704A TW202046704A (zh) 2020-12-16
TWI754291B true TWI754291B (zh) 2022-02-01

Family

ID=73601066

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109117906A TWI754291B (zh) 2019-06-05 2020-05-28 高動態範圍影像感測器和影像捕獲方法

Country Status (3)

Country Link
US (1) US11102422B2 (zh)
CN (1) CN112055136B (zh)
TW (1) TWI754291B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113472997B (zh) * 2020-03-31 2022-11-04 北京小米移动软件有限公司 图像处理方法及装置、移动终端及存储介质
KR20220131054A (ko) * 2021-03-19 2022-09-27 에스케이하이닉스 주식회사 이미지 처리 장치 및 그 동작 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150244916A1 (en) * 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Electronic device and control method of the same
US20160028985A1 (en) * 2013-03-15 2016-01-28 Rambus Inc. Threshold-monitoring, conditional-reset image sensor
US20160212355A1 (en) * 2015-01-19 2016-07-21 Thomson Licensing Method for generating an hdr image of a scene based on a tradeoff between brightness distribution and motion

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4187004B2 (ja) 2006-04-17 2008-11-26 ソニー株式会社 撮像装置および撮像装置の露光制御方法
JP5247397B2 (ja) 2008-12-05 2013-07-24 キヤノン株式会社 撮像装置及び撮像方法
US8873882B2 (en) 2011-02-28 2014-10-28 Aptina Imaging Corporation Blooming filter for multiple exposure high dynamic range image sensors
US20140063300A1 (en) 2012-09-06 2014-03-06 Aptina Imaging Corporation High dynamic range imaging systems having clear filter pixel arrays
US20150009355A1 (en) * 2013-07-05 2015-01-08 Himax Imaging Limited Motion adaptive cmos imaging system
JP6417809B2 (ja) 2014-03-05 2018-11-07 ソニー株式会社 撮像装置
JP2015169722A (ja) 2014-03-05 2015-09-28 ソニー株式会社 撮像装置
KR102277178B1 (ko) * 2015-03-09 2021-07-14 삼성전자 주식회사 카메라 모듈을 포함하는 전자 장치 및 전자 장치의 이미지 처리 방법
TWI576653B (zh) * 2015-07-31 2017-04-01 廣達電腦股份有限公司 曝光控制系統及其方法
US10084967B1 (en) * 2017-03-24 2018-09-25 Qualcomm Incorporated Systems and methods for regionally controlling exposure time in high dynamic range imaging
CN108632537B (zh) 2018-05-04 2020-08-21 Oppo广东移动通信有限公司 控制方法及装置、成像设备、计算机设备及可读存储介质
KR102648747B1 (ko) 2019-01-18 2024-03-20 삼성전자주식회사 Hdr 이미지를 생성하기 위한 이미징 시스템 및 그것의 동작 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160028985A1 (en) * 2013-03-15 2016-01-28 Rambus Inc. Threshold-monitoring, conditional-reset image sensor
US20150244916A1 (en) * 2014-02-21 2015-08-27 Samsung Electronics Co., Ltd. Electronic device and control method of the same
US20160212355A1 (en) * 2015-01-19 2016-07-21 Thomson Licensing Method for generating an hdr image of a scene based on a tradeoff between brightness distribution and motion

Also Published As

Publication number Publication date
CN112055136A (zh) 2020-12-08
US11102422B2 (en) 2021-08-24
US20200389585A1 (en) 2020-12-10
TW202046704A (zh) 2020-12-16
CN112055136B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN110365961B (zh) 图像去马赛克装置及方法
CA2949473C (en) Image processing system, imaging apparatus, image processing method, and computer-readable storage medium
TWI649722B (zh) 用於高動態範圍成像的曝光選擇器及其相關的方法
US8687087B2 (en) Digital camera with selectively increased dynamic range by control of parameters during image acquisition
US8818085B2 (en) Pattern conversion for interpolation
EP2775719B1 (en) Image processing device, image pickup apparatus, and storage medium storing image processing program
JP5461568B2 (ja) カラーおよび全色性チャネルｃｆａ画像の修正
TWI617196B (zh) 圖像感測器、成像裝置、行動終端及成像方法
EP1255410A2 (en) System and method for capturing color images that extends the dynamic range of an image sensor
US20070159542A1 (en) Color filter array with neutral elements and color image formation
CN102365861A (zh) 在产生数字图像时曝光像素组
TW201813371A (zh) 鬼偽影去除系統和方法
TWI754291B (zh) 高動態範圍影像感測器和影像捕獲方法
JP2014039170A (ja) 画像処理装置、および画像処理方法、並びにプログラム
US20180025476A1 (en) Apparatus and method for processing image, and storage medium
JP2007097175A (ja) ゾーン重み付け機能を備えたホワイトバランス機構
JPWO2010058497A1 (ja) 画像処理装置及び画像処理方法
JP2010177917A (ja) ホワイトバランス調整装置、ホワイトバランス調整方法、及びホワイトバランス調整プログラム
CN110996015B (zh) 空间多重曝光
JP2012119780A (ja) 撮像装置、撮像方法及びプログラム
CN111885281B (zh) 图像处理
JP2014090410A (ja) ホワイトバランス調整方法
JP2016040870A (ja) 画像処理装置、像形成方法およびプログラム
Cheng et al. High dynamic range image capturing by spatial varying exposed color filter array with specific demosaicking algorithm
TWI773993B (zh) 高動態範圍影像感測器和影像捕獲方法