TWI539811B - 雙曝光控制電路以及相關方法 - Google Patents

雙曝光控制電路以及相關方法 Download PDF

Info

Publication number
TWI539811B
TWI539811B TW104133627A TW104133627A TWI539811B TW I539811 B TWI539811 B TW I539811B TW 104133627 A TW104133627 A TW 104133627A TW 104133627 A TW104133627 A TW 104133627A TW I539811 B TWI539811 B TW I539811B
Authority
TW
Taiwan
Prior art keywords
gain
pixel arrays
exposure time
product
group
Prior art date
Application number
TW104133627A
Other languages
English (en)
Other versions
TW201703508A (zh
Inventor
陳柏璋
彭源智
陳泊芳
Original Assignee
恆景科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 恆景科技股份有限公司 filed Critical 恆景科技股份有限公司
Application granted granted Critical
Publication of TWI539811B publication Critical patent/TWI539811B/zh
Publication of TW201703508A publication Critical patent/TW201703508A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

雙曝光控制電路以及相關方法
本發明係有關於一種自動曝光電路，尤指一種雙曝光控制電路以及相關方法。
應用於一影像系統或一相機系統的傳統自動曝光控制迴圈包含一感測器、一自動曝光引擎以及一影像信號處理器(image signal processor, ISP)，其中該感測器包含將所接收到光子轉換成一電子信號的一光電裝置、將該電子信號轉換成一數位信號的一類比數位轉換器以及調整該數位信號大小的一數位/類比放大器。傳統上，該光電裝置在一互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor, CMOS)中伴隨著一電子快門以控制每一圖框的曝光時間，該放大器的增益即為一影像系統中的底片感光度(ISO)，而該自動曝光引擎包含測量所接收影像的一亮度的一測光單元、計算下一圖框的曝光時間或增益的一補償器以及決定像素曝光時間以及增益大小的一決定電路。
在一影像系統中，調整所接收影像的亮度的最重要兩因素為曝光時間以及增益，如何同時且和諧地調整此兩個因素一直以來都是重要的議題，越長的曝光時間雖然伴隨著較高的信噪比(signal-to-noise ratio, SNR)，但是卻較容易導致動態模糊，而較大的增益則會有較大的雜訊。為了使所接收的影像達到目標亮度值，通常會先調整曝光時間以獲得一較佳的信噪比，但曝光時間會受到畫面更新率(frame rate)的限制而無法無限的增加，同樣地，像素陣列的增益也會因為目前技術的限制而無法無限增加。
此外，像素陣列的排列是另一項重要因素，在影像系統中，常見的色彩濾波矩陣排列為貝爾(Bayer)圖形，近年來，為了使像素陣列得到更多的能量，在像素陣列中引進了具有高穿透度的白色像素以增加影像感測器的靈敏度， 其中白色像素的頻譜響應約為綠色像素的兩倍。在單一曝光控制電路中，影像通常會因為白色像素對光的高靈敏度而過度曝光，在先前技術中，當一單一曝光控制電路的白色像素發生過度曝光時會使用白色像素周遭的紅/藍/綠像素對此過度曝光的白色像素做補償，但是此方法仍然會在影像中產生無法預期的失真。
本發明的目的之一在於提供一雙曝光控制電路以及相關方法以個別控制紅綠藍像素陣列以及白色像素陣列的曝光時間以及增益。
根據本發明一實施例，一影像系統的一種雙曝光控制電路包含:一原始感應器，其中該原始感應器包含一紅/綠/藍像素陣列、一白色像素陣列以及用以調整該紅綠藍像素陣列以及該白色像素陣列的一增益或一曝光時間的至少一信號調節器；以及一自動曝光引擎，其中該自動曝光引擎包含:一第一比較單元，其中該第一比較單元係用以根據該紅綠藍像素陣列所感應到的一目前圖框的資料來計算一統計值並且比較該統計值與一目標影像亮度以產生一比較結果；一補償器，其中該補償器係耦接至該第一計算單元並且根據該比較結果產生一說明參數以說明該紅綠藍像素陣列以及該白色像素陣列的該增益與該曝光時間；以及一決定電路，其中該決定電路係耦接至該補償器並根據該說明參數來決定一補償係數以及一第一控制信號，其中當該決定電路決定該目前圖框的亮度等級大於一預設值時，則該決定電路始該影像系統操作在一正常光模式並傳送該第一控制信號至該類比信號調節器以控制該白色像素陣列的該增益或該曝光時間為小於該紅綠藍像素陣列的該增益的一固定值，並且當該決定電路決定該目前圖框的該亮度等級小於一預設值時，該決定電路使該影像系統操作在一弱光模式並傳送該第一控制信號至該類比信號調節器使該白色像素陣列的該增益或該曝光時間大於在該正常光模式時，而該雙曝光控制電路另包含一弱光補償單元，其中該弱光補償單元使用該補償係數以補償由該紅綠藍像素陣列所感應的一下一圖框的資料。
根據本發明的一實施例，應用於一影像系統的一種雙曝光控制方法包含:根據一紅綠藍像素陣列所感應到的一目前圖框的資料來計算一統計值並比較該統計值與一目標影像亮度以產生一比較結果；根據該比較結果產生一說明參數以說明該紅綠藍像素陣列以及一白色像素陣列的一增益或一曝光時間；根據該說明參數來決定一補償係數以及一第一控制信號，其中當該目標圖框的一亮度等級大於一預設值時，該影像系統操作在一正常光模式並傳送該第一控制信號以控制該白色像素陣列的該增益或該曝光時間為小於該紅綠藍像素陣列的該增益的一固定值，且當該目前圖框的該亮度等級大於一預設值時，該影像系統操作在一弱光模式並且傳送該第一控制信號使該白色像素陣列的該增益或該曝光時間大於正常模式時；以及使用該補償係數來補償由該紅綠藍像素陣列所感應到的一下一圖框的資料。
在說明書及後續的申請專利範圍當中使用了某些詞彙來指稱特定的元件。所屬領域中具有通常知識者應可理解，硬體製造商可能會用不同的名詞來稱呼同一個元件。本說明書及後續的申請專利範圍並不以名稱的差異來作為區分元件的方式，而是以元件在功能上的差異來作為區分的準則。在通篇說明書及後續的請求項當中所提及的「包含」係為一開放式的用語，故應解釋成「包含但不限定於」。此外，「耦接」一詞在此係包含任何直接及間接的電氣連接手段，因此，若文中描述一第一裝置耦接於一第二裝置，則代表該第一裝置可直接電氣連接於該第二裝置，或者透過其他裝置或連接手段間接地電氣連接至該第二裝置。
第1圖係根據本發明一實施例之具有雙曝光控制電路的一影像系統100的示意圖，如第1圖所示，影像系統100包含一原始感應器110、一原始處理區塊120、一去馬賽克區塊130、一紅綠藍處理區塊140、一自動曝光引擎150、一弱光補償單元160以及一伽瑪及YUV處理區塊170，其中原始感應器110係用以輸出包含於原始感應器110內的一紅綠藍像素陣列111及一白色像素陣列112的原始資料，並且接收自動曝光引擎150所產生的信號S1與S2以分別控制紅綠藍像素陣列111以及白色像素陣列112的增益及曝光時間；原始處理區塊120係用以對原始感應器110所產生的紅綠藍像素陣列111及白色像素陣列112的原始資料做基本處理；由於在一位置中的一像素在色彩濾波矩陣中僅產生一種色彩資訊，例如紅色、綠色、藍色或白色，因此去馬賽克區塊130係用以執行內插以測量每一位置所遺失的色彩資訊；紅綠藍處理區塊140係用以對紅綠藍像素陣列111執行進階處理，如白平衡、色彩校正、去雜訊以及銳化處理，原始感應器110另包含用以分別調整紅綠藍像素陣列111及白色像素陣列112的增益及曝光時間的信號調節器113與114，在另一實施例中，原始感應器110可僅包含一切換開關形式的信號調節器以調整紅綠藍像素陣列111及白色像素陣列112的增益及曝光時間。自動曝光引擎150係用以接收該目前圖框的影像並產生信號S1與S2以及補償係數W alpha，其中信號S1與S2根據該目前圖框來控制下一圖框的紅綠藍像素陣列111及白色像素陣列112的增益及曝光時間，而補償係數W alpha係用以補償該下一圖框的亮度，弱光補償單元160係用以接收一目前圖框的影像資料並使用補償係數W alpha來補償該影像的亮度；而伽瑪與YUV處理區塊係用以對該影像執行伽瑪操作與YUV操作。
在本發明中，定義一像素陣列的曝光時間與增益的乘積為一參數，其中該曝光時間增益的乘積(Exposure time and Gain Product, EGP)代表一圖框的像素陣列的曝光時間及增益的調整程度，因此在本發明中，像素值可簡化為曝光時間增益乘積與該像素所接收的能量的乘積，舉例來說，在一紅色像素陣列中的一紅色像素，其像素值為 R=EGP*I r
其中R為該紅色像素的輸出資料而I r為該紅色像素在一單位曝光時間中所接收的光能量，為了簡化，該紅色像素陣列的該輸出資料的統計平均值可另表示為 M R=EGP*M Ir
其中M R為該紅色像素陣列的統計平均，而M Ir為該紅色像素在一單位曝光時間中所接收的光能量的平均值。
第2圖係根據第1圖所示影像系統100的自動曝光引擎150的示意圖，如第2圖所示，自動曝光引擎150包含一計算單元201、一補償器202以及一決定電路203，其中計算單元201係用以對紅綠藍像素陣列111執行色彩轉換以產生一Y像素陣列，並計算該Y像素陣列的統計平均值，其中該統計平均值代表該目前圖框的亮度，接者比較該目前圖框的亮度與一目標影像亮度Y tar以產生一比較結果，而補償器202根據該比較結果來計算該下一圖框的一目標曝光時間增益乘積以指出該下一圖框的該紅綠藍像素陣列及白色像素陣列的曝光時間及增益的調整程度。
決定電路203根據該目標曝光時間增益乘積透過產生信號S1及S2來決定並控制該下一圖框的紅綠藍像素陣列111及白色像素陣列112的曝光時間及增益，並且決定電路203產生用以補償該下一圖框的亮度的補償係數W alpha，其中若補償器202計算出的該目標曝光時間增益乘積小於曝光時間增益乘積的一最大值(亦即，不需要白色像素陣列112的補償，該目標圖框的亮度即可達到該目標影像亮度Y tar)，則影像系統110操作在正常光模式，並且決定電路203設定該下一圖框的紅綠藍像素陣列111的曝光時間增益乘積為該目標曝光時間增益乘積，並且設定該下一圖框的白色像素陣列112的曝光時間增益乘積為該目標曝光時間增益乘積乘以一比例R 0，其中比例R 0為0到1之間的任何數，在此實施例中，由於白色像素陣列的靈敏度大約為綠色像素陣列的兩倍，因此設定比例R 0為1/2，此設定可避免白色像素陣列過度曝光，且由於該目前圖框不需要任何補償，因此設定補償係數W alpha為0。若補償器202計算出的該目標曝光時間增益的乘積大於曝光時間增益乘積的最大值(亦即，僅使用紅綠藍像素陣列的情況下，該目標圖框的亮度無法達到該目標影像亮度Y tar)，則影像系統100操作在弱光模式，該目前圖框需要該白色像素陣列以補償亮度，此時決定電路203設定該下一圖框的紅綠藍像素陣列111的曝光時間增益的乘積為曝光時間增益乘積的最大值，並且設定該下一圖框的白色像素陣列112的曝光時間增益乘積為 min(R 0*EGP j, EGP max)       (1)
其中min為最小值運算子，EGP j為該目標曝光時間增益乘積，而EGP max為曝光時間增益乘積的最大值，並且設定補償係數W alpha為 R 0*(EGP j-EGP max)/EGP w(2)
其中EGP w為上述所計算的白色像素陣列112的曝光時間增益乘積，在計算紅綠藍像素陣列111的曝光時間增益乘積、白色像素陣列112的曝光時間增益乘積以及補償係數W alpha後，決定電路203根據紅綠藍像素陣列111和白色像素陣列112的曝光時間增益乘積分別傳送信號S1及S2至原始感應器101以控制該下一圖框中紅綠藍像素陣列111及白色像素陣列112的曝光時間和增益，並且傳送補償係數W alpha至弱光補償單元160。當影像系統100操作在弱光模式時，弱光補償單元160利用白色像素陣列112及補償係數W alpha來計算紅綠藍像素陣列111的像素值以補償該圖框亮度的不足，公式如下: R’=max(R,G,B)+W alpha*W  (3-1) G’=max(R,G,B)+W alpha*W  (3-2) B’=max(R,G,B)+W alpha*W  (3-3)
其中max為最大值運算子，R、G、B分別代表一像素陣列中紅、綠、藍像素的資料，R’、G’、B’分別代表在弱光補償後紅、綠、藍像素的資料，而W代表白色像素陣列的資料，接著再對R’、G’、B’做色彩空間轉換可得到: Y’=Y+W alpha*W     (3-4)
其中Y係Y像素陣列的資料，而Y’為補償後的Y像素陣列的資料。
在第2圖的實施例中，目標影像亮度Y tar、曝光時間增益乘積的最大值以及比例R ­0皆已先在補償器202中定義。
第3圖係根據本發明一實施例之應用於第1圖及第2圖所示的雙曝光控制電路的一方法流程圖，第3圖所示流程之步驟順序描述如下:
步驟300:定義目標影像亮度Y tar、曝光時間增益乘積的最大值以及比例R ­0。
步驟301: 測量圖框i的亮度並與目標影像亮度Y tar比較，其中目前圖框(即圖框i)的亮度係由自動曝光引擎150的計算電路201計算自紅綠藍像素陣列色彩轉換後的Y像素陣列的統計平均值所獲得，並比較該目前圖框的所量測亮度與目標影像亮度Y tar來產生一比較結果。
步驟302:計算圖框j (即圖框i的下一圖框)的一曝光時間增益乘積，其中該下一圖框(即圖框j)的目標曝光時間增益乘積係根據該比較結果來計算。
步驟303:判斷該下一圖框的該目標曝光時間增益乘積是否大於曝光時間增益乘積的最大值，若是，則影像系統100操作在該弱光模式並進入步驟304_2；否則，影像系統100操作在正常光模式並進入步驟304_1。
步驟304_1:設定EGP rgb=EGP j，EGP w=R 0*EGP j，W alpha=0。
步驟304_2:設定EGP rgb=EGP max，EGP w=(R 0*EGP j, EGP max)，W alpha=R 0*( EGP j,-EGP max)/EGP w，其中步驟304_1與步驟304_2中所描述之符號皆與第2圖的實施例相同。
步驟305:產生信號S1及S2，其中信號S1係根據EGP rgb來控制該下一圖框的紅綠藍像素陣列111的曝光時間與增益，而信號S2係根據EGP w來控制白色像素陣列112的曝光時間與增益。
步驟306:傳送信號S1及S2至該原始感應器110。
步驟307:接收圖框j的紅綠藍像素陣列、白色像素陣列以及補償係數的資料，並計算紅綠藍像素陣列的新資料，詳細來說，弱光補償單元160接收紅綠藍像素陣列111、白色像素陣列112以及補償係數W alpha的資料，並根據公式(3-1)至(3-4)計算該圖框的紅綠藍像素陣列的新資料以補償該圖框的亮度。
第4圖係根據第1圖及第2圖所示的一雙曝光控制電路的一工作條件示意圖，如第4圖所示，在階段I中，圖框具有足夠亮度，影像系統操作在正常光模式，若環境中的亮度降低則紅綠藍像素陣列的曝光時間與增益的乘積增加；在階段II中，紅綠藍像素陣列的曝光時間增益乘積達到最大值而影像系統操作在弱光模式；因此，使用補償係數W alpha與白色像素陣列的曝光時間增益乘積來補償該影像中紅綠藍像素陣列的亮度；若環境亮度持續下降，白色像素陣列的曝光時間增益乘積與補償係數W alpha的乘積會增加以維持該圖框的亮度，在其他實施例中，補償係數W alpha可以為任何正整數，但為了維持最佳的信噪比，補償係數W alpha應優選地定義在0至1之間。在此範例中，當白色像素陣列的曝光時間與增益的乘積與補償係數W alpha的乘積達到最大值時(即W alpha*EGP w=EGP max)，根據公式(3)該圖框的紅綠藍像素陣列的新資料/補償後資料將是原先圖框的數倍亮度，接著影像系統進入階段III，在階段III中，該圖框的亮度會隨著環境亮度的下降而下降。
需注意的是，在第4圖所示的階段I中，若環境的亮度下降則紅綠藍像素陣列的曝光時間與增益的乘積增加以達到目標影像亮度，在此過程中，並不限定先調整紅綠藍像素陣列的的曝光時間或是增益抑或是一起調整來達到目標影像亮度。
第5圖係根據本發明另一實施例之一影像系統500的示意圖，其中影像系統500利用一目前圖框的一紅綠藍像素陣列511以及一白色像素陣列512的資料而非僅使用紅綠藍像素陣列的資料(例如第1圖至第3圖的實施例)來完成亮度補償。如第5圖所示，影像系統500包含一原始感應器510、一原始處理區塊520、一去馬賽克區塊530、一白-紅綠藍至紅綠藍轉換區塊540、一紅綠藍處理區塊550、一自動曝光引擎560、一弱光補償單元570以及一伽瑪與YUV處理區塊580，其中白-紅綠藍至紅綠藍轉換區塊540係用以對四個頻道(白、紅、綠、藍)作色彩轉換至三個頻道(紅、綠以及藍)，而影像系統500中其他元件的功能與第1圖所示的實施例中皆相似，詳細描述在此省略以省篇幅。
第6圖係根據第5圖所示影像系統500的自動曝光引擎的示意圖，如第6圖所示，自動曝光引擎560包含一第一計算單元601、一第二計算單元602、一補償器603以及一決定電路604，其中第一計算單元601與第2圖所示的計算單元201相同，而第二計算單元602係用以計算白色像素陣列512的一統計平均值，第1圖實施例與第5圖實施例的差異在於影像系統操作在弱光模式時，第5圖實施例中的補償係數W alpha被設定為 (Y tar-M Y)/M W(4)
其中M W為產生自第二計算單元602的該目前圖框的白色像素陣列的統計平均值，然而在實作上，像素值可能會受到數位電路的準確度的限制，舉例來說，在公式M R=EGP*M Ir中，當曝光時間與增益的乘積(即EGP)增為兩倍大時，該紅色像素陣列的平均值可能訊號裁減因素被限縮在數位電路所給定的有限範圍內而因此造成失真，如公式(4)中所示，利用統計平均值而非曝光時間增益乘積作為參數所計算出的補償係數W alpha將可避免以上情況。
第7圖係根據本發明另一實施例之應用雙曝光控制電路的一方法流程圖，其中第7圖所示流程之步驟順序描述如下:
步驟700: 定義目標影像亮度Y tar、曝光時間與增益的乘積的最大值以及比例R ­0。
步驟701: 測量圖框i的亮度並與目標影像亮度Y tar比較以及計算白色像素陣列的統計平均值，其中目前圖框(即圖框i)的亮度係由自動曝光引擎560的計算電路601計算自紅綠藍像素陣列色彩轉換後的Y像素陣列的統計平均值所獲得，並比較該目前圖框的所量測亮度與目標影像亮度Y tar來產生一比較結果，另外自動曝光引擎560另計算該白色像素陣列的統計平均值。
步驟702: 計算圖框j (即圖框i的下一圖框)的一曝光時間與增益的乘積EGP j，其中該下一圖框(即圖框j)的目標曝光時間與增益的乘積係根據該比較結果來計算。
步驟703: 判斷該下一圖框的該目標曝光時間與增益的乘積是否大於曝光時間與增益的乘積的最大值，若是，則影像系統500操作在該弱光模式並進入步驟704_2；否則，影像系統500操作在正常光模式並進入步驟704_1。
步驟704_1: 設定EGP rgb=EGP j，EGP w=R 0*EGP j，W alpha=0。
步驟704_2: 設定EGP rgb=EGP max，EGP w=(R 0*EGP j, EGP max)，W alpha= (Y tar-M Y)/M W，其中步驟704_1與步驟704_2中所描述之符號皆與第2圖的實施例相同。
步驟705: 產生信號S1及S2，其中信號S1係根據EGP rgb來控制該下一圖框的紅綠藍像素陣列511的曝光時間與增益，而信號S2係根據EGP w來控制白色像素陣列512的曝光時間與增益。
步驟706:傳送信號S1及S2至該原始感應器510。
步驟707:接收圖框j的紅綠藍像素陣列、白色像素陣列以及補償係數的資料，並計算紅綠藍像素陣列的新資料，詳細來說，弱光補償單元560接收紅綠藍像素陣列511、白色像素陣列512以及補償係數W alpha的資料，並根據公式(3-1)至(3-4)計算該圖框的紅綠藍像素陣列的新資料以補償該圖框的亮度。
在第1圖至第7圖的實施例中，像素陣列的統計平均並不限定為加權平均，可以是代表像素陣列的亮度的任何平均值。
本發明的雙曝光控制電路以及相關方法並不限定應用於紅綠藍像素陣列以及白色像素陣列，亦可應用在任何具有兩組不同靈敏度如綜合尺寸的像素陣列、具有不同穿透度的透鏡或色彩濾波器、雙轉換增益以及雙類比電路增益等等的感應器。第8圖係根據本發明一實施例之雙曝光增益的範例示意圖，以綜合尺寸像素陣列為例，一像素陣列P1具有較小尺寸如本發明的紅綠藍像素陣列而一像素陣列P2具有較大尺寸如本發明的白色像素陣列，如第8圖的子圖(A)所示，像素陣列P2的尺寸為像素陣列P1的4倍大，因此像素陣列P2的靈敏度亦為像素陣列P1的4倍大，在此範例中，像素陣列P2如本發明所揭露的白色像素陣列般操作而像素陣列P1如本發明所揭露的紅綠藍像素陣列般操作。以具有不同穿透度的透鏡/色彩濾波器為例，如第8圖的子圖(B)所示，利用不同厚度或是穿透度的微透鏡或色彩濾波器來產生像素與像素之間不同的靈敏度，其中具有較高靈敏度的像素可視為白色像素陣列而具有較低靈敏度的像素可視為紅綠藍像素陣列。以Aptina DR-pix所出產的白紙
(whitepaper)中的雙轉換增益為例，在此範例中，轉換增益代表輸出電壓以及電子之間的增益，因此，在電子數量固定時，具有較高轉換增益的一組像素相比具有較低轉換增益的一組像素會獲得相對較高的輸出電壓，其中具有較高轉換增益的該組像素可視為本發明中的白色像素陣列而具有較低轉換增益的該組像素可視為本發明中的紅綠藍像素陣列。再以雙類比電路增益為例，兩組像素陣列可以選擇不同的增益來獲得本發明中白色像素陣列與紅綠藍像素陣列達到的效果，其類似於上述的雙轉換增益，唯一差異在於其為由類比電路所設定的類比電路增益，這些設計上的改變皆應隸屬於本發明的範疇。   以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
100、500‧‧‧影像系統
110、510‧‧‧原始感應器
111、511‧‧‧紅綠藍像素陣列
112、512‧‧‧白色像素陣列
113、114、513、514‧‧‧信號調節器
120、520‧‧‧原始處理區塊
130、530‧‧‧去馬賽克區塊
140、550‧‧‧紅綠藍處理區塊
160、570‧‧‧弱光補償單元
150、560‧‧‧自動曝光引擎
170、580‧‧‧伽瑪與YUV處理區塊
201‧‧‧計算單元
202、603‧‧‧補償器
203、604‧‧‧決定電路
540‧‧‧白-紅綠藍至紅綠藍轉換區塊
601‧‧‧第一計算單元
602‧‧‧第二計算單元
P1、P2‧‧‧像素陣列
第1圖係根據本發明一實施例之具有雙曝光控制電路的一影像系統的示意圖。 第2圖係根據第1圖所示影像系統的自動曝光引擎的示意圖。 第3圖係根據本發明一實施例之應用於第1圖及第2圖所示的雙曝光控制電路的一方法流程圖。 第4圖係根據第1圖及第2圖所示的一雙曝光控制電路的一工作條件示意圖。 第5圖係根據本發明另一實施例之一影像系統的示意圖。 第6圖係根據第5圖所示影像系統的自動曝光引擎的示意圖。 第7圖係根據本發明另一實施例之應用雙曝光控制電路的一方法流程圖。 第8圖係根據本發明一實施例之雙曝光增益的範例示意圖。
100‧‧‧影像系統
110‧‧‧原始感應器
111‧‧‧紅綠藍像素陣列
112‧‧‧白色像素陣列
113、114‧‧‧信號調節器
120‧‧‧原始處理區塊
130‧‧‧去馬賽克區塊
140‧‧‧紅綠藍處理區塊
160‧‧‧弱光補償單元
150‧‧‧自動曝光引擎
170‧‧‧伽瑪與YUV處理區塊

Claims (20)

  1. 一影像系統的一雙曝光控制電路，包含: 一原始感應器，包含一第一組像素陣列、一第二組像素陣列以及用以調整該第一組像素陣列以及該第二組像素陣列的增益與曝光時間的至少一信號調節器； 一自動曝光引擎，包含: 一第一計算單元，其中該第一計算單元根據由該第一組像素陣列所感應的一目前圖框的資料來計算一統計值，並比較該統計值與一目標影像亮度來產生一比較結果； 一補償器，耦接至該第一計算單元，其中該補償器根據該比較結果產生一指示參數以指出該第一組像素陣列以及該第二組像素陣列的該增益或該曝光時間；以及 一決定電路，耦接至該補償器，其中該決定電路係根據該指示參數來決定一補償係數以及一第一控制信號，其中當該決定電路判斷該影像系統操作在一正常光模式時，該決定電路傳送該第一控制信號至該信號調節器以控制該第二組像素陣列的該增益或該曝光時間為少於該第一組像素陣列的該增益或該曝光時間的一數值；且當該決定電路判斷該影像系統操作在一弱光模式時，該決定電路傳送該第一控制信號至該信號調節器使該第二組像素陣列的該增益或該曝光時間大於當影像系統操作在該正常光模式時的該增益或該曝光時間；以及 一弱光補償單元，其中該弱光補償單元使用該補償係數來補償由該第一組像素陣列所感應的一下一圖框的資料。
  2. 如申請專利範圍第1項的該影像系統的該雙曝光控制電路，其中該指示參數係一目標曝光時間與增益的乘積，且當該第一組像素陣列的該目標曝光時間與增益的乘積小於該第一組像素陣列的曝光時間與增益的乘積的一最大值時，該影像系統操作在該正常光模式，設定該下一圖框的該第一組像素陣列的該曝光時間與增益的乘積為該下一圖框的該第一組像素陣列的該目標曝光時間與增益的乘積，且設定該下一圖框的該第二組像素陣列的一曝光時間與增益的乘積小於該第一組像素陣列的該曝光時間與增益乘積，並且設定該補償係數為零。
  3. 如申請專利範圍第1項的該影像系統的該雙曝光控制電路，其中該指示參數係一目標曝光時間與增益的乘積，且當該第一組像素陣列的該目標曝光時間與增益的乘積大於該第一組像素陣列的曝光時間與增益的乘積的一最大值時，該影像系統操作在該弱光模式，設定該下一圖框的該第一組像素陣列的該曝光時間與增益的乘積為該第一組像素陣列的曝光時間與增益的乘積的該最大值，而設定該下一圖框的該第二組像素陣列的一曝光時間與增益的乘積為: min(R 0*EGP j, EGP max)       且設定該補償係數為: R 0*(EGP j-EGP max)/EGP       其中min為一最小值運算子，R 0為該第一組像素陣列的該曝光時間與增益乘積以及該第二組像素陣列的該曝光時間與增益乘積之間的比例，EGP j為該下一圖框的該第一組像素陣列的該目標曝光時間與增益的乘積，EGP max為該曝光時間與增益的乘積的該最大值，而EGP為該下一圖框中該第二組像素陣列的曝光時間與增益的乘積。
  4. 如申請專利範圍第1項的該影像系統的該雙曝光控制電路，其中該決定電路另根據該比較結果來決定一第二控制信號，且該第二控制信號係用以控制該下一圖框的該第一組像素陣列的該曝光時間。
  5. 如申請專利範圍第4項的該影像系統的該雙曝光控制電路，其中該第二控制信號另用以控制該第一組像素陣列的該信號調節器的增益，且該第一控制信號係用以控制該原始感應器中該下一圖框的該第二組像素陣列的該曝光時間以及該第二組像素陣列的至少一類比信號調節器的增益。
  6. 如申請專利範圍第1項的該影像系統的該雙曝光控制電路，其中該自動曝光引擎另包含一第二計算單元，其中該第二計算單元係用以計算該目前圖框的該第二組像素陣列的一統計平均值。
  7. 如申請專利範圍第6項的該影像系統的該雙曝光控制電路，其中該決定電路另用以決定一目標曝光時間與增益的乘積，且當該第一組像素陣列的該目標曝光時間與增益的乘積少於該第一組像素陣列的曝光時間與增益的乘積的該最大值時，該影像系統操作在該正常光模式，則設定該下一圖框的該第一組像素陣列的該曝光時間與增益的乘積為該下一圖框的該第一組像素陣列的該目標曝光時間與增益的乘積，設定該下一圖框的該第二組像素陣列的一曝光時間與增益的乘積為小於該第一組像素陣列的該曝光時間與增益的乘積，而設定該補償係數為零。
  8. 如申請專利範圍第6項的該影像系統的該雙曝光控制電路，其中當該第一組像素陣列的該目標曝光時間與增益的乘積大於該第一組的曝光時間與增益的乘積的該最大值時，該影像系統操作在該弱光模式，設定該下一圖框的該第一組像素陣列的該曝光時間與增益的乘積為該第一組像素陣列與該第二組像素陣列地的曝光時間與增益的乘積的該最大值，設定該下一圖框的該第二組像素陣列的該曝光時間與增益的乘積為 min(R 0*EGP j, EGP max)       而設定該補償係數為 (M Y,target-M Y[n])/M [n]其中M Y,target係該目標影像亮度，M Y[n]係該目前圖框的該第一組像素陣列的該統計平均值，而M [n]係該目前圖框的該第二組像素陣列的該統計平均值。
  9. 如申請專利範圍第6項的該影像系統的該雙曝光控制電路，其中該第二控制信號係用以控制在該原始感應器中該第一組像素陣列的一信號調節器的增益以及該第一組像素陣列的該曝光時間，而該第一控制信號係用以控制在該原始感應器中該第二組像素陣列的一信號調節器的該增益以及該第二組像素陣列的該曝光時間。
  10. 如申請專利範圍第1項的該影像系統的該雙曝光控制電路，其中該第一組像素陣列係由紅色、綠色、藍色像素中的至少其中之一所組成，而該第二組像素陣列為白色像素陣列，或者，該第一組像素陣列以及該第二組像素陣列為具有不同靈敏度的兩組像素陣列，其中該第二組像素陣列相比該第一組像素陣列具有較高的靈敏度。
  11. 一種應用於一影像系統的雙曝光控制方法，包含: 根據一第一組像素陣列所感應到的一目前圖框的資料來計算一統計平均值，並比較該統計平均值與一目標影像亮度來產生一比較結果； 根據該比較結果產生一指示參數以說明該第一組像素陣列與一第二組像素陣列的增益或曝光時間； 根據該指示參數來決定一補償係數以及一第一控制信號，其中當該目前圖框的一亮度等級大於一預設值時，該影像系統操作在一正常光模式並傳送該第一控制信號來控制該第二組像素陣列的該增益或該曝光時間為小於該第一組像素陣列的該增益或該曝光時間的一固定值；而當該影像系統操作在一弱光模式時，傳送該第一控制信號使該第二組像素陣列的該增益或該曝光時間大於當該影像系統操作在該正常光模式時的該增益或該曝光時間；以及 使用該補償係數來補償由該第一組像素陣列所感應到的一下一圖框的資料。
  12. 如申請專利範圍第11項的應用於該影像系統的該雙曝光控制方法，其中該指示參數係一目標曝光時間與增益的乘積，且當該第一組像素陣列的該目標曝光時間與增益的乘積小於該第一組像素陣列的曝光時間與增益的乘積的一最大值時，該影像系統操作在該正常光模式，設定該下一圖框的該第一組像素陣列的該曝光時間與增益的乘積為該下一圖框的該第一組像素陣列的該目標曝光時間與增益的乘積，且設定該下一圖框的該第二組像素陣列的一曝光時間與增益的乘積小於該第一組像素陣列的該曝光時間與增益的乘積，並且設定該補償係數為零。
  13. 如申請專利範圍第11項的應用於該影像系統的該雙曝光控制方法，其中該指示參數係一目標曝光時間與增益的乘積，且當該第一組像素陣列的該目標曝光時間與增益的乘積大於該第一組像素陣列的曝光時間與增益的乘積的一最大值時，該影像系統操作在該弱光模式，設定該下一圖框的該第一組像素陣列的該曝光時間與增益的乘積為該第一組像素陣列的曝光時間與增益的乘積的該最大值，而設定該下一圖框的該第二組像素陣列的一曝光時間與增益的乘積為: min(R 0*EGP j, EGP max)       且設定該補償係數為: R 0*(EGP j-EGP max)/EGP       其中min為一最小值運算子，R 0為該第一組像素陣列的該曝光時間與增益的乘積以及該第二組像素陣列的該曝光時間與增益的乘積之間的比例，EGP j為該下一圖框的該第一組像素陣列的該目標曝光時間與增益的乘積，EGP max為該曝光時間與增益的乘積的該最大值，而EGP為該下一圖框中該第二組像素陣列的曝光時間與增益的乘積。
  14. 如申請專利範圍第11項的應用於該影像系統的該雙曝光控制方法，另包含: 根據該比較結果來決定一第二控制信號，其中該第二控制信號係用以控制該下一圖框的該第一組像素陣列的該曝光時間。
  15. 如申請專利範圍第13項的應用於該影像系統的該雙曝光控制方法，其中該第二控制信號另用以控制該第一組像素陣列的該增益，而該第一控制信號係用以控制該下一圖框的該第二組像素陣列的該增益及該第二組像素陣列的該曝光時間。
  16. 如申請專利範圍第11項的應用於該影像系統的該雙曝光控制方法，另包含: 計算該目前圖框的該第二組像素陣列的一統計平均值。
  17. 如申請專利範圍第16項的應用於該影像系統的該雙曝光控制方法，其中該指示參數為該目標曝光時間與增益的乘積，且當該第一組像素陣列的該目標曝光時間與增益的乘積小於該第一組像素陣列的曝光時間與增益的乘積的該最大值時，該影像系統操作在該正常光模式，則設定該下一圖框的該第一組像素陣列的該曝光時間與增益的乘積為該下一圖框的該第一組像素陣列的該目標曝光時間與增益的乘積，設定該下一圖框的該第二組像素陣列的一曝光時間與增益的乘積為小於該第一組像素陣列的該曝光時間與增益的乘積，並設定該曝光係數為零。
  18. 如申請專利範圍第16項的應用於該影像系統的該雙曝光控制方法，其中該指示參數為該目標曝光時間與增益的乘積，且當該第一組像素陣列的該目標曝光時間與增益的乘積大於該第一組像素陣列的曝光時間與增益的乘積的該最大值，該影像系統操作在該弱光模式，則設定該下一圖框的該第一組像素陣列的該曝光時間與增益的乘積為該第一組像素陣列與該第二組像素陣列的曝光時間與增益的乘積的該最大值，設定該下一圖框的該第二組像素陣列的該曝光時間與增益的乘積為 min(R 0*EGP j, EGP max)       而設定該補償係數為 (M Y,target-M Y[n])/M [n]其中M Y,target係該目標影像亮度，M Y[n]係該目前圖框的該第一組像素陣列的該統計平均值，而M [n]係該目前圖框的該第二組像素陣列的該統計平均值。
  19. 如申請專利範圍第16項的應用於該影像系統的該雙曝光控制方法，其中該第二控制信號係用以控制該第一組像素陣列的該增益以及該第一組像素陣列的該曝光時間，而該第一控制信號係用以控制該第二組像素陣列的該增益以及該第二組像素陣列的該曝光時間。
  20. 如申請專利範圍第11項的應用於該影像系統的該雙曝光控制方法，其中該第一組像素陣列係由紅色、綠色、藍色像素中的至少其中之一所組成，而該第二組像素陣列為白色像素陣列，或者，該第一組像素陣列以及該第二組像素陣列為具有不同靈敏度的兩組像素陣列，其中該第二組像素陣列相比該第一組像素陣列具有較高的靈敏度。
TW104133627A 2015-07-13 2015-10-14 雙曝光控制電路以及相關方法 TWI539811B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US14/797,185 US9467632B1 (en) 2015-07-13 2015-07-13 Dual exposure control circuit and associated method

Publications (2)

Publication Number Publication Date
TWI539811B true TWI539811B (zh) 2016-06-21
TW201703508A TW201703508A (zh) 2017-01-16

Family

ID=56756030

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104133627A TWI539811B (zh) 2015-07-13 2015-10-14 雙曝光控制電路以及相關方法

Country Status (2)

Country Link
US (1) US9467632B1 (zh)
TW (1) TWI539811B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11244478B2 (en) * 2016-03-03 2022-02-08 Sony Corporation Medical image processing device, system, method, and program
DE102016208409A1 (de) * 2016-05-17 2017-11-23 Robert Bosch Gmbh Sensormodul, Verfahren zum Ermitteln einer Helligkeit und/oder einer Farbe einer elektromagnetischen Strahlung und Verfahren zum Herstellen eines Sensormoduls
US9871972B2 (en) * 2016-06-21 2018-01-16 Himax Imaging Limited Auto exposure control system and method
CN114785964B (zh) * 2019-08-14 2024-03-01 原相科技股份有限公司 具有两种曝光模式的摄像系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7167280B2 (en) * 2001-10-29 2007-01-23 Eastman Kodak Company Full content film scanning on a film to data transfer device
US20060164533A1 (en) * 2002-08-27 2006-07-27 E-Phocus, Inc Electronic image sensor
JP2013021660A (ja) 2011-07-14 2013-01-31 Sony Corp 画像処理装置、撮像装置、および画像処理方法、並びにプログラム
JP6006543B2 (ja) 2012-06-22 2016-10-12 キヤノン株式会社 画像処理装置および画像処理方法
US9293500B2 (en) 2013-03-01 2016-03-22 Apple Inc. Exposure control for image sensors
US9077913B2 (en) 2013-05-24 2015-07-07 Google Inc. Simulating high dynamic range imaging with virtual long-exposure images
JP2015041890A (ja) 2013-08-22 2015-03-02 ソニー株式会社 制御装置、制御方法、および電子機器
TWI690209B (zh) 2013-09-25 2020-04-01 新力股份有限公司 固體攝像裝置、攝像裝置及電子機器

Also Published As

Publication number Publication date
US9467632B1 (en) 2016-10-11
TW201703508A (zh) 2017-01-16

Similar Documents

Publication Publication Date Title
US7102669B2 (en) Digital color image pre-processing
US8130292B2 (en) Scene illumination adaptive lens shading correction for imaging devices
US8988563B2 (en) Dual parallel processing of frames of raw image data
US20180097992A1 (en) Global Tone Mapping
JP5527448B2 (ja) 画像入力装置
US8228406B2 (en) Adaptive lens shading correction
JP4187004B2 (ja) 撮像装置および撮像装置の露光制御方法
US9148633B2 (en) Imaging apparatus and method of calculating color temperature
WO2009133931A1 (ja) 撮像装置及び撮像素子
WO2016098641A1 (ja) 撮像装置、撮像方法、およびプログラム
US20110298945A1 (en) Compensation for black level changes
TWI539811B (zh) 雙曝光控制電路以及相關方法
WO2010116923A1 (ja) 画像入力装置
US9444979B2 (en) Imaging device and image processing method
US20030184673A1 (en) Automatic exposure control for digital imaging
WO2019104047A1 (en) Global tone mapping
EP2471257A1 (en) Image capture device
US7701462B2 (en) Simple and robust color saturation adjustment for digital images
US20040179113A1 (en) White balance adjustment circuit and image-capturing apparatus
JP5098908B2 (ja) 画像入力装置
JP2005027033A (ja) カラー撮像装置
JP4364867B2 (ja) 撮像装置
US10937230B2 (en) Image processing
JP2009290795A (ja) 画像処理装置、画像処理方法、画像処理プログラム、記録媒体、および電子情報機器
JP2007267170A (ja) 彩度調整機能を有する電子カメラ、および画像処理プログラム