TWI683574B - 高動態範圍成像系統與方法 - Google Patents

Abstract

一種高動態範圍成像系統包含像素陣列，提供高感光度信號與低感光度信號；及高動態範圍編碼器，根據高感光度信號與低感光度信號以產生編碼信號。當高感光度信號未大於預設臨界值時，則將旗標位元設為主動，否則將旗標位元設為非主動。

Description

高動態範圍成像系統與方法

本發明係有關一種成像系統與方法，特別是關於一種可適用於全域或旋轉快門之高動態範圍(HDR)成像系統與方法。

互補式金屬氧化物半導體(CMOS)影像感測器普遍應用於行動應用。互補式金屬氧化物半導體(CMOS)影像感測器也適用於其他應用，例如汽車或保全應用。然而，汽車或保全應用的要求異於行動應用的要求。例如，汽車或保全應用要求高動態範圍(high dynamic range, HDR)，使得非常暗與非常亮的場景可於同一訊框擷取到好品質的影像。

像素的動態範圍可藉由分割像素成為一大一小的光二極體來達到。然而，由於長曝光與短曝光通常不會重疊，因而會產生有害的移動假影(artifact)。移動假影會因為長曝光像素與短曝光像素之間的不同曝光時間而產生。長曝光像素會造成移動模糊，形成物件邊緣的拖曳現象。

鑑於此，因而提出一些高動態範圍成像系統，其使用空間中(spatial)配置之像素陣列或時間中(temporal)多次曝光訊框。然而，傳統高動態範圍成像系統需要較多的類比至數位轉換週期或者像素資料位元。

因此亟需提出一種新穎的高動態範圍成像機制，以克服傳統高動態範圍成像系統的缺失。

鑑於上述，本發明實施例的目的之一在於提出一種高動態範圍(HDR)成像系統與方法，具增強動態範圍，可有效降低所產生及傳送的資料量或/且降低類比至數位轉換週期。

根據本發明實施例，高動態範圍成像系統包含像素陣列及高動態範圍編碼器。像素陣列提供高感光度信號與低感光度信號。高動態範圍編碼器根據高感光度信號與低感光度信號以產生編碼信號。當高感光度信號未大於預設臨界值時，則將旗標位元設為主動，否則將旗標位元設為非主動。

第一A圖顯示本發明第一實施例之高動態範圍(high-dynamic-range, HDR)成像系統100的方塊圖，第一B圖顯示本發明實施例之高動態範圍成像方法的流程圖。高動態範圍成像系統(以下簡稱成像系統)100與高動態範圍成像方法(以下簡稱成像方法)可適用於機器視覺(machine vision)相機。

在本實施例中，成像系統100可包含像素陣列(pixel array)10(步驟101)，其可包含複數高感光度(sensitivity)像素10H與複數低感光度像素10L，其中高感光度像素10H的感光度高於低感光度像素10L。第二A圖例示第一A圖之像素陣列10的示意圖，其中高感光度像素10H於空間上(spatially)設於奇數列，低感光度像素10L設於偶數列。第二B圖例示第一A圖之另一個像素陣列10的示意圖，其中高感光度像素10H與低感光度像素10L於空間上交叉設置。

第二C圖例示高感光度像素10H所產生之高感光度信號、低感光度像素10L所產生之低感光度信號與入射光亮度的關係曲線。根據圖示，高感光度像素10H對於光線的敏感度大於低感光度像素10L，但是高感光度像素10H較快達到飽和(saturation)，如第二C圖所例示的飽和準位。在本說明書中，信號一詞可指稱類比電子信號或數位資料信號，可從上下文容易得知。

除了上述空間上的配置，高感光度信號與低感光度信號也可使用其他機制來產生，例如長/短曝光時間、高/低增益或大/小曝光-增益乘積。在另一實施例中，高感光度信號與低感光度信號可由時間上(temporal)的配置來產生。舉例而言，高感光度信號從目前訊框(frame)產生，低感光度從下一訊框產生，其中下一訊框具較短曝光時間(或較低增益或較小曝光-增益乘積)。所產生的高感光度信號如果為類比形式，可儲存於電容器；如果為數位形式，可儲存於記憶體。關於時間上配置的細節可參閱Bo Zhao等人提出的“64x64晶載移動物件偵測與定位之互補式金屬氧化物半導體影像感測器(A 64 × 64 CMOS Image Sensor With On-Chip Moving Object Detection and Localization)”，發表於電機電子工程師學會影像技術之電路與系統會刊(IEEE Transactions on Circuits and Systems for Video Technology)，第22冊，第4期，2012年四月；及Dongsoo Kim等人提出的“用於無線感測網路之具11電晶體/像素的三態智慧視覺感測器(Tri-Mode Smart Vision Sensor With 11-Transistors/Pixel for Wireless Sensor Networks)”，發表於電機電子工程師學會感測器期刊(IEEE Sensors Journal)，第13冊，第6期，2013年六月，其內容視為本說明書的一部份。

高感光度信號與低感光度信號可使用適當的曝光機制來產生，例如全域快門(global shutter)或旋轉快門(rolling shutter)。於全域快門機制，使用具第一曝光時間與增益的像素陣列以擷取第一訊框。於讀出第一訊框後，使用具第二曝光時間與增益的像素陣列以擷取第二訊框，其中第二曝光時間與增益的乘積大於第一曝光時間與增益的乘積。合成第一訊框與第二訊框可得到高動態範圍影像。於旋轉快門機制，非一次曝光整個像素陣列以擷取訊框，而是垂直或水平方式一行一行掃描。上述曝光機制的細節可參閱Johannes Solhusvik等人於2013年提出的“用於汽車應用的高動態範圍互補式金屬氧化物半導體影像感測器的比較(A comparison of high dynamic range CIS technologies for automotive applications)”；及Trygve Willassen等人於2015年提出的“使用110奈米背面發光互補式金屬氧化物半導體製程之1280x1280 4.2微米分割二極體像素的高動態範圍感測器(A 1280 x 1080 4 . 2 μ m Split-diode Pixel HDR Sensor in 110 nm BSI CMOS Process)”， 其內容視為本說明書的一部份。

於步驟102，決定高感光度像素與低感光度像素的感光比(sensitivity ratio)。在本實施例中，高動態範圍影像訊框的感光比為固定值。本實施例之成像系統100可包含類比至數位轉換器(ADC)11，用以將(像素陣列10產生的)信號從類比形式等效轉換為數位形式。其中，類比至數位轉換器11可將(高感光度像素10H產生的)類比高感光度信號轉換為數位高感光度信號S _H，且將(低感光度像素10L產生的)類比低感光度信號轉換為數位低感光度信號S _L。

本實施例之成像系統100可包含記憶體12，例如動態隨機存取記憶體(DRAM)或靜態隨機存取記憶體(SRAM)，用以暫存高感光度信號S _H與低感光度信號S _L的至少其中之一。根據本實施例的特徵之一，成像系統100可包含高動態範圍編碼器13(其包含記憶體12)，從類比至數位轉換器11與記憶體12接收高感光度信號S _H與低感光度信號S _L(步驟103)，據以產生編碼信號S _E。於步驟104，比較高感光度信號S _H與預設臨界值S _T。在本實施例中，預設臨界值S _T可等於或小於高低感光度信號的飽和準位。如果高感光度信號S _H未大於預設臨界值S _T(亦即S _H＜=S _T)，將旗標位元設為主動(asserted)(例如值為“1”)並串連至高感光度信號S _H以產生編碼信號S _E(步驟105)。例如，將主動的旗標位元(值為“1”)串連作為最高有效位元(MSB)。如果高感光度信號S _H為N位元，則編碼信號S _E為(N+1)位元，其最高有效位元(MSB)為“1”(亦即S _E=2 ^N+S _H)。相反的，如果高感光度信號S _H大於預設臨界值S _T(亦即S _H＞S _T)，將旗標位元設為非主動(de-asserted)(例如值為“0”)並串連至低感光度信號S _L以產生編碼信號S _E，例如為(N+1)位元，其最高有效位元(MSB)為“0”(亦即S _E=S _L)(步驟106)。

本實施例之成像系統100可包含發射器14，其接收並傳送編碼信號S _E(步驟107)。另一方面，成像系統100可包含接收器15，其接收所傳送的編碼信號S _E(步驟108)。本實施例之發射器14與接收器15可操作為有線方式或無線方式。

在本實施例中，成像系統100可包含高動態範圍解碼器16，其接收編碼信號S _E並據以產生解碼信號S­ _D。於步驟109，決定所接收之編碼信號S _E的旗標位元(亦即最高有效位元)是否為主動(例如“1”)。如果旗標位元為主動(例如“1”)，則除去所接收之編碼信號S _E的旗標位元以產生解碼信號S­ _D(步驟110)。另一方面，如果旗標位元為非主動(例如“0”)，則將所接收之編碼信號S _E乘以(步驟102之)感光比以產生解碼信號S­ _D，亦即S _D=R*S _E(步驟111)。

根據上述實施例，像素陣列10的動態範圍可有效增加，如第二D圖所示。更重要的是，本實施例僅需產生及傳送一個額外(旗標)位元。相反的，於未使用本實施例之高動態範圍編碼器13的成像系統中，需產生及傳送多個額外位元。例如，當高感光度信號與低感光度信號為10位元數位資料且感光比為16，則輸出信號需要14位元。感光比愈高，則需更多位元與功耗。

第三圖顯示本發明第二實施例之高動態範圍成像系統200的方塊圖。於第三圖中，類似於第一實施例(第一A圖)的方塊以相同的元件符號表示，其細節不予贅述，且沿用第一B圖所示的流程圖。

類似於第一A圖的高動態範圍編碼器13，本實施例之高動態範圍成像系統(以下簡稱成像系統)200可包含比較器131，其接收並比較(高感光度像素10H所產生之)高感光度信號S _H與預設臨界值S _T(步驟104)。如果高感光度信號S _H未大於預設臨界值S _T(亦即S _H＜=S _T)，比較器131產生主動的旗標位元C _cmp(例如值為“1”)；否則比較器131產生非主動的旗標位元C _cmp(例如值為“0”)。

本實施例之成像系統200可包含多工器132，其根據旗標位元C _cmp以選擇高感光度信號S _H與低感光度信號S­ _L的其中之一作為多工信號S _M。如果旗標位元C _cmp為主動，則多工信號S _M為高感光度信號S _H；否則多工信號S _M為低感光度信號S­ _L。

本實施例之成像系統200可包含類比至數位轉換器(ADC)11，用以將多工信號S _M從類比形式等效轉換為數位形式，因而產生數位多工信號S _M。

在本實施例中，成像系統200可包含串連單元133，其接收數位多工信號S _M，根據旗標位元C _cmp以產生編碼信號S _E。如果旗標位元C _cmp為主動，將主動的旗標位元C _cmp(其值為“1”作為最高有效位元)串連至多工信號S _M，亦即高感光度信號S _H(步驟105)。例如，如果高感光度信號S _H為N位元，則編碼信號S _E為(N+1)位元，其最高有效位元(MSB)為“1”(亦即S _E=2 ^N+S _H)。相反的，如果旗標位元C _cmp為非主動，將非主動的旗標位元C _cmp(其值為“0”作為最高有效位元)串連至多工信號S _M(低感光度信號S _H)，亦即S _E=S _L(步驟106)。

相較於第一實施例(第一A圖)，本實施例之比較器131與多工器132所執行的編碼先於類比至數位轉換器11所進行之轉換。因此，本實施例可有效降低類比至數位轉換週期，因為僅有高感光度信號S _H與低感光度信號S _L的其中之一進行類比至數位轉換。也就是說，本實施例之類比至數位轉換最多僅需之前實施例的一半。對於未使用本實施例之第三圖架構者，需要更多的類比至數位轉換週期。例如，對於空間中(spatial)配置的MxN像素陣列，需要MxN類比至數位轉換週期，而非如本實施例僅需MxN/2轉換週期。對於時間中(temporal)高動態範圍例子，例如交錯(staggered)高動態範圍，其曝光(並讀出)像素陣列Z次，則需MxNxZ類比至數位轉換週期，而非如本實施例僅需MxNxZ/2轉換週期。

第四圖顯示本發明第三實施例之高動態範圍成像系統300的方塊圖。於第四圖中，類似於第一實施例(第一A圖)或第二實施例(第三圖)的方塊以相同的元件符號表示，其細節不予贅述，且沿用第一B圖所示的流程圖。

在本實施例中，高動態範圍成像系統(以下簡稱成像系統)300可包含類比信號調節器(analog signal conditioner, ASC)31，其接收並調節(例如執行電流/電壓轉換、相關雙重取樣(CDS)、濾波或/且放大)高感光度像素10H與低感光度像素10L所收集的信號，因而產生高感光度信號S _H與低感光度信號S _L。

類似於先前實施例，本實施例僅需產生並傳送一個(旗標)位元，而非如傳統成像系統通常需產生多個位元。此外，相較於傳統系統，本實施例僅需一半的類比至數位轉換週期。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

100‧‧‧高動態範圍成像系統

200‧‧‧高動態範圍成像系統

300‧‧‧高動態範圍成像系統

10‧‧‧像素陣列

10H‧‧‧高感光度像素

10L‧‧‧低感光度像素

11‧‧‧類比至數位轉換器

12‧‧‧記憶體

13‧‧‧高動態範圍編碼器

131‧‧‧比較器

132‧‧‧多工器

133‧‧‧串連單元

14‧‧‧發射器

15‧‧‧接收器

16‧‧‧高動態範圍解碼器

31‧‧‧類比信號調節器

101‧‧‧提供高動態範圍像素陣列

102‧‧‧決定感光比

103‧‧‧接收高感光度信號與低感光度信號

104‧‧‧比較高感光度信號與預設臨界值

105‧‧‧編碼信號等於高感光度信號串連最高有效位元

106‧‧‧編碼信號等於低感光度信號

107‧‧‧傳送編碼信號

108‧‧‧接收所傳送的編碼信號

109‧‧‧決定旗標位元是否為主動

110‧‧‧除去旗標位元以產生解碼信號

111‧‧‧編碼信號乘以感光比以產生解碼信號

S _H‧‧‧高感光度信號

S _L‧‧‧低感光度信號

S _E‧‧‧編碼信號

S _T‧‧‧預設臨界值

S _D‧‧‧解碼信號

R‧‧‧感光比

S _M‧‧‧多工信號

第一A圖顯示本發明第一實施例之高動態範圍成像系統的方塊圖。 第一B圖顯示本發明實施例之高動態範圍成像方法的流程圖。 第二A圖例示第一A圖之像素陣列的示意圖。 第二B圖例示第一A圖之另一個像素陣列的示意圖。 第二C圖例示高感光度像素所產生之高感光度信號、低感光度像素所產生之低感光度信號與入射光亮度的關係曲線。 第二D圖例示具增強動態範圍之高感光度信號、低感光度信號與入射光亮度的關係曲線。 第三圖顯示本發明第二實施例之高動態範圍成像系統的方塊圖。 第四圖顯示本發明第三實施例之高動態範圍成像系統的方塊圖。

101‧‧‧提供高動態範圍像素陣列

102‧‧‧決定感光比

103‧‧‧接收高感光度信號與低感光度信號

104‧‧‧比較高感光度信號與預設臨界值

105‧‧‧編碼信號等於高感光度信號串連最高有效位元

106‧‧‧編碼信號等於低感光度信號

107‧‧‧傳送編碼信號

108‧‧‧接收所傳送的編碼信號

109‧‧‧決定旗標位元是否為主動

110‧‧‧除去旗標位元以產生解碼信號

111‧‧‧編碼信號乘以感光比以產生解碼信號

Claims (11)

1. 一種高動態範圍成像系統，包含：一像素陣列，提供高感光度信號與低感光度信號；及一高動態範圍編碼器，根據該高感光度信號與該低感光度信號以產生編碼信號；其中當該高感光度信號小於預設臨界值時，則將旗標位元設為主動，否則將該旗標位元設為非主動，其中該預設臨界值等於或小於該高感光度信號的飽和準位；其中當該高感光度信號小於該預設臨界值，則將主動之該旗標位元串連至該高感光度信號以產生該編碼信號；否則將非主動之該旗標位元串連至該低感光度信號以產生該編碼信號。
2. 根據申請專利範圍第1項所述之高動態範圍成像系統，更包含：一類比至數位轉換器，設於該像素陣列與該高動態範圍編碼器之間，用以將該高感光度信號與該低感光度信號從類比形式轉換為數位形式；其中當數位形式之該高感光度信號小於該預設臨界值，則將主動之該旗標位元串連至數位形式之該高感光度信號以產生該編碼信號；否則將非主動之該旗標位元串連至數位形式之該低感光度信號以產生該編碼信號。
3. 根據申請專利範圍第2項所述之高動態範圍成像系統，更包含：一高動態範圍解碼器，根據該編碼信號以產生解碼信號；其中當該旗標位元為主動時，則除去該旗標位元以產生該解碼信號；否則將該編碼信號乘以高感光度像素與低感光度像素之間的感光比以產生該解碼信號。
4. 根據申請專利範圍第2項所述之高動態範圍成像系統，其中該高動態範圍編碼器更包含：一記憶體，暫存該高感光度信號與該低感光度信號的至少其中之一。
5. 根據申請專利範圍第1項所述之高動態範圍成像系統，其中該高動態範圍編碼器包含：一比較器，比較該高感光度信號與該預設臨界值；其中當該高感光度信號小於該預設臨界值時，則該比較器產生主動的該旗標位元；否則該比較器產生非主動的該旗標位元。
6. 根據申請專利範圍第5項所述之高動態範圍成像系統，其中該高動態範圍編碼器更包含：一多工器，根據該旗標位元以選擇該高感光度信號與該低感光度信號的其中之一作為多工信號；一類比至數位轉換器，用以將該多工信號從類比形式轉換為數位形式；及一串連單元，接收數位形式之該多工信號，根據該旗標位元以產生該編碼信號；其中當該旗標位元為主動，則該多工信號為該高感光度信號，且將主動的該旗標位元串連至數位形式之該高感光度信號以產生該編碼信號；否則該多工信號為該低感光度信號，且將非主動的該旗標位元串連至數位形式之該低感光度信號以產生該編碼信號。
7. 一種高動態範圍成像方法，包含：提供一像素陣列以產生高感光度信號與低感光度信號；決定高感光度像素與低感光度像素之間的感光比；及根據該高感光度信號與該低感光度信號以產生編碼信號； 其中當該高感光度信號小於預設臨界值時，則將旗標位元設為主動，否則將該旗標位元設為非主動，其中該預設臨界值等於或小於該高感光度信號的飽和準位；其中當該高感光度信號小於該預設臨界值，則將主動之該旗標位元串連至該高感光度信號以產生該編碼信號；否則將非主動之該旗標位元串連至該低感光度信號以產生該編碼信號。
8. 根據申請專利範圍第7項所述之高動態範圍成像方法，更包含：將該高感光度信號與該低感光度信號從類比形式轉換為數位形式；其中當數位形式之該高感光度信號小於該預設臨界值，則將主動之該旗標位元串連至數位形式之該高感光度信號以產生該編碼信號；否則將非主動之該旗標位元串連至數位形式之該低感光度信號以產生該編碼信號。
9. 根據申請專利範圍第8項所述之高動態範圍成像方法，更包含：根據該編碼信號以產生解碼信號；其中當該旗標位元為主動時，則除去該旗標位元以產生該解碼信號；否則將該編碼信號乘以該感光比以產生該解碼信號。
10. 根據申請專利範圍第7項所述之高動態範圍成像方法，更包含：比較該高感光度信號與該預設臨界值；其中當該高感光度信號小於該預設臨界值時，則產生主動的該旗標位元；否則產生非主動的該旗標位元。
11. 根據申請專利範圍第10項所述之高動態範圍成像方法，更包含：根據該旗標位元以選擇該高感光度信號與該低感光度信號的其中之一作為多工信號； 將該多工信號從類比形式轉換為數位形式；及根據該旗標位元以產生該編碼信號；其中當該旗標位元為主動，則該多工信號為該高感光度信號，且將主動的該旗標位元串連至數位形式之該高感光度信號以產生該編碼信號；否則該多工信號為該低感光度信號，且將非主動的該旗標位元串連至數位形式之該低感光度信號以產生該編碼信號。

Images