TWI694723B

TWI694723B - 自動曝光成像系統與方法

Info

Publication number: TWI694723B
Application number: TW107147572A
Authority: TW
Inventors: 孫永澈
Original assignee: 恆景科技股份有限公司
Priority date: 2018-12-28
Filing date: 2018-12-28
Publication date: 2020-05-21
Also published as: TW202027490A

Abstract

一種自動曝光成像系統，包含影像感測器，用以擷取類比影像；類比至數位轉換器，將類比影像轉換為數位影像；單視框影像處理器，處理數位影像；曝光量化器，根據單視框影像處理器的輸出以產生離散值，以代表決定的曝光時間；多重曝光控制器，受控於移動偵測信號，該多重曝光控制器於移動偵測模式的每一視框週期依序產生複數不同的曝光時間，且於串流模式輸出該曝光量化器所決定的曝光時間；及像素控制器，接收多重曝光控制器的輸出，據以控制影像感測器。

Description

自動曝光成像系統與方法

本發明係有關一種成像系統，特別是關於一種具移動偵測的自動曝光成像系統與方法。

相機普遍使用於影像的分析，以萃取訊息。然而，所擷取影像需要使用相當大的頻寬與功率來傳送與處理。為了降低頻寬與功率，因而發展出事件觸發(event-triggered)相機，以濾除冗餘的影像，只有真正有用訊息的影像才會進行傳送與處理。當移動(motion)發生時，可確認得到有用訊息。

於最壞的情形下，於移動事件被偵測前光線從暗突然變為亮，傳統成像系統由於需要逐漸調整才能決定出適當的曝光時間，通常需要好幾個視框期間的時間，因此無法成功偵測到移動事件。因此，傳統成像系統不能即時偵測到移動事件，甚至無法偵測到移動事件。

因此亟需提出一種新穎機制，即使於最壞的情形下，於移動事件被偵測前光線從暗突然變為亮，仍可成功且即時偵測移動事件。

鑑於上述，本發明實施例的目的之一在於提出一種具移動偵測的自動曝光成像系統與方法，可即時且成功偵測到移動事件。

根據本發明實施例，自動曝光成像系統包含影像感測器、類比至數位轉換器、單視框影像處理器、曝光量化器、多重曝光控制器及像素控制器。影像感測器用以擷取類比影像。類比至數位轉換器將類比影像轉換為數位影像。單視框影像處理器處理數位影像。曝光量化器根據單視框影像處理器的輸出以產生離散值，以代表決定的曝光時間。多重曝光控制器受控於移動偵測信號，於移動偵測模式的每一視框週期依序產生複數不同的曝光時間，且於串流模式輸出該曝光量化器所決定的曝光時間。像素控制器接收多重曝光控制器的輸出，據以控制影像感測器。

第一圖顯示本發明實施例之具移動偵測(motion detection)的自動曝光(automatic exposure, AE)成像系統100的方塊圖。第二圖例示第一圖相關信號的時序圖。自動曝光成像系統(以下簡稱系統)100的各個方塊可使用硬體(例如影像信號處理器)、軟體或其組合來實施。

在本實施例中，系統100可包含影像感測器11，例如主動像素感測器(active-pixel sensor, APS)，用以擷取類比影像。本實施例之系統100可包含類比至數位轉換器(ADC)12，其接收類比影像，並將類比影像轉換為數位影像。

系統100可包含移動偵測器13，其接收數位影像，並根據先前數位影像與目前數位影像以產生移動偵測信號motion_d。當偵測到移動事件時，移動偵測信號motion_d變為主動(asserted)(例如邏輯高位準)。如第二圖所例示，當移動偵測信號motion_d為非主動(de-asserted)(表示未偵測到移動事件)時，則系統100處於移動偵測模式；當移動偵測信號motion_d為主動(表示偵測到移動事件)時，則系統100處於串流(streaming)模式。

根據本實施例的特徵之一，系統100可包含單視框(single-frame)影像處理器14，其自類比至數位轉換器12接收數位影像，並於一視框期間處理單一視框的數位影像。相反的，傳統成像系統使用多視框(multi-frame)影像處理器，於多個視框期間處理多個視框的數位影像以決定適當的曝光時間。

根據本實施例的特徵之一，系統100可包含曝光量化器(quantizer)15，其根據單視框影像處理器14的輸出與預設值EV，以產生有限集合(finite set)當中的一個離散值(discrete number)。其中，有限集合包含複數個(例如四個)(非負整數)離散值，分別代表不同的曝光時間，所產生的離散值代表所決定的曝光時間或累積(integration)時間。例如，有限集合包含離散值0、1、2及3，曝光量化器15產生有限集合當中的一個離散值。在本說明書中，曝光時間與累積時間可替換使用。

根據本實施例的又一特徵，系統100可包含多重曝光(multi-exposure)控制器16，其從曝光量化器15接收所決定的曝光時間並受控於移動偵測信號motion_d。第三圖顯示第一圖之多重曝光控制器16的細部方塊圖。多重曝光控制器16可包含計數器161，其計數n個非負整數(例如0、1、2…n-1)所組成的序列，以產生計數輸出，其中n為預設正整數。多重曝光控制器16可包含第一多工器162(例如2至1多工器)，其接收(曝光量化器15所產生的)離散值(代表曝光量化器15所決定的曝光時間)與(計數器161所產生的)計數輸出，其中之一被傳送至第一多工器162的輸出端。第一多工器162可受控於移動偵測信號motion_d。如第二圖所例示，當移動偵測信號motion_d為主動(例如邏輯高位準)時，代表偵測到移動事件，則位於第一輸入端(1)之離散值(代表曝光量化器15所決定的曝光時間)被傳送至輸出端，否則位於第二輸入端(0)之(計數器161所產生的)計數輸出被傳送至輸出端。

多重曝光控制器16可包含複數暫存器163，用以分別儲存不同的曝光時間。例如，該些暫存器163可包含曝光0暫存器、曝光1暫存器、曝光2暫存器及曝光3暫存器。多重曝光控制器16可包含第二多工器164(例如4至1多工器)，其接收(儲存於該些暫存器163的)曝光時間，其中之一被傳送至第二多工器164的輸出端。第二多工器164可受控於第一多工器162的輸出。

根據第三圖所示架構，於移動偵測模式(表示未偵測到移動事件)，多重曝光控制器16於每一視框期間依序產生複數(例如四個)不同曝光時間，而非如傳統成像系統於一視框期間產生單一曝光時間。於串流模式(表示偵測到移動事件)，多重曝光控制器16輸出(曝光量化器15)所決定的曝光時間。

第四A圖例示第一圖之多重曝光控制器16分別於曝光域(exposure domain)與讀出(或掃描)域(read domain)的時序圖。在一例子中，該些暫存器163所包含的曝光0暫存器、曝光1暫存器、曝光2暫存器及曝光3暫存器所儲存的累積時間(從大至小)依序為t _int-0、t _int-1、t _int-2及t _int-3。在這個例子中，t _int-3=(1/2)t _int-2=(1/4)t _int-1=(1/8)t _int-0=(1/32)t _{frame_st}，其中t _{frame_st}代表視框期間。於移動偵測模式，於每一視框期間依序使用累積時間t _int-0、t _int-1、t _int-2及t _int-3(但不限定於此順序)，直到移動事件被偵測到為止(亦即當移動偵測信號motion_d變為主動)。如第二圖所示，當偵測到移動事件時(亦即於串流模式)，則使用曝光量化器15所決定的累積時間(或曝光時間)。

第四B圖例示不同曝光時間(例如int-0、int-1、int-2及int-3)與單視框影像處理器14輸出的關係。曝光量化器15產生離散值，其代表最接近預設值EV的曝光時間(亦即兩者的差值為最小)作為所決定的曝光時間。

參閱第一圖，本實施例之系統100可包含像素控制器10，其接收移動偵測信號motion_d及多重曝光控制器16的輸出，據以控制影像感測器11。於串流模式，影像感測器11，例如主動像素感測器(APS)，可操作於全像素感測與讀取模式；於移動偵測模式，影像感測器11可操作於次取樣(sub-sampling)或像素分類(binning)模式，以減少像素讀取時間。此外，影像感測器11的增益(或ISO)可根據曝光值(或時間)的個數作調整。例如，當預設曝光值為四個，則將預設增益放大四倍，以減少曝光時間。

第五A圖顯示未使用本實施例之曝光時間與時間的關係曲線。第五B圖顯示根據本實施例(特別是曝光量化器15與多重曝光控制器16)之曝光時間與時間的關係曲線。如圖所示，第五B圖的操作遠快於第五A圖的操作。

於最壞的情形下，於移動事件被偵測前光線從暗突然變為亮，前述實施例因為快速地決定曝光時間(如第五B圖所示)，可即時且成功偵測到移動事件，然而傳統成像系統因為緩慢地決定曝光時間(如第五A圖所示)，無法即時且成功偵測到移動事件。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

100:自動曝光成像系統 10:像素控制器 11:影像感測器 12:類比至數位轉換器 13:移動偵測器 14:單視框影像處理器 15:曝光量化器 16:多重曝光控制器 161:計數器 162:第一多工器 163:暫存器 164:第二多工器 motion_d:移動偵測信號 EV:預設值 t_int-0:累積時間 t_int-1:累積時間 t_int-2:累積時間 t_int-3:累積時間 t_{frame_st}:視框期間 int-0:曝光時間 int-1:曝光時間 int-2:曝光時間 int-3:曝光時間

第一圖顯示本發明實施例之具移動偵測的自動曝光成像系統的方塊圖。第二圖例示第一圖相關信號的時序圖。第三圖顯示第一圖之多重曝光控制器的細部方塊圖。第四A圖例示第一圖之多重曝光控制器分別於曝光域與讀出域的時序圖。第四B圖例示不同曝光時間與單視框影像處理器輸出的關係。第五A圖顯示未使用本實施例之曝光時間與時間的關係曲線。第五B圖顯示根據本實施例之曝光時間與時間的關係曲線。

100:自動曝光成像系統

10:像素控制器

11:影像感測器

12:類比至數位轉換器

13:移動偵測器

14:單視框影像處理器

15:曝光量化器

16:多重曝光控制器

motion_d:移動偵測信號

EV:預設值

Claims

一種自動曝光成像系統，包含：一影像感測器，用以擷取類比影像；一類比至數位轉換器，將該類比影像轉換為數位影像；一單視框影像處理器，處理該數位影像；一曝光量化器，根據該單視框影像處理器的輸出以產生離散值，以代表決定的曝光時間；一多重曝光控制器，受控於移動偵測信號，該多重曝光控制器於移動偵測模式的每一視框週期依序產生複數不同的曝光時間，且於串流模式輸出該曝光量化器所決定的曝光時間；及一像素控制器，接收該多重曝光控制器的輸出，據以控制該影像感測器；更包含一移動偵測器，接收該數位影像，並根據先前數位影像與目前數位影像以產生該移動偵測信號；其中當移動偵測信號為主動時，該自動曝光成像系統處於串流模式，否則該自動曝光成像系統處於移動偵測模式。
根據申請專利範圍第1項所述之自動曝光成像系統，其中該曝光量化器更根據預設值以產生該離散值。
根據申請專利範圍第2項所述之自動曝光成像系統，其中該曝光量化器產生該離散值，其代表最接近該預設值的曝光時間作為所決定的該曝光時間。
根據申請專利範圍第1項所述之自動曝光成像系統，其中該多重曝光控制器包含：一計數器，產生計數輸出；一第一多工器，接收所產生的該離散值與該計數輸出，其中之一被傳送至該第一多工器的輸出端；一複數暫存器，用以分別儲存該些不同的曝光時間；及一第二多工器，接收該些不同的曝光時間，受控於該第一多工器的輸出使得其中之一被傳送至該第二多工器的輸出端。
根據申請專利範圍第4項所述之自動曝光成像系統，其中所產生的該離散值於串流模式被傳送至該第一多工器的輸出端，且該計數輸出於移動偵測模式被傳送至該第一多工器的輸出端。
一種自動曝光成像方法，包含：(a)以影像感測器擷取類比影像；(b)將該類比影像轉換為數位影像；(c)執行單視框影像處理步驟以處理該數位影像；(d)根據該單視框影像處理步驟的輸出以產生離散值，以代表決定的曝光時間；(e)受控於移動偵測信號，於移動偵測模式的每一視框週期依序產生複數不同的曝光時間，且於串流模式輸出所決定的該曝光時間；及(f)於移動偵測模式根據該些不同的曝光時間以控制該影像感測器，於串流模式根據所決定的該曝光時間以控制該影像感測器；更包含根據先前數位影像與目前數位影像以產生該移動偵測信號；其中當移動偵測信號為主動時，該自動曝光成像方法處於串流模式，否則該自動曝光成像方法處於移動偵測模式。
根據申請專利範圍第6項所述之自動曝光成像方法，更包含根據預設值以產生該離散值。
根據申請專利範圍第7項所述之自動曝光成像方法，其中該步驟(d)產生該離散值，其代表最接近該預設值的曝光時間作為所決定的該曝光時間。
根據申請專利範圍第6項所述之自動曝光成像方法，其中該步驟(e)包含：產生計數輸出；接收所產生的該離散值與該計數輸出，其中之一被第一次多工處理以作為第一次多工輸出；以複數暫存器分別儲存該些不同的曝光時間；及接收該些不同的曝光時間，受控於該第一次多工輸出，使得其中之一被第二次多工處理以作為第二次多工輸出。
根據申請專利範圍第9項所述之自動曝光成像方法，其中所產生的該離散值於串流模式被第一次多工處理以作為第一次多工輸出，且該計數輸出於移動偵測模式被第一次多工處理以作為該第一次多工輸出。