TWI516116B

TWI516116B - 用於數位成像中之自動影像俘獲控制之系統及方法

Info

Publication number: TWI516116B
Application number: TW102117074A
Authority: TW
Inventors: 梁勇方; 森宗弘; 過海濤; 陳挺
Original assignee: 蘋果公司
Priority date: 2012-06-08
Filing date: 2013-05-14
Publication date: 2016-01-01
Also published as: US20160057348A1; WO2013184256A1; US20130329075A1; TW201404143A; US9756247B2; US9160912B2

Description

用於數位成像中之自動影像俘獲控制之系統及方法

相關事項

本申請案主張2012年6月8日申請之臨時申請案第61/657,281號之較早申請日期的權利。

本發明之實施例係有關數位成像中之自動影像俘獲控制，且詳言之，係有關在串流傳輸來自影像感測器之圖框時在併像(binning)模式與非併像模式之間的切換。亦描述其他實施例。

併像係一種用於數位攝像機中以在場景處於低照度條件下時改良攝像機之靈敏度的技術。併像涉及將至少兩個像素組合成因此對場景中之光更敏感的單一像素，其中通常在新像素信號之讀出及數位化之前執行此組合。結果，兩個或兩個以上像素之光生電荷載流子積聚，該積聚改良信雜比，藉此實現對具有相對低照度之場景的較高品質影像記錄。併像之另一優點為歸因於較低空間解析度之較高影像重複率或影像記錄頻率(亦稱作俘獲圖框速率)。換言之，存在較少新像素被讀取及數位化，從而使得圖框速率能夠增加。然而，併像確實具有一些缺點。存在歸因於像素之組合的空間解析度之減小。另外，像素之組合可能不為對稱的，使得(例如)在x及y方向上不相等數目個像素被組合。此情形導致失真且需要數位影像處理來進行校正。當影像感測器正以串流模式操作且正由感測器輸出之圖框序列經處理且接著藉由電子取景器而向攝像機之使用者顯示時，出現另一所關注事項。此事項亦被稱作操作之預覽模式。此處特別關注當在併像模式與非併像模式之間切換或轉變時丟棄太多圖框的風險。舉例而言，雖然攝像機可經組態以在串流模式中以特定圖框速率(例如，每秒15個圖框)執行，但需要在主記憶體中分配足夠影像緩衝器，使得圖框彼此不會開始覆寫或不會在感測器處「滯留」。通常，提供直接記憶體存取設施以供影像感測器輸出介面使用，從而迅速地將其圖框直接串流傳輸至記憶體中之經分配之影像緩衝器。為避免遺漏或丟棄圖框，可分配較大數目個記憶體緩衝器。或者，可減小系統延時使得更快速地自緩衝器「移除」圖框。另一選項為限制正由ISP管線對原始圖框(已寫入至影像緩衝器中)執行之影像信號處理(ISP)增強的量。最後，可提高ISP管線緩衝器之處理能力。然而，在與使用CMOS感測器之消費級電子攝像機相關聯的大多數例子中，通常不可避免在併像與非併像之間的轉變期間丟棄或遺漏至少一圖框。此情形係至少部分地歸因於影像感測器使用電子滾動快門(而非全域快門)，使得在任何給定時間瞬時，存在正由感測器俘獲之兩個連續圖框。因此，挑戰為使被丟棄之圖框的數目保持為儘可能低，藉此促成在預覽期間向使用者展示之較平滑移動圖像。

一種用於數位成像系統中之自動影像俘獲控制的方法利用併像模式以在低照度條件下甚至在不使用閃光之情況下仍改良靈敏度。將影像感測器組態成併像模式(諸如，2×2)，且接著使用影像信號處理(ISP)管線後端按比例調整器對在串流模式中所產生之所得輸出圖框進行增加取樣(例如，在2×2併像模式之狀況下增加取樣為兩倍)，以恢復影像感測器之原始全圖框解析度。亦即，在感測器繼續以串流模式操作時，可動態地執行非併像模式與併像模式之間的轉變。可將非併像與併像之間的模式改變併入至相對於(例如)取景器、視訊記錄器及靜態記錄器程序而位於相對低層處之自動曝光控制程序中，從而使得併像與非併像之間的轉變不僅對終端使用者透通，而且對較高層攝像機應用程式透通。

為了幫助限制在模式之間的轉變期間被遺漏或丟棄之圖框的數目，可使用用於模式之間的轉變之以下方法。首先，初始化影像緩衝器以儲存由影像感測器所產生之數位影像，其中分配記憶體中之區域以用於影像緩衝器，該區域足夠大以儲存來自感測器之全解析度圖框。影像感測器經組態成以非併像串流模式操作。接下來，在影像緩衝器中接著藉由ISP管線來處理來自影像感測器之非併像串流圖框。接下來，當在預覽中顯示非併像之圖框時，影像感測器經重新組態成以併像串流模式操作，使得併像之圖框經串流傳輸且接著在該影像緩衝器中藉由ISP管線處理，但不將記憶體中之較小區域分配用於影像緩衝器。換言之，即使在併像模式中存在每一圖框之大小的顯著減小(例如，減小到二分之一或以下)，記憶體中經分配用於影像緩衝器之區域仍不會變小，而是可保持為相同的。此情形允許較高層攝像機軟體(包括(例如)預覽模組、視訊記錄器模組或靜態圖像模組)保持為基本上與模式轉變不相關。在另一實施例中，可藉由在預覽期間、在讀取影像緩衝器中之併像之圖框以供寫入至顯示器之前亦按比例放大該等圖框來使模式之間的轉變對較高層軟體甚至更透通。以彼方式，將亦對已由ISP管線處理之圖框操作的較高層軟體可依賴於具有基本上固定之解析度的圖框，藉此簡化其自身的記憶體管理任務。

當作出應將影像感測器自併像模式轉變回至非併像模式之決策時，因為影像緩衝器最初分配有可儲存全解析度感測器圖框之足夠大的區域，所以彼時無需重新分配記憶體中之較大區域用於影像緩衝器。此情形幫助減小在針對非併像模式進行重新組態中的總延時，減小總延時又幫助保持動態模式切換程序對較高層攝像機或影像處理應用程式之透通度，同時幫助減小在模式切換期間被丟棄之圖框的數目。

在本發明之另一實施例中，模式切換程序在僅在所偵測到之攝像機取景位置調整量低於臨限值的情況下才發生併像與非併像之間的模式切換的意義上為「運動感知」的。換言之，若控制模組偵測到使用者正調整攝像機取景位置(例如，繞垂直或水平軸旋轉，例如，抑或沿平面而平移)，則影像感測器不在併像與非併像之間重新組態，而是保持處於其當前模式，直至偵測指示攝像機取景位置調整量已下降到低於某一臨限值使得認為攝像機穩定為止。此情形幫助降低被丟棄之圖框在預覽期間將為使用者可見(特別係在攝像機與場景之間存在大量運動時)的可能性。藉由類似特徵(token)，當認為俘獲於串流傳輸之圖框中之場景為靜態的時，則允許任意地發生併像與非併像之間的模式轉變。此情形使模式切換非常平滑且自使用者或攝影師之觀點而言幾乎難以察覺，同時改良在預覽期間(以及在視訊記錄及靜態俘獲期間)之影像品質。

在另一實施例中，在已將影像感測器組態成以併像模式操作且處理來自影像感測器之俘獲場景的併像串流圖框之後，在預覽期間，接收快門釋放命令。在彼狀況下，亦已作出可針對場景之靜態俘獲抑或視訊記錄而需要頻閃或閃光照明的判定。在彼狀況下，執行預閃光序列以判定一或多個影像俘獲參數，該一或多個影像俘獲參數與在即將來臨之主閃光序列期間之場景的照明有效性有關。影像感測器接著在預閃光序列期間經重新組態成以非併像模式操作(基於所判定之影像俘獲參數)。接著在主閃光序列期間處理非併像之圖框，從而導致含有來自主閃光序列之圖框的視訊記錄抑或自主閃光序列攝取之靜態圖像。已在預閃光序列期間判定之影像俘獲參數可提供至場景中之物件之距離的估計。當發現物件距離為短的時，將影像感測器自併像模式重新組態至非併像模式，其中此情形遵循以下理解：主閃光序列將有可能在適當地對場景進行照明方面為有效的，且因而此併像模式並非為必要的。另一方面，當發現物件距離為長的時，則理解為：主閃光在適當地對物件進行照明方面不太可能有效，使得自非併像模式至併像模式之轉變將為有益的。

上述概要並不包括本發明之所有態樣之詳盡清單。預期本發明包括可自上文概述之各種態樣以及以下【實施方式】中所揭示且在連同本申請案一同申請的申請專利範圍中所特別指出之彼等態樣的所有合適組合來加以實踐的所有系統及方法。此等組合具有未在上述概要中特定敍述之特定優點。

2‧‧‧影像感測器

3‧‧‧頻閃或閃光

4‧‧‧光學器件

5‧‧‧自動聚焦透鏡

6‧‧‧自動曝光控制件/自動曝光控制模組

7‧‧‧影像信號處理(ISP)影像緩衝器

8‧‧‧顯示器/顯示螢幕/統計處理

10‧‧‧透鏡失真校正模組

12‧‧‧雜訊減少模組

13‧‧‧併像補償濾波器(BCF)

15‧‧‧自動白平衡(WB)模組

16‧‧‧解馬賽克模組

17‧‧‧後端按比例放大器

19‧‧‧攝像機裝置驅動程式

21‧‧‧電子取景器

22‧‧‧視訊記錄器

23‧‧‧靜態記錄器

在隨附圖式之諸圖中藉由實例而非藉由限制來說明本發明之實施例，在該等圖式中，相似參考指示類似元件。應注意，在本發明中對本發明之「一」實施例的參考未必為對同一實施例之參考，且其意謂至少一個。

圖1為數位攝像機系統之方塊圖。

圖2為用於自動影像俘獲控制數位成像之程序之流程圖。

圖3為用於作出切換至併像模式之決策之程序的流程圖。

圖4為用於作出切換至非併像模式之決策之程序的流程圖。

圖5為用於涉及閃光序列之自動影像俘獲控制之程序的流程圖。

圖6展示攜帶型手持式消費型電子裝置，其固持於其使用者之手中且在攝像機預覽中操作。

現解釋參看隨附圖式之本發明之若干實施例。雖然陳述了眾多細節，但應理解，可在無此等細節的情況下實踐本發明之一些實施例。在其他例子中，未詳細展示熟知之電路、結構及技術以免混淆對此描述之理解。

圖1為可執行根據本發明之一實施例的用於自動影像俘獲控制之程序的數位攝像機系統之方塊圖。在一實施例中，可藉由執行自動曝光控制模組6之處理器及用於影像信號處理(ISP)管線之韌體來執行該程序。可藉由經合適程式化之影像信號處理器來執行操作，該影像信號處理器可為經設計用於影像處理中所涉及之專門任務的專用微處理器。

攝像機系統可整合至諸如以下各者之消費型電子裝置中：桌上型個人電腦、智慧型手機、平板電腦或辦公室/家庭娛樂系統。攝像機系統至少具有以下較高層攝像機常式。電子取景器模組21用以讀取由ISP管線輸出之串流圖框，且經由顯示螢幕8向使用者顯示該等串流圖框。此情形亦被稱作預覽，其中在使用者可檢查與其在致動快門釋放時將俘獲之場景的近似度。作為一實例，預覽可本質上顯示場景之「低速」視訊(例如，以每秒約十(10)至十五(15)個圖框)，以便減小電力消耗，但在使用者調整該攝像機取景位置時仍向其提供場景之平滑俘獲外觀。視訊記錄器模組22用以將來自ISP管線之輸出串流圖框處理為數位視訊檔案(例如，將其轉換為MPEG格式)，接著該數位視訊檔案儲存於非揮發性記憶體中。靜態記錄器23用以將來自ISP管線之輸出圖框中的一者處理為數位靜態圖像檔案(例如，將圖框轉換為JPEG檔案)，該數位靜態圖像檔案儲存於非揮發性記憶體中。

攝像機裝置驅動程式19可位於自動曝光控制件6與取景器21、視訊記錄器22及靜態記錄器23之上層攝像機功能中間。攝像機裝置驅動程式19可為作為執行於整合有攝像機系統之裝置中的作業系統(例如，Apple Inc.之iOS^TM作業系統)之部分的程式。攝像機裝置驅動程式為提供至上層軟體(諸如，取景器、視訊記錄器及靜態記錄器常式) 之介面的硬體驅動程式，以使用攝像機系統硬體。舉例而言，攝像機裝置驅動程式19可公開(expose)應用程式設計介面，較高層攝像機應用程式可經由該應用程式設計介面來用信號發送快門釋放命令、選擇靜態俘獲或視訊記錄，且提供手動(使用者控制)閃光及變焦。在一些例子中，攝像機裝置驅動程式19可為由與用於ISP管線及自動曝光控制件6之處理器不同之處理器(例如，系統單晶片SoC或在諸如智慧型手機或平板電腦之多功能裝置之狀況下的應用程式處理器)執行的程式。

自動曝光控制件6將控制信號供應至攝像機之若干較低層硬體組件，該等較低層硬體組件包括影像感測器2(例如，在串流模式中提供經數位化之輸出圖框的CMOS影像感測器)、自動聚焦透鏡5、光學器件4(用於鏡後測光(through-the-lens)成像)及頻閃或閃光3。控制信號可用於自動聚焦透鏡致動器控制、變焦透鏡控制、影像感測器積分時間、類比及/或數位像素信號路徑增益、預閃光及主閃光序列，及可包括用以在串流傳輸時進入併像模式及非併像模式之命令的內容脈絡切換信號。影像感測器2能夠(諸如)藉由對來自兩個或兩個以上像素之電荷載流子信號求平均或求和來進行像素併像。此組合可在每種色彩之基礎上發生，或其可針對可認為全色組合之像素群組而發生。併像選項可包括將兩個像素一起或四個像素一起或像素之其他組合併像為單一結合像素。在併像模式與非併像模式兩者中，影像感測器2以指定圖框速率來輸出經數位化之原始影像序列(串流圖框)，其中每一圖框具有全感測器解析度(非併像模式)或減小之解析度(如由特定併像模式指定)。影像感測器2可能夠執行內部硬體內容脈絡切換以用於在串流傳輸時在其併像模式與非併像模式之間的迅速轉變。

藉由影像感測器2將原始影像序列(串流原始圖框)傳送出至一或多個ISP影像緩衝器7中。影像緩衝器7為記憶體中之經分配之儲存區域，該區域足以儲存全解析度感測器圖框。記憶體中之經分配之區域可位於可為揮發性種類之動態隨機存取記憶體或靜態隨機存取記憶體內，或其可位於快閃記憶體內。影像緩衝器7可(例如)藉由自動曝光控制件6而初始化，使得串流圖框可藉由感測器2(例如)經由直接記憶體存取DMA而寫入至該等影像緩衝器7中，其中ISP管線接著對經緩衝之圖框執行其各種影像處理操作中的大部分操作。

ISP管線級可至少包括以下各者。在統計處理8中，(諸如)使用統計信號處理技術來分析一或多個圖框中之影像資料(像素)，以判定用於影像俘獲之各種參數，即，有缺陷像素(及其校正)、透鏡缺陷、黑色位準補償、運動歷史及場景亮度。此等參數中之一些的判定可藉由來自其他感測器或執行於裝置(攝像機系統為該裝置之一部分或攝像機系統連結至該裝置)中之其他程序的輸入來補充，例如，來自位置、定向或移動感測器(諸如，加速度計或迴轉儀、專用近接感測器及/或專用環境光感測器)之資料。可將此統計處理之結果連同影像圖框一起儲存(作為感測器及場景統計)於影像緩衝器7內部，或替代地可將其直接(亦即，即時)提供至自動曝光控制件6。

ISP管線亦可包括對諸如漸暈、瑕疵及透鏡陰影之缺陷作出校正的透鏡失真校正模組10。

ISP管線中之對儲存於影像緩衝器7中之圖框執行有用功能的另一級為雜訊減少模組12。詳言之，雜訊減少可涉及時間濾波(亦稱作框間濾波)，諸如基於運動及亮度特性而對兩個或兩個以上圖框求平均，以便移除成像雜訊。時間濾波可基於運動及亮度特性而為適應性的。舉例而言，當物件運動為高時，可減小濾波器強度以便避免在所得經處理影像中出現「拖尾」或「重像」。另一方面，當偵測到很少運動或未偵測到運動時，可增加濾波強度。另外，可基於亮度資料或明度資料來調整濾波強度。舉例而言，當場景亮度增加時，濾波器假影可變得更為人眼所顯而易見。在彼狀況下，當像素指示高亮度等級時，可減小濾波強度。

如圖1中所展示，在ISP管線中接下來為併像補償濾波器(BCF)13。BCF僅在自影像感測器2串流傳輸之原始影像序列為併像之圖框時才接通或使用(與非併像之圖框相對比)。BCF可處理給定圖框之像素以補償併像之色彩樣本的非線性置放，使得可正確地操作管線中取決於色彩樣本之線性置放的後續影像處理操作(例如，解馬賽克)。

在序列中接下來可為可(例如)使用色彩校正矩陣對每一圖框之像素執行其他調整的自動白平衡(WB)模組15。

在假定(當然)影像感測器2具有(例如)產生個別色彩分量像素(其分別指派給單獨色彩分量)而非提供全色像素之彩色濾光片陣列(例如，拜耳(Bayer)型樣)的情況下，在ISP管線中之某一點處，需要解馬賽克模組16。

朝向ISP管線之末端(但未必在最後級中)，存在後端按比例放大器(upscaler)17，其用以對待由ISP管線輸出之每一併像之圖框進行按比例放大或增加取樣，以便恢復影像感測器2之全圖框解析度。如同BCF 13，按比例放大器17在影像感測器2以非併像模式操作時斷開或跳過。

如上文所解釋，藉由(例如)自動曝光控制件6來初始化影像緩衝器7以用於儲存由影像感測器2產生之圖框係藉由分配記憶體中足夠大以儲存來自影像感測器2之全解析度圖框的區域而執行。可使此緩衝器大小在併像模式與非併像模式兩者期間保持不變。一旦經緩衝之串流圖框已由ISP管線(在併像模式之狀況下，包括後端按比例放大器17)處理，便可接著使圖框準備好藉由電子取景器21在預覽中顯示。自動曝光控制件6亦負責作出關於影像感測器2是否應重新組態成併像或非併像模式之決策，經由給予影像感測器2之內容脈絡切換命令來用信號發送其決策。

圖2中描繪用於使用(例如)圖1之數位成像系統(或具有所需功能性之任何其他合適之數位成像系統)來進行自動影像俘獲控制的程序。在此狀況下，攝像機系統可整合於諸如以下各者之多功能裝置內：膝上型電腦、智慧型手機、桌上型電腦或平板電腦，或其他消費型電子裝置(包括可整合於載具中之裝置)。該程序以啟動攝像機應用程式(區塊30)開始。在一些狀況下，該攝像機應用程式可操作為背景任務，且因而不需要由使用者手動輸入其快門釋放命令。在其他例子中，攝像機系統為專用之專業數位攝像機之部分。接下來，操作繼續進行區塊31，其中分配(例如，首次)一或多個ISP影像緩衝器，其中每一緩衝器可儲存處於全影像感測器圖框解析度之圖框的影像資料。在一些狀況下，當影像感測器之串流操作模式以相對高之圖框速率執行時，可能需要分配若干影像緩衝器以形成佇列。舉例而言，可(例如)藉由自動曝光控制韌體(自動曝光控制模組6(參見圖1)之部分)來執行對記憶體中之區域的實際分配。

該程序以針對操作之非併像串流模式來組態ISP管線及影像感測器2(區塊33)來繼續。因此，參看圖1，在ISP管線中，對於非併像模式，可停用某些級，包括BCF 13及按比例放大器17。操作接著以預覽來繼續，其中首次啟動(或否則繼續執行)電子取景器21以自ISP管線之後端提取圖框且將其準備好並根據設定圖框速率(例如，以每秒約10至15個圖框之緩慢視訊)提交至顯示器8。

在預覽期間之某一時刻，所俘獲之場景中的條件可使得將需要切換至併像模式。當亮度或場景採光度已下降到低於臨限值時，可在區塊36中作出切換至併像模式之決策。另外或作為一替代例，可使用其他準則，以發現是時候切換至併像模式。彼時，操作以區塊37至40 來繼續，其中用信號通知影像感測器2以內容脈絡切換成併像串流模式，且重新組態ISP管線以用於處理併像之圖框(例如，藉由啟用諸如併像補償濾波器及後端按比例放大器之一或多個級，及藉由辨識正自感測器2寫入至影像緩衝器7中之較小影像資料集)。另外，預覽在併像模式中繼續(區塊41)，而不將ISP影像緩衝器7重新分配成較小大小(區塊40)。

在一些例子中，用以接收正自影像感測器2輸出之串流圖框的ISP影像緩衝器7之大小保持基本上不變，使得不需要額外重新分配記憶體內之顯著量之儲存空間。此情形與較習知技術形成對比，在較習知技術中，ISP影像緩衝器7此時被重新分配成較小大小，此係因為併像之圖框將具有實質上較小之解析度(例如，小至1/2或以下)。

預覽可在相同大小之ISP影像緩衝器7的情況下繼續(在區塊41中)，直至作出切換回至非併像模式之決策(區塊42)為止。舉例而言，若場景採光重新繼續一亮度等級，則應將處理改變至非併像模式，(例如)以避免使正併像之像素飽和。在作出此決策後，該程序即以區塊43至46來繼續，其中用信號通知影像感測器以內容脈絡切換回至非併像模式，重新組態ISP管線以用於非併像模式處理(例如，藉由停用併像補償濾波器及按比例放大器，及藉由辨識正自影像感測器2寫入至影像緩衝器7中之較大影像資料集)，但無需將ISP影像緩衝器7重新分配成較大大小。

因此，在併像模式與非併像模式之間的轉變期間，影像緩衝器7可在預覽過程中始終保持同一大小，且詳言之，保持足以儲存全解析度感測器圖框之大小。此程序藉由實際上使併像與非併像之間的轉變對較高層軟體(諸如，取景器21、視訊記錄器22或靜態記錄器23)透通而使較高層軟體更容易管理彼等轉變。另外，在無需在模式轉變期間重新分配記憶體中之儲存區域的情況下，可減少被丟棄之圖框的數目，此係因為ISP管線能夠在兩個模式之間快速地轉變其處理。關於較高層軟體，此情形可經設計以接受串流圖框之單一大小或解析度，而不管是進行併像模式抑或非併像模式。彼種做法係因為後端按比例放大器17確保：在併像模式期間，藉由ISP管線而使得可用於較高層軟體之串流圖框已按比例放大成全解析度圖框大小。

現轉向圖3，此圖為可用於圖2之區塊36中的用於作出切換至併像模式之決策之程序的流程圖。在非併像串流模式中，在繼續預覽時到達區塊36中之程序。在此預覽期間，偵測場景亮度(區塊51)且亦偵測使用者調整攝像機取景位置(區塊53)。可由自動曝光控制模組6(參見圖1)使用(例如)已由ISP管線之前端針對每一圖框提供之感測器及場景統計來執行對場景亮度及使用者正調整攝像機取景位置之程度的此監視。為判定使用者是否正調整攝像機取景位置，可使用若干習知技術中之任一者(包括僅基於(例如)使用數位影像處理來追蹤串流圖框中之物件的技術)，以在預覽期間繼續處理串流圖框時偵測物件與背景之間的改變。作為一替代例或另外，可使用外部感測器(諸如，環境光感測器、近接感測器、位置定向或移動感測器)，以偵測場景亮度及使用者是正調整攝像機取景位置抑或僅將攝像機相對靜態地固持於一位點中。該程序以區塊54來繼續，其中若場景變暗或亮度下降到低於預定臨限值，則在決定應切換至併像模式之前執行另一測試。詳言之，區塊56需要該程序判定使用者是否正調整攝像機取景位置，或換言之，攝像機取景位置調整量是否保持低於給定臨限值。若攝像機取景位置調整量保持低於臨限值(亦即，使用者並非正調整攝像機取景位置)，則到達區塊57，其中確證適當控制信號以切換至併像模式。另一方面，即使場景變暗，但若使用者碰巧調整攝像機取景位置或攝像機取景位置調整量保持高於臨限值，則ISP管線及影像感測器不應切換至併像模式(區塊55)。此程序幫助確保切換至併像之益處不會被其弱點(諸如，被丟棄之圖框)勝過，特別係正在調整攝像機取景位置時。此係因為：當正調整攝像機取景位置時，在切換至併像模式期間圖框之不可避免的丟棄有可能更為使用者所顯而易見(在預覽中)。然而，一旦攝像機已穩定，則區塊56中之決策允許切換至併像模式(當然，其限制條件為場景仍為暗的)，此切換將導致甚至在無閃光之情況下影像品質仍改良的益處。

針對在併像模式與非併像模式之間轉變而作出的運動感知決策具有在圖4中所描繪之對應程序。此程序為圖2中之區塊42之實例，其為自併像模式切換至非併像模式之決策。再次，該程序以在預覽中繼續來開始，但此時進行併像。偵測場景亮度(區塊61)以及使用者調整攝像機取景位置(區塊63)，該偵測可以與上文結合圖3所描述之方式類似之方式進行。若所監視或偵測到之資料揭露場景亮度已上升到高於臨限值(區塊64)且攝像機取景位置調整量低於臨限值使得認為使用者不再調整取景位置(區塊66)，則應將影像感測器重新組態成以非併像串流模式操作(區塊67)。

當在預覽中在串流圖框序列期間一起實施圖3及圖4之以上程序時，可瞭解僅在所偵測到之攝像機取景位置調整量低於臨限值的情況下才在併像串流模式與非併像串流模式之間重新組態影像感測器。另外，當所偵測到之攝像機取景位置調整量高於臨限值時，不重新組態影像感測器(在併像與非併像之間)。

現轉向圖5，此圖為用於涉及頻閃或閃光之自動影像俘獲控制之程序的流程圖。此處之影像俘獲控制程序涉及預閃光序列，其後接著為主閃光序列。在預閃光序列中，自動曝光控制模組6(參見圖1)判定一或多個影像俘獲參數，該一或多個影像俘獲參數與在即將來臨之主閃光序列期間之場景的照明有效性有關。此等影像俘獲參數可包括以下各者中之一或多者：預閃光圖框統計、積分時間、類比及數位像素信號路徑增益值、攝像機至場景中之物件之間的距離之估計、頻閃或主閃光強度，及場景亮度等級。當然，主閃光對場景之實際效應可直到其發生才由影像俘獲電路觀測到或偵測到。因而，電子裝置可在預閃光序列期間使用上文所識別之參數及/或其他串流圖框統計或感測器統計來估計主閃光對場景之效應。預閃光序列可包括一時間間隔，在該時間間隔期間，使用諸如將用以在主閃光序列期間提供照明之同一盞燈的照明源來對場景進行照明，但通常以比主閃光低之強度來照明，同時少數圖框由ISP管線處理及分析。曝光控制模組6可接著外推預期在主閃光序列期間發生之某些主閃光影像俘獲統計，其中此等外推之統計接著用以判定待在主閃光序列期間應用之影像俘獲控制參數。因此，例如，可調整在預閃光序列期間所計算之參數中之一或多者(例如，積分時間、類比或數位像素信號路徑增益及閃光燈強度)以應用於主閃光序列中。

鑒於以上內容，返回參看圖5之流程圖，操作以將影像感測器組態成以併像串流模式操作而開始，或替代地以非併像串流模式開始(區塊71)。此時，亦可根據預覽(藉由電子取景器21)來處理串流圖框。在預覽期間之某個時間，給出命令(例如，由使用者以手動方式)以開始記錄視訊會期(其調用視訊記錄器22)或拍攝靜態圖像(其調用靜態記錄器23(參見圖1))。此命令可為給予攝像機裝置驅動程式19之快門釋放命令，該攝像機裝置驅動程式19又將該命令提供至自動曝光控制件6。操作接著以區塊73來繼續，其中處理來自影像感測器之俘獲場景的併像串流圖框。應注意，區塊73亦指代處理非併像串流圖框(其中影像感測器已組態成非併像串流模式)的其他情況。

接下來，藉由自動曝光控制模組6執行預閃光序列(區塊74)以判定一或多個影像俘獲參數或影像俘獲統計，該一或多個影像俘獲參數或影像俘獲統計與在即將來臨之主閃光序列期間場景之照明有效性有關。亦在預閃光序列期間，基於所判定之影像俘獲參數或場景統計而作出關於是否將重新組態影像感測器(及ISP管線，參見圖1)以在非併像串流模式與併像串流模式之間切換的決策(區塊76)。舉例而言，若所估計之至場景中之物件的距離為短的，則可預期主閃光在對該物件適當地進行照明方面係有效的，且因而影像感測器(及ISP管線)應保持於非併像模式抑或轉變成非併像模式。另一方面，若在預閃光序列期間，所估計之物件距離為長的，則可預期主閃光在對該物件適當地進行照明方面將不為有效的，使得影像感測器(及ISP管線)應保持於併像模式抑或轉變成併像模式。

在重新組態影像感測器以在預閃光序列期間以非併像串流模式(或替代地，視情況為併像串流模式)操作之後，在主閃光序列期間處理非併像串流圖框(或替代地，併像串流圖框)(在區塊78中)。此處，當場景在由主閃光產生之照明下時，藉由影像感測器來俘獲彼等非併像串流圖框(或替代地，併像串流圖框)中的至少一些。

圖6展示攜帶型手持式消費型電子裝置，其在此狀況下為可整合有根據本發明之一實施例之數位攝像機系統的智慧型手機。或者，該裝置可為可容易在正常使用期間固持於使用者手中的若干不同類型之攜帶型消費型電子裝置中之任一者(諸如，平板電腦)。該裝置具有整合有若干組件之外殼，該等組件包括攝像機模組、觸控螢幕及選單按鈕。觸控螢幕(其包括顯示螢幕8，參見圖1)具有顯示區，來自影像感測器之俘獲場景或物件(此處為飛行之昆蟲)的串流圖框在預覽期間顯示於該顯示區中。觸控螢幕可由使用者或正使用攝像機系統之攝影師檢視，以不僅檢查所記錄之靜態事物及/或圖像而且鍵入手動命令。此實例中之觸控螢幕包括快門釋放虛擬按鈕、相簿(picture album)虛擬按鈕，及/或變焦虛擬滑桿。當然，作為觸控螢幕之替代例，可改為使用實體按鈕來實施虛擬按鈕中之一些或全部。

攝像機模組可含有皆整合於同一模組總成內之鏡後測光成像光學器件4(參見圖1)、影像感測器2及自動聚焦透鏡5。閃光3可能與或可能不與該模組整合。如上文所建議，將使用習知影像感測器介面來將由影像感測器2在併像或非併像串流模式中提供之原始影像序列傳送至ISP影像緩衝器7。可使用電匯流排(例如，使用撓曲連接器或其他印刷電路板連接器)以將串流原始影像序列遞送至記憶體積體電路。另外，其他電匯流排可將記憶體連接至ISP處理器，該ISP處理器已經程式化以執行上文結合圖1所描述之ISP管線級及自動曝光控制程序。亦可將單獨之應用程式處理器或系統單晶片(SoC)提供於攜帶型裝置之外殼內。該應用程式處理器或SoC可藉由可包括攝像機裝置驅動程式19之作業系統來程式化。亦可存在執行於SoC或應用程式處理器上之較高層程式(諸如，數位攝像機應用程式)，該等較高層程式可具有功能類似於取景器21、視訊記錄器22及靜態記錄器23之功能的模組。所有以上各者可整合於如圖6中所描繪之攜帶型裝置的外殼內。作為一替代例，攝像機系統之一些部分(諸如，攝像機模組)可位於單獨外殼中，該外殼藉由無線或有線通信鏈路而連接至位於「主機」裝置之外殼中的SoC或應用程式處理器。

上文結合圖1至圖5關於併像模式與非併像模式之間的轉變而描述的本發明之各種實施例在將攝像機系統整合為複雜之攜帶型多功能裝置(諸如，智慧型手機或平板電腦)之一部分時係特別需要的，其中此等裝置為電池供電且因此具有有限處理及儲存能力(不管彼等技術領域中之新近進步)之消費型電子裝置。在此等攜帶型消費型電子裝置中難以確保併像模式與非併像模式之間的平滑且迅速轉變，特別係在將裝置用於如圖6中所描繪之攝像機預覽中時。

如上文所解釋，本發明之實施例可為上面儲存有指令之機器可讀媒體或儲存電路(諸如，微電子記憶體)，該等指令程式化一或多個資料處理組件(此處一般稱作「機器」或「處理器」或「資料處理電路」)以執行上文結合自動曝光控制模組6及ISP管線所描述之模式轉變決策操作及數位影像處理操作。在其他實施例中，此等操作中之一些可藉由含有固線式邏輯之特定硬體組件(例如，專用數位濾波器區塊及狀態機)來執行。或者，可藉由經程式化之資料處理組件及固定之固線式電路組件的任何組合來執行彼等操作。

根據本發明之一實施例，一種用於數位成像中之自動影像俘獲控制的方法包含：將影像感測器組態成以非併像串流模式操作；處理來自影像感測器之非併像串流圖框；當在預覽中顯示非併像串流圖框時，偵測場景亮度及攝像機取景位置調整；及回應於偵測到場景亮度已下降到低於臨限值且攝像機取景位置調整量保持低於臨限值而將影像感測器重新組態成以併像串流模式操作，且接著處理來自影像感測器之併像串流圖框。

在另一實施例中，一種製造物件包含一機器可讀儲存媒體，該機器可讀儲存媒體具有儲存於其中之指令，該等指令程式化一機器以執行以下步驟：將影像感測器組態成以併像串流模式操作；及處理來自影像感測器之併像串流圖框，且其中在處理併像串流圖框以供在預覽模式中顯示時，經程式化之機器將影像感測器重新組態成以非併像串流模式操作且接著處理來自影像感測器之非併像串流圖框，且其中該機器經程式化以僅在所偵測到之攝像機取景位置調整量低於臨限值之情況下才在併像串流模式與非併像串流模式之間重新組態影像感測器，及在所偵測到之攝像機取景位置調整量高於臨限值時不在併像串流模式與非併像串流模式之間重新組態影像感測器。

雖然已在隨附圖式中描述及展示某些實施例，但應理解，此等實施例僅說明而非限制廣泛的發明，且本發明並不限於所展示及描述之特定建構及配置，此係因為一般熟習此項技術者可想到各種其他修改。舉例而言，在圖1中，以特定次序展示ISP管線之各種級。然而，應認識到，可以不同次序或序列來執行此等級中之一些，特別係影像處理功能本質上為線性的彼等級。又，儘管可將用於執行併像/非併像模式轉變之上述技術應用於廣泛範圍之數位攝像機系統中，但其應用在諸如智慧型手機及平板電腦之攜帶型個人消費型電子裝置中尤為有效，其中提供相對大之顯示區以供電子取景器使用以執行預覽。彼特定情況中之目標為提供併像模式與非併像模式之間的平滑轉變，使得該等轉變可由於具有較少或有限數目個被遺漏或丟棄之圖框而基本上向使用者呈現為透通的。然而，以上描述將被視為說明性而非限制性的。