TWI920342B

TWI920342B - 自動聚焦（ａｆ）和自動曝光控制（ａｅｃ）協調

Info

Publication number: TWI920342B
Application number: TW111124967A
Authority: TW
Inventors: 馮文春; 劉軒銘; 高惠姍; 廖航偉; 奇亞文
Original assignee: 美商高通公司
Priority date: 2021-07-06
Filing date: 2022-07-04
Publication date: 2026-04-01

Abstract

本案提供了支援改良的圖像信號處理的系統、裝置、方法和電腦可讀取媒體，特別是在低光或高動態範圍（HDR）場景中。圖像處理技術可以包括執行兩個自動曝光控制（AEC）操作，其中第一AEC操作以獲得用於自動聚焦（AF）操作的良好條件為目標，且第二AEC操作在AF操作之後且以獲得用於圖像擷取的良好條件為目標。圖像處理技術亦可以包括AEC操作和AF操作之間的通訊，以經由鎖定和釋放曝光水平和聚焦位置來協調操作，作為圖像信號處理的一部分。在一個態樣，處理技術可以包括AF量測來自目標的統計量、與AEC協調，以及執行鎖定和恢復狀態機的交錯，以在具有挑戰性的低光或HDR場景中實現更好的AF結果，同時保持整體圖像品質。

Description

自動聚焦（AF）和自動曝光控制（AEC）協調

本專利申請案主張於2022年1月5日提出申請的題為「AUTOFOCUS (AF) AND AUTO EXPOSURE CONTROL (AEC) COORDINATION」的第17/647150號美國專利申請案和於2021年7月6日提出申請的題為「AUTOFOCUS (AF) AND AUTO EXPOSURE CONTROL (AEC) COORDINATION」的第63/218828號美國臨時專利申請案的權益，該兩個申請案的全部內容經由引用明確地併入本文。

本案的各態樣大體而言係關於圖像信號處理。一些特徵可以實現並提供改良的圖像信號處理，包括改良的自動聚焦（AF）。

圖像擷取設備是可以擷取一或多個數位圖像的設備，無論是照片的靜止圖像還是視訊的圖像序列。擷取設備可以被併入到各種各樣的設備中。舉例而言，圖像擷取設備可包括獨立數位相機或數位視訊攝像機、配備相機的無線通訊設備手持機（諸如行動電話、蜂巢式或衛星無線電電話）、個人數位助理（PDA）、面板或平板電腦、遊戲設備、電腦設備（諸如網路攝像頭）、視訊監控相機或具有數位成像或視訊能力的其他設備。

圖像擷取設備具有固有的限制。圖像品質與擷取圖像的圖像感測器的靈敏度和在圖像中擷取的場景的亮度有關。對圖像感測器能力和場景照明的限制可能會抑制高品質圖像的擷取。

以下概述了本案的一些態樣以提供對所論述的技術的基本理解。本概述不是對本案的所有預期特徵的廣泛概述，並且既不意欲辨識本案的所有態樣的關鍵或重要元素，亦不意欲圖示本案的任何或所有態樣的範疇。其唯一目的是以概述的形式呈現本案的一或多個態樣的一些構思，作為稍後呈現的更詳細的描述的序言。

在本案的一個態樣，一種用於圖像處理及/或圖像擷取的方法包括以下步驟：利用第一目標參數集執行第一自動曝光控制操作以決定第一曝光水平；在第一曝光水平下執行第一自動聚焦操作以決定第一聚焦位置；在執行第一自動聚焦操作之後，利用第二目標參數集執行第二自動曝光控制操作以決定第二曝光水平；及/或在第二曝光水平下擷取第一圖像訊框。

在本案的附加態樣，一種裝置包括至少一個處理器以及耦合到該至少一個處理器的記憶體。至少一個處理器被配置為執行操作，操作包括：利用第一目標參數集執行第一自動曝光控制操作以決定第一曝光水平；在第一曝光水平下執行第一自動聚焦操作以決定第一聚焦位置；在執行第一自動聚焦操作之後，利用第二目標參數集執行第二自動曝光控制操作以決定第二曝光水平；及/或在第二曝光水平下擷取第一圖像訊框。

在本案的附加態樣，一種裝置包括：用於利用第一目標參數集執行第一自動曝光控制操作以決定第一曝光水平的構件；用於在第一曝光水平下執行第一自動聚焦操作以決定第一聚焦位置的構件；用於在執行第一自動聚焦操作之後利用第二目標參數集執行第二自動曝光控制操作以決定第二曝光水平的構件；及/或用於在第二曝光水平下擷取第一圖像訊框的構件。

在本案的附加態樣，一種非暫時性電腦可讀取媒體儲存指令，該等指令在由處理器執行時使處理器執行操作。操作包括：利用第一目標參數集執行第一自動曝光控制操作以決定第一曝光水平；在第一曝光水平下執行第一自動聚焦操作以決定第一聚焦位置；在執行第一自動聚焦操作之後，利用第二目標參數集執行第二自動曝光控制操作以決定第二曝光水平；及/或在第二曝光水平下擷取第一圖像訊框。

圖像擷取設備，亦即可以擷取一或多個數位圖像（無論是靜止圖像照片還是視訊的圖像序列）的設備，可以併入到各種各樣的設備中。舉例而言，圖像擷取設備可包括獨立數位相機或數位視訊攝像機、配備相機的無線通訊設備手持機（諸如行動電話、蜂巢式或衛星無線電電話）、個人數位助理（PDA）、面板或平板電腦、遊戲設備、電腦設備（諸如網路攝像頭）、視訊監控相機或具有數位成像或視訊能力的其他設備。

一般而言，本發明描述涉及具有圖像感測器及圖像信號處理器（ISP）的圖像擷取設備的圖像處理技術。圖像信號處理器可以被配置為控制來自一或多個圖像感測器的圖像訊框的擷取，並且處理來自一或多個圖像感測器的一或多個圖像訊框，以在校正圖像訊框中產生場景的視圖。校正圖像訊框可以是形成視訊序列的圖像訊框序列的一部分。視訊序列可以包括從圖像感測器或其他圖像感測器接收的其他圖像訊框及/或基於來自圖像感測器或另一圖像感測器的輸入的其他校正圖像訊框。

在實例中，圖像信號處理器可以回應於軟體（諸如相機應用程式）的載入而接收擷取圖像訊框序列的指令，以從圖像擷取設備產生預覽顯示。圖像信號處理器可以被配置為基於從一或多個圖像感測器接收的圖像訊框來產生輸出訊框的單個流程。輸出訊框的單個流程可以包括來自圖像感測器的原始圖像資料或由圖像信號處理器內的一或多個演算法處理的校正圖像訊框。例如，從圖像感測器獲得的圖像訊框可以在圖像信號處理器中經由經由圖像後處理引擎（IPE）及/或用於執行色調映射、肖像照明、對比度增強、伽馬校正等中的一或多個的其他圖像處理電路系統處理圖像訊框來處理。

在由圖像信號處理器使用本文的各種實施例中描述的圖像校正決定表示場景的輸出訊框之後，輸出訊框可以在設備顯示器上顯示為單個靜止圖像及/或作為視訊序列的一部分，作為圖片或視訊序列保存到儲存設備，經由網路傳輸，及/或列印到輸出媒體。例如，圖像信號處理器可以被配置為從不同的圖像感測器獲得圖像資料（例如，圖元值）的輸入訊框，並且進而產生圖像資料的對應輸出訊框（例如，預覽顯示訊框、靜止圖像擷取、視訊訊框等）。在其他實例中，圖像信號處理器可以將圖像資料的訊框輸出到各種輸出設備及/或相機模組以用於進一步處理，諸如用於3A參數同步（例如，自動聚焦（AF）、自動白平衡（AWB）和自動曝光控制（AEC）），經由輸出訊框產生視訊檔案，配置用於顯示的訊框，配置用於儲存的訊框，經由網路連接傳輸訊框等。亦即，圖像信號處理器可以從一或多個圖像感測器獲得傳入訊框，每個圖像感測器耦合到一或多個相機透鏡，並且進而可以產生輸出訊框流程並將其輸出到各種輸出目的地。在此種實例中，圖像信號處理器可以被配置為產生在低光條件下可以具有改良的外觀的輸出訊框流程。

在一些態樣中，可以經由將本案的圖像校正的各態樣與其他計算攝影技術（諸如高動態範圍（HDR）攝影或多訊框降雜（MFNR））組合來產生校正圖像訊框。在HDR攝影的情況下，使用不同曝光時間、不同光圈、不同透鏡及/或可以在組合兩個圖像訊框時產生經融合圖像的改良的動態範圍的其他特性來擷取第一圖像訊框及第二圖像訊框。在一些態樣中，可以針對MFNR攝影執行該方法，其中使用相同或不同的曝光時間擷取第一圖像訊框和第二圖像訊框，並將其融合以產生與所擷取的第一圖像訊框相比具有減少的雜訊的校正的第一圖像訊框。

在一些態樣中，設備可以包括圖像信號處理器或包括用於相機控制及/或處理的特定功能性的處理器（例如，應用處理器），諸如啟用或停用圖像校正或以其他方式控制圖像校正的各態樣，諸如經由指定自動聚焦（AF）感興趣區域及/或AEC收斂的目標參數。本文描述的方法和技術可以完全由圖像信號處理器或處理器執行，或者各種操作可以在圖像信號處理器和處理器之間分離，並且在一些態樣跨附加處理器分離。

裝置可以包括一個、兩個或更多個圖像感測器，諸如包括第一圖像感測器。當存在多個圖像感測器時，第一圖像感測器可以具有比第二圖像感測器更大的視場（FOV），或者第一圖像感測器可以具有與第二圖像感測器不同的靈敏度或不同的動態範圍。在一個實例中，第一圖像感測器可以是廣角圖像感測器，並且第二圖像感測器可以是遠端圖像感測器（tele image sensor）。在另一實例中，第一感測器被配置為經由具有第一光軸的第一透鏡獲得圖像，且第二感測器被配置為經由具有不同於第一光軸的第二光軸的第二透鏡獲得圖像。附加地或替代地，第一透鏡可以具有第一放大率，並且第二透鏡可以具有不同於第一放大率的第二放大率。配置可以與行動設備上的透鏡集群一起發生，諸如其中多個圖像感測器及相關聯透鏡位於行動設備的前側或後側上的偏移位置中。可以包括具有更大、更小或相同視場的附加圖像感測器。本文中所描述的圖像校正技術可以應用於從多感測器設備中的圖像感測器中的任一者擷取的圖像訊框。

在本案的附加態樣，揭示一種被配置用於圖像處理及/或圖像擷取的設備。該裝置包括用於擷取圖像訊框的構件。該裝置亦包括用於擷取表示場景的資料的一或多個構件，諸如圖像感測器（包括電荷耦合元件（CCD）、拜耳濾波器感測器、紅外（IR）偵測器、紫外（UV）偵測器、互補金屬氧化物半導體（CMOS）感測器）、飛行時間偵測器。該裝置亦可以包括用於將光線累積及/或聚焦到一或多個圖像感測器中的一或多個構件（包括簡單透鏡、複合透鏡、球面透鏡和非球面透鏡）。可以控制該等元件以擷取輸入到本文描述的圖像處理技術的第一及/或第二圖像訊框。

在結合附圖審閱以下具體的示例性態樣的描述之後，其他態樣、特徵和實現方式對於一般技術者將變得顯而易見。儘管可以相對於下文的某些態樣和附圖論述特徵，但是各個態樣可以包括本文論述的有利特徵中的一或多個。換言之，儘管一或多個態樣可以被論述為具有某些有利特徵，但是亦可以根據各個態樣使用此種特徵中的一或多個。以類似的方式，儘管下文可以將示例性態樣論述為設備、系統或方法態樣，但是可以在各種設備、系統和方法中實現示例性態樣。

該方法可以作為電腦程式代碼嵌入在電腦可讀取媒體中，電腦程式代碼包括使處理器執行該方法的步驟的指令。在一些實施例中，處理器可以是行動設備的一部分，行動設備包括第一網路配接器，其被配置為經由複數個網路連接中的第一網路連接傳輸資料，諸如圖像或視訊作為記錄或作為串流資料；及耦合到第一網路配接器的處理器，和記憶體。處理器可以使得在諸如5G NR通訊網路的無線通訊網路上傳輸本文描述的校正圖像訊框。

前面已經相當廣泛地概述了根據本案的實例的特徵和技術優點，以便可以更好地理解下文的詳細描述。下文將描述另外的特徵和優點。所揭示的概念和具體實例可以容易地用作修改或設計用於執行本案的相同目的的其他結構的基礎。此種等同構造不脫離所附請求項的範疇。當結合附圖考慮時，從以下描述中將更好地理解本文揭示的構思的特性（其組織和操作方法兩者）以及相關聯的優點。提供每個附圖是為了說明和描述的目的，而不是作為請求項的限制的定義。

儘管在本案中經由對一些實例的說明來描述各態樣和實現方式，但是熟習此項技術者將理解，在許多不同的佈置和場景中可以出現附加的實現方式和用例。本文描述的創新可以跨許多不同的平臺類型、設備、系統、形狀、尺寸、封裝佈置來實現。例如，各態樣及/或用途可以經由整合晶片實現方式和其他基於非模組元件的設備（例如，終端使用者設備、車輛、通訊設備、計算設備、工業裝備、零售/購買設備、醫療設備、啟用人工智慧（AI）的設備等）來實現。儘管一些實例可以或可以不專門針對用例或應用，但是可以發生所描述的創新的各種各樣的適用性。實現方式的範圍可以從晶片級或模組化元件到非模組化、非晶片級實現方式，並且進一步到包含所描述的創新的一或多個態樣的聚合式、分散式或原始裝備製造商的設備或系統。在一些實際設置中，包含所描述的態樣和特徵的設備亦可以必要地包括用於實現和實踐所主張保護和描述的態樣的附加元件和特徵。例如，無線信號的傳輸和接收必要地包括用於類比和數位化目的的多個元件（例如，包括天線、射頻（RF）鏈、功率放大器、調制器、緩衝器、處理器、交錯器、加法器/求和器等的硬體元件）。本文描述的創新意欲可以在各種尺寸、形狀和構造的各種設備、晶片級元件、系統、分散式佈置、終端使用者設備等中實踐。

下文結合附圖闡述的詳細描述意欲作為對各種配置的描述，而非意欲限制本案的範疇。相反，為了提供對本案標的的透徹理解，詳細描述包括具體細節。對於熟習此項技術者而言顯而易見的是，該等具體細節並不是在每種情況下皆是必需的，並且在某些情況下，為了表述清楚，公知的結構和元件以方塊圖形式圖示。

圖像擷取設備中圖像感測器的固有限制可能導致低品質的圖像。圖像感測器產生的低品質圖像亦會給圖像信號處理的其他態樣帶來問題。例如，在低光條件下產生的低品質圖像對相機控制演算法提出了挑戰，此舉會進一步降低圖像品質。例如，基於偵測圖像訊框中的對比度的自動聚焦（AF）操作在幾乎沒有可用對比度的低光條件下可能難以完成。作為另一實例，在幾乎沒有可用對比度的情況下，基於偵測高動態範圍圖像的低光部分中的對比度的AF操作可能難以完成。此處提到的缺點僅僅是代表性的，並且被包括以突出發明人已經辨識的關於現有設備的問題，並且尋求改良。下文描述的設備的各態樣可以解決一些或所有缺點以及本領域中已知的其他缺點。下文描述的改良設備的各態樣可以呈現除上述優點之外的其他優點，並且可以用在除上述彼等之外的其他應用中。

本案提供了支援改良的圖像信號處理的系統、裝置、方法和電腦可讀取媒體，特別是在低光或高動態範圍（HDR）場景中。圖像處理技術可以包括執行兩個自動曝光控制（AEC）操作，其中第一AEC操作的目標是獲得提高自動聚焦（AF）操作的收斂和置信度的條件，並且第二AEC操作跟隨在AF操作之後且目標是獲得圖像擷取的良好條件。圖像處理技術亦可包括AEC操作和AF操作之間的通訊，以經由鎖定和釋放曝光水平和聚焦位置來協調操作，作為圖像信號處理的一部分。

在一個態樣，處理技術可以包括AF演算法，該AF演算法量測來自感興趣的目的地區域（其可以是偵測到的感興趣的物件，諸如面部）的統計量，與AEC演算法協調，並且執行鎖定和恢復狀態機的交錯，以在具有挑戰性的低光或HDR場景中實現更好的AF結果，同時保持AEC操作偏好的整體圖像品質。該協調可以包括AF鎖定在第一聚焦位置，等待第一AEC操作完成。AEC操作可以收斂於揭示感興趣區域內的細節的第一曝光水平，此後曝光水平鎖定且AF演算法解鎖並決定感興趣區域的聚焦位置，同時鎖定曝光水平。AF操作完成後，AF演算法鎖定焦點，並且AEC演算法解鎖曝光水平並執行第二AEC操作來調整曝光水平，以獲得期望的圖像結果。在一些實施例中，AF可以在第二AEC操作期間的調整曝光水平期間解鎖聚焦位置。

可以實現本案中描述的標的的特定實現方式，以實現以下潛在的優點或益處中的一或多個。在一些態樣，本案提供用於圖像信號處理方法的技術，其中AF可以主動地與AEC合作，以在低光或HDR場景中獲得更好的AF結果，而不改變原始AEC偏好。此舉可以導致更快及/或更精確的聚焦操作，其使得照片具有更多的聚焦區域，並且因此具有改良的圖像品質（如經由保留場景細節量測），同時在整個照片中仍然具有期望的照明品質，特別是在高動態範圍（HDR）攝影中。

使用一或多個圖像感測器來擷取圖像訊框的示例性設備，諸如智慧手機，可以包括在設備的背面（例如，與使用者顯示器相對的一側）或正面（例如，與使用者顯示器相同的一側）上的兩個、三個、四個或更多個相機的配置。具有多個圖像感測器的設備包括一或多個圖像信號處理器（ISP）、電腦視覺處理器（CVP）（例如，AI引擎），或者用於處理由圖像感測器擷取的圖像的其他合適的電路系統。一或多個圖像信號處理器可以向記憶體及/或處理器（諸如應用處理器、圖像前端（IFE）、圖像後處理引擎（IPE）或其他合適的處理電路系統）提供經處理的圖像訊框，以用於進一步處理，諸如用於編碼、儲存、傳輸或其他操縱。

如本文所使用的，圖像感測器可以指圖像感測器本身和耦合到圖像感測器的任何特定其他元件，用於產生圖像訊框以供圖像信號處理器或其他邏輯電路系統處理或者儲存在記憶體中，無論是短期緩衝器還是長期非揮發性記憶體。例如，圖像感測器可以包括相機的其他元件，包括快門、緩衝器或用於存取圖像感測器的個別圖元的其他讀出電路系統。圖像感測器亦可以指用於將類比信號轉換成圖像訊框的數位表示的類比前端或其他電路系統，該等數位表示被提供給耦合到圖像感測器的數位電路系統。

在以下描述中，闡述了許多具體細節，諸如具體元件、電路和過程的實例，以提供對本案的全面理解。本文使用的術語「耦合」意味著直接連接到或經由一或多個中間元件或電路連接。此外，在下文的描述中且出於解釋的目的，闡述了特定的術語，以提供對本案的徹底理解。然而，對於熟習此項技術者而言顯而易見的是，該等具體細節可能不是實踐本文揭示的教示所必需的。在其他情況下，公知的電路和設備以方塊圖形式圖示，以避免模糊本案的教示。

以下詳細描述的一些部分是按照程序、邏輯區塊、處理以及對電腦記憶體內的資料位元的操作的其他符號表示來呈現的。在本案中，程序、邏輯區塊、過程等被認為是導致期望結果的步驟或指令的自洽序列。該等步驟需要對實體量進行實體操作。通常，儘管不是必須的，該等量採取能夠在電腦系統中儲存、傳輸、組合、比較和以其他方式操作的電或磁信號的形式。

在附圖中，單個方塊可以被描述為執行一或多個功能。由該等方塊執行一或多個功能可以在單個元件中或跨多個元件來執行，及/或可以使用硬體、軟體或硬體和軟體的組合來執行。為了清楚地說明硬體和軟體的此種可互換性，各種說明性的元件、方塊、模組、電路和步驟一般按照其功能來描述。此種功能實現為硬體還是軟體取決於特定的應用和對整體系統施加的設計約束。熟習此項技術者可以針對每個特定的應用以不同的方式實現所描述的功能，但是此種實現決定不應該被解釋為導致脫離本案的範疇。此外，示例性設備可以包括除了所示元件之外的元件，包括公知的元件，諸如處理器、記憶體等。

本案的各態樣適用於任何合適的電子設備，包括或耦合到能夠擷取圖像訊框（或「訊框」）的兩個或更多個圖像感測器。此外，本案的態樣可以在具有或耦合到相同或不同能力和特性（諸如解析度、快門速度、感測器類型等）的圖像感測器的設備中實現。此外，本案的各態樣可以在用於處理圖像訊框的設備中實現，無論該設備是否包括或耦合到圖像感測器，諸如可以取得儲存的圖像以供處理的處理設備，包括雲端計算系統中存在的處理設備。

除非另有特別聲明，否則從下文的論述中顯而易見的是，在整個本案中，利用諸如「存取」、「接收」、「發送」、「使用」、「選擇」、「決定」、「正規化」、「相乘」、「平均」、「監控」、「比較」、「應用」、「更新」、「量測」、「匯出」、「穩定」、「產生」等術語的論述指的是電腦系統或類似的電子計算設備的動作和過程，該電腦系統或類似的電子計算設備將表示為電腦系統的暫存器和記憶體內的實體（電子）量的資料操縱和變換為類似地表示為電腦系統的暫存器、記憶體或其他此種資訊儲存、傳輸或顯示設備內的實體量的其他資料

術語「設備」和「裝置」不限於一個或特定數量的實體物件（諸如一個智慧手機、一個相機控制器、一個處理系統等等）。如本文所使用的，設備可以是具有一或多個部件的任何電子設備，該等部件可以實現本案的至少一些部分。儘管以下描述和實例使用術語「設備」來描述本案的各個態樣，但是術語「設備」不限於特定的配置、類型或數量的物件。如本文所使用的，裝置可以包括用於執行所述操作的設備或設備的一部分。

圖1圖示用於執行來自一或多個圖像感測器的圖像擷取的示例性設備100的方塊圖。設備100可以包括或以其他方式耦合到圖像信號處理器112，用於處理來自一或多個圖像感測器的圖像訊框，該等圖像感測器諸如第一圖像感測器101、第二圖像感測器102和深度感測器140。在一些實現方式中，設備100亦包括或耦合到處理器104和儲存指令108的記憶體106。設備100亦可以包括或耦合到顯示器114和輸入/輸出（I/O）元件116。I/O元件116可以用於與使用者互動，諸如觸控式螢幕介面及/或實體按鈕介面。I/O元件116亦可以包括用於與其他設備通訊的網路介面，包括廣域網路（WAN）配接器152、區域網路（LAN）配接器153及/或個人區域網路（PAN）配接器154。WAN配接器152的實例包括4G LTE或5G NR無線網路配接器。示例性LAN配接器153是IEEE 802.11 WiFi無線網路配接器。示例性PAN配接器154是藍芽無線網路配接器。配接器152、153及/或154中的每一個可以耦合到天線，並且可以耦合到被配置用於主要和分集接收及/或被配置用於接收特定頻帶的多個天線。設備100亦可以包括或耦合到設備100的電源118，諸如電池或用於將設備100耦合到能源的元件。設備100亦可以包括或耦合到圖1中未圖示的附加特徵或元件。在一個實例中，一或多個收發器和基頻處理器可以耦合到或包括在無線通訊設備的WAN配接器152中。在另一實例中，將類比圖像訊框資料轉換成數位圖像訊框資料的類比前端（AFE）可以耦合在圖像感測器101和102與圖像信號處理器112之間。

設備可以包括或耦合到感測器集線器150，用於與感測器介面以接收關於設備100的移動的資料、關於設備100周圍的環境的資料及/或其他非相機感測器資料。一個示例性非相機感測器是陀螺儀，一種被配置用於量測旋轉、方向及/或角速度以產生運動資料的設備。另一示例性非相機感測器是加速度計，一種被配置用於量測加速度的設備，其亦可以用於經由適當地積分量測的加速度來決定速度和行進的距離，並且加速度、速度及/或距離中的一或多個可以被包括在產生的運動資料中。在一些態樣，電子圖像穩定系統（EIS）中的陀螺儀可以耦合到感測器集線器或者直接耦合到圖像信號處理器112。在另一實例中，非相機感測器可以是全球定位系統（GPS）接收器。來自感測器集線器150的資料可以被圖像信號處理器112用於產生校正圖像訊框，諸如經由應用電子圖像穩定（EIS）及/或數位圖像穩定（DIS）。

圖像信號處理器112可以以圖像訊框的形式從一或多個相機接收圖像資料。在一個實施例中，本端匯流排連接將圖像信號處理器112分別耦合到第一相機的圖像感測器101和第二相機的圖像感測器102。在另一個實施例中，有線介面將圖像信號處理器112耦合到外部圖像感測器。在另一實施例中，無線介面將圖像信號處理器112耦合到圖像感測器101、102。

第一相機可以包括第一圖像感測器101和相應第一透鏡131。第二相機可以包括第二圖像感測器102和相應第二透鏡132。透鏡131和132中的每一個可以由在ISP 112中執行的相關聯的自動聚焦（AF）演算法133來控制，該演算法調整透鏡131和132以聚焦在對應於特定聚焦位置的特定焦平面上。深度感測器140可以經由使用深度資料來近似聚焦位置以輔助AF演算法133。

第一圖像感測器101和第二圖像感測器102被配置為擷取一或多個圖像訊框。透鏡131和132分別經由用於接收光的一或多個光圈、用於在曝光訊窗之外阻擋光的一或多個快門、用於過濾特定頻率範圍之外的光的一或多個濾色器陣列（CFA）、用於將類比量測轉換成數位資訊的一或多個類比前端及/或用於成像的其他合適元件，將光聚焦在圖像感測器101和102上。第一透鏡131和第二透鏡132可以具有不同的視場，以擷取場景的不同表示。例如，第一透鏡131可以是超寬（UW）透鏡，並且第二透鏡132可以是寬（W）透鏡。多個圖像感測器可以包括超寬（高視場（FOV））、寬、遠距和超遠距（低FOV）感測器的組合。亦即，每個圖像感測器可以經由硬體配置及/或軟體設置來配置，以獲得不同但重疊的視場。在一種配置中，圖像感測器配置有不同的透鏡，該等透鏡具有不同的放大率，從而產生不同的視場。感測器可以被配置使得UW感測器比W感測器具有更大的FOV，W感測器比T感測器具有更大的FOV，T感測器比UT感測器具有更大的FOV。例如，被配置用於寬FOV的感測器可以擷取64-84度範圍內的視場，被配置用於超寬FOV的感測器可以擷取100-140度範圍內的視場，被配置用於遠距FOV的感測器可以擷取10-30度範圍內的視場，以及被配置用於超遠距FOV的感測器可以擷取1-8度範圍內的視場。

圖像信號處理器112處理由圖像感測器101和102擷取的圖像訊框。儘管圖1將設備100圖示為包括耦合到圖像信號處理器112的兩個圖像感測器101和102，但是任何數量（例如，一個、兩個、三個、四個、五個、六個等）的圖像感測器可以耦合到圖像信號處理器112。在一些態樣，諸如深度感測器140的深度感測器可以耦合到圖像信號處理器112，並且來自深度感測器的輸出以與圖像感測器101和102類似的方式被處理，以基於由深度感測器140擷取的圖像訊框來產生校正圖像訊框。深度感測器140亦可以用於對從圖像感測器101和102中的一個擷取的第一圖像訊框應用校正，諸如經由使用深度資料將來自感測器101或102的圖像訊框分割成前景和背景區域，並在決定校正的第一圖像訊框時分別處理前景和背景區域。儘管圖1所示的裝置可以反映所揭示的圖像信號處理技術和方法的一些實施例的配置，但是在設備100的其他實施例中可以包括任意數量的附加圖像感測器或圖像信號處理器，同時仍然實現所揭示的圖像信號處理技術和方法的各態樣。

在一些實施例中，圖像信號處理器112可以執行來自記憶體的指令，諸如來自記憶體106的指令108、儲存在耦合到圖像信號處理器112或包括在圖像信號處理器112中的獨立記憶體中的指令，或由處理器104提供的指令。另外，或者替代地，圖像信號處理器112可以包括被配置為執行本案中描述的一或多個操作的特定硬體（諸如一或多個積體電路（IC））。例如，圖像信號處理器112可以包括一或多個圖像前端（IFE）135、一或多個圖像後處理引擎136（IPE）、一或多個自動曝光控制（AEC）134引擎及/或一或多個自動聚焦（AF）133引擎。AF 133、AEC 134、IFE 135、IPE 136可以各自包括專用電路系統，被實現為由ISP 112執行的軟體代碼，及/或ISP 112內的硬體和在ISP 112上執行的軟體代碼的組合。

在一些實現方式中，記憶體106可以包括儲存電腦可執行指令108的非瞬態或非暫時性電腦可讀取媒體，以執行本案中描述的一或多個操作的全部或一部分。在一些實現方式中，指令108包括由設備100執行的用於產生圖像或視訊的相機應用程式（或其他合適的應用程式）。指令108亦可以包括由設備100執行的其他應用程式或程式，諸如除了用於圖像或視訊產生之外的特定應用程式和作業系統。諸如由處理器104執行相機應用程式可以使得設備100使用圖像感測器101和102以及圖像信號處理器112來產生圖像。記憶體106亦可以由圖像信號處理器112存取以儲存處理後的訊框，或者可以由處理器104存取以獲得處理後的訊框。在一些實施例中，設備100不包括記憶體106。例如，設備100可以是包括圖像信號處理器112的電路，並且記憶體可以在設備100的外部。設備100可以耦合到外部記憶體，並被配置為存取該記憶體，以寫入輸出訊框用於顯示或長期儲存。在一些實施例中，設備100是晶片上系統（SoC），其將圖像信號處理器112、處理器104、感測器集線器150、記憶體106和輸入/輸出元件116合併到單個封裝中。

在一些實施例中，圖像信號處理器112或處理器104中的至少一個執行指令以執行本文描述的各種操作，包括AEC和AF操作以及AEC和AF操作的協調。例如，指令的執行可以指示圖像信號處理器112開始或結束擷取圖像訊框或圖像訊框序列，其中擷取包括如本文實施例中所述的AF和AEC操作。在一些實施例中，處理器104可以包括一或多個通用處理器核心104A，其能夠執行一或多個軟體程式的腳本或指令，諸如儲存在記憶體106中的指令108。例如，處理器104可以包括一或多個應用處理器，其被配置為執行儲存在記憶體106中的相機應用程式（或用於產生圖像或視訊的其他合適的應用程式）。

在執行相機應用程式時，處理器104可以被配置為指示圖像信號處理器112參考圖像感測器101或102來執行一或多個操作。例如，相機應用程式可以接收開始視訊預覽顯示的命令，基於該視訊預覽顯示，從一或多個圖像感測器101或102擷取並處理包括圖像訊框序列的視訊。圖像校正可以應用於序列中的一或多個圖像訊框。處理器104在相機應用程式之外執行指令108亦可以使設備100執行任意數量的功能或操作。在一些實施例中，除了執行軟體以使設備100執行多個功能或操作的能力之外，處理器104可以包括IC或其他硬體（例如，人工智慧（AI）引擎124），諸如本文描述的操作。在一些其他實施例中，設備100不包括處理器104，諸如當所有描述的功能皆配置在圖像信號處理器112中時。

在一些實施例中，顯示器114可以包括一或多個合適的顯示器或螢幕，允許使用者互動及/或向使用者呈現項目，諸如由圖像感測器101和102擷取的圖像訊框的預覽。在一些實施例中，顯示器114是觸敏顯示器。I/O元件116可以是或包括任何合適的機制、介面或設備，以接收來自使用者的輸入（諸如命令）並經由顯示器114向使用者提供輸出。例如，I/O元件116可以包括（但不限於）圖形化使用者介面（GUI）、鍵盤、滑鼠、麥克風、揚聲器、可擠壓邊框、一或多個按鈕（諸如電源按鈕）、滑塊、開關等等。

儘管被示為經由處理器104彼此耦合，但是元件（諸如處理器104、記憶體106、圖像信號處理器112、顯示器114和I/O元件116）可以以其他各種佈置彼此耦合，諸如經由一或多個本端匯流排，為了簡單起見未圖示。儘管圖像信號處理器112被圖示為與處理器104分離，但是圖像信號處理器112可以是處理器104的核心，其是應用處理器單元（APU），包括在晶片上系統（SoC）中，或者以其他方式包括在處理器104中。儘管在本文的實例中設備100被稱為用於執行本案的各態樣，但是為了防止模糊本案的各態樣，一些設備元件可能沒有在圖1中圖示。此外，其他元件、多個元件或元件的組合可以被包括在用於執行本案的各態樣的合適設備中。因此，本案不限於特定的設備或元件配置，包括設備100。

自動聚焦（AF）133分析圖像訊框，並決定用於移動相應圖像感測器的透鏡的聚焦位置。由AF 133決定的聚焦位置會影響圖像品質，因為若為透鏡設置了錯誤的聚焦位置，則得到的圖像是模糊的。AF 133的一個示例性技術是對比度自動聚焦（CAF），其中可以為幾個透鏡停止位置產生聚焦位置（FV），並且透鏡被定位到聚焦位置對透鏡停止位置曲線的峰值處的聚焦位置，以擷取場景的聚焦圖像。AF 133的另一示例性技術是相位偵測自動聚焦（PDAF），其中AF 133可以使用從由圖像感測器擷取的圖像訊框決定的相位差來估計聚焦位置，並移動透鏡以擷取該聚焦位置處的場景的聚焦圖像。

AF 133和AEC 134操作以允許圖像擷取設備100的使用者進行「點擊並拍攝（point-and-shoot）」操作。使用AF 133和AEC 134，使用者不需要手動調整透鏡位置或手動決定曝光水平。AF 133和AEC 134允許比手動調整該等相機參數更快地擷取圖像訊框，並經由降低使用者攝影的複雜度來改良使用者體驗。圖2圖示自動圖像擷取的一個示例性過程。

圖2是說明根據一或多個態樣的AF和AEC的操作的方塊圖。AF 210操作從時間202處的觸發開始。該觸發可以是例如載入相機應用程式，該相機應用程式請求圖像感測器視野中的場景的圖像訊框的預覽串流。在時間202處的觸發之後，自動曝光控制（AEC）220在時間204操作以收斂到滿足目標參數集的曝光水平。在時間204期間，自動聚焦（AF）210等待AEC收斂並穩定在曝光水平。在AEC 220收斂之後，AF 210在時間206操作，以決定用於調整相機透鏡的聚焦位置。然而，時間204之後的收斂曝光水平可能為AF 210辨識聚焦位置造成不良條件。此種不良條件可能包括低光、低對比度、低PDAF置信度、高感測器增益（此舉可能導致高雜訊）等。AEC 220為當前感興趣區域（ROI）決定合適的亮度目標。然而，AEC 220和AF 210可能具有不同的期望相機參數，尤其是在高動態範圍（HDR）場景中。例如，在有人站在窗戶前的場景中，可能存在強背光條件，其中AEC 220傾向於降低目標亮度以避免高亮背景部分的過度曝光。此舉可能產生對AF 210的不良條件，因為焦點的感興趣區域，亦即站在窗戶前的人的面部，照明不良，由於場景的陰影區域中的不良對比度，此舉阻礙了對用於聚焦在感興趣區域上的聚焦位置的辨識。

本案的實施例提供了一種機制，其中AEC可以在相機操作期間用不同的目標參數來配置。不同的目標參數可允許AEC臨時控制曝光以改良自動聚焦操作，並且隨後恢復控制曝光以改良整體圖像品質。在一些實施例中，AEC被配置為操作狀態機的一部分。例如，在相機操作期間，AF可以量測來自目標的統計量，AF與AEC協調，並對焦點及/或曝光水平執行交錯鎖定/恢復，以在具有挑戰性的低光或HDR場景中實現更好的AF結果。圖3是說明根據一或多個態樣的自動曝光控制（AEC）與自動聚焦（AF）之間的協調的一個實例的方塊圖。

自動聚焦（AF）320和自動曝光控制（AEC）330之間的通訊可以經由允許AEC 330操作以改良AF的感興趣區域中的圖像條件，允許AF決定聚焦位置，且接著允許AEC 330收斂到提供高整體圖像品質的曝光水平來改良圖像品質。AEC 330可以被配置使用兩個或更多個目標參數集，用於決定曝光水平，第一目標參數集決定第一曝光水平以改良場景的感興趣區域中的聚焦（諸如經由改良感興趣區域中的亮度及/或對比度）供在時間304期間使用，而第二目標參數集決定第二曝光水平以改良整體圖像外觀供在時間308期間使用。

AF 320操作從觸發322開始。觸發322可以是例如載入相機應用程式，該相機應用程式請求圖像感測器視野中的場景的圖像訊框的預覽串流。在觸發322之後，可以為圖像訊框中的感興趣區域計算一或多個值（例如，統計量）。該等值可以包括亮度水平、對比度值、PDAF聚焦決定的置信度水平及/或感測器水平。感興趣區域（ROI）可以基於圖像訊框上的使用者觸摸點、決定的顯著值、經由眼睛追蹤決定的觀察顯示器的使用者的凝視、圖像訊框的中心及/或偵測到的物件（例如，面部）中的一或多個來決定。可以基於該等值來決定ROI中的圖像條件。例如，可以基於該等值評估一或多個條件（例如，規則）以決定ROI中是否存在針對AF操作的不良條件。在一個實例中，可以決定ROI的亮度統計量，以決定平均亮度值是否低於指示針對AF 320存在不良條件的閾值。當在時間段302期間辨識出較不良的AF條件時，AF 320可以諸如經由圖像信號處理器與AEC 330通訊，以執行AEC收斂來增加ROI中的平均亮度值（例如，亮度）。

在時間304，AEC 330使用第一目標參數集進行操作，以改良AF 320對ROI的聚焦位置的決定的方式來改良ROI。在時間段304期間，AF 320等待AEC 330穩定。在一些實施例中，AF 320在特定的時間段之後開始時間段306的自動聚焦操作。在一些實施例中，在AEC 330達到收斂條件之後，AF 320開始時間段306的自動聚焦操作。在一些實施例中，當AEC 330與AF 320通訊以開始自動聚焦操作時，AF 320開始時間段306的自動聚焦操作。

在時間段306期間，AF 320利用自動聚焦來決定聚焦位置，同時AEC被鎖定在時間段304期間決定的第一曝光水平下。在一些實施例中，AEC 330在某一段時間之後使用第二目標參數集開始新的AEC操作。在一些實施例中，在AF 320達到收斂條件之後，AEC 330使用第二目標參數集開始新的AEC操作。在一些實施例中，在AF 320與AEC 330通訊以開始新的AEC操作之後，AEC 330使用第二目標參數集開始新的AEC操作。

在時間段308期間，AEC 330使用第二目標參數集進行操作，以決定滿足第二目標參數集的曝光水平，以改良圖像外觀。在該AEC操作期間，AF 320鎖定聚焦位置，並且AEC 330使用第二目標參數集繼續收斂。場景可以在時間段308期間繼續改變，並且AEC 330回應於使用第二目標參數集的收斂而繼續調整。例如，場景中的燈可以被開啟，使得AEC 330調整曝光水平以補償新的燈。在時間段308期間，可以在時間310處偵測到場景變化，在此之後，演算法可以重啟並返回到時間302。在AF 320操作被禁用的時間段308期間，聚焦位置可以保持鎖定。在時間308期間，圖像訊框可以繼續從ISP產生，並且在圖像擷取設備上執行的相機應用程式的預覽顯示中輸出。可以在時間段308期間擷取快照圖像訊框，諸如回應於按下快門以請求圖像擷取的使用者輸入。若在其他時間段302、304、306或310期間按下快門，則回應於快門的快照圖像訊框的擷取可以延遲到時間308。

參考圖3描述的操作可以被配置在使用鎖定和恢復狀態機的圖像信號處理器中，其中在AF 320中存在用於在時間段304和時間段308中鎖定聚焦位置並在時間段306中恢復聚焦位置決定以及用於在時間段306中鎖定曝光水平並在時間段304和308中恢復曝光水平決定的狀態。

在圖4A中圖示用於利用兩個AEC操作來改良AF操作的圖像信號處理方法。圖4A是說明根據一或多個態樣的使用兩個AEC操作的圖像信號處理方法的流程圖。圖4A開始於方塊402，利用第一目標參數集執行第一自動曝光控制（AEC）操作以決定第一曝光水平，用於改良自動聚焦（AF）效能。例如，目標參數可以包括在場景中辨識的感興趣區域的增加的平均亮度值。

在方塊404，在第一曝光水平下執行第一自動聚焦（AF）操作，諸如鎖定第一曝光水平直到AF操作完成。在方塊402決定的鎖定曝光水平可以提供場景中感興趣區域內的附加細節。例如，若感興趣區域在陰影區域中，則在方塊402決定的較高曝光水平可以增加陰影區域內的細節。作為另一實例，若感興趣區域在高亮區域中，則在方塊402處決定的較低曝光水平可以增加高亮區域內的細節。

在方塊406，利用第二目標參數集執行第二AEC操作以決定第二曝光水平，用於改良圖像外觀。第二目標參數集的目標可以是向整個場景的特定平均亮度值收斂，即使場景內感興趣區域中的細節丟失。在方塊404處已經決定了焦距的情況下，可以犧牲感興趣區域中的細節來提高整體圖像品質。在一些實施例中，AF操作可在方塊406的第二AEC操作期間繼續。例如，可以經由PDAF及/或CAF演算法對焦距進行微小的改變，以保持圖像訊框的外觀。若AF失去對焦點的追蹤，則可以決定場景變化，且方法400返回到方塊402以重新開始AF和AEC操作。在一些實施例中，在方塊406的第二AEC操作期間執行的AF操作可以通過第二AF系統，諸如鐳射輔助AF系統。

在方塊408處，基於由方塊404的AF操作決定的聚焦位置，可以在方塊406處決定的第二曝光水平下擷取圖像訊框，該AF操作是在來自方塊402的第一曝光水平下決定的。圖像訊框可以用作相機應用程式中的預覽顯示的一部分，保存及/或傳輸靜止圖像訊框作為照片，及/或保存及/或傳輸靜止圖像訊框的視訊序列。

在一些場景中，該等條件可以足以用於決定ROI中的聚焦位置，而無需額外的AEC操作，如圖3所示。在此種條件下，在時間段302之後，圖像信號處理器可以執行與圖2的時間202、204、206、208對應的演算法。圖4B圖示根據圖像條件在一個AEC和兩個AEC操作之間切換的圖像信號處理方法。

圖4B是說明根據一或多個態樣的使用兩個AEC操作的圖像信號處理方法的流程圖。在方法420的方塊410，為從圖像感測器獲得的圖像訊框中的感興趣區域（ROI）決定一或多個統計量。在方塊412，使用統計量來決定是否滿足指示不良的AF操作的一或多個條件。例如，AF操作的不良條件可以包括感興趣區域中的低對比度、聚焦位置中的低置信度、自動聚焦（AF）操作中的慢收斂（例如，低於速率閾值的收斂速率），或感興趣區域中的低光水平（例如，低於光閾值的光水平）中的一或多個。若是，方法420繼續執行如圖4A中的方塊402、404、406和408的操作。若在方塊412不滿足條件，則方法420繼續到方塊414、416和418，以使用單個AEC操作來執行圖像訊框擷取。在方塊414，執行第一AEC操作以決定第一曝光水平。在方塊416，在第一曝光水平下執行第一AF操作。在方塊416，在第一曝光水平下擷取圖像訊框，並且在鎖定在第一曝光水平時經由方塊416的AF操作決定聚焦位置。

多種自動聚焦（AF）技術可以用於圖像擷取設備。例如，諸如飛行時間（TOF）感測器的鐳射自動聚焦（AF）可以在圖像擷取設備中可用，並且用於改良聚焦位置。鐳射輔助自動聚焦的一個優點是，其不依賴於來自目標的光，而是發射一束光，從該束光可以決定到物件的距離。鐳射輔助AF在低光條件下可能特別有利。圖5圖示第二AF系統（諸如鐳射輔助AF）在利用兩個AEC操作擷取圖像訊框中的一個示例性使用。

圖5是說明根據一或多個態樣的自動曝光控制（AEC）與自動聚焦（AF）之間的協調的一個實例的方塊圖。時間段502可以類似於時間段302操作。時間段504可以類似於時間段304操作。時間段506可以類似於時間段306操作。時間段508可以類似於時間段308操作。時間段510可以類似於時間段310操作。AF 520可以被配置為類似於AF 320。AEC 530可以被配置為類似於AF 320。可以在時間段508期間應用附加的AF技術，諸如鐳射輔助AF，以在時間段508期間提供一些聚焦校正，此舉可允許在時間段510期間延遲場景變化決定，從而將操作返回到時間段502。當快照被延遲到時間508時，允許時間段508延長得更長可以提高對使用者快門按壓的回應性。在一些實施例中，當第二AF操作偵測到焦距變化超過閾值時，時間段508可以結束。此外，時間段508內的聚焦校正可以經由增加在ROI距離的正確聚焦位置處擷取的擷取圖像訊框的可能性來提供改良的圖像品質。在一些實施例中，在時間段508中用於在第二AEC操作期間對焦距進行調整的AF技術可以保持啟用。

注意，參考圖1-圖5描述的一或多個方塊（或操作）可以與參考附圖中的另一附圖描述的一或多個方塊（或操作）相結合。例如，圖2的一或多個方塊（或操作）可以與圖3或圖5的一或多個方塊（或操作）組合。作為另一實例，與圖4A或圖4B相關聯的一或多個方塊可以與與圖5相關聯的一或多個方塊組合。附加地或替代地，上文參考圖1描述的一或多個操作可以與參考圖2-圖5描述的一或多個操作相結合。

在一或多個態樣中，用於支援圖像信號處理的技術可以包括附加態樣，諸如下文描述的任何單一態樣或態樣的任何組合，或結合本文別處描述的一或多個其他過程或設備。在一些態樣，支援圖像信號處理可以包括一種裝置，該裝置包括圖像感測器和圖像信號處理器。該裝置被進一步配置為執行包括以下的步驟：利用第一目標參數集執行第一自動曝光控制（AEC）以決定第一曝光水平；在第一曝光水平下執行自動聚焦（AF）；及/或利用第二目標參數集執行第二自動曝光控制（ARC）以決定第二曝光水平。此外，該裝置可以根據本文描述的一或多個態樣來執行或操作。在一些實現方式中，該裝置包括無線設備，諸如UE。在一些實現方式中，該裝置可以包括至少一個處理器和耦合到該處理器的記憶體。處理器可以被配置為執行本文針對該裝置描述的操作。在一些其他實現方式中，該裝置可以包括其上記錄有程式碼的非暫時性電腦可讀取媒體，並且程式碼可以由電腦執行，用於使電腦執行本文參考該裝置描述的操作。在一些實現方式中，該裝置可以包括被配置為執行本文所述操作的一或多個構件。在一些實現方式中，無線通訊的方法可以包括本文參考該裝置描述的一或多個操作。

在一或多個態樣中，用於支援圖像擷取及/或圖像處理的技術可以包括附加態樣，諸如下文描述的任何單一態樣或態樣的任何組合，或結合本文別處描述的一或多個其他過程或設備。在第一態樣中，支援圖像擷取及/或圖像處理可以包括一種被配置為執行操作的裝置，該等操作包括：利用第一目標參數集執行第一自動曝光控制操作以決定第一曝光水平；在第一曝光水平下執行第一自動聚焦操作以決定第一聚焦位置；在執行第一自動聚焦操作之後，利用第二目標參數集執行第二自動曝光控制操作，以決定第二曝光水平；及在第二曝光水平下擷取第一圖像訊框。另外，該裝置可以根據如下所述的一或多個態樣來執行或操作。在一些實現方式中，該裝置包括無線設備，諸如UE。在一些實現方式中，該裝置可以包括至少一個處理器和耦合到該處理器的記憶體。處理器可以被配置為執行本文針對該裝置描述的操作。在一些其他實現方式中，該裝置可以包括其上記錄有程式碼的非暫時性電腦可讀取媒體，並且程式碼可以由電腦執行，用於使電腦執行本文參考該裝置描述的操作。在一些實現方式中，該裝置可以包括被配置為執行本文所述操作的一或多個構件。在一些實現方式中，圖像處理及/或圖像擷取的方法可以包括本文參考該裝置描述的一或多個操作。

在第二態樣，結合第一態樣，利用第一目標參數集執行第一自動曝光控制操作決定第一曝光水平以改良場景的感興趣區域中的聚焦。

在第三態樣，結合第一態樣或第二態樣中的一或多個態樣，執行第一自動曝光控制（AEC）操作包括提高目標曝光、降低目標曝光、提高感測器增益、降低感測器增益、增加曝光持續時間及/或降低曝光持續時間中的至少一個。

在第四態樣，結合第一態樣至第三態樣中的一或多個態樣，該裝置亦被配置為執行包括以下的操作：在利用第一目標參數集執行第一自動曝光控制操作之前，決定表示感興趣區域的特性的值；及決定該值是否滿足條件，其中利用第一目標參數集執行第一自動曝光控制操作是回應於決定該值是否滿足條件。

在第五態樣，結合第一態樣至第四態樣中的一或多個態樣，決定該值是否滿足條件包括決定該值是否指示感興趣區域中的對比度低於對比度閾值、聚焦位置的低置信度、自動聚焦操作的收斂速率低於速率閾值，或者感興趣區域中的光水平低於光閾值中的一或多個。

在第六態樣，結合第一態樣至第五態樣中的一或多個態樣，決定表示感興趣區域的特性的值包括決定亮度、對比度、PDAF置信水平或感測器水平中的至少一個。

在第七態樣，結合第一態樣至第六態樣中的一或多個態樣，該裝置亦被配置為執行包括以下的操作：在執行第二自動曝光控制操作期間執行第二自動聚焦操作。

在第八態樣，結合第一態樣至第七態樣中的一或多個態樣，執行第二自動聚焦操作包括執行鐳射輔助自動聚焦操作。

在第九態樣，結合第一態樣至第八態樣中的一或多個態樣，該裝置亦被配置為執行包括以下的操作：在執行第二自動曝光控制操作之後偵測場景變化；及回應於偵測到場景變化，重複執行第一自動曝光控制操作和執行第一自動聚焦操作。

在第十態樣中，結合第一態樣至第九態樣中的一或多個態樣，該裝置亦被配置為執行包括以下的操作：由至少一個處理器接收關於第一自動曝光控制操作的第一資訊；由至少一個處理器基於第一資訊控制第一自動聚焦操作的執行；由至少一個處理器接收關於第一自動聚焦操作的第二資訊；及由至少一個處理器基於第二資訊控制第二自動曝光控制操作的執行。

在第十一態樣，結合第一態樣至第十態樣中的一或多個態樣，該裝置亦包括相機。

在一或多個態樣中，用於支援圖像擷取及/或圖像處理的技術可以包括附加態樣，諸如上文或下文描述的或結合本文別處描述的一或多個其他過程或設備的任何單一態樣或態樣的任何組合。在第十二態樣，支援圖像擷取及/或圖像處理可以包括一種被配置為執行操作的裝置，該等操作包括：從相機接收第一圖像訊框；決定關於第一圖像訊框的感興趣區域的統計量；決定統計量是否滿足條件；並且當該統計量滿足該條件時：利用第一目標參數集執行第一自動曝光控制操作，以決定第一曝光水平；在第一曝光水平下執行第一自動聚焦操作以決定第一聚焦位置；在執行第一自動聚焦操作之後，利用第二目標參數集執行第二自動曝光控制操作，以決定第二曝光水平；在執行第二自動曝光控制操作時接收一組圖像訊框；偵測該組圖像訊框中的兩個圖像訊框之間的場景變化；及在偵測到場景變化之後，重複接收第一圖像訊框、決定統計量以及決定統計量是否滿足條件的操作。另外，該裝置可以根據如上或如下所述的一或多個態樣來執行或操作。在一些實現方式中，該裝置包括無線設備，諸如UE。在一些實現方式中，該裝置可以包括至少一個處理器和耦合到該處理器的記憶體。處理器可以被配置為執行本文針對該裝置描述的操作。在一些其他實現方式中，該裝置可以包括其上記錄有程式碼的非暫時性電腦可讀取媒體，並且程式碼可以由電腦執行，用於使電腦執行本文參考該裝置描述的操作。在一些實現方式中，該裝置可以包括被配置為執行本文所述操作的一或多個構件。在一些實現方式中，圖像處理及/或圖像擷取的方法可以包括本文參考該裝置描述的一或多個操作。

在第十三態樣，結合第一態樣至第十二態樣中的一或多個態樣，該裝置亦被配置為在執行第二自動曝光控制操作期間執行第二自動聚焦操作。

在第十四態樣，結合第一態樣至第十三態樣中的一或多個態樣，執行第二自動聚焦操作包括執行鐳射輔助自動聚焦操作。

在第十五態樣，結合第一態樣至第十四態樣中的一或多個態樣，該裝置亦被配置為在執行第二自動聚焦操作時在第二曝光水平下擷取第二圖像訊框。

在第十六態樣，結合第一態樣至第十五態樣中的一或多個態樣，偵測該組圖像訊框中的兩個圖像訊框之間的場景變化包括決定鐳射輔助自動聚焦操作的焦距變化超過距離閾值。

熟習此項技術者將理解，可以使用各種不同的技術和方法中的任何一種來表示資訊和信號。例如，貫穿以上描述可能提及的資料、指令、命令、資訊、信號、位元、符號和碼片可以由電壓、電流、電磁波、磁場或磁粒子、光場或光粒子或其任意組合來表示。

本文中關於圖1-圖5描述的元件、功能方塊和模組包括處理器、電子設備、硬體設備、電子元件、邏輯電路、記憶體、軟體代碼、韌體代碼以及其他實例，或者其任意組合。軟體應被廣義地解釋為表示指令、指令集、代碼、程式碼片段、程式碼、程式、副程式、軟體模組、應用程式、軟體應用程式、套裝軟體、常式、子常式、物件、可執行程式、執行執行緒、程序及/或功能，以及其他實例，無論是被稱為軟體、韌體、中間軟體、微碼、硬體描述語言還是其他。此外，本文論述的特徵可以經由專用處理器電路系統、經由可執行指令或其組合來實現。

熟習此項技術者將進一步瞭解，結合本文中的揭示內容描述的各種說明性邏輯區塊、模組、電路和演算法步驟可以實施為電子硬體、電腦軟體或兩者的組合。為了清楚地說明硬體和軟體的此種可互換性，各種說明性的元件、方塊、模組、電路和步驟已經在上文根據其功能進行了一般描述。此種功能實現為硬體還是軟體取決於特定的應用和對整體系統施加的設計約束。熟習此項技術者可以針對每個特定的應用以不同的方式實現所描述的功能，但是此種實現決定不應該被解釋為導致脫離本案的範疇。熟習此項技術者亦將容易認識到，本文描述的元件、方法或互動的順序或組合僅僅是實例，並且本案的各個態樣的元件、方法或互動可以以不同於本文說明和描述的方式來組合或執行。

結合本文揭示的實現方式描述的各種說明性邏輯、邏輯區塊、模組、電路和演算法過程可以實現為電子硬體、電腦軟體或兩者的組合。硬體和軟體的可互換性已經在功能態樣進行了一般描述，並且在上述各種說明性元件、方塊、模組、電路和過程中進行了說明。此種功能是用硬體還是用軟體實現取決於特定的應用和對整體系統施加的設計約束。

用於實現結合本文揭示的各態樣描述的各種說明性邏輯、邏輯區塊、模組和電路的硬體和資料處理裝置可以用通用單晶片或多晶片處理器、數位信號處理器（DSP）、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）或其他可程式設計邏輯設備、個別閘門或電晶體邏輯、個別硬體元件或設計成執行本文描述的功能的其任意組合來實現或執行。通用處理器可以是微處理器，或者任何習知的處理器、控制器、微控制器或狀態機。在一些實現方式中，處理器可以被實現為計算設備的組合，諸如DSP和微處理器的組合、複數個微處理器、一或多個微處理器與DSP核心的結合，或者任何其他此種配置。在一些實現方式中，特定的過程和方法可以由專用於給定功能的電路系統來執行。

在一或多個態樣，所描述的功能可以在硬體、數位電子電路系統、電腦軟體、韌體中實現，包括本說明書中揭示的結構及其結構均等物，或者其任意組合。本說明書中描述的標的的實現方式亦可以是實現為一或多個電腦程式，亦即編碼在電腦儲存媒體上的電腦程式指令的一或多個模組，用於由資料處理裝置執行或控制資料處理裝置的操作。

若以軟體實現，該等功能可以作為電腦可讀取媒體上的一或多個指令或代碼來儲存或傳輸。本文揭示的方法或演算法的過程可以在處理器可執行的軟體模組中實現，該軟體模組可以常駐在電腦可讀取媒體上。電腦可讀取媒體包括電腦儲存媒體和通訊媒體，包括可以能夠將電腦程式從一個地方傳輸到另一個地方的任何媒體。儲存媒體可以是可由電腦存取的任何可用媒體。作為實例而非限制，此種電腦可讀取媒體可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、CD-ROM或其他光碟儲存、磁碟儲存或其他磁儲存設備，或者可以用於儲存指令或資料結構形式的期望程式碼並且可以由電腦存取的任何其他媒體。此外，任何連接皆可以被恰當地稱為電腦可讀取媒體。本文使用的磁碟和光碟包括壓縮光碟（CD）、鐳射光碟、光學光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常磁性地再現資料，而光碟用鐳射光學地再現資料。上述的組合亦應該包括在電腦可讀取媒體的範疇內。此外，方法或演算法的操作可以作為代碼和指令中的一個或任意組合或集合常駐在機器可讀取媒體和電腦可讀取媒體上，其可以併入電腦程式產品中。

對本案中描述的實現方式的各種修改對於熟習此項技術者而言是顯而易見的，並且在不脫離本案的精神或範疇的情況下，本文定義的一般原理可以應用於一些其他實現方式。因此，請求項不意欲限於本文所示的實現方式，而是符合與本案、本文揭示的原理和新穎特徵一致的最寬範疇。

此外，一般技術者將容易理解，術語「上」和「下」有時是為了便於描述附圖而使用的，並且表示對應於正確定向的頁面上的附圖定向的相對位置，並且可能不反映所實現的任何設備的正確定向。

本說明書中在不同實現方式的上下文中描述的某些特徵亦可以在單個實現方式中組合實現。相反，在單個實現方式的上下文中描述的各種特徵亦可以在多個實現方式中單獨實現或者在任何合適的子組合中實現。此外，儘管特徵可以在上文被描述為在某些組合中起作用，並且甚至最初被如此主張保護，但是來自所主張保護的組合的一或多個特徵在一些情況下可以從該組合中被刪除，並且所主張保護的組合可以指向子組合或子組合的變體。

類似地，儘管在附圖中以特定的順序描述了操作，但是此舉不應該被理解為要求該等操作以所示的特定順序或次序執行，或者要求所有圖示的操作皆被執行，以獲得期望的結果。此外，附圖可以以流程圖的形式示意性地圖示一或多個示例性過程。然而，未圖示的其他操作可以併入示意性圖示的示例性過程中。例如，可以在任何所示操作之前、之後、同時或之間執行一或多個附加操作。在某些情況下，多工和並行處理可能是有利的。此外，上述實現方式中的各種系統元件的分離不應該被理解為在所有實現方式中皆需要此種分離，並且應該理解，所描述的程式元件和系統通常可以一起整合在單個軟體產品中或者封裝到多個軟體產品中。此外，一些其他實現方式亦在所附請求項的範疇內。在一些情況下，請求項中記載的動作可以以不同的次序執行，並且仍然可以獲得期望的結果。

如本文所使用的，包括在請求項中，當在兩個或更多個項目的列表中使用時，術語「或」意味著所列出的項目中的任何一個可以單獨使用，或者可以使用所列出的項目中的兩個或更多個的任何組合。例如，若組合物被描述為包含組分A、B或C，則該組合物可以包含單獨A；單獨B；單獨C；A和B的組合；A和C的組合；B和C的組合；或者A、B和C的組合。此外，如本文所使用的，包括在請求項中，在以「至少一個」開頭的項目列表中使用的「或」表示分離列表，使得例如「A、B或C中的至少一個」的列表意味著A或B或C或AB或AC或BC或ABC（亦即A和B和C）或其任何組合中的任何一個。術語「基本上」被定義為很大程度上但不一定完全是所指定的（並且包括所指定的；例如，基本上90度包括90度，以及基本上平行包括平行），如一般技術者所理解的。在任何揭示的實現方式中，術語「基本上」可以用在指定內容的「範圍內[百分比]」來代替，其中百分比包括0.1%、1%、5%或10%。

提供本案的前述描述是為了使任何熟習此項技術者能夠製造或使用本案。對本案的各種修改對於熟習此項技術者而言將是顯而易見的，並且在不脫離本案的精神或範疇的情況下，本文定義的一般原理可以應用於其他變型。因此，本案不意欲限於本文描述的實例和設計，而是符合與本文揭示的原理和新穎特徵一致的最寬範疇。

100:設備 101:第一圖像感測器 102:第二圖像感測器 104:處理器 104A:通用處理器核心 106:記憶體 108:指令 112:圖像信號處理器 114:顯示器 116:I/O元件 118:電源 124:人工智慧（AI）引擎 131:第一透鏡 132:第二透鏡 133:AF演算法 134:自動曝光控制（AEC） 135:IFE 136:IPE 140:深度感測器 150:感測器集線器 152:WAN配接器 153:LAN配接器 154:PAN配接器 202:時間 204:時間 206:時間 208:時間 210:自動聚焦（AF） 220:AEC 302:時間段 304:時間 306:時間段 308:時間段 310:時間 320:AF 322:觸發 330:AEC 400:方法 402:方塊 404:方塊 406:方塊 408:方塊 410:方塊 412:方塊 414:方塊 416:方塊 418:方塊 420:方法 502:時間段 504:時間段 506:時間段 508:時間段 510:時間段 520:AF 530:AEC

經由參考以下附圖可以實現對本案的本質和優點的進一步理解。在附圖中，類似的元件或特徵可以具有相同的元件符號。此外，相同類型的各種元件可以經由在元件符號之後跟隨破折號和在類似元件之間進行區分的第二標記來進行區分。若在說明書中僅使用第一元件符號，則該描述適用於具有相同的第一元件符號的類似元件中的任何一個元件，而不管第二元件符號如何。

圖1圖示用於執行來自一或多個圖像感測器的圖像擷取的示例性設備100的方塊圖。

圖2是說明根據一或多個態樣的AF和AEC的操作的方塊圖。

圖3是說明根據一或多個態樣的自動曝光控制（AEC）與自動聚焦（AF）之間的協調的一個實例的方塊圖。

圖4A是說明根據一或多個態樣的使用兩個AEC操作的圖像信號處理方法的流程圖。

圖4B是說明根據一或多個態樣的使用兩個AEC操作的圖像信號處理方法的流程圖。

圖5是說明根據一或多個態樣的自動曝光控制（AEC）與自動聚焦（AF）之間的協調的一個實例的方塊圖。

各個附圖中相同的元件符號和名稱指示相同的元件。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

302:時間段

304:時間

306:時間段

308:時間段

310:時間

320:AF

322:觸發

330:AEC

Claims

一種圖像信號處理的方法，包括以下步驟：利用一第一目標參數集執行一第一自動曝光控制操作以決定一第一曝光水平；在該第一曝光水平下執行一第一自動聚焦操作以決定一第一聚焦位置；在執行該第一自動聚焦操作之後，利用與該第一目標參數集不同的一第二目標參數集執行一第二自動曝光控制操作以決定一第二曝光水平；在該第二曝光水平下擷取一第一圖像訊框；在執行該第二自動曝光控制操作之後，藉由基於一第二自動聚焦操作來決定焦距上的一變化超過一閾值，來偵測一場景變化；及回應於偵測到該場景變化，重複執行該第一自動曝光控制操作和執行該第一自動聚焦操作。
根據請求項1之方法，其中利用該第一目標參數集執行該第一自動曝光控制操作決定該第一曝光水平以改良一場景的一感興趣區域中的聚焦。
根據請求項2之方法，其中執行該第一自動曝光控制操作包括提高一目標曝光或降低一目標曝光中的至少一個。
根據請求項1之方法，亦包括以下步驟：在利用該第一目標參數集執行該第一自動曝光控制操作之前決定表示一感興趣區域的一特性的一值；及決定該值是否滿足一條件，其中利用該第一目標參數集執行該第一自動曝光控制操作是回應於決定該值是否滿足該條件。
根據請求項4之方法，其中決定該值是否滿足該條件之步驟包括以下步驟：決定該值是否指示以下中的一或多個：該感興趣區域中的對比度低於一對比度閾值、一聚焦位置的低置信度、一自動聚焦操作的一收斂速率低於一速率閾值或該感興趣區域中的光水平低於一光閾值。
根據請求項4之方法，其中決定表示該感興趣區域的該特性的該值之步驟包括以下步驟：決定以下中的至少一個：一亮度、一對比度、一PDAF置信水平或一感測器水平。
根據請求項1之方法，亦包括以下步驟：在執行該第二自動曝光控制操作期間執行該第二自動聚焦操作。
根據請求項1之方法，其中執行該第二自動聚焦操作之步驟包括以下步驟：執行一鐳射輔助自動聚焦操作。
根據請求項1之方法，亦包括以下步驟：由至少一個處理器接收關於該第一自動曝光控制操作的第一資訊；由至少一個處理器基於該第一資訊控制該第一自動聚焦操作的執行；由至少一個處理器接收關於該第一自動聚焦操作的第二資訊；及由至少一個處理器基於該第二資訊來控制該第二自動曝光控制操作的執行。
一種圖像信號處理的裝置，包括：一記憶體，儲存處理器可讀取代碼；及至少一個處理器，耦合到該記憶體，該至少一個處理器被配置為：利用一第一目標參數集執行一第一自動曝光控制操作以決定一第一曝光水平；在該第一曝光水平下執行一第一自動聚焦操作以決定一第一聚焦位置；在執行該第一自動聚焦操作之後，利用與該第一目標參數集不同的一第二目標參數集執行一第二自動曝光控制操作以決定一第二曝光水平；在該第二曝光水平下擷取一第一圖像訊框；在執行該第二自動曝光控制操作之後，藉由基於一第二自動聚焦操作來決定焦距上的一變化超過一閾值，來偵測一場景變化；及回應於偵測到該場景變化，重複執行該第一自動曝光控制操作和執行該第一自動聚焦操作。
根據請求項10之裝置，其中利用該第一目標參數集執行該第一自動曝光控制操作決定該第一曝光水平以經由增加一場景的一感興趣區域中的亮度來改良該場景的該感興趣區域中的聚焦。
根據請求項11之裝置，其中該至少一個處理器亦被配置為：在利用該第一目標參數集執行該第一自動曝光控制操作之前決定表示該感興趣區域的一特性的一值；及決定該值是否滿足一條件，其中該至少一個處理器回應於決定該值是否滿足該條件而利用該第一目標參數集執行該第一自動曝光控制操作。
根據請求項12之裝置，其中決定該值是否滿足該條件包括：決定該值是否指示以下中的一或多個：該感興趣區域中的低對比度、一聚焦位置中的低置信度、一自動聚焦操作中的一收斂速率低於一速率閾值或該感興趣區域中的一光水平低於一光閾值。
根據請求項10之裝置，其中該至少一個處理器亦被配置為：在執行該第二自動曝光控制操作期間執行該第二自動聚焦操作。
根據請求項11之裝置，其中執行該第二自動聚焦操作包括執行一鐳射輔助自動聚焦操作。
根據請求項10之裝置，其中該至少一個處理器亦被配置為：接收關於該第一自動曝光控制操作的第一資訊；基於該第一資訊來控制該第一自動聚焦操作的執行；接收關於該第一自動聚焦操作的第二資訊；及基於該第二資訊來控制該第二自動曝光控制操作的執行。
一種儲存指令的非暫時性電腦可讀取媒體，該等指令在由一處理器執行時使該處理器執行操作，該等操作包括：利用一第一目標參數集執行一第一自動曝光控制操作以決定一第一曝光水平；在該第一曝光水平下執行一第一自動聚焦操作以決定一第一聚焦位置；在執行該第一自動聚焦操作之後，利用與該第一目標參數集不同的一第二目標參數集執行一第二自動曝光控制操作以決定一第二曝光水平；在該第二曝光水平下擷取一第一圖像訊框；在執行該第二自動曝光控制操作之後，藉由基於一第二自動聚焦操作來決定焦距上的一變化超過一閾值，來偵測一場景變化；及回應於偵測到該場景變化，重複執行該第一自動曝光控制操作和執行該第一自動聚焦操作。
根據請求項17之非暫時性電腦可讀媒體，其中利用一第一目標參數集執行一第一自動曝光控制操作決定一第一曝光水平以經由增加一場景的一感興趣區域中的亮度來改良該場景的該感興趣區域中的聚焦。
根據請求項17之非暫時性電腦可讀媒體，其中該等指令在由該處理器執行時使該處理器執行進一步操作，該等進一步操作包括：在利用該第一目標參數集執行該第一自動曝光控制操作之前決定表示一感興趣區域的一特性的一值；及決定該值是否滿足一條件，其中利用該第一目標參數集執行該第一自動曝光控制操作是回應於決定該值是否滿足該條件。
根據請求項17之非暫時性電腦可讀媒體，其中該等指令在由該處理器執行時使該處理器執行進一步操作，該等進一步操作包括：在執行該第二自動曝光控制操作期間執行該第二自動聚焦操作。
根據請求項17之非暫時性電腦可讀媒體，其中該等指令在由該處理器執行時使該處理器執行進一步操作，該等進一步操作包括：接收關於該第一自動曝光控制操作的第一資訊；基於該第一資訊控制該第一自動聚焦操作的執行；接收關於該第一自動聚焦操作的第二資訊；及基於該第二資訊來控制該第二自動曝光控制操作的執行。
一種圖像信號處理的裝置，包括：一相機；一記憶體；及至少一個處理器，耦合到該記憶體並且被配置為：從該相機接收一第一圖像訊框；決定關於該第一圖像訊框的一感興趣區域的一統計量；決定該統計量是否滿足一條件；當該統計量滿足該條件時：利用一第一目標參數集執行一第一自動曝光控制操作以決定一第一曝光水平；在該第一曝光水平下執行一第一自動聚焦操作以決定一第一聚焦位置；在執行該第一自動聚焦操作之後，利用與該第一目標參數集不同的一第二目標參數集執行一第二自動曝光控制操作以決定一第二曝光水平；在執行該第二自動曝光控制操作時接收一組圖像訊框；藉由決定焦距上的一變化超過一閾值來偵測該一組圖像訊框中的兩個圖像訊框之間的一場景變化；及在偵測到一場景變化之後，重複以下操作：接收一第一圖像訊框、決定一統計量，和決定該統計量是否滿足該條件。
根據請求項22之裝置，其中該至少一個處理器亦被配置為：在執行該第二自動曝光控制操作期間執行一第二自動聚焦操作。
根據請求項23之裝置，其中執行該第二自動聚焦操作包括執行一鐳射輔助自動聚焦操作。
根據請求項23之裝置，其中該至少一個處理器亦被配置為：在執行該第二自動聚焦操作時在該第二曝光水平下擷取一第二圖像訊框。