TW202307791A - 選擇性地增加具有多個感興趣區域的場景中的景深 - Google Patents

選擇性地增加具有多個感興趣區域的場景中的景深 Download PDF

Info

Publication number
TW202307791A
TW202307791A TW111124935A TW111124935A TW202307791A TW 202307791 A TW202307791 A TW 202307791A TW 111124935 A TW111124935 A TW 111124935A TW 111124935 A TW111124935 A TW 111124935A TW 202307791 A TW202307791 A TW 202307791A
Authority
TW
Taiwan
Prior art keywords
image frame
determining
interest
image
region
Prior art date
Application number
TW111124935A
Other languages
English (en)
Inventor
馮文春
賴宇任
張新悅
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US17/645,688 external-priority patent/US11863881B2/en
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202307791A publication Critical patent/TW202307791A/zh

Links

Images

Classifications

    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/60—
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本案提供了支援多訊框景深（MF-DOF）的系統、裝置、方法和電腦可讀取媒體，用於去模糊背景感興趣區域（ROI），例如背景面部，其可能由於用於擷取圖像訊框的相機的大光圈尺寸或其他特性而模糊。該處理可以包括使用在對應於圖像訊框中多個ROI的兩個不同焦點處獲得的兩個圖像訊框。可以經由使用基於AI的模型及/或局部梯度資訊去模糊第一圖像訊框的一或多個ROI來決定經校正的圖像訊框。MF-DOF可以允許選擇性地增加圖像的景深（DOF），以提供對多個感興趣區域的聚焦擷取，而不會導致光圈（以及隨後可用於攝影的光量）的減小或者攝影可能需要的背景模糊。

Description

選擇性地增加具有多個感興趣區域的場景中的景深
本專利申請案主張於2021年12月22日提出申請的題為「SELECTIVELY INCREASING DEPTH-OF-FIELD IN SCENES WITH MULTIPLE REGIONS OF INTEREST」的第17/645,688號美國專利申請案和於2021年7月6日提出申請的題為「SELECTIVELY INCREASING DEPTH-OF-FIELD IN SCENES WITH MULTIPLE REGIONS OF INTEREST」的第63/218,804號美國臨時專利申請案的權益，該兩篇文件的全部內容經由引用明確地結合於此。
本案的態樣大體而言係關於圖像信號處理。一些特徵可以實現並提供改良的通訊，包括去模糊操作，其可以補償圖像特性，例如由大光圈尺寸引入的模糊。
圖像擷取設備是可以擷取一或多個數位圖像的設備，無論是照片的靜止圖像還是視訊的圖像序列。擷取設備可以被結合到各種各樣的設備中。舉例而言，圖像擷取設備可包含獨立的數位相機或數位視訊攝錄機、配備有相機的無線通訊設備手持機，例如行動電話、蜂巢式或衛星無線電電話、個人數位助理（PDA）、面板或平板電腦、遊戲設備、例如網路攝像頭的電腦設備、視訊監視相機或具有數位成像或視訊能力的其他設備。
圖像處理技術可用於提高由圖像擷取設備擷取的照片和視訊的品質。例如，演算法可以改變照片中顏色的外觀，增加照片中顏色的動態範圍或範圍，增加照片中的細節，減少照片中的雜訊，減少照片中的模糊，以及可以改良使用者觀看的圖像品質的許多其他處理技術。
以下概述了本案的一些態樣，以提供對所論述的技術的基本理解。該概述不是本案所有預期特徵的廣泛綜述，並且既不意欲辨識本案所有態樣的關鍵或重要元素，亦不意欲圖示本案任何或所有態樣的範疇。其唯一目的是以概述形式呈現本案的一或多個態樣的一些概念，作為稍後呈現的更詳細描述的序言。
本文描述的圖像處理技術的實施例可以基於第二圖像訊框的特性來改良第一圖像訊框的外觀，而無需將第二圖像訊框的資料與第一圖像訊框進行組合（例如，合併、融合或混合）。此種處理消除了向由資料合併產生的第一圖像訊框添加偽像的可能性。例如，當第一圖像訊框與第二圖像訊框合併時，圖像訊框之間物件的不連續性和偏移可能導致重影或斷線。可以基於對第二圖像訊框的分析來執行對第一圖像訊框的操作，包括比較第一圖像訊框和第二圖像訊框之間的相應的感興趣區域的分析。
根據本文實施例的圖像處理技術在增加圖像的表觀焦深態樣可能是有益的。由於相機聚焦能力有限，圖像擷取設備固有的限制導致圖像訊框的部分比其他部分更模糊。例如，圖像可以使前景中靠近相機的面部聚焦，而背景中遠離相機的面部失焦。使用者可能希望照片中的兩個面部皆是焦點對準的。本文描述的圖像處理技術可以執行多訊框景深（MF-DOF）處理，以經由使用在與第一圖像訊框不同的焦距處擷取的第二圖像訊框來減少失焦面部上的模糊，從而改良照片的外觀。
在本案的一個態樣，一種用於圖像處理的方法包括以下步驟：接收表示在第一焦距處擷取的場景的第一圖像訊框；接收表示在不同於第一焦距的第二焦距處擷取的場景的第二圖像訊框；決定相應的感興趣區域集合，包括第一圖像訊框中的第一感興趣區域和第二圖像訊框中的第二感興趣區域；基於第一感興趣區域與第二感興趣區域的比較來決定值；及基於第一圖像訊框和該值決定經校正的第一圖像訊框。
在本案的附加態樣，一種裝置包括至少一個處理器和耦合到該至少一個處理器的記憶體。該至少一個處理器被配置為執行包括以下操作：接收表示在不同於第一焦距的第二焦距處擷取的場景的第二圖像訊框；決定相應的感興趣區域集合，包括第一圖像訊框中的第一感興趣區域和第二圖像訊框中的第二感興趣區域；基於第一感興趣區域與第二感興趣區域的比較來決定值；及基於第一圖像訊框和該值決定經校正的第一圖像訊框。
在本案的附加態樣，一種裝置包括用於接收表示在第一焦距處擷取的場景的第一圖像訊框的構件；用於接收表示在不同於第一焦距的第二焦距處擷取的場景的第二圖像訊框的構件；用於決定相應的感興趣區域集合的構件，該感興趣區域的集合包括第一圖像訊框中的第一感興趣區域和第二圖像訊框中的第二感興趣區域；用於基於第一感興趣區域與第二感興趣區域的比較來決定值的構件；及用於基於第一圖像訊框和該值決定經校正的第一圖像訊框的構件。
在本案的附加態樣，一種非暫時性電腦可讀取媒體儲存指令，該等指令在由處理器執行時，使得處理器執行操作。該等操作包括接收表示在第一焦距處擷取的場景的第一圖像訊框；接收表示在不同於第一焦距的第二焦距處擷取的場景的第二圖像訊框；決定相應的感興趣區域集合，包括第一圖像訊框中的第一感興趣區域和第二圖像訊框中的第二感興趣區域；基於第一感興趣區域與第二感興趣區域的比較來決定值；及基於第一圖像訊框和該值決定經校正的第一圖像訊框。
圖像擷取設備，亦即可以擷取一或多個數位圖像（無論是靜止圖像照片還是視訊圖像序列）的設備，可以被結合到多種設備中。舉例而言，圖像擷取設備可包含獨立的數位相機或數位視訊攝錄機、配備有相機的無線通訊設備手持機，例如行動電話、蜂巢式或衛星無線電電話、個人數位助理（PDA）、面板或平板電腦、遊戲設備、例如網路攝像頭的電腦設備、視訊監視相機或具有數位成像或視訊能力的其他設備。
大體而言，本案描述了涉及具有圖像感測器和圖像信號處理器（ISP）的數位相機的圖像處理技術。ISP可被配置為控制來自一或多個圖像感測器的圖像訊框的擷取，並處理來自一或多個圖像感測器的一或多個圖像訊框，以產生經校正的圖像訊框中的場景的視圖。經校正的圖像訊框可以是形成視訊序列的圖像訊框序列的一部分。視訊序列可以包括從圖像感測器或其他圖像感測器接收的其他圖像訊框及/或基於來自圖像感測器或另一圖像感測器的輸入的其他經校正的圖像訊框。在一些實施例中，一或多個圖像訊框的處理可以在圖像感測器內執行，例如在分箱（binning）模組中。本文揭示的實施例中描述的圖像處理技術可以由圖像感測器中、圖像信號處理器（ISP）中、應用處理器（AP）中或者該等元件中的兩個或全部的組合中的電路系統來執行，例如分箱模組。
在實例中，圖像信號處理器可以回應於諸如相機應用程式的軟體的載入，接收擷取圖像訊框的序列的指令，以從圖像擷取設備產生預覽顯示。圖像信號處理器可以被配置為基於從一或多個圖像感測器接收的圖像訊框來產生單個輸出訊框流程。單個輸出訊框流程可以包括來自圖像感測器的原始圖像資料、來自圖像感測器的分箱圖像資料，或者由圖像信號處理器內的一或多個演算法處理的經校正的圖像訊框，例如在分箱模組中。例如，從圖像感測器獲得的圖像訊框可以在輸出到圖像信號處理器之前對資料執行一些處理，經由圖像後處理引擎（IPE）及/或用於執行色調映射、人像照明、對比度增強、伽馬校正等中的一或多個的其他圖像處理電路系統來處理圖像訊框，從而在圖像信號處理器中對圖像訊框進行處理。
在表示場景的輸出訊框由圖像信號處理器使用圖像校正（例如本文各種實施例中描述的分箱）決定之後，輸出訊框可以作為單個靜止圖像及/或作為視訊序列的一部分顯示在設備顯示器上，作為圖片或視訊序列保存到儲存設備，經由網路傳輸，及/或列印到輸出媒體。舉例而言，圖像信號處理器可被配置為從不同圖像感測器獲得圖像資料（例如，圖元值）的輸入訊框，且進而產生圖像資料的對應輸出訊框（例如，預覽顯示訊框、靜止圖像擷取、視訊訊框、物件追蹤訊框等）。在其他實例中，圖像信號處理器可以將圖像資料的訊框輸出到各種輸出設備及/或相機模組以供進一步處理，諸如用於3A參數同步（例如，自動聚焦（AF）、自動白平衡（AWB）和自動曝光控制（AEC））、經由輸出訊框產生視訊檔案、配置用於顯示的訊框、配置用於儲存的訊框、經由網路連接傳輸訊框等。亦即，圖像信號處理器可以從一或多個圖像感測器獲得輸入訊框，每個圖像感測器耦合到一或多個相機鏡頭，並且進而可以產生輸出訊框流程並將其輸出到各個輸出目的地。
在一些態樣中，可經由將本發明的圖像校正的態樣與其他計算攝影技術（例如，高動態範圍（HDR）攝影或多訊框降雜（MFNR））組合來產生經校正的圖像訊框。利用HDR攝影，使用不同的曝光時間、不同的光圈、不同的鏡頭及/或其他特性來擷取第一圖像訊框和第二圖像訊框，當兩個圖像訊框被組合時，該等特性可以導致融合圖像的動態範圍的改良。在一些態樣，可以針對MFNR攝影來執行該方法，其中使用相同或不同的曝光時間來擷取第一圖像訊框和第二圖像訊框，並將其融合以產生與所擷取的第一圖像訊框相比雜訊減少的經校正的第一圖像訊框。
在一些態樣，設備可以包括圖像信號處理器或包括用於相機控制及/或處理的特定功能的處理器（例如，應用處理器），諸如啟用或禁用分箱模組或以其他方式控制圖像校正的態樣。本文描述的方法和技術可以完全由圖像信號處理器或處理器來執行，或者各種操作可以在圖像信號處理器和處理器之間分離，並且在一些態樣可以在附加的處理器之間分離。
該裝置可以包括一個、兩個或更多個圖像感測器，例如包括第一圖像感測器。當存在多個圖像感測器時，第一圖像感測器可以具有比第二圖像感測器更大的視場（FOV），或者第一圖像感測器可以具有與第二圖像感測器不同的靈敏度或不同的動態範圍。在一個實例中，第一圖像感測器可以是廣角圖像感測器，第二圖像感測器可以是遠端圖像感測器。在另一個實例中，第一感測器被配置為經由具有第一光軸的第一鏡頭獲得圖像，第二感測器被配置為經由具有不同於第一光軸的第二光軸的第二鏡頭獲得圖像。附加地或替代地，第一鏡頭可以具有第一放大率，第二鏡頭可以具有不同於第一放大率的第二放大率。此配置可與行動設備上的鏡頭集群一起出現，例如多個圖像感測器和相關聯的鏡頭位於行動設備的前側或後側上的偏移位置。可以包括具有更大、更小或相同視場的附加圖像感測器。本文描述的圖像校正技術可以應用於從多感測器設備中的任何圖像感測器擷取的圖像訊框。
在本案的附加態樣，揭示一種被配置用於圖像處理及/或圖像擷取的設備。該裝置包括用於擷取圖像訊框的構件。該裝置亦包括用於擷取表示場景的資料的一或多個構件，例如圖像感測器（包括電荷耦合元件（CCD）、Bayer濾波器感測器、紅外（IR）偵測器、紫外（UV）偵測器、互補金屬氧化物半導體（CMOS）感測器）、飛行時間偵測器。該裝置亦可以包括用於將光線聚集及/或聚焦到一或多個圖像感測器中的一或多個構件（包括簡單鏡頭、複合鏡頭、球面鏡頭和非球面鏡頭）。可以控制該等元件來擷取輸入到本文所述的圖像處理技術的第一圖像訊框及/或第二圖像訊框。
經由結合附圖閱讀以下對具體示例性態樣的描述，一般技術者將會明白其他態樣、特徵和實現方式。儘管可以相對於下文的某些態樣和附圖來論述特徵，但是各個態樣可以包括本文論述的一或多個有利特徵。換言之，儘管一或多個態樣可以被論述為具有某些有利的特徵，但是根據各個態樣亦可以使用一或多個此種特徵。以類似的方式，儘管示例性態樣可以在下文作為設備、系統或方法態樣來論述，但是示例性態樣可以在各種設備、系統和方法中實現。
該方法可以作為電腦程式代碼嵌入在電腦可讀取媒體中，該電腦程式代碼包括使處理器執行該方法的步驟的指令。在一些實施例中，處理器可以是行動設備的一部分，該行動設備包括：第一網路配接器，被配置為經由複數個網路連接中的第一網路連接來傳輸資料，例如作為記錄或串流資料的圖像或視訊；及耦合到第一網路配接器的處理器，和記憶體。該處理器可以經由諸如5G NR通訊網路的無線通訊網路傳輸本文所述的經校正的圖像訊框。
前面已經相當寬泛地概述了根據本案的實例的特徵和技術優點，以便可以更好地理解下文的詳細描述。下文將描述附加的特徵和優點。所揭示的概念和具體實例可以容易地用作修改或設計用於實現本案的相同目的的其他結構的基礎。此種等同的構造不脫離所附請求項的範疇。當結合附圖考慮時，從下文的描述中將更好地理解本文揭示的概念的特性、其組織和操作方法以及相關的優點。每個附圖皆是為了說明和描述的目的而提供的，而不是作為對請求項的限制的定義。
儘管在本案中經由對一些實例的說明描述了各態樣和實現，但是熟習此項技術者將理解，在許多不同的佈置和場景中可以出現附加的實現和使用情況。本文描述的創新可以跨許多不同的平臺類型、設備、系統、形狀、大小、封裝佈置來實現。例如，態樣及/或用途可以經由整合晶片實現和其他基於非模組元件的設備（例如，終端使用者設備、車輛、通訊設備、計算設備、工業裝備、零售/購買設備、醫療設備、支援人工智慧（AI）的設備等）來實現。儘管一些實例可能或可能不具體針對用例或應用，但是所描述的創新的各種各樣的適用性皆可能出現。實現方式的範圍可以從晶片級或模組化元件到非模組化、非晶片級實現方式，並且進一步到結合了所描述的創新的一或多個態樣的集合、分散式或原始設備製造商（OEM）設備或系統。在一些實際設置中，併入了所描述的態樣和特徵的設備亦可能必須包括用於實現和實踐所主張保護和描述的態樣的附加元件和特徵。例如，無線信號的傳輸和接收必須包括用於類比和數位目的的多個元件（例如，包括天線、射頻（RF）鏈、功率放大器、調制器、緩衝器、處理器、交錯器、加法器/相加器等的硬體元件）。意欲本文描述的創新可以在不同大小、形狀和構造的多種設備、晶片級元件、系統、分散式佈置、終端使用者設備等中實施。
下文結合附圖闡述的詳細描述意欲作為對各種配置的描述，而非意欲限制本案的範疇。相反，為了提供對本案標的的透徹理解，詳細描述包括具體細節。對於熟習此項技術者而言顯而易見的是，該等具體細節並不是在每種情況下皆是必需的，並且在某些情況下，為了表述清楚，公知的結構和元件以方塊圖形式圖示。
本案提供了支援多訊框景深（MF-DOF）的系統、裝置、方法和電腦可讀取媒體，用於去模糊背景感興趣區域（ROI），例如背景面部，其可能由於用於擷取圖像訊框的相機的大光圈尺寸或其他特性而模糊。該處理可以包括使用在對應於圖像訊框中多個ROI的兩個不同焦點處獲得的兩個圖像訊框。可以經由使用基於AI的模型及/或局部梯度資訊，例如使用具有局部梯度資訊的基於CV的去模糊方法，對第一圖像訊框的一或多個ROI去模糊，來決定經校正的圖像訊框。MF-DOF可以允許選擇性地增加圖像的景深（DOF），以提供多個感興趣區域的聚焦擷取，而不會導致光圈（以及隨後可用於攝影的光量）的減小或者攝影可能需要的背景模糊。
可以實現本案中描述的標的的特定實現，以實現一或多個以下潛在的優點或益處。在一些態樣，本案提供了用於圖像信號處理的技術，其降低了諸如融合多個圖像訊框時所涉及的計算複雜度，並減少了諸如在融合多個圖像訊框時可能產生的偽像（例如，光暈效應、重影效應）。根據本文揭示的實施例，經由使用多訊框處理去模糊背景ROI，仍然可以經由圖像處理技術獲得增強的圖像訊框。
使用一或多個圖像感測器來擷取圖像訊框的示例性設備，諸如智慧手機，可以包括在設備的背面（例如，與使用者顯示器相對的一側）或正面（例如，與使用者顯示器相同的一側）上的兩個、三個、四個或更多個相機的配置。具有多個圖像感測器的設備包括一或多個圖像信號處理器（ISP）、電腦視覺處理器（CVP）（例如，AI引擎），或者用於處理由圖像感測器擷取的圖像的其他合適的電路系統。一或多個圖像信號處理器可以向記憶體及/或處理器（例如應用處理器、圖像前端（IFE）、圖像後處理引擎（IPE）或其他合適的處理電路系統）提供經處理的圖像訊框，用於進一步處理，例如編碼、儲存、傳輸或其他操縱。
如本文所使用的，圖像感測器可以指圖像感測器本身和耦合到圖像感測器的任何特定其他元件，用於產生圖像訊框以供圖像信號處理器或其他邏輯電路系統處理或儲存在記憶體中，無論是短期緩衝器還是長期非揮發性記憶體。舉例而言，圖像感測器可包含相機的其他元件，包含快門、緩衝器或用於存取圖像感測器的個別圖元的其他讀出電路系統。圖像感測器亦可以指用於將類比信號轉換成圖像訊框的數位表示的類比前端或其他電路系統，該等數位表示被提供給耦合到圖像感測器的數位電路。
在以下描述中，闡述了許多具體細節，例如具體元件、電路和過程的實例，以提供對本案的全面理解。此處使用的術語「耦合」意味著直接連接到或經由一或多個中間元件或電路連接。此外，在下文的描述中，出於解釋的目的，闡述了特定的術語，以提供對本案的徹底理解。然而，對於熟習此項技術者而言顯而易見的是，該等具體細節可能不是實踐本文揭示的教示所必需的。在其他情況下，公知的電路和設備以方塊圖形式圖示，以避免模糊本案的教示。
以下詳細描述的某些部分是按照程序、邏輯區塊、處理以及對電腦記憶體內的資料位元的操作的其他符號表示來呈現的。在本案中，程序、邏輯區塊、過程等被認為是導致期望結果的步驟或指令的自洽序列。該等步驟需要對實體量進行實體操作。通常，儘管不是必須的，該等量採取能夠在電腦系統中儲存、傳輸、組合、比較和以其他方式操作的電或磁信號的形式。
在附圖中，單個方塊可以被描述為執行一或多個功能。由該等方塊執行一或多個功能可以在單個元件中或跨多個元件來執行，及/或可以使用硬體、軟體或硬體和軟體的組合來執行。為了清楚地說明硬體和軟體的此種可互換性，各種說明性的元件、方塊、模組、電路和步驟一般按照其功能來描述。此種功能實現為硬體還是軟體取決於特定的應用和對整體系統的設計約束。熟習此項技術者可以針對每個特定的應用以不同的方式實現所描述的功能，但是此種實現決定不應該被解釋為導致脫離本案的範疇。此外，示例性設備可以包括除了所示元件之外的元件，包括眾所周知的元件，例如處理器、記憶體等。
本案的各態樣適用於任何合適的電子設備，包括或耦合到能夠擷取圖像訊框（或「訊框」）的兩個或更多個圖像感測器。此外，本案的態樣可以在具有或耦合到相同或不同能力和特性（例如解析度、快門速度、感測器類型等）的圖像感測器的設備中實現。此外，本案的各態樣可以在用於處理圖像訊框的設備中實現，無論該設備是否包括或耦合到圖像感測器，諸如可以取得儲存的圖像以供處理的處理設備，包括雲端計算系統中存在的處理設備。
除非特別聲明，否則從下文的論述中顯而易見的是，在整個本案中，使用諸如「存取」、「接收」、「發送」、「使用」、「選擇」、「決定」、「正規化」、「相乘」、「平均」、「監控」、「比較」、「應用」、「更新」、「量測」、「匯出」、「穩定」、「產生」等術語的論述指的是電腦系統或類似的電子計算設備的動作和過程，該電腦系統或類似的電子計算設備將表示為電腦系統的暫存器和記憶體內的實體（電子）量的資料操縱和變換為類似地表示為電腦系統的暫存器、記憶體或其他此種資訊儲存、傳輸或顯示設備內的實體量的其他資料。
術語「設備」和「裝置」不限於一個或特定數量的實體物件（例如一個智慧手機、一個相機控制器、一個處理系統等等）。如本文所使用的，設備可以是具有一或多個零件的任何電子設備，該等零件可以實現本案的至少一些部分。儘管以下描述和實例使用術語「設備」來描述本案的各個態樣，但是術語「設備」不限於特定的配置、類型或物件數量。如本文所使用的，裝置可以包括用於執行所述操作的設備或設備的一部分。
圖1圖示用於從一或多個圖像感測器執行圖像擷取的示例性設備100的方塊圖。設備100可以包括或以其他方式耦合到圖像信號處理器112，用於處理來自一或多個圖像感測器的圖像訊框，圖像感測器諸如第一圖像感測器101、第二圖像感測器102和深度感測器140。在一些實現中，設備100亦包括或耦合到處理器104和儲存指令108的記憶體106。設備100亦可以包括或耦合到顯示器114和輸入/輸出（I/O）元件116。I/O元件116可以用於與使用者互動，例如觸控式螢幕介面及/或實體按鈕介面。I/O元件116亦可以包括用於與其他設備通訊的網路介面，包括廣域網路（WAN）配接器152、區域網路（LAN）配接器153及/或個人區域網路（PAN）配接器154。WAN配接器152的實例包括4G LTE或5G NR無線網路配接器。示例性LAN配接器153是IEEE 802.11 WiFi無線網路配接器。示例性PAN配接器154是藍芽無線網路配接器。配接器152、153及/或154中的每一個可以耦合到天線，並且可以耦合到被配置用於主要和分集接收及/或被配置用於接收特定頻帶的多個天線。設備100亦可以包括或耦合到設備100的電源118，例如電池或用於將設備100耦合到能源的元件。設備100亦可以包括或耦合到圖1中未圖示的附加特徵或元件。在一個實例中，一或多個收發器和基頻處理器可以耦合到或包括在無線通訊設備的WAN配接器152中。在另一實例中，將類比圖像訊框資料轉換成數位圖像訊框資料的類比前端（AFE）可以耦合在圖像感測器101和102與圖像信號處理器112之間。
該設備可以包括或耦合到感測器集線器150，用於與感測器介面以接收關於設備100的移動的資料、關於設備100周圍的環境的資料及/或其他非相機感測器資料。一個示例性非相機感測器是陀螺儀，其是被配置用於量測旋轉、方向及/或角速度以產生運動資料的設備。另一示例性非相機感測器是加速度計，其是被配置用於量測加速度的設備，其亦可以用於經由適當地積分量測的加速度來決定速度和行進的距離，並且加速度、速度及/或距離中的一或多個可以被包括在產生的運動資料中。在一些態樣，電子圖像穩定系統（EIS）中的陀螺儀可以耦合到感測器集線器或者直接耦合到圖像信號處理器112。在另一實例中，非相機感測器可以是全球定位系統（GPS）接收器。來自感測器集線器150的資料可以被圖像信號處理器112用於產生經校正的圖像訊框，例如經由應用電子圖像穩定（EIS）及/或數位圖像穩定（DIS）。
圖像信號處理器112可以從一或多個相機接收圖像訊框形式的圖像資料。在一個實施例中，本端匯流排連接將圖像信號處理器112分別耦合到第一相機和第二相機的圖像感測器101和102。在另一實施例中，有線介面將圖像信號處理器112耦合到外部圖像感測器。在另一實施例中，無線介面將圖像信號處理器112耦合到圖像感測器101、102。
第一相機可以包括第一圖像感測器101和對應的第一鏡頭131。第二相機可以包括第二圖像感測器102和對應的第二鏡頭132。鏡頭131和132中的每一個皆可以由在ISP 112中執行的相關聯的自動聚焦（AF）演算法133來控制，該演算法調整鏡頭131和132以聚焦在對應於特定聚焦位置的特定焦平面上。深度感測器140可以經由使用深度資料來近似聚焦位置來輔助AF演算法133。
第一圖像感測器101和第二圖像感測器102被配置為擷取一或多個圖像訊框。鏡頭131和132分別經由用於接收光的一或多個光圈、用於在曝光訊窗之外阻擋光的一或多個快門、用於過濾特定頻率範圍之外的光的一或多個濾色器陣列（CFA）、用於將類比量測轉換成數位資訊的一或多個類比前端及/或用於成像的其他合適元件，將光聚焦在圖像感測器101和102上。第一鏡頭131和第二鏡頭132可以具有不同的視場，以擷取場景的不同表示。例如，第一鏡頭131可以是超寬（UW）鏡頭，第二鏡頭132可以是寬（W）鏡頭。多個圖像感測器可以包括超寬（高視場（FOV））、寬、遠和超遠（低FOV）感測器的組合。亦即，每個圖像感測器可以經由硬體配置及/或軟體設置來配置，以獲得不同但重疊的視場。在一種配置中，圖像感測器配置有不同的鏡頭，該等鏡頭具有不同的放大率，從而產生不同的視場。感測器可以被配置為使得UW感測器比W感測器具有更大的FOV，W感測器比T感測器具有更大的FOV，T感測器比UT感測器具有更大的FOV。例如，配置用於寬FOV的感測器可以擷取64-84度範圍內的視場，配置用於超邊FOV的感測器可以擷取100-140度範圍內的視場，配置用於遠距FOV的感測器可以擷取10-30度範圍內的視場，配置用於超遠距FOV的感測器可以擷取1-8度範圍內的視場。
圖像信號處理器112處理由圖像感測器101和102擷取的圖像訊框。儘管圖1將設備100圖示為包括耦合到圖像信號處理器112的兩個圖像感測器101和102，但是任何數量（例如，一個、兩個、三個、四個、五個、六個等）的圖像感測器可以耦合到圖像信號處理器112。在一些態樣，諸如深度感測器140的深度感測器可以耦合到圖像信號處理器112，並且來自深度感測器的輸出以與圖像感測器101和102類似的方式被處理，以基於深度感測器140擷取的圖像訊框來產生經校正的圖像訊框。深度感測器140亦可用於對從圖像感測器101和102之一擷取的第一圖像訊框應用校正，例如經由使用深度資料將來自感測器101或102的圖像訊框分割成前景和背景區域，並在決定經校正的第一圖像訊框時分別處理前景和背景區域。儘管圖1所示的裝置可以反映所揭示的圖像信號處理技術和方法的一些實施例的配置，但是在設備100的其他實施例中可以包括任意數量的附加圖像感測器或圖像信號處理器，同時仍然實現所揭示的圖像信號處理技術和方法的各態樣。
在一些實施例中，圖像信號處理器112可以執行來自記憶體的指令，例如來自記憶體106的指令108、儲存在耦合到圖像信號處理器112或包括在圖像信號處理器112中的獨立記憶體中的指令，或由處理器104提供的指令。另外，或者替代地，圖像信號處理器112可以包括被配置為執行本案中描述的一或多個操作的特定硬體（例如一或多個積體電路（IC））。例如，圖像信號處理器112可以包括一或多個圖像前端（IFE）135、一或多個圖像後處理引擎136（IPE）、一或多個自動曝光控制（AEC）134引擎及/或一或多個自動聚焦（AF）133引擎。AF 133、AEC 134、IFE 135、IPE 136可以各自包括專用電路系統，被實現為由ISP 112執行的軟體代碼，及/或ISP 112內的硬體和在ISP 112上執行的軟體代碼的組合。
在一些實現中，記憶體106可以包括儲存電腦可執行指令108的非瞬態或非暫時性電腦可讀取媒體，以執行本案中描述的一或多個操作的全部或一部分。在一些實施方式中，指令108包括由設備100執行的用於產生圖像或視訊的相機應用程式（或其他合適的應用程式）。指令108亦可以包括由設備100執行的其他應用程式或程式，例如作業系統和除了圖像或視訊產生之外的特定應用程式。諸如由處理器104執行相機應用程式可以使得設備100使用圖像感測器101和102以及圖像信號處理器112來產生圖像。圖像信號處理器112亦可以存取記憶體106以儲存處理後的訊框，或者處理器104可以存取記憶體106以獲得處理後的訊框。在一些實施例中，設備100不包括記憶體106。例如，設備100可以是包括圖像信號處理器112的電路，並且記憶體可以在設備100的外部。設備100可以耦合到外部記憶體，並被配置為存取該記憶體，以寫入輸出訊框用於顯示或長期儲存。在一些實施例中，設備100是晶片上系統（SoC），其將圖像信號處理器112、處理器104、感測器集線器150、記憶體106和輸入/輸出元件116合併到單個封裝件中。
在一些實施例中，圖像信號處理器112或處理器104中的至少一個執行指令以執行本文描述的各種操作，包括本文的實施例中描述的MF-DOF操作。例如，指令的執行可以指示圖像信號處理器112開始或結束擷取圖像訊框或圖像訊框序列，其中擷取包括如本文實施例中所述的MF-DOF操作。在一些實施例中，處理器104可以包括一或多個通用處理器核心104A，其能夠執行一或多個軟體程式的腳本或指令，例如儲存在記憶體106中的指令108。例如，處理器104可以包括一或多個應用處理器，其被配置為執行儲存在記憶體106中的相機應用程式（或用於產生圖像或視訊的其他合適的應用程式）。
在執行相機應用程式時，處理器104可以被配置為指示圖像信號處理器112參考圖像感測器101或102執行一或多個操作。例如，相機應用程式可以接收開始視訊預覽顯示的命令，基於該視訊預覽顯示，從一或多個圖像感測器101或102擷取並處理包括圖像訊框序列的視訊。圖像校正可以應用於序列中的一或多個圖像訊框。處理器104在相機應用程式之外執行指令108亦可以使設備100執行任意數量的功能或操作。在一些實施例中，除了執行軟體的能力之外，處理器104可以包括IC或其他硬體（例如，人工智慧（AI）引擎124），以使設備100執行多個功能或操作，例如本文描述的操作。在一些其他實施例中，設備100不包括處理器104，例如當所有描述的功能皆配置在圖像信號處理器112中時。
在一些實施例中，顯示器114可以包括一或多個合適的顯示器或螢幕，允許使用者互動及/或向使用者呈現項目，例如由圖像感測器101和102擷取的圖像訊框的預覽。在一些實施例中，顯示器114是觸敏顯示器。I/O元件116可以是或包括任何合適的機制、介面或設備，以接收來自使用者的輸入（如命令）並經由顯示器114向使用者提供輸出。例如，I/O元件116可以包括（但不限於）圖形化使用者介面（GUI）、鍵盤、滑鼠、麥克風、揚聲器、可擠壓邊框、一或多個按鈕（例如電源按鈕）、滑塊、開關等等。
儘管被示為經由處理器104彼此耦合，但是元件（例如處理器104、記憶體106、圖像信號處理器112、顯示器114和I/O元件116）可以以其他各種佈置彼此耦合，例如經由一或多個本端匯流排，為了簡單起見未圖示。儘管圖像信號處理器112被圖示為與處理器104分離，但是圖像信號處理器112可以是處理器104的核心，該處理器104是應用處理器單元（APU），包括在晶片上系統（SoC）中，或者以其他方式包括在處理器104中。儘管在本文的實例中設備100被稱為用於執行本案的各態樣，但是為了防止模糊本案的各態樣，一些設備元件可能沒有在圖1中圖示。此外，其他元件、多個元件或元件的組合可以被包括在用於執行本案的各態樣的合適設備中。因此，本案不限於特定的設備或元件配置，包括設備100。
經由在圖像擷取設備的一或多個圖像感測器上使用大光圈鏡頭，可以提高由圖像擷取設備（例如設備100）擷取的圖像的品質。更大光圈的鏡頭有很多好處，包括更好的低光效能，此舉可能有利於室內和夜間攝影，以及更好的散景模糊，此舉可能有利於人像照片。該等益處在行動設備中尤其有利，該等行動設備在相機鏡頭和其他設備的可用空間態樣受到形狀因素的限制。然而，大光圈鏡頭亦具有短的焦深（DOF），導致擷取圖像的有限部分聚焦，而圖像的其餘部分具有不同程度的模糊。當場景包括處於不同距離的許多物件時，具有大光圈鏡頭的圖像擷取設備將擷取其中一些物件失焦的圖像。此情形可能是不期望的，尤其是當失焦物件包括其他人時。此處提到的缺點僅僅是代表性的，並且被包括在內以突出發明人已經辨識的關於現有設備的問題，並且尋求改良。下文描述的設備的各態樣可以解決一些或所有缺點以及本領域中已知的其他缺點。下文描述的改良設備的各態樣可以呈現不同於上述優點的其他優點，並且可以用在不同於上述優點的其他應用中。
設備100可以擷取諸如圖2所示的圖像訊框。圖2是圖示具有在距設備100不同焦距處的兩個面部的場景的圖示。圖像訊框200包括第一物件202和第二物件204。自動聚焦（AF）133可能已經將相機聚焦在前景中的第一物件202上，而第二物件204由於鏡頭131的有限焦深而在背景中失焦。圖像擷取的焦深可能足夠淺，使得第一物件202和第二物件204不能在單個圖像訊框中同時聚焦。如本文實施例中所述，當決定圖像訊框中存在兩個或更多個感興趣區域（ROI）時，可以執行多訊框景深（MF-DOF）處理。感興趣的ROI偵測可以包括偵測圖像訊框200中的物件202和204。參考圖3至圖7描述了展示MF-DOF處理的不同態樣的MF-DOF處理的示例性實施例。
圖3是圖示根據一或多個態樣的用於處理具有兩個或更多個ROI的圖像的方法的方塊圖。在方塊302，擷取第一圖像訊框，該第一圖像訊框可以具有前景中的焦點對準的物件（例如，近距離）和背景中的焦點不對準的物件（例如，遠距離）。附加的圖像擷取及/或圖像處理，例如多訊框景深（MF-DOF）處理，可以經由決定在方塊302擷取的圖像訊框中的至少兩個感興趣區域（ROI）來觸發。可以經由例如使用機器學習演算法、基於電腦視覺（CV）的分割、深度學習、數位信號處理演算法、深度估計或其他演算法的物件或面部偵測來執行辨識。該辨識可以包括經由量測所辨識的感興趣區域內的局部對比度來決定至少一個感興趣區域模糊或失焦的分析。在一些實施例中，當經由物件/面部偵測偵測到兩個ROI時，MF-DOF被觸發，以決定希望在同一圖像訊框上隨著深度增加兩個面部的銳度的情況。在一些實施例中，當偵測到具有至少一個模糊ROI的兩個ROI時，觸發MF-DOF。在一些實施例中，當經由物件/面部偵測偵測到三個（或者更一般地，N個）物件時，可以觸發MF-DOF。用於觸發MF-DOF處理的物件的數量和類型可以基於圖像擷取設備的配置及/或使用者偏好來定製。例如，使用者可以指定用於指定某些條件的規則，當滿足該等條件時，可以觸發MF-DOF處理。一個示例性規則可以是偵測戶外場景中的兩個面部。另一示例性規則可以是偵測相隔距離超過設定距離閾值的兩個面部。
當MF-DOF處理被觸發時，多個圖像訊框可以被處理以改良經由使用圖像擷取設備的攝影所擷取的場景的表示。因此，在決定滿足觸發條件之後，在方塊306，可以獲得新的第一圖像訊框，並且在方塊308，可以獲得第二圖像訊框。在一些實施例中，獲得方塊306的第一圖像訊框，其中焦點設置在前景物件和背景物件之間的位置320處，焦點位置不會導致前景物件明顯模糊，同時增加背景物件的細節。位置320可以在前景和背景物件之間的中間，或者在前景和背景物件之間的另一個值處，例如距離前景和背景物件20%的距離，儘管位置320可以是可調的，以在前景物件上的模糊和背景物件上的細節之間進行折衷。在一些實施例中，中點可以是物件202和204之間深度的中間及/或物件202和204之間橫向尺寸的中間。在一些實施例中，方塊306處的第一圖像訊框是在聚焦於前景ROI時獲得的，而方塊308處的第二圖像訊框是在聚焦於背景ROI時獲得的。在一些實施例中，跳過在方塊306或方塊308擷取新圖像訊框，並且方塊302的圖像訊框被重新用作方塊306或方塊308的第一或第二圖像訊框。
來自方塊306和308的第一和第二圖像訊框在方塊310被提供給MF-DOF處理演算法，該演算法可以在方塊312執行第一和第二圖像訊框內的對應ROI之間的基於特徵的對準。例如，可以決定背景面部的面部特徵，並且決定將第一圖像訊框中的背景面部特徵與第二圖像訊框中的對應特徵相匹配的對準因數。對準因數可以表示為對應於第一和第二圖像訊框之間的距離差的單個向量。在一些實施例中，對準因數可以被決定為方塊308的圖像訊框內的位置的函數，使得對準因數是位置相關的，並且對準差被表示為一組運動向量。在一些實施例中，對準因數可以被決定為該組運動向量的平均值。
可以基於第一或第二圖像訊框中的一個來產生與單獨的第一及/或第二圖像訊框中的任一個相比具有改良的屬性的輸出圖像訊框，並且可以使用對準因數來決定。例如，經由減少模糊及/或增加某些感興趣區域的細節，使用對準因數及/或其他參數對圖像訊框之一執行的MF-DOF處理可以產生比單獨的第一或第二圖像訊框具有更多「焦點對準（in-focus）」區域的圖像訊框。在一些實施例中，MF-DOF處理可以包括將人工智慧或機器學習演算法應用於某些感興趣的區域，以擴展淺景深。
在一個實施例中，MF-DOF處理可以包括在方塊314和316的處理，以決定輸出圖像訊框330。在方塊314，基於ROI的對準特徵執行局部梯度比較。在一些實施例中，局部指的是感興趣區域，使得局部梯度差是第一和第二圖像訊框中的相應感興趣區域內的梯度差。在方塊316，基於局部梯度資訊，例如在方塊314決定的強度值，在背景面部上執行局部增強操作。增強操作可改良圖像品質，例如經由改良未聚焦的圖像訊框的ROI中的清晰度或銳度。例如，若第一圖像訊框具有聚焦的前景面部和失焦的背景面部，則增強操作可以使用局部梯度資訊來提高背景面部的清晰度或銳度。在一些實施例中，局部增強可以是亮度保持對比度增強，以增強背景面部或背景ROI的細節。在方塊316處的局部增強之後，輸出圖像訊框330可以看起來具有焦點對準的物件202和204。
在一些實施例中，方塊314的梯度資訊可以在比較之前被正規化，例如正規化到0-1的標度。方塊314的比較可以決定要用作方塊316的處理的輸入參數的局部增強因數。可以經由用查閱資料表比較兩個面部上的梯度來決定該因數。在一些實施例中，可以基於例如梯度的差異和人類主觀評估來控制局部增強，其中查閱資料表被構造用於映射關係。在一些實施例中，該表可以包括要在方塊316執行的增強操作的強度值，例如在1-4的範圍內，1表示較低強度的增強操作，4表示較高強度的增強操作（例如，較強的對比度操作）。經由使每個強度值與圖像的一部分相關聯，可以為圖像決定多個此種強度值。在一些實施例中，每個ROI可以具有強度值。在一些實施例中，一些或所有ROI可被分成大小為N×N的子區塊（例如，2×2、3×3、4×4等。）每個子區塊具有一個強度值。
在一些實施例中，閾值可以用於將強度值分配給圖像的區域。例如，比較具有相應子區塊的第一和第二圖像訊框的梯度差。若差值小於閾值，則可以用參數1執行對比度操作，若差值大於第一閾值並且小於第二閾值，則可以用參數2執行對比度操作，若差值大於第二閾值並且小於第三閾值，則可以用參數3執行對比度操作。若差值大於第三閾值，則可以用參數4執行對比度操作。
圖3中描述的圖像處理技術基於第二圖像訊框的特性改良了第一圖像訊框的外觀，而不需要將第二圖像訊框的資料與第一圖像訊框進行組合。此種處理消除了由於合併來自多個圖像訊框的資料而向第一圖像訊框添加偽像的可能性。例如，當第一圖像訊框與第二圖像訊框合併時，圖像訊框之間物件的不連續性和偏移可能導致重影或斷線。此外，可以避免可能在融合操作期間引入的諸如亮度變化和不同雜訊水平的偽像。可以基於對第二圖像訊框的分析來執行對第一圖像訊框的操作，包括比較第一和第二圖像訊框之間的相應感興趣區域的分析。參考圖4和圖5描述了用於校正第一圖像訊框而不與來自第二圖像訊框的資料合併的圖像處理技術的各態樣。
圖4是圖示根據一或多個態樣處理多個圖像訊框以增加圖像訊框中的焦深的方塊圖。圖像信號處理器112可以接收第一圖像訊框410和第二圖像訊框412。兩個圖像訊框410、412可以具有前景物件202和背景物件204。ISP 112可以辨識與物件202和204上的面部相對應的感興趣區域402和404。第一和第二圖像訊框410、412可以被輸入到ROI分析模組424，ROI分析模組424基於第一和第二圖像訊框410、412決定一或多個參數（例如經由使用局部梯度比較）。一或多個參數可以被輸入到圖像校正模組422，圖像校正模組422接收第一圖像訊框410並基於一或多個參數對第一圖像訊框410執行操作。因此，圖像校正模組422僅對來自第一圖像訊框410的資料進行操作，以決定經校正的第一圖像訊框430，此舉可以減少經校正的第一圖像訊框430中的偽像。儘管單獨的圖像訊框被示為輸入到ISP 112，但是ISP 112可以處理對應於視訊序列的一系列圖像訊框，並且輸出經校正的一系列圖像訊框作為經校正的視訊序列，其中每個圖像訊框以類似的方式被處理，以改良圖像訊框內的某些感興趣區域（ROI）的特性。
參考圖5描述了圖像信號處理器112進行圖像信號處理的一個示例性方法。圖5是圖示根據一或多個態樣的用於處理具有兩個或更多個ROI的圖像的方法的流程圖。方法500可以由另一處理器執行，例如處理器104，或者圖像擷取設備中的其他邏輯電路系統，或者圖像擷取設備中的電路系統組合。方法500包括，在方塊502，分別在第一和第二焦距處接收第一和第二圖像訊框。例如，ISP 112可以經由自動聚焦（AF）模組133控制相機來擷取第一和第二圖像訊框。在方塊504，ISP 112可以辨識第一和第二圖像訊框中的感興趣區域，並且匹配第一和第二圖像訊框之間的感興趣區域。在方塊506，ISP 112可以基於第一圖像訊框和對第一和第二圖像訊框中的相應感興趣區域的分析來決定經校正的第一圖像訊框。
在一些實施例中，在圖像校正模組422中執行的方塊506的決定可以包括基於ROI分析模組424執行的分析執行的對比度操作，以決定對應的感興趣區域之間的局部梯度差。參考圖6描述了此種實施例的示例性方法。
圖6是圖示根據一或多個態樣的用於處理具有兩個或更多個ROI的圖像的方法的流程圖。方法600在方塊602開始，接收表示在第一焦距處擷取的場景的第一圖像訊框。在方塊604，決定第一圖像訊框中是否存在兩個ROI，例如經由決定第一圖像訊框中是否存在兩個感興趣區域（ROI）（例如，面部）。若在方塊604沒有兩個或更多個ROI，則方法600繼續到方塊614，以基於第一圖像訊框輸出經校正的第一圖像訊框。具有模糊背景的原始擷取的第一圖像被圖像信號處理器處理（例如，裁剪、色調映射等）以決定輸出並顯示在預覽上或保存為照片的校正的第一圖像訊框。在一些實施例中，在方塊614，原始的第一圖像訊框被輸出而沒有任何修改。
若在方塊604辨識出兩個或更多個ROI，則方法600繼續到方塊606，以接收表示與第一圖像訊框相同場景的第二圖像訊框，但是在不同於第一圖像訊框的第一焦距的第二焦距處擷取。例如，可以經由用聚焦的位置播種自動聚焦（AF）演算法及/或用對應於擷取第一圖像訊框時獲得的ROI的深度值播種AF演算法來擷取第二圖像訊框。在一些實施例中，方塊606可以包括接收第三圖像訊框以代替在方塊602接收的第一圖像訊框。
在方塊608，決定對準校正以將第一圖像訊框的特徵與第二圖像訊框匹配。在方塊610，基於所決定的對準校正，為第一和第二圖像訊框的對應部分決定局部梯度差。在方塊612，基於方塊610的局部梯度差對第一圖像訊框執行增強操作，以產生經校正的第一圖像訊框。
在一些實施例中，方塊612的增強操作可以基於人工智慧（AI）演算法，例如機器學習（ML）演算法。圖7是圖示根據一或多個態樣的利用基於AI的去模糊來處理具有兩個或更多個ROI的圖像的方法的方塊圖。類似於圖3的方塊312，在方塊712，多訊框景深（MF-DOF）操作710可以使用基於面部特徵的對準來執行基於AI的圖像處理714。基於AI的去模糊演算法716可以使用在方塊712決定的對準校正來對第一圖像訊框410（例如第一圖像訊框中的感興趣區域）應用增強操作，以產生經校正的第一圖像訊框720。經校正的第一圖像訊框720作為一系列經校正的第一圖像訊框430的一部分被發送到圖像擷取設備的相機應用程式中的預覽顯示器，及/或被擷取為照片以供圖像擷取設備儲存或傳輸。
基於AI的去模糊演算法可以基於地面真實（例如，聚焦的背景人像/面部/ROI）和模糊圖像（例如，具有淺焦深的第一圖像訊框具有模糊的背景部分/面部/ROI）來訓練。在一些實施例中，基於AI的去模糊可以在GPU、DSP、ASIC或其他邏輯電路系統上執行，而不是在CPU上執行，此舉釋放了CPU計算資源用於其他任務。在一些實施例中，與圖3的局部梯度比較和增強方法相比，基於AI的去模糊可以具有更少的等待時間和減少的偽像。基於AI的演算法的參數訓練可以基於Adam最佳化器，其中損失函數是MSE：
Figure 02_image001
其中K是時期，N是批次（patch）號，a是地面真實PSF，
Figure 02_image003
是批次中和第k個時期中第n個圖像的估計PSF。可以使用由人分配給模糊和非模糊ROI對的標的分數離線執行訓練，並且訓練模型被配置為圖像擷取設備上的靜態模型。
在一些實施例中，基於AI的去模糊演算法可使用由ResNet演算法（例如ResNet-34演算法）訓練的模型，使用來自圖像訊框的對應清晰和模糊面部ROI的資料集集合，並經由採用ResNet-34考慮連結模糊和清晰背景面部ROI的退化問題來訓練模型。儘管ResNet-34被提供作為機器學習演算法的一個實例，但是其他演算法亦可以被訓練和用於替代ResNet-34或者與ResNet-34相結合。
如本文所述，在一些實施例中，機器學習模型可以包括邏輯回歸技術、線性判別分析、線性回歸分析、人工神經網路、機器學習分類器演算法或分類/回歸樹。在一些態樣，機器學習可以包括一或多個人工神經網路，該等人工神經網路可以包括互連的一組人工神經元（例如神經元模型），用於對參數之間的關係進行建模，例如對應於面部或其他物件的聚焦和模糊表示的兩個圖像訊框之間的關係。在一些態樣，機器學習可以包括一或多個迴旋神經網路，迴旋神經網路是一種前饋人工神經網路。迴旋神經網路可以包括神經元的集合，每個神經元具有感受野，並且共同構成輸入空間。在一些態樣，機器學習可以包括一或多個深度學習架構，例如深度信念網路和深度迴旋網路，其是分層的神經網路架構，其中第一層神經元的輸出成為第二層神經元的輸入，第二層神經元的輸出成為第三層神經元的輸入，等等。深度神經網路可以被訓練來辨識特徵的層級。在各種態樣，機器學習系統可以採用若干變體的單純貝氏預測建模分析、學習向量量化，或諸如Adaboost或隨機梯度增強系統的增強演算法的實現，用於反覆運算地更新權重以訓練機器學習分類器來決定諸如局部梯度水平的影響屬性與圖像訊框內的物件或面部的焦點對準或模糊態樣之間的關係及/或此種影響屬性影響此種系統的結果或用於校正圖像訊框的最終輸出圖元的程度。
對圖像訊框進行去模糊背景ROI（例如背景面部）的處理可以克服利用較大鏡頭和較大光圈的缺點（此舉增加了背景的模糊），增加了低光條件下的進光，並且比其他計算技術具有更自然的散景效能。具體而言，在雙面部對焦實施例中，可以改良背面面部的銳度，亦可以使前面面部更清晰，及/或可以增強背面面部的毛髮，以改良背景中面部的自然外觀。
在一些實施例中，在不將第一圖像訊框中的資料與第二圖像訊框中的資料合併的情況下，決定經校正的第一圖像訊框。此舉消除了由於合併來自兩個不同圖像訊框的兩個表示而在經校正的第一圖像訊框中產生偽像的可能性。
注意，參考圖3至圖5描述的一或多個方塊（或操作）可以與參考另一個附圖描述的一或多個方塊（或操作）相結合。
在一或多個態樣中，用於支援圖像信號處理的技術可包含附加態樣，例如下文描述的任何單一態樣或態樣的任何組合，或結合本文別處描述的一或多個其他過程或設備。在第一態樣中，支援圖像信號處理可包含一種被配置為執行以下步驟的裝置，該等步驟包含：接收表示在第一焦距處擷取的場景的第一圖像訊框；接收表示在不同於第一焦距的第二焦距處擷取的場景的第二圖像訊框；決定第一圖像訊框的第一部分和第二圖像訊框的第二部分之間的局部梯度差，第一和第二部分對應於場景中的感興趣區域（ROI）；及/或基於局部梯度差對第一圖像訊框的第一部分執行對比度增強操作，以決定經校正的第一圖像訊框。另外，該裝置可以根據如下所述的一或多個態樣來執行或操作。在一些實現中，該裝置包括無線設備，例如UE。在一些實現中，該裝置可以包括至少一個處理器和耦合到該處理器的記憶體。該處理器可以被配置為執行本文針對該裝置描述的操作。在一些其他實施方式中，該裝置可以包括其上記錄有程式碼的非暫時性電腦可讀取媒體，並且該程式碼可以由電腦執行，用於使電腦執行本文參考該裝置描述的操作。在一些實現中，該裝置可以包括被配置為執行本文所述操作的一或多個構件。在一些實現中，無線通訊的方法可以包括本文參考該裝置描述的一或多個操作。
在一或多個態樣中，用於支援圖像擷取及/或圖像處理的技術可包含附加態樣，例如下文描述的任何單一態樣或態樣的任何組合，或結合本文別處描述的一或多個其他過程或設備。在第一態樣，支援圖像擷取及/或圖像處理可以包括一種裝置，該裝置被配置為執行以下步驟：接收表示在第一焦距處擷取的場景的第一圖像訊框；接收表示在不同於第一焦距的第二焦距處擷取的場景的第二圖像訊框；決定相應的感興趣區域集合，包括第一圖像訊框中的第一感興趣區域和第二圖像訊框中的第二感興趣區域；基於第一感興趣區域與第二感興趣區域的比較來決定值；基於第一圖像訊框和值來決定經校正的第一圖像訊框。另外，該裝置可以根據如下所述的一或多個態樣來執行或操作。在一些實現中，該裝置包括無線設備，例如UE。在一些實現中，該裝置可以包括至少一個處理器和耦合到該處理器的記憶體。該處理器可以被配置為執行本文針對該裝置描述的操作。在一些其他實施方式中，該裝置可以包括其上記錄有程式碼的非暫時性電腦可讀取媒體，並且該程式碼可以由電腦執行，用於使電腦執行本文參考該裝置描述的操作。在一些實現中，該裝置可以包括被配置為執行本文所述操作的一或多個構件。在一些實現中，無線通訊的方法可以包括本文參考該裝置描述的一或多個操作。
在第二態樣，結合第一態樣，該裝置亦被配置為執行包括決定第一區域和第二區域中的第一面部的操作；及決定第三感興趣區域中的第二面部，其中決定經校正的第一圖像訊框包括增加第一面部的細節，使得第一面部和第二面部在經校正的第一圖像訊框中出現焦點對準。
在第三態樣，結合第一態樣或第二態樣中的一或多個，決定值包括決定第一感興趣區域和第二感興趣區域之間的局部梯度差；並且決定經校正的第一圖像訊框包括基於局部梯度差對第一圖像訊框的第一感興趣區域執行對比度操作。
在第四態樣，結合第一態樣至第三態樣中的一或多個態樣，執行對比度操作保持第一圖像訊框的亮度。
在第五態樣，結合第一態樣至第四態樣中的一或多個態樣，決定經校正的第一圖像訊框包括執行基於人工智慧的操作。
在第六態樣，結合第一態樣至第五態樣中的一或多個態樣，該裝置亦被配置為執行包括決定第一圖像感興趣區域和第二感興趣區域之間的對準差異的操作，其中決定值是基於對準差異的。
在第七態樣，結合第一態樣至第六態樣中的一或多個態樣，決定對準差異包括決定在第一圖像訊框中辨識的物件從第一圖像訊框中的第一位置到第二圖像訊框中的第二位置的運動。
在第八態樣，結合第一態樣至第七態樣中的一或多個態樣，該裝置亦被配置為執行包括決定第一圖像訊框中感興趣區域的數量的操作，其中執行接收第二圖像訊框、決定值和決定經校正的第一圖像訊框的操作是基於區域的數量大於1。
在第九態樣，結合第一態樣至第八態樣中的一或多個態樣，決定第一圖像訊框中感興趣區域的數量包括偵測第一圖像訊框中的面部。
在第十態樣，結合第一態樣至第九態樣中的一或多個態樣，第一焦距與第一感興趣區域和第二感興趣區域中的第一面部相關聯；並且第二焦距與第三感興趣區域中的不同的第二面部相關聯。
在第十一態樣，結合第一態樣至第十態樣中的一或多個態樣，第一焦距是第一感興趣區域中的第一面部和第三感興趣區域中的第二面部之間的位置，並且其中第二焦距是第二面部的焦距。
在第十二態樣，結合第一態樣至第十一態樣中的一或多個態樣，決定校正的第一圖像訊框不是基於將第二圖像訊框的任何部分與第一圖像訊框相結合。
在第十三態樣，結合第一態樣至第十二態樣中的一或多個態樣，該裝置亦包括相機，該相機包括圖像感測器和鏡頭。
在第十四態樣，結合第一態樣至第十三態樣中的一或多個態樣，至少一個處理器耦合到相機，並且被配置為執行包括以下的操作：控制相機在第一焦距處擷取第一圖像訊框；決定第一圖像訊框中第一面部和第二面部的存在；及基於決定第一圖像訊框中第一面部和第二面部的存在，控制相機在第二焦距處擷取第二圖像訊框。
在第十五態樣，結合第一態樣至第十四態樣中的一或多個態樣，至少一個處理器包括圖像信號處理器（ISP）。
熟習此項技術者將理解，可以使用各種不同的技術和方法中的任何一種來表示資訊和信號。例如，貫穿以上描述可能提及的資料、指令、命令、資訊、信號、位元、符號和碼片可以由電壓、電流、電磁波、磁場或粒子、光場或粒子或其任意組合來表示。
本文中關於圖1至圖7描述的元件、功能方塊和模組包括處理器、電子設備、硬體設備、電子元件、邏輯電路、記憶體、軟體代碼、韌體代碼以及其他實例，或者其任意組合。軟體應被廣義地解釋為表示指令、指令集、代碼、程式碼片段、程式碼、程式、副程式、軟體模組、應用程式、軟體應用程式、套裝軟體、常式、子常式、物件、可執行程式、執行執行緒、程序及/或功能，以及其他實例，無論是被稱為軟體、韌體、中間軟體、微碼、硬體描述語言還是其他。此外，本文論述的特徵可以經由專用處理器電路系統、經由可執行指令或其組合來實現。
熟習此項技術者將進一步瞭解，結合本文中的揭示內容描述的各種說明性邏輯區塊、模組、電路和演算法步驟可實施為電子硬體、電腦軟體或兩者的組合。為了清楚地說明硬體和軟體的此種可互換性，各種說明性的元件、方塊、模組、電路和步驟已經在上文根據其功能進行了一般描述。此種功能實現為硬體還是軟體取決於特定的應用和對整體系統的設計約束。熟習此項技術者可以針對每個特定的應用以不同的方式實現所描述的功能，但是此種實現決定不應該被解釋為導致脫離本案的範疇。熟習此項技術者亦將容易認識到，本文描述的元件、方法或互動的順序或組合僅僅是實例，並且本案的各個態樣的元件、方法或互動可以以不同於本文說明和描述的方式來組合或執行。
結合本文揭示的實現方式描述的各種示例性邏輯、邏輯區塊、模組、電路和演算法過程可以實現為電子硬體、電腦軟體或兩者的組合。硬體和軟體的可互換性已經在功能態樣進行了一般描述，並且在上述各種說明性元件、方塊、模組、電路和過程中進行了說明。此種功能是用硬體還是用軟體實現取決於特定的應用和對整體系統的設計約束。
用於實現結合本文揭示的態樣描述的各種說明性邏輯、邏輯區塊、模組和電路的硬體和資料處理裝置可以用通用單晶片或多晶片處理器、數位信號處理器（DSP）、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）或其他可程式設計邏輯設備、個別閘門或電晶體邏輯、個別硬體元件或設計成執行本文描述的功能的其任意組合來實現或執行。通用處理器可以是微處理器，或者任何習知的處理器、控制器、微控制器或狀態機。在一些實現方式中，處理器可以被實現為計算設備的組合，例如DSP和微處理器的組合、複數個微處理器、一或多個微處理器與DSP核心的結合，或者任何其他此種配置。在一些實施方式中，特定的過程和方法可以由特定於給定功能的電路系統來執行。
在一或多個態樣，所描述的功能可以在硬體、數位電子電路系統、電腦軟體、韌體中實現，包括本說明書中揭示的結構及其結構均等物，或者其任意組合。本說明書中描述的標的的實現亦可以實現為一或多個電腦程式，亦即編碼在電腦儲存媒體上的電腦程式指令的一或多個模組，用於由資料處理裝置執行或控制資料處理裝置的操作。
若以軟體實現，該等功能可以作為電腦可讀取媒體上的一或多個指令或代碼來儲存或傳輸。本文揭示的方法或演算法的過程可以在處理器可執行的軟體模組中實現，該軟體模組可以常駐在電腦可讀取媒體上。電腦可讀取媒體包括電腦儲存媒體和通訊媒體，包括能夠將電腦程式從一個地方傳輸到另一個地方的任何媒體。儲存媒體可以是可由電腦存取的任何可用媒體。作為實例而非限制，此種電腦可讀取媒體可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、CD-ROM或其他光碟儲存、磁碟儲存或其他磁儲存設備，或者可以用於儲存指令或資料結構形式的期望程式碼並且可以由電腦存取的任何其他媒體。同樣，任何連接皆可以被恰當地稱為電腦可讀取媒體。此處使用的磁碟和光碟包括壓縮光碟（CD）、鐳射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常磁性地再現資料，而光碟用鐳射光學地再現資料。上述的組合亦應該包括在電腦可讀取媒體的範疇內。此外，方法或演算法的操作可以作為一個或任意組合或一組代碼和指令常駐在機器可讀取媒體和電腦可讀取媒體上，其可以併入電腦程式產品中。
對本案中描述的實施方式的各種修改對於熟習此項技術者而言是顯而易見的，並且在不脫離本案的精神或範疇的情況下，此處定義的一般原理可以應用於一些其他實施方式。因此，請求項不意欲限於本文所示的實施方式，而是符合與本案、本文揭示的原理和新穎特徵一致的最寬範疇。
此外，一般技術者將容易理解，術語「上」和「下」有時是為了便於描述附圖而使用的，並且表示對應於正確定向的頁面上的附圖定向的相對位置，並且可能不反映所實現的任何設備的正確定向。
本說明書中在獨立實現的上下文中描述的某些特徵亦可以在單個實現中組合實現。相反，在單個實施方式的上下文中描述的各種特徵亦可以在多個實施方式中單獨實現或者在任何合適的子組合中實現。此外，儘管特徵可能在上文被描述為在某些組合中起作用，並且甚至最初被如此主張保護，但是來自所主張保護的組合的一或多個特徵在一些情況下可以從該組合中被刪除，並且所主張保護的組合可以針對子組合或子組合的變體。
類似地，儘管在附圖中以特定的順序描述了操作，但是此舉不應該被理解為要求該等操作以所示的特定順序或次序執行，或者要求所有圖示的操作皆被執行，以獲得期望的結果。此外，附圖可以以流程圖的形式示意性地圖示一或多個示例性過程。然而，未圖示的其他操作可以併入示意性圖示的示例性過程中。例如，可以在任何所示操作之前、之後、同時或之間執行一或多個附加操作。在某些情況下，多工和並行處理可能是有利的。此外，上述實現中的各種系統元件的分離不應該被理解為在所有實現中皆需要此種分離，並且應該理解，所描述的程式元件和系統通常可以一起整合在單個軟體產品中或者打包到多個軟體產品中。此外，一些其他實現亦在所附請求項的範疇內。在一些情況下，請求項中所述的動作可以以不同的次序執行，並且仍然可以獲得期望的結果。
如在此使用的，包括在請求項中，當在兩個或多個項目的列表中使用時，術語「或」意味著所列出的項目中的任何一個可以單獨使用，或者可以使用所列出的項目中的兩個或多個的任何組合。例如，若組合物被描述為包含組分A、B或C，則該組合物可以僅包含A；單獨B；單獨C；A和B的組合；A和C的組合；B和C的組合；或者A、B和C的組合。此外，如本文所用，包括在請求項中，在以「至少一個」開頭的項目列表中使用的「或」表示分離列表，使得例如「A、B或C中的至少一個」的列表意味著A或B或C或AB或AC或BC或ABC（亦即A和B和C）或其任何組合中的任何一個。術語「基本上」被定義為很大程度上但不一定完全是所指定的（並且包括所指定的；例如，基本上90度包括90度，基本上平行包括平行），如一般技術者所理解的。在任何揭示的實施方式中，術語「基本上」可以用「在指定的範圍內[百分比]來代替，其中百分比包括0.1%、1%、5%或10%。
提供本案的前述描述是為了使任何熟習此項技術者能夠製造或使用本案。對本案的各種修改對於熟習此項技術者而言將是顯而易見的，並且在不脫離本案的精神或範疇的情況下，本文定義的一般原理可以應用於其他變型。因此，本案不意欲限於本文描述的實例和設計，而是符合與本文揭示的原理和新穎特徵一致的最寬範疇。
100:設備 101:第一圖像感測器 102:第二圖像感測器 104:處理器 104A:通用處理器核心 106:記憶體 108:指令 112:圖像信號處理器 114:顯示器 116:I/O元件 118:電源 124:人工智慧（AI）引擎 131:第一鏡頭 132:第二鏡頭 133:AF演算法 134:AEC 135:IFE 136:IPE 140:深度感測器 150:感測器集線器 152:WAN配接器 153:LAN配接器 154:PAN配接器 200:圖像訊框 202:第一物件 204:第二物件 302:方塊 306:方塊 308:方塊 310:方塊 312:方塊 314:方塊 316:方塊 320:位置 330:輸出圖像訊框 402:感興趣區域 404:感興趣區域 410:第一圖像訊框 412:第二圖像訊框 422:圖像校正模組 424:ROI分析模組 430:經校正的第一圖像訊框 500:方法 502:方塊 504:方塊 506:方塊 600:方法 602:方塊 604:方塊 606:方塊 608:方塊 610:方塊 612:方塊 614:方塊 710:多訊框景深（MF-DOF）操作 712:方塊 714:基於AI的圖像處理 716:基於AI的去模糊演算法 720:經校正的第一圖像訊框
經由參考以下附圖，可以實現對本案的本質和優點的進一步理解。在附圖中，相似的元件或特徵可以具有相同的元件符號。此外，相同類型的各種元件可以經由在參考標記之後加上破折號和第二標記來區分，第二標記用於區分相似的元件。若在說明書中僅使用第一元件符號，則該描述適用於具有相同第一元件符號的任何一個類似元件，而不管第二元件符號如何。
圖1圖示用於從一或多個圖像感測器執行圖像擷取的示例性設備的方塊圖。
圖2是圖示在不同焦距處的兩個面部的場景的圖示。
圖3是圖示根據一或多個態樣的用於處理具有兩個或更多個ROI的圖像的方法的方塊圖。
圖4是圖示根據一或多個態樣處理多個圖像訊框以增加圖像訊框中的焦深的方塊圖。
圖5是圖示根據一或多個態樣用於處理具有兩個或更多個ROI的圖像的方法的流程圖。
圖6是圖示根據一或多個態樣使用對比度操作處理具有兩個或更多個ROI的圖像的方法的流程圖。
圖7是圖示根據一或多個態樣利用基於AI的去模糊來處理具有兩個或更多個ROI的圖像的方法的方塊圖。
不同附圖中相同的元件符號和名稱表示相同的元件。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
202:第一物件
204:第二物件
302:方塊
306:方塊
308:方塊
310:方塊
312:方塊
314:方塊
316:方塊
320:位置
330:輸出圖像訊框

Claims (34)

  1. 一種方法，包括以下步驟： 接收表示在一第一焦距處擷取的一場景的一第一圖像訊框； 接收表示在不同於該第一焦距的一第二焦距處擷取的該場景的一第二圖像訊框； 決定一相應的感興趣區域集合，包括該第一圖像訊框中的一第一感興趣區域和該第二圖像訊框中的一第二感興趣區域； 基於該第一感興趣區域與該第二感興趣區域的一比較來決定一值；及 基於該第一圖像訊框和該值來決定一經校正的第一圖像訊框。
  2. 根據請求項1所述之方法，亦包括以下步驟： 決定該第一感興趣區域和該第二感興趣區域中的一第一面部；及 決定一第三感興趣區域中的一第二面部， 其中決定該經校正的第一圖像訊框之步驟包括以下步驟：增加該第一面部的細節，使得該第一面部和該第二面部在該經校正的第一圖像訊框中出現焦點對準。
  3. 根據請求項1所述之方法，其中： 決定該值之步驟包括以下步驟：決定該第一感興趣區域和該第二感興趣區域之間的一局部梯度差；並且 決定該經校正的第一圖像訊框之步驟包括以下步驟：基於該局部梯度差對該第一圖像訊框的該第一感興趣區域執行一對比度操作。
  4. 根據請求項3所述之方法，其中執行該對比度操作保持該第一圖像訊框的一亮度。
  5. 根據請求項1所述之方法，其中決定該經校正的第一圖像訊框之步驟包括以下步驟：執行一基於人工智慧的操作。
  6. 根據請求項1所述之方法，亦包括以下步驟： 決定該第一感興趣區域和該第二感興趣區域之間的一對準差異， 其中決定該值是基於該對準差異。
  7. 根據請求項6所述之方法，其中決定該對準差異之步驟包括以下步驟：決定在該第一圖像訊框中辨識的一物件從該第一圖像訊框中的一第一位置到該第二圖像訊框中的一第二位置的一運動。
  8. 根據請求項1所述之方法，亦包括以下步驟： 決定該第一圖像訊框中感興趣區域的一數量， 其中執行接收該第二圖像訊框、決定該值和決定該經校正的第一圖像訊框的該等操作是基於該感興趣區域的數量大於1。
  9. 根據請求項8所述之方法，其中決定該第一圖像訊框中該感興趣區域的數量之步驟包括以下步驟：偵測該第一圖像訊框中的面部。
  10. 根據請求項1所述之方法，其中： 該第一焦距與該第一感興趣區域和該第二感興趣區域中的一第一面部相關聯；並且 該第二焦距與一第三感興趣區域中的一不同的第二面部相關聯。
  11. 根據請求項10所述之方法，其中該第一焦距是該第一感興趣區域中的該第一面部和該第三感興趣區域中的該第二面部之間的一位置，並且其中該第二焦距是該第二面部的一焦距。
  12. 根據請求項1所述之方法，其中決定該經校正的第一圖像訊框不是基於將該第二圖像訊框的任何部分與該第一圖像訊框組合。
  13. 一種裝置，包括： 儲存處理器可讀取代碼的一記憶體；和 耦合到該記憶體的至少一個處理器，該至少一個處理器被配置為執行該處理器可讀取代碼以使得該至少一個處理器執行包括以下的操作： 接收表示在一第一焦距處擷取的一場景的一第一圖像訊框； 接收表示在不同於該第一焦距的一第二焦距處擷取的該場景的一第二圖像訊框； 決定一相應的感興趣區域集合，包括該第一圖像訊框中的一第一感興趣區域和該第二圖像訊框中的一第二感興趣區域； 基於該第一感興趣區域與該第二感興趣區域的一比較來決定一值；及 基於該第一圖像訊框和該值來決定一經校正的第一圖像訊框。
  14. 根據請求項13所述之裝置，其中該至少一個處理器亦被配置為執行該處理器可讀取代碼，以使得該至少一個處理器執行包括以下的操作： 決定該第一感興趣區域和該第二感興趣區域中的一第一面部；及 決定一第三感興趣區域中的一第二面部， 其中決定該經校正的第一圖像訊框包括增加該第一面部的細節，使得該第一面部和該第二面部在該經校正的第一圖像訊框中出現焦點對準。
  15. 根據請求項13所述之裝置，其中： 決定該值包括決定該第一感興趣區域和該第二感興趣區域之間的一局部梯度差；並且 決定該經校正的第一圖像訊框包括基於該局部梯度差對該第一圖像訊框的該第一感興趣區域執行一對比度操作。
  16. 根據請求項15所述之裝置，其中執行該對比度操作保持該第一圖像訊框的一亮度。
  17. 根據請求項13所述之裝置，其中決定該經校正的第一圖像訊框包括執行一基於人工智慧的操作。
  18. 根據請求項13所述之裝置，其中該至少一個處理器被配置為執行該處理器可讀取代碼，以使得該至少一個處理器執行包括以下的進一步的操作： 決定該第一感興趣區域和該第二感興趣區域之間的一對準差異， 其中決定一值是基於該對準差異。
  19. 根據請求項18所述之裝置，其中決定該對準差異包括決定在該第一圖像訊框中辨識的一物件從該第一圖像訊框中的一第一位置到該第二圖像訊框中的一第二位置的一運動。
  20. 根據請求項13所述之裝置，其中該至少一個處理器被配置為執行該處理器可讀取代碼，以使得該至少一個處理器執行包括以下的進一步的操作： 決定該第一圖像訊框中感興趣區域的一數量， 其中執行接收該第二圖像訊框、決定該值和決定該經校正的第一圖像訊框的該等操作是基於該感興趣區域的數量大於1。
  21. 根據請求項20所述之裝置，其中決定該第一圖像訊框中的該感興趣區域的數量包括偵測該第一圖像訊框中的面部。
  22. 根據請求項13所述之裝置，其中： 該第一焦距與該第一感興趣區域和該第二感興趣區域中的一第一面部相關聯；並且 該第二焦距與一第三感興趣區域中的一不同的第二面部相關聯。
  23. 根據請求項22所述之裝置，其中該第一焦距是該第一感興趣區域中的該第一面部與該第三感興趣區域中的該第二面部之間的一位置，並且其中該第二焦距是該第二面部的一焦距。
  24. 根據請求項13所述之裝置，其中決定該經校正的第一圖像訊框不是基於將該第二圖像訊框的任何部分與該第一圖像訊框組合。
  25. 根據請求項13所述之裝置，亦包括： 一相機，包括一圖像感測器和一鏡頭， 其中該至少一個處理器耦合到該相機，並且被配置為執行包括以下的操作： 控制該相機在該第一焦距處擷取該第一圖像訊框； 決定該第一圖像訊框中一第一面部和一第二面部的一存在；及 基於決定該第一圖像訊框中該第一面部和該第二面部的該存在，控制該相機在該第二焦距處擷取該第二圖像訊框。
  26. 根據請求項13所述之裝置，其中該至少一個處理器包括一圖像信號處理器（ISP）。
  27. 一種儲存指令的非暫時性電腦可讀取媒體，該等指令在由一處理器執行時，使得該處理器執行包括以下的操作： 接收表示在一第一焦距處擷取的一場景的一第一圖像訊框； 接收表示在不同於該第一焦距的一第二焦距處擷取的該場景的一第二圖像訊框； 決定一相應的感興趣區域集合，包括該第一圖像訊框中的一第一感興趣區域和該第二圖像訊框中的一第二感興趣區域； 基於該第一感興趣區域與該第二感興趣區域的一比較來決定一值；及 基於該第一圖像訊框和該值來決定一經校正的第一圖像訊框。
  28. 根據請求項27所述之非暫時性電腦可讀取媒體，其中該等指令在由該處理器執行時使得該處理器執行包括以下的進一步的操作： 決定該第一感興趣區域和該第二感興趣區域中的一第一面部；及 決定一第三感興趣區域中的一第二面部， 其中決定該經校正的第一圖像訊框包括增加該第一面部的細節，使得該第一面部和該第二面部在該經校正的第一圖像訊框中出現焦點對準。
  29. 根據請求項27所述之非暫時性電腦可讀取媒體，其中： 決定該值包括決定該第一感興趣區域和該第二感興趣區域之間的一局部梯度差；並且 決定該經校正的第一圖像訊框包括基於該局部梯度差對該第一圖像訊框的該第一感興趣區域執行一對比度操作。
  30. 根據請求項27所述之非暫時性電腦可讀取媒體，其中該等指令在由該處理器執行時使得該處理器執行包括以下的進一步的操作： 決定該第一圖像訊框中感興趣區域的一數量， 其中執行接收該第二圖像訊框、決定該值和決定該經校正的第一圖像訊框的該等操作是基於該感興趣區域的數量大於1。
  31. 一種裝置，包括： 一相機，包括一圖像感測器和一鏡頭； 一記憶體，儲存處理器可讀取代碼；和 至少一個處理器，耦合到該記憶體和該相機，該至少一個處理器被配置為執行該處理器可讀取代碼以使得該至少一個處理器執行包括以下的操作： 控制該相機以獲得表示在一第一焦距處擷取的一場景的一第一圖像訊框； 決定該第一圖像訊框包括與該第一焦距相關聯的一第一面部和與一第二焦距相關聯的一第二面部； 控制該相機以獲得表示在該第一焦距和該第二焦距之間的一第三焦距處擷取的該場景的一第二圖像訊框； 控制該相機以獲得表示在該第二焦距處擷取的該場景的一第三圖像訊框； 決定一相應的感興趣區域集合，該感興趣區域集合包括與該第一面部相關聯的該第二圖像訊框中的一第一感興趣區域和與該第一面部相關聯的該第三圖像訊框中的一第二感興趣區域； 基於該第一感興趣區域與該第二感興趣區域的一比較來決定一值；及 基於該第二圖像訊框和該值來決定一經校正的圖像訊框。
  32. 根據請求項31所述之裝置，其中決定該經校正的圖像訊框包括對該第二圖像訊框的該第一感興趣區域執行一對比度增強操作。
  33. 根據請求項32所述之裝置，其中對該第二圖像訊框的該第一感興趣區域執行該對比度增強操作是基於對應於該值的一強度。
  34. 根據請求項31所述之裝置，其中決定該經校正的圖像訊框包括對該第二圖像訊框的該第一感興趣區域執行一基於人工智慧的操作。
TW111124935A 2021-07-06 2022-07-04 選擇性地增加具有多個感興趣區域的場景中的景深 TW202307791A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163218804P 2021-07-06 2021-07-06
US63/218,804 2021-07-06
US17/645,688 US11863881B2 (en) 2021-07-06 2021-12-22 Selectively increasing depth-of-field in scenes with multiple regions of interest
US17/645,688 2021-12-22

Publications (1)

Publication Number Publication Date
TW202307791A true TW202307791A (zh) 2023-02-16

Family

ID=82748719

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111124935A TW202307791A (zh) 2021-07-06 2022-07-04 選擇性地增加具有多個感興趣區域的場景中的景深

Country Status (5)

Country Link
EP (1) EP4367630A1 (zh)
KR (1) KR20240031246A (zh)
BR (1) BR112023027424A2 (zh)
TW (1) TW202307791A (zh)
WO (1) WO2023283540A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116630220B (zh) * 2023-07-25 2023-11-21 江苏美克医学技术有限公司 一种荧光图像景深融合成像方法、装置及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8682097B2 (en) * 2006-02-14 2014-03-25 DigitalOptics Corporation Europe Limited Digital image enhancement with reference images
CN105100579B (zh) * 2014-05-09 2018-12-07 华为技术有限公司 一种图像数据的采集处理方法及相关装置

Also Published As

Publication number Publication date
WO2023283540A1 (en) 2023-01-12
BR112023027424A2 (pt) 2024-03-12
KR20240031246A (ko) 2024-03-07
EP4367630A1 (en) 2024-05-15

Similar Documents

Publication Publication Date Title
KR20230098575A (ko) 프레임 프로세싱 및/또는 캡처 명령 시스템들 및 기법들
TW202305739A (zh) 用於改良的場景完整性的時間濾波重新啟動
TW202307791A (zh) 選擇性地增加具有多個感興趣區域的場景中的景深
WO2023164422A1 (en) Multi-frame auto exposure control (aec)
WO2023124202A1 (zh) 图像处理方法与电子设备
TW202327344A (zh) 用於高動態範圍（ｈｄｒ）攝影中的並行訊框擷取的圖像感測器和資料處理
US11863881B2 (en) Selectively increasing depth-of-field in scenes with multiple regions of interest
CN117616449A (zh) 选择性地增加具有多个感兴趣区域的场景中的景深
US11843858B1 (en) Machine learning for phase detection autofocus
WO2023178656A1 (en) Multi-camera alignment using region of interest (roi) refinement
US11727537B1 (en) Bokeh effect in variable aperture (VA) camera systems
US20240046477A1 (en) Variable aperture (va) camera control for controlling a depth of focus
US20230319401A1 (en) Image capture using dynamic lens positions
WO2023216089A1 (en) Camera transition for image capture devices with variable aperture capability
US20240007757A1 (en) Image processing for aperture size transition in a variable aperture (va) camera
US20230412922A1 (en) Dynamic image capture device configuration for improved image stabilization
TW202325010A (zh) 用於降噪的級聯影像處理
WO2023178588A1 (en) Capturing images using variable aperture imaging devices
US20240022827A1 (en) High dynamic range (hdr) photography using multiple frame rates
WO2023178464A1 (en) Lens shading correction (lsc) in variable aperture (va) camera systems
TW202312726A (zh) 自動聚焦（ａｆ）和自動曝光控制（ａｅｃ）協調
TW202320540A (zh) 使用顏色陣列的非整數比率變換的圖像資料處理
WO2023250261A1 (en) Dynamic image capture device configuration for improved image stabilization
TW202345573A (zh) 定向增強的自動白平衡（ａｗｂ）收斂