TW202345086A - 可變光圈（ｖａ）相機系統中的散景效果 - Google Patents

可變光圈（ｖａ）相機系統中的散景效果 Download PDF

Info

Publication number
TW202345086A
TW202345086A TW112109734A TW112109734A TW202345086A TW 202345086 A TW202345086 A TW 202345086A TW 112109734 A TW112109734 A TW 112109734A TW 112109734 A TW112109734 A TW 112109734A TW 202345086 A TW202345086 A TW 202345086A
Authority
TW
Taiwan
Prior art keywords
image data
determining
blur
map
image
Prior art date
Application number
TW112109734A
Other languages
English (en)
Inventor
馮文春
高惠姍
劉凱
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202345086A publication Critical patent/TW202345086A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10148—Varying focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20012—Locally adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)

Abstract

本案提供了用於影像處理的系統、方法和設備，其支援在影像處理中應用的增強的影像效果，諸如散景效果。在第一態樣中，一種影像處理方法包括基於在不同光圈大小下擷取的第一影像資料和第二影像資料決定與第一場景相對應的深度圖；基於深度圖和不同於第一光圈大小和第二光圈大小的模擬光圈大小決定焦點圖；及基於焦點圖、第一影像資料和第二影像資料決定輸出影像訊框。亦主張和描述了其他態樣和特徵。

Description

可變光圈（VA）相機系統中的散景效果
本專利申請案主張2022年3月24日提出申請的第17/656,361號美國專利申請案的權益，該專利申請案的標題為「可變光圈（VA）相機系統中的散景效果」，其全文經由引用之方式明確併入本文。
本案的各態樣大體而言係關於影像處理，更特定言之，係關於將效果應用於擷取的影像資料，諸如複製散景（bokeh）效果的背景模糊。一些特徵可以實現並提供改良的影像處理，包括具有多個深度的物件的場景中的主體和物件的照片的改良外觀。
影像擷取設備是可以擷取一或多個數位影像的設備，無論是照片的靜止影像還是視訊的影像序列。擷取設備可以被合併入各種各樣的設備中。舉例而言，影像擷取設備可以包括獨立的數位相機或數位視訊攝像機、配備有相機的無線通訊設備手機，諸如行動電話、蜂巢式或衛星無線電電話、個人數位助理（PDAs）、面板或平板電腦、遊戲設備、諸如網路攝像頭的電腦設備、視訊監視相機或具有數位成像或視訊能力的其他設備。
在某些場景中，攝影師可能希望將觀眾的焦點引導到場景的一部分。例如，在人像照片中，攝影師可能希望觀眾將注意力集中在該人身上，而不是其他風景。攝影師可以為此種照片選擇較低光圈鏡頭，因為較低光圈導致與人不同深度的物件明顯模糊。更低光圈鏡頭比更高光圈鏡頭產生更高的模糊。然而，更低光圈的鏡頭通常大小更大，並且由更高成本的材料製成。
下文總結了本案的一些態樣以提供對所論述技術的基本理解。該概述不是本案所有預期特徵的廣泛概述，並且既不意欲識別本案所有態樣的關鍵或重要元素，亦不意欲描述本案任何或所有態樣的範圍。其唯一目的是以概述形式呈現本案的一或多個態樣的一些概念，作為稍後呈現的更詳細描述的序言。
計算攝影可以用於處理影像資料並將效果應用於場景，諸如應用散景效果，模擬通常使用低光圈鏡頭出現的模糊。在可變光圈（VA）相機系統中，可能希望以不同於VA相機系統中可用的光圈大小進行模糊。可以應用影像處理來獲得不同於VA相機系統中可用的光圈大小或者不同於用於擷取影像資料的光圈大小。照片上的視覺效果，諸如複製散景效果的模糊，可以經由基於藉由控制VA相機系統的光圈以多種光圈大小擷取的影像資料的影像處理來應用。
在本案的一個態樣中，一種影像處理方法，包括接收以第一光圈大小擷取的第一影像資料和以第二光圈大小擷取的第二影像資料，第一影像資料和第二影像資料中的每一者表示第一場景；基於第一影像資料和第二影像資料決定與第一場景相對應的深度圖，該深度圖包括指示記錄第一影像資料的影像感測器和第一場景中的物件之間的距離的第一值；基於深度圖和不同於第一光圈大小和第二光圈大小的模擬光圈大小決定焦點圖，該焦點圖包括指示對於記錄第一影像資料的影像感測器和第一場景中的物件之間的相應距離的、在模擬光圈大小下的模糊量的第二值；及基於焦點圖、第一影像資料和第二影像資料決定輸出影像訊框。
在本案的另一態樣中，一種裝置包括至少一個處理器和耦合到該至少一個處理器的記憶體。該至少一個處理器被配置為執行操作，該操作包括接收以第一光圈大小擷取的第一影像資料和以第二光圈大小擷取的第二影像資料，第一影像資料和第二影像資料中的每一者表示第一場景；基於第一影像資料和第二影像資料決定與第一場景相對應的深度圖，該深度圖包括指示記錄第一影像資料的影像感測器和第一場景中的物件之間的距離的第一值；基於深度圖和不同於第一光圈大小和第二光圈大小的模擬光圈大小決定焦點圖，該焦點圖包括指示對於記錄第一影像資料的影像感測器和第一場景中的物件之間的相應距離的、在模擬光圈大小下的模糊量的第二值；及基於焦點圖、第一影像資料和第二影像資料決定輸出影像訊框。
在本案的另一態樣中，一種裝置包括用於接收以第一光圈大小擷取的第一影像資料和以第二光圈大小擷取的第二影像資料的構件，第一影像資料和第二影像資料中的每一者表示第一場景；用於基於第一影像資料和第二影像資料決定與第一場景相對應的深度圖的構件，該深度圖包括指示記錄第一影像資料的影像感測器和第一場景中的物件之間的距離的第一值；用於基於深度圖和不同於第一光圈大小和第二光圈大小的模擬光圈大小決定焦點圖的構件，該焦點圖包括指示對於記錄第一影像資料的影像感測器和第一場景中的物件之間的相應距離的、在模擬光圈大小下的模糊量的第二值；及用於基於焦點圖、第一影像資料和第二影像資料決定輸出影像訊框的構件。
在本案的另一態樣中，非暫態電腦可讀取媒體儲存指令，當處理器執行指令時，使處理器執行操作。該操作包括接收以第一光圈大小擷取的第一影像資料和以第二光圈大小擷取的第二影像資料，第一影像資料和第二影像資料中的每一者表示第一場景；基於第一影像資料和第二影像資料決定與第一場景相對應的深度圖，該深度圖包括指示記錄第一影像資料的影像感測器和第一場景中的物件之間的距離的第一值；基於深度圖和不同於第一光圈大小和第二光圈大小的模擬光圈大小決定焦點圖，該焦點圖包括指示對於記錄第一影像資料的影像感測器和第一場景中的物件之間的相應距離的、在模擬光圈大小下的模糊量的第二值；及基於焦點圖、第一影像資料和第二影像資料決定輸出影像訊框。
影像擷取設備，可以擷取一或多個數位影像的設備，無論是靜止影像照片還是視訊影像序列，可以合併入多種設備中。舉例而言，影像擷取設備可以包括獨立的數位相機或數位視訊攝像機、配備有相機的無線通訊設備手持機，諸如行動電話、蜂巢式或衛星無線電電話、個人數位助理（PDAs）、面板或平板電腦、遊戲設備、諸如網路攝像頭的電腦設備、視訊監視相機或具有數位成像或視訊能力的其他設備。
通常，本案描述了涉及具有影像感測器和影像信號處理器（ISPs）的數位相機的影像處理技術。ISP可以被配置為控制來自一或多個影像感測器的影像訊框的擷取，並處理來自一或多個影像感測器的一或多個影像訊框，以產生經校正的影像訊框中的場景視圖。經校正的影像訊框可以是形成視訊序列的影像訊框序列的一部分。視訊序列可以包括從影像感測器或其他影像感測器接收的其他影像訊框及/或基於來自影像感測器或另一影像感測器的輸入的其他校正的影像訊框。在一些實施例中，一或多個影像訊框的處理可以在影像感測器內執行，諸如在合併模組中。本文揭示的實施例中描述的影像處理技術可以由影像感測器中、影像信號處理器（ISP）中、應用處理器（AP）中或者該等元件中的兩個或全部的組合中的電路來執行，諸如合併模組。
在實例中，影像信號處理器可以接收指令以回應諸如相機應用的軟體的載入來擷取影像訊框序列，以從影像擷取設備產生預覽顯示。影像信號處理器可以被配置為基於從一或多個影像感測器接收的影像訊框來產生單個輸出訊框流。單個輸出訊框流可以包括來自影像感測器的原始影像資料、來自影像感測器的合併影像資料，或者由影像信號處理器內的一或多個演算法處理的校正影像訊框，例如在合併模組中。例如，從影像感測器獲得的影像訊框可以在輸出到影像信號處理器之前對資料執行一些處理，經由影像後處理引擎（IPE）及/或用於執行音調映射、人像照明、對比度增強、伽馬校正等中的一或多個的其他影像處理電路來處理影像訊框，從而在影像信號處理器中對影像訊框進行處理。
在影像信號處理器使用影像校正決定表示場景的輸出訊框後，諸如本文各實施例中該的合併，輸出訊框可以作為單個靜止影像及/或視訊序列的一部分顯示在設備顯示器上，作為圖片或視訊序列保存在儲存設備中，經由網路傳輸，及/或列印到輸出媒體。例如，影像信號處理器可以被配置為從不同影像感測器獲得影像資料（例如，圖元值）的輸入訊框，並且進而產生相應的影像資料的輸出訊框（例如，預覽顯示訊框、靜止影像擷取、視訊訊框、物件追蹤訊框等）。在其他實例中，影像信號處理器可以將影像資料的訊框輸出到各種輸出設備及/或相機模組以供進一步處理，諸如用於3A參數同步（例如，自動聚焦（AF）、自動白平衡（AWB）和自動曝光控制（AEC））、經由輸出訊框產生視訊檔案、配置用於顯示的訊框、配置用於儲存的訊框、經由網路連接傳輸訊框等。亦即，影像信號處理器可以從一或多個影像感測器獲得輸入訊框，每個影像感測器耦合到一或多個相機鏡頭，並且進而可以產生輸出訊框流並將其輸出到各個輸出目的地。
在某些態樣中，可以藉由將本案的影像校正態樣與諸如高動態範圍（HDR）攝影或多訊框降噪（MFNR）的其他計算攝影技術組合，來產生校正影像訊框。利用HDR攝影，使用不同的曝光時間、不同的光圈、不同的鏡頭及/或其他特性來擷取第一影像訊框和第二影像訊框，當兩個影像訊框被組合時，該等特性可以導致融合影像的動態範圍的改良。在一些態樣中，可以針對MFNR攝影來執行該方法，其中使用相同或不同的曝光時間來擷取第一影像訊框和第二影像訊框，並將其融合以產生與擷取的第一影像訊框相比雜訊減少的經校正的第一影像訊框。
在一些態樣中，設備可以包括影像信號處理器或包括用於相機控制及/或處理的特定功能的處理器（例如，應用處理器），諸如賦能或去能合併模組或以其他方式控制影像校正的態樣。本文描述的方法和技術可以完全由影像信號處理器或一個處理器來執行，或者各種操作可以在影像信號處理器和一個處理器之間分離，並且在一些態樣中可以在附加的處理器之間分離。
該裝置可以包括一個、兩個或兩個以上影像感測器，諸如包括第一影像感測器。當存在多個影像感測器時，第一影像感測器可以具有比第二影像感測器更大的視場（FOV），或者第一影像感測器可以具有與第二影像感測器不同的靈敏度或不同的動態範圍。在一個實例中，第一影像感測器可以是廣角影像感測器，並且第二影像感測器可以是長焦影像感測器。在另一實例中，第一感測器被配置為經由具有第一光軸的第一鏡頭獲得影像，並且第二感測器被配置為經由具有不同於第一光軸的第二光軸的第二鏡頭獲得影像。另外地或替代地，第一鏡頭可以具有第一放大率，並且第二鏡頭可以具有不同於第一放大率的第二放大率。此種配置可以發生在行動設備上的鏡頭群集中，諸如多個影像感測器和相關聯的鏡頭位於行動裝置的前側或後側的偏移位置。附加影像感測器可以包括具有更大、更小或相同視場。本文描述的影像校正技術可以應用於從多感測器設備中的任何影像感測器擷取的影像訊框。
在本案的另一態樣中，揭示一種用於影像處理及/或影像擷取的設備。該裝置包括用於擷取影像訊框的構件。該裝置進一步包括一或多個用於擷取表示場景的資料的構件，例如影像感測器（包括電荷耦合識別（CCDs）、拜爾濾波器感測器、紅外線（IR）偵測器、紫外線（UV）偵測器、互補金屬氧化物半導體（CMOS）感測器）、飛行時間偵測器。該裝置進一步可以包括一或多個用於將光線累積及/或聚焦到一或多個影像感測器中的構件（包括簡單鏡頭、複合鏡頭、球面鏡頭和非球面鏡頭）。可以控制該等元件來擷取輸入到本文所述的影像處理技術的第一及/或第二影像訊框。
在結合附圖審閱特定示例性態樣的以下描述後，其他態樣、特徵和實施方式對於本領域一般技藝人士將變得清晰。儘管可以相對於下文的某些態樣和附圖來論述特徵，但是各個態樣可以包括本文論述的一或多個有利特徵。換言之，儘管一或多個態樣可以被論述為具有某些有利的特徵，但是根據各個態樣亦可以使用一或多個此種特徵。以類似的方式，儘管示例性態樣可以在下文作為設備、系統或方法態樣來論述，但是示例性態樣可以在各種設備、系統和方法中實現。
該方法可以作為電腦程式代碼嵌入電腦可讀取媒體中，該電腦程式代碼包括使處理器執行該方法步驟的指令。在一些實施例中，處理器可以是包括第一網路配接器的行動設備的一部分，第一網路配接器被配置為經由複數個網路連接中的第一網路連接來傳輸資料，諸如作為記錄或串流資料的影像或視訊；及耦合到第一網路配接器和記憶體的處理器。該處理器可以經由諸如5G NR通訊網路的無線通訊網路傳輸本文所述的校正影像訊框。
上文已經相當廣泛地概述了本案的實例的特徵和技術優勢，以便更好地理解下文的詳細說明。下文將描述附加的特徵和優點。所揭示的概念和具體實例可以容易地用作修改或設計用於實現本案的相同目的的其他結構的基礎。此種等同的構造不脫離所附請求項的範圍。當結合附圖考慮時，從下文的描述中將更好地理解本文揭示的概念的特徵、其組織和操作方法以及相關的優點。每個附圖皆是為了說明和描述的目的而提供的，而不是作為對請求項的限制的定義。
儘管在本案中經由對一些實例的說明來描述各態樣和實施方式，但是本領域技藝人士將理解，在許多不同的佈置和場景中可以出現附加的實施方式和用例。本文描述的創新可以跨許多不同的平臺類型、設備、系統、形狀、大小、包裝佈置來實現。例如，態樣及/或使用可以經由積體晶片實現和其他基於非模組元件的設備（例如，終端使用者設備、車輛、通訊設備、計算設備、工業裝備、零售/購買設備、醫療設備、賦能人工智慧（AI）的設備等）來實現。儘管一些實例可能或可能不具體針對用例或應用，但是所描述的創新的廣泛的適用性可能會出現。實施方式的範圍可以從晶片級或模組化元件到非模組化、非晶片級實施方式，並且進一步到併入了所描述的創新的一或多個態樣的集合、分散式或原始設備製造商（OEM）設備或系統。在一些實際設置中，併入了所描述的態樣和特徵的設備亦可能必須包括用於實現和實踐所主張和描述的態樣的附加元件和特徵。例如，無線信號的傳輸和接收必須包括用於類比和數位目的的多個元件（例如，包括天線、射頻（RF）鏈、功率放大器、調制器、緩衝器、處理器、交錯器、加法器/加法器等的硬體元件）。意欲本文描述的創新可以在各種大小、形狀和構造的多種設備、晶片級元件、系統、分散式佈置、終端使用者設備等中實踐。
下文結合附圖所述的詳細說明意欲說明各種配置，而非限制本發明的範圍。相反，為了提供對本案標的的透徹理解，詳細描述包括具體細節。對於本領域技藝人士來說清晰的是，該等具體細節並不是在每種情況下皆是必需的，並且在某些情況下，為了表述清楚，眾所周知的結構和元件以方塊圖形式示出。
本案提供支援改良的影像處理的系統、裝置、方法和電腦可讀取媒體，用於將效果應用於由諸如可變光圈（VA）相機系統的相機系統擷取的影像資料。改良的影像處理可以使用以兩種（或更多種）不同光圈大小擷取的影像資料來產生焦點圖，該焦點圖可以與光圈大小的預定關係相結合，以將散景應用於由來自多種光圈大小的影像資料擷取的場景。
可以實施本案中描述的標的的特定實施方式，以實現以下潛在優勢或益處中的一或多個。在一些態樣中，本案提供了用於藉由產生更自然的效果來改良影像外觀的技術，諸如散景效果，其提供了與經由光學系統獲得的自然效果更相似的外觀。如此可以允許具有更小可用光圈大小的相機系統複製具有更大可用光圈大小的相機系統可獲得的攝影效果，更大可用光圈大小的相機系統通常更昂貴且更不便攜。
一種使用一或多個影像感測器擷取影像訊框的示例性設備，諸如智慧手機，可以在設備的背面（例如，與使用者顯示器相對的一側）或正面（例如，與使用者顯示器相同的一側）包括兩個、三個、四個或更多個相機的配置。具有多個影像感測器的設備包括一或多個影像信號處理器（ISPs）、電腦視覺處理器（CVPs）（例如，AI引擎），或者用於處理由影像感測器擷取的影像的其他合適的電路。一或多個影像信號處理器可以向記憶體及/或處理器（諸如應用處理器、影像前端（IFE）、影像處理引擎（IPE）或其他合適的處理電路）提供經處理的影像訊框，用於進一步處理，諸如編碼、儲存、傳輸或其他操縱。
如本文所用，影像感測器可以指影像感測器本身和連接到影像感測器的任何其他元件，用於產生影像訊框以供影像信號處理器或其他邏輯電路處理或儲存在記憶體中，無論是短期緩衝器還是長期非揮發性記憶體。例如，影像感測器可以包括相機的其他元件，包括快門、緩衝器或用於存取影像感測器的單獨圖元的其他讀出電路。影像感測器亦可以指用於將類比信號轉換成影像訊框的數位表示的類比前端或其他電路，該數位表示被提供給耦合到影像感測器的數位電路。
在下文的說明中，闡述了許多具體細節，諸如具體元件、電路和過程的實例，以提供對本案的全面理解。如本文使用的術語「耦合」意謂直接連接到或經由一或多個中間元件或電路連接。此外，在下文的說明中，出於解釋的目的，闡述了特定的命名以提供對本案的透徹理解。然而，對於本領域技藝人士來說清晰的是，該等具體細節可能不是實踐本文揭示的教示所必需的。在其他情況下，眾所周知的電路和設備以方塊圖形式示出，以避免模糊本案的教示。
以下詳細說明的一些部分以程序、邏輯區塊、處理和電腦記憶體內資料位元操作的其他符號表示形式呈現。在本案中，程序、邏輯區塊、過程等被認為是導致期望結果的自洽的步驟或指令序列。該等步驟需要對實體量進行實體操作。通常，儘管不是必須的，該等量採用能夠在電腦系統中儲存、傳輸、組合、比較和以其他方式操作的電或磁信號的形式。
在圖中，單個方塊可以被描述為執行一或多個功能。由該方塊執行的一或多個功能可以在單個元件中或跨多個元件來執行，及/或可以使用硬體、軟體或硬體和軟體的組合來執行。為了清楚地說明硬體和軟體的此種可互換性，各種說明性的元件、方塊、模組、電路和步驟一般按照其功能來描述。此種功能實現為硬體還是軟體取決於特定的應用和對整體系統的設計約束。本領域技藝人士可以針對每個特定的應用以不同的方式實現所描述的功能，但是此種實現決定不應該被解釋為導致脫離本案的範圍。此外，示例性設備可以包括除了所示元件之外的元件，包括眾所周知的元件，諸如處理器、記憶體等。
本案的各態樣適用於任何電子設備，包括或耦合到兩個或兩個以上能夠擷取影像訊框（或「訊框」）的影像感測器。此外，本案的態樣可以在具有或耦合到相同或不同能力和特性（例如解析度、快門速度、感測器類型等）的影像感測器的設備中實現。此外，本案的各態樣可以在用於處理影像訊框的設備中實現，無論該設備是否包括或耦合到影像感測器，諸如可以取得儲存的影像以供處理的處理設備，包括雲端計算系統中存在的處理設備。
除非另有具體說明，否則從以下論述中可以明顯看出，應理解，在本案中，使用諸如「存取」、「接收」、「發送」、「使用」、「選擇」、「決定」、「正規化」、「相乘」、「平均」、「監控」、「比較」、「應用」、「更新」、「量測」、「匯出」、「解決」、「產生」等術語的論述，是指電腦系統或類似電子計算設備的動作和過程，其將電腦系統的暫存器和記憶體中表示為實體（電子）量的資料操縱和轉換為電腦系統的暫存器和記憶體中類似表示為實體量的其他資料。
術語「裝置」和「設備」不限於一個或特定數量的實體物件（諸如一部智慧手機、一個相機控制器、一個處理系統等）。如本文所使用的，設備可以是具有一或多個部件的任何電子設備，該等部件可以實現本案的至少一些部分。儘管以下描述和實例使用術語「設備」來描述本案的各個態樣，但是術語「設備」不限於特定的配置、類型或物件數量。如本文所使用的，裝置可以包括用於執行所描述操作的設備或設備的一部分。
圖1圖示用於從一或多個影像感測器執行影像擷取的示例性設備100的方塊圖。設備100可以包括或以其他方式耦合到影像信號處理器112，用於處理來自一或多個影像感測器的影像訊框，諸如第一影像感測器101、第二影像感測器102和深度感測器140。在一些實施方式中，設備100亦包括或耦合到處理器104和儲存指令108的記憶體106。設備100亦可以包括或耦合到顯示器114和輸入/輸出（I/O）元件116。I/O元件116可以用於與使用者互動，諸如觸控式螢幕介面及/或實體按鈕。I/O元件116亦可以包括用於與其他設備通訊的網路介面，包括廣域網（WAN）配接器152、區域網路（LAN）配接器153及/或個人區域網路（PAN）配接器154。一個示例性WAN配接器是4G LTE或5G NR無線網路配接器。示例性LAN配接器153是IEEE 802.11 WiFi無線網路配接器。示例性PAN配接器154是藍牙無線網路配接器。配接器152、153及/或154中的每一者可以耦合到天線，包括被配置用於主要和分集接收及/或被配置用於接收特定頻帶的多個天線。設備100進一步可以包括或耦合到設備100的電源118，諸如電池或用於將設備100耦合到能量源的元件。設備100亦可以包括或耦合到圖1中未圖示的附加特徵或元件。在一個實例中，可以包括多個收發器和基頻處理器的無線介面可以耦合到或包括在用於無線通訊設備的WAN配接器152中。在另一實例中，將類比影像訊框資料轉換成數位影像訊框資料的類比前端（AFE）可以耦合到影像感測器101和102與影像信號處理器112之間。
該設備可以包括或連接到感測器集線器150，用於與感測器連接以接收關於設備100移動的資料、關於設備100周圍環境的資料及/或其他非相機感測器資料。一個示例性非相機感測器是陀螺儀，一種被配置為用於量測旋轉、定向及/或角速度以產生運動資料的設備。另一示例性非相機感測器是加速度計，一種被配置為用於量測加速度的設備，其亦可以用於藉由適當地積分量測的加速度來決定行進的速度和距離，並且加速度、速度及/或距離中的一或多個可以被包括在產生的運動資料中。在一些態樣，電子影像穩定系統（EIS）中的陀螺儀可以耦合到感測器集線器或者直接耦合到影像信號處理器112。在另一個實例中，非相機感測器可以是全球定位系統（GPS）接收器。
影像信號處理器112可以接收影像資料，諸如用於形成影像訊框的影像資料。在一個實施例中，本端匯流排連接將影像信號處理器112分別耦合到第一和第二相機的影像感測器101和102。在另一實施例中，有線介面將影像信號處理器112耦合到外部影像感測器。在另一實施例中，無線介面將影像信號處理器112耦合到影像感測器101、102。
第一相機可以包括第一影像感測器101和相應的第一鏡頭131。第二相機可以包括第二影像感測器102和相應的第二鏡頭132。鏡頭131和132中的每一者可以由在ISP 112中執行的相關聯的自動聚焦（AF）演算法133來控制，該演算法調整鏡頭131和132以聚焦在距離影像感測器101和102的特定場景深度處的特定焦平面上。AF演算法133可以由深度感測器140輔助。
第一影像感測器101和第二影像感測器102被配置為擷取一或多個影像訊框。鏡頭131和132分別經由用一或多個於接收光的光圈、一或多個用於在曝光訊窗之外阻擋光的快門、一或多個用於過濾特定頻率範圍之外的光的濾色器陣列（CFAs）、一或多個用於將類比量測轉換成數位資訊的類比前端及/或用於成像的其他合適元件，將光聚焦在影像感測器101和102上。第一鏡頭131和第二鏡頭132可以具有不同的視場，以擷取場景的不同表示。例如，第一鏡頭131可以是超廣角（UW）鏡頭，第二鏡頭132可以是廣角（W）鏡頭。多個影像感測器可以包括超廣角（高視場（FOV））、廣角、長焦和超長焦（低FOV）感測器的組合。亦即，每個影像感測器可以經由硬體配置及/或軟體設置來配置，以獲得不同但重疊的視場。在一種配置中，影像感測器配置有不同的鏡頭，該等鏡頭具有不同的放大率，從而產生不同的視場。感測器可以被配置為使得UW感測器比W傳感器具有更大的FOV，W感測器比T傳感器具有更大的FOV，T感測器比UT傳感器具有更大的FOV。例如，配置用於廣角FOV的感測器可以擷取64-84度範圍內的視場，配置用於超廣角FOV的感測器可以擷取100-140度範圍內的視場，配置用於長焦FOV的感測器可以擷取10-30度範圍內的視場，配置用於超長焦FOV的感測器可以擷取1-8度範圍內的視場。
影像信號處理器112處理由影像感測器101和102擷取的影像訊框。儘管圖1將設備100圖示為包括耦合到影像信號處理器112的兩個影像感測器101和102，但是任何數量（例如，一個、兩個、三個、四個、五個、六個等）的影像感測器可以被耦合到影像信號處理器112。在一些態樣中，諸如深度感測器140的深度感測器可以耦合到影像信號處理器112，並且來自深度感測器的輸出以與影像感測器101和102類似的方式被處理。此外，對於設備100可以存在任意數量的附加影像感測器或影像信號處理器。
在一些實施例中，影像信號處理器112可以執行來自記憶體的指令，諸如來自記憶體106的指令108、儲存在與影像信號處理器112耦合或包含在影像信號處理器112中的獨立記憶體中的指令，或由處理器104提供的指令。另外，或者替代地，影像信號處理器112可以包括被配置為執行本案中描述的一或多個操作的特定硬體（諸如一或多個積體電路（ICs））。例如，影像信號處理器112可以包括一或多個影像前端（IFEs）135、一或多個影像後處理引擎136（IPEs）及/或一或多個自動曝光補償（AEC）134引擎。AF 133、AEC 134、AFE 135、APE 136可以各自包括專用電路，被實現為由ISP 112執行的軟體代碼，及/或ISP 112內的硬體和在ISP 112上執行的軟體代碼的組合。ISP 112可以另外地執行自動白平衡（AWB）引擎以執行白平衡操作。AWB引擎可以在例如影像前端（IFEs）135或ISP 112或影像擷取設備100內的其他專用或通用處理電路中執行，諸如在數位訊號處理器（DSP）上執行。
在一些實施方式中，記憶體106可以包括儲存電腦可執行指令108的非暫態性（non-transient）或非暫時性（non-transitory）電腦可讀取媒體以執行本案中描述的一或多個操作的全部或部分。在一些實施方式中，指令108包括由設備100執行的用於產生影像或視訊的相機應用（或其他合適的應用）。指令108亦可以包括由設備100執行的其他應用或程式，諸如作業系統和除了影像或視訊產生之外的特定應用。諸如由處理器104執行相機應用可以使得設備100使用影像感測器101和102以及影像信號處理器112來產生影像。記憶體106亦可以由影像信號處理器112存取以儲存處理後的訊框，或者可以由處理器104存取以獲得處理後的訊框。在一些實施例中，設備100不包括記憶體106。例如，設備100可以是包括影像信號處理器112的電路，並且記憶體可以在設備100的外部。設備100可以耦合到外部記憶體並且被配置為存取該記憶體，以寫入輸出訊框用於顯示或長期儲存。在一些實施例中，設備100是片上系統（SoC），其將影像信號處理器112、處理器104、感測器集線器150、記憶體106和輸入/輸出元件116合併到單個封裝中。
在一些實施例中，影像信號處理器112或處理器104中的至少一個執行指令，以執行本文描述的各種操作，包括降噪操作。例如，指令的執行可以指示影像信號處理器112開始或結束擷取影像訊框或影像訊框序列，其中擷取包括如本文實施例中所描述的降噪。在一些實施例中，處理器104可以包括一或多個通用處理器核心104A，其能夠執行一或多個軟體程式的腳本或指令，諸如儲存在記憶體106中的指令108。例如，處理器104可以包括一或多個應用處理器，其被配置為執行儲存在記憶體106中的相機應用（或用於產生影像或視訊的其他合適的應用）。
在執行相機應用時，處理器104可以被配置為指示影像信號處理器112參考影像感測器101或102執行一或多個操作。例如，相機應用可以接收開始視訊預覽顯示的命令，在該視訊預覽顯示上從一或多個影像感測器101或102擷取並處理包括影像訊框序列的視訊。諸如利用級聯IPE的影像校正可以應用於序列中的一或多個影像訊框。處理器104在相機應用之外執行指令108亦可以使設備100執行任意數量的功能或操作。在一些實施例中，除了執行軟體以使設備100執行多個功能或操作的能力之外，處理器104可以包括IC或其他硬體（例如，人工智慧（AI）引擎124），諸如本文描述的操作。在一些其他實施例中，設備100不包括處理器104，諸如當所有描述的功能皆配置在影像信號處理器112中時。
在一些實施例中，顯示器114可以包括允許使用者互動及/或向使用者展示項目的一或多個合適的顯示器或螢幕，諸如影像感測器101和102擷取的影像訊框的預覽。在一些實施例中，顯示器114是觸敏顯示器。I/O元件116可以是或包括任何合適的機制、介面或設備，以接收來自使用者的輸入（諸如命令）並經由顯示器114向使用者提供輸出。例如，I/O元件116可以包括（但不限於）圖形化使用者介面（GUI）、鍵盤、滑鼠、麥克風、揚聲器、可擠壓邊框、一或多個按鈕（例如電源按鈕）、滑塊、開關等等。
儘管顯示為經由處理器104相互耦合，但元件（諸如處理器104、記憶體106、影像信號處理器112、顯示器114和I/O元件116）可以經由其他各種佈置相互耦合，諸如經由一或多條區域匯流排，為簡單起見未顯示。儘管影像信號處理器112被示為與處理器104分開，但是影像信號處理器112可以是處理器104的核心，該處理器104是應用處理器單元（APU），包括在片上系統（SoC）中，或者以其他方式包括在處理器104中。儘管在本文的實例中提及設備100用於執行本案的各態樣，但是為了防止模糊本案的各態樣，一些設備元件可能沒有在圖1中示出。此外，其他元件、多個元件或元件的組合可以被包括在用於執行本案的各態樣的合適的設備中。因此，本案不限於特定的設備或元件配置，包括設備100。
圖2圖示根據本案一或多個態樣的應用散景效果的示例性處理配置的方塊圖。系統200的處理器104可以經由雙向匯流排及/或分開的控制線和資料線與影像信號處理器（ISP）112通訊。處理器104可以經由ISP 112的相機控制區塊212來控制相機202以獲得第一光圈大小的第一影像資料和第二光圈大小的第二影像資料。例如，當相機202是可變光圈（VA）相機系統時，處理器104可以執行相機應用來指示相機202配置成第一光圈大小，從相機202獲得第一影像資料，指示相機202配置成第二光圈大小，並從相機202獲得第二影像資料。光圈的重新配置以及第一和第二影像資料的獲得可以在以第一光圈大小和第二光圈大小擷取的場景中很少或沒有變化的情況下發生。示例性光圈大小有f/2.0、f/2.8、f/3.2、f/8.0等。更大的光圈值對應更小的光圈大小，更小的光圈值對應更大的光圈大小。亦即，f/2.0是比f/8.0更大的光圈大小。
從相機202接收的影像資料可以在ISP 112的一或多個區塊214中進行處理並且被提供給處理器104。處理器104可以進一步處理影像資料，以應用基於以多種光圈大小擷取的影像資料的效果。在一些實施例中，可以使用以多種光圈大小擷取的影像資料來應用散景效果以提供更逼真的散景效果，該散景效果更類似於由具有期望光圈大小的相機鏡頭獲得的散景效果。例如，以f/2.0的第一光圈大小擷取的第一影像資料和以f/2.4的第二光圈大小擷取的第二影像資料可以用於應用f/1.4的模擬光圈大小的散景效果，而不是使用單一光圈大小的影像資料。
處理器104可以包括焦點圖產生器222和散景應用器224。焦點圖產生器222可以為場景的部分決定期望的聚焦量，其中聚焦量被決定為匹配期望的光圈大小的散景效果。焦點圖可以是基於描述場景中的物件距相機202的距離的深度圖。深度圖可以從以兩種或更多種光圈大小獲得的影像資料決定。焦點圖產生器222向散景應用器224提供焦點圖，散景應用器224亦接收以兩種或更多種光圈大小收集的影像資料。散景應用器224基於焦點圖和在各種光圈大小下獲得的影像資料決定輸出影像訊框204。輸出影像訊框可以儲存在記憶體106中，其可以稍後被記錄到另一個記憶體，例如非揮發性記憶體，經由網路配接器傳輸，及/或輸出到顯示裝置。儘管未圖示，但是系統200中可以存在其他邏輯和記憶體電路。例如，緩衝器可以存在於處理器104和ISP 112之間或者ISP 112和相機202之間。作為另一個實例，附加的處理電路可以存在於處理器104中，用於將附加的效果（例如，照明、顏色投射、高動態範圍（HDR）合併）應用到影像資料。在一些實施例中，提供散景應用器224的功能的處理電路可以被重新配置以提供附加效果的功能。在一些實施例中，提供焦點圖產生器222及/或散景應用器224的功能的處理電路可以嵌入不同的元件中，諸如ISP 112、DSP、ASIC或其他定製邏輯電路。
圖2的系統200可以被配置為執行參考圖3描述的操作，以決定輸出影像訊框。圖3圖示根據本案的一或多個態樣的用於利用可變光圈（VA）相機系統應用散景效果的示例性方法的流程圖。方法300包括，在方塊302處，接收分別以第一光圈大小和第二光圈大小擷取的第一影像資料和第二影像資料。第一和第二影像資料可以表示相同的場景，諸如藉由從相同或相似的視點在時間上接近地擷取，諸如順序地，使得場景中的物件在第一影像資料和第二影像資料中處於相同或相似的位置。
第一和第二影像資料可以由可變光圈（VA）相機系統擷取。在可變光圈（VA）相機系統中，方塊302可以包括用第一光圈大小配置相機202以獲得第一影像資料，並且隨後用第二光圈大小配置相機202以獲得第二影像資料。在具有多個固定光圈大小的其他相機系統中，方塊302可以包括從多個相機擷取影像資料，每個相機具有不同的光圈大小。從具有可變光圈（VA）能力的單個相機系統或用於調整到達影像感測器的光量的其他技術擷取影像資料可能比多個相機系統更滿足需要。例如，多個相機系統可以具有不同的視場、不同的對準以及不同的光和顏色敏感度。該等差異可能需要在合併來自多個相機系統的影像資料之前進行補償。當從單個相機系統獲得影像資料時，可以減少或避免該等對準和其他挑戰。
在方塊304處，決定深度圖。深度圖可以是一組值，諸如排列在一個陣列或多個陣列（例如，矩陣或表格）中，每個值代表場景的一部分和場景的該部分中的一或多個圖元。因此，以N x M圖元的影像訊框組織的影像資料可以具有相應的K x L值的深度圖，其中N是K的整數倍，M是L的整數倍。該等值指示記錄影像資料的影像感測器和第一場景中的物件之間的距離。深度圖可以根據在方塊302接收的第一影像資料和第二影像資料決定，諸如參考圖4、圖5、圖6或圖7所描述的。例如，深度圖可以是指示場景的相應部分的模糊量的模糊圖（blur map）。關於方塊304描述的深度圖可以包括深度的任何表示，而不管深度圖中的值的單位是否是距離。
在方塊306處，可以基於深度圖和模擬光圈大小決定焦點圖。模擬光圈大小可以是用於表示場景的期望光圈大小，並且可以由使用者輸入到在處理器104上執行的相機應用中。焦點圖可以使用關於模擬光圈大小的相機系統的預定資訊，該資訊反映了影像在各種深度的清晰度。深度圖中的值可以與預定資訊組合以決定焦點圖值，該焦點圖值指示影像感測器和場景中的物件之間的深度圖中的相應距離的、在模擬光圈大小下的模糊量。
在方塊308中，從焦點圖和第一影像資料決定輸出影像訊框。例如，輸出影像訊框可以藉由基於焦點圖的相應部分的模糊強度將模糊演算法應用於第一影像資料決定。在一些實施例中，輸出影像訊框亦基於第二影像資料。例如，輸出影像訊框可以藉由基於焦點圖將第一影像資料與第二影像資料的相應資料混合決定，其中在混合中分配給第一影像資料和第二影像資料的權重基於焦點圖。得到的輸出影像訊框包括基於焦點圖模糊的部分，以獲得與模擬光圈大小相對應的照片。模糊部分可以為照片提供反映由具有不同於方塊402的第一光圈大小或第二光圈大小的光圈大小的鏡頭產生的散景的外觀。更大的光圈大小可以大於獲得第一和第二影像資料的相機系統可用的光圈大小，從而允許獲得類似於更昂貴、更大的相機系統的影像特徵，而無需增加更高光圈相機系統的費用和大小。
圖3中描述的影像處理的一些實施例基於參考圖4描述的基於影像的對比度計算。圖4圖示根據本案的一或多個態樣的用於使用銳度值來應用散景效果的示例性方法的流程圖。圖5圖示說明圖4的影像資料處理的方塊圖。圖5圖示根據本案的一或多個態樣的用於使用銳度值來應用散景效果的實例處理配置的方塊圖。
方法400包括，在方塊402，接收以第一光圈大小擷取的第一影像資料502和以第二光圈大小擷取的第二影像資料504。如參考圖3的方塊302所描述的，可以在擷取之後接收第一和第二影像資料。方法400的處理可以與第一和第二影像資料的擷取一起即時執行以產生例如顯示器上的預覽影像。方法400的處理亦可以或替代地在影像擷取設備上及/或由遠端設備擷取第一和第二影像資料之後執行。
在方塊404處，基於第一影像資料的第一銳度和第二影像資料的第二銳度決定模糊度圖（blurriness map）。模糊度圖可以指示物件距離相機的深度。第一銳度可以是從第一影像資料502決定的第一銳度圖512，第二銳度可以是從第二影像資料504決定的第二銳度圖514。類似於上述深度圖，以N x M圖元的影像訊框組織的影像資料可以具有相應的K x L值的銳度圖，其中N是K的整數倍，M是L的整數倍。銳度圖中的值可以指示記錄影像資料的影像感測器與第一場景中的物件之間的距離，因為離相機焦點更近的場景部分更銳利。銳度可以衡量影像細節的清晰程度。在一些實施例中，銳度可以被決定為其拉普拉斯的函數，根據以下公式經由周圍圖元中的局部平均亮度正規化： 其中 表示圖元（x，y）周圍的平均亮度。在一些實施例中，模糊度圖可以被正規化，諸如正規化到0和100之間的值，更高的值指示更低的模糊度。在一些實施例中，模糊度圖值可以根據以下公式從清晰度圖值計算： ， 其中 SH1是較小光圈影像資料的銳度值， SH2是相應的較大光圈影像資料的銳度值。由於具有更大光圈大小的淺DOF，在更大光圈大小下獲得的影像資料在期望物件的部分中可能是清晰的，而相反，在更小光圈大小下獲得的影像資料將具有更大部分的高清晰度。模糊度分析器從第一清晰度圖512和第二清晰度圖514決定模糊度圖516。
在方塊406，可以基於模糊度圖和模糊度檢視表決定焦點圖。焦點圖產生器224可以接收模糊度圖516和模糊度檢視表（LUT）518（或者光圈大小和深度之間的其他預定關係）。LUT 518可以為不同的光圈大小提供將模糊度映射到深度的關係518A和518B。基於其在更高深度處的更低模糊度，關係518A可以與比關係518B更小的光圈大小相對應。LUT 518可以包括一或多個關係，其可以儲存為表格，但是預定的關係可以替代地或附加地儲存為代表性的公式。焦點圖產生器224藉由使用LUT 518中與模擬光圈大小相對應的關係將模糊度圖映射到焦點圖決定焦點圖520。在一些實施例中，模擬光圈大小的關係可能不存在於LUT 518中，並且該關係可以替代地從LUT 518中存在的其他關係進行內插或估計。
在方塊408處，第一影像資料502和第二影像資料504可以由散景應用器222基於焦點圖520混合，以決定輸出影像訊框。輸出影像訊框204可以是具有與模擬光圈大小相對應的背景（例如，散景）模糊的照片或視訊序列。該混合可以基於更大的焦點圖分數將更重的權重應用於背景部分的大光圈影像資料，並且該混合可以基於更小的焦點圖分數將更重的權重應用於前景（或物件）部分的小光圈影像資料。儘管對兩種光圈大小的兩個影像資料的處理被描述為產生單獨的輸出影像訊框，但是該處理可以類似地涉及另外的光圈大小的三個或更多個影像資料。
圖3中描述的影像處理的一些實施例基於如參考圖6描述的機器學習計算。圖6顯示了根據本案的一或多個態樣的使用機器學習對可變光圈（VA）相機系統應用散景效果的示例性方法的流程圖。圖7顯示了說明圖6的影像資料處理的方塊圖。圖7顯示了根據本案的一或多個態樣的用於使用機器學習來應用散景效果的示例性處理配置的方塊圖。
方法600包括，在方塊602處，接收以第一光圈大小擷取的第一影像資料502和以第二光圈大小擷取的第二影像資料504。如參考圖3的方塊302所描述的，第一和第二影像資料可以在擷取期間作為串流資料從相機系統接收。方法600的處理可以與第一和第二影像資料的擷取一起即時執行以產生例如顯示器上的預覽影像。方法600的處理亦可以或替代地在影像擷取裝置上及/或由遠端設備擷取第一和第二影像資料之後執行。
在方塊604處，基於第一影像資料502和第二影像資料504的預訓練人工智慧（AI）模型710中的機器學習分析，決定模糊核心大小圖。模糊核心大小圖可以指示物件距離相機的深度。模糊核心可以是代表應用於一部分影像資料的模糊的值的小矩陣。可以使用在不同光圈大小下擷取的影像來訓練AI模型，以準備離線模型。該模型可以應用於影像資料502和504，以決定影像資料的不同部分的代表性模糊核心大小。類似於上述深度圖，以N x M圖元的影像訊框組織的影像資料可以具有相應的K x L值的模糊核心大小圖，其中N是K的整數倍，M是L的整數倍。模糊核心大小圖中的值可以指示記錄影像資料的影像感測器與第一場景中的物件之間的距離，因為離相機焦點更近的場景部分具有更小的模糊核心大小。在一些實施例中，AI模型710是Resnet-34模型。
在方塊606處，可以基於模糊核心大小圖和模糊核心大小檢視表決定焦點圖。焦點圖產生器224可以接收模糊核心大小圖716和模糊核心大小檢視表（LUT）718（或者光圈大小和深度之間的其他預定關係）。LUT 718可以為不同的光圈大小提供將模糊核心大小映射到深度的關係718A和718B。基於其在更高深度的更小的模糊核心大小，關係718A可以與比關係718B更小的光圈大小相對應。LUT 718可以包括一或多個關係，其可以儲存為表格，但是預定的關係可以替代地或附加地儲存為代表性的公式。焦點圖產生器224藉由使用LUT 718中與模擬光圈大小相對應的關係將模糊核心大小圖716映射到焦點圖520決定焦點圖520。在一些實施例中，模擬光圈大小的關係可能不存在於LUT 718中，並且該關係可以替代地從LUT 718中存在的其他關係進行內插或估計。例如，預定資料可以用於f/2.0和f/2.4的光圈大小，並且當使用者選擇f/1.4的模擬光圈大小時，f/2.0和f/2.4的預定資料可以被內插以獲得f/1.4的關係。
在方塊608處，第一影像資料502和第二影像資料504可以由散景應用器222基於焦點圖520混合，以決定輸出影像訊框。輸出影像訊框204可以是具有與模擬光圈大小相對應的背景（例如，散景）模糊的照片或視訊序列。該混合可以基於更大的焦點圖分數將更重的權重應用於背景部分的大光圈影像資料，並且該混合可以基於更小的焦點圖分數將更重的權重應用於前景（或物件）部分的小光圈影像資料。儘管對兩種光圈大小的兩個影像資料的處理被描述為產生單獨的輸出影像訊框，但是該處理可以類似地涉及另外的光圈大小的三個或更多個影像資料。
根據上述實施例使用焦點圖520和預定義關係應用的散景效果，諸如檢視表518和718，提供了看起來更自然的散景。部分基於預定義的關係，散景看起來更接近於由具有大光圈的光學鏡頭自然產生的散景。傳統的散景效果可以假定模糊與相機焦點的深度之間的線性關係。然而，光學鏡頭通常具有非線性行為，如關係518A、518B、718A和718B所示。因此，預定義的資料提供了更真實的自然散景效果。此外，從以兩種不同光圈大小擷取的影像資料產生的焦點圖提供了場景中物件深度的更準確表示，從而允許更真實地應用散景效果。
在一或多個態樣中，用於支援影像處理的技術可以包括附加的態樣，諸如下文描述的任何單個態樣或態樣的任何組合，或結合本文其他地方描述的一或多個其他過程或設備。在第一態樣中，支援影像處理可以包括被配置為執行操作的裝置，該操作包括接收以第一光圈大小擷取的第一影像資料和以第二光圈大小擷取的第二影像資料，第一影像資料和第二影像資料中的每一者表示第一場景；基於第一影像資料和第二影像資料決定與第一場景相對應的深度圖，該深度圖包括指示記錄第一影像資料的影像感測器和第一場景中的物件之間的距離的第一值；基於深度圖和不同於第一光圈大小和第二光圈大小的模擬光圈大小決定焦點圖，該焦點圖包括指示對於記錄第一影像資料的影像感測器和第一場景中的物件之間的相應距離的、在模擬光圈大小下的模糊量的第二值；及基於焦點圖、第一影像資料和第二影像資料決定輸出影像訊框。另外，該裝置可以根據如下描述的一或多個態樣來執行或操作。在一些實施方式中，該裝置包括無線設備，例如UE或BS。在一些實施方式中，該裝置可以包括至少一個處理器和耦合到該處理器的記憶體。該處理器可以被配置為執行本文關於該裝置描述的操作。在一些其他實施方式中，該裝置可以包括其上記錄有程式碼的非暫態電腦可讀取媒體，並且該程式碼可以由電腦執行，用於使得電腦執行本文中參考該裝置描述的操作。在一些實施方式中，該裝置可以包括一或多個被配置為執行本文描述的操作的構件。在一些實施方式中，無線通訊的方法可以包括本文參考該裝置描述的一或多個操作。
在第二態樣中，結合第一態樣，決定深度圖包括基於第一影像資料和第二影像資料決定與第一場景相對應的模糊圖。
在第三態樣中，結合第一態樣或第二態樣中的一或多個態樣，決定模糊圖包括決定第一影像資料的第一銳度值和決定第二影像資料的第二銳度值，其中模糊圖包括基於第一銳度值和第二銳度值的模糊值。
在第四態樣中，結合第一態樣至第三態樣中的一或多個態樣，決定模糊圖包括基於監督的機器學習決定與記錄第一影像資料的影像感測器與第一場景中的物件之間的距離相對應的模糊核心大小值。
在第五態樣中，結合第一至第四態樣中的一或多個態樣，決定焦點圖包括基於深度圖和深度與模糊之間的預定關係決定第二值。
在第六態樣中，結合第一至第五態樣中的一或多個態樣，影像感測器被配置為可變光圈（VA）相機系統。
在第七態樣中，結合第一至第六態樣中的一或多個態樣，影像感測器擷取第一影像資料和第二影像資料。
在第八態樣中，結合第一態樣至第七態樣中的一或多個態樣，決定深度圖包括決定模糊度圖，包括決定第一影像資料的第一銳度值和決定第二影像資料的第二銳度值，其中模糊圖包括基於第一銳度值和第二銳度值的模糊值。
在第九態樣中，結合第一至第八態樣中的一或多個態樣，決定焦點圖包括基於模糊度圖和光圈大小與深度之間的預定關係決定焦點圖。
在第十態樣中，結合第一至第九態樣中的一或多個態樣，決定輸出影像訊框包括基於焦點圖將第一影像資料與第二影像資料的相應資料混合。
在第十一態樣中，結合第一至第十態樣中的一或多個態樣，決定輸出影像訊框包括基於焦點圖決定包括模糊部分的輸出影像訊框，以獲得與模擬光圈大小相對應的照片。
在第十二態樣中，結合第一至第十一態樣中的一或多個態樣，決定深度圖包括基於監督的機器學習決定模糊核心大小值。
在第十三態樣中，結合第一至第十二態樣中的一或多個態樣，決定焦點圖包括基於模糊核心大小值以及模糊核心大小與深度之間的預定關係決定焦點圖。
在第十四態樣中，結合第一至第十三態樣中的一或多個態樣，決定輸出影像訊框包括基於焦點圖將第一影像資料與第二影像資料的相應資料混合。
在第十五態樣中，結合第一至第十四態樣中的一或多個態樣，決定輸出影像訊框包括基於焦點圖決定包括模糊部分的輸出影像訊框，以獲得與模擬光圈大小相對應的照片。
在第十六態樣中，結合第一態樣至第十五態樣中的一或多個態樣，該操作由影像擷取設備執行，該影像擷取設備包括可變光圈（VA）相機系統，該可變光圈相機系統被配置為擷取第一光圈大小的第一影像資料和第二光圈大小的第二影像資料。
本領域技藝人士應理解，可以使用各種不同的技術（technology）和技藝（technique）來表示資訊和信號。例如，在以上描述中可能提及的資料、指令、命令、資訊、信號、位元、符號和晶片可以由電壓、電流、電磁波、磁場或粒子、光場或粒子或任何其組合來表示。
本文關於圖1-圖5描述的元件、功能方塊和模組包括處理器、電子設備、硬體設備、電子元件、邏輯電路、記憶體、軟體代碼、韌體代碼等，或任何其組合。軟體應該被廣義地解釋為意謂指令、指令集、代碼、代碼區段、程式碼、程式（program）、副程式、軟體模組、應用程式、軟體應用程式、套裝軟體、常式、子常式、物件、可執行程式、執行執行緒、程式（procedure）及/或功能，以及其他實例，無論是被稱為軟體、韌體、中介軟體、微碼、硬體描述語言還是其他。此外，本文論述的特徵可以經由專用處理器電路、經由可執行指令或其組合來實現。
本領域技藝人士將進一步瞭解，結合本文揭示內容描述的各種說明性邏輯區塊、模組、電路和演算法步驟可以被實現為電子硬體、電腦軟體或兩者的組合。為了清楚地說明硬體和軟體的此種可互換性，各種說明性的元件、方塊、模組、電路和步驟已經在上文根據其功能進行了一般性描述。此種功能作為硬體還是軟體來實現取決於特定的應用和對整體系統的設計約束。本領域技藝人士可以針對每個特定的應用以不同的方式實現所描述的功能，但是此種實現決定不應該被解釋為導致脫離本案的範圍。本領域技藝人士亦將容易地認識到，本文描述的元件、方法或互動的順序或組合僅僅是實例，並且本案的各個態樣的元件、方法或互動可以以不同於本文示出和描述的方式來組合或執行。
結合本文揭示的實施方式描述的各種說明性邏輯、邏輯區塊、模組、電路和演算法過程可以實現為電子硬體、電腦軟體或兩者的組合。硬體和軟體的可互換性已經根據功能進行了一般性描述，並且在上述各種說明性元件、方塊、模組、電路和過程中進行了說明。此種功能是用硬體還是用軟體實現取決於特定的應用和對整體系統的設計約束。
用於實現與本文揭示的態樣有關的描述的各種說明性邏輯、邏輯區塊、模組和電路的硬體和資料處理裝置可以用通用單晶片或多晶片處理器、數位信號處理器（DSP）、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）或其他可程式設計邏輯設備、個別閘門或電晶體邏輯、個別硬體元件或任何其組合來實現或執行，以執行本文描述的功能。通用處理器可以是微處理器，或者任何一般處理器、控制器、微控制器或狀態機。在一些實施方式中，處理器可以被實現為計算設備的組合，諸如DSP和微處理器的組合、複數個微處理器、一或多個微處理器與DSP核心的結合，或者任何其他此種配置。在一些實施方式中，特定的過程和方法可以由特定於給定功能的電路來執行。
在一或多個態樣中，描述的功能可以在硬體、數位電子電路、電腦軟體、韌體中實現，包括本說明書中揭示的結構及其結構均等物，或任何其組合。本說明書中描述的標的的實現亦可以實現為一或多個電腦程式，即編碼在電腦儲存媒體上的電腦程式指令的一或多個模組，用於由資料處理裝置執行或控制資料處理裝置的操作。
若以軟體實現，功能可以作為電腦可讀取媒體上的一或多個指令或代碼儲存或傳輸。本文揭示的方法或演算法的過程可以在處理器可執行的軟體模組中實現，該軟體模組可以常駐在電腦可讀取媒體上。電腦可讀取媒體包括電腦儲存媒體和通訊媒體，通訊媒體包括能夠將電腦程式從一個地方傳送到另一個地方的任何媒體。儲存媒體可以是可以由電腦存取的任何可用媒體。舉例而言（但並非限制），此種電腦可讀取媒體可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、CD-ROM或其他光碟儲存器、磁碟儲存器或其他磁性儲存設備，或者可以用於以指令或資料結構的形式儲存期望的程式碼並且可以由電腦存取的任何其他媒體。同樣，任何連接皆可以適當地稱為電腦可讀取媒體。本文使用的磁碟和光碟包括壓縮光碟（CD）、雷射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常以磁性方式再現資料，而光碟用雷射方式再現資料。上述的組合亦應該包括在電腦可讀取媒體的範圍內。此外，方法或演算法的操作可以作為一個或任意組合或一組代碼和指令常駐在機器可讀取媒體和電腦可讀取媒體上，其可以併入電腦程式產品中。
對本案中描述的實施方式的各種修改對本領域技藝人士而言是清晰的，在不脫離本案精神或範圍的情況下，本文定義的一般原理可應用於其他實施方式。因此，請求項不意欲限於本文所示的實施方式，而是符合與本案、本文揭示的原理和新穎特徵一致的最寬範圍。
此外，本領域一般技藝人士將容易瞭解，術語「上」和「下」有時用於方便描述圖，表示與正確定向頁面上的圖的方向相對應的相對位置，並不反映所實現的任何設備的正確方向。
本說明書在單獨實施方式的上下文中描述的某些特徵亦可以在單個實施方式中組合實現。相反，在單個實施方式的上下文中描述的各種特徵亦可以在多個實施方式中分開實現或者在任何合適的子群組合中實現。此外，儘管上述特徵可能被描述為在某些組合中起作用，並且甚至最初亦是如此主張的，但是來自所主張的組合的一或多個特徵在一些情況下可以從該組合中被刪除，並且所主張的組合可能是針對子群組合或子群組合的變體。
類似地，儘管圖中以特定順序圖示了操作，但不應理解為要求以所示特定順序或按循序執行此類操作，或要求執行所有圖示操作，以實現期望的結果。此外，附圖可以以流程圖的形式示意性地圖示一或多個示例性過程。然而，未圖示的其他操作可以併入示意性示出的示例性過程中。例如，可以在任何所示操作之前、之後、同時或之間執行一或多個附加操作。在某些情況下，多工和並行處理可能是有利的。此外，上述實施方式中的各種系統元件的分離不應該被理解為在所有實現中皆需要此種分離，並且應該理解，所描述的程式元件和系統通常可以一起整合在單個軟體產品中或者打包到多個軟體產品中。此外，一些其他實施方式亦在請求項的範圍內。在一些情況下，請求項記載的動作可以以不同的循序執行，並且仍然可以達成期望的結果。
如本文所用，包括在請求項中，術語「或」，當用於兩個或兩個以上項目的清單中時，意謂可以單獨使用任何一個所列項目，或者可以使用兩個或兩個以上所列項目的任何組合。例如，若組合物被描述為包含組分A、B或C，則該組合物可以僅包含A；單獨B；單獨C；A和B的組合；A和C的組合；B和C的組合；或者A、B和C的組合。同樣，如本文所用，包括在請求項中，在以「至少一個」開頭的項目清單中使用的「或」表示分離清單，使得例如「A、B或C中的至少一個」的清單意謂A或B或C或AB或AC或BC或ABC（即A和B和C）或其任何組合中的任何一個。如本領域一般技藝人士所理解的，術語「基本上」被定義為很大程度上但不一定完全是所指定的（並且包括所指定的；例如，基本上90度包括90度，基本上平行包括平行）。在任何揭示的實施方式中，術語「基本上」可以用「在指定的[百分比]範圍內」來代替，其中百分比包括0.1%、1%、5%或10%。
提供本案的前述說明，以使本領域的任何技藝人士能夠製作或使用本案。對本案的各種修改對於本領域技藝人士來說將是清晰的，並且在不脫離本案的精神或範圍的情況下，本文定義的一般原理可以應用於其他變化。因此，本案不意欲限於本文描述的實例和設計，而是符合與本文揭示的原理和新穎特徵一致的最寬範圍。
100:設備 101:第一影像感測器 102:第二影像感測器 104:處理器 104A:通用處理器核心 106:記憶體 108:指令 112:影像信號處理器 114:顯示器 116:輸入/輸出（I/O）元件 118:電源 124:人工智慧（AI）引擎 131:第一鏡頭 132:第二鏡頭 133:自動聚焦（AF）演算法 134:自動曝光補償（AEC）引擎 135:影像前端（IFE） 136:影像後處理引擎 140:深度感測器 150:感測器集線器 152:廣域網（WAN）配接器 153:區域網路（LAN）配接器 154:個人區域網路（PAN）配接器 200:系統 202:相機 204:輸出影像訊框 212:相機控制區塊 214:區塊 222:焦點圖產生器 224:散景應用器 300:方法 302:步驟 304:步驟 306:步驟 308:步驟 400:方法 402:步驟 404:步驟 406:步驟 408:步驟 502:第一影像資料 504:第二影像資料 512:第一銳度圖 514:第二銳度圖 516:模糊度圖 518:模糊度檢視表 520:焦點圖 600:方法 602:步驟 604:步驟 606:步驟 608:步驟 710:預訓練人工智慧（AI）模型 716:模糊核心大小圖 718:模糊核心大小檢視表 718A:關係 718B:關係
經由參考以下附圖，可以進一步理解本案的性質和優點。在附圖中，相似的元件或特徵可以具有相同的元件符號。此外，相同類型的各種元件可以藉由在元件符號之後加上破折號和區分相似元件的第二標記來區分。若在說明書中僅使用第一元件符號，則該描述適用於具有相同第一元件符號的任何一個類似元件，而不管第二元件符號。
圖1圖示根據本案的一或多個態樣的用於從一或多個影像感測器執行影像擷取的示例性設備的方塊圖。
圖2圖示根據本案一或多個態樣的用於應用散景效果的示例性處理配置的方塊圖。
圖3圖示根據本案的一或多個態樣的用於利用可變光圈（VA）相機系統應用散景效果的示例性方法的流程圖。
圖4圖示根據本案的一或多個態樣的用於使用銳度值應用散景效果的示例性方法的流程圖。
圖5圖示根據本案的一或多個態樣的用於使用銳度值應用散景效果的示例性處理配置的方塊圖。
圖6圖示根據本案的一或多個態樣的用於使用機器學習在可變光圈（VA）相機系統中應用散景效果的示例性方法的流程圖。
圖7圖示根據本案的一或多個態樣的用於使用機器學習應用散景效果的示例性處理配置的方塊圖。
各個附圖中相同的參考數字和名稱表示相同的元素。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
104:處理器
106:記憶體
112:影像信號處理器
200:系統
202:相機
204:輸出影像訊框
212:相機控制區塊
214:區塊
222:焦點圖產生器
224:散景應用器

Claims (30)

  1. 一種方法，包括以下步驟： 接收以一第一光圈大小擷取的第一影像資料和以一第二光圈大小擷取的第二影像資料，該第一影像資料和該第二影像資料中的每一者表示一第一場景； 基於該第一影像資料和該第二影像資料決定與該第一場景相對應的一深度圖，該深度圖包括指示記錄該第一影像資料的一影像感測器和第一場景中的物件之間的距離的第一值； 基於該深度圖和不同於該第一光圈大小和該第二光圈大小的一模擬光圈大小決定一焦點圖，該焦點圖包括指示對於記錄該第一影像資料的該影像感測器和該第一場景中的該物件之間的相應距離的、在該模擬光圈大小下的一模糊量的第二值；及 基於該焦點圖、該第一影像資料和該第二影像資料決定一輸出影像訊框。
  2. 如請求項1所述之方法，其中決定該深度圖之步驟包括基於該第一影像資料和該第二影像資料決定與該第一場景相對應的一模糊圖。
  3. 如請求項2所述之方法，其中決定模糊圖之步驟包括決定該第一影像資料的第一銳度值和決定該第二影像資料的第二銳度值，其中該模糊圖包括基於該第一銳度值和該第二銳度值的模糊值。
  4. 如請求項2所述之方法，其中決定該模糊圖之步驟包括基於監督的機器學習決定與記錄該第一影像資料的該影像感測器和該第一場景中的該物件之間的該距離相對應的模糊核心大小值。
  5. 如請求項2所述之方法，其中決定該焦點圖之步驟包括基於該深度圖和深度與模糊之間的一預定關係決定該第二值。
  6. 如請求項1所述之方法，其中該影像感測器擷取該第一影像資料和該第二影像資料，並且其中該影像感測器被配置為一可變光圈（VA）相機系統。
  7. 如請求項6所述之方法，其中： 決定該深度圖之步驟包括決定一模糊度圖，決定該模糊度圖之步驟包括決定該第一影像資料的第一銳度值和決定該第二影像資料的第二銳度值，其中該模糊圖包括基於該第一銳度值和該第二銳度值的模糊值； 決定該焦點圖之步驟包括基於該模糊度圖和光圈大小與深度之間的一預定關係決定該焦點圖；及 決定該輸出影像訊框之步驟包括基於該焦點圖將該第一影像資料與該第二影像資料的相應資料混合。
  8. 如請求項7所述之方法，其中決定該輸出影像訊框之步驟包括基於該焦點圖決定包括一模糊部分的該輸出影像訊框以獲得與該模擬光圈大小相對應的一照片。
  9. 如請求項6所述之方法，其中： 決定該深度圖之步驟包括基於監督的機器學習決定模糊核心大小值； 決定該焦點圖包括基於該模糊核心大小值和模糊核心大小與深度之間的預定關係決定該焦點圖；及 決定該輸出影像訊框之步驟包括基於該焦點圖將該第一影像資料與該第二影像資料的相應資料混合。
  10. 如請求項9所述之方法，其中決定該輸出影像訊框之步驟包括基於該焦點圖決定包括一模糊部分的該輸出影像訊框以獲得與該模擬光圈大小相對應的一照片。
  11. 一種裝置，包括： 儲存處理器可讀代碼的一記憶體；及 耦合到該記憶體的至少一個處理器，該至少一個處理器被配置為執行該處理器可讀代碼以使得該至少一個處理器執行以下操作，包括： 接收以一第一光圈大小擷取的第一影像資料和以一第二光圈大小擷取的第二影像資料，該第一影像資料和該第二影像資料中的每一者表示一第一場景； 基於該第一影像資料和該第二影像資料決定與該第一場景相對應的一深度圖，該深度圖包括指示記錄該第一影像資料的一影像感測器和該第一場景中的物件之間的距離的第一值； 基於深度圖和不同於該第一光圈大小和該第二光圈大小的一模擬光圈大小決定一焦點圖，該焦點圖包含指示對於記錄該第一影像資料的該影像感測器和該第一場景中的該物件之間的相應距離的、在該模擬光圈大小下的一模糊量的第二值；及 基於該焦點圖、該第一影像資料和該第二影像資料決定一輸出影像訊框。
  12. 如請求項11所述之裝置，其中決定該深度圖包括基於該第一影像資料和該第二影像資料決定與該第一場景相對應的一模糊圖。
  13. 如請求項12所述之裝置，其中決定該模糊圖包括決定該第一影像資料的第一銳度值和決定該第二影像資料的第二銳度值，其中該模糊圖包括基於該第一銳度值和該第二銳度值的模糊值。
  14. 如請求項12所述之裝置，其中決定該模糊圖包括基於監督的機器學習決定與記錄該第一影像資料的該影像感測器和該第一場景中的該物件之間的該距離相對應的模糊核心大小值。
  15. 如請求項12所述之裝置，其中決定該焦點圖包括基於該深度圖和深度與模糊之間的一預定關係決定該第二值。
  16. 如請求項11所述之裝置，進一步包括一可變光圈（VA）相機系統，被配置為以該第一光圈大小擷取該第一影像資料和以該第二光圈大小擷取該第二影像資料。
  17. 如請求項16所述之裝置，其中： 決定該深度圖包括決定一模糊度圖，決定該模糊度圖包括決定該第一影像資料的第一銳度值和決定該第二影像資料的第二銳度值，其中該模糊圖包括基於該第一銳度值和該第二銳度值的模糊值； 決定該焦點圖包括基於該模糊度圖和光圈大小與深度之間的一預定關係決定該焦點圖；及 決定該輸出影像訊框包括基於該焦點圖將該第一影像資料與該第二影像資料的相應資料混合。
  18. 如請求項17所述之裝置，其中決定該輸出影像訊框包括基於該焦點圖決定包括一模糊部分的該輸出影像訊框以獲得與該模擬光圈大小相對應的一照片。
  19. 如請求項16所述之裝置，其中： 決定該深度圖包括基於監督的機器學習決定模糊核心大小值； 決定該焦點圖包括基於該模糊核心大小值和模糊核心大小與深度之間的預定關係決定焦點圖；及 決定該輸出影像訊框包括基於該焦點圖將該第一影像資料與該第二影像資料的相應資料混合。
  20. 如請求項19所述之裝置，其中決定該輸出影像訊框包括基於該焦點圖決定包括一模糊部分的該輸出影像訊框以獲得與該模擬光圈大小相對應的一照片。
  21. 一種儲存指令的非暫態電腦可讀取媒體，當由一處理器執行時，該指令使該處理器執行以下操作，包括： 接收以一第一光圈大小擷取的第一影像資料和以一第二光圈大小擷取的第二影像資料，該第一影像資料和該第二影像資料中的每一者表示一第一場景； 基於該第一影像資料和該第二影像資料決定與該第一場景相對應的一深度圖，該深度圖包括指示記錄該第一影像資料的一影像感測器和該第一場景中的物件之間的距離的第一值； 基於該深度圖和不同於該第一光圈大小和該第二光圈大小的一模擬光圈大小決定一焦點圖，該焦點圖包括指示對於記錄該第一影像資料的該影像感測器和該第一場景中的該物件之間的相應距離的、在該模擬光圈大小下的一模糊量的第二值；及 基於該焦點圖、該第一影像資料和該第二影像資料決定一輸出影像訊框。
  22. 如請求項21所述之非暫態電腦可讀取媒體，其中決定該深度圖包括基於該第一影像資料和該第二影像資料決定與該第一場景相對應的一模糊圖。
  23. 如請求項22所述之非暫態電腦可讀取媒體，其中決定該模糊圖包括決定該第一影像資料的第一銳度值和決定該第二影像資料的第二銳度值，其中該模糊圖包括基於該第一銳度值和該第二銳度值的模糊值。
  24. 如請求項22所述之非暫態電腦可讀取媒體，其中決定該模糊圖包括基於監督的機器學習決定與記錄該第一影像資料的該影像感測器和該第一場景中的該物件之間的該距離相對應的模糊核心大小值。
  25. 如請求項22所述之非暫態電腦可讀取媒體，其中決定該焦點圖包括基於該深度圖和深度與模糊之間的一預定關係決定該第二值。
  26. 如請求項21所述之非暫態電腦可讀取媒體，其中該影像感測器擷取該第一影像資料和該第二影像資料，並且其中該影像感測器被配置為一可變光圈（VA）相機系統。
  27. 如請求項26所述之非暫態電腦可讀取媒體，其中： 決定該深度圖包括決定一模糊度圖包括決定該第一影像資料的第一銳度值和決定該第二影像資料的第二銳度值，其中該模糊圖包括基於該第一銳度值和該第二銳度值的模糊值； 決定該焦點圖包括基於該模糊度圖和光圈大小與深度之間的一預定關係決定焦點圖；及 決定該輸出影像訊框包括基於該焦點圖將該第一影像資料與該第二影像資料的相應資料混合。
  28. 如請求項27所述之非暫態電腦可讀取媒體，其中決定該輸出影像訊框包括基於該焦點圖決定包括一模糊部分的該輸出影像訊框以獲得與該類比光圈大小相對應的一照片。
  29. 如請求項26所述之非暫態電腦可讀取媒體，其中： 決定該深度圖包括基於監督的機器學習決定模糊核心大小值； 決定該焦點圖包括基於該模糊核心大小值和模糊核心大小與深度之間的預定關係決定該焦點圖；及 決定該輸出影像訊框包括基於該焦點圖將該第一影像資料與該第二影像資料的相應資料混合。
  30. 如請求項29所述之非暫態電腦可讀取媒體，其中決定該輸出影像訊框包括基於該焦點圖決定包括一模糊部分的該輸出影像訊框以獲得與該模擬光圈大小相對應的一照片。
TW112109734A 2022-03-24 2023-03-16 可變光圈（ｖａ）相機系統中的散景效果 TW202345086A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/656,361 US11727537B1 (en) 2022-03-24 2022-03-24 Bokeh effect in variable aperture (VA) camera systems
US17/656,361 2022-03-24

Publications (1)

Publication Number Publication Date
TW202345086A true TW202345086A (zh) 2023-11-16

Family

ID=86226972

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112109734A TW202345086A (zh) 2022-03-24 2023-03-16 可變光圈（ｖａ）相機系統中的散景效果

Country Status (3)

Country Link
US (1) US11727537B1 (zh)
TW (1) TW202345086A (zh)
WO (1) WO2023183743A1 (zh)

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5478215B2 (ja) * 2009-11-25 2014-04-23 オリンパスイメージング株式会社 撮影装置および撮影装置の制御方法
US20160042522A1 (en) * 2010-02-19 2016-02-11 Dual Aperture International Co. Ltd. Processing Multi-Aperture Image Data
US8363085B2 (en) * 2010-07-06 2013-01-29 DigitalOptics Corporation Europe Limited Scene background blurring including determining a depth map
US8593565B2 (en) * 2011-03-25 2013-11-26 Gary S. Shuster Simulated large aperture lens
JP5830348B2 (ja) * 2011-10-26 2015-12-09 オリンパス株式会社 撮像装置
AU2012258467A1 (en) * 2012-12-03 2014-06-19 Canon Kabushiki Kaisha Bokeh amplification
US9769365B1 (en) * 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
US9734551B1 (en) * 2013-12-01 2017-08-15 Google Inc. Providing depth-of-field renderings
CN103945118B (zh) * 2014-03-14 2017-06-20 华为技术有限公司 图像虚化方法、装置及电子设备
US9787899B1 (en) * 2014-08-12 2017-10-10 Amazon Technologies, Inc. Multiple captures with a variable aperture
US9292926B1 (en) * 2014-11-24 2016-03-22 Adobe Systems Incorporated Depth map generation
US9530214B2 (en) * 2014-12-04 2016-12-27 Sony Corporation Image processing system with depth map determination based on iteration count of blur difference and method of operation thereof
US10284835B2 (en) * 2015-09-04 2019-05-07 Apple Inc. Photo-realistic shallow depth-of-field rendering from focal stacks
CN106504220B (zh) * 2016-08-19 2019-07-23 华为机器有限公司 一种图像处理方法及装置
EP3525447B1 (en) * 2016-10-28 2023-10-25 Huawei Technologies Co., Ltd. Photographing method for terminal, and terminal
US10200599B1 (en) * 2017-09-07 2019-02-05 Qualcomm Incorporated Image capture setting determination in devices having access to multiple cameras
EP3704508B1 (en) * 2017-11-03 2023-07-12 Google LLC Aperture supervision for single-view depth prediction
US10810707B2 (en) * 2018-11-29 2020-10-20 Adobe Inc. Depth-of-field blur effects generating techniques
CN113016003A (zh) * 2019-03-21 2021-06-22 华为技术有限公司 景深图像重聚焦
US11132772B2 (en) * 2019-06-11 2021-09-28 Samsung Electronics Co., Ltd. Asymmetric normalized correlation layer for deep neural network feature matching
US11094041B2 (en) * 2019-11-29 2021-08-17 Samsung Electronics Co., Ltd. Generation of bokeh images using adaptive focus range and layered scattering
US11941782B2 (en) * 2020-06-16 2024-03-26 Adobe Inc. GPU-based lens blur rendering using depth maps
US11184553B1 (en) * 2020-09-23 2021-11-23 Qualcomm Incorporated Image signal processing in multi-camera system
US11756221B2 (en) * 2021-01-28 2023-09-12 Qualcomm Incorporated Image fusion for scenes with objects at multiple depths
US11863729B2 (en) * 2021-09-21 2024-01-02 Qualcomm Incorporated Systems and methods for generating synthetic depth of field effects

Also Published As

Publication number Publication date
US11727537B1 (en) 2023-08-15
WO2023183743A1 (en) 2023-09-28

Similar Documents

Publication Publication Date Title
US9111129B2 (en) Subject detecting method and apparatus, and digital photographing apparatus
KR20240024821A (ko) 개선된 장면 무결성을 위한 시간적 필터링 재시작
TW202335482A (zh) 利用感測器內變焦的高動態範圍（ｈｄｒ）攝影
WO2023164422A1 (en) Multi-frame auto exposure control (aec)
US20240007757A1 (en) Image processing for aperture size transition in a variable aperture (va) camera
TW202307791A (zh) 選擇性地增加具有多個感興趣區域的場景中的景深
TW202327344A (zh) 用於高動態範圍（ｈｄｒ）攝影中的並行訊框擷取的圖像感測器和資料處理
TW202345086A (zh) 可變光圈（ｖａ）相機系統中的散景效果
WO2023216089A1 (en) Camera transition for image capture devices with variable aperture capability
US11843858B1 (en) Machine learning for phase detection autofocus
US11582405B1 (en) Image data processing using non-integer ratio transforming for color arrays
WO2023123371A1 (en) Image correction based on activity detection
US20230412922A1 (en) Dynamic image capture device configuration for improved image stabilization
US12008763B2 (en) Variable aperture (VA) camera control for controlling a depth of focus
US20240177274A1 (en) Image effect rendering
KR20240031970A (ko) 노이즈 감소를 위한 캐스케이드 이미지 프로세싱
US20240046477A1 (en) Variable aperture (va) camera control for controlling a depth of focus
US20240185390A1 (en) Fusion of image frames for high dynamic range content
KR20240074767A (ko) 컬러 어레이들에 대해 비정수 비율 변환을 사용한 이미지 데이터 프로세싱
TW202345573A (zh) 定向增強的自動白平衡（ａｗｂ）收斂
KR20240001131A (ko) 계산적 사진촬영을 위한 이미지 정렬
WO2023250261A1 (en) Dynamic image capture device configuration for improved image stabilization
TW202232932A (zh) 多感測器設備中的相機感測器改變