TW202402037A - 用於具有可變光圈能力的圖像擷取設備的相機轉換 - Google Patents

用於具有可變光圈能力的圖像擷取設備的相機轉換 Download PDF

Info

Publication number
TW202402037A
TW202402037A TW112116182A TW112116182A TW202402037A TW 202402037 A TW202402037 A TW 202402037A TW 112116182 A TW112116182 A TW 112116182A TW 112116182 A TW112116182 A TW 112116182A TW 202402037 A TW202402037 A TW 202402037A
Authority
TW
Taiwan
Prior art keywords
image data
camera
image
adjusting
match
Prior art date
Application number
TW112116182A
Other languages
English (en)
Inventor
馮文春
賴宇任
張新悅
朱漢盧
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202402037A publication Critical patent/TW202402037A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/676—Bracketing for image capture at varying focusing conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/75—Circuitry for compensating brightness variation in the scene by influencing optical camera components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/703—SSIS architectures incorporating pixels for producing signals other than image signals
    • H04N25/705—Pixels for depth measurement, e.g. RGBZ

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Cameras In General (AREA)
  • Exposure Control For Cameras (AREA)

Abstract

本案提供了用於支援圖像處理的圖像擷取的系統、方法和設備。在第一態樣中，一種用於圖像處理的方法包括以下步驟：從第一圖像感測器接收第一圖像資料；從第二相機的第二圖像感測器接收第二圖像資料，其中第一圖像資料或第二圖像資料中的至少一個經由具有由第一相機或第二相機應用的調整光圈設置的可變光圈（VA）來接收；及/或經由調整第二圖像資料以匹配第一圖像資料的特性，基於第一圖像資料和第二圖像資料決定第一輸出訊框。亦主張保護和描述了其他態樣和特徵。

Description

用於具有可變光圈能力的圖像擷取設備的相機轉換
本專利申請案主張2022年5月10日提出申請的題為「CAMERA TRANSITION FOR IMAGE CAPTURE DEVICES WITH VARIABLE APERTURE CAPABILITY」的PCT申請案號PCT/CN2022/091865的優先權，其揭示內容經由引用合併於此。
本案的各態樣大體而言係關於圖像處理，更具體地，係關於處理具有多個圖像感測器的圖像擷取設備的圖像資料。一些特徵可以實現並提供改良的圖像處理，包括當在圖像擷取設備的圖像感測器之間轉換時改良的一致性。
圖像擷取設備是可以擷取一或多個數位圖像的設備，無論是用於照片的靜止圖像還是用於視訊的圖像序列。擷取設備可以整合到各種各樣的設備中。舉例而言，圖像擷取設備可以包括獨立的數位相機或數位視訊攝像機、配備有相機的無線通訊設備手機，諸如行動電話、蜂巢或衛星無線電電話、個人數位助理（PDA）、面板或平板電腦、遊戲設備、電腦設備（諸如網路攝像頭）、視訊監控攝像頭或具有數位成像或視訊功能的其他設備。
圖像擷取設備上的圖像感測器是包括偵測器陣列的元件，被配置為產生與偵測器接收的光量成比例的電信號。圖像感測器可以具有與偵測器陣列匹配的濾色器陣列，使得每個偵測器量測單個顏色的光的強度，在一些配置中，單個顏色的強度可以是紅色、藍色和綠色的強度。與圖像感測器相關聯的鏡頭將光導引到圖像感測器。鏡頭的特徵在於光圈大小，有時被稱為f-stop，f-stop限定光經由其被導引到圖像感測器的光圈的大小。更大的光圈大小（由更小的f-stop表示）允許圖像感測器擷取更多的光，例如，此舉提高了暗設置下的圖像品質。更小的光圈大小（由更大的f-stop表示）允許擷取更少的光，例如，此舉增加了聚焦深度（DOF）並增加了聚焦場景的量。
以下概述了本案的一些態樣，以提供對所論述的技術的基本理解。本概述不是本案的所有預期特徵的廣泛概述，並且既不意欲辨識本案的各個態樣的要訣或關鍵元素，亦不意欲圖示本案的任何或所有態樣的範疇。其唯一目的是以摘要形式呈現本案的一或多個態樣的一些概念，作為稍後呈現的更詳細描述的前奏。
圖像擷取設備可以包括多於一個的圖像感測器，以支援不同類型的攝影，諸如人像、夜晚、風景，並且該等圖像感測器中的每一個可以具有帶有不同光圈大小的不同相關聯的鏡頭系統。在一些態樣，圖像感測器中的一或多個可以具有可變光圈（VA）鏡頭系統，可以被配置為與圖像感測器一起使用。VA鏡頭系統允許在圖像擷取設備的操作期間改變光圈大小，此舉為圖像擷取設備或使用者提供了對擷取照片的亮度的控制和對擷取照片的焦深（DOF）的控制。
可變光圈相機模組可以在弱光場景中提供改良的品質，並可以經由允許使用者將相機配置為不同的光圈大小來提供自然散焦效果，其接收具有不同散焦量的不同光量。然而，同一相機應用的不同光圈設置將導致紋理/雜訊和DOF的差異。此外，圖像擷取設備的其他相機可以具有不可變光圈（non-VA），此舉可能導致在相機之間切換時以明顯的DOF轉換的形式的突然變化。本文揭示的實施例可以將圖像處理應用於轉換相機，同時經由在從VA相機轉換到非VA相機時對非VA圖像資料中的背景區域應用模糊以及經由在從非VA相機轉換成VA相機時設置VA相機的光圈以鏡像非VA相機的DOF，來提供相機轉換附近的DOF一致性。經由本文實施例中描述的一或多個技術的組合，DOF在切換相機時可以顯得更加一致。
在本案的一個態樣，一種用於圖像處理的方法包括以下步驟：從第一相機的第一圖像感測器接收第一圖像資料；從第二相機的第二圖像感測器接收第二圖像資料，其中經由具有由第一相機或第二相機應用的調整光圈設置的可變光圈（VA）來接收第一圖像資料或第二圖像資料中的至少一個；經由調整第二圖像資料以匹配第一圖像資料的特性，基於第一圖像資料和第二圖像資料決定第一輸出訊框。
在本案的附加態樣中，一種裝置包括至少一個處理器和耦合到至少一個處理器的記憶體。至少一個處理器被配置為執行操作，包括：從第一相機的第一圖像感測器接收第一圖像資料；從第二相機的第二圖像感測器接收第二圖像資料，其中經由具有由第一相機或第二相機應用的調整光圈設置的可變光圈（VA）來接收第一圖像資料或第二圖像資料中的至少一個；及/或經由調整第二圖像資料以匹配第一圖像資料的特性，基於第一圖像資料和第二圖像資訊決定第一輸出訊框。
在本案的附加態樣中，一種裝置包括：第一相機，包含第一圖像感測器；第二相機，包含第二圖像感測器；可變光圈，其中可變光圈被包括在第一相機或第二相機中的一個中；及至少一個處理器，耦合到第一相機和第二相機，記憶體，耦合到至少一個處理器，其中至少一個控制器被配置為執行操作，包括：從第一相機的第一圖像感測器接收第一圖像資料；從第二相機的第二圖像感測器接收第二圖像資料，其中經由具有由第一相機或第二相機應用的調整光圈設置的可變光圈（VA）來接收第一圖像資料或第二圖像資料中的至少一個；及/或經由調整第二圖像資料以匹配第一圖像資料的特性，基於第一圖像資料和第二圖像資料決定第一輸出訊框。
在本案的附加態樣中，一種裝置包括：用於從第一相機的第一圖像感測器接收第一圖像資料的構件；用於從第二相機的第二圖像感測器接收第二圖像資料的裝置，其中經由具有由第一相機或第二相機應用的調整光圈設置的可變光圈（VA）來接收第一圖像資料或第二圖像資料中的至少一個；及/或用於經由調整第二圖像資料以匹配第一圖像資料的特性來基於第一圖像資料和第二圖像資料決定第一輸出訊框的構件。
在本案的另一態樣中，非暫時性電腦可讀取媒體儲存指令，該等指令在由處理器執行時使處理器執行操作。該等操作包括：從第一相機的第一圖像感測器接收第一圖像資料；從第二相機的第二圖像感測器接收第二圖像資料，其中經由具有由第一相機或第二相機應用的調整光圈設置的可變光圈（VA）來接收第一圖像資料或第二圖像資料中的至少一個；及/或經由調整第二圖像資料以匹配第一圖像資料的特性，基於第一圖像資料和第二圖像資料決定第一輸出訊框。
圖像擷取設備，可以擷取一或多個數位圖像的設備，無論是靜止圖像照片還是視訊的圖像序列，皆可以被結合到各種各樣的設備中。舉例而言，圖像擷取設備可以包括獨立的數位相機或數位視訊攝像機、配備有相機的無線通訊設備手機（諸如行動電話、蜂巢或衛星無線電電話）、個人數位助理（PDA）、面板或平板電腦、遊戲設備、電腦設備（諸如網路攝像頭）、視訊監控攝像頭或具有數位成像或視訊功能的其他設備。
通常，本案描述了涉及具有圖像感測器和圖像信號處理器（ISP）的數位相機的圖像處理技術。ISP可以被配置為控制對來自一或多個圖像感測器的圖像訊框的擷取，並且處理來自一或多個圖像感測器的一或多個圖像訊框以在校正的圖像訊框中產生場景的視圖。校正的圖像訊框可以是形成視訊序列的圖像訊框序列的一部分。視訊序列可以包括從圖像感測器或其他圖像感測器接收的其他圖像訊框及/或基於來自圖像感測器或另一圖像感測器的輸入的其他校正圖像訊框。在一些實施例中，一或多個圖像訊框的處理可以在圖像感測器內執行，諸如在裝倉模組中執行。本文揭示的實施例中描述的圖像處理技術可以由諸如裝倉模組的電路系統、圖像感測器中的、圖像信號處理器（ISP）中的、應用處理器（AP）中的電路系統或者該等元件中的兩個或全部的組合來執行。
在一個實例中，圖像信號處理器可以接收指令，以回應於諸如相機應用軟體的軟體的載入來擷取圖像訊框序列，從而從圖像擷取設備產生預覽顯示。圖像信號處理器可以被配置為基於從一或多個圖像感測器接收的圖像訊框來產生單個輸出訊框流程。輸出訊框的單個流程可以包括來自圖像感測器的原始圖像資料、來自圖像感測器的裝倉圖像資料或者由圖像信號處理器內的一或多個演算法（諸如在裝倉模組中）處理的校正圖像訊框。例如，從圖像感測器獲得的圖像訊框（其在輸出到圖像信號處理器之前可能已經對資料執行了一些處理）可以在圖像信號處理器中經由圖像後處理引擎（IPE）及/或其他圖像處理電路系統（用於執行色調映射、人像照明、對比度增強、伽瑪校正等中的一或多個）來處理圖像訊框。
在圖像信號處理器使用圖像校正（諸如本文的各種實施例中描述的裝倉）決定表示場景的輸出訊框之後，輸出訊框可以作為單個靜止圖像及/或視訊序列的一部分顯示在設備顯示器上，作為圖片或視訊序列保存到儲存設備，經由網路傳輸，及/或列印到輸出媒體。例如，圖像信號處理器可以被配置為從不同的圖像感測器獲得圖像資料的輸入訊框（例如，圖元值），進而產生對應的圖像資料的輸出訊框（例如，預覽顯示訊框、靜止圖像擷取、視訊訊框、物件追蹤訊框等）。在其他實例中，圖像信號處理器可以將圖像資料的訊框輸出到各種輸出設備及/或相機模組以用於進一步處理，諸如用於3A參數同步（例如，自動對焦（AF）、自動白平衡（AWB）和自動曝光控制（AEC）），經由輸出訊框產生視訊檔案，配置用於顯示的訊框，配置用於儲存的訊框，經由網路連接傳輸訊框等。亦即，圖像信號處理器可以從一或多個圖像感測器獲得輸入訊框，每個圖像感測器皆耦合到一或多個相機鏡頭，並且進而可以產生輸出訊框流程並將其輸出到各種輸出目的地。
在一些態樣，可以經由將本案的圖像校正的各態樣與諸如高動態範圍（HDR）攝影或多訊框降雜（MFNR）的其他計算攝影技術相結合來產生校正的圖像訊框。利用HDR攝影，使用不同的曝光時間、不同的光圈、不同的鏡頭及/或其他特性來擷取第一圖像訊框和第二圖像訊框，當該兩個圖像訊框被組合時，該等特性可以得到融合圖像的改良的動態範圍。在一些態樣中，可以對MFNR攝影執行該方法，其中使用相同或不同的曝光時間來擷取第一圖像訊框和第二圖像訊框，並且將其融合以產生與擷取的第一圖像訊框相比具有降低的雜訊的校正的第一圖像訊框。
在一些態樣，設備可以包括圖像信號處理器或處理器（例如，應用處理器），其包含用於相機控制及/或處理的特定功能，諸如啟用或禁用裝倉模組或以其他方式控制圖像校正的各態樣。本文描述的方法和技術可以完全由圖像信號處理器或處理器執行，或者各種操作可以在圖像信號處理器和處理器之間分離，並且在一些態樣中在附加處理器之間分離。
裝置可以包括一個、兩個或更多個圖像感測器，諸如包括第一圖像感測器。當存在多個圖像感測器時，第一圖像感測器可以具有比第二圖像感測器更大的視場（FOV），或者第一圖像感測器可以具有與第二圖像感測器不同的靈敏度或不同的動態範圍。在一個實例中，第一圖像感測器可以是廣角圖像感測器，第二圖像感測器可以為遠攝圖像感測器。在另一實例中，第一感測器被配置為經由具有第一光軸的第一鏡頭獲得圖像，並且第二感測器被配置為經由具有與第一光軸不同的第二光軸的第二鏡頭獲得圖像。附加地或可替換地，第一鏡頭可以具有第一放大率，第二鏡頭可以具有不同於第一放大率的第二放大率。此種配置可以與行動設備上的鏡頭集群一起發生，諸如多個圖像感測器和相關聯的鏡頭位於行動設備的前側或後側的偏移位置。可以包括具有較大、較小或相同視場的附加圖像感測器。本文描述的圖像校正技術可以應用於從多感測器設備中的任何圖像感測器擷取的圖像訊框。
在本案的附加態樣中，揭示一種被配置用於圖像處理及/或圖像擷取的設備。裝置包括用於擷取圖像訊框的構件。裝置亦包括用於擷取表示場景的資料的一或多個構件，諸如圖像感測器（包括電荷耦合元件（CCD）、拜耳濾波器感測器、紅外（IR）偵測器、紫外（UV）偵測器、互補金屬氧化物半導體（CMOS）感測器）、飛行時間偵測器。裝置亦可以包括用於將光線累積及/或聚焦到一或多個圖像感測器中的一或多個構件（包括簡單鏡頭、複合鏡頭、球面鏡頭和非球面鏡頭）。可以控制該等元件以擷取輸入到本文所述的圖像處理技術的第一及/或第二圖像訊框。
在結合附圖回顧具體示例性態樣的以下描述之後，其他態樣、特徵和實現對於一般技術者將變得顯而易見。儘管可以相對於下文的某些態樣和附圖來論述特徵，但是各個態樣可以包括本文所論述的有利特徵中的一或多個。換言之，儘管一或多個態樣可以被論述為具有某些有利特徵，但是根據各個態樣亦可以使用此種特徵中的一或多個。以類似的方式，儘管以下可以將示例性態樣作為設備、系統或方法態樣來論述，但是示例性態樣可以在各種設備、系統和方法中實現。
方法可以作為包括使處理器執行方法的步驟的指令的電腦程式代碼嵌入在電腦可讀取媒體中。在一些實施例中，處理器可以是行動設備的一部分，包括第一網路配接器，被配置為經由複數個網路連接中的第一網路連接傳輸資料，諸如作為記錄或串流資料的圖像或視訊；及耦合到第一網路配接器和記憶體的處理器。處理器可以使得在諸如5G NR通訊網路的無線通訊網路上傳輸本文所述的校正圖像訊框。
前面已經相當廣泛地概述了根據本案的實例的特徵和技術優勢，以便可以更好地理解下文的詳細描述。下文將描述附加的特徵和優點。所揭示的概念和具體實例可以容易地用作修改或設計其他結構的基礎，以實現本案的相同目的。此種等效構造並不脫離所附請求項的範疇。當結合附圖考慮時，本文揭示的概念的特徵、其組織和操作方法以及相關的優點將從以下描述中更好地理解。提供每個附圖是為了說明和描述的目的，而不是作為請求項的限制的定義。
儘管在本案中經由對一些實例的說明來描述各態樣和實現，但熟習此項技術者將理解，在許多不同的佈置和場景中可能會出現附加的實現和用例。本文描述的創新可以在許多不同的平臺類型、設備、系統、形狀、尺寸、封裝佈置上實現。例如，各態樣及/或用途可以經由整合晶片實現和其他基於非模組元件的設備（例如，最終使用者設備、車輛、通訊設備、計算設備、工業設備、零售/採購設備、醫療設備、人工智慧（AI）啟用設備等）出現。儘管一些實例可能專門針對用例或應用，亦可能不專門針對用例和應用，但所描述的創新可能會出現各種各樣的適用性。實現可以在從晶片級或模組化元件到非模組化、非晶片級實現的範圍內，並且亦可以在合併所描述的創新的一或多個態樣的聚合、分散式或原始設備製造商（OEM）設備或系統的範圍內。在一些實際設置中，結合所描述的態樣和特徵的設備亦可能必然包括用於實現和實踐所主張保護和所描述的各態樣的附加元件和特徵。例如，無線信號的傳輸和接收必然包括許多用於類比和數位目的的元件（例如，硬體元件，包括天線、射頻（RF）鏈、功率放大器、調制器、緩衝器、處理器、交錯器、加法器/求和器等）。本文所述的創新可以在各種不同尺寸、形狀和構造的設備、晶片級元件、系統、分散式佈置、最終使用者設備等中實踐。
下文結合附圖提供的詳細描述意欲作為各種配置的描述，而不是意欲限制本案的範疇。相反，為了提供對本案標的的徹底理解，詳細描述包括具體細節。對於熟習此項技術者而言顯而易見的是，並非在每種情況下皆需要該等特定細節，並且在一些情況下，為了清楚起見，以方塊圖的形式圖示眾所周知的結構和元件。
本案提供了支援用於相機轉換的圖像處理的系統、裝置、方法和電腦可讀取媒體，包括從可變光圈（VA）相機到非VA相機以及從非VA相機到VA相機。
本案中描述的標的的特定實現可以被實現以得到以下潛在優點或益處中的一或多個。在一些態樣，本案提供了用於改良操作具有多個圖像感測器的圖像擷取設備的使用者體驗的技術。本案的實施例可以應用於隱藏圖像擷取設備的操作期間圖像外觀的突然變化。可以對從一個圖像感測器到另一圖像感測器的轉換平滑化，以減少由圖像擷取設備產生的圖像訊框序列中的突發性。在一或多個圖像感測器被配置在用於可變光圈（VA）操作的VA相機中的實施例中，轉換可能是特別有利的，因為VA相機可以作為轉換的一部分被調整。對於平滑轉換，可以根據在圖像資料中偵測的特定場景預先決定VA相機的光圈大小，及/或在相機切換時間之前基於非VA相機的光圈大小的匹配特性改變VA相機的光圈大小。匹配可以是指具有更像非VA相機的光圈大小的特性，此舉不需要完美匹配。當匹配導致與非VA相機的特性相似的特性時，特性可以被匹配，諸如具有近似相同的圖像亮度及/或具有圖像亮度相似性，使得圖像差異對使用者而言是不可察覺的。
用於使用一或多個圖像感測器擷取圖像訊框的示例性設備，諸如智慧手機，可以包括在設備的背面（例如，與使用者顯示器相對的一側）或正面（例如，和使用者顯示器相同的一側）上的兩個、三個、四個或更多個相機的配置。圖像感測器中的一或多個可以被配置用於可變光圈（VA）操作，諸如具有作為相機模組的一部分耦合到圖像感測器的可變光圈元件。具有多個圖像感測器的設備包括一或多個圖像信號處理器（ISP）、電腦視覺處理器（CVP）（例如，AI引擎）或用於處理由圖像感測器擷取的圖像的其他合適電路系統。一或多個圖像信號處理器可以將處理的圖像訊框提供給記憶體及/或處理器（諸如應用處理器、圖像前端（IFE）、圖像處理引擎（IPE）或其他合適的處理電路系統），用於進一步處理，諸如用於編碼、儲存、傳輸或其他操作。
如本文所使用的，圖像感測器可以是指圖像感測器本身以及耦合到圖像感測器的用於產生圖像訊框以供圖像信號處理器或其他邏輯電路系統處理或儲存在記憶體中的任何特定其他元件，無論是短期緩衝器還是長期非揮發性記憶體。例如，圖像感測器可以包括相機的其他元件，包括快門、緩衝器或用於存取圖像感測器的各個圖元的其他讀出電路系統。圖像感測器亦可以是指用於將類比信號轉換為圖像訊框的數位表示的類比前端或其他電路系統，被提供給耦合到圖像感測器的數位電路系統。
在以下描述中，闡述了許多具體細節，例如特定元件、電路和過程的實例，以提供對本案的全面理解。此處使用的術語「耦合」是指直接連接到或經由一或多個介入元件或電路連接。此外，在以下描述中，出於解釋的目的，提出了特定的命名法，以提供對本案的徹底理解。然而，對於熟習此項技術者而言顯而易見的是，實踐本文揭示的教示可能不需要該等特定細節。在其他情況下，以方塊圖的形式圖示眾所周知的電路和設備，以避免混淆本案的教示。
以下詳細描述的一些部分是根據程序、邏輯區塊、處理以及對電腦記憶體內的資料位元的操作的其他符號表示來呈現的。在本案中，程序、邏輯區塊、過程等被認為是導致期望結果的自一致的步驟或指令序列。該等步驟需要對實體量進行實體操作。通常，儘管不一定，該等量採取能夠在電腦系統中儲存、傳輸、組合、比較和以其他方式操縱的電信號或磁信號的形式。
在附圖中，單個方塊可以被描述為執行一或多個功能。由該方塊執行的一或多個功能可以在單個元件中或跨多個元件執行，及/或可以使用硬體、軟體或硬體和軟體的組合來執行。為了清楚地說明硬體和軟體的此種互換性，下文通常根據其功能來描述各種說明性元件、方塊、模組、電路和步驟。此種功能是實現為硬體還是實現為軟體取決於具體應用和對整體系統施加的設計約束。熟習此項技術者可以對每個具體應用以不同的方式實現所描述的功能，但是此種實現決策不應被解釋為導致偏離本案的範疇。此外，示例性設備可以包括除了所示的元件之外的元件，包括眾所周知的元件，諸如處理器、記憶體等。
揭示的各態樣可應用於包括或耦合到能夠擷取圖像訊框（或「訊框」）的兩個或更多個圖像感測器的任何電子設備。此外，本案的各態樣可以在具有或耦合到具有相同或不同能力和特性（諸如解析度、快門速度、感測器類型等）的圖像感測器的設備中實現。此外，本案的各態樣可以在用於處理圖像訊框的設備中實現，無論該設備是否包括或耦合到圖像感測器，諸如可以取得儲存的圖像以進行處理的處理設備，包括存在於雲端計算系統中的處理設備。
除非從以下論述中明確指出，可以理解，在本案中，使用諸如「存取」、「接收」、「發送」、「使用」、「選擇」、「決定」、「正規化」、「乘法」、「平均」、「監測」、「比較」、「應用」、「更新」、「量測」、「推導」、「解決」、「產生」等術語的論述是指電腦系統或類似的電子計算設備的動作和過程，其操縱並將表示為電腦系統的暫存器和記憶體內的實體（電子）量的資料轉換為類似地表示為電腦系統的暫存器、記憶體或其他此類資訊儲存、傳輸或顯示設備內的實體量的其他資料。
術語「設備」和「裝置」不限於一個或特定數量的實體物件（諸如一部智慧手機、一個攝像頭控制器、一個處理系統等）。如本文所使用的，設備可以是具有可以實現本案的至少一些部分的一或多個部件的任何電子設備。儘管以下描述和實例使用術語「設備」來描述本案的各個態樣，但術語「設備」不限於物件的特定配置、類型或數量。如本文所使用的，裝置可以包括用於執行所描述的操作的設備或設備的一部分。
圖1圖示用於從一或多個圖像感測器執行圖像擷取的示例性設備100的方塊圖。設備100可以包括或以其他方式耦合到圖像信號處理器112，用於處理來自一或多個圖像感測器（諸如第一圖像感測器101、第二圖像感測器102和深度感測器140）的圖像訊框。在一些實現中，設備100亦包括或耦合到處理器104和儲存指令108的記憶體106。設備100亦可以包括或耦合到顯示器114和輸入/輸出（I/O）元件116。I/O元件116可以用於與使用者互動，諸如觸控式螢幕介面及/或實體按鈕。I/O元件116亦可以包括用於與其他設備通訊的網路介面，包括廣域網路（WAN）配接器152、區域網路（LAN）配接器153及/或個人區域網路（PAN）配接器154。示例性WAN配接器是4G LTE或5G NR無線網路配接器。示例性LAN配接器153是IEEE 802.11 WiFi無線網路配接器。示例性PAN配接器154是藍芽無線網路配接器。配接器152、153及/或154中的每一個可以耦合到天線，包括被配置用於主接收和分集接收及/或被配置用於接收特定頻帶的多個天線。設備100可以進一步包括或耦合到用於設備100的電源118，諸如電池或將設備100耦合到能源的元件。設備100亦可以包括或耦合到圖1中未圖示的附加特徵或元件。在一個實例中，可以包括多個收發器和基頻處理器的無線介面可以耦合到用於無線通訊設備的WAN配接器152或包括在WAN配接器152中。在另一實例中，用於將類比圖像訊框資料轉換為數位圖像訊框資料的類比前端（AFE）可以耦合在圖像感測器101和102與圖像信號處理器112之間。
設備可以包括或耦合到感測器集線器150，用於與感測器介面連接以接收關於設備100的移動的資料、關於設備100周圍的環境的資料及/或其他非相機感測器資料。一個示例性的非相機感測器是陀螺儀，陀螺儀是一種被配置用於量測旋轉、定向及/或角速度以產生運動資料的設備。另一個示例性非相機感測器是加速度計，加速度計是一種被配置用於量測加速度的設備，其亦可以用於經由適當地積分量測的加速度來決定行進的速度和距離，並且加速度、速度及/或距離中的一或多個可以被包括在產生的運動資料中。在一些態樣，電子圖像穩定系統（EIS）中的陀螺儀可以耦合到感測器集線器或直接耦合到圖像信號處理器112。在另一個實例中，非相機感測器可以是全球定位系統（GPS）接收器。
圖像信號處理器112可以接收諸如用於形成圖像訊框的圖像資料。在一個實施例中，本端匯流排連接將圖像信號處理器112分別耦合到第一相機的圖像感測器101和第二相機的圖像感測器102。在另一個實施例中，有線介面將圖像信號處理器112耦合到外部圖像感測器。在另一個實施例中，無線介面將圖像信號處理器112耦合到圖像感測器101、102。
第一相機可以包括第一圖像感測器101和對應的第一鏡頭131。第二相機可以包括第二圖像感測器102和對應的第二鏡頭132。鏡頭131和132中的每一個可以由在ISP 112中執行的相關聯的自動聚焦（AF）演算法133來控制，調整鏡頭131和132以聚焦在距圖像感測器101和102一定場景深度的特定焦平面上。AF演算法133可以由深度感測器140來輔助。
第一圖像感測器101和第二圖像感測器102被配置為擷取一或多個圖像訊框。鏡頭131和132分別經由用於接收光的一或多個光圈、用於在曝光訊窗外阻擋光的一或多個快門、用於過濾特定頻率範圍外的光的一或多個濾色器陣列（CFA）、用於將類比量測轉換為數位資訊的一或多個類比前端及/或用於成像的其他合適的元件將光聚焦在圖像感測器101和102處。第一鏡頭131和第二鏡頭132可以具有不同的視場以擷取場景的不同表示。例如，第一鏡頭131可以是超寬（UW）鏡頭，第二鏡頭132可以是寬（W）鏡頭。多個圖像感測器可以包括超寬（高視場（FOV））、寬、遠和超遠（低FOV）感測器的組合。亦即，可以經由硬體配置及/或軟體設置來配置每個圖像感測器，以獲得不同但重疊的視場。在一種配置中，圖像感測器配置有具有不同放大率的不同鏡頭，不同放大率導致不同的視場。感測器可以被配置為使得UW感測器比W感測器具有更大的FOV，W感測器具有比T感測器更大的FOV，T感測器具有比UT感測器更大的FOV。例如，配置用於寬FOV的感測器可以擷取64-84度範圍內的視場，配置用於超側FOV的感測器可以擷取100-140度範圍內的視場，配置為遠視FOV的感測器可以擷取10-30度範圍內的視場，配置為超遠視FOV的感測器可以擷取1-8度範圍內的視場。
圖像信號處理器112處理由圖像感測器101和102擷取的圖像訊框。儘管圖1將設備100圖示為包括耦合到圖像信號處理器112的兩個圖像感測器101和102，但任何數量（例如，一個、兩個、三個、四個、五個、六個等）的圖像感測器皆可以耦合到圖像信號處理器112。在一些態樣中，諸如深度感測器140的深度感測器可以耦合到圖像信號處理器112，並且以與圖像感測器101和102類似的方式處理來自深度感測器的輸出。此外，設備100可以存在任何數量的附加圖像感測器或圖像信號處理器。
在一些實施例中，圖像信號處理器112可以執行來自記憶體的指令，諸如來自記憶體106的指令108、儲存在耦合到圖像信號處理器112或包括在圖像信號處理器112中的單獨記憶體中的指令或由處理器104提供的指令。此外，或者在替代方案中，圖像信號處理器112可以包括被配置為執行本案中描述的一或多個操作的特定硬體（諸如一或多個積體電路（IC））。例如，圖像信號處理器112可以包括一或多個圖像前端（IFE）135、一或多個圖像後處理引擎136（IPE）及/或一或多個自動曝光補償（AEC）134引擎。AF 133、AEC 134、AFE 135、APE 136中的每一個皆可以包括專用電路系統，體現為由ISP 112執行的軟體代碼，及/或ISP 112內的硬體和在ISP 112上執行的軟體代碼的組合。
在一些實現中，記憶體106可以包括非瞬態或非暫時性電腦可讀取媒體，其儲存用於執行本案中描述的一或多個操作的全部或一部分的電腦可執行指令108。在一些實現中，指令108包括要由設備100執行的用於產生圖像或視訊的相機應用軟體（或其他合適的應用軟體）。指令108亦可以包括由設備100執行的其他應用軟體或程式，諸如作業系統和除了用於圖像或視訊產生之外的特定應用軟體。諸如由處理器104執行相機應用軟體可以使得設備100使用圖像感測器101和102以及圖像信號處理器112來產生圖像。記憶體106亦可以由圖像信號處理器112存取以儲存處理的訊框，或者可以由處理器104存取以獲得處理的訊框。在一些實施例中，設備100不包括記憶體106。例如，設備100可以是包括圖像信號處理器112的電路，並且記憶體可以在設備100外部。設備100可以耦合到外部記憶體，並且被配置為存取記憶體以寫入用於顯示或長期儲存的輸出訊框。在一些實施例中，設備100是晶片上系統（SoC），其將圖像信號處理器112、處理器104、感測器集線器150、記憶體106和輸入/輸出元件116合併到單個封裝中。
在一些實施例中，圖像信號處理器112或處理器104中的至少一個執行指令以執行本文所述的各種操作，包括降雜操作。例如，指令的執行可以指示圖像信號處理器112開始或結束擷取圖像訊框或圖像訊框序列，其中擷取包括如本文實施例中所述的降雜。在一些實施例中，處理器104可以包括一或多個通用處理器核104A，其能夠執行一或多個軟體程式的腳本或指令，諸如儲存在記憶體106內的指令108。例如，處理器104可以包括一或多個應用處理器，其被配置為執行儲存在記憶體106中的相機應用軟體（或用於產生圖像或視訊的其他合適的應用軟體）。
在執行相機應用軟體時，處理器104可以被配置為指示圖像信號處理器112參考圖像感測器101或102執行一或多個操作。例如，相機應用軟體可以接收開始視訊預覽顯示的命令，在視訊預覽顯示上，從一或多個圖像感測器101或102擷取並處理包括圖像訊框序列的視訊。圖像校正，諸如利用級聯IPE，可以應用於序列中的一或多個圖像訊框。處理器104在相機應用軟體之外執行指令108亦可以使設備100執行任何數量的功能或操作。在一些實施例中，處理器104可以包括IC或其他硬體（例如，人工智慧（AI）引擎124），以及執行軟體以使設備100執行多個功能或操作（諸如本文所述的操作）的能力。在一些其他實施例中，設備100不包括處理器104，諸如當在圖像信號處理器112中配置所有所描述的功能時。
在一些實施例中，顯示器114可以包括允許使用者互動及/或向使用者呈現項目的一或多個合適的顯示器或螢幕，諸如由圖像感測器101和102擷取的圖像訊框的預覽。在一些實施例中，顯示器114是觸敏顯示器。I/O元件116可以是或包括任何合適的機構、介面或設備，以接收來自使用者的輸入（諸如命令）並經由顯示器114向使用者提供輸出。例如，I/O元件116可以包括（但不限於）圖形化使用者介面（GUI）、鍵盤、滑鼠、麥克風、揚聲器、可擠壓邊框、一或多個按鈕（諸如電源按鈕）、滑塊、開關等等。
儘管圖示為經由處理器104彼此耦合，但是元件（諸如處理器104、記憶體106、圖像信號處理器112、顯示器114和I/O元件116）可以以其他各種佈置彼此耦合，諸如經由一或多個本端匯流排，為了簡單起見，未圖示。儘管圖像信號處理器112被圖示為與處理器104分離，但是圖像信號處理器112可以是處理器104的核，其是應用處理器單元（APU），包括在晶片上系統（SoC）中，或者以其他方式包括在處理器104中。儘管在本文的實例中提到設備100用於執行本案的各態樣，但為了防止混淆本案的各個態樣，圖1中可能未圖示一些設備元件。此外，其他元件、元件數量或元件組合可以包括在用於執行本案的各態樣的合適設備中。因此，本案不限於特定的設備或元件的配置，包括設備100。
在圖像擷取設備的一些實施例中，第一相機及/或第二相機可以支援可變光圈（VA）操作，從而允許光圈在圖像資料的擷取期間變化。當一個相機被配置用於VA操作，而另一個相機不支援VA操作時，在VA和非VA相機之間切換圖像擷取操作時可能會發生突然變化。例如，在由VA相機和非VA相機擷取的相同圖像場景之間可能存在亮度、紋理、雜訊和聚焦深度（DOF）差異。可以執行圖像處理以平滑VA相機和非VA相機之間的轉換，或者反之亦然，使得來自圖像擷取設備的使用者預覽圖像、使用者記錄視訊、使用者記錄照片序列及/或來自圖像擷取設備的圖像訊框的其他輸出中的突發性或偽影。圖2A和圖2B分別圖示用於VA到非VA和非VA到VA相機之間轉換的示例性圖像處理。
圖2A是根據本案的一些實施例的用於從VA相機到非VA相機的切換的過程的圖示。例如，VA相機220可以產生用於形成輸出圖像訊框的圖像資料，用於在圖像擷取設備的顯示器上顯示。可以決定到非VA相機222的轉換，之後，來自VA相機220和非VA相機220兩者的圖像資料被用於形成輸出圖像訊框以顯示給使用者。在時間段202期間，包括來自VA相機220的圖像資料的VA圖像訊框被處理以匹配包括來自非VA相機222的圖像資料的非VA圖像訊框。接下來，在時間段204期間，包括來自非VA相機222的圖像資料的非VA圖像訊框被處理，以匹配包括來自VA相機220的圖像資料的VA圖像訊框。在時間段202和204期間，可以執行處理以產生從顯示來自VA相機220輸出的圖像資料到顯示來自非VA相機222輸出的圖像資料的平滑轉換。在一些實施例中，處理可以包括扭曲，其是指調整源相機的圖像資料以匹配目標相機圖像資料的視場。調整是以幾個圖像訊框的量決定的，以平滑VA相機220和非VA相機222的不同視場之間的轉換。處理亦可以包括其他調整以平滑相機之間的轉換，諸如背景模糊、背景銳化、圖像亮度、紋理、雜訊及/或其他。
以類似的方式，可以執行從非VA相機到VA相機的切換的過程。圖2B是根據本案的一些實施例的用於從非VA相機到VA相機的切換的過程的圖示。例如，非VA相機222可以產生用於形成輸出圖像訊框的圖像資料，用於在圖像擷取設備的顯示器上顯示。可以決定向VA相機220的轉換，之後來自非VA相機222和VA相機220兩者的圖像資料被用於形成輸出圖像訊框以顯示給使用者。在時間段212期間，包括來自非VA相機222的圖像資料的非VA圖像訊框被處理，以匹配包括來自VA相機220的圖像資料的VA圖像訊框。接下來，在時間段214期間，包括來自VA相機220的圖像資料的VA圖像訊框被處理，以匹配包括來自非VA相機222的圖像資料的非VA圖像訊框。在時間段212和214期間，可以執行處理以產生從顯示非VA相機222輸出的圖像資料到顯示從VA相機220輸出的圖像資料的平滑轉換。
在一些實施例中，從非VA相機到VA相機或從VA相機到非VA相機的轉換可以包括調整VA相機的光圈大小。例如，當如圖2B所示從非VA相機轉換為VA相機時，可以在時間段212的一部分期間調整VA相機的光圈大小，以減小非VA相機222和VA相機220之間的光圈大小差異。在時間段214期間及/或時間段214之後，VA相機220可以基於場景條件、使用者輸入或其他標準來調整光圈大小，而不基於非VA相機222的光圈大小。同樣，當如圖2A所示從VA相機轉換到非VA相機時，可以在時間段202的一部分期間調整VA相機的光圈大小，以減小VA相機220和非VA相機222之間的光圈大小差異。
可以由圖像擷取設備的處理器104執行從一個相機擷取的一個圖像資料的調整以匹配其他圖像資料的特性。處理器此種配置的一個實例如圖3所示，儘管其他邏輯電路系統可以類似地配置來處理圖像資料，諸如ISP 112的IFE 135。
圖3是圖示根據本案的一些實施例的用於在非VA和VA相機之間轉換的圖像處理技術的方塊圖。處理器104可以接收：第一圖像資料，諸如來自VA相機的圖像資料；及第二圖像資料，諸如來自非VA相機的圖像資料。在處理第一圖像資料和第二圖像資料之後，處理器104可以產生輸出圖像訊框310。在一些實施例中，輸出圖像訊框310可以經由在圖像擷取設備上執行的預覽應用程式被顯示在顯示器上。在一些實施例中，輸出圖像訊框310可以被輸出到視訊檔案。在一些實施例中，輸出圖像訊框310可以經由諸如無線通訊鏈路的網路將被傳輸到遠端位置，用於在圖像擷取設備的位置的另一位置處顯示或儲存。在一些實施例中，輸出圖像訊框310可以被導引到多個用途及/或位置，及/或在圖3所示的處理之外被進一步處理。
對第一和第二圖像資料的處理可以包括經由一或多個模組304A、304B、304C及/或304D的處理。例如，可以在背景模糊補償模組304A中執行處理。背景模糊補償模組304A可以處理第一圖像資料以匹配第二圖像資料的背景模糊。當從具有不同光圈大小的不同相機獲得第一和第二圖像資料時，圖像資料的聚焦深度（DOF）不同，導致如第一和第二圖像資料所表示的場景中的背景模糊量不同。因為更大的光圈大小導致背景中的DOF變淺，所以當切換到更小的光圈大小時，背景模糊可以被添加到從更小光圈大小獲取的圖像資料中，以匹配更大光圈大小的DOF。隨後，減少背景模糊的量，直到決定完成相機轉換為止，並且僅基於來自具有更小光圈大小的相機的圖像資料來產生輸出圖像訊框。同樣，當從具有更小光圈大小的相機切換到具有更大光圈大小的相機時，背景模糊可以在輸出圖像訊框310的後續訊框中經由轉換而逐漸增加，直到僅基於來自具有更大光圈大小的相機的圖像資料產生輸出圖像訊框為止。
作為另一實例，可以在圖像亮度對準模組304B中執行處理。圖像亮度對準模組304B可以處理第二圖像資料以匹配第一圖像資料的圖像亮度。因為更大光圈可以產生更亮圖像，所以當從具有更大光圈大小的相機切換到更小光圈大小時，可以增加第二圖像資料的平均亮度。隨後，圖像亮度增加的量可以逐漸減小，以使亮度與第一圖像資料的更小光圈對準。例如，可以經由增加第二相機的增益以匹配第一相機、並逐漸減小增益來調整亮度。在轉換完成之後，可以基於場景條件自動調整第二相機的增益，而不考慮第一相機的亮度。同樣，當從具有更小光圈大小的相機切換到具有更大光圈大小的相機時，可以減小增益以降低第二圖像資料中的圖像亮度，以匹配第一圖像資料的圖像亮度直到僅基於來自具有更大光圈大小的相機的圖像資料產生輸出圖像訊框為止。
作為進一步的實例，可以在紋理/雜訊對準模組304C中執行處理。紋理/雜訊對準模組304C可以處理第二圖像資料以匹配第一圖像資料的紋理或雜訊特性。因為由更大光圈擷取的圖像可能具有更高的銳度但具有更差的雜訊水平，所以處理第二圖像資料的可以包括對從具有更小光圈大小的相機獲取的第一圖像資料調整銳度及/或調整脈衝雜訊。隨後，所應用的銳度及/或雜訊度可以隨著時間的推移被調整，以適應與第一圖像資料相對應的相機。同樣，當從更小光圈大小切換到更大光圈大小時，處理可以越來越多地應用銳度及/或雜訊度，以向更大光圈大小平滑轉換。
作為另一實例，可以在視場扭曲模組304D中執行處理。扭曲模組304D可以處理第二圖像資料以匹配第一圖像資料的視場。由位於不同位置的兩個不同相機擷取的圖像資料可以具有不同的視場。此外，製造期間的錯位可能會進一步變換視場。更進一步地，兩個相機之間的不同變焦水平可能導致更進一步的不同視場。處理第二圖像資料的可以包括經由裁剪、合成或以其他方式調整第二圖像資料以匹配第一圖像資料的視場來進行扭曲。此種扭曲的量可以貫穿圖像訊框的序列而減少，直到僅基於來自第二相機的圖像資料產生輸出圖像訊框並且輸出圖像訊框具有與第二相機的位置、變焦水平和其他特性相對應的視場為止。
在一些實施例中，處理器104可以具有配置記錄，指示從其獲取第一圖像資料的第一相機的配置和從其獲取第二圖像資料的第二相機的配置。例如，配置記錄可以指示光圈大小、圖像感測器類型或其他資訊，處理器104可以使用該等資訊來決定調整第二圖像資料的特性以匹配第一圖像資料的相同特性的量。在背景模糊補償模組304A中，處理器104可以使用獲取第一圖像資料的第一相機的第一光圈大小和獲取第二圖像資料的第二相機的第二光圈大小來決定要添加到第二圖像資料以匹配第一圖像資料的背景模糊的量。
在一些實施例中，處理器104可以接收伴隨第一圖像資料和第二圖像資料的中繼資料，該中繼資料指示從其獲取第一圖像資料的第一相機的配置和從其獲取第二圖像資料的第二相機的配置。例如，第一中繼資料可以指示光圈大小、圖像感測器類型或其他資訊，處理器104可以使用該等資訊來決定調整第二圖像的特性以匹配第一圖像資料的相同特性的量。在背景模糊補償模組304A中，處理器104可以使用獲取第一圖像資料的第一相機的第一光圈大小和獲取第二圖像資料的第二相機的第二光圈大小來決定要添加到第二圖像資料以匹配第一圖像資料的背景模糊的量。
根據本文所述的一些實施例的方法在圖4中圖示。圖4是圖示根據本案的一些實施例的在非VA和VA相機之間的轉換期間處理圖像資料的方法的流程圖。方法400包括以下步驟：在方塊402處，從第一圖像感測器接收第一圖像資料。處理器104可以經由圖像信號處理器112及/或記憶體106從具有第一圖像感測器101的第一相機接收第一圖像資料。
在方塊404，從第二圖像感測器接收第二圖像資料，其中經由可變光圈接收第一圖像資料或第二圖像資料中的至少一個。可變光圈可以是包括第一圖像感測器或第二圖像感測器中的對應一個的相機的一部分，並且在一些實施例中，包括諸如鏡頭的附加相機元件。可變光圈可以是能夠減小由對應圖像感測器擷取的圖像資料的實際或有效光圈大小的任何元件，諸如一組可調整葉片或快門。可變光圈可以根據由相機應用的調整的光圈設置在不同的光圈大小之間進行控制，調整的光圈設置可以由相機外部的元件（諸如圖像信號處理器112）進行控制。耦合到可變光圈以經由可變光圈接收表示場景的光的圖像感測器可以被認為是配置有可變光圈（VA）操作的圖像感測器。處理器104可以經由圖像信號處理器112及/或記憶體106從具有第二圖像感測器102的第二相機接收第二圖像資料。
在方塊406，經由調整第二圖像資料以匹配第一圖像資料的特性，基於第一圖像資料和第二圖像資料來決定第一輸出圖像訊框。例如，方塊406的處理可以由至少部分地如圖3所示配置的處理器104執行。例如，調整第二圖像資料可以包括調整第二圖像資料以匹配第一圖像資料的聚焦深度（DOF）。作為另一實例，調整第二圖像資料可以包括扭曲第二圖像資料以匹配第一圖像資料的視場（FOV）。作為另一實例，調整第二圖像資料可以包括調整第二圖像資料以匹配第一圖像資料的圖像亮度。
在一些實施例中，方法400可以被啟動用於從第一相機轉換到第二相機。例如，在方塊406之前，方法400可以包括以下步驟：在決定方塊406的第一輸出訊框之前決定從第一圖像感測器切換到第二圖像感測器。在決定第一輸出圖像訊框之後，方法可以繼續處理圖像資料以改變調整量，使得在輸出圖像訊框中獲得從第一相機的特性到第二相機的特性的平滑轉換。例如，方法400亦可以包括以下步驟：從第一圖像感測器接收第三圖像資料和從第二圖像感測器接收第四圖像資料，其可以被用於基於第三圖像資料和第四圖像資料來決定第一複數個輸出訊框，用於VA圖像感測器和非VA圖像感測器之間的轉換。在決定轉換完成之後，方法400可以繼續處理來自第二相機的附加圖像資料以決定輸出圖像訊框，諸如經由從第二圖像感測器接收第五圖像資料並基於第五圖像圖像資料而不參考來自第一圖像感測器的圖像資料來決定第二複數個輸出訊框。
參考圖5描述當從VA相機到非VA相機的轉換時的處理的實施例的附加細節。圖5是圖示根據本案的一些實施例的在VA相機到非VA相機的轉換期間處理圖像資料的示例性方法的流程圖。在圖5的操作中，主相機是VA相機，且從相機是非VA相機。方法500可以包括以下步驟：在方塊502處，決定第一圖像感測器的第一光圈大小和第二圖像感測器的第二光圈大小之間的差異。例如，處理器可以決定兩個光圈大小之間的紋理、雜訊及/或聚焦深度的差異。該決定可以包括經由提取的兩個光圈大小之間的梯度比較來估計紋理/雜訊水平和模糊度的關係。梯度可以被用於決定雜訊水平及/或紋理水平，雜訊水平及/或紋理水平可以用作圖像資料的清晰度和銳度的度量。兩個圖像資料之間的梯度關係可以被用於決定當從第一相機轉換到第二相機時應用於第二圖像資料的匹配量。
在方塊504處，調整第二圖像資料以匹配第一圖像資料的聚焦深度（DOF），並且在方塊506處可能匹配其他特性。方塊504和506的調整可以在執行轉換時被應用於從第一圖像感測器和第二圖像感測器獲取的每個圖像訊框。在方塊508處，可以基於調整的第二圖像資料來決定輸出圖像訊框，其中因為方塊504和506的調整是基於第一圖像資料的，所以輸出圖像訊框是基於第一圖像資料和第二圖像資料的。在方塊510處，方法500繼續決定附加的輸出圖像訊框以從VA操作轉換到非VA操作，諸如經由在方塊504和506處逐漸減少調整量以達到不基於第一圖像資料調整第二圖像資料的時間。
參考圖6描述從非VA相機到VA相機的轉換時的處理的實施例的附加細節。圖6是圖示根據本案的一些實施例的在從非VA相機到VA相機的轉換期間處理圖像資料的示例性方法的流程圖。在圖6的操作中，從相機是VA相機，且主相機是非VA相機。方法600包括以下步驟：在方塊602處決定轉換到VA相機以及VA相機的目標光圈大小。方塊602可以包括偵測場景類型，諸如經由基於AEC照度指數及/或深度資訊的場景偵測演算法和環境模型來決定條件，諸如低光場景、多深度場景或無限場景。例如，當偵測到低光場景時，可以將用於VA相機的比當前非VA相機更大的光圈大小設置為目標光圈大小。作為另一實例，當偵測到多深度場景時，可以將用於VA相機的比當前非VA相機更小的光圈大小設置為目標光圈大小。作為進一步的實例，當偵測到無限場景時，當滿足第一標準時，諸如對更好的角銳度的偏好時，可以將用於VA相機的比當前非VA相機更小的光圈大小設置為目標光圈大小。否則，當滿足第二標準時，諸如不偏好更好的角銳度時，可以將用於VA相機的比當前非VA相機更大的光圈大小設置為目標光圈大小。
隨後可以啟動轉換並輸出基於第一圖像資料和第二圖像資料決定的圖像訊框。在方塊604處，調整VA相機以匹配在方塊602處決定的目標光圈大小。在方塊606，來自VA相機的第二圖像資料被調整以匹配來自非VA相機的第一圖像資料的一或多個特性。在方塊608處，基於調整的第二圖像資料來決定輸出圖像訊框。在一些實施例中，方塊604的VA相機配置可以在根據方塊606和608的輸出圖像訊框的產生期間執行。附加的輸出圖像訊框可以被決定以從非VA操作轉換到VA操作，直到僅基於VA相機的第二圖像資料產生輸出圖像訊框為止。
在一或多個態樣中，用於支援圖像擷取及/或圖像處理的技術可以包括附加的態樣，諸如以下描述的任何單個態樣或多個態樣的任何組合，或者結合本文其他地方描述的一或多個其他過程或設備。在第一態樣中，支援圖像擷取可以包括被配置為經由多個相機擷取場景的裝置，其中一或多個相機可以具有可變光圈。裝置亦被配置為執行操作，包括：從第一相機的第一圖像感測器接收第一圖像資料；從第二相機的第二圖像感測器接收第二圖像資料，其中經由具有由第一相機或第二相機應用的調整光圈設置的可變光圈（VA）來接收第一圖像資料或第二圖像資料中的至少一個；及經由調整第二圖像資料以匹配第一圖像資料的特性，基於第一圖像資料和第二圖像資料決定第一輸出訊框。
此外，裝置可以根據如下所述的一或多個態樣來執行或操作。在一些實現中，裝置包括無線設備，諸如UE。在一些實現中，裝置可以包括至少一個處理器以及耦合到處理器的記憶體。處理器可以被配置為執行本文中關於裝置描述的操作。在一些其他實現中，裝置可以包括其上記錄有程式碼的非暫時性電腦可讀取媒體，並且程式碼可以由電腦執行，用於使電腦執行本文中參考裝置描述的操作。在一些實現中，裝置可以包括一或多個被配置為執行本文所述操作的構件。在一些實現中，圖像資料（包括照片及/或視訊）的無線通訊方法可以包括本文中參考裝置描述的一或多個操作。
在第二態樣中，結合第一態樣，調整第二圖像資料包括調整第二圖像資料以匹配第一圖像資料的聚焦深度（DOF）。
在第三態樣中，與第一態樣或第二態樣中的一或多個相結合，調整第二圖像資料亦包括將第二圖像資料扭曲以匹配第一圖像資料的視場（FOV）。
在第四態樣中，結合第一態樣至第三態樣中的一或多個，裝置亦可以被配置為在決定第一輸出訊框之前決定從第一圖像感測器切換到第二圖像感測器。
在第五態樣中，結合第一態樣至第四態樣中的一或多個，裝置亦可以被配置為在決定第一輸出訊框之後：從第一圖像感測器接收第三圖像資料；從第二圖像感測器接收第四圖像資料；基於第三圖像資料和第四圖像資料決定用於在VA相機和非VA相機之間轉換的第一複數個輸出訊框；從第二圖像感測器接收第五圖像資料；及基於第五圖像資料來決定第二複數個輸出訊框。
在第六態樣中，結合第一態樣至第五態樣中的一或多個，裝置亦可以被配置為在決定第一輸出訊框之前，決定從第一圖像感測器切換到第二圖像感測器，其中第一相機包括可變光圈（VA），其中調整第二圖像資料包括調整調整第二圖像資料以匹配第一圖像資料的背景模糊。
在第七態樣中，結合第一態樣至第六態樣中的一或多個，調整第二圖像資料包括調整第二圖像資料以匹配第一圖像資料的聚焦深度（DOF）。
在第八態樣中，結合第一態樣至第七態樣中的一或多個，調整第二圖像資料亦包括調整第二圖像資料以匹配第一圖像資料的圖像亮度。
在第九態樣中，結合第一態樣至第八態樣中的一或多個，裝置亦可以被配置為在決定第一輸出訊框之前，決定從第一圖像感測器切換到第二圖像感測器，其中第二相機包括可變光圈（VA），以及調整第二相機的第二光圈大小以匹配第一相機的第一光圈大小。
在第十態樣中，結合第一態樣至第九態樣中的一或多個，調整第二圖像資料包括調整第二圖像資料以匹配第一圖像資料的聚焦深度（DOF）。
在第十一態樣中，結合第一態樣至第十態樣中的一或多個，調整第二圖像資料亦包括調整第二圖像資料以匹配第一圖像資料的圖像亮度。
熟習此項技術者將理解，可以使用各種不同技術中的任何一種來表示資訊和信號。例如，可以經由電壓、電流、電磁波、磁場或粒子、光場或粒子，或其任何組合來表示在整個以上描述中可以參考的資料、指令、命令、資訊、信號、位元、符號和碼片。
本文中關於圖1-圖6描述的元件、功能方塊和模組包括處理器、電子設備、硬體設備、電子元件、邏輯電路、記憶體、軟體代碼、韌體代碼以及其他實例，或者其任何組合。軟體應廣義解釋為意思是指令、指令集、代碼、程式碼片段、程式碼、程式、副程式、軟體模組、應用程式、軟體應用程式、套裝軟體、常式、子常式、物件、可執行檔案、執行執行緒、程序及/或功能，以及其他實例，無論是指軟體、韌體、中間軟體、微碼，硬體描述語言或其他語言。此外，本文所論述的特徵可以經由專用處理器電路系統、經由可執行指令或其組合來實現。
熟習此項技術者將進一步理解，結合本文揭示描述的各種說明性邏輯區塊、模組、電路和演算法步驟可以實現為電子硬體、電腦軟體或兩者的組合。為了清楚地說明硬體和軟體的此種互換性，上文已經大體上根據其功能描述了各種說明性元件、方塊、模組、電路和步驟。此種功能是實現為硬體還是實現為軟體取決於具體應用和對整體系統施加的設計約束。熟習此項技術者可以對每個具體應用以不同的方式實現所描述的功能，但是此種實現決策不應被解釋為導致偏離本案的範疇。熟習此項技術者亦將容易地認識到，本文所描述的元件、方法或互動的順序或組合僅僅是實例，並且本案的各個態樣的元件、方法或互動可以以不同於本文所圖示和描述的方式來組合或執行。
結合本文揭示的實現描述的各種說明性邏輯、邏輯區塊、模組、電路和演算法過程可以實現為電子硬體、電腦軟體或兩者的組合。硬體和軟體的互換性已經在功能態樣進行了一般性描述，並在上述各種說明性元件、方塊、模組、電路和過程中進行了說明。此種功能是以硬體還是軟體實現取決於具體應用和對整體系統施加的設計約束。
用於實現結合本文揭示的各態樣描述的各種說明性邏輯、邏輯區塊、模組和電路的硬體和資料處理裝置可以用通用單晶片或多晶片處理器、數位信號處理器（DSP）、特殊應用積體電路（ASIC），現場可程式設計閘陣列（FPGA）或其他可程式設計邏輯設備、個別閘門或電晶體邏輯、離散硬體元件或其被設計為執行本文所述的功能的任何組合實現或執行。通用處理器可以是微處理器，或者任何習知的處理器、控制器、微控制器或狀態機。在一些實現中，處理器可以被實現為計算設備的組合，諸如DSP和微處理器的組合、複數個微處理器、與DSP核結合的一或多個微處理器或者任何其他此種配置。在一些實現中，具體過程和方法可以由特定於給定功能的電路系統來執行。
在一或多個態樣中，所描述的功能可以在硬體、數位電子電路系統、電腦軟體、韌體中實現，包括本說明書中揭示的結構及其結構均等物，或者以其任何組合來實現。本說明書中描述的標的的實現亦可以實現為一或多個電腦程式，亦即電腦程式指令的一或多個模組，編碼在電腦儲存媒體上以供資料處理裝置執行或控制資料處理裝置的操作。
若以軟體實現，則功能可以作為一或多個指令或代碼儲存在電腦可讀取媒體上或經由電腦可讀取媒體傳輸。本文揭示的方法或演算法的過程可以在可以常駐在電腦可讀取媒體上的處理器可執行軟體模組中實現。電腦可讀取媒體包括電腦儲存媒體和通訊媒體，包括能夠將電腦程式從一個地方傳送到另一個地方的任何媒體。儲存媒體可以是電腦可以存取的任何可用媒體。作為實例而非限制，此種電腦可讀取媒體可以包括隨機存取記憶體（RAM）、唯讀記憶體（ROM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、CD-ROM或其他光碟儲存、磁碟儲存或其他磁儲存設備，或者可以用於以指令或資料結構的形式儲存期望的程式碼並且可以由電腦存取的任何其他媒體。此外，任何連接皆可以適當地稱為電腦可讀取媒體。如本文所使用的磁碟和光碟包括壓縮光碟（CD）、鐳射光碟、光碟、數位多功能光碟（DVD）、軟碟和藍光光碟，其中磁碟通常磁性地再現資料，而光碟用鐳射光學地再現資料。上述內容的組合亦應包括在電腦可讀取媒體的範疇內。此外，方法或演算法的操作可以作為代碼和指令的一個或任何組合或集合存在於機器可讀取媒體和電腦可讀取媒體上，其可以被併入電腦程式產品中。
對熟習此項技術者而言，對本案中描述的實現的各種修改可能是顯而易見的，並且在不脫離本案的精神或範疇的情況下，本文定義的一般原理可以應用於一些其他實現。因此，請求項不意欲局限於本文所示的實現，而是應符合本案、本文所揭示的原理和新穎特徵的最寬範疇。
此外，一般技術者將容易理解，術語「上」和「下」有時用於便於描述附圖，並且指示與適當定向的頁面上的附圖的定向相對應的相對位置，並且可能不反映所實現的任何設備的適當定向。
本說明書中在單獨實現的上下文中描述的某些特徵亦可以在單個實現中組合實現。相反，在單個實現的上下文中描述的各種特徵亦可以在多個實現中單獨地或在任何合適的子組合中實現。此外，儘管特徵在上文中可以被描述為以某些組合起作用，甚至最初如此宣稱，但在某些情況下，可以從組合中刪除所主張保護的組合中的一或多個特徵，並且可以將所主張保護的組合用於子組合或子組合的變型。
類似地，儘管在附圖中以特定順序圖示了操作，但是此舉不應理解為要求以所示的特定順序或以連續的順序執行此種操作，或者執行所有圖示的操作以實現期望的結果。此外，附圖可以以流程圖的形式示意性地圖示一或多個示例性過程。然而，未圖示的其他操作可以結合在示意性圖示的示例性過程中。例如，可以在任何所示操作之前、之後、同時或之間執行一或多個附加操作。在某些情況下，多工處理和並行處理可能是有利的。此外，不應將上述實現中的各種系統元件的分離理解為在所有實現中皆需要此種分離，並且應當理解，所描述的程式元件和系統通常可以一起整合在單個軟體產品或打包成多個軟體產品。此外，一些其他實現亦在以下請求項的範疇內。在一些情況下，請求項中所述的動作可以以不同的順序執行，並且仍然實現期望的結果。
如本文中所使用的，包括在請求項中，當在兩個或更多個項目的列表中使用時，術語「或」是指所列出的項目中的任何一個可以單獨使用，或者可以使用所列出的兩個或更多個項目的任何組合。例如，若組合被描述為包含元件A、B或C，則組合可以包含單獨A；單獨B；單獨C；A和B的組合；A和C的組合；B和C的組合；或A、B和C的組合。此外，如本文所用，包括在申請專利範圍中，以「至少一個」開頭的項目列表中使用的「或」表示析取列表，使得例如，「A、B或C中的至少一個」的列表表示A或B或C或AB或AC或BC或ABC（亦即A、B和C）或其中的任何組合。如一般技術者所理解的，術語「實質上」被定義為在很大程度上但不一定完全所指定的內容（並且包括所指定的內容；例如，實質上90度包括90度，並且實質上平行包括平行）。在任何揭示的實現中，術語「實質上」（或「大致上」）可替換為「在規定範圍內[百分比]」，其中百分比包括0.1%、1%、5%或10%。
提供本案的先前描述是為了使任何熟習此項技術者能夠進行或使用本案。對熟習此項技術者而言，對本案的各種修改將是顯而易見的，並且在不脫離本案的精神或範疇的情況下，本文定義的一般原理可以應用於其他變型。因此，本案不意欲局限於本文所述的實例和設計，而是應符合本文所揭示的原理和新穎特徵的最寬範疇。
100:設備 101:第一圖像感測器 102:第二圖像感測器 104:處理器 104A:通用處理器核 106:記憶體 108:指令 112:圖像信號處理器 114:顯示器 116:I/O元件 118:電源 124:人工智慧（AI）引擎 131:第一鏡頭 132:第二鏡頭 133:AF演算法 134:自動曝光補償（AEC） 135:AFE 136:APE 140:深度感測器 150:感測器集線器 152:廣域網路（WAN）配接器 153:區域網路（LAN）配接器 154:個人區域網路（PAN）配接器 202:時間段 204:時間段 212:時間段 214:時間段 220:VA相機 222:非VA相機 304A:背景模糊補償模組 304B:圖像亮度對準模組 304C:紋理/雜訊對準模組 304D:扭曲模組 310:輸出圖像訊框 400:方法 402:方塊 404:方塊 406:方塊 500:方法 502:方塊 504:方塊 506:方塊 508:方塊 510:方塊 600:方法 602:方塊 604:方塊 606:方塊 608:方塊
可以經由參考以下附圖來實現對本案的性質和優點的進一步理解。在附圖中，類似的元件或特徵可以具有相同的元件符號。此外，可以經由在元件符號後面加上破折號和在相似元件之間進行區分的第二標籤來區分相同類型的各種元件。若在說明書中僅使用第一元件符號，則本說明書適用於具有相同第一元件符號的任何一個類似元件，而與第二元件符號無關。
圖1圖示用於從一或多個圖像感測器執行圖像擷取的示例性設備100的方塊圖。
圖2A是根據本案的一些實施例的用於從VA相機到非VA相機的切換的過程的圖示。
圖2B是根據本案的一些實施例的用於從非VA相機到VA相機的切換的過程的圖示。
圖3是圖示根據本案的一些實施例的用於非VA和VA相機之間轉換的圖像處理技術的方塊圖。
圖4是圖示根據本案的一些實施例的非VA和VA相機之間的轉換期間處理圖像資料的方法的流程圖。
圖5是圖示根據本案的一些實施例的在從VA相機到非VA相機的轉換期間處理圖像資料的示例性方法的流程圖。
圖6是圖示根據本案的一些實施例的在從非VA相機到VA相機的轉換期間處理圖像資料的示例性方法的流程圖。
在各種附圖中相同的元件符號和標號指示相同的元件。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
400:方法
402:方塊
404:方塊
406:方塊

Claims (30)

  1. 一種方法，包括以下步驟： 從一第一相機的一第一圖像感測器接收第一圖像資料； 從一第二相機的一第二圖像感測器接收第二圖像資料，其中該第一圖像資料或該第二圖像資料中的至少一個經由具有由該第一相機或該第二相機應用的一調整光圈設置的一可變光圈（VA）來接收； 經由調整該第二圖像資料以匹配該第一圖像資料的一特性，基於該第一圖像資料和該第二圖像資料決定一第一輸出訊框。
  2. 根據請求項1之方法，其中調整該第二圖像資料之步驟包括以下步驟：調整該第二圖像資料以匹配該第一圖像資料的一聚焦深度（DOF）。
  3. 根據請求項2之方法，其中調整該第二圖像資料之步驟亦包括以下步驟：扭曲該第二圖像資料以匹配該第一圖像資料的一視場（FOV）。
  4. 根據請求項2之方法，亦包括以下步驟： 在決定該第一輸出訊框之前，決定從該第一圖像感測器切換到該第二圖像感測器； 在決定該第一輸出訊框之後： 從該第一圖像感測器接收第三圖像資料； 從該第二圖像感測器接收第四圖像資料； 基於該第三圖像資料和該第四圖像資料決定用於在一可變光圈（VA）相機和一非可變光圈（VA）相機之間轉換的第一複數個輸出訊框； 從該第二圖像感測器接收第五圖像資料；及 基於該第五圖像資料來決定第二複數個輸出訊框。
  5. 根據請求項1之方法，亦包括以下步驟：在決定該第一輸出訊框之前，決定從該第一圖像感測器切換到該第二圖像感測器，其中該第一相機包括該可變光圈，其中調整該第二圖像資料之步驟包括以下步驟：調整該第二圖像資料以匹配該第一圖像資料的一背景模糊。
  6. 根據請求項5之方法，其中調整該第二圖像資料之步驟包括以下步驟：調整該第二圖像資料以匹配該第一圖像資料的一聚焦深度（DOF）。
  7. 根據請求項6之方法，其中調整該第二圖像資料之步驟亦包括以下步驟：調整該第二圖像資料以匹配該第一圖像資料的一圖像亮度。
  8. 根據請求項1之方法，亦包括以下步驟： 在決定該第一輸出訊框之前： 決定從該第一圖像感測器切換到該第二圖像感測器，其中該第二相機包括該可變光圈（VA）；及 調整該第二相機的一第二光圈大小以匹配該第一相機的一第一光圈大小。
  9. 根據請求項8之方法，其中該調整該第二圖像資料之步驟包括以下步驟：調整該第二圖像資料以匹配該第一圖像資料的一聚焦深度（DOF）。
  10. 根據請求項9之方法，其中該調整該第二圖像資料之步驟亦包括以下步驟：調整該第二圖像資料以匹配該第一圖像資料的一圖像亮度。
  11. 一種裝置，包括： 一第一相機，包括一第一圖像感測器； 一第二相機，包括一第二圖像感測器； 一可變光圈，其中該可變光圈被包括在該第一相機或該第二相機中的一個中； 一記憶體，儲存處理器可讀取代碼；及 至少一個處理器，耦合到該記憶體、該第一相機和該第二相機，其中該至少一個控制器被配置為執行該處理器可讀取代碼，以使該至少一個處理器執行操作，包括： 從該第一圖像感測器接收第一圖像資料； 從該第二圖像感測器接收第二圖像資料，其中該第一圖像資料或該第二圖像資料中的至少一個根據由該第一相機或該第二相機應用的一調整光圈設置經由該可變光圈來接收； 經由調整該第二圖像資料以匹配該第一圖像資料的一特性，基於該第一圖像資料和該第二圖像資料決定一第一輸出訊框。
  12. 根據請求項11之裝置，其中該調整該第二圖像資料包括調整該第二圖像資料以匹配該第一圖像資料的一聚焦深度（DOF）。
  13. 根據請求項12之裝置，其中該調整該第二圖像資料亦包括扭曲該第二圖像資料以匹配該第一圖像資料的一視場（FOV）。
  14. 根據請求項12之裝置，其中該至少一個處理器被配置為執行進一步操作，包括： 在決定該第一輸出訊框之前，決定從該第一相機切換到該第二相機； 在決定該第一輸出訊框之後： 從該第一圖像感測器接收第三圖像資料； 從該第二圖像感測器接收第四圖像資料； 基於該第三圖像資料和該第四圖像資料決定用於在該第一相機和該第二相機之間轉換的第一複數個輸出訊框； 從該第二圖像感測器接收第五圖像資料；及 基於該第五圖像資料來決定第二複數個輸出訊框。
  15. 根據請求項14之裝置，其中該至少一個處理器被配置為執行進一步操作，包括：在決定該第一輸出訊框之前，決定從該第一相機切換到該第二相機，其中該第一相機包括該可變光圈（VA），其中調整該第二圖像資料包括調整該第二圖像資料以匹配該第一圖像資料的一背景模糊。
  16. 根據請求項15之裝置，其中該調整該第二圖像資料包括調整該第二圖像資料以匹配該第一圖像資料的一聚焦深度（DOF）。
  17. 根據請求項16之裝置，其中該調整該第二圖像資料亦包括調整該第二圖像資料以匹配該第一圖像資料的一圖像亮度。
  18. 根據請求項11之裝置，其中該至少一個處理器被配置為執行進一步操作，包括： 在決定該第一輸出訊框之前： 決定從該第一相機切換到該第二相機，其中該第二相機包括該可變光圈（VA）；及 調整該第二相機的一第二光圈大小以匹配該第一相機的一第一光圈大小。
  19. 根據請求項18之裝置，其中該調整該第二圖像資料包括調整該第二圖像資料以匹配該第一圖像資料的一聚焦深度（DOF）。
  20. 根據請求項19之裝置，其中該調整該第二圖像資料亦包括調整該第二圖像資料以匹配該第一圖像資料的一圖像亮度。
  21. 一種儲存指令的非暫時性電腦可讀取媒體，該等指令在由一處理器執行時使該處理器執行操作，包括： 從一第一相機的一第一圖像感測器接收第一圖像資料； 從一第二相機的一第二圖像感測器接收第二圖像資料，其中該第一圖像資料或該第二圖像資料中的至少一個經由具有由該第一相機或該第二相機應用的一調整光圈設置的一可變光圈（VA）來接收； 經由調整該第二圖像資料以匹配該第一圖像資料的一特性，基於該第一圖像資料和該第二圖像資料決定一第一輸出訊框。
  22. 根據請求項21之非暫時性電腦可讀取媒體，其中該調整該第二圖像資料包括調整該第二圖像資料以匹配該第一圖像資料的一聚焦深度（DOF）。
  23. 根據請求項22之非暫時性電腦可讀取媒體，其中該調整該第二圖像資料亦包括扭曲該第二圖像資料以匹配該第一圖像資料的一視場（FOV）。
  24. 根據請求項22之非暫時性電腦可讀取媒體，其中該等操作亦包括以下一或多個操作： 在決定該第一輸出訊框之前，決定從該第一圖像感測器切換到該第二圖像感測器； 在決定該第一輸出訊框之後： 從該第一圖像感測器接收第三圖像資料； 從該第二圖像感測器接收第四圖像資料； 基於該第三圖像資料和該第四圖像資料決定用於在一VA相機和一非VA相機之間轉換的第一複數個輸出訊框； 從該第二圖像感測器接收第五圖像資料；及 基於該第五圖像資料來決定第二複數個輸出訊框。
  25. 根據請求項21之非暫時性電腦可讀取媒體，其中該等操作亦包括以下一或多個操作： 在決定該第一輸出訊框之前： 決定從該第一圖像感測器切換到該第二圖像感測器，其中該第二相機包括該可變光圈（VA）；及 調整該第二相機的一第二光圈大小以匹配該第一相機的一第一光圈大小。
  26. 一種裝置，包括： 一記憶體，儲存處理器可讀取代碼；及 至少一個處理器，耦合到該記憶體，該至少一個處理器被配置為執行該處理器可讀取代碼，以使該至少一個處理器： 從一第一相機的一第一圖像感測器接收第一圖像資料； 從一第二相機的一第二圖像感測器接收第二圖像資料，其中該第一圖像資料或該第二圖像資料中的至少一個經由具有由該第一相機或該第二相機應用的一調整光圈設置的一可變光圈（VA）來接收； 經由調整該第二圖像資料以匹配該第一圖像資料的一特性，基於該第一圖像資料和該第二圖像資料決定一第一輸出訊框。
  27. 根據請求項26之裝置，其中該調整該第二圖像資料包括調整該第二圖像資料以匹配該第一圖像資料的一聚焦深度（DOF）。
  28. 根據請求項27之裝置，其中該調整該第二圖像資料亦包括扭曲該第二圖像資料以匹配該第一圖像資料的一視場（FOV）。
  29. 根據請求項27之裝置，其中該至少一個處理器被配置為執行進一步操作，包括： 在決定該第一輸出訊框之前，決定從該第一圖像感測器切換到該第二圖像感測器； 在決定該第一輸出訊框之後： 從該第一圖像感測器接收第三圖像資料； 從該第二圖像感測器接收第四圖像資料； 基於該第三圖像資料和該第四圖像資料決定用於在一VA相機和一非VA相機之間轉換的第一複數個輸出訊框； 從該第二圖像感測器接收第五圖像資料；及 基於該第五圖像資料來決定第二複數個輸出訊框。
  30. 根據請求項26之裝置，其中該至少一個處理器被配置為執行進一步操作，包括： 在決定該第一輸出訊框之前： 決定從該第一圖像感測器切換到該第二圖像感測器，其中該第二相機包括該可變光圈（VA）；及 調整該第二相機的一第二光圈大小以匹配該第一相機的一第一光圈大小。
TW112116182A 2022-05-10 2023-05-01 用於具有可變光圈能力的圖像擷取設備的相機轉換 TW202402037A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
WOPCT/CN2022/091865 2022-05-10
PCT/CN2022/091865 WO2023216089A1 (en) 2022-05-10 2022-05-10 Camera transition for image capture devices with variable aperture capability

Publications (1)

Publication Number Publication Date
TW202402037A true TW202402037A (zh) 2024-01-01

Family

ID=88729528

Family Applications (1)

Application Number Title Priority Date Filing Date
TW112116182A TW202402037A (zh) 2022-05-10 2023-05-01 用於具有可變光圈能力的圖像擷取設備的相機轉換

Country Status (2)

Country Link
TW (1) TW202402037A (zh)
WO (1) WO2023216089A1 (zh)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070024721A1 (en) * 2005-07-29 2007-02-01 Rogers Sean S Compensating for improperly exposed areas in digital images
WO2016142738A1 (en) * 2015-03-09 2016-09-15 Synaptive Medical (Barbados) Inc. A surgical camera system with automatic alternation between two depths of field
US11307430B2 (en) * 2016-06-07 2022-04-19 Karl Storz Se & Co. Kg Optical device and method for providing improved depth of field and resolution modes
US10194078B2 (en) * 2017-06-09 2019-01-29 Immersion Corporation Haptic enabled device with multi-image capturing abilities
US11184553B1 (en) * 2020-09-23 2021-11-23 Qualcomm Incorporated Image signal processing in multi-camera system

Also Published As

Publication number Publication date
WO2023216089A1 (en) 2023-11-16

Similar Documents

Publication Publication Date Title
US12015856B2 (en) Image processing for aperture size transition in a variable aperture (VA) camera
WO2023164422A1 (en) Multi-frame auto exposure control (aec)
TW202312726A (zh) 自動聚焦（ａｆ）和自動曝光控制（ａｅｃ）協調
TW202335482A (zh) 利用感測器內變焦的高動態範圍（ｈｄｒ）攝影
TW202327344A (zh) 用於高動態範圍（ｈｄｒ）攝影中的並行訊框擷取的圖像感測器和資料處理
TW202307791A (zh) 選擇性地增加具有多個感興趣區域的場景中的景深
TW202402037A (zh) 用於具有可變光圈能力的圖像擷取設備的相機轉換
US11727537B1 (en) Bokeh effect in variable aperture (VA) camera systems
US12008763B2 (en) Variable aperture (VA) camera control for controlling a depth of focus
WO2023178656A1 (en) Multi-camera alignment using region of interest (roi) refinement
US20240121516A1 (en) Separate exposure control for pixel sensors of an image sensor
US20240193789A1 (en) Selective motion distortion correction within image frames
US20240185390A1 (en) Fusion of image frames for high dynamic range content
US12028609B2 (en) Camera sensor changes in multi-sensor device
TW202325010A (zh) 用於降噪的級聯影像處理
US11843858B1 (en) Machine learning for phase detection autofocus
US20220201208A1 (en) Camera sensor changes in multi-sensor device
US20230412922A1 (en) Dynamic image capture device configuration for improved image stabilization
US20240177274A1 (en) Image effect rendering
US20240022827A1 (en) High dynamic range (hdr) photography using multiple frame rates
US20230164433A1 (en) Reduced latency mode switching in image capture device
TW202345573A (zh) 定向增強的自動白平衡（ａｗｂ）收斂
JP2024524035A (ja) シーン完全性の向上のための時間フィルタリングリスタート
TW202320540A (zh) 使用顏色陣列的非整數比率變換的圖像資料處理
WO2023250261A1 (en) Dynamic image capture device configuration for improved image stabilization