TW202410685A - 使用可變光圈成像設備擷取影像 - Google Patents

使用可變光圈成像設備擷取影像 Download PDF

Info

Publication number
TW202410685A
TW202410685A TW112104395A TW112104395A TW202410685A TW 202410685 A TW202410685 A TW 202410685A TW 112104395 A TW112104395 A TW 112104395A TW 112104395 A TW112104395 A TW 112104395A TW 202410685 A TW202410685 A TW 202410685A
Authority
TW
Taiwan
Prior art keywords
image
aperture
lens
exposure value
exposure
Prior art date
Application number
TW112104395A
Other languages
English (en)
Inventor
何伯琪
張偉德
李雷
奇亞文
劉偉智
馮文春
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202410685A publication Critical patent/TW202410685A/zh

Links

Abstract

揭示用於處理影像資料的系統、裝置、程序和電腦可讀取媒體。一種處理影像資料的例示性方法包括：使用配置有第一光圈和第一曝光值的可變光圈鏡頭來擷取物件的第一影像；使用配置有第二光圈和第二曝光值的該可變光圈鏡頭來擷取該物件的第二影像，其中該第二光圈小於該第一光圈，並且該第二曝光值小於該第一曝光值；及至少部分地經由融合該第一影像和該第二影像、融合該第一影像和該第二影像 來產生高動態範圍（HDR）影像。

Description

使用可變光圈成像設備擷取影像
本案整體上係關於影像處理。更具體地，本案係關於用於使用可變光圈成像設備來擷取影像的系統和技術。
數位成像設備（諸如數碼相機）的動態範圍是設備在沒有光飽和的情況下可以擷取的最大量的光與設備可以準確量測並與固有影像雜訊（電雜訊、熱雜訊等）區分的最低量的光之間的比率。傳統上，數碼相機僅能夠擷取真實世界場景的自然照明範圍的一小部分。例如，場景的動態範圍可以是100,000:1，而數碼相機的影像感測器的動態範圍可以是100：1。當場景的動態範圍超過感測器的動態範圍時，丟失了最高光級及/或最低光級的區域中的細節。
在一些實例中，描述了用於基於景深產生高動態範圍（HDR）影像的系統和技術。揭示用於至少部分地經由對先前擷取的影像執行自動曝光控制（AEC）以決定一或多個影像的曝光和光圈設置來產生HDR影像的系統、裝置、方法、電腦可讀取媒體和電路。根據至少一個實例，一種處理影像資料的方法包括：使用配置有第一光圈和第一曝光值的可變光圈鏡頭來擷取物件的第一影像；使用配置有第二光圈和第二曝光值的該可變光圈鏡頭來擷取該物件的第二影像，其中該第二光圈小於該第一光圈，並且該第二曝光值小於該第一曝光值；及至少部分地經由融合該第一影像和該第二影像來產生HDR影像。
在另一實例中，提供了一種用於處理影像資料的裝置，其包括至少一個記憶體和耦合到至少一個記憶體的至少一個處理器（例如，在電路中實施的）。該至少一個處理器被配置為：使用配置有第一光圈和第一曝光值的可變光圈鏡頭來擷取物件的第一影像；使用配置有第二光圈和第二曝光值的該可變光圈鏡頭來擷取該物件的第二影像，其中該第二光圈小於該第一光圈，並且該第二曝光值小於該第一曝光值；並且至少部分地經由融合該第一影像和該第二影像來產生HDR影像。
在另一實例中，提供了一種非暫時性電腦可讀取媒體，其上儲存有指令，該等指令在由一或多個處理器執行時使該一或多個處理器：使用配置有第一光圈和第一曝光值的可變光圈鏡頭來擷取物件的第一影像；使用配置有第二光圈和第二曝光值的該可變光圈鏡頭來擷取該物件的第二影像，其中該第二光圈小於該第一光圈，並且該第二曝光值小於該第一曝光值；並且至少部分地經由融合該第一影像和該第二影像來產生HDR影像。
在另一實例中，提供了一種用於處理影像資料的裝置，該裝置包括：用於使用配置有第一光圈和第一曝光值的可變光圈鏡頭來擷取物件的第一影像的部件；用於使用配置有第二光圈和第二曝光值的該可變光圈鏡頭來擷取該物件的第二影像的部件，其中該第二光圈小於該第一光圈，並且該第二曝光值小於該第一曝光值；及用於至少部分地經由融合該第一影像和該第二影像來產生HDR影像的部件。
在一些態樣，該裝置是可穿戴設備、擴展現實（XR）設備（例如，虛擬實境（VR）設備、增強現實（AR）設備或混合現實（MR）設備）、頭戴式（HMD）設備、無線通訊設備、行動設備（例如，行動電話及/或移動手持機及/或所謂的「智慧型電話」或其他行動設備）、相機、個人電腦、膝上型電腦、伺服器電腦、車輛或車輛的計算設備或部件、另一設備或其組合，是其一部分及/或包含其。在一些態樣，該裝置包含用於擷取一或多個影像的一個相機或多個相機。在一些態樣，該裝置亦包括用於顯示一或多個影像、通知及/或其他可顯示資料的顯示器。在一些態樣，上述裝置可以包括一或多個感測器（例如，一或多個慣性量測單元（IMUs），諸如一或多個陀螺儀、一或多個陀螺測試儀、一或多個加速度計、其任何組合及/或其他感測器）。
本發明內容不意欲標識所要求保護的主題的關鍵或必要特徵，亦不意欲單獨用於決定所要求保護的主題的範圍。應當參考本專利的整個說明書的適當部分、任何或所有附圖以及每個請求項來理解主題。
參考以下說明書、申請專利範圍和附圖，前述內容以及其他特徵和態樣將變得更加明顯。
下文提供了本案的某些態樣。這些態樣中的一些態樣可以獨立地應用，並且它們中的一些態樣可以組合應用，這對於本發明所屬領域中具有通常知識者來說是顯而易見的。在以下描述中，出於解釋的目的，闡述了具體細節以便提供對本案的各態樣的透徹理解。然而，顯而易見的是，可以在沒有這些具體細節的情況下實踐各個態樣。附圖和描述不意欲是限制性的。
隨後的描述僅提供實例態樣，並且不意欲限制本案的範疇、適用性或配置。相反，實例態樣的隨後描述將為本發明所屬領域中具有通常知識者提供用於實施實例態樣的使能描述。應當理解，在不背離所附請求項中闡述的本案的精神和範疇的情況下，可以對元件的功能和佈置做出各種改變。
隨後的描述僅提供實例態樣，並且不意欲限制本案的範疇、適用性或配置。相反，實例態樣的隨後描述將為本發明所屬領域中具有通常知識者提供用於實施本案的態樣的使能描述。應當理解，在不背離所附請求項中闡述的本案的精神和範疇的情況下，可以對元件的功能和佈置做出各種改變。
術語「示例性」及/或「實例」在本文中用於表示「用作實例、例子或例示」。本文中描述為「示例性」及/或「實例」的任何態樣不一定被解釋為比其他態樣優選或有利。同樣地，術語「本案的態樣」並不要求本案的所有態樣皆包括所論述的特徵、優點或操作模式。
相機是使用影像感測器接收光並擷取影像訊框（諸如靜止影像或視訊訊框）的設備。術語「影像」、「影像訊框」和「訊框」在本文中可互換使用。相機可以被配置有各種影像擷取和影像處理設置。不同的設置導致具有不同外觀的影像。在擷取一或多個影像訊框之前或期間決定並應用一些相機設置，諸如ISO、曝光時間、光圈尺寸、f/檔、快門速度、焦點和增益。例如，可以將設置或參數應用於影像感測器，以用於擷取一或多個影像訊框。其他相機設置可以配置一或多個影像訊框的後處理，諸如對對比度、亮度、飽和度、銳度、級別、曲線或顏色的更改。例如，可以將設置或參數應用於處理器（例如，影像訊號處理器（ISP））以用於處理由影像感測器擷取的一或多個影像訊框。
數位成像設備（諸如數碼相機）的動態範圍是設備在沒有光飽和的情況下可以擷取的最大量的光與設備可以準確量測並與固有影像雜訊（電雜訊、熱雜訊等）區分的最低量的光之間的比率。傳統上，數碼相機僅能夠擷取真實世界場景的自然照明範圍的一小部分。例如，場景的動態範圍可以是100,000:1，而數碼相機的影像感測器的動態範圍可以是100：1。當場景的動態範圍超過感測器的動態範圍時，丟失了最高光級及/或最低光級的區域中的細節。
成像設備可以經由合併利用不同曝光設置擷取的多個影像來產生高動態範圍（HDR）影像。例如，成像設備可以經由將以短曝光時間擷取的短曝光影像、以比短曝光時間長的中等曝光時間擷取的中等曝光影像和以比中等曝光時間長的長曝光時間擷取的長曝光影像合併在一起來產生HDR影像。因為短曝光影像通常是暗的，所以它們通常保留拍攝場景的強光部分（亮區域）中的最多細節。中等曝光影像和長曝光影像通常比短曝光影像更亮，並且可能在場景的強光部分（亮區域）中過度曝光（例如，太亮而看不清細節）。因為長曝光影像通常包括亮部分，所以它們可以保留拍攝場景的陰影（暗區域）中的細節。中等曝光影像和短曝光影像通常比長曝光影像更暗，並且可能在場景的陰影部分（暗區域）中曝光不足（例如，太暗而看不清其中的細節），使得它們對陰影的圖示太暗而無法觀察細節。為了產生HDR影像，成像設備可以例如使用短曝光影像的部分來圖示拍攝的場景的強光部分（亮區域），使用長曝光影像的部分圖示場景的陰影（暗區域），並且使用中等曝光影像的部分圖示場景的其他區域（除了強光部分和陰影之外）。
在一些情況下，可以經由使用單個焦比修改曝光時間或者經由使用僅考慮到物件的焦距的不同焦比來擷取HDR影像的影像。在此類HDR影像中，物件將基於物件的正確焦點來對焦，並且將具有高保真度。背景內容可能在景深之外，因此將是模糊的並且具有較低的保真度。基於更靠近正在擷取HDR影像的成像設備的物件，景深是更敏銳地可感知的。HDR影像（諸如具有地標的影像）中距離很遠的物體可能看起來模糊，並且因此對於某些類型的攝影不是理想的。
在一些態樣，描述用於至少部分地經由對先前擷取的影像（例如，預覽影像）執行自動曝光控制（AEC）以決定一或多個影像的曝光和光圈設置來產生HDR影像的系統、裝置、程序（亦被稱作方法）和電腦可讀取媒體（在本文中統稱為「系統和技術」）。在一些情況下，成像系統可以決定影像中的物件的位置和影像中的背景的位置。成像系統可以使用包括物件和背景位置的景深來選擇光圈大小（或定義光圈大小的f數或焦比）。在一些實例中，成像系統可以決定不同的曝光時間以產生具有不同動態範圍的不同影像，並且組合影像以產生具有更高視覺保真度的HDR影像。在一些情況下，成像系統可以將不同的增益應用於各種影像以增加或減小曝光值（EV）。
成像設備亦可以包括用於預覽影像的顯示器，該影像可以被稱為快照影像。可以在執行用於例如擷取快速回應（QR）碼、擷取物件的影像（例如，作為用於顯示預覽影像的預覽）或其他影像相關功能的應用時使用顯示器。成像設備可以使用具有基於影像的物件而改變的可變光圈鏡頭的可變光圈相機。在一個實例中，基於影像的物件，成像系統可以使光闌行動控制可變光圈相機的光圈的大小的葉片。改變光圈改變可變光圈相機的光靈敏度，並且可以改變在光圈改變程序期間擷取的影像以使影像變亮或變暗。光闌是機械設備並且受影響其移動的外部條件（諸如溫度和濕度）影響，這可能影響快照影像。在一些情況下，當光闌仍在移動並且顯示器正在向使用者呈現影像時，快照影像可能太暗並且造成不期望的視覺擾動，諸如黑色顯示。在一些情況下，亦可以丟棄影像並且可以顯示訊框直到相機穩定產生為止，這亦造成不期望的視覺擾動。
在一些態樣，描述了用於為具有可變光圈鏡頭的可變光圈相機提供平滑過渡的系統和技術。例如，成像系統可以決定可變光圈相機的光圈正在改變，並且當光圈正在改變時，成像系統可以顯示由另一相機擷取的影像。例如，另一相機可以包括與可變光圈相機相比具有更大視野的廣角鏡頭。在一些態樣，來自另一相機的影像被修改（例如，裁剪和對準）為對應於與來自可變光圈相機的（多個）影像相關聯的視野和中心點。
成像系統可以繼續顯示來自（例如，具有廣角鏡頭的）另一相機的影像，直到滿足條件為止。在一些態樣，條件可以包括光圈已停止改變（例如，配置為改變光圈的光闌已停止移動）且基於光圈安置到最終位置中。補充地或替代地，條件可以包括自動曝光已經穩定。在一些情況下，一旦以當前光圈向可變光圈相機的可變光圈鏡頭提供了足夠的光，自動曝光就變得穩定，使得來自可變光圈相機的影像將具有與在光圈改變之前由可變光圈相機擷取的影像相對應的光學特性，或者具有與來自（例如，具有廣角鏡頭的）另一相機的影像相對應的光學特性。替換影像直到滿足條件為止防止了視覺擾動（諸如影像之間的亮度改變）以改善使用者體驗。
圖1是例示影像擷取和處理系統100的架構的方塊圖。影像擷取和處理系統100包括用於擷取和處理場景的影像（例如，場景110的影像）的各種部件。影像擷取和處理系統100可以擷取獨立影像（或照片）及/或可以擷取包括特定序列的多個影像（或視訊訊框）的視訊。影像擷取和處理系統100的鏡頭115面向場景110並從場景110接收光。鏡頭115使光朝向影像感測器130彎曲。由鏡頭115接收的光穿過由一或多個控制機構120控制的光圈並被影像感測器130接收。
一或多個控制機構120可以基於來自影像感測器130的資訊及/或基於來自影像處理器150的資訊來控制曝光、聚焦及/或變焦。一或多個控制機構120可以包括多個機構和部件；例如，控制機構120可以包括一或多個曝光控制機構125A、一或多個聚焦控制機構125B及/或一或多個變焦控制機構125C。一或多個控制機構120亦可以包括除了所例示的控制機構之外的額外控制機構，諸如控制模擬增益、閃光、HDR、景深及/或其他影像擷取效能的控制機構。
控制機構120的聚焦控制機構125B可以獲得聚焦設置。在一些實例中，聚焦控制機構125B將聚焦設置儲存在記憶體暫存器中。基於聚焦設置，聚焦控制機構125B可以相對於影像感測器130的位置調整鏡頭115的位置。例如，基於聚焦設置，聚焦控制機構125B可以經由致動馬達或伺服機構來將鏡頭115移動成更靠近影像感測器130或更遠離影像感測器130，從而調整焦點。在一些情況下，影像擷取和處理系統100中可以包括額外鏡頭，諸如影像感測器130的每一光電二極體上方的一或多個微鏡頭，該微鏡頭各自使從鏡頭115接收的光在光到達光電二極體之前朝向對應光電二極體彎曲。可以經由對比度偵測自動聚焦（CDAF）、相位偵測自動聚焦（PDAF）或其某種組合來決定聚焦設置。可以使用控制機構120、影像感測器130及/或影像處理器150來決定聚焦設置。聚焦設置可以被稱為影像擷取設置及/或影像處理設置。
控制機構120的曝光控制機構125A可以獲得曝光設置。在一些情況下，曝光控制機構125A將曝光設置儲存在記憶體暫存器中。基於此曝光設置，曝光控制機構125A可以控制光圈的大小（例如，光圈大小或f/檔）、光圈打開的持續時間（例如，曝光時間或快門速度）、影像感測器130的靈敏度（例如，ISO速度或膠片速度）、由影像感測器130施加的類比增益或其任何組合。曝光設置可以被稱為影像擷取設置及/或影像處理設置。
控制機構120的變焦控制機構125C可以獲得變焦設置。在一些實例中，變焦控制機構125C將變焦設置儲存在記憶體暫存器中。基於變焦設置，變焦控制機構125C可以控制包括鏡頭115和一或多個額外鏡頭的鏡頭元件的組合件（鏡頭組合件）的焦距。例如，變焦控制機構125C可以經由致動一或多個馬達或伺服機構以使一或多個鏡頭相對於彼此移動來控制鏡頭組合件的焦距。變焦設置可以被稱為影像擷取設置及/或影像處理設置。在一些實例中，鏡頭組合件可以包括等焦的變焦鏡頭或變焦距的變焦鏡頭。在一些實例中，鏡頭組合件可以包括首先接收來自場景110的光的聚焦鏡頭（其在一些情況下可為鏡頭115），其中光接著在光到達影像感測器130之前穿過聚焦鏡頭（例如，鏡頭115）與影像感測器130之間的無焦變焦系統。在一些情況下，無焦變焦系統可以包括具有相等或相似焦距（例如，在閾值差內）的兩個正（例如，會聚、凸）鏡頭，在它們之間具有負（例如，發散、凹）鏡頭。在一些情況下，變焦控制機構125C移動無焦變焦系統中的一或多個鏡頭，例如負鏡頭和一個或兩個正鏡頭。
影像感測器130包括光電二極體或其他光敏元件的一或多個陣列。每個光電二極體量測最終對應於由影像感測器130產生的影像中的特定圖元的光量。在一些情況下，不同的光電二極體可以由濾色器陣列的不同濾色器覆蓋，並且因此可以量測與覆蓋光電二極體的濾色器的顏色匹配的光。可以使用各種濾色器陣列，包括拜耳濾色器陣列、四元濾色器陣列（亦稱為四元拜耳濾色器）及/或其他濾色器陣列。四元濾色器陣列包括濾色器的2×2（或「四元」）圖案，包括紅色（R）濾色器的2×2圖案、綠色（G）濾色器的一對2×2圖案和藍色（B）濾色器的2×2圖案。拜耳濾色器陣列包括紅色濾色器、藍色濾色器和綠色濾色器的重複圖案。使用四方濾色器陣列或拜耳濾色器陣列，基於來自濾色器陣列的紅色濾色器中覆蓋的至少一個光電二極體的紅光資料、來自濾色器陣列的藍色濾色器中覆蓋的至少一個光電二極體的藍光資料和來自濾色器陣列的綠色濾色器中覆蓋的至少一個光電二極體的綠光資料來產生影像的每個圖元。代替紅色、藍色及/或綠色濾色器或除了紅色、藍色及/或綠色濾色器之外，其他類型的濾色器陣列可以使用黃色、品紅色及/或青色（亦稱為「翠綠色」）濾色器。一些影像感測器可能完全缺少濾色器，並且可以替代地在整個（在一些情況下垂直堆疊的）圖元陣列中使用不同的光電二極體。整個圖元陣列中的不同光電二極體可以具有不同的光譜靈敏度曲線，因此回應於不同波長的光。單色影像感測器亦可能缺少濾色器，且因此缺少色彩深度。
在一些情況下，影像感測器130可以替代地或補充地包括不透明及/或反射遮罩，其在某些時間及/或從某些角度阻擋光到達某些光電二極體或某些光電二極體的部分，這可以用於PDAF。影像感測器130亦可以包括用以放大由光電二極體輸出的類比訊號的類比增益放大器及/或用以將光電二極體的類比訊號輸出（及/或由類比增益放大器放大）轉換成數位訊號的類比數位轉換器（ADC）。在一些情況下，關於控制機構120中的一或多個所論述的某些部件或功能可以替代地或補充地被包括在影像感測器130中。影像感測器130可以是電荷耦合裝置（CCD）感測器、電子倍增CCD（EMCCD）感測器、主動圖元感測器（APS）、互補金屬氧化物半導體（CMOS）、N型金屬氧化物半導體（NMOS）、混合CCD/CMOS感測器（例如，sCMOS）或其某一其他組合。
影像處理器150可以包括一或多個處理器，諸如一或多個ISP（包括ISP 154）、一或多個主機處理器（包括主機處理器152）及/或關於計算系統1500論述的任何其他類型的處理器1510中的一或多個。主機處理器152可以是數位訊號處理器（DSP）及/或其他類型的處理器。影像處理器150可以將影像訊框及/或經處理的影像儲存在隨機存取記憶體（RAM）140/1520、唯讀記憶體（ROM）145/1525、高速緩衝記憶體1512、記憶體單元1515、另一存放裝置1530或其某一組合中。
在一些實施方式中，影像處理器150是包括主機處理器152和ISP 154的單個積體電路或晶片（例如，被稱為片上系統（SoC））。在一些情況下，晶片亦可以包括一或多個輸入/輸出埠（例如，輸入/輸出（I/O）埠156）、中央處理單元（CPU）、圖形處理單元（GPU）、寬頻數據機（例如，3G、4G或LTE、5G等）、記憶體、連接部件（例如，Bluetooth TM、全球定位系統（GPS）等）、其任何組合及/或其他部件。I/O埠156可以包括根據一或多個協定或規範的任何合適的輸入/輸出埠或介面，諸如積體電路互連2（I2C）介面、積體電路互連3（I3C）介面、串列周邊設備介面（SPI）介面、串列通用輸入/輸出（GPIO）介面、行動工業處理器介面（MIPI）（諸如MIPI CSI-2實體（PHY）層埠或介面）、高級高效能匯流排（AHB）匯流排、其任何組合及/或其他輸入/輸出埠。在一個例示性實例中，主機處理器152可以使用I2C埠與影像感測器130通訊，並且ISP 154可以使用MIPI埠與影像感測器130通訊。
影像處理器150的主機處理器152可以用參數設置（例如，經由外部控制介面，諸如I2C、I3C、SPI、GPIO及/或其他介面）配置影像感測器130。在一個例示性實例中，主機處理器152可以基於來自過去影像訊框的曝光控制演算法的內部處理結果來更新由影像感測器130使用的曝光設置。主機處理器152亦可以將ISP 154的內部流水線或模組的參數設置動態地配置為匹配來自影像感測器130的一或多個輸入影像訊框的設置，使得影像資料被ISP 154正確地處理。ISP 154的處理（或流水線）塊或模組可以包括用於鏡頭/感測器雜訊校正、去馬賽克、顏色轉換、影像屬性的校正或增強/抑制、去噪濾波器、銳化濾波器等的模組。例如，ISP 154的處理塊或模組可以執行多個任務，諸如去馬賽克、顏色空間轉換、影像訊框下取樣、圖元內插、自動曝光（AE）控制、自動增益控制（AGC）、CDAF、PDAF、自動白平衡、合併影像訊框以形成HDR影像、影像辨識、物體辨識、特徵辨識、接收輸入、管理輸出、管理記憶體或其某種組合。ISP 154的不同模組的設置可以由主機處理器152配置。
影像處理設備105B可以包括連接到影像處理器150的各種輸入/輸出（I/O）設備160。I/O設備160可以包括顯示螢幕、鍵盤、小鍵盤、觸控式螢幕、觸控板、觸敏表面、印表機、任何其他輸出設備1535、任何其他輸入裝置1545或其某種組合。在一些情況下，可以經由I/O設備160的實體鍵盤或小鍵盤或者經由I/O設備160的觸控式螢幕的虛擬鍵盤或小鍵盤將說明文字輸入到影像處理設備105B中。I/O 160可以包括一或多個埠、插座或實現影像擷取和處理系統100與一或多個周邊設備之間的有線連接的其他連接器，影像擷取和處理系統100可以經由其從一或多個周邊設備接收資料及/或向一或多個周邊設備發送資料。I/O 160可以包括一或多個無線收發器，其實現影像擷取和處理系統100與一或多個周邊設備之間的無線連接，影像擷取和處理系統100可以經由該無線收發器從一或多個周邊設備接收資料及/或向一或多個周邊設備發送資料。周邊設備可以包括任何先前論述的類型的I/O設備160，並且一旦它們耦合到埠、插座、無線收發器或其他有線及/或無線連接器，它們本身就可以被認為是I/O設備160。
在一些情況下，影像擷取和處理系統100可以是單個設備。在一些情況下，影像擷取和處理系統100可以是兩個或兩個以上單獨的設備，包括影像擷取裝置105A（例如，相機）和影像處理設備105B（例如，耦合到相機的計算設備）。在一些實施方式中，影像擷取裝置105A和影像處理設備105B可以例如經由一或多個電線、電纜或其他電連接器及/或經由一或多個無線收發器無線地耦合在一起。在一些實施方式中，影像擷取裝置105A和影像處理設備105B可以彼此斷開連接。
如圖1所示，垂直虛線將圖1的影像擷取和處理系統100分成分別表示影像擷取裝置105A和影像處理設備105B的兩個部分。影像擷取裝置105A包括鏡頭115、控制機構120和影像感測器130。影像處理設備105B包括影像處理器150（包括ISP 154和主機處理器152）、RAM 140、ROM 145和I/O 160。在一些情況下，影像擷取裝置105A中例示的某些部件（諸如ISP 154及/或主機處理器152）可以被包括在影像擷取裝置105A中。
影像擷取和處理系統100可以包括電子設備，諸如行動或固定電話手持機（例如，智慧型電話、蜂巢式電話等）、桌上型電腦、膝上型或筆記型電腦、平板電腦、機上盒、電視、相機、顯示裝置、數位媒體播放機、視訊遊戲控制台、視訊流式設備、網際網路協定（IP）相機或任何其他合適的電子設備。在一些實例中，影像擷取和處理系統100可以包括用於無線通訊（諸如蜂巢網路通訊、802.11 Wi-Fi通訊、無線區域網路（WLAN）通訊或其某種組合）的一或多個無線收發器。在一些實施方式中，影像擷取裝置105A和影像處理設備105B可以是不同的設備。例如，影像擷取裝置105A可以包括相機設備，並且影像處理設備105B可以包括計算設備，諸如行動桌上型電腦或其他計算設備。
儘管影像擷取和處理系統100被示出為包括某些部件，但是具有通常知識者將理解，影像擷取和處理系統100可以包括比圖1中所示的部件更多的部件。影像擷取和處理系統100的部件可以包括軟體、硬體或軟體和硬體的一或多個組合。例如，在一些實施方式中，影像擷取和處理系統100的部件可以包括電子電路或其他電子硬體及/或可以使用電子電路或其他電子硬體來實施，該電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，微處理器、GPU、DSP、CPU及/或其他合適的電子電路），及/或可以包括電腦軟體、韌體或其任何組合及/或使用電腦軟體、韌體或其任何組合來實施，以執行本文中所描述的各種操作。軟體及/或韌體可以包括儲存在電腦可讀取儲存媒體上並且可由實施影像擷取和處理系統100的電子設備的一或多個處理器執行的一或多個指令。
如前述，濾色器陣列可以覆蓋影像感測器130的光電二極體（或其他光敏部件）的一或多個陣列。在一些實施例中，濾色器陣列可以包括四元濾色器陣列。在某些情況下，在影像被影像感測器130擷取之後（例如，在影像被提供到ISP 154且由ISP 154處理之前），影像感測器130可以執行分選程序以將四重濾色器陣列圖案分選成經分選的拜耳圖案。例如，可以經由應用分選程序將四元濾色器陣列圖案轉換為拜耳濾色器陣列圖案（具有降低的解析度）。分選程序可能增加訊雜比（SNR），導致所擷取影像中的增加的靈敏度和減少的雜訊。在一個例示性實例中，當照明條件較差時，可以在低光設置中執行分選，這可以導致具有更高亮度特性和更少雜訊的高品質影像。
圖2A-圖2D是例示根據一些實例的具有不同光圈的可變光圈相機的可變光圈鏡頭200的概念圖。在一些態樣，如圖2A-圖2D所示，可變光圈鏡頭200包括光闌205，光闌205具有可移動葉片以控制鏡頭的光圈210。光圈210允許光進入鏡頭200，並且可以經由減小光圈210的大小（例如，半徑）來減少曝光。
光圈210與光學系統（例如，相機系統）的焦比有關，焦比通常被稱為f數、f比率或f檔。焦比通常由「F/N」表示，其中N等於鏡頭的焦距除以光圈大小。光圈大小亦可被稱為光瞳大小。例如，40mm的焦距和10mm的光圈大小產生F/4.0的焦比。焦比是無量綱數並且是鏡頭速度的定量量度。
焦比與景深有關。景深是物體基於到焦點的距離從該焦點對焦的範圍。較大的焦比具有較大的景深，並且對於要對焦的物體將具有較大的範圍，並且較小的焦比具有較小的景深，對於要對焦的物體具有較小的範圍。圖3A-圖3D中例示具有不同焦比和不同景深的場景的實例，並且圖4中例示了例示基於到焦點的距離的不同焦比的景深的曲線圖。
根據例示性實例，圖2A例示了配置有F/4.0的焦比的可變光圈鏡頭200，圖2B例示了配置有F/2.8的焦比的可變光圈鏡頭200，圖2C例示了配置有F/2.0的焦比的可變光圈鏡頭200，並且圖2D例示了配置有F/1.4的焦比的可變光圈鏡頭200。圖2A-圖2D以及本文中的光圈的任何其他圖示未按比例繪製並且僅出於例示性目的而提供。
在一些態樣，可變光圈鏡頭的光圈210亦基於限制光量來影響曝光。例如，如圖2A和圖2D所示，F/4.0的焦比具有比F/1.4的焦比小得多的光圈，並且減少了曝光。較低的F數指示接收到更多的光並且影像品質增加，並且較高的F數指示接收到較少的光但是景深增加。
圖3A-圖3D是根據一些態樣的由具有可變光圈鏡頭的相機經由控制光圈的大小使用不同的焦比擷取的場景的影像。圖3A的影像例示了與圖2A中所例示的可變光圈鏡頭200相對應的以F/4.0的焦比擷取的場景。圖3B的影像例示了圖3A中所例示的相同場景，但是以F/2.8的焦比擷取並且對應於圖2B中所例示的可變光圈鏡頭200。圖3C的影像例示了以F/2.0的焦比擷取的圖3A中所例示的相同場景，並且對應於圖2C中所例示的可變光圈鏡頭200。圖3D的影像例示了以F/1.4的焦比擷取的圖3A中所例示的相同場景，並且對應於圖2D中所例示的可變光圈鏡頭200。
如前述，景深與焦比或f檔有關。圖3A、圖3B、圖3C和圖3D各自包括對應於鏡頭的焦點的前景內容300和隨著焦比和景深同樣減小而變得更模糊的背景內容305。特別地，圖3A、圖3B、圖3C和圖3D中所例示的背景內容305是具有吸管的飲料，並且吸管的視覺保真度隨著焦比減小而減小。然而，前景內容300在圖3A、圖3B、圖3C和圖3D中所例示的每個擷取影像中是類似的，並且對於人類裸眼不會可感知地變化。
在一些態樣，背景內容305的品質可以相對於銳度/細節來量化，該銳度/細節可以與前景內容的銳度/細節進行比較，如下文的表1中所例示的。可以使用水平區塊的差分（diff_x）和垂直區塊的差分來計算銳度。在一個例示性實例中，銳度可以被計算為銳度=Σ(abs(diff_x)+abs(diff_y)/(block_size*block_size*2)。較高的銳度值表示增加的銳度和細節。
光圈 前景的銳度(內容300) 背景的銳度 (內容305)
F1.4 10 1
F2.0 10 2
F2.8 10 4
F4.0 10 8
表1
圖4是例示根據一些態樣的基於與光學系統的焦距的不同焦比的景深（DOF）的曲線圖。特別地，圖4例示了每個焦比的近極限和遠極限，其對應於景深。如圖4所示，對於不同的焦比，1米的焦距處的景深從1020 mm變化到875 mm。在4米的焦距處，景深從8000 mm變化到1175 mm。
圖5是例示使用不同曝光擷取的場景的多個影像被合併成場景的高動態範圍（HDR）影像530的概念圖500。圖5中所示的影像中圖示的場景包括近處陸地和遠處陸地之間的水體。在影像的左側圖示了橋，將近處陸地連接到遠處陸地。近處陸地和遠處陸地皆包括建築物和樹木。
基於場景的長曝光影像505、場景的第一中等曝光影像510A、場景的第一短曝光影像515A、場景的第二中等曝光影像510B、場景的第二短曝光影像515B和場景的第三中等曝光影像510C，使用HDR融合引擎520產生HDR影像530。長曝光影像505由影像感測器根據長曝光時間擷取。中等曝光影像510A-510C由一或多個影像感測器根據比長曝光時間更短的中等曝光時間擷取。短曝光影像515A-515B由一或多個影像感測器根據比中等曝光時間和長曝光時間更短的短曝光時間擷取。在一個例示性實例中，短曝光訊框的曝光可以在[0.01, 0.08]秒的範圍內變化，中等曝光訊框的曝光可以在[0.08, 0.33]秒的範圍內變化，並且長曝光訊框的曝光可以在[0.33, 1]秒的範圍內變化。
在一些實例中，影像505、510A、515A、510B、515B和510C中的每一個由相同的影像感測器擷取。例如，影像感測器可以一個接一個地擷取影像中的一些。在一些情況下，影像感測器可以被配置為使得在不同時間讀出及/或重置不同的光電二極體，從而允許不同的光電二極體擷取不同影像的影像資料（例如，在一些情況下根據不同的曝光）。在一些實例中，影像中的一些由不同的影像感測器擷取，例如由彼此相鄰的影像感測器擷取。擷取圖5的影像的（多個）影像感測器的實例可以包括圖1的影像感測器130。
如從圖5所示的多個影像可見，多個影像可以包括根據每個曝光時間擷取的一個以上的影像，如在中等曝光影像510A-510C和短曝光影像515A-515B中那樣。在一些實例中，多個影像可以包括一個以上的長曝光影像。
長曝光影像505比中等曝光影像510A-510C和短曝光影像515A-515B曝光更多。因此，長曝光影像505通常比中等曝光影像510A-510C和短曝光影像515A-515B更亮。因為長曝光影像505通常較亮，所以它保留場景的陰影（暗區域）中的更多細節，諸如場景中的近處陸地的大部分。中等曝光影像510A-510B和短曝光影像515A-515C通常比長曝光影像505更暗，並且因此可能在場景的陰影（暗區域）中曝光不足（例如，太暗而看不清其中的細節），使得它們對場景的陰影的圖示太暗而看不清其中的細節。例如，在短曝光影像515A-515B中，近處陸地的大部分顯得太暗以至於看起來是黑色的，幾乎沒有或沒有可辨別的細節。與在長曝光影像505中相比，在中等曝光影像510A-510C中，近處陸地甚至顯得明顯更暗並且細節更少。
短曝光影像515A-515B比中等曝光影像510A-510C和長曝光影像505曝光更少。因此，短曝光影像515A-515B通常比中等曝光影像510A-510C和長曝光影像505更暗。因為短曝光影像515A-515B通常是暗的，所以它們保留了場景的強光部分（亮區域）中的最多細節，諸如沿著場景中的遠處陸地的邊緣的天空和光的部分。中等曝光影像510A-510B和長曝光影像505通常比短曝光影像515A-515B更亮，並且因此可能在場景的強光部分（亮區域）中過度曝光（例如，太亮而看不清其中的細節），使得它們對場景的強光部分的圖示太亮而看不清其中的細節。例如，在長曝光影像505中，大部分天空和部分水顯得太亮以至於看起來是白色的，幾乎沒有或沒有可辨別的細節。與在短曝光影像515A-515B中相比，在中等曝光影像510A-510C中，部分天空和部分水甚至看起來明顯更亮並且細節更少。
中等曝光影像510A-510C比長曝光影像505曝光更少，但是比短曝光影像515A-515B曝光更多。場景的既不是強光部分亦不是陰影的許多部分在中等曝光影像510A-510C中呈現了細節。儘管如此，中等曝光影像510A-510C在一些區域（例如，場景的強光部分中的一些）中遭受過度曝光並且在其他區域（例如，場景的陰影中的一些）中遭受曝光不足。
在一些實例中，較短曝光影像（諸如短曝光影像515A-515B）可以提供比較長曝光影像（諸如長曝光影像505）更高的動態範圍。在一些實例中，較短曝光影像（諸如短曝光影像515A-515B）可以包括比較長曝光影像（諸如長曝光影像505）更多的雜訊。在一些實例中，較長曝光影像（諸如長曝光影像505）可以提供比較短曝光影像（諸如短曝光影像515A-515B）更低的動態範圍。在一些實例中，較長曝光影像（諸如長曝光影像505）可以包括比較短曝光影像（諸如短曝光影像515A-515B）更少的雜訊。因此，例如經由擷取多個較短曝光影像並對較短曝光影像之間的圖元值求平均來對較短曝光影像執行降噪可能是有用的。
HDR影像530由HDR融合引擎520經由合併場景的長曝光影像505、場景的第一中等曝光影像510A、場景的第一短曝光影像515A、場景的第二中等曝光影像510B、場景的第二短曝光影像515B和場景的第三中等曝光影像510C的至少一個子集來產生。HDR融合引擎520可以經由主要從短曝光影像515A-515B及/或中曝光影像510A-510C繪製來保留HDR影像530對場景的強光部分的圖示中的細節，以產生HDR影像530對場景的強光部分的圖示。HDR融合引擎520可以經由主要從長曝光影像505及/或中等曝光影像510A-510C繪製來保留HDR影像530對場景的陰影的圖示中的細節，以產生HDR影像530對場景的陰影的圖示。HDR融合引擎520可以經由主要從中等曝光影像510A-510C繪製來保留HDR影像530對場景的既不是強光部分亦不是陰影的區域的圖示中的細節，以產生HDR影像530對場景的既不是強光部分亦不是陰影的區域的圖示。HDR融合引擎520可以使用HDR融合圖來選擇從影像中的哪一個繪製。
圖6例示了根據一些態樣的用於融合物件的具有不同光圈的影像以建立HDR影像的HDR引擎600。HDR引擎600被配置為基於光圈大小來控制鏡頭的焦比，以控制影像的曝光來建立HDR影像。
HDR引擎600被配置為控制光圈控制引擎612來產生具有不同光學特性的至少兩個影像。例如，光圈控制引擎612被配置為在擷取影像時改變成像設備（例如，可變光圈相機）的可變光圈鏡頭的光圈（和對應的焦比）。根據一個例示性實例，HDR引擎600控制光圈控制引擎612來調整光圈，使得具有曝光值EV+1的亮影像620、具有曝光值EV0的中等範圍影像622和具有曝光值EV-2的暗影像624被擷取。在一些態樣，光圈控制引擎612將光闌（例如，光闌205）配置為在10 ms的曝光時間內以F/1.4的焦比擷取亮影像620。在產生亮影像620之後，光圈控制引擎612將光闌配置為在10 ms的曝光時間內以F/2.0的焦比擷取中等範圍影像622。最後，光圈控制引擎612將光闌配置光圈為在10 ms的曝光時間內以F/4.0的焦比擷取暗影像624。
HDR融合引擎630接收亮影像620、中等範圍影像622和暗影像624並且合成HDR影像640。在這種情況下，焦比和曝光時間是固定的並且不變化，以確保亮影像620、中等範圍影像622和暗影像624各自提供用於建立HDR影像的合適的動態範圍，如上面參考圖5所述。在一些情況下，HDR影像640可以具有模糊背景（例如，具有低SNR值），這是因為選定的光圈值（例如，焦比）與所擷取場景中的物件無關。在一些態樣，所得到的HDR影像640的物件將對焦，並且背景內容將不在固定光圈的景深內。由於背景內容不在景深內，與前景內容相比，背景內容將是模糊的並且具有較低的SNR。在本文中描述並在圖8D中例示了所例示的所得到的HDR影像640的實例。
圖7例示了根據一些態樣的用於基於景深融合具有不同光圈的物件的影像以建立HDR影像的HDR引擎700。HDR引擎700使用影像705（例如，顯示器中的影像）作為用於控制HDR引擎700使用來自影像705的景深來擷取HDR影像的基礎。在一些態樣，影像705可以是可以由AEC引擎710分析的影像。例如，AEC引擎710可以提取影像705的相關特性或統計資料。在一些態樣，影像705的特性可以由ISP辨識，例如到物件的焦距和到快照影像705內的背景內容的距離。在一些情況下，AEC引擎710可以建立深度圖。可以從深度圖中的前景圖元辨識物件，並且可以基於深度圖中的背景圖元辨識背景。
AEC引擎710包括光圈控制712、曝光控制714、增益控制716和深度控制718。可以將光圈控制712、曝光控制714、增益控制716和深度控制718應用於先前擷取的影像（例如，預覽影像），以便決定用於在未來時間點擷取一或多個影像的參數，諸如一或多個影像的曝光和光圈。在一些態樣，深度控制718被配置為辨識用於擷取一或多個影像的各種參數，例如焦比、與焦比相關聯的曝光時間以及待應用於每個影像的增益。例如，深度控制718可以基於快照影像705中的物件和快照內容的背景內容來決定景深。深度控制718可以辨識特定影像的焦比和基於該焦比的曝光時間。隨後，深度控制718可以經由使用光圈控制712控制焦比、使用曝光控制714控制各種影像的曝光時間及/或使用增益控制716控制影像的增益來選擇各種影像的特性。影像感測器的靈敏度基於焦比被影響，並且動態範圍受光圈的硬體特性限制。例如，F/2.0與F/1.4之間的靈敏度差異是兩倍，並且動態範圍在0EV（對應於0的曝光值（EV））與1EV（對應於1的EV）之間。使用F/2.0的焦比擷取的影像將具有比使用F/1.4的焦比擷取的影像更大的動態範圍。經由控制曝光時間，可以控制EV的範圍。下文的表2例示了標識改變焦比和曝光時間如何可以確保EV範圍與不同焦比一致的表。在一些態樣，AEC引擎710可以包括查閱資料表以決定每個影像的對應參數以確保每個影像具有適合於HDR影像的不同光學特性。
融合 組合 焦比 曝光時間 增益 EV範圍
實例1 F/2.0 10ms 1x 0EV至1EV
F/1.4 10ms 1x
實例2 F/2.0 5ms 1x 0EV至2EV
F/1.4 10ms 1x
實例3 F/2.0 10ms 1x 0EV至2EV
F/1.4 10ms 2x
表2
在圖7所示的實例中，HDR引擎700使用F/1.4的焦比與2的增益和20 ms的曝光時間來擷取亮影像722。HDR引擎700擷取具有F/2.0的焦比、1的增益和10 ms的曝光時間的中等範圍影像724。HDR引擎700以F/4.0的焦比、1.0的增益和5 ms的曝光時間擷取暗影像726。在該實例中，亮影像722具有EV+2的曝光值，中等範圍影像724具有EV0的曝光值，並且暗影像726具有EV-3的曝光值。HDR引擎700可以基於經由使用光圈控制712、曝光控制714、增益控制716和深度控制718處理先前擷取的影像（例如，預覽影像）而決定的參數來擷取亮影像722、中等範圍影像724和暗影像726。
HDR融合引擎730接收亮影像722、中等範圍影像724和暗影像726並且合成HDR影像740，例如使用上文關於圖5所描述的技術。在一些態樣，HDR引擎700擷取影像來包括景深內的背景內容，以改善HDR影像的品質。儘管HDR引擎700被描述為使用三個不同的影像，但是HDR引擎700需要至少兩個影像來增加動態範圍，並且可以使用更多影像來進一步增加HDR影像740的品質。
在圖8A、圖8B和圖8C中圖示由HDR引擎700擷取的各種影像的例示性實例。圖8A例示了以EV0的曝光值擷取的中等範圍影像724，並且圖8B例示了以EV-2的曝光值擷取的暗影像726。圖8C例示了從中等範圍影像724和暗影像726合成的HDR影像740。如圖8C所示，HDR影像740包括對應於焦距的物件805和物件805後面的背景內容。由於選定的景深，背景內容（諸如窗框架810和物體815）皆在焦點內。
圖8D例示了由HDR引擎600擷取的HDR影像640，該HDR引擎600使用固定的焦比。在此例示的實例中，物件805在焦點內並且具有使背景內容失焦的景深。例如，由於與用於擷取HDR影像640的焦距相關聯的景深，使窗框架810模糊。物體815比窗框架810更少失焦，因為物體815更靠近物件805。
圖9是例示根據一些態樣的用於基於景深產生HDR影像的方法900的實例的流程圖。方法900可以由具有影像感測器的計算設備（諸如行動無線通訊設備、相機、擴展現實（XR）設備、支援無線的車輛或其他計算設備）執行。在一個例示性實例中，ISP（諸如ISP 1400）或計算系統1500可以被配置為執行方法900的全部或部分。
在方塊905處，計算設備被配置為使用具有第一光圈和第一曝光值的可變光圈鏡頭來擷取物件的第一影像。計算設備可以至少部分地經由將AEC應用於先前擷取的影像來決定第一影像的第一光圈。例如，可以使用先前擷取的影像來決定用於使用多個影像產生HDR的參數。實例參數包括焦比、曝光時間和增益。在一些態樣，AEC被用於基於與先前擷取的影像中的物件的位置和先前擷取的影像中的背景內容的位置相關聯的景深來決定第一影像的第一光圈中的至少一個。
基於景深，計算設備亦可以至少部分地經由將AEC應用於先前擷取的影像來決定第一影像的第一曝光值中的至少一個。AEC被用於基於先前擷取的影像的曝光值來決定第一影像的第一曝光值中的至少一個。計算設備亦可以使用增益來修改第一影像中的圖元的值，該增益增加了第一影像的第一曝光值。
在方塊910處，計算設備被配置為使用配置有第二光圈和第二曝光值的可變光圈鏡頭來擷取物件的第二影像。第二光圈可以小於第一光圈，並且第二曝光值小於第一曝光值。可以基於先前擷取的影像來決定第二影像的第二光圈。例如，計算設備可以決定第二影像的焦比、第二影像的曝光時間和要應用於第二影像的增益。第一影像和第二影像可以被配置為具有對建立如前述的HDR影像互惠的不同動態範圍。
在方塊915處，計算設備可以至少部分地經由融合第一影像和第二影像來產生HDR影像。儘管描述了兩個影像，但是計算設備可以被配置為產生兩個以上的影像以建立HDR影像。例如，第一影像可以表示強光部分並且具有EV2的曝光值，並且第二影像可以表示HDR影像的陰影和暗區域並且具有EV-3的曝光值。計算設備可以被配置為使用第三光圈擷取第三影像，並且第三光圈小於第一光圈並且大於第二光圈。第三影像可以是具有EV0的曝光值的中等範圍曝光影像。在這種情況下，從第一影像、第二影像和第三影像產生的HDR影像將具有更大的動態範圍。
圖10A-圖10C例示了當鏡頭的光圈改變時顯示視覺擾動的影像擷取和處理系統的顯示器的操作。在一些態樣，圖10A例示了影像擷取和處理系統，其整合到行動設備1000中並且包括顯示器1005，顯示器1005在行動設備1000的前側上顯示由影像擷取和處理系統擷取的影像。
圖10B例示了行動設備1000的後側，其包括用於使用兩個或兩個以上鏡頭擷取影像的鏡頭陣列1010。鏡頭陣列1010包括可變光圈鏡頭1015、廣角鏡頭1020和遠攝鏡頭1025。可變光圈鏡頭包括光闌，該光闌被配置為改變光圈並控制焦比，並且如上面所描述和圖2A-圖2D中所例示的。廣角鏡頭1020包括比一般鏡頭對於給定平面的焦距更小的焦距。在一些態樣，與可變光圈鏡頭1015相比，廣角鏡頭1020具有更寬的視野，並且允許更多的場景被包括在擷取的影像中。遠攝鏡頭1025具有比一般鏡頭對於給定平面的更大的焦距，並且具有比可變光圈鏡頭1015和廣角鏡頭1020更窄的視野。
在一些態樣，行動設備1000使用可變光圈鏡頭1015來擷取影像並在顯示器1005中呈現影像。例如，行動設備1000可以執行用於掃瞄快速回應（QR）碼的應用，並且可以控制影像擷取和處理系統。當人將行動設備移動到正確位置時，行動設備1000的影像擷取和處理系統可以偵測到焦點改變。回應於焦點改變，影像擷取和處理系統可以經由行動可變光圈鏡頭1015的光闌來改變焦比。例如，圖10A例示了可變光圈鏡頭1015基於使用F/2.0的焦比在顯示器1005中呈現影像。
圖10C例示了影像擷取和處理系統經由使光圈減小來將焦比改變為F/2.8。如圖2B和2C所示，光闌的葉片實體地移動以減小光圈的大小並且減少由可變光圈鏡頭1015接收的光量。因此，顯示器1005可以顯示具有不同光學特性的影像，諸如圖10C中所例示的較暗影像，從而造成人可感知的可觀察到的擾動（例如，亮度的改變）。
移動光闌的葉片以改變光圈花費時間，並且影像擷取和處理系統可以經由改變顯示器1005中的影像的光學特性來進行補償。例如，影像擷取和處理系統可以執行曝光補償，以便在光圈改變期間改變特定影像的亮度。移動光闌的葉片以改變光圈是基於外部條件（諸如溫度、濕度）而變化的機械操作。光圈的移動可能與對應的影像補償（例如，曝光補償）不匹配，影像補償不會基於外部條件而變化。因此，影像補償可能過度補償（例如，經由使影像太亮）或欠補償（例如，經由使影像太暗）校正，這導致視覺擾動。其他影像補償方法包括丟棄影像或推遲更新顯示器1005，直到影像擷取和處理系統可以在沒有視覺擾動的情況下呈現影像為止。
圖11是根據一些態樣的配置為使用多個鏡頭來選擇和呈現影像的設備的概念圖。在一些態樣，該設備可以包括影像擷取和處理系統以擷取影像並執行基於影像的功能，諸如QR碼等。例如，為方便起見未圖示的設備可以包括具有兩個或兩個以上鏡頭的鏡頭陣列1100。鏡頭陣列1100包括可變光圈鏡頭1102和具有大於可變光圈鏡頭1102的視野的廣角鏡頭1104。
在時間t 0，設備被配置有較低的焦比（例如，F/1.4）並且擷取並經由顯示器（例如，顯示器1005）呈現來自可變光圈鏡頭1102的影像1110。來自廣角鏡頭1104的影像1112可以被丟棄，因為它不會從顯示器輸出。圖11例示了由顯示器顯示的影像，其用邊緣影線例示（例如，影像1110、影像1122、影像1132、影像1142和影像1150）。
在一些態樣，在時間t 0和時間t 1之間，設備決定焦點改變並且光闌1106的葉片需要移動以適應更高的焦比（例如，F/4.0）。例如，持有設備的使用者將設備定向為對準遠處的物體。回應於該決定，設備控制鏡頭陣列1100移動光闌1106以減小光圈大小，這減少了可變光圈鏡頭1102中的光進入並降低了對光的靈敏度。在一些情況下，設備可以以固定間隔（諸如訊框的開始（例如，t 0、t 1等））啟動移動，或者可以在訊框之間啟動移動。
因為可變光圈鏡頭1102的光圈正在改變，所以設備可以被配置為擷取並顯示來自廣角鏡頭1104的影像。例如，在時間t 1處，光闌正在移動並且影像1120將更暗。若被顯示，則較暗影像1120將導致視覺擾動（例如，從具有合適亮度/照度的影像到暗影像的明顯轉變）。通常，顯示器中的影像顯示應該是連續且平滑的（例如，具有一致的亮度或照度）以獲得最佳的使用者體驗。設備擷取並顯示來自廣角鏡頭1104的影像1122，以代替顯示來自可變光圈鏡頭1102的影像1120。在一些態樣，由於不同的實體特性和不同的光學特性，設備的ISP可以裁剪和對準影像1122以具有與影像1120相對應的視野和相對應的中心焦點。例如，可變光圈鏡頭1102和廣角鏡頭1104可以是平面的，並且因此可以基於它們不同的實體位置而具有不同的中心點。廣角鏡頭1104亦擷取比可變光圈鏡頭1102更大的視野。下文關於圖12A和圖12B描述裁剪和對準的實例。
在時間t 0處，設備決定光闌1106仍在移動，並且設備擷取並在顯示器中顯示來自廣角鏡頭1104的影像1132，以代替顯示來自可變光圈鏡頭1102的影像1130。設備可以繼續顯示來自廣角鏡頭1104的影像，直到滿足或符合與可變光圈鏡頭1102的光圈的改變相關聯的一或多個條件為止。該一或多個條件可以包括可變光圈鏡頭1102的光圈已經停止改變（例如，光闌1106已經停止移動）並且基於最終光圈值穩定到最終位置。補充地或替代地，條件可以包括自動曝光已經穩定（例如，來自可變光圈鏡頭1102的影像具有對應於影像1110的光學特性）。例如，參考圖11，在時間t 3處，設備決定光闌1106不在移動並且已經穩定到最終位置。隨後，設備可以決定是否已經有足夠的光被提供給可變光圈鏡頭1102。若光量不足，例如，因為可變光圈鏡頭1102的光圈由於更高的焦比而小得多，則設備可以決定來自可變光圈鏡頭1102的影像1140比影像1110更暗。因為影像1140比影像1110更暗，所以設備可以顯示來自廣角鏡頭1104的影像1142代替影像1140。在時間t 4處，設備決定來自可變光圈鏡頭1102的影像1140已經接收到足夠的曝光並且自動曝光已經穩定，並且使顯示器顯示影像1150而不是影像1152。
在一些態樣，當光闌1106移動時，設備用來自廣角鏡頭1104的經修改的（例如，裁剪和對準的）影像替換來自可變光圈鏡頭1102的影像的顯示。因此，成像系統在光闌1106移動和曝光穩定期間在顯示器中顯示來自廣角鏡頭1104的影像，這可以允許在改變可變光圈時顯示具有一致視覺特性（例如，亮度或照度）的影像。
圖12A和圖12B例示了根據一些態樣的影像的空間對準和變換（SAT）的實例。特別地，圖12A例示了配置為基於場景1210顯示來自顯示器的影像的設備1200的前側。圖12B例示了設備1200的後側和具有可變光圈鏡頭1222、廣角鏡頭1224和遠攝鏡頭1226的鏡頭陣列1220。可變光圈鏡頭1222、廣角鏡頭1224和遠攝鏡頭1226都是平面的並且對準平行方向，但是每個都具有不同的中心點和不同的視野。
返回參考圖12A，可變光圈鏡頭1222具有視野1230並且具有中心點1232。廣角鏡頭1224具有包括可變光圈鏡頭1222的所有視野1230的較大視野1240，並且具有向可變光圈鏡頭1222的中心點1232的右側偏移的中心點1242。當設備1200的後表面將鏡頭陣列1220對準場景1210時，廣角鏡頭1224將位於可變光圈鏡頭1222的左側。中心點的定位基於設備1200的定向，並且可以向左、向右、向上或向下偏移。
在一些態樣，設備1200被配置為將從廣角鏡頭1224擷取的影像修改為對應於視野1230。例如，設備1200可以將來自廣角鏡頭1224的影像裁剪為基本上等於由可變光圈鏡頭1222感知的視野1230。可能需要其他類型的校正來減少與不同鏡頭相關聯的影響，諸如一些失真的校正，或者使來自廣角鏡頭1224的影像與由可變光圈鏡頭1222感知的場景基本相同所需的其他處理。在一些情況下，可能存在各種差異，諸如顏色平衡、影像品質的輕微變化等，但是與凍結影像、丟棄影像和顯示黑色影像、基本上更暗的影像相比，這些影響是最小的。
圖13是例示根據一些態樣的用於由設備呈現影像的方法1300的實例的流程圖。方法1300可以由具有影像感測器的計算設備（諸如行動無線通訊設備、相機、擴展現實（XR）設備、支援無線的車輛或其他計算設備）執行。在一個例示性實例中，ISP（諸如ISP 1400）或計算系統1500可以被配置為執行方法900的全部或部分。
在方塊1305處，計算設備可以顯示使用具有第一光圈的第一鏡頭擷取的第一組影像，並且第一鏡頭可以具有可變光圈。在方塊1310處（例如，當計算設備被配置為（例如，在取景器中）顯示影像時），計算設備可以啟動第一鏡頭的光圈從第一光圈到第二光圈的改變。例如，計算設備可以偵測焦點改變的物件並且基於物件的位置決定改變焦比。
在方塊1315處，基於啟動第一鏡頭的光圈的改變，計算設備可以使用第二鏡頭擷取至少一個替代影像。在一些態樣，第二鏡頭可以具有比第一鏡頭更大的視野。例如，第二鏡頭可以是廣角鏡頭並且包括固定光圈。
在方塊1320處，計算設備可以修改至少一個替代影像以對應於與第一鏡頭相關聯的視野。例如，計算設備可以從至少一個替代影像中裁剪與第一鏡頭相關聯的視野相對應的區域。計算設備可以在空間上對準影像以防止任何視覺擾動並確保取景器的連續性。例如，影像的中心點可以基於具有不同位置的鏡頭而不同，並且替代影像可能需要在空間上對準。
在方塊1325處，計算設備可以顯示至少一個替代影像，直到滿足與第一鏡頭的光圈的改變相關聯的條件為止。例如，計算設備可以決定可變光圈完成從第一光圈到第二光圈的移動。在其他態樣，條件可以包括使用具有第二光圈的第一鏡頭擷取的至少一個影像的曝光值等於來自第一組影像的至少一個影像的曝光值的閾值或在其內。在其他情況下，條件可以包括可變光圈完成從第一光圈到第二光圈的移動，以及使用具有第二光圈的第一鏡頭擷取的至少一個影像的曝光值等於來自第一組影像的至少一個影像的曝光值。
在方塊1330處，計算設備可以基於滿足條件的決定來顯示使用具有第二光圈的第一鏡頭擷取的至少一個影像。在一些態樣，方法1300經由辨識預覽影像將造成視覺擾動來提供連續取景器體驗，並且為了確保取景器的連續性，該方法提供來自不同鏡頭的替代影像，並且替代影像被顯示以代替來自可變光圈鏡頭的影像。
如前述，本文描述的程序（例如，方法/程序900和1300及/或本文描述的其他程序）可以由計算設備或裝置執行。在一個實例中，方法1300可以由具有圖15所示的計算系統1500的計算架構的計算設備（例如，圖1中的行動設備102）執行。計算設備可以包括任何合適的設備，諸如行動設備（例如，行動電話）、XR設備（例如，虛擬實境（VR）頭戴式受話器、增強現實（AR）頭戴式受話器、AR眼鏡、與網路連接的手錶或智慧手錶或者其他可穿戴設備）、車輛（例如，自主、半自主或人工駕駛車輛）或車輛的計算設備或系統、桌上型計算設備、平板計算設備、伺服器電腦、機器人設備、電視及/或具有執行本文描述的方法（包括方法900和方法1300）的資源能力的任何其他計算設備。在一些情況下，計算設備或裝置可以包括各種部件，諸如一或多個輸入裝置、一或多個輸出設備、一或多個處理器、一或多個微處理器、一或多個微電腦、一或多個相機、一或多個感測器及/或被配置為執行本文描述的方法的步驟的其他部件。在一些實例中，計算設備可以包括顯示器、被配置為傳送及/或接收資料的網路介面、其任何組合及/或其他部件。網路介面可以被配置為傳送及/或接收基於網際網路協定（IP）的資料或其他類型的資料。
計算設備的部件可以被實施在電路中。例如，部件可以包括電子電路或其他電子硬體及/或可以使用電子電路或其他電子硬體來實施，電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，微處理器、圖形處理單元（GPU）、數位訊號處理器（DSP）、中央處理單元（CPU）及/或其他合適的電子電路），及/或部件可以包括電腦軟體、韌體或其任何組合及/或使用電腦軟體、韌體或其任何組合來實施，以執行本文描述的各種操作。
方法900和1300被例示為邏輯流程圖，其動作表示可以以硬體、電腦指令或其組合實施的一系列操作。在電腦指令的上下文中，動作表示儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令，該等電腦可執行指令在由一或多個處理器執行時執行該等操作。通常，電腦可執行指令包括執行特定功能或實施特定資料類型的常式、程式、物件、部件、資料結構等。描述操作的順序不意欲被解釋為限制，並且任何數量的所描述的操作可以以任何順序及/或並行地組合來實施方法。
方法900和1300及/或本文描述的其他方法或程序可以在配置有可執行指令的一或多個電腦系統的控制下被執行，並且可以被實施為在一或多個處理器上、經由硬體或其組合共同執行的代碼（例如，可執行指令、一或多個電腦程式或一或多個應用）。如前述，代碼可以例如以包括可由一或多個處理器執行的複數個指令的電腦程式的形式儲存在電腦可讀或機器可讀儲存媒體上。電腦可讀或機器可讀儲存媒體可以是非暫時性的。
圖14圖示根據一些態樣的被配置為使用動態焦比擷取HDR影像並呈現來自多個鏡頭的影像的實例影像處理設備1400的方塊圖。在一些態樣，影像處理設備1400被配置為執行上述方法或程序中的一或多個。方法可以包括圖9的方法900和圖13的方法1300，以及本文描述的任何其他程序。
影像處理設備1400可以是上面參考圖1描述的影像處理設備105B的實例態樣。例如，ISP 1400可以是包括硬體處理器、硬體電路、可程式設計電路及/或軟體引擎或模組以執行各種功能的晶片、片上系統（SoC）、晶片組、封裝或設備。影像處理設備1400可以包括AEC引擎1402、變焦控制引擎1404、聚焦控制引擎1406、SAT引擎1408、深度估計引擎1410、HDR融合引擎1412、顯示引擎1414和影像校正引擎。
AEC引擎1402可以被配置為控制鏡頭的曝光設置，諸如焦比和曝光時間。AEC引擎1402亦可以控制應用於影像的增益設置。在一些態樣，AEC引擎1402可以控制光闌（諸如圖2A-圖2D中的光闌205），以經由使光闌的葉片移動來控制光圈大小。AEC引擎1402可以包括決定光闌何時完成移動的功能。AEC引擎1402亦可以接收與場景有關的資訊（諸如景深），並且控制鏡頭的操作以基於景深擷取影像，以確保物件和背景內容在聚焦範圍內。在一些情況下，AEC引擎1402可以決定將合併成單個HDR影像的不同影像的焦比（和對應的光圈大小）、曝光時間和增益。
變焦控制引擎1404被配置為執行任何光學變焦或數位變焦功能。變焦控制引擎1404亦可以辨識物件並向聚焦控制引擎1406提供與物件有關的資訊以及任何變焦資訊。變焦控制引擎1404被配置為執行用以聚焦鏡頭的電氣或機械操作以及用以將焦距改變為對應於從影像處理設備1400到由影像處理設備1400辨識的物件的距離的其他處理。
SAT引擎1408被配置為執行提供給影像處理設備1400的影像的空間對準和變換。在一些態樣，SAT引擎1408可以被配置為將從鏡頭（諸如圖10B中的廣角鏡頭1020）提供的影像修改為對應於從不同鏡頭（諸如圖10B中的可變光圈鏡頭1015）提供的影像。
深度估計引擎1410被配置為辨識擷取的各種影像到影像處理設備1400的深度。例如，深度估計引擎1410被配置為辨識與場景的物件的距離並且辨識與該場景的背景內容的距離。基於與物件的距離和與背景內容的距離，深度估計引擎1410可以決定場景的景深。在一些態樣，且如上文進一步描述的，深度估計引擎1410可將資訊提供到AEC引擎1402以致使AEC引擎1402基於與場景相關聯的景深來控制鏡頭的擷取設置。
HDR融合引擎1412被配置為接收具有不同光學特性（諸如不同動態範圍）的至少兩個影像，並且將該至少兩個影像組合成單個HDR影像。
顯示引擎1414被配置為控制影像源以呈現在顯示器（諸如圖10A中的顯示器1005）上。在一些情況下，顯示引擎1414可以呈現利用圖10B的可變光圈鏡頭1015獲得的預覽影像。顯示引擎1414被配置為辨識若顯示影像則可能造成視覺擾動的各種條件。回應於辨識視覺擾動，顯示引擎1414可以決定獲得用另一鏡頭（諸如圖10B的廣角鏡頭1020）獲得的預覽影像。在一些情況下，顯示引擎1414可以向SAT引擎1408提供另一鏡頭的預覽影像來處理預覽影像，以確保顯示器顯示類似的影像來建立平滑、連續的顯示而沒有任何視覺擾動。
影像校正引擎1416被配置為修改影像以校正和增強影像。例如，影像校正引擎1416可以被配置為校正基於鏡頭的類型而發生的失真，執行各種校正措施，如增強飽和度等。在一些態樣，引擎1402、1404、1406、1408、1410、1412、1414和1416中的至少一些至少部分地被實施為儲存在記憶體中的軟體。例如，引擎1402、1404、1406、1408、1410、1412、1414和1416中的一或多個的部分可以被實施為可由至少一個處理器執行以執行相應引擎的功能或操作的非暫時性指令（或「代碼」）。在一些情況下，引擎1402、1404、1406、1408、1410、1412、1414和1416中的至少一些可以由電路（諸如ASIC）或可程式設計電路（諸如FPGA）來實施。例如，與影像校正引擎1416相關聯的功能可以由圖1中的ISP 154以硬體實施。
圖15是例示用於實施本技術的某些態樣的系統的實例的示意圖。特別地，圖15例示了計算系統1500的實例，其可以是例如構成內部計算系統、遠端計算系統、相機或其任何部件的任何計算設備，其中系統的部件使用連接1505彼此通訊。連接1505可以是使用匯流排的實體連接，或者是到處理器1510中的直接連接，諸如在晶片組架構中。連接1505亦可以是虛擬連接、聯網連接或邏輯連接。
在一些態樣，計算系統1500是分散式系統，其中本案中描述的功能可以分佈在資料中心、多個資料中心、對等網路等內。在一些態樣，所描述的系統部件中的一或多個表示許多此類部件，每個部件執行描述部件的功能中的一些或全部。在一些態樣，部件可以是實體或虛擬裝置。
實例計算系統1500包括至少一個處理單元（CPU或處理器）1510和連接1505，連接1505將包括系統記憶體1515（諸如唯讀記憶體（ROM）1520和隨機存取記憶體（RAM）1525）的各種系統部件耦合到處理器1510。計算系統1500可以包括與處理器1510直接連接、緊鄰處理器1510或整合為處理器1510的一部分的高速記憶體的快取記憶體1512。
處理器1510可以包括任何通用處理器以及被配置為控制處理器1510以及專用處理器的硬體服務或軟體服務，諸如儲存在存放裝置1530中的服務1532、1534和1536，其中軟體指令被併入到實際處理器設計中。處理器1510本質上可以是完全獨立的計算系統，其包含多個核或處理器、匯流排、記憶體控制器、快取記憶體等。多核處理器可以是對稱的或非對稱的。
為了實現使用者互動，計算系統1500包括輸入裝置1545，輸入裝置1545可以表示任何數量的輸入機構，諸如用於語音的麥克風、用於手勢或圖形輸入的觸敏屏、鍵盤、滑鼠、運動輸入、語音等。計算系統1500亦可以包括輸出設備1535，輸出設備1535可以是多個輸出機構中的一或多個。在一些情況下，多模態系統可以使使用者能夠提供多種類型的輸入/輸出以與計算系統1500通訊。計算系統1500可以包括通訊介面1540，通訊介面1540通常可以支配和管理使用者輸入和系統輸出。通訊介面可以使用有線及/或無線收發器來執行或促進接收及/或發送有線或無線通訊，包括利用音訊插座/插頭、麥克風插座/插頭、通用序列匯流排（USB）埠/插頭、蘋果®Lightning®埠/插頭、乙太網路埠/插頭、光纖埠/插頭、專有有線埠/插頭、藍芽®無線訊號傳輸、BLE無線訊號傳輸、IBEACON®無線訊號傳輸、RFID無線訊號傳輸、近場通訊（NFC）無線訊號傳輸、專用短程通訊（DSRC）無線訊號傳輸、802.11WiFi無線訊號傳輸、無線區域網路（WLAN）訊號傳輸、可見光通訊（VLC）、全球互通微波存取性（WiMAX）、IR通訊無線訊號傳輸、公用交換電話網（PSTN）訊號傳輸、整合式服務數位網路（ISDN）訊號傳輸、3G/4G/5G/LTE蜂巢資料網路無線訊號傳輸、自組織網路訊號傳輸、無線電波訊號傳輸、微波訊號傳輸、紅外訊號傳輸、可見光訊號傳輸、紫外光訊號傳輸、沿電磁頻譜的無線訊號傳輸或其某種組合的那些通訊介面。通訊介面1540亦可以包括一或多個全球導航衛星系統（GNSS）接收器或收發器，其用於基於從與一或多個GNSS系統相關聯的一或多個衛星接收到一或多個訊號來決定計算系統1500的位置。GNSS系統包括但不限於基於美國的全球定位系統（GPS）、基於俄羅斯的全球導航衛星系統（GLONASS）、基於中國的北斗導航衛星系統（BDS）和基於歐洲的伽利略GNSS。對在任何特定硬體佈置上操作沒有限制，並且因此這裡的基本特徵可以容易地在改進的硬體或韌體佈置被開發時被替換為改進的硬體或韌體佈置。
存放裝置1530可以是非揮發性及/或非暫時性及/或電腦可讀記憶體設備，並且可以是硬碟或可以儲存可由電腦存取的資料的其他類型的電腦可讀取媒體，諸如盒式磁帶、快閃記憶卡、固態記憶體設備、數位多功能光碟、磁帶盒、軟碟、軟碟、硬碟、磁帶、磁條/磁條、任何其他磁儲存媒體、快閃記憶體、憶阻器記憶體、任何其他固態記憶體、壓縮磁碟唯讀記憶體（CD-ROM）光碟、可重寫壓縮磁碟（CD）光碟、數位視訊盤（DVD）光碟、藍光光碟（BDD）光碟、全息光碟、另一光學媒體、安全數位（SD）卡、微安全數位（microSD）卡、記憶棒®卡、智慧卡晶片、EMV晶片、用戶身份模組（SIM）卡、迷你/微/納/微微SIM卡、另一積體電路（IC）晶片/卡、RAM、靜態RAM（SRAM）、動態RAM（DRAM）、ROM、可程式設計唯讀記憶體（PROM）、可抹除可程式設計唯讀記憶體（EPROM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體EPROM（FLASHEPROM）、高速緩衝記憶體（L1/L2/L3/L4/L5/L#）、電阻隨機存取記憶體（RRAM/ReRAM）、相變記憶體（PCM）、自旋轉移矩RAM（STT-RAM）、另一記憶體晶片或盒及/或其組合。
存放裝置1530可以包括軟體服務、伺服器、服務等，當定義這種軟體的代碼由處理器1510執行時，其使系統執行功能。在一些態樣，執行特定功能的硬體服務可以包括儲存在與必要的硬體部件（諸如，處理器1510、連接1505、輸出設備1535等）連接的電腦可讀取媒體中的軟體部件來執行該功能。術語「電腦可讀取媒體」包括但不限於可攜式或非可攜式存放裝置、光學存放裝置和能夠儲存、包含或攜載指令及/或資料的各種其他媒體。電腦可讀取媒體可以包括其中可以儲存資料且不包括無線地或經由有線連接傳播的載波及/或暫時性電子訊號的非暫時性媒體。非暫時性媒體的實例可以包括但不限於磁碟或磁帶、光學儲存媒體（諸如CD或DVD）、快閃記憶體、記憶體或記憶體設備。電腦可讀取媒體可以在其上儲存有代碼及/或機器可執行指令，該代碼及/或機器可執行指令可以表示程式、函數、副程式、程式、常式、子常式、模組、套裝軟體、類別或者指令、資料結構或程式語句的任何組合。程式碼片段可以經由傳遞及/或接收資訊、資料、引數、參數或記憶體內容而耦合到另一程式碼片段或硬體電路。資訊、引數、參數、資料等可以經由包括記憶體共享、訊息傳遞、符記傳遞、網路傳輸等的任何合適的手段來傳遞、轉發或傳輸。
在一些情況下，計算設備或裝置可以包括各種部件，諸如一或多個輸入裝置、一或多個輸出設備、一或多個處理器、一或多個微處理器、一或多個微電腦、一或多個相機、一或多個感測器及/或被配置為執行本文中所描述的程序的步驟的其他部件。在一些實例中，計算設備可以包括顯示器、被配置為傳送及/或接收資料的一或多個網路介面、其任何組合及/或其他部件。一或多個網路介面可以被配置為傳送及/或接收有線及/或無線資料，包括根據3G、4G、5G及/或其他蜂巢標準的資料、根據Wi-Fi（802.11x）標準的資料、根據Bluetooth TM標準的資料、根據IP標準的資料及/或其他類型的資料。
計算設備的部件可以以電路實施。例如，部件可以包括電子電路或其他電子硬體及/或可以使用電子電路或其他電子硬體來實施，該電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，微處理器、GPU、DSP、CPU及/或其他合適的電子電路），及/或可以包括電腦軟體、韌體或其任何組合及/或可以使用電腦軟體、韌體或其任何組合來實施，以執行本文描述的各種操作。
在一些態樣，電腦可讀存放裝置、媒體和記憶體可以包括包含位元串流等的有線或無線訊號。然而，當提到時，非暫時性電腦可讀取儲存媒體明確地排除諸如能量、載波訊號、電磁波和訊號本身之類的媒體。
在上述描述中提供了具體細節，以提供對本文提供的態樣和實例的透徹理解。然而，本發明所屬領域中具有通常知識者將理解，可以在沒有這些具體細節的情況下實踐這些態樣。為了解釋清楚，在一些情況下，本技術可以被呈現為包括單獨的功能方塊，該等單獨的功能方塊包括包含設備、設備部件、以軟體或硬體和軟體的組合體現的方法中的步驟或常式的功能方塊。除了在附圖中示出及/或在本文中描述的那些部件之外，可以使用額外部件。例如，電路、系統、網路、程序和其他部件可以以方塊圖形式示出為部件，以免以不必要的細節使這些態樣費解。在其他實例中，可以在沒有不必要的細節的情況下示出公知的電路、程序、演算法、結構和技術，以便避免使這些態樣費解。
各個態樣可以在上面被描述為被圖示為流程圖、流程圖、資料流程圖、結構圖或方塊圖的程序或方法。儘管流程圖可以將操作描述為順序程序，但是許多操作可以並行或同時執行。另外，可以重新排列操作的順序。程序在其操作完成時終止，但是可以具有未包括在圖中的額外步驟。程序可以對應於方法、函數、程序、子常式、副程式等。當程序對應於函數時，其終止可以對應於函數返回到調用函數或主函數。
根據上述實例的程序和方法可以使用儲存在電腦可讀取媒體中或以其他方式可從電腦可讀取媒體獲得的電腦可執行指令來實施。此類指令可以包括例如使得或以其他方式配置通用電腦、專用電腦或處理設備執行某個功能或功能組的指令和資料。所使用的電腦資源的部分可以經由網路存取。電腦可執行指令可以是例如二進位檔案、中間格式指令（諸如組合語言）、韌體、原始程式碼等。可用來儲存指令、所使用的資訊及/或在根據所描述的實例的方法期間建立的資訊的電腦可讀取媒體的實例包括磁碟或光碟、快閃記憶體、配備有非揮發性記憶體的USB設備、聯網存放裝置等。
實施根據這些公開的程序和方法的設備可以包括硬體、軟體、韌體、中介軟體、微代碼、硬體描述語言或其任何組合，並且可以採用各種形狀因數中的任何一種。當以軟體、韌體、中介軟體或微代碼實施時，用以執行必要任務的程式碼或程式碼片段（例如，電腦程式產品）可以被儲存在電腦可讀或機器可讀取媒體中。（多個）處理器可以執行必要的任務。形狀因數的典型實例包括膝上型電腦、智慧型電話、行動電話、平板設備或其他小形狀因數個人電腦、個人數位助理、機架式設備、獨立設備等。本文描述的功能亦可以被體現在周邊設備或額外卡中。作為另一實例，此類功能亦可以在電路板上在單個設備中執行的不同晶片或不同程序之間實施。
指令、用於傳送此類指令的媒體、用於執行它們的計算資源以及用於支援此類計算資源的其他結構是用於提供本案中描述的功能的實例部件。
在前述描述中，參考其具體態樣描述了本案的各態樣，但是本發明所屬領域中具有通常知識者將認識到，本案不限於此。因此，儘管本文已經詳細描述了本案的例示性態樣，但是應當理解，本發明構思可以以其他方式被不同地體現和採用，並且所附請求項意欲被解釋為包括此類變體，除了受現有技術的限制之外。上述申請的各種特徵和態樣可以單獨地或聯合地使用。此外，在不背離本說明書的寬泛的精神和範疇的情況下，可以在本文描述的環境和應用之外的任何數量的環境和應用中利用各態樣。因此，說明書和附圖被認為是例示性的而不是限制性的。出於例示的目的，以特定順序描述了方法。應當理解，在替代態樣，可以以與所描述的順序不同的順序來執行方法。
具有通常知識者將理解，在不背離本說明書的範疇的情況下，本文使用的小於（「＜」）和大於（「＞」）符號或術語可以分別用小於或等於（「＜」）和大於或等於（「＜」）符號代替。
在部件被描述為「被配置為」執行某些操作的情況下，這種配置可以例如經由將電子電路或其他硬體設計為執行操作、經由將可程式設計電子電路（例如，微處理器或其他合適的電子電路）程式設計為執行操作或其任何組合來實現。
短語「耦合到」是指直接地或間接地實體連接到另一部件的任何部件，及/或直接地或間接地與另一部件通訊（例如，經由有線或無線連接及/或其他合適的通訊介面連接到另一部件）的任何部件。
敘述集合中的「至少一個」及/或集合中的「一或多個」的請求項語言或其他語言指示集合中的一個成員或集合中的多個成員（以任何組合）滿足請求項。例如，敘述「A和B中的至少一個」或「A或B中的至少一個」的請求項語言意味著A、B或者A和B。在另一個實例中，敘述「A、B和C中的至少一個」或「A、B或C中的至少一個」的請求項語言意味著A、B、C、或A和B、或A和C、或B和C、或A和B和C。語言集合中的「至少一個」及/或集合中的「一或多個」不將集合限制為集合中列出的項目。例如，敘述「A和B中的至少一個」或「A或B中的至少一個」的請求項語言可以意味著A、B或A和B，並且可以另外包括未在A和B的集合中列出的項目。
結合本文公開的態樣描述的各種例示性邏輯區塊、模組、電路和演算法步驟可以被實施為電子硬體、電腦軟體、韌體或其組合。為清楚地說明硬體與軟體的此可互換性，上面已經大體上就其功能性描述了各種例示性部件、方塊、模組、電路和步驟。這種功能被實施為硬體還是軟體取決於特定應用和施加在整個系統上的設計約束。具有通常知識者可以針對每個特定應用以不同的方式實施所描述的功能，但是這種實施決策不應被解釋為導致背離本案的範疇。
本文中所描述的技術亦可以以電子硬體、電腦軟體、韌體或其任何組合實施。此類技術可以被實施在多種設備中的任一個中，諸如通用電腦、無線通訊設備手持機或具有包含在無線通訊設備手持機和其他設備中的應用的多種用途的積體電路設備。被描述為模組或部件的任何特徵可以一起被實施在整合邏輯裝置中，或者單獨被實現為個別但可交交交互動操作的邏輯裝置。若以軟體實施，則所述技術可以至少部分地由包括程式碼的電腦可讀取資料儲存媒體實現，該程式碼包含在被執行時執行上文所描述的方法中的一或多個的指令。電腦可讀取資料儲存媒體可以形成電腦程式產品的一部分，該電腦程式產品可以包括封裝材料。電腦可讀取媒體可以包括記憶體或資料儲存媒體，諸如RAM（諸如同步動態隨機存取記憶體（SDRAM））、ROM、非揮發性隨機存取記憶體（NVRAM）、EEPROM、快閃記憶體、磁性或光學資料儲存媒體等。補充地或替代地，該技術可以至少部分地由攜載或傳達呈指令或資料結構的形式並且可以由電腦存取、讀取及/或執行的程式碼的電腦可讀通訊媒體（諸如傳播訊號或波）實現。
程式碼可以由處理器執行，該處理器可以包括一或多個處理器，諸如一或多個DSP、通用微處理器、特殊應用積體電路（ASIC）、現場可程式設計邏輯陣列（FPGA）或其他等效整合或個別邏輯電路。這種處理器可以被配置為執行本案中所描述的技術中的任一個。通用處理器可以是微處理器；但在替代方案中，處理器可以使任何習知處理器、控制器、微控制器或狀態機。處理器亦可以被實施為計算設備的組合，例如，DSP和微處理器的組合、複數個微處理器、與DSP核心結合一或多個微處理器或者任何其他此類配置。因此，如本文中所使用的術語「處理器」可以指前述結構中的任一個、前述結構的任何組合或適合於實施本文中所描述的技術的任何其他結構或裝置。
本案的例示性態樣包括：
態樣1：一種處理影像資料的方法，包括：使用配置有第一光圈和第一曝光值的可變光圈鏡頭擷取物件的第一影像；使用配置有第二光圈和第二曝光值的該可變光圈鏡頭擷取該物件的第二影像，其中該第二光圈小於該第一光圈，並且該第二曝光值小於該第一曝光值；及至少部分地經由融合該第一影像和該第二影像來產生HDR影像。
態樣2：根據態樣1之方法，亦包括：至少部分地經由將AEC應用於先前擷取的影像來決定用於該第一影像的該第一光圈或用於該第二影像的該第二光圈中的至少一個。
態樣3：根據態樣2之方法，其中該AEC被用於基於與該物件在該先前擷取的影像中的位置和該先前擷取的影像中的背景內容的位置相關聯的景深來決定用於該第一影像的該第一光圈或用於該第二影像的該第二光圈中的至少一個。
態樣4：根據態樣1到3中任一態樣所述的方法，亦包括：至少部分地經由將AEC應用於先前擷取的影像來決定該第一影像的該第一曝光值或該第二影像的該第二曝光值中的至少一個。
態樣5：根據態樣4的方法，其中該AEC被用於基於該先前擷取的影像的曝光值來決定該第一影像的該第一曝光值或該第二影像的該第二曝光值中的至少一個。
態樣6：根據態樣1至5中任一項所述的方法，亦包括：使用增益修改該第一影像中的圖元的值，該增益增加該第一影像的該第一曝光值。
態樣7：根據態樣1至6中任一項所述的方法，亦包括：使用配置有第三光圈的該可變光圈鏡頭來擷取該物件的第三影像，該第三光圈小於該第一光圈且大於該第二光圈；其中該HDR影像是使用該第一影像、該第二影像和該第三影像產生的。
態樣8：一種用於經由設備呈現影像的方法，包括：顯示使用具有第一光圈的第一鏡頭擷取的第一組影像，該第一鏡頭具有可變光圈；啟動該第一鏡頭的光圈從該第一光圈到第二光圈的改變；基於啟動該第一鏡頭的該光圈的該改變，使用第二鏡頭來擷取至少一個替代影像；將該至少一個替代影像修改為對應於與該第一鏡頭相關聯的視野；顯示該至少一個替代影像，直到滿足與該第一鏡頭的該光圈的該改變相關聯的條件為止；及基於滿足該條件的決定，顯示使用具有該第二光圈的該第一鏡頭擷取的至少一個影像。
態樣9：根據態樣8之方法，其中該第二鏡頭具有比該第一鏡頭更大的視野。
態樣10：根據態樣8至9中任一項所述的方法，其中該第二鏡頭具有廣角鏡頭和固定光圈。
態樣11：根據態樣8至10中任一項所述的方法，其中修改該至少一個替代影像包括從該至少一個替代影像中裁剪與該第一鏡頭相關聯的該視野相對應的區域。
態樣12：根據態樣8至11中任一項所述的方法，其中該條件包括該可變光圈完成從該第一光圈到該第二光圈的移動。
態樣13：根據態樣8至12中任一項所述的方法，其中該條件包括使用具有該第二光圈的該第一鏡頭擷取的該至少一個影像的曝光值等於來自該第一組影像的至少一個影像的曝光值的閾值或在其內。
態樣14：根據態樣8至13中任一項所述的方法，其中該條件包括該可變光圈完成從該第一光圈到該第二光圈的移動，並且使用具有該第二光圈的該第一鏡頭擷取的該至少一個影像的曝光值等於來自該第一組影像的至少一個影像的曝光值。
態樣15：一種裝置，包括至少一個記憶體和耦合到該至少一個記憶體的至少一個處理器，該至少一個處理器被配置為：使用配置有第一光圈和第一曝光值的可變光圈鏡頭來擷取物件的第一影像；使用配置有第二光圈和第二曝光值的該可變光圈鏡頭來擷取該物件的第二影像，其中該第二光圈小於該第一光圈，並且該第二曝光值小於該第一曝光值；及至少部分地經由融合該第一影像和該第二影像來產生HDR影像。
態樣16：根據態樣15之裝置，其中該至少一個處理器被配置為：至少部分地經由將AEC應用於先前擷取的影像來決定用於該第一影像的該第一光圈或用於該第二影像的該第二光圈中的至少一個。
態樣17：根據態樣15至16中任一項所述的裝置，其中該AEC被用於基於與該物件在該先前擷取的影像中的位置和該先前擷取的影像中的背景內容的位置相關聯的景深來決定用於該第一影像的該第一光圈或用於該第二影像的該第二光圈中的至少一個。
態樣18：根據態樣15到17中任一項所述的裝置，其中該至少一個處理器被配置為：至少部分地經由將AEC應用於先前擷取的影像來決定該第一影像的該第一曝光值或該第二影像的該第二曝光值中的至少一個。
態樣19：根據態樣15到18中任一項所述的裝置，其中該AEC被用於基於該先前擷取的影像的曝光值來決定該第一影像的該第一曝光值或該第二影像的該第二曝光值中的至少一個。
態樣20：根據態樣15到19中任一項所述的裝置，其中該至少一個處理器被配置為：使用增益修改該第一影像中的圖元的值，該增益增加該第一影像的該第一曝光值。
態樣21：根據態樣15至20中任一項所述的裝置，其中該至少一個處理器被配置為：使用配置有第三光圈的該可變光圈鏡頭來擷取該物件的第三影像，該第三光圈小於該第一光圈且大於該第二光圈，其中使用該第一影像、該第二影像和該第三影像來產生HDR影像。
態樣22：一種裝置，包括至少一個記憶體和耦合到該至少一個記憶體的至少一個處理器，該至少一個處理器被配置為：輸出使用具有第一光圈的第一鏡頭擷取的第一組影像以供顯示，該第一鏡頭具有可變光圈；啟動該第一鏡頭的光圈從該第一光圈到第二光圈的改變；基於啟動該第一鏡頭的該光圈的該改變，使用第二鏡頭擷取至少一個替代影像；將該至少一個替代影像修改為對應於與該第一鏡頭相關聯的視野；輸出該至少一個替代影像以供顯示，直到滿足與該第一鏡頭的該光圈的該改變相關聯的條件為止；及基於滿足該條件的決定，輸出使用具有該第二光圈的該第一鏡頭擷取的至少一個影像以供顯示。
態樣23：根據態樣22之裝置，其中該第二鏡頭具有比該第一鏡頭更大的視野。
態樣24：根據態樣22至23中任一項所述的裝置，其中該第二鏡頭具有廣角鏡頭和固定光圈。
態樣25：根據態樣22至24中任一項所述的裝置，其中經由從該至少一個替代影像中裁剪與該第一鏡頭相關聯的該視野相對應的區域來修改該至少一個替代影像。
態樣26：根據態樣22至25中任一項所述的裝置，其中該條件包括該可變光圈完成從該第一光圈到該第二光圈的移動。
態樣27：根據態樣22到26中任一項所述的裝置，其中該條件包括使用具有該第二光圈的該第一鏡頭擷取的該至少一個影像的曝光值等於來自該第一組影像的至少一個影像的曝光值的閾值或在其內。
態樣28：根據態樣22至27中任一項所述的設備，其中該條件包括該可變光圈完成從該第一光圈到該第二光圈的移動，並且使用具有該第二光圈的該第一鏡頭擷取的該至少一個影像的曝光值等於來自該第一組影像的至少一個影像的曝光值。
態樣29：一種網路實體的非暫時性電腦可讀取媒體，其上儲存有指令，該等指令在由一或多個處理器執行時使得該一或多個處理器執行根據態樣1至7中任一項所述的操作。
態樣30：一種用於無線通訊的裝置，包括用於執行根據態樣1至7中任一項的操作的一或多個部件。
態樣31：一種網路實體的非暫時性電腦可讀取媒體，其上儲存有指令，該等指令在由一或多個處理器執行時，使得該一或多個處理器執行根據態樣8至14中任一項的操作。
態樣32：一種用於無線通訊的裝置，包括用於執行根據態樣8至14中任一項的操作的一或多個部件。
100:影像擷取和處理系統 105A:影像處理設備 105B:影像處理設備 110:場景 115:鏡頭 120:控制機構 125A:曝光控制機構 125B:聚焦控制機構 125C:變焦控制機構 130:影像感測器 140:隨機存取記憶體（RAM） 145:唯讀記憶體（ROM） 150:影像處理器 152:主機處理器 154:影像訊號處理器（ISP） 156:輸入/輸出埠 160:輸入/輸出（I/O）設備 200:可變光圈鏡頭 205:光闌 210:光圈 300:前景內容 305:背景內容 500:概念圖 505:長曝光影像 510A:中等曝光影像 510B:中等曝光影像 510C:中等曝光影像 515A:第一短曝光影像 515B:第二短曝光影像 515C:第三中等曝光影像 520:HDR融合引擎 530:HDR影像 600:HDR引擎 612:光圈控制引擎 620:亮影像 622:中等範圍影像 624:暗影像 630:HDR融合引擎 640:HDR影像 700:HDR引擎 705:影像 710:AEC引擎 712:光圈控制 714:曝光控制 716:增益控制 718:深度控制 722:亮影像 724:中等範圍影像 726:暗影像 730:HDR融合引擎 740:HDR影像 805:物件 810:窗框架 815:物體 900:方法 905:方塊 910:方塊 915:方塊 1000:行動設備 1005:顯示器 1010:鏡頭陣列 1015:可變光圈鏡頭 1020:廣角鏡頭 1025:遠攝鏡頭 1100:鏡頭陣列 1102:可變光圈鏡頭 1104:廣角鏡頭 1106:光闌 1110:設備控制鏡頭陣列 1112:影像 1120:影像 1122:影像 1130:影像 1132:影像 1140:影像 1142:影像 1150:影像 1152:影像 1200:設備 1210:場景 1220:鏡頭陣列 1222:可變光圈鏡頭 1224:廣角鏡頭 1226:遠攝鏡頭 1230:視野 1232:中心點 1240:較大視野 1242:中心點 1300:方法 1305:方塊 1310:方塊 1315:方塊 1320:方塊 1325:方塊 1330:方塊 1400:影像訊號處理器（ISP） 1402:AEC引擎 1404:變焦控制引擎 1406:聚焦控制引擎 1408:SAT引擎 1410:深度估計引擎 1412:HDR融合引擎 1414:顯示引擎 1416:影像校正引擎 1500:計算系統 1505:連接 1510:處理單元（CPU或處理器） 1512:快取記憶體 1515:系統記憶體 1520:唯讀記憶體（ROM） 1525:隨機存取記憶體（RAM） 1530:存放裝置 1532:服務 1534:服務 1535:輸出設備 1536:服務 1540:通訊介面 1545:其他輸入裝置
下文參考以下附圖詳細描述本案的例示性態樣：
圖1是例示根據一些態樣的影像擷取和處理系統的架構的方塊圖；
圖2A-圖2D是例示根據一些實例的具有不同光圈的可變光圈鏡頭的概念圖；
圖3A-圖3D例示了根據一些態樣的由具有可變光圈鏡頭的相機經由控制光圈的尺寸來使用不同的焦比擷取的場景；
圖4是例示根據一些態樣的基於與光學系統的焦距的不同焦比的景深的曲線圖；
圖5是例示根據一些態樣的具有不同曝光的場景的多個影像被合併成場景的高動態範圍（HDR）影像的概念圖；
圖6例示了根據一些態樣的用於融合物件的具有不同光圈的影像以建立HDR影像的HDR模組；
圖7例示了根據一些態樣的用於基於景深融合物件的具有不同光圈的影像以建立HDR影像的HDR模組；
圖8A和圖8B例示了根據一些態樣的由具有不同動態範圍的HDR模組擷取的影像。
圖8C例示了根據一些態樣的由HDR模組使用可變焦比來提高HDR影像的品質擷取的影像；
圖8D例示了由HDR模組使用固定焦比擷取的影像；
圖9是例示根據一些態樣的用於基於景深和動態焦比產生HDR影像的方法的實例的流程圖；
圖10A-圖10C例示了當鏡頭的光圈改變時顯示視覺擾動的影像擷取和處理系統的顯示器的操作；
圖11例示了根據一些態樣的被配置為使用在光圈改變期間選擇和呈現影像的多個鏡頭的成像系統；
圖12A和圖12B例示了根據一些態樣的影像的空間對準和變換（SAT）的實例；
圖13是例示根據一些態樣的用於由設備呈現影像的方法的實例的流程圖；
圖14圖示根據一些態樣的被配置為使用動態焦比來擷取HDR影像並呈現來自多個鏡頭的影像的實例影像處理設備的方塊圖；及
圖15是例示用於實施本文中所描述的某些態樣的系統的實例的示意圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
700:HDR引擎
705:影像
710:AEC引擎
712:光圈控制
714:曝光控制
716:增益控制
718:深度控制
722:亮影像
724:中等範圍影像
726:暗影像
730:HDR融合引擎
740:HDR影像

Claims (28)

  1. 一種處理影像資料的方法，包括以下步驟： 使用配置有一第一光圈和一第一曝光值的一可變光圈鏡頭來擷取一物件的一第一影像； 使用配置有一第二光圈和一第二曝光值的該可變光圈鏡頭來擷取該物件的一第二影像，其中該第二光圈小於該第一光圈，並且該第二曝光值小於該第一曝光值；及 至少部分地經由融合該第一影像和該第二影像來產生一高動態範圍（HDR）影像。
  2. 根據請求項1之方法，亦包括以下步驟： 至少部分地經由將自動曝光控制（AEC）應用於一先前擷取的影像來決定用於該第一影像的該第一光圈或用於該第二影像的該第二光圈中的至少一個。
  3. 根據請求項2之方法，其中該AEC被用於基於與該物件在該先前擷取的影像中的一位置和在該先前擷取的影像中的背景內容的一位置相關聯的一景深來決定用於該第一影像的該第一光圈或用於該第二影像的該第二光圈中的至少一個。
  4. 根據請求項1之方法，亦包括以下步驟： 至少部分地經由將自動曝光控制（AEC）應用於一先前擷取的影像來決定該第一影像的該第一曝光值或該第二影像的該第二曝光值中的至少一個。
  5. 根據請求項4之方法，其中該AEC被用於基於該先前擷取的影像的一曝光值來決定該第一影像的該第一曝光值或該第二影像的該第二曝光值中的至少一個。
  6. 根據請求項1之方法，亦包括以下步驟： 使用一增益修改該第一影像中的圖元的值，該增益增加該第一影像的該第一曝光值。
  7. 根據請求項1之方法，亦包括以下步驟： 使用配置有一第三光圈的該可變光圈鏡頭來擷取該物件的一第三影像，該第三光圈小於該第一光圈並且大於該第二光圈； 其中該HDR影像是使用該第一影像、該第二影像和該第三影像產生的。
  8. 一種用於處理影像資料的方法，包括以下步驟： 顯示使用具有一第一光圈的一第一鏡頭擷取的一第一組影像，該第一鏡頭具有一可變光圈； 啟動該第一鏡頭的光圈從該第一光圈到一第二光圈的一改變； 基於啟動該第一鏡頭的該光圈的該改變，使用一第二鏡頭來擷取至少一個替代影像； 將該至少一個替代影像修改為對應於與該第一鏡頭相關聯的一視野； 顯示該至少一個替代影像，直到滿足與該第一鏡頭的該光圈的該改變相關聯的一條件為止；及 基於決定滿足該條件，顯示使用具有該第二光圈的該第一鏡頭擷取的至少一個影像。
  9. 根據請求項8之方法，其中該第二鏡頭具有比該第一鏡頭更大的一視野。
  10. 根據請求項9之方法，其中該第二鏡頭具有一廣角鏡頭和一固定光圈。
  11. 根據請求項8之方法，其中修改該至少一個替代影像包括從該至少一個替代影像中裁剪與該第一鏡頭相關聯的該視野相對應的一區域。
  12. 根據請求項8之方法，其中該條件包括該可變光圈完成從該第一光圈到該第二光圈的移動。
  13. 根據請求項8之方法，其中該條件包含使用具有該第二光圈的該第一鏡頭擷取的該至少一個影像的一曝光值等於來自該第一組影像的至少一個影像的一曝光值的一閾值或在其內。
  14. 根據請求項8之方法，其中該條件包括該可變光圈完成從該第一光圈到該第二光圈的移動，並且使用具有該第二光圈的該第一鏡頭擷取的該至少一個影像的一曝光值等於來自該第一組影像的至少一個影像的一曝光值。
  15. 一種用於處理影像資料的裝置，其包括： 至少一個記憶體；及 至少一個處理器，其耦合到至少一個記憶體並且被配置為： 使用配置有一第一光圈和一第一曝光值的一可變光圈鏡頭來擷取一物件的一第一影像； 使用配置有一第二光圈和一第二曝光值的該可變光圈鏡頭來擷取該物件的一第二影像，其中該第二光圈小於該第一光圈，並且該第二曝光值小於該第一曝光值；並且 至少部分地經由融合該第一影像和該第二影像來產生一高動態範圍（HDR）影像。
  16. 根據請求項15之裝置，其中該至少一個處理器被配置為： 至少部分地經由將自動曝光控制（AEC）應用於一先前擷取的影像來決定用於該第一影像的該第一光圈或用於該第二影像的該第二光圈中的至少一個。
  17. 根據請求項16之裝置，該AEC被用於基於與該物件在該先前擷取的影像中的一位置和背景內容在該先前擷取的影像中的一位置相關聯的一景深來決定用於該第一影像的該第一光圈或用於該第二影像的該第二光圈中的至少一個。
  18. 根據請求項15之裝置，其中該至少一個處理器被配置為： 至少部分地經由將自動曝光控制（AEC）應用於一先前擷取的影像來決定該第一影像的該第一曝光值或該第二影像的該第二曝光值中的至少一個。
  19. 根據請求項18之裝置，其中該AEC被用於基於該先前擷取的影像的一曝光值來決定該第一影像的該第一曝光值或該第二影像的該第二曝光值中的至少一個。
  20. 根據請求項15之裝置，其中該至少一個處理器被配置為： 使用一增益修改該第一影像中的圖元的值，該增益增加該第一影像的該第一曝光值。
  21. 根據請求項15之裝置，其中該至少一個處理器被配置為： 使用配置有一第三光圈的該可變光圈鏡頭來擷取該物件的一第三影像，該第三光圈小於該第一光圈並且大於該第二光圈，其中該HDR影像是使用該第一影像、該第二影像和該第三影像產生的。
  22. 一種用於處理影像資料的裝置，其包括： 至少一個記憶體；及 至少一個處理器，其耦合到至少一個記憶體並且被配置為： 輸出使用具有一第一光圈的一第一鏡頭擷取的一第一組影像以供顯示，該第一鏡頭具有一可變光圈； 啟動該第一鏡頭的光圈從該第一光圈到一第二光圈的一改變； 基於啟動該第一鏡頭的該光圈的該改變，使用一第二鏡頭來擷取至少一個替代影像； 將該至少一個替代影像修改為對應於與該第一鏡頭相關聯的一視野； 輸出該至少一個替代影像以供顯示，直到滿足與該第一鏡頭的該光圈的該改變相關聯的一條件為止；並且 基於決定滿足該條件，輸出使用具有該第二光圈的該第一鏡頭擷取的至少一個影像以供顯示。
  23. 根據請求項22之裝置，其中該第二鏡頭具有比該第一鏡頭更大的一視野。
  24. 根據請求項23之裝置，其中該第二鏡頭具有一廣角鏡頭和一固定光圈。
  25. 根據請求項22之裝置，其中經由從該至少一個替代影像中裁剪與該第一鏡頭相關聯的該視野相對應的一區域來修改該至少一個替代影像。
  26. 根據請求項22之裝置，其中該條件包括該可變光圈完成從該第一光圈到該第二光圈的移動。
  27. 根據請求項22之裝置，其中該條件包含使用具有該第二光圈的該第一鏡頭擷取的該至少一個影像的一曝光值等於來自該第一組影像的至少一個影像的一曝光值的一閾值或在其內。
  28. 根據請求項22之裝置，其中該條件包括該可變光圈完成從該第一光圈到該第二光圈的移動，並且使用具有該第二光圈的該第一鏡頭擷取的該至少一個影像的一曝光值等於來自該第一組影像的至少一個影像的一曝光值。
TW112104395A 2022-03-24 2023-02-08 使用可變光圈成像設備擷取影像 TW202410685A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
WOPCT/CN2022/082700 2022-03-24

Publications (1)

Publication Number Publication Date
TW202410685A true TW202410685A (zh) 2024-03-01

Family

ID=

Similar Documents

Publication Publication Date Title
US20210390747A1 (en) Image fusion for image capture and processing systems
US20220138964A1 (en) Frame processing and/or capture instruction systems and techniques
WO2023279289A1 (en) Processing image data using multi-point depth sensing system information
US11283994B2 (en) Synchronization mechanism for image capture and processing systems
US20230388623A1 (en) Composite image signal processor
WO2023192706A1 (en) Image capture using dynamic lens positions
US20220414847A1 (en) High dynamic range image processing
WO2023178588A1 (en) Capturing images using variable aperture imaging devices
TW202410685A (zh) 使用可變光圈成像設備擷取影像
US11792505B2 (en) Enhanced object detection
US20240144717A1 (en) Image enhancement for image regions of interest
WO2023279275A1 (en) Local motion detection for improving image capture and/or processing operations
US20240078635A1 (en) Compression of images for generating combined images
US11843871B1 (en) Smart high dynamic range image clamping
US20240185401A1 (en) Area efficient high dynamic range bandwidth compression
US20240179425A1 (en) Image sensor with multiple image readout
WO2023282963A1 (en) Enhanced object detection
US20230021016A1 (en) Hybrid object detector and tracker
US20230377096A1 (en) Image signal processor
US20240179382A1 (en) Systems and methods of imaging with multi-domain image sensor
WO2024030691A1 (en) High dynamic range (hdr) image generation with multi-domain motion correction
TW202416719A (zh) 用於產生組合圖像的圖像壓縮