TW202318331A - 用於減少延遲的相機初始化 - Google Patents

用於減少延遲的相機初始化 Download PDF

Info

Publication number
TW202318331A
TW202318331A TW111131148A TW111131148A TW202318331A TW 202318331 A TW202318331 A TW 202318331A TW 111131148 A TW111131148 A TW 111131148A TW 111131148 A TW111131148 A TW 111131148A TW 202318331 A TW202318331 A TW 202318331A
Authority
TW
Taiwan
Prior art keywords
image capture
capture device
camera
image
power mode
Prior art date
Application number
TW111131148A
Other languages
English (en)
Inventor
威斯利詹姆士 侯蘭德
優寶 馬哈布
文卡塔拉比奇蘭 達雅娜
倫加拉傑 蒂魯帕蒂
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202318331A publication Critical patent/TW202318331A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/65—Control of camera operation in relation to power supply
    • H04N23/651—Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)

Abstract

提供了用於預測性的相機初始化的系統、方法和非暫時性媒體。一種實例方法可包括從第一影像擷取裝置獲得圖示場景的影像資料；基於影像資料對場景進行分類；基於場景的分類，預測相機使用事件；並且基於預測的相機使用事件，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式。

Description

用於減少延遲的相機初始化
本案整體上係關於控制相機設備。例如，本案的各態樣係關於用於減少相機使用延遲的預測性的相機初始化。
電子設備越來越多地配備有相機硬體，以擷取影像及/或視訊以供消費。例如，計算設備可以包括相機（例如，行動設備，諸如包括一或多個相機的行動電話或智慧型電話），以允許計算設備擷取場景、人、物件等的視訊或影像。影像或視訊可以由計算設備（例如，行動設備、IP相機、擴展現實設備、連接設備、安全系統等）擷取和處理，並儲存及/或輸出以供消費（例如，顯示在設備及/或另一設備上）。在一些情況下，影像或視訊可以被進一步處理以獲得效果（例如，壓縮、影像增強、影像恢復、縮放、訊框率轉換、降噪等）及/或某些應用，諸如電腦視覺、擴展現實（例如，增強現實、虛擬實境等）、物件偵測、影像辨識（例如，人臉辨識、物件辨識、場景辨識等）、特徵提取、認證和自動化等等。
在一些情況下，電子設備可以處理影像，以偵測由影像擷取的物件、人臉、事件及/或任何其他項目。物件偵測可被用於各種應用，諸如例如認證、自動化、姿勢辨識、監視、擴展現實、電腦視覺等等。在一些實例中，電子設備可以實現較低功率或「始終開啟」（AON）相機，其持續或定期執行來自動偵測環境中的某些物件。較低功率相機可以實現各種用例，諸如例如持續的姿勢偵測、持續的物件（例如，人臉/人、動物、車輛、設備、飛機、事件等）偵測、持續的物件掃瞄（例如，快速回應（QR）碼掃瞄、條碼掃瞄等）、用於認證的持續的臉孔辨識等。在許多情況下，較低功率相機的成像、處理及/或效能能力/結果可能受到限制。因此，在一些情況下，電子設備亦可以實現具有更高成像、處理及/或效能能力/結果的較高功率的相機，當需要更高成像、處理及/或效能能力/結果時，電子設備可以在特定的時間及/或特定場景使用該相機。
本文描述了用於預測性的相機初始化以減少延遲的系統和技術。根據至少一個實例，提供了一種用於減少延遲的預測性的相機初始化的方法。該方法可包括從第一影像擷取裝置獲得圖示場景的影像資料；基於影像資料對場景進行分類；基於場景的分類，預測相機使用事件；並且基於預測的相機使用事件，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式。
根據至少一個實例，提供了一種用於減少延遲的預測性的相機初始化的非暫時性電腦可讀取媒體。該非暫時性電腦可讀取媒體可包括指令，當由一或多個處理器執行時，其使該一或多個處理器從第一影像擷取裝置獲得圖示場景的影像資料；基於影像資料對場景進行分類；基於場景的分類，預測相機使用事件；並且基於預測的相機使用事件，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式。
根據至少一個實例，提供了一種用於減少延遲的預測性的相機初始化的裝置。該裝置可包括記憶體和一或多個處理器，該一或多個處理器被配置為從第一影像擷取裝置獲得圖示場景的影像資料；基於影像資料對場景進行分類；基於場景的分類，預測相機使用事件；並且基於預測的相機使用事件，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式。
根據至少一個實例，提供了另一種用於減少延遲的預測性的相機初始化的裝置。該裝置可以包括用於進行以下操作的部件：從第一影像擷取裝置獲得圖示場景的影像資料；基於影像資料對場景進行分類；基於場景的分類，預測相機使用事件；並且基於預測的相機使用事件，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式。
在一些態樣中，上述方法、非暫時性電腦可讀取媒體和裝置可以基於來自第一影像擷取裝置的一幅或多幅影像，預收斂曝光值及/或聚焦值。
在一些態樣中，上述方法、非暫時性電腦可讀取媒體和裝置可以獲得指示與第一影像擷取裝置相關聯的電子設備的位置的位置資料和來自與該電子設備相關聯的一或多個感測器的感測器資料中的至少一個，該感測器資料包括指示與該電子設備相關聯的運動的運動量測、由一或多個感測器擷取的音訊資料，以及指示該電子設備的位置的位置量測中的至少一個；並且基於影像資料以及位置資料、音訊資料和感測器資料中的至少一個對場景進行分類。
在一些實例中，預測的相機使用事件可以包括被配置為觸發與第一影像擷取裝置相關聯的電子設備擷取額外的影像資料的使用者輸入。
在一些實例中，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式可以包括初始化第二影像擷取裝置。在一些實例中，第二影像擷取裝置在比用於擷取影像資料的第一影像擷取裝置的相應功率模式消耗更多功率的功率模式下被初始化。
在一些態樣中，上述方法、非暫時性電腦可讀取媒體和裝置可以在比第一影像擷取裝置的相應功率模式消耗更多功率的功率模式下使用第二影像擷取裝置擷取額外的影像資料。在一些實例中，功率模式包括以下項中的至少一個：比與用於擷取影像資料的第一影像擷取裝置的相應功率模式相關聯的解析度更高的解析度、比與用於擷取影像資料的第一影像擷取裝置的相應功率模式相關聯的畫面播放速率更高的畫面播放速率、比與用於擷取影像資料的第一影像擷取裝置的相應功率模式相關聯的影像感測器數量更多的影像感測器數量、以及支援特定功率模式的第一影像感測器，其中該特定功率模式比由與第一影像擷取裝置相關聯的第二影像感測器支援的不同功率模式消耗更多的功率。
在一些情況下，第二影像擷取裝置與第一相機管線相關聯，該第一相機管線比與第一影像擷取裝置相關聯的第二相機管線消耗更多的功率。在一些實例中，第一相機管線包括以下項中的至少一個：比第二相機管線更多的影像處理能力、以及比第二相機管線具有更高處理效能的一或多個硬體部件。
在一些實例中，初始化第二影像擷取裝置包括增加第二影像擷取裝置的功率模式。
在一些實例中，初始化第二影像擷取裝置包括增加第二影像擷取裝置的功率模式。在一些情況下，增大第二影像擷取裝置的功率模式包括增大第二影像擷取裝置和與第二影像擷取裝置的相機管線相關聯的一或多個硬體部件中的至少一個的功率。
在一些態樣中，上述方法、非暫時性電腦可讀取媒體和裝置可將來自第一影像擷取裝置的影像資料儲存在緩衝器中，其中在第二影像擷取裝置的初始化期間和在第二影像擷取裝置的初始化完成之前中的至少一個，影像資料的至少一部分被儲存在緩衝器中；並且經由與第二影像擷取裝置相關聯的相機管線處理儲存在緩衝器中的影像資料的至少一部分，其中在第二影像擷取裝置被初始化後處理影像資料的至少一部分。
在一些實例中，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式包括增加與第二影像擷取裝置的相機管線關聯的處理器和與相機管線關聯的記憶體中的至少一個的頻率。
在一些情況下，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式包括將記憶體預分配給與第二影像擷取裝置相關聯的相機應用。
在一些實例中，對場景進行分類包括偵測與影像資料相關聯的事件。在一些情況下，事件包括影像資料中圖示的場景、與第一個影像擷取裝置相關聯的電子設備的特定移動、電子設備相對於與電子設備相關聯的使用者的位置、影像資料中偵測到的一群人、與一或多個使用者相關聯的姿勢、顯示在物件上的圖案、以及一組人相對彼此的位置中的至少一個。
在一些實例中，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式包括決定與第二影像擷取裝置的初始化相關聯的一或多個初始化設置，該一或多個初始化設置基於與場景相關聯的事件類型；並且根據該一或多個初始化設置初始化第二影像擷取裝置。
在一些態樣中，上述方法、非暫時性電腦可讀取媒體和裝置可以回應於對場景進行分類初始化與到期值相關聯的計時器；決定計時器的值在預測的相機使用事件的發生之前達到到期值；並且基於在預測的相機使用事件的發生之前達到到期值的計時器的值，降低第二影像擷取裝置的功率模式。在一些實例中，降低功率模式包括以下項中的至少一個：關閉第二影像擷取裝置、以及降低與第二影像擷取裝置和與第二影像擷取裝置相關聯的相機管線中的至少一個相關聯的一或多個功率設置。
在一些實例中，調整第二影像擷取裝置的功率模式包括打開或實現以下項中的至少一個：泛光照明器、深度感測器設備、雙影像擷取裝置系統、結構光系統、飛行時間系統、音訊演算法、位置服務、和與第一影像擷取裝置相關聯的相機管線不同的相機管線。
在一些實例中，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式包括減少第一影像擷取裝置的功率模式。在一些情況下，減少第一影像擷取裝置的功率模式包括減少第一影像擷取裝置和與第一影像擷取裝置的相機管線相關聯的一或多個硬體部件中的至少一個的功率。
在一些實例中，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式包括增大第一影像擷取裝置的功率模式。在一些情況下，增大第一影像擷取裝置的功率模式包括增大第一影像擷取裝置和與第一影像擷取裝置的相機管線相關聯的一或多個硬體部件中的至少一個的功率。
在一些態樣中，上述每種裝置皆可以是行動設備、智慧或連接設備、相機系統及/或擴展現實（XR）設備（例如，虛擬實境（VR）設備、增強現實（AR）設備或混合現實（MR）設備）的一部分或包括行動設備、智慧或連接設備、相機系統及/或擴展現實（XR）設備（例如，虛擬實境（VR）設備、增強現實（AR）設備或混合現實（MR）設備）。在一些實例中，這些裝置可以包括車輛、行動設備（例如，行動電話或所謂「智慧型電話」或其他行動設備）、可穿戴設備、個人電腦、膝上型電腦、平板電腦、伺服器電腦、機器人設備或系統、航空系統或其他設備、或者是車輛、行動設備（例如，行動電話或所謂「智慧型電話」或其他行動設備）、可穿戴設備、個人電腦、膝上型電腦、平板電腦、伺服器電腦、機器人設備或系統、航空系統或其他設備的一部分。在一些態樣中，該裝置包括用於擷取一幅或多幅影像的一個影像感測器（例如，一個相機）或多個影像感測器（例如，多個相機）。在一些態樣，該裝置包括一或多個顯示器，其用於顯示一幅或多幅影像、通知及/或其他可顯示資料。在一些態樣中，該裝置包括一或多個揚聲器、一或多個發光設備、及/或一或多個麥克風。在一些態樣中，上述裝置可包括一或多個感測器。在一些情況下，一或多個感測器可被用於決定裝置的位置、裝置的狀態（例如，追蹤狀態、操作狀態、溫度、濕度水平及/或其他狀態）及/或用於其他目的。
本概述並非意欲標識所要求保護的主題的關鍵或基本特徵，亦非意欲孤立地用於決定所要求保護的主題的範疇。應經由參考本專利的整個說明書的適當部分、任何或所有的附圖以及每項請求項來理解該主題。
上述內容以及其他特徵和實施例，在參考以下說明書、申請專利範圍和附圖後將變得更加明顯。
在下文提供本案的某些態樣和實施例。這些態樣和實施例中的一些可以獨立應用，並且其中一些可以組合應用，這對於本發明所屬領域中具有通常知識者來說是顯而易見的。在下文的描述中，為了解釋的目的闡述了具體的細節，以提供對本案的實施例的透徹理解。然而，顯而易見的是，各種實施例可以在沒有這些具體細節的情況下實施。附圖和描述不意欲是限制性的。
隨後的描述僅提供了實例實施例，並不意欲限制本案的範疇、適用性或配置。相反地，隨後對示例性實施例的描述將為本發明所屬領域中具有通常知識者提供用於實現示例性實施例的實現描述。應當理解，在不脫離如所附請求項中闡述的本案的精神和範疇的情況下，可以對元素的功能和佈置進行各種改變。
電子設備（例如，行動電話、可穿戴設備（例如，智慧手錶、智慧手鐲、智慧眼鏡等）、平板電腦、擴展現實（XR）設備（例如，虛擬實境（VR）設備、增強現實（AR）設備等）、連接設備、膝上型電腦等）可以實現相機來偵測及/或辨識感興趣的事件。例如，電子設備可以實現較低功率相機，以根據需求、持續地或定期地偵測及/或辨識感興趣的事件，等。實例感興趣的事件可以包括姿勢（例如，手勢、微笑等）、動作（例如，經由設備、人及/或動物）、一或多個物件的出現或發生等。與感興趣的事件相關的物件可以包括及/或指（例如但不限於）人臉、碼（例如，快速回應（QR）碼、條碼等）、文件、場景或環境、連結、機器可讀碼、人群等。較低功率相機可以實現用於擷取影像資料、偵測感興趣的事件等的較低功率的硬體及/或節能影像處理軟體/管線。較低功率相機可以保持開機或「喚醒」，以觀察場景中的移動及/或物件並偵測場景中的事件，同時使用比其他設備（諸如較高功率相機）更少的電池電量。
例如，較低功率相機可以觀察場景中的移動及/或活動，從發現物件。為了說明，XR設備可以實現週期地發現XR控制器及/或其他追蹤物件的較低功率相機，行動電話可以實現週期地檢查物件（例如，碼、文件、人臉等）或事件的較低功率相機，智慧家居助手可以實現週期地檢查使用者存在的較低功率相機，等等。在發現事件（例如，物件、姿勢、活動、場景等）時，較低功率相機可以觸發一或多個動作，諸如例如，物件偵測、物件辨識、身份驗證（例如，面部驗證等）、一或多個影像處理任務、以及其他動作。在一些情況下，較低功率相機可以「喚醒」其他設備及/或部件，諸如其他相機、感測器、處理硬體等。
在一些實例中，較低功率相機（有時被稱為「始終開啟」（AON）相機）可以持續或週期性地執行，以自動偵測環境中的某些物件/事件。此外，較低功率相機可以被配置為比較高功率或「主」相機汲取更少量的功率和計算資源。例如，較低功率相機管線可以採用較低/降低的解析度、較低功率影像感測器、較低功率記憶體資源（例如，與動態隨機記憶體（DRAM）相對的片上靜態隨機存取記憶體（SRAM）等）、用於減少洩漏的島電壓軌、用於時鐘源的環形振盪器（例如，與鎖相迴路相反）、較低功率實體介面，較低功率影像處理操作等，以實現與較高功率或「主」相機管線相比具有有限/降低的功耗的持續或週期性成像。在一些情況下，為了進一步降低功耗及/或資源利用，較低功率相機管線可能不會實現某些操作（例如，降噪、影像變形、影像增強等），可能不會處理某些類型的資料（例如，彩色影像資料，而不是黑白/亮度資料），可能不採用某些硬體（例如，縮小器、顏色轉換器、鏡頭失真校正硬體、數位訊號處理器、神經處理器、神經網路加速器、較高功率實體介面（諸如行動工業處理器介面（MIPI）相機序列介面（CSI）、某些電腦視覺塊等））。
通常，較低功率相機的成像、處理及/或效能能力和結果可能比較高功率相機低。例如，較低功率相機可能產生比較高功率相機更低品質的影像/視訊，及/或提供比較高功率相機更有限的特徵及/或效果。因此，在一些情況下，除了實現較低功率相機外，電子設備亦可以實現支援比較低功率相機更高的成像、處理及/或效能能力/結果的較高功率相機。在一些實例中，當需要更高的成像、處理及/或效能能力/結果時，電子設備可能在某些時間及/或某些場景中使用這樣的較高功率相機。
在許多情況下，當使用者試圖獲得影像、視訊或預覽時，可能期望較高功率相機及/或與較高功率相機相關聯的相機應用儘快可用。然而，在初始化狀態（例如，就緒狀態、開機狀態等）下維持較高功率相機將消耗大量的功率和計算資源。為了降低功耗和資源利用率，較高功率相機通常保持在關閉或未初始化狀態。當使用者試圖使用較高功率相機及/或相機應用時，這可能會延遲較高功率相機及/或相機應用的可用性和初始操作。例如，較高功率相機的初始化可能需要一定的時間來為相機應用分配記憶體，開機/上電較高功率相機的影像感測器，打開/開啟與較高功率相機及/或較高功率相機的相機管線相關聯的各種硬體塊，收斂曝光及/或聚焦值，等。這些程序會導致相機初始化/啟動延遲和使用者無法立即擷取感興趣的影像/視訊的挫敗感。在一些情況下，當試圖擷取短期事件時，這些程序甚至會導致錯過機會。
本文描述了用於預測性的相機初始化以減少延遲的系統、裝置、方法（亦被稱為程序）和電腦可讀取媒體（在本文被統稱為「系統和技術」）。在一些實例中，本文描述的系統和技術可以實現預測器引擎，其在估計/預期的較高功率相機使用事件（諸如預測的使用者嘗試/輸入以使用較高功率相機及/或相機應用）之前，預測性地初始化較高功率相機。在一些實例中，預測器引擎可以基於某些事件/刺激來觸發較高功率相機的初始化，這些事件/刺激至少部分地由較低功率相機觀察到並且被估計為指示未來/即將發生的相機使用事件，諸如已知及/或估計在使用者嘗試（例如，使用者輸入）擷取影像/視訊之前經常發生的場景、條件及/或活動。。
例如，在一些情況下，較低功率相機可能會觀察到一組人在聚集及/或微笑。與預測器相關聯的分類器可以使用由較低功率相機擷取的影像資料來決定使用者可能調用較高功率相機來擷取該組的影像/視訊的可能性。作為另一個實例，較低功率相機可以為分類器輸出影像，其指示通常拍攝的場景（例如，日落、海灘、動物、地標等）或事件（例如，音樂會、使用者活動、姿勢（例如相機快照、電子設備相對於地平線的姿態、一或多個使用者相對於電子設備的姿勢、手勢等）、遊戲、婚禮等）。隨後，預測器可以基於分類器的預測輸出觸發較高功率相機的初始化。在一些情況下，預測器觸發較高功率相機初始化的決定可以進一步基於其他資料，諸如例如其他感測器資料（例如，慣性感測器資料、音訊資料等）、全球導航衛星系統（GNSS）或全球定位系統（GPS）資料等。
在一些情況下，預測器亦可以使用來自較低功率相機的資料來決定用於較高功率相機初始化的可用/使用的時間長度。例如，若預測器決定一組人很可能正在準備拍攝一組影像，則預測器可以決定更多的時間可用於在該組影像之前初始化較高功率相機（例如，與諸如體育影像或自拍的另一影像事件相比），因為該組人可能需要更長的時間來集合（例如，與另一影像事件相比）。預測器可以決定額外的時間可以允許更長的曝光及/或聚焦收斂來最佳化影像。基於額外的時間，預測器可以觸發與較低功率相機或較高功率相機相關聯的相機管線，以收斂或預收斂自動曝光值及/或聚焦值。
在一些實例中，預測器可以基於來自較低功率相機的資料決定初始化步驟及/或其觸發的相機程序。例如，當來自較低功率相機的資料擷取到日落時，預測器可以觸發高動態範圍（HDR）模式曝光控制，而當來自較低功率相機的資料沒有擷取到日落時，預測器可以觸發非HDR模式。作為另一個實例，當來自較低功率相機的資料擷取到使用者微笑時，預測器可以分配比在該資料擷取到快速回應（QR）碼時更大的緩衝器。在一些情況下，除了觸發較高功率相機初始化外，預測器亦可以觸發較低功率相機管線，以便將來自較低功率相機的原始資料儲存在緩衝器中，以用於一旦較高功率相機被初始化後就供較高功率相機處理。在一些實例中，原始資料可包括在初始化較高功率相機時由較低功率相機擷取的資料。在一些實例中，較高功率相機可以使用緩衝器中的原始資料來實現零快門延遲（ZSL），在這種情況下，緩衝器可以充當ZSL緩衝器。
在一些情況下，預測器可以使用某些標準來決定何時去初始化較高功率相機及/或限制較高功率相機初始化，以便減少較高功率相機保持初始化的時間量和較高功率相機的功率和資源消耗量。例如，若在預設時間段內較高功率相機沒有擷取到影像/視訊，則預測器可以在該時間段之後對較高功率相機去初始化。作為另一個實例，預測器可以設置在預設時間段內允許的最大初始化數量，以及若在預設時間段內已達到最大初始化數量，則跳過新的較高功率相機初始化。
本文所述的系統和技術可被實現用於各種電子設備，以最小或降低的延遲智慧地上電/斷電不同的相機感測器，將感測器饋送通道化到較少數量的處理設備，諸如影像訊號處理器等。例如，本文描述的系統和技術可被實現用於行動計算裝置（例如，智慧型電話、平板電腦、膝上型電腦、相機等）、智慧穿戴設備（例如，頭戴式顯示器、擴展現實（例如，虛擬實境、增強現實等）眼鏡等）、連接的設備或物聯網路（IoT）設備（例如，智慧電視、智慧安全相機、智慧電器等）、自動機器人設備、自動駕駛系統、及/或任何其他帶有相機硬體的設備。
該電子設備（及/或該電子設備上的較低功率相機）可以監測各種類型的事件（並為其實現本文所述的系統和技術）。偵測事件的非限制性實例可以包括面部偵測、場景偵測（例如，日落、文件掃瞄、地標等）、人群偵測、動物/寵物偵測、圖案偵測（例如，QR碼、條碼等）、本文偵測、物件偵測、姿勢偵測（例如，微笑偵測、情緒偵測、揮手等）、姿態偵測等。
本案的各個態樣將參照附圖進行描述。
圖1是示出能夠實現本文描述的預測性的相機初始化（例如，相機預初始化）和其他技術的電子設備100的實例的示圖。在一些實例中，電子設備100可以包括被配置為提供一或多個功能的電子設備，該一或多個功能諸如例如，成像功能、擴展現實（XR）功能（例如，定位/追蹤、偵測、分類、映射、內容渲染等）、視訊功能、影像處理功能、設備管理及/或控制功能、遊戲功能、自動駕駛或導航功能、電腦視覺功能、機器人功能、自動化、電腦視覺、電子通訊功能（例如，音訊/視訊撥叫、電子訊息等）、網頁瀏覽功能等。
例如，在一些情況下，電子設備100可以是XR設備（例如，頭戴式顯示裝置、平視顯示器、智慧眼鏡等），其被配置為提供XR功能，並執行預測性的相機初始化。在一些情況下，電子設備100可以實現一或多個應用，諸如例如但不限於XR應用、相機應用、用於管理及/或控制電子設備100的部件及/或操作的應用、智慧家居應用、視訊遊戲應用、設備控制應用、自動駕駛應用、導航應用、生產力應用、社交媒體應用、通訊應用、建模應用、媒體應用、電子商務應用、瀏覽器應用、設計應用、地圖應用及/或任何其他應用。作為另一個實例，電子設備100可以是被配置為執行如本文所述的預測性的相機初始化的智慧型電話。
在圖1中所示的說明性實例中，電子設備100可以包括一或多個影像感測器，諸如影像感測器102和影像感測器104、音訊感測器106（例如，超聲感測器、麥克風等）、慣性量測單元（IMU）108、以及一或多個計算部件110。在一些情況下，電子設備100可以可選地包括一或多個其他/額外感測器，諸如例如但不限於，雷達、光偵測和測距（LIDAR）感測器、觸摸感測器、壓力感測器（例如，氣壓式空氣壓力感測器及/或任何其他壓力感測器）、陀螺儀、加速度計、磁強計及/或任何其他感測器。在一些實例中，電子設備100可以包括額外的部件，諸如例如發光二極體（LED）設備、存放裝置、快取記憶體、GNSS/GPS接收器、通訊介面、顯示器、記憶體設備等。可由電子設備100實現的實例架構和實例硬體部件關於圖7進一步如下描述。
該電子設備100可以是單個計算設備或多個計算設備的一部分、或者由單個計算設備或多個計算設備實現。在一些實例中，電子設備100可以是電子設備（或多個設備）的一部分，諸如相機系統（例如，數碼相機、IP相機、攝像機、安全相機等）、電話系統（例如，智慧型電話、蜂巢式電話、會議系統等）、膝上型或筆記型電腦、平板電腦、機上盒、智慧電視、顯示裝置、遊戲控制台、XR設備（諸如HMD）、無人機、車內電腦、IoT（物聯網）設備、智慧穿戴設備、或任何其他合適的電子設備。
在一些實現方式中，影像感測器102、影像感測器104、音訊感測器106、IMU 108、及/或一或多個計算部件110可以是相同計算設備的一部分。例如，在一些情況下，影像感測器102、影像感測器104、音訊感測器106、IMU 108、及/或一或多個計算部件110可以與相機系統、智慧型電話、膝上型電腦、平板電腦、智慧可穿戴設備、XR設備（諸如HMD）、IoT設備、遊戲系統及/或任何其他計算設備整合，或著整合到相機系統、智慧型電話、膝上型電腦、平板電腦、智慧可穿戴設備、XR設備（諸如HMD）、IoT設備、遊戲系統及/或任何其他計算設備中。在其他實現方式中，影像感測器102、影像感測器104、音訊感測器106、IMU 108、及/或一或多個計算部件110可以是兩個或兩個以上獨立計算設備的一部分，或由兩個或兩個以上獨立計算設備實現。
電子設備100的一或多個計算部件110可以包括例如但不限於中央處理單元（CPU）112、圖形處理單元（GPU）114、數位訊號處理器（DSP）116及/或影像訊號處理器（ISP）118。在一些實例中，電子設備100可以包括其他處理器，諸如例如，電腦視覺（CV）處理器、神經網路處理器（NNP）、特殊應用積體電路（ASIC）、現場可程式設計閘陣列（FPGA）等。電子設備100可使用一或多個計算部件110執行各種計算操作，諸如例如，擴展現實操作（例如，追蹤、定位、物件偵測、分類、姿態估計、映射、內容錨定、內容渲染等）、設備控制操作、影像/視訊處理、圖形渲染、機器學習、資料處理、建模、計算、電腦視覺、訊息傳遞及/或任何其他操作。
在一些情況下，一或多個計算部件110可以包括其他電子電路或硬體、電腦軟體、韌體或它們的任何組合，以執行本文所述的各種操作中的任一個。在一些實例中，一或多個計算部件110可以包括比圖1中所示的那些更多或更少的計算組件。此外，CPU 112、GPU 114、DSP 116和ISP 118只是為了解釋目的而提供的計算部件的實例。
影像感測器102及/或影像感測器104可以包括任何影像及/或視訊感測器或擷取裝置，諸如數子相機感測器、視訊相機感測器、智慧型電話相機感測器、諸如電視或電腦、相機的電子裝置上的影像/視訊擷取裝置等。在一些情況下，影像感測器102及/或影像感測器104可以是相機或計算設備（諸如數子相機、攝像機、IP相機、智慧型電話、智慧電視、遊戲系統等）的一部分。此外，在一些情況下，影像感測器102和影像感測器104可以包括多個影像感測器，諸如後感測器設備和前感測器設備，並且可以是雙相機或其他多相機部件（例如，包括兩個相機、三個相機、四個相機或其他數量的相機）的一部分。
在一些實例中，影像感測器102可以包括或可以是較低功率相機或「始終開機」相機的一部分，而影像感測器104可以包括或可以是較高功率或「主」相機的一部分。在一些實例中，較低功率相機可以實現較低功率硬體及/或更節能的影像處理軟體（比較高功率相機）來偵測事件，處理擷取的影像資料等。在一些情況下，較低功率相機可以實現比較高功率相機（例如，影像感測器104）更低的功率設置及/或模式，諸如例如，更低的訊框率、更低的解析度、更少的影像感測器數量、更低的功率模式、更低的功率相機管線（包括軟體及/或硬體）等。在一些實例中，較低功率相機可以實現比較高功率相機更少及/或更低功率的影像感測器，可以使用較低功率記憶體（諸如片上靜態隨機存取記憶體（SRAM）而不是動態隨機存取記憶體（DRAM）），可以使用島電壓軌來減少洩漏，可以使用環形振盪器作為時鐘源而不是鎖相迴路（PLL），及/或其他較低功率處理硬體/部件。在一些實例中，較低功率相機可能無法處理較高功率及/或複雜的感測器技術（例如，相位偵測自動聚焦、雙光電二極體（2PD）圖元、紅綠藍透明（RGBC）顏色傳感等）及/或資料（例如，單色/亮度資料而不是全色影像資料）。
在一些情況下，較低功率相機可以保持打開或「喚醒」狀態，以觀察場景中的移動及/或事件，及/或偵測場景中的事件，同時比其他設備（諸如較高功率/解析度相機）使用更少的電池電量。例如，較低功率相機可以持續觀察或喚醒，以觀察場景中的移動及/或活動，以發現場景中的物件。在一些情況下，當發現一個事件時，較低功率相機可以觸發一或多個動作，諸如例如，物件偵測、物件辨識、面部認證、影像處理任務，以及其他動作。在一些情況下，較低功率相機亦可以「喚醒」其他設備，諸如其他感測器、處理硬體等。
在一些實例中，每個影像感測器（例如，影像感測器102，影像感測器104）可以擷取影像資料並基於影像資料產生訊框及/或將影像資料或訊框提供給一或多個計算部件110進行處理。訊框可以包括視訊序列的視訊訊框或靜態影像。訊框可以包括表示場景的圖元陣列。例如，訊框可以是每圖元具有紅、綠、藍顏色分量的紅綠藍（RGB）訊框；每圖元具有一個亮度分量和兩個色度（顏色）分量（色度紅和色度藍）的亮度、色度紅、色度藍（YCbCr）訊框；或任何其他適合類型的彩色或單色畫面。
在一些實例中，一或多個計算部件110可以使用來自影像感測器102、影像感測器104、音訊感測器106、IMU 108、及/或任何其他感測器及/或部件的資料執行影像/視訊處理、預測性的相機初始化、XR處理、設備管理/控制及/或本文所述的其他操作。例如，在一些情況下，一或多個計算部件110可以執行預測性的相機初始化、設備控制/管理、追蹤、定位、物件偵測、物件分類、姿態估計、形狀估計、場景映射、內容錨定、內容渲染、影像處理、建模、內容產生、姿勢偵測、姿勢辨識及/或基於來自影像感測器102、影像感測器104、音訊感測器106、IMU 108及/或任何其他部件的資料的其他操作。
在一些實例中，一或多個計算部件110可以實現一或多個軟體引擎及/或演算法，諸如例如，本文所述的預測器120。在一些情況下，一或多個計算部件110可以實現一或多個額外部件及/或演算法，諸如機器學習模型、電腦視覺演算法、神經網路及/或任何其他演算法及/或部件。例如，在一些情況下，由一或多個計算部件110實現的預測器120可以實現一個機器學習引擎122。
在一些實例中，預測器120可以基於來自影像感測器102和可選的音訊感測器106、IMU 108及/或任何其他部件的感測器資料預測相機事件（例如，用於擷取影像/視訊的使用者輸入、用於使用相機應用的使用者輸入、用於觸發相機預覽的使用者輸入等）。隨後，在預測的相機事件發生之前，預測器120可以觸發較高功率相機（例如，影像感測器104）及/或較高功率相機管線的預測性的初始化（例如，預初始化）。在一些實例中，預測性的相機初始化可以減少使用者輸入以擷取影像/視訊及/或存取相機應用/預覽的時間與影像/視訊的擷取及/或相機應用/預覽的存取之間的延遲/拖延。
在一些情況下，預測器120可以回應於預測相機事件而觸發多個預測性的初始化步驟。例如，預測器120可以將CPU（例如，CPU 112）及/或記憶體短脈衝到更高的頻率，以減少相機初始化及/或相機管線的延遲。作為另一個實例，預測器120可以為相機應用預分配記憶體，觸發影像感測器102的較低解析度資料擷取以預收斂曝光值及/或聚焦值等。在一些情況下，預測器120可以為用於相機處理的影像感測器104及/或某些硬體及/或軟體塊供電，諸如例如但不限於較高功率實體介面（例如，MIPI CSI等）、用於產生時鐘的PLL、片上基礎設施、縮減器、顏色轉換器、DSP（例如，DSP 116）、ISP（例如，ISP 118）、神經網路加速器、神經處理器、用於電腦視覺的一或多個塊（例如，特徵提取、特徵描述、物件偵測、辨識等）、影像變形、降噪、PDAF、2PD圖元、RGBC顏色感測、HDR等。在一些情況下，預測器120可以調制一或多個設置，作為預測性的初始化的一部分，諸如例如但不限於增加/減少解析度、增加/減少畫面播放速率、增加/減少緩衝器大小預分配、調用更多/更少的影像感測器、增大/降低功率模式等。
在一些情況下，預測器120可以從由相機設備獲得的一或多個訊框中提取/偵測視覺特徵，諸如較低功率相機設備（例如影像感測器102）。在一些實例中，預測器120可以實現偵測器及/或演算法來提取視覺特徵，諸如例如但不限於，尺度不變特徵變換（SIFT）、加速穩健特徵（SURF）、定向FAST和旋轉BRIEF（ORB）、及/或任何其他偵測器/演算法。
在一些情況下，預測器120可以實現機器學習引擎122來產生用於預測相機事件的機器學習分類。機器學習引擎122可以基於來自影像感測器102、音訊感測器106、IMU 108及/或一或多個其他部件（諸如GNSS/GPS接收器、雷達、無線介面等）的資料產生分類。預測器120可以使用來自機器學習引擎122的輸出來預測相機事件。例如，預測器120可以基於在慣性感測資料的肯定和否定實例上訓練的機器學習分類器（例如，機器學習引擎122）的輸出使用慣性感測器資料（例如，來自IMU 108的資料），其指示使用者已經拾取了電子設備100（這可以建議使用者可能使用電子設備100來擷取影像/視訊）。在一些實例中，預測器120可以基於在慣性感測資料的肯定和否定實例上訓練的機器學習分類器（例如，機器學習引擎122）的輸出使用慣性感測器資料（例如，來自IMU 108的資料），其指示電子設備100被保持在拍攝畫面/視訊時常用的握持運動/位置。
在一些實例中，預測器120可以基於在音訊感測器資料的肯定和否定實例上訓練的機器學習分類器（例如，機器學習引擎122）的輸出使用音訊感測器資料（例如，來自音訊感測器106的資料），其指示電子設備100處於擁擠區域（例如，音樂會、體育賽事、派對、戲劇、婚禮等）或指示與拍攝畫面/視訊相關的話語。在其他實例中，預測器120可以基於一組帶有位置標記的畫面使用指示電子設備100位於通常拍攝的區域（例如，地標、舞臺等）的GNSS/位置資料。
在一些情況下，預測器120可以基於在相機資料（例如，影像）的肯定和否定實例上訓練的機器學習分類器（例如，機器學習引擎122）的輸出使用來自較低功率相機（例如，影像感測器102）的相機資料。在一些實例中，相機資料可以指示一組人正在聚集（例如，像在準備一組畫面），一個使用者或一組人正在微笑或擺姿勢（例如，像在擺姿勢以用於畫面），存在一個通常拍攝的場景（例如，日落、海灘、動物、地標、風景等），存在通常掃瞄的圖案（例如，QR碼），存在姿勢（例如，揮手、點手指等），存在共同拍攝的活動（例如，體育競賽、表演、秀等）正在進行等。在一些情況下，預測器120可以使用相機資料、音訊感測器資料、GNSS/位置資料、慣性感測器資料等的任何組合。
在一些情況下，預測器120可以追蹤相機設備（例如，影像感測器102，影像感測器104）的使用，並在預測相機事件時使用相機使用統計。例如，若相機使用統計指示電子設備100的使用者經常將電子設備100的影像感測器104連接到望遠鏡以擷取天體攝影影像，當來自影像感測器102的影像資料指示電子設備100靠近或被連接/連接到望遠鏡時，預測器120可以使用這陽的相機使用統計來預測影像感測器104的使用。作為另一個實例，若音訊感測器資料指示電子設備100經常處於噪音區域，而相機使用統計指示使用者經常在存在某些類型的噪音的情況下擷取影像/視訊，當音訊感測器資料指示電子設備100環繞這些類型的雜訊而不是當音訊感測器資料指示電子設備100環繞其他類型的雜訊時，預測器120可以使用相機使用統計來預測影像感測器104的使用。
在一些實例中，預測器120可以監測各種類型的事件來預測相機事件。事件的非限制性實例可以包括面部偵測、場景偵測（例如，日落、房間、地標、風景、音樂會等）、人群偵測、動物/寵物偵測、圖案（例如，QR碼等）偵測、文件偵測、本文偵測、物件偵測、姿勢偵測（例如，微笑偵測、情緒偵測、揮手等）、姿態偵測、噪音偵測、位置偵測、運動偵測、活動偵測等。
關於電子設備100的圖1中所示的部件是為解釋目的而提供的說明性實例。在其他實例中，電子設備100可以包括比圖1中所示的那些更多或更少的組件。儘管電子設備100示出為包括某些部件，但具有通常知識者會理解，電子設備100可以包括比圖1中所示的那些更多或更少的組件。例如，在一些情況下，電子設備100可以包括一或多個記憶體設備（例如，RAM、ROM、快取記憶體等）、一或多個網路介面（例如有線及/或無線通訊介面等）、一或多個顯示裝置、快取記憶體、存放裝置、及/或圖1中未圖示的其他硬體或處理設備。下文關於圖7描述了可使用電子設備100實現的計算設備及/或硬體部件的說明性實例。
圖2A是示出用於預測的相機初始化的實例系統程序200的示圖。在本實例中，影像感測器102表示較低功率相機。影像感測器102擷取場景的影像資料，並將包括擷取的影像資料的感測器資料220提供給較低功率相機管線202用於處理。較低功率相機管線202可以包括影像處理操作及/或被用於處理包括由影像感測器102擷取的影像資料的感測器資料220的硬體。在本實例中，較低功率相機管線202包括影像感測器102。
在一些實例中，較低功率相機管線202包括預處理（例如，影像大小調整、去噪、分割、平滑邊緣、顏色校正/轉換、去拜爾、縮放、伽馬校正等）。在一些情況下，較低功率相機管線202可以包括一或多個影像後處理操作。在一些實例中，較低功率相機管線202可以調用/包括較低功率硬體、設置及/或處理，諸如例如，較低/降低的解析度、較低/降低的畫面播放速率、較低功率感測器、片上SRAM（例如，而不是DRAM）、島電壓軌、時鐘源的環形振盪器（例如，不是PLL）、較低/減少數量的影像感測器等。
較低功率相機管線202可以將處理過的感測器資料（例如，來自感測器資料220的處理過的影像資料）輸出到預測器120。預測器120可以使用來自較低功率相機管線202的感測器資料，基於感測器資料（例如，來自影像感測器102的感測器資料220中的影像資料）中擷取和偵測到的事件來預測相機事件。在一些實例中，預測器120亦可以可選地使用來自非相機感測器204的感測器資料222來預測相機事件。非相機感測器204可以包括或表示一或多個感測器/設備，諸如例如音訊感測器（例如，音訊感測器106）、IMU（例如，IMU 108）、GNSS/GPS接收器及/或任何其他感測器（例如，雷達、雷射雷達、壓力感測器等）。感測器資料222可以包括慣性感測器量測（例如，加速度、速度、角速率、方位、航向等）、聲音資料（例如，雜訊/聲音、講話、話語、語音、音調、音高、聲級、雜訊/聲音模式、超聲、次聲等）、位置量測、海拔量測、距離量測、任何其他感測器資料，及/或它們的任何組合。
感測器資料（例如，感測器資料220及/或感測器資料222）中擷取的事件可以包括，例如但不限於，影像中偵測到的物件、影像中偵測到的面部、影像中偵測到的場景（例如，日落、房間、地標、風景、音樂會等）、影像中偵測到的人群、影像中偵測到的動物、影像中偵測到的圖案（例如，QR碼等）、影像中偵測到的文件、影像中偵測到的本文、影像中偵測到的姿勢（例如，微笑偵測、情緒偵測、揮手等）、影像中偵測到的姿態、在音訊感測器資料中擷取的聲音資料（例如，噪音/聲音、話語或講話、聲音/噪音模式、語音、音調、音高、特定超聲、特定次聲、聲級等）、量測的位置、運動偵測、活動偵測以及其他事件（例如，偵測/量測的物件、活動、運動等）。
由預測器120預測的相機事件可以包括與使用者互動及/或使用較高功率相機（例如，影像感測器104）及/或相機應用相關聯的一或多個事件。例如，正在被預測的相機事件可以包括用於打開使用者可以從中獲得預覽及/或擷取影像/視訊的相機應用的使用者輸入、用於觸發擷取影像/錄影的使用者輸入、使用者在電子設備100上按下熱鍵或快速鍵以觸發擷取畫面/視訊等。例如，相機事件的預測可以包括預測電子設備100的使用者將要使用電子設備100拍攝照片/視訊（例如，經由觸發影像感測器104的相機應用，或者經由選擇/啟動觸發影像感測器104擷取影像/視訊的熱鍵或快速鍵），或者將要打開相機應用來觀看預覽回饋及/或觸發影像感測器104。
預測器120可以偵測感測器資料（例如，感測器資料220、感測器資料222）中擷取的事件，並決定偵測到的事件是否通常在相機事件之前（緊鄰之前、之前的閾值時間內、之前的事件/動作數量內等）被觀察到（例如，偵測到的事件已經以至少閾值頻率導致或先於相機事件，偵測到事件被估計為具有導致或先於相機事件的閾值可能性，及/或偵測到的事件具有先前已導致或先於相機事件的閾值次數的發生）及/或偵測到的事件指示相機事件可能（例如，在閾值可能性內）在偵測到的事件之後（例如，偵測到的事件發生後，在偵測到的事件發生後的一段時間內，在偵測到的事件發生後的一定數量的事件/動作內等）發生。在一些實例中，預測器120可以基於偵測到的事件和事件先驗概率、事件統計（例如，偵測到的事情統計、相機事件統計、偵測到的事件和相機事件的統計相關性/因果關係等）、提供被選擇以觸發相機事件預測的偵測到的事件的一或多個偏好及/或配置的使用者輸入、預測模型、相機使用分析及/或它們的任何組合預測相機事件。
在一些情況下，預測器120可以實現機器學習分類器（例如，機器學習引擎122）以基於感測器資料（例如，感測器資料220、感測器資料222）預測相機事件。在一些實例中，機器學習分類器可以在感測器資料（諸如例如，影像感測器資料、慣性感測器資料、音訊感測器資料、GNSS/GPS/位置資料、其他感測器資料及/或它們的任何組合）的肯定和否定實例上訓練。
若預測器120決定偵測到的事件通常在相機事件之前觀察到（例如，偵測到的事件已經以至少閾值頻率導致或先於相機事件，偵測到的事件被估計為具有導致或先於相機事件的閾值可能性，及/或偵測到的事件具有先前已導致或先於相機事件的閾值次數的發生）及/或偵測到的事件指示相機事件可能（例如，在閾值可能性內）在偵測到的事件之後發生，則預測器120可以產生肯定的相機事件預測結果（例如，預測器120可以決定相機事件被預測為發生）。基於肯定的相機事件預測結果（例如，基於預測相機事件被預測為發生的決定），預測器120可以觸發較高功率相機管線212的預測性的初始化224。
較高功率相機管線212可以包括用於擷取影像/視訊及/或處理擷取的影像/視訊的一或多個操作及/或硬體。在一些情況下，較高功率相機管線212可以與較低功率相機管線202相同或包括較低功率相機管線202，其中較低功率相機管線202具有用於產生更高的影像品質、產生額外的及/或更複雜的影像效果、及/或實現更高的處理/輸出效能的一或多個調整的設置。例如，在一些情況下，較高功率相機管線212可以包括較低功率相機管線202，其中較低功率相機管線202具有增加影像解析度、增加訊框率、利用全色影像資料（例如，相對於黑白/亮度資料）等的一或多個設置。在其他情況下，與較低功率相機管線202相比，較高功率相機管線212可以包括一或多個不同的影像感測器、設置、操作及/或硬體塊。
在一些實例中，較低功率相機管線202可以包括較低功率影像感測器（例如，影像感測器102），而較高功率相機管線212可以包括較高功率影像感測器（例如，影像感測器104）。在其他實例中，較低功率相機管線202和較高功率相機管線212可以包括相同的影像感測器（例如，影像感測器102及/或影像感測器104）。在一些情況下，較低功率相機管線202和較高功率相機管線212可以包括相同的影像感測器，但較高功率相機管線212可以使用或以較高功率模式（例如，更高解析度、更高訊框率等）實現影像感測器。
在一些實例中，較高功率相機管線212包括一或多個影像預處理、一或多個後處理操作及/或任何其他影像處理操作。例如，較高功率相機管線212可以包括影像大小調整、去噪、分割、平滑邊緣、顏色校正/轉換、去拜耳、縮放、伽馬校正、色調映射、顏色感測、銳化、壓縮、去馬賽克、降噪（例如，降低色度雜訊、降低亮度雜訊、降低時間雜訊等）、特徵提取、特徵辨識、電腦視覺、自動曝光、自動白平衡、自動聚焦、深度傳感、影像穩定、感測器融合、HDR及/或任何其他操作。在一些實例中，較高功率相機管線212可以調用/包括較高功率硬體、設置及/或處理，諸如例如，更高/增加的解析度、更高/提高的畫面播放速率、較高功率影像感測器（例如，影像感測器104）、DRAM使用/分配、時鐘源的PLL、更大/增大數量的影像感測器等。
在一些實例中，預測性的初始化224可以包括上電/開機及/或啟動/準備與較高功率相機管線212相關聯的一或多個硬體部件/設備及/或一或多個操作。在一些情況下，預測性的初始化224可以包括使影像感測器104和與相機處理相關聯的一或多個硬體塊開機/上電。在一些情況下，預測性的初始化224可以包括將處理器（例如，CPU 112）及/或記憶體加速到更高的頻率以減少延遲。在一些情況下，預測性的初始化224可以包括針對相機應用的記憶體（例如，DRAM等）的預分配。在一些情況下，預測性的初始化224可以包括執行較低解析度影像擷取（例如，經由影像感測器102）以預收斂曝光值及/或聚焦值。在一些情況下，預測性的初始化224可以包括前面提到的操作、設置及/或硬體塊的任何組合。在一些情況下，預測性的初始化224可以回應使用者輸入並且以零延遲或減少的延遲，啟動/準備較高功率相機管線212以擷取影像/視訊。
在一些情況下，較低功率相機管線202可以將來自影像感測器102的原始感測器資料儲存在緩衝器中，以便由較高功率相機管線212進行離線（例如，稍後）處理。例如，圖2B圖示用於預測性的相機初始化的實例系統程序230，其中經由較高功率相機管線212離線處理來自影像感測器102的原始感測器資料。
在該實例中，除了利用圖2A中所示的系統程序200中使用的資料、處理和硬體外，系統程序230亦可以實現用於儲存來自較低功率相機管線202的感測器資料220的多訊框緩衝器232。較低功率相機管線202可從影像感測器102接收感測器資料220，並將感測器資料220儲存在多訊框緩衝器232中。在一些實例中，感測器資料220可以包括來自影像感測器102的原始感測器資料。在一些情況下，多訊框緩衝器232可以作為較高功率相機管線212的ZSL緩衝器。
當預測器120經由預測性的初始化224觸發較高功率相機管線212時，較高功率相機管線212可從多訊框緩衝器232中檢索感測器資料220以進行處理。感測器資料220可以提供在較高功率相機管線212初始化之前及/或同時擷取的較高功率相機管線212影像資料，較高功率相機管線212可以利用這些資料來減少影像/視訊擷取延遲及/或提高擷取影像/視訊的處理、品質及/或效能。
在一些實例中，較低功率相機管線202處理的影像品質可能不如較高功率相機管線212處理的影像品質高。然而，較低功率相機管線202可以將原始感測器資料儲存在多訊框緩衝器232（或不同的記憶體中，諸如DRAM）中，以便（稍後）由較高功率相機管線212進行離線處理。將這些原始感測器資料提供給較高功率相機管線212可以提供各種優勢，因為較低功率相機管線202可以在較高功率相機管線212正在被初始化時執行。
一旦較高功率相機管線212被完全初始化，較高功率相機管線212就可以回讀和離線處理多訊框緩衝器232中的原始感測器資料。在一些實例中，系統程序230可以減少或者甚至完全消除在較高功率相機管線212（例如，包括影像感測器104）回應使用者輸入執行影像/視訊的最終擷取程序中較高功率相機管線212的啟動延遲。
圖3是示出用於預測性的相機初始化的實例程序300的流程圖。在該實例中，在方塊304處，程序300可以包括使用相機資料302來執行相機使用預測（例如，經由預測器120）。相機資料302可以包括來自較低功率影像感測器（諸如影像感測器102）的影像資料。在一些實例中，相機資料302可以與前面關於圖2A描述的感測器資料220相同。
如前述，相機使用預測可以包括及/或表示相機事件預測。例如，相機使用預測可以包括預測電子設備100的使用者是否將要使用電子設備100拍攝照片/視訊（例如，經由觸發較高功率相機管線的相機應用，或者經由選擇/啟動觸發較高功率相機管線擷取影像/視訊的熱鍵或快速鍵），或者是否將要打開相機應用來觀看預覽回饋及/或觸發較高功率相機管線。
在方塊306處，若相機使用預測產生預測的相機事件（例如，預測器120預測使用者將嘗試（例如，經由使用者輸入）觸發影像/視訊擷取及/或使用相機應用查看預覽回饋及/或觸發影像/視訊擷取），程序300可以包括初始化（例如，經由預測器120）較高功率相機管線（例如，較高功率相機管線212）和可配置計時器。可配置計時器可以為使用者提供時間限制，以在初始化的相機管線被去初始化之前觸發影像/視訊擷取及/或啟動/使用相機應用以節省功率（例如，當不需要或不使用較高功率相機管線時繼續執行較高功率相機管線導致的）。
在方塊308處，程序300可以包括決定可配置計時器是否已到期。在方塊314處，若可配置計時器已到期，程序300可以包括去初始化（例如，關閉電源、禁用、停用、關閉）較高功率相機管線（例如，經由預測器120）。
若可配置計時器未到期，則較高功率相機管線可以保持初始化。在方塊310處，程序300可以包括決定（例如，經由預測器120）是否已經發生了使用者發起的相機事件。使用者發起的相機事件可以包括用於觸發由較高功率相機管線進行的影像/視訊擷取及/或使用相機應用存取預覽回饋及/或觸發由較高功率相機管線進行的影像/視訊擷取的使用者輸入。例如，在一些情況下，使用者發起的相機事件可以包括使用者選擇熱鍵或快速鍵來觸發影像/視訊擷取。在其他情況下，使用者發起的相機事件可以包括來自使用者的請求電子設備100觸發較高功率相機管線來擷取影像/視訊的語音命令。在其他情況下，使用者發起的相機事件可以包括經由相機應用接收的用於觸發相機應用（和較高功率相機管線）來啟動/執行影像/視訊擷取的使用者輸入。
若程序300決定使用者發起的相機事件尚未發生（例如，若沒有偵測到使用者發起的相機事件），程序300可以返回到方塊308以決定可配置計時器是否已到期。若可配置計時器未到期，則程序300可以維持較高功率相機管線被初始化，或者若可配置計時器已到期，則程序300可以去初始化較高功率相機管線（例如，如關於方塊314所述）。
若程序300決定已經發生了使用者發起的相機事件（例如，若偵測到使用者發起的相機事件），則在方塊312處，程序300可以包括執行快速相機啟動。快速相機啟動可以包括回應使用者發起的相機事件而觸發已初始化的較高功率相機管線來擷取影像/視訊。因為較高功率相機管線已初始化，所以從使用者發起的相機事件開始，可以在沒有延遲的情況下（或以減少的/最小的延遲）執行快速相機啟動。例如，回應於使用者發起的相機事件，較高功率相機管線可以在沒有任何延遲的情況下（或以減少的/最小的延遲）擷取影像/視訊，這是因為較高功率相機管線已經初始化。
圖4是示出基於某些刺激（諸如例如預測性的初始化、計時器到期及/或狀態改變觸發）在不同時間修改/調整的實例相機初始化狀態的圖。在該實例中，較高功率相機管線（例如，較高功率相機管線212）在時間T 1時處於未初始化狀態402。
在時間T 2處，預測器120觸發預測性的初始化410，如上關於圖2A、2B和3所述。基於預測性的初始化410，較高功率相機管線從未初始化狀態402變為初始化狀態404。
在時間T 3處，預測器（例如，預測器120）偵測到計時器到期412，並觸發相機去初始化。基於相機去初始化，較高功率相機管線從初始化狀態404變為去初始化狀態406。在一些實例中，去初始化狀態406可以與未初始化狀態402相同。在一些實例中，去初始化狀態406可以是其中較高功率相機管線的功率模式被降低為較低功率模式的狀態。
在時間T 4處，預測器觸發另一個預測性的初始化414。基於預測性的初始化414，較高功率相機管線從去初始化狀態406返回到初始化狀態404。
在時間T 5處，使用者發起的相機事件416可觸發快速相機啟動408，諸如關於圖3之快速相機啟動。在快速相機啟動408中，較高功率相機管線可以回應使用者發起的相機事件416在沒有延遲的情況下（或以減少的/最小的延遲）擷取影像/視訊。
在時間T 6處，預測器偵測到狀態改變觸發418，其被配置為將較高功率相機管線的狀態從初始化狀態（初始化狀態404）變為去初始化狀態406。在一些實例中，狀態改變觸發418可以包括計時器到期，諸如計時器到期412。在一些實例中，狀態改變觸發418可以基於來自電子設備100的使用者的使用者輸入。例如，狀態改變觸發418可以基於用於關閉相機應用、使較高功率相機管線斷電/關閉，或觸發較高功率相機管線的去初始化的使用者輸入（例如，經由使用者介面、經由語音命令、經由一或多個按鈕或鍵等）。
圖5是示出基於不同的預測性的相機事件決定而實現的不同初始化狀態的實例的示圖。在該實例中，電子設備100的較高功率相機管線處於未初始化狀態502，而無相機事件預測500。
隨後，電子設備100偵測（例如，經由較低功率相機感測器，諸如影像感測器102）電子設備100的場景中的物件530。基於對物件530的偵測，預測器（例如，預測器120）可以決定相機事件預測520。相機事件預測520可以預測使用者發起的相機事件，如前述。
在一些實例中，物件530可以被配置為觸發相機事件預測。在一些實例中，預測器可以從前面的實例中學習到，存在使用者發起的事件在偵測到物件530後發生的閾值可能性。例如，預測器可以基於來自機器學習分類器（例如，機器學習引擎122）的輸出決定相機事件預測520，該輸出指示在偵測到物件530之後預測將發生使用者發起的相機事件。
基於相機事件預測520，預測器可以觸發（例如，經由指令/命令）較高功率相機管線從未初始化狀態502變為初始化狀態522。
圖6是示出用於預測性的相機初始化的實例程序600的流程圖。在該實例中，在方塊602處，程序600可以包括從第一影像擷取裝置（例如，影像感測器102）獲得圖示場景（例如，日落、地標、風景、環境、事件等）的影像資料（例如，感測器資料220）。在一些實例中，第一影像擷取裝置可以自動擷取影像資料，而無需用於觸發要擷取的影像資料的使用者輸入。在一些情況下，第一影像擷取裝置可以使用較低功率模式（例如，相對於由第一影像擷取裝置及/或與第一影像擷取裝置相關聯的電子設備上的第二影像擷取裝置支援的較高功率模式）及/或較低功率相機管線（例如，較低功率相機管線202）擷取影像資料。
在方塊604處，程序600可以包括基於影像資料對場景進行分類。在一些實例中，對場景進行分類可以包括偵測與影像資料相關聯的事件（例如，在影像資料中圖示的）。在一些情況下，偵測到的事件可以包括影像資料中圖示的場景。在一些情況下，場景及/或偵測到的事件可能包括電子設備的特定移動、電子設備相對於與電子設備相關聯的使用者的位置、影像資料中偵測到的人群、與一或多個使用者相關聯的姿勢、顯示在物件上的圖案（例如，QR碼、連結等）、及/或一組人相對彼此的位置。
在一些情況下，可以使用機器學習演算法或影像處理演算法對場景進行分類。
在方塊606處，程序600可以包括基於場景的分類預測相機使用事件。在一些實例中，相機使用事件可以包括被配置為觸發與第一影像擷取裝置相關聯的電子設備（例如，電子設備100）擷取額外的影像資料的使用者輸入。
在一些情況下，可以使用在影像資料的肯定和否定實例（諸如擷取與分類的場景相同類型的場景的影像資料的肯定和否定實例）上訓練的機器學習分類器來偵測相機使用事件。
在方塊608處，程序600可以包括基於預測的相機使用事件調整第一影像擷取裝置及/或第二影像擷取裝置（例如，影像感測器104）的功率模式。在一些實例中，第二影像擷取裝置包括相對於第一影像擷取裝置的較高功率相機設備。例如，第二影像擷取裝置可以支援比由第一影像擷取裝置支援的功率模式消耗更多功率的功率模式。在一些情況下，較高功率相機設備可以包括比第一影像擷取裝置更高的解析度、比第一影像擷取裝置更高的畫面播放速率、比第一影像擷取裝置更多的影像感測器數量，及/或支援比與第一影像擷取裝置相關聯的第二影像感測器的更高功率模式的第一影像感測器。
在一些情況下，第二影像擷取裝置相對於與第一影像擷取裝置相關聯的較低功率相機管線（例如，較低功率相機管線202）與較高功率相機管線相關聯（例如，使用及/或是其中的一部分）（例如，較高功率相機管線212）。在一些實例中，較高功率相機管線包括比較低功率相機管線更多的影像處理能力及/或具有比較低功率相機管線更高的處理效能的一或多個硬體部件。例如，在一些情況下，第二影像擷取裝置與第一相機管線相關聯，該第一相機管線比與第一影像擷取裝置相關聯的第二相機管線消耗更多的功率。在一些情況下，第一相機管線包括比第二相機管線更多的影像處理能力，及/或比第二相機管線具有更高處理效能的一或多個硬體部件。
在一些實例中，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式可以包括初始化第二影像擷取裝置。在一些實例中，第二影像擷取裝置在功率模式（例如，較高功率模式）下被初始化，該功率模式比與第一影像擷取裝置相關聯的相應功率模式消耗更多的功率（例如，比用於擷取影像資料的第一影像擷取裝置的相應功率模式）。在一些情況下，初始化第二影像擷取裝置可包括增大第二影像擷取裝置的功率模式。
在一些態樣中，程序600可以包括在功率模式下使用第二影像擷取裝置擷取額外的影像資料，該功率模式比用於擷取影像資料的第一影像擷取裝置的相應功率模式消耗更多功率。在一些實例中，第二影像擷取裝置的功率模式可以包括：比與用於擷取影像資料的第一影像擷取裝置的相應功率模式相關聯的解析度更高的解析度、比與第一影像擷取裝置的相應功率模式相關聯的畫面播放速率更高的畫面播放速率、比與第一影像擷取裝置的相應功率模式相關聯的影像感測器數量更多的影像感測器數量，及/或支援特定功率模式的第一影像感測器（該特定功率模式比由與第一影像擷取裝置相關聯的第二影像感測器支援的不同功率模式消耗更多的功率）。
在一些情況下，初始化第二影像擷取裝置可包括增大第二影像擷取裝置的功率模式。在一些實例中，增大第二影像擷取裝置的功率模式可以包括增大第二影像擷取裝置及/或與第二影像擷取裝置的相機管線相關聯的一或多個硬體部件的功率。
在一些態樣中，程序600可以包括將來自第一影像擷取裝置的影像資料儲存在緩衝器中（例如，多訊框緩衝器232）；並且經由與第二影像擷取裝置相關聯的相機管線（例如，較高功率相機管線212）處理儲存在緩衝器中的影像資料的至少一部分。在一些情況下，在第二影像擷取裝置的初始化期間及/或在第二影像擷取裝置的初始化完成之前，將影像資料的至少一部分儲存在緩衝器中。在一些情況下，在第二影像擷取裝置被初始化之後處理影像資料的至少一部分。
在一些態樣中，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式包括增加與第二影像擷取裝置的相機管線關聯的處理器及/或與相機管線關聯的記憶體中的至少一個的頻率（例如，使處理器及/或記憶體短脈衝）。
在一些態樣中，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式包括將記憶體預分配給與第二影像擷取裝置相關聯的相機應用。
在一些態樣中，程序600包括基於來自第一影像擷取裝置的一幅或多幅影像，預收斂曝光值及/或聚焦值。
在一些態樣中，程序600包括獲得指示與第一影像擷取裝置相關聯的電子設備的位置的位置資料及/或來自與電子設備相關聯的一或多個感測器的感測器資料；並且基於影像資料以及位置資料、音訊資料及/或感測器資料中的至少一個對場景進行分類。在一些實例中，額外的相機使用事件可以包括被配置為觸發電子設備擷取進一步的影像資料的額外使用者輸入。在一些實例中，感測器資料包括指示與電子設備相關聯的運動的運動量測、由一或多個感測器擷取的音訊資料、及/或指示電子設備的位置的位置量測。
在一些情況下，預測的相機使用事件可以包括被配置為觸發電子設備擷取額外的影像資料的使用者輸入。
在一些情況下，預測額外的相機使用事件可以包括基於位置資料、音訊資料及/或感測器資料偵測額外的事件。在一些情況下，基於額外的事件進一步預測額外的相機使用事件。在一些實例中，額外的事件可以包括音訊資料中的一或多個聲音、電子設備的特定移動、及/或電子設備的特定姿態。
在一些態樣中，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式包括決定與第二影像擷取裝置的初始化相關聯的一或多個初始化設置，並且根據一或多個初始化設置初始化第二影像擷取裝置。在一些實例中，基於與分類的場景相關聯的場景類型來決定一或多個初始化設置。例如，若場景包括特定的場景（例如，日落、風景等），則初始化設置可以包括HDR模式，以及若場景替代地包括使用者微笑，則初始化設置可以包括非HDR模式。
在一些態樣中，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式包括打開或實現泛光照明器、深度感測器設備、雙影像擷取裝置系統、結構光系統、飛行時間系統、音訊演算法、位置服務、及/或與第一影像擷取裝置相關聯的相機管線不同的相機管線。
在一些態樣中，程序600可以包括回應於對場景進行分類來初始化與到期值相關聯的計時器；決定計時器的值在預測的相機使用事件的發生之前達到到期值；並且基於在預測的相機使用事件的發生之前達到到期值的計時器的值，降低第二影像擷取裝置的功率模式。在一些實例中，降低功率模式可以包括關閉第二影像擷取裝置、及/或降低與第二影像擷取裝置及/或與第二影像擷取裝置相關聯的相機管線相關聯的一或多個功率設置。在一些情況下，基於分類的場景的類型，到期值可能會有所不同。例如，若場景包括以被估計為指示一組人正在準備拍攝組畫面的方式聚集的該一組人，則可以增加到期值（相對於其他類型的場景中的到期值），以給予該組更多時間來聚集和調整該組畫面。
在一些態樣中，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式可以包括減少第一影像擷取裝置的功率模式。在一些情況下，減少第一影像擷取裝置的功率模式可以包括減少第一影像擷取裝置和與第一影像擷取裝置的相機管線相關聯的一或多個硬體部件中的至少一個的功率。
在一些態樣中，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式可以包括增大第一影像擷取裝置的功率模式。在一些情況下，增大第一影像擷取裝置的功率模式可以包括增大第一影像擷取裝置和與第一影像擷取裝置的相機管線相關聯的一或多個硬體部件中的至少一個的功率。
在一些實例中，程序600可以由一或多個計算設備或裝置執行。在一個示例性實例中，程序600可以由圖1中所示的電子設備100執行。在一些實例中，程序600可以由具有圖7中所示的計算設備架構700的一或多個計算設備執行。在一些情況下，這樣的計算設備或裝置可包括處理器、微處理器、微型電腦、或被配置為執行程序600的步驟的設備的其他部件。在一些情況下，這樣的計算設備或裝置可包括被配置為擷取影像資料及/或其他感測器量測的一或多個感測器。例如，計算設備可以包括智慧型電話、頭戴式顯示器、行動設備或其他合適的設備。在一些實例中，這樣的計算設備或裝置可包括被配置為擷取一或多個影像或視訊的相機。在一些情況下，這樣的計算設備可能包括用於顯示影像的顯示器。在一些實例中，一或多個感測器及/或相機與計算設備分離，在這種情況下，計算設備接收感測到的資料。這樣的計算設備亦可以包括被配置為通訊資料的網路介面。
計算設備的部件可以在電路中實現。例如，部件可以包括電子電路或其他電子硬體及/或可以使用電子電路或其他電子硬體來實現，其可以包括一或多個可程式設計的電子電路（例如，微處理器、圖形處理單元（GPU）、數位訊號處理器（DSP）、中央處理單元（CPU）、及/或其他合適的電子電路），及/或可以包括電腦軟體、韌體或它們的任何組合及/或使用電腦軟體、韌體或它們的任何組合實現，以執行本文所述各種操作。該計算設備亦可以包括顯示器（作為輸出設備的一個實例或在輸出設備之外附加）、被配置為通訊及/或接收資料的網路介面、它們的任何組合、及/或其他組件。網路介面可以被配置為通訊及/或接收基於網際網路協定（IP）的資料或其他類型的資料。
程序600示出為邏輯流程圖，其動作表示可以在硬體、電腦指令或它們組合中實現的操作序列。在電腦指令的上下文中，該操作代表了儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令，當由一或多個處理器執行它們時執行所述的操作。通常，電腦可執行指令包括執行特定功能或實現特定資料類型的常式、程式、物件、部件、資料結構等。其中描述操作的順序不意欲被解釋為限制，並且任何數量的描述的操作可以以任何順序及/或並行地組合以實現程序。
另外，程序600可以在配置有可執行指令的一或多個電腦系統的控制下執行，並且可以作為在一或多個處理器上共同執行的代碼（例如，可執行指令、一或多個電腦程式、或一或多個應用）由硬體或它們的組合來實現。如前述，代碼可以儲存在電腦可讀或機器可讀取的儲存媒體上，例如以電腦程式的形式，其包括可由一或多個處理器執行的複數個指令。電腦可讀或機器可讀儲存媒體可以是非暫時的。
圖7圖示可以實現在本文所述的各種技術的實例計算設備的實例計算設備架構700。例如，計算設備架構700可以實現圖1中所示的電子設備100的至少一部分。計算設備架構700的部件示出為使用連接705（諸如匯流排）相互進行電子通訊。實例計算設備架構700包括處理單元（CPU或處理器）710和計算設備連接705，計算設備連接705將包括計算設備記憶體715（諸如唯讀記憶體（ROM）720和隨機存取記憶體（RAM）725）的各種計算設備部件耦接到處理器710。
計算設備架構700可以包括與處理器710直接連接、接近或整合為處理器一部分的高速記憶體的快取記憶體。計算設備架構700可以將資料從記憶體715及/或存放裝置730複製到快取記憶體712，以便處理器710快速存取。經由這種方式，快取記憶體可以提供避免處理器710在等待資料時的延遲的效能提升。這些模組和其他模組可以控制或被配置為控制處理器710執行各種動作。亦可以使用其他計算設備記憶體715。記憶體715可以包括具有不同效能特性的多種不同類型的記憶體。處理器710可以包括任何通用處理器和儲存在存放裝置730中並且被配置為控制處理器710的硬體服務或軟體服務，以及其中軟體指令被併入處理器設計中的專用處理器。處理器710可以是包含多個核心或處理器、匯流排、記憶體控制器、快取記憶體等的自包含系統。多核處理器可以是對稱的或不對稱的。
為了實現使用者與計算設備架構700的互動，輸入設備745可以表示任意數量的輸入機構，諸如用於語音的麥克風、用於姿勢或圖形輸入的觸敏屏、鍵盤、滑鼠、運動輸入、語音等。輸出設備735亦可以是為本發明所屬領域中具有通常知識者所知的許多輸出機構中的一或多個，諸如顯示器、投影儀、電視、揚聲器設備。在一些情況下，多模態計算設備可以使使用者能夠提供多種類型的輸入以與計算設備架構700通訊。通訊介面740一般可以支配和管理使用者輸入和計算設備輸出。對任何特定硬體佈置上的操作沒有限制，並因在開發改進的硬體或韌體佈置時，這裡的基本特徵可以容易地被替換為改進的硬體或韌體佈置。
存放裝置730是非揮發性記憶體，並且可以是硬碟或可以儲存電腦可存取資料的其他類型的電腦可讀取媒體，諸如盒式磁帶、快閃記憶卡、固態存放裝置、數位多功能磁碟、磁帶、隨機存取記憶體（RAM）725、唯讀記憶體（ROM）720、以及它們的混合。存放裝置730可以包括用於控制處理器710的軟體、代碼、韌體等。預期了其他硬體或軟體模組。存放裝置730可以連接到計算設備連接705。在一個態樣中，執行特定功能的硬體模組可以包括儲存在電腦可讀取媒體中的軟體部件，該軟體部件與執行該功能的必要硬體部件（諸如處理器710、連接705、輸出設備735等）相連接。
術語「電腦可讀取媒體」包括但不限於可攜式或非可攜式存放裝置、光學存放裝置、以及能夠儲存、包含或攜帶指令及/或資料的各種其他媒體。電腦可讀取媒體可包括其中可儲存資料並且不包括無線或經由有線連接傳播的載波及/或暫時性電子訊號的非暫時性媒體。非暫時性媒體的實例可以包括，但不限於磁碟或磁帶、光學儲存媒體（諸如壓縮磁碟（CD）或數位多功能光碟（DVD））、快閃記憶體、記憶體或存放裝置。電腦可讀取媒體可在其上儲存代碼及/或機器可執行指令，它們可表示程序、函數、副程式、程式、常式、子常式、模組、套裝軟體、軟體組件、或指令、資料結構或程式語句的任何組合。程式碼片段可以經由傳遞及/或接收資訊、資料、引數、參數或記憶體內容與另一個程式碼片段或硬體電路耦接。資訊、引數、參數、資料等可以經由任何合適的方式傳遞、轉發或發送，該任何合適的方式包括記憶體共享、訊息傳遞、符記傳遞、網路傳輸等。
在一些實施例中，電腦可讀存放裝置、媒體和記憶體可以包括包含位元串流和類似的電纜或無線訊號。然而，當提及時，非暫時性電腦可讀取儲存媒體明確地排除了諸如能量、載波訊號、電磁波和訊號本身的媒體。
具體細節在上述描述中提供，以提供對本文提供的實施例和實例的透徹理解。然而，本發明所屬領域中具有通常知識者將理解，可以在沒有這些具體細節的情況下實踐實施例。為了解釋清楚，在一些情況下，本技術可以被表示為包括包括了由設備、設備部件、軟體實現的方法中的步驟或常式，或硬體和軟體的組合的單獨的功能方塊。除了圖中所示及/或本文描述的那些部件外，亦可以使用額外的部件。例如，電路、系統、網路、程序和其他部件可以以方塊圖的形式顯示為部件，使得不會被不必要的細節模糊了實施例。在其他情況下，眾所周知的電路、程序、演算法、結構和技術可以不作不必要的詳細示出，以避免模糊實施例。
各個實施例可在上面描述為程序或方法，該程序或方法被圖示為流程圖、流程圖、資料串流程圖、結構圖或方塊圖。儘管流程圖可能將操作描述為順序程序，但許多操作可以平行或併發地進行。此外，操作的順序亦可以重新佈置。程序在其操作完成後被終止，但可能有未包括在圖中的額外步驟。程序可以對應於方法、函數、程序、子常式、副程式等。當程序對應於一個函數時，它的終止可以對應於該函數向調用函數或主函數的返回。
根據上述實例的程序和方法可以使用電腦可執行指令來實現，這些指令儲存在電腦可讀取媒體中或以其他方式可從電腦可讀取媒體獲得。例如，此類指令可以包括致使或以其他方式配置通用電腦、專用電腦或處理設備執行特定功能或一組功能的指令和資料。使用的部分電腦資源可以經由網路存取。電腦可執行指令可以是，例如二進位檔案、諸如組合語言的中間格式指令、韌體、原始程式碼。可用於儲存指令、使用的資訊及/或在根據該等實例的方法期間建立的資訊的電腦可讀取媒體的實例包括磁碟或光碟、快閃記憶體、設置有非揮發性記憶體的USB設備、聯網存放裝置等等。
實現根據這些揭示的程序和方法的設備可以包括硬體、軟體、韌體、中介軟體、微代碼、硬體描述語言、或它們的任何組合，並且可以採用各種形式因數中的任何一種。當以軟體、韌體、中介軟體或微代碼實現時，執行必要任務的程式碼或程式碼片段（例如，電腦程式產品）可以被儲存在電腦可讀或機器可讀取媒體中。處理器可以執行必要的任務。形式因數的典型實例包括膝上型電腦、智慧型電話、行動電話、平板設備或其他小型個人電腦、個人數位助理、機架式設備、獨立設備等等。本文所述的功能亦可以體現在周邊設備或額外卡中。經由進一步的實例，這樣的功能亦可以在不同晶片之間的電路板上或在單個設備中執行的不同程序上實現。
指令、用於傳達此類指令的媒體、用於執行它們的計算資源、以及用於支援此類計算資源的其他結構是用於提供本案中所述的功能的實例方式。
在上述描述中，本案的各態樣是參考其具體實施例描述的，但本發明所屬領域中具有通常知識者將認識到本案並不限於此。因此，儘管本案的示例性實施例已在本文中詳細描述，但應當理解，本發明構思可以以其他方式多樣地實現和採用，並且所附請求項意欲被解釋為包括此類變型，除非受到現有技術的限制。上述申請的各種特徵和態樣可以單獨或聯合使用。此外，在不背離本說明書更廣泛的精神和範圍的情況下，可以在本文所述之外的任何環境和應用中利用實施例。因此，本說明書和附圖應被視為說明性而非限制性的。為了說明的目的，這些方法是按特定順序描述的。應當理解，在替代實施例中，這些方法可以按照與該順序不同的循序執行。
具有通常知識者中的一個將理解，在不脫離本描述範圍的情況下，本文使用的小於（「＜」）和大於（「＞」）符號或術語可以分別用小於或等於（「≦」）和大於或等於（「≧」）符號代替。
在部件被描述為被「被配置為」執行某些操作的情況下，可以例如經由設計電子電路或其他硬體來執行該操作、通程序式設計可程式設計電子電路（例如，微處理器或其他合適的電子電路）來執行該操作、或它們的任何組合來完成這樣的配置。
短語「耦接到」指直接或間接實體連接到另一個部件的任何部件，及/或直接或間接與另一個部件通訊的任何部件（例如，經由有線或無線連接及/或其他合適的通訊介面連接到另一個部件）。
本案中敘述集合中的「至少一個」及/或集合中的「一或多個」的請求項語言或其他語言指示集合中的一個成員或集合中的多個成員（以任何組合）滿足請求項。例如，敘述「A和B中的至少一個」或「A或B中的至少一個」的請求項語言意味著A、B或A和B。在另一個實例中，敘述「A、B和C中的至少一個」或「A、B或C中的至少一個」的請求項語言意味著A、B、C、或A和B、或A和C、或B和C、或A和B和C。語言集合中的「至少一個」及/或集合中的「一或多個」並沒有將該集合限制在該集合所列的項目中。例如，敘述「A和B中的至少一個」或「A或B中的至少一個」的請求項語言可以意味著A、B或A和B，並且可以額外包括A和B的集合中沒有列出的項目。
結合本文揭示的實例描述的各種說明性的邏輯區塊、模組、電路和演算法步驟可以被實現為電子硬體、電腦軟體、韌體或它們的組合。為了清楚地說明硬體和軟體的這種可互換性，上面已經大體上根據它們的功能描述了各種說明性的部件、方塊、模組、電路和步驟。將這樣的功能實現為硬體還是軟體取決於特定的應用和施加在整個系統上的設計約束。所屬領域的技藝人士可以針對每個特定應用以各種方式來實現所描述的功能，但是這樣的實現決定不應被解釋為導致脫離本案的範疇。
本文所述的技術亦可以在電子硬體、電腦軟體、韌體或它們的任何組合中實現。此類技術可以在各種設備中的任何一種中實現，諸如通用電腦、無線通訊設備手持機、或具有多種用途（包括在無線通訊設備手持機和其他設備中的應用）的積體電路設備，。任何被描述為模組或部件的特徵皆可以在整合的邏輯裝置中一起實現，或者作為個別但可交互動操作的邏輯裝置分別實現。若用軟體實現，這些技術可以至少部分地經由電腦可讀取資料儲存媒體實現，該媒體包括程式碼，該程式碼包括指令，其中該指令在被執行時執行上述的一或多個方法、演算法及/或操作。該電腦可讀取資料儲存媒體可形成電腦程式產品的一部分，該產品可包括封裝材料。電腦可讀取媒體可以包括記憶體或資料儲存媒體，諸如隨機存取記憶體（RAM）（諸如同步動態隨機存取記憶體（SDRAM））、唯讀記憶體（ROM）、非揮發性隨機存取記憶體（NVRAM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體、磁性或光學資料儲存媒體等。補充地或替代地，這些技術可以至少部分經由電腦可讀通訊媒體來實現，該電腦可讀通訊媒體以指令或資料結構的形式攜帶或通訊程式碼並且其可以由電腦存取、讀取及/或執行，諸如傳播的訊號或波。
程式碼可由處理器執行，該處理器可包括一或多個處理器，諸如一或多個數位訊號處理器（DSP）、通用微處理器、特殊應用積體電路（ASIC）、現場可程式設計邏輯陣列（FPGA）、或其他等同的整合或個別邏輯電路。這樣的處理器可以被配置為執行本案中描述的任何技術。通用處理器可以是微處理器；但在替代方案中，處理器可以是任何習知處理器、控制器、微控制器或狀態機。處理器亦可以實現為計算設備的組合，例如DSP和微處理器的組合、複數個微處理器、一或多個微處理器與DSP核結合、或任何其他這樣的配置。因此，如本文所用的術語「處理器」可指上述任何結構、上述結構的任何組合、或適合實現本文所述技術的任何其他結構或裝置。
本案的說明性實例包括：
態樣1.一種用於預測性的相機初始化的裝置，該裝置包括：記憶體；及耦接到該記憶體的一或多個處理器，該一或多個處理器被配置為：從第一影像擷取裝置獲得圖示場景的影像資料；基於影像資料對場景進行分類；基於場景的分類，預測相機使用事件；並且基於預測的相機使用事件，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式。
態樣2.根據態樣1的裝置，其中為了調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式，該一或多個處理器被配置為：初始化第二影像擷取裝置，其中第二影像擷取裝置在比用於擷取影像資料的第一影像擷取裝置的相應功率模式消耗更多功率的功率模式下被初始化。
態樣3.根據態樣2的裝置，其中該一或多個處理器被配置為：在比第一影像擷取裝置的相應功率模式消耗更多功率的功率模式下使用第二影像擷取裝置擷取額外的影像資料，其中該功率模式與以下至少一個相關聯：比與用於擷取影像資料的第一影像擷取裝置的相應功率模式相關聯的解析度更高的解析度、比與用於擷取影像資料的第一影像擷取裝置的相應功率模式相關聯的畫面播放速率更高的畫面播放速率、比與用於擷取影像資料的第一影像擷取裝置的相應功率模式相關聯的影像感測器數量更多的影像感測器數量、以及支援特定功率模式的第一影像感測器，其中該特定功率模式比由與第一影像擷取裝置相關聯的第二影像感測器支援的不同功率模式消耗更多的功率。
態樣4.根據態樣2至3中任一項的裝置，其中第二影像擷取裝置與第一相機管線相關聯，該第一相機管線比與第一影像擷取裝置相關聯的第二相機管線消耗更多的功率，其中第一相機管線包括以下項中的至少一個：比第二相機管線更多的影像處理能力、以及比第二相機管線具有更高的處理效能的一或多個硬體部件。
態樣5.根據態樣2至4中任一項的裝置，其中為了初始化第二影像擷取裝置，該一或多個處理器被配置為增大第二影像擷取裝置的功率模式。
態樣6.根據態樣5的裝置，其中為了增大第二影像擷取裝置的功率模式，該一或多個處理器被配置為：增大以下項中的至少一個的功率：第二影像擷取裝置、和與第二影像擷取裝置的相機管線相關聯的一或多個硬體部件。
態樣7.根據態樣2至6中任一項的裝置，其中該一或多個處理器被配置為：將來自第一影像擷取裝置的影像資料儲存在緩衝器中，其中在第二影像擷取裝置的初始化期間和在第二影像擷取裝置的初始化完成之前中的至少一個，影像資料的至少一部分被儲存在緩衝器中；並且經由與第二影像擷取裝置相關聯的相機管線處理儲存在緩衝器中的影像資料的至少一部分，其中在第二影像擷取裝置被初始化後處理影像資料的至少一部分。
態樣8.根據態樣1至7中任一項的裝置，其中為了調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式，該一或多個處理器被配置為：增加與第二影像擷取裝置的相機管線相關聯的處理器和與相機管線相關聯的記憶體中的至少一個的頻率。
態樣9.根據態樣1至8中任一項的裝置，其中為了調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式，該一或多個處理器被配置為：將記憶體預分配給與第二影像擷取裝置相關聯的相機應用。
態樣10.根據態樣1至9中任一項的裝置，其中該一或多個處理器被配置為：基於來自第一影像擷取裝置的一幅或多幅影像，預收斂曝光值和聚焦值中的至少一個。
態樣11.根據態樣1至10中任一項的裝置，其中該一或多個處理器被配置為：獲得指示裝置的位置的位置資料和來自與裝置相關聯的一或多個感測器的感測器資料中的至少一個，該感測器資料包括指示與裝置相關聯的運動的運動量測、由一或多個感測器擷取的音訊資料、以及指示裝置位置的位置量測中的至少一個；並且基於影像資料以及位置資料、音訊資料和感測器資料中的至少一個對場景進行分類。
態樣12.根據態樣1至11中任一項的裝置，其中預測的相機使用事件包括被配置為觸發裝置擷取額外的影像資料的使用者輸入。
態樣13.根據態樣1至12中任一項的裝置，其中為了對場景進行分類，一或多個處理器被配置為偵測與影像資料相關聯的事件，其中該事件包括影像資料中圖示的場景、裝置的特定移動、裝置相對於與裝置相關聯的使用者的位置、影像資料中偵測到的人群、與一或多個使用者相關聯的姿勢、顯示在物件上的圖案、以及一組人相對彼此的位置中的至少一個。
態樣14.根據態樣1至13中任一項的裝置，其中為了調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式，該一或多個處理器被配置為：決定與第二影像擷取裝置的初始化相關聯的一或多個初始化設置，該一或多個初始化設置基於與場景相關聯的事件類型；並且根據該一或多個初始化設置初始化第二影像擷取裝置。
態樣15.根據態樣1至14中任一項的裝置，其中該一或多個處理器被配置為：回應於對場景進行分類，初始化與到期值相關聯的計時器；決定計時器的值在預測的相機使用事件的發生之前達到到期值；並且基於在預測的相機使用事件的發生之前達到到期值的計時器的值，降低第二影像擷取裝置的功率模式，其中降低功率模式包括以下項中的至少一個：關閉第二影像擷取裝置、以及降低與第二影像擷取裝置和與第二影像擷取裝置相關聯的相機管線中的至少一個相關聯的一或多個功率設置。
態樣16.根據態樣1至15中任一項的裝置，其中為了調整第二影像擷取裝置的功率模式，該一或多個處理器被配置為打開或實現以下項中的至少一個：泛光照明器、深度感測器設備、雙影像擷取裝置系統、結構光系統、飛行時間系統、音訊演算法、位置服務、和與第一影像擷取裝置相關聯的相機管線不同的相機管線。
態樣17.根據態樣1至16中任一項的裝置，其中為了調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式，該一或多個處理器被配置為：減少第一影像擷取裝置的功率模式，其中減少第一影像擷取裝置的功率模式包括減少第一影像擷取裝置和與第一影像擷取裝置的相機管線相關聯的一或多個硬體部件中的至少一個的功率。
態樣18.根據態樣1至17中任一項的裝置，其中為了調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式，該一或多個處理器被配置為：增大第一影像擷取裝置的功率模式，其中增大第一影像擷取裝置的功率模式包括增大第一影像擷取裝置和與第一影像擷取裝置的相機管線相關聯的一或多個硬體部件中的至少一個的功率。
態樣19.根據態樣1至18中任一項的裝置，其中該裝置包括行動設備。
態樣20.根據態樣19的裝置，其中該裝置包括擴展現實設備。
態樣21.一種用於預測性的相機初始化的方法，該方法包括：從第一影像擷取裝置獲得圖示場景的影像資料；基於影像資料對場景進行分類；基於場景的分類，預測相機使用事件；並且基於預測的相機使用事件，調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式。
態樣22.根據態樣21的方法，其中調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式包括：初始化第二影像擷取裝置，其中第二影像擷取裝置在比用於擷取影像資料的第一影像擷取裝置的相應功率模式消耗更多的功率的功率模式下被初始化。
態樣23.根據態樣22的方法，亦包括：在比第一影像擷取裝置的相應功率模式消耗更多功率的功率模式下使用第二影像擷取裝置擷取額外的影像資料，其中該功率模式與以下至少一個相關聯：比與用於擷取影像資料的第一影像擷取裝置的相應功率模式相關聯的解析度更高的解析度、比與用於擷取影像資料的第一影像擷取裝置的相應功率模式相關聯的畫面播放速率更高的畫面播放速率、比與用於擷取影像資料的第一影像擷取裝置的相應功率模式相關聯的影像感測器數量更多的影像感測器數量、以及支援特定功率模式的第一影像感測器，其中該特定功率模式比由與第一影像擷取裝置相關聯的第二影像感測器支援的不同功率模式消耗更多的功率。
態樣24.根據態樣22至23中任一項的方法，其中第二影像擷取裝置與第一相機管線相關聯，該第一相機管線比與第一影像擷取裝置相關聯的第二相機管線消耗更多的功率，其中第一相機管線包括以下項中的至少一個：比第二相機管線更多的影像處理能力、以及比第二相機管線具有更高的處理效能的一或多個硬體部件。
態樣25.根據態樣22至24中任一項的方法，其中初始化第二影像擷取裝置包括增大第二影像擷取裝置的功率模式。
態樣26.根據態樣25的方法，其中增大第二影像擷取裝置的功率模式包括增大以下項中的至少一個的功率：第二影像擷取裝置、和與第二影像擷取裝置的相機管線相關聯的一或多個硬體部件。
態樣27.根據態樣22至26中任一項的方法，亦包括：將來自第一影像擷取裝置的影像資料儲存在緩衝器中，其中在第二影像擷取裝置的初始化期間和在第二影像擷取裝置的初始化完成之前中的至少一個，影像資料的至少一部分被儲存在緩衝器中；並且經由與第二影像擷取裝置相關聯的相機管線處理儲存在緩衝器中的影像資料的至少一部分，其中在第二影像擷取裝置被初始化後處理影像資料的至少一部分。
態樣28.根據態樣21至27中任一項的方法，其中調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式包括：增加與第二影像擷取裝置的相機管線相關聯的處理器和與相機管線相關聯的記憶體中的至少一個的頻率。
態樣29.根據態樣21至28中任一項的方法，其中調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式包括：將記憶體預分配給與第二影像擷取裝置相關聯的相機應用。
態樣30.根據態樣21至29中任一項的方法，亦包括：基於來自第一影像擷取裝置的一幅或多幅影像，預收斂曝光值和聚焦值中的至少一個。
態樣31.根據態樣21至30中任一項的方法，亦包括：獲得指示與第一影像擷取裝置相關聯的電子設備的位置的位置資料和來自與電子設備相關聯的一或多個感測器的感測器資料中的至少一個，該感測器資料包括指示與電子設備相關聯的運動的運動量測、由一或多個感測器擷取的音訊資料、以及指示電子設備的位置的位置量測中的至少一個；並且基於影像資料以及位置資料、音訊資料和感測器資料中的至少一個對場景進行分類。
態樣32.根據態樣21至31中任一項的方法，其中預測的相機使用事件包括被配置為觸發與第一影像擷取裝置相關聯的電子設備擷取額外的影像資料的使用者輸入。
態樣33.根據態樣21至32中任一項的方法，其中對場景進行分類包括：偵測與影像資料相關聯的事件，其中該事件包括影像資料中圖示的場景、與第一影像擷取裝置相關聯的電子設備的特定移動、電子設備相對於與電子設備相關聯的使用者的位置、影像資料中偵測到的人群、與一或多個使用者相關聯的姿勢、顯示在物件上的圖案、以及一組人相對彼此的位置中的至少一個。
態樣34.根據態樣21至33中任一項的方法，其中調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式包括：決定與第二影像擷取裝置的初始化相關聯的一或多個初始化設置，該一或多個初始化設置基於與場景相關聯的事件類型；並且根據該一或多個初始化設置初始化第二影像擷取裝置。
態樣35.根據態樣21至34中任一項的方法，亦包括：回應於對場景進行分類，初始化與到期值相關聯的計時器；決定計時器的值在預測的相機使用事件的發生之前達到到期值；並且基於在預測的相機使用事件的發生之前達到到期值的計時器的值，降低第二影像擷取裝置的功率模式，其中降低功率模式包括以下項中的至少一個：關閉第二影像擷取裝置、以及降低與第二影像擷取裝置和與第二影像擷取裝置相關聯的相機管線中的至少一個相關聯的一或多個功率設置。
態樣36.根據態樣21至35中任一項的方法，其中調整第二影像擷取裝置的功率模式包括打開或實現以下項中的至少一個：泛光照明器、深度感測器設備、雙影像擷取裝置系統、結構光系統、飛行時間系統、音訊演算法、位置服務、和與第一影像擷取裝置相關聯的相機管線不同的相機管線。
態樣37.根據態樣21至36中任一項的方法，其中調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式包括：減少第一影像擷取裝置的功率模式，其中減少第一影像擷取裝置的功率模式包括減少第一影像擷取裝置和與第一影像擷取裝置的相機管線相關聯的一或多個硬體部件中的至少一個的功率。
態樣38.根據態樣21至37中任一項的方法，其中調整第一影像擷取裝置和第二影像擷取裝置中的至少一個的功率模式包括：增大第一影像擷取裝置的功率模式，其中增大第一影像擷取裝置的功率模式包括增大第一影像擷取裝置和與第一影像擷取裝置的相機管線相關聯的一或多個硬體部件中的至少一個的功率。
態樣39.一種其上儲存有指令的非暫時性電腦可讀取媒體，當由一或多個處理器執行時，這些指令使一或多個處理器執行根據態樣21至38中任一項的方法。
態樣40.一種裝置，包括用於執行根據態樣21至38中任一項的方法的部件。
態樣41.根據態樣40的裝置，其中該裝置包括行動設備。
態樣42.根據態樣41的裝置，其中該行動設備包括擴展現實設備。
100:電子設備 102:影像感測器 104:影像感測器 106:音訊感測器 108:慣性量測單元（IMU） 110:計算部件 112:中央處理單元（CPU） 114:圖形處理單元（GPU）1 116:數位訊號處理器（DSP） 118:影像訊號處理器（ISP） 120:預測器 122:機器學習引擎 200:系統程序 202:較低功率相機管線 204:非相機感測器 212:較高功率相機管線 220:感測器資料 222:感測器資料 224:初始化 230:系統程序 232:多訊框緩衝器 300:程序 302:相機資料 304:方塊 306:方塊 308:方塊 310:方塊 312:方塊 314:方塊 402:未初始化狀態 404:初始化狀態 406:去初始化狀態 408:快速相機啟動 410:初始化 412:計時器到期 414:初始化 416:相機事件 418:狀態改變觸發 500:無相機事件預測 502:未初始化狀態 520:相機事件預測 522:初始化狀態 530:物件 600:程序 602:方塊 604:方塊 606:方塊 608:方塊 700:計算設備架構 705:連接 710:處理單元（CPU或處理器） 712:緩存 715:計算設備記憶體 720:唯讀記憶體（ROM） 725:隨機存取記憶體（RAM） 730:存放裝置 735:輸出設備 740:通訊介面 745:輸入設備 T 1:時間 T 2:時間 T 3:時間 T 4:時間 T 5:時間 T 6:時間
下文將參照下圖詳細描述本案的說明性實例：
圖1是根據本案的一些實例的示出可以實現預測性的相機初始化的電子設備的實例的示圖；
圖2A和圖2B是根據本案的一些實例的示出用於預測性的相機初始化的實例系統程序的示圖；
圖3是根據本案的一些實例的示出用於預測性的相機初始化的實例程序的流程圖；
圖4是根據本案的一些實例的示出基於某些刺激在不同時間調整的實例相機初始化狀態的示圖；
圖5是根據本案的一些實例的示出基於不同預測性的相機事件決定實現的不同初始化狀態的實例的示圖；
圖6是根據本案的一些實例的示出用於預測性的相機初始化的實例程序的流程圖；並且
圖7圖示根據本案的一些實例的實例計算設備架構。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
100:電子設備
102:影像感測器
120:預測器
200:系統程序
202:較低功率相機管線
204:非相機感測器
212:較高功率相機管線
220:感測器資料
222:感測器資料
224:初始化

Claims (38)

  1. 一種用於預測性的相機初始化的裝置，該裝置包括： 記憶體；及 耦接到該記憶體的一或多個處理器，該一或多個處理器被配置為： 從第一影像擷取裝置獲取圖示一場景的一影像資料； 基於該影像資料對該場景進行分類； 基於該場景的該分類，預測一相機使用事件；並且 基於所預測的相機使用事件，調整該第一影像擷取裝置和一第二影像擷取裝置中的至少一個的一功率模式。
  2. 根據請求項1之裝置，其中為了調整該第一影像擷取裝置和該第二影像擷取裝置中的至少一個的該功率模式，該一或多個處理器被配置為： 初始化該第二影像擷取裝置，其中該第二影像擷取裝置在比用於擷取該影像資料的該第一影像擷取裝置的一相應功率模式消耗更多功率的一功率模式下被初始化。
  3. 根據請求項2之裝置，其中該一或多個處理器被配置為： 在比該第一影像擷取裝置的該相應功率模式消耗更多功率的該功率模式下使用該第二影像擷取裝置擷取額外的影像資料，其中該功率模式與以下至少一個相關聯：比與用於擷取該影像資料的該第一影像擷取裝置的該相應功率模式相關聯的一解析度更高的一解析度、比與用於擷取該影像資料的該第一影像擷取裝置的該相應功率模式相關聯的一畫面播放速率更高的一畫面播放速率、比與用於擷取該影像資料的該第一影像擷取裝置的該相應功率模式相關聯的一影像感測器數量更多的一影像感測器數量、以及支援一特定功率模式的一第一影像感測器，其中該特定功率模式比由與該第一影像擷取裝置相關聯的一第二影像感測器支援的一不同功率模式消耗更多的功率。
  4. 根據請求項2之裝置，其中該第二影像擷取裝置與一第一相機管線相關聯，該第一相機管線比與該第一影像擷取裝置相關聯的一第二相機管線消耗更多的功率，其中該第一相機管線包括以下項中的至少一個：比該第二相機管線更多的一影像處理能力、以及比該第二相機管線具有更高的處理效能的一或多個硬體部件。
  5. 根據請求項2之裝置，其中為了初始化該第二影像擷取裝置，該一或多個處理器被配置為增大該第二影像擷取裝置的該功率模式。
  6. 根據請求項5所述的裝置，其中為了增大該第二影像擷取裝置的該功率模式，該一或多個處理器被配置為： 增大以下項中的至少一個的一功率：該第二影像擷取裝置、和與該第二影像擷取裝置的一相機管線相關聯的一或多個硬體部件。
  7. 根據請求項2之裝置，其中該一或多個處理器被配置為： 將來自該第一影像擷取裝置的該影像資料儲存在一緩衝器中，其中在該第二影像擷取裝置的該初始化期間和在該第二影像擷取裝置的該初始化完成之前中的至少一個，該影像資料的至少一部分被儲存在該緩衝器中；並且 經由與該第二影像擷取裝置相關聯的一相機管線處理儲存在該緩衝器中的該影像資料的該至少一部分，其中在該第二影像擷取裝置被初始化後處理該影像資料的該至少一部分。
  8. 根據請求項1之裝置，其中為了調整該第一影像擷取裝置和該第二影像擷取裝置中的至少一個的該功率模式，該一或多個處理器被配置為： 增加與該第二影像擷取裝置的相機管線相關聯的處理器和與該相機管線相關聯的記憶體中的至少一個的頻率。
  9. 根據請求項1之裝置，其中為了調整該第一影像擷取裝置和該第二影像擷取裝置中的至少一個的該功率模式，該一或多個處理器被配置為： 將記憶體預分配給與該第二影像擷取裝置相關聯的相機應用。
  10. 根據請求項1之裝置，其中該一或多個處理器被配置為： 基於來自該第一影像擷取裝置的一幅或多幅影像，預收斂一曝光值和一聚焦值中的至少一個。
  11. 根據請求項1之裝置，其中該一或多個處理器被配置為： 獲得指示該裝置的一位置的位置資料和來自與該裝置相關聯的一或多個感測器的感測器資料中的至少一個，該感測器資料包括指示與該裝置相關聯的運動的一運動量測、由該一或多個感測器擷取的音訊資料、以及指示該裝置的一位置的位置量測中的至少一個；並且 基於該影像資料以及該位置資料、該音訊資料和該感測器資料中的至少一個對該場景進行分類。
  12. 根據請求項1之裝置，其中所預測的相機使用事件包括被配置為觸發該裝置擷取額外的影像資料的一使用者輸入。
  13. 根據請求項1之裝置，其中為了對該場景進行分類，該一或多個處理器被配置為：偵測與該影像資料相關聯的一事件，其中該事件包括該影像資料中圖示的該場景、該裝置的一特定移動、該裝置相對於與該裝置相關聯的一使用者的一位置、該影像資料中偵測到的一人群、與一或多個使用者相關聯的一姿勢、顯示在一物件上的一圖案、以及一組人相對彼此的一位置中的至少一個。
  14. 根據請求項1之裝置，其中為了調整該第一影像擷取裝置和該第二影像擷取裝置中的至少一個的該功率模式，該一或多個處理器被配置為： 決定與該第二影像擷取裝置的一初始化相關聯的一或多個初始化設置，該一或多個初始化設置基於與該場景相關聯的一事件類型；並且 根據該一或多個初始化設置初始化該第二影像擷取裝置。
  15. 根據請求項1之裝置，其中該一或多個處理器被配置為： 回應於對該場景進行分類，初始化與一到期值相關聯的一計時器； 決定該計時器的一值在所預測的相機使用事件的一發生之前達到該到期值；並且 基於在所預測的相機使用事件的該發生之前達到該到期值的該計時器的該值，降低該第二影像擷取裝置的該功率模式，其中降低該功率模式包括以下項中的至少一個：關閉該第二影像擷取裝置、以及降低與該第二影像擷取裝置和與該第二影像擷取裝置相關聯的一相機管線中的至少一個相關聯的一或多個功率設置。
  16. 根據請求項1之裝置，其中為了調整該第二影像擷取裝置的該功率模式，該一或多個處理器被配置為打開或實現以下項中的至少一個：一泛光照明器、一深度感測器設備、一雙影像擷取裝置系統、一結構光系統、一飛行時間系統、一音訊演算法、一位置服務、和與該第一影像擷取裝置相關聯的一相機管線不同的一相機管線。
  17. 根據請求項1之裝置，其中為了調整該第一影像擷取裝置和該第二影像擷取裝置中的至少一個的該功率模式，該一或多個處理器被配置為： 減少該第一影像擷取裝置的該功率模式，其中減少該第一影像擷取裝置的該功率模式包括減少該第一影像擷取裝置和與該第一影像擷取裝置的一相機管線相關聯的一或多個硬體部件中的至少一個的一功率。
  18. 根據請求項1之裝置，其中為了調整該第一影像擷取裝置和該第二影像擷取裝置中的至少一個的該功率模式，該一或多個處理器被配置為： 增大該第一影像擷取裝置的該功率模式，其中增大該第一影像擷取裝置的該功率模式包括增大該第一影像擷取裝置和與該第一影像擷取裝置的一相機管線相關聯的一或多個硬體部件中的至少一個的一功率。
  19. 根據請求項1之裝置，其中該裝置包括一行動設備。
  20. 根據請求項19之裝置，其中該裝置包括一擴展現實設備。
  21. 一種用於預測性的相機初始化的方法，該方法包括以下步驟： 從一第一影像擷取裝置獲得圖示一場景的影像資料； 基於該影像資料對該場景進行分類； 基於該場景的該分類，預測一相機使用事件；並且 基於所預測的相機使用事件，調整該第一影像擷取裝置和一第二影像擷取裝置中的至少一個的一功率模式。
  22. 根據請求項21之方法，其中調整該第一影像擷取裝置和該第二影像擷取裝置中的至少一個的該功率模式包括以下步驟： 初始化該第二影像擷取裝置，其中該第二影像擷取裝置在比用於擷取該影像資料的該第一影像擷取裝置的一相應功率模式消耗更多功率的一功率模式下被初始化。
  23. 根據請求項22之方法，亦包括以下步驟： 在比該第一影像擷取裝置的該相應功率模式消耗更多功率的該功率模式下使用該第二影像擷取裝置擷取額外的影像資料，其中該功率模式與以下至少一個相關聯：比與用於擷取該影像資料的該第一影像擷取裝置的該相應功率模式相關聯的一解析度更高的一解析度、比與用於擷取該影像資料的該第一影像擷取裝置的該相應功率模式相關聯的一畫面播放速率更高的一畫面播放速率、比與用於擷取該影像資料的該第一影像擷取裝置的該相應功率模式相關聯的一影像感測器數量更多的一影像感測器數量、以及支援一特定功率模式的一第一影像感測器，其中該特定功率模式比由與該第一影像擷取裝置相關聯的一第二影像感測器支援的一不同功率模式消耗更多的功率。
  24. 根據請求項22之方法，其中該第二影像擷取裝置與一第一相機管線，該第一相機管線比與該第一影像擷取裝置相關聯的一第二相機管線消耗更多的功率，其中該第一相機管線包括以下項中的至少一個：比該第二相機管線更多的影像處理能力、以及比該第二相機管線具有一更高的處理效能的一或多個硬體部件。
  25. 根據請求項22之方法，其中初始化該第二影像擷取裝置包括增大該第二影像擷取裝置的該功率模式。
  26. 根據請求項25所述的方法，其中增大該第二影像擷取裝置的該功率模式包括以下步驟： 增大以下項中的至少一個的一功率：該第二影像擷取裝置、和與該第二影像擷取裝置的一相機管線相關聯的一或多個硬體部件。
  27. 根據請求項22之方法，亦包括以下步驟： 將來自該第一影像擷取裝置的該影像資料儲存在一緩衝器中，其中在該第二影像擷取裝置的該初始化期間和在該第二影像擷取裝置的該初始化完成之前中的至少一個，該影像資料的至少一部分被儲存在該緩衝器中；並且 經由與該第二影像擷取裝置相關聯的一相機管線處理儲存在該緩衝器中的該影像資料的該至少一部分，其中在該第二影像擷取裝置被初始化後處理該影像資料的該至少一部分。
  28. 根據請求項21之方法，其中調整該第一影像擷取裝置和該第二影像擷取裝置中的至少一個的該功率模式包括以下步驟： 增加與該第二影像擷取裝置的一相機管線相關聯的一處理器和與該相機管線相關聯的一記憶體中的至少一個的一頻率。
  29. 根據請求項21之方法，其中調整該第一影像擷取裝置和該第二影像擷取裝置中的至少一個的該功率模式包括以下步驟： 將記憶體預分配給與該第二影像擷取裝置相關聯的一相機應用。
  30. 根據請求項21之方法，亦包括以下步驟： 基於來自該第一影像擷取裝置的一幅或多幅影像，預收斂一曝光值和一聚焦值中的至少一個。
  31. 根據請求項21之方法，亦包括以下步驟： 獲得指示與該第一影像擷取裝置相關聯的一電子設備的一位置的位置資料和來自與該電子設備相關聯的一或多個感測器的感測器資料中的至少一個，該感測器資料包括指示與該電子設備相關聯的運動的一運動量測、由該一或多個感測器擷取的音訊資料、以及指示該電子設備的一位置的位置量測中的至少一個；並且 基於該影像資料以及該位置資料、該音訊資料和該感測器資料中的至少一個對該場景進行分類。
  32. 根據請求項21之方法，其中所預測的相機使用事件包括被配置為觸發與該第一影像擷取裝置相關聯的一電子設備擷取額外的影像資料的一使用者輸入。
  33. 根據請求項21之方法，其中對該場景進行分類包括以下步驟：偵測與該影像資料相關聯的一事件，其中該事件包括該影像資料中圖示的該場景、與該第一影像擷取裝置相關聯的一電子設備的一特定移動、該電子設備相對於與該電子設備相關聯的一使用者的一位置、該影像資料中偵測到的一人群、與一或多個使用者相關聯的一姿勢、顯示在一物件上的一圖案、以及一組人相對彼此的一位置中的至少一個。
  34. 根據請求項21之方法，其中調整該第一影像擷取裝置和該第二影像擷取裝置中的至少一個的該功率模式包括以下步驟： 決定與該第二影像擷取裝置的一初始化相關聯的一或多個初始化設置，該一或多個初始化設置基於與該場景相關聯的一事件類型；並且 根據該一或多個初始化設置初始化該第二影像擷取裝置。
  35. 根據請求項21之方法，亦包括以下步驟： 回應於對該場景進行分類，初始化與一到期值相關聯的一計時器； 決定該計時器的一值在所預測的相機使用事件的一發生之前達到該到期值；並且 基於在所預測的相機使用事件的該發生之前達到該到期值的該計時器的該值，降低該第二影像擷取裝置的該功率模式，其中降低該功率模式包括以下項中的至少一個：關閉該第二影像擷取裝置、以及降低與該第二影像擷取裝置和與該第二影像擷取裝置相關聯的一相機管線中的至少一個相關聯的一或多個功率設置。
  36. 根據請求項21之方法，其中調整該第二影像擷取裝置的該功率模式包括打開或實現以下項中的至少一個：一泛光照明器、一深度感測器設備、一雙影像擷取裝置系統、一結構光系統、一飛行時間系統、一音訊演算法、一位置服務、和與該第一影像擷取裝置相關聯的一相機管線不同的一相機管線。
  37. 根據請求項21之方法，其中調整該第一影像擷取裝置和該第二影像擷取裝置中的至少一個的該功率模式包括以下步驟： 減少該第一影像擷取裝置的該功率模式，其中減少該第一影像擷取裝置的該功率模式包括減少該第一影像擷取裝置和與該第一影像擷取裝置的一相機管線相關聯的一或多個硬體部件中的至少一個的一功率。
  38. 根據請求項21之方法，其中調整該第一影像擷取裝置和該第二影像擷取裝置中的至少一個的該功率模式包括以下步驟： 增大該第一影像擷取裝置的該功率模式，其中增大該第一影像擷取裝置的該功率模式包括增大該第一影像擷取裝置和與該第一影像擷取裝置的一相機管線相關聯的一或多個硬體部件中的至少一個的一功率。
TW111131148A 2021-08-25 2022-08-18 用於減少延遲的相機初始化 TW202318331A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/412,113 US11877048B2 (en) 2021-08-25 2021-08-25 Camera initialization for reduced latency
US17/412,113 2021-08-25

Publications (1)

Publication Number Publication Date
TW202318331A true TW202318331A (zh) 2023-05-01

Family

ID=83903384

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111131148A TW202318331A (zh) 2021-08-25 2022-08-18 用於減少延遲的相機初始化

Country Status (5)

Country Link
US (2) US11877048B2 (zh)
KR (1) KR20240055736A (zh)
CN (1) CN117957852A (zh)
TW (1) TW202318331A (zh)
WO (1) WO2023028439A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11954885B2 (en) * 2021-09-15 2024-04-09 Apple Inc. Display tracking systems and methods

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9438868B2 (en) 2014-02-13 2016-09-06 Semiconductor Components Industries, Llc Adaptive image sensor systems and methods
EP3502954A1 (en) 2017-12-21 2019-06-26 Vestel Elektronik Sanayi ve Ticaret A.S. Method of facial recognition for authenticating user of electronic device and electronic device
US10574890B2 (en) 2018-01-12 2020-02-25 Movidius Ltd. Methods and apparatus to operate a mobile camera for low-power usage
JP7072404B2 (ja) * 2018-03-01 2022-05-20 キヤノン株式会社 画像処理装置及びその制御方法、プログラム、記憶媒体
US20200084387A1 (en) * 2018-09-07 2020-03-12 Qualcomm Incorporated Low power mode for one or more cameras of a multiple camera system
US10917582B2 (en) 2019-01-04 2021-02-09 Gopro, Inc. Reducing power consumption for enhanced zero shutter lag
KR102664705B1 (ko) * 2019-02-19 2024-05-09 삼성전자주식회사 복수의 카메라들을 이용하여 이미지의 배율을 변경하기 위한 전자 장치 및 방법
US10931868B2 (en) 2019-04-15 2021-02-23 Gopro, Inc. Methods and apparatus for instant capture of content
CN110266950B (zh) 2019-06-28 2021-04-23 Oppo广东移动通信有限公司 陀螺仪处理方法和装置、电子设备、计算机可读存储介质
US11521473B2 (en) * 2019-09-30 2022-12-06 Amazon Technologies, Inc. Audio/video electronic device
WO2021102483A2 (en) 2020-04-15 2021-05-27 Zeku, Inc. Method and apparatus for operating a companion processing unit
WO2022081142A1 (en) * 2020-10-13 2022-04-21 Google Llc Distributed sensor data processing using multiple classifiers on multiple devices

Also Published As

Publication number Publication date
US20240098357A1 (en) 2024-03-21
US20230062187A1 (en) 2023-03-02
WO2023028439A1 (en) 2023-03-02
KR20240055736A (ko) 2024-04-29
CN117957852A (zh) 2024-04-30
US11877048B2 (en) 2024-01-16

Similar Documents

Publication Publication Date Title
EP3579544B1 (en) Electronic device for providing quality-customized image and method of controlling the same
US9692959B2 (en) Image processing apparatus and method
CN109756671B (zh) 使用多个相机记录图像的电子装置及其操作方法
US11563889B2 (en) Electronic device and method for controlling camera using external electronic device
US20220138964A1 (en) Frame processing and/or capture instruction systems and techniques
US20210409588A1 (en) Method for Shooting Long-Exposure Image and Electronic Device
US20240098357A1 (en) Camera initialization for reduced latency
CN115689963B (zh) 一种图像处理方法及电子设备
CN113170049B (zh) 使用场景改变触发自动图像捕获
CN116711316A (zh) 电子装置及其操作方法
WO2023044233A1 (en) Region of interest capture for electronic devices
CN113630558B (zh) 一种摄像曝光方法及电子设备
US20240056668A1 (en) Camera setting adjustment based on event mapping
JP2013062711A (ja) 撮影装置、撮影画像処理方法、およびプログラム
CN113891008B (zh) 一种曝光强度调节方法及相关设备
WO2023044208A1 (en) Low-power fusion for negative shutter lag capture
CN115150542A (zh) 一种视频防抖方法及相关设备
CN115516495A (zh) 基于选择区域优化高动态范围(hdr)图像处理
CN115633262B (zh) 图像处理方法和电子设备
WO2023160224A9 (zh) 一种拍摄方法及相关设备
WO2024109246A1 (zh) 生成视频的策略确定方法和电子设备
US20230021016A1 (en) Hybrid object detector and tracker
WO2023160220A1 (zh) 一种图像处理方法和电子设备
WO2023160221A1 (zh) 一种图像处理方法和电子设备
KR20240068636A (ko) 전자 디바이스들을 위한 관심 영역 캡처