TW202309839A - 基於事件映射的相機設置調整 - Google Patents

基於事件映射的相機設置調整 Download PDF

Info

Publication number
TW202309839A
TW202309839A TW111128142A TW111128142A TW202309839A TW 202309839 A TW202309839 A TW 202309839A TW 111128142 A TW111128142 A TW 111128142A TW 111128142 A TW111128142 A TW 111128142A TW 202309839 A TW202309839 A TW 202309839A
Authority
TW
Taiwan
Prior art keywords
image
image capture
capture device
event
frame rate
Prior art date
Application number
TW111128142A
Other languages
English (en)
Inventor
威斯利詹姆士 侯蘭德
塞佛拉哈利特 歐古茲
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202309839A publication Critical patent/TW202309839A/zh

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/02Mountings, adjusting means, or light-tight connections, for optical elements for lenses
    • G02B7/04Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification
    • G02B7/09Mountings, adjusting means, or light-tight connections, for optical elements for lenses with mechanism for focusing or varying magnification adapted for automatic focusing or varying magnification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757Matching configurations of points or features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • G06V40/11Hand-related biometrics; Hand pose recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/31Acquisition or tracking of other signals for positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

提供了用於基於事件資料調整相機設置的系統、方法和非暫時性媒體。實例方法可以包括:經由行動設備的影像擷取設備獲得圖示環境的至少一部分的影像;決定從影像中提取的一或多個視覺特徵和與關鍵訊框相關聯的一或多個視覺特徵之間的匹配;及基於該匹配,調整影像擷取設備的一或多個設置。

Description

基於事件映射的相機設置調整
本案整體上係關於相機設置調整。例如,本案各態樣係關於基於事件映射的相機設置調整。
電子設備越來越多地配備有相機硬體來擷取影像及/或視訊以用於消費目的。例如,計算設備可以包括相機(例如,包括一或多個相機的諸如行動電話或智慧型電話的行動設備),以使得計算設備能夠擷取場景、人、物件等的視訊或影像。影像或視訊可由計算設備(例如,行動設備、IP相機、擴展現實設備、聯網設備等)擷取和處理,並儲存或輸出以用於消費目的(例如,顯示在該設備及/或另一設備上)。在一些情況下,影像或視訊可以被進一步處理以獲得某種效果(例如,壓縮、影像增強、影像復原、縮放、訊框率轉換等)及/或用於某些應用,諸如電腦視覺、擴展現實(例如,增強現實、虛擬實境等)、物件偵測、影像辨識(例如,臉孔辨識、物件辨識、場景辨識等)、特徵提取、身份驗證和自動化等。
在一些情況下,電子設備可以處理影像以偵測物件、面部及/或由影像擷取的任何其他項。物件偵測可用於各種應用,諸如例如身份驗證、自動化、姿勢辨識、監視、擴展現實、電腦視覺等。在一些實例中,電子設備可以實現持續地或週期性地操作以自動偵測環境中的某些物件的低功率或「永遠線上」(AON)相機。低功率相機可以用於各種使用情況,諸如例如持續姿勢偵測、持續物件(例如,面部/人、動物、車輛、設備、飛機等)偵測、持續物件掃瞄(例如,快速回應(QR)碼掃瞄、條碼掃瞄等)、用於身份驗證的持續臉孔辨識等。然而,低功率相機和其他相機設置的持續操作及/或更頻繁的操作可能導致總功耗較高。此外,實現這種低功率相機的行動設備可能會有電池壽命縮短的問題,固定設備可能需要更複雜的散熱設計及/或在長期使用期間表現出不可接受的低功率效率。因此,過高的功耗會對電子設備的使用、設備的效能和使用者體驗產生負面影響。
本文描述了用於基於事件映射的相機設置調整的系統和技術。根據至少一個實例,提供了一種用於基於事件資料調整相機設置的方法。該方法可以包括經由電子設備的影像擷取設備獲得圖示環境的至少一部分的影像;決定從影像中提取的一或多個視覺特徵和與同一或多個偵測事件相關聯的關鍵訊框相關聯的一或多個視覺特徵之間的匹配;及基於該匹配,調整影像擷取設備的一或多個設置。
根據至少一個實例,提供了一種用於基於事件資料調整相機設置的非暫時性電腦可讀取媒體。該非暫時性電腦可讀取媒體可以包括儲存在其上的指令,當由一或多個處理器執行時,該指令使得一或多個處理器經由電子設備的影像擷取設備獲得圖示環境的至少一部分的影像;決定從影像中提取的一或多個視覺特徵和與同一或多個偵測事件相關聯的關鍵訊框相關聯的一或多個視覺特徵之間的匹配;及基於該匹配,調整影像擷取設備的一或多個設置。
根據至少一個實例,提供了一種用於基於事件資料調整相機設置的裝置。該裝置可以包括記憶體和一或多個處理器,該一或多個處理器被配置為經由該裝置的影像擷取設備獲得圖示環境的至少一部分的影像;決定從影像中提取的一或多個視覺特徵和與同一或多個偵測事件相關聯的關鍵訊框相關聯的一或多個視覺特徵之間的匹配;及基於該匹配,調整影像擷取設備的一或多個設置。
根據至少一個實例,提供了另一種用於基於事件資料調整相機設置的裝置。該裝置可以包括用於經由該裝置的影像擷取設備獲得圖示環境的至少一部分的影像;決定從影像中提取的一或多個視覺特徵和與同一或多個偵測事件相關聯的關鍵訊框相關聯的一或多個視覺特徵之間的匹配;及基於該匹配,調整影像擷取設備的一或多個設置的部件。
在一些態樣,上述方法、非暫時性電腦可讀取媒體和裝置可以週期性地減少與電子設備處的事件資料中的關鍵訊框條目相關聯的偵測事件的相應計數,偵測事件的相應計數在事件資料中的所有關鍵訊框條目上成比例地減少。
在一些實例中,調整影像擷取設備的一或多個設置可以包括修改影像擷取設備的功率模式。在一些情況下,修改影像擷取設備的功率模式可以包括修改影像擷取設備的訊框率、影像擷取設備的解析度、影像擷取設備的圖元合併模式、影像擷取設備的成像模式以及由影像擷取設備和電子設備中的至少一個調用的影像感測器的數量中的至少一個。在一些實例中,修改影像擷取設備的功率模式可以包括基於決定環境中發生相關事件(event of interest)的可能性低於閾值,降低訊框率、解析度、圖元合併模式、成像模式和調用的影像感測器的數量中的至少一個。在一些實例中,修改影像擷取設備的功率模式可以包括基於決定環境中發生相關事件的可能性高於閾值,增加訊框率、解析度、圖元合併模式、成像模式和調用的影像感測器的數量中的至少一個。
在一些實例中,影像擷取設備可以包括第一影像擷取設備,並且上述方法、非暫時性電腦可讀取媒體和裝置可以包括:基於決定環境中發生相關事件的可能性高於閾值,增加電子設備的第二影像擷取設備的功率模式,其中第二影像擷取設備採用比第一影像擷取設備更高功率的模式、比第一影像擷取設備更高的訊框率、比第一影像擷取設備更高的解析度、比第一影像擷取設備更多數量的影像感測器、以及比與第一影像擷取設備相關聯的處理管道功率更高的處理管道中的至少一個。在一些實例中,增加第二影像擷取設備的功率模式可以包括初始化第二影像擷取設備。
在一些情況下,關鍵訊框包含在電子設備處的事件資料中,並且事件資料可以包含來自與影像擷取設備相關聯的偵測事件的多個關鍵訊框。在一些情況下,事件資料亦包含與多個關鍵訊框之每一者關鍵訊框相關聯的偵測事件的相應計數。
在一些態樣,上述方法、非暫時性電腦可讀取媒體和裝置可以包括基於匹配和多個關鍵訊框中的一或多個關鍵訊框來決定環境中發生相關事件的可能性。
在一些態樣,上述方法、非暫時性電腦可讀取媒體和裝置可以包括基於匹配和與關鍵訊框相關聯的偵測事件的相應計數來決定環境中發生相關事件的可能性。
在一些態樣,上述方法、非暫時性電腦可讀取媒體和裝置可以包括回應於決定從影像中提取的一或多個視覺特徵和與關鍵訊框相關聯的一或多個視覺特徵之間的匹配,增加事件資料中與關鍵訊框相關聯的偵測事件的相應計數。
在一些態樣,上述方法、非暫時性電腦可讀取媒體和裝置可以包括經由影像擷取設備獲得圖示不同環境的至少一部分的不同影像;決定從該不同影像提取的一或多個視覺特徵不匹配與電子設備處的事件資料中的任何關鍵訊框相關聯的視覺特徵;及在對應於不同影像的事件資料中建立新條目,該新條目是回應於決定從不同影像提取的一或多個視覺特徵不匹配與事件資料中的任何關鍵訊框相關聯的視覺特徵以及決定在不同影像中偵測到相關事件、自事件資料中的相應關鍵訊框的最後一次建立以來經過的時間、以及自事件資料中的特定關鍵訊框和由影像擷取設備擷取的特定影像之間的相應匹配最後一次被辨識出以來經過的時間中的至少一個而建立的。
在一些態樣,上述方法、非暫時性電腦可讀取媒體和裝置可以包括決定在不同影像中偵測到相關事件;基於決定在不同影像中偵測到相關事件,決定在不同環境中發生另外的相關事件的第二可能性;及基於在不同環境中發生另外的相關事件的第二可能性來調整影像擷取設備的至少一個設置。
在一些情況下,影像擷取設備的一或多個設置可以包括訊框率,並且上述方法、非暫時性電腦可讀取媒體和裝置可以包括基於偵測事件的預定訊框率和環境中相關事件發生的可能性來決定訊框率;及保持該訊框率,直到至少配置的時間段期滿或者決定由影像擷取設備擷取的不同影像與電子設備處的事件資料中的至少一個關鍵訊框之間的後續匹配。
在一些態樣,上述方法、非暫時性電腦可讀取媒體和裝置可以包括在配置的時間段期滿或決定後續匹配之後,將影像擷取設備的訊框率調整為不同訊框率。在一些實例中,不同訊框率可以包括預設訊框率或基於預定訊框率和偵測到與後續匹配相關聯的特定相關事件的第二可能性而決定的特定訊框率。
在一些實例中,預定訊框率可以包括影像擷取設備支援的最高訊框率,並且其中決定訊框率可以包括將預定訊框率乘以對應於環境中發生偵測事件的可能性的值。
在一些實例中,預定訊框率高於預設訊框率,並且上述方法、非暫時性電腦可讀取媒體和裝置可以包括回應於向電子設備處的事件資料添加一或多個關鍵訊框,將預設訊框率降低為較低訊框率。
在一些情況下,決定從影像中提取的一或多個視覺特徵和與關鍵訊框相關聯的一或多個視覺特徵之間的匹配亦可以包括將從影像中提取的一或多個視覺特徵中的至少一個和與關鍵訊框相關聯的一或多個視覺特徵進行比較以及將從影像中提取的一或多個視覺特徵的第一描述符和與關鍵訊框相關聯的一或多個視覺特徵的第二描述符進行比較。
在一些態樣,上述方法、非暫時性電腦可讀取媒體和裝置可以包括基於環境中發生相關事件的可能性,調整電子設備的主動深度發送器、音訊演算法、與全球導航衛星(GNSS)系統、無線定位區域網路連接和全球定位系統(GPS)中的至少一個相關聯的定位服務中的至少一個的一或多個不同設置。
在一些實例中,調整一或多個不同設置可以包括關閉或應用主動深度發送器、音訊演算法和定位服務中的至少一個。
在一些實例中,一或多個偵測事件可以包括對影像圖示的面部、影像圖示的手勢、影像圖示的情緒、影像圖示的場景、影像圖示的一或多個人、影像圖示的動物、影像圖示的機器可讀代碼、影像圖示的紅外光、影像圖示的二維表面以及影像圖示的本文中的至少一個的偵測。在一些情況下,關鍵訊框是電子設備處的事件資料的一部分,並且事件資料包括複數個關鍵訊框。
在一些態樣,上述方法、非暫時性電腦可讀取媒體和裝置可以包括基於匹配,決定環境中發生相關事件的可能性;及亦基於環境中發生相關事件的可能性來調整影像擷取設備的一或多個設置。
在一些態樣,上述方法、非暫時性電腦可讀取媒體和裝置可以包括亦基於來自電子設備的非影像擷取設備的資料來決定事件的可能性;或者亦基於來自電子設備的非影像擷取設備的資料來調整影像擷取設備的一或多個設置。
在一些態樣,上述每個裝置是行動設備、智慧或聯網設備、相機系統及/或擴展現實(XR)設備(例如,虛擬實境(VR)設備、增強現實(AR)設備或混合現實(MR)設備),或者可以是其一部分,或者可以包括這些設備。在一些實例中,這些裝置可以包括車輛、行動設備(例如,行動電話或所謂的「智慧型電話」或其他行動設備)、可穿戴設備、個人電腦、膝上型電腦、平板電腦、伺服器電腦、機器人設備或系統、航空系統或其他設備,或者是這些設備的一部分。在一些態樣,該裝置包括用於擷取一或多個影像的影像感測器(例如,相機)或多個影像感測器(例如,多個相機)。在一些態樣,該裝置包括用於顯示一或多個影像、通知及/或其他可顯示資料的一或多個顯示器。在一些態樣,該裝置包括一或多個揚聲器、一或多個發光設備及/或一或多個麥克風。在一些態樣,上述裝置可以包括一或多個感測器。在一些情況下,一或多個感測器可以用於決定裝置的位置、裝置的狀態(例如,追蹤狀態、操作狀態、溫度、濕度位準及/或其他狀態),及/或用於其他目的。
該發明內容不意欲決定所要求保護的主題的關鍵或必要特徵,亦不意欲孤立地用於決定所要求保護的主題的範疇。應該經由參考本專利的整個說明書、任何或所有附圖以及每個請求項的適當部分來理解該主題。
參考以下說明書、申請專利範圍和附圖,前述內容以及其他特徵和實施例將變得更加明顯。
下文提供了本案的某些態樣和實施例。這些態樣和實施例中的一些可以獨立應用,其中一些亦可以組合應用,這對於本發明所屬領域中具有通常知識者來說是顯而易見的。在以下描述中,出於說明的目的,闡述了具體細節,以便提供對本案的實施例的全面理解。然而,顯而易見的是,可以在沒有這些具體細節的情況下實施各種實施例。附圖和描述不是限制性的。
隨後的描述僅提供實例實施例,不意欲限制本案的範疇、適用性或配置。示例性實施例的隨後描述將為本發明所屬領域中具有通常知識者提供實現示例性實施例的描述。應當理解,在不脫離所附請求項中闡述的本案的精神和範疇的情況下,可以對元件的功能和佈置進行各種改變。
電子設備(例如,行動電話、可穿戴設備(例如,智慧手錶、智慧手環、智慧眼鏡等)、平板電腦、擴展現實(XR)設備(例如,虛擬實境(VR)設備、增強現實(AR)設備、混合現實(MR)設備等)、聯網設備、膝上型電腦等)可以經由相機來偵測及/或辨識相關事件。例如,電子設備可以應用能夠以低功率模式操作及/或能夠作為低功率相機(例如,低於相機及/或電子設備上的任何其他相機的容量)操作的相機,以依須求、持續或週期性地偵測及/或辨識相關事件。在一些實例中,低功率相機可以包括在降低的或較低的功率模式/消耗下操作的相機(例如,相對於同一相機及/或具有較高功率模式/消耗能力的另一相機的功率模式/消耗能力)。在一些情況下,低功率相機可以採用低功率設置(例如,低功率模式、低功率操作、低功率硬體、低功率相機管道等),從而使用與諸如主相機及/或主相機管道的其他相機及/或相機管道相比有限或減少的功率消耗持續成像。低功率相機採用的低功率設置可以包括,例如但不限於,低解析度、較低數量的影像感測器(及/或比電子設備上的其他影像傳感器具有更低功耗的影像感測器)、低訊框率、片上靜態隨機存取記憶體(SRAM)而不是比SRAM消耗更多功率的動態隨機存取記憶體(DRAM )、島電壓軌、用於鎖定源的振盪器(例如,而不是可能具有更高功率消耗的鎖相迴路(PLL)),及/或降低功耗的其他硬體/軟體部件/設置。
如前述,相機可用於偵測相關事件。相關實例事件可以包括姿勢(例如,手勢等)、動作(例如,由設備、人及/或動物發出)、一或多個物件的存在或出現等。與相關事件相關聯的物件可以包括及/或指,例如但不限於,面部、手、一或多個手指、人體的一部分、代碼(例如,快速回應(QR)碼、條碼等)、文件、場景或環境、連結、機器可讀代碼等。低功率相機可以應用用於偵測相關事件的低功率硬體及/或高能效的影像處理軟體。低功率相機可以保持開啟或「喚醒」以觀察場景中的運動及/或物件,並偵測場景中的事件,同時使用比諸如高功率/解析度相機的其他設備更少的電池功率。
例如,相機可以觀察場景中的運動及/或活動來發現物件。在一些實例中,如前述,與採用高功率設置的同一相機或另一相機相比,相機可以採用低功率設置來降低或限制功耗。舉例而言,XR設備可以應用週期性地發現XR控制器及/或其他被追蹤物件的相機,行動電話可以應用週期性地檢查要掃瞄的代碼(例如,QR碼)或文件的相機,智慧家庭助理可以應用週期性地檢查使用者是否存在的相機等。一旦發現物件,相機可以觸發一或多個動作,諸如例如物件偵測、物件辨識、身份驗證(例如,面部認證等)及/或影像處理任務,以及其他動作。在一些情況下,相機可以「喚醒」其他設備及/或部件,諸如其他相機、感測器、處理硬體等。
儘管採用低功率設置的相機的功耗與採用相對於低功率設置的高功率設置(例如,相對於低功率設置的較高解析度、相對於低功率設置的較高數量的影像感測器(及/或比設備上的其他影像傳感器具有較高功耗的影像感測器)、相對於低功率設置的較高訊框率、相對於片上SRAM的DRAM、相對於環形振盪器的PLL等)的同一相機或另一相機相比可以相對較低,但功耗會隨著相關事件的發生而增加。此外,在一些使用情況下,可能存在指示更高的訊框率、解析度、所使用的相機感測器數量等的時延物件及/或要求,這會進一步增加相機的功耗。例如,在一些情況下,當偵測QR碼時,相機可以使用高訊框率來更快地註冊QR碼並減少註冊時延。因此,隨著時間的推移,相機會消耗越來越多的功率,這會影響設備的整體功耗。在一些情況下,隨著假陽性偵測事件數量的增加,低功率相機會消耗越來越多不必要的功率。
相機更有可能在某些特定位置/環境中遇到某些特定相關事件。例如,XR設備的使用者可能一般皆在房子的某個特定房間玩增強現實遊戲。XR設備可以應用發現結合XR設備使用來玩虛擬實境遊戲的控制器的相機。因此,當XR設備在該房間中時,XR設備的相機可能消耗更多的功率,因為相機在該環境中遇到頻繁的偵測事件。作為另一個實例,當使用者從廚房訂購外賣時,通常會掃瞄餐館功能表上的QR碼。因此,當行動設備在廚房中時(例如,與行動設備在一或多個其他環境中時相比),由使用者的行動設備應用來發現QR碼的相機可能會有更高的功耗,因為相機在該環境中遇到更頻繁的偵測事件。
如前述,與其他環境相比,不同的環境可以觸發相機的更高或更低的功耗,並且在某些環境中可能具有更高或更低頻率的某些用例可以具有更高或更低的時延要求。這可能導致某些情況和環境下不必要的及/或過度的功耗,以及某些情況和環境下過度或不充分的效能/設備設置(例如,訊框率、解析度、感測器的使用數量和頻率等)。
本文描述了用於基於事件資料進行相機設置調整的系統、裝置、方法(亦稱為程序)和電腦可讀取媒體(本文統稱為「系統和技術」)。在一些實例中,相機可以應用偵測環境中的事件並將偵測到的事件與環境及/或與環境相關聯的位置相關聯的程序。該程序可以使用環境/位置和偵測到的事件的關聯來決定在某些環境/位置中相關事件的可能性。該程序可以使用可能性資訊來調整相機的設置以減少不必要的功耗及/或根據更可能/預期的時延要求來調整效能設置。例如,相機可以增加一或多個設置(例如,訊框率、解析度、調用的影像感測器的數量、功率模式等)以在相機處於相關偵測事件(例如,相關事件的偵測)發生的可能性較高的環境中時減少相機的時延。作為另一實例,相機可以降低一或多個設置(例如,訊框率、解析度、調用的影像感測器的數量、功率模式等)以在相機處於相關偵測事件發生的可能性較低的環境中時降低相機的功耗。
在一些態樣,具有相機的電子設備(例如,XR設備、行動設備、聯網設備、平板電腦、膝上型電腦、智慧可穿戴設備等)可以經由基於標識一或多個環境中相關事件的發生的事件資料(例如,將一或多個環境(及/或相關聯的區域/部分)與先前偵測到的相關事件相關聯的事件映射、分類映射、分類資料、一或多個關鍵訊框、從訊框中提取的特徵、事件統計、歷史資料等)來調整相機設置(例如,訊框率、解析度、調用的影像感測器數量、功率模式等),從而節省功率並提高相機效能。在一些實例中,為了產生用於調整相機設置的事件資料(例如,事件映射、提取的特徵、一或多個關鍵訊框、分類資料、事件統計等),電子設備可以應用特徵提取器,該特徵提取器從相機獲得的輸入訊框中適時提取視覺特徵。特徵提取器可以應用偵測器及/或演算法,諸如例如尺度不變特徵變換(SIFT)、加速穩健特徵(SURF)、定向 FAST 和旋轉 BRIEF(ORB)及/或任何其他偵測器/演算法。為了產生用於調整相機設置的事件資料(例如,事件映射、提取的特徵、分類資料等),電子設備亦可以應用關鍵訊框匹配器,該關鍵訊框匹配器將輸入相機訊框的特徵與事件資料中的關鍵訊框的特徵進行比較。
在一些實例中,事件資料中的關鍵訊框可以包括基於與偵測到的相關事件相關聯的相機訊框建立的關鍵訊框。電子設備可以實現映射器,該映射器決定是否建立與事件相關聯的新的關鍵訊框(或替換現有的關鍵訊框),並且在事件資料中記錄(或更新)與該關鍵訊框相關聯的事件計數。事件資料可以包括對應於已經觀察到相機事件的位置/環境的多個關鍵訊框,以及與這些關鍵訊框相關聯的事件計數。控制器可以使用該映射來基於輸入相機訊框和圖中的關鍵訊框之間的匹配調整一或多個相機設置(例如,訊框率、解析度、功率模式、圖元合併模式、成像模式、調用的影像感測器的數量等)。
在一些情況下,事件資料可以包括字典或資料結構,其具有包含關鍵訊框的視覺特徵和與每個關鍵訊框一致的相關相機事件的出現次數(及/或與關鍵訊框匹配的次數)的條目。例如,事件資料可以包括具有指示n個面部偵測事件(例如,n個先前面部偵測)與對應於關鍵訊框x的一或多個視覺特徵相關聯的條目的字典。經由對與同相關事件相關聯的特定環境及/或環境的區域/部分相關的關鍵訊框上的相關事件的計數求和,可以計算每個事件的總計數(例如,對於記錄的關鍵訊框)。事件的總計數可用於決定與該事件相關聯的給定關鍵訊框的該事件的先驗概率。例如,關鍵訊框x和y的偵測事件的總計數(例如, 相關事件的先前偵測)可用於決定一定百分比的偵測事件與關鍵訊框x相關聯,而一定百分比的偵測事件與關鍵訊框y相關聯。當相機處於與映射器中的關鍵訊框相關聯的環境中時,這些概率可用於調整相機的設置(例如,基於在該環境中擷取的相機訊框與映射器中與該環境相關聯的關鍵訊框之間的匹配)。
映射器可以基於一或多個因素來決定是否在映射中建立新條目。例如,在一些情況下,映射器可以根據當前訊框是否與映射中的現有關鍵訊框匹配、當前訊框中是否偵測到相關相機事件、自上一個關鍵訊框被建立以來經過的時間、自上一個關鍵訊框匹配以來經過的時間等來決定是否在映射中建立新條目。在一些情況下,映射器可以採用週期性剔除程序來消除事件可能性低的映射條目(例如,事件可能性等於或低於閾值的映射條目)。在一些實例中,週期性剔除程序可以基於諸如資源可用性(例如,可用記憶體等)的一或多個因素自我調整。例如,若設備上可用的儲存空間高於閾值,則即使存在一或多個具有相關事件的低可能性(例如,可能性等於或低於閾值)的映射條目,映射器亦可以不執行(或者可以跳過或延遲)剔除程序。作為另一個實例,若設備上可用的儲存空間低於閾值,則映射器可以執行剔除程序,並且移除一或多個映射條目,即使這些條目具有高於特定閾值的事件可能性,否則當可用儲存空間不低於閾值時,該事件可能性會導致映射器保持這些條目。
控制器可以基於當前(或最近在閾值時段內)匹配的關鍵訊框的相機事件先驗概率調整相機的一或多個設置(例如,訊框率、解析度、功率模式、調用的影像感測器的數量、圖元合併模式、成像模式等)。在一些實例中,控制器可以為每個相關相機事件結合可配置的訊框率。在一些實例中,每當映射器指示匹配的關鍵訊框時,控制器可以將相機的訊框率設置為等於可配置的訊框率乘以映射中匹配的關鍵訊框條目的先前概率的訊框率。在一些實例中,相機可以在可配置的時間段內保持該訊框率,或者直到下一個匹配的關鍵訊框。在一些情況下,當/若沒有當前(或最近在閾值時段內)匹配的關鍵訊框時,相機可以應用預設訊框率,諸如低訊框率,其可以導致在不太可能的偵測事件期間的低功耗。
電子設備(及/或電子設備上的相機)可以監視各種類型的事件(並應用本文描述的系統和技術)。偵測事件的非限制性實例可以包括面部偵測、場景偵測(例如,日落、文件掃瞄等)、人群偵測、動物/寵物偵測、代碼(例如,QR碼、條碼等)偵測、紅外LED偵測(例如,用六自由度(6DOF)運動追蹤器)、二維平面偵測、本文偵測、設備偵測(例如,控制器、螢幕、小工具、計算設備等)、姿勢偵測(例如,微笑偵測、情緒偵測、揮手、手指指向等)等。
在一些情況下,映射器可以採用週期性衰減正規化程序,經由該程序,事件計數在映射條目上按比例減少可配置的量。這可以保持計數值的數值界限,並允許在事件/關鍵訊框相關性改變時更快速地調整先驗。
在一些情況下,相機可以應用衰減的預設設置,諸如訊框率。例如,降低的訊框率可以與增加的事件偵測時延相關聯(例如,高訊框率可以導致低時延)。對於預設訊框率(例如,當沒有匹配的關鍵訊框時的訊框率),當映射包含較少數量(例如,低於閾值)的記錄事件時,控制器可以將相機的訊框率預設為低訊框率(例如,這可以導致高偵測時延)。對於這種情況,控制器可以應用預設訊框率,該預設訊框率開始較高,但是隨著更多的事件被添加到映射中而衰減(例如,隨著設備得知哪些位置/環境與相關事件最相關聯)。
在一些情況下,電子設備可以使用非相機事件來進行映射器決策。例如,電子設備可以使用非相機事件,諸如建立新的關鍵訊框、剔除/消除舊的關鍵訊框等。在一些情況下,控制器可以基於相機關鍵訊框及/或非相機事件來調整非相機工作負荷/資源。例如,控制器可以應用由相機關鍵訊框調整的音訊演算法(例如,波束形成等)及/或基於音訊的存在偵測。作為另一個實例,控制器可以應用定位服務(例如,全球導航衛星系統(GNSS)、Wi-Fi等)、應用資料(例如,來自電子設備上的一或多個應用的資料,諸如XR應用)、一或多個使用者輸入及/或由相機關鍵訊框及/或定位服務的使用調整的其他資料。
將參照附圖描述本案的各個態樣。
圖1是示出根據本案一些實例的用於映射事件並基於映射的事件控制電子設備100的一或多個部件及/或操作的電子設備100的實例的圖。在一些實例中,電子設備100可以包括被配置為提供一或多個功能的電子設備,這些功能諸如例如成像功能、擴展現實(XR)功能(例如,定位/追蹤、偵測、分類、映射、內容呈現等)、影像處理功能、設備管理及/或控制功能、遊戲功能、自動駕駛或導航功能、電腦視覺功能、機器人功能、自動化、電腦視覺等。
例如,在一些情況下,電子設備100可以是XR設備(例如,頭戴式顯示器、平視顯示裝置、智慧眼鏡等),其被配置為偵測、定位和映射XR設備的位置,提供XR功能,並如本文所述映射事件以控制XR設備的一或多個操作/狀態。在一些情況下,電子設備100可以實現一或多個應用,例如但不限於XR應用、用於管理及/或控制電子設備100的部件及/或操作的應用、智慧家居應用、視訊遊戲應用、設備控制應用、自動駕駛應用、導航應用、生產力應用、社交媒體應用、通訊應用、建模應用、媒體應用、電子商務應用、瀏覽器應用、設計應用、地圖應用及/或任何其他應用。
在圖1所示的說明性實例中,電子設備100可以包括一或多個影像感測器,諸如影像感測器102和104、音訊感測器106(例如,超聲波感測器、麥克風等)、慣性量測單元(IMU)108以及一或多個計算部件110。在一些情況下,電子設備100可以可選地包括一或多個其他/額外感測器,諸如例如但不限於雷達、光探測和測距(LIDAR)感測器、觸摸感測器、壓力感測器(例如,大氣壓力感測器及/或任何其他壓力感測器)、陀螺儀、加速度計、磁力計及/或任何其他感測器。在一些實例中,電子設備100可以包括額外部件,諸如例如發光二極體(LED)設備、存放裝置、快取記憶體、通訊介面、顯示器、存放裝置等。下文參考圖7進一步描述了可以由電子設備100實現的實例架構和實例硬體部件。
電子設備100可以是單個計算設備或多個計算設備的一部分,或者由單個計算設備或多個計算設備來實現。在一些實例中,電子設備100可以是諸如相機系統(例如,數碼相機、IP相機、攝影機、監視攝像頭等)、電話系統(例如,智慧型電話、蜂巢式電話、會議系統等)、膝上型或筆記型電腦、平板電腦、機上盒、智慧電視、顯示裝置、遊戲控制台、諸如HMD的XR設備、無人機、車輛中的電腦、IoT(物聯網)設備、智慧可穿戴設備或任何其他合適的電子設備的電子設備(或多個電子設備)的一部分。
在一些實現方式中,影像感測器102、影像感測器104、音訊感測器106、IMU 108及/或一或多個計算部件110可以是同一計算設備的一部分。例如,在一些情況下,影像感測器102、影像感測器104、音訊感測器106、IMU 108及/或一或多個計算部件110可以與相機系統、智慧型電話、筆記型電腦、平板電腦、智慧可穿戴設備、諸如HMD的XR設備、IoT設備、遊戲系統及/或任何其他計算設備整合在一起或整合在其中。在其他實現方式中,影像感測器102、影像感測器104、音訊感測器106、IMU 108及/或一或多個計算部件110可以是兩個或兩個以上獨立計算設備的一部分,或者由兩個或兩個以上獨立計算設備實現。
電子設備100的一或多個計算部件110可以包括,例如但不限於,中央處理單元(CPU)112、圖形處理單元(GPU) 114、數位訊號處理器(DSP)116及/或影像訊號處理器(ISP)118。在一些實例中,電子設備100可以包括其他處理器,諸如例如電腦視覺(CV)處理器、神經網路處理器(NNP)、特殊應用積體電路(ASIC)、現場可程式設計閘陣列(FPGA)等。電子設備100可以使用一或多個計算部件110來執行各種計算操作,諸如例如擴展現實操作(例如,追蹤、定位、物件偵測、分類、姿態估計、映射、內容錨定、內容呈現等)、設備控制操作、影像/視訊處理、圖形渲染、事件映射、機器學習、資料處理、建模、計算、電腦視覺及/或任何其他操作。
在一些情況下,一或多個計算部件110可以包括其他電子電路或硬體、電腦軟體、韌體或其任意組合,以執行本文描述的各種操作中的任意操作。在一些實例中,一或多個計算部件110可以包括比圖1所示更多或更少的計算部件。此外,CPU 112、GPU 114、DSP 116和ISP 118僅僅是出於說明目的而提供的計算部件的說明性實例。
影像感測器102及/或影像感測器104可以包括任何影像及/或視訊感測器或擷取裝置,諸如數碼相機感測器、攝影機感測器、智慧型電話相機感測器、電子裝置(諸如電視或電腦)上的影像/視訊擷取裝置、相機等。在一些情況下,影像感測器102及/或影像感測器104可以是相機或計算設備的一部分,諸如數碼相機、攝影機、IP相機、智慧型電話、智慧電視、遊戲系統等。此外,在一些情況下,影像感測器102和影像感測器104可以包括多個影像感測器,諸如後部和前部感測器設備,並且可以是雙相機或其他多相機部件(例如,包括兩個相機、三個相機、四個相機或其他數量的相機)的一部分。
在一些實例中,影像感測器102可以是相機的一部分,諸如應用或能夠應用如前述的低功率相機設置的相機,並且影像感測器104可以是相機的一部分,諸如應用或能夠應用高功率相機設置的相機(例如,與和影像感測器102相關聯的相機相比)。在一些實例中,與影像感測器102相關聯的相機可以應用用於偵測事件及/或處理擷取的影像資料的低功率硬體(例如,與和影像感測器104相關聯的相機相比)及/或更高能效的影像處理軟體(例如,與和影像感測器104相關聯的相機相比)。在一些情況下,相機可以應用比與影像感測器104相關聯的相機更低的功率設置及/或模式,諸如例如更低的訊框率、更低的解析度、更少數量的影像感測器、更低的功率模式、更低的功率成像模式等。在一些實例中,相機可以應用比高功率相機更少及/或更低功率的影像感測器,可以使用諸如片上靜態隨機存取記憶體(SRAM)而不是動態隨機存取記憶體(DRAM)的低功率記憶體,可以使用島電壓軌來減少洩漏,可以使用環形振盪器而不是鎖相迴路(PLL)作為時鐘源,及/或其他低功率處理硬體/部件。
在一些情況下,與影像感測器102及/或影像感測器104相關聯的相機可以保持開啟或「喚醒」以觀察場景中的運動及/或事件及/或偵測場景中的事件,同時使用比諸如高功率/解析度相機的其他設備更少的電池功率。舉例而言,與影像感測器102相關聯的相機可以持續地觀察或喚醒(例如,經由接近感測器或週期性地喚醒)以觀察場景中的運動及/或活動來發現場景中的物件。在一些情況下,一旦發現事件,相機可以觸發一或多個動作,例如物件偵測、物件辨識、面部認證、影像處理任務以及其他動作。在一些情況下,與影像感測器102及/或影像感測器104相關聯的相機亦可以「喚醒」其他設備,諸如其他感測器、處理硬體等。
在一些實例中,每個影像感測器102和104可以擷取影像資料並基於影像資料產生訊框,及/或將影像資料或訊框提供給一或多個計算部件110進行處理。訊框可以包括視訊序列的視訊訊框或靜止影像。訊框可以包括表示場景的圖元陣列。例如,訊框可以是每圖元具有紅色、綠色和藍色分量的紅綠藍(RGB)訊框;每圖元具有一個亮度分量和兩個色度(顏色)分量(色度-紅和色度-藍)的亮度、色度-紅、色度-藍(YCbCr)訊框;或者任何其他合適類型的彩色或單色圖片。
在一些實例中,一或多個計算部件110可以使用來自影像感測器102、影像感測器104、音訊感測器106、IMU 108及/或任何其他感測器及/或部件的資料來執行影像/視訊處理、事件映射、XR處理、設備管理/控制及/或本文描述的其他操作。例如,在一些情況下,一或多個計算部件110可以基於來自影像感測器102、影像感測器104、音訊感測器106、IMU 108及/或任何其他部件的資料來執行事件映射、設備控制/管理、追蹤、定位、物件偵測、物件分類、姿態估計、形狀估計、場景映射、內容錨定、內容呈現、影像處理、建模、內容產生、姿勢偵測、姿勢辨識及/或其他操作。在一些實例中,一或多個計算部件110可以使用來自影像感測器102、影像感測器104、音訊感測器106、IMU 108及/或任何其他部件的資料來產生事件資料(例如,將偵測到的事件與特定環境及/或環境的區域/部分相關聯的事件映射)並調整一或多個部件(諸如例如影像感測器102、影像感測器104、音訊感測器106、IMU 108、一或多個計算部件110及/或電子設備100的任何其他部件)的狀態(例如,功率模式、設置等)及/或操作。在一些實例中,一或多個計算部件110可以基於來自影像感測器102、影像感測器104、音訊感測器106、IMU 108及/或任何其他部件的資料來偵測和映射場景中的事件及/或控制電子設備100(及/或其一或多個部件)的操作/狀態。
在一些實例中,一或多個計算部件110可以應用一或多個軟體引擎及/或演算法,諸如例如特徵提取器120、關鍵訊框匹配器122、映射器124和控制器126,如本文所述。在一些情況下,一或多個計算部件110可以應用一或多個額外部件及/或演算法,諸如機器學習模型、電腦視覺演算法、神經網路及/或任何其他演算法及/或部件。
在一些實例中,特徵提取器120可以從由相機設備(諸如與影像感測器102相關聯的相機設備)獲得的一或多個訊框中提取視覺特徵。特徵提取器120可以應用偵測器及/或演算法來提取視覺特徵,諸如例如但不限於尺度不變特徵變換(SIFT)、加速穩健特徵(SURF)、定向 FAST 和旋轉 BRIEF(ORB)及/或任何其他偵測器/演算法。
在一些實例中,關鍵訊框匹配器122可以將由相機設備獲得的一或多個訊框的特徵(例如,由特徵提取器120提取的視覺特徵)與由映射器124產生的事件資料(例如,事件映射)中的關鍵訊框的特徵進行比較。在一些情況下,事件資料可以包括事件映射,該事件映射將偵測到的相關事件(及/或相關聯的資料,諸如關鍵訊框、提取的影像特徵、事件計數等)與其中發生(及/或偵測到)該偵測到的事件的一或多個特定環境(及/或特定環境的部分/區域)相關聯。在一些實例中,事件資料中的關鍵訊框可以包括基於與偵測到的相關事件相關聯的訊框而建立的關鍵訊框。映射器124可以決定是否建立與事件相關聯的新的關鍵訊框(或替換現有的關鍵訊框),並在事件資料中記錄(或更新)與該關鍵訊框相關聯的事件計數。事件資料可以包括對應於已經觀察到相關事件(例如,從相機設備獲得的一或多個訊框中偵測到的)的一或多個位置/環境的多個關鍵訊框以及與這些關鍵訊框相關聯的事件計數。控制器126可以基於來自相機設備的輸入訊框和事件資料中的關鍵訊框之間的匹配,使用事件資料來調整相機設備的一或多個設置(例如,訊框率、解析度、功率模式、調用的影像感測器的數量、圖元合併模式、成像模式等),例如,影像感測器102及/或一或多個其他硬體及/或軟體部件的一或多個設置。
在一些情況下,事件資料可以包括事件映射、分類資料、關鍵訊框資料、從訊框中提取的特徵、分類映射資料、事件統計及/或字典,該字典具有包含關鍵訊框的視覺特徵和與每個關鍵訊框一致的相關偵測事件的出現次數(及/或與關鍵訊框匹配的次數)的條目。例如,事件資料可以包括具有指示n個面部偵測事件與對應於關鍵訊框x的一或多個視覺特徵相關聯的條目的字典。在一些實例中,映射器124可以計算每個事件的計數(例如,對於記錄的關鍵訊框)。在一些情況下,計數可以包括在特定的時間段內相關事件發生的計數及/或平均值。在一些情況下,該計數可以包括相關事件發生的總計數。在一些實例中,映射器124可以基於與對應於事件的環境及/或環境的區域/部分相關聯的關鍵訊框上的相關事件的計數的總和來決定總計數。事件的計數可用於決定與該事件相關聯的給定關鍵訊框的該事件的先驗概率。例如,關鍵訊框x和y的偵測事件的計數(或者與關鍵訊框x和y匹配的數量)可以用於決定偵測事件的第一度量與關鍵訊框x相關聯,而偵測事件的第二度量與關鍵訊框y相關聯。
當相機設備處於與事件資料中的關鍵訊框相關聯的環境中時,控制器126可以使用該概率來調整相機設備(例如,與影像感測器102相關聯的相機設備)的一或多個設置(例如,基於在該環境中擷取的訊框和事件資料中與該環境相關聯的關鍵訊框之間的匹配)。在一些情況下,當電子設備100處於或不處於與事件資料中的關鍵訊框相關聯的環境中時,控制器126可以替代地或補充地使用該概率來調整電子設備100的其他部件(諸如另一個相機設備(例如,與影像感測器104相關聯的相機設備、採用及/或能夠採用比與影像感測器102相關聯的相機設備更高功率的相機設置的相機設備等)、處理部件及/或管道等)的一或多個設置。
映射器124可以基於一或多個因素來決定是否在事件資料中建立新條目。例如,在一些情況下,映射器124可以根據由相機設備(例如,與影像感測器102相關聯的相機設備)擷取的當前訊框是否匹配事件資料中的現有關鍵訊框、在當前訊框中是否偵測到相關相機事件、自上一個關鍵訊框被建立以來經過的時間、自上一個關鍵訊框匹配以來經過的時間等來決定是否在事件資料中建立新條目。在一些情況下,映射器124可以採用週期性剔除程序來消除事件可能性較低的映射條目(例如,可能性的概率值等於或低於閾值)。
在一些實例中,控制器126可以調整相機設備(例如,與影像感測器102相關聯的相機設備)的一或多個設置,諸如例如但不限於,增加或減少訊框率、解析度、功率模式、成像模式、被調用來擷取與相關事件相關聯的一或多個影像的影像感測器的數量、用於處理擷取的影像及/或偵測擷取的影像中的事件的處理動作及/或處理管道等。例如,在一些情況下,電子設備100在統計上更有可能在某些環境中遇到某些相關事件。在一些情況下,當電子設備100位於電子設備100遇到相關事件的可能性較低的環境中時,為了避免不必要的功率消耗,控制器126可以關閉相機設備或者調整相機設備的一或多個設置,以減少當電子設備100處於與遇到相關事件的可能性較低相關聯的環境中時相機設備的功率使用。當電子設備100位於電子設備100遇到相關事件的可能性較高的環境中時,控制器126可以開啟相機設備或調整相機設備的一或多個設置,以增加當電子設備100處於與遇到相關事件的可能性較高相關聯的環境中時相機設備的功率使用及/或效能。
在一些情況下,控制器126可以基於當前(或最近在閾值時段內)匹配的關鍵訊框的相機事件先驗概率來調整相機設備(例如,影像感測器102、影像感測器104)的一或多個設置。在一些實例中,控制器126可以為每個相關相機事件結合可配置的訊框率。在一些實例中,當映射器124指示匹配的關鍵訊框時,控制器126可以將相機設備的訊框率設置為等於可配置訊框率乘以事件資料中匹配的關鍵訊框條目的先驗概率的訊框率。在一些實例中,相機設備可以在可配置的時間段內保持該訊框率,或者直到下一個匹配的關鍵訊框。在一些情況下,當/若沒有當前(或最近在閾值時段內)匹配的關鍵訊框時,相機設備可以應用預設訊框率,諸如在不太可能的偵測事件期間導致低功耗的低訊框率。
在一些實例中,電子設備100(及/或電子設備100上的控制器126)可以監視各種類型的事件(並應用本文描述的技術)。偵測事件的非限制性實例可以包括面部偵測、場景偵測(例如,日落、房間等)、人群偵測、動物/寵物偵測、代碼(例如,QR碼等)偵測、文件偵測、紅外LED偵測(例如,用六自由度(6DOF)運動追蹤器)、平面偵測、本文偵測、設備偵測(例如,控制器、螢幕、小工具等)、姿勢偵測(例如,微笑偵測、情緒偵測、揮手等)等。
在一些情況下,映射器124可以採用週期性衰減正規化程序,經由該程序,事件計數在映射條目上減少可配置的量。這可以保持計數值的數值界限,並允許在事件/關鍵訊框相關性改變時更快速地調整先驗。
在一些情況下,相機設備(例如,影像感測器102)可以應用衰減的預設設置,諸如訊框率。例如,降低的訊框率可以與增加的事件偵測時延相關聯(例如,高訊框率可以導致低時延)。對於預設訊框率(例如,當沒有匹配的關鍵訊框時的訊框率),當事件資料包含較少數量(例如,低於閾值)的記錄事件時,控制器126可以將相機設備的訊框率預設為低訊框率(例如,這會導致高偵測時延)。對於這種情況,控制器126可以應用預設訊框率,該預設訊框率開始時處於閾值位準,但是隨著更多的事件被添加到事件資料中而衰減(例如,隨著電子設備得知哪些位置/環境與相關事件最相關聯)。
在一些情況下,映射器124可以使用非相機事件來進行映射器決策。例如,映射器124可以使用非相機事件,諸如新關鍵訊框的建立、舊關鍵訊框的剔除/消除等。在一些情況下,控制器126可以基於關鍵訊框及/或非相機事件來調整非相機工作負荷/資源。例如,控制器126可以應用由相機設備關鍵訊框調整的一或多個音訊演算法(例如,波束成形等)及/或基於音訊的存在偵測。作為另一個實例,控制器126可以應用由相機設備關鍵訊框及/或定位服務的使用調整的定位服務(例如,全球導航衛星系統(GNSS)、Wi-Fi等)、應用資料、使用者輸入及/或其他資料。
在一些情況下,IMU 108可以偵測電子設備100的加速度、角速度及/或方向,並基於偵測到的加速度產生量測值。在一些情況下,IMU 108可以偵測和量測電子設備100的方向、線速度及/或角速度。例如,IMU 108可以量測電子設備100的運動及/或俯仰、滾動和偏航。在一些實例中,電子設備100可以使用由IMU 108獲得的量測值及/或來自影像感測器102、影像感測器104、音訊感測器106等中的一或多個的資料來計算電子設備100在3D空間內的姿態。在一些情況下,電子設備100可以補充地或替代地使用來自影像感測器102、影像感測器104、音訊感測器106及/或任何其他感測器的感測器資料來執行追蹤、姿態估計、映射、產生事件資料項目及/或本文所述的其他操作。
圖1中示出的關於電子設備100的部件是出於說明目的而提供的說明性實例。在其他實例中,電子設備100可以包括比圖1所示更多或更少的部件。儘管電子設備100被示為包括某些部件,但是本發明所屬領域中具有通常知識者將會理解,電子設備100可以包括比圖1所示更多或更少的部件。例如,在一些情況下,電子設備100可以包括一或多個記憶體設備(例如,RAM、ROM、緩存等)、一或多個網路介面(例如,有線及/或無線通訊介面等)、一或多個顯示裝置、緩存、存放裝置及/或圖1中未圖示的其他硬體或處理設備。以下參考圖7描述了可以用電子設備100實現的計算設備及/或硬體部件的說明性實例。
圖2A是示出用於映射與環境相關聯的事件並基於映射的事件控制相機設備的設置(例如,功率狀態、操作、參數等)的實例系統程序200的圖。在該實例中,影像感測器102可以擷取影像感測器102所處的環境中的場景及/或事件的訊框210。在一些實例中,影像感測器102可以監視環境及/或尋找環境中相關事件,以擷取環境中任何相關事件的訊框。相關事件可以包括,例如但不限於,姿勢(例如,手勢等)、情緒(例如,微笑等)、活動或動作(例如,由人、設備、動物等發出)、物件的出現或存在等。與相關事件相關聯的物件可以包括、表示及/或代表例如但不限於面部、場景(例如,日落、公園、房間等)、人、人群、動物、文件、物件(例如,設備、文件、顯示器、諸如門或牆的結構、標誌等)上的代碼(例如,QR碼、條碼等)、光、圖案、物件上的連結、實體空間中的平面(例如,表面上的平面等)、本文、紅外(IR)發光二極體(LED)偵測及/或任何其他物件。
電子設備100可以使用影像處理模組212來對訊框210執行一或多個影像處理操作。在一些實例中,一或多個影像處理操作可以包括物件偵測,以基於訊框210偵測一或多個相機事件偵測觸發器214。例如,影像處理模組212可以從訊框中提取特徵,並將提取的特徵用於物件偵測。影像處理模組212可以基於提取的特徵來偵測一或多個相機事件偵測觸發器214。一或多個相機事件偵測觸發器214可以包括如前述的一或多個相關事件。在一些實例中,一或多個影像處理操作可以包括與影像感測器102相關聯的相機處理管道。在一些情況下,一或多個影像處理操作可以偵測及/或辨識一或多個相機事件偵測觸發器214。影像處理模組212可以向電子設備100上的特徵提取器120、映射器124、控制器126及/或應用204提供一或多個相機事件偵測觸發器214。特徵提取器120、映射器124、控制器126及/或應用204可以使用一或多個相機事件偵測觸發器214來執行本文描述的一或多個動作,諸如應用操作、相機設置調整、物件偵測、物件辨識等。例如,一或多個相機事件偵測觸發器214可以被配置為觸發特徵提取器120、映射器124、控制器126及/或應用204的一或多個動作,如本文所解釋的。
在一些實例中,應用204可以包括電子設備100上可以使用關於在環境中偵測到的事件的資訊的任何應用。例如,應用204可以包括身份驗證應用(例如,面部認證應用等)、XR應用、導航應用、訂購或購買物品的應用、視訊遊戲應用、攝影應用、設備管理應用、網路應用、通訊應用(例如,訊息應用、視訊及/或語音應用等)、媒體播放應用、社交媒體網路應用、瀏覽器應用、掃瞄應用等。應用204可以使用一或多個相機事件偵測觸發器214來執行一或多個動作。例如,若應用204是XR應用,則應用204可以使用一或多個相機事件偵測觸發器214來發現供應用204使用的環境中的事件,例如設備(例如,控制器或其他輸入設備等)、手、邊界、人等。作為另一實例,應用204可以使用一或多個相機事件偵測觸發器214來掃瞄文件、連結或代碼,並基於該文件、連結或代碼執行動作。作為又一實例,若應用204是智慧家居助理應用,則應用204可以使用一或多個相機事件偵測觸發器214來決定人及/或物件是否存在,以觸發智慧家居設備操作/動作。
此外,特徵提取器120可以分析訊框210以提取訊框210中的視覺特徵。在一些實例中,特徵提取器120可以執行物件辨識以提取訊框210中的視覺特徵,並對與所提取的特徵相關聯的事件進行分類。在一些情況下,特徵提取器120可以應用演算法以從訊框210中提取視覺特徵,並決定所提取特徵的描述符。特徵提取器/偵測器演算法的非限制性實例可以包括SIFT、SURF、ORB等。
特徵提取器120可以向關鍵訊框匹配器122和映射器124提供從訊框210提取的特徵和相關聯的描述符。相關聯的描述符可以辨識及/或描述從訊框210中提取的特徵及/或從提取的特徵中偵測到的事件。在一些實例中,相關聯的描述符可以包括標籤、標記、辨識符及/或任何其他描述符。
關鍵訊框匹配器122可以使用來自特徵提取器120的特徵及/或描述符來決定電子設備100是否位於先前已經偵測到相關事件的環境(或者環境內的區域/位置)中(或者決定電子設備100位於此處的可能性)。在一些實例中,關鍵訊框匹配器122可以使用包含關鍵訊框的事件資料202來決定電子設備100是否位於先前已經偵測到相關事件的環境(或者環境內的區域/位置)中(或者決定電子設備100位於此處的可能性)。在一些實例中,事件資料202可以包括對應於擷取偵測到的相關事件的訊框的關鍵訊框。在一些情況下,事件資料202可以包括與已經觀察到相關事件的位置/環境相對應的多個關鍵訊框(例如,從影像感測器102或影像感測器104獲得的一或多個訊框中偵測到的)以及與這些關鍵訊框相關聯的事件計數。
在一些情況下,事件資料202可以包括事件映射、事件條目、分類資料、一或多個關鍵訊框、分類映射、事件統計、提取的特徵、特徵描述符及/或任何其他資料。在一些實例中,事件資料202可以包括字典,該字典具有包含關鍵訊框的視覺特徵和與每個關鍵訊框一致的所偵測到的相關事件的出現次數(例如,事件計數)(及/或與關鍵訊框匹配的次數)的條目。例如,事件資料202可以包括具有指示n個QR碼偵測事件(例如,n個QR碼的先前偵測)與對應於關鍵訊框x的一或多個視覺特徵相關聯的條目的字典。在一些情況下,關鍵訊框匹配器122可以採用週期性衰減正規化程序,經由該程序,事件計數在一或多個事件資料項目上減少可配置的量。例如,關鍵訊框匹配器122可以採用週期性衰減正規化程序,經由該程序,事件計數在所有事件資料項目上減少可配置的量。這可以保持計數值的數值界限,並允許在事件/關鍵訊框相關性改變時更快速地調整先驗。
在一些實例中,關鍵訊框匹配器122可以將從訊框210提取的特徵與事件資料202中的關鍵訊框的特徵進行比較。在一些實例中,關鍵訊框匹配器122可以將從訊框210提取的特徵的描述符與事件資料202中的關鍵訊框的特徵的描述符進行比較。由於事件資料202中的關鍵訊框對應於先前已經偵測到相關事件的環境或環境中的位置,所以從訊框210提取的特徵(及/或相關聯的描述符)與事件資料202中的關鍵訊框的特徵(及/或相關聯的描述符)之間的匹配可以指示電子設備100位於先前已經偵測到相關事件的環境或環境中的位置(或電子設備100位於此處的可能性)。在一些實例中,關鍵訊框匹配器122可以基於從訊框210提取的特徵和事件資料202中的特徵關鍵訊框之間的匹配,將訊框210及/或從訊框210提取的特徵與特定環境(及/或特定環境內的位置/區域)相關聯。這種相關性可以指示電子設備100位於特定環境(及/或特定環境中的位置/區域)中。關於電子設備100位於先前已經偵測到相關事件的環境中或該環境中的位置的資訊可以用於決定當電子設備100位於該環境中或該環境中的位置時將再次偵測到相關事件的可能性。
例如,在一些情況下,相關事件將在環境中被觀察/偵測到的可能性可以增加或減少,這取決於相關事件先前是否已經在該環境中被觀察/偵測到及/或相關事件先前已經在該環境中被觀察/偵測到的次數。舉例而言,比起決定先前在特定房間中沒有觀察到/偵測到相關事件,決定在該特定房間中頻繁觀察到/偵測到相關事件可能表明當電子設備100在該特定房間中時相關事件將被再次觀察到/偵測到的可能性更高。因此,對電子設備100位於先前已經偵測到相關事件的環境中或環境中的位置的決定可以用於決定當電子設備100位於該環境中或環境中的位置時相關事件將被再次偵測到的可能性。如前述,在一些實例中,可以基於從訊框210提取的特徵和事件資料中與特定環境或位置相關的一或多個關鍵訊框的特徵之間的匹配,來決定電子設備100位於先前已經偵測到相關事件的環境或位置中。
如本文進一步描述的,當電子設備100位於環境中或環境中的位置時將再次偵測到相關事件的可能性可以用於控制設備及/或處理設置(例如,功率模式、操作、設備配置、處理配置、處理管道等),以在電子設備100位於與事件偵測的較低可能性相關聯的環境(或其位置)中時降低功耗並節省更多功率。類似地,當電子設備100位於環境中或環境中的位置時相關事件將被再次偵測到的可能性可以用於控制設備及/或處理設置,以在電子設備100位於與事件偵測的更高可能性相關聯的環境(或其位置)中時提高電子設備100的效能及/或操作狀態,諸如提高事件偵測效能、成像及/或影像處理效能(例如,影像/成像品質、解析度、縮放、訊框率等)等。
關鍵訊框匹配器122可以向映射器124提供從訊框210提取的特徵和事件資料202中的關鍵訊框的特徵的比較結果。例如,關鍵訊框匹配器122可以向映射器124提供從訊框210提取的特徵匹配事件資料202中的關鍵訊框的特徵或者不匹配事件資料202中的任何關鍵訊框的特徵的指示。映射器124可以使用來自關鍵訊框匹配器122的資訊來決定是否建立與事件相關聯的新關鍵訊框(或替換現有關鍵訊框),並記錄(或更新)與該關鍵訊框相關聯的事件計數。例如,若從訊框210提取的特徵匹配事件資料202中的關鍵訊框的特徵,則映射器124可以增加與事件資料202中的關鍵訊框相關聯的偵測到的事件的計數。在一些實例中,映射器124可以用與該關鍵訊框相關聯的偵測到的事件的計數來記錄或更新條目。
在一些情況下,若從訊框210提取的特徵與事件資料202中的任何關鍵訊框的特徵不匹配,則映射器124可以在事件資料202中建立新的關鍵訊框,其(例如,新的關鍵訊框)可以對應於訊框210。例如,如前述,電子設備100先前基於訊框210偵測到(例如,經由影像處理模組212)一或多個相機事件偵測觸發器214,這可以指示在訊框210中已經偵測到相關事件。因此,若從訊框210提取的特徵不匹配事件資料202中任何關鍵訊框的特徵,則映射器124可以在事件資料202中添加對應於訊框210的新關鍵訊框。新關鍵訊框可以將來自訊框210的特徵與偵測到的相關事件及/或相關聯的環境(及/或其位置)相關聯。映射器124可以在事件資料202中包括與新關鍵訊框相關聯的事件偵測計數,並且可以在新訊框(或其特徵)匹配與新關鍵訊框相關聯的特徵的任何時候增加該計數。
映射器124可以使用與對應於訊框210的關鍵訊框(例如,新關鍵訊框或現有關鍵訊框)相關聯的偵測到的事件的計數以及與訊框210相關聯的特徵,來決定或更新與該關鍵訊框相關聯的事件先驗概率216。例如,在一些情況下,映射器124可以使用與對應於訊框210的關鍵訊框相關聯的事件的總計數及/或平均計數、相關聯的環境及/或與訊框210相關聯的特徵,來決定或更新與該關鍵訊框相關聯的事件先驗概率216。事件先驗概率216可以包括表示在與訊框210及/或訊框210的特徵相關聯的環境或環境中的位置中偵測到相關事件的估計可能性/概率的值。例如,若訊框210是從特定房間擷取的,並且訊框210中的視覺特徵對應於該特定房間或該特定房間中的區域/物件,則事件先驗概率216可以指示當電子設備100在該特定房間中(及/或在特定房間的區域中)及/或當在特定房間(或特定房間的區域)中擷取的訊框中的視覺特徵與事件資料202中與該特定房間及/或特定房間中的區域/物件相關聯的關鍵訊框中的視覺特徵相匹配時,偵測到相關事件的估計可能性。
在一些實例中,事件先驗概率216可以至少部分地基於為與事件先驗概率216相關聯的關鍵訊框記錄的相關偵測事件的計數。在一些情況下,與關鍵訊框相關聯的事件先驗概率216中的可然性/概率值可以隨著與該關鍵訊框相關聯的偵測到的相關事件的計數增加而增加。在一些情況下,事件先驗概率216中的可然性/概率值可以亦基於一或多個其他因素,例如,與關鍵訊框相關聯的偵測到的相關事件之間的時間量、自與關鍵訊框相關聯的最後偵測到的相關事件及/或與關鍵訊框相關聯的最後n個偵測到的相關事件以來的時間量、與關鍵訊框相關聯的偵測到的相關事件的類型及/或特徵、在與關鍵訊框相關聯的環境中擷取的產生肯定偵測結果的訊框的數量相對於在該環境中擷取的產生否定偵測結果的訊框的數量、與關鍵訊框相關聯的環境的一或多個特徵(例如,環境的大小、環境中潛在相關事件的數量或密度、在環境中執行的共同活動等)、電子設備100在與關鍵訊框相關聯的環境中的使用頻率(及/或使用時間量)(例如,較高的使用率和較低的肯定偵測結果可用於降低可能性/概率值,反之亦然)及/或任何其他因素。
例如,在與關鍵訊框相關聯的環境中偵測到的相關事件之間的時間的增加或減少可以用於增加或減少事件先驗概率216中的可能性/概率值。作為另一個實例,在已經產生肯定偵測的環境中擷取的訊框的數量相對於在已經產生否定偵測結果的環境中擷取的訊框的數量的增加或減少可以用於增加或減少事件先驗概率216中的可能性/概率值。作為又一實例,相對於電子設備100在環境中的使用量,在該環境中偵測到的相關事件的數量可用於降低或增加事件先驗概率216中的可能性/概率值(例如,與較少使用且偵測到的相關事件較多或相同數量的相關事件相比,較多使用且偵測到的相關事件較少可導致較低的可能性/概率值)。
映射器124可以向控制器126提供與匹配的關鍵訊框相關聯的事件先驗概率216。控制器126可以使用事件先驗概率216來控制/調整與影像感測器102相關聯的一或多個設置及/或與影像感測器102相關聯的影像處理。例如,當事件先驗概率216指示在電子設備100的當前環境中相關事件的可能性/概率較低時,控制器126可以使用事件先驗概率216來調整一或多個設置以降低電子設備100的功耗,或者當事件先驗概率216指示在電子設備100的當前環境中相關事件的可能性/概率較高時,調整一或多個設置以提高電子設備100的效能及/或處理能力(例如,影像感測器102的效能)。
舉例而言,當事件先驗概率216指示在電子設備100的當前環境中相關事件的可能性/概率較高時,控制器126可以增加訊框率、解析度、比例因數、影像穩定性、功率模式及/或與影像感測器102相關聯的其他設置;調用更多的影像感測器;應用與更高的效能、複雜度、功能及/或處理能力相關聯的影像處理管道及/或操作;調用或初始化更高功率的或主相機設備(例如,影像感測器104);打開主動深度發送器系統,諸如結構光系統或泛光照明器、用於深度和立體應用的雙相機系統或飛行時間相機部件等。
另一態樣,當事件先驗概率216指示在電子設備100的當前環境中相關事件的可能性/概率較低時,控制器126可以關閉影像感測器102;降低訊框率、解析度、比例因數、影像穩定性及/或與影像感測器102相關聯的其他設置;調用較少數量的影像感測器;應用與較低功耗、效能、複雜度、功能及/或處理能力相關聯的影像處理管道及/或操作;關閉主動深度發送器系統,諸如結構光系統或泛光照明器、雙相機系統、飛行時間相機部件等。這樣,控制器126可以基於電子設備100的當前環境中相關事件的出現/發生的可能性/概率來提升電子設備100和相關部件的節能性、效能及/或能力。
在一些情況下,控制器126亦可以基於事件先驗概率216(例如,基於相關事件在電子設備100的當前環境中出現/發生的可能性/概率)來調整非相機設置220。例如,控制器126可以(例如,基於相關事件在電子設備100的當前環境中出現/發生的可能性/概率)開啟/關閉、增加/降低功率模式、及/或增加/降低一或多個部件、演算法、服務等的處理能力及/或複雜度,諸如音訊演算法(例如,波束成形等)、定位服務(例如,GNSS或GPS、WIFI等)、追蹤演算法、音訊設備(例如,音訊感測器106)、非相機工作負載、額外處理器等。
在一些情況下,電子設備100亦可以利用非相機事件來映射與環境相關聯的事件,並基於映射的事件控制設備設置(例如,功率狀態、操作、參數等)。例如,參考圖2B,電子設備100可以使用來自非相機感測器232的資料234來更新事件資料202(例如,添加新的關鍵訊框和相關聯的偵測計數,更新現有的關鍵訊框及/或偵測計數,移除現有的關鍵訊框及/或偵測計數)及/或計算匹配的關鍵訊框的事件先驗概率236。
非相機感測器232可以包括,例如但不限於,音訊感測器(例如,音訊感測器106)、IMU(例如,IMU 108)、雷達、GNSS或GPS感測器/接收器、無線接收器(例如,WIFI、蜂巢等)等。來自非相機感測器232的資料234可以包括,例如但不限於,關於電子設備100的位置、電子設備100和一或多個物件之間的距離、環境中一或多個物件的位置、電子設備100的移動、環境中擷取的聲音、一或多個事件的時間等的資訊。
在一些實例中,來自非相機感測器232的資料234可用於補充與事件資料202的更新(例如,關鍵訊框及/或相關聯的資料)相關聯的資料。例如,來自非相機感測器232的資料234可用於添加與事件資料202中添加、更新或移除的關鍵訊框相關聯的事件的時間戳記;指示與關鍵訊框相關聯的偵測到的事件的位置;指示在偵測到的事件之前、期間及/或之後電子設備100的位置;指示在偵測到的事件期間電子設備100的移動;指示電子設備100接近偵測到的事件;指示與偵測到的事件及/或環境相關聯的音訊特徵;指示環境的一或多個特徵(例如,位置、幾何形狀、配置、活動、物件等)等。映射器124可以結合與事件資料202中的關鍵訊框相關聯的特徵/描述符及/或計數來使用資料234,以説明決定匹配關鍵訊框的事件先驗概率236中的可能性/概率值;提供關於環境、電子設備100及/或與匹配的關鍵訊框相關聯的偵測到的事件的更詳細的資訊(例如,位置、活動、移動、時間等);剔除/消除舊的關鍵訊框;決定是否對事件資料202進行添加、更新或移除關鍵訊框(及/或相關資訊);驗證偵測到的事件等。
在一些情況下,控制器126亦可以使用來自非相機感測器232的資料234來決定如何調整或調整什麼設置,如前述。例如,控制器126可以結合事件先驗概率236使用資料234來決定要調整影像感測器102的什麼設置(及/或如何調整)、要調整來自電子設備100上的一或多個其他設備的什麼設置(及/或如何調整)、要調整非相機設置220中的哪些設置(及/或如何調整)等。例如,如前述,在一些情況下,當事件先驗概率指示相關事件在電子設備100的當前環境中發生的可能性較高時,控制器126可以增加影像感測器102的訊框率及/或啟動具有較高訊框率能力的更高功率的或主相機設備(例如,與和影像感測器102相關聯的相機設備相比)。在該實例中,若資料234指示與匹配的關鍵訊框的偵測到的事件及/或電子設備100相關聯的閾值運動量,則與資料234指示運動量低於閾值的情況相比,控制器126可以增加影像感測器102及/或更高功率的或主相機設備的訊框率。
作為另一實例,若資料234指示電子設備100正在接近先前相關事件的位置附近的環境中的位置,則控制器126可以在電子設備100到達先前相關事件的位置之前,啟動更高功率的或主相機設備(例如,與和影像感測器102相關聯的相機設備相比具有更高功率能力/設置的相機設備)及/或增加影像感測器102的設置。類似地,若資料234指示電子設備100正遠離環境,則控制器126可以調整一或多個設置(例如,關閉影像感測器102或另一個設備,降低影像感測器102或另一個設備的功率模式,降低處理複雜度及/或功耗等),以降低電子設備100的功耗,即使相關事件被決定為在環境中發生的可能性/概率較高(例如,基於事件先驗概率)。作為又一實例,若事件先驗概率指示相關事件在電子設備100的環境中發生的可能性較高,並且資料234指示電子設備100及/或環境中的一或多個物件的運動的閾值量,則控制器126可以啟動影像穩定設置/操作,及/或提升其複雜性/效能,以確保擷取環境中的相關事件的任何訊框的影像穩定性。
圖3A是示出用於更新事件資料(例如,事件資料202)的實例程序300的圖。在該實例中,在方塊302處,電子設備100可以從由電子設備100的相機設備(例如,與影像感測器102相關聯的相機設備、與影像感測器104相關聯的相機設備)擷取的訊框中提取特徵。
在方塊304處,電子設備100可以基於提取的特徵來決定是否在訊框中偵測到相關事件。在方塊306處,若在該訊框中沒有偵測到相關事件,則電子設備100不向事件資料添加新的關鍵訊框。若在訊框中偵測到相關事件,則在方塊308處,電子設備100可以可選地決定自電子設備100建立關鍵訊框(例如,將其添加到事件資料)以來計時器是否已經到期,及/或在方塊312處,電子設備100可以決定是否已經辨識出事件資料中的關鍵訊框與從訊框中提取的視覺特徵之間的匹配。
計時器可以是可程式設計的。在一些情況下,可以基於一或多個因素來決定計時器(例如,被配置為觸發計時器到期的時間量),這些因素諸如例如是與電子設備100相關聯的使用歷史及/或模式、偵測事件的模式(例如,與一或多個相關事件的先前偵測相關聯的模式)、被配置為觸發偵測事件(例如,觸發相關事件的偵測)的相關事件的類型、一或多個環境的一或多個特徵等。在一些實例中,計時器可以被設置為防止建立大量的關鍵訊框及/或防止過於頻繁地建立關鍵訊框。
例如,假設電子設備100在擷取來自廚房冰箱上的餐廳功能表的QR碼的訊框中偵測到QR碼,並建立與在冰箱上的餐廳菜單中偵測到的QR碼相關聯的關鍵訊框。QR碼的偵測和關鍵訊框的建立可以指示電子設備100與QR碼在同一房間(例如,廚房)中,並且可能在該同一房間中至少一段時間。在該實例中,當電子設備100可能停留在該環境中時,計時器可以防止電子設備100建立與該環境相關聯的事件的額外關鍵訊框。因此,計時器可以減少在一段時間內建立的關鍵訊框的總量、在該段時間內建立額外關鍵訊框的功耗以及在該段時間內建立額外關鍵訊框的資源使用。
若計時器沒有到期,則程序300可以返回到方塊306,在方塊306中,電子設備100決定不向事件資料添加新的關鍵訊框。若計時器已經到期,在方塊310處,電子設備100可以重啟或重置計時器。在方塊312處,電子設備100可以決定在方塊302從訊框提取的特徵是否匹配事件資料中的關鍵訊框的特徵。例如,電子設備100可以將在方塊302處從訊框中提取的特徵及/或相關聯的描述符與事件資料中的關鍵訊框中的特徵及/或相關聯的描述符進行比較。
在方塊314處,若電子設備100發現在方塊302處從訊框提取的特徵和事件資料中的關鍵訊框的特徵之間的匹配,則電子設備100可以增加與事件資料中的匹配關鍵訊框相關聯的偵測事件的計數(例如,一或多個相關事件的先前偵測的計數)。在方塊316處,若電子設備100沒有發現在方塊302處從訊框中提取的特徵與事件資料中任何關鍵訊框的特徵之間的匹配,則電子設備100可以在事件資料中為與在方塊302處從訊框中提取的特徵相關聯的偵測事件(例如,相關事件的偵測)建立新的條目。在一些實例中,新條目可以包括包含在方塊302處從訊框中提取的特徵的關鍵訊框,以及指示與偵測事件相關聯的相關事件的出現次數的事件計數。在一些實例中,新條目亦可以包括與關鍵訊框相關聯的特徵的描述符。
在一些情況下,程序300可以不應用計時器及/或檢查計時器是否已經到期,如關於方塊308和方塊310所描述的。例如,參看圖3B,在一些情況下,在方塊304處決定已偵測到相關事件之後,電子設備100可以進行到方塊312以決定在方塊302處從訊框提取的特徵是否匹配事件資料中的關鍵訊框的特徵。
在其他情況下,程序300可以應用計時器,但是檢查計時器是否已經到期可以在程序中的其他節點執行。例如,在一些情況下,電子設備100可以在決定是否偵測到相關事件(例如,如關於方塊304所描述的)之前檢查計時器是否已經到期(例如,如關於方塊308所描述的)。在一些實例中,若計時器已經到期,則電子設備100可以在決定是否已經偵測到相關事件(例如,如關於方塊304所描述的)之前或者在決定已經偵測到相關事件之後重啟計時器(例如,如關於方塊310所描述的)。
圖4是示出基於所擷取的訊框中的特徵與事件資料(例如,事件資料202)上的關鍵訊框中的特徵之間的匹配,在不同時間調整(例如,經由控制器126)的實例設置的圖。在該實例中,調整的設置是電子設備100的相機設備(例如,影像感測器102)的訊框率。然而,如前述,在其他實例中,電子設備100可以(補充地或替代地)調整(例如,經由控制器126)相機設備、電子設備100的另一設備、電子設備100的操作、處理管道等的其他設置。
在一些實例中,相機設備可以在時間t1應用預設訊框率402。預設訊框率402可以是相機設備支援的任何訊框率。例如,預設訊框率402可以是相機設備的最低訊框率、相機設備的最高訊框率或相機設備支援的任何其他訊框率。在圖4中,預設訊框率402低於相機設備支援的最高訊框率。
在時間t 2,電子設備100基於以預設訊框率402擷取的訊框中的特徵,在事件資料(例如,事件資料202)中找到匹配的關鍵訊框410。匹配的關鍵訊框410可以包括至少部分基於與關鍵訊框410相關聯的偵測事件的計數(例如,與關鍵訊框410相關聯的一或多個相關事件的先前偵測的計數)計算的事件先驗概率。回應於找到匹配的關鍵訊框410,電子設備100可以決定(例如,經由控制器126)訊框率404,並且將相機設備的訊框率從預設訊框率402變為訊框率404。在一些實例中,電子設備100可以基於與匹配的關鍵訊框410相關聯的事件先驗概率來決定訊框率404。例如,電子設備100可以將與相機設備相關聯的可配置或峰值訊框率乘以事件先驗概率的值。舉例而言,若事件先驗概率的值是0.75,則電子設備100可以將可配置或峰值訊框率乘以0.75來決定訊框率404。在該實例中,訊框率404可以是可配置或峰值訊框率乘以0.75的結果。
如前述,峰值訊框率可以是用於決定訊框率的可配置訊框率。例如,峰值訊框率可以是從相機設備支援的訊框率中選擇的訊框率。在一些情況下,相機設備支援的最高訊框率可以被選為峰值訊框率。
相機設備可以在可配置的時間段內保持訊框率404,或者直到找到另一個關鍵訊框匹配。在圖4中,在時間t 3,電子設備100決定用於保持訊框率404的計時器412在另一個關鍵訊框匹配之前已經到期。基於計時器412的到期,電子設備100可以將相機設備的訊框率從訊框率404變回預設訊框率402。
在時間t 4,電子設備100基於以預設訊框率402擷取的訊框中的特徵,在事件資料(例如,事件資料202)中找到匹配的關鍵訊框414。匹配的關鍵訊框414可以包括如前述的事件先驗概率。回應於找到匹配的關鍵訊框414,電子設備100可以決定(例如,經由控制器126)訊框率406,並且將相機設備的訊框率從預設訊框率402變為訊框率406。電子設備100可以基於與匹配的關鍵訊框414相關聯的事件先驗概率來決定訊框率406。在一些情況下,訊框率406可以與訊框率404相同。在其他情況下,訊框率406可以比訊框率404更高或更低。例如,在一些情況下,取決於與匹配的關鍵訊框414相關聯的事件先驗概率的值及/或用於計算訊框率406的可配置或峰值訊框率,訊框率406可以高於或低於訊框率404。
在時間t 5,在計時器到期之前,電子設備100基於以訊框率406擷取的訊框中的特徵,在事件資料(例如,事件資料202)中找到匹配的關鍵訊框416。匹配的關鍵訊框416可以包括如前述的事件先驗概率。回應於找到匹配的關鍵訊框416,電子設備100可以決定(例如,經由控制器126)訊框率408,並且將相機設備的訊框率從訊框率406變為訊框率408。電子設備100可以基於與匹配的關鍵訊框416相關聯的事件先驗概率來決定訊框率408。在一些實例中,基於與匹配關鍵訊框416相關聯的事件先驗概率中的可能性/概率值高於與匹配關鍵訊框414相關聯的事件先驗概率中的可能性/概率值,訊框率408可以是比訊框率406更高的訊框率。在其他實例中,基於與匹配的關鍵訊框416相關聯的事件先驗概率中的可能性/概率值低於與匹配的關鍵訊框414相關聯的事件先驗概率中的可能性/概率值,訊框率408可以是比訊框率406更低的訊框率。在其他實例中,基於用於決定訊框率408的不同可配置或峰值訊框率(例如,與用於決定訊框率406的可配置或峰值訊框率相比),訊框率408可以是比訊框率406更高或更低的訊框率。
在時間t 6,電子設備100決定用於保持訊框率408的計時器418在另一個關鍵訊框匹配之前已經到期。基於計時器418的到期,電子設備100可以將相機設備的訊框率從訊框率408變回預設訊框率402。在一些實例中,計時器418可以與計時器412相同。在其他實例中,計時器418可以包括與計時器412不同的到期時段。
在一些情況下,電子設備100可以應用衰減的預設訊框率。例如,降低的訊框率可以與增加的事件偵測時延相關聯(例如,高訊框率可以導致低時延)。對於預設訊框率402,當事件資料包含較少數量(例如,低於閾值)的記錄事件時,電子設備100可以將相機設備的訊框率預設為低訊框率(例如,這會導致高偵測時延)。對於這種情況,電子設備100可以應用預設訊框率,該預設訊框率開始較高,但是隨著更多的事件被添加到事件資料中而衰減(例如,隨著電子設備100得知哪些位置/環境與相關事件最相關聯)。
舉例而言,當事件資料包括較少數量的事件(例如,低於閾值數量的事件)時,預設訊框率開始時可以比當事件資料包括較大數量的事件(例如,高於閾值數量的事件)時更高,以在電子設備100收集關於相關事件及/或相關聯的環境的更多資訊時減少偵測時延,從而更好地瞭解哪些位置/環境與相關事件最相關聯及/或增加與位置/環境及/或相關事件相關聯的先驗概率的準確性。隨著更多的條目被添加到事件資料,並且電子設備100具有關於相關事件的更穩健的資料/統計,電子設備100可以開始降低預設訊框率。當電子設備100具有更多關於環境及/或事件的資料(例如,更多映射條目)時,降低的預設訊框率可以使電子設備100降低功耗,當電子設備100應用預設訊框率時,電子設備100可以使用這些資料來增加所決定的先驗概率的置信度及/或準確性,該先驗概率反映了在特定環境中偵測到相關事件的可能性。因此,當電子設備100在應用預設訊框率時用來評估偵測到相關事件的可能性的資訊量較低時,電子設備100可以應用較高的預設訊框率,以在相關事件發生時避免較高的時延,並且當資訊量增加時(例如, 以及偵測到事件的較低可能性的相關置信度),應用較低的預設訊框率,以便當沒有偵測到相關事件及/或基於較高數量的相關資料決定偵測到這種事件的可能性較低(例如,低於閾值)時,降低相機設備的功耗。
圖5是示出當電子設備100處於不同場景時應用的不同功率狀態的實例的圖。在該實例中,當電子設備100位於偵測到/遇到相關事件的可能性/概率較低的場景500中時,電子設備100在低功率狀態502下執行。低功率狀態502可以基於在場景500中偵測到/遇到相關事件的可能性/概率。低功率狀態502可以包括例如電子設備100的相機設備的低功率設置或模式(例如,與相機設備或另一相機設備支援的高功率設置或模式相比)。在一些實例中,低功率狀態502亦可以包括用於處理由電子設備100的相機設備擷取的訊框的低功率操作及/或處理管道。例如,低功率狀態502可以包括實現與降低的處理複雜度及/或功耗相關聯的影像處理操作或影像處理管道的設置。在一些實例中,低功率狀態502亦可以包括電子設備100的另一設備的低功率設置或模式,諸如感測器、處理器、另一相機設備及/或任何其他設備。
場景510亦具有偵測到/遇到相關事件的較低可能性/概率。當電子設備100位於場景510時,電子設備100可以用於預設功率狀態512。預設功率狀態512可以基於在場景510中偵測到/遇到相關事件的可能性/概率。場景510處的預設功率狀態512可以與場景500處的低功率狀態502相同或不同。在一些實例中,預設功率狀態512可以與比低功率狀態502更低的功耗相關聯。在一些實例中,預設功率狀態512可以是電子設備100的相機設備支援的最低功率設置或模式。在其他實例中,預設功率狀態512可以與和低功率狀態502相同或更高的功耗相關聯。在一些情況下,預設功率狀態512可以包括預設訊框率,諸如圖4所示的預設訊框率402。
另一態樣,場景520具有偵測到/遇到相關事件的更高的可能性/概率。這裡,電子設備100可以基於在場景520中偵測到/遇到相關事件的高可能性/概率來應用高功率狀態522。在一些實例中,高功率狀態522可以包括相機設備或影像處理管道的高功率設置(例如,高訊框率、高上轉換率、高解析度、調用的較高數量的影像感測器、高保真度的影像處理管道等)。在一些實例中,高功率狀態522可以包括電子設備100基於高可能性/概率啟動及/或使用高功率相機設備的狀態。例如,在高功率狀態522中,電子設備100可以啟動及/或應用相比於在場景500和場景510由電子設備100應用的低功率相機設備來說具有較高能力的高功率或主相機設備、具有高複雜度/保真度的處理管道等。
當電子設備100在場景520遇到物件530時,電子設備100可以擷取物件530的影像(例如,經由影像感測器102及/或影像感測器104)。電子設備100可以在處於高功率狀態522時擷取物件530的影像,並執行物件偵測以偵測影像中的物件530。在一些實例中,高功率狀態522可以允許電子設備100擷取比處於低功率狀態502或預設功率狀態512時更高品質的影像(例如,更高的解析度、更高的訊框率等)。在一些實例中,高功率狀態522可以允許電子設備100執行比在低功率狀態502或預設功率狀態512時更穩健/複雜及/或更高保真的影像處理。
圖6是示出用於基於事件資料調整相機設置的實例程序600的流程圖。在方塊602處,程序600可以包括經由電子設備(例如,電子設備100)的影像擷取設備(例如,影像感測器102)獲得圖示環境的至少一部分的影像(例如,訊框)。該環境可以包括,例如但不限於,房間(例如,廚房、臥室、辦公室、客廳、車庫、地下室等)、空間或區域(例如,院子、露臺、樓梯、田野、公園等)及/或任何其他環境。
在方塊604處,程序600可以包括決定從影像中提取的一或多個視覺特徵和與關鍵訊框相關聯的一或多個視覺特徵之間的匹配。在一些情況下,關鍵訊框可以包括電子設備上的事件資料(例如,事件資料202)中的多個關鍵訊框之一。在一些實例中,關鍵訊框可以與一或多個偵測事件相關聯。例如,關鍵訊框可以包括先前由影像擷取並由電子設備在影像中偵測到的事件的視覺特徵。在一些實例中,一或多個偵測事件可以包括偵測由影像擷取的面部、由影像擷取的手勢、由影像擷取的情緒、由影像擷取的場景、由影像擷取的一或多個人、由影像擷取的動物、由影像擷取的機器可讀代碼(例如,QR代碼、條碼、連結等)、由影像擷取的紅外光、由影像擷取的二維表面或平面及/或由影像擷取的本文。
在一些實例中,事件資料可以包含來自與影像擷取設備相關聯的偵測事件的多個關鍵訊框及/或與事件資料中的多個關鍵訊框之每一者關鍵訊框相關聯的偵測事件的相應計數。
在一些實例中,決定從影像中提取的一或多個視覺特徵和與事件資料中的關鍵訊框相關聯的一或多個視覺特徵之間的匹配可以包括將從影像中提取的一或多個視覺特徵與和關鍵訊框相關聯的一或多個視覺特徵進行比較,及/或將從影像中提取的一或多個視覺特徵的第一描述符與和關鍵訊框相關聯的一或多個視覺特徵的第二描述符進行比較。
在一些情況下,程序600可以包括基於匹配來估計相關事件在環境中發生的可能性。在一些實例中,電子設備可以計算事件先驗概率,包括表示相關事件在環境中發生的估計可能性的可能性或概率值。
在方塊606處,程序600可以包括基於匹配來調整(例如,修改/調節)影像擷取設備的一或多個設置。在一些情況下,程序600可以包括亦基於相關事件在環境中發生的可能性來調整影像擷取設備的一或多個設置。
在一些實例中,調整影像擷取設備的一或多個設置可以包括修改影像擷取設備的功率模式。在一些情況下,修改影像擷取設備的功率模式可以包括修改影像擷取設備的訊框率、影像擷取設備的解析度、影像擷取設備的圖元合併模式、影像擷取設備的成像模式及/或由影像擷取設備及/或電子設備調用的影像感測器的數量。
在一些實例中,修改影像擷取設備的功率模式可以包括基於決定環境中發生相關事件的可能性低於閾值,降低訊框率、解析度、圖元合併模式、縮放因數、成像模式及/或調用的影像感測器的數量。在一些實例中,修改影像擷取設備的功率模式可以包括基於決定環境中發生相關事件的可能性高於閾值,增加訊框率、解析度、圖元合併模式、縮放因數、成像模式及/或調用的影像感測器的數量。
在一些實例中,影像擷取設備可以包括第一影像擷取設備。在一些態樣,程序600可以包括基於決定環境中發生相關事件的可能性高於閾值,增加電子設備的第二影像擷取設備的功率模式。在一些情況下,第二影像擷取設備可以採用比第一影像擷取設備更高功率的模式、比第一影像擷取設備更高的訊框率、比第一影像擷取設備更高的解析度、比第一影像擷取設備更多數量的影像感測器及/或比與第一影像擷取設備相關聯的處理管道更高功率的處理管道。在一些實例中,增加第二影像擷取設備的功率模式可以包括開啟第二影像擷取設備及/或初始化第二影像擷取設備。
在一些情況下,關鍵訊框可以被包含或包括在電子設備處的事件資料(例如,事件資料202)中。在一些實例中,事件資料202可以包括將與一或多個環境(及/或一或多個環境的一或多個部分)相關聯的一或多個關鍵訊框的特徵與一或多個環境相關聯的事件映射。在一些情況下,事件資料可以包括關鍵訊框。在一些實例中,事件資料可以包括來自影像擷取設備的先前偵測事件(例如,一或多個相關事件的先前偵測)的複數個關鍵訊框。在一些情況下,事件資料亦可以包括與複數個關鍵訊框之每一者關鍵訊框相關聯的偵測事件的相應計數。
在一些實例中,程序600可以包括估計相關事件在環境中發生的可能性。在一些情況下,估計環境中發生相關事件的可能性可以包括基於匹配和與關鍵訊框相關聯的偵測事件(例如,相關事件的先前偵測)的相應計數來估計環境中發生偵測事件的可能性。在一些實例中,程序600可以包括回應於決定從影像中提取的一或多個視覺特徵和與關鍵訊框相關聯的一或多個視覺特徵之間的匹配,增加與關鍵訊框相關聯的偵測事件的相應計數。
在一些實例中,程序600可以包括經由影像擷取設備獲得圖示不同環境的至少一部分的不同影像;決定從該不同影像提取的一或多個視覺特徵不匹配與電子設備處的事件資料中的任何關鍵訊框相關聯的視覺特徵;及在對應於不同影像的事件資料中建立新條目。在一些情況下,該新條目是回應於決定從不同影像提取的一或多個視覺特徵不匹配與事件資料中的任何關鍵訊框相關聯的視覺特徵以及決定在不同影像中偵測到相關事件、自事件資料中的相應關鍵訊框的最後一次建立以來經過的時間、以及自事件資料中的特定關鍵訊框和由影像擷取設備擷取的特定影像之間的相應匹配最後一次被辨識出以來經過的時間中的至少一個而建立的。
在一些實例中,程序600可以包括決定在不同影像中偵測到相關事件;基於決定在不同影像中偵測到相關事件,決定在不同環境中發生另外的相關事件的第二可能性;及基於在不同環境中發生另外的相關事件的第二可能性來調整影像擷取設備的至少一個設置。
在一些實例中,影像擷取設備的一或多個設置可以包括訊框率,並且程序600可以包括基於偵測事件的預定訊框率和環境中發生相關事件的可能性來決定訊框率;及保持該訊框率,直到至少配置的時間段期滿(例如計時器到期)或者決定由影像擷取設備擷取的不同影像與事件資料中的至少一個關鍵訊框之間的後續匹配。在一些實例中,程序600可以包括在配置的時間段期滿或決定後續匹配之後,將影像擷取設備的訊框率調整為不同訊框率。在一些情況下,不同訊框率可以包括預設訊框率或基於預定訊框率和與後續匹配相關聯的偵測事件的另一可能性計算的特定訊框率。在一些情況下,不同訊框率可以包括預設訊框率或基於預定訊框率和偵測到與後續匹配相關聯的特定相關事件的第二可能性而決定的特定訊框率。
在一些情況下,預定訊框率可以包括影像擷取設備支援的最高訊框率。在一些實例中,決定訊框率可以包括將預定訊框率乘以與環境中相關事件發生的可能性相對應的值。在一些情況下,預定訊框率高於預設訊框率。在一些實例中,程序600可以包括回應於向事件資料添加一或多個關鍵訊框,將預設訊框率降低為更低的訊框率。
在一些實例中,程序600可以包括基於環境中發生相關事件的可能性來調整主動深度發送器系統的一或多個不同設置,該主動深度發送器系統諸如電子設備的泛光照明器、電子設備的深度感測器設備、電子設備的雙影像擷取設備系統、電子設備的結構化光系統、電子設備的飛行時間系統等。在一些情況下,程序600可以包括基於環境中發生相關事件的可能性來調整音訊演算法、與全球導航衛星(GNSS)系統、無線定位區域網路連接及/或資料(例如,WIFI)及/或全球定位系統(GPS)中的至少一個相關聯的定位服務的一或多個設置。在一些實例中,調整一或多個不同的設置可以包括關閉或應用(例如,開啟、啟動、初始化、通電等)泛光照明器、深度感測器設備、雙影像擷取設備系統、結構化光系統、飛行時間系統、音訊演算法及/或定位服務。在一些實例中,調整一或多個不同的設置可以包括關閉或應用主動深度發送器。
在一些態樣,程序600可以包括基於匹配來決定環境中發生相關事件的可能性;及亦基於環境中發生相關事件的可能性來調整影像擷取設備的一或多個設置。
在一些態樣,程序600可以包括亦基於來自電子設備的非影像擷取設備的資料來決定事件的可能性;或者亦基於來自電子設備的非影像擷取設備的資料來調整影像擷取設備的一或多個設置。
在一些實例中,程序600可以包括週期性地減少與事件資料中的關鍵訊框條目相關聯的偵測事件的相應計數。在一些情況下,偵測事件的相應計數在事件資料中的所有關鍵訊框條目上成比例地減少。
在一些實例中,程序600可以由一或多個計算設備或裝置來執行。在一個說明性實例中,程序600可以由圖1所示的電子設備100來執行。在一些實例中,程序600可以由具有圖7所示的計算設備架構700的一或多個計算設備來執行。在一些情況下,此類計算設備或裝置可以包括處理器、微處理器、微型電腦或被配置為執行程序600的步驟的設備的其他部件。在一些實例中,這種計算設備或裝置可以包括被配置為擷取影像資料及/或其他感測器量測的一或多個感測器。例如,計算設備可以包括智慧型電話、頭戴式顯示器、行動設備或其他合適的設備。在一些實例中,這種計算設備或裝置可以包括被配置為擷取一或多個影像或視訊的相機。在一些情況下,這種計算設備可以包括用於顯示影像的顯示器。在一些實例中,一或多個感測器及/或相機與計算設備分離,在這種情況下,計算設備接收感測到的資料。這種計算設備亦可以包括被配置為傳送資料的網路介面。
計算設備的部件可以在電路中實現。例如,部件可以包括及/或可以使用電子電路或其他電子硬體來實現,電子電路或其他電子硬體可以包括一或多個可程式設計電子電路(例如,微處理器、圖形處理單元(GPU)、數位訊號處理器(DSP)、中央處理單元(CPU)及/或其他合適的電子電路),及/或可以包括及/或使用電腦軟體、韌體或其任意組合來實現,以執行本文描述的各種操作。計算設備亦可以包括顯示器(作為輸出設備的實例或者輸出設備的補充)、被配置為傳送及/或接收資料的網路介面、其任意組合及/或其他部件。網路介面可以被配置為傳送及/或接收基於網際網路協定(IP)的資料或其他類型的資料。
程序600被示為邏輯流程圖,其動作表示可以用硬體、電腦指令或其組合來實現的一系列操作。在電腦指令的情況下,動作表示儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令,當由一或多個處理器執行時,執行所述操作。通常,電腦可執行指令包括執行特定功能或實現特定資料類型的常式、程式、物件、部件、資料結構等。描述操作的順序不意欲被解釋為具有限制性,並且任何數量的所描述的操作可以以任何順序及/或並行組合來實現這些程序。
此外,程序600可以在配置有可執行指令的一或多個電腦系統的控制下執行,並且可以經由硬體或其組合實現為在一或多個處理器上共同執行的代碼(例如,可執行指令、一或多個電腦程式或一或多個應用程式)。如前述,代碼可以儲存在電腦可讀或機器可讀儲存媒體上,例如,以包括可由一或多個處理器執行的複數個指令的電腦程式的形式。電腦可讀或機器可讀儲存媒體可以是非暫時性的。
圖7圖示可以實現本文描述的各種技術的實例計算設備的實例計算設備架構700。例如,計算設備架構700可以實現圖1所示的電子設備100的至少一些部分。計算設備架構700的部件被示為使用諸如匯流排等連接705彼此電通訊。實例計算設備架構700包括處理單元(CPU或處理器)710和計算設備連接705,計算設備連接705將包括計算設備記憶體715(諸如唯讀記憶體(ROM)720和隨機存取記憶體(RAM)725)的各種計算設備部件耦接到處理器710。
計算設備架構700可以包括與處理器710直接連接、緊鄰處理器710或者整合為處理器710的一部分的高速記憶體的快取記憶體。計算設備架構700可以將資料從記憶體715及/或存放裝置730複製到快取記憶體712,以供處理器710快速存取。這樣,快取記憶體可以提供效能提升,避免處理器710在等待資料時的延遲。這些和其他模組可以控制或被配置為控制處理器710執行各種動作。亦可以使用其他計算設備記憶體715。記憶體715可以包括具有不同效能特徵的多種不同類型的記憶體。處理器710可以包括任何通用處理器和儲存在存放裝置730中並被配置為控制處理器710以及專用處理器的硬體或軟體服務,其中軟體指令被結合到處理器設計中。處理器710可以是包含多個核心或處理器、匯流排、記憶體控制器、快取記憶體等的獨立系統。多核處理器可以是對稱的或非對稱的。
為了使使用者能夠與計算設備架構700互動,輸入設備745可以表示任何數量的輸入機制,諸如用於語音的麥克風、用於手勢或圖形輸入的觸敏螢幕、鍵盤、滑鼠、運動輸入、語音等。輸出設備735亦可以是本發明所屬領域中具有通常知識者已知的多種輸出機制中的一或多個,諸如顯示器、投影儀、電視、揚聲器設備。在一些實例中,多模計算設備可以使使用者能夠提供多種類型的輸入來與計算設備架構700通訊。通訊介面740通常可以支配和管理使用者輸入和計算設備輸出。對於在任何特定硬體設定上的操作沒有限制,因此這裡的基本特徵可以很容易地被新開發的改進的硬體或韌體配置所替代。
存放裝置730是非揮發性記憶體,並且可以是硬碟或能夠儲存電腦可存取的資料的其他類型的電腦可讀取媒體,諸如盒式磁帶、快閃記憶卡、固態存放裝置、數位多功能光碟、膠捲、隨機存取記憶體(RAM)725、唯讀記憶體(ROM)720及其混合。存放裝置730可以包括用於控制處理器710的軟體、代碼、韌體等。亦考慮了其他硬體或軟體模組。存放裝置730可以連接到計算設備連接705。在一個態樣,執行特定功能的硬體模組可以包括儲存在電腦可讀取媒體中的軟體部件以及執行該功能所必需的硬體部件,諸如處理器710、連接705、輸出設備735等。
術語「電腦可讀取媒體」包括但不限於可攜式或非可攜式存放裝置、光存放裝置以及能夠儲存、包含或承載指令及/或資料的各種其他媒體。電腦可讀取媒體可以包括其中可以儲存資料並且不包括無線或有線傳播的載波及/或暫時性電子訊號的非暫時性媒體。 非暫時性媒體的實例可以包括但不限於磁碟或磁帶、諸如光碟(CD)或數位多功能光碟(DVD)的光學儲存媒體、快閃記憶體、記憶體或存放裝置。電腦可讀取媒體可以儲存有代碼及/或機器可執行指令,其可以表示程序、函數、副程式、程式、常式、子常式、模組、套裝軟體、軟體部件或指令、資料結構或程式語句的任何組合。經由傳遞及/或接收資訊、資料、引數、參數或記憶體內容,程式碼片段可以耦接到另一個程式碼片段或硬體電路。資訊、引數、參數、資料等可以經由任何合適的方式傳遞、轉發或傳輸,包括記憶體共享、訊息傳遞、符記傳遞、網路傳輸等。
在一些實施例中,電腦可讀存放裝置、媒體和記憶體可以包括包含位元串流等的有線或無線訊號。然而,當被提及時,非暫時性電腦可讀取儲存媒體明確排除諸如能量、載波訊號、電磁波和訊號本身的媒體。
在上面的描述中提供了具體的細節,以提供對本文提供的實施例和實例的全面理解。然而,本發明所屬領域中具有通常知識者將理解,可以在沒有這些具體細節的情況下實施這些實施例。為瞭解釋清楚,在一些情況下,本技術可以被呈現為包括單獨的功能方塊,這些功能方塊包括設備、設備部件、以軟體或硬體和軟體的組合實現的方法中的步驟或常式。可以使用除了圖中所示及/或本文所述之外的額外部件。例如,電路、系統、網路、程序和其他部件可以以方塊圖形式顯示為部件,以免不必要的細節模糊實施例。在其他情況下,為了避免模糊實施例,公知的電路、程序、演算法、結構和技術可以省略掉不必要的細節。
各個實施例可以在上面被描述為流程圖、作業圖、資料流圖、結構圖或方塊圖形式的程序或方法。儘管流程圖可以將操作描述為順序程序,但是許多操作可以並行或同時執行。此外,可以重新安排操作的順序。當一個程序的操作完成時,該程序被終止,但是可能有圖中沒有包括的額外步驟。程序可以對應於方法、函數、程序、子常式、副程式等。當一個程序對應於一個函數時,其的終止可以對應於該函數返回到調用函數或主函數。
根據上述實例的程序和方法可以使用儲存在電腦可讀取媒體中或以其他方式從電腦可讀取媒體中獲取的電腦可執行指令來實現。這種指令可以包括例如指令和資料,這些指令和資料使得或以其他方式配置通用電腦、專用電腦或處理設備來執行特定功能或功能組。所使用的電腦資源部分可以經由網路存取。電腦可執行指令可以是例如二進位、中間格式指令,諸如組合語言、韌體、原始程式碼。可用於儲存在根據所述實例的方法期間使用的指令、資訊及/或建立的資訊的電腦可讀取媒體的實例包括磁碟或光碟、快閃記憶體、配備有非揮發性記憶體的USB設備、網路存放裝置等。
實現根據這些揭示的程序和方法的設備可以包括硬體、軟體、韌體、中介軟體、微碼、硬體描述語言或其任意組合,並且可以採用各種形式因素中的任意一種。當在軟體、韌體、中介軟體或微碼中實現時,執行必要任務的程式碼或程式碼片段(例如,電腦程式產品)可以儲存在電腦可讀或機器可讀取媒體中。處理器可以執行必要的任務。形式因素的實例包括膝上型電腦、智慧型電話、行動電話、平板設備或其他小形式因素個人電腦、個人數位助理、機架安裝設備、獨立設備等。本文描述的功能亦可以在周邊設備或額外卡中實現。作為進一步的實例,這種功能亦可以在電路板上在執行於單個設備的不同晶片或不同程序中實現。
指令、用於傳送這種指令的媒體、用於執行它們的計算資源以及用於支援這種計算資源的其他結構是用於提供本案中描述的功能的實例部件。
在前面的描述中,參考本案的特定實施例描述了本案的各態樣,但是本發明所屬領域中具有通常知識者將認識到本案不限於此。因此,儘管在此已經詳細描述了本案的說明性實施例,但是應當理解,本發明的概念可以以其他方式不同地實施和使用,並且所附請求項意欲被解釋為包括此類變化,除了由現有技術限制的以外。上述申請的各種特徵和態樣可以單獨或聯合使用。此外,在不脫離本說明書的更廣泛的精神和範疇的情況下,實施例可以用於本文描述的環境和應用之外的任何數量的環境和應用中。因此,說明書和附圖應被視為說明性的而非限制性的。為了說明的目的,以特定的順序描述了方法。應當理解,在替代實施例中,這些方法可以以不同於所描述的順序來執行。
具有通常知識者將會理解,在不脫離本說明書的範疇的情況下,本文使用的小於(「<」)和大於(「>」)符號或術語可以分別用小於或等於(「≦」)和大於或等於(「≧」)符號來替換。
在部件被描述為「被配置為」執行某些操作的情況下,這種配置可以例如經由設計電子電路或其他硬體來執行該操作、經由對可程式設計電子電路(例如,微處理器或其他合適的電子電路)進行程式設計來執行該操作或其任意組合來實現。
短語「耦接到」是指直接或間接實體連接到另一部件的任何部件,及/或直接或間接與另一部件通訊(例如,經由有線或無線連接及/或其他合適的通訊介面連接到另一部件)的任何部件。
本案中敘述一組中「至少一個」及/或一組中「一或多個」的請求項語言或其他語言表示該組中的一個成員或該組中的多個成員(任何組合)滿足該請求項。例如,敘述「A和B中的至少一個」或「A或B中的至少一個」的請求項語言表示A、B或A和B。在另一實例中,敘述「A、B和C中的至少一個」或「A、B或C中的至少一個」的請求項語言表示A、B、C或A和B,或A和C,或B和C,或A和B和C。敘述一組中的「至少一個」及/或一組中的「一或多個」的語言並不將該組限制為該組中列出的項目。例如,敘述「A和B中的至少一個」或「A或B中的至少一個」的請求項語言可以表示A、B或A和B,並且可以另外包括沒有在A和B的集合中列出的項目。
結合本文揭示的實例描述的各種示例性邏輯區塊、模組、電路和演算法步驟可以實現為電子硬體、電腦軟體、韌體或其組合。為了清楚地說明硬體和軟體的這種可互換性,各種說明性的部件、方塊、模組、電路和步驟已經在上面根據它們的功能進行了一般性的描述。這種功能實現為硬體還是軟體取決於特定的應用和對整個系統施加的設計約束。具有通常知識者可以針對每個特定應用以不同的方式實現所描述的功能,但是這種實現決策不應被解釋為導致脫離本案範疇。
本文描述的技術亦可以在電子硬體、電腦軟體、韌體或其任意組合中實現。這種技術可以在多種設備中的任何一種中實現,諸如通用電腦、無線通訊設備手柄或具有多種用途的積體電路設備,包括在無線通訊設備手柄和其他設備中的應用。被描述為模組或部件的任何特徵可以在整合邏輯裝置中一起實現,或者作為個別但可交互動操作的邏輯裝置單獨實現。若在軟體中實現,則該技術可以至少部分地由包括程式碼的電腦可讀取資料儲存媒體來實現,該程式碼包括指令,當被執行時,該指令執行上述方法、演算法及/或操作中的一或多個。電腦可讀取資料儲存媒體可以形成電腦程式產品的一部分,該電腦程式產品可以包括包裝材料。電腦可讀取媒體可以包括記憶體或資料儲存媒體,例如諸如同步動態隨機存取記憶體(SDRAM)的隨機存取記憶體(RAM)、唯讀記憶體(ROM)、非揮發性隨機存取記憶體(NVRAM)、電子可抹除可程式設計唯讀記憶體(EEPROM)、快閃記憶體、磁或光資料儲存媒體等。補充地或替代地,這些技術可以至少部分地由電腦可讀通訊媒體來實現,該電腦可讀通訊媒體承載或傳送指令或資料結構形式的程式碼,並且可以由電腦存取、讀取及/或執行,諸如傳播的訊號或波。
程式碼可以由處理器執行,該處理器可以包括一或多個處理器,諸如一或多個數位訊號處理器(DSP)、通用微處理器、特殊應用積體電路(ASIC)、現場可程式設計邏輯陣列(FPGA)或其他等效的整合或個別邏輯電路。這種處理器可以被配置為執行本案中描述的任何技術。通用處理器可以是微處理器;但是可選地,處理器可以是任何傳統的處理器、控制器、微控制器或狀態機。處理器亦可以被實現為計算設備的組合,例如DSP和微處理器的組合、多個微處理器、一或多個微處理器與DSP核心的結合,或者任何其他此類配置。因此,本文使用的術語「處理器」可以指任何前述結構、前述結構的任何組合、或者適於實現本文描述的技術的任何其他結構或裝置。
本案的說明性實例包括以下內容。
態樣1:一種用於獲得影像的裝置,該裝置包括:記憶體;及耦接到該記憶體的一或多個處理器,該一或多個處理器被配置為:經由該裝置的影像擷取設備獲得圖示環境的至少一部分的影像;決定從該影像中提取的一或多個視覺特徵和與同一或多個偵測事件相關聯的關鍵訊框相關聯的一或多個視覺特徵之間的匹配;及基於該匹配,調整該影像擷取設備的一或多個設置。
態樣2:根據態樣1之裝置,其中為了調整該影像擷取設備的該一或多個設置,該一或多個處理器被配置為修改該影像擷取設備的功率模式。
態樣3:根據態樣2之裝置,其中為了修改該影像擷取設備的該功率模式,該一或多個處理器被配置為修改該影像擷取設備的訊框率、該影像擷取設備的解析度、該影像擷取設備的圖元合併模式、該影像擷取設備的成像模式以及由該影像擷取設備和該裝置中的至少一個調用的影像感測器的數量中的至少一個。
態樣4:根據態樣3之裝置,其中為了修改該影像擷取設備的該功率模式,該一或多個處理器被配置為:基於決定該環境中發生相關事件的可能性低於閾值,降低該訊框率、該解析度、該圖元合併模式、該成像模式和該調用的影像感測器的數量中的至少一個。
態樣5:根據態樣3之裝置,其中為了修改該影像擷取設備的該功率模式,該一或多個處理器被配置為:基於決定該環境中發生相關事件的可能性高於閾值,增加該訊框率、該解析度、該圖元合併模式、該成像模式和該調用的影像感測器的數量中的至少一個。
態樣6:根據態樣1至5中任一項所述的裝置,其中該影像擷取設備包括第一影像擷取設備,並且其中該一或多個處理器被配置為:基於決定在該環境中發生相關事件的可能性高於閾值,增加該裝置的第二影像擷取設備的功率模式,其中該第二影像擷取設備採用比該第一影像擷取設備更高功率的模式、比該第一影像擷取設備更高的訊框率、比該第一影像擷取設備更高的解析度、比該第一影像擷取設備更多數量的影像感測器、以及比與該第一影像擷取設備相關聯的處理管道功率更高的處理管道中的至少一個。
態樣7:根據態樣6之裝置,其中為了增加該第二影像擷取設備的該功率模式,該一或多個處理器被配置為初始化該第二影像擷取設備。
態樣8:根據態樣1至7中任一項所述的裝置,其中該關鍵訊框包含在該裝置處的事件資料中,並且其中該事件資料包含來自與該影像擷取設備相關聯的偵測事件的多個關鍵訊框。
態樣9:根據態樣8之裝置,其中該事件資料亦包含與該多個關鍵訊框之每一者關鍵訊框相關聯的偵測事件的相應計數。
態樣10:根據態樣8至9中任一項所述的裝置,其中該一或多個處理器被配置為決定該環境中發生相關事件的可能性,並且其中為了決定該環境中發生該事件的該可能性,該一或多個處理器被配置為基於該匹配和與該關鍵訊框相關聯的偵測事件的該相應計數來決定該環境中發生該事件的該可能性。
態樣11:根據態樣9至10中任一項所述的裝置,其中該一或多個處理器被配置為:回應於決定從該影像中提取的一或多個視覺特徵和與該關鍵訊框相關聯的一或多個視覺特徵之間的該匹配,增加該事件資料中與該關鍵訊框相關聯的偵測事件的該相應計數。
態樣12:根據態樣9至11中任一項所述的裝置,其中該一或多個處理器被配置為決定該環境中發生相關事件的可能性,並且其中為了決定該環境中發生該事件的該可能性,該一或多個處理器被配置為基於該匹配和來自該多個關鍵訊框中的一或多個關鍵訊框來決定該環境中發生該事件的該可能性。
態樣13:根據態樣1至12中任一項所述的裝置,其中該一或多個處理器被配置為:經由該影像擷取設備獲得圖示不同環境的至少一部分的不同影像;決定從該不同影像提取的一或多個視覺特徵不匹配與該裝置處的事件資料中的任何關鍵訊框相關聯的視覺特徵;及在對應於該不同影像的該事件資料中建立新條目,該新條目是回應於決定從該不同影像提取的該一或多個視覺特徵不匹配與該事件資料中的任何關鍵訊框相關聯的視覺特徵以及決定在該不同影像中偵測到相關事件、自該事件資料中的相應關鍵訊框的最後一次建立以來經過的時間、以及自該事件資料中的特定關鍵訊框和由該影像擷取設備擷取的特定影像之間的相應匹配最後一次被辨識出以來經過的時間中的至少一個而建立的。
態樣14:根據態樣13之裝置,其中該一或多個處理器被配置為:決定在該不同影像中偵測到該相關事件;基於決定在該不同影像中偵測到該相關事件,決定在該不同環境中發生另外的相關事件的第二可能性;及基於在該不同環境中發生該另外的相關事件的該第二可能性來調整該影像擷取設備的至少一個設置。
態樣15:根據態樣1至14中任一項所述的裝置,其中該影像擷取設備的該一或多個設置包括訊框率,並且其中該一或多個處理器被配置為:基於偵測事件的預定訊框率和該環境中相關事件發生的可能性來決定該訊框率;及保持該訊框率,直到至少配置的時間段期滿或者決定由該影像擷取設備擷取的不同影像與該裝置處的事件資料中的至少一個關鍵訊框之間的後續匹配。
態樣16:根據態樣15之裝置,其中該一或多個處理器被配置為:在該配置的時間段期滿或決定該後續匹配之後,將該影像擷取設備的該訊框率調整為不同訊框率。
態樣17:根據態樣16之裝置,其中該不同訊框率包括預設訊框率或基於該預定訊框率和偵測到與該後續匹配相關聯的特定相關事件的第二可能性而決定的特定訊框率。
態樣18:根據態樣15至17中任一項所述的裝置,其中該預定訊框率高於該預設訊框率,並且其中該一或多個處理器被配置為:回應於在該裝置處將一或多個關鍵訊框添加到事件資料,將該預設訊框率降低為較低訊框率。
態樣19:根據態樣16之裝置,其中該預定訊框率包括該影像擷取設備支援的最高訊框率,並且其中為了決定該訊框率,該一或多個處理器被配置為將該預定訊框率乘以對應於該環境中發生該偵測事件的該可能性的值。
態樣20:根據態樣1至19中任一項所述的裝置,其中為了決定從該影像中提取的一或多個視覺特徵和與該關鍵訊框相關聯的一或多個視覺特徵之間的該匹配,該一或多個處理器亦被配置為:將從該影像中提取的該一或多個視覺特徵中的至少一個和與該關鍵訊框相關聯的該一或多個視覺特徵進行比較以及將從該影像中提取的該一或多個視覺特徵的第一描述符和與該關鍵訊框相關聯的該一或多個視覺特徵的第二描述符進行比較。
態樣21:根據態樣1至20中任一項所述的裝置,其中該一或多個處理器被配置為:基於該環境中發生相關事件的可能性,調整該裝置的主動深度發送器、音訊演算法、與全球導航衛星(GNSS)系統、無線定位區域網路連接和全球定位系統(GPS)中的至少一個相關聯的定位服務中的至少一個的一或多個不同設置。
態樣22:根據態樣21之裝置,其中為了調整該一或多個不同設置,該一或多個處理器被配置為關閉或應用該主動深度發送器、該音訊演算法和該定位服務中的至少一個。
態樣23:根據態樣1至22中任一項所述的裝置,其中一或多個處理器被配置為:週期性地減少與該裝置處的事件資料中的關鍵訊框條目相關聯的偵測事件的相應計數,偵測事件的該相應計數在該事件資料中的所有關鍵訊框條目上成比例地減少。
態樣24:根據態樣1至23中任一項所述的裝置,其中該一或多個偵測事件包括對該影像圖示的面部、該影像圖示的手勢、該影像圖示的情緒、該影像圖示的場景、該影像圖示的一或多個人、該影像圖示的動物該、影像圖示的機器可讀代碼、該影像圖示的紅外光、該影像圖示的二維表面以及該影像圖示的本文中的至少一個的偵測。
態樣25:根據態樣1至24中任一項所述的裝置,其中該關鍵訊框是該裝置處的該事件資料的一部分,並且其中該事件資料包括複數個關鍵訊框。
態樣26:根據態樣1至25中任一項所述的裝置,其中該一或多個處理器被配置為:基於該匹配來決定該環境中發生相關事件的可能性;及亦基於該環境中發生該相關事件的該可能性來調整該影像擷取設備的該一或多個設置。
態樣27:根據態樣26之裝置,其中該一或多個處理器亦被配置為:亦基於來自該裝置的非影像擷取設備的資料來決定該事件的該可能性;或者亦基於來自該裝置的該非影像擷取裝置的該資料來調整該影像擷取設備的該一或多個設置。
態樣28:根據態樣1至27中任一項所述的裝置,其中該裝置包括行動設備。
態樣29:根據態樣1至28中任一項所述的裝置,其中該裝置包括增強現實設備。
態樣30:一種用於獲得影像的方法,該方法包括:經由電子設備的影像擷取裝置獲得圖示環境的至少一部分的影像;決定從該影像中提取的一或多個視覺特徵和與同一或多個偵測事件相關聯的關鍵訊框相關聯的一或多個視覺特徵之間的匹配;及基於該匹配,調整該影像擷取裝置的一或多個設置。
態樣31:根據態樣30之方法,其中調整該影像擷取裝置的該一或多個設置包括修改該影像擷取裝置的功率模式。
態樣32:根據態樣31之方法,其中修改該影像擷取裝置的該功率模式包括修改該影像擷取裝置的訊框率、該影像擷取裝置的解析度、該影像擷取裝置的圖元合併模式、該影像擷取裝置的成像模式以及由該影像擷取裝置和該電子設備中的至少一個調用的影像感測器的數量中的至少一個。
態樣33:根據態樣31至32中任一項所述的方法,其中修改該影像擷取裝置的該功率模式包括:基於決定該環境中發生相關事件的可能性低於閾值,降低該訊框率、該解析度、該圖元合併模式、該成像模式和該調用的影像感測器的數量中的至少一個。
態樣34:根據態樣31至32中任一項所述的方法,其中修改該影像擷取裝置的該功率模式包括:基於決定該環境中發生相關事件的可能性高於閾值,增加該訊框率、該解析度、該圖元合併模式、該成像模式和該調用的影像感測器的數量中的至少一個。
態樣35:根據態樣30至34中任一項所述的方法,其中該影像擷取裝置包括第一影像擷取裝置,並且其中該方法亦包括:基於決定在該環境中發生相關事件的可能性高於閾值,增加該電子設備的第二影像擷取裝置的功率模式,其中該第二影像擷取裝置採用比該第一影像擷取裝置更高功率的模式、比該第一影像擷取裝置更高的訊框率、比該第一影像擷取裝置更高的解析度、比該第一影像擷取裝置更多數量的影像感測器、以及比與該第一影像擷取裝置相關聯的處理管道功率更高的處理管道中的至少一個。
態樣36:根據態樣35之方法,其中增加該第二影像擷取裝置的該功率模式包括初始化該第二影像擷取裝置。
態樣37:根據態樣30至36中任一項所述的方法,其中該關鍵訊框包含在該電子設備處的事件資料中,並且其中該事件資料包含來自與該影像擷取裝置相關聯的偵測事件的多個關鍵訊框。
態樣38:根據態樣37之方法,其中該事件資料亦包含與該多個關鍵訊框之每一者關鍵訊框相關聯的偵測事件的相應計數。
態樣39:根據態樣37至38中任一項所述的方法,亦包括基於該匹配和與該關鍵訊框相關聯的偵測事件的該相應計數來決定該環境中發生相關事件的可能性。
態樣40:根據態樣38至39中任一項所述的方法,亦包括:回應於決定從該影像中提取的一或多個視覺特徵和與該關鍵訊框相關聯的一或多個視覺特徵之間的該匹配,增加該事件資料中與該關鍵訊框相關聯的偵測事件的該相應計數。
態樣41:根據態樣38至40中任一項所述的方法,亦包括:基於該匹配和該多個關鍵訊框中的一或多個關鍵訊框來決定該環境中發生相關事件的可能性。
態樣42:根據態樣30至41中任一項所述的方法,亦包括:經由該影像擷取裝置獲得圖示不同環境的至少一部分的不同影像;決定從該不同影像提取的一或多個視覺特徵不匹配與該電子設備處的事件資料中的任何關鍵訊框相關聯的視覺特徵;及在對應於該不同影像的該事件資料中建立新條目,該新條目是回應於決定從該不同影像提取的該一或多個視覺特徵不匹配與該事件資料中的任何關鍵訊框相關聯的視覺特徵以及決定在該不同影像中偵測到相關事件、自該事件資料中的相應關鍵訊框的最後一次建立以來經過的時間、以及自該事件資料中的特定關鍵訊框和由該影像擷取裝置擷取的特定影像之間的相應匹配最後一次被辨識出以來經過的時間中的至少一個而建立的。
態樣43:根據態樣42之方法,亦包括:決定在該不同影像中偵測到該相關事件;基於決定在該不同影像中偵測到該相關事件,決定在該不同環境中發生另外的相關事件的第二可能性;及基於在該不同環境中發生該另外的相關事件的該第二可能性來調整該影像擷取裝置的至少一個設置。
態樣44:根據態樣30至43中任一項所述的方法,其中該影像擷取裝置的該一或多個設置包括訊框率,並且其中該方法亦包括:基於偵測事件的預定訊框率和該環境中相關事件發生的可能性來決定該訊框率;及保持該訊框率,直到至少配置的時間段期滿或者決定由該影像擷取裝置擷取的不同影像與該電子設備處的事件資料中的至少一個關鍵訊框之間的後續匹配。
態樣45:根據態樣44之方法,亦包括:在該配置的時間段期滿或決定該後續匹配之後,將該影像擷取裝置的該訊框率調整為不同訊框率。
態樣46:根據態樣45之方法,其中該不同訊框率包括預設訊框率或基於該預定訊框率和偵測到與該後續匹配相關聯的特定相關事件的第二可能性而決定的特定訊框率。
態樣47:根據態樣44至46中任一項所述的方法,其中該預定訊框率高於該預設訊框率,並且其中該方法亦包括:回應於在該電子設備處將一或多個關鍵訊框添加到事件資料,將該預設訊框率降低為較低訊框率。
態樣48:根據態樣47之方法,其中該預定訊框率包括該影像擷取裝置支援的最高訊框率,並且其中決定該訊框率可以包括將該預定訊框率乘以對應於該環境中發生該偵測事件的該可能性的值。
態樣49:根據態樣30至48中任一項所述的方法,其中決定從該影像中提取的一或多個視覺特徵和與該關鍵訊框相關聯的一或多個視覺特徵之間的該匹配亦包括:將從該影像中提取的該一或多個視覺特徵中的至少一個和與該關鍵訊框相關聯的該一或多個視覺特徵進行比較以及將從該影像中提取的該一或多個視覺特徵的第一描述符和與該關鍵訊框相關聯的該一或多個視覺特徵的第二描述符進行比較。
態樣50:根據態樣30至49中任一項所述的方法,亦包括:基於該環境中發生相關事件的可能性,調整該電子設備的主動深度發送器、音訊演算法、與全球導航衛星(GNSS)系統、無線定位區域網路連接和全球定位系統(GPS)中的至少一個相關聯的定位服務中的至少一個的一或多個不同設置。
態樣51:根據態樣50之方法,其中調整該一或多個不同設置包括關閉或應用該主動深度發送器、該音訊演算法和該定位服務中的至少一個。
態樣52:根據態樣30至51中任一項所述的方法,亦包括:週期性地減少與該電子設備處的事件資料中的關鍵訊框條目相關聯的偵測事件的相應計數,偵測事件的該相應計數在該事件資料中的所有關鍵訊框條目上成比例地減少。
態樣53:根據態樣30至52中任一項所述的方法,其中該一或多個偵測事件包括對該影像圖示的面部、該影像圖示的手勢、該影像圖示的情緒、該影像圖示的場景、該影像圖示的一或多個人、該影像圖示的動物該、影像圖示的機器可讀代碼、該影像圖示的紅外光、該影像圖示的二維表面以及該影像圖示的本文中的至少一個的偵測。
態樣54:根據態樣30至53中任一項所述的方法,其中該關鍵訊框是該電子設備處的該事件資料的一部分,並且其中該事件資料包括複數個關鍵訊框。
態樣55:根據態樣30至54中任一項所述的方法,亦包括:基於該匹配來決定該環境中發生相關事件的可能性;及亦基於該環境中發生該相關事件的該可能性來調整該影像擷取裝置的該一或多個設置。
態樣56:根據態樣55之方法,亦包括:亦基於來自該電子設備的非影像擷取裝置的資料來決定該事件的該可能性;或者亦基於來自該電子設備的該非影像擷取裝置的該資料來調整該影像擷取裝置的該一或多個設置。
態樣57:根據態樣30至56中任一項所述的方法,其中該電子設備包括行動設備。
態樣58:根據態樣30至57中任一項所述的方法,其中該電子設備包括增強現實設備。
態樣59:一種裝置,包括用於執行根據態樣30至58中任一項所述的方法的部件。
態樣60:根據態樣59之裝置,其中該裝置包括行動設備。
態樣61:根據態樣59至60中任一項所述的方法,其中該裝置包括增強現實設備。
態樣62:一種其上儲存有指令的非暫時性電腦可讀取媒體,當由一或多個處理器執行時,該等指令使得該一或多個處理器執行根據態樣30至58中任一項所述的方法。
態樣63:根據態樣62之非暫時性電腦可讀取媒體,其中該電子設備包括行動設備。
態樣64:根據態樣62至63中任一項所述的非暫時性電腦可讀取媒體,其中該電子設備包括增強現實設備。
100:電子設備 102:影像感測器 104:影像感測器 106:音訊感測器 108:慣性量測單元(IMU) 110:計算部件 112:中央處理單元(CPU) 114:圖形處理單元(GPU) 116:數位訊號處理器(DSP) 118:影像訊號處理器(ISP) 120:特徵提取器 122:關鍵訊框匹配器 124:映射器 126:控制器 200:系統程序 202:事件資料 204:應用 210:訊框 212:影像處理模組 214:相機事件偵測觸發器 216:事件先驗概率 220:非相機設置 232:非相機感測器 234:資料 236:事件先驗概率 300:程序 302:方塊 304:方塊 306:方塊 308:方塊 310:方塊 312:方塊 314:方塊 316:方塊 402:預設訊框率 404:訊框率 406:訊框率 408:訊框率 410:關鍵訊框 412:計時器 414:匹配的關鍵訊框 416:匹配的關鍵訊框 418:計時器 500:場景 502:低功率狀態 510:場景 512:預設功率狀態 520:場景 522:高功率狀態 530:物件 600:程序 602:方塊 604:方塊 606:方塊 700:計算設備架構 705:計算設備連接 710:處理單元 712:快取記憶體 715:計算設備記憶體 720:唯讀記憶體(ROM) 725:隨機存取記憶體(RAM) 730:存放裝置 735:輸出設備 740:通訊介面 745:輸入設備 T 1:時間 T 2:時間 T 3:時間 T 4:時間 T 5:時間 T 6:時間
下文參考以下附圖詳細描述本案的說明性實例:
圖1是示出根據本案一些實例的用於決定事件資料並基於事件資料控制電子設備的一或多個部件及/或操作的電子設備的實例的圖;
圖2A和圖2B是示出根據本案一些實例的用於映射與環境相關聯的事件並基於映射的事件控制設備的設置的實例系統程序的圖;
圖3A和圖3B是示出根據本案一些實例的用於更新事件映射的實例程序的圖;
圖4是示出根據本案的一些實例,基於擷取訊框中的特徵和事件資料的關鍵訊框中的特徵之間的匹配,在不同時間調整的實例設置的圖;
圖5是示出根據本案的一些實例,當電子設備處於不同場景時應用的不同功率狀態的實例的圖;
圖6是示出根據本案一些實例的用於基於事件資料調整相機設置的實例程序的流程圖;及
圖7圖示根據本案一些實例的實例計算設備架構。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
100:電子設備
102:影像感測器
104:影像感測器
106:音訊感測器
108:慣性量測單元(IMU)
110:計算部件
112:中央處理單元(CPU)
114:圖形處理單元(GPU)
116:數位訊號處理器(DSP)
118:影像訊號處理器(ISP)
120:特徵提取器
122:關鍵訊框匹配器
124:映射器
126:控制器

Claims (50)

  1. 一種用於獲得一影像的裝置,該裝置包括: 記憶體;及 一或多個處理器,耦接到該記憶體,該一或多個處理器被配置為: 經由該裝置的一影像擷取裝置獲得圖示一環境的至少一部分的一影像; 決定從該影像中提取的一或多個視覺特徵和與同一或多個偵測事件相關聯的一關鍵訊框相關聯的一或多個視覺特徵之間的一匹配;及 基於該匹配,調整該影像擷取裝置的一或多個設置。
  2. 根據請求項1之裝置,其中為了調整該影像擷取裝置的該一或多個設置,該一或多個處理器被配置為修改該影像擷取裝置的一功率模式。
  3. 根據請求項2之裝置,其中為了修改該影像擷取裝置的該功率模式,該一或多個處理器被配置為修改該影像擷取裝置的一訊框率、該影像擷取裝置的一解析度、該影像擷取裝置的一圖元合併模式、該影像擷取裝置的一成像模式以及由該影像擷取裝置和該裝置中的至少一個調用的影像感測器的一數量中的至少一個。
  4. 根據請求項3之裝置,其中為了修改該影像擷取裝置的該功率模式,該一或多個處理器被配置為: 基於決定該環境中發生一相關事件的一可能性低於一閾值,降低該訊框率、該解析度、該圖元合併模式、該成像模式和該調用的影像感測器的數量中的至少一個。
  5. 根據請求項3之裝置,其中為了修改該影像擷取裝置的該功率模式,該一或多個處理器被配置為: 基於決定該環境中發生一相關事件的一可能性高於一閾值,增加該訊框率、該解析度、該圖元合併模式、該成像模式和該調用的影像感測器的數量中的至少一個。
  6. 根據請求項1之裝置,其中該影像擷取裝置包括一第一影像擷取裝置,並且其中該一或多個處理器被配置為: 基於決定在該環境中發生一相關事件的一可能性高於一閾值,增加該裝置的一第二影像擷取裝置的一功率模式,其中該第二影像擷取裝置採用比該第一影像擷取裝置更高功率的一模式、比該第一影像擷取裝置更高的一訊框率、比該第一影像擷取裝置更高的一解析度、比該第一影像擷取裝置更多數量的影像感測器、以及比與該第一影像擷取裝置相關聯的處理管道功率更高的一處理管道中的至少一個。
  7. 根據請求項6之裝置,其中為了增加該第二影像擷取裝置的該功率模式,該一或多個處理器被配置為初始化該第二影像擷取裝置。
  8. 根據請求項1之裝置,其中該關鍵訊框包含在該裝置處的事件資料中,並且其中該事件資料包含來自與該影像擷取裝置相關聯的偵測事件的多個關鍵訊框。
  9. 根據請求項8之裝置,其中該事件資料亦包含與該多個關鍵訊框之每一者關鍵訊框相關聯的偵測事件的一相應計數。
  10. 根據請求項8之裝置,其中該一或多個處理器被配置為決定該環境中發生一相關事件的一可能性,並且其中為了決定該環境中發生該事件的該可能性,該一或多個處理器被配置為: 基於該匹配和來自該多個關鍵訊框中的一或多個關鍵訊框來決定該環境中發生該事件的該可能性。
  11. 根據請求項9之裝置,其中該一或多個處理器被配置為決定該環境中發生一相關事件的一可能性,並且其中為了決定該環境中發生該事件的該可能性,該一或多個處理器被配置為基於該匹配和與該關鍵訊框相關聯的偵測事件的該相應計數來決定該環境中發生該事件的該可能性。
  12. 根據請求項9之裝置,其中該一或多個處理器被配置為: 回應於決定從該影像中提取的一或多個視覺特徵和與該關鍵訊框相關聯的一或多個視覺特徵之間的該匹配,增加該事件資料中與該關鍵訊框相關聯的偵測事件的該相應計數。
  13. 根據請求項1之裝置,其中該一或多個處理器被配置為: 經由該影像擷取裝置獲得圖示一不同環境的至少一部分的一不同影像; 決定從該不同影像提取的一或多個視覺特徵不匹配與該裝置處的事件資料中的任何關鍵訊框相關聯的視覺特徵;及 在對應於該不同影像的該事件資料中建立一新條目,該新條目是回應於決定從該不同影像提取的該一或多個視覺特徵不匹配與該事件資料中的任何關鍵訊框相關聯的視覺特徵以及決定在該不同影像中偵測到一相關事件、自該事件資料中的一相應關鍵訊框的最後一次建立以來經過的一時間、以及自該事件資料中的一特定關鍵訊框和由該影像擷取裝置擷取的一特定影像之間的一相應匹配最後一次被辨識出以來經過的一時間中的至少一個而建立的。
  14. 根據請求項13之裝置,其中該一或多個處理器被配置為: 決定在該不同影像中偵測到該相關事件; 基於決定在該不同影像中偵測到該相關事件,決定在該不同環境中發生一另外的相關事件的一第二可能性;及 基於在該不同環境中發生該另外的相關事件的該第二可能性來調整該影像擷取裝置的至少一個設置。
  15. 根據請求項1之裝置,其中該影像擷取裝置的該一或多個設置包括一訊框率,並且其中該一或多個處理器被配置為: 基於偵測事件的一預定訊框率和該環境中一相關事件發生的一可能性來決定該訊框率;及 保持該訊框率,直到至少一配置的時間段期滿或者決定由該影像擷取裝置擷取的一不同影像與該裝置處的事件資料中的至少一個關鍵訊框之間的一後續匹配。
  16. 根據請求項15之裝置,其中該一或多個處理器被配置為: 在該配置的時間段期滿或決定該後續匹配之後,將該影像擷取裝置的該訊框率調整為一不同訊框率。
  17. 根據請求項16之裝置,其中該不同訊框率包括一預設訊框率或基於該預定訊框率和偵測到與該後續匹配相關聯的一特定相關事件的一第二可能性而決定的一特定訊框率。
  18. 根據請求項1之裝置,其中該一或多個處理器被配置為: 基於該環境中發生一相關事件的一可能性,調整該裝置的一主動深度發送器、一音訊演算法、與一全球導航衛星(GNSS)系統、一無線定位區域網路連接和一全球定位系統(GPS)中的至少一個相關聯的一定位服務中的至少一個的一或多個不同設置。
  19. 根據請求項18之裝置,其中為了調整該一或多個不同設置,該一或多個處理器被配置為關閉或應用該主動深度發送器、該音訊演算法和該定位服務中的至少一個。
  20. 根據請求項1之裝置,其中該一或多個處理器被配置為: 週期性地減少與該裝置處的事件資料中的關鍵訊框條目相關聯的偵測事件的相應計數,偵測事件的該相應計數在該事件資料中的所有關鍵訊框條目上成比例地減少。
  21. 根據請求項1之裝置,其中該一或多個偵測事件包括對該影像圖示的一面部、該影像圖示的一手勢、該影像圖示的一情緒、該影像圖示的一場景、該影像圖示的一或多個人、該影像圖示的一動物、該影像圖示的一機器可讀代碼、該影像圖示的一紅外光、該影像圖示的一二維表面以及該影像圖示的本文中的至少一個的一偵測。
  22. 根據請求項1之裝置,其中該關鍵訊框是該裝置處的該事件資料的一部分,並且其中該事件資料包括複數個關鍵訊框。
  23. 根據請求項1之裝置,其中該一或多個處理器被配置為: 基於該匹配來決定該環境中發生一相關事件的一可能性;及 亦基於該環境中發生該相關事件的該可能性來調整該影像擷取裝置的該一或多個設置。
  24. 根據請求項23之裝置,其中該一或多個處理器亦被配置為: 亦基於來自該裝置的一非影像擷取裝置的資料來決定該事件的該可能性;或者 亦基於來自該裝置的該非影像擷取裝置的該資料來調整該影像擷取裝置的該一或多個設置。
  25. 根據請求項1之裝置,其中該裝置包括一行動設備。
  26. 根據請求項21之裝置,其中該裝置包括一增強現實設備。
  27. 一種用於獲得一影像的方法,該方法包括以下步驟: 經由一電子設備的一影像擷取裝置獲得圖示一環境的至少一部分的一影像; 決定從該影像中提取的一或多個視覺特徵和與同一或多個偵測事件相關聯的一關鍵訊框相關聯的一或多個視覺特徵之間的一匹配;及 基於該匹配,調整該影像擷取裝置的一或多個設置。
  28. 根據請求項27之方法,其中調整該影像擷取裝置的該一或多個設置包括修改該影像擷取裝置的一功率模式。
  29. 根據請求項28之方法,其中修改該影像擷取裝置的該功率模式包括修改該影像擷取裝置的一訊框率、該影像擷取裝置的一解析度、該影像擷取裝置的一圖元合併模式、該影像擷取裝置的一成像模式以及由該影像擷取裝置和該電子設備中的至少一個調用的影像感測器的數量中的至少一個。
  30. 根據請求項29之方法,其中修改該影像擷取裝置的該功率模式包括以下步驟: 基於決定該環境中發生一相關事件的一可能性低於一閾值,降低該訊框率、該解析度、該圖元合併模式、該成像模式和該調用的影像感測器的數量中的至少一個。
  31. 根據請求項29之方法,其中修改該影像擷取裝置的該功率模式包括以下步驟: 基於決定該環境中發生一相關事件的一可能性高於一閾值,增加該訊框率、該解析度、該圖元合併模式、該成像模式和該調用的一影像感測器的數量中的至少一個。
  32. 根據請求項27之方法,其中該影像擷取裝置包括一第一影像擷取裝置,並且其中該方法亦包括以下步驟: 基於決定在該環境中發生一相關事件的一可能性高於一閾值,增加該電子設備的一第二影像擷取裝置的一功率模式,其中該第二影像擷取裝置採用比該第一影像擷取裝置更高功率的一模式、比該第一影像擷取裝置更高的一訊框率、比該第一影像擷取裝置更高的一解析度、比該第一影像擷取裝置更多數量的影像感測器、以及比與該第一影像擷取裝置相關聯的一處理管道功率更高的一處理管道中的至少一個。
  33. 根據請求項32之方法,其中增加該第二影像擷取裝置的該功率模式包括初始化該第二影像擷取裝置。
  34. 根據請求項27之方法,其中該關鍵訊框包含在該電子設備處的事件資料中,並且其中該事件資料包含來自與該影像擷取裝置相關聯的偵測事件的多個關鍵訊框。
  35. 根據請求項34之方法,其中該事件資料亦包含與該多個關鍵訊框之每一者關鍵訊框相關聯的偵測事件的一相應計數。
  36. 根據請求項34之方法,亦包括以下步驟: 基於該匹配和來自該多個關鍵訊框中的一或多個關鍵訊框來決定該環境中發生一相關事件的一可能性。
  37. 根據請求項35之方法,亦包括基於該匹配和與該關鍵訊框相關聯的偵測事件的該相應計數來決定該環境中發生一相關事件的一可能性。
  38. 根據請求項35之方法,亦包括以下步驟: 回應於決定從該影像中提取的一或多個視覺特徵和與該關鍵訊框相關聯的一或多個視覺特徵之間的該匹配,增加該事件資料中與該關鍵訊框相關聯的偵測事件的該相應計數。
  39. 根據請求項27之方法,亦包括以下步驟: 經由該影像擷取裝置獲得圖示一不同環境的至少一部分的一不同影像; 決定從該不同影像提取的一或多個視覺特徵不匹配與該電子設備處的事件資料中的任何關鍵訊框相關聯的視覺特徵;及 在對應於該不同影像的該事件資料中建立一新條目,該新條目是回應於決定從該不同影像提取的該一或多個視覺特徵不匹配與該事件資料中的任何關鍵訊框相關聯的視覺特徵以及決定在該不同影像中偵測到一相關事件、自該事件資料中的一相應關鍵訊框的最後一次建立以來經過的一時間、以及自該事件資料中的一特定關鍵訊框和由該影像擷取裝置擷取的一特定影像之間的一相應匹配最後一次被辨識出以來經過的一時間中的至少一個而建立的。
  40. 根據請求項39之方法,亦包括以下步驟: 決定在該不同影像中偵測到該相關事件; 基於決定在該不同影像中偵測到該相關事件,決定在該不同環境中發生一另外的相關事件的一第二可能性;及 基於在該不同環境中發生該另外的相關事件的該第二可能性來調整該影像擷取裝置的至少一個設置。
  41. 根據請求項27之方法,其中該影像擷取裝置的該一或多個設置包括一訊框率,並且其中該方法亦包括以下步驟: 基於偵測事件的一預定訊框率和該環境中一相關事件發生的一可能性來決定該訊框率;及 保持該訊框率,直到至少一配置的時間段期滿或者決定由該影像擷取裝置擷取的一不同影像與該電子設備處的事件資料中的至少一個關鍵訊框之間的一後續匹配。
  42. 根據請求項41之方法,亦包括以下步驟: 在該配置的時間段期滿或決定該後續匹配之後,將該影像擷取裝置的該訊框率調整為一不同訊框率。
  43. 根據請求項42之方法,其中該不同訊框率包括一預設訊框率或基於該預定訊框率和偵測到與該後續匹配相關聯的一特定相關事件的一第二可能性而決定的一特定訊框率。
  44. 根據請求項27之方法,亦包括以下步驟: 基於該環境中發生一相關事件的一可能性,調整該電子設備的一主動深度發送器、一音訊演算法、與一全球導航衛星(GNSS)系統、一無線定位區域網路連接和一全球定位系統(GPS)中的至少一個相關聯的一定位服務中的至少一個的一或多個不同設置。
  45. 根據請求項44之方法,其中調整該一或多個不同設置包括關閉或應用該主動深度發送器、該音訊演算法和該定位服務中的至少一個。
  46. 根據請求項27之方法,亦包括以下步驟: 週期性地減少與該電子設備處的事件資料中的關鍵訊框條目相關聯的偵測事件的相應計數,偵測事件的該相應計數在該事件資料中的所有關鍵訊框條目上成比例地減少。
  47. 根據請求項27之方法,其中該一或多個偵測事件包括對該影像圖示的一面部、該影像圖示的一手勢、該影像圖示的一情緒、該影像圖示的一場景、該影像圖示的一或多個人、該影像圖示的一動物、該影像圖示的該機器可讀代碼、該影像圖示的一紅外光、該影像圖示的一二維表面以及該影像圖示的本文中的至少一個的偵測。
  48. 根據請求項27之方法,其中該關鍵訊框是該電子設備處的該事件資料的一部分,並且其中該事件資料包括複數個關鍵訊框。
  49. 根據請求項27之方法,亦包括以下步驟: 基於該匹配來決定該環境中發生一相關事件的一可能性;及 亦基於該環境中發生該相關事件的該可能性來調整該影像擷取裝置的該一或多個設置。
  50. 根據請求項49之方法,亦包括以下步驟 亦基於來自該電子設備的一非影像擷取裝置的資料來決定該事件的該可能性;或者 亦基於來自該電子設備的該非影像擷取裝置的該資料來調整該影像擷取設備的該一或多個設置。
TW111128142A 2021-08-05 2022-07-27 基於事件映射的相機設置調整 TW202309839A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/395,348 2021-08-05
US17/395,348 US11831973B2 (en) 2021-08-05 2021-08-05 Camera setting adjustment based on event mapping

Publications (1)

Publication Number Publication Date
TW202309839A true TW202309839A (zh) 2023-03-01

Family

ID=83004670

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111128142A TW202309839A (zh) 2021-08-05 2022-07-27 基於事件映射的相機設置調整

Country Status (5)

Country Link
US (2) US11831973B2 (zh)
KR (1) KR20240039130A (zh)
CN (1) CN117716697A (zh)
TW (1) TW202309839A (zh)
WO (1) WO2023015124A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3979618A1 (en) * 2020-10-01 2022-04-06 Axis AB A method of configuring a camera

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018533295A (ja) * 2015-09-25 2018-11-08 クゥアルコム・インコーポレイテッドQualcomm Incorporated ビデオ処理のためのシステムおよび方法
US20170094171A1 (en) 2015-09-28 2017-03-30 Google Inc. Integrated Solutions For Smart Imaging
US9918006B2 (en) 2016-05-20 2018-03-13 International Business Machines Corporation Device, system and method for cognitive image capture
US10757377B2 (en) 2016-06-01 2020-08-25 Pixart Imaging Inc. Surveillance system and operation method thereof
DE112018004953T5 (de) * 2017-10-25 2020-07-23 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren, programm und sich bewegender körper
JP2020173656A (ja) * 2019-04-11 2020-10-22 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2022081142A1 (en) * 2020-10-13 2022-04-21 Google Llc Distributed sensor data processing using multiple classifiers on multiple devices

Also Published As

Publication number Publication date
CN117716697A (zh) 2024-03-15
WO2023015124A1 (en) 2023-02-09
KR20240039130A (ko) 2024-03-26
US11831973B2 (en) 2023-11-28
US20230038159A1 (en) 2023-02-09
US20240056668A1 (en) 2024-02-15

Similar Documents

Publication Publication Date Title
US11381741B2 (en) CMOS-assisted inside-out dynamic vision sensor tracking for low power mobile platforms
US10755425B2 (en) Automatic tuning of image signal processors using reference images in image processing environments
US11450055B2 (en) Displaying method, animation image generating method, and electronic device configured to execute the same
TWI618409B (zh) 視頻中之局部變化偵測技術
WO2021077989A1 (zh) 推荐方法、装置、计算机设备及存储介质
US11682454B2 (en) Pose estimation in extended reality systems
US9922439B2 (en) Displaying method, animation image generating method, and electronic device configured to execute the same
US20240056668A1 (en) Camera setting adjustment based on event mapping
WO2023044233A1 (en) Region of interest capture for electronic devices
Yang et al. Visage: A face interpretation engine for smartphone applications
US20240098357A1 (en) Camera initialization for reduced latency
US20190096073A1 (en) Histogram and entropy-based texture detection
WO2023066373A1 (zh) 确定样本图像的方法、装置、设备及存储介质
US20230115371A1 (en) Efficient vision perception
WO2023059962A1 (en) Efficient vision perception
KR20240068636A (ko) 전자 디바이스들을 위한 관심 영역 캡처
TW202349210A (zh) 電子設備的熱管理
CN118043859A (zh) 高效视觉感知