TW202303522A - 使用多點深度感測系統資訊處理圖像資料 - Google Patents

使用多點深度感測系統資訊處理圖像資料 Download PDF

Info

Publication number
TW202303522A
TW202303522A TW111116425A TW111116425A TW202303522A TW 202303522 A TW202303522 A TW 202303522A TW 111116425 A TW111116425 A TW 111116425A TW 111116425 A TW111116425 A TW 111116425A TW 202303522 A TW202303522 A TW 202303522A
Authority
TW
Taiwan
Prior art keywords
depth
interest
region
image
determining
Prior art date
Application number
TW111116425A
Other languages
English (en)
Inventor
馮文春
李勉
高惠姍
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202303522A publication Critical patent/TW202303522A/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • H04N5/2226—Determination of depth image, e.g. for foreground/background separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G01S7/4815—Constructional features, e.g. arrangements of optical elements of transmitters alone using multiple transmitters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/958—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging
    • H04N23/959—Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging by adjusting depth of field during image capture, e.g. maximising or setting range based on scene characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

提供了用於處理一或多個圖像的系統和技術。例如，各個態樣包括一程序，該程序可包括決定與使用至少一個相機獲得的圖像中圖示的第一物件相對應的第一感興趣區域。第一感興趣區域與多點網格的至少一個元素相關聯，多點網格與多點深度感測系統相關聯。該程序可以包括決定第一物件的第一擴展感興趣區域。第一擴展感興趣區域與複數個元素相關聯，該複數個元素包括多點網格的至少一個元素和一或多個附加元素。該程序還可以包括，基於與第一擴展感興趣區域相關聯的複數個元素，決定代表至少一個相機與圖像中圖示的第一物件之間的第一距離的代表性深度資訊。

Description

使用多點深度感測系統資訊處理圖像資料
本案係關於影像處理。在一些示例中，本案的各個態樣係關於使用來自多點深度感測系統的資訊來處理圖像資料。
相機可以經配置有各種圖像擷取和影像處理設置，以改變圖像的外觀。一些影像處理操作是在擷取照片之前或擷取照片期間決定和應用的，諸如自動對焦、自動曝光和自動白平衡操作等。這些操作經配置為糾正及/或改變圖像的一或多個區域（例如，以確保這些區域的內容不模糊、不過曝或不失焦）。這些操作可由影像處理系統自動執行，或回應於使用者輸入而執行。
本文描述了使用來自多點深度感測系統的資訊處理圖像資料（例如，使用自動對焦、自動曝光、自動白平衡、自動變焦及/或其他操作）的系統和技術。根據至少一個示例，提供了一種處理圖像資料的方法。該方法可以包括：決定與使用至少一個相機獲得的圖像中圖示的第一物件相對應的第一感興趣區域，該第一感興趣區域與多點網格的至少一個元素相關聯，該多點網格與多點深度感測系統相關聯；決定第一物件的第一擴展感興趣區域，該第一擴展感興趣區域與複數個元素相關聯，該複數個元素包括多點網格中的至少一個元素和一或多個附加元素；並且基於與第一擴展感興趣區域相關聯的複數個元素，決定代表至少一個相機與圖像中圖示的第一物件之間的第一距離的代表性深度資訊。
在另一個示例中，提供了一種用於處理圖像資料的裝置。該裝置可以包括至少一個記憶體和與至少一個記憶體耦接的一或多個處理器（例如，在電路中實現）。該一或多個處理器經配置為：決定與使用至少一個相機獲得的圖像中圖示的第一物件相對應的第一感興趣區域，該第一感興趣區域與多點網格的至少一個元素相關聯，該多點網格與多點深度感測系統相關聯；決定第一物件的第一擴展感興趣區域，該第一擴展感興趣區域與複數個元素相關聯，該複數個元素包括多點網格中的至少一個元素和一或多個附加元素；並且基於與第一擴展感興趣區域相關聯的複數個元素，決定代表至少一個相機與圖像中圖示的第一物件之間的第一距離的代表性深度資訊。
在另一個示例中，提供了一種非暫時性電腦可讀取媒體，其上儲存有指令，當由一或多個處理器執行時，該指令使得該一或多個處理器：決定與使用至少一個相機獲得的圖像中圖示的第一物件相對應的第一感興趣區域，該第一感興趣區域與多點網格的至少一個元素相關聯，該多點網格與多點深度感測系統相關聯的；決定第一物件的第一擴展感興趣區域，該第一擴展感興趣區域與複數個元素相關聯，該複數個元素包括多點網格中的至少一個元素和一或多個附加元素；並且基於與第一擴展感興趣區域相關聯的複數個元素，決定代表至少一個相機與圖像中圖示的第一物件之間的第一距離的代表性深度資訊。
在另一個示例中，提供了一種用於處理圖像資料的裝置。該裝置包括：用於決定與使用至少一個相機獲得的圖像中圖示的第一物件相對應的第一感興趣區域的構件，該第一感興趣區域與多點網格的至少一個元素相關聯，該多點網格與多點深度感測系統相關聯；用於決定第一物件的第一擴展感興趣區域的構件，該第一擴展感興趣區域與複數個元素相關聯，該複數個元素包括多點網格中的至少一個元素和一或多個附加元素；及用於基於與第一擴展感興趣區域相關聯的複數個元素來決定代表至少一個相機與圖像中圖示的第一物件之間的第一距離的代表性深度資訊的構件。
在一些態樣中，上述的方法、裝置和電腦可讀取媒體可以包括：基於代表第一距離的代表性深度資訊處理圖像，其中處理圖像包括至少對圖像的第一感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
在一些態樣中，為了決定第一物件的第一擴展感興趣區域，上述方法、裝置和電腦可讀取媒體可以包括：決定第一感興趣區域的尺寸和第一感興趣區域相對於圖像中參考點的位置中的至少一個；並基於第一感興趣區域的尺寸和位置中的至少一個決定第一物件的第一擴展感興趣區域。
在一些態樣中，為了決定第一物件的第一擴展感興趣區域，上述方法、裝置和電腦可讀取媒體可以包括：基於第一感興趣區域的尺寸，決定第一物件的第一擴展感興趣區域。
在一些態樣中，為了決定第一物件的第一擴展感興趣區域，上述方法、裝置和電腦可讀取媒體可以包括基於第一感興趣區域的位置，決定第一物件的第一擴展感興趣區域。
在一些態樣中，為了決定第一物件的第一擴展感興趣區域，上述方法、裝置和電腦可讀取媒體可以包括：基於第一感興趣區域的尺寸和位置，決定第一物件的第一擴展感興趣區域。
在一些態樣中，為了決定第一物件的第一擴展感興趣區域，上述方法、裝置和電腦可讀取媒體可以包括：決定與多點網格的一或多個附加元素中的第一元素相關聯的第一深度，該第一元素與和第一感興趣區域相關聯的至少一個元素相鄰；決定第一深度和與第一感興趣區域相關聯的至少一個元素的深度之間的差異小於閾值差異；並且基於決定第一深度和與第一感興趣區域相關聯的至少一個元素的深度之間的差異小於閾值差異，將第一元素與第一擴展感興趣區域相關聯。
在一些態樣中，上述方法、裝置和電腦可讀取媒體可以進一步基於第一深度的置信度大於置信度閾值，將第一元素與第一擴展感興趣區域相關聯。
在一些態樣中，上述的方法、裝置和電腦可讀取媒體可以包括：決定與多點網格的一或多個附加元素中的第二元素相關聯的第二深度，該第二元素與一或多個附加元素中的第一元素相鄰；決定第二深度和第一深度之間的差異小於閾值差異；並且基於決定第二深度和第一深度之間的差異小於閾值差異，將第二元素與第一擴展感興趣區域相關聯。
在一些態樣中，上述的方法、裝置和電腦可讀取媒體可以包括：決定與多點網格的一或多個附加元素中的第二元素相關聯的第二深度，該第二元素與一或多個附加元素中的第一元素相鄰；決定第二深度和第一深度之間的差異大於閾值差異；並且基於決定第二深度和第一深度之間的差異大於閾值差異，將第二元素從第一擴展感興趣區域排除。
在一些態樣中，為了決定代表第一距離的代表性深度資訊，上述方法、裝置和電腦可讀取媒體可以包括：基於與第一擴展感興趣區域相關聯的複數個元素的深度值，決定第一擴展感興趣區域的代表性深度值。
在一些態樣中，該代表性深度值包括與第一擴展感興趣區域相關聯的複數個元素的深度值的平均。
在一些態樣中，上述的方法、裝置和電腦可讀取媒體可以包括：基於第一感興趣區域是針對該圖像決定的唯一感興趣區域，基於代表第一距離的代表性深度資訊處理該圖像。
在一些態樣中，為了基於代表第一距離的代表性深度資訊處理圖像，上述方法、裝置和電腦可讀取媒體可以包括至少對圖像的第一感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
在一些態樣中，上述的方法、裝置和電腦可讀取媒體可以包括：決定與圖像中圖示的第二物件相對應的第二感興趣區域，該第二感興趣區域與多點網格的至少一個附加元素相關聯，該多點網格與多點深度感測系統相關聯；決定第二物件的第二擴展感興趣區域，該第二擴展感興趣區域與複數個元素相關聯，該複數個元素包括多點網格的至少一個附加元素和第二一或多個附加元素；並且基於與第二擴展感興趣區域相關聯的複數個元素，決定代表至少一個相機與圖像中圖示的第二物件之間的第二距離的代表性深度資訊。
在一些態樣中，上述的方法、裝置和電腦可讀取媒體可以包括：基於代表第一距離的代表性深度資訊和代表第二距離的代表性深度資訊，決定組合的深度資訊。
在一些態樣中，為了決定組合的深度資訊，上述方法、裝置和電腦可讀取媒體可以包括決定代表第一距離的代表性深度資訊和代表第二距離的代表性深度資訊的加權平均值。
在一些態樣中，上述的方法、裝置和電腦可讀取媒體可以包括：基於組合的深度資訊處理圖像。
在一些態樣中，為了基於組合的深度資訊處理圖像，上述方法、裝置和電腦可讀取媒體可以包括至少對圖像的第一感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
在一些態樣中，多點深度感測系統包括發射器和接收器，該發射器包括複數個光源，該接收器經配置為接收由複數個光源發出的光的反射。在一些情況下，基於接收到的光的反射來決定代表性深度資訊。
根據至少一個附加示例，提供了一種處理圖像資料的方法。該方法可以包括：決定與使用至少一個相機獲得的圖像中圖示的至少一個物件相對應的感興趣區域，該感興趣區域與多點網格的複數個元素相關聯，該多點網格與多點深度感測系統相關聯；基於與複數個元素相關聯的深度資訊，決定感興趣區域是否包括多深度資訊；並且基於感興趣區域是否包括多深度資訊，決定代表至少一個相機與圖像中圖示的至少一個物件之間的距離的代表性深度資訊。
在另一個示例中，提供了一種用於處理圖像資料的裝置。該裝置可以包括至少一個記憶體和與至少一個記憶體耦接的一或多個處理器（例如，在電路中實現）。該一或多個處理器經配置為：決定與使用至少一個相機獲得的圖像中圖示的至少一個物件相對應的感興趣區域，該感興趣區域與多點網格的複數個元素相關聯，該多點網格與多點深度感測系統相關聯；基於與複數個元素相關聯的深度資訊，決定感興趣區域是否包括多深度資訊；並且基於感興趣區域是否包括多深度資訊，決定代表至少一個相機與圖像中圖示的至少一個物件之間的距離的代表性深度資訊。
在另一個示例中，提供了一種非暫時性電腦可讀取媒體，其上儲存有指令，當由一或多個處理器執行時，該指令使得該一或多個處理器：決定與使用至少一個相機獲得的圖像中圖示的至少一個物件相對應的感興趣區域，該感興趣區域與多點網格的複數個元素相關聯，該多點網格與多點深度感測系統相關聯；基於與複數個元素相關聯的深度資訊，決定感興趣區域是否包括多深度資訊；並且基於感興趣區域是否包括多深度資訊，決定代表至少一個相機與圖像中圖示的至少一個物件之間的距離的代表性深度資訊。
在另一個示例中，提供了一種用於處理圖像資料的裝置。該裝置包括：用於決定與使用至少一個相機獲得的圖像中圖示的至少一個物件相對應的感興趣區域的構件，該感興趣區域與多點網格的複數個元素相關聯，該多點網格與多點深度感測系統相關聯；用於基於與複數個元素相關聯的深度資訊來決定感興趣區域是否包括多深度資訊的構件；及用於基於感興趣區域是否包括多深度資訊來決定代表至少一個相機與圖像中圖示的至少一個物件之間的距離的代表性深度資訊的構件。
在一些態樣中，上述的方法、裝置和電腦可讀取媒體可以包括：根據與複數個元素相關聯的代表性深度資訊對複數個元素進行排序，其中複數個元素是從最小深度到最大深度進行排序。
在一些態樣中，為了決定感興趣區域是否包括多深度資訊，上述方法、裝置和電腦可讀取媒體可以包括：決定複數個元素的最小深度值與複數個元素的最大深度值之間的差異大於多深度閾值；並且基於決定最小深度值和最大深度值之間的差異大於多深度閾值，決定感興趣區域包括多深度資訊。
在一些態樣中，為了決定代表性深度資訊，上述方法、裝置和電腦可讀取媒體可以包括：選擇第二或第三小的深度值作為代表性深度資訊。
在一些態樣中，為了決定感興趣區域是否包括多深度資訊，上述方法、裝置和電腦可讀取媒體可以包括：決定複數個元素的最小深度值與複數個元素的最大深度值之間的差異小於多深度閾值；並且基於決定最小深度值和最大深度值之間的差異小於多深度閾值，決定感興趣區域不包括多深度資訊。
在一些態樣中，為了決定代表性深度資訊，上述方法、裝置和電腦可讀取媒體可以包括：決定與來自多點網格的複數個元素中的大多數元素相關聯的深度值；並且選擇深度值作為代表性深度資訊。
在一些態樣中，上述的方法、裝置和電腦可讀取媒體可以包括：基於代表距離的代表性深度資訊處理圖像，其中處理圖像包括至少對圖像的感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
在一些態樣中，多點深度感測系統包括發射器和接收器，該發射器包括複數個光源，該接收器經配置為接收由複數個光源發出的光的反射。在一些情況下，基於接收到的光的反射來決定代表性深度資訊。
在一些態樣中，上述裝置中的一或多個為以下設備或屬於以下設備的一部分：行動設備（例如，行動電話或所謂「智慧型電話」或其他行動設備）、可穿戴設備、擴展現實設備（例如，虛擬實境（VR）設備、增強現實（AR）設備或混合現實（MR）設備）、個人電腦、膝上型電腦、伺服器電腦、車輛（例如，車輛的計算設備）或其他設備。在一些態樣中，該裝置包括用於擷取一或多個圖像的一個相機或多個相機。在一些態樣中，該裝置還包括用於顯示一或多個圖像、通知及/或其他可顯示資料的顯示器。在一些態樣中，該裝置可以包括一或多個感測器，它們可用於決定裝置的位置及/或姿態、裝置的狀態，及/或用於其他目的。
本概述並非旨在標識所要求保護的標的的關鍵或基本特徵，也非旨在孤立地用於決定所要求保護的標的的範圍。應參考本專利的整個說明書的適當部分、任何或所有的附圖以及每項請求項來理解該標的。
在參考以下說明書、申請專利範圍和附圖後上述內容以及其他特徵和實施例將變得更加明顯。
在下文提供本案的某些態樣和實施例。可以獨立應用該些態樣和實施例中的一些，並且其中一些可以組合應用，這對於本領域的技藝人士來說是顯而易見的。在下文的描述中，為解釋的目的列出了具體的細節，以提供對本案的實施例的全面理解。然而，顯而易見的是，各種實施例可以在沒有這些具體細節的情況下實施。這些附圖和描述並不意味著是限制性的。
接下來的描述僅提供了示例實施例，並不旨在限制本案的範圍、適用性或配置。相反地，接下來對示例性實施例的描述將為本領域的技藝人士提供實現示例性實施例的實現描述。應當理解，在不偏離所附請求項中規定的本案的精神和範圍的情況下，可以對元素的功能和排列進行各種改變。
相機是一種接收光並使用圖像感測器擷取圖像訊框（諸如靜止圖像或視訊訊框）的設備。在本文可互換使用術語「圖像」、「圖像訊框」和「訊框」。相機可以包括處理器（諸如圖像信號處理器（ISP）），其可以接收一或多個圖像訊框並處理一或多個圖像訊框。例如，由相機感測器擷取的原始圖像訊框可以由ISP處理以產生最終圖像。由ISP進行的處理可以由被施加於所擷取的圖像訊框的複數個過濾器或處理塊執行，諸如去噪或雜訊過濾、邊緣增強、色彩平衡、對比度、亮度調整（諸如變暗或變亮）、色調調整等。影像處理塊或模組可以包括鏡頭/感測器雜訊校正、拜耳過濾器、去馬賽克、顏色轉換、圖像屬性的校正或增強/抑制、去噪過濾器、銳化過濾器等。
相機可以配置有各種圖像擷取及/或影像處理操作和設置。不同的設置導致圖像具有不同的外觀。一些相機操作是在擷取照片之前或擷取照片期間決定和應用的，諸如自動對焦（automatic-focus）（也稱為自動對焦（auto-focus））、自動曝光（automatic-exposure）（也稱為自動曝光（auto-exposure））和自動白平衡演算法（也稱為自動白平衡），統稱為「3A」或「3As」。在擷取圖像之前、擷取圖像期間或擷取圖像之後應用的附加相機操作包括涉及變焦（例如，放大或縮小）、ISO、光圈大小、f/stop、快門速度和增益的操作。其他相機操作可以配置圖像的後期處理，諸如改變對比度、亮度、飽和度、銳度、位準、曲線或顏色。
圖1是圖示圖像擷取和處理系統100的架構的方塊圖。圖像擷取和處理系統100包括各種元件，它們用於擷取和處理場景的圖像（例如，場景的圖像110）。圖像擷取和處理系統100可以擷取獨立的圖像（或照片）及/或可以擷取包括特定序列的多個圖像（或視訊訊框）的視訊。系統100的鏡頭115面對著場景110，並接收來自場景110的光。鏡頭115將光彎曲朝向圖像感測器130。由鏡頭115接收的光通過由一或多個控制機構120控制的光圈，並由圖像感測器130接收。
一或多個控制機構120可以基於來自圖像感測器130的資訊及/或基於來自影像處理器150的資訊來控制曝光、對焦及/或變焦。一或多個控制機構120可以包括多個機構和元件；例如，控制機構120可以包括一或多個曝光控制機構125A、一或多個對焦控制機構125B，及/或一或多個變焦控制機構125C。一或多個控制機構120還可以包括除圖示的彼等之外的附加控制機構，諸如控制類比增益、閃光燈、HDR、景深及/或其他圖像擷取屬性的控制機構。在一些情況下，一或多個控制機構120可以控制及/或實現「3A」影像處理操作。
控制機構120的對焦控制機構125B可以獲得對焦設置。在一些示例中，對焦控制機構125B將對焦設置儲存在記憶體暫存器中。基於對焦設置，對焦控制機構125B可以相對於圖像感測器130的位置調整鏡頭115的位置。例如，基於對焦設置，對焦控制機構125B可以藉由致動馬達或伺服電機將鏡頭115移動得更靠近圖像感測器130或更遠離圖像感測器130，從而調整對焦。在一些情況下，可在設備105A中包括附加鏡頭，諸如在圖像感測器130的每個光電二極體上方的一或多個微鏡片，它們在光到達光電二極體之前，各自將從鏡頭115接收的光彎曲朝向對應的光電二極體。對焦設置可以經由對比度偵測自動對焦（CDAF）、相位偵測自動對焦（PDAF）或它們的一些組合來決定。對焦設置可以使用控制機構120、圖像感測器130及/或影像處理器150來決定。對焦設置可以被稱為圖像擷取設置及/或影像處理設置。
控制機構120的曝光控制機構125A可以獲得曝光設置。在一些情況下，曝光控制機構125A將曝光設置儲存在記憶體暫存器中。基於該曝光設置，曝光控制機構125A可以控制光圈的大小（例如，光圈大小或f/stop）、光圈打開的時間長度（例如，曝光時間或快門速度）、圖像感測器130的靈敏度（例如，ISO速度或膠片速度）、由圖像感測器130施加的類比增益，或它們的任何組合。曝光設置可以被稱為圖像擷取設置及/或影像處理設置。
控制機構120的變焦控制機構125C可以獲得變焦設置。在一些示例中，變焦控制機構125C將變焦設置儲存在記憶體暫存器中。基於變焦設置，變焦控制機構125C可以控制包括鏡頭115和一或多個附加鏡頭的鏡頭元件的裝配（鏡頭裝配）的焦距。例如，變焦控制機構125C可以藉由致動一或多個馬達或伺服電機，使一或多個鏡頭相對於彼此移動，來控制鏡頭組件的焦距。變焦設置可以被稱為圖像擷取設置及/或影像處理設置。在一些示例中，鏡頭組件可以包括齊焦距變焦鏡頭或變焦距變焦鏡頭。在一些示例中，鏡頭裝配可以包括對焦鏡頭（在一些情況下可以是鏡頭115），其首先接收來自場景110的光，然後在光到達圖像感測器130之前，光在對焦鏡頭（例如，鏡頭115）和圖像感測器130之間藉由無焦距變焦系統。在一些情況下，無焦距變焦系統可以包括兩個焦距相等或相似（例如，在閾值差異內）的正鏡片（例如，會聚、凸透鏡），在它們之間有負鏡片（例如，發散、凹透鏡）。在一些情況下，變焦控制機構125C移動無焦距變焦系統中的一或多個鏡片，諸如負鏡片和正鏡片中的一個或兩者。
圖像感測器130包括光電二極體或其他光敏元件的一或多個陣列。每個光電二極體測量最終與圖像感測器130產生的圖像中的特定像素對應的光量。在一些情況下，不同的光電二極體可以被不同顏色的濾光片覆蓋，並因此可以測量與覆蓋光電二極體的濾光片顏色相匹配的光。例如，拜耳顏色濾光片包括紅色濾光片、藍色濾光片和綠色濾光片，其中圖像的每個像素都是基於來自覆蓋在紅色濾光片中的至少一個光電二極體的紅光資料、來自覆蓋在藍色濾光片中的至少一個光電二極體的藍光資料以及來自覆蓋在綠色濾光片中的至少一個光電二極體的綠光資料而產生。其他類型的顏色濾光片可以使用黃色、品紅色及/或青色（也被稱為「翡翠色」）濾光片，代替或補充紅色、藍色及/或綠色濾光片。一些圖像感測器可能完全沒有顏色濾光片，而是在整個像素陣列中使用不同的光電二極體（在一些情況下是垂直堆疊的）。整個像素陣列中的不同光電二極體可以具有不同的光譜靈敏度曲線，因此對應於不同波長的光。單色圖像感測器也可能缺乏顏色濾光片，因此缺乏色彩深度。
在一些情況下，圖像感測器130可以替代地或附加地包括不透明及/或反射性遮罩，這些遮罩可以阻擋光在某些時間及/或從某些角度到達某些光電二極體或某些光電二極體的部分（它們可用於相位偵測自動對焦（PDAF））。圖像感測器130還可以包括類比增益放大器以放大由光電二極體輸出的類比信號，及/或類比數位轉換器（ADC）以將光電二極體輸出的（及/或由類比增益放大器放大的）類比信號轉換為數位信號。在一些情況下，關於一或多個控制機構120所討論的某些元件或功能可以替代或附加地包括在圖像感測器130中。圖像感測器130可以是電荷耦合裝置（CCD）感測器、電子倍增CCD（EMCCD）感測器、主動像素感測器（APS）、互補金屬氧化物半導體（CMOS）、N型金屬氧化物半導體（NMOS）、混合CCD/CMOS感測器（例如，sCMOS），或它們的一些其他組合。
影像處理器150可以包括一或多個處理器，諸如一或多個圖像信號處理器（ISP）（包括ISP 154）、一或多個主機處理器（包括主機處理器152），及/或一或多個關於計算系統1500討論的任何其他類型的處理器1510。主機處理器152可以是數位訊號處理器（DSP）及/或其他類型的處理器。在一些實現中，影像處理器150是單個積體電路或晶片（例如，被稱為片上系統或SoC），包括主機處理器152和ISP 154。在一些情況下，晶片還可以包括一或多個輸入/輸出埠（例如，輸入/輸出（I/O）埠156）、中央處理單元（CPU）、圖形處理單元（GPU）、寬頻數據機（例如，3G、4G或LTE、5G等）、記憶體、連線性元件（例如，藍芽 TM、全球定位系統（GPS）等）、它們的任何組合及/或其他元件。I/O埠156可以包括根據一或多個協定或規格的任何合適的輸入/輸出埠或介面，諸如積體電路間2（I2C）介面、積體電路間3（I3C）介面、串列周邊介面（SPI）介面、串列通用輸入/輸出（GPIO）介面，行動工業處理器介面（MIPI）（諸如MIPI CSI-2實體（PHY）層埠或介面）、進階高效能匯流排（AHB）匯流排，它們的任何組合，及/或其他輸入/輸出埠。在說明性的示例中，主機處理器152可以使用I2C埠與圖像感測器130通訊，而ISP 154可以使用MIPI埠與圖像感測器130通訊。
影像處理器150可以執行多個任務，諸如去馬賽克、色彩空間轉換、圖像訊框降低取樣、像素內插、自動曝光（AE）控制、自動增益控制（AGC）、CDAF、PDAF、自動白平衡、合併圖像訊框以形成HDR圖像、圖像辨識、物件辨識、特徵辨識、接收輸入、管理輸出、管理記憶體，或它們的一些組合。影像處理器150可以在隨機存取記憶體（RAM）140/1520、唯讀記憶體（ROM）145/1525、快取記憶體1512、儲存單元1515、另一個儲存裝置1530，或它們的一些組合中儲存圖像訊框及/或處理過的圖像。
各種輸入/輸出（I/O）設備160可以被連接到影像處理器150。I/O設備160可以包括顯示螢幕、鍵盤、小鍵盤、觸控式螢幕、觸控板、觸摸感應表面、印表機、任何其他輸出設備1535、任何其他輸入裝置1545，或它們的一些組合。在一些情況下，可以藉由I/O設備160的實體鍵盤或小鍵盤，或藉由I/O設備160的觸控式螢幕的虛擬鍵盤或小鍵盤向影像處理設備105B輸入字幕。I/O 160可以包括一或多個埠、插孔或其他連接器，其使設備105B與一或多個周邊設備之間能夠進行有線連接，經由該些有線連接，設備105B可以從一或多個周邊設備接收資料及/或向一或多個周邊設備發送資料。I/O 160可以包括一或多個無線收發器，其使設備105B與一或多個周邊設備之間能夠進行無線連接，經由該些無線連接，設備105B可以從一或多個周邊設備接收資料及/或向一或多個周邊設備發送資料。周邊設備可以包括前面討論過的任何類型的I/O設備160，並且一旦它們被耦接到埠、插孔、無線收發器或其他有線及/或無線連接器，它們本身也可以被視為I/O設備160。
在一些情況下，圖像擷取和處理系統100可以是單個設備。在一些情況下，圖像擷取和處理系統100可以是兩個或多個獨立的設備，包括圖像擷取裝置105A（例如，相機）和影像處理設備105B（例如，與相機耦接的計算設備）。在一些實現中，圖像擷取裝置105A和影像處理設備105B可以耦接在一起，例如經由一或多個電線、電纜或其他電連接器，及/或經由一或多個無線收發器無線地耦接。在一些實現中，圖像擷取裝置105A和影像處理設備105B可以彼此斷開連接。
如圖1中所示，一條垂直虛線將圖1的圖像擷取和處理系統100分為兩部分，分別代表圖像擷取裝置105A和影像處理設備105B。圖像擷取裝置105A包括鏡頭115、控制機構120和圖像感測器130。影像處理設備105B包括影像處理器150（包括ISP 154和主機處理器152）、RAM 140、ROM 145，和I/O 160。在一些情況下，圖像擷取裝置105A中示出的某些組件，諸如ISP 154及/或主機處理器152，可以包括在圖像擷取裝置105A中。
圖像擷取和處理系統100可以包括電子設備，諸如行動或固定電話手持機（例如，智慧型電話、蜂巢式電話或類似的）、桌上型電腦、膝上型電腦或筆記型電腦、平板電腦、機上盒、電視、相機、顯示裝置、數位媒體播放機、視訊遊戲機、視訊串流設備、網際網路協定（IP）攝像頭，或任何其他合適的電子設備。在一些示例中，圖像擷取和處理系統100可以包括用於無線通訊的一或多個無線收發器，諸如蜂巢網路通訊、802.11 wi-fi通訊、無線區域網路（WLAN）通訊，或它們的一些組合。在一些實現中，圖像擷取裝置105A和影像處理設備105B可以是不同的設備。例如，圖像擷取裝置105A可以包括相機設備，而影像處理設備105B可以包括計算設備，諸如行動手持機、桌上型電腦或其他計算設備。
雖然圖像擷取和處理系統100被顯示為包括某些元件，但一般技藝人士將理解，圖像擷取和處理系統100可以包括比圖1中示出的那些更多的組件。圖像擷取和處理系統100的元件可以包括軟體、硬體或軟體和硬體的一或多個組合。例如，在一些實現中，圖像擷取和處理系統100的元件可以包括及/或可以使用電子電路或其他電子硬體來實現，其中可以包括一或多個可程式化的電子電路（例如，微處理器、GPU、DSP、CPU及/或其他合適的電子電路），及/或可以包括及/或使用電腦軟體、韌體或它們的任何組合來執行本文所述的各種操作。該軟體及/或韌體可以包括儲存在電腦可讀取儲存媒體上的一或多數指令，並可由實現圖像擷取和處理系統100的電子設備的一或多個處理器執行。
主機處理器152可以用新的參數設置來配置圖像感測器130（例如，經由外部控制介面，諸如I2C、I3C、SPI、GPIO及/或其他介面）。在一個說明性示例中，主機處理器152可以基於過去圖像訊框的曝光控制演算法的內部處理結果，更新由圖像感測器130使用的曝光設置。主機處理器152也可以動態地配置ISP 154的內部管道或模組的參數設置，以匹配來自圖像感測器130的一或多個輸入圖像訊框的設置，使得圖像資料被ISP 154正確處理。ISP 154的處理（或管道）塊或模組可以包括用於鏡頭/感測器雜訊校正、去馬賽克、顏色轉換、校正或增強/抑制圖像屬性、去噪過濾器、銳化過濾器等的模組。ISP 154的不同模組的設置可以由主機處理器152配置。每個模組可能包括大量的可調諧參數設置。此外，模組可能是相互依賴的，因為不同的模組可能影響圖像的相似態樣。例如，去噪和紋理校正或增強可能都會影響圖像的高頻態樣。因此，大量的參數被ISP用來根據擷取的原始圖像產生最終圖像。
在一些情況下，圖像擷取和處理系統100可以自動執行一或多個上述的影像處理功能。例如，一或多個控制機構120可以經配置為執行自動對焦操作、自動曝光操作及/或自動白平衡操作（如前述，被稱為「3As」）。在一些實施例中，自動對焦功能允許圖像擷取裝置105A在擷取希望的圖像之前自動對焦。存在各種自動對焦技術。例如，主動自動對焦技術經由相機的測距感測器決定相機和圖像主體之間的距離，通常是藉由發射紅外雷射或超聲波信號並接收這些信號的反射。此外，被動自動對焦技術使用相機自身的圖像感測器來對相機進行對焦，並因此不要求在相機中整合附加感測器。被動AF技術包括對比度偵測自動對焦（CDAF）、相位偵測自動對焦（PDAF），以及在一些情況下使用這兩者的混合系統。圖像擷取和處理系統100可以配備這些或任何附加類型的自動對焦技術。
圖2A和圖2B示出在圖像擷取和處理系統100執行自動對焦操作或其他「3A」操作時可擷取及/或處理的圖像的示例。具體地，圖2A和圖2B圖示利用固定感興趣區域（ROI）的自動對焦操作的示例。如圖2A中所示，系統100的圖像擷取裝置105A可以擷取圖像訊框202。在一些情況下，影像處理設備105B可以偵測到使用者已經選擇了在圖像訊框202內的位置208（例如，當圖像訊框202在預覽串流內顯示時）。例如，影像處理設備105B可以決定使用者已經提供了包括對應於位置208的像素或像素組的選擇的輸入（例如，使用手指、手勢、觸摸筆及/或其他合適的輸入機制）。在一些情況下，影像處理設備105B或者其他元件或系統可以執行物件偵測，以偵測位置208處的物件（例如，圖2A中圖示的戒指）。然後，影像處理設備105B可以決定包括位置208的ROI 204。影像處理器150可以對ROI 204內的圖像資料執行自動對焦操作、另一個「3A」操作（例如，自動曝光或自動白平衡）或其他操作（例如，自動變焦等）。在圖2A中所示的圖像訊框部分206中說明自動對焦操作的結果。
圖2B示出ROI 204的說明性示例。在圖2B的示例中，影像處理設備105B可以藉由將位置208在圖像訊框202的區域內居中來決定及/或產生ROI 204，該區域的尺寸由預定的寬度212和預定的高度210定義。在一些情況下，預定的寬度212和預定的高度210可以對應於預選的像素數（諸如10像素、50像素、100像素等）。另外或替代地，預定的寬度212和預定的高度210可以對應於在向使用者顯示圖像訊框202的顯示器內預選的距離（諸如0.5厘米、1厘米、2厘米等）。雖然圖2B圖示ROI 204為矩形，但ROI 204可以是任何替代的形狀，包括方形、圓形、橢圓形等。
在一些情況下，影像處理設備105B可以藉由存取及/或分析指示圖像訊框202內的像素的座標的資訊來決定與ROI 204的邊界相對應的像素。作為說明性示例，由使用者選擇的位置208可以對應於圖像訊框202內X軸座標（水平方向）為200，Y軸座標（垂直方向）為300的像素。如果影像處理設備105B經配置為產生高度為100像素、長度為200像素的固定ROI，則影像處理設備105B可以將ROI 204定義為具有對應於座標（150，400）、（250，400）、（150，200）和（250，200）的角的盒子。影像處理設備105B可以利用任何附加或替代技術來產生ROI。
在許多相機系統中，圖像擷取及/或處理操作（例如，自動對焦、自動曝光、自動白平衡、自動變焦及/或其他操作）可以利用來自深度感測系統的資訊。在一個說明性示例中，相機系統可以利用來自深度感測系統（其包括單點光源（例如，雷射））的資訊，以協助在低光照條件下的自動對焦操作（例如，勒克斯值（lux value）為20或以下的照明條件）。例如，在低光照條件下，由於缺乏由圖像感測器獲得的圖像資訊，經配置為執行PDAF的相機系統可能無法執行自動對焦。深度感測系統可以提供深度資訊，以在執行自動對焦操作時使用。使用單點光源的深度感測系統的示例可以包括基於飛行時間（TOF）的深度感測系統。
圖3是示出TOF系統300的示例的圖。TOF系統300可用於產生場景或場景的一部分的深度圖（未示出）（例如，場景中的反射發射到場景中的光的物件），或可用於其他用於測距的應用。TOF系統300可以包括發射器302和接收器308。發射器302可以被稱為「發射器」、「投射器」、「發送器」等等，不應局限於特定的發射組件。同樣，接收器308可以被稱為「偵測器」、「感測器」、「感測元件」、「光電偵測器」等等，而不應局限於特定的接收組件。在一個說明性示例中，TOF系統300可以用來產生場景中的物件306的深度圖。如圖3中所示，物件306被示出為反射由TOF系統300的發射器302發出的光，然後該光被TOF系統300的接收器308接收。由發射器302發出的光被示出為發射光304。被物件306反射的光被示出為反射312。
發射器302可以經配置為向場景上發射、發送或投射信號（諸如光或光場）。在一些情況下，發射器302可以向物件306的方向發射光（例如，發射光304）。雖然發射光304僅被示出為指向物件306，但發射器302的發射場或發送場可以擴展到物件306之外（例如，指向包括物件306的整個場景）。例如，習知的TOF系統發射器可以包括用於發射的固定焦距鏡頭，該固定焦距鏡頭定義了離開發射器的發射場。
發射光304包括以已知時間間隔（諸如定期）的光脈衝314。接收器308包括感測器310，其經配置為感測發射光304的反射312。反射312包括反射的光脈衝316。TOF系統300可以藉由比較發射光脈衝的時序318和反射光脈衝的時序320來決定光的往返時間322。物件306與TOF系統的距離可以計算為往返時間的一半乘以發射的速度（例如，光發射的光速）。
感測器310可以包括光電二極體陣列來測量或感測反射。或者，感測器310可以包括互補金屬氧化物半導體（CMOS）感測器或其他合適的光敏感測器，包括許多用於感測的像素（或光電二極體）或區域。在一些情況下，當脈衝的幅度大於閾值時，TOF系統300可以辨識由感測器310感測到的反射光脈衝316。例如，TOF系統300可以在沒有信號的情況下測量環境光和其他干擾的幅度。然後，TOF系統300可以決定進一步的測量是否比前一次測量大測量閾值。TOF系統的有效範圍的上限可以是一個距離，其中在感測反射之前，雜訊或信號的衰退導致訊雜比（SNR）過大，使感測器無法準確感測反射光脈衝316。為了減少干擾，接收器308可以在感測器310之前包括帶通濾光器，以過濾一些與發射光304不同波長的入射光。
然而，單點光源可能圖像內具有小的視場（FOV）覆蓋範圍。在一個說明性示例中，單點光源可以具有25°的對角線FOV（從左上角到右下角）。單點光源是嵌入到設備中的硬體元件（例如，雷射）。單點光源的FOV是基於光源在其嵌入的設備上或設備中的位置和方向。圖4A是顯示深度感測系統的單點光源的FOV 402的圖像400。如圖所示，相對於整個圖像400的尺寸，FOV 402很小。圖4A中還圖示ROI 404。如上面關於圖2A的描述，可以基於使用者提供相對於圖像400中圖示的人的面部的觸摸輸入、基於用於偵測人的面部的面部偵測，及/或使用其他資訊來決定ROI 404。如圖4A中所示，深度感測系統的單點光源的FOV 402覆蓋了圖像的中心，使其難以對偏離中心的物件執行圖像擷取或處理操作（例如，自動對焦、自動曝光、自動白平衡等）。例如，FOV 402並不覆蓋ROI 404的大部分。因此，單點光源不提供與圖像400中圖示的面部相對應的深度資訊。因此，可能無法對圖像的ROI 404內的部分正確執行圖像擷取或處理操作（例如，自動對焦、自動曝光等）。例如，在低光照條件下（例如，勒克斯值為20或更低），由圖像感測器（例如，由圖像感測器的圖像像素和PDAF像素）擷取的資訊可能缺乏用於對圖像400的ROI 404正確執行自動對焦的紋理，而來自單點光源的深度資訊可能無法提供ROI 404的深度資訊，在這種情況下深度資訊無法用於彌補圖像資訊的不足。
基於單個光源的深度感測系統的另一個問題是，其為影像處理操作（例如，自動對焦等）提供的選項較少。例如，由於單個光源只為每幅圖像提供單個深度值（例如，圖4A中所示的FOV 402的單個深度值），影像處理操作不能為多深度場景產生具有針對圖像中圖示的不同深度的不同的特徵（例如，處於第一深度的物件的第一級對焦、處於第二深度的第二物件的第二級對焦，以及背景的第三級對焦）的輸出圖像。
在一些情況下，深度感測系統可以利用多點光源來決定場景內的深度。基於多點的深度感測系統的示例包括具有多個光源的TOF系統和結構光系統。在一個說明性示例中，深度感測系統的多點光源可以包括發送器（或發射器），其配置為發射940奈米（nm）的紅外（或近紅外）光和包括單光雪崩二極體（SPADS）陣列的接收器。多點光源的示例可以包括高達400厘米（cm）的距離、61°的對角線FOV（例如，由穿過其發射光的鏡頭的設計來控制）、4x4區域（例如，在每秒60訊框（fps）的最大測距頻率下）或8x8區域（例如，在15fps的最大測距頻率下）的解析度（例如，以區域數表示），以及在微距下測距精度為15毫米（mm）並在其他距離上為5%。
圖5是對結構光系統500的圖示。結構光系統500可用於產生場景的深度圖（未畫出）（物件506A和506B在場景中處於不同的深度），或也可用於其他用於對物件506A和506B或場景的其他部分進行測距的應用。結構光系統500可以包括發射器502和接收器508。
發射器502可經配置為向場景（包括物件506A和506B）上投射空間圖案504。發射器502可以包括一或多個光源524（諸如雷射源）、鏡頭526和光調制器528。在一些實施例中，光調制器528包括一或多個繞射光學元件（DOE），以將來自一或多個光源524的發射（其可由鏡頭526引導到光調制器528）繞射為附加發射。光調制器528也可以調整發射的強度。另外或替代地，光源524可以經配置為調整發射的強度。
在發射器502的一些其他實現中，DOE可以直接耦接到光源（沒有鏡頭526）並經配置為將來自光源的發射光擴散到空間圖案504的至少一部分中。空間圖案504可以是發射器投射到場景上的固定的發射光圖案。例如，可以將DOE製造成使得空間圖案504中的黑點對應於DOE中的阻止由發射器502發射光源524的光的位置。以這種方式，在分析接收器508收到的任何反射時，可以知曉空間圖案504。發射器502可以藉由發射器502的光圈522將光以空間圖案發射到場景上（包括物件506A和506B）。
接收器508可包括光圈520，發射光的反射可藉由光圈520，由鏡頭530引導並擊中感測器510。感測器510可以經配置為從場景中偵測（或「感測」）空間圖案光的一或多個反射。如圖所示，發射器502可以定位在與接收器508相同的參考平面上，並且發射器502和接收器508可以由被稱為「基線」512的距離分開。
感測器510可以包括光電二極體陣列（諸如雪崩光電二極體）來測量或感測反射。陣列可與互補金屬氧化物半導體（CMOS）感測器耦接，包括與陣列中光電二極體數量相對應的數個像素或區域。陣列產生的複數個電脈衝可以觸發CMOS感測器的相對應的像素或區域，以提供對陣列感測到的反射的測量。替代地，感測器510可以是光敏CMOS感測器，以感測或測量包括所反射的編碼字元圖案的反射。邏輯上，CMOS感測器可以被劃分為像素組，該像素組與空間圖案504的位元大小或編碼字（位元片（patch of bits））大小相對應。
反射可以包括來自場景的不同物件或部分在不同深度（諸如物件506A和506B）的空間圖案光的多次反射。基於基線512、空間圖案504中感測光的位移和失真以及反射的強度，結構光系統500可用於決定來自結構光系統500的物件（諸如物件506A和506B）的一或多個深度和位置。藉由基於基線和距離的三角測量，結構光系統500可用於決定物件506A和506B之間不同的距離。例如，中心514和位置516（在該處，從物件506B反射的光照射到感測器510）之間的第一距離小於中心514和位置518（在該處，從物件506A反射的光照射到感測器510）之間的第二距離。從中心到感測器510的位置516和位置518的距離可以分別表示物件506A和506B的深度。第一距離小於第二距離可以表明，物件506B比物件506A離發射器502更遠。除了決定與感測器510的中心的距離外，計算還可以包括決定空間圖案504在擊中感測器510的光下的位移或失真，以決定深度或距離。
因此，與單點光源相比，多點光源提供了增加的FOV和更多的深度資訊。例如，圖4B是顯示了4x4的網格416（包括16個區域，也被稱為元素或單元）的圖像410。包括多點光源的深度感測系統可以為網格416內的每個元素或區域決定深度值。例如，網格416可以對應於深度圖，包括網格內每個元素或區域的深度值。與圖4A中圖示的單點光照系統的FOV 402相比，網格416的FOV要大得多。此外，相比於單點光源的每幅圖像只有一個深度值，網格416包括每幅圖像16個深度值（網格416內每個元素或區域一個深度值）。
系統、裝置、程序（也稱為方法）和電腦可讀取媒體（在本文中統稱為「系統和技術」）在本文中被描述用於使用來自包括多點光源（例如，一或多個多點雷射）的深度感測系統的資訊來處理圖像資料（例如，使用自動對焦、自動曝光、自動白平衡、自動變焦及/或其他操作）。
圖6A是示出使用多點深度資訊602和感興趣區域資訊604應用（一或多個）影像處理演算法609的程序600的示例的流程圖。（一或多個）影像處理演算法609可以包括一或多個自動對焦演算法、一或多個自動曝光演算法、一或多個自動白平衡演算法、一或多個自動變焦演算法及/或其他演算法或操作。圖7A是示出多點光源的網格706（對應於多點光源的FOV）的圖像700。使用來自具有多點光源的深度感測系統的深度資訊，程序600可以獲得偏離中心的物件（從圖像中心位移的物件）的距離或深度。例如，如圖7A中所示，ROI 704對應於圖像700中圖示的人的面部。網格706的兩個元素（也稱為區域或單元）覆蓋了ROI 704的大部分，並因此可以提供ROI 704的深度值。然而，由於人的面部尺寸較小，距多點光源的距離或深度可能不穩定。例如，在涵蓋面部的網格706的元素（或區域或單元）內的其他物件（例如，人身後的建築物）的深度可能會引入雜訊，並因此網格元素的深度值可能不會準確反映人與多點光源的真實深度或距離。
此外，使用多點光源，程序600和相關聯的系統可以獲得每個網格元素的深度或距離。通常，此類程序600和相關聯的系統使用多點網格（例如，圖4B中所示的網格416）中具有大多數的值的距離或深度作為輸出。然而，如果大多數距離或深度對應於場景中較遠的物件，則結果可能是有缺陷的，因為使用者可能期望當場景內具有不同深度的物件時，系統將聚焦於離相機最近的物件。甚至更進一步，雖然程序600和相關聯的系統可以獲得每個網格元素的距離或深度，但只有一個距離可以被選為輸出供（一或多個）影像處理演算法609使用。
如本文所述，在一些示例中，系統和技術可以執行一或多個操作來改善來自具有多點光源的深度感測系統的資訊在圖像擷取和處理操作中的使用。圖6B是示出多點深度感測控制器615的示例的圖，多點深度感測控制器615可以處理多點深度資訊612和感興趣區域資訊614，並輸出代表性深度資訊供（一或多個）影像處理演算法619使用。多點深度感測控制器615包括感興趣區域（ROI）控制器616、資料分析器617和多主體最佳化器618。
在一些態樣中，ROI控制器616可以擴展ROI（例如，圖7A的ROI 704），以便從具有多點光源的深度感測系統獲得附加深度或距離資訊。例如，如圖7B中所示，ROI控制器616可以決定圖像710的擴展ROI 714。基於擴展ROI 714，可以決定來自網格的附加元素的深度資訊（例如，網格706的中間四個元素的四個深度值，包括每個網格元素一個深度值）並輸出到資料分析器617。有了來自附加網格元素的深度資訊，可以向（一或多個）影像處理演算法619提供更穩定的深度結果（例如，與圖6A的示例相比，其中與ROI 704相關聯的有限的可用深度值可能不夠，如前述）。下文描述了決定擴展ROI的各種技術。在一些示例中，ROI控制器616僅擴展特定ROI（在本文稱為「特殊」ROI），諸如使用物件偵測決定的ROI（例如，使用面部偵測決定的面部ROI、使用車輛偵測決定的車輛ROI）、基於輸入的ROI（例如，基於觸摸輸入、手勢輸入、語音輸入及/或從使用者接收的其他輸入），及/或針對特定物件或圖像的部分決定的其他ROI。在此類示例中，ROI控制器616可以不擴展一般ROI，一般ROI被設置為圖像內的預設位置（例如，中心位置）。例如，當沒有偵測到物件時、當沒有收到使用者輸入時等，可以為圖像決定一般ROI。
在一些情況下，ROI控制器616可以基於圖像中ROI的尺寸及/或位置來決定擴展ROI。例如，第一物件的ROI可以擴展到涵蓋比小於第一物件的第二物件的ROI更多的網格元素。圖8A是示出擴展ROI 802的圖像810，擴展ROI 802包括為原始ROI尺寸的兩倍的尺寸（原始ROI在圖8A中用實線表示，而擴展ROI 812的擴展部分用虛線表示）。原始ROI在此也被稱為目標ROI。圖8B是示出擴展ROI 812的圖像810，擴展ROI 812包括為原始ROI的尺寸的四倍的尺寸（原始ROI在圖8B中用實線表示，而擴展ROI 812的擴展部分用虛線表示）。由於原始ROI分別對應於圖像800和圖像810中的人的面部，所以ROI 802（在圖8A中）和ROI 812（在圖8B中）在向下的方向擴展。例如，藉由將原始ROI在向下的方向擴展，人的身體的深度值（其深度值將在對應於人的面部的深度值的閾值差異內，諸如閾值差異為10）可用於提供更穩定的深度決定，供圖像擷取或處理操作（例如，自動對焦、自動曝光等）使用。在一些情況下，系統可以決定人是躺著、坐著及/或以非站立的方式定位，在這種情況下，ROI可以在除了向下以外的方向上擴展。雖然圖8A和圖8B的示例顯示ROI在向下的方向擴展，但ROI控制器616可以在任何方向（例如，左、右、向上及/或向下的方向）擴展ROI，諸如取決於物件的類型。
在一些情況下，ROI控制器616可以使用一或多個尺寸閾值（或範圍）來決定ROI擴展到的數量。在一個說明性示例中，如果ROI的尺寸小於第一尺寸閾值，則ROI控制器616可以在一或多個方向上（例如，向左、向右、向上及/或向下的方向，諸如在圖8A和圖8B中示出的ROI對應於人的面部時，在向下的方向）以倍數1擴展ROI（以包括原始ROI的一倍的尺寸）。此外或替代地，如果ROI的尺寸小於第二尺寸閾值並大於第一尺寸閾值，則ROI控制器616可以在一或多個方向上以倍數2擴展ROI（以包括原始ROI的兩倍的尺寸）。另外或替代地，如果ROI的尺寸小於第三尺寸閾值，並大於第一和第二尺寸閾值，則ROI控制器616可以在一或多個方向上以倍數3擴展ROI（以包括三倍的尺寸）。可以使用更少或更多的尺寸閾值，諸如取決於網格中的網格元素的數量。尺寸閾值可以包括多個像素（例如，100個像素、200個像素等）、絕對尺寸（例如，2.5厘米、5厘米等）及/或其他度量。
另外或替代地，ROI控制器616可以基於圖像中ROI相對於圖像中的參考點的位置來決定擴展ROI。參考點可以包括圖像的中心點、圖像的左上角點及/或圖像的其他點或部分。例如，參考圖8B作為說明性示例，原始ROI（擴展ROI 812的用實線圖示的部分）位於圖像810的中心點813的上方和左側。基於原始ROI位於圖像810的中心點813的上方和左側，可以假定圖像810中圖示了人身體的更多部分。因此，ROI控制器616可以（基於原始ROI位於圖像810的中心點813的上方和左側）藉由將原始ROI以倍數四擴展，使得ROI是其原始尺寸的四倍，從而產生擴展ROI 812。
在一些情況下，ROI控制器616可以基於ROI的尺寸和位置來擴展原始ROI。在一個示例中，小的（例如，小於一或多個尺寸閾值）、偏離中心的面部的ROI將具有較大的擴展。例如，再次參考圖8B作為說明性示例，基於原始ROI（用實線圖示）較小（例如，小於一或多個尺寸閾值）並且位於圖像810的中心點813的上方和左側，可以假定圖像810中圖示了人的身體的大部分。因此，ROI控制器616可以（基於原始ROI較小並且位於圖像810的中心點813的上方和左側）藉由將原始ROI以倍數四擴展來產生擴展ROI 812。
在一些態樣中，ROI控制器616可以基於目標物件的ROI附近的多點網格的座標相關性來擴展ROI。圖9是示出基於目標ROI附近的多點網格906的座標相關性擴展目標ROI 902（也被稱為原始ROI）的示例。例如，從目標ROI 902開始，ROI控制器616可以搜尋網格906中的相鄰元素（或單元或區域）（對應於與網格906相關聯的深度圖中的不同深度值），以決定分配給對應於目標ROI 902的多點網格的元素的深度（圖9中的值為50）和與對應於目標ROI 902的元素相鄰的元素的深度之間的差異。然後ROI控制器616可以決定該差異是否小於閾值差異。如果深度值的差異在閾值差異內（並且在一些情況下，深度值的置信度較高，諸如大於置信度閾值），則ROI控制器616將決定相鄰的元素是有效的擴展，因為深度值相似。在此類示例中，ROI控制器616將擴展ROI以包括相鄰的元素。如前述，在一些情況下，ROI控制器616可以基於特定深度值的置信度來決定是否擴展ROI，以確保特定網格元素的深度置信度是可信的或有效的。例如，除了決定原始或目標ROI深度值與相鄰網格元素的深度值之間的差異在閾值差異之內，ROI控制器616可以將（相鄰網格元素的）深度值的置信度與置信度閾值進行比較。在此類示例中，如果深度值的差異在閾值差異之內，並且相鄰元素深度值的置信度大於置信度閾值，則ROI控制器616將擴展ROI以包括相鄰元素。在一個說明性示例中，置信度閾值可以被設置為0.4、0.5、0.6或其他合適的值。
方向和搜尋範圍可以是可調諧的參數。例如，方向和搜尋範圍可以根據ROI的類型（例如，面部ROI、物件ROI、觸摸ROI等）、基於使用者的偏好及/或基於其他因素進行調整。例如，面部ROI、觸摸ROI、物件ROI（例如，對應於車輛的ROI）和其他種類的ROI可以具有不同的可調諧參數。在圖9的示例中，搜尋方向是在向下的方向上（例如，基於ROI是面部ROI，在這種情況下，使用者的身體很可能在向下的方向），並且閾值差異被設置為10的閾值。在示例中，ROI控制器616首先搜尋包括目標ROI 902的元素下面緊鄰的元素。因為相鄰元素的深度值為55，而包括目標ROI 902的元素的深度值為50，則該深度值在10的閾值差異內。因此，ROI控制器616可以決定擴展目標ROI 902，使之與相鄰的元素相關聯（在向下的方向上按倍數一增加目標ROI 902）。然後，ROI控制器616可以向相鄰元素的左邊、右邊和下面搜尋，以決定該些元素的深度值是否在包括目標ROI 902的元素的深度值的閾值差異內（或在一些情況下在相鄰元素的閾值差異內）。相鄰元素左邊、右邊和下面的元素的深度值都在包括目標ROI 902的元素的閾值差異內，在這種情況下，ROI控制器616可以擴展目標ROI 902，使其與相鄰元素相關聯（在左右方向上以倍數一增加目標ROI 902）。
ROI控制器616然後可以在其深度值在包括目標ROI 902的元素的深度值的閾值差異內（或在一些情況下在相對應的元素的閾值差異內）的每個元素的左邊、右邊和下面進行搜尋。在圖9的示例中，ROI控制器616最終產生擴展ROI 904，使得擴展ROI 904與圖9中所示的虛線內的網格元素的深度值相關聯。被圓圈包圍的深度值是那些不在包括目標ROI 902的元素的深度值的閾值差異內（或在一些情況下在相對應的元素的閾值差異內）的深度值。
資料分析器617可以分析與為圖像決定的擴展ROI相關聯的深度值（例如，由ROI控制器616輸出）或與為圖像決定的一般ROI（例如，中心ROI）相關聯的深度值，以便決定要輸出到多主體最佳化器618的單個或多個深度值。圖10是示出可由資料分析器617執行的程序1000的示例的圖。將關於圖11中所示的圖像（與多點網格1106疊加）來描述該程序1000。多點網格1106的每個單元可以與由多點深度感測系統決定的相對應的深度值相關聯。
在程序1000的方塊1002處，資料分析器617可以決定為圖像決定的ROI是一般ROI（例如，中心ROI）還是特殊ROI。特殊ROI可以包括使用物件偵測決定的ROI（例如，使用面部偵測決定的面部ROI、使用車輛偵測決定的車輛ROI）、基於輸入的ROI（例如，基於觸摸輸入、手勢輸入、語音輸入及/或從使用者收到的其他輸入），及/或針對特定物件或圖像的部分決定的其他ROI。如前述，在一些情況下，當沒有偵測到物件時、當沒有收到使用者輸入時等，可以為圖像決定一般ROI。
在方塊1004處，資料分析器617決定ROI是中心ROI。基於決定ROI是中心ROI，在方塊1006處，資料分析器617可以對網格的距離（或深度）進行排序。例如，資料分析器617可以將距離（或深度）按照從最近的距離（例如，最小的深度）到最遠的距離（例如，最大的深度）的順序進行排序。參考圖11作為說明性的示例，網格1106的網格元素（或單元或區域）從最小的深度到最大的深度進行排序，其中單元的順序從1到16以數字的形式顯示。在一些情況下，方塊1006是可選的，在這種情況下，資料分析器617在一些實現中可以不執行方塊1006的操作。
在方塊1008處，資料分析器617可以基於與來自多點深度感測系統的多點網格（例如，圖11中示出的網格1106）相關聯地提供的深度值來決定圖像中圖示的場景（例如，圖像中的ROI）是否是多深度場景。例如，資料分析器617可以決定來自多點網格中的元素的最小深度值和最大深度值之間的差異是否大於或小於多深度閾值。例如，多深度閾值可以被設置為100cm、150cm、200cm，或其他合適的值。資料分析器617可以基於決定最小深度值和最大深度值之間的差異大於多深度閾值來決定場景（例如，ROI）包括多深度資訊。如果資料分析器617決定最小深度值和最大深度值之間的差異小於多深度閾值，則資料分析器617可以決定場景（例如，ROI）不包括多深度資訊。
如果資料分析器617決定場景是多深度場景，則資料分析器617可以從多點網格的網格元素中選擇最近的距離（或最小的深度）之一。例如，資料分析器617可以使用可調諧的百分位選擇程序選擇最近的距離之一作為目標距離。在一個說明性示例中，可調諧的百分位選擇程序可以包括藉由調諧選擇第一小的深度（例如，與圖11中具有值1的網格元素相關聯的深度值）、第二小的深度（例如，與圖11中具有值2的網格元素相關聯的深度值）、第三小的深度（例如，與圖11中具有值3的網格元素相關聯的深度值）等。例如，選擇第三小的深度可以為圖像中圖示的多深度場景提供最佳的處理（例如，自動對焦、自動曝光）平衡。
如果資料分析器617決定場景不是多深度場景，則資料分析器617可以選擇一般距離。在一個示例中，一般距離可以包括在多點網格中具有大多數數的值的深度。例如，資料分析器617可以決定與來自多點網格的大多數元素相關聯的深度值，並可以選擇該深度值作為中心ROI的代表性深度資訊。
在方塊1014處，資料分析器617決定ROI是特殊ROI。如前述，ROI控制器616可以為特殊ROI產生擴展ROI 。在一些情況下，如本文所述，ROI控制器616可以為圖像中的多個物件決定的多個特殊ROI產生擴展ROI。基於決定ROI是特殊ROI，在方塊1016處，資料分析器617可以基於從ROI控制器616為圖像中偵測到的或以其他方式辨識的（例如，基於使用者輸入的）每個物件決定的擴展ROI，為每個ROI決定相應的距離。例如，資料分析器617可以基於與擴展ROI相關聯的複數個元素的深度值（例如，網格706中的與圖7B的ROI 714重疊的四個網格元素）來決定ROI的代表性深度值。在一個說明性示例中，代表性深度值是由擴展ROI所涵蓋的多點網格的元素的深度值的平均（例如，與網格706中的與圖7B的ROI 714重疊的四個網格元素相關聯的深度值的平均）。
資料分析器617可以將一或多個深度值（例如，在圖10的方塊1010、方塊1012或方塊1016決定的深度值或距離）輸出到多主體最佳化器618。例如，由於多點深度感測控制器615可以獲得整個多點網格的資訊，控制器615可以利用這些資訊來處理包括多個主體（也稱為物件）的場景。多主體最佳化器618可以在圖像中多個主體（或物件）被擷取時，使（一或多個）影像處理演算法（例如，自動對焦、自動曝光等）產生具有更好的主觀視覺品質的圖像。
如果來自資料分析器617的輸出包括單個主體或物件的深度資訊（包括距離或深度值），則多主體最佳化器618可以輸出距離或深度值供（一或多個）影像處理演算法619使用。
如果來自資料分析器617的輸出包括多個主體/物件的深度資訊（包括距離或深度值），則多主體最佳化器618可以分析資料分析器617為每個主體輸出的距離或深度值。圖12是包括相對於用於擷取圖像1200的相機（或相對於基於多點光源的深度感測系統）處於不同深度的多個主體（包括兩個人）的圖像1200。如圖12中所示，覆蓋在圖像1200上的多點網格1204（由具有多點光源的深度感測系統提供）的不同元素與兩個不同的主體相關聯。以粗實線勾勒的網格元素包括與最接近或靠近相機或深度感測系統的主體（稱為近處的主體）相關聯的深度值，而以虛線勾勒的網格元素包括與離相機或深度感測系統更遠的主體（稱為遠處的主體）相關聯的深度值。為遠處的主體決定第一擴展ROI 1202，為近處的主體決定第二擴展ROI 1203。
使用自動對焦作為圖像擷取或處理操作的示例，自動對焦一般都聚焦在具有更大ROI的近處的主體上。然而，這將使遠處的主體（綠色的）變得模糊。使用來自具有多點光源的深度感測系統的資訊（例如，被包括在多點網格1206中的深度或距離值），多主體最佳化器618可以考慮兩個主體來決定圖像中用於聚焦或其他圖像擷取或處理操作（例如，自動曝光、自動白平衡等）的位置。在一個示例中，多主體最佳化器618可以基於由資料分析器617為遠處的主體輸出的距離或深度資訊以及由資料分析器617為近處的主體輸出的距離或深度資訊來決定組合的距離或深度資訊。在一個說明性示例中，如圖12中所示，多主體最佳化器618可以藉由決定由資料分析器617針對遠處的主體輸出的深度或距離值和由資料分析器617針對近處的主體輸出的深度或距離值的加權平均來決定組合的距離或深度資訊。使用此類組合的距離或深度值可以使（一或多個）影像處理演算法619產生具有平衡結果的輸出圖像，其中兩個主體都具有令人愉悅的視覺特徵。
多主體最佳化器618可以輸出代表性深度資訊，代表用於擷取圖像的相機（或深度感測系統）與圖像中圖示的一或多個主體或物件之間的距離。（一或多個）影像處理演算法619可以使用從多主體最佳化器618輸出的代表性深度資訊，對圖像710的處於ROI 704或擴展ROI 714內的部分執行一或多個圖像擷取或處理操作（例如，自動對焦、自動曝光、自動白平衡、自動變焦及/或其他操作）。
圖13是示出使用本文所描述的一或多個技術來處理圖像資料的程序1300的示例的流程圖。在方塊1302處，程序1300包括決定與使用至少一個相機獲得的圖像中圖示的第一物件相對應的第一感興趣區域。第一感興趣區域與多點網格的至少一個元素（或單元或區域）相關聯，多點網格與多點深度感測系統相關聯。例如，參考圖7B作為說明性示例，原始或目標感興趣區域（ROI）（擴展ROI 714的最頂端部分）與網格706的兩個元素（網格706的第二行、第二列中的元素以及網格706的第二行、第三列中的元素）相關聯。
在方塊1304處，程序1300包括決定第一物件的第一擴展感興趣區域。第一擴展感興趣區域與複數個元素相關聯，該複數個元素包括多點網格的至少一個元素和一或多個附加元素。例如，再次參考圖7B作為說明性示例，擴展ROI 714與網格706的四個元素（網格706的第二行、第二列中的元素、網格706的第二行、第三列中的元素、網格706的第三行、第二列中的元素，以及網格706的第三行、第三列中的元素）相關聯。
在一些示例中，為了決定第一物件的第一擴展感興趣區域，程序1300可以包括決定第一感興趣區域的尺寸和第一感興趣區域相對於圖像中的參考點的位置中的至少一個。程序1300可以包括基於第一感興趣區域的尺寸和位置中的至少一個來決定第一物件的第一擴展感興趣區域。在上文關於圖8A和圖8B描述基於尺寸及/或位置決定擴展ROI的說明性示例。在一些情況下，為了決定第一物件的第一擴展感興趣區域，程序1300可以包括基於第一感興趣區域的尺寸來決定第一物件的第一擴展感興趣區域。在一些情況下，為了決定第一物件的第一擴展感興趣區域，程序1300可以包括基於第一感興趣區域的位置來決定第一物件的第一擴展感興趣區域。在一些情況下，為了決定第一物件的第一擴展感興趣區域，程序1300可以包括基於第一感興趣區域的尺寸和位置來決定第一物件的第一擴展感興趣區域。
在一些態樣中，程序1300可以基於目標ROI附近的多點網格的座標相關性來決定第一擴展感興趣區域。基於目標ROI附近的多點網格的座標相關性來決定擴展ROI的說明性示例在上面關於圖9的描述。例如，為了決定第一物件的第一擴展感興趣區域，程序1300可以包括決定與多點網格的一或多個附加元素中的第一元素相關聯的第一深度。第一元素與與第一感興趣區域相關聯的至少一個元素相鄰。程序1300可以包括決定第一深度和與第一感興趣區域相關聯的至少一個元素的深度之間的差異小於閾值差異。程序1300還可以包括基於決定第一深度和與第一感興趣區域相關聯的至少一個元素的深度之間的差異小於閾值差異，將第一元素與第一擴展感興趣區域相關聯。在一些態樣中，程序1300可以進一步基於第一深度的置信度大於置信度閾值，將第一元素與第一擴展感興趣區域相關聯。
在一些示例中，程序1300可以包括決定與多點網格的一或多個附加元素中的第二元素相關聯的第二深度。第二元素與一或多個附加元素中的第一元素相鄰。程序1300可以包括決定第二深度和第一深度之間的差異小於閾值差異。程序1300還可以包括基於決定第二深度和第一深度之間的差異小於閾值差異，將第二元素與第一擴展感興趣區域相關聯。
在一些態樣中，程序1300可以包括決定與多點網格的一或多個附加元素中的第二元素相關聯的第二深度。第二元素與一或多個附加元素中的第一元素相鄰。程序1300可以包括決定第二深度和第一深度之間的差異大於閾值差異。程序1300還可以包括基於決定第二深度和第一深度之間的差異大於閾值差異，將第二元素從第一擴展感興趣區域排除。
在方塊1306處，程序1300包括基於與第一擴展感興趣區域相關聯的複數個元素，決定代表至少一個相機與圖像中圖示的第一物件之間的第一距離的代表性深度資訊。在一些情況下，程序1300可以包括基於代表第一距離的代表性深度資訊來處理圖像。例如，處理圖像可以包括對圖像的至少第一感興趣區域執行自動曝光、自動對焦、自動白平衡、自動變焦及/或（一或多個）其他操作。在一些態樣中，多點深度感測系統包括發射器和接收器，發射器包括複數個光源，接收器經配置為接收由複數個光源發出的光的反射。在一些情況下，基於接收到的光的反射來決定代表性深度資訊。
在一些情況下，為了決定代表第一距離的代表性深度資訊，程序1300可以包括基於與第一擴展感興趣區域相關聯的複數個元素的深度值來決定第一擴展感興趣區域的代表性深度值。在一些態樣中，代表性深度值包括與第一擴展感興趣區域相關聯的複數個元素的深度值的平均。
在一些態樣中，程序1300可以包括基於第一感興趣區域是針對圖像決定的唯一感興趣區域，基於代表第一距離的代表性深度資訊來處理該圖像。例如，程序1300可以包括決定第一感興趣區域是唯一感興趣區域，並且基於第一感興趣區域是針對圖像決定的唯一感興趣區域，程序1300可以基於代表第一距離的代表性深度資訊來處理圖像。
在一些態樣中，程序1300可以包括決定與圖像中圖示的第二物件相對應的第二感興趣區域。第二感興趣區域與多點網格的至少一個附加元素相關聯，多點網格與多點深度感測系統相關聯。程序1300可以包括決定第二物件的第二擴展感興趣區域。第二擴展感興趣區域與複數個元素相關聯，包括多點網格的至少一個附加元素和第二一或多個附加元素。程序1300可以包括基於與第二擴展感興趣區域相關聯的複數個元素，決定代表至少一個相機和圖像中圖示的第二物件之間的第二距離的代表性深度資訊。在一些情況下，程序1300可以包括基於代表第一距離的代表性深度資訊和代表第二距離的代表性深度資訊來決定組合的深度資訊。在一些情況下，為了決定組合的深度資訊，程序1300可以包括決定代表第一距離的代表性深度資訊和代表第二距離的代表性深度資訊的加權平均。
在一些態樣中，該程序1300可以包括基於組合的深度資訊來處理圖像。在一些情況下，為了基於組合的深度資訊來處理圖像，程序1300可以包括對圖像的至少第一感興趣區域執行自動曝光、自動對焦、自動白平衡、自動變焦及/或（一或多個）其他操作。
圖14是圖示使用本文描述的一或多個技術來處理圖像資料的程序1400的另一個示例的流程圖。在方塊1402處，程序1400包括決定與使用至少一個相機獲得的圖像中圖示的至少一個物件相對應的第一感興趣區域。該感興趣區域與複數點網格的複數個元素相關聯，該多點網格與多點深度感測系統相關聯。
在方塊1404處，程序1400包括基於與複數個元素相關聯的深度資訊決定該感興趣區域是否包括多深度資訊。
在方塊1406處，程序1400包括基於該感興趣區域是否包括多深度資訊，決定代表至少一個相機與圖像中圖示的至少一個物件之間的距離的代表性深度資訊。在一些態樣中，程序1400可以包括基於代表距離的代表性深度資訊來處理圖像。在一些情況下，為了處理圖像，程序1400可以包括對圖像的至少感興趣區域進行自動曝光、自動對焦、自動白平衡、自動縮放及/或（一或多個）其他操作。在一些示例中，多點深度感測系統包括發射器和接收器，發射器包括複數個光源，接收器經配置為接收由複數個光源發出的光的反射。在一些情況下，基於接收到的光的反射來決定代表性深度資訊。
在一些情況下，程序1400可以包括根據與複數個元素相關聯的代表性深度資訊對複數個元素進行排序。例如，程序1400可以將複數個元素從最小的深度到最大的深度進行排序（例如，如圖11中所示和關於圖11描述的）。
在一些示例中，為了決定感興趣區域是否包括多深度資訊，程序1400可以包括決定複數個元素的最小深度值和複數個元素的最大深度值之間的差異大於多深度閾值（例如，100cm、150cm、200cm或其他合適的值）。程序1400可以包括基於決定最小深度值和最大深度值之間的差異大於多深度閾值來決定感興趣區域包括多深度資訊。在此類示例中，為了決定代表性深度資訊，程序1400可以包括選擇第二或第三小的深度值作為代表性深度資訊（例如，根據上文關於圖6和圖11描述的可調諧百分位選擇程序）。
在一些示例中，為了決定感興趣區域是否包括多深度資訊，程序1400可以包括決定複數個元素的最小深度值和複數個元素的最大深度值之間的差異小於多深度閾值。程序1400可以包括基於決定最小深度值和最大深度值之間的差異小於多深度閾值，決定感興趣區域不包括多深度資訊。在此類示例中，為了決定代表性深度資訊，程序1400可以包括決定與來自多點網格的複數個元素中的大多數元素相關聯的深度值。該程序1400可以包括選擇深度值作為代表性深度資訊。
在一些示例中，本文描述的程序（例如，程序1000、程序1300、程序1400及/或本文描述的其他程序）可由計算設備或裝置（例如，圖6B的多點深度感測控制器、圖1的圖像擷取和處理系統100、具有圖15的計算系統1500的計算設備或其他設備）執行。例如，具有圖15中所示的計算架構的計算設備可以包括圖6B的多點深度感測控制器的元件，並且可以實現圖10、圖13及/或圖14的操作。
計算設備可以包括任何合適的設備，諸如行動設備（例如，行動電話）、桌上型計算設備、平板計算設備、可穿戴設備（例如，VR頭戴組、AR頭戴、AR眼鏡、聯網的手錶或智慧手錶，或其他可穿戴設備）、伺服器電腦、自主車輛或自主車輛的計算設備、機器人設備、電視，及/或任何其他具有資源能力以執行本文描述程序的計算設備，包括程序1000、程序1300及/或程序1400。在一些情況下，計算設備或裝置可以包括各種元件，諸如一或多個輸入裝置、一或多個輸出設備、一或多個處理器、一或多個微處理器、一或多個微電腦、一或多個相機、一或多個感測器及/或（一或多個）其他元件，它們經配置為執行本文描述的操作或流程步驟。在一些示例中，計算設備可以包括顯示器、經配置為通訊及/或接收資料的網路介面、它們的任何組合及/或（一或多個）其他元件。網路介面可以經配置為通訊及/或接收基於網際網路協定（IP）的資料或其他類型的資料。
計算設備的元件可以以電路實現。例如，元件可以包括及/或可以使用電子電路或其他電子硬體來實現，其中可以包括一或多個可程式化的電子電路（例如，微處理器、圖形處理單元（GPU）、數位訊號處理器（DSP）、中央處理器（CPU）及/或其他合適的電子電路），及/或可以包括及/或使用電腦軟體、韌體或它們的任何組合實現來執行本文描述的各種操作。
程序1000、程序1300和程序1400被示出為邏輯流程圖，它們的操作代表了可以在硬體、電腦指令或它們的組合中實現的操作序列。在電腦指令的上下文中，這些操作代表了儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令，當由一或多個處理器執行，該指令執行所述的操作。大體上，電腦可執行指令包括執行特定功能或實現特定資料類型的常式、程式、物件、元件、資料結構等。描述操作的順序不旨在被解釋為限制，並且任何數量的所描述的操作可以以任何順序及/或並行地組合以實現程序。
另外，程序1000、程序1300、程序1400及/或本文描述的其他程序可以在配置有可執行指令的一或多個電腦系統的控制下執行，並且可以作為在一或多個處理器上共同執行的代碼（例如，可執行指令、一或多個電腦程式或一或多個應用程式）由硬體或它們的組合來實現。如前述，代碼可以儲存在電腦可讀或機器可讀取的儲存媒體上，例如以電腦程式的形式儲存，其包括可由一或多個處理器執行的複數數指令。電腦可讀或機器可讀儲存媒體可以是非暫時的。
圖15是示出實現本技術某些態樣的系統的示例的圖。具體地，圖15圖示計算系統1500的示例，其可以是例如構成內部計算系統、遠端計算系統、相機的任何計算設備或其中系統的元件使用連接1505彼此通訊的任何元件。連接1505可以是使用匯流排的實體連接，或直接連接到處理器1510，諸如在晶片組架構中。連接1505也可以是虛擬連接、網路連接或邏輯連接。
在一些實施例中，計算系統1500是分散式系統，其中本案中描述的功能可以分佈在一個資料中心、多個資料中心、同級點網路等內。在一些實施例中，一或多個所描述的系統元件代表許多此類元件，每個元件都執行對於該元件所描述的功能的部分或全部。在一些實施例中，元件可以是實體設備或虛擬裝置。
示例系統1500包括至少一個處理單元（CPU或處理器）1510和連接1505，連接1505將包括系統記憶體1515（諸如唯讀記憶體（ROM）1520和隨機存取記憶體（RAM）1525）的各種系統元件耦接到處理器1510。計算系統1500可以包括與處理器1510直接連接、接近或整合為處理器一部分的高速記憶體的快取記憶體1512。
處理器1510可以包括任何通用處理器和硬體服務或軟體服務（諸如儲存在儲存裝置1530中的服務1532、1534和1536）（經配置為控制處理器1510），以及軟體指令被合併到實際處理器設計中的專用處理器。處理器1510本質上可以是一個完全獨立的計算系統，包含多個核心或處理器、匯流排、記憶體控制器、快取記憶體等。多核處理器可以是對稱的或不對稱的。
為了實現使用者互動，計算系統1500包括輸入裝置1545，其可以代表任意數量的輸入機構，諸如用於語音的麥克風、用於手勢或圖形輸入的觸控式螢幕、鍵盤、滑鼠、運動輸入、語音等。計算系統1500還可以包括輸出設備1535，其可以是若干輸出機構中的一或多個。在一些情況下，多模式系統能夠使使用者提供多種類型的輸入/輸出來與計算系統1500進行通訊。計算系統1500可以包括通訊介面1540，其一般可以支配和管理使用者輸入和系統輸出。通訊介面可使用有線及/或無線收發器執行或促進接收及/或發送有線或無線通訊，包括利用以下的通訊：音訊插孔/插頭、麥克風插孔/插頭、通用序列匯流排（USB）埠/插頭、Apple®Lightning®埠/插頭、乙太網路埠/插頭、光纖埠/插頭、專有有線埠/插頭、藍芽®無線信號傳輸、藍芽®低功率（BLE）無線信號傳輸、IBEACON®無線信號傳輸、射頻辨識（RFID）無線信號傳輸、近場通訊（NFC）無線信號傳輸、專用短程通訊（DSRC）無線信號傳輸、802.11 Wi-Fi無線信號傳輸、無線區域網路（WLAN）信號傳輸、可見光通訊（VLC）、全球互通微波存取性（WiMAX）、紅外（IR）通訊無線信號傳輸、公用交換電話網絡（PSTN）信號傳輸、整合式服務數位網路絡（ISDN）信號傳輸、3G/4G/5G/LTE蜂巢資料網路無線信號傳輸、ad-hoc網路信號傳輸、無線電波信號傳輸、微波信號傳輸、紅外信號傳輸、可見光信號傳輸、紫外光信號傳輸、沿電磁頻譜的無線信號傳輸，或它們的組合。通訊介面1540還可以包括一或多個全球導航衛星系統（GNSS）接收器或收發器，它們用於基於從與一或多個GNSS系統相關聯的一或多個衛星接收到的一或多個信號來決定計算系統1500的位置。GNSS系統包括但不限於基於美國的全球定位系統（GPS）、基於俄羅斯的全球導航衛星系統（GLONASS）、基於中國的北斗導航衛星系統（BDS）和基於歐洲的伽利略GNSS。對任何特定硬體佈置的操作沒有限制，並因此在開發程序中，本文的基本特徵可以很容易地替代改進的硬體或韌體佈置。
儲存裝置1530可以是非揮發性及/或非暫時性及/或電腦可讀儲存裝置，並且可以是硬碟或其他類型的電腦可讀取媒體，其可以儲存電腦可存取的資料，諸如磁帶盒（cassette）、快閃記憶卡、固態儲存裝置、數位多功能磁片、盒式磁帶（cartridge）、軟碟、軟碟、硬碟、磁帶、磁條（strip/stripe）、任何其他磁性儲存媒體、快閃記憶體、憶阻記憶體、任何其他固態記憶體、壓縮磁碟唯讀記憶體（CD-ROM）光碟、可重寫壓縮磁碟（CD）光碟、數位視訊盤（DVD）光碟、藍光光碟（BDD）光碟、全息光碟、其他光學媒體、安全數位（SD）卡，微型安全數位（microSD）卡、記憶棒（Memory Stick®）卡、智慧卡晶片、EMV晶片、用戶辨識模組（SIM）卡、mini/micro/nano/pico SIM卡、另一種積體電路（IC）晶片/卡、隨機存取記憶體（RAM）、靜態RAM（SRAM）、動態RAM（DRAM）、唯讀記憶體（ROM）、可程式化唯讀記憶體（PROM）、可抹除可程式化唯讀記憶體（EPROM）、電子可抹除可程式化唯讀記憶體（EEPROM）、快閃記憶體EPROM（FLASHPROM）、快取記憶體（L1/L2/L3/L4/L5/L#）、電阻式隨機存取記憶體（RRAM/ReRAM）、相變記憶體（PCM）、自旋傳遞轉矩RAM（STT-RAM）、另一種儲存晶片或盒，及/或它們的組合。
儲存裝置1530可以包括軟體服務、伺服器、服務等，當定義這種軟體的代碼由處理器1510執行時，其使系統執行一種功能。在一些實施例中，執行特定功能的硬體服務可以包括儲存在電腦可讀取媒體中的軟體元件，其與執行該功能所需的硬體元件（諸如處理器1510、連接1505、輸出設備1535等）相連接。
如本文所用的，術語「電腦可讀取媒體」包括但不限於可攜式或非可攜式儲存裝置、光學儲存裝置，以及能夠儲存、包含或攜帶指令（多個）及/或資料的各種其他媒體。電腦可讀取媒體可包括其中可儲存資料並且不包括無線或藉由有線連接傳播的載波及/或暫時性電子信號的非暫時性媒體。非暫時性媒體的示例可以包括，但不限於磁碟或磁帶、光學儲存媒體（諸如壓縮磁碟（CD）或數位多功能光碟（DVD））、快閃記憶體、記憶體或儲存裝置。電腦可讀取媒體可在其上儲存代碼及/或機器可執行指令，它們可代表程序、函數、副程式、程式、常式、子常式、模組、套裝軟體、軟體組件或指令、資料結構或程式語句的任何組合。程式碼片段可以藉由傳遞及/或接收資訊、資料、引量、參數或記憶體內容與另一個程式碼片段或硬體電路耦接。資訊、引量、參數、資料等可以使用任何合適的方式傳遞、轉發或發送，包括記憶體共享、訊息傳遞、符記傳遞、網路傳輸或類似。
在一些實施例中，電腦可讀儲存裝置、媒體和記憶體可以包括包含位元串流和類似的電纜或無線信號。然而，當提及時，非暫時性電腦可讀取儲存媒體明確地排除了諸如能量、載波信號、電磁波和信號本身的媒體。
在上述描述中提供具體細節，以提供對本文提供的實施例和示例的全面理解。然而，本領域的一般技藝人士將理解，本發明的實施例可以在沒有這些具體細節的情況下實施。為解釋清楚，在一些情況下，本技術可以被表示為包括單獨功能方塊，其包括了包含設備、設備元件、軟體實現的方法中的步驟或常式，或硬體和軟體的組合的功能方塊。除了圖中所示及/或本文描述的那些元件外，還可以使用附加元件。例如，電路、系統、網路、程序和其他元件可以以方塊圖的形式顯示為元件，使得不會被不必要的細節模糊了實施例。在其他情況下，眾所周知的電路、程序、演算法、結構和技術可以不作不必要的詳細示出，以避免模糊實施例。
單獨實施例可在上面描述為程序或方法，其被圖示成流程圖、流程圖、資料流程圖、結構圖或方塊圖。儘管流程圖可能將操作描述為順序程序，但許多操作可以平行或併發地進行。此外，也可以重新佈置操作的順序。程序在其操作完成後被終止，但可能有未包括在圖中的附加步驟。程序可以對應於方法、函數、程序、子常式、副程式等。當程序對應於一個函數時，它的終止可以對應於該函數向調用函數或主函數的返回。
可以使用電腦可執行指令來實現根據上述示例的程序和方法，這些指令儲存在電腦可讀取媒體中或以其他方式可用。例如，此類指令可以包括致使或以其他方式配置通用電腦、專用電腦或處理設備以執行特定功能或一組功能的指令和資料。使用的部分電腦資源可以藉由網路存取。電腦可執行指令可以是，例如二進位檔案、中間格式指令，諸如組合語言、韌體、原始程式碼等。可用於儲存指令、使用的資訊及/或在根據所述示例的方法期間建立的資訊的電腦可讀取媒體的示例包括磁性或光學碟、快閃記憶體、有非揮發性記憶體的USB設備、網路儲存裝置等等。
實現根據這些揭露的程序和方法的設備可以包括硬體、軟體、韌體、仲介軟體、微代碼、硬體描述語言或它們的任何組合，並且可以採用各種外形尺寸中的任何一種。當以軟體、韌體、仲介軟體或微代碼實現時，執行必要任務的程式碼或程式碼片段（例如，電腦程式產品）可以被儲存在電腦可讀或機器可讀取媒體中。處理器（多個）可以執行必要的任務。外形尺寸的典型示例包括膝上型電腦、智慧手機、行動電話、平板設備或其他小外形尺寸的個人電腦、個人數位助理、機架式設備、獨立設備等等。本文所述的功能也可以體現在周邊設備或插入卡中。藉由進一步的示例，這種功能也可以在電路板上的不同晶片或在單一設備中執行的不同程序中實現。
指令、用於傳達此類指令的媒體、用於執行它們的計算資源以及用於支援此類計算資源的其他結構是提供本案所述功能的示例方式。
在上述描述中，本案的各態樣是參考其具體實施例描述的，但本領域的技藝人士將認識到本案並不限於此。因此，雖然本案的示例性實施例已在本文中詳細描述，但應當理解，發明性概念可以以其他方式多樣地實現和應用，並且所附請求項旨在被解釋為包括此類變型，除非受到先前技術的限制。上述揭露的各種特徵和態樣可以單獨或聯合使用。此外，在不背離本說明書更廣泛的精神和範圍的情況下，可以在本文所述之外的任何環境和應用中利用實施例。因此，本說明書和附圖應被視為說明性而非限制性的。為了說明的目的，這些方法是按特定順序描述的。應當理解，在替代實施例中，這些方法可以按照與所述不同的循序執行。
一般技藝人士將理解，在不脫離本描述範圍的情況下，本文使用的小於（「＜」）和大於（「＞」）符號或術語可以分別用小於或等於（「≦」）和大於或等於（「≧」）符號代替。
在元件被描述為被「配置為」執行某些操作的情況下，則可以例如藉由設計電子電路或其他硬體來執行該操作、藉由程式化可程式化電子電路（例如，微處理器或其他合適的電子電路）來執行該操作，或它們的任何組合來完成這種配置。
短語「耦接到」指直接或間接實體連接到另一個元件的任何元件，及/或直接或間接與另一個元件通訊的任何元件（例如，藉由有線或無線連接連接到另一個元件，及/或其他合適的通訊介面）。
請求項語言或其他語言提及集合中的「至少一個」及/或集合中的「一或多個」指示該集合的一個成員或該集合的多個成員（以任何組合）滿足該請求項。例如，請求項語言提及「A和B中的至少一個」意味著A、B或A和B。在另一個示例中，請求項語言提及「A、B和C中的至少一個」意味著A、B、C，或A和B，或A和C，或B和C，或A和B和C。語言集合中的「至少一個」及/或集合中的「一或多個」並沒有將該集合限制在該集合所列的項目中。例如，請求項語言提及「A和B中的至少一個」可以意味著A、B或A和B，並且可以另外包括A和B的組中沒有列出的項目。
結合本文揭露的實施例描述的各種說明性的邏輯區塊、模組、電路和演算法步驟可以被實現為電子硬體、電腦軟體、韌體或它們的組合。為了清楚地說明硬體和軟體的這種可互換性，上面已經大體上根據它們的功能描述了各種說明性的元件、方塊、模組、電路和步驟。將這些功能實現為硬體還是軟體取決於特定的應用和施加在整個系統上的設計約束。熟習此項技術者可以針對每個特定應用以各種方式來實現所描述的功能，但是這種實現決定不應被解釋為導致脫離本案的範圍。
本文所述的技術也可以在電子硬體、電腦軟體、韌體或它們的任何組合中實現。此類技術可以在各種設備中的任何一種中實現，諸如通用電腦、無線通訊設備手持機或具有多種用途的積體電路設備，包括應用於無線通訊設備手持和其他設備中。任何被描述為模組或元件的特徵都可以在整合的邏輯裝置中一起實現，或者作為個別但可交互動操作的邏輯裝置分別實現。如果以軟體實現，則該些技術可以至少部分地藉由電腦可讀取資料儲存媒體實現，其包括程式碼，其中包括在當被執行時執行上述的一或多個方法、演算法及/或操作的指令。該電腦可讀取資料儲存媒體可構成電腦程式產品的一部分，其可包括包裝材料。電腦可讀取媒體可以包括記憶體或資料儲存媒體，諸如隨機存取記憶體（RAM）（諸如同步動態隨機存取記憶體（SDRAM））、唯讀記憶體（ROM）、非揮發性隨機存取記憶體（NVRAM）、電子可抹除可程式化唯讀記憶體（EEPROM）、快閃記憶體、磁性或光學資料儲存媒體和類似。附加地或替代地，這些技術可以至少部分由電腦可讀通訊媒體來實現，其以指令或資料結構的形式承載或通訊程式碼，並且其可以由電腦存取、讀取及/或執行，諸如傳播的信號或波。
程式碼可由處理器執行，其可包括一或多個處理器，諸如一或多個數位訊號處理器（DSP）、通用微處理器、專用積體電路（ASIC）、現場可程式化邏輯陣列（FPGA），或其他等同的整合或個別邏輯電路。此類處理器可以經配置為執行本案中描述的任何技術。通用的處理器可以是微處理器；但是替代地，該處理器可以是任何一般的處理器、控制器、微控制器或狀態機。處理器還可以實現為計算設備的組合，例如DSP和微處理器的組合、複數個微處理器、一或多個微處理器與DSP核結合，或任何其他此類配置。因此，如本文所用的術語「處理器」可指上述任何結構、上述結構的任何組合，或適合實現本文所述技術的任何其他結構或裝置。此外，在一些態樣中，本文所述的功能可在配置為編碼和解碼的專用軟體模組或硬體模組內提供，或併入組合的視訊轉碼器-解碼器（CODEC）。
本案的說明性態樣包括，但不限於以下態樣：
態樣1：一種處理圖像資料的方法，該方法包括：決定與使用至少一個相機獲得的圖像中圖示的第一物件相對應的第一感興趣區域，該第一感興趣區域與多點網格的至少一個元素相關聯，多點網格與多點深度感測系統相關聯；決定第一物件的第一擴展感興趣區域，該第一擴展感興趣區域與複數個元素相關聯，該複數個元素包括多點網格中的至少一個元素和一或多個附加元素；並且基於與第一擴展感興趣區域相關聯的複數個元素，決定代表至少一個相機與圖像中圖示的第一物件之間的第一距離的代表性深度資訊。
態樣2：根據態樣1的方法，還包括：基於代表第一距離的代表性深度資訊處理圖像，其中處理圖像包括對圖像的至少第一感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
態樣3：根據態樣1或2中任一項的方法，其中決定第一物件的第一擴展感興趣區域包括：決定第一感興趣區域的尺寸和第一感興趣區域相對於圖像中的參考點的位置中的至少一個；並基於第一感興趣區域的尺寸和位置中的至少一個來決定第一物件的第一擴展感興趣區域。
態樣4：根據態樣3的方法，其中決定第一物件的第一擴展感興趣區域包括：基於第一感興趣區域的尺寸，決定第一物件的第一擴展感興趣區域。
態樣5：根據態樣3的方法，其中決定第一物件的第一擴展感興趣區域包括：基於第一感興趣區域的位置，決定第一物件的第一擴展感興趣區域。
態樣6：根據態樣3的方法，其中決定第一物件的第一擴展感興趣區域包括：基於第一感興趣區域的尺寸和位置，決定第一物件的第一擴展感興趣區域。
態樣7：根據態樣1或2中任一項的方法，其中決定第一物件的第一擴展感興趣區域包括：決定與多點網格的一或多個附加元素中的第一元素相關聯的第一深度，該第一元素與和第一感興趣區域相關聯的至少一個元素相鄰；決定第一深度和與第一感興趣區域相關聯的至少一個元素的深度之間的差異小於閾值差異；並且基於決定第一深度和與第一感興趣區域相關聯的至少一個元素的深度之間的差異小於閾值差異，將第一元素與第一擴展感興趣區域相關聯。
態樣8：根據態樣7的方法，其中基於第一深度的置信度大於置信度閾值，將第一元素與第一擴展感興趣區域相關聯。
態樣9：根據態樣7或8中任一項的方法，還包括：決定與多點網格的一或多個附加元素中的第二元素相關聯的第二深度，該第二元素與一或多個附加元素中的第一元素相鄰；決定第二深度和第一深度之間的差異小於閾值差異；並且基於決定第二深度和第一深度之間的差異小於閾值差異，將第二元素與第一擴展感興趣區域相關聯。
態樣10：根據態樣7或8中任一項的方法，還包括：決定與多點網格的一或多個附加元素中的第二元素相關聯的第二深度，該第二元素與一或多個附加元素的第一元素相鄰；決定第二深度和第一深度之間的差異大於閾值差異；並且基於決定第二深度和第一深度之間的差異大於閾值差異，將第二元素從第一擴展感興趣區域排除。
態樣11：根據態樣1至10中任一項的方法，其中決定代表第一距離的代表性深度資訊包括：基於與第一擴展感興趣區域相關聯的複數個元素的深度值，決定第一擴展感興趣區域的代表性深度值。
態樣12：根據態樣11的方法，其中該代表性深度值包括與第一擴展感興趣區域相關聯的複數個元素的深度值的平均。
態樣13：根據態樣1至12中任一項的方法，還包括：基於第一感興趣區域是針對該圖像決定的唯一感興趣區域，基於代表第一距離的代表性深度資訊來處理該圖像。
態樣14：根據態樣13的方法，其中基於代表第一距離的代表性深度資訊來處理圖像，包括對圖像的至少第一感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
態樣15：根據態樣1至14中任一項的方法，還包括：決定與圖像中圖示的第二物件相對應的第二感興趣區域，該第二感興趣區域與多點網格的至少一個附加元素相關聯，多點網格與多點深度感測系統相關聯；決定第二物件的第二擴展感興趣區域，該第二擴展感興趣區域與複數個元素相關聯，該複數個元素包括多點網格中的至少一個附加元素和第二一或多個附加元素；並且基於與第二擴展感興趣區域相關聯的複數個元素，決定代表至少一個相機與圖像中圖示的第二物件之間的第二距離的代表性深度資訊。
態樣16：根據態樣15的方法，還包括：基於代表第一距離的代表性深度資訊和代表第二距離的代表性深度資訊，決定組合的深度資訊。
態樣17：根據態樣16的方法，其中決定組合的深度資訊包括決定代表第一距離的代表性深度資訊和代表第二距離的代表性深度資訊的加權平均。
態樣18：根據態樣16或17中任一項的方法，還包括：基於組合的深度資訊來處理圖像。
態樣19：根據態樣18的方法，其中基於組合的深度資訊來處理圖像，包括對圖像的至少第一感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
態樣20：根據態樣1至19中任一項的方法，其中多點深度感測系統包括發射器和接收器，發射器包括複數個光源，接收器經配置為接收由複數個光源發出的光的反射，並且其中基於接收到的光的反射來決定代表性深度資訊。
態樣21：一種用於處理圖像資料的裝置，包括至少一個記憶體和與至少一個記憶體耦接的至少一個處理器。該至少一個處理器經配置為：決定與使用至少一個相機獲得的圖像中圖示的第一物件相對應的第一感興趣區域，該第一感興趣區域與多點網格的至少一個元素相關聯，多點網格與多點深度感測系統相關聯；決定第一物件的第一擴展感興趣區域，該第一擴展感興趣區域與複數個元素相關聯，該複數個元素包括多點網格中的至少一個元素和一或多個附加元素；並且基於與第一擴展感興趣區域相關聯的複數個元素，決定代表至少一個相機與圖像中圖示的第一物件之間的第一距離的代表性深度資訊。
態樣22：根據態樣21的裝置，其中該至少一個處理器經配置為：基於代表第一距離的代表性深度資訊來處理圖像，其中處理圖像包括對圖像的第一至少感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
態樣23：根據態樣21或22中任一項的裝置，其中為了決定第一物件的第一擴展感興趣區域，該至少一個處理器經配置為：決定第一感興趣區域的尺寸和第一感興趣區域相對於圖像中的參考點的位置中的至少一個；並且基於第一感興趣區域的尺寸和位置中的至少一個來決定第一物件的第一擴展感興趣區域。
態樣24：根據態樣23的裝置，其中為了決定第一物件的第一擴展感興趣區域，該至少一個處理器經配置為：基於第一感興趣區域的尺寸，決定第一物件的第一擴展感興趣區域。
態樣25：根據態樣23的裝置，其中為了決定第一物件的第一擴展感興趣區域，該至少一個處理器經配置為：基於第一感興趣區域的位置，決定第一物件的第一擴展感興趣區域。
態樣26：根據態樣23的裝置，其中為了決定第一物件的第一擴展感興趣區域，該至少一個處理器經配置為：基於第一感興趣區域的尺寸和位置，決定第一物件的第一擴展感興趣區域。
態樣27：根據態樣21或22中任一項的裝置，其中為了決定第一物件的第一擴展感興趣區域，該至少一個處理器經配置為：決定與多點網格的一或多個附加元素中的第一元素相關聯的第一深度，該第一元素與和第一感興趣區域相關聯的至少一個元素相鄰；決定第一深度和與第一感興趣區域相關聯的至少一個元素的深度之間的差異小於閾值差異；並且基於決定第一深度和與第一感興趣區域相關聯的至少一個元素的深度之間的差異小於閾值差異，將第一元素與第一擴展感興趣區域相關聯。
態樣28：根據態樣27的裝置，其中至少一個處理器經配置為進一步基於第一深度的置信度大於置信度閾值，將第一元素與第一擴展感興趣區域相關聯。
態樣29：根據態樣27或28中任一項的裝置，其中該至少一個處理器經配置為：決定與多點網格的一或多個附加元素中的第二元素相關聯的第二深度，該第二元素與一或多個附加元素中的第一元素相鄰；決定第二深度和第一深度之間的差異小於閾值差異；並且基於決定第二深度和第一深度之間的差異小於閾值差異，將第二元素與第一擴展感興趣區域相關聯。
態樣30：根據態樣27或28中任一項的裝置，其中該至少一個處理器經配置為：決定與多點網格的一或多個附加元素中的第二元素相關聯的第二深度，該第二元素與一或多個附加元素中的第一元素相鄰；決定第二深度和第一深度之間的差異大於閾值差異；並且基於決定第二深度和第一深度之間的差異大於閾值差異，將第二元素從第一擴展感興趣區域排除。
態樣31：根據態樣21至30中任一項的裝置，其中為了決定代表第一距離的代表性深度資訊，該至少一個處理器經配置為：基於與第一擴展感興趣區域相關聯的複數個元素的深度值，決定第一擴展感興趣區域的代表性深度值。
態樣32：根據態樣31的裝置，其中該代表性深度值包括與第一擴展感興趣區域相關聯的複數個元素的深度值的平均。
態樣33：根據態樣21至32中任一項的裝置，其中該至少一個處理器經配置為：基於第一感興趣區域是針對圖像決定的唯一感興趣區域，基於代表第一距離的代表性深度資訊來處理該圖像。
態樣34：根據態樣33的裝置，其中為了基於代表第一距離的代表性深度資訊來處理圖像，該至少一個處理器經配置為對圖像的至少第一感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
態樣35：根據態樣21至34中任一項的裝置，其中該至少一個處理器經配置為：決定與圖像中圖示的第二物件相對應的第二感興趣區域，該第二感興趣區域與多點網格的至少一個附加元素相關聯，多點網格與多點深度感測系統相關聯；決定第二物件的第二擴展感興趣區域，該第二擴展感興趣區域與複數個元素相關聯，該複數個元素包括多點網格中的至少一個附加元素和第二一或多個附加元素；並且基於與第二擴展感興趣區域相關聯的複數個元素，決定代表至少一個相機與圖像中圖示的第二物件之間的第二距離的代表性深度資訊。
態樣36：根據態樣35的裝置，其中該至少一個處理器經配置為：基於代表第一距離的代表性深度資訊和代表第二距離的代表性深度資訊，決定組合的深度資訊。
態樣37：根據態樣36的裝置，其中為了決定組合的深度資訊，該至少一個處理器經配置為決定代表第一距離的代表性深度資訊和代表第二距離的代表性深度資訊的加權平均。
態樣38：根據態樣36或37中任一項的裝置，其中該至少一個處理器經配置為：基於組合的深度資訊處理圖像。
態樣39：根據態樣38的裝置，其中為了基於組合的深度資訊來處理圖像，該至少一個處理器經配置為對圖像的至少第一感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
態樣40：根據態樣21至39中任一項的裝置，其中多點深度感測系統包括發射器和接收器，發射器包括複數個光源，接收器經配置為接收由複數個光源發出的光的反射，並且其中基於接收到的光的反射來決定代表性深度資訊。
態樣41：一種非暫時性電腦可讀取儲存媒體，包括儲存在其上的指令，這些指令當由一或多個處理器執行時，使該一或多個處理器執行態樣1至40中任一項的操作。
態樣42：一種用於處理圖像資料的裝置，該裝置包括用於執行態樣1至40中任一項的操作的構件。
態樣43：一種處理圖像資料的方法，該方法包括：決定與使用至少一個相機獲得的圖像中圖示的至少一個物件相對應的感興趣區域，該感興趣區域與多點網格的複數個元素相關聯，多點網格與多點深度感測系統相關聯；基於與複數個元素相關聯的深度資訊，決定感興趣區域是否包括多深度資訊；並且基於感興趣區域是否包括多深度資訊，決定代表至少一個相機與圖像中圖示的至少一個物件之間的距離的代表性深度資訊。
態樣44：根據態樣43的方法，還包括：根據與複數個元素相關聯的代表性深度資訊對複數個元素進行排序，其中複數個元素是從最小深度到最大深度進行排序。
態樣45：根據態樣43或44中任一項的方法，其中決定感興趣區域是否包括多深度資訊包括：決定複數個元素的最小深度值與複數個元素的最大深度值之間的差異大於多深度閾值；並且基於決定最小深度值和最大深度值之間的差異大於多深度閾值，決定感興趣區域包括多深度資訊。
態樣46：根據態樣45的方法，其中決定代表性深度資訊包括：選擇第二或第三小的深度值作為代表性深度資訊。
態樣47：根據態樣43或44中任一項的方法，其中決定感興趣區域是否包括多深度資訊包括：決定複數個元素的最小深度值與複數個元素的最大深度值之間的差異小於多深度閾值；並且基於決定最小深度值和最大深度值之間的差異小於多深度閾值，決定感興趣區域不包括多深度資訊。
態樣48：根據態樣47的方法，其中決定代表性深度資訊包括：決定與來自多點網格的複數個元素中的大多數元素相關聯的深度值；並且選擇深度值作為代表性深度資訊。
態樣49：根據態樣43至48中任一項的方法，還包括：基於代表距離的代表性深度資訊處理圖像，其中處理圖像包括對圖像的至少感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
態樣50：根據態樣43至49中任一項的方法，其中多點深度感測系統包括發射器和接收器，發射器包括複數個光源，接收器經配置為接收由複數個光源發出的光的反射，並且其中基於接收到的光的反射來決定代表性深度資訊。
態樣51：一種用於處理圖像資料的裝置，包括至少一個記憶體和與至少一個記憶體耦接的至少一個處理器。該至少一個處理器經配置為：決定與使用至少一個相機獲得的圖像中圖示的至少一個物件相對應的感興趣區域，該感興趣區域與多點網格的複數個元素相關聯，多點網格與多點深度感測系統相關聯；基於與複數個元素相關聯的深度資訊，決定感興趣區域是否包括多深度資訊；並且基於感興趣區域是否包括多深度資訊，決定代表至少一個相機與圖像中圖示的至少一個物件之間的距離的代表性深度資訊。
態樣52：根據態樣51的裝置，其中該至少一個處理器經配置為：根據與複數個元素相關聯的代表性深度資訊對複數個元素進行排序，其中複數個元素是從最小深度到最大深度進行排序。
態樣53：根據態樣51或52中任一項的裝置，其中為了決定感興趣區域是否包括多深度資訊，該至少一個處理器經配置為：決定複數個元素的最小深度值與複數個元素的最大深度值之間的差異大於多深度閾值；並且基於決定最小深度值和最大深度值之間的差異大於多深度閾值，決定感興趣區域包括多深度資訊。
態樣54：根據態樣53的裝置，其中為了決定代表性深度資訊，該至少一個處理器經配置為：選擇第二或第三小的深度值作為代表性深度資訊。
態樣55：根據態樣51或52中任一項的裝置，其中為了決定感興趣區域是否包括多深度資訊，該至少一個處理器經配置為：決定複數個元素的最小深度值與複數個元素的最大深度值之間的差異小於多深度閾值；並且基於決定最小深度值和最大深度值之間的差異小於多深度閾值，決定感興趣區域不包括多深度資訊。
態樣56：根據態樣55的裝置，其中為了決定代表性深度資訊，該至少一個處理器經配置為：決定與來自多點網格的複數個元素中的大多數元素相關聯的深度值；並且選擇該深度值作為代表性深度資訊。
態樣57：根據態樣51至56中任一項的裝置，其中該至少一個處理器經配置為：基於代表距離的代表性深度資訊來處理圖像，其中處理圖像包括對圖像的至少感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
態樣58：根據態樣51至57中任一項的裝置，其中多點深度感測系統包括發射器和接收器，該發射器包括複數個光源，該接收器經配置為接收由複數個光源發出的光的反射，並且其中基於接收到的光的反射來決定代表性深度資訊。
態樣59：一種非暫時性電腦可讀取儲存媒體，包括儲存在其上的指令，這些指令當由一或多個處理器執行時，使得該一或多個處理器執行態樣43至59中任一項的操作。
態樣60：一種用於處理圖像資料的裝置，該裝置包括用於執行態樣43至59中任一項的操作的構件。
態樣61：一種用於處理圖像資料的方法，該方法包括根據態樣1至40和態樣43至59中任一項的操作。
態樣62：一種用於處理圖像資料的裝置，該裝置包括至少一個記憶體和與至少一個記憶體耦接的至少一個處理器。該至少一個處理器經配置為執行態樣1至40和態樣43至59中任一項的操作。
態樣63：一種非暫時性電腦可讀取儲存媒體，包括儲存在其上的指令，這些指令當由一或多個處理器執行時，使得一或多個處理器執行態樣1至40和態樣43至59中任一項的操作。
態樣64：一種用於處理圖像資料的裝置，該裝置包括用於執行態樣1至40和態樣43至59中任一項的操作的構件。
100:圖像擷取和處理系統 105A:設備 105B:設備 110:多點網格 115:鏡頭 120:控制機構 125A:曝光控制機構 125B:對焦控制機構 125C:變焦控制機構 130:圖像感測器 140:隨機存取記憶體（RAM） 145:唯讀記憶體（ROM） 150:影像處理器 152:主機處理器 154:ISP 156:輸入/輸出（I/O）埠 160:輸入/輸出（I/O）設備 202:圖像訊框 204:ROI 206:圖像訊框部分 208:位置 210:預定的高度 212:預定的寬度 300:TOF系統 302:發射器 304:發射光 306:物件 308:接收器 310:感測器 312:反射 314:光脈衝 316:光脈衝 318:發射光脈衝的時序 320:反射光脈衝的時序 322:光的往返時間 400:整個圖像 402:FOV 404:ROI 410:圖像 416:網格 500:結構光系統 502:發射器 504:空間圖案 506A:物件 506B:物件 508:接收器 510:感測器 512:基線 514:中心 516:位置 518:位置 520:光圈 522:光圈 524:光源 526:鏡頭 528:光調制器 530:鏡頭 600:程序 602:多點深度資訊 604:感興趣區域資訊 609:影像處理演算法 612:多點深度資訊 614:感興趣區域資訊 615:多點深度感測控制器 616:ROI控制器 617:資料分析器 618:多主體最佳化器 619:影像處理演算法 700:圖像 704:ROI 706:網格 710:圖像 714:擴展ROI 800:圖像 802:ROI 810:圖像 812:擴展ROI 813:中心點 902:目標ROI 904:擴展ROI 906:網格 1000:程序 1002:方塊 1004:方塊 1006:方塊 1008:方塊 1010:方塊 1012:方塊 1014:方塊 1016:方塊 1106:多點網格 1200:圖像 1202:第一擴展ROI 1203:第二擴展ROI 1206:多點網格 1300:程序 1302:方塊 1304:方塊 1306:方塊 1400:程序 1402:方塊 1404:方塊 1406:方塊 1500:計算系統 1505:連接 1510:處理器 1512:快取記憶體 1515:儲存單元 1520:唯讀記憶體（ROM） 1525:隨機存取記憶體（RAM） 1530:儲存裝置 1532:服務 1534:服務 1535:輸出設備 1536:服務 1540:通訊介面 1545:任何其他輸入裝置
下文將參照下圖詳細描述本案的說明性實施例。
圖1是示出根據一些示例的圖像擷取和處理系統的示例架構的方塊圖；
圖2A和圖2B是根據一些示例的執行圖像擷取操作的圖示；
圖3是示出根據一些示例的飛行時間（TOF）系統的示例的圖；
圖4A是示出根據一些示例的深度感測系統的單點光源的視場（FOV）的圖像；
圖4B是示出根據一些示例的與具有多點光源的深度感測系統相關聯的4x4網格的圖像；
圖5是示出根據一些示例的結構光系統的示例的圖；
圖6A是示出根據一些示例的使用多點深度資訊和感興趣區域（ROI）資訊來應用（一或多個）影像處理演算法的程序的示例的流程圖的圖；
圖6B是示出根據一些示例的可以執行一或多個圖像擷取和處理操作的多點深度感測控制器的示例的圖；
圖7A是示出根據一些示例的示出多點光源的網格的示例的圖像的圖；
圖7B是示出根據一些示例的多點光源的網格的另一個示例的圖；
圖8A是示出根據一些示例的擴展ROI的圖像，該擴展ROI包括為原始或目標ROI的尺寸的兩倍的尺寸；
圖8B是示出根據一些示例的擴展ROI的圖像，該擴展ROI包括為原始或目標ROI的尺寸的四倍的尺寸；
圖9是示出根據一些示例的基於目標ROI附近的多點網格的座標相關性來擴展目標ROI的示例的圖；
圖10是示出根據一些示例的可由圖6的多點深度感測控制器的資料分析器執行的程序的示例的流程圖；
圖11包括根據一些示例的顯示了圖6的多點深度感測控制器的多主體最佳化器的操作的與多點網格重疊的圖像；
圖12是根據一些示例的包括處於不同深度的多個主體的圖像；
圖13是示出根據一些示例的處理圖像資料的程序的示例的流程圖；
圖14是示出根據一些示例的處理圖像資料的程序的示例的流程圖；及
圖15是示出用於實現本文所描述的某些態樣的系統的示例的圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
612:多點深度資訊
614:感興趣區域資訊
615:多點深度感測控制器
616:ROI控制器
617:資料分析器
618:多主體最佳化器
619:影像處理演算法

Claims (60)

  1. 一種處理圖像資料的方法，該方法包括： 決定與使用至少一個相機獲得的一圖像中圖示的一第一物件相對應的一第一感興趣區域，該第一感興趣區域與一多點網格的至少一個元素相關聯，該多點網格與一多點深度感測系統相關聯； 決定該第一物件的一第一擴展感興趣區域，該第一擴展感興趣區域與複數個元素相關聯，該複數個元素包括該多點網格中的該至少一個元素和一或多個附加元素；並且 基於與該第一擴展感興趣區域相關聯的該複數個元素，決定代表該至少一個相機與該圖像中圖示的該第一物件之間的一第一距離的代表性深度資訊。
  2. 根據請求項1之方法，還包括： 基於代表該第一距離的該代表性深度資訊處理該圖像，其中處理該圖像包括對該圖像的至少該第一感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
  3. 根據請求項1或2中任一項所述的方法，其中決定該第一物件的該第一擴展感興趣區域包括： 決定該第一感興趣區域的一尺寸和該第一感興趣區域相對於該圖像中的一參考點的一位置中的至少一個；並且 基於該第一感興趣區域的該尺寸和該位置中的至少一個決定該第一物件的該第一擴展感興趣區域。
  4. 根據請求項3之方法，其中決定該第一物件的該第一擴展感興趣區域包括： 基於該第一感興趣區域的該尺寸，決定該第一物件的該第一擴展感興趣區域。
  5. 根據請求項3之方法，其中決定該第一物件的該第一擴展感興趣區域包括： 基於該第一感興趣區域的該位置，決定該第一物件的該第一擴展感興趣區域。
  6. 根據請求項3之方法，其中決定該第一物件的該第一擴展感興趣區域包括： 基於該第一感興趣區域的該尺寸和該位置，決定該第一物件的該第一擴展感興趣區域。
  7. 根據請求項1或2中任一項所述的方法，其中決定該第一物件的該第一擴展感興趣區域包括： 決定與該多點網格的該一或多個附加元素中的一第一元素相關聯的一第一深度，該第一元素與和該第一感興趣區域相關聯的該至少一個元素相鄰； 決定該第一深度和與該第一感興趣區域相關聯的該至少一個元素的一深度之間的一差異小於一閾值差異；並且 並且基於決定該第一深度和與該第一感興趣區域相關聯的該至少一個元素的該深度之間的該差異小於該閾值差異，將該第一元素與該第一擴展感興趣區域相關聯。
  8. 根據請求項7之方法，其中基於該第一深度的一置信度大於一置信度閾值，將該第一元素與該第一擴展感興趣區域相關聯。
  9. 根據請求項7或8中任一項所述的方法，還包括： 決定與該多點網格的該一或多個附加元素中的一第二元素相關聯的一第二深度，該第二元素與該一或多個附加元素中的該第一元素相鄰； 決定該第二深度和該第一深度之間的一差異小於該閾值差異；並且 基於決定該第二深度和該第一深度之間的該差異小於該閾值差異，將該第二元素與該第一擴展感興趣區域相關聯。
  10. 根據請求項7或8中任一項所述的方法，還包括： 決定與該多點網格的該一或多個附加元素中的一第二元素相關聯的一第二深度，該第二元素與該一或多個附加元素中的該第一元素相鄰； 決定該第二深度和該第一深度之間的差異大於該閾值差異；並且 基於決定該第二深度和該第一深度之間的該差異大於該閾值差異，將該第二元素從該第一擴展感興趣區域排除。
  11. 根據請求項1至10中任一項所述的方法，其中決定代表該第一距離的代表性深度資訊包括： 基於與該第一擴展感興趣區域相關聯的該複數個元素的深度值，決定該第一擴展感興趣區域的一代表性深度值。
  12. 根據請求項11之方法，其中該代表性深度值包括與該第一擴展感興趣區域相關聯的該複數個元素的該深度值的一平均值。
  13. 根據請求項1至12中任一項所述的方法，還包括： 基於該第一感興趣區域是針對該圖像決定的唯一感興趣區域，基於代表該第一距離的代表性深度資訊處理該圖像。
  14. 根據請求項13之方法，其中基於代表該第一距離的代表性深度資訊處理該圖像，包括對該圖像的至少該第一感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
  15. 根據請求項1至14中任一項所述的方法，還包括： 決定與該圖像中圖示的一第二物件相對應的一第二感興趣區域，該第二感興趣區域與該多點網格的該至少一個附加元素相關聯，該多點網格與該多點深度感測系統相關聯； 決定該第二物件的一第二擴展感興趣區域，該第二擴展感興趣區域與複數個元素相關聯，該複數個元素包括該多點網格中的該至少一個附加元素和第二一或多個附加元素；並且 基於與該第二擴展感興趣區域相關聯的該複數個元素，決定代表該至少一個相機與該圖像中圖示的該第二物件之間的一第二距離的代表性深度資訊。
  16. 根據請求項15之方法，還包括： 基於代表該第一距離的該代表性深度資訊和代表該第二距離的該代表性深度資訊，決定組合的深度資訊。
  17. 根據請求項16之方法，其中決定該組合的深度資訊包括決定代表該第一距離的該代表性深度資訊和代表該第二距離的該代表性深度資訊的一加權平均。
  18. 根據請求項16或17中任一項所述的方法，還包括： 基於該組合的深度資訊處理該圖像。
  19. 根據請求項18之方法，其中基於該組合的深度資訊處理該圖像，包括對該圖像的至少該第一感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
  20. 根據請求項1至19中任一項所述的方法，其中該多點深度感測系統包括一發射器和一接收器，該發射器包括複數個光源，該接收器經配置為接收由該複數個光源發出的光的反射，並且其中基於所接收到的光的反射來決定該代表性深度資訊。
  21. 一種用於處理圖像資料的裝置，包括： 至少一個記憶體；及 耦接到該至少一個記憶體的至少一個處理器，該至少一個處理器經配置為： 決定與使用至少一個相機獲得的一圖像中圖示的一第一物件相對應的一第一感興趣區域，該第一感興趣區域與一多點網格的至少一個元素相關聯，該多點網格與一多點深度感測系統相關聯； 決定該第一物件的一第一擴展感興趣區域，該第一擴展感興趣區域與複數個元素相關聯，該複數個元素包括該多點網格中的該至少一個元素和一或多個附加元素；並且 基於與該第一擴展感興趣區域相關聯的該複數個元素，決定代表該至少一個相機與該圖像中圖示的該第一物件之間的一第一距離的代表性深度資訊。
  22. 根據請求項21之裝置，其中該至少一個處理器經配置為： 基於代表該第一距離的代表性深度資訊處理該圖像，其中處理該圖像包括對該圖像的至少該第一感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
  23. 根據請求項21或22中任一項所述的裝置，其中為了決定該第一物件的該第一擴展感興趣區域，該至少一個處理器經配置為： 決定該第一感興趣區域的一尺寸和該第一感興趣區域相對於該圖像中的一參考點的一位置中的至少一個；並且 基於該第一感興趣區域的該尺寸和該位置中的至少一個決定該第一物件的該第一擴展感興趣區域。
  24. 根據請求項23之裝置，其中為了決定該第一物件的該第一擴展感興趣區域，該至少一個處理器經配置為： 基於該第一感興趣區域的該尺寸，決定該第一物件的該第一擴展感興趣區域。
  25. 根據請求項23之裝置，其中為了決定該第一物件的該第一擴展感興趣區域，該至少一個處理器經配置為： 基於該第一感興趣區域的該位置，決定該第一物件的該第一擴展感興趣區域。
  26. 根據請求項23之裝置，其中為了決定該第一物件的該第一擴展感興趣區域，該至少一個處理器經配置為： 基於該第一感興趣區域的該尺寸和該位置，決定該第一物件的該第一擴展感興趣區域。
  27. 根據請求項21或22中任一項所述的裝置，其中為了決定該第一物件的該第一擴展感興趣區域，該至少一個處理器經配置為： 決定與該多點網格的該一或多個附加元素中的一第一元素相關聯的一第一深度，該第一元素與和該第一感興趣區域相關聯的該至少一個元素相鄰； 決定該第一深度和與該第一感興趣區域相關聯的該至少一個元素的一深度之間的一差異小於一閾值差異；並且 基於決定該第一深度和與該第一感興趣區域相關聯的該至少一個元素的深度之間的差異小於該閾值差異，將該第一元素與該第一擴展感興趣區域相關聯。
  28. 根據請求項27的裝置，其中該至少一個處理器經配置為進一步基於該第一深度的一置信度大於一置信度閾值，將該第一元素與該第一擴展感興趣區域相關聯。
  29. 根據請求項27或28中任一項所述的裝置，其中該至少一個處理器經配置為： 決定與該多點網格的該一或多個附加元素中的一第二元素相關聯的一第二深度，該第二元素與該一或多個附加元素中的該第一元素相鄰； 決定該第二深度和該第一深度之間的一差異小於該閾值差異；並且 基於決定該第二深度和該第一深度之間的該差異小於該閾值差異，將該第二元素與該第一擴展感興趣區域相關聯。
  30. 根據請求項27或28中任一項所述的裝置，其中該至少一個處理器經配置為： 決定與該多點網格的該一或多個附加元素中的一第二元素相關聯的一第二深度，該第二元素與該一或多個附加元素中的該第一元素相鄰； 決定該第二深度和該第一深度之間的差異大於該閾值差異；並且 基於決定該第二深度和該第一深度之間的該差異大於該閾值差異，將該第二元素從該第一擴展感興趣區域排除。
  31. 根據請求項21至30中任一項所述的裝置，其中為了決定代表該第一距離的代表性深度資訊，該至少一個處理器經配置為： 基於與該第一擴展感興趣區域相關聯的該複數個元素的深度值，決定該第一擴展感興趣區域的一代表性深度值。
  32. 根據請求項31之裝置，其中該代表性深度值包括與該第一擴展感興趣區域相關聯的該複數個元素的深度值的平均值。
  33. 根據請求項21至32中任一項所述的裝置，其中該至少一個處理器經配置為： 基於該第一感興趣區域是針對該圖像決定的唯一感興趣區域，基於代表該第一距離的代表性深度資訊處理該圖像。
  34. 根據請求項33之裝置，其中為了基於代表該第一距離的代表性深度資訊處理該圖像，該至少一個處理器經配置為對該圖像的至少該第一感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
  35. 根據請求項21至34中任一項所述的裝置，其中該至少一個處理器經配置為： 決定與該圖像中圖示的一第二物件相對應的一第二感興趣區域，該第二感興趣區域與該多點網格的至少一個附加元素相關聯，該多點網格與該多點深度感測系統相關聯； 決定該第二物件的一第二擴展感興趣區域，該第二擴展感興趣區域與複數個元素相關聯，該複數個元素包括該多點網格中的該至少一個附加元素和第二一或多個附加元素；並且 基於與該第二擴展感興趣區域相關聯的該複數個元素，決定代表該至少一個相機與該圖像中圖示的該第二物件之間的一第二距離的代表性深度資訊。
  36. 根據請求項35之裝置，其中該至少一個處理器經配置為： 基於代表該第一距離的代表性深度資訊和代表該第二距離的代表性深度資訊，決定組合的深度資訊。
  37. 根據請求項36之裝置，其中為了決定該組合的深度資訊，該至少一個處理器經配置為決定代表該第一距離的代表性深度資訊和代表該第二距離的代表性深度資訊的一加權平均。
  38. 根據請求項36或37中任一項所述的裝置，其中該至少一個處理器經配置為： 基於該組合的深度資訊處理該圖像。
  39. 根據請求項38之裝置，其中為了基於該組合的深度資訊處理該圖像，該至少一個處理器經配置為對該圖像的至少該第一感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
  40. 根據請求項21至39中任一項所述的裝置，其中該多點深度感測系統包括一發射器和一接收器，該發射器包括複數個光源，該接收器經配置為接收由該複數個光源發出的光的反射，並且其中基於所接收到的光的反射來決定該代表性深度資訊。
  41. 一種非暫時性電腦可讀取儲存媒體，包括儲存在其上的指令，當由一或多個處理器執行時，該等指令使得該一或多個處理器執行如請求項1至40中任一項所述的操作。
  42. 一種用於處理圖像資料的裝置，該裝置包括用於執行如請求項1至40中任一項所述的操作的構件。
  43. 一種處理圖像資料的方法，該方法包括： 決定與使用至少一個相機獲得的一圖像中圖示的至少一個物件相對應的一感興趣區域，該感興趣區域與一多點網格的複數個元素相關聯，該多點網格與一多點深度感測系統相關聯； 基於與該複數個元素相關聯的深度資訊，決定該感興趣區域是否包括多深度資訊；並且 基於該感興趣區域是否包括多深度資訊，決定代表該至少一個相機與該圖像中圖示的該至少一個物件之間的一距離的代表性深度資訊。
  44. 根據請求項43之方法，還包括： 根據與該複數個元素相關聯的該代表性深度資訊對該複數個元素進行排序，其中該複數個元素是從最小深度到最大深度進行排序。
  45. 根據請求項43或44中任一項所述的方法，其中決定該感興趣區域是否包括該多深度資訊包括： 決定該複數個元素的一最小深度值與該複數個元素的一最大深度值之間的一差異大於一多深度閾值；並且 基於決定該最小深度值和該最大深度值之間的差異大於該多深度閾值，決定該感興趣區域包括多深度資訊。
  46. 根據請求項45之方法，其中決定該代表性深度資訊包括： 選擇一第二或第三小的深度值作為該代表性深度資訊。
  47. 根據請求項43或44中任一項所述的方法，其中決定該感興趣區域是否包括該多深度資訊包括： 決定該複數個元素的一最小深度值與該複數個元素的一最大深度值之間的一差異小於一多深度閾值；並且 基於決定該最小深度值和該最大深度值之間的差異小於該多深度閾值，決定該感興趣區域不包括多深度資訊。
  48. 根據請求項47之方法，其中決定該代表性深度資訊包括： 決定與來自該多點網格的該複數個元素中的大多數元素相關聯的一深度值；並且 選擇該深度值作為該代表性深度資訊。
  49. 根據請求項43至48中任一項所述的方法，還包括： 基於代表該距離的代表性深度資訊處理該圖像，其中處理該圖像包括對該圖像的至少該感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
  50. 根據請求項43至49中任一項所述的方法，其中該多點深度感測系統包括一發射器和一接收器，該發射器包括複數個光源，該接收器經配置為接收由該複數個光源發出的光的反射，並且其中基於所接收到的光的反射來決定該代表性深度資訊。
  51. 一種用於處理圖像資料的裝置，包括： 至少一個記憶體；及 耦接到該至少一個記憶體的至少一個處理器，該至少一個處理器經配置為： 決定與使用至少一個相機獲得的一圖像中圖示的至少一個物件相對應的一感興趣區域，該感興趣區域與一多點網格的複數個元素相關聯，該多點網格與一多點深度感測系統相關聯； 基於與該複數個元素相關聯的深度資訊，決定該感興趣區域是否包括多深度資訊；並且 基於該感興趣區域是否包括多深度資訊，決定代表該至少一個相機與該圖像中圖示的該至少一個物件之間的一距離的代表性深度資訊。
  52. 根據請求項51之裝置，其中該至少一個處理器經配置為： 根據與該複數個元素相關聯的該代表性深度資訊對該複數個元素進行排序，其中該複數個元素是從最小深度到最大深度進行排序。
  53. 根據請求項51或52中任一項所述的裝置，其中為了決定該感興趣區域是否包括該多深度資訊，該至少一個處理器經配置為： 決定該複數個元素的一最小深度值與該複數個元素的一最大深度值之間的一差異大於一多深度閾值；並且 基於決定該最小深度值和該最大深度值之間的差異大於該多深度閾值，決定該感興趣區域包括多深度資訊。
  54. 根據請求項53之裝置，其中為了決定該代表性深度資訊，該至少一個處理器經配置為： 選擇一第二或第三小的深度值作為該代表性深度資訊。
  55. 根據請求項51或52中任一項所述的裝置，其中為了決定該感興趣區域是否包括該多深度資訊，該至少一個處理器經配置為： 決定該複數個元素的一最小深度值與該複數個元素的一最大深度值之間的一差異小於一多深度閾值；並且 基於決定該最小深度值和該最大深度值之間的差異小於該多深度閾值，決定該感興趣區域不包括多深度資訊。
  56. 根據請求項55之裝置，其中為了決定該代表性深度資訊，該至少一個處理器經配置為： 決定與來自該多點網格的該複數個元素中的大多數元素相關聯的一深度值；並且 選擇該深度值作為該代表性深度資訊。
  57. 根據請求項51至56中任一項所述的裝置，其中該至少一個處理器經配置為： 基於代表該距離的該代表性深度資訊處理該圖像，其中處理該圖像包括對該圖像的至少該感興趣區域執行自動曝光、自動對焦、自動白平衡和自動變焦中的至少一項。
  58. 根據請求項51至57中任一項所述的裝置，其中該多點深度感測系統包括一發射器和一接收器，該發射器包括複數個光源，該接收器經配置為接收由該複數個光源發出的光的反射，並且其中基於所接收到的光的反射來決定該代表性深度資訊。
  59. 一種非暫時性電腦可讀取儲存媒體，包括儲存在其上的指令，當由一或多個處理器執行時，該等指令使得該一或多個處理器執行如請求項43至59中任一項所述的操作。
  60. 一種用於處理圖像資料的裝置，該裝置包括用於執行如請求項43至59中任一項所述的操作的構件。
TW111116425A 2021-07-07 2022-04-29 使用多點深度感測系統資訊處理圖像資料 TW202303522A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CN2021/104992 WO2023279289A1 (en) 2021-07-07 2021-07-07 Processing image data using multi-point depth sensing system information
WOPCT/CN2021/104992 2021-07-07

Publications (1)

Publication Number Publication Date
TW202303522A true TW202303522A (zh) 2023-01-16

Family

ID=84800136

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111116425A TW202303522A (zh) 2021-07-07 2022-04-29 使用多點深度感測系統資訊處理圖像資料

Country Status (6)

Country Link
US (1) US20240249423A1 (zh)
EP (1) EP4367874A1 (zh)
KR (1) KR20240029003A (zh)
CN (1) CN117652136A (zh)
TW (1) TW202303522A (zh)
WO (1) WO2023279289A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230377215A1 (en) * 2022-05-18 2023-11-23 Google Llc Adaptive color mapping based on behind-display content measured by world-view camera
CN116993796B (zh) * 2023-09-26 2023-12-22 埃洛克航空科技（北京）有限公司 深度图估计中的多级空间传播方法和装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9773155B2 (en) * 2014-10-14 2017-09-26 Microsoft Technology Licensing, Llc Depth from time of flight camera
KR102472156B1 (ko) * 2018-04-19 2022-11-30 삼성전자주식회사 전자 장치 및 그 깊이 정보 생성 방법
CN110174056A (zh) * 2019-06-18 2019-08-27 上海商米科技集团股份有限公司 一种物体体积测量方法、装置及移动终端

Also Published As

Publication number Publication date
EP4367874A1 (en) 2024-05-15
US20240249423A1 (en) 2024-07-25
CN117652136A (zh) 2024-03-05
KR20240029003A (ko) 2024-03-05
WO2023279289A1 (en) 2023-01-12

Similar Documents

Publication Publication Date Title
US11706520B2 (en) Under-display camera and sensor control
KR20230098575A (ko) 프레임 프로세싱 및/또는 캡처 명령 시스템들 및 기법들
TW202303522A (zh) 使用多點深度感測系統資訊處理圖像資料
US11863729B2 (en) Systems and methods for generating synthetic depth of field effects
WO2023086694A1 (en) Image modification techniques
US20220414847A1 (en) High dynamic range image processing
WO2024091783A1 (en) Image enhancement for image regions of interest
US20230021016A1 (en) Hybrid object detector and tracker
US11671714B1 (en) Motion based exposure control
US11792505B2 (en) Enhanced object detection
WO2023192706A1 (en) Image capture using dynamic lens positions
WO2023282963A1 (en) Enhanced object detection
US20230262322A1 (en) Mechanism for improving image capture operations
US20240209843A1 (en) Scalable voxel block selection
WO2024168589A1 (en) Image sensor and image signal processor for capturing images in low light environments
WO2023279275A1 (en) Local motion detection for improving image capture and/or processing operations
JP2024506932A (ja) カメラズームのためのシステムおよび方法
WO2024030691A1 (en) High dynamic range (hdr) image generation with multi-domain motion correction
CN117769840A (zh) 多相机系统
KR20240144123A (ko) 높은 동적 범위 이미징을 위한 모션 기반 노출 제어
TW202410685A (zh) 使用可變光圈成像設備擷取影像