TW202235909A - 高解析度飛行時間深度成像 - Google Patents

高解析度飛行時間深度成像 Download PDF

Info

Publication number
TW202235909A
TW202235909A TW111103617A TW111103617A TW202235909A TW 202235909 A TW202235909 A TW 202235909A TW 111103617 A TW111103617 A TW 111103617A TW 111103617 A TW111103617 A TW 111103617A TW 202235909 A TW202235909 A TW 202235909A
Authority
TW
Taiwan
Prior art keywords
fov
light emitting
light
sensor
illumination
Prior art date
Application number
TW111103617A
Other languages
English (en)
Inventor
建 馬
塞爾吉拉杜 勾瑪
佰成 謝
Original Assignee
美商高通公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商高通公司 filed Critical 美商高通公司
Publication of TW202235909A publication Critical patent/TW202235909A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4814—Constructional features, e.g. arrangements of optical elements of transmitters alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4816—Constructional features, e.g. arrangements of optical elements of receivers alone
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Optics & Photonics (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Abstract

提供了用於高解析度飛行時間（ToF）深度成像的技術和系統。在一些實例中，一種裝置包括投影系統，該投影系統包括一或多個發光設備，每個發光設備被配置為對投影系統的整個視場（FOV）的至少一個部分進行照明。整個FOV包括複數個FOV部分。該裝置亦可以包括接收系統，該接收系統包括感測器，該感測器被配置為基於與由一或多個發光設備發射的光相對應的複數個照明反射來順序地捕捉複數個影像。複數個影像之每一者影像對應於複數個FOV部分之一。與每個影像相關聯的影像解析度對應於感測器的全解析度。該裝置進一步包括處理器，該處理器被配置為使用複數個影像來產生與整個FOV相關聯的增加解析度的深度圖。

Description

高解析度飛行時間深度成像
本案整體上係關於飛行時間（ToF）感測。在一些實例中，本案的各態樣與增加深度圖的影像解析度有關，此類深度圖是經由順序地掃瞄成像系統的視場（FOV）的部分而基於ToF資料來產生的。
影像感測器通常被整合到各種各樣的電子設備中，諸如相機、行動電話、自主系統（例如，自主無人機、汽車、機器人等）、智慧可穿戴設備、擴展現實（例如，增強現實、虛擬實境、混合現實）設備，以及許多其他設備。影像感測器允許使用者從任何配備有影像感測器的電子設備中捕捉視訊和影像。可以捕捉視訊和影像以供娛樂用途、專業攝影、監視和自動化等其他的應用。由影像感測器捕捉的視訊和影像可以以各種方式進行操縱，以增加視訊或影像的品質並創造某些藝術效果。
在一些情況下，可以對由影像感測器捕捉的光訊號和影像資料進行分析以辨識關於影像資料及/或由影像資料捕捉的場景的某些特性，隨後這些特徵可以被用來修改捕捉的影像資料或者執行各種任務。例如，可以對光訊號及/或影像資料進行分析以估計由影像資料捕捉的場景的距離。對距離資訊進行估計對於各類應用都是有用的，諸如三維（3D）攝影、擴展現實體驗、物件掃瞄、自主車輛操作、地球地形量測、電腦視覺系統、面部辨識系統、機器人、遊戲以及建立各種藝術效果，諸如模糊和散景效果（例如，失焦效果）。然而，以足夠的解析度及/或準確度來估計距離資訊可能是過高功率和計算密集型的。
可以實現本文描述的系統和技術以執行高解析度飛行時間（ToF）深度成像。根據至少一個實例，提供了一種用於高解析度ToF深度成像的裝置。實例裝置可以包括投影系統，該投影系統包括一或多個發光設備，一或多個發光設備之每一者發光設備被配置為對投影系統的整個視場（FOV）的至少一個部分進行照明。整個FOV可以包括複數個FOV部分。該裝置亦可以包括接收系統，該接收系統包括感測器，該感測器被配置為基於與由一或多個發光設備發射的光相對應的複數個照明反射來順序地捕捉複數個影像。複數個影像之每一者影像對應於複數個FOV部分之一。此外，與複數個影像之每一者影像相關聯的影像解析度對應於感測器的全解析度。該裝置亦可以包括一個記憶體（或多個記憶體）和與該記憶體（或多個記憶體）耦合的一個處理器或多個處理器（例如，以電路實現的）。該處理器（或該多個處理器）可以被配置為使用複數個影像來產生與整個FOV相關聯的增加解析度的深度圖。
在另一實例中，一種裝置，該裝置可以包括：用於對投影系統的整個視場（FOV）的複數個FOV部分進行照明的部件，其中用於照明的部件被配置為順序地對整個FOV的至少一個部分進行照明；用於基於與由用於照明的部件發射的光相對應的複數個照明反射來順序地捕捉複數個影像的部件，其中複數個影像之每一者影像對應於複數個FOV部分之一，以及其中與複數個影像之每一者影像相關聯的影像解析度對應於用於接收的部件的全解析度；及用於使用複數個影像來產生與整個FOV相關聯的增加解析度的深度圖的部件。
在另一實例中，提供了一種用於高解析度ToF深度成像的方法。實例方法可以包括使用投影系統的一或多個發光設備來對投影系統的整個FOV的複數個FOV部分進行照明，其中一或多個發光設備之每一者發光設備被配置為對整個FOV的至少一個部分進行照明。該方法亦可以包括由接收系統的感測器基於與由一或多個發光設備發射的光相對應的複數個照明反射來順序地捕捉複數個影像。複數個影像之每一者影像對應於複數個FOV部分之一。此外，與複數個影像之每一者影像相關聯的影像解析度對應於感測器的全解析度。該方法亦可以包括使用複數個影像來產生與整個FOV相關聯的增加解析度的深度圖。
在另一實例中，提供了一種用於高解析度ToF深度成像的非暫時性電腦可讀取媒體。實例非暫時性電腦可讀取媒體可以儲存指令，當這些指令被一或多個處理器執行時使一或多個處理器：使用投影系統的一或多個發光設備來對投影系統的整個視場（FOV）的複數個FOV部分進行照明，其中一或多個發光設備之每一者發光設備被配置為對整個FOV的至少一個部分進行照明；基於與由一或多個發光設備發射的光相對應的複數個照明反射來順序地捕捉複數個影像，其中複數個影像之每一者影像對應於複數個FOV部分之一，以及其中與複數個影像之每一者影像相關聯的影像解析度對應於感測器的全解析度；及使用複數個影像來產生與整個FOV相關聯的增加解析度的深度圖。
在一些態樣中，上述方法、裝置和電腦可讀取媒體可以包括：按順序照明次序來對複數個FOV部分中的每一個進行照明，該順序照明次序包括一次對單個FOV部分進行照明；按與順序照明次序相對應的順序接收次序來接收複數個照明反射之每一者照明反射；及基於複數個照明反射之每一者照明反射來產生複數個影像之每一者影像。在一些實例中，按順序照明次序來對複數個FOV部分中的每一個進行照明可以包括：對複數個FOV部分的第一FOV部分進行照明；接收與第一FOV部分相對應的第一照明反射；在接收到第一照明反射之後，對複數個FOV部分的第二FOV部分進行照明；及接收與第二FOV部分相對應的第二照明反射。
在一些態樣中，一或多個發光設備可以包括複數個發光設備。在一些情況下，投影系統可以包括複數個投影透鏡，複數個投影透鏡之每一者投影透鏡被配置為將由複數個發光設備之一發射的光朝向複數個FOV部分中的一不同FOV部分投影。在一些情況下，複數個投影透鏡之每一者投影透鏡可以被定位在複數個發光設備的上方。在一些實例中，投影系統包括相對於複數個投影透鏡定位的一或多個漫射器。例如，一或多個漫射器可以被配置為漫射由複數個發光設備發射的光。在一些實例中，投影系統包括分段式稜鏡陣列。例如，分段式稜鏡陣列可以被配置為向複數個FOV部分之每一者FOV部分引導光。
在一些態樣中，一或多個發光設備可以包括單個發光設備。在一些情況下，投影系統可以包括掃瞄鏡，該掃瞄鏡被配置為當以不同取向定向時，將由單個發光設備發射的光朝向複數個FOV部分中的不同FOV部分投影。在一個實例中，掃瞄鏡可以是微型機電系統（MEMS）鏡。在一些態樣中，掃瞄鏡可以被定位在單個發光設備的上方。在一些情況下，掃瞄鏡的不同取向中的每一個可以對應於掃瞄鏡與單個發光設備的平面之間的不同取向角。在一些實例中，投影系統包括相對於掃瞄鏡定位的一或多個漫射器。例如，一或多個漫射器可以被配置為漫射由單個發光設備發射的光。
在一些態樣中，接收系統包括影像透鏡的陣列。影像透鏡的陣列之每一者影像透鏡可以被配置為將與對應於複數個FOV部分中的相應FOV部分的場景的一不同部分相關聯的光向感測器投影。
在一些態樣中，上述的方法、裝置和電腦可讀取媒體可以包括定位在感測器的上方的濾波器。濾波器被配置為用與由一或多個發光設備發射的光的頻率相對應的頻率來透射光。
在一些態樣中，上述方法、裝置和電腦可讀取媒體可以包括至少部分地基於以下操作來使投影系統和接收系統同步：向投影系統發送第一控制訊號，該第一控制訊號引導投影系統對複數個FOV部分中的特定FOV部分進行照明；及向接收系統發送第二控制訊號，該第二控制訊號引導接收系統將由感測器接收到的照明反射與特定FOV部分進行關聯，其中第一控制訊號和第二控制訊號是時間同步的。
在一些態樣中，複數個FOV部分的第一FOV部分可以與複數個FOV部分的至少第二FOV部分局部地重疊。
在一些態樣，產生與整個FOV相關聯的增加解析度的深度圖可以包括：產生複數個局部距離量測，複數個局部距離量測中的每一個對應於複數個照明反射之一；及組合複數個局部距離量測。在一些實例中，增加解析度的深度圖的影像解析度可以對應於感測器的最大解析度乘以複數個FOV部分的數量。
在一些態樣中，上述每個裝置是或者包括相機、行動設備（例如，行動電話或所謂的「智慧手機」或其他行動設備）、智慧可穿戴設備、擴展現實設備（例如，虛擬實境（VR）設備、增強現實（AR）設備或混合現實（MR）設備）、個人電腦、膝上型電腦、伺服器電腦、自主車輛或其他設備。在一些態樣中，該裝置包括用於捕捉一或多個視訊及/或影像的一個相機或多個相機。在一些態樣中，該裝置進一步包括用於顯示一或多個視訊及/或影像的顯示器。在一些態樣中，上述裝置可以包括一或多個感測器。
該概要不意圖辨識所要求保護的主題的關鍵或必要特徵，亦不意圖被孤立地用來決定所要求保護的主題的範疇。主題應當經由參考該專利的整個說明書的適當部分、任一或所有附圖，以及每條請求項來進行理解。
在參考以下說明書、申請專利範圍和附圖時，前述特徵和實例連同其他特徵和實例將變得更加明顯。
下文提供本案的某些態樣和實例。這些態樣和實例中的一些可以獨立應用，並且其中的一些可以組合應用，這對本發明所屬領域中具有通常知識者來說是顯而易見的。在以下描述中，出於解釋的目的闡述了具體細節，以便提供對本案的主題的透徹理解。然而，將顯而易見的是，各種實例可以在沒有這些具體細節的情況下實踐。附圖和描述並不意圖為是約束性的。
接下來的描述僅提供說明性實例，並不意圖限制本案的範疇、適用性或配置。相反，接下來的描述將給本發明所屬領域中具有通常知識者提供使得能夠用於實現說明性實例的描述。應當理解的是，在不脫離所附請求項中闡述的本案的精神和範疇的情況下，可以對要素的功能和佈置進行各種改變。
影像感測器通常被整合到各種各樣的電子設備中，諸如相機、行動電話、自主系統（例如，自主無人機、汽車、機器人等）、擴展現實（例如，增強現實、虛擬實境、混合現實）設備、物聯網路（IoT）設備、智慧可穿戴設備以及許多其他設備。隨著越來越多的電子設備配備了此類影像感測器，視訊和影像記錄能力已經變得更加廣泛。另外，電子設備的影像處理能力已經得到不斷改進，從而允許對影像資料進行操縱以產生更高品質的視訊和影像，產生廣泛的藝術效果，以及在各種各樣的應用中實現影像資料。例如，可以對由感測器捕捉的光訊號和影像資料進行分析以辨識關於影像資料及/或由影像資料捕捉的場景的某些特性。隨後，這些資訊可以被用來修改捕捉到的影像資料或者執行各種任務。例如，可以對光訊號及/或影像資料進行分析以估計由影像資料捕捉的場景內的物件的距離。
飛行時間（ToF）感測器系統可以使用光（例如，紅外（IR）光、近紅外（NIR）光及/或其他光）來決定關於目標（例如，周圍/鄰近的場景、一或多個周圍/鄰近的物件等）的深度及/或距離資訊。ToF感測器系統可以包括光發射器，該光發射器被配置為朝向目標發射光訊號，光訊號可以擊中目標並反射回ToF感測器系統。ToF感測器系統亦可以包括感測器，該感測器被配置為對返回/反射光進行偵測及/或量測，隨後這可以被用來決定目標的深度及/或距離資訊。目標相對於ToF感測器系統的距離可以被用來執行深度圖繪製。目標的距離可以經由直接ToF或間接ToF來計算。
一些ToF感測器系統的解析度（例如，影像解析度）可以對應於ToF感測器系統一次可以接收和處理的反射光訊號的數量。例如，ToF感測器系統的影像解析度可以對應於ToF感測器的圖元（例如，光敏元件）的數量。在許多情況下，ToF感測器技術利用複雜的硬體及/或廣泛的處理能力。因此，增加ToF感測器的解析度（例如，圖元的數量）可能是不切實際及/或不可能的（例如，成本高昂）。例如，一些現有的ToF系統被限制在不超過320×240圖元的解析度。如此低的解析度可能不足以用於各種類型的成像和感測應用，諸如長距離成像、寬視場（FOV）成像、自主車輛操作、機器視覺系統、面部辨識系統、數位量測系統、遊戲、機器人等。因此，開發改進的ToF系統和技術以用於有效地捕捉高解析度影像深度資訊是有益的。
本案描述了用於提供高解析度ToF深度成像的系統、裝置、方法和電腦可讀取媒體（被統稱為「系統和技術」）。本文描述的系統和技術為ToF系統提供了產生深度圖（例如深度影像圖）的能力，其解析度超過了ToF系統的ToF感測器的全（例如，最大）解析度。另外，ToF系統可以產生高解析度深度圖，而不會在處理時間態樣帶來實質性的延遲。為了產生高解析度深度圖，ToF系統可以捕捉與ToF系統的整個視場（FOV）的部分相關聯的深度資訊。在一些情況下，ToF系統可以順序地捕捉與整個FOV中的個體部分（被稱為FOV部分）相關聯的深度資訊。例如，ToF系統可以「掃瞄」遍及FOV部分。ToF系統可以利用單個ToF感測器（例如，同一個ToF感測器）來掃瞄每個FOV部分。個體FOV部分可以對應於（或大致對應於）單個ToF感測器的FOV。ToF系統可以經由組合從每個FOV部分獲得的深度資訊來產生與整個FOV相對應的深度圖。因此，整個FOV的深度圖的解析度（例如，影像解析度）對應於單個ToF感測器的解析度乘以被掃瞄的FOV部分的數量。此外，由於每個FOV部分皆小於總FOV，因此由ToF設備投影到每個FOV部分上的光是高度集中的（例如，與由一次性對整個FOV進行照明的ToF系統投影的光的集中度相比）。在照明態樣的這種增加導致曝光時間的對應減少（例如，獲得準確距離量測所需的時間量），從而使ToF系統能夠在產生或更新深度圖時保持高畫面播放速率。例如，若ToF系統將FOV劃分為 x個子FOV，則ToF系統可以產生具有 x倍高解析度的深度圖，其時延與沒有順序地對FOV部分進行掃瞄的ToF系統相同。
在一些實例中，ToF系統可以包括投影儀系統，該投影儀系統被配置為順序地對個體FOV部分進行照明。投影儀系統可以包括一或多個發光設備。在一個實例中，發光設備可以包括以VCSEL陣列佈置的複數個垂直腔面發射雷射器（VCSEL）。在一些情況下，VCSEL陣列之每一者VCSEL可以發射具有窄頻近紅外（NIR）光的光。投影儀系統亦可以包括適當地引導由發光設備發射的光的一或多個導光機構（例如，一或多個投影透鏡、稜鏡、投影透鏡和一或多個稜鏡的組合，及/或掃瞄鏡）。
在一個實例中，投影儀系統可以包括多個發光設備（例如，多個VCSEL陣列），每個發光設備被配置為對整個FOV中的特定FOV部分進行照明。例如，發光設備的數量可以等於FOV被劃分為FOV部分的數量。每個發光設備可以有選擇地及/或單獨地被啟動（例如，使得在任何時間點，僅單個發光設備朝向相應的FOV部分發射光）。在此實例中，一或多個導光機構可以包括多個投影透鏡的透鏡陣列及/或一個稜鏡（或在一些情況下，多個稜鏡）。例如，透鏡陣列的每個投影透鏡可以對應於相應的發光設備。透鏡陣列的多個投影透鏡可以被定位（例如，保持在特定角度）以確保由每個發光設備發射的光對適當的FOV部分進行照明。將多個發光設備與一個透鏡陣列及/或一個稜鏡（或多個稜鏡）組合使用可以確保沒有必要進行機械運動來捕捉整個FOV的距離量測。
在另一實例中，投影儀系統可以包括單個發光設備（例如，單個VCSEL陣列），該單個發光設備被配置為選擇性地對個體FOV部分進行照明。在此實例中，一或多個導光機構可以包括掃瞄鏡（例如，微型機電系統（MEMS）鏡）。可以定期地對掃瞄鏡的取向進行調整（例如，向特定角度移動），以順序地反射由發光設備發射的光，以便對每個FOV部分進行照明。儘管使用掃瞄鏡可能涉及ToF系統的機械運動，但掃瞄鏡的機械疲勞可能可以忽略不計。因此，掃瞄鏡的機械運動可能不會在掃瞄鏡的使用壽命內降低投影儀系統的效能。使用掃瞄鏡可以使得ToF系統能夠僅使用單個發光設備。
ToF系統可以經由組合與整個FOV部分中的個體FOV部分相對應的距離量測來產生整個FOV的完整深度圖。例如，ToF系統可以將與個體FOV部分相對應的訊框「拼接（stitch）」在一起。這些訊框可以在被捕捉時或者在所有訊框已經被捕捉之後進行組合。在一些情況下，與相鄰的FOV部分相對應的訊框可以包括預定的重疊量（例如，重疊圖元的預定數量）。重疊可以使得ToF系統能夠有效地及/或無瑕疵地將個體訊框編譯成整個FOV的內聚深度圖。
在一些情況下，ToF系統可以根據同步方案使投影儀系統和ToF感測器同步。經由執行同步，ToF系統可以確保ToF感測器在特定FOV部分被照明時決定與該特定FOV部分相關聯的距離量測。在一個實例中，ToF系統可以包括控制器，該控制器向投影儀系統發送同步訊號。若投影儀系統包括多個發光設備（例如，多個VCSEL陣列），則同步訊號可以指示哪個發光設備當前要被打開。若投影儀系統包括掃瞄鏡，則同步訊號可以指示掃瞄鏡要被定向的特定角度。另外，控制器可以向ToF感測器發送同步訊號。此同步訊號可以向感測器指示哪個FOV部分當前正在被投影儀系統照明。基於同步訊號，ToF感測器可以在FOV部分被順序地照明時，準確地標記與個體FOV部分相關聯的距離量測。
本文相對於各個圖提供關於高解析度ToF系統的進一步細節。圖1是示出用於飛行時間（ToF）訊號處理的實例影像處理系統100的圖。在此說明性實例中，影像處理系統100可以包括ToF系統102，影像感測器104，儲存106和應用處理器110。在一些實例中，影像處理系統100可以可選地包括其他計算部件108諸如，例如，中央處理單元（CPU）、圖形處理單元（GPU）、數位訊號處理器（DSP）及/或影像訊號處理器（ISP），影像處理系統100可以使用其來執行本文相對於應用處理器110描述的一或多個操作/功能。在一些情況下，應用處理器110及/或其他計算部件108可以實現ToF引擎130、影像處理引擎134及/或渲染引擎136。
應當注意的是，在一些實例中，應用處理器110及/或其他計算部件108亦可以實現圖1中沒有顯示的一或多個計算引擎。出於說明和解釋的目的，本文提供了ToF引擎130、影像處理引擎134和渲染引擎136，並且為了簡單起見，沒有顯示其他可能的計算引擎。同樣，出於說明和解釋的目的，ToF引擎130、影像處理引擎134、渲染引擎136和所揭示的它們的各種操作將在本文被描述為由應用處理器110實現。然而，本發明所屬領域中具有通常知識者將認識到，在其他實例中，ToF引擎130、影像處理引擎134、渲染引擎136及/或所揭示的它們的各種操作可以由其他計算部件108實現。
影像處理系統100可以是一個計算設備或多個計算設備的一部分，或者由其實現。在一些實例中，影像處理系統100可以是一個電子設備（或多個電子設備）的一部分，諸如相機系統（例如，數位相機、IP相機、視訊相機、安全相機等）、電話系統（例如，智慧手機、蜂巢式電話、會議系統等）、膝上型或筆記型電腦、平板電腦、機上盒、電視、顯示裝置、數位媒體播放機、遊戲控制器、視訊流傳輸設備、頭戴式顯示器（HMD）、擴展現實（XR）設備、無人機、汽車中的電腦、IoT（物聯網）設備、智慧可穿戴設備，或任何其他合適的電子設備。在一些實現方式中，ToF系統102、影像感測器104、儲存106、其他計算部件108、應用處理器110、ToF引擎130、影像處理引擎134和渲染引擎136可以是同一個計算設備的一部分。
例如，在一些情況下，ToF系統102、影像感測器104、儲存106、其他計算部件108、應用處理器110、ToF引擎130、影像處理引擎134和渲染引擎136可以被整合到相機、智慧手機、膝上型電腦、平板電腦、智慧可穿戴設備、HMD、XR設備、IoT設備、遊戲系統及/或任何其他計算設備中。然而，在一些實現方式中，ToF系統102、影像感測器104、儲存106、其他計算部件108、應用處理器110、ToF引擎130、影像處理引擎134及/或渲染引擎136中的一或多個可以是兩個或兩個以上分離的計算設備的一部分，或者其實現。
ToF系統102可以使用光（諸如，近紅外光（NIR））來決定關於目標（例如，周圍/鄰近的場景、一或多個周圍/鄰近的物件等）的深度和/距離資訊。在一些實例中，ToF系統102可以量測目標（諸如場景）之每一者圖元的距離和強度兩者。ToF系統102可以包括光發射器，該光發射器朝向目標（例如，場景、物件等）發射光訊號，光訊號可以擊中目標並返回/反射到ToF系統102。ToF系統102可以包括感測器，該感測器對返回/反射光進行偵測及/或量測，隨後這可以被用來決定目標的深度及/或距離資訊。目標相對於ToF系統102的距離可以被用來執行深度圖繪製。目標的距離可以經由直接ToF或間接ToF來計算。
在直接ToF中，距離可以基於發射光脈衝訊號和返回/反射光脈衝訊號的行進時間（例如，從光訊號被發射到返回/反射光訊號被接收的時間）來計算。例如，發射光訊號和返回/反射光訊號的往返距離可以經由將發射光脈衝訊號和返回/反射光脈衝訊號的行進時間乘以光速（通常表示為c）來計算。計算出的往返距離隨後可以被除以2，以決定從ToF系統102到目標的距離。
在間接ToF中，距離可以經由朝向目標發送經調制的光並量測返回/反射光的相位來計算。已知發射光的頻率（f）、返回/反射光的相移和光速，從而允許計算到目標的距離。例如，發射光的路徑與返回/反射光的路徑之間的執行時間差導致了返回/反射光的相移。發射光與返回/反射光之間的相位差以及光的調制頻率（f）可以被用來計算ToF系統102與目標之間的距離。例如，用於ToF系統102與目標之間的距離的公式可以是（c/2f）×相移/2π。如該公式所示，較高頻率的光可以提供更高的量測準確度，但會導致可以量測的最大距離更短。
相應地，在一些實例中，可以使用雙頻率來改進量測準確度及/或距離，如本文進一步解釋。例如，可以使用60 MHz的光訊號來量測2.5米遠的目標，並且可以使用100 MHz的光訊號來量測1.5米遠的目標。在雙頻率的情形中，可以使用60 MHz和100 MHz的光訊號兩者來計算到目標的距離。
影像感測器104可以包括任何影像及/或視訊感測器或捕捉設備，諸如數位相機感測器、視訊相機感測器、智慧手機相機感測器、電子裝置（諸如電視或電腦、相機等）上的影像/視訊捕捉設備。在一些情況下，影像感測器104可以是相機或計算設備的一部分，諸如數位相機、視訊相機、IP相機、智慧手機、智慧電視、遊戲系統等。在一些實例中，影像感測器104可以包括多個影像感測器，諸如後置和前置感測器設備，並且可以是雙相機或其他多相機裝配件（例如，包括兩個相機、三個相機、四個相機或其他數量的相機）的一部分。影像感測器104可以捕捉影像及/或視訊訊框（例如，原始影像及/或視訊資料），影像及/或視訊訊框隨後可以由應用處理器110、ToF引擎130、影像處理引擎134及/或渲染引擎136進行處理，如本文進一步描述。
儲存106可以是用於儲存資料的任何存放裝置。此外，儲存106可以儲存來自影像處理系統100的任何部件的資料。例如，儲存106可以儲存來自ToF系統102的資料（例如，ToF感測器資料或量測）、來自影像感測器104的資料（例如，訊框、視訊等）、來自及/或被其他計算部件108及/或應用處理器110使用的資料（例如，處理參數、影像資料、ToF量測、深度圖、調節參數、處理輸出、軟體、檔、設置等）、來自及/或被ToF引擎130使用的資料（例如，一或多個神經網路、影像資料、調節參數、輔助中繼資料、ToF感測器資料、ToF量測、深度圖、訓練資料集等）、來自及/或被影像處理引擎134使用的資料（例如，影像處理資料及/或參數等）、來自及/或被渲染引擎136使用的資料（例如，輸出訊框）、來自及/或被影像處理系統100的作業系統、影像處理系統100的軟體使用的資料以及/或任何其他類型的資料。
應用處理器110可以包括例如但不限於CPU 112、GPU 114、DSP 116及/或ISP 118，應用處理器110可以使用其來執行各種計算操作，諸如影像/視訊處理、ToF訊號處理、圖形渲染、機器學習、資料處理、計算及/或任何其他操作。在圖1中顯示的實例中，應用處理器110實現ToF引擎130、影像處理引擎134和渲染引擎136。在其他實例中，應用處理器110亦可以實現一或多個其他處理引擎。此外，在一些情況下，ToF引擎130可以實現一或多個機器學習演算法（例如，一或多個神經網路），該一或多個機器學習演算法被配置為執行ToF訊號處理並且/或者產生深度圖。
在一些情況下，應用處理器110亦可以包括記憶體122（例如，隨機存取記憶體（RAM）、動態RAM等）和快取記憶體120。記憶體122可以包括一或多個記憶體設備，並且可以包括任何類型的記憶體諸如，例如，揮發性記憶體（例如，RAM、DRAM、SDRAM、DDR、靜態RAM等）、快閃記憶體、基於快閃記憶體的記憶體（例如，固態驅動器）等。在一些實例中，記憶體122可以包括一或多個DDR（例如，DDR、DDR2、DDR3、DDR4等）記憶體模組。在其他實例中，記憶體122可以包括其他類型的記憶體模組。記憶體122可以被用來儲存資料諸如，例如，影像資料、ToF資料、處理參數（例如，ToF參數、調節參數等）、中繼資料及/或任何類型的資料。在一些實例中，記憶體122可以被用來儲存來自及/或被ToF系統102、影像感測器104、儲存106、其他計算部件108、應用處理器110、ToF引擎130、影像處理引擎134及/或渲染引擎136使用的資料。
快取記憶體120可以包括儲存資料的一或多個硬體及/或軟體部件，以便未來對該資料的請求可以得到服務快於儲存在記憶體122或儲存106上。例如，快取記憶體120可以包括任何類型的快取記憶體或緩衝區諸如，例如，系統快取記憶體或L2快取記憶體。快取記憶體120可以比記憶體122和儲存106更快及/或更具成本效益。此外，快取記憶體120可以具有比記憶體122和儲存106更低的功率及/或操作需求或佔用空間（footprint）。因此，在一些情況下，快取記憶體120可以被用來儲存/緩衝預期要被影像處理系統100的一或多個部件（例如，應用處理器110）處理的及/或在未來請求的某些類型的資料（諸如影像資料或ToF資料）並且快速給這些資料提供服務。
在一些實例中，針對ToF引擎130、影像處理引擎134和渲染引擎136（以及任何其他處理引擎）的操作可以由應用處理器110中的任何計算部件實現。在一個說明性實例中，渲染引擎136的操作可以由GPU 114實現，並且ToF引擎130、影像處理引擎134及/或一或多個其他處理引擎的操作可以由CPU 112、DSP 116及/或ISP 118實現。在一些實例中，ToF引擎130和影像處理引擎134的操作可以由ISP 118實現。在其他實例中，ToF引擎130及/或影像處理引擎134的操作可以由ISP 118、CPU 112、DSP 116及/或ISP 118、CPU 112和DSP 116的組合來實現。
在一些情況下，應用處理器110可以包括其他電子電路或硬體、電腦軟體、韌體，或它們的任何組合，以執行本文描述的各種操作。在一些實例中，ISP 118可以接收由ToF系統102及/或影像感測器104捕捉或產生的資料（例如，影像資料、ToF資料等），並且處理該資料以產生輸出深度圖及/或訊框。訊框可以包括視訊序列的視訊訊框或靜止影像。訊框可以包括表示場景的圖元陣列。例如，訊框可以是紅-綠-藍（RGB）訊框，每個圖元具有紅、綠、藍顏色分量；亮度、色度-紅、色度-藍（YCbCr）訊框，每個圖元具有一個亮度分量和兩個色度（顏色）分量（色度-紅和色度-藍）；或任何其他合適類型的彩色或單色圖片。
在一些實例中，ISP 118可以實現一或多個處理引擎（例如，ToF引擎130，影像處理引擎134等），並且可以執行ToF訊號處理及/或影像處理操作，諸如深度計算、深度圖繪製、濾波、去馬賽克、縮放、色彩校正、色彩轉換、降噪濾波、空間濾波、偽像校正等。ISP 118可以處理來自ToF系統102、影像感測器104、儲存106、記憶體122、快取記憶體120、應用處理器110中的其他部件的資料，及/或從遠端源（諸如遠端相機、伺服器或內容提供者）接收到的資料。
儘管影像處理系統100被顯示為包括某些部件，但具有普通技術者將會理解，影像處理系統100可以包括比圖1中顯示的更多或更少的部件。例如，在一些實例中，影像處理系統100亦可以包括一或多個其他記憶體設備（例如，RAM、ROM、快取記憶體等）、一或多個聯網介面（例如，有線及/或無線通訊介面等）、一或多個顯示裝置，及/或圖1中沒有顯示的其他硬體或處理設備。下文將相對於圖10描述可以用影像處理系統100實現的計算設備和硬體部件的說明性實例。
圖2A是示出直接ToF感測程序200的實例的簡化方塊圖。在此實例中，ToF系統102首先朝向目標210發射光脈衝202。目標210可以包括，例如，場景、一或多個物件、一或多個動物、一或多個人等。光脈衝202可以向目標210行進，直到其擊中目標210。當光脈衝202擊中目標210時，光脈衝202的至少一些部分可以反射回ToF系統102。
因此，ToF系統102可以接收反射光脈衝204，包括從目標210反射回來的光脈衝202的至少一些部分。ToF系統102可以感測反射光脈衝204，並且基於反射光脈衝204來計算到目標210的距離206。為了計算距離206，ToF系統102可以由計算發射光脈衝202和反射光204行進的總時間（例如，從光脈衝202被發射到反射光脈衝204被接收的時間）。ToF系統102可以將由發射光脈衝202和反射光脈衝204行進的總時間乘以光速（c）來決定由光脈衝202和反射光脈衝204行進的總距離（例如，往返時間）。隨後，ToF系統102可以將所行進的總時間除以2，以獲得從ToF系統102到目標210的距離206。
圖2B是示出間接ToF感測程序220的實例的簡化方塊圖。在此實例中，可以計算反射光的相移來決定目標210的深度和距離。在這裡，ToF系統102首先朝向目標210發射經調制的光222。經調制的光222可以具有某個已知或預定的頻率。經調制的光222可以向目標210行進，直到它擊中目標210。當經調制的光222擊中目標210時，經調制的光222的至少一些部分可以反射回ToF系統102。
ToF系統102可以接收反射光224，並且使用下式來決定反射光224的相移226和到目標210的距離206：距離（206）=（c/2f）×相移/2π，其中f是經調制的光222的頻率，並且c是光速。
在一些情況下，在計算深度和距離（例如，206）時，可以考慮或使用影響光如何被反射的一或多個因素來對計算進行調節。例如，物件和表面可以具有具體的特性，這些特性可以使光不同地進行反射。為了說明，不同的表面可以有不同的折射指數，這可以影響光如何行進或如何與表面及/或表面上的（多種）材料相接。此外，非均勻性（諸如材料不規則性或散射中心）會造成光被反射、折射、透射或吸收，並且有時會造成能量損失。因此，當光擊中表面時，它可以被吸收、反射、透射等。光被表面反射的比例被稱為其反射率。然而，反射率不僅取決於表面（例如，折射指數、材料屬性、均勻性或非均勻性等），而且可以取決於被反射的光的類型和周圍環境（例如，溫度、環境光、水蒸氣等）。因而，如下文進一步解釋，在一些情況下，在計算目標210的距離206及/或深度資訊時，可以將關於周圍環境、光的類型及/或目標210的特性的資訊作為因素計入。
圖3是示出用於量測光訊號的相位角的實例技術的圖。在此實例中，ToF系統102發射經調制的光訊號222並且接收反射光224。ToF系統102量測反射光224在302、304、306、308四個不同點的幅值（A），以決定量測點302處的幅值A 1、量測點304處的幅值A 2、量測點306處的幅值A 3、量測點308處的幅值A 4。量測點302、304、306、308可以是等間距的點（如0°、90°、180°、270°）。
反射光224的相位角可以用下式表示：
Figure 02_image001
等式1
等式1說明了點302、304、306和308處的幅值量測與反射光224的相位角之間的關係。A 1與A 3之間的差同A 2與A 4之間的差的比率等於相位角的正切。
圖4是示出用於ToF感測的連續波方法400的圖。在此實例中，所發射的光訊號402和反射光訊號404可以是交叉關聯的，以決定反射光訊號404的相位延遲。首先可以發射光訊號402，並且可以使用四個非相位時間訊窗（例如，感測器積分時間訊窗）C 1414、C 2416、C 3418和C 4420來量測反射光訊號404的取樣量406-412（ Q 1 、 Q 2 、 Q 3 、 Q 4 ），每個窗口（414-420）是相位步進的，使得C 1為0度、C 2為180度、C 3為90度、C 4為270度。如圖4所示，量測量406-412對應於量測時間訊窗與反射光訊號404之間的重疊區域。
所發射的光訊號402與反射光訊號404之間的相位延遲φ和距離d可以經由下式來計算：
Figure 02_image003
等式2
Figure 02_image005
等式3
在一些實例中，可以使用量406-412（Q 1、Q 2、Q 3、Q 4）來計算圖元強度和偏移。此外，在一些情況下，項（Q 3-Q 4）和（Q 1-Q 2）可以減少來自量（406-412）的恆定偏移的影響。相位等式（等式2）中的商可以減少來自距離量測的系統或環境變化的影響諸如，例如系統放大、系統衰減、反射強度等。
圖5是用於ToF訊號處理的實例影像處理系統500的圖。在一些情況下，影像處理系統500可以對應於圖1的影像處理系統100的全部或部分。如圖5所示，影像處理系統500可以包括投影系統502、接收系統508和處理器518。影像處理系統500的這些及/或其他部件可以被配置為產生深度圖516。深度圖516可以包括與影像處理系統500的FOV內的目標（例如，物件）相關聯的深度資訊。
在一些情況下，投影系統502可以包括一或多個發光設備504。出於獲得一或多個目標的深度資訊（例如，距離量測）的目的，一或多個發光設備504可以包括任何被配置為發射光的設備。在說明性實例中，一或多個發光設備504可以包括一或多個垂直腔表面發射雷射器（VCSEL）或其他鐳射設備。例如，一或多個發光設備504可以包括以VCSEL陣列佈置的複數個VCSEL。如下文將更詳細解釋，投影系統502可以包括單個VCSEL陣列，或多個VCSEL陣列。在一些情況下，一或多個發光設備504可以被配置為發射具有某個波長（或某個範圍的波長）的光。在非限制性實例中，一或多個發光設備504可以被配置為發射窄頻近紅外（NIR）光（例如，具有800到2500奈米之間的波長的光）。一或多個發光設備504可以發射具有任何適合於獲得ToF資料的波長的光。
如圖所示，投影系統502可以包括一或多個光引導設備506。一或多個光引導設備506可以包括任何被配置為改變、調整或以其他方式引導由一或多個發光設備504發射的光的角度的設備。在一個實例中，一或多個光引導設備506可以包括一或多個投影透鏡，該一或多個投影透鏡借助於折射來分散光。在另一實例中，光引導設備506可以包括一或多個鏡，該一或多個鏡基於鏡反射定律以期望的角度反射光。如下文將更詳細解釋，一或多個光引導設備506可以被配置為選擇性地向影像處理系統500的FOV的特定部分引導由一或多個發光設備504發射的光。
在一些情況下，投影系統502可以產生和投影照明訊號512。照明訊號512可以對應於由一或多個發光設備504發射的並且由一或多個光引導設備506引導的光。在一個實例中，照明訊號512可以包括在不同時間點發射的複數個照明訊號。例如，照明訊號512可以包括一系列的照明訊號，這些照明訊號被順序地引導向影像處理系統500的不同FOV部分。照明訊號512可以被一或多個目標吸收、透射及/或反射。被反射的全部或部分照明訊號可以由接收系統508捕捉。反射和捕捉的照明訊號可以對應於圖5中的照明反射514。在一個實例中，照明反射514可以由接收系統508的感測器510接收。感測器510可以包括被配置為接收、捕捉及/或處理具有由一或多個發光設備504發射的光的波長的光的任何類型或形式的設備。在一個實例中，感測器510可以包括光譜帶通濾波器，該光譜帶通濾波器過濾全部或部分（例如，大部分）環境干擾，同時經由具有與照明訊號512大致相同（例如，在某個公差內）的波長的光。在一些情況下，感測器510可以包括ToF感測器。例如，感測器510可以對應於全部或部分ToF系統102及/或影像處理系統100的影像感測器104。感測器510可以處理照明反射514以決定與一或多個目標相關聯的距離資訊。例如，感測器510可以基於投影照明訊號與接收對應的照明反射之間的時間量來決定到目標的距離（根據上述的直接ToF技術）。在另一實例中，感測器510可以基於照明訊號與對應的照明反射之間的相移來決定到目標的距離（根據上述的間接ToF技術）。在一些情況下，感測器510的解析度（例如，影像解析度）對應於感測器510內的圖元（例如，感光元件）的數量。感測器510的全部或部分圖元可以回應於投影的照明訊號而接收照明反射。在一個實例中，感測器510可以決定與感測器510的每個圖元相對應的距離量測。
在一些實例中，處理器518可以至少部分地基於由感測器510決定的距離量測來產生深度圖516。例如，感測器510及/或處理器518可以組合與個體FOV部分相關聯的距離量測，以產生影像處理系統500的整個FOV的距離量測完全集。處理器518可以使用距離量測完全集來決定整個FOV的深度圖。
圖6A是圖5的影像處理系統500的實例FOV 602的圖。在此實例中，FOV 602可以對應於投影系統502的累積FOV。例如，FOV 602可以表示投影系統502的總發散角。如前述，一或多個光引導設備506可以被配置為以各種角度引導由一或多個發光設備504發射的光（例如，以便減小投影系統502到特定FOV部分的發散角）。在一個實例中，每個FOV部分可以與投影系統502的部件的特定配置相關聯。因此，FOV 602可以表示從投影系統502的每個可能的投影配置得來的FOV的組合。
圖6B是FOV 602的實例FOV部分的圖。在此實例中，FOV 602可以包括9個FOV部分。在一些情況下，與每個FOV部分相關聯的ToF資料的解析度（例如，影像解析度）可以對應於感測器510的全解析度。例如，在整個感測器510上順序地對每個FOV部分的場景進行成像。以這種方式，感測器510的全部解析度可以在每個配置中得到利用。此外，投影系統502的全照明功率可以在每個配置處得到利用。如下文將更詳細解釋，影像處理系統500可以組合與多個FOV部分相關聯的ToF資料以產生深度圖，該深度圖的解析度大於感測器510的解析度。例如，深度圖516的解析度可以對應於感測器510的解析度乘以FOV 602被劃分為FOV部分的數量。在說明性實例中，感測器510的解析度可以給定為
Figure 02_image007
，並且FOV 602可以被劃分為N×M個FOV部分。在此實例中，與整個FOV相對應的累積深度圖的解析度可以給定為
Figure 02_image009
。此外，若一個FOV部分對應於水平投影角
Figure 02_image011
和垂直投影角
Figure 02_image013
，則FOV 602的水平和垂直投影角可以分別給定為
Figure 02_image015
和
Figure 02_image017
。參見供參考的圖6A和圖6B。
在一些情況下，投影系統502可以順序地對FOV 602的每個FOV部分進行照明。例如，投影系統502可以在處於第一投影配置中時經由將第一照明訊號投影來對第一FOV部分進行照明。接收系統508可以用整個感測器510的解析度來捕捉和處理第一照明反射，並且第一照明的全解析度ToF訊框被儲存在記憶體緩衝區中。在接收到及/或處理過第一照明反射之後，投影系統502可以在處於第二投影配置中時經由將第二照明訊號投影來對第二FOV部分進行照明。接收系統508可以用整個感測器510的解析度來捕捉和處理第二照明反射，並且第二照明的全解析度ToF訊框亦被儲存在記憶體緩衝區中。在一些實例中，影像處理系統500可以重複將照明訊號投影和接收照明反射的程序，直到已經接收到與每個FOV部分相對應的照明反射。在此程序中，一次可以對單個FOV部分進行照明。例如，投影系統502可以被配置為在將光朝向另一FOV部分投影之前停止將光朝向一個FOV部分投影。
在一個實例中，投影系統502可以根據順序照明次序來對FOV部分進行照明。順序照明次序可以對應於投影系統502「掃瞄」FOV部分的預定次序。順序照明次序可以包括經由FOV部分的行（row）進行掃瞄，經由FOV部分的列（column）進行掃瞄，對角掃瞄FOV部分等其他的照明次序。在說明性實例中，用於對圖6B中顯示的FOV部分進行照明的順序照明次序可以遵循ToF訊框FOV 1,1、FOV 1,2、FOV 1,3、FOV 2,1等的順序。在一些情況下，接收系統508可以按與順序照明次序相對應的順序接收次序來接收照明反射。例如，感測器510可以回應於由感測器510接收到的每個照明反射來決定距離量測。感測器510可以基於順序照明次序來記錄與適當的FOV部分相關聯的特定距離量測。例如，影像處理系統500可以向投影系統502和接收系統508發送同步訊號。同步訊號可以向投影系統502和接收系統508兩者指示當前被照明的FOV。
如上所提到，影像處理系統500可以組合（例如，「拼接在一起」）與個體FOV部分相關聯的距離量測，以產生整個FOV的距離量測完全集。為了組合與個體FOV部分相關聯的距離量測，影像處理系統500可以儲存針對每個FOV部分的ToF訊框（例如，針對圖6B的FOV部分的ToF訊框FOV 1,1、FOV 1,2、FOV 1,3、FOV 2,1至FOV 3,3）。在一個實例中，影像處理系統500可以將ToF訊框儲存在感測器510的內置記憶體緩衝區中。在另一實例中，影像處理系統500可以將ToF訊框儲存在感測器510外部的系統記憶體中（例如，影像處理系統100的儲存106）。在一些情況下，影像處理系統500可以即時組合與FOV部分相關聯的距離量測。例如，感測器510及/或處理器518可以在根據順序照明次序接收到並且處理新的照明反射時，將距離量測值納入到距離量測完全集中。在其他實例中，感測器510及/或處理器518可以在每個FOV部分皆已經被掃瞄之後產生距離量測完全集。距離量測完全集可以被儲存在單個位置（例如，同一個檔或資料結構），並且被用於產生深度圖516。影像拼接操作可以由影像處理系統500的感測器電子裝置或在感測器電子裝置之外（例如，由設備CPU或其他處理器）實現。
在一些實例中，一個FOV部分可以與另一FOV部分局部地重疊。例如，圖6B圖示FOV 1,1與FOV 1,2之間的實例重疊612。在一個實例中，重疊612可以對應於預定數量的圖元的重疊。例如，FOV 1,1的水平解析度n可以由
Figure 02_image019
提供，其中
Figure 02_image021
對應於FOV 1,1獨有的圖元，並且
Figure 02_image023
對應於被包括在FOV 1,1和FOV 1,2兩者中的圖元。類似地，FOV 1,1和FOV 2,1可以共享重疊614。在一個實例中，FOV 1,1的垂直解析度m可以由
Figure 02_image025
提供，其中
Figure 02_image027
對應於FOV 1,1獨有的圖元，並且
Figure 02_image029
對應於被包括在FOV 1,1和FOV 2,1兩者中的圖元。如圖6B所示，其餘FOV部分的全部或部分可以包括類似的重疊。在一些情況下，FOV部分之間的重疊可以促進實現影像拼接方案，影像拼接方案使用自動數位對準技術來將FOV部分無瑕疵地「拼接」在一起。例如，影像處理系統500可以至少部分地基於偵測到重疊（例如，匹配）距離量測來定域FOV部分內相對於整個FOV的圖元。影像處理系統500可以實現任何合適大小的重疊，包括沒有重疊。
圖7是與圖5的投影系統502的實例實現方式相對應的設備700的圖。在一些實例中，設備700可以包括多個發光設備。在說明性實例中，設備700可以具有複數個VCSEL陣列。如圖所示，設備700可以包括一或多個發光設備，包括發光設備708（A）、708（B）和708（C）。儘管圖7圖示三個發光設備708（A）、708（B）和708（C），但設備700可以包括以任何合適的配置佈置的任何合適數量的發光設備。在說明性實例中，設備700可以包括以3×3網格佈置的九個發光設備。在一些情況下，設備700的發光設備的數量可以對應於FOV 602被劃分為FOV部分的數量。在一些情況下，每個發光設備可以對應於一個不同FOV部分。例如，投影系統502可以順序地依次啟動（例如，打開）每個發光設備，以便掃瞄每個FOV部分。
在一些情況下，設備700可以包括被配置為將由發光設備發射的光投影的一或多個投影鏡頭及/或額外的導光部件。例如，設備700可以包括複數個投影透鏡（例如，包括投影透鏡710（A）、710（B）及/或710（C）的投影透鏡陣列）。在一些情況下，投影透鏡陣列的每個投影透鏡可以對應於發光設備之一（例如，來自發光設備708（A）的光經由複數個投影透鏡的對應的投影透鏡710（A）發射，來自發光設備708（B）的光經由對應的投影透鏡710（B）發射，以此類推）。在說明性實例中，投影透鏡陣列可以包括複數個個別的（例如，分離的）投影透鏡。在一些實例中，設備700不包括投影透鏡陣列（亦即，投影透鏡陣列可以是可選的）。在一些情況下，投影透鏡陣列的投影透鏡710（A）、710（B）和710（C）的焦距決定每個FOV部分的度數，例如，FOV 1,1、FOV 1,2、…FOV n,m、…。在一些情況下，投影透鏡710（A）、710（B）和710（C）的焦距連同導光元件（例如，稜鏡714）決定FOV部分之間的重疊量。
在一些情況下，圖7中顯示的稜鏡714可以被配置為以不同角度（或不同角度範圍）引導光。在一些實例中，投影透鏡陣列的每個投影透鏡連同稜鏡714可以被配置為以特定角度引導光。例如，當一個發光設備708（A）、708（B）或708（C）被啟動時，稜鏡714（或與特定發光設備相對應的投影透鏡-稜鏡組合件）可以將來自發光設備（例如，發光設備708（A）、708（B）或708（C））的光朝向期望的FOV部分彎曲。在一個實例中，稜鏡714可以是分段式稜鏡陣列，其包括被配置為在不同方向上折射光的多個稜鏡段。例如，分段式稜鏡陣列上的每個稜鏡可以將來自對應的發光設備的光彎曲到與特定FOV部分相關聯的期望的角度。儘管圖7中顯示了稜鏡714，但可以使用稜鏡以外的另一類型的光學元件，諸如衍射光學元件（DOE）。稜鏡段（或其他光學元件）折射光的方向可以取決於稜鏡段的折射指數、稜鏡段的頂角（例如，稜鏡段的兩個面之間的角度）等其他的特性。在一些情況下，可以選擇與發光設備（例如，定位在發光設備的上方的稜鏡段）相對應的稜鏡段的特性，使得稜鏡段將由發光設備發射的光朝向期望的FOV部分彎曲。
在一些實例中，設備700可以包括複數個漫射器（例如，漫射器陣列712）。漫射器陣列712的每個漫射器可以對應於（例如，被定位在其上方）投影透鏡陣列的相應的投影透鏡（例如，投影透鏡710（A）的上方的第一漫射器，投影透鏡710（B）的上方的第二漫射器，和投影透鏡710（C）的上方的第三漫射器）。在一些情況下，漫射器陣列712（例如，連同投影透鏡陣列）可以漫射從圖元化VCSEL（或其他類型的光源）發射的光，並且增加由設備700產生的照明投影的均勻性。在一些情況下，漫射器712可以被置於投影透鏡陣列的投影透鏡710（A）、710（B）和710（C）的另一側上，在VCSEL陣列708的頂部，或在任何其他合適的配置中。設備700可以包括圖7中未圖示的任何額外的或替代的光引導設備。
圖8是與圖5的投影系統502的另一實例實現方式相對應的設備800的圖。在一些實例中，設備800可以包括單個發光設備808。在說明性實例中，發光設備808可以是單個VCSEL陣列。單個發光設備808可以被用來順序地對全FOV被劃分為的每個FOV部分進行照明。在一些情況下，由發光設備808發射的光可以由掃瞄鏡814引導。在說明性實例中，掃瞄鏡814可以是微型機電系統（MEMS）鏡。MEMS鏡掃瞄器可以提供各種益處，包括高可靠性、長壽命、緊湊的大小、低成本等其他的益處。掃瞄鏡814可以包括及/或對應於任何額外或替代類型的掃瞄鏡。
在一些情況下，設備800可以調整掃瞄鏡814的取向，以便調整發射光的方向。例如，掃瞄鏡814可以具有複數個取向。每個取向可以對應於一個不同FOV部分的照明。在一些情況下，掃瞄鏡814的特定取向可以對應於掃瞄鏡814與參考平面之間的特定角度。在一個實例中，參考平面可以是發光設備808的一個平面（例如，一個面）。圖8圖示掃瞄鏡814的三個實例取向。圖8中用虛線圖示掃瞄鏡814的取向O 1。由掃瞄鏡814以取向O 1投影的光的方向用對應的虛線箭頭來示出。取向O 2和O 3（及其對應的投影光方向）分別用實線和虛線來示出。
設備800可以包括一或多個額外的光引導設備，諸如投影透鏡810及/或漫射器812。在一些情況下，漫射器812（例如，在某些情況下，連同透鏡810）可以增加由設備800產生的照明投影的均勻性。在一些情況下，漫射器812可以被置於投影透鏡810的另一側或發光設備808（例如，VCSEL陣列）的頂部。投影透鏡810的焦距決定每個FOV部分的度數，例如，FOV 1,1、FOV 1,2、…FOV n,m、…。在一些情況下，投影透鏡810的焦距連同導光鏡814的角度決定FOV部分之間的重疊量。設備800可以包括圖8中未圖示的任何額外的或替代的光引導設備。在一些實例中，設備800不包括投影透鏡810（亦即，投影透鏡810可以是可選的）。
圖9A是與圖5的接收系統508的實例實現方式相對應的設備900的圖。在一些實例中，設備900可以包括感測器910（例如，對應於圖5的感測器510）。設備900亦可以包括一或多個部件，該一或多個部件被配置為將照明反射（例如，基於由圖5的投影系統502、圖7的設備700或圖8的設備800發射的照明訊號512的照明反射514）聚焦到感測器910上。例如，設備900可以包括影像透鏡陣列902，該影像透鏡陣列包括一或多個影像透鏡（例如，影像透鏡902（A）、902（B）、及/或902（C））。在說明性實例中，影像透鏡陣列902可以包括3×3矩陣的影像透鏡。在一些情況下，可以選擇影像透鏡陣列902的折射特性（例如，折射指數、角度、斜率、曲率、傾斜度等），以將與一個FOV部分相對應的照明反射聚焦到感測器910上。此外，感測器910可以被定位在距離影像透鏡陣列902（或圖9中未顯示的其他影像透鏡陣列）一定距離處，以促進照明反射的捕捉。例如，感測器910可以被定位在影像透鏡陣列902的後焦平面內。在一個說明性實例中，影像透鏡陣列902可以具有焦距f。感測器910可以被定位在距離影像透鏡陣列902距離f處，以促進及/或確保由圖7或圖8的投影儀照明的場景被聚焦或成像在感測器910上。此外，在一些情況下，感測器910可以相對於影像透鏡陣列902的中間及/或中心透鏡段居中。在這些情況下，影像透鏡段之間的中心到中心距離可以被設計為促進對特定大小的FOV部分（例如，特定投影角度）進行照明，並且/或者促進照明反射的聚焦。例如，影像透鏡902（A）、902（B）及/或902（C）的位置可以被設計為促進期望的光分散及/或光聚焦水平。影像透鏡陣列902的每個影像透鏡（影像透鏡902（A）、902（B）和902（C））被指定為將FOV的部分（亦即，FOV 1,1、FOV 1,2、…FOV n,m、…）成像到感測器910。在一些情況下，影像透鏡的數量與FOV部分的數量相同。
在一些實例中，影像透鏡陣列902可以被配置用於離軸成像。例如，在離軸成像配置中，影像透鏡的光軸不與感測器的中心對準。在一些情況下，此離軸成像會導致像差（例如，不期望的光分散）。為了校正及/或解釋與離軸成像相關聯的像差，影像透鏡陣列902內的一或多個影像透鏡可以相對於彼此傾斜，如圖9A中所示出。例如，感測器910可以與影像透鏡陣列902的中心影像透鏡902（B）對準（例如，被定位在正下方），而影像透鏡陣列902的其他影像透鏡（例如，影像透鏡902（A）和902（C））可以不相對於感測器910對準。
在一些情況下，設備900可以包括促進照明反射的捕捉的一或多個濾波器。例如，設備900可以包括帶通濾波器，該帶通濾波器被配置為經由具有與由一或多個發光設備（例如，圖7的設備700及/或圖8的設備800的發光設備）發射的光的頻率相對應的頻率的光。在說明性實例中，設備900可以包括窄頻通濾波器，其中心頻率對應於NIR光。帶通濾波器可以經由與照明反射相對應的光，同時至少局部地阻擋來自外部光源（例如，太陽光）的光干擾，從而增加訊雑比或訊號背景雜訊比，並且因此增加產生的深度圖的準確度及/或品質。圖9A圖示可以在設備900內實現的實例濾波器922。如圖所示，濾波器922可以被定位在感測器910的上方。
連同光投影系統（例如，圖5的投影系統502，其可以包括圖7的設備700及/或圖8的設備800），設備900可以執行順序ToF影像捕捉程序。圖9B和圖9C圖示可以由設備900和設備700及/或800執行的實例順序ToF影像捕捉程序。以下描述提供了由設備900和設備700執行的順序ToF影像捕捉程序的實例。在時間T 1，設備700可以啟動發光設備708（A），使光被稜鏡714及/或投影透鏡陣列的對應的投影透鏡710（A）朝向第一FOV部分引導。作為回應（例如，在與時間T 1同步的時間），感測器910可以接收與第一FOV部分（例如，與圖6B的ToF訊框FOV 1,1相對應的FOV部分）的照明反射相對應的光。該光在圖9C中被示出為光L 1。如圖9B和圖9C所示，接收到的光L 1可以被影像透鏡902（A）及/或由設備900的額外的導光部件引導到感測器910。在時間T 2，設備700可以啟動發光設備708（B），使光被稜鏡714及/或對應的投影透鏡710（B）朝向第二FOV部分引導。作為回應（例如，在與時間T 2同步的時間），感測器910可以接收與第二FOV部分（例如，與圖6B的ToF訊框FOV 1,2相對應的FOV部分）的照明反射相對應的光。該光在圖9C中被示出為光L 2。接收到的光L 2可以被影像透鏡902（B）及/或由設備900的額外的導光部件引導向感測器910。在時間T 3，設備700可以啟動發光設備708（C），使光被稜鏡714及/或對應的投影透鏡710（C）朝向第三FOV部分引導。作為回應（例如，在與時間T 3同步的時間），感測器910可以接收與第三FOV部分（例如，與圖6B的ToF訊框FOV 1,3相對應的FOV部分）的照明反射相對應的光。該光在圖9C中被示出為光L 3。接收到的光L 3可以被影像透鏡902（C）及/或由設備900的額外的導光部件引導向感測器910。
在一些情況下，時間T 1與時間T 2之間（以及時間T 2與時間T 3之間）的時間量可以足夠用於設備700向一個FOV投影照明訊號、設備900接收與照明訊號相對應的照明反射，以及設備900（及/或額外的處理器或計算設備）處理用於納入到深度圖中的照明反射。在一些實例中，順序ToF照明程序可以至少部分地由連接到設備700的驅動器702（圖7中顯示）來引導。例如，驅動器702可以分別向發光設備708（A）、708（B）和708（C）發送控制訊號716（A）、716（B）和716（C）。控制訊號可以引導單個發光設備在一個時間被啟動。例如，控制訊號可以交錯啟動發光設備。
以下描述提供了由設備800和設備900執行的順序ToF影像捕捉程序的實例。在時間T 1，設備800可以以取向O 1定向掃瞄鏡814，使光被朝向第一FOV部分引導。作為回應（例如，在與時間T 1同步的時間），感測器910可以接收與第一FOV部分（例如，與圖6B的ToF訊框FOV 1,1相對應的FOV部分）的照明反射相對應的光。在時間T 2，設備800可以以取向O 2定向掃瞄鏡814，使光被朝向第二FOV部分引導。作為回應（例如，在與時間T 2同步的時間），感測器910可以接收與第二FOV部分（例如，與圖6B的ToF訊框FOV 1,2相對應的FOV部分）的照明反射相對應的光。在時間T 3，設備800可以以取向O 3定向掃瞄鏡，使光被朝向第三FOV部分引導。作為回應（例如，在與時間T 3同步的時間），感測器910可以接收與第三FOV部分（例如，與圖6B的ToF訊框FOV 1,3相對應的FOV部分）的照明反射相對應的光。在一些情況下，時間T 1與時間T 2之間（以及時間T 2與時間T 3之間）的時間量可以足夠用於設備800向一個FOV投影照明訊號、設備900接收與照明訊號相對應的照明反射，以及設備900（及/或額外的處理器或計算設備）處理用於納入到深度圖中的照明反射。在一些實例中，順序照明程序可以至少部分地由通訊連接到設備800的驅動器802來引導。例如，驅動器802可以向掃瞄鏡814發送控制訊號816。控制訊號816可以引導掃瞄鏡814在適當的時間調整掃瞄鏡814的取向，以便掃瞄每個FOV部分。
在一些情況下，設備700可以促進順序地獲得複數個FOV部分的距離量測，而無需機械運動。例如，設備700可以經由選擇性地啟動發光設備來對期望的FOV部分進行照明，而不是經由調整設備700的部件的實體位置及/或取向。消除對機械運動的需要可以減少設備700內的故障風險。如前述，設備800可以經由對掃瞄鏡進行的機械調整來獲得複數個FOV部分的距離量測。然而，由對掃瞄鏡進行的機械調整造成的機械疲勞（和對應的效能退化）可以是可忽略不計的。此外，設備800可以包括單個發光設備，這可以減少設備的大小、成本及/或複雜性。
回到圖5，如上所提到，影像處理系統500可以經由同步訊號使投影系統502和接收系統508同步。例如，影像處理系統500可以實現同步方案，同步方案包括向投影系統502發送第一控制訊號以及向接收系統508發送第二控制訊號。在一個實例中，第一控制訊號可以指示順序照明次序，並且第二控制訊號可以指示對應的順序的接收次序。在一些情況下，第一控制訊號和第二控制訊號可以是相同的（或類似的）時間同步訊號。
圖10A是實例同步ToF系統1000（A）的圖。在一個實例中，同步ToF系統1000（A）的全部或部分可以對應於圖7的設備700和圖9A的設備900。如圖所示，同步ToF系統1000（A）可以包括控制器1002。控制器1002可以向設備700的驅動器（例如，驅動器702）發送控制訊號1004。在一些情況下，控制訊號1004可以表示VCSEL選擇訊號。例如，控制訊號1004可以引導驅動器702在適當的時間選擇性地啟動設備700的發光設備708。在一個實例中，控制訊號1004可以引導驅動器702發送圖7中顯示的控制訊號716（A）、716（B）及/或716（C）。在一些情況下，控制訊號716（A）、716（B）及/或716（C）可以包括適合於發光設備708的操作的驅動電流（例如，脈衝串驅動電流或連續波（CW）調制的驅動電流）。控制器1002亦可以向設備900的感測器電子裝置1008發送控制訊號1006。感測器電子裝置1008可以包括硬體及/或軟體部件，這些硬體及/或軟體部件被配置為決定與照明反射相關聯的距離量測。在一些情況下，控制訊號1006可以是與控制訊號1004同步的。例如，控制訊號1006可以向感測器電子裝置1008指示哪個FOV部分當前正在被照明，並因此指示哪個FOV部分對應於當前照明反射。基於控制訊號1004和1006，同步ToF系統1000（A）可以標記與對應的FOV部分相關聯的距離量測。
圖10B是實例同步ToF系統1000（B）的圖。在一個實例中，全部或部分同步ToF系統1000（A）可以對應於圖8的設備800和圖9A的設備900。如圖所示，同步ToF系統1000（B）可以包括控制器1012。控制器1012可以向設備800的驅動器（例如，驅動器802）發送控制訊號1014。在一些情況下，控制訊號1014可以表示角度選擇訊號。例如，控制訊號1014可以引導驅動器802在適當的時間調整掃瞄鏡814的角度。在一些實例中，控制器1012可以向額外的驅動器1016發送控制訊號1020。在一個實例中，驅動器1016可以是用於設備800的發光設備808的驅動器。在一些情況下，控制訊號1020可以表示VCSEL同步訊號。例如，控制訊號1020可以引導驅動器1016向發光設備808提供適當的驅動電流，以便順序地對FOV部分進行照明。如圖所示，控制器1012亦可以向設備900的感測器電子裝置1018發送控制訊號1022。感測器電子裝置1018可以包括硬體及/或軟體部件，這些硬體及/或軟體部件被配置為決定與照明反射相關聯的距離量測。在一些情況下，控制訊號1022可以是與控制訊號1014及/或控制訊號1020同步的。例如，控制訊號1022可以向感測器電子裝置1018指示哪個FOV部分當前正在被照明，並且因而哪個FOV部分對應於當前照明反射。基於控制訊號1014、1020及/或1022，同步ToF系統1000（B）可以標記與對應的FOV部分相關聯的距離量測。
使用本文描述的系統和技術，ToF系統可以產生解析度超過ToF系統的ToF感測器的全解析度的深度圖（例如深度影像圖）。這些系統和技術亦允許ToF系統產生高解析度深度圖，而不會在處理時間態樣帶來實質性的延遲，並且不會增加感測器的大小（因此降低了感測器的成本）。
圖11是示出針對高解析度ToF深度成像的實例程序1100的流程圖。為了清楚起見，程序1100參考圖5、圖7、圖8和圖9A的系統和設備進行描述。本文概括的步驟或操作是實例並且可以以其任何組合實現，包括排除、添加或修改某些步驟或操作的組合。
在操作1102，程序1100包括對包括一或多個發光設備的投影系統的FOV的至少一個部分進行照明，其中整個FOV包括複數個FOV部分。在一些實例中，複數個FOV部分的第一FOV部分可以與複數個FOV部分中的至少第二FOV部分局部地重疊。在一些實例中，對複數個FOV部分進行照明包括按順序照明次序對複數個FOV部分中的每一個進行照明（例如，經由一次對單個FOV部分進行照明）。在此類實例中，接收複數個照明反射之每一者照明反射包括按與順序照明次序相對應的順序接收次序來接收每個反射。程序1100可以包括基於複數個照明反射之每一者照明反射來產生複數個影像之每一者影像。參考圖5，作為說明性實例，影像處理系統500的投影系統502可以至少部分地經由一次對單個FOV部分進行照明來按順序照明次序對複數個FOV部分中的每一個進行照明。在一些實例中，投影系統502可以使用（多個）發光設備504及/或（多個）光引導設備506來順序地將照明訊號512投影。
在一個說明性實例中，（多個）發光設備504可以包括複數個發光設備，並且（多個）光引導設備506可以包括複數個投影透鏡。複數個投影透鏡之每一者投影透鏡可以被配置為將（例如，連同稜鏡，諸如稜鏡714）由複數個發光設備之一發射的光朝向複數個FOV部分中的一不同FOV部分投影。在一些實例中，投影系統502可以包括分段式稜鏡陣列，該分段式稜鏡陣列被配置為向複數個FOV部分之每一者FOV部分引導光。例如，複數個發光設備504可以包括圖7的發光設備708，並且複數個光引導設備可以包括圖7的稜鏡714。在一個實例中，稜鏡714可以是分段式稜鏡陣列，其包括多個稜鏡段。稜鏡714的每個稜鏡段可以被定位在發光設備708之一的上方。此外，稜鏡714的每個稜鏡段可以相對於發光設備708的平面以不同角度定向。在一些實例中，投影系統502可以包括相對於掃瞄鏡定位的一或多個漫射器。一或多個漫射器被配置為漫射由單個發光設備發射的光。例如，圖7的設備700（作為投影系統502的實例）可以包括漫射器陣列712。作為另一實例，圖8的設備800可以包括漫射器812。
在另一說明性實例中，（多個）發光設備504可以包括單個發光設備，並且（多個）光引導設備506可以包括掃瞄鏡。掃瞄鏡可以被配置為當以不同取向定向時，將由單個發光設備發射的光朝向複數個FOV部分中的不同FOV部分投影。例如，單個發光設備可以包括圖8的發光設備808，並且單個光引導設備可以包括圖8的掃瞄鏡814。掃瞄鏡814可以是一個掃瞄鏡。在一些情況下，掃瞄鏡814可以被定位在發光設備808的上方。此外，掃瞄鏡814的每個不同取向可以對應於掃瞄鏡814與發光設備808的平面之間的不同取向角。
在操作1104，程序1100包括（例如，由接收系統的感測器，諸如接收系統508）基於與由一或多個發光設備發射的光相對應的複數個照明反射來順序地捕捉複數個影像。複數個影像之每一者影像對應於複數個FOV部分之一。此外，與複數個影像之每一者影像相關聯的影像解析度對應於感測器的全解析度。在一個說明性實例中，參考圖5，影像處理系統500的接收系統508可以按與照明訊號512的順序照明次序相對應的順序接收次序來接收照明反射514。接收系統508的感測器可以捕捉每個照明反射的影像。例如，投影系統502可以對複數個FOV部分的第一FOV部分進行照明，並且接收系統508可以接收第一照明反射，以及感測器可以捕捉與第一FOV部分相對應的第一影像。在接收到第一照明反射之後，投影系統502可以對複數個FOV部分的第二FOV部分進行照明。隨後，接收系統508可以接收第二照明反射，並且感測器可以捕捉與第二FOV部分相對應的第二影像。
在一個實例中，投影系統502和接收系統508可以是同步的。例如，影像處理系統500的處理器518可以向投影系統502發送第一控制訊號，該第一控制訊號引導投影系統502對複數個FOV部分中的特定FOV部分進行照明。506。處理器518亦可以向接收系統508發送第二控制訊號，該第二控制訊號引導接收系統508將由感測器510接收到的照明反射與特定FOV部分進行關聯。第一控制訊號和第二控制訊號可以是時間同步的。
在一些實例中，接收系統508可以包括影像透鏡的陣列，該陣列的每個影像透鏡被配置為將與對應於複數個FOV部分中的相應FOV部分的場景的一不同部分相關聯的光向接收系統508的感測器投影。例如，圖9A的設備900（作為接收系統508的實例）可以包括影像透鏡陣列902。在一些情況下，接收系統508可以包括定位在感測器510的上方的濾波器。例如，設備900可以包括濾波器922。濾波器922可以被配置為透射具有與由（多個）發光設備504（例如，圖7的發光設備708及/或圖8的發光設備808）發射的光的頻率相對應的頻率的光。
在操作1106，程序1100包括使用複數個影像（及/或照明反射）來產生與整個FOV相關聯的增加解析度的深度圖。例如，處理器518可以產生深度圖516，該深度圖可以包括基於與整個FOV的每個FOV部分相關聯的各種全解析度影像的增加解析度的深度圖。在一個實例中，處理器518可以產生複數個局部距離量測（例如，作為影像），每個距離量測對應於照明反射514之一。隨後，處理器518可以經由組合複數個局部距離量測來產生深度圖516。此外，在一些實例中，深度圖516的影像解析度可以對應於感測器510的最大解析度乘以個體FOV部分的數量。
在一些實例中，程序1100及/或本文描述的其他程序可以由一或多個計算設備或裝置來執行。在一些實例中，程序1100及/或本文描述的其他程序可以由以下各項來執行：圖5中顯示的影像處理系統500、圖7中顯示的設備700、圖8中顯示的設備800、圖9A中顯示的設備900、圖10A中顯示的同步ToF系統1000（A）、圖10B中顯示的同步ToF系統1000（B）及/或具有圖1100中顯示的計算設備架構1100的一或多個計算設備。在一些情況下，此計算設備或裝置可以包括處理器、微處理器、微型電腦或被配置為實施程序1100的步驟的設備的其他部件。在一些實例中，此計算設備或裝置可以包括被配置為捕捉影像資料的一或多個感測器。例如，計算設備可以包括智慧手機、相機、頭戴式顯示器、行動設備或其他合適的設備。在一些實例中，此計算裝置或設備可以包括被配置為捕捉一或多個影像或視訊的相機。在一些情況下，此計算設備可以包括用於顯示影像的顯示器。在一些實例中，一或多個感測器及/或相機與計算設備分離，在這種情況下，計算設備接收感測到的資料。此計算設備可以進一步包括被配置為通訊資料的網路介面。
計算設備的部件可以以電路實現。例如，部件可以包括及/或可以使用電子電路或其他電子硬體來實現，這些電子電路或其他電子硬體可以包括一或多個可程式設計電子電路（例如，微處理器、圖形處理單元（GPU）、數位訊號處理器（DSP）、中央處理單元（CPU）及/或其他合適的電子電路），並且/或者可以包括及/或使用電腦軟體、韌體或它們的任何組合來實現，以執行本文描述的各種操作。計算設備可以進一步包括顯示器（作為輸出設備的實例或補充輸出設備）、被配置為通訊及/或接收資料的網路介面、它們的任何組合，及/或其他部件。網路介面可以被配置為通訊及/或接收基於網際網路協定（IP）的資料或其他類型的資料。
程序1100被示出為邏輯流程圖，其動作表示可以以硬體、電腦指令或它們的組合實現的操作序列。在電腦指令的背景下，這些動作表示儲存在一或多個電腦可讀取儲存媒體上的電腦可執行指令，這些電腦可執行指令當由一或多個處理器執行時執行所敘述的操作。通常，電腦可執行指令包括執行特定功能或者實現特定資料類型的常式、程式、物件、部件、資料結構等。操作被描述的次序並不意圖被解釋為限制，並且任何數量的所描述的操作可以按任何次序及/或並行地組合來實現這些程序。
此外，本文描述的程序1100及/或其他程序可以在配置有可執行指令的一或多個電腦系統的控制下執行，並且可以被實現為在一或多個處理器上集體執行、由硬體或它們的組合執行的代碼（例如，可執行指令、一或多個電腦程式或一或多個應用）。如上所指出，代碼可以被儲存在電腦可讀或機器可讀取的儲存媒體上，例如，以包括可由一或多個處理器執行的複數個指令的電腦程式的形式。電腦可讀或機器可讀儲存媒體可以是非暫時性的。
圖12是示出用於實現本技術的某些態樣的系統的實例的圖。特別地，圖12圖示計算系統1200的實例，它可以是例如構成內部計算系統的任何計算設備、遠端計算系統、相機或它們的任何部件，其中系統的部件使用連接1205彼此通訊。連接1205可以是使用匯流排的實體連接，或到處理器1210的直接連接，諸如在晶片組架構中。連接1205亦可以是虛擬連接、網路化連接，或邏輯連接。
在一些實例中，計算系統1200是分散式系統，其中本案中描述的功能可以分佈在資料中心、多個資料中心、對等網路等內。在一些實例中，一或多個所描述的系統部件表示許多此類部件，每個部件執行針對該部件描述的一些或全部功能。在一些情況下，這些部件可以是實體或虛擬裝置。
實例系統1200包括至少一個處理單元（CPU或處理器）1210和連接1205，該連接將各種系統部件包括系統記憶體1215（諸如唯讀記憶體（ROM）1220和隨機存取記憶體（RAM）1225）耦合到處理器1210。計算系統1200可以包括與處理器1210直接連接、接近或整合為處理器1210的一部分的高速記憶體的快取記憶體1212。
處理器1210可以包括任何通用處理器和被配置為控制處理器1210的硬體服務或軟體服務，諸如儲存在存放裝置1230中的服務1232、1234和1236，以及專用處理器，在該專用處理器中，軟體指令被納入到實際處理器設計中。處理器1210本質上可以是完全自含式的計算系統，包含多個核或處理器、匯流排、記憶體控制器、快取記憶體等。多核處理器可以是對稱的或非對稱的。
為了使得能夠進行使用者互動，計算系統1200包括輸入設備1245，該輸入設備可以表示任何數量的輸入機制，諸如用於語音的麥克風、用於手勢或圖形輸入的觸摸感應屏、鍵盤、滑鼠、運動輸入、語音等。計算系統1200亦可以包括輸出設備1235，該輸出設備可以是若干輸出機制中的一或多個。在一些實例中，多模態系統可以使得使用者能夠提供多個類型的輸入/輸出來與計算系統1200進行通訊。計算系統1200可以包括通訊介面1240，該通訊介面通常可以治理和管理使用者輸入和系統輸出。通訊介面可以使用有線及/或無線收發器來執行或促進接收及/或發送有線或無線通訊，有線及/或無線收發器包括利用以下的那些：音訊插孔/插頭、麥克風插孔/插頭、通用序列匯流排（USB）埠/插頭、Apple® Lightning®埠/插頭、乙太網路埠/插頭、光纖埠/插頭、專有的有線埠/插頭、BLUETOOTH®無線訊號傳輸、BLUETOOTH®低能量（BLE）無線訊號傳輸、IBEACON®無線訊號傳輸、射頻辨識（RFID）無線訊號傳輸、近場通訊（NFC）無線訊號傳輸、專用短程通訊（DSRC）無線訊號傳輸、802.12 Wi-Fi無線訊號傳輸、無線區域網路（WLAN）訊號傳輸、可見光通訊（VLC）、全球互通微波存取性（WiMAX）、紅外（IR）通訊無線訊號傳輸、公用交換電話網路（PSTN）訊號傳輸、整合式服務數位網路絡（ISDN）訊號傳輸、3G/4G/5G/LTE蜂巢資料網路無線訊號傳輸、自組織網路訊號傳輸、無線電波訊號傳輸、微波訊號傳輸、紅外訊號傳輸、可見光訊號傳輸、紫外線訊號傳輸、沿電磁波譜的無線訊號傳輸，或它們的某種組合。通訊介面1240亦可以包括用來基於從與一或多個GNSS系統相關聯的一或多個衛星接收到的一或多個訊號來決定計算系統1200的位置的一或多個全球導航衛星系統（GNSS）接收器或收發器。GNSS系統包括但不限於美國的全球定位系統（GPS）、俄羅斯的全球導航衛星系統（GLONASS）、中國的北斗導航衛星系統（BDS）和歐洲的伽利略GNSS。對在任何特定硬體佈置上操作沒有約束，並且因而這裡的基本功能可以很容易地隨著改進的硬體或韌體佈置被開發出來而被它們所取代。
存放裝置1230可以是非揮發性及/或非暫時性及/或電腦可讀記憶體設備，並且可以是可以儲存電腦可存取的資料的硬碟或其他類型的電腦可讀取媒體，諸如磁帶、快閃記憶卡、固態記憶體設備、數位多功能磁碟、磁帶盒、軟碟、柔性盤、硬碟、磁帶、磁條/條帶、任何其他磁性儲存媒體，快閃記憶體、憶阻器記憶體、任何其他固態記憶體，壓縮光碟唯讀記憶體（CD-ROM）光學光碟、可重寫壓縮光碟（CD）光學光碟、數位視訊盤（DVD）光學光碟、藍光光碟（BDD）光學光碟、全息光學光碟、另一光學媒體，安全數位（SD）卡、微型安全數位（microSD）卡、Memory Stick®卡、智慧卡晶片、EMV晶片、用戶身份模組（SIM）卡、迷你/微型/奈米/微微SIM卡、另一積體電路（IC）晶片/卡，隨機存取記憶體（RAM）、靜態RAM（SRAM）、動態RAM（DRAM）、唯讀記憶體（ROM）、可程式設計唯讀記憶體（PROM）、可抹除可程式設計唯讀記憶體（EPROM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃EPROM（FLASHEPROM）、快取緩衝記憶體（L1/L2/L3/L4/L5/L#）、電阻式隨機存取記憶體（RRAM/ReRAM）、相變記憶體（PCM）、自旋轉移扭矩RAM（STT-RAM）、另一記憶體晶片或盒，及/或它們的組合。
存放裝置1230可以包括軟體服務、伺服器、服務等，當定義此軟體的代碼由處理器1210執行時，其使系統執行功能。在一些實例中，執行特定功能的硬體服務可以包括儲存在與必要的硬體部件（諸如處理器1210、連接1205、輸出設備1235等）連接的電腦可讀取媒體中的軟體部件，以實施該功能。
如本文所用，術語「電腦可讀取媒體」包括但不限於可攜式或非可攜式存放裝置、光學存放裝置以及能夠儲存、包含或攜帶（多個）指令及/或資料的各種其他媒體。電腦可讀取媒體可以包括非暫時性媒體，在該非暫時性媒體中，可以儲存資料並且不包括無線地或透過有線連接傳播的載波及/或暫時性電子訊號。非暫時性媒體的實例可以包括但不限於磁碟或磁帶，光學儲存媒體，諸如壓縮磁碟（CD）或數位多功能光碟（DVD），快閃記憶體，記憶體或記憶體設備。電腦可讀取媒體可以在其上儲存代碼及/或機器可執行指令，這些代碼及/或機器可執行指令可以表示程序、函數、副程式、程式、常式、副程式、模組、套裝軟體、類，或者指令、資料結構或程式語句的任何組合。程式碼片段可以經由傳遞及/或接收資訊、資料、變元、參數或記憶體內容與另一程式碼片段或硬體電路耦合。資訊、變元、參數、資料等可以使用任何合適的手段（包括記憶體共享、訊息傳遞、符記傳遞、網路傳輸等）來傳遞、轉發或傳輸。
在一些實例中，電腦可讀存放裝置、媒體和記憶體可以包括包含位元流等的電纜或無線訊號。然而，當提到時，非暫時性電腦可讀取儲存媒體明確地排除了諸如能量、載波訊號、電磁波和訊號本身之類的媒體。
在上面的描述中提供了具體細節，以提供對本文所提供的實例的透徹理解。然而，本發明所屬領域中具有通常知識者將會理解，在沒有這些具體細節的情況下可以實踐這些實例。為了解釋清楚，在一些實例中，本技術可以被呈現為包括單獨的功能方塊，包括了包括設備、設備部件、體現在軟體中的方法中的步驟或常式，或硬體和軟體的組合的功能方塊。除了圖中顯示及/或本文描述的部件外，亦可以使用額外的部件。例如，電路、系統、網路、程序和其他部件可以以方塊圖的形式顯示為部件，以便不在不必要的細節中模糊這些實例。在其他實例中，眾所周知的電路、程序、演算法、結構和技術可以不顯示不必要的細節，以便避免模糊這些實例。
單獨的實例可以在上面描述為程序或方法，該程序或方法被圖示為流程圖表、流程圖、資料流圖、結構圖或方塊圖。儘管流程圖可以將操作描述為順序程序，但許多操作可以並行或併發地執行。另外，操作的次序亦可以重新佈置。程序在其操作完成時被終止，但可以具有未包括在圖中的額外的步驟。程序可以對應於方法、函數、程序、子常式、副程式等。當程序對應於功函數，它的終止可以對應於該函數返回到調用函數或主函數。
根據上述實例的程序和方法可以使用電腦可執行指令來實現，這些指令被儲存或以其他方式從電腦可讀取媒體獲得。例如，此類指令可以包括使或以其他方式配置通用電腦、特殊用途電腦或處理設備執行某種功能或功能組的指令和資料。所使用的電腦資源的部分可以透過網路存取。電腦可執行指令可以是例如二進位元、中間格式指令，諸如組合語言、韌體、原始程式碼等。可以用來儲存指令的電腦可讀取媒體、在根據所描述的實例的方法期間使用的資料及/或建立的資訊的實例包括磁性或光學磁碟、快閃記憶體、提供有非揮發性記憶體的USB設備、網路化存放裝置等等。
實現根據這些揭示的程序和方法的設備可以包括硬體、軟體、韌體、中介軟體、微代碼、硬體描述語言或它們的任何組合，並且可以採取各種各樣的形狀因數（form factor）中任一種。當以軟體、韌體、中介軟體或微碼實現時，執行必要任務的程式碼或程式碼片段（例如，電腦程式產品）可以被儲存在電腦可讀或機器可讀取媒體中。（多個）處理器可以執行必要任務。形狀因數的典型實例包括膝上型電腦、智慧手機、行動電話、平板設備或其他小形狀因數的個人電腦、個人數位助理、機架式設備、單機設備等等。本文描述的功能亦可以在周邊設備或內插卡中體現。作為進一步的實例，此功能亦可以在電路板上的不同晶片或在單個設備中執行的不同程序中實現。
指令、用於傳達此類指令的媒體、用於執行它們的計算資源以及用於支援此類計算資源的其他結構是用於提供本案中描述的功能的實例部件。
在前面的描述中，本案的各態樣是參考其具體實例進行描述的，但本發明所屬領域中具有通常知識者將認識到，本案並不限於此。因此，儘管本案的說明性實例已經在本文中進行了詳細描述，但應理解的是，本發明的概念可以以其他方式被不同地體現和採用，並且所附的請求項意圖被解釋為包括此類變化，除非受到現有技術的限制。上述申請的各種特徵和態樣可以單獨地或共同地使用。此外，在不脫離本說明書更廣泛的精神和範疇的情況下，可以在本文描述的那些之外的任何數量的環境和應用中利用這些實例。相應地，本說明書和圖應被視為說明性而非約束性的。出於說明的目的，方法是按特定次序進行描述的。應當理解的是，在替代的實例中，方法可以按與所描述不同的次序執行。
具有普通技術者將會理解，在不脫離本描述的範圍的情況下，本文使用的小於（「＜」）和大於（「＞」）的符號或術語可以分別用小於或等於（「
Figure 02_image031
」）和大於或等於（「
Figure 02_image033
」）符號代替。
當部件被描述為「被配置為」執行某些操作時，此配置可以經由例如設計電子電路或其他硬體來執行操作，經由對可程式設計電子電路（例如，微處理器，或其他合適的電子電路）進行程式設計來執行操作，或它們的任何組合來完成。
短語「耦合到」是指直接或間接地與另一部件實體連接的任何部件，及/或直接或間接地與另一部件通訊的任何部件（例如，透過有線或無線連接及/或其他合適的通訊介面與另一部件連接）。
敘述集合中的「至少一個」及/或集合中的「一或多個」的請求項語言或其他語言指示該集合的一個成員或該集合的多個成員（以任何組合）滿足請求項。例如，敘述「A和B中的至少一個」的請求項語言意味著A、B或A和B。在另一實例中，敘述「A、B和C中的至少一個」的請求項語言意味著A、B、C，或A和B，或A和C，或B和C，或A和B和C。語言集合中的「至少一個」及/或集合中的「一或多個」並不將該集合限制為該集合中列出的專案。例如，敘述「A和B中的至少一個」的請求項語言可以意味著A、B，或A和B，並且可以附加地包括A和B的集合中沒有列出的專案。
結合本文揭示的實例描述的各種說明性邏輯區塊、模組、電路和演算法步驟可以被實現為電子硬體、電腦軟體、韌體或它們的組合。為了清楚地說明硬體和軟體的這種互換性，上文已經就它們的功能性的態樣大致描述了各種說明性部件、方塊、模組、電路和步驟。此功能性被實現為硬體還是軟體取決於特定應用和對整個系統施加的設計約束。技藝人士可以針對每個特定應用以變化的方式來實現所描述的功能，但是此類實現方式決策不應被解釋為導致脫離本案的範疇。
本文描述的技術亦可以以電子硬體、電腦軟體、韌體或它們的任何組合實現。此類技術可以以各種各樣的設備中的任一種實現，諸如通用電腦、無線通訊設備手機或具有多種用途的積體電路裝置，包括無線通訊設備手機和其他設備中的應用。任何被描述為模組或部件的特徵皆可以在整合的邏輯裝置中一起實現，或者作為個別但可交互動操作的邏輯裝置分離地實現。若以軟體實現，這些技術可以至少部分地由包括程式碼的電腦可讀取資料儲存媒體實現，該程式碼包括指令，當這些指令被執行時，執行上文描述的一或多個方法。電腦可讀取資料儲存媒體可以形成電腦程式產品的一部分，該產品可以包括封裝材料。電腦可讀取媒體可以包括記憶體或資料儲存媒體，諸如隨機存取記憶體（RAM）諸如同步動態隨機存取記憶體（SDRAM）、唯讀記憶體（ROM）、非揮發性隨機存取記憶體（NVRAM）、電子可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體、磁性或光學資料儲存媒體等。這些技術補充地或替代地可以至少部分地由電腦可讀通訊媒體實現，該電腦可讀通訊媒體以指令或資料結構的形式攜帶或通訊程式碼，並且可以由電腦存取、讀取及/或執行，諸如傳播的訊號或波。
程式碼可以由處理器執行，處理器可以包括一或多個處理器，諸如一或多個數位訊號處理器（DSP）、通用微處理器、專用積體電路（ASIC）、現場可程式設計邏輯陣列（FPGA）或其他等效的整合或個別邏輯電路。此處理器可以被配置為執行本案中描述的任何技術。通用處理器可以是微處理器，但是替代地，處理器可以是任何傳統的處理器、控制器、微控制器或狀態機。處理器亦可以被實現為計算設備的組合，例如，DSP和微處理器的組合、複數個微處理器、與DSP核的結合的一或多個微處理器、或者任何其他此配置。相應地，如本文所用的術語「處理器」可以指任何前述結構、前述結構的任何組合或適合於本文描述的技術的實現方式的任何其他結構或裝置。另外，在一些態樣中，本文描述的功能性可以在被配置用於編碼以及解碼的專用軟體模組或硬體模組內提供，或者被納入到組合視訊轉碼器（CODEC）中。
本案的說明性態樣包括：
態樣1：一種用於高解析度飛行時間深度成像的裝置，該裝置包括：投影系統，該投影系統包括一或多個發光設備，一或多個發光設備之每一者發光設備被配置為對投影系統的整個視場（FOV）的至少一個部分進行照明，其中整個FOV包括複數個FOV部分；接收系統，該接收系統包括感測器，該感測器被配置為基於與由一或多個發光設備發射的光相對應的複數個照明反射來順序地捕捉複數個影像，其中複數個影像之每一者影像對應於複數個FOV部分之一，以及其中與複數個影像之每一者影像相關聯的影像解析度對應於感測器的全解析度；及處理器，該處理器被配置為使用複數個影像來產生與整個FOV相關聯的增加解析度的深度圖。
態樣2：根據請求項1的裝置，其中：投影系統被配置為按順序照明次序來對複數個FOV部分中的每一個進行照明，該順序照明次序包括一次對單個FOV部分進行照明；及接收系統被配置為按與順序照明次序相對應的順序接收次序來接收複數個照明反射之每一者照明反射並且基於每個照明反射來產生複數個影像之每一者影像。
態樣3：根據請求項2的裝置，其中為了按順序照明次序來對複數個FOV部分中的每一個進行照明，投影系統被配置為：對複數個FOV部分的第一FOV部分進行照明；接收與第一FOV部分相對應的第一照明反射；在接收到第一照明反射之後，對複數個FOV部分的第二FOV部分進行照明；及接收與第二FOV部分相對應的第二照明反射。
態樣4：根據請求項1的裝置，其中：一或多個發光設備包括複數個發光設備；及投影系統包括複數個投影透鏡，複數個投影透鏡之每一者投影透鏡被配置為將由複數個發光設備之一發射的光朝向複數個FOV部分中的一不同FOV部分投影。
態樣5：根據請求項4的裝置，其中投影系統包括相對於複數個投影透鏡定位的一或多個漫射器，該一或多個漫射器被配置為漫射由複數個發光設備發射的光。
態樣6：根據請求項4的裝置，其中複數個投影透鏡中的每一個被定位在複數個發光設備的上方。
態樣7：根據請求項1的裝置，其中投影系統包括分段式稜鏡陣列，該分段式稜鏡陣列被配置為向複數個FOV部分之每一者FOV部分引導光。
態樣8：根據請求項1的裝置，其中：一或多個發光設備包括單個發光設備；及投影系統包括掃瞄鏡，其中該掃瞄鏡被配置為當以不同取向定向時，將由單個發光設備發射的光朝向複數個FOV部分中的不同FOV部分投影。
態樣9：根據請求項8的裝置，其中掃瞄鏡包括微型機電系統（MEMS）鏡。
態樣10：根據請求項8的裝置，其中：掃瞄鏡被定位在單個發光設備的上方；及掃瞄鏡的不同取向中的每一個對應於掃瞄鏡與單個發光設備的平面之間的不同取向角。
態樣11：根據請求項8的裝置，其中投影系統包括相對於掃瞄鏡定位的一或多個漫射器，該一或多個漫射器被配置為漫射由單個發光設備發射的光。
態樣12：根據請求項1的裝置，其中接收系統包括影像透鏡的陣列，該影像透鏡的陣列之每一者影像透鏡被配置為將與對應於複數個FOV部分中的相應FOV部分的場景的一不同部分相關聯的光向感測器投影。
態樣13：根據請求項1的裝置，其中接收系統進一步包括定位在感測器的上方的濾波器，該濾波器被配置為透射具有與由一或多個發光設備發射的光的頻率相對應的頻率的光。
態樣14：根據請求項1的裝置，其中處理器被配置為至少部分地基於以下操作來使投影系統和接收系統同步：向投影系統發送第一控制訊號，該第一控制訊號引導投影系統對複數個FOV部分中的特定FOV部分進行照明；及向接收系統發送第二控制訊號，該第二控制訊號引導接收系統將由感測器接收到的照明反射與特定FOV部分進行關聯，其中第一控制訊號和第二控制訊號是時間同步的。
態樣15：根據請求項1的裝置，其中複數個FOV部分的第一FOV部分與複數個FOV部分的至少第二FOV部分局部地重疊。
態樣16：根據請求項1的裝置，其中為了產生與整個FOV相關聯的增加解析度的深度圖，處理器被配置為：產生複數個局部距離量測，該等複數個局部距離量測中的每一個對應於複數個照明反射之一；及組合複數個局部距離量測。
態樣17：根據請求項1的裝置，其中增加解析度的深度圖的影像解析度對應於感測器的最大解析度乘以複數個FOV部分的數量。
態樣18：一種用於高解析度飛行時間深度成像的方法，該方法包括：使用投影系統的一或多個發光設備來對投影系統的整個視場（FOV）的複數個FOV部分進行照明，其中一或多個發光設備之每一者發光設備被配置為對整個FOV的至少一個部分進行照明；基於與由一或多個發光設備發射的光相對應的複數個照明反射來順序地捕捉複數個影像，其中複數個影像之每一者影像對應於複數個FOV部分之一，以及其中與複數個影像之每一者影像相關聯的影像解析度對應於感測器的全解析度；及使用複數個影像來產生與整個FOV相關聯的增加解析度的深度圖。
態樣19：根據請求項18的方法，其中：對複數個FOV部分進行照明包括按順序照明次序來對複數個FOV部分中的每一個進行照明，該順序照明次序包括一次對單個FOV部分進行照明；按與順序照明次序相對應的順序接收次序來接收複數個照明反射之每一者照明反射；及進一步包括基於複數個照明反射之每一者照明反射來產生複數個影像之每一者影像。
態樣20：根據請求項19的方法，其中按順序照明次序來對複數個FOV部分中的每一個進行照明包括：對複數個FOV部分的第一FOV部分進行照明；接收與第一FOV部分相對應的第一照明反射；在接收到第一照明反射之後，對複數個FOV部分的第二FOV部分進行照明；及接收與第二FOV部分相對應的第二照明反射。
態樣21：根據請求項18的方法，其中：一或多個發光設備包括複數個發光設備；及投影系統包括複數個投影透鏡，該等複數個投影透鏡之每一者投影透鏡被配置為將由複數個發光設備之一發射的光朝向複數個FOV部分中的一不同FOV部分投影。
態樣22：根據請求項21的方法，其中投影系統包括相對於複數個投影透鏡定位的一或多個漫射器，該一或多個漫射器被配置為漫射由複數個發光設備發射的光。
態樣23：根據請求項21的方法，其中複數個透鏡中的每一個被定位在複數個發光設備的上方。
態樣24：根據請求項18的方法，其中投影系統包括分段式稜鏡陣列，該分段式稜鏡陣列被配置為向複數個FOV部分之每一者FOV部分引導光。
態樣25：根據請求項18的方法，其中：一或多個發光設備包括單個發光設備；及投影系統包括掃瞄鏡，其中該掃瞄鏡被配置為當以不同取向定向時，將由單個發光設備發射的光朝向複數個FOV部分中的不同FOV部分投影。
態樣26：根據請求項25的方法，其中掃瞄鏡包括微型機電系統（MEMS）鏡。
態樣27：根據請求項25的方法，其中：掃瞄鏡被定位在單個發光設備的上方；及掃瞄鏡的不同取向中的每一個對應於掃瞄鏡與單個發光設備的平面之間的不同取向角。
態樣28：根據請求項25的方法，其中投影系統包括相對於掃瞄鏡定位的一或多個漫射器，該一或多個漫射器被配置為漫射由單個發光設備發射的光。
態樣29：根據請求項18的方法，其中接收系統包括影像透鏡的陣列，該影像透鏡的陣列之每一者影像透鏡被配置為將與對應於複數個FOV部分中的相應FOV部分的場景的一不同部分相關聯的光向感測器投影。
態樣30：根據請求項18的方法，進一步包括定位在感測器的上方的濾波器，該濾波器被配置為透射具有與由一或多個發光設備發射的光的頻率相對應的頻率的光。
態樣31：根據請求項18的方法，進一步包括至少部分地基於以下操作來使投影系統和接收系統同步：向投影系統發送第一控制訊號，該第一控制訊號引導投影系統對複數個FOV部分中的特定FOV部分進行照明；及向接收系統發送第二控制訊號，該第二控制訊號引導接收系統將由感測器接收到的照明反射與特定FOV部分進行關聯，其中第一控制訊號和第二控制訊號是時間同步的。
態樣32：根據請求項18的方法，其中複數個FOV部分的第一FOV部分與複數個FOV部分的至少第二FOV部分局部地重疊。
態樣33：根據請求項18的方法，其中產生與整個FOV相關聯的增加解析度的深度圖包括：產生多個局部距離量測，該多個局部距離量測中的每一個對應於多個照明反射之一；及組合多個局部距離量測。
態樣34：根據請求項18的方法，其中增加解析度的深度圖的影像解析度對應於感測器的最大解析度乘以複數個FOV部分的數量。
態樣35：一種非暫時性電腦可讀取儲存媒體，具有儲存在其中的指令，當這些指令被一或多個處理器執行時使該一或多個處理器執行根據態樣1至34中任一項的操作。
態樣36：一種裝置，包括：用於執行根據態樣1至34中任一項的操作的部件。
100:影像處理系統 102:ToF系統 104:影像感測器 106:儲存 108:其他計算部件 110:應用處理器 112:CPU 114:CPU 116:CPU 118:CPU 120:快取記憶體 122:記憶體 130:ToF引擎 134:影像處理引擎 136:渲染引擎 200:ToF感測程序 202:脈衝 204:反射光脈衝 206:距離 210:目標 220:間接ToF感測程序 222:光 224:反射光 226:相移 302:量測點 304:量測點 306:量測點 308:量測點 400:連續波方法 402:光訊號 404:反射光訊號 406:取樣量 408:取樣量 410:取樣量 412:取樣量 414:窗口 416:窗口 418:窗口 420:窗口 500:影像處理系統 502:投影系統 504:發光設備 506:光引導設備 508:處理器 510:感測器 512:照明訊號 514:照明反射 516:深度圖 518:處理器 602:FOV 612:重疊 614:重疊 700:設備 702:驅動器 708（A）:發光設備 708（B）:發光設備 708（C）:發光設備 710（A）:投影透鏡 710（B）:投影透鏡 710（C）:投影透鏡 712:漫射器陣列 714:稜鏡 716（A）:控制訊號 716（B）:控制訊號 716（C）:控制訊號 800:設備 802:驅動器 808:發光設備 810:投影透鏡 812:漫射器 814:掃瞄鏡 816:控制訊號 900:設備 902:影像透鏡陣列 902（A）:影像透鏡 902（B）:影像透鏡 902（C）:影像透鏡 910:感測器 922:濾波器 1000（A）:同步ToF系統 1000（B）:同步ToF系統 1002:控制器 1004:控制訊號 1006:控制訊號 1008:感測器電子裝置 1012:控制器 1014:控制訊號 1016:驅動器 1018:感測器電子裝置 1020:控制訊號 1022:控制訊號 1100:程序 1102:操作 1104:操作 1106:操作 1200:計算系統 1205:連接 1210:處理單元 1212:快取記憶體 1215:系統記憶體 1220:唯讀記憶體（ROM） 1225:隨機存取記憶體（RAM） 1230:存放裝置 1232:服務 1234:服務 1235:輸出設備 1236:服務 1240:通訊介面 1245:輸入設備 C 1:非相位時間訊窗 C 2:非相位時間訊窗 C 3:非相位時間訊窗 C 4:非相位時間訊窗 f:焦距 L 1:快取緩衝記憶體 L 2:快取緩衝記憶體 L 3:快取緩衝記憶體 m:垂直解析度 O 1:取向 O 2:取向 O 3:取向 Q 1:取樣量 Q 2:取樣量 Q 3:取樣量 Q 4:取樣量 T 1:時間 T 2:時間 T 3:時間
下文將參考以下各圖來詳細描述本案的說明性實例。
圖1是示出根據本案的一些實例的用於飛行時間（ToF）訊號處理的實例影像處理系統的簡化方塊圖；
圖2A是示出根據本案的一些實例的直接ToF感測程序的實例的簡化方塊圖；
圖2B是示出根據本案的一些實例的間接ToF感測程序的實例的簡化方塊圖；
圖3是示出根據本案的一些實例的用於量測光訊號的相位角的實例技術的圖；
圖4是示出根據本案的一些實例的用於ToF感測的連續波方法的圖；
圖5是示出根據本案的一些實例的用於ToF訊號處理的實例影像處理系統的簡化方塊圖；
圖6A是根據本案的一些實例的用於ToF訊號處理的影像處理系統的實例視場（FOV）的說明；
圖6B是根據本案的一些實例的影像處理系統的FOV的實例部分的圖；
圖7是根據本案的一些實例的用於對影像處理系統的FOV的部分進行照明的實例設備的圖；
圖8是根據本案的一些實例的用於對影像處理系統的FOV的部分進行照明的另一實例設備的圖；
圖9A是根據本案的一些實例的用於接收影像處理系統的FOV的部分的照明反射的實例設備的圖；
圖9B和圖9C是示出根據本案的一些實例的實例順序ToF影像捕捉程序的圖；
圖10A和圖10B是根據本案的一些實例的用於同步ToF感測的實例系統的圖；
圖11是示出根據一些實例的針對高解析度ToF深度成像的程序的實例的流程圖；及
圖12是示出用於實現本文描述的某些態樣的系統的實例的圖。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
500:影像處理系統
502:投影系統
504:發光設備
506:光引導設備
508:處理器
510:感測器
512:照明訊號
514:照明反射
516:深度圖
518:處理器

Claims (35)

  1. 一種用於高解析度飛行時間深度成像的裝置，該裝置包括： 一投影系統，該投影系統包括一或多個發光設備，該一或多個發光設備之每一者發光設備被配置為對該投影系統的一整個視場（FOV）的至少一個部分進行照明，其中該整個FOV包括複數個FOV部分； 一接收系統，該接收系統包括一感測器，該感測器被配置為基於與由該一或多個發光設備發射的光相對應的複數個照明反射來順序地捕捉複數個影像，其中該等複數個影像之每一者影像對應於該等複數個FOV部分之一，以及其中與該等複數個影像之每一者影像相關聯的一影像解析度對應於該感測器的一全解析度；及 一處理器，該處理器被配置為使用該等複數個影像來產生與該整個FOV相關聯的一增加解析度的深度圖。
  2. 根據請求項1之裝置，其中： 該投影系統被配置為按一順序照明次序來對該等複數個FOV部分中的每一個進行照明，該順序照明次序包括一次對單個FOV部分進行照明；及 該接收系統被配置為按與該順序照明次序相對應的一順序接收次序來接收該等複數個照明反射之每一者照明反射並且基於每個照明反射來產生該等複數個影像之每一者影像。
  3. 根據請求項2之裝置，其中為了按該順序照明次序來對該等複數個FOV部分中的每一個進行照明，該投影系統被配置為： 對該等複數個FOV部分的一第一FOV部分進行照明； 接收與該第一FOV部分相對應的一第一照明反射； 在接收到該第一照明反射之後，對該等複數個FOV部分的一第二FOV部分進行照明；及 接收與該第二FOV部分相對應的一第二照明反射。
  4. 根據請求項1之裝置，其中： 該一或多個發光設備包括複數個發光設備；及 該投影系統包括複數個投影透鏡，該等複數個投影透鏡之每一者投影透鏡被配置為將由該等複數個發光設備之一發射的光朝向該等複數個FOV部分中的一不同FOV部分投影。
  5. 根據請求項4之裝置，其中該投影系統包括相對於該等複數個投影透鏡定位的一或多個漫射器，該一或多個漫射器被配置為漫射由該等複數個發光設備發射的光。
  6. 根據請求項4之裝置，其中該等複數個投影透鏡中的每一個被定位在該等複數個發光設備的上方。
  7. 根據請求項1之裝置，其中該投影系統包括一分段式稜鏡陣列，該分段式稜鏡陣列被配置為向該等複數個FOV部分之每一者FOV部分引導光。
  8. 根據請求項1之裝置，其中： 該一或多個發光設備包括一單個發光設備；及 該投影系統包括一掃瞄鏡，其中該掃瞄鏡被配置為當以不同取向定向時，將由該單個發光設備發射的光朝向該等複數個FOV部分中的不同FOV部分投影。
  9. 根據請求項8之裝置，其中該掃瞄鏡包括一微型機電系統（MEMS）鏡。
  10. 根據請求項8之裝置，其中： 該掃瞄鏡被定位在該單個發光設備的上方；及 該掃瞄鏡的不同取向中的每一個對應於該掃瞄鏡與該單個發光設備的一平面之間的一不同取向角。
  11. 根據請求項8之裝置，其中該投影系統包括相對於該掃瞄鏡定位的一或多個漫射器，該一或多個漫射器被配置為漫射由該單個發光設備發射的光。
  12. 根據請求項1之裝置，其中該接收系統包括一影像透鏡的陣列，該影像透鏡的陣列之每一者影像透鏡被配置為將與對應於該等複數個FOV部分中的一相應FOV部分的場景的一不同部分相關聯的光向該感測器投影。
  13. 根據請求項1之裝置，其中該接收系統進一步包括定位在該感測器的上方的一濾波器，該濾波器被配置為透射具有與由該一或多個發光設備發射的光的一頻率相對應的一頻率的光。
  14. 根據請求項1之裝置，其中該處理器被配置為至少部分地基於以下操作來使該投影系統和該接收系統同步： 向該投影系統發送一第一控制訊號，該第一控制訊號引導該投影系統對該等複數個FOV部分中的一特定FOV部分進行照明；及 向該接收系統發送一第二控制訊號，該第二控制系統引導該接收系統將由該感測器接收到的一照明反射與該特定FOV部分進行關聯，其中該第一控制訊號和該第二控制系統是時間同步的。
  15. 根據請求項1之裝置，其中該等複數個FOV部分的一第一FOV部分與該等複數個FOV部分的至少一第二FOV部分局部地重疊。
  16. 根據請求項1之裝置，其中為了產生與該整個FOV相關聯的該增加解析度的深度圖，該處理器被配置為： 產生複數個局部距離量測，該等複數個局部距離量測中的每一個對應於該等複數個照明反射之一；及 組合該等複數個局部距離量測。
  17. 根據請求項1之裝置，其中該增加解析度的深度圖的一影像解析度對應於該感測器的一最大解析度乘以該等複數個FOV部分的一數量。
  18. 一種用於高解析度飛行時間深度成像的方法，該方法包括以下步驟： 使用一投影系統的一或多個發光設備來對該投影系統的一整個視場（FOV）的複數個FOV部分進行照明，其中該一或多個發光設備之每一者發光設備被配置為對整個FOV的至少一個部分進行照明； 由一接收系統的一感測器基於與由該一或多個發光設備發射的光相對應的複數個照明反射來順序地捕捉複數個影像，其中該等複數個影像之每一者影像對應於該等複數個FOV部分之一，以及其中與該等複數個影像之每一者影像相關聯的一影像解析度對應於該感測器的一全解析度；及 使用該等複數個影像來產生與該整個FOV相關聯的一增加解析度的深度圖。
  19. 根據請求項18之方法，其中： 對該等複數個FOV部分進行照明之步驟包括以下步驟：按一順序照明次序來對該等複數個FOV部分中的每一個進行照明，該順序照明次序包括一次對單個FOV部分進行照明； 接收該等複數個照明反射之每一者照明反射之步驟包括以下步驟：按與該順序照明次序相對應的一順序接收次序來接收每個反射；及 進一步包括以下步驟：基於該等複數個照明反射之每一者照明反射來產生該等複數個影像之每一者影像。
  20. 根據請求項19之方法，其中按該順序照明次序來對該等複數個FOV部分中的每一個進行照明之步驟包括以下步驟： 對該等複數個FOV部分的一第一FOV部分進行照明； 接收與該第一FOV部分相對應的一第一照明反射； 在接收到該第一照明反射之後，對該等複數個FOV部分的一第二FOV部分進行照明；及 接收與該第二FOV部分相對應的一第二照明反射。
  21. 根據請求項18之方法，其中： 該一或多個發光設備包括複數個發光設備；及 該投影系統包括複數個投影透鏡，該等複數個投影透鏡之每一者投影透鏡被配置為將由該等複數個發光設備之一發射的光朝向該等複數個FOV部分中的一不同FOV部分投影。
  22. 根據請求項21之方法，其中該投影系統包括相對於該等複數個投影透鏡定位的一或多個漫射器，該一或多個漫射器被配置為漫射由該等複數個發光設備發射的光。
  23. 根據請求項21之方法，其中該等複數個透鏡中的每一個被定位在該等複數個發光設備的上方。
  24. 根據請求項18之方法，其中該投影系統包括一分段式稜鏡陣列，該分段式稜鏡陣列被配置為向該等複數個FOV部分之每一者FOV部分引導光。
  25. 根據請求項18之方法，其中： 該一或多個發光設備包括一單個發光設備；及 該投影系統包括一掃瞄鏡，其中該掃瞄鏡被配置為當以不同取向定向時，將由該單個發光設備發射的光朝向該等複數個FOV部分中的一不同FOV部分投影。
  26. 根據請求項25之方法，其中該掃瞄鏡包括一微型機電系統（MEMS）鏡。
  27. 根據請求項25之方法，其中： 該掃瞄鏡被定位在該單個發光設備的上方；及 該掃瞄鏡的不同取向中的每一個對應於該掃瞄鏡與該單個發光設備的一平面之間的一不同取向角。
  28. 根據請求項25之方法，其中該投影系統包括相對於該掃瞄鏡定位的一或多個漫射器，該一或多個漫射器被配置為漫射由該單個發光設備發射的光。
  29. 根據請求項18之方法，其中該接收系統包括一影像透鏡的陣列，該影像透鏡的陣列之每一者影像透鏡被配置為將與對應於該等複數個FOV部分中的一相應FOV部分的場景的一不同部分相關聯的光向該感測器投影。
  30. 根據請求項18之方法，進一步包括定位在該感測器的上方的一濾波器，該濾波器被配置為透射具有與由該一或多個發光設備發射的光的一頻率相對應的一頻率的光。
  31. 根據請求項18之方法，進一步包括以下步驟：至少部分地基於以下操作來使該投影系統和該接收系統同步： 向該投影系統發送一第一控制訊號，該第一控制訊號引導該投影系統對該等複數個FOV部分中的一特定FOV部分進行照明；及 向該接收系統發送一第二控制訊號，該第二控制系統引導該接收系統將由該感測器接收到的一照明反射與該特定FOV部分進行關聯，其中該第一控制訊號和該第二控制系統是時間同步的。
  32. 根據請求項18之方法，其中該等複數個FOV部分的一第一FOV部分與該等複數個FOV部分的至少一第二FOV部分局部地重疊。
  33. 根據請求項18之方法，其中產生與該整個FOV相關聯的該增加解析度的深度圖之步驟包括以下步驟： 產生複數個局部距離量測，該等複數個局部距離量測中的每一個對應於該等複數個照明反射之一；及 組合該等複數個局部距離量測。
  34. 根據請求項18之方法，其中該增加解析度的深度圖的一影像解析度對應於該感測器的一最大解析度乘以該等複數個FOV部分的一數量。
  35. 一種用於高解析度飛行時間深度成像的非暫時性電腦可讀取儲存媒體，該非暫時性電腦可讀取儲存媒體包括： 儲存在其中的指令，當該等指令被一或多個處理器執行時使該一或多個處理器： 使用一投影系統的一或多個發光設備來對該投影系統的一整個視場（FOV）的複數個FOV部分進行照明，其中該一或多個發光設備之每一者發光設備被配置為對整個FOV的至少一個部分進行照明； 由一接收系統的一感測器基於與由該一或多個發光設備發射的光相對應的複數個照明反射來順序地捕捉複數個影像，其中該等複數個影像之每一者影像對應於該等複數個FOV部分之一，以及其中與該等複數個影像之每一者影像相關聯的一影像解析度對應於該感測器的一全解析度；及 使用該等複數個影像來產生與該整個FOV相關聯的一增加解析度的深度圖。
TW111103617A 2021-02-03 2022-01-27 高解析度飛行時間深度成像 TW202235909A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/166,990 US11763425B2 (en) 2021-02-03 2021-02-03 High resolution time-of-flight depth imaging
US17/166,990 2021-02-03

Publications (1)

Publication Number Publication Date
TW202235909A true TW202235909A (zh) 2022-09-16

Family

ID=80786843

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111103617A TW202235909A (zh) 2021-02-03 2022-01-27 高解析度飛行時間深度成像

Country Status (8)

Country Link
US (1) US11763425B2 (zh)
EP (1) EP4288797A1 (zh)
JP (1) JP2024507706A (zh)
KR (1) KR20230141774A (zh)
CN (1) CN116802513A (zh)
BR (1) BR112023014833A2 (zh)
TW (1) TW202235909A (zh)
WO (1) WO2022169649A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11747135B2 (en) * 2015-02-13 2023-09-05 Carnegie Mellon University Energy optimized imaging system with synchronized dynamic control of directable beam light source and reconfigurably masked photo-sensor
WO2024112903A1 (en) * 2022-11-23 2024-05-30 Arizona Board Of Regents On Behalf Of The University Of Arizona Method and device for three-dimensional imaging and imaging through scattering scenes
US11721063B1 (en) * 2023-01-26 2023-08-08 Illuscio, Inc. Systems and methods for dynamic image rendering using a depth map
WO2024192565A1 (zh) * 2023-03-17 2024-09-26 华为技术有限公司 探测系统、激光雷达和终端设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
EP2815251B1 (en) 2012-02-15 2017-03-22 Heptagon Micro Optics Pte. Ltd. Time of flight camera with stripe illumination
US8569700B2 (en) 2012-03-06 2013-10-29 Omnivision Technologies, Inc. Image sensor for two-dimensional and three-dimensional image capture
WO2017079483A1 (en) 2015-11-05 2017-05-11 Luminar Technologies, Inc. Lidar system with improved scanning speed for high-resolution depth mapping
KR102457029B1 (ko) 2016-09-20 2022-10-24 이노비즈 테크놀로지스 엘티디 Lidar 시스템 및 방법
US10598771B2 (en) 2017-01-18 2020-03-24 Analog Devices Global Unlimited Company Depth sensing with multiple light sources
US10901073B2 (en) 2017-07-11 2021-01-26 Microsoft Technology Licensing, Llc Illumination for zoned time-of-flight imaging
WO2020182591A1 (en) * 2019-03-08 2020-09-17 Osram Gmbh Component for a lidar sensor system, lidar sensor system, lidar sensor device, method for a lidar sensor system and method for a lidar sensor device

Also Published As

Publication number Publication date
US20220245762A1 (en) 2022-08-04
US11763425B2 (en) 2023-09-19
WO2022169649A1 (en) 2022-08-11
KR20230141774A (ko) 2023-10-10
EP4288797A1 (en) 2023-12-13
JP2024507706A (ja) 2024-02-21
BR112023014833A2 (pt) 2023-11-14
CN116802513A (zh) 2023-09-22

Similar Documents

Publication Publication Date Title
US11763425B2 (en) High resolution time-of-flight depth imaging
JP6517244B2 (ja) 時間共有を使用する自動複数深度カメラ同期化
US10275855B2 (en) Image demosaicing for hybrid optical sensor arrays
EP3804297A1 (en) Programmable pixel array
US10339631B2 (en) Image demosaicing for hybrid optical sensor arrays
US10051196B2 (en) Projecting light at angle corresponding to the field of view of a camera
US20130002823A1 (en) Image generating apparatus and method
CN112639576B (zh) 结构光深度感测
US10055881B2 (en) Video imaging to assess specularity
US9470778B2 (en) Learning from high quality depth measurements
US11601607B2 (en) Infrared and non-infrared channel blender for depth mapping using structured light
TW202303522A (zh) 使用多點深度感測系統資訊處理圖像資料
US20240070886A1 (en) Mixed-mode depth imaging
US20230281835A1 (en) Wide angle eye tracking
US20240127401A1 (en) Active depth sensing
US20240267632A1 (en) Adaptive algorithm for power efficient eye tracking
WO2024081491A1 (en) Active depth sensing
US11889196B2 (en) Systems and methods for determining image capture settings
US11831858B2 (en) Passive three-dimensional image sensing based on referential image blurring
US20240265570A1 (en) Method and apparatus for optimum overlap ratio estimation for three dimensional (3d) reconstructions
KR20240154550A (ko) 광각 눈 추적