TW202301272A

TW202301272A - 分散式深度資料處理

Info

Publication number: TW202301272A
Application number: TW111115607A
Authority: TW
Inventors: 塞爾吉奧歐提茲埃加
Original assignee: 美商微軟技術授權有限責任公司
Priority date: 2021-05-28
Filing date: 2022-04-25
Publication date: 2023-01-01
Also published as: US20220383455A1; US11734801B2; WO2022250894A1

Abstract

本文提供了涉及在分散式計算系統上處理深度攝相機資料的示例，其中在去除雜訊之前執行相位展開。一個示例提供了一種飛行時間攝相機，其包含：飛行時間深度圖像感測器、邏輯機器、通訊子系統，及保存有指令的儲存機器，該指令可由邏輯機器執行以處理藉由飛行時間深度圖像感測器獲取的飛行時間圖像資料，其係藉由以下所述方式來進行處理：在去除雜訊之前，對飛行時間圖像資料逐像素地執行相位展開以獲得包含深度值的粗略深度圖像資料，且藉由通訊子系統將粗略深度圖像資料和有效亮度圖像資料傳送至遠端計算系統以進行雜訊的去除。

Description

分散式深度資料處理

本揭露涉及分散式深度資料處理。

深度感測系統(例如，飛行時間(ToF)攝相機)可被使用以產生環境的深度圖像，其中深度圖像的每個像素代表到在環境中的對應的點的距離。在ToF成像中，到環境中的成像表面上的點的距離是基於以下所述者來決定的：由ToF攝相機發射的光傳播到該點，然後返回到ToF攝相機的感測器的時間間隔的長度。處理在深度感測器處收集的原始資料以產生深度圖像。

提供了涉及在分散式的計算系統上處理深度圖像資料的示例，其中在消除雜訊之前執行相位展開。一個示例提供了一種飛行時間攝相機，該飛行時間相機包含：飛行時間深度圖像感測器、邏輯機器、通訊子系統，及儲存機器，該儲存機器保存可由邏輯機器執行以處理藉由飛行時間深度圖像感測器獲取的飛行時間圖像資料的指令。可以執行指令以在去除雜訊之前，對飛行時間圖像資料逐像素地執行相位展開以獲得包含深度值的粗略深度圖像資料。可以進一步地執行指令以藉由通訊子系統來將粗略深度圖像資料和有效亮度圖像資料傳送至遠端計算系統以進行雜訊的去除。

提供本發明內容以利用簡化的形式來作出選擇性概念的介紹，該等概念將在下面的實施方式中進一步地描述。本發明內容不是旨在識別所主張的申請標的之關鍵特徵或必要特徵，且不是旨在被使用以限制所主張的申請標的之範疇。此外，所主張的申請標的不限於解決在本揭露的任何部分中提到的任何或所有的缺點的實施方式。

如同在前文中提到的，飛行時間(ToF)深度攝相機針對於深度圖像感測器的每個感測器像素，測量由深度攝相機發射的光返回感測器像素的時間間隔的長度。由於場景中的對象的反射率可能會有所不同，因此在某些情況下，某些像素可感應到具有低訊雜比的訊號。此外，深度圖像感測器像素可能對於串擾誤差敏感，其中在一個像素處獲取的光電子向相鄰的像素擴散並在相鄰的像素處收集。

鑑於此類的雜訊問題，去除雜訊通常藉由ToF深度攝相機在執行其他的資料處理(例如，在基於相位的ToF成像中使用的相位展開)之前，對原始深度圖像資料執行雜訊的去除。基於相位的ToF成像是ToF成像的一種變體，其中深度是基於從對象反射回來的幅度調變的光的相移來計算的。在基於相位的ToF成像中，ToF攝相機上的光源利用調幅的來照亮場景。從對象反射回來的光的相移與對象的距離除以調變頻率的波長的餘數成正比。然而，由於調變光的週期特性，測量的總相位每2π重複(或纏繞)一次。由於無法藉由基於相位的ToF像素直接地測量纏繞的數目，總相位(因此與測量相關的實際距離)是不明確的。為了要解決這個問題，可以使用兩個或更多不同的調變頻率來增加明確性的範圍，從而允許「被展開(unwrapped)」的相位資訊用於精確地決定距離。相位展開是一種藉由利用複數個不同的頻率的調幅光來照射場景的方式來消除相移資料的歧義的方法，因為對於每個照明光的頻率而言，距離不明確性是不同的。

由於收集到的相位資訊中的雜訊，可能很難進行精確的相位展開。雜訊(特別是在2π纏繞邊界附近)可導致不正確的展開，從而在像素處的決定的距離內產生相對較大的誤差。因此，深度引擎流水線(用於處理深度圖像資料的處理流水線)通常包含：在執行相位展開之前對於資料進行去除雜訊的程序。例如，深度感測器可執行多頻率相位收集以獲得針對於複數個調變頻率的雜訊資料。然後，藉由訊號校準校正和去除雜訊來處理雜訊資料。去除雜訊程序通常利用卷積，該卷積在被去除雜訊的像素周圍應用像素的mxn的核，因此與逐像素的操作相比計算成本很高。在去除雜訊之後，可以從複數訊號中計算出總相位，然後進行相位展開和校正。此外，在一些示例中，可以藉由有效亮度平均從去除雜訊的資料中獲得強度圖像。然後，輸出最終的深度(且在一些示例中輸出強度圖像)，以(例如)用於姿勢識別、AR應用和/或其他用途。

通常本地端地在ToF攝相機上實施深度引擎流水線。然而，在一些低功率計算裝置上支援計算密集型的深度成像可能是困難的(例如，在圖1A和圖1B中描繪的彼些者(在後文中描述的))。一種可能的解決方案是將原始的感測器資料傳送至具有更多的計算資源和/或可用功率的遠端裝置。如同在前文中提到的，去除雜訊可為可利用相對大的卷積核(例如，

高斯濾波器，其中在一些示例中

)的計算密集型程序。較大的去除雜訊的核可能會耗用較高的計算成本來提供更好的精度，而具有較低計算成本的較小的去除雜訊的核可能會導致較低的精度。因此，將深度圖像資料傳送至用於去除雜訊的遠端裝置可允許使用較大的去除雜訊的核。然而，用於產生單個深度圖像的深度圖像資料可能很大。例如，示例深度感測器可以在每個訊框中收集N*K個圖像，其中K是調變頻率的數量(例如，在一些示例中為2或3)，且N是針對於每個調變頻率在不同的相位角處獲取的取樣的數量。在合理的攝相機訊框率(例如，在某些示例中為30-60 Hz)下，將如此大量的深度資料傳送至遠端計算系統以在相位展開之前去除雜訊可能很困難，因為高頻寬通訊可能具有高功率成本，而低頻寬通訊可能不足以處理資料量。

因此，揭示了與用於處理深度圖像的分散式的深度引擎流水線相關的示例，其中在去除雜訊之前執行包含相位展開的逐像素的操作，並且將粗略圖像傳送至遠端機器以使用更多的計算密集型卷積空間和/或時間濾除程序來去除雜訊。在根據本揭露的分散式的計算架構上處理深度感測器資料可以提供各種優點。例如，在ToF攝相機處執行的所有操作都可以是逐像素的，這可以降低功率消耗，從而提供更適合用於低功率裝置(例如，行動裝置)的ToF攝相機。此外，由於相位資料在傳送之前被展開，與傳送原始的深度圖像資料(例如，每訊框的單個粗略深度圖像，或每訊框的粗略深度圖像和粗略強度圖像)相比，較少的資料被壓縮/傳送，其中提供了額外的功率節省且允許較低的頻寬連接。此外，在更強大的遠端系統上執行雜訊的去除可允許使用更大的去除雜訊的核，從而提供改進的深度精度。所揭示的示例亦提供分割粗略深度資料的能力。因此，分散式的深度處理流水線可進一步地對於低訊號資料執行大量的計算，同時對於高訊號資料使用較少的計算資源，這可以提供更高的速度和效率。同樣地，在各種示例中，分散式的深度處理系統可以選擇性地傳送高訊號資料，或忽略低訊號資料以進行遠端處理。

在詳細地討論這些示例之前，圖1A-1B示例說明了可以採用基於相位的ToF深度ToF攝相機的各種不同的示例電子裝置100A-E。首先參照圖1A，裝置100A是包含ToF攝相機102A的智慧型手機。裝置100B是包含ToF網絡攝相機102B的個人電腦。裝置100C是包含ToF攝相機102C的周邊攝相機系統的視訊遊戲系統。裝置100D是包含攝像機系統的虛擬實境耳機，該攝像機系統包含：ToF攝相機102D。每個裝置可以與遠端計算系統104進行通訊以實施根據所揭示的示例的分散式的深度流水線。與遠端計算系統104相結合地，電子裝置100A-D可以利用分散式的深度引擎流水線來處理深度圖像資料。遠端計算系統104可包含：任何適當的計算系統(例如，雲端計算系統、PC、膝上型電腦、電話、平板電腦等等)。

圖1B示出了包含安全攝相機100E的示例使用環境110，該安全攝像機100E包含：ToF攝像機。安全攝相機100E藉由通訊集線器116傳送資料至IoT(「物聯網(Internet of Things)」)端點計算裝置120，該通訊集線器亦連接至其他的IoT裝置(例如，恆溫器114)。與通訊集線器116和/或IoT端點計算裝置120相結合地，安全攝相機100E可以利用分散式的深度引擎流水線來處理深度圖像資料。IoT端點計算裝置120可包含：任何適當的計算系統(例如，雲端計算系統、企業系統、聯網的PC，或在雲端計算系統上實施的虛擬機器)。

圖2示出了包含ToF攝相機202的示例基於相位的ToF深度成像系統200的示意圖。ToF攝相機202包含：感測器陣列204，該感測器陣列包含：複數個ToF像素206，其中每個ToF像素206被配置為獲取光樣本，該光樣本獲取相位資料、控制器208，及物鏡系統210。在一些示例中，可以省略物鏡系統210。物鏡系統210經配置以將對象222的至少一個表面220的圖像聚焦到感測器陣列204上。控制器208經配置以收集和處理來自感測器陣列204的ToF像素206的資料，從而建構深度圖像。控制器208可包含可執行的指令(例如，軟體、韌體，及/或硬體)以執行相位展開(如同在後文中描述的)。在一些示例中，控制器208可以跨一或多個計算裝置來實施。控制器208可與遠端計算系統212進行通訊以執行根據在本文中揭示的分散式的深度圖像處理流水線示例的深度圖像處理。在後文中參照圖12更為詳細地描述：被配置為執行相位展開的計算裝置的硬體實施的示例。

深度成像系統200亦包含調變光發射器230，以及用於感測器陣列204的類比和/或數位調變電子快門，以藉由感測器陣列來控制光的整合。調變光發射器230和感測器陣列204可以藉由控制器208來控制。調變光發射器230可被配置為發射具有可由ToF像素206檢測到的任何頻率的電磁輻射。例如，調變光發射器230可包含：紅外線(IR)發光二極體(LED)、雷射二極體(LD)，或任何其他的適當的光源。調幅光可以偱序地或同時地以不同的頻率來進行調變(例如，調變波形可包含多種頻率)。

感測器陣列204經配置以對於來自調變光發射器230的光進行取樣，其中當光從表面220反射離開並返回攝相機時進行取樣。感測器陣列204的每個ToF感測像素206可包含：一或多個像素抽頭，該等像素抽頭可進行操作以在不同時間間隔對於反射的光訊號進行積分，由此可以決定相移。對於每個調變頻率，控制感測器陣列204以在來自光源的調幅光的多個相位角處對於光進行取樣，並且從調變頻率的複數個光樣本中決定針對於每個調變頻率的相位樣本。然後可以展開相位樣本以獲得針對於每個像素的深度值。

如同在前文中提到的，由於調變光的週期性，測量的總相位每2π重複(或纏繞)一次。例如，在給定一個測量的相位

的情況下，總相位是

，其中

是一個整數。由於無法藉由基於相位的ToF像素直接地測量

，總相位(因此與測量相關的實際距離)是不明確的。因此，在基於相位的ToF成像中，調變頻率對於可測量的距離(稱為明確範圍)存在限制。可以使用兩個或多個不同的調變頻率來增加明確性的範圍，然後將收集的相移資料展開以精確地決定距離。

圖3示意性地示例說明：用於複數個(K個)調變頻率的示例ToF圖像資料。資料300表示深度成像系統2000在多頻率訊框收集期間可以獲取的資料。在所示的示例中，深度資料包含：針對於K個調變頻率中的每個調變頻率的資料的

陣列，從而產生資料的

網格302a-c，其中每個網格中的每個像素304表示在K個調變頻率中的對應的照明光調變頻率 k處獲取的測量。例如，由像素304在

處收集的實驗訊號

被表示為：

其中

是相位

，

，

，及

。在變數上的波浪號表示：該變數是藉由實驗獲得和/或計算得到的，而沒有波浪號表示對應於無雜訊的情況的變數。雖然在圖3中描繪的示例示出了三個網格302a-c，可以使用任意數量的頻率

。

複數訊號的相位

可以計算為：

其中

是針對於頻率 k收集的訊號的虛部，且

是收集的訊號的實部。測量的相位被使用於計算與像素相關聯的深度值。然而，如同在前文中提到的，在基於相位的ToF成像中，調變頻率對可測量的距離(稱為明確範圍)存在限制。因此，可以使用一組K≥2個調變頻率 k來增加明確性的範圍，從而可以展開相位資訊以精確地決定距離。相位展開是一種藉由利用複數個不同頻率的調幅光來照射場景(因為對於照明光的每個頻率的距離不明確性是不同的)以消除相移資料的不明確性並識別出正確的距離值的方法。例如，在多頻率方法中，調幅光可包含：包含有複數個頻率

的波形。頻率的集合包含：被選擇為在明確範圍內的不同位置處纏繞的頻率，該範圍從距離零延伸到所有三個頻率在共同距離處纏繞的點。

如同在前文中提到的，當前的深度圖像資料處理方法在相位展開之前執行雜訊的去除，這通常涉及卷積空間濾波器的應用，該卷積空間濾波器包含：圍繞被去除雜訊的像素的數個像的核。然而，對於深度資料的每個像素應用空間濾波器可能是計算密集型的並且消耗大量的計算資源。因此，所揭示的示例利用分散式的深度引擎流水線將更多的計算密集型操作移動到具有更多可用功率和/或計算資源的遠端裝置，從而保留深度成像系統本地的資源。利用這種方式，遠端系統可以應用更大的去除雜訊的核來由校正深度成像系統輸出的粗略深度圖像中的錯誤。

圖4示意性地示出了用於處理飛行時間圖像資料以獲得去除雜訊的深度圖像的示例分散式的流水線400。在此示例中，在虛線401上方的程序在ToF攝相機內和/或深度攝相機內執行，而在虛線下方的程序藉由遠離深度攝相機的處理來執行。在402處，流水線包含：多頻率訊框收集，其中針對於複數個幅度調變頻率中的每一者收集複數個相位樣本(每個包含圖像資料的訊框)。相位資料是藉由ToF攝相機的深度圖像感測器收集的。在404處，執行逐像素的訊號校準校正。在所描繪的示例中，

的核表示：在深度攝相機本地的逐像素的操作。

在當前的深度引擎流水線中，在進行相位和主動亮度計算之前執行雜訊的去除。然而，在所揭示的示例中，在不先執行雜訊的去除的情況下(因此不使用空間濾波器或時間濾波器)，執行相位和有效亮度計算。在所描繪的示例中，在406處，分散式的流水線400根據飛行時間圖像資料計算出相位資訊，然後在408處逐像素地執行相位展開。相位展開操作針對於每個像素提供一個相位數(意即，每個調變頻率的纏繞次數)，然後將該相位數用於計算針對於每個像素的深度值。作為相位展開的結果，產生了粗略深度圖像。與使用去除雜訊的資料產生的深度圖像相比，粗略深度圖像可能具有更多的展開誤差，因為雜訊可能導致相位測量出現在與對應於實際距離的纏繞不同的相位纏繞中。然而，這樣的相位誤差可以藉由遠端的去除雜訊來校正。在412處，校準的圖像資料亦可被使用以產生有效亮度(AB)圖像。然後，在414處，執行逐像素的AB平均操作以產生有效亮度圖像。

繼續地參照圖4，在416處，粗略深度圖像和有效亮度圖像被傳送至遠端計算系統。在一些示例中，可以壓縮粗略深度圖像和有效亮度圖像以節省頻寬。此外，在一些示例中，可以基於例如為訊雜比的量度來分割粗略深度圖像，並且可以傳送高於或低於臨界值的像素以進行遠端處理而排除其他像素(如同在後文中更為詳細地描述的)。

在418處，遠端計算系統使用來自粗略深度圖像的深度值來重建有具有雜訊的相位資料。例如，

的相位資料可藉由以下的方程式從粗略的

的深度圖像重建：

其中

是重建的訊號，

和

是訊號的實部和虛部，

是裝置傳送的有效亮度，以及

是相位。在此，波浪號表示具有雜訊的訊號或雜訊值。相位可以藉由以下的方程式從粗略的深度決定：

其中

是深度，且

是K個總頻率中的頻率。

在一些示例中，使用於重建的頻率可以與在進行訊框收集期間由攝相機使用的頻率不同。例如，可以引入一組虛擬頻率，並將其用於使用上述的方程式來重建相位資料。此外，可以使用任何適當的複數個(K個)頻率。可以選擇不同的頻率和/或不同數量的頻率以藉由使得由頻率決定的Voronoi單元的面積、體積，或超體積最大化來產生更具有雜訊彈性的解決方案。

在420處，分散式的流水線對粗略深度圖像和粗略強度圖像執行訊號校正。如同在後文中更為詳細地描述的，訊號校正可包含：各種去除雜訊程序(例如，抖動減少、平滑，及/或邊緣增強)，其中一些者可包含卷積運算(如同由所描繪的NxN的核所示的)。此外，在一些示例中，訊號校正可包含圖像的分割以利用不同的方式來處理不同的像素。在進行訊號校正之後，在422處執行串擾校正(如同由所描繪的N′xN′的核所示)，以在424處產生最終的去除雜訊的深度圖像和最終的粗略強度(有效亮度)圖像。例如，最後的圖像可以輸出(例如)至在遠端計算系統上的軟體應用程式、結合有ToF攝相機的裝置，或雲端計算系統。

使用分散式的流水線400，可以遠端地(而不是在深度成像系統上)執行更多的計算密集型的程序。例如，在420處遠端地進行雜訊的去除可以使用較大的核大小(

高斯濾波器，

)，從而改善分散式的流水線的效率。在一些示例中，去除雜訊的核可具有5x5個和19x19個像素之間的大小。與在ToF攝相機上執行雜訊的去除的其他的流水線相比，去除雜訊的遠端處理可允許使用更大的核大小。可以在相位展開之後遠端地使用這種較大的去除雜訊的核可以允許：恢復具有更高的精確度的深度資料(其與在相位展開之前使用在深度攝相機上所使用的較小的去除雜訊的核相比具有更高的精確度)。

在一些示例中，可以調整核大小以提供期望的精確度水平。如同在後文中更為詳細地討論的，可以根據訊雜比來使用相對更大或更小的核大小，並且核大小可以逐個像素地改變。此外，在一些示例中，遠端系統可以替代性地或附加地執行時間濾波，其可包含在 T個儲存的粗略深度圖像訊框上的計算密集型卷積(例如，使用

的核)。在相位展開之後使用遠端系統執行時間濾波可以提供優於在相位展開之前在深度攝相機上執行時間濾波的優點。例如，時間濾波涉及：儲存數量T的先前的圖像訊框。因此，在相位展開之前執行時間濾波涉及：由於必須以每個調變頻率儲存相位樣本，因此要儲存更多數量的針對於每個深度圖像的深度圖像資料的個別的圖像訊框(與使用粗略深度(和粗略強度)資料來執行時間濾波相比)。此外，遠端計算系統可具有比深度攝相機更多的可用的儲存空間，從而允許遠端計算系統儲存更多數量的先前的深度圖像。

如同在前文中提到的，在一些示例中，可以對於粗略深度圖像(以及可能對於對應於深度圖像的有效亮度圖像)進行分割，以使得：在包含深度攝相機的裝置的本地端處理一些深度像素(以及AB圖像中的一些強度像素)，而在包含深度攝相機的裝置的遠端處理其他的像素。圖5示出了示例分散式的深度引擎流水線500的方塊圖，其示例說明了這種處理路徑的示例。深度攝相機503的ToF圖像感測器502在504處產生粗略深度圖像和有效亮度圖像(如同在前文中相關於圖4描述的)。ToF攝相機503亦分割圖像以將深度資料的一些像素引導到基於雲端的計算系統518以進行更多的計算密集型的處理，並將其他的像素引導到本地端處理器(例如，在與深度攝相機相整合的裝置或深度攝相機為其周邊裝置的裝置的本地端)以進行較少的計算密集型的處理(手機的處理器、可穿戴的裝置等等)。在某些情況下，粗略深度圖像可能不會被分割，因此取決於在決定是否分割時應用的條件，完全地在本地端或完全地在遠端進行處理。示例條件被描述於後文中。

對於分段的圖像而言，像素的第一子集在505處被傳送至一處理器，其中該處理器在深度攝相機503位於其上以利用較小的去除雜訊的核來進行本地端的雜訊的去除506的裝置的本地端。去除雜訊的像素可以可選擇地在508處被壓縮、在510處被提供給服務，及/或被提供給消費應用程式512。示例服務包含：機器學習的程序和/或高層級演算法(例如，臉部識別、對象識別、表面重建，及同時的定位和映射演算法)。來自粗略深度圖像的深度資料的其他的像素可以在514處被壓縮，並且在516處被傳送到基於雲端的計算系統518以使用較大的去除雜訊的核來遠端地進行雜訊的去除。基於雲端的計算系統對於粗略深度圖像的那些像素(以及可能地對於有效亮度圖像的像素)進行雜訊的去除以產生去除雜訊的像素，然後將去除雜訊的像素提供給消費應用程式512。

圖6示出了粗略深度圖像600的示例分割，其用以產生分割的圖像602。在一些示例中，分割程序可以基於包含相對較高的訊雜比(意即，高訊號)的圖像區域和包含相對較低的訊雜比(意即，低訊號)的區域，以及哪些區域是邊緣區域。可以使用任何適當的圖像量度(其包含強度和/或深度的變異數、標準差、平均，及/或色散係數)來分割粗略深度圖像。變異係數是核相對於總體平均值的標準偏差，並且是提供與總體平均值相關的變異性的無因次量。當在核中的資料與平均訊號相比變化很大時，它可以在相關於有效亮度的情況下指示邊緣，或者在相關於深度的情況下指示展開錯誤。色散係數(其被定義為總體相對於平均值的變異數)是一個維度量(因此是非尺度不變的)，其提供了資料中的集群的指示(意即，大於1的值在相關於有效亮度的情況下檢測邊緣，或在相關於深度的情況下檢測展開錯誤)。

如同在前文中提到的，在一些示例中，較大的去除雜訊的核用於較低的訊雜比區域，且較小的核用於較高的訊雜比區域。此外，在一些示例中，邊緣區域利用其他的濾波器(例如，高斯模糊)來進行處理。在一些示例中，高斯模糊根據以下的方程式來產生徑向分佈和空間相關的係數：

其中

是負責平滑化的參數。在一些示例中，可以藉由使得平滑係數取決於比率

來控制和穩定精度或「抖動(jitter)」：

其中

是雜訊目標

與在核內的未經濾波的深度的變異性

之間的比率。在此，

表示標準差(

)或變異數(

)。

圖7示出了用於處理從ToF深度圖像感測器獲取的深度資料的示例方法700的流程圖。方法700可在包含ToF深度圖像感測器的ToF攝相機上實施(其包含前面的圖1A-1E中描繪的彼些者)。在702處，該方法包含以下步驟：從ToF深度圖像感測器接收飛行時間深度圖像資料。在一些示例中，在704處，該方法包含以下步驟：在去除雜訊之前，對於飛行時間圖像資料逐像素地執行訊號校準校正。在706處，該方法包含以下步驟：在去除雜訊之前，對於飛行時間圖像資料逐像素地執行有效亮度平均以獲得有效亮度圖像資料。在708處，該方法包含以下步驟：在去除雜訊之前，對於飛行時間圖像資料逐像素地執行相位展開以獲得粗略深度圖像資料。在一些示例中，在710處，該方法包含以下步驟：壓縮粗略深度圖像資料和有效亮度圖像資料。

方法700進一步包含以下步驟：在712處，藉由通訊子系統來將粗略深度圖像資料和有效亮度圖像資料傳送至遠端計算系統以進行雜訊的去除。如同在前文中提到的，在一些示例中，傳送壓縮的圖像以節省頻寬。在一些示例中，在714處，遠端計算系統是在結合有ToF攝相機的裝置的本地端。在其他的示例中，在716處，遠端計算系統是在結合有ToF攝相機的裝置的遠端。此外，如同在前文中提到的，在一些示例中，可以分割粗略深度圖像資料和有效亮度圖像資料，並且可以基於分割將粗略深度圖像資料的像素的子集傳送至本地端處理器和遠端計算系統中的每一者。

在一些示例中，在718處，該方法進一步包含以下步驟：在結合有ToF攝相機的裝置處，從遠端系統接收去除雜訊的深度圖像資料和去除雜訊的有效亮度圖像資料。這種裝置可包含：任何適當的計算裝置(例如，頭戴式顯示裝置、電話、膝上型電腦、IoT感測器、汽車、裝置100A-100E中的任何者，或其他的裝置)。在傳送粗略深度像素的子集以進行遠端處理的情況下，接收去除雜訊的深度圖像資料和去除雜訊的有效亮度圖像資料的步驟可包含以下步驟：接收與傳送至遠端裝置的粗略圖像資料相對應的去除雜訊的圖像資料。

圖8示出了在計算系統上實施的用於對粗略深度圖像去除雜訊的示例方法800的流程圖。方法800可在任何適當的計算系統(包含雲端計算系統、企業系統、聯網PC等等)上實施。在802處，該方法包含以下步驟：從包含ToF攝相機的遠端裝置接收粗略深度圖像資料。此外，在一些示例中，在804處，該方法包含以下步驟：接收有效亮度圖像資料。在一些示例中，有效亮度圖像資料包含：平均有效亮度圖像。粗略深度圖像資料和有效亮度圖像資料可以從ToF攝相機或包含ToF攝相機且在實施方法800的計算系統的遠端的裝置接收。

在806處，該方法包含以下步驟：將空間去除雜訊濾波器應用於粗略深度圖像資料以形成去除雜訊的深度圖像，該空間去除雜訊濾波器包含卷積核。在一些示例中，在808處，卷積核包含3×3或更大的大小。例如，在更具體的示例中，卷積核可具有3×3和19×19之間的大小。

在一些示例中，方法800包含以下步驟：在810處，至少基於有效亮度圖像資料對於粗略深度圖像資料進行雜訊的去除。例如，可以將AB圖像與粗略深度圖像一起使用來重建相位資料，並且可以基於重建的相位資料來執行雜訊的去除。

此外，在一些示例中，在812處，該方法包含以下步驟：將粗略深度圖像資料分割成數個區域(例如，較低訊號區域、較高訊號區域，及/或邊緣區域)。亦者，在一些這樣的示例中，在814處，該方法包含以下步驟：對邊緣區域執行高斯模糊。另外地，在一些示例中，在816處，該方法包含以下步驟：使用相對較大的卷積核來對具有較低的訊雜比的圖像區域去除雜訊，並且使用相對較小的卷積核來對具有較高的訊雜比的圖像區域去除雜訊。

在一些示例中，可以儲存粗略深度圖像資料並將其用於藉由時間濾波來進行雜訊的去除。在這樣的示例中，在820處，該方法包含以下步驟：使用基於先前儲存的粗略深度圖像資料的時間濾波來對粗略深度圖像去除雜訊。在一些這樣的示例中，在822處，基於3-7個先前接收的粗略深度圖像來執行時間濾波。在一些這樣的示例中，當圖像之間存在高的相對移動時，基於更多數量的圖像來執行時間濾波。在其他的示例中，任何其他的適當的數量的圖像可以用於時間濾波。更一般性地，任何適合的時間和/或時空濾波器可被使用於去除雜訊的程序。

方法800進一步包含以下步驟：在824處，輸出去除雜訊的深度圖像資料。在一些示例中，該方法亦輸出去除雜訊的有效亮度圖像資料。在一些示例中，在826處，去除雜訊的深度圖像資料和有效亮度圖像資料被輸出至包含ToF攝相機的遠端裝置。

在一些實施例中，可以將在本文中描述的方法和程序與一或多個計算裝置中的計算系統相結合。特定地，這樣的方法和程序可被實施為電腦應用程式或服務、應用程式介面(API)、資料庫，及/或其他的電腦程式產品。

圖9示意性地示出了計算系統900的非限制性的實施例，該計算系統可實施在前文中描述的方法和程序中的一或多個。以簡化的形式來顯示計算系統900。計算系統900可以採取一或多個個人電腦、伺服器電腦、平板電腦、家庭娛樂電腦、網路計算裝置、遊戲裝置、行動計算裝置、行動通訊裝置(例如，智慧型手機)，及/或其他的計算裝置的形式。

計算系統900包含：邏輯機器902和儲存機器904。計算系統900可以可選擇地包含：顯示子系統906、輸入子系統908、通訊子系統910，及/或在圖9中未示出的其他的元件。

邏輯機器902包含：被配置為執行指令的一或多個實體裝置。例如，邏輯機器經配置以執行作為一或多個應用程式、服務、程式、常式、資料庫、物件、元件、資料結構，或其他的邏輯構造的一部分的指令。此類指令可被實施以執行任務、實施資料類型、轉換一或多個元件的狀態、達成技術效果，或以其他的方式達成期望的結果。

邏輯機器可包含：被配置為執行軟體指令的一或多個處理器。附加地或可替代性地，邏輯機器可包含：被配置為執行硬體或韌體指令的一或多個硬體或韌體邏輯機器。邏輯機器的處理器可以是單核心或多核心的，且在其上執行的指令可經配置以用於循序的、平行的，及/或分散式的處理。邏輯機器的個別的元件可以可選擇地分散在兩個或更多個單獨的裝置之間，該等裝置可以遠端地定位和/或經配置以用於進行協調的處理。邏輯機器的態樣可以由配置在雲端計算配置中的可遠端存取的、聯網的計算裝置虛擬化和執行。

儲存機器904包含：一或多個實體裝置，該等實體裝置經配置以保存可由邏輯機器執行以實施在本文中描述的方法和程序的指令。當實施這樣的方法和程序時，可以轉換儲存機器904的狀態-例如，以保存不同的資料。

儲存機器904可包含：可移除和/或內建的裝置。儲存機器904可包含(除了其他事項之外)：光學記憶體(例如，CD、DVD、HD-DVD、藍光光盤光碟等等)、半導體記憶體(例如，RAM、EPROM、EEPROM等等)，及/或磁性記憶體(例如，硬碟驅動器、軟碟驅動器、磁帶驅動器、MRAM等等)。儲存機器904可包含：揮發性裝置、非揮發性裝置、動態裝置、靜態裝置、讀取/寫入裝置、唯讀裝置、隨機存取裝置、循序存取裝置、位置可定址裝置、檔案可定址裝置，及/或內容可定址裝置。

將理解到儲存機器904包含：一或多個實體裝置。然而，在本文中描述的指令的態樣可以可替代性地藉由不被實體裝置保持達一有限持續時間的通訊媒體(例如，電磁訊號、光訊號等等)來傳播。

邏輯機器902和儲存機器904的態樣可以一起被整合至一或多個硬體邏輯元件。此類的硬體邏輯元件可包含(例如)：場可程式閘陣列(FPGA)、程式專用積體電路(PASIC)和特殊應用積體電路(PASIC/ ASIC)、程式專用標準產品和特殊應用標準產品(PSSP/ASSP)、系統單晶片(SOC)，及複雜可程式邏輯裝置(CPLD)。

詞彙「模組(module)」、「程式(program)」，及「引擎(engine)」可用於描述被實施以執行特定的功能的計算系統900的態樣。在一些情況中，模組、程式，或引擎可藉由執行由儲存機器904保存的指令的邏輯機器902來實例化。將理解到：不同的模組、程式，及/或引擎可以從相同的應用程式、服務、代碼區塊、物件、資料庫、常式、API、函數等等實例化。同樣地，相同的模組、程式，及/或引擎可以藉由不同的應用程式、服務、代碼區塊、物件、常式、API、函數等等來實例化。詞彙「模組(module)」、「程式(program)」，及「引擎(engine)」可以包含：單個(或數組)可執行的檔案、資料檔案、資料庫、驅動器、底稿、資料庫記錄等等。

將理解到：如同在本文使用的「服務(service)」是可以跨多個使用者會話執行的應用程式。一項服務可用於一或多個系統元件、程式，及/或其他的服務。在一些實施方式中，服務可以在一或多個伺服器-計算裝置上執行。

當被包含在內時，顯示子系統906可用於呈現由儲存機器904保存的資料的視覺表示。這種視覺表示可以採用圖形使用者界面(GUI)的形式。由於在本文中描述的方法和程序改變了由儲存機器所保存的資料，並因此轉換了儲存機器的狀態，所以顯示子系統906的狀態同樣地可以被轉換以在視覺上表示底層資料的變化。顯示子系統906可包含：使用幾乎任何類型的技術的一個或多個顯示裝置。這樣的顯示裝置可以與邏輯機器902和/或儲存機器904組合在共用的外殼中，或者這樣的顯示裝置可以是周圍的顯示裝置。

當被包含在內時，輸入子系統908可包含：一或多個使用者輸入裝置(例如，鍵盤、滑鼠、觸控螢幕，或遊戲控制器)或與一或多個使用者輸入裝置介面相接。在一些實施例中，輸入子系統可包含：選擇的自然使用者輸入(NUI)組件，或可與選擇的自然使用者輸入(NUI)組件介面相接。這樣的組件可為整合的或周邊的，並且輸入動作的轉換和/或處理可以在板上或板外處理。示例NUI組件可包含：用於語音和/或聲音識別的麥克風；用於機器視覺和/或手勢識別的紅外線、彩色、立體和/或深度攝相機(例如，深度攝相機200)；用於運動偵測和意圖識別的頭部追蹤器、眼球追蹤器、加速度計，及/或用於評估大腦活動的電場感應元件。

當被包含在內時，通訊子系統910可經配置以將計算系統900與一或多個其他的計算裝置(例如，遠端計算系統)通訊地耦接。作為示例，遠端計算系統914可包含(例如)：雲端計算系統、企業系統，或聯網PC。通訊子系統910可包含：與一或多種不同的通訊協定相容的有線和/或無線通訊裝置。作為非限制性的示例，通訊子系統可經配置以用於藉由無線電話網路，或有線或無線區域網路或廣域網路來進行通訊。在一些實施例中，通訊子系統可允許計算系統900藉由網路(例如，網際網路)向其他的裝置傳送訊息和/或從其他的裝置接收訊息。

另一個示例提供了一種飛行時間攝相機，其包含：飛行時間深度圖像感測器、邏輯機器、通訊子系統，及保存有指令的儲存機器，該指令可由邏輯機器執行以處理藉由飛行時間深度圖像感測器獲取的飛行時間圖像資料，其係藉由以下所述方式來進行處理：在去除雜訊之前，對圖像資料逐像素地執行相位展開以獲得包含深度值的粗略深度圖像資料，且藉由通訊子系統將粗略深度圖像資料和有效亮度圖像資料傳送至遠端計算系統以進行雜訊的去除。在一些這樣的示例中，指令可進一步地執行以在將粗略深度圖像和有效亮度圖像傳送至遠端計算系統之前，壓縮粗略深度圖像和有效亮度圖像。附加地或可替代性地，在一些示例中，指令可進一步地執行以在去除雜訊之前，執行逐像素的訊號校準校正。附加地或可替代性地，在一些示例中，飛行時間攝相機進一步包含：結合有飛行時間攝相機的裝置，並且遠端計算系統在結合有飛行時間攝相機的裝置的遠端處。附加地或可替代性地，在一些示例中，指令可進一步執行以分割包含粗略深度圖像資料的粗略深度圖像，並且在分割之後將粗略深度圖像資料傳送至遠端計算系統。附加地或可替代性地，在一些示例中，指令可進一步執行以處理飛行時間圖像資料，其係藉由以下所述方式來進行處理：在去除雜訊之前，對飛行時間圖像資料逐像素地執行有效亮度平均，以獲得有效亮度圖像資料。

另一個示例提供了一種計算系統，其包含：邏輯機器、通訊子系統，及保存有指令的儲存機器，該等指令可由邏輯機器執行以從包含飛行時間攝相機的遠端裝置接收粗略深度圖像資料、應用包含卷積核的空間去除雜訊濾波器，及輸出去除雜訊的深度圖像資料。在一些這樣的示例中，指令可進一步地執行以從遠端裝置接收有效亮度圖像資料，並且至少基於有效亮度圖像資料對粗略深度圖像資料進行雜訊的去除。附加地或可替代性地，在一些示例中，指令可進一步地執行以基於臨界訊雜比來分割粗略深度圖像資料。附加地或可替代性地，在一些示例中，指令可進一步地執行以使用相對較大的卷積核來對具有較低的訊雜比的粗略深度圖像資料執行雜訊的去除，並且使用相對較小的卷積核來對具有較高的訊雜比的粗略深度圖像資料執行雜訊的去除。附加地或可替代性地，在一些示例中，卷積核包含：在3 x 3和19 x 19的範圍內的大小。附加地或可替代性地，在一些示例中，去除雜訊的深度圖像資料被輸出至遠端裝置。附加地或可替代性地，在一些示例中，指令可進一步地執行以使用基於先前儲存的粗略深度圖像資料的時間濾波來對於粗略深度圖像資料進行雜訊的去除。附加地或可替代性地，在一些示例中，基於3-7個先前接收的粗略深度圖像來執行時間濾波。

另一個示例提供了一種在飛行時間攝相機上實施的方法，該方法包含以下步驟：從飛行時間攝相機的飛行時間深度圖像感測器接收飛行時間圖像資料、在去除雜訊之前，對飛行時間圖像資料逐像素地執行有效亮度平均以獲得有效亮度圖像資料、在去除雜訊之前，對飛行時間圖像資料逐像素地執行相位展開以獲得粗略深度圖像資料，及藉由通訊子系統將粗略深度圖像資料和有效亮度圖像資料傳送至遠端計算系統以進行雜訊的去除。在一些這樣的示例中，該方法進一步包含以下步驟：在將粗略深度圖像資料和有效亮度圖像資料傳送至遠端系統之前，對於粗略深度圖像資料和有效亮度圖像資料進行壓縮。附加地或可替代性地，在一些示例中，該方法進一步包含以下步驟：在去除雜訊之前，對飛行時間圖像資料逐像素地執行訊號校準校正。附加地或可替代性地，在一些示例中，遠端計算系統在結合有飛行時間攝相機的裝置的遠端處。附加地或可替代性地，在一些示例中，飛行時間攝相機進一步包含：分割粗略深度圖像資料。附加地或可替代性地，在一些示例中，該方法進一步包含以下步驟：在合併有飛行時間攝相機的裝置處，從遠端系統接收去除雜訊的深度圖像資料和去除雜訊的有效亮度圖像資料。

將理解到：在本文中描述的配置和/或方法本質上是示例性的，並且這些特定的實施例或示例不應被認為具有限制性的意義，因為可能有許多的變化。在本文中描述的特定的常式或方法可代表：任意數量的處理策略中的一或多個。因此，所示例說明和/或描述的各種動作可以示例說明和/或描述的順序、以其他的順序、並行地，或以省略的方式來進行。同樣地，可以改變前述的程序的順序。

本揭露的申請標的包含：各種程序、系統，及配置中的所有新穎的和非顯而易見的組合和子組合，以及在本文中揭示的其他的特徵、功能、動作及/或特性，以其任何者或其所有的等效者。

100A:電子裝置 100B:電子裝置 100C:電子裝置 100D:電子裝置 100E:電子裝置 102A:ToF攝相機 102B:ToF攝相機 102C:ToF攝相機 102D:ToF攝相機 104:遠端計算系統 110:環境 116:通訊集線器 120:IoT端點計算裝置 200:深度成像系統 202:ToF攝相機 204:感測器陣列 206:ToF像素 208:控制器 210:物鏡系統 212:遠端計算系統 220:表面 222:對象 230:調變光發射器 300:資料 302a:網格 302b:網格 302c:網格 304:像素 400:分散式的流水線 401:虛線 402:方塊/步驟 404:方塊/步驟 406:方塊/步驟 408:方塊/步驟 412:方塊/步驟 414:方塊/步驟 416:方塊/步驟 418:方塊/步驟 420:方塊/步驟 422:方塊/步驟 424:方塊/步驟 500:分散式的深度引擎流水線 502:ToF圖像感測器 503:深度攝相機 505:方塊/步驟 506:方塊/步驟 508:方塊/步驟 510:方塊/步驟 512:方塊/步驟 514:方塊/步驟 516:方塊/步驟 518:步驟 600:粗略深度圖像 602:分割的圖像 700:方法 702:方塊/步驟 704:方塊/步驟 706:方塊/步驟 708:方塊/步驟 710:方塊/步驟 712:方塊/步驟 714:方塊/步驟 716:方塊/步驟 718:方塊/步驟 800:方法 802:方塊/步驟 804:方塊/步驟 806:方塊/步驟 808:方塊/步驟 810:方塊/步驟 812:方塊/步驟 814:方塊/步驟 816:方塊/步驟 820:方塊/步驟 822:方塊/步驟 824:方塊/步驟 826:方塊/步驟 900:計算系統 902:邏輯機器 904:儲存機器 906:顯示子系統 908:輸入子系統 910:通訊子系統 914:遠端計算系統

圖1A-1B示出了包含飛行時間(ToF)攝相機的示例電子裝置。

圖2示出了示例ToF攝相機系統的態樣。

圖3示意性地示例說明用於複數個(K個)調變頻率的示例ToF圖像資料。

圖4示出了用於處理深度圖像的示例流水線，其包含在深度攝相機上的逐像素的操作和在深度攝相機的遠端的計算裝置處的卷積操作。

圖5示意性地示出了用於處理分段深度資料的另一個示例分散式深度引擎流水線。

圖6示出了粗略深度圖像的示例分割。

圖7示出了用於使用深度攝相機上的逐像素的操作來處理深度感測器資料以產生粗略深度圖像資料和有效亮度圖像資料的示例方法的流程圖。

圖8示出了用於對粗略深度圖像資料和有效亮度圖像資料的示例方法的流程圖。

圖9示出了示例計算系統的方塊圖。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

110:環境

120:IoT端點計算裝置

Claims

一種飛行時間攝相機，包含：一飛行時間深度圖像感測器；一邏輯機器；一通訊子系統；及一儲存機器，該儲存機器保存有可由該邏輯機器執行以進行以下步驟的指令：處理藉由該飛行時間深度圖像感測器獲取的飛行時間圖像資料，其係藉由以下所述方式來進行處理：在去除雜訊之前，對圖像資料逐像素地執行相位展開以獲得包含深度值的粗略深度圖像資料；及藉由該通訊子系統將該粗略深度圖像資料和該有效亮度圖像資料傳送至一遠端計算系統以進行雜訊的去除。
如請求項1所述之飛行時間攝相機，其中該指令可執行以在將該粗略深度圖像和該有效亮度圖像資料傳送至該遠端計算系統之前，壓縮該粗略深度圖像和該有效亮度圖像。
如請求項1所述之飛行時間攝相機，其中該指令可進一步執行以在去除雜訊之前，執行一逐像素的訊號校準校正。
如請求項1所述之飛行時間攝相機，進一步包含：合併有該飛行時間攝相機的一裝置，且其中該遠端計算系統在結合有該飛行時間攝相機的該裝置的遠端處。
如請求項1所述之飛行時間攝相機，其中該指令可執行以分割包含該粗略深度圖像資料的一粗略深度圖像，並且在分割之後將該粗略深度圖像資料傳送至該遠端計算系統。
如請求項1所述之飛行時間攝相機，其中該指令可進一步執行以處理該飛行時間圖像資料，其係藉由以下所述方式來進行處理：在去除雜訊之前，對該飛行時間圖像資料逐像素地執行有效亮度平均，以獲得有效亮度圖像資料。
一種計算系統，包含：一邏輯機器；一通訊子系統；及一儲存機器，該儲存機器保存有可由該邏輯機器執行以進行以下步驟的指令：從包含一飛行時間攝相機的一遠端裝置接收粗略深度圖像資料，應用包含一卷積核的一空間去除雜訊濾波器以形成去除雜訊的深度圖像資料，及輸出該去除雜訊的深度圖像資料。
如請求項7所述之計算系統，其中該指令可進一步地執行以從該遠端裝置接收有效亮度圖像資料，並且至少基於該有效亮度圖像資料對該粗略深度圖像資料進行雜訊的去除。
如請求項7所述之計算系統，其中該指令可進一步地執行以基於一臨界訊雜比來分割該粗略深度圖像資料。
如請求項9所述之計算系統，其中指令可進一步地執行以使用一相對較大的卷積核來對具有較低的訊雜比的粗略深度圖像資料執行雜訊的去除，並且使用一相對較小的卷積核來對具有一較高的訊雜比的粗略深度圖像資料執行雜訊的去除。
如請求項7所述之計算系統，其中該卷積核包含：在3 x 3和19 x 19的範圍內的大小。
如請求項7所述之計算系統，其中該去除雜訊的深度圖像資料被輸出至該遠端裝置。
如請求項7所述之計算系統，其中該指令可進一步地執行以使用基於先前儲存的粗略深度圖像資料的時間濾波來對於粗略深度圖像資料進行雜訊的去除。
如請求項13所述之計算系統，其中基於3-7個先前接收的粗略深度圖像來執行時間濾波。
一種在一飛行時間攝相機上實施的方法，包含以下步驟：從該飛行時間攝相機的一飛行時間深度圖像感測器接收飛行時間圖像資料；在去除雜訊之前，對該飛行時間圖像資料逐像素地執行有效亮度平均以獲得有效亮度圖像資料，在去除雜訊之前，對該飛行時間圖像資料逐像素地執行相位展開以獲得粗略深度圖像資料，及藉由一通訊子系統將該粗略深度圖像資料和該有效亮度圖像資料傳送至一遠端計算系統以進行雜訊的去除。
如請求項15所述之方法，進一步包含以下步驟：在將該粗略深度圖像資料和該有效亮度圖像資料傳送至遠端系統之前，對於該粗略深度圖像資料和該有效亮度圖像資料進行壓縮。
如請求項15所述之方法，進一步包含以下步驟：在去除雜訊之前，對該飛行時間圖像資料逐像素地執行一訊號校準校正。
如請求項15所述之方法，其中該遠端計算系統在結合有該飛行時間攝相機的一裝置的遠端處。
如請求項15所述之方法，進一步包含以下步驟：分割該粗略深度圖像資料。
如請求項15所述之方法，進一步包含以下步驟：在合併有該飛行時間攝相機的裝置處，從該遠端系統接收去除雜訊的深度圖像資料和去除雜訊的有效亮度圖像資料。