TW202347258A - 深度處理系統及其操作方法 - Google Patents

Abstract

深度處理系統包含複數個深度擷取裝置和一處理器。該複數個深度擷取裝置中的每一深度擷取裝置用以根據其視野產生對應該視野的一深度信息。該處理器用以融合該複數個深度擷取裝置所產生的複數個深度信息以產生對應於一特定區域的三維點雲及/或全景深度，且根據該三維點雲及/或該全景深度偵測該特定區域內的一移動物件。

Description

深度處理系統及其操作方法

本發明是有關於一種深度處理系統及其操作方法，尤指一種能夠偵測特定區域內的移動物件並產生對應該移動物件的通知信息的深度處理系統及其操作方法。

隨著使用者對於電子裝置的各種應用需求增加，利用深度處理器來取得外部物體的深度資訊也成為了許多電子裝置所需的功能。舉例來說，在電子裝置透過深度處理器取得了外部物體的深度資訊，亦即外部物體與電子裝置之間的距離後，電子裝置就能夠進一步根據深度資訊達到物體辨識、影像合成等各種不同的應用。目前常見的深度處理器可能是透過雙眼視覺、偵測結構光及飛時測距法(Time of Flight，ToF)等方式來取得外部物體的深度資訊。

然而在先前技術中，由於深度處理器只能夠以單一角度取得相對於該電子裝置的深度資訊，因此常常產生死角，而難以掌握外部物體的實際狀況。此外，由於電子裝置根據自身的深度處理器所產生深度資訊只能夠代表自身觀察的結果，因此也無法與其他的電子裝置共用。也就是說，為了能夠取得深度資訊，每台電子裝置都必須自身搭載對應的深度處理器。如此一來，不僅資源難以共用整合，也增加電子裝置在設計上的複雜度。

本發明的一實施例提供一種深度處理系統。該深度處理系統包含複數個深度擷取裝置和一處理器。該複數個深度擷取裝置中的每一深度擷取裝置用以根據其視野產生對應該視野的一深度信息。該處理器用以融合該複數個深度擷取裝置所產生的複數個深度信息以產生對應於一特定區域的三維點雲(point cloud)及/或全景深度(panorama depth)，且根據該三維點雲及/或該全景深度偵測該特定區域內的一移動物件。

在本發明的一實施例中，該處理器另用以產生對應該移動物件的一通知信息給該複數個深度擷取裝置中視野未涵蓋該移動物件的至少一深度擷取裝置。

在本發明的一實施例中，該每一深度擷取裝置是一飛時測距(time of flight, ToF)裝置，該飛時測距裝置包含複數個光源和一感測器，且該感測器是用以感測該移動物件產生對應該光源所發出的光的一反射光並據以產生對應該移動物件的深度信息。

在本發明的一實施例中，該複數個光源是發光二極體(light emitting diode, LED)或雷射二極體(laser diode, LD)，該複數個光源所發出的光為紅外光，且該感測器為一紅外光感測器。

在本發明的一實施例中，該感測器為一魚眼感測器，且該魚眼感測器的視野不小於180度。

在本發明的一實施例中，該複數個光源所發出的光的頻率或波長不同於該複數個深度擷取裝置中其他深度擷取裝置所包含的複數個光源所發出的光的頻率或波長。

在本發明的一實施例中，該深度處理系統另包含一結構光源(structured light source)，其中該結構光源用以朝該特定區域發出一結構光，其中該每一深度擷取裝置用以根據其視野和該結構光產生對應該視野的該深度信息。

在本發明的一實施例中，該結構光源為一雷射二極體(laser diode, LD)或一數位光源處理器(digital light processor, DLP)。

在本發明的一實施例中，該處理器另用以將該深度信息、該特定區域的三維點雲及該全景深度以一體素(voxel)的格式儲存。

在本發明的一實施例中，該處理器另用以將該特定區域分為複數個單位空間；每一單位空間係對應於一體素(voxel)；當一第一單位空間具有超過一預定數量之雲點時，該第一單位空間所對應之一第一體素具有一第一位元值；及當一第二單位空間不具有超過該預定數量之雲點時，該第二單位空間所對應之一第二體素具有一第二位元值。

本發明的另一實施例提供一種深度處理系統的操作方法，其中該深度處理系統包含複數個深度擷取裝置和一處理器。該操作方法包含該複數個深度擷取裝置中的每一深度擷取裝置根據其視野產生對應該視野的一深度信息；該處理器融合該複數個深度擷取裝置所產生的複數個深度信息以產生對應於一特定區域的三維點雲(point cloud)及/或全景深度(panorama depth)；及該處理器根據該三維點雲及/或該全景深度偵測該特定區域內的一移動物件。

在本發明的一實施例中，該操作方法另包含該處理器產生對應該移動物件的一通知信息給該複數個深度擷取裝置中視野未涵蓋該移動物件的至少一深度擷取裝置。

在本發明的一實施例中，當該每一深度擷取裝置是一飛時測距(time of flight, ToF)裝置時，該每一深度擷取裝置包含的複數個光源所發出的光的頻率或波長不同於該複數個深度擷取裝置中其他深度擷取裝置所包含的複數個光源所發出的光的頻率或波長。

在本發明的一實施例中，該深度處理系統另包含一結構光源(structured light source)，該結構光源用以朝該特定區域發出一結構光，且該每一深度擷取裝置用以根據其視野和該結構光產生對應該視野的該深度信息。

在本發明的一實施例中，該處理器根據該三維點雲及/或該全景深度偵測該特定區域內的該移動物件包含該處理器根據該三維點雲產生一立體網狀圖(mesh)；該處理器根據該立體網狀圖產生對應於該特定區域之一即時三維環境資訊；及該處理器根據該即時三維環境資訊，偵測該特定區域內的該移動物件。

在本發明的一實施例中，該處理器另用以將該深度信息、該特定區域的三維點雲及該全景深度以一體素(voxel)的格式儲存。

在本發明的一實施例中，該處理器另用以將該特定區域分為複數個單位空間；每一單位空間係對應於一體素(voxel)；當一第一單位空間具有超過一預定數量之雲點時，該第一單位空間所對應之一第一體素具有一第一位元值；及當一第二單位空間不具有超過該預定數量之雲點時，該第二單位空間所對應之一第二體素具有一第二位元值。

第1圖為本發明一實施例之深度處理系統100的示意圖。深度處理系統100包含主機110(處理器)及複數個深度擷取裝置1201至120N，其中N為大於1的整數。

深度擷取裝置1201至120N可散佈於特定區域CR設置，且每一深度擷取裝置1201至120N皆可根據自身的對應角度產生特定區域CR的深度資訊。在本發明的部分實施例中，深度擷取裝置1201至120N可分別利用相同或相異的方式，例如雙眼視覺、偵測結構光及飛時測距法(Time of Flight，ToF)…等方式，來取得特定區域CR在不同角度上的深度資訊。主機110則能夠根據深度擷取裝置1201至120N所在的位置及擷取角度，將深度擷取裝置1201至120N所產生的深度資訊轉換至相同的空間座標體系，進而將深度擷取裝置1201至120N所產生的深度資訊融合以產生對應於特定區域CR的三維點雲(point cloud)以提供對應於特定區域CR的完整三維環境資訊。

在本發明的部分實施例中，深度擷取裝置1201至120N所裝設的位置、拍攝角度、焦距、解析度等參數在設計時即可先行決定，因此這些參數可事先儲存於主機110中，以便主機110能夠有效合理地組合深度擷取裝置1201至120N所取得之深度資訊。此外，由於在實際裝設深度擷取裝置1201至120N時，裝設的位置或角度都可能有所差異，因此主機110可以執行校正功能，以對深度擷取裝置1201至120N的各項參數進行校正，確保深度擷取裝置1201至120N所取得之深度資訊能夠對應地融合。在本發明的部分實施例中，深度資訊可能會包含色彩資訊。

此外，特定區域CR的物體可能處於運動的狀態，因此主機110必須利用深度擷取裝置1201至120N在相近的時間點上所產生的深度資訊才能夠產生正確的三維點雲。為了讓深度擷取裝置1201至120N能夠同步產生深度資訊，主機110可以執行同步功能。

當主機110執行同步功能時，主機110可例如先送出第一同步訊號SIG1至深度擷取裝置1201至120N。在本發明的部分實施例中，主機110可透過有線、無線或結合兩者的方式傳送第一同步訊號SIG1至深度擷取裝置1201至120N。深度擷取裝置1201至120N在接收到第一同步訊號SIG1後，會分別產生各自的第一深度資訊DA1至DAN，並將擷取第一深度資訊DA1至DAN的第一擷取時點TA1至TAN及第一深度資訊DA1至DAN傳送至主機110。

由於深度擷取裝置1201至120N從擷取資訊到完成產生深度資訊的過程所需要花費的時間可能各不相同，因此為了確保同步功能可以有效地讓深度擷取裝置1201至120N產生同步的深度資訊，在此實施例中，第一深度資訊DA1至DAN的第一擷取時點TA1至TAN可為第一深度資訊DA1至DAN實際上被擷取的時間，而非其產出的時間。

此外，由於每一個深度擷取裝置1201至120N與主機110之間的通訊路徑可能長短不同，物理條件也有所差異，且內部的處理速度亦不同，因此每一個深度擷取裝置1201至120N接收到第一同步訊號SIG1的時間以及擷取第一深度資訊DA1至DAN的時間也可能不同，而後將深度資訊DA1至DAN及與之對應的第一擷取時點TA1至TAN等資訊回傳到主機110的時間也可能不同。在本發明的部分實施例中，主機110在接收到第一深度資訊DA1至DAN及第一擷取時點TA1至TAN之後，會根據第一擷取時點TA1至TAN整理排序出各個深度擷取裝置1201至120N擷取第一深度資訊DA1至DAN的第一擷取時點TA1至TAN，並根據每一深度擷取裝置1201至120N擷取第一深度資訊DA1至DAN之第一擷取時點TA1至TAN產生對應於每一深度擷取裝置1201至120N之調整時間，而每一深度擷取裝置1201至120N在下一次接收到同步訊號時，便可據其所對應的調整時間來調整擷取深度資訊的時點。

第2圖為深度擷取裝置1201至120N之第一擷取時點TA1至TAN的時序圖。在第2圖中，深度擷取裝置1201擷取第一深度資訊DA1的第一擷取時點TA1是所有第一擷取時點TA1至TAN中最早的，而深度擷取裝置120n擷取第一深度資訊DAn的第一擷取時點TAn是所有第一擷取時點TA1至TAN中最晚的，其中N≧n＞1。為了避免每個深度擷取裝置1201至120N擷取深度資訊的時間差異過大，導致其所產生的深度資訊無法合理組合，主機110可以將最晚的第一擷取時點TAn作為標準，要求在第一擷取時點TAn之前就擷取深度資訊的深度擷取裝置在下次擷取深度資訊時，延後擷取深度資訊的時間。舉例來說，在第2圖中，第一擷取時點TA1與第一擷取時點TAn之間可能差了1.5毫秒，因此主機110可以依此設定深度擷取裝置1201所對應的調整時間，例如為1毫秒。如此一來，下次當主機110傳送第二同步訊號至深度擷取裝置1201時，深度擷取裝置1201便可根據主機110所設定的調整時間來決定擷取第二深度資訊的擷取時點。

第3圖為深度擷取裝置1201至120N在接收到第二同步訊號後，擷取第二深度資訊DB1至DBN的第二擷取時點TB1至TBN的時序圖。在第3圖中，深度擷取裝置1201會在接收到第二同步訊號後，延遲1毫秒才擷取第二深度資訊DB1，因此深度擷取裝置1201擷取第二深度資訊DB1的第二擷取時點TB1與深度擷取裝置120n擷取第二深度資訊DBn的第二擷取時點TBn之間的差距就能夠縮小。在本發明的部分實施例中，主機110可以例如但不限於透過控制深度擷取裝置1201至120N中影像感測器的時脈調整頻率或垂直同步訊號(v-blank)來延遲深度擷取裝置1201至120N擷取深度資訊的時間。

相似地，主機110也會根據深度擷取裝置1202至120N之第一擷取時點TA2至TAN的早晚程度來設定對應的調整時間，因此在第3圖中，深度擷取裝置1201至120N的第二擷取時間TB1至TBN整體上會較第2圖中深度擷取裝置1201至120N的第一擷取時間TA1至TAN更加集中，如此一來，深度擷取裝置1201至120N擷取深度資訊的時間就能夠趨於同步。

此外，由於深度擷取裝置1201至120N的外在環境和內部狀態都可能隨時間而有所變化，例如每個深度擷取裝置1201至120N內部的時脈訊號可能有不同的偏移狀況，因此在本發明的部分實施例中，主機110會持續地執行同步功能，以確保深度擷取裝置1201至120N能夠產生同步的深度資訊。

在本發明的其他實施例中，主機110也可利用其他的方式來執行同步功能。舉例來說，主機110可持續送出一系列的計時訊號至深度擷取裝置1201至120N。主機110送出的系列計時訊號可例如包含不斷更新之當下的時間資訊，亦即主機110可以持續送出報時訊號，因此深度擷取裝置1201至120N在擷取深度資訊時，便可根據擷取深度資訊時所接收到的計時訊號來記錄其擷取時點，並將擷取時點及深度資訊傳送至主機110。由於各裝置距離差異可能過大，導致各裝置接受到報時訊號所需時間不同，且傳送深度與時間資訊到主機的時間點亦不同，主機110可根據各裝置傳輸的時間差進行調整後並將深度擷取裝置1201至120N擷取深度資訊的擷取時點進行排序，例如第2圖所示。為了避免深度擷取裝置1201至120N擷取深度資訊的時間差異過大，導致其所產生的深度資訊無法合理組合，主機110可以根據每一深度擷取裝置1201至120N擷取深度資訊之擷取時點TA1至TAN產生對應於每一深度擷取裝置1201至120N的調整時間，而每一深度擷取裝置1201至120N則可根據對應的調整時間調整擷取深度資訊的頻率或延遲時間。

舉例來說，在第2圖中，主機110可將最晚的第一擷取時點TAn作為標準，要求在第一擷取時點TAn之前就擷取深度資訊的深度擷取裝置減緩擷取深度資訊的頻率或增加延遲時間，例如使深度擷取裝置1201減緩擷取深度資訊的頻率或增加延遲時間。如此一來，就能夠使深度擷取裝置1201至120N擷取深度資訊的時點趨於同步。

雖然在上述的實施例中，主機110是以最晚的第一擷取時點TAn為基準來延遲其他深度擷取裝置的擷取時點，然而本發明並不以此為限。在系統允許的情況下，主機110也可能要求深度擷取裝置120n提前擷取深度資訊的時間點或加快擷取深度資訊的頻率，來配合其他的深度擷取裝置。

此外，在本發明的部分實施例中，主機110所設定的調整時間主要是用來調整深度擷取裝置1201至120N擷取外部資訊以產生深度資訊的時間點，至於深度擷取裝置1201至120N若利用到雙眼視覺而需同步擷取左右眼影像的狀況，則會由深度擷取裝置1201至120N內部的時脈控制訊號自行控制並達到同步。

如同前述，主機110可能會在不同的接收時點接收深度擷取裝置1201至120N所產生的深度資訊。在此情況下，為了確保深度擷取裝置1201至120N可以持續地產生同步的深度資訊以提供即時的三維點雲，主機110可以設定三維點雲的掃描週期，使得深度擷取裝置1201至120N能夠週期性地產生同步的深度資訊。在本發明的部分實施例中，主機110可根據接收深度擷取裝置1201至120N所產生之深度資訊的N個接收時點中，最晚的接收時點來設定深度擷取裝置1201至120N的掃描週期。也就是說，主機110可以將深度擷取裝置1201至120N中所需傳送時間最久的深度擷取裝置作為標準，並根據其所需的傳送時間來設定掃描週期。如此一來，就能夠確保在每個掃描週期內，所有的深度擷取裝置1201至120N都能夠及時產生並傳送對應的深度資訊至主機110。

此外，為了避免有部分深度擷取裝置故障，導致深度處理系統100完全停擺，在本發明的部分實施例中，主機110送出同步訊號之後，倘若在掃描週期結束後的緩衝時間內仍未收到部分深度擷取裝置傳來之訊號時，主機110便可判斷部分深度擷取裝置落幀(drop frame)，並可繼續進行下一個掃描週期使得其他深度擷取裝置繼續產生深度資訊。

舉例來說，深度處理系統100的掃描週期可例如為10毫秒而緩衝時間為2毫秒，則在主機110送出同步訊號之後，倘若在12毫秒內都未接收到深度擷取裝置1201所產生的深度資訊，主機110將判斷深度擷取裝置1201落幀，並會繼續下一個週期，而不會無止境地等待空轉。

在第1圖中，深度擷取裝置1201至120N可能會根據不同的方式來產生深度資訊，例如可能有部分的深度擷取裝置可以在環境光源或物體紋理不足的情況下，利用結構光來增進深度資訊的精確度。舉例來說，在第1圖中，深度擷取裝置1203及1204可利用雙眼視覺的演算法並輔以結構光來取得深度資訊。在此情況下，深度處理系統100還可包含至少一結構光源130。結構光源130可朝著特定區域CR發出結構光S1。在本發明的部分實施例中，結構光S1可投射出特定的圖案，而當結構光S1投射在物體上時，其所投射出的特定圖案就會隨著物體表面凹凸而產生不同程度的改變，而根據特定圖案改變的情況，對應的深度擷取裝置就能夠反推得知物體表面凹凸的深度資訊。另外，在本發明的一實施例中，結構光源130為一雷射二極體(laser diode, LD)或一數位光源處理器(digital light processor, DLP)。

在本發明的部分實施例中，結構光源130可與深度擷取裝置1201至120N分開設置，且結構光源130所發出的結構光S1可由兩個以上的深度擷取裝置共用以各自產生對應的深度資訊。例如在第1圖中，深度擷取裝置1203及1204便可同樣根據結構光S1來判斷物體的深度資訊。也就是說，不同的深度擷取裝置也可以根據相同的結構光S1來產生對應的深度資訊。如此一來，就能夠簡化深度擷取裝置的硬體設計。此外，由於結構光源130可以獨立於深度擷取裝置1201至120N設置，因此也可以更加貼近所欲掃描的物體，而不會被深度擷取裝置1201至120N所在的位置限制，增加深度處理系統100在設計上的彈性。

此外，倘若在環境光源及物體紋理足夠的情況下，利用雙眼視覺的演算法便足以產生滿足需求的深度資訊時，則無須利用結構光源130，此時深度處理系統100便可關閉結構光源130或可根據使用情境，將結構光源130省略。

在本發明的部分實施例中，主機110在取得三維點雲之後，可以根據三維點雲產生立體網狀圖(mesh)，並根據立體網狀圖產生對應於特定區域CR的即時三維環境資訊。透過對應於特定區域CR的即時三維環境資訊，深度處理系統100就能夠監控特定區域CR內的物體運動並支援許多應用。

舉例來說，在本發明的部分實施例中，使用者可以在深度處理系統100中，設定所欲追蹤的興趣物體，例如透過人臉辨識、無線射頻標籤或是刷卡認證等方式，使得深度處理系統100能夠判斷出所欲追蹤的興趣物體。接著，主機110便可以根據立體網狀圖或三維點雲所取得的即時三維環境資訊追蹤興趣物體以判斷出興趣物體的所在位置及動作。舉例來說，深度處理系統100所關注的特定區域CR可為病院、療養院或監獄等場域，而深度處理系統100則可監控病人或犯人的位置及行動，並根據其動作執行對應於該動作的功能，例如在判斷出病人摔跌或犯人越獄時，可適時地發出警告訊號。又或者深度處理系統100也可應用於商場，並以顧客作為興趣物體，紀錄顧客的行動路線，並以大數據的方式歸納出顧客可能的消費習慣，進而提出更適合顧客的服務。

此外，深度處理系統100也可應用於追蹤骨幹模型(skeleton)的動作。為了能夠追蹤骨幹模型的動作，使用者可穿戴具有特定追蹤器或特定顏色的服裝以供深度處理系統100的深度擷取裝置1201至120N辨別並追蹤各個骨幹的位置變化。第4圖為深度處理系統100應用於追蹤骨幹模型ST的情境示意圖。在第4圖中，深度處理系統100的深度擷取裝置1201至1203會分別自不同的角度擷取骨幹模型ST的深度資訊，深度擷取裝置1201是由正面觀察骨幹模型ST，深度擷取裝置1202是由側面觀察骨幹模型ST，而深度擷取裝置1203則是由上方觀察骨幹模型ST。深度擷取裝置1201至1203可分別根據其觀察的角度產生骨幹模型ST的深度資訊圖DST1、DST2及DST3。

在先前技術中，當以單一角度取得骨幹模型的深度資訊時，常會受限於單一角度而無法得知骨幹模型ST的完整動作。舉例來說，若單純根據深度擷取裝置1201所取得的深度資訊圖DST1，則由於骨幹模型ST的身體擋住了其右臂的動作，因此我們無法得知其右臂的動作為何。然而透過深度擷取裝置1201至1203分別取得的深度資訊圖DST1、DST2及DST3，深度處理系統100就能夠統整得出骨幹模型ST的完整動作。

在本發明的部分實施例中，主機110可以根據三維點雲中產生移動的複數個雲點來判斷出位於特定區域CR之骨幹模型ST的動作。由於長時間靜止不動的雲點可能屬於背景，而實際上有產生移動的雲點則較可能與骨幹模型ST的動作相關，因此主機110可以先將雲點維持靜止的區域略過不予計算，只關注在雲點有產生移動的區域，如此一來就能夠減輕主機110的運算負擔。

此外，在本發明的其他實施例中，主機110也可根據立體網狀圖所提供的即時三維環境資訊來產生對應於骨幹模型ST之複數個相異觀察視角的深度資訊以判斷位於特定區域CR之骨幹模型ST的動作。也就是說，在深度處理系統100已經取得完整的三維環境資訊的情況下，深度處理系統100實際上可以根據使用者所需的虛擬角度產生對應的深度資訊。舉例來說，深度處理系統100可以在掌握了完整的三維環境資訊後，產生自骨幹模型ST之前、後、左、右及上方等不同方向觀察所得的深度資訊，並根據這些方向所對應的深度資訊來判斷骨幹模型ST的動作。如此一來，就能夠更加精準地追蹤骨幹模型的動作。

此外，在本發明的部分實施例中，深度處理系統100還可將產生的三維點雲重整成能夠提供機器學習(machine learning)演算法使用的格式。由於三維點雲並沒有特定的格式，而各雲點的紀錄順序也沒有明確的關聯，因此不易被其他應用所使用。機器學習演算法或深度學習演算法常用來辨識二維影像中的物件，然而為了有效率地處理所欲辨識的二維影像，常須將二維影像以固定的格式儲存，例如以紅、綠、藍三色畫素(pixel)的方式按照位於畫面中的行列依序儲存。而對應於二維影像的畫素，三維影像同樣可以紅、綠、藍三色體素(voxel)的方式按照在空間中的位置依序儲存。

然而，深度處理系統100主要是提供物體的深度資訊，而不限定會否提供對應的物體顏色資訊，惟實際上透過機器學習演算法或深度學習演算法來辨識物體時，也未必需要根據物體的顏色來做判斷，而可能只根據物體的形狀就足以判斷。因此在本發明的部分實施例中，深度處理系統100可將三維點雲儲存成在複數個單位空間中的二元體素，以供後續的機器學習演算法或深度學習演算法計算使用。

舉例來說，主機110可將三維點雲所在的空間區分為複數個單位空間，而每一個單位空間即會對應於一個體素，主機110可以根據每個單位空間內是否具有超過預定數量的雲點來判斷對應於該單位空間的體素的值。舉例來說，若第一單位空間中具有超過預定數量的雲點，例如超過10個雲點時，主機110便可將第一單位空間所對應之第一體素設定為具有第一位元值，例如為1，表示第一體素中存在有物體。反之，當第二單位空間不具有超過預定數量之雲點時，主機110便可將第二單位空間所對應之第二體素設定為具有第二位元值，例如為0，表示第二體數中並未存在有物體。如此一來，就能夠以二元的方式將三維點雲儲存為體素的格式，使得深度處理系統100所產生的深度資訊能夠更廣泛的被應用，同時也可以避免浪費記憶體的儲存空間。

第5圖為本發明另一實施例之深度處理系統200的示意圖。深度處理系統200與深度處理系統100具有相似的結構及操作原理，然而深度處理系統200還另包含互動裝置240。互動裝置240可以根據在互動裝置240有效範圍內之使用者的動作來執行對應於該動作的功能。舉例來說，深度處理系統200可設置於商場中，並在商場區域觀察顧客的行動，而互動裝置240可例如包含顯示螢幕。當深度處理系統200判斷有顧客走進互動裝置240的有效範圍內時，就可以進一步辨識顧客的身分，並根據顧客的身分，提供顧客可能需要的資訊，例如根據顧客過去的消費紀錄，顯示顧客可能會感興趣的廣告內容。此外，由於深度處理系統200能夠提供顧客的深度資訊，因此互動裝置240也可以判斷並根據顧客的動作，例如手勢，來與顧客互動，例如顯示客戶所選取的選單。

也就是說，由於深度處理系統200可以提供完整的三維環境資訊，因此互動裝置240本身無須擷取及處理深度資訊就能夠取得對應的深度資訊，因此可以簡化硬體的設計，也增加使用上的彈性。

在本發明的部分實施例中，主機210可以根據立體網狀圖或三維點雲所提供之特定區域CR的即時三維環境資訊來提供互動裝置240所對應之虛擬視角上的深度資訊以使互動裝置240能夠判斷使用者相對於互動裝置240的位置及動作。舉例來說，第6圖為深度處理系統200所取得之三維點雲，而深度處理系統200可根據互動裝置240所在的位置選擇對應的虛擬視角，並根據第6圖的三維點雲產生對應於互動裝置240的深度資訊，亦即由互動裝置240所在的位置觀察特定區域CR時所取得的深度資訊。

在第6圖中，由互動裝置240所在的位置觀察特定區域CR時所取得的深度資訊可以利用深度圖242的方式呈現，且深度圖242中的每一個畫素實際上可對應至自互動裝置240觀察特定區域CR時的一特定視野，例如在第6圖中，畫素P1的內容即是由視野V1所觀察的結果。在此情況下，主機210可判斷視野V1中，由互動裝置240所在的位置觀察所包含的物體中，何者最接近互動裝置240，由於在相同的視野V1中，距離較遠的物體會被距離較近的物體遮蔽，因此主機210會以最接近互動裝置240的物體的深度作為畫素P1的值。

此外，當利用三維點雲來產生深度資訊時，由於深度資訊的角度與當初建立三維點雲的角度可能不同，因此可能在某些部位會出現漏洞，此時主機210可先在設定的範圍內確認是否有超過預設數量的雲點，若有超過預設數量的雲點，表示該區域的資訊較為可信，此時就可選擇離深度資訊之深度圖242投影平面最近的距離作為深度值，又或是以其他加權的方式取得。然而，若在設定的範圍內無法找到超過預設數量的雲點，則主機210可進一步加大範圍，直到在加大後的範圍內能夠找到超過預設數量的雲點。然而，為了避免無止境地加大範圍造成最終深度資訊誤差太大，主機210可進一步限定加大範圍的次數，當加大範圍達到限定的次數且仍找不到足夠的雲點時，即可判斷該畫素為無效值。

第7圖為本發明一實施例之深度處理系統100的操作方法300的流程圖。

方法300包含步驟S310至S360。

S310： 深度擷取裝置1201至120N產生複數個深度資訊；

S320： 融合深度擷取裝置1201至120N所產生的深度資訊以產生對應於特定區域CR之三維點雲；

S330： 主機110根據三維點雲產生立體網狀圖；

S340： 主機110根據立體網狀圖產生對應於特定區域CR之即時三維環境資訊；

S350： 主機110根據立體網狀圖或三維點雲追蹤興趣物體以判斷興趣物體之所在位置及動作；

S360： 主機110根據興趣物體之動作執行對應於動作之功能。

在本發明的部分實施例中，為使深度擷取裝置1201至120N能夠同步產生物體深度資訊以便融合產生三維點雲，方法300還可包含主機110執行同步功能的步驟。第8圖為本發明一實施例之執行同步功能的流程圖，執行同步功能的方法可包含步驟S411至S415。

S411：  主機110送出第一同步訊號SIG1至深度擷取裝置1201至120N；

S412： 深度擷取裝置1201至120N在接收到第一同步訊號SIG1後，擷取第一深度資訊DA1至DAN；

S413： 將擷取第一深度資訊DA1至DAN之第一擷取時點TA1至TAN及第一深度資訊DA1至DAN傳送至主機110；

S414： 主機110根據每一深度擷取裝置1201至120N擷取第一深度資訊DA1至DAN之第一擷取時點TA1至TAN產生對應於每一深度擷取裝置1201至120N之調整時間；

S415： 在接收到主機110傳來之第二同步訊號後，每一深度擷取裝置1201至120N根據調整時間調整擷取第二深度資訊DB1至DBN之第二擷取時點TB1至TBN。

透過同步功能，深度擷取裝置1201至120N就可以產生同步的深度資訊，因此在步驟S320中，就可以根據各深度擷取裝置1201至120N所在的位置以及擷取深度資訊的角度，將各深度擷取裝置1201至120N所產生的深度資訊結合至統一的座標系，並產生特定區域CR的三維點雲。

在本發明的部分實施例中，同步功能也可透過其他的方式完成。第9圖為本發明另一實施例之執行同步功能的流程圖，執行同步功能的方法可包含子步驟S411’至S415’。

S411’：       主機110持續送出一系列之計時訊號至深度擷取裝置1201至120N；

S412’：       每一深度擷取裝置1201至120N在擷取深度資訊DA1至DAN時，根據擷取深度資訊DA1至DAN時所接收到的計時訊號記錄擷取時點；

S413’：       將擷取深度資訊DA1至DAN之擷取時點TA1至TAN及深度資訊DA1至DAN傳送至主機110；

S414’：       主機110根據每一深度擷取裝置1201至120N擷取深度資訊DA1至DAN之擷取時點TA1至TAN產生對應於每一深度擷取裝置1201至120N之調整時間；

S415’：       每一深度擷取裝置1201至120N根據調整時間調整擷取深度資訊的頻率或延遲時間。

此外，在本發明的部分實施例中，主機110可於相異的接收時點接收深度擷取裝置1201至120N所產生的深度資訊，而方法300還可使主機110根據各個接收時點中的最晚接收時點來設定深度擷取裝置1201至120N的掃描週期，以確保在每個掃描週期內，主機110能夠及時接收到深度擷取裝置1201至120N所產生的深度資訊。而在主機110送出同步訊號後，倘若經過掃描週期及緩衝時間且仍未收到深度擷取裝置傳來之訊號時，主機110則可判斷深度擷取裝置落幀(drop frame)，並繼續進行後續的操作，而不至於完全停擺。

在步驟S330及S340進一步產生特定區域CR的立體網狀圖及即時三維環境資訊後，便可進一步利用深度處理系統100來執行各種應用。舉例來說，當深度處理系統100應用於醫院或監獄時，深度處理系統100便可以透過步驟S350及S360來追蹤並判斷病人或犯人的位置及動作，並根據病人或犯人所在的位置或動作執行對應的功能，例如給予協助或提出警告。

此外，深度處理系統100也可例如應用於商場中，此時方法300還可進一步記錄興趣物體，例如顧客，的行動路線，並透過大數據分析顧客的消費習慣，以給予合適的服務。

在本發明的部分實施例中，方法300也可應用於深度處理系統200，且由於深度處理系統200還包含了互動裝置240，因此在此情況下，深度處理系統200還可根據三維點雲提供互動裝置240所對應之虛擬視角上的深度資訊，使得互動裝置240能夠判斷使用者相對於互動裝置240之位置及動作，並當使用者位於互動裝置240之有效範圍內時，使互動裝置240根據使用者的動作執行對應於動作之功能。例如當使用者走近時，互動裝置240可顯示廣告或服務內容，而當使用者改變手勢時，互動裝置240則可對應地顯示選單。

另外，深度處理系統100也可例如應用於骨幹模型的動作追蹤，舉例來說， 方法300還可包含主機110根據立體網狀圖產生對應於骨幹模型之複數個相異觀察視角深度資訊以判斷位於特定區域CR之骨幹模型的動作，或者根據三維點雲中產生移動的複數個雲點判斷位於特定區域CR之骨幹模型的動作。

甚至在本發明的部分實施例中，為了使深度處理系統100所取得的即時三維資訊能夠更便利的被廣泛應用，方法300還可將深度處理系統100所取得的三維資訊以二元體素的格式儲存。舉例來說，方法300還可包含主機110將三維點雲所在之空間區分為複數個單位空間，其中每一單位空間係對應於一體素(voxel)，當第一單位空間具有超過預定數量之雲點時，主機110設定第一單位空間所對應之第一體素具有第一位元值，而當第二單位空間不具有超過預定數量之雲點時，主機110則設定第二單位空間所對應之第二體素具有第二位元值。也就是說，深度處理系統100可以將三維資訊儲存為不帶色彩資訊的二元體素，以便提供給機器學習演算法或深度學習的演算法使用。

請參照第10圖，第10圖為本發明另一實施例所公開的一深度處理系統1000的示意圖。如第10圖所示，深度處理系統1000包含一處理器1002及複數個深度擷取裝置1201至120N，其中N為大於1的整數，處理器1002設置於一主機中(未繪示於第10圖)，且複數個深度擷取裝置1201至120N和處理器1002與深度處理系統100的複數個深度擷取裝置1201至120N具有相似的結構及操作原理。另外，本發明領域具有熟知技藝者應當知道複數個深度擷取裝置1201至120N中的每一深度擷取裝置至少包含鏡頭和影像感測器(例如電荷耦合元件(charge-coupled device, CCD)影像感測器或互補式金氧半(complementary metal-oxide-semiconductor, CMOS)影像感測器)，所以該每一深度擷取裝置的結構在此不再贅述。另外，處理器1002可用以融合複數個深度擷取裝置1201至120N所產生的複數個深度信息以產生對應於特定區域CR的三維點雲(point cloud)及/或全景深度(panorama depth)以提供對應於特定區域CR的完整三維環境資訊。因此，在處理器1002提供對應於特定區域CR的完整三維環境資訊後，當一移動物件1004(例如一隻貓)從特定區域CR外進入特定區域CR時，因為深度擷取裝置1201的視野(field of view, FOV)FOV1和深度擷取裝置1203的視野FOV3並未涵蓋移動物件1004，所以處理器1002可產生對應移動物件1004的一通知信息NF給深度擷取裝置1201和1203。因此，對應深度擷取裝置1201和1203的使用者可通過通知信息NF知道移動物件1004已在特定區域CR且有可能進入特定區域CR內深度擷取裝置1201和1203的視野FOV1、FOV3所涵蓋的範圍中，也就是說對應深度擷取裝置1201和1203的使用者可通過通知信息NF對移動物件1004的即將到來執行相對應的動作(例如對應深度擷取裝置1201和1203的使用者可通過麥克風通知在特定區域CR內的人移動物件1004即將闖入特定區域CR內深度擷取裝置1201和1203的視野FOV1、FOV3所涵蓋的範圍中)。另外，如第10圖所示，複數個深度擷取裝置1201至120N是利用一無線方式和處理器1002溝通。但在本發明的另一實施例中，複數個深度擷取裝置1201至120N是利用一有線方式和處理器1002溝通。

在本發明的一實施例中，為了使深度處理系統1000所取得的即時三維資訊能夠更便利的被廣泛應用，還可將深度處理系統1000所取得的三維資訊以二元體素的格式儲存，舉例來說，將複數個深度擷取裝置1201至120N所產生的複數個深度信息、對應於特定區域CR的三維點雲(point cloud)及全景深度(panorama depth)都以二元體素(voxel)的格式儲存。以三維點雲為範例更詳細來說，先將三維點雲所在之空間區分為複數個單位空間，其中每一單位空間係對應於一體素，當第一單位空間具有超過預定數量之雲點時，設定第一單位空間所對應之第一體素具有第一位元值，而當第二單位空間不具有超過預定數量之雲點時，設定第二單位空間所對應之第二體素具有第二位元值。也就是說，深度處理系統1000可以將所取得的三維資訊儲存為不帶色彩資訊的二元體素，以便提供給機器學習演算法或深度學習的演算法使用，此部份的描述另可參照第7圖和第24頁第3段的描述。

在本發明的一實施例中，複數個深度擷取裝置1201至120N中的每一深度擷取裝置是一飛時測距(time of flight, ToF)裝置。接著請參照第11圖，第11圖是以深度擷取裝置1201為例，說明深度擷取裝置1201為一180度的飛時測距裝置的示意圖，其中第11(a)圖為深度擷取裝置1201的上視圖，以及第11(b)圖為對應第11(a)圖中的A-A’切割線的側視圖。如第11(a)圖所示，深度擷取裝置1201包含光源12011~12018、一感測器12020和一支撐構件12022，其中光源12011~12018和感測器12020設置在支撐構件12022上。但在本發明的另一實施例中，光源12011~12018和感測器12020是分別設置在不同的支撐構件上。光源12011~12018中的每一光源是一發光二極體(light emitting diode, LED)或一雷射二極體(laser diode, LD)或任何其他技術的發光元件，以及該每一光源所發出的光為一紅外光，此時感測器12020為一紅外光感測器。但本發明並不受限於該每一光源所發出的光為一紅外光，也就是說例如該每一光源所發出的光可為一可見光。另外，光源12011~12018必須被控制以同時向特定區域CR發出紅外光，而感測器12020是用以感測在感測器12020的視野中一物件產生對應光源12011~12018所發出的紅外光的一反射光並據以產生對應該物件的深度信息。另外，本發明並不受限於深度擷取裝置1201包含8個光源12011~12018，也就是說在本發明另一實施例中，深度擷取裝置1201可包含2個以上的光源。另外，如第11(b)圖所示，感測器12020為一魚眼感測器，且感測器12020的視野FOV12020等於180度，其中光源12014的發射角度EA1和光源12018的發射角度EA2不能涵蓋感測器12020，也就是說光源12014和光源12018所發出的紅外光不能直接射入感測器12020。

另外，請參照第12圖，第12圖是本發明另一實施例所公開的一深度擷取裝置1201’的示意圖，其中深度擷取裝置1201’為一超過180度的飛時測距裝置。如第12(a)圖所示，深度擷取裝置1201’和深度擷取裝置1201的差別在於深度擷取裝置1201’的光源12011~12018是設置在支撐構件12022的邊緣以及感測器12020的視野FOV12020’大於180度(如第12(b)圖所示，其中第12(b)圖為對應第12(a)圖中的A-A’切割線的側視圖)而成為一超過180度的飛時測距裝置，其中光源12014的發射角度EA1’大於發射角度EA1以及光源12018的發射角度EA2’ 大於發射角度EA2，且光源12014的發射角度EA1’和光源12018的發射角度EA2’也不能涵蓋感測器12020。另外，在本發明另一實施例中，光源12014的發射角度EA1’小於發射角度EA1以及光源12018的發射角度EA2’ 小於發射角度EA2 ，所以此時深度擷取裝置1201’為一小於180度的飛時測距裝置。

另外，請參照第13圖，第13圖是本發明另一實施例所公開的一深度擷取裝置1301的側視示意圖，其中深度擷取裝置1301為一360度的飛時測距裝置。如第13圖所示，深度擷取裝置1301由兩個背靠背設置的第一飛時測距裝置和第二飛時測距裝置組成，其中該第一飛時測距裝置和該第二飛時測距裝置為一超過180度的飛時測距裝置。如第13圖所示，該第一飛時測距裝置至少包含光源1304、1306和一感測器1302，以及該第二飛時測距裝置至少包含光源1308、1312和一感測器1310，其中光源1304、1306、1308、1312分別具有發射角度EA1304、EA1306、EA1308、EA1312，以及感測器1302、1310分別具有視野FOV1302、FOV1310。然而如第13圖所示，雖然深度擷取裝置1301為360度的飛時測距裝置，但是深度擷取裝置1301具有一盲區BA，其中盲區BA相對於深度擷取裝置1301所處環境而言非常小。

另外，請再參照第10圖，當複數個深度擷取裝置1201至120N都是360度的飛時測距裝置時，每一深度擷取裝置所包含的光源所發出的光的調變頻率或光波波長不同於複數個深度擷取裝置1201至120N中其他深度擷取裝置所包含的光源所發出的光的調變頻率或光波波長。如此，當處理器1002接收到複數個深度擷取裝置1201至120N所產生的複數個深度信息，複數個深度擷取裝置1201至120N所產生的複數個深度信息將不會互相干擾。

請參照第10圖和第14圖，第14圖是說明深度處理系統1000的操作方法1400的流程圖。

方法1400包含步驟S1410至S1460。

S1410：      深度擷取裝置1201至120N產生複數個深度資訊；

S1420：      處理器1002融合深度擷取裝置1201至120N所產生的深度資訊以產生對應於特定區域CR之三維點雲及/或全景深度；

S1430：      處理器1002根據該三維點雲及/或該全景深度產生立體網狀圖；

S1440：      處理器1002根據該立體網狀圖產生對應於特定區域CR之即時三維環境資訊；

S1450：      處理器1002根據該即時三維環境資訊偵測興趣物體(例如移動物件1004)以判斷該興趣物體(移動物件1004)之所在位置及動作；

S1460：      處理器1002根據該興趣物體(移動物件1004)之動作執行對應於動作之功能。

步驟S1410、S1440可參照步驟S310、S340的說明，在此不再贅述。步驟S1420、S1430和步驟S320、S330的差別在於處理器1002還可產生對應於特定區域CR的全景深度，以及還根據該全景深度產生該立體網狀圖。步驟S1450和步驟S350的差別在於處理器1002是根據該即時三維環境資訊偵測該興趣物體(例如移動物件1004)以判斷該興趣物體(移動物件1004)之所在位置及動作。

在步驟S1460中，如第10圖所示，因為深度擷取裝置1201的視野FOV1和深度擷取裝置1203的視野FOV3並未涵蓋移動物件1004，所以處理器1002可產生對應移動物件1004的通知信息NF給深度擷取裝置1201和1203。因此，對應深度擷取裝置1201和1203的使用者可通過通知信息NF知道移動物件1004已在特定區域CR且有可能進入特定區域CR內深度擷取裝置1201和1203的視野FOV1、FOV3所涵蓋的範圍中，也就是說對應深度擷取裝置1201和1203的使用者可通過通知信息NF對移動物件1004的即將到來執行相對應的動作(例如對應深度擷取裝置1201和1203的使用者可通過麥克風通知在特定區域CR內的人移動物件1004即將闖入特定區域CR內深度擷取裝置1201和1203的視野FOV1、FOV3所涵蓋的範圍中)。

另外，在本發明的部分實施例中，為使深度擷取裝置1201至120N能夠同步產生物體深度資訊以便融合產生三維點雲，操作方法1400還可包含處理器1002執行該同步功能的步驟，其中處理器1002執行該同步功能的步驟可參照第8圖和第9圖，在此不再贅述。

另外，在本發明的部分實施例中，為了使深度處理系統1000所取得的即時三維資訊能夠更便利的被廣泛應用，方法1400還可將深度處理系統1000所取得的三維資訊以二元體素的格式儲存，舉例來說，將複數個深度擷取裝置1201至120N所產生的複數個深度信息、對應於特定區域CR的三維點雲(point cloud)及全景深度(panorama depth)都以二元體素(voxel)的格式儲存。以三維點雲為範例的部份可參照第7圖和第24頁第3段的描述，在此不再贅述。

綜上所述，當該移動物件從該特定區域外進入該特定區域時，本發明所提供的深度處理系統可產生對應該移動物件的通知信息給該深度處理系統中視野未涵蓋該移動物件的深度擷取裝置，所以對應視野未涵蓋該移動物件的深度擷取裝置的使用者可通過該通知信息對該移動物件的即將到來執行相對應的動作。因此，本發明所提供的深度處理系統可增加該三維點雲及/或該全景深度的應用範圍。 以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。

100、200、1000:深度處理系統 110、210:主機 130:結構光源 1002:處理器 1004:移動物件 1201至120N、1301、1201’:深度擷取裝置 12020、1302、1310:感測器 12011至12018、1304、1306、1308、1312:光源 12022:支撐構件 A-A’:切割線 EA1304、EA1306、EA1308、EA1312:發射角度 EA1、EA2、EA1’、EA2’ CR:特定區域 NF:通知信息 SIG1:第一同步訊號 D1至DN:深度資訊 TAI至TAN:第一擷取時點 TBI至TBN:第二擷取時點 ST:骨幹模型 240:互動裝置 242:深度圖 P1:畫素 V1、FOV1302、FOV1310、FOV1、FOV3:視野 FOV12020、FOV12020’ 300、1400:操作方法 S310至S360、S411至S415、S411’至S415’:步驟 S1410至S1460

第1圖為本發明一實施例之深度處理系統的示意圖。 第2圖為第1圖深度處理系統的複數個深度擷取裝置之第一擷取時點的時序圖。 第3圖為第1圖深度處理系統的複數個深度擷取裝置之第二擷取時點的時序圖。 第4圖為第1圖深度處理系統應用於追蹤骨幹模型的情境示意圖。 第5圖為本發明另一實施例之深度處理系統的示意圖。 第6圖為第5圖之深度處理系統所取得之三維點雲及深度圖。 第7圖為第1圖深度處理系統的操作方法流程圖。 第8圖為本發明一實施例之執行同步功能的方法流程圖。 第9圖為本發明另一實施例之執行同步功能的方法流程圖。 第10圖為本發明另一實施例所公開的一深度處理系統的示意圖。 第11圖是說明深度擷取裝置為一180度的飛時測距裝置的示意圖。 第12圖是本發明另一實施例所公開的一深度擷取裝置的示意圖。 第13圖是本發明另一實施例所公開的一深度擷取裝置的側視示意圖。 第14圖是說明深度處理系統的操作方法的流程圖。

1301:深度擷取裝置

1302、1310:感測器

1304、1306、1308、1312:光源

EA1304、EA1306、EA1308、EA1312:發射角度

FOV1302、FOV1310:視野

Claims (18)

1. 一種深度處理系統，包含： 複數個深度擷取裝置，該複數個深度擷取裝置中的每一深度擷取裝置用以根據其視野產生對應該視野的一深度信息；及 一處理器，用以融合該複數個深度擷取裝置所產生的複數個深度信息以產生對應於一特定區域的三維點雲(point cloud)及/或全景深度(panorama depth)，且根據該三維點雲及/或該全景深度偵測該特定區域內的一移動物件。
2. 如請求項1所述的深度處理系統，其中該處理器另用以產生對應該移動物件的一通知信息給該複數個深度擷取裝置中視野未涵蓋該移動物件的至少一深度擷取裝置。
3. 如請求項1所述的深度處理系統，其中該每一深度擷取裝置是一飛時測距(time of flight, ToF)裝置，該每一深度擷取裝置包含複數個光源和一感測器，且該感測器是用以感測該移動物件產生對應該複數個光源所發出的光的一反射光並據以產生對應該移動物件的深度信息。
4. 如請求項3所述的深度處理系統，其中該複數個光源是發光二極體(light emitting diode, LED)或雷射二極體(laser diode, LD)，該複數個光源所發出的光為紅外光，且該感測器為一紅外光感測器。
5. 如請求項3所述的深度處理系統，其中該感測器為一魚眼感測器，且該魚眼感測器的視野不小於180度。
6. 如請求項3所述的深度處理系統，其中該複數個光源所發出的光的頻率或波長不同於該複數個深度擷取裝置中其他深度擷取裝置所包含的複數個光源所發出的光的頻率或波長。
7. 如請求項1所述的深度處理系統，另包含一結構光源(structured light source)，其中該結構光源用以朝該特定區域發出一結構光，其中該每一深度擷取裝置用以根據其視野和該結構光產生對應該視野的該深度信息。
8. 如請求項7所述的深度處理系統，其中該結構光源為一雷射二極體(laser diode, LD)或一數位光源處理器(digital light processor, DLP)。
9. 如請求項1所述的深度處理系統，其中該處理器另用以將該深度信息、該特定區域的三維點雲及該全景深度以一體素(voxel)的格式儲存。
10. 如請求項9所述的深度處理系統，其中： 該處理器用以將該特定區域分為複數個單位空間； 每一單位空間係對應於一體素(voxel)； 當一第一單位空間具有超過一預定數量之雲點時，該第一單位空間所對應之一第一體素具有一第一位元值；及 當一第二單位空間不具有超過該預定數量之雲點時，該第二單位空間所對應之一第二體素具有一第二位元值。
11. 一種深度處理系統的操作方法，該深度處理系統包含複數個深度擷取裝置和一處理器，該操作方法包含： 該複數個深度擷取裝置中的每一深度擷取裝置根據其視野產生對應該視野的一深度信息； 該處理器融合該複數個深度擷取裝置所產生的複數個深度信息以產生對應於一特定區域的三維點雲(point cloud)及/或全景深度(panorama depth)；及 該處理器根據該三維點雲及/或該全景深度偵測該特定區域內的一移動物件。
12. 如請求項11所述的操作方法，另包含： 該處理器產生對應該移動物件的一通知信息給該複數個深度擷取裝置中視野未涵蓋該移動物件的至少一深度擷取裝置。
13. 如請求項11所述的操作方法，其中該處理器執行一同步功能以控制該複數個深度擷取裝置同步產生該複數個深度信息。
14. 如請求項11所述的操作方法，其中當該每一深度擷取裝置是一飛時測距(time of flight, ToF)裝置時，該每一深度擷取裝置包含的複數個光源所發出的光的頻率或波長不同於該複數個深度擷取裝置中其他深度擷取裝置所包含的複數個光源所發出的光的頻率或波長。
15. 如請求項11所述的操作方法，其中該深度處理系統另包含一結構光源(structured light source)，該結構光源用以朝該特定區域發出一結構光，且該每一深度擷取裝置用以根據其視野和該結構光產生對應該視野的該深度信息。
16. 如請求項11所述的操作方法，其中該處理器根據該三維點雲及/或該全景深度偵測該特定區域內的該移動物件包含： 該處理器根據該三維點雲產生一立體網狀圖(mesh)； 該處理器根據該立體網狀圖產生對應於該特定區域之一即時三維環境資訊；及 該處理器根據該即時三維環境資訊，偵測該特定區域內的該移動物件。
17. 如請求項11所述的操作方法，另包含： 該處理器該深度信息、該特定區域的三維點雲及該全景深度以一體素(voxel)的格式儲存。
18. 如請求項17所述的操作方法，另包含： 該處理器用以將該特定區域分為複數個單位空間； 每一單位空間係對應於一體素(voxel)； 當一第一單位空間具有超過一預定數量之雲點時，該第一單位空間所對應之一第一體素具有一第一位元值；及 當一第二單位空間不具有超過該預定數量之雲點時，該第二單位空間所對應之一第二體素具有一第二位元值。

Images