TWI646504B

TWI646504B - 深度感測裝置及深度感測方法

Info

Publication number: TWI646504B
Application number: TW106140255A
Authority: TW
Inventors: 蔡金融; 劉逸穠
Original assignee: 奇景光電股份有限公司
Priority date: 2017-11-21
Filing date: 2017-11-21
Publication date: 2019-01-01
Also published as: TW201926241A

Abstract

一種深度感測裝置及方法。深度感測裝置包括投影裝置、影像擷取裝置及影像處理裝置。投影裝置在第一時間將第一投影圖案投射於場域，且在第二時間將第二投影圖案投射於相同場域。第一投影圖案的密度低於第二投影圖案的密度。影像擷取裝置在第一時間拍攝經投射於場域的第一投影圖案以獲得第一影像，且在第二時間拍攝經投射於場域的第二投影圖案以獲得第二影像。影像處理裝置處理第一影像及第二影像以獲得二個深度圖，並至少合併這二個深度圖以產生場域的最終深度圖。

Description

深度感測裝置及深度感測方法

本發明是有關於一種感測裝置及方法，且特別是有關於一種產生深度圖的深度感測裝置及方法。

一般而言，三維空間的深度感測可藉由光投射器搭配光接收器來取得待測物的深度資訊。然而，傳統深度感測器的工作範圍（working range）通常取決於感測器本身的結構，例如攝影鏡頭的解析度、景深等，故傳統深度感測器的工作距離（working distance）通常無法同時適用於近處的場景及遠處的場景。

因此，有必要提供一種深度感測裝置及方法，可以在不改變硬體結構的情況下，而能取得近場區域及遠場區域的深度資訊。

本發明提供一種深度感測裝置及深度感測方法，可有效擴展深度感測裝置的工作範圍。

本發明的實施例提供一種深度感測裝置。所述深度感測裝置包括投影裝置、影像擷取裝置以及影像處理裝置。投影裝置在第一時間將第一投影圖案投射於場域，以及在第二時間將第二投影圖案投射於所述場域。第一投影圖案的密度低於第二投影圖案的密度。影像擷取裝置在所述第一時間拍攝經投射於所述場域的第一投影圖案以獲得第一影像，以及在所述第二時間拍攝經投射於所述場域的第二投影圖案以獲得第二影像。影像處理裝置耦接於投影裝置以及影像擷取裝置。影像處理裝置處理第一影像以獲得第一深度圖，以及處理第二影像以獲得第二深度圖。影像處理裝置至少合併第一深度圖及第二深度圖以產生所述場域的最終深度圖。

本發明的實施例提供一種深度感測方法。所述深度感測方法包括投影步驟、影像擷取步驟、影像處理步驟以及合併步驟。所述投影步驟是在第一時間將第一投影圖案投射於場域，以及在第二時間將第二投影圖案投射於所述場域，其中第一投影圖案的密度低於第二投影圖案的密度。所述影像擷取步驟是在所述第一時間拍攝經投射於所述場域的第一投影圖案以獲得第一影像，以及在所述第二時間拍攝經投射於所述場域的第二投影圖案以獲得第二影像。所述影像處理步驟是處理第一影像以獲得第一深度圖，以及處理第二影像以獲得第二深度圖。所述合併步驟至少合併第一深度圖及第二深度圖以產生所述場域的最終深度圖。

基於上述，本發明諸實施例所述的深度感測裝置及深度感測方法可藉由將不同密度的第一投影圖案與第二投影圖案交替投射於相同場域，以便於對所述場域進行深度感測。基於不同密度的第一投影圖案與第二投影圖案，深度感測裝置可以獲得不同內容的第一深度圖與第二深度圖。深度感測裝置可以至少合併第一深度圖與第二深度圖，以便產生所述場域的最終深度圖。因此，深度感測裝置的工作範圍可以被有效擴展。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

在本案說明書全文(包括申請專利範圍)中所使用的「耦接（或連接）」一詞可指任何直接或間接的連接手段。舉例而言，若文中描述第一裝置耦接（或連接）於第二裝置，則應該被解釋成該第一裝置可以直接連接於該第二裝置，或者該第一裝置可以透過其他裝置或某種連接手段而間接地連接至該第二裝置。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟代表相同或類似部分。不同實施例中使用相同標號或使用相同用語的元件/構件/步驟可以相互參照相關說明。

圖1是依照本發明的一實施例的深度感測裝置100的電路方塊（circuit block）示意圖。如圖1所示，深度感測裝置100包括投影裝置11、影像處理裝置12以及影像擷取裝置13。依照設計需求，影像處理裝置12可以包括中央處理器（Central Processing Unit，CPU）、微處理器（Microprocessor）、數位訊號處理器（Digital Signal Processor，DSP）、可程式化控制器、特殊應用積體電路（Application Specific Integrated Circuits，ASIC）、可程式化邏輯裝置（Programmable Logic Device，PLD）或是其他影像處理電路/元件。影像處理裝置12耦接於投影裝置11以及影像擷取裝置13。投影裝置11可以在不同時間將具有不同密度的不同投影圖案投射於相同的場域20。依照實際應用情境，場域20中可能具有一或多個目標物23，或者場域20中可能不存在目標物23。

圖2繪示了圖1的投影裝置11於不同時序下產生具有不同密度的不同投影圖案示意圖。圖2所示橫軸表示時間t。圖2所示第一投影圖案14具有較少的光點，而第二投影圖案15具有較多的光點。亦即，第一投影圖案14的密度低於第二投影圖案15的密度。請參照圖1及圖2，投影裝置11可以交替地在不同時間將具有不同密度的不同投影圖案投射於相同的場域20。舉例來說，投影裝置11可以在第一時間t ₁將第一投影圖案14投射於場域20，在第二時間t ₂將第二投影圖案15投射於場域20，在第三時間t ₃將第一投影圖案14投射於場域20，在第四時間t ₄將第二投影圖案15投射於場域20，其餘以此類推。其中，第一投影圖案14的密度低於第二投影圖案15的密度。於圖2所示實施例雖以兩種投影圖案作為實施範例，但是在其他實施例中投影裝置11可以交替地在不同時間將具有不同密度的三種（或更多）投影圖案投射於相同的場域20。

第一投影圖案14及第二投影圖案15可以是無序排列的光點圖案或是規則排列的光點圖案。第一投影圖案14的光點的疏密程度（光點密度）不同於第二投影圖案15的光點的疏密程度（光點密度）。舉例來說，第一投影圖案14的光點密度可以低於第二投影圖案15的光點密度。值得注意的是，此處所指的密度僅表示稀疏或緻密的相對程度，例如第二投影圖案15的光點密度可以是第一投影圖案14的光點密度的2～3倍，本實施例並未對投影圖案的密度加以限制。對於近場區域而言，光點密度較低的投影圖案可以有較好的深度分辨能力。對於遠場區域而言，光點密度較高的投影圖案可以有較好的深度分辨能力。

投影裝置11可以將投影時間資訊以及/或是投影圖案資訊提供給影像處理裝置12。依照投影裝置11所提供的投影時間資訊，影像擷取裝置13可以交替地在不同時間拍攝經投射於場域20的投影圖案。舉例來說，影像擷取裝置13可以在第一時間t ₁拍攝經投射於場域20的第一投影圖案14，以獲得第一影像。在第二時間t ₂，影像擷取裝置13可以拍攝經投射於場域20的第二投影圖案15，以獲得第二影像。在第三時間t ₃，影像擷取裝置13可以拍攝經投射於場域20的第一投影圖案14，以獲得第三影像。在第四時間t ₄，影像擷取裝置13可以拍攝經投射於場域20的第二投影圖案15，以獲得第四影像。其餘以此類推。

依照設計需求，影像擷取裝置13可以是數位相機、單眼相機、數位攝影機、智慧型手機、平板電腦、個人數位助理或是其他具有影像擷取功能的電子裝置。影像擷取裝置13包括感光元件（未圖示），以感測接收到的光線強度，進而產生影像。所述感光元件可以是電荷耦合元件（Charge Coupled Device，CCD）、互補式金屬氧化物半導體（Complementary Metal-Oxide Semiconductor，CMOS）元件或是其他感光元件。當投影裝置11所發出的投射光束（投影圖案）為紅外光時，影像擷取裝置13可以是紅外線影像擷取裝置，以識別出投射於場域20的第一投影圖案14及第二投影圖案15。

影像處理裝置12耦接於影像擷取裝置13，以接收影像。以下將以在第一時間t ₁拍攝獲得的第一影像與在第二時間t ₂拍攝獲得的第二影像為說明例。在其他時間所拍攝獲得的影像的處理方式可以參照在時間t ₁、t ₂所拍攝獲得的影像的相關說明來類推，故不再贅述。影像處理裝置12處理影像擷取裝置13所提供的第一影像，以獲得第一深度圖。影像處理裝置12處理影像擷取裝置13所提供的第二影像，以獲得第二深度圖。

第一投影圖案14及第二投影圖案15可視為一種編碼圖案。當把這些編碼圖案投射到具有不同深度平面的場域20時，入射光與反射光的投影位置會發生偏移。亦即，在基準真值圖案中的一個光點的位置與在經擷取影像中的同一個光點的位置，二者之間存在偏移量。因此，透過解碼光點位置的偏移量，影像處理裝置12便能估算出場域20的深度資訊。依照投影裝置11所提供的投影圖案資訊，影像處理裝置12可以確認基準真值圖案（ground truth pattern）。影像處理裝置12可以使用所述基準真值圖案與影像擷取裝置13所提供的影像去進行深度圖演算法。

舉例來說，在一些實施例中，當第一投影圖案14被投射於場域20時，第一投影圖案14可以作為基準真值圖案；此時，影像擷取裝置13可以拍攝經投射於場域20的第一投影圖案14，以獲得第一影像。影像處理裝置12可以使用所述基準真值圖案與影像擷取裝置13所提供的第一影像去進行深度圖演算法，以獲得第一深度圖。當第二投影圖案15被投射於場域20時，第二投影圖案15可以作為基準真值圖案；此時，影像擷取裝置13可以拍攝經投射於場域20的第二投影圖案15，以獲得第二影像。影像處理裝置12可以使用所述基準真值圖案與影像擷取裝置13所提供的第二影像去進行深度圖演算法，以獲得第二深度圖。本實施例並不限制影像處理裝置12的深度圖演算法。依照設計需求，影像處理裝置12可以採用習知演算法或是其他深度圖演算法來處理影像擷取裝置13所提供的影像。在此不再贅述所述習知演算法的細節。

影像處理裝置12至少合併所述第一深度圖及所述第二深度圖，以產生場域20的最終深度圖。光點密度較低的第一投影圖案14對於近場區域而言可以有較好的深度分辨能力。光點密度較高的第二投影圖案15對於遠場區域而言可以有較好的深度分辨能力。也就是說，第一投影圖案14所對應的第一深度圖對於近場區域而言具有較可靠的深度資訊，而第二投影圖案15所對應的第二深度圖對於遠場區域而言具有較可靠的深度資訊。影像處理裝置12可以將所述第一深度圖中關於近場區域的深度資訊及所述第二深度圖中關於遠場區域的深度資訊合併到所述最終深度圖中。因此，所述深度感測裝置100可以有效擴展深度感測裝置100的工作範圍。

圖3是依照本發明一實施例繪示了圖1中投影裝置11及影像擷取裝置13的電路方塊示意圖。於圖3所示實施例中，投影裝置11包括光發射器111、透鏡組112以及控制電路113。透鏡組112設置於光發射器111的光學路徑上。控制電路113耦接光發射器111。控制電路113可控制光發射器111產生不同密度的投影圖案。基於控制電路113的控制，光發射器111可以在不同時間下將不同密度的投影圖案交替投射於場域20。

依照設計需求，於圖3所示實施例中，光發射器111可以是垂直共振腔面射型雷射（Vertical-Cavity Surface Emitting Laser，VCSEL）陣列，而此陣列由多個VCSEL元件組成。控制電路113可控制光發射器111中各VCSEL元件的發光與否，以在不同時間產生不同密度的投影圖案。舉例來說，基於控制電路113的控制，光發射器111可以在第一時間t ₁產生第一投影圖案14，以及將此第一投影圖案14通過透鏡組112投射於場域20。光發射器111可以在第二時間t ₂產生第二投影圖案15，以及將此將第二投影圖案15通過透鏡組112投射於場域20。以此類推，光發射器111可以如此交替地將第一投影圖案14及第二投影圖案15投射於場域20。

圖4繪示了圖3中光發射器111及透鏡組112的光路配置示意圖。透鏡組112可包括一枚或多枚的透鏡及其他光學元件。本實施例中，透鏡組112可包括第一透鏡1121及光擴散元件1122，並設置於光發射器111的光學路徑上。光擴散元件1122可以是繞射光學元件（Diffractive optical element，DOE）或是其他光擴散元件。光發射器111發出投射光束後，先通過第一透鏡1121匯聚，再經由光擴散元件1122將投影圖案投射於場域20。光發射器111所發出的投射光束可以是不可見光（例如紅外光或是其他波段光）或是可見光。

請參照圖3。影像處理裝置12可包括解碼電路121及深度圖合併電路122。解碼電路121耦接於影像擷取裝置13以及深度圖合併電路122。於圖3所示實施例中，控制電路113可傳送解碼參數至解碼電路121。例如，依照設計需求，所述解碼參數可包括投影圖案的疏密狀態、欲解碼的畫素位置或畫素範圍等。解碼電路121則依據控制電路113傳送的解碼參數分別對第一影像131及第二影像132進行解碼（深度圖演算法），以產生對應於第一影像131的第一深度圖以及對應於第二影像132的第二深度圖。

深度圖合併電路122則將解碼電路121所產生的第一深度圖與第二深度圖加以合併，以推算出場域20的深度資訊（場域20的最終深度圖）。在一些實施例中，深度圖合併電路122可以經由融合（fusion）的方式合併第一深度圖與第二深度圖。

於一實施情境中，假設影像擷取裝置13的工作距離可介於50 cm～400 cm之間。若場域20的近場區域21（例如在近處的人物）位於影像擷取裝置13前方25 cm處，而場域20的遠場區域22（例如在遠處的樹木）位於影像擷取裝置13前方200 cm處，則影像擷取裝置13可對遠場區域22拍攝出清晰的影像，但無法對近場區域21拍攝出清晰的影像。

於本實施例中，光發射器111在時間t ₁將低密度的第一投影圖案14投射於場域20，同時影像擷取裝置13拍攝經投射於場域20的第一投影圖案14而獲得第一影像131。光點密度較低的第一投影圖案14對於近場區域21而言可以有較好的深度分辨能力。因為第一投影圖案14中的光點較為稀疏，縱使第一影像131比較模糊，影像處理裝置12的解碼電路121仍然可辨別出在第一影像131中光點的大致分佈位置。因此，影像處理裝置12的解碼電路121可以使用所述第一投影圖案14（基準真值圖案）與第一影像131去進行後續的影像處理與深度圖演算法，以產生第一深度圖。第一投影圖案14所對應的第一深度圖對於近場區域21而言具有較可靠的深度資訊。

光發射器111在時間t ₂將高密度的第二投影圖案15投射於場域20，同時影像擷取裝置13拍攝經投射於場域20的第二投影圖案15而獲得第二影像132。光點密度較高的第二投影圖案15對於遠場區域22而言可以有較好的深度分辨能力。影像處理裝置12的解碼電路121可以使用所述第二投影圖案15（基準真值圖案）與清晰的第二影像132去進行後續的影像處理與深度圖演算法，以產生第二深度圖。第二投影圖案15所對應的第二深度圖對於遠場區域22而言具有較可靠的深度資訊。影像處理裝置12的深度圖合併電路122可以將所述第一深度圖中關於近場區域21的深度資訊及所述第二深度圖中關於遠場區域22的深度資訊合併到所述最終深度圖中。因此，深度感測裝置100可以在不改變影像擷取裝置13的硬體結構的情況下使工作範圍從50 cm～400 cm延伸到25 cm～400 cm，有效擴展深度感測裝置100的工作範圍並提升了深度感測裝置100的感測效能。

圖5是依照本發明的一實施例所繪示的一種深度感測方法的流程示意圖。深度感測方法包括投影步驟S10、影像擷取步驟S20、影像處理步驟S30以及合併步驟S40。請參照圖2、圖3及圖5，在投影步驟S10中，投影裝置111在第一時間t ₁將第一投影圖案14投射於場域20，並在第二時間t ₂將第二投影圖案15投射於場域20，其中第一投影圖案14的密度低於第二投影圖案15的密度。在影像擷取步驟S20中，影像擷取裝置13在第一時間t ₁拍攝經投射於場域20的第一投影圖案14以獲得第一影像131，並在第二時間t ₂拍攝經投射於場域20的第二投影圖案15以獲得第二影像132。

圖6繪示了在不同深度圖中相同位置呈現出不同深度值的示意圖。請參照圖3、圖5及圖6，在影像處理步驟S30中，影像處理裝置12處理第一影像131以獲得第一深度圖211，並處理第二影像132以獲得第二深度圖221。在合併步驟S40中，影像處理裝置12的深度圖合併電路12合併第一深度圖211及第二深度圖221，以產生場域20的最終深度圖201。

於第一深度圖211中某個位置P具有第一深度值D ₁，以及於第二深度圖221中所述位置P具有第二深度值D ₂。在合併步驟S40中影像處理裝置12的深度圖合併方法可以依照設計需求來決定。舉例來說，在一些實施例中，深度圖合併電路12可以選擇第一深度值D ₁或第二深度值D ₂做為在最終深度圖201中所述位置P的深度值D。或是，深度圖合併電路12亦可藉由加權平均（weighting average）的運算方式來合併第一深度值D ₁及第二深度值D ₂，以獲得在最終深度圖201中所述位置P的深度值D。舉例來說（但不限於此），深度圖合併電路122可以計算D = W ₁D ₁+W ₂D ₂，以獲得最終深度圖201中的位置P的深度值D，其中W ₁表示第一權重值，W ₂表示第二權重值。依照設計需求，第一權重值W ₁及可以第二權重值W ₂可以是預設的固定值；或者，深度圖合併電路122可以依據第一深度值D ₁及/或第二深度值D ₂來動態決定第一權重值W ₁及第二權重值W ₂。影像處理裝置12所進行的深度圖合併方法可以依照下述諸實施例來實現。

圖7是依照本發明的一實施例說明權重值與深度值的查找曲線示意圖。圖7所示縱軸是權重值，橫軸表示深度值。在一些實施例中，依據於第一深度圖211中位置P的第一深度值D ₁，深度圖合併電路122可以從圖7所示曲線查找出第一權重值W ₁及第二權重值W ₂。在另一些實施例中，依據於第二深度圖221中位置P的第二深度值D ₂，深度圖合併電路122可以從圖7所示曲線查找出第一權重值W ₁及第二權重值W ₂。在獲得第一權重值W ₁及第二權重值W ₂後，深度圖合併電路122可以計算D = W ₁D ₁+W ₂D ₂，以獲得最終深度圖201中的位置P的深度值D。

圖8是依照本發明的一實施例說明深度圖合併方法的流程示意圖。請參照圖3、圖6及圖8，深度圖合併電路122可以依據第一深度值D ₁（或第二深度值D ₂）來動態決定第一權重值W ₁及第二權重值W ₂。在步驟S401中，當於第一深度圖211中位置P的第一深度值D ₁（或於第二深度圖221中位置P的第二深度值D ₂）大於某個臨界值時，深度圖合併電路12可選擇第二深度值D ₂做為在最終深度圖201中所述位置P的深度值D（步驟S402）。否則，深度圖合併電路12將選擇第一深度值D ₁做為在最終深度圖201中所述位置P的深度值D（步驟S403）。深度圖中的深度值可採用灰階值來呈現，例如較淺的灰色表示深度值較小，可對應於場域20中距離深度感測裝置100較近的位置，而較深的灰色表示深度值較大，可對應於場域20中距離深度感測裝置100較遠的位置。

舉例來說，假設在第一深度圖211中的位置P的第一深度值D ₁為150，而在第二深度圖221中所述位置P的第二深度值D ₂為200，以及所述臨界值為100。在步驟S401中，因為第一深度值D ₁（或第二深度值D ₂）大於臨界值（100），所以步驟S402會被執行。於步驟S402時，深度圖合併電路122會將最終深度圖201中所述位置P的深度值D設定為200。

假設在第一深度圖211中所述位置P的第一深度值D ₁為30，而在第二深度圖221中所述位置P的第二深度值D ₂為80，以及所述臨界值為100。在步驟S401中，因為第一深度值D ₁（或第二深度值D ₂）小於臨界值（100），所以步驟S403會被執行。於步驟S403時，深度圖合併電路122會判定最終深度圖201中所述位置P的深度值為30。

圖9是依照本發明的另一實施例說明深度圖合併方法的流程示意圖。圖10是依照本發明的另一實施例說明權重值與深度值的查找曲線示意圖。圖10所示縱軸是權重值，橫軸表示深度值。請參照圖3、圖6、圖9及圖10，深度圖合併電路122可以依據第一深度值D ₁（或第二深度值D ₂）來動態決定第一權重值W ₁及第二權重值W ₂。在步驟S411中，當於第一深度圖211中位置P的第一深度值D ₁（或於第二深度圖221中位置P的第二深度值D ₂）小於第一臨界值th1時，深度圖合併電路122可將第一權重值W ₁設定為1且將第二權重值W ₂設定為0（步驟S412）。當步驟S413判斷出於第一深度圖211中位置P的第一深度值D ₁（或於第二深度圖221中位置P的第二深度值D ₂）大於第二臨界值th2時，深度圖合併電路122可將第一權重值W ₁設定為0且將第二權重值W ₂設定為1（步驟S414）。

此外，當於第一深度圖211中位置P的第一深度值D ₁（或於第二深度圖221中位置P的第二深度值D ₂）大於第一臨界值th1且小於第二臨界值th2時，深度圖合併電路122可依據第一深度值D ₁（或第二深度值D ₂）來動態決定第一權重值W ₁及第二權重值W ₂（步驟S415）。在一些實施例中，依據於第一深度圖211中位置P的第一深度值D ₁，深度圖合併電路122可以從圖10所示曲線查找出第一權重值W ₁及第二權重值W ₂。在另一些實施例中，依據於第二深度圖221中位置P的第二深度值D ₂，深度圖合併電路122可以從圖10所示曲線查找出第一權重值W ₁及第二權重值W ₂。在獲得第一權重值W ₁及第二權重值W ₂後，深度圖合併電路122可以計算D = W ₁D ₁+W ₂D ₂而得到最終深度圖201中位置P的深度值D（步驟S416）。

圖11是依照本發明的又一實施例說明深度圖合併方法的流程示意圖。請參照圖3、圖6及圖11，在步驟S305中，解碼電路121可以對第一影像131與第二影像132進行解碼（深度圖演算法）。在進行解碼（深度圖演算法）的過程中，解碼電路121可以產生正規化互相關（Normalized Cross Correlation，NCC）值。舉例來說，當第一投影圖案14被投射於場域20時，解碼電路121可以比對第一影像131與基準真值圖案（第一投影圖案14），以計算第一影像131與基準真值圖之間的相似程度，進而獲得第一深度圖211。在計算所述相似程度的過程中，解碼電路121可以產生在第一深度圖211中不同位置的正規化互相關值。所述正規化互相關值已屬於習知技藝，故在此不予贅述。以此類推，在對第二影像132進行解碼（深度圖演算法）的過程中，解碼電路121可以產生在第二深度圖221中不同位置的正規化互相關值。

解碼電路121可對第一影像131進行解碼（深度圖演算法），以獲得第一深度圖211中位置P的第一正規化互相關值n ₁。解碼電路121可對第二影像132進行解碼（深度圖演算法），以獲得第二深度圖221中位置P的第二正規化互相關值n ₂。在步驟S306中，深度圖合併電路122可以依據第一正規化互相關值n ₁及第二正規化互相關值n ₂來動態決定第一權重值W ₁及第二權重值W ₂。舉例來說（但不限於此），深度圖合併電路122可設定第一權重值W ₁= n ₁/(n ₁+n ₂)，且設定第二權重值W ₂= n ₂/(n ₁+n ₂)。在獲得第一權重值W ₁及第二權重值W ₂後，深度圖合併電路122可以計算D = W ₁D ₁+W ₂D ₂而獲得最終深度圖201中位置P的深度值D（步驟S416）。

圖12是依照本發明的再一實施例說明深度圖合併方法的流程示意圖。請參照圖3、圖6及圖12，在步驟S315中，解碼電路121可以對第一影像131與第二影像132進行解碼（深度圖演算法）。在進行解碼（深度圖演算法）的過程中，解碼電路121可以產生絕對差和值。舉例來說，當第一投影圖案14被投射於場域20時，解碼電路121可以比對第一影像131與基準真值圖案（第一投影圖案14），以計算第一影像131與基準真值圖之間的相似程度，進而獲得第一深度圖211。在計算所述相似程度的過程中，解碼電路121可以產生在第一深度圖211中不同位置的絕對差和值。所述絕對差和值已屬於習知技藝，故在此不予贅述。以此類推，在對第二影像132進行解碼（深度圖演算法）的過程中，解碼電路121可以產生在第二深度圖221中不同位置的絕對差和值。

解碼電路121可對第一影像131進行解碼（深度圖演算法），以獲得第一深度圖211中的位置P的第一絕對差和值SAD ₁。解碼電路121可對第二影像132進行解碼（深度圖演算法），以獲得第二深度圖221中位置P的第二絕對差和值SAD ₂。在步驟S316中，深度圖合併電路122可以依據第一絕對差和值SAD ₁及第二絕對差和值SAD ₂來動態決定第一權重值W ₁及第二權重值W ₂。舉例來說（但不限於此），深度圖合併電路122可設定第一權重值W ₁=SAD ₂/(SAD ₁+SAD ₂)，且設定第二權重值W ₂=SAD ₁/(SAD ₁+SAD ₂)。在獲得第一權重值W ₁及第二權重值W ₂後，深度圖合併電路122可以計算D = W ₁D ₁+W ₂D ₂來獲得最終深度圖102中位置P的深度值D（步驟S416）。

綜上所述，本發明諸實施例所述的深度感測裝置100及深度感測方法可以採用固定焦距的影像擷取裝置。所述的深度感測裝置100可以將低密度的第一投影圖案14與高密度的第二投影圖案15交替投射於相同場域，來偵測場域20中的近場區域21與遠場區域22。基於不同密度的第一投影圖案14與第二投影圖案15，影像處理裝置12可以獲得不同內容的第一深度圖211與第二深度圖221。影像處理裝置12可以至少合併第一深度圖211與第二深度圖221，便可建構所述場域20的最終深度圖201。因此，深度感測裝置100的工作範圍可以被有效擴展。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

11‧‧‧投影裝置

12‧‧‧影像處理裝置

13‧‧‧影像擷取裝置

14‧‧‧第一投影圖案

15‧‧‧第二投影圖案

20‧‧‧場域

21‧‧‧近場區域

22‧‧‧遠場區域

23‧‧‧目標物

100‧‧‧深度感測裝置

111‧‧‧光發射器

112‧‧‧透鏡組

113‧‧‧控制電路

121‧‧‧解碼電路

122‧‧‧深度圖合併電路

131‧‧‧第一影像

132‧‧‧第二影像

201‧‧‧最終深度圖

211‧‧‧第一深度圖

221‧‧‧第二深度圖

1121‧‧‧第一透鏡

1122‧‧‧光擴散元件

D‧‧‧深度值

D₁‧‧‧第一深度值

D₂‧‧‧第二深度值

P‧‧‧位置

S10‧‧‧投影步驟

S20‧‧‧影像擷取步驟

S30‧‧‧影像處理步驟

S40‧‧‧合併步驟

S305~S306、S315~S316、S401~S403、S411~S416‧‧‧方法步驟

t‧‧‧時間

t₁‧‧‧第一時間

t₂‧‧‧第二時間

t₃‧‧‧第三時間

t₄‧‧‧第四時間

th1‧‧‧第一臨界值

th2‧‧‧第二臨界值

W₁‧‧‧第一權重值

W₂‧‧‧第二權重值

圖1是依照本發明的一實施例的深度感測裝置的電路方塊（circuit block）示意圖。圖2繪示了圖1的投影裝置於不同時序下產生具有不同密度的投影圖案示意圖。圖3是依照本發明一實施例繪示了圖1中投影裝置及影像擷取裝置的電路方塊示意圖。圖4繪示了圖3中光發射器及透鏡組的光路配置示意圖。圖5是依照本發明的一實施例的深度感測方法的流程示意圖。圖6繪示了在不同深度圖中相同位置呈現出不同深度值的示意圖。圖7是依照本發明的一實施例說明權重值與深度值的查找曲線示意圖。圖8是依照本發明的一實施例說明深度圖合併方法的流程示意圖。圖9是依照本發明的另一實施例說明深度圖合併方法的流程示意圖。圖10是依照本發明的另一實施例說明權重值與深度值的查找曲線示意圖。圖11是依照本發明的又一實施例說明深度圖合併方法的流程示意圖。圖12是依照本發明的再一實施例說明深度圖合併方法的流程示意圖。

Claims

一種深度感測裝置，包括：一投影裝置，用於在一第一時間將一第一投影圖案投射於一場域，以及在一第二時間將一第二投影圖案投射於該場域，其中該第一投影圖案的密度低於該第二投影圖案的密度；一影像擷取裝置，用於在該第一時間拍攝經投射於該場域的該第一投影圖案以獲得一第一影像，以及在該第二時間拍攝經投射於該場域的該第二投影圖案以獲得一第二影像；以及一影像處理裝置，耦接於該投影裝置及該影像擷取裝置，用於依據該第一投影圖案及該第一影像以進行一深度圖演算法以獲得一第一深度圖，以及依據該第二投影圖案及該第二影像以進行該深度圖演算法以獲得一第二深度圖，其中該影像處理裝置至少合併該第一深度圖及該第二深度圖以產生該場域的一最終深度圖。
如申請專利範圍第1項所述的深度感測裝置，其中該投影裝置包括：一光發射器；一透鏡組，設置於該光發射器的光學路徑上；以及一控制電路，耦接該光發射器，其中該控制電路控制該光發射器產生該第一投影圖案或該第二投影圖案，並使該第一投影圖案及該第二投影圖案交替投射於該場域。
如申請專利範圍第2項所述的深度感測裝置，其中該光發射器包括一垂直共振腔面射型雷射陣列。
如申請專利範圍第2項所述的深度感測裝置，其中該透鏡組包括一光擴散元件。
如申請專利範圍第1項所述的深度感測裝置，其中該第一投影圖案及該第二投影圖案包括無序排列的光點圖案，該第一投影圖案的光點密度低於該第二投影圖案的光點密度。
如申請專利範圍第1項所述的深度感測裝置，其中該影像處理裝置包括：一解碼電路，耦接於該影像擷取裝置，其中該解碼電路依據多個解碼參數分別對該第一影像及該第二影像進行解碼，以分別產生該第一深度圖及該第二深度圖；以及一深度圖合併電路，耦接該解碼電路，其中該深度圖合併電路合併該第一深度圖及該第二深度圖以產生該場域的該最終深度圖。
如申請專利範圍第6項所述的深度感測裝置，其中於該第一深度圖中的一位置具有一第一深度值，於該第二深度圖中的該位置具有一第二深度值，當該第一深度值或該第二深度值大於一臨界值時，該深度圖合併電路選擇該第二深度值做為於該最終深度圖中的該位置的深度值，否則該深度圖合併電路選擇該第一深度值做為於該最終深度圖中的該位置的深度值。
如申請專利範圍第6項所述的深度感測裝置，其中於該第一深度圖中的一位置具有一第一深度值D₁，於該第二深度圖中的該位置具有一第二深度值D₂，該深度圖合併電路計算W₁D₁+W₂D₂以獲得該最終深度圖中的該位置的深度值D，W₁表示一第一權重值，W₂表示一第二權重值。
如申請專利範圍第8項所述的深度感測裝置，其中該深度圖合併電路依據該第一深度值D₁或該第二深度值D₂來動態決定該第一權重值W₁及該第二權重值W₂。
如申請專利範圍第8項所述的深度感測裝置，其中當該第一深度值D₁或該第二深度值D₂小於一第一臨界值時，該第一權重值W₁為1且該第二權重值W₂為0，當該第一深度值D₁或該第二深度值D₂大於該第一臨界值且小於一第二臨界值時，該深度圖合併電路依據該第一深度值D₁或該第二深度值D₂來動態決定該第一權重值W₁及該第二權重值W₂，以及當該第一深度值D₁或該第二深度值D₂大於該第二臨界值時，該第一權重值W₁為0且該第二權重值W₂為1。
如申請專利範圍第8項所述的深度感測裝置，其中該解碼電路對該第一影像進行解碼以獲得該第一深度圖中的該位置的一第一正規化互相關值n₁，該解碼電路對該第二影像進行解碼以獲得該第二深度圖中的該位置的一第二正規化互相關值n₂，以及該深度圖合併電路依據該第一正規化互相關值n₁及該第二正規化互相關值n₂來動態決定該第一權重值W₁及該第二權重值W₂。
如申請專利範圍第8項所述的深度感測裝置，其中該解碼電路對該第一影像進行解碼以獲得該第一深度圖中的該位置的一第一絕對差和值SAD₁，該解碼電路對該第二影像進行解碼以獲得該第二深度圖中的該位置的一第二絕對差和值SAD₂，以及該深度圖合併電路依據該第一絕對差和值SAD₁及該第二絕對差和值SAD₂來動態決定該第一權重值W₁及該第二權重值W₂。
一種深度感測方法，包括：一投影步驟，在一第一時間將一第一投影圖案投射於一場域，以及在一第二時間將一第二投影圖案投射於該場域，其中該第一投影圖案的密度低於該第二投影圖案的密度；一影像擷取步驟，在該第一時間拍攝經投射於該場域的該第一投影圖案以獲得一第一影像，以及在該第二時間拍攝經投射於該場域的該第二投影圖案以獲得一第二影像；一影像處理步驟，依據該第一投影圖案及該第一影像以進行一深度圖演算法以獲得一第一深度圖，以及依據該第二投影圖案及該第二影像以進行該深度圖演算法以獲得一第二深度圖；以及一合併步驟，至少合併該第一深度圖及該第二深度圖以產生該場域的一最終深度圖。
如申請專利範圍第13項所述的深度感測方法，其中該影像處理步驟包括：依據至少一個解碼參數分別對該第一影像及該第二影像進行解碼，以分別產生該第一深度圖及該第二深度圖。
如申請專利範圍第13項所述的深度感測方法，其中於該第一深度圖中的一位置具有一第一深度值，於該第二深度圖中的該位置具有一第二深度值，該合併步驟包括：當該第一深度值或該第二深度值大於一臨界值時，選擇該第二深度值做為於該最終深度圖中的該位置的深度值，否則選擇該第一深度值做為於該最終深度圖中的該位置的深度值。
如申請專利範圍第13項所述的深度感測方法，其中於該第一深度圖中的一位置具有一第一深度值D₁，於該第二深度圖中的該位置具有一第二深度值D₂，該合併步驟包括：計算W₁D₁+W₂D₂以獲得該最終深度圖中的該位置的深度值D，其中W₁表示一第一權重值，W₂表示一第二權重值。
如申請專利範圍第16項所述的深度感測方法，其中該合併步驟更包括：依據該第一深度值D₁或該第二深度值D₂來動態決定該第一權重值W₁及該第二權重值W₂。
如申請專利範圍第16項所述的深度感測方法，其中該合併步驟更包括：當該第一深度值D₁或該第二深度值D₂小於一第一臨界值時，設定該第一權重值W₁為1且設定該第二權重值W₂為0；當該第一深度值D₁或該第二深度值D₂大於該第一臨界值且小於一第二臨界值時，依據該第一深度值D₁或該第二深度值D₂來動態決定該第一權重值W₁及該第二權重值W₂；以及當該第一深度值D₁或該第二深度值D₂大於該第二臨界值時，設定該第一權重值W₁為0且設定該第二權重值W₂為1。
如申請專利範圍第16項所述的深度感測方法，其中該影像處理步驟對該第一影像進行解碼以獲得該第一深度圖中的該位置的一第一正規化互相關值n₁，該影像處理步驟對該第二影像進行解碼以獲得該第二深度圖中的該位置的一第二正規化互相關值n₂，該合併步驟更包括：依據該第一正規化互相關值n₁及該第二正規化互相關值n₂來動態決定該第一權重值W₁及該第二權重值W₂。
如申請專利範圍第16項所述的深度感測方法，其中該影像處理步驟對該第一影像進行解碼以獲得該第一深度圖中的該位置的一第一絕對差和值SAD₁，該影像處理步驟對該第二影像進行解碼以獲得該第二深度圖中的該位置的一第二絕對差和值SAD₂，該合併步驟更包括：依據該第一絕對差和值SAD₁及該第二絕對差和值SAD₂來動態決定該第一權重值W₁及該第二權重值W₂。