TWI649723B - 深度成像裝置及其驅動方法 - Google Patents

Abstract

一種深度成像裝置。第一相機與第二相機形成第一深度成像系統。投影元件與第二相機形成第二深度成像系統，其中投影元件至第二相機的距離不等於第一相機至第二相機的距離。控制單元用以命令第一深度成像系統與第二深度成像系統之一獲取深度地圖及對應深度地圖的信心度地圖，且判斷信心度地圖中的所有信心度值是否皆小於信心度閾值。若皆小於信心度閾值，則控制單元啟動第一深度成像系統與第二深度成像系統之另一。若不皆小於信心度閾值，則判斷深度地圖中的最近距離是否落在預設範圍內。一種深度成像裝置的驅動方法亦被提出。

Description

深度成像裝置及其驅動方法

本發明是有關於一種成像裝置及其驅動方法，且特別是有關於一種深度成像裝置及其驅動方法。

隨著目前對於物體的深度資訊的需求日漸提升，對於更為準確地偵測物體表面的技術亦日趨重要，特別是偵測物體在不同距離間的感測要求愈顯嚴苛，例如是無人飛行器、空拍機或掃地機器人等。

目前獲取物體的深度資訊的主流測量方法有雙目視覺、結構光等，雙目視覺係指雙目產生的視差透過三角測量(Triangulation)測量出物體的三維立體結構，具有效率高、系統結構簡單以及成本低等優勢。結構光係投射出圖案化光面至物體上，具有不同深度的光的紋路會發生變形，在經由三角測量的原理得到物體的深度資訊。然而，使用任一深度測量方法皆具有視野在特定區域出現盲區之情形，當物體出現在盲區時將導致裝置 無法判斷出物體的距離，進而影響裝置的安全性，且在現階段電池可儲存電力有限之情況下，如何改善裝置無法於盲區測量的限制，且能保持系統節電的功效，為目前深度成像裝置亟需改善的課題。

本發明提供一種深度成像裝置，具有減少視覺盲區範圍及省電的功效。

本發明提供一種深度成像裝置的驅動方法，可實現減少視覺盲區範圍及省電的功效。

本發明的一實施例的一種深度成像裝置包括第一相機、第二相機、投影元件及控制單元。第一相機與第二相機形成第一深度成像系統。投影元件與第二相機形成第二深度成像系統，其中投影元件至第二相機的距離不等於第一相機至第二相機的距離。控制單元電性連接至第一相機、第二相機及投影元件，用以命令第一深度成像系統與第二深度成像系統之一獲取深度地圖及對應深度地圖的信心度地圖，且判斷信心度地圖中的所有信心度值是否皆小於信心度閾值。若皆小於信心度閾值，則控制單元啟動第一深度成像系統與第二深度成像系統之另一。若不皆小於信心度閾值，則判斷深度地圖中的最近距離是否落在預設範圍內。若在預設範圍內，則控制單元不啟動第一深度成像系統與第二深度成像系統之該另一。若不在預設範圍內，則控制單元啟動第一 深度成像系統與第二深度成像系統之該另一。

在本發明的一實施例中，上述的控制單元用以命令第一深度成像系統獲取深度地圖及對應深度地圖的信心度地圖，且判斷信心度地圖中的所有信心度值是否皆小於信心度閾值，若皆小於信心度閾值，則控制單元啟動第二深度成像系統，若不皆小於信心度閾值，則判斷深度地圖中的最近距離是否落在預設範圍內，預設範圍為最近距離大於或等於距離閾值，若在預設範圍內，控制單元不啟動第二深度成像系統，若不在預設範圍內，則控制單元啟動第二深度成像系統及投影元件。

在本發明的一實施例中，上述的控制單元用以命令第二深度成像系統獲取深度地圖及對應深度地圖的信心度地圖，且判斷信心度地圖中的所有信心度值是否皆小於信心度閾值，若皆小於信心度閾值，則控制單元關閉投影元件且啟動第一深度成像系統，若不皆小於信心度閾值，則判斷深度地圖中的最近距離是否落在預設範圍內，預設範圍為最近距離小於或等於距離閾值，若在預設範圍內，控制單元不啟動第一深度成像系統，若不在預設範圍內，則控制單元關閉投影元件且啟動第一深度成像系統。

在本發明的一實施例中，上述的投影元件用以投射出結構光。

本發明的一實施例提供一種深度成像裝置的驅動方法，包括：(a)命令第一深度成像系統與第二深度成像系統之一獲取深度地圖及對應深度地圖的信心度地圖，其中第一相機與第二相機 形成第一深度成像系統，且投影元件與第二相機形成第二深度成像系統，投影元件至第二相機的距離不等於第一相機至第二相機的距離；以及(b)判斷信心度地圖中的所有信心度值是否皆小於信心度閾值，若皆小於信心度閾值，則啟動第一深度成像系統與第二深度成像系統之另一，若不皆小於信心度閾值，則判斷深度地圖中的最近距離是否落在一預設範圍內，若在預設範圍內，則不啟動第一深度成像系統與第二深度成像系統之該另一，若不在預設範圍內，則啟動第一深度成像系統與第二深度成像系統之該另。

在本發明的一實施例中，上述的步驟(a)為命令第一深度成像系統獲取深度地圖及對應深度地圖的信心度地圖，且步驟(b)為判斷信心度地圖中的所有信心度值是否皆小於信心度閾值，若皆小於信心度閾值，則啟動第二深度成像系統，若不皆小於信心度閾值，則判斷深度地圖中的最近距離是否落在預設範圍內，預設範圍為最近距離大於或等於距離閾值，若在預設範圍內，則不啟動第二深度成像系統，若不在預設範圍內，則啟動第二深度成像系統及投影元件。

在本發明的一實施例中，上述的步驟(a)為命令第二深度成像系統獲取深度地圖及對應深度地圖的信心度地圖，且步驟(b)為判斷信心度地圖中的所有信心度值是否皆小於信心度閾值，若皆小於信心度閾值，則關閉投影元件且啟動第一深度成像系統，若不皆小於信心度閾值，則判斷深度地圖中的最近距離是否落在 預設範圍內，預設範圍為最近距離小於或等於距離閾值，若在預設範圍內，則不啟動第一深度成像系統，若不在預設範圍內，則關閉投影元件且啟動第一深度成像系統。

在本發明的一實施例中，上述的投影元件至第二相機的距離小於第一相機至第二相機的距離。

在本發明的一實施例中，上述的第一相機、投影元件及第二相機排列於一直線上。

在本發明的一實施例中，上述的第二深度成像系統被啟動時，命令投影元件投射出結構光。

基於上述，在本發明的實施例的深度成像裝置及其驅動方法中，透過設定信心度閾值以及預設範圍中的距離閾值，使得裝置可以依據物體與裝置本身的距離來切換所要執行的深度成像系統，因而可減少視覺盲區範圍，且可達到省電的功效。

為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

100‧‧‧深度成像裝置

110‧‧‧第一深度成像系統

120‧‧‧第二深度成像系統

130‧‧‧控制單元

132‧‧‧深度引擎

134‧‧‧深度地圖

136‧‧‧信心度地圖

138‧‧‧運算單元

C1‧‧‧第一相機

C2‧‧‧第二相機

D1、D2‧‧‧距離

O‧‧‧物體

P‧‧‧投影元件

S11~S15‧‧‧步驟11~15

S21~S26‧‧‧步驟21~26

圖1A繪示本發明一實施例的深度成像裝置在啟動第一深度成像系統時的示意圖。

圖1B繪示圖1A的深度成像裝置在啟動第二深度成像系統時的示意圖。

圖2A繪示圖1A的深度成像裝置的驅動方法的流程示意圖。

圖2B繪示圖1B的深度成像裝置的驅動方法的流程示意圖。

圖1A為本發明一實施例的深度成像裝置在啟動第一深度成像系統時的示意圖。圖2A為圖1A的深度成像裝置的驅動方法的流程示意圖。

請參考圖1A，在本實施例中，深度成像裝置100包括第一相機C1、第二相機C2、投影元件P及控制單元130。舉例而言，在本實施例中，第一相機C1與第二相機C2可以是具有電荷耦合元件(Charge-Coupled Device,CCD)或互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor,CMOS)等感光元件的數位相機，其中第一相機C1與第二相機C2的型式可以相同或是不同。然而，本發明不以此為限。在本實施例中，投影元件P可以是能夠投射出結構光的任何投影元件。

在本實施例中，第一相機C1與第二相機C2形成第一深度成像系統110，投影元件P與第二相機C2形成第二深度成像系統120，其中投影元件P至第二相機C2的距離D2不等於第一相機C1至第二相機C2的距離D1，在本實施例中，投影元件P至第二相機C2的距離D2小於第一相機C1至第二相機C2的距離D1。然而，本發明不以此為限，在其他實施例中，投影元件P至第二相機C2的距離D2可以大於第一相機C1至第二相機C2的距離 D1。在本實施例中，第一相機C1、第二相機C2及投影元件P排列於一直線上。在本實施例中，控制單元130電性連接至第一相機C1、第二相機C2及投影元件P，且包括深度引擎132以及運算單元138。

在本實施例中，控制單元130命令第一深度成像系統110獲取物體O的深度地圖134及對應深度地圖134的信心度地圖136，具體來說，第一深度成像系統110透過第一相機C1與第二相機C2之間的視差現象，取得兩張不同角度的影像，控制單元130中的深度引擎132用以將第一相機C1與第二相機C2所取得的影像進行影像處理，例如透過三角測量法(Triangulation)得到物體O的深度地圖134，並透過所屬領域中具有通常知識者所熟知的演算法(例如是深度演算法)計算出與物體O的深度地圖134對應的信心度地圖136。深度地圖134可包含影像中每個畫素點的深度值，其中深度值例如是代表拍攝物至深度成像裝置100的距離，而信心度地圖136則包含對每個畫素點所計算出的深度值的信心度值。其中，舉例而言，當對應於一個畫素的信心度值越高，則代表所計算出的此畫素的深度值越可信、越準確。反之，若對應於一個畫素的信心度值越低，則代表所計算出的此畫素的深度值越不可信、越不準確。

控制單元130用以命令第一深度成像系統110與第二深度成像系統120之一獲取深度地圖134及對應深度地圖134的信心度地圖136，且判斷信心度地圖136中的所有信心度值是否皆小 於信心度閾值。若皆小於信心度閾值，則控制單元130啟動第一深度成像系統110與第二深度成像系統120之另一。若不皆小於信心度閾值，則判斷深度地圖134中的最近距離是否落在預設範圍內，若在預設範圍內，則控制單元130不啟動第一深度成像系統110與第二深度成像系統120之該另一，若不在預設範圍內，則控制單元130啟動第一深度成像系統110與該第二深度成像系統120之該另一。請參考圖1A及圖2A，在本實施例中，控制單元130中的運算單元138啟動第一深度成像系統110(對應圖2A的步驟S11)，接著運算單元138判斷信心度地圖136中的所有信心度值是否皆小於信心度閾值(對應圖2A的步驟S12)。若皆小於信心度閾值，則運算單元138啟動投影元件P及第二深度成像系統120(對應圖2A的步驟S14)。若不皆小於信心度閾值，則運算單元138判斷深度地圖134中的最近距離是否落在預設範圍內(對應圖2A的步驟S13)。在本實施例中，預設範圍為最近距離大於或等於距離閾值。若在預設範圍內，運算單元138不啟動第二深度成像系統120(對應圖2A的步驟S15)。若不在預設範圍內，則運算單元138啟動投影元件P及第二深度成像系統120(對應圖2A的步驟S14)。詳細來說，當運算單元138判斷需啟動投影元件P及第二深度成像系統120時，命令投射元件P投射出結構光，並且運算單元138同時傳送電性訊號給深度引擎132，命令深度引擎132開始獲取第二深度成像系統120的深度地圖134及信心度地圖136。

圖1B為圖1A的深度成像裝置在啟動第二深度成像系統時的示意圖。圖2B為圖1B的深度成像裝置的驅動方法的流程示意圖。請參考圖1B，在本實施例中，與圖1A的物體O的所在位置相比，在圖1B中的物體O的所在位置更接近深度成像裝置100。在本實施例中，控制單元130命令第二深度成像系統120獲取物體O的深度地圖134及對應深度地圖134的信心度地圖136。在本實施例中，投影元件P用以投射出結構光，具體來說，第二深度成像系統120透過投影元件P投射在物體O的圖案化光斑來計算物體O的深度值。第二相機C2取得從物體O反射的圖案化光斑的影像，透過三角測量法得到物體O的深度地圖134，並透過所屬領域中具有通常知識者所熟知的演算法(例如是深度演算法)計算出與物體O的深度地圖134對應的信心度地圖136。

請參考圖1B及圖2B，在本實施例中，控制單元130中的運算單元138啟動第二深度成像系統120(對應圖2B的步驟S21)，接著運算單元138判斷信心度地圖136中的所有信心度值是否皆小於信心度閾值(對應圖2B的步驟S22)。若皆小於信心度閾值，則運算單元138關閉投影元件P(對應圖2B的步驟S24)並啟動第一深度成像系統110(對應圖2B的步驟S25)。若不皆小於信心度閾值，則運算單元138判斷深度地圖134中的最近距離是否落在預設範圍內(對應圖2B的步驟S23)，在本實施例中預設範圍為最近距離小於或等於距離閾值。若在預設範圍內，運算單元138不啟動第一深度成像系統110(對應圖2B的步驟S26)。若不在 預設範圍內，則運算單元138關閉投影元件P(對應圖2B的步驟S24)並啟動第一深度成像系統110(對應圖2B的步驟S25)。詳細來說，當運算單元138判斷需關閉投影元件P時，運算單元138同時傳送電性訊號給深度引擎132，命令深度引擎132停止獲取第二深度成像系統120的深度地圖134及信心度地圖136。

在本實施例中，控制單元130不限定先命令第一深度成像系統110獲取物體O的深度地圖134及對應深度地圖134的信心度地圖136，也可以先命令第二深度成像系統120獲取物體O的深度地圖134及對應深度地圖134的信心度地圖136。在本實施例中，圖2A的步驟S12中的信心度閾值可以等於或不等於圖2B的步驟S22的信心度閾值。在本實施例中，圖2A的步驟S13中的距離閾值可以等於或不等於圖2B的步驟S23中的距離閾值。

在一實施例中，控制單元130、深度引擎132及運算單元138例如為中央處理單元(central processing unit,CPU)、微處理器(microprocessor)、數位訊號處理器(digital signal processor,DSP)、可程式化控制器、可程式化邏輯裝置(programmable logic device,PLD)或其他類似裝置或這些裝置的組合，本發明並不加以限制。此外，在一實施例中，控制單元130、深度引擎132及運算單元138的各功能可被實作為多個程式碼。這些程式碼會被儲存在記憶體中，由控制單元130、深度引擎132及運算單元138來執行這些程式碼。或者，在一實施例中，控制單元130、深度引擎132及運算單元138的各功能可被實作為一或多個電路。本發 明並不限制用軟體或硬體的方式來實作控制單元130、深度引擎132及運算單元138的各功能。

綜上所述，本發明的實施例的深度成像裝置及其驅動方法具有兩組深度成像系統，其一用以偵測距離較遠的物體的深度資訊，另一用以偵測距離較近的物體的深度資訊，即便物體落在其中一深度成像系統的盲區位置，仍然可透過另一深度成像系統偵測到位於此物體的深度資訊，進而達到即時(real time)偵測物體的距離資訊來有效減少視覺盲區範圍的功效。此外，透過兩組深度成像系統的搭配，可避免在偵測物體時同時使用到兩組深度成像系統，造成較多的電力消耗，因而達到省電之功效。此外，在本發明的實施例的深度成像裝置中，可以只採用兩個相機，而控制單元130可以用一個兩路進的整合晶片來實現，因此可以減少影像處理晶片的成本。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

Claims (14)

1. 一種深度成像裝置，包括： 一第一相機； 一第二相機，其中該第一相機與該第二相機形成一第一深度成像系統； 一投影元件，其中該投影元件與該第二相機形成一第二深度成像系統，其中該投影元件至該第二相機的距離不等於該第一相機至該第二相機的距離；以及 一控制單元，電性連接至該第一相機、該第二相機及該投影元件，其中該控制單元用以命令該第一深度成像系統與該第二深度成像系統之一獲取一深度地圖及一對應該深度地圖的信心度地圖，且判斷該信心度地圖中的所有信心度值是否皆小於一信心度閾值，若皆小於該信心度閾值，則該控制單元啟動該第一深度成像系統與該第二深度成像系統之另一，若不皆小於該信心度閾值，則判斷該深度地圖中的最近距離是否落在一預設範圍內，若在該預設範圍內，則該控制單元不啟動該第一深度成像系統與該第二深度成像系統之該另一，若不在該預設範圍內，則該控制單元啟動該第一深度成像系統與該第二深度成像系統之該另一。
2. 如申請專利範圍第1項所述的深度成像裝置，其中該控制單元用以命令該第一深度成像系統獲取該深度地圖及對應該深度地圖的該信心度地圖，且判斷該信心度地圖中的所有信心度值是否皆小於該信心度閾值，若皆小於該信心度閾值，則該控制單元啟動該第二深度成像系統，若不皆小於該信心度閾值，則判斷該深度地圖中的最近距離是否落在該預設範圍內，該預設範圍為該最近距離大於或等於一距離閾值，若在該預設範圍內，該控制單元不啟動該第二深度成像系統，若不在該預設範圍內，則該控制單元啟動該第二深度成像系統及該投影元件。
3. 如申請專利範圍第2項所述的深度成像裝置，其中該投影元件至該第二相機的距離小於該第一相機至該第二相機的距離。
4. 如申請專利範圍第1項所述的深度成像裝置，其中該控制單元用以命令該第二深度成像系統獲取該深度地圖及對應該深度地圖的該信心度地圖，且判斷該信心度地圖中的所有信心度值是否皆小於該信心度閾值，若皆小於該信心度閾值，則該控制單元關閉該投影元件且啟動該第一深度成像系統，若不皆小於該信心度閾值，則判斷該深度地圖中的最近距離是否落在該預設範圍內，該預設範圍為該最近距離小於或等於一距離閾值，若在該預設範圍內，該控制單元不啟動該第一深度成像系統，若不在該預設範圍內，則該控制單元關閉該投影元件且啟動該第一深度成像系統。
5. 如申請專利範圍第4項所述的深度成像裝置，其中該投影元件至該第二相機的距離小於該第一相機至該第二相機的距離。
6. 如申請專利範圍第1項所述的深度成像裝置，其中該第一相機、該投影元件及該第二相機排列於一直線上。
7. 如申請專利範圍第1項所述的深度成像裝置，其中該投影元件用以投射出結構光。
8. 一種深度成像裝置的驅動方法，包括： (a) 命令一第一深度成像系統與一第二深度成像系統之一獲取一深度地圖及一對應該深度地圖的信心度地圖，其中一第一相機與一第二相機形成該第一深度成像系統，且一投影元件與該第二相機形成該第二深度成像系統，該投影元件至該第二相機的距離不等於該第一相機至該第二相機的距離；以及 (b) 判斷該信心度地圖中的所有信心度值是否皆小於一信心度閾值，若皆小於該信心度閾值，則啟動該第一深度成像系統與該第二深度成像系統之另一，若不皆小於該信心度閾值，則判斷該深度地圖中的最近距離是否落在一預設範圍內，若在該預設範圍內，則不啟動該第一深度成像系統與該第二深度成像系統之該另一，若不在該預設範圍內，則啟動該第一深度成像系統與該第二深度成像系統之該另一。
9. 如申請專利範圍第8項所述的深度成像裝置的驅動方法，其中步驟(a)為命令該第一深度成像系統獲取該深度地圖及對應該深度地圖的該信心度地圖，且步驟(b)為判斷該信心度地圖中的所有信心度值是否皆小於該信心度閾值，若皆小於該信心度閾值，則啟動該第二深度成像系統，若不皆小於該信心度閾值，則判斷該深度地圖中的最近距離是否落在該預設範圍內，該預設範圍為該最近距離大於或等於一距離閾值，若在該預設範圍內，則不啟動該第二深度成像系統，若不在該預設範圍內，則啟動該第二深度成像系統及該投影元件。
10. 如申請專利範圍第9項所述的深度成像裝置的驅動方法，其中該投影元件至該第二相機的距離小於該第一相機至該第二相機的距離。
11. 如申請專利範圍第8項所述的深度成像裝置的驅動方法，其中步驟(a)為命令該第二深度成像系統獲取該深度地圖及對應該深度地圖的該信心度地圖，且步驟(b)為判斷該信心度地圖中的所有信心度值是否皆小於該信心度閾值，若皆小於該信心度閾值，則關閉該投影元件且啟動該第一深度成像系統，若不皆小於該信心度閾值，則判斷該深度地圖中的最近距離是否落在該預設範圍內，該預設範圍為該最近距離小於或等於一距離閾值，若在該預設範圍內，則不啟動該第一深度成像系統，若不在該預設範圍內，則關閉該投影元件且啟動該第一深度成像系統。
12. 如申請專利範圍第11項所述的深度成像裝置的驅動方法，其中該投影元件至該第二相機的距離小於該第一相機至該第二相機的距離。
13. 如申請專利範圍第8項所述的深度成像裝置的驅動方法，其中該第一相機、該投影元件及該第二相機排列於一直線上。
14. 如申請專利範圍第8項所述的深度成像裝置的驅動方法，其中當啟動該第二深度成像系統時，命令該投影元件投射出結構光。