TWI692727B

TWI692727B - 物件定位指引系統及其方法

Info

Publication number: TWI692727B
Application number: TW107129784A
Authority: TW
Inventors: 陳昱達; 羅吉宏; 謝舒菁; 黃翊庭
Original assignee: 台達電子工業股份有限公司
Priority date: 2018-08-27
Filing date: 2018-08-27
Publication date: 2020-05-01
Also published as: TW202009781A

Abstract

一種物件定位指引方法，包括以下步驟：透過攝像模組取得具有第一棧板影像以及第一圖標影像之第一影像；透過處理單元根據第一影像中的第一圖標影像決定攝像模組與圖標之第一相對關係；透過第一深度攝影機取得具有第二棧板影像以及第二圖標影像之第二影像；透過處理單元根據第二棧板影像取得當前物件擺放情況；透過處理單元根據當前物件擺放情況、物件擺放順序以及圖標與棧板之第二相對關係取得當前物件於棧板上之預定擺放位置；以及透過處理單元根據預定擺放位置、第一相對關係以及第二相對關係於第一影像中取得對應於當前物件之預定擺放座標。

Description

物件定位指引系統及其方法

本發明係有關於一種物體定位指引系統及其方法，特別係有關於一種定位指引系統以及其方法。

傳統針對倉儲或物流過程中，物件於棧板上的堆疊擺放方式與整體材積計算多數仰賴於人工事先規劃與計算，每當物件改變時皆需要投入額外的人力，且於擺放時並無法精準掌握實際棧板上貨物體積資訊，因而長期下來造成空間資源的浪費與運送成本的提高。因此，如何指引使用者物件的擺放位置以提升物流的處理效率為目前所需解決之問題。

為解決上述問題，本發明一實施例提供一種物件定位指引方法，包括以下步驟：透過一攝像模組取得一第一影像，其中第一影像具有對應於一棧板之一第一棧板影像以及對應於至少一圖標之一第一圖標影像；透過一處理單元根據上述第一影像中的第一圖標影像決定攝像模組與圖標之一第一相對關係；透過一第一深度攝影機取得一第二影像，其中第二影像具有對應於棧板之一第二棧板影像以及對應於圖標之一第二圖標影像；透過處理單元根據第二棧板影像取得一當前物件擺放情況；透過處理單元根據當前物件擺放情況、複數物件於棧板之一物件擺放順序以及圖標與棧板之一第二相對關係取得一當前物件於棧板上之一預定擺放位置；以及透過處理單元根據預定擺放位置、第一相對關係以及第二相對關係於第一影像中取得對應於當前物件之一預定擺放座標。

本發明另一實施例提供一種定位指引系統，包括一攝像模組、一第一深度攝影機、一儲存單元以及一處理單元。攝像模組用以取得一第一影像，其中第一影像具有對應於一棧板之一第一棧板影像以及對應於至少一圖標之一第一圖標影像。第一深度攝影機用以取得一第二影像，其中第二影像具有對應於棧板之一第二棧板影像以及對應於圖標之一第二圖標影像。儲存單元用以儲存攝像模組與圖標之一第一相對關係、複數物件於棧板之一物件擺放順序以及圖標與棧板之一第二相對關係。處理單元用以根據第一影像中的圖標影像決定攝像模組與圖標之第一相對關係，根據第二棧板影像取得一當前貨件擺放情況，根據當前貨件擺放情況、擺放順序以及圖標與棧板之第二相對關係取得一當前貨件於棧板上之一預定擺放位置，以及根據預定擺放位置、第一相對關係以及第二相對關係於第一影像中取得對應於當前貨件之一預定擺放座標。

100‧‧‧物件定位指引系統

110‧‧‧第一深度攝影機

120‧‧‧第二攝像單元

130‧‧‧處理單元

140‧‧‧儲存單元

201‧‧‧第一深度攝影機之設置位置

202‧‧‧第二深度攝影機之設置位置

205‧‧‧攝像模組之設置位置

210‧‧‧圖標

250‧‧‧棧板

310~330‧‧‧棧板突出於地面上之三個面

401a’、601c’‧‧‧預設物件擺放位置

601a、601b‧‧‧物件

710‧‧‧已擺放完的物件

C‧‧‧攝像模組所對應之座標系

D‧‧‧第一深度攝影機所對應之座標系

M‧‧‧圖標所對應之座標系

S801-S809‧‧‧步驟流程

第1圖係顯示根據本發明一實施例所述之定位指引系統之示意圖。

第2圖係顯示根據本發明一實施例所述之物件定位指引系統中各個元件之配置示意圖。

第3圖係顯示根據本發明一實施例所述之棧板之立體示意圖。

第4圖係顯示根據本發明一實施例所述之圖標之座標系、攝像模組之座標系以及第一深度攝影機之座標系之間之相對關係之示意圖。

第5圖係顯示根據本發明一實施例所述之當前物件擺放情況之示意圖。

第6圖係顯示根據本發明另一實施例所述之當前物件擺放情況之示意圖。

第7圖係顯示根據本發明一實施例所述之完成物件之擺放之示意圖。

第8圖係顯示根據本發明一實施例所述之物件定位指引方法之流程圖。

有關本發明之系統以及方法適用之其他範圍將於接下來所提供之詳述中清楚易見。必須了解的是下列之詳述以及具體之實施例，當提出有關物件定位指引系統以及物件定位指引方法之示範實施例時，僅作為描述之目的以及並非用以限制本發明之範圍。

第1圖係顯示根據本發明一實施例所述之物件定位指引系統之系統架構圖。物件定位指引系統100至少包括一攝像模組110、一第一深度攝影機120、一處理單元130以及一儲存單元140。攝像模組110為用以擷取彩色影像之相機和/或攝影機，可配戴於一使用者身上或者設置於機械手臂上以隨著使用者或者機械手臂移動。第一深度攝影機120可為RGB-D深度攝影機，用以擷取具有深度資訊之彩色影像。處理單元130可透過多種方式實施，例如以專用硬體電路或者通用硬體(例如，單一處理器、具平行處理能力之多處理器、圖形處理器或者其它具有運算能力之處理器)，且於執行程式碼或者軟體時，提供之後所描述的功能。儲存單元140用以儲存第一深度攝影機120之一設置位置、至少一圖標所對應之座標系、複數物件於一棧板上之一物件擺放順序以及計算位置相對關係之轉換方程式等，以供處理單元130於執行相關運算時進行存取。其中，儲存單元140例如是硬碟、快閃記憶體、ROM等非揮發性儲存裝置。此外，物件定位指引系統100更可包括一顯示單元(未顯示)，可配戴於使用者頭上。顯示單元可為一顯示面板(例如是薄膜液晶顯示面板、有機發光二極體面板或其他具顯示能力的裝置等)，用以顯示當前物件於棧板上之預定擺放位置。

第2圖係顯示根據本發明一實施例所述之物件定位指引系統中各個元件之配置示意圖。如第2圖所示，第一深度攝影機120係設置於第一位置201，即對應於棧板250之左上角，且其高度高於棧板250之高度，使得第一深度攝影機120之拍攝範圍可包含棧板250之完整面積以及圖標210。接著，處理單元130致使第一深度攝影機120擷取對應於當前位置之一彩色深度影像(第四影像)，以判斷棧板250與圖標210之間之相對關係。其中，處理單元130於接收到彩色深度影像後，首先根據影像中的深度資訊判斷棧板250與地板平面之不同。舉例來說，如第3圖所示，處理單元130可根據地板平面的法向量並以平面310為基準透過平面以及頂角計算求得平面320以及平面330，以於彩色深度影像中定義出棧板250之位置。接著，處理單元130於辨識出棧板位置後，更根據其與圖標210之間之相對關係。其中，圖標210可為具有二維編碼的一圖標或者任何具有不對稱外型之一平面物件或者一立體物件，使得處理單元130於辨識出圖標或者立體物件後，可取得對應於圖標或者立體物件之一座標系。其中，不對稱外型主要用以避免處理單元130於判斷單一圖標時，誤判圖標所對應之方向。

根據本發明另一實施例，為了更精準地定義棧板250與圖標210之間之相對關係，物件定位指引系統更可包括一第二深度攝影機，對應設置於第二位置202，使得處理單元130可根據兩張具有不同拍攝角度之彩色深度影像校正棧板250與圖標210之間之相對關係。其中，第一位置201與第二位置202呈對角之關係。值得注意的是，於本發明之實施例中，第一深度攝影機120以及第二深度攝影機係設置於棧板之對角線之上，但於其它實施例中，第一深度攝影機和/或第二深度攝影機亦可設置於可取得棧板之三個平面之位置。

此外，為了使得棧板250與圖標210之間之相對關係被更精準地定位，地面上更可設置兩個以上的圖標(210a~210n)。其中，每個圖標所對應之二維編碼(或者立體物件所對應之外型)皆不相同，即每個圖標皆具有各自對應的座標系，且儲存單元140除了儲存每個圖標的座標系外，更儲存複數圖標的排列方式以及其相對位置。如此一來，處理單元130將可根據棧板250與複數圖標210a~210n之相對關係建立準確的轉換矩陣。

接著，於確定棧板250與至少一圖標210之間之相對關係後，處理單元130致使攝像模組110取得一彩色影像(第一影像)，並根據彩色影像中的圖標資訊推算攝像模組110與圖標之間之相對關係。舉例來說，以第2圖為例，當使用者配戴攝像模組110站在位置205時，處理單元130根據圖標210在彩色影像中所對應之座標資訊確定如第4圖所示之圖標210之座標系M、攝像模組110之座標系C以及第一深度攝影機120之座標系D之間之相對關係，再根據棧板250與至少一圖標210之相對關係計算棧板250之座標位置，以將對應於棧板250之虛擬影像投射於配戴在使用者身上的顯示裝置上。其中，攝像模組110之座標系所對應之參數可透過以下公式取得：D=T1×C。其中，D為攝像模組110之座標系所對應之參數，T1為攝像模組110與第一深度攝影機120之座標轉換矩陣方程式，以及C為第一深度攝影機120之座標系所對應之參數。

此外，第一深度攝影機120每隔既定時間取得對應於棧板250以及圖標210之影像，並取得彩色深度影像中對應於棧板250上之物件之點雲資訊。最後，於物件皆擺放完成後，處理單元130即可根據先前所取得之具有點雲資訊之複數彩色影像計算對應於所有物件之體積，以進一步地判斷物件之擺放是否有誤。其中，由於棧板250之尺寸以及物件之尺寸皆已事先儲存在儲存單元140中，因此處理單元130應可根據棧板250上至少一物件所對應之當前體積以及棧板250之尺寸決定一當前物件擺放情況。舉例來說，如第5圖所示，處理單元130可根據儲存單元140中棧板250之尺寸以及彩色深度影像中對應於棧板250之體積判斷棧板250上並未擺放任何物件。接著，處理單元130即可根據物件擺放順序決定物件預定擺放位置401a’。其中，物件擺放的起始位置可根據圖標與棧板之間之相對關係決定。

第6圖係顯示根據本發明另一實施例所述之當前物件擺放情況之示意圖。相較於第5圖之當前物件擺放情況，處理單元130應可透過判斷對應於棧板250之體積得知第6圖之棧板250上已放置兩個物件601a、602b。接著，處理單元130根據物件擺放順序取得當前物件所需擺放之位置為601c’，並根據如第4圖所示之圖標210、攝像模組110以及第一深度攝影機120之間之相對關係將預定擺放位置601c’標示於攝像模組110所取得之彩色影像中，並將標示有預定擺放位置之彩色影像(第三影像)輸出至顯示單元中以供使用者觀看。

根據本發明另一實施例，當所有物件皆被擺放至棧板250上時，處理單元130更可透過第一深度攝影機和/或第二深度攝影機所取得之複數彩色深度影像(第五影像以及第六影像)量測棧板250之當前體積，並根據當前體積以及棧板250之尺寸判斷物件擺放位置是否出現異常。例如當擺放完的物件710所對應之區域超出棧板250所對應之區域時，則判斷物件的擺放出現異常狀況時，接著可透過顯示單元顯示擺放異常之物件，以供使用者對物件擺放位置進行修正。

第8圖係顯示根據本發明一實施例所述之物件定位指引方法之流程圖。於步驟S801，第一深度攝影機120取得對應於第一設置位置之第一彩色深度影像。於步驟S802，處理單元130首先根據第一彩色深度影像取得對應於棧板250之棧板區域，並根據棧板區域與圖標之間之位置取得兩者之相對關係。於步驟S803，攝像模組110取得第一彩色影像，其中第一彩色影像中包含對應於圖標之圖標影像。於步驟S804，處理單元130根據第一彩色影像中圖標所對應之座標系決定攝像模組110與圖標之相對關係，並根據圖標與棧板250之間之相對關係取得圖標、棧板以及攝像模組110三者之間之相對關係。於步驟S805，第一深度攝影機120取得具有棧板250之當前物件擺放狀況之當前彩色深度影像。於步驟S806，處理單元130透過判斷對應於棧板250之當前體積取得當前物件擺放情況。於步驟S807，處理單元130根據當前物件擺放情況、物件擺放順序以及圖標與棧板之相對關係取得當前物件於棧板上之預定擺放位置。於步驟S808，處理單元根據預定擺放位置、攝像模組與圖標之相對關係以及圖標與棧板之相對關係計算出當前物件於攝像模組110所取得之彩色影像中所對應之預定擺放座標。最後，於步驟S809，處理單元130根據預定擺放座標於顯示單元顯示具有預定擺放位置之彩色影像。

本發明之方法，或特定型態或其部份，可以以程式碼的型態存在。程式碼可以包含於實體媒體，如軟碟、光碟片、硬碟、或是任何其他機器可讀取(如電腦可讀取)儲存媒體，亦或不限於外在形式之電腦程式產品，其中，當程式碼被機器，如電腦載入且執行時，此機器變成用以參與本發明之裝置。程式碼也可透過一些傳送媒體，如電線或電纜線、光纖、或是任何傳輸型態進行傳送，其中，當程式碼被機器，如電腦接收、載入且執行時，此機器變成用以參與本發明之裝置。當在一般用途處理單元實作時，程式碼結合處理單元提供一操作類似於應用特定邏輯電路之獨特裝置。

綜上所述，根據本發明所提出之適用於行動控制裝置之定位指引系統以及方法，透過取得棧板之三維立體影像資訊即可計算棧板上當前物件擺放的狀況，並根據事先定義的物件擺放順序以及圖標與棧板之間之相對關係將可指引使用者或者機械手臂下一個物件的擺放位置，藉此將可減少倉儲自動化所需的人力，並提升棧板擺放之效率。

以上敘述許多實施例的特徵，使所屬技術領域中具有通常知識者能夠清楚理解本說明書的形態。所屬技術領域中具有通常知識者能夠理解其可利用本發明揭示內容為基礎以設計或更動其他製程及結構而完成相同於上述實施例的目的及/或達到相同於上述實施例的優點。所屬技術領域中具有通常知識者亦能夠理解不脫離本發明之精神和範圍的等效構造可在不脫離本發明之精神和範圍內作任意之更動、替代與潤飾。

S801~S809

Claims

一種物件定位指引方法，包括以下步驟：透過一攝像模組取得一第一影像，其中上述第一影像具有對應於一棧板之一第一棧板影像以及對應於至少一圖標之一第一圖標影像；透過一處理單元根據上述第一影像中上述第一圖標影像決定上述攝像模組與上述圖標之一第一相對關係；透過一第一深度攝影機取得一第二影像，其中上述第二影像具有對應於上述棧板之一第二棧板影像以及對應於上述圖標之一第二圖標影像；透過上述處理單元根據上述第二棧板影像取得一當前物件擺放情況；透過上述處理單元根據上述當前物件擺放情況、複數物件於上述棧板之一物件擺放順序以及上述圖標與上述棧板之一第二相對關係取得一當前物件於上述棧板上之一預定擺放位置；以及透過上述處理單元根據上述預定擺放位置、上述第一相對關係以及上述第二相對關係於上述第一影像中取得對應於當前物件之一預定擺放座標；透過上述第一深度攝影機取得一第五影像；透過一第二深度攝影機取得一第六影像；透過上述處理單元根據上述第五影像以及上述第六影像取得對應於上述棧板之點雲資訊；透過上述處理單元根據上述點雲資訊判斷對應於上述當前物件擺放情況之一棧板體積；以及透過上述處理單元根據上述棧板體積、一棧板尺寸以及一物件尺寸判斷上述當前物件擺放情況是否出現異常。
如申請專利範圍第1項所述之物件定位指引方法，更包括：透過上述處理單元根據上述預定擺放座標於上述第一影像中標示上述預定擺放位置；以及透過一顯示單元顯示具有上述預定擺放位置之一第三影像；其中上述顯示模組與上述攝像模組設置於相同的位置。
如申請專利範圍第1項所述之物件定位指引方法，更包括：透過上述第一深度攝影機取得一第四影像，其中上述第四影像中具有對應於上述棧板之一第三棧板影像以及對應於上述圖標之一第三圖標影像；透過上述處理單元根據上述第四影像之深度資訊執行一地板平面偵測以定義對應於上述第三棧板影像之一棧板區域；以及透過上述處理單元根據上述棧板區域以及上述第三圖標影像決定上述圖標與上述棧板之上述第二相對關係。
如申請專利範圍第1項所述之物件定位指引方法，其中上述第一深度攝影機以及上述第二深度攝影機分別設置於上述棧板之對角。
如申請專利範圍第1項所述之物件定位指引方法，其中上述定位物件為具有二維編碼之一圖標或者具有不對稱形狀之一立體物件。
一種物件定位指引系統，包括：一攝像模組，用以取得一第一影像，其中上述第一影像具有對應於一棧板之一第一棧板影像以及對應於至少一圖標之一第一圖標影像；一第一深度攝影機，用以取得一第二影像，其中上述第二影像具有對應於上述棧板之一第二棧板影像以及對應於上述圖標之一第二圖標影像；一儲存單元，用以儲存上述攝像模組與上述圖標之一第一相對關係、複數物件於上述棧板之一物件擺放順序以及上述圖標與上述棧板之一第二相對關係；以及一處理單元，用以：根據上述第一影像中上述第一圖標影像決定上述攝像模組與上述圖標之上述第一相對關係；根據上述第二棧板影像取得一當前物件擺放情況；根據上述當前物件擺放情況、上述擺放順序以及上述圖標與上述棧板之上述第二相對關係取得一當前物件於上述棧板上之一預定擺放位置；以及根據上述預定擺放位置、上述第一相對關係以及上述第二相對關係於上述第一影像中取得對應於上述當前物件之一預定擺放座標；其中上述處理單元更根據一第五影像以及一第六影像取得對應於上述棧板之點雲資訊，根據上述點雲資訊判斷對應於上述當前物件擺放情況之一棧板體積，以及根據上述棧板體積、一棧板尺寸以及一物件尺寸判斷上述當前物件擺放情況是否出現異常，其中上述第五影像為上述第一深度影像所取得，上述第六影像為一第二深度攝影機所取得。
如申請專利範圍第6項所述之物件定位指引系統，其中上述處理單元更根據上述預定擺放座標於上述第一影像中標示上述預定擺放位置，以及透過一顯示單元顯示具有上述預定擺放位置之一第三影像，其中上述顯示模組與上述攝像模組設置於相同的位置。
如申請專利範圍第6項所述之物件定位指引系統，其中上述第一深度攝影機更取得具有對應於上述棧板之一第三棧板影像以及對應於上述圖標之一第三圖標影像之一第四影像，上述處理單元更根據上述第四影像之深度資訊執行一地板平面偵測以定義對應於上述第三棧板影像之一棧板區域，以及根據上述棧板區域以及上述第三圖標影像決定上述圖標與上述棧板之上述第二相對關係。
如申請專利範圍第6項所述之物件定位指引系統，其中上述第一深度攝影機以及上述第二深度攝影機分別設置於上述棧板之對角。
如申請專利範圍第6項所述之物件定位指引系統，其中上述定位物件為具有二維編碼之一圖標或者具有不對稱形狀之一立體物件。