TW202035255A

TW202035255A - 物件運送方法及系統

Info

Publication number: TW202035255A
Application number: TW108110079A
Authority: TW
Inventors: 陳政隆; 春祿阮; 賴宗誠
Original assignee: 所羅門股份有限公司
Priority date: 2019-03-22
Filing date: 2019-03-22
Publication date: 2020-10-01
Also published as: TWI675000B

Abstract

一種物件運送方法包含：(A)在一運送單元的一固持模組固持一物件的情形下，一處理單元控制一深度相機進行拍攝以獲得一筆參考資料，該參考資料指示出該物件所呈現出的一初始姿態；(B)該處理單元將該參考資料與一預先儲存的模板資料比對而產生一筆校正資料，該模板資料指示出另一物件所呈現出的一目標姿態，且該校正資料相關於該物件於該初始姿態與該目標姿態之間在三維空間中的偏移量；(C)該處理單元根據該校正資料及一預先儲存的預定路徑控制該固持模組被帶動至一校正位置後解除固持該物件。

Description

物件運送方法及系統

本發明是有關於一種物件運送方法及系統，特別是指一種涉及影像辨識的物件運送方法及系統。

在現代社會中，許多產業皆已逐步朝向全自動化發展以節省人力成本。舉例來說，在自動化的生產、加工或包裝產線上，機械手臂常被應用於將多個物件逐一運送至待加工的區域（例如輸送帶或者加工平台上），以準備對物件進行下一道加工程序。

然而，在每一次將物件運送至待加工區域的過程中，機械手臂取得物件時與物件接觸的位置皆不相同，因此，每一個物件在被機械手臂固持時所呈現的姿態也都不一樣。如此一來，就算機械手臂運送物件的路徑固定，被機械手臂放置在待加工區域的物件仍可能會產生角度或位置上的明顯偏移。

對於需要高精確度的自動加工程序而言，若物件在待加工區域內的姿態偏差過大，便容易造成加工結果不如預期，甚至導致加工失敗而增加時間及物料成本。因此，現有技術在物件的運送上仍存在明顯的改善空間。

本發明之其中一目的，在於提供一種能改善現有技術之不足的物件運送方法。

於是，本發明物件運送方法由一物件運送系統對一物件實施，該物件運送系統包含一深度相機、一適用於移動該物件的運送單元及一處理單元，該運送單元包括一可被帶動且適用於固持該物件的固持模組。該物件運送方法包含：(A)在該固持模組固持該物件的情形下，該處理單元控制該深度相機進行拍攝以獲得一筆參考資料，該參考資料指示出該物件於該深度相機的一拍攝範圍內所呈現出的一初始姿態；(B)該處理單元將該參考資料與一預先儲存的模板資料比對而產生一筆校正資料，該模板資料指示出另一物件於該拍攝範圍內所呈現出的一目標姿態，且該校正資料相關於該物件於該初始姿態與該目標姿態之間在三維空間中的偏移量；(C)該處理單元根據該校正資料及一預先儲存的預定路徑控制該固持模組被帶動至一校正位置後解除固持該物件。

在本發明物件運送方法的一些實施態樣中，該參考資料及該模板資料各包含多筆座標點資料，且每一座標點資料包含一個二維影像部分及一個三維點雲部分，並且，步驟(B)包含：(b1)該處理單元利用實例分割技術根據該參考資料的該等二維影像部分辨識出該物件所呈現出的該初始姿態；(b2)該處理單元根據該初始姿態與該目標姿態之間在二維平面上的差異產生一預估偏移結果；(b3)該處理單元以該預估偏移結果為基準地以該參考資料的該等三維點雲部分與該模板資料的該等三維點雲部分進行三維匹配，並根據三維匹配的結果產生該校正資料。

在本發明物件運送方法的一些實施態樣中，在步驟(b2)中，該預估偏移結果指示出該物件於該初始姿態與該目標姿態之間在三維空間中的預估偏移程度，並且，在步驟(b3)中，該處理單元是先根據該預估偏移結果產生一對應該預估偏移結果的初步匹配資料，再根據該初步匹配資料對該參考資料的該等三維點雲部分進行一初步匹配處理，然後，該處理單元再以經過該初步匹配處理之該參考資料的該等三維點雲部分與該模板資料的該等三維點雲部分進行三維匹配，其中，該初步匹配處理是根據該初步匹配資料對該參考資料的該等三維點雲部分進行三維空間中的位移及旋轉，且該初步匹配資料包含一初步匹配位移方向、一初步匹配位移距離、一初步匹配旋轉方向以及一初步匹配旋轉角度。

在本發明物件運送方法的一些實施態樣中，在步驟(A)中，該參考資料具有多個對應於該物件的參考特徵部位，並且，在步驟(B)中，該模板資料具有多個分別對應該等參考特徵部位的目標特徵部位，並且，該處理單元是根據每一參考特徵部位與該參考特徵部位所對應的該目標特徵部位之間在三維空間中的相對位置產生該校正資料。

在本發明物件運送方法的一些實施態樣中，在步驟(B)中，該校正資料包含一位移校正資料及一旋轉校正資料，該位移校正資料對應於該物件於該初始姿態與該目標姿態之間在三維空間中的位置偏移，該旋轉校正資料對應於該物件於該初始姿態與該目標姿態之間在三維空間中的角度偏移。

在本發明物件運送方法的一些實施態樣中，該物件運送系統還包含一儲存單元，且該物件運送方法還包含位於步驟(A)之前的：(D)在該固持模組固持另該物件的情形下，該處理單元控制該固持模組被帶動至一對應該深度相機的拍攝位置，並控制該深度相機進行拍攝以獲得該模板資料；(E)該處理單元將該模板資料儲存於該儲存單元；(F)在該固持模組固持該物件的情形下，該處理單元控制該固持模組被帶動至該拍攝位置，並執行步驟(A)。

在本發明物件運送方法的一些實施態樣中，該儲存單元儲存有一以深度學習的方式所訓練的物件辨識類神經網路模型，該運送單元還包括一用於帶動該固持模組的機械手臂，以及一可被該機械手臂帶動且與該固持模組位置相對應的攝影模組；該物件運送方法還包含一介於步驟(E)及(F)之間的：(G)該處理單元藉由該物件辨識類神經網路模型以及該攝影模組的機器視覺從其他多個物件中辨識出該物件，且控制該機械手臂將該固持模組帶動至該物件的位置，並控制該固持模組固持該物件。

在本發明物件運送方法的一些實施態樣中，該物件運送系統是包含多台深度相機，且該等深度相機的多個拍攝鏡頭分別從多個不同的方向對準一拍攝位置；

該物件運送方法還包含位於步驟(A)之前的：(H)在該固持模組固持另該物件且位於該拍攝位置的情形下，該處理單元控制該等深度相機分別進行拍攝以獲得多個三維點雲模板，並將該等三維點雲模板以三维拼接的方式合併為該模板資料並儲存該模板資料。在步驟(A)中，在該固持模組位於該拍攝位置的情形下，該處理單元是控制該等深度相機分別進行拍攝以獲得多個三維點雲模型，並將該等三維點雲模型以三维拼接的方式合併為該參考資料。

本發明之另一目的，在於提供能實施該物件運送方法的一種物件運送系統。

本發明物件運送系統適用於運送一物件，該物件運送系統包含一深度相機、一運送單元及一電連接該深度相機及該運送單元的處理單元。該運送單元適用於移動該物件，並包括一可被帶動且適用於固持該物件的固持模組。在該固持模組固持該物件的情形下，該處理單元控制該深度相機進行拍攝以獲得一筆參考資料，該參考資料指示出該物件於該深度相機的一拍攝範圍內所呈現出的一初始姿態，該處理單元將該參考資料與一預先儲存的模板資料比對而產生一筆校正資料，該模板資料指示出另一物件於該拍攝範圍內所呈現出的一目標姿態，且該校正資料相關於該物件於該初始姿態與該目標姿態之間在三維空間中的偏移量，該處理單元根據該校正資料及一預先儲存的預定路徑控制該固持模組被帶動至一校正位置後解除固持該物件。

在本發明物件運送系統的一些實施態樣中，該物件運送系統是包含多台深度相機，且該等深度相機的多個拍攝鏡頭分別從多個不同的方向對準一拍攝位置，在該固持模組固持另該物件且位於該拍攝位置的情形下，該處理單元控制該等深度相機分別進行拍攝以獲得多個三維點雲模板，並將該等三維點雲模板以三维拼接的方式合併為該模板資料並儲存該模板資料，在該固持模組位於該拍攝位置的情形下，該處理單元是控制該等深度相機分別進行拍攝以獲得多個三維點雲模型，並將該等三維點雲模型以三维拼接的方式合併為該參考資料。

本發明之功效在於：該物件運送系統能根據該物件於該初始姿態與該目標姿態之間在三維空間中的偏移量產生該校正資料，並根據該校正資料及該預定路徑控制該固持模組被帶動至該校正位置，而能藉此校正該物件於該初始姿態與該目標姿態之間在三維空間中的偏移，如此一來，該物件運送系統能使多個物件以更加統一的姿態被放置到待加工位置，因此有利於後續的各種自動加工程序，而的確能改善現有技術之不便。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。此外，本專利說明書中所述的「電連接」是泛指多個電子設備/裝置/元件之間透過導電材料相連接而達成的有線電連接，以及透過無線通訊技術進行無線信號傳輸的無線電連接。並且，本專利說明書中所述的「電連接」亦泛指兩個電子設備/裝置/元件之間直接相連而形成的「直接電連接」，以及兩個電子設備/裝置/元件之間還透過其他電子設備/裝置/元件相連而形成的「間接電連接」。

同時參閱圖1及圖2，本發明物件運送系統1的一第一實施例適用於將一堆交錯堆疊的物件5（如圖2所示）逐一地從一待運送位置運送至一待加工位置。該等物件5彼此相同且可例如是某種電子產品的零組件，而該待加工位置可例如是一輸送帶或者一加工平台上的特定位置，但並不以此為限。

該物件運送系統1包含一深度相機11、一適用於逐一運送該等物件5的運送單元12、一儲存單元13，以及一電連接該深度相機11、該運送單元12及該儲存單元13的處理單元14。

如圖2所示，該深度相機11具有一拍攝鏡頭111，並且，該深度相機11是被固定地設置，以使得該拍攝鏡頭111對準一拍攝位置。補充說明的是，該深度相機11在本實施例中例如是被實施為一應用飛時測距（英文為Time of Flight，簡稱ToF）技術的深度相機。然而，在其他實施例中，該深度相機11也可被實施為應用結構光（英文為Structured Light）技術或者立體視覺（英文為Stereo Vision）技術的深度相機，而並不以本實施例為限。

該運送單元12包括一可活動地機械手臂121、一能夠固持該等物件5其中任一者的固持模組122，以及一攝影模組123。

該機械手臂121具有一固定端124、一相反於該固定端124的自由端125，以及多個位於該固定端124及該自由端125之間的可動關節126（圖2中僅示例性地示出兩個可動關節126，但在實際的實施態樣中，該等可動關節126的數量可為更多個）。

該固持模組122設置於該機械手臂121的自由端125，藉此，該機械手臂121能夠帶動該固持模組122在一工作範圍內進行各方向的位移及旋轉。並且，該固持模組122在本實施例中例如被實施為一夾具，而能以夾取的方式固持該等物件5的其中任一者。然而，在其他實施中，該固持模組122亦可根據不同需求地被實施為一吸盤、一抱具或一針爪等不同類型的機械手臂末端工具（英文為End of Arm Tooling，簡稱EOAT），也就是說，該固持模組122的具體實施態樣只要能夠固持該等物件5的其中任一者即可實施，而並不以本實施例為限。

該攝影模組123設置於該機械手臂121且與該固持模組122位置相對應，更具體地說，該攝影模組123例如是較遠離於該機械手臂121的固定端124而較鄰近於該機械手臂121的自由端125。藉此，該攝影模組123能夠與該固持模組122一同被該機械手臂121帶動。進一步說明的是，該攝影模組123在本實施例中例如是被實施為獨立於該深度相機11的另一台深度相機，而且，較佳地，該攝影模組123例如是被實施為應用立體視覺技術的深度相機，而有助於降低該運送單元12整體的成本，但並不以此為限。

如圖1所示的，該儲存單元13儲存有一預定路徑R、一對應該等物件5之外觀的物件辨識類神經網路模型M1，以及一對應該等物件5之外觀的實例分割類神經網路模型M2。

該預定路徑R在本實施例中是用於供該處理單元14控制該機械手臂121帶動該固持模組122由該拍攝位置移動至一鄰近該待加工位置的預定位置，且該預定路徑R例如是包含多個彼此之間具有順序性的三維座標，但並不以此為限。

該物件辨識類神經網路模型M1是以深度學習的方式所訓練而成，並且，藉由該物件辨識類神經網路模型M1，即便該等物件5彼此交錯堆疊，該處理單元14仍能根據該攝影模組123的機器視覺辨識出該等物件5中位於最上層的其中一至多者，並辨識出位於最上層之每一物件5的位置及角度。

該實例分割類神經網路模型M2亦是以深度學習的方式所訓練而成，並且，藉由該實例分割類神經網路模型M2，該處理單元14能利用實例分割（英文為Instance Segmentation）技術從一幅二維影像中辨識出各個獨立物體的外型輪廓。更進一步地說，在本實施例中，該實例分割類神經網路模型M2例如是基於「Mask R-CNN」技術配合深度學習而完成，但不以此為限。補充說明的是，「R-CNN」的全名為「Region-based Convolutional Neural Network 」，而「Convolutional Neural Network」的中文是「卷積神經網路」。此外，在其他實施例中，該實例分割類神經網路模型M2亦可是基於其他種類的卷積神經網路相關技術配合深度學習而完成，故並不以本實施例為限。

該處理單元14在本實施例中例如被實施為一台電腦的中央處理模組，並且，較佳地，該處理單元14例如是被實施為一台工作站（Workstation）等級電腦的中央處理模組，但並不以此為限。

以下示例性地詳細說明本實施例的該物件運送系統1如何實施一物件運送方法。在本實施例中，該物件運送方法包含一建模流程以及一位於該建模流程之後的運送流程。具體來說，該建模流程是由該物件運送系統1對一個與該等物件5實質上完全相同的建模用物件（圖式未示出）進行，而該運送流程則為該物件運送系統1實際將每一物件5運送至該待加工位置的過程。

參閱圖3並配合參閱圖1，以下先對該物件運送方法的建模流程進行說明。

首先，在步驟S11中，該處理單元14控制該機械手臂121將該固持模組122帶動至該拍攝位置，並控制該固持模組122固持著該建模用物件，以使該建模用物件顯露於該深度相機11的一拍攝範圍之內。補充說明的是，在本步驟中，該建模用物件受該固持模組122固持的位置及角度可以選擇性地透過人為進行手動調整，以使得該建模用物件相對於該深度相機11是呈現被擺正的角度且位於該拍攝範圍的中心，但不以此為限。

配合參閱圖4，接著，在步驟S12中，該處理單元14控制該深度相機11進行拍攝，而藉此從該深度相機11獲得一筆模板資料D1（示於圖4）。在本實施例中，該模板資料D1指示出該建模用物件在該深度相機11的拍攝範圍內所呈現的一目標姿態，更明確地說，該目標姿態在本實施例中代表該建模用物件在該拍攝範圍內所呈現的位置及角度。

在本實施例中，該模板資料D1包含多筆座標點資料，且每一座標點資料包含一個二維影像部分及一個三維點雲部分。每一個二維影像部分包含一紅色色彩值、一綠色色彩值及一藍色色彩值，而每一個三維點雲部分則包含一X軸座標值、一Y軸座標值及一Z軸座標值。

更具體地說，該模板資料D1的該等二維影像部分共同構成一被包含於該模板資料D1內且為彩色的二維目標影像D11（也就是一張彩色照片），且該二維目標影像D11具有一呈現出該建模用物件之外觀的二維目標部分D111。另一方面，該模板資料D1的該等三維點雲部分則共同構成一被包含於該模板資料D1內的三維點雲模板D12（也就是一個3D Model），且該三維點雲模板D12具有一呈現出該建模用物件之外觀的三維目標部分D121。換句話說，該模板資料D1的該等二維影像部分共同指示出該建模用物件在二維平面中所呈現的該目標姿態，而該模板資料D1的該等三維點雲部分則共同指示出該建模用物件在三維空間中所呈現的該目標姿態。

接著，在步驟S13中，該處理單元14對該模板資料D1進行一背景濾除處理，並將完成該背景濾除處理的該模板資料D1儲存於該儲存單元13。具體而言，該背景濾除處理是對該模板資料D1的三維點雲模板D12進行，且例如是將該三維點雲模板D12中深度大於一預定門檻的每一個三維點雲部分作為雜訊濾除，藉此，便能夠濾除該三維點雲模板D12中的部分背景而保留該三維目標部分D121。並且，該三維目標部分D121在該三維點雲模板D12中的位置被作為一目標位置，而該三維目標部分D121在該三維點雲模板D12中的角度則被作為一目標角度。補充說明的是，從應用上的意義來說，該模板資料D1是用於定義該固持模組122固持每一物件5並且位於該拍攝位置時，受該固持模組122所固持的物件5在該拍攝範圍中所應呈現的理想位置及角度。

上述的步驟S11至步驟S13即為該物件運送方法的建模流程。接著，參閱圖5並配合參閱圖1及圖4，以下對該物件運送方法的運送流程進行說明，並且，為了便於描述及理解，以下僅說明該物件運送系統1對該等物件5的其中一者（以下以「該物件5」稱之）進行運送的過程。

首先，在步驟S21中，該處理單元14控制該機械手臂121將該攝影模組123帶動至一對應該待運送位置的攝影位置，以使得該攝影模組123對準該堆物件5，並使該堆物件5中位於最上層的一或多者位於該攝影模組123的攝影範圍之內。

接著，在步驟S22中，該處理單元14藉由該物件辨識類神經網路模型M1以及該攝影模組123的機器視覺從該堆物件5位於最上層的一或多者中辨識出該物件5。

接著，在步驟S23中，該處理單元14控制該機械手臂121將該固持模組122帶動至該物件5的位置，並控制該固持模組122固持該物件5。

接著，在步驟S24中，在該固持模組122固持該物件5的情形下，該處理單元14控制該機械手臂121將該固持模組122帶動至該拍攝位置，以使得該物件5隨著該固持模組122一同被帶動，並使該物件5顯露於該深度相機11的拍攝範圍之內（亦即如圖2所示的情形）。

接著，在步驟S25中，該處理單元14控制該深度相機11進行拍攝，而藉此從該深度相機11獲得一筆參考資料D2（示於圖4）。在本實施例中，該參考資料D2指示出該物件5於該深度相機11的拍攝範圍內所呈現出的一初始姿態，更明確地說，該初始姿態在本實施例中代表該物件5在該拍攝範圍內所呈現的一初始位置及一初始角度。

類似於該模板資料D1地，該參考資料D2亦包含多筆座標點資料，且該參考資料D2的每一座標點資料亦包含一個二維影像部分及一個三維點雲部分，每一個二維影像部分包含一紅色色彩值、一綠色色彩值及一藍色色彩值，而每一個三維點雲部分包含一X軸座標值、一Y軸座標值及一Z軸座標值。並且，該參考資料D2的該等二維影像部分共同構成一被包含於該參考資料D2內且為彩色的二維參考影像D21（也就是另一張彩色照片），且該二維參考影像D21具有一呈現出該物件5之外觀的二維關鍵部分D211。另一方面，該參考資料D2的該等三維點雲部分則共同構成一被包含於該參考資料D2內的三維點雲模型D22（也就是另一個3D Model），且該三維點雲模型D22具有一呈現出該物件5之外觀的三維關鍵部分D221。換句話說，該參考資料D2的該等二維影像部分共同指示出該物件5在二維平面中所呈現的該初始姿態，而該參考資料D2的該等三維點雲部分則共同指示出該物件5在三維空間中所呈現的該初始姿態。特別說明的是，該參考資料D2與該模板資料D1是性質相同但彼此獨立的兩筆資料。

接著，在步驟S26中，該處理單元14對該參考資料D2進行該背景濾除處理。類似於前述地，該背景濾除處理是對該參考資料D2的三維點雲模型D22進行，且例如是將該三維點雲模型D22中深度大於該預定門檻的每一個三維點雲部分作為雜訊濾除，而藉此濾除該三維點雲模型D22中的部分背景而保留該三維關鍵部分D221。

接著，在步驟S27中，該處理單元14將完成該背景濾除處理的該參考資料D2與該模板資料D1比對，並根據比對的結果產生一筆校正資料。在本實施例中，該校正資料包含一位移校正資料及一旋轉校正資料，該位移校正資料對應於該物件5於該初始姿態與該目標姿態之間在三維空間中的位置偏移（也就是距離上的偏移量），而該旋轉校正資料則對應於該物件5於該初始姿態與該目標姿態之間在三維空間中的角度偏移（也就是方向上的偏移量）。更詳細地說，該位移校正資料例如包含一個三維校正位移方向、一個三維校正位移距離、一個三維校正旋轉方向，以及一個三維校正旋轉角度，但不以此為限。

進一步配合參閱圖6，以下詳細說明本實施例中的該處理單元14如何將該參考資料D2與該模板資料D1比對。

首先，在圖6所示的子步驟S271中，藉由該儲存單元13所儲存的該實例分割類神經網路模型M2，該處理單元14利用實例分割技術對該參考資料D2的該二維參考影像D21（也就是該參考資料D2的該等二維影像部分）進行影像辨識，而從該二維參考影像D21中辨識出該二維關鍵部分D211（也就是從該二維參考影像D21中辨識出該物件5的外觀）。

接著，在子步驟S272中，藉由該實例分割類神經網路模型M2，該處理單元14進一步根據該參考資料D2的該二維關鍵部分D211估算出該三維關鍵部分D221於該三維點雲模型D22中的位置及角度，並產生一對應該初始姿態的估算結果。換句話說，該處理單元14是根據該參考資料D2中的彩色照片估算該物件5在三維空間中所呈現的該初始姿態。補充說明的是，在該實例分割類神經網路模型M2的訓練過程中，該實例分割類神經網路模型M2會根據多張該物件5的照片進行深度學習，且該等照片會分別以多個不同的角度呈現出該物件5的外觀，因此，藉由該實例分割類神經網路模型M2，該處理單元14能夠根據該物件5的照片估算出該物件5在三維空間中的概略位置及角度。在本實施例中，該估算結果例如包含一估算位置及一估算角度，但並不以此為限。

接著，在子步驟S273中，該處理單元14將該估算結果的估算位置及估算角度分別與該目標位置及該目標角度比對並產生一預估偏移結果，接著再根據該預估偏移結果產生一對應該預估偏移結果的初步匹配資料。具體而言，該預估偏移結果指示出該物件5於該初始姿態與該目標姿態之間在三維空間中的一預估偏移程度，而該初步匹配資料則相當於是以該預估偏移程度為基準並用於在三維空間中校正該預估偏移程度的預估校正參數。更詳細地說，該初步匹配資料在本實施例中例如包含一初步匹配位移方向、一初步匹配位移距離、一初步匹配旋轉方向以及一初步匹配旋轉角度。

接著，在子步驟S274中，該處理單元14根據該初步匹配資料對該參考資料D2的三維點雲模型D22進行一初步匹配處理。更具體地說，在該初步匹配處理中，該處理單元14是根據該初步匹配位移方向及該初步匹配位移距離對該參考資料D2的三維點雲模型D22進行三維空間中的位移，另一方面，該處理單元14還根據該初步匹配旋轉方向及該初步匹配旋轉角度對該參考資料D2的三維點雲模型D22進行三維空間中的旋轉。具體來說，該初步匹配位移方向及該初步匹配位移距離是用於校正該三維關鍵部分D221於該估算位置與該目標位置之間的差異，而該初步匹配旋轉方向及該初步匹配旋轉角度則是用於校正該三維關鍵部分D221於該估算角度與該目標角度之間的差異，如此一來，便能夠將該三維關鍵部分D221調整為更加接近該三維目標部分D121的姿態。

接著，在子步驟S275中，該處理單元14以經過該初步匹配處理的該三維點雲模型D22與該模板資料D1的三維點雲模板D12進行三維匹配（3D Matching），並根據三維匹配的結果產生該校正資料。更明確地說，該處理單元14是根據該三維關鍵部分D221與該三維目標部分D121進行三維匹配而產生該校正資料。值得一提的是，由於在該處理單元14在子步驟S274中已對該三維點雲模型D22進行該初步匹配處理，因此，在子步驟S275中，該處理單元14相當於以該預估偏移結果為基準地以該三維關鍵部分D221及該三維目標部分D121進行三維匹配。藉由對該三維點雲模型D22進行該初步匹配處理，能夠預先縮小該三維關鍵部分D221與該三維目標部分D121在位置及角度上的差異，如此一來，便能夠以較少的運算量並以較快的速度完成該三維關鍵部分D221與該三維目標部分D121之間的三維匹配。另外，由於三維匹配本身的技術細節並非本專利說明書的重點，故在此不加詳述。

接著，在圖5所示的步驟S28中，該處理單元14根據該校正資料及該預定路徑R控制該機械手臂121活動，以使得該機械手臂121將固持著該物件5的該固持模組122帶動至一對應該校正資料及該預定路徑R的校正位置，具體來說，該校正位置是該固持模組122在該處理單元14根據該校正資料及該預定路徑R控制該機械手臂121活動完畢時所處於的位置。並且，在該固持模組122已被該機械手臂121帶動至該校正位置的情形下，該處理單元14控制該固持模組122解除對該物件5的固持，以完成對該物件5的運送。

具體而言，藉由該處理單元14根據該校正資料控制該機械手臂121活動，能夠校正該物件5於該初始姿態與該目標姿態之間在三維空間中的偏移量。另一方面，藉由該處理單元14根據該預定路徑R控制該機械手臂121活動，則能夠使該固持模組122被該機械手臂121帶動至該預定位置。並且，在本實施例中，較佳地，該處理單元14是同時根據該校正資料及該預定路徑R控制該機械手臂121活動，然而，在其他實施例中，該處理單元14也可以是先根據該校正資料控制該機械手臂121活動，再根據該預定路徑R控制該機械手臂121活動，而並不以本實施例為限。

上述的步驟S21至步驟S28即為該物件運送方法的運送流程。

進一步說明的是，若該物件運送系統1共運送了N個物件5（N為大於1的整數），則相當於執行了N次運送流程，而在該N次的運送流程中，該固持模組122於步驟S23固持各個物件5的接觸位置可能皆不相同，故每一個物件5被該固持模組122固持時所呈現的初始姿態也都不一樣，也就是說，若該處理單元14僅根據該預定路徑R控制該機械手臂121將該固持模組122帶動至該預定位置並解除對物件5的固持，則物件5被放置的實際位置便可能與該待加工位置存在明顯的偏差。

而在本實施例中，該處理單元14在步驟S25中是根據各物件5所呈現的初始姿態來產生對應的校正資料，因此，該校正資料能夠用來控制該機械手臂121將各物件5從各種初始姿態校正為統一的該目標姿態。並且，在步驟S28中，由於該處理單元14是根據該校正資料及該預定路徑R控制該機械手臂121帶動該固持模組122至該校正位置，故相當於根據各物件5的初始姿態而對該預定路徑R校正（亦即校正該預定位置），如此一來，每一個物件5便能被更加準確地放置於該待加工位置。具體來說，本實施例至少能將該等物件5被放置於該待加工位置時的姿態公差縮減至1.5毫米以內，而有利於後續的各種自動加工程序。

以上即為本發明物件運送系統1之第一實施例的說明。

本發明物件運送系統1還具有一第二實施例，以下針對該第二實施例（以下以「本實施例」稱之）與該第一實施例之間的差異進行說明。

在本實施例中，該儲存單元13是儲存該預定路徑R、該物件辨識類神經網路模型M1，以及一對應該等物件5之外觀的特徵辨識類神經網路模型（圖式未示出）。該特徵辨識類神經網路模型是以深度學習的方式所訓練而成，並且，藉由該特徵辨識類神經網路模型，該處理單元14能從二維影像及/或三維點雲中辨識出該物件5之外觀中事先被定義好的一或多個特徵部位。

並且，在本實施例之建模流程的步驟S12中，該模板資料D1的三維點雲模板D12具有多個目標特徵部位，且該等目標特徵部位則皆位於該三維目標部分D121中。另一方面，在該運送流程的步驟S25中，該參考資料D2的三維點雲模型D22具有多個分別對應該等目標特徵部位的參考特徵部位，且該等參考特徵部位則皆位於該三維關鍵部分D221中。

另外，在該運送流程的步驟S27中，該處理單元14將該參考資料D2與該模板資料D1比對的方式與第一實施例不同。

具體而言，在本實施例中，藉由該特徵辨識類神經網路模型，該處理單元14是根據每一參考特徵部位與該參考特徵部位所對應的該目標特徵部位之間在三維空間中的相對位置產生該校正資料。換句話說，在本實施例中，該處理單元14是根據該等目標特徵部位及該等參考特徵部位彼此之間的相對位置比對出該物件5於該初始姿態與該目標姿態之間在三維空間中的偏移，進而產生該校正資料，因此，本實施例並非如第一實施例是以該三維關鍵部分D221與該三維目標部分D121進行三維匹配。然而，本實施例的物件運送系統1亦是藉由該模板資料D1與該參考資料D2的比對而校正每一物件5於該初始姿態與該目標姿態之間在三維空間中的偏移，因此亦能達成與第一實施例相同的技術功效。

此外，在另一實施例中，該物件運送系統1也可以是包含多台深度相機11，且該等深度相機11的拍攝鏡頭111是分別從不同的方向各自對準該拍攝位置。舉例來說，該等深度相機11的數量可例如是三台，且該三台深度相機11的三個拍攝鏡頭111例如是從正面、左側及右側分別對準該拍攝位置。並且，在該建模流程中，在該固持模組122固持著該建模用物件且被該機械手臂121帶動至該拍攝位置的情形下，該處理單元14是控制該三台深度相機11分別拍攝該建模用物件，而藉此從該三台深度相機11分別獲得三個三維點雲模板D12。接著，該處理單元14將該三個三維點雲模板D12以三维拼接（3D Stitching）的方式合併為一個拼接三維點雲模板，並將該拼接三維點雲模板作為模板資料地儲存於該儲存單元13。然後，在該運送流程中，該處理單元14亦是控制該三台深度相機11分別拍攝該物件5，而藉此從該三台深度相機11獲得三個三維點雲模型D22，接著，該處理單元14將該三個三維點雲模型D22以三维拼接的方式合併為一個拼接三維點雲模型。接著，該處理單元14再將該拼接三維點雲模型作為該參考資料而與該模板資料（也就是該拼接三維點雲模板）比對，且比對的方式可例如是採用第一實施例中所述的三維匹配（3D Matching），或者也可以採用第二實施例中所述的特徵部位比對。藉由合併該等三維點雲模板D12及合併該等三維點雲模型D22，能夠使的被用來比對的三維點雲更加完整，而能進一步提升比對及校正的精準度。

綜上所述，在本發明物件運送系統1的每一實施例中，該物件運送系統1皆能根據該物件於該初始姿態與該目標姿態之間在三維空間中的偏移量產生該校正資料，並根據該校正資料及該預定路徑R控制該機械手臂121活動，而能藉此校正該物件5於該初始姿態與該目標姿態之間在三維空間中的偏移，如此一來，該物件運送系統1便能使該等物件5以更加統一的姿態被放置到該待加工位置，而有利於後續的各種自動加工程序（尤其是需要高精確度的自動加工程序），因此，該物件運送系統1的確能改善現有技術之不便，而確實能達成本發明之目的。

惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。

1:物件運送系統 11:深度相機 111:拍攝鏡頭 12:運送單元 121:機械手臂 122:固持模組 123:攝影模組 124:固定端 125:自由端 126:可動關節 13:儲存單元 14:處理單元 R:預定路徑 M1:物件辨識類神經網路模型 M2:實例分割類神經網路模型 5:物件 D1:模板資料 D11:二維目標影像 D111:二維目標部分 D12:三維點雲模板 D121:三維目標部分 D2:參考資料 D21:二維參考影像 D211:二維關鍵部分 D22:三維點雲模型 D221:三維關鍵部分 S11~S13:步驟 S21~S28:步驟 S271~S275:子步驟

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一方塊示意圖，示例性地繪示本發明物件運送系統的一第一實施例；圖2是一示意圖，示例性地繪示該第一實施例的一機械手臂固持著一物件並供一深度相機拍攝；圖3是一流程圖，示例性地說明該第一實施例如何實施一物件運送方法中的一建模流程；圖4是一示意圖，示例性地繪示該物件運送方法中所產生的一筆模板資料及一筆參考資料；圖5是一流程圖，示例性地說明該第一實施例如何實施該物件運送方法中的一運送流程；及圖6是一流程圖，示例性地說明一處理單元如何比對參考資料及該模板資料。

S21~S28:步驟

Claims

一種物件運送方法，由一物件運送系統對一物件實施，該物件運送系統包含一深度相機、一適用於移動該物件的運送單元及一處理單元，該運送單元包括一可被帶動且適用於固持該物件的固持模組；該物件運送方法包含： (A)在該固持模組固持該物件的情形下，該處理單元控制該深度相機進行拍攝以獲得一筆參考資料，該參考資料指示出該物件於該深度相機的一拍攝範圍內所呈現出的一初始姿態； (B)該處理單元將該參考資料與一預先儲存的模板資料比對而產生一筆校正資料，該模板資料指示出另一物件於該拍攝範圍內所呈現出的一目標姿態，且該校正資料相關於該物件於該初始姿態與該目標姿態之間在三維空間中的偏移量；及 (C)該處理單元根據該校正資料及一預先儲存的預定路徑控制該固持模組被帶動至一校正位置後解除固持該物件。
如請求項1所述的物件運送方法，其中，該參考資料及該模板資料各包含多筆座標點資料，且每一座標點資料包含一個二維影像部分及一個三維點雲部分，並且，步驟(B)包含： (b1)該處理單元利用實例分割技術根據該參考資料的該等二維影像部分辨識出該物件所呈現出的該初始姿態； (b2)該處理單元根據該初始姿態與該目標姿態之間在二維平面上的差異產生一預估偏移結果；及 (b3)該處理單元以該預估偏移結果為基準地以該參考資料的該等三維點雲部分與該模板資料的該等三維點雲部分進行三維匹配，並根據三維匹配的結果產生該校正資料。
如請求項2所述的物件運送方法，其中，在步驟(b2)中，該預估偏移結果指示出該物件於該初始姿態與該目標姿態之間在三維空間中的預估偏移程度，並且，在步驟(b3)中，該處理單元是先根據該預估偏移結果產生一對應該預估偏移結果的初步匹配資料，再根據該初步匹配資料對該參考資料的該等三維點雲部分進行一初步匹配處理，然後，該處理單元再以經過該初步匹配處理之該參考資料的該等三維點雲部分與該模板資料的該等三維點雲部分進行三維匹配，其中，該初步匹配處理是根據該初步匹配資料對該參考資料的該等三維點雲部分進行三維空間中的位移及旋轉，且該初步匹配資料包含一初步匹配位移方向、一初步匹配位移距離、一初步匹配旋轉方向以及一初步匹配旋轉角度。
如請求項1所述的物件運送方法，其中，在步驟(A)中，該參考資料具有多個對應於該物件的參考特徵部位，並且，在步驟(B)中，該模板資料具有多個分別對應該等參考特徵部位的目標特徵部位，並且，該處理單元是根據每一參考特徵部位與該參考特徵部位所對應的該目標特徵部位之間在三維空間中的相對位置產生該校正資料。
如請求項1所述的物件運送方法，其中，在步驟(B)中，該校正資料包含一位移校正資料及一旋轉校正資料，該位移校正資料對應於該物件於該初始姿態與該目標姿態之間在三維空間中的位置偏移，該旋轉校正資料對應於該物件於該初始姿態與該目標姿態之間在三維空間中的角度偏移。
如請求項1所述的物件運送方法，其中，該物件運送系統還包含一儲存單元，且該物件運送方法還包含位於步驟(A)之前的： (D)在該固持模組固持另該物件的情形下，該處理單元控制該固持模組被帶動至一對應該深度相機的拍攝位置，並控制該深度相機進行拍攝以獲得該模板資料； (E)該處理單元將該模板資料儲存於該儲存單元；及 (F)在該固持模組固持該物件的情形下，該處理單元控制該固持模組被帶動至該拍攝位置，並執行步驟(A)。
如請求項6所述的物件運送方法，其中，該儲存單元儲存有一以深度學習的方式所訓練的物件辨識類神經網路模型，該運送單元還包括一用於帶動該固持模組的機械手臂，以及一可被該機械手臂帶動且與該固持模組位置相對應的攝影模組；該物件運送方法還包含一介於步驟(E)及(F)之間的：(G)該處理單元藉由該物件辨識類神經網路模型以及該攝影模組的機器視覺從其他多個物件中辨識出該物件，且控制該機械手臂將該固持模組帶動至該物件的位置，並控制該固持模組固持該物件。
如請求項1所述的物件運送方法，其中，該物件運送系統是包含多台深度相機，且該等深度相機的多個拍攝鏡頭分別從多個不同的方向對準一拍攝位置；該物件運送方法還包含位於步驟(A)之前的：(H)在該固持模組固持另該物件且位於該拍攝位置的情形下，該處理單元控制該等深度相機分別進行拍攝以獲得多個三維點雲模板，並將該等三維點雲模板以三维拼接的方式合併為該模板資料並儲存該模板資料；在步驟(A)中，在該固持模組位於該拍攝位置的情形下，該處理單元是控制該等深度相機分別進行拍攝以獲得多個三維點雲模型，並將該等三維點雲模型以三维拼接的方式合併為該參考資料。
一種物件運送系統，適用於運送一物件，該物件運送系統包含：一深度相機；一運送單元，適用於移動該物件，並包括一可被帶動且適用於固持該物件的固持模組；及一處理單元，電連接該深度相機及該運送單元；其中，在該固持模組固持該物件的情形下，該處理單元控制該深度相機進行拍攝以獲得一筆參考資料，該參考資料指示出該物件於該深度相機的一拍攝範圍內所呈現出的一初始姿態，該處理單元將該參考資料與一預先儲存的模板資料比對而產生一筆校正資料，該模板資料指示出另一物件於該拍攝範圍內所呈現出的一目標姿態，且該校正資料相關於該物件於該初始姿態與該目標姿態之間在三維空間中的偏移量，該處理單元根據該校正資料及一預先儲存的預定路徑控制該固持模組被帶動至一校正位置後解除固持該物件。
如請求項9所述的物件運送系統，是包含多台深度相機，且該等深度相機的多個拍攝鏡頭分別從多個不同的方向對準一拍攝位置，在該固持模組固持另該物件且位於該拍攝位置的情形下，該處理單元控制該等深度相機分別進行拍攝以獲得多個三維點雲模板，並將該等三維點雲模板以三维拼接的方式合併為該模板資料並儲存該模板資料，在該固持模組位於該拍攝位置的情形下，該處理單元是控制該等深度相機分別進行拍攝以獲得多個三維點雲模型，並將該等三維點雲模型以三维拼接的方式合併為該參考資料。