TWI811816B

TWI811816B - 周邊物體快速探知方法及其系統

Info

Publication number: TWI811816B
Application number: TW110139140A
Authority: TW
Inventors: 林柏廷; 林照益
Original assignee: 國立臺灣科技大學
Priority date: 2021-10-21
Filing date: 2021-10-21
Publication date: 2023-08-11
Also published as: TW202318270A

Abstract

一種周邊物體快速探知方法適用於一本體，定義本體在一工作空間內包括第u個運動姿態，且在第u個運動姿態下的第i個可運動部件上的第j個位置座標記作Q _i,j(u)。所述周邊物體快速探知方法包含訓練步驟，及取得回饋值步驟。本發明通過預先建立的機器學習系統來得到本體的各種運動姿態、各種探測位置及與待測物最短距離的關係，藉此大幅縮短於現場探知周邊物體相對幾何關係所耗費的時間。本發明應用於機械手臂防碰撞領域時，由於是採非接觸式的防撞設計，所以能改善現有接觸式防撞設計所面臨到的缺點。

Description

周邊物體快速探知方法及其系統

本發明是有關於一種周邊物體測距方法及其系統，特別是指一種於現場使用時極為省時的周邊物體快速探知方法及其系統。

隨著工業技術的快速發展，自動化技術已被廣泛地應用於各行各業中，舉例來說，通過機械手臂或其他類似的設備，來協助生產以提高工廠的生產效率。然而機械手臂在運作過程中，其工作空間內可能會有人員或其他障礙物的存在，目前為了避免機械手臂因碰撞而損壞，常見的防撞安全技術大致包括以下三種：

第一種、利用阻力與工作電流的限制關係來達成保護目的，其原理是當機械手臂碰撞到障礙物時，會因為遇到阻力而使得用於控制機械手臂的馬達的電流加大，進而可藉此設定當工作電流超出限制時，便停止機械手臂運作。

第二種、利用智慧皮膚的方式來達成保護的目的，其原理是在機械手臂的表面上佈滿壓力感測器，當機械手臂碰撞到障礙物時，所述壓力感應器便會發出信號，控制機械手臂停止運作，然而，此種方式必須在機械手臂上盡可能佈滿感測器，所以除了有增加機械手臂整體重量的缺點外，也會因為配裝感測器的工序麻煩，進而增加生產成本。上述兩種技術皆是採用接觸式，即必須碰觸到障礙物後，才會觸發停止運作的限制條件，故當機械手臂碰撞到人員或障礙物時，往往已發生人員受傷、產品損毀或機械手臂損壞的情形。另外現有機械手臂只針對其末端器(end effector)進行防撞效果的設計，並非是以機械手臂整體為考量，所以防撞效果實屬有限。

第三種、採用非接觸式防撞安全技術，目前常見的技術手段是通過裝設攝像機後，再利用攝像機即時地拍攝現場圖像來建構三維資訊，藉此進一步計算機械手臂與障礙物之防撞間距。又，現有機械手臂是採高自由度(即多軸機械手臂)，所以關於防撞間距之考量，必須將機械手臂的每個部件一一與障礙物進行距離計算，所得結果方才具有可靠度，而且此過程每隔一秒就必須重新重頭計算，由此可知採用此種周邊物體測距方法，於現場使用上會因為所需處理的計算量過於龐大而存有極為耗時之缺點，而且也可能會影響到探知周遭物體相對幾何關係之即時性，進而產生碰撞的風險。

因此，本發明之目的，即在提供一種能克服先前技術中至少一個缺點，且能快速偵測與周邊物體相對幾何關係的周邊物體快速探知方法。

於是，本發明周邊物體快速探知方法，適用於一本體，該本體包括至少一個可運動部件，且通過該至少一個可運動部件在不同位置上的排列，以建構多個不同運動姿態。定義該本體在一工作空間內包括第u個運動姿態，且在第u個運動姿態下的第i個可運動部件上的第j個位置座標為Q _i,j(u)，其中i,j,u屬於正整數。

該周邊物體快速探知方法包含訓練步驟及取得回饋值步驟。在所述訓練步驟中，建立一機器學習系統。所述機器學習系統係用以學習該本體在第u個運動姿態下的第i個可運動部件上的第j個位置座標為Q _i,j(u)與第v個探測位置座標R _v兩者間的最短距離d_min(u,R _v)關係，其中v屬於正整數，最短距離d_min(u,R _v)係根據多個所得到的d_i,j,v(u)=∥Q _i,j(u)-R _v∥方程式之中取最小值。

在取得回饋值步驟中，將該本體於一工作時間下所對應的運動姿態及一周邊物體座標代入該機器學習系統，以得到一距離回饋值。

本發明之另一目的，即在提供一種利用上述周邊物體快速探知方法的周邊物體快速探知系統。

於是，本發明周邊物體快速探知系統包含一本體與一主機。該本體包括至少一個可運動部件，該本體通過該至少一個可運動部件在不同位置上的排列，以建構多個不同運動姿態。定義該本體在一工作空間內包括第u個運動姿態，且在第u個運動姿態下的第i個可運動部件上的第j個位置座標為Q _i,j(u)，其中i,j,u屬於正整數。該主機電連接該本體，並包括一資料庫及一運算控制模組。該資料庫，儲存如前述所述機器學習系統中所接觸到的數據。該運算控制模組電性連接該資料庫，該運算控制模組執行如前述所述取得回饋值步驟，並根據該距離回饋值控制該本體移動。

本發明之功效在於：通過預先建立的機器學習系統來得到本體的各種運動姿態與各種探測位置及最短距離的各種可能關係，所以於現場使用時，只需根據本體當下的運動姿態及周邊物體座標，將其代入機器學習系統便能快速得到先前技術中所欲計算的最短距離，藉此大幅縮短於現場探知周邊物體相對幾何關係所耗費的時間。當本發明應用於機械手臂防碰撞領域時，由於是採非接觸式的防撞設計，所以能改善現有接觸式防撞設計所面臨到的缺點。此外，本發明也可應用於路面載具防碰撞領域，並對其進行運動路徑之規劃。

1:本體

11:可運動部件

2:主機

21:資料庫

22:運算控制模組

23:訊號接收模組

91:機械手臂

A:初始位置

B:目標位置

P:移動路徑

P _i-i:中繼點

P _i:中繼點

P _i+i:中繼點

P’_i:修正後的中繼點

S101:訓練步驟

S102:取得回饋值步驟

S103:取得控制變量步驟

S104:建立判斷函數步驟

S105:修正路徑步驟

S106:最佳化修正路徑步驟

b1、b2:障礙物

、

:變異量

X ^u、X ²、X ³:控制變量

d_i,j(u,R _v)、d_i+1,j(u,R _v)、d_i+1,j+1(u,R _v+1):距離

Q _i,j(u)、Q _i+1,j(u)、Q _i+1,j+1(u):位置座標

Q _i,j(u+1)、Q _i+1,j(u+1)、Q _i+1,j+1(u+1):位置座標

d_i,j(u+1,R _v)、d_i+1,j(u+1,R _v)、d_i+1,j+1(u+1,R _v+1)、d_i,j,v(u):距離

R _v、R _v+1:探測位置座標

O:判斷函數

本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：

圖1是本發明周邊物體快速探知方法應用於機械手臂避障作業的一流程圖；

圖2是本發明周邊物體快速探知系統的一實施例的一示意圖，說明在一本體在一工作時間下的第u個運動姿態；

圖3是類似圖2的一示意圖，說明該實施例的該本體經變形後，在另一個工作時間下的第u+1個運動姿態；

圖4是本發明周邊物體快速探知系統的一主機的一方塊圖；

圖5是本發明周邊物體快速探知方法應用於機械手臂的一實施例的一示意圖，說明採用本發明周邊物體快速探知方法的機械手臂是具有整體閃避障礙物的功效；

圖6是本發明周邊物體快速探知方法應用於機械手臂的另一實施例的一示意圖，說明機械手臂具有兩個關節；

圖7是本發明周邊物體快速探知方法應用於機械手臂中的一判斷函數的一分布圖，其橫軸上有第2個運動姿態的控制變量X ²，及第3個運動姿態的控制變量X ³，而縱軸為判斷函數的函數值；

圖8是本發明周邊物體快速探知方法應用於機械手臂中的一修正路徑步驟的一示意圖；及

圖9是本發明周邊物體快速探知方法應用於路面載具的一實施例的一俯視示意圖。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示，此外圖式中元件的形狀、尺寸、厚度、以及角度等相關參數並未依照比例繪製，其簡化用意僅為方便清楚說明。

參閱圖1、2、3、4，本發明周邊物體快速探知方法適用於周邊物體快速探知系統。所述周邊物體快速探知系統包括本體1，及主機2。本體1包括至少一個可運動部件11，本體1通過至少一個可運動部件11在不同位置上朝不同方向的排列，以建構多個不同運動姿態，舉例來說，本體的所展現的運動姿態可以是由一個可運動部件在空間中朝不同方向排列所界定，也可以是由多個可運動部件依其各自在空間中所佔據的位置之排列組合所界定，其中，本體的多個可運動部件中的其中一個是可以連動於其他可運動部件中的其中一個，此外，也可以是多個可運動部件不受彼此拘束而各自移動。定義本體1在工作空間內包括第u個運動姿態，且在第u個運動姿態下的第i個可運動部件11上的第j個位置座標為Q _i,j(u)，其中i,j,u屬於正整數，類似地，本體1在第u個運動姿態下的第i+1個可運動部件11上的第j個位置座標為Q _i+1,j(u)，又或是本體1在第u+1個運動姿態下的第i個可運動部件上的第j個位置座標為Q _i,j(u+1)。主機2電連接本體1，主機2包含彼此電性連接的資料庫21、運算控制模組22與訊號接收模組23，所述運算控制模組22包括有處理器(processor)，所述接收模組包括有接收器(receiver)與發射器(emitter)，於實際應用上，主機2可以為機械手臂控制器(Robot Controller)、伺服器(sever)、桌上型電腦(desk computer)或筆記型電腦(laptop)等。主機2與主機1的電性連接方式，不限於是透過訊號接收模組23以無線方式傳送訊號，也可以是透過有線方式傳送訊號。

本發明周邊物體快速探知方法包含下列步驟S101及步驟S102：

步驟S101、訓練步驟：建立一機器學習系統，其係用以學習本體1的各種運動姿態與各種探測位置及最短距離的關係。本體1在第u個運動姿態下的第i個可運動部件上的第j個位置座標為Q _i,j(u)，第v個探測位置座標記為R _v，而Q _i,j(u)與R _v兩者距離記作d_i,j,v(u,R _v)，亦可簡記成d_i,j,v(u)，其中v屬於正整數。

為了使本體能達成整體防碰撞之目的，最短距離d_min(u,R _v)係根據多個所得到的d_i,j,v(u)=∥Q _i,j(u)-R _v∥方程式之中取最小值。如此，在本步驟S101計算本體1的多組運動姿態與多個探測位置之間的最短距離後，便能建立所述機器學習系統d_min=ML(u,R _v)。所述資料庫21儲存所述機器學習系統，及在所述機器學習系統中所接觸到的數據，例如各種運動姿態、各種探測位置座標、最短距離及其等關係等。

步驟S102、取得回饋值步驟：將本體於一工作時間T_s下所對應的運動姿態及一周邊物體座標代入所述機器學習系統，以得到一距離回饋值。詳細說明，本發明是先於步驟S101中，預先記錄本體在某個運動姿態下跟某個探測位置座標的最短距離，將其作為記憶資料，如此於後續使用(即執行步驟S102)，當空間中佔據有某物體時，此物體的空間座標即是對應於先前已記錄的某個探測位置座標，所以只要再知道本體當下所處的運動姿態，便能快速求得本體與周邊物體間的最短距離。在本實施例中，所述運算控制模組22電性連接資料庫21，並用以執行所述取得回饋值步驟S102，並根據所述距離回饋值控制本體1移動與否。

值得一提，在步驟S101中，當學習資料庫夠大(或預測準確率夠高)時，再進行步驟S102，此時所述機器學習系統的距離回饋值會足夠接近本體與周邊物體之間的真實最短距離。本發明周邊物體快速探知方法的優點在於，本體於現場階段探知其與周遭物體相對幾何關係時，只需取得本體當下所處的運動姿態，及待測距的周邊物體座標，便能快速計算出整個本體與周邊物體兩者間的最短距離，毋須如先前技術般將本體各部件的位置座標一一與待測周邊物體座標進行間距計算後，才能得到最短距離，意即於現場使用本發明周邊物體快速探知方法能免除龐大計算量而有效縮短現場所需探測計算的時間。簡言之，凡是於現場必須進行大量計算本體與周邊物體相對距離的使用情境，只要預先執行本發明訓練步驟S101後，再於使用現場執行本發明步驟S102，便可以快速探知得到本體與周邊物體兩者間的最短距離。舉例來說，當步驟S101中所學習的資料筆數達到100筆時，執行步驟S102來求得距離回饋值所需時間是相對於現有技術於現場計算所需時間而言，能快上20至30倍。

參閱圖1、2、5，當本發明周邊物體快速探知方法應用於機械手臂領域中，所述本體1可以是高自由度的機械手臂，而主機2是與機械手臂電連接。機械手臂包括固定不動的基部、多個關節，及多個連接臂，機械手臂是沿預定路徑自初始位置A移動至目標位置B，所述預定路徑能視需求而設定為直線或弧線。

當本發明周邊物體快速探知方法應用於機械手臂領域中，特別是避障應用時，本發明還包含下列步驟S103~步驟S106：

步驟S103、取得控制變量步驟：取得移動路徑P上本體1(機械手臂)第u個運動姿態所對應的控制變量X ^u。所述控制變量 X ^u可以是直接從控制器設定的控制變量X ^u；或是從已知的運動姿態，再根據逆向運動學得出所對應的控制變量，也就是說，在步驟S103中只要能得到本體1(機械手臂)在其移動路徑P上的第u個運動姿態所對應的控制變量X ^u，其控制變量X ^u的來源如何產生並不需特別為限。

第u個運動姿態所對應的控制變量X ^u符合下列方程式

其中N屬於正整數且表示機械手臂的最高自由度，在本實施例中採用的是八軸機械手臂(如圖5所示)，因此N為8，e _j表示第j個正規基底(normal basis)，經由方程式(1)便可讓所述控制變量X ^u，涵蓋關節之間的轉動或移動的變異量。

為了方便且清楚說明，圖6是以關節數量為二的機械手臂91來舉例，藉此進一步供理解以類推高自由度多關節的機械手臂的避障運作。圖6顯示機械手臂91的第1個運動姿態，而所述的第1個運動姿態根據逆向運動學得出所對應的控制變量X ¹，應用於方程式(1)後，可表示成如下：

而當機械手臂91有另一個運動姿態時，其控制變量可記錄成X ²，第3個運動姿態其控制變量可記錄成X ³(如圖7所示)，依此類推當第u個運動姿態時，其控制變量可記錄成X ^u。

參閱圖1、2、7，步驟S104、建立判斷函數步驟：建立一判斷函數O，其是用以判斷本體1的工作空間內所在的周邊物體位於第v個探測位置座標R _v時是否為部分本體所佔據。定義最短距離d_min(u,R _v)係小於等於一設定值ε時，部分本體佔據周邊物體座標狀態下所對應的判斷函數O的函數值為1，定義最短距離d_min(u,R _v)係大於一所述設定值ε時，部分本體未佔據周邊物體座標狀態下時所對應的判斷函數O的函數值為0。

判斷函數O(X ^u)被描述為如下方程式

其中ε屬於非負實數，舉例來說，當ε為0，也就是R _v等於Q _i,j時，表示本體1(機械手臂)的第u個運動姿態下，所有可運動部件11(可以是關節或連接臂)中存有一個位置座標Q _i,j(u)是占據第v個探測位置座標R _v。較佳地，在所述建立判斷函數步驟中，為了讓後續機械手臂之避障移動路徑能有最佳數值解，則需進一步將所述佔據函數O(X ^u)轉換成高斯函數，其所繪製出來的曲線如圖7中的虛線所示。

在一些實施例中，定義當最短距離d_min(u,R _v)係小於等於一設定值ε時，所述判斷函數O其定義，部分本體佔據周邊物體座標狀態下所對應的判斷函數O的函數值範圍為大於O_T且1以下，定義當最短距離d_min(u,R _v)係大於所述設定值ε時，部分本體未佔據周邊物體座標狀態下時所對應的判斷函數O的函數值範圍為0以上且O_T以下，其中O_T為一閥值介於0至1之間。也就是判斷函數O(X ^u)的函數值改成以模糊變數方式來舉例(而非以布林方式)，故所得到的判斷函數O的函數值若是偏向數值1表示傾向可能碰到，偏向數值0表示傾向可能沒碰到。

參閱圖1、2、8，步驟S105、修正路徑步驟：可以是根據距離回饋值提供本體1一避障姿態，以閃過位於探測位置座標R _v上的周邊物體，或是根據所述判斷函數O修正原預定路徑以提供一修正路徑(如圖8虛線部分)，舉例來說，機械手臂的末端器自初始位置A移動至目標位置B的過程中具有P _i個中繼點，接著將落入於所述判斷函數O的函數值為1的第P _i個中繼點修正為P’_i，以閃避位於探測位置座標R _v上的障礙物，如此，便會得到修正路徑是：自初始位置A移動至第P _i-1個中繼點，接著為了繞過障礙物而改移動至P’_i中繼點，然後再往原預設路徑上的第P _i+1個中繼點移動，最後再移動至目標位置B，所述修正路徑是部分相同於原預設路徑。

值得一提，以閃避障礙物為原則，也可以修改整條原預定路徑，使得修正路徑完全不同於原預設路徑，如此，一樣也可以達成閃避障礙物的功效與目的。

在一些實施例中，當所述修正路徑步驟所需時間是大於一運行時間時，運算控制模組22會控制本體1停止移動，直到障礙物移除於本體1的工作空間。

參閱圖1、8，步驟S106、最佳化修正路徑步驟，可以根據下列方程式

使所述修正路徑最佳化。其中P’_i(X ^u _new)是末端器根據新的控制變量X ^u _new所得出的位置，在本實施例中，藉由對公式(3)最小化問題(minimization problem)，使末端器位置的改變量最小，來達成最佳化修正路徑的目的。

另外，控制變量X ^u亦是表示每個關節受各自馬達所調控的改變量，因此，為了讓馬達運轉的改變量最小，所以也可以是根據下列方程式

以得到一避障姿態使所述修正路徑最佳化，其中，X ^u _new為避障姿態所對應的控制變量，在本實施例中，是藉由解決公式(4)最小化問題，進而使各馬達所需調變的改變量最小，以達成最佳化修正路徑的目的。

如此本發明周邊物體快速探知方法應用於機械手臂避障領域中，除了能夠實現末端點避障，如圖5中，機械手臂所裝載的末端器在遇到障礙物b1時可沿兩條虛線路徑的其中一條來避開障礙物b1之外；也能夠實現機械手臂總體避障的功效，如圖5中的關節4確實避開障礙物b2。

參閱圖9，本發明周邊物體快速探知方法，除了能應用於機械手臂領域(三維坐標之應用)之外，也能用於一樣需要對周邊物體進行測距的路面載具領域(二維坐標之應用)。於路面載具中，本體1即是可運動部件11，在應用場景上，舉例來說可以是當本體1沿一方向移動時，因為本體往前行進關係，不同時間下會因為本體位置不同而有不同運動姿態，類似地，在步驟S101中先學習路面載具的多組運動姿態與多個探測位置之間的最短距離後，能另外計算一安全值S=f(d_min)，所述安全值S與最短距離d_min呈正相關，當最短距離越大時，所述安全值S越大，當最短距離越小時，所述安全值S越小，建立另一機器學習系統S=ML(u,R _v)；在步驟S102中，將路面載具的運動姿態及周遭物體座標代入所述機器學習系統以得到安全值S的回饋值，安全值S的回饋值可用來進行路面載具的運動路徑規劃，舉例來說，當安全值S的回饋值小於預設數值後，路面載具便停止前進而執行轉彎動作。

綜上所述，本發明周邊物體快速探知方法，除了能應用於機械手臂與路面載具領域之外，凡是於現場需進行大量距離計算已探求與周遭物體相對幾何關係的使用情境，本發明均適用之。本發明周邊物體快速探知方法及其系統是通過預先建立的機器學習系統，來學習記憶本體的各種運動姿態與各種探測位置及最短距離的各種可能關係，所以於現場使用時能大幅縮短探知周邊物體相對幾何關係所耗費的時間，相對於習知探知周邊物體相對幾何關係之設備中，需要持續計算本體與周邊物體之間的最短距離以避免產生碰撞的耗時技術手段而言，本發明確實能達成本發明之目的。

本創作所揭露之技術內容並不限於上述之實施例，凡是與本創作所揭露之創作概念及原則相同者，皆落入本創作之申請專利範圍。需注意的是，元件的定義，例如“第一”和“第二”並不是限定之文字，而是區別性的用語。而本案所用之“包括”或“包含”涵蓋“包括”和“具有”的概念，並表示元件、操作步驟及/或組或上述的組合，並不代表排除或增加的意思。又，除非有特別說明，否則操作之步驟順序並不代表絕對順序。更，除非有特別說明，否則以單數形式提及元件時(例如使用冠詞“一”或“一個”)並不代表“一個且只有一個”而是“一個或多個”。本案所使用的“及/或”是指“及”或“或”，以及“及”和“或”。本案所使用的範圍相關用語係包含全部及/或範圍限定，例如“至少”、“大於”、“小於”、“不超過”等，是指範圍的上限或下限。

惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。