TW201923498A

TW201923498A - 自走設備的控制方法

Info

Publication number: TW201923498A
Application number: TW106140165A
Authority: TW
Inventors: 陳政隆; 春祿阮; 劉祐延; 蔡讚耀
Original assignee: 所羅門股份有限公司
Priority date: 2017-11-20
Filing date: 2017-11-20
Publication date: 2019-06-16
Also published as: TWI656421B

Abstract

一種自走設備的控制方法，適用於一個自走車、一個設置在該自走車上的機械手臂、一個設置在該機械手臂上的影像擷取單元、及一個工件，並包含下列步驟：藉由該自走車移動至一個實際位置，該實際位置相對於一個預定位置有一個誤差量；藉由該影像擷取單元朝一個實際方向擷取一個影像；藉由該自走車對該影像作影像辨識，以獲得該工件與該影像擷取單元的相對位置關係；藉由該自走車根據該相對位置關係，獲得該誤差量，以控制該機械手臂對該工件作動。因而實現一種利用光學追蹤的技術，達成提升該自走設備的定位精度。

Description

自走設備的控制方法

本發明是有關於一種自走設備的控制方法，特別是指一種利用光學追蹤的技術來提升自走設備的定位精度的控制方法。

自走車(Automated Guided Vehicle；AGV)是一種廣泛應用於倉儲系統或是工廠製造等等的習知設備。該習知的自走車可以在軌道上移動，也可以不需要軌道的輔助，就能夠在設定的不同位置之間移動，使得設置在自走車上的機械手臂能夠在正確的位置，執行夾取或移動一個工件。

舉例來說，當自走車要由一個第一位置移動到一個第二位置時，通常採用下列二種方法來達成自走車的定位。第一種方法，在該第二位置附近設置至少一個三角板，且在自走車上設置至少一個雷射發光源，當該至少一個雷射發光源產生的雷射光，在對應的該至少一個三角板上反射，使得自走車上的感應器偵測到時，能夠確認已移動到該第二位置。第二種方法，直接在自走車的控制單元中，設定該第二位置的座標，使得自走車直接移動至該第二位置。

由於自走車在每次的移動時，會產生不固定的誤差值，例如，在水平的某個方向多移動或少移動幾公分，或者，自走車的位置雖然正確但角度卻有偏離，使得機械手臂無法正確執行夾取。在前述的這二種方法中，第二種方法完全未對自走車的定位作補償，而第一種方法雖然有借助雷射反光的技術作位置的補償，但在實際執行上卻有其相對的限制與不便。

因此，本發明的目的，即在提供一種利用光學追蹤的技術來提升定位精度的控制方法。

於是，本發明自走設備的控制方法，適用於一個自走車、一個設置在該自走車上的機械手臂、一個設置在該機械手臂上的影像擷取單元、及一個在目標位置的工件，該控制方法包含步驟(a)~(d)。

步驟(a)，藉由該自走車接收一個驅動信號，而移動至一個實際位置，該實際位置相對於一個預定位置有一個誤差量。

步驟(b)，藉由該影像擷取單元朝一個實際方向擷取一個影像，當該自走車在該預定位置時，該實際方向是由該影像擷取單元指向該工件。

步驟(c)，藉由該自走車對該影像作影像辨識，以獲得該工件與該影像擷取單元之間的相對位置關係。

步驟(d)，藉由該自走車根據該相對位置關係，獲得該誤差量，以控制該機械手臂作動。

在一些實施態樣中，該控制方法還適用於一個鄰近該工件的標記，其中，在步驟(b)中，該實際方向是由該影像擷取單元指向該標記。在步驟(c)中，該自走車對該影像中，作該標記的影像辨識，而獲得該相對位置關係。

在一些實施態樣中，其中，在步驟(c)中，當該自走車在該影像中，無法辨識到該標記時，該自走車控制該機械手臂移動，直到該自走車對該影像擷取單元所擷取的該等影像所作的分析中，辨識到該標記為止。

在一些實施態樣中，其中，在步驟(c)中，該自走車控制該機械手臂移動，使得該影像擷取單元對多個預定區域輪流擷取該等影像。定義一個虛擬平面區域，該虛擬平面區域的法線方向與該實際方向平行，該虛擬平面區域包含該等預定區域，該虛擬平面區域的該等預定區域之其中一者會通過該標記的所在位置。

在一些實施態樣中，其中，在步驟(c)中，該虛擬平面區域的大小相關於該自走車的一個最大移動誤差量、一個最大轉動誤差量、及該目標位置與該預定位置之間的距離。

在一些實施態樣中，其中，在步驟(c)中，該虛擬平面區域所包含的該等預定區域的數量，相關於該虛擬平面區域的大小及每個影像在該虛擬平面區域所對應的大小的比值。

在另一些實施態樣中，其中，在步驟(c)中，該標記可以是一個棋盤(Chessboard)圖、一個二維條碼(QR Code)、一個條碼(Bar Code)、及一個Aruco碼之其中任一者。

本發明的功效在於：藉由對該影像擷取單元所擷取的該影像，作影像辨識，而獲得該工件與該影像擷取單元的相對位置關係，進而能夠獲得該預定位置與該實際位置的該誤差量。此外，當單一個該影像無法辨識成功時，藉由控制該機械手臂移動，而獲得更新的另一個影像且作再次的影像辨識，直到辨識成功為止。因而能夠實現一種利用光學追蹤的技術，達成提升該自走設備的定位精度。

在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。

參閱圖1與圖2，圖2是一個俯視的示意圖，示例性地說明一個自走設備及一個工件7之間的位置關係。本發明自走設備的控制方法適用於該自走設備，該自走設備包含一個自走車(Automated Guided Vehicle；AGV)1、一個設置在該自走車1上的機械手臂2、及一個設置在該機械手臂2上的影像擷取單元3。在本實施例中，該影像擷取單元3是一個相機模組，用於擷取一個靜態影像，此外，該自走車1包括一個處理單元(圖未示)，用於收發信號及處理運算，以控制該機械手臂2及自身的移動，但不在此限。該控制方法包含步驟S1~S4。

於步驟S1，藉由該自走車1接收一個驅動信號，而移動至一個實際位置，該實際位置相對於一個預定位置有一個誤差量。再參閱圖3，圖3是一個俯視的座標圖，示例性地說明該預定位置O1及該實際位置O2之間的相對關係。舉例來說，該自走車1欲由圖2的左側編號1~3的一個初始位置移動至右側編號1~3的該預定位置，使得該機械手臂2能夠對放置在一個平台8上的一個工件7執行夾取或其他動作。但在實際移動時，該自走車1並不能每次都剛好移動至該預定位置O1，而是移動至圖3的該實際位置O2。

另外要補充說明的是：該驅動信號例如是來自預先設定的位置座標或其他裝置的啟動信號等等的已知技術，而使得該自走車1獲知要移動至該預定位置而受驅動，不影響或限制本發明的技術手段。

參閱圖1、圖2與圖3，圖3的X1方向及Y1方向是該自走車1在該預定位置O1時，以該自走車1為參考點的座標系，而X2方向及Y2方向是該自走車1在該實際位置O2時，以該自走車1為參考點的座標系。於步驟S2，藉由該影像擷取單元3朝一個實際方向擷取一個影像。更詳細地舉例來說，當該自走車1在該初始位置時，該影像擷取單元3是朝向該實際方向，假設該自走車1是如圖2與圖3一樣，朝向一個X1方向移動，則在該誤差量等於零的情況下，也就是該自走車1移動至該預定位置O1時，該影像擷取單元3指向該工件7的方向就是該實際方向。換句話說，該影像擷取單元3在該自走車1由該初始位置移動至該實際位置O2的過程中，並未改變相對於該機械手臂2或相對於該自走車1的相對位置關係。

於步驟S3，藉由該自走車1對該影像作影像辨識，以獲得該工件7與該影像擷取單元3之間的相對位置關係。在本實施例中，該平台8上還設置一個鄰近該工件7的標記6，該自走車1是對該影像中，作該標記6的影像辨識，而獲得該相對位置關係。該標記6可以是一個棋盤(Chessboard)圖、一個二維條碼(QR Code)、一個條碼(Bar Code)、或一個Aruco碼之其中任一者，以便於該自走車1作影像辨識，但不在此限。

為方便說明起見，在有關步驟S3的說明中，因為該影像擷取單元3、該機械手臂2、及該自走車1之間的相對位置都是可以預先獲得，因此，假設該影像擷取單元3、該機械手臂2、及該自走車1的該預定位置O1與該實際位置O2，在圖3的座標圖中，分別都是以O1與O2表示，並不會影響實際上執行本發明的可行性。

由於該自走車1在移動後會產生一個移動誤差量(Translation Error)及一個轉動誤差量(Rotation Error)。例如，圖3中的dx及dy就是分別在X1方向及Y1方向的移動誤差量，而dθ則是轉動誤差量。因此，當該自走車1在該實際位置O2朝該實際方向擷取該影像時，該影像可能並未包含該標記6。此時，也就是當該自走車1在該影像中，無法辨識到該標記6時，該自走車1控制該機械手臂2移動，也就是控制該影像擷取單元3朝向不同的方向或位置擷取另一個影像。該自走車1再對該另一個影像作影像辨識，若還是沒有辨識出該標記6，則再次控制該機械手臂2移動，以獲得下一個影像。如此，依序地控制機械手臂2移動、擷取新影像、作影像辨識的循環操作，直到該自走車1對該影像擷取單元3所擷取的該等影像所作的分析中，辨識到該標記6為止。

當該自走車1控制該機械手臂2移動，以使得該影像擷取單元3擷取新影像時，其控制的方式是讓該影像擷取單元3對一個虛擬平面區域所包含的多個預定區域輪流擷取該等影像。該虛擬平面會通過該標記6的所在位置，以圖3的例子來說，假設T表示該標記6的位置，當該自走車1移動至該實際位置O2時，該影像擷取單元3所在的位置(即O2)所朝向的該實際方向即是該Y2方向，因此，該虛擬平面區域會通過位置T，且其法線方向與該Y2方向相平行。

該虛擬平面區域的大小可以藉由該自走車1的規格中的一個最大移動誤差量與一個最大轉動誤差量，及該標記6的位置T與該預定位置O1之間的距離來獲得。舉例來說，該最大移動誤差量、該最大轉動誤差量、或兩位置之間的距離越大，則該虛擬平面區域的大小也就會越大。

更具體地說，定義P_Marker 、P_Cam 、P_Tool 、P_Base 、及P_AGV ，共六種座標位置，每個座標位置都是以同一個參考點為基準，且都具有六個維度，分別是在X、Y、Z三個互相垂直的方向的位置，及分別對應X、Y、Z三個方向的轉動量。P_Marker 是標記6的座標位置，P_Cam 是該影像擷取單元3的座標位置，當該影像擷取單元3是架設在該機械手臂2的最後一個維度的一個夾持部時，P_Tool 是該夾持部的座標位置，P_Base 是該機械手臂2的一機底支點的座標位置，P_AGV 是該自走車1(例如質心)的座標位置。

定義T_M2C 、T_C2T 、T_T2B 、T_B2A ，共四個轉換矩陣，該等座標位置之間具有下列的關係。其中，因為該機底支點相對於該自走車1是固定的相對位置關係，且該影像擷取單元3及該夾持部之間也是固定的相對位置關係，故T_B2A 及T_C2T 都是可以預先獲得的常數。再者，因為該機械手臂2的移動是受到該自走車1的控制，故該機械手臂2相對於該機底支點的相對位置關係也是已知，即T_T2B 也是已知。再者，T_M2C 可以藉由PnP(Perspective-n-Point)演算法在該自走車1作影像辨識時而獲得，所以也是已知。

由上面的轉換矩陣，可以得到下列的關係式。由這個關係式可知，該自走車1的座標位置可以經由轉換矩陣的換算而得到標記6的座標位置，也就是說，當該自走車1的該最大移動誤差量及該最大轉動誤差量為已知時，即能將該自走車1的該實際位置所在的整個區域，經由該轉換矩陣M，轉換成該標記6可能會出現的最大範圍，即該虛擬平面區域前後的立體空間(舉例如圖4)。

由於該自走設備的該機械手臂2對該工件7的運作有不同的精度要求，例如：當精度要求越高時，該影像擷取單元3能在該虛擬平面區域上所能擷取到的影像區域的面積就會相對越小。因此，隨著精度的要求不同，該虛擬平面區域所包含的該等預定區域的數量，是等於該虛擬平面區域的大小及每個影像在該虛擬平面區域所對應的大小的比值，或者與其相關。

再參閱圖4，圖4是一個示意圖，示例性地說明該虛擬平面區域及該等預定區域。舉例來說，該虛擬平面區域P1包含九個預定區域Z1~Z9，當該自走車1移動至該實際位置O2時，該影像擷取單元3朝向該實際方向的視角，能在該預定區域Z5上取得第一個影像。當該第一個影像無法辨識出該標記6時，該自走車1控制該機械手臂2移動，使得該影像擷取單元3在該虛擬平面區域P1的其他該等預定區域Z1~Z4、Z6~Z9中，擷取其他的多個影像。至於該等其他影像的擷取順序，也就是控制該機械手臂2的移動順序關係，例如依序朝向預定區域Z4、Z1、Z2、Z6的相對螺旋位置、或是依序朝向預定區域Z1~Z3的地毯式掃描位置等等，則不在此限。

另外要補充說明的是，在圖4中，由於每個影像擷取單元3的鏡頭的有其景深的限制，因此，該標記6只能在該虛擬平面區域P1的前後一定深度的立體空間時，該影像才能被辨識出該標記6與該影像擷取單元3之間的相對位置關係。只是為方便繪圖起見，圖4只畫出該虛擬平面區域P1遠離該自走車1的立體空間，且省略而未畫出該虛擬平面區域P1鄰近該自走車1的立體空間。

於步驟S4，藉由該自走車1根據該相對位置關係，獲得該誤差量，以控制該機械手臂2對該工件7執行夾取或移動的作動。舉例來說，在該誤差量等於零的情況下，該自走車1與該工件7之間的相對位置關係及距離是分別如圖3的T與O1及D1，而當該誤差量大於零時，該自走車1能藉由影像辨識而獲得該工件7與該自走車1之間的相對位置關係及距離是分別如圖3的T與O2及D2，進而作定位的補償，使得能夠正確地控制該機械手臂2對該工件7作正確地作動。

綜上所述，藉由該自走車1對該影像擷取單元3所擷取的該影像，作影像辨識，而獲得該工件7(或該標記6)與該影像擷取單元3之間的相對位置關係，進而能夠獲得該預定位置O1與該實際位置O2的該誤差量，以補償控制該機械手臂2正確地對該工件7作動。此外，當單一個該影像無法辨識成功時，藉由該自走車1控制該機械手臂2移動，而獲得更新的另一個影像且作再次的影像辨識，直到辨識成功為止。因而能夠實現一種利用光學追蹤的技術，達成提升該自走設備的定位精度，故確實能達成本發明的目的。

惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。

S1~S4‧‧‧步驟

1‧‧‧自走車

2‧‧‧機械手臂

3‧‧‧影像擷取單元

6‧‧‧標記

7‧‧‧工件

8‧‧‧平台

D1‧‧‧距離

D2‧‧‧距離

O1‧‧‧預定位置

O2‧‧‧實際位置

T‧‧‧位置

X1‧‧‧方向

X2‧‧‧方向

Y1‧‧‧方向

Y2‧‧‧方向

dx‧‧‧移動誤差量

dy‧‧‧移動誤差量

dθ‧‧‧轉動誤差量

P1‧‧‧虛擬平面區域

Z1~Z9‧‧‧預定區域

本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一個流程圖，說明本發明自走設備的控制方法的一個實施例；圖2是一個示意圖，說明該實施例的一個自走設備及一個工件之間的位置關係；圖3是一個座標圖，示例性地說明一個預定位置及一個實際位置之間的相對關係；及圖4是一個示意圖，示例性地說明一個虛擬平面區域及多個預定區域。

Claims

一種自走設備的控制方法，適用於一個自走車、一個設置在該自走車上的機械手臂、一個設置在該機械手臂上的影像擷取單元、及一個在目標位置的工件，該控制方法包含下列步驟： (a)藉由該自走車接收一個驅動信號，而移動至一個實際位置，該實際位置相對於一個預定位置有一個誤差量； (b)藉由該影像擷取單元朝一個實際方向擷取一個影像，當該自走車在該預定位置時，該實際方向是由該影像擷取單元指向該工件； (c)藉由該自走車對該影像作影像辨識，以獲得該工件與該影像擷取單元之間的相對位置關係；及 (d)藉由該自走車根據該相對位置關係，獲得該誤差量，以控制該機械手臂作動。
如請求項1所述的自走設備的控制方法，還適用於一個鄰近該工件的標記，其中，在步驟(b)中，該實際方向是由該影像擷取單元指向該標記，在步驟(c)中，該自走車對該影像中，作該標記的影像辨識，而獲得該相對位置關係。
如請求項2所述的自走設備的控制方法，其中，在步驟(c)中，當該自走車在該影像中，無法辨識到該標記時，該自走車控制該機械手臂移動，直到該自走車對該影像擷取單元所擷取的該等影像所作的分析中，辨識到該標記為止。
如請求項3所述的自走設備的控制方法，其中，在步驟(c)中，該自走車控制該機械手臂移動，使得該影像擷取單元對多個預定區域輪流擷取該等影像，定義一個虛擬平面區域，該虛擬平面區域的法線方向與該實際方向平行，該虛擬平面區域包含該等預定區域，該虛擬平面區域的該等預定區域之其中一者會通過該標記的所在位置。
如請求項4所述的自走設備的控制方法，其中，在步驟(c)中，該虛擬平面區域的大小相關於該自走車的一個最大移動誤差量、一個最大轉動誤差量、及該目標位置與該預定位置之間的距離。
如請求項5所述的自走設備的控制方法，其中，在步驟(c)中，該虛擬平面區域所包含的該等預定區域的數量，相關於該虛擬平面區域的大小及每個影像在該虛擬平面區域所對應的大小的比值。
如請求項2所述的自走設備的控制方法，其中，在步驟(c)中，該標記可以是一個棋盤(Chessboard)圖、一個二維條碼(QR Code)、一個條碼(Bar Code)、及一個Aruco碼之其中任一者。