TWI404609B - 機械手臂系統參數的校正方法與校正裝置 - Google Patents

Description

機械手臂系統參數的校正方法與校正裝置

本發明是有關於一種機械手臂系統參數的校正方法與校正系統，且特別是有關於同時校正攝像單元的內部參數，以及攝像單元與機械手臂之相互關係的一種機械手臂的校正方法與校正系統。

在自動化生產中，常利用機械手臂進行工件的抓取、排列或組裝，而進一步在機械手臂與視覺的整合系統，其例如是在一生產線上讓機械手臂使用視覺系統自動抓取在輸送帶上的目標物，則是利用目標物在攝影機影像中的特徵點位置來標定目標物之位置和姿態。為了使系統能夠精準地測定目標物的位置和姿態，此系統需經過使用前的校正方能達成。

本發明提供一種機械手臂系統參數的校正方法，以使機械手臂系統具有較高的精度。

本發明提供一種校正裝置，其藉由簡易的構件而達到校正攝像單元的內部參數，及攝像單元與機械手臂之間的空間關係。

本發明的一實施例提出一種機械手臂系統參數的校正方法。機械手臂系統包括一基座、一機械手臂與至少一攝像單元，其中機械手臂具有一第一端與一第二端，第一端連接至基座。上述之參數特別是指攝影單元的內部參數、以及攝像單元相對於機械手臂的第一端的旋轉矩陣與平移向量。校正方法包括，設置一平面在攝像單元前，以及設置一雷射單元在機械手臂的第二端，其中雷射單元投射一光束至平面上形成一光點，之後分別取得雷射單元相對於機械手臂之第二端的一第一初始參數集合、平面相對於機械手臂之第一端的一第二初始參數集合、攝像單元的內部參數，亦即是攝像單元的一第三初始參數集合、與攝像單元相對於機械手臂的第一端的旋轉矩陣與平移向量，亦即是攝像單元相對於機械手臂之第一端的一第四初始參數集合。接著，移動機械手臂之第二端到至少一位置姿態，使光點在攝像單元上所形成之影像而取得光點相對於攝像單元的至少一實際位置，以取得機械手臂的第二端相對於第一端的一第五參數集合。接著，藉由第一初始參數集合、第二初始參數集合、第三初始參數集合、第四初始參數集合與第五參數集合取得光點相對於攝像單元的至少一預測位置。接著將彼此對應的預測位置與實際位置的相對差異量形成一方程式，最後藉由一演算法取得此方程式的參數解，以校正該第一初始參數集合、該第二初始參數集合、該第三初始參數集合與該第四初始參數集合。

本發明的一實施例提出一種校正裝置，用以校正一機械手臂系統。機械手臂系統包括一機械手臂與至少一攝像單元。校正裝置包括一雷射單元、一控制單元以及一平面。雷射單元組裝在機械手臂上。控制單元電性連接機械手臂與攝像單元。平面配置在攝像單元的可視範圍內。雷射單元發射一光束至平面上形成一光點，其中控制單元藉由攝像單元擷取在平面上之光點的影像，而同時校正攝像單元的內部參數及攝像單元與機械手臂之間的空間幾何關係。

基於上述，在本發明的上述實施例中，機械手臂系統參數的校正方法藉由設置在攝像單元的可視範圍內的一平面與配置在機械手臂上的雷射單元，以讓使用者能方便地同時校正攝像單元的參數及機械手臂與攝像單元之間的關係參數。此舉讓機械手臂系統能以較簡易且方便的方式便能達到精確地校正機械手臂系統的效果。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依照本發明一實施例的一種機械手臂系統參數與校正裝置的示意圖。請參考圖1，在本實施例中，校正裝置100用以校正一機械手臂系統200，此機械手臂系統200包括一機械手臂210與一攝像單元220，而校正裝置100包括一雷射單元110、一控制單元120與一平面130，其中控制單元120電性連接機械手臂210與攝像單元220，而平面130位在攝像單元220的可視範圍內，雷射單元110藉由發射雷射光束至平面130而在平面130上形成一光點140。攝像單元220例如是一攝影機，其用以擷取平面130及光點140的影像。再者，機械手臂210具有彼此相對的一第一端E1與一第二端E2，其中第一端E1組裝至一基座230，而雷射單元110組裝在機械手臂210的第二端E2。

為了使機械手臂210藉由視覺系統而自動抓取一目標物，因此本發明提供一種機械手臂系統參數的校正方法，上述之機械手臂系統參數特別是指攝影單元220的內部參數、以及攝像單元220相對於機械手臂210的第一端E1的旋轉矩陣與平移向量。圖2繪示圖1的機械手臂系統的校正方法的流程圖。請同時參考圖1及圖2，在本實施例中，將上述校正裝置100與機械手臂系統200的相關構件組裝後，首先在步驟S210中取得雷射單元110相對於機械手臂210的第二端E2的一第一初始參數集合。

若由於機械手臂210的位置姿態不適當，而造成例如光點140不是位於攝像單元220的可視範圍內，則接著，在步驟S225中，改變機械手臂210的位置姿態，使光點140在平面130上的位置改變至攝像單元220的可視範圍內。

接著，在步驟S230中，取得機械手臂210的第二端E2相對於第一端E1的一第五參數集合。

接著，在步驟S240中，藉由雷射單元110投射光束在平面130上所形成之光點140在攝像單元220上所形成之影像，而取得光點140相對於攝像單元220的至少一實際位置。

接著，在步驟S250中，取得攝像單元220的一第三初始參數集合(亦即是前述之攝影單元220的內部參數)及平面130相對於攝像單元220的初始空間關係，並在步驟S260與步驟S270中，取得攝像單元220相對於機械手臂210的第一端E1的一第四初始參數集合(亦即是前述之攝像單元220相對於機械手臂210的第一端E1的旋轉矩陣與平移向量)，以及平面130相對於機械手臂210的第一端E1的一第二初始參數集合。

於步驟S280中，藉由第一初始參數集合、第二初始參數集合、第三初始參數集合、第四初始參數集合與第五參數集合取得光點140相對於攝像單元220的至少一預測位置，亦即在此是將光點140從機械手臂210的機械座標系轉換至攝像單元220的影像座標系。

最後，於步驟S290及步驟S300中，將彼此對應的預測位置與實際位置的相對差異量形成一方程式，及藉由一演算法取得此方程式的參數解，以校正前述之第一初始參數集合、第二初始參數集合、第三初始參數集合與第四初始參數集合。

在本實施例中，由於攝像單元220的不確定性、參數的不準確以及影像運算誤差，將導致此相對差異量並不為零。故而藉由本發明的校正方法而能對機械手臂系統參數進行校正，使方程式取得最佳參數解而讓上述的不確定性與誤差達到最小。

再加以詳述如下，在本實施例中，攝像單元220的第三初始參數集合實質上為攝影機的內部參數(intrinsic parameters)，其包括兩個焦距(focal length)、兩個主軸點(principal point)、一偏斜係數(skew coefficient)與五個失真係數(distortion coefficient)。惟本實施例並不限於上述這些內部參數。

在此，將在空間中的特徵點p_c =[x_c y_c z_c ]^T 對應到攝影機影像的中位置(u _p ,v _p )關係形成如下的式子：[u _p v _p ]=h (p_c ,Ω)，其中Ω表示所有內部參數的集合。

再者，第二初始參數集合包括平面130的一法向量n_B,P 與平面130的一位置向量T_B,P 。第四初始參數集合包括攝像單元220相對於機械手臂210的第一端E1的一第一旋轉矩陣R_B,C 與一第一平移向量T_B,C 。再者，更藉由第四初始參數集合與平面130相對於攝像單元220的初始空間關係而能取得平面130相對於機械手臂210的第一端E1的第二初始參數集合。

此外，在本實施例中，由於雷射單元110是安裝於機械手臂210之末端作用器(End-effector)上的第二端E2，因此兩者之間的關係(即第一初始參數集合)可由一單位向量u_E,L 以及一第二平移向量T_E,L 來描述。另外，第一端E1組裝在基座230，依據機械手臂210各個關節的運動，而可得出機械手臂210的第二端E2相對於第一端E1的一第五參數集合，來描述第二端E2相對於第一端E1的空間轉換關係，亦即第二端E2相對於基座230的空間轉換關係，其包括第二端E2相對於第一端E1的一第二旋轉矩陣R_B,E 與一第三平移向量T_B,E 。

如此一來，平面130上的光點140在機械手臂210的座標系中的位置為P _B =R _B,E (d _l u _E,L +T _E,L )+T _B,E ，其中

之後將光點140由機械手臂210的座標系轉換至攝像單元220的座標系中，依據攝像單元220的投影模型可推算光點落於影像中的位置為實際由影像得到的光點影像位置為進一步地定義兩者之間的相對差異量：

在此為了使方程式達到最佳化，因此在步驟S241中，使用者可對目前已收集的資料數量進行判斷。當需要進行重複收集資料時，使用者可藉由步驟S243改變機械手臂210的姿態，而讓光點140在平面130上的位置亦隨之改變。藉由此舉以進行重複收集光點140之預測位置與相對的實際位置的資料數量達到一定值之後再進行後續步驟的相關計算。

在此，藉由第一初始參數集合、第三初始參數集合、第五參數集合、光點140的多個實際位置與平面130相對於攝像單元220的初始空間關係，而能取得攝像單元220相對於機械手臂210的第一端E1的第四初始參數集合。其中，此時的第五參數集合包括多個第二旋轉矩陣與多個第三平移向量。

此外，圖3繪示在圖1機械手臂系統在校正流程中用以取得攝像單元220之初始參數的示意圖，在此並省略部分構件以能清楚辨識相關結構。上述之初始參數包括初始內部參數(即第三初始參數集合)以及平面130在攝像單元220的座標系中的初始位置及姿態。請參考圖1至圖3，在本實施例中，校正方法更包括步驟S220，即設置一圖樣180在平面130(標示於圖1)上，並以攝像單元220取得圖樣180的影像後從平面130上移除此圖樣180，以方便在後續步驟中取得方程式的一初始參數。

詳細地說，方程式在進行最佳化演算之前需要一初始參數。此初始參數的取得可以透過在每次平面130放置好時，將特定的圖樣180放置於平面130上，如圖3所繪示之格點182乃是一例，格點182之間的相對位置為已知，在監視器10形成的影像畫面中，格點182a的位置經由影像處理獲得，紀錄下每一格點182a畫面的所有格點182a的位置。將這些格點182a位置作為資料，利用Zhang演算法可以得到攝像單元220的內部參數(即第三初始參數集合)以及格點182在攝像單元220的座標系中的位置，亦即平面130相對於攝像單元220的初始空間關係。這些資料便作為機械手臂系統200中的攝像單元220的初始內部參數(即第三初始參數集合)以及平面130在攝像單元220的座標系中的初始位置及姿態，以利後續取得第四初始參數集合與第二初始參數集合。

將圖1所示之光點140的實際位置和機械手臂210之第二端E2的位置姿態(即第二端E2相對於第一端E1的空間轉換關係，亦即第五參數集合)、雷射單元110相對於第二端E2的相對關係(第一初始參數集合)、攝像單元220的初始內部參數(第三初始參數集合)以及平面130在攝像單元220的座標系中的初始位置及姿態(即平面相對於攝像單元的空間關係)代入系統模型並計算，便可取得攝像單元220與機械手臂210的第一端E1之間的初始空間參數(第四初始參數集合)，以及平面130相對於機械手臂210的第一端E1的第二初始參數集合。在此計算攝像單元220與機械手臂210的第一端E1之間的第四初始參數集合是利用下述限制條件：

u _B,L ×(R _B,C p _C +T _B,C -T _B,L )=[0 ]

，其中u _B,L =R _B,E u _E,L ，T _B,L =R _B,E T _E,L +T _B,E 。

如此一來，所取得之第一初始參數集合、第二初始參數集合、第三初始參數集合與第四初始參數集合便可用以做為最佳化演算法運算的初始值。惟在此所說明取得上述初始參數集合的方法僅為一例，並非唯一手段。

基於上述，若在校正過程中將平面130放置在N_j 個不同的位置姿態上，並且每一位置姿態下，都命令機械手臂210移動到N_i 個不同的位置姿態，如此形成的最佳化方程式為：

其中S包括上述所有需要校正的參數。

最後便利用最佳化演算法，例如Levenberg-Marquardt演算法、Gauss-Newton演算法或gradient descent演算法，計算出最佳的參數解。

另一方面，當使用者於步驟S241中判斷仍須繼續進行資料收集時，亦可在此時藉由步驟S252的判斷以及步驟S244改變平面130的位置與姿態，藉以取得更多的資料(即取得更多光點的預測位置與實際位置)以提高方程式之參數解的準確性。

除此之外，本發明之校正方法亦可使用於多個攝像單元的系統中。在本發明另一未繪示的實施例中，機械手臂系統包括M個攝像單元，且這些攝像單元具有重複的可視範圍，因此平面上的光點便會同時出現在各個攝像單元的影像中。與上述實施例類似，若我們在校正過程中將平面放置在N_j 個不同的位置姿態上，並且每一位置姿態下，都命令機械手臂移動到N_i 個不同的位置姿態，如此形成的最佳化方程式為：

其中與上述實施例不同的是，子集合S_M 包括第M個攝像單元的內部參數(第三初始參數集合)、第M個攝像單元相對於機械手臂的外部空間關係參數(第四初始參數集合)、第一初始參數集合、第二初始參數集合與第五參數集合。

綜上所述，在本發明的上述實施例中，機械手臂系統參數的校正方法藉由設置在攝像單元的可視範圍內的一平面，以及配置在機械手臂上的雷射單元，便讓使用者得以同時校正攝像單元的參數及機械手臂與攝像單元之間的關係參數。此舉讓機械手臂系統能以較簡易且方便的方式便能達到精確地校正機械手臂系統的效果。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10．．．監視器

100．．．校正裝置

200．．．機械手臂系統

210．．．機械手臂

110．．．雷射單元

120．．．控制單元

130．．．平面

220．．．攝像單元

140．．．光點

230．．．基座

180．．．圖樣

182、182a．．．格點

E1．．．第一端

E2．．．第二端

圖1是依照本發明一實施例的一種機械手臂系統與校正裝置的示意圖。

圖2繪示圖1的機械手臂系統的校正方法的流程圖。

圖3繪示在圖1機械手臂系統在校正流程中用以取得初始參數的示意圖。

100．．．校正裝置

200．．．機械手臂系統

110．．．雷射單元

120．．．控制單元

130．．．平面

140．．．光點

210．．．機械手臂

220．．．攝像單元

230．．．基座

E1．．．第一端

E2．．．第二端

Claims (16)

1. 一種機械手臂系統參數的校正方法，該機械手臂系統包括一基座、一機械手臂、與至少一攝像單元，其中該機械手臂具有一第一端與一第二端，該第一端連接至該基座，該校正方法包括：取得一雷射單元相對於該機械手臂之該第二端的一第一初始參數集合，其中該雷射單元設置在該機械手臂的該第二端；取得一平面相對於該機械手臂之該第一端的一第二初始參數集合，其中該平面設置在該攝像單元前；取得該攝像單元的一第三初始參數集合；取得該攝像單元相對於該機械手臂之該第一端的一第四初始參數集合；取得該機械手臂的該第二端相對於該第一端的一第五參數集合；移動該機械手臂之該第二端到至少一位置姿態，其中該雷射單元投射一光束至該平面上形成一光點，使該光點在該攝像單元上形成影像而取得該光點相對於該攝像單元的至少一實際位置；藉由該第一初始參數集合、該第二初始參數集合、該第三初始參數集合、該第四初始參數集合與該第五參數集合取得該光點相對於該攝像單元的至少一預測位置；將彼此對應的該預測位置與該實際位置的相對差異量形成一方程式；以及 藉由一演算法取得該方程式的參數解，以校正該第一初始參數集合、該第二初始參數集合、該第三初始參數集合與該第四初始參數集合。
2. 如申請專利範圍第1項所述的校正方法，其中該第一初始參數集合包括該雷射單元相對於該機械手臂之該第二端的一單位向量與一第二平移向量。
3. 如申請專利範圍第1項所述的校正方法，其中該第五參數集合包括該機械手臂之該第二端相對於該第一端的至少一第二旋轉矩陣與至少一第三平移向量。
4. 如申請專利範圍第1項所述的校正方法，其中該第三初始參數集合為該攝影機的一內部參數(intrinsic parameters)，該內部參數包括兩個焦距(focal length)、兩個主軸點(principal point)、一偏斜係數(skew coefficient)與五個失真係數(distortion coefficient)。
5. 如申請專利範圍第1項所述的校正方法，其中該第四初始參數集合包括該攝像單元相對於該機械手臂之該第一端的一第一旋轉矩陣與一第一平移向量。
6. 如申請專利範圍第1項所述的校正方法，其中該第二初始參數集合包括該平面的一法向量與該平面的一位置向量。
7. 如申請專利範圍第6項所述的校正方法，其中藉由該第四初始參數集合與該平面相對於該攝像單元的空間關係，而取得該平面相對於該機械手臂的該第二初始參數集合。
8. 如申請專利範圍第1項所述的校正方法，其中該方程式為該實際位置與該預測位置的相對差異量的最小化。
9. 如申請專利範圍第1項所述的校正方法，其中該演算法包括Levenberg-Marquardt演算法、Gauss-Newton演算法或gradient descent演算法。
10. 如申請專利範圍第1項所述的校正方法，更包括：改變該機械手臂的姿態，以改變該光點在該平面上的位置，以取得該光點的多個該預測位置與多個該實際位置。
11. 如申請專利範圍第10項所述的校正方法，其中藉由該第一初始參數集合、該第三初始參數集合、該第五參數集合、該光點的該些實際位置與該平面相對於該攝像單元的空間關係，而取得該攝像單元相對於該機械手臂之該第一端的該第四初始參數集合。
12. 如申請專利範圍第11項所述的校正方法，其中該第五參數集合包括多個第二旋轉矩陣與多個第三平移向量。
13. 如申請專利範圍第1項所述的校正方法，更包括：設置一圖樣在該平面上以取得該方程式的一初始參數。
14. 如申請專利範圍第13項所述的校正方法，其中藉由計算多張該圖樣的影像而取得該攝像單元的該第三初始參數集合。
15. 如申請專利範圍第13項所述的校正方法，在設置該圖樣在該平面上之前，更包括： 改變該平面的位置或姿態，以取得該光點的多個該預測位置與多個該實際位置。
16. 一種校正裝置，適用於一機械手臂系統，該機械手臂系統包括一機械手臂與至少一攝像單元，該機械手臂包括一基座與一臂部，該臂部具有彼此相對的一第一端與一第二端，該第一端組裝在該基座上，該校正裝置包括：一雷射單元，組裝在該第二端；一控制單元，電性連接該機械手臂與該攝像單元；以及一平面，配置在該攝像單元的可視範圍內，該雷射單元發射一光束至該平面上形成一光點，其中該控制單元藉由該攝像單元擷取在該平面上之該光點的影像而同時校正該攝像單元的內部參數，及該攝像單元與該機械手臂之間的空間關係。