TWI739536B - 即時校正夾持座標之機械手臂系統 - Google Patents

Abstract

一種即時校正夾持座標之機械手臂系統，包括：一輸送平台、一機械手臂及一景深相機，該景深相機於起始座標處對物件拍攝影像畫面，透過該演算單元分析影像畫面得知物件位置、中心座標與尺寸比例，再依據物件該中心座標演算得知夾持座標，以及該起始座標至夾持座標之間的位移路徑，該演算單元於位移路徑上產生有校正座標，當該夾爪位移至該校正座標時，再次對物件拍攝影像畫面，分析與判斷夾持座標是否一致，藉此讓該夾爪精準定位的移動至夾持座標，即能利用該景深相機於該夾爪處的無遮蔽影像畫面與景深測距功能，即時對該夾爪進行微調校正。

Description

即時校正夾持座標之機械手臂系統

本發明係關於一種機械手臂控制系統，尤指一種應用景深相機而達到精準控制夾物位置之即時校正夾持座標之機械手臂系統。

按，習知工廠為了降低製造成本，通常都會朝向自動化製造方向發展，而自動化的製造方式主要是透過機械手臂來實現，現有的機械手臂在運作時，通常會依據實際的製程選擇適當的夾爪等取物機構，且該機械手臂只能對單一種類的物件執行重覆的動作，而為了降低夾持失誤率，該物件的位置與角度必須嚴格的受到限制，當物件大小非一致或未摸列整齊時，一般運行固定夾持程序之機械手臂即不適用，故習知另提供一種結合影像分析之機械手臂，其係藉由於機械手臂作業區域內設置有固定式攝影裝置，以藉由攝影裝置拍攝物件影像，透過影像特徵控制機械手臂產生對應的調整，但詳觀上述習知結構不難發覺其尚存有些許不足之處，主要原因係歸如下：該攝影裝置為固定位置狀態，無法透過不同遠近或角度去多次驗證物件的影像特徵，當所拍攝的影像誤差導致無法正確夾持物件時，機械手臂必須退回原 位，使機械手臂不會阻擋該攝影裝置對物件的拍攝，該無法即時校正的作業流程存在有耗時與夾持精準度低之缺點，又在部分難以夾持之事件中，該單一影像判斷物件方式在夾持失敗後，不論後續重新夾持幾次，其結果將仍是無法成功夾持物件，綜上所述皆為本創作所欲改善之技術問題點。

有鑑於此，本發明人於多年從事相關產品之製造開發與設計經驗，針對上述之目標，詳加設計與審慎評估後，終得一確具實用性之本發明。

本發明所欲解決之技術問題在於針對現有技術存在的上述缺失，提供一種即時校正夾持座標之機械手臂系統。

一輸送平台用於連續輸送物件至指定位置，一機械手臂設置於該輸送平台一側，且該機械手臂末端設置有可三維座標移動的一夾爪，又該機械手臂內建有即時判斷該夾爪座標之一控制單元，且該夾爪於該輸送平台上方的固定位置定義為起始座標，一景深相機固定於該機械手臂之該夾爪上，且該景深相機之鏡頭正面對準於該夾爪朝向，又該景深相機與該控制單元連線有一演算單元，該景深相機於起始座標處對物件拍攝影像畫面，透過該演算單元分析影像畫面得知物件位置，且基於起始座標與景深距離就能運算得知物件的一中心座標與尺寸比例。

其中該景深相機包括有一主鏡頭與一副鏡頭，該副鏡頭用於感測距離，使該主鏡頭所拍攝影像畫面具有景深效果。

其中該演算單元連接有一雲端伺服器，該雲端伺服器儲存有提供辨視物件使用之影像畫面及對應物件之相關資料，讓該演算單元深度學習該雲端伺服器之影像畫面，藉此提高對物件的判斷精準度。

其中該景深相機於執行拍攝指令時，該演算單元能記錄全部物件之影像畫面，並於該雲端伺服器建立影像專案資料夾，使該景深相機後續所拍攝的影像畫面能直接比對影像專案資料夾內之影像畫面，藉此提高該演算單元之運算速度與判斷精準度。

其中該夾爪沿著位移路徑執行位移動作時，該演算單元能記錄全部位移路徑與是否到達指定的校正座標或夾持座標，並於該雲端伺服器建立路徑專案資料夾，透過數據分析判斷相同或相近之位移路徑皆無法讓夾爪到達指定位置時，該演算單元後續將排除不良的位移路徑，透過繞路方式提高定位精準度。

其中該演算單元利用已知的該起始座標與影像畫面之景深進行運算，使影像畫面能繪制圍設該物件的一平面邊界框，且該平面邊界框於一端角落定義為一邊界座標，又該演算單元以該平面邊界框運算得知物件之中心座標與尺 寸比例。

其中該平面邊界框的長寬比設定為(w,h)，該邊界座標設定為(Xi,Yi)，該演算單元以該平面邊界框運算得知該中心座標為((Xi-w/2),(Yi-h/2))，又該起始座標設定為(X₀,Y₀)，且該物件尺寸比例設定為Z，即能獲得對應物件之X點移動向量為-((Xi-w/2)-X₀)/Z，以及對應物件之Y點移動向量為-((Yi-h/2)-Y₀)/Z。

其中該夾爪位移至夾持座標，使該夾爪旋轉角度對準物件之中心座標，該夾爪夾持物件不足或超過指定寬度之容許值時，該演算單元判斷夾持失敗，由該控制單元將該夾爪位移至上一步驟之校正座標，再次由該景深相機進行拍攝，且由該演算單元重新計算新的夾持座標，重新進行夾持動作。

其中該機械手臂於該夾爪處裝設有一荷重單元，於操作該夾爪進行夾持動作後，該荷重單元未偵測到該夾爪保持有重量的增加，該演算單元即能判斷夾持失敗，由該控制單元將該夾爪位移至上一步驟之校正座標，再次由該景深相機進行拍攝，且由該演算單元重新計算新的夾持座標，重新進行夾持動作。

其中該夾爪於自行設定次數下仍未成功夾持物件時，由該控制單元操作該夾爪沿著該輸送平台的垂直軸旋轉90度，藉此夾持物件的不同位置，或傾斜該夾爪使該景深 相機額外拍攝物件的側邊影像畫面，藉此就物件高度分析重心位置而提供新的夾持座標。

本發明的主要目的在於，該景深相機於起始座標處對物件拍攝影像畫面，透過該演算單元分析影像畫面得知物件位置、中心座標與尺寸比例，再依據物件該中心座標演算得知夾持座標，以及該起始座標至夾持座標之間的位移路徑，該演算單元於位移路徑上產生有校正座標，當該夾爪位移至該校正座標時，再次對物件拍攝影像畫面，分析與判斷夾持座標是否一致，藉此讓該夾爪精準定位的移動至夾持座標，即能利用該景深相機於該夾爪處的無遮蔽影像畫面與景深測距功能，即時對該夾爪進行微調校正。

其他目的、優點和本創作的新穎特性將從以下詳細的描述與相關的附圖更加顯明。

〔本發明〕

10:輸送平台

20:機械手臂

21:夾爪

22:控制單元

23:荷重單元

30:景深相機

31:演算單元

32:主鏡頭

33:副鏡頭

34:平面邊界框

341:邊界座標

35:雲端伺服器

A:中心座標

〔第1圖〕係本發明之立體圖。

〔第2圖〕係本發明景深相機之鏡頭示意圖。

〔第3圖〕係本發明之影像畫面分析示意圖。

〔第4圖〕係本發明之元件關係之方塊圖。

〔第5圖〕係本發明之作動步驟之流程方塊圖。

為使 貴審查委員對本發明之目的、特徵及功效 能夠有更進一步之瞭解與認識，以下茲請配合【圖式簡單說明】詳述如後：

先請由第1圖、第2圖與第4圖所示觀之，一種即時校正夾持座標之機械手臂系統，包括：一輸送平台10、一機械手臂20及一景深相機30，一輸送平台10用於連續輸送物件至指定位置，一機械手臂20設置於該輸送平台10一側，且該機械手臂20末端設置有可三維座標移動的一夾爪21，又該機械手臂20內建有即時判斷該夾爪21座標之一控制單元22，且該夾爪21於該輸送平台10上方的固定位置定義為起始座標，一景深相機30固定於該機械手臂20之該夾爪21上，且該景深相機30之鏡頭正面對準於該夾爪21朝向，又該景深相機30與該控制單元22連線有一演算單元31，又該景深相機30包括有一主鏡頭32與一副鏡頭33，該副鏡頭33用於感測距離，使該主鏡頭32所拍攝影像畫面具有景深效果。

其實際使用之情況，再請由第4、5圖配合第1圖所示觀之，當物件被該輸送平台10輸送至該機械手臂20對應處時，該景深相機30於起始座標處對物件拍攝影像畫面，若未拍攝到任何物件或拍到的物件不完整時，將會於短暫間隔後再重覆拍攝，若有拍攝到物件時，透過該演算單元31分析影像畫面得知物件位置，且基於起始座標與景深距離就能運算得知物件的一中心座標A與尺寸比例，再依據物件該中心座標A演算得知夾持座標，夾持座標即為物件的上方適當處，使 夾爪21能對物件的重心處進行夾合，再進一步規劃該起始座標至夾持座標之間的位移路徑，基本上讓夾爪21沿著位移路徑進行向量移動，再者，該演算單元31於位移路徑上自動產生有至少一個校正座標，校正座標為位移路徑上的任意點，得依據路徑長度或路徑時間分割多段的校正座標，讓夾爪21於移動過程中能不斷的自主修正座標位置，當控制單元22移動該夾爪21位移至該校正座標時，能先由該控制單元22判斷該夾爪21所在座標，於校正座標與實際位置座標之間的誤差過大時，該控制單元22將該夾爪21移動回到起始座標，重新開始，如僅存在微小誤差時，該控制單元22能直接移動該夾爪21至正確的校正座標，讓該景深相機30再次對物件拍攝影像畫面，透過該演算單元31分析影像畫面並比對與前次判斷的夾持座標是否一致，如有一致則將該夾爪21移動至下一個校正座標或夾持座標，藉此讓該夾爪21精準定位的移動至夾持座標，再基於物件的尺寸比例夾合該夾爪21至指定寬度，即能利用該景深相機30於該夾爪21處的無遮蔽影像畫面與景深測距功能，即時對該夾爪21進行微調校正，俾以達到穩定夾持物件之功效。

再進一步說明其演算方法，請由第3、4圖所示觀之，該演算單元31利用已知的該起始座標與影像畫面之景深進行運算，使影像畫面能繪制圍設該物件的一平面邊界框34，且該平面邊界框34於一端角落定義為一邊界座標341，又 該演算單元31以該平面邊界框34運算得知物件之中心座標A與尺寸比例，又該平面邊界框34的長寬比設定為(w,h)，該邊界座標341設定為(Xi,Yi)，該演算單元31以該平面邊界框34運算得知該中心座標A為((Xi-w/2),(Yi-h/2))，又該起始座標設定為(X₀,Y₀)，且該物件尺寸比例設定為Z，即能獲得對應物件之X點移動向量為-((Xi-w/2)-X₀)/Z，以及對應物件之Y點移動向量為-((Yi-h/2)-Y₀)/Z，其中，X點與Y點之移動向量採用負數表示，主要是位移方向與向量的對應關係，並不局限於採用正數或負數，另X點與Y點之移動向量亦能乘除單位換算值，使移動向量的數值能放大而被控制單元22直接讀取與應用，透過上述演算過程將影像畫面之座標點轉換為實際座標點，再進一步計算實際移動向量並發送給該機械手臂20之該控制單元22，俾以達到驅動該機械手臂20之使用目的。

再進一步說明該夾爪21的夾持作動機制，續請由第4、5圖所示，該夾爪21位移至夾持座標後，使該夾爪21旋轉角度對準物件之中心座標A，並由該控制單元22驅動該夾爪21進行夾持動作，於該夾爪21夾持物件不足或超過指定寬度之容許值時，該演算單元31判斷夾持失敗，由該控制單元22將該夾爪21位移至上一步驟之校正座標，再次由該景深相機30進行拍攝，且由該演算單元31重新計算新的夾持座標，重新進行夾持動作。另一實施方式，該機械手臂20於該夾爪21處裝設有一荷重單元23，於操作該夾爪21進行夾持動作後，該 荷重單元23未偵測到該夾爪21保持有重量的增加，該演算單元31即能判斷夾持失敗，由該控制單元22將該夾爪21位移至上一步驟之校正座標，再次由該景深相機30進行拍攝，且由該演算單元31重新計算新的夾持座標，重新進行夾持動作。若由上述兩種方式皆未能成功夾持物件時，或該夾爪21於自行設定次數下仍未成功夾持物件時，由該控制單元22操作該夾爪21沿著該輸送平台10的垂直軸旋轉90度，藉此夾持物件的不同位置，或傾斜該夾爪21使該景深相機30額外拍攝物件的側邊影像畫面，藉此就物件高度分析重心位置而提供新的夾持座標，又當順利夾持物件後，該控制單元22控制該夾爪21回復至起始座標位置，並待候下個物件進入該機械手臂20的活動範圍內。

本創作之又一實施例，再請由第4、5圖所示觀之，該演算單元31連接有一雲端伺服器35，該雲端伺服器35儲存有提供辨視物件使用之影像畫面及對應物件之相關資料，讓該演算單元31深度學習該雲端伺服器35之影像畫面，藉此提高對物件的判斷精準度。另一方面，該景深相機30於執行拍攝指令時，該演算單元31能記錄全部物件之影像畫面，並於該雲端伺服器35建立影像專案資料夾，使該景深相機30後續所拍攝的影像畫面能直接比對影像專案資料夾內之影像畫面，透過大量的自我深度學習過程，藉此提高該演算單元31之運算速度與判斷精準度。再者，該夾爪21沿著位移 路徑執行位移動作時，該演算單元31能記錄全部位移路徑與是否到達指定的校正座標或夾持座標，並於該雲端伺服器35建立路徑專案資料夾，透過數據分析判斷相同或相近之位移路徑皆無法讓夾爪21到達指定位置時，很可能為該機械手臂20長期存在的機構缺陷，導致該夾爪21每次移動至固定座標位置時就會脫離位移路徑，此時該演算單元31後續將排除不良的位移路徑，當新產生的位移路徑重疊已排除之不良位移路徑時，重新於該段路徑一側建立新路徑，即透過繞路方式提高定位精準度，俾以提高該機械手臂20之位移效率。

綜上所述，本發明確實已達突破性之結構設計，而具有改良之發明內容，同時又能夠達到產業上之利用性與進步性，且本發明未見於任何刊物，亦具新穎性，當符合專利法相關法條之規定，爰依法提出發明專利申請，懇請 鈞局審查委員授予合法專利權，至為感禱。

唯以上所述者，僅為本發明之一較佳實施例而已，當不能以之限定本發明實施之範圍；即大凡依本發明申請專利範圍所作之均等變化與修飾，皆應仍屬本發明專利涵蓋之範圍內。

10:輸送平台

20:機械手臂

21:夾爪

30:景深相機

Claims (10)

1. 一種即時校正夾持座標之機械手臂系統，包括：

   一輸送平台，其用於連續輸送物件至指定位置；

   一機械手臂，其設置於該輸送平台一側，且該機械手臂末端設置有可三維座標移動的一夾爪，又該機械手臂內建有即時判斷該夾爪座標之一控制單元，且該夾爪於該輸送平台上方的固定位置定義為起始座標；

   一景深相機，其固定於該機械手臂之該夾爪上，且該景深相機之鏡頭正面對準於該夾爪朝向，又該景深相機與該控制單元連線有一演算單元；

   該景深相機於起始座標處對物件拍攝影像畫面，透過該演算單元分析影像畫面得知物件位置，且基於起始座標與景深距離就能運算得知物件的一中心座標與尺寸比例，再依據物件該中心座標演算得知夾持座標，以及該起始座標至夾持座標之間的位移路徑，該演算單元於位移路徑上自動產生有至少一個校正座標，當控制單元移動該夾爪位移至該校正座標時，該景深相機再次對物件拍攝影像畫面，透過該演算單元分析影像畫面並比對與前次判斷的夾持座標是否一致，藉此讓該夾爪精準定位的移動至夾持座標，再基於物件的尺寸比例夾合該夾爪至指定寬度，即能利用該景深相機於該夾爪處的無遮蔽影像畫面與景深測距功能，即時對該夾爪進行微調校正。
2. 如請求項1之即時校正夾持座標之機械手臂系統，其中該景深相機包括有一主鏡頭與一副鏡頭，該副鏡頭用於感測距離，使該主鏡頭所拍攝影像畫面具有景深效果。
3. 如請求項1之即時校正夾持座標之機械手臂系統，其中該演算單元連接有一雲端伺服器，該雲端伺服器儲存有提供辨視物件使用之影像畫面及對應物件之相關資料，讓該演算單元深度學習該雲端伺服器之影像畫面，藉此提高對物件的判斷精準度。
4. 如請求項3之即時校正夾持座標之機械手臂系統，其中該景深相機於執行拍攝指令時，該演算單元能記錄全部物件之影像畫面，並於該雲端伺服器建立影像專案資料夾，使該景深相機後續所拍攝的影像畫面能直接比對影像專案資料夾內之影像畫面，藉此提高該演算單元之運算速度與判斷精準度。
5. 如請求項3之即時校正夾持座標之機械手臂系統，其中該夾爪沿著位移路徑執行位移動作時，該演算單元能記錄全部位移路徑與是否到達指定的校正座標或夾持座標，並於該雲端伺服器建立路徑專案資料夾，透過數據分析判斷相同或相近之位移路徑皆無法讓夾爪到達指定位置時，該演算單元後續將排除不良的位移路徑，透過繞路方式提高定位精準度。
6. 如請求項1之即時校正夾持座標之機械手臂系統，其中該演算單元利用已知的該起始座標與影像畫面之景深進行運算，使影像畫面能繪制圍設該物件的一平面邊界框，且該平面邊界框於一端角落定義為一邊界座標，又該演算單元以該平面邊界框運算得知物件之中心座標與尺寸比例。
7. 如請求項6之即時校正夾持座標之機械手臂系統，其中該平面邊界框的長寬比設定為(w,h)，該邊界座標設定為(Xi,Yi)，該演算單元以該平面邊界框運算得知該中心座標為((Xi-w/2),(Yi-h/2))，又該起始座標設定為(X₀,Y₀)，且該物件尺寸比例設定為Z，即能獲得對應物件之X點移動向量為-((Xi-w/2)-X₀)/Z，以及對應物件之Y點移動向量為-((Yi-h/2)-Y₀)/Z。
8. 如請求項1之即時校正夾持座標之機械手臂系統，其中該夾爪位移至夾持座標，使該夾爪旋轉角度對準物件之中心座標，該夾爪夾持物件不足或超過指定寬度之容許值時，該演算單元判斷夾持失敗，由該控制單元將該夾爪位移至上一步驟之校正座標，再次由該景深相機進行拍攝，且由該演算單元重新計算新的夾持座標，重新進行夾持動作。
9. 如請求項1之即時校正夾持座標之機械手臂系統，其中該機械手臂於該夾爪處裝設有一荷重單元，於操作該 夾爪進行夾持動作後，該荷重單元未偵測到該夾爪保持有重量的增加，該演算單元即能判斷夾持失敗，由該控制單元將該夾爪位移至上一步驟之校正座標，再次由該景深相機進行拍攝，且由該演算單元重新計算新的夾持座標，重新進行夾持動作。
10. 如請求項1之即時校正夾持座標之機械手臂系統，其中該夾爪於自行設定次數下仍未成功夾持物件時，由該控制單元操作該夾爪沿著該輸送平台的垂直軸旋轉90度，藉此夾持物件的不同位置，或傾斜該夾爪使該景深相機額外拍攝物件的側邊影像畫面，藉此就物件高度分析重心位置而提供新的夾持座標。

Images