TWI660255B - Workpiece processing method and processing system - Google Patents

Workpiece processing method and processing system Download PDF

Info

Publication number
TWI660255B
TWI660255B TW107104688A TW107104688A TWI660255B TW I660255 B TWI660255 B TW I660255B TW 107104688 A TW107104688 A TW 107104688A TW 107104688 A TW107104688 A TW 107104688A TW I660255 B TWI660255 B TW I660255B
Authority
TW
Taiwan
Prior art keywords
data
offset
coordinates
processing unit
displacement path
Prior art date
Application number
TW107104688A
Other languages
English (en)
Other versions
TW201933013A (zh
Inventor
陳政隆
春祿 阮
蔡讚耀
劉祐延
Original Assignee
所羅門股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 所羅門股份有限公司 filed Critical 所羅門股份有限公司
Application granted granted Critical
Publication of TWI660255B publication Critical patent/TWI660255B/zh
Publication of TW201933013A publication Critical patent/TW201933013A/zh

Links

Landscapes

  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

一種工件加工方法包含：一攝影單元拍攝一工件以產生並傳送一三維點雲資料至一處理單元。該處理單元將該三維點雲資料與一儲存單元所儲存的一參考三維模型比對並判斷該三維點雲資料是否具有多個相關於該參考三維模型的第二特徵部位。當該處理單元的判斷結果為是時，根據該參考三維模型與該三維點雲資料之間的位置差異產生一校正資料。該處理單元根據該儲存單元所儲存的一預定位移路徑資料及該校正資料產生一指示出一校正位移路徑的校正位移路徑資料，並根據該校正位移路徑資料控制該機械手臂沿該校正位移路徑位移而對該工件進行一加工作業。

Description

工件加工方法及加工系統
本發明是有關於一種工件加工方法，特別是指一種涉及三維影像辨識的工件加工方法。本發明還有關於一種能實施該工件加工方法的加工系統。
現有車輛底盤在製造過程中需以人工進行防水膠噴塗作業，然而，以人工進行防水膠的噴塗，較難以掌控噴塗位置及噴塗厚度的一致性，而不利於防水膠噴塗作業的精準度。
因此，本發明之其中一目的，在於提供一種能克服先前技術之缺點的工件加工方法。
於是，本發明工件加工方法適用於一加工系統，該加工系統包含一攝影單元、一適用於進行一加工作業的機械手臂，以及一控制模組，該控制模組包括一儲存單元，以及一電連接該攝影單元、該機械手臂及該儲存單元的處理單元，該儲存單元儲存有一包含一參考三維模型的參考模板資料，以及一預定位移路徑資料，該參考三維模型定義出多個第一特徵部位，該預定位移路徑資料指示出一預定位移路徑，而適用於供該處理單元控制該機械手臂沿該預定位移路徑位移而進行該加工作業。該工件加工方法包含下列步驟：(A)該攝影單元拍攝一工件而產生一包含一三維點雲資料的拍攝結果，並將該拍攝結果傳送至該處理單元。(B)當該處理單元接收到該拍攝結果時，將該三維點雲資料與該參考三維模型比對，以判斷該三維點雲資料是否具有多個分別與該等第一特徵部位相符的第二特徵部位。(C)當該處理單元判斷出該三維點雲資料具有該等第二特徵部位時，根據該參考三維模型與該三維點雲資料之間的位置差異產生一校正資料。(D)該處理單元根據該預定位移路徑資料及該校正資料產生一指示出一校正位移路徑的校正位移路徑資料，並根據該校正位移路徑資料，控制該機械手臂沿該校正位移路徑位移而對該工件進行該加工作業。
在本發明工件加工方法的一些實施態樣中，該參考三維模型包含多個第一座標，且該等第一特徵部位的每一者是由該等第一座標的其中部分者共同構成，在步驟(A)中，該三維點雲資料包含多個第二座標，且該等第二特徵部位的每一者是由該等第二座標的其中部分者共同構成，在步驟(C)中，該處理單元是根據該等第一座標及該等第二座標計算出該校正資料。
在本發明工件加工方法的一些實施態樣中，該預定位移路徑資料包含該等第一座標中以一第一順序排列的其中多個第一座標，在步驟(D)中，該校正位移路徑資料包含該等第二座標中以一第二順序排列的其中多個第二座標。
在本發明工件加工方法的一些實施態樣中，步驟(C)包含下列子步驟：(C1)該處理單元根據該三維點雲資料及多筆偏移數據，計算出多個分別對應該等偏移數據的偏移座標集合，每一偏移數據包含一偏移位移量及一偏移角度量，每一偏移座標集合包含多個分別對應該等第二座標的偏移座標。(C2)該處理單元根據每一偏移座標集合的該等偏移座標，以及該參考三維模型的該等第一座標，計算出一對應該偏移座標集合的總距離差。(C3)該處理單元根據該等偏移數據其中一作為一目標偏移數據的該偏移數據產生該校正資料，該目標偏移數據所對應之該偏移座標集合所對應之該總距離差是該等總距離差其中一最小者，該校正資料包含該目標偏移數據所包含的該偏移位移量及該偏移角度量。
在本發明工件加工方法的一些實施態樣中，在子步驟(C2)中，該總距離差等於多個子距離差的總和，每一子距離差等於該偏移座標集合的其中一偏移座標，與該等第一座標其中一最接近其中該偏移座標者之間的距離。
在本發明工件加工方法的一些實施態樣中，該工件為一車輛底盤，該加工作業為一膠層噴塗作業，在步驟(D)中，該處理單元是根據該校正位移路徑資料，控制該機械手臂沿該校正位移路徑位移而對該車輛底盤進行該膠層噴塗作業。
在本發明工件加工方法的一些實施態樣中，該加工系統還包含一電連接該處理單元的運送單元，且該工件加工方法還包含一位於步驟(A)之前的步驟(E)：該運送單元承載該工件並以自動導引的方式移動，以將該工件運送至一對應該攝影單元及該機械手臂的預定加工位置。
在本發明工件加工方法的一些實施態樣中，該參考模板資料還包含一參考二維模型。在步驟(A)中，該拍攝結果還包含一二維圖像資料。步驟(B)包含：(B1)當該處理單元接收到該拍攝結果時，將該二維圖像資料與該參考二維模型比對，以判定出該二維圖像資料與該參考二維模型之間的一偏移角度。(B2) 該處理單元將該三維點雲資料旋轉該偏移角度。(B3) 該處理單元將旋轉該偏移角度後的該三維點雲資料與該參考三維模型比對，以判斷該三維點雲資料是否具有該等第二特徵部位。
本發明之另一目的，在於提供能實施該加工方法的一種加工系統。
本發明加工系統包含一攝影單元、一機械手臂及一控制模組。該機械手臂適用於進行一加工作業。該控制模組包括一儲存單元，以及一電連接該攝影單元、該機械手臂及該儲存單元的處理單元，該儲存單元儲存有一包含一參考三維模型的參考模板資料，以及一預定位移路徑資料，該參考三維模型定義出多個第一特徵部位，該預定位移路徑資料指示出一預定位移路徑，而適用於供該處理單元控制該機械手臂沿該預定位移路徑位移而進行該加工作業。該攝影單元用於拍攝一工件而產生一包含一三維點雲資料的拍攝結果，並將該拍攝結果傳送至該處理單元。當該處理單元接收到該拍攝結果時，將該三維點雲資料與該參考三維模型比對，以判斷該三維點雲資料是否具有多個分別與該等第一特徵部位相符的第二特徵部位。當該處理單元判斷出該三維點雲資料具有該等第二特徵部位時，根據該參考三維模型與該三維點雲資料之間的位置差異產生一校正資料。該處理單元根據該預定位移路徑資料及該校正資料產生一指示出一校正位移路徑的校正位移路徑資料，並根據該校正位移路徑資料，控制該機械手臂沿該校正位移路徑位移而對該工件進行該加工作業。
在本發明加工系統的一些實施態樣中，該參考三維模型包含多個第一座標，且該等第一特徵部位的每一者是由該等第一座標的其中部分者共同構成，該三維點雲資料包含多個第二座標，且該等第二特徵部位的每一者是由該等第二座標的其中部分者共同構成，該處理單元是根據該等第一座標及該等第二座標計算出該校正資料。
在本發明加工系統的一些實施態樣中，該預定位移路徑資料包含該等第一座標中以一第一順序排列的其中多個第一座標，該校正位移路徑資料包含該等第二座標中以一第二順序排列的其中多個第二座標。
在本發明加工系統的一些實施態樣中，該處理單元產生該校正資料的方式包含：該處理單元根據該三維點雲資料及多筆偏移數據，計算出多個分別對應該等偏移數據的偏移座標集合，每一偏移數據包含一偏移位移量及一偏移角度量，每一偏移座標集合包含多個分別對應該等第二座標的偏移座標。該處理單元根據每一偏移座標集合的該等偏移座標，以及該參考三維模型的該等第一座標，計算出一對應該偏移座標集合的總距離差。該處理單元根據該等偏移數據其中一作為一目標偏移數據的該偏移數據產生該校正資料，該目標偏移數據所對應之該偏移座標集合所對應之該總距離差是該等總距離差其中一最小者，該校正資料包含該目標偏移數據所包含的該偏移位移量及該偏移角度量。
在本發明加工系統的一些實施態樣中，該總距離差等於多個子距離差的總和，每一子距離差等於該偏移座標集合的其中一偏移座標，與該等第一座標其中一最接近其中該偏移座標者之間的距離。
在本發明加工系統的一些實施態樣中，該工件為一車輛底盤，該加工作業為一膠層噴塗作業，該處理單元是根據該校正位移路徑資料，控制該機械手臂沿該校正位移路徑位移而對該車輛底盤進行該膠層噴塗作業。
在本發明加工系統的一些實施態樣中，該加工系統還包含一電連接該處理單元的運送單元，該運送單元於該攝影單元拍攝該工件之前承載該工件並以自動導引的方式移動，以將該工件運送至一對應該攝影單元及該機械手臂的預定加工位置。
在本發明加工系統的一些實施態樣中，該參考模板資料還包含一參考二維模型，該拍攝結果還包含一二維圖像資料，當該處理單元接收到該拍攝結果時，該處理單元先將該二維圖像資料與該參考二維模型比對，以判定出該二維圖像資料與該參考二維模型之間的一偏移角度，接著，該處理單元將該三維點雲資料旋轉該偏移角度，接著，該處理單元將旋轉該偏移角度後的該三維點雲資料與該參考三維模型比對，以判斷該三維點雲資料是否具有該等第二特徵部位。
本發明之功效在於：以本發明的該工件加工方法取代人工而對車輛底盤進行防水膠的噴塗，能將防水膠噴塗作業自動化。此外，該處理單元能在獲得該工件的該三維點雲資料，並確認該三維點雲資料與該參考三維模型相符後，進一步地產生該校正資料及該校正位移路徑資料，如此一來，即使該工件在被運輸至該預定加工位置時產生位移或旋轉，該處理單元仍能控制該機械手臂沿著經過補償的該校正位移路徑位移而對該工件進行該加工作業，而能有效提升該加工作業的精準度與成功率，且完全克服先前技術之缺點。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
同時參閱圖1及圖2，本發明加工系統1之一第一實施例適用於對一工件5進行一加工作業。在本實施例中，每一工件5例如為一車輛底盤，且該加工作業例如為對該工件5所實施的一防水膠層噴塗作業。在其他實施例中，該工件5並不限於是車輛底盤，且該加工作業可例如是拋光、研磨、焊接、上蠟等其他加工程序，而不以本實施例為限。
該加工系統1包含一運送單元10、一攝影單元11、一機械手臂12，以及一電連接該運送單元10、該攝影單元11及該機械手臂12的控制模組13(示於圖2)。
在本實施例中，如圖1所示，該運送單元10被實施為一具有自動導引功能及影像辨識功能及的自動導引車輛(Auto Guided Vehicle，簡稱AGV)。更具體地說，該運送單元10包含一抓取裝置101、一位置對應該抓取裝置101的承載台102、一影像辨識單元103，以及一電連接該抓取裝置101及該影像辨識單元103的第一處理器104。藉由該第一處理器104的控制，該運送單元10能在一空間內以自動導引的方式移動，且該影像辨識單元103能辨識出其所朝向的一偵測範圍內是否存在待加工的該工件5。當該影像辨識單元103辨識出該工件5時，該第一處理器104控制該抓取裝置101抓取該工件5，並將該工件5放置於該承載台102上，以致該運送單元10能以該承載台102承載該工件5在該空間內移動。
在本實施例中，如圖1所示，該攝影單元11例如為一深度相機，且該攝影單元11包含一鏡頭111以及一第二控制器112。該鏡頭111例如是對準一對應該機械手臂12的預定加工位置P，而能受該第二控制器112的控制而對該預定加工位置P進行拍攝，但不以此為限。
在本實施例中，如圖1所示，該機械手臂12包括一能受控地旋轉、伸縮的驅動部分121，以及一連接於該驅動部分121且受該驅動部分121帶動的加工部分122。該機械手臂12適用於以該加工部分122於該預定加工位置P的範圍內進行該加工作業。
如圖2所示，該控制模組13包括一儲存單元131，以及一電連接該運送單元10、該攝影單元11、該機械手臂12及該儲存單元131的處理單元132。在本實施例中，該處理單元132可例如是作為一中央處理器，並與該第一處理器104、該第二處理器112及該第三處理器123無線電連接，以致該運送單元10、該攝影單元11及該機械手臂12皆是受該處理單元132的控制而進行操作。然而，在其他實施例中，該處理單元132也可以是由該第一處理器104、該第二處理器112及該第三處理器123所構成，而作為該第一處理器104、該第二處理器112及該第三處理器123的總稱，且該第一處理器104、該第二處理器112及該第三處理器123能彼此進行無線通訊，而不以本實施例為限。
該儲存單元131儲存有一參考模板資料及一預定位移路徑資料。在本實施例中，該參考模板資料包含該車輛底盤的一參考二維模型及一參考三維模型，但不以此為限。
在本實施例中，該參考二維模型例如是該車輛底盤以一預定方向擺置的一彩色照片，但不以此為限。
在本實施例中，該參考三維模型例如是該車輛底盤以該預定方向擺置的一3D模型，但不以此為限。更詳細地說，該參考三維模型包含多個第一座標，並且定義出多個第一特徵部位。每一第一座標為一個三維座標，且可例如是採用直角座標系（或稱笛卡兒坐標系）、極座標系、圓柱座標系或球座標系，而不以此為限。該等第一特徵部位的每一者是由該等第一座標的其中部分者共同構成，而作為該參考三維模型的一外觀特徵。更具體地說，每一第一特徵部位例如是該參考三維模型中深度變化較為顯著，或者是邊緣曲率較大的一封閉區域，而便於進行三維影像辨識中的特徵點辨認演算法，其中，所述的特徵點辨認演算法可例如是”FAST”、 ”STAR”、 ”SIFT”、 ”SURF”、 ”ORB”、 ”BRISK”、 ”MSER”、 ”GFTT”、 ”HARRIS”、 ”Dense”、 ” SimpleBlob”、 ” Grid”及” Grid”等現有的演算法，但不以此為限。
該預定位移路徑資料指示出一預定位移路徑，而適用於供該處理單元132控制該機械手臂12的該驅動部分121帶動該加工部分122沿該預定位移路徑位移，並於位移時同時進行該加工作業。更具體地說，該預定位移路徑資料包含該等第一座標中以一第一順序排列且各作為一預定路徑座標的其中多個第一座標，該等預定路徑座標於該第一順序中彼此相鄰的每兩者之間形成一預定子位移路徑，而該等預定子位移路徑共同構成該預定位移路徑。
同時參閱圖2及圖3，以下示例性地說明本實施例的該加工系統1如何實施一工件加工方法。
首先，在步驟S1中，在該運送單元10已承載該工件5的情況下，該處理單元132控制該運送單元10以自動導引的方式承載該工件5移動，以致該運送單元10將該工件5運送至該預定加工位置P(示於圖1)。接著，進行步驟S2。
在步驟S2中，當該運送單元10將該工件5運送至該預定加工位置P(示於圖1)時，該處理單元132控制該攝影單元11拍攝該工件5，而使該攝影單元11產生一拍攝結果。該拍攝結果包含一彩色的二維圖像資料，以及一包含多個第二座標的三維點雲資料。接著，進行步驟S3。
在步驟S3中，該攝影單元11將該拍攝結果傳送至該控制模組13的該處理單元132。接著，進行步驟S4。
在步驟S4中，當該處理單元132接收到該拍攝結果時，將該拍攝結果的該二維圖像資料與該參考模板資料的該參考二維模型比對，以判定出該二維圖像資料與該參考二維模型之間的一偏移角度。補充說明的是，在本實施例中，該處理單元132例如是比對該二維圖像資料與該參考二維模型之整體或部分的顏色、明暗、輪廓、形狀等視覺特徵，並且根據該等視覺特徵於該二維圖像資料及該參考二維模型的分佈位置差異而判定出該偏移角度，而且，該處理單元132係事先根據該車輛底盤以不同角度擺置的多張二維彩色圖像進行深度學習（deep learning），因而具有根據該二維圖像資料及該參考二維模型判定出該偏移角度的能力，但不以此為限。在該處理單元132判定出該偏移角度後，接著進行步驟S5。
在步驟S5中，該處理單元132將該三維點雲資料旋轉該偏移角度而作為一補償三維點雲資料，以使得該補償三維點雲資料與該參考三維模型在該預定方向上大致重合。特別說明的是，由於該二維圖像資料與該參考二維模型皆為平面的圖像，因此，該偏移角度僅為單一平面方向的角度。也就是說，該補償三維點雲資料仍可能與該參考三維模型存在其他方向（例如深度）上的角度偏移或位置偏移。接著，進行步驟S6。
在步驟S6中，該處理單元132將該補償三維點雲資料與該參考三維模型比對，以判斷該補償三維點雲資料是否具有多個分別與該等第一特徵部位相符的第二特徵部位。該等第二特徵部位的每一者是由該等第二座標的其中部分者共同構成。特別說明的是，每一第二特徵部位是代表實際存在於該工件5上且與該參考三維模型之該等第一特徵部位相符的一外觀特徵。該處理單元132可例如是利用前述所舉例之任一種特徵點辨認演算法，來判斷該補償三維點雲資料是否具有該等第二特徵部位，但不以此為限。補充說明的是，該處理單元132係事先根據該等二維彩色圖像進行深度學習，而具有從不同的角度、距離辨認出該等第二特徵部位的能力，但不以此為限。當該處理單元132判斷出該補償三維點雲資料具有該等第二特徵部位時，代表該工件5的外型相符於該參考三維模型，並接著進行步驟S8。當該處理單元132判斷出該補償三維點雲資料未具有該等第二特徵部位時，代表該工件5的外型不相符於該參考三維模型，並接著進行步驟S7。
在接續於步驟S6的步驟S7中，該處理單元132產生一通知信號，並將該通知信號傳送至一輸出裝置輸出。該通知信號例如是用於指示出該工件5的外型與該參考三維模型不符，該輸出裝置可例如是一具有顯示螢幕的電腦，但不以此為限。
在接續於步驟S6的步驟S8中，該處理單元132根據該等第一座標及該等第二座標，計算出一校正資料，該校正資料是相關於該參考三維模型與的該補償三維點雲資料之間的角度差異或位置差異。同時參閱圖1至圖3，以下以子步驟S8-1至子步驟S8-4詳細說明該校正資料的產生方式。
首先，在子步驟S8-1中，該處理單元132根據該補償三維點雲資料及多筆預設的偏移數據，計算出多個分別對應該等偏移數據的偏移座標集合，且每一偏移座標集合包含多個分別對應該等第二座標的偏移座標。
在本實施例中，每一偏移數據包含一偏移位移量、一位移方向、一偏移角度量，以及一旋轉方向，該偏移位移量可例如是0mm至10mm中的任一者，該位移方向例如係以向量的形式指示出立體空間中的一特定方向，該偏移角度量可例如是0度至10度中的任一者，而該旋轉方向例如係以向量的形式指示出立體空間中的另一特定方向，但不以此為限。該等偏移數據例如涵蓋了各該偏移位移量、位移方向、偏移角度量及旋轉方向的各種交叉組合，但不以此為限。
舉例來說，假設該等偏移數據中存在一筆第一偏移數據，而該第一偏移數據所包含的該偏移位移量為2mm、該位移方向為x方向、該偏移角度量為5度，該旋轉方向為y方向，則該第一偏移數據所指示出的偏移方式為「朝x方向位移2mm、朝y方向旋轉5度」。而該處理單元132根據該第一偏移數據計算出該偏移座標集合的方式，是對該三維點雲資料的所有第二座標進行「朝x方向位移2mm、朝y方向旋轉5度」的偏移運算，而產生對應的該等偏移座標。換句話說，每一偏移座標是該處理單元132根據對應的該第二座標及該偏移數據進行偏移後的結果，而每一偏移座標集合是該處理單元132根據對應的該偏移數據對該三維點雲資料進行偏移後的結果。
接著，在子步驟S8-2中，該處理單元132根據每一偏移座標集合的該等偏移座標，以及該參考三維模型的該等第一座標，計算出一對應該偏移座標集合的總距離差。該總距離差等於多個子距離差的總和，每一子距離差等於該偏移座標集合的其中一偏移座標，與該等第一座標其中一最接近其中該偏移座標者之間的距離。具體而言，若該總距離差愈小，代表偏移後的該補償三維點雲資料與該參考三維模型的角度及位置愈相符。在本實施例中，該總距離差是根據以下的公式所計算出，但不以此為限。其中，N S代表該等第一座標的數量、m i代表該等第一座標中的第i者、Rot(s i)代表對該等第一座標中的第i者進行該偏移角度量之旋轉後所得到的結果，Trans代表該偏移位移量。
接著，在子步驟S8-3中，該處理單元132根據該等總距離差，從該等偏移數據中選擇出其中一目標偏移數據，該目標偏移數據所包含的該偏移位移量及該位移方向指示出該參考三維模型與該補償三維點雲資料之間的位移差，而該目標偏移數據所包含的該偏移角度量及該旋轉方向則指示出該參考三維模型與該補償三維點雲資料之間的角度差。在本實施例中，該處理單元132選擇出該目標偏移數據的方式，是將該等總距離差其中一最小者所對應的該偏移座標集合作為一目標偏移座標集合，並將該目標偏移座標集合所對應的該偏移數據作為該目標偏移數據。也就是說，該目標偏移數據所對應之該偏移座標集合所對應之該總距離差，是該等總距離差中之該最小者。
最後，在子步驟S6-4中，該處理單元132根據該目標偏移數據產生該校正資料，且該校正資料包含該目標偏移數據所包含的該偏移位移量、該位移方向、該偏移角度量及該旋轉方向。在本實施例中，該等偏移數據、該校正資料皆是以四乘四的矩陣（matrix）呈現，而能用於進行剛體轉換（rigid transformation）的運算，但不以此為限。
在該處理單元132計算出該校正資料後，接著進行步驟S9。
在步驟S9中，該處理單元132根據該預定位移路徑資料及該校正資料產生一指示出一校正位移路徑的校正位移路徑資料，該校正位移路徑資料包含該等第二座標中以一第二順序排列且各作為一校正路徑座標的其中多個第二座標。該等校正路徑座標於該第二順序中彼此相鄰的每兩者之間形成一校正子位移路徑，而該等校正子位移路徑共同構成該校正位移路徑。該處理單元132產生該校正位移路徑資料的方式，是將該預定位移路徑資料所包含的每一預定路徑座標與該校正資料進行矩陣的相乘，而獲得該校正位移路徑資料所包含的每一校正路徑座標。也就是說，該校正位移路徑是根據該參考三維模型與該補償三維點雲資料之間的位置差對該預定位移路徑進行補償的結果。接著，進行步驟S10。
在步驟S10中，該處理單元132根據該校正位移路徑資料控制該機械手臂12沿該校正位移路徑位移，而對該工件5進行該加工作業（亦即對該車輛底盤進行該防水膠層噴塗作業）。
本發明加工系統1之一第二實施例與第一實施例大致相同。然而，在第二實施例中，該處理單元132計算出該校正資料的方式與第一實施例略有差異。以下以子步驟S8-1至子步驟S8-4說明第二實施例中該校正資料的產生方式。
首先，在子步驟S8-1中，與第一實施例不同之處在於：該處理單元132是根據該參考三維模型及該等偏移數據，計算出分別對應該等偏移數據的該等偏移座標集合。也就是說，在第二實施例中，每一偏移座標集合是該處理單元132根據對應的該偏移數據對該參考三維模型進行偏移後的結果。
接著，在子步驟S8-2中，與第一實施例不同之處在於：該處理單元132是根據每一偏移座標集合的該等偏移座標，以及該補償三維點雲資料的該等第二座標，計算出對應該偏移座標集合的該總距離差。
接著，在子步驟S8-3中，該處理單元132根據該等總距離差，從該等偏移數據中選擇出該目標偏移數據。該處理單元132選擇出該目標偏移數據的方式與第一實施例相同，在此不再重述。
最後，在子步驟S8-4中，該處理單元132根據該目標偏移數據產生該校正資料。該處理單元132產生該校正資料的方式與第一實施例相同，在此不再重述。
綜上所述，以本實施例的該工件加工方法取代人工而對車輛底盤進行防水膠的噴塗，能將現有技術中的防水膠噴塗作業自動化。此外，藉由本實施例的該加工系統1實施該工件加工方法，該處理單元132能在獲得該拍攝結果後，先根據該二維圖像資料及該參考二維模型判定出該偏移角度並據其旋轉該三維點雲資料，再根據經過旋轉的該補償三維點雲資料與該參考三維模型比對，並於判斷出該補償三維點雲資料具有該等第二特徵部位時，進一步地產生該校正位移路徑資料。如此一來，即使該工件5在被運輸至該預定加工位置P時產生位移或旋轉，該處理單元132仍能控制該機械手臂12沿著經過補償的該校正位移路徑位移而對該工件5進行該加工作業，而能有效提升該加工作業的精準度與成功率。而且，該處理單元132於步驟S5中先將該三維點雲資料旋轉該偏移角度，能先初步地將該三維點雲資料與該參考三維模型之間的角度差異縮小，如此一來，不僅能大幅提升步驟S6中該處理單元132辨認該等第二特徵部位的速度及成功率，更能減少步驟S8中該等偏移數據的數量，亦即能使該處理單元132以相對較小的運算量更快速地計算出該校正資料。
惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
1‧‧‧加工系統
10‧‧‧運送單元
101‧‧‧抓取裝置
102‧‧‧承載台
103‧‧‧影像辨識單元
104‧‧‧第一處理器
11‧‧‧攝影單元
111‧‧‧鏡頭
112‧‧‧第二處理器
12‧‧‧機械手臂
121‧‧‧驅動部分
122‧‧‧加工部分
123‧‧‧第三處理器
13‧‧‧控制模組
131‧‧‧儲存單元
132‧‧‧處理單元
5‧‧‧工件
P‧‧‧預定加工位置
S1~S10‧‧‧步驟
S8-1~S8-4‧‧‧子步驟
本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是本發明加工系統之一第一實施例的一示意圖； 圖2是該第一實施例的一方塊示意圖； 圖3是一流程圖，示例性地說明該第一實施例如何實施一工件加工方法；及 圖4是一流程圖，示例性地說明該第一實施例如何在該工件加工方法中產生一校正資料。

Claims (16)

  1. 一種工件加工方法，適用於一加工系統，該加工系統包含一攝影單元、一適用於進行一加工作業的機械手臂，以及一控制模組，該控制模組包括一儲存單元，以及一電連接該攝影單元、該機械手臂及該儲存單元的處理單元，該儲存單元儲存有一包含一參考三維模型的參考模板資料，以及一預定位移路徑資料，該參考三維模型定義出多個第一特徵部位，該預定位移路徑資料指示出一預定位移路徑，而適用於供該處理單元控制該機械手臂沿該預定位移路徑位移而進行該加工作業；該工件加工方法包含下列步驟： (A)該攝影單元拍攝一工件而產生一包含一三維點雲資料的拍攝結果，並將該拍攝結果傳送至該處理單元； (B)當該處理單元接收到該拍攝結果時，將該三維點雲資料與該參考三維模型比對，以判斷該三維點雲資料是否具有多個分別與該等第一特徵部位相符的第二特徵部位； (C)當該處理單元判斷出該三維點雲資料具有該等第二特徵部位時，根據該參考三維模型與該三維點雲資料之間的位置差異產生一校正資料；及 (D)該處理單元根據該預定位移路徑資料及該校正資料產生一指示出一校正位移路徑的校正位移路徑資料，並根據該校正位移路徑資料，控制該機械手臂沿該校正位移路徑位移而對該工件進行該加工作業。
  2. 如請求項1所述的工件加工方法，其中，該參考三維模型包含多個第一座標，且該等第一特徵部位的每一者是由該等第一座標的其中部分者共同構成，在步驟(A)中，該三維點雲資料包含多個第二座標，且該等第二特徵部位的每一者是由該等第二座標的其中部分者共同構成，在步驟(C)中，該處理單元是根據該等第一座標及該等第二座標計算出該校正資料。
  3. 如請求項2所述的工件加工方法，其中，該預定位移路徑資料包含該等第一座標中以一第一順序排列的其中多個第一座標，在步驟(D)中，該校正位移路徑資料包含該等第二座標中以一第二順序排列的其中多個第二座標。
  4. 如請求項2所述的工件加工方法，其中，步驟(C)包含下列子步驟： (C1)該處理單元根據該三維點雲資料及多筆偏移數據，計算出多個分別對應該等偏移數據的偏移座標集合，每一偏移數據包含一偏移位移量及一偏移角度量，每一偏移座標集合包含多個分別對應該等第二座標的偏移座標； (C2)該處理單元根據每一偏移座標集合的該等偏移座標，以及該參考三維模型的該等第一座標，計算出一對應該偏移座標集合的總距離差；及 (C3)該處理單元根據該等偏移數據其中一作為一目標偏移數據的該偏移數據產生該校正資料，該目標偏移數據所對應之該偏移座標集合所對應之該總距離差是該等總距離差其中一最小者，該校正資料包含該目標偏移數據所包含的該偏移位移量及該偏移角度量。
  5. 如請求項4所述的工件加工方法，其中，在子步驟(C2)中，該總距離差等於多個子距離差的總和，每一子距離差等於該偏移座標集合的其中一偏移座標，與該等第一座標其中一最接近其中該偏移座標者之間的距離。
  6. 如請求項1所述的工件加工方法，其中，該工件為一車輛底盤，該加工作業為一膠層噴塗作業，在步驟(D)中，該處理單元是根據該校正位移路徑資料，控制該機械手臂沿該校正位移路徑位移而對該車輛底盤進行該膠層噴塗作業。
  7. 如請求項1所述的工件加工方法，其中，該加工系統還包含一電連接該處理單元的運送單元，且該工件加工方法還包含一位於步驟(A)之前的步驟(E)：該運送單元承載該工件並以自動導引的方式移動，以將該工件運送至一對應該攝影單元及該機械手臂的預定加工位置。
  8. 如請求項1所述的工件加工方法，其中： 該參考模板資料還包含一參考二維模型； 在步驟(A)中，該拍攝結果還包含一二維圖像資料； 步驟(B)包含 (B1)當該處理單元接收到該拍攝結果時，將該二維圖像資料與該參考二維模型比對，以判定出該二維圖像資料與該參考二維模型之間的一偏移角度， (B2) 該處理單元將該三維點雲資料旋轉該偏移角度，及 (B3) 該處理單元將旋轉該偏移角度後的該三維點雲資料與該參考三維模型比對，以判斷該三維點雲資料是否具有該等第二特徵部位。
  9. 一種加工系統，包含： 一攝影單元； 一機械手臂，適用於進行一加工作業；及 一控制模組，包括一儲存單元，以及一電連接該攝影單元、該機械手臂及該儲存單元的處理單元，該儲存單元儲存有一包含一參考三維模型的參考模板資料，以及一預定位移路徑資料，該參考三維模型定義出多個第一特徵部位，該預定位移路徑資料指示出一預定位移路徑，而適用於供該處理單元控制該機械手臂沿該預定位移路徑位移而進行該加工作業； 其中，該攝影單元用於拍攝一工件而產生一包含一三維點雲資料的拍攝結果，並將該拍攝結果傳送至該處理單元， 當該處理單元接收到該拍攝結果時，將該三維點雲資料與該參考三維模型比對，以判斷該三維點雲資料是否具有多個分別與該等第一特徵部位相符的第二特徵部位； 當該處理單元判斷出該三維點雲資料具有該等第二特徵部位時，根據該參考三維模型與該三維點雲資料之間的位置差異產生一校正資料； 該處理單元根據該預定位移路徑資料及該校正資料產生一指示出一校正位移路徑的校正位移路徑資料，並根據該校正位移路徑資料，控制該機械手臂沿該校正位移路徑位移而對該工件進行該加工作業。
  10. 如請求項9所述的加工系統，其中，該參考三維模型包含多個第一座標，且該等第一特徵部位的每一者是由該等第一座標的其中部分者共同構成，該三維點雲資料包含多個第二座標，且該等第二特徵部位的每一者是由該等第二座標的其中部分者共同構成，該處理單元是根據該等第一座標及該等第二座標計算出該校正資料。
  11. 如請求項10所述的加工系統，其中，該預定位移路徑資料包含該等第一座標中以一第一順序排列的其中多個第一座標，該校正位移路徑資料包含該等第二座標中以一第二順序排列的其中多個第二座標。
  12. 如請求項10所述的加工系統，其中，該處理單元產生該校正資料的方式包含： 該處理單元根據該三維點雲資料及多筆偏移數據，計算出多個分別對應該等偏移數據的偏移座標集合，每一偏移數據包含一偏移位移量及一偏移角度量，每一偏移座標集合包含多個分別對應該等第二座標的偏移座標； 該處理單元根據每一偏移座標集合的該等偏移座標，以及該參考三維模型的該等第一座標，計算出一對應該偏移座標集合的總距離差；及 該處理單元根據該等偏移數據其中一作為一目標偏移數據的該偏移數據產生該校正資料，該目標偏移數據所對應之該偏移座標集合所對應之該總距離差是該等總距離差其中一最小者，該校正資料包含該目標偏移數據所包含的該偏移位移量及該偏移角度量。
  13. 如請求項12所述的加工系統，其中，該總距離差等於多個子距離差的總和，每一子距離差等於該偏移座標集合的其中一偏移座標，與該等第一座標其中一最接近其中該偏移座標者之間的距離。
  14. 如請求項9所述的加工系統，其中，該工件為一車輛底盤，該加工作業為一膠層噴塗作業，該處理單元是根據該校正位移路徑資料，控制該機械手臂沿該校正位移路徑位移而對該車輛底盤進行該膠層噴塗作業。
  15. 如請求項9所述的加工系統，其中，該加工系統還包含一電連接該處理單元的運送單元，該運送單元於該攝影單元拍攝該工件之前承載該工件並以自動導引的方式移動，以將該工件運送至一對應該攝影單元及該機械手臂的預定加工位置。
  16. 如請求項9所述的加工系統，其中，該參考模板資料還包含一參考二維模型，該拍攝結果還包含一二維圖像資料，當該處理單元接收到該拍攝結果時，該處理單元先將該二維圖像資料與該參考二維模型比對，以判定出該二維圖像資料與該參考二維模型之間的一偏移角度，接著，該處理單元將該三維點雲資料旋轉該偏移角度，接著，該處理單元將旋轉該偏移角度後的該三維點雲資料與該參考三維模型比對，以判斷該三維點雲資料是否具有該等第二特徵部位。
TW107104688A 2018-01-19 2018-02-09 Workpiece processing method and processing system TWI660255B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
??107102108 2018-01-19
TW107102108 2018-01-19

Publications (2)

Publication Number Publication Date
TWI660255B true TWI660255B (zh) 2019-05-21
TW201933013A TW201933013A (zh) 2019-08-16

Family

ID=67349086

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107104688A TWI660255B (zh) 2018-01-19 2018-02-09 Workpiece processing method and processing system

Country Status (1)

Country Link
TW (1) TWI660255B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240802A (zh) * 2021-06-23 2021-08-10 中移（杭州）信息技术有限公司 三维重建的全屋虚拟装维方法、装置、设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI747151B (zh) * 2020-02-04 2021-11-21 達奈美克股份有限公司 機械手臂移動補償的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050224475A1 (en) * 2004-04-13 2005-10-13 Disco Corporation Laser beam processing machine
TW201144959A (en) * 2010-06-15 2011-12-16 Jochu Technology Co Ltd Automatic joining system with machine vision location
CN102540533A (zh) * 2010-12-15 2012-07-04 华映视讯（吴江）有限公司 裸眼立体显示器的组装方法
CN102773524A (zh) * 2012-08-01 2012-11-14 西北工业大学 一种基于机器视觉找正的制孔方法
US20130147944A1 (en) * 2010-08-27 2013-06-13 Abb Research Ltd Vision-guided alignment system and method
TW201707894A (zh) * 2015-08-25 2017-03-01 Kawasaki Heavy Ind Ltd 機器人系統
JP2017213644A (ja) * 2016-05-31 2017-12-07 キヤノン株式会社 教示装置、教示システム、ロボットシステム、教示方法、製造品の製造方法、プログラム及び記録媒体
JP2017217738A (ja) * 2016-06-09 2017-12-14 いすゞ自動車株式会社 ロボット作業教示方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050224475A1 (en) * 2004-04-13 2005-10-13 Disco Corporation Laser beam processing machine
TW201144959A (en) * 2010-06-15 2011-12-16 Jochu Technology Co Ltd Automatic joining system with machine vision location
US20130147944A1 (en) * 2010-08-27 2013-06-13 Abb Research Ltd Vision-guided alignment system and method
CN102540533A (zh) * 2010-12-15 2012-07-04 华映视讯（吴江）有限公司 裸眼立体显示器的组装方法
CN102773524A (zh) * 2012-08-01 2012-11-14 西北工业大学 一种基于机器视觉找正的制孔方法
TW201707894A (zh) * 2015-08-25 2017-03-01 Kawasaki Heavy Ind Ltd 機器人系統
TW201713473A (en) * 2015-08-25 2017-04-16 Kawasaki Heavy Ind Ltd Robot system and operation method therefor
JP2017213644A (ja) * 2016-05-31 2017-12-07 キヤノン株式会社 教示装置、教示システム、ロボットシステム、教示方法、製造品の製造方法、プログラム及び記録媒体
JP2017217738A (ja) * 2016-06-09 2017-12-14 いすゞ自動車株式会社 ロボット作業教示方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113240802A (zh) * 2021-06-23 2021-08-10 中移（杭州）信息技术有限公司 三维重建的全屋虚拟装维方法、装置、设备及存储介质

Also Published As

Publication number Publication date
TW201933013A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN108827154B (zh) 一种机器人无示教抓取方法、装置及计算机可读存储介质
CN113524194B (zh) 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
US20210154839A1 (en) Robotic system control method and controller
JP5815761B2 (ja) 視覚センサのデータ作成システム及び検出シミュレーションシステム
JP4004899B2 (ja) 物品の位置姿勢検出装置及び物品取出し装置
JP5365379B2 (ja) ロボットシステム及びロボットシステムのキャリブレーション方法
CN107192331A (zh) 一种基于双目视觉的工件抓取方法
JP2018169403A5 (zh)
JP2020011339A5 (ja) ロボットシステムの制御方法、制御プログラム、記録媒体、制御装置、ロボットシステム、物品の製造方法
JP2016099257A (ja) 情報処理装置及び情報処理方法
CN113146172B (zh) 一种基于多视觉的检测与装配系统及方法
CN110815213A (zh) 一种基于多维度特征融合的零件识别装配方法和装置
US10540779B2 (en) Posture positioning system for machine and the method thereof
JP2010172986A (ja) ロボットビジョンシステムおよび自動キャリブレーション方法
WO2020158060A1 (ja) 物体把持システム
CN110136211A (zh) 一种基于主动双目视觉技术的工件定位方法及系统
TWI660255B (zh) Workpiece processing method and processing system
CN112109072B (zh) 一种大型稀疏特征托盘精确6d位姿测量和抓取方法
Zheng et al. Industrial part localization and grasping using a robotic arm guided by 2D monocular vision
CN115582827A (zh) 一种基于2d和3d视觉定位的卸货机器人抓取方法
CN116766194A (zh) 基于双目视觉的盘类工件定位与抓取系统和方法
JP2920352B2 (ja) 移動体の走行制御方法および装置
CN107442973A (zh) 基于机器视觉的焊道定位方法及装置
US20230368414A1 (en) Pick and place systems and methods
TWI675000B (zh) 物件運送方法及系統