TW202308819A - 教示機器人把持工件的位置及姿勢的裝置、機器人系統、及方法 - Google Patents

Abstract

以往至今尋求可高精度地教示令機器人以手部把持工件的位置之技術。 裝置100具備：圖像資料取得部82，其在機器人12以手部把持工件時，取得配置於控制座標系統之已知的位置之視覺感測器14拍攝該工件之圖像資料；工件位置取得部84，其基於圖像資料，來取得表示工件的位置及姿勢之工件位置資料；手部位置取得部86，其取得表示視覺感測器拍攝到圖像資料時之手部的位置及姿勢之手部位置資料；及教示位置取得部88，其基於工件位置資料及手部位置資料，來取得表示視覺感測器14拍攝到圖像資料時之手部與工件的位置關係之教示位置資料。

Description

教示機器人把持工件的位置及姿勢的裝置、機器人系統、及方法

發明領域

本揭示是有關於一種教示機器人把持工件的位置及姿勢的裝置、機器人系統、及方法。

發明背景

已知一種機器人系統，其基於視覺感測器所拍攝到之圖像資料，來執行令機器人以手部把持工件的動作(例如專利文獻1)。 先行技術文獻 專利文獻

專利文獻1：日本特開2016-209979號公報

發明概要 發明欲解決之課題

以往尋求可高精度地教示令機器人以手部把持工件的位置之技術。 用以解決課題之手段

於本揭示的一態樣中，於用以控制機器人的控制座標系統中教示該機器人以手部把持工件的位置及姿勢的裝置具備：圖像資料取得部，其在機器人以手部把持工件時，取得配置於控制座標系統之已知的位置之視覺感測器拍攝該工件之圖像資料；工件位置取得部，其基於圖像資料，來取得表示視覺感測器拍攝到該圖像資料時之控制座標系統中之工件的位置及姿勢之工件位置資料；手部位置取得部，其取得表示視覺感測器拍攝到圖像資料時之控制座標系統中之手部的位置及姿勢之手部位置資料；及教示位置取得部，其基於工件位置資料及手部位置資料，來取得表示視覺感測器拍攝到圖像資料時之控制座標系統中之手部與工件的位置關係之教示位置資料。

於本揭示的另一態樣中，於用以控制機器人的控制座標系統中，教示該機器人以手部把持工件的位置及姿勢的方法是：處理器在機器人以手部把持工件時，取得配置於控制座標系統之已知的位置之視覺感測器拍攝該工件之圖像資料，基於圖像資料，來取得表示視覺感測器拍攝到該圖像資料時之控制座標系統中之工件的位置及姿勢之工件位置資料，取得表示視覺感測器拍攝到圖像資料時之控制座標系統中之手部的位置及姿勢之手部位置資料，基於工件位置資料及手部位置資料，來取得表示視覺感測器拍攝到圖像資料時之控制座標系統中之手部與工件的位置關係之教示位置資料。 發明效果

基於在操作者欲教示的把持位置以手部實際把持工件時所拍攝到之圖像資料，來取得教示位置資料，藉此可將操作者欲教示的把持位置高精度地教示給機器人。

用以實施發明之形態

以下基於圖式來詳細說明本揭示的實施形態。再者，於以下所說明的各種實施形態中，對同樣的要素附上相同的符號，並省略重複的說明。首先，參考圖1及圖2來說明一實施形態的機器人系統10。機器人系統10進行將散裝於容器A之工件拾取的作業，前述機器人系統10具備機器人12、視覺感測器14、控制裝置16及教示裝置18。

於本實施形態，機器人12是垂直多關節機器人，具有機器人基座20、迴旋體22、下臂部24、上臂部26、腕部28及手部30。機器人基座20固定於作業單元(cell)的地板上。迴旋體22是以可繞著鉛直軸旋動的方式設置於機器人基座20。下臂部24是以可繞著水平軸旋動的方式設置於迴旋體22，上臂部26是可旋動地設置於下臂部24的前端部。腕部28是可旋動地設置於上臂部26的前端部。

於機器人基座20、迴旋體22、下臂部24、上臂部26及腕部28，分別設置有複數個伺服馬達40(圖2)。伺服馬達40因應來自控制裝置16的指令，使迴旋體22、下臂部24、上臂部26及腕部28分別繞著驅動軸旋動，藉此使機器人12動作。再者，於本文中，將機器人基座20、迴旋體22、下臂部24、上臂部26及腕部28當作機器人12的機構部42來提及。

手部30可裝卸地安裝於腕部28的前端部(所謂的腕凸緣)，藉由機器人12的機構部42來移動。具體而言，如圖3所示，手部30具有手部臂32、爪部34及36、以及爪部驅動部38。手部臂32是其基端部連結於腕部28的前端部。

爪部34及36可開閉地設置於手部臂32的前端部。於本實施形態，爪部34及36各自是呈直線狀延伸之圓柱狀的棒構件。爪部驅動部38例如具有空壓式或油壓式之氣缸、或伺服馬達，因應來自控制裝置16的指令來使爪部34及36開閉。手部30可藉由使爪部34及36開閉來把持或放開工件W。

再次參考圖1及圖2，視覺感測器14拍攝工件W。具體而言，視覺感測器14固定於保持架44。保持架44固定於作業單元的地板上，視覺感測器14靜止配置於容器A的上方的位置。

於本實施形態，視覺感測器14是具有攝像感測器(CMOS、CCD等)、及將被照體像往該攝像感測器導光之光學透鏡(準直透鏡、聚焦透鏡等)的三維視覺感測器，構成為沿著視線方向VL拍攝被照體，並且測定至該被照體像的距離d。

教示裝置18教示機器人12以手部30把持散裝於容器A之工件W的動作。具體而言，教示裝置18是例如教示器(pendant)或平板型終端裝置等攜帶型電腦，具有處理器50、記憶體52、I/O介面54、顯示裝置56及輸入裝置58。處理器50具有CPU或GPU等，透過匯流排60而與記憶體52、I/O介面54、顯示裝置56及輸入裝置58可通訊地連接，一邊與這些組件通訊，一邊進行用以實現後述之教示功能的運算處理。

記憶體52具有RAM或ROM等，以暫時或永久地記憶各種資料。I/O介面54具有例如乙太網路(註冊商標)埠、USB埠、光纖連接器或HDMI(註冊商標)端子，在來自處理器50的指令下，與外部機器之間以有線或無線來將資料進行通訊。

顯示裝置56具有液晶顯示器或有機EL顯示器等，在來自處理器50的指令下，將各種資料可視地顯示。輸入裝置58具有按鈕、鍵盤、滑鼠或觸控面板等，受理來自操作者的輸入資料。

教示裝置18構成為可因應對輸入裝置58的輸入資料，透過控制裝置16來將指令送給機器人12，使該機器人12按照該指令來進行微動(jog)動作。再者，顯示裝置56及輸入裝置58亦可一體地組入於教示裝置18的殼體，或者與教示裝置18的殼體為個別的個體而外接於該殼體。

控制裝置16控制機器人12及視覺感測器14的動作。具體而言，控制裝置16是具有處理器70、記憶體72、I/O介面74、顯示裝置76及輸入裝置78的電腦。由於處理器70、記憶體72、I/O介面74、顯示裝置76及輸入裝置78的構成及功能是與上述的處理器50、記憶體52、顯示裝置56及輸入裝置58同樣，因此省略重複的說明。

處理器70是透過匯流排80而與記憶體72、I/O介面74、顯示裝置76及輸入裝置78可通訊地連接，一邊與這些組件通訊，一邊進行用以實現使機器人12及視覺感測器14動作的功能之運算處理。教示裝置18的I/O介面54、機器人12的各伺服馬達40、及視覺感測器14連接於I/O介面74，處理器70經由I/O介面74來與這些組件通訊。

如圖1所示，於機器人12的機構部12設定有機器人座標系統C1。機器人座標系統C1是用以自動控制機器人12以手部30把持工件W的動作之控制座標系統C。於本實施形態，機器人座標系統C1是以其原點配置於機器人基座20的中心，其z軸與迴旋體22的旋動軸一致的方式，對於機構部42來設定。

另，於機器人12的手部30，如圖3所示，設定有工具座標系統C2。工具座標系統C2是控制座標系統C，規定機器人座標系統C1中之手部30的位置及姿勢。於本實施形態，工具座標系統C2是以其原點配置於爪部34及36的中間位置，其y軸方向與爪部34及36的開閉方向呈平行，其z軸方向與各個爪部34及36的延伸方向呈平行的方式，對於手部30來設定。

工具座標系統C2與機器人座標系統C1的位置關係為已知，工具座標系統C2的座標及機器人座標系統C1的座標可透過已知的轉換矩陣M1(例如齊次轉換矩陣)來相互轉換。因此，機器人座標系統C1中之工具座標系統C2的原點位置及各軸的方向表現為機器人座標系統C1的座標(X _RT,Y _RT,Z _RT,W _RT,P _RT,R _RT)。在此，座標(X _RT,Y _RT,Z _RT)表示機器人座標系統C1中之工具座標系統C2的原點位置，座標(W _RT,P _RT,R _RT)表示機器人座標系統C1中之工具座標系統C2的各軸的方向(所謂的偏擺(yaw)、俯仰(pitch)、橫滾(roll))。

要由機器人12的機構部42將手部30定位到預定的位置及姿勢時，控制裝置16的處理器70首先將表示該預定的位置及姿勢的工具座標系統C2設定於機器人座標系統C1。然後，處理器70生成給各伺服馬達40的指令，使機構部42因應該指令動作，藉此使手部30移動，以使手部30配置到藉由已設定的工具座標系統C2所規定之位置及姿勢。如此，處理器70可於機器人座標系統C1中，藉由機構部42的動作，來將手部30定位到預定的位置及姿勢。

如圖1所示，於視覺感測器14設定有感測器座標系統C3。感測器座標系統C3是控制座標系統C，規定機器人座標系統C1中之視覺感測器14的位置及姿勢(亦即視線方向VL)，並且規定該視覺感測器14所拍攝到之圖像資料(或攝像感測器)之各像素的座標。於本實施形態，感測器座標系統C3是以其原點配置於攝像感測器的中心，其z軸方向與視覺感測器14的視線方向VL一致的方式，對於視覺感測器14來設定。

在此，於本實施形態，視覺感測器14是由保持架44配置於機器人座標系統C1之已知的位置。更具體而言，感測器座標系統C3與機器人座標系統C1的位置關係藉由校正(calibration)而成為已知，感測器座標系統C3的座標及機器人座標系統C1的座標可透過已知的轉換矩陣M2(例如齊次轉換矩陣)來相互轉換。如此，機器人座標系統C1中之視覺感測器14的位置及姿勢(亦即感測器座標系統C3的原點位置及各軸的方向)為已知。

於實際的作業線上，控制裝置16的處理器70是以視覺感測器14，拍攝散裝於容器A的工件W，基於拍攝到之圖像資料ID，令機器人12執行以手部30把持工件W並從容器A拾取的動作。於圖4表示工件W的一例。

在圖4所示之例，工件W是例如汽車用的連接桿(connecting rod)，具有軸(shaft)部W1、大環形(ring)部W2及小環形部W3。軸部W1沿著軸線B筆直地延伸。大環形部W2固定設置於軸部W1的一端，具有貫通孔H1。另，小環形部W3固定設置於軸部W1的另一端，具有貫通孔H2。

為了讓機器人12執行以手部30把持工件W的動作，於該工件W設定有工件座標系統C4。工件座標系統C4是控制座標系統C，規定機器人座標系統C1中之工件W的位置及姿勢。於本實施形態，工件座標系統C4是以其原點配置於軸部W1的中心，其y軸與軸線B呈平行(或一致)，其z軸與貫通孔H1及H2的中心軸呈平行的方式，對於工件W來設定。

於圖5，表示機器人12以手部30把持工件W的狀態的一例。在圖5所示之例，手部30是在其爪部34及36插入於貫通孔H1的狀態下打開，藉此以該爪部34及36把持工件W的大環形部W2。為了令機器人12如圖5所示執行把持工件W的動作，必須教示機器人12以手部30把持工件W的位置及姿勢。

以下說明於機器人系統10中，向機器人12教示把持工件W的動作的方法。首先，操作者使機器人12的手部30，在欲教示的把持位置把持工件W。例如，操作者操作教示裝置18來將機器人12進行微動動作，以使其以手部30把持工件W。

更具體而言，操作者一邊視覺辨識教示裝置18的顯示裝置56，一邊操作輸入裝置58，藉由機器人12的機構部42來使手部30移動，以將閉合狀態的爪部34及36插入於配置在預先決定的保管場所之工件W的貫通孔H1。接下來，操作者操作輸入裝置58以使爪部34及36成為打開狀態，將該爪部34及36推抵到貫通孔H1的內壁面，藉此把持該工件W。

此時，操作者是以使手部30在欲教示的把持位置把持工件W的方式，來使機器人12進行微動動作。以下，說明操作者使手部30在圖5所示之把持位置把持工件W的情況。接下來，操作者操作輸入裝置58來將機器人12進行微動動作，藉由機器人12的機構部42來使手部30移動，以讓手部30所把持的工件W落在視覺感測器14之視野內。

接下來，操作者操作輸入裝置58，使視覺感測器14拍攝手部30所把持之工件W。視覺感測器14透過控制裝置16，從教示裝置18受理攝像指令，拍攝工件W的圖像資料ID ₁。於圖6表示圖像資料ID ₁的一例。

在圖6所示之例，於圖像資料ID ₁，工件W及手部30的視覺特徵(邊緣、孔或頂點等)表示為三維點雲。構成三維點雲的各點具有上述距離d的資訊，並可表示為感測器座標系統C3的三維座標(X _S,Y _S,Z _S)。亦即，於本實施形態，圖像資料ID ₁是三維圖像資料。

教示裝置18的處理器50經由控制裝置16及I/O介面54，從視覺感測器14取得圖像資料ID ₁。如此，於本實施形態，處理器50是作為圖像資料取得部82(圖2)而發揮功能，前述圖像資料取得部82是在機器人12以手部30把持工件W時，取得視覺感測器14拍攝該工件W之圖像資料ID。

接下來，處理器50基於圖像資料ID ₁，來取得表示視覺感測器14拍攝到該圖像資料ID ₁時之機器人座標系統C1中之工件W的位置及姿勢之工件位置資料WPD ₁。具體而言，處理器50首先取得工件W經模型化而成之工件模型WM。此工件模型WM是例如三維CAD模型，預先儲存於記憶體52。

處理器50使用預先決定的型樣匹配參數(pattern matching parameter)，來解析圖像資料ID ₁所照到之工件W的三維點雲圖像，將工件模型WM以與該圖像資料ID ₁所照到之工件W一致的方式，模擬地配置於該圖像資料ID ₁內。於圖7，表示模擬地配置於圖像資料ID ₁的工件模型WM。再者，於圖7中，為了容易理解而省略手部30的圖像。

然後，處理器50針對配置於圖像資料ID ₁的工件模型WM，以圖4所示之位置關係設定工件座標系統C4。此工件座標系統C4表示圖像資料ID ₁所照到之工件W在感測器座標系統C3中之位置及姿勢，並且表現為感測器座標系統C3的座標Q _{SW_1}(X _{SW_1},Y _{SW_1},Z _{SW_1},W _{SW_1},P _{SW_1},R _{SW_1})(第1座標)。

在此，座標(X _{SW_1},Y _{SW_1},Z _{SW_1})表示感測器座標系統C3中之工件座標系統C4的原點位置，座標(W _{SW_1},P _{SW_1},R _{SW_1})表示感測器座標系統C3中之工件座標系統C4的各軸的方向(所謂的偏擺、俯仰、橫滾)。處理器50取得感測器座標系統C3中之工件座標系統C4的座標Q _{SW_1},來作為表示圖像資料ID ₁所照到之工件W在感測器座標系統C3中之位置及姿勢的資料。

接下來，處理器50使用上述轉換矩陣M2，將已取得的座標Q _{ＳＷ_ １}轉換成機器人座標系統C1，藉此取得圖7所示之工件座標系統C4在機器人座標系統C1中之座標Q _{RW_1}(X _{RW_1},Y _{RW_1},Z _{RW_1},W _{RW_1},P _{RW_1},R _{RW_1})(第2座標)。此座標Q _{RW_1}是表示圖像資料ID ₁所照到之工件W(具體而言是圖7中之工件模型WM)在機器人座標系統C1中之位置及姿勢的資料。

處理器50取得此座標Q _{RW_1}來作為工件位置資料WPD ₁。如此，於本實施形態，處理器50是作為工件位置取得部84(圖2)而發揮功能，前述工件位置取得部84基於圖像資料ID ₁來取得工件位置資料WPD ₁(座標Q _{RW_1})。

另，處理器50取得表示視覺感測器14拍攝到該圖像資料ID ₁時之機器人座標系統C1中之手部30的位置及姿勢之手部位置資料HPD ₁。具體而言，處理器50取得視覺感測器14拍攝到圖像資料ID ₁時之機器人座標系統C1中之工具座標系統C2的座標Q _{RT_1}(X _{RT_1},Y _{RT_1},Z _{RT_1},W _{RT_1},P _{RT_1},R _{RT_1})(第3座標)，來作為手部位置資料HPD ₁。如此，於本實施形態，處理器50是作為手部位置取得部86(圖2)而發揮功能，前述手部位置取得部86取得手部位置資料HPD ₁(座標Q _{RT_1})。

然後，處理器50基於已取得之工件位置資料WPD ₁及手部位置資料HPD ₁，來取得表示視覺感測器14拍攝到圖像資料ID ₁時之控制座標系統C中之手部30與工件W的位置關係之教示位置資料TPD ₁。

作為一例，處理器50基於作為工件位置資料WPD ₁所取得之座標Q _{RW_1}、及作為手部位置資料HPD ₁所取得之座標Q _{RT_1}，將作為工件位置資料WPD ₁所取得之座標Q _{RW_1}，轉換成以作為手部位置資料HPD ₁之座標Q _{RT_1}來表現之工具座標系統C2的座標。在此，由於藉由座標Q _{RW_1}及Q _{RT_1}，機器人座標系統C1中之工具座標系統C2與工件座標系統C4的位置關係成為已知，因此可將機器人座標系統C1中之工件座標系統C4的座標Q _{RW_1}轉換成工具座標系統C2。

藉由此座標轉換，處理器50取得視覺感測器14拍攝到圖像資料ID ₁時之工具座標系統C2中之工件座標系統C4的座標Q _{TW_1}(X _{TW_1},Y _{TW_1},Z _{TW_1},W _{TW_1},P _{TW_1},R _{TW_1})。此座標Q _{TW_1}是表示視覺感測器14拍攝到圖像資料ID ₁時之工件W相對於手部30(亦即工具座標系統C2)的位置及姿勢(亦即工件座標系統C4的原點位置及各軸的方向)的資料。處理器50取得此座標Q _{TW_1}來作為教示位置資料TPD ₁。

作為另一例，處理器50基於作為工件位置資料WPD ₁之座標Q _{RW_1}、及作為手部位置資料HPD ₁之座標Q _{RT_1}，將作為手部位置資料HPD ₁之座標Q _{RT_1}，轉換成以作為工件位置資料WPD ₁之座標Q _{RW_1}來表現之工件座標系統C4的座標。藉此，處理器50取得視覺感測器14拍攝到圖像資料ID ₁時之工件座標系統C4中之工具座標系統C2的座標Q _{WT_1}(X _{WT_1},Y _{WT_1},Z _{WT_1},W _{WT_1},P _{WT_1},R _{WT_1})。

此座標Q _{WT_1}是表示視覺感測器14拍攝到圖像資料ID ₁時之手部30相對於工件W(亦即工件座標系統C4)的位置及姿勢(亦即工具座標系統C2的原點位置及各軸的方向)的資料。處理器50取得此座標Q _{WT_1}來作為教示位置資料TPD ₁。

如此，於本實施形態，處理器50是作為教示位置取得部88(圖1)而發揮功能，前述教示位置取得部88基於工件位置資料WPD ₁及手部位置資料HPD ₁，來取得表示視覺感測器14拍攝到圖像資料ID ₁時之控制座標系統C(工具座標系統C2、工件座標系統C4)中之手部30與工件W的位置關係之教示位置資料TPD ₁(座標Q _{TW_1}、座標Q _{WT_1})。

取得教示位置資料TPD ₁之後，操作者操作輸入裝置58，藉由機器人12之機構部42的動作，在把持工件W的狀態下使手部30的姿勢變化。例如，操作者操作輸入裝置58，輸入用以使手部30繞著在此時間點設定於機器人座標系統C1之工具座標系統C2的x軸、y軸或z軸旋轉預定的角度θ(例如10°)之輸入資料。

作為替代方案，操作者亦可輸入用以使手部30繞著在此時間點設定於機器人座標系統C1之工件座標系統C4的x軸、y軸或z軸旋轉預定的角度θ之輸入資料。例如，當工件座標系統C4的y軸與工件W的軸線B一致時，操作者亦可輸入使手部30繞著工件座標系統C4的y軸(亦即軸線B)旋轉之輸入資料。

處理器50因應來自操作者的輸入資料，透過控制裝置16向機器人12的伺服馬達40送出指令，令機構部42動作，以使把持工件W的手部30的姿勢變化。如此，於本實施形態，處理器50是作為機器人控制部90(圖2)而發揮功能，前述機器人控制部90是令機器人12動作以使手部30的姿勢變化。

已使手部30的姿勢變化時，操作者操作輸入裝置58，使視覺感測器14拍攝手部30所把持之工件W，處理器50作為圖像資料取得部82而發揮功能，取得工件W的圖像資料ID ₂。然後，處理器50作為工件位置取得部84而發揮功能，藉由上述方法對圖像資料ID ₂適用工件模型WM，藉此取得感測器座標系統C3中之工件座標系統C4的座標Q _{SW_2}(X _{SW_2},Y _{SW_2},Z _{SW_2},W _{SW_2},P _{SW_2},R _{SW_2})(第1座標)。

接下來，處理器50作為工件位置取得部84而發揮功能，藉由上述方法，將已取得之Q _{SW_2}轉換成機器人座標系統C1，藉此取得機器人座標系統C1中之工件座標系統C4的座標Q _{RW_2}(X _{RW_2},Y _{RW_2},Z _{RW_2},W _{RW_2},P _{RW_2},R _{RW_2})(第2座標)，來作為圖像資料ID ₂之攝像時的工件位置資料WPD ₂。

又，處理器50作為手部位置取得部86而發揮功能，藉由上述方法，取得機器人座標系統C1中之工具座標系統C2的座標Q _{RT_2}(X _{RT_2},Y _{RT_2},Z _{RT_2},W _{RT_2},P _{RT_2},R _{RT_2})(第3座標)，來作為圖像資料ID ₂之攝像時的手部位置資料HPD ₂。

然後，處理器50作為教示位置取得部88而發揮功能，藉由上述方法，取得工具座標系統C2中之工件座標系統C4的座標Q _{TW_2}(X _{TW_2},Y _{TW_2},Z _{TW_2},W _{TW_2},P _{TW_2},R _{TW_2})、或工件座標系統C4中之工具座標系統C2的座標Q _{WT_2}(X _{WT_2},Y _{WT_2},Z _{WT_2},W _{WT_2},P _{WT_2},R _{WT_2})，來作為圖像資料ID ₂之攝像時的教示位置資料TPD ₂。

如此，操作者操作輸入裝置58，使手部30的姿勢重複變化，視覺感測器14每當手部30的姿勢變化時，拍攝該手部30所把持之工件W，處理器50作為圖像資料取得部82而發揮功能，取得視覺感測器14所拍攝到之複數個圖像資料ID _n(n=1,2,3,…)。

然後，處理器50作為工件位置取得部84而發揮功能，藉由上述方法，分別取得拍攝到各個圖像資料ID _n時之工件位置資料WPD _n：座標Q _{RW_n}(X _{RW_n},Y _{RW_n},Z _{RW_n},W _{RW_n},P _{RW_n},R _{RW_n})，並且作為手部位置取得部86而發揮功能，藉由上述方法，分別取得拍攝到各個圖像資料ID _n時之手部位置資料HPD _n：座標Q _{RT_n}(X _{RT_n},Y _{RT_n},Z _{RT_n},W _{RT_n},P _{RT_n},R _{RT_n})。

然後，處理器50作為教示位置取得部88而發揮功能，藉由上述方法，基於已取得之各個工件位置資料WPD _n(座標Q _{RW_n})及各個手部位置資料HPD _n(座標Q _{RT_n})，分別取得拍攝到各個圖像資料ID _n時之教示位置資料TPD _n：座標Q _{TW_n}(X _{TW_n},Y _{TW_n},Z _{TW_n},W _{TW_n},P _{TW_n},R _{TW_n})、或座標Q _{WT_n}(X _{WT_n},Y _{WT_n},Z _{WT_n},W _{WT_n},P _{WT_n},R _{WT_n})。如此，處理器50可取得與手部30及工件W之各種姿勢對應的複數個教示位置資料TPD _n。

接下來，處理器50作為教示位置取得部88而發揮功能，基於已取得之複數個教示位置資料TPD _n，來求出要使用於令機器人12以手部30實際把持工件W的動作之新的教示位置資料TPD ₀。以下說明在處理器50已取得工具座標系統C2的座標Q _{TW_n}(X _{TW_n},Y _{TW_n},Z _{TW_n},W _{TW_n},P _{TW_n},R _{TW_n})來作為教示位置資料TPD _n的情況下，求出新的教示位置資料TPD ₀的方法。

首先，處理器50針對複數個座標Q _{TW_n}之各個座標，進行將預定決定之容許範圍外的座標除外的處理PR1。具體而言，處理器50就座標Q _{TW_n}當中之表示位置的座標(X _{TW_n},Y _{TW_n},Z _{TW_n})，進行將容許範圍外的座標除外的處理PR1。

作為一例，處理器50從式Δ _n=(X _{TW_n} ²+Y _{TW_n} ²+Z _{TW_n} ²) ^1/2，求出從工具座標系統C2的原點起算的距離Δ _n。然後，處理器50判定求出的距離Δ _n是否在預定決定之容許範圍[Δ _th1,Δ _th2]內，當距離Δ _n在容許範圍[Δ _th1,Δ _th2]內(亦即Δ _th1≦Δ _n≦Δ _th2)時，將已取得之座標Q _{TW_n}作為有效座標群組GRP登錄於記憶體52，但當距離Δ _n在容許範圍[Δ _th1,Δ _th2]外(亦即Δ _n＜Δ _th1或Δ _th2＜Δ _n)時，將已取得之座標Q _{TW_n}從有效座標群組GRP除外(或從記憶體52刪除)。

作為另一例，處理器50求出座標Q _{TW_n}(X _{TW_n},Y _{TW_n},Z _{TW_n})的平均座標Q _{TW_AV}(X _{TW_AV},Y _{TW_AV},Z _{TW_AV})。具體而言，處理器50從式X _{TW_AV}=1/n･Σ(X _{TW_n})、Y _{TW_AV}=1/n･Σ(Y _{TW_n})、及Z _{TW_AV}=1/n･Σ(Z _{TW_n})，求出平均座標Q _{TW_AV}(X _{TW_AV},Y _{TW_AV},Z _{TW_AV})。

又，處理器50分別求出座標Q _{TW_n}(X _{TW_n},Y _{TW_n},Z _{TW_n})的標準差σ _X、σ _Y及σ _Z。例如，處理器50從式σ _X=(1/n･Σ{X _{TW_n}-X _{TW_AV}}) ^1/2、σ _Y=(1/n･Σ{Y _{TW_n}-Y _{TW_AV}}) ^1/2、σ _Z=(1/n･Σ{Z _{TW_n}-Z _{TW_AV}}) ^1/2求出。

然後，處理器50針對座標Q _{TW_n}中之座標X _{TW_n}、Y _{TW_n}及Z _{TW_n}之各個，使用已求出之平均及標準差σ、及預先決定之係數α(例如，α為正整數)，將容許範圍決定為：[X _{TW_AV}-ασ _X,X _{TW_AV}+ασ _X](亦即，X _{TW_AV}-ασ _X≦X _{TW_n}≦X _{TW_AV}+ασ _X)、[Y _{TW_AV}-ασ _Y,Y _{TW_AV}+ασ _Y](亦即，Y _{TW_AV}-ασ _Y≦Y _{TW_n}≦Y _{TW_AV}+ασ _Y)、及[Z _{TW_AV}-ασ _Z,Z _{TW_AV}+ασ _Z](亦即，Z _{TW_AV}-ασ _Z≦Z _{TW_n}≦Z _{TW_AV}+ασ _Z)。

處理器50分別判定座標X _TW是否在容許範圍[X _{TW_AV}-σ _X,X _{TW_AV}+σ _X]內、座標Y _{TW_n}是否在容許範圍[Y _{TW_AV}-σ _Y,Y _{TW_AV}+σ _Y]內、及座標Z _{TW_n}是否在容許範圍[Z _{TW_AV}-σ _Z,Z _{TW_AV}+σ _Z]內。

然後，處理器50是當座標X _{TW_n}、Y _{TW_n}及Z _{TW_n}全都在容許範圍內時，將已取得之座標Q _{TW_n}登錄為有效座標群組GRP，但當座標X _{TW_n}、Y _{TW_n}及Z _{TW_n}之至少1個在容許範圍外時，將已取得之座標Q _{TW_n}從有效座標群組GRP除外。

又，處理器50就座標Q _{TW_n}當中之表示姿勢的座標(W _{TW_n},P _{TW_n},R _{TW_n})，進行將容許範圍外的座標除外的處理PR1。具體而言，處理器50首先將表示姿勢之座標(W _{TW_n},P _{TW_n},R _{TW_n})，表示為3×3之已知的矩陣M3 _{_n}。

於此矩陣M3 _{_n}，以第1行的3個參數所表現之向量VT1 _{_n}是表示繞著工具座標系統C2之x軸的旋轉成分之單位向量，以第2行的3個參數所表示之向量VT2 _{_n}是表示繞著工具座標系統C2之y軸的旋轉成分之單位向量，以第3行的3個參數所表現之向量VT3 _{_n}是表示繞著工具座標系統C2之z軸的旋轉成分之單位向量。

例如，處理器50求出表示第1座標Q _{TW_n}(W _{TW_n}，P _{TW_n}，R _{TW_n})的矩陣M3 _{_n}的向量VT1 _{_n}、與表示第2座標Q _{TW_n+1}(W _{TW_n+1}、P _{TW_n+1}、R _{TW_n+1})的矩陣M3 _{_n+1}的向量VT1 _{_n+1}的內積IP1 _n。此內積IP1 _n表示向量VT1 _{_n}與向量VT1 _{_n+1}之間的角度φ1(具體而言是cosφ1)，亦即繞著工具座標系統C2之x軸的旋轉成分的變化量。

又，處理器50求出矩陣M3 _{_n}的向量VT3 _{_n}、與矩陣M3 _{_n+1}的向量VT3 _{_n+1}的內積IP3 _n。此內積IP3 _n表示向量VT3 _{_n}與向量VT3 _{_n+1}之間的角度φ3(具體而言是cosφ3)，亦即繞著工具座標系統C2之z軸的旋轉成分的變化量。

然後，處理器50判定已求出之內積IP1 _n是否為預先決定之閾值IP1 _th以上(IP1 _n≧IP1 _th)，並且判定已求出之內積IP3 _n是否為預先決定之閾值IP3 _th以上(IP3 _n≧IP3 _th)。當IP1 _n≧IP1 _th且IP3 _n≧IP3 _th時，處理器50將已取得之第1座標Q _{TW_n}及第2座標Q _{TW_n+1}雙方，作為有效座標群組GRP登錄於記憶體52。

另，當IP1 _n＜IP1 _th或IP3 _n＜IP3 _th時，處理器50將已取得之第1座標Q _{TW_n}及第2座標Q _{TW_n+1}之任一方，從有效座標群組GRP除外(或從記憶體52刪除)。再者，亦可由操作者預先決定要將第1座標Q _{TW_n}及第2座標Q _{TW_n+1}之某一方除外。

再者，處理器50亦可分別求出表示第1座標Q _{TW_n}(W _{TW_n}，P _{TW_n}，R _{TW_n})的矩陣M3 _{_n}的向量VT1 _{_n}、與表示該第1座標Q _{TW_n}以外的各個座標Q _{TW_i}(W _{TW_i}、P _{TW_i}、R _{TW_i})的矩陣M3 _{_i}的向量VT1 _{_i}(「i」是「n」以外的正整數)的內積IP1 _i。同樣地，處理器50亦可分別求出第1座標Q _{TW_n}的矩陣M3 _{_n}的向量VT3 _{_n}與該第1座標Q _{TW_n}以外的各個座標Q _{TW_i}的矩陣M3 _{_i}的向量VT3 _{_i}的內積IP3 _i。

然後，處理器50亦可判定已求出之內積IP1 _i之各個是否為閾值IP1 _th以上(IP1 _i≧IP1 _th)，並且判定已求出之內積IP3 _i之各個是否為閾值IP3 _th以上(IP3 _i≧IP3 _th)。當已求出之內積IP1 _i之至少1個(或全部)滿足IP1 _i≧IP1 _th，且已求出之內積IP3 _i之至少1個(或全部)滿足IP3 _i≧IP3 _th時，處理器50亦可將已取得之第1座標Q _{TW_n}作為有效座標群組GRP登錄於記憶體52。

另，當已求出之內積IP1 _i之全部(或至少1個)為IP1 _i＜IP1 _th，或已求出之內積IP3 _i之全部(或至少1個)為IP3 _i＜IP3 _th時，處理器50亦可將已取得之第1座標Q _{TW_n}從有效座標群組GRP除外。處理器可就已取得之座標Q _{TW_n}之全部重複此類處理PR1。

作為替代方案，處理器50求出向量VT1 _{_1}、VT1 _{_2}、VT1 _{_3}、…VT1 _{_n}的合成向量VT1 _R=Σ(VT1 _{_n})，求出該合成向量VT1 _R與各個向量VT1 _{_n}的內積IP1 _{R_n}。然後，處理器50判定已求出之內積IP1 _{R_n}是否為預先決定之閾值IP1 _Rth以上(IP1 _{R_n}≧IP1 _Rth)。處理器50是當IP1 _{R_n}≧IP1 _Rth時，將座標Q _{TW_n}作為有效座標群組GRP登錄於記憶體52，但當IP1 _{R_n}＜IP1 _Rth時，將座標Q _{TW_n}從有效座標群組GRP除外(或從記憶體52刪除)。

再者，處理器50亦可與向量VT1 _{_n}同樣，就向量VT2 _{_n}或VT3 _{_n}亦求出合成向量VT2 _R=Σ(VT2 _{_n})或VT3 _R=Σ(VT3 _{_n})，求出該合成向量VT2 _R或VT3 _R、與各個向量VT2 _{_n}或VT3 _{_n}的內積IP2 _{R_n}或IP3 _{R_n}，並與閾值IP2 _Rth或IP3 _Rth比較，藉此決定要從有效座標群組GRP除外之座標Q _{TW_n}。

如此，處理器50針對複數個座標Q _{TW_n}之各個座標進行除外的處理PR1。藉由此處理PR1，可將因誤檢測而取得之座標Q _{TW_n}除外。再者，界定上述各種容許範圍的閾值Δ _th1、Δ _th2、IP1 _th、IP3 _th、IP1 _Rth、IP2 _Rth或IP3 _Rth(或係數α)是由操作者預先決定。

除外的處理PR1之後，處理器50進行將登錄於有效座標群組GRP的座標Q _{TW_m}(m表示登錄於有效座標群組GRP之座標Q _{TW_n}的號碼n)予以平均的處理PR2。具體而言，處理器50求出登錄於有效座標群組GRP的座標Q _{TW_m}當中之表示位置的座標(X _{TW_m},Y _{TW_m},Z _{TW_m})之平均座標(X _{TW_0},Y _{TW_0},Z _{TW_0})。

具體而言，處理器50從式X _{TW_0}=1/k･Σ(X _{TW_m})、Y _{TW_0}=1/k･Σ(Y _{TW_m})、及Z _{TW_0}=1/k･Σ(Z _{TW_m})，求出平均座標(X _{TW_0},Y _{TW_0},Z _{TW_0})。再者，此式中之「k」表示登錄於有效座標群組GRP之座標Q _{TW_m}的數目。

又，處理器50進行將登錄於有效座標群組GRP之座標Q _{TW_m}當中之表示姿勢的座標(W _{TW_m},P _{TW_m},R _{TW_m})予以平均的處理PR2。具體而言，處理器50就表示姿勢的座標(W _{TW_m},P _{TW_m},R _{TW_m})，求出上述之向量VT1 _{_m}的合成向量VT1 _R=Σ(VT1 _{_m})、及向量VT3 _{_m}的合成向量VT3 _R=Σ(VT3 _{_m})。

接下來，處理器50求出合成向量VT1 _R的單位向量VT1 _R’與合成向量VT3 _R的單位向量VT3 _R’的外積OP1。此外積OP1表示與單位向量VT1 _R’及單位向量VT3 _R’呈正交之方向的向量。然後，處理器50將藉由外積OP1所表現之向量予以正規化，藉此求出單位向量VT2 _R’。

接下來，處理器50求出單位向量VT2 _R’與單位向量VT3 _R’的外積OP2，將藉由該外積OP2所表現之向量予以正規化，藉此求出單位向量VT1 _R”。如此，處理器50取得單位向量VT1 _R”、VT2 _R’及VT3 _R’。

然後，處理器50求出藉由這些單位向量VT1 _R”、VT2 _R’及VT3 _R’所表現的姿勢(W _{TW_0},P _{TW_0},R _{TW_0})。此姿勢的座標表示工具座標系統C2中之工件座標系統C4之各軸的方向，工件座標系統C4的x軸方向是上述單位向量VT1 _R”的方向，y軸方向是上述單位向量VT2 _R’的方向，z軸方向是上述單位向量VT3 _R’的方向。

作為替代方案，處理器50為了求出姿勢的座標(W _{TW_0},P _{TW_0},R _{TW_0})，亦可將向量VT2 _{_m}的合成向量VT2 _R=Σ(VT2 _{_m})的單位向量VT2 _R’，連同上述單位向量VT1 _R’一同求出，並求出該單位向量VT1 _R’與該單位向量VT2 _R’的外積OP3。

然後，處理器50亦可將藉由外積OP3所表現之向量予以正規化，藉此求出單位向量VT3 _R’，求出該單位向量VT3 _R’與單位向量VT1 _R’的外積OP4，將藉由該外積OP4所表現之向量予以正規化，藉此求出單位向量VT2 _R”。處理器50可從如此求出之單位向量VT1 _R’、VT2 _R”及VT3 _R’，求出姿勢的座標(W _{TW_0},P _{TW_0},R _{TW_0})。

藉由上述方法，處理器50進行將登錄於有效座標群組GRP之座標Q _{TW_m}予以平均的處理PR2。結果，處理器50可取得座標Q _{TW_0}(X _{TW_0},Y _{TW_0},Z _{TW_0},W _{TW_0},P _{TW_0},R _{TW_0})，來作為教示位置資料TPD ₀。

此座標Q _{TW_0}表示工具座標系統C2中之工件座標系統C4的原點位置(X _{TW_0},Y _{TW_0},Z _{TW_0})、及各軸的方向(W _{TW_0},P _{TW_0},R _{TW_0})。如此，處理器50作為教示位置取得部88而發揮功能，從已取得之複數個座標Q _{TW_n}(n=1,2,3,4…)求出1個教示位置資料TPD ₀(座標Q _{TW_0})。

再者，應理解處理器50即使在已取得工件座標系統C4中之工具座標系統C2的座標Q _{WT_n}(X _{WT_n},Y _{WT_n},Z _{WT_n},W _{WT_n},P _{WT_n},R _{WT_n}),來作為教示位置資料TPD _n的情況下，仍可藉由上述方法，求出工件座標系統C4中之工具座標系統C2的座標Q _{WT_0}(X _{WT_0},Y _{WT_0},Z _{WT_0},W _{WT_0},P _{WT_0},R _{WT_0}),來作為新的教示位置資料TPD ₀。

接下來，處理器50使用已求出之教示位置資料TPD ₀，生成該教示位置資料TPD ₀(亦即座標Q _{TW_0}或Q _{WT_0})被規定為命令碼之動作程式OP。因此，處理器50是作為生成動作程式OP之動作程式生成部92(圖2)而發揮功能。

控制裝置16的處理器70是於實際的作業線上，按照動作程式OP令機器人12動作，執行以手部30把持並拾取散裝於容器A內之工件W的動作。具體而言，處理器70使視覺感測器14動作以拍攝容器A內之工件W，從視覺感測器14取得拍攝到之圖像資料ID _W(第2圖像資料)。

接下來，處理器70是與上述工件位置取得部84同樣，基於已取得之圖像資料ID _W，來取得表示該圖像資料ID _W所照到之工件W在機器人座標系統C1中的位置及姿勢之工件位置資料WPD _W(第2工件位置資料)。具體而言，處理器70將工件模型WM配置為與圖像資料ID _W所照到之工件W一致，於已配置之該工件模型WM設定工件座標系統C4。

然後，處理器70取得已設定之工件座標系統C4的感測器座標系統C3的座標Q _{SW_W}(X _{SW_W},Y _{SW_W},Z _{SW_W},W _{SW_W},P _{SW_W},R _{SW_W})，將該座標Q _{SW_W}轉換成機器人座標系統C1，藉此取得機器人座標系統C1中之工件座標系統C4的座標Q _{RW_W}(X _{RW_W},Y _{RW_W},Z _{RW_W},W _{RW_W},P _{RW_W},R _{RW_W})，來作為工件位置資料WPD _W。如此，處理器70取得表示機器人座標系統C1中之工件W的位置及姿勢之工件位置資料WPD _W(座標Q _{RW_W})。

接下來，處理器70基於已取得之工件位置資料WPD _W、及規定於動作程式OP之教示位置資料TPD ₀，來決定把持視覺感測器14所拍攝到之工件W時之機器人座標系統C1中之手部30的位置及姿勢。

具體而言，處理器70使用作為工件位置資料WPD _W所取得之座標Q _{RW_W}、及教示位置資料TPD ₀(具體而言是座標Q _{TW_0}或Q _{WT_0})，求出機器人座標系統C1的座標Q _{RT_0}(X _{RT_0},Y _{RT_0},Z _{RT_0},W _{RT_0},P _{RT_0},R _{RT_0})，前述座標Q _{RT_0}相對於以座標Q _{RW_W}所表現之工件座標系統C4，具有藉由教示位置資料TPD ₀所表示之位置關係。處理器70是於機器人座標系統C1，將工具座標系統C2設定於已求出之座標Q _{RT_0}，來決定把持工件W時之手部30的位置及姿勢。

然後，處理器70藉由令機構部42動作來使該手部30移動，以使爪部34及36維持在閉合狀態的手部30，配置到藉由已設定於機器人座標系統C1的座標Q _{RT_0}之工具座標系統C2所規定之位置及姿勢。藉此，爪部34及36會插入於工件W的貫通孔H1。

然後，處理器70令爪部驅動部38動作來打開爪部34及36，以藉由該爪部34及36來把持工件W的大環形部W2。結果，如圖5所示，手部30可在藉由教示位置資料TPD ₀所教示的把持位置，來把持工件W。

然後，處理器70令機構部42動作，使把持工件W的手部30從容器A退開，藉此可拾取工件W。其後，處理器70針對散裝於容器A內之各個工件W，重複執行上述一連串的動作，藉此執行以手部30拾取散裝於容器A內之工件W的作業。

如以上，於本實施形態，教示裝置18的處理器50是作為圖像資料取得部82、工件位置取得部84、手部位置取得部86、教示位置取得部88、機器人控制部90及動作程式生成部92而發揮功能，於機器人座標系統C1，教示機器人12以手部30把持工件W的位置及姿勢。

因此，圖像資料取得部82、工件位置取得部84、手部位置取得部86、教示位置取得部88、機器人控制部90及動作程式生成部92構成教示機器人12以手部30把持工件W的位置及姿勢之裝置100(圖2)。總言之，於本實施形態，裝置100安裝於教示裝置18，該教示裝置18的處理器50執行裝置100的功能。

於此裝置100，圖像資料取得部82是在機器人12以手部30把持工件W時，由配置於控制座標系統C(機器人座標系統C1)之已知的位置之視覺感測器14取得拍攝該工件W之圖像資料ID _n；工件位置取得部84基於圖像資料ID _n，來取得表示該圖像資料ID _n之攝像時的控制座標系統C(機器人座標系統C1)中之工件W的位置及姿勢之工件位置資料WPD _n。

又，手部位置取得部86取得表示該圖像資料ID _n之攝像時的控制座標系統C(機器人座標系統C1)中之手部30的位置及姿勢之手部位置資料HPD _n，教示位置取得部88基於工件位置資料WPD _n及手部位置資料HPD _n，來取得表示該圖像資料ID _n之攝像時的控制座標系統C(工具座標系統C2、工件座標系統C4)中之手部30與工件W的位置關係之教示位置資料TPD _n。

如此，基於在操作者欲教示的把持位置，以手部30實際把持工件W時所拍攝到之圖像資料ID _n，來取得教示位置資料TPD _n，藉此可將操作者欲教示的把持位置高精度地教示給機器人12。

又，於裝置100，機器人控制部90是令機器人12動作，以使把持工件W之手部30的姿勢重複變化，圖像資料取得部82是每當機器人控制部90使手部30的姿勢變化時，取得視覺感測器14所拍攝到之複數個圖像資料ID _n。又，工件位置取得部84基於各個圖像資料ID _n，分別取得工件位置資料WPD _n，手部位置取得部86分別取得各個圖像資料ID _n之攝像時的手部位置資料HPD _n。

然後，教示位置取得部88基於各個工件位置資料WPD _n及各個手部位置資料HPD _n，分別取得各個圖像資料ID _n之攝像時的教示位置資料TPD _n。如此，藉由收集基於各種姿勢的工件W的圖像資料ID _n之複數個教示位置資料TPD _n，可將工件W的把持位置更高精度地教示給機器人12。

又，於裝置100，教示位置取得部88基於複數個教示位置資料TPD _n，來求出要使用於令機器人12以手部30把持工件W的動作之新的教示位置資料TPD ₀。如此，藉由從與各種姿勢的工件W的圖像資料ID _n對應之複數個教示位置資料TPD _n，來求出教示位置資料TPD ₀，可藉由該教示位置資料TPD ₀，更高精度地決定把持該各種姿勢之工件W時之手部30的位置及姿勢。

又，於裝置100，教示位置資料TPD _n表現為控制座標系統C(工具座標系統C2、工件座標系統C4)的座標Q _{TW_n}、Q _{WT_n}，教示位置取得部88將複數個教示位置資料TPD _n的座標Q _{TW_n}、Q _{WT_n}當中之預先決定的容許範圍外之座標除外，並求出座標Q _{TW_m}、Q _{WT_m}的平均，藉此求出新的教示位置資料TPD ₀。

若依據此構成，可將因誤檢測等而取得之座標Q _{TW_n}、Q _{WT_n}除外，並且藉由將座標Q _{TW_m}、Q _{WT_m}予以平均，可取得更高精度的教示位置資料TPD ₀。藉此，可更高精度地決定把持各種姿勢之工件W時之手部30的位置及姿勢。又，於裝置100，動作程式生成部92生成規定有教示位置資料TPD ₀的動作程式OP。若依據此構成，可自動地生成已規定如上述所取得之教示位置資料TPD ₀的動作程式OP。

又，於裝置100，工件位置取得部84取得表示使工件模型WM與圖像資料ID _n所照到之工件W(三維點雲圖像)一致時之該工件模型WM在控制座標系統C(機器人座標系統C2)中之位置及姿勢的資料，來作為工件位置資料WPD _n。若依據此構成，可從視覺感測器14所拍攝到之圖像資料ID _n，高精度地檢測工件位置資料WPD _n。

又，於裝置100，控制座標系統C具有機器人座標系統C1、工件座標系統C4、與機器人座標系統C1的位置關係為已知之工具座標系統C2、及與機器人座標系統C1的位置關係為已知之感測器座標系統C3，視覺感測器14配置於機器人座標系統C1之已知的位置。

然後，工件位置取得部84取得工件座標系統C4在感測器座標系統C3中之第1座標Q _{SW_n}，藉由將該第1座標Q _{SW_n}轉換成機器人座標系統C1，以取得機器人座標系統C1中之工件座標系統C4的第2座標Q _{RW_n}，來作為工件位置資料WPD _n，前述工件座標系統C4表示圖像資料ID _n所照到之工件W的位置及姿勢。

又，手部位置取得部86取得表示手部30的位置及姿勢之工具座標系統C2在機器人座標系統C1中之第3座標Q _{RT_n}，來作為手部位置資料HPD _n，教示位置取得部88基於第2座標Q _{RW_n}及第3座標Q _{RT_n}，將教示位置資料TPD _n，以工具座標系統C2中之工件座標系統C4的座標Q _{TW_n}、或工件座標系統C4中之工具座標系統C2的座標Q _{WT_n}的形式來取得。若依據此構成，能以作為控制座標系統C來使用之機器人座標系統C1、工具座標系統C2、感測器座標系統C3及工件座標系統C4為基準，將教示位置資料TPD _n以控制座標系統C的座標Q _{TW_n}或Q _{WT_n}的形式來取得。

再者，於上述實施形態，敘述了操作者以手動操作教示裝置18，以使把持工件W之手部30的姿勢變化的情況。然而，不限於此，處理器50亦可自動地執行手部30的姿勢的變化、圖像資料ID _n的取得、工件位置資料WPD _n的取得、手部位置資料HPD _n的取得、及教示位置資料TPD _n的取得等一連串的動作。

以下參考圖8來說明此類實施形態。圖8所示之流程是在教示裝置18的處理器50受理了教示開始指令CM時開始。例如，操作者操作教示裝置18的輸入裝置58，在如圖5所示使手部30把持工件W時，將教示開始指令CM輸入於教示裝置18。

於步驟S1，處理器50將規定要取得之教示位置資料TPD _n的個數之數「n」設為「1」。此數「n」對應於上述圖像資料ID _n、工件位置資料WPD _n、手部位置資料HPD _n及教示位置資料TPD _n之「n」。

於步驟S2，處理器50令機器人12的機構部42動作，以讓手部30所把持之工件W移動而落在視覺感測器14的視野內。作為一例，處理器50亦可使手部30沿著預先決定的移動路徑來移動。此移動路徑可由操作者預先教示給機器人12來決定。作為另一例，處理器亦可取得機器人座標系統C1中之工具座標系統C2及感測器座標系統C3的座標，基於該座標來使手部30移動。

於步驟S3，處理器50作為圖像資料取得部82而發揮功能，取得圖像資料ID _n。具體而言，處理器50將攝像指令送到視覺感測器14，使該視覺感測器14動作，來拍攝手部30所把持之工件W的圖像資料ID _n。然後，處理器50作為圖像資料取得部82而發揮功能，從視覺感測器14取得該圖像資料ID _n。

於步驟S4，處理器50作為工件位置取得部84而發揮功能，藉由上述方法，基於在最近的步驟S3所取得之圖像資料ID _n，來取得工件位置資料WPD _n(例如座標Q _{RW_n})。於步驟S5，處理器50作為手部位置取得部86而發揮功能，藉由上述方法，取得在最近的步驟S3所取得之圖像資料ID _n之攝像時的手部位置資料HPD _n(例如座標Q _{RT_n})。

於步驟S6，處理器50作為教示位置取得部88而發揮功能，藉由上述方法，基於在最近的步驟S4所取得之工件位置資料WPD _n、及在最近的步驟S5所取得之手部位置資料HPD _n，來取得教示位置資料TPD _n(例如座標Q _{TW_n}或Q _{WT_n})。

於步驟S7，處理器50判定數「n」是否達到預先決定之數n _MAX(n=n _MAX)。此數n _MAX可由操作者預先決定。當n=n _MAX時，處理器50判定為是，並前進至步驟S10，而當n＜n _MAX時，判定為否，並前進至步驟S8。於步驟S8，處理器50將數「n」增量「1」(n=n+1)。

於步驟S9，處理器50作為機器人控制部90而發揮功能，令機器人12的機構部42動作，使其變更把持有工件W之手部30的姿勢。具體而言，處理器50使手部30繞著在此時間點設定於機器人座標系統C1之工具座標系統C2的x軸、y軸或z軸旋轉預定的角度θ。

作為替代方案，處理器50亦可使手部30繞著在此時間點設定於機器人座標系統C1之工件座標系統C4的x軸、y軸(亦即工件W的軸線B)或z軸旋轉角度θ。在執行此步驟S9時要使手部30旋轉的角度θ或方向，亦可由操作者預先決定，或者亦可每當執行步驟S9時，處理器50考慮在此時間點已設定之工具座標系統C2(或工件座標系統C4)與感測器座標系統C3的位置關係，自動地(例如隨機地)決定工件W的全體會進入視覺感測器14之視野內的姿勢。

在步驟S9之後，處理器50返回到步驟S3，重複執行步驟S3～S9的循環，直到在步驟S7判定為是為止。如此，處理器50可自動地取得複數個教示位置資料TPD _n(n=1,2,3,4…)。

在步驟S7判定為是時，於步驟S10，處理器50作為教示位置取得部88而發揮功能，藉由上述方法，基於已取得之複數個教示位置資料TPD _n，來求出新的教示位置資料TPD ₀(例如座標Q _{TW_0}或Q _{WT_0})。

於步驟S11，處理器50作為動作程式生成部92而發揮功能，與上述實施形態同樣，生成規定有教示位置資料TPD ₀(亦即座標Q _{TW_0}或Q _{WT_0})的動作程式OP。如以上，若依據本實施形態，處理器50可藉由自動地執行步驟S1～S11的一連串的動作，來自動地生成動作程式OP。若依據此構成，可將向機器人12教示把持工件W的位置之過程(process)予以迅速化且予以簡化。

再者，於上述步驟S9，處理器50亦可作為機器人控制部90而發揮功能，使手部30的位置變更，以取代使該手部30的姿勢變更。具體而言，於步驟S9，處理器50亦可令機器人12的機構部42動作，以使手部30往在此時間點設定於機器人座標系統C1之工具座標系統C2(或工件座標系統C4)的x軸、y軸或z軸的方向平移移動預定的距離δ，藉此使該手部30的位置變更。在此，「平移移動」可定義為：在不改變手部30的姿勢(亦即工具座標系統C2之各軸的方向)的狀況下使該手部30移動的動作。

作為替代方案，處理器50亦可每當執行步驟S9時，交替執行使手部30之姿勢變更的動作、及使手部30之位置變更的動作，或者亦可於步驟S9，變更手部30的姿勢並且變更該手部30的位置。

再者，於上述實施形態，敘述了裝置100的功能安裝於教示裝置18的情況。然而，不限於此，裝置100的功能亦可安裝於控制裝置16(或視覺感測器14)。此情況下，控制裝置16的處理器70(或視覺感測器14的處理器)是作為裝置100(亦即圖像資料取得部82、工件位置取得部84、手部位置取得部86、教示位置取得部88、機器人控制部90及動作程式生成部92)而發揮功能。

又，亦可圖像資料取得部82、工件位置取得部84、手部位置取得部86、教示位置取得部88、機器人控制部90及動作程式生成部92當中之一部分安裝於控制裝置16、教示裝置18及視覺感測器14之一者，而其他部分安裝於控制裝置16、教示裝置18及視覺感測器14之另一者。

例如，亦可圖像資料取得部82安裝於視覺感測器14，工件位置取得部84、手部位置取得部86及機器人控制部90安裝於控制裝置16，教示位置取得部88及動作程式生成部92安裝於教示裝置18。此情況下，視覺感測器14的處理器、控制裝置16的處理器70及教示裝置18的處理器50構成裝置100。

再者，於上述實施形態，處理器50亦可作為手部位置取得部86而發揮功能，基於圖像資料ID _n，來取得表示感測器座標系統C2中之手部30的位置及姿勢之資料，並從該資料取得手部位置資料HPD _n。具體而言，視覺感測器14是如圖6所示，在讓工件W、及把持該工件W的手部30落在視野中的狀態下，拍攝圖像資料ID _n。

處理器50是在作為圖像資料取得部82發揮功能而從視覺感測器14取得了圖像資料ID _n時，將手部30經模型化而成之手部模型30M連同上述工件模型WM一同取得。此手部模型30M是例如三維CAD模型，預先儲存於記憶體52。

然後，處理器50使用預先決定的型樣匹配參數，來解析圖像資料ID _n所照到之手部30的三維點雲圖像，將手部模型30M以與該圖像資料ID _n所照到之手部30一致的方式模擬地配置。接下來，處理器50針對配置於圖像資料ID _n的手部模型30M，以圖3所示之位置關係設定工具座標系統C2。然後，處理器50取得已設定之該工具座標系統C2在感測器座標系統C3中之座標Q _{ST_n}，將該座標Q _{ST_n}轉換成機器人座標系統C1，藉此取得手部位置資料HPD _n(座標Q _{RT_n})。

亦可令視覺感測器14執行此類功能。例如，視覺感測器14(具體而言為處理器)亦可對拍攝到之圖像資料ID _n適用工件模型WM及手部模型30M，藉此取得感測器座標系統C3中之工具座標系統C2的座標Q _{ST_n}、及感測器座標系統C3中之工件座標系統C4的座標Q _{SW_n}，並提供給教示裝置18。

作為替代方案，視覺感測器14亦可作為工件位置取得部84而發揮功能，取得感測器座標系統C3中之工件座標系統C4的座標Q _{SW_n}，來作為工件位置資料WPD _n，並且作為手部位置取得部86而發揮功能，取得感測器座標系統C3中之工具座標系統C2的座標Q _{ST_n}，來作為手部位置資料HPD _n。

然後，視覺感測器14亦可作為教示位置取得部88而發揮功能，基於工件位置資料WPD _n(座標Q _{SW_n})及手部位置資料HPD _n(座標Q _{ST_n})，來取得教示位置資料TPD _n(例如座標Q _{TW_n}或Q _{WT_n})。亦即，此情況下，視覺感測器14的處理器作為裝置100而發揮功能。

再者，於上述實施形態，敘述了處理器50針對複數個座標Q _{TW_n}或Q _{WT_n}之各個座標進行除外的處理PR1，然後將登錄於有效座標群組GRP之座標Q _{TW_m}或Q _{WT_n}進行平均的處理PR2之情況。然而，不限於此，處理器50亦可針對複數個座標Q _{TW_n}或Q _{WT_n}，只執行除外的處理PR1及予以平均的處理PR2之任一者。

例如，處理器50亦可不進行除外的處理PR1，而執行將已取得之複數個座標Q _{TW_n}或Q _{WT_n}予以平均的處理PR2，藉此求出新的教示位置資料TPD ₀。或，處理器50亦可針對複數個座標Q _{TW_n}或Q _{WT_n}，只進行除外的處理PR1，該處理PR1的結果，從登錄於有效座標群組GRP之座標Q _{TW_m}或Q _{WT_n}當中，按照預先決定的條件自動地選擇1個教示位置資料TPD ₀。

再者，於上述實施形態，敘述了處理器50基於已取得之複數個教示位置資料TPD _n，來求出新的教示位置資料TPD ₀的情況。然而，不限於此，處理器50亦可例如生成以清單形式顯示已取得之複數個教示位置資料TPD _n的圖像資料，並使其顯示於顯示裝置56。

然後，操作者操作輸入裝置58，將輸入資料給予處理器50，前述輸入資料是：從顯示於顯示裝置56之複數個教示位置資料TPD _n當中，選擇所需的教示位置資料TPD ₀。處理器50接受該輸入資料，製作規定有由操作者所選擇之教示位置資料TPD ₀的動作程式OP。

再者，於上述實施形態，敘述了處理器50作為機器人控制部90而發揮功能，藉由重複變化手部30的姿勢來取得複數個教示位置資料TPD _n的情況。然而，不限於此，處理器50亦可不使手部30的姿勢變更而只取得上述教示位置資料TPD ₁。此情況下，處理器50亦可製作規定有該教示位置資料TPD ₁的動作程式OP。亦即，此情況下，可從裝置100省略機器人控制部90。

又，於上述實施形態，敘述了處理器50作為動作程式生成部92發揮功能而製作動作程式OP的情況。然而，不限於此，操作者亦可基於由處理器50所取得之教示位置資料TPD _n，以手動製作動作程式OP。亦即，此情況下，可從裝置100省略動作程式生成部92。

又，於上述實施形態，敘述了處理器50將工件模型WM適用於圖像資料ID _n，藉此取得工件位置資料WPD _n的情況。然而，不限於此，處理器50亦可不使用工件模型WM而解析圖像資料ID _n所照到之工件W的圖像，藉此取得工件位置資料WPD _n。

又，於上述實施形態，敘述了以作為控制座標系統C之機器人座標系統C1、工具座標系統C2、感測器座標系統C3及工件座標系統C4為基準，來取得教示位置資料TPD _n的情況。然而，不限於此，亦可例如以世界座標系統C5為基準來取得教示位置資料TPD _n。世界座標系統C5是規定作業單元的三維空間的控制座標系統C，固定地設定於作業單元。

再者，視覺感測器14亦可不固定於保持架44而固定於機器人12的機構部42(例如上臂部26或下臂部24)。此情況下，視覺感測器14是以可拍攝手部30所把持之工件W的方式安裝於機構部42。又，於上述實施形態，雖敘述了工件位置資料WPD _n、手部位置資料HPD _n及教示位置資料TPD _n為控制座標系統C的座標Q的情況，但不限於此，亦可表現為其他任何資料。

又，手部30亦可藉由將爪部34及36推抵到貫通孔H2的內壁面以把持小環形部W3，來取代把持大環形部W2。此情況下，教示裝置50藉由與上述實施形態同樣的方法，來教示以手部30把持小環形部W3的位置及姿勢。

又，工件W不限於如圖4所示之形態(連接桿)，亦可為任何形狀的工件，手部30亦可為任何類型的手部。例如，手部30亦可具有例如吸附部(真空(vacuum)裝置、吸盤、磁鐵等)，以該吸附部來吸附把持工件W，以取代可開閉的爪部34及36。

又，視覺感測器14亦可為二維照相機。此情況下，機器人系統10亦可進一步具備距離感測器，前述距離感測器固定於視覺感測器14，可測定該視覺感測器14與被照體(工件W)的距離d。又，教示裝置18亦可直接連接於機器人12(伺服馬達40)或視覺感測器14。以上經由實施形態來說明了本揭示，但上述實施形態不限定申請專利範圍的發明。

10:機器人系統 12:機器人 14:視覺感測器 16:控制裝置 18:教示裝置 20:機器人基座 22:迴旋體 24:下臂部 26:上臂部 28:腕部 30:手部 30M:手部模型 32:手部臂 34,36:爪部 38:爪部驅動部 40:伺服馬達 42:機構部 44:保持架 50,70:處理器 52,72:記憶體 54,74:I/O介面 56,76:顯示裝置 58,78:輸入裝置 60,80:匯流排 82:圖像資料取得部 84:工件位置取得部 86:手部位置取得部 88:教示位置取得部 90:機器人控制部 92:動作程式生成部 100:裝置 A:容器 B:軸線 C:控制座標系統 C1:機器人座標系統 C2:工具座標系統 C3:感測器座標系統 C4:工件座標系統 CM:教示開始指令 d,δ,Δ _n:距離 GRP:有效座標群組 H1,H2:貫通孔 HPD ₁,HPD ₂,HPD _n:手部位置資料 ID,ID ₁,ID ₂,ID _n,ID _W:圖像資料 IP1 _i,IP1 _n,IP1 _{R_n},IP2 _{R_n},IP3 _i,IP3 _n,IP3 _{R_n}:內積 IP1 _Rth,IP1 _th,IP2 _Rth,IP3 _Rth,IP3 _th,Δ _th1,Δ _th2:閾值 M1,M2:轉換矩陣 M3 _{_i},M3 _{_n},M3 _{_n+1}:矩陣 n:號碼 OP:動作程式 OP1,OP2,OP3,OP4:外積 PR1,PR2:處理 Q _{RT_0},Q _{RT_1},Q _{RT_2},Q _{RT_n},Q _{RW_1},Q _{RW_2},Q _{RW_n},Q _{RW_W},Q _{SW_1},Q _{SW_2},Q _{SW_n}, Q _{SW_W},Q _{TW_0},Q _{TW_1},Q _{TW_2},Q _{TW_i},Q _{TW_n},Q _{TW_m},Q _{WT_0},Q _{WT_1},Q _{WT_2},Q _{WT_n},Q _{WT_m}, X _{TW_n},Y _{TW_n},Z _{TW_n}:座標 Q _{TW_AV}:平均座標 Q _{SW_n},Q _{TW_n}:第1座標 Q _{RW_n},Q _{TW_n+1}:第2座標 Q _{RT_n}:第3座標 S1~S11:步驟 TPD ₀,TPD ₁,TPD ₂,TPD _n:教示位置資料 VL:視線方向 VT ₁,VT ₂,VT ₃,VT1 _{_i},VT1 _{_m},VT1 _{_n},VT1 _{_n+1},VT2 _{_n},VT3 _{_m},VT3 _{_n}:向量 VT1 _R,VT2 _R,VT3 _R:合成向量 VT1 _R’,VT1 _R”,VT2 _R’,VT2 _R”,VT3 _R’:單位向量 W:工件 W1:軸部 W2:大環形部 W3:小環形部 WM:工件模型 WPD ₁,WPD ₂,WPD _n,WPD _W:工件位置資料 x,y,z:軸 α:係數 θ,φ1,φ3:角度 σ,σ _X,σ _Y,σ _Z:標準差

圖1是一實施形態的機器人系統的立體圖。 圖2是圖1所示之機器人系統的方塊圖。 圖3是圖1所示之手部的放大圖。 圖4是一實施形態的工件的圖。 圖5表示以圖3所示之手部把持圖4所示之工件的狀態。 圖6是圖1所示之視覺感測器拍攝手部所把持之工件之圖像資料的一例。 圖7示意地表示對圖6所示之圖像資料適用工件模型的狀態。 圖8是表示於圖1所示之機器人系統中，教示令機器人以手部把持工件的位置及姿勢的方法之一例的流程圖。

10:機器人系統

12:機器人

14:視覺感測器

16:控制裝置

18:教示裝置

40:伺服馬達

50,70:處理器

52,72:記憶體

54,74:I/O介面

56,76:顯示裝置

58,78:輸入裝置

60,80:匯流排

82:圖像資料取得部

84:工件位置取得部

86:手部位置取得部

88:教示位置取得部

90:機器人控制部

92:動作程式生成部

100:裝置

Claims (10)

1. 一種裝置，其於用以控制機器人的控制座標系統中，教示該機器人以手部把持工件的位置及姿勢，前述裝置具備： 圖像資料取得部，其在前述機器人以前述手部把持前述工件時，取得配置於前述控制座標系統之已知的位置之視覺感測器拍攝該工件之圖像資料； 工件位置取得部，其基於前述圖像資料，來取得表示前述視覺感測器拍攝到該圖像資料時之前述控制座標系統中之前述工件的位置及姿勢之工件位置資料； 手部位置取得部，其取得表示前述視覺感測器拍攝到前述圖像資料時之前述控制座標系統中之前述手部的位置及姿勢之手部位置資料；及 教示位置取得部，其基於前述工件位置資料及前述手部位置資料，來取得表示前述視覺感測器拍攝到前述圖像資料時之前述控制座標系統中之前述手部與前述工件的位置關係之教示位置資料。
2. 如請求項1之裝置，其進一步具備機器人控制部，前述機器人控制部是令前述機器人動作，以使把持前述工件之前述手部的姿勢重複變化， 前述圖像資料取得部是每當前述機器人控制部使前述手部的姿勢變化時，取得前述視覺感測器所拍攝到之複數個前述圖像資料， 前述工件位置取得部基於前述圖像資料取得部所取得之各個前述圖像資料，來分別取得拍攝到該各個圖像資料時之前述工件位置資料， 前述手部位置取得部分別取得拍攝到前述各個圖像資料時之前述手部位置資料， 前述教示位置取得部基於前述工件位置取得部所取得之各個前述工件位置資料、及前述手部位置取得部所取得之各個前述手部位置資料，來分別取得拍攝到前述各個圖像資料時之前述教示位置資料。
3. 如請求項2之裝置，其中前述教示位置取得部基於已取得之複數個前述教示位置資料，來求出要使用於令前述機器人以前述手部把持前述工件的動作之新的教示位置資料。
4. 如請求項3之裝置，其中前述教示位置資料表示為前述控制座標系統的座標， 前述教示位置取得部是將前述複數個教示位置資料之前述座標當中之預先決定之容許範圍外的前述座標除外，或求出前述複數個教示位置資料之前述座標的平均，藉此求出前述新的教示位置資料。
5. 如請求項1至4中任一項之裝置，其進一步具備動作程式生成部，前述動作程式生成部生成規定有前述教示位置資料的動作程式。
6. 如請求項1至5中任一項之裝置，其中前述工件位置取得部取得表示使前述工件經模型化而成之工件模型與前述圖像資料所照到之前述工件一致時之該工件模型在前述控制座標系統中之位置及姿勢的資料，來作為前述工件位置資料。
7. 如請求項1至6中任一項之裝置，其中前述控制座標系統具有： 機器人座標系統，其設定於前述機器人； 工件座標系統，其設定於前述工件； 工具座標系統，其設定於前述手部，且與前述機器人座標系統的位置關係為已知；及 感測器座標系統，其設定於前述視覺感測器，且與前述機器人座標系統的位置關係為已知， 前述視覺感測器配置於前述機器人座標系統之前述已知的位置， 前述工件位置取得部是： 取得前述工件座標系統在前述感測器座標系統中之第1座標，前述工件座標系統表示前述圖像資料所照到之前述工件的位置及姿勢， 將前述第1座標轉換成前述機器人座標系統，藉此取得該機器人座標系統中之前述工件座標系統的第2座標，來作為前述工件位置資料， 前述手部位置取得部取得前述工具座標系統在前述機器人座標系統中之第3座標，來作為前述手部位置資料，前述工具座標系統表示前述手部的位置及姿勢， 前述教示位置取得部基於前述第2座標及前述第3座標，將前述教示位置資料，以前述工具座標系統中之前述工件座標系統的座標、或前述工件座標系統中之前述工具座標系統的座標的形式來取得。
8. 一種機器人系統，其具備： 機器人，其具有可把持工件的手部； 視覺感測器，其拍攝前述工件；及 如前述請求項1至7中任一項之裝置。
9. 如請求項8之機器人系統，其具備控制裝置，前述控制裝置基於前述視覺感測器所拍攝到之前述工件的第2圖像資料，來控制前述機器人以前述手部把持前述工件， 前述控制裝置是： 取得表示前述第2圖像資料所照到之前述工件在前述控制座標系統中之位置及姿勢的資料，來作為第2工件位置資料， 基於前述第2工件位置資料及前述教示位置資料，來決定把持前述視覺感測器所拍攝到之前述工件時之前述控制座標系統中之前述手部的位置及姿勢。
10. 一種方法，其於用以控制機器人的控制座標系統中，教示該機器人以手部把持工件的位置及姿勢， 前述方法是處理器會： 在前述機器人以前述手部把持前述工件時，取得配置於前述控制座標系統之已知的位置之視覺感測器拍攝該工件之圖像資料， 基於前述圖像資料，來取得表示前述視覺感測器拍攝到該圖像資料時之前述控制座標系統中之前述工件的位置及姿勢之工件位置資料， 取得表示前述視覺感測器拍攝到前述圖像資料時之前述控制座標系統中之前述手部的位置及姿勢之手部位置資料， 基於前述工件位置資料及前述手部位置資料，來取得表示前述視覺感測器拍攝到前述圖像資料時之前述控制座標系統中之前述手部與前述工件的位置關係之教示位置資料。

Images