TW202246927A

TW202246927A - 機器人模擬裝置

Info

Publication number: TW202246927A
Application number: TW111116070A
Authority: TW
Inventors: 米山寬之
Original assignee: 日商發那科股份有限公司
Priority date: 2021-05-25
Filing date: 2022-04-27
Publication date: 2022-12-01
Also published as: DE112021006848T5; US20240123611A1; CN117320854A; JPWO2022249295A1; WO2022249295A1

Abstract

一種機器人模擬裝置，具備：模型配置部(132)，在虛擬空間配置機器人模型、視覺感測器模型以及工件模型；工件模型位置計算部(134)，將在作業空間內藉由視覺感測器所取得之以機器人或視覺感測器為基準之工件的三維位置資訊，與工件模型的形狀的特徵重合，藉此計算以虛擬空間內之機器人模型或視覺感測器模型為基準之工件模型的位置以及姿勢；及模擬執行部(135)，執行以下之模擬動作：藉由視覺感測器模型來計測工件模型，並藉由機器人模型進行對工件模型之作業，模型配置部是在虛擬空間中，將工件模型以藉由工件模型位置計算部所計算出之以機器人模型或視覺感測器模型為基準之位置以及姿勢來配置。

Description

機器人模擬裝置

本發明是有關於一種機器人模擬裝置。

已知有以下技術：在作業空間內具有機器人、視覺感測器以及工件之機器人系統中，在以三維方式來表現出作業空間之虛擬空間內，配置機器人的機器人模型、視覺感測器的視覺感測器模型、以及工件的工件模型，並進行以下模擬：藉由視覺感測器模型來計測工件模型，且讓機器人模型對工件模型進行作業(例如專利文獻1)。

專利文獻2記載「一種資訊處理裝置，具備：第1選擇部，依據第1指示輸入來選擇包含在虛擬空間中之複數個座標系統當中的一個座標系統，前述虛擬空間配置有以包含虛擬空間中之位置資訊之CAD資料為依據的第1模型；第1取得部，取得表示不包含虛擬空間中的位置資訊之第2模型的第1資訊；第2取得部，取得表示藉由第1選擇部所選擇出的座標系統中的位置之第2資訊；及設定部，依據第1以及第2資訊，將虛擬空間中的第2模型的位置設定在前述位置」(摘要)。先前技術文獻專利文獻

專利文獻1：日本特開2015-171745號公報專利文獻2：日本特開2020-97061號公報

發明欲解決之課題

如專利文獻1所記載之模擬裝置是利用例如亂數來產生虛擬空間內的工件模型的散裝狀態。可有效率地製作可以達成更高精度的工件取出動作之機器人的動作程式之模擬技術仍備受期望。用以解決課題之手段

本揭示之一態樣是一種機器人模擬裝置，用於模擬在包含配置於作業空間內之機器人、視覺感測器以及工件之機器人系統中，前述機器人對前述工件進行的作業，前述機器人模擬裝置具備：模型配置部，在以三維方式表現出前述作業空間之虛擬空間中，配置前述機器人的機器人模型、前述視覺感測器的視覺感測器模型、以及前述工件的工件模型；工件模型位置計算部，將在前述作業空間內藉由前述視覺感測器所取得之以前述機器人或前述視覺感測器為基準之前述工件的三維位置資訊，與前述工件模型的形狀的特徵重合，藉此計算以前述虛擬空間內之前述機器人模型或前述視覺感測器模型為基準之前述工件模型的位置以及姿勢；及模擬執行部，執行以下之模擬動作：藉由前述視覺感測器模型來計測前述工件模型，並藉由前述機器人模型進行對前述工件模型之作業，前述模型配置部在前述虛擬空間中，將前述工件模型以藉由前述工件模型位置計算部所計算出之以前述機器人模型或前述視覺感測器模型為基準之前述位置以及姿勢來配置。發明效果

由於是以將作業空間中的工件的散裝狀態在虛擬空間中重現之狀態來執行機器人模型之作業的模擬動作，因此可以有效率地製作可以執行精度較高的取出動作之動作程式。

從附加圖式所示之本發明的典型的實施形態之詳細的說明，本發明的這些目的、特徵以及優點，還有其他的目的、特徵以及優點理應會變得更加明確。

用以實施發明之形態

其次，參照圖式來說明本揭示之實施形態。在參照之圖式中，對同樣的構成部分或功能部分附加有同樣的參照符號。為了容易理解，這些圖示已適當變更比例。又，圖式所示之形態是用於實施本發明的一個例子，本發明並非限定於圖示之形態。

圖1是顯示已將一實施形態之機器人模擬裝置30連接於機器人系統100之構成的圖。機器人系統100包含：機器人10、控制機器人10的動作之機器人控制裝置20、視覺感測器70、與在容器81內以散裝狀態放置之工件W。機器人10在手腕凸緣部搭載有手部11。構成機器人系統100的各個物體已配置於作業空間。機器人模擬裝置30是用於執行用於製作機器人10的動作程式之模擬的裝置。機器人模擬裝置30是以有線或無線方式連接於機器人控制裝置20。再者，機器人模擬裝置30亦可用遠距離方式來對機器人控制裝置20連接。

本實施形態之機器人模擬裝置30是將包含機器人10、視覺感測器70、以及散裝於容器81內之工件W的各物體的模型配置於虛擬空間，並以模擬的方式讓這些模型動作，藉此來模擬藉由視覺感測器70檢測工件W並以機器人10(手部11)取出工件W之動作。在此情況下，機器人模擬裝置30會取得已散裝於容器81內之工件W的實際的三維位置資訊，並在虛擬空間內重現工件W的實際之散裝狀態來執行模擬，藉此可有效率地製作可以執行精度更高的工件取出動作之動作程式。

視覺感測器70亦可為取得二維圖像之二維相機、或亦可為取得對象物的三維位置之三維位置檢測器。在本實施形態中，視覺感測器70是設為可取得對象物的三維位置之距離感測器(range sensor)。視覺感測器70具備投影機73、與配置在夾著投影機73而相向的位置上的2個相機71、72。投影機73構成為可以將點光、狹縫光等期望的圖案光投影於對象物的表面。投影機具備例如雷射二極體、發光二極體等的光源。相機71、72為具備有CCD、CMOS感測器等的拍攝元件之數位相機。

再者，於圖1中，也圖示有設定於機器人10之機器人座標系統C1、與設定於視覺感測器70之感測器座標系統C2。作為一例，機器人座標系統C1設定於機器人10的基部，感測器座標系統C2設定於視覺感測器70的透鏡的位置。這些座標系統的位置以及姿勢在機器人控制裝置20中是可被掌握的。在圖1中，雖然顯示有已將視覺感測器70安裝於機器人10的臂前端部之構成來作為例示，但也有將視覺感測器70固定於作業空間內的已知的位置之構成例。

圖2是顯示機器人控制裝置20以及機器人模擬裝置30的硬體構成例的圖。機器人控制裝置20亦可具有如下之作為一般的電腦之構成：透過匯流排而對處理器21連接有記憶體22(ROM、RAM、非揮發性記憶體等)、輸入輸出介面23、包含各種操作開關之操作部24等。機器人模擬裝置30亦可具有如下之作為一般的電腦之構成：透過匯流排而對處理器31連接有記憶體32(ROM、RAM、非揮發性記憶體等)、顯示部33、藉由鍵盤(或軟體鍵盤)等輸入裝置所構成之操作部34、輸入輸出介面35等。可以使用個人電腦、筆記型PC、平板終端等各種的資訊處理裝置來作為機器人模擬裝置30。

圖3是顯示機器人模擬裝置30的功能構成之功能方塊圖。機器人模擬裝置30具備虛擬空間製作部131、模型配置部132、視覺感測器模型位置設定部133、工件模型位置計算部134與模擬執行部135。

虛擬空間製作部131會製作以三維方式來表現出作業空間之虛擬空間。

模型配置部132是將構成機器人系統100的各物體的模型配置在虛擬空間內。亦可將藉由模型配置部132而在虛擬空間內配置有各物體模型之狀態顯示於顯示部33。

視覺感測器模型位置設定部133會從機器人控制裝置20取得表示作業空間內的視覺感測器70的位置之資訊。例如，視覺感測器模型位置設定部133可從機器人控制裝置20取得已記憶於機器人控制裝置20內之表示機器人座標系統C1與感測器座標系統C2的相對位置之資訊(校正資料(calibration data))來作為檔案。具體而言，表示該相對位置之資訊是以作業空間內之機器人10(機器人座標系統C1)為基準之視覺感測器70(感測器座標系統C2)的位置及姿勢。表示機器人座標系統C1與感測器座標系統C2的相對位置之資訊，已藉由在機器人系統100中事先執行視覺感測器70的校正而取得，並記憶於機器人控制裝置20內。

在此，校正可藉由例如以下作法來實現：以視覺感測器70來計測已貼附於機器人的預定的基準位置之視覺標記，而取得視覺感測器70相對於視覺標記之位置以及姿勢。藉由得到視覺感測器70相對於已配置在已知的位置之視覺標記的位置、姿勢，可取得視覺感測器70相對於機器人10的位置、姿勢。

模型配置部132會在虛擬空間內將視覺感測器模型配置成：在虛擬空間內設定在機器人模型之機器人模型座標系統與設定在視覺感測器模型之感測器模型座標系統之間的相對位置，成為和作業空間內的機器人座標系統與感測器座標系統之間的相對位置相同。

工件模型位置計算部134讓在作業空間內藉由視覺感測器70所取得之以機器人10或視覺感測器70為基準之工件的三維位置資訊，與工件模型的形狀的特徵重合，藉此計算以虛擬空間內之機器人模型或視覺感測器模型為基準之工件模型的位置以及姿勢。模型配置部132以計算出之位置以及姿勢來將工件模型配置於虛擬空間內。

模擬執行部135會執行以下的動作之模擬：將以計算出之位置以及姿勢來配置成散裝狀態的工件模型，藉由視覺感測器模型來計測，並藉由機器人模型來取出。再者，在本說明書中，在提及模擬或模擬動作時，除了進行機器人等之動作的數值模擬之情況以外，也包含在顯示畫面上使機器人模型等之各物體模型以模擬方式動作之情況。

圖4是顯示在由機器人模擬裝置30的處理器31所進行的控制之下執行的模擬動作的流程圖。

首先，虛擬空間製作部131會製作以三維方式來表現出作業空間的虛擬空間(步驟S1)。然後，模型配置部132會將機器人模型10M配置於虛擬空間內(步驟S2)。圖5顯示有已在虛擬空間內配置機器人模型10M之狀態。又，模擬執行部135會在虛擬空間中，在和已定義於作業空間之機器人座標系統C1對應之位置，設定對於機器人模型10M之機器人模型座標系統M1。

其次，視覺感測器模型位置設定部133會依據以作業空間內之機器人10為基準之視覺感測器70的位置以及姿勢，來設定以虛擬空間內之機器人模型10M為基準之視覺感測器模型70M的位置以及姿勢(步驟S3)。以作業空間內之機器人10為基準之視覺感測器的位置以及姿勢，是藉由在機器人系統100中執行視覺感測器70的校正，而例如在機器人控制裝置20內作為機器人座標系統C1與感測器座標系統C2的相對位置來記憶。在步驟S3中，視覺感測器模型位置設定部133會從機器人控制裝置20取得作為機器人座標系統C1與感測器座標系統C2的相對位置之資訊。

其次，在步驟S4中，模型配置部132會於虛擬空間內將視覺感測器模型70M配置成：機器人模型座標系統M1與感測器模型座標系統M2的相對位置，成為和作業空間內的機器人座標系統C1與感測器座標系統C2的相對位置同等。

圖6以及圖7顯示模型配置部132依照表示視覺感測器70相對於機器人10之相對位置之資訊，來將視覺感測器模型70M配置於虛擬空間內之狀態。再者，圖6顯示有將視覺感測器70作為在作業空間內固定在預定位置之固定相機來使用的情況的例子，圖7顯示有將視覺感測器70安裝於機器人10的臂前端部的情況的例子。如圖6以及圖7所示，視覺感測器模型70M具備投影機模型73M、與夾著投影機模型73M而相向配置的2個相機模型71M以及72M。如圖6以及圖7所示，在虛擬空間中，在對應於感測器座標系統C2之位置設定有感測器模型座標系統M2。

其次，在步驟S5中，工件模型位置計算部134讓在作業空間內藉由視覺感測器70所取得之以機器人10或以視覺感測器70為基準之工件W的三維資訊，與工件模型WM的形狀的特徵重合，藉此計算以在虛擬空間內之機器人模型10M或視覺感測器模型70M為基準之工件模型WM的位置以及姿勢。

工件W的三維位置資訊是以藉由視覺感測器70來計測工件W之作法，而作為例如以機器人座標系統C1或感測器座標系統C2為基準之三維座標的集合來記憶於機器人控制裝置20內。工件模型位置計算部134是從機器人控制裝置20取得工件W的三維位置資訊，並藉由和工件模型WM之形狀的特徵的重合來計算工件模型WM之位置以及姿勢。

在此，參照圖8至圖10來說明關於由視覺感測器70所進行之散裝狀態的工件W的三維位置資訊的取得方法。在本實施形態中，視覺感測器70是可以取得到對象物為止的距離之距離感測器。距離感測器是將工件的三維資訊以例如距離圖像或三維地圖等之形態來取得。距離圖像是藉由各個像素的明暗或顏色，來表現出從距離感測器起到計測距離內的工件為止之距離的圖像。三維地圖是以工件的表面上的點的三維座標值的集合來表現出計測區域內的工件的三維位置之地圖。

視覺感測器70的2個相機71、72是以其等的視野為至少部分互相重疊的方式來互相朝向不同的方向。投影機73的投影範圍是配置成和各個相機71、72的視野為至少部分重疊。圖8是顯示在視覺感測器70為固定在作業空間內的預定位置之固定相機的情況下，藉由視覺感測器70來計測工件W之狀況的圖。圖9是顯示在將視覺感測器70搭載於機器人10的臂前端部的情況下，藉由視覺感測器70來計測工件W之狀況的圖。

對第1平面群與第二平面群的交線進行複數次運算，而計算出交線與工件表面之交點的三維座標來作為工件W的三維位置資訊，其中前述第1平面群是通過2台相機71以及72之焦點，並且將以2台相機71及72拍攝配置有工件W之區域之成為計測的對象之範圍所得的視野以等間隔來分割之平面群，前述第二平面群是相當於以投影機73在配置有工件W之區域之成為計測的對象之範圍內投影出條狀的圖案光160的情況下之圖案光160的明暗的交界面(參照圖10)。

在圖10中，將以2台相機71、72所拍攝之視野(成為計測對象之範圍)表示為視野FV，並且以1點鏈線來表示將視野以等間隔來分割之假想線。在圖10中，圖示有投影於配置有工件W之區域的條狀的圖案光160、第1平面群的一個平面(以下，記載為第1平面151)、與第2平面群的一個平面(以下，記載為第2平面152)。再者，在圖10中，條狀的圖案光160是從圖中內側朝向近前側延伸，並作為明暗圖案(由陰影的有無所形成之表現)來表示。又，在圖10中，圖示有第1平面151和第2平面152之交線L1、與交線L1和工件W的表面之交點P。

如此，運算第1平面群、第2平面群，並且計算第1平面群與第2平面群之交線。然後，計算已計算出之複數條交線與呈散裝之工件W之表面的複數個交點P之三維資訊。

機器人控制裝置20藉由執行複數次工件取出步驟，而針對所有的工件W來取得三維座標。

藉由以上的程序而在機器人系統100中取得之針對所有的工件W的三維座標已保存於機器人控制裝置20。

工件模型位置計算部134從機器人控制裝置20取得如上述所求得之工件表面上的複數個交點P的三維座標(以機器人座標系統C1或感測器座標系統C2為基準之座標)來作為工件W的三維資訊。並且，工件模型位置計算部134會比較工件W的三維資訊與工件模型的形狀的特徵(工件模型的面資料、稜線資料、頂點資料等)，來搜索工件模型可能的位置以及姿勢，並計算三維座標的集合與工件模型的形狀資訊一致的程度為最大之工件模型的位置以及姿勢。藉此，工件模型位置計算部134會得到和作業空間中的工件W的位置以及姿勢對應之虛擬空間中的工件模型WM的位置以及姿勢。

於圖11顯示有藉由如此的程序，而對工件W之三維位置資訊(複數個交點P)重合配置工件模型WM之狀態。再者，於圖11圖示有工件W的三維位置所被取得之範圍Q。又，於圖11也圖示有設定於各個工件模型WM之工件模型座標系統M3。工件模型座標系統M3在例如各個工件模型WM為長方體形狀的情況下，亦可設定在其重心位置。

其次，在步驟S6中，模型配置部132會在虛擬空間內將工件模型WM配置成以機器人模型10M或視覺感測器模型70M為基準之工件模型W的位置以及姿勢。圖12顯示有在視覺感測器模型70M為位置被固定之固定感測器的情況下，依據在步驟S5所計算出之工件模型WM的位置以及姿勢來將工件模型WM配置在虛擬空間內之狀態。圖13顯示有在將視覺感測器模型M搭載於機器人模型10M的情況下，依據在步驟S5所計算出之工件模型WM的位置以及姿勢來將工件模型WM配置在虛擬空間內之狀態。如圖12及圖13所示，亦可將工件模型WM之位置以及姿勢，作為相對於機器人模型座標系統M1或視覺感測器模型座標系統M2之工件模型座標系統M3之位置以及姿勢來求得。藉此，可將已在作業空間內散裝之工件W的實際的配置在虛擬空間內重現。

其次，在步驟S7中，模擬執行部135會在已將工件模型WM如圖12或圖13所示配置於虛擬空間內的狀態下執行以下的作業的模擬：藉由視覺感測器模型70M來計測工件模型WM，並藉由已搭載於機器人模型10M之手部模型11M來將工件模型WM一個一個地取出。

模擬執行部135會藉由以下的程序，而和使用了視覺感測器70之計測動作同樣地在虛擬空間內以模擬的方式計測工件模型WM的位置以及姿勢。 (a1)依據已配置在虛擬空間之視覺感測器模型70M中的2個相機模型71M、72M的位置以及計測區域來運算第1平面群。 (a2)其次，依據投影機模型73M的位置以及計測區域來運算第2平面群。 (a3)運算第1平面群與第2平面群之複數條交線。 (a4)運算交線與工件模型WM之交點的三維座標。 (a5)依據工件模型WM的三維座標來運算工件模型WM之位置以及姿勢。 (a6) 模擬以下動作：依據已計算出之工件模型WM的位置以及姿勢，使機器人模型10M移動至可把持對象工件模型的位置，並藉由手部模型11M來取出對象工件模型。

圖14是顯示正在藉由模擬執行部135執行由機器人模型10M所進行之取出工件模型WM的模擬動作之狀態。亦可將像這樣的動作顯示於機器人模擬裝置30的顯示部33。

如此，根據本實施形態，由於可在已於虛擬空間中重現了作業空間中的工件的散裝狀態之狀態下執行機器人模型的作業的模擬動作，因此可以有效率地製作可以執行精度較高的取出動作之動作程式。

以上，雖然使用典型的實施形態來說明了本發明，但理應可以理解的是，只要是所屬技術領域中具有通常知識者，都可以在不脫離本發明的範圍的情形下，對上述之各實施形態進行變更以及各種其他的變更、省略、追加。

圖3所示之機器人模擬裝置30的功能方塊，亦可藉由機器人模擬裝置30的處理器31執行已保存於記憶裝置之軟體來實現；或者，亦可藉由以ASIC(特殊應用積體電路，Application Specific Integrated Circuit)等之硬體作為主體之構成來實現。

執行上述之實施形態中的圖4的模擬動作之程式，可以記錄於電腦可讀取之各種記錄媒體(例如ROM、EEPROM、快閃記憶體等之半導體記憶體、磁性記錄媒體、CD-ROM、DVD-ROM等之光碟)。

10:機器人 10M:機器人模型 11:手部 11M:手部模型 100:機器人系統 131:虛擬空間製作部 132:模型配置部 133:視覺感測器模型位置設定部 134:工件模型位置計算部 135:模擬執行部 151:第1平面 152:第2平面 160:圖案光 20:機器人控制裝置 21,31:處理器 22,32:記憶體 23,35:輸入輸出介面 24,34:操作部 30:機器人模擬裝置 33:顯示部 70:視覺感測器 70M:視覺感測器模型 71,72:相機 71M,72M:相機模型 73:投影機 73M:投影機模型 81:容器 81M:容器模型 C1:機器人座標系統 C2:感測器座標系統 FV:視野 L1:交線 M1:機器人模型座標系統 M2:感測器模型座標系統 M3:工件模型座標系統 P:交點 Q:範圍 S1～S7:步驟 W:工件 WM:工件模型

圖1是顯示已將一實施形態之機器人模擬裝置連接於機器人系統之構成的圖。圖2是顯示機器人控制裝置及機器人模擬裝置的硬體構成例的圖。圖3是顯示機器人模擬裝置的功能構成的功能方塊圖。圖4是顯示由機器人模擬裝置所進行之模擬動作的流程圖。圖5是顯示已在虛擬空間內配置機器人模型之狀態的圖。圖6是顯示在視覺感測器模型為固定於虛擬空間內之固定感測器的情況下，在虛擬空間內配置機器人模型以及視覺感測器模型之狀態的圖。圖7是顯示在將視覺感測器模型搭載於機器人模型的情況下，在虛擬空間內配置機器人模型以及視覺感測器模型之狀態的圖。圖8是顯示在視覺感測器為固定於作業空間內之固定感測器的情況下，視覺感測器計測工件之狀況的圖。圖9是顯示在將視覺感測器搭載於機器人的情況下，藉由視覺感測器計測工件之狀況的圖。圖10是顯示藉由視覺感測器將圖案光投影於工件來進行工件的計測之狀況的圖。圖11是顯示在工件表面上計測到複數個交點之狀況的圖。圖12是顯示在視覺感測器模型為固定於虛擬空間內之固定感測器之情況下，依據計算出之工件模型的位置以及姿勢來將工件模型配置在虛擬空間內之狀態。圖13是顯示在將視覺感測器模型搭載於機器人模型的情況下，依據計算出之工件模型的位置以及姿勢來將工件模型WM配置在虛擬空間內之狀態。圖14是顯示正在藉由模擬執行部執行由機器人模型所進行之取出工件模型的模擬動作之狀態的圖。

30:機器人模擬裝置

131:虛擬空間製作部

132:模型配置部

133:視覺感測器模型位置設定部

134:工件模型位置計算部

135:模擬執行部

Claims

一種機器人模擬裝置，用於模擬在包含配置於作業空間內之機器人、視覺感測器以及工件之機器人系統中，前述機器人對前述工件進行的作業，前述機器人模擬裝置具備：模型配置部，在以三維方式表現出前述作業空間之虛擬空間中，配置前述機器人的機器人模型、前述視覺感測器的視覺感測器模型、以及前述工件的工件模型；工件模型位置計算部，將在前述作業空間內藉由前述視覺感測器所取得之以前述機器人或前述視覺感測器為基準之前述工件的三維位置資訊，與前述工件模型的形狀的特徵重合，藉此計算以前述虛擬空間內之前述機器人模型或前述視覺感測器模型為基準之前述工件模型的位置以及姿勢；及模擬執行部，執行以下的模擬動作：藉由前述視覺感測器模型來計測前述工件模型，並藉由前述機器人模型進行對前述工件模型之作業，前述模型配置部在前述虛擬空間中，將前述工件模型以藉由前述工件模型位置計算部所計算出之以前述機器人模型或前述視覺感測器模型為基準之前述位置以及姿勢來配置。
如請求項1之機器人模擬裝置，其中在前述作業空間內藉由前述視覺感測器所取得之前述工件的前述三維位置資訊，包含使用前述視覺感測器對在前述作業空間內散裝之所有的前述工件所計測出的三維位置資訊。
如請求項2之機器人模擬裝置，其中前述工件的三維位置資訊是利用前述視覺感測器所計測出之前述工件的三維點的集合。
如請求項1至3中任一項之機器人模擬裝置，其更具備：視覺感測器模型位置設定部，依據以前述作業空間內之前述機器人為基準之前述視覺感測器的位置以及姿勢，設定以前述虛擬空間內之前述機器人模型為基準之前述視覺感測器模型的位置以及姿勢，前述模型配置部會在前述虛擬空間內將前述視覺感測器模型配置成已設定之前述視覺感測器模型的位置以及姿勢。
如請求項4之機器人模擬裝置，其中以前述作業空間內之前述機器人為基準之前述視覺感測器的位置以及姿勢是包含在校正資料中的資料，前述校正資料是藉由在前述作業空間中進行前述視覺感測器的校正而得到。