TW202316213A - 控制裝置及機器人系統 - Google Patents

Abstract

一種控制裝置，其具備：補正量算出部，係從搭載在移動型機器人之視覺感測器之資訊，算出相對於作業空間的機器人的動作的補正量；及控制部，係基於補正量改變前述視覺感測器之攝像位置及攝像姿勢中之至少一者，並基於改變後的視覺感測器的資訊對機器人的動作施加補正。

Description

控制裝置及機器人系統

本發明係關於一種機器人之控制技術，特別係關於一種對機器人的動作施加補正的控制裝置及機器人系統。

背景技術

近年來，於載置在台車、AGV(automated guided vehicle：無人搬送車)、搬送軌道系統等搬送裝置的機器人、或與搬送裝置一體化的機器人等移動型機器人中，提出有許多機器人系統，前述機器人系統係使移動型機器人移動至工具機、建設機械等機械的附近、或車輛、航空機、建築物、其等零件等工件的附近，利用機器人進行各種作業。

在該移動型機器人進行工件的加載/卸載、工具的更換、工件的加工(例如切削、研磨、熔接、嵌合、緊固、密封等)等各種作業時，由於當移動型機器人之停止位置或停止姿勢改變、或者當作業空間中之作為作業對象的機械或工件的位置或姿勢改變時，機器人相對於作業空間的位置或姿勢亦會改變，故存在機器人無法單純藉由每次進行相同的動作而適切地作業之情形。因此，有人提出測量機器人相對於作業空間之位置或姿勢的偏離，對機器人的動作施加補正的技術。

關於對機器人的動作施加補正的方法，例如有如下技術：於機器人之手前端等安裝視覺感測器，使用視覺感測器檢測設置在作業空間中之複數個基準點之三維位置，算出從機器人相對於作業空間之基準位置或基準姿勢起算的偏離量(補正量)，對機器人的動作施加補正(例如專利文獻1、2等)。然而，存在如下情形：例如當移動型機器人朝其他機械或其他工件的附近移動，而使移動型機器人之停止位置或停止姿勢改變、或者當作業空間中之作為作業對象的機械或工件的位置或姿勢改變時，位於作業空間中之基準點超出視覺感測器的視野。因此，為了使基準點進入視覺感測器的視野，會產生以手動改變移動型機器人之停止位置或停止姿勢、或以手動改變作為作業對象的機械或工件的位置或姿勢、或重新教示攝像位置或攝像姿勢等勞力或試誤。為此，機器人的補正處理需要時間。

於專利文獻1中記載有：於搭載有機器人之無人搬送車上固定視覺感測器，於作業台上設置標記，在無人搬送車停止在教示位置之狀態下，基於由視覺感測器檢測出之標記的位置偏離量來補正機器人對於工件的處理位置。

於專利文獻2中記載有：若在搭載有機器人之無人搬送車停止之狀態下利用攝像機構進行基準點位置的檢測，在該停止之狀態下機器人對工件進行預定的作業時，由於作業所需的時間會變長、難以高生產化，故在搭載有機器人之第1移動體正在移動之狀態下，取得安裝在第1移動體的相機以不同的時點拍攝的基準物的2個以上的圖像，在第1移動體移動之狀態下基於2個以上的圖像進行預定的作業。 先行技術文獻 專利文獻

[專利文獻1]日本特開平11-156764號公報 [專利文獻2]日本特開2019-093481號公報

發明概要 發明欲解決之課題

鑑於先前問題，本發明之目的係提供一種自動化進行機器人的補正處理的技術。 用以解決課題之手段

本揭示之一態樣係提供一種控制裝置，其具備：補正量算出部，係從搭載在移動型機器人之視覺感測器之資訊，算出相對於作業空間的機器人的動作的補正量；及控制部，係基於補正量改變前述視覺感測器之攝像位置及攝像姿勢中之至少一者，並基於改變後的視覺感測器的資訊對機器人的動作施加補正。 本揭示之另一態樣係提供一種機器人系統，其具備：移動型機器人；視覺感測器，係搭載在機器人；補正量算出部，係從視覺感測器之資訊，算出相對於作業空間的機器人的動作的補正量；及控制部，係基於補正量改變視覺感測器之攝像位置及攝像姿勢中之至少一者，並基於改變後的視覺感測器的資訊對機器人的動作施加補正。 發明效果

根據本揭示之一態樣，即使移動型機器人之停止位置或停止姿勢改變時、或者作為作業對象的機械或工件的位置或姿勢改變時，由於亦自動地基於補正量改變視覺感測器之攝像位置及攝像姿勢中之至少一者，故沒有為了使基準點進入視覺感測器的視野，而以手動改變移動型機器人之停止位置或停止姿勢、或以手動改變作為作業對象的機械或工件的位置或姿勢、或重新教示攝像位置或攝像姿勢等勞力或試誤，可自動化進行機器人之補正處理。

用以實施發明之形態

以下，參照所附圖式詳細地說明本揭示之實施形態。於各圖式中，對於相同或類似的構成要件賦予相同或類似的符號。又，以下記載的實施形態並不用來限定申請專利範圍所記載的發明的技術性範圍及用語的意義。

以下，就第一實施形態之機器人系統1進行說明。圖1係第一實施形態之機器人系統1的構成圖。機器人系統1具備移動型機器人10、視覺感測器11、控制移動型機器人10之控制裝置12。又，機器人系統1進而具備對移動型機器人10進行教示或進行狀態確認的教示裝置13，但並非必要。

移動型機器人10具備機器人10a、搬送裝置10b及工具10c。移動型機器人10係可裝卸地連結機器人10a與搬送裝置10b而構成，但並非限定於此，於其他實施形態中，機器人10a與搬送裝置10b亦可一體化而構成。

機器人10a由多關節機器人構成，但並不限定於此，於其他實施形態中，亦可由單關節機器人、雙臂機器人、並聯型機器人等其他產業用機器人(機器手臂)構成、或由人形等其他形態的機器人構成。機器人10a係搭載於搬送裝置10b，且由控制裝置12控制。

搬送裝置10b係由台車等手動搬送裝置構成，但並不限定於此，於其他實施形態中，亦可由AGV(automated guided vehicle：無人搬送車)、搬送軌道系統等自動搬送裝置構成。為自動搬送裝置時，搬送裝置10b亦可由控制裝置12控制。

工具10c係由多指把持式手、吸附式手等手部構成，但並不限定於此，於其他實施形態中，亦可由切削工具、熔接工具、密封工具等加工工具構成。工具10c係可裝卸地連結在機器人10a之手前端。

視覺感測器11具備輸出亮度資訊之二維感測器，但並不限定於此，於其他實施形態中，亦可具備輸出距離資訊之三維感測器。又，視覺感測器11係由一台相機構成，但並不限定於此，於其他實施形態中，亦可由二台立體相機構成。視覺感測器11係搭載於移動型機器人10。視覺感測器11係搭載於機器人10a之手腕部，但並不限定於此，於其他實施形態中，亦可搭載於機器人10a之臂部、工具10c、搬送裝置10b等其他的可動部。

控制裝置12係由公知之PLC(programmable logic controller；可程式邏輯控制器)構成，但於其他實施形態中亦可由其他的電腦構成。控制裝置12具備相互以匯流排連接之處理器、記憶體、輸入輸出介面等(未圖示)。控制裝置12根據由教示裝置13教示的動作程式控制移動型機器人10之動作。控制裝置12控制機器人10a之動作，但並不限定於此，於其他實施形態中亦可控制搬送裝置10b之動作。

控制裝置12係設定世界座標系統、機械座標系統、凸緣座標系統、工具座標系統、相機座標系統、使用者座標系統等各種座標系統。這些座標系統可例如為正交座標系統。為了便於說明，於本實施形態中，控制裝置12係已設定機械座標系統M與相機座標系統C者。機械座標系統M係固定在機器人10a之基準位置(例如基座)。相機座標系統C係固定在視覺感測器11之基準位置(例如焦點位置)。

教示裝置13係由教導器等構成，但並不限定於此，於其他實施形態中，亦可由教示操作盤、其他電腦等構成。教示裝置13係編輯或製作移動型機器人10之動作程式。教示裝置13將編輯或製作的動作程式送出至控制裝置12。

於以上構成之機器人系統1中，移動型機器人10係移動至作為作業對象的機械20附近，進行工件W的加載/卸載、機械20的工具更換等，但並不限定於此，於其他實施形態中，亦有時進行工件W的加工(例如切削、研磨、熔接、嵌合、緊固、密封等)等其他作業。

機械20係由銑床等公知的工具機構成，但並不限定於此，於其他實施形態中，亦可由建設機械、農業機械等其他的產業機械構成。例如機械20具備加工工件W的工具21、及控制工具21之動作的控制裝置22。控制裝置22係由公知的CNC(computerized numerical control：電腦數值控制)裝置構成。

移動型機器人10係於作業空間S中，進行將工件W加載/卸載於機械20、或更換機械20的工具21等作業。當移動型機器人10朝其他機械20或其他工件W的附近移動，而使移動型機器人10(搬送裝置10b)之停止位置或停止姿勢改變時、或者當作業空間S中之作為作業對象的機械20或工件W的位置或姿勢改變時，由於移動型機器人10相對於作業空間S的位置及姿勢中之至少一者亦會改變，故機器人10a無法單純藉由每次進行相同的動作而適切地執行作業。

因此，控制裝置12係從視覺感測器11之資訊算出移動型機器人10相對於作業空間S的位置及姿勢中之至少一者的偏離量作為補正量，並基於偏離量(補正量)對移動型機器人10(機器人10a)之動作施加補正。控制裝置12雖然基於偏離量(補正量)對機器人10a之動作施加補正，但在搬送裝置10b為自動搬送裝置時，亦存在基於偏離量(補正量)對搬送裝置10b之動作施加補正之情形。

為了算出移動型機器人10相對於作業空間S的位置及姿勢中之至少一者的偏離量，控制裝置12從視覺感測器11之資訊檢測作業空間S之基準點Ta、Tb、Tc之三維位置。檢測基準點Ta、Tb、Tc之三維位置係使用立體法，但於其他實施形態中，亦可使用TOF(time of flight；飛時測距)法、光投影法(光切法、相移法、空間編碼法等)、聚焦法等其他三維測量法。

為了算出移動型機器人10相對於作業空間S的位置及姿勢中之至少一者，基準點Ta、Tb、Tc必須為複數個(至少二個以上)。例如基準點Ta、Tb、Tc為設置在作業空間S中之三個目標標記，但並不限定於此，於其他實施形態中，亦可為存在於作業空間S中之已知的特徵點、例如機械20的角部等。

為了高精度地算出移動型機器人10相對於作業空間S的位置及姿勢中之至少一者，複數個基準點Ta、Tb、Tc宜儘可能地遠離彼此而設置。例如二個基準點Ta、Tb分別設置於機械20之外部(例如機械20之右外部與左外部)，一個基準點Tc設置於機械20之內部(例如工件W之上部)，但並不限定於此，於其他實施形態中，亦可一個基準點設置於機械20之外部，二個基準點設置於機械20之內部。

控制裝置12令機器人10a動作，使視覺感測器11依序移動至攝像位置及攝像姿勢中之至少一者，視覺感測器11依序拍攝基準點Ta、Tb、Tc。控制裝置12基於視覺感測器11之資訊，檢測包含基準點Ta、Tb、Tc之檢測三維位置的檢測三維資訊，基於檢測三維資訊、與包含基準點Ta、Tb、Tc之基準三維位置的基準三維資訊，算出從移動型機器人10相對於作業空間S之基準位置及基準姿勢中之至少一者起算的偏離量作為補正量，並基於偏離量(補正量)對移動型機器人10之動作施加補正。

圖2係第一實施形態之機器人系統1的功能方塊圖。控制裝置12具備記憶部33、三維資訊檢測部32、補正量算出部30、及控制部31。記憶部33由RAM、ROM等記憶體構成。記憶部33以外的構成要件係由電腦程式之一部分或全部構成，但並不限定於此，於其他實施形態中，亦可由半導體積體電路之一部分或全部構成。又，於其他實施形態中，控制部31以外的構成要件亦可配置在可以有線或無線連接於控制裝置12的外部電腦裝置。

記憶部33記憶移動型機器人10之動作程式、視覺感測器11之校正資訊(所謂內部參數及外部參數)、包含基準點T之基準三維位置的基準三維資訊、過去的偏離量(補正量)等各種資訊。再者，基準點T係複數個基準點Ta、Tb、Tc的省略寫法。

三維資訊檢測部32係基於視覺感測器11之資訊，檢測包含基準點T之檢測三維位置的檢測三維資訊。如前所述，三維資訊檢測部32使用立體法檢測基準點T之檢測三維位置，但並不限於此，於其他實施形態中，亦可使用TOF法、光投影法、聚焦法等其他三維測量法。三維資訊檢測部32將檢測三維資訊送出至補正量算出部30。

補正量算出部30具備偏離量算出部30a。偏離量算出部30a係由電腦程式之一部分或全部構成，但並不限定於此，於其他實施形態中，亦可由半導體積體電路之一部分或全部構成。偏離量算出部30a基於檢測三維資訊及預先記憶的基準三維資訊，算出從移動型機器人10相對於作業空間S之基準位置及基準姿勢中之至少一者起算的偏離量(補正量)。偏離量算出部30a將算出的偏離量(補正量)送出至控制部31，且將偏離量(補正量)作為過去的補正量記憶在記憶部33。

控制部31基於偏離量(補正量)對移動型機器人10之動作施加補正。控制部31雖然基於偏離量(補正量)對機器人10a之動作施加補正，但在其他實施形態中，亦可基於偏離量(補正量)對搬送裝置10b之動作施加補正。

當移動型機器人10朝其他機械20或其他工件W的附近移動，而使移動型機器人10(搬送裝置10b)之停止位置或停止姿勢改變時、或者當作為作業對象的機械20或工件W的位置或姿勢改變時，基準點T有可能超出視覺感測器11的視野。因此，在記憶部33已經記憶有過去的偏離量(補正量)時，首先，控制部31基於過去的偏離量(補正量)自動地改變視覺感測器11之攝像位置及攝像姿勢中之至少一者，使移動型機器人10動作。控制部31於改變後將攝像指令送出至視覺感測器11，視覺感測器11根據攝像指令拍攝基準點T。

藉此，由於基準點T進入視覺感測器11之視野的可能性變高，故沒有為了使基準點T進入視覺感測器11的視野，而以手動改變移動型機器人10(搬送裝置10b)之停止位置或停止姿勢的勞力、或以手動改變作為作業對象的機械20或工件W的位置或姿勢的勞力、或重新教示攝像位置或攝像姿勢的試誤等，可自動化進行移動型機器人10之補正處理。

基準點T進入視覺感測器11的視野後，三維資訊檢測部32基於視覺感測器11之資訊檢測包含基準點T之檢測三維位置的檢測三維資訊，補正量算出部30基於檢測三維資訊、與包含基準點T之基準三維位置的基準三維資訊，算出從移動型機器人10相對於作業空間S之基準位置及基準姿勢中之至少一者起算的偏離量(補正量)，控制部31基於偏離量(補正量)對移動型機器人10之動作進行補正。

以下，參照圖3-圖6對第一實施形態之機器人系統1之詳細的動作進行說明。圖3係第一實施形態之機器人系統1之第一次的補正流程圖。所謂第一次的補正係對記憶部33未記憶有過去的偏離量(補正量)時的機器人的動作施加補正的處理。

於第一次的補正中，首先於步驟S1中以手動或自動使移動型機器人10(搬送裝置10b)移動至基準位置或基準姿勢。於步驟S2中，控制部31使移動型機器人10動作，使視覺感測器11移動至預先教示的攝像位置及攝像姿勢中之至少一者。

圖5係視覺感測器11之攝像位置姿勢C1~C6與基準點Ta、Tb、Tc之檢測三維位置之一例的說明圖。攝像位置姿勢C1~C6包含攝像位置及攝像姿勢中之至少一者。使用立體法時，由於就一個基準點於不同的位置拍攝二次，故有三個基準點Ta、Tb、Tc時，攝像位置姿勢C1~C6為六處。然而，在使用TOF法、光切法之其他實施形態中，請注意攝像位置姿勢為三處。攝像位置姿勢C1~C6為預先教示者。

再次參照圖3，於步驟S3中，視覺感測器11以攝像位置姿勢C1~C6拍攝基準點Ta、Tb、Tc。在基準點Ta、Tb、Tc未進入視覺感測器11之視野時，在第一次的補正中，為了使基準點Ta、Tb、Tc進入視覺感測器11的視野，而以手動改變移動型機器人10(搬送裝置10b)之停止位置或停止姿勢、或以手動改變作為作業對象的機械20或工件W的位置或姿勢、或重新教示視覺感測器11之攝像位置或攝像姿勢。

如圖5所示，尤其是使用立體法時，由於若基準點Ta、Tb、Tc落在視覺感測器11之視野邊緣，會增加二張拍攝圖像中拍到的基準點T的距離(即視差)，故基準點Ta、Tb、Tc之三維位置之精度提高。因此，使用立體法時，以基準點T落在視覺感測器11之視野邊緣之方式，以手動改變移動型機器人10(搬送裝置10b)之停止位置或停止姿勢、或以手動改變作為作業對象的機械20或工件W的位置或姿勢、或重新教示視覺感測器11之攝像位置或攝像姿勢。

再度參照圖3，於步驟S4中，三維資訊檢測部32係基於視覺感測器11之資訊，檢測包含基準點Ta、Tb、Tc之檢測三維位置的檢測三維資訊。

以下，參照圖5就基準點Ta、Tb、Tc之檢測三維位置之檢測例進行說明。為了便於說明，於攝像位置姿勢C1與C2、攝像位置姿勢C3與C4、及攝像位置姿勢C5與C6中，視覺感測器11係設為等位平行化地配置者。即，於攝像位置姿勢C1與C2、攝像位置姿勢C3與C4、及攝像位置姿勢C5與C6中，視覺感測器11相隔基線長B，視覺感測器11之光軸O平行地配置，在與光軸O正交之面內配置有視覺感測器11之影像感測器，影像感測器之x方向及y方向配向在相同方向。

例如於攝像位置姿勢C1與C2中，將二個攝像位置姿勢C1與C2中之攝像位置姿勢C1設為相機座標系統C的原點、將攝像位置姿勢C1、C2分別設為視覺感測器11之焦點位置、將視覺感測器11之焦點距離設為f、將2張拍攝圖像中拍到之基準點Ta之視差設為D、將視覺感測器11之像素間距設為1mm(=1像素)，藉由立體法由下式求出從相機座標系統C之原點至基準點Ta之距離、即相機座標系統C中之基準點Ta之Z座標 ^c1z _a。

[數學式1]

再者，於 ^c1z _a中，左上標的字表示座標系統的原點、右下標的字表示該座標系統中的座標點。即， ^c1z _a表示相機座標系統C之原點位於攝像位置姿勢C1、相機座標系統C中之基準點Ta之Z座標。

由於基線長B與焦點距離f為根據二處攝像位置姿勢與視覺感測器11之設計所決定的常數，故只要三維資訊檢測部32基於基準點Ta之檢測處理、匹配處理等圖像處理來算出二張拍攝圖像中之基準點Ta的視差D，就可檢測出基準點Ta之z座標 ^c1z _a。

又，於將拍攝圖像之左上端設為原點的圖像座標系統中，若將拍攝圖像中拍到之基準點T之圖像座標設為(x,y)、將圖像座標系統之圖像中心設為(c _x,c _y)，則三維資訊檢測部32例如由下式算出相機座標系統C中之基準點Ta之x座標 ^c1x _a與y座標 ^c1y _a。

[數學式2]

[數學式3]

再者，於 ^c1x _a、 ^c1y _a中，左上標的字表示座標系統的原點、右下標的字表示該座標系統中的座標點(以下相同)。即， ^c1x _a、 ^c1y _a分別表示相機座標系統C之原點位於攝像位置姿勢C1時的相機座標系統C中之基準點Ta之X座標、Y座標。

又，三維資訊檢測部32視需要亦可進行像差補正。像差補正之補正係數、焦點距離f、圖像中心(c _x,c _y)、像素間距等之視覺感測器11之內部參數係設為預先記憶在記憶部33。

由上，求出相機座標系統C中之基準點Ta之檢測三維位置( ^c1x _a, ^c1y _a, ^c1z _a)。相同地，亦求出相機座標系統C中之基準點Tb、Tc之檢測三維位置( ^c3x _b, ^c3y _b, ^c3z _b)、( ^c5x _c, ^c5y _c, ^c5z _c)。

接著，三維資訊檢測部32係將基準點Ta、Tb、Tc之檢測三維位置從相機座標系統C轉換到機械座標系統M。於攝像位置姿勢C1、C3、C5中，若將機械座標系統M中之視覺感測器11之位置及姿勢(即相機座標系統C之位置及姿勢)設為C1( ^mx _c1, ^my _c1, ^mz _c1, ^mw _c1, ^mp _c1, ^mr _c1)、C3( ^mx _c3, ^my _c3, ^mz _c3, ^mw _c3, ^mp _c3, ^mr _c3)、及C5( ^mx _c5, ^my _c5, ^mz _c5, ^mw _c5, ^mp _c5, ^mr _c5)，則用以將機械座標系統M之三維位置進行座標轉換而轉換為相機座標系統C之三維位置的視覺感測器11的外部參數(R,t) _c1、(R,t) _c3、(R,t) _c5例如為齊次轉換矩陣，如下式表示。再者，視覺感測器11之外部參數設為預先記憶在記憶部33。

[數學式4]

於上式中，R表示旋轉矩陣(從齊次轉換矩陣之第一列第一行到第三列第三行)、t表示平行移動量、即平移向量(從齊次轉換矩陣之第一列第四行到第三列第四行)。又， ^mx _c1、 ^my _c1、 ^mz _c1分別為機械座標系統M中之視覺感測器11之攝像位置姿勢C1之X座標、Y座標、Z座標(相機座標系統C之位置)， ^mw _c1、 ^mp _c1、 ^mr _c1分別為機械座標系統M中之視覺感測器11之攝像位置姿勢C1之繞X軸之旋轉量、繞Y軸之旋轉量、繞Z軸之旋轉量(相機座標系統之姿勢)。關於攝像位置姿勢C3、C5亦相同。

因此，相機座標系統C中之基準點Ta、Tb、Tc之檢測三維位置( ^c1x _a, ^c1y _a, ^c1z _a)、( ^c3x _b, ^c3y _b, ^c3z _b)、( ^c5x _c, ^c5y _c, ^c5z _c)分別藉由下式轉換為機械座標系統M中之基準點Ta、Tb、Tc各自的三維位置( ^mx _a, ^my _a, ^mz _a)、( ^mx _b, ^my _b, ^mz _b)、( ^mx _c, ^my _c, ^mz _c)。

[數學式5]

於上式中，R ^T表示旋轉矩陣R之轉置矩陣。如上所述，三維資訊檢測部32檢測出機械座標系統M中之基準點Ta、Tb、Tc之檢測三維位置。

再度參照圖3，於步驟S5中，偏離量算出部30a基於包含基準點Ta、Tb、Tc之檢測三維位置的檢測三維資訊、與包含基準點Ta、Tb、Tc之基準三維位置的基準三維資訊，算出從移動型機器人10相對於作業空間S之基準位置及基準姿勢中之至少一者起算的偏離量(補正量)。又，偏離量算出部30a將算出的偏離量(補正量)作為過去的補正量記憶在記憶部33。

以下，就從移動型機器人10相對於作業空間S之基準位置及基準姿勢中之至少一者起算的偏離量的算出例進行說明。圖6係移動型機器人10之偏離量(補正量)之算出例的說明圖。於圖6顯示基準三維資訊與檢測三維資訊。基準三維資訊包含機械座標系統M(0,0,0,0,0,0)中之基準點Ta、Tb、Tc之基準三維位置Ta( ^mx _ra, ^my _ra, ^mz _ra)、Tb( ^mx _rb, ^my _rb, ^mz _rb)、Tc( ^mx _rc, ^my _rc, ^mz _rc)。另一方面，檢測三維資訊包含因為移動型機器人10(搬送裝置10b)之停止位置或停止姿勢的偏離、或作為作業對象的機械20或工件W的位置或姿勢的偏離，而從基準三維資訊之機械座標系統M偏離的機械座標系統M’(0,0,0,0,0,0)中之基準點Ta、Tb、Tc之檢測三維位置Ta( ^m’x _a, ^m’y _a, ^mz _a)、Tb( ^m’x _b, ^m’y _b, ^m’z _b)、Tc( ^m’x _c, ^m’y _c, ^m’z _c)。

若想成於基準三維資訊中，將基準點Ta、Tb、Tc設為底面、將機械座標系統M之原點設為頂點的三角錐在檢測三維資訊中之機械座標系統M’上進行旋轉及平行移動，則從移動型機器人10相對於作業空間S之基準位置及基準姿勢中之至少一者起算的偏離量(補正量)相當於檢測三維資訊之機械座標系統M’下的基準三維資訊之機械座標系統M的位置及姿勢。即，從移動型機器人10相對於作業空間S之基準位置及基準姿勢中之至少一者起算的偏離量(補正量)可表現為M( ^m’x _m, ^m’y _m, ^m’z _m, ^m’w _m, ^m’p _m, ^m’r _m)。再者， ^m’x _m、 ^m’y _m、 ^m’z _m分別為檢測三維資訊之機械座標系統M’下的基準三維資訊之機械座標系統M之位置的X座標、Y座標、Z座標， ^m’w _m, ^m’p _m, ^m’r _m分別為檢測三維資訊之機械座標系統M’下的基準三維資訊之機械座標系統M的姿勢(繞X軸之旋轉量、繞Y軸之旋轉量、繞Z軸之旋轉量)。

此時，若想成基準三維資訊中之三角錐各點、即M(0,0,0)、Ta( ^mx _ra, ^my _ra, ^mz _ra)、Tb( ^mx _rb, ^my _rb, ^mz _rb)、Tc( ^mx _rc, ^my _rc, ^mz _rc)在檢測三維資訊之機械座標系統M’中進行旋轉及平行移動後，移動至M( ^m’x _m, ^m’y _m, ^m’z _m)、Ta( ^m’x _a, ^m’y _a, ^m’z _a)、Tb( ^m’x _b, ^m’y _b, ^m’z _b)、Tc( ^m’x _c, ^m’y _c, ^m’z _c)，則在基準點Ta、Tb、Tc之基準三維位置與基準點Ta、Tb、Tc之檢測三維位置之間成立以下關係式。

[數學式6]

於上式中，r11~r33表示旋轉矩陣之各要素(從齊次轉換矩陣之第一列第一行到第三列第三行)， ^m’x _m, ^m’y _m, ^m’z _m表示平行移動量、即平移向量之各要素(從齊次轉換矩陣之第一列第四行到第三列第四行)。

若將上式表示為X’=T･X，於兩邊乘上X的反矩陣X ^-1，則成為T=X’･X ^-1。X的反矩陣X ^-1係以伴隨矩陣或消去法求出。在齊次轉換矩陣T=X’･X ^-1中，未知的變數由於係作為偏離量(補正量)的M( ^m’x _m, ^m’y _m, ^m’z _m, ^m’w _m, ^m’p _m, ^m’r _m)的六個，故藉由建立至少6個聯立方程式並求解，而算出從移動型機器人10相對於作業空間S之基準位置及基準姿勢中之至少一者起算的偏離量(補正量)。

上述偏離量(補正量)之算出方法只是一個例子，係基於所謂線性代數的方法，但需注意並不限定於此，於其他實施形態中，亦可使用幾何學等其他方法。例如由於基準三維資訊中之三角錐的邊所成的角度或體積為不變，故TaTb･TaM、TaTc･TaM、TbTa･TbM、TbTc･TbM、TcTa･TcM、TcTb･TcM等內積、或由1/6×(TaTb×TaTc)･TaM求出之三角錐之體積為不變。因此，亦可至少建立6個等式、即由基準三維資訊之機械座標系統M計算出的值=由檢測三維資訊之機械座標系統M’計算出的值，並求解6個聯立方程式，藉此求出偏離量(補正量) ^m’x _m, ^m’y _m, ^m’z _m, ^m’w _m, ^m’p _m, ^m’r _m。

再度參照圖3，於步驟S6中，控制部31基於偏離量(補正量)對移動型機器人10之動作施加補正。即，控制部31係基於作為偏離量(補正量)的M( ^m’x _m, ^m’y _m, ^m’z _m, ^m’w _m, ^m’p _m, ^m’r _m)，對構成機器人10a之動作軌道的各教示點進行補正。例如基於下式，構成機器人10a之動作軌道的各教示點從教示時的機械座標系統M，被補正(座標轉換)為移動型機器人10相對於作業空間S的位置及姿勢中之至少一者偏離後的機械座標系統M’。

[數學式7]

如上所述，完成第一次的補正。在第一次的補正結束後，當移動型機器人10朝其他機械20或其他工件W的附近移動，而使移動型機器人10(搬送裝置10b)之停止位置或停止姿勢又改變時、或者當作業空間S中之作為作業對象的機械20或工件W的位置或姿勢又改變時，機器人系統1根據下一次及之後的補正流程圖對移動型機器人10的動作進行補正。

圖4係第一實施形態之機器人系統1之下一次及之後的補正流程圖。所謂下一次及之後的補正係對記憶部33已經記憶有過去的偏離量(補正量)時的機器人的動作施加補正的處理。首先，於步驟S7中以手動或自動使移動型機器人10(搬送裝置10b)移動至其他機械20或其他工件W的附近。於步驟S8中，控制部31基於過去的偏離量(補正量)自動地改變視覺感測器11之攝像位置姿勢C1~C6，使移動型機器人10動作。即，攝像位置姿勢C1~C6例如藉由下式，基於作為過去的偏離量(補正量)的M( ^m’x _m, ^m’y _m, ^m’z _m, ^m’w _m, ^m’p _m, ^m’r _m)補正(變換)為攝像位置姿勢C1’~C6’。

[數學式8]

於步驟S9中，視覺感測器11以改變後的攝像位置姿勢C1’~C6’拍攝基準點Ta、Tb、Tc。此時，由於基於過去的偏離量(補正量)將攝像位置姿勢C1~C6補正為攝像位置姿勢C1’~C6’，故基準點Ta~Tc進入視覺感測器11之視野的可能性變高。即，於下一次及之後的補正中，與第一次的補正時相比，沒有為了使基準點Ta~Tc進入視覺感測器11的視野，而以手動改變移動型機器人10(搬送裝置10b)之停止位置或停止姿勢的勞力、或以手動改變作為作業對象的機械20或工件W的位置或姿勢的勞力、或重新教示攝像位置或攝像姿勢的試誤等，可自動化進行移動型機器人10之補正處理。

特別是使用立體法時，雖然如圖5所示以基準點Ta、Tb、Tc落在二張拍攝圖像之邊緣之方式(即以採取較長視差D之方式)教示攝像位置姿勢C1~C6，而藉此使基準點Ta、Tb、Tc之三維位置精度提高，但當移動型機器人10(搬送裝置10b)之停止位置或停止姿勢改變時、或者當作為作業對象的機械20或工件W的位置或姿勢改變時，基準點Ta、Tb、Tc有時會超出視覺感測器11的視野。因此，藉由使用過去的偏離量(補正量)自動地補正為攝像位置姿勢C1’~C6’，基準點Ta~Tc不會超出視覺感測器11的視野，進而，能夠以落在視覺感測器11之視野邊緣之方式拍攝的可能性變高。因此，即使為使用立體法之情形，亦可自動地對移動型機器人10之動作施加補正，使用者不需要進行特別困難的教示。又，亦可獲得可降低製作機器人10a之動作程式的難易度、可縮短動作程式的製作時間等次要效果。

又，從圖4之步驟S10到步驟S12的處理由於與從圖3之步驟S4到步驟S6的處理相同，故省略說明。

如上所述，根據第一實施形態之機器人系統1，即使移動型機器人10(搬送裝置10b)之停止位置或停止姿勢改變時、或者作為作業對象的機械20或工件W的位置或姿勢改變時，由於亦基於過去的偏離量(補正量)自動地改變視覺感測器11之攝像位置及攝像姿勢中之至少一者，故沒有為了使基準點Ta、Tb、Tc進入視覺感測器11的視野，而以手動改變移動型機器人10(搬送裝置10b)之停止位置或停止姿勢、或以手動改變作為作業對象的機械20或工件W的位置或姿勢、或重新教示攝像位置或攝像姿勢等的勞力或試誤，可自動化進行機器人之補正處理。

以下，就第二實施形態之機器人系統1進行說明。再度參照圖1，第二實施形態之機器人系統1係以使從視覺感測器11取得的檢測圖像接近基準圖像之方式算出移動型機器人10之移動量作為補正量，基於移動量(補正量)改變視覺感測器11之攝像位置及攝像姿勢中之至少一者，並基於改變後的視覺感測器11的資訊對移動型機器人10的動作施加補正。。

為了容易說明，移動型機器人10之移動量(補正量)設為視覺感測器11之攝像位置及攝像姿勢中之至少一者的移動量(相機座標系統C之移動量)。移動量(補正量)例如可表示為移動前之相機座標系統C下的移動後的相機座標系統C’的位置姿勢C( ^cx _c’, ^cy _c’, ^cz _c’, ^cw _c’, ^cp _c’, ^cr _c’)。

於其他實施形態中，移動型機器人10之移動量(補正量)可為機器人10a之前端(例如凸緣中心)之位置及姿勢中之至少一者的移動量(凸緣座標系統的移動量)、或可為TCP(tool center point：工具中心點)之工具10c之位置及姿勢中之至少一者的移動量(工具座標系統的移動量)。

再度參照圖2，於第二實施形態之機器人系統1中，與第一實施形態之機器人系統1不同的點在於：補正量算出部30具備移動量算出部30b。移動量算出部30b係由電腦程式之一部分或全部構成，但並不限定於此，於其他實施形態中，亦可由半導體積體電路之一部分或全部構成。

以手動或自動使移動型機器人10(搬送裝置10b)移動至其他停止位置或停止姿勢後、或者以手動或自動使作為作業對象之機械20或工件W移動至其他位置或姿勢後，控制部31使移動型機器人10動作，使視覺感測器11移動至預先教示過視覺感測器的攝像位置姿勢C1~C6。控制部31於移動後將攝像指令送出至視覺感測器11，視覺感測器11根據攝像指令以攝像位置姿勢C1~C6拍攝基準點T。

移動量算出部30b係判定基準點T是否出現在從視覺感測器11取得的檢測圖像中。基準點T未出現在檢測圖像時，移動量算出部30b將任意的移動量(補正量)送出至控制部31，控制部31基於任意的移動量(補正量)改變視覺感測器11之攝像位置及攝像姿勢中之至少一者，使移動型機器人10動作。任意的移動量(補正量)可為預先指定的移動量(補正量)，例如表示為C( ^cx _sc’, ^cy _sc’, ^cz _sc’, ^cw _sc’, ^cp _sc’, ^cr _sc’)。例如任意的移動量(補正量)包含將改變前之攝像位置依序朝上下左右平行移動預定量之4個移動量(補正量)、將改變前之攝像姿勢依序朝上下左右旋轉預定量之4個移動量(補正量)、或將該等組合的4個移動量(補正量)。又，於其他實施形態中，任意的補正量亦可為第一實施形態中之偏離量。控制部31於改變後將攝像指令送出至視覺感測器11，視覺感測器11根據攝像指令拍攝基準點T。

另一方面，基準點T出現在檢測圖像時，移動量算出部30b以使從視覺感測器11取得之檢測圖像接近預先記憶在記憶部33之基準圖像之方式算出移動量(補正量)。移動量(補正量)之算出係使用後述的機械學習。

接著，移動量算出部30b判定所算出的移動量(補正量)是否為閾值以下。在移動量(補正量)超過閾值時，由於基準點T不在視覺感測器11之視野邊緣的可能性較高，故移動量算出部30b將算出之移動量(補正量)送出至控制部31，控制部31基於算出的移動量(補正量)改變視覺感測器11之攝像位置及攝像姿勢中之至少一者，使移動型機器人10動作。控制部31於改變後將攝像指令送出至視覺感測器11，視覺感測器11根據攝像指令拍攝基準點T。

另一方面，在移動量(補正量)為閾值以下時，由於基準點T位在視覺感測器11之視野邊緣的可能性較高，故移動量算出部30b將偏離量(補正量)之算出指令送出至偏離量算出部30a，偏離量算出部30a係如第一實施形態所說明般，算出從移動型機器人10相對於作業空間S之基準位置及基準姿勢中之至少一者起算的偏離量(補正量)。

偏離量算出部30a將算出的偏離量(補正量)送出至控制部31，控制部31基於偏離量(補正量)對移動型機器人10之動作施加補正。控制部31雖然基於偏離量(補正量)對機器人10a之動作施加補正，但在搬送裝置10b為自動搬送裝置之其他實施形態中，亦可基於偏離量(補正量)對搬送裝置10b之動作施加補正。

以下，參照圖7-圖8對第二實施形態之機器人系統1之詳細的動作進行說明。圖7係第二實施形態之機器人系統1的補正流程圖。首先，於步驟S1中以手動或自動使移動型機器人10(搬送裝置10b)移動至其他機械20或其他工件W的附近。於步驟S2中，控制部31使移動型機器人10動作，使視覺感測器11移動到預先教示的攝像位置姿勢C1~C6(參照圖5)。

於步驟S3中，視覺感測器11以攝像位置姿勢C1~C6拍攝基準點Ta、Tb、Tc。於步驟S4中，移動量算出部30b係判定基準點Ta、Tb、Tc是否出現在從視覺感測器11取得的檢測圖像中。基準點Ta、Tb、Tc之檢測可使用匹配處理等圖像處理。於基準點Ta、Tb、Tc未出現在檢測圖像時(步驟S4之否)，控制部31基於任意的移動量(補正量)自動地改變視覺感測器11之攝像位置姿勢C1~C6，使移動型機器人10動作。即攝像位置姿勢C1~C6例如藉由下式，基於作為任意的移動量(補正量)之C( ^cx _sc’, ^cy _sc’, ^cz _sc’, ^cw _sc’, ^cp _sc’, ^cr _sc’)補正(轉換)到攝像位置姿勢C1’~C6’。

[數學式9]

然後，返回到步驟S3，視覺感測器11以改變後的攝像位置姿勢C1’~C6’再度拍攝基準點Ta、Tb、Tc，於步驟S4中，移動量算出部30b再度判定基準點Ta、Tb、Tc是否出現在從視覺感測器11取得的檢測圖像中。基準點Ta、Tb、Tc出現在檢測圖像時(步驟S4之是)，移動量算出部30b以使從視覺感測器11取得之檢測圖像接近預先記憶在記憶部33之基準圖像之方式算出移動量(補正量)。

以下，參照圖8就用於算出移動量(補正量)的機械學習進行說明。第二實施形態之機器人之移動量(補正量)之算出原理的說明圖。移動量算出部30b將從視覺感測器11取得的檢測圖像、及以使檢測圖像接近基準圖像之方式算出的移動型機器人10的移動量(補正量)作為狀態變數來觀測。又，移動量算出部30b從記憶部33取得基準圖像作為判定資料。

接著，移動量算出部30b根據由狀態變數及判定資料之組合構成的訓練資料集，學習使移動型機器人10從任意的位置及姿勢中之至少一者移動到基準位置及基準姿勢中之至少一者的移動量(補正量)。

移動量算出部30b可基於移動後之視覺感測器11之攝像位置及攝像姿勢中之至少一者、與基準點T之基準位置來計算獎勵，並基於獎勵，更新用以從現在的狀態變數推測視覺感測器11的移動量(補正量)的函數。即，移動量算出部30b可使用所謂的Q學習進行強化學習。

或者，移動量算出部30b亦可將從已經移動至預定位置及姿勢中之至少一者的視覺感測器11取得的檢測圖像、與視覺感測器11從預定位置及姿勢中之至少一者朝基準點T的基準位置移動的移動量(補正量)的資料集合，作為標籤(label)來進行監督式學習。藉由進行監督式學習，取得以基準位置及基準姿勢中之至少一者拍攝的基準圖像、與記憶基準位置及基準姿勢中之至少一者後移動至適當的位置，該移動量(補正量)與以該位置及姿勢中之至少一者拍攝的檢測圖像，並準備複數個基準圖像與檢測圖像的組合，藉此可學習圖像的變化與移動量(補正量)的關係，可自動地取得大量的學習資料集。

控制部31亦可基於以使從視覺感測器11取得的檢測圖像接近基準圖像之方式算出的移動量(補正量)使視覺感測器11移動，移動後的視覺感測器11的位置及姿勢中之至少一者越接近基準位置及基準姿勢，越給予高獎勵。

移動量算出部30b宜基於狀態變數及獎勵，更新與視覺感測器11之移動量(補正量)對應的行動價值表。移動量算出部30b宜以多層結構運算觀測到的狀態變數，即時更新用以判斷行動價值的行動價值表。此處，關於以多層結構運算狀態變數的方法，可使用所謂的多層類神經網路。

移動量算出部30b亦可基於與移動型機器人10相同構造的其他的移動型機器人的狀態變數與獎勵，更新與其他的移動型機器人的視覺感測器之移動量(補正量)對應的價值函數。即，亦可並非使用移動量算出部30b學習後更新的價值函數來更新自己的價值函數，而使用以其他的機械學習裝置更新後的價值函數來更新自己的價值函數。例如亦可在複數個控制裝置12間發送、接收資料，將其他控制裝置12的學習內容活用於自身的學習。

移動量算出部30b亦可構成為：根據由現在的狀態變數及判定資料之組合構成的追加訓練資料集，再度學習移動型機器人10的移動量(補正量)來更新。

移動量算出部30b宜基於根據訓練資料集所學習到的結果，決策對移動型機器人10的動作指令。移動量算出部30b係將於視覺感測器11之移動後之攝像位置及攝像姿勢中之至少一者拍攝的檢測圖像作為狀態變數，將基準圖像作為判定資料，算出使出現於視覺感測器11中之基準點T接近基準圖像的基準點T的移動型機器人10的移動量(行動資料)。例如移動量算出部30b以使從移動到任意位置的視覺感測器11取得的檢測圖像接近基準圖像之方式計算視覺感測器11的移動量(補正量)。

再度參照圖7，於步驟S7中，移動量算出部30b係判定所算出的移動量(補正量)是否為閾值以下。在移動量(補正量)超過閾值時(步驟S7之否)，由於基準點Ta、Tb、Tc不在視覺感測器11之視野邊緣的可能性較高，故於步驟S8中控制部31係基於算出的移動量(補正量)改變視覺感測器11之攝像位置姿勢C1~C6，使移動型機器人10動作。然後，返回到步驟S3，視覺感測器11以改變後的攝像位置姿勢C1’~C6’再度拍攝基準點Ta、Tb、Tc，於步驟S4中，移動量算出部30b再度判定基準點Ta、Tb、Tc是否出現在從視覺感測器11取得的檢測圖像中。基準點Ta、Tb、Tc出現在檢測圖像時(步驟S4之是)，移動量算出部30b以使從視覺感測器11取得之檢測圖像接近基準圖像之方式再度算出移動量(補正量)。

另一方面，在移動量(補正量)為閾值以下時(步驟S7之是)，由於基準點Ta、Tb、Tc位在視覺感測器11之視野邊緣的可能性較高，故步驟S9中偏離量算出部30a係如第一實施形態所說明般，算出從移動型機器人10相對於作業空間S之基準位置及基準姿勢中之至少一者起算的偏離量(補正量)。然後，於步驟S10中，控制部31基於偏離量(補正量)對移動型機器人10之動作施加補正。控制部31雖然基於偏離量(補正量)對機器人10a之動作施加補正，但在搬送裝置10b為自動搬送裝置之其他實施形態中，亦可基於偏離量(補正量)對搬送裝置10b之動作施加補正。

如上所述，根據第二實施形態之機器人系統1，即使移動型機器人10(搬送裝置10b)之停止位置或停止姿勢改變時、或者作為作業對象的機械20或工件W的位置或姿勢改變時，由於亦使用機械學習算出移動量(補正量)，並基於移動量(補正量)使移動型機器人10動作，重複視覺感測器11之移動與攝像，故沒有為了使基準點Ta、Tb、Tc落在視覺感測器11的視野邊緣，而以手動改變移動型機器人(搬送裝置10b)之停止位置或停止姿勢、或以手動改變作為作業對象的機械20或工件W的位置或姿勢、或重新教示攝像位置或攝像姿勢等勞力或試誤，可自動化進行機器人之補正處理。

又，根據第二實施形態之機器人系統1，在判定基準點Ta、Tb、Tc是否出現在檢測圖像中，於檢測圖像未出現基準點Ta、Tb、Tc時，由於會基於任意的移動量(補正量)自動地改變視覺感測器11之攝像位置姿勢C1~C6，故沒有為了使基準點Ta、Tb、Tc進入視覺感測器11的視野，而以手動改變移動型機器人(搬送裝置10b)之停止位置或停止姿勢、或以手動改變作為作業對象的機械20或工件W的位置或姿勢、或重新教示攝像位置或攝像姿勢等勞力或試誤，可自動化進行機器人之補正處理。

前述電腦程式可記錄於例如CD-ROM等電腦可讀取之非暫時性記錄媒體而提供、或者經由有線或無線從WAN(wide area network)或LAN(local area network)上之伺服器裝置傳送而提供。

於本說明書中就各種實施形態進行了說明，但本發明並不限定於前述實施形態，應當理解在以下申請專利範圍所記載之範圍內可進行各種變更。

1:機器人系統 10:移動型機器人 10a:機器人 10b:搬送裝置 10c:工具 11:視覺感測器 12:控制裝置 13:教示裝置 20:機械 21:工具 22:控制裝置 30:補正量算出部 30a:偏離量算出部 30b:移動量算出部 31:控制部 32:三維資訊檢測部 33:記憶部 B:基線長 C,C’:相機座標系統 C1~C6,C1’~C6’:攝像位置、攝像位置姿勢 ^c1z _a,^c3z _b,^c5z _c:Z座標 D:視差 f:焦點距離 M,M’:機械座標系統 O:光軸 S:作業空間 S1~S12:步驟 T,Ta,Tb,Tc:基準點 W:工件

圖1係第一實施形態之機器人系統的構成圖。 圖2係第一實施形態之機器人系統的功能方塊圖。 圖3係第一實施形態之機器人系統之第一次的補正流程圖。 圖4係第一實施形態之機器人系統之下一次及之後的補正流程圖。 圖5係視覺感測器之攝像位置姿勢與基準點之檢測三維位置之一例的說明圖。 圖6係移動型機器人之偏離量(補正量)之算出例的說明圖。 圖7係第二實施形態之機器人系統的補正流程圖。 圖8係第二實施形態之機器人之移動量(補正量)之算出原理的說明圖。

1:機器人系統

10:移動型機器人

11:視覺感測器

12:控制裝置

13:教示裝置

20:機械

30:補正量算出部

30a:偏離量算出部

30b:移動量算出部

31:控制部

32:三維資訊檢測部

33:記憶部

S:作業空間

T:基準點

Claims (7)

1. 一種控制裝置，其具備： 補正量算出部，係從搭載在移動型機器人之視覺感測器之資訊，算出相對於作業空間的前述機器人的動作的補正量；及 控制部，係基於前述補正量改變前述視覺感測器之攝像位置及攝像姿勢中之至少一者，並基於改變後的前述視覺感測器的資訊對前述機器人的動作施加補正。
2. 如請求項1之控制裝置，其中前述控制部係基於過去的前述補正量改變前述視覺感測器之前述攝像位置及前述攝像姿勢中之至少一者。
3. 如請求項1或2之控制裝置，其中前述補正量算出部係基於根據前述視覺感測器之資訊檢測出的檢測三維資訊與基準三維資訊，算出從前述機器人相對於前述作業空間之基準位置及基準姿勢中之至少一者起算的偏離量作為前述補正量，前述控制部基於前述偏離量改變前述視覺感測器的前述攝像位置及前述攝像姿勢中之至少一者。
4. 如請求項1至3中任一項之控制裝置，其中前述控制部係在前述作業空間之基準點未出現在從前述視覺感測器取得的檢測圖像中時，基於任意的補正量改變前述視覺感測器之前述攝像位置及前述攝像姿勢中之至少一者。
5. 如請求項1至4中任一項之控制裝置，其中前述補正量算出部係在前述作業空間之基準點出現在從前述視覺感測器取得的檢測圖像中時，以使前述檢測圖像接近基準圖像之方式算出前述機器人之移動量作為前述補正量，前述控制部基於前述移動量改變前述視覺感測器之前述攝像位置及前述攝像姿勢中之至少一者。
6. 如請求項1至5中任一項之控制裝置，其中前述補正量算出部係使用機械學習算出前述補正量，前述控制部基於前述補正量重複前述視覺感測器之移動與攝像。
7. 一種機器人系統，其具備： 移動型機器人； 視覺感測器，係搭載在前述移動型機器人； 補正量算出部，係從前述視覺感測器之資訊，算出相對於作業空間的前述機器人的動作的補正量；及 控制部，係基於前述補正量改變前述視覺感測器之攝像位置及攝像姿勢中之至少一者，並基於改變後的前述視覺感測器的資訊對前述機器人的動作施加補正。

Images