JP7326911B2

JP7326911B2 - 制御システムおよび制御方法

Info

Publication number: JP7326911B2
Application number: JP2019114597A
Authority: JP
Inventors: 嵩史大倉; 拓大谷
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2019-06-20
Filing date: 2019-06-20
Publication date: 2023-08-16
Anticipated expiration: 2039-06-20
Also published as: CN112109075A; US11498220B2; JP2021000678A; EP3753685A1; EP3753685B1; US20200398435A1; CN112109075B

Description

本技術は、ロボットを制御する制御システムおよび制御方法に関する。

特開平１１－２３９９８９号公報（特許文献１）には、ロボットに装着されたカメラにより撮影された対象物の実画像を用いてシミュレーションモデルを較正するキャリブレーション装置が開示されている。具体的には、カメラと同じ画角、視点で生成された対象物のグラフィクス画像と実画像とを重畳表示し、これらの画像が一致するように、シミュレーションモデルが較正される。

特開平１１－２３９９８９号公報

特許文献１に記載の技術は、ロボットとロボットに装着されたカメラとの相対位置関係が一定であることを前提としており、当該相対位置関係に偏差が生じた場合に、シミュレーションに従ってロボットを精度良く動作させることができない。また、特許文献１に記載の技術は、ロボットにカメラを装着できないケースには適用できない。

本発明は、上記の問題に鑑みてなされたものであり、その目的は、シミュレーションに従ってロボットを精度良く動作させることが可能な制御システムおよび制御方法を提供することである。

本開示の一例によれば、ロボットを制御する制御システムは、シミュレーション装置と、ロボットコントローラと、撮像装置と、推定手段とを備える。シミュレーション装置は、ロボットの形状を示すロボットモデルを用いたシミュレーションを行なう。ロボットコントローラは、与えられた移動指令に従ってロボットを駆動制御する。撮像装置は、ロボットを撮像する。推定手段は、撮像装置の撮像により得られた画像に基づいて、ロボットに対する撮像装置の相対位置姿勢を推定する。シミュレーション装置は、オフラインティーチングを実行することにより、ロボットが取るべき位置姿勢を示す教示点を設定するための設定手段と、仮想空間に配置された仮想カメラの撮像によって得られるシミュレーション画像を生成するための画像生成手段とを含む。画像生成手段は、仮想空間において、教示点にロボットモデルを配置するとともに、ロボットモデルに対する相対位置姿勢が推定手段によって推定された相対位置姿勢と一致するように仮想カメラを配置したときの第１シミュレーション画像を生成する。制御システムは、さらに、第１取得手段と、決定手段とを備える。第１取得手段は、教示点への第１移動指令をロボットコントローラに与え、かつ、第１移動指令に従ってロボットが駆動制御された後の撮像装置の撮像により得られる第１実画像を取得する。決定手段は、第１実画像上のロボットの位置姿勢が第１シミュレーション画像上のロボットモデルの位置姿勢に近づくように、教示点に対する補正量を決定する。

この開示によれば、ロボットの実動作を、シミュレーション装置においてシミュレートされた仮想空間上のロボットモデルの動作に近づけることができる。すなわち、実環境と仮想環境との誤差に起因する、ロボットの実動作とシミュレーション動作との誤差を自動的に修正することできる。その結果、シミュレーションに従ってロボットを精度良く動作させることができる。

上述の開示において、決定手段は、偏差演算手段と、補正量演算手段とを含む。偏差演算手段は、撮像装置の撮像によって得られる実画像上のロボットの位置姿勢と第１シミュレーション画像上のロボットモデルの位置姿勢との偏差を演算する。補正量演算部は、第１移動指令に従って駆動制御されたロボットの位置姿勢から、偏差が予め定められた閾値未満となるときのロボットの位置姿勢までの移動量を補正量として演算する。

この開示によれば、ロボットの実動作をシミュレーション動作により精度良く合わせることができる。

上述の開示において、決定手段は、偏差が小さくなる方向への第２移動指令をロボットコントローラに与え、かつ、第２移動指令に従ってロボットが駆動制御された後の撮像装置の撮像によって得られる第２実画像を取得する取得処理を実行するための第２取得手段をさらに含む。第２取得手段は、第１移動指令に従ってロボットが駆動制御されてから、偏差が閾値未満になるまで取得処理を繰り返して実行する。補正量演算手段は、ロボットコントローラに与えられた第２移動指令の積算量を補正量として演算する。

この開示によれば、第１移動指令に従って駆動制御されたロボットの位置姿勢から、偏差が予め定められた閾値未満となるときのロボットの位置姿勢までの移動量を容易に演算することができる。

上述の開示において、決定手段は、偏差演算手段と、補正量演算手段とを含む。偏差演算手段は、第１実画像上のロボットの位置姿勢とシミュレーション画像上のロボットモデルの位置姿勢との偏差を演算する。補正量演算手段は、偏差が予め定められた閾値未満となるときのロボットモデルの位置姿勢から、教示点に配置されたロボットモデルの位置姿勢までの移動量を補正量として演算する。

この開示によれば、補正量を決定する際にロボットを移動させる必要がなく、補正量の決定に要する時間を短縮できる。

上述の開示において、制御システムは、撮像装置とロボットコントローラとシミュレーション装置とに接続され、ロボットコントローラおよび撮像装置を制御する制御装置を備える。推定手段、第１取得手段および決定手段は、制御装置に含まれる。

この開示によれば、教示点に対する補正量の決定のために必要な演算を、制御装置、ロボットコントローラおよびシミュレーション装置を含む複数の機器で分散して実施される。すなわち、各機器の負担を分散できる。

本開示の一例によれば、ロボットを制御する制御システムは、与えられた移動指令に従ってロボットを駆動制御するためのロボットコントローラと、ロボットを撮像するための撮像装置とを備える。制御システムにおける制御方法は、第１～第５のステップを備える。第１のステップは、ロボットモデルを用いたオフラインティーチングを実行することにより、ロボットが取るべき位置姿勢を示す教示点を設定するステップである。第２のステップは、撮像装置の撮像により得られた画像に基づいて、ロボットに対する撮像装置の相対位置姿勢を推定するステップである。第３のステップは、仮想空間において、教示点にロボットモデルを配置するとともに、ロボットモデルに対する相対位置姿勢が推定するステップによって推定された相対位置姿勢と一致するように仮想カメラを配置したときの仮想カメラの撮像によって得られるシミュレーション画像を生成するステップである。第４のステップは、教示点への移動指令をロボットコントローラに与え、かつ、教示点への移動指令に従ってロボットが駆動制御された後の撮像装置の撮像により得られる実画像を取得するステップである。第５のステップは、実画像上のロボットの位置姿勢がシミュレーション画像上のロボットモデルの位置姿勢に近づくように、教示点に対する補正量を決定するステップである。

この開示によっても、シミュレーションに従ってロボットを精度良く動作させることができる。

本開示によれば、シミュレーションに従ってロボットを精度良く動作させることができる。

本実施の形態に係る制御システムの全体構成例を模式的に示す図である。第１実画像と第１シミュレーション画像とを重ね合わせた画像の一例を示す図である。本実施の形態に係る制御装置のハードウェア構成例を示すブロック図である。本実施の形態に従うシミュレーション装置のハードウェア構成例を示す模式図である。本実施の形態に係るシミュレーション装置の機能構成例を示すブロック図である。教示点の設定方法を説明する図である。ｎ番目の教示点Ｐｎに対応する第１シミュレーション画像の生成方法を説明する図である。本実施の形態に係る制御装置の機能構成例を示すブロック図である。ロボットに対する撮像装置の相対位置姿勢を推定する方法の一例を説明する図である。取得処理が実行されたときの実画像の変化の一例を示す図である。補正量の決定処理における前半部分の流れを示すフローチャートである。補正量の決定処理における後半部分の流れを示すフローチャートである。変形例１における補正量の決定処理の一部の流れを示すフローチャートである。

本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。

§１適用例
まず、図１および図２を参照して、本発明が適用される場面の一例について説明する。図１は、本実施の形態に係る制御システムの全体構成例を模式的に示す図である。

図１に例示される制御システムＳＹＳは、制御装置１００と、ロボット２００と、ロボットコントローラ３００と、シミュレーション装置４００と、撮像装置５００と、カメラコントローラ６００とを備える。

ロボット２００は、対象物に対して所定の処理（ピッキング、加工など）を施す機構である。図１に例示されるロボット２００は、垂直多関節ロボットであり、ベース２１と、ベース２１に連結されたアーム２２と、アーム２２の先端に取り付けられたエンドエフェクタ２３とを含む。さらに、ロボット２００は、アーム２２を動作させるための図示しないサーボモータを有する。

ロボットコントローラ３００は、制御装置１００からの移動指令に従って、軌道計算および各軸の角度計算などを行なうとともに、計算結果に従って、ロボット２００を構成するサーボモータを駆動する。

シミュレーション装置４００は、例えば汎用のパーソナルコンピュータ（ＰＣ）によって構成され、ロボット２００の形状を示すロボットモデルを用いたシミュレーションを行なう。具体的には、シミュレーション装置４００は、オフラインティーチングを実行することにより、ロボット２００が取るべき位置姿勢を示す教示点を設定し、設定した１または複数の教示点を記述した教示データを生成する。

オフラインティーチングは、ロボットモデルおよび対象物の形状を示す対象物モデルを仮想空間上に表示し、ユーザ入力に従って教示点を設定する処理である。

例えば、ロボット２００が対象物のピックアンドプレイスを行なう場合、教示データは、対象物を把持して所定箇所に置くまでの期間において、エンドエフェクタ２３が取るべき位置姿勢を示す複数の教示点を時系列順に記述したデータである。

さらに、シミュレーション装置４００は、仮想空間上に仮想カメラを配置して、仮想カメラの撮像によって得られる、二次元のシミュレーション画像を生成する。

撮像装置５００は、主要なコンポーネントとして、レンズなどの光学系と、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサといった撮像素子とを含む。撮像装置５００は、視野領域にロボット２００が含まれるように設置される。撮像装置５００は、カメラコントローラ６００による制御に応じて撮像し、撮像により得られた二次元画像データ（以下、単に「画像」と称する）をカメラコントローラ６００に出力する。

カメラコントローラ６００は、制御装置１００からの撮像指令に応じて撮像装置５００の撮像を制御し、撮像装置５００から画像を取得する。カメラコントローラ６００は、取得した画像を制御装置１００に出力する。なお、カメラコントローラ６００は、取得した画像に対して所定の画像処理（エッジ強調処理など）を施してもよい。

制御装置１００は、各種の設備や装置などの制御対象を制御する産業用コントローラに相当する。制御装置１００は、後述するような制御演算を実行する一種のコンピュータであり、典型的には、ＰＬＣ（プログラマブルロジックコントローラ）として具現化されてもよい。

制御装置１００は、フィールドネットワークを介してロボットコントローラ３００およびカメラコントローラ６００と接続され、ロボットコントローラ３００およびカメラコントローラ６００との間でデータを遣り取りする。さらに、制御装置１００は、シミュレーション装置４００とも接続され、シミュレーション装置４００との間でデータを遣り取りする。

制御装置１００は、シミュレーション装置４００から教示データを取得し、取得した教示データに応じた移動指令をロボットコントローラ３００に出力する。これにより、ロボットコントローラ３００は、教示データに従ってロボット２００を動作できる。

上述したように、教示データは、仮想空間上のロボットモデルを用いたオフラインティーチングによって作成される。仮想環境と実環境との誤差により、ロボット２００の実動作とシミュレーション動作との間に誤差が生じ得る。本実施の形態に係る制御システムＳＹＳでは、このような誤差の発生を抑制するために、以下の（１）～（６）のステップが実行される。

（１）シミュレーション装置４００においてオフラインティーチングが実行され、１または複数の教示点が設定される。

（２）制御装置１００は、キャリブレーション用画像の撮像指令をカメラコントローラ６００に出力し、撮像装置５００の撮像により得られるキャリブレーション用画像を取得する。制御装置１００は、キャリブレーション用画像に基づいて、ロボット２００に対する撮像装置５００の相対位置姿勢を推定する。

（３）シミュレーション装置４００は、仮想空間において、教示データから選択された１つの教示点にロボットモデルを配置するとともに、仮想カメラを以下の条件Ａを満たすように配置したときの第１シミュレーション画像を生成する。
条件Ａ：ロボットモデルに対する仮想カメラの相対位置姿勢が上記の（２）で推定された相対位置姿勢と一致する。

（４）制御装置１００は、選択された１つの教示点への移動指令（以下、「第１移動指令」と称する。）を生成し、第１移動指令をロボットコントローラ３００に出力する。

（５）制御装置１００は、第１移動指令に従ってロボットコントローラ３００がロボット２００を駆動制御した後に、撮像指令をカメラコントローラ６００に出力する。そして、制御装置１００は、撮像装置５００の撮像によって得られた第１実画像をカメラコントローラ６００から取得する。

図２は、第１実画像と第１シミュレーション画像とを重ね合わせた画像の一例を示す図である。第１実画像７０は、教示点への第１移動指令に応じた駆動制御された後に撮像された画像である。第１シミュレーション画像８０は、教示点にロボットモデル９０を配置したときに得られる画像である。なお、図２において、ロボット２００およびロボットモデル９０は模式的に描かれている。実環境と仮想環境との誤差に応じて、第１実画像７０上のロボット２００の位置姿勢と第１シミュレーション画像８０上のロボットモデル９０の位置姿勢との間に偏差が生じ得る。ロボット２００は、ロボットモデル９０と同様の動作を行なうことが望まれる。そのため、次の（６）のステップが実行される。

（６）制御装置１００は、第１実画像７０上のロボット２００の位置姿勢が第１シミュレーション画像８０上のロボットモデル９０の位置姿勢に近づくように、教示点に対する補正量を決定する。

これにより、ロボット２００の実動作を、シミュレーション装置４００においてシミュレートされた仮想空間上のロボットモデル９０の動作に近づけることができる。すなわち、実環境と仮想環境との誤差に起因する、ロボット２００の実動作とシミュレーション動作との誤差を自動的に修正することできる。その結果、シミュレーションに従ってロボット２００を精度良く動作させることができる。

なお、教示データが複数の教示点を記述している場合、当該複数の教示点の各々について、上記の（３）～（６）のステップが繰り返される。

§２具体例
次に、本実施の形態に係る制御システムＳＹＳの具体例について説明する。

＜Ａ．制御装置のハードウェア構成例＞
図３は、本実施の形態に係る制御装置のハードウェア構成例を示すブロック図である。図３に示されるように、本実施の形態に係る制御装置１００は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro-Processing Unit）などのプロセッサ１０２と、チップセット１０４と、主メモリ１０６と、ストレージ１０８と、上位ネットワークコントローラ１１０と、ＵＳＢ（Universal Serial Bus）コントローラ１１２と、メモリカードインターフェイス１１４と、フィールドネットワークコントローラ１２０とを含む。

プロセッサ１０２は、ストレージ１０８から読み出した各種プログラムを主メモリ１０６に展開して実行する。チップセット１０４は、プロセッサ１０２と各コンポーネントとの間のデータ伝送などを制御する。

ストレージ１０８には、基本的な機能を実現するためのシステムプログラム１３６と、ユーザプログラム１３０と、推定プログラム１３２と、補正プログラム１３４とが格納される。ユーザプログラム１３０は、制御対象を制御するためのプログラムであり、制御目的に応じてユーザによって作成される。推定プログラム１３２は、ロボット２００に対する撮像装置５００の相対位置姿勢を推定するためのプログラムである。補正プログラム１３４は、教示データを補正するためのプログラムである。

上位ネットワークコントローラ１１０は、上位ネットワークを介した他の装置との間のデータの遣り取りを制御する。ＵＳＢコントローラ１１２は、ＵＳＢ接続を介して、他の装置（例えばシミュレーション装置４００）との間のデータの遣り取りを制御する。なお、図３に示す例では、ＵＳＢコントローラ１１２とシミュレーション装置４００との間でデータの遣り取りが行なわれるものとした。しかしながら、上位ネットワークコントローラ１１０が上位ネットワークを介してシミュレーション装置４００との間のデータの遣り取りを制御してもよい。

メモリカードインターフェイス１１４は、メモリカード１１６を着脱可能に構成されており、メモリカード１１６に対してデータを書込み、メモリカード１１６から各種データ（ユーザプログラム１３０やトレースデータなど）を読出すことが可能になっている。

フィールドネットワークコントローラ１２０は、フィールドネットワークを介して、ロボットコントローラ３００およびカメラコントローラ６００との間のデータの遣り取りを制御する。

図３には、プロセッサ１０２がプログラムを実行することで必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＧＡ（Field-Programmable Gate Array）など）を用いて実装してもよい。あるいは、制御装置１００の主要部を、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコンをベースとした産業用パソコン）を用いて実現してもよい。この場合には、仮想化技術を用いて、用途の異なる複数のＯＳを並列的に実行させるとともに、各ＯＳ上で必要なアプリケーションを実行させるようにしてもよい。

＜Ｂ．シミュレーション装置のハードウェア構成例＞
図４は、本実施の形態に従うシミュレーション装置のハードウェア構成例を示す模式図である。シミュレーション装置４００は、一例として、汎用的なアーキテクチャに従うハードウェア（例えば、汎用パソコン）を用いて実現される。

図４に示されるように、シミュレーション装置４００は、ＣＰＵやＧＰＵなどのプロセッサ４０２と、主記憶装置４０４と、入力部４０６と、ディスプレイ４０８と、二次記憶装置４１０と、光学ドライブ４１２と、通信インターフェイス４１８とを含む。これらのコンポーネントは、プロセッサバス４２０を介して接続されている。

プロセッサ４０２は、二次記憶装置４１０から読み出したプログラム（一例として、ＯＳ４３０およびシミュレーションプログラム４３２）を主記憶装置４０４に展開して実行することで、各種処理を実現する。

二次記憶装置４１０には、基本的な機能を実現するためのＯＳ４３０に加えて、シミュレーション装置４００としての機能を提供するためのシミュレーションプログラム４３２が格納される。シミュレーションプログラム４３２は、コンピュータである情報処理装置（実質的にはプロセッサ４０２）により実行されることで、本実施の形態に従うシミュレーション装置４００を実現する。

二次記憶装置４１０には、ロボットＣＡＤデータ４３４および対象物ＣＡＤデータ４３６も格納される。ロボットＣＡＤデータ４３４は、ロボット２００の形状を示すＣＡＤデータであり、ロボットモデル９０（図２参照）を示す。対象物ＣＡＤデータ４３６は、ロボット２００による処理の対象物の形状を示すＣＡＤデータであり、対象物モデルを示す。

入力部４０６は、キーボードやマウスなどで構成され、ユーザ操作を受け付ける。ディスプレイ４０８は、プロセッサ４０２からの処理結果などを表示する。

通信インターフェイス４１８は、ＵＳＢなどの任意の通信媒体を介して、制御装置１００との間のデータを遣り取りする。

シミュレーション装置４００は、光学ドライブ４１２を有しており、コンピュータ読取可能な命令を非一過的に格納する記録媒体４１４（例えば、ＤＶＤ（Digital Versatile Disc）などの光学記録媒体）から、その中に格納されたプログラムが読取られて二次記憶装置４１０などにインストールされる。

シミュレーション装置４００で実行されるシミュレーションプログラム４３２は、コンピュータ読取可能な記録媒体４１４を介してインストールされてもよいが、ネットワーク上のサーバ装置などからダウンロードする形でインストールされてもよい。また、本実施の形態に従うシミュレーション装置４００が提供する機能は、ＯＳが提供するモジュールの一部を利用する形で実現される場合もある。

図４には、プロセッサ４０２がプログラムを実行することで、シミュレーション装置４００として必要な機能が提供される構成例を示したが、これらの提供される機能の一部または全部を、専用のハードウェア回路（例えば、ＡＳＩＣまたはＦＰＧＡなど）を用いて実装してもよい。

＜Ｃ．シミュレーション装置の機能構成例＞
図５は、本実施の形態に係るシミュレーション装置の機能構成例を示すブロック図である。図５に示されるように、シミュレーション装置４００は、設定部４２と画像生成部４４とを含む。設定部４２および画像生成部４４は、プロセッサ４０２がシミュレーションプログラム４３２を実行することにより実現される。

設定部４２は、ユーザ入力に従ってオフラインティーチングを実行することにより教示点を設定する。

図６は、教示点の設定方法を説明する図である。図６に示されるように、設定部４２は、ロボットＣＡＤデータ４３４（図４参照）で示されるロボットモデル９０と対象物ＣＡＤデータ４３６で示される対象物モデル９５とが配置された仮想空間をディスプレイ４０８（図４参照）に表示する。ロボットモデル９０は、ベース２１（図１参照）に対応するベースモデル９１と、アーム２２に対応するアームモデル９２と、エンドエフェクタ２３に対応するエンドエフェクタモデル９３とを含む。

ユーザは、入力部４０６（図４参照）を操作して、仮想空間上で、対象物モデル９５に対して所望の処理（例えばピッキング）を実施するようにロボットモデル９０を動作させることができる。ユーザは、所望の処理を実施するためにエンドエフェクタモデル９３が取るべき位置姿勢に到達するまでロボットモデル９０を動作させた後に、教示点の設定指示を入力する。設定部４２は、教示点の設定指示が入力されたときのロボットモデル９０の状態に従って教示点を設定する。

教示点は、例えば、ベースモデル９１を基準とするベースモデル座標系ＢＭにおけるエンドエフェクタモデル９３の位置および姿勢を示す。エンドエフェクタモデル９３の位置は、例えばエンドエフェクタモデル９３の重心Ｇの座標値（ｘ、ｙ、ｚ）で示される。エンドエフェクタモデル９３の姿勢は、オイラー角や固定角などで表現される回転パラメータ（θｘ，θｙ，θｚ）で示される。

図５に戻って、設定部４２は、設定した１または複数の教示点を時系列順に記述した教示データを生成し、生成した教示データを制御装置１００に出力する。図５に示す例では、ｎ番目の教示点Ｐｎは、（ｘｎ，ｙｎ，ｚｎ，θｘｎ，θｙｎ，θｚｎ）で示される。

画像生成部４４は、仮想空間に配置された仮想カメラの撮像によって得られるシミュレーション画像を生成する。

画像生成部４４は、制御装置１００から、ロボット２００に対する撮像装置５００の相対位置姿勢を示す情報（例えば変換行列^BＨ_C）を受ける。変換行列^BＨ_Cは、ロボット２００のベース２１を基準とするベース座標系を、撮像装置５００を基準とするカメラ座標系に変換するための行列である。

画像生成部４４は、設定部４２によって設定された教示点毎に第１シミュレーション画像を生成する。第１シミュレーション画像は、仮想空間上において、教示点にロボットモデル９０を配置するとともに、ロボットモデル９０に対する相対位置姿勢が変換行列^BＨ_Cで示される相対位置姿勢と一致するように仮想カメラを配置したときの画像である。

図７は、ｎ番目の教示点Ｐｎに対応する第１シミュレーション画像の生成方法を説明する図である。図７に示されるように、画像生成部４４は、エンドエフェクタモデル９３の位置姿勢が教示点Ｐｎとなるようにロボットモデル９０を動作させる。

さらに、画像生成部４４は、ベースモデル９１を基準とするベースモデル座標系ＢＭを、仮想カメラ９４を基準とする仮想カメラ座標系ＣＭに変換するための変換行列^BMＨ_VCが制御装置１００から受けた変換行列^BＨ_Cと一致するように仮想カメラ９４を配置する。変換行列^BMＨ_VCは、ベースモデル座標系における、仮想カメラ座標系の基底ベクトルの成分および原点位置を表しており、ロボットモデル９０（具体的にはベースモデル９１）に対する仮想カメラ９４の相対位置姿勢を示している。

図５に戻って、画像生成部４４は、教示点毎に生成した第１シミュレーション画像８０を制御装置１００に出力する。第１シミュレーション画像８０には、仮想カメラ９４から見たときの、教示点に配置されたロボットモデル９０が含まれる。

＜Ｄ．制御装置の機能構成例＞
図８は、本実施の形態に係る制御装置の機能構成例を示すブロック図である。図８に示されるように、制御装置１００は、推定部１１と、第１取得部１２と、決定部１３とを含む。推定部１１は、図３に示すプロセッサ１０２が推定プログラム１３２を実行することにより実現される。第１取得部１２および決定部１３は、図３に示すプロセッサ１０２が補正プログラム１３４を実行することにより実現される。

＜Ｄ－１．推定部＞
推定部１１は、撮像装置５００の撮像によって得られた画像に基づいて、ロボット２００に対する撮像装置５００の相対位置姿勢を推定する。推定部１１は、公知の技術を用いて相対位置姿勢を推定すればよい。

例えば、推定部１１は、公知のＰｎＰ問題の解法を用いて、ロボット２００に対する撮像装置５００の相対位置姿勢を推定する。ＰｎＰ問題の解法については、例えば「中野学、他２名、「全留意点の直接計算に基づき一般カメラモデルのＰｎＰ問題に対する統一的解法」、電子情報通信学会論文誌 D Vol. J95-D、No.8、pp.1565-1572、2012年」に開示されている。

図９は、ロボットに対する撮像装置の相対位置姿勢を推定する方法の一例を説明する図である。固定位置に設定されるベース２１における少なくとも３つの特徴点Ａ１～Ａｍ（ｍは３以上の整数）の三次元座標は、予め特定されており、制御装置１００に記録されている。特徴点Ａ１～Ａｍは、例えばベース２１の角部である。特徴点Ａ１～Ａｎの三次元座標は、ベース２１を基準とするベース座標系Ｂで示される。

推定部１１は、ロボット２００を撮像することにより得られるキャリブレーション用画像を撮像装置５００から取得する。推定部１１は、キャリブレーション画像から特徴点Ａ１～Ａｍを検出し、キャリブレーション用画像上の特徴点Ａ１～Ａｍの座標を特定する。

推定部１１は、ベース座標系における特徴点Ａ１～Ａｍの三次元座標と、キャリブレーション用画像上における特徴点Ａ１～Ａｍの座標とを用いたＰｎＰ問題を解くことにより、ロボット２００に対する撮像装置５００の相対位置姿勢を推定する。ロボット２００に対する撮像装置５００の相対位置姿勢は、例えばベース座標系Ｂをカメラ座標系Ｃ（撮像装置５００を基準とする座標系）に変換する変換行列^BＨ_Cで示される。

なお、ロボット２００に対する撮像装置５００の相対位置姿勢の推定方法は、これに限定されない。

例えば、推定部１１は、撮像装置５００から得た画像と、撮像装置５００とは別に配置された撮像装置から得た画像とを用いて、ロボット２００に対する撮像装置５００の相対位置姿勢を推定してもよい。２台のカメラを用いたカメラの位置姿勢の推定方法は、例えば「“カメラの位置・姿勢推定０エピポーラ幾何”、［online］、2018年1月26日、Daily Tech Blog、［2019年6月1日検索］、インターネット<http://daily-tech.hatenablog.com/entry/2018/01/26/064603>」に開示の技術を用いればよい。

もしくは、推定部１１は、撮像装置５００を移動させながら撮像することにより得られた複数の画像を用いて、ロボット２００に対する撮像装置５００の相対位置姿勢を推定してもよい。移動カメラ画像を用いたカメラの位置姿勢の推定方法は、例えば「関晃仁、「移動カメラ画像からの３次元形状復元・自己位置推定（ＳＬＡＭ）と高密度な３次元形状復元」、情報処理学会研究報告、2014年1月、Vol.2014-CVIM-190、No.40」に開示の技術を用いればよい。

もしくは、推定部１１は、キャリブレーション用マーカが取り付けられたエンドエフェクタ２３を移動させながら撮像することにより得られた複数の画像を用いて、ロボット２００に対する撮像装置５００の相対位置姿勢が推定されてもよい。この推定方法は、ハンドアイキャリブレーションと呼ばれる。ハンドアイキャリブレーションを用いたカメラの位置姿勢の推定方法は、例えば「“リハビリ支援ロボットの教示技術開発”、［online］、2009年、あいち産業科学技術総合センター研究報告書、［2019年6月1日検索］、インターネット<http://www.aichi-inst.jp/sangyou/research/report/2009_01.pdf>」に開示の技術を用いればよい。

推定部１１は、ロボット２００に対する撮像装置５００の相対位置姿勢を示す情報（例えば変換行列^BＨ_C）をシミュレーション装置４００に出力する。

＜Ｄ－２．第１取得部＞
第１取得部１２は、教示データで示される各教示点について、当該教示点への第１移動指令を生成し、第１移動指令をロボットコントローラ３００に与える。推定部１１は、第１移動指令に応じてロボット２００が駆動制御された後に、カメラコントローラ６００に撮像指令を出力する。これにより、推定部１１は、第１移動指令に応じてロボット２００が駆動制御された後の撮像により得られた第１実画像７０を取得する。

＜Ｄ－３．決定部＞
決定部１３は、第１実画像７０上のロボット２００の位置姿勢が第１シミュレーション画像８０上のロボットモデル９０の位置姿勢に近づくように、教示点に対する補正量を決定する。

図８に示されるように、決定部１３は、偏差演算部１４と、第２取得部１５と、補正量演算部１６とを有する。

（Ｄ－３－１．偏差演算部）
偏差演算部１４は、実画像上のロボット２００の位置姿勢と、第１シミュレーション画像８０のロボットモデル９０の位置姿勢との偏差を演算する。

偏差演算部１４は、実画像と第１シミュレーション画像８０とを重ね合わせ、実画像上のロボット２００の特徴点と、第１シミュレーション画像８０上のロボットモデル９０の特徴点との距離を偏差として演算する。

図２に示す例では、ロボット２００の特徴点として、エンドエフェクタ２３を構成する２つの爪部の先端である特徴点Ｂ１，Ｂ２と、２つの爪部の結合部である特徴点Ｂ３とが抽出される。同様に、ロボットモデル９０の特徴点として、エンドエフェクタモデル９３を構成する２つの爪部の先端である特徴点Ｃ１，Ｃ２と、２つの爪部の結合部である特徴点Ｃ３とが抽出される。例えば、偏差演算部１４は、特徴点Ｂ１～Ｂ３と特徴点Ｃ１～Ｃ３とのそれぞれの距離の合計値を、実画像上のロボット２００の位置姿勢と第１シミュレーション画像８０のロボットモデル９０の位置姿勢との偏差として演算する。

偏差演算部１４は、第１取得部１２が取得した第１実画像７０と、後述する第２取得部１５が取得した第２実画像７２との両方について、実画像上のロボット２００の位置姿勢と第１シミュレーション画像８０のロボットモデル９０の位置姿勢との偏差を演算する。以下では、第１実画像７０上のロボット２００の位置姿勢と第１シミュレーション画像８０のロボットモデル９０の位置姿勢との偏差を「第１偏差」と称する。第２実画像７２上のロボット２００の位置姿勢と第１シミュレーション画像８０のロボットモデル９０の位置姿勢との偏差を「第２偏差」と称する。

（Ｄ－３－２．第２取得部）
第２取得部１５は、第１偏差が予め定められた閾値以上であることに応じて、以下に示す取得処理を実行する。すなわち、第２取得部１５は、実画像上のロボット２００の位置姿勢と第１シミュレーション画像８０上のロボットモデル９０の位置姿勢との偏差が小さくなる方向への第２移動指令を生成し、第２移動指令をロボットコントローラ３００に与える。第２取得部１５は、第２移動指令に応じてロボット２００が駆動制御された後に、カメラコントローラ６００に撮像指令を出力する。そして、第２取得部１５は、第２移動指令に応じてロボット２００が駆動制御された後の撮像によって得られた第２実画像７２を取得する。

第２取得部１５は、第２実画像７２上のロボット２００の位置姿勢と第１シミュレーション画像８０のロボットモデル９０の位置姿勢との第２偏差が閾値未満になるまで、上記の取得処理を繰り返して実行する。

第２取得部１５は、公知のビジュアルサーボ技術を用いて第２移動指令を生成すればよい。ビジュアルサーボ技術は、例えば「橋本浩一、「ビジュアル・サーボイング」、計測と制御、1996年4月、第35巻、第4号、p.282-285」」に開示されている。

図１０は、取得処理が実行されたときの実画像の変化の一例を示す図である。図１０には、第１実画像７０と、１回目の取得処理で取得された第２実画像７２＿１と、ｋ回目（ｋは２以上の整数）の取得処理で取得された第２実画像７２＿ｋとが示される。図１０に示されるように、第１実画像７０に対応する第１偏差は大きい。第２実画像７２＿１に対応する第２偏差は、第１偏差よりも小さくなっている。そして、第２実画像７２＿ｋに対応する第２偏差はほぼ０である。

（Ｄ－３－３．補正量演算部）
補正量演算部１６は、第１移動指令に従って駆動制御されたロボット２００の位置姿勢から、第２偏差が閾値未満となるときのロボット２００の位置姿勢までの移動量（以下、「必要移動量」と称する。）を、教示点に対する補正量として演算する。補正量演算部１６は、第２取得部１５によってロボットコントローラ３００へ与えられた第２移動指令の積算量を必要移動量として演算すればよい。

必要移動量は、ベース座標系における、並進移動量ｄｘ，ｄｙ，ｄｚと回転移動量ｄθｘ，ｄθｙ，ｄθｚとで示される。補正量演算部１６は、教示点Ｐを示す座標値（ｘ，ｙ，ｚ，θｘ，θｙ，θｚ）に対して必要移動量（補正量）を加算することにより教示点を補正すればよい。すなわち、補正後の教示点は、（ｘ＋ｄｘ，ｙ＋ｄｙ，ｚ＋ｄｚ，θｘ＋ｄθｘ，θｙ＋ｄθｙ，θｚ＋ｄθｚ）で示される。

＜Ｅ．補正量の決定処理の流れ＞
図１１および図１２を参照して、制御システムＳＹＳにおける補正量の決定処理の流れを説明する。図１１は、補正量の決定処理における前半部分の流れを示すフローチャートである。図１２は、補正量の決定処理における後半部分の流れを示すフローチャートである。

まず、シミュレーション装置４００のプロセッサ４０２は、オフラインティーチングを実行することにより教示点を設定する（ステップＳ１）。プロセッサ４０２は、設定したＮ個の教示点を時系列順に記述した教示データを生成し、生成した教示データをストレージ１０８に記録する（ステップＳ２）。ストレージ１０８に記録された教示データは、制御装置１００に出力される。

次に、制御装置１００のプロセッサ１０２は、撮像指令をカメラコントローラ６００に出力する（ステップＳ３）。撮像装置５００は、カメラコントローラ６００による制御に従って、ロボット２００を撮像する（ステップＳ４）。カメラコントローラ６００は、撮像装置５００の撮像により得られた画像（キャリブレーション用画像）を制御装置１００に送信する（ステップＳ５）。

制御装置１００のプロセッサ１０２は、キャリブレーション用画像に基づいて、ロボット２００に対する撮像装置５００の相対位置姿勢を推定する（ステップＳ６）。プロセッサ１０２は、推定した相対位置姿勢をシミュレーション装置４００に通知する（ステップＳ７）。

シミュレーション装置４００のプロセッサ４０２は、仮想空間において、ロボットモデル９０に対する相対位置姿勢が制御装置１００から通知された相対位置姿勢と一致するように仮想カメラを配置する（ステップＳ８）。プロセッサ４０２は、Ｎ個の教示点の各々について、当該教示点にロボットモデル９０を配置したときの第１シミュレーション画像８０を生成する（ステップＳ９）。プロセッサ４０２は、生成した第１シミュレーション画像８０を制御装置１００に転送する（ステップＳ１０）。

次に、制御装置１００のプロセッサ１０２は、ステップＳ１１～Ｓ２８の第１ループを実行する。すなわち、プロセッサ１０２は、ｎに対して１～Ｎを順に設定し、ｎ番目の教示点に対して補正量を演算する第１ループを実行する。

ステップＳ１２において、プロセッサ１０２は、ｎ番目の教示点への第１移動指令を生成し、第１移動指令をロボットコントローラ３００に与える。ロボットコントローラ３００は、現在のロボット２００の位置姿勢からｎ番目の教示点までの軌道を計算する（ステップＳ１３）。ロボットコントローラ３００は、計算した軌道に従った目標値指令をロボット２００に出力する（ステップＳ１４）。ロボットコントローラ３００は、ロボット２００から現在の位置姿勢を示す情報を取得する（ステップＳ１５）。これにより、ロボットコントローラ３００は、ロボット２００の位置姿勢が教示点まで到達したことを確認する。

次に、制御装置１００のプロセッサ１０２は、ステップＳ１６～Ｓ２６の第２ループを実行する。プロセッサ１０２は、実画像（第１実画像７０および第２実画像７２のいずれか）上のロボット２００の位置姿勢と第１シミュレーション画像８０上のロボットモデル９０の位置姿勢との偏差が閾値未満になるまで第２ループを繰り返す。

ステップＳ１７において、プロセッサ１０２は、撮像指令をカメラコントローラ６００に出力する。撮像装置５００は、カメラコントローラ６００による制御に従って、ロボット２００を撮像する（ステップＳ１８）。カメラコントローラ６００は、撮像装置５００の撮像により得られた実画像を制御装置１００に送信する（ステップＳ１９）。なお、第２ループにおける１回目のステップＳ１９で得られる実画像は、第１移動指令に応じてロボット２００が駆動制御された後の撮像により得られる第１実画像７０である。

プロセッサ１０２は、ステップＳ１９で受信した実画像と第１シミュレーション画像８０とを重ね合わせる（ステップＳ２０）。次に、プロセッサ１０２は、実画像上のロボット２００の位置姿勢と第１シミュレーション画像８０上のロボットモデル９０の位置姿勢との偏差を演算し、演算した偏差が閾値未満か否かを判定する（ステップＳ２１）。

偏差が閾値未満ではない場合（ステップＳ２１でＮＯ）、プロセッサ１０２は、偏差が小さくなる方向の移動指定（第２移動指令）を生成し、第２移動指令をロボットコントローラ３００に与える（ステップＳ２２）。ロボットコントローラ３００は、現在のロボット２００の位置姿勢から第２移動指令に対応する位置姿勢までの軌道を計算する（ステップＳ２３）。ロボットコントローラ３００は、計算した軌道に従った目標値指令をロボット２００に出力する（ステップＳ２４）。ロボットコントローラ３００は、ロボット２００から現在の位置姿勢を示す情報を取得する（ステップＳ２５）。これにより、ロボットコントローラ３００は、ロボット２００が第２移動指令に対応する位置姿勢まで到達したことを確認する。その後、ステップＳ１７～Ｓ２１が繰り返される。このとき、ステップＳ１９で得られる実画像は、第２移動指令に応じてロボット２００が駆動制御された後の撮像により得られる第２実画像７２である。

偏差が閾値未満である場合（ステップＳ２１でＹＥＳ）、プロセッサ１０２は、第２ループを終了し、ステップＳ２７において、第２移動指令の積算量（積算移動量）をｎ番目の教示点に対する補正量として演算する。

このようにして、ｎ＝１～Ｎについて第１ループ（ステップＳ１６～Ｓ２８）が実行されることにより、１～Ｎ番目の教示点の各々に対する補正量が決定される。

＜Ｆ．変形例＞
＜Ｆ－１．変形例１＞
上記の説明では、実画像上のロボット２００の位置姿勢を第１シミュレーション画像８０上のロボットモデル９０の位置姿勢に合わせるようにロボット２００を移動させ、その移動量が教示点に対する補正量として決定される。この方法によれば、ロボット２００の実動作をシミュレーション動作に精度良く合わせることができる。しかしながら、ロボット２００を移動させるため、補正量を決定するのに時間がかかる。

そこで、補正量を決定するのに要する時間を短縮するために、変形例１に係る制御システムＳＹＳでは、第１実画像７０上のロボット２００の位置姿勢に合わせるようにロボットモデル９０を移動させる。以下、変形例１に係る制御システムＳＹＳの詳細について説明する。

変形例１に係る偏差演算部１４は、第１実画像７０上のロボット２００の位置姿勢とシミュレーション画像上のロボットモデル９０の位置姿勢との偏差を演算する。偏差演算部１４は、上記の第１シミュレーション画像８０と、後述する第２シミュレーション画像との両方について、第１実画像７０上のロボット２００の位置姿勢とシミュレーション画像上のロボットモデル９０の位置姿勢との偏差を演算する。以下では、第１実画像７０上のロボット２００の位置姿勢と第２シミュレーション画像上のロボットモデル９０の位置姿勢との偏差を「第３偏差」と称する。なお、本変形例においても、第１実画像７０上のロボット２００の位置姿勢と第１シミュレーション画像８０上のロボットモデル９０の位置姿勢との偏差を「第１偏差」と称する。

画像生成部４４は、第１偏差が閾値以上であることに応じて、第１実画像７０上のロボット２００の位置姿勢とシミュレーション画像上のロボットモデル９０の位置姿勢との偏差が小さくなる方向へロボットモデル９０を移動させる。画像生成部４４は、ロボットモデル９０の移動量を記憶しておく。そして、画像生成部４４は、仮想カメラ９４の撮像により得られる第２シミュレーション画像を生成する。

補正量演算部１６は、第３偏差が閾値未満となるときのロボットモデル９０の位置姿勢から、教示点に配置されたロボットモデル９０の位置姿勢までの移動量（必要移動量）を、教示点に対する補正量として演算する。

図１３は、変形例１における補正量の決定処理の一部の流れを示すフローチャートである。変形例１における補正量の決定処理は、図１１および図１２に示される補正量の決定処理と比較して、ステップＳ２２～Ｓ２５の代わりにステップＳ３１～Ｓ３３を備え、かつ、ステップＳ２７の代わりにステップＳ３４を備える点で相違する。

ステップＳ２１でＮＯの場合、シミュレーション装置４００のプロセッサ４０２は、第１実画像７０上のロボット２００の位置姿勢とシミュレーション画像上のロボットモデル９０の位置姿勢との偏差が小さくなる方向へロボットモデル９０を移動させる（ステップＳ３１）。

次に、プロセッサ４０２は、仮想カメラ９４の撮像により得られる第２シミュレーション画像を生成する（ステップＳ３２）。プロセッサ４０２は、生成した第２シミュレーション画像を制御装置１００に転送する（ステップＳ３３）。ステップＳ３３の後、ステップＳ２０，Ｓ２１が繰り返される。

ステップＳ２１でＹＥＳの場合、プロセッサ１０２は、第２ループを終了する。そして、プロセッサ１０２は、偏差が閾値未満となるときのロボットモデル９０の位置姿勢から、教示点に配置されたロボットモデル９０の位置姿勢までの移動量を、教示点に対する補正量として演算する（ステップＳ３４）。

変形例１によれば、ロボット２００を移動させるステップ（図１２のステップＳ２２～Ｓ２５）が不要であるため、補正量を決定するのに要する時間を短縮できる。ただし、実環境と仮想環境との間に誤差があるため、ステップＳ３４で演算された補正量は、上記のステップＳ２７で演算される補正量よりも精度が低くなる。そのため、変形例１に係る制御システムＳＹＳは、ロボット２００の実動作とシミュレーション動作との誤差がある程度許容される場合に適用可能である。

＜Ｆ－２．変形例２＞
上記の説明では、制御装置１００は、二次元の実画像とシミュレーション画像との比較に応じて、教示点に対する補正量を決定するものとした。しかしながら、制御装置１００は、三次元の実画像とシミュレーション画像との比較に応じて、教示点に対する補正量を決定してもよい。

例えば、カメラコントローラ６００は、三次元ステレオ計測法に従って、２台に撮像装置から得られた二次元画像に基づいて三次元点群（三次元画像）を生成すればよい。もしくは、カメラコントローラ６００は、パターン光投影法に従って、二次元画像上のパターン光に基づいて三次元点群を生成してもよい。シミュレーション装置４００の画像生成部４４は、仮想カメラ９４から見たときの三次元点群（三次元画像）をシミュレーション画像として生成すればよい。

本変形例によれば、ロボット２００の実動作をシミュレーション動作に精度良く合わせることができる。

＜Ｆ－３．変形例３＞
上記の説明では、推定部１１は、制御装置１００に備えられるものとした。しかしながら、推定部１１は、カメラコントローラ６００に備えられていてもよい。

＜Ｇ．作用・効果＞
以上のように、本実施の形態に係る制御システムＳＹＳは、シミュレーション装置４００と、ロボットコントローラ３００と、撮像装置５００とを備える。シミュレーション装置４００は、ロボット２００の形状を示すロボットモデル９０を用いたシミュレーションを行なう。ロボットコントローラ３００は、与えられた移動指令に従ってロボット２００を駆動制御する。撮像装置５００は、ロボット２００を撮像する。制御システムＳＹＳは、撮像装置５００の撮像により得られた画像に基づいて、ロボット２００に対する撮像装置５００の相対位置姿勢を推定するための推定部１１（プロセッサ１０２）をさらに備える。シミュレーション装置４００は、設定部４２と画像生成部４４とを含む。設定部４２は、オフラインティーチングを実行することにより、ロボット２００が取るべき位置姿勢を示す教示点を設定する。画像生成部４４は、仮想空間に配置された仮想カメラ９４の撮像によって得られるシミュレーション画像を生成する。画像生成部４４は、仮想空間において、教示点にロボットモデル９０を配置するとともに、ロボットモデル９０に対する相対位置姿勢が推定部１１によって推定された相対位置姿勢と一致するように仮想カメラ９４を配置したときの第１シミュレーション画像８０を生成する。制御システムＳＹＳは、さらに、第１取得部１２と、決定部１３とを備える。第１取得部１２は、教示点への第１移動指令をロボットコントローラ３００に与え、かつ、第１移動指令に従ってロボット２００が駆動制御された後の撮像装置５００の撮像により得られる第１実画像７０を取得する。決定部１３は、第１実画像７０上のロボット２００の位置姿勢が第１シミュレーション画像８０上のロボットモデル９０の位置姿勢に近づくように、教示点に対する補正量を決定する。

上記の構成によれば、ロボット２００の実動作を、シミュレーション装置４００においてシミュレートされた仮想空間上のロボットモデル９０の動作に近づけることができる。すなわち、実環境と仮想環境との誤差に起因する、ロボット２００の実動作とシミュレーション動作との誤差を自動的に修正することできる。その結果、シミュレーションに従ってロボット２００を精度良く動作させることができる。

また、推定部１１は、撮像装置５００を設置した後に、ロボット２００に対する撮像装置５００の相対位置姿勢を推定する。そして、仮想カメラ９４は、ロボットモデル９０に対する相対位置姿勢が推定部１１によって推定された相対位置姿勢と一致するように配置される。すなわち、撮像装置５００の位置姿勢は、シミュレーション上の仮想カメラ９４の位置姿勢に反映される。これにより、撮像装置５００の位置姿勢を精密に調整する必要がない。

決定部１３は、偏差演算部１４と、補正量演算部１６とを含む。偏差演算部１４は、撮像装置５００の撮像によって得られる実画像上のロボット２００の位置姿勢と第１シミュレーション画像８０上のロボットモデル９０の位置姿勢との偏差を演算してもよい。補正量演算部１６は、第１移動指令に従って駆動制御されたロボット２００の位置姿勢から、偏差が予め定められた閾値未満となるときのロボット２００の位置姿勢までの移動量を補正量として演算すればよい。

上記の構成によれば、ロボット２００の実動作をシミュレーション動作により精度良く合わせることができる。

具体的には、決定部１３は、第２取得部１５を含んでもよい。第２取得部１５は、偏差が小さくなる方向への第２移動指令をロボットコントローラ３００に与え、かつ、第２移動指令に従ってロボット２００が駆動制御された後の撮像装置５００の撮像によって得られる第２実画像７２を取得する取得処理を実行する。第２取得部１５は、第１移動指令に従ってロボット２００が駆動制御されてから、偏差が閾値未満になるまで取得処理を繰り返して実行する。補正量演算部１６は、ロボットコントローラ３００に与えられた第２移動指令の積算量を補正量として演算すればよい。

これにより、第１移動指令に従って駆動制御されたロボット２００の位置姿勢から、偏差が予め定められた閾値未満となるときのロボット２００の位置姿勢までの移動量を容易に演算することができる。

偏差演算部１４は、第１実画像７０上のロボット２００の位置姿勢とシミュレーション画像（第１シミュレーション画像８０および第２シミュレーション画像８２）上のロボットモデル９０の位置姿勢との偏差を演算してもよい。そして、補正量演算部１６は、偏差が予め定められた閾値未満となるときのロボットモデル９０の位置姿勢から、教示点に配置されたロボットモデル９０の位置姿勢までの移動量を補正量として演算してもよい。

これにより、補正量を決定する際にロボット２００を移動させる必要がなく、補正量の決定に要する時間を短縮できる。

制御システムＳＹＳは、撮像装置５００とロボットコントローラ３００とシミュレーション装置４００とに接続され、ロボットコントローラ３００および撮像装置５００を制御する制御装置１００をさらに備える。推定部１１、第１取得部１２および決定部１３は、制御装置１００に含まれる。

上記の構成によれば、制御装置１００は、ロボット２００に対する撮像装置５００の相対位置姿勢の推定、および、補正量の決定を行なう。ロボットコントローラ３００は、ロボット２００を駆動制御するための軌道計算等を行なう。シミュレーション装置４００は、オフラインティーチングを行なう。このように、教示点に対する補正量の決定のために必要な演算を、制御装置１００、ロボットコントローラ３００およびシミュレーション装置４００を含む複数の機器で分散して実施される。すなわち、各機器の負担を分散できる。

＜Ｈ．付記＞
以上のように、本実施の形態および変形例は以下のような開示を含む。

（構成１）
ロボット（２００）を制御する制御システム（ＳＹＳ））であって、
前記ロボット（２００）の形状を示すロボットモデル（９０）を用いたシミュレーションを行なうためのシミュレーション装置（４００）と、
与えられた移動指令に従って前記ロボットを駆動制御するためのロボットコントローラ（３００）と、
前記ロボット（２００）を撮像するための撮像装置（５００）と、
前記撮像装置（５００）の撮像により得られた画像に基づいて、前記ロボット（２００）に対する前記撮像装置（５００）の相対位置姿勢を推定するための推定手段（１１，１０２）とを備え、
前記シミュレーション装置（４００）は、
オフラインティーチングを実行することにより、前記ロボット（２００）が取るべき位置姿勢を示す教示点を設定するための設定手段（４２，４０２）と、
仮想空間に配置された仮想カメラ（９４）の撮像によって得られるシミュレーション画像を生成するための画像生成手段（４４，４０２）とを含み、
前記画像生成手段（４４，４０２）は、前記仮想空間において、前記教示点に前記ロボットモデル（９０）を配置するとともに、前記ロボットモデル（９０）に対する相対位置姿勢が前記推定手段（１１，１０２）によって推定された相対位置姿勢と一致するように前記仮想カメラ（９４）を配置したときの第１シミュレーション画像（８０）を生成し、
前記制御システム（ＳＹＳ）は、さらに、
前記教示点への第１移動指令を前記ロボットコントローラ（３００）に与え、かつ、前記第１移動指令に従って前記ロボット（２００）が駆動制御された後の前記撮像装置（５００）の撮像により得られる第１実画像（７０）を取得するための第１取得手段（１２，１０２）と、
前記第１実画像（７０）上の前記ロボット（２００）の位置姿勢が前記第１シミュレーション画像（８０）上の前記ロボットモデル（９０）の位置姿勢に近づくように、前記教示点に対する補正量を決定するための決定手段（１３，１０２）とを備える、制御システム（ＳＹＳ）。

（構成２）
前記決定手段（１３，１０２）は、
前記撮像装置（５００）の撮像によって得られる実画像上の前記ロボット（２００）の位置姿勢と前記第１シミュレーション画像（８０）上の前記ロボットモデル（９０）の位置姿勢との偏差を演算するための偏差演算手段（１４，１０２）と、
前記第１移動指令に従って駆動制御された前記ロボット（２００）の位置姿勢から、前記偏差が予め定められた閾値未満となるときの前記ロボット（２００）の位置姿勢までの移動量を前記補正量として演算するための補正量演算手段（１６，１０２）とを含む、構成１に記載の制御システム（ＳＹＳ）。

（構成３）
前記決定手段（１３，１０２）は、
前記偏差が小さくなる方向への第２移動指令を前記ロボットコントローラ（３００）に与え、かつ、前記第２移動指令に従って前記ロボット（２００）が駆動制御された後の前記撮像装置（５００）の撮像によって得られる第２実画像を取得する取得処理を実行するための第２取得手段（１５，１０２）をさらに含み、
前記第２取得手段（１５，１０２）は、前記第１移動指令に従って前記ロボット（２００）が駆動制御されてから、前記偏差が前記閾値未満になるまで前記取得処理を繰り返して実行し、
前記補正量演算手段（１６，１０２）は、前記ロボットコントローラ（３００）に与えられた前記第２移動指令の積算量を前記補正量として演算する、構成２に記載の制御システム（ＳＹＳ）。

（構成４）
前記決定手段（１３，１０２）は、
前記第１実画像）７０）上の前記ロボット（２００）の位置姿勢と前記シミュレーション画像上の前記ロボットモデル（９０）の位置姿勢との偏差を演算するための偏差演算手段（１４，１０２）と、
前記偏差が予め定められた閾値未満となるときの前記ロボットモデル（９０）の位置姿勢から、前記教示点に配置された前記ロボットモデル（９０）の位置姿勢までの移動量を前記補正量として演算するための補正量演算手段（１６，１０２）とを含む、構成１に記載の制御システム（ＳＹＳ）。

（構成５）
前記撮像装置（５００）と前記ロボットコントローラ（３００）と前記シミュレーション装置（４００）とに接続され、前記ロボットコントローラ（３００）および前記撮像装置（５００）を制御する制御装置（１００）を備え、
前記推定手段（１１，１０２）、前記第１取得手段（１２，１０２）および前記決定手段（１３，１０２）は、前記制御装置（１００）に含まれる、構成１から３のいずれかに記載の制御システム（ＳＹＳ）。

（構成６）
ロボット（２００）を制御する制御システム（ＳＹＳ）における制御方法であって、
前記制御システム（ＳＹＳ）は、
与えられた移動指令に従って前記ロボット（２００）を駆動制御するためのロボットコントローラ（３００）と、
前記ロボット（２００）を撮像するための撮像装置（５００）とを備え、
前記制御方法は、
ロボットモデル（９０）を用いたオフラインティーチングを実行することにより、前記ロボット（２００）が取るべき位置姿勢を示す教示点を設定するステップと、
前記撮像装置の撮像により得られた画像に基づいて、前記ロボット（２００）に対する前記撮像装置（５００）の相対位置姿勢を推定するステップと、
仮想空間において、前記教示点に前記ロボットモデル（９０）を配置するとともに、前記ロボットモデル（９０）に対する相対位置姿勢が前記推定するステップによって推定された相対位置姿勢と一致するように仮想カメラ（９４）を配置したときの前記仮想カメラ（９４）の撮像によって得られるシミュレーション画像（８０）を生成するステップと、
前記教示点への移動指令を前記ロボットコントローラ（３００）に与え、かつ、前記教示点への移動指令に従って前記ロボット（２００）が駆動制御された後の前記撮像装置（５００）の撮像により得られる実画像（７０）を取得するステップと、
前記実画像（７０）上の前記ロボット（２００）の位置姿勢が前記シミュレーション画像（８０）上の前記ロボットモデル（９０）の位置姿勢に近づくように、前記教示点に対する補正量を決定するステップとを備える、制御方法。

本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１１推定部、１２第１取得部、１３決定部、１４偏差演算部、１５第２取得部、１６補正量演算部、２１ベース、２２アーム、２３エンドエフェクタ、４２設定部、４４画像生成部、７０第１実画像、７２第２実画像、８０第１シミュレーション画像、８２第２シミュレーション画像、９０ロボットモデル、９１ベースモデル、９２アームモデル、９３エンドエフェクタモデル、９４仮想カメラ、９５対象物モデル、１００制御装置、１０２，４０２プロセッサ、１０４チップセット、１０６主メモリ、１０８ストレージ、１１０上位ネットワークコントローラ、１１２ＵＳＢコントローラ、１１４メモリカードインターフェイス、１１６メモリカード、１２０フィールドネットワークコントローラ、１３０ユーザプログラム、１３２推定プログラム、１３４補正プログラム、１３６システムプログラム、２００ロボット、３００ロボットコントローラ、４００シミュレーション装置、４０４主記憶装置、４０６入力部、４０８ディスプレイ、４１０二次記憶装置、４１２光学ドライブ、４１４記録媒体、４１８通信インターフェイス、４２０プロセッサバス、４３２シミュレーションプログラム、４３４ロボットＣＡＤデータ、４３６対象物ＣＡＤデータ、５００撮像装置、６００カメラコントローラ、ＳＹＳ制御システム。

Claims

ロボットを制御する制御システムであって、
前記ロボットの形状を示すロボットモデルを用いたシミュレーションを行なうためのシミュレーション装置と、
与えられた移動指令に従って前記ロボットを駆動制御するためのロボットコントローラと、
前記ロボットを撮像するための撮像装置と、
前記撮像装置の撮像により得られた画像に基づいて、前記ロボットに対する前記撮像装置の相対位置姿勢を推定するための推定手段とを備え、
前記シミュレーション装置は、
オフラインティーチングを実行することにより、前記ロボットが取るべき位置姿勢を示す教示点を設定するための設定手段と、
仮想空間に配置された仮想カメラの撮像によって得られるシミュレーション画像を生成するための画像生成手段とを含み、
前記画像生成手段は、前記仮想空間において、前記教示点に前記ロボットモデルを配置するとともに、前記ロボットモデルに対する相対位置姿勢が前記推定手段によって推定された相対位置姿勢と一致するように前記仮想カメラを配置したときの第１シミュレーション画像を生成し、
前記制御システムは、さらに、
前記教示点への第１移動指令を前記ロボットコントローラに与え、かつ、前記第１移動指令に従って前記ロボットが駆動制御された後の前記撮像装置の撮像により得られる第１実画像を取得するための第１取得手段と、
前記第１実画像上の前記ロボットの位置姿勢が前記第１シミュレーション画像上の前記ロボットモデルの位置姿勢に近づくように、前記教示点に対する補正量を決定するための決定手段とを備える、制御システム。
前記決定手段は、
前記撮像装置の撮像によって得られる実画像上の前記ロボットの位置姿勢と前記第１シミュレーション画像上の前記ロボットモデルの位置姿勢との偏差を演算するための偏差演算手段と、
前記第１移動指令に従って駆動制御された前記ロボットの位置姿勢から、前記偏差が予め定められた閾値未満となるときの前記ロボットの位置姿勢までの移動量を前記補正量として演算するための補正量演算手段とを含む、請求項１に記載の制御システム。
前記決定手段は、
前記偏差が小さくなる方向への第２移動指令を前記ロボットコントローラに与え、かつ、前記第２移動指令に従って前記ロボットが駆動制御された後の前記撮像装置の撮像によって得られる第２実画像を取得する取得処理を実行するための第２取得手段をさらに含み、
前記第２取得手段は、前記第１移動指令に従って前記ロボットが駆動制御されてから、前記偏差が前記閾値未満になるまで前記取得処理を繰り返して実行し、
前記補正量演算手段は、前記ロボットコントローラに与えられた前記第２移動指令の積算量を前記補正量として演算する、請求項２に記載の制御システム。
前記画像生成手段は、前記仮想空間において、前記教示点とは異なる位置姿勢に前記ロボットモデルを移動させるとともに、前記ロボットモデルに対する相対位置姿勢が前記推定手段によって推定された相対位置姿勢と一致するように前記仮想カメラを配置したときの第２シミュレーション画像を生成し、
前記決定手段は、
前記第１実画像上の前記ロボットの位置姿勢と前記第２シミュレーション画像上の前記ロボットモデルの位置姿勢との偏差を演算するための偏差演算手段と、
前記偏差が予め定められた閾値未満となるときの前記ロボットモデルの位置姿勢から、前記教示点に配置された前記ロボットモデルの位置姿勢までの移動量を前記補正量として演算するための補正量演算手段とを含む、請求項１に記載の制御システム。
前記撮像装置と前記ロボットコントローラと前記シミュレーション装置とに接続され、前記ロボットコントローラおよび前記撮像装置を制御する制御装置を備え、
前記推定手段、前記第１取得手段および前記決定手段は、前記制御装置に含まれる、請求項１から３のいずれか１項に記載の制御システム。
ロボットを制御する制御システムにおける制御方法であって、
前記制御システムは、
与えられた移動指令に従って前記ロボットを駆動制御するためのロボットコントローラと、
前記ロボットを撮像するための撮像装置とを備え、
前記制御方法は、
ロボットモデルを用いたオフラインティーチングを実行することにより、前記ロボットが取るべき位置姿勢を示す教示点を設定するステップと、
前記撮像装置の撮像により得られた画像に基づいて、前記ロボットに対する前記撮像装置の相対位置姿勢を推定するステップと、
仮想空間において、前記教示点に前記ロボットモデルを配置するとともに、前記ロボットモデルに対する相対位置姿勢が前記推定するステップによって推定された相対位置姿勢と一致するように仮想カメラを配置したときの前記仮想カメラの撮像によって得られるシミュレーション画像を生成するステップと、
前記教示点への移動指令を前記ロボットコントローラに与え、かつ、前記教示点への移動指令に従って前記ロボットが駆動制御された後の前記撮像装置の撮像により得られる実画像を取得するステップと、
前記実画像上の前記ロボットの位置姿勢が前記シミュレーション画像上の前記ロボットモデルの位置姿勢に近づくように、前記教示点に対する補正量を決定するステップとを備える、制御方法。