JP6390088B2 - ロボット制御システム、ロボット、プログラム及びロボット制御方法 - Google Patents

Description

本発明は、ロボット制御システム、ロボット、プログラム及びロボット制御方法等に関係する。

近年、生産現場において、人が行っていた作業を機械化・自動化するために、産業用ロボットを導入することが多くなってきた。しかし、ロボットの位置決めを行うにあたっては、精密なキャリブレーションが前提となり、ロボット導入の障壁となっている。

ここで、ロボットの位置決めを行う手法の一つとしてビジュアルサーボがある。従来のビジュアルサーボは、参照画像（ゴール画像、目標画像）と撮像画像（現在の画像）との差に基づいて、ロボットをフィードバック制御する技術である。ある種のビジュアルサーボは、キャリブレーションに精密さを求めない点で有用であり、ロボット導入障壁を下げる技術として注目されている。

このビジュアルサーボに関する技術としては、例えば特許文献１に記載される従来技術がある。

特開２０１１−１４３４９４号公報

組付け対象物を被組付け対象物に組み付ける組付け作業を、ビジュアルサーボによりロボットに行わせる場合に、被組付け対象物の位置姿勢が組付け作業を行う度に変わってしまうことがある。被組付け対象物の位置姿勢が変わった場合には、被組付け対象物と組付け状態となる組付け対象物の位置姿勢も変わることになる。

この時に、毎回、同じ参照画像を用いてビジュアルサーボを行うと、正確な組付け作業ができないことがある。これは、組付け状態となる組付け対象物の位置姿勢が変わったにも関わらず、参照画像に映る組付け対象物の位置姿勢に向かって、組付け対象物を移動させてしまうためである。

また、実際の被組付け対象物の位置が変わる度に異なる参照画像を用いれば、参照画像を用いたビジュアルサーボにより組付け作業を行うことが原理的には可能であるが、この場合には大量の参照画像を用意する必要があり、現実的ではない。

本発明の一態様は、撮像画像を取得する撮像画像取得部と、前記撮像画像に基づいてロボットを制御する制御部と、を含み、前記撮像画像取得部は、組付け作業における組付け対象物と被組付け対象物のうち、少なくとも前記被組付け対象物が映る前記撮像画像を取得し、前記制御部は、前記撮像画像に基づいて、前記被組付け対象物の特徴量検出処理を行い、前記被組付け対象物の特徴量に基づいて、前記組付け対象物を移動させるロボット制御システムに関係する。

本発明の一態様では、撮像画像から検出した被組付け対象物の特徴量に基づいて、組付け対象物を移動させる。

よって、被組付け対象物の位置姿勢が変わる場合でも、正確に組付け作業を行うことが可能となる。

また、本発明の一態様では、前記制御部は、前記組付け対象物及び前記被組付け対象物が映る１又は複数の撮像画像に基づいて、前記組付け対象物及び前記被組付け対象物の前記特徴量検出処理を行い、前記組付け対象物の特徴量及び前記被組付け対象物の特徴量に基づいて、前記組付け対象物と前記被組付け対象物との相対位置姿勢関係が、目標相対位置姿勢関係になるように、前記組付け対象物を移動させてもよい。

これにより、撮像画像から検出した組付け対象物の特徴量と、被組付け対象物の特徴量とに基づいて、組付け作業を行うこと等が可能となる。

また、本発明の一態様では、前記制御部は、前記被組付け対象物の特徴量のうち、ゴール特徴量として設定された特徴量と、前記組付け対象物の特徴量のうち、注目特徴量として設定された特徴量とに基づいて、前記相対位置姿勢関係が、前記目標相対位置姿勢関係になるように、前記組付け対象物を移動させてもよい。

これにより、設定された組付け対象物の組付け部分と、設定された被組付け対象物の被組付け部分の相対位置姿勢関係が、目標相対位置姿勢関係となるように、組付け対象物を移動させること等が可能になる。

また、本発明の一態様では、前記制御部は、前記被組付け対象物のゴール特徴点と前記組付け対象物の注目特徴点とが一致するように又は近付くように、前記組付け対象物を移動させてもよい。

これにより、組付け対象物の組付け部分を、被組付け対象物の被組付け部分に組付けること等が可能になる。

また、本発明の一態様では、目標位置姿勢をとる前記組付け対象物を表す参照画像を記憶する参照画像記憶部を含み、前記制御部は、前記組付け対象物が映る第１の撮像画像と、前記参照画像とに基づいて、前記目標位置姿勢に前記組付け対象物を移動させ、前記組付け対象物を移動させた後に、少なくとも前記被組付け対象物が映る第２の撮像画像に基づいて、前記被組付け対象物の前記特徴量検出処理を行い、前記被組付け対象物の特徴量に基づいて、前記組付け対象物を移動させてもよい。

これにより、同一の組付け作業を繰り返す度に、同一の参照画像を用いて、組付け対象物を被組付け対象物の近くに移動させ、その後に、実際の被組付け対象物の詳細な位置姿勢に合わせて、組付け作業を行うこと等が可能となる。

また、本発明の一態様では、前記制御部は、前記組付け作業における第１の被組付け対象物が映る第１の撮像画像に基づいて、前記第１の被組付け対象物の前記特徴量検出処理を行い、前記第１の被組付け対象物の特徴量に基づいて、前記組付け対象物を移動させ、前記組付け対象物を移動させた後に、少なくとも第２の被組付け対象物が映る第２の撮像画像に基づいて、前記第２の被組付け対象物の前記特徴量検出処理を行い、前記第２の被組付け対象物の特徴量に基づいて、前記組付け対象物及び前記第１の被組付け対象物を移動させてもよい。

これにより、組付け作業を行う度に、第１の被組付け対象物や第２の被組付け対象物の位置がずれてしまう場合でも、組付け対象物と、第１の被組付け対象物と、第２の被組付け対象物との組付け作業を行うこと等が可能となる。

また、本発明の一態様では、前記制御部は、前記組付け作業における前記組付け対象物及び第１の被組付け対象物が映る１又は複数の第１の撮像画像に基づいて、前記組付け対象物及び前記第１の被組付け対象物の前記特徴量検出処理を行い、前記組付け対象物の特徴量及び前記第１の被組付け対象物の特徴量に基づいて、前記組付け対象物と前記第１の被組付け対象物との相対位置姿勢関係が、第１の目標相対位置姿勢関係になるように、前記組付け対象物を移動させ、第２の被組付け対象物が映る第２の撮像画像に基づいて、前記第２の被組付け対象物の前記特徴量検出処理を行い、前記第１の被組付け対象物の特徴量及び前記第２の被組付け対象物の特徴量に基づいて、前記第１の被組付け対象物と前記第２の被組付け対象物との相対位置姿勢関係が、第２の目標相対位置姿勢関係になるように、前記組付け対象物と前記第１の被組付け対象物とを移動させてもよい。

これにより、組付け対象物の注目特徴点を、第１の被組付け対象物のゴール特徴点に近づけ、第１の被組付け対象物の注目特徴点を、第２の被組付け対象物のゴール特徴点に近づけるように、ビジュアルサーボを行うこと等が可能となる。

また、本発明の一態様では、前記制御部は、前記組付け作業における、前記組付け対象物、第１の被組付け対象物及び第２の被組付け対象物が映る１又は複数の撮像画像に基づいて、前記組付け対象物、前記第１の被組付け対象物及び前記第２の被組付け対象物の前記特徴量検出処理を行い、前記組付け対象物の特徴量及び前記第１の被組付け対象物の特徴量に基づいて、前記組付け対象物と前記第１の被組付け対象物との相対位置姿勢関係が、第１の目標相対位置姿勢関係になるように、前記組付け対象物を移動させながら、前記第１の被組付け対象物の特徴量及び前記第２の被組付け対象物の特徴量に基づいて、前記第１の被組付け対象物と前記第２の被組付け対象物との相対位置姿勢関係が、第２の目標相対位置姿勢関係になるように、前記第１の被組付け対象物を移動させてもよい。

これにより、３つのワークの同時組付け作業を行うこと等が可能となる。

また、本発明の一態様では、前記制御部は、前記組付け作業における第２の被組付け対象物が映る第１の撮像画像に基づいて、前記第２の被組付け対象物の前記特徴量検出処理を行い、前記第２の被組付け対象物の特徴量に基づいて、第１の被組付け対象物を移動させ、移動後の前記第１の被組付け対象物が映る第２の撮像画像に基づいて、前記第１の被組付け対象物の前記特徴量検出処理を行い、前記第１の被組付け対象物の特徴量に基づいて、前記組付け対象物を移動させてもよい。

これにより、組付け対象物と、第１の被組付け対象物とを同時に移動させる必要がなくなり、ロボットの制御をより容易にすること等が可能となる。

また、本発明の一態様では、前記制御部は、前記撮像画像に基づくビジュアルサーボを行うことにより、前記ロボットを制御してもよい。

これにより、現在の作業状況に基づいて、ロボットをフィードバック制御すること等が可能となる。

また、本発明の他の態様は、撮像画像を取得する撮像画像取得部と、前記撮像画像に基づいてロボットを制御する制御部と、を含み、前記撮像画像取得部は、組付け作業における組付け対象物と被組付け対象物のうち、少なくとも前記被組付け対象物が映る前記撮像画像を取得し、前記制御部は、前記撮像画像に基づいて、前記被組付け対象物の特徴量検出処理を行い、前記被組付け対象物の特徴量に基づいて、前記組付け対象物を移動させるロボットに関係する。

また、本発明の他の態様では、上記各部としてコンピューターを機能させるプログラムに関係する。

また、本発明の他の態様は、組付け作業における組付け対象物と被組付け対象物のうち、少なくとも前記被組付け対象物が映る撮像画像を取得することと、前記撮像画像に基づいて、前記被組付け対象物の特徴量検出処理を行うことと、前記被組付け対象物の特徴量に基づいて、前記組付け対象物を移動させることとを含むロボット制御方法に関係する。

本発明の幾つかの態様によれば、被組付け対象物の位置姿勢が変わる場合でも、正確に組付け作業を行うことができるロボット制御システム、ロボット、プログラム及びロボット制御方法等を提供することができる。

ビジュアルサーボによる組付け作業の説明図。 図２（Ａ）、図２（Ｂ）は、被組付け対象物の位置ずれの説明図。 本実施形態のシステム構成例。 被組付け対象物の特徴量に基づくビジュアルサーボによる組付け作業の説明図。 被組付け対象物の特徴量に基づくビジュアルサーボで用いる撮像画像の一例。 組付け状態の説明図。 被組付け対象物の特徴量に基づくビジュアルサーボのフローチャート。 被組付け対象物の特徴量に基づくビジュアルサーボの他のフローチャート。 被組付け対象物の真上に組付け対象物を移動させる処理の説明図。 ２種類のビジュアルサーボによる組付け作業の説明図。 ２種類のビジュアルサーボを続けて行う場合の処理のフローチャート。 図１２（Ａ）〜図１２（Ｄ）は、参照画像と撮像画像の説明図。 図１３（Ａ）、図１３（Ｂ）は、３つのワークの組付け作業の説明図。 図１４（Ａ）〜図１４（Ｃ）は、３つのワークの組付け作業を行う際に用いる撮像画像の説明図。 ３つのワークの組付け作業を行う際の処理のフローチャート。 図１６（Ａ）〜図１６（Ｃ）は、３つのワークを同時に組み付ける際に用いる撮像画像の説明図。 ３つのワークを同時に組み付ける際の処理のフローチャート。 図１８（Ａ）〜図１８（Ｃ）は、３つのワークを他の順番で組み付ける際に用いる撮像画像の説明図。 図１９（Ａ）、図１９（Ｂ）は、ロボットの構成例。 ネットワークを介してロボットを制御するロボット制御システムの構成例。

以下、本実施形態について説明する。なお、以下で説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法

ここでは、図１に示すように、ロボットのハンドＨＤにより把持された組付け対象物ＷＫ１を、被組付け対象物ＷＫ２に組み付ける組付け作業を行う場合について説明する。なお、ロボットのハンドＨＤは、ロボットのアームＡＭの先端に設けられている。

まず、本実施形態の比較例である、前述した参照画像を用いたビジュアルサーボにより、図１に示すような組付け作業を行う場合には、カメラ（撮像部）ＣＭにより撮像された撮像画像と、あらかじめ用意しておいた参照画像とに基づいて、ロボットを制御する。具体的には、参照画像に映る組付け対象物ＷＫ１Ｒの位置に向かって、組付け対象物ＷＫ１を、矢印ＹＪのように移動させて、被組付け対象物ＷＫ２に組み付ける。

ここで、この時に用いる参照画像ＲＩＭを図２（Ａ）に、参照画像ＲＩＭに映る被組付け対象物ＷＫ２の実空間（３次元空間）上での位置を図２（Ｂ）に示す。図２（Ａ）の参照画像ＲＩＭには、被組付け対象物ＷＫ２と組付け状態（又は組み付けられる直前の状態）の組付け対象物ＷＫ１Ｒ（図１のＷＫ１Ｒに相当する）が映っている。前述した参照画像ＲＩＭを用いたビジュアルサーボでは、参照画像ＲＩＭに映る組付け状態の組付け対象物ＷＫ１Ｋの位置姿勢に、撮像画像に映る組付け対象物ＷＫ１の位置姿勢が一致するように、組付け対象物ＷＫ１を移動させる。

しかし、前述したように、実際に組付け作業を行う場合には、被組付け対象物ＷＫ２の位置姿勢が変わることがある。例えば、図２（Ｂ）に示すように、図２（Ａ）の参照画像ＲＩＭに映る被組付け対象物ＷＫ２の重心位置が、実空間上ではＧＣ１であるとする。これに対し、実際の被組付け対象物ＷＫ２がずれて置かれており、実際の被組付け対象物ＷＫ２の重心位置はＧＣ２であることがある。この場合には、参照画像ＲＩＭに映る組付け対象物ＷＫ１Ｒの位置姿勢と一致するように、実際の組付け対象物ＷＫ１を移動させても、実際の被組付け対象物ＷＫ２との組付け状態にはならないため、正確に組付け作業を行うことができない。被組付け対象物ＷＫ２の位置姿勢が変わった場合には、被組付け対象物ＷＫ２と組付け状態となる組付け対象物ＷＫ１の位置姿勢も変わるためである。

そこで、本実施形態のロボット制御システム１００等は、被組付け対象物の位置姿勢が変わる場合でも、正確に組付け作業を行うことができるようにする。

具体的に、本実施形態のロボット制御システム１００の構成例を図３に示す。本実施形態のロボット制御システム１００は、撮像部２００から撮像画像を取得する撮像画像取得部１１０と、撮像画像に基づいてロボット３００を制御する制御部１２０と、を含む。また、ロボット３００は、エンドエフェクター（ハンド）３１０と、アーム３２０と、を有する。なお、撮像部２００及びロボット３００の構成については、後に詳述する。

まず、撮像画像取得部１１０は、組付け作業における組付け対象物と被組付け対象物のうち、少なくとも被組付け対象物が映る撮像画像を取得する。

そして、制御部１２０は、撮像画像に基づいて、被組付け対象物の特徴量検出処理を行い、被組付け対象物の特徴量に基づいて、組付け対象物を移動させる。なお、組付け対象物を移動させることには、ロボット３００の制御情報（制御信号）を出力する処理なども含むものとする。また、制御部１２０の機能は、各種プロセッサー（ＣＰＵ等）、ＡＳＩＣ（ゲートアレイ等）などのハードウェアや、プログラムなどにより実現できる。

このように、前述した参照画像を用いたビジュアルサーボ（比較例）では、参照画像の組付け対象物の特徴量に基づいて、組付け対象物を移動させるのに対して、本実施形態では、撮像画像に映る被組付け対象物の特徴量に基づいて、組付け対象物を移動させる。例えば図４に示すように、カメラＣＭにより撮像された撮像画像において、被組付け対象物であるワークＷＫ２の特徴量を検出し、検出したワークＷＫ２の特徴量に基づいて、矢印ＹＪのように組付け対象物であるワークＷＫ１を移動させる。

ここで、カメラＣＭにより撮像された撮像画像には、現時点（撮像した時点）での被組付け対象物ＷＫ２が映っている。そのため、現時点での被組付け対象物ＷＫ２の位置に向かって、組付け対象物ＷＫ１を移動させることができる。よって、前述した参照画像を用いたビジュアルサーボの失敗例（図１で説明した比較例の問題点）のように、現時点では組付け状態にすることができない位置に向かって、組付け対象物ＷＫ１を移動させてしまうことを防ぐことができる。また、組付け作業を行う度に、撮像画像からビジュアルサーボの新しい目標位置を設定するため、被組付け対象物ＷＫ２の位置姿勢が変わった場合でも、正しい目標位置を設定することができる。

以上のように、被組付け対象物の位置姿勢が変わる場合でも、正確に組付け作業を行うことが可能となる。さらに、本実施形態では、あらかじめ参照画像を用意しておく必要もなく、ビジュアルサーボの準備コストを低減することが可能となる。

また、このように、制御部１２０は、撮像画像に基づくビジュアルサーボを行うことにより、ロボットを制御する。

これにより、現在の作業状況に基づいて、ロボットをフィードバック制御すること等が可能となる。

なお、ロボット制御システム１００は、図１の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加したりするなどの種々の変形実施が可能である。また、本実施形態のロボット制御システム１００は、後述する図１９（Ｂ）に示すように、ロボット３００に含まれており、ロボット３００と一体に構成されていてもよい。さらに、後述する図２０に示すように、ロボット制御システム１００の機能は、サーバー５００と、各ロボット３００が有する端末装置３３０とにより、実現されてもよい。

また、例えばロボット制御システム１００と撮像部２００が、有線及び無線の少なくとも一方を含むネットワークにより接続されている場合には、撮像画像取得部１１０は、撮像部２００と通信を行う通信部（インターフェース部）であってもよい。さらに、ロボット制御システム１００が撮像部２００を含む場合には、撮像画像取得部１１０は、撮像部２００そのものであってもよい。

ここで、撮像画像とは、撮像部２００によって撮像することにより得られる画像のことをいう。また、撮像画像は、外部の記憶部に記憶された画像や、ネットワークを介して取得される画像であってもよい。撮像画像は、例えば後述する図５に示す画像ＰＩＭなどである。

また、組付け作業とは、複数の作業対象物を組み付ける作業のことであり、具体的には、組付け対象物を被組付け対象物に組み付ける作業のことである。組付け作業は、例えば、ワークＷＫ１をワークＷＫ２の上（又は隣）に置く作業であったり、ワークＷＫ１をワークＷＫ２に嵌め込む（嵌め合わせる）作業（嵌入作業、嵌合作業）であったり、ワークＷＫ１とワークＷＫ２を接着したり、接続したり、組み立てたり、融着したりする作業（接着作業、接続作業、組立作業、融着作業）などである。

さらに、組付け対象物とは、組付け作業において、被組付け対象物に対して組み付けを行う物である。例えば、図４の例では、ワークＷＫ１である。

一方で、被組付け対象物とは、組付け作業において、組付け対象物を組み付けられる物である。例えば図４の例では、ワークＷＫ２である。

２．処理の詳細

次に、本実施形態の処理の詳細について説明する。

２．１． 被組付け対象物の特徴量に基づくビジュアルサーボ

本実施形態の撮像画像取得部１１０は、組付け対象物及び被組付け対象物が映る１又は複数の撮像画像を取得する。そして、制御部１２０は、取得された１又は複数の撮像画像に基づいて、組付け対象物及び被組付け対象物の特徴量検出処理を行う。さらに、制御部１２０は、組付け対象物の特徴量及び被組付け対象物の特徴量に基づいて、組付け対象物と被組付け対象物との相対位置姿勢関係が、目標相対位置姿勢関係になるように、組付け対象物を移動させる。

ここで、目標相対位置姿勢関係とは、ビジュアルサーボにより組付け作業を行う際に目標とする、組付け対象物と被組付け対象物との相対位置姿勢関係のことをいう。例えば、図４の例では、ワークＷＫ２の三角形の穴ＨＬに、ワークＷＫ１が接触（隣接）した時の相対位置姿勢関係が、目標相対位置姿勢となる。

これにより、撮像画像から検出した組付け対象物の特徴量と、被組付け対象物の特徴量とに基づいて、組付け作業を行うこと等が可能となる。なお、撮像画像取得部１１０が取得する１又は複数の撮像画像については、後段にて詳細に説明する。

また、多くの組付け作業では、組付け対象物のうち、被組付け対象物に組付ける部分（組付け部分）と、被組付け対象物のうち、組付け対象物が組み付けられる部分（被組付け部分）が決まっていること多い。例えば、図４の例において、組付け対象物のうちの組付け部分とは、ワークＷＫ１の底面ＢＡであり、被組付け対象物の被組付け部分とは、ワークＷＫ２の三角形の穴ＨＬである。図４の組付け作業の例では、被組付け部分の穴ＨＬに組付け部分ＢＡをはめ込むのであって、例えば穴ＨＬにワークＷＫ１の側面ＳＡを組み付けても意味がない。したがって、組付け対象物における組付け部分と、被組付け対象物における被組付け部分とを設定しておくことが望ましい。

そこで、制御部１２０は、被組付け対象物の特徴量のうち、ゴール特徴量として設定された特徴量と、組付け対象物の特徴量のうち、注目特徴量として設定された特徴量とに基づいて、組付け対象物と被組付け対象物との相対位置姿勢関係が、目標相対位置姿勢関係になるように、組付け対象物を移動させる。

ここで、特徴量とは、例えば画像の特徴点や、画像中に映る検出対象物（組付け対象物及び被組付け対象物など）の輪郭線などのことを指す。そして、特徴量検出処理とは、画像中の特徴量を検出する処理のことであり、例えば特徴点検出処理や、輪郭線検出処理などのことを指す。

以下では、特徴量として特徴点を検出する場合について説明する。特徴点とは、画像中から際立って観測できる点のことをいう。例えば、図５に示す撮像画像ＰＩＭ１１では、被組付け対象物であるワークＷＫ２の特徴点として、特徴点Ｐ１〜特徴点Ｐ１０が検出されており、組付け対象物であるワークＷＫ１の特徴点として、特徴点Ｑ１〜特徴点Ｑ５が検出されている。なお、図５の例では、図示及び説明の都合上、Ｐ１〜Ｐ１０及びＱ１〜Ｑ５の特徴点だけが検出された様子を図示しているが、実際の撮像画像ではより多数の特徴点が検出される。しかし、より多数の特徴点が検出される場合でも、以下で説明する処理の内容に変わりはない。

また、本実施形態では、特徴点の検出方法（特徴点検出処理）として、コーナー検出法等を用いるが、その他の一般的なコーナー部検出方法（固有値、ＦＡＳＴ特徴検出）を用いても良いし、ＳＩＦＴ（Scale Invariant Feature Transform）に代表される局所特徴量記述子やＳＵＲＦ（Speeded Up Robust Feature）等を用いても良い。

そして、本実施形態では、被組付け対象物の特徴量のうち、ゴール特徴量として設定された特徴量と、組付け対象物の特徴量のうち、注目特徴量として設定された特徴量とに基づいて、ビジュアルサーボを行う。

具体的に図５の例では、ワークＷＫ２の特徴点Ｐ１〜特徴点Ｐ１０のうち、ゴール特徴量としてゴール特徴点Ｐ９及びゴール特徴点Ｐ１０が設定されているものとする。一方で、ワークＷＫ１の特徴点Ｑ１〜特徴点Ｑ５のうち、注目特徴量として注目特徴点Ｑ４及び注目特徴点Ｑ５が設定されているものとする。

そして、制御部１２０は、被組付け対象物のゴール特徴点と組付け対象物の注目特徴点とが一致するように又は近付くように、組付け対象物を移動させる。

すなわち、注目特徴点Ｑ４がゴール特徴点Ｐ９に近付き、注目特徴点Ｑ５がゴール特徴点Ｐ１０に近付くように、組付け対象物ＷＫ１を矢印ＹＪで示すように移動させる。

ここで、ゴール特徴量とは、被組付け対象物を表す特徴量のうち、ビジュアルサーボにより組付け対象物を移動させる際に、目標とする特徴量のことをいう。言い換えれば、ゴール特徴量は、被組付け対象物の被組付け部分の特徴量である。また、ゴール特徴点とは、特徴点検出処理が行われる場合に、ゴール特徴量として設定される特徴点のことをいう。前述したように図５の例では、ワークＷＫ２の三角形の穴ＨＬに対応する特徴点Ｐ９及び特徴点Ｐ１０が、ゴール特徴点として設定されている。

一方、注目特徴量とは、組付け対象物又は被組付け対象物を表す特徴量のうち、ゴール特徴量に対応する実空間上のポイント（図５の例では、ワークＷＫ２の三角形の穴ＨＬ）に向かって移動させる、実空間上のポイント（図５の例では、ワークＷＫ１の底面）を表す特徴量のことをいう。言い換えれば、注目特徴量は、組付け対象物の組付け部分の特徴量である。また、注目特徴点とは、特徴点検出処理が行われる場合に、注目特徴量として設定される特徴点のことをいう。前述したように図５の例では、ワークＷＫ１の底面に対応する特徴点Ｑ４及び特徴点Ｑ５が、注目特徴点として設定されている。

また、ゴール特徴量（ゴール特徴点）及び注目特徴量（注目特徴点）は、予め教示者（ユーザー）が設定しておくものであってもよいし、所与のアルゴリズムに従って設定される特徴量（特徴点）であってもよい。例えば、検出される特徴点のバラつきとゴール特徴点との相対位置関係に基づいて、ゴール特徴点を設定してもよい。具体的に図５の例では、撮像画像ＰＩＭ１１において、ワークＷＫ２を表す特徴点Ｐ１〜特徴点Ｐ１０のバラつきの中心付近に位置する特徴点Ｐ９及び特徴点Ｐ１０を、ゴール特徴点として設定してもよい。また、他にも被組付け対象物を表すＣＡＤ（Computer Aided Design）データにおいて、ゴール特徴点に対応するポイントを予め設定しておき、撮像画像においてＣＡＤデータとＣＡＤマッチングを行い、被組付け対象物の特徴点の中から、ゴール特徴点として設定された特徴点を、ＣＡＤマッチングの結果に基づき特定（検出）してもよい。注目特徴量（注目特徴点）についても、同様である。

なお、本実施形態では、制御部１２０は、被組付け対象物のゴール特徴点と、組付け対象物の注目特徴点とが、一致するように又は近付くように、組付け対象物を移動させるが、被組付け対象物と組付け対象物は有体物であるため、実際にゴール特徴点と注目特徴点とが同じポイントにおいて検出されることはない。つまり、一致するように組付け対象物を移動させる、とは、あくまで注目特徴点が検出されるポイントを、ゴール特徴点が検出されるポイントに向かって移動させることを意味する。

これにより、設定された組付け対象物の組付け部分と、設定された被組付け対象物の被組付け部分の相対位置姿勢関係が、目標相対位置姿勢関係となるように、組付け対象物を移動させること等が可能になる。

そして、組付け対象物の組付け部分を、被組付け対象物の被組付け部分に組付けること等が可能になる。例えば、図６に示すように、ワークＷＫ１の組付け部分である底面ＢＡを、ワークＷＫ２の被組付け部分である穴ＨＬに嵌め込むことができる。

次に、本実施形態の処理の流れを図７のフローチャートを用いて説明する。

まず、撮像画像取得部１１０が、例えば図５に示すような撮像画像ＰＩＭ１１を取得する（Ｓ１０１）。この撮像画像ＰＩＭ１１には、組付け対象物ＷＫ１と被組付け対象物ＷＫ２の両方が映っている。

次に、制御部１２０が、取得した撮像画像ＰＩＭ１１に基づいて、特徴量検出処理を行って、被組付け対象物ＷＫ２のゴール特徴量ＦＢと、組付け対象物ＷＫ１の注目特徴量ＦＡを検出する（Ｓ１０２、Ｓ１０３）。

そして、前述したように、制御部１２０が、検出した注目特徴量ＦＡとゴール特徴量ＦＢとに基づいて、組付け対象物ＷＫ１を移動させ（Ｓ１０４）、組付け対象物ＷＫ１と被組付け対象物ＷＫ２との相対位置姿勢関係が、目標相対位置姿勢関係になったか否かを判定する（Ｓ１０５）。

最後に、組付け対象物ＷＫ１と被組付け対象物ＷＫ２との相対位置姿勢関係が、図６のように、目標相対位置姿勢関係になったと判定した場合には、処理を終了し、組付け対象物ＷＫ１と被組付け対象物ＷＫ２との相対位置姿勢関係が、目標相対位置姿勢関係になっていないと判定した場合には、ステップＳ１０１に戻り、処理を繰り返す。以上が、本実施形態の処理の流れである。

また、撮像画像取得部１１０は、複数枚の撮像画像を取得してもよい。この場合には、撮像画像取得部１１０は、組付け対象物と被組付け対象物の両方が映っている撮像画像を複数枚取得してもよいし、組付け対象物だけが映っている撮像画像と、被組付け対象物だけが映っている撮像画像とを取得してもよい。

ここで、後者の組付け対象物と被組付け対象物とが別々に映っている複数の撮像画像を取得する場合の処理の流れを、図８のフローチャートに示す。

まず、撮像画像取得部１１０が、少なくとも被組付け対象物ＷＫ２が映っている撮像画像ＰＩＭ１１を取得する（Ｓ２０１）。なお、この撮像画像ＰＩＭ１１には、組付け対象物ＷＫ１が映っていてもよい。そして、制御部１２０が、撮像画像ＰＩＭ１１から被組付け対象物ＷＫ２のゴール特徴量ＦＢを検出する（Ｓ２０２）。

次に、撮像画像取得部１１０が、少なくとも組付け対象物ＷＫ１が映っている撮像画像ＰＩＭ１２を取得する（Ｓ２０３）。なお、ステップＳ２０１と同様に、この撮像画像ＰＩＭ１２には、被組付け対象物ＷＫ２が映っていてもよい。そして、制御部１２０が、撮像画像ＰＩＭ１２に基づいて、組付け対象物ＷＫ１の注目特徴量ＦＡを検出する（Ｓ２０４）。

そして、以降は図７で説明した処理の流れと同様に、制御部１２０が、検出した注目特徴量ＦＡとゴール特徴量ＦＢとに基づいて、組付け対象物ＷＫ１を移動させ（Ｓ２０５）、組付け対象物ＷＫ１と被組付け対象物ＷＫ２との相対位置姿勢関係が、目標相対位置姿勢関係になったか否かを判定する（Ｓ２０６）。

最後に、組付け対象物ＷＫ１と被組付け対象物ＷＫ２との相対位置姿勢関係が、図６のように、目標相対位置姿勢関係になったと判定した場合には、処理を終了し、組付け対象物ＷＫ１と被組付け対象物ＷＫ２との相対位置姿勢関係が、目標相対位置姿勢関係になっていないと判定した場合には、ステップＳ２０３に戻り、処理を繰り返す。以上が、組付け対象物と被組付け対象物とが別々に映っている複数の撮像画像を取得する場合の処理の流れである。

また、前述した例では、ビジュアルサーボにより、組付け対象物を被組付け対象物に実際に組付けていたが、本発明はそれに限定されず、ビジュアルサーボにより、組付け対象物を被組付け対象物に組付ける直前の状態にしてもよい。

すなわち、制御部１２０は、被組付け対象物の特徴量（特徴点）に基づいて、被組付け対象物と所与の位置関係にある画像領域を特定し、特定した画像領域と、組付け対象物の注目特徴点とが、一致するように又は近付くように、組付け対象物を移動させてもよい。言い換えれば、制御部１２０は、被組付け対象物の特徴量に基づいて、被組付け対象物と所与の位置関係にある実空間上のポイントを特定し、特定したポイントに向かって、組付け対象物を移動させてもよい。

例えば、図９に示す撮像画像ＰＩＭにおいて、被組付け対象物ＷＫ２の被組付け部分である三角形の穴ＨＬを表す特徴点として、特徴点Ｐ８〜特徴点Ｐ１０が検出されているとする。この場合に、撮像画像ＰＩＭにおいて、特徴点Ｐ８〜特徴点Ｐ１０と所与の位置関係にある画像領域Ｒ１〜画像領域Ｒ３を特定する。そして、組付け対象物ＷＫ１の注目特徴点Ｑ４を、画像領域Ｒ２に一致させ（近付け）、組付け対象物の注目特徴点Ｑ５を、画像領域Ｒ３に一致させ（近付け）るように、組付け対象物ＷＫ１を移動させる。

これにより、例えば組付け作業の直前の状態にすること等が可能になる。

また、前述した例のように組付け対象物の特徴量を検出する処理は、必ずしも必要ではない。例えば、被組付け対象物の特徴量を検出し、検出した被組付け対象物の特徴量に基づいて、ロボットとの相対的な被組付け対象物の位置姿勢を推定し、推定した被組付け対象物の位置に、組付け対象物を把持したハンドを近付けるように、ロボットを制御する等してもよい。

２．２． ２種類のビジュアルサーボによる組付け作業

次に、参照画像を用いたビジュアルサーボ（第１のビジュアルサーボ）と、被組付け対象物の特徴量を用いて組付け対象物を移動させるビジュアルサーボ（第２のビジュアルサーボ）の、二つのビジュアルサーボを続けて行う場合の処理について説明する。

例えば、図１０において、位置ＧＣ１から位置ＧＣ２への組付け対象物ＷＫ１の移動（矢印ＹＪ１に示す移動）は、参照画像を用いた第１のビジュアルサーボにより行い、位置ＧＣ２から位置ＧＣ３への組付け対象物ＷＫ１の移動（矢印ＹＪ２に示す移動）は、被組付け対象物ＷＫ２の特徴量を用いた第２のビジュアルサーボにより行う。なお、位置ＧＣ１〜位置ＧＣ３は、組付け対象物ＷＫ１の重心位置であるものとする。

このような処理を行う場合には、本実施形態のロボット制御システム１００は、図３に示すように、参照画像記憶部１３０をさらに含む。参照画像記憶部１３０は、目標位置姿勢をとる組付け対象物を表す参照画像を記憶する。参照画像は、例えば後述する図１２（Ａ）に示すような画像ＲＩＭである。なお、参照画像記憶部１３０の機能は、ＲＡＭ（Random Access Memory）等のメモリーやＨＤＤ（Hard Disk Drive）などにより実現できる。

そして、制御部１２０は、前述した図１０の矢印ＹＪ１のような第１のビジュアルサーボとして、少なくとも組付け対象物が映る第１の撮像画像と、参照画像とに基づいて、目標位置姿勢に組付け対象物を移動させる。

さらに、制御部１２０は、前述した第１のビジュアルサーボ後に、図１０の矢印ＹＪ２のような第２のビジュアルサーボを行う。つまり、制御部１２０は、組付け対象物を移動させた後に、少なくとも被組付け対象物が映る第２の撮像画像に基づいて、被組付け対象物の特徴量検出処理を行い、被組付け対象物の特徴量に基づいて、組付け対象物を移動させる。

ここで、より具体的な処理の流れを図１１のフローチャートと、図１２（Ａ）〜図１２（Ｄ）を用いて説明する。

まず、第１のビジュアルサーボの準備として、ロボットのハンドＨＤに組付け対象物ＷＫ１を把持させて、目標位置姿勢に移動させ（Ｓ３０１）、撮像部２００（図１０のカメラＣＭ）により目標位置姿勢での組付け対象物ＷＫ１を撮像し、図１２（Ａ）に示すような参照画像（ゴール画像）ＲＩＭを取得する（Ｓ３０２）。そして、取得した参照画像ＲＩＭから組付け対象物ＷＫ１の特徴量Ｆ０を検出する（Ｓ３０３）。

ここで、目標位置姿勢とは、第１のビジュアルサーボにおいて目標となる、組付け対象物ＷＫ１の位置姿勢のことをいう。例えば、図１０では、位置ＧＣ２が目標位置姿勢であり、図１２（Ａ）の参照画像ＲＩＭでは、その目標位置姿勢ＧＣ２に組付け対象物ＷＫ１が位置している様子が映されている。この目標位置姿勢は、参照画像を生成する際に、教示者（ユーザー）が設定するものである。

また、参照画像とは、例えば図１２（Ａ）の参照画像ＲＩＭのように、第１のビジュアルサーボにおける移動対象である組付け対象物ＷＫ１が、前述した目標位置姿勢で映る画像のことをいう。なお、図１２（Ａ）の参照画像ＲＩＭには、被組付け対象物ＷＫ２も映っているが、被組付け対象物ＷＫ２は必ずしも映っている必要はない。また、参照画像は、外部の記憶部に記憶された画像や、ネットワークを介して取得される画像、ＣＡＤモデルデータから生成される画像等であってもよい。

次に、第１のビジュアルサーボを行う。まず、撮像画像取得部１１０が、図１２（Ｂ）に示すような第１の撮像画像ＰＩＭ１０１を取得する（Ｓ３０４）。

ここで、本例における第１の撮像画像は、例えば図１２（Ｂ）の撮像画像ＰＩＭ１０１のように、組付け作業における組付け対象物ＷＫ１と被組付け対象物ＷＫ２とのうち、少なくとも組付け対象物ＷＫ１が映る撮像画像のことをいう。

そして、制御部１２０が、第１の撮像画像ＰＩＭ１０１から組付け対象物ＷＫ１の特徴量Ｆ１を検出し（Ｓ３０５）、前述した特徴量Ｆ０と特徴量Ｆ１とに基づいて、図１０の矢印ＹＪ１のように組付け対象物ＷＫ１を移動させる（Ｓ３０６）。

そして、制御部１２０は、組付け対象物ＷＫ１が目標位置姿勢ＧＣ２にあるか否かを判定し（Ｓ３０６）、組付け対象物ＷＫ１が目標位置姿勢ＧＣ２にあると判定した場合には、第２のビジュアルサーボに移行する。一方で、組付け対象物ＷＫ１が目標位置姿勢ＧＣ２にないと判定した場合には、ステップＳ３０４に戻り、第１のビジュアルサーボを繰り返す。

このように、第１のビジュアルサーボでは、参照画像ＲＩＭと第１の撮像画像ＰＩＭ１０１とにおける、組付け対象物ＷＫ１の特徴量同士を比較しながら、ロボットを制御する。

次に、第２のビジュアルサーボを行う。第２のビジュアルサーボでは、まず撮像画像取得部１１０が、図１２（Ｃ）に示すような第２の撮像画像ＰＩＭ２１を取得する（Ｓ３０８）。ここで、第２の撮像画像とは、第２のビジュアルサーボに用いる撮像画像のことをいう。なお、本例における第２の撮像画像ＰＩＭ２１には、組付け対象物ＷＫ１と、被組付け対象物ＷＫ２の両方が映っているものとする。

そして、制御部１２０が、第２の撮像画像ＰＩＭ２１から、被組付け対象物ＷＫ２のゴール特徴量ＦＢを検出する（Ｓ３０９）。例えば本例では、ゴール特徴量ＦＢとして、図１２（Ｃ）に示すように、ゴール特徴点ＧＰ１及びゴール特徴点ＧＰ２を検出したものとする。

同様にして、制御部１２０は、第２の撮像画像ＰＩＭ２１から、組付け対象物ＷＫ１の注目特徴量ＦＡを検出する（Ｓ３１０）。例えば本例では、注目特徴量ＦＡとして、図１２（Ｃ）に示すように、注目特徴点ＩＰ１及び注目特徴点ＩＰ２を検出したものとする。

次に、制御部１２０が、注目特徴量ＦＡとゴール特徴量ＦＢに基づいて、組付け対象物ＷＫ１を移動させる（Ｓ３１２）。つまり、前段において図５を用いて説明した例と同様に、注目特徴点ＩＰ１をゴール特徴点ＧＰ１に近付け、注目特徴点ＩＰ２をゴール特徴点ＧＰ２に近付けるように、組付け対象物ＷＫ１を移動させる。

そして、制御部１２０が、組付け対象物ＷＫ１と被組付け対象物ＷＫ２とが目標相対位置姿勢関係にあるか否かを判定する（Ｓ３１２）。例えば図１２（Ｄ）に示す撮像画像ＰＩＭＥでは、注目特徴点ＩＰ１がゴール特徴点ＧＰ１に隣接し、注目特徴点ＩＰ２がゴール特徴点ＧＰ２に隣接しているため、組付け対象物ＷＫ１と被組付け対象物ＷＫ２とが目標相対位置姿勢関係にあると判定し、処理を終了する。

一方で、組付け対象物ＷＫ１と被組付け対象物ＷＫ２とが目標相対位置姿勢関係になっていないと判定した場合には、ステップＳ３０８に戻り、第２のビジュアルサーボを繰り返す。

これにより、同一の組付け作業を繰り返す度に、同一の参照画像を用いて、組付け対象物を被組付け対象物の近くに移動させ、その後に、実際の被組付け対象物の詳細な位置姿勢に合わせて、組付け作業を行うこと等が可能となる。つまり、参照画像を生成した際の被組付け対象物の位置姿勢と、実際の組付け作業時の被組付け対象物の位置姿勢がずれている（異なる）場合でも、第２のビジュアルサーボにおいて、被組付け対象物の位置ずれに対応するため、第１のビジュアルサーボでは、異なる参照画像を用いる必要はなく、毎回同じ参照画像を用いることができる。その結果、参照画像の準備コストを抑制すること等が可能となる。

なお、前述したステップＳ３１０では、第２の撮像画像ＰＩＭ２１から組付け対象物ＷＫ１の注目特徴量ＦＡを検出していたが、必ずしも第２の撮像画像ＰＩＭ２１から検出しなければならない訳ではない。例えば第２の撮像画像ＰＩＭ２１に、組付け対象物ＷＫ１が映っていない場合などには、組付け対象物が映る他の第２の撮像画像ＰＩＭ２２から、組付け対象物ＷＫ１の特徴量を検出するなどしてもよい。

２．３． ３つのワークの組付け作業

次に、図１３（Ａ）及び図１３（Ｂ）に示すように、３つのワーク（ＷＫ１〜ＷＫ３）の組付け作業を行う場合の処理について説明する。

本組付け作業では、図１３（Ａ）に示すように、ロボットの第１のハンドＨＤ１で把持した組付け対象物ＷＫ１（ワークＷＫ１、例えばドライバー）を、ロボットの第２のハンドＨＤ２で把持した第１の被組付け対象物ＷＫ２（ワークＷＫ２、例えばネジ）に組み付け、作業台の上の第２の被組付け対象物ＷＫ３（ワークＷＫ３、例えばネジ穴）に、ワークＷＫ１と組付け状態のワークＷＫ２を組み付ける。そして、組付け作業後には、図１３（Ｂ）に示すような組付け状態になる。

具体的にこのような処理を行う場合には、制御部１２０は、図１４（Ａ）に示すように、少なくとも、組付け作業における第１の被組付け対象物ＷＫ２が映る第１の撮像画像ＰＩＭ３１に基づいて、第１の被組付け対象物ＷＫ２の特徴量検出処理を行う。本例における第１の撮像画像とは、組付け対象物ＷＫ１と第１の被組付け対象物ＷＫ２との組付け作業を行う際に用いる撮像画像のことをいう。

そして、制御部１２０は、第１の被組付け対象物ＷＫ２の特徴量に基づいて、図１３（Ａ）の矢印ＹＪ１のように、組付け対象物ＷＫ１を移動させる。

次に、制御部１２０は、図１４（Ｂ）に示すように、組付け対象物ＷＫ１を移動させた後に、少なくとも第２の被組付け対象物ＷＫ３が映る第２の撮像画像ＰＩＭ４１に基づいて、第２の被組付け対象物ＷＫ３の特徴量検出処理を行う。本例における第２の撮像画像とは、第１の被組付け対象物ＷＫ２と第２の被組付け対象物ＷＫ３との組付け作業を行う際に用いる撮像画像のことをいう。

そして、制御部１２０は、第２の被組付け対象物ＷＫ３の特徴量に基づいて、組付け対象物ＷＫ１及び第１の被組付け対象物ＷＫ２を、図１３（Ａ）の矢印ＹＪ２のように移動させる。

これにより、組付け作業を行う度に、第１の被組付け対象物ＷＫ２や第２の被組付け対象物ＷＫ３の位置がずれてしまう場合でも、組付け対象物と、第１の被組付け対象物と、第２の被組付け対象物との組付け作業を行うこと等が可能となる。

次に、図１３（Ａ）及び図１３（Ｂ）に示す３つのワークの組付け作業における処理の流れを、図１５のフローチャートを用いて詳細に説明する。

まず、撮像画像取得部１１０が、少なくとも、組付け作業における組付け対象物ＷＫ１及び第１の被組付け対象物ＷＫ２が映る、１又は複数の第１の撮像画像を取得する。そして、制御部１２０は、第１の撮像画像に基づいて、組付け対象物ＷＫ１及び第１の被組付け対象物ＷＫ２の特徴量検出処理を行う。

本例では、まず撮像画像取得部１１０が、第１の被組付け対象物ＷＫ２が映る第１の撮像画像ＰＩＭ３１を取得する（Ｓ４０１）。そして、制御部１２０が、第１の撮像画像ＰＩＭ３１に基づいて、第１の被組付け対象物ＷＫ２の特徴量検出処理を行い、第１のゴール特徴量ＦＢ１を検出する（Ｓ４０２）。ここでは、第１のゴール特徴量ＦＢ１として、図１４（Ａ）に示すようなゴール特徴点ＧＰ１とゴール特徴点ＧＰ２とを検出するものとする。

次に、撮像画像取得部１１０が、組付け対象物ＷＫ１が映る第１の撮像画像ＰＩＭ３２を取得する（Ｓ４０３）。そして、制御部１２０が、第１の撮像画像ＰＩＭ３２に基づいて、組付け対象物ＷＫ１の特徴量検出処理を行い、第１の注目特徴量ＦＡを検出する（Ｓ４０４）。ここでは、第１の注目特徴量ＦＡとして、注目特徴点ＩＰ１と注目特徴点ＩＰ２とを検出するものとする。

なお、ステップＳ４０１〜ステップＳ４０４では、組付け対象物ＷＫ１と第１の被組付け対象物ＷＫ２とが別々に映っている複数の第１の撮像画像（ＰＩＭ３１及びＰＩＭ３２）を取得する例を説明したが、図１４（Ａ）に示すように、組付け対象物ＷＫ１と第１の被組付け対象物ＷＫ２とが同じ第１の撮像画像ＰＩＭ３１に映っている場合には、第１の撮像画像ＰＩＭ３１から、組付け対象物ＷＫ１と第１の被組付け対象物ＷＫ２の両方の特徴量を検出してもよい。

次に、制御部１２０は、組付け対象物ＷＫ１の特徴量（第１の注目特徴量ＦＡ）及び第１の被組付け対象物ＷＫ２の特徴量（第１のゴール特徴量ＦＢ１）に基づいて、組付け対象物ＷＫ１と第１の被組付け対象物ＷＫ２との相対位置姿勢関係が、第１の目標相対位置姿勢関係になるように、組付け対象物ＷＫ１を移動させる（Ｓ４０５）。具体的には、撮像画像において、注目特徴点ＩＰ１がゴール特徴点ＧＰ１に近付き、注目特徴点ＩＰ２がゴール特徴点ＧＰ２に近付くように、組付け対象物ＷＫ１を移動させる。なお、この移動は、図１３（Ａ）の矢印ＹＪ１の移動に相当する。

そして、制御部１２０は、組付け対象物ＷＫ１と第１の被組付け対象物ＷＫ２とが、第１の目標相対位置姿勢関係にあるか否かを判定する（Ｓ４０６）。組付け対象物ＷＫ１と第１の被組付け対象物ＷＫ２とが第１の目標相対位置姿勢関係にないと判定した場合には、ステップＳ４０３に戻り、処理をやり直す。

一方、組付け対象物ＷＫ１と第１の被組付け対象物ＷＫ２とが第１の目標相対位置姿勢関係にあると判定した場合には、第１の撮像画像ＰＩＭ３２から第１の被組付け対象物ＷＫ２の第２の注目特徴量ＦＢ２を検出する（Ｓ４０７）。具体的には、制御部１２０は、後述する図１４（Ｂ）に示すように、第２の注目特徴量ＦＢ２として、注目特徴点ＩＰ３と注目特徴点ＩＰ４とを検出する。

次に、撮像画像取得部１１０が、図１４（Ｂ）に示すような、少なくとも第２の被組付け対象物ＷＫ３が映る第２の撮像画像ＰＩＭ４１を取得する（Ｓ４０８）。

そして、制御部１２０が、第２の撮像画像ＰＩＭ４１に基づいて、第２の被組付け対象物ＷＫ３の特徴量検出処理を行って、第２のゴール特徴量ＦＣを検出する（Ｓ４０９）。具体的に、制御部１２０は、図１４（Ｂ）に示すように、第２のゴール特徴量ＦＣとして、ゴール特徴点ＧＰ３とゴール特徴点ＧＰ４とを検出する。

次に、制御部１２０が、第１の被組付け対象物ＷＫ２の特徴量（第２の注目特徴量ＦＢ２）と、第２の被組付け対象物ＷＫ３の特徴量（第２のゴール特徴量ＦＣ）とに基づいて、第１の被組付け対象物ＷＫ２と第２の被組付け対象物ＷＫ３との相対位置姿勢関係が、第２の目標相対位置姿勢関係になるように、組付け対象物ＷＫ１と第１の被組付け対象物ＷＫ２とを移動させる（Ｓ４１０）。

具体的には、撮像画像において、注目特徴点ＩＰ３がゴール特徴点ＧＰ３に近付き、注目特徴点ＩＰ４がゴール特徴点ＧＰ４に近付くように、組付け対象物ＷＫ１と第１の被組付け対象物ＷＫ２とを移動させる。なお、この移動は、図１３（Ａ）の矢印ＹＪ２の移動に相当する。

そして、制御部１２０は、第１の被組付け対象物ＷＫ２と第２の被組付け対象物ＷＫ３とが第２の目標相対位置姿勢関係にあるか否かを判定する（Ｓ４１１）。第１の被組付け対象物ＷＫ２と第２の被組付け対象物ＷＫ３とが第２の目標相対位置姿勢関係にないと判定した場合には、ステップＳ４０８に戻り、処理をやり直す。

一方、図１４（Ｃ）に示す撮像画像ＰＩＭＥのように、第１の被組付け対象物ＷＫ２と第２の被組付け対象物ＷＫ３とが組み付け状態にある、すなわち第２の目標相対位置姿勢関係にあると判定した場合には、処理を終了する。

このように、組付け対象物ＷＫ１の注目特徴点（ＩＰ１及びＩＰ２）を、第１の被組付け対象物ＷＫ２のゴール特徴点（ＧＰ１及びＧＰ２）に近づけ、第１の被組付け対象物ＷＫ２の注目特徴点（ＩＰ３及びＩＰ４）を、第２の被組付け対象物ＷＫ３のゴール特徴点（ＧＰ３及びＧＰ４）に近づけるように、ビジュアルサーボを行うこと等が可能となる。

また、図１５のフローチャートのように、組付け対象物ＷＫ１と、第１の被組付け対象物ＷＫ２とを順番に組み付けていくのではなく、図１６（Ａ）〜図１６（Ｃ）に示すように、３つのワークを同時に組み付けてもよい。

この時の処理の流れを図１７のフローチャートに示す。まず、撮像画像取得部１１０が、組付け作業における、組付け対象物ＷＫ１、第１の被組付け対象物ＷＫ２及び第２の被組付け対象物ＷＫ３が映る１又は複数の撮像画像を取得する（Ｓ５０１）。本例では、図１６（Ａ）に示す撮像画像ＰＩＭ５１を取得したものとする。

次に、制御部１２０が、１又は複数の撮像画像に基づいて、組付け対象物ＷＫ１、第１の被組付け対象物ＷＫ２及び第２の被組付け対象物ＷＫ３の特徴量検出処理を行う（Ｓ５０２〜Ｓ０５４）。

本例では、図１６（Ａ）に示すように、第２の被組付け対象物ＷＫ３の特徴量として、ゴール特徴点ＧＰ３及びゴール特徴点ＧＰ４を検出する（Ｓ５０２）。そして、第１の被組付け対象物ＷＫ２の特徴量として、ゴール特徴点ＧＰ１及びゴール特徴点ＧＰ２と、注目特徴点ＩＰ３及び注目特徴点ＩＰ４を検出する（Ｓ５０３）。さらに、組付け対象物ＷＫ１の特徴量として、注目特徴点ＩＰ１及び注目特徴点ＩＰ２を検出する（Ｓ５０４）。なお、３つのワークが別々の撮像画像に映っている場合には、それぞれ別の撮像画像で特徴量検出処理を行っても良い。

次に、制御部１２０は、組付け対象物ＷＫ１の特徴量及び第１の被組付け対象物ＷＫ２の特徴量に基づいて、組付け対象物ＷＫ１と第１の被組付け対象物ＷＫ２との相対位置姿勢関係が、第１の目標相対位置姿勢関係になるように、組付け対象物ＷＫ１を移動させながら、第１の被組付け対象物ＷＫ２の特徴量及び第２の被組付け対象物ＷＫ３の特徴量に基づいて、第１の被組付け対象物ＷＫ２と第２の被組付け対象物ＷＫ３との相対位置姿勢関係が、第２の目標相対位置姿勢関係になるように、第１の被組付け対象物ＷＫ２を移動させる（Ｓ５０５）。

つまり、注目特徴点ＩＰ１がゴール特徴点ＧＰ１に近付き、注目特徴点ＩＰ２がゴール特徴点ＧＰ２に近付き、注目特徴点ＩＰ３がゴール特徴点ＧＰ３に近付き、注目特徴点ＩＰ４がゴール特徴点ＧＰ４に近付くように、組付け対象物ＷＫ１と第１の被組付け対象物ＷＫ２とを同時に移動させる。

そして、撮像画像取得部１１０が、撮像画像を新たに取得し（Ｓ５０６）、制御部１２０が、新たに取得した撮像画像に基づいて、組付け対象物ＷＫ１と、第１の被組付け対象物ＷＫ２と、第２の被組付け対象物ＷＫ３との３つのワークが、目標相対位置姿勢関係にあるか否かを判定する（Ｓ５０７）。

例えば、ステップＳ５０６において取得した撮像画像が、図１６（Ｂ）に示すような撮像画像ＰＩＭ５２であり、３つのワークが、まだ目標相対位置姿勢関係にないと判定した場合には、ステップＳ５０３に戻り、処理を繰り返す。なお、ステップＳ５０３以降の処理は、新たに取得した撮像画像ＰＩＭ５２に基づいて行う。

一方で、ステップＳ５０６において取得した撮像画像が、図１６（Ｃ）に示すような撮像画像ＰＩＭＥである場合には、３つのワークが目標相対位置姿勢関係にあると判定し、処理を終了する。

これにより、３つのワークの同時組付け作業を行うこと等が可能となる。その結果、３つのワークの組付け作業の作業時間を短縮すること等が可能となる。

さらに、３つのワークの組付け作業を行う際には、図１５のフローチャートに示す組付け順とは逆の順番で、組付け作業を行ってもよい。つまり、図１８（Ａ）〜図１８（Ｃ）に示すように、第１の被組付け対象物ＷＫ２を第２の被組付け対象物ＷＫ３に組み付けた後に、組付け対象物ＷＫ１を第１の被組付け対象物ＷＫ２に組み付けてもよい。

この場合には、制御部１２０は、図１８（Ａ）に示すように、少なくとも、組付け作業における第２の被組付け対象物ＷＫ３が映る第１の撮像画像ＰＩＭ６１に基づいて、第２の被組付け対象物ＷＫ３の特徴量検出処理を行い、第２の被組付け対象物ＷＫ３の特徴量に基づいて、第１の被組付け対象物ＷＫ２を移動させる。なお、特徴量検出処理の詳細は、図１６（Ａ）を用いて説明した例と同様であるので、説明を省略する。

次に、制御部１２０は、図１８（Ｂ）に示すように、少なくとも移動後の第１の被組付け対象物ＷＫ２が映る第２の撮像画像ＰＩＭ７１に基づいて、第１の被組付け対象物ＷＫ２の特徴量検出処理を行い、第１の被組付け対象物ＷＫ２の特徴量に基づいて、図１８（Ｃ）のような組付け状態になるように、組付け対象物ＷＫ１を移動させる。

これにより、組付け対象物ＷＫ１と、第１の被組付け対象物ＷＫ２とを同時に移動させる必要がなくなり、ロボットの制御をより容易にすること等が可能となる。また、多腕のロボットではなく、単腕のロボットでも、３つのワークの組付け作業を行うこと等が可能になる。

また、以上の本実施形態で用いる撮像部（カメラ）２００は、例えばＣＣＤ（charge-coupled device）等の撮像素子と光学系とを含む。撮像部２００は、例えば天井や作業台の上などに、ビジュアルサーボにおける検出対象（組付け対象物、被組付け対象物又はロボット３００のエンドエフェクター３１０等）が、撮像部２００の画角内に入るような角度で配置される。そして、撮像部２００は、撮像画像の情報をロボット制御システム１００等に出力する。ただし、本実施形態においては、撮像画像の情報をそのままロボット制御システム１００に出力するものとするが、これに限定されるものではない。例えば、撮像部２００は、画像処理用等に用いられるデバイス（プロセッサー）を含むことができる。

３．ロボット

次に、図１９（Ａ）及び図１９（Ｂ）に、本実施形態のロボット制御システム１００が適用されるロボット３００の構成例を示す。図１９（Ａ）及び図１９（Ｂ）のどちらの場合にも、ロボット３００は、エンドエフェクター３１０を有する。

エンドエフェクター３１０とは、ワーク（作業対象物）を把持したり、持ち上げたり、吊り上げたり、吸着させたり、ワークに加工を施したりするために、アームのエンドポイントに取り付ける部品のことをいう。エンドエフェクター３１０は、例えばハンド（把持部）であってもよいし、フックであってもよいし、吸盤等であってもよい。さらに、１本のアームに対して、複数のエンドエフェクターを設けても良い。なお、アームとは、ロボット３００のパーツであって、一つ以上の関節を含む可動パーツのことをいう。

例えば、図１９（Ａ）のロボットは、ロボット本体３００（ロボット）とロボット制御システム１００とが別体に構成されている。この場合には、ロボット制御システム１００の一部又は全部の機能は、例えばＰＣ（Personal Computer）により実現される。

また、本実施形態のロボットは図１９（Ａ）の構成に限定されず、図１９（Ｂ）のようにロボット本体３００とロボット制御システム１００とが一体に構成されていてもよい。すなわち、ロボット３００は、ロボット制御システム１００を含んでいても良い。具体的には図１９（Ｂ）に示したように、ロボット３００は、ロボット本体（アーム及びエンドエフェクター３１０を有する）及びロボット本体を支えるベースユニット部を有し、当該ベースユニット部にロボット制御システム１００が格納されるものであってもよい。図１９（Ｂ）のロボット３００には、ベースユニット部に車輪等が設けられ、ロボット全体が移動可能な構成となっている。なお、図１９（Ａ）は単腕型の例であるが、ロボット３００は図１９（Ｂ）に示すように双腕型等の多腕型のロボットであってもよい。また、ロボット３００は、人手により移動させられるものであってもよいし、車輪を駆動させるモーターを設け、当該モーターをロボット制御システム１００により制御することにより、移動させられるものであってもよい。また、ロボット制御システム１００は、図１９（Ｂ）のようにロボット３００の下に設けられたベースユニット部に設けられるとは限られない。

また、図２０に示すように、ロボット制御システム１００の機能は、有線及び無線の少なくとも一方を含むネットワーク４００を介して、ロボット３００と通信接続されたサーバー５００により実現されてもよい。

或いは本実施形態では、本発明のロボット制御システムの処理の一部を、サーバー５００側のロボット制御システムが行ってもよい。この場合には、ロボット３００側に設けられたロボット制御システムとの分散処理により、当該処理を実現する。なお、ロボット３００側のロボット制御システムは、例えばロボット３００に設置される端末装置３３０（制御部）により実現される。

そして、この場合に、サーバー５００側のロボット制御システムは、本発明のロボット制御システムにおける各処理のうち、サーバー５００のロボット制御システムに割り当てられた処理を行う。一方、ロボット３００に設けられたロボット制御システムは、本発明のロボット制御システムの各処理のうち、ロボット３００のロボット制御システムに割り当てられた処理を行う。なお、本発明のロボット制御システムの各処理は、サーバー５００側に割り当てられた処理であってもよいし、ロボット３００側に割り当てられた処理であってもよい。

これにより、例えば端末装置３３０よりも処理能力の高いサーバー５００が、処理量の多い処理を行うこと等が可能になる。さらに、例えばサーバー５００が各ロボット３００の動作を一括して制御することができ、複数のロボット３００に協調動作をさせること等が容易になる。

また近年は、多品種少数の部品を製造することが増えてきている。そして、製造する部品の種類を変更する場合には、ロボットが行う動作を変更する必要がある。図２０に示すような構成であれば、複数のロボット３００の各ロボットへ教示作業をし直さなくても、サーバー５００が一括して、ロボット３００が行う動作を変更すること等が可能になる。

さらに、図２０に示すような構成であれば、各ロボット３００に対して一つのロボット制御システム１００を設ける場合に比べて、ロボット制御システム１００のソフトウェアアップデートを行う際の手間を大幅に減らすこと等が可能になる。

なお、本実施形態のロボット制御システム及びロボット等は、その処理の一部または大部分をプログラムにより実現してもよい。この場合には、ＣＰＵ等のプロセッサーがプログラムを実行することで、本実施形態のロボット制御システム及びロボット等が実現される。具体的には、情報記憶媒体に記憶されたプログラムが読み出され、読み出されたプログラムをＣＰＵ等のプロセッサーが実行する。ここで、情報記憶媒体（コンピューターにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（カード型メモリー、ＲＯＭ等）などにより実現できる。そして、ＣＰＵ等のプロセッサーは、情報記憶媒体に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち、情報記憶媒体には、本実施形態の各部としてコンピューター（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピューターに実行させるためのプログラム）が記憶される。

以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、ロボット制御システム、ロボット及びプログラムの構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１００ ロボット制御システム、１１０ 撮像画像取得部、１２０ 制御部、
１３０ 参照画像記憶部、２００ 撮像部、３００ ロボット、
３１０ エンドエフェクター、３２０ アーム、３３０ 端末装置、
４００ ネットワーク、５００ サーバー

Claims (7)

1. 撮像画像を取得する撮像画像取得部と、
   前記撮像画像に基づいてロボットを制御する制御部と、
   を含み、
   前記撮像画像取得部は、
   組付け作業における組付け対象物、第１被組付け対象物及び第２被組付け対象物が映る１又は複数の前記撮像画像を取得し、
   前記制御部は、
   前記組付け作業における、前記組付け対象物、第１被組付け対象物及び第２被組付け対象物が映る１又は複数の撮像画像に基づいて、前記組付け対象物、前記第１被組付け対象物及び前記第２被組付け対象物の特徴量検出処理を行い、
   前記組付け対象物の特徴量及び前記第１被組付け対象物の特徴量に基づいて、前記組付け対象物と前記第１被組付け対象物との相対位置姿勢関係が第１目標相対位置姿勢関係になるように、前記組付け対象物を移動させながら、
   前記第１被組付け対象物の特徴量及び前記第２被組付け対象物の特徴量に基づいて、前記第１被組付け対象物と前記第２被組付け対象物との相対位置姿勢関係が第２目標相対位置姿勢関係になるように、前記第１被組付け対象物を移動させることを特徴とするロボット制御システム。
2. 請求項１において、
   前記制御部は、
   前記第１被組付け対象物の特徴量のうちゴール特徴量として設定された第１特徴量と、前記組付け対象物の特徴量のうち注目特徴量として設定された第２特徴量とに基づいて、前記第１被組付け対象物と前記組付け対象物の相対位置姿勢関係が前記第１目標相対位置姿勢関係になるように、前記組付け対象物を移動させながら、
   前記第１被組付け対象物の特徴量のうち注目特徴量として設定された第３特徴量と、前記第２被組付け対象物の特徴量のうちゴール特徴量として設定された第４特徴量とに基づいて、前記第１被組付け対象物と前記第２被組付け対象物の相対位置姿勢関係が前記第２目標相対位置姿勢関係になるように、前記第１被組付け対象物を移動させることを特徴とするロボット制御システム。
3. 請求項１または２において、
   前記制御部は、
   前記第１被組付け対象物の第１ゴール特徴点と前記組付け対象物の第１注目特徴点とが一致するように又は近付くように、前記組付け対象物を移動させながら、
   前記第１被組付け対象物の第２注目特徴点と第２被組付け対象物の第２ゴール特徴点とが一致するように又は近づくように、前記第１被組付け対象物を移動させることを特徴とするロボット制御システム。
4. 請求項１乃至３のいずれかにおいて、
   前記制御部は、
   前記撮像画像に基づくビジュアルサーボを行うことにより、前記ロボットを制御することを特徴とするロボット制御システム。
5. 撮像画像を取得する撮像画像取得部と、
   前記撮像画像に基づいてロボットを制御する制御部と、
   を含み、
   前記撮像画像取得部は、
   組付け作業における組付け対象物、第１被組付け対象物及び第２被組付け対象物が映る１又は複数の前記撮像画像を取得し、
   前記制御部は、
   前記組付け作業における、前記組付け対象物、第１被組付け対象物及び第２被組付け対象物が映る１又は複数の撮像画像に基づいて、前記組付け対象物、前記第１被組付け対象物及び前記第２被組付け対象物の特徴量検出処理を行い、
   前記組付け対象物の特徴量及び前記第１被組付け対象物の特徴量に基づいて、前記組付け対象物と前記第１被組付け対象物との相対位置姿勢関係が第１目標相対位置姿勢関係になるように、前記組付け対象物を移動させながら、
   前記第１被組付け対象物の特徴量及び前記第２被組付け対象物の特徴量に基づいて、前記第１被組付け対象物と前記第２被組付け対象物との相対位置姿勢関係が第２目標相対位置姿勢関係になるように、前記第１被組付け対象物を移動させることを特徴とするロボット。
6. 撮像画像を取得する撮像画像取得部と、
   前記撮像画像に基づいてロボットを制御する制御部として、
   コンピューターを機能させ、
   前記撮像画像取得部は、
   組付け作業における組付け対象物、第１被組付け対象物及び第２被組付け対象物が映る１又は複数の前記撮像画像を取得し、
   前記制御部は、
   前記組付け作業における、前記組付け対象物、第１被組付け対象物及び第２被組付け対象物が映る１又は複数の撮像画像に基づいて、前記組付け対象物、前記第１被組付け対象物及び前記第２被組付け対象物の特徴量検出処理を行い、
   前記組付け対象物の特徴量及び前記第１被組付け対象物の特徴量に基づいて、前記組付け対象物と前記第１被組付け対象物との相対位置姿勢関係が第１目標相対位置姿勢関係になるように、前記組付け対象物を移動させながら、
   前記第１被組付け対象物の特徴量及び前記第２被組付け対象物の特徴量に基づいて、前記第１被組付け対象物と前記第２被組付け対象物との相対位置姿勢関係が第２目標相対位置姿勢関係になるように、前記第１被組付け対象物を移動させることを特徴とするプログラム。
7. 組付け作業における組付け対象物、第１被組付け対象物及び第２被組付け対象物が映る１又は複数の撮像画像を取得することと、
   前記組付け作業における、前記組付け対象物、第１被組付け対象物及び第２被組付け対象物が映る１又は複数の撮像画像に基づいて、前記組付け対象物、前記第１被組付け対象物及び前記第２被組付け対象物の特徴量検出処理を行うことと、
   前記組付け対象物の特徴量及び前記第１被組付け対象物の特徴量に基づいて、前記組付け対象物と前記第１被組付け対象物との相対位置姿勢関係が第１目標相対位置姿勢関係になるように、前記組付け対象物を移動させながら、
   前記第１被組付け対象物の特徴量及び前記第２被組付け対象物の特徴量に基づいて、前記第１被組付け対象物と前記第２被組付け対象物との相対位置姿勢関係が第２目標相対位置姿勢関係になるように、前記第１被組付け対象物を移動させることと、
   を含むことを特徴とするロボット制御方法。

Images