JP2024090687A - ロボット制御システム - Google Patents

Abstract

【課題】必要なカメラの台数が増えることを抑制するとともに、サイクル時間が長くなることを抑制する。
【解決手段】ロボット制御システム（１０）は、複数の作業エリアでそれぞれ対象物（Ｗ）に対して作業を行うロボット（２０）と、ロボットと分離して移動し、複数の作業エリアの対象物をそれぞれ撮像可能な可動式カメラ（３０）と、可動式カメラにより所定位置（Ｐ１、Ｐ２）から撮像された画像に基づいて、物体の位置を認識可能である物体認識部（５０）と、を備える。可動式カメラは、基準物（Ｂ１）と対象物とを視野に入れて撮像した所定画像を取得する。物体認識部は、所定位置から撮像された画像に基づき認識した基準物の位置を基準位置として予め登録しており、基準位置と所定画像に基づき認識した基準物の位置とに基づいて、可動式カメラの位置の所定位置からのずれ量を算出し、ずれ量と所定画像とに基づいて対象物の位置を認識する。
【選択図】 図１

Description

本発明は、カメラとロボットとを備えるロボット制御システムに関する。

従来、ロボットの作業エリアの上方に設置された固定構造物に取り付けられたカメラにより作業エリアのワークを撮像し、カメラにより撮像した画像を処理してワークの位置を認識する固定カメラ式のロボット制御システムがある（特許文献１参照）。また、特許文献１には、カメラをロボットに取り付けたオンハンドカメラ式のロボット制御システムも記載されている。

ＷＯ２０２０／１２１３９９号公報

ところで、ロボットがワーク（対象物）の供給部からワークを取り出し、ワークの収容部までワークを運んで収容する場合等、供給部及び収容部（複数の作業エリア）でそれぞれワークに対して作業を行う場合がある。この場合、固定カメラ式のロボット制御システムでは、作業エリア毎にカメラが必要となる。また、オンハンドカメラ式のロボット制御システムでは、ロボットに取り付けられたカメラによりワークを撮像してワークの位置を認識してからしかワークに対する作業を行えず、ワークの取り出しから収容までのサイクル時間が長くなる。

本発明は、上記課題を解決するためになされたものであり、その主たる目的は、ロボットが複数の作業エリアでそれぞれ対象物に対して作業を行う場合であっても、必要なカメラの台数が増えることを抑制するとともに、サイクル時間が長くなることを抑制することにある。

上記課題を解決するための第１の手段は、
複数の作業エリアでそれぞれ対象物（Ｗ）に対して作業を行うロボット（２０）と、
前記ロボットと分離して移動し、前記複数の作業エリアの前記対象物をそれぞれ撮像可能な可動式カメラ（３０）と、
前記可動式カメラにより所定位置（Ｐ１、Ｐ２）から撮像された画像に基づいて、物体の位置を認識可能である物体認識部（５０）と、
を備えるロボット制御システム（１０）であって、
前記可動式カメラは、位置基準となる基準物（Ｂ１）と前記対象物とを視野に入れて撮像した所定画像を取得し、
前記物体認識部は、前記所定位置から撮像された画像に基づき認識した前記基準物の位置を基準位置として予め登録しており、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、
前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記対象物に対して作業を行う。

上記構成によれば、ロボットは、複数の作業エリアでそれぞれ対象物に対して作業を行う。このため、複数の作業エリアでそれぞれ対象物の位置を認識するために、複数の作業エリアの対象物をそれぞれ撮像する必要がある。この点、可動式カメラは、前記ロボットと分離して移動し、前記複数の作業エリアの前記対象物をそれぞれ撮像可能である。そして、物体認識部は、前記可動式カメラにより所定位置から撮像された画像に基づいて、物体の位置を認識可能である。このため、可動式カメラを所定位置に移動させて前記複数の作業エリアの前記対象物をそれぞれ撮像することにより、複数の作業エリアでそれぞれ対象物の位置を認識することができる。したがって、ロボットが複数の作業エリアでそれぞれ対象物に対して作業を行う場合であっても、必要なカメラの台数が増えることを抑制することができる。

また、前記可動式カメラは、位置基準となる基準物と前記対象物とを視野に入れて撮像した所定画像を取得する。このため、所定画像には、基準物と対象物とが含まれている。前記物体認識部は、所定位置から撮像された画像に基づき認識した前記基準物の位置を基準位置として予め登録している。ここで、前記可動式カメラにより撮像された画像に基づき認識した基準物の位置が基準位置からずれていれば、そのずれ量は前記可動式カメラの位置の前記所定位置からのずれ量に起因している。このため、可動式カメラの位置が所定位置からずれている場合であっても、このずれ量を用いて補正することにより、物体認識部は撮像された画像に基づいて物体の位置を認識することができる。この点、前記物体認識部は、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識する。このため、可動式カメラが所定位置に正確に戻ることができなかった場合でも、対象物の位置を正確に認識することができる。そして、前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記対象物に対して正確に作業を行うことができる。

さらに、例えば１つの作業エリアにおいて可動式カメラにより対象物の位置を認識するとともに、既に対象物を収容する位置を認識した他の作業エリアにおいてロボットにより対象物に対して作業を行うことができる。すなわち、可動式カメラによる対象物の位置の認識と、ロボットによる対象物に対する作業とを並行して行うことができる。したがって、複数の作業エリアにおいて、可動式カメラにより対象物の位置を認識し始めてから対象物に対して作業し終えるまでのサイクル時間が長くなることを抑制することができる。

第２の手段では、前記ロボットを複数備え、前記基準物は、複数の前記ロボットの前記複数の作業エリアにそれぞれ設けられており、前記可動式カメラは、複数の前記ロボットの前記複数の作業エリアの前記対象物をそれぞれ撮像可能である。こうした構成によれば、１台の可動式カメラにより、複数のロボットの作業における対象物の位置の認識を行うことができる。したがって、必要なカメラの台数をさらに減らすことができる。

第３の手段では、前記可動式カメラは、視野に前記基準物と前記対象物とが入っていない場合に、視野に前記基準物と前記対象物とが入る位置まで移動して前記所定画像を取得する。こうした構成によれば、視野に前記基準物と前記対象物とが入らない位置に可動式カメラが移動している場合であっても、可動式カメラが移動して位置を変更することにより、基準物と前記対象物とを視野に入れて撮像した所定画像を取得することができる。

具体的には、第４の手段のように、前記物体認識部は、前記可動式カメラの座標系と前記ロボットの座標系との対応関係を校正するキャリブレーションを行うことにより、前記可動式カメラにより前記所定位置から撮像された画像に基づいて、前記物体の位置として前記ロボットの座標系における物体の位置を認識可能とする、ことができる。

第５の手段では、前記キャリブレーションは、物体の位置を検出する精度が前記可動式カメラよりも高い３Ｄスキャナ（７０）を用いて行われ、前記基準位置は、前記３Ｄスキャナを用いて予め登録されている。こうした構成によれば、前記可動式カメラの座標系と前記ロボットの座標系との対応関係を正確に校正することができる。さらに、前記所定位置から撮像された画像に基づき認識した前記基準物の位置である基準位置を、より正確に取得することができる。したがって、可動式カメラの位置の所定位置からのずれ量をより正確に算出することができ、ひいては対象物の位置をより正確に認識することができる。

第６の手段では、前記ロボットは、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴み、他の作業エリアまで前記対象物を移動させて離す作業を行う。こうした構成によれば、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴み、他の作業エリアまで前記対象物を移動させて離す（置く）作業を行う場合であっても、作業エリア毎にカメラが必要とならない。また、例えば既に対象物の位置を認識した第１作業エリアにおいてロボットにより対象物を掴む作業を行うとともに、対象物を離す第２作業エリアにおいて可動式カメラにより対象物を収容する位置を認識することができる。その結果、必要なカメラの台数が増えることを抑制するとともに、サイクル時間が長くなることを抑制することにある。

第７の手段では、前記物体認識部は、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴む前に、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記対象物を掴む作業を行う。こうした構成によれば、対象物を掴む前に対象物の位置を正確に認識することができ、正確に認識した対象物の位置に基づいて対象物を正確に掴むことができる。

１つの作業エリアにおいてロボットが対象物を掴む際に、ロボットと対象物との相対位置にばらつきが生じる。その場合、掴んだ対象物を他の作業エリアまで移動させて離す（置く）作業において、対象物を置く位置にばらつきが生じるおそれがある。

この点、第８の手段では、前記物体認識部は、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴んだ後に、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記１つの作業エリアから他の作業エリアまで前記対象物を移動させて離す作業を行う。こうした構成によれば、対象物を掴んだ後に対象物の位置を正確に認識することができ、正確に認識した対象物の位置に基づいて、１つの作業エリアから他の作業エリアまで対象物を移動させて正確な位置で離す（正確な位置に置く）ことができる。

第９の手段では、前記基準物は、前記対象物の周囲に配置された非対称の多面体からなるブロックである。こうした構成によれば、物体認識部は、基準物の特徴を捉えやすくなるため、基準物の位置を容易に認識することができる。

第１０の手段では、前記基準物は、前記対象物の周囲に存在する設備の一部である。こうした構成によれば、前記対象物の周囲に存在する設備の一部を基準物として利用することができるため、特別なブロック等を基準物として配置する必要がなくなる。

ロボット制御システムの模式図。 初期設定の手順を示すフローチャート。 ロボットの稼動時における制御の手順を示すフローチャート。

以下、ワークを供給部から取り出し、加工して収容部に収容するロボット制御システムに具現化した一実施形態について、図面を参照しつつ説明する。

図１に示すように、ロボット制御システム１０は、ロボット２０、カメラ３０、スライダ４０、物体認識部５０、及びロボット制御装置６０等を備えている。

ロボット２０は、例えば単腕の垂直多関節型ロボットである。ロボット２０は、供給部においてワークＷを把持して（掴んで）加工部へ移動させ、加工部において切削機械等によりワークＷを加工した後に、ワークＷを収容部へ移動させて収容ケースＨの各載置部ＳｎにワークＷを置く（ワークＷを離す）。すなわち、ロボット２０は、複数の作業エリアでそれぞれ対象物に対して作業を行う。ロボット２０のアーム部２１の先端部には、把持用ツール２２（作業ツール）が装着されている。

ワークＷ（対象物）は、所定形状の立体物である。同一形状の複数のワークＷが、整列していない状態で通箱Ｔｂに収容されている。すなわち、各ワークＷの位置及び向きは不特定である。

カメラ３０（可動式カメラ）は、３次元画像を撮像する双眼カメラである。カメラ３０は、スライダ４０の可動部４１に取り付けられている。スライダ４０は、可動部４１を往復直線移動させ、直線上の任意の位置で可動部４１を停止させることができる。スライダ４０の駆動状態は、例えば物体認識部５０により制御される。カメラ３０は、可動部４１と共に移動することにより、供給部、加工部、及び収容部（作業エリア）を撮像可能な向きで可動部４１に取り付けられている。カメラ３０の視野角は、供給部において、通箱Ｔｂ内の全てのワークＷ及び基準ブロックＢ１を視野に入れることができる視野角である。さらに、カメラ３０の視野角は、収容部において、収容ケースＨ内の全ての載置部Ｓｎ及び基準ブロックＢ３を視野に入れることができる視野角である。基準ブロックＢ１，Ｂ３（基準物）は、位置基準となるものであり、例えばワークＷ及び載置部Ｓｎの付近（周囲）にそれぞれ配置された非対称の多面体（特徴部を備える形状）からなるブロック（立体物）である。載置部Ｓｎ（対象物を収容する位置）は、例えば加工後のワークＷの形状に対応した凹部として形成されている。すなわち、カメラ３０は、ロボット２０と分離して移動し、複数の作業エリアの対象物をそれぞれ撮像可能である。カメラ３０は、撮像する際に自動的に焦点位置を調整する機能を備えている。

カメラ３０は、第１撮像位置Ｐ１と第２撮像位置Ｐ２との間で移動させられる。カメラ３０は、第１撮像位置Ｐ１において、通箱Ｔｂ内の全てのワークＷ及び基準ブロックＢ１を同じ撮像視野に入れて３次元画像を撮像する。また、カメラ３０は、第２撮像位置Ｐ２において、収容ケースＨ内の全ての載置部Ｓｎ及び基準ブロックＢ３を同じ撮像視野に入れて３次元画像を撮像する。なお、第１撮像位置Ｐ１，第２撮像位置Ｐ２は、カメラ３０が各作業エリアを撮像することができる位置として、予め設定しておくことも、３次元画像に基づいてその都度設定することもできる。

物体認識部５０は、画像処理部、記憶部、及び入出力インターフェース等を備えている。物体認識部５０は、カメラ３０の座標系とロボット２０の座標系との対応関係を校正するキャリブレーションを行う。物体認識部５０は、第１撮像位置Ｐ１及び第２撮像位置Ｐ２（所定位置）にカメラ３０を移動させた状態で、それぞれキャリブレーションを行う。例えば、ロボット２０のアーム部２１の先端に、所定のマーカＢ２を取り付け、アーム部２１を動作させながらマーカＢ２をカメラ３０により撮像する。マーカＢ２として、所定のドットパターン等が印刷されたキャリブレーションボードや、上記の基準ブロックＢ１，Ｂ３と同様のブロック等を採用することができる。これにより、物体認識部５０は、カメラ３０によりキャリブレーション時の撮像位置から撮像された画像に基づき認識したカメラ３０の座標系における物体の位置姿勢（位置）を、ロボット２０の座標系における物体の位置姿勢（位置）に変換するためのパラメータを取得する。このパラメータは、第１撮像位置Ｐ１及び第２撮像位置Ｐ２の情報を含む。すなわち、物体認識部５０は、キャリブレーションを行うことにより、カメラ３０により所定位置から撮像された画像に基づいて、物体の位置姿勢としてロボット２０の座標系における物体の位置姿勢を認識可能とする。以下、ロボット２０の座標系における物体の位置姿勢を、単に物体の位置姿勢ということがある。物体認識部５０は、カメラ３０が取得した３次元画像（３次元画像データ）を用いて物体の位置姿勢を認識する（演算する）。具体的には、物体認識部５０は、カメラ３０が取得した３次元画像から、物体の位置や姿勢（向き）等を演算する。物体認識部５０は、３次元画像に基づいてワークＷ、基準ブロックＢ１，Ｂ３、及び収容ケースＨ内の載置部Ｓｎの位置姿勢を認識する。

ロボット制御装置６０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及び入出力インターフェース等を備えている。ロボット制御装置６０は、ロボット２０のアーム部２１の揺動・回転、把持用ツール２２の動作等を制御する。ロボット制御装置６０は、物体認識部５０が認識したワークＷの位置姿勢に基づいて、ロボット２０の各動作を制御する。なお、ロボット２０の各動作は、予め教示してロボット制御装置６０に記憶させているので、物体認識部５０が演算したワークＷの位置姿勢に基づいて、ロボット制御装置６０は、教示データを自動的に補正する。

次に、ロボット２０を稼動させる前に行う初期設定の手順について、図２のフローチャートを参照して説明する。この一連の処理は、物体認識部５０により実行される。

まず、ロボット２０とカメラ３０とのキャリブレーションを行う（Ｓ１０）。具体的には、スライダ４０によりカメラ３０を第１撮像位置Ｐ１に移動させた状態で、上記のキャリブレーションを行う。このとき、カメラ３０により撮像された３次元画像には、通箱Ｔｂ内の全てのワークＷ及び基準ブロックＢ１が含まれている。なお、キャリブレーション後に通箱Ｔｂ及び基準ブロックＢ１を配置して、カメラ３０により撮像された３次元画像に通箱Ｔｂ内の全てのワークＷ及び基準ブロックＢ１が含まれるようにしてもよい。

続いて、基準ブロックＢ１の形状データを登録する（Ｓ１１）。具体的には、カメラ３０により撮像された３次元画像を処理することにより、基準ブロックＢ１の３次元形状データを取得して登録する。なお、３次元形状データは、物体の各点の位置を表す点群のデータとして取得される。

続いて、基準ブロックＢ１とカメラ３０との位置関係を取得する（Ｓ１２）。具体的には、カメラ３０により第１撮像位置Ｐ１から基準ブロックＢ１を撮像した３次元画像に基づいて、カメラ３０の座標系における基準ブロックＢ１の位置姿勢を認識する。カメラ３０の座標系における基準ブロックＢ１の位置姿勢（位置）を、上記パラメータを用いてロボット２０の座標系における基準ブロックＢ１の位置姿勢（位置）に変換する。そして、ロボット２０の座標系における基準ブロックＢ１の位置姿勢（基準位置）を、基準ブロックＢ１とカメラ３０との位置関係として取得する。すなわち、カメラ３０により第１撮像位置Ｐ１から基準ブロックＢ１を撮像した３次元画像に基づき認識した基準ブロックＢ１の位置姿勢を、基準ブロックＢ１とカメラ３０との位置関係として取得する。

続いて、対象物の形状データを登録する（Ｓ１３）。具体的には、カメラ３０により撮像された３次元画像を処理することにより、ワークＷの３次元形状データを取得して登録する。なお、複数のワークＷは同一形状であるため、代表の１つのワークＷの３次元形状データを取得すればよい。

続いて、マスタデータを保存する（Ｓ１４）。具体的には、上記の基準ブロックＢ１の３次元形状データ、ロボット２０の座標系における基準ブロックＢ１の位置姿勢、及びワークＷの３次元形状データを、ロボット２０の稼働時に用いるマスタデータとして保存する。その後、この一連の処理を終了する（ＥＮＤ）。
また、物体認識部５０は、スライダ４０によりカメラ３０を第２撮像位置Ｐ２に移動させた状態で、上記Ｓ１０～Ｓ１４と同様の処理を行う。ここでは、基準ブロックＢ３を基準ブロックとし、収容ケースＨ内の載置部Ｓｎを対象物に準ずる扱いとする。

次に、ロボット２０の稼動時における制御の手順について、図３のフローチャートを参照して説明する。この一連の処理において、Ｓ２０～Ｓ２６の処理は物体認識部５０により実行され、Ｓ２７の処理はロボット制御装置６０により実行される。ここでは、ロボット２０が収容部で作業をしている際に、スライダ４０によりカメラ３０を第１撮像位置Ｐ１に移動させてこの一連の処理を行う場合を例にして説明する。スライダ４０によりカメラ３０を第１撮像位置Ｐ１から他の位置へ移動させた後に第１撮像位置Ｐ１に移動させる際には、第１撮像位置Ｐ１と実際のカメラ３０の位置とにずれ（誤差）が生じる。

まず、マスタデータを読み込む（Ｓ２０）。具体的には、上記初期設定において保存されたマスタデータを読み込む。

続いて、基準ブロックと対象物とが同じ撮像視野に入っているか否か判定する（Ｓ２１）。具体的には、基準ブロックＢ１と全てのワークＷとが同じ撮像視野（１つの撮像視野）に入っているか否か判定する。この判定は、カメラ３０により撮像された３次元画像と上記マスタデータ（基準ブロックＢ１の３次元形状データ、及びワークＷの３次元形状データ）とに基づいて、いわゆるマッチングにより行うことができる。この判定において、基準ブロックＢ１と全てのワークＷとが同じ撮像視野に入っていないと判定した場合（Ｓ２１：ＮＯ）、スライダ４０によりカメラ３０を他の撮像位置へ移動させる（Ｓ２２）。具体的には、スライダ４０の直線軌道のいずれか一方へ、スライダ４０の可動部４１を所定量移動させる。なお、上記判定において撮像された３次元画像に基づいて、基準ブロックと対象物とを同じ撮像視野に入れるための可動部４１の移動方向及び移動量を決定することもできる。その後、Ｓ２１の処理から再度実行する。すなわち、カメラ３０は、同じ視野に基準ブロックＢ１とワークＷとが入っていない場合に、同じ視野に基準ブロックＢ１とワークＷとが入る位置まで移動して３次元画像（所定画像）を取得する。

Ｓ２１の判定において、基準ブロックＢ１と全てのワークＷとが同じ撮像視野に入っていると判定した場合（Ｓ２１：ＹＥＳ）、可動式カメラのずれ量を算出する（Ｓ２３）。具体的には、カメラ３０の現在位置（位置）の第１撮像位置Ｐ１からのずれ量を算出する。ここで、カメラ３０により現在位置で撮像された３次元画像（所定画像）に基づき認識した基準ブロックＢ１の位置がマスタデータにおける基準ブロックＢ１の位置（基準位置）からずれていれば、そのずれ量はカメラ３０の現在位置の第１撮像位置Ｐ１からのずれ量に対応（起因）している。このため、カメラ３０により現在位置で撮像された３次元画像に基づき認識した基準ブロックＢ１の位置と、マスタデータにおける基準ブロックＢ１の位置とに基づいて、カメラ３０の現在位置が第１撮像位置Ｐ１からずれているずれ量を算出する。

続いて、可動式カメラのずれ量を補正する（Ｓ２４）。具体的には、カメラ３０の座標系における物体の位置姿勢（位置）を、ロボット２０の座標系における物体の位置姿勢（位置）に変換するための上記パラメータを上記ずれ量に基づいて補正する（パラメータにずれ量を反映させる）。

続いて、対象物の位置姿勢（位置）を認識する（Ｓ２５）。具体的には、カメラ３０により現在位置からワークＷを撮像した３次元画像に基づいて、カメラ３０の座標系におけるワークＷの位置姿勢を認識する。このとき、複数のワークＷの中から掴む対象とするワークＷを選択して、選択したワークＷの位置姿勢を認識する。そして、カメラ３０の座標系におけるワークＷの位置姿勢を、上記補正されたパラメータを用いて、ロボット２０の座標系におけるワークＷの位置姿勢に変換する。すなわち、マスタデータにおける基準ブロックＢ１の位置（基準位置）と、基準ブロックＢ１とワークＷとを視野に入れて撮像した３次元画像（所定画像）に基づき認識した基準ブロックＢ１の位置とに基づいて、カメラ３０の現在位置（位置）の第１撮像位置Ｐ１（所定位置）からのずれ量を算出し、ずれ量と所定画像とに基づいてワークＷの位置姿勢（位置）を認識する。

続いて、対象物の位置姿勢（位置）をロボット制御装置６０へ送信する（Ｓ２６）。具体的には、物体認識部５０は、認識したワークＷの位置姿勢をロボット制御装置６０へ送信する。

続いて、ロボット２０の動作を制御する（Ｓ２７）。具体的には、ロボット制御装置６０は、受信したワークＷの位置姿勢に基づいて、ワークＷを掴むようにアーム部２１及び把持用ツール２２を動作させる（ワークＷに対して作業を行う）。一方、ロボット２０が供給部で作業をしている際に、物体認識部５０はカメラ３０を第２撮像位置Ｐ２へ移動させて、Ｓ２０～Ｓ２６と同様の処理を基準ブロックＢ３及び収容ケースＨの各載置部Ｓｎに対して実行している。供給部においてワークＷを掴んだ後、加工部へワークＷを移動させて切削機械等によりワークＷを加工する。ワークＷを加工した後、ワークＷを収容部へ移動させて収容ケースＨの各載置部ＳｎにワークＷを置く。このとき、ロボット制御装置６０は、ロボット２０が供給部で作業をしている際に予め認識した収容ケースＨの各載置部Ｓｎの位置姿勢に基づいて、目標とする載置部ＳｎにワークＷを置く。そして、ロボット２０が収容部で作業をしている際に、物体認識部５０はカメラ３０を第１撮像位置Ｐ１へ再度移動させて、Ｓ２０～Ｓ２６の処理を再度実行する。以降、上記処理を全てのワークＷに対して作業が終了するまで繰り返す。

以上詳述した本実施形態は、以下の利点を有する。

・カメラ３０は、ロボット２０と分離して移動し、複数の作業エリアのワークＷ及び収容ケースＨの載置部Ｓｎをそれぞれ撮像可能である。そして、物体認識部５０は、カメラ３０により第１撮像位置Ｐ１，第２撮像位置Ｐ２から撮像された画像に基づいて、物体の位置を認識可能である。このため、カメラ３０を第１撮像位置Ｐ１，第２撮像位置Ｐ２に移動させて複数の作業エリアのワークＷ及び収容ケースＨの載置部Ｓｎをそれぞれ撮像することにより、複数の作業エリアでそれぞれワークＷ及び収容ケースＨの載置部Ｓｎの位置を認識することができる。したがって、ロボット２０が複数の作業エリアでそれぞれワークＷに対して作業を行う場合であっても、必要なカメラの台数が増えることを抑制することができる。

・物体認識部５０は、第１撮像位置Ｐ１から撮像された３次元画像に基づき認識した基準ブロックＢ１の基準位置と、基準ブロックＢ１とワークＷとを同じ視野に入れて撮像した所定画像に基づき認識した基準ブロックＢ１の位置とに基づいて、カメラ３０の位置の第１撮像位置Ｐ１からのずれ量を算出する。そして、ずれ量と所定画像とに基づいてワークＷの位置を認識する。このため、カメラ３０が第１撮像位置Ｐ１に正確に戻ることができなかった場合でも、ワークＷの位置を正確に認識することができる。そして、ロボット２０は、物体認識部５０により認識されたワークＷの位置に基づいて、ワークＷに対して正確に作業を行うことができる。また、第２撮像位置Ｐ２、基準ブロックＢ３、及び収容ケースＨの載置部Ｓｎに対しても同様である。

・供給部においてカメラ３０によりワークＷの位置を認識するとともに、既に収容ケースＨの載置部Ｓｎの位置を認識した収容部においてロボット２０によりワークＷに対して作業を行うことができる。すなわち、カメラ３０によるワークＷの位置の認識と、ロボット２０による載置部ＳｎへのワークＷに対する作業とを並行して行うことができる。したがって、複数の作業エリアにおいて、カメラ３０によりワークＷの位置を認識し始めてからワークＷに対して作業し終えるまでのサイクル時間が長くなることを抑制することができる。また、収容部においてカメラ３０により収容ケースＨの載置部Ｓｎの位置を認識するとともに、既にワークＷの位置を認識した供給部においてロボット２０によりワークＷに対して作業を行うことができる。

・カメラ３０は、同じ撮像視野に基準ブロックＢ１とワークＷとが入っていない場合に、同じ撮像視野に基準ブロックＢ１とワークＷとが入る位置まで移動して所定画像を取得する。こうした構成によれば、同じ撮像視野に基準ブロックＢ１とワークＷとが入らない位置にカメラ３０が移動している場合であっても、カメラ３０が移動して位置を変更することにより、基準ブロックＢ１とワークＷとを同じ撮像視野に入れて撮像した所定画像を取得することができる。

・ロボット２０は、複数の作業エリアのうちの供給部においてワークＷを掴み、収容部までワークＷを移動させて離す作業を行う。こうした構成によれば、複数の作業エリアのうちの１つの作業エリアにおいてワークＷを掴み、他の作業エリアまでワークＷを移動させて離す（置く）作業を行う場合であっても、作業エリア毎にカメラが必要とならない。また、既にワークＷの位置を認識した供給部においてロボット２０によりワークＷを掴む作業を行うとともに、ワークＷを離す収容部においてカメラ３０により収容ケースＨの載置部Ｓｎの位置を認識することができる。その結果、必要なカメラの台数が増えることを抑制するとともに、サイクル時間が長くなることを抑制することにある。

・物体認識部５０は、複数の作業エリアのうちの供給部においてロボット２０がワークＷを掴む前に、基準位置と所定画像に基づき認識した基準ブロックＢ１の位置とに基づいて、カメラ３０の現在位置の第１撮像位置Ｐ１からのずれ量を算出し、ずれ量と所定画像とに基づいてワークＷの位置姿勢を認識する。そして、ロボット２０は、物体認識部５０により認識されたワークＷの位置姿勢に基づいて、ワークＷを掴む作業を行う。こうした構成によれば、ワークＷを掴む前にワークＷの位置姿勢を正確に認識することができ、正確に認識したワークＷの位置姿勢に基づいてワークＷを正確に掴むことができる。

・基準ブロックＢ１は、ワークＷの周囲に配置された非対称の多面体からなるブロックである。こうした構成によれば、物体認識部５０は、基準ブロックＢ１の特徴を捉えやすくなるため、基準ブロックＢ１の位置を容易に認識することができる。

なお、上記実施形態を、以下のように変更して実施することもできる。上記実施形態と同一の部分については、同一の符号を付すことにより説明を省略する。

・基準ブロックＢ１，Ｂ３の３次元形状データは、それぞれ第１撮像位置Ｐ１，第２撮像位置Ｐ２でカメラ３０が撮像した３次元画像データと、基準ブロックＢ１，Ｂ３の３次元ＣＡＤデータとを合成して形成することもできる。また、ワークＷ及び収容ケースＨの載置部Ｓｎの３次元形状データは、それぞれ第１撮像位置Ｐ１及び第２撮像位置Ｐ２でカメラ３０が撮像した３次元画像データと、ワークＷ及び載置部Ｓｎの３次元ＣＡＤデータとを合成して形成することもできる。

・物体認識部５０は、図１に示すように、物体の位置を検出する精度がカメラ３０よりも高い３Ｄスキャナ７０を用いてキャリブレーションを行うこともできる。この場合、物体認識部５０は、第１撮像位置Ｐ１及び第２撮像位置Ｐ２（所定位置）に３Ｄスキャナ７０を配置した状態で、それぞれキャリブレーションを行う。そして、３Ｄスキャナ７０により第１撮像位置Ｐ１，第２撮像位置Ｐ２から基準ブロックＢ１，Ｂ３をそれぞれ撮像した３次元画像に基づき認識した基準ブロックＢ１，Ｂ３の位置姿勢（基準位置）を、基準ブロックＢ１，Ｂ３とカメラ３０との位置関係として取得して登録する。

こうした構成によれば、カメラ３０の座標系とロボット２０の座標系との対応関係を正確に校正することができる。さらに、第１撮像位置Ｐ１及び第２撮像位置Ｐ２からそれぞれ撮像された画像に基づき認識した基準ブロックＢ１，Ｂ３の位置である基準位置を、より正確に取得することができる。したがって、カメラ３０の位置の第１撮像位置Ｐ１及び第２撮像位置Ｐ２からのずれ量をより正確に算出することができ、ひいてはワークＷ及び収容ケースＨの載置部Ｓｎの位置をより正確に認識することができる。

・供給部（１つの作業エリア）においてロボット２０がワークＷを掴む際に、ロボット２０とワークＷとの相対位置にばらつきが生じる。その場合、掴んだワークＷを収容部（他の作業エリア）まで移動させて離す（置く）作業において、ワークＷを置く位置にばらつきが生じるおそれがある。

そこで、物体認識部５０は、複数の作業エリアのうちの供給部においてワークＷを掴んだ後に、基準位置と所定画像に基づき認識した基準ブロックＢ１の位置とに基づいて、カメラ３０の現在位置の第１撮像位置Ｐ１からのずれ量を算出し、ずれ量と所定画像とに基づいてワークＷの位置姿勢（位置）を認識してもよい。そして、ロボット２０は、ワークＷを掴んだ後に、物体認識部５０により認識されたワークＷの位置姿勢に基づいて、供給部から収容部までワークＷを移動させて離す作業を行ってもよい。

こうした構成によれば、ワークＷを掴んだ後にワークＷの位置姿勢を正確に認識することができ、正確に認識したワークＷの位置姿勢に基づいて、供給部から収容部までワークＷを移動させて正確な位置で離す（正確な位置に置く）ことができる。なお、供給部においてワークＷを掴んだ後に、物体認識部５０により認識されたワークＷの位置姿勢に基づいて、供給部から加工部までワークＷを移動させて加工する作業を行うこともできる。

・カメラ３０により現在位置で撮像された３次元画像に基づき認識した基準ブロックＢ１の位置と、マスタデータにおける基準ブロックＢ１の位置とに基づいて、カメラ３０の現在位置が第１撮像位置Ｐ１からずれているずれ量を算出する。このずれ量と、座標を変換する上記パラメータに含まれる第１撮像位置Ｐ１及び第２撮像位置Ｐ２の情報とに基づいて、カメラ３０の現在位置を算出する。そして、カメラ３０の現在位置と上記所定画像とに基づいて、ワークＷの位置姿勢（位置）を認識することもできる。

・図１に破線で示すように、ロボット制御システム１０は、ロボット２０を複数備えていてもよい。この場合、基準ブロックＢ１，Ｂ３（基準物）は、複数のロボット２０の複数の作業エリアにそれぞれ設けられている。そして、カメラ３０は、複数のロボット２０の複数の作業エリアのワークＷ（対象物）及び収容ケースＨの載置部Ｓｎをそれぞれ撮像可能である。具体的には、スライダ４０の可動部４１は、複数のロボット２０の複数の作業エリアまで移動可能である。こうした構成によれば、１台のカメラ３０により、複数のロボット２０の作業における対象物の位置の認識を行うことができる。したがって、必要なカメラの台数をさらに減らすことができる。

上記の場合において、カメラ３０により１つの基準ブロックを撮像している状態において、撮像視野にワークＷ及び収容ケースＨの載置部Ｓｎが入れば、供給部及び収容部に共通の１つの基準ブロックを配置してもよい。そして、ロボット２０毎に、１つの基準ブロックを配置してもよい。

・位置基準となる基準物として、ワークＷ及び収容ケースＨの載置部Ｓｎの周囲に存在する設備の一部（例えば装置の一部や支持構造の一部）を採用することもできる。基準物として採用する設備の一部は、位置及び形状が変化しない物体で、カメラ３０により特徴部を認識しやすいものが好ましい。こうした構成によれば、ワークＷ及び収容ケースＨの載置部Ｓｎの周囲に存在する設備の一部を基準物として利用することができるため、特別なブロック等を基準物として配置する必要がなくなる。

・物体認識部５０は、ロボット制御装置６０に含まれていてもよいし、カメラ３０に含まれていてもよい。

・ロボット２０は、単腕の水平多関節型ロボットであってもよい。また、ロボット２０は、双腕の多関節型ロボットであってもよい。

なお、上記各実施形態及びその変更例を、組み合わせ可能な範囲で組み合わせて実施することもできる。

以下、上述した実施形態及び変更例から抽出される特徴的な構成を記載する。
［構成１］
複数の作業エリアでそれぞれ対象物（Ｗ）に対して作業を行うロボット（２０）と、
前記ロボットと分離して移動し、前記複数の作業エリアの前記対象物をそれぞれ撮像可能な可動式カメラ（３０）と、
前記可動式カメラにより所定位置（Ｐ１、Ｐ２）から撮像された画像に基づいて、物体の位置を認識可能である物体認識部（５０）と、
を備えるロボット制御システム（１０）であって、
前記可動式カメラは、位置基準となる基準物（Ｂ１）と前記対象物とを視野に入れて撮像した所定画像を取得し、
前記物体認識部は、前記所定位置から撮像された画像に基づき認識した前記基準物の位置を基準位置として予め登録しており、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、
前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記対象物に対して作業を行う、ロボット制御システム。
［構成２］
前記ロボットを複数備え、
前記基準物は、複数の前記ロボットの前記複数の作業エリアにそれぞれ設けられており、
前記可動式カメラは、複数の前記ロボットの前記複数の作業エリアの前記対象物をそれぞれ撮像可能である、構成１に記載のロボット制御システム。
［構成３］
前記可動式カメラは、視野に前記基準物と前記対象物とが入っていない場合に、視野に前記基準物と前記対象物とが入る位置まで移動して前記所定画像を取得する、構成１又は２に記載のロボット制御システム。
［構成４］
前記物体認識部は、前記可動式カメラの座標系と前記ロボットの座標系との対応関係を校正するキャリブレーションを行うことにより、前記可動式カメラにより前記所定位置から撮像された画像に基づいて、前記物体の位置として前記ロボットの座標系における物体の位置を認識可能とする、構成１～３のいずれか１つに記載のロボット制御システム。
［構成５］
前記キャリブレーションは、物体の位置を検出する精度が前記可動式カメラよりも高い３Ｄスキャナ（７０）を用いて行われ、
前記基準位置は、前記３Ｄスキャナを用いて予め登録されている、構成４に記載のロボット制御システム。
［構成６］
前記ロボットは、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴み、他の作業エリアまで前記対象物を移動させて離す作業を行う、構成１～５のいずれか１つに記載のロボット制御システム。
［構成７］
前記物体認識部は、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴む前に、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、
前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記対象物を掴む作業を行う、構成６に記載のロボット制御システム。
［構成８］
前記物体認識部は、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴んだ後に、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、
前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記１つの作業エリアから他の作業エリアまで前記対象物を移動させて離す作業を行う、構成６又は７に記載のロボット制御システム。
［構成９］
前記基準物は、前記対象物の周囲に配置された非対称の多面体からなるブロックである、構成１～８のいずれか１つに記載のロボット制御システム。
［構成１０］
前記基準物は、前記対象物の周囲に存在する設備の一部である、構成１～８のいずれか１つに記載のロボット制御システム。

１０…ロボット制御システム、２０…ロボット、３０…カメラ、５０…物体認識部、Ｂ１…基準ブロック、Ｂ３…基準ブロック、Ｓｎ…載置部、Ｗ…ワーク。

Claims (10)

1. 複数の作業エリアでそれぞれ対象物（Ｗ）に対して作業を行うロボット（２０）と、
   前記ロボットと分離して移動し、前記複数の作業エリアの前記対象物をそれぞれ撮像可能な可動式カメラ（３０）と、
   前記可動式カメラにより所定位置（Ｐ１、Ｐ２）から撮像された画像に基づいて、物体の位置を認識可能である物体認識部（５０）と、
   を備えるロボット制御システム（１０）であって、
   前記可動式カメラは、位置基準となる基準物（Ｂ１）と前記対象物とを視野に入れて撮像した所定画像を取得し、
   前記物体認識部は、前記所定位置から撮像された画像に基づき認識した前記基準物の位置を基準位置として予め登録しており、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、
   前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記対象物に対して作業を行う、ロボット制御システム。
2. 前記ロボットを複数備え、
   前記基準物は、複数の前記ロボットの前記複数の作業エリアにそれぞれ設けられており、
   前記可動式カメラは、複数の前記ロボットの前記複数の作業エリアの前記対象物をそれぞれ撮像可能である、請求項１に記載のロボット制御システム。
3. 前記可動式カメラは、視野に前記基準物と前記対象物とが入っていない場合に、視野に前記基準物と前記対象物とが入る位置まで移動して前記所定画像を取得する、請求項１又は２に記載のロボット制御システム。
4. 前記物体認識部は、前記可動式カメラの座標系と前記ロボットの座標系との対応関係を校正するキャリブレーションを行うことにより、前記可動式カメラにより前記所定位置から撮像された画像に基づいて、前記物体の位置として前記ロボットの座標系における物体の位置を認識可能とする、請求項１又は２に記載のロボット制御システム。
5. 前記キャリブレーションは、物体の位置を検出する精度が前記可動式カメラよりも高い３Ｄスキャナ（７０）を用いて行われ、
   前記基準位置は、前記３Ｄスキャナを用いて予め登録されている、請求項４に記載のロボット制御システム。
6. 前記ロボットは、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴み、他の作業エリアまで前記対象物を移動させて離す作業を行う、請求項１又は２に記載のロボット制御システム。
7. 前記物体認識部は、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴む前に、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、
   前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記対象物を掴む作業を行う、請求項６に記載のロボット制御システム。
8. 前記物体認識部は、前記複数の作業エリアのうちの１つの作業エリアにおいて前記対象物を掴んだ後に、前記基準位置と前記所定画像に基づき認識した前記基準物の位置とに基づいて、前記可動式カメラの位置の前記所定位置からのずれ量を算出し、前記ずれ量と前記所定画像とに基づいて前記対象物の位置を認識し、
   前記ロボットは、前記物体認識部により認識された前記対象物の位置に基づいて、前記１つの作業エリアから他の作業エリアまで前記対象物を移動させて離す作業を行う、請求項６に記載のロボット制御システム。
9. 前記基準物は、前記対象物の周囲に配置された非対称の多面体からなるブロックである、請求項１又は２に記載のロボット制御システム。
10. 前記基準物は、前記対象物の周囲に存在する設備の一部である、請求項１又は２に記載のロボット制御システム。

Images