JP7222135B1 - ロボット制御装置、及びロボット制御システム - Google Patents

Abstract

【課題】搬送ロボットの自動的な教示を、より精度高く行うことができるロボット制御装置を提供する。【解決手段】ハンド部５０の基端側に固定されたカメラ部６０を有する搬送ロボット２を制御するロボット制御装置１は、カメラ部６０が取得した撮影画像を受け付ける受付部１１と、ハンド部５０で保持されている模擬搬送対象を含む撮影画像を用いて、模擬搬送対象が有する基準マーカに応じた第１の位置を特定する第１の特定部１２と、目標位置に配置された模擬搬送対象を含む撮影画像を用いて、模擬搬送対象が有する基準マーカに応じた第２の位置を特定する第２の特定部１３と、第１及び第２の位置が重なるように搬送ロボット２を制御する制御部１５と、第１及び第２の位置が重なった状態で教示を行う教示部１６とを備える。このように、基準マーカを用いることによって、高精度な教示を自動的に行うことができる。【選択図】図１

Description

本発明は、搬送ロボットを制御して自動的に教示を行うロボット制御装置等に関する。

従来、基板を搬送する搬送ロボットにおいて、目標位置に配置された教示用基板の撮影画像と、ハンドの基板載置部に仮想的に配置された仮想基板の画像とをパターンマッチングすることによって教示用基板までの距離を算出し、その算出した距離を用いて目標位置に関して自動的に教示することが行われている（例えば、特許文献１参照）。

特開２０１８－０５１６７０号公報

しかしながら、上記特許文献１に記載された方法では、上記したように、仮想基板である楕円形状の画像と、教示用基板である楕円形状の画像とをパターンマッチングすることによって教示用基板までの距離を算出しているため、正確な距離の算出が難しいという課題がある。その理由は、次のとおりである。正円形状の基板を斜めから撮影するとパースの付いた楕円形状になるが、撮影画像において、その楕円形状の中心（すなわち、長軸と短軸の交点）の位置と、正円形状の基板の中心に相当する位置とには差（ずれ）があり、両者は一致しない。そのため、パターンマッチングによって、一方の楕円形状の中心から他方の楕円形状の中心までの距離を算出したとしても、その距離は、仮想基板である正円形状の中心から教示用基板である正円形状の中心までの距離とは一致しないことになる。なぜならば、撮影画像において手前側に存在する仮想基板における上記した差と、撮影画像において奥側に存在する教示用基板における上記した差とは同じではないからである。したがって、上記特許文献１に記載されているように、パターンマッチングによって教示用基板までの距離を算出し、その距離だけハンドを移動させた位置において教示を行ったとしても、正確な教示を行うことはできないことになる。

本発明は、上記課題を解決するためになされたものであり、搬送対象を搬送する搬送ロボットについて、より精度の高い教示を自動的に行うことができるようにするためのロボット制御装置等を提供することを目的とする。

上記目的を達成するため、本発明の一態様によるロボット制御装置は、板状の搬送対象を保持するハンド部とハンド部に連結されたアーム部とハンド部の基端側に固定されたカメラ部とを有する搬送ロボットを制御するロボット制御装置であって、カメラ部によって取得された撮影画像を受け付ける受付部と、受付部によって受け付けられた、ハンド部で保持されている模擬搬送対象を含む撮影画像を用いて、模擬搬送対象が有する基準マーカに応じた位置である第１の位置を特定する第１の特定部と、受付部によって受け付けられた、目標位置に配置された模擬搬送対象を含む撮影画像を用いて、模擬搬送対象が有する基準マーカに応じた位置である第２の位置を特定する第２の特定部と、第１の位置が第２の位置に重なるように、ハンド部が搬送対象を保持していない状態の搬送ロボットを制御する制御部と、第１の位置が第２の位置に重なった状態で教示を行う教示部と、を備えたものである。

本発明の一態様によるロボット制御装置等によれば、模擬搬送対象が有する基準マーカの位置を用いて教示を行うため、より正確な教示を実現することができるようになる。

本発明の実施の形態によるロボット制御システムの構成を示す模式図 同実施の形態によるロボット制御装置の動作を示すフローチャート 同実施の形態における模擬搬送対象の一例を示す平面図 同実施の形態における模擬搬送対象の一例を示す平面図 同実施の形態における搬送ロボット等の配置の一例を示す平面図 同実施の形態における撮影画像の一例を示す図 同実施の形態における撮影画像の一例を示す図 同実施の形態におけるハンド部の移動制御の一例について説明するための図 同実施の形態におけるハンド部の移動制御の一例について説明するための図

以下、本発明によるロボット制御システム、及びロボット制御装置について、実施の形態を用いて説明する。なお、以下の実施の形態において、同じ符号を付した構成要素及びステップは同一または相当するものであり、再度の説明を省略することがある。本発明の実施の形態によるロボット制御装置は、板状の搬送対象を搬送する搬送ロボットについて、基準マーカを有する模擬搬送対象の撮影画像を用いて自動的に教示を行うものである。

図１は、本実施の形態によるロボット制御システム１００の構成を示す模式図である。本実施の形態によるロボット制御システム１００は、ロボット制御装置１と、搬送対象を搬送する搬送ロボット２とを備える。

搬送ロボット２は、基部２０と、基部２０に一端が接続され、モータによって駆動される関節によって連結された複数のアームを有するアーム部４０と、アーム部４０の先端側に連結されたハンド部５０と、ハンド部５０の基端側に固定されたカメラ部６０とを備える。アーム部４０は、第１アーム２１、第２アーム２２、及び第３アーム２３を有する垂直アーム部４１と、第４アーム２４、及び第５アーム２５を有する水平アーム部４２とを備える。

垂直アーム部４１が有する第１アーム２１の基端側は、第１軸３１によって、回動可能に基部２０に支持されている。基部２０は、例えば、床等に固定されていることが好適である。第１アーム２１の先端側は、第２アーム２２の基端側と第２軸３２によって回動可能に連結されている。第２アーム２２の先端側は、第３アーム２３の基端側と第３軸３３によって回動可能に連結されている。第１から第３のアーム２１～２３によって、垂直方向にアームが動作する多関節の垂直アーム部４１が構成されている。第１軸３１、第２軸３２、第３軸３３の各回転軸は、水平方向に延びる回転軸であってもよい。また、それらの各回転軸は、平行であってもよい。また、それらの各回転軸は、それぞれモータによって駆動されることが好適である。なお、垂直アーム部４１は、第３軸３３を水平方向に移動させることができる。第３アーム２３は、水平アーム部４２の基端側が回動可能に連結される回転ベース２３ａを先端側に有している。第３アーム２３は、垂直アーム部４１が停止している場合には、垂直方向に延びるように、すなわち回転ベース２３ａの上面が水平方向となるように第３軸３３において制御されることが好適である。水平アーム部４２が水平多関節マニピュレータとして動作できるようにするためである。また、第３アーム２３の位置が移動されている場合、すなわちアーム部４０の先端側が垂直アーム部４１によって移動されている場合には、第３軸３３より先端側の各軸は回動されないことが好適である。

水平アーム部４２が有する第４アーム２４の基端側は、第５軸３５によって、回動可能に回転ベース２３ａに接続されている。なお、第４アーム２４の基端側は、厳密には、第５軸３５と同軸である第４軸３４を介して、回転ベース２３ａに接続されている。したがって、水平アーム部４２の基端側は、旋回軸である第４軸３４によってθ方向に旋回可能に回転ベース２３ａに接続されていることになる。第５アーム２５の基端側は、第６軸３６によって、回動可能に第４アーム２４の先端側に連結されている。ハンド部５０の基端側は、第７軸３７によって、回動可能に第５アーム２５の先端側に連結されている。第４及び第５アーム２４，２５によって、水平方向にアームが動作する多関節の水平アーム部４２が構成されている。第４軸３４、第５軸３５、第６軸３６、第７軸３７の各回転軸は、回転ベース２３ａの上面が水平方向である場合に、垂直方向（鉛直方向）に延びる回転軸であってもよい。また、それらの各回転軸は、平行であってもよい。旋回軸である第４軸３４は、モータによって駆動されることが好適である。第５軸３５、第６軸３６、第７軸３７は、例えば、１つのモータと、そのモータの駆動力を伝達する伝達手段とによって駆動されてもよく、各軸がそれぞれモータによって駆動されてもよい。その伝達手段は、例えば、ベルトとプーリによって構成されてもよく、複数のギヤによって構成されてもよい。そのような構成により、例えば、ハンド部５０が、直線的に移動されてもよい。すなわち、第５軸３５、第６軸３６、第７軸３７は、例えば、ハンド部５０の先端側を直線的に移動させるように駆動されてもよい。その場合には、旋回軸である第４軸３４によって、その直線の方向が変更されることになる。

ハンド部５０は、板状の搬送対象を保持することができるものである。搬送対象は、例えば、半導体基板やガラス基板など基板であってもよく、各種のウェハであってもよく、その他の薄板状のものであってもよい。搬送対象の形状は特に限定されないが、例えば、円盤形状や矩形状などであってもよい。ハンド部５０は、搬送時に搬送対象がずれたり落ちたりしないように搬送対象を固定できるチャック機構を有してもよく、または、そうでなくてもよい。後者の場合には、例えば、搬送対象の保持は、搬送対象が載置されることであってもよい。ハンド部５０が有するチャック機構は、例えば、把持機構であってもよく、吸着機構であってもよい。なお、アーム部４０は、２以上の水平アーム部を有していてもよい。また、本実施の形態による搬送ロボット２のように、基端側の垂直アーム部４１、及び、先端側の水平アーム部４２を有するアーム部４０と、そのアーム部４０の先端に連結されたハンド部５０とを有する多関節ロボットはすでに公知であるため、その詳細な説明を省略する。

カメラ部６０は、ハンド部５０の基端側に固定されている。したがって、ハンド部５０の移動に応じて、カメラ部６０も移動することになる。カメラ部６０は、ハンド部５０によって保持された搬送対象を撮影できると共に、ハンド部５０が目標位置に配置された搬送対象を取得するための取得開始位置に位置する際に、目標位置に配置された搬送対象を撮影できる画角及び光軸方向となっていることが好適である。なお、取得開始位置とは、ハンド部５０を直線的に移動させることによって、目標位置に配置された搬送対象を取得することができる位置であってもよい。また、カメラ部６０は、例えば、単眼のカメラであってもよく、ステレオカメラであってもよい。後者の場合には、基準マーカを有する模擬搬送対象の撮影画像を用いて、３次元のカメラ座標系における基準マーカの位置を特定することができる。本実施の形態では、カメラ部６０がステレオカメラである場合について主に説明する。なお、撮影画像は、グレースケール画像であることが好適である。すなわち、撮影画像はモノクロカメラによって撮影されることが好適である。カラー画像よりもグレースケール画像の方が高解像度だからである。一方、色情報を用いて基準マーカを特定する場合などには、撮影画像はカラー画像であってもよい。また、カメラ部６０は、例えば、静止画を撮影してもよく、動画を撮影してもよい。後者の場合には、動画に含まれる１フレームが、撮影画像としてロボット制御装置１において用いられてもよい。

搬送ロボット２は、例えば、図４で示されるように、搬送対象が格納されるフープ１１０と、搬送対象のアライメントを行うためのアライナ１２０と、搬送対象に対して所定の処理を行う処理装置１３０との間で搬送対象を搬送してもよい。なお、図４では、説明の便宜上、搬送ロボット２のアーム部４０の水平アーム部４２のみを示している。例えば、フープ１１０内に格納された搬送対象をハンド部５０で取り出してアライナ１２０に載置し、アライメント行った後に、あらかじめ決められた位置及び向きで、搬送対象を、３個のピン１３１上に載置することによって、処理装置１３０によって、搬送対象に対する処理が行われてもよい。この場合には、目標位置に配置された搬送対象は、例えば、フープ１１０に格納された搬送対象や、アライナ１２０に載置された搬送対象、処理装置１３０の３個のピン１３１に配置された搬送対象などであってもよい。また、例えば、フープ１１０に格納された搬送対象を取り出すための教示、アライナ１２０に搬送対象を載置するための教示、３個のピン１３１上に搬送対象を載置するための教示が行われてもよい。なお、搬送対象を取得するための教示と、搬送対象を設置するための教示は実質的に同じであるため、一方の教示を行えば、他方の処理も行うことができるようになる。

ロボット制御装置１は、搬送ロボット２を制御するものであり、図１で示されるように、受付部１１と、第１の特定部１２と、第２の特定部１３と、記憶部１４と、制御部１５と、教示部１６とを備える。

受付部１１は、カメラ部６０によって取得された撮影画像を受け付ける。受付部１１は、例えば、カメラ部６０から連続的に出力されている撮影画像を受け付けてもよく、または、ロボット制御装置１から出力された撮影指示に応じてカメラ部６０によって取得された撮影画像を受け付けてもよい。受け付けられた撮影画像は、例えば、記憶部１４に蓄積されてもよい。受付部１１は、受け付けを行うためのデバイス（例えば、通信デバイスなど）を含んでもよく、または含まなくてもよい。また、受付部１１は、ハードウェアによって実現されてもよく、または所定のデバイスを駆動するドライバ等のソフトウェアによって実現されてもよい。

第１の特定部１２は、受付部１１によって受け付けられた撮影画像を用いて、模擬搬送対象６１が有する基準マーカ６１ａに応じた位置である第１の位置を特定する。第１の位置の特定は、ハンド部５０で保持されている模擬搬送対象６１を含む撮影画像を用いて行われるものとする。

模擬搬送対象６１は、例えば、搬送対象と同様の形状、及び大きさを有していることが好適である。ここでは、図３Ａで示されるように、模擬搬送対象６１が円盤形状である場合について主に説明する。模擬搬送対象６１は、例えば、搬送対象と同程度の重量であってもよい。模擬搬送対象６１の材料は特に限定されないが、例えば、アルミニウムなどの金属であってもよく、樹脂であってもよい。模擬搬送対象６１は、基準マーカ６１ａを有している。基準マーカ６１ａは、模擬搬送対象６１の撮影画像において位置を特定可能なものであれば特に限定されず、例えば、模擬搬送対象６１に貼付や印刷、描画された図形（例えば、点状の図形など）であってもよく、模擬搬送対象６１に設けられた孔や窪みであってもよく、模擬搬送対象６１に固定された物（例えば、ボルトなど）であってもよい。なお、基準マーカ６１ａは、ピンポイントの位置を特定できる形状であることが好適である。そのため、基準マーカ６１ａは、例えば、点形状のものであってもよく、×印などのように複数の線分の交点によってピンポイントの位置を示すものであってもよく、ピンポイントの位置を特定可能な他の形状のものであってもよい。本実施の形態では、基準マーカ６１ａが、模擬搬送対象６１の円盤の中心に配置されている場合について主に説明するが、それ以外の位置に基準マーカが配置されていてもよい。また、模擬搬送対象６１は、例えば、実際の搬送対象（例えば、実際に搬送される半導体基板やウェハなど）に基準マーカを付加した教示用の搬送対象であってもよい。

第１の特定部１２は、例えば、撮影画像に含まれる基準マーカ６１ａを特定し、その特定した基準マーカ６１ａの位置を特定してもよい。基準マーカ６１ａの特定は、例えば、基準マーカ６１ａの特徴を用いて行われてもよい。例えば、基準マーカ６１ａが所定の色の図形である場合には、撮影画像において、その所定の色の領域を探索することによって基準マーカ６１ａが特定されてもよい。また、基準マーカ６１ａが円盤状の模擬搬送対象６１の中心に配置されている場合には、まず、円盤形状の物体がパターンマッチングなどによって特定され、その後に、その円盤形状の物体の中心付近の図形が特定されることによって基準マーカ６１ａが特定されてもよい。なお、あらかじめ決められた形状や色などの特徴を有する箇所を撮影画像において特定する方法はすでに公知であり、その詳細な説明を省略する。

第１の特定部１２が特定する第１の位置は、例えば、カメラ部６０の座標系（以下、「カメラ座標系」とする。）、または、カメラ座標系と一対一の関係にあるローカル座標系（例えば、ハンド部５０の座標系など）における位置であってもよい。また、第１の位置は、例えば、撮影画像における位置であってもよい。本実施の形態では、第１の位置、及び後述する第２の位置が、３次元のカメラ座標系における位置、すなわち３次元空間における位置である場合について主に説明する。なお、ステレオカメラによって撮影されたステレオ画像を用いて、撮影画像内に含まれる所定のオブジェクトの３次元の座標系における座標値を取得する処理は公知であり、その詳細な説明を省略する。また、基準マーカ６１ａに応じた位置とは、例えば、基準マーカ６１ａの位置そのものであってもよく、または、基準マーカ６１ａの位置と所定の関係にある位置であってもよい。本実施の形態では、前者の場合、すなわち、第１の位置が、ハンド部５０で保持されている模擬搬送対象６１が有する基準マーカ６１ａの位置である場合について主に説明し、後者の場合については後述する。なお、第１の位置、及び後述する第２の位置の特定は、例えば、特定対象の位置を示す座標の情報を記録媒体に蓄積することによって行われてもよい。本実施の形態では、特定された第１及び第２の位置が、記憶部１４に蓄積されるものとする。

第２の特定部１３は、受付部１１によって受け付けられた撮影画像を用いて、模擬搬送対象６１が有する基準マーカ６１ａに応じた位置である第２の位置を特定する。第２の位置の特定は、目標位置に配置された模擬搬送対象６１を含む撮影画像を用いて行われるものとする。この第２の位置の特定を行う撮影画像では、ハンド部５０において模擬搬送対象６１が保持されていないことが好適であるが、そうでなくてもよい。また、第２の位置の特定に用いられる模擬搬送対象６１は、例えば、第１の位置の特定に用いられた模擬搬送対象６１と同じものであってもよく、または、第１の位置の特定に用いられた模擬搬送対象６１と同形状の他の模擬搬送対象６１であってもよい。後者の場合には、撮影画像において、第１の位置の特定用の第１の模擬搬送対象と、第２の位置の特定用の第２の模擬搬送対象とを区別できるようになっていてもよい。より具体的には、第１及び第２の模擬搬送対象は、色や模様、表示されている図形などによって視覚的に区別可能になっていてもよい。そして、第１及び第２の特定部１２，１３は、受付部１１で受け付けられた撮影画像に含まれる模擬搬送対象が第１及び第２の模擬搬送対象のどちらであるのかを判断し、その判断結果に応じて、第１及び第２の特定部１２，１３の一方が位置を特定する処理を行ってもよい。具体的には、第１の模擬搬送対象であると判断された場合には、第１の特定部１２によって処理が行われ、第２の模擬搬送対象であると判断された場合には、第２の特定部１３によって処理が行われてもよい。第２の位置の特定も、第１の位置の特定と同様に、カメラ部６０やハンド部５０などのローカル座標系における位置の特定であってもよい。第２の位置の特定は、特定対象の基準マーカ６１ａを有する模擬搬送対象６１の配置位置が異なる以外は、第１の位置の特定と同様であり、その詳細な説明を省略する。

通常、第１の位置を特定するための撮影画像と、第２の位置を特定するための撮影画像とは異なっているが、そうでなくてもよい。ハンド部５０で保持された模擬搬送対象６１の基準マーカ６１ａと、目標位置に配置された模擬搬送対象６１の基準マーカ６１ａとの両方を一括して撮影できる場合には、１個の撮影画像を用いて第１及び第２の位置が特定されてもよい。

記憶部１４では、特定された第１及び第２の位置が記憶される。また、記憶部１４では、例えば、受け付けられた撮影画像も記憶されてもよい。この場合には、第１及び第２の特定部１２，１３は、記憶部１４から撮影画像を読み出して位置の特定を行ってもよい。また、後述するように、記憶部１４では、教示データも記憶されてもよい。記憶部１４は、不揮発性の記録媒体によって実現されることが好適であるが、揮発性の記録媒体によって実現されてもよい。記録媒体は、例えば、半導体メモリや磁気ディスクなどであってもよい。

制御部１５は、第１の位置が第２の位置に重なるように、ハンド部５０が搬送対象を保持していない状態の搬送ロボット２を制御する。この制御は、カメラ部６０やハンド部５０などのローカル座標系において、第１の位置が第２の位置に重なるようにするための制御であってもよい。この制御によって、ハンド部５０は、例えば、目標位置に配置されている搬送対象を取り上げる位置、または、目標位置に搬送対象を置くための位置に移動することになる。搬送ロボット２の制御は、厳密には、搬送ロボット２のアーム部４０、特に水平アーム部４２の制御である。この制御は、例えば、目標位置に模擬搬送対象６１が配置された状態で行われてもよい。この制御において、例えば、第１の位置が第２の位置に重なるまでに、第２の特定部１３による第２の位置の特定が１回のみ行われてもよい。この場合には、撮影画像を用いた第２の位置の特定と、第１の位置が第２の位置に重なるようにするための搬送ロボット２の制御とがそれぞれ１回だけ行われることになる。すなわち、ハンド部５０の目標位置に向かった移動制御が、１回の制御で行われることになる。この場合には、第１の位置から第２の位置にハンド部５０が移動するように制御が行われてもよい。より具体的には、制御部１５は第１及び第２の位置を用いることによって、第１の位置が第２の位置に重なるまでのハンド部５０の経路を取得することができる。その経路は、例えば、ローカル座標系における直線の経路や、曲線の経路などであってもよい。そして、制御部１５はその経路に沿ってハンド部５０が移動するようにアーム部４０を制御してもよい。より具体的には、制御部１５は、ローカル座標系における経路を、ロボット座標系における経路に変換し、その変換後の経路に沿ってハンド部５０が移動するようにアーム部４０を制御してもよい。一方、この制御において、例えば、第１の位置が第２の位置に重なるまでに、第２の特定部１３による第２の位置の特定と、制御部１５による第１の位置が第２の位置に近づくようにするためのアーム部４０の制御とが繰り返されてもよい。この場合には、撮影画像を用いた第２の位置の特定と、第１の位置が第２の位置に近づくようにするための搬送ロボット２の制御とがそれぞれ２回以上行われることになる。すなわち、ハンド部５０の目標位置に向かった移動制御が、何回かに分けて行われることになる。この場合には、第２の位置を特定するための撮影画像の取得も、２回以上行われることになる。なお、第１の位置が第２の位置に近づくようにするためのアーム部４０の１回の制御における移動距離は、例えば、あらかじめ決まっていてもよく、または、移動の総距離や移動回数などのパラメータに応じて決定される可変量であってもよい。後者の場合には、例えば、移動の総距離を移動回数で除算した距離が、１回の制御における移動距離であってもよい。また、第１の位置が第２の位置に近づくようにするためのアーム部４０の１回の制御における移動方向は、例えば、特定された第１及び第２の位置に応じた方向であってもよく、強化学習を前提にしたランダムな方向であってもよい。特定された第１及び第２の位置に応じた方向は、例えば、第２の位置を特定するための撮影画像が取得された際のローカル座標系における第１の位置と第２の位置とを結ぶ直線の方向であってもよく、第１の位置から第２の位置までの所定の経路（例えば、円弧状の経路など）に沿った方向であってもよい。

教示部１６は、第１の位置が第２の位置に重なった状態で教示を行う。すなわち、教示部１６は、第１の位置が第２の位置に重なった状態で、アーム部４０の各関節の角度を制御部１５から取得して記憶部１４に蓄積してもよい。その蓄積された各関節の角度を示す情報が、目標位置に搬送対象を搬送するための、または、目標位置に配置されている搬送対象を取得するための教示データとなる。なお、例えば、特定された第１及び第２の位置によって、第１及び第２の位置が重なっていることが確認された後に教示が行われてもよく、または、制御部１５によって、第１及び第２の位置が重なるようにするためのハンド部５０の移動制御が行われた後に、両位置が重なっていることを確認することなく教示が行われてもよい。

次に、ロボット制御装置１の動作について図２のフローチャートを用いて説明する。
（ステップＳ１０１）第１の特定部１２は、第１の位置を特定するかどうか判断する。そして、第１の位置を特定する場合には、ステップＳ１０２に進み、そうでない場合には、ステップＳ１０５に進む。なお、第１の特定部１２は、例えば、第１の位置を特定する旨の指示がロボット制御装置１に入力された場合に、第１の位置を特定すると判断してもよい。

（ステップＳ１０２）受付部１１は、第１の位置を特定するための撮影画像、すなわちハンド部５０が模擬搬送対象６１を保持している状態の撮影画像を受け付ける。受付部１１は、例えば、カメラ部６０から連続的に出力されている複数の撮影画像のうち、その時点に出力された１つの撮影画像を受け付けてもよく、カメラ部６０への撮影画像の取得指示の出力に応じて取得された撮影画像を受け付けてもよい。後者の場合には、例えば、第１の特定部１２が、その指示をカメラ部６０に渡してもよい。

（ステップＳ１０３）第１の特定部１２は、撮影画像において基準マーカ６１ａを特定する。

（ステップＳ１０４）第１の特定部１２は、ステップＳ１０３で特定した基準マーカ６１ａの位置である第１の位置を特定する。具体的には、第１の特定部１２は、特定した第１の位置を示す情報を記憶部１４に蓄積してもよい。そして、ステップＳ１０１に戻る。なお、ステップＳ１０１～Ｓ１０４の処理は、ハンド部５０によって模擬搬送対象６１が保持されている状態で行われることが好適である。

（ステップＳ１０５）第２の特定部１３は、第２の位置を特定するかどうか判断する。そして、第２の位置を特定する場合には、ステップＳ１０６に進み、そうでない場合には、ステップＳ１０１に戻る。なお、第２の特定部１３は、例えば、第２の位置を特定する旨の指示がロボット制御装置１に入力された場合に、第２の位置を特定すると判断してもよい。

（ステップＳ１０６）受付部１１は、第２の位置を特定するための撮影画像、すなわち目標位置に配置された模擬搬送対象６１を含む撮影画像を受け付ける。受付部１１は、例えば、カメラ部６０から連続的に出力されている複数の撮影画像のうち、その時点に出力された１つの撮影画像を受け付けてもよく、カメラ部６０への撮影画像の取得指示の出力に応じて取得された撮影画像を受け付けてもよい。後者の場合には、例えば、第２の特定部１３が、その指示をカメラ部６０に渡してもよい。

（ステップＳ１０７）第２の特定部１３は、撮影画像において基準マーカ６１ａを特定する。

（ステップＳ１０８）第２の特定部１３は、ステップＳ１０７で特定した基準マーカ６１ａの位置である第２の位置を特定する。具体的には、第２の特定部１３は、特定した第２の位置を示す情報を記憶部１４に蓄積してもよい。

（ステップＳ１０９）制御部１５は、ステップＳ１０４で特定された第１の位置と、ステップＳ１０８で特定された第２の位置とが一致するかどうか判断する。なお、ステップＳ１０８における第２の位置の特定が複数回行われている場合には、最新の第２の位置と、第１の位置とが比較されるものとする。制御部１５は、例えば、第１及び第２の位置が所定の誤差の範囲内で一致する場合には、両者が一致すると判断してもよい。そして、第１及び第２の位置が一致する場合には、ステップＳ１１１に進み、そうでない場合には、ステップＳ１１０に進む。

（ステップＳ１１０）制御部１５は、第１の位置が第２の位置に重なるための制御を行う。この制御は、上記したように、例えば、第１の位置が第２の位置に重なるようにするための１回の制御であってもよく、または、第１の位置が第２の位置に重なるようにするための複数回の制御における１回の制御、すなわち、第１の位置が第２の位置に近づくようにするための制御であってもよい。そして、ステップＳ１０６に戻る。

（ステップＳ１１１）教示部１６は、教示を行う。より具体的には、教示部１６は、その時点のアーム部４０の各関節の角度を教示データとして記憶部１４に蓄積してもよい。そして、ステップＳ１０１に戻る。なお、ステップＳ１０５～Ｓ１１１の処理は、目標位置に模擬搬送対象６１が配置されている状態で行われることが好適である。

なお、図２のフローチャートでは、第１の位置が第２の位置に重なっていることを確認した上で教示を行う場合について示しているが、そうでなくてもよい。その確認を行うことなく教示を行ってもよい。この場合には、第１の位置が第２の位置に重なるようにするための１回の制御、または複数回の制御が行われた後に、教示の処理が行われてもよい。また、図２のフローチャートにおける処理の順序は一例であり、同様の結果を得られるのであれば、各ステップの順序を変更してもよい。また、図２のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。

次に、本実施の形態によるロボット制御システム１００の動作について、具体例を用いて説明する。
まず、ユーザは、ハンド部５０に模擬搬送対象６１を保持させた後に、第１の位置の特定を行うようにロボット制御装置１に指示する。すると、その指示に応じて、第１の特定部１２は、第１の位置を特定すると判断し、カメラ部６０に撮影画像を取得するように指示する（ステップＳ１０１）。その指示を受け取ると、カメラ部６０は、撮影画像を取得してロボット制御装置１に出力する。図５は、その撮影画像を示す図である。なお、実際の撮影画像はステレオ画像であるが、説明の便宜上、図５では、そのステレオ画像に相当する単眼のカメラの撮影画像を示している。図６も同様である。撮影画像は、ロボット制御装置１の受付部１１で受け付けられ、第１の特定部１２に渡される（ステップＳ１０２）。撮影画像を受け取ると、第１の特定部１２は、基準マーカ６１ａを特定し、その基準マーカ６１ａの位置である第１の位置Ａ１を特定して、制御部１５に渡す（ステップＳ１０３、Ｓ１０４）。この第１の位置Ａ１は、カメラ座標系における位置であり、（ｘ１，ｙ１，ｚ１）であったとする。

次に、ユーザは、ハンド部５０から模擬搬送対象６１を取り外して、教示を行う位置である目標位置に配置する。この目標位置は、上記したように、例えば、フープ１１０内の位置であってもよく、アライナ１２０の位置であってもよく、処理装置１３０の３個のピン１３１の上であってもよい。また、ハンド部５０が、目標位置に配置された模擬搬送対象６１に対して取得開始位置と異なる位置に存在する場合には、ユーザは、ハンド部５０が取得開始位置となるように手動で搬送ロボット２を操作してもよい。この操作は、例えば、図示しないティーチングペンダント等を用いて行われてもよい。

その後、ユーザは、第２の位置の特定を行うようにロボット制御装置１に指示する。すると、その指示に応じて、第２の特定部１３は、第２の位置を特定すると判断し、カメラ部６０に撮影画像を取得するように指示する（ステップＳ１０５）。その指示を受け取ると、カメラ部６０は、図６で示される撮影画像を取得してロボット制御装置１に出力する。その撮影画像は、ロボット制御装置１の受付部１１で受け付けられ、第２の特定部１３に渡される（ステップＳ１０６）。撮影画像を受け取ると、第２の特定部１３は、基準マーカ６１ａを特定し、その基準マーカ６１ａの位置である第２の位置Ｂを特定して、制御部１５に渡す（ステップＳ１０７、Ｓ１０８）。この第２の位置Ｂは、カメラ座標系における位置であり、（ｘ２，ｙ２，ｚ２）であったとする。なお、図６において、第１の位置Ａ１を表示しているが、これは参考のためであり、撮影画像には含まれていない。

制御部１５は、第１及び第２の位置を比較して、両者が一致していないと判断する（ステップＳ１０９）。そして、制御部１５は、点Ａ１から点Ｂまでのベクトルを算出し、そのベクトルに所定の係数αを乗算する。その乗算後のベクトルは、例えば、次式のようになる。
α×（ｘ２－ｘ１，ｙ２－ｙ１，ｚ２－ｚ１）

なお、αは、１以下の実数であり、本具体例では、第１及び第２の位置が一致していないと１回目に判断された際にはα＝１／３に設定され、両者が一致していないと２回目に判断された際にはα＝１／２に設定され、両者が一致していないと３回目に判断された際にはα＝１に設定されるものとする。したがって、第１及び第２の位置が一致していないと１回目に判断された時点では、制御部１５は、次式のベクトルを算出し、そのベクトルに応じてハンド部５０が移動するようにアーム部４０を制御する（ステップＳ１１０）。
１／３×（ｘ２－ｘ１，ｙ２－ｙ１，ｚ２－ｚ１）

この制御により、図７Ａで示されるように、ハンド部５０は、第１の位置が点Ａ１から点Ａ２となるように移動することになる。そして、その位置において、再度、新たな撮影画像を用いた第２の位置の特定が行われる（ステップＳ１０６～Ｓ１０８）。新たに特定された第２の位置Ｂは、（ｘ３，ｙ３，ｚ３）であったとする。この場合にも、制御部１５は、第１及び第２の位置は一致しないと判断して、次式のベクトルを算出し、そのベクトルに応じてハンド部５０が移動するようにアーム部４０を制御する（ステップＳ１０９，Ｓ１１０）。
１／２×（ｘ３－ｘ１，ｙ３－ｙ１，ｚ３－ｚ１）

この制御により、図７Ａで示されるように、ハンド部５０は、第１の位置が点Ａ２から点Ａ３となるように移動することになる。そして、その位置において、再度、新たな撮影画像を用いた第２の位置の特定が行われる（ステップＳ１０６～Ｓ１０８）。新たに特定された第２の位置Ｂは、（ｘ４，ｙ４，ｚ４）であったとする。この場合にも、制御部１５は、第１及び第２の位置は一致しないと判断して、次式のベクトルを算出し、そのベクトルに応じてハンド部５０が移動するようにアーム部４０を制御する（ステップＳ１０９，Ｓ１１０）。
（ｘ４－ｘ１，ｙ４－ｙ１，ｚ４－ｚ１）

この制御により、図７Ａで示されるように、ハンド部５０は、第１の位置が点Ａ３から点Ｂとなるように移動することになる。そして、その位置において、再度、新たな撮影画像を用いた第２の位置の特定が行われる（ステップＳ１０６～Ｓ１０８）。新たに特定された第２の位置Ｂは、（ｘ５，ｙ５，ｚ５）であったとする。この場合には、第１及び第２の位置は誤差の範囲内で一致していると判断されたとする（ステップＳ１０９）。すると、制御部１５は、アーム部４０の各関節の角度と、教示の指示とを教示部１６に渡す。教示の指示などを受け取ると、教示部１６は、受け取った各関節の角度を含む教示データを記憶部１４に蓄積する（ステップＳ１１１）。このようにして、フープ１１０等に配置された搬送対象を取得するための教示（または、フープ１１０等に搬送対象を配置するための教示）を自動的に行うことができる。

なお、本具体例では、図７Ａで示されるように、３回の制御によって第１の位置が第２の位置に重なるようにする場合であって、各制御におけるハンド部５０の移動量が均等である場合について説明したが、そうでなくてもよい。例えば、Ｎ回（Ｎは２以上の整数）の制御によって第１の位置が第２の位置に重なるようにする場合において、Ｍ－１番目の制御におけるハンド部５０の移動量より、Ｍ番目の制御におけるハンド部５０の移動量の方が少なくなるように制御されてもよい。なお、Ｍは、２以上、Ｎ以下の任意の整数である。このようにすることで、より精度の高い位置決めを実現することができるようになる。

また、本具体例では、複数回の移動によって、第１の位置が第２の位置に重なるようにする場合について説明したが、そうでなくてもよい。ステップＳ１１０における初回の制御時に、α＝１に設定することによって、１回の移動で第１の位置が第２の位置に重なるようにしてもよい。この場合には、図７Ｂで示されるように、ハンド部５０は、第１の位置が点Ａ１から点Ｂとなるように一気に移動することになり、より短時間での教示を実現することができるようになる。

また、本具体例では、第１の位置が第２の位置に重なるようにするため、ハンド部５０を直線的に移動させる場合について説明したが、そうでなくてもよい。理想的には、第１の位置が第２の位置に重なるように、搬送対象を保持していないハンド部５０を移動させる際に、目標位置に配置されている模擬搬送対象６１にハンド部５０が接触することはないと考えられる。一方、誤差等の原因によって、両者が接触する可能性もあり得るため、例えば、制御部１５は、上記のように算出したベクトルに応じてハンド部５０を移動させる場合に、移動開始時に所定の微小量（例えば、１ｃｍ、２ｃｍなど）だけハンド部５０を鉛直方向の下側に移動させ、その後に、算出したベクトルに応じてハンド部５０を移動させ、その移動後に所定の微小量だけハンド部５０を鉛直方向の上側に移動させるようにしてもよい。このようにすることで、第１の位置が第２の位置に重なるように制御する際に、ハンド部５０が模擬搬送対象６１に接触することを回避することができる。

また、この具体例では、第１及び第２の位置が一致するかどうかを判断する場合について説明したが、そうでなくてもよい。その判断を行うことなく、ステップＳ１１０の処理を既定の回数だけ行うことによって、第１の位置が第２の位置に重なるようにしてもよい。

以上のように、本実施の形態によるロボット制御装置１によれば、模擬搬送対象６１の基準マーカ６１ａを用いて第１及び第２の位置を特定するため、上記特許文献１のように、楕円形状のパターンマッチングを行って距離を算出するよりも正確にハンド部５０の移動先を特定することができ、より正確な教示を行うことができるようになる。また、ハンド部５０が模擬搬送対象６１を保持した状態の撮影画像を用いて第１の位置を特定するため、搬送対象を保持した際のハンド部５０の傾きやたわみなども加味された第１の位置の特定が可能になる。そのため、上記特許文献１のように、模擬搬送対象６１を用いないで仮想基板を用いて特定された位置を用いた教示と比較して、より精度の高い教示を実現することができる。また、カメラ部６０がステレオカメラである場合には、３次元のローカル座標系において、第１及び第２の位置を特定することができ、第１の位置が第２の位置に重なるようにするための制御がより正確なものになる。また、ハンド部５０が教示を行う位置に移動するまでに、第２の位置を特定するための撮影画像の取得と、第２の位置の特定と、特定された第２の位置を用いた、第１の位置が第２の位置に近づくための移動とが繰り返されることによって、より精度の高い移動を実現することができ、結果として、高精度な教示を行うことができるようになる。さらに、撮影画像を用いて第１及び第２の位置が重なったことを確認してから教示を行うことによって、教示の精度を向上させることができる。また、第１の位置が第２の位置に近づくための移動を繰り返すと共に、撮影画像を用いて第１及び第２の位置が重なったことを確認してから教示を行う場合には、第１の位置から第２の位置までの正確な距離が分からなくてもよいことになり、その正確な距離を算出するためのパラメータの調整などを行わなくてもよいことになる。

なお、本実施の形態では、模擬搬送対象６１が１個の基準マーカを有する場合について主に説明したが、そうでなくてもよい。例えば、図３Ｂで示されるように、模擬搬送対象６１は、複数の基準マーカ６１ｂ～６１ｄを有していてもよい。図３Ｂでは、模擬搬送対象６１の円盤の中心が、３個の基準マーカ６１ｂ～６１ｄが各頂点となる正三角形の重心と重なるように、３個の基準マーカ６１ｂ～６１ｄが配置されていてもよい。そして、第１及び第２の特定部１２，１３は、撮影画像に含まれる３個の基準マーカ６１ｂ～６１ｄを特定し、その３個の基準マーカ６１ｂ～６１ｄの位置の重心を、第１及び第２の位置として特定してもよい。この場合には、第１及び第２の位置と、基準マーカの位置とは異なることになる。例えば、３個の基準マーカ６１ｂ～６１ｄの位置関係は、処理装置１３０における３個のピン１３１の位置関係と同じであってもよい。この場合には、例えば、基準マーカ６１ｂ～６１ｄがそれぞれ３個のピン１３１の位置となるように、模擬搬送対象６１を３個のピン１３１上に配置することによって、模擬搬送対象６１をより正確に目標位置に配置することができるようになる。

また、本実施の形態では、カメラ部６０がステレオカメラである場合について主に説明したが、そうでなくてもよい。カメラ部６０がステレオカメラでない場合、すなわち単眼のカメラである場合には、第１及び第２の位置の３次元の座標系における位置を特定することはできないが、ハンド部５０を基準として、第２の位置が存在する方向を知ることができる。そのため、制御部１５は、その方向にハンド部５０を移動させる制御を行うことによって、第１及び第２の位置が重なるようにしてもよい。この場合には、第１及び第２の位置の特定は、例えば、撮影画像中における第１及び第２の位置に相当する画素の特定であってもよい。すなわち、撮影画像における位置が特定されてもよい。また、この場合には、第２の位置の特定と、第１の位置を第２の位置に近づけるための制御とは、第１及び第２の位置が重なるまで繰り返して行われることが好適である。

また、本実施の形態で説明した搬送ロボット２の構成は一例であり、ロボット制御装置１は、それ以外の構成を有する搬送ロボットを制御してもよい。例えば、搬送ロボット２が有する垂直アーム部４１や水平アーム部４２のリンク数や軸数は問わない。また、制御対象の搬送ロボットは、基端側の垂直アーム部と、その垂直アーム部の先端側に連結された水平アーム部とを有していてもよく、または、そうでなくてもよい。後者の場合には、搬送ロボットは、例えば、垂直アーム部の先端にハンド部が連結されたものであってもよく、水平アーム部のみを有していてもよい。

また、上記実施の形態において、各処理または各機能は、単一の装置または単一のシステムによって集中処理されることによって実現されてもよく、または、複数の装置または複数のシステムによって分散処理されることによって実現されてもよい。

また、上記実施の形態において、ロボット制御装置１に含まれる２以上の構成要素が通信デバイスや入力デバイス等を有する場合に、２以上の構成要素が物理的に単一のデバイスを有してもよく、または、別々のデバイスを有してもよい。

また、上記実施の形態において、各構成要素は専用のハードウェアにより構成されてもよく、または、ソフトウェアにより実現可能な構成要素については、プログラムを実行することによって実現されてもよい。例えば、ハードディスクや半導体メモリ等の記録媒体に記録されたソフトウェア・プログラムをＣＰＵ等のプログラム実行部が読み出して実行することによって、各構成要素が実現され得る。その実行時に、プログラム実行部は、記憶部や記録媒体にアクセスしながらプログラムを実行してもよい。また、そのプログラムは、サーバなどからダウンロードされることによって実行されてもよく、所定の記録媒体（例えば、光ディスクや磁気ディスク、半導体メモリなど）に記録されたプログラムが読み出されることによって実行されてもよい。また、このプログラムは、プログラムプロダクトを構成するプログラムとして用いられてもよい。また、そのプログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、または分散処理を行ってもよい。

また、本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。

１ ロボット制御装置、２ 搬送ロボット、１１ 受付部、１２ 第１の特定部、１３ 第２の特定部、１４ 記憶部、１５ 制御部、１６ 教示部、４０ アーム部、５０ ハンド部、６０ カメラ部、６１ 模擬搬送対象、６１ａ～６１ｄ 基準マーカ、１００ ロボット制御システム

Claims (5)

1. 板状の搬送対象を保持するハンド部と当該ハンド部に連結されたアーム部と前記ハンド部の基端側に固定されたカメラ部とを有する搬送ロボットを制御するロボット制御装置であって、
   前記カメラ部によって取得された撮影画像を受け付ける受付部と、
   前記受付部によって受け付けられた、前記ハンド部で保持されている模擬搬送対象を含む撮影画像を用いて、当該模擬搬送対象が有する１個の基準マーカの位置である第１の位置を特定する第１の特定部と、
   前記受付部によって受け付けられた、目標位置に配置された模擬搬送対象を含む撮影画像を用いて、当該模擬搬送対象が有する１個の基準マーカの位置である第２の位置を特定する第２の特定部と、
   前記第１の位置が前記第２の位置に重なるように、前記ハンド部が搬送対象を保持していない状態の前記搬送ロボットを制御する制御部と、
   前記第１の位置が前記第２の位置に重なった状態で教示を行う教示部と、を備えたロボット制御装置。
2. 前記カメラ部は、ステレオカメラであり、
   前記第１及び第２の位置は、３次元のカメラ座標系における位置である、請求項１記載のロボット制御装置。
3. 前記第１の位置が前記第２の位置に重なるまでに、
   前記第２の特定部による、撮影画像を用いた前記第２の位置の特定と、
   前記制御部による前記第１の位置が前記第２の位置に近づくようにするための前記アーム部の制御とが繰り返される、請求項１または請求項２記載のロボット制御装置。
4. 前記第１の位置が前記第２の位置に重なるまでに、前記第２の特定部による、撮影画像を用いた前記第２の位置の特定が１回のみ行われる、請求項１または請求項２記載のロボット制御装置。
5. 板状の搬送対象を保持するハンド部と当該ハンド部に連結されたアーム部と前記ハンド部の基端側に固定されたカメラ部とを有する搬送ロボットと、
   当該搬送ロボットを制御する、請求項１または請求項２記載のロボット制御装置と、を備えたロボット制御システム。

Images