JP7372161B2

JP7372161B2 - マニピュレータ、自動化方法及びプログラム

Info

Publication number: JP7372161B2
Application number: JP2020009473A
Authority: JP
Inventors: 伸浅野; 直隆小松; 篤杉浦; 洋音小松
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 2020-01-23
Filing date: 2020-01-23
Publication date: 2023-10-31
Anticipated expiration: 2040-01-23
Also published as: JP2021115651A

Description

本開示は、マニピュレータ、自動化方法及びプログラムに関する。

部品製造において、部品に取り付けられたボルトにナットを掛けてネジを締める等の人手のよる作業は、単調且つ当該作業の箇所の多さから、ミスが起きる可能性がある。そのため、マニピュレータを用いたナットの締め付けが検討されている（例えば、特許文献１－３を参照）。

特開２０１６－１９０３１６号公報特開２０１６－０１６５０９号公報特開２０１７－１９６７１３号公報

しかしながら、マニピュレータのアームに設けられるセンサが検知できる距離には限りがある。このため、マニピュレータを用いてボルトを締め付ける場合は、マニピュレータに設置したセンサがボルトを検知できるように、人手などによりマニピュレータをボルトの近傍に移動させる必要がある。

本開示の目的は、上述した課題を解決するマニピュレータ、自動化方法及びプログラムを提供することにある。

本開示に係るマニピュレータは、アームと、アームの先端に設けられ、ナットを把持してナットを回転軸回りに回転させるナットランナとを備えるマニピュレータであって、アームの先端に設けられ、広角で被写体の形態を検知するロングレンジセンサと、アームの先端に設けられ、拡大して被写体の形態を検知する、ロングレンジセンサより焦点距離の短いショートレンジセンサと、ロングレンジセンサによって検知された形態から、マニピュレータに対するボルトの相対位置である第１相対位置を特定する第１位置特定部と、第１相対位置に基づいて、ボルトにアームの先端が近接するようにアームの姿勢を制御する第１制御部と、ショートレンジセンサによって検知された形態から、ボルトが写る部分を特定し、マニピュレータに対するボルトの相対位置である第２相対位置とマニピュレータの姿勢を特定する第２位置特定部と、第２相対位置に基づいて、ナットランナが把持するナットをボルトに挿入できるようにアームの姿勢を制御する第２制御部と、を備える。

本開示に係る自動化方法は、アームと、アームの先端に設けられ、ナットを把持してナットを回転軸回りに回転させるナットランナを備えるマニピュレータであって、アームの先端に設けられ、広角で被写体の形態を検知するロングレンジセンサと、アームの先端に設けられ、拡大して被写体の形態を検知する、ロングレンジセンサより焦点距離の短いショートレンジセンサと、を備えるマニピュレータにおいて、ロングレンジセンサによって検知された形態から、マニピュレータに対するボルトの相対位置である第１相対位置を特定するステップと、第１相対位置に基づいて、ボルトにアームの先端が近接するようにアームの姿勢を制御するステップと、ショートレンジセンサによって検知された形態から、ボルトが写る部分を特定し、マニピュレータに対するボルトの相対位置である第２相対位置とマニピュレータの姿勢を特定するステップと、第２相対位置に基づいて、ナットランナが把持するナットがボルトに挿入できるようにアームの姿勢を制御するステップと、を有する。

本開示に係るプログラムは、アームと、アームの先端に設けられ、ナットを把持してナットを回転軸回りに回転させるナットランナとを備えるマニピュレータであって、アームの先端に設けられ、広角で被写体の形態を検知するロングレンジセンサと、アームの先端に設けられ、拡大して被写体の形態を検知する、ロングレンジセンサより焦点距離の短いショートレンジセンサと、を備えるマニピュレータにおいて、ロングレンジセンサによって検知された形態から、マニピュレータに対するボルトの相対位置である第１相対位置を特定するステップと、第１相対位置に基づいて、ボルトにアームの先端が近接するようにアームの姿勢を制御するステップと、ショートレンジセンサによって検知された形態から、ボルトが写る部分を特定し、マニピュレータに対するボルトの相対位置である第２相対位置とマニピュレータの姿勢を特定するステップと、第２相対位置に基づいて、ナットランナが把持するナットがボルトに挿入できるようにアームの姿勢を制御するステップとして実行させる。

上記態様のうち少なくとも１つの態様によれば、施工対象にボルトに締め付けをする場合、人手を削減でき、ミスを減らすことができる。

一実施形態に係るマニピュレータの構成を示す図である。一実施形態に係るエンドエフェクタの構成を示す図である。一実施形態に係る制御装置の構成を示す図である。一実施形態に係るＣＡＤ情報の一例を示す図である。一実施形態に係るＣＡＤ情報の一例を示す図である。一実施形態に係るロングレンジセンサが検知したランドマークの形態の一例を示す図である。一実施形態に係るマニピュレータの動作を示すフローチャートである。コンピュータの構成を示す概略ブロック図である。

〈第１の実施形態〉
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、第１の実施形態に係る自動化システムの構成を示す図である。図１には、マニピュレータ１００と、施工対象３００と、が示されている。

《施工対象の構成》
施工対象３００は、自動化システム１０によりナットが締め付けられる対象である。施工対象３００の例としては、航空機部品の一つであるパネルと、船舶部品の一つであるパネルと、が挙げられる。

施工対象３００は、ランドマーク３０１と、ボルト３０２と、を備える。図１に示す施工対象３００は、ランドマーク３０１を１つ、ボルト３０２を４つ備えるが、図１と異なる数のランドマーク３０１と、図１と異なる数のボルト３０２と、を備えても良い。また、図１に示す施工対象３００は、地面に垂直に立てられているが、地面に対して斜めに置かれ、または地面に寝かせて置かれていても良い。

ランドマーク３０１は、施工対象３００に設けられた特徴的な形態を有する構造物である。ランドマーク３０１の例としては、図１に示すように、施工対象３００の長方凸状のリブが挙げられる。自動化システム１０は、ランドマーク３０１を認識することで、施工対象３００の位置や姿勢を特定することができる。ランドマーク３０１の形状は長方形に限らず、円形や三角形など多様な形で有っても良い。また、施工対象３００の全体が平坦でランドマーク３０１たり得る構造物がない場合には、施工対象３００の任意の位置にランドマーク３０１としてマーカを付しても良い。また、図１においてランドマーク３０１は、施工対象３００の中部に位置する。ランドマーク３０１は、施工対象３００の上部や下部などに位置しても良い。

ボルト３０２は、施工対象３００に設けられた穴に予め嵌められる。ボルト３０２は、自動化システム１０によるナットの締め付け対象物である。図１に示す例では、ボルト３０２の頭部は図１の紙面後方側に位置するように嵌められる。

図１に示す例では、施工対象３００は、ボルト３０２Ａと、ボルト３０２Ｂと、ボルト３０２Ｃと、ボルト３０２Ｄの４つのボルト３０２を有する。ボルト３０２Ａは施工対象３００の上部にあり、ボルト３０２Ｂは施工対象３００の中部且つランドマーク３０１の上部にある。ボルト３０２Ｄは施工対象３００の下部にあり、ボルト３０２Ｃは施工対象３００の中部且つランドマーク３０１の下部にある。図１に示す施工対象３００は、全ての穴にボルト３０２が嵌められた状態であるが、施工対象３００の一部の穴にのみにボルト３０２が嵌められた状態であっても良い。

《マニピュレータの構成》
マニピュレータ１００は、施工対象３００のランドマーク３０１の形態とボルト３０２の形態を検知して、施工対象３００のボルト３０２にナットを締め付ける。図１に示すマニピュレータ１００は、多関節型マニピュレータである。マニピュレータ１００は、アーム１０１と、関節１０２と、制御装置１０３と、エンドエフェクタ１０４と、ナットフィーダ１０５と、移動体２００と、を備える。
なお、図１に示すエンドエフェクタ１０４は簡略化されて示されたものであり、エンドエフェクタ１０４の構成は図２に示す。

移動体２００は、アーム１０１の基端部を移動可能に支持する。移動体２００の例としては、移動台車、ガイドを用いる移動車が挙げられる。移動体２００は、制御装置１０３から信号を受け入れて、ロングレンジセンサ１１０がランドマーク３０１の形態を検知可能な位置に移動する。

図１に示す移動体２００は、制御装置１０３から信号を受け入れて移動するが、制御装置１０３から信号を受け入れず、人手によりマニピュレータ１００を移動させるものであっても良い。この場合、移動体２００は、ユーザの操作入力を受け入れる操作入力受入部を備えて、リアルタイムでユーザの操作入力を受け入れて、マニピュレータ１００を移動させても良い。

図１に示すマニピュレータ１００は、アーム１０１としてアーム１０１Ａと、アーム１０１Ｂと、アーム１０１Ｃとを備えているが、異なる数のアーム１０１を備えても良い。また、図１に示すマニピュレータ１００は、関節１０２として関節１０２Ａと、関節１０２Ｂと、関節１０２Ｃとを備えているが、異なる数の関節１０２を備えても良い。

アーム１０１Ｃには制御装置１０３が内蔵される。アーム１０１Ｃの先端部は関節１０２Ｂを介してアーム１０１Ｂの基端部に接続される。アーム１０１Ｂの先端部は関節１０２Ａを介してアーム１０１Ａの基端部と接続される。アーム１０１Ｃの基板部は関節１０２Ｃを介して移動体２００に接続される。ナットフィーダ１０５は移動体２００の上に別置きでセットされる。なお、ナットフィーダ１０５はエンドエフェクタ１０４に直接供給されるようにして、アーム１０１Ａの先端部に取り付けても構わない。アーム１０１Ａの先端部にはエンドエフェクタ１０４が設けられる。

関節１０２には、サーボモータが内蔵される。サーボモータの回転によって当該関節１０２に接続されるアーム１０１の姿勢が制御される。

なお、他の実施形態に係る関節１０２は、回転関節に加えて直動関節を備えても良い。直動関節を備えたマニピュレータ１００は、直動関節の伸び縮みにより、ナットを締め付けできる範囲を調整することができる。

制御装置１０３は、マニピュレータ１００を制御してボルト３０２にナットを締め付ける。制御装置１０３の詳細の構成については図４に示し、後述する。

エンドエフェクタ１０４は、ロングレンジセンサ１１０と、ショートレンジセンサ１２０と、ナットランナ１３０と、を備える。図２はエンドエフェクタ１０４の構成を示す図である。

ロングレンジセンサ１１０は、アーム１０１の先端に設けられ、広角で被写体の形態を検知する。すなわち、ロングレンジセンサ１１０は、被写体である施工対象３００の形態を検知し、施工対象３００のランドマーク３０１の形態を検知する。広角とは、ロングレンジセンサ１１０のレンズの中央からレンズが被写体を結ぶまでの距離（焦点距離）が短い状況をいう。
図２に示すロングレンジセンサ１１０はステレオカメラである。すなわち、ロングレンジセンサ１１０は、２つのカメラ１１０Ａ、１１０Ｂを備える。２つのカメラ１１０Ａ及び１１０Ｂは、それぞれ被写体の形態を示す画像を撮像する。ロングレンジセンサ１１０は、２つのカメラ１１０Ａ及び１１０Ｂが撮像した画像から、被写体の距離画像を生成する。距離画像は、点群データなどによって表される三次元データとなる場合もある。

なお、他の実施形態に係るロングレンジセンサ１１０はレーザーセンサなどの被写体の三次元形状を検知可能な他の装置であっても良い。また、他の実施形態に係るロングレンジセンサ１１０は、単眼カメラであっても良い。
ロングレンジセンサ１１０は、ロングレンジセンサ１１０とランドマーク３０１との距離が略６０センチメートル以下のときに、当該ランドマーク３０１が明瞭に映るような焦点距離を有する。

ショートレンジセンサ１２０は、アーム１０１の先端に設けられ、拡大して被写体の形態を検知する。すなわち、ショートレンジセンサ１２０は、被写体である施工対象３００の形態を検知し、施工対象３００のボルト３０２の形態も検知する。
図２に示すショートレンジセンサ１２０はステレオカメラである。すなわち、ショートレンジセンサ１２０は、２つのカメラ１２０Ａ、１２０Ｂを備える。２つのカメラ１２０Ａ及び１２０Ｂは、それぞれ被写体の形態を示す画像を撮像する。ショートレンジセンサ１２０は、２つのカメラ１２０Ａ及び１２０Ｂが撮像した画像から、被写体の距離画像を生成する。

なお、他の実施形態に係るショートレンジセンサ１２０は、レーザーセンサなどの被写体の三次元形状を検知可能な他の装置であっても良い。ショートレンジセンサ１２０は、ナットランナ１３０とボルト３０２との距離が略１０センチメートル以下のときに、当該ボルト３０２が明瞭に映るような焦点距離を有する。

ナットランナ１３０は、ナットフィーダ１０５から供給されたナットを把持し、ボルト３０２に当該ナットを締め付ける。ナットランナ１３０は、モータドライバ（図示しない）を内蔵する。

ナットランナ１３０は、ナットを把持するソケットの内部に負圧を発生させることで、ソケットにナットを吸着させる。その後、ナットランナ１３０は、モータドライバの回転によりソケットを回転させることにより、ソケットに把持されたナットを回転させる。ナットの軸とボルト３０２の軸とが一致した状態でソケットが回転されることにより、ナットランナ１３０は、ボルト３０２にナットを締め付けることができる。

ナットフィーダ１０５は、移動台車上にセットされるか、アーム１０１Ａの表面に取り付けられ、マニピュレータによりアームの先端部に取り付けたナットランナをアクセスしてフィードされてきたナットを把持するか、ナットランナ１３０にナットを供給するようになっている。ナットフィーダ１０５は、図示しないホッパに投入された複数のナットを軸方向に揃えて一列に並べる。ナットフィーダ１０５は並べられたナットのうち先頭の１つをナットランナ１３０のソケットに供給する。

《制御装置の構成》
以下、制御装置１０３の構成について説明する。
図３は制御装置１０３の構成を示す図である。制御装置１０３は、センサコントローラ１５０と、マニピュレータコントローラ１６０と、ナットランナコントローラ１７０と、相対位置特定部１５２と、第１位置特定部１５３と、第２位置特定部１５４と、座標変換部１６１と、移動制御部２０１と、を備える。

センサコントローラ１５０は、ロングレンジセンサ１１０及びショートレンジセンサ１２０がランドマーク３０１及びボルト３０２の形態を撮像するように制御する。センサコントローラ１５０は、ロングレンジセンサ１１０及びショートレンジセンサ１２０に電気信号を送って、ロングレンジセンサ１１０及びショートレンジセンサ１２０を制御する。すなわち、センサコントローラ１５０は、ロングレンジセンサ１１０が、被写体である施工対象３００のランドマーク３０１の形態を撮像して検知するように制御する。また、センサコントローラ１５０は、ショートレンジセンサ１２０が、被写体である施工対象３００のボルト３０２の形態を撮像して検知するように制御する。

相対位置特定部１５２は、ロングレンジセンサ１１０によって検知された形態から、施工対象３００のランドマーク３０１が写る部分を特定し、マニピュレータ１００に対する施工対象のランドマークの相対位置を特定する。
以下、相対位置特定部１５２がランドマーク３０１の相対位置を特定する動作を説明する。

相対位置特定部１５２は、ロングレンジセンサ１１０Ａ及びロングレンジセンサ１１０Ｂが撮像したランドマーク３０１の形態を含む画像を取得する。
その後、相対位置特定部１５２は、ロングレンジセンサ１１０Ａが撮像した画像と、ロングレンジセンサ１１０Ｂが撮像した画像を照らし合わせて、三角測量の方法もしくは予め登録したＣＡＤによる寸法形状の情報を用いて３次元的にマッチングさせる方法を用いてランドマーク３０１の相対位置を特定する。上記相対位置とは、マニピュレータ１００のロングレンジセンサ１１０を基準点（０、０、０）とした場合の、ランドマーク３０１の代表部位（例えば、画像の重心位置）のＸ、Ｙ、Ｚ座標である。

第１位置特定部１５３は、ランドマーク３０１の相対位置をランドマーク３０１及びボルト３０２を含む施工対象３００の形態を示すＣＡＤ情報に照らし合わせて、マニピュレータ１００に対するボルトの相対位置である第１相対位置を特定する。
上記ＣＡＤ情報とは、ランドマーク３０１の形態及び位置と、ボルト３０２の位置と、が含まれた施工対象３００の３次元の地図情報である。

図４と、図５は施工対象３００のＣＡＤ情報の一例を示す図である。また、図６は、ロングレンジセンサ１１０が検知したランドマーク３０１の形態の一例である。制御装置１０３は、図４と図５に示すように、異なる角度から施工対象３００を見た場合の複数の地図情報をＣＡＤ情報として記憶する。
以下、第１位置特定部１５３の動作を説明する。

第１位置特定部１５３は、ロングレンジセンサ１１０が検知したランドマーク３０１の形態である図６のような画像を、制御装置１０３が記憶しているＣＡＤ情報に照らし合わせる。
マニピュレータ１００のロングレンジセンサ１１０の位置により、施工対象３００のランドマーク３０１の見え方は異なるため、ＣＡＤ情報のうち、図４のＣＡＤ情報と、図６の画像とは一致しない。図６の画像と、図５のＣＡＤ情報が一致するため、第１位置特定部１５３は、図５のＣＡＤ情報から、ロングレンジセンサ１１０が検知したランドマーク３０１を図５のＣＡＤ情報におけるランドマーク３０１と特定する。

その後、第１位置特定部１５３は、図５のＣＡＤ情報からランドマーク３０１に対するボルト３０２の位置を取得する。
その後、第１位置特定部１５３は、取得したランドマーク３０１に対するボルト３０２の位置に、相対位置特定部１５２が特定した相対位置を加算する。すなわち、第１位置特定部１５３は、ランドマーク３０１に対するボルト３０２の位置に、マニピュレータ１００に対するランドマーク３０１の位置である相対位置を加算することにより、マニピュレータ１００に対するボルト３０２の相対位置である第１相対位置を特定する。第１相対位置は３次元座標である。

座標変換部１６１は、マニピュレータ１００の姿勢に基づいて、第１位置特定部１５３が特定した第１相対位置を、アーム１０１の基端部を基準点としたボルト３０２の座標に変換する。
以下、座標変換部１６１の動作について説明する。

座標変換部１６１は、関節１０２が備える回転センサ（図示しない）から回転角のデータを受け入れ、制御装置１０３が記憶するアーム１０１の長さのデータを、受け入れて、マニピュレータ１００の姿勢を特定する。
その後、座標変換部１６１は、特定したマニピュレータ１００の姿勢を、マニピュレータ１００の姿勢と座標変換式とが関連付けられた情報である変換情報に照らし合わせて、座標変換式を特定する。
その後、座標変換部１６１は、特定した座標変換式に第１位置特定部１５３が特定した第１相対位置を代入して、アーム１０１の基端部を基準点としたボルト３０２の座標を算出する。

第２位置特定部１５４は、ショートレンジセンサ１２０によって検知された形態から、ボルト３０２が写る部分を特定し、ボルト３０２の軸の傾きを特定して、マニピュレータ１００に対するボルト３０２の相対位置と姿勢（具体的にはボルトを円筒とみなした時の円筒端面の中心と中心軸の方位情報）である第２相対位置を特定する。
以下、第２位置特定部１５４が第２相対位置を特定する動作を説明する。

第２位置特定部１５４は、ショートレンジセンサ１２０Ａ及びショートレンジセンサ１２０Ｂが撮像したボルト３０２の形態を含む画像を取得する。
その後、第２位置特定部１５４は、ショートレンジセンサ１２０Ａが撮像した画像と、ショートレンジセンサ１２０Ｂが撮像した画像を照らし合わせて、三角測量の方法もしくは予め登録したＣＡＤによる寸法形状の情報を用いて３次元的にマッチングさせる方法を用いて、又、ボルト３０２の先端部の形態に基づいて、当該ボルト３０２の軸の傾きを特定して、第２相対位置を特定する。上記第２相対位置とは、マニピュレータ１００のショートレンジセンサ１２０を基準点（０、０、０）とした場合の、ボルト３０２のＸ、Ｙ、Ｚ座標である。

マニピュレータコントローラ１６０は、第１制御部と第２制御部の一例である。
マニピュレータコントローラ１６０は、第１相対位置に基づいて、ボルト３０２にアーム１０１の先端が近接するようにアーム１０１の姿勢を制御する。また、マニピュレータコントローラ１６０は、第２相対位置に基づいて、ナットランナ１３０が把持するナットがボルト３０２に挿入できるようにアーム１０１の姿勢を制御する。
具体的には、マニピュレータコントローラ１６０は以下のように動作する。

まず、マニピュレータコントローラ１６０は、以下のような動作により、第１相対位置に基づいて、ボルト３０２にアーム１０１の先端が近接するようにアーム１０１の姿勢を制御する。
マニピュレータコントローラ１６０は、座標変換部１６１が変換したボルト３０２の座標を受け入れる。

その後、マニピュレータコントローラ１６０は、受け入れたボルト３０２の座標にアーム１０１の先端近接するように、関節１０２が備えるサーボモータに信号を送信する。ボルト３０２の座標にアーム１０１の先端が近接するとは、ボルト３０２の座標とアーム１０１の先端とが離れた距離が、予め設定された範囲内になることをいう。
マニピュレータコントローラ１６０から信号を受け入れた関節１０２が備えるサーボモータは、関節１０２が備える回転軸を回転させる。これにより、ボルト３０２の座標にアーム１０１の先端が近接することとなる。

また、マニピュレータコントローラ１６０は、以下のような動作により、第２相対位置に基づいて、ナットランナ１３０が把持するナットがボルト３０２に挿入できるようにアーム１０１の姿勢を制御する。
まず、マニピュレータコントローラ１６０は、第２相対位置を第２位置特定部１５４から受け入れる。

その後、マニピュレータコントローラ１６０は、受け入れた第２相対位置を用いて、ナットランナ１３０がボルト３０２に近接するように、関節１０２が備えるサーボモータに信号を送信する。ナットランナ１３０にボルト３０２が近接するとは、ナットランナ１３０の位置とボルト３０２の位置とが離れた距離が、予め設定された範囲内になることをいう。

マニピュレータコントローラ１６０から信号を受け入れた関節１０２が備えるサーボモータは、関節１０２が備える回転軸を回転させる。これにより、ボルト３０２の第２相対位置にナットランナ１３０が近接できるようになる。

マニピュレータ１００は、マニピュレータコントローラ１６０によりナットランナ１３０が把持するナットがボルト３０２に近接するようにアーム１０１の姿勢を制御された後に、ショートレンジセンサ１２０により再度ボルト３０２の先端部の形態を検知して、検知された当該形態に基づいて、マニピュレータコントローラ１６０によりナットランナ１３０が把持するナットがボルト３０２に挿入できるようにアーム１０１の姿勢を制御しても良い。
すなわち、ショートレンジセンサ１２０により検知されたボルト３０２の先端部の形態が、ナットランナ１３０が把持するナットをボルト３０２に嵌められる形態ではない場合は、制御装置１０３は、検知された当該形態に基づいて、マニピュレータコントローラ１６０によりナットランナ１３０が把持するナットがボルト３０２に挿入できるようにアーム１０１の姿勢を制御する。

ナットランナコントローラ１７０は、ナットランナ１３０が備えるサーボモータ（図示しない）に信号を送り、ナットランナ１３０が把持するナットを回転させるように制御する。すなわち、ナットランナ制御部１７１から信号を受け入れたナットランナ１３０が備えるサーボモータは、ナットランナ１３０が把持するナットを回転させる。これにより、ナットはボルト３０２に締め付けられる。

移動制御部２０１は、予め設定された情報に基づいてロングレンジセンサ１１０がランドマーク３０１の形態を検知可能な位置に移動体２００を移動させる。
以下、移動制御部２０１の動作を説明する。

移動制御部２０１は、ビーコン発信機（図示しない）から受信した信号に基づいて、マニピュレータ１００の位置を特定する。ビーコン発信機は移動制御部２０１と有線又は無線で接続する。移動制御部２０１は、ビーコン発信機の代わりに、ＧＮＳＳ（ＧｌｏｂａｌＮａｖｉｇａｔｉｏｎＳａｔｅｌｌｉｔｅＳｙｓｔｅｍ）やマーカを用いて、マニピュレータ１００の位置を特定しても良い。

その後、移動制御部２０１は、予め設定された情報である移動情報に基づいて、ロングレンジセンサ１１０がランドマーク３０１の形態を検知可能な位置に移動体２００を移動させる。移動情報とは、ロングレンジセンサ１１０がランドマーク３０１の形態を検知可能な位置を示す情報である。

《マニピュレータの動作》
以下、マニピュレータ１００の動作について説明する。
図７は、マニピュレータ１００の動作を示すフローチャートである。

移動制御部２０１により、移動体２００が、ロングレンジセンサ１１０がランドマーク３０１の形態を検知可能な位置に移動体２００を移動される（ステップＳ１）。ユーザが手動で移動体２００を移動させることにより、ロングレンジセンサ１１０がランドマーク３０１の形態を検知可能な位置に移動体２００を移動させても良い。

ロングレンジセンサ１１０が施工対象３００のランドマーク３０１の形態を検知する（ステップＳ２）。すなわち、制御装置１０３のセンサコントローラ１５０により、ロングレンジセンサ１１０が施工対象３００のランドマーク３０１の形態を検知するように、制御される。これにより、ロングレンジセンサ１１０は、施工対象３００のランドマーク３０１の形態を検知する。

ステップＳ２で検知されたランドマーク３０１の形態を用いて、相対位置特定部１５２がランドマーク３０１の相対位置を特定する（ステップＳ３）。すなわち、相対位置特定部１５２は、ロングレンジセンサ１１０によって検知された形態から、施工対象３００のランドマーク３０１が写る部分を特定し、マニピュレータ１００に対する施工対象のランドマークの相対位置を特定する。

ステップＳ３で特定されたランドマーク３０１の相対位置に基づいて、第１位置特定部１５３が第１相対位置を特定する（ステップＳ４）。すなわち、第１位置特定部１５３は、ランドマーク３０１の相対位置をランドマーク３０１及びボルト３０２を含む施工対象３００の形態を示すＣＡＤ情報に照らし合わせて、マニピュレータ１００に対するボルトの相対位置である第１相対位置を特定する。

座標変換部１６１は、マニピュレータ１００の姿勢に基づいて、第１位置特定部１５３がステップＳ４で特定した第１相対位置を、アーム１０１の基端部を基準点としたボルト３０２の座標に変換する（ステップＳ５）。

マニピュレータコントローラ１６０は、ステップＳ５で変換されたボルト３０２の座標に基づいて、ボルト３０２にアーム１０１の先端が近接するようにアーム１０１の姿勢を制御する（ステップＳ６）。マニピュレータコントローラ１６０から信号を受け入れた関節１０２が備えるサーボモータは、関節１０２が備える回転軸を回転させる。これにより、ボルト３０２の座標にアーム１０１の先端が近接することとなる。

ショートレンジセンサ１２０が施工対象３００のボルト３０２の形態を検知する（ステップＳ７）。すなわち、制御装置１０３のセンサコントローラ１５０により、ショートレンジセンサ１２０がボルト３０２の形態を検知するように制御され、ショートレンジセンサ１２０が施工対象３００のボルト３０２の形態を検知する。

ステップＳ８で検知されたボルト３０２の形態を用いて、第２位置特定部１５４が第２相対位置及びマニピュレータ１００の姿勢を特定する（ステップＳ８）。すなわち、ショートレンジセンサ１２０によって検知された形態から、ボルト３０２が写る部分を特定し、マニピュレータ１００に対するボルト３０２の相対位置である第２相対位置及びマニピュレータ１００の姿勢を特定する。

マニピュレータコントローラ１６０は、ナットランナ１３０が把持するナットがボルト３０２に挿入できるように関節１０２を制御する。（ステップＳ９）。マニピュレータコントローラ１６０から信号を受け入れた関節１０２が備えるサーボモータは、関節１０２が備える回転軸を回転させる。これにより、ナットランナ１３０が把持するナットがボルト３０２に挿入できるようになる。

ナットランナコントローラ１７０は、ナットランナ１３０が備えるサーボモータに信号を送り、ナットランナ１３０が把持するナットを回転させるように制御する（ステップＳ１０）。ナットランナ制御部１７１から信号を受け入れたナットランナ１３０が備えるサーボモータは、ナットランナ１３０が把持するナットを回転させる。これにより、ナットはボルト３０２に締め付けられる。

上記の動作により、焦点距離の短いショートレンジセンサ１２０に加えて焦点距離の長いロングレンジセンサ１１０を備えたマニピュレータ１００によりボルト３０２にナットを締め付けできるため、施工対象３００のボルト３０２にナットを締め付けをする場合、人手を削減でき、ミスを減らすことができる。また、人手作業を無くすことで、単調作業に対する作業者不足や、昼夜関係なく作業を行わせることができるようになり、工程の短縮を図ることができるようになる。

ナットランナ１３０は内部にエアユニット（図示しない）を備える。マニピュレータ１００は、ナットフィーダ１０５の近傍にナットランナ１３０を移動させる。その後、ナットランナ１３０はエアユニットを作動させてナットフィーダ１０５から真空吸着でナットを吸着させる。その後、ナットランナ１３０は、モータドライバを回転させてボルト３０２にナットを締め付けする。

また、上記の説明においては、センサコントローラ１５０と、マニピュレータコントローラ１６０と、ナットランナコントローラ１７０とは、ソフトウェアであるが、マニピュレータ１００は、センサコントローラ１５０と、マニピュレータコントローラ１６０と、ナットランナコントローラ１７０とを、ハードウェアとして備えても良い。

この場合、制御装置１０３は、センサ制御部（図示しない）を備える。センサ制御部は、センサコントローラ１５０を制御する。また、制御装置１０３は、マニピュレータ制御部（図示しない）を備える。マニピュレータ制御部はマニピュレータコントローラ１６０を制御する。また、制御装置１０３は、ナットランナ制御部（図示しない）を備える。ナットランナ制御部はナットランナコントローラ１７０を制御する。ハードウェアであるセンサコントローラ１５０と、マニピュレータコントローラ１６０と、ナットランナコントローラ１７０とは、センサ制御部と、マニピュレータ制御部と、ナットランナ制御部とにより制御されて動作する。

《作用・効果》
本開示に係るマニピュレータ１００は、アーム１０１と、アーム１０１の先端に設けられ、ナットを把持してナットを回転軸回りに回転させるナットランナ１３０とを備えるマニピュレータ１００であって、アーム１０１の先端に設けられ、広角で被写体の形態を検知するロングレンジセンサ１１０と、アーム１０１の先端に設けられ、拡大して被写体の形態を検知する、ロングレンジセンサ１１０より焦点距離の短いショートレンジセンサ１２０と、ロングレンジセンサ１１０によって検知された形態から、マニピュレータ１００に対するボルト３０２の相対位置である第１相対位置を特定する第１位置特定部１５３と、第１相対位置に基づいて、ボルト３０２にアーム１０１の先端が近接するようにアーム１０１の姿勢を制御する第１制御部と、ショートレンジセンサ１２０によって検知された形態から、ボルト３０２が写る部分を特定し、マニピュレータ１００に対するボルト３０２の相対位置である第２相対位置を特定する第２位置特定部１５４と、第２相対位置に基づいて、ナットランナ１３０が把持するナットがボルト３０２に挿入できるようにアーム１０１の姿勢を制御する。

これにより、焦点距離の短い望遠型のショートレンジセンサ１２０に加えて焦点距離の長い広角型のロングレンジセンサ１１０を備えたマニピュレータ１００によりボルト３０２にナットを締め付けできるため、施工対象３００のボルト３０２にナット締め付けをする場合、マニピュレータ１００のユーザは人手を削減でき、ミスを減らすことができる。また、人手作業を無くすことで、単調作業に対する作業者不足や、昼夜関係なく作業を行わせることができるようになり、工程の短縮を図ることができるようになる。

また、マニピュレータ１００は、ロングレンジセンサ１１０によって検知された形態から、施工対象３００のランドマーク３０１が写る部分を特定し、マニピュレータ１００に対する施工対象３００のランドマーク３０１の相対位置を特定する相対位置特定部１５２と、を備え、第１位置特定部１５３は、ランドマーク３０１の相対位置をランドマーク３０１及びボルト３０２を含む施工対象３００の形態を示すＣＡＤ情報に照らし合わせて、マニピュレータ１００に対するボルト３０２の相対位置である第１相対位置を特定する。

マニピュレータ１００は、焦点距離の長い広角型のロングレンジセンサ１１０で施工対象３００のランドマーク３０１の相対位置を特定して、第１相対位置を特定する。また、マニピュレータ１００は、焦点距離の短い望遠型のショートレンジセンサ１２０を用いてボルト３０２にナットを締め付けできるため、施工対象３００のボルト３０２にナット締め付けをする場合、マニピュレータ１００のユーザは人手を削減でき、ミスを減らすことができる。また、人手作業を無くすことで、単調作業に対する作業者不足や、昼夜関係なく作業を行わせることができるようになり、工程の短縮を図ることができるようになる。

また、マニピュレータ１００のロングレンジセンサ１１０及びショートレンジセンサ１２０は、被写体の三次元形状を検知し、第２位置特定部１５４は、ショートレンジセンサ１２０によって検知された形態に基づいてボルト３０２の軸の傾きを特定し、第２制御部は、ナットランナ１３０の回転軸とボルト３０２の軸とが正対するようにアーム１０１の姿勢を制御する。

マニピュレータ１００は、ボルト３０２の３次元形状を検知し、ボルト３０２の軸の傾きを特定して当該ボルト３０２にナットを締め付けする。これにより、マニピュレータ１００のユーザは、施工対象３００のボルト３０２にナット締め付けをする場合、マニピュレータ１００のユーザは人手を削減でき、ミスを減らすことができる。

また、マニピュレータ１００は、アーム１０１に設けられ、ナットランナ１３０にナットを供給するナットフィーダ１０５と、を備える。

これにより、マニピュレータ１００が、ナットフィーダ１０５により供給されたナットを用いて、ボルト３０２にナットを締め付けすることができるため、マニピュレータ１００のユーザは、ナットランナ１３０にナットを供給するための人手を削減することができる。

また、マニピュレータ１００は、アーム１０１の基端部を移動可能に支持する移動体２００と、予め設定された情報に基づいてロングレンジセンサ１１０がランドマーク３０１の形態を検知可能な位置に移動体２００を移動させる移動制御部２０１と、を備える。

マニピュレータ１００は、移動制御部２０１により制御される移動体２００によって移動される。これにより、マニピュレータ１００のユーザは、マニピュレータ１００の移動にかかる人手を削減することができる。

〈他の実施形態〉
上記において、マニピュレータ１００の実施形態を説明したが、マニピュレータ１００は、以下のような形態で実施されても良い。

上記の実施形態においては、ロングレンジセンサ１１０は、ランドマーク３０１の形態を検知したが、特定形態のマークを貼ったランドマーク３０１を検知するようにしても良い。これにより、ロングレンジセンサ１１０によるランドマーク３０１の検知の精度を上げることができる。

図８は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
コンピュータ１１００は、プロセッサ１１１０、メインメモリ１１２０、ストレージ１１３０、インタフェース１１４０を備える。

上述の制御装置１０３は、コンピュータ１１００に実装される。そして、上述した各処理部の動作は、プログラムの形式でストレージ１１３０に記憶されている。プロセッサ１１１０は、プログラムをストレージ１１３０から読み出してメインメモリ１１２０に展開し、当該プログラムに従って上記処理を実行する。また、プロセッサ１１１０は、プログラムに従って、上述した各記憶部に対応する記憶領域をメインメモリ１１２０に確保する。

プログラムは、コンピュータ１１００に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ１１３０に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、コンピュータ１１００は、上記構成に加えて、または上記構成に代えてＰＬＣ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＣｏｎｔｒｏｌｌｅｒ）などのカスタムＬＳＩ（ＬａｒｇｅＳｃａｌｅＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）を備えてもよい。ＰＬＣの例としては、ＰＡＬ(ＰｒｏｇｒａｍｍａｂｌｅＡｒｒａｙＬｏｇｉｃ)、ＧＡＬ(ＧｅｎｅｒｉｃＡｒｒａｙＬｏｇｉｃ)、ＣＰＬＤ(ＣｏｍｐｌｅｘＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ)、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）が挙げられる。この場合、プロセッサ１１１０によって実現される機能の一部または全部が当該集積回路によって実現されて良い。

ストレージ１１３０の例としては、磁気ディスク、光磁気ディスク、半導体メモリ等が挙げられる。ストレージ１１３０は、コンピュータ１１００のバスに直接接続された内部メディアであってもよいし、インタフェース１１４０または通信回線を介してコンピュータに接続される外部メディアであってもよい。また、このプログラムが通信回線によってコンピュータ１１００に配信される場合、配信を受けたコンピュータ１１００が当該プログラムをメインメモリ１１２０に展開し、上記処理を実行してもよい。少なくとも１つの実施形態において、ストレージ１１３０は、一時的でない有形の記憶媒体である。

また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能をストレージ１１３０に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。

〈付記〉
各実施形態に記載のマニピュレータ１００は、例えば以下のように把握される。

（１）アーム１０１と、アーム１０１の先端に設けられ、ナットを把持してナットを回転軸回りに回転させるナットランナ１３０とを備えるマニピュレータ１００であって、アーム１０１の先端に設けられ、広角で被写体の形態を検知するロングレンジセンサ１１０と、アーム１０１の先端に設けられ、拡大して被写体の形態を検知する、ロングレンジセンサ１１０より焦点距離の短いショートレンジセンサ１２０と、ロングレンジセンサ１１０によって検知された形態から、マニピュレータ１００に対するボルト３０２の相対位置である第１相対位置を特定する第１位置特定部１５３と、第１相対位置に基づいて、ボルト３０２にアーム１０１の先端が近接するようにアーム１０１の姿勢を制御する第１制御部と、ショートレンジセンサ１２０によって検知された形態から、ボルト３０２が写る部分を特定し、マニピュレータ１００に対するボルト３０２の相対位置である第２相対位置とマニピュレータの姿勢を特定する第２位置特定部１５４と、第２相対位置に基づいて、ナットランナ１３０が把持するナットがボルト３０２に挿入できるようにアーム１０１の姿勢を制御する。

（２）また、マニピュレータ１００は、ロングレンジセンサ１１０によって検知された形態から、施工対象３００のランドマーク３０１が写る部分を特定し、マニピュレータ１００に対する施工対象３００のランドマーク３０１の相対位置を特定する相対位置特定部１５２と、を備え、第１位置特定部１５３は、ランドマーク３０１の相対位置をランドマーク３０１及びボルト３０２を含む施工対象３００の形態を示すＣＡＤ情報に照らし合わせて、マニピュレータ１００に対するボルト３０２の相対位置である第１相対位置を特定する。

（３）また、マニピュレータ１００のロングレンジセンサ１１０及びショートレンジセンサ１２０は、被写体の三次元形状を検知し、第２位置特定部１５４は、ショートレンジセンサ１２０によって検知された形態に基づいてボルト３０２の軸の傾きを特定し、第２制御部は、ナットランナ１３０の回転軸とボルト３０２の軸とが正対するようにアーム１０１の姿勢を制御する。

（４）また、マニピュレータ１００は、アーム１０１に設けられ、ナットランナ１３０にナットを供給するナットフィーダ１０５と、を備える。

（５）また、マニピュレータ１００は、アーム１０１の基端部を移動可能に支持する移動体２００と、予め設定された情報に基づいてロングレンジセンサ１１０がランドマーク３０１の形態を検知可能な位置に移動体２００を移動させる移動制御部２０１と、を備える。

（６）本開示に係る自動化方法は、アーム１０１と、アーム１０１の先端に設けられ、ナットを把持してナットを回転軸回りに回転させるナットランナ１３０とを備えるマニピュレータ１００であって、アーム１０１の先端に設けられ、広角で被写体の形態を検知するロングレンジセンサ１１０と、アーム１０１の先端に設けられ、拡大して被写体の形態を検知する、ロングレンジセンサ１１０より焦点距離の短いショートレンジセンサ１２０と、を備えるマニピュレータ１００において、ロングレンジセンサ１１０によって検知された形態から、マニピュレータ１００に対するボルト３０２の相対位置である第１相対位置を特定するステップと、第１相対位置に基づいて、ボルト３０２にアーム１０１の先端が近接するようにアーム１０１の姿勢を制御するステップと、ショートレンジセンサ１２０によって検知された形態から、ボルト３０２が写る部分を特定し、マニピュレータ１００に対するボルト３０２の相対位置である第２相対位置とマニピュレータの姿勢を特定するステップと、第２相対位置に基づいて、ナットランナ１３０が把持するナットがボルト３０２に近接するようにアーム１０１の姿勢を制御するステップと、を備える。

これにより、焦点距離の短い望遠型のショートレンジセンサ１２０に加えて焦点距離の長い広角型のロングレンジセンサ１１０を備えたマニピュレータ１００によりボルト３０２にナットを締め付けできるため、施工対象３００のボルト３０２にナット締め付けをする場合、自動化方法のユーザは、マニピュレータ１００のユーザは人手を削減でき、ミスを減らすことができる。

（７）本開示に係るプログラムは、アーム１０１と、アーム１０１の先端に設けられ、ナットを把持してナットを回転軸回りに回転させるナットランナ１３０とを備えるマニピュレータ１００であって、アーム１０１の先端に設けられ、被写体の形態を検知するロングレンジセンサ１１０と、アーム１０１の先端に設けられ、被写体の形態を検知する、ロングレンジセンサ１１０より焦点距離の短いショートレンジセンサ１２０と、を備えるマニピュレータ１００の、コンピュータを、ロングレンジセンサ１１０によって検知された形態から、施工対象３００のランドマーク３０１が写る部分を特定し、マニピュレータ１００に対する施工対象３００のランドマーク３０１の相対位置を特定するステップと、ランドマーク３０１の相対位置をランドマーク３０１及びボルト３０２を含む施工対象３００の形態を示すＣＡＤ情報に照らし合わせて、マニピュレータ１００に対するボルト３０２の相対位置である第１相対位置を特定するステップと、第１相対位置に基づいて、ボルト３０２にアーム１０１の先端が近接するようにアーム１０１の姿勢を制御するステップと、ショートレンジセンサ１２０によって検知された形態から、ボルト３０２が写る部分を特定し、マニピュレータ１００に対するボルト３０２の相対位置である第２相対位置とマニピュレータの姿勢を特定するステップと、第２相対位置に基づいて、ナットランナ１３０が把持するナットがボルト３０２に挿入できるようにアーム１０１の姿勢を制御するステップと、として実行させる。

これにより、焦点距離の短いショートレンジセンサ１２０に加えて焦点距離の長いロングレンジセンサ１１０を備えたマニピュレータ１００によりボルト３０２にナットを締め付けできるため、施工対象３００のボルト３０２にナット締め付けをする場合、プログラムのユーザは、マニピュレータ１００のユーザは人手を削減でき、ミスを減らすことができる。

本開示のマニピュレータ１００において、ボルト３０２にアーム１０１の先端が近接するとは、ボルト３０２の座標とアーム１０１の先端とが離れた距離が、予め設定された範囲内になることをいう。また、本開示のマニピュレータ１００において、ナットランナ１３０にボルト３０２が近接するとは、ナットランナ１３０の位置とボルト３０２の位置とが離れた距離が、予め設定された範囲内になることをいう。

１００マニピュレータ
１０１アーム
１０２関節
１０３制御装置
１０４エンドエフェクタ
１０５ナットフィーダ
１１０ロングレンジセンサ
１２０ショートレンジセンサ
１３０ナットランナ
１５０センサコントローラ
１５２相対位置特定部
１５３第１位置特定部
１５４第２位置特定部
１６０マニピュレータコントローラ
１６１座標変換部
１７０ナットランナコントローラ
２００移動体
２０１移動制御部
３００施工対象
３０１ランドマーク
３０２ボルト

Claims

アームと、前記アームの先端に設けられ、ナットを把持して前記ナットを回転軸回りに回転させるナットランナとを備えるマニピュレータであって、
前記アームの先端に設けられ、広角で被写体の形態を検知するロングレンジセンサと、
前記アームの先端に設けられ、前記ロングレンジセンサより拡大して被写体の形態を検知可能なショートレンジセンサと、
前記ロングレンジセンサによって検知された形態から、前記マニピュレータに対するボルトの相対位置である第１相対位置を特定する第１位置特定部と、
前記第１相対位置に基づいて、前記ボルトに前記アームの先端が近接するように前記アームの姿勢を制御する第１制御部と、
前記ショートレンジセンサによって検知された形態から、前記ボルトが写る部分を特定し、前記マニピュレータに対する前記ボルトの相対位置である第２相対位置と前記マニピュレータの姿勢を特定する第２位置特定部と、
前記第２相対位置に基づいて、前記ナットランナが把持するナットが前記ボルトに挿入できるように前記アームの姿勢を制御する第２制御部と、
を備え、
前記ショートレンジセンサは、被写体の三次元形状を検知し、
前記第２位置特定部は、前記ショートレンジセンサによって検知された前記ボルトの三次元形状に基づいて、当該ボルトを円筒とみなしたときの円筒端面の中心と中心軸の方位を特定し、
前記第２制御部は、前記ナットランナの回転軸と前記ボルトの前記中心軸とが正対するように前記アームの姿勢を制御する、
マニピュレータ。
前記ロングレンジセンサによって検知された形態から、施工対象のランドマークが写る部分を特定し、前記マニピュレータに対する前記施工対象のランドマークの相対位置を特定する相対位置特定部と、を備え、
前記第１位置特定部は、前記ランドマークの相対位置を前記ランドマーク及びボルトを含む前記施工対象の形態を示すＣＡＤ情報に照らし合わせて、前記マニピュレータに対する前記ボルトの相対位置である第１相対位置を特定する
請求項１に記載のマニピュレータ。
前記アームの基端部を移動可能に支持する移動体と、
予め設定された情報に基づいて前記ロングレンジセンサが前記ランドマークの形態を検知可能な位置に前記移動体を移動させる移動制御部と、
を備える請求項２に記載のマニピュレータ。
前記アームに設けられ、前記ナットランナに前記ナットを供給する、ナットフィーダと、
を備える請求項１から請求項３の何れか１項に記載のマニピュレータ。
アームと、前記アームの先端に設けられ、ナットを把持して前記ナットを回転軸回りに回転させるナットランナとを備えるマニピュレータであって、前記アームの先端に設けられ、広角で被写体の形態を検知するロングレンジセンサと、前記アームの先端に設けられ、前記ロングレンジセンサより拡大して被写体の形態を検知可能なショートレンジセンサと、を備えるマニピュレータにおいて、
前記ロングレンジセンサによって検知された形態から、前記マニピュレータに対するボルトの相対位置である第１相対位置を特定するステップと、
前記第１相対位置に基づいて、前記ボルトに前記アームの先端が近接するように前記アームの姿勢を制御するステップと、
前記ショートレンジセンサによって検知された形態から、前記ボルトが写る部分を特定し、前記マニピュレータに対する前記ボルトの相対位置である第２相対位置と前記マニピュレータの姿勢を特定するステップと、
前記第２相対位置に基づいて、前記ナットランナが把持するナットが前記ボルトに挿入できるように前記アームの姿勢を制御するステップと、を有し、
前記ショートレンジセンサは、被写体の三次元形状を検知し、
前記第２相対位置と前記マニピュレータの姿勢を特定するステップでは、前記ショートレンジセンサによって検知された前記ボルトの三次元形状に基づいて、当該ボルトを円筒とみなしたときの円筒端面の中心と中心軸の方位を特定し、
前記第２相対位置に基づいて、前記ナットランナが把持するナットが前記ボルトに挿入できるように前記アームの姿勢を制御するステップでは、前記ナットランナの回転軸と前記ボルトの前記中心軸とが正対するように前記アームの姿勢を制御する、
自動化方法。
アームと、前記アームの先端に設けられ、ナットを把持して前記ナットを回転軸回りに回転させるナットランナとを備えるマニピュレータであって、前記アームの先端に設けられ、広角で被写体の形態を検知するロングレンジセンサと、前記アームの先端に設けられ、前記ロングレンジセンサより拡大して被写体の形態を検知可能なショートレンジセンサと、を備えるマニピュレータの、コンピュータを、
前記ロングレンジセンサによって検知された形態から、前記マニピュレータに対するボルトの相対位置である第１相対位置を特定するステップと、
前記第１相対位置に基づいて、前記ボルトに前記アームの先端が近接するように前記アームの姿勢を制御するステップと、
前記ショートレンジセンサによって検知された形態から、前記ボルトが写る部分を特定し、前記マニピュレータに対する前記ボルトの相対位置である第２相対位置と前記マニピュレータの姿勢を特定するステップと、
前記第２相対位置に基づいて、前記ナットランナが把持するナットが前記ボルトに挿入できるように前記アームの姿勢を制御するステップと、
として実行させるプログラムであって、
前記ショートレンジセンサは、被写体の三次元形状を検知し、
前記第２相対位置と前記マニピュレータの姿勢を特定するステップでは、前記ショートレンジセンサによって検知された前記ボルトの三次元形状に基づいて、当該ボルトを円筒とみなしたときの円筒端面の中心と中心軸の方位を特定し、
前記第２相対位置に基づいて、前記ナットランナが把持するナットが前記ボルトに挿入できるように前記アームの姿勢を制御するステップでは、前記ナットランナの回転軸と前記ボルトの前記中心軸とが正対するように前記アームの姿勢を制御する、
プログラム。