JP6427972B2 - ロボット、ロボットシステム及び制御装置 - Google Patents

ロボット、ロボットシステム及び制御装置 Download PDF

Info

Publication number
JP6427972B2
JP6427972B2 JP2014121217A JP2014121217A JP6427972B2 JP 6427972 B2 JP6427972 B2 JP 6427972B2 JP 2014121217 A JP2014121217 A JP 2014121217A JP 2014121217 A JP2014121217 A JP 2014121217A JP 6427972 B2 JP6427972 B2 JP 6427972B2
Authority
JP
Japan
Prior art keywords
information
orientation
robot
control
feature amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014121217A
Other languages
English (en)
Other versions
JP2016000442A (ja
Inventor
正樹 元▲吉▼
正樹 元▲吉▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2014121217A priority Critical patent/JP6427972B2/ja
Priority to CN201510315785.6A priority patent/CN105291101A/zh
Priority to US14/736,814 priority patent/US20150363935A1/en
Publication of JP2016000442A publication Critical patent/JP2016000442A/ja
Application granted granted Critical
Publication of JP6427972B2 publication Critical patent/JP6427972B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39391—Visual servoing, track end effector with camera image feedback
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40565—Detect features of object, not position or orientation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Description

本発明は、ロボット、ロボットシステム及び制御装置等に関する。
実時間で画像を取得して、その情報をもとにロボットを制御するビジュアルサーボが知られている。ビジュアルサーボには大きく分けて位置ベースの手法と特徴量ベースの手法がある。
特徴量ベースの手法は、対象物を動かした際に画像の特徴量（画像中の領域や面積、線分の長さ、特徴点の位置、等の特徴を表す量）がどのように変化するかという情報を動作と直接対応付けて、ロボットを動作させる。この手法ではカメラとロボットの間のキャリブレーションの精度が低い場合も動作させることが出来る等の利点がある。
例えば特許文献１には、特徴量ベースのビジュアルサーボのハードウェア制約条件を回避する動作方法が記載されている。
特開２０１２−１３０９７７号公報
特許文献１では、制御に用いる情報である特徴量をどのように設定するかと言う点は述べられていない。そのため一般的な特徴量ベースの手法と同様に、例えば対象物のエッジに相当する線分や、角に相当する点といった画像において特徴的である情報を特徴量として用いることになる。つまり特許文献１等の従来手法では、画像上でさほど特徴的でない点等を特徴量として用いることが困難である。
本発明の一態様は、対象物を動かすアームと、前記対象物に設定される座標系で規定される情報の入力を受け付ける入力受付部と、前記対象物を撮像した撮像画像と、入力された前記情報に基づいて、前記アームを動作させる制御部と、を含むロボットに関係する。
本発明の一態様では、対象物に設定される座標系での情報を受け付け、当該情報と撮像画像に基づいてアームを動作させる。入力される情報は対象物を基準とした座標系で規定されるため、画像上で特徴的であるか否か等の制約を受けずに設定が可能である。これにより、アームの動作に用いられる制御用の情報を柔軟に設定すること等が可能になる。
また、本発明の一態様では、前記入力受付部は、前記対象物に対応するモデルが表示される画面において、前記情報の入力を受け付けてもよい。
これにより、わかりやすいインターフェースにより情報の入力を受け付けること等が可能になる。
また、本発明の一態様では、前記情報は、前記対象物に設定される前記座標系で規定される制御点の情報であってもよい。
これにより、制御点の情報を受け付けてアームを動作させること等が可能になる。
また、本発明の一態様では、前記制御部は、前記対象物のモデルの情報と、前記撮像画像に基づいて、前記対象物の位置姿勢を求め、前記位置姿勢に基づいて、前記制御点の座標変換を行うことで特徴量を求め、前記特徴量と目標特徴量に基づいて前記アームを動作させてもよい。
これにより、対象物のモデルから位置姿勢を求める処理、及び当該位置姿勢により制御点を座標変換する処理により、アームの動作に用いられる特徴量を求めること等が可能になる。
また、本発明の一態様では、前記入力受付部は、第２の対象物に設定される第２の座標系で規定される第２の制御点の情報の入力を受け付け、前記制御部は、前記第２の対象物のモデルの情報と、前記第２の対象物を撮像した前記撮像画像に基づいて、前記第２の対象物の位置姿勢を求め、前記第２の対象物の前記位置姿勢に基づいて、前記第２の制御点の座標変換を行うことで前記目標特徴量を求めてもよい。
これにより、目標特徴量についても上述の手法と同様にして求めること等が可能になる。
また、本発明の一態様では、前記制御部は、前記特徴量及び前記目標特徴量に基づいて、前記対象物と前記第２の対象物が所与の相対位置関係となるように前記アームを動作させてもよい。
これにより、上述の手法により求められた特徴量と目標特徴量を用いて、アームを動作させること等が可能になる。
また、本発明の一態様では、前記制御部は、前記対象物のモデルの情報と、前記撮像画像に基づいて、前記対象物の位置姿勢を求め、前記位置姿勢に基づいて、前記制御点の座標変換を行うことで目標特徴量を求め、前記目標特徴量を用いて前記アームを動作させてもよい。
これにより、対象物のモデルから位置姿勢を求める処理、及び当該位置姿勢により制御点を座標変換する処理により、アームの動作に用いられる目標特徴量を求めること等が可能になる。
また、本発明の一態様では、前記制御部は、第２の対象物が撮像された前記撮像画像に基づいて特徴量を求め、前記特徴量及び前記目標特徴量に基づいて、前記対象物と前記第２の対象物が所与の相対位置関係となるように前記アームを動作させてもよい。
これにより、上述の手法により求められた目標特徴量と、撮像画像から求められた特徴量を用いて、アームを動作させること等が可能になる。
また、本発明の一態様では、前記情報は、前記対象物に設定される前記座標系で規定される制御点の情報であり、前記制御部は、前記対象物のモデルの情報と前記撮像画像に基づいて、前記撮像画像を撮像する撮像部に設定されるカメラ座標系での前記対象物の前記位置姿勢を求め、前記カメラ座標系での前記位置姿勢と、前記対象物に設定される前記座標系での１又は複数の前記制御点の情報に基づいて、前記カメラ座標系での前記制御点の情報を求めてもよい。
これにより、対象物に対して設定される座標系での制御点の情報と、カメラ座標系での対象物の位置姿勢とから、カメラ座標系での制御点の情報を求めることが可能になる。
また、本発明の一態様では、前記制御部は、前記カメラ座標系での前記制御点を透視変換して、透視変換後の前記制御点の情報を特徴量及び目標特徴量の少なくとも一方として前記アームを動作させてもよい。
これにより、カメラ座標系での制御点の情報をさらに透視変換して得られた情報により、アームを動作させること等が可能になる。
また、本発明の一態様では、前記制御部は、第１の撮像部で撮像された第１の撮像画像と、第２の撮像部で撮像された第２の撮像画像と、入力された前記情報に基づいて、前記アームを動作させてもよい。
これにより、制御用の情報を柔軟に設定することに加えて、複数の撮像部を用いて精度よくアームを動作させること等が可能になる。
また、本発明の他の態様は、対象物を動かすアームを有するロボットと、前記対象物に設定される座標系で規定される情報の入力を受け付ける入力受付部と、前記対象物を撮像した撮像画像と、入力された前記情報に基づいて、前記アームを動作させる制御部と、を含むロボットシステムに関係する。
本発明の他の態様では、対象物に設定される座標系での情報を受け付け、当該情報と撮像画像に基づいてアームを動作させる。入力される情報は対象物を基準とした座標系で規定されるため、画像上で特徴的であるか否か等の制約を受けずに設定が可能である。これにより、アームの動作に用いられる制御用の情報を柔軟に設定すること等が可能になる。
また、本発明の他の態様は、対象物を動かすアームを有するロボットを制御する制御装置であって、前記対象物に設定される座標系で規定される情報の入力を受け付ける入力受付部と、前記対象物を撮像した撮像画像と、入力された前記情報に基づいて、前記アームを動作させる制御部と、を含む制御装置に関係する。
本発明の他の態様では、対象物に設定される座標系での情報を受け付け、当該情報と撮像画像に基づいてアームを動作させる。入力される情報は対象物を基準とした座標系で規定されるため、画像上で特徴的であるか否か等の制約を受けずに設定が可能である。これにより、アームの動作に用いられる制御用の情報を柔軟に設定すること等が可能になる。
このように、本発明の幾つかの態様によれば、制御に用いる情報の設定の自由度を高めることで、アーム等の柔軟な制御を行うロボット、ロボットシステム及び制御装置等を提供することができる。
図１（Ａ）〜図１（Ｄ）は制御点の設定例及び特徴量の例。 本実施形態に係るロボットの構成例。 一般的なビジュアルサーボ制御系の構成例。 本実施形態に係るロボットの構造の例。 本実施形態に係るロボットの詳細な構成例。 本実施形態に係るロボットの構造の他の例。 本実施形態に係るロボットの構造の他の例。 本実施形態に係る制御装置がサーバーにより実現される例。 対象物座標系において設定される制御点の例。 図１０（Ａ）、図１０（Ｂ）は３次元モデルの位置姿勢の変化と、テンプレート画像における対象物の変化の説明図。 カメラ座標系における対象物の位置姿勢の例。 透視変換処理の説明図。 組付け作業の説明図。 図１４（Ａ）は参照画像の例、図１４（Ｂ）は被組付け対象物の位置がずれることの説明図。 本実施形態に係るロボットの他の詳細な構成例。 制御点の設定例及び特徴量の例。 本実施形態に係るロボットの構造の他の例。 図１８（Ａ）〜図１８（Ｃ）は対象物の位置姿勢変化に対する各撮像部での撮像画像の変化を説明する図。 図１９（Ａ）〜図１９（Ｃ）は対象物の位置姿勢変化に対する各撮像部での撮像画像の変化を説明する図。 図２０（Ａ）〜図２０（Ｃ）は対象物の位置姿勢変化に対する各撮像部での撮像画像の変化を説明する図。 図２１（Ａ）〜図２１（Ｃ）は対象物の位置姿勢変化に対する各撮像部での撮像画像の変化を説明する図。 図２２（Ａ）〜図２２（Ｃ）は対象物の位置姿勢変化に対する各撮像部での撮像画像の変化を説明する図。 光軸方向での位置姿勢推定の誤差を説明する図。 撮像部間の相対関係が既知の場合に誤差範囲を小さくできることの説明図。 撮像部間の相対関係が未知の場合に誤差範囲が大きくなることの説明図。 本実施形態に係るロボットの他の詳細な構成例。 透視変換処理を行った場合の誤差範囲の説明図。 透視変換処理を行った場合の制御量の例。 図２９（Ａ）、図２９（Ｂ）は誤差がない環境で対象物の位置姿勢を特徴量として用いた場合の制御量の時間変化例、図２９（Ｃ）、図２９（Ｄ）は誤差がない環境で透視変換後の情報を特徴量として用いた場合の制御量の時間変化例。 図３０（Ａ）、図３０（Ｂ）は誤差がある環境で対象物の位置姿勢を特徴量として用いた場合の制御量の時間変化例、図３０（Ｃ）、図３０（Ｄ）は誤差がある環境で透視変換後の情報を特徴量として用いた場合の制御量の時間変化例。
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
１．本実施形態の手法
対象物を撮像した撮像画像に基づいて、ロボットを動作させる手法が知られている。一例としては、撮像画像から求められる対象物の現在の状態を表す情報と、目標の状態を表す情報との差分（変化）をフィードバック情報として用いることで、対象物を目標の状態に近づけるビジュアルサーボが知られている。
ビジュアルサーボには上記状態を表す情報として、対象物の位置姿勢を用いる位置ベースの手法と、何らかの特徴量を用いる特徴量ベースの手法がある。特徴量ベースの手法では、撮像画像から特徴量（画像特徴量）ｆを求め、目標特徴量ｆｇとの比較処理を行う。例えば、撮像画像から対象物の輪郭を表すエッジ情報を求め、当該エッジ情報に基づいて求められる対象物の頂点の画像上での位置（２次元平面である画像座標系での座標）を画像特徴量とすることが考えられる。以下では、撮像画像から制御ループ毎に求められる現在状態を表す特徴量を、目標特徴量と明確に区別するために制御特徴量とも記載する。
また、目標特徴量については、対象物が目標状態となっている撮像画像（参照画像、目標画像）を取得し、当該参照画像から同様の手法で特徴量を検出することで求めてもよい。この際、参照画像は事前に一度だけ取得しておいてもよいし、ビジュアルサーボの制御中に継続して取得してもよい。或いは、目標特徴量は参照画像から求めるのではなく、直接的に特徴量の値を取得するものであってもよい。例えば、対象物が目標状態となったときに、所与の頂点が画像上の（ｘｇ，ｙｇ）の位置になることがわかっているのであれば、目標特徴量ｆｇをｆｇ＝（ｘｇ，ｙｇ）と設定すればよい。
処理の詳細については後述するが、制御特徴量と目標特徴量が取得できれば、対象物を目標の状態に近づけるための制御量（例えば関節角の駆動量等）を求めることができるため、ロボットを動作させることが可能になる。
しかし、従来の特徴量ベースのビジュアルサーボでは、特徴量を撮像画像から直接的に求める関係上、画像において他の点（あるいは他の領域）と明確に区別可能な程度に特徴のある点（或いは領域）の情報を特徴量とする必要がある。例えば、対象物のエッジであれば、画素値（例えば輝度値）が大きく変化する点の集合等として画像から抽出可能であるし、頂点（角）であれば、エッジのうち当該エッジの角度が大きく変化する点として画像から抽出可能である。つまり、対象物のうち、いずれかの点や辺を特徴量の算出対象とするのであれば、特徴量を画像から直接的に求めることが可能である。
しかし、特徴量の算出対象が、例えば対象物の所与の面の中心の点である場合、当該所与の面は平坦な構造であるため、画像のうち当該面に対応する領域内では画素値の変化が小さくなる。そのため、当該面の中心点と、当外面のうち中心とは異なる点とは、画像上での差異が明確なものとはならず、面の中心点を画像から特定することは容易ではない。もちろん、エッジ情報から面を特定し、当該面上の中心点を幾何学的に求めるといったように、所与の面の中心点から特徴量を求めることは不可能ではない。しかし一般的には、画像上で特徴的でないような点等を特徴量とすることは困難と言える。
さらにいえば、対象物の外部に特徴量の算出処理の対象（以下、対象が点である例を説明する関係上、制御点と表記する）を設定することも困難である。図１（Ａ）に示した直方体の対象物ＯＢを図１（Ｂ）に示した位置姿勢とすることを目標とする作業を考える。なお、図１（Ｂ）は撮像部で撮像された撮像画像の例を示している。
この場合、制御点として図１（Ａ）に示した対象物の２つの頂点Ａ１及びＡ２を設定した場合、目標特徴量は図１（Ｂ）のＡ３及びＡ４となる。具体的にはＡ１の画像上での位置とＡ３の位置との差を小さくし、且つＡ２の画像上での位置とＡ４の位置との差を小さくするようにビジュアルサーボが行われる。しかしこの場合、対象物が他の物体と接する状態が目標状態となるため、制御に誤差が生じた場合、対象物と当該他の物体とが衝突するおそれが生じる。図１（Ｂ）の例であれば、対象物が目標よりも低い位置となるような誤差が生じれば、対象物と下側の物体とが衝突し、破損等のおそれにつながってしまう。
このような場合には、目標特徴量をＡ３，Ａ４としつつ、制御点を対象物の外部に設定するとよい。例えば、図１（Ｃ）に示したように制御点を対象物の辺を延長した直線上、且つ頂点よりも外側の点Ａ５及びＡ６とすれば、制御特徴量はＡ５及びＡ６の画像上での位置を用いることが可能になる。このようにすれば、ビジュアルサーボではＡ５とＡ３の差を小さくし、且つＡ６とＡ４の差を小さくする制御が行われるため、結果として図１（Ｄ）に示した状態を目標とする制御が可能になる。図１（Ｄ）の状態が目標であれば、対象物の位置が多少下側にずれる誤差が生じたとしても、対象物と他の物体との衝突可能性を抑止することが可能である。なお、本来の目標状態である図１（Ｂ）の状態は、図１（Ｄ）の状態が実現された後、対象物を真下に移動させればよいため、通常の位置制御でも実現可能である。或いは、図１（Ｄ）の状態を起点として、図１（Ａ）に示したように頂点そのものを制御点とする新たなビジュアルサーボを行ってもよい。この場合、対象物が他の物体に十分近づいていることが前提となるため、移動速度を抑える等の対処を行えば、衝突による危険性を抑止して、図１（Ｂ）の状態を実現することができる。
つまり、対象物の外部に制御点を設定することが有用であるが、このような外部の点は画像上で特徴的な点となり得ない。なぜなら、そのような制御点には実際に何らかの物体が存在するわけではなく、画素値や画素値の変化量、空間周波数等が画像上の他の点に比べて特異なものとならないためである。従って、従来の特徴量ベースの手法では、図１（Ｃ）に示したような制御点を用いてロボットを動作させることが困難である。
また、特徴量の算出処理の対象が画像上で特徴的であるか否かにかかわらず、従来手法であれば当該制御点が撮像画像に撮像されている必要がある。例えば、制御点が対象物のうちの１つの頂点であれば、撮像画像には当該頂点が撮像されていなければならない。具体的には、当該頂点が撮像部（カメラ）側に向けられている必要があり、当該頂点が撮像部とは反対側に向けられた状態では特徴量を算出できない。或いは、撮像部と制御点との間に他の物体（ロボットのアームやハンド、或いは治具等）が入り込んだ場合や、撮像系のエラーにより制御点近辺の画素値が取得できない（撮像素子のエラーや、光源の当たり具合による白飛び黒つぶれ等）場合等にも、同様に特徴量が算出できない。これらの場合には、制御特徴量（或いは目標特徴量）が算出できないため、ロボットの動作が行えないことになる。
以上をまとめると、従来の特徴量ベースの手法では、画像上で特徴的な点等でなければ特徴量として用いることができない（言い換えれば画像上で特徴を有する点でないと制御点にできない）という課題と、制御点が撮像画像上に撮像されていなければ特徴量を求めることができないという課題があった。特に、対象物の外部に制御点を設けることで柔軟なロボット制御が可能であるところ、画像上で特徴的な制御点を設定しなくては特徴量を求めることができないという課題に起因して、そのような制御点の設定が困難であった。
そこで本出願人は、制御点を柔軟に設定可能な手法を提案する。ただし、特徴量の算出に用いられるのは、ロボットによる操作（移動）の対象である対象物を基準として設定される情報であればよく、点に限定されるものではない。つまり本実施形態に係るロボットは図２に示したように、対象物ＯＢを動かすアーム２１０と、対象物ＯＢに設定される座標系（以下、対象物座標系とも記載する）で規定される情報の入力を受け付ける入力受付部１１７２と、対象物ＯＢを撮像した撮像画像と、入力された情報に基づいて、アーム２１０を動作させる制御部１１０を含む。
ここで、入力受付部１１７２で入力された情報は、対象物ＯＢに設定される座標系で規定される制御点の情報であってもよい。具体的には、対象物座標系上の任意の点を表す情報であり、さらに具体的には３次元での点を表す座標（Ｘｏ，Ｙｏ，Ｚｏ）である。以下では、入力される情報は制御点の情報であるものとして説明を行うが、当該情報は点に限定されず、対象物座標系で表現された線や面等の情報に拡張することが可能である。
入力受付部１１７２に入力された制御点等の情報は、対象物座標系で表された情報であるため、対象物を基準とした相対的な情報である。そのため、対象物の位置姿勢がわかれば、当該対象物との相対関係から、制御点を特定することが可能になる。言い換えれば、撮像画像において対象物がどのように撮像されているかが特定されれば、当該対象物と所定の相対関係にある制御点が撮像画像上でどのように撮像されているかを特定できることになる。この際、制御点は入力される情報から特定可能であるため、画像上で特徴的である必要はない。また、対象物がどのように撮像されているかを特定する際には、対象物がある程度のサイズ、解像度で撮像されていればよく、制御点が撮像されているか否かは問題とならない。つまり、他の物体に遮蔽される等の要因で制御点が撮像されていなかったとしても、仮に遮蔽物がないとした場合等の当該制御点の画像上での位置を特定することも可能である。
つまり本実施形態の手法によれば、対象物に対する制御点の位置等を柔軟に設定することが可能になる。それにより、対象物の外部に制御点を設定することで、対象物と他の物体との衝突を抑止したり、制御点が撮像されないような位置関係においてもロボットを動作させること等が可能になる。
ここで、撮像画像において対象物がどのように撮像されているかを特定する手法は種々考えられるが、例えば、対象物の３次元モデルを用いてもよい。この場合、制御部１１０は、対象物のモデルの情報と、撮像画像に基づいて、対象物の位置姿勢を求め、位置姿勢に基づいて、制御点の座標変換を行うことで特徴量を求め、特徴量と目標特徴量に基づいてアームを動作させる。
例えば、撮像部に設定される座標系（カメラ座標系）において、対象物が所与の位置姿勢であるということが特定されれば、当該撮像部による撮像画像において、対象物がどのように撮像されるかは３次元モデルを用いて求めることができる。よって、モデルを用いて取得される仮想的な撮像画像（テンプレート画像）と、実際に取得された撮像画像とを比較することで、撮像部に対する対象物の位置姿勢を求めることが可能である。具体的には、モデルの位置姿勢を種々変化させることで、複数のテンプレート画像を求め、それらのうちで最も実際の撮像画像と近いものを特定すればよい。テンプレート画像と、モデルの位置姿勢は対応するため、特定されたテンプレート画像に対応するモデルの位置姿勢が、実際の対象物の位置姿勢に合致すると考えることができる。
なお、以上では対象物を撮像した撮像画像を用いてロボットを動作させる手法としてビジュアルサーボを説明したが、本実施形態の手法はこれに限定されない。例えば、フィードバック制御を行わなくてもよい。具体的には、撮像画像に基づいて目標となる位置姿勢を特定し、当該位置姿勢への移動は位置制御により行うビジョン方式を用いてもよい。以下ではビジュアルサーボを例にとって説明するが、以下の説明はビジョン方式等、撮像画像を用いた他の制御に拡張して考えることができる。
以下、ビジュアルサーボの基本的な考え方について説明した後、本実施形態に係るロボット等のシステム構成例を説明し、第１，第２の実施形態について詳細に説明する。第１の実施形態では、撮像部が１つの場合を例にとって、基本的な手法を説明する。第２の実施形態では、撮像部が複数（狭義には２つ）の場合について説明する。
２．ビジュアルサーボ制御系
本実施形態に係る手法を説明する前に、一般的なビジュアルサーボ制御系について説明する。一般的なビジュアルサーボ制御系の構成例を図３に示し、ロボットの構造の例を図４に示す。図３に示したように、ロボットは、目標特徴量入力部１１１と、目標軌道生成部１１２と、関節角制御部１１３と、駆動部１１４と、関節角検出部１１５と、画像情報取得部１１６と、画像特徴量演算部１１７と、アーム２１０とを含む。なお、後述する本実施形態に係るロボットでは、システム構成例は図３とは異なる（いくつかのブロックが追加される）が、ロボットの構造としては図４と同様のものであってもよい。
目標特徴量入力部１１１は、目標となる目標特徴量ｆｇを目標軌道生成部１１２に対して入力する。目標特徴量入力部１１１は、例えば、ユーザーによる目標特徴量ｆｇの入力を受け付けるインターフェース等として実現されてもよい。ロボット制御においては、画像情報から求められる画像特徴量ｆを、ここで入力される目標特徴量ｆｇに近づける（狭義には一致させる）制御が行われる。なお、目標特徴量ｆｇは、目標状態に対応する画像情報（参照画像、ゴール画像）を取得し、当該画像情報から求めてもよい。或いは、参照画像は保持せずに、直接目標特徴量ｆｇの入力を受け付けてもよい。
目標軌道生成部１１２は、目標特徴量ｆｇと、画像情報から求められた画像特徴量ｆとに基づいて、ロボットを動作させる目標軌道を生成する。具体的には、ロボットを目標状態（ｆｇに対応する状態）に近づけるための関節角の変化量Δθｇを求める処理を行う。このΔθｇは関節角の暫定的な目標値となる。なお、目標軌道生成部１１２では、Δθｇから、単位時間当たりの関節角の駆動量（図３におけるドット付きθｇ）を求めてもよい。
関節角制御部１１３は、関節角の目標値Δθｇと、現在の関節角の値θとに基づいて、関節角の制御を行う。例えば、Δθｇは関節角の変化量であるため、θとΔθｇを用いて、関節角をどのような値にすればよいかを求める処理を行う。
駆動部１１４は、関節角制御部１１３の制御に従って、ロボットの関節を駆動する制御を行う。
関節角検出部１１５は、ロボットの関節角が、どのような値となっているかを検出する処理を行う。具体的には、駆動部１１４による駆動制御により関節角が変化した後に、当該変化後の関節角の値を検出して、現在の関節角の値θとして関節角制御部１１３に出力する。関節角検出部１１５は、具体的にはエンコーダーの情報を取得するインターフェース等として実現されてもよい。
画像情報取得部１１６は、撮像部等から画像情報の取得を行う。ここでの撮像部は、図４に示したように環境に配置されるものであってもよいし、ロボットのアーム２１０等に設けられる撮像部（例えばハンドアイカメラ）であってもよい。
画像特徴量演算部１１７は、画像情報取得部１１６が取得した画像情報に基づいて、画像特徴量の演算処理を行う。なお、本実施形態の手法では上述したように画像特徴量（制御特徴量）の演算手法に特徴を有するが、ここでは一般的なビジュアルサーボの説明を行うため、画像特徴量が正常に求められたものとして説明を行う。画像特徴量演算部１１７で求められた画像特徴量は、最新の画像特徴量ｆとして、目標軌道生成部１１２に出力される。
なお、具体的なビジュアルサーボの処理手順については、既に広く知られたものであるため、これ以上の詳細な説明は省略する。
３．第１の実施形態
第１の実施形態として撮像部が１つの場合について説明する。具体的には、まずロボット等のシステム構成例について説明した後、画像特徴量演算部１１７の各部の処理について詳細に説明し、最後に変形例について説明する。
３．１ システム構成例
図５に本実施形態に係るロボットの詳細なシステム構成例を示す。ただし、ロボットは図５の構成に限定されず、これらの一部の構成要素を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
図５に示したように、本実施形態に係るロボットの画像特徴量演算部１１７は、カメラ座標位置姿勢演算部１１７１と、入力受付部（対象物制御点入力部）１１７２と、カメラ座標変換演算部１１７３と、透視変換演算部１１７４を含む。
カメラ座標位置姿勢演算部１１７１は、対象物のモデルを用いてカメラ座標系における対象物の位置姿勢を演算する。対象物制御点入力部１１７２は、対象物座標系における制御点の情報の入力を受け付ける。カメラ座標変換演算部１１７３は、カメラ座標系における対象物の位置姿勢と、対象物座標系における制御点の情報とに基づいて、カメラ座標系における制御点の情報を演算する。透視変換演算部１１７４は、カメラ座標系における制御点の情報を、２次元の画像平面に対応する座標系（以下、画像面座標系とも記載する）における情報に変換する。画像特徴量演算部１１７の各部において行われる処理の詳細については後述する。
なお、図５に示したように、図２における制御部１１０は、関節角制御部１１３、駆動部１１４、関節角検出部１１５等に対応する。ただし、制御部１１０の構成は図５に限定されず、目標軌道生成部１１２等、他の構成を含んでもよい。
本実施形態のロボットとは、図６に示したように、制御装置６００と、ロボット本体３００と、を含むロボットであってもよい。図６の構成であれば、制御装置６００に図２の制御部１１０等が含まれる。そしてロボット本体３００は、アーム２１０と、エンドエフェクター２２０を含む。このようにすれば、制御点等を柔軟に設定するロボットを実現することが可能になる。
なお、本実施形態に係るロボットの構成例は図６に限定されない。例えば、図７に示したように、ロボットは、ロボット本体３００と、ベースユニット部３５０を含んでもよい。本実施形態に係るロボットは図７に示したように双腕ロボットであってもよく、頭部や胴体に相当する部分に加え、第１のアーム２１０−１と第２のアーム２１０−２及び第１のエンドエフェクター２２０−１と第２のエンドエフェクター２２０−２を含む。図７では第１のアーム２１０−１は、関節２１１，２１３と、関節の間に設けられるフレーム２１５，２１７から構成され、第２のアーム２１０−２についても同様のものとしたがこれに限定されない。なお、図７では２本のアームを有する双腕ロボットの例を示したが、本実施形態のロボットは３本以上のアームを有してもよい。
ベースユニット部３５０は、ロボット本体３００の下部に設けられ、ロボット本体３００を支持する。図７の例では、ベースユニット部３５０には車輪等が設けられ、ロボット全体が移動可能な構成となっている。ただし、ベースユニット部３５０が車輪等を持たず、床面等に固定される構成であってもよい。図７では図６の制御装置６００に対応する装置が不図示であるが、図７のロボットシステムでは、ベースユニット部３５０に制御装置６００が格納されることで、ロボット本体３００と制御装置６００とが一体として構成される。
或いは、制御装置６００のように、特定の制御用の機器を設けることなく、ロボットに内蔵される基板（更に具体的には基板上に設けられるＩＣ等）により、上記の制御部１１０等を実現してもよい。
また本実施形態の手法は、上述のロボットのうちロボット本体３００を除いた制御装置に適用してもよい。具体的には、本実施形態の手法は、対象物を動かすアームを有するロボットを制御する制御装置であって、対象物に設定される座標系で規定される情報の入力を受け付ける入力受付部１１７２と、対象物を撮像した撮像画像と、入力された情報に基づいて、アーム２１０を動作させる制御部１１０と、を含む制御装置に適用できる。この場合の制御装置とは、図５の構成のうち、アーム２１０を除いた部分に対応する。
また、本実施形態に係る制御装置の態様は図６の６００に示したものであってもよいが、これに限定されず、図８に示すように、制御装置の機能は、有線及び無線の少なくとも一方を含むネットワーク４００を介して、ロボットと通信接続されたサーバー５００により実現されてもよい。
或いは本実施形態では、本発明の制御装置の処理の一部を、制御装置であるサーバー５００が行ってもよい。この場合には、ロボット側に設けられた制御装置との分散処理により、当該処理を実現する。
そして、この場合に、制御装置であるサーバー５００は、本発明の制御装置における各処理のうち、サーバー５００に割り当てられた処理を行う。一方、ロボットに設けられた制御装置は、本発明の制御装置の各処理のうち、ロボットの制御装置に割り当てられた処理を行う。
例えば、本発明の制御装置が第１〜第Ｍ（Ｍは整数）の処理を行うものであり、第１の処理がサブ処理１ａ及びサブ処理１ｂにより実現され、第２の処理がサブ処理２ａ及びサブ処理２ｂにより実現されるように、第１〜第Ｍの各処理が複数のサブ処理に分割できる場合を考える。この場合、制御装置であるサーバー５００がサブ処理１ａ、サブ処理２ａ、・・・サブ処理Ｍａを行い、ロボット側に設けられた制御装置がサブ処理１ｂ、サブ処理２ｂ、・・・サブ処理Ｍｂを行うといった分散処理が考えられる。この際、本実施形態に係る制御装置、すなわち、第１〜第Ｍの処理を実行する制御装置とは、サブ処理１ａ〜サブ処理Ｍａを実行する制御装置であってもよいし、サブ処理１ｂ〜サブ処理Ｍｂを実行する制御装置であってもよいし、サブ処理１ａ〜サブ処理Ｍａ及びサブ処理１ｂ〜サブ処理Ｍｂの全てを実行する制御装置であってもよい。更にいえば、本実施形態に係る制御装置は、第１〜第Ｍの処理の各処理について、少なくとも１つのサブ処理を実行する制御装置である。
これにより、例えばロボット側の端末装置（例えば図６の制御装置６００）よりも処理能力の高いサーバー５００が、処理負荷の高い処理を行うこと等が可能になる。さらに、サーバー５００が各ロボットの動作を一括して制御することができ、例えば複数のロボットに協調動作をさせること等が容易になる。
また近年は、多品種少数の部品を製造することが増えてきている。そして、製造する部品の種類を変更する場合には、ロボットが行う動作を変更する必要がある。図８に示すような構成であれば、複数のロボットの各ロボットへ教示作業をし直さなくても、サーバー５００が一括して、ロボットが行う動作を変更すること等が可能になる。さらに、各ロボットに対して一つの制御装置を設ける場合に比べて、制御装置のソフトウェアアップデートを行う際の手間を大幅に減らすこと等が可能になる。
また、本実施形態の手法は、対象物を動かすアーム２１０を有するロボットと、対象物に設定される座標系で規定される情報の入力を受け付ける入力受付部１１７２と、対象物を撮像した撮像画像と、入力された情報に基づいて、アーム２１０を動作させる制御部１１０と、を含むロボットシステムに適用することもできる。なお、ここでのロボットシステムはこれら以外の構成要素を含んでもよい。例えば、制御部１１０で用いられる撮像画像を撮像する撮像部を含む等の変形実施が可能である。
３．２ 入力受付部
次に本実施形態の画像特徴量演算部１１７の各部の処理の詳細を説明する。入力受付部１１７２では、対象物座標系で規定される情報の入力を受け付ける。この情報は、狭義には上述したように制御点の情報であってもよい。ここで入力される情報に基づいて、ビジュアルサーボに用いられる特徴量の演算が行われることになる。
ここで、ビジュアルサーボの制御により対象物を目標の状態とするためには、特徴量は対象物の状態を一意に決定可能な次元数を有する情報であることが望ましい。例えば、対象物の位置姿勢を一意に決定するのであれば、６次元程度の次元数の情報となる。そのため、特徴量の算出に用いられる情報も、当該次元数の特徴量が算出可能な程度に十分なものとすることが望ましい。
例えば、図１２等を用いて後述するように、本実施形態では制御点を透視変換することで特徴量を求めることから、１つの制御点の情報に対して２次元の特徴量が求められる。そのため、例えば６次元以上の特徴量を求める場合であれば、制御点は少なくとも３つ設定されることになる。
制御点の入力の例を図９に示す。図９は、三角柱形状の対象物に対して、当該三角柱が内接する直方体の１つの頂点を、座標系の原点とし、当該原点を含む直方体の各辺を直交座標系の３軸とする対象物座標系を設定した例である。図９の例では、三角柱の底面である三角形を構成する３つの頂点Ｐ０，Ｐ１，Ｐ２に、制御点を設定する入力がされている。そして、入力された制御点の情報は、上述した対象物座標系での座標として表現される。図９の例であれば、Ｐ０，Ｐ１，Ｐ２のそれぞれの点は、ＸｏＹｏＺｏ軸及び原点Ｏｏにより規定される座標系での座標値を用いて表現されることになる。
この際、入力受付部１１７２は、対象物に対応するモデルが表示される画面において、情報の入力を受け付けてもよい。図９の例であれば、三角柱の対象物のモデルを入力画面に表示しておき、当該入力画面においてどの点を制御点とするかの入力を受け付ければよい。その際、上述したように本実施形態では制御点は頂点や辺上の点に限定されるものではないため、ユーザーが柔軟に点を設定可能となるインターフェースを用意するとよい。
例えば、対象物を姿勢を変更可能にする。これは、対象物の位置姿勢を６次元の座標情報として入力したり、位置を除いた姿勢情報のみを３次元の座標情報として入力するインターフェースであってもよい。ただし、具体的な数値と実際の位置姿勢を対応付けることはユーザーにとって難しいので、表示されている対象物を所与の回転軸まわりで回転させるインターフェース等により姿勢変更を実現してもよい。これらの表示は、対象物のモデルを所与の位置姿勢とした上で、当該モデルを仮想カメラで撮像した画像を生成、表示することで実現できる。
なお、入力画面として２次元の画像を用いる場合、奥行き方向（上記仮想カメラの光軸方向）での位置を特定することができない。そのため、奥行き方向の自由度を残しておくとユーザーが意図した点とは異なる点を制御点としてしまうおそれがある。よって制御点として設定される点を、対象物を構成する面上、或いは当該面を延長した面上に限定することでユーザーにとってわかりやすいインターフェースを実現してもよい。その他、入力に用いられる画面表示やインターフェースは種々の変形実施が可能である。
なお、本実施形態の入力受付部１１７２での処理は、制御点の情報をユーザーから受け付ける実施形態に限定されるものではない。例えば、ロボットの内部で制御点を自動生成し、当該制御点の情報を受け付ける処理を行う等の変形実施が可能である。
３．３ カメラ座標位置姿勢演算部
カメラ座標位置姿勢演算部１１７１では、カメラ座標系での対象物の位置姿勢を求める。具体的には、撮像画像と、対象物の理想的な３次元形状情報である３次元モデルデータとに基づいて、対象物の３次元位置姿勢を検出する。さらに具体的には、３次元モデルデータから２次元のテンプレート画像を生成し、入力画像（撮像画像）とテンプレート画像の間でマッチング処理を行うことで、対象物の位置姿勢を検出する。
３次元モデルデータからテンプレート画像を取得（生成）する手法は種々考えられるが、例えば、図１０（Ａ）に示したようにｘ軸ｙ軸ｚ軸で規定される３次元空間において、仮想カメラをｚ軸上の所与の位置に配置し、原点方向を撮像した画像をテンプレート画像とする手法を用いればよい。この際、テンプレート画像の上方向がｙ軸正方向になるとすれば、仮想カメラによる撮像画像は図１０（Ｂ）に示したような画像となる。仮想カメラによる撮像は、具体的には透視変換処理等により実現される。
この場合、３次元モデルデータのｘ軸における位置を変更すれば、テンプレート画像における対象物は画像の横方向に移動することになる。具体的には、対象物の位置を図１０（Ａ）の矢印の方向に変化させれば、テンプレート画像における対象物も矢印の方向へ移動する。同様に、ｙ軸における位置を変更すれば、対象物は画像の縦方向に移動することになる。また、ｚ軸方向に移動させると、対象物と仮想カメラの間の距離が変化することからテンプレート画像中での対象物のサイズが変化する。また、ｘ軸回りの回転角ｕ、ｙ軸回りの回転角ｖ、ｚ軸回りの回転角ｗを変化させると、仮想カメラに対する対象物の姿勢が変化するため、対象物に回転対称性がある等の場合を除き、基本的にはテンプレート画像における対象物の形状が変化することになる。なお、図１０（Ａ）、図１０（Ｂ）では、座標系に仮想カメラを固定して３次元モデルデータ側を動かすものとしたが、対象物を固定して仮想カメラを移動させてもよい。
つまり、３次元モデルデータから取得したテンプレート画像と、入力画像を用いて対象物の位置姿勢を検出する際には、３次元モデルデータの位置姿勢（ｘ，ｙ，ｚ，ｕ，ｖ，ｗ）を変化させることで、対象物の画像上での位置、サイズ、形状の異なる複数のテンプレート画像を取得し、当該複数のテンプレート画像の中で最も入力画像に近い画像を探索すればよい。テンプレート画像と入力画像が近い（狭義には一致する）状況では、仮想カメラに対する３次元モデルデータの相対的な位置姿勢と、入力画像を撮像した撮像部と実際の対象物との相対的な位置姿勢が充分近い（狭義には一致する）と考えることができる。
通常、画像マッチングでは２つの画像がどれだけ近いかを表すパラメーターである類似度が求められるため、位置姿勢の検出は、類似度を最大にする３次元モデルデータの位置姿勢（ｘ，ｙ，ｚ，ｕ，ｖ，ｗ）を求める問題に落とし込むことができる。（ｘ，ｙ，ｚ，ｕ，ｖ，ｗ）が求まれば、その際の仮想カメラに対する３次元モデルデータの相対的な位置姿勢関係を用いて、入力画像を撮像した撮像部に対する実際の対象物の位置姿勢関係を求めることができる。また、所与の座標系における撮像部の配置位置姿勢が既知であれば、対象物の位置姿勢を当該所与の座標系の情報に変換すること等も容易である。
図１１にカメラ座標系での対象物の位置姿勢が特定された場合の例を示す。図１１に示したように、対象物座標系の原点がＯｏであることがわかっている場合であれば、カメラ座標系での対象物の位置とは、カメラ座標系の原点Ｏｃに対するＯｏの位置（Ｘｃ，Ｙｃ，Ｚｃ）として表現されるし、カメラ座標系での対象物の姿勢とは、所与の基準姿勢に対するカメラ座標系の各軸まわりでの回転（Ｕｃ，Ｖｃ，Ｗｃ）として表現される。
３．４ カメラ座標変換演算部
上述したように、カメラ座標位置姿勢演算部１１７１では、カメラ座標系における対象物の位置姿勢が求められており、入力受付部１１７２では、対象物座標系における制御点の情報が求められている。ここで、対象物座標系での情報とは、対象物を基準とした相対的な情報である。ビジュアルサーボ等のロボット制御では、対象物の現在の状態を取得した上で制御量を決定するのであるから、制御点の情報が入力されたとしても、対象物の状態（例えばワールド座標系における位置姿勢）によらず一定となる対象物座標系での情報のままでは制御に用いることはできない。
よって本実施形態の制御部１１０は、対象物のモデルの情報と撮像画像に基づいて、撮像画像を撮像する撮像部に設定されるカメラ座標系での対象物の位置姿勢を求め、カメラ座標系での位置姿勢と、対象物に設定される座標系での１又は複数の制御点の情報に基づいて、カメラ座標系での制御点の情報を求める。
具体的には、カメラ座標変換演算部１１７３では、対象物座標系で表現された制御点の情報を、カメラ座標での情報に変換する。この処理は一般的な座標変換処理により実現可能である。例えば、対象物座標系での制御点をＰｏ＝（Ｘｏ，Ｙｏ，Ｚｏ，１）と便宜上４次元で表現し、カメラ座標での対象物の位置をＴｃ（３次元ベクトル）、姿勢をＲｃ（３×３の行列）とすれば、カメラ座標系での制御点の座標Ｐｃ＝（Ｘｃ，Ｙｃ，Ｚｃ，１）は、下式（１）により表現される。なお、下式（１）の０Ｔは３×１のゼロベクトルである。
以上の処理により、入力された制御点がカメラ座標系により表現される。つまり、変換後の制御点の情報は、撮像部に対する対象物の位置姿勢を反映したものであるため、ビジュアルサーボ等の制御に直接的に利用可能な情報となる。
３．５ 透視変換演算部
カメラ座標変換演算部１１７３の処理により、カメラ座標系における制御点の３次元座標情報が求められた。ビジュアルサーボでは、この３次元情報をそのまま特徴量ｆの要素として用いてもよい。
ただし本実施形態では、３次元的な制御点の情報を、所与の画像面での情報にさらに変換するものとする。つまり制御部１１０は、カメラ座標系での制御点を透視変換して、透視変換後の制御点の情報を特徴量としてアームを動作させてもよい。ただし変形例として後述するように、透視変換により求められる情報は目標特徴量として用いられてもよい。
透視変換の模式図を図１２に示す。カメラ座標系での制御点の座標Ｐｃ＝（Ｘｃ，Ｙｃ，Ｚｃ）が求められていれば、画像面座標系（２次元座標系）での制御点の座標Ｐｉ＝（ｘ，ｙ）は下式（２）により求めることができる。
画像面がカメラの撮像面であるとすれば、上式（２）におけるｆｃはカメラの焦点距離となる。ただし、本実施形態においては３次元的な制御点の情報を所与の画像面に投影できれば十分であるため、ｆｃは任意の値を用いればよい。
以上の処理により、１つの制御点から２次元の特徴量を求めることができる。図９に示したように制御点としてＰ０〜Ｐ２の３つを設定していれば、合計で６次元の特徴量ｆ＝（ｘ０，ｙ０，ｘ１，ｙ１，ｘ２，ｙ２）を求めることになる。
特徴量を求めることができれば、それ以降の処理については上述した一般的なビジュアルサーボと同様であるため、詳細な説明は省略する。
３．６ 変形例
図１３に示したように、所与の組付け対象物ＷＫ１を，他の被組付け対象物ＷＫ２に組付けるロボット作業を考える。参照画像を用いたビジュアルサーボにより、図１３に示すような組付け作業を行う場合には、カメラ（撮像部）により撮像された撮像画像と、あらかじめ用意しておいた参照画像とに基づいて、ロボットを制御する。具体的には、参照画像に映る組付け対象物ＷＫ１Ｒの位置に向かって、組付け対象物ＷＫ１を、矢印ＹＪのように移動させて、被組付け対象物ＷＫ２に組付ける。
ここで、この時に用いる参照画像ＲＩＭを図１４（Ａ）に、参照画像ＲＩＭに映る被組付け対象物ＷＫ２の実空間（３次元空間）上での位置を図１４（Ｂ）に示す。図１４（Ａ）の参照画像ＲＩＭには、被組付け対象物ＷＫ２と組付け状態（又は組付けられる直前の状態）の組付け対象物ＷＫ１Ｒ（図１３のＷＫ１Ｒに相当する）が映っている。参照画像ＲＩＭを用いたビジュアルサーボでは、参照画像ＲＩＭに映る組付け状態の組付け対象物ＷＫ１Ｒの位置姿勢に、撮像画像に映る組付け対象物ＷＫ１の位置姿勢が一致するように、組付け対象物ＷＫ１を移動させる。
この場合、ＷＫ１を基準として制御点を設定し、目標状態での組付け対象物ＷＫ１の制御点の情報から目標特徴量を求めてもよい。しかし組付け作業においては目標特徴量を他の手法により設定することが可能である。具体的には、組付け対象物ＷＫ１の所与の頂点が、被組付け対象物ＷＫ２の所与の頂点と一致する状態が、組付け作業の目標状態であるとすれば、ＷＫ１の頂点を第１の制御点とし、ＷＫ２を第２の制御点としてもよい。
この場合、例えば第１の制御点からフィードバックループ毎に用いられる特徴量（制御特徴量）を求め、第２の制御点から目標特徴量を求めればよい。このようにしても、制御特徴量を目標特徴量に近づける制御を行えば、組付け対象物ＷＫ１の第１の制御点に対応する頂点を、被組付け対象物ＷＫ２の第２の制御点に対応する頂点と一致させることになるため、所望の組付け作業が可能になる。
この際、第２の制御点から目標特徴量を求める処理を、上述した本実施形態の手法により行うことが可能である。具体的には、入力受付部（図１５を用いて後述する対象物制御点入力部１１１２に対応）は、第２の対象物（被組付け対象物ＷＫ２）に設定される第２の座標系で規定される第２の制御点の情報の入力を受け付け、制御部１１０は、第２の対象物のモデルの情報と、第２の対象物を撮像した撮像画像に基づいて、第２の対象物の位置姿勢を求め、第２の対象物の位置姿勢に基づいて、第２の制御点の座標変換を行うことで目標特徴量を求める。その際の座標変換は、第２の対象物座標系からカメラ座標系への変換だけでなく、透視変換処理を含めてもよい。
この場合のロボット等のシステム構成例を図１５に示す。図５と比較した場合に、目標特徴量入力部１１１に、カメラ座標位置姿勢演算部１１１１と、対象物制御点入力部１１１２と、カメラ座標変換演算部１１１３と、透視変換演算部１１１４が追加された構成となっている。これらの各部で行われる処理については、処理対象が被組付け対象物ＷＫ２となる点を除いて上述の説明と同様であるため詳細は省略する。なお、ロボットの構成例は図１５に限定されるものではない。例えば、カメラ座標位置姿勢演算部１１１１等は、それぞれカメラ座標位置姿勢演算部１１７１等と同様の処理を行うため、これらを２つずつに分けなくてもよい。具体的には、カメラ座標位置姿勢演算部１１１１と、カメラ座標位置姿勢演算部１１７１とをまとめて１つのブロックとして構成する等の変形実施が可能である。
このようにすれば、組付け対象物ＷＫ１と被組付け対象物ＷＫ２の両方について、特徴量を求めるための制御点を柔軟に設定することが可能である。例えば、図１（Ｄ）に示した組付け完了の直前状態を暫定的な目標とする制御を行う場合、上述したようにＷＫ１の外部に制御点を設定して制御特徴量を求めるとともに、ＷＫ２の頂点を第２の制御点として目標特徴量を求めればよいが、他の変形実施も可能になる。例えば、図１６に示したように、ＷＫ１の頂点を第１の制御点として制御特徴量を求めるとともに、ＷＫ２の外部に第２の制御点を設定して目標特徴量を求めるものとしてもよい。この場合の制御特徴量は画像上のＢ１、Ｂ２であり、目標特徴量は画像上のＢ３，Ｂ４となる。このようにしても、図１（Ｄ）に示した例と同様の制御が可能である。その他、制御点をＷＫ１の外部に設定するとともに、第２の制御点についてもＷＫ２の外部に設定し、それぞれ対象物の外部に設定された制御点から、制御特徴量及び目標特徴量を求める等、種々の変形実施が可能でなる。いずれにせよ制御部１１０では、特徴量及び目標特徴量に基づいて、対象物と第２の対象物が所与の相対位置関係となるようにアーム２１０を動作させることになる。
なお、被組付け対象物ＷＫ２の撮像部に対する相対位置が不変であることがわかっているのであれば、第２の制御点から目標特徴量を求める処理は１回行っておけばよく、それ以降は求めた目標特徴量を継続して用いることが可能である。しかし、実際に組付け作業を行う場合には、被組付け対象物ＷＫ２の位置姿勢が変わることがある。例えば、図１４（Ｂ）に示すように、図１４（Ａ）の参照画像ＲＩＭに映る被組付け対象物ＷＫ２の重心位置が、実空間上ではＧＣ１であるとする。これに対し、実際の被組付け対象物ＷＫ２がずれて置かれており、実際の被組付け対象物ＷＫ２の重心位置はＧＣ２であることがある。この場合には、制御特徴量と目標特徴量（ＷＫ２の移動前に求められた目標特徴量）が一致するように、実際の組付け対象物ＷＫ１を移動させても、実際の被組付け対象物ＷＫ２との組付け状態にはならないため、正確に組付け作業を行うことができない。被組付け対象物ＷＫ２の位置姿勢が変わった場合には、被組付け対象物ＷＫ２と組付け状態となる組付け対象物ＷＫ１の位置姿勢も変わるためである。
よって他の変形例では、制御特徴量をフィードバックループ毎に求めるのと同様に、目標特徴量についても複数回求めてもよい。例えば、目標特徴量についてもフィードバックループ毎に求めてもよいし、処理負荷を考慮して、複数回のフィードバックループに対して１回目標特徴量を求めるものとしてもよく、種々の変形実施が可能である。
このようにすれば、被組付け対象物ＷＫ２の位置姿勢が変わる場合でも、正確に組付け作業を行うことが可能になる。
また、以上の説明では制御特徴量側は本実施形態の手法により求めるものとしたがこれには限定されない。例えば、制御特徴量については従来手法と同様に画像中の特徴的な点を検出する手法により行い、目標特徴量を本実施形態の手法により求めてもよい。
具体的には、制御部１１０は、対象物（ここでは例えば被組付け対象物ＷＫ２）のモデルの情報と、撮像画像に基づいて、対象物の位置姿勢を求め、位置姿勢に基づいて、制御点の座標変換を行うことで目標特徴量を求め、目標特徴量を用いてアーム２１０を動作させてもよい。
この場合、制御部１１０は、第２の対象物（ここでは例えば組付け対象物ＷＫ１）が撮像された撮像画像に基づいて特徴量を求め、特徴量及び目標特徴量に基づいて、対象物と第２の対象物が所与の相対位置関係となるようにアーム２１０を動作させることになる。
このようにすれば、目標特徴量を求めるための制御点を柔軟に設定することが可能になる。例えば図１６のような制御を行う場合、組付け対象物ＷＫ１の特徴量を画像から直接的に求めることが可能であったとしても、目標特徴量を被組付け対象物ＷＫ２の外部に設定しなければ所望の動作はできない。その点、本実施形態の手法により目標特徴量を設定するのであれば、被組付け対象物ＷＫ２の外部に制御点を設けることは容易である。また、ＷＫ２のカメラ座標系における位置姿勢を用いて目標特徴量を求めているため、ＷＫ２の位置姿勢が予定の位置姿勢からずれてしまった場合であっても、適切な作業を行うことが可能である。
４．第２の実施形態
第１の実施形態及びその変形例では撮像部は１つであるものとした。ただし、制御部１１０は、第１の撮像部で撮像された第１の撮像画像と、第２の撮像部で撮像された第２の撮像画像と、入力受付部１１７２で入力された情報に基づいて、アーム２１０を動作させてもよい。この場合のロボットの構成は例えば図１７に示したようになる。
上述してきたように、特徴量（或いは目標特徴量）を求める際には、撮像画像に基づいて、カメラ座標系における対象物の位置姿勢を求める処理を行う。しかし、３次元的な位置姿勢の推定を２次元の撮像画像に基づいて行うため、当該推定には誤差が含まれる可能性がある。
具体例を図１８（Ａ）〜図２２（Ｃ）に示す。図１８（Ａ）は対象物（ここでは説明を簡略化するため平面的な物体を想定している）の空間的な位置姿勢を表すものであり、実線が第１の位置姿勢、破線が第１の位置姿勢とは異なる第２の位置姿勢である。そして、図１８（Ｂ）は、図１８（Ａ）に示した方向を撮像する第１の撮像部から、第１，第２の位置姿勢の対象物を撮像した場合の撮像画像の例であり、図１８（Ｃ）は図１８（Ａ）に示した方向を撮像する第２の撮像部から対象物を撮像した場合の撮像画像の例である。なお、図面が対象物の空間位置姿勢、第１の撮像部での撮像画像、第２の撮像部での撮像画像の関係を表す点は、図１９（Ａ）〜図２２（Ｃ）でも同様である。
図１８（Ａ）の例では、第２の位置姿勢は、第１の位置姿勢に対して、第１の撮像部の光軸方向で平行移動したものとなっている。この場合、図１８（Ｂ）からわかるように、対象物の位置姿勢が変化しているにもかかわらず、第１の撮像部での撮像画像上での対象物の変化は非常に小さい。それに対して、図１８（Ｃ）からわかるように、第２の撮像部から撮像した画像では、対象物の位置姿勢の変化が撮像画像上でも明確である。
同様に、図１９（Ａ）では第２の位置姿勢は、第１の位置姿勢に対して、第１の撮像部の光軸方向及び第２の撮像部の光軸方向のいずれの方向とも異なる方向で平行移動したものとなっている。この場合移動量自体は図１８（Ａ）と同程度であるのに、図１９（Ｂ）、図１９（Ｃ）からわかるように、撮像画像上での変化が明確となる。
また、図２０（Ａ）では第２の位置姿勢は、第１の位置姿勢に対して、第１の撮像部の光軸方向を回転軸として回転したものとなっている。この場合、図２０（Ｂ）、図２０（Ｃ）からわかるように、撮像画像上での変化が明確となる。
それに対して、図２１（Ａ）及び図２２（Ａ）では第２の位置姿勢は、第１の位置姿勢に対して、第１の撮像部の光軸方向に直交する方向を回転軸として回転したものとなっている。この場合、図２１（Ｂ）、図２２（Ｂ）からわかるように、対象物の位置姿勢が変化しているにもかかわらず、第１の撮像部での撮像画像上での対象物の変化は非常に小さい。それに対して、図２１（Ｃ）、図２２（Ｃ）からわかるように、第２の撮像部から撮像した画像では、対象物の位置姿勢の変化が撮像画像上でも明確である。
図１８（Ａ）、図１８（Ｂ）、図２１（Ａ）、図２１（Ｂ）、図２２（Ａ）、図２２（Ｂ）からわかるように、撮像部の光軸方向での移動、或いは撮像部の光軸方向を中心とした移動を伴う回転が行われた場合、対象物の３次元的な位置姿勢が変化していたとしても、撮像画像上での対象物の変化は非常に小さいものとなる。これは、撮像画像から対象物の位置姿勢を推定する際に、光軸方向での位置や、光軸に直交する回転軸まわりでの回転を精度よく求めることが困難であることを示している。具体的には、図１８（Ａ）の場合、対象物の位置姿勢が変化しても、撮像画像では図１８（Ｂ）に示したように実線と破線の差異が非常に小さくなってしまう以上、図１８（Ｂ）に実線（破線）で示した撮像画像が取得された場合に、位置姿勢が図１８（Ａ）の破線（実線）であると誤検出するおそれが否定できない。
この誤差を模式的に示したものが図２３である。図２３からわかるように、撮像画像から推定される位置姿勢は光軸方向での誤差を含むものである。そしてカメラ座標位置姿勢演算部１１７１で演算される位置姿勢は、当該誤差範囲の中からもっともらしいと判定した１つの位置姿勢を演算するものであり、高い精度が保証されるものではない。
これに対して、第１の撮像部と光軸方向が異なる第２の撮像部を設けておくことが考えられる。第２の撮像部についても、当該第２の撮像部の光軸方向では位置姿勢の演算精度は十分ではないが、図２４に示したように第１の撮像部の誤差範囲Ｃ１と、第２の撮像部の誤差範囲Ｃ２が特定されれば、対象物の位置姿勢はその重複範囲であるＣ３の範囲内であるという、精度の高い位置姿勢推定が可能となる。なお、図２４では説明を簡略化するため対象物の位置のみを示し姿勢は省略している。この点は図２５、図２７、図２８でも同様である。
ただし、図２４のような推定が可能となるのは、第１の撮像部と第２の撮像部の相対的な位置関係を制御部１１０が知っている場合に限られる。つまり、制御部１１０において、対象物がこの位置にあれば、当該対象物は第１の撮像部ではこの位置に撮像され、且つ第２の撮像部ではこの位置に撮像される、という関係を知っているからこそ、図２４に示した重複範囲Ｃ３を求めることが可能になる。言い換えれば、２つの撮像部の相対関係が未知であるのならば、一方から得られた情報と他方から得られた情報とを併せて処理することはできない。そのため、単純に撮像部を増やしたとしても精度の面で有利になるとは言えない。２つの撮像部間の位置関係を既知とするためには、撮像部を精度よくロボットの動作環境に配置しなくてはならない。もしくは、特定パターンの描かれたボード等を２つの撮像部に同時に映るようにしながら、様々な姿勢へ変化させる等の非常に手間のかかる校正作業を行う必要がある。近年のロボットは専門的な知識を有さないユーザーであっても容易に使用できることを目指す方向にある。そのため、ユーザーに対して高精度での撮像部の配置を強いることや手間のかかる校正作業を強いることが好ましくないケースも多く、結果として撮像部の相対位置関係が未知であるという状況も多分に起こりえると言える。
さらにいえば、複数の撮像部を相対関係が未知となる状態で使用した場合、それぞれの撮像部での処理で生じうる誤差が蓄積することで、より大きな誤差となるおそれがある。具体例を図２５に示す。図２５は対象物が目標となる位置まで到達している場合の例である。当然、対象物が目標位置Ｄ１にあるのだから、これ以上ビジュアルサーボにより対象物を移動させる必要はなく、求められる移動量は理想的には０となるべきである。それに対して、第１の撮像部では、光軸方向での推定精度が低いために、本来Ｄ１にある対象物をＤ２にあると誤検出してしまっている。そのため、第１の撮像部の処理からは、Ｄ３に示したベクトルだけ対象物を移動させようとする制御量が出力されることになる。同様に、第２の撮像部でも、本来Ｄ１にある対象物をＤ４にあると誤検出してしまっている。そのため、第２の撮像部の処理からは、Ｄ５に示したベクトルだけ対象物を移動させようとする制御量が出力されることになる。その結果、ビジュアルサーボによってＤ３とＤ５の合成ベクトルに相当するＤ６だけ対象物を移動させる制御が行われてしまう。
つまり、第１の撮像部でＤ７だけの誤差範囲が生じ、第２の撮像部でＤ８だけの誤差範囲が生じ、且つそれらの結果をそれぞれ独立で処理することになった場合、最終的な制御量の誤差範囲としては、Ｄ７とＤ８から決定されるＤ９だけの範囲を考慮しなくてはならない。
しかし、上述してきた本実施形態の手法であれば、第１，第２の撮像部の相対関係が未知であり、それぞれを独立に処理したとしても、図２５に示したように誤差を蓄積することなく高精度での処理が可能になる。なぜなら、図１２に示したように、本実施形態ではカメラ座標系での制御点の位置姿勢を求めた後に、当該制御点の情報を画像面座標系に透視変換している。これにより、精度が低くなる光軸方向の情報の寄与度が低くなるため、精度の低下を免れることが可能になるためである。以下詳細に説明する。
まずこの場合のロボットのシステム構成例を図２６に示す。図５と比較した場合に、第２の画像情報取得部１１８が追加されるとともに、画像特徴量演算部１１７に、第２のカメラ座標位置姿勢演算部１１７５、第２の対象物制御点入力部１１７６、第２のカメラ座標変換演算部１１７７、第２の透視変換演算部１１７８が追加された構成となっている。第２の画像情報取得部１１８は、第２の撮像部からの第２の撮像画像を取得し、第２のカメラ座標位置姿勢演算部１１７５、第２の対象物制御点入力部１１７６、第２のカメラ座標変換演算部１１７７、第２の透視変換演算部１１７８の各部は、第２の撮像画像を対象として上述した各処理を行う。第２のカメラ座標位置姿勢演算部１１７５、第２の対象物制御点入力部１１７６、第２のカメラ座標変換演算部１１７７、第２の透視変換演算部１１７８の処理内容は、それぞれ、カメラ座標位置姿勢演算部１１７１、対象物制御点入力部１１７２、カメラ座標変換演算部１１７３、透視変換演算部１１７４と同様である。またこれらの各部を２つに分けずに共通化してもよい。
透視変換演算部１１７４において、第１の撮像部に対応するカメラ座標系（第１のカメラ座標系）で表現された３次元的な制御点の情報は、図１２に示した処理に従って２次元の画像平面座標系の情報に変換される。カメラ座標系での制御点の情報とは、図２５に示したように誤差範囲の中からもっともらしい１点を推定している処理である。これに対して、透視変換された制御点の情報とは、光軸方向での位置を限定せず、図２７のＥ１に示したように、直線上のいずれかの点であるという推定を行っていることになる。
この場合、目標状態での制御点の位置（目標特徴量）も直線（目標線）として表現される。つまり図２８に示したように、第１の撮像部から見た場合、現在の位置が直線Ｆ１で表現され、目標位置が目標線Ｆ２で表現される。よってビジュアルサーボによりその差異を減少させようとすれば、直線を一致させるようなベクトルＦ３を制御量とする出力が得られる。同様に、第２の撮像部から見た場合、現在の位置が直線Ｆ４で表現され、目標位置が目標線Ｆ５で表現される。よってビジュアルサーボでは、直線を一致させるようなベクトルＦ６を制御量とする出力が得られる。
その結果、ビジュアルサーボによってＦ３とＦ６の合成ベクトルに相当するＦ７だけ対象物を移動させる制御が行われる。図２８からわかるように、図２５と同様の状況でありながら、透視変換処理を行っておくことで、誤差の蓄積を抑えることが可能になる。具体的には、誤差範囲は図２５のＤ９ではなく、図２７のＥ２に示した領域を考えればよい。
以上の結果を表すシミュレーション結果を図２９（Ａ）〜図３０（Ｄ）に示す。図２９（Ａ）〜図２９（Ｄ）は誤差がないと仮定した状況におけるビジュアルサーボの制御量（ビジュアルサーボの１サイクル毎の、対象物の位置姿勢の変化目標量）を表す。具体的には、図２９（Ａ）、図２９（Ｂ）は特徴量としてカメラ座標系での位置姿勢（カメラ座標位置姿勢演算部１１７１の出力等）を用いた場合の対象物の位置の目標変化量、姿勢の目標変化量の時間変化を表す。言い換えれば、図２９（Ａ）、図２９（Ｂ）は透視変換処理を行わない場合のビジュアルサーボの様子を示している。それに対して、２９（Ｃ）、図２９（Ｄ）は透視変換処理後の、画像面座標系での制御点の情報を特徴量として用いた場合の、対象物の位置の目標変化量、姿勢の目標変化量の時間変化を表す。
図２９（Ａ）〜図２９（Ｄ）からわかるように、誤差を考えなくてよい理想的な状況であれば、特徴量は透視変換処理前の情報を用いても、透視変換処理後の情報を用いても同様の傾向を示す。具体的には、位置や姿勢の変化量が徐々に減少していき、目標の位置姿勢となったところで目標変化量が０に収束する。
それに対して、図３０（Ａ）〜図３０（Ｄ）が誤差がある場合の例であり、図３０（Ａ）、図３０（Ｂ）が透視変換処理前の情報を特徴量とし、図３０（Ｃ）、図３０（Ｄ）が透視変換処理後の情報を特徴量としたものである。この場合、図３０（Ａ）、図３０（Ｂ）からわかるように、透視変換処理を行わないものとすると、位置姿勢の変化量の指示は０に収束することなく変動の度合いは大きい状態が続く。なぜなら図２５に示したように、目標状態に近づいていたとしても、位置姿勢を大きく変化させてしまおうとするためである。
それに対して、図３０（Ｃ）、図３０（Ｄ）に示したように、透視変換処理後の情報を特徴量とすれば、図２７に示したように誤差が小さく抑えられるため、制御量の変動の度合いを小さく抑え、精度のよい制御を行うことが可能になる。つまり、透視変換処理を行うことで、複数の撮像部間の関係を厳密に設定しなくとも、精度のよいロボットの動作が可能になる。そのため、ロボットを利用するユーザーの負担を軽くすることができ、例えば専門的な知識を有さないユーザーであっても所望のロボット動作を容易に実現すること等が可能となる。
以上、本発明を適用した２つの実施の形態１〜２およびその変形例について説明したが、本発明は、各実施の形態１〜２やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜２や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜２や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。また、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
ＯＢ 対象物、ＷＫ１ 組付け対象物、ＷＫ２ 被組付け対象物、１００ 制御装置、
１１０ 制御部、１１１ 目標特徴量入力部、１１２ 目標軌道生成部、
１１３ 関節角制御部、１１４ 駆動部、１１５ 関節角検出部、
１１６ 画像情報取得部、１１７ 画像特徴量演算部、１１８ 第２の画像情報取得部、
２１０ アーム、２１１，２１３ 関節、２１５，２１７ フレーム、
２２０ エンドエフェクター、３００ ロボット本体、３５０ ベースユニット部、
４００ ネットワーク、５００ サーバー、６００ 制御装置、
１１１１、１１７１ カメラ座標位置姿勢演算部、
１１１２、１１７２ 対象物制御点入力部、
１１１３、１１７３ カメラ座標変換演算部、１１１４、１１７４ 透視変換演算部、
１１７５ 第２のカメラ座標位置姿勢演算部、１１７６ 第２の対象物制御点入力部、
１１７７ 第２のカメラ座標変換演算部、１１７８ 第２の透視変換演算部

Claims (12)

  1. 対象物を動かすアームと、
    前記対象物に設定される座標系で規定される情報の入力を受け付ける入力受付部と、
    前記対象物を撮像した撮像画像と、入力された前記情報に基づいて、前記アームを動作させる制御部と、
    を含み、
    前記入力受付部は、
    前記対象物に対応する三次元モデルが2次元の画像として表示される画面において、前記対象物を構成する面上、或いは当該面を延長した面上の点を前記情報として受け付けることを特徴とするロボット。
  2. 請求項１において、
    前記情報は、
    前記対象物に設定される前記座標系で規定される制御点の情報であることを特徴とする
    ロボット。
  3. 請求項２において、
    前記制御部は、
    前記対象物のモデルの情報と、前記撮像画像に基づいて、前記対象物の位置姿勢を求め、
    前記位置姿勢に基づいて、前記制御点の座標変換を行うことで特徴量を求め、
    前記特徴量と目標特徴量に基づいて前記アームを動作させることを特徴とするロボット。
  4. 請求項３において、
    前記入力受付部は、
    第２の対象物に設定される第２の座標系で規定される第２の制御点の情報の入力を受け付け、
    前記制御部は、
    前記第２の対象物のモデルの情報と、前記第２の対象物を撮像した前記撮像画像に基づいて、前記第２の対象物の位置姿勢を求め、
    前記第２の対象物の前記位置姿勢に基づいて、前記第２の制御点の座標変換を行うことで前記目標特徴量を求めることを特徴とするロボット。
  5. 請求項４において、
    前記制御部は、
    前記特徴量及び前記目標特徴量に基づいて、前記対象物と前記第２の対象物が所与の相対位置関係となるように前記アームを動作させることを特徴とするロボット。
  6. 請求項２において、
    前記制御部は、
    前記対象物のモデルの情報と、前記撮像画像に基づいて、前記対象物の位置姿勢を求め、
    前記位置姿勢に基づいて、前記制御点の座標変換を行うことで目標特徴量を求め、
    前記目標特徴量を用いて前記アームを動作させることを特徴とするロボット。
  7. 請求項６において、
    前記制御部は、
    第２の対象物が撮像された前記撮像画像に基づいて特徴量を求め、
    前記特徴量及び前記目標特徴量に基づいて、前記対象物と前記第２の対象物が所与の相対位置関係となるように前記アームを動作させることを特徴とするロボット。
  8. 請求項１において、
    前記情報は、
    前記対象物に設定される前記座標系で規定される制御点の情報であり、
    前記制御部は、
    前記対象物のモデルの情報と前記撮像画像に基づいて、前記撮像画像を撮像する撮像部に設定されるカメラ座標系での前記対象物の前記位置姿勢を求め、
    前記カメラ座標系での前記位置姿勢と、前記対象物に設定される前記座標系での１又は複数の前記制御点の情報に基づいて、前記カメラ座標系での前記制御点の情報を求めることを特徴とするロボット。
  9. 請求項８において、
    前記制御部は、
    前記カメラ座標系での前記制御点を透視変換して、透視変換後の前記制御点の情報を特徴量及び目標特徴量の少なくとも一方として前記アームを動作させることを特徴とするロボット。
  10. 請求項１乃至９のいずれかにおいて、
    前記制御部は、
    第１の撮像部で撮像された第１の撮像画像と、第２の撮像部で撮像された第２の撮像画像と、入力された前記情報に基づいて、前記アームを動作させることを特徴とするロボット。
  11. 対象物を動かすアームを有するロボットと、
    前記対象物に設定される座標系で規定される情報の入力を受け付ける入力受付部と、
    前記対象物を撮像した撮像画像と、入力された前記情報に基づいて、前記アームを動作させる制御部と、
    を含み、
    前記入力受付部は、
    前記対象物に対応する三次元モデルが2次元の画像として表示される画面において、前記対象物を構成する面上、或いは当該面を延長した面上の点を前記情報として受け付けることを特徴とするロボットシステム。
  12. 対象物を動かすアームを有するロボットを制御する制御装置であって、
    前記対象物に設定される座標系で規定される情報の入力を受け付ける入力受付部と、
    前記対象物を撮像した撮像画像と、入力された前記情報に基づいて、前記アームを動作させる制御部と、
    を含み、
    前記入力受付部は、
    前記対象物に対応する三次元モデルが2次元の画像として表示される画面において、前記対象物を構成する面上、或いは当該面を延長した面上の点を前記情報として受け付けることを特徴とする制御装置。
JP2014121217A 2014-06-12 2014-06-12 ロボット、ロボットシステム及び制御装置 Active JP6427972B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014121217A JP6427972B2 (ja) 2014-06-12 2014-06-12 ロボット、ロボットシステム及び制御装置
CN201510315785.6A CN105291101A (zh) 2014-06-12 2015-06-10 机器人、机器人系统以及控制装置
US14/736,814 US20150363935A1 (en) 2014-06-12 2015-06-11 Robot, robotic system, and control device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014121217A JP6427972B2 (ja) 2014-06-12 2014-06-12 ロボット、ロボットシステム及び制御装置

Publications (2)

Publication Number Publication Date
JP2016000442A JP2016000442A (ja) 2016-01-07
JP6427972B2 true JP6427972B2 (ja) 2018-11-28

Family

ID=54836583

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014121217A Active JP6427972B2 (ja) 2014-06-12 2014-06-12 ロボット、ロボットシステム及び制御装置

Country Status (3)

Country Link
US (1) US20150363935A1 (ja)
JP (1) JP6427972B2 (ja)
CN (1) CN105291101A (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2990165A3 (en) * 2014-08-25 2016-06-29 Seiko Epson Corporation Robot for fitting an object in another
US20170259433A1 (en) * 2016-03-11 2017-09-14 Seiko Epson Corporation Robot control device, information processing device, and robot system
JP6665040B2 (ja) * 2016-06-20 2020-03-13 三菱重工業株式会社 ロボット制御システム及びロボット制御方法
US10078908B2 (en) * 2016-08-12 2018-09-18 Elite Robotics Determination of relative positions
WO2018036443A1 (zh) * 2016-08-26 2018-03-01 陈胜辉 一种物料抓取方法、装置及系统、以及测力装置、物料箱
CN106595634A (zh) * 2016-11-30 2017-04-26 深圳市有光图像科技有限公司 通过对比图像识别移动机器人的位置的方法及移动机器人
JP6549683B2 (ja) * 2016-12-12 2019-07-24 ファナック株式会社 制御装置
DE102017222474A1 (de) * 2016-12-12 2018-06-14 Fanuc Corporation Numeriksteuerung und datenstruktur
JP6376296B1 (ja) * 2017-02-09 2018-08-22 三菱電機株式会社 位置制御装置及び位置制御方法
CN110268358B (zh) * 2017-02-09 2022-11-04 三菱电机株式会社 位置控制装置及位置控制方法
JP7011805B2 (ja) * 2017-09-10 2022-01-27 株式会社チトセロボティクス ロボットの制御点設定がなされるロボット制御装置およびロボット制御方法
JP7323993B2 (ja) * 2017-10-19 2023-08-09 キヤノン株式会社 制御装置、ロボットシステム、制御装置の動作方法及びプログラム
JP2019084609A (ja) * 2017-11-06 2019-06-06 セイコーエプソン株式会社 ロボット制御装置、ロボットおよびロボットシステム
JP2019185475A (ja) * 2018-04-12 2019-10-24 富士通株式会社 特定プログラム、特定方法及び情報処理装置
JP7257752B2 (ja) * 2018-07-31 2023-04-14 清水建設株式会社 位置検出システム
JP7051650B2 (ja) * 2018-09-10 2022-04-11 株式会社日立ハイテク 自動分析装置に用いる試薬搬送システム
WO2021046767A1 (zh) * 2019-09-11 2021-03-18 西门子（中国）有限公司 自主式机器人工装系统、控制系统、控制方法及存储介质
JP2021065940A (ja) * 2019-10-17 2021-04-30 オムロン株式会社 干渉評価装置、方法、及びプログラム
CN110788858B (zh) * 2019-10-23 2023-06-13 武汉库柏特科技有限公司 一种基于图像的物体校位方法、智能机器人及校位系统
US11360780B2 (en) * 2020-01-22 2022-06-14 Apple Inc. Instruction-level context switch in SIMD processor
JP2021142625A (ja) * 2020-03-13 2021-09-24 オムロン株式会社 ロボット制御システムおよび制御方法
WO2021185805A2 (en) * 2020-03-18 2021-09-23 Teknologisk Institut A relocatable robotic system for production facilities

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4980971A (en) * 1989-12-14 1991-01-01 At&T Bell Laboratories Method and apparatus for chip placement
JP3985677B2 (ja) * 2002-12-25 2007-10-03 株式会社安川電機 水平多関節ロボットの干渉チェック装置および方法
JP2006224291A (ja) * 2005-01-19 2006-08-31 Yaskawa Electric Corp ロボットシステム
JP5755038B2 (ja) * 2010-06-28 2015-07-29 キヤノン株式会社 組立装置及び生産システム
JP5306313B2 (ja) * 2010-12-20 2013-10-02 株式会社東芝 ロボット制御装置
JP5744587B2 (ja) * 2011-03-24 2015-07-08 キヤノン株式会社 ロボット制御装置、ロボット制御方法、プログラム及び記録媒体
JP2013184257A (ja) * 2012-03-08 2013-09-19 Sony Corp ロボット装置及びロボット装置の制御方法、並びにコンピューター・プログラム

Also Published As

Publication number Publication date
CN105291101A (zh) 2016-02-03
US20150363935A1 (en) 2015-12-17
JP2016000442A (ja) 2016-01-07

Similar Documents

Publication Publication Date Title
JP6427972B2 (ja) ロボット、ロボットシステム及び制御装置
US11207781B2 (en) Method for industrial robot commissioning, industrial robot system and control system using the same
JP6180087B2 (ja) 情報処理装置及び情報処理方法
US9727053B2 (en) Information processing apparatus, control method for information processing apparatus, and recording medium
JP5949242B2 (ja) ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
JP5469216B2 (ja) バラ積みされた物品をロボットで取出す装置
JP6855492B2 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
US20180250813A1 (en) Image Processing Device, Image Processing Method, And Computer Program
JP2016099257A (ja) 情報処理装置及び情報処理方法
JP2011175477A (ja) ３次元計測装置、処理方法及びプログラム
JP6885856B2 (ja) ロボットシステムおよびキャリブレーション方法
JP2013186088A (ja) 情報処理装置、情報処理方法
US20170277167A1 (en) Robot system, robot control device, and robot
CN106003020A (zh) 机器人、机器人控制装置以及机器人系统
WO2020217878A1 (ja) 対象物の位置姿勢を検出する装置、方法およびプログラム
WO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2017100202A (ja) ロボットシステム、制御装置、制御方法、及びプログラム
JP7331527B2 (ja) ロボットの動作を決定する装置、方法およびプログラム
JP6390088B2 (ja) ロボット制御システム、ロボット、プログラム及びロボット制御方法
JP5698815B2 (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP6040264B2 (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2016182648A (ja) ロボット、ロボット制御装置およびロボットシステム
JP7439410B2 (ja) 画像処理装置、画像処理方法およびプログラム
WO2023013740A1 (ja) ロボット制御装置、ロボット制御システム、及びロボット制御方法
JP2016203282A (ja) エンドエフェクタの姿勢変更機構を備えたロボット

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20160617

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20160624

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180430

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20180904

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181002

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181015

R150 Certificate of patent or registration of utility model

Ref document number: 6427972

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150