JP2024057302A - 位置関係特定方法およびロボットシステム - Google Patents

Abstract

【課題】撮像部の深度情報の精度に由来する位置ずれの程度を把握することができる位置関係特定方法およびロボットシステムを提供すること。【解決手段】校正ボードを３次元カメラにより撮影して、深度情報とともに画像を取得する第１工程と、校正ボード座標系における特徴点の位置情報Ｐ１と、画像座標系における特徴点の位置情報Ｐ２との対応関係を示すホモグラフィーに基づいて、切り出し領域を設定する第２工程と、仮想平面を設定する第３工程と、校正ボート座標系における基準点の位置情報Ｐ３と、ホモグラフィーとに基づいて、画像座標系における基準点の位置情報Ｐ４を求める第４工程と、位置情報Ｐ４をロボット座標系における基準点の位置情報Ｐ５に変換する第５工程と、位置情報Ｐ５と、前記エンコーダーから取得した情報に基づいて得られた基準点の位置情報Ｐ６との位置関係を求める第６工程と、を有することを特徴とする位置関係特定方法。【選択図】図８

Description

本発明は、位置関係特定方法およびロボットシステムに関する。

近年、工場では人件費の高騰や人材不足により、ロボットアームを有するロボットを用いて製造、加工、組み立て等の作業が行われるようになり、人手で行われてきた作業の自動化が進んでいる。

例えば、特許文献１に記載されているロボットシステムは、ロボットと、撮像部とを備え、撮像部によりロボットの周辺を撮像しつつ、ロボットが作業を行う。このような構成では、ロボットが作業を行うのに先立って、撮像部で撮像したロボットと実際のロボットとの位置関係などを対応付ける作業、すなわち、キャリブレーションが行われる。

特許文献１では、ロボットアームに記してあるマーカーの位置をロボット座標系で特定するとともに、マーカーを撮像部で撮像し、撮像画像に基づいてマーカーの位置をカメラ座標系で特定する。そして、各座標系において特定した位置を紐づけることにより、撮像部とロボットとの位置関係の対応付けがなされる。

特開２０２０－１６３５６５号公報

特許文献１に記載されている方法では、２次元カメラを用いたキャリブレーションであり、３次元カメラを用いて上記方法でキャリブレーションを行った場合、３次元カメラが持つ深度情報を考慮することができない。

本発明の適用例にかかる位置関係特定方法は、ロボットアームの姿勢を検出するエンコーダーを有する前記ロボットアームに設置され、特徴点および基準点を有する校正ボードを３次元カメラにより撮影して、深度情報とともに画像を取得する第１工程と、
前記校正ボードに設定された校正ボード座標系における前記校正ボードの表面上での前記特徴点の位置情報Ｐ１と、前記画像に設定された画像座標系における前記画像での前記特徴点の位置情報Ｐ２との対応関係を示すホモグラフィーに基づいて、前記画像内において前記校正ボードが映っている切り出し領域を設定する第２工程と、
前記切り出し領域における前記深度情報に基づいて、前記校正ボードの仮想平面を設定する第３工程と、
前記校正ボート座標系における前記校正ボードの前記基準点の位置情報Ｐ３と、前記ホモグラフィーとに基づいて、前記画像座標系における前記仮想平面上での前記基準点の位置情報Ｐ４を求める第４工程と、
前記画像座標系における前記仮想平面上の前記基準点の前記位置情報Ｐ４を、内部パラメーターおよび外部パラメーターに基づいてロボット座標系における基準点の位置情報Ｐ５に変換する第５工程と、
前記第５工程で特定した前記ロボット座標系における前記基準点の前記位置情報Ｐ５と、前記エンコーダーから取得した情報に基づいて得られた前記ロボット座標系における前記基準点の位置情報Ｐ６との位置関係を求める第６工程と、を有することを特徴とする。

本発明の適用例にかかるロボットシステムは、ロボットアームと、
前記ロボットアームの姿勢を検出するエンコーダーと、
前記ロボットアームに設置され、特徴点および基準点を有する校正ボードと、
前記校正ボードを撮影して画像を取得する３次元カメラと、
前記ロボットアームおよび前記３次元カメラの作動を制御する制御部と、を備え、
前記制御部は、
前記校正ボードを３次元カメラにより撮影して深度情報とともに画像を取得する第１工程と、
前記校正ボードに設定された校正ボード座標系における前記校正ボードの表面上での前記特徴点の位置情報Ｐ１と、前記画像に設定された画像座標系における前記画像での前記特徴点の位置情報Ｐ２との対応関係を示すホモグラフィーに基づいて、前記画像内において前記校正ボードが映っている切り出し領域を設定する第２工程と、
前記切り出し領域における前記深度情報に基づいて、前記校正ボードの仮想平面を設定する第３工程と、
前記校正ボート座標系における前記校正ボードの前記基準点の位置情報Ｐ３と、前記ホモグラフィーとに基づいて、前記画像座標系における前記仮想平面上での前記基準点の位置情報Ｐ４を求める第４工程と、
前記画像座標系における前記仮想平面上の前記基準点の前記位置情報Ｐ４を、内部パラメーターおよび外部パラメーターに基づいてロボット座標系における基準点の位置情報Ｐ５に変換する第５工程と、
前記第５工程で特定した前記ロボット座標系における前記基準点の前記位置情報Ｐ５と、前記エンコーダーから取得した情報に基づいて得られた前記ロボット座標系における前記基準点の位置情報Ｐ６との位置関係を求める第６工程と、を実行することを特徴とする。

図１は、本発明の位置関係特定方法を実行するロボットシステムの第１実施形態の全体構成を示す図である。 図２は、図１に示すロボットシステムのブロック図である。 図３は、図１に示す校正ボードの平面図である。 図４は、撮像部が撮像した画像を示す図である。 図５は、撮像部が撮像した画像を示す図であり、切り取り領域を示す図である。 図６は、深度情報を示す図である。 図７は、仮想平面を示す図（図６中矢印Ｂ方向から見た図）である。 図８は、本発明の位置関係特定方法の一例を示すフローチャートである。

以下、本発明の位置関係特定方法およびロボットシステムを添付図面に示す好適な実施形態に基づいて詳細に説明する。

＜第１実施形態＞
図１は、本発明の位置関係特定方法を実行するロボットシステムの第１実施形態の全体構成を示す図である。図２は、図１に示すロボットシステムのブロック図である。図３は、図１に示す校正ボードの平面図である。図４は、撮像部が撮像した画像を示す図である。図５は、撮像部が撮像した画像を示す図であり、切り取り領域を示す図である。図６は、深度情報を示す図である。図７は、仮想平面を示す図（図６中矢印Ｂ方向から見た図）である。図８は、本発明の位置関係特定方法の一例を示すフローチャートである。

なお、以下では、説明の便宜上、ロボットアームについては、図１中の基台１１側を「基端」、その反対側、すなわち、第６アーム１７側を「先端」とも言う。

図１に示すように、ロボットシステム１００は、ロボット１と、３次元カメラで構成される撮像部５と、ロボット１の各部および撮像部５の作動を制御する制御装置３と、を備える。

まず、ロボット１について説明する。
図１に示すロボット１は、本実施形態では単腕の６軸垂直多関節ロボットであり、基台１１と、ロボットアーム１０と、を有する。また、ロボットアーム１０の先端部に後述する校正ボード６、図示しないエンドエフェクター等を着脱可能に装着することができる。

なお、ロボット１は、図示の構成に限定されず、例えば、双腕型の多関節ロボットであってもよい。また、ロボット１は、水平多関節ロボットであってもよい。

基台１１は、ロボットアーム１０をその基端側において、駆動可能に支持する支持体であり、例えば工場内の床に固定されている。ロボット１は、基台１１が中継ケーブルを介して制御装置３と電気的に接続されている。なお、ロボット１と制御装置３との接続は、図１に示す構成のように有線による接続に限定されず、例えば、無線による接続であってもよい。また、インターネット等のネットワークを介して接続されていてもよい。

本実施形態では、ロボットアーム１０は、第１アーム１２と、第２アーム１３と、第３アーム１４と、第４アーム１５と、第５アーム１６と、第６アーム１７とを有し、これらのアームが基台１１側からこの順に連結されている。なお、ロボットアーム１０が有するアームの数は、６つに限定されず、例えば、１つ、２つ、３つ、４つ、５つまたは７つ以上であってもよい。また、各アームの全長等の大きさは、それぞれ、特に限定されず、適宜設定可能である。

基台１１と第１アーム１２とは、関節１７１を介して連結されている。そして、第１アーム１２は、基台１１に対し、鉛直方向に延びる第１回転軸を回転中心とし、その第１回転軸回りに回転可能となっている。このように、第１回転軸は、基台１１が固定される床の床面の法線と一致しており、ロボットアーム１０の全体が第１回転軸の軸回りに正方向・逆方向のいずれへも回転することができる。

第１アーム１２と第２アーム１３とは、関節１７２を介して連結されている。そして、第２アーム１３は、第１アーム１２に対し、水平方向に延びる第２回転軸を回転中心として回転可能となっている。

第２アーム１３と第３アーム１４とは、関節１７３を介して連結されている。そして、第３アーム１４は、第２アーム１３に対し、水平方向に延びる第３回転軸を回転中心として回転可能となっている。第３回転軸は、第２回転軸と平行である。

第３アーム１４と第４アーム１５とは、関節１７４を介して連結されている。そして、第４アーム１５は、第３アーム１４に対し、第３アーム１４の中心軸方向と平行な第４回転軸を回転中心として回転可能となっている。第４回転軸は、第３回転軸と直交している。

第４アーム１５と第５アーム１６とは、関節１７５を介して連結されている。そして、第５アーム１６は、第４アーム１５に対して第５回転軸を回転中心として回転可能となっている。第５回転軸は、第４回転軸と直交している。

第５アーム１６と第６アーム１７とは、関節１７６を介して連結されている。そして、第６アーム１７は、第５アーム１６に対して第６回転軸を回転中心として回転可能となっている。第６回転軸は、第５回転軸と直交している。

第６アーム１７は、ロボットアーム１０の中で最も先端側に位置するロボット先端部となっている。この第６アーム１７の先端には、制御点ＴＣＰが設定されている。

ロボット１は、駆動部としてのモーターＭ１、モーターＭ２、モーターＭ３、モーターＭ４、モーターＭ５およびモーターＭ６と、検出部としてのエンコーダーＥ１、エンコーダーＥ２、エンコーダーＥ３、エンコーダーＥ４、エンコーダーＥ５およびエンコーダーＥ６とを備える。モーターＭ１は、関節１７１に内蔵され、基台１１に対し第１アーム１２を前記第１回転軸回りに回転させる。モーターＭ２は、関節１７２に内蔵され、第１アーム１２と第２アーム１３とを前記第２回転軸回りに相対的に回転させる。モーターＭ３は、関節１７３に内蔵され、第２アーム１３と第３アーム１４とを前記第３回転軸回りに相対的に回転させる。モーターＭ４は、関節１７４に内蔵され、第３アーム１４と第４アーム１５とを前記第４回転軸回りに相対的に回転させる。モーターＭ５は、関節１７５に内蔵され、第４アーム１５と第５アーム１６とを前記第５回転軸回りに相対的に回転させる。モーターＭ６は、関節１７６に内蔵され、第５アーム１６と第６アーム１７とを前記第６回転軸回りに相対的に回転させる。

また、エンコーダーＥ１は、関節１７１に内蔵され、モーターＭ１の位置を検出する。エンコーダーＥ２は、関節１７２に内蔵され、モーターＭ２の位置を検出する。エンコーダーＥ３は、関節１７３に内蔵され、モーターＭ３の位置を検出する。エンコーダーＥ４は、関節１７４に内蔵され、モーターＭ４の位置を検出する。エンコーダーＥ５は、関節１７５に内蔵され、モーターＭ５の位置を検出する。エンコーダーＥ６は、関節１７６に内蔵され、モーターＭ６の位置を検出する。なお、ここで言う「位置を検出」とは、モーターの回転角すなわち正逆を含む回転量および角速度を検出することを言い、当該検出された情報を、以下「回転位置情報」と言う。

図２に示すように、モータードライバーＤ１～モータードライバーＤ６は、それぞれ、対応するモーターＭ１～モーターＭ６に接続され、これら各モーターの駆動を制御する。モータードライバーＤ１～モータードライバーＤ６は、それぞれ、関節１７１、関節１７２、関節１７３、関節１７４、第５アーム１６および第６アーム１７に内蔵されている。

エンコーダーＥ１～エンコーダーＥ６、モーターＭ１～モーターＭ６およびモータードライバーＤ１～モータードライバーＤ６は、それぞれ、制御装置３と電気的に接続されている。エンコーダーＥ１～エンコーダーＥ６で検出されたモーターＭ１～モーターＭ６の回転位置情報、すなわち、回転量は、制御装置３に電気信号として送信される。そして、この回転位置情報に基づいて、制御装置３は、図２に示すモータードライバーＤ１～モータードライバーＤ６に制御信号を出力し、モーターＭ１～モーターＭ６を駆動させる。

制御装置３は、エンコーダーＥ１～Ｅ６が検出した回転位置情報に基づいて、所定のプログラムに従い、ロボットアーム１０の姿勢を求めることができる。すなわち、エンコーダーＥ１～Ｅ６は、ロボットアーム１０の姿勢を検出する検出部である。

制御装置３は、ロボットアーム１０の姿勢に基づいて、ロボット座標系におけるロボットアーム１０の先端部の位置、特に制御点ＴＣＰの位置を特定することができる。また、制御装置３は、ロボットアーム１０の姿勢に基づいて、ロボット座標系における後述する基準点６２０の位置情報Ｐ６を求めることができる。

図１に示すように、ロボット座標系は、例えば、基台１１上の任意の点を原点とし、互いに直交する３軸、すなわちＸ軸、Ｙ軸およびＺ軸で規定される座標系である。

ロボットアーム１０の先端には、作業開始前、すなわち、キャリブレーション時には、校正ボード６が設置されており、対象物の搬送作業、加工作業、組み立て作業等の作業（以下これらを単に「作業」と言うことがある。）を行う際には、その作業に応じたエンドエフェクターが設置される。

エンドエフェクターとしては、吸着により対象物を把持するハンドや、２本の爪で挟持することにより対象物を把持するハンド等が挙げられる。なお、エンドエフェクターとしては、ハンドに限定されず、例えば、研磨機、研削機、切削機、スプレーガン、レーザー光照射器、ドライバー、レンチ等の工具であってもよい。

図１および図３に示すように、校正ボード６は、板状をなし、表面６０を有する。位置関係特定方法を実行する際に、撮像部５により校正ボード６の表面６０が撮像される。校正ボード６の表面６０は、平面視で正方形をなし、４つの角部６０Ａ、６０Ｂ、６０Ｃおよび６０Ｄを有する。また、校正ボード６の表面６０には、４つの円形のマーカー６１が２行×２列の配置で付されている。各マーカー６１の形状、大きさおよび色彩は同一である。各マーカー６１の中心は、後述するように、特徴点６１０として機能する。

マーカー６１は、黒色等の暗色であり、表面６０のマーカー６１以外の部分は、白色等の明色である。ただし、この構成に限定されず、マーカー６１と、マーカー６１以外の部分とは、異なる色であれば、如何なる色の組み合わせであってもよい。例えば、マーカー６１が白色等の明色、マーカー６１以外の部分が黒色等の暗色の場合が挙げられる。
マーカー６１とマーカー６１以外の部分とが異なる色、特に暗色と明色の組み合わせであることにより、両者のコントラストが大きくなり両者の境界が明確となるので、校正ボート座標系と画像座標系とをより正確に対応付けることができる。

また、校正ボード６の表面６０の中心は、後述する基準点６２０として機能する。基準点６２０は、４つの特徴点６１０の中心でもある。また、基準点６２０は、制御点ＴＣＰと一致していてもよい。

このような校正ボード６には、実空間の座標系である校正ボード座標系が設定されている。校正ボード座標系は、例えば、角部６０Ａを原点とし、互いに直交する３軸（Ａ軸、Ｂ軸、Ｃ軸）で規定される座標系である。校正ボード座標系において、原点から各特徴点６１０までの距離は、例えば、（ｍｍ）で表すことができ、設計値であり、既知である。

なお、上記構成に限定されず、校正ボード座標系の原点は、角部６０Ｂであってもよく、角部６０Ｃであってもよく、角部６０Ｄであってもよく、その他の任意の点であってもよい。

撮像部５は、２次元画像とともに、各画素における深度情報（以下単に「深度情報」と言うことがある。）を取得する３次元カメラで構成される。すなわち、撮像部５は、例えば、図４および図５に示す撮像画像Ｄｓを取得するとともに、深度情報として図６および図７に示す、撮像画像Ｄｓの各画素に対応する深度を示す点の集合である点群データＤｔを取得する。ここで、深度情報は、校正ボード６の表面６０に沿って分布し、表面６０からの距離を示す点の集合である点群データＤｔである。

撮像部５の３次元カメラとしては、例えば、ステレオカメラが挙げられる。ステレオカメラは、例えば所定距離離間して配置された２台の電子式デジタルカメラで構成される。また、撮像部５は、赤外線カメラで構成されていてもよい。

また、撮像部５には、カメラ座標系が設定されている。カメラ座標系は、例えば、撮像部５の任意の点を原点とし、互いに直交する３軸、すなわちＵ軸、Ｖ軸およびＷ軸で規定される座標系である。例えば、ロボットアーム１０の作業中、撮像部５が取得した画像に基づいてロボットアーム１０を駆動させる場合、カメラ座標系とロボット座標系とを対応付けておく必要がある。

撮像部５は、制御装置３と電気的に接続されており、制御装置３によって撮像タイミングが制御される。また、撮像部５は、撮像画像Ｄｓおよび点群データＤｔに対応する電気信号を制御装置３に送信し、制御装置３は、受信した電気信号を撮像画像Ｄｓおよび点群データＤｔに変換し、記憶部３２に記憶する。撮像画像Ｄｓおよび点群データＤｔは、後述するように、位置関係算出方法に用いられる。

撮像部５と制御装置３との接続は、有線による接続に限定されず、無線による接続であってもよい。また、インターネット等のネットワークを介して接続されていてもよい。

図４および図５に示すように、撮像部５が撮像した撮像画像Ｄｓには、画像座標系が設定されている。撮像画像Ｄｓ内の任意の位置を原点とし、互いに直交する３軸、すなわちｘ軸、ｙ軸およびｚ軸で規定される座標系である。撮像画像Ｄｓ上にｘ軸およびｙ軸が設定され、深さ方向にｚ軸が設定される。このような画像座標系において、原点から任意の位置までの距離は、例えば、ピクセル数で表すことができる。すなわち、撮像画像Ｄｓ内で任意の２点間の距離は、２点間のｘ軸、ｙ軸およびｚ軸方向のそれぞれのピクセル数で表すことができる。

次に、制御装置３について説明する。
図１および図２に示す制御装置３は、本発明の位置関係特定方法を実行する機能や、ロボットアーム１０の作動を制御する機能を有する。制御装置３は、本実施形態では、ロボット１と離れた位置に設置されている。ただし、この構成に限定されず、制御装置３は、基台１１に内蔵されていてもよい。また、制御装置３は、ロボット１の駆動を制御する機能を有し、前述したロボット１の各部と電気的に接続されている。制御装置３は、制御部３１と、記憶部３２と、通信部３３と、を有する。これらの各部は、例えばバスを介して相互に通信可能に接続されている。

制御部３１は、例えば、ＣＰＵ（Central Processing Unit）で構成され、記憶部３２に記憶されている動作プログラム等の各種プログラムを読み出し、実行する。制御部３１で生成された信号は、通信部３３を介してロボット１の各部に送信され、ロボット１の各部からの信号は、通信部３３を介して制御部３１で受信される。制御部３１で受信された信号は、所定の処理が施され、記憶部３２に記憶され、あるいはロボットアーム１０のキャリブレーション作業に利用される。このような制御部３１により、ロボットアーム１０が所定の作業を所定の条件で実行することができる。

制御部３１は、本発明の位置関係特定方法を実行する部分であり、記憶部３２に記憶されている位置関係特定プログラムを読み出し、実行することにより、後述する第１工程～第６工程を順次実行する。

また、制御部３１は、図示しない教示装置から取得した動作プログラムに基づいて、モーターＭ１～Ｍ６を駆動して関節１７１～１７６を回転させ、所定の速度条件で加速動作を実行する。

記憶部３２は、制御部３１で実行される各種プログラム等を保存する。記憶部３２としては、例えば、ＲＡＭ（Random Access Memory）等の揮発性メモリー、ＲＯＭ（Read Only Memory）等の不揮発性メモリー、着脱式の外部記憶装置等を有する構成のものが挙げられる。記憶部３２には、位置関係特定プログラムや、作業プログラム等が記憶されている。また、記憶部３２には、位置関係特定プログラムの実行中に、撮像画像Ｄｓ、点群データＤｔ、仮想平面Ｓ等の各種データが一時的に記憶される。

通信部３３は、例えば有線ＬＡＮ（Local Area Network）、無線ＬＡＮ等の外部インターフェースを用いて他の機器との間で信号の送受信を行う。この場合、図示しないサーバーを介して通信を行ってもよく、また、インターネット等のネットワークを介して通信を行ってもよい。

このようなロボットシステム１００では、撮像部５に設定されたカメラ座標系（Ｕ軸、Ｖ軸、Ｗ軸）と、ロボット１に設定されたロボット座標系（Ｘ軸、Ｙ軸、Ｚ軸）とを対応付けておく必要がある。この対応付けにより、カメラ座標系で特定した位置をロボット座標系で特定し、撮像部５で撮像した画像に基づいてロボットアーム１０が作業を行うことができる。

従来では、以下のような手順で対応付けが行われている。
まず、２次元カメラ、すなわち単一のデジタルカメラで画像を取得し、画像内での任意の位置を画像座標系、カメラ座標系、ロボット座標系で特定し、対応付けが完了する。しかしながら、従来の２次元カメラを３次元カメラによる撮像部５に代えてキャリブレーションを行った場合、上記従来の方法では、異なる座標系間で正確な対応付けができない。特に、３次元カメラは、個体ごとに測定する深度情報に誤差があるため、この誤差を考慮しなければならない。本発明では、以下のような方法により、上記課題を解決することができる。

以下、本発明の位置関係特定方法の一例について、図８に示すフローチャートを用いて説明する。

（第１工程）
第１工程は、ステップＳ１０１を有する。

まず、ロボットアーム１０の先端部に、校正ボード６を設置した状態で、ステップＳ１０１において、校正ボード６を撮像部５により撮影し、深度情報とともに撮像画像Ｄｓを取得する（図４参照）。すなわち、制御部３１は、撮像部５の作動を制御して校正ボード６を撮像させ、撮像部５から、深度情報とともに撮像画像Ｄｓを取得する。

撮像の際のロボットアーム１０の姿勢は、特に限定されないが、例えば、初期姿勢が挙げられる。初期姿勢において各エンコーダーＥ１～Ｅ６が検出した回転量の情報に基づいて、制御点ＴＣＰの位置をロボット座標系で把握することができる。また、校正ボード６の原点が制御点ＴＣＰからどの方向にどの程度ずれているかは、実測値として既知とすることができるため、校正ボード座標系における校正ボード６の任意の位置を、ロボット座標系で特定することができる。

なお、撮像の際のロボットアーム１０の姿勢は、特に限定されず、例えば、初期姿勢とすることができる。

また、校正ボード６の設置位置は、ロボット座標系において校正ボード６の位置を把握することができさえすれば、上記構成に限定されず、関節１７１～１７６や、各アーム１２～１７の側面等であってもよい。

（第２工程）
第２工程は、ステップＳ１０２と、ステップＳ１０３とを有する。

ステップＳ１０２では、校正ボード６に設定された校正ボード座標系における校正ボード６の表面６０上での特徴点６１０の位置情報Ｐ１と、撮像画像Ｄｓに設定された画像座標系における撮像画像Ｄｓでの特徴点６１０の位置情報Ｐ２との対応関係を示すホモグラフィーＨを求める。特徴点６１０は、４つあるが、以下１つについて代表的に説明する。

位置情報Ｐ１は、校正ボード座標系において、例えば、（Ａ１ａ、Ｂ１ｂ、Ｃ１ｃ）で表される位置情報である。すなわち、位置情報Ｐ１は、校正ボード座標系において、原点から、Ａ軸方向にＡ１ａ（ｍｍ）、Ｂ軸方向にＢ１ｂ（ｍｍ）、Ｃ軸方向にＣ１ｃ（ｍｍ）ずれた位置のことである。

位置情報Ｐ２は、画像座標系において、例えば、（ｘ２ａ、ｙ２ｂ、ｚ２ｃ）で表される位置情報である。すなわち、位置情報Ｐ２は、画像座標系において、原点から、ｘ軸方向にｘ２ａ（ピクセル）、ｙ軸方向にｙ２ｂ（ピクセル）、ｚ軸方向にｚ２ｃ（ピクセル）ずれた位置のことである。

位置情報Ｐ１および位置情報Ｐ２は、実空間では同じ位置のことを示しているが、座標系が違うのでこのように表される。

ホモグラフィーＨは、ホモグラフィー行列、すなわち射影変換行列であり、２つの画像間の画像マッチングにおいて複数の対応点が存在する場合に、対応点同士の誤差を表す行列である。ホモグラフィー行列は、例えば３行×３列で表される行列であり、例えば最小二乗法により求められる。

このようなホモグラフィーＨを求めることにより、単位が（ｍｍ）で表される校正ボード座標系と、単位が（ピクセル）で表される画像座標系と、の対応関係を把握することができる。

ステップＳ１０３では、ステップＳ１０２で求めたホモグラフィーＨに基づいて、撮像画像Ｄｓ内において校正ボード６が映っている切り出し領域Ａを設定する（図５参照）。

校正ボード座標系において、例えば、特徴点６１０と、それに近い角部例えば角部６０Ａとの離間距離は、設計値であり、既知である。このため、ホモグラフィーＨを用いて、校正ボード座標系における離間距離を画像座標系における離間距離に変換することができる。よって、画像座標系において、校正ボード６がどこに映っているかを特定する、すなわち、撮像画像Ｄｓにおいて校正ボード６が映っている切り出し領域Ａを設定することができる。

（第３工程）
第３工程は、ステップＳ１０４と、ステップＳ１０５と、ステップＳ１０６と、を有する。

ステップＳ１０４では、切り出し領域Ａにおける全画素を二値化して、有効画素と無効画素とに分ける。すなわち、切り出し領域Ａにおける画素の輝度値がしきい値以上であった場合、有効画素とし、輝度値がしきい値未満であった場合、無効画素とする。図示の構成では、校正ボード６のうち、マーカー６１以外の部分を有効画素とし、マーカー６１に対応する部分を無効画素とする。

ステップＳ１０５では、マーカー６１以外の画素の深度情報を取得する。すなわち、撮像画像Ｄｓにおいて、有効画素の全ての画素の深度情報を取得する。この深度情報は、図６および図７に示すような点群データＤｔである。

理想的には、点群データＤｔにおける各点の高さ、すなわち表面６０からのＺ軸方向の距離が同じであるが、３次元カメラの個体ごとに精度のバラツキがある。このため、図７に示すように、点群データＤｔは、高さがまばらな点の集合となる傾向を示す。

ステップＳ１０６では、切り出し領域Ａにおける点群データＤｔに基づいて、校正ボード６の実際の表面６０と仮定した仮想平面Ｓを設定する。本実施形態では、点群データＤｔの各点の高さを平面近似することにより、仮想平面Ｓを設定する。これにより、適正な仮想平面Ｓを設定することができる。なお、仮想平面Ｓは、実際の表面６０と一致することもある。

ステップＳ１０６では、例えば、ＲＡＮＳＡＣ等のロバスト推定の手法を用いて、深度値の外れ値を除去してもよい。

また、本実施形態では、仮想平面Ｓに対する点群データＤｔのバラツキの程度を示す標準偏差σを求め、記憶部３２に記憶する。

（第４工程）
第４工程は、ステップＳ１０７を有する。

ステップＳ１０７では、画像座標系における仮想平面Ｓ上での基準点６２０の位置情報Ｐ４を求める。基準点６２０は、校正ボード６の表面６０の平面視における中心とする。ただし、この構成に限定されず、例えば、角部６０Ａ～６０Ｄや、その他の任意の位置であってもよい。

本ステップでは、まず、校正ボート座標系における校正ボード６の基準点６２０の位置情報Ｐ３を求め、求めた位置情報Ｐ３と、ステップＳ１０２で求めたホモグラフィーＨとに基づいて、位置情報Ｐ４を求める。

位置情報Ｐ３は、校正ボード座標系において、例えば、（Ａ１ｄ、Ｂ１ｅ、Ｃ１ｆ）で表される位置情報である。すなわち、位置情報Ｐ３は、校正ボード座標系において、原点から、Ａ軸方向にＡ１ｄ（ｍｍ）、Ｂ軸方向にＢ１ｅ（ｍｍ）、Ｃ軸方向にＣ１ｆ（ｍｍ）ずれた位置のことである。校正ボード座標系において、原点から各基準点６２０までの距離は、設計値であり、既知である。

このような位置情報Ｐ３にホモグラフィーＨを掛けることにより、画像座標系における仮想平面Ｓ上での基準点６２０の位置情報Ｐ４を求めることができる。

位置情報Ｐ４は、画像座標系において、例えば、（ｘ２ｄ、ｙ２ｅ、ｚ２ｆ）で表される位置情報である。すなわち、位置情報Ｐ４は、画像座標系において、原点から、ｘ軸方向にｘ２ｄ（ピクセル）、ｙ軸方向にｙ２ｅ（ピクセル）、ｚ軸方向にｚ２ｆ（ピクセル）ずれた位置のことである。

このようなステップＳ１０７を経ることにより、画像座標系における仮想平面Ｓ上での基準点６２０の位置情報Ｐ４を求めることができる。

（第５工程）
第５工程は、ステップＳ１０８を有する。

ステップＳ１０８では、ステップＳ１０７で求めた位置情報Ｐ４を、ロボット座標系における基準点６２０の位置情報Ｐ５に変換する。具体的には、位置情報Ｐ４に、内部パラメーターおよび外部パラメーターを掛けることにより、位置情報Ｐ５に変換する。

内部パラメーターは、撮像部５に固有のパラメーターであり、画像座標系から撮像部５の任意の位置を原点とするカメラ座標系に変換するパラメーターである。内部パラメーターは、例えば、３行×３列の行列で表される。

カメラ座標系における位置情報に外部パラメーターを掛けることにより、ロボット座標系における基準点６２０の位置情報とする。外部パラメーターは、例えば、従来のキャリブレーション方法により求めることができるパラメーターである。外部パラメーターは、例えば、４行×４列の行列で表される。外部パラメーターは、ステップＳ１０８の開始時に把握できていればよく、例えば、ステップＳ１０１～Ｓ１０７と同時進行で求めてもよく、ステップＳ１０１を開始する以前に予め求めておいてもよい。

このようなステップＳ１０７を経ることにより、ロボット座標系における基準点６２０の位置情報Ｐ５を求めることができる。

位置情報Ｐ５は、ロボット座標系において、例えば、（Ｘ３ｄ、Ｙ３ｅ、Ｚ３ｆ）で表される位置情報である。すなわち、位置情報Ｐ５は、ロボット座標系において、原点から、Ｘ軸方向にＸ３ｄ（ｍｍ）、Ｙ軸方向にＹ３ｅ（ｍｍ）、Ｚ軸方向にＺ３ｆ（ｍｍ）ずれた位置のことである。

（第６工程）
第６工程は、ステップＳ１０９を有する。

ステップＳ１０９は、ステップＳ１０８で特定した位置情報Ｐ５と、エンコーダーＥ１～Ｅ６から取得した情報に基づいて得られたロボット座標系における基準点６２０の位置情報Ｐ６との位置関係を求める。すなわち、位置情報Ｐ５と位置情報Ｐ６とのずれ量を求める。位置情報Ｐ６は、前述したように、エンコーダーＥ１～Ｅ６から取得したモーターＭ１～モーターＭ６の回転位置情報に基づいて求められるロボットアーム１０の姿勢から算出することができる。

位置情報Ｐ６は、ロボット座標系において、例えば、（Ｘ３ｄ’、Ｙ３ｅ’、Ｚ３ｆ’）で表される位置情報である。すなわち、位置情報Ｐ６は、ロボット座標系において、原点から、Ｘ軸方向にＸ３ｄ’（ｍｍ）、Ｙ軸方向にＹ３ｅ’（ｍｍ）、Ｚ軸方向にＺ３ｆ’（ｍｍ）ずれた位置のことである。

このように、撮像部５由来の基準点６２０の位置情報Ｐ５と、エンコーダーＥ１～Ｅ６由来の基準点６２０の位置情報Ｐ６とは、３Ｄカメラの精度分ずれが生じる。このずれ量をＸ軸、Ｙ軸、Ｚ軸ごとに求める。Ｘ軸方向のずれ量ΔＸは、Ｘ３ｄ－Ｘ３ｄ’で表され、Ｙ軸方向のずれ量ΔＹは、Ｙ３ｅ－Ｙ３ｅ’で表され、Ｚ軸方向のずれ量ΔＺは、Ｚ３ｆ－Ｚ３ｆ’で表される。

このように、撮像部５由来の基準点６２０の位置情報Ｐ５と、エンコーダーＥ１～Ｅ６由来の基準点６２０の位置情報Ｐ６との位置関係を求めることにより、撮像部５の深度情報の精度に由来する位置ずれの程度を把握することができる。そして、この位置関係、すなわちずれ量を加味して、ロボット１が作業を行うことにより、位置精度の高い作業を行うことができる。

ずれ量を加味して作業を行うことは、例えば、ロボットアーム１０が実行する動作プログラムにおいて、ずれ量分、ロボットアーム１０の位置情報を書き換えたり、ロボット１の設置位置、撮像部５の設置位置、作業対象物の設置位置をずらしたり、ロボット座標系の原点の位置をずらしたりして作業を行うことである。

また、ずれ量の算出の際、ステップＳ１０６で求めた標準偏差σを加味して求めてもよい。すなわち、ｚ軸方向におけるずれ量Δｚを、ｚ３ｆ－ｚ３ｆ’＋σで求めてもよい。ｚ軸方向におけるずれ量Δｚは、これにより、深度情報のバラツキ具合をバランスよく加味したずれ量を求めることができる。

以上説明したように、本発明の位置関係特定方法は、ロボットアーム１０の姿勢を検出するエンコーダーＥ１～Ｅ６を有するロボットアーム１０に設置され、特徴点６１０および基準点６２０を有する校正ボード６を３次元カメラである撮像部５により撮影して、深度情報とともに撮像画像Ｄｓを取得する第１工程と、校正ボード６に設定された校正ボード座標系における校正ボード６の表面６０上での特徴点６１０の位置情報Ｐ１と、撮像画像Ｄｓに設定された画像座標系における撮像画像Ｄｓでの特徴点６１０の位置情報Ｐ２との対応関係を示すホモグラフィーＨに基づいて、撮像画像Ｄｓ内において校正ボード６が映っている切り出し領域Ａを設定する第２工程と、切り出し領域Ａにおける深度情報に基づいて、校正ボード６の仮想平面Ｓを設定する第３工程と、校正ボート座標系における校正ボード６の基準点６２０の位置情報Ｐ３と、ホモグラフィーＨとに基づいて、画像座標系における仮想平面Ｓ上での基準点６２０の位置情報Ｐ４を求める第４工程と、画像座標系における仮想平面Ｓ上の基準点６２０の位置情報Ｐ４を、内部パラメーターおよび外部パラメーターに基づいてロボット座標系における基準点６２０の位置情報Ｐ５に変換する第５工程と、第５工程で特定したロボット座標系における基準点６２０の位置情報Ｐ５と、エンコーダーＥ１～Ｅ６から取得した情報に基づいて得られたロボット座標系における基準点６２０の位置情報Ｐ６との位置関係を求める第６工程と、を有する。

これにより、撮像画像とロボットとの位置関係の特定、すなわちキャリブレーションをより正確に行うことができる。より詳しくは、撮像部５の深度情報の精度に由来する位置ずれの程度を把握することができ、よって、例えば、上記位置関係、すなわちずれ量を加味して、ロボット１が作業を行うことにより、位置精度の高い作業を行うことができる。

また、前述したように、第６工程で求めた位置情報Ｐ５と位置情報Ｐ６との位置関係は、ロボットアーム１０が作業を行う際に加味される。これにより、位置精度の高い作業を行うことができる。

また、前述したように、第６工程では、仮想平面Ｓに対する深度情報の標準偏差σを加味して位置情報Ｐ５と位置情報Ｐ６との位置関係を求める。これにより、深度情報のバラツキ具合を加味したずれ量を求めることができる。その結果、さらに適正なキャリブレーションを行うことができる。

なお、上記構成に限定されず、標準偏差σに代えて、例えば、点群データＤｔにおける各点の深度の平均値を加味して位置情報Ｐ５と位置情報Ｐ６との位置関係を求めてもよく、標準偏差σおよび平均値の双方を加味して位置情報Ｐ５と位置情報Ｐ６との位置関係を求めてもよい。

また、前述したように、深度情報は、校正ボード６の表面６０に沿って分布し、表面６０からの距離を示す点群データＤｔであり、第３工程では、点群データＤｔを平面近似することにより、仮想平面Ｓを設定する。これにより、より適正な仮想平面Ｓを設定することができる。その結果、さらに適正なキャリブレーションを行うことができる。

なお、平面近似以外の方法、例えば、各点の深度の平均を求めることにより、仮想平面Ｓを設定してもよい。

また、校正ボード６は、表面６０に、周囲と色が異なる円形のマーカー６１を有し、特徴点６１０は、マーカー６１の中心である。このような校正ボード６を用いることにより、校正ボート座標系と画像座標系とをより正確に対応付けることができる。その結果、さらに適正なキャリブレーションを行うことができる。

なお、マーカー６１の形状は、円形に限定されず、三角形、四角形、星形、楕円形等の形状であってもよい。また、多角形の場合、角部を特徴点６１０としてもよい。

また、ロボットシステム１００は、ロボットアーム１０と、ロボットアーム１０の姿勢を検出するエンコーダーと、ロボットアーム１０に設置され、特徴点６１０および基準点６２０を有する校正ボード６と、校正ボード６を撮影して画像を取得する３次元カメラである撮像部５と、ロボットアーム１０および撮像部５の作動を制御する制御部３１と、を備える。また、制御部３１は、校正ボード６を撮像部５により撮影して、深度情報とともに撮像画像Ｄｓを取得する第１工程と、校正ボード６に設定された校正ボード座標系における校正ボード６の表面６０上での特徴点６１０の位置情報Ｐ１と、撮像画像Ｄｓに設定された画像座標系における撮像画像Ｄｓでの特徴点６１０の位置情報Ｐ２との対応関係を示すホモグラフィーＨに基づいて、撮像画像Ｄｓ内において校正ボード６が映っている切り出し領域Ａを設定する第２工程と、切り出し領域Ａにおける深度情報に基づいて、校正ボード６の仮想平面Ｓを設定する第３工程と、校正ボート座標系における校正ボード６の基準点６２０の位置情報Ｐ３と、ホモグラフィーＨとに基づいて、画像座標系における仮想平面Ｓ上での基準点６２０の位置情報Ｐ４を求める第４工程と、画像座標系における仮想平面Ｓ上の基準点６２０の位置情報Ｐ４を、内部パラメーターおよび外部パラメーターに基づいてロボット座標系における基準点６２０の位置情報Ｐ５に変換する第５工程と、第５工程で特定したロボット座標系における基準点６２０の位置情報Ｐ５と、エンコーダーＥ１～Ｅ６から取得した情報に基づいて得られたロボット座標系における基準点６２０の位置情報Ｐ６との位置関係を求める第６工程と、を実行する。

これにより、撮像画像とロボットとの位置関係の特定、すなわちキャリブレーションをより正確に行うことができる。より詳しくは、撮像部５の深度情報の精度に由来する位置ずれの程度を把握することができ、よって、例えば、上記位置関係、すなわちずれ量を加味して、ロボット１が作業を行うことにより、位置精度の高い作業を行うことができる。

なお、上記実施形態では、制御装置３の制御部３１が、本発明の位置関係特定方法を実行する場合を例に挙げて説明したが、本発明ではこれに限定されず、位置関係特定方法を実行する制御部は、図示しない教示装置の制御部であってもよく、その他のコンピューターが有する制御部であってもよい。

以上、本発明の位置関係特定方法およびロボットシステムを図示の各実施形態について説明したが、本発明は、これに限定されるものではない。また、本発明の位置関係特定方法およびロボットシステムには、任意の工程や、任意の構造物が付加されていてもよい。また、本発明の位置関係特定方法およびロボットシステムにおける各工程、各部は、同様の機能を発揮し得る任意の工程、構造物と置換することができる。

１…ロボット、３…制御装置、５…撮像部、６…校正ボード、１０…ロボットアーム、１１…基台、１２…第１アーム、１３…第２アーム、１４…第３アーム、１５…第４アーム、１６…第５アーム、１７…第６アーム、３１…制御部、３２…記憶部、３３…通信部、６０…表面、６０Ａ…角部、６０Ｂ…角部、６０Ｃ…角部、６０Ｄ…角部、６１…マーカー、１００…ロボットシステム、１７１…関節、１７２…関節、１７３…関節、１７４…関節、１７５…関節、１７６…関節、６１０…特徴点、６２０…基準点、Ａ…切り出し領域、Ｄ１…モータードライバー、Ｄ２…モータードライバー、Ｄ３…モータードライバー、Ｄ４…モータードライバー、Ｄ５…モータードライバー、Ｄ６…モータードライバー、Ｄｓ…撮像画像、Ｄｔ…点群データ、Ｅ１…エンコーダー、Ｅ２…エンコーダー、Ｅ３…エンコーダー、Ｅ４…エンコーダー、Ｅ５…エンコーダー、Ｅ６…エンコーダー、Ｍ１…モーター、Ｍ２…モーター、Ｍ３…モーター、Ｍ４…モーター、Ｍ５…モーター、Ｍ６…モーター、Ｓ…仮想平面、ＴＣＰ…制御点

Claims (6)

1. ロボットアームの姿勢を検出するエンコーダーを有する前記ロボットアームに設置され、特徴点および基準点を有する校正ボードを３次元カメラにより撮影して、深度情報とともに画像を取得する第１工程と、
   前記校正ボードに設定された校正ボード座標系における前記校正ボードの表面上での前記特徴点の位置情報Ｐ１と、前記画像に設定された画像座標系における前記画像での前記特徴点の位置情報Ｐ２との対応関係を示すホモグラフィーに基づいて、前記画像内において前記校正ボードが映っている切り出し領域を設定する第２工程と、
   前記切り出し領域における前記深度情報に基づいて、前記校正ボードの仮想平面を設定する第３工程と、
   前記校正ボート座標系における前記校正ボードの前記基準点の位置情報Ｐ３と、前記ホモグラフィーとに基づいて、前記画像座標系における前記仮想平面上での前記基準点の位置情報Ｐ４を求める第４工程と、
   前記画像座標系における前記仮想平面上の前記基準点の前記位置情報Ｐ４を、内部パラメーターおよび外部パラメーターに基づいてロボット座標系における基準点の位置情報Ｐ５に変換する第５工程と、
   前記第５工程で特定した前記ロボット座標系における前記基準点の前記位置情報Ｐ５と、前記エンコーダーから取得した情報に基づいて得られた前記ロボット座標系における前記基準点の位置情報Ｐ６との位置関係を求める第６工程と、を有することを特徴とする位置関係特定方法。
2. 前記第６工程では、前記仮想平面に対する前記深度情報の標準偏差を加味して前記位置情報Ｐ５と前記位置情報Ｐ６との位置関係を求める請求項１に記載の位置関係算出方法。
3. 前記深度情報は、前記校正ボードの前記表面に沿って分布し、前記表面からの距離を示す点群データであり、
   前記第３工程では、前記点群データを平面近似することにより、前記仮想平面を設定する請求項１に記載の位置関係算出方法。
4. 前記校正ボードは、前記表面に、周囲と色が異なる円形のマーカーを有し、
   前記特徴点は、前記マーカーの中心である請求項１に記載の位置関係算出方法。
5. 前記第６工程で求めた前記位置関係は、前記ロボットアームが作業を行う際に加味される請求項１に記載の位置関係算出方法。
6. ロボットアームと、
   前記ロボットアームの姿勢を検出するエンコーダーと、
   前記ロボットアームに設置され、特徴点および基準点を有する校正ボードと、
   前記校正ボードを撮影して画像を取得する３次元カメラと、
   前記ロボットアームおよび前記３次元カメラの作動を制御する制御部と、を備え、
   前記制御部は、
   前記校正ボードを３次元カメラにより撮影して深度情報とともに画像を取得する第１工程と、
   前記校正ボードに設定された校正ボード座標系における前記校正ボードの表面上での前記特徴点の位置情報Ｐ１と、前記画像に設定された画像座標系における前記画像での前記特徴点の位置情報Ｐ２との対応関係を示すホモグラフィーに基づいて、前記画像内において前記校正ボードが映っている切り出し領域を設定する第２工程と、
   前記切り出し領域における前記深度情報に基づいて、前記校正ボードの仮想平面を設定する第３工程と、
   前記校正ボート座標系における前記校正ボードの前記基準点の位置情報Ｐ３と、前記ホモグラフィーとに基づいて、前記画像座標系における前記仮想平面上での前記基準点の位置情報Ｐ４を求める第４工程と、
   前記画像座標系における前記仮想平面上の前記基準点の前記位置情報Ｐ４を、内部パラメーターおよび外部パラメーターに基づいてロボット座標系における基準点の位置情報Ｐ５に変換する第５工程と、
   前記第５工程で特定した前記ロボット座標系における前記基準点の前記位置情報Ｐ５と、前記エンコーダーから取得した情報に基づいて得られた前記ロボット座標系における前記基準点の位置情報Ｐ６との位置関係を求める第６工程と、を実行することを特徴とするロボットシステム。

Images