JP3626400B2

JP3626400B2 - Method for measuring position of object using target marker and robot system

Info

Publication number: JP3626400B2
Application number: JP2000263876A
Authority: JP
Inventors: 靖福田; 準治大明; 文夫尾崎; 康徳高瀬
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2000-08-31
Filing date: 2000-08-31
Publication date: 2005-03-09
Anticipated expiration: 2020-08-31
Also published as: JP2002071313A

Description

【０００１】
【発明の属する技術分野】
本発明は、ターゲットマーカを用いた対象物の位置計測方法及びロボットシステムに関する。
【０００２】
【従来の技術】
一般に、種々の組立作業などをロボットによって行う場合、ロボットアームの位置決めのために視覚センサで対象物の画像を取得し、その画像を２値化した後に輪郭（エッジ）抽出を行って輪郭の線画像を求め、予め与えられた対象物の情報とのマッチングを行って、ロボットアームに対する対象物の相対位置（姿勢も含む）を求める方法が用いられている。
【０００３】
この方法では、対象物の位置計測精度が対象物の形状に大きく左右されるという問題点がある。このため、対象物に位置検出用マークが形成されたターゲットマーカと呼ばれる部材を設置し、このターゲットマーカの画像を視覚センサで取得して、画像処理により対象物の相対位置を求める方法が提案されている。そのような例として、例えば特開平５−３１２５２１号公報には、ベース上に面積最大のリング状マーク及び一つだけ他と面積の異なる５個の円形マークを配置したターゲットマーカが記載されている。
【０００４】
この公知例のターゲットマーカでは、ターゲットマーカを構成する複数のマークの種別を形状と大きさで識別しているため、特に視覚センサでターゲットマーカを斜めから撮像した場合、大きさの違いを認識できないことがあり、マークの識別が困難となることがある。
【０００５】
また、この公知例では色については特に言及していないが、マークを形状・大きさで識別していることから、ベースとマークのいずれか一方が白、他方が黒であると考えられる。しかし、このような白黒のターゲットマーカでは、例えば宇宙空間で作業を行うロボットに適用することを考えた場合、マーカが太陽光線に反射してしまい、マーカ自体を周囲の物体と識別したり、各マークを識別する際の精度が著しく低下することが予想される。
【０００６】
【発明が解決しようとする課題】
上述したように、ベース上に形状や大きさの異なるマークを配置したターゲットマーカでは、マーカと視覚センサとの角度位置関係によってマークの識別が困難となったり、宇宙空間で使用するロボットに適用する場合に、太陽光線の反射によりターゲットマーカの他との識別及び各マークの識別が困難になるという問題があった。
【０００７】
本発明の目的は、視覚センサとの角度位置関係によらずマークの識別が容易であって、また太陽光線の反射の影響を受けることなく識別が可能なターゲットマーカを用いて対象物の相対位置を容易かつ確実に計測できる位置計測方法を提供することにある。
【０００９】
本発明のもう一つの目的は、ターゲットマーカによる対象物の相対位置計測結果に基づき対象物を確実に把持して所定の作業を行うことができるロボットシステムを提供することにある。
【００１０】
【課題を解決するための手段】
上記の課題を解決するため、本発明に係る位置計測方法は、第１の色に着色されたベースと、このベース上に配置され、少なくとも一つは第２の色に、他の少なくとも一つは第３の色にそれぞれ着色された３個以上のマークとを有するターゲットマーカを位置決めの対象物に設置し、このターゲットマーカを例えばステレオカラーＣＣＤカメラからなるカラー視覚センサにより撮像してカラー画像を取得し、このカラー画像中の第１乃至第３の成分に基づいて対象物の位置計測を行う。この位置計測においては、まず第１の色の成分に基づく粗位置計測を行い、次に第２及び第３の色の成分に基づいて対象物の姿勢を含めた精位置計測を行う。
【００１２】
さらに、本発明は対象物をロボットアームの先端で把持して所定の作業を行うロボットシステムにおいて、上記ターゲットマーカを対象物に設置し、ロボットアームの先端近傍に設置されたカラー視覚センサによりターゲットマーカを撮像してカラー画像を取得し、この取得されたカラー画像を画像処理部に入力して、カラー画像中の第１乃至第３の色の成分に基づく対象物の位置計測を行い、この画像処理部による対象物の位置計測結果に基づいてロボットアームを駆動制御するようにしたことを特徴とする。
【００１３】
ここで、画像処理部においてはカラー画像中の第１の色の成分に基づく対象物の粗位置計測と、カラー画像中の第２及び第３の色の成分に基づく対象物の姿勢を含めた精位置計測を行い、ロボットアームの駆動制御手段においては、粗位置計測結果に基づいてロボットアームの対象物を把持する把持部の粗位置決めを行った後、精位置計測結果に基づいてロボットアームの精位置決めを行うようにロボットアームを駆動制御するようにしてもよい。
【００１４】
より具体的に説明すると、まず粗位置計測においては、具体的にはターゲットマーカを撮像して取得したカラー画像を予め登録された基準カラーパターンと比較し、カラー画像の基準カラーパターンの範囲内に基準カラーパターンと同一色のみの領域が含まれるようにカラーパターンマッチングを行い、このカラーパターンマッチングでマッチングした位置においてカラー画像のカラーヒストグラムを作成して画像中のマーカのベースの色成分の明るさを調べ、この色成分の明るさと同じ明るさの範囲の領域をカラー画像から抜き出し、この抜き出した領域の画像とカラー画像との論理積を演算することにより、マーカのベースの部分の画像を抽出してその重心を求め、この重心とカラー視覚センサの重心からターゲットマーカの相対位置、すなわち対象物の位置をＸ−Ｙ−Ｚ座標からなる３次元位置として算出する。
【００１５】
一方、精位置計測においては、例えば粗位置計測時と同様にターゲットマーカを撮像して取得したカラー画像ついてカラーパターンマッチングを行い、このカラーパターンマッチングでマッチングした位置においてカラー画像のカラーヒストグラムを作成して画像中のマーカのベースの色成分の明るさを判定し、この赤色成分の明るさと同じ明るさの範囲の領域をカラー画像から抜き出し、この抜き出した領域とカラー画像全体との論理積を演算して、ターゲットマーカの第１の色の領域、つまりベースの領域の画像を抽出し、この領域の画像の輪郭を求めてベースの領域を識別して、このベースの領域内のカラー画像を例えばＲＧＢ−ＨＬＳ変換することにより第２の色及び第３の色にそれぞれ着色されたマークの部分の画像を抽出し二値化してその画像の重心、すなわち各マークの各々の中心の３次元座標を求め、マーク全体の３次元的な中心をターゲットマーカの中心として求める。
【００１６】
そして、各マークの各々の中心を通る平面を求め、この平面に垂直かつターゲットマーカの中心を通る法線ベクトルを求めた後、この法線ベクトルに対して垂直な２つのベクトルとして、第２の色に着色された二つのマークの中心からＹ方向のベクトル、また第２の色に着色されたマークの中心とこれに隣り合う第３の色に着色されたマークの中心からＸ方向のベクトルをそれぞれ求めることにより、対象物の位置をカラー視覚センサからのターゲットマーカの相対距離及び姿勢として計測する。
【００１７】
このように本発明では、第１の色に着色されたベースの上に、少なくとも一つは第２の色に、他の少なくとも一つは第３の色にそれぞれ着色された３個以上のマークを設けることにより、視覚センサとの角度位置関係によらずマークの識別が容易で、しかも白黒のターゲットマーカのように太陽光線の反射の影響を受けることなく識別が可能なターゲットマーカを構成でき、またこのターゲットマーカを用いて対象物の相対位置を容易かつ確実に計測することが可能であり、さらに、この相対位置計測結果に基づき対象物を確実に把持して所定の作業を行うロボットシステムを構築することができる。
【００１８】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
図１は、本発明の一実施形態に係るターゲットマーカの構成を示す平面図である。
このターゲットマーカ１は、図示しない対象物に設置されてその対象物の位置計測に用いられるものであり、矩形（この例では正方形）板状のマーカベース２と、このマーカベース２の表面上の４隅に配置されたマーク３ａ，３ｂ，３ｃ，３ｄからなる。ここで、マーカベース２は全表面またはマーク３ａ，３ｂ，３ｃ，３ｄの配置された表面が第１の色、例えば赤色（Ｒ）に着色されている。このようにマーカベース２の表面を赤色に着色する理由は、本実施形態ではマーカベース２の色は、これが設置される対象物の大まかな相対位置計測と位置決め（粗位置計測・位置決め）に使用する関係で、宇宙空間で最も視認性が高い色であることが望ましいと考えたからである。
【００１９】
一方、マーク３ａ，３ｂ，３ｃ，３ｄは、マーカベース２と異なる複数の色に着色されている、具体的には、図でマーカベース２の右側の辺に沿って隣り合うマーク３ａ，３ｂは第２の色、例えば黄色（Ｙ）に着色され、図でマーカベース２の左側の辺に沿って隣り合うマーク３ｃ，３ｄは第３の色、例えば緑色（Ｇ）に着色されている。
【００２０】
ターゲットマーカ１の各部の具体的な形状と寸法を例示すると、例えばマーカベース２は一辺の長さが３０ｍｍ程度の正方形、マーク３ａ，３ｂ，３ｃ，３ｄは直径が６ｍｍ程度の円形である。また、マーク３ａ，３ｂ，３ｃ，３ｄのマーカベース２の辺に沿う方向の間隔は２０ｍｍ程度である。
【００２１】
マーク３ａ，３ｂ，３ｃ，３ｄは、マーカベース２の表面から突出しないように、例えば薄いシート状に形成されてマーカベース２上に貼り付けられるか、あるいはマーカベース２の表面に直接プリントされることが望ましい。このようにマーク３ａ，３ｂ，３ｃ，３ｄをマーカベース２の表面から突出しないように形成することにより、後述するロボットアームで対象物を把持する際、マーク３ａ，３ｂ，３ｃ，３ｄがアームの移動に邪魔となるようなことがなくなる。また、マーク３ａ，３ｂ，３ｃ，３ｄは図の例では円形、すなわち等方的な形状であるが、四角形、三角形、楕円等のような非等方性の形状、つまり方向性を有する形状であってもよい。
【００２２】
図２は、図１のターゲットマーカ１を対象物１８に取り付け、ロボットアーム１１に対する対象物１８の相対位置計測と、それに基づくロボットアーム１１の対象物１８に対する位置決めを行い、対象物１８の取っ手１９を把持して運搬・組立等の所定の作業を行うロボットシステムの構成を示している。このロボットシステムは、地上で使用することももちろん可能であるが、特に宇宙空間での使用に適している。
【００２３】
図２において、ロボットアーム１１はロボットベース１２上に６自由度を持つように、６個の関節部１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆと上腕１４及び下腕１５を有する構成となっている。また、ロボットアーム１１の先端には、対象物１８の取っ手１９を把持して所定の作業を行うためのエンド・エフェクタ１６が設けられている。
【００２４】
関節部１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆについてさらに説明すると、関節部１３ａはロボットベース１２のロール軸の関節軸θ１（第１軸）、関節部１３ｂは下腕１５のピッチ軸の関節軸θ２（第２軸）、関節部１３ｃは上腕１４のピッチ軸の関節軸θ３（第３軸）、関節部１３ｄはエンドエフェクタ１６のピッチ軸の関節軸θ４（第４軸）、関節部１３ｅはエンドエフェクタ１６のヨー軸の関節軸θ５（第５軸）、関節部１３ｆはエンドエフェクタ１６のロール軸の関節軸θ６（第６軸）をそれぞれ有し、図中に一点鎖線で示すそれぞれの回転軸を中心に回転駆動されることにより、ロボットアーム１１の先端の位置・姿勢を変化させることができる。
また、各関節部１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆには、図示しない位置センサ及び角度センサが取り付けられている。
【００２５】
エンドエフェクタ１６には、カラー視覚センサ１７が取り付けられている。このカラー視覚センサ１７は、例えばステレオカラーＣＣＤカメラによって構成され、対象物１８に取り付けられたターゲットマーカ１を含むカラー画像、すなわターゲットマーカ１とその周辺部のカラー画像（例えばＲＧＢ画像）を取得し、カラー画像信号を制御装置２１に出力する。
【００２６】
制御装置２１は、図３に示すようにカラー視覚センサ１７から入力されるカラー画像信号を処理する画像処理部２２、この画像処理部２２からの出力信号を入力とする駆動制御部２３、及び駆動制御部２３により制御されて関節部１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆを回転駆動する駆動装置２４から構成されている。
【００２７】
次に、本実施形態に係るロボットシステムの動作について説明する。
まず、ロボットアーム１１の先端に取り付けられたカラー視覚センサ１７により、対象物１８上のターゲットマーカ１を撮像して、ターゲットマーカ１を含むＲＧＢ画像を取得する。このカラー視覚センサ１７によって得られたＲＧＢ画像の画像信号は、制御装置２１に入力される。制御装置２１に入力された画像信号は画像処理部２２により処理され、ロボットアーム１１に対するターゲットマーカ１の相対位置、つまり対象物１８の相対位置が計測される。
【００２８】
この相対位置の計測結果に基づき駆動制御部２３によって駆動装置２４が制御されることにより、関節部１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆが回転駆動され、ロボットアーム１１の位置決めが行われる。この後、エンドエフェクタ１６によって対象物１８の取っ手１９が把持され、対象物１８の運搬や組立といった所定の作業が行われる。
【００２９】
対象物１８の相対位置の計測とロボットアーム１１の位置決めは、本実施形態では粗位置計測・位置決めモードと精位置計測・位置決めモードの順で行われる。以下、各モードの詳細な手順について説明する。
【００３０】
（粗位置計測・位置決めモード）
粗位置計測・位置決めモードは、例えばターゲットマーカ１の各部の寸法が前述の例の場合（特に、マーカベース２の一辺の長さが３０ｍｍの場合）、カラー視覚センサ１７からターゲットマーカ１までの距離が２００ｍｍ以上離れているときに用いられる。図４は、粗位置計測・位置決めモードでの処理手順を示している。
【００３１】
この粗位置計測・位置決めモードでは、まずステレオカラーＣＣＤカメラからなるカラー視覚センサ１７をターゲットマーカ１の方向に向けた状態で撮像して得られるカラー画像信号、すなわちＲＧＢ画像を取り込む（ステップＳ１１）。
【００３２】
次に、カラーパターンマッチング、すなわち、図５に示すように、取り込んだＲＧＢ画像４０を予め登録された基準カラーパターン（マーカベース２の色と同じ色でかつ所定形状のカラーパターン）４１と比較し、ＲＧＢ画像４０の基準カラーパターン４１の範囲内に基準カラーパターン４１と同一色のみの領域が含まれるように、ロボットアーム１１の位置決めを行う（ステップＳ１２）。この例では、基準カラーパターン４１の色は、マーカベース２が赤色であるため、赤色に設定されている。また、基準カラーパターン４１の形状は図５では矩形となっているが、円形その他の形状であってもよい。
【００３３】
次に、ステップＳ１２のカラーパターンマッチングでマッチングした位置、つまりＲＧＢ画像４０の基準カラーパターン４１の範囲内に基準カラーパターン４１と同一色のみの領域が含まれるようにロボットアーム１１を位置決めした状態で、図６に示すようにＲＧＢ画像４０のカラーヒストグラムを作成し、ＲＧＢ画像４０中のマーカベース２の色成分であるＲ（赤色）成分の明るさを調べる（ステップＳ１３）。図６のカラーヒストグラムは、横軸に明るさ（輝度）、縦軸に頻度をとっている。明るさ（輝度）は色の成分によって異なり、この例ではＲ（赤色）成分が最大輝度となっている。
【００３４】
次に、図７に示すようにＲＧＢ画像４０からステップＳ１３で求められた赤色成分の明るさと同じ明るさの範囲の領域を抜き出し、この抜き出した領域の画像とＲＧＢ画像との論理積を演算することにより、ターゲットマーカ１の赤色領域４２、すなわちマーカベース２の部分の画像を抽出する（ステップＳ１４）。
【００３５】
次に、ステップＳ１４で抽出されたターゲットマーカ１の赤色領域４２（マーカベース２の部分）の重心４３を算出する（ステップＳ１５）。重心４３の算出は、公知の種々の画像処理手法を用いることができ、例えば、赤色領域４２の画像について、Ｘ方向に関してはこれと垂直なＹ方向の画素数に応じたＸ座標値の加重平均をとりその平均値をＸ方向の重心（重心４３のＸ座標）とし、同様にＹ方向に関してもこれと垂直なＸ方向の画素数に応じたＹ座標値の加重平均をとりその平均値をＹ方向の重心（重心４３のＹ座標）とすればよい。
【００３６】
次に、カラー視覚センサ１７であるステレオカラーＣＣＤカメラの重心（左側のカメラの光軸と右側のカメラの光軸との中心）と、ステップＳ１５で算出されたマーカベース２の重心４３から、ロボットアーム１１に対するターゲットマーカ１の相対位置をＸ−Ｙ−Ｚ座標からなる３次元位置として算出する（ステップＳ１６）。ここで、ターゲットマーカ１の相対位置（３次元位置）を表すＸ−Ｙ−Ｚ座標のうち、Ｘ，ＹはＲＧＢ画像におけるマーカベース２の重心位置４３のＸ−Ｙ座標として求めることができ、またＺは三角測量の原理でカラー視覚センサ１７であるステレオカラーＣＣＤカメラの重心とマーカベース２の重心４３との距離として求めることができる。
【００３７】
以上のステップＳ１１〜Ｓ１６により、ロボットアーム１１に対するターゲットマーカ１の概略的な相対位置が求まる。すなわち、ロボットアーム１１に対する対象物１８の相対位置の粗位置計測が行われたことになる。
【００３８】
そこで、次にロボットアーム１１の現在位置（３次元位置）と、予めターゲットマーカ１の相対位置（３次元位置）を基準にして生成した指令位置により、ロボットアーム１１の先端（エンドエフェクタ１６）についてのみの位置決め（粗位置決め）を行う（ステップＳ１７）。
【００３９】
具体的には、制御装置２１内の駆動制御部２３において、ロボットアーム１１の各関節部１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆの位置を検出する図示しない位置センサの出力より算出したベース座標系（ロボットベース１２を基準とする座標系）（Σｂａｓｅ）でのロボットアーム１１の先端位置^ｂａｓｅＴ_ｔｉｐと、ロボットアーム１１に対するカラー視覚センサ１７の取り付け状態で決まるアーム先端座標系（ロボットアーム１１の先端であるエンドエフェクタ１６の位置を基準とする座標系）（Σｔｉｐ）でのカラー視覚センサ１７の位置^ｔｉｐＴ_{ｃａｍｅｒａ}を用いて、ロボットアーム１１の先端の目標位置を示すアーム先端位置指令^ｂａｓｅＴ_{ｔｉｐｄｅｍａｎｄ}が次式により算出される。
^ｂａｓｅＴ_{ｔｉｐｄｅｍａｎｄ}＝^ｔｉｐＴ_{ｃａｍｅｒａ}・^{ｃａｍｅｒａ}Ｔ_{ｍａｒｋｅｒ}・^{ｍａｒｋｅｒ}Ｔ_{ｔｉｐｄｅｍａｎｄ} さらに、こうして算出されたアーム先端位置指令^ｂａｓｅＴ_{ｔｉｐｄｅｍａｎｄ}に基づいてロボットアーム１１の先端の目標速度を示すアーム先端速度指令が生成される。
【００４０】
粗位置計測・位置決めモードでは、上述したように視覚センサ座標系（カラー視覚センサ１７の位置を基準とする座標系）（Σｃａｍｅｒａ）でのターゲットマーカ１の相対位置のみが計測され、ターゲットマーカ１の姿勢は計測されない。従って、カラー視覚センサ１７を用いて計測された視覚センサ座標系（Σｃａｍｅｒａ）でのターゲットマーカ１の位置^{ｃａｍｅｒａ}Ｔ_{ｍａｒｋｅｒ}、及び予め指令されたマーカ座標系（ターゲットマーカ１の位置を基準とする座標系）（Σｍａｒｋｅｒ）でのアーム先端位置指令^{ｍａｒｋｅｒ}Ｔ_{ｔｉｐｄｅｍａｎｄ}のうちの姿勢項については、ターゲットマーカ１がカラー視覚センサ１７に対して正対しているものとして、アーム先端速度指令を生成する。
【００４１】
すなわち、視覚センサ座標系（Σｃａｍｅｒａ）でのターゲットマーカ１の姿勢項、マーカ座標系（Σｍａｒｋｅｒ）でのアーム先端位置指令^{ｍａｒｋｅｒ}Ｔ_{ｔｉｐｄｅｍａｎｄ}は、各々の座標系（Σｃａｍｅｒａ）、（Σｍａｒｋｅｒ）に対しそれぞれ正対しているものとして演算される。
【００４２】
こうして生成されたアーム先端速度指令が制御装置２１内の駆動制御部２２から駆動装置２３に入力されることによって、ロボットアーム１１の粗位置決めが行われる。
【００４３】
（精位置計測・位置決めモード）
精位置計測・位置決めモードは、例えばターゲットマーカ１の各部の寸法が前述の例の場合（特に、マーカベース２の一辺の長さが３０ｍｍの場合）、カラー視覚センサ１７からターゲットマーカ１までの距離が２００ｍｍ以内まで近づいたときに用いられる。従って、ロボットシステム１１の初期状態においてカラー視覚センサ１７からターゲットマーカ１までの距離が２００ｍｍ以内にあれば、前述した粗位置計測・位置決めモードは省略され、精位置計測・位置決めモードのみが用いられる。
【００４４】
図８は、精位置計測・位置決めモードでの処理手順を示している。この精位置計測・位置決めモードにおいて、ステップＳ２１〜Ｓ２３の処理は図４に示した粗位置計測・位置決めモードにおけるステップＳ１１〜Ｓ１３の処理と同様である。
【００４５】
すなわち、カラー視覚センサ１７によって取得されたＲＧＢ画像を取り込み（ステップＳ２１）、このＲＧＢ画像についてカラーパターンマッチングを行い（ステップＳ２２）、このマッチング位置でカラーヒストグラムを作成してマーカベース２の色である赤色成分の明るさを判定する（ステップＳ２３）
次に、本実施形態ではステップＳ２３で判定された赤色成分の明るさと同じ明るさの範囲の領域をＲＧＢ画像４０から抜き出し、この抜き出した領域とＲＧＢ画像４０との論理積を演算して、ターゲットマーカ１の赤色領域４２（マーカベース２の領域）の画像を抽出し、赤色領域４２の画像の輪郭を求めることにより赤色領域４２、すなわちマーカベース２の領域を識別する（ステップＳ２４）。
【００４６】
精位置計測・位置決めモードでは、次にステップＳ２４で識別されたマーカベース２の領域の内部の画像をＲＧＢ−ＨＬＳ（色相）変換することにより、図９に示すように黄色領域、すなわちマーク３ａ，３ｂの部分の画像を抽出し、それを二値化する（ステップＳ２５）。
【００４７】
次に、ステップＳ２５で求められた二値化された黄色領域の画像の重心、すなわちマーク３ａ，３ｂの各々の中心を求める（ステップＳ２６）。
【００４８】
次に、ステップＳ２５と同様に、ステップＳ２４で識別されたマーカベース２の領域の内部の画像をＲＧＢ−ＨＬＳ（色相）変換することにより、図１０に示すように緑色領域、すなわちマーク３ｃ，３ｄの部分の画像を抽出し、それを二値化する（ステップＳ２７）。
【００４９】
次に、ステップＳ２６と同様に、ステップＳ２７で求められた二値化された緑色領域の画像の重心、すなわちマーク３ｃ，３ｄの各々の中心を求める（ステップＳ２８）。
【００５０】
ステップＳ２５〜Ｓ２８の処理は、カラー視覚センサ１７を構成するステレオカラーＣＣＤカメラの左右両方のカメラで取得されたＲＧＢ画像に対して行われる。これにより、４個のマーク３ａ，３ｂ，３ｃ，３ｄの各々の中心が３次元座標として求められる。そこで、次に４個のマーク３ａ，３ｂ，３ｃ，３ｄの各々の中心の３次元座標から、マーク３ａ，３ｂ，３ｃ，３ｄ全体の３次元的な中心をターゲットマーカ１の中心として求める（ステップＳ２９）。
【００５１】
次に、４個のマーク３ａ，３ｂ，３ｃ，３ｄの各々の中心を通る平面を例えば最小二乗法で求め、この平面に垂直かつステップＳ２９で求められたターゲットマーカ１の中心を通る法線ベクトルを求める（ステップＳ３０）。
【００５２】
次に、この法線ベクトルに対して垂直な２つのベクトルを求める（ステップＳ３１）。すなわち、ステップＳ２６で求められた二つの黄色のマーク３ａ，３ｂの中心から、Ｙ方向（垂直方向）のベクトルを求め、また黄色の一つのマーク（例えばマーク３ａ）の中心と、このマーク３ａとマーカベース２の同一辺に沿って隣り合う緑色のマーク（例えばマーク３ｄ）の中心から、Ｘ方向（水平方向）のベクトルを求める。
【００５３】
以上のステップＳ２１〜Ｓ３１により、ターゲットマーカ１のカラー視覚センサ１７からの相対位置（相対距離及び姿勢）が求められたことになる。
そこで、次にロボットアーム１１の現在位置（３次元位置）とステップＳ２１〜Ｓ３３で求められたターゲットマーカ１の相対距離及び姿勢に基づいて、ロボットアーム１１の先端（エンドエフェクタ１６）のロボットベース１２を基準とした指令位置を生成し、この指令位置によりロボットアーム１１全体の位置決め、すなわち精位置決めを行う（ステップＳ３２）。
【００５４】
具体的には、制御装置２１内の駆動制御部２３において、ロボットアーム１１の各関節部１３ａ，１３ｂ，１３ｃ，１３ｄ，１３ｅ，１３ｆの角度を検出する図示しない角度センサの出力より算出したベース座標系（ロボットベース１２を基準とする座標系）（Σｂａｓｅ）でのアーム先端位置^ｂａｓｅＴ_ｔｉｐと、ロボットアーム１１に対するカラー視覚センサ１７の取り付け状態で決まるアーム先端座標系（エンドエフェクタ１６の位置を基準とする座標系）（Σｔｉｐ）でのカラー視覚センサ１７の位置^ｔｉｐＴ_{ｃａｍｅｒａ}と、カラー視覚センサ１７を用いて計測した視覚センサ座標系（カラー視覚センサ１７を基準とした座標系）（Σｃａｍｅｒａ）でのターゲットマーカ１の位置^{ｃａｍｅｒａ}Ｔ_{ｍａｒｋｅｒ}と、予め指令したマーカ座標系（ターゲットマーカ１の位置を基準とする座標系）（Σｍａｒｋｅｒ）でのアーム先端位置指令^{ｍａｒｋｅｒ}Ｔ_{ｔｉｐｄｅｍａｎｄ}を用いて、アーム先端位置指令^ｂａｓｅＴ_{ｔｉｐｄｅｍａｎｄ}が次式により算出される。
^ｂａｓｅＴ_{ｔｉｐｄｅｍａｎｄ}＝^ｂａｓｅＴ_ｔｉｐ・^ｔｉｐＴ_{ｃａｍｅｒａ}・^{ｃａｍｅｒａ}Ｔ_{ｍａｒｋｅｒ}・^{ｍａｒｋｅｒ}Ｔ_{ｔｉｐｄｅｍａｎｄ}
さらに、このアーム先端位置指令^ｂａｓｅＴ_{ｔｉｐｄｅｍａｎｄ}に基づいてアーム先端速度指令が作成される。こうして生成されたアーム先端速度指令が制御装置２１内の駆動制御部２２から駆動装置２３に入力されることにより、ロボットアーム１１全体の精位置決めが行われる。
【００５５】
このように本実施形態によれば、ターゲットマーカ１が第１の色（例えば赤色）に着色されたマーカベース２と、このマーカベース２上に設置された複数のマーカ３ａ，３ｂ，３ｃ，３ｄとから構成され、マーカベース２の右側の辺に沿って隣り合うマーク３ａ，３ｂは第２の色（例えば黄色）に着色され、マーカベース２の左側の辺に沿って隣り合うマーク３ｃ，３ｄは第３の色（例えば緑色）に着色されている。
【００５６】
そして、このターゲットマーカ１のカラー画像（例えばＲＧＢ画像）をカラー視覚センサ１７により取得し、マーカベース２の色とマーク３ａ，３ｂ，３ｃ，３ｄの色の違い及び各マーク３ａ，３ｂ，３ｃ，３ｄの色の違いを利用して対象物１８の粗位置及び精位置計測を行う。
【００５７】
従って、例えば視覚センサ１７から見てターゲットマーカ１が斜めの位置関係にあってマーカベース２及びマーク３ａ，３ｂ，３ｃ，３ｄが例えば円形が変形して楕円に見えたり、マーク相互の大小関係が異なって見えたような場合でも、これらの影響を受けることなく、マーカベース２及びマーク３ａ，３ｂ，３ｃ，３ｄの識別を行うことができる。
【００５８】
また、マーカベース２及びマーク３ａ，３ｂ，３ｃ，３ｄはそれぞれ固有の色（有彩色）に着色されているため、例えば宇宙空間で衛星に搭載されて使用されるロボットシステムに適用する場合でも、太陽光線の反射の影響を受けることなく、これらを確実に識別することができる。
【００５９】
従って、カラー視覚センサ１７で取得したターゲットマーカ１のカラー画像に基づく対象物１８の位置計測を高い信頼性をもって行うことが可能となり、ロボットシステムのロボットアーム１１による対象物の把持操作を確実に行うことができる。
【００６０】
本発明は、上記実施形態に限られるものではなく、種々変形して実施することが可能である。例えば、ターゲットマーカについては、図１に示した構成以外に図１１に示すような種々の変形が可能である。
【００６１】
図１１（ａ）は、図１に示したターゲットマーカ１における緑色の二つのマーク３ｃ，３ｄのうちの一方３ｄを省略した例、図１１（ｂ）は図１に示したターゲットマーカ１における黄色の二つのマーク３ａ，３ｂのうちの一方３ｂを省略した例である。このようにターゲットマーカにおけるマークの数は３個であってもよく、その少なくとも一つが第２の色、他の少なくとも一つが第３の色であればよい。
【００６２】
図１１（ｃ）は、図１１（ａ）のターゲットマーカ１を変形し、３個のマーク３ａ，３ｂ，３ｃを正三角形の３つの頂点にそれぞれ配置した例である。この場合、前述した精位置計測・位置決めモードにおいてステップＳ３１で法線ベクトルに対して垂直な２つのベクトルを求める際、例えばＹ方向（垂直方向）のベクトルについては、ステップＳ２６で求められた二つの黄色のマーク３ａ，３ｂの中心間のベクトルをＹ方向（垂直方向）のベクトルに換算して求めればよい。
【００６３】
図１１（ｄ）は、マーカベース２の形状を円形とした例である。この場合、例えば前述した粗位置計測・位置決めモード及び精位置計測・位置決めモードにおいて、ターゲットマーカ１の赤色領域４２（マーカベース２の領域）の重心４３を算出するステップＳ１５は、赤色領域４２の画像の重心を公知の画像処理で求めることにより実現できる。また、マーカベース２の形状は、他に長方形、菱形、楕円形等であっても構わない。
【００６４】
さらに、以上説明したターゲットマーカでは、マーカベースの色である第１の色を赤、マークの色である第２、第３の色を黄色、緑色としたが、これらの一路の組み合わせは任意に変更できることはいうまでもない。
【００６５】
【発明の効果】
以上説明したように、本発明によれば視覚センサとの角度位置関係によらずマークの識別が容易で、しかも太陽光線の反射の影響を受けることなく識別が可能なターゲットマーカを提供でき、またこのターゲットマーカを用いて対象物の相対位置を容易かつ確実に計測することが可能となり、さらにこの相対位置計測結果に基づき対象物を確実に把持して所定の作業を行うロボットシステムを提供することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るターゲットマーカの構成を示す平面図
【図２】同実施形態に係るロボットシステムの概略構成を示す図
【図３】図２中に示した制御装置の構成を示すブロック図
【図４】同実施形態における粗位置計測・位置決めモードの処理手順を示すフローチャート
【図５】図４におけるステップＳ１２のカラーパターンマッチング処理を説明するための図
【図６】図４におけるステップＳ１３で作成されるカラーヒストグラムの例を示す図
【図７】図４におけるステップＳ１４〜Ｓ１５の処理を説明するための図
【図８】同実施形態における精位置計測・位置決めモードの処理手順を示すフローチャート
【図９】図８におけるステップＳ２５〜Ｓ２６の処理を説明するための図
【図１０】図８におけるステップＳ２７〜Ｓ２８の処理を説明するための図
【図１１】本発明の他の実施形態に係るターゲットマーカの構成を示す平面図
【符号の説明】
１…ターゲットマーカ
２…マーカベース（赤色）
３ａ，３ｂ…マーク（黄色）
３ｃ，３ｄ…マーク（緑色）
１１…ロボットアーム
１２…ロボットベース
１３ａ〜１３ｆ…関節部
１４…上腕
１５…下腕
１６…エンドエフェクタ（アーム先端）
１７…カラー視覚センサ
１８…対象物
１９…取っ手
２１…制御装置
２２…画像処理部
２３…駆動制御部
２４…駆動装置
４０…ＲＧＢ画像
４１…基準カラーパターン
４２…赤色領域（マーカベース部分）
４３…赤色領域の重心[0001]
BACKGROUND OF THE INVENTION
The present invention provides a target markerMosquitoThe present invention relates to a method for measuring the position of an object used and a robot system.
[0002]
[Prior art]
In general, when various assembling operations are performed by a robot, an image of an object is acquired by a visual sensor for positioning a robot arm, and the image is binarized, and then the contour (edge) is extracted to extract the contour line. A method is used in which an image is obtained and matching is performed with information on an object given in advance to obtain a relative position (including posture) of the object with respect to the robot arm.
[0003]
This method has a problem that the position measurement accuracy of the object is greatly influenced by the shape of the object. For this reason, a method has been proposed in which a member called a target marker in which a position detection mark is formed on an object is installed, an image of the target marker is acquired by a visual sensor, and the relative position of the object is obtained by image processing. ing. As such an example, for example, Japanese Patent Application Laid-Open No. 5-312521 describes a target marker in which a ring-shaped mark having the largest area and five circular marks having different areas from one another are arranged on a base. .
[0004]
In the target marker of this known example, since the types of a plurality of marks constituting the target marker are identified by shape and size, the difference in size cannot be recognized particularly when the target marker is imaged obliquely with a visual sensor. The mark may be difficult to identify.
[0005]
In this known example, color is not particularly mentioned. However, since the mark is identified by the shape and size, it is considered that one of the base and the mark is white and the other is black. However, with such a black and white target marker, for example, when considered to be applied to a robot working in outer space, the marker is reflected by sunlight, and the marker itself can be identified from surrounding objects, It is expected that the accuracy in identifying marks will be significantly reduced.
[0006]
[Problems to be solved by the invention]
As described above, in the target marker in which marks of different shapes and sizes are arranged on the base, it is difficult to identify the mark due to the angular positional relationship between the marker and the visual sensor, or it is applied to a robot used in outer space. In this case, there is a problem that it is difficult to identify the target marker and each mark due to the reflection of sunlight.
[0007]
An object of the present invention is to make it easy to identify a mark regardless of the angular positional relationship with a visual sensor, and to be able to identify the target marker without being affected by the reflection of sunlight.Position measurement method that can easily and reliably measure the relative position of an objectIs to provide.
[0009]
Another object of the present invention is to provide a robot system capable of performing a predetermined operation by reliably grasping an object based on a result of relative position measurement of the object by a target marker.
[0010]
[Means for Solving the Problems]
In order to solve the above problems, the present invention relates toThe position measurement method isA base colored in a first color, and three or more marks arranged on the base, at least one colored in the second color and at least one colored in the third color. HaveA target marker is placed on a positioning target, and the target marker is imaged by a color visual sensor such as a stereo color CCD camera to obtain a color image. Based on the first to third components in the color image Measure the position of the object. In this position measurement, coarse position measurement based on the first color component is first performed, and then fine position measurement including the posture of the object is performed based on the second and third color components.
[0012]
Furthermore, the present invention provides a robot system in which a target object is gripped by a tip of a robot arm and performs a predetermined operation. The target marker is set on the target, and the target marker is detected by a color visual sensor installed near the tip of the robot arm. To obtain a color image, input the obtained color image to the image processing unit, measure the position of the object based on the components of the first to third colors in the color image, and The robot arm is driven and controlled based on the position measurement result of the object by the processing unit.
[0013]
Here, the image processing unit includes the rough position measurement of the object based on the first color component in the color image and the posture of the object based on the second and third color components in the color image. In the robot arm drive control means, after the coarse positioning of the gripping part for gripping the object of the robot arm based on the coarse position measurement result, the robot arm drive control means performs the robot arm drive control means based on the precise position measurement result. The robot arm may be driven and controlled to perform precise positioning.
[0014]
More specifically, in the coarse position measurement, specifically, a color image obtained by imaging a target marker is compared with a reference color pattern registered in advance, and is within the range of the reference color pattern of the color image. Color pattern matching is performed so that only the same color area as the reference color pattern is included, and the color histogram of the color image is created at the position matched by this color pattern matching, and the brightness of the base color component of the marker in the image And extract the area of the same brightness range as the brightness of this color component from the color image, and extract the image of the base part of the marker by calculating the logical product of the image of the extracted area and the color image The center of gravity of the target marker is calculated from this center of gravity and the center of gravity of the color vision sensor. It calculates the position of the ie object as the three-dimensional position consisting of X-Y-Z coordinates.
[0015]
On the other hand, in fine position measurement, for example, color pattern matching is performed on a color image obtained by imaging a target marker in the same way as in rough position measurement, and a color histogram of the color image is created at the position matched by this color pattern matching. To determine the brightness of the base color component of the marker in the image, extract an area in the same brightness range as the brightness of the red component, and calculate the logical product of the extracted area and the entire color image. Then, an image of the first color area of the target marker, that is, an image of the base area is extracted, an outline of the image of the area is obtained, the base area is identified, and the color image in the base area is An image of a mark portion colored in the second color and the third color is extracted and binarized by RGB-HLS conversion. To the center of gravity of the image, i.e., the 3-dimensional coordinates of the center of each of the marks calculated, obtaining the three-dimensional center of the entire marked as the center of the target marker.
[0016]
Then, after obtaining a plane passing through the center of each mark, obtaining a normal vector perpendicular to the plane and passing through the center of the target marker, the second vector is obtained as two vectors perpendicular to the normal vector. A vector in the Y direction from the center of the two colored marks, and a vector in the X direction from the center of the mark colored in the second color and the center of the mark colored in the third color adjacent thereto. By obtaining each, the position of the object is measured as the relative distance and posture of the target marker from the color visual sensor.
[0017]
Thus, in the present invention, on the base colored in the first color, at least one mark is colored in the second color and at least one other color is colored in the third color. It is possible to configure a target marker that can be easily identified regardless of the angular positional relationship with the visual sensor, and can be identified without being affected by the reflection of sunlight like a black and white target marker, Further, it is possible to easily and surely measure the relative position of the object using the target marker, and further, a robot system that reliably grasps the object based on the relative position measurement result and performs a predetermined operation. Can be built.
[0018]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is a plan view showing a configuration of a target marker according to an embodiment of the present invention.
The target marker 1 is installed on a target object (not shown) and is used for position measurement of the target object. The target marker 1 is a rectangular (square in this example) plate-like marker base 2 and a surface of the marker base 2. It consists of marks 3a, 3b, 3c, 3d arranged at four corners. Here, the entire surface of the marker base 2 or the surface on which the marks 3a, 3b, 3c, 3d are arranged is colored in a first color, for example, red (R). The reason why the surface of the marker base 2 is colored in red as described above is that the color of the marker base 2 is used for rough relative position measurement and positioning (coarse position measurement / positioning) of the object on which the marker base 2 is installed. This is because it is desirable that the color has the highest visibility in outer space.
[0019]
On the other hand, the marks 3a, 3b, 3c, and 3d are colored in a plurality of colors different from the marker base 2. Specifically, the marks 3a and 3b adjacent to each other along the right side of the marker base 2 in the figure are The mark 3c, 3d adjacent to the left side of the marker base 2 in the drawing is colored in a second color, for example, yellow (Y), and colored in a third color, for example, green (G).
[0020]
The specific shape and dimensions of each part of the target marker 1 are exemplified. For example, the marker base 2 is a square having a side length of about 30 mm, and the marks 3a, 3b, 3c, 3d are circular having a diameter of about 6 mm. Further, the distance between the marks 3a, 3b, 3c, and 3d in the direction along the side of the marker base 2 is about 20 mm.
[0021]
The marks 3 a, 3 b, 3 c, 3 d are formed on, for example, a thin sheet so as not to protrude from the surface of the marker base 2, and are attached to the marker base 2 or printed directly on the surface of the marker base 2. It is desirable. By forming the marks 3a, 3b, 3c, and 3d so as not to protrude from the surface of the marker base 2 as described above, the marks 3a, 3b, 3c, 3d There will be no obstacles to movement. In addition, the marks 3a, 3b, 3c, and 3d have a circular shape, that is, an isotropic shape in the example of the figure, but an anisotropic shape such as a quadrangle, a triangle, an ellipse, or the like, that is, a shape having directionality. There may be.
[0022]
2, the target marker 1 shown in FIG. 1 is attached to the object 18, the relative position of the object 18 is measured with respect to the robot arm 11, and the robot arm 11 is positioned relative to the object 18 based on the measurement. 1 shows a configuration of a robot system that holds a handle and performs a predetermined operation such as transportation and assembly. This robot system can of course be used on the ground, but is particularly suitable for use in outer space.
[0023]
In FIG. 2, the robot arm 11 has six joint portions 13a, 13b, 13c, 13d, 13e, 13f, an upper arm 14, and a lower arm 15 so as to have six degrees of freedom on the robot base 12. Yes. Further, an end effector 16 for holding a handle 19 of the object 18 and performing a predetermined work is provided at the tip of the robot arm 11.
[0024]
The joint portions 13a, 13b, 13c, 13d, 13e, and 13f will be further described. The joint portion 13a is a joint axis θ1 (first axis) of the roll axis of the robot base 12, and the joint portion 13b is a joint of the pitch axis of the lower arm 15. The axis θ2 (second axis), the joint portion 13c is the pitch axis joint axis θ3 (third axis) of the upper arm 14, the joint portion 13d is the pitch axis joint axis θ4 (fourth axis) of the end effector 16, and the joint portion 13e. Is a joint axis θ5 (fifth axis) of the yaw axis of the end effector 16, and the joint part 13f has a joint axis θ6 (sixth axis) of the roll axis of the end effector 16, respectively. By being rotationally driven around the rotation axis, the position / posture of the tip of the robot arm 11 can be changed.
Further, a position sensor and an angle sensor (not shown) are attached to the joint portions 13a, 13b, 13c, 13d, 13e, and 13f.
[0025]
A color visual sensor 17 is attached to the end effector 16. The color visual sensor 17 is constituted by, for example, a stereo color CCD camera, and acquires a color image including the target marker 1 attached to the object 18, that is, a color image (for example, RGB image) of the target marker 1 and its peripheral portion. Then, a color image signal is output to the control device 21.
[0026]
As shown in FIG. 3, the control device 21 includes an image processing unit 22 that processes a color image signal input from the color visual sensor 17, a drive control unit 23 that receives an output signal from the image processing unit 22, and a drive It is configured by a driving device 24 that is controlled by the control unit 23 to rotationally drive the joint portions 13a, 13b, 13c, 13d, 13e, and 13f.
[0027]
Next, the operation of the robot system according to this embodiment will be described.
First, the color visual sensor 17 attached to the tip of the robot arm 11 images the target marker 1 on the object 18 to obtain an RGB image including the target marker 1. The image signal of the RGB image obtained by the color visual sensor 17 is input to the control device 21. The image signal input to the control device 21 is processed by the image processing unit 22, and the relative position of the target marker 1 with respect to the robot arm 11, that is, the relative position of the object 18 is measured.
[0028]
The drive device 24 is controlled by the drive control unit 23 based on the measurement result of the relative position, whereby the joint portions 13a, 13b, 13c, 13d, 13e, and 13f are rotationally driven, and the robot arm 11 is positioned. Thereafter, the handle 19 of the object 18 is gripped by the end effector 16, and a predetermined operation such as transportation and assembly of the object 18 is performed.
[0029]
In this embodiment, measurement of the relative position of the object 18 and positioning of the robot arm 11 are performed in the order of the coarse position measurement / positioning mode and the fine position measurement / positioning mode. Hereinafter, detailed procedures in each mode will be described.
[0030]
(Coarse position measurement / positioning mode)
In the coarse position measurement / positioning mode, for example, when the dimension of each part of the target marker 1 is the above example (particularly, when the length of one side of the marker base 2 is 30 mm), the distance from the color visual sensor 17 to the target marker 1 Is used when the distance is 200 mm or more. FIG. 4 shows a processing procedure in the coarse position measurement / positioning mode.
[0031]
In this coarse position measurement / positioning mode, first, a color image signal obtained by capturing an image with the color visual sensor 17 formed of a stereo color CCD camera directed toward the target marker 1, that is, an RGB image is captured (step S11).
[0032]
Next, color pattern matching, that is, as shown in FIG. 5, the captured RGB image 40 is compared with a reference color pattern (a color pattern having the same color as the marker base 2 and having a predetermined shape) 41 registered in advance. Then, the robot arm 11 is positioned so that the region of the same color as the reference color pattern 41 is included in the range of the reference color pattern 41 of the RGB image 40 (step S12). In this example, the color of the reference color pattern 41 is set to red because the marker base 2 is red. Further, the shape of the reference color pattern 41 is a rectangle in FIG. 5, but may be a circle or other shapes.
[0033]
Next, in a state in which the robot arm 11 is positioned so that the region matched with the color pattern matching in step S12, that is, the region of only the same color as the reference color pattern 41 is included in the range of the reference color pattern 41 of the RGB image 40. As shown in FIG. 6, a color histogram of the RGB image 40 is created, and the brightness of the R (red) component, which is the color component of the marker base 2 in the RGB image 40, is examined (step S13). In the color histogram of FIG. 6, the horizontal axis represents brightness (luminance) and the vertical axis represents frequency. Brightness (luminance) varies depending on the color component, and in this example, the R (red) component has the maximum luminance.
[0034]
Next, as shown in FIG. 7, a region having the same brightness range as the brightness of the red component obtained in step S13 is extracted from the RGB image 40, and the logical product of the image of the extracted region and the RGB image is calculated. Thus, an image of the red region 42 of the target marker 1, that is, the marker base 2 portion is extracted (step S14).
[0035]
Next, the center of gravity 43 of the red region 42 (marker base 2 portion) of the target marker 1 extracted in step S14 is calculated (step S15). The center of gravity 43 can be calculated by using various known image processing techniques. For example, with respect to the image of the red region 42, the weighted average of the X coordinate values according to the number of pixels in the Y direction perpendicular to the X direction. And the average value is taken as the center of gravity in the X direction (X coordinate of the center of gravity 43). Similarly, in the Y direction, a weighted average of Y coordinate values corresponding to the number of pixels in the X direction perpendicular to the Y direction is taken. The center of gravity in the direction (Y coordinate of the center of gravity 43) may be used.
[0036]
Next, from the center of gravity (center between the optical axis of the left camera and the optical axis of the right camera) of the stereo color CCD camera as the color visual sensor 17, and the center of gravity 43 of the marker base 2 calculated in step S15, the robot The relative position of the target marker 1 with respect to the arm 11 is calculated as a three-dimensional position composed of XYZ coordinates (step S16). Here, among the XYZ coordinates representing the relative position (three-dimensional position) of the target marker 1, X and Y can be obtained as the XY coordinates of the barycentric position 43 of the marker base 2 in the RGB image. Z can be obtained as the distance between the center of gravity of the stereo color CCD camera as the color visual sensor 17 and the center of gravity 43 of the marker base 2 by the principle of triangulation.
[0037]
Through the above steps S11 to S16, the approximate relative position of the target marker 1 with respect to the robot arm 11 is obtained. That is, the coarse position measurement of the relative position of the object 18 with respect to the robot arm 11 is performed.
[0038]
Therefore, the tip of the robot arm 11 (end effector 16) is then determined based on the current position (three-dimensional position) of the robot arm 11 and the command position generated in advance based on the relative position (three-dimensional position) of the target marker 1. Only positioning (coarse positioning) is performed (step S17).
[0039]
Specifically, the base coordinates calculated from the output of a position sensor (not shown) that detects the positions of the joints 13a, 13b, 13c, 13d, 13e, and 13f of the robot arm 11 in the drive control unit 23 in the control device 21. Position of the robot arm 11 in the system (coordinate system based on the robot base 12) (Σbase)^baseT_tipThe position of the color visual sensor 17 in the arm tip coordinate system (coordinate system based on the position of the end effector 16 that is the tip of the robot arm 11) (Σtip) determined by the attachment state of the color visual sensor 17 to the robot arm 11^tipT_cameraThe arm tip position command indicating the target position of the tip of the robot arm 11 using^baseT_{tip demand}Is calculated by the following equation.
^baseT_{tip demand}=^tipT_camera・^cameraT_marker・^markerT_{tip demand} Furthermore, the arm tip position command calculated in this way^baseT_{tip demand}Based on the above, an arm tip speed command indicating the target speed of the tip of the robot arm 11 is generated.
[0040]
In the coarse position measurement / positioning mode, as described above, only the relative position of the target marker 1 in the visual sensor coordinate system (coordinate system based on the position of the color visual sensor 17) (Σcamera) is measured. Posture is not measured. Accordingly, the position of the target marker 1 in the visual sensor coordinate system (Σcamera) measured using the color visual sensor 17.^cameraT_marker, And an arm tip position command in a marker coordinate system (a coordinate system based on the position of the target marker 1) (Σmarker) commanded in advance^markerT_{tip demand}For the posture term, the arm tip speed command is generated on the assumption that the target marker 1 is directly facing the color visual sensor 17.
[0041]
That is, the posture term of the target marker 1 in the visual sensor coordinate system (Σcamera), the arm tip position command in the marker coordinate system (Σmarker)^markerT_{tip demand}Are calculated as facing each coordinate system (Σcamera) and (Σmarker).
[0042]
The arm tip speed command thus generated is input from the drive control unit 22 in the control device 21 to the drive device 23, whereby the robot arm 11 is roughly positioned.
[0043]
(Precise position measurement / positioning mode)
The fine position measurement / positioning mode is a distance from the color visual sensor 17 to the target marker 1 when, for example, the dimensions of each part of the target marker 1 are the above-described example (particularly, when the length of one side of the marker base 2 is 30 mm) Is used when approaching within 200 mm. Accordingly, if the distance from the color visual sensor 17 to the target marker 1 is within 200 mm in the initial state of the robot system 11, the above-described coarse position measurement / positioning mode is omitted, and only the fine position measurement / positioning mode is used.
[0044]
FIG. 8 shows a processing procedure in the fine position measurement / positioning mode. In this fine position measurement / positioning mode, the processes in steps S21 to S23 are the same as the processes in steps S11 to S13 in the coarse position measurement / positioning mode shown in FIG.
[0045]
That is, an RGB image acquired by the color visual sensor 17 is captured (step S21), color pattern matching is performed on this RGB image (step S22), and a color histogram is created at this matching position to obtain the color of the marker base 2. The brightness of the red component is determined (step S23).
Next, in the present embodiment, an area in the same brightness range as the brightness of the red component determined in step S23 is extracted from the RGB image 40, and a logical product of the extracted area and the RGB image 40 is calculated to obtain a target. An image of the red region 42 (marker base 2 region) of the marker 1 is extracted, and the contour of the image of the red region 42 is obtained to identify the red region 42, that is, the marker base 2 region (step S24).
[0046]
In the fine position measurement / positioning mode, the image inside the area of the marker base 2 identified in step S24 is subjected to RGB-HLS (hue) conversion, so that the yellow area, that is, the mark 3a, The image of the part 3b is extracted and binarized (step S25).
[0047]
Next, the center of gravity of the image of the binarized yellow region obtained in step S25, that is, the center of each of the marks 3a and 3b is obtained (step S26).
[0048]
Next, as in step S25, the image inside the marker base 2 area identified in step S24 is subjected to RGB-HLS (hue) conversion, so that the green area, that is, the marks 3c and 3d, as shown in FIG. Is extracted and binarized (step S27).
[0049]
Next, as in step S26, the center of gravity of the binarized green region image obtained in step S27, that is, the center of each of the marks 3c and 3d is obtained (step S28).
[0050]
The processes in steps S25 to S28 are performed on the RGB images acquired by both the left and right cameras of the stereo color CCD camera constituting the color visual sensor 17. Thereby, the center of each of the four marks 3a, 3b, 3c, 3d is obtained as a three-dimensional coordinate. Therefore, the three-dimensional center of the marks 3a, 3b, 3c, 3d as a whole is obtained as the center of the target marker 1 from the three-dimensional coordinates of the centers of the four marks 3a, 3b, 3c, 3d (step S29).
[0051]
Next, a plane passing through the center of each of the four marks 3a, 3b, 3c, 3d is obtained by, for example, the least square method, and a normal vector that passes through the center of the target marker 1 that is perpendicular to this plane and obtained in step S29. Is obtained (step S30).
[0052]
Next, two vectors perpendicular to the normal vector are obtained (step S31). That is, a vector in the Y direction (vertical direction) is obtained from the centers of the two yellow marks 3a and 3b obtained in step S26, the center of one yellow mark (for example, the mark 3a), and the mark 3a A vector in the X direction (horizontal direction) is obtained from the center of the green mark (for example, mark 3d) adjacent along the same side of the marker base 2.
[0053]
Through the above steps S21 to S31, the relative position (relative distance and posture) of the target marker 1 from the color visual sensor 17 is obtained.
Then, based on the current position (three-dimensional position) of the robot arm 11 and the relative distance and posture of the target marker 1 obtained in steps S21 to S33, the robot base 12 of the tip of the robot arm 11 (end effector 16). Is used as a reference, and the entire robot arm 11 is positioned, that is, precisely positioned by this command position (step S32).
[0054]
Specifically, the base coordinates calculated from the output of an angle sensor (not shown) that detects the angles of the joint portions 13a, 13b, 13c, 13d, 13e, and 13f of the robot arm 11 in the drive control unit 23 in the control device 21. Position of arm in the system (coordinate system based on the robot base 12) (Σbase)^baseT_tipThe position of the color visual sensor 17 in the arm tip coordinate system (coordinate system based on the position of the end effector 16) (Σtip) determined by the attachment state of the color visual sensor 17 to the robot arm 11^tipT_cameraAnd the position of the target marker 1 in the visual sensor coordinate system (coordinate system based on the color visual sensor 17) (Σcamera) measured using the color visual sensor 17^cameraT_markerAnd an arm tip position command in a marker coordinate system (a coordinate system based on the position of the target marker 1) (Σmarker) commanded in advance^markerT_{tip demand}Command the arm tip position^baseT_{tip demand}Is calculated by the following equation.
^baseT_{tip demand}=^baseT_tip・^tipT_camera・^cameraT_marker・^markerT_{tip demand}
Furthermore, this arm tip position command^baseT_{tip demand}Based on the above, an arm tip speed command is generated. The arm tip speed command thus generated is input from the drive control unit 22 in the control device 21 to the drive device 23, whereby the robot arm 11 as a whole is precisely positioned.
[0055]
As described above, according to the present embodiment, the marker base 2 in which the target marker 1 is colored in the first color (for example, red) and the plurality of markers 3a, 3b, 3c, 3d installed on the marker base 2 are used. The marks 3a and 3b adjacent to each other along the right side of the marker base 2 are colored in a second color (for example, yellow), and the marks 3c and 3d adjacent to each other along the left side of the marker base 2 Is colored in a third color (eg green).
[0056]
Then, a color image (for example, RGB image) of the target marker 1 is acquired by the color visual sensor 17, and the difference between the color of the marker base 2 and the marks 3a, 3b, 3c, 3d and the marks 3a, 3b, 3c, The coarse position and the fine position of the object 18 are measured using the 3d color difference.
[0057]
Therefore, for example, the target marker 1 is in an oblique positional relationship when viewed from the visual sensor 17, and the marker base 2 and the marks 3a, 3b, 3c, and 3d are, for example, deformed into a circular shape and appear as an ellipse, or the size relationship between the marks. Even when they look different, the marker base 2 and the marks 3a, 3b, 3c, 3d can be identified without being affected by these effects.
[0058]
Further, since the marker base 2 and the marks 3a, 3b, 3c, and 3d are colored with unique colors (chromatic colors), for example, even when applied to a robot system that is mounted on a satellite and used in space, These can be reliably identified without being affected by the reflection of sunlight.
[0059]
Therefore, the position measurement of the object 18 based on the color image of the target marker 1 acquired by the color visual sensor 17 can be performed with high reliability, and the object gripping operation by the robot arm 11 of the robot system is reliably performed. be able to.
[0060]
The present invention is not limited to the above embodiment, and can be implemented with various modifications. For example, the target marker can be variously modified as shown in FIG. 11 in addition to the configuration shown in FIG.
[0061]
FIG. 11A shows an example in which one of the two green marks 3c and 3d in the target marker 1 shown in FIG. 1 is omitted, and FIG. 11B shows the yellow color in the target marker 1 shown in FIG. This is an example in which one of the two marks 3a and 3b is omitted. Thus, the number of marks in the target marker may be three, and at least one of the marks may be the second color and at least one of the other may be the third color.
[0062]
FIG. 11C shows an example in which the target marker 1 of FIG. 11A is deformed and three marks 3a, 3b, 3c are respectively arranged at three vertices of an equilateral triangle. In this case, when two vectors perpendicular to the normal vector are obtained in step S31 in the fine position measurement / positioning mode described above, for example, two vectors obtained in step S26 are obtained in the Y direction (vertical direction). The vector between the centers of the yellow marks 3a and 3b may be obtained by converting into a vector in the Y direction (vertical direction).
[0063]
FIG. 11D shows an example in which the marker base 2 has a circular shape. In this case, for example, in the above-described coarse position measurement / positioning mode and fine position measurement / positioning mode, step S15 for calculating the centroid 43 of the red region 42 (the region of the marker base 2) of the target marker 1 is an image of the red region 42. The center of gravity can be obtained by known image processing. Further, the shape of the marker base 2 may be a rectangle, a diamond, an ellipse, or the like.
[0064]
Furthermore, in the target marker described above, the first color that is the marker base color is red, and the second and third colors that are the mark colors are yellow and green. Needless to say, it can be changed.
[0065]
【The invention's effect】
As described above, according to the present invention, it is possible to provide a target marker that can be easily identified regardless of the angular positional relationship with the visual sensor and that can be identified without being affected by the reflection of sunlight. To provide a robot system that can easily and reliably measure the relative position of an object using this target marker, and that reliably holds the object based on the relative position measurement result and performs a predetermined operation. Can do.
[Brief description of the drawings]
FIG. 1 is a plan view showing a configuration of a target marker according to an embodiment of the present invention.
FIG. 2 is a diagram showing a schematic configuration of a robot system according to the embodiment.
FIG. 3 is a block diagram showing the configuration of the control device shown in FIG.
FIG. 4 is a flowchart showing a processing procedure of a coarse position measurement / positioning mode in the embodiment;
FIG. 5 is a diagram for explaining color pattern matching processing in step S12 in FIG. 4;
6 is a diagram showing an example of a color histogram created in step S13 in FIG.
7 is a diagram for explaining the processing of steps S14 to S15 in FIG. 4;
FIG. 8 is a flowchart showing a processing procedure in a precision position measurement / positioning mode in the embodiment;
FIG. 9 is a diagram for explaining the processing of steps S25 to S26 in FIG. 8;
FIG. 10 is a diagram for explaining the processing of steps S27 to S28 in FIG. 8;
FIG. 11 is a plan view showing a configuration of a target marker according to another embodiment of the present invention.
[Explanation of symbols]
1 ... Target marker
2. Marker base (red)
3a, 3b ... mark (yellow)
3c, 3d ... mark (green)
11 ... Robot arm
12 ... Robot base
13a-13f ... Joint part
14 ... Upper arm
15 ... Lower arm
16 ... End effector (arm tip)
17 ... Color visual sensor
18 ... Object
19 ... handle
21 ... Control device
22. Image processing unit
23 ... Drive control unit
24 ... Drive device
40 ... RGB image
41 ... Standard color pattern
42 ... Red region (marker base part)
43 ... Red center of gravity

Claims

A target composed of a base colored in a first color and three or more marks arranged on the base, at least one colored in the second color and at least one other colored in the third color Place the marker on the positioning object,
Capturing a color image by imaging the target marker;
Performing coarse position measurement of the object based on the first color component in the color image ;
And a step of performing fine position measurement including the posture of the object based on the first to third color components in the color image .

In a robot system that grips an object with the tip of a robot arm and performs a predetermined work,
A base colored in the first color placed on the object and arranged on the base, at least one colored in the second color and at least one other colored in the third color 3 A target marker consisting of more than one mark,
A color visual sensor installed near the tip of the robot arm and capturing a color image by imaging the target marker;
After performing rough position measurement of the object based on the first color component in the color image acquired by the color visual sensor, the first to third color components in the color image are measured. An image processing unit for performing precise position measurement including the posture of the object based on the
The robot arm is configured to perform fine positioning of the robot arm based on the precise position measurement result after performing rough positioning of a gripping portion that grips the object of the robot arm based on the coarse position measurement result. A robot system comprising drive control means for driving control.