JP2701584B2 - 相対位置決め方法 - Google Patents
相対位置決め方法Info
- Publication number
- JP2701584B2 JP2701584B2 JP3119548A JP11954891A JP2701584B2 JP 2701584 B2 JP2701584 B2 JP 2701584B2 JP 3119548 A JP3119548 A JP 3119548A JP 11954891 A JP11954891 A JP 11954891A JP 2701584 B2 JP2701584 B2 JP 2701584B2
- Authority
- JP
- Japan
- Prior art keywords
- mark
- camera
- image
- work
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Control Of Position Or Direction (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Machine Tool Sensing Apparatuses (AREA)
- Image Processing (AREA)
Description
【0001】
【産業上の利用分野】本発明は、宇宙空間や放射線環境
などの極限環境下において、遠隔地にいる作業者がカメ
ラ画像を用いて作業対象物体を把持したり、移動先を指
定するための目標位置指定に係る相対位置決め方法に関
するものである。
などの極限環境下において、遠隔地にいる作業者がカメ
ラ画像を用いて作業対象物体を把持したり、移動先を指
定するための目標位置指定に係る相対位置決め方法に関
するものである。
【0002】
【従来の技術】従来、宇宙空間など極限環境下でロボッ
トアームを用いて組立・交換などの作業を行う場合、宇
宙飛行士は、宇宙船内など遠隔地でカメラ画像を見なが
ら対象物体を認識し、マニュアルでロボットを操作し、
把持,移動,組み付けなどの作業を行っていた。そのた
め、微妙な位置決めを必要としない複雑な把持機構や組
み付け機構を用い、多大な作業時間をかけて作業を行っ
ていた。位置決め作業の自動化については、これまで目
標位置に位置情報を示すマ−クを設置し、画像計測によ
り自動的に位置決めを行うことが検討されてきた。例え
ばこのようなマ−クを用いた相対位置計測については町
田,植之原他“宇宙ロボット用6軸近接位置姿勢センサ
の試作”第33回宇宙科学技術連合講演会予講集pp.
284〜285、Morikawa et.al.,
“A Prototype Space Telero
botic System”,IEEE Intern
ational Workshop on Intel
ligent Robotsand Systems
’90,pp424〜428に述べられている。
トアームを用いて組立・交換などの作業を行う場合、宇
宙飛行士は、宇宙船内など遠隔地でカメラ画像を見なが
ら対象物体を認識し、マニュアルでロボットを操作し、
把持,移動,組み付けなどの作業を行っていた。そのた
め、微妙な位置決めを必要としない複雑な把持機構や組
み付け機構を用い、多大な作業時間をかけて作業を行っ
ていた。位置決め作業の自動化については、これまで目
標位置に位置情報を示すマ−クを設置し、画像計測によ
り自動的に位置決めを行うことが検討されてきた。例え
ばこのようなマ−クを用いた相対位置計測については町
田,植之原他“宇宙ロボット用6軸近接位置姿勢センサ
の試作”第33回宇宙科学技術連合講演会予講集pp.
284〜285、Morikawa et.al.,
“A Prototype Space Telero
botic System”,IEEE Intern
ational Workshop on Intel
ligent Robotsand Systems
’90,pp424〜428に述べられている。
【0003】
【発明が解決しようとする課題】宇宙空間などで遠隔操
作によって作業を行う場合は、作業者の負担や作業時間
を削減する必要に迫られており、作業の自動化とその信
頼性の両方が求められている。その中で作業対象物体を
認識するという作業は照明条件や対象物体の形状変化に
よって画像処理により自動化するには現状では信頼性に
大きな問題がある。そのため、作業性向上には、目標位
置までの相対位置決め操作の自動化が重要となる。前述
したように目標位置に位置情報を示すマ−クを設置し、
画像計測により自動的に位置決めを行うことが試みられ
ているが、単に一つの物体を把持するといった単純な極
く限られた作業についてしか検討されていなかった。そ
のため今後、複数の物体を対象とした把持・移動・組み
付けなどの複雑な作業が要求されるようになると、スム
ーズに移動目標位置を指定し、高精度に位置決めを行う
ことが課題となる。
作によって作業を行う場合は、作業者の負担や作業時間
を削減する必要に迫られており、作業の自動化とその信
頼性の両方が求められている。その中で作業対象物体を
認識するという作業は照明条件や対象物体の形状変化に
よって画像処理により自動化するには現状では信頼性に
大きな問題がある。そのため、作業性向上には、目標位
置までの相対位置決め操作の自動化が重要となる。前述
したように目標位置に位置情報を示すマ−クを設置し、
画像計測により自動的に位置決めを行うことが試みられ
ているが、単に一つの物体を把持するといった単純な極
く限られた作業についてしか検討されていなかった。そ
のため今後、複数の物体を対象とした把持・移動・組み
付けなどの複雑な作業が要求されるようになると、スム
ーズに移動目標位置を指定し、高精度に位置決めを行う
ことが課題となる。
【0004】本発明の目的は、このような課題を解決し
た相対位置決め方法を提供することにある。
た相対位置決め方法を提供することにある。
【0005】
【課題を解決するための手段】本発明は、極限環境下に
おいて遠隔地にいる作業者がカメラを用いて作業対象物
体を移動するための相対位置決め方法であって、作業対
象物体が置かれている位置や他の複数の物体取り付け位
置が、ある基準に対して固定された場合、これらの物体
と各取り付け目標位置を一つの作業グループとして、複
数の作業グループそれぞれについて画像計測により相対
位置が計測可能なマ−クを各取り付け位置近傍に設置
し、かつそれらのマ−クより大きい基準マ−クを一つ設
け、作業開始時に、各作業グループごとに基準マ−ク画
像を取り込み、カメラから各基準マ−クまでの相対位置
を計測し、計測結果を用いて各作業グループの各取り付
け目標位置データを作成し、作業時にはカメラモデルと
作成した位置データを用いて、各マ−ク中心のカメラ座
標系での座標値を計算し、カメラ画像上で作業者が指定
したマ−クのカメラ画像上での座標値に最も近いマ−ク
中心座標をもつマ−クを指定したマ−クと判断して、カ
メラから各取り付け位置近傍に設置したマ−クのみがは
っきりと観測できる地点の位置を計算し、カメラあるい
は組み付け位置を持つ物体をその地点まで移動し、そこ
でマ−ク画像を取り込み、画像計測により相対位置を計
算して目標位置まで移動させることを特徴とする。
おいて遠隔地にいる作業者がカメラを用いて作業対象物
体を移動するための相対位置決め方法であって、作業対
象物体が置かれている位置や他の複数の物体取り付け位
置が、ある基準に対して固定された場合、これらの物体
と各取り付け目標位置を一つの作業グループとして、複
数の作業グループそれぞれについて画像計測により相対
位置が計測可能なマ−クを各取り付け位置近傍に設置
し、かつそれらのマ−クより大きい基準マ−クを一つ設
け、作業開始時に、各作業グループごとに基準マ−ク画
像を取り込み、カメラから各基準マ−クまでの相対位置
を計測し、計測結果を用いて各作業グループの各取り付
け目標位置データを作成し、作業時にはカメラモデルと
作成した位置データを用いて、各マ−ク中心のカメラ座
標系での座標値を計算し、カメラ画像上で作業者が指定
したマ−クのカメラ画像上での座標値に最も近いマ−ク
中心座標をもつマ−クを指定したマ−クと判断して、カ
メラから各取り付け位置近傍に設置したマ−クのみがは
っきりと観測できる地点の位置を計算し、カメラあるい
は組み付け位置を持つ物体をその地点まで移動し、そこ
でマ−ク画像を取り込み、画像計測により相対位置を計
算して目標位置まで移動させることを特徴とする。
【0006】
【実施例】本発明の目標位置指定に係る相対位置決め方
法の実施例について説明する。
法の実施例について説明する。
【0007】図1はこの方法の処理の流れを示す図であ
る。図2はこの方法の処理の中でマ−ク位置データの作
成処理の流れを示す図である。図中のP1〜P11,P
21〜P26は各処理のステップを示す。図3は一例と
して、人工衛星のユニットの交換作業を行うための構成
を示す図である。作業としてユニット206をロボット
アーム100で把持する作業を例にとって説明する。
る。図2はこの方法の処理の中でマ−ク位置データの作
成処理の流れを示す図である。図中のP1〜P11,P
21〜P26は各処理のステップを示す。図3は一例と
して、人工衛星のユニットの交換作業を行うための構成
を示す図である。作業としてユニット206をロボット
アーム100で把持する作業を例にとって説明する。
【0008】作業グループとして人工衛星200とその
ユニット206,207のグループと、保管箱300と
ユニット305,306の2つのグループがある。それ
ぞれ基準マ−ク201と基準マ−ク301が設置されて
いる。また各ユニット取り付け位置を示すマ−ク20
2,203,204,205及びマ−ク302,30
3,304が設置されている。マ−クは画像計測により
相対位置が計算できるものを設置する。このようなマ−
クの形状の一例を図4に示す。
ユニット206,207のグループと、保管箱300と
ユニット305,306の2つのグループがある。それ
ぞれ基準マ−ク201と基準マ−ク301が設置されて
いる。また各ユニット取り付け位置を示すマ−ク20
2,203,204,205及びマ−ク302,30
3,304が設置されている。マ−クは画像計測により
相対位置が計算できるものを設置する。このようなマ−
クの形状の一例を図4に示す。
【0009】ロボットアーム100にはカメラ101が
設置されている。作業者はロボットアーム100を操作
しながら操作コンソール102に示されたカメラ画像を
モニタする。
設置されている。作業者はロボットアーム100を操作
しながら操作コンソール102に示されたカメラ画像を
モニタする。
【0010】作業はマ−ク位置データの作成から開始す
る(処理P2)。処理P2の内容は図2のP21〜P2
6に示されている。まずロボットアーム100を人工衛
星200から離れた安全な位置から遠隔操作を行い、カ
メラ画像上に人工衛星200の基準マ−ク201が十分
モニタできるようにする(処理P22)。そこでカメラ
画像を取り込み、画像処理を用いて相対位置を計算する
(処理P23)。基準マ−ク201と他のマ−ク20
2,203,204,205の相対位置関係は予め計測
できるので、カメラ座標を基準としたすべてのマ−クの
相対位置を求めることができる(処理P24,P2
5)。保持箱301についても同様である。これらのデ
ータは位置情報として記憶しておく。これで処理P2が
完了する。
る(処理P2)。処理P2の内容は図2のP21〜P2
6に示されている。まずロボットアーム100を人工衛
星200から離れた安全な位置から遠隔操作を行い、カ
メラ画像上に人工衛星200の基準マ−ク201が十分
モニタできるようにする(処理P22)。そこでカメラ
画像を取り込み、画像処理を用いて相対位置を計算する
(処理P23)。基準マ−ク201と他のマ−ク20
2,203,204,205の相対位置関係は予め計測
できるので、カメラ座標を基準としたすべてのマ−クの
相対位置を求めることができる(処理P24,P2
5)。保持箱301についても同様である。これらのデ
ータは位置情報として記憶しておく。これで処理P2が
完了する。
【0011】次にユニット206の把持作業を開始す
る。目標のユニット206の組み付け位置から把持部ま
での相対位置は既知とする。まずロボットアーム100
を操作し、目標のユニット206をカメラ画像を見なが
ら検索する。目標のユニット206が観測できれば、カ
メラ画像上で目標ユニット206の位置を示すマ−ク2
02の近傍を指定する(処理P3)。このときカメラ画
像上に複数のマ−ク像が観測される場合や、カメラと目
標のマ−クが離れていてマ−クの詳細まではっきり観測
できない場合でもよい。カメラ画像上で指定したマ−ク
近傍位置の座標が与えられるので、計測に用いたカメラ
のパラメータが既知で、カメラの位置も既知であるとす
れば、事前に計算した各マ−クの位置データを用いてカ
メラから見た各マ−ク中心の座標を計算することができ
る(処理P4)。そこで指定した座標に最も近い座標に
マ−ク中心を持つマ−クが指定したマ−クであると判断
して選別し(処理P5)、選別したマ−ク位置データを
用いてカメラとマ−クの相対位置を計算し記憶する(処
理P6)。記憶させた位置データをもとにしてこのマ−
クがはっきりと観測可能な相対位置を計算し(処理P
7)、この位置までカメラを移動する(処理P8)。こ
れでP8までの処理が完了したことになる。この地点で
は画面上には一つのマ−ク像しか得られないので、この
マ−ク画像について計測を行いカメラとマ−クの相対位
置を計測すれば(処理P9)、高精度にカメラとマ−ク
の相対位置が計算できる。従って目標のカメラとマ−ク
の相対位置までカメラを移動することにより(処理P1
0)、ユニット206のグリップを把持可能となる。こ
の処理を応用してP3からP10までの処理を繰り返し
用いることにより、作業者は人工衛星200または保管
箱300の任意の組み付け位置にある任意のユニットに
対して、容易に希望の組み付け目標位置を指定して、自
動的に移動,交換することが可能となる。
る。目標のユニット206の組み付け位置から把持部ま
での相対位置は既知とする。まずロボットアーム100
を操作し、目標のユニット206をカメラ画像を見なが
ら検索する。目標のユニット206が観測できれば、カ
メラ画像上で目標ユニット206の位置を示すマ−ク2
02の近傍を指定する(処理P3)。このときカメラ画
像上に複数のマ−ク像が観測される場合や、カメラと目
標のマ−クが離れていてマ−クの詳細まではっきり観測
できない場合でもよい。カメラ画像上で指定したマ−ク
近傍位置の座標が与えられるので、計測に用いたカメラ
のパラメータが既知で、カメラの位置も既知であるとす
れば、事前に計算した各マ−クの位置データを用いてカ
メラから見た各マ−ク中心の座標を計算することができ
る(処理P4)。そこで指定した座標に最も近い座標に
マ−ク中心を持つマ−クが指定したマ−クであると判断
して選別し(処理P5)、選別したマ−ク位置データを
用いてカメラとマ−クの相対位置を計算し記憶する(処
理P6)。記憶させた位置データをもとにしてこのマ−
クがはっきりと観測可能な相対位置を計算し(処理P
7)、この位置までカメラを移動する(処理P8)。こ
れでP8までの処理が完了したことになる。この地点で
は画面上には一つのマ−ク像しか得られないので、この
マ−ク画像について計測を行いカメラとマ−クの相対位
置を計測すれば(処理P9)、高精度にカメラとマ−ク
の相対位置が計算できる。従って目標のカメラとマ−ク
の相対位置までカメラを移動することにより(処理P1
0)、ユニット206のグリップを把持可能となる。こ
の処理を応用してP3からP10までの処理を繰り返し
用いることにより、作業者は人工衛星200または保管
箱300の任意の組み付け位置にある任意のユニットに
対して、容易に希望の組み付け目標位置を指定して、自
動的に移動,交換することが可能となる。
【0012】
【発明の効果】本発明によれば、宇宙空間や放射線環境
などの極限環境下において遠隔地にいる作業者がカメラ
を用いて目標位置を選択し、複数の物体を対象とした把
持・移動・組立・交換などの作業を効率よく進めること
が可能となる。すなわち、自動処理の困難な作業対象物
体の認識は人間が行い、多くの移動目標候補の中から希
望の目標位置を画面上で目標位置に近接したマ−クをマ
ウスなどで指定するだけで自動的に目標位置に位置決め
することができる。また最終的な位置決め操作は、目標
位置の近傍に設置したマ−ク画像より相対位置計測を行
うため、高精度の位置決めが可能である。さらに基準マ
−クを他のマ−クより大きくしてあるため、より遠くの
衝突などの危険の少ない安全な位置の距離から各マーク
の概略位置が計算できる。宇宙作業などでは、実施例で
示したように作業対象物体の組み付け位置などは基準位
置に対して既知であり、観測者と作業対象物体との相対
関係が未知である場合が多く、観測位置と対象物体の相
対位置関係も変動する可能性がある。しかしながら、本
発明の方式によれば、ある程度離れた安全な位置から各
マ−クの相対位置が推定可能で、推定した位置データを
基に対象マ−クのみがカメラ画面内に納まるようにカメ
ラや対象作業物体を移動できるような精度の範囲で使用
すれば、最終的には実際にマ−ク画像処理により相対位
置を計測するので高精度の位置決めが自動的に容易に実
施できる。
などの極限環境下において遠隔地にいる作業者がカメラ
を用いて目標位置を選択し、複数の物体を対象とした把
持・移動・組立・交換などの作業を効率よく進めること
が可能となる。すなわち、自動処理の困難な作業対象物
体の認識は人間が行い、多くの移動目標候補の中から希
望の目標位置を画面上で目標位置に近接したマ−クをマ
ウスなどで指定するだけで自動的に目標位置に位置決め
することができる。また最終的な位置決め操作は、目標
位置の近傍に設置したマ−ク画像より相対位置計測を行
うため、高精度の位置決めが可能である。さらに基準マ
−クを他のマ−クより大きくしてあるため、より遠くの
衝突などの危険の少ない安全な位置の距離から各マーク
の概略位置が計算できる。宇宙作業などでは、実施例で
示したように作業対象物体の組み付け位置などは基準位
置に対して既知であり、観測者と作業対象物体との相対
関係が未知である場合が多く、観測位置と対象物体の相
対位置関係も変動する可能性がある。しかしながら、本
発明の方式によれば、ある程度離れた安全な位置から各
マ−クの相対位置が推定可能で、推定した位置データを
基に対象マ−クのみがカメラ画面内に納まるようにカメ
ラや対象作業物体を移動できるような精度の範囲で使用
すれば、最終的には実際にマ−ク画像処理により相対位
置を計測するので高精度の位置決めが自動的に容易に実
施できる。
【図1】本発明の相対位置決め方法の処理の流れを示す
図である。
図である。
【図2】本発明の相対位置決め方法の処理の中でマ−ク
位置データ作成処理の流れを示す図である。
位置データ作成処理の流れを示す図である。
【図3】実施例として人工衛星のユニット交換作業を行
うための構成図である。
うための構成図である。
【図4】マ−ク形状の一例を示す図である。
100 ロボットアーム 101 カメラ 102 操作コンソール 200 人工衛星 201 基準マーク 202,203,205 マーク 206,207 ユニット 300 保管箱 301 基準マーク 302,303,304 マーク 305,306 ユニット
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/18 G06F 15/62 380
Claims (1)
- 【請求項1】極限環境下において遠隔地にいる作業者が
カメラを用いて作業対象物体を移動するための相対位置
決め方法であって、 作業対象物体が置かれている位置や他の複数の物体取り
付け位置が、ある基準に対して固定された場合、これら
の物体と各取り付け目標位置を一つの作業グループとし
て、複数の作業グループそれぞれについて画像計測によ
り相対位置が計測可能なマ−クを各取り付け位置近傍に
設置し、かつそれらのマ−クより大きい基準マ−クを一
つ設け、作業開始時に、各作業グループごとに基準マ−
ク画像を取り込み、カメラから各基準マ−クまでの相対
位置を計測し、計測結果を用いて各作業グループの各取
り付け目標位置データを作成し、作業時にはカメラモデ
ルと作成した位置データを用いて、各マ−ク中心のカメ
ラ座標系での座標値を計算し、カメラ画像上で作業者が
指定したマ−クのカメラ画像上での座標値に最も近いマ
−ク中心座標をもつマ−クを指定したマ−クと判断し
て、カメラから各取り付け位置近傍に設置したマ−クの
みがはっきりと観測できる地点の位置を計算し、カメラ
あるいは組み付け位置を持つ物体をその地点まで移動
し、そこでマ−ク画像を取り込み、画像計測により相対
位置を計算して目標位置まで移動させることを特徴とす
る相対位置決め方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3119548A JP2701584B2 (ja) | 1991-03-05 | 1991-03-05 | 相対位置決め方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3119548A JP2701584B2 (ja) | 1991-03-05 | 1991-03-05 | 相対位置決め方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH04278402A JPH04278402A (ja) | 1992-10-05 |
JP2701584B2 true JP2701584B2 (ja) | 1998-01-21 |
Family
ID=14764036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3119548A Expired - Fee Related JP2701584B2 (ja) | 1991-03-05 | 1991-03-05 | 相対位置決め方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2701584B2 (ja) |
-
1991
- 1991-03-05 JP JP3119548A patent/JP2701584B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH04278402A (ja) | 1992-10-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Skaar et al. | Camera-space manipulation | |
CN110377015B (zh) | 机器人定位方法和机器人定位装置 | |
CN101370624B (zh) | 自动化攫握零件的方法和系统 | |
EP2916189B1 (en) | Quality assured manufacturing | |
EP3407088A1 (en) | Systems and methods for tracking location of movable target object | |
JP2009006410A (ja) | 遠隔操作支援装置および遠隔操作支援プログラム | |
EP2271465A1 (en) | Robot parts assembly on a workpiece moving on an assembly line | |
CN112621765B (zh) | 一种基于机械手的设备自动组装控制方法及装置 | |
CN114355953B (zh) | 一种基于机器视觉的多轴伺服系统的高精度控制方法及系统 | |
JP6973444B2 (ja) | 制御システム、情報処理装置および制御方法 | |
CN113269085B (zh) | 一种直线传送带跟踪控制方法、系统、装置及存储介质 | |
WO2022014312A1 (ja) | ロボット制御装置、およびロボット制御方法、並びにプログラム | |
KR102400416B1 (ko) | 카메라를 이용한 로봇 축각도들의 검출 및 로봇의 선택 | |
CN113021336A (zh) | 一种基于主从移动操作机器人的档案取放系统及方法 | |
JP2701584B2 (ja) | 相対位置決め方法 | |
CN112743548A (zh) | 一种统一两种机械臂手眼标定的方法及系统、终端 | |
CN113858214B (zh) | 一种用于机器人作业的定位方法与控制系统 | |
EP4169676A1 (en) | Robot teaching method and robot working method | |
Herbert et al. | Sensor-based interior modeling | |
Chien et al. | Acquisition Of Moving Objects And Hand-Eye Coordination. | |
Stella et al. | Self-location of a mobile robot by estimation of camera parameters | |
JPH07129231A (ja) | 非接触点教示装置 | |
CN111971529A (zh) | 用于管理机器人系统的方法和装置 | |
CN109489678A (zh) | 用于监控导航的定位方法及系统 | |
Stevenson | Model-based programming and control of robot manipulators |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |