JPH04278402A - 相対位置決め方法 - Google Patents
相対位置決め方法Info
- Publication number
- JPH04278402A JPH04278402A JP3119548A JP11954891A JPH04278402A JP H04278402 A JPH04278402 A JP H04278402A JP 3119548 A JP3119548 A JP 3119548A JP 11954891 A JP11954891 A JP 11954891A JP H04278402 A JPH04278402 A JP H04278402A
- Authority
- JP
- Japan
- Prior art keywords
- mark
- camera
- work
- image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000005259 measurement Methods 0.000 claims abstract description 11
- 238000009434 installation Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 7
- 230000007246 mechanism Effects 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 1
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【0001】
【産業上の利用分野】本発明は、宇宙空間や放射線環境
などの極限環境下において、遠隔地にいる作業者がカメ
ラ画像を用いて作業対象物体を把持したり、移動先を指
定するための目標位置指定方式に関するものである。
などの極限環境下において、遠隔地にいる作業者がカメ
ラ画像を用いて作業対象物体を把持したり、移動先を指
定するための目標位置指定方式に関するものである。
【0002】
【従来の技術】従来、宇宙空間など極限環境下でロボッ
トアームを用いて組立・交換などの作業を行う場合、宇
宙飛行士は、宇宙船内など遠隔地でカメラ画像を見なが
ら対象物体を認識し、マニュアルでロボットを操作し、
把持,移動,組み付けなどの作業を行っていた。そのた
め、微妙な位置決めを必要としない複雑な把持機構や組
み付け機構を用い、多大な作業時間をかけて作業を行っ
ていた。位置決め作業の自動化については、これまで目
標位置に位置情報を示すマ−クを設置し、画像計測によ
り自動的に位置決めを行うことが検討されてきた。例え
ばこのようなマ−クを用いた相対位置計測については町
田,植之原他“宇宙ロボット用6軸近接位置姿勢センサ
の試作”第33回宇宙科学技術連合講演会予講集pp.
284〜285、Morikawa et.al.,
“A Prototype Space Tel
erobotic System”,IEEE I
nternational Workshop o
n Intelligent Robotsand
Systems ’90,pp424〜428に
述べられている。
トアームを用いて組立・交換などの作業を行う場合、宇
宙飛行士は、宇宙船内など遠隔地でカメラ画像を見なが
ら対象物体を認識し、マニュアルでロボットを操作し、
把持,移動,組み付けなどの作業を行っていた。そのた
め、微妙な位置決めを必要としない複雑な把持機構や組
み付け機構を用い、多大な作業時間をかけて作業を行っ
ていた。位置決め作業の自動化については、これまで目
標位置に位置情報を示すマ−クを設置し、画像計測によ
り自動的に位置決めを行うことが検討されてきた。例え
ばこのようなマ−クを用いた相対位置計測については町
田,植之原他“宇宙ロボット用6軸近接位置姿勢センサ
の試作”第33回宇宙科学技術連合講演会予講集pp.
284〜285、Morikawa et.al.,
“A Prototype Space Tel
erobotic System”,IEEE I
nternational Workshop o
n Intelligent Robotsand
Systems ’90,pp424〜428に
述べられている。
【0003】
【発明が解決しようとする課題】宇宙空間などで遠隔操
作によって作業を行う場合は、作業者の負担や作業時間
を削減する必要に迫られており、作業の自動化とその信
頼性の両方が求められている。その中で作業対象物体を
認識するという作業は照明条件や対象物体の形状変化に
よって画像処理により自動化するには現状では信頼性に
大きな問題がある。そのため、作業性向上には、目標位
置までの相対位置決め操作の自動化が重要となる。前述
したように目標位置に位置情報を示すマ−クを設置し、
画像計測により自動的に位置決めを行うことが試みられ
ているが、単に一つの物体を把持するといった単純な極
く限られた作業についてしか検討されていなかった。そ
のため今後、複数の物体を対象とした把持・移動・組み
付けなどの複雑な作業が要求されるようになると、スム
ーズに移動目標位置を指定し、高精度に位置決めを行う
ことが課題となる。
作によって作業を行う場合は、作業者の負担や作業時間
を削減する必要に迫られており、作業の自動化とその信
頼性の両方が求められている。その中で作業対象物体を
認識するという作業は照明条件や対象物体の形状変化に
よって画像処理により自動化するには現状では信頼性に
大きな問題がある。そのため、作業性向上には、目標位
置までの相対位置決め操作の自動化が重要となる。前述
したように目標位置に位置情報を示すマ−クを設置し、
画像計測により自動的に位置決めを行うことが試みられ
ているが、単に一つの物体を把持するといった単純な極
く限られた作業についてしか検討されていなかった。そ
のため今後、複数の物体を対象とした把持・移動・組み
付けなどの複雑な作業が要求されるようになると、スム
ーズに移動目標位置を指定し、高精度に位置決めを行う
ことが課題となる。
【0004】本発明の目的は、このような課題を解決し
た相対位置決め方式を提供することにある。
た相対位置決め方式を提供することにある。
【0005】
【課題を解決するための手段】本発明は、極限環境下に
おいて遠隔地にいる作業者がカメラを用いて作業対象物
体を移動するための相対位置決め方式であって、作業対
象物体が置かれている位置や他の複数の物体取り付け位
置が、ある基準に対して固定された場合、これらの物体
と各取り付け目標位置を一つの作業グループとして、複
数の作業グループそれぞれについて画像計測により相対
位置が計測可能なマ−クを各取り付け位置近傍に設置し
、かつそれらのマ−クより大きい基準マ−クを一つ設け
、作業開始時に、各作業グループごとに基準マ−ク画像
を取り込み、カメラから各基準マ−クまでの相対位置を
計測し、計測結果を用いて各作業グループの各取り付け
目標位置データを作成し、作業時にはカメラモデルと作
成した位置データを用いて、各マ−ク中心のカメラ座標
系での座標値を計算し、カメラ画像上で作業者が指定し
たマ−クのカメラ画像上での座標値に最も近いマ−ク中
心座標をもつマ−クを指定したマ−クと判断して、カメ
ラから各取り付け位置近傍に設置したマ−クのみがはっ
きりと観測できる地点の位置を計算し、カメラあるいは
組み付け位置を持つ物体をその地点まで移動し、そこで
マ−ク画像を取り込み、画像計測により相対位置を計算
して目標位置まで移動させることを特徴とする。
おいて遠隔地にいる作業者がカメラを用いて作業対象物
体を移動するための相対位置決め方式であって、作業対
象物体が置かれている位置や他の複数の物体取り付け位
置が、ある基準に対して固定された場合、これらの物体
と各取り付け目標位置を一つの作業グループとして、複
数の作業グループそれぞれについて画像計測により相対
位置が計測可能なマ−クを各取り付け位置近傍に設置し
、かつそれらのマ−クより大きい基準マ−クを一つ設け
、作業開始時に、各作業グループごとに基準マ−ク画像
を取り込み、カメラから各基準マ−クまでの相対位置を
計測し、計測結果を用いて各作業グループの各取り付け
目標位置データを作成し、作業時にはカメラモデルと作
成した位置データを用いて、各マ−ク中心のカメラ座標
系での座標値を計算し、カメラ画像上で作業者が指定し
たマ−クのカメラ画像上での座標値に最も近いマ−ク中
心座標をもつマ−クを指定したマ−クと判断して、カメ
ラから各取り付け位置近傍に設置したマ−クのみがはっ
きりと観測できる地点の位置を計算し、カメラあるいは
組み付け位置を持つ物体をその地点まで移動し、そこで
マ−ク画像を取り込み、画像計測により相対位置を計算
して目標位置まで移動させることを特徴とする。
【0006】
【実施例】本発明の目標位置指定方式の実施例について
説明する。
説明する。
【0007】図1はこの方式の処理の流れを示す図であ
る。図2はこの方式の処理の中でマ−ク位置データの作
成処理の流れを示す図である。図中のP1〜P11,P
21〜P26は各処理のステップを示す。図3は一例と
して、人工衛星のユニットの交換作業を行うための構成
を示す図である。作業としてユニット206をロボット
アーム100で把持する作業を例にとって説明する。
る。図2はこの方式の処理の中でマ−ク位置データの作
成処理の流れを示す図である。図中のP1〜P11,P
21〜P26は各処理のステップを示す。図3は一例と
して、人工衛星のユニットの交換作業を行うための構成
を示す図である。作業としてユニット206をロボット
アーム100で把持する作業を例にとって説明する。
【0008】作業グループとして人工衛星200とその
ユニット206,207のグループと、保管箱300と
ユニット305,306の2つのグループがある。それ
ぞれ基準マ−ク201と基準マ−ク301が設置されて
いる。また各ユニット取り付け位置を示すマ−ク202
,203,204,205及びマ−ク302,303,
304が設置されている。マ−クは画像計測により相対
位置が計算できるものを設置する。このようなマ−クの
形状の一例を図4に示す。
ユニット206,207のグループと、保管箱300と
ユニット305,306の2つのグループがある。それ
ぞれ基準マ−ク201と基準マ−ク301が設置されて
いる。また各ユニット取り付け位置を示すマ−ク202
,203,204,205及びマ−ク302,303,
304が設置されている。マ−クは画像計測により相対
位置が計算できるものを設置する。このようなマ−クの
形状の一例を図4に示す。
【0009】ロボットアーム100にはカメラ101が
設置されている。作業者はロボットアーム100を操作
しながら操作コンソール102に示されたカメラ画像を
モニタする。
設置されている。作業者はロボットアーム100を操作
しながら操作コンソール102に示されたカメラ画像を
モニタする。
【0010】作業はマ−ク位置データの作成から開始す
る(処理P2)。処理P2の内容は図2のP21〜P2
6に示されている。まずロボットアーム100を人工衛
星200から離れた安全な位置から遠隔操作を行い、カ
メラ画像上に人工衛星200の基準マ−ク201が十分
モニタできるようにする(処理P22)。そこでカメラ
画像を取り込み、画像処理を用いて相対位置を計算する
(処理P23)。基準マ−ク201と他のマ−ク202
,203,204,205の相対位置関係は予め計測で
きるので、カメラ座標を基準としたすべてのマ−クの相
対位置を求めることができる(処理P24,P25)。 保持箱301についても同様である。これらのデータは
位置情報として記憶しておく。これで処理P2が完了す
る。
る(処理P2)。処理P2の内容は図2のP21〜P2
6に示されている。まずロボットアーム100を人工衛
星200から離れた安全な位置から遠隔操作を行い、カ
メラ画像上に人工衛星200の基準マ−ク201が十分
モニタできるようにする(処理P22)。そこでカメラ
画像を取り込み、画像処理を用いて相対位置を計算する
(処理P23)。基準マ−ク201と他のマ−ク202
,203,204,205の相対位置関係は予め計測で
きるので、カメラ座標を基準としたすべてのマ−クの相
対位置を求めることができる(処理P24,P25)。 保持箱301についても同様である。これらのデータは
位置情報として記憶しておく。これで処理P2が完了す
る。
【0011】次にユニット206の把持作業を開始する
。目標のユニット206の組み付け位置から把持部まで
の相対位置は既知とする。まずロボットアーム100を
操作し、目標のユニット206をカメラ画像を見ながら
検索する。目標のユニット206が観測できれば、カメ
ラ画像上で目標ユニット206の位置を示すマ−ク20
2の近傍を指定する(処理P3)。このときカメラ画像
上に複数のマ−ク像が観測される場合や、カメラと目標
のマ−クが離れていてマ−クの詳細まではっきり観測で
きない場合でもよい。カメラ画像上で指定したマ−ク近
傍位置の座標が与えられるので、計測に用いたカメラの
パラメータが既知で、カメラの位置も既知であるとすれ
ば、事前に計算した各マ−クの位置データを用いてカメ
ラから見た各マ−ク中心の座標を計算することができる
(処理P4)。そこで指定した座標に最も近い座標にマ
−ク中心を持つマ−クが指定したマ−クであると判断し
て選別し(処理P5)、選別したマ−ク位置データを用
いてカメラとマ−クの相対位置を計算し記憶する(処理
P6)。記憶させた位置データをもとにしてこのマ−ク
がはっきりと観測可能な相対位置を計算し(処理P7)
、この位置までカメラを移動する(処理P8)。これで
P8までの処理が完了したことになる。この地点では画
面上には一つのマ−ク像しか得られないので、このマ−
ク画像について計測を行いカメラとマ−クの相対位置を
計測すれば(処理P9)、高精度にカメラとマ−クの相
対位置が計算できる。従って目標のカメラとマ−クの相
対位置までカメラを移動することにより(処理P10)
、ユニット206のグリップを把持可能となる。この処
理を応用してP3からP10までの処理を繰り返し用い
ることにより、作業者は人工衛星200または保管箱3
00の任意の組み付け位置にある任意のユニットに対し
て、容易に希望の組み付け目標位置を指定して、自動的
に移動,交換することが可能となる。
。目標のユニット206の組み付け位置から把持部まで
の相対位置は既知とする。まずロボットアーム100を
操作し、目標のユニット206をカメラ画像を見ながら
検索する。目標のユニット206が観測できれば、カメ
ラ画像上で目標ユニット206の位置を示すマ−ク20
2の近傍を指定する(処理P3)。このときカメラ画像
上に複数のマ−ク像が観測される場合や、カメラと目標
のマ−クが離れていてマ−クの詳細まではっきり観測で
きない場合でもよい。カメラ画像上で指定したマ−ク近
傍位置の座標が与えられるので、計測に用いたカメラの
パラメータが既知で、カメラの位置も既知であるとすれ
ば、事前に計算した各マ−クの位置データを用いてカメ
ラから見た各マ−ク中心の座標を計算することができる
(処理P4)。そこで指定した座標に最も近い座標にマ
−ク中心を持つマ−クが指定したマ−クであると判断し
て選別し(処理P5)、選別したマ−ク位置データを用
いてカメラとマ−クの相対位置を計算し記憶する(処理
P6)。記憶させた位置データをもとにしてこのマ−ク
がはっきりと観測可能な相対位置を計算し(処理P7)
、この位置までカメラを移動する(処理P8)。これで
P8までの処理が完了したことになる。この地点では画
面上には一つのマ−ク像しか得られないので、このマ−
ク画像について計測を行いカメラとマ−クの相対位置を
計測すれば(処理P9)、高精度にカメラとマ−クの相
対位置が計算できる。従って目標のカメラとマ−クの相
対位置までカメラを移動することにより(処理P10)
、ユニット206のグリップを把持可能となる。この処
理を応用してP3からP10までの処理を繰り返し用い
ることにより、作業者は人工衛星200または保管箱3
00の任意の組み付け位置にある任意のユニットに対し
て、容易に希望の組み付け目標位置を指定して、自動的
に移動,交換することが可能となる。
【0012】
【発明の効果】本発明によれば、宇宙空間や放射線環境
などの極限環境下において遠隔地にいる作業者がカメラ
を用いて目標位置を選択し、複数の物体を対象とした把
持・移動・組立・交換などの作業を効率よく進めること
が可能となる。すなわち、自動処理の困難な作業対象物
体の認識は人間が行い、多くの移動目標候補の中から希
望の目標位置を画面上で目標位置に近接したマ−クをマ
ウスなどで指定するだけで自動的に目標位置に位置決め
することができる。また最終的な位置決め操作は、目標
位置の近傍に設置したマ−ク画像より相対位置計測を行
うため、高精度の位置決めが可能である。さらに基準マ
−クを他のマ−クより大きくしてあるため、より遠くの
衝突などの危険の少ない安全な位置の距離から各マーク
の概略位置が計算できる。宇宙作業などでは、実施例で
示したように作業対象物体の組み付け位置などは基準位
置に対して既知であり、観測者と作業対象物体との相対
関係が未知である場合が多く、観測位置と対象物体の相
対位置関係も変動する可能性がある。しかしながら、本
発明の方式によれば、ある程度離れた安全な位置から各
マ−クの相対位置が推定可能で、推定した位置データを
基に対象マ−クのみがカメラ画面内に納まるようにカメ
ラや対象作業物体を移動できるような精度の範囲で使用
すれば、最終的には実際にマ−ク画像処理により相対位
置を計測するので高精度の位置決めが自動的に容易に実
施できる。
などの極限環境下において遠隔地にいる作業者がカメラ
を用いて目標位置を選択し、複数の物体を対象とした把
持・移動・組立・交換などの作業を効率よく進めること
が可能となる。すなわち、自動処理の困難な作業対象物
体の認識は人間が行い、多くの移動目標候補の中から希
望の目標位置を画面上で目標位置に近接したマ−クをマ
ウスなどで指定するだけで自動的に目標位置に位置決め
することができる。また最終的な位置決め操作は、目標
位置の近傍に設置したマ−ク画像より相対位置計測を行
うため、高精度の位置決めが可能である。さらに基準マ
−クを他のマ−クより大きくしてあるため、より遠くの
衝突などの危険の少ない安全な位置の距離から各マーク
の概略位置が計算できる。宇宙作業などでは、実施例で
示したように作業対象物体の組み付け位置などは基準位
置に対して既知であり、観測者と作業対象物体との相対
関係が未知である場合が多く、観測位置と対象物体の相
対位置関係も変動する可能性がある。しかしながら、本
発明の方式によれば、ある程度離れた安全な位置から各
マ−クの相対位置が推定可能で、推定した位置データを
基に対象マ−クのみがカメラ画面内に納まるようにカメ
ラや対象作業物体を移動できるような精度の範囲で使用
すれば、最終的には実際にマ−ク画像処理により相対位
置を計測するので高精度の位置決めが自動的に容易に実
施できる。
【図1】本発明の相対位置決め方式の処理の流れを示す
図である。
図である。
【図2】本発明の相対位置決め方式の処理の中でマ−ク
位置データ作成処理の流れを示す図である。
位置データ作成処理の流れを示す図である。
【図3】実施例として人工衛星のユニット交換作業を行
うための構成図である。
うための構成図である。
【図4】マ−ク形状の一例を示す図である。
100 ロボットアーム
101 カメラ
102 操作コンソール
200 人工衛星
201 基準マ−ク
202,203,204,205 マ−ク206,2
07 ユニット 300 保管箱 301 基準マ−ク 302,303,304 マ−ク 305,306 ユニット
07 ユニット 300 保管箱 301 基準マ−ク 302,303,304 マ−ク 305,306 ユニット
Claims (1)
- 【請求項1】極限環境下において遠隔地にいる作業者が
カメラを用いて作業対象物体を移動するための相対位置
決め方式であって、作業対象物体が置かれている位置や
他の複数の物体取り付け位置が、ある基準に対して固定
された場合、これらの物体と各取り付け目標位置を一つ
の作業グループとして、複数の作業グループそれぞれに
ついて画像計測により相対位置が計測可能なマ−クを各
取り付け位置近傍に設置し、かつそれらのマ−クより大
きい基準マ−クを一つ設け、作業開始時に、各作業グル
ープごとに基準マ−ク画像を取り込み、カメラから各基
準マ−クまでの相対位置を計測し、計測結果を用いて各
作業グループの各取り付け目標位置データを作成し、作
業時にはカメラモデルと作成した位置データを用いて、
各マ−ク中心のカメラ座標系での座標値を計算し、カメ
ラ画像上で作業者が指定したマ−クのカメラ画像上での
座標値に最も近いマ−ク中心座標をもつマ−クを指定し
たマ−クと判断して、カメラから各取り付け位置近傍に
設置したマ−クのみがはっきりと観測できる地点の位置
を計算し、カメラあるいは組み付け位置を持つ物体をそ
の地点まで移動し、そこでマ−ク画像を取り込み、画像
計測により相対位置を計算して目標位置まで移動させる
ことを特徴とする相対位置決め方式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3119548A JP2701584B2 (ja) | 1991-03-05 | 1991-03-05 | 相対位置決め方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP3119548A JP2701584B2 (ja) | 1991-03-05 | 1991-03-05 | 相対位置決め方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH04278402A true JPH04278402A (ja) | 1992-10-05 |
JP2701584B2 JP2701584B2 (ja) | 1998-01-21 |
Family
ID=14764036
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP3119548A Expired - Fee Related JP2701584B2 (ja) | 1991-03-05 | 1991-03-05 | 相対位置決め方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2701584B2 (ja) |
-
1991
- 1991-03-05 JP JP3119548A patent/JP2701584B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2701584B2 (ja) | 1998-01-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6966582B2 (ja) | ロボットモーション用のビジョンシステムの自動ハンドアイ校正のためのシステム及び方法 | |
EP1607194B1 (en) | Robot system comprising a plurality of robots provided with means for calibrating their relative position | |
CN101370624B (zh) | 自动化攫握零件的方法和系统 | |
JP4021413B2 (ja) | 計測装置 | |
US10310054B2 (en) | Relative object localization process for local positioning system | |
US9878446B2 (en) | Determination of object-related gripping regions using a robot | |
WO2018043525A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
SE449313B (sv) | Manipulatorsvetsapparat och sett att manovrera sadan | |
EP2271465A1 (en) | Robot parts assembly on a workpiece moving on an assembly line | |
CN114728414A (zh) | 装有机器人的移动装置、系统和机床 | |
WO2018043524A1 (ja) | ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法 | |
CN112512754A (zh) | 对工业机器人编程的方法 | |
CN112743548B (zh) | 一种统一两种机械臂手眼标定的方法及系统、终端 | |
CN110914021A (zh) | 带有用于执行至少一个工作步骤的操纵设备的操纵装置以及方法和计算机程序 | |
WO2023102647A1 (en) | Method for automated 3d part localization and adjustment of robot end-effectors | |
Đurović et al. | Low cost robot arm with visual guided positioning | |
US20230249341A1 (en) | Robot teaching method and robot working method | |
JPH0679671A (ja) | ロボットの把持手段を案内するための方法と装置 | |
CN113858214B (zh) | 一种用于机器人作业的定位方法与控制系统 | |
JPH04278402A (ja) | 相対位置決め方法 | |
EP3224004B1 (en) | Robotic system comprising a telemetric device with a laser measuring device and a passive video camera | |
CN114918916A (zh) | 基于智能制造的生产监测方法 | |
Antonelli et al. | FREE: flexible and safe interactive human-robot environment for small batch exacting applications | |
JPH02110788A (ja) | 3次元物体の形状認識方法 | |
JPH07129231A (ja) | 非接触点教示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
LAPS | Cancellation because of no payment of annual fees |