JPH02205494A - マニピュレータ画像追従方法及び装置並びに該装置を備えたマニピュレータ装置 - Google Patents

マニピュレータ画像追従方法及び装置並びに該装置を備えたマニピュレータ装置

Info

Publication number
JPH02205494A
JPH02205494A JP1023826A JP2382689A JPH02205494A JP H02205494 A JPH02205494 A JP H02205494A JP 1023826 A JP1023826 A JP 1023826A JP 2382689 A JP2382689 A JP 2382689A JP H02205494 A JPH02205494 A JP H02205494A
Authority
JP
Japan
Prior art keywords
manipulator
arm
pan head
camera
master
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1023826A
Other languages
English (en)
Inventor
Shinichi Takarada
真一 宝田
Naoya Ezawa
江沢 直也
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP1023826A priority Critical patent/JPH02205494A/ja
Publication of JPH02205494A publication Critical patent/JPH02205494A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はマニピュレータたとえばマスタスレーブマニピ
ュレータに係り、特に作業部を監視する可動カメラを備
えたマニピュレータシステム(装置)の操作性向上に好
適なマニピュレータ画像追従方法及び装置並びに該装置
を備えたマニピュレータ装置に関する。
〔従来の技術〕
従来のマスタスレーブマニピュレータは、第30回宇宙
科学技術連合講演会講演集の第408頁から第409頁
の6宇宙基地実験モジユールマニピユレータ系の予備設
計検討”と題する論文に論じられているように、作業部
を監視するカメラの雲台を操作者が手操作で動かしてい
た。
〔発明が解決しようとする課題〕
上記従来技術はカメラの雲台を操作者が手操作で動かし
ていたので、操作方向等を考えながら動かす必要があり
、またスレーブアーム先端がカメラの視野、から逸脱し
た場合には、−度アームの操作を中断した状態でカメラ
を操作したの、ち、再度アームの操作を続行しなければ
ならないため、操作性が悪くて不便な問題があった。
本発明の目的はTVカメラがスレーブアーム等先端に自
動追尾してゆくことにより、操作者にカメラ操作の負担
をかけずにアーム操作に集中できるようにするマニピュ
レータ画像追従方法及び装置並びに該装置を備えたマニ
ピュレータ装置を提供するにある。
〔課題を解決するための手段〕
上記目的は、マニピュレータと、該マニピュレータ近傍
に備え付けた1自由度以上の動きが可能な雲台に設けた
TVカメラと、該TVカメラの映像を表示するTVモニ
タより成るマニピュレータシステム(装置)において、
マニピュレータ先端の位置を表す3次元情報をTVカメ
ラの軸線方向に関する2次元情報に変換し、これに基づ
き雲台を動かすことによりTVカメラの軸線をマニピュ
レータ先端近傍に一致させるようにしたマニピュレータ
画像追従方法及び装置並びに該装置を備えたマニピュレ
ータシステム(装置)により達成される。
また上記マニピュレータはマスタスレーブマニピュレー
タであり、該マスタスレーブマニピュレータシステム(
装置)において、マスタアームあるいはスレーブアーム
の関節角度(または関節角速度)より第1座標変換を行
つてマニピュレータ先端の位置・姿勢(または速度・角
速度)を検出し、該位置・姿勢(または速度・角速度)
データの一部あるいは全部を用いて第2座標変換を行っ
て雲台の移動量(または移動速度)を決定し、雲台を自
動的に動かすようにしたマニピュレータ画像追従方法及
び装置並びに該装置を備えたマニピュレータ装置により
達成される。
〔作用〕
上記マニピュレータ画像追従方法及び装置並びに該装置
を備えたマニピュレータ装置は、マニピュレータ先端の
位置を表わす3次元情報をTVカメラの軸線方向番こ関
する2次元情報に変換し、これに基づき雲台を動かすこ
とによりTVカメラの軸線をマニピュレータ先端近傍に
一致させるように追尾することができる。
またマスタスレーブマニピュレータの例えばスレーブア
ームの各関節角[(または関節角速度)から第1座標変
換演算によってスレーブアーム先端の座標を求め、つぎ
にTVカメラがその方向を向くように第2座標変換演算
によって雲台の角度(または角速度)を求めて、雲台を
制御するような制御系を構成することにより、TVカメ
ラが常に作業状況を視野に納めることができる。
〔実施例〕
以下に本発明の一実施例を第1図ないし第4図により説
明する。
第2図は本発明の一実施例のマスタスレーブマニピュレ
ータシステム(装置)外観図である。第2図化おいて、
201は中央処理装置で、本発明の第1座標変換を含む
マニピュレータに関する演算の大部分を行う。第1座標
変換については後述する。202はマスタアーム、20
3はスレーブアームで、操作者がマスタアーム202を
操作すると、この動きに従りてスレーブアーム203が
作業を行う。
204はスレーブアーム203にある2自由度を持つ雲
台、205は雲台204に取り付けられたTVカメラ、
206は同じくその照明装置である。207はマスタア
ーム入出力装置で、マスタアーム202と中央処理装置
201の間の入出力を行う。208はスレーブアーム入
出力装置で、スレーブアーム203と中央処理装置20
1の間の人出かを行う。
つぎに209は本発明の画像追従装置で、第2座標変換
を行つて雲台204の動作量を決定する。第2座標変換
については後述する。210は雲台入出力装置で、 台
204と画像追従装置209の閏の入雲 出力を行う。211はTVモニタで、TVカメラ゛20
5の映偉を表示して、マスタアーム202を操作する操
作者にスレーブアーム203の作業対象をモニタできる
ようにしたものである。
第3図は第2図の信号の流れ図である。第3図により第
2図の各要素間の信号の流れを説明する。
中央処理装置201からマスタアーム202の関節への
指令値112が出力され、マスタアーム入出力装置7の
D/A変換器301によりデジタル化され、サーボアン
プ302を経てマスタアーム202の各関節を駆動する
。各関節の関節角は関節角センサにより検出し、A/D
変換器303を経て関節角信号101として中央処理装
置201へ取り込む。力/トルクについても同様にマス
タアーム202先端に取り付けられた力/トルクセンサ
304により検出し、A/D変換器303を経て力/ト
ルク信号107として取り込む。またスレーブアーム2
03についても同様に、中央処理装置201より出力さ
れた指令値106はスレーブアーム入出力装置208の
D/A変換器305詔よびサーボアンプ306を経て、
スレーブアーム203の各関節を駆動する。各関節の関
節角はA/D変換器307を経て関節角信号103とし
て中央処理装置201へ取り込む。力/トルクはスレー
ブアーム203先端に取り付けられた力/トルクセンサ
308で検出し、A/D変換器307を経て力/トルク
信号109として取り込む。
つぎにスレーブアーム203の関節角信号103は中央
処理装置201で第1座標変換され、スレーブアーム2
03先端の位置・姿勢104として本発明の画像追従装
置209へ入力する。画像追従装置209は、これに基
きTVカメラ205がスレーブアーム203の先端を視
野に納めるように第2座標変換を行い、雲台204への
指令値113を求める。この指令値113は雲台入出力
装置210のD/A変換器309およびサーボアンプ3
10を経て雲台204の各関節を駆動する。各関節の関
節角はA/D変換器311を経て、関節角信号114と
して画像追従装置209へ取り込む。
なお上記のマスタアーム202およびスレーブアーム2
03は共に6つの関節を持つており、各アーム202,
203ヘノ指令値112 、107および各アーム20
2 、203の関節角信号101 、103はそれぞれ
6つの要素を持つ。また各アーム202 、203の力
/トルクセンサ304 、308は共に6軸力/トルク
センサであり、力/トルク信号107 、109はそれ
ぞれ6つの要素を持つ。また雲台204は2つの関節を
持つており、指令筺113および関節角信号114はそ
れぞれ2つの要素を持つ。
第1図は第2図の制御ブロック線図である。第1図によ
り第2図の制御信号の処理方法を説明する。このシステ
ム制御は基本的には力帰還型パイラテラル制御を行って
いる。まず操作者がマスタアーム202を操縦すると、
その角度センサからの関節角信号101を中央処理装置
201で正変換することにより、マスタアーム202先
端の位置・姿勢102を得ることができる。その時のス
レーブアーム203の角度センサからの関節角信号10
3を同様に正変換(ここで第1座標変換と称する)する
ことにより、スレーブアーム203先端の位置・姿勢1
04ヲ4る。このマスタスレーブマニビュL/−タの目
的はスレーブアーム203先端の位置・姿勢104がマ
スタアーム202先端の位置・姿勢102に一致もしく
は準じて動くことであるから、位置・姿勢102 、1
04を一致させなければならない。したがりて位置・姿
勢102から位置・姿勢104を減算することにより、
スレーブアーム203が動くべき位置・姿勢104の差
分105が得られる。この差分105を逆変換すること
により、スレーブアーム203の各関節を駆動すべき指
令値106を得て、この指令値番こより各関節のアクチ
ュエータを駆動する。
これに対してマスタアーム202の駆動はスレーブアー
ム203が受けている力を操作者に伝えるために、次の
ように行う。いまマスタアーム202先端に取り付けた
力/トルクセンサ304の力/トルク信号107は、力
/トルクセンサ304自身の座標系すなわちマスタアー
ム202先端の座標系で表現されている。これを正変換
して、マスタアーム202基部の基準座標系で表した力
/トルク信号108を得る。同様にスレーブアーム20
3の力/トルクセンサ308からの力/トルク信号10
9を正変換して、スレーブアーム203先端にかかる力
/トルクをスレーブアーム203基部の基準座標系で表
したカ/トルク信号110を得る。力/トルク信号11
0から力/トルク信号108を減算することにより、力
の差分1.11を得る。これを逆変換することにより、
マスタアーム202の各関節に対する指令値112を得
て、マスタアーム202の各関節のアクチュエータを駆
動する。
つぎに本発明の画像追従装置209で、スレーブアーム
203先端をTVカメラ205が追尾するために、雲台
204を駆動する制御信号の処理方法を説明する。上記
のようにスレーブアーム203の角度センサからの角度
信号113を正変換(@1座標変換)することにより、
スレーブアーム203先端の位置・姿勢104を得るこ
とができる。これを画像追従装置209でTVカメラ2
05の視野に入るように逆変換(ここで第2座標変換と
称する)を行つて雲台204の各関節の関節角を求め、
これと現在の角度センサの角度信号114をフィードバ
ックしテ、指令値113として各関節のアクチュエータ
へ出力する。
第4図は第1図(第2図)の座標変換方法の説明図であ
る。第4図により第1図(第2図)の本発明の第1座標
変換および第2座標変換方法の変換式導出について詳細
に説明する。まず第1座標変換方法は、スレーブアーム
203の関節角度103からスレーブアーム203先端
の位置・姿勢104を3次元情報として求めるものであ
る。すなわちスレーブアーム203の第1〜第6関節に
よる座標変換行列(4X4行列)をA1〜A6、スレー
ブアーム203の手先座標系(4X4行列)を6Xで表
わすと、 0に=A1・A2・A、・^・A1A6・6x(1)に
より第1座標変換を行うことができる。ここでOxはス
レーブアーム203の基部の基準座標系(x。
y 、 z ) 404から見た手先座標系であり、ス
レーブアーム203先端の位置・姿勢104を要素とし
て持つ。
つぎに第2座標変換方法は、上記スレーブアーム203
先端の位置・姿勢104を表わす3次元情報をTVカメ
ラ205の軸線403方向に関する2次元情報に変換す
るものである。すなわち雲台204の第1関節401.
第2関節402による座標変換行列(4×4行列)を8
.、B、   TVカメラ205ノ座標系をZvとする
と、雲台204の基部から見たTVカメラ205の座標
系0vは、 Oy =町・a!・”v           (2)
で表わされる。また雲台204の基部から見たスレーブ
アーム203の手先座標系2は次のよう番ζなる。
Z = ICc−’IC(3) ここでKcは雲台204の基部から見た基準座標系40
4である。
したがりて座標系Zの位置成分が座標系0vの軸線に乗
るように雲台204の関節401 、402の関節角度
θ1.θ、を決定すれば、TVカメラ205は常にスレ
ーブアーム203先端を向くようになる。このため座標
系Zの位置成分をPz ”(Xz、)’z、”z)、座
標系0YのTVカメラ205の軸線403単位ベクトル
を1=(a工、aア、a、)とすると、P−f’=kA
(kは任意定数)(4)y を満たすように代数的に関節角度θ1.θ、を得ること
ができる。以上により雲台204の移動量を求めること
ができ、TVカメラ205を常にスレーブアーム203
の先端に追従して動かすことができる。
つぎに雲台204の移動速度を求めて、TVカメラ20
5をスレーブアーム203先端に追従させる方法を説明
する。(4)式の両辺を時間で全微分すると次のように
なる。
(5)式中の3×2行列を3×3行列にするため次のよ
うな形にする。
(6)式を次のように表すものとする。
dP、−J1dθ−kJ、dθ         (7
)(7)式を変形して、 dPz =(Jt + kJm ) dθ      
(8)dθ =(Is + kJm ) −” dPz
      (9)(9)式よりdθを求めることがで
き、すなわち雲台204の移動速度を得ることができる
またベクトルaの代りにTVカメラ205のピッチ角、
ヨー角を用いても同様の方法を用いて、TVカメラ20
5でスレーブアーム203先端を追尾することができる
〔発明の効果〕
本発明によれば、TVカメラがマニピュレータの先端に
追従して自動的に動くので、手動でTVカメラを動かす
必要がなくなり、操作者の負担を半減することが可能と
なって良好な操作を行うことが可能となる。
【図面の簡単な説明】 第1図は本発明の一笑施例の制御ブロック図、第2図は
同じくシステム外観図、第3図は第2図の信号の流れ図
、第4図は第2図の座標変換方法の説明図である。 101・・・関節角信号 102・・・マスタアーム先端の位置・姿勢103・・
・関節角信号 104・・・スレーブアーム先端の位置・姿勢106・
・・指令値 107.108・・・力/トルク信号 109.110・・・力/トルク信号 112・・・指令値     113・・・指令信号1
14・・・角度信号    201・・・中央処理装置
202・・・マスタアーム  203・・・スレーブア
ーム204・・・雲台      205・・・TVカ
メラ206・・・照明装置 207・・・マスタアーム入出力装置 20B・・・スレーブアーム入出力装置209・・・画
像追従装置  210・・・置台入出力装置211・・
・TVモニタ 304・・・マスタカ/トルクセンサ 305・・・スレーブカ/トルクセンサ401・・・雲
台第1関節  402・・・雲台第2関節403・・・
TVカメラ軸線 Cλ M5図

Claims (1)

  1. 【特許請求の範囲】 1、マニピュレータと、該マニピュレータ近傍に備え付
    けた1自由度以上の動きが可能な雲台に設けたTVカメ
    ラと、該TVカメラの映像を表示するTVモニタより成
    るマニピュレータ装置において、マニピュレータ先端の
    位置を表す3次元情報をTVカメラの軸線方向に関する
    2次元情報に変換し、これに基づき雲台を動かすことに
    よりTVカメラの軸線をマニピュレータ先端近傍に一致
    させることを特徴とするマニピュレータ画像追従方法。 2、上記マニピュレータはマスタスレーブマニピュレー
    タであり、該マスタスレーブマニピュレータ装置におい
    て、マスタアームあるいはスレーブアームの関節角度よ
    り第1座標変換を行ってマニピュレータ先端の位置・姿
    勢を検出し、該位置・姿勢データの一部あるいは全部を
    用いて第2座標変換を行って雲台の移動量を決定し、雲
    台を自動的に動かすことを特徴とする請求項1記載のマ
    ニピュレータ画像追従方法。 3、上記マニピュレータはマスタスレーブマニピュレー
    タであり、該マスタスレーブマニピュレータ装置におい
    て、マスタアームあるいはスレーブアームの関節角速度
    より第1座標変換を行ってマニピュレータ先端の速度・
    角速度を検出し、該速度・角速度データの一部あるいは
    全部を用いて第2座標変換を行って雲台の移動速度を決
    定し、雲台を自動的に動かすことを特徴とする請求項1
    記載のマニピュレータ画像追従方法。 4、マニピュレータと、該マニピュレータ近傍に備え付
    けた1自由度以上の動きが可能な雲台に設けたTVカメ
    ラと、該TVカメラの映像を表示するTVモニタより成
    るマニピュレータ装置において、マニピュレータ先端の
    位置を表す3次元情報をTVカメラの軸線方向に関する
    2次元情報に変換し、これに基づき雲台を動かすことに
    よりTVカメラの軸線をマニピュレータ先端近傍に一致
    させる手段を備えたことを特徴とするマニピュレータ画
    像追従装置。 5、上記マニピュレータはマスタスレーブマニピュレー
    タであり、該マスタスレーブマニピュレータ装置におい
    て、マスタアームあるいはスレーブアームの関節角度よ
    り第1座標変換を行ってマニピュレータ先端の位置・姿
    勢を検出し、該位置・姿勢データの一部あるいは全部を
    用いて第2座標変換を行って雲台の移動量を決定し、雲
    台を自動的に動かす手段を備えたことを特徴とする請求
    項4記載のマニピュレータ画像追従装置。 6、上記マニピュレータはマスタスレーブマニピュレー
    タであり、該マスタスレーブマニピュレータ装置におい
    て、マスタアームあるいはスレーブアームの関節角速度
    より第1座標変換を行ってマニピュレータ先端の速度・
    角速度を検出し、該速度・角速度データの一部あるいは
    全部を用いて第2座標変換を行って雲台の移動速度を決
    定し、雲台を自動的に動かす手段を備えたことを特徴と
    する請求項4記載のマニピュレータ画像追従装置。 7、請求項5記載のマニピュレータ画像追従装置を備え
    たマニピュレータ装置。 8、請求項6記載のマニピュレータ画像追従装置を備え
    たマニピュレータ装置。
JP1023826A 1989-02-03 1989-02-03 マニピュレータ画像追従方法及び装置並びに該装置を備えたマニピュレータ装置 Pending JPH02205494A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1023826A JPH02205494A (ja) 1989-02-03 1989-02-03 マニピュレータ画像追従方法及び装置並びに該装置を備えたマニピュレータ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1023826A JPH02205494A (ja) 1989-02-03 1989-02-03 マニピュレータ画像追従方法及び装置並びに該装置を備えたマニピュレータ装置

Publications (1)

Publication Number Publication Date
JPH02205494A true JPH02205494A (ja) 1990-08-15

Family

ID=12121175

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1023826A Pending JPH02205494A (ja) 1989-02-03 1989-02-03 マニピュレータ画像追従方法及び装置並びに該装置を備えたマニピュレータ装置

Country Status (1)

Country Link
JP (1) JPH02205494A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001041395A (ja) * 1999-06-11 2001-02-13 Wescam Inc ペイロードの被安定化プラットホーム装置
JP2009279706A (ja) * 2008-05-22 2009-12-03 Shibuya Kogyo Co Ltd ロボット制御装置
CN105014671A (zh) * 2015-08-14 2015-11-04 哈尔滨工大服务机器人有限公司 一种衣服模特机器人多自由度肩关节驱动装置
EP4159382A1 (en) * 2011-04-29 2023-04-05 Sarcos LC Teleoperated robotic system with impact responsive force feedback
US11794345B2 (en) 2020-12-31 2023-10-24 Sarcos Corp. Unified robotic vehicle systems and methods of control

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6174011A (ja) * 1984-09-19 1986-04-16 Toshiba Corp マニプレ−タのセンサ−自動追尾装置
JPS61136783A (ja) * 1984-12-05 1986-06-24 三菱重工業株式会社 Itvア−ムの制御方式
JPS6352990A (ja) * 1986-08-22 1988-03-07 三菱電機株式会社 マニピユレ−タ視覚装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6174011A (ja) * 1984-09-19 1986-04-16 Toshiba Corp マニプレ−タのセンサ−自動追尾装置
JPS61136783A (ja) * 1984-12-05 1986-06-24 三菱重工業株式会社 Itvア−ムの制御方式
JPS6352990A (ja) * 1986-08-22 1988-03-07 三菱電機株式会社 マニピユレ−タ視覚装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001041395A (ja) * 1999-06-11 2001-02-13 Wescam Inc ペイロードの被安定化プラットホーム装置
JP4716392B2 (ja) * 1999-06-11 2011-07-06 ピーヴィー・ラブズ・インコーポレイテッド ペイロードの被安定化プラットホーム装置
JP2009279706A (ja) * 2008-05-22 2009-12-03 Shibuya Kogyo Co Ltd ロボット制御装置
EP4159382A1 (en) * 2011-04-29 2023-04-05 Sarcos LC Teleoperated robotic system with impact responsive force feedback
US11738446B2 (en) 2011-04-29 2023-08-29 Sarcos, Lc Teleoperated robotic system with impact responsive force feedback
US11745331B2 (en) 2011-04-29 2023-09-05 Sarcos, Lc Teleoperated robotic system with payload stabilization
CN105014671A (zh) * 2015-08-14 2015-11-04 哈尔滨工大服务机器人有限公司 一种衣服模特机器人多自由度肩关节驱动装置
US11794345B2 (en) 2020-12-31 2023-10-24 Sarcos Corp. Unified robotic vehicle systems and methods of control

Similar Documents

Publication Publication Date Title
EP2314428B1 (en) Movable robot
US20160279788A1 (en) Master-Slave System
JP6445092B2 (ja) ロボットの教示のための情報を表示するロボットシステム
KR20110041950A (ko) 여유자유도 제어를 이용한 로봇의 교시 및 재현 방법
JP2013049102A (ja) ロボットの制御装置及びロボットの姿勢決定方法
Sharma et al. On the observability of robot motion under active camera control
Avalos et al. Real-time teleoperation with the Baxter robot and the Kinect sensor
JPH02205494A (ja) マニピュレータ画像追従方法及び装置並びに該装置を備えたマニピュレータ装置
JPH0421105A (ja) マニピユレータの立体教示装置
Capolei et al. Positioning the laparoscopic camera with industrial robot arm
JP2791030B2 (ja) 多自由度作業機械の曲面倣い制御装置
JPH0693209B2 (ja) ロボツトの円弧補間姿勢制御装置
Negishi et al. Operation assistance using visual feedback with considering human intention on master-slave systems
Chang et al. Hybrid eye-to-hand and eye-in-hand visual servoing for autonomous robotic manipulation
Stanczyk et al. Development of a high-performance haptic telemanipulation system with dissimilar kinematics
JP3206765B2 (ja) マスタスレーブマニピュレータの制御方法
Buss et al. Advanced telerobotics: Dual-handed and mobile remote manipulation
Palla et al. Position based visual servoing control of a wheelchair mounter robotic arm using parallel tracking and mapping of task objects
JPS5810197B2 (ja) エンカツソウジユウソウチ
JP2520660B2 (ja) 遠隔操作式マニピユレ―タ装置
JP2737325B2 (ja) ロボットの軌道生成方式
JP2533594B2 (ja) マスタスレ―ブマニピユレ―タ
JPS6133878A (ja) マニプレ−タの制御装置
JPH07299776A (ja) マニプレータ制御装置
JPS62127905A (ja) ロボツトア−ムの動作シミユレ−タ装置