JPH09290383A - 画像情報によるマニピュレータ制御方法 - Google Patents

画像情報によるマニピュレータ制御方法

Info

Publication number
JPH09290383A
JPH09290383A JP8105163A JP10516396A JPH09290383A JP H09290383 A JPH09290383 A JP H09290383A JP 8105163 A JP8105163 A JP 8105163A JP 10516396 A JP10516396 A JP 10516396A JP H09290383 A JPH09290383 A JP H09290383A
Authority
JP
Japan
Prior art keywords
manipulator
point
image
target point
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP8105163A
Other languages
English (en)
Other versions
JP3151149B2 (ja
Inventor
Keisuke Kinoshita
敬介 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR NINGEN JOHO TSUSHIN KENKYU
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR NINGEN JOHO TSUSHIN KENKYU
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR NINGEN JOHO TSUSHIN KENKYU, ATR Advanced Telecommunications Research Institute International filed Critical ATR NINGEN JOHO TSUSHIN KENKYU
Priority to JP10516396A priority Critical patent/JP3151149B2/ja
Publication of JPH09290383A publication Critical patent/JPH09290383A/ja
Application granted granted Critical
Publication of JP3151149B2 publication Critical patent/JP3151149B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Numerical Control (AREA)
  • Manipulator (AREA)
  • Control Of Position Or Direction (AREA)

Abstract

(57)【要約】 【課題】 対象に対する事前の知識やCADモデルなど
を不要にし、煩雑な作業であるカメラの較正を不要にし
得る画像情報によるマニピュレータ制御方法を提供す
る。 【解決手段】 マニピュレータ5を複数回運動させ、実
際の3次元空間との対応を求めることで不定性を解消
し、対応づけされた3次元空間情報を使って対象の点が
目標点と一致するように位置ベース法によってマニピュ
レータ5を制御し、位置ベース法によって目標点の近傍
まで対象が移動したならば、3次元空間情報に誤差があ
っても安定に収束させることのできる視覚サーボ法に制
御方法を切換え、位置ベース方法と視覚サーボ法の両方
を使い分けることによって、収束性と安定性を両立させ
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は画像情報によるマ
ニピュレータ制御方法に関し、特に、カメラなどからの
画像を処理する画像処理,画像認識の分野あるいは環境
に対して働きかけるロボットやマニピュレータを制御す
るロボティクスの分野に用いられるような画像情報によ
るマニピュレータ制御方法に関する。
【0002】
【従来の技術】画像情報に基づいたマニピュレータの制
御方法として、マニピュレータとカメラの3次元的な位
置関係を計算して制御する位置ベース法や画像から得ら
れる情報を直接用いてフィードバック制御する視覚サー
ボ法が考えられる。
【0003】視覚サーボ法については、橋本浩一、「視
覚フィードバック制御−静から動へ−」、システム/制
御/情報、Vol.38, No.12, pp.659-665, 1994 におい
て、対象の形状,CADモデルが既知であるときに、画
像上の目標点に対象の点が一致するように、カメラまた
はマニピュレータを移動させる方法について述べられて
いる。この視覚サーボ法では、対象の点の3次元位置や
カメラ,マニピュレータの運動制御パラメータに誤差が
あったとしても、目標の近傍では収束するので安定性が
優れているという特徴がある。しかし、この安定性も局
所的なものであり、どのような初期位置からも、必ず収
束するという保証はない。
【0004】
【発明が解決しようとする課題】上述の視覚サーボ法を
適用するには、対象の形状が既知であることや較正され
たカメラを用いる必要がある。カメラの較正は専用の工
具や治具が必要であり、煩雑な作業が必要とされる。ま
た、対象とカメラ,マニピュレータの間の相対的な位置
関係が変更されると、その都度 正し直す必要がある。
視覚サーボを現実に応用する場合、予め形状が既知であ
る対象を扱うだけでなく、どのような対象,状況に対し
ても適応できる汎用性が重要となる。
【0005】一方 R. Hartley, R. Gupta and T. Chan
g, “Stereo from uncalibrated cameras”, Conferenc
e on Computer Vision and Pattern Recognition, pp.7
61-764, 1992 および O. Fugeras,“What can be seen
in three dimensions with anuncalibrated stereo rig
? ”, Europian Conference on Computer Vision, pp.
563-578, 1992 では、較正されていないステレオカメラ
から、射影的な不定性を除いて3次元空間を再較正でき
ることが示されている。この方法では、カメラを較正す
る必要がなく、任意のカメラを任意の位置に置くだけで
処理が完了する。対象の認識などの用途には、このよう
な不定性を残した情報だけで十分であることが知られて
いる。しかし、マニピュレータなどの実世界の対象を扱
う場合は、不定性をもった射影空間の座標系と実世界の
3次元空間の座標系の関係を求める必要がある。
【0006】R. Horaud, R. Mohr, F. Dornaika and B.
Boufama“The advantage of Mounting a camera onto
a robot arm ”, Europe-China workshop on geometric
al modelling and invariants for computer vision, A
pril, 1995では、未較正のステレオカメラをマニピュレ
ータに載せ、運動させることにより、カメラとマニピュ
レータの間の関係を求める手法が示されている。
【0007】それゆえに、この発明の主たる目的は、マ
ニピュレータが把持している対象を、与えられた画像と
一致するようにマニピュレータを制御する方法におい
て、対象に対する事前の知識やCADモデルなどを不要
にし、煩雑な作業であるカメラの較正を不要にし得る画
像情報によるマニピュレータ制御方法を提供することで
ある。
【0008】
【課題を解決するための手段】請求項1に係る発明は、
マニピュレータが把持している対象物体をカメラで撮影
することによって得られる画像情報に基づいて、対象物
体上の点が画像上に与えられた目標点と一致するように
マニピュレータを制御する方法において、対象物を撮影
したステレオ画像から再構成される射影空間座標系とマ
ニピュレータを制御するためのユークリッド空間座標系
との間の座標変換行列および対象物体に関する3次元情
報を求める第1のステップと、対象物体上の点が目標点
に一致するように位置ベース法によりマニピュレータを
近似的に移動させる第2のステップと、対象物体上の点
と目標点との距離が一定値以下に接近した後には、対象
物体に関する3次元情報から推定される画像ヤコビアン
を用いた視覚サーボ法による制御に切換えてマニピュレ
ータを移動させる第3のステップとを備えて構成され
る。
【0009】請求項2に係る発明では、請求項1の第1
のステップは、マニピュレータを有限回運動させて得ら
れる対象物体の運動量を射影空間座標系とユークリッド
空間座標系の両方で表現して得られる同次方程式を解く
ことによって両座標系間の変換行列と3次元情報を求め
る。
【0010】
【発明の実施の形態】図1はこの発明の一実施形態の構
成を示すブロック図である。図1において、カメラ1,
2は対象物体のステレオ画像を撮影するものであり、そ
のステレオ画像信号は画像処理回路3に与えられて画像
処理される。画像処理回路3はステレオ画像に含まれる
2個の画像に映っている対象の点を画像上で与えられた
目標点と一致するようにマニピュレータ5を制御するた
めの制御信号を制御回路4に出力する。制御回路4はそ
の制御信号に応じてマニピュレータ5を制御する。
【0011】図2はマニピュレータが把持している対象
を目標点と一致するようにマニピュレータを制御する状
態を示す図であり、図3は座標系の設定方法を示す図で
あり、図4はこの発明の一実施形態を示すフローチャー
トである。
【0012】次に、図1ないし図4を参照して、この発
明の一実施形態の具体的な動作について説明する。2台
のカメラ1,2は較正されておらず、任意の位置に設置
されてマニピュレータ5が把持している対象を撮影す
る。画像処理回路3は得られる2組の画像に映っている
対象の点を、図2に示すように画像上で与えられた目標
点と一致するようにマニピュレータ5を制御する。
【0013】3次元空間のn個の点Ri (i=1,…,
n)が図3に示すようにカメラ1,2でri ,r′i
投影されているものとする。ここで、ri ,r′i を2
次元射影空間P2 の点と考え、その座標をri ,r′i
とおく。どのようなri ,r′i の組に対しても、次の
第(1)式を満たす行列Fが存在する。
【0014】
【数1】
【0015】Fはri ,r′i の組が8以上であれば決
定することができる。3次元空間を3次元射影空間P3
と考える。RのP3 での座標Ri O とri ,r′i の間
の関係は行列P,P′を使って第(2)式のように表現
できる。
【0016】
【数2】
【0017】〜は定数倍の不定性を除いて等しいことを
表わす。FからP,P′の決定の仕方は一意ではなく、
射影的な不定性を含んでいる。しかし、一旦P,P′を
決定すれば、P3 に座標系OO を導入することはでき
る。また、ri ,r′i からRi O を得ることができ
る。
【0018】マニピュレータ5を運動させることによ
り、対象が剛体運動し、座標系OO において、Ri O
いう座標からRi *Oという座標に移ったとする。両者の
座標間にはHO を4×4の正則な行列として、次の第
(3)式で表わす関係がある。
【0019】
【数3】
【0020】このHO を座標系OO での剛体運動と定義
する。HO はRi O からRi *Oへの座標変換行列でもあ
るので、HO はRi O ,Ri *Oの組が5個あれば決定で
きる。マニピュレータ5のベースに固定された座標系を
B とすると、OO からOB への座標変換は4×4の正
則行列Yで表わされる。点Ri のOO ,OB での座標を
それぞれRi O ,Ri B とすると、次の第(4)式で表
わす関係がある。
【0021】
【数4】
【0022】マニピュレータの運動によってRi が剛体
運動し、運動前後のOO ,OB での座標をそれぞれRi
O ,Ri *0,Ri B ,Ri *Bと表わす。この運動は、O
O ,OB の座標系で、それぞれ4×4の正則な行列
O ,HB として、第(5)式の関係がある。
【0023】
【数5】
【0024】マニピュレータ5を複数回運動させて得ら
れる第(5)式を連立させることによってYを解くこと
ができる。たとえば、マニピュレータ5を2回運動させ
ることで次の第(6)式が得られる。
【0025】
【数6】
【0026】これは、第(7)式とおくと、
【0027】
【数7】
【0028】次の第(8)式に変形できる。
【0029】
【数8】
【0030】λ1 ,λ2 の4通りの組合せについて、Y
を解き、最適なYを選択する。これで、再構成された世
界OO と、マニピュレータ5の世界OB の対応がとれた
ことになる。
【0031】このYをもとに、位置ベース法でマニピュ
レータ5を制御する。対象の点ri,r′を目標点
di,r′diに一致させるために必要なマニピュレータ
5の運動HO を求め、次の第(9)式からマニピュレー
タの制御量に変換する。
【0032】
【数9】
【0033】もし、誤差がないのであれば、1回の運動
で目標点に対象を移動させることができる。ところが、
現実には必ず誤差が生じるので、このような位置ベース
法による制御だけでは、必ずしも収束するとは限らな
い。そこで、位置ベース法により、目標点と対象の点の
間の距離が小さくなったならば、視覚サーボ法による制
御の方法を切換える。
【0034】OB でのマニピュレータ5の制御速度を6
個の独立な変数でξ=(ξ1 ξ2 ,ξ3 ,ξ4 ,ξ5
ξ6 )と書くことにする。Yがわかっていたならば
【0035】
【数10】
【0036】とすると、対象の点の画像上での座標は、
【0037】
【数11】
【0038】となり、各点の画像ヤコビアンは次の第
(12)式となる。
【0039】
【数12】
【0040】Ri B は逐次得られるので、Jを更新しな
がら、ξ=−λJ- eとフィードバック制御すればよ
い。ただし、Jは各点の画像ヤコビアンを並べたもので
あり、eは対象の点と目標点の画像上での差ei =ri
−rdiを並べたものである。
【0041】
【発明の効果】以上のように、この発明によれば、マニ
ピュレータを複数回運動させ、実際の3次元空間との対
応を求めることによって不定性を解消し、対応づけされ
た3次元空間情報を使って対象の点が目標点と一致する
ように位置ベース法によってマニピュレータを制御し、
位置ベース法によって目標点の近傍まで対象が移動した
ならば、3次元空間情報に誤差があっても安定に収束さ
せることのできる視覚サーボ法に制御方法を切換えるよ
うにしたので、位置ベース法と視覚サーボ法の両方を使
い分けることで、収束性と安定性を両立させることがで
きる。しかも、事前の知識やCADモデルなどを不要に
でき、煩雑な作業であるカメラの較正を不要にできる。
しかも、位置ベース法では不可能であった局所的な収束
性を得ることができ、視覚サーボ法では不可能であった
大域的な安定性を得ることができる。
【図面の簡単な説明】
【図1】この発明の一実施形態を示す概略ブロック図で
ある。
【図2】マニピュレータが把持している対象を目標点と
一致するようにマニピュレータを制御する状態を示す図
である。
【図3】座標系の設定方法を示す図である。
【図4】この発明の一実施形態の動作を説明するための
フローチャートである。
【符号の説明】
1,2 カメラ 3 画像処理回路 4 制御回路 5 マニピュレータ

Claims (2)

    【特許請求の範囲】
  1. 【請求項1】 マニピュレータが把持している対象物体
    をカメラで撮影することによって得られる画像情報に基
    づいて、対象物体上の点が画像上に与えられた目標点と
    一致するようにマニピュレータを制御する方法におい
    て、 前記対象物を撮影したステレオ画像から再構成される射
    影空間座標系とマニピュレータを制御するためのユーク
    リッド空間座標系との間の座標変換行列および前記対象
    物体に関する3次元情報を求める第1のステップ、 前記対象物体上の点が目標点に一致するように位置ベー
    ス法によりマニピュレータを近似的に移動させる第2の
    ステップ、および前記対象物体上の点と目標点との距離
    が一定値以下に接近した後には、前記対象物体に関する
    3次元情報から推定される画像ヤコビアンを用いた視覚
    サーボ法による制御に切換えてマニピュレータを移動さ
    せる第3のステップを備えた、画像情報によるマニピュ
    レータ制御方法。
  2. 【請求項2】 前記第1のステップは、前記マニピュレ
    ータを有限回運動させて得られる前記対象物体の運動量
    を射影空間座標系とユークリッド空間座標系の両方で表
    現し、得られる同次方程式を解くことによって、両座標
    系間の変換行列と3次元情報を求めることを特徴とす
    る、請求項1の画像情報によるマニピュレータ制御方
    法。
JP10516396A 1996-04-25 1996-04-25 画像情報によるマニピュレータ制御方法 Expired - Fee Related JP3151149B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10516396A JP3151149B2 (ja) 1996-04-25 1996-04-25 画像情報によるマニピュレータ制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10516396A JP3151149B2 (ja) 1996-04-25 1996-04-25 画像情報によるマニピュレータ制御方法

Publications (2)

Publication Number Publication Date
JPH09290383A true JPH09290383A (ja) 1997-11-11
JP3151149B2 JP3151149B2 (ja) 2001-04-03

Family

ID=14400033

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10516396A Expired - Fee Related JP3151149B2 (ja) 1996-04-25 1996-04-25 画像情報によるマニピュレータ制御方法

Country Status (1)

Country Link
JP (1) JP3151149B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011093055A (ja) * 2009-10-30 2011-05-12 Honda Motor Co Ltd 情報処理方法及び装置並びにプログラム
CN102120326A (zh) * 2011-01-14 2011-07-13 常州大学 一种基于图像处理技术的机器手抓握滑移检测方法及装置
CN103963058A (zh) * 2014-04-30 2014-08-06 重庆环视科技有限公司 基于多方位视觉定位的机械手臂抓取控制系统及方法
CN105425830A (zh) * 2015-11-24 2016-03-23 北京邮电大学 一种空间机械臂的任务规划方法及系统
CN109986541A (zh) * 2019-05-06 2019-07-09 深圳市恒晟智能技术有限公司 机械手
CN110517208A (zh) * 2019-08-19 2019-11-29 东莞弓叶互联科技有限公司 坐标系关联方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011093055A (ja) * 2009-10-30 2011-05-12 Honda Motor Co Ltd 情報処理方法及び装置並びにプログラム
CN102120326A (zh) * 2011-01-14 2011-07-13 常州大学 一种基于图像处理技术的机器手抓握滑移检测方法及装置
CN103963058A (zh) * 2014-04-30 2014-08-06 重庆环视科技有限公司 基于多方位视觉定位的机械手臂抓取控制系统及方法
CN105425830A (zh) * 2015-11-24 2016-03-23 北京邮电大学 一种空间机械臂的任务规划方法及系统
CN109986541A (zh) * 2019-05-06 2019-07-09 深圳市恒晟智能技术有限公司 机械手
CN110517208A (zh) * 2019-08-19 2019-11-29 东莞弓叶互联科技有限公司 坐标系关联方法及系统
CN110517208B (zh) * 2019-08-19 2023-06-16 广东弓叶科技有限公司 坐标系关联方法及系统

Also Published As

Publication number Publication date
JP3151149B2 (ja) 2001-04-03

Similar Documents

Publication Publication Date Title
CN109153125B (zh) 用于定向工业机器人的方法和工业机器人
US20190036337A1 (en) System for robotic 3d printing
JP2020172017A (ja) ロボット光センサのオートキャリブレーション
JP5949242B2 (ja) ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム
Chaumette et al. Visual servo control. I. Basic approaches
JP6826069B2 (ja) ロボットの動作教示装置、ロボットシステムおよびロボット制御装置
CN109767416B (zh) 机械设备的定位系统及方法
WO2018043525A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN114310901B (zh) 用于机器人的坐标系标定方法、装置、系统以及介质
CN114347008B (zh) 基于工业机器人的无序抓取工件方法、装置及智能终端
CN115351780A (zh) 用于控制机器人设备的方法
CN114260908B (zh) 机器人示教方法、装置、计算机设备和计算机程序产品
CN109900251A (zh) 一种基于视觉技术的机器人定位装置及方法
Gonzalez-Galvan et al. Application of a precision-enhancing measure in 3D rigid-body positioning using camera-space manipulation
JPH09290383A (ja) 画像情報によるマニピュレータ制御方法
Lei et al. Visually guided robotic tracking and grasping of a moving object
US11941846B2 (en) Device and method for ascertaining the pose of an object
González-Galván et al. Camera pan/tilt to eliminate the workspace-size/pixel-resolution tradeoff with camera–space manipulation
WO2021200438A1 (ja) 較正システム、情報処理システム、ロボット制御システム、較正方法、情報処理方法、ロボット制御方法、較正プログラム、情報処理プログラム、較正装置、情報処理装置、及びロボット制御装置
Al-Junaid ANN based robotic arm visual servoing nonlinear system
JP2021109291A (ja) ロボット制御装置
JPH09323280A (ja) マニピュレータの制御方法及びシステム
Huynh et al. Dynamic Hybrid Filter for Vision‐Based Pose Estimation of a Hexa Parallel Robot
Xu et al. A fast and straightforward hand-eye calibration method using stereo camera

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20001226

LAPS Cancellation because of no payment of annual fees