JP5428639B2 - ロボットの制御装置及びロボットのティーチング方法 - Google Patents

ロボットの制御装置及びロボットのティーチング方法 Download PDF

Info

Publication number
JP5428639B2
JP5428639B2 JP2009190028A JP2009190028A JP5428639B2 JP 5428639 B2 JP5428639 B2 JP 5428639B2 JP 2009190028 A JP2009190028 A JP 2009190028A JP 2009190028 A JP2009190028 A JP 2009190028A JP 5428639 B2 JP5428639 B2 JP 5428639B2
Authority
JP
Japan
Prior art keywords
camera
movement
distance
image
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009190028A
Other languages
English (en)
Other versions
JP2011041990A (ja
Inventor
進 加藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Wave Inc
Original Assignee
Denso Wave Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Wave Inc filed Critical Denso Wave Inc
Priority to JP2009190028A priority Critical patent/JP5428639B2/ja
Priority to DE102010037067.3A priority patent/DE102010037067B4/de
Publication of JP2011041990A publication Critical patent/JP2011041990A/ja
Application granted granted Critical
Publication of JP5428639B2 publication Critical patent/JP5428639B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/42Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Numerical Control (AREA)

Description

本発明は、アームの手先にカメラが配置されているロボットを制御する制御装置,及び前記ロボットについてティーチングを行う方法に関する。
例えば視覚検査を行うロボットでは、検査対象物に対する最適な撮像位置を設定するため、ティーチング時において、三角測量法を用いて検査対象物までの距離を計測する作業を行う。特許文献1にはその一例が示されており、以下のような手順となっている。ロボットアームの手先に配置されたカメラによって注視点を含む画像を撮像すると、ユーザがカメラの視点位置を変更した後、同一注視点を含む画像を撮像する。そして、得られたステレオ画像から、三角測量法により注視点までの距離を計測すると、その距離データに従ってカメラの視点位置を変更させる。
特開平6−75617号公報
しかしながら、特許文献1に開示されている方式では、ロボットの移動先をティーチングする動作とは別個に、カメラの視点から注視点までの距離を求めるためカメラの位置を変更する必要があり、ユーザの操作負担が大きいという問題があった。
本発明は上記事情に鑑みてなされたものであり、その目的は、ロボットをティーチングする際に並行して、撮像対象物までの距離計測を行うことができるロボットの制御装置及びロボットのティーチング方法を提供することにある。
請求項1記載のロボットの制御装置によれば、カメラの初期位置で撮像されている画像のフレーム中心周りの所定領域を注視領域として設定し、初期位置の座標を移動元座標として設定する。そして、ユーザにより入力された移動方向に対し、注視領域が撮像フレームに収まる範囲内となるように、カメラを、初期位置における姿勢は維持しつつ入力された移動方向に微小移動させて、移動後の位置座標を移動先座標として設定する。移動元座標と移動先座標とからカメラの移動距離を計算すると、移動先座標における画像内で、移動元座標における画像上の注視領域からなる部分画像との画像特徴量の類似度が一定以上で且つ最大となる画像領域を特定し、その特定された画像領域が示す座標と移動元座標における注視領域が示す座標から、注視領域の移動距離をカメラ間視差として計算する。そして、予め保持しているカメラの像面距離,カメラ移動距離,カメラ間視差から、三角測量法でカメラの移動先座標から撮像対象物までの撮像距離を求め、入力された移動方向と撮像距離とから移動先座標を始点,撮像距離を半径としてカメラが注視点方向を常に向いた状態での目標円弧軌道を計算し、カメラを目標円弧軌道に沿ってユーザにより入力された移動量分だけ移動させるよう、ロボットに指令を出力する。
すなわち、ユーザは、カメラの視点変更をティーチングするために移動方向並びに移動量を入力指定すれば、その指定に応じて制御装置及びロボットがカメラを移動させる間に、カメラの視点位置から注視点までの撮像距離が自動的に求められる。撮像距離が求められた時点で、移動指令出力手段に視点変更を行うための目標円弧軌道が生成可能となり、直ちに撮像距離を一定に維持した状態での移動に移行することが可能となる。撮像距離を計算するためカメラを微小移動させると、当初の理想とする軌道と目標円弧軌道との間にずれを生じるが、前記微小移動の距離は、注視領域が撮像フレーム内に収まる範囲内での移動量であるから、カメラの視点変更を行う上では無視できる。また、最終的な教示点については微調整せざるを得ないので、この程度の誤差は、ティーチングの過程では無きに等しいと評価できる。したがって、ユーザは、撮像距離を求めるためだけにカメラの視点変更を別個に行う必要がなく、操作負担を軽減できる。
請求項2記載のロボットの制御装置によれば、所定領域のサイズを設定変更可能とする。すなわち、カメラが撮像する対象の状況によっては、所定領域の当初のサイズが注視点を含む画像の特徴量を適切に抽出するには不適切である場合がある。したがって、撮像対象に応じて所定領域のサイズを適切に設定できる。
一実施例であり、(a)はカメラの視点変更処理、(b)は(a)のS5における「軌道生成処理」の詳細を示すフローチャート ロボットを含む制御システムの構成を示す図 各処理の内容を概念的に説明する図(その1) 各処理の内容を概念的に説明する図(その2) 各処理の内容を概念的に説明する図(その3) 各処理の内容を概念的に説明する図(その4) 各処理の内容を概念的に説明する図(その5) 各処理の内容を概念的に説明する図(その6)
以下、本発明の一実施例について図面を参照して説明する。図2は、垂直多関節型(6軸)ロボットを含む制御システムの構成を示す。このロボット1は、ベース(回転軸)2上に、この場合6軸のアームを有し、そのアームの先端には、図示しないハンド等のツールや、後述するカメラなどが取り付けられる。前記ベース2上には、第1関節J1を介して第1のアーム3が回転可能に連結されている。この第1のアーム3には、第2関節J2を介して上方に延びる第2のアーム4の下端部が回転可能に連結され、さらに、この第2のアーム4の先端部には、第3関節J3を介して第3のアーム5が回転可能に連結されている。
この第3のアーム5の先端には第4関節J4を介して第4のアーム6が回転可能に連結され、この第4のアーム6の先端には第5関節J5を介して第5のアーム7が回転可能に連結され、この第5のアーム7には第6関節J6を介して第6のアーム8が回転可能に連結されている。なお、各関節J1〜J6においては、図示しないサーボモータにより各アーム3〜8を回転駆動するようになっている。
ロボット1と制御装置(コントローラ)11との間は、接続ケーブル12によって接続されている。これにより、ロボット1の各軸を駆動するサーボモータは、制御装置11により制御される。パッドコントローラ(入力手段)13は、例えば横長の本体14の両端側に、ユーザが左右両手でそれぞれ把持するための把持部15L,15Rが設けられており、ユーザが把持部15L,15Rを両手で把持した状態で、親指により押圧操作可能なジョイパッド16L,16Rが配置されている。また、把持部15L,15Rの図中上方には、人差し指により押圧操作可能なボタン17L,17Rが配置されている。
ロボット1のアーム8には、CCD(Charge Coupled Device)又はCMOSイメージセンサを用いたカメラ(撮像手段)21が取り付けられており、そのカメラ21により撮像対象物22を含む画像を捉える。制御装置11には、パーソナルコンピュータ(パソコン)23がケーブル24を介して接続されている。
パソコン23には、メモリやハードディスクなどの記憶装置(記憶手段)が内蔵されている。パッドコントローラ13は、接続ケーブル18を経由してパソコン23に接続され、通信インターフェイスを介してパソコン23との間で高速のデータ転送を実行するようになっている。ジョイパッド16L,16R等が操作されて入力された操作信号等の情報は、パッドコントローラ13からパソコン23を介して制御装置11へ送信される。カメラ21は、ケーブル25を介してパソコン23に接続されており、カメラ21が捉えた画像のデータはパソコン23に送信されて、ディスプレイ23Dに表示される。
次に、本実施例の作用について図1,図3ないし図8を参照して説明する。図1(a)は、ユーザがパッドコントローラ13を用いて、カメラ21の撮像距離を維持しつつ、撮像位置(視点位置)を変更するためのティーチングを行う際に、自動的に実行される視点変更処理を示すフローチャートである。図1(b)は、図1(a)のステップS5における「軌道生成処理」の詳細を示すフローチャートである。そして、図3〜図8は、各処理の内容を概念的に説明するものである。これらの処理は、パソコン23を中心として実行される。
図1(a)において、ユーザが、ボタン17Rをオン操作し続けている間にジョイパッド16Lを何れかの方向の何れかにオン操作すると(ステップS0)、ステップS1〜S10間の視点変更処理ループが実行される。ステップS2において、ユーザがパッドコントローラ13により、ロボット1のアーム8先端に取り付けられたカメラ21を、どちらの方向にどれだけの速度(角速度)で移動させるかを入力指示する(ステップS2)。この時、ユーザは、ジョイパッド16Lをある方向にオン操作した際の傾き量で移動速度を指示し、オン操作している間が前記速度で移動する時間となる。
図3は、カメラ21が初期位置にある場合に、カメラ21のレンズを中心とするカメラ座標系Σと、カメラ21により撮像された画像(参照元画像N×Mを含む)の座標系Σとを示している。尚、以下で符号の後に“(ベクトル)”を付したものは、本来はベクトル表記とすべき符号であることを示している(但し、「ベクトル」と明示しているものは除く)。ユーザは、パソコン23のディスプレイ23Dを見ながら、画像中のどちらの方向に(画像座標系Σにおける単位方向ベクトルd)どれくらいの速度(角速度ω)で、どれくらいの間移動させたいかを指示する。尚、カメラ21が初期位置にある場合の座標は、移動元座標として記憶される(移動元座標設定手段)。
次に、ステップS2において指示された速度がゼロでないか否かを判断し(ステップS3)、速度がゼロでなければ(YES)、視点を変更するための軌道が生成されているか否かを判断する(ステップS4)。軌道が生成されていなければ(NO)ステップS5に移行して、図1(b)に示す軌道生成処理を実行する。軌道生成処理が終了すると「正常終了」か否かを判断し(ステップS6)、「正常終了」であれば(YES)生成された軌道に沿ってカメラ21を、ステップS2で指示された移動量に応じて移動させる(ステップS7)。この処理は後述するように、カメラ21の移動軌跡を、仮軌道から目標軌道に乗せるための軌道修正となる。
そして、ユーザにより視点変更処理の終了が指示されると(ステップS8,S9:YES)視点変更処理を終了し、視点変更処理の終了が指示されなければ(ステップS9:NO)ステップS1に戻りループを繰り返す。また、ステップS3で「NO」と判断した場合はステップS8に移行し、ステップS4で「YES」と判断した場合はステップS7に移行する。また、ステップS5における軌道生成処理が異常終了であった場合は(ステップS6:NO)は、その時点で視点変更処理を終了する。
次に、図1(b)に示す軌道生成処理について説明する。先ず、カメラ21が初期位置にある状態で画像(1)を撮像する。図3において、カメラ21の回転中心となる注視点P(ベクトル,レンズ中心にあるカメラ座標系Σから見た点,初期状態では未知)は、Σにおける画像中央画素O(ベクトル)に投影される点であるとする。初期位置で撮像した画像において、注視点Pが投影された画素の周辺(N×M)画素分を注視領域として、その注視領域に属する画素群を参照元画像として登録する(ステップS12)。すなわち、例えばパソコン23に内蔵されているメモリやハードディスクなどに記憶させる。初期値はN=(画像幅)/4,M=(画像高さ)/4として、パッドコントローラ13のジョイパッド16Rにより注視領域サイズ(倍率)を調整できる。尚、注視点領域は、ボタン17Rがオンされた時点で確定される。
次に、カメラ21の初期位置における姿勢を維持したまま、ロボット1のアーム3〜8を必要に応じて移動させ、カメラ21を微小平行移動させる(ステップS13)。ここで、画像座標系Σをカメラ座標系Σに変換する行列をとする。また、カメラ座標系Σを、図2に示すロボット1のベース座標系Σに変換する変換行列をとする。変換行列はカメラ21の仕様から既知(あるいは校正済み)であり、変換行列はロボット1の仕様から既知(あるいは校正済み)であるとする。
カメラ座標系Σの原点をO(ベクトル)とする。この時、ベース座標系Σから見た画像中央画素
Figure 0005428639
と、指示された回転方向によって決まる微小変位点
Figure 0005428639
と、レンズ中心
Figure 0005428639
の3点から構成される3次元平面△P0B1B2B(動作拘束面)を考え(図4参照)、上記3点(つまりはカメラ21)を、拘束面△P0B1B2B上に拘束するように、ロボット1を
Figure 0005428639
だけ平行移動させる。ここで、Sは、ベクトルTのノルムが(5)式となるようなものを選択する。
Figure 0005428639
図5に示すように、DIMGは、校正済みで既知であるカメラ21の像面距離(レンズ中心から仮想撮像面までの距離)[mm],DDSPは、カメラ21の移動後に、注視領域が画像から見切れない許容視差[mm](画像中央から−d(ベクトル)に引かれる直線上における注視領域端から画像端までの距離),DNEARは、レンズの仕様から決まる最至近距離[mm]である。そして(5)式は、注視点が最至近距離DNEARにあると仮定した際に、画像から注視領域が見切れない移動条件を表す。移動後の位置でカメラ21により再度画像(2)を撮影させると、その画像データは撮像位置(移動先座標)と共に、登録させる(ステップS14,移動先座標設定手段)。
上記の処理において、カメラ21を動作拘束面上で平行移動させたので、移動後に撮影された画像中での注視点は、画像座標系Σにおいて
Figure 0005428639
で表される線分(エピポーラ線)上に存在する(エピポーラ拘束:図6参照)。この線分上を走査して、各画素位置毎に類似度を計算することで、参照元画像(1)と画像濃淡値が最も類似している画像位置(画像領域)を、例えば正規化相互相関法などを用いて探索する(すなわち、画像特徴量の類似度が一定以上で且つ最大となる画像領域を特定することに対応する)と、移動後の画像座標Σ’から見たその画像位置:対応点P(ベクトル)を用いて三角測量法によりP(ベクトル)を算出する(ステップS15〜S18)。尚、画像の類似度について、上記「一定以上」の「一定」を設定する場合は、例えば0.7(類似度70%)程度とする。
ここで、ベース座標系Σの原点をO(ベクトル)とし、移動前のカメラ座標系Σから見た画像中心(カメラ21の像面距離)を
Figure 0005428639
移動後のカメラ座標系Σ’から見た対応点を
Figure 0005428639
とする。尚、(8)式の右辺第2項p(ベクトル)は、前述の通り、エピポーラ線上で走査した対応点を移動後の画像座標Σ’で示す位置ベクトルである。
移動前のカメラ座標系Σから見たロボット1の移動量(カメラ移動距離)を
Figure 0005428639
として求めると(カメラ間移動距離計算手段)、注視点P(ベクトル)は、三角測量法により(10)式で算出される(図7参照)。
Figure 0005428639
(10)式の分母は、「カメラ間視差(注視領域の移動距離)」に対応する(カメラ間視差計算手段,撮像距離計算手段)。
また、移動先のカメラ座標系Σ’から見た注視点P’(ベクトル)は、
Figure 0005428639
で算出される。
尚、ステップS16において、参照元画像と画像濃淡値が類似している対応点が見つからない場合は、ディスプレイ23Dにその旨をエラーメッセージとして表示させ(ステップS19)軌道生成処理を終了する(この場合は「異常終了」となる)。また、ステップS18では、ステップS17で算出した注視点P’(ベクトル)の距離データを半径とする目標軌道(注視点Pを中心として、カメラ21が常に注視点方向を向いた状態の円弧軌道)を生成して軌道生成処理を終了する(この場合は「正常終了」となる)。
軌道生成処理を終了すると、前述した図1(a)のステップS6,S7が実行される。すなわち、移動元座標を始点とする現在の仮軌道から目標軌道へ、カメラ21の移動軌道を修正する(移動指令出力手段)。仮軌道上での移動距離は,注視点位置までの距離と比較して微小な量であるから、理想軌道と目標軌道との誤差は無視できるものとする。
以上のように本実施例によれば、ロボット1のティーチングを行う際に、カメラ21の初期位置で撮像されている画像フレームの中心周りにおいて、画素数N×Mの領域を注視領域として設定し、初期位置の座標を移動元座標として設定する。そして、ユーザにより入力指定された移動方向に対し、注視領域が撮像フレームに収まる範囲内となるように、カメラ21を、初期位置での姿勢を維持させて入力された移動方向にT(ベクトル)だけ微小移動させ、移動後の位置座標を移動先座標として設定する。
移動元座標と移動先座標とからカメラ21の移動距離Tを計算すると、移動先座標で捉えた画像内で、移動元座標で捉えた画像上の注視領域の画像濃淡値が最も類似している画像位置を特定し、その特定された画像領域が示す座標と移動元座標での注視領域が示す座標から、注視領域の移動距離をカメラ間視差|P2C(ベクトル)−P1C(ベクトル)|として計算する。そして、予め保持しているカメラ21の像面距離,カメラ移動距離,カメラ間視差から、三角測量法でカメラ21の移動先座標から注視点Pまでの撮像距離を求め、入力された移動方向と撮像距離とから移動先座標を始点,撮像距離を半径としてカメラ21が注視点方向を常に向いた状態での目標円弧軌道を計算し、カメラ21を目標円弧軌道に沿ってユーザにより入力された移動量分だけ移動させるよう、ロボット1に指令を出力する。
すなわち、ユーザは、カメラ21の視点変更をティーチングするために移動方向並びに移動量を入力指定すれば、その指定に応じて制御装置及びロボットがカメラ21を移動させる間に、カメラ21の視点位置から注視点までの撮像距離が自動的に求められる。撮像距離が求められた時点で、視点変更を行うための目標円弧軌道が生成可能となり、直ちに撮像距離を一定に維持した状態での移動に移行することが可能となる。
この場合、撮像距離を計算するためカメラ21を微小移動させると、当初の理想とする軌道と目標円弧軌道との間にずれを生じるが、前記微小移動の距離は、注視領域が撮像フレーム内に収まる範囲内での移動量であるから、カメラ21の視点変更を行う上では無視できる。また、最終的な教示点については微調整せざるを得ないので、この程度の誤差はティーチングの過程では無きに等しいと評価できる。したがって、ユーザは、撮像距離を求めるためだけにカメラ21の視点変更を別個に行う必要がなく、操作負担を軽減することができる。
そして、移動元座標と移動先座標との間における移動開始位置としての差は、ティーチング操作上では無視できる程度に微小であるから、移動先座標を基準にした注視点までの撮像距離を用いて円弧軌道を生成し、カメラ21を、そのまま軌道上を滑らかに移動させることで、ティーチング操作をシームレスに進行させることができる。
また、注視領域のサイズを、ユーザが設定変更可能とする。すなわち、カメラ21が撮像する対象の状況によっては、所定領域の当初のサイズが注視点を含む画像の特徴量を適切に抽出するには不適切である場合がある。したがって、撮像対象に応じて所定領域のサイズを適切に設定することができる。
尚、特許請求の範囲における「制御装置」は、上記実施例では制御装置11及びパソコン23に対応する。
本発明は上記し、又は図面に記載した実施例にのみ限定されるものではなく、以下のような変形又は拡張が可能である。
注視領域の初期サイズは、N=(画像幅)/4,M=(画像高さ)/4に限ることなく、適宜変更して良い。また、注視領域のサイズは、予め固定的に設定されていても良い。
移動先座標における画像内について、移動元座標における注視領域の部分画像との画像特徴量の類似度を計算する場合は、正規化相互相関法に限ることなく、その他の手法を用いても良い。
パッドコントローラ13を制御装置11に接続して、操作信号を制御装置11に直接送信すると共に、ケーブル24を通じてパソコン23にも操作信号を送信する形を取っても良い。
また、制御装置11にパソコン23の機能を統合し、制御装置11にパッドコントローラ13,カメラ21の画像データが接続及び送信され、制御装置11を中心にして当該システムが構成されていても良い。
また、カメラ21の画像データを制御装置11に送信し、制御装置11を経由し、ケーブル24を通じてパソコン23に送信しても良い。
入力手段は、パッドコントローラ13に限ることなく、例えばジョイスティックコントローラや、ティーチングペンダントなどを用いても良い。
図面中、1はロボット、11は制御装置、13はパッドコントローラ(入力手段)、21はカメラ、22は撮像対象物、23はパーソナルコンピュータを示す。

Claims (4)

  1. アームの手先に配置されるカメラにより撮像対象物を撮像するロボットの動作について、前記カメラから前記撮像対象物までの距離である撮像距離を維持した状態で、前記カメラによる撮像位置を変化させる撮像距離維持・撮像位置変更ティーチングを実行する制御装置において、
    前記カメラをカメラ光軸と直交する方向に移動させるため、ユーザが移動方向の入力及び移動量の入力を行うための入力手段と、
    前記カメラの初期位置で撮像されている画像のフレーム中心周りの所定領域を注視領域として設定すると共に、前記初期位置の座標を移動元座標として設定する移動元座標設定手段と、
    前記ティーチングを行うことが決定されている場合に、前記入力された移動方向に対し、前記注視領域が撮像フレームに収まる範囲内となるように、前記カメラを、前記初期位置における姿勢は維持したまま、前記入力された移動方向に微小移動させ、移動後の位置座標を移動先座標として設定する移動先座標設定手段と、
    前記移動元座標と前記移動先座標とから前記カメラの移動距離を計算するカメラ移動距離計算手段と、
    前記移動先座標における画像内において、前記移動元座標における画像上の注視領域からなる部分画像との画像特徴量の類似度を計算し、前記類似度が一定以上で且つ最大となる画像領域を特定し、当該特定された画像領域が示す座標と前記移動元座標における注視領域が示す座標から、注視領域の移動距離をカメラ間視差として計算するカメラ間視差計算手段と、
    予め保持している前記カメラの像面距離と、前記カメラ移動距離と、前記カメラ間視差とから、三角測量法により前記カメラの移動元座標から前記撮像対象物までの撮像距離を求める撮像距離計算手段と、
    前記入力された移動方向と、前記撮像距離とから、前記移動先座標を始点とし、前記撮像距離を半径としてカメラが注視点方向を常に向いた状態での目標円弧軌道を計算し、前記カメラを前記目標円弧軌道に沿って前記入力された移動量分だけ移動させるよう、前記ロボットに指令を出力する移動指令出力手段とを備えることを特徴とするロボットの制御装置。
  2. 前記注視領域のサイズを設定変更するための領域サイズ設定手段を備えたことを特徴とする請求項1記載のロボットの制御装置。
  3. アームの手先に配置されるカメラにより撮像対象物を撮像するロボットの動作について、前記カメラから前記撮像対象物までの距離である撮像距離を維持した状態で、前記カメラによる撮像位置を変化させるようにティーチングする方法において、
    前記カメラをカメラ光軸と直交する方向に移動させるため、ユーザによって移動方向及び移動量が入力されると、
    前記カメラの初期位置で撮像されている画像のフレーム中心周りの所定領域を注視領域として設定すると共に、前記初期位置の座標を移動元座標として設定し、
    前記ティーチングを行うことが決定されている場合に、前記入力された移動方向に対し、前記注視領域が撮像フレームに収まる範囲内となるように、前記カメラを、前記初期位置における姿勢は維持したまま、前記入力された移動方向に微小移動させ、移動後の位置座標を移動先座標として設定し、
    前記移動元座標と前記移動先座標とから前記カメラの移動距離を計算し、
    前記移動先座標における画像内において、前記移動元座標における画像上の注視領域からなる部分画像との画像特徴量の類似度を計算し、前記類似度が一定以上で且つ最大となる画像領域を特定し、当該特定された画像領域が示す座標と前記移動元座標における注視領域が示す座標から、注視領域の移動距離をカメラ間視差として計算し、
    予め保持している前記カメラの像面距離と、前記カメラ移動距離と、前記カメラ間視差とから、三角測量法により前記カメラの移動元座標から前記撮像対象物までの撮像距離を求め、
    前記入力された移動方向と、前記撮像距離とから、前記移動先座標を始点とし、前記撮像距離を半径としてカメラが注視点方向を常に向いた状態での目標円弧軌道を計算し、前記カメラを前記目標円弧軌道に沿って前記入力された移動量分だけ移動させるよう、前記ロボットに指令を出力することを特徴とするロボットのティーチング方法。
  4. 前記注視領域のサイズが変更可能であることを特徴とする請求項3記載のロボットのティーチング方法。
JP2009190028A 2009-08-19 2009-08-19 ロボットの制御装置及びロボットのティーチング方法 Active JP5428639B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2009190028A JP5428639B2 (ja) 2009-08-19 2009-08-19 ロボットの制御装置及びロボットのティーチング方法
DE102010037067.3A DE102010037067B4 (de) 2009-08-19 2010-08-19 Robotersteuervorrichtung und Verfahren zum Teachen eines Roboters

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009190028A JP5428639B2 (ja) 2009-08-19 2009-08-19 ロボットの制御装置及びロボットのティーチング方法

Publications (2)

Publication Number Publication Date
JP2011041990A JP2011041990A (ja) 2011-03-03
JP5428639B2 true JP5428639B2 (ja) 2014-02-26

Family

ID=43734729

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009190028A Active JP5428639B2 (ja) 2009-08-19 2009-08-19 ロボットの制御装置及びロボットのティーチング方法

Country Status (2)

Country Link
JP (1) JP5428639B2 (ja)
DE (1) DE102010037067B4 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017118000A1 (zh) * 2016-01-04 2017-07-13 杭州亚美利嘉科技有限公司 机器人轮径补偿方法和装置
KR102130617B1 (ko) * 2019-05-13 2020-07-06 주식회사 하나비전테크 로봇 위치 제어 장치 및 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102016001238B4 (de) 2016-02-04 2021-10-14 Audi Ag Anordnung und Verfahren zum Herstellen eines Bauteils
JP2018051728A (ja) * 2016-09-30 2018-04-05 ファナック株式会社 対象物の三次元位置を検出する検出方法および検出装置
CN108334075B (zh) * 2018-01-08 2021-08-20 浙江立石机器人技术有限公司 机器人轮胎绝对误差标定方法、装置及系统
JP7088800B2 (ja) * 2018-09-27 2022-06-21 ファナック株式会社 ロボットの円弧動作を制御するロボット制御装置
CN113405568B (zh) * 2021-06-03 2022-10-28 中国农业大学 视觉测量系统结构参数测量的方法、系统及电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60229109A (ja) * 1984-04-27 1985-11-14 Hitachi Ltd 視覚カメラによる位置補正システム
JP2767417B2 (ja) * 1986-08-29 1998-06-18 ファナック 株式会社 ロボツト制御装置
US5319443A (en) * 1991-03-07 1994-06-07 Fanuc Ltd Detected position correcting method
JP2778376B2 (ja) * 1992-08-24 1998-07-23 日本電気株式会社 カメラ視点変更方式
JPH0944218A (ja) * 1995-08-02 1997-02-14 Nippon Telegr & Teleph Corp <Ntt> 物体の位置姿勢補正方法及びロボットの教示経路補正方法
JPH11120351A (ja) * 1997-10-15 1999-04-30 Fujitsu Ltd 画像マッチング装置および画像マッチングプログラムを格納する記憶媒体
JP2961272B1 (ja) * 1998-09-09 1999-10-12 防衛庁技術研究本部長 特徴ベクトルを利用した物体の認識装置および方法
JP3654042B2 (ja) * 1999-04-21 2005-06-02 松下電工株式会社 物体特定方法及び装置
JP3803755B2 (ja) * 1999-12-29 2006-08-02 川崎重工業株式会社 ロボットシステムおよびその利用方法
JP3946711B2 (ja) * 2004-06-02 2007-07-18 ファナック株式会社 ロボットシステム
JP4957134B2 (ja) * 2006-09-12 2012-06-20 株式会社日立製作所 距離計測装置
JP4844453B2 (ja) * 2007-04-09 2011-12-28 株式会社デンソーウェーブ ロボットの教示装置及び教示方法
JP2009129318A (ja) * 2007-11-27 2009-06-11 Fuji Heavy Ind Ltd 画像処理装置
JP4347386B2 (ja) * 2008-01-23 2009-10-21 ファナック株式会社 加工用ロボットプラグラムの作成装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017118000A1 (zh) * 2016-01-04 2017-07-13 杭州亚美利嘉科技有限公司 机器人轮径补偿方法和装置
US10416674B2 (en) 2016-01-04 2019-09-17 Hangzhou Yameilijia Technology Co., Ltd. Wheel diameter compensation method and apparatus for robot
KR102130617B1 (ko) * 2019-05-13 2020-07-06 주식회사 하나비전테크 로봇 위치 제어 장치 및 방법

Also Published As

Publication number Publication date
DE102010037067A1 (de) 2011-04-14
DE102010037067B4 (de) 2020-10-15
JP2011041990A (ja) 2011-03-03

Similar Documents

Publication Publication Date Title
JP5428639B2 (ja) ロボットの制御装置及びロボットのティーチング方法
KR101813834B1 (ko) 화상처리장치, 화상처리방법 및 화상처리프로그램과 촬영보조기재
US9962839B2 (en) Robot apparatus, method for controlling the same, and computer program
CN106061427B (zh) 机器人臂设备、机器人臂控制方法和程序
JP5471355B2 (ja) 3次元視覚センサ
JP4844453B2 (ja) ロボットの教示装置及び教示方法
JP6504274B2 (ja) 三次元形状データおよびテクスチャ情報生成システム、撮影制御プログラム、及び三次元形状データおよびテクスチャ情報生成方法並びに情報記録媒体
JP6399832B2 (ja) パターンマッチング方法及びパターンマッチング装置
JP2009241247A (ja) ステレオ画像型検出移動装置
JP2011112402A (ja) 3次元視覚センサにおける計測有効領域の表示方法および3次元視覚センサ
JP2013049102A (ja) ロボットの制御装置及びロボットの姿勢決定方法
JP5729226B2 (ja) ロボットの位置姿勢補間方法及びロボットの制御装置
JPH08154321A (ja) 遠隔操作ロボット
JP2009269134A (ja) 視覚検査装置のシミュレーション装置
JP3834117B2 (ja) パラレルリンクロボットおよびその制御方法
JP2006026790A (ja) 教示モデル生成装置
JPH06131442A (ja) 3次元虚像造形装置
JP2019077026A (ja) 制御装置、ロボットシステム、制御装置の動作方法及びプログラム
US20220331972A1 (en) Robot Image Display Method, Recording Medium, And Robot Image Display System
JP2017134775A (ja) 画像処理装置、画像処理方法及びプログラム
CN112643718B (zh) 图像处理设备及其控制方法和存储其控制程序的存储介质
JP5447047B2 (ja) ロボットの制御装置及びロボットの制御方法
CN111699077B (zh) 用于机器人的基于视觉的操作
JPH0430981A (ja) 遠隔操縦型ロボットのテレビカメラ制御装置
JP7030906B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130604

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130910

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131118

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5428639

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250