JP7068416B2 - 拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法 - Google Patents
拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法 Download PDFInfo
- Publication number
- JP7068416B2 JP7068416B2 JP2020179992A JP2020179992A JP7068416B2 JP 7068416 B2 JP7068416 B2 JP 7068416B2 JP 2020179992 A JP2020179992 A JP 2020179992A JP 2020179992 A JP2020179992 A JP 2020179992A JP 7068416 B2 JP7068416 B2 JP 7068416B2
- Authority
- JP
- Japan
- Prior art keywords
- robot
- display device
- virtual model
- model
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Manipulator (AREA)
Description
(A1)使用者12がハンド22又はロボット先端に取り付けたツールの仮想モデル22aに視線を合わせ、仮想モデル22aを指でつまむジェスチャーをすることにより、表示制御部24は、モデル22aを動かせる状態にする。
(A2)使用者12は、仮想モデル22aをつまんだ状態のまま手を動かし、モデル22aを教示したい位置及び姿勢に移動させる。表示制御部24は、使用者12の手の動きに合わせてモデル22aを動かす。なお移動距離が比較的長い場合は、使用者12が現場(環境内)を移動してもよい。
(A3)モデル22aが所望の位置に到達したら、使用者12は手を開くジェスチャーを行い、位置姿勢規定部28は、そのときのモデル22aの位置及び姿勢を教示点等として設定(メモリに記憶)する。
表示制御部24は、表示装置18(のディスプレイ34)にロボット14全体の仮想モデルを表示させる。使用者12は、該全体のモデルも移動させて教示したい場合は、例えば次のような動作を行う。
(B1)図8に例示するように、使用者12がロボット14全体の仮想(3D)モデル59をジェスチャー操作等によって現実のロボット14に重畳表示させ、モデル59に視線を合わせてエアタップすると、ロボットモデル59の近傍の空間上に各軸の位置を調整するためのバー60が表示される。なおここではロボット14は6軸の多関節ロボットなので、6つのバー60がモデル59の各軸の近傍に表示される。
(B2)使用者12がある軸(対象軸)に視線を合わせてエアタップし、バー60を指でつまむジェスチャーにより、表示制御部24は、モデル59を動かせる状態にする。
(B3)使用者12は、バー60をつまんだ状態のまま円弧を描くように手を動かし、モデル59の対象軸の位置を教示したい位置に動かす。表示制御部24は、使用者12の手の動きに合わせてモデル59を動かす。このとき、実際のロボット14を動かす必要はない。
(B4)対象軸が所望の位置に移動したら、使用者12は手を開くジェスチャーを行い、位置姿勢規定部28は、対象軸をその位置に固定(設定)する。
(B5)(B3)-(B4)の処理を必要に応じて他の軸についても行い、最後に、使用者12が各軸以外のロボットの部分に視線を合わせてエアタップすると、そのときのロボットモデル59の位置及び姿勢(各軸の位置)が教示点等として設定される。
(C1)使用者12が、ハンド22a等のツールに視線を合わせてエアタップすると、図9に例示するように、ツール近傍の空間に、そのツールに定義されたツール座標系62と、そのツールの仮想モデルを操作する複数の操作ボタン64及び適用されるジョグのモードが表示される。例えば、この例では、適用されるジョグのモードが直交ジョグであることを表す「直交」が示される。なお、表示されるジョグのモード表示には、直交ジョグの他、例えば、各軸ジョグであることを表す「各軸」、または、特定の座標系で定義される直交ジョグであることを表すその特定の座標系の表記(例えば、ツール座標系で定義される場合には、「ツール」など)が含まれてもよい。また、適用されるジョグのモードに応じて、表示される操作ボタン64の表記が変更されてもよい。例えば、直交ジョグが適用される場合の「+X」、「-X」等の代わりに、操作対象となる軸を表す「+J1」等が表示されてもよい。さらに、表示される操作ボタン64の数は、ロボット14が有する軸の数または付加軸の数に応じて変更されてもよい。
(C2)使用者12がボタン64のいずれかに視線を合わせてエアタップすると、ボタン64の近傍に表示された割合(図示例では10%)に応じてモデル22aが所定距離移動する。モデル22aを連続的に移動させたい場合は、使用者12は、対象のボタンに視線を合わせた状態で所定の動作(例えば握り拳(いわゆるグー)を作るジェスチャー)をする。この移動でも、ボタン64の近傍に表示された割合(図示例では10%)に応じた速度でモデル22aが移動する。例えば、ロボット14の最大移動速度(例えば、250mm/s)が100%として設定され、かつ、10%と表示されているときは、モデルが指定された方向に最大速度の10%(例えば25mm/s)の速度で移動する。これは後述する直交ジョグ操作でも同様である。この場合は例えば、手を開く動作(いわゆるパーを作るジェスチャー)をしたときに、モデル22aの移動を停止させることができる。なお割合(%)を変更したい場合は、使用者12が%表示65に視線を合わせてエアタップすることにより、数値入力を受け付けるボタン(図示せず)等を表示させることができる。
(C3)ハンド22a又はツールを教示すべき位置に移動させたら、使用者12はモデル22aに視線を合わせてエアタップし、これによりモデル22aの位置及び姿勢が設定(メモリ等に記憶)され、ツール座標系62とボタン64は非表示となる。
(D1)使用者12が、ハンド22a等のツールに視線を合わせてエアタップすると、図10又は図11に例示するように、ツール近傍の空間に、そのツールの仮想モデルを操作する直交ジョグ66又は68と、モデルを移動させる速度を割合で示す情報70又は72が表示される。
(D2)使用者12が直交ジョグ66に視線を合わせてエアタップすると、直交ジョグ66のボタン74をつまんで操作できるようになり、ボタン74をつまんで所望の方向(図示例では+X、-X、+Y、-Y、+Z、-Zのいずれか)に移動させることにより、ツールをその方向に指定された速度(例えば最高速度の10%)で移動させることができる。同様に、使用者12が直交ジョグ68に視線を合わせてエアタップすると、直交ジョグ68のX軸76、Y軸78及びZ軸80のいずれかをつまんで操作できるようになり、使用者12がつまんだ軸を時計回り又は反時計回りのいずれかに回転させることにより、所望の方向(図示例では+X、-X、+Y、-Y、+Z、-Zのいずれか)に指定された速度でハンド22などの仮想モデルを回転移動させることができる。
(D3)ハンド22a又はツールを教示すべき位置に移動させたら、使用者12はモデル22aに視線を合わせてエアタップし、これによりモデル22aの位置及び姿勢が確定(一時的に記憶)され、直交ジョグ66又は68、及び情報70又は72は非表示となる。なお、図10では、ボタン74、図11では、X軸76、Y軸78及びZ軸80の何れかをつまむことでツールが操作されるが、図10または図11に示されている矢印が操作用のボタンとして表示されてもよい。この場合には、図9に示されるボタン操作と同様の操作が実行可能とされてもよい。
(E2)表示制御部24は、定義したワークモデル56を、現実のワーク52に重畳表示させる。
(E3)図7に示すように、表示制御部24は、吸着ハンド54のモデルを現実の世界に投影して、使用者12は、ワーク52を吸着するときのハンド54の位置及び姿勢を教示する。すると、表示制御部24によって表示装置(拡張現実対応ディスプレイ)18は、その時の吸着ハンド54のモデルと使用者12が定義したモデル56とが所望の位置関係で配置された状態のモデルを、その教示点の位置番号(ここではイチ[1]-[3])とともにモデル一覧に表示することができる。このようにすることで、ロボット制御装置10は、現実のロボット14を実際に動かすことなく、ロボット14が周辺物等と干渉しないような搬送経路の教示を、視覚的にわかり易く行うことができる。また、周知の画像認識技術を使用することにより、現実のワークのどの部位を吸着・保持すべきかを教示する必要がないシステムにおいては、ハンドの中心点に対して使用者がモデルを定義し、モデルの一覧に加えることができる。
図9に示されるように、ツールモデルに表示するツール座標系62は、ツールモデルごとにいくつか設定でき、その座標系は、ロボットの端点に定義されている座標系に対してどのような相対関係にあるかで定義される。ツールモデルごとにツール座標系を定義するため、モデルの一覧が表示されるメニュー50では、ツールモデルは、そのツール座標系を定義した番号とともに表示される。このようにツール座標系62とともに定義されたツールモデルを現実の世界に投影した時、表示装置の制御部が任意に定義する基準座標系上でツールモデルがどのような位置及び姿勢で存在するかは、行列で表すことができる。ここで、ロボット制御装置の制御部(図示せず)が任意に定義するワールド座標系上でのツールモデルの位置及び姿勢(ワールド座標系から見たツール座標系の位置及び姿勢)は、位置姿勢取得部20で取得した表示装置とロボットの相対位置関係から得られる、ワールド座標系から見た基準座標系の位置及び姿勢を表す変換行列Aと、基準座標系から見たツールモデルの位置及び姿勢を表す行列Bの積で表せる。このワールド座標系上でのツールモデルの位置及び姿勢に基づいて逆運動学を解くことで、位置姿勢規定部28は、ロボットの各軸位置を算出できる。位置姿勢規定部28は、この算出した各軸位置がロボットごとに定義される各軸の動作制限や自己干渉式による動作制限の範囲内であればロボットが到達可能であると判定できる。
ロボット制御装置の制御部と表示装置の制御部の機能が一つにまとめられている場合など、表示装置の基準座標系がワールド座標系と一致する場合には、位置姿勢規定部28は、ツールモデルの位置及び姿勢に基づいて逆運動学を解くことで、ロボットの各軸位置を求め、それによって到達可能か否かを判定すればよい。
また、特定したロボットの位置及び姿勢の情報は本実施例のように教示以外の用途に使用されてもよい。
図13は、表示装置18を介して使用者12に見えている画像であり、実在するロボット14のハンド22に対し、ハンド22の仮想(3D)モデル22aを重畳表示した状態を示す。ここで、使用者12の操作に応じて、基準座標系86に対してどの位置及び姿勢で3Dモデル22aを表示するかは、表示装置18の制御部等によって予め決められており、一方、使用者12の操作やプログラムの実行に応じて、ワールド座標系に対してどの位置及び姿勢でロボットの制御点を制御するかは、ロボットを制御する制御部等によって予め決められている。従って使用者12が、ツール(ハンド)の3Dモデル22aと現実のツール22とを表示装置18の画面34上で一致させることにより、位置姿勢取得部20は、以下の手順でロボット14に対する表示装置18の相対位置関係を計測できる。
実施例1では、ロボットの一部について現実の環境又は画像に仮想画像を一致させたが、実施例2では、表示装置18は、ロボット全体の3Dモデルを表示し、使用者は、そのモデルを現実のロボットと一致する(重なる)ように移動させる。この状態で、表示装置18の制御部は、3Dモデルの位置(の原点等)を、現実にロボット14(の原点等)が存在する位置として認識できる。また位置姿勢取得部20は、実施例1と同様の手順で、ワールド座標系84における表示装置18の位置を求めることができる。
実施例1及び2では、一つの位置において、ロボット制御装置10は、ロボット全体又は一部について現実の環境又は画像に仮想画像を一致させたが、複数の位置を用いて誤差を平均化し、精度を上げることができる。具体的な方法としては、座標系をロボットに教示する際に使われる3点教示法(後述)や4点教示法が挙げられる。
12 使用者
14 ロボット
18 表示装置
20 位置姿勢取得部
22、22a、22b ハンド
24 表示制御部
26 操作制御部
28 位置姿勢規定部
30 プログラム生成部
32、36 カメラ
34、38 ディスプレイ
42、52 ワーク
50 メニュー画面
56 ワークモデル
58 箱
60 バー
62 ツール座標系
64 操作ボタン
66、68 直交ジョグ
82 プログラム編集画面
84 ワールド座標系
86 基準座標系
Claims (6)
- 現実の環境に含まれるロボットと表示装置の相対的な位置及び姿勢を取得する位置姿勢取得部と、
前記ロボット、前記ロボットの可動部、当該可動部で支持される物体及び当該可動部の作業対象物の少なくとも一つの仮想モデルを、前記表示装置に表示させる表示制御部と、
前記表示装置に表示された前記仮想モデルを操作する操作制御部と、
前記仮想モデルの位置及び姿勢の少なくとも一方と、前記位置姿勢取得部が取得した前記相対的な位置及び姿勢とに基づいて、前記ロボットの位置及び姿勢の少なくとも一方を規定する位置姿勢規定部と、
を備えるロボット制御装置。 - 表示装置に、現実の環境に含まれるロボット、前記ロボットの可動部、当該可動部で支持される被支持物及び当該可動部の作業対象物の少なくとも一つの物体の仮想モデルを表示させる表示制御部と、
前記表示装置に表示された前記仮想モデルを操作する操作制御部と、
前記物体と前記表示装置に表示された前記仮想モデルとが一致するときの、前記物体または前記仮想モデルの位置及び姿勢の少なくとも一方に基づいて、前記ロボットと前記表示装置との相対的な位置及び姿勢の少なくとも一方を取得する位置姿勢取得部と、
を備えるロボット制御装置。 - 現実の環境に含まれるロボットと表示装置の相対的な位置及び姿勢の取得と、
前記ロボット、前記ロボットの可動部、当該可動部で支持される物体及び当該可動部の作業対象物の少なくとも一つの仮想モデルの前記表示装置への表示と、
前記表示装置に表示された前記仮想モデルの操作と、
前記仮想モデルの位置及び姿勢の少なくとも一方と、前記相対的な位置及び姿勢とに基づいて、前記ロボットの位置及び姿勢の少なくとも一方の規定をプロセッサに実行させるためのロボットの位置姿勢規定用コンピュータプログラム。 - 現実の環境に含まれるロボット、前記ロボットの可動部、当該可動部で支持される被支持物及び当該可動部の作業対象物の少なくとも一つの物体の仮想モデルの表示装置への表示と、
前記表示装置に表示された前記仮想モデルの操作と、
前記物体と前記表示装置に表示された前記仮想モデルとが一致するときの、前記物体または前記仮想モデルの位置及び姿勢の少なくとも一方に基づいて、前記ロボットと前記表示装置との相対的な位置及び姿勢の少なくとも一方の取得をプロセッサに実行させるための相対位置姿勢取得用コンピュータプログラム。 - 現実の環境に含まれるロボットと表示装置の相対的な位置及び姿勢の取得と、
前記ロボット、前記ロボットの可動部、当該可動部で支持される物体及び当該可動部の作業対象物の少なくとも一つの仮想モデルの前記表示装置への表示と、
前記表示装置に表示された前記仮想モデルの操作と、
前記仮想モデルの位置及び姿勢の少なくとも一方と、前記相対的な位置及び姿勢とに基づいて、前記ロボットの位置及び姿勢の少なくとも一方の規定を行う、
ことを含むロボットの位置姿勢規定方法。 - 現実の環境に含まれるロボット、前記ロボットの可動部、当該可動部で支持される被支持物及び当該可動部の作業対象物の少なくとも一つの物体の仮想モデルの表示装置への表示と、
前記表示装置に表示された前記仮想モデルの操作と、
前記物体と前記表示装置に表示された前記仮想モデルとが一致するときの、前記物体または前記仮想モデルの位置及び姿勢の少なくとも一方に基づいて、前記ロボットと前記表示装置との相対的な位置及び姿勢の少なくとも一方の取得を行う
ことを含む相対位置姿勢取得方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020179992A JP7068416B2 (ja) | 2020-10-27 | 2020-10-27 | 拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020179992A JP7068416B2 (ja) | 2020-10-27 | 2020-10-27 | 拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018187680A Division JP6787966B2 (ja) | 2018-10-02 | 2018-10-02 | 拡張現実と複合現実を用いたロボット制御装置及び表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021008033A JP2021008033A (ja) | 2021-01-28 |
JP7068416B2 true JP7068416B2 (ja) | 2022-05-16 |
Family
ID=74199199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020179992A Active JP7068416B2 (ja) | 2020-10-27 | 2020-10-27 | 拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7068416B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014180707A (ja) | 2013-03-18 | 2014-09-29 | Yaskawa Electric Corp | ロボット装置及び被加工物の製造方法 |
JP2016107379A (ja) | 2014-12-08 | 2016-06-20 | ファナック株式会社 | 拡張現実対応ディスプレイを備えたロボットシステム |
JP2017104944A (ja) | 2015-12-10 | 2017-06-15 | ファナック株式会社 | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム |
JP2019098513A (ja) | 2017-11-28 | 2019-06-24 | 株式会社デンソーウェーブ | 教示装置、教示方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9916506B1 (en) * | 2015-07-25 | 2018-03-13 | X Development Llc | Invisible fiducial markers on a robot to visualize the robot in augmented reality |
-
2020
- 2020-10-27 JP JP2020179992A patent/JP7068416B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014180707A (ja) | 2013-03-18 | 2014-09-29 | Yaskawa Electric Corp | ロボット装置及び被加工物の製造方法 |
JP2016107379A (ja) | 2014-12-08 | 2016-06-20 | ファナック株式会社 | 拡張現実対応ディスプレイを備えたロボットシステム |
JP2017104944A (ja) | 2015-12-10 | 2017-06-15 | ファナック株式会社 | 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム |
JP2019098513A (ja) | 2017-11-28 | 2019-06-24 | 株式会社デンソーウェーブ | 教示装置、教示方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2021008033A (ja) | 2021-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6787966B2 (ja) | 拡張現実と複合現実を用いたロボット制御装置及び表示装置 | |
CN110394780B (zh) | 机器人的仿真装置 | |
US10737396B2 (en) | Method and apparatus for robot path teaching | |
JP7490349B2 (ja) | 入力装置、入力装置の制御方法、ロボットシステム、ロボットシステムを用いた物品の製造方法、制御プログラム及び記録媒体 | |
US20190202058A1 (en) | Method of programming an industrial robot | |
EP1537959B1 (en) | A method and a system for programming an industrial robot | |
US11173601B2 (en) | Teaching device for performing robot teaching operations and teaching method | |
US20150273689A1 (en) | Robot control device, robot, robotic system, teaching method, and program | |
CN111093903B (zh) | 机器人系统及其运行方法 | |
US20050251290A1 (en) | Method and a system for programming an industrial robot | |
US20190160671A1 (en) | Robot control device for setting jog coordinate system | |
JP5108032B2 (ja) | 多関節構造体教示装置 | |
JP2014512530A (ja) | 座標位置決め装置 | |
JP2004243516A (ja) | コンピュータによって生成された情報を現実環境の画像へとフェードインするための方法、およびコンピュータによって生成された情報を現実環境の画像に視覚化するための装置 | |
US20210162600A1 (en) | Method of programming an industrial robot | |
US10690474B2 (en) | Operation method of position measuring device | |
JP6457208B2 (ja) | ロボットへの動作指示システム及び動作指示方法 | |
JP7068416B2 (ja) | 拡張現実と複合現実を用いたロボット制御装置、ロボットの位置姿勢規定用コンピュータプログラム及びロボットの位置姿勢規定方法、相対位置姿勢取得用コンピュータプログラム及び相対位置姿勢取得方法 | |
JP7493816B2 (ja) | ロボット、システム、方法及びプログラム | |
CN115213894A (zh) | 机器人图像的显示方法、显示系统以及记录介质 | |
CN111899629A (zh) | 柔性机器人教学系统和方法 | |
CN117519469A (zh) | 一种应用于人机交互的空间交互装置及方法 | |
JP2023017441A (ja) | 画像処理装置 | |
JP2023017440A (ja) | 画像処理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201027 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220104 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220405 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220428 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7068416 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |