JPH1011122A - 情報提示装置 - Google Patents
情報提示装置Info
- Publication number
- JPH1011122A JPH1011122A JP16224996A JP16224996A JPH1011122A JP H1011122 A JPH1011122 A JP H1011122A JP 16224996 A JP16224996 A JP 16224996A JP 16224996 A JP16224996 A JP 16224996A JP H1011122 A JPH1011122 A JP H1011122A
- Authority
- JP
- Japan
- Prior art keywords
- information
- unit
- robot
- image
- response
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/42—Recording and playback systems, i.e. in which the programme is recorded from a cycle of operations, e.g. the cycle of operations being manually controlled, after which this record is played back on the same machine
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/35—Nc in input of data, input till input file format
- G05B2219/35506—Camera images overlayed with graphics, model
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/37—Measurements
- G05B2219/37572—Camera, tv, vision
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Testing And Monitoring For Control Systems (AREA)
- Numerical Control (AREA)
- Manipulator (AREA)
- Digital Computer Display Output (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
(57)【要約】
【課題】 多大なコンピュータ・パワーやプログラムを
要せずにロボット動作前に教示に対する応答結果を提示
して、教示を簡略化し、教示時間を短縮する。 【解決手段】 状態計測部Ｓ１にて、ロボットと環境Ｓ
９の現在状態をＣＣＤカメラによって計測する。情報入
力部Ｓ２ｂにて、操作者は教示ペンダントによってロボ
ットの操作情報を入力する。状態推定部Ｓ３では、入力
された操作情報を基にロボットの操作後の応答を推定
し、推定された操作結果を画像で表示するための情報に
変換する。画像変換部Ｓ４では、カメラに関する情報と
状態推定部Ｓ３で算出した情報を基に、ロボットの応答
に関する画像情報を作成する。合成部Ｓ５では、状態計
測部Ｓ１によりＣＣＤカメラで計測した画像情報と、状
態推定部Ｓ３により推定されたロボットの応答に関する
画像情報を合成する。表示部Ｓ８では、合成部Ｓ５によ
り合成した情報を表示して操作者に対し提示する。
要せずにロボット動作前に教示に対する応答結果を提示
して、教示を簡略化し、教示時間を短縮する。 【解決手段】 状態計測部Ｓ１にて、ロボットと環境Ｓ
９の現在状態をＣＣＤカメラによって計測する。情報入
力部Ｓ２ｂにて、操作者は教示ペンダントによってロボ
ットの操作情報を入力する。状態推定部Ｓ３では、入力
された操作情報を基にロボットの操作後の応答を推定
し、推定された操作結果を画像で表示するための情報に
変換する。画像変換部Ｓ４では、カメラに関する情報と
状態推定部Ｓ３で算出した情報を基に、ロボットの応答
に関する画像情報を作成する。合成部Ｓ５では、状態計
測部Ｓ１によりＣＣＤカメラで計測した画像情報と、状
態推定部Ｓ３により推定されたロボットの応答に関する
画像情報を合成する。表示部Ｓ８では、合成部Ｓ５によ
り合成した情報を表示して操作者に対し提示する。
Description
【０００１】
【発明の属する技術分野】本発明は、工業製品の製造等
における工業用ロボットなどを有したシステムに対し
て、操作結果を予め提示する情報提示装置に関するもの
である。
における工業用ロボットなどを有したシステムに対し
て、操作結果を予め提示する情報提示装置に関するもの
である。
【０００２】
【従来の技術】今日、産業用ロボットが広く導入されて
いる。そこでのロボットへの教示は、主に教示ペンダン
トによって所望する位置や姿勢になるようにロボットを
操作することによって行っている。この時、教示ペンダ
ントは、ロボットへの動作コマンドを発行するのみであ
り、教示ペンダントでの操作がロボットの動作にどのよ
うに反映されるかを予め操作者は知ることができない。
そのため、操作者は、環境との干渉を考慮しつつロボッ
トを操作する必要があり、操作に対する習熟期間を要す
る。そこで、ロボットへの操作結果を予め操作者が知る
ことができれば便利である。
いる。そこでのロボットへの教示は、主に教示ペンダン
トによって所望する位置や姿勢になるようにロボットを
操作することによって行っている。この時、教示ペンダ
ントは、ロボットへの動作コマンドを発行するのみであ
り、教示ペンダントでの操作がロボットの動作にどのよ
うに反映されるかを予め操作者は知ることができない。
そのため、操作者は、環境との干渉を考慮しつつロボッ
トを操作する必要があり、操作に対する習熟期間を要す
る。そこで、ロボットへの操作結果を予め操作者が知る
ことができれば便利である。
【０００３】ロボットに作業を教示する方法は、教示ペ
ンダントによって実際にロボットを位置決めすべき位置
・姿勢に誘導操作し、そこでのロボットの位置・姿勢情
報を記憶させるリモートティーチが主流である。この手
法は、現場において実際のロボットを観察しながら教示
できるので、教示システムとしては簡易なもので実現で
きる。
ンダントによって実際にロボットを位置決めすべき位置
・姿勢に誘導操作し、そこでのロボットの位置・姿勢情
報を記憶させるリモートティーチが主流である。この手
法は、現場において実際のロボットを観察しながら教示
できるので、教示システムとしては簡易なもので実現で
きる。
【０００４】また、ロボットへの教示に関して、例え
ば、高橋等らは、ロボットと作業環境をコンピュータ・
グラフィクス技術を用いて仮想環境で表現し、この仮想
環境下で操作者がロボットへの操作を行い、その操作結
果をロボットで実現させる手法を提案している。（高
橋、“人工現実感を利用したロボット教示と実行システ
ム”、電子情報通信学会、ＨＣ９１−３，ｐｐ．１５−
２０，１９９１）。この手法は、ロボットの側に操作者
がいなくても教示できるため、安全上有効であり、製造
現場においても導入することは十分考えられる。
ば、高橋等らは、ロボットと作業環境をコンピュータ・
グラフィクス技術を用いて仮想環境で表現し、この仮想
環境下で操作者がロボットへの操作を行い、その操作結
果をロボットで実現させる手法を提案している。（高
橋、“人工現実感を利用したロボット教示と実行システ
ム”、電子情報通信学会、ＨＣ９１−３，ｐｐ．１５−
２０，１９９１）。この手法は、ロボットの側に操作者
がいなくても教示できるため、安全上有効であり、製造
現場においても導入することは十分考えられる。
【０００５】
【発明が解決しようとする課題】しかしながら、ロボッ
トに対し上記したリモートティーチを行った場合、教示
ペンダントは操作者からのボタン操作等による動作司令
のみをロボットに送り、その応答結果を操作者に提示す
ることができない。そのため、操作者は環境とロボット
の干渉が起こらないように、また、所望した動作をロボ
ットが実現するように、多大な習熟期間をかけてロボッ
トの操作を学習する必要がある。
トに対し上記したリモートティーチを行った場合、教示
ペンダントは操作者からのボタン操作等による動作司令
のみをロボットに送り、その応答結果を操作者に提示す
ることができない。そのため、操作者は環境とロボット
の干渉が起こらないように、また、所望した動作をロボ
ットが実現するように、多大な習熟期間をかけてロボッ
トの操作を学習する必要がある。
【０００６】一方、上記コンピュータ・グラフィクス技
術を用いた仮想環境下でのロボットに対する教示では、
ロボットと環境に関する正確な幾何モデルを必要とし、
これら幾何モデルの作成と実際の対象物との対応をとる
ために、多大なプログラムを作成する期間や手間を要す
る。また、実時間でコンピュータ・グラフィクスによっ
て表示を行う必要があり、多大なコンピュータ・パワー
を要するため、現実的に製造現場での導入は困難であ
る。
術を用いた仮想環境下でのロボットに対する教示では、
ロボットと環境に関する正確な幾何モデルを必要とし、
これら幾何モデルの作成と実際の対象物との対応をとる
ために、多大なプログラムを作成する期間や手間を要す
る。また、実時間でコンピュータ・グラフィクスによっ
て表示を行う必要があり、多大なコンピュータ・パワー
を要するため、現実的に製造現場での導入は困難であ
る。
【０００７】本発明は、従来のリモート教示において操
作者の操作結果に対するロボットの動作を予め操作者が
知ることができないため、多大なロボットに対する教示
時間や操作に関する習熟時間を要していた問題を、多大
なコンピュータ・パワーや多大なプログラムを用いるこ
となく解決して、教示コストを削減し、ロボットの利用
の推進を図るための情報提示装置を提供することを目的
とする。
作者の操作結果に対するロボットの動作を予め操作者が
知ることができないため、多大なロボットに対する教示
時間や操作に関する習熟時間を要していた問題を、多大
なコンピュータ・パワーや多大なプログラムを用いるこ
となく解決して、教示コストを削減し、ロボットの利用
の推進を図るための情報提示装置を提供することを目的
とする。
【０００８】
【課題を解決するための手段】上記の目的を達成するた
め、本発明は、状態を表示するための情報提示装置であ
って、現在のシステムの状態を外部から計測し画像情報
を獲得する状態計測部と、操作者が情報を入力するため
の情報入力部と、前記システムの内部の情報を入力する
内部情報入力部とを入力手段として持ち、操作者が入力
した前記情報による前記システムの応答を、前記システ
ムの内部の情報を基に事前に推定する状態推定部と、前
記推定したシステムの応答に関する情報を画像情報に変
換する画像変換部と、前記現在のシステムの画像情報と
前記推定したシステムの応答に関する画像情報を合成す
る合成部からなる情報処理手段を有し、前記合成した画
像情報を操作者に提示する表示部からなる出力手段を有
する、ことを特徴とする。
め、本発明は、状態を表示するための情報提示装置であ
って、現在のシステムの状態を外部から計測し画像情報
を獲得する状態計測部と、操作者が情報を入力するため
の情報入力部と、前記システムの内部の情報を入力する
内部情報入力部とを入力手段として持ち、操作者が入力
した前記情報による前記システムの応答を、前記システ
ムの内部の情報を基に事前に推定する状態推定部と、前
記推定したシステムの応答に関する情報を画像情報に変
換する画像変換部と、前記現在のシステムの画像情報と
前記推定したシステムの応答に関する画像情報を合成す
る合成部からなる情報処理手段を有し、前記合成した画
像情報を操作者に提示する表示部からなる出力手段を有
する、ことを特徴とする。
【０００９】また、前記画像変換部は、推定したシステ
ムの応答に関する情報を、状態計測部に関する情報、操
作者が入力した情報、及び、システムの内部の情報を基
に、矢印で表された画像情報に変換するものである、こ
とを特徴とする。これにより、簡易なグラフィックスに
よる表現が容易にできる。
ムの応答に関する情報を、状態計測部に関する情報、操
作者が入力した情報、及び、システムの内部の情報を基
に、矢印で表された画像情報に変換するものである、こ
とを特徴とする。これにより、簡易なグラフィックスに
よる表現が容易にできる。
【００１０】また、前記合成部は、操作者が入力した情
報に対する推定したシステムの応答に関する情報を変換
した画像情報と、状態計測部によって獲得された現在の
システムに関する画像情報を重ね合わせることによって
画像情報を合成するものである、ことを特徴とする。こ
れにより、システムに関する幾何モデル等が不要にな
る。
報に対する推定したシステムの応答に関する情報を変換
した画像情報と、状態計測部によって獲得された現在の
システムに関する画像情報を重ね合わせることによって
画像情報を合成するものである、ことを特徴とする。こ
れにより、システムに関する幾何モデル等が不要にな
る。
【００１１】また、前記出力部は、操作者が入力した情
報に対する推定したシステムの応答に関する情報を変換
した画像情報と、状態計測部によって獲得された現在の
システムに関する画像情報を合成した画像情報を２次元
画面に提示するものである、ことを特徴とする。これに
より、安価なモニタが使用可能になる。
報に対する推定したシステムの応答に関する情報を変換
した画像情報と、状態計測部によって獲得された現在の
システムに関する画像情報を合成した画像情報を２次元
画面に提示するものである、ことを特徴とする。これに
より、安価なモニタが使用可能になる。
【００１２】さらに、前記システムは、ロボットを具備
するものであり、前記内部情報入力部は、前記ロボット
に具備したセンサの計測結果を入力するものであり、前
記状態推定部は、状態計測部に関する情報、操作者が入
力した情報、及び、前記ロボットに具備したセンサの計
測結果を基に、前記ロボットの動作結果を推定するもの
であり、前記画像変換部は、その動作結果を矢印で表さ
れた画像情報に変換するものである、ことを特徴とす
る。これにより、ロボットと環境との干渉や動作の確認
が容易になり、ロボットの教示の簡略化・教示時間の短
縮が可能になる。
するものであり、前記内部情報入力部は、前記ロボット
に具備したセンサの計測結果を入力するものであり、前
記状態推定部は、状態計測部に関する情報、操作者が入
力した情報、及び、前記ロボットに具備したセンサの計
測結果を基に、前記ロボットの動作結果を推定するもの
であり、前記画像変換部は、その動作結果を矢印で表さ
れた画像情報に変換するものである、ことを特徴とす
る。これにより、ロボットと環境との干渉や動作の確認
が容易になり、ロボットの教示の簡略化・教示時間の短
縮が可能になる。
【００１３】本発明では、現在のシステム（例えば、ロ
ボットと環境）に関する画像情報を状態計測部で計測
し、システムが動く前に、情報入力部から入力した操作
者の情報に対するシステムの応答結果を状態推定部によ
って推定し、この応答結果を画像変換部によって簡易な
グラフィクスで表現し、現在のシステムの画像情報に合
成部によって合成して操作者に提示することにより、シ
ステムと環境等との干渉や動作の確認を容易にし、教示
の簡略化・教示時間の短縮を可能にして、教示コストを
低減させる。例えば、製造分野で用いられるロボットを
操作する場合等に、教示ペンダント等での操作によるロ
ボットの応答結果を、ロボットが動作する前に操作者に
提示可能とし、従来、ロボットの応答結果を予め参照で
きない教示ペンダント等に比べて、環境等との干渉や動
作の確認を容易に認識可能とし、教示の簡略化・教示時
間の短縮を可能にする。
ボットと環境）に関する画像情報を状態計測部で計測
し、システムが動く前に、情報入力部から入力した操作
者の情報に対するシステムの応答結果を状態推定部によ
って推定し、この応答結果を画像変換部によって簡易な
グラフィクスで表現し、現在のシステムの画像情報に合
成部によって合成して操作者に提示することにより、シ
ステムと環境等との干渉や動作の確認を容易にし、教示
の簡略化・教示時間の短縮を可能にして、教示コストを
低減させる。例えば、製造分野で用いられるロボットを
操作する場合等に、教示ペンダント等での操作によるロ
ボットの応答結果を、ロボットが動作する前に操作者に
提示可能とし、従来、ロボットの応答結果を予め参照で
きない教示ペンダント等に比べて、環境等との干渉や動
作の確認を容易に認識可能とし、教示の簡略化・教示時
間の短縮を可能にする。
【００１４】
【発明の実施の形態】以下、本発明の実施形態例を、図
を用いて詳細に説明する。
を用いて詳細に説明する。
【００１５】図１は、本発明に基づく実施形態例を、シ
ステムをロボットに定めて示したブロック構成図であ
る。本実施形態例による情報提示装置は、入力手段１、
情報処理手段２、および出力手段３で構成されている。
入力手段１は、現在のシステムＳ１０の状態を外部から
計測し画像情報を獲得する状態計測部Ｓ１、システムＳ
１０の内部の情報を入力する内部情報入力部Ｓ２ａ、お
よび操作者が情報を入力する情報入力部Ｓ２ｂから成
る。情報処理手段２は、操作者が入力した情報によるシ
ステムＳ１０の応答を、システムＳ１０の内部の情報を
基に事前に推定する状態推定部Ｓ３、推定したシステム
Ｓ１０の応答に関する情報を画像情報に変換する画像変
換部Ｓ４、および現在のシステムＳ１０の画像情報と推
定したシステムの画像情報を合成する合成部Ｓ５からな
る。出力手段３は、合成した情報を操作者に提示する表
示部Ｓ８からなる。なお、情報入力部Ｓ２ｂと表示部Ｓ
８とは、一つの画像端末により兼用可能である。
ステムをロボットに定めて示したブロック構成図であ
る。本実施形態例による情報提示装置は、入力手段１、
情報処理手段２、および出力手段３で構成されている。
入力手段１は、現在のシステムＳ１０の状態を外部から
計測し画像情報を獲得する状態計測部Ｓ１、システムＳ
１０の内部の情報を入力する内部情報入力部Ｓ２ａ、お
よび操作者が情報を入力する情報入力部Ｓ２ｂから成
る。情報処理手段２は、操作者が入力した情報によるシ
ステムＳ１０の応答を、システムＳ１０の内部の情報を
基に事前に推定する状態推定部Ｓ３、推定したシステム
Ｓ１０の応答に関する情報を画像情報に変換する画像変
換部Ｓ４、および現在のシステムＳ１０の画像情報と推
定したシステムの画像情報を合成する合成部Ｓ５からな
る。出力手段３は、合成した情報を操作者に提示する表
示部Ｓ８からなる。なお、情報入力部Ｓ２ｂと表示部Ｓ
８とは、一つの画像端末により兼用可能である。
【００１６】本実施形態例では、状態計測部Ｓ１におい
て、ロボットと環境Ｓ９の現在の状態を市販されている
ＣＣＤカメラによって計測する。そして、情報入力部Ｓ
２ｂにおいて、操作者は教示ペンダントによってロボッ
トの操作情報を入力する。状態推定部では、入力された
操作者の操作情報を基にロボットの操作後の応答を推定
し、操作者によるロボットの操作結果を画像で表示する
ための情報に変換する。画像変換部Ｓ４では、カメラに
関する情報と状態推定部Ｓ３で算出した情報を基に、画
像情報を作成する。合成部Ｓ５では、状態計測部Ｓ１に
よりＣＣＤカメラで計測した画像情報と、状態推定部Ｓ
３により推定されたロボットの応答に関する画像情報を
合成する。表示部Ｓ８では、合成部Ｓ８により合成した
画像情報を表示して操作者に対し提示する。
て、ロボットと環境Ｓ９の現在の状態を市販されている
ＣＣＤカメラによって計測する。そして、情報入力部Ｓ
２ｂにおいて、操作者は教示ペンダントによってロボッ
トの操作情報を入力する。状態推定部では、入力された
操作者の操作情報を基にロボットの操作後の応答を推定
し、操作者によるロボットの操作結果を画像で表示する
ための情報に変換する。画像変換部Ｓ４では、カメラに
関する情報と状態推定部Ｓ３で算出した情報を基に、画
像情報を作成する。合成部Ｓ５では、状態計測部Ｓ１に
よりＣＣＤカメラで計測した画像情報と、状態推定部Ｓ
３により推定されたロボットの応答に関する画像情報を
合成する。表示部Ｓ８では、合成部Ｓ８により合成した
画像情報を表示して操作者に対し提示する。
【００１７】図２を用いて、上記実施形態例の動作の詳
細について述べる。
細について述べる。
【００１８】〔状態計測部と情報入力部〕本実施形態例
では、状態計測部Ｓ１において、ロボットと環境の現在
の状態を市販されているＣＣＤカメラＳ１１によって計
測する。そして、情報入力部Ｓ２ｂにおいて、操作者は
市販の教示ペンダントＳ２１によってロボットの操作情
報Ｆ１を入力する。
では、状態計測部Ｓ１において、ロボットと環境の現在
の状態を市販されているＣＣＤカメラＳ１１によって計
測する。そして、情報入力部Ｓ２ｂにおいて、操作者は
市販の教示ペンダントＳ２１によってロボットの操作情
報Ｆ１を入力する。
【００１９】〔状態推定部〕 “状態の推定”状態推定部Ｓ３では、操作者の操作情報
Ｆ１（ロボットの位置Ｐnextと各軸毎の回転角αnext，
βnext，γnext）から同次変換行列Ｔnextを次式に基づ
いて求め、操作後のロボットの状態を算出、推定する
（Ｓ３１）。また、内部情報入力部Ｓ２ａから入力され
たシステムＳ１０内部の情報Ｆ２（現在のロボットＳ９
ａの位置Ｐcurrentと各軸毎の回転角αcurrent，β
current，γcurrent）から同次変換行列Ｔcurrentも次
式を基に算出する（Ｓ３１）。
Ｆ１（ロボットの位置Ｐnextと各軸毎の回転角αnext，
βnext，γnext）から同次変換行列Ｔnextを次式に基づ
いて求め、操作後のロボットの状態を算出、推定する
（Ｓ３１）。また、内部情報入力部Ｓ２ａから入力され
たシステムＳ１０内部の情報Ｆ２（現在のロボットＳ９
ａの位置Ｐcurrentと各軸毎の回転角αcurrent，β
current，γcurrent）から同次変換行列Ｔcurrentも次
式を基に算出する（Ｓ３１）。
【００２０】ここで、座標系Ａのｘ軸周りにγ、ｙ軸周
りにβ、ｚ軸周りにαだけ回転させた座標系Ｂの姿勢を
次式の回転行列で表現する。
りにβ、ｚ軸周りにαだけ回転させた座標系Ｂの姿勢を
次式の回転行列で表現する。
【００２１】
【数１】
【００２２】（ｃαはｃｏｓα、ｓαはｓｉｎαなどを
表しているとする。）すると、上記同次変換行列は以下
のようになる。
表しているとする。）すると、上記同次変換行列は以下
のようになる。
【００２３】
【数２】
【００２４】は、操作者が指定したロボットの手先の位
置と姿勢をワールド座標系に関して表現した位置ベクト
ルＰnext∈Ｒ3x1と回転行列next WＲｏｔ∈Ｒ3x3で構成
される同次変換行列、
置と姿勢をワールド座標系に関して表現した位置ベクト
ルＰnext∈Ｒ3x1と回転行列next WＲｏｔ∈Ｒ3x3で構成
される同次変換行列、
【００２５】
【数３】
【００２６】は、現在のロボットの手先の位置と姿勢を
ワールド座標系に関して表現した位置ベクトルＰ
current∈Ｒ3x1と回転行列current WＲｏｔ∈Ｒ3x3で構
成される同次変換行列、ｏ∈Ｒ3x1は、［０，０，０］T
である。
ワールド座標系に関して表現した位置ベクトルＰ
current∈Ｒ3x1と回転行列current WＲｏｔ∈Ｒ3x3で構
成される同次変換行列、ｏ∈Ｒ3x1は、［０，０，０］T
である。
【００２７】“表示情報の算出”次いで、推定したロボ
ットの位置と姿勢に関する同時変換行列Ｆ３（Ｐnext，
Ｐcurrent）から、次式に基づいて、ロボットの手先で
の並進ベクトルＰem∈Ｒ3x1を算出、生成する（Ｓ３
２）。
ットの位置と姿勢に関する同時変換行列Ｆ３（Ｐnext，
Ｐcurrent）から、次式に基づいて、ロボットの手先で
の並進ベクトルＰem∈Ｒ3x1を算出、生成する（Ｓ３
２）。
【００２８】Ｐem＝Ｐnext−Ｐcurrent ただし、Ｐnext∈Ｒ3x1は、Ｔnextから算出されるロボ
ットの手先の応答後のワールド座標系に関する位置ベク
トル、Ｐcurrent∈Ｒ3x1は、Ｔcurrentから算出される
ワールド座標系に関する現在のロボットの手先の位置ベ
クトルである。
ットの手先の応答後のワールド座標系に関する位置ベク
トル、Ｐcurrent∈Ｒ3x1は、Ｔcurrentから算出される
ワールド座標系に関する現在のロボットの手先の位置ベ
クトルである。
【００２９】また、次式に基づいて、ロボットの手先で
の回転ベクトルＲem∈Ｒ3x1を求める（Ｓ３２）。
の回転ベクトルＲem∈Ｒ3x1を求める（Ｓ３２）。
【００３０】Ｒem＝current WＲｏｔ・currentＲem ただし、currentＲem＝［θ・ｋｘ，θ・ｋｙ，θ・ｋ
ｚ］Tであり、この各要素は、 θ＝Ａｃｏｓ（（ｒ１１＋ｒ２２＋ｒ３３−１）／２）
ｚ］Tであり、この各要素は、 θ＝Ａｃｏｓ（（ｒ１１＋ｒ２２＋ｒ３３−１）／２）
【００３１】
【数４】
【００３２】で求められる。
【００３３】ここで、ｒ１１，ｒ１２，ｒ１３，ｒ２
１，ｒ２２，ｒ２３，ｒ３１，ｒ３２，ｒ３３は、姿勢
を表現する回転行列next currentＲｏｔ∈Ｒ3x3の要素で
あり、以下の式で求められる。
１，ｒ２２，ｒ２３，ｒ３１，ｒ３２，ｒ３３は、姿勢
を表現する回転行列next currentＲｏｔ∈Ｒ3x3の要素で
あり、以下の式で求められる。
【００３４】next current Ｒｏｔ＝current WＲｏｔ-1・next WＲｏｔ ただし、
【００３５】
【数５】
【００３６】〔画像変換部〕画像変換部では、カメラの
位置に関する情報Ｆ５（ｃ）と推定したロボットの手先
での並進ベクトルと回転ベクトルＦ４（Ｐem，Ｒem）か
ら、次式に基づいてカメラ撮像面に写像した並進・回転
ベクトルを作成する。
位置に関する情報Ｆ５（ｃ）と推定したロボットの手先
での並進ベクトルと回転ベクトルＦ４（Ｐem，Ｒem）か
ら、次式に基づいてカメラ撮像面に写像した並進・回転
ベクトルを作成する。
【００３７】Ｐimage＝Ｙ（ｃ）Ｐem Ｒimage＝Ｙ（ｃ）Ｒｅｍ ただし、Ｐｉｍａｇｅ∈Ｒ2x1は、カメラの撮像面に写
像された並進ベクトル Ｒimage∈Ｒ2x1は、カメラの撮像面に写像された回転ベ
クトル Ｙ（ｃ）∈Ｒ2x3は、ワールド座標系に関する並進ベク
トルと回転ベクトルをカメラの撮像面に写像するため
の、カメラ撮像面の位置姿勢とカメラの焦点で構成され
るパラメータｃから算出される変換行列。この変換行列
やパラメータｃは、カメラの撮像面への対象物の写像の
手法に依存し、例えば、公知の中心投象や並行投象に対
する座標変換行列とそれに伴うパラメータを用いる（今
宮他、“コンピュータグラフィックス”、日本コンピュ
ータ協会、ｐ．２３５〜ｐ．３２５）。
像された並進ベクトル Ｒimage∈Ｒ2x1は、カメラの撮像面に写像された回転ベ
クトル Ｙ（ｃ）∈Ｒ2x3は、ワールド座標系に関する並進ベク
トルと回転ベクトルをカメラの撮像面に写像するため
の、カメラ撮像面の位置姿勢とカメラの焦点で構成され
るパラメータｃから算出される変換行列。この変換行列
やパラメータｃは、カメラの撮像面への対象物の写像の
手法に依存し、例えば、公知の中心投象や並行投象に対
する座標変換行列とそれに伴うパラメータを用いる（今
宮他、“コンピュータグラフィックス”、日本コンピュ
ータ協会、ｐ．２３５〜ｐ．３２５）。
【００３８】ベクトルＹ（ｃ）Ｐcurrent∈Ｒ2x1で表現
される点を原点とした、並進・回転ベクトルＰimage，
Ｒimageを図１の矢印Ｓ６ａ，Ｓ６ｂのように表現した
画像情報Ｆ６を生成する。
される点を原点とした、並進・回転ベクトルＰimage，
Ｒimageを図１の矢印Ｓ６ａ，Ｓ６ｂのように表現した
画像情報Ｆ６を生成する。
【００３９】〔合成部〕合成部Ｓ５では、例えば、長谷
川等が用いたスーパーインポーズプレイ技術を応用し
て、ＣＣＤカメラＳ１１で計測した画像情報Ｓ７と、推
定されたロボットの応答に関する画像情報Ｆ６を画像合
成装置Ｓ５１を用いて合成する（長谷川、亀山、“概略
教示と自動精度改善によるロボット作業環境の幾何モデ
リング”、計測自動制御学会論文集、ｖｏｌ．２５，Ｎ
ｏ．１２，ｐｐ．１０９−１１６，１９８９）。
川等が用いたスーパーインポーズプレイ技術を応用し
て、ＣＣＤカメラＳ１１で計測した画像情報Ｓ７と、推
定されたロボットの応答に関する画像情報Ｆ６を画像合
成装置Ｓ５１を用いて合成する（長谷川、亀山、“概略
教示と自動精度改善によるロボット作業環境の幾何モデ
リング”、計測自動制御学会論文集、ｖｏｌ．２５，Ｎ
ｏ．１２，ｐｐ．１０９−１１６，１９８９）。
【００４０】〔表示部〕表示部Ｓ８では、市販されてい
るモニタＳ８１上に合成部Ｓ７で合成された情報Ｆ８を
提示する。
るモニタＳ８１上に合成部Ｓ７で合成された情報Ｆ８を
提示する。
【００４１】
【発明の効果】以上で述べたように、本発明によれば、
現在のシステム（例えば、ロボット等と環境）に関する
画像情報を計測し、システムが動く前に、操作者が入力
した情報に対するシステムの応答結果を推定し、この応
答結果を簡易なグラフィクスで表現し、上記の現在のシ
ステムの画像情報に合成して操作者に提示するような構
造になっていることから、システムが操作に応じて動作
する前に、表示部では現在のシステムの状態と操作に応
じたシステムの状態を画像等によって操作者に提示する
ことができる。
現在のシステム（例えば、ロボット等と環境）に関する
画像情報を計測し、システムが動く前に、操作者が入力
した情報に対するシステムの応答結果を推定し、この応
答結果を簡易なグラフィクスで表現し、上記の現在のシ
ステムの画像情報に合成して操作者に提示するような構
造になっていることから、システムが操作に応じて動作
する前に、表示部では現在のシステムの状態と操作に応
じたシステムの状態を画像等によって操作者に提示する
ことができる。
【００４２】その結果、システムが動作する前に、操作
者は操作に対するシステムの動作を知ることができ、シ
ステム（特にロボット等）と環境との干渉や動作の確認
を容易に認識することが可能となる。また、システムを
全てコンピュータ・グラフィクスで表示することに比べ
て、コンピュータにおける処理量を大幅に削減すること
ができる。すなわち、教示の簡略化・教示時間の短縮
が、高度なグラフィクス処理機構を有さないコンピュー
タを用いて可能となる。
者は操作に対するシステムの動作を知ることができ、シ
ステム（特にロボット等）と環境との干渉や動作の確認
を容易に認識することが可能となる。また、システムを
全てコンピュータ・グラフィクスで表示することに比べ
て、コンピュータにおける処理量を大幅に削減すること
ができる。すなわち、教示の簡略化・教示時間の短縮
が、高度なグラフィクス処理機構を有さないコンピュー
タを用いて可能となる。
【図１】本発明の一実施形態例を示すシステム構成図。
【図２】上記実施形態例における情報の処理を説明する
ブロック図。
ブロック図。
１…入力手段 ２…情報処理手段 ３…出力手段 Ｓ１…状態計測部 Ｓ２ａ…内部情報入力部 Ｓ２ｂ…情報入力部 Ｓ３…状態推定部 Ｓ４…画像変換部 Ｓ５…合成部 Ｓ６ａ…ロボット手先の並進方向の応答を表現する矢印 Ｓ６ｂ…ロボット手先の回転方向の応答を表現する矢印 Ｓ７…カメラで得られたロボットと環境の画像 Ｓ８…表示部 Ｓ９…ロボットと環境 Ｓ１０…システム Ｆ１…Ｐnext，αnext，βnext，γnext Ｆ２…Ｐcurrent，αcurrent，βcurrent，γcurrent Ｆ３…Ｔcurrent，Ｔnext Ｆ４…Ｐem，Ｒem Ｆ５…ｃ Ｆ６…Ｐimage，Ｒimageから生成した画像情報 Ｆ７…カメラで得られたロボットと環境の画像情報 Ｆ８…合成した画像情報
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０５Ｂ 23/02 ３０１ Ｇ０５Ｂ 19/405 Ｇ０６Ｆ 3/14 ３２０
Claims (5)
- 【請求項１】 状態を表示するための情報提示装置であ
って、 現在のシステムの状態を外部から計測し画像情報を獲得
する状態計測部と、操作者が情報を入力するための情報
入力部と、前記システムの内部の情報を入力する内部情
報入力部とを入力手段として持ち、 操作者が入力した前記情報による前記システムの応答
を、前記システムの内部の情報を基に事前に推定する状
態推定部と、前記推定したシステムの応答に関する情報
を画像情報に変換する画像変換部と、前記現在のシステ
ムの画像情報と前記推定したシステムの応答に関する画
像情報を合成する合成部からなる情報処理手段を有し、 前記合成した画像情報を操作者に提示する表示部からな
る出力手段を有する、ことを特徴とする情報提示装置。 - 【請求項２】 画像変換部は、推定したシステムの応答
に関する情報を、状態計測部に関する情報、操作者が入
力した情報、及び、システムの内部の情報を基に、矢印
で表された画像情報に変換するものである、 ことを特徴とする請求項１に記載の情報提示装置。 - 【請求項３】 合成部は、操作者が入力した情報に対す
る推定したシステムの応答に関する情報を変換した画像
情報と、状態計測部によって獲得された現在のシステム
に関する画像情報を重ね合わせることによって画像情報
を合成するものである、 ことを特徴とする請求項１に記載の情報提示装置。 - 【請求項４】 出力部は、操作者が入力した情報に対す
る推定したシステムの応答に関する情報を変換した画像
情報と、状態計測部によって獲得された現在のシステム
に関する画像情報を合成した画像情報を２次元画面に提
示するものである、 ことを特徴とする請求項１または請求項２または請求項
３に記載の情報提示装置。 - 【請求項５】 システムは、ロボットを具備するもので
あり、 内部情報入力部は、前記ロボットに具備したセンサの計
測結果を入力するものであり、 状態推定部は、状態計測部に関する情報、操作者が入力
した情報、及び、前記ロボットに具備したセンサの計測
結果を基に、前記ロボットの動作結果を推定するもので
あり、 画像変換部は、その動作結果を矢印で表された画像情報
に変換するものである、 ことを特徴とする請求項１に記載の情報提示装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16224996A JPH1011122A (ja) | 1996-06-24 | 1996-06-24 | 情報提示装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16224996A JPH1011122A (ja) | 1996-06-24 | 1996-06-24 | 情報提示装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1011122A true JPH1011122A (ja) | 1998-01-16 |
Family
ID=15750840
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16224996A Pending JPH1011122A (ja) | 1996-06-24 | 1996-06-24 | 情報提示装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1011122A (ja) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6853881B2 (en) * | 2001-04-05 | 2005-02-08 | Fanuc Ltd. | Robot information processing system |
| EP1526951A1 (en) * | 2002-05-24 | 2005-05-04 | Abb Research Ltd. | A method and a system for programming an industrial robot |
| JP2006243875A (ja) * | 2005-03-01 | 2006-09-14 | Denso Corp | 可動部の操作装置及び操作方法 |
| JP2006331012A (ja) * | 2005-05-25 | 2006-12-07 | Jtekt Corp | 工作機械の操作支援システム |
| WO2007010773A1 (ja) * | 2005-07-22 | 2007-01-25 | Honda Motor Co., Ltd. | 移動ロボットの制御装置 |
| US7236854B2 (en) | 2004-01-05 | 2007-06-26 | Abb Research Ltd. | Method and a system for programming an industrial robot |
| JP2008093813A (ja) * | 2006-10-16 | 2008-04-24 | Yamatake Corp | 作業支援装置および方法 |
| JP2017097602A (ja) * | 2015-11-24 | 2017-06-01 | 三菱重工業株式会社 | 無人機の制御装置および制御方法 |
| CN111376269A (zh) * | 2020-03-04 | 2020-07-07 | 北京海益同展信息科技有限公司 | 物体抓取方法及装置、存储介质及电子设备 |
| KR20210070677A (ko) * | 2019-12-05 | 2021-06-15 | 주식회사 큐엔티 | 로봇의 이상 상태를 출력하는 방법 및 장치 |
| JP2022054138A (ja) * | 2020-09-25 | 2022-04-06 | 日立Ｇｅニュークリア・エナジー株式会社 | 作業シミュレーション装置および学習装置 |
-
1996
- 1996-06-24 JP JP16224996A patent/JPH1011122A/ja active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6853881B2 (en) * | 2001-04-05 | 2005-02-08 | Fanuc Ltd. | Robot information processing system |
| EP1526951A1 (en) * | 2002-05-24 | 2005-05-04 | Abb Research Ltd. | A method and a system for programming an industrial robot |
| US7353081B2 (en) | 2002-05-24 | 2008-04-01 | Abb Research Ltd. | Method and a system for programming an industrial robot |
| US7236854B2 (en) | 2004-01-05 | 2007-06-26 | Abb Research Ltd. | Method and a system for programming an industrial robot |
| JP2006243875A (ja) * | 2005-03-01 | 2006-09-14 | Denso Corp | 可動部の操作装置及び操作方法 |
| JP2006331012A (ja) * | 2005-05-25 | 2006-12-07 | Jtekt Corp | 工作機械の操作支援システム |
| JP2007030060A (ja) * | 2005-07-22 | 2007-02-08 | Honda Motor Co Ltd | 移動ロボットの制御装置 |
| WO2007010773A1 (ja) * | 2005-07-22 | 2007-01-25 | Honda Motor Co., Ltd. | 移動ロボットの制御装置 |
| KR100978356B1 (ko) * | 2005-07-22 | 2010-08-26 | 혼다 기켄 고교 가부시키가이샤 | 이동 로봇의 제어장치 |
| US7970492B2 (en) | 2005-07-22 | 2011-06-28 | Honda Motor Co., Ltd. | Mobile robot control system |
| JP2008093813A (ja) * | 2006-10-16 | 2008-04-24 | Yamatake Corp | 作業支援装置および方法 |
| JP2017097602A (ja) * | 2015-11-24 | 2017-06-01 | 三菱重工業株式会社 | 無人機の制御装置および制御方法 |
| KR20210070677A (ko) * | 2019-12-05 | 2021-06-15 | 주식회사 큐엔티 | 로봇의 이상 상태를 출력하는 방법 및 장치 |
| CN111376269A (zh) * | 2020-03-04 | 2020-07-07 | 北京海益同展信息科技有限公司 | 物体抓取方法及装置、存储介质及电子设备 |
| JP2022054138A (ja) * | 2020-09-25 | 2022-04-06 | 日立Ｇｅニュークリア・エナジー株式会社 | 作業シミュレーション装置および学習装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5378374B2 (ja) | リアルオブジェクトに対するカメラの位置および方向を把握する方法およびシステム | |
| US4956790A (en) | Instruction system of remote-control robot | |
| US8994729B2 (en) | Method for simulating operation of object and apparatus for the same | |
| JP4667111B2 (ja) | 画像処理装置、画像処理方法 | |
| JP4167954B2 (ja) | ロボット及びロボット移動方法 | |
| US9974618B2 (en) | Method for determining an imaging specification and image-assisted navigation as well as device for image-assisted navigation | |
| WO2012173141A1 (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| US20040090444A1 (en) | Image processing device and method therefor and program codes, storing medium | |
| Richter et al. | Augmented reality predictive displays to help mitigate the effects of delayed telesurgery | |
| US20030080976A1 (en) | Image display apparatus, method and recording medium | |
| JP4967858B2 (ja) | カメラとロボット間のキャリブレーション方法及びその装置 | |
| JP2002092647A (ja) | 情報呈示システム及びモデル誤差検出システム | |
| JP2011112400A (ja) | ３次元視覚センサ | |
| JP2001060108A (ja) | ロボット動作教示装置および動作教示方法 | |
| JPH1011122A (ja) | 情報提示装置 | |
| JP6576042B2 (ja) | 表示制御装置及びその方法、プログラム | |
| JP2008100315A (ja) | 制御シミュレーションシステム | |
| US11422625B2 (en) | Proxy controller suit with optional dual range kinematics | |
| JP7564327B2 (ja) | 教示装置 | |
| JP2009087161A (ja) | 画像処理装置、画像処理方法 | |
| JP2009048237A (ja) | 画像処理装置、画像処理方法 | |
| KR20190048810A (ko) | 증강현실용 컨텐츠 제공 장치 및 방법 | |
| JP4926598B2 (ja) | 情報処理方法、情報処理装置 | |
| JPH06250730A (ja) | 産業用ロボットの教示装置 | |
| JP3560216B2 (ja) | 作業支援装置 |