JPH11239989A - ロボットシミュレーションにおけるキャリブレーション装置 - Google Patents
ロボットシミュレーションにおけるキャリブレーション装置Info
- Publication number
- JPH11239989A JPH11239989A JP4383898A JP4383898A JPH11239989A JP H11239989 A JPH11239989 A JP H11239989A JP 4383898 A JP4383898 A JP 4383898A JP 4383898 A JP4383898 A JP 4383898A JP H11239989 A JPH11239989 A JP H11239989A
- Authority
- JP
- Japan
- Prior art keywords
- image
- robot
- graphics
- simulation model
- simulation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Numerical Control (AREA)
- Manipulator (AREA)
Abstract
(57)【要約】
【課題】 ロボットシミュレーションにおいて、正確な
センサ情報を用いることなく、シミュレーションモデル
のキャリブレーションを行うことが課題である。 【解決手段】 ロボットに装着されたカメラにより、ロ
ボットの操作対象物の画像８１を撮影し、シミュレーシ
ョンモデルに基づいて、カメラと同じ画角、視点で生成
された対象物のグラフィクス画像８２とともに重畳表示
する。そして、これらの画像が一致するように、シミュ
レーションモデルを較正する。
センサ情報を用いることなく、シミュレーションモデル
のキャリブレーションを行うことが課題である。 【解決手段】 ロボットに装着されたカメラにより、ロ
ボットの操作対象物の画像８１を撮影し、シミュレーシ
ョンモデルに基づいて、カメラと同じ画角、視点で生成
された対象物のグラフィクス画像８２とともに重畳表示
する。そして、これらの画像が一致するように、シミュ
レーションモデルを較正する。
Description
【０００１】
【発明の属する技術分野】本発明は、ロボットの設計、
開発、制御の各段階において必要とされるロボットシミ
ュレーションのキャリブレーション（較正）を実施する
装置に関する。
開発、制御の各段階において必要とされるロボットシミ
ュレーションのキャリブレーション（較正）を実施する
装置に関する。
【０００２】
【従来の技術】現在、産業用ロボット、実験／研究用ロ
ボット等、様々な分野で人間の代わりに作業を行うロボ
ットが開発され、実用化されている。これらのロボット
の中でも、マニピュレータ（ロボットアーム）を持つア
ーム型ロボットは、人間と同じような手作業ができると
いう特徴を持っている。
ボット等、様々な分野で人間の代わりに作業を行うロボ
ットが開発され、実用化されている。これらのロボット
の中でも、マニピュレータ（ロボットアーム）を持つア
ーム型ロボットは、人間と同じような手作業ができると
いう特徴を持っている。
【０００３】マニピュレータの先端には手先効果器（エ
ンドエフェクタ）が取り付けられており、これが、直
接、作業対象物に働きかけて、対象物を把持したり、移
動させたりする。代表的なエンドエフェクタとしては、
対象物を把持するグリッパ（ロボットハンド）がある。
ンドエフェクタ）が取り付けられており、これが、直
接、作業対象物に働きかけて、対象物を把持したり、移
動させたりする。代表的なエンドエフェクタとしては、
対象物を把持するグリッパ（ロボットハンド）がある。
【０００４】また、ロボットシミュレーションを行うコ
ンピュータシステムは、ロボットのモデル化、シミュレ
ーション演算、演算結果の可視化を主要な機能としてお
り、そのシミュレーション対象は運動学、動力学、制御
等を含む。ロボットシミュレーションについての参考書
としては、「基礎ロボット工学制御編」（長谷川健介、
増田良介共著、昭晃堂）や「ロボティクス」（遠山茂樹
著、日刊工業新聞社）等がある。
ンピュータシステムは、ロボットのモデル化、シミュレ
ーション演算、演算結果の可視化を主要な機能としてお
り、そのシミュレーション対象は運動学、動力学、制御
等を含む。ロボットシミュレーションについての参考書
としては、「基礎ロボット工学制御編」（長谷川健介、
増田良介共著、昭晃堂）や「ロボティクス」（遠山茂樹
著、日刊工業新聞社）等がある。
【０００５】アーム型ロボットの運動学シミュレーショ
ンは、順運動学（キネマティクス）シミュレーションと
逆運動学（逆キネマティクス）シミュレーションの２通
りに大別される。キネマティクスシミュレーションは、
マニピュレータの関節角の回転量を入力データとして、
エンドエフェクタの位置と姿勢のデータを出力する。こ
れとは逆に、逆キネマティクスシミュレーションは、エ
ンドエフェクタの位置と姿勢を入力データとして、関節
角の回転量を出力する。
ンは、順運動学（キネマティクス）シミュレーションと
逆運動学（逆キネマティクス）シミュレーションの２通
りに大別される。キネマティクスシミュレーションは、
マニピュレータの関節角の回転量を入力データとして、
エンドエフェクタの位置と姿勢のデータを出力する。こ
れとは逆に、逆キネマティクスシミュレーションは、エ
ンドエフェクタの位置と姿勢を入力データとして、関節
角の回転量を出力する。
【０００６】ここで、入出力データとして用いられてい
るエンドエフェクタの位置、姿勢および関節角の回転角
は、３次元空間内における連結された座標系としてモデ
ル化され、位置、姿勢、回転角の各パラメータは、連結
された座標系の相対的なパラメータとして表現される。
これらの入力データによるシミュレーション結果は、一
般に、３次元コンピュータグラフィクス（３次元ＣＧ）
により可視化することで、感覚的に把握される。
るエンドエフェクタの位置、姿勢および関節角の回転角
は、３次元空間内における連結された座標系としてモデ
ル化され、位置、姿勢、回転角の各パラメータは、連結
された座標系の相対的なパラメータとして表現される。
これらの入力データによるシミュレーション結果は、一
般に、３次元コンピュータグラフィクス（３次元ＣＧ）
により可視化することで、感覚的に把握される。
【０００７】ロボットシミュレーションを利用してロボ
ットを操作する場合、オペレータは、表示されたシミュ
レーション結果により操作後の状態を確認した後、対応
する関節角の回転量等を操作入力としてロボットに与え
る。
ットを操作する場合、オペレータは、表示されたシミュ
レーション結果により操作後の状態を確認した後、対応
する関節角の回転量等を操作入力としてロボットに与え
る。
【０００８】このようなシミュレーションモデルのキャ
リブレーションを行う方法としては様々なものがある
が、基本的には、シミュレーションモデルにおけるロボ
ットおよび操作対象物の配置とそれらの実際の配置との
差異を計測して、シミュレーションモデルに反映するこ
とで実施される。したがって、キャリブレーションにお
いては、実際のロボット等の機器の配置がどれだけ正確
に取得できるかが、精度を高める上での重要な要因とな
る。
リブレーションを行う方法としては様々なものがある
が、基本的には、シミュレーションモデルにおけるロボ
ットおよび操作対象物の配置とそれらの実際の配置との
差異を計測して、シミュレーションモデルに反映するこ
とで実施される。したがって、キャリブレーションにお
いては、実際のロボット等の機器の配置がどれだけ正確
に取得できるかが、精度を高める上での重要な要因とな
る。
【０００９】
【発明が解決しようとする課題】しかしながら、従来の
キャリブレーション方法には次のような問題がある。ロ
ボットの作業場所は必ずしも地上の工場内とは限らず、
地下、海中、空中、宇宙空間等の環境の異なる様々な場
所が想定され、それに伴って特殊なキャリブレーション
を要求される場合がある。
キャリブレーション方法には次のような問題がある。ロ
ボットの作業場所は必ずしも地上の工場内とは限らず、
地下、海中、空中、宇宙空間等の環境の異なる様々な場
所が想定され、それに伴って特殊なキャリブレーション
を要求される場合がある。
【００１０】例えば、人工衛星に搭載されて宇宙空間で
作業を行うロボットハンドシステムの場合、衛星打ち上
げ時にかなり大きな衝撃や振動が発生する。宇宙空間の
ロボットを遠隔操作するためには、オペレータはディス
プレイに表示された３次元ＣＧを見ながら適用な操作入
力を与える必要があるが、衝撃や振動によってロボット
および操作対象物の位置がずれると、正確な操作が行え
なくなる。そこで、ずれをシミュレーションモデルに反
映するために、キャリブレーションが必要となる。
作業を行うロボットハンドシステムの場合、衛星打ち上
げ時にかなり大きな衝撃や振動が発生する。宇宙空間の
ロボットを遠隔操作するためには、オペレータはディス
プレイに表示された３次元ＣＧを見ながら適用な操作入
力を与える必要があるが、衝撃や振動によってロボット
および操作対象物の位置がずれると、正確な操作が行え
なくなる。そこで、ずれをシミュレーションモデルに反
映するために、キャリブレーションが必要となる。
【００１１】しかし、この種のロボットハンドシステム
には、通常、ロボットおよび操作対象物のずれを検知す
る適当なセンサが備えられていないため、ずれの発生状
況を把握することは不可能である。
には、通常、ロボットおよび操作対象物のずれを検知す
る適当なセンサが備えられていないため、ずれの発生状
況を把握することは不可能である。
【００１２】また、ロボットの操作時には、地上におい
て試験を行った際のキャリブレーションの値が参照され
るが、この値は重力の存在する環境で計測されたもので
ある。したがって、無重力状態における影響をシミュレ
ーションモデルに反映するために、なんらかのキャリブ
レーションが必要となる。しかし、無重力の影響を検知
する適当なセンサが備えられていないため、それを把握
することはできない。
て試験を行った際のキャリブレーションの値が参照され
るが、この値は重力の存在する環境で計測されたもので
ある。したがって、無重力状態における影響をシミュレ
ーションモデルに反映するために、なんらかのキャリブ
レーションが必要となる。しかし、無重力の影響を検知
する適当なセンサが備えられていないため、それを把握
することはできない。
【００１３】本発明の課題は、ロボットを操作するため
のロボットシミュレーションにおいて、正確なセンサ情
報を用いることなく、シミュレーションモデルのキャリ
ブレーションを行うキャリブレーション装置を提供する
ことである。
のロボットシミュレーションにおいて、正確なセンサ情
報を用いることなく、シミュレーションモデルのキャリ
ブレーションを行うキャリブレーション装置を提供する
ことである。
【００１４】
【課題を解決するための手段】図１は、本発明のキャリ
ブレーション装置の原理図である。図１のキャリブレー
ション装置は、画像入力手段１、修正手段２、および表
示手段３を備え、ロボットシミュレーションにおけるグ
ラフィクス表示のキャリブレーションを行う。
ブレーション装置の原理図である。図１のキャリブレー
ション装置は、画像入力手段１、修正手段２、および表
示手段３を備え、ロボットシミュレーションにおけるグ
ラフィクス表示のキャリブレーションを行う。
【００１５】画像入力手段１は、カメラによる画像を入
力し、修正手段２は、入力された画像に基づいて、対応
するグラフィクス画像を修正する。そして、表示手段３
は、修正されたグラフィクス画像を表示する。
力し、修正手段２は、入力された画像に基づいて、対応
するグラフィクス画像を修正する。そして、表示手段３
は、修正されたグラフィクス画像を表示する。
【００１６】例えば、表示手段３は、入力された物体の
画像と、その物体に対応するグラフィクス画像とを重畳
表示し、オペレータは、表示画面を確認しながら、物体
の画像とそのグラフィクス画像の間のずれ量を減少させ
るような入力操作を行う。そして、修正手段２は、入力
操作に従ってグラフィクス画像を修正し、表示手段３
は、修正されたグラフィクス画像を表示する。
画像と、その物体に対応するグラフィクス画像とを重畳
表示し、オペレータは、表示画面を確認しながら、物体
の画像とそのグラフィクス画像の間のずれ量を減少させ
るような入力操作を行う。そして、修正手段２は、入力
操作に従ってグラフィクス画像を修正し、表示手段３
は、修正されたグラフィクス画像を表示する。
【００１７】このような操作を繰り返して、ずれ量が十
分に小さくなった時点で、修正の結果をシミュレーショ
ンモデルに反映させれば、シミュレーションモデルのキ
ャリブレーションを行うことができる。
分に小さくなった時点で、修正の結果をシミュレーショ
ンモデルに反映させれば、シミュレーションモデルのキ
ャリブレーションを行うことができる。
【００１８】例えば、図１の画像入力手段１は、後述す
る図３のビデオボード３１に対応し、修正手段２は、画
像処理プログラム３３を実行するコンピュータに対応
し、表示手段３は、ディスプレイ２５に対応する。
る図３のビデオボード３１に対応し、修正手段２は、画
像処理プログラム３３を実行するコンピュータに対応
し、表示手段３は、ディスプレイ２５に対応する。
【００１９】
【発明の実施の形態】以下、図面を参照しながら、本発
明の実施の形態を詳細に説明する。本実施形態では、よ
り正確な遠隔操作を実現するためには、ロボットハンド
システムの搭載系のカメラから送信されてくる実画像に
より、実際のロボットおよび操作対象物の状態を把握
し、それをシミュレーションモデルに反映するようなキ
ャリブレーションを実施する。
明の実施の形態を詳細に説明する。本実施形態では、よ
り正確な遠隔操作を実現するためには、ロボットハンド
システムの搭載系のカメラから送信されてくる実画像に
より、実際のロボットおよび操作対象物の状態を把握
し、それをシミュレーションモデルに反映するようなキ
ャリブレーションを実施する。
【００２０】ここでは、ロボットのエンドエフェクタに
装着されたカメラによる操作対象物の実画像と、同じ画
角、視点による３次元ＣＧの画像とを重畳表示し、その
表示における両者のずれ量をキャリブレーションの元デ
ータとして用いる。このとき、ＮＴＳＣ（national tel
evision system committee）信号の実画像は、ビデオ入
力装置により、ビットマップ（bitmap）形式に変換さ
れ、テキスチャマッピングにより、操作対象物をモデル
化したＣＡＤ（computer aided design ）モデルの表面
に張り付けられる。そして、このＣＡＤモデルとシミュ
レーションモデルが重畳表示される。
装着されたカメラによる操作対象物の実画像と、同じ画
角、視点による３次元ＣＧの画像とを重畳表示し、その
表示における両者のずれ量をキャリブレーションの元デ
ータとして用いる。このとき、ＮＴＳＣ（national tel
evision system committee）信号の実画像は、ビデオ入
力装置により、ビットマップ（bitmap）形式に変換さ
れ、テキスチャマッピングにより、操作対象物をモデル
化したＣＡＤ（computer aided design ）モデルの表面
に張り付けられる。そして、このＣＡＤモデルとシミュ
レーションモデルが重畳表示される。
【００２１】次に、オペレータは、重畳表示によりずれ
を確認しながら、操作対象物の絶対座標系における位
置、姿勢を修正し、ロボットのエンドエフェクタと操作
対象物との相対的な位置および姿勢の関係を較正する。
このとき、操作対象物をモデル化した座標系を回転、移
動させることにより、実画像上の操作対象物とシミュレ
ーションモデル上の操作対象物が一致するように較正す
る。
を確認しながら、操作対象物の絶対座標系における位
置、姿勢を修正し、ロボットのエンドエフェクタと操作
対象物との相対的な位置および姿勢の関係を較正する。
このとき、操作対象物をモデル化した座標系を回転、移
動させることにより、実画像上の操作対象物とシミュレ
ーションモデル上の操作対象物が一致するように較正す
る。
【００２２】図２は、シミュレーションの対象となるロ
ボットシステムの一例を示す構成図である。図２のシス
テムは、ロボット１１、アクチュエータ１２、センサ１
３、制御装置１４、およびインタフェース１５を含み、
オペレータの操作入力に従って動作する。
ボットシステムの一例を示す構成図である。図２のシス
テムは、ロボット１１、アクチュエータ１２、センサ１
３、制御装置１４、およびインタフェース１５を含み、
オペレータの操作入力に従って動作する。
【００２３】ロボット１１は、ベースプレート１６上に
搭載されたマニピュレータ１７を備えており、マニピュ
レータ１７の先端には、対象物２０を把持するためのエ
ンドエフェクタであるハンド１８が取り付けられてい
る。また、ハンド１８にはカメラ１９が取り付けられて
おり、対象物２０等を含む周囲の環境を撮影することが
できる。カメラ１９としては、例えば、ＣＣＤ（charge
coupled device ）カメラが用いられる。
搭載されたマニピュレータ１７を備えており、マニピュ
レータ１７の先端には、対象物２０を把持するためのエ
ンドエフェクタであるハンド１８が取り付けられてい
る。また、ハンド１８にはカメラ１９が取り付けられて
おり、対象物２０等を含む周囲の環境を撮影することが
できる。カメラ１９としては、例えば、ＣＣＤ（charge
coupled device ）カメラが用いられる。
【００２４】アクチュエータ１２は、制御装置１４から
の制御信号に従ってロボット１１を駆動し、センサ１３
は、マニピュレータ１７の各関節の位置、速度、トルク
等を検出して、それらの値に対応する信号を制御装置１
４に出力する。制御装置１４は、プログラムを実行する
処理装置を含み、センサ１３からの情報に基づいて、ア
クチュエータ１２への制御信号を生成する。インタフェ
ース１５は、オペレータと制御装置１４の間の情報交換
を仲介する入出力装置である。
の制御信号に従ってロボット１１を駆動し、センサ１３
は、マニピュレータ１７の各関節の位置、速度、トルク
等を検出して、それらの値に対応する信号を制御装置１
４に出力する。制御装置１４は、プログラムを実行する
処理装置を含み、センサ１３からの情報に基づいて、ア
クチュエータ１２への制御信号を生成する。インタフェ
ース１５は、オペレータと制御装置１４の間の情報交換
を仲介する入出力装置である。
【００２５】図２の制御装置１４は、図３に示すような
キャリブレーション装置を備える。図３のキャリブレー
ション装置は、前処理装置２１、画像処理装置２２、シ
ミュレーション装置２３、およびアクセラレータ２４を
含み、カメラ１９から送られる実画像（ＮＴＳＣ信号）
を処理して、ディスプレイ２５の画面に表示する。ディ
スプレイ２５は、図２のインタフェース１５に対応す
る。
キャリブレーション装置を備える。図３のキャリブレー
ション装置は、前処理装置２１、画像処理装置２２、シ
ミュレーション装置２３、およびアクセラレータ２４を
含み、カメラ１９から送られる実画像（ＮＴＳＣ信号）
を処理して、ディスプレイ２５の画面に表示する。ディ
スプレイ２５は、図２のインタフェース１５に対応す
る。
【００２６】前処理装置２１および画像処理装置２２
は、入力されたＮＴＳＣ信号のノイズ処理や同期信号分
離処理等を行って、シミュレーション装置２３に入力す
る。アクセラレータ２４は、シミュレーション装置２３
から出力されるＣＧ画像をディスプレイ２５の画面に表
示する。
は、入力されたＮＴＳＣ信号のノイズ処理や同期信号分
離処理等を行って、シミュレーション装置２３に入力す
る。アクセラレータ２４は、シミュレーション装置２３
から出力されるＣＧ画像をディスプレイ２５の画面に表
示する。
【００２７】シミュレーション装置２３は、ビデオボー
ド３１、画像処理プログラム３２、３３、バスカード３
４、およびシミュレーションモデル３５を含む。ビデオ
ボード３１は、入力された信号をビットマップ形式の画
像データ（デジタルデータ）に変換し、画像処理プログ
ラム３２は、画像データに含まれる物体の輪郭を強調す
るエッジ処理等を行う。また、画像処理プログラム３３
は、画像データのテキスチャマッピングを行った後、シ
ミュレーションモデル３５と合成して、バスカード３４
から出力する。
ド３１、画像処理プログラム３２、３３、バスカード３
４、およびシミュレーションモデル３５を含む。ビデオ
ボード３１は、入力された信号をビットマップ形式の画
像データ（デジタルデータ）に変換し、画像処理プログ
ラム３２は、画像データに含まれる物体の輪郭を強調す
るエッジ処理等を行う。また、画像処理プログラム３３
は、画像データのテキスチャマッピングを行った後、シ
ミュレーションモデル３５と合成して、バスカード３４
から出力する。
【００２８】このようなキャリブレーション装置を含む
制御装置１４とインタフェース１５は、例えば、図４に
示すような情報処理装置（コンピュータ）を用いて構成
することができる。図４の情報処理装置は、ＣＰＵ（中
央処理装置）４１、メモリ４２、入力装置４３、出力装
置４４、外部記憶装置４５、媒体駆動装置４６、および
ネットワーク接続装置４７を備え、それらはバス４８に
より互いに接続されている。
制御装置１４とインタフェース１５は、例えば、図４に
示すような情報処理装置（コンピュータ）を用いて構成
することができる。図４の情報処理装置は、ＣＰＵ（中
央処理装置）４１、メモリ４２、入力装置４３、出力装
置４４、外部記憶装置４５、媒体駆動装置４６、および
ネットワーク接続装置４７を備え、それらはバス４８に
より互いに接続されている。
【００２９】メモリ４２は、例えば、ＲＯＭ（read onl
y memory）、ＲＡＭ（random access memory）等を含
み、ロボットシステムのシミュレーションに用いられる
プログラムとデータを格納する。例えば、図３の画像処
理プログラム３２、３３、シミュレーションモデル３
５、入力された実画像のデータ等が、メモリ４２に格納
される。プログラムＣＰＵ４１は、メモリ４２を利用し
てプログラムを実行することにより、必要な処理を行
う。
y memory）、ＲＡＭ（random access memory）等を含
み、ロボットシステムのシミュレーションに用いられる
プログラムとデータを格納する。例えば、図３の画像処
理プログラム３２、３３、シミュレーションモデル３
５、入力された実画像のデータ等が、メモリ４２に格納
される。プログラムＣＰＵ４１は、メモリ４２を利用し
てプログラムを実行することにより、必要な処理を行
う。
【００３０】入力装置４３は、例えば、キーボード、ポ
インティングデバイス、タッチパネル、ジョイステイッ
ク等であり、オペレータからの指示や情報の入力に用い
られる。出力装置４４は、例えば、ディスプレイ２５や
プリンタ等であり、オペレータへの問い合わせや処理結
果等の出力に用いられる。
インティングデバイス、タッチパネル、ジョイステイッ
ク等であり、オペレータからの指示や情報の入力に用い
られる。出力装置４４は、例えば、ディスプレイ２５や
プリンタ等であり、オペレータへの問い合わせや処理結
果等の出力に用いられる。
【００３１】外部記憶装置４５は、例えば、磁気ディス
ク装置、光ディスク装置、光磁気ディスク（magneto-op
tical disk）装置等である。この外部記憶装置４５に、
上述のプログラムとデータを保存しておき、必要に応じ
て、それらをメモリ４２にロードして使用することもで
きる。また、外部記憶装置４５は、必要に応じて、デー
タベースとしても用いられる。
ク装置、光ディスク装置、光磁気ディスク（magneto-op
tical disk）装置等である。この外部記憶装置４５に、
上述のプログラムとデータを保存しておき、必要に応じ
て、それらをメモリ４２にロードして使用することもで
きる。また、外部記憶装置４５は、必要に応じて、デー
タベースとしても用いられる。
【００３２】媒体駆動装置４６は、可搬記録媒体４９を
駆動し、その記録内容にアクセスする。可搬記録媒体４
９としては、メモリカード、フロッピーディスク、ＣＤ
−ＲＯＭ（compact disk read only memory ）、光ディ
スク、光磁気ディスク等、任意のコンピュータ読み取り
可能な記録媒体が用いられる。この可搬記録媒体４９に
上述のプログラムとデータを格納しておき、必要に応じ
て、それらをメモリ４２にロードして使用することもで
きる。
駆動し、その記録内容にアクセスする。可搬記録媒体４
９としては、メモリカード、フロッピーディスク、ＣＤ
−ＲＯＭ（compact disk read only memory ）、光ディ
スク、光磁気ディスク等、任意のコンピュータ読み取り
可能な記録媒体が用いられる。この可搬記録媒体４９に
上述のプログラムとデータを格納しておき、必要に応じ
て、それらをメモリ４２にロードして使用することもで
きる。
【００３３】ネットワーク接続装置４７は、ＬＡＮ（lo
cal area network）等の任意のネットワーク（回線）を
介して外部の装置と通信し、通信に伴うデータ変換を行
う。また、必要に応じて、上述のプログラムとデータを
外部の装置から受け取り、それらをメモリ４２にロード
して使用することもできる。
cal area network）等の任意のネットワーク（回線）を
介して外部の装置と通信し、通信に伴うデータ変換を行
う。また、必要に応じて、上述のプログラムとデータを
外部の装置から受け取り、それらをメモリ４２にロード
して使用することもできる。
【００３４】図５は、図４の情報処理装置にプログラム
とデータを供給することのできるコンピュータ読み取り
可能な記録媒体を示している。可搬記録媒体４９や外部
のデータベース５０に保存されたプログラムとデータ
は、メモリ４２にロードされる。そして、ＣＰＵ４１
は、そのデータを用いてそのプログラムを実行し、必要
な処理を行う。
とデータを供給することのできるコンピュータ読み取り
可能な記録媒体を示している。可搬記録媒体４９や外部
のデータベース５０に保存されたプログラムとデータ
は、メモリ４２にロードされる。そして、ＣＰＵ４１
は、そのデータを用いてそのプログラムを実行し、必要
な処理を行う。
【００３５】次に、図２のロボット１１の座標系につい
て説明する。ロボット１１には、回転可能な５つの関節
が備えられており、各関節の回転角（関節角）は変数θ
１、θ２、θ３、θ４、θ５で表される。これらの変数
で表される座標系を、関節角座標系と呼ぶことにする。
マニピュレータ１７が伸びきって直立姿勢を取ったと
き、各関節角の関係は図６に示すようになり、θ１とθ
５の回転軸は一直線上にある。
て説明する。ロボット１１には、回転可能な５つの関節
が備えられており、各関節の回転角（関節角）は変数θ
１、θ２、θ３、θ４、θ５で表される。これらの変数
で表される座標系を、関節角座標系と呼ぶことにする。
マニピュレータ１７が伸びきって直立姿勢を取ったと
き、各関節角の関係は図６に示すようになり、θ１とθ
５の回転軸は一直線上にある。
【００３６】また、ハンド１８の位置と姿勢を表すベー
ス座標系は、図７に示すように、αｂ、Ｘｂ、Ｚｂ、β
ｂ、γｂの５つの変数から成る。このうち、回転角αｂ
とγｂは、それぞれ、関節角座標系のθ１とθ５に一致
する。
ス座標系は、図７に示すように、αｂ、Ｘｂ、Ｚｂ、β
ｂ、γｂの５つの変数から成る。このうち、回転角αｂ
とγｂは、それぞれ、関節角座標系のθ１とθ５に一致
する。
【００３７】Ｘｂ−Ｚｂ平面は、ベースプレート１６の
表面に垂直であり、その原点は、ベースプレート１６の
表面とθ１の回転軸の交点に一致する。そして、このＸ
ｂ−Ｚｂ平面は、回転角αｂとともに回転する。回転角
βｂは、Ｘｂ−Ｚｂ平面内で定義され、Ｚｂ軸の正の向
きに対するγｂの回転軸の向きを表す。こうして、変数
αｂ、Ｘｂ、Ｚｂによりハンド１８の位置が表現され、
変数βｂとγｂによりその姿勢が表現される。
表面に垂直であり、その原点は、ベースプレート１６の
表面とθ１の回転軸の交点に一致する。そして、このＸ
ｂ−Ｚｂ平面は、回転角αｂとともに回転する。回転角
βｂは、Ｘｂ−Ｚｂ平面内で定義され、Ｚｂ軸の正の向
きに対するγｂの回転軸の向きを表す。こうして、変数
αｂ、Ｘｂ、Ｚｂによりハンド１８の位置が表現され、
変数βｂとγｂによりその姿勢が表現される。
【００３８】シミュレーションモデルは、例えば、図８
に示すような木構造で表される。図８において、それぞ
れの矩形は１つの座標系を表し、直線で接続された矩形
同士は互いに親子関係（隣接関係）にある。これらの座
標系の間の関係は、ロボットの運動を表現するときによ
く用いられるDenavit-Hartenbergモデル（ＤＨモデル）
により表現できる。
に示すような木構造で表される。図８において、それぞ
れの矩形は１つの座標系を表し、直線で接続された矩形
同士は互いに親子関係（隣接関係）にある。これらの座
標系の間の関係は、ロボットの運動を表現するときによ
く用いられるDenavit-Hartenbergモデル（ＤＨモデル）
により表現できる。
【００３９】ＤＨモデルでは、ロボットを複数のリンク
が関節により結合したリンク機構とみなして、各関節毎
に３次元座標系を定義し、各座標系の間の相対的な関係
を４つの座標変換パラメータで表現している（基礎ロボ
ット工学制御編、５２−５６ページ、長谷川健介、増田
良介共著、昭晃堂）。ここでは、これらのパラメータを
ＤＨパラメータと呼ぶことにし、ロボットや作業対象物
上で定義された任意の３次元座標系の間の関係を表現す
るために用いる。
が関節により結合したリンク機構とみなして、各関節毎
に３次元座標系を定義し、各座標系の間の相対的な関係
を４つの座標変換パラメータで表現している（基礎ロボ
ット工学制御編、５２−５６ページ、長谷川健介、増田
良介共著、昭晃堂）。ここでは、これらのパラメータを
ＤＨパラメータと呼ぶことにし、ロボットや作業対象物
上で定義された任意の３次元座標系の間の関係を表現す
るために用いる。
【００４０】ルート座標系５１は３次元空間における絶
対座標系を表し、ロボット１１は関節角座標系６１、６
２、６３、６４、６５で表される。これらの関節角座標
系６１、６２、６３、６４、６５は、それぞれ、図２の
関節角θ１、θ２、θ３、θ４、θ５に対応する各関節
において定義される。また、タスクボードａ座標系５２
とタスクボードｂ座標系５３は、作業対象物が固定され
ているタスクボード（パネルや壁面等）において定義さ
れた座標系である。
対座標系を表し、ロボット１１は関節角座標系６１、６
２、６３、６４、６５で表される。これらの関節角座標
系６１、６２、６３、６４、６５は、それぞれ、図２の
関節角θ１、θ２、θ３、θ４、θ５に対応する各関節
において定義される。また、タスクボードａ座標系５２
とタスクボードｂ座標系５３は、作業対象物が固定され
ているタスクボード（パネルや壁面等）において定義さ
れた座標系である。
【００４１】ロボット１１が操作する対象物は、作業対
象物ｎ−ｍのように表され（ｎ＝ａ，ｂ，ｃ，．．．，
ｍ＝１，２，３，．．．）、作業対象物ａ−ｍはタスク
ボードａ上に固定されており、作業対象物ｂ−ｍはタス
クボードｂ上に固定されている。また、作業対象物ｃ−
ｍは、作業対象物ｂ−２上に固定されている。これらの
作業対象物は、例えば、タスクボード上に埋め込まれた
ボルト等に対応するルート座標系５１の下には、任意の
数の開ループ構造のデータを設定することが可能であ
る。ここで、開ループ構造とは、親子関係がループを作
らないような構造であり、例えば、関節角座標系６５と
作業対象物ａ−４が直線で結ばれていないことを意味す
る。
象物ｎ−ｍのように表され（ｎ＝ａ，ｂ，ｃ，．．．，
ｍ＝１，２，３，．．．）、作業対象物ａ−ｍはタスク
ボードａ上に固定されており、作業対象物ｂ−ｍはタス
クボードｂ上に固定されている。また、作業対象物ｃ−
ｍは、作業対象物ｂ−２上に固定されている。これらの
作業対象物は、例えば、タスクボード上に埋め込まれた
ボルト等に対応するルート座標系５１の下には、任意の
数の開ループ構造のデータを設定することが可能であ
る。ここで、開ループ構造とは、親子関係がループを作
らないような構造であり、例えば、関節角座標系６５と
作業対象物ａ−４が直線で結ばれていないことを意味す
る。
【００４２】例えば、ロボット１１が作業対象物ａ−１
〜ａ−４を操作対象とする場合、図８のシミュレーショ
ンモデルに対するキャリブレーションは、タスクボード
ａ座標系５２とルート座標系５１の間のＤＨパラメータ
を変更することで実施される。このとき、オペレータが
画面上で指定した変更データが座標変換によりＤＨパラ
メータに反映され、その結果、ロボット１１とタスクボ
ードａとの相対的な位置および姿勢が較正される。
〜ａ−４を操作対象とする場合、図８のシミュレーショ
ンモデルに対するキャリブレーションは、タスクボード
ａ座標系５２とルート座標系５１の間のＤＨパラメータ
を変更することで実施される。このとき、オペレータが
画面上で指定した変更データが座標変換によりＤＨパラ
メータに反映され、その結果、ロボット１１とタスクボ
ードａとの相対的な位置および姿勢が較正される。
【００４３】図８では、作業対象物がタスクボード上に
固定されている場合を想定しているが、作業対象物が固
定されていない場合でも、同様にしてキャリブレーショ
ンを実施することが可能である。この場合、作業対象物
の座標系が、直接、ルート座標系５１の下に接続され、
その作業対象物の座標系とルート座標系５１の間のＤＨ
パラメータが変更される。
固定されている場合を想定しているが、作業対象物が固
定されていない場合でも、同様にしてキャリブレーショ
ンを実施することが可能である。この場合、作業対象物
の座標系が、直接、ルート座標系５１の下に接続され、
その作業対象物の座標系とルート座標系５１の間のＤＨ
パラメータが変更される。
【００４４】図９は、図３の装置によるキャリブレーシ
ョンのフローチャートである。ビデオボード３１は、ま
ず、実画像の信号をビットマップ形式の画像データに変
換して（ステップＳ１）、シミュレーション装置２３内
に取り込む（ステップＳ２）。このとき、画像処理プロ
グラム３２は、画像データのエッジ処理を行って、物体
の輪郭を強調する。例えば、図１０のような対象物の画
像が取り込まれたとき、エッジ処理により、図１１のよ
うな画像に変換される。
ョンのフローチャートである。ビデオボード３１は、ま
ず、実画像の信号をビットマップ形式の画像データに変
換して（ステップＳ１）、シミュレーション装置２３内
に取り込む（ステップＳ２）。このとき、画像処理プロ
グラム３２は、画像データのエッジ処理を行って、物体
の輪郭を強調する。例えば、図１０のような対象物の画
像が取り込まれたとき、エッジ処理により、図１１のよ
うな画像に変換される。
【００４５】次に、画像処理プログラム３３は、テキス
チャマッピングを行って、画像データをＣＡＤモデルの
表面にマッピングする（ステップＳ３）。テキスチャと
は、画像内で明るさや色が規則的に変化するパターンを
意味し、テキスチャマッピングにより、画像に含まれる
テキスチャが、対象物等に対応するＣＡＤモデルの表面
に張り付けられる。
チャマッピングを行って、画像データをＣＡＤモデルの
表面にマッピングする（ステップＳ３）。テキスチャと
は、画像内で明るさや色が規則的に変化するパターンを
意味し、テキスチャマッピングにより、画像に含まれる
テキスチャが、対象物等に対応するＣＡＤモデルの表面
に張り付けられる。
【００４６】そして、画像処理プログラム３３は、実画
像を張り付けられたＣＡＤモデルとシミュレーションモ
デルを重ね合わせて、バスカード３４からアクセラレー
タ２４に出力する。このとき、図２のカメラ１９と同じ
画角、視点のＣＧ画像がシミュレーションモデルから生
成され、それが実画像と重ね合わされる。これにより、
ＣＡＤモデルの実画像とシミュレーションモデルのＣＧ
画像がディスプレイ２５に重畳表示される（ステップＳ
４）。ここで、実画像とＣＧ画像がずれていれば、キャ
リブレーションが必要になる。
像を張り付けられたＣＡＤモデルとシミュレーションモ
デルを重ね合わせて、バスカード３４からアクセラレー
タ２４に出力する。このとき、図２のカメラ１９と同じ
画角、視点のＣＧ画像がシミュレーションモデルから生
成され、それが実画像と重ね合わされる。これにより、
ＣＡＤモデルの実画像とシミュレーションモデルのＣＧ
画像がディスプレイ２５に重畳表示される（ステップＳ
４）。ここで、実画像とＣＧ画像がずれていれば、キャ
リブレーションが必要になる。
【００４７】オペレータは、表示された画面を見なが
ら、ポインティングデバイスやグラフィカルユーザイン
タフェース（ＧＵＩ）等を用いて、キャリブレーション
データを入力する。ここでは、例えば、ＣＡＤモデルの
実画像とシミュレーションモデルのＣＧ画像の双方に基
準となるマーカを付加しておき、これらのマーカの位置
が一致するように、ＣＧ画像の位置合わせデータを入力
する（ステップＳ５）。さらに、これらのマーカの向き
（姿勢）が一致するように、ＣＧ画像の姿勢合わせデー
タを入力する（ステップＳ６）。
ら、ポインティングデバイスやグラフィカルユーザイン
タフェース（ＧＵＩ）等を用いて、キャリブレーション
データを入力する。ここでは、例えば、ＣＡＤモデルの
実画像とシミュレーションモデルのＣＧ画像の双方に基
準となるマーカを付加しておき、これらのマーカの位置
が一致するように、ＣＧ画像の位置合わせデータを入力
する（ステップＳ５）。さらに、これらのマーカの向き
（姿勢）が一致するように、ＣＧ画像の姿勢合わせデー
タを入力する（ステップＳ６）。
【００４８】次に、画像処理プログラム３３は、入力さ
れたキャリブレーションデータに基づいてＣＧ画像を変
更し、実画像のマーカとＣＧ画像のマーカの位置および
姿勢が一致しているかどうかを判定する（ステップＳ
７）。そして、両者が一致していなければ、ステップＳ
４以降の処理を繰り返す。これらのマーカが一致すれ
ば、画像処理プログラム３３は、位置および姿勢の調整
結果をシミュレーションモデルに反映して、処理を終了
する。
れたキャリブレーションデータに基づいてＣＧ画像を変
更し、実画像のマーカとＣＧ画像のマーカの位置および
姿勢が一致しているかどうかを判定する（ステップＳ
７）。そして、両者が一致していなければ、ステップＳ
４以降の処理を繰り返す。これらのマーカが一致すれ
ば、画像処理プログラム３３は、位置および姿勢の調整
結果をシミュレーションモデルに反映して、処理を終了
する。
【００４９】例えば、ステップＳ４において、図１２に
示すように、作業対象物の実画像７１と、シミュレーシ
ョンモデルにおけるハンドの中心領域の断面を表すＣＧ
画像７２が重畳表示されたとする。このとき、オペレー
タは、実画像上のマーカ７３とシミュレーションモデル
のマーカ７４を元にしてずれを確認し、適当なキャリブ
レーションデータを入力して、ＣＧ画像を変更する。そ
の結果、図１３に示すように、２つのマーカ７３、７４
が一致した画面が表示される。
示すように、作業対象物の実画像７１と、シミュレーシ
ョンモデルにおけるハンドの中心領域の断面を表すＣＧ
画像７２が重畳表示されたとする。このとき、オペレー
タは、実画像上のマーカ７３とシミュレーションモデル
のマーカ７４を元にしてずれを確認し、適当なキャリブ
レーションデータを入力して、ＣＧ画像を変更する。そ
の結果、図１３に示すように、２つのマーカ７３、７４
が一致した画面が表示される。
【００５０】実画像のマーカ７３は、対象物７１が固定
されているタスクボード上に、実際に描画しておいても
よく、対象物７１のＣＡＤモデル生成時に付加してもよ
い。また、このようなマーカを用いずに、物体の輪郭等
に基づいて一致判定を行うことも可能である。
されているタスクボード上に、実際に描画しておいても
よく、対象物７１のＣＡＤモデル生成時に付加してもよ
い。また、このようなマーカを用いずに、物体の輪郭等
に基づいて一致判定を行うことも可能である。
【００５１】例えば、図１４に示すように、対象物（円
柱）の実画像８１と、シミュレーションモデルにおける
対象物のＣＧ画像８２が重畳表示されたとする。このと
き、オペレータは、まず、図１５に示すように、ＣＧ画
像８２の画面上における位置座標（Ｘｗ，Ｙｗ）をマウ
ス等の操作により変更して、その位置を実画像８１に合
わせる。そして、表示を確認しながら、両者の位置が合
うまで操作を繰り返す。
柱）の実画像８１と、シミュレーションモデルにおける
対象物のＣＧ画像８２が重畳表示されたとする。このと
き、オペレータは、まず、図１５に示すように、ＣＧ画
像８２の画面上における位置座標（Ｘｗ，Ｙｗ）をマウ
ス等の操作により変更して、その位置を実画像８１に合
わせる。そして、表示を確認しながら、両者の位置が合
うまで操作を繰り返す。
【００５２】次に、図１６に示すように、ＣＧ画像８２
の姿勢座標をマウス等の操作により変更して、その姿勢
（傾き）を実画像８１に合わせる。そして、表示を確認
しながら、両者の姿勢が合うまで操作を繰り返す。ＣＧ
画像８２の姿勢は、例えば、回転を表す変数（αｗ，β
ｗ，γｗ）により指定され、それらの値はマウスボタン
の操作により変更される。
の姿勢座標をマウス等の操作により変更して、その姿勢
（傾き）を実画像８１に合わせる。そして、表示を確認
しながら、両者の姿勢が合うまで操作を繰り返す。ＣＧ
画像８２の姿勢は、例えば、回転を表す変数（αｗ，β
ｗ，γｗ）により指定され、それらの値はマウスボタン
の操作により変更される。
【００５３】そして、ステップＳ７において、実画像８
１とＣＧ画像８２の位置および姿勢が一致すると、画像
処理プログラム３３は、ＣＧ画像８２の輪郭線を強調表
示して、そのことをオペレータに知らせる。強調表示の
形態としては、輪郭線の色を変更したり、輪郭線部分を
点滅させたりすることが考えられる。これにより、マー
カ等が表示されなくても、オペレータは、実画像８１と
ＣＧ画像８２が一致したことを容易に認識することがで
き、操作効率が向上する。
１とＣＧ画像８２の位置および姿勢が一致すると、画像
処理プログラム３３は、ＣＧ画像８２の輪郭線を強調表
示して、そのことをオペレータに知らせる。強調表示の
形態としては、輪郭線の色を変更したり、輪郭線部分を
点滅させたりすることが考えられる。これにより、マー
カ等が表示されなくても、オペレータは、実画像８１と
ＣＧ画像８２が一致したことを容易に認識することがで
き、操作効率が向上する。
【００５４】ここでは、ロボットの操作対象物の画像を
用いてキャリブレーションを行っているが、他の任意の
物体の画像を用いた場合でも、同様の方法でキャリブレ
ーションを行うことができる。
用いてキャリブレーションを行っているが、他の任意の
物体の画像を用いた場合でも、同様の方法でキャリブレ
ーションを行うことができる。
【００５５】図１７は、図９のステップＳ５〜Ｓ８にお
いて行われる、画面座標系からシミュレーションモデル
の座標系への座標変換のフローチャートである。まず、
オペレータが、画面上で変更に関わる位置および姿勢の
座標（Ｘｗ，Ｙｗ，αｗ，βｗ，γｗ）を指定すると
（ステップＳ１１）、画像処理プログラム３３は、それ
らを３次元ＣＧ空間における変更データとして、絶対座
標系空間（Ｘａ，Ｙａ，Ｚａ，θｘ，θｙ，θｚ）にマ
ッピングする（ステップＳ１２）。絶対座標系は、例え
ば、図７のベース座標系の原点を原点として定義され
る。
いて行われる、画面座標系からシミュレーションモデル
の座標系への座標変換のフローチャートである。まず、
オペレータが、画面上で変更に関わる位置および姿勢の
座標（Ｘｗ，Ｙｗ，αｗ，βｗ，γｗ）を指定すると
（ステップＳ１１）、画像処理プログラム３３は、それ
らを３次元ＣＧ空間における変更データとして、絶対座
標系空間（Ｘａ，Ｙａ，Ｚａ，θｘ，θｙ，θｚ）にマ
ッピングする（ステップＳ１２）。絶対座標系は、例え
ば、図７のベース座標系の原点を原点として定義され
る。
【００５６】次に、画像処理プログラム３３は、変更デ
ータを絶対座標系からベース座標系に変換し（ステップ
Ｓ１３）、さらに、ベース座標系からシミュレーション
モデルのＤＨパラメータに変換して（ステップＳ１
４）、処理を終了する。ＤＨパラメータは、シミュレー
ションモデルに含まれる各座標系毎に設定され、（Ｘ
ｄ，Ｚｄ，θｘ，θｚ）の４つのパラメータを含む。こ
のようにして、ＤＨパラメータを変更することで、シミ
ュレーションモデルにおけるロボットと対象物の相対的
な関係が較正される。
ータを絶対座標系からベース座標系に変換し（ステップ
Ｓ１３）、さらに、ベース座標系からシミュレーション
モデルのＤＨパラメータに変換して（ステップＳ１
４）、処理を終了する。ＤＨパラメータは、シミュレー
ションモデルに含まれる各座標系毎に設定され、（Ｘ
ｄ，Ｚｄ，θｘ，θｚ）の４つのパラメータを含む。こ
のようにして、ＤＨパラメータを変更することで、シミ
ュレーションモデルにおけるロボットと対象物の相対的
な関係が較正される。
【００５７】ここでは、３次元ＣＧ空間においてキャリ
ブレーションデータを入力する構成をとることにより、
オペレータにとって、視覚的に操作しやすい作業環境を
提供している。しかしながら、キャリブレーションデー
タの入力は、絶対座標系、ベース座標系等を含む任意の
座標系で行うことができる。
ブレーションデータを入力する構成をとることにより、
オペレータにとって、視覚的に操作しやすい作業環境を
提供している。しかしながら、キャリブレーションデー
タの入力は、絶対座標系、ベース座標系等を含む任意の
座標系で行うことができる。
【００５８】図１８は、ベース座標系でキャリブレーシ
ョンデータを入力するためのキャリブレーション設定画
面の例を示している。図１８のタスクボード設定欄８３
において、オペレータは、ベース座標系の変数αｂ、Ｘ
ｂ、Ｚｂ、βｂ、γｂの設定値とオフセットを入力し
て、対応するタスクボードの位置および姿勢を修正する
ことができる。この場合、画像処理プログラム３３は、
これらの入力値を、直接、タスクボード座標系のＤＨパ
ラメータに変換して、シミュレーションモデルを変更す
る。
ョンデータを入力するためのキャリブレーション設定画
面の例を示している。図１８のタスクボード設定欄８３
において、オペレータは、ベース座標系の変数αｂ、Ｘ
ｂ、Ｚｂ、βｂ、γｂの設定値とオフセットを入力し
て、対応するタスクボードの位置および姿勢を修正する
ことができる。この場合、画像処理プログラム３３は、
これらの入力値を、直接、タスクボード座標系のＤＨパ
ラメータに変換して、シミュレーションモデルを変更す
る。
【００５９】ところで、以上説明した実施形態において
は、図２、６、７、８等に示したように、ロボットの動
作に特定の制約を設けて、位置と姿勢を５自由度（５個
のパラメータ）で表現している。しかし、一般のロボッ
トでは、位置と姿勢が６自由度で表現される。本発明の
キャリブレーションは、自由度に関係なく、任意のロボ
ットに適用可能である。
は、図２、６、７、８等に示したように、ロボットの動
作に特定の制約を設けて、位置と姿勢を５自由度（５個
のパラメータ）で表現している。しかし、一般のロボッ
トでは、位置と姿勢が６自由度で表現される。本発明の
キャリブレーションは、自由度に関係なく、任意のロボ
ットに適用可能である。
【００６０】また、キャリブレーション装置の構成は、
図３の構成に限られず、任意に設計することができる。
例えば、図３のアクセラレータ２４は、ＣＧ画像の表示
を高速化するための装置であるため、シミュレーション
装置２３の表示性能に問題がない場合は、これを省略す
ることができる。
図３の構成に限られず、任意に設計することができる。
例えば、図３のアクセラレータ２４は、ＣＧ画像の表示
を高速化するための装置であるため、シミュレーション
装置２３の表示性能に問題がない場合は、これを省略す
ることができる。
【００６１】また、実施形態においては、実画像を撮影
するカメラをロボットのエンドエフェクタ上に取り付け
るものとしているが、カメラの位置はこれに限られず、
ロボットや対象物を含む３次元空間内の任意の位置に固
定して用いることができる。例えば、ロボットのマニピ
ュレータ、ベースプレート、作業対象物が置かれている
作業台、作業空間の床、天井、壁等にカメラを設置して
もよい。
するカメラをロボットのエンドエフェクタ上に取り付け
るものとしているが、カメラの位置はこれに限られず、
ロボットや対象物を含む３次元空間内の任意の位置に固
定して用いることができる。例えば、ロボットのマニピ
ュレータ、ベースプレート、作業対象物が置かれている
作業台、作業空間の床、天井、壁等にカメラを設置して
もよい。
【００６２】この場合、設置されたカメラと同じ画角、
視点から見たＣＧ画像が生成され、実画像とともに重畳
表示される。そして、オペレータは、図９と同様の方法
で、エンドエフェクタの実画像とＣＧ画像を一致させる
ような操作を行い、カメラとエンドエフェクタの相対的
な位置および姿勢を較正する。また、対象物の実画像と
ＣＧ画像を一致させるような操作を行うことで、カメラ
と対象物の相対的な位置および姿勢を較正する。これら
の操作により、結果として、エンドエフェクタと対象物
の相対的な位置および姿勢が較正される。
視点から見たＣＧ画像が生成され、実画像とともに重畳
表示される。そして、オペレータは、図９と同様の方法
で、エンドエフェクタの実画像とＣＧ画像を一致させる
ような操作を行い、カメラとエンドエフェクタの相対的
な位置および姿勢を較正する。また、対象物の実画像と
ＣＧ画像を一致させるような操作を行うことで、カメラ
と対象物の相対的な位置および姿勢を較正する。これら
の操作により、結果として、エンドエフェクタと対象物
の相対的な位置および姿勢が較正される。
【００６３】また、実施形態では、オペレータの操作に
よりキャリブレーションデータが入力されているが、シ
ミュレーション装置が実画像とＣＧ画像の間のずれを自
動的に検出して、キャリブレーションデータを取得する
ようにしてもよい。このような構成を用いれば、位置合
わせや姿勢合わせに伴うオペレータの作業が軽減され
る。
よりキャリブレーションデータが入力されているが、シ
ミュレーション装置が実画像とＣＧ画像の間のずれを自
動的に検出して、キャリブレーションデータを取得する
ようにしてもよい。このような構成を用いれば、位置合
わせや姿勢合わせに伴うオペレータの作業が軽減され
る。
【００６４】さらに、本発明のキャリブレーション方法
は、地上で作業するロボットのみならず、地下、海中、
空中、宇宙空間等、あらゆる場所で作業を行う任意のロ
ボットに対して適用可能である。例えば、人工衛星に搭
載されたロボットハンドシステムの遠隔操作の際に用い
れば、打ち上げ時の衝撃や振動、無重力状態における影
響に対して、より正確なキャリブレーションを実施する
ことができる。
は、地上で作業するロボットのみならず、地下、海中、
空中、宇宙空間等、あらゆる場所で作業を行う任意のロ
ボットに対して適用可能である。例えば、人工衛星に搭
載されたロボットハンドシステムの遠隔操作の際に用い
れば、打ち上げ時の衝撃や振動、無重力状態における影
響に対して、より正確なキャリブレーションを実施する
ことができる。
【００６５】
【発明の効果】本発明によれば、キャリブレーション用
の計測情報が得られない遠隔地等にあるロボットを操作
するためのロボットシミュレーションにおいて、カメラ
からの画像を用いてキャリブレーションを簡単に実施す
ることができる。これにより、より正確なロボット操作
が行えるようになる。
の計測情報が得られない遠隔地等にあるロボットを操作
するためのロボットシミュレーションにおいて、カメラ
からの画像を用いてキャリブレーションを簡単に実施す
ることができる。これにより、より正確なロボット操作
が行えるようになる。
【図１】本発明のキャリブレーション装置の原理図であ
る。
る。
【図２】ロボットシステムの構成図である。
【図３】キャリブレーション装置の構成図である。
【図４】情報処理装置の構成図である。
【図５】記録媒体を示す図である。
【図６】関節角座標系を示す図である。
【図７】ベース座標系を示す図である。
【図８】シミュレーションモデルのデータ構造を示す図
である。
である。
【図９】キャリブレーションのフローチャートである。
【図１０】実画像を示す図である。
【図１１】エッジ処理された画像を示す図である。
【図１２】第１の画面を示す図である。
【図１３】第２の画面を示す図である。
【図１４】第３の画面を示す図である。
【図１５】第４の画面を示す図である。
【図１６】第５の画面を示す図である。
【図１７】座標変換のフローチャートである。
【図１８】キャリブレーション設定画面を示す図であ
る。
る。
１ 画像入力手段 ２ 修正手段 ３ 表示手段 １１ ロボット １２ アクチュエータ １３ センサ １４ 制御装置 １５ インタフェース １６ ベースプレート １７ マニピュレータ １８ ハンド １９ カメラ ２０ 対象物 ２１ 前処理装置 ２２ 画像処理装置 ２３ シミュレーション装置 ２４ アクセラレータ ２５ ディスプレイ ３１ ビデオボード ３２、３３ 画像処理プログラム ３４ バスカード ３５ シミュレーションモデル ４１ ＣＰＵ ４２ メモリ ４３ 入力装置 ４４ 出力装置 ４５ 外部記憶装置 ４６ 媒体駆動装置 ４７ ネットワーク接続装置 ４８ バス ４９ 可搬記録媒体 ５０ データベース ５１、５２、５３、６１、６２、６３、６４、６５ 座
標系 ５２ カメラ ７１、８１ 実画像 ７２、８２ ＣＧ画像 ７３、７４ マーカ ８３ タスクボード設定欄
標系 ５２ カメラ ７１、８１ 実画像 ７２、８２ ＣＧ画像 ７３、７４ マーカ ８３ タスクボード設定欄
Claims (13)
- 【請求項１】 ロボットシミュレーションにおけるグラ
フィクス表示のキャリブレーションを行うキャリブレー
ション装置であって、 カメラによる画像を入力する画像入力手段と、 入力された画像に基づいて、対応するグラフィクス画像
を修正する修正手段と、 修正されたグラフィクス画像を表示する表示手段とを備
えることを特徴とするキャリブレーション装置。 - 【請求項２】 前記表示手段は、前記入力された画像
と、前記対応するグラフィクス画像とを重畳表示し、前
記修正手段は、該入力された画像と対応するグラフィク
ス画像の間のずれ量に基づいて、該対応するグラフィク
ス画像を修正することを特徴とする請求項１記載のキャ
リブレーション装置。 - 【請求項３】 前記表示手段の画面上で、前記ずれ量を
減少させるような操作を行う操作入力手段をさらに備
え、前記修正手段は、該操作入力手段からの指示に基づ
いて、前記対応するグラフィクス画像を修正することを
特徴とする請求項２記載のキャリブレーション装置。 - 【請求項４】 前記対応するグラフィクス画像を生成す
るためのシミュレーションモデルを格納する格納手段を
さらに備え、前記修正手段は、修正の結果を該シミュレ
ーションモデルに反映させることを特徴とする請求項１
記載のキャリブレーション装置。 - 【請求項５】 前記格納手段は、ロボットと物体のシミ
ュレーションモデルを格納し、前記修正手段は、該シミ
ュレーションモデルにおける該ロボットと物体の相対的
な関係を較正することを特徴とする請求項４記載のキャ
リブレーション装置。 - 【請求項６】 ロボットシミュレーションにおけるグラ
フィクス表示のキャリブレーションを行うキャリブレー
ション装置であって、 ロボットのエンドエフェクタに装着されたカメラによる
物体の画像を入力する画像入力手段と、 入力された画像に基づいて、前記物体のグラフィクス画
像を修正する修正手段と、 修正されたグラフィクス画像を表示する表示手段とを備
えることを特徴とするキャリブレーション装置。 - 【請求項７】 前記ロボットと物体のシミュレーション
モデルを格納する手段と、前記カメラに対応する画角お
よび視点で、該シミュレーションモデルから前記物体の
グラフィクス画像を生成する手段をさらに備えることを
特徴とする請求項６記載のキャリブレーション装置。 - 【請求項８】 前記修正手段は、修正の結果を前記シミ
ュレーションモデルに反映させて、該シミュレーション
モデルにおける前記ロボットと物体の相対的な関係を較
正することを特徴とする請求項７記載のキャリブレーシ
ョン装置。 - 【請求項９】 前記修正手段は、前記物体のグラフィク
ス画像の位置および姿勢のうち少なくとも一方を修正し
て、前記ロボットと物体の相対的な位置および姿勢のう
ち少なくとも一方を較正することを特徴とする請求項８
記載のキャリブレーション装置。 - 【請求項１０】 物体のグラフィクス表示のキャリブレ
ーションを行うキャリブレーション装置であって、 前記物体の画像を入力する画像入力手段と、 入力された画像に基づいて、前記物体のグラフィクス画
像を修正する修正手段と、 修正されたグラフィクス画像を表示する表示手段とを備
えることを特徴とするキャリブレーション装置。 - 【請求項１１】 シミュレーションに基づいて操作され
るロボットシステムであって、 ロボットと、 カメラと、 前記カメラによる画像に基づいて、シミュレーションモ
デルを較正するキャリブレーション手段と、 較正されたシミュレーションモデルに基づくグラフィク
ス画像を表示する表示手段と、 前記グラフィクス画像に基づいて前記ロボットを操作す
る操作入力手段とを備えることを特徴とするロボットシ
ステム。 - 【請求項１２】 ロボットシミュレーションにおけるグ
ラフィクス表示のキャリブレーションを行うコンピュー
タのためのプログラムを記録した記録媒体であって、 カメラによる画像を取り込む機能と、 取り込まれた画像に基づいて、対応するグラフィクス画
像を修正する機能と、 修正されたグラフィクス画像を表示する機能とを前記コ
ンピュータに実現させるためのプログラムを記録したコ
ンピュータ読み取り可能な記録媒体。 - 【請求項１３】 物体のグラフィクス表示のキャリブレ
ーションを行うコンピュータのためのプログラムを記録
した記録媒体であって、 前記物体の画像を取り込む機能と、 取り込まれた画像に基づいて、前記物体のグラフィクス
画像を修正する機能と、 修正されたグラフィクス画像を表示する機能とを前記コ
ンピュータに実現させるためのプログラムを記録したコ
ンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4383898A JP3415427B2 (ja) | 1998-02-25 | 1998-02-25 | ロボットシミュレーションにおけるキャリブレーション装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4383898A JP3415427B2 (ja) | 1998-02-25 | 1998-02-25 | ロボットシミュレーションにおけるキャリブレーション装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11239989A true JPH11239989A (ja) | 1999-09-07 |
| JP3415427B2 JP3415427B2 (ja) | 2003-06-09 |
Family
ID=12674899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4383898A Expired - Fee Related JP3415427B2 (ja) | 1998-02-25 | 1998-02-25 | ロボットシミュレーションにおけるキャリブレーション装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3415427B2 (ja) |
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002092647A (ja) * | 2000-09-19 | 2002-03-29 | Olympus Optical Co Ltd | 情報呈示システム及びモデル誤差検出システム |
| JP2002324239A (ja) * | 2001-04-25 | 2002-11-08 | Olympus Optical Co Ltd | 情報呈示システム |
| WO2003089874A1 (en) * | 2002-04-22 | 2003-10-30 | Matsushita Electric Industrial Co., Ltd. | Camera corrector |
| JP2006260271A (ja) * | 2005-03-17 | 2006-09-28 | Fanuc Ltd | オフライン教示装置 |
| JP2009505191A (ja) * | 2005-08-09 | 2009-02-05 | トタル イメルシオン | 少なくとも１つの実在オブジェクトをモデル化した少なくとも１つの三次元仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する方法及び装置 |
| JP2011027574A (ja) * | 2009-07-27 | 2011-02-10 | Nippon Signal Co Ltd:The | 距離画像処理システム |
| JP2013542804A (ja) * | 2010-11-05 | 2013-11-28 | コーニンクレッカ フィリップス エヌ ヴェ | オブジェクトを画像形成する画像形成装置 |
| JP2014014912A (ja) * | 2012-07-11 | 2014-01-30 | Seiko Epson Corp | ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム |
| JP2015024480A (ja) * | 2013-07-29 | 2015-02-05 | 富士通株式会社 | 情報処理装置、制御方法、及びプログラム |
| JP2016129922A (ja) * | 2015-01-14 | 2016-07-21 | キヤノン株式会社 | 表示制御装置及びその方法、プログラム |
| EP3166083A2 (en) | 2015-11-06 | 2017-05-10 | Fujitsu Limited | Superimposed display method and superimposed display apparatus |
| JP2018015863A (ja) * | 2016-07-29 | 2018-02-01 | 川崎重工業株式会社 | ロボットシステム、教示データ生成システム及び教示データ生成方法 |
| JP2018144165A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | 画像処理装置、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
| JP2019096036A (ja) * | 2017-11-22 | 2019-06-20 | 株式会社日立プラントコンストラクション | 構造物撤去シミュレーション |
| EP3753685A1 (en) * | 2019-06-20 | 2020-12-23 | Omron Corporation | Control system and control method |
| CN112584988A (zh) * | 2019-03-15 | 2021-03-30 | 欧姆龙株式会社 | 设定辅助装置、设定辅助方法和程序 |
| WO2022181500A1 (ja) * | 2021-02-25 | 2022-09-01 | ファナック株式会社 | 視覚センサの出力から得られる３次元位置情報を用いるシミュレーション装置 |
| JP2023047280A (ja) * | 2021-09-24 | 2023-04-05 | 株式会社ダイヘン | 作業プログラム作成システム及び作業プログラム作成方法 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI696529B (zh) * | 2018-11-30 | 2020-06-21 | 財團法人金屬工業研究發展中心 | 自動定位方法以及自動控制裝置 |
-
1998
- 1998-02-25 JP JP4383898A patent/JP3415427B2/ja not_active Expired - Fee Related
Cited By (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002092647A (ja) * | 2000-09-19 | 2002-03-29 | Olympus Optical Co Ltd | 情報呈示システム及びモデル誤差検出システム |
| JP4537557B2 (ja) * | 2000-09-19 | 2010-09-01 | オリンパス株式会社 | 情報呈示システム |
| JP2002324239A (ja) * | 2001-04-25 | 2002-11-08 | Olympus Optical Co Ltd | 情報呈示システム |
| WO2003089874A1 (en) * | 2002-04-22 | 2003-10-30 | Matsushita Electric Industrial Co., Ltd. | Camera corrector |
| US7352388B2 (en) | 2002-04-22 | 2008-04-01 | Matsushita Electric Industrial Co., Ltd. | Camera calibrating apparatus |
| JP2006260271A (ja) * | 2005-03-17 | 2006-09-28 | Fanuc Ltd | オフライン教示装置 |
| JP2009505191A (ja) * | 2005-08-09 | 2009-02-05 | トタル イメルシオン | 少なくとも１つの実在オブジェクトをモデル化した少なくとも１つの三次元仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する方法及び装置 |
| JP4917603B2 (ja) * | 2005-08-09 | 2012-04-18 | トタル イメルシオン | 少なくとも１つの実在オブジェクトをモデル化した少なくとも１つの三次元仮想オブジェクトの基準デジタル化フレーム内におけるビデオキャプチャ手段の姿勢を判定する方法及び装置 |
| JP2011027574A (ja) * | 2009-07-27 | 2011-02-10 | Nippon Signal Co Ltd:The | 距離画像処理システム |
| JP2013542804A (ja) * | 2010-11-05 | 2013-11-28 | コーニンクレッカ フィリップス エヌ ヴェ | オブジェクトを画像形成する画像形成装置 |
| JP2014014912A (ja) * | 2012-07-11 | 2014-01-30 | Seiko Epson Corp | ロボットシステム、ロボット、ロボット制御装置、ロボット制御方法、およびロボット制御プログラム |
| JP2015024480A (ja) * | 2013-07-29 | 2015-02-05 | 富士通株式会社 | 情報処理装置、制御方法、及びプログラム |
| JP2016129922A (ja) * | 2015-01-14 | 2016-07-21 | キヤノン株式会社 | 表示制御装置及びその方法、プログラム |
| EP3166083A2 (en) | 2015-11-06 | 2017-05-10 | Fujitsu Limited | Superimposed display method and superimposed display apparatus |
| EP3340189A1 (en) | 2015-11-06 | 2018-06-27 | Fujitsu Limited | Superimposed display method and superimposed display apparatus |
| US10304159B2 (en) | 2015-11-06 | 2019-05-28 | Fujitsu Limited | Superimposed display method and superimposed display apparatus |
| JP2018015863A (ja) * | 2016-07-29 | 2018-02-01 | 川崎重工業株式会社 | ロボットシステム、教示データ生成システム及び教示データ生成方法 |
| JP2018144165A (ja) * | 2017-03-03 | 2018-09-20 | 株式会社キーエンス | 画像処理装置、画像処理方法、画像処理プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 |
| JP2019096036A (ja) * | 2017-11-22 | 2019-06-20 | 株式会社日立プラントコンストラクション | 構造物撤去シミュレーション |
| CN112584988A (zh) * | 2019-03-15 | 2021-03-30 | 欧姆龙株式会社 | 设定辅助装置、设定辅助方法和程序 |
| EP3753685A1 (en) * | 2019-06-20 | 2020-12-23 | Omron Corporation | Control system and control method |
| US11498220B2 (en) | 2019-06-20 | 2022-11-15 | Omron Corporation | Control system and control method |
| WO2022181500A1 (ja) * | 2021-02-25 | 2022-09-01 | ファナック株式会社 | 視覚センサの出力から得られる３次元位置情報を用いるシミュレーション装置 |
| JP2023047280A (ja) * | 2021-09-24 | 2023-04-05 | 株式会社ダイヘン | 作業プログラム作成システム及び作業プログラム作成方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3415427B2 (ja) | 2003-06-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3415427B2 (ja) | ロボットシミュレーションにおけるキャリブレーション装置 | |
| CN106873550B (zh) | 模拟装置以及模拟方法 | |
| JP5852364B2 (ja) | 情報処理装置、情報処理装置の制御方法、およびプログラム | |
| US6642922B1 (en) | Interface apparatus for dynamic positioning and orientation of a robot through real-time parameter modifications | |
| EP1215017B1 (en) | Robot teaching apparatus | |
| JP2001105359A (ja) | ロボットシステム用グラフィック表示装置 | |
| US20090234502A1 (en) | Apparatus for determining pickup pose of robot arm with camera | |
| US20120290130A1 (en) | Method to Model and Program a Robotic Workcell | |
| KR20140008262A (ko) | 로봇 시스템, 로봇, 로봇 제어 장치, 로봇 제어 방법 및 로봇 제어 프로그램 | |
| JP2019018272A (ja) | モーション生成方法、モーション生成装置、システム及びコンピュータプログラム | |
| JP2017097426A (ja) | シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム | |
| JP2003117861A (ja) | ロボットの位置補正システム | |
| JP2019155556A (ja) | ロボットの制御装置、ロボット、ロボットシステム、並びに、カメラの校正方法 | |
| JP2018167334A (ja) | 教示装置および教示方法 | |
| JP2021010994A (ja) | センサ位置姿勢キャリブレーション装置及びセンサ位置姿勢キャリブレーション方法 | |
| JP4230196B2 (ja) | 位置決め演算方法および位置決め演算装置 | |
| JP4595042B2 (ja) | ３次元測定方法およびシステム並びにマニピュレータの制御方法および装置 | |
| JPH06134691A (ja) | 位置検出方法およびこれを用いたフレキシブル生産システム | |
| KR19990023810A (ko) | 로보트의 구조 기술 방법과 로보트 장치 및 로보트의 구성 부품 | |
| JP7424122B2 (ja) | シミュレーション装置およびプログラム | |
| WO2023021703A1 (ja) | ロボットがワークを把持する位置及び姿勢を教示する装置、ロボットシステム、及び方法 | |
| WO2022181500A1 (ja) | 視覚センサの出力から得られる３次元位置情報を用いるシミュレーション装置 | |
| Horie et al. | Controlling two remote robot arms with direct instruction using hapticmaster and vision system | |
| WO2023176218A1 (ja) | ロボットに教示を行うための装置、ロボットに教示を行うための方法、および、ロボットに教示を行うためのプログラム | |
| WO2023073959A1 (ja) | 作業支援装置及び作業支援方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20021022 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030318 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080404 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090404 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090404 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100404 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110404 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120404 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130404 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140404 Year of fee payment: 11 |
|
| LAPS | Cancellation because of no payment of annual fees |