JP6589604B2 - ティーチング結果表示システム - Google Patents

Description

本発明は、作業者が頭部に装着する透過型の表示部に、ロボット本体のティーチング結果の動作経路の画像を表示させるシステムに関する。

作業者が頭部に装着する表示部に、画像を投影可能に構成される頭部装着型ディスプレイに、例えば仮想現実の画像や様々な情報を表示する技術が例えば特許文献１等で提案されている。この技術を、ロボットのティーチングを行った後に、ロボットの動作確認を仮想的な表示により行うシステムに適用することを想定する。

特開２０１４−９５９０３号公報

上記システムにおいて、更に以下のような表示態様を想定する。表示部が透過型であり、ロボットアーム自体を３次元的な画像モデルにより表示させて、表示部上において前記画像モデルを、作業者の視界に入るロボットアームの実景に重なるように表示させる。そして、ティーチングしたロボットアームの手先の経路を、線描画像により表示する。

すると、図４に示すように、上記の経路が本来は、作業者の視界ではロボットアームの背面側に回り込むものとなるはずのものが、図５に示すように、３Ｄ画像モデルの手前側に表示されてしまうことが想定される。このような表示態様では、作業者によるティーチングが意図通りに行われたか否かの確認に支障を来すことになる。

本発明は上記事情に鑑みてなされたものであり、その目的は、ロボット本体の動作経路が当該本体の背面側に回り込む態様の描画を、作業者に対して適切に認識させることができるティーチング結果表示システムを提供することにある。

本発明のティーチング結果表示システムによれば、画像処理部は、ロボット本体の形態を３次元でモデリングした３Ｄモデル画像データを保持しており、作業者の視点位置情報，前記ロボット本体の位置情報及び姿勢情報に応じて、３Ｄモデル画像データを、作業者の視点から見たロボット本体の実景に重なる画像となるように加工する。また、画像処理部は、作業者によってロボット本体の動作についてティーチング作業が行われると、ロボット本体の手先の動作経路を画像として表示するための経路画像データを生成し、前記加工した３Ｄモデル画像データと合成した画像データを生成する。それから、前記画像データにおいてロボット本体が存在する部分を透過色で表示すように加工すると、加工した画像データを作業者が装着している頭部装着型ディスプレイに送信する。すると、頭部装着型ディスプレイは、送信された画像データを表示部に表示させる。

すなわち、ロボット本体が存在する部分を透過色である黒色で表示すれば、作業者が頭部装着型ディスプレイの表示部を介して見る視界には、ロボット本体の実景に合せて動作経路の画像データが表示されることになる。すると、ロボット本体の３Ｄモデル画像データと動作経路の画像データとが重複する部分も透明に表示されるので、インポーズ画像同士では動作軌跡の画像がロボット画像で見えなくなる。

しかし黒色は透明なので、背景の実景もプラスして見てみると、ロボット本体の実景の後ろにくるべき部分の動作経路は表示されず、あたかもインポーズ画像である動作経路が上記実景の後ろに回り込むような表示とすることができる。結果として作業者の目には、動作経路の画像がロボット本体の実景の背面側に回り込む態様で表示される。これにより、作業者がティーチングした結果としてのロボット本体の動作経路が自身の視覚に一致するように表示されるので、作業者は、ティーチング結果が意図通りに行われたことを適切に確認できる。

一実施形態であり、ティーチング結果表示システムの構成を概略的に示す機能ブロック図 作業者がロボットアームのティーチング作業を行っている際に、主として３ＤＣＧ描画用計算機により実行される処理内容を示すフローチャート ロボットアームの３Ｄモデル画像データを実際には透明に表示するために、画像処理上では黒色で表示したイメージで示す図 従来技術を説明する、ティーチング結果の動作経路イメージを示す図（その１） 従来技術を説明する、ティーチング結果の動作経路イメージを示す図（その２）

以下、一実施形態について説明する。図１は、本実施形態のティーチング結果表示システム１の構成を概略的に示す機能ブロック図である。ティーチング結果表示システム１は、例えば組立用のロボットアーム２，３ＤＣＧ描画用計算機３，透過型ディスプレイ４及び位置検出センサ５より構成されている。ロボット本体であるロボットアーム２は、例えば６軸の垂直多関節型ロボットとして構成されている。一般的な構成につき詳しい説明は省略するが、このロボットアーム２は、夫々サーボモータにより駆動される６軸のアームを有し、第６軸アームの先端部に、例えばパレット内に収容されているワークを把持するためのハンド等を備えている。

ロボットアーム２は、図示しないロボットコントローラに接続され、前記各軸のサーボモータがこのロボットコントローラにより制御される。ロボットアーム２は、生産設備である周辺機器６の近傍に配置されており、周辺機器６と協働してワークの組み付け等の作業を行う。また、ロボットコントローラには、上記の制御を行うため、ロボットアーム２の各軸に配置されている図示しないエンコーダからのエンコーダ値が入力されている。

画像処理部に相当する３ＤＣＧ描画用計算機３は、前記ロボットコントローラにケーブル等を介して接続されており、ロボットコントローラが保持しているロボットアーム２の３次元位置座標（ｘ，ｙ，ｚ）の情報や姿勢情報である各軸のエンコーダ値、周辺機器６の３次元位置座標情報等を取得する。また、３ＤＣＧ描画用計算機３は、ロボットアーム２の形態，及び必要に応じて周辺機器６の形態を、それぞれ３次元的にモデリングしたデータである３Ｄモデル画像データを内部のメモリに記憶して保持している。

頭部装着型ディスプレイである透過型ディスプレイ４は、図示しない作業者が頭部に眼鏡のように装着するもので、眼鏡のレンズ部分に相当する透明な表示部４Ｄに、図示しない投影部を介して画像を投影可能となっている。視点位置取得部である位置検出センサ５は、例えば透過型ディスプレイ４のフレームの一側部に配置されるカメラ等である。位置検出センサ５は、作業者が透過型ディスプレイ４を頭部に装着した状態で、作業者の頭部正面が向いている方向の画像を撮像するもので、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳイメージセンサなどで構成されている。尚、位置検出センサ５については上記のカメラに限ることなく、例えばＧＰＳセンサや、当該センサと必要に応じてジャイロセンサ等の各センサを組み合わせたものなどを用いても良い。

透過型ディスプレイ４は、３ＤＣＧ描画用計算機３と無線又は有線により通信可能となっており、位置検出センサ５により撮像された画像のデータを視点位置情報として３ＤＣＧ描画用計算機３に送信する。また、透過型ディスプレイ４は、３ＤＣＧ描画用計算機３により送信された３Ｄモデル画像データを受信すると、その画像データを図示しない投影部を介して表示部４Ｄに投影し、表示する。

次に、本実施形態の作用について図２及び図３も参照して説明する。図２は、透過型ディスプレイ４を装着している作業者が、ロボットアーム２のティーチング作業を行っている際に、表示部４Ｄに表示する画像の更新周期毎に、主として３ＤＣＧ描画用計算機３により実行される処理内容を示すフローチャートである。３ＤＣＧ描画用計算機３は、先ず透過型ディスプレイ４より作業者の視点情報を取得する（Ｓ１）。すなわち、透過型ディスプレイ４に付属するカメラ；位置検出センサ５により撮像された画像のデータを解析することで、作業者の視点位置を演算する。

続いて、ロボットアーム２及び周辺機器６の位置情報を取得する（Ｓ２）。ここで、上述のように、３ＤＣＧ描画用計算機３は、上記の位置情報をロボットコントローラより取得するとしたが、ステップＳ１と同様に、位置検出センサ５により撮像された画像のデータを解析して前記位置情報を取得しても良い。また、ロボットアーム２については姿勢情報も取得する。

次に、３ＤＣＧ描画用計算機３は、ステップＳ１及びＳ２で取得した各情報から、ロボットアーム２及び周辺機器６の位置，並びにロボットアーム２の姿勢を変更するように３Ｄモデル画像データを加工する（Ｓ３）。ここで、３Ｄモデルは、一般的な３Ｄ−ＣＧの手法であるＺバッファ法等で描画されるため、奥行き情報を持った画像となる。

それから、加工した画像データに、ロボットの情報であるティーチング結果の経路を表示するために教示点の描画データ，つまり経路画像データを合成すると（Ｓ４）、合成した画像データにおいてロボットアーム２が存在する部分を、透過色である黒色で描画するように加工する（Ｓ５）。そして、加工した画像データを透過型ディスプレイ４に送信して、表示部４Ｄに表示させる（Ｓ６）。

以上のように加工処理した３Ｄモデル画像データを表示部４Ｄに表示させると、作業者が表示部４Ｄを介して見る視界には、ロボットアーム２の実景に合せてティーチングした動作経路の画像データが表示される。そして、ロボットアーム２の３Ｄモデル画像データと動作経路の画像データとが重複する部分も透明に表示されるので、作業者の目には、動作経路の画像データがロボット本体の実景の背面側に回り込む態様で表示される。図３では、ロボットアーム２の３Ｄモデル画像データを実際には透明に表示されるが、画像処理上では黒色で表示したイメージで示している。実際の作業者の視界では、図４に示した態様と同様にして動作経路の画像データが表示される。

以上のように本実施形態によれば、３ＤＣＧ描画用計算機３は、ロボットアーム２の形態を３次元でモデリングした３Ｄモデル画像データを保持し、作業者の視点位置情報，ロボットアーム２の位置情報及び姿勢情報に応じて、３Ｄモデル画像データを、作業者の視点から見たロボットアーム２の実景に重なる画像となるように加工する。また、作業者によりロボットアーム２の動作についてティーチング作業が行われると、ロボットアーム２の手先の動作経路を画像として表示するための経路画像データを生成し、加工した３Ｄモデル画像データと合成した画像データを生成する。それから、前記画像データにおいてロボットアーム２が存在する部分を透過色で表示すように加工すると、加工した画像データを透過型ディスプレイ４に送信する。すると、透過型ディスプレイ４は、送信された画像データを表示部４Ｄに表示させる。

これにより、ロボットアーム２の３Ｄモデル画像データと動作経路の画像データとが重複する部分が透明に表示されるので、作業者の目には、動作経路の画像データがロボットアーム２の実景の背面側に回り込む態様で表示される。したがって、作業者がティーチングした結果としてのロボットアーム２の動作経路が自身の視覚に一致するように表示されるので、作業者は、ティーチング結果が意図通りに行われたことを適切に確認できる。

本発明は上記した、又は図面に記載した実施形態にのみ限定されるものではなく、以下のような変形又は拡張が可能である。
ロボット本体はロボットアーム２に限ることなく、その他例えば水平４軸構成のロボットアーム，自走式のロボットや人型のロボットでも良い。
位置情報取得部に、レーザセンサや赤外センサを用いても良い。
表示部４Ｄに表示させる３Ｄモデル画像データには、必ずしもロボットアーム２の姿勢を反映させる必要はない。また、画像の大きさを距離に応じて変化させる必要もなく、常に一定の大きさで表示させても良い。
３ＤＣＧ描画用計算機３の機能をロボットコントローラに内蔵しても良い。
頭部装着型ディスプレイは、必ずしも透過型ディスプレイ４の形態である必要はなく、作業者が頭部に装着する透過型の表示部に、画像を投影可能に構成されるものであれば良い。

図面中、１はティーチング結果表示システム、２はロボットアーム、３は３ＤＣＧ描画用計算機、４は透過型ディスプレイ、５は位置検出センサを示す。

Claims (1)

1. 作業者が頭部に装着する透過型の表示部に、画像を投影可能に構成される頭部装着型ディスプレイと、
   前記作業者の視点位置情報を取得する視点位置情報取得部と、
   ロボット本体の位置情報及び前記ロボット本体の姿勢情報を取得する位置姿勢情報取得部と、
   前記ロボット本体の形態を３次元でモデリングした３Ｄモデル画像データを保持し、
   前記視点位置情報取得部及び前記位置姿勢情報取得部を介して、前記視点位置情報，前記位置情報及び前記姿勢情報を取得可能であり、
   前記各情報に応じて前記３Ｄモデル画像データを、前記作業者の視点から見た前記ロボット本体の実景に重なる画像となるように加工し、
   前記作業者により、前記ロボット本体の動作についてティーチング作業が行われると前記ロボット本体の手先の動作経路を画像として表示するための経路画像データを生成して、前記加工した３Ｄモデル画像データと合成した画像データを生成すると、
   更に、前記画像データにおいて前記ロボット本体が存在する部分を透過色で表示するように加工する画像処理部とを備え、
   前記画像処理部は、前記頭部装着型ディスプレイに前記加工した画像データを送信し、
   前記頭部装着型ディスプレイは、前記送信された画像データを前記表示部に表示させるティーチング結果表示システム。

Images