JPWO2017085811A1 - ティーチング装置及び制御情報の生成方法 - Google Patents

Abstract

移動動作に加え、作業位置での作業内容をロボットに対して教示できるティーチング装置及び制御情報の生成方法を提供すること。ティーチング装置は、モーションキャプチャーを実施したマーカー部の軌跡を表示画面（１２１）のキャプチャー表示部（１２３）に表示する。ユーザは、キャプチャー表示部（１２３）の軌跡にポインタ（１３５）を合わせてクリック操作することで、所望の位置に中継点を設定できる。ティーチング装置は、作業情報登録ボックス（１７１）のリストボックスからユーザによって所望の作業が選択されると、選択された作業情報を対応する中継点に関連付ける。ティーチング装置は、表示画面（１２１）の書き出しボタン（１９５）が選択されると、関連付けたデータを制御情報として出力する。

Description

本発明は、ロボットに対して動作を教示するためのティーチング装置及び当該ロボットを制御する制御情報を生成する方法に関する。

近年、生産現場における省人化を図るべく、産業用ロボットを使用した作業の自動化が進んでいる。産業用ロボット、例えばロボットアームの中には、並行に配置した複数のアーム部によって１つのエンドエフェクタを支持するいわゆるパラレルリンク機構を備えるものや、多関節ロボットのような複数のアーム部を１方向に連結させてエンドエフェクタを支持するシリアルリンク機構を備えるものがある。

また、従来、これらのロボットアームで行う作業を人が模擬し、模擬した人の動作をモーションキャプチャーによって取得し、ロボットアームに対して教示するティーチング装置がある（例えば、特許文献１など）。特許文献１に開示されるティーチング装置では、ユーザが測定装置（文献では、「モーションキャプチャー」）を手に装着した状態で動作させると、測定装置から送信される３次元座標データに基づいて、予め定められたサンプリング間隔で測定装置の位置をサンプリングする。ティーチング装置は、サンプリングしたデータに基づいて、移動位置、移動速度等を演算し、演算した移動位置を移動速度で移動するようにアーム部を制御している。

特開２０１１−２００９９７号公報

ところで、上記したロボットアーム等の産業用ロボットは、移動動作だけでなく、移動中や移動先の様々な位置でワークに対する作業を実行する。このため、ティーチング装置を扱うユーザは、移動動作だけでなく、移動中や移動先で実行する作業内容をロボットアームに対して教示する必要がある。

本発明は、上記した課題を鑑みてなされたものであり、移動動作に加え、作業位置での作業内容をロボットに対して教示できるティーチング装置及び制御情報の生成方法を提供することを目的とする。

上記課題を解決するために、本願の請求項１に記載のティーチング装置は、ロボットの動作を制御するための制御情報を生成するティーチング装置であって、ロボットの位置を示す位置マーカー部と、位置マーカー部の状態を検出する検出部と、検出部によって位置マーカー部を検出した検出データを入力する処理部と、処理部の処理結果を表示する表示部と、外部からの入力を受け付ける入力部と、を備え、処理部は、検出データに基づいて、位置マーカー部の３次元座標における位置情報を生成する位置情報生成処理と、位置情報を表示部に表示する位置表示処理と、表示した位置情報のうち、ロボットが作業を実施する作業位置を、入力部の入力に応じて選択する作業位置選択処理と、作業位置において実施する作業の内容に応じた作業情報を、入力部の入力に応じて設定する作業情報設定処理と、作業位置と作業情報とを関連付けたデータを制御情報として生成する制御情報生成処理と、を実行することを特徴とする。

また、請求項２に記載のティーチング装置では、請求項１に記載のティーチング装置において、処理部は、作業情報設定処理において、入力部の入力に応じて作業情報の一覧を示すリストボックスを表示部に表示する第１表示処理を実行する構成でもよい。
ことを特徴とする。

また、請求項３に記載のティーチング装置では、請求項１又は請求項２に記載のティーチング装置において、処理部は、位置マーカー部の第１個数を入力部の入力に基づいて設定する入力処理と、入力処理で設定した位置マーカー部の第１個数と、位置情報生成処理によって検出した位置マーカー部の第２個数とが一致するか否かを判定する判定処理と、判定処理の結果を表示部に表示する第２表示処理と、を実行する構成でもよい。

また、請求項４に記載のティーチング装置では、請求項１乃至請求項３のいずれかに記載のティーチング装置において、処理部は、制御情報として生成済みの出力情報を読み込む読み込み処理を実行し、位置表示処理において、読み込んだ出力情報に含まれる位置情報を、位置情報生成処理によって検出し表示部に表示する位置情報とともに、当該表示部に表示する構成でもよい。

また、請求項５に記載のティーチング装置では、請求項１乃至請求項４のいずれかに記載のティーチング装置において、処理部は、位置情報生成処理と位置表示処理との２つの処理を並列に処理するリアルタイム表示モードを有し、リアルタイム表示モードを選択するためのモード選択ボタンを表示部に表示する第３表示処理を実行する構成でもよい。

また、請求項６に記載のティーチング装置では、請求項１乃至請求項５のいずれかに記載のティーチング装置において、位置マーカー部を有する治具を、さらに備え、治具は、エンドエフェクタと、エンドエフェクタを駆動する駆動部と、エンドエフェクタの位置を示すエンドエフェクタ用マーカー部とを有し、検出部は、エンドエフェクタ用マーカー部の状態を検出し、処理部は、位置情報生成処理として、駆動部の駆動に基づいてエンドエフェクタが動作するのにともなって移動するエンドエフェクタ用マーカー部の位置情報を生成する構成でもよい。

また、上記課題を解決するために、本願の請求項７に記載の制御情報の生成方法は、ロボットの動作を制御するための制御情報の生成方法であって、ロボットの位置を示す位置マーカー部と、位置マーカー部の状態を検出する検出部と、検出部によって位置マーカー部を検出した検出データを入力する処理部と、処理部の処理結果を表示する表示部と、外部からの入力を受け付ける入力部と、を備えるティーチング装置に対し、検出データに基づいて、位置マーカー部の３次元座標における位置情報を生成する位置情報生成ステップと、位置情報を表示部に表示する位置表示ステップと、表示した位置情報のうち、ロボットが作業を実施する作業位置を、入力部の入力に応じて選択する作業位置選択ステップと、作業位置において実施する作業の内容に応じた作業情報を、入力部の入力に応じて設定する作業情報設定ステップと、作業位置と作業情報とを関連付けたデータを制御情報として生成する制御情報生成ステップと、を実行させることを特徴とする。

本願の請求項１に記載のティーチング装置は、ロボットを制御するための制御情報を生成する。ここでいう、制御情報とは、ロボットの移動位置、移動方向、移動時間、移動先の作業等を設定した情報である。検出部は、位置マーカー部の状態を検出した検出データを処理部に出力する。位置マーカー部の検出方法としては、例えば、光学方式や磁気方式のモーションキャプチャーを用いることができる。処理部は、検出部の検出データに基づいて、位置マーカー部の位置情報を生成し、生成した位置情報を表示部に表示する。これにより、ユーザは、表示部を見ることでモーションキャプチャーした位置マーカー部の位置等を確認することができる。また、ユーザは、入力部を操作することで、表示した位置情報のうち、ロボットが作業を実施する作業位置を選択し、且つ、選択した作業位置において実施する作業の情報を設定することができる。処理部は、作業位置と作業情報とを関連付けた制御情報を生成する。ここでいう、ロボットが作業位置において実施する作業とは、例えば、ワークを挟む、ワークを掴む、レーザを照射する、撮像を行う、ワークを吸着する等の作業である。従って、ユーザは、表示部の表示を確認しながら入力部を操作することで、所望の位置においてロボットに実行させたい作業を設定した制御情報を生成することが可能となる。また、ユーザは、その制御情報を用いてロボットに対して所望の動作を教示できる。

また、本願の請求項２に記載のティーチング装置において、処理部は、作業情報設定処理において、作業情報の一覧を示すリストボックスを表示する。これにより、ユーザは、リストボックスの一覧を確認して所望の作業内容を、容易且つ確実に、作業位置に関連付けることが可能となる。また、このようなリストボックスは、iniファイル形式等の形式に従ってテキストファイル（定義データ）を参照することで表示内容を決めることができる。このため、ユーザは、テキストファイルを編集等することで、リストボックスとして表示させたい作業情報を、予め適切に選択して設定することが可能となる。結果として、処理部は、ロボットによって実施可能な作業情報のみをリストボックスに表示することが可能となり、誤入力の防止を図ることができる。

また、本願の請求項３に記載のティーチング装置において、例えば、ユーザは、モーションキャプチャーを実施する位置マーカー部の実際の個数を、第１個数として入力部により入力する。処理部は、入力された第１個数と、位置情報生成処理によって検出した第２個数、即ち、モーションキャプチャーによって検出した個数とが一致するか否かを判定する。処理部は、判定結果を表示部に表示する。これにより、ユーザは、表示された判定結果を確認することで、モーションキャプチャーを実施している全ての位置マーカー部をキャプチャーできているか否かを確認できる。ユーザは、確認結果に応じて、モーションキャプチャーをやり直すなどの適切な対応を実施できる。

また、本願の請求項４に記載のティーチング装置において、出力情報は、既に生成済みの制御情報であり、例えば、事前にモーションキャプチャーを実施した制御情報である。処理部は、この出力情報を読み込み、出力情報に含まれる位置情報を、位置情報生成処理によって検出した位置情報とともに表示部に表示する。これにより、例えば、ユーザは、事前にモーションキャプチャーを実施したロボットと、モーションキャプチャーを実施中の他のロボットとを協調させて作業する状態、作業位置、干渉の有無等を、表示部の表示によって確認することができる。

また、本願の請求項５に記載のティーチング装置において、ユーザは、例えば、入力部を操作して表示部のモード選択ボタンを選択することで、処理部をリアルタイム表示モードに設定することができる。処理部は、リアルタイム表示モードにおいて、例えば、位置情報を生成しつつ、生成した位置情報を表示部に表示するリアルタイム処理を実行する。これにより、ユーザは、モーションキャプチャーを実施しながら、キャプチャーした位置マーカー部の位置情報をリアルタイムの動画で確認することができる。ユーザは、確認結果に応じて、モーションキャプチャーの継続又はやり直しを、迅速に判断することが可能となる。

また、本願の請求項６に記載のティーチング装置は、位置マーカー部を有する治具をさらに備える。ここで、従来のティーチング装置では、測定装置を装着した人の手等を、モーションキャプチャーを実施するキャプチャー領域内に侵入させていた。これに対し、当該ティーチング装置では、例えば、手に持った治具のみを被検出体としてキャプチャー領域に侵入させることができる。ユーザは、手や腕をキャプチャー領域内に挿入させないことで、手や腕等が他の部材と干渉する不具合などを防止できる。また、ユーザは、人の動作では表現できないロボットの動き、例えば、人の腕の関節を逆方向に動かす動きであっても、治具を動かすことで教示が可能となる。

さらに、治具は、駆動部を駆動させることで、エンドエフェクタ用マーカー部を有するエンドエフェクタを動作させる。ユーザは、例えば、作業位置において駆動部を駆動し、エンドエフェクタを動作させる。処理部は、動作するエンドエフェクタ用マーカー部をモーションキャプチャーして、位置情報を生成する。これにより、ユーザは、表示部の表示でエンドエフェクタ用マーカー部が動作する位置を確認することで、キャプチャーしたデータ上で作業位置を容易に判断することが可能となる。また、処理部は、エンドエフェクタ用マーカー部が動作した位置を検出し、検出した位置を予め作業位置として設定することも可能となる。

さらに、本願に係る発明は、ティーチング装置に限定されることなく、ティーチング装置によって制御情報を生成する方法の発明としても実施し得るものである。

本実施形態のティーチング装置の構成を概略的に示した図である。 複数のカメラが取り付けられた枠部の斜視図である。 制御情報を用いて制御する対象である産業用ロボットの構成を示す模式図である。 本実施形態のティーチング装置を用いてモーションキャプチャーを実施する状態を示す模式図である。 表示部の表示画面を示す図である。 キャプチャー表示部の表示を拡大した図である。 定義データの内容を示す図である。 サブ画面の表示状態を示す図である。 サブ画面の表示状態を示す図である。 作業情報登録ボックスの表示を拡大した図である。

以下、本発明のティーチング装置の一実施形態について、図面を参照しつつ説明する。図１は、本実施形態のティーチング装置１０の要部の構成を概略的に示している。ティーチング装置１０は、光学方式のモーションキャプチャーを実施する装置であり、複数（図１では１台のみ図示）のカメラ１３と、複数の治具１５（図１では１つのみ図示）と、制御情報生成装置１７とを備える。ティーチング装置１０は、１又は複数の治具１５の動きを複数のカメラ１３によって撮像し、カメラ１３の撮像データＤ１から図３に示すロボットアーム１０１，１０３を制御する制御情報Ｄ５を制御情報生成装置１７によって生成する。

＜カメラ１３について＞
図２に示すように、複数のカメラ１３の各々は、複数（本実施形態では、１２本）のパイプ２１を直方体形状に組み付けた枠部２３に取付けられている。複数のパイプ２１の各々は、同一の長さで形成されている。１２本のパイプ２１のうち、任意の３本のパイプ２１は、直方体形状の枠部２３の角部分において、連結部材２５によって互いに連結されている。各連結部材２５は、３本のパイプ２１の各々の端部２１Ａを挿入して保持しており、３本のパイプ２１の各々を互いに直交するようにして固定している。以下、図２に示すように、枠部２３を配置する台１９の載置面に対して直交する方向を上下方向、上下方向に直交し図２において前後に向かう方向を前後方向、上下方向及び前後方向に直交する方向を左右方向と称し、説明する。

本実施形態のティーチング装置１０は、例えば、合計で６個のカメラ１３が枠部２３に取付けられている。以下、複数のカメラ１３を区別する必要があるときは、図２に示すように、カメラ１３の符号の後にアルファベットを付して説明する。また、区別する必要がないときは、６台のカメラを「カメラ１３」と総称して説明する。６台のカメラ１３うち、４台のカメラ１３Ａ，１３Ｂ，１３Ｃ，１３Ｄは、枠部２３の上方側となる４本のパイプ２１の各々に、固定部材２７によって取付けられている。４台のカメラ１３Ａ〜１３Ｄの各々は、上方側の４つの連結部材２５のそれぞれに近接する位置に取り付けられている。固定部材２７は、カメラ１３Ａ〜１３Ｄの各々を、撮像方向が枠部２３の中央部分を向くようにして固定している。

また、６台のカメラ１３のうち、残りの２台のカメラ１３Ｅ，１３Ｆは、上下方向に沿って設けられた４本のパイプ２１のうち、対角線上で対向する一組のパイプ２１の各々に、固定部材２７によって取り付けられている。カメラ１３Ｅ，１３Ｆは、パイプ２１における台１９側となる下端部に取り付けられ、撮像方向が枠部２３の中央部分を向くようにして固定部材２７によって固定されている。これら６台のカメラ１３は、後述する治具１５のマーカー部４３を撮影するため、枠部２３で取り囲まれた立方体形状の領域をキャプチャー領域Ｒ１、即ち、治具１５及びマーカー部４３を可動させて追跡するための領域として設定している。なお、６台のカメラ１３は、例えば、マーカー部４３をキャプチャーするために、撮像範囲が互いに重複するように設定され、キャプチャー領域Ｒ１を３次元的に撮像可能となっている。また、図２に示す枠部２３の形状、カメラ１３の台数、カメラ１３の取り付け位置等は、一例であり、適宜変更可能である。

図１及び図２に示すように、カメラ１３の各々は、撮像素子３１と、照明装置３３，３４とを備える。撮像素子３１は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサである。照明装置３３，３４は、例えば、ＬＥＤ照明であり、互いに異なる波長の光を照射する。これは、後述する２つの治具１５Ａ，１５Ｂ（図４参照）の各々に設けられたマーカー部４３Ａ，４３Ｂに対応した２種類の光である。カメラ１３は、照明装置３３，３４から照射しマーカー部４３Ａ，４３Ｂによって反射した反射光を撮像素子３１によって受光する。カメラ１３は、撮像したデータを撮像データＤ１として、映像ケーブル３５（図２参照）を介してティーチング装置１０へ出力する。なお、カメラ１３は、マーカー部４３Ａ，４３Ｂの反射光を検出し易いように、照明装置３３，３４から照射する光の波長に応じた光学フィルターを、撮像素子３１の光の入射口に取り付けた構成でもよい。

＜治具１５について＞
次に、検出対象である治具１５について説明する。図１に示す治具１５は、図３に示す産業用ロボット１００のロボットアーム１０１，１０３を模擬した被検出体であり、本体部４１と、マーカー部４３と、エンドエフェクタ４５と、把持部４７とを備えている。図３は、産業用ロボット１００の構成を模式的に示したものである。ロボットアーム１０１は、２つのアーム部１０５を１方向に連結させ、先端部分にエンドエフェクタであるハンド部１０９を支持するシリアルリンク機構を備える多関節ロボットである。同様に、ロボットアーム１０３は、２つのアーム部１０７を１方向に連結させ、先端部分にハンド部１１１を支持する。産業用ロボット１００は、例えば、ロボットアーム１０１，１０３を駆動して、ハンド部１０９，１１１に挟持したワークＷ１，Ｗ２を基板Ｂに取り付ける作業を行う。ワークＷ１，Ｗ２は、例えば、電子部品やネジ等である。

図１に示す治具１５の本体部４１は、ロボットアーム１０１，１０３のアーム部１０５，１０７に対応する。以下の説明では、一例として２種類の治具１５Ａ，１５Ｂ（図４参照）を、それぞれ異なるロボットアーム１０１，１０３であると仮定してモーションキャプチャーを行う場合について説明する。これにより、ティーチング装置１０は、２つのロボットアーム１０１，１０３を協調させて動作させるための制御情報Ｄ５を生成する。なお、以下の説明では、この２種類の治具１５、あるいは当該治具１５が備える各部（マーカー部４３など）を区別する必要があるときは、図４に示すように、治具１５等の符号の後にアルファベットを付して説明する。また、区別する必要がないときは、２つの治具を「治具１５」と総称して説明する。

マーカー部４３は、本体部４１の外周部分に固定されている。マーカー部４３は、球体をなし、各カメラ１３の照明装置３３，３４から照射される光を反射する。例えば、図４に示す治具１５Ａに設けられたマーカー部４３Ａは、照明装置３３から照射する特定の波長の光を反射する反射特性を有する材質等で構成されている。また、もう一方の治具１５Ｂに設けられたマーカー部４３Ｂは、照明装置３４から照射する特定の波長の光を反射する反射特性を有する材質等で構成されている。これにより、制御情報生成装置１７は、マーカー部４３の位置を三次元座標で示した位置情報Ｄ２を取得することが可能となる。

エンドエフェクタ４５は、ロボットアーム１０１，１０３（図３参照）のワークＷ１，Ｗ２を挟むハンド部１０９，１１１を模擬した形状をなしており、先端部分が互いに近接する方向に向かって屈曲した一対の棒状の部材で構成されている。一対のエンドエフェクタ４５は、マーカー部４３を挟む位置に設けられ、先端部分が開閉可能に構成されている。エンドエフェクタ４５の各々の先端部分には、当該エンドエフェクタ４５の動きをトラッキングするためのエンドエフェクタ用マーカー部４６が設けられている。エンドエフェクタ用マーカー部４６は、マーカー部４３とは異なる形状、例えば、長方形状をなしている。例えば、エンドエフェクタ用マーカー部４６Ａ，４６Ｂは、マーカー部４３Ａ，４３Ｂと同様に、互いに異なる反射特性で構成されており、カメラ１３の照明装置３３，３４の各々から照射される光を反射する。これにより、制御情報生成装置１７は、治具１５と同様に、エンドエフェクタ４５の位置情報Ｄ２も取得することが可能となる。なお、カメラ１３は、治具１５に使用する照明装置３３，３４とは別に、エンドエフェクタ４５に光を照射する専用の照明装置を備えてもよい。

また、本体部４１には、エンドエフェクタ４５を開閉動作させるためのアクチュエーター４９が内蔵されている。また、本体部４１には、マーカー部４３やエンドエフェクタ４５とは反対側の部分に棒状の把持部４７の先端部が取り付けられている。把持部４７は、例えば、枠部２３のキャプチャー領域Ｒ１（図２参照）内に治具１５を入れた状態で、枠部２３の外に飛び出した当該把持部４７の基端部をユーザが手に持つことができる程度の長さで構成されている。これにより、ユーザは、体の一部をキャプチャー領域Ｒ１に入れることなく、治具１５を操作することが可能となる。

把持部４７の本体部４１とは反対側の基端部には、アクチュエーター４９を駆動、又は停止させるための駆動スイッチ５１が設けられている。駆動スイッチ５１は、把持部４７及び本体部４１内に配設された接続線５３によってアクチュエーター４９と接続されている。例えば、モーションキャプチャーを実行する際には、ユーザは、把持部４７の基端部を持って、先端部に設けられた治具１５を、枠部２３のキャプチャー領域Ｒ１内において、出発位置から所望の位置、例えば、ロボットアーム１０１，１０３がハンド部１０９，１１１でワークＷ１，Ｗ２を挟持する作業位置まで移動させる。ユーザは、移動させた後に治具１５を停止させた状態で、駆動スイッチ５１をオン操作することで、エンドエフェクタ４５の先端部分を閉じた状態とする。あるいは、ユーザは、駆動スイッチ５１をオフ操作することで、エンドエフェクタ４５の先端部分を開いた状態とする。制御情報生成装置１７は、エンドエフェクタ用マーカー部４６をキャプチャーする。

＜制御情報生成装置１７について＞
次に、制御情報生成装置１７の構成について説明する。制御情報生成装置１７は、例えば、ＣＰＵ（Central Processing Unit）６１を主体として構成されたパーソナルコンピュータであり、変換部６３、記憶部６５、入力部６７、表示部６９等を備える。制御情報生成装置１７は、カメラ１３から出力された撮像データＤ１を、映像ケーブル３５（図２参照）を介して変換部６３に入力する。変換部６３は、複数のカメラ１３で撮像された撮像データＤ１を時系列的に整列させ、カメラ１３の識別情報や時間情報等を付加してＣＰＵ６１に出力する。ＣＰＵ６１は、変換部６３から入力された撮像データＤ１を記憶部６５に保存する。記憶部６５は、メモリやハードディスク等を備えており、撮像データＤ１の他に、定義データＤ３や制御プログラムＤ７等が保存されている。定義データＤ３には、表示部６９の表示に必要な設定データが保存されている。制御プログラムＤ７は、ＣＰＵ６１上で実行するプログラムである。

ＣＰＵ６１は、記憶部６５に保存された制御プログラムＤ７を読み出して実行することにより、位置情報生成部７１、位置情報表示部７３、制御情報生成部７５の各種の処理モジュールを実現する。なお、本実施形態では、位置情報生成部７１等は、ＣＰＵ６１で制御プログラムＤ７が実行されることによって実現されるソフトウェアとして構成されているが、専用のハードウェアとして構成してもよい。

入力部６７は、ユーザから入力を受け付けるキーボードやマウス等の入力装置である。表示部６９は、例えば、液晶モニターであり、マーカー部４３をキャプチャーした位置情報Ｄ２等を表示する。本実施形態のティーチング装置１０は、使用方法の一例として、例えば、出発位置から到達位置まで移動させた治具１５をキャプチャーして、マーカー部４３やエンドエフェクタ用マーカー部４６の位置情報Ｄ２を生成する。次に、ユーザは、表示部６９に表示された位置情報Ｄ２を確認しながら入力部６７を操作し、中継点、連続中継点、及び作業情報等を入力する。これにより、ティーチング装置１０は、位置情報Ｄ２に対して中継点等と、中継点等において実施する作業情報とを関連付けた制御情報Ｄ５を生成する。

次に、制御情報生成装置１７における制御情報Ｄ５の生成処理について説明する。まず、モーションキャプチャーを実行する作業内容について説明する。以下の説明では、一例として、２台のロボットアーム１０１，１０３（図３参照）が、互いに協調して動作しながら基板ＢにワークＷ１，Ｗ２を実装する作業のモーションキャプチャーについて説明する。図４は、モーションキャプチャーを実施する場合の状態を模式的に示している。

図４に示すように、例えば、枠部２３のキャプチャー領域Ｒ１内にワークＷ１，Ｗ２（図３参照）を供給するための供給装置８１，８２を配置する。供給装置８１，８２は、例えば、テーピング化された電子部品（ワーク）を１つずつ供給位置に送り出すテープフィーダ型の供給装置である。供給装置８１のワークＷ２の供給位置には、供給位置用マーカー部８４が設けられている。また、供給装置８２のワークＷ１の供給位置には、供給位置用マーカー部８５が設けられている。

また、供給装置８１，８２の前後方向における間には、基板８６が配置されている。基板８６は、長方形状に形成され、平面が前後方向及び左右方向に沿うようにして水平に配置されている。基板８６の４つの角部分には、実装位置用マーカー部８８が設けられている。なお、以下の説明では、治具１５Ａが実装作業を行う実装位置用マーカー部８８を、他の実装位置用マーカー部８８と区別するため、実装位置用マーカー部８８Ａと称する。また、治具１５Ｂが実装作業を行う実装位置用マーカー部８８を、他の実装位置用マーカー部８８と区別するため、実装位置用マーカー部８８Ｂと称する。また、上記した供給装置８１，８２及び基板８６は、実物の装置や基板を用いてもよく、形状を模擬した部材を用いてもよい。また、基板８６の中心部には、３つの基準マーカー部９１が隣接して設けられている。基準マーカー部９１は、ロボットアーム１０１，１０３（図３参照）の動作の基準となる位置である。

例えば、図３に示すロボットアーム１０１のハンド部１０９によって供給装置８２（図４参照）の供給位置からワークＷ１をピックアップし、基板Ｂに実装する作業を、治具１５Ａにて教示する。この場合、図４の実線の矢印９３で示すように、ユーザは、把持部４７Ａを持って治具１５Ａを操作し、図４に示す出発位置から供給位置用マーカー部８５まで治具１５Ａを移動させる。ユーザは、供給位置用マーカー部８５の位置（中継位置）において、駆動スイッチ５１Ａをオン操作してエンドエフェクタ４５Ａを閉じた状態とする。次に、ユーザは、治具１５Ａを、供給位置用マーカー部８５から実装位置用マーカー部８８Ａの位置（中継位置）まで移動させる。ユーザは、実装位置用マーカー部８８Ａの位置において、駆動スイッチ５１Ａをオフ操作してエンドエフェクタ４５Ａを開いた状態とする。そして、ユーザは、治具１５Ａを、次の作業を介しするための位置（到達位置）まで移動させる。

また、ロボットアーム１０３のハンド部１１１によって供給装置８１（図４参照）の供給位置からワークＷ２をピックアップし、基板Ｂに実装する作業を、治具１５Ｂにて教示する。この作業は、上記したロボットアーム１０１の作業と同時に行う作業である。この場合、図４の破線の矢印９５で示すように、ユーザは、把持部４７Ｂを持って治具１５Ｂを操作し、図４に示す出発位置から供給位置用マーカー部８４まで治具１５Ｂを移動させる。ユーザは、供給位置用マーカー部８４の位置（中継位置）において、駆動スイッチ５１Ｂをオン操作してエンドエフェクタ４５Ｂを閉じた状態とする。次に、ユーザは、治具１５Ｂを、供給位置用マーカー部８４から実装位置用マーカー部８８Ｂの位置（中継位置）まで移動させる。ユーザは、実装位置用マーカー部８８Ｂの位置において、駆動スイッチ５１Ｂをオフ操作してエンドエフェクタ４５Ｂを開いた状態とする。そして、ユーザは、治具１５Ｂを、次の作業を介しするための位置（到達位置）まで移動させる。

次に、表示部６９の表示及び制御情報生成装置１７の処理内容について説明する。ＣＰＵ６１は、制御プログラムＤ７等を実行して、マーカー部４３Ａ，４３Ｂ、エンドエフェクタ用マーカー部４６Ａ，４６Ｂの各々の３次元座標（Ｘ座標、Ｙ座標、Ｚ座標）の位置やＸ軸等に対する傾きなどを生成した位置情報Ｄ２を生成する。

より具体的には、ＣＰＵ６１は、変換部６３から撮像データＤ１を取り込んで記憶部６５に保存する。次に、ＣＰＵ６１で実行される位置情報生成部７１は、記憶部６５に保存された撮像データＤ１に付加されたカメラ１３の識別情報や時間情報等に基づいて、治具１５Ａ，１５Ｂに取り付けたマーカー部４３Ａ，４３Ｂやエンドエフェクタ用マーカー部４６Ａ，４６Ｂの撮影時間ごとにおける３次元座標の位置を演算する。位置情報生成部７１は、演算した位置情報Ｄ２を記憶部６５に保存する。位置情報生成部７１は、例えば、二値化した撮像データＤ１に対してラベリングを行い、エピポーラマッチングなどのアルゴリズムを利用した処理を行ってマーカー部４３等の３次元空間内での座標位置を演算する。また、位置情報生成部７１は、基準マーカー部９１に対する相対的な座標の位置を演算する。例えば、位置情報生成部７１は、３つの基準マーカー部９１の重心位置を基準として、マーカー部４３等の座標位置を演算する。

上記したように、マーカー部４３等は、照明装置３３，３４から照射する光の波長に合わせて、反射特性の異なる構造となっている。このため、例えば、位置情報生成部７１は、撮像データＤ１に対し、輝度の違いなどによって各マーカー部４３Ａ，４３Ｂからの反射光を識別し、マーカー部４３Ａ，４３Ｂごとの座標位置を演算する。なお、位置情報生成部７１が位置情報Ｄ２を演算する処理方法は、特に限定されず、例えば、三角測量の原理等によって、位置情報Ｄ２を演算してもよい。

また、位置情報生成部７１は、例えば、マーカー部４３Ａ，４３Ｂのそれぞれの位置を、所定時間ごとにサンプリングし、座標位置を示す点の集合であるデータを位置情報Ｄ２として生成する。位置情報生成部７１は、サンプリングした座標位置のうち、隣接した座標位置の関係からＸ軸、Ｙ軸、Ｚ軸に対する傾きを演算する。位置情報生成部７１は、演算した傾きの値を、座標位置と合わせて位置情報Ｄ２として記憶部６５に保存する。

また、上記したように、治具１５は、所定の位置まで移動した後、駆動スイッチ５１が操作されることでエンドエフェクタ４５を開閉させる。位置情報生成部７１は、エンドエフェクタ４５に設けたエンドエフェクタ用マーカー部４６の動作をキャプチャーする。位置情報生成部７１は、例えば、マーカー部４３の位置が一定の範囲内で停止した状態で、エンドエフェクタ用マーカー部４６のみがマーカー部４３に対して相対的に移動している位置を検出すると、検出した位置を中継位置として設定する。これにより、位置情報生成部７１は、上記した座標位置を示す点の集合の中から、ユーザがエンドエフェクタ４５を動作させた位置を中継位置として設定する。位置情報生成部７１は、中継点を設定した位置情報Ｄ２を記憶部６５に保存する。

位置情報表示部７３は、位置情報生成部７１によって生成され記憶部６５に保存された位置情報Ｄ２を表示部６９に表示する。図５は、位置情報表示部７３によって表示部６９に表示された表示画面１２１の一例を示している。なお、図５は、図面の説明や表示内容が複雑となるのを避けるため、図４とは異なり、より単純なマーカー部４３の軌跡が図示されている。また、図５は、２つの治具１５Ａ，１５Ｂのマーカー部４３Ａ，４３Ｂ以外に、後述する生成済みの制御情報Ｄ５を読み込んで表示した軌跡を含め、３つの軌跡が図示されている。

図５に示すように、表示画面１２１内における左側には、キャプチャー表示部１２３が表示されている。位置情報表示部７３は、上記した位置情報生成部７１によって生成した位置情報Ｄ２に基づいて、マーカー部４３Ａ，４３Ｂの座標位置を３次元座標で表したものをキャプチャー表示部１２３に表示する。

なお、キャプチャー表示部１２３に表示したＸ方向は、例えば、図２に示す前後方向に対応している。また、Ｙ方向は、上下方向に対応している。Ｚ方向は、左右方向に対応している。また、Ｙ方向の縦軸に付された数字は、座標位置の値の一例を示している。この座標位置は、例えば、基準マーカー部９１（図４）を基準とした位置が設定される。また、位置情報表示部７３は、図４に示す供給装置８１や基板８６を、表示画面１２１上に模式的に示してもよい。

図６は、キャプチャー表示部１２３の拡大図を示している。図６に示すように、キャプチャー表示部１２３内の実線で示す軌跡１２５は、例えば、マーカー部４３Ａ（図中では「マーカー１」と表示）をキャプチャーした軌跡を示している。また、破線で示す軌跡１２６は、例えば、マーカー部４３Ｂ（図中では「マーカー２」と表示）をキャプチャーした軌跡を示している。また、太線で示す軌跡１２７は、事前にモーションキャプチャーを実施して生成した制御情報Ｄ５を読み込んで、その制御情報Ｄ５に含まれる位置情報Ｄ２を表示したものである（図中では「マーカー３」と表示）。

また、位置情報表示部７３は、キャプチャーするマーカー部４３Ａ，４３Ｂと、表示するマーカー１〜４との対応を自動で設定する。例えば、位置情報表示部７３は、照明装置３３の光を反射したマーカー部を「マーカー１」に、照明装置３４の光を反射したマーカー部を「マーカー２」に自動で設定する。あるいは、位置情報表示部７３は、最初にキャプチャーできたものから順番に、マーカー１〜４の順に設定してもよい。また、位置情報表示部７３は、キャプチャーするマーカー部４３Ａ，４３Ｂと、表示するマーカー１〜４との対応を手動で変更可能な構成でもよい。なお、後述するように、生成済みの制御情報Ｄ５を読み込む場合には、位置情報表示部７３は、マーカー表示欄１９３の設定に応じて、読み込んだ位置情報Ｄ２をどのマーカー１〜４に対応付けるのかを変更される。

位置情報表示部７３は、表示する軌跡１２５，１２６，１２７の数や線種を、定義データＤ３の設定データに基づいて表示する。図７は、定義データＤ３の一例を示している。図７に示すように、定義データＤ３は、例えば、iniファイル形式で記載されたデータであり、各マーカーの線種や作業情報等が定義されている。なお、定義データＤ３のファイル形式は、iniファイル形式に限らず、xmlファイル形式等の他の形式でもよい。

図６に示すように、キャプチャー表示部１２３の下方には、表示する軌跡を選択するための表示選択欄１３３が表示されている。図７に示す定義データＤ３には、４つマーカー１〜４に対応したデータが設定されている。このため、位置情報表示部７３は、定義データＤ３の設定に従って、キャプチャー表示部１２３に４つの表示選択欄１３３を表示する。表示選択欄１３３は、各軌跡１２５，１２６，１２７に対応して設けられている。ユーザは、例えば、入力部６７のマウスを操作し、キャプチャー表示部１２３に表示させたいマーカーの表示選択欄１３３の位置までポインタ１３５を移動させてクリック操作することで表示選択欄１３３を選択できる。位置情報表示部７３は、ユーザによって選択された表示選択欄１３３にチェック済みのマークを表示し、選択されたマーカーに対応する軌跡をキャプチャー表示部１２３に表示する。図６に示す状態は、マーカー１〜３が選択され、それに対応する軌跡１２５，１２６，１２７が表示されている状態となっている。なお、ユーザは、ポインタ１３５の操作に限らず、キーボード等を操作して表示選択欄１３３を選択してもよい。

キャプチャー表示部１２３において黒色の丸で示す中継点１２９は、上記したキャプチャーにおいて治具１５を停止させ駆動スイッチ５１を操作した位置に対応している。中継点１２９は、ハンド部１０９，１１１の通過点として設定される。また、キャプチャー表示部１２３において白色の丸で示す連続中継点１３１は、ハンド部１０９，１１１を連続して通過させる点として設定した位置である。連続中継点１３１には、中継点１２９と異なり、隣接した前後の座標位置においても通過すべき中継点が設定されている。この連続中継点１３１は、上記したキャプチャーにおいて位置情報生成部７１によって自動で設定してもよい。例えば、位置情報生成部７１は、サンプリングした点のうち、所定の間隔以下で隣接する点を連続中継点１３１として設定してもよい。また、後述するように、ユーザは、キャプチャー表示部１２３上において、連続中継点１３１を設定することができる。

キャプチャー表示部１２３において黒色の三角で示す出発位置１３７は、上記したキャプチャーにおいて治具１５のキャプチャーを開始した位置である。出発位置１３７は、ハンド部１０９，１１１の移動を開始する位置として設定される。また、白色の四角で示す到着位置１３８は、上記したキャプチャーにおいて治具１５のキャプチャーを終了した位置である。到着位置１３８は、ハンド部１０９，１１１の移動先の位置として設定される。

＜中継点１２９等の設定、変更方法＞
位置情報表示部７３は、位置情報生成部７１によって生成した位置情報Ｄ２を表示する。この位置情報表示部７３による表示の態様は、後述する各モード（軌跡表示モードなど）に応じて異なっている。

位置情報Ｄ２には、上記したキャプチャーにおいて治具１５を停止しエンドエフェクタ４５を動かした位置が中継点１２９として設定されている。このため、位置情報表示部７３は、位置情報Ｄ２に設定された中継点１２９をキャプチャー表示部１２３に表示する。また、ユーザは、キャプチャー後であっても中継点１２９を設定することができる。ユーザは、図６に示すように、キャプチャー表示部１２３内の任意の座標位置にポインタ１３５を合わせて１回クリック操作を行う。位置情報表示部７３は、選択された位置にリスト１４１を表示する。リスト１４１には、中継点、連続中継点、削除等の項目が表示される。ユーザは、これらの項目の一つを選択することで、中継点１２９や連続中継点１３１を任意の位置に設定することができる。位置情報表示部７３は、設定された中継点１２９を通過するように軌跡１２７等を変更する。

また、ユーザは、一度設定した中継点１２９等を削除することもできる。ユーザは、中継点１２９等の位置にポインタ１３５を合わせてクリック操作を行う。ユーザは、リスト１４１に表示された項目から削除の項目を選択することで、設定済みの中継点１２９を削除することができる。また、ユーザは、出発位置１３７、中継点１２９等をポインタ１３５で選択したまま移動させる操作（ドラッグ操作）をすることで位置を変更することができる。この場合、位置情報表示部７３は、出発位置１３７等の表示やデータを、ドラッグ操作に合わせて変更する。これにより、ユーザは、キャプチャー表示部１２３の表示を確認しながら直感的に、中継点１２９や連続中継点１３１の設定・位置の変更・削除などをすることができる。なお、ユーザは、上記したキャプチャーにおいて、駆動スイッチ５１を操作して中継点１２９を予め設定せずに、移動させたい軌跡だけをマーカー部４３によってキャプチャーしておき、キャプチャー表示部１２３に表示させた後に、全ての中継点１２９を設定してもよい。

また、例えば、軌跡１２５等のうち、一つの軌跡をユーザがポインタ１３５で選択して２回クリック操作を行うと、位置情報表示部７３は、選択された軌跡のデータを直接変更できるサブ画面を表示する。図８及び図９は、軌跡１２５を選択した場合のサブ画面１２１Ａの一例を示している。図８及び図９に示すように、サブ画面１２１Ａには、制御情報表示部１４３と、変更保存ボタン１４５と、キャンセルボタン１４７とが表示されている。

ここで、位置情報生成部７１は、上記したキャプチャーにおいて、エンドエフェクタ４５のエンドエフェクタ用マーカー部４６の閉じる動きや開く動きをキャプチャーすることで、中継点１２９での作業情報（ハンドオープン、ハンドクローズなど）を自動で設定する。そして、図８及び図９に示す制御情報表示部１４３は、エンドエフェクタ用マーカー部４６のキャプチャーによって位置情報生成部７１が検出した作業情報が既に設定されている。

制御情報表示部１４３は、行方向及び列方向に並んでデータが設定された表になっている。このデータは、後述するように産業用ロボット１００を制御するための制御情報Ｄ５として出力できる。制御情報表示部１４３の第１行目には、左から順番に、「タイム」、「マーカー番号」、「位置種別」、「作業情報」、「座標値」、「角度」、「位置名称」、「作業情報名称」が表示されている。

タイムの列には、出発位置１３７でキャプチャーを開始してからの経過時間が表示されている。マーカー番号の列には、マーカー部４３の番号、例えば、軌跡１２５であればマーカー１を示す数字の「１」が表示されている。

位置種別には、出発位置１３７、中継点１２９、連続中継点１３１、及び到着位置１３８の種別を示す数字が表示されている。また、右から２番目の位置名称の列には、位置種別の数字に対応した名称が表示されている。位置情報表示部７３は、定義データＤ３の位置名称（図７参照）の設定データに基づいて、制御情報表示部１４３の位置名称を表示する。例えば、位置種別の「０」は、中継点１２９等を設定していない未設定の座標位置を示している。位置種別の「１」は、出発位置１３７の座標位置を示している。「２」は、中継点１２９の座標位置を示している。「３」は、連続中継点１３１の座標位置を示している。「４」は、到着位置１３８の座標位置を示している。ユーザは、例えば、図８及び図９に示すサブ画面１２１Ａにおいて、所望の座標位置の位置種別の欄をポインタ１３５等で選択し、設定された数字を変更することで中継点１２９等の座標位置を変更できる。

また、作業情報の列には、各座標位置に設定された作業情報の種別を示す数字が表示されている。また、一番右の作用情報名称の列には、作業情報の数字に対応した名称が表示されている。位置情報表示部７３は、定義データＤ３の作業情報（図７参照）の設定データに基づいて、制御情報表示部１４３の作業情報名称を表示する。例えば、作業情報の「０」は、作業を設定していないことを示している。「１」は、ハンド部１０９，１１１（図３参照）を開放するハンドオープンを実行することを示している。「２」は、ハンド部１０９，１１１を閉じるハンドクローズを実行することを示している。「３」は、ロボットアーム１０１やロボットアーム１０３に取り付けたカメラ（図示略）によって撮像を実行することを示している。なお、作業情報の種類は、上記したものに限らず、適宜変更可能である。例えば、ハンド部１０９の替わりに吸着ノズルを取り付けた場合、作業情報は、吸着ノズルによってワークＷ１を吸着する作業でもよい。また、例えば、作業情報は、アーム部１０５に取り付けたレーザ光源からワークＷ１にレーザを照射して穴を開ける作業でもよい。ユーザは、例えば、ロボットアーム１０１やロボットアーム１０３が実行可能な内容に応じて、定義データＤ３のファイルを変更することで、適切な作業情報を設定することができる。

また、座標値の列には、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の各方向の座標位置の値が表示されている。また、角度の列には、Ｘ軸、Ｙ軸、Ｚ軸の各軸に対する角度が表示されている。位置情報表示部７３は、例えば、ユーザによって選択された軌跡１２５，１２６，１２７に対応する位置情報Ｄ２の座標値や角度を読み出して表示する。

また、位置情報表示部７３は、ユーザによって選択された座標位置を、サブ画面１２１Ａ上で強調して表示する。例えば、ユーザは、図６に示す軌跡１２５上の２つの中継点１２９のうち、到着位置１３８側の中継点１２９Ａを、選択して２回クリック操作を行う。この場合、図８に示すように、位置情報表示部７３は、中継点１２９Ａに対応する「中継点２」の行を強調マーク１４９で囲んで表示する。これにより、ユーザは、キャプチャー表示部１２３において選択した座標位置を容易に確認することができる。また、ユーザは、他の座標位置のデータを誤って変更することが抑制される。

ユーザは、制御情報表示部１４３の各項目のデータをポインタ１３５で選択し数字等を入力することで、所望の位置、角度、及び作業内容等に変更することができる。ユーザは、変更後、変更保存ボタン１４５を選択する。位置情報表示部７３は、変更内容を位置情報Ｄ２に反映して、サブ画面１２１Ａの表示を終了させる。また、ユーザは、変更を位置情報Ｄ２に反映したくない場合、キャンセルボタン１４７を選択する。位置情報表示部７３は、変更内容を位置情報Ｄ２に反映させずに、サブ画面１２１Ａの表示を終了させる。

＜表示モード＞
また、図５に示すように、表示画面１２１には、キャプチャー表示部１２３の右側における上部に、モード表示部１５１が表示されている。モード表示部１５１には、位置情報生成部７１や位置情報表示部７３の現在のモードが表示される。このモードは、モード表示部１５１の下方に設けられた軌跡表示ボタン１５３、再生ボタン１５５、及びリアルタイム表示ボタン１５７、記録開始ボタン１５９のいずれかを選択することで変更される。

位置情報表示部７３は、ポインタ１３５等によって軌跡表示ボタン１５３を選択されると、モード表示部１５１に「軌跡表示中」と表示する。位置情報表示部７３は、軌跡表示モードとなり、既にモーションキャプチャーを終了し記憶部６５に保存済みの制御情報Ｄ５を読み込む処理を行う。この制御情報Ｄ５は、後述するように図８及び図９に示す制御情報表示部１４３をファイル形式で出力したデータ（出力情報の一例）であり、マーカー表示欄１９３の設定に応じて変更される。位置情報表示部７３は、読み込んだ制御情報Ｄ５の座標位置を示す点と、点と点を結ぶ軌跡との両方をキャプチャー表示部１２３に表示する。

また、位置情報表示部７３は、再生ボタン１５５が選択されると、モード表示部１５１に「再生中」と表示する。位置情報表示部７３は、再生モードとなり、既にモーションキャプチャーを終了し記憶部６５に保存済みの制御情報Ｄ５を読み込む。位置情報表示部７３は、読み込んだ制御情報Ｄ５の座標位置を示す点のみをキャプチャー表示部１２３に表示する。このため、位置情報表示部７３は、この再生モードでは、キャプチャー表示部１２３に軌跡を表示しない。

また、表示画面１２１には、再生ボタン１５５の左に再生速度設定欄１５８が表示されている。位置情報表示部７３は、再生速度設定欄１５８内の数字に応じて、再生モード及び軌跡表示モード中の点や軌跡の表示速度を変更する。位置情報表示部７３は、再生速度として、例えば、０．１倍から５倍までの速度を設定可能となっている。位置情報表示部７３は、再生速度の初期値として、例えば１倍が設定されている。

また、位置情報表示部７３は、リアルタイム表示ボタン１５７が選択されると、モード表示部１５１に「リアルタイム表示中」と表示する。位置情報表示部７３は、リアルタイム表示モードとなり、キャプチャー領域Ｒ１（図２参照）内でキャプチャー中のマーカー部４３の位置情報Ｄ２をキャプチャー表示部１２３に表示する。位置情報表示部７３は、位置情報Ｄ２を位置情報生成部７１から入力し、リアルタイムに処理をして動画として表示する。即ち、ＣＰＵ６１は、位置情報生成部７１による位置情報Ｄ２の生成処理と、位置情報表示部７３による軌跡１２５等の表示処理との２つの処理を並列に実行する。また、位置情報生成部７１は、リアルタイム表示モードでは、位置情報Ｄ２を記憶部６５に保存しない設定となっている。

また、位置情報表示部７３は、記録開始ボタン１５９が選択されると、モード表示部１５１に「記録中」と表示する。位置情報表示部７３は、記録モードとなり、キャプチャー中のマーカー部４３の位置情報Ｄ２をリアルタイムで表示する。さらに、記録モードでは、位置情報生成部７１は、生成した位置情報Ｄ２を記憶部６５に保存する設定となっている。

＜マーカー数の差異表示＞
また、モード表示部１５１の下には、有効マーカー数欄１６１、差異リアルタイム表示１６３、差異検出保持表示１６５が左右方向に並んで表示されている。また、有効マーカー数欄１６１の下方には、記録マーカー数欄１６７が表示されている。

位置情報表示部７３は、位置情報生成部７１によってキャプチャー領域Ｒ１内でキャプチャーしたマーカー部４３の数を、有効マーカー数欄１６１に表示する。また、記録マーカー数欄１６７の数字は、キャプチャー領域Ｒ１内で実際に動かすマーカー部４３の数をユーザによって設定される。換言すれば、記録マーカー数欄１６７には、位置情報生成部７１によってキャプチャーすべきマーカー部４３の数が設定される。ユーザは、例えば、記録マーカー数欄１６７を選択して数字を入力することで欄内に所望の数字を設定する。また、ユーザは、記録マーカー数欄１６７の左に設けた選択ボタン１６９を操作することでも欄内の数字を変更できる。例えば、位置情報表示部７３は、選択ボタン１６９の上向きの三角ボタンが選択されると、記録マーカー数欄１６７の数字を増加させる。また、位置情報表示部７３は、選択ボタン１６９の下向きの三角ボタンが選択されると、記録マーカー数欄１６７の数字を減少させる。

また、位置情報表示部７３は、有効マーカー数欄１６１の数と、記録マーカー数欄１６７の数が異なる場合、差異リアルタイム表示１６３を点灯（例えば、赤色に点灯）させる。従って、差異リアルタイム表示１６３は、ユーザによって設定されたマーカー部４３の数と、実際にキャプチャーできたマーカー部４３の数とが一致しない場合に点灯する。

また、位置情報表示部７３は、リアルタイム表示モードや記録モードにおいて、マーカー部４３のキャプチャーを開始してから終了するまでの間に、有効マーカー数欄１６１の数と、記録マーカー数欄１６７の数とが相異したことを検出すると、差異検出保持表示１６５を点灯（例えば、赤色に点灯）させる。また、位置情報表示部７３は、差異検出保持表示１６５を一度点灯させると、次回のキャプチャーを開始するまで状態を保持する。位置情報表示部７３は、次回のキャプチャーの開始に合わせて差異検出保持表示１６５を消灯させる。なお、上記したキャプチャーの開始及び終了は、例えば、位置情報生成部７１の処理状態、あるいはリアルタイム表示モードや記録モードの開始等によって検出することができる。

＜作業情報登録ボックス１７１による作業情報の設定＞
また、表示画面１２１には、再生速度設定欄１５８等の下に作業情報登録ボックス１７１が表示されている。図１０は、作業情報登録ボックス１７１の拡大図を示している。図１０に示すように、作業情報登録ボックス１７１には、左からの順番に、マーカー名、中継点１２９の名称、作業内容が表示されている。ユーザは、この作業情報登録ボックス１７１を操作することによっても、各中継点１２９に設定する作業情報を変更できる。

作業情報登録ボックス１７１の各行は、マーカー１〜４の各々に対応している。作業情報登録ボックス１７１の最も左の列には、マーカーの名称と、名称の右側に設けられた選択ボタン１７３と、選択ボタン１７３の右側の中継点数欄１７５とが表示されている。

ここで、図１０では、作業情報登録ボックス１７１内に３つの中継点１２９（中継点１〜３）が表示されている。実際のキャプチャーでは、作業情報登録ボックス１７１に一度で表示できない程の中継点１２９を設定する場合も想定される。この場合に、位置情報表示部７３は、例えば、マーカー１の選択ボタン１７３における上向きの三角ボタンが選択されると、マーカー１のみの中継点１２９の表示部分を右にスクロールさせる。また、位置情報表示部７３は、マーカー１の選択ボタン１７３における下向きの三角ボタンが選択されると、マーカー１のみの中継点１２９の表示部分を左にスクロールさせる。

また、位置情報表示部７３は、中継点数欄１７５に数字が入力されると、入力された数字の中継点１２９を最も左側に表示する。例えば、位置情報表示部７３は、マーカー１の中継点数欄１７５に「２」の数字が入力されると、マーカー１の行において中継点２を最も左側に表示し、次いで右側に中継点３、中継点４を表示する。この場合、マーカー１の中継点１は、表示されない。また、位置情報表示部７３は、作業情報登録ボックス１７１の下部に設けられたスクロールバー１７７が左右方向に操作されるのに合わせて、全てのマーカーの中継点１２９の表示部分を、まとめて左右方向にスクロールさせる。

また、作業情報登録ボックス１７１の中継点数欄１７５の右側には、各中継点１２９の名称の横に選択ボタン１７９と、リストボックス１８１とが表示されている。位置情報表示部７３は、任意の中継点１２９の選択ボタン１７９をポインタ１３５等によって選択されると、キャプチャー表示部１２３において選択された中継点１２９を強調して表示する。例えば、図１０に示すように、ユーザは、マーカー２における中継点２の選択ボタン１７９の位置にポインタ１３５を合わせてクリック操作する。これにより、位置情報表示部７３は、図６に示すように、選択されたマーカー２の中継点２を、強調マーク１８３で囲んで表示する。ユーザは、強調マーク１８３の位置を確認することで、選択した中継点１２９が意図したものに合致しているか否かを、キャプチャー表示部１２３の表示により視覚的に確認できる。その結果、作業情報を入力する中継点１２９を間違える誤入力を抑制することができる。

また、位置情報表示部７３は、ユーザによって任意のリストボックス１８１が選択されると、定義データＤ３に設定された作業情報（図７参照）をリスト表示する。図１０では、マーカー３の中継点１のリストボックス１８１が選択された状態を示している。現時点では、マーカー３の中継点１の作業情報が未設定であるため、リストボックス１８１は、未設定の項目にチェックが表示されている。また、リストボックス１８１には、未設定の項目の下に、定義データＤ３の作業情報に設定された各項目がリスト表示されている。これにより、ユーザは、所望の中継点１２９のリストボックス１８１を選択し、リスト内から作業情報を選択することで、作業情報を適切に選択及び設定できる。

また、図１０において、ドットのハッチングで示す領域１８５は、操作を受け付けない無効領域を示している。図６に示すように、マーカー１に対応する軌跡１２５には、２つの中継点１２９（中継点１，２）が設定されている。また、マーカー２に対応する軌跡１２６には、２つの中継点１２９（中継点１，２）が設定されている。また、マーカー３に対応する軌跡１２７には、１つの中継点１２９（中継点１）が設定されている。換言すれば、上記した中継点１２９を除いて、他の中継点１２９は、設定されていない。

このため、位置情報表示部７３は、作業情報登録ボックス１７１の表示において、上記した中継点１２９以外の中継点１２９を囲む領域を、領域１８５として設定している。位置情報表示部７３は、この領域１８５内の項目をポインタ１３５等で選択されても、操作を受け付けない処理を行う。これにより、中継点１２９を設定していない座標位置への作業情報の誤入力を防止できる。

また、作業情報登録ボックス１７１の下部には、シート選択ボタン１８７が表示されている。位置情報表示部７３は、「中継」と表示されたシート選択ボタン１８７が選択されると、図１０に示す中継点１２９の作業情報を入力する作業情報登録ボックス１７１を表示する。また、位置情報表示部７３は、「連続」と表示されたシート選択ボタン１８７が選択されると、連続中継点１３１の作業情報を入力する作業情報登録ボックス（図示略）を表示する。これにより、ユーザは、シート選択ボタン１８７を選択して作業情報登録ボックス１７１を切り替えることで、中継点１２９と連続中継点１３１との両方の作業情報を設定できる。なお、作業情報登録ボックス１７１は、出発位置１３７や到着位置１３８の作業情報を入力する作業情報登録ボックス１７１を備えてもよい。

また、図５に示すように、作業情報登録ボックス１７１の下には、選択ボタン１９１、マーカー表示欄１９３、書き出しボタン１９５、読み込みボタン１９７、終了ボタン１９９が表示されている。位置情報表示部７３は、例えば、選択ボタン１９１の上向きの三角ボタンが選択されると、マーカー表示欄１９３の表示をマーカー１、２、３、４、１・・の昇順に変更する。同様に、位置情報表示部７３は、選択ボタン１９１の下向きの三角ボタンが選択されと、マーカー表示欄１９３の表示をマーカー１、４、３、２、１・・・の降順に変更する。

＜制御情報Ｄ５の読み込み及び書き出し＞
また、位置情報表示部７３は、制御情報Ｄ５の書き出し、又は読み込みの処理を、別の処理モジュールである制御情報生成部７５に実行させる。制御情報生成部７５は、書き出しボタン１９５が選択されると、図８及び図９に示す制御情報表示部１４３のデータを制御情報Ｄ５として出力する。制御情報生成部７５は、マーカー表示欄１９３に設定されたマーカーの番号に対応する制御情報Ｄ５を出力する。また、制御情報生成部７５は、マーカー表示欄１９３が空欄である場合、すべてのマーカーに対応する制御情報Ｄ５を出力する。出力するファイル形式としては、例えば、ＣＳＶ（Comma Separated Values）形式を採用することができる。この場合、出力ファイルは、例えば、図８及び図９に示すタイム、マーカー番号等がコンマで区切られたデータとして出力される。

また、制御情報生成部７５は、読み込みボタン１９７が選択されると、ファイルの選択画面（図示略）を表示し、そのファイル選択画面からユーザが選択した既に出力済みのファイル（ＣＳＶ形式の制御情報Ｄ５）を読み込む処理を実行する。制御情報生成部７５は、読み込むデータを、マーカー表示欄１９３に表示されたマーカーの番号に対応するデータとして読み込む。例えば、マーカー表示欄１９３にマーカー１が設定されている場合、位置情報表示部７３は、読み込んだデータを、作業情報登録ボックス１７１のマーカー１の行に表示する。また、位置情報表示部７３は、読み込んだデータをキャプチャー表示部１２３に表示する。例えば、位置情報表示部７３は、軌跡表示モードにおいて、マーカー表示欄１９３にマーカー１を設定した状態で読み込みボタン１９７が選択されると、制御情報生成部７５によって読み込んだデータに基づいてキャプチャー表示部１２３に軌跡１２５を表示する。

また、位置情報表示部７３は、終了ボタン１９９が選択されると、表示画面１２１の表示を終了する。このようにして、ティーチング装置１０は、ロボットアーム１０１，１０３を移動させたい中継点１２９等と、作業情報とを関連付けた制御情報Ｄ５を生成することが可能となる。ユーザは、制御情報Ｄ５を用いて産業用ロボット１００を制御する制御プログラムを生成することができる。例えば、ユーザは、制御情報Ｄ５（座標位置と作業情報との組み合わせ等）を、産業用ロボット１００を移動させる移動コマンドのパラメータ（移動方向等）や、ハンドオープン等させる制御コマンドのパラメータ（実行位置やタイミング等）として使用することができる。これにより、ユーザは、出力された制御情報Ｄ５を用いて、ハンド部１０９，１１１（図３参照）に所望の動作をさせる制御プログラムを容易に生成できる。

因みに、上記実施形態において、カメラ１３は、検出部の一例である。マーカー部４３は、位置マーカー部の一例である。アクチュエーター４９は、駆動部の一例である。ＣＰＵ６１は、処理部の一例である。ロボットアーム１０１，１０３は、ロボットの一例である。中継点１２９、連続中継点１３１、出発位置１３７、到着位置１３８は、作業位置の一例である。リアルタイム表示ボタン１５７は、選択ボタンの一例である。撮像データＤ１は、検出データの一例である。

以上、上記した本実施形態によれば以下の効果を奏する。
＜効果１＞カメラ１３は、マーカー部４３を撮像した撮像データＤ１を制御情報生成装置１７に出力する。ＣＰＵ６１で実行される位置情報生成部７１は、撮像データＤ１に付加されたカメラ１３の識別情報や時間情報等に基づいて、マーカー部４３の３次元座標の位置を、位置情報Ｄ２として演算する（位置情報生成処理の一例）。位置情報表示部７３は、位置情報Ｄ２を表示部６９に表示する（位置表示処理の一例）。これにより、ユーザは、表示部６９を見ることでモーションキャプチャーしたマーカー部４３の位置等を確認することができる。

また、ユーザは、キャプチャー表示部１２３の軌跡１２５等にポインタ１３５を合わせてクリック操作する、あるいは、作業情報登録ボックス１７１に表示された各中継点にポインタ１３５の位置を合わせることで、所望の位置を選択する。位置情報表示部７３は、ユーザによって選択された位置を、ロボットアーム１０１，１０３によって作業を実施する中継点１２９や連続中継点１３１など（作業位置）として選択する（作業位置選択処理の一例）。また、位置情報表示部７３は、作業情報登録ボックス１７１のリストボックス１８１からユーザによって所望の作業が選択されることで、各中継点１２９等において実施する作業の情報を設定する（作業情報設定処理の一例）。位置情報表示部７３は、ユーザの設定操作に応じて制御情報Ｄ５に係わるデータ（図８，図９参照）を更新する。制御情報生成部７５は、表示画面１２１の書き出しボタン１９５が選択されると、図８及び図９に示す制御情報表示部１４３のデータを制御情報Ｄ５として出力する（制御情報生成処理の一例）。従って、ユーザは、表示部６９の表示に従って入力部６７を操作することで、ロボットアーム１０１，１０３のハンド部１０９，１１１を通過させたい位置と、その位置で実行させたい作業内容との両方を、視覚的に確認しながら簡単に登録することができる。

＜効果２＞位置情報表示部７３は、ユーザによって任意のリストボックス１８１が選択されると、定義データＤ３に設定された作業情報（図７参照）をリスト表示する（第１表示処理の一例）。これにより、ユーザは、リストボックス１８１の一覧を確認して所望の作業内容を、容易且つ確実に、中継点１２９等に関連付けることが可能となる。

＜効果３＞記録マーカー数欄１６７の数字は、キャプチャー領域Ｒ１内で実際に動かすマーカー部４３の数をユーザによって設定される（入力処理の一例）。また、位置情報表示部７３は、位置情報生成部７１によってキャプチャー領域Ｒ１内でキャプチャーしたマーカー部４３の数を、有効マーカー数欄１６１に表示する。位置情報表示部７３は、有効マーカー数欄１６１の数と、記録マーカー数欄１６７の数が異なる場合、差異リアルタイム表示１６３を点灯させる（判定処理及び第２表示処理の一例）。これにより、ユーザは、差異リアルタイム表示１６３の点灯状態を確認することで、モーションキャプチャーを実施している全てのマーカー部４３を、ティーチング装置１０によってキャプチャーできているか否かを確認することができる。

＜効果４＞制御情報生成部７５は、読み込みボタン１９７が選択されると、ファイルの選択画面（図示略）を表示し、そのファイル選択画面からユーザが選択した既に出力済みの制御情報Ｄ５（出力情報の一例）を読み込む。位置情報表示部７３は、読み込んだ制御情報Ｄ５を、キャプチャー中あるいはキャプチャーが終了した位置情報Ｄ２とともに、キャプチャー表示部１２３に表示する（図６のマーカー１〜３参照）。これにより、ユーザは、予めモーションキャプチャーを実施した産業用ロボット１００と、モーションキャプチャー中の他の産業用ロボット１００とを協調させて作業する状態を表示部６９によって確認できる。さらに、ユーザは、事前に取得した制御情報Ｄ５と、後から制御情報Ｄ５とを比較して変更・合成等し、新たな制御情報Ｄ５として取得することもできる。

＜効果５＞位置情報表示部７３は、表示画面１２１にリアルタイム表示ボタン１５７を表示する（第３表示処理の一例）。位置情報表示部７３は、リアルタイム表示ボタン１５７が選択されると、モード表示部１５１に「リアルタイム表示中」と表示する。位置情報表示部７３は、リアルタイム表示モードとなり、キャプチャー領域Ｒ１内でキャプチャー中のマーカー部４３の位置情報Ｄ２を、リアルタイムの動画としてキャプチャー表示部１２３に表示する。この場合、ＣＰＵ６１は、位置情報生成部７１による位置情報Ｄ２の生成処理と、位置情報表示部７３による軌跡１２５等の表示処理との２つの処理を並列に実行する。これにより、ユーザは、モーションキャプチャーを実施しながら、キャプチャーしたマーカー部４３の位置をリアルタイムで確認できる。

＜効果６＞治具１５は、ユーザによって駆動スイッチ５１が操作されることで、アクチュエーター４９を駆動する。エンドエフェクタ４５は、アクチュエーター４９の駆動に応じて開閉する。制御情報生成装置１７は、モーションキャプチャーにおいて、動作するエンドエフェクタ４５のエンドエフェクタ用マーカー部４６をキャプチャーする。位置情報生成部７１は、例えば、マーカー部４３の位置が一定の範囲内で停止した状態で、エンドエフェクタ用マーカー部４６のみが移動する位置を中継位置として設定する。これにより、ユーザは、表示部６９の表示において、エンドエフェクタ用マーカー部４６が動作する位置を中継位置として確認することで、作業位置を容易に判断することが可能となる。

＜効果７＞本実施形態のティーチング装置１０では、マーカー部４３Ａを設けた治具１５Ａと、マーカー部４３Ｂを設けた治具１５Ｂとを、被検出体として用いる。これにより、２台のロボットアーム１０１，１０３の動作を模擬する場合、モーションキャプチャーを実施するキャプチャー領域Ｒ１内に複数のユーザの腕が挿入することがなく、ユーザの腕が干渉するなどの不具合を防止することが可能となる。

＜効果８＞位置情報生成部７１は、３つの基準マーカー部９１の重心位置を基準として、マーカー部４３Ａ，４３Ｂの相対的な座標位置を演算する。これにより、生成した制御情報Ｄ５を使用する場合、基準マーカー部９１の重心位置を、実際の作業領域内の基準、例えば、図３に示す基板Ｂの中心位置に合わせることで、産業用ロボット１００を精度よく制御することが可能となる。

なお、本発明は、上記実施形態に限定されるものではなく、当業者の知識に基づいて種々の変更、改良を施した種々の態様で実施することが可能である。
例えば、上記実施形態では、２の治具１５Ａ，１５Ｂを同時に用いたが、これに限らない。例えば、ティーチング装置１０は、１つの治具１５のみを対象としてモーションキャプチャーを実行し制御情報Ｄ５を生成してもよい。また、ティーチング装置１０は、３つ以上の治具１５を対象としてモーションキャプチャーを実行してもよい。この場合、ティーチング装置１０は、複数のマーカー部４３のそれぞれに対応した制御情報Ｄ５を生成してもよく、あるいは全てのマーカー部４３に対応するデータを一つにまとめた制御情報Ｄ５を生成してもよい。また、ティーチング装置１０は、例えば、３つ以上の治具１５のマーカー部４３をそれぞれ区別するために、３つ以上の異なる波長の光を照射する照明装置３３，３４を備えてもよい。また、ティーチング装置１０は、１つの治具１５を複数回動作させて取得した複数の制御情報Ｄ５を読み込んで合成してもよい。

また、作業情報の設定は、リストボックス１８１に限らず、ボタンによる選択や文字や数字等を直接入力して設定する構成でもよい。
また、位置情報表示部７３は、マーカー部４３の数に係わる表示（有効マーカー数欄１６１、差異リアルタイム表示１６３、差異検出保持表示１６５など）を実施しなくともよい。
また、位置情報表示部７３は、読み込みボタン１９７を用いた制御情報Ｄ５の読み込み処理を実施しない構成でもよい。

また、位置情報表示部７３は、リアルタイム表示モードやリアルタイム表示ボタン１５７を備えない構成でもよい。
また、上記実施形態では、マーカー部４３を、治具１５に取り付けたが、これに限らない。例えば、ユーザは、マーカー部４３を手で持ってキャプチャー領域Ｒ１内で移動させてもよい。
また、治具１５は、エンドエフェクタ４５、アクチュエーター４９、及び駆動スイッチ５１等を備えない構成でもよい。

また、位置情報Ｄ２は、マーカー部４３の位置や角度の情報の他に、マーカー部４３の移動速度や加速度を情報として有していてもよい。
また、位置情報生成部７１は、ユーザの手作業によるぶれを修正するため、生成した位置情報Ｄ２を補正してもよい。

また、上記実施形態では、本願におけるロボットとして、ロボットアーム１０１，１０３を適用する例について説明したが、これに限らない。例えば、本願におけるロボットは、電子部品の吸着やレーザビームの照射、ネジ締め等の作業を行うロボットでもよい。また、シリアルリンク機構を備えたロボットに限らず、ＸＹ軸方向に直交して動作するロボット、パラレルリンク機構を備えたロボットでもよい。
また、上記実施形態では、マーカー部４３Ａ，４３Ｂの検出方法として、特定の波長の光をマーカー部４３Ａ，４３Ｂに照射し、マーカー部４３Ａ，４３Ｂの反射光を撮像した撮像データＤ１から、位置情報Ｄ２を演算する光学方式のモーションキャプチャーを用いたがこれに限らない。例えば、マーカー部４３Ａ，４３Ｂの検出方法は、撮像データＤ１に対しマーカー部４３Ａ，４３Ｂの形状を検出する画像処理を実行し、実行結果から位置等を検出してもよい。あるいは、例えば、磁気センサの動作を検出する磁気方式でもよい。例えば、治具１５に位置データを送信する磁気センサを取り付け、カメラ１３の代わりに位置データを受信する受信装置を取り付けてもよい。磁気センサは、移動しながら識別情報を付加した位置データを送信する。受信装置は、受信した位置データから磁気センサの位置情報等を演算することができる。この場合、当該磁気センサは、本願におけるロボットの位置を示す位置マーカー部に対応する。また、受信装置は、検出部に対応する。

１０ ティーチング装置、１３ カメラ（検出部）、１５ 治具、４３ マーカー部（位置マーカー部）、４５ エンドエフェクタ、４９ アクチュエーター（駆動部）、４６
エンドエフェクタ用マーカー部、６１ ＣＰＵ（処理部）、６９ 表示部、１０１，１０３ ロボットアーム（ロボット）、１２９ 中継点（作業位置）、１３１ 連続中継点（作業位置）、１３７ 出発位置（作業位置）、１３８ 到着位置（作業位置）、１５７
リアルタイム表示ボタン（選択ボタン）、１８１ リストボックス、Ｄ１ 撮像データ（検出データ）、Ｄ５ 制御情報。

Claims (7)

1. ロボットの動作を制御するための制御情報を生成するティーチング装置であって、
   前記ロボットの位置を示す位置マーカー部と、
   前記位置マーカー部の状態を検出する検出部と、
   前記検出部によって前記位置マーカー部を検出した検出データを入力する処理部と、
   前記処理部の処理結果を表示する表示部と、
   外部からの入力を受け付ける入力部と、を備え、
   前記処理部は、
   前記検出データに基づいて、前記位置マーカー部の３次元座標における位置情報を生成する位置情報生成処理と、
   前記位置情報を前記表示部に表示する位置表示処理と、
   表示した前記位置情報のうち、前記ロボットが作業を実施する作業位置を、前記入力部の入力に応じて選択する作業位置選択処理と、
   前記作業位置において実施する作業の内容に応じた作業情報を、前記入力部の入力に応じて設定する作業情報設定処理と、
   前記作業位置と前記作業情報とを関連付けたデータを前記制御情報として生成する制御情報生成処理と、を実行することを特徴とするティーチング装置。
2. 前記処理部は、前記作業情報設定処理において、前記入力部の入力に応じて前記作業情報の一覧を示すリストボックスを前記表示部に表示する第１表示処理を実行することを特徴とする請求項１に記載のティーチング装置。
3. 前記処理部は、
   前記位置マーカー部の第１個数を前記入力部の入力に基づいて設定する入力処理と、
   前記入力処理で設定した前記位置マーカー部の前記第１個数と、前記位置情報生成処理によって検出した前記位置マーカー部の第２個数とが一致するか否かを判定する判定処理と、
   前記判定処理の結果を前記表示部に表示する第２表示処理と、を実行することを特徴とする請求項１又は請求項２に記載のティーチング装置。
4. 前記処理部は、
   前記制御情報として生成済みの出力情報を読み込む読み込み処理を実行し、
   前記位置表示処理において、読み込んだ前記出力情報に含まれる位置情報を、前記位置情報生成処理によって検出し前記表示部に表示する前記位置情報とともに、前記表示部に表示することを特徴とする請求項１乃至請求項３の何れかに記載のティーチング装置。
5. 前記処理部は、前記位置情報生成処理と前記位置表示処理との２つの処理を並列に処理するリアルタイム表示モードを有し、前記リアルタイム表示モードを選択するためのモード選択ボタンを前記表示部に表示する第３表示処理を実行することを特徴とする請求項１乃至請求項４の何れかに記載のティーチング装置。
6. 前記位置マーカー部を有する治具を、さらに備え、
   前記治具は、エンドエフェクタと、前記エンドエフェクタを駆動する駆動部と、前記エンドエフェクタの位置を示すエンドエフェクタ用マーカー部とを有し、
   前記検出部は、前記エンドエフェクタ用マーカー部の状態を検出し、
   前記処理部は、前記位置情報生成処理として、前記駆動部の駆動に基づいて前記エンドエフェクタが動作するのにともなって移動する前記エンドエフェクタ用マーカー部の前記位置情報を生成することを特徴とする請求項１乃至請求項５のいずれかに記載のティーチング装置。
7. ロボットの動作を制御するための制御情報の生成方法であって、前記ロボットの位置を示す位置マーカー部と、前記位置マーカー部の状態を検出する検出部と、前記検出部によって前記位置マーカー部を検出した検出データを入力する処理部と、前記処理部の処理結果を表示する表示部と、外部からの入力を受け付ける入力部と、を備えるティーチング装置に対し、
   前記検出データに基づいて、前記位置マーカー部の３次元座標における位置情報を生成する位置情報生成ステップと、
   前記位置情報を前記表示部に表示する位置表示ステップと、
   表示した前記位置情報のうち、前記ロボットが作業を実施する作業位置を、前記入力部の入力に応じて選択する作業位置選択ステップと、
   前記作業位置において実施する作業の内容に応じた作業情報を、前記入力部の入力に応じて設定する作業情報設定ステップと、
   前記作業位置と前記作業情報とを関連付けたデータを前記制御情報として生成する制御情報生成ステップと、を実行させることを特徴とする制御情報の生成方法。

Images