WO2023203747A1

WO2023203747A1 - ロボット教示方法および装置

Info

Publication number: WO2023203747A1
Application number: PCT/JP2022/018523
Authority: WO
Inventors: 高志三枝; 昌宏小山; 智博井上; 弘樹高橋; 慎一石川
Original assignee: 株式会社日立ハイテク
Priority date: 2022-04-22
Filing date: 2022-04-22
Publication date: 2023-10-26

Abstract

ロボットの知識が無い人であっても、人の通常動作をなるべく維持した作業実演によって、直観的かつ効率的にロボットへの作業動作の教示を可能とし、教示の事前調整工数低減や導入の容易化などを実現できる技術を提供する。ロボット教示方法は、教示者の手による被操作物の操作を含む作業動作の計測に基づいて、作業動作に対応させたロボットのハンド機構の動作を生成するための教示を行う方法であって、コンピュータシステムにより実行されるステップとして、作業動作の際に、被操作物のポーズを計測した第１計測ポーズ、および教示者の手のポーズを計測した第２計測ポーズを取得するステップと、教示者による被操作物の操作を検知するステップと、第１計測ポーズ、第２計測ポーズ、および検知された操作に基づいて、ロボット動作データを生成するための教示ポーズを生成するステップと、を有する。

Description

ロボット教示方法および装置

　本発明は、人の作業動作をロボットに教示するための技術に関する。

　人による作業、言い換えると作業動作は、例として、工場などにおいて、作業者が手によって道具を把持し、その道具を移動させて、その道具を離す、といった動作が挙げられる。作業動作は、把持や解放といった１つ以上の操作から構成される。操作は、腕を動かす、手首を動かす、指を動かす、といったより細かい動作や動きから構成される。そのような人の作業動作に対応させたロボットの動作を実現するために、人の作業動作を実演によってロボットに教示する技術が挙げられる。

　なお、説明上、対象となる作業／操作／動作などを行う主な部分を、人の「手」やロボットの「ハンド」として記載する場合がある。この記載は、広義の手を意味し、関節を含む人体やロボットにおける、肩、腕、手首、掌、指などを含めた総称として用いる。手が動くという場合、実際には、狭義の手と連動して腕なども動く。また、「ロボットのハンド」を「人の手」と区別する場合には、ハンド部、ハンド機構、把持部、把持機構などと記載する場合もある。

　従来技術例として以下が挙げられる。操作の被操作物の例として、被把持物である道具や部材などを対象とする。ロボットのアームの先端のハンドには、把持などの操作を可能とする機構を備える。システムは、被把持物を把持する人の手を、カメラ等によって検出し、手の位置および姿勢に対する被把持物の位置および姿勢を判定し、それらに対しロボットのハンドの位置および姿勢を対応付ける。これにより、システムは、人の作業動作に対応させたロボットのハンド等の動作のデータを生成する。

　先行技術例として、特開２０２１－１６７０６０号公報（特許文献１）が挙げられる。特許文献１には、「人間の実演によるロボット教示」として、「カメラからの画像を用いた人間の実演に基づいて操作を実施するようにロボットに教示する方法を提供する」旨、「この方法は、２Ｄカメラまたは３Ｄカメラが、ワークを把持して移動させる人間の手を検出し、手とワークの画像を分析して、手の姿勢および位置に等しいロボット把持部の姿勢および位置と、ワークの対応する位置および姿勢とを判定する教示段階を含み、次に、ワークの姿勢および位置に対する計算された把持部の姿勢および位置からロボットプログラミングコマンドを生成する」旨などが記載されている。

特開２０２１－１６７０６０号公報

　人が行っていた作業をロボットの動作によって代替させる場合、人の作業動作を、人とは体格や関節構造などの異なるロボットでも実行可能な動作に置き換えて教示する必要がある。このような作業教示には、導入や実施に多くの手間や時間、コストが掛かる。

　上記のような作業教示を効率化するために、特許文献１のように、人の作業動作などを、カメラ等を用いて検知し、人の作業動作をロボットの動作に変換して、作業動作を再現させる方法がある。

　しかしながら、特殊な場合を除いて、人の手などの関節や動きの構造と、ロボットのハンドなどの関節や動きの構造とは異なることが多い。そのため、それらの違いから、従来、教示のために人が作業動作を実演する場合には、実演者である人は、予め、ロボットのハンドなどの構造や制限などを考慮した上で、ロボットのハンドなどで可能な動作に近付くように、例えばまねるように、作業動作を行う必要がある。特許文献１の例では、ロボット把持部の形状や被把持物の形状に応じて、人が通常作業する際の手の姿勢を、ロボット把持部で再現しやすい姿勢に合わせるように変更する必要が生じる。しかし、その場合、作業動作の実演者には、ロボットの機構の知識などが要求され、作業実演の負担が大きく、効率的な教示が難しい。

　また、先行技術例のようなロボット教示方法は、カメラの画像を分析して、各部の位置および姿勢を判断する必要があるため、高度な画像解析処理や計算資源を必要とする場合があり、人の手とロボットのハンドとの対応関係を判定することが難しい場合がある。特許文献１の例では、作業の精度を担保するために、人の手の姿勢を高精度に認識し、認識結果をロボット把持部と対応付けする必要がある。この認識および対応付けのための事前調整には工数が掛かる。

　本開示の目的は、ロボット教示に係わる技術に関して、ロボットの知識が無い人であっても、人の通常動作をなるべく維持した作業実演によって、直観的かつ効率的にロボットへの作業動作の教示を可能とし、教示の事前調整工数低減や導入の容易化などを実現できる技術を提供することである。

　本開示のうち代表的な実施の形態は以下に示す構成を有する。実施の形態のロボット教示方法は、教示者の手による被操作物の操作を含む作業動作の計測に基づいて、前記作業動作に対応させたロボットのハンド機構の動作として関節変位のシーケンスを含むロボット動作データを生成するための教示を行うロボット教示方法であって、コンピュータシステムにより実行されるステップとして、前記作業動作の際の前記被操作物の位置および姿勢から成る時系列のポーズを計測した第１計測ポーズを取得するステップと、前記作業動作の際の前記教示者の手の位置および姿勢から成る時系列のポーズを計測した第２計測ポーズを取得するステップと、前記教示者による前記被操作物の前記操作を検知するステップと、前記第１計測ポーズ、前記第２計測ポーズ、および検知された前記操作に基づいて、前記ロボット動作データを生成するための教示ポーズを生成するステップと、を有する。

　本開示のうち代表的な実施の形態によれば、ロボット教示に係わる技術に関して、ロボットの知識が無い人であっても、人の通常動作をなるべく維持した作業実演によって、直観的かつ効率的にロボットへの作業動作の教示を可能とし、教示の事前調整工数低減や導入の容易化などを実現できる。上記した以外の課題、構成および効果等については、発明を実施するための形態において示される。

実施の形態１のロボット教示装置であるロボット教示システムの全体の構成概要を示す。実施の形態１のロボット教示装置における制御装置の機能ブロック構成例を示す。実施の形態１のロボット教示装置の制御装置を構成するコンピュータシステムの構成例を示す。実施の形態１で、作業台に対するカメラなどの配置例を示す。実施の形態１で、被把持物である試験管、および試験管に設置されるマーカープレートの構成例を示す。実施の形態１で、被把持物であるピペット、およびピペットに設置されるマーカープレートの構成例を示す。実施の形態１で、教示者の右手に装着されるマーカープレートの構成例を示す。実施の形態１で、教示者の左手に装着されるマーカープレートの構成例を示す。実施の形態１で、ロボットのハンド機構のハンド部が試験管を把持している状態の斜視図を示す。実施の形態１で、ハンド部が試験管を把持している状態の側面図を示す。実施の形態１で、ハンド部が試験管を把持している状態の上面図を示す。実施の形態１で、ハンド部が試験管を把持している状態の上面図での、試験管のマーカーの座標系とハンド部の座標系との関係を示す説明図である。実施の形態１で、教示者の手が試験管を把持している状態の上面図での、左手のマーカーの座標系とハンド部の座標系との関係を示す説明図である。実施の形態１で、教示者の作業動作の例として、左手把持操作や右手把持操作を示す。実施の形態１で、教示者の作業動作の例として、右手のピペットが左手の試験管に近付いた状態を示す。実施の形態１のロボット教示方法および装置での処理フローを示す。実施の形態１で、第１計測ポーズ、第２計測ポーズなどのグラフを示す。実施の形態１で、誤差に係わる補正の前後のポーズのグラフを示す。実施の形態１で、生成された教示ポーズについてのグラフを示す。実施の形態１の変形例１Ａにおける、ポーズの補正のグラフを示す。実施の形態１の変形例１Ｂにおける、ポーズの補正前のグラフを示す。実施の形態１の変形例１Ｂにおける、ポーズの補正後のグラフを示す。実施の形態１の変形例１Ｃにおける、ポーズの補正のグラフを示す。実施の形態１の変形例１Ｄにおける、ポーズの補正のグラフを示す。実施の形態１で、ＧＵＩ含む画面の表示例を示す。実施の形態２のロボット教示方法および装置における、作業台上のホルダにピペットが設置されている状態の例を示す。実施の形態２で、ロボットのハンド機構のハンド部がホルダのピペットを把持する動作の際の、制限に対応した補正領域の設定内容の例を示す。実施の形態２で、第１計測ポーズ、第２計測ポーズなどのグラフを示す。実施の形態２で、操作制限に係わる補正についてのグラフを示す。実施の形態２で、生成された教示ポーズのグラフを示す。実施の形態２の変形例２Ａにおける、ポーズの補正のグラフを示す。実施の形態２の変形例２Ｂにおける、ポーズの補正のグラフを示す。実施の形態２の変形例２Ｃにおける、ポーズの補正のグラフを示す。実施の形態２で、ＧＵＩを含む画面の表示例を示す。

　以下、図面を参照しながら本開示の実施の形態を詳細に説明する。図面において、同一部には原則として同一符号を付し、繰り返しの説明を省略する。図面において、構成要素の表現は、理解を容易にするために、実際の位置、大きさ、形状、範囲等を表していない場合がある。同様の構成要素が複数あって各構成要素を区別して説明する場合には、上位概念を示す符合の末尾にアルファベット等を付加して表現する場合がある。

　説明上、プログラムによる処理について説明する場合に、プログラムや機能や処理部等を主体として説明する場合があるが、それらについてのハードウェアとしての主体は、プロセッサ、あるいはそのプロセッサ等で構成されるコントローラ、装置、計算機、システム等である。計算機は、プロセッサによって、適宜にメモリや通信インタフェース等の資源を用いながら、メモリ上に読み出されたプログラムに従った処理を実行する。これにより、所定の機能や処理部等が実現される。プロセッサは、例えばＣＰＵ／ＭＰＵやＧＰＵ等の半導体デバイス等で構成される。処理は、ソフトウェアプログラム処理に限らず、専用回路でも実装可能である。専用回路は、ＦＰＧＡ、ＡＳＩＣ、ＣＰＬＤ等が適用可能である。

　プログラムは、対象計算機に予めデータとしてインストールされていてもよいし、プログラムソースから対象計算機にデータとして配布されてもよい。プログラムソースは、通信網上のプログラム配布サーバでもよいし、非一過性のコンピュータ読み取り可能な記憶媒体、例えばメモリカードやディスクでもよい。プログラムは、複数のモジュールから構成されてもよい。コンピュータシステムは、複数台の装置によって構成されてもよい。コンピュータシステムは、クライアントサーバシステム、クラウドコンピューティングシステム、ＩｏＴシステム等で構成されてもよい。各種のデータや情報は、例えばテーブルやリスト等の構造で構成されるが、これに限定されない。識別情報、識別子、ＩＤ、名前、番号等の表現は互いに置換可能である。

　＜解決手段等＞
　実施の形態のロボット教示方法および装置は、以下のような構成を有する。実施の形態のロボット教示方法は、人の手などによる被操作物の操作を含む作業動作を、被操作物の操作が可能なハンド機構などの機構を備えるロボットに教示する方法である。この方法は、カメラ、センサまたは計測装置を用いて、対象物についての時系列上の位置および姿勢から成るポーズを計測または検出可能とする。対象物は、人の手、被操作物である道具や部材、または、それらに装着されたマーカー等である。位置とは、例えば３次元座標系空間内の位置座標であり、姿勢とは、例えば３次元座標系の各軸の向きである。ポーズとは、時系列上の時点ごとの位置および姿勢をつなげた軌跡である。

　実施の形態のロボット教示方法は、計測対象のポーズとして、道具などの被操作物のポーズである第１ポーズと、教示者の手のポーズである第２ポーズと、を計測するステップを有する。第１ポーズは道具側ポーズなどと記載する場合もある。第２ポーズは手側ポーズなどと記載する場合もある。これらのステップは、より詳しくは、被操作物に設置された第１マーカーのポーズを計測して第１計測ポーズとして得るステップと、手に設置された第２マーカーのポーズを計測して第２計測ポーズとして得るステップとにすることができる。

　実施の形態のロボット教示方法は、上記第１ポーズおよび第２ポーズに基づいて、ロボットの動作を生成するために作業動作を教示するためのポーズである教示ポーズ、言い換えると教示データを生成するステップを有する。

　実施の形態のロボット教示方法は、管理者または教示者による作業実演の開始などの教示指示に基づいて、計測や生成の処理を開始するステップや、管理者または教示者による作業実演の完了などの教示指示に基づいて、計測や生成の処理を終了するステップを有する。

　実施の形態のロボット教示方法は、教示者による被操作物に対する操作を検知するステップ、より具体的には、教示者による操作指示を検知するステップを有する。教示者は、作業実演を開始後、作業動作の途中に適宜に操作指示を入力してもよい。この操作指示は、教示者が、「被操作物に対する把持や解放といった操作を現在実行中であること、または実行したこと」をシステムに伝えるための入力である。操作指示の入力は、例えば指示用入力装置を用いてもよい。あるいは、実施の形態のロボット教示装置が、カメラの画像などから、その操作を検知してもよい。

　実施の形態のロボット教示方法における上記教示データを生成するステップは、上記操作の検知に応じて、第１ポーズ、および第２ポーズに基づいて、教示ポーズを生成するステップである。

　実施の形態のロボット教示方法は、上記生成された教示ポーズに基づいて、ロボットの動作を生成するステップを有する。このステップは、より具体的には、ロボットに動作をさせるための関節変位のシーケンスを含むロボット動作データを、生成するステップである。

　さらに、実施の形態のロボット教示方法は、上記教示データを生成するステップにおいて、教示者による被操作物に対する操作の際の、道具側の第１マーカーの第１計測ポーズと、手側の第２マーカーの第２計測ポーズとの誤差を判定するステップを有する。そして、この方法は、その誤差を用いて、第１計測データおよび第２計測データを補正することで、教示データを生成するステップを有する。

　他の実施の形態のロボット教示方法は、ロボットのハンド機構などの構造と、道具などの被操作物の形状などの構造と、それらに対応した制限が考慮された補正データと、第１ポーズおよび第２ポーズとに基づいて、その制限を満たすように被操作物の操作を可能とするポーズとしての操作ポーズを生成するステップを有する。この方法は、その操作ポーズを用いて、教示ポーズのうちの対応する一部を置換または修正することで、教示データを生成するステップを有する。

　上記ロボットのハンド機構などの構造とは、アームの先端に取り付けられて被操作物を操作可能とする機構、例えばエンドエフェクタとしての把持機構などの構造であり、実装に応じて様々である。上記道具などの被操作物の形状などの構造とは、例えばピペットや試験管などの構造であり、実装に応じて様々である。上記制限とは、例えばハンド機構がピペットなどの部位に対して把持などの操作のためにアクセスや移動する際に、許容される方向や位置や距離や速度や力などに関する制限である。

　＜実施の形態１＞
　図１～図１８を用いて、本開示の実施の形態１のロボット教示方法および装置について説明する。実施の形態１のロボット教示方法は、実施の形態１のロボット教示装置により行われるステップを有する方法である。実施の形態１のロボット教示装置は、少なくとも計算機を備えるシステムである。

　［ロボット教示システム］
　図１は、実施の形態１のロボット教示装置１であるロボット教示システム１の全体の構成概要を示す。このロボット教示システム１は、人である作業者Ｕ１の作業動作をロボット２に教示するための装置やシステムである。作業者Ｕ１を、第１ユーザ、教示者などと記載する場合もある。このような教示を、作業教示などと記載する場合もある。ロボット教示システム１は、ロボット教示制御装置１００を備える。ロボット教示制御装置１００を単に制御装置と記載する場合もある。

　作業動作は、教示対象となる所定の作業を構成する動作である。対象となる所定の作業は、作業者Ｕ１が、手５として少なくとも片手を用いて、手５によって所定の道具や部材を操作して実現する作業である。作業動作および操作の例としては、一方の手５として左手５Ｌまたは右手５Ｒによって例えば試験管７などの道具を把持する動作やその道具を離す動作が挙げられる。被操作物、特に被把持物である道具の例が、試験管７やピペット８である。なお、教示の際、試験管７などの道具として実物ではなく模型を用いてもよい。

　実施の形態１の方法および装置では、教示者である作業者Ｕ１が、被操作物である道具を操作する作業を、ロボット２に教示する例を説明する。その例として、作業台１０上において、左手５Ｌによって試験管７を把持する作業動作を教示する例について主に説明する。なお、図１では、その例のみならず、右手５Ｒにピペット８を把持する例についても図示している。試験管７は、物質が収容される管である。ピペット８は、試験管７内からの物質の吸引や試験管７内への物質の吐出が可能なマイクロピペットである。

　作業台１０には、後述の図４にも示すが、作業台座標系である座標系Σｗが設定されている。道具や手５などの各部のポーズは、この座標系Σｗにおける位置および姿勢として表現される。また、作業台１０の面上には、例として、ピペット８を保持するホルダ８１、言い換えるとピペット台や、試験管７を保持するホルダ７１、言い換えると試験管台なども有する。なお、作業者Ｕ１の手５として左手５Ｌおよび右手５Ｒは、特に限定しない場合には、前腕から指先までを含む総称である。

　ロボット教示システム１は、制御装置１００と、作業台１０に設置されたカメラ２０｛２０ａ，２０ｂ，２０ｃ，２０ｄ｝と、試験管７（７ａ，７ｂ）に設置されたマーカー３（３ａ，３ｂ）と、ピペット８に設置されたマーカー３（３ｐ）と、教示者Ｕ１の手５（５Ｌ，５Ｒ）に装着されたマーカー４（４Ｌ，４Ｒ）とを有する。

　制御装置１００には、入出力装置１２０などが外部接続されている。なお、制御装置１００に入出力装置１２０などが内蔵されていてもよい。入出力装置１２０は、制御装置１００の演算処理に係わる設定や指示などの入力や、演算処理に係わる状態や結果などのデータ・情報の出力を行う装置である。

　カメラ２０（２０ａ～２０ｄ）は、図２のモーションキャプチャシステム２００を構成するカメラなどのデバイスである。なお、カメラ２０をセンサや計測装置などに置き換えても構わない。モーションキャプチャシステム２００については、少なくともカメラ２０を有するが、詳細を限定せず、プロセッサや回路などの他の構成要素があってもよい。例えば、モーションキャプチャシステム２００は、プロセッサがカメラ２０の画像を処理することで検出した結果のデータ・情報を記憶および出力してもよい。

　本例では、道具側の第１マーカーであるマーカー３として、マーカー３ａ，３ｂ，３ｐを有する。マーカー３ａおよびマーカー３ｂは、教示者Ｕ１およびロボット２の被操作物であり第１の道具である試験管７（７ａ，７ｂ）に設置されたマーカープレートである。マーカー３ｐは、同様に、教示者Ｕ１およびロボット２の被操作物であり第２の道具であるピペット８に設置されたマーカープレートである。なお、道具側のマーカー３は、手５やハンド機構６による把持などの操作を妨げないような位置に設置される。

　また、本例では、手５側の第２マーカーであるマーカー４として、マーカー４Ｌ，４Ｒを有する。マーカー４（４Ｌ，４Ｒ）は、教示者Ｕ１の手５として左手５Ｌおよび右手５Ｒに装着されたそれぞれのマーカープレートである。なお、手５側のマーカー４は、例えば、手首を用いた動作を妨げないような位置として、前腕のうちの手首の手前の付近に設置される。道具側と手側とを区別する場合に、道具側を第１、手側を第２として記載する場合がある。

　ロボット２は、対象物の把持などの操作と、可動範囲内での任意の位置および姿勢への位置決めとが可能な双腕の機構としてのハンド機構６（６Ｌ，６Ｒ）などを備えるロボットである。また、ロボット２は、頭部の目にあたる部分にステレオカメラ３０を備える。ロボット２は、首に関節軸を備え、ステレオカメラ３０を作業台１０の任意の方向に向けることができる。ロボット２は、ステレオカメラ３０による撮影および測距に基づいて、視界の物体を検出・認識できる。また、ロボット２は、例えば図示しない無人搬送車上に設置されており、予め作成された部屋の地図を用いて、部屋内を移動して、作業台１０の前に自律移動できる。

　ロボット２は、少なくとも、人の手として、前腕、肘、手首、掌、指等の部位および関節機構を含む部分に対応付けられた機構を有し、この機構を総称してハンド機構６とする。ハンド機構６（６Ｌ，６Ｒ）は、先端にエンドエフェクタ９（９Ｌ，９Ｒ）を有する。

　ロボット２は、ロボット教示制御装置１００によって制御される。ロボット教示制御装置１００は、教示機能１００Ｆによって生成したロボット動作データに基づいて、ロボット２の動作を制御する。なお、これに限らず、ロボット教示制御装置１００とは別に、ロボット２に専用の制御装置を備えていてもよい。その場合、その専用の制御装置が、ロボット教示制御装置１００からのロボット動作データに基づいて、ロボット２の動作を制御する。

　なお、実施の形態１の例では、このような双腕を備える１台のロボット２に、人の片手を用いた作業動作を教示する例を主に説明する。これに限らず、実施の形態での教示は、複数台の双腕ロボット、あるいは１台または複数台の単腕ロボットを対象とした場合にも、同様に適用可能である。複数台の単腕ロボットや双腕ロボットを用いる場合に、それぞれのロボットが異なる種類のロボット、例えば異なる機構を持つロボットであってもよい。また、実施の形態での教示は、左手５Ｌまたは右手５Ｒによる片手の作業動作に限らず、両手を用いた作業動作にも、同様に適用可能である。また、実施の形態での教示は、道具の例として試験管７やピペット８を用いた、操作の例として把持を含む作業動作に限らず、他の道具を用いた他の操作にも、同様に適用可能である。

　ロボット教示制御装置１００は、主な機能として、教示機能１００Ｆを有する。教示機能１００Ｆは、プロセッサの処理などにより実現される。教示機能１００Ｆは、概要としては、図示のように、作業動作に係わるポーズ計測と、作業動作に係わる教示データの生成と、ロボット動作データの生成とを行う機能を含んでいる。

　［ロボット教示制御装置］
　図２は、図１のうちのロボット教示制御装置１００についての機能ブロック構成例を示す。制御装置１００は、入出力の構成要素としては、モーションキャプチャシステム２００と、指示用入力装置３００と、入出力装置１２０とを有する。制御装置１００は、例えば一般的なＰＣまたはサーバなどの計算機を用いて実装可能であるが、これに限定しない。

　制御装置１００は、内部の機能ブロックとしては、ポーズ計測部１０１、第１計測ポーズ格納部１０２、第２計測ポーズ格納部１０３、操作指示検知部１０４、教示指示検知部１０５、補正データ格納部１０６、教示データ生成部１０７、教示データ格納部１０８、ロボット動作生成部１０９、ロボット動作データ格納部１１０、ロボット動作実行部１１１、および操作ポーズ生成部１１２を有する。なお、実施の形態１では操作ポーズ生成部１１２を用いず、後述の実施の形態２で操作ポーズ生成部１１２を用いる。

　ポーズ計測部１０１は、前述のマーカー３，４に基づいて、モーションキャプチャシステム２００のカメラ２０（２０ａ～２０ｄ）によって撮像された画像から、人の手５側および道具側のそれぞれのマーカーおよび対応物についての三次元空間での位置および姿勢を、時系列のポーズとして計測する。ポーズ計測部１０１は、道具側の第１マーカーであるマーカー３の各マーカー３ａ，３ｂ，３ｐのポーズを、第１計測ポーズとして計測する。また、ポーズ計測部１０１は、作業者Ｕ１の手５側の第２マーカーであるマーカー４の各マーカー４Ｌ，４Ｒのポーズを、第２計測ポーズとして計測する。

　第１計測ポーズ格納部１０２は、ポーズ計測部１０１の指令に基づいて、第１計測ポーズのデータを格納する。第２計測ポーズ格納部１０３は、ポーズ計測部１０１の指令に基づいて、第２計測ポーズのデータを格納する。なお、各種のデータ格納部、言い換えると記憶部は、制御装置１００内のメモリ等の利用に限らずに、制御装置１００に対する外部記憶装置などを利用して実現されてもよい。

　操作指示検知部１０４は、教示者Ｕ１による教示作業中に、ポーズ計測部１０１の計測と同期して、教示者Ｕ１による所定の操作、言い換えると操作指示を検知する。この操作指示は、教示者Ｕ１が主体的、意識的に入力を行うものである。この所定の操作は、例えば被把持物である道具として試験管７やピペット８の把持の操作や解放の操作であり、それに対応する操作指示は、その把持操作を伝える把持操作指示や解放操作を伝える解放操作指示である。

　操作指示検知部１０４は、例えば指示用入力装置３００を用いた教示者Ｕ１による操作指示の入力を検出する。指示用入力装置３００は、図１では示していないが、例えば、教示者Ｕ１の手指に装着された感圧スイッチ、教示者Ｕ１が足元で操作するフットスイッチ、教示者Ｕ１の音声を入力するマイクロフォンや音声認識装置などの、各種の入力デバイスを用いてもよい。指示用入力装置３００は、教示者Ｕ１による作業動作を妨げないものであれば、他の任意の入力手段を用いてもよい。

　また、操作指示検知部１０４は、指示用入力装置３００を用いた入力・検出に限らずに、ポーズ計測部１０１での入力画像や計測結果に基づいて、自動的に、所定の操作を判断・検知してもよい。例えば、操作指示検知部１０４は、ポーズ計測部１０１で計測された被把持物の第１計測ポーズの変動や手５側の第２計測ポーズの変動や、第１計測ポーズまたは第２計測ポーズが一定時間以上変動しない状態などの判断を以って、把持操作を検知してもよい。

　実施の形態１の例では、教示や操作指示検知の対象となる操作を、主に把持操作として説明するが、これに限らず、他の操作として、例えば押す操作、引く操作、回す操作などを対象とする場合にも、同様に適用可能である。

　教示指示検知部１０５は、教示者Ｕ１による教示作業の作業中に、ポーズ計測部１０１の計測と同期して、教示作業の開始指示や完了指示、教示作業内容の登録指示、作業状態の確認指示などの各種の教示指示を、教示指示として検知する。教示指示は、制御装置１００に対する処理の指示であり、開始指示、完了指示、一時停止指示、設定指示、表示指示などが挙げられる。これらの教示指示は、教示者である作業者Ｕ１が入力してもよいし、別の管理者Ｕ２が入力してもよい。作業者Ｕ１は、教示指示を、指示用入力装置３００を用いて入力してもよい。作業者Ｕ１や管理者Ｕ２は、教示指示を、入出力装置１２０を用いて入力してもよい。教示作業の一例としては、管理者Ｕ２が開始指示を入力し、教示作業の開始後に、作業者Ｕ１が適宜に操作指示を入力しながら教示作業を行い、最後に管理者Ｕ２が完了指示を入力することで教示作業を終了させる。

　また、教示指示検知部１０５は、作業者Ｕ１や管理者Ｕ２による教示指示の入力の検知に限らずに、ポーズ計測部１０１での入力画像や計測結果に基づいて、自動的に、教示指示を判断・検知してもよい。

　教示データ生成部１０７は、第１計測ポーズと第２計測ポーズとの両方に基づいて生成され、ロボットの動作を生成するためのポーズである、教示ポーズを生成する。教示データ生成部１０７は、第１計測ポーズ、第２計測ポーズ、操作指示、教示指示、および補正データに基づいて、教示ポーズを生成し、教示ポーズ格納部１０８に格納する。

　補正データ格納部１０６は、計測ポーズや教示ポーズに対し、位置および姿勢を補正演算するためのデータである補正データを格納する。制御装置１００は、予め、補正データを設定して補正データ格納部１０６に格納する。補正データは、言い換えると補正用設定情報である。実施の形態１での補正データは、後述の座標変換のためのデータや、誤差に係わる補正のためのデータが挙げられる。

　教示データ生成部１０７は、教示指示として開始指示に従って、教示ポーズの生成を含む教示処理を開始する。教示データ生成部１０７は、教示指示として完了指示に従って、教示ポーズの生成を含む教示処理を終了する。

　教示データ生成部１０７は、第１計測ポーズ格納部１０２に格納された第１計測ポーズと、第２計測ポーズ格納部１０３に格納された第２計測ポーズとを取得し、操作指示検知部１０４で検知された操作指示、例えば把持操作指示のタイミングおよび内容に応じて、第１計測ポーズと第２計測ポーズとから一方あるいは両方を選択すること、あるいはそれらのデータを処理することにより、教示ポーズを生成する。さらに、その際に、教示データ生成部１０７は、補正データ格納部１０６に格納されている補正データを取得し、補正データに基づいて、生成された教示ポーズのうちの位置および姿勢を補正演算することで、補正後の教示ポーズを生成する。

　教示データ生成部１０７は、例えば、計測ポーズに基づいた教示ポーズのデータに対し、時系列上で、操作指示検知部１０４で検知した操作指示の情報と、教示指示検知部１０５で検知した教示指示の情報とをタイミングが同期するように関連付けた形式として、教示データを生成する。

　教示データ格納部１０８は、教示データ生成部１０７の指令に基づいて、生成された教示データを格納する。教示データ格納部１０８は、教示データ生成部１０７によって生成された教示ポーズと、教示ポーズに同期した操作指示および教示指示とを有するデータを、教示データとして格納する。

　ロボット動作生成部１０９は、教示データ格納部１０８に格納された教示データに基づいて、操作指示検知部１０４で検知された操作指示のタイミングに同期して、操作の内容に応じた、ロボット２のハンド機構６などの動作のためのロボット動作データを生成する。このロボット動作データは、ロボット２のハンド機構６などの関節変位のシーケンスと、その関節変位のシーケンスに同期したハンド機構６などの動作のための動作指令などとを含むデータである。ハンド機構６などの動作は、例えば把持のためのエンドエフェクタ９の開閉などの動作が挙げられる。ロボット動作データは、例えばロボット２に与えられる所定の形式の動作指令、言い換えると操作指令やコマンドなどのデータとして構成される。

　本例では、ロボット動作データは、教示データからの変換によって生成できるが、これに限らずに、例えば教示データ生成部１０７とロボット動作生成部１０９とを１つにし、計測ポーズなどから教示データとして直接的にロボット動作データを生成する構成としてもよい。

　ロボット動作データ格納部１１０は、ロボット動作生成部１０９によって生成されたロボット動作データを格納する。ロボット動作実行部１１１は、例えば管理者Ｕ２による指示に応じた時に、ロボット動作データ格納部１１０に格納されたロボット動作データの内容に従って、ロボット２を駆動させることで、教示された作業動作に対応したロボット２の動作を実行させる。

　［コンピュータシステム］
　図３は、図２のロボット教示制御装置１００の実装例としてのコンピュータシステムの構成例を示す。制御装置１００を構成する図３のコンピュータシステムは、少なくとも計算機１０００を有する。計算機１０００は、プロセッサ１００１、メモリ１００２、通信インタフェース装置１００３、入出力インタフェース装置１００４などを備える。それらの構成要素は、バスに接続され、相互に通信可能である。計算機１０００には、入出力インタフェース装置１００４を通じて、前述の入出力装置１２０に対応した、入力装置１００５や出力装置１００６が外部接続されている。なお、計算機１０００に入力装置１００５や出力装置１００６が内蔵されていてもよい。

　プロセッサ１００１は、ＣＰＵまたはＭＰＵ、あるいはＧＰＵなどの半導体デバイスによって構成される。プロセッサ１００１は、ＲＯＭやＲＡＭ、各種周辺機能などを備える。プロセッサ１００１は、メモリ１００２の制御プログラム１０１１に従った処理を実行する。これにより、教示機能１００Ｆなどの機能が実現される。教示機能１００Ｆは、図１に概要を示した通りであるが、教示者Ｕ１の作業実演の検知・計測に基づいてロボット２に作業動作を教示する機能、言い換えると、作業教示に対応させたロボット動作データを生成する機能や、それらに係わる管理および制御を行う機能などである。

　メモリ１００２には、制御プログラム１０１１、設定情報１０１２、画像データ１０１３、処理データ１０１４や、後述の各種のデータが記憶される。制御プログラム１０１１は、プロセッサ１００１に処理を実行させることで各機能を実現するためのプログラムである。設定情報１０１２は、各機能のシステム設定情報やユーザ設定情報である。画像データ１０１３は、図１のカメラ２０から取得される画像などのデータである。処理データ１０１４は、各機能の処理過程で発生するデータである。

　通信インタフェース装置１００３または入出力インタフェース装置１００４は、図２のカメラ２０を含むモーションキャプチャシステム２００と、指示用入力装置３００と、ＬＡＮなどの通信網に接続される場合にはその通信網と、を含む各部との通信インタフェースなどが実装されている装置である。入出力インタフェース装置１００４には、入出力装置１２０に対応する入力装置１００５や出力装置１００６が外部接続されている。入力装置１００５は例えばキーボードやマウスが挙げられる。出力装置１００６は例えばディスプレイやプリンタが挙げられる。

　また、計算機１０００に対し、通信インタフェース等を介して、外部記憶装置、例えばメモリカードやディスクなどが接続されてもよいし、ＬＡＮなどの通信網を介して、外部装置としてサーバ装置などが接続されてもよい。計算機１０００は、外部記憶装置やサーバ装置等に対し適宜にデータ・情報を読み書きしてもよい。

　ユーザは、入力装置１００５の入力操作や、出力装置１００６の画面表示等を通じて、制御装置１００を利用する。ユーザは、図１での教示者Ｕ１と同じ人としてもよいし、その教示者Ｕ１とは別の人として、ロボット教示システム１の管理者Ｕ２などの人でもよい。また、管理者Ｕ２などのユーザは、別のクライアント端末から通信を通じて制御装置１０００にアクセスして制御装置１０００を利用してもよい。すなわち、クライアント・サーバ方式で制御装置１０００の機能が利用されてもよい。また、制御装置１０００の機能に係わる処理は、ほぼリアルタイムで行うオンライン方式としてもよいし、必要なデータ・情報を一旦取得・保存してから後で行うオフライン方式としてもよい。

　なお、クライアント・サーバ方式で利用する場合、例えば以下のように実現できる。ユーザは、クライアント端末から制御装置１０００のサーバ機能にアクセスする。制御装置１０００のサーバ機能は、例えばグラフィカル・ユーザ・インタフェース（ＧＵＩ）を含むＷｅｂページ等のデータをクライアント端末に送信する。クライアント端末は、受信したデータに基づいて、ディスプレイにＷｅｂページ等を表示する。ユーザは、そのＷｅｂページ等を見て、機能に係わる情報を確認し、必要に応じて設定や指示を入力する。クライアント端末は、ユーザが入力した情報を制御装置１０００に送信する。制御装置１０００は、ユーザが入力した情報に基づいて、機能に係わる処理を実行し、結果を保存する。制御装置１０００は、処理結果等を含むＷｅｂページ等のデータを、クライアント端末に送信する。クライアント端末は、処理結果等を含むＷｅｂページを、ディスプレイに表示する。ユーザは、その処理結果等を見て確認する。

　［作業台およびカメラ］
　図４は、作業台１０とカメラ２０との配置関係を示し、作業台１０の上面である水平面を鉛直方向で上から見た模式図を示す。カメラ２０として、４台のカメラである、カメラ２０ａ，２０ｂ，２０ｃ，２０ｄは、図示のように、異なる位置において、作業台１０上を向く方向で設置されている。視野２１ａ～２１ｄは、それぞれのカメラ２０ａ～２０ｄの撮影の視野範囲を示す。図示する座標系Σｗである作業台座標系は、作業台１０の面を基準とした３次元空間座標系であり、水平面を構成する直交する２軸をＸ軸－Ｙ軸とし、それらに直交する鉛直方向をＺ軸としている。座標系Σｗの原点は、図４のように作業台１０の上面での所定の位置に設定されるが、これに限定されない。

　カメラ２０（２０ａ～２０ｄ）は、作業台１０の上面に置かれた道具、または作業者Ｕ１の手に持たれる道具として、試験管７やピペット８に設置された、第１マーカーであるマーカー３（３ａ，３ｂ，３ｐ）を含む範囲を撮影し、また、作業者Ｕ１の手５側に設置された、第２マーカーであるマーカー４（４Ｌ，４Ｒ）を含む範囲を撮影する。ポーズ計測部１０１は、それらのカメラ２０の画像に基づいて、第１マーカーのポーズを計測し、第２マーカーのポーズを計測する。

　カメラ２０（２０ａ～２０ｄ）は、それらのマーカー３，４の計測のために、作業台１０を挟んで教示者Ｕ１と反対側の位置に、光軸が教示者Ｕ１および道具の方を向いて、設置されている。また、カメラ２０（２０ａ～２０ｄ）は、各々の視野２１ａ～２１ｄが重なり合いながら、作業台１０の上面全体を殆ど覆うように、位置をずらして設置されている。

　作業台１０に対しカメラ２０（２０ａ～２０ｄ）が設置された後、それらのカメラ２０によって、図示しないが、配置が既知である反射マーカーを複数回撮像することにより、モーションキャプチャシステム２００のキャリブレーションが実行される。キャリブレーションに基づいて、モーションキャプチャシステム２００による計測時の座標系となる座標系Σｗが設定される。モーションキャプチャシステム２００に基づいて計測されるポーズは、この作業台座標系である座標系Σｗを基準として表現される。制御装置１００のポーズ計測部１０１などは、この座標系Σｗに基づいて処理を行う。

　また、作業台１０の上面には、ロボット２のステレオカメラ３０用のマーカー３１を備える。図４では３点のマーカー３１を示しており、予め配置が決められている。制御装置１００には、ステレオカメラ３０用のマーカー３１の配置が予め登録されている。ロボット２が作業台１０の前で動作する場合、ロボット２は、ステレオカメラ３０によってマーカー３１を測定することで、ロボット２と座標系Σｗとの位置関係を把握できる。

　［道具および第１マーカー］
　図５は、第１の道具の例としての試験管７、および試験管７に設置された第１マーカーであるマーカー３ａについての斜視図を示す。図６は、第２の道具の例としてのピペット８、およびピペット８に設置された第１マーカーであるマーカー３ｐについての斜視図を示す。

　マーカー３は、モーションキャプチャシステム２００のカメラ２０によって検出するためのマーカープレートである。マーカー３は、特定の方式に限定せずに、各種の方式が適用可能であり、実施の形態１では一例を示す。本例でのマーカー３は、矩形の平板の面において、マーカー３ごとに固有のＩＤなどを検出可能となるように、例えば４点の反射マーカーであるマーカー点が固有のパターンで形成されている。マーカー３ごとに、異なるパターンでマーカー点が形成されている。マーカー点を第１反射マーカーとも記載する。本例では、矩形の平板の面において、５×５の候補箇所のうちの４個の位置にマーカー点が形成されている。図５でのマーカー３ａには、４点のマーカー点Ｐ３１～Ｐ３４が形成されている。図６でのマーカー３ｐには、４点のマーカー点Ｐ３５～Ｐ３８が形成されている。

　図５の試験管７ａには、上部に所定のアタッチメント７２ａが取り付けられており、そのアタッチメント７２ａに対しマーカー３ａが取り付けられている。このアタッチメント７２ａは、作業者Ｕ１の手５やロボット２のアームのハンド機構６がこの試験管７ａという特定の形状などを有する道具を把持等操作すること、および、この道具にマーカー３ａを好適に設置すること等を考慮して構成されている部品である。

　図６のピペット８には、上部に所定のアタッチメント８２が取り付けられており、そのアタッチメント８２に対しマーカー３ｐが取り付けられている。このアタッチメント８２は、作業者Ｕ１の手５やロボット２のアームのハンド機構６がこのピペット８という特定の形状などを有する道具を把持等操作すること、および、この道具にマーカー３ｐを好適に設置すること等を考慮して構成されている部品である。

　また、道具に対するアタッチメント７２，８２を介したマーカー３の装備は、作業者Ｕ１の手５とロボット２のハンド機構６とで道具の同じ箇所を操作することを考慮して設計されている。また、本例ではアタッチメント７２，８２は、道具の径に合わせて径を挟んで支持する概略的にリングの構造を有し、そのリングの一箇所にマーカー３の平板が固定される構造を有する。

　図５や図６でのアタッチメント７２，８２およびマーカー３は、それぞれ、概略的に棒状の道具である試験管７やピペット８の側面の一箇所にマーカー３の平板が固定され、マーカー３の平板の面垂直方向の軸として図示のＺ軸が、道具の側面の一箇所に対し垂直な方向となるように構成されている。

　制御装置１００は、カメラ２０の画像から例えばマーカー３ａの４点の反射マーカーであるマーカー点Ｐ３１～Ｐ３４を検出することで、そのマーカー３ａの固有のＩＤと、３次元空間内での位置および姿勢とを特定可能である。そして、マーカー３ａのＩＤ、位置および姿勢が特定されることで、そのマーカー３ａに対応付けられた道具である試験管７ａのＩＤ、位置および姿勢が特定可能である。このような作用は、ピペット８のマーカー３ｐにおけるマーカー点Ｐ３５～Ｐ３８についても同様である。このような作用は、後述の作業者Ｕ１の手５側に装着されるマーカー４についても同様である。

　本例では、各マーカー３における４点のマーカー点は、上下左右非対称に配置されている。言い換えると、各マーカー３における４点のマーカー点は、図示のマーカープレート座標系である座標系Σ_ＴＬＭにおいて、Ｘ，Ｙ，Ｚの各軸に対し、非対称に配置されている。この配置は、カメラ２０の画像から、４点のマーカー点を、言い換えるとそのマーカー点が形成する図像を、一意に検出できる配置である。

　各々の第１マーカーであるマーカー３（３ａ，３ｂ）には、マーカープレート座標系として座標系Σ_ＴＬＭが設定されている。座標系Σ_ＴＬＭにおけるＸ，Ｙ，Ｚの３軸は、矩形の平板の面を構成する直交する２軸であるＸ軸およびＹ軸と、それらのＸ－Ｙ面に対し垂直であるＺ軸とを有する。第１マーカーの座標系Σ_ＴＬＭを第１マーカープレート座標系とも記載する。

　制御装置１００は、図５のマーカー３ａの４点の反射マーカーＰ３１～Ｐ３４の配置パターンと、マーカー３ａの座標系Σ_ＴＬＭとの位置関係を、予め登録する。同様に、制御装置１００は、図６のマーカー３ｐの４点の反射マーカーＰ３５～Ｐ３８の配置パターンと、マーカー３ｐの座標系Σ_ＴＬＭとの位置関係を、予め登録する。図２のポーズ計測部１０１は、それらの登録された位置関係に基づいて、図４の作業台座標系である座標系Σｗを基準とした、各マーカー３の座標系Σ_ＴＬＭのポーズとして位置および姿勢を計測する。マーカー３の位置は、例えば座標系Σ_ＴＬＭでの原点Ｏ_ＴＬＭを代表として用いてもよい。マーカー３の姿勢は、Ｘ，Ｙ，Ｚの各軸の向きで表現できる。

　図５の試験管７ａとマーカー３ａとの間は、アタッチメント７２ａを介して固定されており、試験管７ａとマーカー３ａとの間の所定の位置・姿勢の関係が維持される。図６のピペット８とマーカー３ｐとの間は、アタッチメント８２を介して固定されており、ピペット８とマーカー３ｐとの所定の位置・姿勢の関係が維持される。これにより、教示作業中に、被操作物である道具とマーカー３との位置・姿勢の関係が変化しないようにされる。

　アタッチメント７２，８２は、試験管７やピペット８などの道具に対し、マーカー３の反射マーカーを、モーションキャプチャシステム２００のカメラ２０によって計測しやすい位置および角度に固定する。かつ、アタッチメント７２，８２は、道具に対しマーカー３を着脱可能な構成とする。かつ、アタッチメント７２，８２は、教示者Ｕ１やハンド機構が道具を把持等操作する際に妨げとならない形状などの構成を有する。

　［手側の第２マーカー］
　図７Ａおよび図７Ｂは、作業者Ｕ１の手５側に装着される第２マーカーであるマーカー４についての斜視図であり、図７Ａは右手５Ｒ側のマーカー４Ｒ、図７Ｂは左手５Ｌ側のマーカー４Ｌを示す。実施の形態１の例では、第２マーカーであるマーカー４は、人の前腕のうちの手首の手前付近に装着するための構成を有し、具体的にはリストバンドのようなアタッチメント９２を有する。図７Ａのマーカー４Ｒは、アタッチメント９２Ｒを有する。図７Ｂのマーカー４Ｌは、アタッチメント９２Ｌを有する。

　図７Ａで、右手５Ｒ側に装着されるマーカー４Ｒは、アタッチメント９２Ｒの側面の一箇所に取り付けられている。マーカー４は、道具側のマーカー３と同様に、矩形の平板を有する。図７Ａのマーカー４Ｒの平板の面には、４点の反射マーカーであるマーカー点Ｐ４１～４４が形成されている。図７Ｂのマーカー４Ｌの平板の面には、４点の反射マーカーであるマーカー点Ｐ４５～４８が形成されている。各マーカー４の４点の反射マーカーは、マーカー４ごとにＩＤ、位置および姿勢を検出できるように、上下左右非対称に配置され、固有のパターンを有する。

　実施の形態１の例では、マーカー４は、リストバンドのようなアタッチメント９２を用いて、前腕のうち手首手前付近の箇所に装着・固定される。この箇所は手首自体ではない。説明上、この箇所を、手首部と記載する場合もある。このマーカー４およびアタッチメント９２の構成は、教示作業中に作業者Ｕ１の手５に対するマーカー４の位置・姿勢の関係が変動しないように固定されること、かつ、カメラ２０によってマーカー４のマーカー点を検出しやすいこと、かつ、作業動作における把持等操作を妨げないこと等を考慮して設計されている。

　各マーカー４には、第２マーカープレート座標系として座標系Σ_ＰＲＭや座標系Σ_ＰＬＭが設定されている。図７Ａのマーカー４Ｒは、座標系Σ_ＰＲＭが設定されている。図７Ｂのマーカー４Ｌは、座標系Σ_ＰＬＭが設定されている。座標系Σ_ＰＲＭ，Σ_ＰＬＭにおけるＸ，Ｙ，Ｚの３軸は、矩形の平板の面を構成する直交する２軸であるＸ軸およびＹ軸と、それらのＸ－Ｙ面に対し垂直であるＺ軸とを有する。

　制御装置１００は、マーカー４Ｒの４点の反射マーカーＰ４１～Ｐ４４の配置パターンと、座標系_ＰＲＭとの位置・姿勢の関係を、予め登録する。制御装置１００は、マーカー４Ｌの４点の反射マーカーＰ４５～Ｐ４８の配置パターンと、座標系_ＰＬＭとの位置・姿勢の関係を、予め登録する。ポーズ計測部１０１は、それらの登録された関係に基づいて、作業台座標系である座標系Σｗを基準とした各マーカー４のポーズを計測する。

　図１の教示者Ｕ１の右手５Ｒの右手首部と、マーカー４Ｒとの間は、図７Ａのリストバンドのようなアタッチメント９２Ｒを介して固定されている。教示者Ｕ１の左手５Ｌの左手首部と、マーカー４Ｌとの間は、図７Ｂのアタッチメント９２Ｌを介して固定されている。アタッチメント９２Ｒにより、右手首部とマーカー４Ｒとの間の位置・姿勢の関係が維持される。アタッチメント９２Ｌにより、左手首部とマーカー４Ｌとの間の位置・姿勢の関係が維持される。

　アタッチメント９２（９２Ｒ，９２Ｌ）は、作業者Ｕ１の手首部に対し、マーカー４（４Ｒ，４Ｌ）を、モーションキャプチャシステム２００のカメラ２０によって計測しやすい位置および姿勢に固定する。かつ、アタッチメント９２は、作業者Ｕ１の手５に対しマーカー４を着脱可能とし、装着の位置および姿勢を調節可能な構成としている。

　実施の形態１では、図１や図５～図７Ｂに示した複数のマーカーとして、道具側の第１マーカーであるマーカー３（３ａ，３ｂ，３ｐ）、および手５側の第２マーカーであるマーカー４（４Ｌ，４Ｒ）を用いる。これらの各マーカープレートに備える反射マーカーは、上述のようにマーカープレートごとに固有のパターンを有する。これにより、制御装置１００は、例えばマーカー３ａ，３ｂ，３ｐおよびマーカー４Ｌ，４Ｒといった５個のマーカーについて、個体をＩＤとして識別できるとともに、各マーカーのポーズを同時に計測可能である。

　なお、マーカープレート毎に反射マーカーを異なるパターンとする代わりに、各マーカープレートの反射マーカーの数や大きさや形や色などを異ならせた構成や、識別情報を記載した構成とすることでも、各々のマーカーの識別やポーズ計測を実現可能である。また、マーカープレート毎に、反射マーカーの数は、３以上であればよい。各マーカーで反射マーカーの数が異なってもよい。第１マーカーと第２マーカーとで種類や構造が異なるマーカーを適用してもよい。

　実施の形態１での例では、矩形の平板の面において複数の反射マーカーが２次元に配置されているが、３次元の立体的な配置としてもよい。また、反射マーカーは、カメラ２０によって検出しやすいように、例えば光反射性部材で構成されるが、これに限定されない。また、マーカープレートからの光を光学的にカメラ２０によって検出する例としたが、これに限定されない。例えば、カメラ２０の代わりに、ホール素子等のセンサまたは計測装置を用いて磁気的に検知する方式のモーションキャプチャシステムを採用し、マーカープレートの動きから被操作物および教示者Ｕ１の腕先のポーズを計測する構成としてもよい。

　あるいは、マーカープレートを用いずに、被操作物や教示者Ｕ１の手５の動作をカメラ２０で撮影し、カメラ２０の映像を解析してポーズを計測する構成としてもよい。しかしながら、その場合には前述の課題もある。そのため、実施の形態１のように、道具側および手５側のマーカーを用いる構成とする。これにより、高度な画像解析処理や計算資源を要さずに、作業者Ｕ１の手５とロボット２のハンド機構６との対応関係を判定しやすくでき、効率的な計測や教示が可能となる。

　［ロボットのハンド機構］
　図１に戻り、ロボット２は、人の手を模して構成されたハンド機構６として、右腕側のアームを含むハンド機構６Ｒと、左腕側のアームを含むハンド機構６Ｌとを備える。特に、ハンド機構６は、手先に対応する部分に、エンドエフェクタ９を備える。ハンド機構６Ｒは、エンドエフェクタ９Ｒを備え、ハンド機構６Ｌは、エンドエフェクタ９Ｌを備える。このエンドエフェクタ９は、実施の形態１での例では、被操作物である道具の把持および解放が可能な把持機構である。

　図８～図１０は、試験管７を把持する例を用いて、ロボット２のハンド機構６についての説明図を示す。図１１および図１２は、座標系の関係などの説明図を示す。図８～図１１を用いて、例として、ロボット２の左側のハンド機構６Ｌと、作業者Ｕ１の左手５Ｌと、被把持物である試験管７ａとの間における、ポーズや座標系の関係などについて説明する。

　図８は、左側のハンド機構６Ｌについての斜視図である。図８では、ハンド機構６Ｌのうちの一部であるハンド部５２０を示す。ハンド部５２０は、言い換えると、人の手首などを模したリンク機構であり、フランジ５２２の軸周りに回転動作が可能な機構である。ハンド部５２０は、先端にエンドエフェクタ９Ｌとして把持機構を備えている。本例では、把持機構は、２本の指機構として指機構５２１ａ，５２１ｂを有する。エンドエフェクタ９Ｌの指機構５２１ａ，５２１ｂにより、試験管７が把持されている。指機構５２１ａ，５２１ｂは、スライド駆動機構によって、図８でのＹ軸に対応した左右方向に移動可能なように構成されている。指機構５２１ａ，５２１ｂが閉じることで、試験管７を把持でき、指機構５２１ａ，５２１ｂが開くことで、試験管７を解放できる。試験管７は、ハンド部５２０の指機構５２１ａ，５２１ｂによって適切な圧力で挟まれることで、把持される。

　図９Ａは、図８のハンド機構６Ｌを横（図示のＹ軸の方向）から見た側面図であり、図９Ｂは、図８のハンド機構６Ｌを上（図示のＸ軸の方向）から見た上面図である。図８～図１０では、例えば試験管７の長軸が鉛直方向に沿って配置された姿勢である場合に、ロボット２の左側のハンド機構６Ｌのハンド部５２０が、エンドエフェクタ９Ｌの指機構５２１ａ，５２１ｂによって、試験管７の上部の側面の一箇所を左右から挟むようにして把持している状態を示す。

　図９Ａおよび図９Ｂで、ハンド機構６Ｌのハンド部５２０におけるエンドエフェクタ９Ｌの指機構５２１ａ，５２１ｂの把持中心には、左把持部座標系として座標系Σ_ＬＴが設定されている。把持中心は、試験管７の位置とも対応している。座標系Σ_ＬＴのＸ，Ｙ，Ｚの３軸は、試験管７の長軸に沿った上下方向がＸ軸、ハンド部５２０の把持機構に対し前後方向がＺ軸、把持機構の左右方向がＹ軸である。

　フランジ５２２は、ハンド機構６Ｌのハンド部５２０が取り付けられるロボット２のアームの左手首部（言い換えると左リンク）に対応する機構である。フランジ５２２の中心には、左リンク先端座標系として座標系Σ_ＬＥが設定されている。座標系Σ_ＬＥのＸ，Ｙ，Ｚの３軸は、座標系Σ_ＬＴと同様に、ハンド部５２０に対し、上下方向がＸ軸、前後方向がＺ軸、左右方向がＹ軸である。図９Ａおよび図９Ｂでは、座標系Σ_ＬＴと座標系Σ_ＬＥとの位置および姿勢の関係が示されている。図９Ａおよび図９Ｂでの座標系Σ_ＬＴの原点Ｏ_ＬＴと座標系Σ_ＬＥの原点Ｏ_ＬＥとは、Ｚ軸方向で距離Ｌｔを有する。

　なお、省略するが、ロボット２の右側のハンド機構６Ｒは、左側のハンド機構６Ｌと同様の構造を有することができる。例えば、右側のハンド機構６Ｒは、同様の要領で、ピペット８を把持できる。勿論、左右のハンド機構が異なる構造を有する形態も可能である。

　［道具とハンド機構と手と各マーカーとの座標系の関係について］
　図１０は、図９Ｂのハンド機構６Ｌにおいて設定されている座標系（Σ_ＬＴ，Σ_ＬＥ）と、試験管７ａのマーカー３ａに設定されている座標系Σ_ＴＬＭとの関係などについての模式説明図である。図１０では、試験管７を把持するハンド機構６Ｌのハンド部５２０に設定された左把持部座標系である座標系Σ_ＬＴ、および左リンク先端座標系である座標系Σ_ＬＥ（図９Ａ，図９Ｂ）と、試験管７側の第１マーカーであるマーカー３ａに設定された第１マーカープレート座標系である座標系_ＴＬＭ（図５）との関係を示している。図１０では、理解の容易のために、試験管７ａに対しマーカー３ａが取り付けられている状態を仮想的に点線で図示している。

　図１１は、図１０と同じ試験管７ａおよびそれに対応付けられたハンド機構６Ｌの座標系Σ_ＬＴに対する、作業者Ｕ１の左手５Ｌのマーカー４Ｌに設定されている座標系Σ_ＰＬＭとの関係などについての模式説明図である。図１１では、図１０と対応させて、作業者Ｕ１の左手５Ｌによって把持される試験管７ａと、図示しないハンド機構６Ｌの座標系Σ_ＬＴおよび座標系Σ_ＬＥと、左手５Ｌ側のマーカー４Ｌに設定されている座標系Σ_ＰＬＭ（図７Ｂ）との関係を示している。図１１では、図１０と同じ試験管７ａの長軸が鉛直方向に沿って配置された姿勢である場合に、左手５Ｌの指１１０１、例えば親指と他の指によって、試験管７ａの上部の側面の一箇所を左右から挟むように把持している状態を示している。また、図１１では、左手５Ｌの前腕のうちの手首の手前付近の箇所の側面において掌の甲１１０２に対応した方向の一側面に、アタッチメント９２Ｌを介して、マーカー４Ｌの平板が配置されている状態を示している。

　図１０および図１１を用いて、ロボット２の左側のハンド機構６Ｌのハンド部５２０に設定された座標系（Σ_ＬＴ，Σ_ＬＥ）と、道具である試験管７ａ側のマーカー３ａに設定された座標系Σ_ＴＬＭと、左手５Ｌ側のマーカー４Ｌに設定された座標系Σ_ＰＬＭとの関係について説明する。図１０と図１１を合わせて考えることで、各座標系間の関係が把握可能である。

　図１０に示すように、マーカー３ａの座標系Σ_ＴＬＭは、左把持部座標系である座標系Σ_ＬＴを、Ｚ軸方向（図１０での右方向）に距離Ｌｍだけ平行移動したものである。また、左把持部座標系である座標系Σ_ＬＴは、左リンク先端座標系である座標系Σ_ＬＥを、Ｚ軸方向に距離Ｌｔだけ平行移動したものである。

　よって、マーカー３ａのポーズを計測すれば、これらの座標系の関係から、そのときのハンド部５２０の把持中心である原点Ｏ_ＬＴのポーズを算出でき、さらに、左手首フランジ５２２の中心である原点Ｏ_ＬＥのポーズを算出できる。すなわち、マーカー３ａのポーズから、座標変換に基づいて、ハンド機構６Ｌのハンド部５２０の動作のポーズを対応付けることができる。

　図１０では、座標変換としては、破線矢印で示すように、被把持物である試験管７ａを基準にした被把持物の座標系に対応付けられる座標系Σ_ＴＬＭと、ハンド機構６Ｌのハンド部５２０を基準にした、先端の左把持部座標系である座標系Σ_ＬＴとの座標変換Ｔ１と、座標系Σ_ＬＴと座標系Σ_ＬＥとの座標変換Ｔ２とを考えることができる。さらに、図１１では、座標変換の一部について、変換Ｔ_ＬＴで示している。変換Ｔ_ＬＴは、左手５Ｌのマーカー４Ｌの座標系Σ_ＰＬＭでのポーズから、ハンド部５２０の先端の試験管７の把持中心に対応した座標系Σ_ＬＴでのポーズへの変換である。

　図２の教示データ生成部１０７は、作業実演の際のマーカー３ａのポーズの計測に基づいて、このような座標変換の実行により、試験管７ａのポーズに対応させた、ハンド機構６Ｌのハンド部５２０のポーズを、教示ポーズとして算出できる。

　本例では、教示者Ｕ１は、通常作業時と同じである図１１のようなポーズで、左手５Ｌの指１１０１によって試験管７ａを把持する。図１０のハンド機構６Ｌのハンド部５２０は、図１１と類似となるポーズでハンド部５２０の指機構５２１ａ，５２１ｂによって試験管７を把持するように教示される。

　このとき、試験管７を把持するハンド部５２０の左把持部座標系である座標系Σ_ＬＴは、図１０と同じ座標系として定められ、同時に、左手５Ｌのマーカー４Ｌの座標系Σ_ＰＬＭを基準として、その座標系Σ_ＰＬＭから座標系Σ_ＬＴを導出するための変換Ｔ_ＬＴが決められる。制御装置１００は、この変換Ｔ_ＬＴにおける座標変換の変換係数などを、予め設定しておく。この設定は、管理者Ｕ２が行ってもよいし、制御装置１００が算出して行ってもよい。

　また、試験管７ａの位置および把持中心に対応した座標系Σ_ＬＴと、左リンク先端座標系である座標系Σ_ＬＥとの変換は、座標変換Ｔ２により得られる。これらの座標系の関係に基づいて、左手５Ｌのマーカー４Ｌの座標系Σ_ＰＬＭでのポーズと、ハンド部５２０の座標系Σ_ＬＥでのポーズとの変換Ｔ３も可能となる。制御装置１００は、左手５Ｌのマーカー４Ｌのポーズを計測すれば、これらの座標系の関係による変換に基づいて、そのときのハンド機構６Ｌのハンド部５２０の把持中心である原点Ｏ_ＬＴのポーズを算出でき、さらに、フランジ５２２の中心である原点Ｏ_ＬＥのポーズを算出できる。

　すなわち、図２の教示データ生成部１０７は、左手５Ｌ側のマーカー４Ｌを基準にした座標系Σ_ＰＬＭと、ハンド機構６Ｌのハンド部５２０を基準にした座標系Σ_ＬＴおよび座標系Σ_ＬＥとの関係に基づいた変換により、ハンド部５２０のポーズを教示ポーズとして生成するように構成されている。

　また、上述した座標系の関係および教示ポーズに基づいて、ロボット動作生成部１０９は、ロボット２のハンド機構６のフランジ５２２の中心、言い換えるとリンク先端の、ポーズの時系列データから、ロボット２の機構の関節変位を、逆運動学計算の解として算出する。そして、ロボット動作生成部１０９は、その算出により、ロボット２の機構の関節変位のシーケンスを生成し、その関節変位のシーケンスに従ったロボット動作データを生成する。

　上述した各マーカー３，４に係わる各座標系（Σ_ＴＬＭ，Σ_ＴＲＭ，Σ_ＰＲＭ，Σ_ＰＬＭ）でのポーズ、およびロボット２のハンド機構６に係わる座標系（Σ_ＬＥ，Σ_ＬＴ）でのポーズは、座標系間の対応関係に基づいて、作業台座標系である座標系Σｗでのポーズに変換して表現できる。

　また、上述した各座標系の関係は、上述した図１０のＺ軸方向での平行移動の関係や、変換Ｔ_ＬＴのような座標系の回転を含む関係には限定されず、各々の座標系の関係が既知であればよい。また、各座標系の関係が固定であることに限定する必要は無く、関係が既知である限りおいて変動してもよい。

　上記例では、教示者Ｕ１の左手５Ｌおよびロボット２の左側のハンド機構６Ｌによって試験管７ａを把持する例を説明したが、これに限らず、ピペット８や他の試験管７を対象に把持等操作する場合や、教示者Ｕ１の右手５Ｒおよびロボット２の右側のハンド機構６Ｒを用いる場合にも、同様に適用可能である。

　次に、図１２以降を用いて、実施の形態１のロボット教示方法および装置における、教示者Ｕ１の作業動作の例、制御装置１００を用いた作業教示、ロボット２の動作に変換するための教示ポーズの算出および補正などについて説明する。

　［作業実演］
　図１２および図１３は、ロボット教示装置１を用いて、教示者である作業者Ｕ１が教示作業を行う際の作業実演の作業動作の例を示す。図１２では、作業動作の一部として、作業者Ｕ１が両手を用い、左手５Ｌによって試験管７を把持し、右手５Ｒによってピペット８を把持する場合の状態を示している。最初、試験管７（７ａ，７ｂ）はホルダ７１に保持されており、ピペット８はホルダ８１に保持されている。図１３は、図１２の作業動作の後に、作業動作の他の一部として、作業者Ｕ１が、右手５Ｒのピペット８内の物質を左手５Ｌの試験管７内に吐出する場合、あるいは、左手５Ｌの試験管７内の物質を右手５Ｒのピペット８内に吸引する場合において、右手５Ｒのピペット８の先端が左手５Ｌの試験管７の上端の口に近付いた状態を示す。

　図示のとおり、教示者Ｕ１は、右手首付近に第２マーカーであるマーカー４Ｒ、左手首付近にマーカー４Ｌを装着している。図１２で、教示者Ｕ１は、作業実演として、自身の左手５Ｌによって第１マーカーであるマーカー３ａが装備された試験管７ａを把持する操作Ｍ１を行うことで、この操作Ｍ１を教示する。操作Ｍ１は、言い換えると、左手把持動作、左手把持ステップ、左手把持プロセスである。また、図１２では、右手５Ｒを用いた操作Ｍ２も図示している。教示者Ｕ１は、作業実演として、自身の右手５Ｒによって第１マーカーであるマーカー３ｐが装備されたピペット８を把持する操作Ｍ２を行うことで、この操作Ｍ２を教示する。操作Ｍ２は、言い換えると、右手把持動作、右手把持ステップ、右手把持プロセスである。

　以降の説明では、実施の形態１での特徴などについて、試験管７ａを対象とした左手５Ｌによる把持の操作Ｍ１を例に説明するが、右手５Ｒの操作Ｍ２の場合にも同様に適用可能である。以降の説明では、制御装置１００により計測および算出される各ポーズは、作業台座標系である座標系Σｗを基準とする。

　［処理フロー］
　図１４は、実施の形態１のロボット教示装置１および方法における処理フローを示す。処理の主な主体は制御装置１００である。図１４のフローは、ステップＳ１０１～Ｓ１１０を有する。なお、予め、必要な補正データ等の設定は済んでいるとする。

　ステップＳ１０１で、教示者Ｕ１または管理者Ｕ２は、教示指示として、開始指示を入力する。教示者Ｕ１は、作業実演として作業動作を開始する。開始指示により、ロボット教示装置１であるシステムは計測などを開始し、モーションキャプチャシステム２００のカメラ２０は撮影を開始する。作業実演において、教示者Ｕ１は、まず、図１３の左手把持の操作Ｍ１を開始する。このとき、制御装置１００は、教示指示検知部１０５の処理によって、指示用入力装置３００として例えばマイクロフォンを介して入力される「スタート」等の音声の信号に基づいて、開始指示、言い換えると作業実演の開始を検知する。これに基づいて、制御装置１００は、ポーズ計測部１０１の計測処理を開始させつつ、教示データ生成部１０７に、教示データの始まりを意味する教示指令（「start」）のデータを関連付けるように生成する。

　ステップＳ１０２で、制御装置１００は、ポーズ計測部１０１の処理により、モーションキャプチャシステム２００のカメラ２０から画像を入力・取得し、教示者Ｕ１の実演に合わせた時系列で、道具側のマーカー３ａを計測して得られる第１計測ポーズ、および手５Ｌ側のマーカー４Ｌを計測して得られる第２計測ポーズを取得する。そして、ポーズ計測部１０１は、第１計測ポーズを第１計測ポーズ格納部１０２に格納し、第２計測ポーズを第２計測ポーズ格納部１０３に格納する。

　次に、ステップＳ１０３で、教示者Ｕ１は、操作Ｍ１の際に、操作Ｍ１に応じた操作指示、例えば把持操作指示を入力する。制御装置１００は、操作指示検知部１０４の処理によって、その把持操作指示を検知する。操作指示検知部１０４は、教示者Ｕ１が左手５Ｌで試験管７ａを把持したタイミングで入力される上記把持操作指示を検知する。これにより、制御装置１００は、被操作物である試験管７ａへの把持の操作Ｍ１を検知する。

　この際、教示者Ｕ１は、指示用入力装置３００を用いて、操作Ｍ１と合わせたタイミングで、その把持操作指示を入力する。例えば、教示者Ｕ１は、左手５Ｌによって試験管７ａを把持した時、例えば図１１のように指１１０１で試験管７を挟んだ直後の時に、その把持操作指示を入力する。教示者Ｕ１は、その把持操作指示の際に、指示用入力装置３００として、例えば手指に装着された感圧スイッチを押して信号を入力する。あるいは、教示者Ｕ１は、足元のフットスイッチを押して信号を入力する。あるいは、教示者Ｕ１は、マイクロフォンを通じた音声入力として、把持の操作Ｍ１を表す所定の音声、例えば「クローズ」を入力する。

　操作指示の入力音声は、予め決めておけばよく、「グラスプ」「ホールド」「ゲット」等としても構わない。他の操作、例えば解放操作であれば、「オープン」「リリース」等となる。また、物理的なスイッチボタンを用いる場合には、そのスイッチボタンの信号が何の操作指示を表すかを予め決めておけばよい。また、後述の時系列のシナリオなどで、各種の操作の順序が決められる場合には、それに対応させて信号の入力の回数や順序を決めておけば、入力信号が何の操作指示を表すかが判断可能である。

　ステップＳ１０４で、制御装置１００は、ステップＳ１０３で所定の操作の操作指示が検知されたかを確認し、例えば操作Ｍ１の操作指示が検知された場合（Yes）にはステップＳ１０５へ進み、検知されない場合（No）にはステップＳ１０７へ進む。

　ステップＳ１０５では、制御装置１００は、教示データ生成部１０７の処理によって、作業実演の開始から現在時点までに格納された第１計測ポーズおよび第２計測ポーズを用いて、時系列での教示ポーズを生成し、最新となる時刻の教示ポーズに同期した操作動作指令を生成する。言い換えると、教示データ生成部１０７は、操作指示に合わせたタイミングで操作動作指令を関連付けた、時系列での教示ポーズを生成し、教示データ格納部１０８に格納する。操作動作指令は、例えば、左手把持の操作Ｍ１の操作指示に同期した、ロボット２のハンド機構６Ｌによる把持動作の実行を表す指令であり、後述のロボット動作データの生成のための教示用の指令である。

　ステップＳ１０６で、制御装置１００は、教示データ生成部１０７の処理により、補正データ格納部１０６の補正データの参照に基づいて、最新時点までの教示ポーズを補正して、補正後の教示データとして生成し、教示データ格納部１０８に格納する。補正については後述する。

　ステップＳ１０７では、制御装置１００は、教示指示検知部１０５の処理によって、教示指示として完了指示を検知したかを確認し、検知した場合（Yes）にはステップＳ１０８へ進み、検知しない場合（No）にはステップＳ１０２へ戻って同様に繰り返す。この際、完了指示は、例えば、作業者Ｕ１が、指示用入力装置３００を用いて、例えばマイクロフォンを介して、所定の音声、例えば「エンド」等の音声を入力し、教示指示検知部１０５が、その音声の信号に基づいて、完了指示として検知することが挙げられる。

　ステップＳ１０８で、制御装置１００は、上記完了指示を受けた最新時点までの計測ポーズとして第１計測ポーズおよび第２計測ポーズに基づいて、対応する最新時点までの教示データを生成し、教示データ格納部１０８に格納する。この際、制御装置１００は、ステップＳ１０８の時点では未生成となっている、上記完了指示を受けた最新時刻までの時系列の教示ポーズを追加で生成しつつ、教示データの終わりを意味する教示指令（「end」）のデータを関連付けるように生成する。

　ステップＳ１０９で、制御装置１００は、必要に応じて教示データを補正し、教示データに係わる処理を終了する。

　ステップＳ１１０で、制御装置１００は、教示データ格納部１０８の教示データに基づいて、ロボット動作生成部１０９の処理によって、ロボット動作データを生成し、ロボット動作データ格納部１１０に格納する。なお、教示データからロボット動作データを生成する処理は、教示データの生成に伴って自動的に実行されてもよいし、管理者Ｕ２の指示入力などに応じた後のタイミングで実行されてもよい。

　上記フローでは、理解の容易のため、ある１つの操作Ｍ１の教示に着目した処理例を説明したが、これに限らず、作業実演において複数の操作を教示する場合にも、操作ごとに同様に処理を行うことで、実現可能である。例えば、上記把持の操作Ｍ１のあとに、別の把持の操作Ｍ２が続く場合には、その操作Ｍ２に、同様の処理を適用すればよい。あるいは、上記把持の操作Ｍ１のあとに、所定の位置で左手５Ｌから試験管７ａを離すといった解放の操作が続く場合には、その解放の操作に、同様の処理を適用すればよい。被操作物の違い、把持や解放といった操作の違いに応じて、異なる補正データを適用してもよい。

　［教示データ算出その１］
　図１５Ａ等を用いて、上記ステップＳ１０５，Ｓ１０６の処理において生成される教示ポーズについての算出および補正などについて説明する。図１５Ａ，図１５Ｂ，図１５Ｃは、実施の形態１での教示ポーズの算出および補正などについての説明図である。図１５Ａ等では、例として図１２の左手把持の操作Ｍ１についての教示の際の、ポーズ計測部１０１による第１計測ポーズおよび第２計測ポーズの取得結果や、教示データ生成部１０７による教示データの生成結果などを表すグラフを示している。グラフは、横軸が時刻（ｔとする）、縦軸が例えば作業台１０の座標系Σｗでの一方向としてＸ軸方向の位置座標を示す。なお、図１５Ａ等では、理解の容易のため、座標系ΣｗでのＸ軸方向の位置のみの時系列データを示すが、Ｙ軸、Ｚ軸でも同様に位置の情報を有し、また、図示しないが姿勢を表す各軸での向きの情報を有する。時刻のサンプリング周期は予め決められる。

　図１５Ａは、データＤ１，Ｄ２，Ｄ１１，Ｄ１２を示す。データＤ１は、道具側の第１計測ポーズ、すなわち試験管７ａのマーカー３ａの計測ポーズの時系列データとしてＸ軸での変位のデータである。データＤ２は、手５側の第２計測ポーズ、すなわち左手５Ｌのマーカー４Ｌの計測ポーズの時系列データとしてＸ軸での変位のデータである。データＤ１１は、図１０の座標系Σ_ＴＬＭでのポーズに対応する第１計測ポーズのデータＤ１から算出される、図１０の座標系Σ_ＬＴでのポーズの時系列データである。データＤ１２は、第２計測ポーズのデータＤ２から、図１１の変換Ｔ_ＬＴを用いて算出される、図１０の座標系Σ_ＬＴでのポーズの時系列データである。言い換えると、データＤ１１は、データＤ１から把持中心位置（原点Ｏ_ＬＴ）でのポーズに変換したデータである。データＤ１２は、データＤ２から把持中心位置（原点Ｏ_ＬＴ）でのポーズに変換したデータである。

　図１５Ｂは、データＤ２０，Ｄ２１を示す。また、図１５Ｂでは、前述の教示指示および操作指示のタイミングの例も示し、それらに対応して生成されたデータＤ３０，Ｄ３１，Ｄ３２を示す。データＤ２０は、図１５Ａの２つの左把持部座標系である座標系Σ_ＬＴでのポーズのデータＤ１１，Ｄ１２から算出される、教示ポーズの時系列データであり、実線で示す。データＤ２０は、具体的にはデータＤ１２の選択によって生成されている。データＤ２１は、教示ポーズのデータＤ２０を補正した後の時系列データであり、破線で示す。本例では、時刻ｔ＝０からｍまでの時間でのデータＤ２０が、データＤ２１へと補正されている。

　データＤ３０は、教示指示として開始指示（「start」）のデータである。データＤ３２は、教示指示として完了指示（「end」）のデータである。データＤ３１は、操作指示として把持操作指示（「close」）のデータである。時刻ｔ＝０は、開始指示（「start」）が入力・検知された時点である。時刻ｔ＝ｍは、操作Ｍ１の把持操作指示（「close」）が入力・検知された時点である。時刻ｔ＝ｎは、完了指示（「end」）が入力・検知された時点である。左手把持の操作Ｍ１は、特に時刻ｔ＝ｍの付近での動作と対応している。

　図１５Ｃは、データＤ４０を示す。データＤ４０は、図１５Ｂの補正後のデータＤ２１に基づいた時系列データであり、データＤ４１とデータＤ４２とから成る教示データである。データＤ４１は時刻ｔ＝０～ｍの教示ポーズのデータであり、データＤ４２は時刻ｔ＝ｍ～ｎの教示ポーズのデータである。データＤ４１は操作Ｍ１に至るまでの動作と対応しており、データＤ４１は操作Ｍ１の後の動作と対応している。

　まず、基本的な教示ポーズの算出について説明する。図１４のステップＳ１０５の教示ポーズ生成処理の実行時刻を、把持操作指示（「close」）のタイミングに合わせた時刻ｔ＝ｍとする。その時、制御装置１００は、図１５Ａのように、時刻０から時刻ｍまでの時間での、道具側のマーカー３ａのポーズのデータＤ１、および手側のマーカー４ＬのポーズのデータＤ２を時系列で計測済みである。ステップＳ１０５では、制御装置１００は、時刻ｍまでの時間でのデータＤ１およびデータＤ２の各々を、図１５Ａのように、図１０および図１１の関係に基づいて、左把持部座標系である座標系Σ_ＬＴでのポーズであるデータＤ１１およびデータＤ１２に変換する。

　また、ステップＳ１０５では、制御装置１００は、時刻ｍで把持操作指示（「close」）が入力されていること、あるいは、時刻０から時刻ｍまでの時間でデータＤ１（例えばＸ軸の位置座標）が変化していないことに基づいて、時刻ｍまでの時間では未把持状態での動作教示であると認識する。

　そのため、制御装置１００は、データＤ１１，Ｄ１２から、時刻ｍの把持までの手側のポーズの計測結果であるデータＤ１２を、教示ポーズとするように選択し、図１５Ｂに示したデータＤ２０として生成する。図１５ＢでのデータＤ２０の時刻０～ｍの部分は、図１５ＡのデータＤ１２の時刻０～ｍの部分と同じとなっている。

　［教示ポーズ補正］
　次に、教示ポーズの補正について説明する。図１５Ａに示した、道具側のデータＤ１１は、試験管７ａ自体のポーズを直接計測したものであるため、時刻ｍにおいてロボット２のハンド機構６Ｌが高精度に把持可能なポーズを表している。一方、手側のデータＤ１２は、教示者Ｕ１の左手首付近のマーカー４Ｌのポーズを変換して生成されたものである。そのため、このデータＤ１２は、時刻ｍの把持操作、特に把持操作指示（「close」）までの左手５Ｌの軌道を表しているが、時刻ｍで左手５Ｌによって試験管７ａを把持するポーズでは、誤差を多く含んでいる。データＤ１２を選択して生成された教示ポーズのデータＤ２０も、これと同様の特徴を有している。

　このように作業者Ｕ１の手の動作により生じる誤差を、例として、図１５Ａ等では、Ｘ軸の位置に関する差分ΔＸとして示している。実施の形態１のロボット教示装置１および方法は、このような誤差を考慮して、教示データの補正を行うことで、好適な教示データを生成する。そのため、ステップＳ１０６では、制御装置１００は、時刻ｍでの手側のデータＤ１２のポーズを、道具側のデータＤ１１のポーズに一致させるような補正を行うために、その補正の補正係数を算出する。

　制御装置１００は、図１５Ｂに示した、データＤ１２に対応したデータＤ２０に、把持の時刻ｍから過去に遡る形で補正係数を用いて補正演算することにより、補正後の教示ポーズのデータＤ２１を得る。本例では、この補正演算で、Ｘ軸方向におけるデータＤ１２とデータＤ１１との位置の差分ΔＸを、補正係数として用いる。教示データ生成部１０７は、時刻ｍから過去の時点、本例ではｔ＝０までに遡る形で、データＤ２０の位置から、差分ΔＸを差し引くことで、補正後の教示ポーズのデータＤ２１の位置を生成する。

　そして、教示データ生成部１０７は、補正後の教示ポーズのデータＤ２１と、時刻を同期して記憶されている教示指示（「start」）のデータＤ３０と、操作指示（「close」）のデータＤ３１とを合わせることで、教示データを生成する。生成される教示データは、図１５Ｃに示した、時刻０から時刻ｍまでのデータＤ４０としてのデータＤ４１に相当する。

　その後、教示データ生成部１０７は、時刻０～ｍの教示データＤ４１とともに、教示データＤ４１の生成に用いた各種の関連データも含めて、教示データＤ４０として、教示データ格納部１０８に格納する。

　なお、上記補正後の教示ポーズのデータＤ２１を算出する処理の際の、過去に時刻を遡る範囲については、移動距離や移動時間等の物理量に基づいて制限を予め定めておき、補正データの一部として、補正データ格納部１０６に設定・格納しておく。制御装置１００は、その補正データを用いて上記補正の処理を行うようにしてもよい。

　その場合、教示データ生成部１０７は、補正データでのいずれかの制限に対応した、ある時刻ｉ、すなわち範囲の境界の時刻に達するまで過去に遡る形で、データＤ１２に対応するデータＤ２０に補正演算することで、時刻ｉから時刻ｍまでのデータＤ２１を生成し、補正後のデータＤ４１の一部とする。教示データ生成部１０７は、時刻ｉよりも前の部分については、補正せずにデータＤ１２に対応するデータＤ２０を選択して、補正後のデータＤ４１の一部とする。

　さらに、教示データ生成部１０７は、上記制限に達する時刻ｉの前後でのデータＤ２０とデータＤ２１との位置の変化量を抑えるために、制限の範囲内でデータＤ２０に補正係数を適用して補正演算しつつ、制限に達する時刻ｉの付近では、データＤ２０のポーズに一致させるように、または、ポーズの変化がなるべく小さくなるように、追加で補正を行ってもよい。上記制限などを用いた処理例については後述する。

　［教示データ算出その２］
　図１５Ａ等で、上記ステップＳ１０８およびステップＳ１０９での、時刻ｍ以降の教示データ生成の詳細については以下の通りである。図１５Ａに示す通り、ステップＳ１０８の処理の実行時刻をｎとする。制御装置１００は、時刻ｍから時刻ｎまでのデータＤ１およびデータＤ２を時系列で計測済みである。このとき、制御装置１００は、教示者Ｕ１が時刻ｍで把持の操作Ｍ１をしてから、最新の時刻ｎまでの間において、試験管７ａの解放の操作に対応する解放操作指示が入力・検知されていないこと、あるいは、試験管７ａ自体のポーズの計測結果であるデータＤ１１が変化していること等に基づいて、時刻ｍ～ｎの時間では、作業動作として、左手５Ｌが試験管７ａを把持したままの状態で試験管７ａを移動させたことを認識できる。

　従って、制御装置１００は、時刻ｍ～ｎの時間では、道具側のポーズの変換後のデータＤ１１に、ロボット２のハンド機構６Ｌの把持のポーズを合わせるようにすることで、教示者Ｕ１が実演で扱った試験管７ａのポーズを高精度にトレースできる。そのため、ステップＳ１０８では、教示データ生成部１０７は、時刻ｍ～ｎの時間で、データＤ１１を選択することで、教示ポーズのデータＤ２０として生成し、図１５ＣでのデータＤ４２とする。

　また、本例では、ステップＳ１０９で、ステップＳ１０８で生成した教示ポーズ自体については補正せず、教示ポーズのデータＤ２０と、時刻を同期して記憶されている教示指示（「end」）のデータＤ３２とを合わせることで、教示データを生成する。生成される教示データは、図１５Ｃでの時刻ｍ～ｎのデータＤ４０としてのデータＤ４２に相当する。その後、教示データ生成部１０７は、時刻ｍ～ｎの教示データＤ４２とともに、教示データＤ４２の生成に用いた各種の関連データも含めて、教示データＤ４０として、教示データ格納部１０８に格納する。

　図１５Ａ等の例では、ポーズの位置の補正を主に説明したが、姿勢についても同様に補正が適用できる。例えば、制御装置１００は、道具側の第１計測ポーズの姿勢に対し、手側の第２計測ポーズの姿勢との差分を算出し、その姿勢の差分を用いて、教示データを生成する。

　また、本例では、図８～図１１のように、教示者Ｕ１の手５およびハンド機構６のエンドエフェクタ９がそれぞれ同じ道具を把持等操作する箇所（例えば試験管７の上部の側面）については予め決められている場合を説明した。教示の際に、教示者Ｕ１の手５が道具を操作する箇所が、その決められた箇所からズレがある場合でも、上記誤差に係わる補正をすることで、そのズレが許容できる。

　［変形例］
　図１６Ａ等は、図１５Ａ等での誤差を考慮した補正に係わる変形例についての説明図であり、図１５Ａ等と同様にグラフを示す。前提として得られた計測ポーズは図１５Ａと同じであるとする。図１６Ａは、ある変形例として変形例１Ａを示す。この変形例１Ａでは、制御装置１００は、操作Ｍ１の検知の時刻ｍから、過去に、制限に応じて定まる時間の範囲１６０１で、時刻ｉまで遡り、その範囲１６０１内で、データＤ１２に対応したデータＤ２０から、データＤ２１への補正を行う。この補正は、前述と同様に例えば差分ΔＸの引き算である。補正後は破線で示すデータＤ２１のようになる。時刻ｉ～ｍの範囲１６０１のデータＤ２１に対し、時刻ｉから前のデータＤ２０、および時刻ｍから後のデータＤ２０が接続されることで、教示データとなる。制限に対応する範囲１６０１は、本例では、時刻ｍから３つ前の時刻ｉまでの時間としている。制限に対応する範囲１６０１は、例えば、予め所定の時間として決めておいてもよいし、あるいは、Ｘ軸などの各軸での距離を予め閾値として決めておき、その距離の閾値に対応させた変位が生じる時間として決定してもよい。この制限の範囲１６０１は、被操作物やハンド機構６の構造等に応じて決めると、より好適である。

　図１６Ｂおよび図１６Ｃは、さらなる変形例として変形例１Ｂを示す。この変形例１Ｂは、補正後のデータに対し、時系列で前後にある未補正のデータをなるべく滑らかに接続するように、言い換えると、時系列の前後でポーズの変化量がなるべく小さくなるように、さらなる追加の補正を行うものである。本例では、図１６Ａの例とは異なるデータＤ２０を用いるとし、時刻ｍに至るまでにＸ軸位置の変動がより大きいとする。まず、図１６Ａの変形例１Ａと同様に、制限に応じた範囲１６０１として時刻ｉ～ｍの時間で、データＤ２０からデータＤ２１に補正されたとする。この補正は例えば差分ΔＸの引き算である。この第１段階の補正後の部分をデータＤ２１ａとして示す。次に、データＤ２１ａからさらに第２段階の補正が行われる。補正後の部分をデータＤ２１ｂとして示す。この第２段階の補正では、範囲１６０１の境界である時刻ｉの付近で、データＤ２１ａとデータＤ２０との接続がより滑らかになるように、すなわちポーズの位置や姿勢の変化量がなるべく小さくなるように、補正がされる。

　データＤ２１ａに対し前後のデータＤ２０をつなげたポーズでは、例えば時刻ｉとその１つ前の時刻ｊとで、Ｘ軸方向の位置の変化量が大きい。制御装置１００は、例えば時刻間の変化量を算出し、その変化量が閾値以上に大きい場合には、第２段階の補正を行う。例えば、時刻ｊと時刻ｉとの変化量をＡ１とし、変化量Ａ１は閾値以上に大きいとする。制御装置１００は、例えば範囲１６０１の境界である時刻ｉを基準として、第２段階の補正の範囲１６０２を決める。範囲１６０２は、変化量Ａ１に対応した時刻ｊ～ｉの時間を少なくとも含むように決められる。図示の例では、範囲１６０２は、時刻ｊ～ｉの時間とする。制御装置１００は、この範囲１６０２で、各時刻のポーズを補正する。この補正の例は、平均化などの統計処理が挙げられる。

　図１６Ｃには、第２段階の補正後の例をデータＤ２１ｂとして示す。白丸点は補正後の位置である。本例では、補正前の時刻ｊの位置と、時刻ｉの位置との平均値をとり、その平均値が、補正後の時刻ｊの位置および時刻ｉの位置とされている。このような補正に限らず、範囲１６０２をより広くしてもよいし、他の統計処理などを採用してもよい。また、ポーズの軌跡である時系列データは、時刻ごとの位置や姿勢を直線でつなげたものとして説明したが、時刻ごとの位置や姿勢に基づいて曲線としてつなげるようにして生成される時系列データとしてもよい。

　図１７Ａは、他の変形例として変形例１Ｃを示す。この変形例１Ｃでは、例えば図１６Ｂと同様に第１段階の補正がされた後、例えば時刻ｊと時刻ｉとの変化量Ａ１が閾値以上に大きいとする。この場合に、この変形例１Ｃでは、時刻ｊの位置のデータをノイズとみなし、例えば時刻ｉの位置に合わせるように、第２段階の補正がされている。補正後をデータＤ２１ｃとして示す。

　図１７Ｂは、他の変形例として変形例１Ｄを示す。この変形例１Ｄでは、例えば図１６Ｂと同様に第１段階の補正がされた後、例えば時刻ｊと時刻ｉとの変化量Ａ１が閾値以上に大きいとする。この場合に、この変形例１Ｄでは、時刻ｊの位置から時刻ｍの位置までを直線でつなぐように、各時刻の位置が補正されている。補正後を、一点鎖線で、データＤ２１ｄとして示す。

　上述のように、各変形例の方法では、教示データを生成するステップは、操作が検知された付近の計測データにおいて、誤差を低減する補正を行った後のデータに対し、時間的に前後のデータとの変化量が、予め設定した規定値を満足しない場合に、規定値を満足したいデータ部分を、統計処理またはノイズ除去処理等によって、追加補正するステップを有する。その他、操作指示（「close」）のデータＤ３１と同一の時刻（操作指示の時刻ｍ）に、手側のデータＤ１２のポーズを、道具側のデータＤ１１のポーズに一致させられる範囲において、既知の統計処理等を用いた手法でデータの補正を行ってもよい。

　［ＧＵＩ画面］
　図１８は、実施の形態１のロボット教示装置１が、ユーザである作業者Ｕ１や管理者Ｕ２に対して提供するＧＵＩを含む画面の表示例を示す。図１８の画面は、例えばＷｅｂページ等の態様で提供されてもよい。図１８の画面は、例えば図２の制御装置１００の教示指示検知部１０５による処理に基づいて、入出力装置１２０の表示装置（図３での出力装置１００６）の表示画面に表示される。図１８の画面は、作業シナリオ表示画面として構成された例を示している。この画面は、作業動作のシナリオの設定・編集を可能とする。この画面は、シナリオ編集画面部１８０１と、教示データ確認画面部１８０２とを含んでいる。

　ユーザである作業者Ｕ１または管理者Ｕ２は、この画面で、対象の作業動作や必要な補正データや設定情報等を設定でき、それらのデータ・情報や、作業実演に応じて生成された教示データ等を確認できる。また、この画面に対し、前述の教示指示等を入力可能としてもよいし、教示指示などの作業用に別のＧＵＩの画面を設けてもよい。

　シナリオ編集画面部１８０１は、作業シナリオを表示し、ユーザによる編集を可能とするＧＵＩを有する。作業シナリオは、作業実演の対象となる作業動作のシナリオであり、作業単位ごとに分割されて構成され、各作業単位に必要となる教示データとの対応付けが可能である。図示の例では、対象の作業動作の作業シナリオは、「Initial」、「Get test tube」、「Move test tube」といった作業単位ないしステップを有する、シーケンシャル・ファンクション・チャートとして構成されている。ステップＳ１８１０で示す「Get test tube」は、「試験管を把持する動作／ステップ」であり、前述の試験管７の把持の操作Ｍ１に相当している。ステップＳ１８１１で示す「Move test tube」は、「試験管を移動させる動作／ステップ」であり、把持の操作Ｍ１の後に、把持された試験管７を移動させる動作に相当している。

　ユーザは、シナリオ編集画面部１８０１で作業シナリオを編集することで、どのような作業動作を教示するかを設定できる。ユーザは、この画面で、作業シナリオの新規作成、名前を付けて保存、設定済みの作業シナリオのオープン、クローズなどが可能である。制御装置１００は、設定された作業シナリオに従い、作業シナリオの各々の動作／ステップに、図１５Ａ等に示した計測データや教示データ（例えばデータＤ４１，Ｄ４２）などのデータ・情報を関連付けるように作成する。

　なお、本例では、シナリオ編集画面部１８０１の作業シナリオは、シーケンシャル・ファンクション・チャートとして記載したが、これに限らず、作業シナリオと遷移が表記できればよい。

　教示データ確認画面部１８０２は、作業シナリオと対応付けられて生成された、作業動作の教示データや、その教示データを生成する際に用いた各種データの内容を表示して確認可能とするＧＵＩを有する。図１８の画面のＧＵＩは、シナリオ編集画面部１８０１でユーザが作業シナリオや動作／ステップ（例えばステップＳ１８１０）を選択した場合に、その選択されたステップ等に対応したデータ、例えば図１５Ｃの教示データＤ４０やその教示データを生成する際に用いた各種データを表示する機能を有する。この画面では、ユーザが、表示対象とする計測データ、教示データ、その他を選択できるようにしてもよい。本例では、教示データ確認画面部１８０２に、各種の計測データや教示データなどが、図１５Ａ等と同様にグラフの形式で重ねて表示されている。また、本例では、前述の誤差に対応した差分ΔＸの値も表示されており、補正前後の教示データを確認可能である。

　図示しないが、教示データ確認画面部１８０２に、前述の教示指示や操作指示のデータも表示できる。また、前述の誤差を考慮した補正や、追加の補正に係わり、判定用の閾値などを用いる場合には、画面内にその閾値などの設定情報も表示でき、ユーザによるその設定情報の確認やユーザ設定を可能とする。また、前述の各変形例で示したような、複数の補正方法を実装してもよく、その場合、画面で複数の補正方法からユーザが適用する補正方法を選択して設定可能としてもよい。

　本例では、教示データ確認画面部１８０２は、教示データ等の各データのグラフの表示としたが、これに限らず、各データの内容が確認できるものであればよい。例えば、データベースのデータテーブル等の表示でもよいし、コマンド等の表示でもよいし、後述の例のようにポーズを３次元的に表示してもよい。

　［実施の形態１の効果等］
　実施の形態１のロボット教示方法等によれば、ロボットの知識が無い人であっても、人の通常動作をなるべく維持した作業実演によって、直観的かつ効率的にロボットへの作業動作の教示を可能とし、教示の事前調整工数低減や導入の容易化などを実現できる。実施の形態１によれば、実際の作業者が通常実施している作業動作について、教示のための変更を不要または最低限とし、通常作業動作のポーズを維持して教示が可能となる。そのため、ロボットの知識が無い人であっても、簡便で直観的に、作業実演による効率的な教示が実現できる。また、実施の形態１によれば、教示者の手のポーズや道具のポーズに関する高精度の認識や画像解析処理は不要となり、計算資源も節約でき、また、事前調整工数を低減でき、ロボット教示に係わるシステムの導入や実施を容易化できる。

　実施の形態１によれば、道具側の第１マーカーと手側の第２マーカーとを用いて、誤差に係わる補正を含め、教示データを生成する構成としたので、教示者Ｕ１の手が道具に対し離れている状態を含んだ作業動作も教示可能となる。

　実施の形態１の変形例として各種が可能である。例えば、モーションキャプチャシステム２００は、カメラ２０を用いるものとしたが、これに限らず、他の計測装置やセンサを用いて対象物の位置や姿勢を検出するものとしてもよい。例えば、ジャイロセンサや加速度センサ等を用いてもよいし、レーザー光や赤外線等に対応した光センサを用いてもよい。操作物として道具の例を説明したが、これに限らず、製造プロセスでの部材や製品などを対象としてもよい。手側のマーカー３は、前腕のうちの手首の手前の付近に設置される例を説明したが、これに限らず、作業者Ｕ１の手のうち作業動作を妨げない箇所に設置されればよい。

　実施の形態１では、手のポーズは、前腕の手首手前付近に装着されたマーカー４のポーズとした。前述のように、マーカーの設置位置や詳細な方式は、これに限定されない。他の例では、手首よりも先の掌にマーカーが形成された場合、手のポーズは、掌の動きを反映したそのマーカーのポーズとして得られる。

　変形例として、前述の図１５Ｂのような誤差を用いた補正について、制御装置１００は、例えば算出した差分ΔＸを、設定された閾値と比較し、差分ΔＸが閾値以上である場合に、前述の補正を実行し、閾値未満である場合には、補正を実行しないようにしてもよい。

　＜実施の形態２＞
　図１９以降を用いて、実施の形態２のロボット教示方法および装置について説明する。実施の形態２等の基本的な構成は実施の形態１と同様であり、以下では、実施の形態２等における実施の形態１とは異なる構成部分について主に説明する。

　実施の形態２は、実施の形態１とは異なる構成点としては、把持などの操作の際にロボットのハンド機構が道具にアクセスする際の制限を考慮して教示データを補正する点がある。この制限は、ハンド機構等の構造と道具の形状等の構造との関係に応じて定まる制限である。より具体的には、この制限は、把持などの操作の際に道具に対しハンド機構がアクセスする際の、移動や操作が可能な、許容される方向、位置、距離、速度、力などに係わる制限範囲が挙げられる。制限範囲は、基準値や上下限値などで規定されてもよい。この制限は、例えば、道具の特定の箇所のみを把持すること、道具に対しある距離範囲内では特定の方向から近付いたり離れたりすること、ある範囲内ではある速度以下でアクセスすること、等が挙げられる。

　実施の形態２での教示データ生成のうちの補正は、そのような制限を満たすように、言い換えるとその制限を優先するように、ロボットの機構の効率的な動作を可能とする教示ポーズを生成することである。実施の形態２での補正は、補正データとしてその制限の内容を設定しておき、教示データ生成の際に、計測ポーズの一部を、その補正データを用いて置換等で補正することで、教示データを生成するものである。

　なお、実施の形態２での制限とは、実施の形態１での過去に遡る制限の範囲とは別の概念であり、区別のため、操作制限、動作制限、アクセス制限などと記載する場合がある。また、実施の形態２での操作制限を考慮した補正は、実施の形態１での手の動作による誤差を考慮した補正とは別の概念である。実施の形態２は、実施の形態１での誤差に係わる補正を行う機能に加えて、上記操作制限に係わる補正を行う機能を有する場合の実施例として説明する。これに限らず、実施の形態２は、実施の形態１での誤差に係わる補正を行う機能を有さずに、上記操作制限に係わる補正を行う機能のみを有する実施例としても実現可能である。

　実施の形態２のロボット教示装置１の制御装置１００の構成例は図２と同様であり、主に異なる構成点としては、操作ポーズ生成部１１２を有する。操作ポーズ生成部１１２は、言い換えると教示ポーズ補正部である。また、実施の形態２での操作制限に係わる補正のために、図２の補正データ格納部１０６には、補正データ、言い換えると補正用設定情報が設定・格納される。この補正データの設定は、予め管理者Ｕ２が行ってもよいし、制御装置１００が補正データを算出してもよい。実施の形態２での補正データは、実施の形態１での補正データに加え、操作制限に係わる補正データを追加で有する。

　操作ポーズ生成部１１２は、補正データ格納部１０６の補正データを用いて、操作制限を考慮したポーズである操作ポーズを生成する。操作ポーズ生成部１１２または教示データ生成部１０７は、教示データのうちの一部を、その操作ポーズを用いて置換または修正することで補正する。補正後の教示データは、教示データ格納部１０８に格納される。なお、図２の操作ポーズ生成部１１２を、教示データ生成部１０７の一部と捉えてもよい。

　［作業実演］
　前述の図１２を用いて、実施の形態２での作業実演の例について説明する。本例では、図１２に示したように、マーカー３ｐが装備されたピペット８を、教示者Ｕ１が、マーカー４Ｒが装着された右手５Ｒによって把持する操作Ｍ２を行う。最初、ピペット８は、作業台１０上のホルダ８１に設置されている。教示者Ｕ１は、マーカー４Ｒが装着された右手５Ｒを移動させて、ホルダ８１上のピペット８を把持する操作Ｍ２を行い、ピペット８を把持したまま右手５Ｒを移動させる。以下ではこのような操作Ｍ２についての教示を対象として説明する。

　［ピペットの把持］
　図１９は、作業台１０上のホルダ８１の構成例、ホルダ８１に設置されたピペット８の状態、ピペット８にアタッチメント８２を介して装着されたマーカー３ｐの状態などを示す斜視図である。前述の図６と同様のピペット８およびマーカー３ｐが、ホルダ８１に設置されている。

　本例では、ホルダ８１の構造としては、作業台１０の上面かつ水平面であるＸ－Ｙ面に設置される平板部８１ａと、平板部８１ａの上に鉛直方向であるＺ軸方向に立つ支柱部８１ｂと、支柱部８１ｂの上端においてＸ－Ｙ面に平行に有する支持部８１ｃとを有する。支持部８１ｃは、ピペット８およびアタッチメント８２の所定の箇所を支持できるように、図示のＸ軸負方向に切り欠きがある形状として四辺のうち一辺を欠いた形状を有する。支持部８１ｃの切り欠きの領域内にピペット８の長軸が配置される。

　ピペット８の上部に装着されたアタッチメント８２は、支持部８１ｃの上に載せられる形状、かつハンド機構６の指機構５２１（図８での指機構５２１ａ，５２１ｂ）によって把持可能な形状などの構造を有する。ホルダ８１へのピペット８の設置の際には、マーカー３ｐのアタッチメント８２が支柱部８１ｂの支持部８１ｃの上に載せられ、これにより、ホルダ８１によって、ピペット８、アタッチメント８２およびマーカー３ｐの荷重が支えられる。アタッチメント８２に接続されたマーカー３ｐは、アタッチメント８２と同程度の高さ位置で、矩形の平板が支持部８１ｃよりも外側に出て、例えばＸ－Ｚ面に配置されている。マーカー３ｐも把持操作を妨げないように配置されている。

　ピペット８は、ホルダ８１への設置・保持の際には、支持部８１ｃのＸ－Ｙ面の四辺のうち欠いた一辺に対応した方向として例えばＸ軸で負から正への方向１９０１で移動させることで、支持部８１ｃに載せられる。逆に、ピペット８は、ホルダ８１からの取り出しの際には、支持部８１ｃのＸ－Ｙ面の四辺のうち欠いた一辺に対応した方向として例えばＸ軸で正から負への方向１９０２で移動させることで、支持部８１ｃから取り出される。

　このようなホルダ８１に搭載されたピペット８を、ロボット２のハンド機構６Ｒの先端の指機構５２１によって把持して移動させるためには、当該機構がホルダ８１上で試験管８の上部を把持できること、かつ、当該機構をホルダ８１に衝突させないようにアクセスできる位置および姿勢を保ちつつ動作させることが必須となる。このようなことが、前述の操作制限となる。

　また、本例では、ピペット８の上部においてアタッチメント８２の側面の左右の箇所を指機構５２１によって把持できるように、予めアタッチメント８２などが設計されている。道具や機構が異なる場合には、それに合わせて、操作の箇所やアタッチメントの構成も異なり、操作制限も異なる。

　ロボット２のハンド機構６のハンド部５２０による操作およびそれに係わる操作制限は、一例として以下となる。ハンド機構６は、ピペット８の把持操作の際に、姿勢としては指機構５２１の水平を保つ姿勢をとりつつ、位置の軌道としては、支持部８１ｃの切り欠きの方向、本例ではＸ軸の負から正への方向１９０１で平行移動するようにアクセスし、ピペット８の上部のアタッチメント８２の側面の箇所に至ってその箇所を左右から把持する動作をとる。そして、ハンド機構６は、指機構５２１によってピペット８を把持した状態で、その指機構５２１を、水平を保ったままＸ軸の正から負への方向１９０２で平行移動するように引き抜く動作をとる。

　［操作制限および操作ポーズ］
　図２０は、図１９のホルダ８１のピペット８に対してロボット２の右側のハンド機構６Ｒの指先である指機構５２１（図８での指機構５２１ａ，５２１ｂ）がアクセス可能なポーズについての説明図であり、座標系ΣｗでのＸ－Ｚ面の側面図を示す。なお、図２０では、理解の容易のため、ピペット８にアクセス可能となるロボット２の機構のポーズを示すために、ハンド機構６Ｒの指機構５２１のみを、仮想的に破線で図示している。また、アタッチメント８２およびマーカー３ｐの図示を省略している。また、以降の説明で、ポーズを表現するための座標系は、実施の形態１と同様に、特に断り無い限り、作業台座標系である座標系Σｗに従う。

　図２０では、操作制限範囲Ｒ２０を有する。操作制限範囲Ｒ２０は、操作制限が必要な３次元空間の範囲である。操作制限範囲Ｒ２０は、例えばＸ軸方向では位置Ｘ１から位置Ｘ２までの範囲、Ｙ軸方向では図示しないがピペット８の長軸が配置された位置を中心として左右を含む範囲、Ｚ軸方向では作業台１０の上面を０として高さＺ１よりも上の所定の高さＺ２までの範囲である。

　図２０では、指機構５２１によるピペット８の把持操作の際の、図１９の方向１９０１でのアクセスの動作の際のポーズの軌道、言い換えると経路を、軌道２０００で示している。方向１９０２での引き抜く動作の軌道は、方向１９０１での動作の軌道２０００とは逆方向の軌道となる。軌道２０００は、操作制限範囲Ｒ２０内の軌道２００１と、操作制限範囲Ｒ２０外の軌道２００２とが接続されて成る。

　本例では、ロボット２のハンド機構６Ｒが、ホルダ８１に干渉せずに、すなわち余計な接触などをせずに、ホルダ８１のピペット８にアクセスしてピペット８を把持するために、以下のように操作制限を考慮した動作をとる。まず、ハンド機構６Ｒは、操作制限範囲Ｒ２０外では、指機構５２１を、姿勢の変化を許容する基本的に自由な軌道２００２で、操作制限範囲Ｒ２０の境界に対応した位置ｐ２１まで移動させる。軌道２００２の起点は特に限定しない。位置ｐ２１，ｐ２２は、指機構５２１の把持中心位置として示す。位置ｐ２１は、Ｘ軸方向では位置Ｘ２、Ｙ軸方向ではピペット８の長軸が配置されている位置、Ｚ軸方向では作業台１０の上面から高さＺ１の位置に対応する。

　次に、ハンド機構６Ｒは、操作制限範囲Ｒ２０内では、指機構５２１を、ホルダ８１のピペット８の設置位置および把持位置に対応した位置ｐ２２、Ｚ軸では高さＺ１の位置に対し、水平の姿勢を保ち、Ｘ軸方向で少なくとも距離Ｌｆだけ負から正への方向に平行移動させる。この動作を、位置Ｘ２から位置Ｘ１への軌道２００１で表している。これにより、指機構５２１とホルダ８１との干渉が避けられる。ハンド機構６Ｒは、位置ｐ２２で指機構５２１をＹ軸方向で動かすことで、支持部８１ｃよりも上側のピペット８の上部の側面の所定の箇所を把持する。

　また、ハンド機構６Ｒが、ホルダ８１に干渉せずに、すなわち余計な接触などをせずに、ホルダ８１からピペット８を把持したまま取り出すために、以下のように操作制限を考慮した動作をとる。まず、ハンド機構６Ｒは、操作制限範囲Ｒ２０内では、ピペット８を把持した状態の指機構５２１を、ホルダ８１のピペット８の設置位置および把持位置に対応した位置ｐ２２、Ｚ軸では高さＺ１の位置に対し、水平の姿勢を保ち、Ｘ軸方向で少なくとも距離Ｌｆだけ正から負への方向に平行移動させる。この動作は、軌道２００１とは逆方向の、位置Ｘ１から位置Ｘ２への軌道である。これにより、指機構５２１とホルダ８１との干渉が避けられる。その後、ハンド機構６Ｒは、位置ｐ２１からは、姿勢の変化を許容しながら、ピペット８を把持した指機構５２１を基本的に自由に移動させる。この動作は、例えば軌道２００２とは逆方向の軌道として、位置Ｘ２からＸ軸で負方向への軌道であり、軌道の終点は特に限定しない。

　このような操作制限を考慮したロボット２のハンド機構６の動作を実現するための教示のために、実施の形態２では、例えば操作制限範囲Ｒ２０またはそれに対応した軌道２００１のようなポーズを、予め、操作制限に係わる補正データとして設定しておく。制御装置１００は、教示者Ｕ１の作業実演時の右手５Ｒ側の計測ポーズに対し、このような補正データを用いて、操作制限に対応した操作ポーズを生成する。

　この補正データにおける、操作制限範囲Ｒ２０内の軌道２００１に対応したポーズは、把持操作、被把持物、および把持機構などに応じて一意に定められるポーズである。補正の際に、このようなポーズが操作ポーズとして生成される。この操作ポーズは、軌道２００１のように機構が道具に接近する際の接近ポーズと、逆軌道として機構が道具から離れる際の離脱ポーズとを有する。

　操作制限範囲Ｒ２０に対応させて、機構と道具とが干渉しない軌道２００１のようなポーズが規定される。操作制限範囲Ｒ２０は、例えば制限される変位方向としてのＸ軸方向や、制限される距離としての距離Ｌｆや、制限される姿勢としての水平姿勢などが含まれる。操作制限範囲Ｒ２０は、接近ポーズをとって動作すべきであるＸ軸正方向での距離Ｌｆの範囲である接近ポーズ範囲や、離脱ポーズをとって動作すべきであるＸ軸負方向での距離Ｌｆの範囲である離脱ポーズ範囲などが含まれる。

　制御装置１００は、上記のような操作制限範囲Ｒ２０または軌道のポーズの少なくとも一方を、補正データ格納部１０６に補正データとして設定しておく。制御装置１００は、ユーザが画面で設定した操作制限範囲Ｒ２０に基づいて軌道のポーズを算出して、補正データとして設定してもよい。制御装置１００は、ユーザが画面で設定した軌道のポーズを補正データとして設定してもよい。

　なお、本例では、把持操作の際の、接近時の軌道２００１と、離脱時の軌道とを、姿勢が同じで逆方向の変位の軌道としたが、これに限らず、対象に応じては、それらが異なる軌道となってもよく、異なる操作制限が設定されてもよい。

　［操作制限を考慮した補正］
　次に、図２１Ａ等を用いて、実施の形態２のロボット教示方法等における、操作制限を考慮した補正を含む教示データ生成について説明する。図２１Ａ，図２１Ｂ，図２１Ｃは、実施の形態２での教示データ生成の詳細例についてのグラフを図１５Ａ等と同様に示している。図２１Ａ等では、図１２のように教示者Ｕ１の右手５Ｒによってホルダ８１のピペット８を把持する右手把持の操作Ｍ２の際の各種データを示す。図２１Ａ等では、理解の容易のため、前述と同様に、座標系ΣｗのＸ軸方向の位置のみの時系列データを示す。時刻０から時刻ｍまでの時間は、右手５Ｒがピペット８まで移動して把持する動作と対応しており、時刻ｍでは操作Ｍ２に対応して把持操作指示が入力され検知されている。

　図２１Ａは、ピペット８側のマーカー３ｐの第１計測ポーズのデータＤ１’と、作業者Ｕ１の右手５Ｒ側のマーカー４Ｒの第２計測ポーズのデータＤ２’と、データＤ１’から把持中心位置でのポーズに変換したデータＤ１１’と、データＤ２’から把持中心位置でのポーズに座標変換したデータＤ１２’とを示す。

　図２１Ｂは、データＤ２０’、データＤ２１’、データＤ２００を示す。データＤ２０’は、図１５のデータＤ２０と同様に、データＤ１１’とデータＤ１２’とに基づいてデータＤ１２’の選択により生成された教示ポーズである。データＤ２１’は、データＤ２０’から補正により生成された教示ポーズである。データＤ２０’からデータＤ２１’への補正は、実施の形態１と同様に、手の動きの誤差を考慮して、時刻０～ｍの時間で、差分ΔＸの引き算を用いた補正演算である。また、図２１Ｂでは、時刻０の教示指示（「start」）のデータＤ３０’、時刻ｍの操作指示（「close」）のデータＤ３１’、時刻ｎの教示指示（「end」）のデータＤ３２’を有する。

　また、図２１Ｂでは、図２０の操作制限範囲Ｒ２０の接近ポーズ範囲について、Ｘ軸方向の距離Ｌｆに対応する位置の範囲を、範囲２１０１で示している。位置Ｘｒ１は、図２０での位置Ｘ２と対応しており、位置Ｘｒ２は、位置Ｘ１と対応している。また、データＤ２１’およびデータＤ２０’におけるＸ軸方向の位置が、図２０の操作制限範囲Ｒ２０の距離Ｌｆの接近ポーズ範囲に対応した範囲２１０１内に収まる時刻を、時刻Ｔｒａ～Ｔｒｂとして示す。時刻Ｔｒａは、データＤ２１’での位置が位置Ｘｒ１を上回る時刻に相当し、時刻Ｔｒｂは、データＤ２０’での位置が位置Ｘｒ１を下回る時刻に相当する。データＤ２１’での位置は、時刻ｍで頂点の位置Ｘｒ２に達しており、時刻ｍ以降は未補正のデータＤ２０’の位置と接続されている。

　教示データ生成部１０７は、データＤ２１’のような教示ポーズの算出後、図２の操作ポーズ生成部１１２の処理によって、補正データ格納部１０６に格納されている補正データを参照して、操作制限範囲Ｒ２０に対応した操作ポーズを生成する。操作ポーズ生成部１１２は、操作制限範囲Ｒ２０に対応した例えば軌道２００１のような接近ポーズを生成する。そして、教示データ生成部１０７は、その操作ポーズを用いて、操作制限に係わる補正を行う。

　図２１Ｂでは、その接近ポーズは、時刻ｔａから時刻ｍまでの直線のデータＤａで表される。操作ポーズ生成部１１２は、把持の操作Ｍ２の時刻ｍではデータＤ１１’およびデータＤ２１’と同じポーズの位置Ｘｒ２および姿勢に一致させるようにして、接近ポーズのデータＤａを算出する。これに伴い、接近ポーズのデータＤａの開始の時刻ｔａも算出される。そして、教示データ生成部１０７は、その接近ポーズによって、データＤ２１’の時刻ｔａ～ｍに対応する一部を置換する。

　把持の操作Ｍ２の時刻ｍから後の離脱ポーズのデータＤｂについても同様に算出できる。操作ポーズ生成部１１２は、図２０の操作制限範囲Ｒ２０に対応した、例えば軌道２００１の逆軌道のような離脱ポーズを生成する。図２１では、その離脱ポーズは、時刻ｍから時刻ｔｂまでの直線のデータＤｂで表される。操作ポーズ生成部１１２は、把持の操作Ｍ２の時刻ｍではデータＤ１１’およびデータＤ２１’と同じポーズの位置Ｘｒ２および姿勢に一致させるようにして、離脱ポーズのデータＤｂを算出する。これに伴い、離脱ポーズのデータＤａの終了の時刻ｔｂも算出される。そして、教示データ生成部１０７は、その離脱ポーズによって、データＤ２０’の時刻ｍ～ｔｂに対応する一部を置換する。

　上記操作ポーズである接近ポーズおよび離脱ポーズを用いた置換による補正後のデータＤ２００（Ｄａ，Ｄｂ）は、図２１Ｃでは、データＤ４０’の一部となる。データＤ４０’は、時刻ｍまでの接近ポーズのデータＤａを含むデータＤ４１’と、時刻ｍ以降の離脱ポーズのデータＤｂを含むデータＤ４１’とを有し、前述の教示指示や操作指示のデータ（Ｄ３０’，Ｄ３１’，Ｄ３２’）も関連付けられている。また、時刻ｍまでのデータＤ４１’において、補正前の時刻Ｔｒａから時刻ｔａまでのデータは、位置Ｘｒ１のまま変化しないデータＤｃに補正されている。時刻ｍ以降のデータＤ４２’において、補正前の時刻ｔｂから時刻Ｔｒｂまでのデータは、位置Ｘｒ１のまま変化しないデータＤｄに補正されている。

　上述のように、実施の形態２では、まず実施の形態１と同様に教示ポーズのデータＤ２１’およびデータＤ２０を生成し、さらに操作制限範囲Ｒ２０を考慮した操作ポーズのデータＤａ，Ｄｂを生成し、その教示ポーズのデータＤ２１’およびデータＤ２０の一部として把持操作の時刻ｍの付近の時刻Ｔｒａ～Ｔｒｂの範囲内を、その操作ポーズによって置換するように補正する。これにより、補正後のデータＤ２００を含む教示データＤ４０’が得られる。

　［変形例］
　実施の形態２の変形例として、上記操作制限を考慮した補正に関するさらなる詳細な処理例を説明する。図２１Ａ等での補正の処理例では、操作ポーズのデータＤ２００（Ｄａ，Ｄｂ）については、接近ポーズ、離脱ポーズのいずれも、一定の傾きの直線、言い換えると一定の速度で変位するポーズとして生成され、それらのポーズにそのまま置換する場合を示した。その際の直線の傾きに応じて、操作ポーズの開始の時刻ｔａや終了の時刻ｔｂが決められ、それらに対する前後の時間は、データＤｃ，Ｄｄのように、変位しない直線として補正される場合を示した。上記直線の傾きや速度についても、操作制限に応じて決められる。このような補正の処理例に限定されずに、各種の処理例が可能である。

　図２２Ａは、ある変形例として変形例２Ａを示す。前提となる計測データ等は図２１Ａと同様とする。この変形例２Ａでは、把持操作の時刻ｍの位置を頂点として、操作制限範囲Ｒ２０の距離Ｌｆに対応した時刻Ｔｒａ、時刻Ｔｒｂに基づいて、操作ポーズ生成部１１２は、時刻Ｔｒａと時刻ｍとを結ぶ直線として接近ポーズのデータＤａ’を生成し、時刻ｍと時刻Ｔｒｂとを結ぶ直線として離脱ポーズのデータＤｂ’を生成している。データＤａ’およびデータＤｂ’は、前述のデータＤａおよびデータＤｂよりも、傾きが緩やかとなっている。そして、教示ポーズのデータＤ２１’およびデータＤ２０‘を、これらの操作ポーズＤ２００ａ（Ｄａ’，Ｄｂ’）により置換することで、図示のような補正後の教示データが生成される。

　図２２Ｂは、他の変形例として変形例２Ｂを示す。前提となる計測データ等は図２１Ａの場合よりも変動や揺れが大きいものとする。また、本例では、把持操作の際の頂点の位置は、時刻ｍから時刻ｍ’まで続いている。すなわち、教示者Ｕ１が操作Ｍ２の際に右手５Ｒにピペット８を把持したままの状態が、ある程度の時間維持された場合を示している。また、本例では、離脱の際の変位が大きかったため、時刻Ｔｒｂに対し時刻ｔｂが後の時刻になっている。

　データＤ２１’やデータＤ２０’は、補正前の教示ポーズである。操作ポーズ生成部１１２は、データＤ２１’やデータＤ２０’に対し、実施の形態２の図２１Ａ等の処理例と同様にして、操作ポーズＤ２００ｂ（Ｄａ，Ｄｂ）を生成する。操作ポーズＤ２００ｂは、時刻ｔａから時刻ｍまでの接近ポーズのデータＤａと、時刻ｍ’から時刻ｔｂまでの離脱ポーズのデータＤｂとを有する。そして、この変形例２Ｂでは、操作ポーズのデータＤ２００ｂの前後については、なるべく元のデータＤ２１’やデータＤ２０’のポーズのままとして補正しない。本例では、時刻Ｔｒａから時刻ｔａまでの時間は、元のデータＤ２１’として例えば時刻ｔｃの位置Ｘｒ４と、時刻ｔａの位置Ｘｒ１とをつなぐデータＤｅを有している。また、時刻Ｔｒｂの付近の時間は、時刻ｔｂまでデータＤｂを優先するように補正されて、時刻ｔｂ以後はデータＤ２０’の位置に接続されている。

　変形例２Ｂのような補正としてもよい。しかしながら、ポーズの変動量が大きい部分、例えば時刻ｔｃでの位置Ｘｒ４を含む部分などが気になる場合には、さらに、以下のような補正としてもよい。

　図２２Ｃは、他の変形例として変形例２Ｃを示す。この変形例２Ｃでは、例えば図２２Ｂと同様の、操作制限を考慮した操作ポーズによる補正を行った後、さらに、追加の補正として、操作ポーズによる置換部分と、それに対する前後の時間の部分とで、接続がより滑らかになるように、言い換えると、ポーズの変化量がなるべく小さくなるように補正する。この補正の考え方は、実施の形態１の変形例での補正と同様であり、各種の処理例が同様に適用できる。

　図２２Ｃの例では、例えば時刻ｔｃと時刻ｔａとでＸ軸方向の変位量Ａ４が閾値以上に大きいとする。この場合に、教示データ生成部１０７は、この変位量Ａ４が低減されるように、統計処理やノイズ除去等の方法を用いて、教示ポーズを補正する。統計処理を用いる場合の一例では、例えば時刻ｔｃの位置Ｘｒ４と時刻ｔａの位置Ｘｒ１との平均値をとり、変化量が大きい時刻ｔｃの位置を、その平均値によって補正、例えば置換する。その場合の補正後の教示ポーズは、データＤｆのようになる。他の例では、時刻ｔａの位置Ｘｒ１もその平均値に置換し、データＤａの直線の傾きを緩やかにしてもよい。ノイズ除去を用いる場合の一例では、変化量が大きい時刻ｔｃの位置を、ノイズとみなし、時刻Ｔｒａおよび時刻ｔａの位置Ｘｒ１と同じになるように、変位しない直線に補正する。その場合の補正後の教示ポーズは、データＤｇのようになる。

　時刻ｍ以降の離脱の動作についても、上述した各種の補正の処理例を同様に適用可能である。

　他の変形例としては、時刻ｍ～ｍ’のような頂点の位置で変位せずに維持される時間について、０または所定の時間以内に短縮するように補正を行うようにしてもよい。補正データの一部としてその頂点の時間を決めておき、その時間になるように補正を行うようにしてもよい。

　［ＧＵＩ画面］
　図２３は、実施の形態２で、ロボット教示装置１が、ユーザである作業者Ｕ１や管理者Ｕ２に対して提供するＧＵＩを含む画面の表示例を示す。図２３の画面は、例えば図２の制御装置１００の教示指示検知部１０５による処理に基づいて、入出力装置１２０の表示装置（図３での出力装置１００６）の表示画面に表示される。図２３の画面は、作業スペース編集画面として構成された例を示している。この画面は、作業スペースの設定・編集を可能とする。この画面は、作業台設定画面部２３０１と、補正データ設定画面部２３０２と、補正データ編集画面部２３０３と、を含んでいる。

　図２３の作業スペース編集画面を用いて、ユーザが制御装置１００に補正データを予め設定することで、実施の形態２のロボット教示方法での処理を実行できる。ユーザである作業者Ｕ１または管理者Ｕ２は、図２３の画面で、作業スペースや、必要な補正データ等を設定でき、それらのデータ・情報を確認できる。作業スペースは、図１のような作業台１０上の空間に対応し、座標系Σｗも設定可能である。ユーザは、図２３の画面で、作業スペースごとに設定を行って、名前を付けて保存でき、保存された設定を読み出して確認すること等ができる。

　作業台設定画面部２３０１は、図１のような作業台１０上に置かれる対象物の種類や配置を定めるためのＧＵＩを有する。対象物は、被操作物である道具や、その道具に係わるホルダなどの関連物である。本例では、作業台設定画面部２３０１に、作業台１０の斜視図において、試験管７のホルダ７１、ピペット８のホルダ８１などが表示されている。ユーザは、例えばマウスのカーソル等を操作することで、作業台１０を見るビューを変えながら、対象物の位置や姿勢などを設定できる。また、作業台設定画面部２３０１で、図４のようなカメラ２０の位置や向きを設定可能としてもよい。

　補正データ設定画面部２３０２は、作業台設定画面部１３０１に設定可能な被操作物を含む対象物（例えば図１９）に対し、前述の図２０のような接近ポーズや離脱ポーズなどの操作ポーズの軌道、または操作制限範囲Ｒ２０等の補正データを設定するためのＧＵＩを有する。本例では、補正データ設定画面部２３０２の下部の領域２３０２ｂにおいて、例えば図２０と同様に座標系ΣｗのＸ－Ｚ面での側面図が表示されている。補正データ設定画面部２３０２で、対象物などの設定の名前やビュー、操作制限範囲Ｒ２０について座標系Σｗの各軸での制限の距離や力、操作ポーズの軌道のファイルなどが設定および確認できる。操作ポーズの軌道は、例えば領域２３０２ｂまたは補正データ編集画面部２３０３で、ユーザがマウスのカーソル等を操作することで設定可能としてもよい。設定された操作ポーズの軌道を領域２３０２ｂまたは補正データ編集画面部２３０３に表示して確認可能としてもよい。補正データ設定画面部２３０２で、教示者Ｕ１の手５やハンド機構６の初期位置、言い換えるとポーズの軌道の初期位置などを設定可能としてもよい。

　補正データ編集画面部２３０３は、補正データ設定画面部２３０２に設定可能な補正データの詳細を、対象のロボット２のハンド機構６の先端、例えば図８のハンド部５２０の指機構５２１のポーズ等の動作として確認および編集可能とするＧＵＩを有する。本例では、補正データ編集画面部２３０３に、補正データ設定画面部２３０２で設定された範囲Ｒ２０および操作ポーズの軌道に対応させて、右側のハンド機構６Ｒのハンド部５２０の指機構５２１によるピペット８の把持または離脱の動作が、アニメーション等として表示される。また、動作は、時系列の時刻を指定することで静止画としても表示できる。

　図示しないが、候補となるロボット２のハンド機構などが複数ある場合には、画面で対象の機構を設定可能としてもよい。また、実施の形態２のシステムにより生成された教示データの内容について、図示しないが、例えば図１８と同様の画面で表示して確認可能である。

　図示しないが、前述の操作制限を考慮した補正や、追加の補正に係わり、判定用の閾値などを用いる場合には、画面内にその閾値などの設定情報も表示でき、ユーザによるその設定情報の確認やユーザ設定を可能とする。また、前述の各変形例のような、複数の補正方法を実装してもよく、その場合、画面で複数の補正方法からユーザが適用する補正方法を選択して設定可能としてもよい。

　［実施の形態２の効果等］
　以上説明したように、実施の形態２によれば、実施の形態１の効果に加え、以下を奏する。実施の形態２では、ロボット２の把持機構の形状や被把持物の形状に応じて、人である教示者Ｕ１の作業動作時とロボット２の作業動作時とで異なる手先のポーズを取りうる場合に、通常作業動作の実演から、操作制限を考慮した補正を行うことで、より容易に適切な教示ポーズを生成することができる。

　以上、本開示の実施の形態について具体的に説明したが、前述の実施の形態に限定されず、要旨を逸脱しない範囲で種々変更可能である。各実施の形態は、必須構成要素を除き、構成要素の追加・削除・置換などが可能である。特に限定しない場合、各構成要素は、単数でも複数でもよい。各実施の形態や変形例を組み合わせた形態も可能である。

　［付記］
　実施の形態のロボット教示方法は以下としてもよい。実施の形態のロボット教示方法は、作業台座標系と、被操作物に設置された第１マーカーのポーズの座標系と、教示者の手に設置された第２マーカーのポーズの座標系と、ロボットのハンド機構の座標系との関係に基づいて、座標変換により、作業台座標系で表現された教示ポーズを算出するステップを有する。

　１…ロボット教示装置（ロボット教示システム）、２…ロボット、３（３ａ，３ｂ，３ｐ）…マーカー（マーカープレート、手側マーカー、第１マーカー）、４（４Ｌ，４Ｒ）…マーカー（マーカープレート、道具側マーカー、第２マーカー）、５（５Ｌ，５Ｒ）…手、６（６Ｌ，６Ｒ）…ハンド機構、７（７ａ，７ｂ）…試験管（第１の道具）、８…ピペット（第２の道具、マイクロピペット）、Ｕ１…教示者（作業者、第１ユーザ）、Ｕ２…管理者（第２ユーザ）、９…エンドエフェクタ、１０…作業台、２０（２０ａ，２０ｂ，２０ｃ，２０ｄ）…カメラ、１００…制御装置（ロボット教示制御装置）、Ｄ１，Ｄ２，Ｄ１１，Ｄ１２，Ｄ２０，Ｄ２１，Ｄ３０，Ｄ３１，Ｄ３２，Ｄ４０，Ｄ４１，Ｄ４２…データ。

Claims

　教示者の手による被操作物の操作を含む作業動作の計測に基づいて、前記作業動作に対応させたロボットのハンド機構の動作として関節変位のシーケンスを含むロボット動作データを生成するための教示を行うロボット教示方法であって、
　コンピュータシステムにより実行されるステップとして、
　前記作業動作の際の前記被操作物の位置および姿勢から成る時系列のポーズを計測した第１計測ポーズを取得するステップと、
　前記作業動作の際の前記教示者の手の位置および姿勢から成る時系列のポーズを計測した第２計測ポーズを取得するステップと、
　前記教示者による前記被操作物の前記操作を検知するステップと、
　前記第１計測ポーズ、前記第２計測ポーズ、および検知された前記操作に基づいて、前記ロボット動作データを生成するための教示ポーズを生成するステップと、
　を有する、ロボット教示方法。
　請求項１記載のロボット教示方法において、
　前記教示ポーズを生成するステップは、
　　前記被操作物の前記第１計測ポーズに対する前記手による前記第２計測ポーズの誤差として差分データを取得するステップと、
　　前記差分データを用いて、前記誤差を低減するように、前記第１計測ポーズおよび前記第２計測ポーズにおける前記操作の付近の計測データを補正することで、前記教示データを生成するステップと、
　を有する、ロボット教示方法。
　請求項１または２に記載のロボット教示方法において、
　前記教示ポーズを生成するステップは、
　　設定された補正データとして、前記ロボットの前記ハンド機構が前記被操作物に対して前記操作を行う際の操作ポーズに関する操作制限を表す補正データを取得するステップと、
　　前記補正データを用いて、前記操作制限を満たすように、前記第１計測ポーズおよび前記第２計測ポーズにおける前記操作の付近の計測データを補正することで、前記教示データを生成するステップと、
　を有する、ロボット教示方法。
　請求項１記載のロボット教示方法において、
　前記第１計測ポーズを取得するステップは、前記被操作物に設置された第１マーカーの位置および姿勢から成る時系列のポーズを計測するステップであり、
　前記第２計測ポーズを取得するステップは、前記教示者の手に設置された第２マーカーの位置および姿勢から成る時系列のポーズを計測するステップであり、
　前記第１マーカーおよび前記第２マーカーは、それぞれのマーカー毎に固有に、複数個の反射マーカーによる配置パターンを有するマーカープレートであり、
　カメラによって前記第１マーカーおよび前記第２マーカーが計測される、
　ロボット教示方法。
　請求項１記載のロボット教示方法において、
　前記教示者による前記被操作物の前記操作を検知するステップは、前記教示者が指示用入力装置を用いて入力した前記操作を表す操作指示を検知するステップ、または、前記第１計測ポーズおよび前記第２計測ポーズに基づいて前記操作を自動的に判定することで検知するステップである、
　ロボット教示方法。
　請求項２記載のロボット教示方法において、
　前記教示データを生成するステップは、
　　検知された前記操作のタイミングに対応した時刻での前記差分データを取得するステップと、
　　検知された前記操作のタイミングに対応した時刻から、設定された物理量に対応して決められた時間範囲で、過去の時刻まで遡り、前記時間範囲内で、前記誤差を低減する補正を行うステップと、
　を有する、ロボット教示方法。
　請求項２記載のロボット教示方法において、
　前記教示データを生成するステップは、前記操作が検知された付近の計測データにおいて、前記誤差を低減する補正を行った後のデータに対し、時間的に前後のデータとの変化量が予め設定した規定値を満足しない場合に、前記規定値を満足したいデータ部分を、統計処理またはノイズ除去処理によって、追加補正するステップを有する、
　ロボット教示方法。
　請求項６記載のロボット教示方法において、
　前記時間範囲内で前記誤差を低減する補正を行うステップは、前記時間範囲内で、補正前の計測データを、統計処理またはノイズ除去処理によって、補正するステップである、
　ロボット教示方法。
　請求項３記載のロボット教示方法において、
　前記操作制限は、前記被操作物の構造と、前記ロボットの前記ハンド機構の前記被操作物を操作するための構造とに応じて決められ、前記被操作物の付近で空間座標系の各軸での前記ハンド機構の移動の方向および距離に関する制限範囲を含む、
　ロボット教示方法。
　請求項３記載のロボット教示方法において、
　前記操作制限は、前記ロボットの前記ハンド機構が作業台上の前記被操作物に接近して前記操作を行う際のポーズと、前記ロボットの前記ハンド機構が前記作業台上の前記被操作物の前記操作を行った後に離脱する際のポーズとの少なくとも一方の操作ポーズに関する制限範囲を含む、
　ロボット教示方法。
　請求項３記載のロボット教示方法において、
　前記操作制限を満たすように補正するステップは、前記第１計測ポーズおよび前記第２計測ポーズにおける前記操作の付近の一部の計測データを、前記操作ポーズによって、置換するステップを有する、
　ロボット教示方法。
　請求項３記載のロボット教示方法において、
　前記操作制限を満たすように補正するステップは、
　　前記第１計測ポーズおよび前記第２計測ポーズにおける前記操作制限の範囲の境界に達する時刻を取得するステップと、
　　前記操作ポーズを用いて、前記第１計測ポーズおよび前記第２計測ポーズにおける前記操作が検知されたタイミングに対応した時刻の計測データと、前記操作制限の範囲の境界の時刻の計測データとを接続するように補正するステップと、
　を有する、ロボット教示方法。
　請求項３記載のロボット教示方法において、
　前記操作制限を満たすように補正するステップは、
　　前記第１計測ポーズおよび前記第２計測ポーズにおける前記操作制限の範囲の境界に達する時刻を取得するステップと、
　　前記第１計測ポーズおよび前記第２計測ポーズにおける前記操作ポーズによって補正した部分に対し、時間的に前後の計測データの部分について、統計処理またはノイズ除去処理によって、追加補正するステップと、
　を有する、ロボット教示方法。
　請求項１記載のロボット教示方法において、
　前記第１マーカーは、前記被操作物に前記第１マーカーを装着して前記被操作物とのポーズの関係を保つための第１アタッチメントを備え、
　前記第２マーカーは、前記教示者の手に前記第２マーカーを装着して前記手とのポーズの関係を保つための第２アタッチメントを備え、
　前記ロボットの前記ハンド機構による前記被操作物の前記操作は、前記第１アタッチメントの箇所に対する操作である、
　ロボット教示方法。
　教示者の手による被操作物の操作を含む作業動作の計測に基づいて、前記作業動作に対応させたロボットのハンド機構の動作として関節変位のシーケンスを含むロボット動作データを生成するための教示を行うロボット教示装置であって、
　コンピュータシステムを備え、
　前記コンピュータシステムは、
　前記作業動作の際の前記被操作物の位置および姿勢から成る時系列のポーズを計測した第１計測ポーズを取得し、
　前記作業動作の際の前記教示者の手の位置および姿勢から成る時系列のポーズを計測した第２計測ポーズを取得し、
　前記教示者による前記被操作物の前記操作を検知し、
　前記第１計測ポーズ、前記第２計測ポーズ、および検知された前記操作に基づいて、前記ロボット動作データを生成するための教示ポーズを生成する、
　ロボット教示装置。