JP7386451B2 - 教示システム、教示方法及び教示プログラム - Google Patents

Description

本発明は、ロボットが実行する処理を教示する教示システム、教示方法及び教示プログラムに関する。

従来、ロボットに所定の作業を実行させるにあたって、様々なティーチングの手法が行われている。特許文献１には、ロボットの教示操作を行う教示装置であって、教示点の修正をハンドガイドまたはジョグ送りで修正する手法が開示されている。また、特許文献２には、拡張現実対応ディスプレイを用いて、実映像にロボットの状態や操作ガイドに関する情報をロボットの使用者に提供する技術が開示されている。また、特許文献３には、ロボットの動作プログラムをユーザが作成し、その動作に従った動作を仮想空間上のロボットに実行させて動作確認を行うことが開示されている。

特開２０１９－０９３４９１号公報 特開２０１６－１０７３７９号公報 特開２０１４－１８０７０７号公報

ところで、通常ロボットに対する教示においては、一般的には、上記特許文献１のように実際にユーザがロボットを動かさなければならないという煩雑さや、上記特許文献３のように、動作プログラムを作成するにあたって、専門的知識が必要になるという問題がある。しかしながら、今後、このようなロボットを一般のユーザにも簡単に操作でき、ロボットに対して実行すべき指示を出せるようなシステムが望まれている。

そこで、本発明は上記要望に鑑みて成されたものであり、専門知識がなくとも、ロボットが実行すべき処理を感覚的に教示することができる教示システム、教示方法、及び、教示プログラムを提供することを目的とする。

上記課題を解決するために、本発明に係る教示システムは、画像を表示する表示部と、ユーザの視野方向を撮像する撮像部と、表示部に表示する、仮想的なロボットと、撮像部により撮像された撮像映像とを合成した合成映像を生成する画像生成部と、画像生成部により生成された映像からユーザの手による仮想的なロボットに対する操作を検出する検出部と、検出部により検出された操作に基づき実際のロボットの動作命令を生成する命令生成部と、動作命令を実際のロボットに送信する送信部とを備える。

また、本発明の一態様に係る教示方法は、教示システムが実行するロボットへの教示方法であって、画像を表示する表示ステップと、ユーザの視野方向を撮像する撮像ステップと、表示ステップにおいて表示する、仮想的なロボットと、撮像ステップにより撮像された撮像映像とを合成した合成映像を生成する画像生成ステップと、画像生成ステップにより生成された映像からユーザの手による仮想的なロボットに対する操作を検出する検出ステップと、検出ステップにより検出された操作に基づき実際のロボットの動作命令を生成する命令生成ステップと、動作命令を実際のロボットに送信する送信ステップとを含む。

また、本発明の一態様に係る教示プログラムは、教示システムのコンピュータに、画像を表示する表示機能と、ユーザの視野方向を撮像する撮像機能と、表示機能が表示する、仮想的なロボットと、撮像機能により撮像された撮像映像とを合成した合成映像を生成する画像生成機能と、画像生成機能により生成された映像からユーザの手による仮想的なロボットに対する操作を検出する検出機能と、検出機能により検出された操作に基づき実際のロボットの動作命令を生成する命令生成機能と、動作命令を実際のロボットに送信する送信機能とを実現させる。

上記教示システムにおいて、ロボットは、物品を把持する把持部を有し、画像生成部は、更に、仮想的な物品を合成した合成映像を生成し、検出部は、ユーザが仮想的なロボットの把持部を操作して把持させた物品を特定するとともに、把持部に物品をリリースさせた場所または対象を特定し、命令生成部は、実際のロボットに対して、検出部が特定した物品を、場所又は対象まで運搬させる動作命令を生成することとしてもよい。

上記教示システムにおいて、ロボットは、自立移動可能なロボットであり、検出部は、ユーザが仮想的なロボットを合成映像内を移動させた移動経路を検出し、命令生成部は、実際のロボットに対して、検出部が特定した移動経路上を移動する動作命令を生成することとしてもよい。

上記教示システムにおいて、撮像部は、実際のロボットを含む映像を撮像映像として撮像し、合成映像は、仮想的なロボットを、撮影映像中の実際のロボットに対して重畳した合成映像を生成することとしてもよい。

上記教示システムにおいて、ロボットは、７軸ロボットであることとしてもよい。

本発明の一態様に係る教示システムは、仮想上のロボットに対するユーザからの感覚的な入力を解釈して、実際のロボットが実行すべき処理に対する教示命令を生成して出力することができる。したがって、実際のロボットを動かす煩雑さやロボットを動作させるための専門的知識がなくとも、ロボットに対する教示を実行することができる。

教示システムの構成例を示す概要図である。 教示システムに係る各装置の構成例を示すブロック図である。 オブジェクトの管理表の構成例を示すデータ概念図である。 映像の表示画面の一例であり、ユーザによるロボットの操作例を示す画面図である。 図４に続く映像の表示画面の一例であり、ユーザによるロボットの操作例を示す画面図である。 図５に続く映像の表示画面の一例であり、ユーザによるロボットの操作例を示す画面図である。 図６に続く映像の表示画面の一例であり、ユーザによるロボットの操作例を示す画面図である。 図７に続く映像の表示画面の一例であり、ユーザによるロボットの操作例を示す画面図である。 教示システムに係る各装置間のやり取りを示すシーケンス図である。 ヘッドマウントディスプレイの動作例を示すフローチャートである。 情報処理装置の動作例を示すフローチャートである。 ロボットの動作例を示すフローチャートである。 他のロボットを操作する際の例を示す画面図である。

以下、本発明の一実施態様に係る教示システムについて、図面を参照しながら詳細に説明する。

＜実施の形態＞
＜概要＞
図１は、本発明に係る教示システム１の概要を示す概要図である。図１に示すように、教示システム１には、情報処理装置１２０と、情報処理装置１２０から提供される映像を視聴可能なヘッドマウントディスプレイ１１０と、ロボット２００とを含む。情報処理装置１２０は、ヘッドマウントディスプレイ１１０を装着したユーザ１０に、仮想空間上のロボット２００と、ゴミ箱２０と、ペットボトル３０とを含む映像を表示する。当該映像は、ＡＲ（Augumented Reality）映像であってもよいし、ＶＲ（Virtual Reality）映像であってもよいし、ＭＲ（Mixed Reality）映像であってもよい。ヘッドマウントディスプレイ１１０には撮像部（カメラ）が搭載され、その撮像部から得られた映像を情報処理装置１２０に送信する。ユーザ１０は、視界内に存在する仮想ロボットに対して自身の指で操作するようにして、ＡＲ映像としてのロボットを操作する。この操作は撮像部が撮像した映像内に、ユーザの手が含まれ、その形状が予め定めた動作をしている場合にロボットに対する操作として検出する。例えば、ユーザは仮想ロボットのハンドを操作して、ペットボトル３０を把持させ、ゴミ箱２０の位置にまで持ってこさせ、リリースしたとする。情報処理装置１２０は、一連の操作を解析し、ユーザによる指示が「ペットボトルをゴミ箱に捨てる」ことであると解釈する。そして、その解釈にしたがって、実際のロボット２００に対して、「ペットボトルを探索して、指定のゴミ箱に捨てろ」という内容の教示命令を生成して、送信する。これにより、ロボットに対するティーチングを簡便かつ容易な教示システム１を提供することができる。

なお、情報処理装置１２０は、他のユーザ１０ａがヘッドマウントディスプレイ１１０ａを装着することでユーザ１０ａの位置から視聴可能な角度で、ユーザ１０が視聴している映像と同様の映像を提供することとしてもよい。以下、詳細に説明する。

＜構成＞
図２は、教示システム１に係る各装置の機能構成の一例を示すブロック図である。図２に示すように教示システム１は、ヘッドマウントディスプレイ１１０と、情報処理装置１２０と、ロボット２００とを含む。ヘッドマウントディスプレイ１１０と情報処理装置１２０とは互いに通信可能に接続され、同様に情報処理装置１２０とロボット２００も互いに通信可能に接続されている。これらの接続は、無線接続であってもよいし、有線接続であってもよい。

図２に示すように、ヘッドマウントディスプレイ１１０は、通信部１１１と、記憶部１１２と、制御部１１３と、撮像部１１４と、表示部１１５とを備える。ヘッドマウントディスプレイ１１０は、ユーザに映像を提供する機能と、撮像する機能とを備えていれば、ヘッドマウントディスプレイ以外の機器によって実現されてよく、一例として、ウェアラブルグラスなどにより実現されてもよい。また、ユーザ視点の映像を撮像できるカメラだけをユーザの頭部等に装着し、映像はプロジェクタなどにより提供される構成としてもよい。

通信部１１１は、情報処理装置１２０と通信するための通信インターフェースである。通信部１１１は、情報処理装置１２０と通信ができれば、有線及び無線のいずれで通信を実行してもよく、また、通信プロトコルもいずれを用いてもよい。通信部１１１は、情報処理装置１２０からＡＲ映像やＶＲ映像、ＭＲ映像を受信し、制御部１１３に伝達したり、制御部１１３からの指示に従って、撮像部１１４が撮像した映像を情報処理装置１２０に送信したりする。

記憶部１１２は、ヘッドマウントディスプレイ１１０が動作上必要とする各種プログラム及びデータを記憶する機能を有する記憶媒体である。記憶部１１２は、例えば、HDD、SSD、フラッシュメモリなどにより実現することができるが、この限りではない。記憶部１１２は、情報処理装置１２０から提供された映像を表示するためのプログラムや、ＡＲ映像やＶＲ映像、ＭＲ映像のデータそのものを記憶していてもよい。

制御部１１３は、ヘッドマウントディスプレイ１１０の各部を制御する機能を有するプロセッサである。制御部１１３は、記憶部１１２に記憶されている動作プログラムを実行することにより、ヘッドマウントディスプレイ１１０の各部を制御する。制御部１１３は、例えば、通信部１１１から伝達されたＡＲ（ＶＲ、ＭＲ）映像を表示部１１５に表示させたり、撮像部１１４が撮像した映像を通信部１１１から情報処理装置１２０に送信させたりする。

撮像部１１４は、いわゆるカメラであり、特にユーザの正面方向（ユーザの視界）を撮像可能に配置されている。撮像部１１４は、撮像して得られた映像を、通信部１１１に伝達する。撮像部１１４により撮像された撮像映像は、逐次リアルタイムで情報処理装置１２０に送信されるが、この限りではなく、一定の時間長を有する撮像映像が得られてから、あるいは、撮像が終了してから得られた撮像映像を送信するようにしてもよい。

表示部１１５は、制御部１１３からの指示に従って、情報処理装置１２０から提供されたＡＲ（ＶＲ、ＭＲ）映像を表示する。表示部１１５は、例えば、液晶モニタや有機ＥＬディスプレイなどにより実現することができる。

以上がヘッドマウントディスプレイの構成である。次に、情報処理装置１２０について説明する。

図２に示すように、情報処理装置１２０は、通信部１２１と、記憶部１２２と、制御部１２３とを備える。情報処理装置１２０は、ヘッドマウントディスプレイ１１０に映像を提供するとともに、ロボット２００に対する命令を生成して送信するサーバ、コンピュータシステムなどである。

通信部１２１は、ヘッドマウントディスプレイ１１０やロボット２００と通信するための通信インターフェースである。通信部１２１は、ヘッドマウントディスプレイ１１０やロボット２００と通信ができれば、有線及び無線のいずれで通信を実行してもよく、また、通信プロトコルもいずれを用いてもよい。通信部１２１は、ヘッドマウントディスプレイ１１０に対してＡＲ（ＶＲ、ＭＲ）映像を送信したり、ヘッドマウントディスプレイ１１０から撮像部１１４により撮像された撮像映像を受信して制御部１２３に伝達したり、ロボット２００に対して、その動作を規定する教示命令を送信したりする。通信部１２１は、ヘッドマウントディスプレイ１１０と通信するための回路と、ロボット２００と通信するための回路とでそれぞれ別個に構成されてもよいし、共通の通信回路を共用して通信を行うこととしてもよい。また、通信部１２１は、ヘッドマウントディスプレイ１１０やロボット２００以外の機器と通信を行ってもよい。

記憶部１２２は、情報処理装置１２０が動作上必要とする各種プログラム及びデータを記憶する機能を有する記憶媒体である。記憶部１２２は、例えば、HDD、SSD、フラッシュメモリなどにより実現することができるが、この限りではない。記憶部１１２は、ヘッドマウントディスプレイ１００から提供された撮像映像からユーザによるロボットに対する指示内容を解析するための解析プログラムや、解析結果に基づいてロボットに対する教示命令を生成する教示命令生成プログラムを記憶していてもよい。

制御部１２３は、情報処理装置１２０の各部を制御する機能を有するプロセッサである。制御部１２３は、記憶部１２２に記憶されている動作プログラムを実行することにより、情報処理装置１２０の各部を制御する。

制御部１２３は、ヘッドマウントディスプレイ１１０から送信された撮像映像を解析する解析部として機能する。具体的には、制御部１２３は、制御部１２３が生成した映像に含まれる各オブジェクト（ロボット、ペットボトル、ゴミ箱）に対して、ユーザが何らかの操作を加えたか否かを解析する。制御部１２３は、ヘッドマウントディスプレイ１１０から送信された撮像映像の中にユーザの手指が含まれるか否かを解析する。これは、既存の画像解析技術により実現できるが、一例として、パターンマッチング等を利用することにより実現することができる。そして、ユーザの手指が含まれる場合に、その手指がどのような所作をしているかを解析する。また、ユーザの視界において、その手指が何を操作の対象としているのかを解析する。即ち、撮像映像中のユーザの手指の位置と、その位置に対して存在するオブジェクトを特定する。したがって、制御部１２３は、撮像映像を解析して、ユーザ１０が、どの対象（オブジェクト）に対して、何の操作をしたのかを解析する。

制御部１２３は、撮像映像を解析した結果から、ユーザ１０が、ロボットに何をさせたいのかを解釈する。そして、制御部１２３は、その解釈にしたがって、実際のロボット２００に対する教示命令を生成する生成部として機能する。ここでいう教示命令とは、何を、どこに、どうする、という内容が含まれる命令であってよい。制御部１２３は、生成した教示命令を、通信部１２１を介して、実際のロボット２００に送信する。

また、制御部１２３は、撮像映像の解析結果から次のＡＲ映像またはＶＲ映像またはＭＲ映像を生成する生成部として機能する。制御部１２３は、解析結果から提供しているオブジェクトに対してユーザ１０により何らかの操作が加えられた場合には、その操作後の状態を含むＡＲ映像またはＶＲ映像を生成する。ＡＲ（ＭＲ）映像の場合は、ヘッドマウントディスプレイ１１０から受信した撮像映像に対して、ヘッドマウントディスプレイ１１０の位置に応じた態様でのＡＲ（ＭＲ）映像を合成することで、ＡＲ（ＭＲ）映像を生成する。そして、制御部１２３は、生成した映像を、通信部１２１を介して、ヘッドマウントディスプレイ１１０に送信する。なお、このとき、制御部１２３は、撮像映像中に、生成するオブジェクトの実物が含まれる場合には、その実物に重畳するように、仮想のオブジェクトのＡＲ映像を生成することとしてもよい。

以上が、情報処理装置１２０の説明である。次に、ロボット２００について説明する。

図２に示すように、ロボット２００は、通信部２０１と、記憶部２０２と、制御部２０３と、駆動部２０４と、検出部２０５とを備える。ロボット２００は、通信機能を備え、用途として必要とされる機能を実行できるロボットであれば、どのようなロボットであってもよい。ロボット２００は、一例として、７軸ロボットであってよい。７軸ロボットは、回転軸を７個有する多関節のロボットであり、各軸の端部が連接することによってロボットアームとして形成され、一例として物品の運搬を実行したり、工場等での所定の工程を実行したりする。なお、ロボット２００は、７軸ロボットに限定するものではなく、他の形態のロボット、例えば、６軸ロボットや５軸ロボットなどであってもよいし、あるいは、所定のアルゴリズムや指示に従って移動する移動ロボットや案内ロボットであってもよいし、ユーザ等の人間とコミュニケーションを交わすコミュニケーションロボットなどであってもよい。

通信部２０１は、情報処理装置１２０と通信するための通信インターフェースである。通信部２０１は、情報処理装置１２０と通信ができれば、有線及び無線のいずれで通信を実行してもよく、また、通信プロトコルもいずれを用いてもよい。通信部２０１は、情報処理装置１２０から、教示命令を受信して、制御部２０３に伝達する。また、通信部２０１は、制御部２０３からの指示に従って、自装置（ロボット２００）の各部の動作状態やセンサ等を利用して収集したセンシングデータを情報処理装置１２０に送信することとしてもよい。

記憶部２０２は、ロボット２００が動作上必要とする各種プログラム及びデータを記憶する機能を有する記憶媒体である。記憶部２０２は、例えば、HDD、SSD、フラッシュメモリなどにより実現することができるが、この限りではない。記憶部２０２は、情報処理装置１２０から指示された教示命令や、その教示命令を解釈してその命令内容を実行する実行プログラムを記憶していてもよい。また、動作上必要とするパターンマッチング等に用いる参照データなども保持していてもよい。

制御部２０３は、ロボット２００の各部を制御する機能を有するプロセッサである。制御部２０３は、記憶部２０２に記憶されているプログラムを実行することにより、ロボット２００の各部を制御する。制御部２０３は、予め定められた基準に従って、ロボット２００を動作させることとしてよい。また、制御部２０３は、教示命令を受け付けた場合に、その教示命令に従って、検出部２０５が検出した状況に応じた動作を実行する。例えば、教示命令が、「ペットボトルを青いゴミ箱に捨てろ」というものであった場合に、検出部２０５が取得した周囲の画像を解析して、ペットボトルがあるか否か、そして、ゴミ箱がどこにあるかを特定する。そして、ペットボトルがあった場合に、ペットボトルを把持させ、ゴミ箱２０の位置まで移動させるように、駆動部２０４を駆動させてロボット２００を制御する。

また、制御部２０３は、情報処理装置１２０やリモートコントローラによりユーザから直接指示を受け付けた場合に、その指示に従ってロボット２００を動作させることとしてもよい。

駆動部２０４は、ロボット２００の各部を駆動させる機能を有する。ロボット２００が７軸ロボットの場合であれば、駆動部２０４は、各軸を回動させるモータにより実現され、制御部２０３からの指示に従って駆動する。また、ロボット２００が移動ロボットの場合で車輪により移動する場合には、その車輪を回転させるモータにより実現され、制御部２０３からの指示に従って駆動する。

検出部２０５は、ロボット２００が自装置の周囲の情報や自装置の状態を検出する機能を有する。検出部２０５は、各種のセンサにより実現することができる。センサとしては、例えば、他の物体までの距離を測定可能な距離センサ（例えば、超音波センサ）、人を検知できる人センサ（例えば、赤外線センサ）、所定の方向（例えば、７軸ロボットの場合であれば、先端の向いている方向、移動ロボットの場合であれば進行方向）の画像を取得可能なイメージセンサなどにより実現することができる。どのようなセンサを用いるかは、ロボット２００として果たすべき機能に応じて、選択されて、搭載される。
以上がロボット２００の構成である。

＜データ＞
図３は、情報処理装置１２０が保持するデータであって、各オブジェクトを管理するためのオブジェクトデータの管理表３００の構成例を示すデータ概念図である。図３に示すように、オブジェクトデータの管理表３００は、物体ＩＤ３０１と、座標３０２と、属性情報３０３とが対応付けられた情報である。

物体ＩＤ３０１は、ＡＲ映像もしくはＶＲ映像として、ユーザに提供する映像の中で存在させるオブジェクト各々を識別するための識別情報である。物体ＩＤ３０１は、例えば、ロボット２００やペットボトル３０などを仮想空間（拡張現実空間を含む）上に存在させる場合に、情報処理装置１２０もしくはそのオペレータが付与することとしてもよい。

座標３０２は、対応する物体ＩＤ３０１で示されるオブジェクトが、仮想空間上のどの位置に存在するかを示す情報である。座標３０２は、オブジェクトの特定の一点（例えば、中心点）の座標位置を示すものであってもよいし、オブジェクトの複数の特徴点各々の座標位置を示すものであってもよいし、オブジェクトが存在する座標範囲を示すものであってもよい。座標３０２は、実際のロボット２００を存在させる現実空間の座標位置にリンクさせる。ここで、座標をリンクさせるとは、オブジェクト各々の位置や部屋の壁の位置などの対応関係をとることをいう。このとき、この対応が取れていれば、仮想物体であるオブジェクト等を規定する座標の座標系と、現実空間の座標系とは縮尺が異なってもよい。

座標３０２は、ユーザ１０により対応する物体ＩＤ３０１で示されるオブジェクトが操作されて移動させられた場合に、制御部１２３によって、移動後の座標位置に修正される。

属性情報３０３は、対応する物体ＩＤ３０１で示されるオブジェクトの属性を示す情報である。属性とは、オブジェクトの性質を示す情報であり、形状、色、そのオブジェクトが何であるか、状態などを示す情報であるがこれらに限定するものではない。オブジェクトを特徴付ける情報であれば、その他の情報であってもよい。

図３によれば、物体ＩＤ３０１が「Ｂ０１１」であるオブジェクトは、座標（Ｘ１、Ｙ１、Ｚ１）に位置し、その属性情報３０３から、円筒形で青色のペットボトルであることが理解できる。なお、これがロボット２００であれば、ロボット２００を構成する各アーム毎に、その位置や形状が特定されてもよいし、一つの情報として属性情報３０３において、各軸の位置や各軸を駆動させる駆動部２０４（モータ）の軸角度（回動角、回転角と呼称してもよい）などの情報が定義されることとしてもよい。

なお、図３には図示していないが、その他に、各物体ＩＤ（オブジェクト）に対しては、さらに、実際に映像として用いる表示用データなども対応付けられていてもよい。

＜操作具体例＞
ここから、図４～図８を用いて、実際の操作の具体例を説明する。図４は、情報処理装置１２０から、ヘッドマウントディスプレイ１１０に提供される映像であって、ヘッドマウントディスプレイ１１０に表示される映像の一例である。図４は、図１におけるユーザ１０が視認可能な映像の一例でもある。

図４は、まず、最初に、ヘッドマウントディスプレイ１１０の撮像部１１４により撮像された映像に基づいて情報処理装置１２０により生成されたＡＲ映像が、ヘッドマウントディスプレイ１１０の表示部１１５に表示された表示画面４００を示している。

図４に示すように表示画面４００には、ロボット２００ａと、ゴミ箱２０と、ペットボトル３０が３本表示された状態を示している。これらのオブジェクトのうち、少なくともロボット２００ａと、ペットボトル３０は、仮想的なものであり、情報処理装置１２０により生成された仮想データである。一方、ゴミ箱２０は、撮像部１１４により撮像された実際のものであってもよいし、情報処理装置１２０により生成された仮想データであってもよい。また、図４には図示していないが、ロボット２００ａについては、実際にその位置にロボット２００の実物を配置し、配置したロボット２００を撮像した撮像映像に重畳させた態様で、仮想上のロボット２００ａを表示する態様としてよい。

図４に示すような状況下で、ユーザ１０は、ロボット２００ａに対して操作を行う。例えば、一例として、図５に示すように、ユーザ１０は、自身の指５０１で、ロボット２００ａに対する操作を行う。図５は、図４に示した表示画面４００に続く光景であって、ヘッドマウントディスプレイ１１０の表示部１１５に表示される表示画面５００の一例を示す図である。図５に示されるように、表示画面５００では、ユーザ１０の指５０１で、ロボット２００ａの先端部２０１ａをつまむ（保持）するようにしていることが理解できる。これは、実際のロボット２００を指でつかんでいるわけではなく、情報処理装置１２０が提供する映像の中で、ユーザ自身の指５０１で、仮想上のロボット２００ａをつまんだように見えるように指を動かすことを意味している。情報処理装置１２０は、撮像部１１４による撮像映像から、ユーザの指が所定の動き（ここでは、２本の指で、ロボット２００ａの先端部２０１ａを挟み込むという動き）を検出して、ユーザにより、ロボット２００ａの先端が把持されたという解釈を行い、以降、ユーザの動きに応じて、ロボット２００ａを動かすように、ＡＲ映像を生成する。

図６は、そのようにして、ロボット２００ａを動かした後の、表示画面６００を示している。図６に示すように、ユーザ１０は、自身の指５０１で、先端部２０１ａを挟んだ状態を維持した状態で、手を動かすことで、ロボット２００ａを仮想的に動かすことができる。図６は、図５に示す表示画面５００に続く表示画面６００を示している。図６には、先端部２０１ａをペットボトル３０ａの位置まで移動させた状態を示している。

ここで、ユーザ１０は、ロボット２００ａの先端部２０１ａの把持部にペットボトル３０ａを把持させたいとする。そこで、一例として、図６に示す状態を所定時間維持することで、先端部２０１ａの把持部にペットボトル３０ａを把持させた状態にすることができる。またあるいは、図示はしていないが、ユーザ１０が指５０１をもう一度つまむ動作をすることで、把持部にペットボトル３０ａを把持させた状態にするように構成してもよい。

ユーザ１０は、把持部にペットボトル３０ａを把持させた状態にすると、その状態でロボット２００ａを動かして、図７に示す表示画面７００に示すように、ゴミ箱２０の上まで先端部２０１ａを移動させる。図７は、図６に示す表示画面６００に続く表示画面７００を示している。図７に示されるように、先端部２０１ａの把持部はペットボトル３０ａを把持した状態の映像が、ユーザ１０のヘッドマウントディスプレイ１１０の表示部１１５に表示される。

そして、図７に示す状態で、ユーザ１０は、例えば、指をロボット２００ａの先端部２０１ａから離すように動かすとする。図８は、図７に示す表示画面７００に続く表示画面８００を示している。図８に示すように、ユーザ１０は、自身の指５０１をロボット２００ａの先端部２０１ａから離すように動かす。図７と図８を比較すれば理解できるように、ユーザ１０が指を先端部２０１ａから離している。情報処理装置１２０は、この動作を示す撮像映像を解析することで、ユーザ１０からの入力として受け付けて、ロボット２００ａの把持部によるペットボトル３０ａの把持状態を解除する。そして、これにより、情報処理装置１２０は、ペットボトル３０ａがゴミ箱２０に落下するという映像をヘッドマウントディスプレイ１１０に提供することになる。

その一方で、情報処理装置１２０は、図４～図８に示すような態様で、ユーザ１０に、仮想的にロボット２００ａを操作させて、ユーザ１０がロボット２００に実行させたい処理を認識することができる。この図４～図８に示す動作をユーザ１０が仮想のロボット２００ａにさせることで、情報処理装置１２０は、一例として、ユーザ１０は、ロボット２００に対して、ペットボトルをゴミ箱に捨てさせる処理を実行したいという解釈をすることができる。そして、この解釈に従って、情報処理装置１２０は、ロボット２００に対して、ペットボトルをゴミ箱に捨てるという教示命令を送信することができ、ロボット２００は、ペットボトルをゴミ箱に捨てるという処理を学習することができる。

＜動作＞
ここから、教示システム１に係る各装置の動作について説明する。まず図９を用いて、教示システム１に係る各装置、即ち、ヘッドマウントディスプレイ１１０と、情報処理装置１２０と、ロボット２００との間のやり取りについて説明する。

図９は、教示システム１に係る各装置の間のやり取りの例を示すシーケンス図である。図９に示すように、ヘッドマウントディスプレイ（ＨＭＤ）１１０は、撮像部１１４が撮像した撮像映像（画像）を情報処理装置１２０に送信する（ステップＳ９０１）。

情報処理装置１２０は、撮像映像を受信すると、その撮像映像に、仮想ロボット２００ａを含むＡＲ映像を生成して、ヘッドマウントディスプレイ１１０に送信する（ステップＳ９０２）。

ヘッドマウントディスプレイ１１０は、受信したＡＲ映像を表示する（ステップＳ９０３）。ヘッドマウントディスプレイ１１０は、ユーザ１０の仮想ロボット２００ａに対する動作（操作）を含む撮像映像を、情報処理装置１２０に送信する（ステップＳ９０４）。

情報処理装置１２０は、受信した撮像映像の内容を解析する（ステップＳ９０５）。そして、解析した内容から、ユーザが実際のロボット２００に実行させたい処理を解釈し、その解釈に従った教示命令を生成する（ステップＳ９０６）。情報処理装置１２０は、生成した教示命令を、ロボット２００に送信する（ステップＳ９０７）。

ロボット２００は、教示命令を受信すると、その教示命令で示される命令を実行する（ステップＳ９０８）。これにより、教示システム１においては、ユーザは、拡張現実あるいは仮想現実で生成された仮想的なロボット２００ａを感覚的に操作するだけで、ロボット２００に実行させた処理を教示することができる。

ここから、図９に示すシーケンスを実現するための各装置の動作例を説明する。図１０は、ヘッドマウントディスプレイ１１０の動作例を示すフローチャートである。

図１０に示すように、制御部１１３からの指示に従って、撮像部１１４は、撮影（撮像）を実行する（ステップＳ１００１）。撮像部１１４は、撮像して得られた画像（もしくは映像。即ち動画）を、制御部１１３に伝達する。制御部１１３は、得られた撮像画像を、通信部１１１を介して、情報処理装置１２０に送信する（ステップＳ１００２）。

ヘッドマウントディスプレイ１１０の通信部１１１は、仮想ロボットを含む映像を受信する。通信部１１１は、受信した映像を制御部１１３に伝達する。そして、制御部１１３は、伝達された映像を、表示部１１５に表示させる（ステップＳ１００３）。これにより、ヘッドマウントディスプレイ１１０は、装着しているユーザ１０に、仮想ロボット２００ａを含むＡＲ映像（もしくはＶＲ映像）を提供することができる。

ヘッドマウントディスプレイ１１０の制御部１１３は、ユーザからの終了入力を受け付けたか否かを判断する（ステップＳ１００４）。ユーザからの終了入力は、例えば、図示しない電源ボタンの押下や、ＡＲ映像またはＶＲ映像の提供の終了入力であるが、これらに限定するものではない。ユーザからの終了入力を受け付けていた場合には（ステップＳ１００４のＹＥＳ）、処理を終了する。ユーザからの終了入力を受け付けていない場合には（ステップＳ１００４のＮＯ）、ヘッドマウントディスプレイ１１０は、ステップＳ１００１の処理に戻って、以降の処理を実行する。

ステップＳ１００１～Ｓ１００３の処理が繰り返されることにより、ヘッドマウントディスプレイ１１０は、操作対象を含むＡＲ映像またはＶＲ映像を表示しつつ、表示された仮想的なオブジェクトに対する入力を行っている様子を撮像した撮像映像を、情報処理装置１２０に送信することができる。

図１１は、図９に示すやり取りを実現するための情報処理装置１２０の動作例を示すフローチャートである。図１１に示すフローチャートは、一度、制御部１２３が生成したＡＲ映像またはＶＲ映像を既に提供している状態から開始している。

図１１に示すように、情報処理装置１２０の通信部１２１は、ヘッドマウントディスプレイ１１０から、ヘッドマウントディスプレイ１１０が撮像した撮像画像を受信する（ステップＳ１１０１）。通信部１２１は、受信した撮像画像を、制御部１２３に伝達する。

制御部１２３は、通信部１２１から撮像画像を伝達されると、撮像画像の内容を解析する（ステップＳ１１０２）。画像の解析には一般的な画像認識技術を用いるとよい。

制御部１２３は、解析した結果から、仮想ロボット２００ａに対する操作があるか否かを判定する（ステップＳ１１０３）。仮想ロボット２００ａに対する操作とは、例えば、一例として、ユーザ１０の指によるロボットの所定の位置の指定であったり、ロボットアームを動かす指示であったり、ロボットが実行可能な特定の処理の実行の指定であったりしてよく、これらは、ユーザの指による特定の動作を検出することにより特定することができる。

仮想ロボット２００ａに対する操作入力があると判定した場合に（ステップＳ１１０３のＹＥＳ）、制御部１２３は、操作後の状態の仮想ロボット２００ａを含む合成画像を生成する（ステップＳ１１０４）。仮想ロボット２００ａに対する操作入力がないと判定した場合に（ステップＳ１１０３のＮＯ）、制御部１２３は、仮想ロボット２００ａの状態を維持した合成画像を生成する（ステップＳ１１０５）。

そして、制御部１２３は生成した合成画像を、通信部１２１を介して、ヘッドマウントディスプレイ１１０に送信する（ステップＳ１１０６）。

制御部１２３は、仮想ロボット２００ａに対する入力が終了したか否かを判定する（ステップＳ１１０７）。制御部１２３は、例えば、情報処理装置１２０に対するユーザからの終了入力を受け付けたり、あるいは、ヘッドマウントディスプレイ１１０に対するユーザ１０からの終了入力を検出したり、撮像映像中において、ユーザの手や指の特定の操作を検出したりすることによって、仮想ロボット２００ａに対する入力が終了したことを判定してよい。

仮想ロボット２００ａに対する入力が終了していないと判定した場合には（ステップＳ１１０７のＮＯ）、ステップＳ１１０１の処理に戻って以降の処理を実行する。仮想ロボット２００ａに対する入力が終了したと判定した場合には（ステップＳ１１０７のＹＥＳ）、制御部１２３は、仮想ロボット２００ａに対するユーザ１０による一連の操作から、ユーザ１０がロボット２００に実行させた処理が何であるかを解釈する。そして、その解釈結果から、ロボット２００に対する動作命令である教示命令を生成する（ステップＳ１１０８）。制御部１２３は、通信部１２１を介して、生成した教示命令を実際のロボット２００に送信し（ステップＳ１１０９）、処理を終了する。

これにより、情報処理装置１２０は、ユーザからの詳細な入力（実際にロボット２００を手で動かしてのティーチングや、時間毎の各駆動軸の細やかな指定によるティーチング）なしで、実際のロボット２００に対する指示を出力することができる。

最後に、図１２は、実際のロボット２００の動作を示すフローチャートである。

図１２に示すように、ロボット２００の通信部２０１は、情報処理装置１２０から教示命令を受信する（ステップＳ１２０１）。通信部２０１は、受信した教示命令を、制御部２０３に伝達する。

制御部２０３は、受信した教示命令を記憶部２０２に記憶する（ステップＳ１２０２）。

制御部２０３は、教示命令の内容を解釈して、実行すべき処理内容を特定する（ステップＳ１２０３）。検出部２０５は、検出した周囲の状況を示すセンシングデータを制御部２０３に伝達する。これにより、制御部２０３は、ロボット２００の周囲の状況を把握する（ステップＳ１２０４）。

制御部２０３は、伝達されたセンシングデータから、教示命令で示される状況に合致するか否かを判定する（Ｓ１２０５）。周囲の状況が教示命令で示される状況に合致すると判定した場合（ステップＳ１２０５のＹＥＳ）、即ち、教示命令を実行すべき状況であると判定した場合に、制御部１２３は、教示命令で示される命令内容を、駆動部２０４を制御して実行し（ステップＳ１２０６）、処理を終了する。

これにより、ロボット２００は、ユーザから詳細な指示なく、感覚的になされた指示に従って生成された教示命令にしたがって、ユーザの望む動作を実行することができる。

＜まとめ＞
従来のロボットに対するティーチングは、実際のロボットを動かしたりする場合には重労働となったり、プログラムによるティーチングであれば高度な専門知識を要求されたりするなど、通常のユーザには困難を伴うものがあった。これに対して、本実施の形態に係る教示システム１によれば、仮想上のロボットに対する間隔的な操作で、実際のロボットに対して実行すべき処理を教示することができるので、従来よりも、簡易かつ感覚的にロボットのティーチングを実行できる。したがって、本実施の形態に係る情報処理装置１２０及び情報処理装置１２０を含む教示システム１は、ロボットのティーチングの利便性の向上を促すことができる。

＜変形例＞
上記実施の形態に係る各装置は、上記実施の形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。

（１）上記実施の形態においては、情報処理装置１２０と、ヘッドマウントディスプレイ１１０とを別個の装置として説明したが、これはその限りではない。ヘッドマウントディスプレイ１１０と情報処理装置１２０と一体に形成されてもよい。即ち、ヘッドマウントディスプレイ１１０は、情報処理装置１２０が保持する全ての機能を保持していてもよい。

また、ヘッドマウントディスプレイ１１０は、情報処理装置１２０の一部の機能（例えば、映像を生成する機能）を備えることとしてもよい。この場合、ヘッドマウントディスプレイ１１０の制御部１１３は、撮像部１１４で撮像した撮像映像に基づいて、ユーザ１０が実行している操作内容を解析して、映像を生成し、表示部１１５に表示させる。その一方で、制御部１１３は、通信部１１１を介して撮像映像を情報処理装置１２０に送信し、情報処理装置１２０の制御部１２３は、その撮像映像から、ユーザ１０がロボットに実行させたい処理内容を解釈して教示命令を生成するようにしてよい。

（２）上記実施の形態においては、ロボット２００ａの先端部２０１ａを動作させる例を示したが、ロボット２００ａに対する操作は、その先端部２０１ａに対する操作だけに限るものではない。例えば、ロボット２００ａを構成する複数の関節のうちのいずれかを１つの指（例えば、人差し指）で指示した状態で、他の２本の指（例えば、親指と中指）で１つの指の周りを回転させることで、関節の回転を指示する操作としてもよい。同様に、関節ではなくロボットを構成する軸のいずれかを指定して、同様の操作で軸の回転を指示する操作としてもよい。

（３）上記実施の形態においては、一具体例としてロボットの７軸ロボットにより物品の把持、運搬を教示する例を示したが、上述の通り、ロボットは７軸ロボットに限定するものではなく、また、実行する作業も把持、運搬作業に限定するものではない。図１３には、ロボット２００の他の例として、所謂、自動掃除ロボットを用いる例を示している。

図１３は、ユーザ１０ａが視認している映像であって、ヘッドマウントディスプレイ１１０の表示部１１５に表示された映像を示している。ここでは、ロボット２００の一例として、自動掃除ロボット２００ｂを用いる例を示している。自動掃除ロボット２００ｂは、自身のセンサで周囲の環境を確認して、移動経路を自動生成する機能を有するものがあるが、生成された移動経路での清掃は効率が悪い場合がある。そこで、教示システム１を利用して、ユーザが移動経路を指定することができる。図１３の例では、点線で示される位置にあるロボット２００ｂをユーザが自身の指１３０１で所定時間指し示す。このとき、ユーザは、実際のロボット２００に触れている必要はなく、仮想上のロボット２００ｂに触れているように見える状態であればよい。情報処理装置１２０は、ロボット２００ｂに対してユーザが所定時間以上触れていることを検出すると、ロボット２００ｂがユーザの指に追随するように移動する映像を生成する。ユーザは、指１３０１を移動させることで、ロボット２００ｂが移動すべき移動経路を指示する。ここでは、矢印１３０２で示すように、指を移動させたとする。すると、情報処理装置１２０は、その操作から、矢印１３０２で示される位置を走行するように、図１３に示す表示画面と、現実の位置との対応をとって、矢印１３０２で示す経路の実際の位置（現実座標系）を特定し、特定した座標系での移動経路での掃除を実行させる教示命令を生成する。そして、情報処理装置１２０は、生成した教示命令をロボット２００に送信する。これによって、自動掃除ロボット２００は、指定された経路での清掃を実行することができるので、効率的な清掃を行うことができる。

なお、ここでは、ロボット２００ｂを指で所定時間以上指し示すことで、ロボット２００ｂを操作できるようにしているが、これは一例であり、例えば、上記実施の形態と同様にロボット２００ｂをつまむようにして指を動かすことで、ロボット２００ｂを保持し、移動させて、その後につまむ動作を解除するように指を動かすことでロボット２００ｂの移動経路を指定するように構成してもよい。仮想的なロボット２００に対する操作方法は、ユーザが間隔的に操作できるものであれば、どのような操作方法であってもよい。

（４）上記実施の形態において、仮想的なロボット２００ａを実物のロボット２００に重畳させたＡＲ映像を表示させることとしてもよい旨を説明したが、更に、ユーザが仮想的なロボット２００ａを操作するごとに、その操作内容に連動させて、実物のロボット２００も同時に（伝達のためのタイムラグは発生してもよい）動作させるように構成してもよい。

（５）上記実施の形態においては、特に説明していないが、ロボットに対する教示においてより細かく操作したい場合に、情報処理装置１２０は、ユーザが作業している箇所（例えば、仮想的なロボット２００ａに対する所定の入力を行って操作している箇所）の拡大映像をヘッドマウントディスプレイ１１０に提供することとしてよい。この拡大映像は、ＶＲ映像により別のウィンドウで操作箇所の拡大画像を表示することとしてもよいし、現在視認している映像をズームする態様で拡大画像を表示することとしてもよい。したがって、その拡大画像を提供することで、ユーザはロボット２００ａに対する指示入力を実行しやすくなる。なお、教示システム１は、作業箇所の拡大映像を提供するために、実物のロボットの作業箇所（上記実施の形態の例でいえば、把持部）を撮像するための撮像用カメラを備えてもよい。この撮像用カメラは、一例として、ロボット２００の先端部２０１ａに設けることとしてもよいし、ロボット２００とは別個に外部から撮像できるように備えることとしてもよい。また、この撮像用カメラは、ロボット２００とは別個に設ける場合であって、ロボットの作業箇所が移動するときに、その作業箇所の撮像を継続する（作業箇所を追随する）ための移動機構を設けてもよい。例えば、教示システム１において、撮像用カメラをロボット２００とは別個のロボットアームに取り付けて、そのロボットアームが動くことによって、作業箇所の撮像を継続できるように構成してもよい。本変形例は、上記変形例（４）に示したように、仮想的なロボット２００ａを用いて、実際のロボット２００をリアルタイムで操作する際に特に有用となる。

（６） 上記実施の形態においては、教示システムによりロボットに実行すべき内容教示する手法として、情報処理装置１２０が教示プログラム等を実行することにより、教示命令を生成することとしているが、これは装置に集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。

また、上記教示プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記教示プログラムは、当該教示プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記歩行教示プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、上記教示プログラムは、例えば、Ｃ言語、Ｃ＋＋、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。

（７）上記実施の形態及び各変形例は、適宜、必要に応じて組み合わせて、所望する機能を実現するように構成されてよい。

１ 教示システム
１１０、１１０ａ ヘッドマウントディスプレイ
１１１ 通信部
１１２ 記憶部
１１３ 制御部
１１４ 撮像部
１１５ 表示部
１２０ 情報処理装置
１２１ 通信部
１２２ 記憶部
１２３ 制御部
２００ ロボット
２０１ 通信部
２０２ 記憶部
２０３ 制御部
２０４ 駆動部
２０５ 検出部

Claims (8)

1. 画像を表示する表示部と、
   ユーザの視野方向を撮像する撮像部と、
   前記表示部に表示する、仮想的なロボットと、前記撮像部により撮像された撮像映像とを合成した合成映像を生成する画像生成部と、
   前記画像生成部により生成された映像から前記ユーザの手による前記仮想的なロボットに対する操作を検出する検出部と、
   前記検出部により検出された操作に基づき実際のロボットの動作命令を生成する命令生成部と、
   前記動作命令を前記実際のロボットに送信する送信部とを備え、
   前記ロボットは、物品を把持する把持部を有し、
   前記画像生成部は、更に、仮想的な物品を合成した前記合成映像を生成し、
   前記検出部は、前記ユーザが前記仮想的なロボットの前記把持部を操作して把持させた物品を特定するとともに、前記把持部に前記物品をリリースさせた場所または対象を特定し、
   前記命令生成部は、前記実際のロボットに対して、前記検出部が特定した物品を、前記場所又は対象まで運搬させる動作命令を生成する
   教示システム。
2. 画像を表示する表示部と、
   ユーザの視野方向を撮像する撮像部と、
   前記表示部に表示する、仮想的なロボットと、前記撮像部により撮像された撮像映像とを合成した合成映像を生成する画像生成部と、
   前記画像生成部により生成された映像から前記ユーザの手による前記仮想的なロボットに対する操作を検出する検出部と、
   前記検出部により検出された操作に基づき実際のロボットの動作命令を生成する命令生成部と、
   前記動作命令を前記実際のロボットに送信する送信部とを備え、
   前記ロボットは、自立移動可能なロボットであり、
   前記検出部は、前記ユーザが前記仮想的なロボットを前記合成映像内を移動させた移動経路を検出し、
   前記命令生成部は、前記実際のロボットに対して、前記検出部が特定した前記移動経路上を移動する動作命令を生成する
   教示システム。
3. 前記撮像部は、前記実際のロボットを含む映像を前記撮像映像として撮像し、
   前記合成映像は、前記仮想的なロボットを、前記撮像映像中の実際のロボットに対して重畳した前記合成映像を生成する
   ことを特徴とする請求項１又は２に記載の教示システム。
4. 前記ロボットは、７軸ロボットである
   ことを特徴とする請求項１～３のいずれか一項に記載の教示システム。
5. 教示システムが実行するロボットへの教示方法であって、
   画像を表示する表示ステップと、
   ユーザの視野方向を撮像する撮像ステップと、
   前記表示ステップにおいて表示する、仮想的なロボットと、前記撮像ステップにより撮像された撮像映像とを合成した合成映像を生成する画像生成ステップと、
   前記画像生成ステップにより生成された映像から前記ユーザの手による前記仮想的なロボットに対する操作を検出する検出ステップと、
   前記検出ステップにより検出された操作に基づき実際のロボットの動作命令を生成する命令生成ステップと、
   前記動作命令を前記実際のロボットに送信する送信ステップとを含み、
   前記ロボットは、物品を把持する把持部を有し、
   前記画像生成ステップは、更に、仮想的な物品を合成した前記合成映像を生成し、
   前記検出ステップは、前記ユーザが前記仮想的なロボットの前記把持部を操作して把持させた物品を特定するとともに、前記把持部に前記物品をリリースさせた場所または対象を特定し、
   前記命令生成ステップは、前記実際のロボットに対して、前記検出ステップが特定した物品を、前記場所又は対象まで運搬させる動作命令を生成する
   教示方法。
6. 教示システムのコンピュータに、
   画像を表示する表示機能と、
   ユーザの視野方向を撮像する撮像機能と、
   前記表示機能が表示する、仮想的なロボットと、前記撮像機能により撮像された撮像映像とを合成した合成映像を生成する画像生成機能と、
   前記画像生成機能により生成された映像から前記ユーザの手による前記仮想的なロボットに対する操作を検出する検出機能と、
   前記検出機能により検出された操作に基づき実際のロボットの動作命令を生成する命令生成機能と、
   前記動作命令を前記実際のロボットに送信する送信機能とを実現させ、
   前記ロボットは、物品を把持する把持部を有し、
   前記画像生成機能は、更に、仮想的な物品を合成した前記合成映像を生成し、
   前記検出機能は、前記ユーザが前記仮想的なロボットの前記把持部を操作して把持させた物品を特定するとともに、前記把持部に前記物品をリリースさせた場所または対象を特定し、
   前記命令生成機能は、前記実際のロボットに対して、前記検出機能が特定した物品を、前記場所又は対象まで運搬させる動作命令を生成する
   教示プログラム。
7. 教示システムが実行するロボットへの教示方法であって、
   画像を表示する表示ステップと、
   ユーザの視野方向を撮像する撮像ステップと、
   前記表示ステップにおいて表示する、仮想的なロボットと、前記撮像ステップにより撮像された撮像映像とを合成した合成映像を生成する画像生成ステップと、
   前記画像生成ステップにより生成された映像から前記ユーザの手による前記仮想的なロボットに対する操作を検出する検出ステップと、
   前記検出ステップにより検出された操作に基づき実際のロボットの動作命令を生成する命令生成ステップと、
   前記動作命令を前記実際のロボットに送信する送信ステップとを含み、
   前記ロボットは、自立移動可能なロボットであり、
   前記検出ステップは、前記ユーザが前記仮想的なロボットを前記合成映像内を移動させた移動経路を検出し、
   前記命令生成ステップは、前記実際のロボットに対して、前記検出ステップが特定した前記移動経路上を移動する動作命令を生成する
   教示方法。
8. 教示システムのコンピュータに、
   画像を表示する表示機能と、
   ユーザの視野方向を撮像する撮像機能と、
   前記表示機能が表示する、仮想的なロボットと、前記撮像機能により撮像された撮像映像とを合成した合成映像を生成する画像生成機能と、
   前記画像生成機能により生成された映像から前記ユーザの手による前記仮想的なロボットに対する操作を検出する検出機能と、
   前記検出機能により検出された操作に基づき実際のロボットの動作命令を生成する命令生成機能と、
   前記動作命令を前記実際のロボットに送信する送信機能とを実現させ、
   前記ロボットは、自立移動可能なロボットであり、
   前記検出機能は、前記ユーザが前記仮想的なロボットを前記合成映像内を移動させた移動経路を検出し、
   前記命令生成機能は、前記実際のロボットに対して、前記検出機能が特定した前記移動経路上を移動する動作命令を生成する
   教示プログラム。

Images