JP7347169B2 - 情報提示装置、情報提示方法、及び情報提示プログラム - Google Patents

Description

本発明は、情報提示装置、情報提示方法、及び情報提示プログラムに関する。

製品を生産する生産ラインでは、マニピュレータ等の様々なタイプのロボット装置が利用されている。マニピュレータの機構、エンドエフェクタ、ワーク等のロボット装置の構成要素は、遂行するタスク等に応じて多くのバリエーションを有しており、それらすべてに対応したロボット装置の動作手順を人手で作成して、ロボット装置に対象のタスクを教示するのは困難である。そのため、従来、機構、エンドエフェクタ、ワーク等の構成要素の種類を決定した後、ロボット装置を人手で動かして、実行させる一連の動作における姿勢をレコードしながら、遂行するタスクを直接的にティーチングする方法が採用されている。

しかしながら、この方法では、機構、エンドエフェクタ、ワーク等の構成要素が変更される度に、遂行するタスクをロボット装置に教示することになる。したがって、遂行するタスクをロボット装置に教示するのにあまりにコストがかかってしまう。そこで、近年、遂行するタスクをロボット装置に習得させる方法の効率化が研究されている。例えば、非特許文献１では、カメラから得られる画像データに基づいて対象物を把持する動作を強化学習によりロボット装置に習得させる方法が提案されている。この方法によれば、対象物を把持する動作をロボット装置に教示する一連の処理の少なくとも一部を自動化することができる。よって、ロボット装置にタスクを教示するコストを低減することができる。

Dmitry Kalashnikov, et al. "QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation" arXiv preprint arXiv:1806.10293, 2018.

本件発明者らは、上記のようなロボット装置の従来の制御方法には、次のような問題があることを見出した。従来の制御方法では、遂行するタスクに対してロボット装置に与える時系列の制御指令を学習している。つまり、学習された時系列の制御指令がタスクに直接的に関連付けられる。タスクを遂行する環境及び対象物の少なくとも一方が少しでも変化した場合には、実質的にタスクの内容も変化してしまい、関連付けられた時系列の制御指令ではタスクを適切に遂行するのが困難になってしまう。そのため、変化したタスクに対して時系列の制御指令を新たに学習させなければ、ロボット装置は、そのタスクを適切に遂行できない可能性がある。

例えば、ロボット装置に教示したタスクが、Ａ地点に姿勢Ｂで存在する対象物ＣをＤ地点に運ぶことであったと想定する。この場合に、対象物ＣがＡ地点に姿勢Ｂで正確に配置されていたならば、ロボット装置は、学習結果に基づいて、当該タスクを適切に遂行可能である。しかしながら、対象物ＣがＡ地点からややずれて配置されていたり、Ａ地点に配置されているが姿勢Ｂから傾いていたりした場合には、ロボット装置が対象物Ｃを把持する位置及び姿勢が変化する等の理由により、遂行すべきタスクの内容が変化してしまう。すなわち、この場合には、遂行すべきタスクは、「Ａ地点からずれたり傾いたりしている対象物ＣをＤ地点に運ぶ」ことであり、「Ａ地点に姿勢Ｂで存在する対象物ＣをＤ地点に運ぶ」という元のタスクと相違している。そうすると、ロボット装置は、学習結果に基づいて動作しても、このタスクを適切に遂行できない可能性がある。したがって、従来の制御方法では、習得されるタスクを遂行する能力の汎用性が乏しいという問題点がある。この問題点に起因して、ロボット装置を汎用的に動作させるためには、異なるタスク毎に制御指令を学習させることになり、ロボット装置にタスクを教示するのにかかるコストは依然として高い。

この問題点を解決するために、本件発明者らは、タスクの遂行する環境に存在する複数の対象物の相対的かつ物理的な関係（相対関係量）に基づいて、ロボット装置の動作を制御する制御方法を提案する。この制御方法では、ロボット装置がタスクを遂行する過程における複数の対象物の相対的な関係の系列が規定され、ロボット装置に対する制御指令は、その相対的な関係の変化量に関連付けられる。これにより、タスクの内容に依存せずに、相対的な関係を変化させることに対してロボット装置に与える時系列の制御指令を教示することができる。すなわち、同じ相対関係量の変化で遂行可能なタスクであれば、そのタスクの内容が多少変更されていても（上記の例では、対象物Ｃの位置がずれたり、姿勢が傾いたりしても）、ロボット装置にそれらのタスクを適切に遂行させることができる。したがって、発明者らの提案する制御方法によれば、ロボット装置に習得させるタスクを遂行する能力の汎用性を高めることができ、ロボット装置にタスクを教示するのにかかるコストを低減することができる。ただし、ロボット装置がタスクを遂行する過程における複数の対象物の相対的かつ物理的な関係を設定する作業に手間がかかると想定される。

本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、ロボット装置がタスクを遂行する過程における複数の対象物の相対的かつ物理的な関係を設定する作業の効率性を高めるための技術を提供することである。

本発明は、上述した課題を解決するために、以下の構成を採用する。

すなわち、本発明の一側面に係る情報提示装置は、ロボット装置により遂行されるタスクの開始から終了までの過程において遷移する目標状態の系列を示す状態遷移情報を取得する情報取得部であって、前記系列に含まれる各目標状態は、前記タスクにおける前記ロボット装置の操作の対象である複数の対象物間の相対的かつ物理的な関係により規定される、情報取得部と、取得された状態遷移情報に基づいて、前記目標状態の系列を表す状態遷移図であって、前記各目標状態をそれぞれ表現する複数のノード、及び目標状態間の遷移を表現するエッジを含む状態遷移図を示す第１画面を表示装置に表示する第１表示部と、前記第１画面において、前記複数のノードのうちのいずれかの選択、及び前記目標状態の遷移に関する修正を受け付ける第１受付部と、前記複数のノードのうちのいずれかの選択に応じて、選択された前記ノードに対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す第２画面を前記表示装置に表示する第２表示部と、前記第２画面において、表示された前記目標状態における前記複数の対象物間の相対的かつ物理的な関係に関する修正を受け付ける第２受付部と、を備える。

当該構成によれば、ロボット装置がタスクを遂行する過程における複数の対象物の相対的かつ物理的な関係を設定するために、状態遷移図を示す第１画面及び相対関係を示す第２画面の２種類の画面が用意される。第１画面によれば、ロボット装置がタスクを遂行する過程について、当該タスクに関与する複数の対象物それぞれの達成すべき相対的かつ物理的な関係を規定する目標状態の系列が適切に設定されているか否かを確認することができる。更には、その目標状態の系列に不備がある場合に、当該目標状態間の遷移に関する修正を行うことができる。一方、第２画面によれば、各目標状態について、複数の対象物の相対的かつ物理的な関係が適切に規定されているか否かを確認することができる。更には、その関係に不備がある場合に、当該関係に関する修正を行うことができる。したがって、提供される第１画面及び第２画面によれば、タスクを遂行する過程全体の流れ及び個々の目標状態それぞれの確認及び設定を行うことができる。これにより、ロボット装置がタスクを遂行する過程における複数の対象物の相対的かつ物理的な関係を設定する作業の効率性を高めることができる。

上記一側面に係る情報提示装置において、前記情報取得部は、前記ロボット装置及び前記各対象物の初期状態を規定する環境情報を更に取得してもよい。更に、上記一側面に係る情報提示装置は、取得された前記状態遷移情報及び前記環境情報に基づいて、前記ロボット装置が前記タスクを遂行する過程のシミュレーションを行うシミュレータ部と、前記シミュレーションの結果を示す第３画面を前記表示装置に表示する第３表示部と、を更に備えてもよい。当該構成によれば、シミュレーションの結果に基づいて、設定された目標状態の系列により対象のタスクを適切に遂行可能か否か確認することができる。この確認をしながら各目標状態を決定することで、ロボット装置が対象のタスクを遂行する過程における複数の対象物の相対的かつ物理的な関係を、対象のタスクに応じて適切に設定することができるようになる。

上記一側面に係る情報提示装置において、前記第３画面は、前記タスクの遂行を開始してからの経過時間を表現するタイムライン、及び前記タイムラインにおいて、前記目標状態間の遷移を達成する遷移作業を前記ロボット装置が前記シミュレーション上で実行する時間区間を表現するブロックを含んでもよい。当該構成によれば、第３画面において、ロボット装置の動作及び各対象物間の相対的かつ物理的な関係の変化の視認性を高めることができる。これにより、設定された目標状態の系列により対象のタスクを適切に遂行可能か否か確認しやすくすることができる。

上記一側面に係る情報提示装置において、前記タスクは、複数のロボット装置により遂行されてよく、前記目標状態間の遷移を達成する遷移作業には、前記複数のロボット装置の少なくともいずれかが使用されてよく、前記ブロックは、対応する遷移作業に使用されるロボット装置に関連付けられて配置されてよい。当該構成によれば、時間区間を表現するブロックが対応する遷移作業に使用されるロボット装置に関連付けて配置されることで、第３画面において、各遷移作業を遂行するロボット装置の視認性を高めることができる。

上記一側面に係る情報提示装置は、前記第３画面において、前記ブロックを関連付けるロボット装置を変更する操作により、対応する遷移作業に使用されるロボット装置の変更を受け付ける第３受付部を更に備えてもよい。当該構成によれば、シミュレーションの結果を利用して、各遷移作業の遂行に適切なロボット装置を選択することができる。これにより、複数のロボット装置が協働するタスクについて、適切にタスクを遂行可能なように各ロボット装置の作業の割り当てをすることができる。

上記一側面に係る情報提示装置において、前記タスクは、複数のロボット装置により遂行されてよく、前記第２受付部は、前記第２画面において、前記複数のロボット装置から、前記目標状態間の遷移を達成する遷移作業に使用する少なくとも１つのロボット装置の選択を更に受け付けてもよい。当該構成によれば、各目標状態を確認しながら、各目標状態の達成に適切なロボット装置を選択することができる。これにより、複数のロボット装置が協働するタスクについて、適切にタスクを遂行可能なように各ロボット装置の作業の割り当てをすることができる。

上記一側面に係る情報提示装置において、前記ロボット装置は、マニピュレータであってよく、前記複数の対象物は、前記マニピュレータのエンドエフェクタ及び前記マニピュレータによる移動の対象となる製品の部品を含んでもよい。当該構成によれば、マニピュレータがタスクを遂行する過程における複数の対象物の相対的かつ物理的な関係を設定する作業の効率性を高めることができる。

上記各形態に係る情報提示装置の別の態様として、本発明の一側面は、以上の情報提示装置の各構成を実現する情報処理方法であってもよいし、プログラムであってもよいし、このようなプログラムを記憶した、コンピュータ等が読み取り可能な記憶媒体であってもよい。コンピュータ等が読み取り可能な記憶媒体とは、プログラム等の情報を、電気的、磁気的、光学的、機械的、又は、化学的作用によって蓄積する媒体である。

例えば、本発明の一側面に係る情報提示方法は、コンピュータが、ロボット装置により遂行されるタスクの開始から終了までの過程において遷移する目標状態の系列を示す状態遷移情報を取得するステップであって、前記系列に含まれる各目標状態は、前記タスクにおける前記ロボット装置の操作の対象である複数の対象物間の相対的かつ物理的な関係により規定される、ステップと、取得された状態遷移情報に基づいて、前記目標状態の系列を表す状態遷移図であって、前記各目標状態をそれぞれ表現する複数のノード、及び目標状態間の遷移を表現するエッジを含む状態遷移図を示す第１画面を表示装置に表示するステップと、前記第１画面において、前記複数のノードのうちのいずれかの選択、及び前記目標状態の遷移に関する修正を受け付けるステップと、前記複数のノードのうちのいずれかの選択に応じて、選択された前記ノードに対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す第２画面を前記表示装置に表示するステップと、前記第２画面において、表示された前記目標状態における前記複数の対象物間の相対的かつ物理的な関係に関する修正を受け付けるステップと、を実行する、情報処理方法である。

例えば、本発明の一側面に係る情報提示プログラムは、コンピュータに、ロボット装置により遂行されるタスクの開始から終了までの過程において遷移する目標状態の系列を示す状態遷移情報を取得するステップであって、前記系列に含まれる各目標状態は、前記タスクにおける前記ロボット装置の操作の対象である複数の対象物間の相対的かつ物理的な関係により規定される、ステップと、取得された状態遷移情報に基づいて、前記目標状態の系列を表す状態遷移図であって、前記各目標状態をそれぞれ表現する複数のノード、及び目標状態間の遷移を表現するエッジを含む状態遷移図を示す第１画面を表示装置に表示するステップと、前記第１画面において、前記複数のノードのうちのいずれかの選択、及び前記目標状態の遷移に関する修正を受け付けるステップと、前記複数のノードのうちのいずれかの選択に応じて、選択された前記ノードに対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す第２画面を前記表示装置に表示するステップと、前記第２画面において、表示された前記目標状態における前記複数の対象物間の相対的かつ物理的な関係に関する修正を受け付けるステップと、を実行させるための、プログラムである。

本発明によれば、ロボット装置がタスクを遂行する過程における複数の対象物の相対的かつ物理的な関係を設定する作業の効率性を高めることができる。

図１は、本発明が適用される場面の一例を模式的に示す。 図２Ａは、実施の形態に係る相対関係量の一例を模式的に示す。 図２Ｂは、実施の形態に係る相対関係量の一例を模式的に示す。 図３は、実施の形態に係る情報提示装置のハードウェア構成の一例を模式的に示す。 図４は、実施の形態に係る情報提示装置のソフトウェア構成の一例を模式的に示す。 図５は、実施の形態に係る情報提示装置の処理手順の一例を示すフローチャートである。 図６は、実施の形態に係る状態遷移画面の一例を模式的に示す。 図７Ａは、実施の形態に係る状態画面の一例を模式的に示す。 図７Ｂは、実施の形態に係る状態画面の一例を模式的に示す。 図８は、実施の形態に係るシミュレーション画面の一例を模式的に示す。 図９は、実施の形態に係るシーケンス画面の一例を模式的に示す。

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良及び変形を行うことができることは言うまでもない。本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。

§１ 適用例
図１は、本発明の適用場面の一例を模式的に例示する。本実施形態に係る情報提示装置１は、ロボット装置２のタスクを遂行する過程に関する情報を提示し、タスクを遂行する過程において遷移する目標状態の修正を受け付けるように構成されたコンピュータである。本実施形態に係る情報提示装置１は、ロボット装置２により遂行されるタスクの開始から終了までの改定において遷移する目標状態の系列を示す状態遷移情報１２０を取得する。系列に含まれる各目標状態は、タスクにおけるロボット装置２の操作の対象である複数の対象物間の相対的かつ物理的な関係（以下、単に「相対関係」とも記載する）により規定される。本実施形態では、タスクは、目標状態間の遷移を達成する遷移作業に分割される。

図１の例では、２台のロボット装置２がタスクの遂行に利用され、各ロボット装置２は、マニピュレータである。しかしながら、ロボット装置２の数は、２つに限られなくてもよく、１つであってもよいし、３つ以上であってもよい。また、ロボット装置２は、対象物を操作可能であれば、その種類は、特に限られなくてよく、実施の形態に応じて適宜選択されてよい。ロボット装置２は、例えば、上記マニピュレータ等の産業用ロボット、自動的に移動可能な移動体等を含んでもよい。産業用ロボットは、例えば、垂直多関節ロボット、スカラロボット、パラレルリンクロボット、直交ロボット、協調ロボット等を含んでもよい。また、自動的に移動可能な移動体は、例えば、ドローン、自度運転可能に構成された車両、モバイルロボット等を含んでよい。

本実施形態では、エンドエフェクタＴ及び各ワーク（Ｗ、Ｖ）が対象物の一例である。エンドエフェクタＴは、例えば、グリッパ、吸引器、ドライバ等であってよい。各ワーク（Ｗ、Ｖ）は、例えば、コネクタ、ペグ、ソケット、ホール、ギア、ボルト、ナット等の製品の部品であってよい。製品は、例えば、家電製品、コンピュータ装置、自動車等であってよい。このように、複数の対象物は、マニピュレータのエンドエフェクタ及びマニピュレータにより移動の対象となる製品の部品を含んでよい。ただし、対象物は、ロボット装置２の動作に関連し得るものであれば、その種類は、このような例に限定されなくてもよく、例えば、遂行するタスク等に応じて適宜選択されてよい。対象物は、上記エンドエフェクタ及びワークの他、例えば、障害物等を含んでもよい。障害物は、例えば、作業台、トレイ、固定センサ等を含んでもよい。

タスクは、ロボット装置２に遂行させる仕事であれば、その種類は、特に限定されなくてよく、実施の形態に応じて適宜選択されてよい。タスクは、例えば、部品運搬、部品嵌合、ネジ回し等であってよい。タスクは、例えば、ワークの把持、ワークの解放等の単純な仕事であってもよい。

相対的かつ物理的な関係は、例えば、位置、力、寸法（体積）、及び状態の少なくともいずれかに関するものであってよい。相対的かつ物理的な関係は、相対関係量により規定されてよい。相対関係量は、複数の対象物の間の相対関係に関する属性の物理量を示す。相対関係量は、例えば、相対座標（相対位置、相対姿勢）、対象物間に作用する力（例えば、荷重等）、相対寸法、対象物間の状態（例えば、連結されているか否か）又はこれらの組み合わせにより構成されてよい。

図２Ａ及び図２Ｂは、相対座標により構成される相対関係量の一例を模式的に例示する。相対座標は、一方の対象物から他方の対象物を見たときの座標である。２つの対象物のうちのいずれかが相対座標の基準に選択されてよい。相対座標は、相対位置及び相対姿勢の少なくとも一方を含んでよい。３次元空間上では、相対位置は、前後、左右、及び上下の３つの軸により表現されてよく、姿勢は、各軸の回転（ロール、ピッチ、ヨー）により表現されてよい。相対座標は、３次元の相対位置及び３次元の相対姿勢により表現されてよい。ただし、相対座標の次元数は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、相対位置及び相対姿勢の次元数、適宜削減されてよい。また、例えば、相対姿勢は、四元数又は回転行列により表現されてよい。

図２Ａは、エンドエフェクタＴにより第１ワークＷを保持しようとする場面を模式的に例示する。この場面のように、エンドエフェクタが対象のワークを保持していない間は、エンドエフェクタ及びワークの間の相対関係量によりタスクの状態が規定されてよい。図２Ａの例では、エンドエフェクタＴ及び第１ワークＷの間の相対座標ＲＣ１によりタスクの状態が規定されてよい。相対座標ＲＣ１は、エンドエフェクタＴの基準点Ｔ０を原点とするローカル座標系ＣＴから見た、第１ワークＷの基準点Ｗ０を原点とするローカル座標系ＣＷを表す。

一方、図２Ｂは、エンドエフェクタＴにより保持した第１ワークＷを第２ワークＶの方に運搬する場面を模式的に例示する。この場面のように、エンドエフェクタが対象のワークを保持している間は、対象のワーク及び運搬の目標物（例えば、他のワーク）の間の相対関係量によりタスクの状態が規定されてよい。図２Ｂの例では、第１ワークＷ及び第２ワークＶの間の相対座標ＲＣ２によりタスクの状態が規定されてよい。相対座標ＲＣ２は、第１ワークＷの基準点Ｗ０を原点とするローカル座標系ＣＷから見た、第２ワークＶの基準点Ｖ０を原点とするローカル座標系ＣＶを表す。

なお、各基準点（Ｔ０、Ｗ０、Ｖ０）は任意に設定されてよい。また、相対座標の与え方は、上記のような例に限定されなくてよく、実施の形態に応じて適宜決定されてよい。例えば、相対座標ＲＣ１を、第１ワークＷの基準点Ｗ０を原点とするローカル座標系ＣＷから見た、エンドエフェクタＴの基準点Ｔ０を原点とするローカル座標系ＣＴを表すように構成する等のように、各相対座標（ＲＣ１、ＲＣ２）の関係は反転されてもよい。相対座標以外の相対関係量についても、上記相対座標と同様にそれぞれの物理量に応じて適宜設定されてよい。

図１に戻り、本実施形態に係る情報提示装置１は、取得された状態遷移情報１２０に基づいて、目標状態の系列を表す状態遷移図であって、各目標状態をそれぞれ表現する複数のノード３０２、及び目標状態間の遷移を表現するエッジ３０５を含む状態遷移図を示す状態遷移画面３０を表示装置１５に表示する。状態遷移画面３０は、第１画面の一例である。本実施形態では、状態遷移図は、タスクの初期状態を表現するノード３０１を更に含む。ノード３０１は、最初の目標状態（第１目標状態）を表現するノード３０２にエッジ３０５を介して接続されている。エッジ３０５により表現される遷移関係は、例えば、順列、分岐、結合、及び繰り返しのいずれかであってよい。図１の例では、ｎ＋１個の目標状態が設定されており（ｎは、自然数）、ｎ＋１番目の目標状態が最終目標状態であり、各目標状態のノード３０２は順列に接続されている。各目標状態及び遷移関係は適宜与えられてよい。本実施形態に係る情報提示装置１は、状態遷移画面３０において、複数のノード３０２のうちのいずれかの選択、及び目標状態の遷移に関する修正を受け付ける。目標状態の遷移に関する修正は、例えば、目標状態の追加、削除、遷移元又は遷移先の変更、及びこれらの組み合わせにより構成されてよい。

また、本実施形態に係る情報提示装置１は、複数のノード３０２のうちのいずれかの選択に応じて、選択されたノード３０２に対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す状態画面３２を表示装置１５に表示する。状態画面３２は、第２画面の一例である。本実施形態に係る情報提示装置１は、状態画面３２において、表示された目標状態における複数の対象物間の相対的かつ物理的な関係に関する修正を受け付ける。相対関係に関する修正は、相対関係量を直接的に修正すること、及び各対象物の物理的な属性値を変更することで相対関係量を間接的に修正することの少なくともいずれかにより構成されてよい。各対象物の物理的な属性値は、例えば、位置、姿勢、力（例えば、重量、作用力等）、寸法、状態（例えば、連結の有無）等に関するものであってよい。

以上のとおり、本実施形態に係る情報提示装置１は、状態遷移図を示す状態遷移画面３０及び各目標状態における相対関係を示す状態画面３２を表示装置１５に表示する。状態遷移画面３０によれば、ロボット装置２がタスクを遂行する過程において、当該タスクに関与する複数の対象物それぞれの達成すべき相対関係を規定する目標状態の系列が適切に設定されているか否かを確認することができる。更には、その目標状態の系列に不備がある場合には、当該目標状態間の遷移に関する修正を行うことができる。一方、状態画面３２によれば、各目標状態について、複数の対象物の相対関係が適切に規定されているか否かを確認することができる。更には、その相対関係に不備がある場合に、当該相対関係に関する修正を行うことができる。したがって、表示される状態遷移画面３０及び状態画面３２によれば、タスクを遂行する過程全体の流れ及び個々の目標状態それぞれの確認及び設定を行うことができる。これにより、ロボット装置２がタスクを遂行する過程における複数の対象物の相対関係を設定する作業の効率性を高めることができる。

§２ 構成例
［ハードウェア構成］
図３は、本実施形態に係る情報提示装置１のハードウェア構成の一例を模式的に例示する。図３に示されるとおり、本実施形態に係る情報提示装置１は、制御部１１、記憶部１２、外部インタフェース１３、入力装置１４、表示装置１５、及びドライブ１６が電気的に接続されたコンピュータである。なお、図３では、外部インタフェースを「外部Ｉ／Ｆ」と記載している。

制御部１１は、ハードウェアプロセッサであるＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、プログラム及び各種データに基づいて情報処理を実行するように構成される。記憶部１２は、メモリの一例であり、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。本実施形態では、記憶部１２は、情報提示プログラム８１、状態遷移情報１２０、ＣＡＤ（computer-aided design）情報１２３、環境情報１２５等の各種情報を記憶する。

情報提示プログラム８１は、ロボット装置２のタスクを遂行する過程に関する情報の提示に関する後述の情報処理（図５）を情報提示装置１に実行させるためのプログラムである。情報提示プログラム８１は、当該情報処理の一連の命令を含む。状態遷移情報１２０は、ロボット装置２により遂行されるタスクの開始から終了までの改定において遷移する目標状態の系列を示す。ＣＡＤ情報１２３は、ロボット装置２及び各対象物（エンドエフェクタＴ、第１ワークＷ、第２ワークＶ）のモデル（例えば、３次元モデル）等の幾何学的な構成を示す構成情報を含む。環境情報１２５は、ロボット装置２及び各対象物の初期状態を規定する。環境情報１２５には、これらの他、タスクを遂行する環境を示す情報が更に含まれてもよい。

外部インタフェース１３は、例えば、ＵＳＢ（Universal Serial Bus）ポート、専用ポート等であり、外部装置と接続するためのインタフェースである。外部インタフェース１３の種類及び数は、接続される外部装置の種類及び数に応じて適宜選択されてよい。情報提示装置１は、外部インタフェース１３を介して、各ロボット装置２に接続されてよい。

入力装置１４は、例えば、マウス、キーボード等の入力を行うための装置である。また、表示装置１５は、出力装置の一例であり、例えば、ディスプレイである。オペレータは、入力装置１４及び表示装置１５を介して、情報提示装置１を操作することができる。なお、表示装置１５は、タッチパネルディスプレイであってもよい。この場合、入力装置１４は、省略されてもよい。

ドライブ１６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体９１に記憶されたプログラム等の各種情報を読み込むためのドライブ装置である。記憶媒体９１は、コンピュータその他装置、機械等が、記憶されたプログラム等の各種情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。上記情報提示プログラム８１、状態遷移情報１２０、ＣＡＤ情報１２３、及び環境情報１２５の少なくともいずれかは、記憶媒体９１に記憶されていてもよい。情報提示装置１は、この記憶媒体９１から、上記情報提示プログラム８１、状態遷移情報１２０、ＣＡＤ情報１２３、及び環境情報１２５の少なくともいずれかを取得してもよい。なお、図３では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限られなくてもよく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。ドライブ１６の種類は、記憶媒体９１の種類に応じて任意に選択されてよい。

なお、情報提示装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）等で構成されてよい。記憶部１２は、制御部１１に含まれるＲＡＭ及びＲＯＭにより構成されてもよい。外部インタフェース１３、入力装置１４、表示装置１５及びドライブ１６の少なくともいずれかは省略されてもよい。情報提示装置１は、ネットワークを介したデータ通信を実行可能なように通信インタフェースを更に備えてもよい。情報提示装置１は、表示装置１５以外の出力装置を更に備えてもよい。情報提示装置１は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、情報提示装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、デスクトップＰＣ（Personal Computer）、タブレットＰＣ、ＰＬＣ（programmable logic controller）等であってもよい。

［ソフトウェア構成］
図４は、本実施形態に係る情報提示装置１のソフトウェア構成の一例を模式的に例示する。情報提示装置１の制御部１１は、記憶部１２に記憶された情報提示プログラム８１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開された情報提示プログラム８１に含まれる命令をＣＰＵにより解釈及び実行して、各構成要素を制御する。これにより、図４に示されるとおり、本実施形態に係る情報提示装置１は、情報取得部１７１、第１表示部１７２、第１受付部１７３、第２表示部１７４、第２受付部１７５、シミュレータ部１７６、第３表示部１７７、第３受付部１７８、及び動作制御部１７９をソフトウェアモジュールとして備えるコンピュータとして動作する。すなわち、本実施形態では、情報提示装置１の各ソフトウェアモジュールは、制御部１１（ＣＰＵ）により実現される。

情報取得部１７１は、ロボット装置２により遂行されるタスクの開始から終了までの改定において遷移する目標状態の系列を示す状態遷移情報１２０を取得する。第１表示部１７２は、取得された状態遷移情報１２０に基づいて、目標状態の系列を表す状態遷移図であって、各目標状態をそれぞれ表現する複数のノード３０２、及び目標状態間の遷移を表現するエッジ３０５を含む状態遷移図を示す状態遷移画面３０を表示装置１５に表示する。第１受付部１７３は、状態遷移画面３０において、複数のノード３０２のうちのいずれかの選択、及び目標状態の遷移に関する修正を受け付ける。

第２表示部１７４は、複数のノード３０２のうちのいずれかの選択に応じて、選択されたノード３０２に対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す状態画面３２を表示装置１５に表示する。第２受付部１７５は、状態画面３２において、表示された目標状態における複数の対象物間の相対的かつ物理的な関係に関する修正を受け付ける。

情報取得部１７１は、ロボット装置２及び各対象物の初期状態を規定する環境情報１２５を更に取得してもよい。シミュレータ部１７６は、取得された状態遷移情報１２０及び環境情報１２５に基づいて、ロボット装置２がタスクを遂行する過程のシミュレーションを行う。第３表示部１７７は、シミュレーションの結果を示すシーケンス画面３６を表示装置１５に表示する。シーケンス画面３６は、第３画面の一例である。

タスクは、複数のロボット装置２により遂行されてよく、目標状態間の遷移を達成する遷移作業には、複数のロボット装置２の少なくともいずれかが使用されてよい。第３受付部１７８は、シーケンス画面３６において、対応する遷移作業に使用されるロボット装置２の変更を受け付ける。動作制御部１７９は、状態遷移情報１２０及び環境情報１２５に基づいて、初期状態から最終目標状態まで各目標状態を順に達成するように、ロボット装置２の動作を制御する。

情報提示装置１の各ソフトウェアモジュールに関しては後述する動作例で詳細に説明する。なお、本実施形態では、情報提示装置１の各ソフトウェアモジュールがいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上のソフトウェアモジュールの一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、情報提示装置１のソフトウェア構成に関して、実施形態に応じて、適宜、ソフトウェアモジュールの省略、置換及び追加が行われてもよい。

§３ 動作例
次に、図５を用いて、情報提示装置１の動作例について説明する。図５は、本実施形態に係る情報提示装置１の処理手順の一例を示すフローチャートである。以下で説明する処理手順は、情報提示方法の一例である。ただし、以下で説明する処理手順は一例に過ぎず、各ステップは可能な限り変更されてよい。更に、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。

（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、情報取得部１７１として動作し、状態遷移情報１２０を取得する。

状態遷移情報１２０により示される各目標状態における相対関係は、任意の方法で決定されてよい。相対関係の決定には、オペレータの入力、ダイレクトティーチング等の公知の方法が採用されてよい。タスクを遂行する開始から終了までの各目標状態及び各目標状態における相対関係を適宜決定することで、状態遷移情報１２０を作成することができる。後述する状態遷移画面３０及び状態画面３２を利用して、目標状態及びその目標状態における相対関係を決定する場合、初期には、状態遷移情報１２０は、テンプレートにより与えられてもよいし、或いは空情報であってもよい。テンプレートは、タスクに応じて、典型的な目標状態の系列及び各目標状態における相対関係を与えるように適宜決定されてよい。

状態遷移情報１２０の生成は、情報提示装置１により行われてもよいし、情報提示装置１以外の他のコンピュータにより行われてもよい。情報提示装置１が状態遷移情報１２０を生成する場合、制御部１１は、自動的に又は入力装置１４を介したオペレータの入力により、各目標状態及び各目標状態における相対関係を決定することで、状態遷移情報１２０を生成することができる。一方、他のコンピュータにより状態遷移情報１２０が生成される場合、制御部１１は、例えば、ネットワーク、記憶媒体９１等を介して、他のコンピュータにより生成された状態遷移情報１２０を取得する。

また、本実施形態では、ステップＳ１０１において、制御部１１は、ＣＡＤ情報１２３及び環境情報１２５を更に取得してもよい。ＣＡＤ情報１２３は、公知のソフトウェアにより生成されてよい。環境情報１２５により示されるロボット装置２及び各対象物の初期状態は、例えば、配置される位置、姿勢等の物理的な属性により規定される。この初期状態は、上記各目標状態と同様に、任意の方法で決定されてよい。ＣＡＤ情報１２３及び環境情報１２５の生成は、状態遷移情報１２０と同様に、情報提示装置１により行われてもよいし、情報提示装置１以外の他のコンピュータにより行われてもよい。また、後述する状態画面３２又はシミュレーション画面３４を利用して、初期状態におけるロボット装置２及び各対象物の属性値を決定する場合、初期には、環境情報１２５は、テンプレートにより与えられてもよいし、或いは空情報であってもよい。各種情報を取得すると、制御部１１は、次のステップＳ１０２に処理を進める。

（ステップＳ１０２～ステップＳ１０５）
ステップＳ１０２では、制御部１１は、オペレータによる入力装置１４の操作に応じて、対応する画面を表示装置１５に表示する。本実施形態では、ステップＳ１０２において、表示装置１５に表示される画面は、後述する図６～図９の状態遷移画面３０、状態画面３２、シミュレーション画面３４、及びシーケンス画面３６のいずれかである。ステップＳ１０３では、制御部１１は、表示装置１５に表示した画面に対するオペレータの操作を受け付ける。本実施形態では、ステップＳ１０３において、オペレータは、表示画面の操作により、タスクを遂行する過程のおけるロボット装置２及び各対象物の状態を編集する作業を行う。

ステップＳ１０４では、制御部１１は、表示した画面において受け付けた操作が画面遷移を伴うものか否かを判定する。受け付けた操作が画面遷移を伴うものである場合、制御部１１は、ステップＳ１０２に処理を戻し、対応する画面を表示装置１５に表示する。一方、そうではない場合、制御部１１は、次のステップＳ１０５に処理を進める。ステップＳ１０５では、制御部１１は、受け付けた操作が編集作業の終了に関するものであるか否かを判定する。受け付けた操作が編集作業の終了に関するものである場合、制御部１１は、本動作例に係る処理手順を終了する。他方、そうではない場合、制御部１１は、ステップＳ１０３に処理を戻し、表示装置１５に表示した画面に対するオペレータの操作を更に受け付ける。

図６は、本実施形態に係る状態遷移画面３０の一例を模式的に例示する。上記ステップＳ１０２において、制御部１１は、第１表示部１７２として動作し、取得された状態遷移情報１２０に基づいて、図６に例示される状態遷移画面３０を最初の表示画面として表示装置１５に表示してよい。状態遷移画面３０は、目標状態の系列を表す状態遷移図を示す。状態遷移図は、タスクの初期状態を表現するノード３０１、各目標状態をそれぞれ表現する複数のノード３０２、及び目標状態間の遷移を表現するエッジ３０５を含む。各ノード（３０１、３０２）には、各状態におけるロボット装置２及び各対象物を表現するサムネイル又は各状態の説明が描画されてもよい。ノード３０１は省略されてもよい。

状態遷移画面３０を表示した後、上記ステップＳ１０３では、制御部１１は、第１受付部１７３として動作し、状態遷移画面３０において、複数のノード３０２のうちのいずれかの選択、及び目標状態の遷移に関する修正を受け付ける。本実施形態では、状態遷移画面３０には、６つのボタン３１１～３１６が設けられている。制御部１１は、各ボタン３１１～３１６により、ノード３０２の選択及び目標状態の遷移に関する修正を含む各種操作を受け付ける。

ボタン３１１及びボタン３１２は、目標状態の遷移に関する修正を受け付けるのに用いられる。制御部１１は、状態遷移図においてノード３０２の指定を受け付けた後、ボタン３１１の操作に応じて、指定されたノード３０２及び対応する目標状態の削除を受け付ける。また、制御部１１は、ボタン３１２の操作に応じて、新たな目標状態及び対応するノード３０２の追加を受け付ける。ただし、目標状態の削除及び追加を受け付ける方法は、このような例に限定されなくてもよい。他の方法の一例として、目標状態の削除及び追加のいずれかは、ボタン（３１１、３１２）を介さずに、状態遷移図上で直接的に受け付けられてもよい。

更に、制御部１１は、目標状態の遷移に関する修正として、目標状態間の遷移を表現するエッジ３０５の削除及び追加を状態遷移図上で受け付ける。エッジ３０５の削除及び追加は任意の操作により受け付けられてよい。一例として、制御部１１は、エッジ３０５を指定する操作に応じて、指定されたエッジ３０５を削除してもよい。また、制御部１１は、遷移元及び遷移先の目標状態のノード３０２を指定する操作に応じて、指定された目標状態間にエッジ３０５を追加してもよい。エッジ３０５の削除及び追加は、目標状態の遷移元又は遷移先の変更に相当する。この他、制御部１１は、エッジ３０５を連結するノード３０２の変更を受け付けてもよい。

ボタン３１３は、状態遷移図で示される目標状態の系列に基づいて、ロボット装置２（実機）に対して動作の実行を指示するのに用いられる。制御部１１は、ボタン３１３の操作に応じて、動作制御部１７９として動作し、状態遷移情報１２０及び環境情報１２５に基づいて、初期状態から最終目標状態まで各目標状態を順に達成するように、ロボット装置２の動作を制御する。ロボット装置２に与えられる制御指令は、例えば、目標制御量、操作量等により構成されてよい。制御指令は、各目標状態間の遷移を達成するように適宜決定されてよい。制御指令の決定には、任意の方法が採用されてよく、例えば、オペレータの入力、ダイレクトティーチング等の公知の方法が採用されてよい。制御部１１は、ロボット装置２の動作を直接的に制御してもよい。或いは、制御部１１は、ＰＬＣ等の制御装置に制御指令を与えることで、ロボット装置２の動作を間接的に制御してもよい。

ボタン３１４は、シミュレーションの実行を受け付けるのに用いられる。ボタン３１５は、シミュレーションの結果を示すシーケンス画面３６への遷移を受け付けるのに用いられる。ボタン３１５は、シミュレーションを実行した後に操作可能となる。

ボタン３１６は、複数のノード３０２のうちのいずれかの選択を受け付けるのに用いられる。制御部１１は、状態遷移図においてノード３０２の指定を受け付けた後、ボタン３１６の操作に応じて、指定されたノード３０２が選択されたと認定する。すなわち、本実施形態では、複数のノード３０２のうちのいずれかの選択することは、状態遷移図においてノード３０２を指定し、ボタン３１６を操作することに相当する。ただし、ノード３０２の選択を受け付ける方法は、このような例に限定されなくてもよい。他の方法の一例として、ノード３０２の選択は、ボタン３１６を介さずに、状態遷移図において直接的に受け付けられてもよい。

図７Ａ及び図７Ｂは、本実施形態に係る状態画面３２の一例を模式的に例示する。上記ステップＳ１０４では、制御部１１は、状態遷移画面３０におけるボタン３１６の操作（すなわち、複数のノード３０２のうちのいずれかの選択）に応じて、状態画面３２への遷移操作を受け付けたと判定する。そして、ステップＳ１０２において、制御部１１は、第２表示部１７４として動作し、図７Ａ及び図７Ｂに例示される状態画面３２を表示装置１５に表示する。

状態画面３２は、選択されたノード３０２に対応する目標状態において規定された複数の対象物間の相対関係を示す。状態遷移情報１２０には、各目標状態における相対関係量を再現可能な情報が含まれる。相対関係量を再現可能な情報は、例えば、相対関係量そのものにより構成されてもよいし、或いは各対象物の物理的な属性値により構成されてもよい。制御部１１は、状態遷移情報１２０を参照することで、選択されたノード３０２に対応する目標状態において規定された相対関係を特定する。相対関係の表示方法は任意でよい。本実施形態では、制御部１１は、状態画面３２において、ＣＡＤ情報１２３を利用して、選択されたノード３０２に対応する目標状態を表現するように各対象物のモデルを描画することで、当該目標状態において規定された複数の対象物間の相対関係を表示する。

図７Ａの例では、エンドエフェクタＴにより第１ワークＷを保持しようとする動作の相対関係量を修正する場面を想定しており、この動作に無関係な第２ワークＶのモデルの描画は省略されている。このように、修正する相対関係量に無関係な対象物の描画は省略されてよい。一方、図７Ｂの例では、エンドエフェクタＴにより保持した第１ワークＷを第２ワークＶの方に運搬する場面を想定しており、エンドエフェクタＴ、第１ワークＷ、及び第２ワークＶの各モデルが状態画面３２に描画されている。相対関係量を修正する対象となる対象物は適宜選択されてよい。

状態画面３２を表示した後、上記ステップＳ１０３では、制御部１１は、第２受付部１７５として動作し、状態画面３２において、表示された目標状態における複数の対象物間の相対関係に関する修正を受け付ける。修正を受け付ける方法は、実施の形態に応じて適宜決定されてよい。本実施形態では、状態画面３２には、相対関係に関する修正可能な属性に応じて、ボックス３２１が設けられる。

各ボックス３２１は、オペレータの入力装置１４を介した入力により、各対象物（エンドエフェクタＴ、第１ワークＷ、第２ワークＶ）の位置（Ｘ，Ｙ，Ｚ）及び姿勢（Ｒ，Ｐ，Ｙ）の変更を受け付けるように構成されている。図７Ａの例では、エンドエフェクタＴ及び第１ワークＷの位置及び姿勢の変更を受け付ける２つのボックス３２１が表示されている。図７Ｂの例では、第１ワークＷ及び第２ワークＶの位置及び姿勢の変更を受け付ける２つのボックス３２１が表示されている。少なくともいずれかのボックス３２１において、対応する対象物の位置及び姿勢の少なくともいずれかの値を変更することで、当該対象物に関する相対座標を修正することができる。また、制御部１１は、各対象物のモデルの操作により、各対象物の位置及び姿勢の少なくともいずれかの値の変更を受け付けてもよい。この場合、制御部１１は、各対象物のモデルの操作に応じて、各ボックス３２１に表示される各対象物の位置及び姿勢の値をモデルの現在値に適合するように修正してよい。

ただし、各ボックス３２１により変更を受け付け可能な属性は、このような例に限定されなくてもよい。各ボックス３２１は、位置及び姿勢に代えて又は位置及び姿勢と共に、例えば、力、寸法、状態等、位置及び姿勢以外の他の物理的な属性値の変更を受け付けるように構成されてもよい。更には、制御部１１は、各ボックス３２１により、又は状態画面３２に描画されるモデル上において、各対象物の属性として、各対象物のローカル座標系の基準点の位置及び姿勢の少なくともいずれかの修正を受け付けてもよい。図７Ａ及び図７Ｂの例では、制御部１１は、エンドエフェクタＴ、第１ワークＷ、第２ワークＶの各ローカル座標系（ＣＴ、ＣＷ、ＣＶ）の基準点（Ｔ０、Ｗ０、Ｖ０）の位置及び姿勢の少なくともいずれかの修正を受け付けてもよい。また、各ボックス３２１により変更する対象は、各対象物の物理的な属性値に限られなくてよい。その他の一例として、各ボックス３２１は、相対関係量の変更を直接的に受け付けるように構成されてもよい。

なお、図７Ｂに例示されるように、エンドエフェクタＴが第１ワークＷを保持する場合等、２つ以上の対象物が一体となり、１つの集合体を形成する場合、状態画面３２では、この集合体と他の対象物との相対関係量の修正を受け付けてもよい。この場合、集合体に含まれる１つの対象物の属性を当該集合体の属性として取り扱ってよい。すなわち、状態画面３２では、集合体を代表する１つの対象物と他の対象物との相対関係量の修正を受け付けてもよい。

集合体を代表する１つの対象物は適宜選択されてよい。例えば、図７Ｂの例では、第１ワークＷを第２ワークＶの方に運搬する場面を想定しているため、集合体（エンドエフェクタＴ及び第１ワークＷ）のなかで、この動作に主要な対象物は第１ワークＷである。そのため、図７Ｂの状態画面３２では、第１ワークＷが集合体を代表している。このように、状態画面３２で修正する相対関係量の動作に主要な対象物が、集合体を代表する対象物に選択されてよい。他の対象物も集合体であってよい。

集合体内の各対象物間の相対関係量は適宜設定されてよい。例えば、制御部１１は、他の対象物との相対関係量の修正する状態画面３２において、集合体内の各対象物間の相対関係量の設定又は修正を更に受け付けてもよい。或いは、制御部１１は、集合体内の各対象物間の相対関係量の設定又は修正を別の状態画面３２で受け付けてもよい。集合体内の各対象物間の相対関係量が設定されている場合、上記相対関係量の修正により、集合体を代表する１つの対象物の属性が変更されることに応じて、残りの対象物の属性が、集合体内で設定された各対象物間の相対関係量を満たすように変更されてよい。例えば、図７Ｂの例では、第１ワークＷの位置又は姿勢が変更されることに応じて、エンドエフェクタＴが第１ワークＷを保持した状態を満たすように、エンドエフェクタＴの位置又は姿勢が変更されてよい。制御部１１は、このような一部の対象物の属性の変更を他の対象物に反映する演算をオペレータの操作に応じて適宜行ってよい。

また、本実施形態では、状態画面３２には、４つのボタン（３２３～３２５、３３１）が設けられる。これらのうち２つのボタン（３２３、３２４）は、相対関係量の取り得る範囲を制限するために用いられる。ボタン３２３は、対象物の接触可能な範囲を指定するために用いられる。接触可能な範囲を指定する方法は任意であってよい。例えば、状態画面３２に描画された各対象物のモデル上での領域の指定により、各対象物の接触可能な範囲が指定されてよい。図７Ａの例では、この接触可能な範囲の指定は、エンドエフェクタＴが第１ワークＷを保持する際に、第１ワークＷにおいてエンドエフェクタＴの接触を許可する範囲を決定するために行われてよい。また、図７Ｂの例では、接触可能な範囲の指定は、第２ワークＶにおいて第１ワークＷの配置を許可する範囲を決定するために行われてよい。なお、接触可能な範囲を指定する方法は、このような直接的に指定する方法に限られなくてもよい。接触可能な範囲は、例えば、接触不能な範囲の指定により間接的に指定されてよい。

一方、ボタン３２４は、相対関係量の許容する範囲を指定するために用いられる。相対関係量の許容範囲を指定する方法は任意であってよい。例えば、制御部１１は、ボタン３２４の操作に応じて、指定を受け付ける相対関係量に応じてスライドバーを表示し、スライドバー上で最大値及び最小値の指定を受け付けてもよい。これにより、制御部１１は、相対関係量の許容範囲の指定を受け付けてもよい。図７Ａの例では、この許容範囲の指定は、エンドエフェクタＴが第１ワークＷを保持した時に許容するエンドエフェクタＴ及び第１ワークＷの間の相対関係量の範囲を決定するために行われてよい。また、図７Ｂの例では、この許容範囲の指定は、第２ワークＶ上に第１ワークＷを配置した時に許容する第１ワークＷ及び第２ワークＶの間の相対関係量の範囲を決定するために行われてよい。

なお、上記各ボックス３２１の操作によりいずれかの対象物間の相対関係量が変更された場合等、任意のタイミングで、制御部１１は、各ボタン（３２３、３２４）により指定された各範囲を満たすか否かを判定してもよい。そして、制御部１１は、いずれかの範囲を満たさない場合に、そのことを通知するための警告を状態画面３２上に表示してもよい。

例えば、図７Ａの場面で、第１ワークＷ上で接触可能な範囲が指定された後に、第１ワークＷの接触可能な範囲以外の場所をエンドエフェクタＴが保持するようにエンドエフェクタＴの属性が変更された場合を想定する。この場合、制御部１１は、エンドエフェクタＴが第１ワークＷの接触の許可されていない箇所を保持することを通知するための警告を状態画面３２上に表示してもよい。

また、例えば、図７Ａの場面で、エンドエフェクタＴが第１ワークＷを保持した時に許容するエンドエフェクタＴ及び第１ワークＷの間の相対座標の範囲が指定された後、この範囲を満たさないようにエンドエフェクタＴの属性が変更された場合を想定する。この場合、制御部１１は、許容されていない相対座標でエンドエフェクタＴが第１ワークＷを保持することを通知するための警告を状態画面３２上に表示してもよい。

更に、各対象物間の相対関係量が指定された各範囲の条件を満たさない場合に、制御部１１は、各対象物間の相対関係量を適宜修正してもよい。例えば、制御部１１は、ランダムに又は所定の規則に従って、各対象物間の相対関係量を変更してもよい。相対関係量を変更する所定の規則は、オペレータの指定、プログラム内の設定等により与えられてよい。この場合、制御部１１は、接触可能な範囲及び許容範囲の条件を満たす複数の候補を算出し、算出された複数の候補のうち最も変更量の少ない（すなわち、オペレータの指定した相対関係量に最も近い）候補を状態画面３２上で提示してもよい。そして、制御部１１は、状態画面３２において、この候補を採用するか否かの選択を受け付けてもよい。

また、制御部１１は、任意のタイミングで、状態画面３２において指定された相対関係量により各対象物間で物理的な干渉が生じないかどうかを判定してもよい。本実施形態では、制御部１１は、ＣＡＤ情報１２３に基づいて、各対象物のモデルが物理的に取り得ない状態（例えば、ある対象物のモデルが他の対象物のモデルに埋没している）になっていないかどうかを判定してもよい。例えば、図７Ａの場面では、制御部１１は、エンドエフェクタＴと第１ワークＷとの間で干渉が生じないかどうかを判定してもよい。また、図７Ｂの場面では、制御部１１は、エンドエフェクタＴと第２ワークＶとの間、及び第１ワークＷと第２ワークＶとの間の少なくとも一方で干渉が生じないかどうかを判定してもよい。

更に、制御部１１は、上記状態遷移図で指定された目標状態の遷移を考慮し、状態画面３２で表示される対象の目標状態で相対関係量を指定する各対象物と対象の目標状態の後に遷移する目標状態（例えば、次に遷移する目標状態）で相対関係量を指定する各対象物との間で物理的な干渉が生じないかどうかを判定してもよい。例えば、図７Ｂの目標状態が、図７Ａの目標状態に次に遷移する目標状態であると想定する。この場合、状態遷移情報１２０において、第１ワークＷを介して、エンドエフェクタＴと第２ワークＶとの相対関係量が指定される。制御部１１は、図７Ａの状態画面３２が表示されている際に、状態遷移情報１２０及びＣＡＤ情報１２３に基づいて、エンドエフェクタＴと第２ワークＶとの間で干渉が生じないかどうかを判定してもよい。これにより、後に遷移する目標状態に配慮した上で、対象の目標状態における相対関係量を調整することができる。

それぞれの場面で干渉が生じると判定した場合、制御部１１は、状態画面３２上で、干渉の生じる対象物を示すと共に、当該干渉の発生を通知するための警告を表示してもよい。また、上記と同様に、制御部１１は、干渉の生じる各対象物間の相対関係量を適宜修正してもよい。この場合、制御部１１は、干渉の生じない相対関係量の複数の候補を算出し、算出された複数の候補のうち最も変更量の少ない候補を状態画面３２上で提示してもよい。そして、制御部１１は、状態画面３２において、この候補を採用するか否かの選択を受け付けてもよい。

ボタン３２５は、ロボット装置２の選択に用いられる。タスクは、複数のロボット装置２により遂行されてよい。この場合に、制御部１１は、状態画面３２において、複数のロボット装置２から、目標状態間の遷移を達成する遷移作業に使用する少なくとも１つのロボット装置２の選択を更に受け付けてよい。ボタン３２５は、この遷移作業に使用する少なくとも１つのロボット装置２の選択に用いられる。

具体的には、制御部１１は、ボタン３２５の操作に応じて、表示される目標状態を達成する遷移作業に使用する少なくとも１つのロボット装置２の選択を受け付けることができる。使用するロボット装置２の選択方法は、実施の形態に応じて適宜決定されてよい。一例として、制御部１１は、ボタン３２５の操作に応じて、表示される目標状態を達成する遷移作業に使用可能なロボット装置２の一覧を表示してもよい。そして、制御部１１は、表示された一覧により、少なくとも１つのロボット装置２の選択を受け付けてもよい。

遷移作業に使用するロボット装置２が決定されていなかった場合には、この操作により、当該遷移作業に使用するロボット装置２を指定することができる。また、遷移作業に使用するロボット装置２が予め決定されている場合には、この操作により、当該遷移作業に使用するロボット装置２を修正（変更）することができる。この状態画面３２において、オペレータは、各目標状態を確認しながら、各目標状態の達成に適切なロボット装置２を選択することができる。その結果、複数のロボット装置２が協働するタスクについて、適切にタスクを遂行可能なように各ロボット装置２の作業の割り当てをすることができる。なお、使用するロボット装置２の修正に応じて、制御部１１は、変更前のロボット装置２に関する対象物から変更後のロボット装置２に関する対象物に、状態画面３２に描画するモデルを変更してもよい。

ボタン３３１は、状態遷移画面３０に戻るために用いられる。上記ステップＳ１０４では、制御部１１は、ボタン３３１の操作に応じて、状態遷移画面３０への遷移操作を受け付けたと判定する。そして、ステップＳ１０２において、制御部１１は、図６に例示される状態遷移画面３０を表示装置１５に再度表示し、ステップＳ１０３以降の処理を実行する。

なお、初期状態を表現するノード３０１も、各目標状態を表現するノード３０２と同様に取り扱われてよい。すなわち、制御部１１は、状態遷移画面３０において、ノード３０１の選択を受け付けてもよい。そして、ノード３０１が選択されたことに応じて、制御部１１は、初期状態における複数の対象物間の相対関係を示す状態画面３２を表示装置１５に表示してもよい。そして、状態画面３２において、初期状態における複数の対象物間の相対関係に関する修正を受け付けてもよい。また、状態画面３２には、各ボタン（３２３～３２５、３３１）の他、相対関係量を修正する対象となる対象物を選択するためのボタンが設けられてもよい。例えば、図７Ａの例では、このボタンの操作に応じて、状態画面３２に第２ワークＶのモデルを登場させて、第２ワークＶとの相対関係量の修正を受け付けてもよい。

図８は、本実施形態に係るシミュレーション画面３４の一例を模式的に例示する。上記ステップＳ１０４では、制御部１１は、状態遷移画面３０におけるボタン３１４の操作に応じて、シミュレーション画面３４への遷移操作を受け付けたと判定する。そして、ステップＳ１０２において、制御部１１は、図８に例示されるシミュレーション画面３４を表示装置１５に表示する。シミュレーション画面３４の構成は任意でよい。本実施形態では、制御部１１は、シミュレーション画面３４において、ＣＡＤ情報１２３及び環境情報１２５に基づいて、初期状態におけるロボット装置２及び各対象物のモデルを描画する。環境情報１２５には、状態遷移情報１２０と同様に、ロボット装置２の属性値、各対象物の属性値等の初期状態を再現可能な情報が含まれる。

シミュレーション画面３４には、３つのボタン（３４１、３４３、３５１）が設けられている。ボタン３４１は、初期状態におけるロボット装置２及び各対象物の属性を設定するのに用いられる。ロボット装置２の属性は、例えば、ロボットの種類、関節の初期角度、設置位置、エンドエフェクタを取り付ける位置等に関するものであってよい。各対象物の属性は、例えば、設置位置、設置角度（姿勢）等に関するものであってよい。初期状態の設定方法は、実施の形態に応じて適宜決定されてよい。一例として、制御部１１は、ボタン３４１の操作に応じて、上記状態画面３２と同様に、変更可能な属性に対応するボックスを表示し、表示されたボックスに対する入力により、初期状態におけるロボット装置２及び各対象物の属性値の指定を受け付けてもよい。或いは、制御部１１は、シミュレーション画面３４上でのロボット装置２及び各対象物のモデルの操作に応じて、初期状態におけるロボット装置２及び各対象物の属性値の指定を受け付けてもよい。初期状態が予め決定されていなかった場合には、この操作により、初期状態におけるロボット装置２及び各対象物の属性を指定することができる。一方、初期状態が予め決定されている場合、この操作により、初期状態におけるロボット装置２及び各対象物の属性を修正することができる。

ボタン３４３は、シミュレーションの実行を指示するのに用いられる。制御部１１は、ボタン３４３の操作に応じて、シミュレータ部１７６として動作し、状態遷移情報１２０及び環境情報１２５に基づいて、ロボット装置２がタスクを遂行する過程のシミュレーションを行う。制御部１１は、上記動作制御部１７９の動作と同様に、初期状態から最終目標状態まで各目標状態を順に達成するように、ロボット装置２の動作をシミュレーションする。シミュレーションは任意の方法で行われてよい。シミュレーションには、公知のソフトウェアが用いられてよい。なお、当該シミュレーションは、上記ボタン３１３の操作により実機の動作を制御する際にも実行されてよい。

ボタン３５１は、上記ボタン３３１と同様に、状態遷移画面３０に戻るために用いられる。上記ステップＳ１０４では、制御部１１は、ボタン３５１の操作に応じて、状態遷移画面３０への遷移操作を受け付けたと判定する。そして、ステップＳ１０２において、制御部１１は、図６に例示される状態遷移画面３０を表示装置１５に再度表示し、ステップＳ１０３以降の処理を実行する。この際に、制御部１１は、上記ボタン３１５を有効化する。

図９は、本実施形態に係るシーケンス画面３６の一例を模式的に例示する。上記ステップＳ１０４では、制御部１１は、状態遷移画面３０におけるボタン３１５の操作に応じて、シーケンス画面３６への遷移操作を受け付けたと判定する。そして、ステップＳ１０２において、制御部１１は、第３表示部１７７として動作し、図９に例示されるシーケンス画面３６を表示装置１５に表示する。なお、シーケンス画面３６を表示するタイミングは、このような例に限定されなくてもよい。その他の一例として、制御部１１は、上記ボタン３４３の操作によるシミュレーションの実行の完了に応じて、シーケンス画面３６を自動的に表示装置１５に表示してもよい。

本実施形態に係るシーケンス画面３６は、タイムライン３６１及び各ブロック（３６３１～３６３４、３６４１～３６４３）を含んでいる。タイムライン３６１は、タスクの遂行を開始してからの経過時間を表現する。各ブロック（３６３１～３６３４、３６４１～３６４３）は、タイムライン３６１において、目標状態間の遷移を達成する遷移作業をロボット装置２がシミュレーション上で実行する時間区間を表現する。上記のとおり、タスクは、複数のロボット装置２により遂行されてよく、遷移作業には、複数のロボット装置２の少なくともいずれかが使用されてよい。これに応じて、各ブロック（３６３１～３６３４、３６４１～３６４３）は、対応する遷移作業に使用するロボット装置２に関連付けられて配置されてよい。これにより、各遷移作業を遂行するロボット装置２の視認性を高めることができる。

図９の例では、タスクの遂行に２台のロボット装置２を利用する場面を想定している。説明の便宜上、第１ロボット及び第２ロボットとそれぞれを称する。加えて、タスクには、図６に示されるとおり、４つの目標状態が設定されており、第２目標状態から第３目標状態への遷移作業を第２ロボットが担当し、残りの遷移作業を第１ロボットが担当する場面を想定している。図９に示されるとおり、説明の便宜上、各遷移作業の動作を「第１動作」、「第２動作」等と順に称する。

各ブロック３６３１～３６３４は、第１ロボットに関連付けられ上段に配置されている。一方、各ブロック３６４１～３６４３は、第２ロボットに関連付けられ下段に配置されている。ブロック（３６３１、３６３２、３６４３）は、各遷移作業に関する各動作を第１ロボットが実行していることを示す。これに対応して、ブロック（３６４１、３６４３）は、各動作を第１ロボットが実行している間、第２ロボットが待機していることを示す。同様に、ブロック３６４２は、第２目標状態から第３目標状態への遷移作業に関する第３動作を第２ロボットが実行していることを示す。これに対応して、ブロック３６３３は、第３動作を第２ロボットが実行している間、第１ロボットが待機していることを示す。なお、図９の例では、１台のロボット装置２が各動作を担当している。しかしながら、各動作に使用するロボット装置２の数は、このような例に限定されなくてもよく、２台以上であってもよい。

このシーケンス画面３６を表示した後、上記ステップＳ１０３では、制御部１１は、第３受付部１７８として動作し、シーケンス画面３６において、各ブロック（３６３１～３６３４、３６４１～３６４３）を関連付けるロボット装置２を変更する操作により、対応する遷移作業に使用されるロボット装置２の変更を受け付けてもよい。一例として、制御部１１は、オペレータから入力装置１４を介して、ブロック３６４２を下段から上段に移動する操作、或いはブロック３６３３を上段から下段に移動する操作を受け付けたと想定する。この場合、制御部１１は、第３動作に使用するロボット装置２を第２ロボットから第１ロボットに変更する。これにより、対応する遷移作業に使用するロボット装置２を修正することができる。このシーケンス画面３６において、オペレータは、シミュレーションの結果を確認しながら、各遷移作業の遂行に適切なロボット装置２を選択することができる。その結果、複数のロボット装置２が協働するタスクについて、適切にタスクを遂行可能なように各ロボット装置２の作業の割り当てをすることができる。

本実施形態に係るタイムライン３６１には、インジゲータ３６２が設けられる。また、本実施形態に係るシーケンス画面３６には、２つの表示領域（３６７、３６８）が設けられる。オペレータは、インジゲータ３６２を操作することで、タイムライン３６１上で任意の時刻を指定することができる。表示領域３６７には、インジゲータ３６２で指定された時刻において、シミュレーションで再現されたロボット装置２及び各対象物の状態が表示される。一方、表示領域３６８には、インジゲータ３６２で指定された時刻において、シミュレーションで再現された各対象物の相対関係の状態が表示される。

更に、本実施形態に係るシーケンス画面３６には、ボタン３７１が設けられる。ボタン３７１は、上記ボタン３３１等と同様に、状態遷移画面３０に戻るために用いられる。上記ステップＳ１０４では、制御部１１は、ボタン３７１の操作に応じて、状態遷移画面３０への遷移操作を受け付けたと判定する。そして、ステップＳ１０２において、制御部１１は、図６に例示される状態遷移画面３０を表示装置１５に再度表示し、ステップＳ１０３以降の処理を実行する。

オペレータは、各画面（３０、３２、３４、３６）に表示される内容を確認しながら、入力装置１４を介して各画面（３０、３２、３４、３６）を操作することで、タスクを遂行する過程のおけるロボット装置２及び各対象物の状態を編集することができる。この編集において受け付けた初期状態に関する修正は、当該修正を受け付けた後の任意のタイミングで環境情報１２５に反映される。同様に、目標状態の遷移に関する修正、各目標状態における複数の対象物間の相対関係に関する修正、及び使用するロボット装置２の修正は、当該修正を受け付けた後の任意のタイミングで状態遷移情報１２０に反映される。修正の反映は、新たにデータを生成すること又は既存のデータを更新することにより構成されてよい。状態遷移情報１２０及び環境情報１２５は、ＸＭＬ（Extensible Markup Language）等の言語により構造化されていてもよい。この場合、制御部１１は、構造化された状態遷移情報１２０及び環境情報１２５を構文解析することで、上記状態遷移図及び各状態の情報を取得することができる。

なお、各画面（３０、３２、３４、３６）の構成は、上記の例に限定されなくてもよい。各画面（３０、３２、３４、３６）の構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加がされてよい。例えば、各画面（３０、３２、３４、３６）には、編集作業を終了するためのボタン（不図示）が更に設けられてもよい。制御部１１は、このボタンの操作に応じて、ステップＳ１０５において、編集作業を終了すると判定し、本動作例に係る処理手順を終了してもよい。

［特徴］
以上のとおり、本実施形態では、上記ステップＳ１０２により、状態遷移図を示す状態遷移画面３０及び各目標状態における相対関係を示す状態画面３２の２種類の画面が表示装置１５に表示される。状態遷移画面３０によれば、ロボット装置２がタスクを遂行する過程において、当該タスクに関与する複数の対象物それぞれの達成すべき相対関係を規定する目標状態の系列が適切に設定されているか否かを確認することができる。更には、その目標状態の系列に不備がある場合には、ステップＳ１０３において、当該目標状態間の遷移に関する修正を行うことができる。一方、状態画面３２によれば、各目標状態について、複数の対象物の相対関係が適切に規定されているか否かを確認することができる。更には、その相対関係に不備がある場合に、ステップＳ１０３において、当該相対関係に関する修正を行うことができる。したがって、表示される状態遷移画面３０及び状態画面３２によれば、タスクを遂行する過程全体の流れ及び個々の目標状態それぞれの確認及び設定を行うことができる。これにより、ロボット装置２がタスクを遂行する過程における複数の対象物の相対関係を設定する作業の効率性を高めることができる。

また、本実施形態では、上記ステップＳ１０２により、シミュレーションの結果を示すシーケンス画面３６が表示装置１５に表示される。このシーケンス画面３６によれば、シミュレーションの結果に基づいて、設定された目標状態の系列により対象のタスクを適切に遂行可能か否か確認することができる。加えて、この確認結果をもとに、上記状態遷移画面３０及び状態画面３２において、各目標状態を決定することで、ロボット装置２が対象のタスクを遂行する過程における複数の対象物間の相対関係を、対象のタスクに応じて適切に設定することができるようになる。更に、本実施形態では、シーケンス画面３６において、シミュレーションの結果が、タイムライン３６１及び各ブロック（３６３１～３６３４、３６４１～３６４３）により表現されている。これにより、ロボット装置２の動作及び各対象物間の相対関係の変化の視認性を高めることができ、設定された目標状態の系列により対象のタスクを適切に遂行可能か否かの確認をしやすくすることができる。

§４ 変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良又は変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。

＜４．１＞
上記実施形態では、制御部１１は、情報提示装置１の備える表示装置１５に各画面（３０、３２、３４、３６）を表示する。しかしながら、各画面（３０、３２、３４、３６）を表示する表示装置は、このような例に限定されなくてもよい。制御部１１は、他のコンピュータの備える表示装置に各画面（３０、３２、３４、３６）を表示してもよい。

＜４．２＞
上記実施形態において、各画面（３０、３２、３４、３６）の各操作は適宜省略されてよい。各操作の方法は、実施の形態に応じて適宜変更されてよい。例えば、上記状態画面３２における、使用するロボット装置２を変更する操作は省略されてよい。この場合、状態画面３２からボタン３２５は省略されてよい。また、例えば、状態画面３２において、２つのボタン（３２３、３２４）のうちの少なくとも一方は省略されてよい。また、例えば、シーケンス画面３６における、使用するロボット装置２を変更する操作は省略されてよい。この場合、情報提示装置１のソフトウェア構成から第３受付部１７８は省略されてよい。

シーケンス画面３６において、各ブロック（３６３１～３６３４、３６４１～３６４３）の配置は、対応する遷移作業に使用するロボット装置２に関連付けられていなくてもよい。この場合、ブロックの色等の他の方法により、各ブロック（３６３１～３６３４、３６４１～３６４３）とロボット装置２との対応関係が表現されてもよい。シミュレーションの結果を確認可能であれば、シーケンス画面３６は、上記タイムライン３６１及び各（３６３１～３６３４、３６４１～３６４３）用いた方法以外の方法で、シミュレーションの結果を示してもよい。

上記実施形態において、シミュレーションの実行は省略されてよい。この場合、上記シミュレーション画面３４及びシーケンス画面３６の表示は省略されてよい。状態遷移画面３０において、各ボタン（３１４、３１５）は省略されてよい。情報提示装置１のソフトウェア構成からシミュレータ部１７６及び第３表示部１７７は省略されてよい。また、上記実施形態において、実機の動作の実行は省略されてよい。この場合、上記状態遷移画面３０において、ボタン３１３は省略されてよい。情報提示装置１のソフトウェア構成から動作制御部１７９は省略されてよい。

１…情報提示装置、
１１…制御部、１２…記憶部、１３…外部インタフェース、
１４…入力装置、１５…表示装置、１６…ドライブ、
９１…記憶媒体、８１…情報提示プログラム、
１２０…状態遷移情報、１２３…ＣＡＤ情報、
１２５…環境情報、
１７１…情報取得部、
１７２…第１表示部、１７３…第１受付部、
１７４…第２表示部、１７５…第２表示部、
１７６…シミュレータ部、
１７７…第３表示部、１７８…第３受付部、
１７９…動作制御部、
２…ロボット装置、
Ｔ…エンドエフェクタ（対象物）、
Ｔ０…基準点、ＣＴ…ローカル座標系、
Ｗ…第１ワーク（対象物）、
Ｗ０…基準点、ＣＷ…ローカル座標系、
Ｖ…第２ワーク（対象物）、
Ｖ０…基準点、ＣＶ…ローカル座標系、
ＲＣ１・ＲＣ２…相対座標、
３０…状態遷移画面、
３０１・３０２…ノード、３０５…エッジ、
３１１～３１６…ボタン、
３２…状態画面（第２画面）、
３２１…ボックス、
３２５・３３１…ボタン、
３４…シミュレーション画面、
３４１・３４３・３５１…ボタン、
３６…シーケンス画面（第３画面）、
３６１…タイムライン、３６２…インジゲータ、
３６３１～３６３４…ブロック、
３６４１～３６４３…ブロック、
３６７・３６８…表示領域、
３７１…ボタン

Claims (9)

1. ロボット装置により遂行されるタスクの開始から終了までの過程において遷移する目標状態の系列を示す状態遷移情報を取得する情報取得部であって、前記系列に含まれる各目標状態は、前記タスクにおける前記ロボット装置の操作の対象である複数の対象物間の相対的かつ物理的な関係により規定される、情報取得部と、
   取得された状態遷移情報に基づいて、前記目標状態の系列を表す状態遷移図であって、前記各目標状態をそれぞれ表現する複数のノード、及び目標状態間の遷移を表現するエッジを含む状態遷移図を示す第１画面を表示装置に表示する第１表示部と、
   前記第１画面において、前記複数のノードのうちのいずれかの選択、及び前記目標状態の遷移に関する修正を受け付ける第１受付部と、
   前記複数のノードのうちのいずれかの選択に応じて、選択された前記ノードに対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す第２画面を前記表示装置に表示する第２表示部と、
   前記第２画面において、表示された前記目標状態における前記複数の対象物間の相対的かつ物理的な関係に関する修正を受け付ける第２受付部と、
   を備える、
   情報提示装置。
2. 前記情報取得部は、前記ロボット装置及び前記各対象物の初期状態を規定する環境情報を更に取得し、
   前記情報提示装置は、
   取得された前記状態遷移情報及び前記環境情報に基づいて、前記ロボット装置が前記タスクを遂行する過程のシミュレーションを行うシミュレータ部と、
   前記シミュレーションの結果を示す第３画面を前記表示装置に表示する第３表示部と、
   を更に備える、
   請求項１に記載の情報提示装置。
3. 前記第３画面は、前記タスクの遂行を開始してからの経過時間を表現するタイムライン、及び前記タイムラインにおいて、前記目標状態間の遷移を達成する遷移作業を前記ロボット装置が前記シミュレーション上で実行する時間区間を表現するブロックを含む、
   請求項２に記載の情報提示装置。
4. 前記タスクは、複数のロボット装置により遂行され、
   前記目標状態間の遷移を達成する遷移作業には、前記複数のロボット装置の少なくともいずれかが使用され、
   前記ブロックは、対応する遷移作業に使用されるロボット装置に関連付けられて配置される、
   請求項３に記載の情報提示装置。
5. 前記第３画面において、前記ブロックを関連付けるロボット装置を変更する操作により、対応する遷移作業に使用されるロボット装置の変更を受け付ける第３受付部を更に備える、
   請求項４に記載の情報提示装置。
6. 前記タスクは、複数のロボット装置により遂行され、
   前記第２受付部は、前記第２画面において、前記複数のロボット装置から、前記目標状態間の遷移を達成する遷移作業に使用する少なくとも１つのロボット装置の選択を更に受け付ける、
   請求項１から５のいずれか１項に記載の情報提示装置。
7. 前記ロボット装置は、マニピュレータであり、
   前記複数の対象物は、前記マニピュレータのエンドエフェクタ及び前記マニピュレータによる移動の対象となる製品の部品を含む、
   請求項１から６のいずれか１項に記載の情報提示装置。
8. コンピュータが、
   ロボット装置により遂行されるタスクの開始から終了までの過程において遷移する目標状態の系列を示す状態遷移情報を取得するステップであって、前記系列に含まれる各目標状態は、前記タスクにおける前記ロボット装置の操作の対象である複数の対象物間の相対的かつ物理的な関係により規定される、ステップと、
   取得された状態遷移情報に基づいて、前記目標状態の系列を表す状態遷移図であって、前記各目標状態をそれぞれ表現する複数のノード、及び目標状態間の遷移を表現するエッジを含む状態遷移図を示す第１画面を表示装置に表示するステップと、
   前記第１画面において、前記複数のノードのうちのいずれかの選択、及び前記目標状態の遷移に関する修正を受け付けるステップと、
   前記複数のノードのうちのいずれかの選択に応じて、選択された前記ノードに対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す第２画面を前記表示装置に表示するステップと、
   前記第２画面において、表示された前記目標状態における前記複数の対象物間の相対的かつ物理的な関係に関する修正を受け付けるステップと、
   を実行する、
   情報提示方法。
9. コンピュータに、
   ロボット装置により遂行されるタスクの開始から終了までの過程において遷移する目標状態の系列を示す状態遷移情報を取得するステップであって、前記系列に含まれる各目標状態は、前記タスクにおける前記ロボット装置の操作の対象である複数の対象物間の相対的かつ物理的な関係により規定される、ステップと、
   取得された状態遷移情報に基づいて、前記目標状態の系列を表す状態遷移図であって、前記各目標状態をそれぞれ表現する複数のノード、及び目標状態間の遷移を表現するエッジを含む状態遷移図を示す第１画面を表示装置に表示するステップと、
   前記第１画面において、前記複数のノードのうちのいずれかの選択、及び前記目標状態の遷移に関する修正を受け付けるステップと、
   前記複数のノードのうちのいずれかの選択に応じて、選択された前記ノードに対応する目標状態において規定された複数の対象物間の相対的かつ物理的な関係を示す第２画面を前記表示装置に表示するステップと、
   前記第２画面において、表示された前記目標状態における前記複数の対象物間の相対的かつ物理的な関係に関する修正を受け付けるステップと、
   を実行させるための、
   情報提示プログラム。