JP7456552B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本開示は、ロボットの動作計画を修正する処理を行うための情報処理装置、修正システム、情報処理方法及び非一時的なコンピュータ可読媒体に関する。

ロボットの最適経路に沿った動作を実機で再現した際、本来人が想定した動作と異なる挙動を示すことがある。例えば、アームの手先が複数の障害物を回避するような最適経路を生成した場合、アームの手先位置以外の部分が衝突する、アームの姿勢変化の大きさによる過負荷がかかってしまうといったことが想定される。また、アームが何かしらの物体を把持したまま動作を行う場合、把持している物体が周囲の人、動物、物体に衝突するといった状況が発生する可能性がある。このようにロボットの最適な動作計画が生成された後、その動作を可視化し、その動作を人が修正できるような機能が必要である。

特許文献１には、オフラインプログラミングにより作成したロボット制御プログラムのポジション変数を修正する変数修正方法が開示されている。特許文献２には、パレタイズシステムのように選定入力されたプログラムによりロボットを駆動制御し、このロボットにより所定の製品（以下、ワークという）を取り扱うロボットシステムが開示されている。特許文献３には、ロボットシミュレータを用いて産業用ロボットの動作をシミュレートすることによりプログラミングを行なうロボット動作のシミュレーション方法が開示されている。特許文献４には、ロボットシミュレータを用いて産業用ロボットの動作をシミュレートすることによりプログラミングを行なうロボット動作のシミュレーション方法が開示されている。

特開昭６２－１０６５０７号公報 特開平０７－２１４４８５号公報 特開平０８－３２８６３２号公報 特開２０１３－１３６１２３号公報

しかしながら、上記特許文献１～４に係る技術は、ロボットの動作シーケンスを修正する際、ロボットの動作空間内の物体に関する属性を適切に取得することができない。こうした属性は、ロボットの動作の制約条件となり得るが、こうした物体に関する属性の一部は、カメラなどの各種センサによっても正確に判断することが難しい場合がある。

本開示は、このような問題点を解決するためになされたものであり、ロボットの動作シーケンスを修正するにあたって、ロボットの動作空間内の物体の属性を取得可能な情報処理装置、修正システム、情報処理方法等を提供することを目的の１つとする。

本開示の第１の態様にかかる情報処理装置は、
ロボットに対する動作シーケンスを修正するための入力を受け付ける入力受付部と、
前記ロボットの動作空間内の物体又は仮想物体の情報を表す物体情報を取得する物体情報取得部と、
前記入力受付部を介した前記入力に基づいて、前記物体又は前記仮想物体に関する属性情報を取得する属性情報取得部と、
を備える。

本開示の第２の態様にかかる修正システムは、
ロボットの動作シーケンスを表示するシーケンス表示部と、
前記表示結果に対して、ロボットに対する動作シーケンスを修正するための入力を受け付ける入力受付部と、
前記入力に基づいて、前記動作シーケンスの制御信号を前記ロボットに送信する制御信号処理部と、
前記ロボットの動作空間内の物体又は仮想物体の情報を表す物体情報を取得する物体情報取得部と、
前記入力受付部を介した前記入力に基づいて、前記物体又は前記仮想物体に関する属性情報を取得する属性情報取得部と、
前記物体情報と、前記属性情報を結合し、前記物体情報と前記属性情報との組み合わせた属性信号を生成する、属性信号生成部と、
前記属性信号生成部によって生成された、物体と属性の組み合わせの情報を有する前記属性信号を受信し、前記属性信号と、保存している記憶情報に基づいて、ロボットの動作空間を示す抽象状態を修正する修正情報を生成する、属性情報処理部を有する。

本開示の第３の態様にかかる情報処理方法は、
ロボットに対する動作シーケンスを修正するための入力を受け付け、
前記ロボットの動作空間内の物体又は仮想物体の情報を表す物体情報を取得し、
前記入力に基づいて、前記物体又は前記仮想物体に関する属性情報を取得する。

本開示の第４の態様にかかるプログラムが格納された非一時的コンピュータ可読媒体は、前記プログラムが
ロボットに対する動作シーケンスを修正するための入力を受け付ける処理と、
前記ロボットの動作空間内の物体又は仮想物体の情報を表す物体情報を取得する処理と、
前記入力に基づいて、前記物体又は前記仮想物体に関する属性情報を取得する処理と、
をコンピュータに実行させる。

本開示の第５の態様にかかる情報処理装置は、ロボットが動作する空間と、前記空間における物体または仮想物体についての複数の属性候補を表示し、
前記複数の属性候補のうち、選択された属性候補を前記物体または仮想物体の属性に設定する。

本開示により、ロボットの動作空間内の物体の属性を取得可能な情報処理装置、修正システム、及び情報処理方法等を提供することができる。

第１実施形態にかかる情報処理装置の機能ブロック図を示す。 第１実施形態にかかる情報処理方法を示すフローチャートである。 第２実施形態にかかる修正装置の機能ブロック図を示す。 第２実施形態にかかる修正方法を示すフローチャートである。 ロボット制御システムの構成を示す。 ロボットコントローラのハードウェア構成を示す。 シーケンス処理装置のハードウェア構成を示す。 アプリケーション情報のデータ構造の一例を示す。 ロボットコントローラの機能ブロック図の一例を示す。 シーケンス処理装置の機能ブロック図の一例を示す。 動作空間の俯瞰図の一例を示す。 第３実施形態におけるシーケンス処理前の計画表示画面の一例を示す。 第３実施形態におけるシーケンス処理中の計画表示画面の一例を示す。 第３実施形態におけるシーケンス処理後の計画表示画面の一例を示す。 第３実施形態におけるシーケンス処理後の計画表示画面の一例を示す。 目標論理式生成部のブロックの一例を示す。 第３実施形態においてシーケンス処理装置が実行する修正処理の概要を示すフローチャートの一例である。 第４実施形態におけるシーケンス処理中の計画表示画面の一例を示す。 第５実施形態におけるシーケンス処理中の計画表示画面の一例を示す。

以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。

＜第１実施形態＞
図１は、第１実施形態にかかる情報処理装置の機能ブロック図を示す。
情報処理装置１０は、プロセッサおよびメモリ等を含むコンピュータにより実現される。情報処理装置１０は、ユーザがロボットに対する動作シーケンスを修正する際に、属性情報を取得するために使用され得る。

情報処理装置１０は、入力受付部７２、物体情報取得部７３および属性情報取得部７４を備える。入力受付部７２は、ロボットに対する動作シーケンスを修正するためのユーザからの入力を受け付ける。入力受付部７２は、マウス、キーボード、タッチパネル、スタイラスペン又はマイクロフォンなど入力装置を介して、ユーザからの入力を受け付けることができる。

物体情報取得部７３は、ロボットの動作空間内の物体又は仮想物体に関する情報を取得する。本明細書において、物体は、実際の物体（例えば、実際の障害物、ペットボトル、ドア）を指す。仮想物体は、ロボットの動作空間内に、ユーザによって設定された（例えば、描かれた）仮想的な物体（例えば、仮想障害物）を指す。物体情報取得部７３は、入力受付部７２を介したユーザからの入力に基づいて、ロボットの動作空間内の物体情報を取得してもよいし、カメラなどの各種センサにより、ロボットの動作空間内の物体情報を取得してもよい。例えば、物体情報取得部７３は、画像認識技術を利用して、カメラによる撮影画像から、ロボットの動作空間内の物体情報（例えば、位置情報、形状、物体の種類）を取得することができる。他の実施形態では、例えば、物体又は仮想物体に関する物体情報は、ディスプレイに表示された物体又は仮想物体を、ユーザが選択することによって（すなわち、そのユーザ入力を受け付ける入力受付部７２を介して）、当該物体又は仮想物体に関する情報を記憶した記憶部から取得され得る。

属性情報取得部７４は、入力受付部７２を介したユーザからの入力に基づいて、物体に関する属性情報を取得する。属性情報は、物体の属性を示す情報であり、より具体的には、物体とロボットとの関係に依存する情報であり得る。いくつかの実施形態では、ロボットが、ユーザによって描かれた仮想物体に接触又は仮想物体を通過することができない場合、仮想物体に「障害物」という属性が付与され、ロボットが、当該仮想物体を経由点として通過することができる場合、当該仮想物体に「経由点」という属性が付与される場合がある。また、他の実施形態では、ロボットが物体の一例であるふたに関連するタスク（例えば、開く）を実行できない場合、ふたに「Ｃｌｏｓｅｄ」という属性が付与され、ロボットがふたに関連するタスク（例えば、開く）を実行できる場合、ふたに「Ｏｐｅｎ」という属性が付与される場合がある。さらに、他の実施形態では、例えば、ロボットが物体を移動させることができない場合、物体には「障害物」という属性情報が付与され、ロボットが物体を移動させることが可能である場合は、物体には、「対象物」という属性情報が付与される場合がある。すなわち、属性情報は、物体に対するロボットの制約条件を規定するものである。こうした属性情報の一部は、カメラなどの各種センサによっても正確に判断できないものを含み得る。

物体情報取得部７３により取得された物体又は仮想物体に関する情報に関連付けられた選択可能な複数の属性情報がユーザに提示され、ユーザの選択により、１の属性が取得される。

情報処理装置１０は、様々な物体情報および物体ごとに関連付けられた選択可能な複数の属性情報を記憶する記憶部を備えてもよいし、ネットワークを介してそのような記憶部と接続されていてもよい。

図２は、第１実施形態にかかる情報処理方法を示すフローチャートである。
入力受付部７２は、ロボットに対する動作シーケンスを修正するためのユーザからの入力を受け付ける（ステップＳ１ａ）。物体情報取得部７３は、ロボットの動作空間内の物体又は仮想物体の情報を取得する（ステップＳ２ａ）。属性情報取得部７４は、ユーザからの入力に基づいて、物体又は仮想物体に関する属性情報を取得する（ステップＳ３ａ）。

以上説明した第１実施形態によれば、ロボットに対する動作シーケンスを修正するにあたり、ロボットの動作空間内の物体に関する属性を適切に取得することができる。

＜第２実施形態＞
図３は、第２実施形態にかかる修正装置３の機能ブロック図を示す。修正装置３は、プロセッサおよびメモリ等を含むコンピュータにより実現される。修正装置３は、ユーザが、表示されたロボットに対する動作シーケンスを修正するために使用され得る。修正装置３は、後述するロボットコントローラと協働して使用され得る。図３に示すように、修正装置３は、制御信号処理部７１、入力受付部７２、物体情報取得部７３、属性情報取得部７４、属性信号生成部７５、及びシーケンス表示部７６を有する。修正装置３は、第１実施形態に係る情報処理装置１０の一例である。

制御信号処理部７１は、ロボットコントローラから制御信号を受信した際に、サブタスクシーケンスの計画を表示するための信号を生成し、シーケンス表示部７６に供給する。また、制御信号処理部７１は、ロボットコントローラから制御信号を受信した際に、ユーザからの入力を受け付けるための入力受付信号を生成し、入力受付部に供給する。さらに、制御信号処理部７１は、入力受付部７２からロボットを動作させるための信号を受信すると、サブタスクシーケンスを示す制御信号をロボットに送信する。

シーケンス表示部７６は、ロボットコントローラから受け取った制御信号をもとに、サブタスクシーケンスを表示する。

入力受付部７２は、入力装置を介したユーザからの入力を受け付ける。入力受付部７２は、動作空間内における仮想物体の描画や、物体若しくは仮想物体の選択、物体及び描画した仮想物体の属性の変更といったロボット動作シーケンスの変更に必要な操作をユーザ入力として受け付ける。

物体情報取得部７３は、ユーザが、入力装置を用いて、表示された動作空間内の物体若しくは仮想物体から所望の物体若しくは仮想物体を選択すると、当該物体若しくは仮想物体に関する物体情報を取得する。物体若しくは仮想物体に関する物体情報は、予め、修正装置３の内部又は修正装置３に接続された記憶部に記憶されている。

属性情報取得部７４は、ユーザが、入力装置を用いて、上記選択された物体についての属性を付与すると、当該物体に関する属性情報を取得する。例えば、前述したように、ユーザが、入力装置を用いて、表示された動作空間内の物体若しくは仮想物体から所望の物体若しくは仮想物体を選択すると、当該所望の物体若しくは仮想物体に関連付けられた複数の属性が表示装置（例えば、ディスプレイ）に選択可能に表示されてもよい。その後、ユーザが、入力装置を用いて、複数の属性から一の属性を選択すると、属性情報取得部７４は、当該属性情報を取得する。

属性信号生成部７５は、前述した物体情報と、属性情報とに基づき、取得した物体の情報と、取得した属性の情報を結合した情報を示す属性信号を生成し、ロボットコントローラに供給する。

図４は、第２実施形態にかかる修正方法を示すフローチャートである。
シーケンス表示部７６は、ロボットコントローラから受け取った制御信号をもとに、ロボットに対する動作シーケンス（サブタスクシーケンス）を表示する（ステップＳ１ｂ）。入力受付部７２は、表示された動作シーケンスに対して、入力装置を介したユーザからの入力を受け付ける（ステップＳ２ｂ）。物体情報取得部７３は、ユーザが、入力装置を用いて、表示された動作空間内の物体若しくは仮想物体から所望の物体若しくは仮想物体を選択すると、当該物体若しくは仮想物体に関する物体情報を取得する（ステップＳ３ｂ）。属性情報取得部７４は、ユーザが、入力装置を用いて、上記選択された物体についての属性を付与すると、当該物体に関する属性情報を取得する（ステップＳ４ｂ）。属性信号生成部７５は、前述した物体情報と、属性情報とに基づき、取得した物体の情報と、取得した属性の情報を結合する（ステップＳ５ｂ）。属性信号生成部７５は、これらを結合した情報を示す属性信号を生成し、ロボットコントローラに供給する。これにより、ロボットコントローラ側で、動作シーケンスの修正が行われる（ステップＳ６ｂ）。

以上説明した第２実施形態によれば、ユーザによって付与された物体等についての属性情報に基づいて、ロボットに対する動作シーケンスを修正することができる。

＜第３実施形態＞
（１）システム構成
図５は、第３実施形態に係るロボット制御システム１００の構成を示す。
ロボット制御システム１００は、主に、ロボットコントローラ１と、入力装置２と、シーケンス処理装置３と、記憶装置４と、ロボット５と、計測装置６と、を備える。

ロボットコントローラ１は、ロボット５に実行させるタスク（「目的タスク」とも呼ぶ。）が指定された場合に、この目的タスクを、ロボット５が受付可能な単純なタスクのタイムステップ（時間刻み）毎のシーケンスに変換し、当該シーケンスに基づきロボット５を制御する。ロボットコントローラは、本明細書では、情報処理装置とも呼ばれる場合がある。以後では、ロボット５が受付可能な目的タスクを分解した細かいタスク(コマンド)を「サブタスク」とも呼ぶ。

ロボットコントローラ１は、入力装置２、シーケンス処理装置３、記憶装置４、ロボット５、及び計測装置６と電気的に接続している。例えば、ロボットコントローラ１は入力装置２から目的タスクを指定するための入力信号「Ｓ１」を受信する。また、ロボットコントローラ１は、入力装置２に対し、ロボット５に実行させるタスクに関する表示を行うための表示信号「Ｓ２」を送信する。さらにロボットコントローラ１は、ロボット５の制御に関する制御信号「Ｓ３」をロボット５に送信する。例えば、ロボットコントローラ１は、制御信号Ｓ３として、ロボット毎に実行させるサブタスクのシーケンス（「サブタスクシーケンス」）とも呼ぶ。）を、シーケンス処理装置３に送信する。さらに、ロボットコントローラ１は、計測装置６から出力信号「Ｓ６」を受信する。また、ロボットコントローラ１は、シーケンス処理装置３からロボットの動作空間内の特定の物体又は仮想物体に関する属性の情報に関する属性信号「Ｓ５」を受信する。

入力装置２は、ユーザが指定した目的タスクに関する入力を受け付けるインターフェースであり、例えば、タッチパネル、ボタン、キーボード、音声入力装置（例えば、マイクロフォン）、パーソナルコンピュータなどが該当する。入力装置２はユーザの入力に基づいて生成した入力信号Ｓ１をロボットコントローラ１へ送信する。

シーケンス処理装置３は、ロボットコントローラ１から受け取った制御信号をもとに、サブタスクシーケンスの表示や、動作空間内における仮想物体の描画や、物体及び描画した仮想物体の属性の変更といった、ロボット動作シーケンスの変更に必要な操作をユーザが画面上で行う装置である。シーケンス処理装置３は、修正装置とも呼ばれ、第２実施形態の修正装置の一例である。シーケンス処理装置３は、ロボットコントローラ１から供給される制御信号Ｓ３に基づき、サブタスクシーケンスの表示を行い、サブタスクシーケンスの表示後、制御信号Ｓ３をロボット５に送信する。また、シーケンス処理装置３は、ロボットの動作空間内における物体の属性を表す属性信号Ｓ５をロボットコントローラ１に送信する。入力装置２は、入力部と表示部とを備えるタブレット端末であってもよく、据置型のパーソナルコンピュータであってもよい。

記憶装置４はアプリケーション情報記憶部４１を有する。アプリケーション情報記憶部４１は、目的タスクからサブタスクのシーケンスを生成するために必要なアプリケーション情報を記憶する。アプリケーション情報の詳細は後述する。記憶装置４は、ロボットコントローラ１に接続又は内蔵されたハードディスクなどの外部記憶媒体であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、ロボットコントローラ１とデータ通信を行うサーバ装置であってもよい。この場合、記憶装置４は複数のサーバ装置から構成されてもよい。

ロボット５は、ロボットコントローラ１から送信された制御信号Ｓ３に基づき、目的タスクに関連した動作を行う。ロボット５は、例えば、製造現場で利用される組み立てロボット、物流現場で荷物のピッキングを行うロボットである。ロボットアームの場合、単腕でも良いし、２つ以上の腕を持っていてもよい。ロボットアーム以外にも移動ロボットや、移動ロボットとロボットアームを組み合わせたロボットでも良い。

計測装置６は、目的タスクを達成するために、ロボットの動作空間の状態を計測するカメラ、測域センサ、ソナー、またはこれらの組み合わせであり得る１又は複数のセンサである。本実施形態では、計測装置６は、動作空間を撮像する少なくとも１台のカメラを含むものとする。計測装置６は生成した計測信号Ｓ６をロボットコントローラ１に供給する。計測信号Ｓ６には動作空間内を撮像した画像データが少なくとも含まれる。計測装置６は停止状態を保つ必要はなく、動作中のロボット５や、自走式の移動ロボット、飛行中のドローンに取り付けるセンサであってもよい。また、計測装置６は動作空間内の音を検出するセンサ（例えば、マイクロフォン）を含めてもよい。また、計測装置６は動作空間を撮像するセンサ（例えば、ＣＣＤ（charge coupled device）又はＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサ）であって、動作空間外を含む任意の場所に取り付けられたセンサを含んでもよい。

なお、図５に示すロボット制御システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば複数台のロボット５が存在してもよい。また、ロボット５は複数のロボットアームなどの１つのみまたは２つ以上の制御対象物を備えてもよい。これらの場合であっても、ロボットコントローラ１は、目的タスクに基づき、ロボット５もしくはロボット５が備える制御対象物毎に実行すべきサブタスクシーケンスを生成し、当該サブタスクシーケンスを示す制御信号Ｓ３を、制御対象を有するロボット５に送信する。また、計測装置６はロボット５の一部であってもよい。また、入力装置２及びシーケンス処理装置３はロボットコントローラ１に内蔵されるなどの様態により、同一の装置として扱ってもよい。また、ロボットコントローラ１は複数の装置から構成されてもよい。この場合、ロボットコントローラ１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これら複数の装置間において行う。また、ロボットコントローラ１とロボット５とは、一体に構成されてもよい。なお、ロボット制御システムの全部又は一部は、ユーザがロボットの動作シーケンスを修正するために使用され得るので、修正システムとも呼ばれる場合がある。

（２）ハードウェア構成
図６は、ロボットコントローラ１のハードウェア構成を示す。ロボットコントローラ１は、ハードウェアとして、プロセッサ１１とメモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１５を介して接続されている。

プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、ロボットコントローラ１の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は複数のプロセッサから構成されてもよい。

メモリ１２はＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの各種のメモリにより構成される。また、メモリ１２には、ロボットコントローラ１が特定の処理を実行するためのプログラムが記憶される。また、メモリ１２は作業メモリとして使用され、記憶装置４から取得した情報等を一時的に記憶する。また、メモリ１２が記憶する情報の一部を、ロボットコントローラ１と通信可能な１又は複数の外部記憶媒体に記憶させても良い。また、ロボットコントローラ１に対して着脱可能な記憶媒体により記憶させても良い。

インターフェース１３は、ロボットコントローラ１と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線通信により行うためのワイヤレスインターフェースであってもよく、他の装置とケーブル等を用いて有線接続を行うためのハードウェアインターフェースであっても良い。

なお、ロボットコントローラ１のハードウェア構成は、図６に示す構成に限定されない。例えば、ロボットコントローラ１は、入力装置２、シーケンス処理装置３、記憶装置４、及びスピーカーやイヤホン等の音出力装置と接続又は内蔵しても良い。これらの場合、ロボットコントローラ１は、入出力機能と記憶機能を備えたタブレット端末等であってもよい。

図７はシーケンス処理装置３のハードウェア構成を示す。シーケンス処理装置３は、ハードウェアとして、プロセッサ２１と、メモリ２２と、インターフェース２３と、入力部２４ａと、表示部２４ｂと、出力部２４ｃとを含む。プロセッサ２１、メモリ２２及びインターフェース２３は、データバス２５を介して接続されている。また、インターフェース２３には、入力部２４ａと表示部２４ｂと出力部２４ｃとが接続されている。

プロセッサ２１は、メモリ２２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ２１は、例えば、ＣＰＵ、ＧＰＵ、ＴＰＵなどのプロセッサである。プロセッサ２１は、インターフェース２３を介して入力部２４ａが生成した信号を受信することで、取得した属性情報を属性信号Ｓ５に変換する処理を行い、インターフェース２３を介してロボットコントローラ１に当該属性信号Ｓ５を送信する。また、プロセッサ２１は、インターフェース２３を介してロボットコントローラ１から受信した制御信号Ｓ３に基づき、表示部２４ｂまたは出力部２４ｃを、インターフェース２３を介して制御することで属性情報を取得することができる。

メモリ２２はＲＡＭ、ＲＯＭなどの各種のメモリにより構成される。また、メモリ２２には、シーケンス処理装置が実行する処理を実行するためのプログラムが記憶される。また、メモリ２２はロボットコントローラ１から受信した制御信号Ｓ３を一時的に記憶する。

インターフェース２３は、シーケンス処理装置３と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線通信により行うためのワイヤレスインターフェースであってもよく、他の装置とケーブル等を用いて有線接続を行うためのハードウェアインターフェースであっても良い。また、インターフェース２３は、入力部２４ａ、表示部２４ｂ及び出力部２４ｃのインターフェース動作を行う。入力部２４ａは、ユーザの入力を受け付けるインターフェースであり、例えば、タッチパネル、ボタン、キーボード、音入力装置（例えば、マイクロフォン）などが該当する。表示部２４ｂは、例えば、ディスプレイ、プロジェクタ等であり、プロセッサ２１の制御に基づき表示を行う。また、出力部２４ｃは、例えばスピーカであり、プロセッサ２１の制御に基づき音出力を行う。

なお、シーケンス処理装置３のハードウェア構成は、図７に示す構成に限定されない。例えば、入力部２４ａ、表示部２４ｂ又は出力部２４ｃの少なくともいずれかは、シーケンス処理装置３と電気的に接続する別体の装置として構成されてもよい。また、シーケンス処理装置３は、カメラなどの計測装置と接続してもよく、これらを内蔵してもよい。

（３）アプリケーション情報
次に、アプリケーション情報記憶部４１が記憶するアプリケーション情報のデータ構造について説明する。

図８は、アプリケーション情報記憶部４１に記憶されるアプリケーション情報のデータ構造の一例を示す。図８に示すように、アプリケーション情報記憶部４１は、抽象状態指定情報Ｉ１と、制約条件情報Ｉ２と、動作限界情報Ｉ３と、サブタスク情報Ｉ４と、抽象モデル情報Ｉ５と、物体モデル情報Ｉ６と、属性情報Ｉ７と、を含む。

抽象状態指定情報Ｉ１は、サブタスクシーケンスの生成にあたり定義する必要がある抽象状態を指定する情報である。この抽象状態は、動作空間内における物体の抽象的な状態であって、後述する目標論理式において使用する命題として定められる。例えば、抽象状態指定情報Ｉ１は、目的タスクの種類毎に、定義する必要がある抽象状態を指定する。なお、目的タスクは、例えば、ピックアンドプレイス、対象物の持ち直し、対象物の回転などの種々の種類のタスクであってもよい。

制約条件情報Ｉ２は、目的タスクを実行する際の制約条件を示す情報である。制約条件情報Ｉ２は、例えば、目的タスクがピックアンドプレイスの場合、ロボット５（ロボットアーム）が障害物に接触してはいけないという制約条件、ロボット５（ロボットアーム）同士が接触してはいけないという制約条件などを示す。なお、制約条件情報Ｉ２は、目的タスクの種類毎に夫々適した制約条件を記録した情報であってもよい。

動作限界情報Ｉ３は、ロボットコントローラ１により制御が行われるロボット５の動作限界に関する情報を示す。動作限界情報Ｉ３は、例えば、図５に示すロボット５の速度、加速度、角速度などの上限値又は下限値を規定する情報である。

サブタスク情報Ｉ４は、ロボット５が受付可能なサブタスクの情報を示す。例えば、目的タスクがピックアンドプレイスの場合には、サブタスク情報Ｉ４は、ロボット５のロボットアームの移動であるリーチングと、ロボットアームによる把持であるグラスピングとをサブタスクとして規定することができる。サブタスク情報Ｉ４は、目的タスクの種類毎に使用可能なサブタスクの情報を示すものであってもよい。

抽象モデル情報Ｉ５は、動作空間におけるダイナミクスを抽象化した抽象モデルに関する情報である。抽象モデルは、後述するように、現実のダイナミクスをハイブリッドシステムにより抽象化したモデルにより表されている。抽象モデル情報Ｉ５は、上述のハイブリッドシステムにおけるダイナミクスの切り替わりの条件を示す情報を含む。切り替わりの条件は、例えば、ロボット５により対象物をロボット５が掴んで所定位置に移動させるピックアンドプレイスの場合、対象物はロボット５により把持されなければ移動できないという条件などが該当する。抽象モデル情報Ｉ５は、目的タスクの種類毎に適した抽象モデルに関する情報を有している。

物体モデル情報Ｉ６は、計測装置６が生成した計測信号Ｓ６から認識すべき動作空間内の各物体の物体モデルに関する情報である。上述の各物体には、例えば、ロボット５、障害物、ロボット５が扱う工具その他の対象物、ロボット５以外の移動体等が該当する。物体モデル情報Ｉ６は、例えば、上述した各物体の種類、位置、姿勢、実行中の動作などをロボットコントローラ１が認識するために必要な情報と、各物体の３次元形状を認識するためのＣＡＤ（computer-aided design）データなどの３次元形状情報とを含んでいる。前者の情報は、ニューラルネットワークなどの機械学習における学習モデルを学習することで得られた推論器のパラメータを含む。この推論器は、例えば、画像が入力された場合に、当該画像において被写体となる物体の種類、位置、姿勢等を出力するように予め学習される。

属性情報Ｉ７は、物体又は仮想物体の属性（例えば、移動不可な障害物又は移動可能な対象物など）を示す情報であり、ロボットコントローラ１における内部処理を追加するための情報である。具体的には、属性情報Ｉ７は、物体又は仮想物体とロボットとの関係に依存するものであり、物体又は仮想物体に対するロボットの制約条件である。ロボットコントローラ１は、シーケンス処理装置３が生成した属性信号Ｓ５を受信すると、取得した属性に応じて、内部処理を行うことができる。例えば、仮想的な障害物を新たに生成する場合、シーケンス処理装置３において、ユーザが描画した障害物の位置ベクトルの値や、描画後の障害物の数の情報の更新を行う処理を実行することで、動作空間内に新たに障害物が配置された新たな動作空間におけるロボット制御を行うことができる。ロボットの動作空間内の物体を障害物から対象物に変更する別の例では、物体モデル情報Ｉ６における識別ラベルを移動不可な障害物から移動可能な対象物に変更する処理を行うことで、これまで障害物だったものを対象物とみなし、対象物とみなされた物体のピックアンドプレイスなどの動作を行うことが可能となる。

上記属性情報（障害物又は対象物）は、ロボットが、物体を移動させることができるか否かを示す情報である。すなわち、この属性情報は、ロボットと物体との関係に基づくものである。他の実施形態では、後述するように、様々な属性を用いることができる。

このように、様々な属性情報Ｉ７が、予め設定され、アプリケーション情報記憶部４１に記憶されている。

なお、アプリケーション情報記憶部４１は、上述した情報の他、サブタスクシーケンスの生成処理、制御信号Ｓ３に関する種々の情報を記憶してもよい。

（４）機能ブロック図
（４－１）ロボットコントローラの機能ブロック図
図９はロボットコントローラ１の機能ブロック図の一例を示す。ロボットコントローラ１のプロセッサ１１は、機能的には、抽象状態設定部３１と、目標論理式生成部３２と、タイムステップ論理式生成部３３と、抽象モデル生成部３４と、制御入力生成部３５と、サブタスクシーケンス生成部３６と、属性情報処理部３７と、を有する。なお、図８では、各ブロック間で授受が行われるデータの一例が示されているが、これに限定されない。後述する他の機能ブロック図についても同様である。

抽象状態設定部３１は、計測装置６から供給される出力信号Ｓ６に基づき、動作空間内における計測結果を示す情報（「計測情報Ｉｍ」とも呼ぶ）を生成する。具体的には抽象状態設定部３１は出力信号Ｓ６を受信した場合に物体モデル情報Ｉ６等を参照し、目的タスクの実行に関連する動作空間内の各物体の種類（ロボット５、障害物、ロボット５が扱う工具その他の対象物、ロボット５以外の移動体等）及び位置を認識し、この認識結果を計測情報Ｉｍとして生成する。また、抽象状態設定部３１は、属性情報処理部３７から供給される信号を受信した場合、前述の計測情報Ｉｍを更新し、属性を考慮した動作空間内の計測結果を示す情報を新たに生成する。抽象状態設定部３１は、生成した計測情報Ｉｍを、抽象モデル生成部３４に供給する。

また、抽象状態設定部３１は、上述の計測情報Ｉｍ及びアプリケーション情報記憶部４１から取得した抽象状態指定情報Ｉ１等に基づき、目的タスクを実行時の動作空間内の抽象状態を設定する。この場合、抽象状態設定部３１は、各抽象状態に対し、論理式で表すための命題を定義する。抽象状態設定部３１は、設定した抽象状態を示す情報（「抽象状態設定情報Ｉｓ」とも呼ぶ。）を目標論理式生成部３２に供給する。

目標論理式生成部３２は、目的タスクに関する入力信号Ｓ１を入力装置２から受信した際に、抽象状態設定情報Ｉｓに基づき、入力信号Ｓ１が示す目的タスクを、最終的な達成状態を表す時相論理の論理式（「目標論理式Ｌｔａｇ」とも呼ぶ。）に変換する。この場合、目標論理式生成部３２は、アプリケーション情報記憶部４１から制約条件情報Ｉ２を参照することで、目的タスクの実行において満たすべき制約条件を、目標論理式Ｌｔａｇに付加する。そして、目標論理式生成部３２は、生成した目標論理式Ｌｔａｇを、タイムステップ論理式生成部３３に供給する。また、目標論理式生成部３２は目的タスク実行に必要な入力を受け付けるタスク入力画面を表示するための表示信号Ｓ２を生成し、当該表示信号Ｓ２を入力装置２に供給する。

タイムステップ論理式生成部３３は、目標論理式生成部３２から供給された目標論理式Ｌｔａｇを、各タイムステップでの状態を表した論理式（「タイムステップ論理式Ｌｔｓ」とも呼ぶ。）に変換する。そして、タイムステップ論理式生成部３３は、生成したタイムステップ論理式Ｌｔｓを、制御入力生成部３５に供給する。

抽象モデル生成部３４は、計測情報Ｉｍと、アプリケーション情報記憶部４１が記憶する抽象モデル情報Ｉ５とに基づき、動作空間における現実のダイナミクス抽象化したモデルを生成する。

なお、抽象モデルは、

と示す。

この場合、抽象モデル生成部３４は、対象のダイナミクスを連続ダイナミクスと離散ダイナミクスとが混在したハイブリッドシステムとみなし、ハイブリッドシステムに基づく抽象モデルを生成する。抽象モデルの生成方法については後述する。抽象モデル生成部３４は、生成した抽象モデルを、制御入力生成部３５へ供給する。

制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルとを満たし、評価関数を最適化するタイムステップ毎のロボット５への制御入力を決定する。そして、制御入力生成部３５は、ロボット５へのタイムステップ毎の制御入力を示す情報（「制御入力情報Ｉｃ」とも呼ぶ。）を、サブタスクシーケンス生成部３６へ供給する。

サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、サブタスクシーケンスを生成し、サブタスクシーケンスを示す制御信号Ｓ３を、シーケンス処理部３へ供給する。

属性情報処理部３７は、シーケンス処理装置３から供給される属性信号Ｓ５と、アプリケーション情報記憶部４１が記憶する属性情報Ｉ７と、に基づき、特定の物体又は仮想物体の情報と、特定の属性の組み合わせに応じて、前述の抽象状態を修正するための修正情報Ｉｒを生成する。属性情報処理部３７は、修正情報Ｉｒを、抽象状態設定部３１に供給する。

（４－２）シーケンス処理装置の機能ブロック図
図１０はシーケンス処理装置３の機能ブロック図の一例である。シーケンス処理装置３のプロセッサ１１は、機能的には、制御信号処理部７１と、入力受付部７２と、物体情報取得部７３と、属性情報取得部７４と、属性信号生成部７５と、シーケンス表示部７６と、を有する。なお、図１０は、各ブロック間で授受が行われるデータの一例が示されているが、これに限定されない。後述する他の機能ブロック図についても同様である。

制御信号処理部７１は、ロボットコントローラ１から制御信号Ｓ３を受信した際に、サブタスクシーケンスの計画を表示するための信号Ｓｓを生成し、シーケンス表示部７６に供給する。また、制御信号処理部７１は、ロボットコントローラ１から制御信号を受信した際に、ユーザからの入力を受け付けるための入力受付信号Ｓｉを生成し、入力受付部７２に供給する。さらに、制御信号処理部７１は、入力受付部７２からロボット５を動作させるための信号Ｓａを受信すると、サブタスクシーケンスを示す制御信号Ｓ３をロボット５に送信する。

入力受付部７２は、制御信号処理部７１から入力受付信号Ｓｉが供給されると、ユーザによる画面上での操作が可能となる。そして、入力受付部７２は、ユーザによって入力された内容を画面上にリアルタイムに表示するための入力表示信号Ｓｒを生成し、シーケンス表示部７６に送信する。さらに入力受付部７２は、ユーザによって、画面上で物体又は仮想物体を選択するという操作が行われた際に、画面上で物体又は仮想物体が選択されたことを示す物体選択信号Ｓｏを生成し、物体情報取得部７３に供給する。また、入力受付部７２は、ユーザによって、画面上で属性を選択するという操作が行われた際に、画面上で属性が選択されたことを示す属性選択信号Ｓｐを生成し、属性情報取得部７４に供給する。さらに入力受付部７２は、ロボット５を動作させるための信号Ｓａを生成し、制御信号処理部７１に供給する。

物体情報取得部７３は、入力受付部７２から物体選択信号Ｓｏが供給されると、物体選択信号Ｓｏに対応する物体の情報(例えば、位置ベクトル、物体の種類)を表す物体選択情報Ｉｏを取得し、属性信号生成部７５に供給される。例えば、物体の情報のうち、位置ベクトルは、計測装置６により計測され得る。例えば、物体の情報のうち、物体の種類は、計測装置６による撮影画像を画像認識技術により認識することで取得され得る。ユーザによって描かれた仮想物体の情報は、描画情報を記憶した記憶部から取得することができる。

属性情報取得部７４は、入力受付部７２から物体選択信号Ｓｏが供給されると、物体選択信号Ｓｏに対応する属性選択情報Ｉｐを取得し、属性信号生成部７５に供給される。属性選択情報は、後述するが、様々な物体に対応して、複数の選択可能な属性情報として、記憶部に記憶されている。

属性信号生成部７５は、物体選択情報Ｉｏと、属性選択情報Ｉｐとに基づき、取得した物体の情報と、取得した属性の情報を結合した情報を示す属性信号Ｓ５を生成する。属性信号Ｓ５は、ロボットコントローラ１の属性情報処理部３７に供給されることで、「ユーザによって選択された特定の物体又は仮想物体が、特定の属性を付与された」ことを示す情報をロボットコントローラ１に知らせることができる。

（５）ロボットコントローラのブロック毎の処理詳細
次に、図９に示すロボットコントローラ１の機能ブロックごとの処理の詳細について、具体例を用いて説明する。

（５－１）抽象状態設定部
抽象状態設定部３１は、物体モデル情報Ｉ６を参照し、動作空間を認識する技術に基づき、計測装置６から供給される出力信号Ｓ６を解析し、動作空間内の各物体の計測結果（種類、位置等）を示す計測情報Ｉｍを生成する。さらに抽象状態設定部３１は、計測情報Ｉｍを生成すると共に、動作空間内の抽象状態を設定する。この場合、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照し、動作空間内において設定すべき抽象状態を認識する。なお、動作空間内において設定すべき抽象状態は、目的タスクの種類によって異なる。よって、目的タスクの種類毎に設定すべき抽象状態が抽象状態指定情報Ｉ１に規定されている場合には、抽象状態設定部３１は、入力信号Ｓ１により指定された目的タスクに対応する抽象状態指定情報Ｉ１を参照し、設定すべき抽象状態を認識する。

図１１はピックアンドプレイスを目的タスクとした場合の動作空間の俯瞰図の一例を示す。図１１に示す動作空間には、２つのロボットアーム５２ａ、５２ｂと、４つの物体６１ａ～６１ｄと、障害物６２ａとが存在している。

この場合、ロボットコントローラ１の抽象状態設定部３１は、まず、計測装置６から受信した出力信号Ｓ６を、物体モデル情報Ｉ６等を用いて解析することで、物体６１の状態、障害物６２ａの存在範囲、ゴール地点として設定される領域Ｇの存在範囲等を認識する。ここでは、抽象状態設定部３１は、物体６１ａ～６１ｄの各々の中心の位置ベクトル「ｘ１」～「ｘ４」を、物体６１ａ～６１ｄの位置として認識する。また、抽象状態設定部３１は、物体６１を把持するロボットハンド５３ａの位置ベクトル「ｘｒ１」と、ロボットハンド５３ｂの位置ベクトル「ｘｒ２」とを、ロボットアーム５２ａとロボットアーム５２ｂの位置として認識する。同様に、抽象状態設定部３１は、物体６１ａ～６１ｄの姿勢（図１１の例では物体が球状のため不要）等、障害物６２ａの存在範囲、領域Ｇの存在範囲等を認識する。なお、抽象状態設定部３１は、例えば、障害物６２ａを直方体とみなし、領域Ｇを矩形とみなす場合には、障害物６２ａ及び領域Ｇの各頂点の位置ベクトルを認識する。そして、抽象状態設定部３１は、出力信号Ｓ６に基づくこれらの認識結果を、計測情報Ｉｍとして生成する。

また、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、目的タスクにおいて定義すべき抽象状態を決定する。この場合、抽象状態設定部３１は、計測情報Ｉｍに基づき、動作空間内に存在する物体及び領域を認識し、当該物体及び領域に関する認識結果（例えば物体及び領域の種類毎の個数）と制約条件情報Ｉ２とに基づき、抽象状態を示す命題を定める。

図１１の例では、抽象状態設定部３１は、計測情報Ｉｍにより特定される物体６１ａ～６１ｄに対し、夫々識別ラベル「１」～「４」を付す。また、抽象状態設定部３１は、物体「ｉ」（ｉ＝１～４）が最終的に載置されるべき目標地点である領域Ｇ（破線枠６３参照）内に存在するという命題「ｇ_ｉ」を定義する。また、抽象状態設定部３１は、計測情報Ｉｍにより特定される障害物６２に対して識別ラベル「Ｏ」を付し、物体ｉが障害物Ｏに干渉しているという命題「ｏ_ｉ」を定義する。さらに、抽象状態設定部３１は、ロボットアーム５２同士が干渉するという命題「ｈ」を定義する。

図１４は、シーケンス処理装置３によって修正された後の動作空間の俯瞰図を示す。図１４に示す動作空間には、２つのロボットアーム５２ａ、５２ｂと、４つの物体６１ａ～６１ｄと、障害物６２ａ、仮想障害物６２ｂとが存在している。図１１との違いは仮想障害物６２ｂの存在の有無であり、図１４に示すこの仮想障害物６２ｂは、ロボットコントローラ１内の属性情報処理部３７で抽象状態を修正するための修正情報Ｉｒを生成した際に、ユーザによって描かれた、仮想的な障害物である。この場合、抽象状態設定部３１は、修正情報Ｉｒが供給されると、仮想障害物６２ｂの実体が実際に動作空間に存在するものとみなし、動作空間内に新たに仮想障害物６２ｂが配置されたかのように、再認識する。

この場合、抽象状態設定部３１は、修正前の動作空間内の認識に加え、属性情報処理部で生成された、仮想障害物６２ｂの属性を反映した修正情報Ｉｒが供給されることで、仮想障害物６２ｂの存在範囲を認識する。そして、抽象状態設定部３１は、出力信号Ｓ６と、修正情報Ｉｒに基づくこれらの認識結果を、計測情報Ｉｍとして生成する。

図１４の例では、抽象状態設定部３１は、計測情報Ｉｍにより特定される物体６１ａ～６１ｄに対し、夫々識別ラベル「１」～「４」を付す。また、抽象状態設定部３１は、対象物「ｉ」（ｉ＝１～４）が最終的に載置されるべき目標地点である領域Ｇ（破線枠６３参照）内に存在するという命題「ｇ_ｉ」を定義する。また、抽象状態設定部３１は、計測情報Ｉｍにより特定される障害物６２ａに対して識別ラベル「Ｏ」を付し、物体ｉが障害物Ｏに干渉しているという命題「ｏ_ｉ」を定義する。また、抽象状態設定部３１は、修正情報Ｉｒにより特定される仮想障害物６２ｂに対して識別ラベル「Ｏｖ」を付し、物体ｉが仮想障害物Ｏｖに干渉しているという命題「ｏｖ_ｉ」を定義する。さらに、抽象状態設定部３１は、ロボットアーム５２同士が干渉するという命題「ｈ」を定義する。

このように、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、定義すべき抽象状態を認識し、当該抽象状態を表す命題（上述の例ではｇ_ｉ、ｏ_ｉ、ｏｖ_ｉ、ｈ）を、物体６１の数、ロボットアーム５２の数、障害物６２の数等に応じてそれぞれ定義する。そして、抽象状態設定部３１は、抽象状態を表す命題を示す情報を、抽象状態設定情報Ｉｓとして目標論理式生成部３２に供給する。

（５－２）目標論理式生成部
図１６は、目標論理式生成部３２の機能的なブロック構成図である。図１６に示すように、目標論理式生成部３２は、機能的には、入力受付部３２１と、論理式変換部３２２と、制約条件情報取得部３２３と、制約条件付加部３２４とを有する。

入力受付部３２１は、目的タスクの種類と、前記ロボットの作業対象となる対象物の最終状態と、を指定する入力信号Ｓ１の入力を受け付ける。また、入力受付部３２１は、これらの入力を受け付けるタスク入力画面の表示信号Ｓ２を、ロボットコントローラ１の目標論理式生成部３２に送信する。

論理式変換部３２２は、入力信号Ｓ１により指定された目的タスクを、時相論理を用いた論理式に変換する。なお、自然言語で表されたタスクを論理式に変換する方法は、種々の技術が存在する。例えば、図１１の例において、「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクが与えられたとする。この場合、目標論理式生成部３２は、目的タスクを線形論理式（ＬＴＬ：Ｌｉｎｅａｒ Ｔｅｍｐｏｒａｒｙ Ｌｏｇｉｃ）の「ｅｖｅｎｔｕａｌｌｙ」に相当する演算子「◇」と、抽象状態設定部３１により定義された命題「ｇ_ｉ」と用いて、論理式「◇ｇ_２」を生成する。また、目標論理式生成部３２は、演算子「◇」以外の任意の時相論理の演算子（論理積「∧」、論理和「∨」、否定「￢」、論理包含「⇒」、ａｌｗａｙｓ「□」、ｎｅｘｔ「〇」、ｕｎｔｉｌ「Ｕ」等）を用いて論理式を表現してもよい。また、線形時相論理に限らず、ＭＴＬ（Ｍｅｔｒｉｃ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）やＳＴＬ（Ｓｉｇｎａｌ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）などの任意の時相論理を用いて論理式を表現しても良い。

制約条件情報取得部３２３は、アプリケーション情報記憶部４１から制約条件情報Ｉ２を取得する。なおタスクの種類毎に制約条件情報Ｉ２がアプリケーション情報記憶部４１に記憶されている場合には、制約条件情報取得部３２３は、入力信号Ｓ１により指定された目的タスクの種類に対応する制約条件情報Ｉ２を、アプリケーション情報記憶部４１から取得する。

制約条件付加部３２４は、制約条件情報取得部３２３が取得した制約条件情報Ｉ２が示す制約条件を、論理式変換部３２２が生成した論理式に付加することで、目標論理式Ｌｔａｇを生成する。

例えば、ピックアンドプレイスに対応する制約条件として「ロボットアーム５２同士が干渉しない」、「物体ｉは障害物Ｏに干渉しない」の２つが制約条件情報Ｉ２に含まれていた場合、制約条件付加部３２４は、これらの制約条件を論理式に変換する。具体的には、制約条件付加部３２４は、前述の説明において抽象状態設定部３１により定義された命題「ｏ_i」及び命題「ｈ」を用いて、上述の２つの制約条件を、夫々以下の論理式に変換する。
□￢ｈ
∧_ｉ□￢ｏ_i

よって、この場合、制約条件付加部３２４は、「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクに対応する論理式「◇ｇ_２」に、これらの制約条件の論理式を付加することで、以下の目標論理式Ｌｔａｇを生成する。
（◇_ｇ２）∧（□￢ｈ）∧（∧_ｉ□￢ｏ_i）

なお、実際には、ピックアンドプレイスに対応する制約条件は、上述した２つに限られず、「ロボットアーム５２が同じ対象物を掴まない」、「対象物同士が接触しない」などの制約条件が存在する。また、図１４のような修正後の動作空間における制約条件には「物体ｉは仮想障害物Ｏｖに干渉しない」といった制約条件が含まれる。このような制約条件についても同様に、制約条件情報Ｉ２に記憶され、目標論理式Ｌｔａｇに反映される。

（５－３）タイムステップ論理式生成部
タイムステップ論理式生成部３３は、目的タスクを完了するタイムステップ数（「目標タイムステップ数」とも呼ぶ。）を定め、目標タイムステップ数で目標論理式Ｌｔａｇを満たすような各タイムステップでの状態を表す命題の組み合わせを定める。通常、複数の組み合わせが、存在するため、タイムステップ論理式生成部３３は、これらの組み合わせを論理和により結合した論理式を、タイムステップ論理式Ｌｔｓとして生成する。上述の組み合わせは、ロボット５に命令する動作シーケンスを表す論理式の候補となり、以後では「候補φ」とも呼ぶ。

ここで図１１の説明において例示した「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクが設定された場合のタイムステップ論理式生成部３３（図９）の処理の具体例について説明する。

この場合、タイムステップ論理式生成部３３は、目標論理式Ｌｔａｇとして、「（◇ｇ_２）∧（□￢ｈ）∧（∧_ｉ□￢ｏ_i）」が目標論理式生成部３２から供給される。この場合、タイムステップ論理式生成部３３は、命題「ｇ_ｉ」をタイムステップの概念を含むように拡張した命題「ｇ_ｉ，k」を用いる。ここで命題「ｇ_ｉ，k」は「タイムステップｋで物体ｉが領域Ｇに存在する」という命題である。ここで、目標タイムステップ数を「３」とした場合、目標論理式Ｌｔａｇは、以下のように書き換えられる。
（◇ｇ_２，３）∧（∧_{ｋ＝１，２，３}□￢ｈ_ｋ）∧（∧_ｉ，ｋ＝_{１，２，３}□￢ｏ_i）

また、◇ｇ_２，３は以下の式に示すように書き換えることが可能である。

このとき、上述した目標論理式Ｌｔａｇは、以下に示す４つの候補「φ_１」～「φ_４」の論理和（φ_１∨φ_２∨φ_３∨φ_４）により表される。

よって、タイムステップ論理式生成部３３は、４つの候補φ_１～φ_４の論理和をタイムステップ論理式Ｌｔｓとして定める。この場合、タイムステップ論理式Ｌｔｓは、４つの候補φ_１～φ_４の少なくともいずれかが真となる場合に真となる。

好適には、タイムステップ論理式生成部３３は、生成された候補に対し、動作限界情報Ｉ３を参照することで、実現可能性を判定し、実現不可と判定した候補を除外するとよい。例えば、タイムステップ論理式生成部３３は、動作限界情報Ｉ３に基づき、ロボットハンドが１タイムステップ当たりに移動可能な距離を認識する。また、タイムステップ論理式生成部３３は、計測情報Ｉｍが示す各対象物及びロボットハンドの位置ベクトルに基づき、移動対象となる対象物（ｉ＝２）とロボットハンドとの距離を認識する。

例えば、タイムステップ論理式生成部３３は、ロボットハンド５３ａ及びロボットハンド５３ｂがいずれも、対象物（ｉ＝２）との距離が１タイムステップ当たりの移動可能距離よりも長いと判定した場合、上述の候補φ_３及び候補φ_４は実現不可と判定する。この場合、タイムステップ論理式生成部３３は、候補φ_３及び候補φ_４をタイムステップ論理式Ｌｔｓから除外する。この場合、タイムステップ論理式Ｌｔｓは、候補φ_１と候補φ_２との論理和（φ_１∨φ_２）となる。

このように、タイムステップ論理式生成部３３は、動作限界情報Ｉ３を参照して実現不可能な候補をタイムステップ論理式Ｌｔｓから除外することで、後段の処理部の処理負荷を好適に低減させることができる。

次に、目標タイムステップ数の設定方法について補足説明する。

タイムステップ論理式生成部３３は、例えば、ユーザ入力により指定された作業の見込み時間に基づき、目標タイムステップ数を決定する。この場合、タイムステップ論理式生成部３３は、メモリ１２又は記憶装置４に記憶された、１タイムステップ当たりの時間幅の情報に基づき、上述の見込み時間から目標タイムステップ数を算出する。他の例では、タイムステップ論理式生成部３３は、目的タスクの種類毎に適した目標タイムステップ数を対応付けた情報を予めメモリ１２又は記憶装置４に記憶しておき、当該情報を参照することで、実行すべき目的タスクの種類に応じた目標タイムステップ数を決定する。

好適には、タイムステップ論理式生成部３３は、目標タイムステップ数を所定の初期値に設定する。そして、タイムステップ論理式生成部３３は、制御入力生成部３５が制御入力を決定できるタイムステップ論理式Ｌｔｓが生成されるまで、目標タイムステップ数を徐々に増加させる。この場合、タイムステップ論理式生成部３３は、設定した目標タイムステップ数により制御入力生成部３５が最適化処理を行った結果、最適解を導くことができなかった場合、目標タイムステップ数を所定数（１以上の整数）だけ加算する。

このとき、タイムステップ論理式生成部３３は、目標タイムステップ数の初期値を、ユーザが見込む目的タスクの作業時間に相当するタイムステップ数よりも小さい値に設定するとよい。これにより、タイムステップ論理式生成部３３は、不必要に大きな目標タイムステップ数を設定することを好適に抑制する。

上述の目標タイムステップ数の設定方法による効果について補足説明する。一般に、目標タイムステップ数が大きいほど、制御入力生成部３５による最適化処理において最適解が存在する可能性が高くなる一方で、最低化処理等の処理負荷や目的タスク達成に要するロボット５の所要時間が長くなる。以上を勘案し、タイムステップ論理式生成部３３は、目標タイムステップ数の初期値を小さい値とし、制御入力生成部３５の最適化処理における解が存在するまで徐々に目標タイムステップ数を大きくする。これにより、タイムステップ論理式生成部３３は、制御入力生成部３５の最適化処理における解が存在する範囲において可能な限り少ない目標タイムステップ数を設定することができる。従って、この場合、最適化処理における処理負荷の低減、及び、目的タスク達成に要するロボット５の所要時間の短縮を実現することができる。

（５－４）抽象モデル生成部
抽象モデル生成部３４は、計測情報Ｉｍと、抽象モデル情報Ｉ５とに基づき、抽象モデルを生成する。ここで、抽象モデル情報Ｉ５には、目的タスクの種類毎に、抽象モデルの生成に必要な情報が記録されている。例えば、目的タスクがピックアンドプレイスの場合には、対象物の位置や数、対象物を置く領域の位置、ロボット５の台数（又はロボットアーム５２の数）等を特定しない汎用的な形式の抽象モデルが抽象モデル情報Ｉ５に記録されている。そして、抽象モデル生成部３４は、抽象モデル情報Ｉ５に記録された汎用的な形式の抽象モデルに対し、計測情報Ｉｍが示す対象物の位置や数、対象物を置く領域の位置、ロボット５の台数等を反映することで、抽象モデルΣを生成する。

ここで、ロボット５による目的タスクの作業時においては、動作空間内のダイナミクスが頻繁に切り替わる。例えば、ピックアンドプレイスでは、ロボットアーム５２が物体ｉを掴んでいる場合には、当該物体ｉは動くが、ロボットアーム５２が物体ｉを掴んでない場合には、当該物体ｉは動かない。

以上を勘案し、本実施形態においては、ピックアンドプレイスの場合、物体ｉを掴むという動作を論理変数「δ_ｉ」により抽象表現する。この場合、例えば、抽象モデル生成部３４は、図１に示す動作空間に対して設定すべき抽象モデルを、以下の式（１）により定めることができる。

ここで、「ｕ_ｊ」は、ロボットハンドｊ（「ｊ＝１」はロボットハンド５３ａ、「ｊ＝２」はロボットハンド５３ｂ）を制御するための制御入力を示し、「Ｉ」は単位行列を示す。なお、制御入力は、ここでは、一例として速度を想定しているが、加速度であってもよい。また、「δ_ｊ,ｉ」は、ロボットハンドｊが物体ｉを掴んだ場合に「１」となり、その他の場合に「０」となる論理変数である。また、「ｘ_ｒ１」、「ｘ_ｒ２」は、ロボットハンドｊの位置ベクトル、「ｘ_１」～「ｘ_４」は、物体ｉの位置ベクトルを示す。また、「ｈ（ｘ）」は、対象物を掴める程度に対象物の近傍にロボットハンドが存在する場合に「ｈ（ｘ）≧０」となる変数であり、論理変数δとの間で以下の関係を満たす。
δ＝１ ⇔ ｈ（ｘ）≧０

ここで、式（１）は、タイムステップｋでの物体の状態とタイムステップｋ＋１での物体の状態との関係を示した差分方程式である。そして、上記の式（１）では、把持の状態が離散値である論理変数により表わされ、物体の移動は連続値により表わされているため、式（１）はハイブリッドシステムを示している。

式（１）では、ロボット５全体の詳細なダイナミクスではなく、対象物を実際に把持するロボット５の手先であるロボットハンドのダイナミクスのみを考慮している。これにより、制御入力生成部３５により最適化処理の計算量を好適に削減することができる。

また、抽象モデル情報Ｉ５には、ダイナミクスが切り替わる動作（ピックアンドプレイスの場合には物体ｉを掴むという動作）に対応する論理変数及び計測情報Ｉｍから式（１）の差分方程式を導出するための情報が記録されている。よって、抽象モデル生成部３４は、対象物の位置や数、対象物を置く領域（図１１では領域Ｇ）、ロボット５の台数等が変動する場合であっても、抽象モデル情報Ｉ５と計測情報Ｉｍとを組み合わせることで、対象の動作空間の環境に即した抽象モデルを決定することができる。

なお、抽象モデル生成部３４は、式（１）に示されるモデルに代えて、混合論理動的（ＭＬＤ：Ｍｉｘｅｄ Ｌｏｇｉｃａｌ Ｄｙｎａｍｉｃａｌ）システムまたはペトリネットやオートマトンなどを組み合わせたハイブリッドシステムのモデルを生成してもよい。

（５－５）制御入力生成部
制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルとに基づき、最適となるタイムステップ毎のロボット５に対するタイムステップ毎の制御入力を決定する。この場合、制御入力生成部３５は、目的タスクに対する評価関数を定義し、抽象モデル及びタイムステップ論理式Ｌｔｓを制約条件として評価関数を最小化する最適化問題を解く。評価関数は、例えば、目的タスクの種類毎に予め定められ、メモリ１２又は記憶装置４に記憶されている。

例えば、ピックアンドプレイスを目的タスクとした場合、制御入力生成部３５は、運ぶ対象となる対象物と当該対象物を運ぶ目標地点との距離「ｄ_ｋ」と制御入力「ｕ_ｋ」とが最小となる（即ちロボット５が費やすエネルギーを最小化する）ように評価関数を定める。上述の距離ｄ_ｋは、「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクの場合には、対象物（ｉ＝２）と領域Ｇとの距離に相当する。

例えば、制御入力生成部３５は、全タイムステップにおける距離ｄ_ｋの２乗と制御入力ｕ_ｋの２乗との和を評価関数として定め、抽象モデル及びタイムステップ論理式Ｌｔｓ（即ち候補φ_ｉの論理和）を制約条件とする以下の式（２）に示す制約付き混合整数最適化問題を解く。

ここで、「Ｔ」は、最適化の対象となるタイムステップ数であり、目標タイムステップ数であってもよく、後述するように、目標タイムステップ数よりも小さい所定数であってもよい。この場合、好適には、制御入力生成部３５は、論理変数を連続値に近似する（連続緩和問題とする）。これにより、制御入力生成部３５は、計算量を好適に低減することができる。なお、線形論理式（ＬＴＬ）に代えてＳＴＬを採用した場合には、非線形最適化問題として記述することが可能である。

また、制御入力生成部３５は、目標タイムステップ数が長い場合（例えば所定の閾値より大きい場合）、最適化に用いるタイムステップ数を、目標タイムステップ数より小さい値（例えば上述の閾値）に設定してもよい。この場合、制御入力生成部３５は、例えば、所定のタイムステップ数が経過する毎に、上述の最適化問題を解くことで、逐次的に制御入力ｕ_ｋを決定する。

好適には、制御入力生成部３５は、目的タスクの達成状態に対する中間状態に相当する所定のイベント毎に、上述の最適化問題を解き、使用すべき制御入力ｕ_ｋを決定してもよい。この場合、制御入力生成部３５は、次のイベント発生までのタイムステップ数を、最適化に用いるタイムステップ数に設定する。上述のイベントは、例えば、動作空間におけるダイナミクスが切り替わる事象である。例えば、ピックアンドプレイスを目的タスクとした場合には、ロボット５が対象物を掴む、ロボット５が運ぶべき複数の対象物のうちの１つの対象物を目的地点へ運び終える、などがイベントとして定められる。イベントは、例えば、目的タスクの種類毎に予め定められており、目的タスクの種類毎にイベントを特定する情報が記憶装置４に記憶されている。

（５－６）サブタスクシーケンス生成部
サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、サブタスクシーケンスＳｒを生成する。この場合、サブタスクシーケンス生成部３６は、サブタスク情報Ｉ４を参照することで、ロボット５が受け付け可能なサブタスクを認識し、制御入力情報Ｉｃが示すタイムステップ毎の制御入力をサブタスクに変換する。

例えば、サブタスク情報Ｉ４には、ピックアンドプレイスを目的タスクとする場合にロボット５が受け付け可能なサブタスクとして、ロボットハンドの移動（リーチング）とロボットハンドの把持（グラスピング）の２つのサブタスクを示す関数が定義されている。この場合、リーチングを表す関数「Ｍｏｖｅ」は、例えば、当該関数実行前のロボット５の初期状態、当該関数実行後のロボット５の最終状態、及び当該関数の実行に要する所要時間をそれぞれ引数とする関数である。また、グラスピングを表す関数「Ｇｒａｓｐ」は、例えば、当該関数実行前のロボット５の状態、及び当該関数実行前の把持対象の対象物の状態, 論理変数δをそれぞれ引数とする関数である。ここで、関数「Ｇｒａｓｐ」は、論理変数δが「１」のときに掴む動作を行うこと表し、論理変数δが「０」のときに放す動作を行うことを表す。この場合、サブタスクシーケンス生成部３６は、関数「Ｍｏｖｅ」を、制御入力情報Ｉｃが示すタイムステップ毎の制御入力により定まるロボットハンドの軌道に基づき決定し、関数「Ｇｒａｓｐ」を、制御入力情報Ｉｃが示すタイムステップ毎の論理変数δの遷移に基づき決定する。

そして、サブタスクシーケンス生成部３６は、関数「Ｍｏｖｅ」と関数「Ｇｒａｓｐ」とにより構成されるサブタスクシーケンスを示す制御信号Ｓ３を生成する。例えば、目的タスクが「最終的に対象物（ｉ＝２）が領域Ｇに存在する」の場合、サブタスクシーケンス生成部３６は、対象物（ｉ＝２）に最も近いロボットハンドに対し、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」のサブタスクシーケンスを生成する。この場合、対象物（ｉ＝２）に最も近いロボットハンドは、１回目の関数「Ｍｏｖｅ」により対象物（ｉ＝２）の位置まで移動し、１回目の関数「Ｇｒａｓｐ」により対象物（ｉ＝２）を把持し、２回目の関数「Ｍｏｖｅ」により領域Ｇまで移動し、２回目の関数「Ｇｒａｓｐ」により対象物（ｉ＝２）を領域Ｇに載置する。

また、サブタスクシーケンス生成部３６は制御信号Ｓ３をシーケンス処理装置３のシーケンス表示部７６に送信する。これは制御信号Ｓ３をロボット５に送信して実際に動かす前に、シーケンス処理装置３のシーケンス表示部７６に送信後、事前に設定したロボット５と同種のロボットモデルによるサブタスクシーケンスを人の目で確認するためである。制御信号Ｓ３がシーケンス処理装置３のシーケンス表示部７６に供給されると、シーケンス処理装置３のシーケンス表示部７６に映っているロボット５と同種のロボットモデルが、生成したサブタスクシーケンスに則り動作する。この動作は繰り返し確認することが可能である。また、動作中に３次元方向に視点を回転及び平行移動させることが可能で、動作空間内のロボットのサブタスクシーケンスによる動作を、所望の視点で確認することが可能である。

（５－７）属性情報処理部
属性情報処理部３７は、シーケンス処理装置３の、属性信号生成部７５で生成される属性信号Ｓ５と、アプリケーション情報記憶部４１が記憶する属性情報Ｉ７とに基づき、修正情報Ｉｒを生成する。この場合、属性情報処理部３７は、属性情報Ｉ７を参照することで、シーケンス処理装置３において、ユーザによって選択された物体と、ユーザによって選択された属性の組み合わせを認識し、物体と属性の組み合わせに応じて、抽象状態を修正するための修正情報Ｉｒを生成する。

例えば、図１４の例では、対象物６１ｄを領域Ｇに移動させるタスクにおいて、仮想障害物６２ｂを新たに生成することで、仮想障害物６２ｂを回避して、領域Ｇに移動する計画を新たに生成することが可能となる。

図１４に示す例において、属性情報処理部３７は、シーケンス処理装置３の、属性信号生成部７５より「ユーザによって描画された物体Ｏｖに、障害物という属性が付与された」という情報を持つ属性信号Ｓ５が供給される。さらに、属性情報Ｉ７を参照することで、属性信号Ｓ５の情報をもとに、「動作空間内の特定の位置に新たに仮想障害物６２ｂを生成する」という修正情報Ｉｒを生成する。修正情報Ｉｒが、抽象状態設定部３１に供給されることで、「初めから動作空間内に仮想障害物６２ｂが配置されている」という抽象状態を新たに設定することが可能となる。

また、図１５の例では、対象物６１ｄを領域Ｇに移動させるタスクにおいて、経由点６２cを新たに生成することで、経由点６２ｃを経由して、領域Ｇに移動する計画を新たに生成することが可能となる。

さらに、図１５に示す例において、属性情報処理部３７は、シーケンス処理装置３の、属性信号生成部７５より「ユーザによって描画された物体Ｏｖに、経由点という属性が付与された」という情報を持つ属性信号Ｓ５が供給される。さらに、属性情報Ｉ７を参照することで、属性信号Ｓ５の情報をもとに、「動作空間内の特定の位置に新たに経由点６２cを生成する」という修正情報Ｉｒを生成する。修正情報Ｉｒが、抽象状態設定部３１に供給されることで、「初めから動作空間内に経由点６２ｃが設定されている」という抽象状態を新たに設定することが可能となる。

（６）シーケンス処理装置のブロック毎の処理詳細
次に、図１０に示すシーケンス処理装置３の機能ブロックごとの処理の詳細について、具体例を用いて説明する。

（６－１）制御信号処理部
制御信号処理部７１は、ロボットコントローラ１からサブタスクシーケンスを示す制御信号Ｓ３を受信した際に、サブタスクシーケンスの計画を表示するための計画表示信号Ｓｓを生成し、シーケンス表示部７６に供給する。また、制御信号処理部７１は、ロボットコントローラ１から制御信号を受信した際に、ユーザからの入力を受け付けるための入力受付信号Ｓｉを生成し、入力受付部７２に供給する。入力受付信号Ｓｉには、動作空間内のロボット、障害物、対象物、その他動作空間を構築する物体の位置ベクトルや、形状などの情報も含まれる。また、制御信号処理部７１は、受信した制御信号Ｓ３を返還せずに保存することが可能である。さらに、制御信号処理部７１は、入力受付部７２からロボット５を動作させるための信号Ｓａを受信すると、保存していた制御信号Ｓ３をそのままロボット５に送信することで、サブタスクシーケンスに沿ったロボット動作を行うことが可能となる。

（６－２）入力受付部
入力受付部７２は、制御信号処理部７１から入力受付信号Ｓｉが供給されると、ユーザによる画面上での操作が可能となる。具体的には、入力受付信号Ｓｉには、動作空間内のロボット、障害物、対象物、その他動作空間を構築する物体の位置ベクトルや、形状などの情報も含まれており、入力受付部で変換処理を行うことで、これらの情報を反映させた操作が可能となる。

例えば、図１３は第３実施形態におけるシーケンス処理時の画面である。このときユーザは、マウスなどの入力装置を用いて、画面上で、他の物体が干渉しない位置に、仮想物体Ｏｖを描画することができる。その後、仮想物体Ｏｖの近くに、属性選択ができるアイコン(図１３では逆三角形のアイコン)が表示され、アイコンを画面上で選択すると、「障害物」又は「経由点」という２つの属性を選択することができる。このとき「障害物」を選択すると、仮想物体Ｏｖは新しく生成された障害物とみなされる。一方で、「経由点」を選択すると、仮想物体Ｏｖは新しく生成された経由点とみなされる。仮想物体Ｏｖが経由点であるとみなされた場合、ロボットは、仮想物体Ｏｖの領域内を経由することが制約条件として課せられる。

そして、入力受付部７２は、ユーザによって入力された内容を画面上にリアルタイムに表示するための入力表示信号Ｓｒを生成し、シーケンス表示部７６に送信する。これにより、画面上での仮想物体の描画、物体若しくは仮想物体の選択や属性の選択といった操作がリアルタイムで表示される。

さらに入力受付部７２は、ユーザによって、画面上で物体を描画したり、物体を選択したりする操作が行われた際に、画面上で物体が選択されたことを示す物体選択信号Ｓｏを生成し、物体情報取得部７３に供給する。

また、入力受付部７２は、ユーザによって、画面上で属性を選択するという操作が行われた際に、画面上で属性が選択されたことを示す属性選択信号Ｓｐを生成し、属性情報取得部７４に供給する。

さらに入力受付部７２は、ユーザの指示にしたがって、ロボット５を動作させるための動作信号Ｓａを生成し、制御信号処理部７１に供給する。具体的には、画面上に、サブタスクシーケンスに沿ってロボットを動作するか否かを判断するための選択肢が表示され、ユーザによって選択されることでロボット動作を行うかどうかが決定される。入力受付部７２が、ユーザによって、ロボット動作を行うという入力を受け付けた場合、動作信号Ｓａを生成し、制御信号処理部７１に供給することでロボット動作が行われる。一方、ロボット動作を行わないという入力を受け付けた場合、入力受付部７２は、シーケンス処理に関する入力を受け付けるようになり、動作空間内の仮想物体の描画、物体の選択や、物体毎に設定された属性の選択といった操作が可能となる。

（６－３）物体情報取得部
物体情報取得部７３は、入力受付部７２から物体選択信号Ｓｏが供給されると、ユーザによって画面上で選択された物体の情報を表す、アプリケーション情報記憶部４１から、選択された物体に対応する物体モデル情報Ｉ６である物体選択情報Ｉｏを取得し、属性信号生成部７５に供給される。この物体選択情報Ｉｏには、選択した物体の位置ベクトル（例えば、ｘ，ｙ座標）、物体の形状（例えば、矩形、円形、円柱、球体）、物体の種類（物体の種別、又は実際の物体、若しくは仮想物体）といった物体に関する情報が含まれる。例えば、図１３の例では、仮想物体Ｏｖを選択した場合、Ｏｖの「頂点の位置ベクトルの値」、「矩形」、「描画した物体」といった情報が取得される。また、いくつかの実施形態では、物体情報取得部７３は、カメラによる撮影画像に対して、画像認識技法を行うことで、物体を認識することで、その物体情報を取得してもよい。

（６－４）属性情報取得部
属性情報取得部７４は、入力受付部７２から属性選択信号Ｓｐが供給されると、アプリケーション情報記憶部４１から、ユーザによって画面上で選択された属性の情報を表す属性選択情報Ｉｐを取得する。取得された属性選択情報Ｉｐは、属性信号生成部７５に供給される。例えば、図１３の例では、「障害物」、又は「経由点」のいずれかが選択された属性が取得される。

（６－５）属性信号生成部
属性信号生成部７５は、物体選択情報Ｉｏと、属性選択情報Ｉｐとに基づき、取得した物体の情報と、取得した属性の情報を結合した情報を示す属性信号Ｓ５を生成する。属性信号Ｓ５は、属性情報処理部３７に供給されることで、「ユーザによって選択された特定の物体が、特定の属性を付与された」という情報をロボットコントローラ１に知らせることができる。例えば、図１３の例では、属性信号生成部７５は「描画された位置に存在する仮想物体Ｏｖが、障害物という属性を付与された」ということを示す属性信号Ｓ５を生成する。

（７）表示画面の詳細
シーケンス処理装置３のシーケンス表示部７６に出力される情報について説明する。

図１２は、第３実施形態における、シーケンス処理前の計画の表示例である。この表示例は、シーケンス表示部７６に、制御信号処理部７１から表示信号Ｓｓが供給されることで表示される最初の表示である。図１２は、図１１の作業俯瞰図に、サブタスクシーケンスの計画である計画６４ｄが表示される。ユーザによって、計画６４ｄが画面上で確認された後に、入力受付部７２において、ロボットの動作を行うための動作信号Ｓａを、制御信号処理部７１に供給するかどうかを決定するための入力が画面上で行われる。

図１３は、第３実施形態における、シーケンス処理中の計画の表示例である。この表示例は、入力受付部７２において、ロボットの動作を行わないという入力を受け付けた後、ユーザによって物体６２ｂが描画されたときの表示例である。このとき、描画した物体６２ｂが選択されると、物体６２ｂの近くに属性選択ができるアイコン６６が表示され、アイコン６６が選択されると、属性を示すウィンドウ６７が表示される。第１実施形態においては、ウィンドウ６７に、「障害物」及び「経由点」という複数の属性が表示され、どちらかの属性が画面上で選択されると、属性情報取得部７４で、選択された属性の情報が取得される。

（８）処理フロー
図１７は、第３実施形態においてシーケンス処理装置３と、ロボットコントローラ１が実行するサブタスクシーケンスの処理の概要を示すフローチャートの一例である。

まず、ロボットコントローラ１の抽象状態設定部３１は、計測装置６から供給される出力信号Ｓ６に基づき、動作空間内の物体の計測結果を示す計測情報Ｉｍの生成及び抽象状態の設定を行う（ステップＳ１１）。次に、ロボットコントローラ１の目標論理式生成部３２、タイムステップ論理式３３、抽象モデル生成部３４、制御入力生成部３５、サブタスクシーケンス生成部３６の処理によって、サブタスクシーケンスの制御入力Ｓ３を生成する（ステップＳ１２）。

次に、シーケンス処理装置３の制御信号処理部７１によって、サブタスクシーケンスを表示するための信号Ｓｓが生成され、シーケンス表示部によって、サブタスクシーケンスの計画が画面上に表示される（ステップＳ１３）。そして、サブタスクシーケンスの計画が、ユーザにとって所望の計画であった場合、ユーザが入力装置を用いて指示を与えると、ロボット動作を行う信号Ｓａが入力受付部７２で生成され、制御信号処理部７１に供給される。その後、制御信号Ｓ３がロボット５に供給され、ロボット動作が行われる（ステップＳ１４；Ｙｅｓ）。

一方で、ユーザがサブタスクシーケンスの修正処理操作を必要と判断した場合、ユーザが入力装置を用いて指示を与えると、入力受付部７２で、ステップＳ１４；Ｎｏの場合に、ユーザによるシーケンス修正処理操作を受け付ける（ステップＳ１５）。

次に、物体情報取得部７３は、ユーザによって画面上で特定の物体が選択された場合、物体選択信号Ｓｏを受信し、選択された物体の位置ベクトル、形状、物体の種類といった物体の情報を表す、物体選択信号Ｓｏに対応した物体選択情報Ｉｏを取得する（ステップＳ１６）。さらに、属性情報取得部７４は、ユーザによって画面上で属性が選択された場合、属性選択信号Ｓｐを受信し、選択された属性の情報を表す、属性選択信号Ｓｐに対応する属性情報Ｉｐを取得する（ステップＳ１７）。そして、属性信号生成部７５は、物体選択情報Ｉｏと、属性選択情報Ｉｐとに基づき、取得した物体の情報と、取得した属性の情報を結合した情報を示す属性信号Ｓ５を生成する（ステップＳ１８）。生成した属性信号Ｓ５は、ロボットコントローラ１に供給される。

そして、ロボットコントローラ１の属性情報処理部３７は、シーケンス処理装置３の、属性信号生成部７５で生成される属性信号Ｓ５と、アプリケーション情報記憶部４１が記憶する属性情報Ｉ７とに基づき、抽象状態を新たに設定し、修正後の動作空間の状態を認識させるために必要な、修正情報Ｉｒを生成する（ステップＳ１９）。その後、フローチャートの処理は、ステップＳ１１に戻る。

抽象状態設定部３１は、属性情報処理部３７より供給される修正情報Ｉｒと、計測装置６から供給される出力信号Ｓ６に基づき、動作空間内の物体の計測結果を示す計測情報Ｉｍの生成及び抽象状態の設定を更新する（ステップＳ１１）。その後、前述したように、ステップＳ１２，Ｓ１３、Ｓ１４の各処理が実行される。

図１７のフローチャートは、実行の具体的な順番を示しているが、実行の順番は描かれている形態と異なっていてもよい。例えば、２つ以上のステップの実行の順番は、示された順番に対して入れ替えられてもよい。また、図１７の中で連続して示された２つ以上のステップは、同時に、または部分的に同時に実行されてもよい。さらに、いくつかの実施形態では、図１７に示された１つまたは複数のステップがスキップまたは省略されてもよい。

上記の通り、シーケンス処理装置（修正装置）３とロボットコントローラ１は、協働してロボット１の動作を制御する。したがって、上記したロボットコントローラの機能ブロックと、シーケンス処理装置の機能ブロックは、単なる例示に過ぎない。他の実施形態では、シーケンス処理装置（修正装置）３の機能ブロックの一部又は全部が、ロボットコントローラ１の機能として含まれていてもよいし、あるいは、その逆であってもよい。

＜第４実施形態＞
図１８は、第４実施形態における、シーケンス処理装置３によるシーケンス修正中の画面の一例である。図１８に表示しているタスクは、ロボットアーム８０で「ペットボトル８１を領域Ｇに運ぶ」というピックアンドプレイスのタスクであり、この例では、対象物体の状態に関する属性を付与することで、所望のタスクを実現することを目的としている。具体的には、ふたがついているペットボトル８１に、「Ｏｐｅｎ」、「Ｃｌｏｓｅｄ」という属性を付与することで、選択した属性に応じた状態に変化させた後に、ピックアンドプレイスのタスクを実行させる。計測装置６によっても、ペットボトルのふたが開いているか、閉まっているかは判断することができない。そのため、ユーザによって、「Ｏｐｅｎ」、「Ｃｌｏｓｅｄ」という属性を付与することで、ロボットの動作シーケンスに適切な修正を行い、ロボットによる所望のタスクを実現することができる。「Ｏｐｅｎ」という属性は、ペットボトルにふたが付いているが、ユーザ等によって一度ふたが開けられているため、ふたが完全には密閉されていない情報を示す。つまり、ロボットは、ふたに関連するタスク（例えば、開く）を実行できることを示す。一方、「Ｃｌｏｓｅｄ」という属性は、ペットボトルに、完全に密閉された状態でふたが付いているので、ロボットは、ふたに関連するタスク（例えば、開く）を実行できないことを示す。本実施形態にかかる属性情報も、ロボットと対象物との関係に依存し得る。

例えば、シーケンス処理装置３の入力受付部７２は、ユーザによって、画面上でペットボトル８１が選択されると、入力を受け付ける。その後、ペットボトル８１の近くに、属性選択ができるアイコン８２と、ペットボトル８１の状態が視覚的にわかるウィンドウ８４が表示される。さらに、ユーザがアイコンを画面上で選択すると、「Ｏｐｅｎ」「Ｃｌｏｓｅｄ」という２つの属性を選択することができる。このとき、「Ｏｐｅｎ」を選択すると、ロボットに対する「ペットボトル８１のふたを開ける」という新たなタスクを生成することができる。すなわち、「ペットボトル８１のふたを開ける」というタスクの後に、「ペットボトル８１を領域Ｇに運ぶ」というタスクを段階的に行う計画を生成することができる。一方で、「Ｃｌｏｓｅｄ」を選択すると、ペットボトル８１のふたがついている場合、ふたに関連するタスクは行わず、「ペットボトル８１を領域Ｇに運ぶ」というタスクのみを実施する。

例えば、図１８の例において、ペットボトルの初期状態が「ふたが開いている状態」だった場合、「Ｃｌｏｓｅｄ」を選択すると、「ペットボトル８１のふたを閉じる」というタスクの後に、「ペットボトル８１を領域Ｇに運ぶ」というタスクを実施する。一方で、「Ｏｐｅｎ」を選択すると、ふたに関連するタスクは行わず、「ペットボトル８１を領域Ｇに運ぶ」というタスクのみを実施する。

第４実施形態では、対象物の状態に関する属性を付与することで、所望のタスクを実現するための例として、ペットボトルのふたの開け閉めを行うタスクを取り上げた。その他の例として、ドアの場合、「開いている」又は「閉まっている」、といったように、対象物の状態を視覚的に決定することができる場合であれば、この実施形態にも含まれるものとする。

＜第５実施形態＞
図１９は、第５実施形態における、シーケンス処理装置３によるシーケンス修正中の画面の一例である。図１９に表示しているタスクは、ロボットアーム９０で「対象物９２を領域Ｇに運ぶ」というピックアンドプレイスのタスクである。この例では、動作空間内の物体の種類に関する属性を付与することで、所望のタスクを実現することを目的としている。図１９の例の状況は、対象物９２のピックアンドプレイスのタスクを実施する際に、すぐ近くに配置されている大きな障害物９１に接触してしまう可能性があるため、対象物９２の位置まで、ロボットアーム９０の手先を移動させることができない。そこで、「障害物９１を移動させる」タスクを行った後に、「対象物９２を領域Ｇに運ぶ」というタスクを実施するために、障害物９１に属性を付与する。具体的には、障害物９１に、「障害物」、又は「対象物」という属性を付与することで、選択した属性に応じた種類に変化させた後に、ピックアンドプレイスのタスクを実行させる。「障害物」という属性は、物体が移動できないことを示し、「対象物」という属性は、物体が移動可能であることを示す。本実施形態にかかる属性情報も、ロボットと対象物との関係を依存し得る。

例えば、シーケンス処理装置３の入力受付部７２は、ユーザによって、画面上で障害物９１が選択され、入力を受け付ける。その後、障害物９１の近くに、属性選択ができるアイコン９４と、障害物９１の属性を示すウィンドウ９５が表示され、アイコンを画面上で選択すると、「障害物」又は「対象物」という２つの属性を選択することができる。このとき、「対象物」を選択すると、障害物９１を対象物９１とみなすことができる。これにより「対象物９１を移動させる」という新たなタスクを生成することができる。すなわち、「対象物９１を移動させる」というタスクの後に、「対象物９２を領域Ｇに運ぶ」というタスクを段階的に行う計画を生成することができる。一方で、「障害物」を選択すると、障害物９１という物体の種類は「障害物」のまま変わらず、「対象物９２を領域Ｇに運ぶ」というタスクの実施が不可能であるという結果に終わる。

以上説明した様々な実施形態において、ユーザが物体に関する属性情報を付与することで、計測装置等によっても特定できない属性を物体に付与することができる。そのため、ロボットが目的タスクを達成するために、より柔軟な計画を生成することができる。

いくつかの実施の形態では、情報処理装置又は情報処理方法は、ロボットが動作する空間と、前記空間における物体または仮想物体についての複数の属性候補を表示し、前記複数の属性候補のうち、選択された属性候補を前記物体または仮想物体の属性に設定する。

＜その他の実施形態＞
尚、上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。

上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、ＤＶＤ（Digital Versatile Disc）、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

なお、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。また、本開示は、それぞれの実施形態を適宜組み合わせて実施されてもよい。

以上、実施形態（及び実施例）を参照して本願発明を説明したが、本願発明は上記実施形態（及び実施例）に限定されものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
ロボットに対する動作シーケンスを修正するための入力を受け付ける入力受付部と、
前記ロボットの動作空間内の物体又は仮想物体の情報を表す物体情報を取得する物体情報取得部と、
前記入力受付部を介した前記入力に基づいて、前記物体又は前記仮想物体に関する属性情報を取得する属性情報取得部と、
を備える情報処理装置。
（付記２）
前記ロボットの動作シーケンスを表示するシーケンス表示部と、
前記表示結果に対して、入力された前記ロボットの動作を行うための信号を受け付ける、前記入力受付部と、
前記入力に基づいて、前記動作シーケンスの制御信号を前記ロボットに送信する制御信号処理部を更に備える、付記１に記載の情報処理装置。
（付記３）
前記物体情報と、前記属性情報を結合し、前記物体情報と前記属性情報との組み合わせた属性信号を生成する、属性信号生成部を更に備える、付記１又は２に記載の情報処理装置。
（付記４）
前記物体情報取得部は、前記入力受付部を介した前記入力に基づいて、前記物体又は仮想物体の情報を取得する、付記１～３のいずれか一項に記載の情報処理装置。
（付記５）
前記制御信号処理部は、前記ロボットの動作シーケンスの制御信号を、動作シーケンスを表示させるための表示信号に変換し、前記シーケンス表示部に供給する、付記２に記載の情報処理装置。
（付記６）
前記入力受付部は、前記入力を受け付け、前記物体又は仮想物体に対する操作、又は、前記物体又は仮想物体の属性をリアルタイムで表示させるための信号を生成し、シーケンス表示部に供給する、付記１～５のいずれか一項に記載の情報処理装置。
（付記７）
前記シーケンス表示部は、前記入力受付部が、前記物体又は仮想物体の選択に関する前記入力を受け付けると、前記物体又は仮想物体の複数の属性を選択可能に表示する、付記６に記載の情報処理装置。
（付記８）
前記属性情報は、前記ロボットと前記物体又は仮想物体との関係に基づくものである、付記１～７のいずれか一項に記載の情報処理装置。
（付記９）
前記属性情報は、前記ロボットが前記仮想物体を通過可能なことを示す情報、および前記ロボットが前記仮想物体を通過不可能なことを示す情報を含む、付記８に記載の情報処理装置。
（付記１０）
前記属性情報は、前記ロボットが前記物体に関連するタスクを実行可能なことを示す情報、および前記ロボットが前記物体に関連するタスクを実行不可能なことを示す情報を含む、付記８に記載の情報処理装置。
（付記１１）
前記属性情報は、前記物体が前記ロボットにより移動可能なことを示す情報、および前記物体が前記ロボットにより移動不可能なことを示す情報を含む、付記８に記載の情報処理装置。
（付記１２）
ロボットの動作シーケンスを表示するシーケンス表示部と、
前記表示結果に対して、ロボットに対する動作シーケンスを修正するための入力を受け付ける入力受付部と、
前記入力に基づいて、前記動作シーケンスの制御信号を前記ロボットに送信する制御信号処理部と、
前記ロボットの動作空間内の物体又は仮想物体の情報を表す物体情報を取得する物体情報取得部と、
前記入力受付部を介した前記入力に基づいて、前記物体又は前記仮想物体に関する属性情報を取得する属性情報取得部と、
前記物体情報と、前記属性情報を結合し、前記物体情報と前記属性情報との組み合わせた属性信号を生成する、属性信号生成部と、
前記属性信号生成部によって生成された、物体と属性の組み合わせの情報を有する前記属性信号を受信し、前記属性信号と、保存している記憶情報に基づいて、ロボットの動作空間を示す抽象状態を修正する修正情報を生成する、属性情報処理部を有する、修正システム。
（付記１３）
動作空間を計測する計測装置を更に備え、
前記属性情報処理部で生成した修正情報と、前記計測装置により計測された、ロボットの動作空間の計測結果を示す計測情報に基づいて、属性を考慮した抽象状態を設定する抽象状態設定部を有する、付記１２に記載の修正システム。
（付記１４）
ロボットに対する動作シーケンスを修正するための入力を受け付け、
前記ロボットの動作空間内の物体又は仮想物体の情報を表す物体情報を取得し、
前記入力に基づいて、前記物体又は前記仮想物体に関する属性情報を取得する、情報処理方法。
（付記１５）
ロボットに対する動作シーケンスを修正するための入力を受け付ける処理と、
前記ロボットの動作空間内の物体又は仮想物体の情報を表す物体情報を取得する処理と、
前記入力に基づいて、前記物体又は前記仮想物体に関する属性情報を取得する処理と、
をコンピュータに実行させるプログラムを格納した非一時的なコンピュータ可読媒体。
（付記１６）
ロボットが動作する空間と、前記空間における物体または仮想物体についての複数の属性候補を表示し、
前記複数の属性候補のうち、選択された属性候補を前記物体または仮想物体の属性に設定する、情報処理装置。

１ ロボットコントローラ
２ 入力装置
３ シーケンス処理装置（修正装置）
４ 記憶装置
５ ロボット
６ 計測装置
１０ 情報処理装置
４１ アプリケーション情報記憶部
７１ 制御信号処理部
７２ 入力受付部
７３ 物体情報取得部
７４ 属性情報取得部
７５ 属性信号生成部
７６ シーケンス表示部
１００ ロボット制御システム（修正システム）

Claims (10)

1. ロボットに対する動作シーケンスを修正するための入力を受け付ける入力受付部と、
   前記入力受付部を介した前記入力に基づいて、前記ロボットの動作空間内の物体又は仮想物体に関する属性情報を取得する属性情報取得部と、
   を備える情報処理装置。
2. 前記ロボットの動作空間内の物体又は仮想物体の情報を表す物体情報を取得する物体情報取得部を更に備える、請求項１に記載の情報処理装置。
3. 前記ロボットの動作シーケンスを表示するシーケンス表示部と、
   前記表示結果に対して、入力された前記ロボットの動作を行うための信号を受け付ける、前記入力受付部と、
   前記入力に基づいて、前記動作シーケンスの制御信号を前記ロボットに送信する制御信号処理部を更に備える、請求項１に記載の情報処理装置。
4. 前記物体情報と、前記属性情報を結合し、前記物体情報と前記属性情報との組み合わせた属性信号を生成する、属性信号生成部を更に備える、請求項２に記載の情報処理装置。
5. 前記物体情報取得部は、前記入力受付部を介した前記入力に基づいて、前記物体又は仮想物体の情報を取得する、請求項２に記載の情報処理装置。
6. 前記制御信号処理部は、前記ロボットの動作シーケンスの制御信号を、動作シーケンスを表示させるための表示信号に変換し、前記シーケンス表示部に供給する、請求項３に記載の情報処理装置。
7. ロボットに対する動作シーケンスを修正するための入力を受け付け、
   前記入力に基づいて、前記ロボットの動作空間内の物体又は仮想物体に関する属性情報を取得する、情報処理方法。
8. 前記ロボットの動作空間内の物体又は仮想物体の情報を表す物体情報を取得する、請求項７に記載の情報処理方法。
9. ロボットに対する動作シーケンスを修正するための入力を受け付ける処理と、
   前記入力に基づいて、前記ロボットの動作空間内の物体又は仮想物体に関する属性情報を取得する処理と、
   をコンピュータに実行させるプログラム。
10. 前記ロボットの動作空間内の物体又は仮想物体の情報を表す物体情報を取得する処理をコンピュータに実行させる、請求項９に記載のプログラム。

Images