WO2021171350A1

WO2021171350A1 - 制御装置、制御方法及び記録媒体

Info

Publication number: WO2021171350A1
Application number: PCT/JP2020/007420
Authority: WO
Inventors: 永哉若山; 小川　雅嗣; 岳大伊藤; 峰斗佐藤; 大山　博之; 伸治加美
Original assignee: 日本電気株式会社
Priority date: 2020-02-25
Filing date: 2020-02-25
Publication date: 2021-09-02
Also published as: US20230072244A1; JPWO2021171350A1; JP7323045B2

Abstract

制御装置１Ｃは、動作シーケンス生成手段３７Ｃを有する。動作シーケンス生成手段３７Ｃは、タスクを実行するロボットの動き特性を示すロボット動作情報Ｉｒと、タスクに関する物の受け渡しをロボットと行う周辺装置の動き特性を示す周辺装置情報Ｉｐとに基づき、ロボット及び周辺装置の夫々が実行すべき動作を示す動作シーケンスＳｒａ、Ｓｐａを生成する。

Description

制御装置、制御方法及び記録媒体

　本発明は、ロボットに作業させるタスクに関する処理を行う制御装置、制御方法及び記録媒体の技術分野に関する。

　ロボットに作業させるタスクが与えられた場合に、当該タスクを実行するために必要なロボットの制御を行う制御手法が提案されている。例えば、特許文献１には、ハンドを有するロボットにより複数の物品を把持して容器に収容する場合に、ハンドが物品を把持する順序の組み合わせを決定し、組み合わせ毎に算出した指標に基づき、収容する物品の順序を決定するロボット制御装置が開示されている。

特開２０１８－５１６８４号公報

　ロボットがタスクを実行する場合、与えられたタスクによっては、他の装置と物の受け渡しを行う必要があり、この場合のロボットの動作の決定方法について、特許文献１には何ら開示されていない。

　本発明の目的の１つは、上述した課題を鑑み、ロボットの動作シーケンスを好適に生成することが可能な制御装置、制御方法及び記録媒体を提供することである。

　制御装置の一の態様は、制御装置であって、タスクを実行するロボットの動き特性を示すロボット動作情報と、前記タスクに関する対象物の受け渡しを前記ロボットと行う周辺装置の動き特性を示す周辺装置動作情報と、に基づき、前記ロボット及び前記周辺装置の夫々が実行すべき動作を示す動作シーケンスを生成する動作シーケンス生成手段を有する。

　制御方法の一態様は、コンピュータにより、タスクを実行するロボットの動き特性を示すロボット動作情報と、前記タスクに関する対象物の受け渡しを前記ロボットと行う周辺装置の動き特性を示す周辺装置動作情報と、に基づき、前記ロボット及び前記周辺装置の夫々が実行すべき動作を示す動作シーケンスを生成する。

　記録媒体の一の態様は、タスクを実行するロボットの動き特性を示すロボット動作情報と、前記タスクに関する対象物の受け渡しを前記ロボットと行う周辺装置の動き特性を示す周辺装置動作情報と、に基づき、前記ロボット及び前記周辺装置の夫々が実行すべき動作を示す動作シーケンスを生成する動作シーケンス生成手段としてコンピュータを機能させるプログラムが格納された記録媒体である。

　本発明によれば、ロボット及びロボットと対象物の受け渡しを行う周辺装置の各動作シーケンスを好適に生成することができる。

ロボット制御システムの構成を示す。制御装置のハードウェア構成を示す。アプリケーション情報のデータ構造の一例を示す。第１実施形態における制御装置の機能ブロックの一例である。作業空間の俯瞰図を示す。タスク入力画面の表示例を示す。第１実施形態におけるロボット及び周辺装置に関する制御処理を示すフローチャートの一例である。第２実施形態における制御装置の概略構成図の一例である。第２実施形態におけるロボット及び周辺装置に関する制御処理を示すフローチャートの一例である。第３実施形態における制御装置の概略構成図の一例である。第３実施形態におけるロボット及び周辺装置に関する制御処理を示すフローチャートの一例である。第４実施形態における制御装置の概略構成図である。第４実施形態におけるロボット及び周辺装置に関する制御処理を示すフローチャートの一例である。

　以下、図面を参照しながら、制御装置、制御方法及び記録媒体の実施形態について説明する。

　＜第１実施形態＞
　（１）システム構成
　図１は、第１実施形態に係るロボット制御システム１００の構成を示す。ロボット制御システム１００は、主に、制御装置１と、入力装置２と、表示装置３と、記憶装置４と、ロボット５と、計測装置７と、周辺装置８と、を備える。

　制御装置１は、ロボット５と周辺装置８に実行させるタスク（「目的タスク」とも呼ぶ。）が指定された場合に、タイムステップ（時間刻み）毎にロボット５及び周辺装置８が実行すべき動作シーケンスを生成し、動作シーケンスをロボット５及び周辺装置８に供給する。後述するように、動作シーケンスは、ロボット５及び周辺装置８が受付可能な単位に目的タスクを分解したタスク又はコマンド（「サブタスク」とも呼ぶ。）から構成されており、以後では「サブタスクシーケンス」とも呼ぶ。

　制御装置１は、入力装置２、表示装置３及び記憶装置４と電気的に接続している。例えば、制御装置１は、入力装置２から、目的タスクを指定するための入力信号「Ｓ１」を受信する。また、制御装置１は、表示装置３に対し、ロボット５に実行させるタスクに関する表示を行うための表示信号「Ｓ２」を送信する。また、制御装置１は、ロボット５の制御に関する制御信号「Ｓ４」をロボット５に送信し、周辺装置８の制御に関する制御信号「Ｓ５」を周辺装置８に送信する。さらに、制御装置１は、計測装置７から出力信号「Ｓ３」を受信する。

　入力装置２は、ユーザの入力を受け付けるインターフェースであり、例えば、タッチパネル、ボタン、キーボード、音声入力装置などが該当する。入力装置２は、ユーザの入力に基づき生成した入力信号Ｓ１を、制御装置１へ供給する。

　表示装置３は、例えば、ディスプレイ、プロジェクタ等であり、制御装置１から供給される表示信号Ｓ２に基づき、所定の表示を行う。後述するように、例えば、表示装置３は、表示信号Ｓ２に基づき、目的タスクに関する情報を指定する入力画面（「タスク入力画面」とも呼ぶ。）を表示する。

　記憶装置４は、アプリケーション情報記憶部４１を有する。アプリケーション情報記憶部４１は、目的タスクからサブタスクのシーケンスを生成するために必要なアプリケーション情報を記憶する。アプリケーション情報の詳細は、図３を参照しながら後述する。記憶装置４は、制御装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記録媒体であってもよい。また、記憶装置４は、制御装置１とデータ通信を行うサーバ装置であってもよい。この場合、記憶装置４は、複数のサーバ装置から構成されてもよい。

　ロボット５は、制御装置１から送信された制御信号Ｓ４に基づき動作を行う。図１に示すロボット５は、一例として、ロボット制御部５１と、物を把持可能なロボットアーム５２と、を有する。ロボットアーム５２は、ロボット制御部５１の制御に基づき、周辺装置８により搬送される対象物６１を、対象物６１以外の物体である障害物６２に干渉することなく目的地領域６３へ移動させるピックアンドプレイス（摘み上げて移動させる処理）を行う。ロボット制御部５１は、制御信号Ｓ４が示すサブタスクシーケンスに基づき、ロボットアーム５２の動作制御を行う。ロボット５は、垂直多関節型ロボットであってもよく、水平多関節型などの任意の種類のロボットであってもよい。

　計測装置７は、ロボット５及び周辺装置８が作業を行う作業空間６内を計測対象範囲として計測を行うカメラ、測域センサ、ソナーまたはこれらの組み合わせとなる１又は複数の外界センサである。計測装置７は、生成した出力信号Ｓ３を制御装置１に供給する。出力信号Ｓ３は、作業空間６内を撮影した画像データであってもよく、作業空間６内の物体の位置を示す点群データであってもよい。

　周辺装置８は、制御装置１から送信された制御信号Ｓ５に基づき動作を行う。図１に示す周辺装置８は、一例として、周辺装置制御部８１と、物を搬送可能な搬送機器８２と、を有する。搬送機器８２は、周辺装置制御部８１の制御に基づき、対象物６１及び障害物６２などの搬送を行う。周辺装置制御部８１は、制御信号Ｓ５が示すサブタスクシーケンスに基づき、搬送機器８２の動作制御を行う。周辺装置８は、ＡＧＶ（Ａｕｔｏｍａｔｅｄ　Ｇｕｉｄｅｄ　Ｖｅｈｉｃｌｅ）又はスライダーであってもよく、所定方向又は複数方向に搬送可能なコンベアであってもよい。また、周辺装置８は、対象物６１を収容する容器又は棚を移動させる機器であってもよい。

　なお、図１に示すロボット制御システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、ロボット５は複数台存在してもよい。また、ロボット５は、ロボットアーム５２を２つ以上備えてもよい。これらの場合であっても、制御装置１は、目的タスクに基づき、ロボットアーム５２毎に実行すべきサブタスクシーケンスを生成し、当該サブタスクシーケンスを示す制御信号Ｓ４を、対象のロボットアーム５２を有するロボット５に送信する。同様に、周辺装置８又は搬送機器８２は複数台存在してもよい。また、計測装置７は、ロボット５の一部であってもよい。また、ロボット制御部５１は、ロボット５とは別体に構成されてもよい。この場合、ロボット制御部５１は、制御装置１に組み込まれてもよい。また、入力装置２及び表示装置３は、夫々、制御装置１に内蔵されるなどの態様により、制御装置１と同一の装置（例えばタブレット型端末）として構成されてもよい。また、制御装置１は、複数の装置から構成されてもよい。この場合、制御装置１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。また、制御装置の少なくとも一部の機能を、ロボット５又は周辺装置８が有してもよい。

　（２）制御装置のハードウェア構成
　図２は、制御装置１のハードウェア構成を示す。制御装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１９を介して接続されている。

　プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）などのプロセッサである。

　メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）などの各種のメモリにより構成される。また、メモリ１２には、制御装置１が所定の処理を実行するためのプログラムが記憶される。また、メモリ１２は、作業メモリとして使用され、記憶装置４から取得した情報等を一時的に記憶する。なお、メモリ１２は、記憶装置４として機能してもよい。同様に、記憶装置４は、制御装置１のメモリ１２として機能してもよい。なお、制御装置１が実行するプログラムは、メモリ１２以外の記録媒体に記憶されてもよい。

　インターフェース１３は、制御装置１と他の装置とを電気的に接続するためのインターフェースである。例えば、インターフェース１３は、制御装置１と入力装置２とを接続するためのインターフェース、制御装置１と表示装置３とを接続するためのインターフェース、及び制御装置１と記憶装置４とを接続するためのインターフェースを含む。また、インターフェース１３は、制御装置１とロボット５とを接続するためのインターフェース、制御装置１と周辺装置８とを接続するためのインターフェース、及び制御装置１と計測装置７とを接続するためのインターフェースを含む。これらの接続は、有線接続であってもよく、無線接続であってもよい。例えば、制御装置１と記憶装置４とを接続するためのインターフェースは、プロセッサ１１の制御に基づき記憶装置４とデータの送受信を有線又は無線により行うための通信インターフェースであってもよい。他の例では、制御装置１と記憶装置４とは、ケーブル等により接続されてもよい。この場合、インターフェース１３は、記憶装置４とデータの授受を行うためのＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＳＡＴＡ（Ｓｅｒｉａｌ　ＡＴ　Ａｔｔａｃｈｍｅｎｔ）などに準拠したインターフェースを含む。

　なお、制御装置１のハードウェア構成は、図２に示す構成に限定されない。例えば、制御装置１は、入力装置２、表示装置３及び記憶装置４の少なくとも一方を含んでもよい。また、制御装置１は、スピーカなどの音出力装置と接続又は内蔵してもよい。これらの場合、制御装置１は、入力機能及び出力機能が本体と一体となったタブレット型端末等であってもよい。

　（３）アプリケーション情報
　次に、アプリケーション情報記憶部４１が記憶するアプリケーション情報のデータ構造について説明する。

　図３は、アプリケーション情報記憶部４１に記憶されるアプリケーション情報のデータ構造の一例を示す。図３に示すように、アプリケーション情報記憶部４１は、抽象状態指定情報Ｉ１と、制約条件情報Ｉ２と、動作限界情報Ｉ３と、サブタスク情報Ｉ４と、抽象モデル情報Ｉ５と、物体モデル情報Ｉ６とを含む。

　抽象状態指定情報Ｉ１は、サブタスクシーケンスの生成にあたり定義する必要がある抽象状態を指定する情報である。この抽象状態は、作業空間６内における物体の抽象的な状態であって、後述する目標論理式において使用する命題として定められる。例えば、抽象状態指定情報Ｉ１は、目的タスクの種類毎に、定義する必要がある抽象状態を指定する。なお、目的タスクは、例えば、ピックアンドプレイス、製品の組み立て、弁当箱などの容器への具材の配置などの種々の種類のタスクであってもよい。

　制約条件情報Ｉ２は、目的タスクを実行する際のロボット５及び周辺装置８に関する制約条件を示す情報である。制約条件情報Ｉ２は、例えば、目的タスクがピックアンドプレイスの場合、障害物にロボット５（ロボットアーム５２）が接触してはいけないという制約条件、ロボット５と周辺装置８とが接触してはいけないという制約条件などを示す。なお、制約条件情報Ｉ２は、目的タスクの種類毎に夫々適した制約条件を記録した情報であってもよい。

　動作限界情報Ｉ３は、制御装置１により制御が行われるロボット５及び周辺装置８の動作限界に関する情報を示す。動作限界情報Ｉ３は、ロボット５の場合には、ロボットアーム５２のリーチング等の各動作の速度及び加速度の最大値、及び、可動角度などの動作制約の情報を含む。また、動作限界情報Ｉ３は、周辺装置８の場合には、搬送機器８２の搬送の速度及び加速度の最大値、及び、可能な搬送方向などの動作制約の情報を含む。

　サブタスク情報Ｉ４は、ロボット５が受付可能なサブタスクの情報と、周辺装置８が受付可能なサブタスクの情報とを含む。例えば、目的タスクがピックアンドプレイスの場合には、サブタスク情報Ｉ４は、ロボットアーム５２の移動であるリーチングと、ロボットアーム５２による把持であるグラスピングとを、ロボット５のサブタスクとして規定する。また、この場合、サブタスク情報Ｉ４は、搬送機器８２による物体の搬送に関する動作を、周辺装置８のサブタスクとして規定する。サブタスク情報Ｉ４は、目的タスクの種類がユーザにより選択可能な場合、目的タスクの種類毎に使用可能なサブタスクの情報を示すものであってもよい。

　抽象モデル情報Ｉ５は、作業空間６におけるロボット５及び周辺装置８を含む物体のダイナミクスを抽象化したモデル（「抽象モデル」とも呼ぶ。）に関する情報である。抽象モデル情報Ｉ５は、目的タスクの種類がユーザにより選択可能な場合、目的タスクの種類毎に適した抽象モデルに関する情報を有している。抽象モデルは、現実のダイナミクスをハイブリッドシステムにより抽象化したモデルにより表されている。抽象モデル情報Ｉ５は、上述のハイブリッドシステムにおけるダイナミクスの切り替わりの条件（「ダイナミクス切替条件」とも呼ぶ。）を示す情報を含む。ダイナミクス切替条件は、ロボット５又は周辺装置８の少なくとも一方に関わるダイナミクスの切り替わりの条件である。図１の例では、以下のようなダイナミクス切替条件（ａ）、（ｂ）が与えられる。
　（ａ）「対象物６１又は障害物６２は、搬送機器８２に載ると、搬送機器８２の動作速度に基づき一定方向に動く」
　（ｂ）「ロボットアーム５２が対象物６１を掴むと、対象物６１は、搬送機器８２に載っているか否かに関わらず、ロボットアーム５２の動作に基づき動く」

　物体モデル情報Ｉ６は、計測装置７が生成した出力信号Ｓ３から認識すべき各物体（図１の例では、ロボットアーム５２、対象物６１、障害物６２、目的地領域６３、搬送機器８２など）の物体モデルに関する情報である。物体モデル情報Ｉ６は、例えば、上述した各物体の種類、位置、又は／及び姿勢を制御装置１が認識するために必要な情報と、各物体の３次元形状を認識するためのＣＡＤデータなどの３次元形状情報とを含んでいる。前者の情報は、ニューラルネットワークなどの機械学習における学習モデルを学習することで得られた推論器のパラメータを含む。この推論器は、例えば、画像が入力された場合に、当該画像において被写体となる物体の種類、位置、姿勢等を出力するように予め学習される。

　このように、アプリケーション情報は、ロボット５の動作限界、サブタスク、及び抽象モデルなどの動き特性を示すロボット動作情報と、周辺装置８の動作限界、サブタスク及び抽象モデルなどの動き特性を示す周辺装置動作情報と、を夫々含んでいる。なお、アプリケーション情報記憶部４１は、上述した情報の他、サブタスクシーケンスの生成処理に関する種々の情報を記憶してもよい。

　（４）機能ブロック
　図４は、制御装置１の機能ブロックの一例である。制御装置１のプロセッサ１１は、機能的には、状態計測部３０と、抽象状態設定部３１と、目標論理式生成部３２と、タイムステップ論理式生成部３３と、抽象モデル生成部３４と、制御入力生成部３５と、サブタスクシーケンス生成部３６とを有する。なお、図４では、各ブロック間で授受が行われるデータの一例が示されているが、これに限定されない。

　状態計測部３０は、計測装置７から供給される出力信号Ｓ３に基づき、作業空間６内における物体の状態を示す情報（「状態情報Ｉｍ」とも呼ぶ。）を生成する。具体的には、状態計測部３０は、出力信号Ｓ３を受信した場合に、物体モデル情報Ｉ６等を参照し、作業空間６内の環境を認識する技術（画像処理技術、画像認識技術、音声認識技術、ＲＦＩＤ（Ｒａｄｉｏ　Ｆｒｅｑｕｅｎｃｙ　Ｉｄｅｎｔｉｆｉｅｒ）を用いる技術等）により出力信号Ｓ３を解析する。これにより、状態計測部３０は、目的タスクの実行に関連する作業空間６内の各物体の種類毎の数、位置及び姿勢等を計測し、この計測結果を、状態情報Ｉｍとして生成する。例えば、状態情報Ｉｍは、図１の場合、ロボットアーム５２、対象物６１、障害物６２、搬送機器８２の各々の数、位置、及び姿勢などの情報を含む。状態計測部３０は、生成した状態情報Ｉｍを、抽象状態設定部３１及び抽象モデル生成部３４に供給する。なお、状態情報Ｉｍには、３次元形状の物体の計測結果に加えて、図１の目的地領域６３などの目的タスクに関連する平面的な物体（領域）に対する位置及び範囲などの計測結果が含まれてもよい。

　抽象状態設定部３１は、上述の状態情報Ｉｍ及びアプリケーション情報記憶部４１から取得した抽象状態指定情報Ｉ１等に基づき、目的タスクを実行する際に考慮する必要がある作業空間６内の抽象状態を設定する。この場合、抽象状態設定部３１は、各抽象状態に対し、抽象状態を論理式で表すための命題を定義する。抽象状態設定部３１は、設定した抽象状態を示す情報（「抽象状態設定情報ＩＳ」とも呼ぶ。）を目標論理式生成部３２に供給する。

　目標論理式生成部３２は、目的タスクに関する入力信号Ｓ１を入力装置２から受信した場合に、抽象状態設定情報ＩＳに基づき、入力信号Ｓ１が示す目的タスクを、最終的な達成状態を表す時相論理の論理式（「目標論理式Ｌｔａｇ」とも呼ぶ。）に変換する。この場合、目標論理式生成部３２は、アプリケーション情報記憶部４１から制約条件情報Ｉ２を参照することで、目的タスクの実行において満たすべき制約条件を、目標論理式Ｌｔａｇに付加する。そして、目標論理式生成部３２は、生成した目標論理式Ｌｔａｇを、タイムステップ論理式生成部３３に供給する。また、目標論理式生成部３２は、目的タスクに関する入力を受け付けるタスク入力画面を表示するための表示信号Ｓ２を生成し、当該表示信号Ｓ２を表示装置３に供給する。

　タイムステップ論理式生成部３３は、目標論理式生成部３２から供給された目標論理式Ｌｔａｇを、各タイムステップでの状態を表した論理式（「タイムステップ論理式Ｌｔｓ」とも呼ぶ。）に変換する。そして、タイムステップ論理式生成部３３は、生成したタイムステップ論理式Ｌｔｓを、制御入力生成部３５に供給する。

　抽象モデル生成部３４は、状態情報Ｉｍと、アプリケーション情報記憶部４１が記憶する抽象モデル情報Ｉ５とに基づき、作業空間６における現実のダイナミクスを抽象化した抽象モデル「Σ」を生成する。この場合、抽象モデル生成部３４は、対象のダイナミクスを連続ダイナミクスと離散ダイナミクスとが混在したハイブリッドシステムとみなし、ハイブリッドシステムに基づく抽象モデルΣを生成する。抽象モデルΣの生成方法については後述する。抽象モデル生成部３４は、生成した抽象モデルΣを、制御入力生成部３５へ供給する。

　制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとを満たし、評価関数を最適化するタイムステップ毎のロボット５及び周辺装置８への制御入力を決定する。そして、制御入力生成部３５は、ロボット５及び周辺装置８へのタイムステップ毎の制御入力を示す情報（「制御入力情報Ｉｃ」とも呼ぶ。）を、サブタスクシーケンス生成部３６へ供給する。

　サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、ロボット５及び周辺装置８に動作させるサブタスクシーケンスを夫々生成する。そして、サブタスクシーケンス生成部３６は、ロボット５に実行させるサブタスクシーケンスを示す制御信号Ｓ４を、インターフェース１３を介してロボット５へ供給し、周辺装置８に実行させるサブタスクシーケンスを示す制御信号Ｓ５を、インターフェース１３を介して周辺装置８へ供給する。なお、制御信号Ｓ４、Ｓ５には、夫々、サブタスクシーケンスを構成するサブタスクの実行順序及び実行タイミングを示す情報が含まれている。

　なお、図４において説明した状態計測部３０、抽象状態設定部３１、目標論理式生成部３２、タイムステップ論理式生成部３３、抽象モデル生成部３４、制御入力生成部３５及びサブタスクシーケンス生成部３６の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。より具体的には、各構成要素は、メモリ１２又は記憶装置４に格納されたプログラムを、プロセッサ１１が実行することによって実現され得る。また、必要なプログラムを任意の不揮発性記録媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組み合わせ等により実現してもよい。また、これらの各構成要素は、例えばＦＰＧＡ（field-programmable gate array）又はマイコン等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。このように、各構成要素は、プロセッサ以外のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。

　（５）ブロック毎の処理詳細
　次に、図４に示す機能ブロックごとの処理の詳細について、具体例を用いて説明する。

　（５－１）状態計測部及び抽象状態設定部
　状態計測部３０は、計測装置７から供給される出力信号Ｓ３に基づき、作業空間６内の物体の状態（種類、位置等）を示す状態情報Ｉｍを生成する。抽象状態設定部３１は、状態情報Ｉｍに基づき、作業空間６内の抽象状態を設定する。この場合、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照し、作業空間６内において設定すべき抽象状態を認識する。なお、作業空間６内において設定すべき抽象状態は、目的タスクの種類によって異なる。よって、目的タスクの種類毎に設定すべき抽象状態が抽象状態指定情報Ｉ１に規定されている場合には、抽象状態設定部３１は、入力信号Ｓ１により指定された目的タスクに対応する抽象状態指定情報Ｉ１を参照し、設定すべき抽象状態を認識する。

　図５は、作業空間６の俯瞰図を示す。図５に示す作業空間６には、ロボットアーム５２と、矢印５９の方向に物を搬送する搬送機器８２と、搬送機器８２上に置かれた対象物６１及び障害物６２と、目的地領域６３と、が存在している。

　この場合、状態計測部３０は、計測装置７から受信した出力信号Ｓ３を、物体モデル情報Ｉ６等を用いて解析することで、ロボットアーム５２、搬送機器８２、対象物６１、障害物６２の位置及び姿勢などの状態、及び、対象物６１の目的地となる目的地領域６３の位置及び範囲等を認識する。この場合、抽象化のため、状態計測部３０は、ロボットアーム５２の手先（ロボットハンド）をロボットアーム５２の位置として設定してもよい。そして、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、目的タスクにおいて定義すべき抽象状態を決定する。この場合、抽象状態設定部３１は、状態計測部３０の認識結果を示す状態情報Ｉｍと、抽象状態指定情報Ｉ１とに基づき、抽象状態を示す命題を定める。図５の例では、抽象状態設定部３１は、状態情報Ｉｍにより特定される対象物６１、障害物６２、ロボットアーム５２、搬送機器８２、目的地領域６３に夫々識別ラベルを付す。また、抽象状態設定部３１は、抽象状態指定情報Ｉ１に基づき、対象物６１又は障害物６２が搬送機器８２に載っているという命題、対象物６１が最終的に載置されるべき目的地点である領域Ｇ（破線枠６３参照）内に存在するという命題、ロボットアーム５２が障害物６２に干渉しているという命題などの目標論理式に用いられる各命題を定義する。

　このように、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、定義すべき抽象状態を認識し、当該抽象状態を表す命題を、対象物６１の数、ロボットアーム５２の数、障害物６２の数等に応じてそれぞれ定義する。そして、抽象状態設定部３１は、抽象状態を表す命題を示す情報を、抽象状態設定情報ＩＳとして目標論理式生成部３２に供給する。

　（５－２）目標論理式生成部
　目標論理式生成部３２は、目的タスクの種類と、前記ロボットの作業対象となる対象物の最終状態と、を指定する入力信号Ｓ１の入力を受け付ける。また、目標論理式生成部３２は、これらの入力を受け付けるタスク入力画面の表示信号Ｓ２を、表示装置３に送信する。

　目標論理式生成部３２は、入力信号Ｓ１により指定された目的タスクを、時相論理を用いた論理式に変換する。入力信号Ｓ１は、自然言語を用いて表されていてもよい。なお、自然言語で表されたタスクを論理式に変換する方法は、種々の技術が存在する。例えば、目標論理式生成部３２は、図５の例において、「最終的に対象物６１が領域Ｇに存在する」という命題「ｇ」を示す目的タスクが与えられたとする。この場合、目標論理式生成部３２は、目的タスクを線形論理式（ＬＴＬ：Ｌｉｎｅａｒ　Ｔｅｍｐｏｒａｌ　Ｌｏｇｉｃ）の「eventually」に相当する演算子「◇」と、抽象状態設定部３１により定義された命題「ｇ」と用いて、論理式「◇ｇ」を生成する。なお、目標論理式生成部３２は、演算子「◇」以外の任意の時相論理の演算子（論理積「∧」、論理和「∨」、否定「￢」、論理包含「⇒」、always「□」、next「○」、until「Ｕ」等）を用いて論理式を表現してもよい。また、線形時相論理に限らず、ＭＴＬ（Ｍｅｔｒｉｃ　Ｔｅｍｐｏｒａｌ　Ｌｏｇｉｃ）やＳＴＬ（Ｓｉｇｎａｌ　Ｔｅｍｐｏｒａｌ　Ｌｏｇｉｃ）などの任意の時相論理を用いて論理式を表現してもよい。

　また、目標論理式生成部３２は、アプリケーション情報記憶部４１から制約条件情報Ｉ２を取得する。なお、タスクの種類毎に制約条件情報Ｉ２がアプリケーション情報記憶部４１に記憶されている場合には、目標論理式生成部３２は、入力信号Ｓ１により指定された目的タスクの種類に対応する制約条件情報Ｉ２を、アプリケーション情報記憶部４１から取得する。

　そして、目標論理式生成部３２は、取得した制約条件情報Ｉ２が示す制約条件を、目的タスクを示す論理式に付加することで、目標論理式Ｌｔａｇを生成する。例えば、ピックアンドプレイスに対応する制約条件として、「ロボットアーム５２が障害物６２に常に干渉しない」、「ロボットアーム５２は、搬送機器８２に常に干渉しない」などの制約条件情報Ｉ２に含まれていた場合、目標論理式生成部３２は、これらの制約条件を論理式に変換する。そして、目的タスクに対応する論理式に、変換したこれらの制約条件の論理式を付加することで、目標論理式Ｌｔａｇを生成する。

　次に、タスク入力画面での目的タスクに関する入力例について説明する。

　図６は、タスク入力画面の表示例を示す。目標論理式生成部３２は、表示信号Ｓ２を生成し、当該表示信号Ｓ２を表示装置３に送信することで、表示装置３に図６に示すタスク入力画面を表示させている。図６に示すタスク入力画面は、主に、タスク種類指定欄１５と、画像表示欄１６と、同種対象物指定ボタン１７と、決定ボタン２０とを有し、タスクの種類の指定及び対象物６１とみなす物体の指定を受け付ける。

　目標論理式生成部３２は、タスク種類指定欄１５において、目的タスクの種類を指定する入力を受け付ける。ここでは、一例として、タスク種類指定欄１５はプルダウンメニュー形式の入力欄である。目標論理式生成部３２は、たとえば、受付可能な目的タスクの種類の候補を、タスク種類指定欄１５において選択可能に一覧表示する。ここでは、タスク種類指定欄１５には、ピックアンドプレイスが目的タスクの種類として指定されている。

　また、目標論理式生成部３２は、画像表示欄１６において、計測装置７が作業空間６内を撮像した画像を表示する。そして、目標論理式生成部３２は、画像表示欄１６上でのタッチパネル操作又はマウス操作等に基づき、対象物６１とみなす物体を指定する入力を受け付ける。

　この場合、第１の例では、目標論理式生成部３２は、タスク入力画面の表示時点において、公知の画像認識処理に基づき、画像表示欄１６での対象物６１の候補となる物体の領域（ここでは領域１８ｂ、１８ｃ）を認識する。そして、目標論理式生成部３２は、当該領域のうちいずれかがタッチ操作又はクリック操作により選択された場合に、選択された領域（ここでは領域１８ｂ）の物体を対象物６１とみなす。第２の例では、目標論理式生成部３２は、タッチ操作又はクリック操作により対象物６１を構成する一部の画素が指定された場合、指定された画素を含む物体の領域を、対象物６１の領域とみなす。第３の例では、目標論理式生成部３２は、対象物６１とする物体の画像領域を丸で囲む操作を検知した場合、丸で囲まれた画像領域内の物体を対象物６１とみなす。

　また、目標論理式生成部３２は、画像認識処理により、領域１８ａが目的地領域６３を示す領域であると自動認識する。この場合、目的地領域６３には、目的地領域６３を目標論理式生成部３２が認識することを容易にするためのマーカなどが付されてもよく、目的地領域６３の形状及び大きさ等の情報がアプリケーション情報として記憶装置４に記憶されていてもよい。なお、目標論理式生成部３２が目的地領域６３を自動認識する代わりに、対象物６１と同様に、目的地領域６３を指定する入力を受け付けることで、目的地領域６３を認識してもよい。また、この場合、目標論理式生成部３２は、ドラッグアンドドロップ操作による対象物６１の最終目的地の入力を受け付けることで、目的地領域６３を認識してもよい。

　また、目標論理式生成部３２は、同種対象物指定ボタン１７が選択されている場合、画像表示欄１６上で指定された物体に加えて、当該物体と同種の物体についても対象物６１とみなす。この場合、対象物６１とみなす物体は、タスク入力画面の表示時点において計測装置７の計測範囲外に存在する物体であってもよい。これにより、目標論理式生成部３２は、効率的に対象物６１をユーザに指定させることができる。なお、対象物６１とする物体の種類が予め定められている場合には、制御装置１は、対象物６１を指定する入力を受け付けることなく、対象物６１を認識してもよい。この場合、物体モデル情報Ｉ６等に対象物６１を識別するための情報が含まれており、状態計測部３０は、物体モデル情報Ｉ６等を参照することで、対象物６１の識別及び状態（位置、姿勢等）の認識を行う。

　そして、目標論理式生成部３２は、決定ボタン２０が選択されたことを検知した場合、タスク入力画面での入力内容を示す入力信号Ｓ１に基づき認識した目的タスク、対象物６１又は／及び目的地領域６３の情報を用いて、目標論理式Ｌｔａｇを生成する。なお、目標論理式生成部３２は、入力信号Ｓ１に基づき認識した目的タスク、対象物６１又は／及び目的地領域６３の情報を抽象状態設定部３１に供給してもよい。この場合、抽象状態設定部３１は、供給された情報に基づき、目的タスク、対象物６１又は／及び目的地領域６３に関する命題の設定を行う。

　（５－３）タイムステップ論理式生成部
　タイムステップ論理式生成部３３は、目的タスクを完了するタイムステップ数（「目標タイムステップ数」とも呼ぶ。）を定め、目標タイムステップ数で目標論理式Ｌｔａｇを満たすような各タイムステップでの状態を表す命題の組み合わせを定める。この組み合わせは、通常複数存在するため、タイムステップ論理式生成部３３は、これらの組み合わせを論理和により結合した論理式を、タイムステップ論理式Ｌｔｓとして生成する。上述の組み合わせは、ロボット５に命令する動作のシーケンスを表す論理式の候補となり、以後では「候補φ」とも呼ぶ。よって、タイムステップ論理式生成部３３は、生成した各候補φの論理和をタイムステップ論理式Ｌｔｓとして定める。この場合、タイムステップ論理式Ｌｔｓは、生成した候補φの少なくともいずれかが真となる場合に真となる。

　好適には、タイムステップ論理式生成部３３は、生成された候補に対し、動作限界情報Ｉ３を参照することで、実現可能性を判定し、実現不可と判定した候補φを除外するとよい。例えば、タイムステップ論理式生成部３３は、動作限界情報Ｉ３に基づき、ロボットアーム５２の手先（ロボットハンド）が１タイムステップ当たりに移動可能な距離及び搬送機器８２が１タイムステップ当たりに対象物６１を移動させることが可能な距離を認識する。また、タイムステップ論理式生成部３３は、状態情報Ｉｍが示す対象物６１及びロボットハンドの位置ベクトルに基づき、移動対象となる対象物６１とロボットハンドとの距離を認識する。そして、タイムステップ論理式生成部３３は、これらの距離に基づき、実現可能性を判定する。

　このように、タイムステップ論理式生成部３３は、動作限界情報Ｉ３を参照して実現不可能な候補をタイムステップ論理式Ｌｔｓから除外することで、後段の処理部の処理負荷を好適に低減させることができる。

　次に、目標タイムステップ数の設定方法について補足説明する。

　タイムステップ論理式生成部３３は、例えば、ユーザ入力により指定された作業の見込み時間に基づき、目標タイムステップ数を決定する。この場合、タイムステップ論理式生成部３３は、メモリ１２又は記憶装置４に記憶された、１タイムステップ当たりの時間幅の情報に基づき、上述の見込み時間から目標タイムステップ数を算出する。他の例では、タイムステップ論理式生成部３３は、目的タスクの種類毎に適した目標タイムステップ数を対応付けた情報を予めメモリ１２又は記憶装置４に記憶しておき、当該情報を参照することで、実行すべき目的タスクの種類に応じた目標タイムステップ数を決定する。

　好適には、タイムステップ論理式生成部３３は、目標タイムステップ数を所定の初期値に設定する。そして、タイムステップ論理式生成部３３は、制御入力生成部３５が制御入力を決定できるタイムステップ論理式Ｌｔｓが生成されるまで、目標タイムステップ数を徐々に増加させる。この場合、タイムステップ論理式生成部３３は、設定した目標タイムステップ数により制御入力生成部３５が最適化処理を行った結果、最適解を導くことができなかった場合、目標タイムステップ数を所定数（１以上の整数）だけ加算する。

　このとき、タイムステップ論理式生成部３３は、目標タイムステップ数の初期値を、ユーザが見込む目的タスクの作業時間に相当するタイムステップ数よりも小さい値に設定するとよい。これにより、タイムステップ論理式生成部３３は、不必要に大きな目標タイムステップ数を設定することを好適に抑制する。

　（５－４）抽象モデル生成部
　抽象モデル生成部３４は、状態情報Ｉｍと、抽象モデル情報Ｉ５とに基づき、抽象モデルΣを生成する。ここで、抽象モデル情報Ｉ５には、抽象モデルΣの生成に必要な情報が記録されている。例えば、目的タスクがピックアンドプレイスの場合には、対象物の位置や数、対象物を置く目的地領域の位置、ロボットアーム５２の数、搬送機器８２の位置及び搬送速度（及び搬送方向）等を特定しない汎用的な形式の抽象モデルが抽象モデル情報Ｉ５に記録されている。この抽象モデルは、タイムステップ「ｋ」での作業空間６内の物体の状態とタイムステップ「ｋ＋１」での作業空間６内の物体の状態との関係を示した差分方程式により表されてもよい。このとき、差分方程式には、例えば、対象物の位置を示す位置ベクトル、ロボットアーム５２の手先の位置を示す位置ベクトルなどが変数として与えられる。

　そして、抽象モデル生成部３４は、抽象モデル情報Ｉ５に記録された汎用的な形式の抽象モデルに対し、状態情報Ｉｍが示す対象物の位置や数、対象物を置く領域の位置、ロボット５の台数等を反映することで、抽象モデルΣを生成する。

　ここで、ロボット５による目的タスクの作業時においては、作業空間６内のダイナミクスが頻繁に切り替わる。よって、抽象モデル情報Ｉ５に記憶された抽象モデルは、このダイナミクスの切り替わりを、論理変数を用いて抽象表現したモデルとなっている。よって、抽象モデル生成部３４は、ダイナミクスが切り替わるイベント（動作）を、論理変数を用いて抽象モデルにおいて抽象表現することで、ダイナミクスの切り替わりを好適に抽象モデルにより表現することができる。

　例えば、図１及び図５に示す作業空間６では、以下のダイナミクス切替条件が存在する。
　（ａ）「対象物６１又は障害物６２は、搬送機器８２に載ると、搬送機器８２の動作速度に基づき一定方向に動く」
　（ｂ）「ロボットアーム５２が対象物６１を掴むと、対象物６１は、搬送機器８２に載っているか否かに関わらず、ロボットアーム５２の動作に基づき動く」
　よって、この場合、抽象モデル生成部３４は、対象物６１又は障害物６２が搬送機器８２に載るという動作を、論理変数を用いて抽象モデル内で抽象表現すると共に、ロボットアーム５２が対象物６１を掴むという動作を、論理変数を用いて抽象モデル内で抽象表現する。

　このように、抽象モデル生成部３４は、抽象モデル情報Ｉ５を参照し、ダイナミクスの切り替わりが離散値である論理変数により表され、物体の移動が連続値により表されたハイブリッドシステムにより作業空間６内のダイナミクスを抽象化したモデルである抽象モデルΣを設定する。ここで、抽象モデルΣがタイムステップ「ｋ」及び「ｋ＋１」での作業空間６内の物体の状態の関係を示した差分方程式により表される場合、当該差分方程式は、物体の状態を表す位置ベクトル等と、ロボット５への制御入力及び周辺装置８への制御入力を表す変数（パラメータ）と、ダイナミクスの切り替わりを示す論理変数とを含んでいる。

　また、抽象モデルΣは、ロボット５全体及び周辺装置８全体の詳細なダイナミクスではなく、抽象化されたダイナミクスを表す。例えば、抽象モデルΣでは、ロボット５について、対象物を実際に把持するロボット５の手先であるロボットハンドのダイナミクスのみが表されてもよい。他の例では、抽象モデルΣでは、周辺装置８の制御入力に応じて搬送機器８２に載置された物の位置が変動することが周辺装置８のダイナミクスとして表されてもよい。これにより、制御入力生成部３５による最適化処理の計算量を好適に削減することができる。

　なお、抽象モデル生成部３４は、混合論理動的（ＭＬＤ：Ｍｉｘｅｄ　Ｌｏｇｉｃａｌ　Ｄｙｎａｍｉｃａｌ）システムまたはペトリネットやオートマトンなどを組み合わせたハイブリッドシステムのモデルを生成してもよい。

　（５－５）制御入力生成部
　制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとに基づき、最適となるタイムステップ毎のロボット５及び周辺装置８に対するタイムステップ毎の制御入力を決定する。この場合、制御入力生成部３５は、目的タスクに対する評価関数を定義し、抽象モデルΣ及びタイムステップ論理式Ｌｔｓを制約条件として評価関数を最小化する最適化問題を解く。

　評価関数は、例えば、目的タスクの種類毎に予め定められ、メモリ１２又は記憶装置４に記憶されている。評価関数は、ロボット５が費やすエネルギーを最小化するように設計されてもよく、ロボット５及び周辺装置８が費やすエネルギーを最小化するように設計されてもよい。図１及び図５に示す例において、例えば、制御入力生成部３５は、対象物６１と目的地領域６３との距離「ｄ_ｋ」と、ロボット５に対する制御入力「ｕ_ｋｒ」と、搬送機器８２に対する制御入力「ｕ_ｋｐ」とが最小となるように評価関数を定める。具体的には、制御入力生成部３５は、たとえば、全タイムステップにおける距離ｄ_ｋのノルムの２乗と、制御入力ｕ_ｋｒのノルムの２乗と、制御入力ｕ_ｋｐのノルムの２乗との和を評価関数として定める。この場合、制御入力生成部３５は、距離ｄ_ｋの項と、制御入力ｕ_ｋｒの項と、制御入力ｕ_ｋｐの項との夫々に対し、所定の重み付け係数を乗じてもよい。なお、制御入力ｕ_ｋｒ及び制御入力ｕ_ｋｐは、速度であってもよく加速度であってもよい。

　そして、制御入力生成部３５は、設定した評価関数に対し、抽象モデルΣ及びタイムステップ論理式Ｌｔｓ（即ち候補φ_ｉの論理和）を制約条件とする制約付き混合整数最適化問題を解く。ここで、制御入力生成部３５は、論理変数を連続値に近似して連続緩和問題とすることで、計算量を削減してもよい。なお、線形論理式（ＬＴＬ）に代えてＳＴＬを採用した場合には、非線形最適化問題として記述することが可能である。これにより、制御入力生成部３５は、ロボット５に対する制御入力ｕ_ｋｒと、搬送機器８２に対する制御入力ｕ_ｋｐとを夫々算出する。

　また、制御入力生成部３５は、目標タイムステップ数が長い場合（例えば所定の閾値より大きい場合）、最適化に用いるタイムステップ数を、目標タイムステップ数より小さい値（例えば上述の閾値）に設定してもよい。この場合、制御入力生成部３５は、例えば、所定のタイムステップ数が経過する毎に、上述の最適化問題を解くことで、逐次的に制御入力ｕ_ｋｒと制御入力ｕ_ｋｐとを決定する。

　好適には、制御入力生成部３５は、目的タスクの達成状態に対する中間状態に相当する所定のイベント毎に、上述の最適化問題を解き、使用すべき制御入力ｕ_ｋｒと制御入力ｕ_ｋｐとを決定してもよい。この場合、制御入力生成部３５は、次のイベント発生までのタイムステップ数を、最適化に用いるタイムステップ数に設定する。上述のイベントは、例えば、作業空間６におけるダイナミクスが切り替わる事象である。例えば、ピックアンドプレイスを目的タスクとした場合には、ロボット５が対象物を掴む、ロボット５が運ぶべき複数の対象物のうちの１つの対象物を目的地点へ運び終える、などがイベントとして定められる。イベントは、例えば、目的タスクの種類毎に予め定められており、目的タスクの種類毎にイベントを特定する情報が記憶装置４に記憶されている。

　この態様によっても、最適化に用いるタイムステップ数を小さくして最適化問題の計算量等を好適に低減することができる。

　（５－６）サブタスクシーケンス生成部
　サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、サブタスクシーケンスを生成する。この場合、サブタスクシーケンス生成部３６は、サブタスク情報Ｉ４を参照することで、ロボット５が受け付け可能なサブタスク及び周辺装置８が受付可能なサブタスクを夫々認識する。そして、サブタスクシーケンス生成部３６は、制御入力情報Ｉｃが示すタイムステップ毎のロボット５への制御入力を、ロボット５のサブタスクに変換し、制御入力情報Ｉｃが示すタイムステップ毎の周辺装置８への制御入力を、周辺装置８のサブタスクに変換する。

　例えば、サブタスク情報Ｉ４には、ピックアンドプレイスを目的タスクとする場合にロボット５が受け付け可能なサブタスクとして、ロボットハンドの移動（リーチング）とロボットハンドの把持（グラスピング）の２つのサブタスクを示す関数が定義されている。この場合、リーチングを表す関数「Ｍｏｖｅ」は、例えば、当該関数実行前のロボット５の初期状態、当該関数実行後のロボット５の最終状態、及び当該関数の実行に要する所要時間をそれぞれ引数とする関数である。また、グラスピングを表す関数「Ｇｒａｓｐ」は、例えば、当該関数実行前のロボット５の状態、当該関数実行前の把持対象の対象物の状態、及びダイナミクスの切り替わりを示す論理変数をそれぞれ引数とする関数である。ここで、関数「Ｇｒａｓｐ」は、論理変数が「１」のときに物を掴む動作を行うこと表し、論理変数が「０」のときに物を放す動作を行うこと表す。この場合、サブタスクシーケンス生成部３６は、関数「Ｍｏｖｅ」を、制御入力情報Ｉｃが示すタイムステップ毎の制御入力により定まるロボットハンドの軌道に基づき決定し、関数「Ｇｒａｓｐ」を、制御入力情報Ｉｃが示すタイムステップ毎の論理変数の遷移に基づき決定する。

　そして、サブタスクシーケンス生成部３６は、関数「Ｍｏｖｅ」と関数「Ｇｒａｓｐ」とにより構成されるロボット５のサブタスクシーケンスを生成し、当該サブタスクシーケンスを示す制御信号Ｓ４をロボット５に供給する。例えば、目的タスクが「最終的に対象物６１が領域Ｇに存在する」の場合、サブタスクシーケンス生成部３６は、ロボットアーム５２に対し、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」のサブタスクシーケンスを生成する。この場合、ロボットアーム５２は、１回目の関数「Ｍｏｖｅ」により搬送機器８２上の対象物６１の位置まで移動し、１回目の関数「Ｇｒａｓｐ」により対象物６１を把持し、２回目の関数「Ｍｏｖｅ」により目的地領域６３まで移動し、２回目の関数「Ｇｒａｓｐ」により対象物６１を目的地領域６３に載置する。

　同様に、サブタスクシーケンス生成部３６は、サブタスク情報Ｉ４が示す周辺装置８が実行可能なサブタスクと、制御入力情報Ｉｃが示す周辺装置８の時系列の制御入力とに基づき、周辺装置８に実行させるサブタスクシーケンスを生成する。この場合、周辺装置８のサブタスクは、搬送機器８２上の物体を移動させる関数（「移動関数」とも呼ぶ。）を少なくとも有する。移動関数は、移動速度又は加速度の少なくとも一方をパラメータとして有し、サブタスクシーケンス生成部３６は、制御入力情報Ｉｃが示す周辺装置８の時系列の制御入力に基づき、上述のパラメータが指定された移動関数を含むサブタスクシーケンスを生成する。なお、周辺装置８のサブタスクとして、移動関数のみに限らず、移動方向の変換を指示する関数、一時停止を指示する関数などの種々の関数がサブタスク情報Ｉ４に登録されていてもよい。

　（６）処理フロー
　図７は、第１実施形態において制御装置１が実行する制御処理を示すフローチャートの一例である。

　まず、制御装置１の状態計測部３０は、計測装置７から供給される出力信号Ｓ３に基づき、作業空間６内の物体の計測結果を示す状態情報Ｉｍを生成する。抽象状態設定部３１は、当該状態情報Ｉｍに基づき、作業空間６における抽象状態の設定を行う（ステップＳ１１）。次に、目標論理式生成部３２は、入力信号Ｓ１等により指定された目的タスクから、目標論理式Ｌｔａｇを決定する（ステップＳ１２）。この場合、目標論理式生成部３２は、制約条件情報Ｉ２を参照することで、目的タスクの実行における制約条件を、目標論理式Ｌｔａｇに付加する。なお、ステップＳ１２の処理は、ステップＳ１１よりも前に実行されてもよい。

　そして、タイムステップ論理式生成部３３は、目標論理式Ｌｔａｇを、各タイムステップでの状態を表すタイムステップ論理式Ｌｔｓに変換する（ステップＳ１３）。この場合、タイムステップ論理式生成部３３は、目標タイムステップ数を定め、目標タイムステップ数で目標論理式Ｌｔａｇを満たすような各タイムステップでの状態を表す候補φの論理和を、タイムステップ論理式Ｌｔｓとして生成する。この場合、好適には、タイムステップ論理式生成部３３は、動作限界情報Ｉ３を参照することで、各候補φの実行可能性を判定し、実行不可能と判定される候補φを、タイムステップ論理式Ｌｔｓから除外する。

　次に、抽象モデル生成部３４は、ステップＳ１１で生成した状態情報Ｉｍと、抽象モデル情報Ｉ５とに基づき、目的タスクに適した抽象モデルΣを決定する（ステップＳ１４）。この抽象モデルΣは、ロボット５又は周辺装置８に関するダイナミクス切替条件の成否によるダイナミクスの切り替えを離散値により表したハイブリッドシステムとなる。そして、制御入力生成部３５は、抽象モデルΣ及びタイムステップ論理式Ｌｔｓを満たし、評価関数を最適化するロボット５の制御入力及び周辺装置８の制御入力を決定する（ステップＳ１５）。そして、サブタスクシーケンス生成部３６は、制御入力生成部３５が決定した制御入力からロボット５及び周辺装置８に夫々実行させるサブタスクシーケンスを決定し、ロボット５及び周辺装置８に夫々出力する（ステップＳ１６）。この場合、サブタスクシーケンス生成部３６は、ロボット５のサブタスクシーケンスを示す制御信号Ｓ４を、インターフェース１３を介してロボット５へ送信し、周辺装置８のサブタスクシーケンスを示す制御信号Ｓ５を、インターフェース１３を介して周辺装置８へ送信する。

　（７）変形例
　図４に示すプロセッサ１１の機能ブロックの構成は一例であり、種々の変更がなされてもよい。例えば、プロセッサ１１が状態計測部３０を有する代わりに、計測装置７が状態計測部３０に相当する機能を有し、状態情報Ｉｍの生成及び状態情報Ｉｍの制御装置１への供給を行ってもよい。他の例では、ロボット５及び周辺装置８に命令する動作のシーケンスの候補φの情報が記憶装置４に予め記憶され、制御装置１は、当該情報に基づき、制御入力生成部３５の最適化処理を実行する。これにより、制御装置１は、最適な候補φの選定とロボット５及び周辺装置８の制御入力の決定を行う。この場合、制御装置１は、抽象状態設定部３１、目標論理式生成部３２及びタイムステップ論理式生成部３３に相当する機能を有しなくともよい。また、図４に示すプロセッサ１１の一部の機能ブロックの実行結果に関する情報が予めアプリケーション情報記憶部４１に記憶されていてもよい。

　＜第２実施形態＞
　図８は、第２実施形態における制御装置１Ａの概略構成図である。第２実施形態における制御装置１Ａは、サブタスクシーケンスに従い動作中のロボット５及び周辺装置８の状態を監視し、ロボット５及び周辺装置８が夫々与えられたサブタスクシーケンスを実行するために必要な調整を行う点で、第１実施形態と異なる。以後では、第１実施形態と同一の構成要素については第１実施形態と同一の符号を付し、その説明を省略する。

　制御装置１Ａは、第１実施形態において説明した図２に示すハードウェア構成を有する。そして、図８に示すように、制御装置１Ａのプロセッサ１１は、機能的には、状態計測部３０と、動作シーケンス生成部３７と、統合制御部３８とを有する。

　状態計測部３０は、出力信号Ｓ３と物体モデル情報Ｉ６とに基づき、第１実施形態の状態計測部３０と同一処理を行うことで状態情報Ｉｍを生成し、状態情報Ｉｍを動作シーケンス生成部３７と統合制御部３８とに夫々供給する。なお、状態計測部３０に相当する処理を、計測装置７が実行してもよい。

　動作シーケンス生成部３７は、アプリケーション情報記憶部４１に記憶された各種情報と、状態情報Ｉｍとに基づき、ロボット５に実行させるサブタスクシーケンス（「ロボット動作シーケンスＳｒ」とも呼ぶ。）と、周辺装置８に実行させるサブタスクシーケンス（「周辺装置動作シーケンスＳｐ」とも呼ぶ。）とを夫々生成する。ここで、動作シーケンス生成部３７は、第１実施形態における図４に示す抽象状態設定部３１、目標論理式生成部３２、タイムステップ論理式生成部３３、抽象モデル生成部３４、制御入力生成部３５及びサブタスクシーケンス生成部３６に相当する機能を有する。

　統合制御部３８は、ロボット動作シーケンスＳｒと、周辺装置動作シーケンスＳｐと、状態情報Ｉｍと、ロボット５から送信される状態信号「Ｓ６」と、周辺装置８から送信される状態信号「Ｓ７」とに基づき、ロボット５及び周辺装置８の制御を行う。ここで、状態信号Ｓ６は、ロボット５の状態を検出するセンサの出力信号又はロボット制御部５１が生成したロボット５の状態を示す信号である。状態信号Ｓ７は、周辺装置８の状態を検出するセンサの出力信号又は周辺装置制御部８１が生成した周辺装置８の状態を示す信号である。これらの状態信号は、ロボット５及び周辺装置８のサブタスクの進捗度合を直接的又は間接的に示す情報である。

　統合制御部３８は、ロボット５及び周辺装置８による動作シーケンスの実行中に計測されたロボット５及び周辺装置８の状態（「計測状態」とも呼ぶ。）と、動作シーケンスの通りに動作した場合に予測されるロボット５及び周辺装置８の状態（「予測状態」とも呼ぶ。）とを比較する。なお、統合制御部３８は、計測状態を、状態信号Ｓ６及び状態信号Ｓ７、又は、状態情報Ｉｍの少なくともいずれかに基づいて推定する。そして、統合制御部３８は、上述の計測状態が予測状態と整合しない場合には、上述の計測状態と予測状態とを近付けるようにロボット５及び周辺装置８の少なくとも一方の制御を行う。

　図９は、第２実施形態において制御装置１Ａが実行するロボット５及び周辺装置８の制御処理を示すフローチャートの一例である。なお、図９のフローチャートでは、状態計測部３０は、計測装置７から供給される出力信号Ｓ３に基づき、状態情報Ｉｍを常時生成しているものとする。

　まず、動作シーケンス生成部３７は、状態情報Ｉｍと、アプリケーション情報とに基づき、ロボット動作シーケンスＳｒ及び周辺装置動作シーケンスＳｐを夫々生成する。統合制御部３８は、ロボット動作シーケンスＳｒを示す制御信号Ｓ４をロボット５に送信し、周辺装置動作シーケンスＳｐを示す制御信号Ｓ５を周辺装置８に送信する（ステップＳ２１）。

　その後、統合制御部３８は、ロボット５及び周辺装置８の各状態を計測する（ステップＳ２２）。この場合、統合制御部３８は、状態信号Ｓ６又は状態情報Ｉｍの少なくとも一方によりロボット５の計測状態を認識し、状態信号Ｓ７又は状態情報Ｉｍの少なくとも一方により周辺装置８の計測状態を認識する。

　次に、統合制御部３８は、ロボット５及び周辺装置８の計測状態が動作シーケンスに基づき予測される予測状態と整合するか否か判定する（ステップＳ２３）。この場合、第１の例では、統合制御部３８は、上述の計測状態及び予測状態として、ロボット５及び周辺装置８の位置の計測及び予測を行う。そして、統合制御部３８は、これらの位置の差（即ち距離）が所定差以内の場合に、計測状態が予測状態と整合すると判定する。この場合、ロボット５及び周辺装置８の位置に加えて、姿勢を勘案して計測状態が予測状態と整合するか否か判定してもよい。第２の例では、統合制御部３８は、計測状態として、状態信号Ｓ６、Ｓ７に基づき、動作シーケンスの実際の進捗度合（例えばサブタスクが完了した数又は割合）を認識し、予測状態として、動作シーケンスの現在に相当するタイムステップでの予想される進捗度合を認識する。そして、統合制御部３８は、これらの進捗度合が一致する場合に、計測状態が予測状態と整合すると判定する。

　そして、統合制御部３８は、ロボット５及び周辺装置８の計測状態が動作シーケンスに基づく予測状態と整合しない場合（ステップＳ２３；Ｎｏ）、制御信号Ｓ４又は制御信号Ｓ５の少なくともいずれかの生成及び出力を行う（ステップＳ２５）。これにより、統合制御部３８は、ロボット５及び周辺装置８の状態が動作シーケンスに基づく予測状態と整合するように、ロボット５又は周辺装置８の少なくともいずれかを制御する。ステップＳ２５の具体的な態様については後述する。

　一方、ロボット５及び周辺装置８の計測状態が動作シーケンスに基づく予測状態と整合する場合（ステップＳ２３；Ｙｅｓ）、又はステップＳ２５の実行後、制御装置１Ａは、目的タスクが完了したか否か判定する（ステップＳ２４）。制御装置１Ａは、例えば、計測装置７から供給される出力信号Ｓ３に基づき対象物等の状態を認識することで、目的タスクの完了の有無を判定する。他の例では、制御装置１Ａは、ロボット５からロボット動作シーケンスＳｒの正常終了を示す状態信号Ｓ６を受信した場合に、目的タスクが完了したと判定する。なお、制御装置１Ａは、ロボット動作シーケンスＳｒの正常終了を示す状態信号Ｓ６及び周辺装置動作シーケンスＳｐの正常終了を示す状態信号Ｓ７の両方を受信した場合に、目的タスクが完了したと判定してもよい。

　ここで、ステップＳ２５の処理について補足説明する。

　第１の例では、統合制御部３８は、ロボット５及び周辺装置８の少なくともいずれかの状態が動作シーケンスに基づき予測される状態よりも遅延している場合に、当該遅延分だけ全体の動作シーケンスの完了タイミングをずらすための制御信号Ｓ４又は制御信号Ｓ５の少なくともいずれかを生成する。これにより、統合制御部３８は、ロボット５又は周辺装置８のいずれかの動作遅延が生じていることに起因してロボット５と周辺装置８のタイミングの同期が必要な作業が実行できなくなるのを好適に抑制する。この場合、例えば、統合制御部３８は、上述の遅延分を考慮した新たな各サブタスクの実行タイミングを示す情報を制御信号Ｓ４又は制御信号Ｓ５に含める。この場合、統合制御部３８は、ロボット５又は周辺装置８のうち他方よりも動作が進んでいる方に対し、ロボット５及び周辺装置８の動作遅延時間分だけ動作タイミングを遅延させることを指示してもよい。さらに別の例では、統合制御部３８は、新たな各サブタスクの実行タイミングを反映した動作シーケンスを、制御信号Ｓ４又は制御信号Ｓ５によりロボット５及び周辺装置８に通知してもよい。なお、統合制御部３８は、ロボット５と周辺装置８の動作タイミングの調整では目的タスクが完了できないと判定した場合には、動作シーケンス生成部３７に対して動作シーケンスの再生成の指示を行ってもよい。

　第２の例では、統合制御部３８は、ロボット５又は周辺装置８のいずれかが停止したことを計測した場合、ロボット５及び周辺装置８の計測状態が動作シーケンスに基づく予測状態と整合しないと直ちに判定する。この場合、例えば、統合制御部３８は、停止していない方に対して制御信号を送信し、動作の停止を指示する。他の例では、統合制御部３８は、動作シーケンス生成部３７に対して動作シーケンスの再生成の指示を行ってもよく、異常が発生した旨を管理者に対して通知するための警告を出力してもよい。

　以上のように、第２実施形態によれば、制御装置１Ａは、サブタスクシーケンスの生成後にロボット５及び周辺装置８が夫々与えられたサブタスクシーケンスに従い動作しているか否か監視し、サブタスクシーケンスに従い動作するようにロボット５及び周辺装置８を制御することができる。

　＜第３実施形態＞
　図１０は、第３実施形態における制御装置１Ｂの概略構成図である。第３実施形態における制御装置１Ｂは、サブタスクシーケンスの計算中も搬送機器８２により対象物６１及び障害物６２が移動することを勘案し、サブタスクシーケンスの計算時間を考慮してサブタスクシーケンスの生成を行う点において、第１実施形態と異なる。以後では、第１実施形態と同一の構成要素については第１実施形態と同一の符号を付し、その説明を省略する。

　制御装置１Ｂは、第１実施形態において説明した図２に示すハードウェア構成を有する。そして、図１０に示すように、制御装置１Ｂのプロセッサ１１は、機能的には、状態計測部３０と、動作シーケンス生成部３７と、状態予測部３９とを有する。

　状態計測部３０は、出力信号Ｓ３と物体モデル情報Ｉ６とに基づき、第１実施形態の状態計測部３０と同一処理を行うことで状態情報Ｉｍを生成し、状態情報Ｉｍを状態予測部３９に供給する。なお、状態計測部３０に相当する処理を、計測装置７が実行してもよい。

　状態予測部３９は、状態情報Ｉｍに基づき、所定時間（「計算考慮時間」とも呼ぶ。）経過後の作業空間６の物体の状態を示す情報（「予測状態情報Ｉｍｐ」とも呼ぶ。）を生成する。上述の計算考慮時間は、動作シーケンス生成部３７によるサブタスクシーケンスの算出に要すると予測される計算時間であり、予めメモリ１２又は記憶装置４に記憶されている。

　この場合、状態予測部３９は、状態情報Ｉｍが示す各物体の状態のうち、少なくとも搬送機器８２に載っている物体（図１では対象物６１及び障害物６２であり、「載置物」とも呼ぶ。）の所定時間経過後の状態を予測する。そして、状態予測部３９は、予測した載置物の状態に基づき状態情報Ｉｍを更新した予測状態情報Ｉｍｐを生成する。例えば、状態予測部３９は、周辺装置８から供給される搬送速度に関する状態信号Ｓ７に基づき、サブタスクシーケンスの算出中での周辺装置８の搬送速度を予測し、予測した搬送速度と計算考慮時間とに基づき、載置物の計算考慮時間経過後の状態を予測する。

　なお、状態予測部３９は、上述の予測に用いる周辺装置８の搬送速度を、アプリケーション情報記憶部４１に記憶された周辺装置８の搬送速度の限界値若しくは過去の平均値等に基づき決定してもよい。また、状態予測部３９は、周辺装置８が動作中の状態情報Ｉｍに基づき周辺装置８の搬送速度を推定してもよい。また、状態予測部３９は、搬送速度と同様に、搬送方向を、状態信号Ｓ７、状態情報Ｉｍ、又はアプリケーション情報の少なくともいずれかに基づき認識する。また、状態予測部３９は、載置物以外の物体（例えばロボット５）が移動中である場合には、当該物体についても所定時間後の状態を予測し、その予測結果を予測状態情報Ｉｍｐに反映してもよい。この場合、状態予測部３９は、予測状態情報Ｉｍｐの生成前の所定時間内に計測装置７が取得した時系列の画像を用いて、画像の差分によるオプティカルフローなどに基づく動物体の検出及び移動速度の算出を行ってもよい。

　動作シーケンス生成部３７は、アプリケーション情報記憶部４１に記憶された各種情報と、予測状態情報Ｉｍｐとに基づき、ロボット５に実行させるロボット動作シーケンスＳｒと、周辺装置８に実行させる周辺装置動作シーケンスＳｐとを夫々生成する。そして、動作シーケンス生成部３７は、ロボット動作シーケンスＳｒを示す制御信号Ｓ４をロボット５に送信し、周辺装置動作シーケンスＳｐを示す制御信号Ｓ５を周辺装置８に送信する。動作シーケンス生成部３７は、第１実施形態における図４に示す抽象状態設定部３１、目標論理式生成部３２、タイムステップ論理式生成部３３、抽象モデル生成部３４、制御入力生成部３５及びサブタスクシーケンス生成部３６に相当する機能を有する。

　図１１は、第３実施形態において制御装置１Ｂが実行するロボット５及び周辺装置８の制御処理を示すフローチャートの一例である。

　まず、状態計測部３０は、計測装置７から供給される出力信号Ｓ３に基づき、作業空間６内の物体の計測結果を示す状態情報Ｉｍを生成する（ステップＳ３１）。そして、状態予測部３９は、状態情報Ｉｍに基づき、計算考慮時間経過後の作業空間６の各物体の状態を示す予測状態情報Ｉｍｐを生成する（ステップＳ３２）。そして、動作シーケンス生成部３７は、予測状態情報Ｉｍｐ及びアプリケーション情報に基づき、ロボット動作シーケンスＳｒ及び周辺装置動作シーケンスＳｐを生成し、これらの動作シーケンスをロボット５及び周辺装置８に出力する（ステップＳ３３）。この場合、動作シーケンス生成部３７は、動作シーケンスの算出時間を考慮したロボット動作シーケンスＳｒを示す制御信号Ｓ４をロボット５に供給し、動作シーケンスの算出時間を考慮した周辺装置動作シーケンスＳｐを示す制御信号Ｓ５を周辺装置８に供給する。

　なお、第３実施形態は第２実施形態と組み合わせてもよい。この場合、図１０に示すプロセッサ１１は、統合制御部３８としてさらに機能し、ロボット５及び周辺装置８の状態がサブタスクシーケンスに基づく予測状態と整合するためのロボット５及び周辺装置８の制御を行う。

　＜第４実施形態＞
　図１２は、第４実施形態における制御装置１Ｃの概略構成図である。図１２に示すように、制御装置１Ｃは、動作シーケンス生成手段３７Ｃを有する。

　動作シーケンス生成手段３７Ｃは、タスクを実行するロボットの動き特性を示すロボット動作情報「Ｉｒ」と、タスクに関する物の受け渡しをロボットと行う周辺装置の動き特性を示す周辺装置情報「Ｉｐ」とに基づき、ロボット及び周辺装置の夫々が実行すべき動作を示す動作シーケンス「Ｓｒａ」、「Ｓｐａ」を生成する。

　この場合、「ロボット」は、物を用いてタスクを実行する任意の種類のロボットである。また、「周辺装置」は、タスクに関する物の受け渡しをロボットと行う装置であり、物を搬送するコンベアなどの搬送装置又はＡＧＶであってもよく、組立工場等においてロボットと工具又は部品の受け渡しを行う産業用装置であってもよい。「対象物」は、ロボットと周辺装置とで受け渡しが行われる物を指し、工具、部品（部材）、又はこれらを収容するケースなどが該当する。

　ロボット動作情報Ｉｒは、第１～第３実施形態におけるアプリケーション情報のうちロボット５の動き特性に関する情報（例えば、制約条件情報Ｉ２、動作限界情報Ｉ３、サブタスク情報Ｉ４、抽象モデル情報Ｉ５）である。また、周辺装置情報Ｉｐは、第１～第３実施形態におけるアプリケーション情報のうち周辺装置８の動き特性に関する情報（例えば、制約条件情報Ｉ２、動作限界情報Ｉ３、サブタスク情報Ｉ４、抽象モデル情報Ｉ５）である。動作シーケンス生成手段３７Ｃは、例えば、第１実施形態における抽象状態設定部３１、目標論理式生成部３２、タイムステップ論理式生成部３３、抽象モデル生成部３４、制御入力生成部３５及びサブタスクシーケンス生成部３６により構成される。また、動作シーケンス生成手段３７Ｃは、第２実施形態または第３実施形態における動作シーケンス生成部３７であってもよい。動作シーケンスＳｒａ、Ｓｐａは、第１実施形態においてサブタスクシーケンス生成部３６が生成するサブタスクシーケンス、又は、第２実施形態又は第３実施形態において動作シーケンス生成部３７が生成するロボット動作シーケンスＳｒ、周辺装置動作シーケンスＳｐとすることができる。

　図１３は、第４実施形態において制御装置１Ｃが実行するフローチャートの一例である。動作シーケンス生成手段３７Ｃは、ロボット動作情報Ｉｒと、周辺装置情報Ｉｐとに基づき、ロボット及び周辺装置の夫々が実行すべき動作を示す動作シーケンスＳｒａ、Ｓｐａを生成する（ステップＳ３１）。

　第４実施形態の構成によれば、制御装置１Ｃは、タスクを実行するために必要なロボット及び周辺装置の動作シーケンスを好適に生成することができる。

　なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

　その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。

［付記１］
　タスクを実行するロボットの動き特性を示すロボット動作情報と、前記タスクに関する対象物の受け渡しを前記ロボットと行う周辺装置の動き特性を示す周辺装置動作情報と、に基づき、前記ロボット及び前記周辺装置の夫々が実行すべき動作を示す動作シーケンスを生成する動作シーケンス生成手段
を有する制御装置。

［付記２］
　前記動作シーケンスの実行中に計測される前記ロボット及び前記周辺装置の状態と、前記動作シーケンスとに基づき、前記ロボットと前記周辺装置との動作を制御する統合制御手段をさらに有する、付記１に記載の制御装置。

［付記３］
　前記統合制御手段は、前記動作シーケンスの実行中に計測される前記ロボット及び前記周辺装置の状態が、前記動作シーケンスの通りに動作した場合の前記ロボット及び前記周辺装置の予測される状態と整合しない場合、前記ロボット及び前記周辺装置の少なくとも一方の動作タイミングを調整する、付記２に記載の制御装置。

［付記４］
　前記ロボットの作業空間における所定時間後の状態を予測する状態予測手段をさらに有し、
　前記動作シーケンス生成手段は、前記状態予測手段が予測した前記状態と、前記ロボット動作情報と、前記周辺装置動作情報とに基づき、前記動作シーケンスを生成する、付記１～３のいずれか一項に記載の制御装置。

［付記５］
　前記所定時間は、前記動作シーケンス生成手段が前記動作シーケンスの算出に要すると予測される計算時間に設定される、付記４に記載の制御装置。

［付記６］
　前記ロボット動作情報は、前記ロボットの動作限界に関する動作限界情報と、前記ロボットが実行可能なサブタスクを示すサブタスク情報と、前記ロボットに関わるダイナミクスを抽象化したモデルに関する抽象モデル情報と、の少なくともいずれかを含み、
　前記周辺装置動作情報は、前記周辺装置の動作限界に関する動作限界情報と、前記周辺装置が実行可能なサブタスクを示すサブタスク情報と、前記周辺装置に関わるダイナミクスを抽象化したモデルに関する抽象モデル情報と、の少なくともいずれかを含む、請求項１～５のいずれか一項に記載の制御装置。

［付記７］
　前記ロボット動作情報に含まれる前記抽象モデル情報は、前記ロボットに関わるダイナミクスの切り替わりの条件を示す情報を含み、
　前記周辺装置動作情報に含まれる前記抽象モデル情報は、前記周辺装置に関わるダイナミクスの切り替わりの条件を示す情報を含む、付記６に記載の制御装置。

［付記８］
　前記周辺装置は、前記対象物を搬送する搬送装置であり、
　前記ロボットは、前記対象物をピックアップする動作を少なくとも行うロボットである、付記１～７のいずれか一項に記載の制御装置。

［付記９］
　前記動作シーケンス生成手段は、前記ロボットの作業空間を撮像した画像を表示装置に表示させることで、前記対象物又は当該対象物の種類を指定する入力を受け付け、当該入力に基づき前記動作シーケンスを生成する、付記１～８のいずれか一項に記載の制御装置。

［付記１０］
　　前記動作シーケンス生成手段は、
　前記タスクを時相論理に基づく論理式に変換する論理式変換手段と、
　前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成するタイムステップ論理式生成手段と、
　前記タイムステップ論理式に基づき、前記ロボット及び前記周辺装置の夫々が実行すべきサブタスクのシーケンスを、前記動作シーケンスとして生成するサブタスクシーケンス生成手段と、を有する、付記１～９のいずれか一項に記載の制御装置。

［付記１１］
　コンピュータにより、
　タスクを実行するロボットの動き特性を示すロボット動作情報と、前記タスクに関する対象物の受け渡しを前記ロボットと行う周辺装置の動き特性を示す周辺装置動作情報と、に基づき、前記ロボット及び前記周辺装置の夫々が実行すべき動作を示す動作シーケンスを生成する、制御方法。

［付記１２］
　タスクを実行するロボットの動き特性を示すロボット動作情報と、前記タスクに関する対象物の受け渡しを前記ロボットと行う周辺装置の動き特性を示す周辺装置動作情報と、に基づき、前記ロボット及び前記周辺装置の夫々が実行すべき動作を示す動作シーケンスを生成する動作シーケンス生成手段
としてコンピュータを機能させるプログラムが格納された記録媒体。

　以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。

　１、１Ａ～１Ｃ　制御装置
　２　入力装置
　３　表示装置
　４　記憶装置
　５　ロボット
　６　作業空間
　７　計測装置
　８　周辺装置
　４１　アプリケーション情報記憶部
　１００　ロボット制御システム

Claims

　タスクを実行するロボットの動き特性を示すロボット動作情報と、前記タスクに関する対象物の受け渡しを前記ロボットと行う周辺装置の動き特性を示す周辺装置動作情報と、に基づき、前記ロボット及び前記周辺装置の夫々が実行すべき動作を示す動作シーケンスを生成する動作シーケンス生成手段
を有する制御装置。
　前記動作シーケンスの実行中に計測される前記ロボット及び前記周辺装置の状態と、前記動作シーケンスとに基づき、前記ロボットと前記周辺装置との動作を制御する統合制御手段をさらに有する、請求項１に記載の制御装置。
　前記統合制御手段は、前記動作シーケンスの実行中に計測される前記ロボット及び前記周辺装置の状態が、前記動作シーケンスの通りに動作した場合の前記ロボット及び前記周辺装置の予測される状態と整合しない場合、前記ロボット及び前記周辺装置の少なくとも一方の動作タイミングを調整する、請求項２に記載の制御装置。
　前記ロボットの作業空間における所定時間後の状態を予測する状態予測手段をさらに有し、
　前記動作シーケンス生成手段は、前記状態予測手段が予測した前記状態と、前記ロボット動作情報と、前記周辺装置動作情報とに基づき、前記動作シーケンスを生成する、請求項１～３のいずれか一項に記載の制御装置。
　前記所定時間は、前記動作シーケンス生成手段が前記動作シーケンスの算出に要すると予測される計算時間に設定される、請求項４に記載の制御装置。
　前記ロボット動作情報は、前記ロボットの動作限界に関する動作限界情報と、前記ロボットが実行可能なサブタスクを示すサブタスク情報と、前記ロボットに関わるダイナミクスを抽象化したモデルに関する抽象モデル情報と、の少なくともいずれかを含み、
　前記周辺装置動作情報は、前記周辺装置の動作限界に関する動作限界情報と、前記周辺装置が実行可能なサブタスクを示すサブタスク情報と、前記周辺装置に関わるダイナミクスを抽象化したモデルに関する抽象モデル情報と、の少なくともいずれかを含む、請求項１～５のいずれか一項に記載の制御装置。
　前記ロボット動作情報に含まれる前記抽象モデル情報は、前記ロボットに関わるダイナミクスの切り替わりの条件を示す情報を含み、
　前記周辺装置動作情報に含まれる前記抽象モデル情報は、前記周辺装置に関わるダイナミクスの切り替わりの条件を示す情報を含む、請求項６に記載の制御装置。
　前記周辺装置は、前記対象物を搬送する搬送装置であり、
　前記ロボットは、前記対象物をピックアップする動作を少なくとも行うロボットである、請求項１～７のいずれか一項に記載の制御装置。
　前記動作シーケンス生成手段は、前記ロボットの作業空間を撮像した画像を表示装置に表示させることで、前記対象物又は当該対象物の種類を指定する入力を受け付け、当該入力に基づき前記動作シーケンスを生成する、請求項１～８のいずれか一項に記載の制御装置。
　　前記動作シーケンス生成手段は、
　前記タスクを時相論理に基づく論理式に変換する論理式変換手段と、
　前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成するタイムステップ論理式生成手段と、
　前記タイムステップ論理式に基づき、前記ロボット及び前記周辺装置の夫々が実行すべきサブタスクのシーケンスを、前記動作シーケンスとして生成するサブタスクシーケンス生成手段と、を有する、請求項１～９のいずれか一項に記載の制御装置。
　コンピュータにより、
　タスクを実行するロボットの動き特性を示すロボット動作情報と、前記タスクに関する対象物の受け渡しを前記ロボットと行う周辺装置の動き特性を示す周辺装置動作情報と、に基づき、前記ロボット及び前記周辺装置の夫々が実行すべき動作を示す動作シーケンスを生成する、制御方法。
　タスクを実行するロボットの動き特性を示すロボット動作情報と、前記タスクに関する対象物の受け渡しを前記ロボットと行う周辺装置の動き特性を示す周辺装置動作情報と、に基づき、前記ロボット及び前記周辺装置の夫々が実行すべき動作を示す動作シーケンスを生成する動作シーケンス生成手段
としてコンピュータを機能させるプログラムが格納された記録媒体。