JP7485058B2 - 判定装置、判定方法及びプログラム - Google Patents

判定装置、判定方法及びプログラム Download PDF

Info

Publication number
JP7485058B2
JP7485058B2 JP2022546844A JP2022546844A JP7485058B2 JP 7485058 B2 JP7485058 B2 JP 7485058B2 JP 2022546844 A JP2022546844 A JP 2022546844A JP 2022546844 A JP2022546844 A JP 2022546844A JP 7485058 B2 JP7485058 B2 JP 7485058B2
Authority
JP
Japan
Prior art keywords
target task
task
proposition
robot
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022546844A
Other languages
English (en)
Other versions
JPWO2022049756A5 (ja
JPWO2022049756A1 (ja
Inventor
雅嗣 小川
伸治 加美
永哉 若山
博之 大山
真澄 一圓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2022049756A1 publication Critical patent/JPWO2022049756A1/ja
Publication of JPWO2022049756A5 publication Critical patent/JPWO2022049756A5/ja
Application granted granted Critical
Publication of JP7485058B2 publication Critical patent/JP7485058B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/52—Program synchronisation; Mutual exclusion, e.g. by means of semaphores
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/34—Director, elements to supervisory
    • G05B2219/34372—Inability to process, execute assigned task within allocated time interval

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Numerical Control (AREA)
  • Manipulator (AREA)

Description

本開示は、ロボットに作業させるタスクに関する処理を行う判定装置、判定方法及び記憶媒体の技術分野に関する。
ロボットに作業させるタスクが与えられた場合に、当該タスクを実行するために必要なロボットの制御を行う制御手法が提案されている。例えば、特許文献１には、ハンドを有するロボットにより複数の物品を把持して容器に収容する場合に、ハンドが物品を把持する順序の組み合わせを決定し、組み合わせ毎に算出した指標に基づき、収容する物品の順序を決定するロボット判定装置が開示されている。また、特許文献２には、ロボットハンドにより対象物（ワーク）を移動させる場合に、処理の終了をユーザに通知するロボットシステムが開示されている。
特開２０１８－０５１６８４号公報 特開２０１６－１９８８６１号公報
ロボットがタスクを正常に完了したか否かの完了判定を行う場合、完了判定を正確に行うためには、完了判定用のセンサの出力に基づいて複雑な処理を行う必要があり、かつ、完了判定用のスキームをタスク毎に用意する必要があった。
本開示の目的の１つは、上述した課題を鑑み、ロボットに実行させるタスクの完了判定を好適に実行することが可能な判定装置、判定方法及び記憶媒体を提供することである。
判定装置の一の態様は、
目的タスクに関するロボットの動作シーケンスが完了した場合、又は、前記目的タスクの開始から所定時間長が経過した場合、
センサにより検出される、作業空間内で認識した物体に関する認識結果に基づく、前記目的タスクの現在の状態を抽象的に表す第１命題と、前記目的タスクの完了状態を抽象的に表す第２命題とに基づき、前記目的タスクの完了判定を行う命題判定手段
を有する判定装置である。
判定方法の一の態様は、
コンピュータにより、
目的タスクに関するロボットの動作シーケンスが完了した場合、又は、前記目的タスクの開始から所定時間長が経過した場合、
センサにより検出される、作業空間内で認識した物体に関する認識結果に基づく、前記目的タスクの現在の状態を抽象的に表す第１命題と、前記目的タスクの完了状態を抽象的に表す第２命題とに基づき、前記目的タスクの完了判定を行う
判定方法である。
目的タスクに関するロボットの動作シーケンスが完了した場合、又は、前記目的タスクの開始から所定時間長が経過した場合、
センサにより検出される、作業空間内で認識した物体に関する認識結果に基づく、前記目的タスクの現在の状態を抽象的に表す第１命題と、前記目的タスクの完了状態を抽象的に表す第２命題とに基づき、前記目的タスクの完了判定を行う処理をコンピュータに実行させるプログラム。
ロボットに実行させるタスクの完了判定を好適に実行することができる。
第１実施形態におけるロボット制御システムの構成を示す。 ロボットコントローラのハードウェア構成を示す。 アプリケーション情報のデータ構造の一例を示す。 ロボットコントローラの機能ブロックの一例である。 動作シーケンス生成部の機能ブロックの一例である。 ピックアンドプレイスを目的タスクとした場合の作業空間の俯瞰図を示す。 目的タスクを指定するタスク画面の表示例を示す。 目的タスクが正常終了した場合のタスク画面の表示例を示す。 目的タスクが正常終了しなかった場合のタスク画面の表示例を示す。 第１実施形態においてロボットコントローラが実行するロボット制御処理の概要を示すフローチャートの一例である。 第２実施形態におけるロボットコントローラの機能ブロック図である。 第２実施形態においてロボットコントローラが実行するロボット制御処理の概要を示すフローチャートの一例である。 第３実施形態におけるロボット制御システムの概略構成図を示す。 第４実施形態における判定装置の概略構成図を示す。 第４実施形態において、判定装置が実行する処理手順を示すフローチャートの一例である。
以下、図面を参照しながら、判定装置、判定方法及び記憶媒体の実施形態について説明する。
＜第１実施形態＞
（１）システム構成
図１は、第１実施形態に係るロボット制御システム１００の構成を示す。ロボット制御システム１００は、主に、ロボットコントローラ１と、タスク指示装置２と、記憶装置４と、ロボット５と、計測装置７と、を備える。
ロボットコントローラ１は、ロボット５に実行させるタスク（「目的タスク」とも呼ぶ。）が指定された場合に、ロボット５が受付可能な単純なタスクのタイムステップ（時間刻み）毎のシーケンスに目的タスクを変換し、生成したシーケンスに基づきロボット５を制御する。以後では、ロボット５が受付可能な単位により目的タスクを分解したタスク（コマンド）を、「サブタスク」とも呼び、目的タスクを達成するためにロボット５が実行すべきサブタスクのシーケンスを「サブタスクシーケンス」とも呼ぶ。サブタスクシーケンスは、ロボット５の一連の動作を規定する動作シーケンスに相当する。
また、ロボットコントローラ１は、タスク指示装置２、記憶装置４、ロボット５、及び計測装置７と、通信網を介し、又は、無線若しくは有線による直接通信により、データ通信を行う。例えば、ロボットコントローラ１は、タスク指示装置２から、目的タスクを指定する入力信号「Ｓ１」を受信する。また、ロボットコントローラ１は、タスク指示装置２に対し、ロボット５に実行させるタスクに関する情報を出力させるための出力制御信号「Ｓ２」を送信する。さらに、ロボットコントローラ１は、ロボット５の制御に関する制御信号「Ｓ３」をロボット５に送信する。また、ロボットコントローラ１は、計測装置７から計測信号「Ｓ４」を受信する。
タスク指示装置２は、目的タスクを指定する作業者による目的タスクに関する入力を受け付ける装置である。タスク指示装置２は、ロボットコントローラ１から供給される出力制御信号Ｓ２に基づき所定の表示を行ったり、作業者の入力に基づき生成した入力信号Ｓ１をロボットコントローラ１へ供給したりする。タスク指示装置２は、入力部と表示部とを備えるタブレット端末であってもよく、据置型のパーソナルコンピュータであってもよい。
記憶装置４は、アプリケーション情報記憶部４１を有する。アプリケーション情報記憶部４１は、目的タスクからサブタスクシーケンスを生成するために必要なアプリケーション情報を記憶する。アプリケーション情報の詳細は、図３を参照しながら後述する。記憶装置４は、ロボットコントローラ１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、ロボットコントローラ１と通信網を介してデータ通信を行うサーバ装置であってもよい。この場合、記憶装置４は、複数のサーバ装置から構成されてもよい。
ロボット５は、ロボットコントローラ１から供給される制御信号Ｓ３に基づき目的タスクに関する作業を行う。ロボット５は、例えば、組み立て工場、食品工場などの各種工場、又は、物流の現場などで動作を行うロボットである。ロボット５は、垂直多関節型ロボット、水平多関節型ロボット、又はその他の任意の種類のロボットであってもよい。ロボット５は、ロボット５の状態を示す状態信号をロボットコントローラ１に供給してもよい。この状態信号は、ロボット５全体又は関節などの特定部位の状態（位置、角度等）を検出するセンサの出力信号であってもよく、ロボット５の制御部が生成したロボット５のサブタスクの進捗状態を示す信号であってもよい。
計測装置７は、目的タスクが実行される作業空間内の状態を検出するカメラ、測域センサ、ソナーまたはこれらの組み合わせとなる１又は複数のセンサである。本実施形態では、計測装置７は、作業空間を撮像する少なくとも１台のカメラを含むものとする。計測装置７は、生成した計測信号Ｓ４をロボットコントローラ１に供給する。計測信号Ｓ４には、作業空間内を撮像した画像が少なくとも含まれる。計測装置７は、作業空間内で移動する自走式又は飛行式のセンサ（ドローンを含む）であってもよい。また、計測装置７は、ロボット５に設けられたセンサ、及び作業空間内の他の物体に設けられたセンサなどを含んでもよい。また、計測装置７は、作業空間内の音を検出するセンサを含んでもよい。このように、計測装置７は、作業空間内の状態を検出する種々のセンサであって、任意の場所に設けられたセンサを含んでもよい。
なお、図１に示すロボット制御システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、ロボット５は、複数台存在してもよく、ロボットアームなどの夫々が独立して動作する制御対象物を複数有してもよい。これらの場合であっても、ロボットコントローラ１は、目的タスクに基づき、ロボット５毎又は制御対象物毎に実行すべきサブタスクシーケンスを生成し、当該サブタスクシーケンスに基づく制御信号Ｓ３を、対象のロボット５に送信する。また、ロボット５は、作業空間内で動作する他のロボット、作業者又は工作機械と協働作業を行うものであってもよい。また、計測装置７は、ロボット５の一部であってもよい。また、タスク指示装置２は、ロボットコントローラ１と同一の装置として構成されてもよい。また、ロボットコントローラ１は、複数の装置から構成されてもよい。この場合、ロボットコントローラ１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。また、ロボットコントローラ１とロボット５とは、一体に構成されてもよい。
（２）ハードウェア構成
図２（Ａ）は、ロボットコントローラ１のハードウェア構成を示す。ロボットコントローラ１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１０を介して接続されている。
プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、ロボットコントローラ１の全体の制御を行うコントローラ（演算装置）として機能する。プロセッサ１１は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＴＰＵ（Ｔｅｎｓｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサである。プロセッサ１１は、複数のプロセッサから構成されてもよい。プロセッサ１１は、コンピュータの一例である。
メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ１２には、ロボットコントローラ１が実行する処理を実行するためのプログラムが記憶される。なお、メモリ１２が記憶する情報の一部は、ロボットコントローラ１と通信可能な１又は複数の外部記憶装置により記憶されてもよく、ロボットコントローラ１に対して着脱自在な記憶媒体により記憶されてもよい。
インターフェース１３は、ロボットコントローラ１と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。
なお、ロボットコントローラ１のハードウェア構成は、図２（Ａ）に示す構成に限定されない。例えば、ロボットコントローラ１は、表示装置、入力装置又は音出力装置の少なくともいずれかと接続又は内蔵してもよい。また、ロボットコントローラ１は、タスク指示装置２又は記憶装置４の少なくとも一方を含んで構成されてもよい。
図２（Ｂ）は、タスク指示装置２のハードウェア構成を示す。タスク指示装置２は、ハードウェアとして、プロセッサ２１と、メモリ２２と、インターフェース２３と、入力部２４ａと、表示部２４ｂと、音出力部２４ｃとを含む。プロセッサ２１、メモリ２２及びインターフェース２３は、データバス２０を介して接続されている。また、インターフェース２３には、入力部２４ａと表示部２４ｂと音出力部２４ｃとが接続されている。
プロセッサ２１は、メモリ２２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ２１は、ＣＰＵ、ＧＰＵなどのプロセッサである。プロセッサ２１は、インターフェース２３を介して入力部２４ａが生成した信号を受信することで、入力信号Ｓ１を生成し、インターフェース２３を介してロボットコントローラ１に当該入力信号Ｓ１を送信する。また、プロセッサ２１は、インターフェース２３を介してロボットコントローラ１から受信した出力制御信号Ｓ２に基づき、表示部２４ｂ又は音出力部２４ｃの少なくとも一方を、インターフェース２３を介して制御する。
メモリ２２は、ＲＡＭ、ＲＯＭ、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。また、メモリ２２には、タスク指示装置２が実行する処理を実行するためのプログラムが記憶される。
インターフェース２３は、タスク指示装置２と他の装置とを電気的に接続するためのインターフェースである。これらのインターフェースは、他の装置とデータの送受信を無線により行うためのネットワークアダプタなどのワイアレスインタフェースであってもよく、他の装置とケーブル等により接続するためのハードウェアインターフェースであってもよい。また、インターフェース２３は、入力部２４ａ、表示部２４ｂ及び音出力部２４ｃのインターフェース動作を行う。入力部２４ａは、ユーザの入力を受け付けるインターフェースであり、例えば、タッチパネル、ボタン、キーボード、音声入力装置などが該当する。表示部２４ｂは、例えば、ディスプレイ、プロジェクタ等であり、プロセッサ２１の制御に基づき表示を行う。また、音出力部２４ｃは、例えば、スピーカであり、プロセッサ２１の制御に基づき音出力を行う。
なお、タスク指示装置２のハードウェア構成は、図２（Ｂ）に示す構成に限定されない。例えば、入力部２４ａ、表示部２４ｂ又は音出力部２４ｃの少なくともいずれかは、タスク指示装置２と電気的に接続する別体の装置として構成されてもよい。また、タスク指示装置２は、カメラなどの種々の装置と接続してもよく、これらを内蔵してもよい。
（３）アプリケーション情報
次に、アプリケーション情報記憶部４１が記憶するアプリケーション情報のデータ構造について説明する。
図３は、アプリケーション情報記憶部４１に記憶されるアプリケーション情報のデータ構造の一例を示す。図３に示すように、アプリケーション情報は、抽象状態指定情報Ｉ１と、制約条件情報Ｉ２と、動作限界情報Ｉ３と、サブタスク情報Ｉ４と、抽象モデル情報Ｉ５と、物体モデル情報Ｉ６とを含む。
抽象状態指定情報Ｉ１は、サブタスクシーケンスの生成にあたり定義する必要がある抽象状態を指定する情報である。この抽象状態は、作業空間内における物体の抽象的な状態であって、後述する目標論理式において使用する命題として定められる。例えば、抽象状態指定情報Ｉ１は、目的タスクの種類毎に、定義する必要がある抽象状態を指定する。
制約条件情報Ｉ２は、目的タスクを実行する際の制約条件を示す情報である。制約条件情報Ｉ２は、例えば、目的タスクがピックアンドプレイスの場合、障害物にロボット５（ロボットアーム）が接触してはいけないという制約条件、ロボット５（ロボットアーム）同士が接触してはいけないという制約条件などを示す。なお、制約条件情報Ｉ２は、目的タスクの種類毎に夫々適した制約条件を記録した情報であってもよい。
動作限界情報Ｉ３は、ロボットコントローラ１により制御が行われるロボット５の動作限界に関する情報を示す。動作限界情報Ｉ３は、例えば、ロボット５の速度、加速度、又は角速度の上限を規定する情報である。なお、動作限界情報Ｉ３は、ロボット５の可動部位又は関節ごとに動作限界を規定する情報であってもよい。
サブタスク情報Ｉ４は、ロボット５が受付可能なサブタスクの情報を示す。例えば、目的タスクがピックアンドプレイスの場合には、サブタスク情報Ｉ４は、ロボット５のロボットアームの移動であるリーチングと、ロボットアームによる把持であるグラスピングとをサブタスクとして規定する。サブタスク情報Ｉ４は、目的タスクの種類毎に使用可能なサブタスクの情報を示すものであってもよい。
抽象モデル情報Ｉ５は、作業空間におけるダイナミクスを抽象化した抽象モデルに関する情報である。例えば、抽象モデルは、後述するように、現実のダイナミクスをハイブリッドシステムにより抽象化したモデルにより表されている。抽象モデル情報Ｉ５は、上述のハイブリッドシステムにおけるダイナミクスの切り替わりの条件を示す情報を含む。切り替わりの条件は、例えば、ロボット５により作業対象となる物（「対象物」とも呼ぶ。）をロボット５が掴んで所定位置に移動させるピックアンドプレイスの場合、対象物はロボット５により把持されなければ移動できないという条件などが該当する。抽象モデル情報Ｉ５は、目的タスクの種類毎に適した抽象モデルに関する情報を有している。
物体モデル情報Ｉ６は、計測装置７が生成した計測信号Ｓ４から認識すべき作業空間内の各物体の物体モデルに関する情報である。上述の各物体は、例えば、ロボット５、障害物、ロボット５が扱う工具その他の対象物、ロボット５以外の作業体などが該当する。物体モデル情報Ｉ６は、例えば、上述した各物体の種類、位置、姿勢、現在実行中の動作などをロボットコントローラ１が認識するために必要な情報と、各物体の３次元形状を認識するためのＣＡＤ（Ｃｏｍｐｕｔｅｒ Ａｉｄｅｄ Ｄｅｓｉｇｎ）データなどの３次元形状情報とを含んでいる。前者の情報は、ニューラルネットワークなどの機械学習における学習モデルを学習することで得られた推論器のパラメータを含む。この推論器は、例えば、画像が入力された場合に、当該画像において被写体となる物体の種類、位置、姿勢等を出力するように予め学習される。
なお、アプリケーション情報記憶部４１は、上述した情報の他、サブタスクシーケンスの生成処理及び出力制御信号Ｓ２の生成処理に関する種々の情報を記憶してもよい。
（４）処理概要
次に、ロボットコントローラ１の処理概要について説明する。概略的には、ロボットコントローラ１は、ロボット５によるサブタスクシーケンスの実行が完了した場合、計測した目的タスクの現在の状態を抽象的に表した命題と、指定された目的タスクの完了状態（ゴール）を抽象的に表した命題との比較に基づき、目的タスクの完了判定を行う。そして、ロボットコントローラ１は、サブタスクシーケンスの実行完了後も目的タスクが完了状態に至っていない場合にアラート（警告）を出力する。
図４は、ロボットコントローラ１の処理の概要を示す機能ブロックの一例である。ロボットコントローラ１のプロセッサ１１は、機能的には、出力制御部１５と、動作シーケンス生成部１６と、ロボット制御部１７と、命題判定部１８とを有する。なお、図４では、各ブロック間で授受が行われるデータの一例が示されているが、これに限定されない。後述する他の機能ブロックの図においても同様である。
出力制御部１５は、目的タスクに関する情報を作業者が指定する入力画面（「タスク画面」とも呼ぶ。）を表示するための出力制御信号Ｓ２を生成し、当該出力制御信号Ｓ２をタスク指示装置２へインターフェース１３を介して送信する。例えば、出力制御部１５は、計測信号Ｓ４に含まれる作業空間内を撮像した画像（「作業空間画像」とも呼ぶ。）をタスク画面上に表示し、種々の操作に基づく入力を受け付ける。そして、出力制御部１５は、タスク画面での入力操作によりタスク指示装置２が生成した入力信号Ｓ１を、タスク指示装置２からインターフェース１３を介して受信する。この場合、入力信号Ｓ１は、目的タスクを概略的に指定する情報（「タスク指定情報Ｉａ」とも呼ぶ。）を含んでいる。タスク指定情報Ｉａは、例えば、ロボット５への概略命令に相当する情報であり、ロボット５の具体的な動作を規定する情報（例えば後述する制御入力の情報やサブタスクの情報）を含まない。そして、出力制御部１５は、タスク指示装置２から供給される入力信号Ｓ１に基づくタスク指定情報Ｉａを、動作シーケンス生成部１６へ供給する。
また、出力制御部１５は、目的タスクの完了判定結果に関する情報（「判定結果情報Ｉｅ」とも呼ぶ。）を、命題判定部１８から受信する。この場合、出力制御部１５は、判定結果情報Ｉｅに基づき、目的タスクの完了を通知する情報、又は、目的タスクが何らかの異常発生により完了しなかったことを通知する情報（アラート情報）に相当する出力制御信号Ｓ２を生成する。そして、出力制御部１５は、インターフェース１３を介し、出力制御信号Ｓ２をタスク指示装置２に供給する。これにより、タスク指示装置２は、目的タスクの正常完了を通知する表示若しくは音出力、又は、目的タスクが正常に完了しなかったことを通知する表示若しくは音出力を行う。
動作シーケンス生成部１６は、出力制御部１５から供給されるタスク指定情報Ｉａと、計測信号Ｓ４と、記憶装置４が記憶するアプリケーション情報とに基づき、ロボット５に実行させるサブタスクシーケンス「Ｓｒ」を生成する。なお、第１実施形態では、動作シーケンス生成部１６は、目的タスクの開始から完了までに必要なサブタスクシーケンスＳｒを一括して生成するものとする。そして、動作シーケンス生成部１６は、生成したサブタスクシーケンスＳｒをロボット制御部１７に供給する。ここで、サブタスクシーケンスＳｒには、各サブタスクの実行順序及び実行タイミングを示す情報が含まれている。
また、動作シーケンス生成部１６は、目的タスクに関する命題の生成を要求する情報（「命題要求情報Ｉｃ」とも呼ぶ。）を、命題判定部１８から受信する。この場合、動作シーケンス生成部１６は、現在の目的タスクの状態を表す命題（「第１命題」とも呼ぶ。）と、タスク指定情報Ｉａにより指定された目的タスクの完了状態を表す命題（「第２命題」とも呼ぶ。）とを生成する。そして、動作シーケンス生成部１６は、生成した第１命題と第２命題とを示す情報（「命題情報Ｉｄ」とも呼ぶ。）を命題判定部１８へ供給する。第１命題及び第２命題の生成方法については、「（５－８）命題生成部」のセクションにおいて詳しく説明する。
ロボット制御部１７は、動作シーケンス生成部１６から供給されたサブタスクシーケンスＳｒに基づき、サブタスクシーケンスＳｒを構成する各サブタスクを夫々定められた実行タイミング（タイムステップ）でロボット５が実行するための制御を行う。具体的には、ロボット制御部１７は、制御信号Ｓ３をロボット５に送信することで、サブタスクシーケンスＳｒを実現するためのロボット５の関節の位置制御又はトルク制御などを実行する。そして、ロボット制御部１７は、サブタスクシーケンスＳｒに基づくロボット５への制御信号Ｓ３の出力が完了した（出力が無くなった）場合、サブタスクシーケンスＳｒの実行完了を通知する情報（「完了通知情報Ｉｂ」とも呼ぶ。）を命題判定部１８に供給する。
なお、ロボット制御部１７に相当する機能を、ロボットコントローラ１に代えてロボット５が有してもよい。この場合、ロボット５は、動作シーケンス生成部１６からサブタスクシーケンスＳｒを受信することで、サブタスクシーケンスＳｒを実現するための関節の位置制御又はトルク制御などを実行する。また、ロボット５は、サブタスクシーケンスＳｒの実行が完了した場合、完了通知情報Ｉｂをロボットコントローラ１の命題判定部１８に供給する。
命題判定部１８は、サブタスクシーケンスＳｒが完了した場合に、目的タスクが正常に完了したか否かの判定（「目的タスク完了判定」とも呼ぶ。）を、命題同士の比較に基づき実行する。具体的には、命題判定部１８は、ロボット制御部１７から完了通知情報Ｉｂを受信した場合、命題要求情報Ｉｃを動作シーケンス生成部１６へ供給し、その応答として命題情報Ｉｄを動作シーケンス生成部１６から受信する。そして、命題判定部１８は、命題情報Ｉｄが示す第１命題と第２命題とを比較し、これらが相違している場合には、目的タスクが正常に完了しなかったことを示す判定結果情報Ｉｅを生成する。一方、命題判定部１８は、命題情報Ｉｄが示す第１命題と第２命題とを比較し、これらが一致している場合には、目的タスクが正常に完了したことを示す判定結果情報Ｉｅを生成する。そして、命題判定部１８は、生成した判定結果情報Ｉｅを、出力制御部１５へ供給する。
ここで、出力制御部１５、動作シーケンス生成部１６、ロボット制御部１７及び命題判定部１８の各構成要素は、例えば、プロセッサ１１がプログラムを実行することによって実現できる。また、必要なプログラムを任意の不揮発性記憶媒体に記録しておき、必要に応じてインストールすることで、各構成要素を実現するようにしてもよい。なお、これらの各構成要素の少なくとも一部は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現してもよい。また、これらの各構成要素の少なくとも一部は、例えばＦＰＧＡ（Field-Programmable Gate Array）又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路を用いて実現してもよい。この場合、この集積回路を用いて、上記の各構成要素から構成されるプログラムを実現してもよい。また、各構成要素の少なくとも一部は、ＡＳＳＰ（Application Specific Standard Produce）、ＡＳＩＣ（Application Specific Integrated Circuit）又は量子コンピュータ制御チップにより構成されてもよい。このように、各構成要素は、種々のハードウェアにより実現されてもよい。以上のことは、後述する他の実施の形態においても同様である。さらに、これらの各構成要素は，例えば，クラウドコンピューティング技術などを用いて、複数のコンピュータの協働によって実現されてもよい。
（５）動作シーケンス生成部の詳細
次に、動作シーケンス生成部１６の詳細な処理について説明する。
（５－１）機能ブロック
図５は、動作シーケンス生成部１６の機能的な構成を示す機能ブロックの一例である。動作シーケンス生成部１６は、機能的には、抽象状態設定部３１と、目標論理式生成部３２と、タイムステップ論理式生成部３３と、抽象モデル生成部３４と、制御入力生成部３５と、サブタスクシーケンス生成部３６と、命題生成部３７と、を有する。
抽象状態設定部３１は、計測装置７から供給される計測信号Ｓ４と、出力制御部１５から供給されるタスク指定情報Ｉａと、抽象状態指定情報Ｉ１と、物体モデル情報Ｉ６と、に基づき、作業空間内の抽象状態を設定する。この場合、抽象状態設定部３１は、目的タスクを実行する際に考慮する必要がある作業空間内の物体を認識し、当該物体に関する認識結果Ｉｍを生成する。そして、抽象状態設定部３１は、認識結果Ｉｍに基づいて、目的タスクを実行する際に考慮する必要がある各抽象状態に対し、論理式で表すための命題を定義する。抽象状態設定部３１は、タスク指定情報Ｉａが供給された場合、設定した抽象状態を示す情報（「抽象状態設定情報ＩＳ」とも呼ぶ。）を、目標論理式生成部３２に供給する。また、抽象状態設定部３１は、命題生成部３７からの要求に基づき、当該要求があった時点での状態を示す抽象状態設定情報ＩＳを命題生成部３７に供給する。
目標論理式生成部３２は、抽象状態設定情報ＩＳに基づき、タスク指定情報Ｉａが示す目的タスクを、最終的な達成状態を表す時相論理の論理式（「目標論理式Ｌｔａｇ」とも呼ぶ。）に変換する。この場合、目標論理式生成部３２は、アプリケーション情報記憶部４１から制約条件情報Ｉ２を参照することで、目的タスクの実行において満たすべき制約条件を、目標論理式Ｌｔａｇに付加する。そして、目標論理式生成部３２は、生成した目標論理式Ｌｔａｇを、タイムステップ論理式生成部３３及び命題生成部３７に供給する。
タイムステップ論理式生成部３３は、目標論理式生成部３２から供給された目標論理式Ｌｔａｇを、各タイムステップでの状態を表した論理式（「タイムステップ論理式Ｌｔｓ」とも呼ぶ。）に変換する。そして、タイムステップ論理式生成部３３は、生成したタイムステップ論理式Ｌｔｓを、制御入力生成部３５に供給する。
抽象モデル生成部３４は、アプリケーション情報記憶部４１が記憶する抽象モデル情報Ｉ５と、抽象状態設定部３１から供給される認識結果Ｉｍとに基づき、作業空間における現実のダイナミクスを抽象化した抽象モデル「Σ」を生成する。この場合、抽象モデル生成部３４は、対象のダイナミクスを連続ダイナミクスと離散ダイナミクスとが混在したハイブリッドシステムとみなし、ハイブリッドシステムに基づく抽象モデルΣを生成する。抽象モデルΣの生成方法については後述する。抽象モデル生成部３４は、生成した抽象モデルΣを、制御入力生成部３５へ供給する。
制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとを満たし、評価関数（たとえば、ロボットによって消費されるエネルギー量を表す関数）を最適化するタイムステップ毎のロボット５への制御入力を決定する。そして、制御入力生成部３５は、ロボット５へのタイムステップ毎の制御入力を示す情報（「制御入力情報Ｉｃｎ」とも呼ぶ。）を、サブタスクシーケンス生成部３６へ供給する。
サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃｎと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、サブタスクシーケンスＳｒを生成し、サブタスクシーケンスＳｒをロボット制御部１７へ供給する。
命題生成部３７は、命題判定部１８から命題要求情報Ｉｃが供給された場合に、抽象状態設定部３１から供給される抽象状態設定情報ＩＳと、目標論理式生成部３２から供給される目標論理式Ｌｔａｇとに基づき、第１命題及び第２命題を夫々示す命題情報Ｉｄを生成する。そして、命題生成部３７は、生成した命題情報Ｉｄを、命題判定部１８に供給する。
（５－２）抽象状態設定部
まず、抽象状態設定部３１は、物体モデル情報Ｉ６を参照し、作業空間の環境を認識する技術（画像処理技術、画像認識技術、音声認識技術、ＲＦＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｅｒ）を用いる技術等）により計測信号Ｓ４を解析することで、認識結果Ｉｍを生成する。認識結果Ｉｍには、作業空間内の物体の種類、位置、及び姿勢などの情報が含まれている。また、作業空間内の物体は、例えば、ロボット５、ロボット５が取り扱う工具又は部品などの対象物、障害物及び他作業体（ロボット５以外に作業を行う人又はその他の物体）などである。
次に、抽象状態設定部３１は、認識結果Ｉｍと、アプリケーション情報記憶部４１から取得した抽象状態指定情報Ｉ１とに基づき、作業空間内の抽象状態を設定する。この場合、まず、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照し、作業空間内において設定すべき抽象状態を認識する。なお、作業空間内において設定すべき抽象状態は、目的タスクの種類によって異なる。よって、目的タスクの種類毎に設定すべき抽象状態が抽象状態指定情報Ｉ１に規定されている場合には、抽象状態設定部３１は、タスク指定情報Ｉａが示す目的タスクに対応する抽象状態指定情報Ｉ１を参照し、設定すべき抽象状態を認識する。
図６は、ピックアンドプレイスを目的タスクとした場合の作業空間の俯瞰図を示す。図６に示す作業空間には、２つのロボットアーム５２ａ、５２ｂと、４つの対象物６１（６１ａ～６１ｄ）と、障害物６２と、対象物６１の目的地である領域Ｇとが存在している。
この場合、まず、抽象状態設定部３１は、対象物６１の状態、障害物６２の存在範囲、ロボット５の状態、領域Ｇの存在範囲等を認識する。
ここでは、抽象状態設定部３１は、対象物６１ａ～６１ｄの各々の中心の位置ベクトル「ｘ１」～「ｘ４」を、対象物６１ａ～６１ｄの位置として認識する。また、抽象状態設定部３１は、対象物を把持するロボットハンド５３ａの位置ベクトル「ｘｒ１」と、ロボットハンド５３ｂの位置ベクトル「ｘｒ２」とを、ロボットアーム５２ａとロボットアーム５２ｂの位置として認識する。
同様に、抽象状態設定部３１は、対象物６１ａ～６１ｄの姿勢（図６の例では対象物が球状のため不要）、障害物６２の存在範囲、領域Ｇの存在範囲等を認識する。なお、抽象状態設定部３１は、例えば、障害物６２を直方体とみなし、領域Ｇを矩形とみなす場合には、障害物６２及び領域Ｇの各頂点の位置ベクトルを認識する。
また、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、目的タスクにおいて定義すべき抽象状態を決定する。この場合、抽象状態設定部３１は、作業空間内に存在する物体に関する認識結果Ｉｍ（例えば物体の種類毎の個数）と、抽象状態指定情報Ｉ１とに基づき、抽象状態を示す命題を定める。
図６の例では、抽象状態設定部３１は、認識結果Ｉｍにより特定される対象物６１ａ～６１ｄに対し、夫々識別ラベル「１」～「４」を付す。また、抽象状態設定部３１は、対象物「ｉ」（ｉ＝１～４）が最終的に載置されるべき目標地点である領域Ｇ内に存在するという命題「ｇｉ」を定義する。また、抽象状態設定部３１は、障害物６２に対して識別ラベル「Ｏ」を付し、対象物ｉが障害物Ｏに干渉しているという命題「ｏｉ」を定義する。さらに、抽象状態設定部３１は、ロボットアーム５２同士が干渉するという命題「ｈ」を定義する。なお、抽象状態設定部３１は、対象物「ｉ」が作業テーブル（初期状態で対象物及び障害物が存在するテーブル）内に存在するという命題「ｖｉ」、作業テーブル及び領域Ｇ以外の作業外領域に対象物が存在するという命題「ｗｉ」などをさらに定めてもよい。作業外領域は、例えば、対象物が作業テーブルから落下した場合に対象物が存在する領域（床面等）である。
このように、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、定義すべき抽象状態を認識し、当該抽象状態を表す命題（上述の例ではｇｉ、ｏｉ、ｈ等）を、対象物６１の数、ロボットアーム５２の数、障害物６２の数、ロボット５の数等に応じてそれぞれ定義する。そして、抽象状態設定部３１は、抽象状態を表す命題を示す情報を、抽象状態設定情報ＩＳとして目標論理式生成部３２に供給する。
（５－３）目標論理式生成部
まず、目標論理式生成部３２は、タスク指定情報Ｉａが示す目的タスクを、時相論理を用いた論理式に変換する。
例えば、図６の例において、「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクが与えられたとする。この場合、目標論理式生成部３２は、目的タスクを線形論理式（ＬＴＬ：Ｌｉｎｅａｒ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）の「eventually」に相当する演算子「◇」と、抽象状態設定部３１により定義された命題「ｇｉ」と用いて、論理式「◇ｇ２」を生成する。また、目標論理式生成部３２は、演算子「◇」以外の任意の時相論理の演算子（論理積「∧」、論理和「∨」、否定「￢」、論理包含「⇒」、always「□」、next「○」、until「Ｕ」等）を用いて論理式を表現してもよい。また、線形時相論理に限らず、ＭＴＬ（Ｍｅｔｒｉｃ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）やＳＴＬ（Ｓｉｇｎａｌ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）などの任意の時相論理を用いて論理式を表現してもよい。
なお、タスク指定情報Ｉａは、自然言語により目的タスクを指定する情報であってもよい。自然言語で表されたタスクを論理式に変換する方法は、種々の技術が存在する。
次に、目標論理式生成部３２は、制約条件情報Ｉ２が示す制約条件を、目的タスクを示す論理式に付加することで、目標論理式Ｌｔａｇを生成する。
例えば、図６に示すピックアンドプレイスに対応する制約条件として、「ロボットアーム５２同士が常に干渉しない」、「対象物ｉは障害物Ｏに常に干渉しない」の２つが制約条件情報Ｉ２に含まれていた場合、目標論理式生成部３２は、これらの制約条件を論理式に変換する。具体的には、目標論理式生成部３２は、図６の説明において抽象状態設定部３１により定義された命題「ｏｉ」及び命題「ｈ」を用いて、上述の２つの制約条件を、夫々以下の論理式に変換する。
□￢ｈ
∧ｉ□￢ｏｉ
よって、この場合、目標論理式生成部３２は、「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクに対応する論理式「◇ｇ２」に、これらの制約条件の論理式を付加することで、以下の目標論理式Ｌｔａｇを生成する。
（◇ｇ２）∧（□￢ｈ）∧（∧ｉ□￢ｏｉ）
なお、実際には、ピックアンドプレイスに対応する制約条件は、上述した２つに限られず、「ロボットアーム５２が障害物Ｏに干渉しない」、「複数のロボットアーム５２が同じ対象物を掴まない」、「対象物同士が接触しない」などの制約条件が存在する。このような制約条件についても同様に、制約条件情報Ｉ２に記憶され、目標論理式Ｌｔａｇに反映される。
（５－４）タイムステップ論理式生成部
タイムステップ論理式生成部３３は、目的タスクを完了するタイムステップ数（「目標タイムステップ数」とも呼ぶ。）を定め、目標タイムステップ数で目標論理式Ｌｔａｇを満たすような各タイムステップでの状態を表す命題の組み合わせを定める。この組み合わせは、通常複数存在するため、タイムステップ論理式生成部３３は、これらの組み合わせを論理和により結合した論理式を、タイムステップ論理式Ｌｔｓとして生成する。上述の組み合わせは、ロボット５に命令する動作のシーケンスを表す論理式の候補となり、以後では「候補φ」とも呼ぶ。
ここで、図６の説明において例示した「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクが設定された場合のタイムステップ論理式生成部３３の処理の具体例について説明する。
この場合、以下の目標論理式Ｌｔａｇが目標論理式生成部３２からタイムステップ論理式生成部３３へ供給される。
（◇ｇ２）∧（□￢ｈ）∧（∧ｉ□￢ｏｉ）
この場合、タイムステップ論理式生成部３３は、命題「ｇｉ」をタイムステップの概念を含むように拡張した命題「ｇｉ，ｋ」を用いる。ここで、命題「ｇｉ，ｋ」は、「タイムステップｋで対象物ｉが領域Ｇに存在する」という命題である。ここで、目標タイムステップ数を「３」とした場合、目標論理式Ｌｔａｇは、以下のように書き換えられる。
（◇ｇ２,３）∧（∧ｋ＝１,２,３□￢ｈｋ）∧（∧ｉ,ｋ＝１,２,３□￢ｏｉ）
また、◇ｇ２,３は、以下の式に示すように書き換えることが可能である。
Figure 0007485058000001
このとき、上述した目標論理式Ｌｔａｇは、以下に示す４つの候補「φ１」～「φ４」の論理和（φ１∨φ２∨φ３∨φ４）により表される。
Figure 0007485058000002
よって、タイムステップ論理式生成部３３は、４つの候補φ１～φ４の論理和をタイムステップ論理式Ｌｔｓとして定める。この場合、タイムステップ論理式Ｌｔｓは、４つの候補φ１～φ４の少なくともいずれかが真となる場合に真となる。
次に、目標タイムステップ数の設定方法について補足説明する。
タイムステップ論理式生成部３３は、例えば、タスク指示装置２から供給される入力信号Ｓ１により指定された作業の見込み時間に基づき、目標タイムステップ数を決定する。この場合、タイムステップ論理式生成部３３は、メモリ１２又は記憶装置４に記憶された、１タイムステップ当たりの時間幅の情報に基づき、上述の見込み時間から目標タイムステップ数を算出する。他の例では、タイムステップ論理式生成部３３は、目的タスクの種類毎に適した目標タイムステップ数を対応付けた情報を予めメモリ１２又は記憶装置４に記憶しておき、当該情報を参照することで、実行すべき目的タスクの種類に応じた目標タイムステップ数を決定する。
好適には、タイムステップ論理式生成部３３は、目標タイムステップ数を所定の初期値に設定する。そして、タイムステップ論理式生成部３３は、制御入力生成部３５が制御入力を決定できるタイムステップ論理式Ｌｔｓが生成されるまで、目標タイムステップ数を徐々に増加させる。この場合、タイムステップ論理式生成部３３は、設定した目標タイムステップ数により制御入力生成部３５が最適化処理を行った結果、最適解を導くことができなかった場合、目標タイムステップ数を所定数（１以上の整数）だけ加算する。
このとき、タイムステップ論理式生成部３３は、目標タイムステップ数の初期値を、ユーザが見込む目的タスクの作業時間に相当するタイムステップ数よりも小さい値に設定するとよい。これにより、タイムステップ論理式生成部３３は、不必要に大きな目標タイムステップ数を設定することを好適に抑制する。
（５－５）抽象モデル生成部
抽象モデル生成部３４は、抽象モデル情報Ｉ５と、認識結果Ｉｍとに基づき、抽象モデルΣを生成する。ここで、抽象モデル情報Ｉ５には、目的タスクの種類毎に、抽象モデルΣの生成に必要な情報が記録されている。例えば、目的タスクがピックアンドプレイスの場合には、対象物の位置や数、対象物を置く領域の位置、ロボット５の台数（又はロボットアーム５２の数）等を特定しない汎用的な形式の抽象モデルが抽象モデル情報Ｉ５に記録されている。そして、抽象モデル生成部３４は、抽象モデル情報Ｉ５に記録された、ロボット５のダイナミクスを含む汎用的な形式の抽象モデルに対し、認識結果Ｉｍを反映することで、抽象モデルΣを生成する。これにより、抽象モデルΣは、作業空間内の物体の状態と、ロボット５のダイナミクスとが抽象的に表されたモデルとなる。作業空間内の物体の状態は、ピックアンドプレイスの場合には、対象物の位置及び数、対象物を置く領域の位置、ロボット５の台数等を示す。
なお、他作業体が存在する場合、他作業体の抽象化されたダイナミクスに関する情報が抽象モデル情報Ｉ５に含まれてもよい。この場合、抽象モデルΣは、作業空間内の物体の状態と、ロボット５のダイナミクスと、他作業体のダイナミクスとが抽象的に表されたモデルとなる。
ここで、ロボット５による目的タスクの作業時においては、作業空間内のダイナミクスが頻繁に切り替わる。例えば、ピックアンドプレイスでは、ロボットアーム５２が対象物ｉを掴んでいる場合には、当該対象物ｉを動かすことができるが、ロボットアーム５２が対象物ｉを掴んでない場合には、当該対象物ｉを動かすことができない。
以上を勘案し、本実施形態においては、ピックアンドプレイスの場合、対象物ｉを掴むという動作を論理変数「δｉ」により抽象表現する。この場合、例えば、抽象モデル生成部３４は、図６に示す作業空間に対して設定すべき抽象モデルΣを、以下の式（１）により定めることができる。
Figure 0007485058000003
ここで、「ｕｊ」は、ロボットハンドｊ（「ｊ＝１」はロボットハンド５３ａ、「ｊ＝２」はロボットハンド５３ｂ）を制御するための制御入力を示し、「Ｉ」は単位行列を示し、「０」は零行例を示す。なお、制御入力は、ここでは、一例として速度を想定しているが、加速度であってもよい。また、「δｊ,ｉ」は、ロボットハンドｊが対象物ｉを掴んでいる場合に「１」であり、その他の場合に「０」である論理変数である。また、「ｘｒ１」、「ｘｒ２」は、ロボットハンドｊ（ｊ＝１、２）の位置ベクトル、「ｘ１」～「ｘ４」は、対象物ｉ（ｉ＝１～４）の位置ベクトルを示す。また、「ｈ（ｘ）」は、対象物を掴める程度に対象物の近傍にロボットハンドが存在する場合に「ｈ（ｘ）≧０」となる変数であり、論理変数δとの間で以下の関係を満たす。
δ＝１ ⇔ ｈ（ｘ）≧０
この式では、対象物を掴める程度に対象物の近傍にロボットハンドが存在する場合には、ロボットハンドが対象物を掴んでいるとみなし、論理変数δを１に設定している。
ここで、式（１）は、タイムステップｋでの物体の状態とタイムステップｋ＋１での物体の状態との関係を示した差分方程式である。そして、上記の式（１）では、把持の状態が離散値である論理変数により表わされ、物体の移動は連続値により表わされているため、式（１）はハイブリッドシステムを示している。
式（１）では、ロボット５全体の詳細なダイナミクスではなく、対象物を実際に把持するロボット５の手先であるロボットハンドのダイナミクスのみを考慮している。これにより、制御入力生成部３５による最適化処理の計算量を好適に削減することができる。
また、抽象モデル情報Ｉ５には、ダイナミクスが切り替わる動作（ピックアンドプレイスの場合には対象物ｉを掴むという動作）に対応する論理変数、及び、認識結果Ｉｍから式（１）の差分方程式を導出するための情報が記録されている。よって、抽象モデル生成部３４は、対象物の位置や数、対象物を置く領域（図６では領域Ｇ）、ロボット５の台数等が変動する場合であっても、抽象モデル情報Ｉ５と認識結果Ｉｍとに基づき、対象の作業空間の環境に即した抽象モデルΣを決定することができる。
なお、抽象モデル生成部３４は、式（１）に示されるモデルに代えて、混合論理動的（ＭＬＤ：Ｍｉｘｅｄ Ｌｏｇｉｃａｌ Ｄｙｎａｍｉｃａｌ）システムまたはペトリネットやオートマトンなどを組み合わせたハイブリッドシステムのモデルを生成してもよい。
（５－６）制御入力生成部
制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとに基づき、最適となるタイムステップ毎のロボット５に対する制御入力を決定する。この場合、制御入力生成部３５は、目的タスクに対する評価関数を定義し、抽象モデルΣ及びタイムステップ論理式Ｌｔｓを制約条件として評価関数を最小化する最適化問題を解く。評価関数は、例えば、目的タスクの種類毎に予め定められ、メモリ１２又は記憶装置４に記憶されている。
例えば、ピックアンドプレイスを目的タスクとした場合、制御入力生成部３５は、運ぶ対象となる対象物と当該対象物を運ぶ目標地点との距離「ｄｋ」と制御入力「ｕｋ」とが最小となる（即ちロボット５が費やすエネルギーを最小化する）ように評価関数を定める。上述の距離ｄｋは、「最終的に対象物（ｉ＝２）が領域Ｇに存在する」という目的タスクの場合には、対象物（ｉ＝２）と領域Ｇとのタイムステップｋでの距離に相当する。
この場合、制御入力生成部３５は、全タイムステップにおける距離ｄｋのノルムの２乗と制御入力ｕｋのノルムの２乗との和を評価関数として定める。そして、制御入力生成部３５は、抽象モデルΣ及びタイムステップ論理式Ｌｔｓ（即ち候補φｉの論理和）を制約条件とする以下の式（２）に示す制約付き混合整数最適化問題を解く。
Figure 0007485058000004
ここで、「Ｔ」は、最適化の対象となるタイムステップ数であり、目標タイムステップ数であってもよく、後述するように、目標タイムステップ数よりも小さい所定数であってもよい。この場合、好適には、制御入力生成部３５は、論理変数を連続値に近似する（連続緩和問題とする）。これにより、制御入力生成部３５は、計算量を好適に低減することができる。なお、線形論理式（ＬＴＬ）に代えてＳＴＬを採用した場合には、非線形最適化問題として記述することが可能である。
また、制御入力生成部３５は、目標タイムステップ数が長い場合（例えば所定の閾値より大きい場合）、最適化に用いるタイムステップ数を、目標タイムステップ数より小さい値（例えば上述の閾値）に設定してもよい。この場合、制御入力生成部３５は、例えば、所定のタイムステップ数が経過する毎に、上述の最適化問題を解くことで、逐次的に制御入力ｕｋを決定する。
好適には、制御入力生成部３５は、目的タスクの達成状態に対する中間状態に相当する所定のイベント毎に、上述の最適化問題を解き、使用すべき制御入力ｕｋを決定してもよい。この場合、制御入力生成部３５は、次のイベント発生までのタイムステップ数を、最適化に用いるタイムステップ数に設定する。上述のイベントは、例えば、作業空間におけるダイナミクスが切り替わる事象である。例えば、ピックアンドプレイスを目的タスクとした場合には、ロボット５が対象物を掴む、ロボット５が運ぶべき複数の対象物のうちの１つの対象物を目的地点へ運び終える、などがイベントとして定められる。イベントは、例えば、目的タスクの種類毎に予め定められており、目的タスクの種類毎にイベントを特定する情報が記憶装置４に記憶されている。
（５－７）サブタスクシーケンス生成部
サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃｎと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、サブタスクシーケンスＳｒを生成する。この場合、サブタスクシーケンス生成部３６は、サブタスク情報Ｉ４を参照することで、ロボット５が受け付け可能なサブタスクを認識し、制御入力情報Ｉｃｎが示すタイムステップ毎の制御入力をサブタスクに変換する。
例えば、サブタスク情報Ｉ４には、ピックアンドプレイスを目的タスクとする場合にロボット５が受け付け可能なサブタスクとして、ロボットハンドの移動（リーチング）とロボットハンドの把持（グラスピング）の２つのサブタスクを示す関数が定義されている。この場合、リーチングを表す関数「Ｍｏｖｅ」は、例えば、当該関数実行前のロボット５の初期状態、当該関数実行後のロボット５の最終状態、及び当該関数の実行に要する所要時間をそれぞれ引数とする関数である。また、グラスピングを表す関数「Ｇｒａｓｐ」は、例えば、当該関数実行前のロボット５の状態、及び当該関数実行前の把持対象の対象物の状態、論理変数δをそれぞれ引数とする関数である。ここで、関数「Ｇｒａｓｐ」は、論理変数δが「１」のときに掴む動作を行うこと表し、論理変数δが「０」のときに放す動作を行うこと表す。この場合、サブタスクシーケンス生成部３６は、関数「Ｍｏｖｅ」を、制御入力情報Ｉｃｎが示すタイムステップ毎の制御入力により定まるロボットハンドの軌道に基づき決定し、関数「Ｇｒａｓｐ」を、制御入力情報Ｉｃｎが示すタイムステップ毎の論理変数δの遷移に基づき決定する。
そして、サブタスクシーケンス生成部３６は、関数「Ｍｏｖｅ」と関数「Ｇｒａｓｐ」とにより構成されるサブタスクシーケンスＳｒを生成し、当該サブタスクシーケンスＳｒをロボット制御部１７に供給する。例えば、目的タスクが「最終的に対象物（ｉ＝２）が領域Ｇに存在する」の場合、サブタスクシーケンス生成部３６は、対象物（ｉ＝２）に最も近いロボットハンドに対し、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」のサブタスクシーケンスＳｒを生成する。この場合、対象物（ｉ＝２）に最も近いロボットハンドは、１回目の関数「Ｍｏｖｅ」により対象物（ｉ＝２）の位置まで移動し、１回目の関数「Ｇｒａｓｐ」により対象物（ｉ＝２）を把持し、２回目の関数「Ｍｏｖｅ」により領域Ｇまで移動し、２回目の関数「Ｇｒａｓｐ」により対象物（ｉ＝２）を領域Ｇに載置する。
（５－８）命題生成部
命題生成部３７は、命題判定部１８から命題要求情報Ｉｃが供給された場合に、抽象状態設定部３１から供給される抽象状態設定情報ＩＳと、目標論理式生成部３２から供給される目標論理式Ｌｔａｇとに基づき、第１命題及び第２命題を夫々示す命題情報Ｉｄを生成する。ここで、第１命題及び第２命題の生成について夫々説明する。
まず、第１命題の生成について説明する。命題生成部３７は、命題判定部１８から命題要求情報Ｉｃが供給された時点（即ちサブタスクシーケンスＳｒの実行完了時点）において抽象状態設定部３１が生成した抽象状態設定情報ＩＳに基づき、目的タスクに関する現在の状態を抽象的に表した第１命題を生成する。この場合、命題生成部３７は、抽象状態設定情報ＩＳが示す命題のうち、目的タスクの完了判定に必要な物体の状態を表す部分を抽出した第１命題を生成する。ここで、「目的タスクの完了判定に必要な物体」は、例えば作業対象物（ワーク）であり、図６の例では、対象物６１ａ～６１ｄに相当する。
なお、「目的タスクの完了判定に必要な物体」は、目的タスクの種類毎に定められてもよい。この場合、例えば、記憶装置４又はメモリ１２等には、「目的タスクの完了判定に必要な物体」を目的タスクの種類ごとに規定した情報が記憶されており、命題生成部３７は、当該情報を参照することで、「目的タスクの完了判定に必要な物体」を決定する。例えば、図６に示される目的タスクの場合、命題生成部３７は、対象物「ｉ」（ｉ＝１～４）の状態を表す第１命題を生成する。
ここで、図６の例において、ロボット５がサブタスクシーケンスＳｒを実行することにより目的タスクが正常に完了した場合について考察する。この場合、全ての対象物は、領域Ｇに存在する。よって、この場合、命題生成部３７は、対象物「ｉ」（ｉ＝１～４）が領域Ｇ内に存在するという命題「ｇｉ」を用い、例えば以下の式（３）に示される第１命題を生成する。
ｇ１∧ｇ２∧ｇ３∧ｇ４ （３）
次に、ロボット５がサブタスクシーケンスＳｒの実行途中で対象物（ｉ＝２）を落下してしまい、作業外領域に当該対象物が移動することにより、目的タスクが正常完了しなかった場合について考察する。この場合、例えば、命題生成部３７は、対象物が作業テーブル及び領域Ｇ以外の作業外領域に存在するという命題「ｗｉ」をさらに用い、以下の式（４）に示される第１命題を生成する。
ｇ１∧ｗ２∧ｇ３∧ｇ４ （４）
このように、命題生成部３７は、ロボット５によるサブタスクシーケンスＳｒの実行完了時点での計測信号Ｓ４に基づき生成された抽象状態設定情報ＩＳを参照し、目的タスクに関する現在の状態を抽象的に表した第１命題を好適に生成する。なお、命題生成部３７は、抽象状態設定部３１から抽象状態設定情報ＩＳを受信する代わりに、計測信号Ｓ４に基づき生成された認識結果Ｉｍを受信してもよい。この場合、命題生成部３７は、認識結果Ｉｍに基づき、目的タスクに関する現在の状態（図６では対象物の状態）を抽象的に表した第１命題を生成する。
次に、第２命題の生成について説明する。命題生成部３７は、目標論理式生成部３２から供給される目標論理式Ｌｔａｇに基づき、目的タスクの完了状態を抽象的に表した第２命題を生成する。この場合、命題生成部３７は、目標論理式Ｌｔａｇに含まれる制約条件の論理式を除外し、目的タスクに対応する論理式のみを用いて第２命題を生成する。例えば、図６の例では、命題生成部３７は、目標論理式Ｌｔａｇから、障害物に干渉しない等の種々の制約条件を除外した以下の式（５）に示される第２命題を生成する。
◇ｇ１∧◇ｇ２∧◇ｇ３∧◇ｇ４ （５）
好適には、命題生成部３７は、目標論理式Ｌｔａｇから、「eventually」に相当する演算子「◇」などの、目的タスクの完了判定に影響が生じない所定の演算子をさらに削除した第２命題を生成するとよい。この場合、削除すべき演算子の情報は、例えば、記憶装置４又はメモリ１２等に予め記憶される。この場合、命題生成部３７は、以下の式（６）に示される第２命題を生成する。
ｇ１∧ｇ２∧ｇ３∧ｇ４ （６）
このように、命題生成部３７は、タスク指定情報Ｉａ等により指定された目的タスクに基づき生成された目標論理式Ｌｔａｇを用いることで、目的タスクの完了状態を抽象的に表した第２命題を好適に生成する。なお、命題生成部３７は、目標論理式Ｌｔａｇの代わりに、目標論理式Ｌｔａｇから制約条件等が除外された論理式を目標論理式生成部３２から受信してもよい。
（６）命題判定部の詳細
次に、動作シーケンス生成部１６の命題生成部３７が生成した第１命題と第２命題とを用いて命題判定部１８が実行する処理の具体例について説明する。
命題判定部１８は、動作シーケンス生成部１６から受信した命題情報Ｉｄが示す第１命題と第２命題とが一致した場合に、目的タスクが正常に完了したと判定する。例えば、命題判定部１８は、式（３）に示される第１命題と、式（６）に示される第２命題とを示す命題情報Ｉｄを受信した場合、式（３）と式（６）は同一であることから、第１命題と第２命題とは一致し、目的タスクが正常に完了したと判定する。
一方、命題判定部１８は、動作シーケンス生成部１６から受信した命題情報Ｉｄが示す第１命題と第２命題とが一致しない場合に、目的タスクが正常に完了しなかったと判定する。例えば、命題判定部１８は、式（４）に示される第１命題と、式（６）に示される第２命題とを示す命題情報Ｉｄを受信した場合、対象物（ｉ＝２）の状態を表す論理式が第１命題では「ｗ２」、第２命題では「ｇ２」となり、式（４）と式（６）とは相違すると判定する。よって、この場合、命題判定部１８は、第１命題と第２命題とが一致しないことから、目的タスクが正常に完了しなかったと判定する。
なお、命題判定部１８は、「eventually」に相当する演算子「◇」などの、目的タスクの完了判定に影響が生じない所定の演算子が第２命題に付されていた場合には、当該演算子の有無については相違点とはみなさず、上記の第１命題と第２命題との一致の有無を判定する。よって、命題判定部１８は、式（３）に示される第１命題と、式（５）に示される第２命題とを示す命題情報Ｉｄを受信した場合、式（３）と式（５）は演算子「◇」を除き同一であることから、第１命題と第２命題とは一致し、目的タスクが正常に完了したと判定する。
以上のように、命題判定部１８は、命題生成部３７が生成した第１命題と第２命題とに基づき、目的タスク完了判定を的確に行うことができる。
（７）出力制御部の詳細
出力制御部１５の処理の詳細について説明する。以後では、出力制御部１５の制御に基づきタスク指示装置２が表示するタスク画面の表示例について、図７～図９を参照して説明する。
図７は、目的タスクを指定するタスク画面の表示例を示す。出力制御部１５は、出力制御信号Ｓ２を生成し、当該出力制御信号Ｓ２をタスク指示装置２に送信することで、タスク指示装置２に図７に示すタスク画面を表示するよう制御している。図７に示すタスク画面は、主に、タスク種類指定欄２５と、作業空間画像表示欄２６と、各種ボタン２８（２８ａ、２８ｂ）とを有する。
出力制御部１５は、タスク種類指定欄２５において、目的タスクの種類を指定する入力を受け付ける。ここでは、一例として、タスク種類指定欄２５はプルダウンメニュー形式の入力欄であり、出力制御部１５は、受付可能な目的タスクの種類の候補を、タスク種類指定欄２５において選択可能に一覧表示する。ここでは、タスク種類指定欄２５には、ピックアンドプレイスが目的タスクの種類として指定されている。
また、出力制御部１５は、作業空間画像表示欄２６において、計測装置７が作業空間内を撮像した作業空間画像を表示し、タスク種類指定欄２５において指定された目的タスクの実行に必要な指定を受け付ける。図７の例では、出力制御部１５は、タスク種類指定欄２５で選択されたピックアンドプレイスに対応する抽象状態指定情報Ｉ１を参照し、ロボット５により作業対象となる対象物と、対象物の目的地とを定める必要があると認識する。よって、出力制御部１５は、作業空間画像表示欄２６上で対象物と目的地とを夫々指定する入力を受け付ける。ここでは、一例として、出力制御部１５は、対象物を指定したマーク２７ａ～２７ｄを実線により表示し、目的地を指定したマーク２７ｅを破線により表示している。そして、出力制御部１５は、対象物決定ボタン２８ａが選択されたことを検知した場合、ユーザが描いたマーク２７ａ～２７ｄの位置情報を、対象物の位置を特定する情報として認識する。また、出力制御部１５は、さらに目的地決定ボタン２８ｂが選択されたことを検知した場合、対象物決定ボタン２８ａの選択後にユーザが描いたマーク２７ｅの位置情報を、目的地を特定する情報として認識する。そして、出力制御部１５は、これらの対象物及び目的地を特定する情報（ここでは作業空間画像上での各マークの位置情報）を、タスク指定情報Ｉａとして動作シーケンス生成部１６に供給する。
このように、図７に示されるタスク画面によれば、出力制御部１５は、目的タスクの種類の指定及び目的タスクに関連する物体の指定に関するユーザ入力を好適に受け付け、タスク指定情報Ｉａを好適に取得することができる。
なお、出力制御部１５は、対象物及び目的地を丸印で囲む入力を受け付ける代わりに、タッチ操作又はクリック操作により対象物及び目的地を構成する一部の画素を夫々指定する入力を受け付けてもよい。この場合、出力制御部１５は、指定された各画素の位置情報を、対象物及び目的地を夫々特定する情報とみなし、タスク指定情報Ｉａとして動作シーケンス生成部１６に供給する。他の例では、出力制御部１５は、対象物及び目的地に関する認識結果Ｉｍに基づき、作業空間画像表示欄２６上でのユーザ入力によらずにタスク指定情報Ｉａを生成してもよい。
図８は、図７において指定された目的タスクが正常終了した場合のタスク画面の表示例を示す。出力制御部１５は、命題判定部１８から受信した判定結果情報Ｉｅに基づき出力制御信号Ｓ２を生成し、当該出力制御信号Ｓ２をタスク指示装置２に送信することで、タスク指示装置２に図８に示すタスク画面を表示するよう制御している。図８に示すタスク画面は、主に、通知領域２９と、作業空間画像表示欄２６Ａとを有する。
ここで、図８の例では、図７において目的地として指定された矩形領域上に、図７において対象物として指定された４つの球状物体が全て載置されている。この場合、現在の目的タスクの状態を表す第１命題と、目的タスクの完了状態を表す第２命題とは一致し、目的タスクが正常終了したことを示す判定結果情報Ｉｅが命題判定部１８により生成される。
この場合、出力制御部１５は、命題判定部１８から受信した判定結果情報Ｉｅが目的タスクの正常終了を示していることから、通知領域２９において、目的タスクが完了した旨のテキストメッセージを表示している。また、出力制御部１５は、最新の計測信号Ｓ４に基づく作業空間画像を、作業空間画像表示欄２６Ａに表示している。
図８に示されるタスク画面の表示例によれば、出力制御部１５は、指定した目的タスクが完了したことを、タスク画面によりユーザに好適に通知することができる。
図９は、図７において指定された目的タスクが正常終了しなかった場合のタスク画面の表示例を示す。出力制御部１５は、命題判定部１８から受信した判定結果情報Ｉｅに基づき出力制御信号Ｓ２を生成し、当該出力制御信号Ｓ２をタスク指示装置２に送信することで、タスク指示装置２に図９に示すタスク画面を表示するよう制御している。図９に示すタスク画面は、図８のタスク画面と同様に、通知領域２９と、作業空間画像表示欄２６Ａとを有する。
図９の例では、図７において目的地として指定された台上に、対象物として指定された４つの球状物体のうち３個が載置されている。一方、対象物として指定された残りの１個の球状物体が何らかのアクシデントにより作業外領域に落下している。この場合、現在の目的タスクの状態を表す第１命題と、目的タスクの完了状態を表す第２命題とは異なることから、目的タスクが正常に終了しなかったことを示す判定結果情報Ｉｅが命題判定部１８により生成される。
この場合、出力制御部１５は、命題判定部１８から受信した判定結果情報Ｉｅに基づき、通知領域２９において、目的タスクが正常に終了なかった旨のテキストメッセージを表示している。また、出力制御部１５は、最新の計測信号Ｓ４に基づく作業空間画像を、作業空間画像表示欄２６Ａに表示している。
図９に示されるタスク画面の表示例によれば、出力制御部１５は、指定した目的タスクが正常に完了しなかったことに対するアラートを、タスク画面によりユーザに好適に通知することができる。
（８）処理フロー
図１０は、第１実施形態においてロボットコントローラ１が実行するロボット制御処理の概要を示すフローチャートの一例である。
まず、ロボットコントローラ１の出力制御部１５は、タスク指定情報Ｉａを取得する（ステップＳ１１）。この場合、例えば、出力制御部１５は、インターフェース１３を介してタスク指示装置２にタスク画面を表示するための出力制御信号Ｓ２を送信し、タスク指示装置２は出力制御信号Ｓ２に基づきタスク画面を表示する。そして、出力制御部１５は、タスク画面を表示中のタスク指示装置２から、目的タスクの指定に関する入力信号Ｓ１を受信した場合、当該入力信号Ｓ１をタスク指定情報Ｉａとして取得する。
動作シーケンス生成部１６は、ステップＳ１１で取得したタスク指定情報Ｉａと、計測信号Ｓ４とに基づき、ロボット５の動作シーケンスであるサブタスクシーケンスＳｒを生成する（ステップＳ１２）。この場合、動作シーケンス生成部１６は、サブタスクシーケンスＳｒの生成に必要な、作業空間における物体の認識を行い、タスク指定情報Ｉａが示す目的タスクの完了に必要なサブタスクシーケンスＳｒを生成する。
次に、ロボット制御部１７は、生成されたサブタスクシーケンスＳｒに基づく制御信号Ｓ３をロボット５へ順次供給し、生成されたサブタスクシーケンスＳｒに従いロボット５が動作するように制御する（ステップＳ１３）。
次に、ロボット制御部１７は、サブタスクシーケンスＳｒが完了したか否か判定する（ステップＳ１４）。この場合、ロボット制御部１７は、例えば、サブタスクシーケンスＳｒに基づきロボット５に出力すべき制御信号が無くなった（即ち制御信号の出力が完了した）場合に、サブタスクシーケンスＳｒが完了したと判定する。なお、ロボット制御部１７は、サブタスクシーケンスＳｒに基づく制御信号のロボット５への供給開始後、サブタスクシーケンスＳｒが有するタイムステップ数に応じた時間長が経過した場合に、サブタスクシーケンスＳｒが完了したと判定してもよい。
そして、ロボット制御部１７は、サブタスクシーケンスＳｒが完了したと判定した場合（ステップＳ１４；Ｙｅｓ）、ステップＳ１５へ処理を進める。一方、サブタスクシーケンスＳｒが完了していないと判定した場合（ステップＳ１４；Ｎｏ）、引き続きステップＳ１３においてロボット５の制御を継続する。
サブタスクシーケンスＳｒの完了後、動作シーケンス生成部１６は、目的タスクの現在の状態を表す第１命題と、目的タスクの完了状態を表す第２命題とを夫々生成する（ステップＳ１５）。この場合、命題判定部１８は、ロボット制御部１７から完了通知情報Ｉｂを受信したタイミングにおいて命題要求情報Ｉｃを動作シーケンス生成部１６に供給し、動作シーケンス生成部１６は、命題要求情報Ｉｃを命題判定部１８から受信した場合に、第１命題と第２命題とを生成する。
そして、命題判定部１８は、動作シーケンス生成部１６が生成した第１命題と第２命題とが一致するか否か判定する（ステップＳ１６）。この場合、命題判定部１８は、第１命題と第２命題とを示す命題情報Ｉｄを動作シーケンス生成部１６から受信し、受信した命題情報Ｉｄが示す第１命題と第２命題との比較に基づき、判定結果情報Ｉｅを生成する。
そして、命題判定部１８は、第１命題と第２命題とが一致すると判定した場合（ステップＳ１６；Ｙｅｓ）、目的タスクが正常に完了したと判定する。この場合、出力制御部１５は、タスク完了の通知を行う（ステップＳ１７）。この場合、出力制御部１５は、例えば、判定結果情報Ｉｅに基づき生成した出力制御信号Ｓ２をタスク指示装置２に供給することで、目的タスクの正常完了を明示したタスク画面（図８参照）をタスク指示装置２に表示させる制御を行う。これにより、ロボットコントローラ１は、目的タスクの完了をユーザに好適に知らせることができる。
一方、命題判定部１８は、第１命題と第２命題とが一致しないと判定した場合（ステップＳ１６；Ｎｏ）、目的タスクが正常に完了しなかったと判定する。この場合、出力制御部１５は、タスクが正常に完了しなかった旨のアラート情報を出力する（ステップＳ１８）。この場合、出力制御部１５は、例えば、判定結果情報Ｉｅに基づき生成した出力制御信号Ｓ２をタスク指示装置２に供給することで、目的タスクが正常完了しなかったことに対するアラートを示すタスク画面（図９参照）を、タスク指示装置２に表示させる制御を行う。これにより、ロボットコントローラ１は、目的タスクが正常に完了しなかったことに対するアラートを、ユーザに好適に通知することができる。
（９）変形例
次に、第１実施形態の変形例について説明する。以下の変形例は任意に組み合わせて適用してもよい。なお、これらの変形例は、後述する第２実施形態及び第３実施形態においても好適に適用される。
（第１変形例）
ロボットコントローラ１は、タスク画面においてユーザ入力に基づき指定された目的タスクをロボット５に実行させる代わりに、予め指定された目的タスクをロボット５に実行させてもよい。
この場合、例えば、記憶装置４には、目的タスクを指定したタスク指定情報Ｉａが予め記憶されており、動作シーケンス生成部１６は、出力制御部１５からタスク指定情報Ｉａを取得する代わりに、記憶装置４を参照することで、タスク指定情報Ｉａを取得する。このように、ロボットコントローラ１は、予め定められた目的タスクを実行する場合であっても、目的タスクに応じたサブタスクシーケンスＳｒの実行完了後に、第１命題と第２命題とを比較することで、目的タスク完了判定を好適に実行することができる。
（第２変形例）
ロボットコントローラ１は、目的タスク完了判定の結果を、タスク画面上に表示する制御を行う代わりに、又は、これに加えて、目的タスク完了判定の結果を、音により出力する制御を行ってもよい。
この場合、ロボットコントローラ１の出力制御部１５は、判定結果情報Ｉｅに基づき生成した音出力信号を含む出力制御信号Ｓ２をタスク指示装置２に供給することで、目的タスク完了判定の結果を通知する音出力をタスク指示装置２に実行させる。なお、この場合、出力制御部１５は、目的タスクが正常完了しなかったことを示す判定結果情報Ｉｅを取得した場合に限り、タスク指示装置２に上述の音出力を実行させてもよい。この場合、音出力は、目的タスクが正常完了しなかったことを通知する音声案内であってもよく、アラート音であってもよい。
このように、第２変形例によっても、ロボットコントローラ１は、目的タスク完了判定の結果をタスク指示装置２のユーザに好適に通知することができる。
（第３変形例）
ロボットコントローラ１は、目的タスク完了判定の結果をタスク指示装置２に出力する代わりに、又は、これに加えて、工場内のロボット又はその他の機械を統括して管理する管理端末に目的タスク完了判定の結果を出力してもよい。
この場合、ロボットコントローラ１の出力制御部１５は、命題判定部１８から判定結果情報Ｉｅを受信後、判定結果情報Ｉｅ又は判定結果情報Ｉｅに基づく情報を、インターフェース１３を介して管理端末に送信する。そして、管理端末は、ロボットコントローラ１から受信した情報を、タスクの履歴情報として記憶してもよく、受信した情報に基づく表示又は音出力を実行してもよい。なお、ロボットコントローラ１は、目的タスクが正常完了しなかったと判定した場合に限り、当該判定に基づくアラート情報を管理端末に送信してもよい。
（第４変形例）
図５に示す動作シーケンス生成部１６のブロック構成は一例であり、種々の変更がなされてもよい。
例えば、ロボット５に命令する動作のシーケンスの候補φの情報が記憶装置４に予め記憶され、動作シーケンス生成部１６は、当該情報に基づき、制御入力生成部３５の最適化処理を実行する。これにより、動作シーケンス生成部１６は、最適な候補φの選定とロボット５の制御入力の決定を行う。この場合、動作シーケンス生成部１６は、サブタスクシーケンスＳｒの生成において、抽象状態設定部３１、目標論理式生成部３２及びタイムステップ論理式生成部３３に相当する機能を有しなくともよい。このように、図５に示す動作シーケンス生成部１６の一部の機能ブロックの実行結果に関する情報が予めアプリケーション情報記憶部４１に記憶されていてもよい。
他の例では、アプリケーション情報には、目的タスクに対応するサブタスクシーケンスＳｒを設計するためのフローチャートなどの設計情報が予め含まれており、動作シーケンス生成部１６は、当該設計情報を参照することで、サブタスクシーケンスＳｒを生成してもよい。なお、予め設計されたタスクシーケンスに基づきタスクを実行する具体例については、例えば特開２０１７－３９１７０号に開示されている。
＜第２実施形態＞
第２実施形態のロボットコントローラ１は、目的タスクの開始から所定時間長が経過した場合に、目的タスク完了判定を行う点において、第１実施形態のロボットコントローラ１と異なる。以後では、第１実施形態と同一構成要素については、適宜同一符号を付し、その説明を省略する。
図１１は、第２実施形態におけるロボットコントローラ１Ａの機能ブロック図である。ロボットコントローラ１Ａは、例えば図２（Ａ）に示されるハードウェア構成を有し、ロボットコントローラ１Ａのプロセッサ１１は、機能的には、出力制御部１５と、動作シーケンス生成部１６Ａと、ロボット制御部１７Ａと、命題判定部１８Ａとを有する。
動作シーケンス生成部１６Ａは、出力制御部１５から供給されるタスク指定情報Ｉａと、計測信号Ｓ４と、記憶装置４が記憶するアプリケーション情報とに基づき、ロボット５に実行させるサブタスクシーケンスＳｒを生成する。この場合、動作シーケンス生成部１６Ａは、目的タスクの完了状態（ゴール）に至るまでの１又は複数の中間状態（「サブゴール」とも呼ぶ。）を設定する。そして、動作シーケンス生成部１６Ａは、サブゴールに基づき、目的タスクの開始から完了までに必要な複数のサブタスクシーケンスＳｒを逐次的に生成する。具体的には、動作シーケンス生成部１６Ａは、初期状態からサブゴール、サブゴールから次のサブゴール、最後のサブゴールから完了状態（ゴール）へ夫々移行するためのサブタスクシーケンスＳｒを、逐次的に生成する。また、動作シーケンス生成部１６Ａは、命題判定部１８Ａから命題要求情報Ｉｃを受信した場合に、第１実施形態の動作シーケンス生成部１６と同様に第１命題及び第２命題を示す命題情報Ｉｄを生成し、当該命題情報Ｉｄを命題判定部１８Ａに供給する。
ここで、サブゴールの設定方法について補足説明する。例えば、目的タスクごとにサブゴールの設定に必要な情報が予め記憶装置４に記憶されており、動作シーケンス生成部１６Ａは、この情報を参照することで、サブゴールの設定を行う。上述の情報は、例えば、ピックアンドプレイスの場合には、１つのサブタスクシーケンスＳｒにおいて対象物を移動させる最大個数の情報である。
ロボット制御部１７Ａは、動作シーケンス生成部１６Ａから供給されたサブタスクシーケンスＳｒに基づき、ロボット５の制御を行う。そして、ロボット制御部１７Ａは、供給されたサブタスクシーケンスＳｒが完了した場合、サブタスクシーケンスＳｒの完了通知を動作シーケンス生成部１６Ａに供給する。
命題判定部１８Ａは、目的タスクの開始（即ち、最初のサブタスクシーケンスＳｒがロボット制御部１７Ａに供給された時点）から所定時間長が経過した場合に、目的タスク完了判定を、第１命題と第２命題との比較により行う。そして、命題判定部１８Ａは、第１実施形態と同様に、命題の比較結果に基づき判定結果情報Ｉｅを生成し、当該判定結果情報Ｉｅを出力制御部１５へ供給する。
上述の所定時間長は、例えば、目的タスクの開始前において予想される目的タスクの所要時間長以上の時間長（例えば、発生し得るタイムラグの上限時間長を所要時間長に加算した時間長）に設定される。この場合、例えば、設定され得る目的タスク毎に上記の所定時間長又は所定時間長を算出するために必要な情報が記憶装置４等に記憶されており、命題判定部１８Ａは、当該情報に基づき、上述の所定時間長を決定する。「所定時間長を算出するために必要な情報」は、例えば、タスクの所要時間長が対象物の数などに依存する場合の依存する物体の単位当たりの時間長であり、図６の例では、対象物６１の１体当たりの作業に要する所要時間長である。
このように、命題判定部１８Ａは、目的タスクの開始から所定時間長が経過した場合に、目的タスク完了判定を行い、第１命題と第２命題とが異なる場合に、目的タスクが正常に完了しなかったとみなす。これにより、命題判定部１８Ａは、目的タスクが正常に完了したか否かを的確に判定することができる。
ここで、目的タスクの開始から所定時間長が経過した場合に、目的タスク完了判定を行うことの効果について具体例を用いて補足説明する。
例えば、４つの対象物６１（６１ａ～６１ｄ）を領域Ｇへピックアンドプレイスする図６の例において、１つのサブタスクシーケンスＳｒにおいて最大２つの対象物を移動させるものとする。この場合、動作シーケンス生成部１６Ａは、まず、最初の２つの対象物６１ａ、６１ｂを領域Ｇへピックアンドプレイスすることをサブゴールとして設定する。そして、動作シーケンス生成部１６Ａは、まず、サブゴールまでのサブタスクシーケンスＳｒを計算し、計算したサブタスクシーケンスＳｒをロボット制御部１７に供給する。そして、動作シーケンス生成部１６Ａは、ロボット制御部１７からサブタスクシーケンスＳｒの完了通知を受信した後、計測信号Ｓ４に基づき現在の抽象状態を設定し、残りの対象物６１ｃ、６１ｄが作業テーブル上に存在することを認識する。そして、動作シーケンス生成部１６Ａは、残りの対象物６１ｃ、６１ｄをピックアンドプレイスするためのサブタスクシーケンスＳｒを生成し、当該サブタスクシーケンスＳｒをロボット制御部１７に供給する。
ここで、上記の例において、何らかのアクシデントによって、１つの対象物６１が障害物６２に近接する、又は、作業外領域に落下するなどにより、ロボットアーム５２ａ、５２ｂがいずれも把持できなくなったものとする。この場合、動作シーケンス生成部１６Ａは、目的タスクが完了するように、サブタスクシーケンスＳｒを繰り返し生成することになる。この場合、目的タスクの実行開始前において予想される目的タスクの所要時間長が経過しても、ロボット５にロボット制御部１７Ａが制御信号Ｓ３を出力し続けることになる。従って、この場合、ロボット５への制御信号Ｓ３の出力がなくなったタイミングでロボット制御部１７Ａが完了通知情報Ｉｂを命題判定部１８に供給する第１実施形態の枠組みでは、命題判定部１８による目的タスク完了判定が開始されない。
以上を勘案し、第２実施形態では、ロボットコントローラ１Ａは、目的タスクの開始から所定時間長経過したことを契機として目的タスク完了判定を行う。これにより、ロボットコントローラ１Ａは、目的タスクが正常に完了したか否かを的確に判定することができる。
図１２は、第２実施形態においてロボットコントローラ１Ａが実行するロボット制御処理の概要を示すフローチャートの一例である。
まず、ロボットコントローラ１の出力制御部１５は、タスク指定情報Ｉａを取得する（ステップＳ２１）。次に、動作シーケンス生成部１６Ａは、ステップＳ２１で取得したタスク指定情報Ｉａと、計測信号Ｓ４とに基づき、ロボット５の動作シーケンスであるサブタスクシーケンスＳｒを生成する（ステップＳ２２）。この場合、動作シーケンス生成部１６は、１又は複数のサブゴールを設定し、初期状態からサブゴール、サブゴールから次のサブゴール、最後のサブゴールから完了状態（ゴール）へ夫々移行するためのサブタスクシーケンスＳｒを、逐次的に生成する。また、ロボット制御部１７Ａは、動作シーケンス生成部１６Ａが生成するサブタスクシーケンスＳｒに基づき、ロボット５の制御を行う。
次に、命題判定部１８Ａは、目的タスクの開始から所定時間長が経過したか否か判定する（ステップＳ２４）。そして、命題判定部１８Ａは、目的タスクの開始から所定時間長が経過していない場合（ステップＳ２４；Ｎｏ）、動作シーケンス生成部１６Ａ及びロボット制御部１７Ａは、引き続きステップＳ２３に関する処理を行う。
一方、命題判定部１８Ａは、目的タスクの開始から所定時間長が経過したと判定した場合（ステップＳ２４；Ｙｅｓ）、動作シーケンス生成部１６Ａは、目的タスクの現在の状態を表す第１命題と、目的タスクの完了状態を表す第２命題とを夫々生成する（ステップＳ２５）。この場合、命題判定部１８は、命題要求情報Ｉｃを動作シーケンス生成部１６に供給し、動作シーケンス生成部１６Ａは、命題要求情報Ｉｃを命題判定部１８から受信した場合に、第１命題と第２命題とを生成する。
そして、命題判定部１８Ａは、動作シーケンス生成部１６Ａが生成した第１命題と第２命題とが一致するか否か判定する（ステップＳ２６）。そして、命題判定部１８Ａは、第１命題と第２命題とが一致すると判定した場合（ステップＳ２６；Ｙｅｓ）、目的タスクが正常に完了したと判定する。この場合、出力制御部１５は、タスク完了の通知を行う（ステップＳ２７）。一方、命題判定部１８Ａは、第１命題と第２命題とが一致しないと判定した場合（ステップＳ２６；Ｎｏ）、目的タスクが正常に完了しなかったと判定する。この場合、出力制御部１５は、タスクが正常に完了しなかった旨のアラート情報を出力する（ステップＳ２８）。
＜第３実施形態＞
第３実施形態は、判定結果情報Ｉｅを、ロボット５の状態を管理する外部装置に送信する点において、第１実施形態及び第２実施形態と異なる。以後では、第１実施形態及び第２実施形態と同一構成要素については、適宜同一符号を付し、その説明を省略する。
図１３は、第３実施形態におけるロボット制御システム１００Ｂの概略構成図を示す。ロボット制御システム１００Ｂは、主に、ロボットコントローラ１Ｂと、タスク指示装置２と、記憶装置４と、ロボット５と、管理装置６と、計測装置７と、端末８とを有する。
ロボットコントローラ１Ｂは、通信網３を介してクラウドサーバである管理装置６とデータ通信を行う。ロボットコントローラ１Ｂは、例えば、図２に示すハードウェア構成、及び、図４又は図１１に示される機能ブロック構成を有する。そして、ロボットコントローラ１Ｂは、第１実施形態のロボットコントローラ１又は第２実施形態のロボットコントローラ１Ａと同一処理を行い、かつ、通信網３を介し、目的タスクが正常に完了しなかったことを示すアラート情報「Ｉｇ」を管理装置６に供給する。アラート情報Ｉｇは、判定結果情報Ｉｅを受信した出力制御部１５により生成される情報であり、目的タスクが正常に完了しなかったことを示す情報の他、ロボット５の識別情報、及び目的タスクが実行された日時を示す日時情報などを含んでいる。
管理装置６は、アラート情報Ｉｇを収集するアラート収集センターとして機能する。管理装置６は、複数のサーバから構成されており、通信網３を介してロボットコントローラ１Ｂから供給されるアラート情報Ｉｇを記憶する。また、管理装置６は、ロボット５の状態を管理する管理者（例えば、コールセンターの従業員）が使用する端末８と有線若しくは無線により又は通信網を介してデータ通信が可能となっている。端末８は、管理装置６に記憶されたアラート情報Ｉｇを取得し、アラート情報Ｉｇに基づき、目的タスクが正常に完了しなかったことを管理者（コールセンターの従業員）に通知する。この場合、端末８は、目的タスクが正常に完了しなかったことを管理者に知らせるための音出力又は表示の少なくとも一方を行う。その後、管理者は、例えば、ロボット５が存在する現場の関係者に連絡を取り、目的タスクが正常に完了しなかった原因を取り除くように指示などを行う。
第３実施形態によれば、ロボット制御システム１００Ｂは、目的タスクが正常に完了しなかったことを、外部のコールセンターなどに好適に通知することができる。
＜第４実施形態＞
図１４は、第４実施形態における判定装置１Ｘの概略構成図を示す。判定装置１Ｘは、主に、命題判定手段１８Ｘを有する。
判定装置１Ｘは、第１実施形態におけるロボットコントローラ１、第２実施形態におけるロボットコントローラ１Ａ、又は第３実施形態におけるロボットコントローラ１Ｂとすることができる。また、判定装置１Ｘは、第１実施形態におけるロボットコントローラ１を複数の装置により実現した場合の、命題判定部１８に相当する処理を行う装置であってもよい。同様に、判定装置１Ｘは、第２実施形態におけるロボットコントローラ１Ａ、又は第３実施形態におけるロボットコントローラ１Ｂを複数の装置により実現した場合の、命題判定部１８又は命題判定部１８Ａに相当する処理を行う装置であってもよい。また、判定装置１Ｘは、複数の装置から構成されてもよい。
命題判定手段１８Ｘは、タスクに関するロボットの動作シーケンスが完了した場合、又は、タスクの開始から所定時間長が経過した場合、センサにより検出される、タスクの現在の状態を表す第１命題と、タスクの完了状態を表す第２命題とに基づき、タスクの完了判定を行う。
ここで、「現在の状態」とは、判定装置１Ｘによる処理（判定処理）の時点での、センサにより検出されるタスクの状態を指す。ここで、命題判定手段１８Ｘは、「タスクに関するロボットの動作シーケンスが完了した場合」においてタスクの完了判定を行う場合、第１実施形態（変形例を含む、以下同じ。）又は第３実施形態における命題判定部１８とすることができる。また、「タスクの開始から所定時間長が経過した場合」においてタスクの完了判定を行う場合、第２実施形態又は第３実施形態における命題判定部１８Ａとすることができる。
図１５は、第４実施形態において、判定装置１Ｘが実行する処理手順を示すフローチャートの一例である。命題判定手段１８Ｘは、タスクに関するロボットの動作シーケンスが完了した場合、又は、タスクの開始から所定時間長が経過した場合のいずれかに該当するか否か判定する（ステップＳ３１）。そして、タスクに関するロボットの動作シーケンスが完了した場合、又は、タスクの開始から所定時間長が経過した場合（ステップＳ３１；Ｙｅｓ）、命題判定手段１８Ｘは、センサにより検出される、タスクの現在の状態を表す第１命題と、タスクの完了状態を表す第２命題とに基づき、タスクの完了判定を行う（ステップＳ３２）。一方、タスクに関するロボットの動作シーケンスが完了していない場合、かつ、タスクの開始から所定時間長が経過していない場合（ステップＳ３１；Ｎｏ）、命題判定手段１８Ｘは、ステップＳ３２の処理を実行しない。
第４実施形態によれば、判定装置１Ｘは、タスクの状態を表す命題の比較により、タスクが完了したか否かの完了判定を的確に実行することができる。
なお、上述した各実施形態において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（Non-Transitory Computer Readable Medium）を用いて格納され、コンピュータであるプロセッサ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体（Tangible Storage Medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記憶媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（Transitory Computer Readable Medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
［付記１］
タスクに関するロボットの動作シーケンスが完了した場合、又は、前記タスクの開始から所定時間長が経過した場合、
センサにより検出される、前記タスクの現在の状態を表す第１命題と、前記タスクの完了状態を表す第２命題とに基づき、前記タスクの完了判定を行う命題判定手段
を有する判定装置。
［付記２］
前記命題判定手段は、前記第１命題と、前記第２命題とが異なる場合、前記タスクが完了していないと判定する、付記１に記載の判定装置。
［付記３］
前記完了判定において、前記タスクが完了していないと判定された場合、前記タスクが完了していないことを示すアラート情報を出力する出力制御手段をさらに有する、付記１または２に記載の判定装置。
［付記４］
前記出力制御手段は、前記アラート情報を、前記ロボットの管理を行う管理装置へ送信する、付記３に記載の判定装置。
［付記５］
前記出力制御手段は、前記アラート情報の出力として、前記タスクが完了していないことを示す表示又は音出力を行う、付記３に記載の判定装置。
なお、「表示又は音出力を行う」とは、出力制御手段が自ら表示又は音出力を行う場合に限られず、他の装置に信号を送信することで表示又は音出力を実行させる場合も含む。
［付記６］
前記出力制御手段は、前記タスクが完了したと前記完了判定において判定された場合、前記タスクの正常終了を示す情報を出力する、付記３～５のいずれか一項に記載の判定装置。
［付記７］
前記タスクに基づき、前記動作シーケンスを生成する動作シーケンス生成手段をさらに有する、付記１～６のいずれか一項に記載の判定装置。
［付記８］
前記動作シーケンス生成手段は、前記タスクの開始から前記タスクの完了までに必要な前記動作シーケンスを一括して生成し、
前記命題判定手段は、当該動作シーケンスが完了した場合、前記第１命題と、前記第２命題とに基づき、前記タスクの完了判定を行う、付記７に記載の判定装置。
［付記９］
前記動作シーケンスに基づき、前記ロボットを制御するロボット制御手段をさらに有し、
前記命題判定手段は、前記ロボット制御手段から前記ロボットへの制御信号の出力がなくなった場合に、前記動作シーケンスが完了したと判定する、付記８に記載の判定装置。
［付記１０］
前記動作シーケンス生成手段は、前記タスクが完了に至るまでの１または複数の中間状態に基づき、前記タスクの開始から前記タスクの完了までに必要な複数の動作シーケンスを逐次的に生成し、
前記命題判定手段は、前記タスクの開始から所定時間長が経過した場合、前記第１命題と、前記第２命題とに基づき、前記タスクの完了判定を行う、付記７に記載の判定装置。
［付記１１］
前記動作シーケンス生成手段は、
前記タスクを時相論理に基づく論理式に変換する論理式変換手段と、
前記論理式から、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成するタイムステップ論理式生成手段と、
前記タイムステップ論理式に基づき、前記ロボットに実行させるサブタスクのシーケンスを、前記動作シーケンスとして生成するサブタスクシーケンス生成手段と、
を有する、付記７～１０のいずれか一項に記載の判定装置。
［付記１２］
前記動作シーケンス生成手段は、
前記タスクに関する物体の抽象的な状態である抽象状態を、前記論理式において使用する命題として定める抽象状態設定手段をさらに有する、付記１１に記載の判定装置。
［付記１３］
前記所定時間長は、前記タスクの所要時間長以上の時間長に設定される、付記１～１２のいずれか一項に記載の判定装置。
［付記１４］
コンピュータにより、
タスクに関するロボットの動作シーケンスが完了した場合、又は、前記タスクの開始から所定時間長が経過した場合、
センサにより検出される、前記タスクの現在の状態を表す第１命題と、前記タスクの完了状態を表す第２命題とに基づき、前記タスクの完了判定を行う
判定方法。
［付記１５］
タスクに関するロボットの動作シーケンスが完了した場合、又は、前記タスクの開始から所定時間長が経過した場合、
センサにより検出される、前記タスクの現在の状態を表す第１命題と、前記タスクの完了状態を表す第２命題とに基づき、前記タスクの完了判定を行う処理をコンピュータに実行させるプログラムが格納された記憶媒体。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
１、１Ａ、１Ｂ ロボットコントローラ
１Ｘ 判定装置
２ タスク指示装置
３ 通信網
４ 記憶装置
５ ロボット
６ 管理装置
７ 計測装置
４１ アプリケーション情報記憶部
１００、１００Ｂ ロボット制御システム

Claims (15)

  1. 目的タスクに関するロボットの動作シーケンスが完了した場合、又は、前記目的タスクの開始から所定時間長が経過した場合、
    センサにより検出される、作業空間内で認識した物体に関する認識結果に基づく、前記目的タスクの現在の状態を抽象的に表す第１命題と、前記目的タスクの完了状態を抽象的に表す第２命題とに基づき、前記目的タスクの完了判定を行う命題判定手段
    を有する判定装置。
  2. 前記命題判定手段は、前記第１命題と、前記第２命題とが異なる場合、前記目的タスクが完了していないと判定する、請求項１に記載の判定装置。
  3. 前記完了判定において、前記目的タスクが完了していないと判定された場合、前記目的タスクが完了していないことを示すアラート情報を出力する出力制御手段をさらに有する、請求項１または２に記載の判定装置。
  4. 前記出力制御手段は、前記アラート情報を、前記ロボットの管理を行う管理装置へ送信する、請求項３に記載の判定装置。
  5. 前記出力制御手段は、前記アラート情報の出力として、前記目的タスクが完了していないことを示す表示又は音出力を行う、請求項３に記載の判定装置。
  6. 前記出力制御手段は、前記目的タスクが完了したと前記完了判定において判定された場合、前記目的タスクの正常終了を示す情報を出力する、請求項３～５のいずれか一項に記載の判定装置。
  7. 前記目的タスクに基づき、前記動作シーケンスを生成する動作シーケンス生成手段をさらに有する、請求項１～６のいずれか一項に記載の判定装置。
  8. 前記動作シーケンス生成手段は、前記目的タスクの開始から前記目的タスクの完了までに必要な前記動作シーケンスを一括して生成し、
    前記命題判定手段は、当該動作シーケンスが完了した場合、前記第１命題と、前記第２命題とに基づき、前記目的タスクの完了判定を行う、請求項７に記載の判定装置。
  9. 前記動作シーケンスに基づき、前記ロボットを制御するロボット制御手段をさらに有し、
    前記命題判定手段は、前記ロボット制御手段から前記ロボットへの制御信号の出力が完了した場合に、前記動作シーケンスが完了したと判定する、請求項８に記載の判定装置。
  10. 前記動作シーケンス生成手段は、前記目的タスクの完了までの１または複数の中間状態に基づき、前記目的タスクの開始から前記目的タスクの完了までに必要な複数の動作シーケンスを逐次的に生成し、
    前記命題判定手段は、前記目的タスクの開始から所定時間長が経過した場合、前記第１命題と、前記第２命題とに基づき、前記目的タスクの完了判定を行う、請求項７に記載の判定装置。
  11. 前記動作シーケンス生成手段は、
    前記目的タスクを時相論理に基づく論理式に変換する論理式変換手段と、
    前記論理式から、前記目的タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式を生成するタイムステップ論理式生成手段と、
    前記タイムステップ論理式に基づき、前記ロボットに実行させるサブ目的タスクのシーケンスを、前記動作シーケンスとして生成するサブタスクシーケンス生成手段と、
    を有する、請求項７～１０のいずれか一項に記載の判定装置。
  12. 前記動作シーケンス生成手段は、
    前記目的タスクに関する物体の抽象的な状態である抽象状態を、前記論理式において使用する命題として定める抽象状態設定手段をさらに有する、請求項１１に記載の判定装置。
  13. 前記所定時間長は、前記目的タスクの所要時間長以上の時間長に設定される、請求項１～１２のいずれか一項に記載の判定装置。
  14. コンピュータにより、
    目的タスクに関するロボットの動作シーケンスが完了した場合、又は、前記目的タスクの開始から所定時間長が経過した場合、
    センサにより検出される、作業空間内で認識した物体に関する認識結果に基づく、前記目的タスクの現在の状態を抽象的に表す第１命題と、前記目的タスクの完了状態を抽象的に表す第２命題とに基づき、前記目的タスクの完了判定を行う
    判定方法。
  15. 目的タスクに関するロボットの動作シーケンスが完了した場合、又は、前記目的タスクの開始から所定時間長が経過した場合、
    センサにより検出される、作業空間内で認識した物体に関する認識結果に基づく、前記目的タスクの現在の状態を抽象的に表す第１命題と、前記目的タスクの完了状態を抽象的に表す第２命題とに基づき、前記目的タスクの完了判定を行う処理をコンピュータに実行させるプログラム。
JP2022546844A 2020-09-07 2020-09-07 判定装置、判定方法及びプログラム Active JP7485058B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/033735 WO2022049756A1 (ja) 2020-09-07 2020-09-07 判定装置、判定方法及び記憶媒体

Publications (3)

Publication Number Publication Date
JPWO2022049756A1 JPWO2022049756A1 (ja) 2022-03-10
JPWO2022049756A5 JPWO2022049756A5 (ja) 2023-05-23
JP7485058B2 true JP7485058B2 (ja) 2024-05-16

Family

ID=80490821

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022546844A Active JP7485058B2 (ja) 2020-09-07 2020-09-07 判定装置、判定方法及びプログラム

Country Status (4)

Country Link
US (1) US20230321827A1 (ja)
EP (1) EP4212290A4 (ja)
JP (1) JP7485058B2 (ja)
WO (1) WO2022049756A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018167361A (ja) 2017-03-30 2018-11-01 株式会社安川電機 ロボット動作指令生成方法、ロボット動作指令生成装置及びコンピュータプログラム
JP2019084664A (ja) 2017-11-10 2019-06-06 株式会社安川電機 プログラミング支援装置、ロボットシステム及びプログラム生成方法
JP2019126895A (ja) 2018-01-26 2019-08-01 セイコーエプソン株式会社 ロボット制御装置及びロボットシステム
JP2019200792A (ja) 2018-05-15 2019-11-21 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ マルチエージェントシステムにおけるロボットの動作方法、ロボット及びマルチエージェントシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6632214B2 (ja) 2015-04-10 2020-01-22 キヤノン株式会社 制御方法、ロボットハンド、ロボット装置、製造方法、ロボットハンド制御プログラム及び記録媒体
JP6677461B2 (ja) 2015-08-17 2020-04-08 ライフロボティクス株式会社 ロボット装置
US9815203B1 (en) * 2015-08-24 2017-11-14 X Development Llc Methods and systems for adjusting operation of a robotic device based on detected sounds
JP6553568B2 (ja) 2016-09-28 2019-07-31 ファナック株式会社 複数個の物品をひとつずつ最適な経路で取り出す搬送装置
JP6487489B2 (ja) * 2017-05-11 2019-03-20 ファナック株式会社 ロボット制御装置及びロボット制御プログラム
US11014231B2 (en) * 2018-05-03 2021-05-25 Fujitsu Limited Robotic device task learning
EP3591521B1 (en) * 2018-07-05 2023-07-26 Honda Research Institute Europe GmbH Assistance system, method, and program for assisting a user in fulfilling a task

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018167361A (ja) 2017-03-30 2018-11-01 株式会社安川電機 ロボット動作指令生成方法、ロボット動作指令生成装置及びコンピュータプログラム
JP2019084664A (ja) 2017-11-10 2019-06-06 株式会社安川電機 プログラミング支援装置、ロボットシステム及びプログラム生成方法
JP2019126895A (ja) 2018-01-26 2019-08-01 セイコーエプソン株式会社 ロボット制御装置及びロボットシステム
JP2019200792A (ja) 2018-05-15 2019-11-21 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ マルチエージェントシステムにおけるロボットの動作方法、ロボット及びマルチエージェントシステム

Also Published As

Publication number Publication date
US20230321827A1 (en) 2023-10-12
EP4212290A4 (en) 2023-11-01
JPWO2022049756A1 (ja) 2022-03-10
EP4212290A1 (en) 2023-07-19
WO2022049756A1 (ja) 2022-03-10

Similar Documents

Publication Publication Date Title
CN108873768B (zh) 任务执行系统及方法、学习装置及方法、以及记录介质
WO2022074823A1 (ja) 制御装置、制御方法及び記憶媒体
JP7264253B2 (ja) 情報処理装置、制御方法及びプログラム
JP7452619B2 (ja) 制御装置、制御方法及びプログラム
JP7448024B2 (ja) 制御装置、制御方法及びプログラム
JP7485058B2 (ja) 判定装置、判定方法及びプログラム
JP7416197B2 (ja) 制御装置、制御方法及びプログラム
JP7468694B2 (ja) 情報収集装置、情報収集方法及びプログラム
JP7276466B2 (ja) 情報処理装置、制御方法及びプログラム
WO2022224449A1 (ja) 制御装置、制御方法及び記憶媒体
WO2022224447A1 (ja) 制御装置、制御方法及び記憶媒体
JP7364032B2 (ja) 制御装置、制御方法及びプログラム
WO2022074827A1 (ja) 命題設定装置、命題設定方法及び記憶媒体
JP7323045B2 (ja) 制御装置、制御方法及びプログラム
WO2022244060A1 (ja) 動作計画装置、動作計画方法及び記憶媒体
JP7416199B2 (ja) 制御装置、制御方法及びプログラム
JP7456552B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7491400B2 (ja) 支援制御装置、支援装置、ロボット制御システム、支援制御方法及びプログラム
US20240208047A1 (en) Control device, control method, and storage medium
US20240165817A1 (en) Robot management device, control method, and recording medium
EP4300239A1 (en) Limiting condition learning device, limiting condition learning method, and storage medium
WO2021171352A1 (ja) 制御装置、制御方法及び記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230303

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230303

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240311

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240402

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240415

R150 Certificate of patent or registration of utility model

Ref document number: 7485058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150