JP7276466B2 - 情報処理装置、制御方法及びプログラム - Google Patents

情報処理装置、制御方法及びプログラム Download PDF

Info

Publication number
JP7276466B2
JP7276466B2 JP2021541933A JP2021541933A JP7276466B2 JP 7276466 B2 JP7276466 B2 JP 7276466B2 JP 2021541933 A JP2021541933 A JP 2021541933A JP 2021541933 A JP2021541933 A JP 2021541933A JP 7276466 B2 JP7276466 B2 JP 7276466B2
Authority
JP
Japan
Prior art keywords
information
abstract model
robot
task
abstract
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021541933A
Other languages
English (en)
Other versions
JPWO2021038844A1 (ja
JPWO2021038844A5 (ja
Inventor
博之 大山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021038844A1 publication Critical patent/JPWO2021038844A1/ja
Publication of JPWO2021038844A5 publication Critical patent/JPWO2021038844A5/ja
Application granted granted Critical
Publication of JP7276466B2 publication Critical patent/JP7276466B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/081—Touching devices, e.g. pressure-sensitive
    • B25J13/082—Grasping-force detectors
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0205—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system
    • G05B13/024—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric not using a model or a simulator of the controlled system in which a parameter or coefficient is automatically adjusted to optimise the performance
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40014—Gripping workpiece to place it in another place
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40108—Generating possible sequence of steps as function of timing and conflicts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/40—Robotics, robotics mapping to robotics vision
    • G05B2219/40114—From vision detected initial and user given final state, generate tasks

Description

本発明は、ロボットに作業させるタスクに関する処理を行う情報処理装置、制御方法及び記憶媒体の技術分野に関する。
ロボットに作業させるタスクが与えられた場合に、当該タスクを実行するために必要なロボットの制御を行う制御手法が提案されている。例えば、特許文献１には、ハンドを有するロボットにより複数の物品を把持して容器に収容する場合に、ハンドが物品を把持する順序の組み合わせを決定し、組み合わせ毎に算出した指標に基づき、収容する物品の順序を決定するロボット制御装置が開示されている。
特開２０１８－５１６８４号公報
ロボットにタスクを実行させる制御入力を決定する場合、与えられたタスク及び作業環境に応じたダイナミクスのモデルを設定する必要があるが、このようなモデルを人手により指定するのは手間がかかるという問題がある。また、ロボット全体の詳細なダイナミクスを考慮した場合、制御入力を決定するための最適化処理が煩雑化するという問題も生じる。一方、特許文献１には、これらの問題を解決するダイナミクスのモデルの設定方法については、何ら開示されていない。
本発明の目的は、上述した課題を鑑み、ロボットの作業空間におけるダイナミクスのモデルを好適に生成することが可能な情報処理装置、制御方法及び記憶媒体を提供することを主な課題とする。
情報処理装置の一の態様は、情報処理装置であって、タスクを実行するロボットの作業空間における現実のダイナミクスをハイブリッドシステムにより抽象化した抽象モデルと、前記ハイブリッドシステムにおけるダイナミクスの切り替わりの条件と、を少なくとも示す抽象モデル情報を取得する抽象モデル情報取得手段と、前記作業空間における計測結果を示す計測情報を取得する計測情報取得手段と、前記抽象モデル情報と、前記計測情報とに基づき、前記抽象モデルを生成する抽象モデル生成手段と、を有する。
制御方法の一の態様は、情報処理装置が実行する制御方法であって、タスクを実行するロボットの作業空間における現実のダイナミクスをハイブリッドシステムにより抽象化した抽象モデルと、前記ハイブリッドシステムにおけるダイナミクスの切り替わりの条件と、を少なくとも示す抽象モデル情報を取得し、前記作業空間における計測結果を示す計測情報を取得し、前記抽象モデル情報と、前記計測情報とに基づき、前記抽象モデルを生成する。
プログラムの一の態様は、タスクを実行するロボットの作業空間における現実のダイナミクスをハイブリッドシステムにより抽象化した抽象モデルと、前記ハイブリッドシステムにおけるダイナミクスの切り替わりの条件と、を少なくとも示す抽象モデル情報を取得する抽象モデル情報取得手段と、前記作業空間における計測結果を示す計測情報を取得する計測情報取得手段と、前記抽象モデル情報と、前記計測情報とに基づき、前記抽象モデルを生成する抽象モデル生成手段としてコンピュータを機能させるプログラムである。
本発明によれば、ロボットの作業空間におけるダイナミクスを抽象化したモデルを好適に生成することができる。
ロボット制御システムの構成を示す。 情報処理装置のハードウェア構成を示す。 アプリケーション情報のデータ構造の一例を示す。 情報処理装置の機能ブロックの一例である。 作業空間の俯瞰図を示す。 目標論理式生成部の機能的なブロック構成図である。 タスク入力画面の第１表示例を示す。 タスク入力画面の第２表示例を示す。 ロボット制御処理の概要を示すフローチャートの一例である。 図９のステップＳ１３の処理の詳細を表すフローチャートの一例である。 図９のフローチャートが示すロボット制御処理の変形例を示すフローチャートの一例である。 第２実施形態における情報処理装置の概略構成図である。 第３実施形態における情報処理装置の概略構成図である。
以下、図面を参照しながら、情報処理装置、制御方法及び記憶媒体の実施形態について説明する。
＜第１実施形態＞
（１）システム構成
図１は、第１実施形態に係るロボット制御システム１００の構成を示す。ロボット制御システム１００は、主に、情報処理装置１と、入力装置２と、表示装置３と、記憶装置４と、ロボット５と、計測装置７と、を備える。
情報処理装置１は、ロボット５に実行させるタスク（「目的タスク」とも呼ぶ。）が指定された場合に、ロボット５が受付可能な単純なタスクのタイムステップ（時間刻み）毎のシーケンスに目的タスクを変換し、当該シーケンスをロボット５に供給する。以後では、ロボット５が受付可能な単純なタスク（コマンド）を、「サブタスク」とも呼ぶ。
情報処理装置１は、入力装置２、表示装置３及び記憶装置４と電気的に接続している。例えば、情報処理装置１は、入力装置２から、目的タスクを指定するための入力信号「Ｓ１」を受信する。また、情報処理装置１は、表示装置３に対し、ロボット５に実行させるタスクに関する表示を行うための表示信号「Ｓ２」を送信する。また、情報処理装置１は、ロボット５の制御に関する制御信号「Ｓ３」をロボット５に送信する。例えば、情報処理装置１は、制御信号Ｓ３として、ロボットハンド５２毎に実行させるサブタスクのシーケンス（「サブタスクシーケンス」とも呼ぶ。）を、ロボット５に送信する。さらに、情報処理装置１は、計測装置７から出力信号「Ｓ４」を受信する。
入力装置２は、ユーザの入力を受け付けるインターフェースであり、例えば、タッチパネル、ボタン、キーボード、音声入力装置などが該当する。入力装置２は、ユーザの入力に基づき生成した入力信号Ｓ１を情報処理装置１へ供給する。
表示装置３は、例えば、ディスプレイ、プロジェクタ等であり、情報処理装置１から供給される表示信号Ｓ２に基づき、所定の表示を行う。後述するように、例えば、表示装置３は、表示信号Ｓ２に基づき、目的タスクに関する情報を指定する入力画面（「タスク入力画面」とも呼ぶ。）を表示する。
記憶装置４は、アプリケーション情報記憶部４１を有する。アプリケーション情報記憶部４１は、目的タスクからサブタスクのシーケンスを生成するために必要なアプリケーション情報を記憶する。アプリケーション情報の詳細は後述する。記憶装置４は、情報処理装置１に接続又は内蔵されたハードディスクなどの外部記憶装置であってもよく、フラッシュメモリなどの記憶媒体であってもよい。また、記憶装置４は、情報処理装置１とデータ通信を行うサーバ装置であってもよい。この場合、記憶装置４は、複数のサーバ装置から構成されてもよい。
ロボット５は、情報処理装置１から送信された制御信号Ｓ３に基づき動作を行う。図１に示すロボット５は、一例として、物を把持可能な複数（２つ）のロボットアーム５２を制御対象として有し、作業空間６内に存在する対象物６１のピックアンドプレイス（摘み上げて移動させる処理）を行う。ロボット５は、ロボット制御部５１を有する。ロボット制御部５１は、制御信号Ｓ３によりロボットアーム５２毎に指定されたサブタスクシーケンスに基づき、各ロボットアーム５２の動作制御を行う。
作業空間６は、ロボット５が目的タスクを実行する作業空間であり、図１では、一例として、ロボット５による作業対象となる複数の対象物６１と、ロボット５の作業において障害となる障害物６２とが存在している。
計測装置７は、作業空間６内を計測対象範囲として計測を行うカメラ、測域センサ、ソナーまたはこれらの組み合わせとなる１又は複数の外界センサである。計測装置７は、生成した出力信号Ｓ４を情報処理装置１に供給する。出力信号Ｓ４は、作業空間６内を撮影した画像データであってもよく、作業空間６内の物体の位置を示す点群データであってもよい。
なお、図１に示すロボット制御システム１００の構成は一例であり、当該構成に種々の変更が行われてもよい。例えば、ロボット５は複数台存在してもよい。また、ロボット５は、ロボットアーム５２を１つのみ又は３つ以上備えてもよい。これらの場合であっても、情報処理装置１は、目的タスクに基づき、ロボット５の制御対象毎に実行すべきサブタスクシーケンスを生成し、当該サブタスクシーケンスを示す制御信号Ｓ３を、対象の制御対象を有するロボット５に送信する。また、計測装置７は、ロボット５の一部であってもよい。また、ロボット制御部５１は、ロボット５とは別体に構成されてもよい。また、入力装置２及び表示装置３は、夫々、情報処理装置１に内蔵されるなどの態様により、情報処理装置１と同一の装置（例えばタブレット型端末）として構成されてもよい。また、情報処理装置１は、複数の装置から構成されてもよい。この場合、情報処理装置１を構成する複数の装置は、予め割り当てられた処理を実行するために必要な情報の授受を、これらの複数の装置間において行う。また、情報処理装置１の少なくとも一部の機能を、ロボット５が有してもよい。
（２）情報処理装置のハードウェア構成
図２は、情報処理装置１のハードウェア構成を示す。情報処理装置１は、ハードウェアとして、プロセッサ１１と、メモリ１２と、インターフェース１３とを含む。プロセッサ１１、メモリ１２及びインターフェース１３は、データバス１９を介して接続されている。
プロセッサ１１は、メモリ１２に記憶されているプログラムを実行することにより、所定の処理を実行する。プロセッサ１１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのプロセッサである。
メモリ１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの各種のメモリにより構成される。また、メモリ１２には、情報処理装置１が所定の処理を実行するためのプログラムが記憶される。また、メモリ１２は、作業メモリとして使用され、記憶装置４から取得した情報等を一時的に記憶する。なお、メモリ１２は、記憶装置４として機能してもよい。同様に、記憶装置４は、情報処理装置１のメモリ１２として機能してもよい。なお、情報処理装置１が実行するプログラムは、メモリ１２以外の記憶媒体に記憶されてもよい。
インターフェース１３は、情報処理装置１と他の装置とを電気的に接続するためのインターフェースである。例えば、インターフェース１３は、情報処理装置１と入力装置２とを接続するためのインターフェース、情報処理装置１と表示装置３とを接続するためのインターフェース、及び情報処理装置１と記憶装置４とを接続するためのインターフェースを含む。また、インターフェース１３は、情報処理装置１とロボット５とを接続するためのインターフェース、及び情報処理装置１と計測装置７とを接続するためのインターフェースを含む。これらの接続は、有線接続であってもよく、無線接続であってもよい。例えば、情報処理装置１と記憶装置４とを接続するためのインターフェースは、プロセッサ１１の制御に基づき記憶装置４とデータの送受信を有線又は無線により行うための通信インターフェースであってもよい。他の例では、情報処理装置１と記憶装置４とは、ケーブル等により接続されてもよい。この場合、インターフェース１３は、記憶装置４とデータの授受を行うためのＵＳＢ、ＳＡＴＡ（Ｓｅｒｉａｌ ＡＴ Ａｔｔａｃｈｍｅｎｔ）などに準拠したインターフェースを含む。
なお、情報処理装置１のハードウェア構成は、図２に示す構成に限定されない。例えば、情報処理装置１は、入力装置２、表示装置３及び記憶装置４の少なくとも一方を含んでもよい。また、情報処理装置１は、スピーカなどの音出力装置と接続又は内蔵してもよい。これらの場合、情報処理装置１は、入力機能及び出力機能が本体と一体となったタブレット型端末等であってもよい。
（３）アプリケーション情報
次に、アプリケーション情報記憶部４１が記憶するアプリケーション情報のデータ構造について説明する。
図３は、アプリケーション情報記憶部４１に記憶されるアプリケーション情報のデータ構造の一例を示す。図３に示すように、アプリケーション情報記憶部４１は、抽象状態指定情報Ｉ１と、制約条件情報Ｉ２と、動作限界情報Ｉ３と、サブタスク情報Ｉ４と、抽象モデル情報Ｉ５と、物体モデル情報Ｉ６とを含む。
抽象状態指定情報Ｉ１は、サブタスクシーケンスの生成にあたり定義する必要がある抽象状態を指定する情報である。この抽象状態は、作業空間６内における物体の抽象的な状態であって、後述する目標論理式において使用する命題として定められる。例えば、抽象状態指定情報Ｉ１は、目的タスクの種類毎に、定義する必要がある抽象状態を指定する。なお、目的タスクは、例えば、ピックアンドプレイス、移動物体の捕獲、ねじ回しなどの種々の種類のタスクであってもよい。
制約条件情報Ｉ２は、目的タスクを実行する際の制約条件を示す情報である。制約条件情報Ｉ２は、例えば、目的タスクがピックアンドプレイスの場合、障害物にロボット５（ロボットアーム５２）が接触してはいけないという制約条件、ロボットアーム５２同士が接触してはいけないという制約条件などを示す。なお、制約条件情報Ｉ２は、目的タスクの種類毎に夫々適した制約条件を記録した情報であってもよい。
動作限界情報Ｉ３は、情報処理装置１により制御が行われるロボット５の動作限界に関する情報を示す。動作限界情報Ｉ３は、例えば、図１に示すロボット５の場合には、ロボットアーム５２のリーチングの最高速度等を規定する情報である。
サブタスク情報Ｉ４は、ロボット５が受付可能なサブタスクの情報を示す。例えば、目的タスクがピックアンドプレイスの場合には、サブタスク情報Ｉ４は、ロボットアーム５２の移動であるリーチングと、ロボットアーム５２による把持であるグラスピングとをサブタスクとして規定する。サブタスク情報Ｉ４は、目的タスクの種類毎に使用可能なサブタスクの情報を示すものであってもよい。
抽象モデル情報Ｉ５は、作業空間６におけるダイナミクスを抽象化したモデル（「抽象モデル」とも呼ぶ。）に関する情報である。抽象モデルは、後述するように、現実のダイナミクスをハイブリッドシステムにより抽象化したモデルにより表されている。抽象モデル情報Ｉ５は、上述のハイブリッドシステムにおけるダイナミクスの切り替わりの条件を示す情報を含む。切り替わりの条件は、例えば、図１に示すピックアンドプレイスの場合、対象物６１はロボットアーム５２の手先により把持されなければ移動できないという条件などが該当する。抽象モデル情報Ｉ５は、目的タスクの種類毎に適した抽象モデルに関する情報を有している。
物体モデル情報Ｉ６は、計測装置７が生成した出力信号Ｓ４から認識すべき各物体（図１の例では、ロボットアーム５２、対象物６１、及び障害物６２など）の物体モデルに関する情報である。上述の物体モデルは、例えば、ニューラルネットワークなどの機械学習における学習モデルである。この学習モデルは、例えば、出力信号Ｓ４により計測対象となった物体の種類及び位置等を出力するように学習され、学習済みの学習モデルのパラメータが物体モデル情報Ｉ６に記録される。他の例では、物体モデル情報Ｉ６は、認識すべき物体のＣＡＤデータを含んでもよい。
なお、アプリケーション情報記憶部４１は、上述した情報の他、サブタスクシーケンスの生成処理に関する種々の情報を記憶してもよい。例えば、アプリケーション情報記憶部４１は、ロボット５自身の動的モデル、抽象化されたロボットアーム５２の動的モデル、及びロボットアーム５２により対象物６１を把持する所要時間を算出する簡易モデルなどを含んでもよい。
（４）機能ブロック
図４は、情報処理装置１の機能ブロックの一例である。情報処理装置１のプロセッサ１１は、機能的には、抽象状態設定部３１と、目標論理式生成部３２と、タイムステップ論理式生成部３３と、抽象モデル生成部３４と、制御入力生成部３５と、サブタスクシーケンス生成部３６とを有する。なお、図４では、各ブロック間で授受が行われるデータの一例が示されているが、これに限定されない。
抽象状態設定部３１は、計測装置７から供給される出力信号Ｓ４に基づき、作業空間６内における計測結果を示す情報（「計測情報Ｉｍ」とも呼ぶ。）を生成する。具体的には、抽象状態設定部３１は、出力信号Ｓ４を受信した場合に、物体モデル情報Ｉ６等を参照し、目的タスクの実行に関連する作業空間６内の各物体の種類（対象物６１、障害物６２等の分類）及び位置等を認識し、この認識結果を、計測情報Ｉｍとして生成する。抽象状態設定部３１は、生成した計測情報Ｉｍを、抽象モデル生成部３４に供給する。
また、抽象状態設定部３１は、上述の計測情報Ｉｍ及びアプリケーション情報記憶部４１から取得した抽象状態指定情報Ｉ１等に基づき、目的タスクを実行する際に考慮する必要がある作業空間６内の抽象状態を設定する。この場合、抽象状態設定部３１は、各抽象状態に対し、論理式で表すための命題を定義する。抽象状態設定部３１は、設定した抽象状態を示す情報（「抽象状態設定情報Ｉｓ」とも呼ぶ。）を目標論理式生成部３２に供給する。
目標論理式生成部３２は、目的タスクに関する入力信号Ｓ１を入力装置２から受信した場合に、抽象状態設定情報Ｉｓに基づき、入力信号Ｓ１が示す目的タスクを、最終的な達成状態を表す時相論理の論理式（「目標論理式Ｌｔａｇ」とも呼ぶ。）に変換する。この場合、目標論理式生成部３２は、アプリケーション情報記憶部４１から制約条件情報Ｉ２を参照することで、目的タスクの実行において満たすべき制約条件を、目標論理式Ｌｔａｇに付加する。そして、目標論理式生成部３２は、生成した目標論理式Ｌｔａｇを、タイムステップ論理式生成部３３に供給する。また、目標論理式生成部３２は、目的タスクに関する入力を受け付けるタスク入力画面を表示するための表示信号Ｓ２を生成し、当該表示信号Ｓ２を表示装置３に供給する。
タイムステップ論理式生成部３３は、目標論理式生成部３２から供給された目標論理式Ｌｔａｇを、各タイムステップでの状態を表した論理式（「タイムステップ論理式Ｌｔｓ」とも呼ぶ。）に変換する。そして、タイムステップ論理式生成部３３は、生成したタイムステップ論理式Ｌｔｓを、制御入力生成部３５に供給する。
抽象モデル生成部３４は、計測情報Ｉｍと、アプリケーション情報記憶部４１が記憶する抽象モデル情報Ｉ５とに基づき、作業空間６における現実のダイナミクスを抽象化した抽象モデル「Σ」を生成する。この場合、抽象モデル生成部３４は、対象のダイナミクスを連続ダイナミクスと離散ダイナミクスとが混在したハイブリッドシステムとみなし、ハイブリッドシステムに基づく抽象モデルΣを生成する。抽象モデルΣの生成方法については後述する。抽象モデル生成部３４は、生成した抽象モデルΣを、制御入力生成部３５へ供給する。
制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとを満たし、評価関数を最適化するタイムステップ毎のロボット５への制御入力を決定する。そして、制御入力生成部３５は、ロボット５へのタイムステップ毎の制御入力を示す情報（「制御入力情報Ｉｃ」とも呼ぶ。）を、サブタスクシーケンス生成部３６へ供給する。
サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、サブタスクシーケンスを生成し、サブタスクシーケンスを示す制御信号Ｓ３を、ロボット５へ供給する。
（５）ブロック毎の処理詳細
次に、図４に示す機能ブロックごとの処理の詳細について、具体例を用いて説明する。
（５－１）抽象状態設定部
抽象状態設定部３１は、計測装置７から供給される出力信号Ｓ４に基づき、作業空間６内の物体の計測結果（種類、位置等）を示す計測情報Ｉｍを生成すると共に、作業空間６内の抽象状態を設定する。この場合、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照し、作業空間６内において設定すべき抽象状態を認識する。なお、作業空間６内において設定すべき抽象状態は、目的タスクの種類によって異なる。よって、目的タスクの種類毎に設定すべき抽象状態が抽象状態指定情報Ｉ１に規定されている場合には、抽象状態設定部３１は、入力信号Ｓ１により指定された目的タスクに対応する抽象状態指定情報Ｉ１を参照し、設定すべき抽象状態を認識する。
図５は、作業空間６の俯瞰図を示す。図５に示す作業空間６には、２つのロボットアーム５２ａ、５２ｂと、４つの対象物６１ａ～６１ｄと、障害物６２とが存在している。
この場合、抽象状態設定部３１は、まず、計測装置７から受信した出力信号Ｓ４を、物体モデル情報Ｉ６等を用いて解析することで、対象物６１の状態、障害物６２の存在範囲、ゴール地点として設定される領域Ｇの存在範囲等を認識する。ここでは、抽象状態設定部３１は、対象物６１ａ～６１ｄの各々の中心の位置ベクトル「ｘ１」～「ｘ４」を、対象物６１ａ～６１ｄの位置として認識する。また、抽象状態設定部３１は、対象物を把持するロボットハンド５３ａの位置ベクトル「ｘｒ１」と、ロボットハンド５３ｂの位置ベクトル「ｘｒ２」とを、ロボットアーム５２ａとロボットアーム５２ｂの位置として認識する。同様に、抽象状態設定部３１は、対象物６１ａ～６１ｄの姿勢（図５の例では対象物が球状のため不要）等、障害物６２の存在範囲、領域Ｇの存在範囲等を認識する。なお、抽象状態設定部３１は、例えば、障害物６２を直方体とみなし、領域Ｇを矩形とみなす場合には、障害物６２及び領域Ｇの各頂点の位置ベクトルを認識する。そして、抽象状態設定部３１は、出力信号Ｓ４に基づくこれらの認識結果を、計測情報Ｉｍとして生成する。
また、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、目的タスクにおいて定義すべき抽象状態を決定する。この場合、抽象状態設定部３１は、計測情報Ｉｍに基づき、作業空間６内に存在する物体及び領域を認識し、当該物体及び領域に関する認識結果（例えば物体及び領域の種類毎の個数）と制約条件情報Ｉ２とに基づき、抽象状態を示す命題を定める。
図５の例では、抽象状態設定部３１は、計測情報Ｉｍにより特定される対象物６１ａ～６１ｄに対し、夫々識別ラベル「１」～「４」を付す。また、抽象状態設定部３１は、対象物「ｉ」（ｉ＝１～４）が最終的に載置されるべき目標地点である領域Ｇ（破線枠６３参照）内に存在するという命題「ｇｉ」を定義する。また、抽象状態設定部３１は、計測情報Ｉｍにより特定される障害物６２に対して識別ラベル「Ｏ」を付し、対象物ｉが障害物Ｏに干渉しているという命題「ｏｉ」を定義する。さらに、抽象状態設定部３１は、ロボットアーム５２同士が干渉するという命題「ｈ」を定義する。
このように、抽象状態設定部３１は、抽象状態指定情報Ｉ１を参照することで、定義すべき抽象状態を認識し、当該抽象状態を表す命題（上述の例ではｇｉ、ｏｉ、ｈ）を、対象物６１の数、ロボットアーム５２の数、障害物６２の数等に応じてそれぞれ定義する。そして、抽象状態設定部３１は、抽象状態を表す命題を示す情報を、抽象状態設定情報Ｉｓとして目標論理式生成部３２に供給する。
（５－２）目標論理式生成部
図６は、目標論理式生成部３２の機能的なブロック構成図である。図６に示すように、目標論理式生成部３２は、機能的には、入力受付部３２１と、論理式変換部３２２と、制約条件情報取得部３２３と、制約条件付加部３２４とを有する。
入力受付部３２１は、目的タスクの種類と、前記ロボットの作業対象となる対象物の最終状態と、を指定する入力信号Ｓ１の入力を受け付ける。また、入力受付部３２１は、これらの入力を受け付けるタスク入力画面の表示信号Ｓ２を、表示装置３に送信する。
論理式変換部３２２は、入力信号Ｓ１により指定された目的タスクを、時相論理を用いた論理式に変換する。なお、自然言語で表されたタスクを論理式に変換する方法は、種々の既存技術が存在する。例えば、論理式変換部３２２は、図５の例において、「最終的に対象物２が領域Ｇに存在する」という目的タスクが与えられたとする。この場合、論理式変換部３２２は、目的タスクを線形論理式（ＬＴＬ：Ｌｉｎｅａｒ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）の「eventually」に相当する演算子「◇」と、抽象状態設定部３１により定義された命題「ｇｉ」と用いて、論理式「◇ｇ２」を生成する。なお、論理式変換部３２２は、演算子「◇」以外の任意の時相論理の演算子（論理積「∧」、論理和「∨」、否定「￢」、論理包含「⇒」、always「□」、next「○」、until「Ｕ」等）を用いて論理式を表現してもよい。また、線形時相論理に限らず、ＭＴＬ（Ｍｅｔｒｉｃ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）やＳＴＬ（Ｓｉｇｎａｌ Ｔｅｍｐｏｒａｌ Ｌｏｇｉｃ）などの任意の時相論理を用いて論理式を表現してもよい。
制約条件情報取得部３２３は、アプリケーション情報記憶部４１から制約条件情報Ｉ２を取得する。なお、タスクの種類毎に制約条件情報Ｉ２がアプリケーション情報記憶部４１に記憶されている場合には、制約条件情報取得部３２３は、入力信号Ｓ１により指定された目的タスクの種類に対応する制約条件情報Ｉ２を、アプリケーション情報記憶部４１から取得する。
制約条件付加部３２４は、制約条件情報取得部３２３が取得した制約条件情報Ｉ２が示す制約条件を、論理式変換部３２２が生成した論理式に付加することで、目標論理式Ｌｔａｇを生成する。
例えば、ピックアンドプレイスに対応する制約条件として、「ロボットアーム５２同士が干渉しない」、「対象物ｉは障害物Ｏに干渉しない」の２つが制約条件情報Ｉ２に含まれていた場合、制約条件付加部３２４は、これらの制約条件を論理式に変換する。具体的には、制約条件付加部３２４は、図５の説明において抽象状態設定部３１により定義された命題「ｏｉ」及び命題「ｈ」を用いて、上述の２つの制約条件を、夫々以下の論理式に変換する。
□￢ｈ
∧ｉ□￢ｏｉ
よって、この場合、制約条件付加部３２４は、「最終的に対象物２が領域Ｇに存在する」という目的タスクに対応する論理式「◇ｇ２」に、これらの制約条件の論理式を付加することで、以下の目標論理式Ｌｔａｇを生成する。
（◇ｇ２）∧（□￢ｈ）∧（∧ｉ□￢ｏｉ）
なお、実際には、ピックアンドプレイスに対応する制約条件は、上述した２つに限られず、「ロボットアーム５２が障害物Ｏに干渉しない」、「複数のロボットアーム５２が同じ対象物を掴まない」、「対象物同士が接触しない」などの制約条件が存在する。このような制約条件についても同様に、制約条件情報Ｉ２に記憶され、目標論理式Ｌｔａｇに反映される。
次に、タスク入力画面での目的タスクに関する入力例について説明する。
図７は、タスク入力画面の第１表示例を示す。入力受付部３２１は、表示信号Ｓ２を生成し、当該表示信号Ｓ２を表示装置３に送信することで、表示装置３に図７に示すタスク入力画面を表示させている。図７に示すタスク入力画面は、主に、タスク種類指定欄１５と、画像表示欄１６と、見込み作業時間指定欄１７と、算出作業時間表示領域１８と、決定ボタン２０とを有する。
入力受付部３２１は、タスク種類指定欄１５において、目的タスクの種類を指定する入力を受け付ける。ここでは、一例として、タスク種類指定欄１５はプルダウンメニュー形式の入力欄であり、入力受付部３２１は、受付可能な目的タスクの種類の候補を、タスク種類指定欄１５において選択可能に一覧表示する。ここでは、タスク種類指定欄１５には、ピックアンドプレイスが目的タスクの種類として指定されている。
また、入力受付部３２１は、画像表示欄１６において、物体モデル情報Ｉ６に記憶された対象物６１のＣＡＤモデルなどを用い、作業空間６内の環境を再現したＣＡＤ画像を表示する。この場合、入力受付部３２１は、例えば、抽象状態設定部３１が生成した計測情報Ｉｍと、ＣＡＤデータを記録した物体モデル情報Ｉ６とに基づき、作業空間６内の環境を再現したＣＡＤ画像を生成する。
そして、入力受付部３２１は、画像表示欄１６上でのタッチパネル操作又はマウスによるドラッグアンドドロップ操作等に基づき、各対象物６１の最終的な位置を指定する入力を受け付ける。そし、入力受付部３２１は、タスク種類指定欄１５及び画像表示欄１６での入力を示す入力信号Ｓ１に基づき、目的タスクを認識する。
好適には、入力受付部３２１は、各対象物６１に対する最終位置の入力を画像表示欄１６において受け付けた場合、ロボット５が目的タスクを実行するアニメーションを画像表示欄１６上に表示してもよい。言い換えると、入力受付部３２１は、指定された最終位置に対象物６１がロボット５により運ばれるまでの作業空間６内の変化を示すアニメーションを、画像表示欄１６上に表示してもよい。この場合、入力受付部３２１は、例えば、目的タスクを変換した目標論理式Ｌｔａｇに基づき得られる制御入力情報Ｉｃ又はサブタスクシーケンスに基づき、タイムステップ毎のロボット５の動作及び各対象物６１の位置変化等を認識する。そして、入力受付部３２１は、この認識結果に基づき生成したアニメーションを、画像表示欄１６上に表示する。
なお、入力受付部３２１は、画像表示欄１６上において、作業空間６のＣＡＤ画像を表示する代わりに、作業空間６の俯瞰図を表す２次元画像を表示してもよい。この場合においても、入力受付部３２１は、画像表示欄１６上でのタッチパネル操作又はマウスによるドラッグアンドドロップ操作等に基づき、各対象物６１の最終位置の指定を好適に受け付けることが可能である。
また、入力受付部３２１は、見込み作業時間指定欄１７において、目的タスクの作業の見込み時間の入力を受け付ける。好適には、入力受付部３２１は、見込み作業時間指定欄１７で指定された見込み時間を、タイムステップ論理式生成部３３に供給するとよい。この場合、タイムステップ論理式生成部３３は、通知された見込み時間から、目標タイムステップ数を好適に決定することができる。
また、入力受付部３２１は、算出作業時間表示領域１８に、情報処理装置１が算出した目的タスクの作業の見込み時間を表示する。この場合、入力受付部３２１は、例えば、タスク入力画面において指定された目的タスクを変換した目標論理式Ｌｔａｇに基づき必要なタイムステップ数を算出することで、上述の見込み時間を表示する。なお、入力受付部３２１は、指定された目的タスクが達成できない場合、例えば当該目的タスクに基づく制御入力情報Ｉｃを制御入力生成部３５が生成できない場合、エラーが発生した旨を算出作業時間表示領域１８に表示する。これにより、入力受付部３２１は、タスク入力画面での対象物の位置などの再入力を促す。
そして、入力受付部３２１は、決定ボタン２０が選択されたことを検知した場合、タスク入力画面での入力内容を示す入力信号Ｓ１に基づき認識した目的タスクの情報を論理式変換部３２２に供給する。その後、情報処理装置１は、制御信号Ｓ３を生成し、生成した制御信号Ｓ３をロボット５に送信することで、ロボット５に目的タスクを実行させる。
図８は、タスク入力画面の第２表示例を示す。入力受付部３２１は、表示信号Ｓ２を表示装置３に送信することで、表示装置３に図８に示すタスク入力画面を表示させている。第２表示例では、入力受付部３２１は、作業空間６に関するＣＡＤ画像を表示する第１表示例の画像表示欄１６に代えて、対象物毎に最終位置を指定するためのテーブル欄１６Ａをタスク入力画面上に表示させている。
ここで、テーブル欄１６Ａは、「対象物」、「初期位置」及び「最終位置」の各項目を有する。項目「対象物」には、ラベル付けされた各対象物６１の識別ラベルが表示される。項目「初期位置」には、各対象物６１の作業空間６内での初期位置を示す座標値が表示される。この座標値は、作業空間６内において定義される座標値である。項目「最終位置」は、入力欄となっており、各対象物６１の入力が可能となっている。図８の例では、入力受付部３２１は、最終位置を示す座標値又は定義されている領域名（図８では「領域Ｇ」）を指定する入力を受け付ける。なお、入力受付部３２１は、項目「最終位置」の任意の入力欄が選択された場合に、作業空間６を模式的に示した画像（例えば画像表示欄１６で表示された画像）を表示し、当該画像内で対象の対象物６１の最終位置を指定する入力を受け付けてもよい。
（５－３）目標論理式生成部
タイムステップ論理式生成部３３は、目的タスクを完了するタイムステップ数（「目標タイムステップ数」とも呼ぶ。）を定め、目標タイムステップ数で目標論理式Ｌｔａｇを満たすような各タイムステップでの状態を表す命題の組み合わせを定める。この組み合わせは、通常複数存在するため、タイムステップ論理式生成部３３は、これらの組み合わせを論理和により結合した論理式を、タイムステップ論理式Ｌｔｓとして生成する。上述の組み合わせは、ロボット５に命令する動作のシーケンスを表す論理式の候補となり、以後では「候補φ」とも呼ぶ。
ここで、図５の説明において例示した「最終的に対象物２が領域Ｇに存在する」という目的タスクが設定された場合のタイムステップ論理式生成部３３の処理の具体例について説明する。
この場合、タイムステップ論理式生成部３３は、目標論理式Ｌｔａｇとして、「（◇ｇ２）∧（□￢ｈ）∧（∧ｉ□￢ｏｉ）」が目標論理式生成部３２から供給される。この場合、タイムステップ論理式生成部３３は、命題「ｇｉ」をタイムステップの概念を含むように拡張した命題「ｇｉ，ｋ」を用いる。ここで、命題「ｇｉ，ｋ」は、「タイムステップｋで対象物ｉが領域Ｇに存在する」という命題である。ここで、目標タイムステップ数を「３」とした場合、目標論理式Ｌｔａｇは、以下のように書き換えられる。
（◇ｇ２,３）∧（∧ｋ＝１,２,３□￢ｈｋ）∧（∧ｉ,ｋ＝１,２,３□￢ｏｉ）
また、◇ｇ２,３は、以下の式に示すように書き換えることが可能である。
Figure 0007276466000001
このとき、上述した目標論理式Ｌｔａｇは、以下に示す４つの候補「φ１」～「φ４」の論理和（φ１∨φ２∨φ３∨φ４）により表される。
Figure 0007276466000002
よって、タイムステップ論理式生成部３３は、４つの候補φ１～φ４の論理和をタイムステップ論理式Ｌｔｓとして定める。この場合、タイムステップ論理式Ｌｔｓは、４つの候補φ１～φ４の少なくともいずれかが真となる場合に真となる。
好適には、タイムステップ論理式生成部３３は、生成された候補に対し、動作限界情報Ｉ３を参照することで、実現可能性を判定し、実現不可と判定した候補を除外するとよい。例えば、タイムステップ論理式生成部３３は、動作限界情報Ｉ３に基づき、ロボットハンドが１タイムステップ当たりに移動可能な距離を認識する。また、タイムステップ論理式生成部３３は、計測情報Ｉｍが示す各対象物及びロボットハンドの位置ベクトルに基づき、移動対象となる対象物（対象物２）とロボットハンドとの距離を認識する。そして、タイムステップ論理式生成部３３は、これらの距離に基づき、実現可能性を判定する。
例えば、タイムステップ論理式生成部３３は、ロボットハンド５３ａ及びロボットハンド５３ｂがいずれも、対象物２との距離が１タイムステップ当たりの移動可能距離よりも長いと判定した場合、上述の候補φ３及び候補φ４は実現不可と判定する。この場合、タイムステップ論理式生成部３３は、候補φ３及び候補φ４をタイムステップ論理式Ｌｔｓから除外する。この場合、タイムステップ論理式Ｌｔｓは、候補φ１と候補φ２との論理和（φ１∨φ２）となる。
このように、タイムステップ論理式生成部３３は、動作限界情報Ｉ３を参照して実現不可能な候補をタイムステップ論理式Ｌｔｓから除外することで、後段の処理部の処理負荷を好適に低減させることができる。
次に、目標タイムステップ数の設定方法について補足説明する。
タイムステップ論理式生成部３３は、例えば、ユーザ入力により指定された作業の見込み時間（図７及び図８の見込み作業時間指定欄１７参照）に基づき、目標タイムステップ数を決定する。この場合、タイムステップ論理式生成部３３は、メモリ１２又は記憶装置４に記憶された、１タイムステップ当たりの時間幅の情報に基づき、上述の見込み時間から目標タイムステップ数を算出する。他の例では、タイムステップ論理式生成部３３は、目的タスクの種類毎に適した目標タイムステップ数を対応付けた情報を予めメモリ１２又は記憶装置４に記憶しておき、当該情報を参照することで、実行すべき目的タスクの種類に応じた目標タイムステップ数を決定する。
好適には、タイムステップ論理式生成部３３は、目標タイムステップ数を所定の初期値に設定する。そして、タイムステップ論理式生成部３３は、制御入力生成部３５が制御入力を決定できるタイムステップ論理式Ｌｔｓが生成されるまで、目標タイムステップ数を徐々に増加させる。この場合、タイムステップ論理式生成部３３は、設定した目標タイムステップ数により制御入力生成部３５が最適化処理を行った結果、最適解を導くことができなかった場合、目標タイムステップ数を所定数（１以上の整数）だけ加算する。
このとき、タイムステップ論理式生成部３３は、目標タイムステップ数の初期値を、ユーザが見込む目的タスクの作業時間に相当するタイムステップ数よりも小さい値（例えば、見込み作業時間指定欄１７において指定された見込み時間の半分等）に設定するとよい。これにより、タイムステップ論理式生成部３３は、不必要に大きな目標タイムステップ数を設定することを好適に抑制する。
上述の目標タイムステップ数の設定方法による効果について補足説明する。一般に、目標タイムステップ数が大きいほど、制御入力生成部３５による最適化処理において最適解が存在する可能性が高くなる一方で、最低化処理等の処理負荷や目的タスク達成に要するロボット５の所要時間が長くなる。以上を勘案し、タイムステップ論理式生成部３３は、目標タイムステップ数の初期値を小さい値とし、制御入力生成部３５の最適化処理における解が存在するまで徐々に目標タイムステップ数を大きくする。これにより、タイムステップ論理式生成部３３は、制御入力生成部３５の最適化処理における解が存在する範囲において可能な限り少ない目標タイムステップ数を設定することができる。従って、この場合、最適化処理における処理負荷の低減、及び、目的タスク達成に要するロボット５の所要時間の短縮を実現することができる。
（５－４）抽象モデル生成部
抽象モデル生成部３４は、計測情報Ｉｍと、抽象モデル情報Ｉ５とに基づき、抽象モデルΣを生成する。ここで、抽象モデル情報Ｉ５には、目的タスクの種類毎に、抽象モデルΣの生成に必要な情報が記録されている。例えば、目的タスクがピックアンドプレイスの場合には、対象物の位置や数、対象物を置く領域の位置、ロボット５の台数（又はロボットアーム５２の数）等を特定しない汎用的な形式の抽象モデルが抽象モデル情報Ｉ５に記録されている。そして、抽象モデル生成部３４は、抽象モデル情報Ｉ５に記録された汎用的な形式の抽象モデルに対し、計測情報Ｉｍが示す対象物の位置や数、対象物を置く領域の位置、ロボット５の台数等を反映することで、抽象モデルΣを生成する。
ここで、ロボット５による目的タスクの作業時においては、作業空間６内のダイナミクスが頻繁に切り替わる。例えば、ピックアンドプレイスでは、ロボットアーム５２が対象物ｉを掴んでいる場合には、当該対象物ｉは動くが、ロボットアーム５２が対象物ｉを掴んでない場合には、当該対象物ｉは動かない。
以上を勘案し、本実施形態においては、ピックアンドプレイスの場合、対象物ｉを掴むという動作を論理変数「δｉ」により抽象表現する。この場合、例えば、抽象モデル生成部３４は、図５に示す作業空間６に対して設定すべき抽象モデルΣを、以下の式（１）により定めることができる。
Figure 0007276466000003
ここで、「ｕｊ」は、ロボットハンドｊ（「ｊ＝１」はロボットハンド５３ａ、「ｊ＝２」はロボットハンド５３ｂ）を制御するための制御入力を示し、「Ｉ」は単位行列を示す。なお、制御入力は、ここでは、一例として速度を想定しているが、加速度であってもよい。また、「δｊ,ｉ」は、ロボットハンドｊが対象物ｉを掴んだ場合に「１」となり、その他の場合に「０」となる論理変数である。また、「ｘｒ１」、「ｘｒ２」は、ロボットハンドｊの位置ベクトル、「ｘ１」～「ｘ４」は、対象物ｉの位置ベクトルを示す。また、「ｈ（ｘ）」は、対象物を掴める程度に対象物の近傍にロボットハンドが存在する場合に「ｈ（ｘ）≧０」となる変数であり、論理変数δとの間で以下の関係を満たす。
δ＝１ ⇔ ｈ（ｘ）≧０
ここで、式（１）は、タイムステップｋでの物体の状態とタイムステップｋ＋１での物体の状態との関係を示した差分方程式である。そして、上記の式（１）では、把持の状態が離散値である論理変数により表わされ、物体の移動は連続値により表わされているため、式（１）はハイブリッドシステムを示している。
式（１）では、ロボット５全体の詳細なダイナミクスではなく、対象物を実際に把持するロボット５の手先であるロボットハンドのダイナミクスのみを考慮している。これにより、制御入力生成部３５により最適化処理の計算量を好適に削減することができる。
また、抽象モデル情報Ｉ５には、ダイナミクスが切り替わる動作（ピックアンドプレイスの場合には対象物ｉを掴むという動作）に対応する論理変数及び計測情報Ｉｍから式（１）の差分方程式を導出するための情報が記録されている。よって、抽象モデル生成部３４は、対象物の位置や数、対象物を置く領域（図５では領域Ｇ）、ロボット５の台数等が変動する場合であっても、抽象モデル情報Ｉ５と計測情報Ｉｍとを組み合わせることで、対象の作業空間６の環境に即した抽象モデルΣを決定することができる。
なお、抽象モデル生成部３４は、式（１）に示されるモデルに代えて、混合論理動的（ＭＬＤ：Ｍｉｘｅｄ Ｌｏｇｉｃａｌ Ｄｙｎａｍｉｃａｌ）システムまたはペトリネットやオートマトンなどを組み合わせたハイブリッドシステムのモデルを生成してもよい。
（５－５）制御入力生成部
制御入力生成部３５は、タイムステップ論理式生成部３３から供給されるタイムステップ論理式Ｌｔｓと、抽象モデル生成部３４から供給される抽象モデルΣとに基づき、最適となるタイムステップ毎のロボット５に対するタイムステップ毎の制御入力を決定する。この場合、制御入力生成部３５は、目的タスクに対する評価関数を定義し、抽象モデルΣ及びタイムステップ論理式Ｌｔｓを制約条件として評価関数を最小化する最適化問題を解く。評価関数は、例えば、目的タスクの種類毎に予め定められ、メモリ１２又は記憶装置４に記憶されている。
例えば、ピックアンドプレイスを目的タスクとした場合、制御入力生成部３５は、運ぶ対象となる対象物と当該対象物を運ぶ目標地点との距離「ｄｋ」と制御入力「ｕｋ」とが最小となる（即ちロボット５が費やすエネルギーを最小化する）ように評価関数を定める。上述の距離ｄｋは、「最終的に対象物２が領域Ｇに存在する」という目的タスクの場合には、対象物２と領域Ｇとの距離に相当する。
例えば、制御入力生成部３５は、全タイムステップにおける距離ｄｋの２乗と制御入力ｕｋの２乗との和を評価関数として定め、抽象モデルΣ及びタイムステップ論理式Ｌｔｓ（即ち候補φｉの論理和）を制約条件とする以下の式（２）に示す制約付き混合整数最適化問題を解く。
Figure 0007276466000004
ここで、「Ｔ」は、最適化の対象となるタイムステップ数であり、目標タイムステップ数であってもよく、後述するように、目標タイムステップ数よりも小さい所定数であってもよい。この場合、好適には、制御入力生成部３５は、論理変数を連続値に近似する（連続緩和問題とする）。これにより、制御入力生成部３５は、計算量を好適に低減することができる。なお、線形論理式（ＬＴＬ）に代えてＳＴＬを採用した場合には、非線形最適化問題として記述することが可能である。
また、制御入力生成部３５は、目標タイムステップ数が長い場合（例えば所定の閾値より大きい場合）、最適化に用いる式（２）のタイムステップ数Ｔを、目標タイムステップ数より小さい値（例えば上述の閾値）に設定してもよい。この場合、制御入力生成部３５は、例えば、所定のタイムステップ数が経過する毎に、式（２）に基づく最適化問題を解くことで、逐次的に制御入力ｕｋを決定する。
好適には、制御入力生成部３５は、目的タスクの達成状態に対する中間状態に相当する所定のイベント毎に、式（２）に基づく最適化問題を解き、使用すべき制御入力ｕｋを決定してもよい。この場合、制御入力生成部３５は、次のイベント発生までのタイムステップ数を、式（２）におけるタイムステップ数Ｔに設定する。上述のイベントは、例えば、作業空間６におけるダイナミクスが切り替わる事象である。例えば、ピックアンドプレイスを目的タスクとした場合には、ロボット５が対象物を掴む、ロボット５が運ぶべき複数の対象物のうちの１つの対象物を目的地点へ運び終える、などがイベントとして定められる。イベントは、例えば、目的タスクの種類毎に予め定められており、目的タスクの種類毎にイベントを特定する情報が記憶装置４に記憶されている。イベント毎に制御入力ｕｋを決定する処理の詳細については、図１１のフローチャートにおいて後述する。
この態様によっても、式（２）におけるタイムステップ数Ｔを小さくして最適化問題の計算量等を好適に低減することができる。
（５－６）サブタスクシーケンス生成部
サブタスクシーケンス生成部３６は、制御入力生成部３５から供給される制御入力情報Ｉｃと、アプリケーション情報記憶部４１が記憶するサブタスク情報Ｉ４とに基づき、サブタスクシーケンスを生成する。この場合、サブタスクシーケンス生成部３６は、サブタスク情報Ｉ４を参照することで、ロボット５が受け付け可能なサブタスクを認識し、制御入力情報Ｉｃが示すタイムステップ毎の制御入力をサブタスクに変換する。
例えば、サブタスク情報Ｉ４には、ピックアンドプレイスを目的タスクとする場合にロボット５が受け付け可能なサブタスクとして、ロボットハンドの移動（リーチング）とロボットハンドの把持（グラスピング）の２つのサブタスクを示す関数が定義されている。この場合、リーチングを表す関数「Ｍｏｖｅ」は、例えば、当該関数実行前のロボット５の初期状態、当該関数実行後のロボット５の最終状態、及び当該関数の実行に要する所要時間をそれぞれ引数とする関数である。また、グラスピングを表す関数「Ｇｒａｓｐ」は、例えば、当該関数実行前のロボット５の状態、及び当該関数実行前の把持対象の対象物の状態, 論理変数δをそれぞれ引数とする関数である。ここで、関数「Ｇｒａｓｐ」は、論理変数δが「１」のときに掴む動作を行うこと表し、論理変数δが「０」のときに放す動作を行うこと表す。この場合、サブタスクシーケンス生成部３６は、関数「Ｍｏｖｅ」を、制御入力情報Ｉｃが示すタイムステップ毎の制御入力により定まるロボットハンドの軌道に基づき決定し、関数「Ｇｒａｓｐ」を、制御入力情報Ｉｃが示すタイムステップ毎の論理変数δの遷移に基づき決定する。
そして、サブタスクシーケンス生成部３６は、関数「Ｍｏｖｅ」と関数「Ｇｒａｓｐ」とにより構成されるサブタスクシーケンスを生成し、当該サブタスクシーケンスを示す制御信号Ｓ３をロボット５に供給する。例えば、目的タスクが「最終的に対象物２が領域Ｇに存在する」の場合、サブタスクシーケンス生成部３６は、対象物２に最も近いロボットハンドに対し、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」、関数「Ｍｏｖｅ」、関数「Ｇｒａｓｐ」のサブタスクシーケンスを生成する。この場合、対象物２に最も近いロボットハンドは、関数「Ｍｏｖｅ」により対象物２の位置まで移動し、関数「Ｇｒａｓｐ」により対象物２を把持し、関数「Ｍｏｖｅ」により領域Ｇまで移動し、関数「Ｇｒａｓｐ」により対象物２を領域Ｇに載置する。
（６）処理フロー
図９は、第１実施形態において情報処理装置１が実行するロボット制御処理の概要を示すフローチャートの一例である。
まず、情報処理装置１の抽象状態設定部３１は、計測装置７から供給される出力信号Ｓ４に基づき、作業空間６内の物体の計測結果を示す計測情報Ｉｍの生成及び抽象状態の設定を行う（ステップＳ１１）。次に、目標論理式生成部３２は、入力信号Ｓ１等により指定された目的タスクから、目標論理式Ｌｔａｇを決定する（ステップＳ１２）。この場合、目標論理式生成部３２は、制約条件情報Ｉ２を参照することで、目的タスクの実行における制約条件を、目標論理式Ｌｔａｇに付加する。なお、ステップＳ１２の処理は、ステップＳ１１よりも前に実行されてもよい。
そして、タイムステップ論理式生成部３３は、目標論理式Ｌｔａｇを、各タイムステップでの状態を表すタイムステップ論理式Ｌｔｓに変換する（ステップＳ１３）。この場合、タイムステップ論理式生成部３３は、目標タイムステップ数を定め、目標タイムステップ数で目標論理式Ｌｔａｇを満たすような各タイムステップでの状態を表す候補φの論理和を、タイムステップ論理式Ｌｔｓとして生成する。この場合、好適には、タイムステップ論理式生成部３３は、動作限界情報Ｉ３を参照することで、各候補φの実行可能性を判定し、実行不可能と判定される候補φを、タイムステップ論理式Ｌｔｓから除外する。
次に、抽象モデル生成部３４は、ステップＳ１１で生成した計測情報Ｉｍと、抽象モデル情報Ｉ５とに基づき、目的タスクに適した抽象モデルΣを決定する（ステップＳ１４）。そして、制御入力生成部３５は、抽象モデルΣ及びタイムステップ論理式Ｌｔｓを満たし、評価関数を最適化する制御入力を決定する（ステップＳ１５）。そして、サブタスクシーケンス生成部３６は、制御入力生成部３５が決定した制御入力からサブタスクシーケンスを決定し、サブタスクシーケンスを示す制御信号Ｓ３をロボット５へ出力する（ステップＳ１６）。
図１０は、図９のステップＳ１３の処理の詳細を表すフローチャートの一例である。
まず、タイムステップ論理式生成部３３は、目標タイムステップ数を初期値に設定する（ステップＳ２１）。この初期値は、ユーザ入力に基づき定められてもよく、予めメモリ１２又は記憶装置４に記憶された値であってもよい。初期値は、目的タスクの実行に必要と見込まれるタイムステップ数よりも小さい値（例えばユーザが指定したタイムステップ数の半分等）に設定されることが好ましい。
次に、タイムステップ論理式生成部３３は、ステップＳ２１で設定した目標タイムステップ数で目標論理式Ｌｔａｇを満たすようなタイムステップ毎の状態を表す論理式の候補φを決定する（ステップＳ２２）。そして、タイムステップ論理式生成部３３は、動作限界情報Ｉ３を参照することで、各候補φの実行可能性を判定し、実行不可能と判定される候補φを除外する（ステップＳ２３）。
次に、タイムステップ論理式生成部３３は、図９のステップＳ１５での最適化の解が存在するか否か判定する（ステップＳ２４）。この場合、タイムステップ論理式生成部３３は、ステップＳ１４で決定される抽象モデルΣと、実行可能な候補φのいずれかとを満たし、評価関数を最適化するロボット５への制御入力を制御入力生成部３５が導出できるか否か判定する。そして、タイムステップ論理式生成部３３は、ステップＳ１５での最適化の解が存在する場合（ステップＳ２４；Ｙｅｓ）、候補φを論理和により結合したタイムステップ論理式Ｌｔｓを、抽象モデル生成部３４に出力する（ステップＳ２５）。
一方、ステップＳ１５での最適化の解が存在しない場合（ステップＳ２４；Ｎｏ）、タイムステップ論理式生成部３３は、現在設定されている目標タイムステップ数では目的タスクを実行できないと判定する。よって、この場合、タイムステップ論理式生成部３３は、目標タイムステップ数を所定値（１以上の整数）だけ加算する（ステップＳ２６）。そして、タイムステップ論理式生成部３３は、再びステップＳ２２～ステップＳ２４の処理を実行する。
図１０に示すフローチャートの処理によれば、タイムステップ論理式生成部３３は、目標タイムステップ数が適正値になるように好適に目標タイムステップ数を設定することができる。
図１１は、図９のフローチャートが示すロボット制御処理の変形例であって、イベントの発生毎にサブタスクシーケンスを決定するロボット制御処理を示すフローチャートの一例である。
抽象状態設定部３１及び目標論理式生成部３２は、夫々、ステップＳ３１及びステップＳ３２において、それぞれ図９のステップＳ１１及びステップＳ１２と同一処理を行う。
タイムステップ論理式生成部３３は、目標論理式Ｌｔａｇを、次のイベント発生までのタイムステップ論理式Ｌｔｓに変換する（ステップＳ３３）。この場合、タイムステップ論理式生成部３３は、次のイベント発生までに要する目標タイムステップ数を決定し、目標タイムステップ数で目標論理式Ｌｔａｇを満たすような各タイムステップでの状態を表す候補φの論理和を、タイムステップ論理式Ｌｔｓとして生成する。この場合の目標タイムステップ数は、例えば図１０に示した目標タイムステップ数の決定方法に基づき決定されてもよく、予め記憶装置４等に記憶された適正値に設定されてもよい。
次に、抽象モデル生成部３４は、ステップＳ３１で生成された計測情報Ｉｍと、抽象モデル情報Ｉ５とに基づき、目的タスクに適した抽象モデルΣを決定する（ステップＳ３４）。なお、ステップＳ３４の処理は、ロボット５の動作中に対象物の個数や種類が変化しない場合には、１回限り実行すればよく、イベント発生毎に実行する必要はない。よって、抽象モデル生成部３４は、ステップＳ３４を実行済みの場合には、前回のステップＳ３４で得られた抽象モデルΣを出力してもよい。
次に、制御入力生成部３５は、抽象モデルΣ及びタイムステップ論理式Ｌｔｓを満たし、評価関数を最適化する制御入力を決定する（ステップＳ３５）。この場合、制御入力生成部３５は、次のイベント発生までに必要なタイムステップ数分の制御入力を決定する。そして、サブタスクシーケンス生成部３６は、制御入力生成部３５が決定した制御入力から、サブタスクシーケンスを決定し、サブタスクシーケンスを示す制御信号Ｓ３をロボット５へ出力する（ステップＳ３６）。
次に、情報処理装置１は、目的タスクが完了したか否か判定する（ステップＳ３７）。情報処理装置１は、例えば、計測装置７から供給される出力信号Ｓ４に基づき対象物等の状態を認識することで、目的タスクの完了の有無を判定する。他の例では、情報処理装置１は、次のイベントが目的タスクの完了である場合には、ロボット５からサブタスクシーケンスの正常終了の通知を受けた場合に、目的タスクが完了したと判定する。そして、目的タスクが完了した場合（ステップＳ３７；Ｙｅｓ）、情報処理装置１は、フローチャートの処理を終了する。
一方、目的タスクが完了していない場合（ステップＳ３７；Ｎｏ）、情報処理装置１は、次のイベントが発生したか否か判定する（ステップＳ３８）。この場合、情報処理装置１は、例えば、計測装置７から供給される出力信号Ｓ４に基づき対象物等の状態を認識することで、イベント発生の有無を判定する。他の例では、情報処理装置１は、次のイベント発生までのサブタスクシーケンスの正常終了の通知をロボット５から受けた場合に、イベントが発生したと判定する。そして、情報処理装置１は、イベントが発生した場合（ステップＳ３８；Ｙｅｓ）、ステップＳ３３へ処理を戻す。この場合、情報処理装置１は、次のイベント発生に必要なサブタスクシーケンスの生成処理を、ステップＳ３３～ステップＳ３６において再び実行する。一方、イベントが発生していない場合（ステップＳ３８；Ｎｏ）、情報処理装置１は、ステップＳ３７へ処理を戻す。
＜第２実施形態＞
図１２は、第２実施形態における情報処理装置１Ａの概略構成図である。図１２に示すように、情報処理装置１Ａは、主に、論理式変換部３２２Ａと、制約条件情報取得部３２３Ａと、制約条件付加部３２４Ａとを有する。
論理式変換部３２２Ａは、ロボットに作業させるタスクである目的タスクを時相論理に基づく論理式に変換する。制約条件情報取得部３２３Ａは、目的タスクの実行において満たすべき制約条件を示す制約条件情報Ｉ２を取得する。制約条件付加部３２４Ａは、論理式変換部３２２Ａが生成した論理式に上記制約条件を表す命題を付加した論理式である目標論理式Ｌｔａｇを生成する。
第２実施形態の構成によれば、情報処理装置１Ａは、ロボットに作業させる目的タスクが与えられた場合に、目的タスクの実行において満たすべき制約条件を明示した目標論理式Ｌｔａｇを好適に生成することができる。
＜第３実施形態＞
図１３は、第３実施形態における情報処理装置１Ｂの概略構成図である。図１３に示すように、情報処理装置１Ｂは、主に、抽象モデル情報取得部３４Ｘと、計測情報取得部３４Ｙと、抽象モデル生成部３４Ｚと、を有する。
抽象モデル情報取得部３４Ｘは、目的タスクを実行するロボット５の作業空間６におけるダイナミクスを抽象化した抽象モデルに関する抽象モデル情報Ｉ５を取得する。計測情報取得部３４Ｙは、作業空間６における計測結果を示す計測情報Ｉｍを取得する。抽象モデル生成部３４Ｚは、抽象モデル情報Ｉ５と、計測情報Ｉｍとに基づき、抽象モデルΣを生成する。
ここで、抽象モデル情報取得部３４Ｘと、計測情報取得部３４Ｙと、抽象モデル生成部３４Ｚとは、例えば、第１実施形態における抽象モデル生成部３４により実現される。
第３実施形態の構成によれば、情報処理装置１Ｂは、ロボットに作業させる目的タスクが与えられた場合に、ロボットの実際の動的モデルを簡略的に表した抽象モデルΣを好適に生成することができる。
その他、上記の各実施形態の一部又は全部は、以下の付記のようにも記載され得るが以下には限られない。
［付記１］
タスクを実行するロボットの作業空間におけるダイナミクスを抽象化した抽象モデルに関する抽象モデル情報を取得する抽象モデル情報取得部と、
前記作業空間における計測結果を示す計測情報を取得する計測情報取得部と、
前記抽象モデル情報と、前記計測情報とに基づき、前記抽象モデルを生成する抽象モデル生成部と、
を有する情報処理装置。
［付記２］
前記抽象モデル生成部は、前記計測情報に含まれる、前記ロボットに関する情報、及び、前記ロボットによる作業の対象となる対象物に関する情報に基づき、前記抽象モデルを生成する、付記１に記載の情報処理装置。
［付記３］
前記抽象モデル生成部は、前記ロボットがピックアンドプレイスに関するタスクを実行する場合、対象物を前記ロボットが掴む動作を論理変数により抽象表現したハイブリッドシステムのモデルを、前記抽象モデルとして生成する、付記１または２に記載の情報処理装置。
［付記４］
前記抽象モデルと、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式と、に基づき、前記ロボットを制御するためのタイムステップ毎の制御入力を決定する制御入力生成部をさらに有する、付記１～３のいずれか一項に記載の情報処理装置。
［付記５］
前記制御入力生成部は、前記タスクに応じた評価関数を決定し、
前記制御入力生成部は、前記抽象モデルと、前記タイムステップ論理式とを満たし、前記評価関数を最適化する前記制御入力を決定する、付記４に記載の情報処理装置。
［付記６］
前記制御入力生成部は、前記タスクを完了するまでに必要なイベントが発生するまでに要するタイムステップ数分の前記制御入力を生成し、前記イベントが発生する毎に当該制御入力の生成を行う、付記４または５に記載の情報処理装置。
［付記７］
前記タスクの完了に必要なタイムステップ数又は前記タスクを完了するまでに必要なイベントが発生するまでに要するタイムステップ数により表わされた前記タイムステップ論理式を生成するタイムステップ論理式生成部をさらに有する、付記４～６のいずれか一項に記載の情報処理装置。
［付記８］
前記タイムステップ論理式生成部は、前記タイムステップ数を所定の初期値に設定し、前記制御入力生成部が前記制御入力を決定できる前記タイムステップ論理式が生成されるまで、前記タイムステップ数を増加させる、付記７に記載の情報処理装置。
［付記９］
前記タイムステップ論理式生成部は、前記初期値を、ユーザが見込む前記タスクの作業時間に相当するタイムステップ数よりも小さい値に設定する、付記８に記載の情報処理装置。
［付記１０］
前記タイムステップ毎の制御入力から、前記ロボットが受け付け可能な単位のタスクであるサブタスクのシーケンスを生成するサブタスクシーケンス生成部をさらに有する、付記４～９のいずれか一項に記載の情報処理装置。
［付記１１］
タスクを実行するロボットの作業空間におけるダイナミクスを抽象化した抽象モデルに関する抽象モデル情報を取得し、
前記作業空間における計測結果を示す計測情報を取得し、
前記抽象モデル情報と、前記計測情報とに基づき、前記抽象モデルを生成する、
制御方法。
［付記１２］
タスクを実行するロボットの作業空間におけるダイナミクスを抽象化した抽象モデルに関する抽象モデル情報を取得する抽象モデル情報取得部と、
前記作業空間における計測結果を示す計測情報を取得する計測情報取得部と、
前記抽象モデル情報と、前記計測情報とに基づき、前記抽象モデルを生成する抽象モデル生成部
としてコンピュータを機能させるプログラムが格納された記憶媒体。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
１、１Ａ、１Ｂ 情報処理装置
２ 入力装置
３ 表示装置
４ 記憶装置
５ ロボット
６ 作業空間
７ 計測装置
４１ アプリケーション情報記憶部
１００ ロボット制御システム

Claims (10)

  1. タスクを実行するロボットの作業空間における現実のダイナミクスをハイブリッドシステムにより抽象化した抽象モデルと、前記ハイブリッドシステムにおけるダイナミクスの切り替わりの条件と、を少なくとも示す抽象モデル情報を取得する抽象モデル情報取得手段と、
    前記作業空間における計測結果を示す計測情報を取得する計測情報取得手段と、
    前記抽象モデル情報と、前記計測情報とに基づき、前記抽象モデルを生成する抽象モデル生成手段と、
    を有する情報処理装置。
  2. 前記抽象モデル生成手段は、前記計測情報に含まれる、前記ロボットに関する情報、及び、前記ロボットによる作業の対象となる対象物に関する情報に基づき、前記抽象モデルを生成する、請求項１に記載の情報処理装置。
  3. 前記抽象モデル生成手段は、前記ロボットがピックアンドプレイスに関するタスクを実行する場合、対象物を前記ロボットが掴む動作を論理変数により抽象表現した前記ハイブリッドシステムのモデルを、前記抽象モデルとして生成する、請求項１または２に記載の情報処理装置。
  4. タスクを実行するロボットの作業空間におけるダイナミクスを抽象化した抽象モデルに関する抽象モデル情報を取得する抽象モデル情報取得手段と、
    前記作業空間における計測結果を示す計測情報を取得する計測情報取得手段と、
    前記抽象モデル情報と、前記計測情報とに基づき、前記抽象モデルを生成する抽象モデル生成手段と、
    前記抽象モデルと、前記タスクを実行するためタイムステップ毎の状態を表す論理式であるタイムステップ論理式と、に基づき、前記ロボットを制御するためのタイムステップ毎の制御入力を決定する制御入力生成手段と、を有する情報処理装置。
  5. 前記制御入力生成手段は、前記タスクに応じた評価関数を決定し、
    前記制御入力生成手段は、前記抽象モデルと、前記タイムステップ論理式とを満たし、前記評価関数を最適化する前記制御入力を決定する、請求項４に記載の情報処理装置。
  6. 前記制御入力生成手段は、前記タスクを完了するまでに必要なイベントが発生するまでに要するタイムステップ数分の前記制御入力を生成し、前記イベントが発生する毎に当該制御入力の生成を行う、請求項４または５に記載の情報処理装置。
  7. 前記タスクの完了に必要なタイムステップ数又は前記タスクを完了するまでに必要なイベントが発生するまでに要するタイムステップ数により表わされた前記タイムステップ論理式を生成するタイムステップ論理式生成手段をさらに有する、請求項４～６のいずれか一項に記載の情報処理装置。
  8. 前記タイムステップ論理式生成手段は、前記タイムステップ数を所定の初期値に設定し、前記制御入力生成手段が前記制御入力を決定できる前記タイムステップ論理式が生成されるまで、前記タイムステップ数を増加させる、請求項７に記載の情報処理装置。
  9. 情報処理装置が、
    タスクを実行するロボットの作業空間における現実のダイナミクスをハイブリッドシステムにより抽象化した抽象モデルと、前記ハイブリッドシステムにおけるダイナミクスの切り替わりの条件と、を少なくとも示す抽象モデル情報を取得し、
    前記作業空間における計測結果を示す計測情報を取得し、
    前記抽象モデル情報と、前記計測情報とに基づき、前記抽象モデルを生成する、
    制御方法。
  10. タスクを実行するロボットの作業空間における現実のダイナミクスをハイブリッドシステムにより抽象化した抽象モデルと、前記ハイブリッドシステムにおけるダイナミクスの切り替わりの条件と、を少なくとも示す抽象モデル情報を取得する抽象モデル情報取得手段と、
    前記作業空間における計測結果を示す計測情報を取得する計測情報取得手段と、
    前記抽象モデル情報と、前記計測情報とに基づき、前記抽象モデルを生成する抽象モデル生成手段
    としてコンピュータを機能させるプログラム。
JP2021541933A 2019-08-30 2019-08-30 情報処理装置、制御方法及びプログラム Active JP7276466B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/034184 WO2021038844A1 (ja) 2019-08-30 2019-08-30 情報処理装置、制御方法及び記憶媒体

Publications (3)

Publication Number Publication Date
JPWO2021038844A1 JPWO2021038844A1 (ja) 2021-03-04
JPWO2021038844A5 JPWO2021038844A5 (ja) 2022-04-20
JP7276466B2 true JP7276466B2 (ja) 2023-05-18

Family

ID=74685387

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021541933A Active JP7276466B2 (ja) 2019-08-30 2019-08-30 情報処理装置、制御方法及びプログラム

Country Status (4)

Country Link
US (1) US20220299949A1 (ja)
EP (1) EP4023397A4 (ja)
JP (1) JP7276466B2 (ja)
WO (1) WO2021038844A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009536A (ja) 2006-06-27 2008-01-17 Toshiba Corp シミュレーション装置およびシミュレーション方法並びにシミュレーションプログラム
JP2012125871A (ja) 2010-12-15 2012-07-05 Mitsubishi Electric Corp ロボット制御設定支援装置
JP2014240110A (ja) 2013-06-12 2014-12-25 三菱電機株式会社 ビンピッキング性能評価装置及び方法
JP2016528483A (ja) 2013-06-11 2016-09-15 ソマティス センサー ソリューションズ エルエルシー 物体を検知するシステム及び方法
JP2018167361A (ja) 2017-03-30 2018-11-01 株式会社安川電機 ロボット動作指令生成方法、ロボット動作指令生成装置及びコンピュータプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6553568B2 (ja) 2016-09-28 2019-07-31 ファナック株式会社 複数個の物品をひとつずつ最適な経路で取り出す搬送装置
JP6822929B2 (ja) * 2017-09-19 2021-01-27 株式会社東芝 情報処理装置、画像認識方法および画像認識プログラム
CN107671857B (zh) * 2017-10-11 2021-04-02 上海交通大学 用于服务机器人操作演示与算法验证的三维仿真平台

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008009536A (ja) 2006-06-27 2008-01-17 Toshiba Corp シミュレーション装置およびシミュレーション方法並びにシミュレーションプログラム
JP2012125871A (ja) 2010-12-15 2012-07-05 Mitsubishi Electric Corp ロボット制御設定支援装置
JP2016528483A (ja) 2013-06-11 2016-09-15 ソマティス センサー ソリューションズ エルエルシー 物体を検知するシステム及び方法
JP2014240110A (ja) 2013-06-12 2014-12-25 三菱電機株式会社 ビンピッキング性能評価装置及び方法
JP2018167361A (ja) 2017-03-30 2018-11-01 株式会社安川電機 ロボット動作指令生成方法、ロボット動作指令生成装置及びコンピュータプログラム

Also Published As

Publication number Publication date
WO2021038844A1 (ja) 2021-03-04
JPWO2021038844A1 (ja) 2021-03-04
EP4023397A4 (en) 2022-09-14
US20220299949A1 (en) 2022-09-22
EP4023397A1 (en) 2022-07-06

Similar Documents

Publication Publication Date Title
JP7264253B2 (ja) 情報処理装置、制御方法及びプログラム
US9135392B2 (en) Semi-autonomous digital human posturing
WO2022074823A1 (ja) 制御装置、制御方法及び記憶媒体
JP7452619B2 (ja) 制御装置、制御方法及びプログラム
JP7276466B2 (ja) 情報処理装置、制御方法及びプログラム
JP7448024B2 (ja) 制御装置、制御方法及びプログラム
JP7416197B2 (ja) 制御装置、制御方法及びプログラム
JP7456552B2 (ja) 情報処理装置、情報処理方法及びプログラム
WO2022049756A1 (ja) 判定装置、判定方法及び記憶媒体
JP7364032B2 (ja) 制御装置、制御方法及びプログラム
JP7468694B2 (ja) 情報収集装置、情報収集方法及びプログラム
JP7323045B2 (ja) 制御装置、制御方法及びプログラム
WO2022224449A1 (ja) 制御装置、制御方法及び記憶媒体
WO2022224447A1 (ja) 制御装置、制御方法及び記憶媒体
WO2022244060A1 (ja) 動作計画装置、動作計画方法及び記憶媒体
WO2022074827A1 (ja) 命題設定装置、命題設定方法及び記憶媒体
JP7416199B2 (ja) 制御装置、制御方法及びプログラム
Nambiar et al. Automation of unstructured production environment by applying reinforcement learning
WO2021171352A1 (ja) 制御装置、制御方法及び記録媒体
US20240131711A1 (en) Control device, control method, and storage medium
JP7435815B2 (ja) 動作指令生成装置、動作指令生成方法及びプログラム
JP7435814B2 (ja) 時相論理式生成装置、時相論理式生成方法及びプログラム
Le et al. Graphical simulator for teaching robot with parallel wire type teaching device
US20220366660A1 (en) Method and system for predicting a collision free posture of a kinematic system
Luh et al. Animated simulation of human-robot coordination with alternative voice command

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220203

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221109

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230417

R151 Written notification of patent or utility model registration

Ref document number: 7276466

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151