JP7349586B1 - ロボット制御システム、ロボット制御方法、およびロボット制御プログラム - Google Patents

Abstract

ロボット制御システムは、少なくとも一つの対象物が配置される指定領域の現在の状態を現在領域状態として検出する領域検出部と、現在領域状態に基づいて、指定領域に追加する追加対象物に関する追加情報を生成する生成部と、追加情報に基づいて、追加対象物を指定領域内に配置させるようにロボットを制御するロボット制御部とを備える。

Description

本開示の一側面は、ロボット制御システム、ロボット制御方法、およびロボット制御プログラムに関する。

ばら積みされた対象物の集合から特定の対象物をピッキングするロボットシステムが知られている。

特許文献１には、把持機構を有するロボットと、ロボットを制御するコントローラと、ワークの計測データを出力するセンサと、把持位置姿勢についての把持の安定性を評価する把持評価モデルへ計測データが入力されることによって、把持機構に取らせる把持位置姿勢を決定し、決定された把持位置姿勢の情報をコントローラへ出力する計算機とを備える装置が記載されている。

特許文献２には、複数のワークが設置された設置スペースにおいてワークを認識するためのワークの認識装置が記載されている。この認識装置は、設置スペースの所定の範囲内を撮像して画像情報を得るための撮像装置と、その画像情報を解析してワークを認識するための制御部とを備える。制御部は、設置スペースの所定の範囲内からワークを保持して取り出すためのロボットを制御する。

特許第６７５８５４０号公報 特許第６８６０４３２号公報

適切な対象物を所定の領域に適切に配置することが望まれている。

本開示の一側面に係るロボット制御システムは、少なくとも一つの対象物が配置される指定領域の現在の状態を現在領域状態として検出する領域検出部と、現在領域状態に基づいて、指定領域に追加する追加対象物に関する追加情報を生成する生成部と、追加情報に基づいて、追加対象物を指定領域内に配置させるようにロボットを制御するロボット制御部とを備える。

本開示の一側面に係るロボット制御方法は、少なくとも一つのプロセッサを備えるロボット制御システムによって実行されるロボット制御方法であって、少なくとも一つの対象物が配置される指定領域の現在の状態を現在領域状態として検出するステップと、現在領域状態に基づいて、指定領域に追加する追加対象物に関する追加情報を生成するステップと、追加情報に基づいて、追加対象物を指定領域内に配置させるようにロボットを制御するステップとを含む。

本開示の一側面に係るロボット制御プログラムは、少なくとも一つの対象物が配置される指定領域の現在の状態を現在領域状態として検出するステップと、現在領域状態に基づいて、指定領域に追加する追加対象物に関する追加情報を生成するステップと、追加情報に基づいて、追加対象物を指定領域内に配置させるようにロボットを制御するステップとをコンピュータに実行させる。

本開示の一側面によれば、適切な対象物を所定の領域に適切に配置できる。

ロボットシステムの一例を示す図である。 ロボットコントローラの機能構成の一例を示す図である。 ロボットコントローラのハードウェア構成の一例を示す図である。 ロボットシステムでの処理の一例を示すフローチャートである。 シミュレーションによる配置計画を示すフローチャートである。 指定領域内の配置の最終検査の一例を示すフローチャートである。 候補物の検出の一例を示す図である。 指定領域への追加対象物の配置の一例を示す図である。 指定領域の最終状態の例を示す図である。

以下、添付図面を参照しながら本開示での実施形態を詳細に説明する。図面の説明において同一または同等の要素には同一の符号を付し、重複する説明を省略する。

［システムの概要］
本開示に係るロボットシステムは、現実の作業空間に配置されたロボットに所定のモーションを実行させることにより、１以上の対象物を指定領域に自動的に配置する制御システムである。ロボットシステムは、少なくとも一つのロボットと、そのロボットを制御するロボット制御システムとを備える。一例では、ロボットシステムは、対象物の集合を収容するストック領域から一つのまたはひとまとまりの対象物を追加対象物として取り出して、その追加対象物を指定領域に配置する、という一連の処理を繰り返して、既定量の対象物を指定領域に配置する。本開示では、ひとまとまりの対象物も「一つの対象物」という。

対象物とは、ロボットシステムによって処理される有体物をいい、例えば任意の固体または液体である。対象物は、それぞれが他と明確に区別されて、個数によって管理することが可能な有体物でもよい。個数によって管理することが可能な有体物は、個々の物の種類が同じであり、観察者に与える視覚的印象も個々の物の間で同じである定形物でもよい。あるいは、個数によって管理することが可能な有体物は、個々の物の種類は同じであるが、観察者に与える視覚的印象が個々の物の間で異なる不定形物であってもよい。あるいは、対象物は、個数での管理が非常に困難であるかまたは事実上不可能であるために、質量によって管理される有体物であってもよい。質量によって管理される有体物については、所定の区切り操作によって残存部分から分離されることで一つの対象物（ひとまとまりの対象物）が得られる。質量によって管理される有体物の例として、粒状または粉状の材料と、細かく裁断された材料と、練り物として提供される材料と、液状の材料とが挙げられる。追加対象物とは、指定領域に配置される対象物をいう。

指定領域とは、ロボットによって少なくとも一つの対象物が配置される区画をいい、所定の形状と、体積または面積とを有する。「対象物を指定領域に配置する」とは、指定領域内に対象物を置く処理をいい、指定領域内に対象物を存在させる処理ともいえる。ロボットシステムは空の指定領域に対して対象物を配置してもよいし、既に何らかの物を収容する指定領域に対して対象物を配置してもよい。

ストック領域とは、指定領域に配置される可能性がある対象物の集合が用意された区画をいい、所定の形状と、体積または面積とを有する。一例では、ストック領域は、対象物の集合がばら積みされた区画である。本開示では、ストック領域に用意されて指定領域に配置され得る対象物（すなわち、追加対象物の候補）を候補物ともいう。ストック領域は、一種類の対象物（候補物）の集合を収容してもよいし、複数種類の対象物（候補物）の集合を収容してもよい。したがって、一つの指定領域に対して追加対象物の配置を繰り返す場合には、ロボットは個々の配置処理において同種の追加対象物を配置するかもしれないし、個々の配置の処理の間で異なる種類の追加対象物を配置するかもしれない。

上述したように、ロボットシステムは既定量の対象物が指定領域に収容されるまで、該指定領域への追加対象物の配置を繰り返してもよい。既定量とは、指定領域に収容される対象物の総量として設定された値である。既定量の対象物は、１以上の対象物の集合である。質量によって管理される対象物については、２以上の対象物の集合が見かけ上ひとまとまりに見える場合がある。既定量と、最終的に指定領域に収容される対象物の実際の総量との間に、許容され得る誤差が生じてもよい。既定量は特定の数値によって示されてもよいし、数値範囲によって示されてもよい。既定量は個数、質量、または体積によって定められてもよいし、これらの量のうちの少なくとも二つの組合せによって定められてもよい。

一例では、ロボットシステムは対象物として食品を取り扱う。例えば、ロボットシステムは番重内の特定の食品を弁当箱などのパック（すなわち容器）内に配置する。番重はストック領域の一例であり、パックは指定領域の一例である。すなわち、パックへの食品の盛り付けは、対象物を指定領域に配置することの一例である。ロボットシステムは、総菜（唐揚げ、野菜炒め、ポテトサラダなど）、パン、ご飯、スープ、ジュース、ソース、ドレッシング、塩、コショウなどの様々な種類の食品を、またはこれらの食品の組合せを、対象物として処理し得る。パックに食品を盛り付ける例では、「対象物を指定領域に配置する」ことは、固形物をパック内に置くことであり得るし、液状、粉状、または粒状の調味料を掛けることでもあり得る。

［システムの構成］
図１は一例に係るロボットシステム１の全体構成の一例を示す図である。このロボットシステム１は、モータ制御装置２、ロボット３、第１カメラ５、第２カメラ６、およびロボットコントローラ１０を備える。一例では、ロボットコントローラ１０は通信ネットワークを介してモータ制御装置２、第１カメラ５、および第２カメラ６に接続する。モータ制御装置２は別の通信ネットワークを介してロボット３に接続する。装置間を接続する通信ネットワークは、有線ネットワークでも無線ネットワークでもよい。通信ネットワークはインターネットおよびイントラネットの少なくとも一方を含んで構成されてもよいし、単純に１本の通信ケーブルによって実現されてもよい。

図１は、現実の作業空間に存在するストック領域８１および指定領域８２として番重およびパックをそれぞれ例示する。番重は、主に食品業界で利用される運搬容器であり、ある程度多くの食品を収容可能な容積を有する。パックは一般消費者への食品の販売に適した寸法を有する。

モータ制御装置２は、ロボットコントローラ１０からの制御信号（すなわち指令）にロボット３のモータの出力を追従させるための装置である。モータ制御装置２は、ロボットコントローラ１０からの制御信号に基づいて、モータを動かすための電力を生成し、その電力をモータに供給する。この供給される電力は、トルク指令、電流指令などのような駆動力指令に相当する。モータ制御装置２は例えば、インバータであってもよいし、サーボアンプであってもよい。モータ制御装置２はロボット３内に組み込まれてもよい。モータ制御装置２は、自機の応答を検出するセンサを備えてもよい。

ロボット３は、動力を受けて目的に応じた所定の動作を行って、有用な仕事を実行する装置である。一例では、ロボット３は複数の関節を備え、先端部に取り付けられたエンドエフェクタ４を用いて様々な処理を実行する。関節は駆動対象の一例である。複数の関節のそれぞれには関節軸が設定される。アーム、旋回部などのようなロボット３のいくつかの構成要素は関節軸を中心に回転し、この結果、ロボット３は所定の範囲内において先端部の位置および姿勢を自在に変更し得る。一例では、ロボット３は多軸のシリアルリンク型の垂直多関節ロボットである。ロボット３は、６軸の垂直多関節ロボットでもよいし、６軸に１軸の冗長軸を追加した７軸の垂直多関節ロボットでもよい。ロボット３は自走可能な移動ロボットでもよく、例えば、無人搬送車（ＡＧＶ）により支持されるロボットでもよい。あるいは、ロボット３は所定の場所に固定された据置型ロボットでもよい。

ロボット３は少なくとも一つのモータによって駆動する。モータは、モータ制御装置２から供給される電力に応じて、ロボット３の駆動対象を駆動させるための動力を発生させる装置である。個々のモータによって個々の駆動対象が動作し、その結果、ロボット３がエンドエフェクタ４を用いてワークに対して所定の仕事を実行する。モータは、駆動対象を回転させる回転型モータであってもよいし、駆動対象を直線に沿って変位させるリニア型モータであってもよい。モータは、同期電動機であってもよいし、誘導電動機であってもよい。モータは、ＳＰＭ（Ｓｕｒｆａｃｅ Ｐｅｒｍａｎｅｎｔ Ｍａｇｎｅｔ）モータ、ＩＰＭ（Ｉｎｔｅｒｉｏｒ Ｐｅｒｍａｎｅｎｔ Ｍａｇｎｅｔ）モータ等の永久磁石型の同期電動機であってもよい。モータは、シンクロナスリラクタンスモータ（ｓｙｎｃｈｒｏｎｏｕｓ ｒｅｌｕｃｔａｎｃｅ ｍｏｔｏｒ）のような、永久磁石を有しない同期電動機であってもよい。モータはＤＣモータであってもよいしＡＣモータであってもよい。

ロボット３は、モータ制御装置２からの電力によって動作するロボット３の応答を検出する装置である少なくとも一つのセンサを備えてもよい。応答とは、ロボットを制御するための命令である指令に対する該ロボットの出力をいう。例えば、応答はロボット３の動作および状態の少なくとも一方に関する情報を示す。応答はモータの動作および状態の少なくとも一方に関する情報を示してもよい。モータが回転型である場合には、モータによる駆動対象の回転角度が「位置」に相当し、モータによる駆動対象の回転速度が「速度」に相当する。応答は駆動対象の動作および状態の少なくとも一方に関する情報を示してもよく、例えば、駆動対象の位置、速度、および力の少なくとも一つを示してもよい。センサは応答を示す応答信号をロボットコントローラ１０に送信する。応答は、センサによって得られる値そのものでもよいし、所与の演算またはアルゴリズムによって算出または加工される値によって表されてもよい。センサの例として、モータの動作速度に比例した周波数のパルス信号を出力するロータリーエンコーダが挙げられる。ロータリーエンコーダはモータの位置および速度の両方を取得できる。

エンドエフェクタ４は対象物に作用する機器である。例えば、エンドエフェクタ４は対象物をストック領域から指定領域に移動させたり、指定領域内の対象物の位置および姿勢の少なくとも一方を調整したりするために用いられる。エンドエフェクタ４の例としてグリッパ、吸着ハンド、スプーン、およびブラシが挙げられる。ロボット３に取り付けられるエンドエフェクタ４は、対象物の種類に応じて選択される。

第１カメラ５はストック領域８１を撮影する撮像装置である。一例では、第１カメラ５はストック領域８１の平面視を撮影できるようにストック領域８１の上方に設けられる。以下では、第１カメラ５によって得られる画像をストック領域画像という。第１カメラ５は撮影によって生成したストック領域画像をロボットコントローラ１０に送信する。

第２カメラ６は指定領域８２を撮影する撮像装置である。一例では、第２カメラ６は指定領域８２の平面視を撮影できるように指定領域８２の上方に設けられる。以下では、第２カメラ６によって得られる画像を指定領域画像という。第２カメラ６は撮影によって生成した指定領域画像をロボットコントローラ１０に送信する。

ロボットコントローラ１０は、ロボット３を動作させるための制御信号（指令）を出力する装置である。ロボットコントローラ１０は本開示に係るロボット制御システムの一例である。図２はロボットコントローラ１０の機能構成の一例を示す図である。この例では、ロボットコントローラ１０は機能モジュールとして領域検出部１１、候補検出部１２、配置計画部１３、シミュレーション評価部１４、追加情報生成部１５、反復制御部１６、実配置評価部１７、解析部１８、調整情報生成部１９、およびロボット制御部２０を備える。

領域検出部１１は指定領域８２の現在の状態を現在領域状態として検出する機能モジュールである。領域検出部１１は第２カメラ６から得られる指定領域画像を処理して現在領域状態を検出する。

候補検出部１２はストック領域８１内の複数の候補物（すなわち、候補物の集合）を検出する機能モジュールである。候補検出部１２は第１カメラ５から得られるストック領域画像を処理して、ストック領域８１内の複数の候補物を検出する。一例では、候補検出部１２は予め学習された品質推論器を含み、この品質推論器を用いて個々の候補物の品質を判定する。

配置計画部１３は、少なくとも追加対象物が配置された指定領域８２の状態を予想領域状態としてシミュレーションする機能モジュールである。配置計画部１３は少なくとも現在領域状態に基づいてそのシミュレーションを実行して、追加対象物の配置を計画する。シミュレーションとは、何らかのシステムの挙動をコンピュータ上で模擬的に現し出す処理をいう。予想領域状態は現実の状態ではなく仮想の状態であり、実際に起こり得る指定領域８２の将来の状態である。配置計画部１３は少なくとも一つの予想領域状態をシミュレーションし、例えば複数の予想領域状態をシミュレーションする。

シミュレーション評価部１４は、配置計画部１３によりシミュレーションされた複数の予想領域状態のそれぞれを評価する機能モジュールである。この評価結果は、複数の予想領域状態から一つを選択するために参照される。一例では、シミュレーション評価部１４は予め学習された配置推論器を含み、この配置推論器を用いて個々の予想領域状態（すなわち、シミュレーションによって生成された指定領域８２内の対象物の仮想の配置）を評価する。

追加情報生成部１５は、追加対象物に関する追加情報を予想領域状態に基づいて生成する機能モジュールである。予想領域状態は現在領域状態を反映するので、追加情報生成部１５は現在領域状態に基づいて追加情報を生成する機能モジュールであるともいえる。追加情報はロボット３に追加対象物を指定領域８２に配置させるための情報であり、後述するようにロボット制御部２０によって参照される。

反復制御部１６は、指定領域８２に既定量の対象物が配置されるように、指定領域８２への追加対象物の配置を繰り返す機能モジュールである。一例では、反復制御部１６はロボット３が一つの追加対象物を指定領域８２に配置したことに応答して、次の追加対象物を配置するための一連の処理を、領域検出部１１、候補検出部１２、配置計画部１３、シミュレーション評価部１４、および追加情報生成部１５から成るモジュール群に実行させる。

実配置評価部１７は、既定量の対象物が配置された指定領域８２の現実の状態である最終状態を評価する機能モジュールである。この評価結果は既定量の対象物の配置を確定させるかまたは調整するかを判定するために参照される。一例では、実配置評価部１７はシミュレーション評価部１４と共通の配置推論器を含み、この配置推論器を用いて最終状態を評価する。

解析部１８は、実配置評価部１７によって用いられた配置推論器の計算プロセスを解析して、この配置推論器による最終状態の評価の根拠を示す注目領域を抽出する機能モジュールである。この注目領域は、指定領域８２内の既定量の対象物の配置を調整するために参照される。

調整情報生成部１９は、指定領域８２の最終状態に基づいて、実配置評価部１７による評価結果が上がるように、既定量の対象物の少なくとも一部の位置および姿勢の少なくとも一方を指定領域８２内で変更させるための調整情報を生成する機能モジュールである。調整情報はロボット３にその変更を実行させるための情報であり、ロボット制御部２０によって参照される。

ロボット制御部２０は追加情報または調整情報に基づいてロボット３を制御する機能モジュールである。ロボット制御部２０は追加情報に基づいて、追加対象物を指定領域８２内に配置させるようにロボット３を制御する。また、ロボット制御部２０は調整情報に基づいて、既定量の対象物の少なくとも一部の位置および姿勢の少なくとも一方を指定領域８２内で変更させるようにロボット３を制御する。

図３は、ロボットコントローラ１０のハードウェア構成の一例を示す図である。ロボットコントローラ１０は回路１９０を備える。一例では、回路１９０は、少なくとも一つのプロセッサ１９１と、メモリ１９２と、ストレージ１９３と、少なくとも一つの通信ポート１９４とを備える。ストレージ１９３は不揮発性の記憶媒体であり、上記の各機能モジュールを実現するためのロボット制御プログラムを記憶する。ストレージ１９３は、例えば少なくとも一つのハードディスクまたは不揮発性メモリにより構成される。メモリ１９２は、ストレージ１９３からロードされたロボット制御プログラム、プロセッサ１９１による演算結果などを一時的に記憶する。メモリ１９２は例えば少なくとも一つのランダムアクセスメモリにより構成される。プロセッサ１９１は、メモリ１９２と協働してロボット制御プログラムを実行することで各機能モジュールを実現する。通信ポート１９４は、プロセッサ１９１からの指令に従って他の装置との間でデータ通信を行う。例えば、ロボットコントローラ１０はモータ制御装置２、第１カメラ５、および第２カメラ６に対応して個々の通信ポート１９４を備える。

ロボット制御プログラムは、ロボットコントローラ１０の各機能モジュールを実現するためのコードを含む。プロセッサ１９１はロボット制御プログラムに従って通信ポート１９４を動作させ、メモリ１９２またはストレージ１９３におけるデータの読み出しおよび書き込みを実行する。

ロボット制御プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリなどの非一時的な記録媒体に固定的に記録された上で提供されてもよい。あるいは、ロボット制御プログラムは、搬送波に重畳されたデータ信号として通信ネットワークを介して提供されてもよい。

［推論器］
品質推論器および配置推論器はいずれも、所与の入力画像を受け付け、その入力画像の被写体に関する推定値を出力する計算モデルである。これらの推論器は、畳み込みニューラルネットワーク（ＣＮＮ）などのニューラルネットワークによって構築される機械学習モデルであってもよく、この場合にはそれぞれの推論器は予め機械学習によって生成される。機械学習とは、与えられた情報に基づいて反復的に学習することで、法則またはルールを自律的に見つけ出す手法をいう。一例では、推論器はアルゴリズムおよびデータ構造を用いて構築される。機械学習によって生成された推論器は、最適であると推定される計算モデルであり、“現実に最適である計算モデル”とは限らないことに留意されたい。

学習装置は、入力画像と推定値の正解との複数の組合せを示すトレーニングデータを用いて機械学習を実行して推論器を生成する。学習装置は入力画像を所与の機械学習モデルに入力し、その機械学習モデルから出力される推定値を得る。学習装置はその推定値と正解との誤差に基づくバックプロパゲーション（誤差逆伝播法）を実行して、機械学習モデル内のパラメータ群を更新する。学習装置は所与の終了条件を満たすまでこの学習を繰り返して推論器を得る。

品質推論器を生成する一例では、少なくとも一つの対象物を映す対象物画像が入力画像として用意され、該少なくとも一つの対象物のそれぞれについて品質の評価値が正解として設定される。品質の評価値は、「良」および「不良」のような分類を示す値で表されてもよいし、所与の範囲の連続値（例えば０から１の間の値）で表されてもよい。品質の評価値は対象物の属性に基づいて設定され、例えば、対象物の形状、寸法、色のうちの少なくとも一つに基づいて設定されてもよい。

配置推論器を生成する一例では、少なくとも一つの対象物が配置された指定領域を映す配置画像が入力画像として用意され、その配置の評価値が正解として設定される。本開示では、配置画像に映る指定領域の状態を配置後領域状態といって、ロボットコントローラ１０によって取り扱われる現在領域状態および最終状態と区別する。一例では、配置後領域状態は、既定量の対象物が指定領域に配置された状態である。対象物の配置の評価値は、「良」および「不良」のような分類を示す値で表されてもよいし、所与の範囲の連続値（例えば０から１の間の値）で表されてもよい。配置の評価値は、配置のバランスに基づいて設定されてもよく、例えば、指定領域内の空き部分が小さくなるほど評価値が上がるように設定されてもよい。あるいは、配置の評価値は、指定領域内の対象物間の形状、寸法、または色のバランスに基づいて設定されてもよい。

上述したように、生成された配置推論器はシミュレーション評価部１４と実配置評価部１７の双方で用いられてもよい。あるいは、シミュレーション評価部１４の配置推論器と実配置評価部１７の配置推論器とは、互いに独立した機械学習によって生成されてもよい。

対象物画像および配置画像のいずれも、現実の対象物を映した現実の画像でもよいし、コンピュータによって人工的に生成された画像であってもよい。例えば、現実の画像の少なくとも一部がコンピュータによって加工されることで対象物画像または配置画像が生成されてもよい。一般に、機械学習のためには大量のトレーニングデータを準備する必要があるが、多数の画像を用意するのには多大な労力と時間を要する。対象物画像または配置画像を人工的に生成することで十分なトレーニングデータを効率良く用意できる。例えば、そのような人工的な画像は、ＧＡＮ（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ）モデル、レイトレーシング、フォトリアリスティックレンダリングなどの技術によって生成し得る。

学習装置による品質推論器または配置推論器の生成は学習フェーズに相当し、品質推論器または配置推論器の利用は運用フェーズに相当する。推論器はコンピュータシステム間で移植可能である。したがって、ロボットコントローラ１０は別のコンピュータシステムで生成された品質推論器または配置推論器を用いてもよい。学習装置はロボットシステム１またはロボットコントローラ１０に組み込まれてもよい。

［ロボット制御方法］
本開示に係るロボット制御方法の一例として、図４～図６を参照しながら、ロボットシステム１（またはロボットコントローラ１０）により実行される処理手順の一例を説明する。図４はロボットシステム１での処理の一例を処理フローＳ１として示すフローチャートである。すなわち、ロボットシステム１は処理フローＳ１を実行する。図５はシミュレーションによる配置計画の一例を示すフローチャートである。図６は指定領域８２内の配置の最終検査の一例を示すフローチャートである。一例では、ロボットシステム１（またはロボットコントローラ１０）は、ユーザまたは他のシステムから入力された既定量を必要に応じて参照しつつ処理フローＳ１を実行する。

ステップＳ１１では、領域検出部１１が、現在の指定領域８２を映す指定領域画像を第２カメラ６から取得する。この指定領域画像は静止画でもよいし、映像を構成する一つのフレーム画像でもよい。あるいは、指定領域画像はデプス画像でもよいし、ＲＧＢ画像とデプス画像とのセットでもよい。

ステップＳ１２では、候補検出部１２が、現在のストック領域８１を映すストック領域画像を第１カメラ５から取得する。このストック領域画像は静止画でもよいし、映像を構成する一つのフレーム画像でもよい。あるいは、ストック領域画像はデプス画像でもよいし、ＲＧＢ画像とデプス画像とのセットでもよい。

ステップＳ１３では、領域検出部１１が指定領域画像に基づいて指定領域８２の現在の状態を現在領域状態として検出する。領域検出部１１は指定領域画像に対して画像解析を実行して現在領域状態を検出する。一例では、領域検出部１１は、指定領域８２内での個々の対象物の輪郭、位置、または姿勢と、指定領域８２で空いている部分とのうちの少なくとも一方を現在領域状態として検出する。対象物の姿勢は、対象物の向きであるともいえる。一例では、領域検出部１１は個々の対象物または空き部分を２次元または３次元の形状で認識する。

ステップＳ１４では、候補検出部１２がストック領域画像に基づいてストック領域８１内の複数の候補物を検出する。候補検出部１２はストック領域画像に対して画像解析を実行して複数の候補物を検出する。質量によって管理される対象物を処理する場合には、候補検出部１２はストック領域８１において候補物が占める区画を追加対象物の量に基づいて分割して複数の被分割領域を仮想的に生成し、それぞれの被分割領域を候補物として検出してもよい。一例では、領域検出部１１は個々の対象物を２次元または３次元の形状で認識する。

一例では、候補検出部１２はそれぞれの候補物について属性およびピッキングポイントを検出する。候補物の属性とは候補物の特徴または性質を示す情報であり、例えば、輪郭（すなわち、形状および大きさ）、色、品質、および質量のうちの少なくとも一つである。候補検出部１２は色を複数の等級によって（例えば５段階の等級）によって表現してもよい。候補検出部１２は品質推論器にストック領域画像を入力して、個々の候補物について品質の評価値を求めてもよい。候補検出部１２は、候補物を映す画素の個数から該候補物の体積を推定し、予め設定された密度にその体積を乗じて該候補物の質量を予測してもよい。ピッキングポイントとは、候補物が追加対象物としてストック領域８１から指定領域８２に移される際にエンドエフェクタ４と接する該候補物の位置をいう。候補検出部１２は候補物の重心に基づいてピッキングポイントを求めてもよい。あるいは、候補検出部１２は、機械学習によって生成された所与の推論器（機械学習モデル）にストック領域画像を入力して、個々の候補物についてピッキングポイントを求めてもよい。候補検出部１２はエンドエフェクタ４の可動範囲内に存在するピッキングポイントを検出してもよいし、エンドエフェクタ４と他の候補物との干渉を引き起こさないピッキングポイントを検出してもよい。

ステップＳ１５では、候補検出部１２が、品質基準を満たさない候補物（すなわち不良物）を選択対象から除外する。候補検出部１２は検出された複数の候補物のそれぞれについて、該候補物の品質が所定の品質基準を満たすか否かを判定する。候補検出部１２は品質基準を満たさない候補物を、追加対象物として選択される対象から除外し、品質基準を満たす候補物を、追加対象物として選択される対象として維持する。

図７は候補検出部１２により実行される候補物の検出の一例を示す図であり、候補物９０として唐揚げを示す。この図は、複数の候補物９０を収容するストック領域８１の平面視を映すストック領域画像を示すともいえる。候補検出部１２はそれぞれの候補物９０の輪郭を検出する。更に、候補検出部１２は個々の候補物９０の品質の評価値を品質推論器により算出して、候補物９０の群を、品質基準を満たす候補物９１と、品質基準を満たさない候補物９２とに分け、候補物９２を選択対象から除外する。図７の例では、候補物９１は表面の全体が衣で覆われた唐揚げであり、候補物９２は衣の一部が剥がれた唐揚げである。

図４に戻って、ステップＳ１６では、配置計画部１３がシミュレーション評価部１４と協働して、シミュレーションによる配置計画を実行する。図５を参照しながらそのシミュレーションを詳細に説明する。

ステップＳ１６１では、配置計画部１３が少なくとも一つの追加対象物を指定領域８２内に仮想的に配置して予想領域状態を生成する。すなわち、配置計画部１３は予想領域状態をシミュレーションする。配置計画部１３はそのシミュレーションにおいて、指定領域８２の現在領域状態とストック領域８１内の候補物の集合とを仮想的に再現し、その再現された環境において予想領域状態を生成する。配置計画部１３は候補物の集合から少なくとも一つの追加対象物を仮想的に選択し、現在領域状態にある指定領域８２にその追加対象物を仮想的に配置する。配置計画部１３は品質基準を満たす候補物を追加対象物として選択する。一例では、配置計画部１３は指定領域８２内の空き部分と、個々の候補物の属性（例えば輪郭または色）とのうちの少なくとも一つに基づいて、追加対象物を選択する。例えば、配置計画部１３は指定領域８２内で対象物同士が重ならないように、輪郭に基づいて追加対象物を選択してもよい。あるいは、配置計画部１３は指定領域８２内の１以上の対象物の色のバランスが所与の基準を満たすように（例えば、指定領域８２内に複数の色の等級が存在するように）追加対象物を選択してもよい。

一例では、配置計画部１３は追加対象物を含む既定量の対象物が配置された指定領域８２の状態を予想領域状態として生成する。このシミュレーションでは、配置計画部１３は指定領域８２が既定量の対象物を収容するまで追加対象物の配置を仮想的に繰り返し実行する。例えば、現在領域状態が空の指定領域８２を示し、既定量が「５個」であるとする。この場合には、配置計画部１３は５個の追加対象物をストック領域８１から指定領域８２に仮想的に配置して予想領域状態を生成する。別の例として、現在領域状態が３個の対象物を収容する指定領域８２を示し、既定量が「５個」であるとする。この場合には、配置計画部１３は２個の追加対象物をストック領域８１から指定領域８２に仮想的に配置して予想領域状態を生成する。

ステップＳ１６２では、配置計画部１３が、生成された予想領域状態に対応する全質量を予測する。この全質量は、既定量に相当する対象物の質量の合計値であり、既定量と異なり得る。例えば、配置計画部１３は指定領域８２内の１以上の対象物のそれぞれについて、該対象物を映す画素の個数から該対象物の体積を推定し、予め設定された密度にその体積を乗じて該対象物の質量を予測する。そして、配置計画部１３は指定領域８２内の１以上の対象物の全質量を求める。

ステップＳ１６３では、シミュレーション評価部１４が、生成された予想領域状態を配置推論器により評価する。この処理はシミュレーション結果の評価であるといえる。シミュレーション評価部１４は予想領域状態（すなわち、指定領域８２内に仮想的に配置された１以上の対象物）を示す画像を配置推論器に入力して、その予想領域状態の評価値を求める。

ステップＳ１６４では、シミュレーション評価部１４が、生成された予想領域状態における指定領域８２内の対象物間の干渉度を算出する。干渉度とは、対象物同士がどのくらい重なり合うかを示す指標であり、例えば、指定領域８２の平面視において対象物同士が重なり合う度合いを示す。干渉度は予想領域状態の評価の少なくとも一部であり得る。一例では、シミュレーション評価部１４は、指定領域８２内の個々の対象物の輪郭を検出または推定し、隣接する対象物間の干渉度を計算する。隣接する２個の対象物を例に取ると、指定領域８２の平面視において双方の対象物の全体の輪郭が見える場合には干渉度は０であり、一方の対象物の輪郭の一部が他方の対象物の輪郭に隠れる場合には干渉度は０より大きい。シミュレーション評価部１４は指定領域８２の全体における干渉度を算出する。例えば、シミュレーション評価部１４は重なりによって隠れている対象物の部分の面積の合計値（これを総重畳面積という）を干渉度として算出してもよい。あるいは、シミュレーション評価部１４は指定領域８２の面積に対する総重畳面積の割合を干渉度として算出してもよい。

ステップＳ１６５では、配置計画部１３が新たな予想領域状態の生成を終了するか否かを判定する。新たな予想領域状態を生成する場合には（ステップＳ１６５においてＹＥＳ）、ステップＳ１６１～Ｓ１６４の処理が繰り返される。すなわち、配置計画部１３は一つの現在領域状態に対して複数の予想領域状態をシミュレーションし、シミュレーション評価部１４は該複数の予想領域状態のそれぞれを評価する。

新たな予想領域状態の生成を終了する場合には（ステップＳ１６５においてＮＯ）、処理はステップＳ１６６に進む。例えば、配置計画部１３は、所定の個数の予想領域状態を生成したことに応答して予想領域状態の生成を終了してもよい。

ステップＳ１６６では配置計画部１３が複数の予想領域状態から一つを選択する。一例では、配置計画部１３は評価値、干渉度、および全質量のうちの少なくとも一つに基づいて一つの予想領域状態を選択する。例えば、配置計画部１３は、評価値が高くなるほど高くなる評価スコアと、干渉度が低くなるほど高くなる干渉スコアと、全質量と既定量との差が小さいほど高くなる質量スコアとを求め、これら三つのスコアの合計値が最も高い予想領域状態を選択してもよい。あるいは、配置計画部１３はその三つのスコアのうちの任意の二つの合計値が最も高い予想領域状態を選択してもよい。あるいは、配置計画部１３は、評価値がいちばん高い予想領域状態、干渉度が最も低い予想領域状態、または全質量が既定量に最も近い予想領域状態を選択してもよい。

図４に戻って、ステップＳ１７では、追加情報生成部１５が、配置計画によって得られた、現在領域状態を反映する予想領域状態に基づいて、追加対象物に関する追加情報を生成する。追加情報生成部１５は選択された一つの予想領域状態に基づいて追加情報を生成する。追加情報生成部１５はその予想領域状態における少なくとも一つの追加対象物のうちの一つを選択し、その追加対象物を現実のストック領域８１内の複数の候補物から選択する。追加情報生成部１５は、現実の指定領域８２における、選択された追加対象物の位置および姿勢の少なくとも一方を決定する。例えば、追加情報生成部１５は予想領域状態における追加対象物の位置および姿勢を、現実の指定領域８２における追加対象物の位置および姿勢として採用する。一例では、追加情報生成部１５は、選択された追加対象物と、現実のストック領域８１での該追加対象物のピッキングポイントと、現実の指定領域８２での該追加対象物の位置または姿勢とを示す追加情報を生成する。

ステップＳ１８では、ロボット制御部２０が追加情報に基づいてロボット３を制御して、該ロボット３に追加対象物を指定領域８２に配置させる。ロボット制御部２０は、選択された追加対象物を現実のストック領域８１から現実の指定領域８２に配置するためのロボット３またはエンドエフェクタ４の軌道であるパスを、追加情報および現在領域状態に基づいて生成する。そのパスは、ストック領域８１内の追加対象物の位置から、指定領域８２内の予定配置位置までの区間を含む。ロボット制御部２０はその区間においてロボット３またはエンドエフェクタ４が障害物と干渉しないようにパスを生成する。障害物の例として、ストック領域８１を規定する物体（例えば番重）と、指定領域８２を規定する物体（例えばパック）と、指定領域８２内に既に位置する対象物とが挙げられる。ロボット制御部２０は生成されたパスに沿ってロボット３またはエンドエフェクタ４を動作させるための一連の制御信号を生成し、その制御信号をモータ制御装置２に順次出力する。モータ制御装置２は、モータを動かすための電力を制御信号に基づいて順次生成し、その電力をモータに順次供給する。この結果、ロボット３は選択された追加対象物を現実のストック領域８１から取り出して、その追加対象物を現実の指定領域８２に所定の位置または姿勢に従って配置する。

図８は指定領域への追加対象物の配置の一例を示す図である。この例では、追加情報生成部１５は配置計画によって選択された予想領域状態に基づいて、現実のストック領域８１にある候補物９０の集合のうちの一つを追加対象物９３（指定領域８２に配置する５個目の対象物）として選択する。追加情報生成部１５は指定領域８２における追加対象物９３の位置および姿勢を決定する。図８の例では、予想領域状態は指定領域８２の右上部分が空いていることを示す現在領域状態に基づいて生成され、追加情報生成部１５はその空き部分に追加対象物９３を位置付ける。追加情報生成部１５は追加対象物９３に関する追加情報を生成し、ロボット制御部２０はその追加情報に基づいてロボット３を制御し、ロボット３は追加対象物９３をストック領域８１から指定領域８２に配置する。図８に示す矢印は追加対象物９３の移動を概念的に示すものであり、ロボット３またはエンドエフェクタ４のパスとは限らないに点に留意されたい。

図４に戻って、ステップＳ１９では、反復制御部１６が指定領域８２に別の対象物を追加するか否かを判定する。一例では、反復制御部１６は、指定領域８２内の１以上の対象物の総量と既定量との差を推定し、その差が所定の閾値以上であれば（すなわち、指定領域８２内の対象物の総量が不足しているならば）、別の対象物を追加すると判定する。その差が閾値未満であれば、反復制御部１６は対象物の追加を終了すると判定する。

別の対象物を追加する場合には（ステップＳ１９においてＹＥＳ）、ステップＳ１１～Ｓ１８の処理が繰り返される。すなわち、反復制御部１６はロボット３により追加対象物が指定領域８２に配置されるたびに、領域検出部１１、候補検出部１２、配置計画部１３、シミュレーション評価部１４、および追加情報生成部１５から成る機能モジュール群にステップＳ１１～Ｓ１８の処理を実行させる。

その繰り返し処理では、領域検出部１１は新たな指定領域画像を第２カメラ６から取得し（ステップＳ１１）、候補検出部１２は新たなストック領域画像を第１カメラ５から取得する（ステップＳ１２）。領域検出部１１は新たな指定領域画像に基づいて指定領域８２の現在の状態を現在領域状態として検出する（ステップＳ１３）。この現在領域状態は、ステップＳ１８において追加対象物が配置された指定領域８２を示す。

候補検出部１２は新たなストック領域画像に基づいてストック領域８１内の複数の候補物を検出し（ステップＳ１４）、品質基準を満たさない候補物を選択対象から除外する（ステップＳ１５）。ステップＳ１８において一つの候補物がストック領域８１から取り出されたことに伴って、前のステップＳ１４では撮影されなかった候補物がストック領域画像に映ったり、ストック領域８１内の少なくとも一つの候補物の位置または姿勢が変わったりする可能性がある。ステップＳ１４，Ｓ１５を繰り返すことで、ストック領域８１の現在の状況を検出して候補物を適切に選択することが可能になる。

配置計画部１３はシミュレーション評価部１４と協働して、シミュレーションによる配置計画を実行する（ステップＳ１６）。配置計画部１３は複数の予想領域状態を生成し、シミュレーション評価部１４はそれぞれの予想領域状態を評価し、配置計画部１３はその評価に基づいて複数の予想領域状態から一つを選択する。ここで選択される予想領域状態は、前の配置計画で選択された予想領域状態と同じかもしれないし違うかもしれない。選択される予想領域状態が前の配置計画から変わり得る原因として、ストック領域８１内の少なくとも一つの候補物の位置または姿勢が変わったり、指定領域８２内の少なくとも一つの対象物の位置または姿勢が変わったりすることが挙げられる。追加情報生成部１５は配置計画によって得られた予想領域状態に基づいて、指定領域８２に次に追加しようとする追加対象物に関する次の追加情報を生成する（ステップＳ１７）。ロボット制御部２０はその追加情報に基づいて、次の追加対象物を指定領域８２に配置させるようにロボット３を制御する（ステップＳ１８）。

対象物の追加を終了する場合には（ステップＳ１９においてＹＥＳ）、処理はステップＳ２０に進む。ステップＳ２０では、反復制御部１６が実配置評価部１７に所定のイベント信号を出力し、実配置評価部１７がそのイベント信号に応答して指定領域８２内の配置の最終検査を実行する。図６を参照しながらその最終検査を詳細に説明する。

ステップＳ２０１では、実配置評価部１７が指定領域８２の最終状態を配置推論器により評価する。この処理は、既定量の対象物の実配置の評価であるといえる。一例では、実配置評価部１７は、その最終状態を映した指定領域画像を第２カメラ６から取得する。この指定領域画像は指定領域８２の現在の状態を映すので、指定領域８２の最終状態は現在領域状態であるともいえる。実配置評価部１７はその指定領域画像を配置推論器に入力して最終状態の評価値を求める。

ステップＳ２０２では、解析部１８がその評価における配置推論器の計算プロセスを解析して、該配置推論器による評価の根拠を示す注目領域を抽出する。一例では、解析部１８は、指定領域８２内において、最終状態の評価値を下げる原因になった不適箇所を注目領域として抽出する。不適箇所の例として、空き部分と、対象物同士が重なり合う部分とが挙げられる。

ニューラルネットワークを含む推論器の計算プロセスを解析する場合には、解析部１８はＣｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ（ＣＡＭ）を用いて注目領域を抽出してもよい。ＣＡＭは、特徴マップと、Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ（ＧＡＰ）から被検出クラスへのエッジに対応する重みとに基づいて、ニューラルネットワークによる判断の根拠を特定する手法である。解析部１８はＧｒａｄ－ＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ ＣＡＭ）を用いてもよい。Ｇｒａｄ－ＣＡＭは、ＣＡＭの計算で用いられる重みを逆伝播時の勾配で代用する手法であり、これにより、様々な種類のニューラルネットワークにおいて判断の根拠を特定できる。解析部１８はＧｒａｄ－ＣＡＭ＋＋、Ｓｃｏｒｅ－ＣＡＭ、Ａｂｌａｔｉｏｎ－ＣＡＭ、Ｅｉｇｅｎ－ＣＡＭ、またはＩｎｔｅｇｒａｔｅｄ Ｇｒａｄ－ＣＡＭを用いてもよい。

ステップＳ２０３では、実配置評価部１７が配置を調整するか否かを判定する。一例では、実配置評価部１７は配置推論器から出力された評価値が「不良」である場合には配置を調整すると判定し、その評価値が「良」である場合には配置を調整しないと判定する。あるいは、実配置評価部１７は配置推論器から出力された評価値が所与の閾値未満である場合には配置を調整すると判定し、その評価値がその閾値以上である場合には配置を調整しないと判定してもよい。一例では、配置を調整すると判定される場合には、指定領域８２に占める注目領域の割合が相対的に大きくなる。

配置を調整する場合には（ステップＳ２０３においてＹＥＳ）、処理はステップＳ２０４に進む。ステップＳ２０４では、調整情報生成部１９が配置を調整するための調整情報を生成する。調整情報は、実配置評価部１７が配置推論器を用いて実行する評価の結果（すなわち評価値）を上げることを目的として生成され、例えば、指定領域８２内で既定量の対象物をよりバランスよく配置するために用いられる。

一例では、調整情報生成部１９は注目領域に対応する部分領域を指定領域８２から特定する。調整情報生成部１９は注目領域と一致する部分領域を特定してもよいし、注目領域およびその周縁部を部分領域として特定してもよいし、注目領域の一部を部分領域として特定してもよい。いずれにしても、部分領域は指定領域８２内の現実の領域である。

調整情報生成部１９はその部分領域の位置に少なくとも基づいて調整情報を生成する。一例では、注目領域および部分領域は対象物が位置していない空き部分を示し、調整情報生成部１９は、既定量の対象物の一部をその空き部分に位置させるための調整情報を生成する。例えば、調整情報生成部１９は部分領域に隣接する一つの対象物を選択し、その対象物の少なくとも一部が部分領域に入るように該対象物の位置および姿勢の少なくとも一方を設定する。別の例では、注目領域および部分領域は二つの対象物が重なり合う部分を示し、調整情報生成部１９は、その重なりを解消するかまたは減らすための調整情報を生成する。例えば、調整情報生成部１９は重なり合う二つの対象物の一方を選択し、その対象物が他方の対象物から離れるように該一方の対象物の位置および姿勢の少なくとも一方を設定する。一例では、調整情報生成部１９は、選択された対象物と、現実の指定領域８２での該対象物のピッキングポイントと、設定された該対象物の位置または姿勢とを示す追加情報を生成する。

ステップＳ２０５では、ロボット制御部２０が調整情報に基づいてロボット３を制御して、該ロボット３に選択された対象物の位置または姿勢を変更させる。ロボット制御部２０は、選択された対象物の現在の位置または姿勢を、設定された位置または姿勢に変更するためのロボット３またはエンドエフェクタ４のパスを、調整情報および現在領域状態に基づいて生成する。そのパスは、その対象物についての現在の位置から設定された位置までの区間を含む。ロボット制御部２０はその区間においてロボット３またはエンドエフェクタ４が障害物（例えば、指定領域８２を規定する物体、および他の対象物）と干渉しないようにパスを生成する。ロボット制御部２０は生成されたパスに沿ってロボット３またはエンドエフェクタ４を動作させるための一連の制御信号を生成し、その制御信号をモータ制御装置２に順次出力する。モータ制御装置２は、モータを動かすための電力を制御信号に基づいて順次生成し、その電力をモータに順次供給する。この結果、ロボット３は選択された対象物の位置および姿勢の少なくとも一方を現実の指定領域８２内で変更する。例えば、ロボット３はその対象物の少なくとも一部が部分領域に入るように該対象物を動かす。別の例では、ロボット３は隣接する二つの対象物間の重なりが減るように一方の対象物を動かす。

ステップＳ２０５の後に処理はステップＳ２０１に戻り、ステップＳ２０１～Ｓ２０３の処理が再び実行される。実配置評価部１７は、既定量の対象物の少なくとも一部の配置が調整された指定領域８２の現在領域状態（すなわち、変更された最終状態）を配置推論器により評価する（ステップＳ２０１）。解析部１８はその評価における配置推論器の計算プロセスを解析して注目領域を抽出する（ステップＳ２０２）。実配置評価部１７は指定領域８２内の配置を更に調整するか否かを判定する（ステップＳ２０３）。

配置を調整しない場合には（ステップＳ２０３においてＮＯ）、処理はステップＳ２０６に進む。ステップＳ２０６では実配置評価部１７が指定領域８２内の配置を確定する。この結果、ロボットシステム１（またはロボットコントローラ１０）は一つの指定領域８２についての処理を終了する。既定量の対象物を収容する指定領域８２は自動的にまたは人手により作業空間から他の所定の場所に移される。

ロボットシステム１は処理フローＳ１を繰り返し実行し得る。例えば対象物が食品であり指定領域８２がパックである場合には、ロボットシステム１は空のパックに既定量の食品を配置する処理を繰り返し実行し得る。この繰り返し処理によって、既定量の食品を収容するパックが最終製品または中間品として得られる。

図９は指定領域８２の最終状態の二つの例を示す図である。いずれの例でも、対象物は唐揚げであり、最終状態は５個の唐揚げが指定領域８２に配置された状態である。したがって、既定量の対象物は５個の唐揚げである。最終状態３０１では５個の対象物９５は指定領域８２の全体にわたってバランス良く配置されており、この場合には実配置評価部１７は配置を調整しないと判定する。一方、最終状態３０２では指定領域８２の右下部分が比較的大きく空いている。この場合には、実配置評価部１７は配置を調整すると判定し、解析部１８はその右下部分を注目領域として抽出する。調整情報生成部１９はその注目領域に対応する部分領域（例えばその右下部分）を指定領域８２から特定し、少なくとも一つの対象物９５をその部分領域に向けて動かすための調整情報を生成する。

［効果］
以上説明したように、本開示の一側面に係るロボット制御システムは、少なくとも一つの対象物が配置される指定領域の現在の状態を現在領域状態として検出する領域検出部と、現在領域状態に基づいて、指定領域に追加する追加対象物に関する追加情報を生成する生成部と、追加情報に基づいて、追加対象物を指定領域内に配置させるようにロボットを制御するロボット制御部とを備える。

本開示の一側面に係るロボット制御方法は、少なくとも一つのプロセッサを備えるロボット制御システムによって実行されるロボット制御方法であって、少なくとも一つの対象物が配置される指定領域の現在の状態を現在領域状態として検出するステップと、現在領域状態に基づいて、指定領域に追加する追加対象物に関する追加情報を生成するステップと、追加情報に基づいて、追加対象物を指定領域内に配置させるようにロボットを制御するステップとを含む。

本開示の一側面に係るロボット制御プログラムは、少なくとも一つの対象物が配置される指定領域の現在の状態を現在領域状態として検出するステップと、現在領域状態に基づいて、指定領域に追加する追加対象物に関する追加情報を生成するステップと、追加情報に基づいて、追加対象物を指定領域内に配置させるようにロボットを制御するステップとをコンピュータに実行させる。

このような側面においては、指定領域の現在の状態に基づいて追加対象物がその指定領域に配置されるので、適切な対象物を指定領域に適切に配置できる。一例では、指定領域内の空き部分の形状、体積、または面積を考慮して、その空き部分に配置するのが適当であると見込まれる対象物を追加対象物として配置できる。別の例では、不定形の対象物を適切に配置したり、判断基準が曖昧な作業を自動化したりすることが可能になる。

他の側面に係るロボット制御システムでは、少なくとも現在領域状態に基づいて、少なくとも追加対象物が配置された指定領域の状態を予想領域状態としてシミュレーションする計画部を更に備え、生成部は、予想領域状態に基づいて追加情報を生成してもよい。対象物が追加された指定領域の状態がシミュレーションにより予想領域状態として予測され、その予測に基づいて追加情報が生成される。このようなシミュレーションを導入することで、適切な追加対象物をより精度良く判定して、その追加対象物を指定領域内に配置できる。

他の側面に係るロボット制御システムでは、計画部によりシミュレーションされた複数の予想領域状態のそれぞれを評価する評価部を更に備え、計画部は、評価部による評価結果に基づいて一つの予想領域状態を選択し、生成部は、選択された一つの予想領域状態に基づいて追加情報を生成してもよい。複数の予想領域状態のそれぞれを評価することで、客観的に適切であると見込まれる追加対象物をより精度良く判定できる。

他の側面に係るロボット制御システムでは、評価部は、少なくとも一つの対象物が指定領域に配置された状態である複数の配置後領域状態に基づいて予め学習された推論器を用いて、複数の予想領域状態のそれぞれを評価してもよい。この場合には、人の感性を推論器に反映させることができ、ひいては、人の感性に基づく作業をロボットに実現させることが可能になる。したがって、人手による作業と同じように追加対象物を自動的に配置できる。

他の側面に係るロボット制御システムでは、計画部は、予想領域状態として、追加対象物を含む既定量の対象物が配置された指定領域の状態をシミュレーションしてもよい。指定領域の最終状態の予想に基づいて追加情報が生成されるので、既定量の対象物を指定領域内に適切に配置することが可能になる。すなわち、指定領域の適切な最終状態を提供できる。例えば、パックに食品を適切に盛り付けることができる。

他の側面に係るロボット制御システムでは、計画部は、追加対象物の質量を予測し、該質量に基づいて予想領域状態をシミュレーションしてもよい。追加対象物の質量を予測することで、予想領域状態をより詳細にシミュレーションできる。その結果、より確実に、既定量の対象物を指定領域内に配置できる。

他の側面に係るロボット制御システムでは、生成部は、現在領域状態に基づいて、指定領域内における追加対象物の位置および姿勢の少なくとも一方を決定し、決定された位置および決定された姿勢の少なくとも一方を示す追加情報を生成してもよい。指定領域での追加対象物の位置または姿勢が現在領域状態に基づいて決定されるので、追加対象物を指定領域により適切に配置できる。例えば、追加対象物を見栄え良く指定領域に置くことができる。

他の側面に係るロボット制御システムでは、追加対象物の候補となる複数の候補物を検出する候補検出部を更に備え、生成部は、複数の候補物に基づいて追加対象物を選択し、選択された追加対象物を示す追加情報を生成してもよい。検出された複数の候補物に基づいて追加対象物が選択されるので、適切な追加対象物を指定領域に配置できる。

他の側面に係るロボット制御システムは、候補検出部は、複数の候補物のそれぞれについて、該候補物の品質が所定の品質基準を満たすか否かを判定し、品質基準を満たさない候補物を、生成部による選択の対象から除外してもよい。この構成により、指定領域に配置される対象物の品質を保証することが可能になる。

他の側面に係るロボット制御システムでは、指定領域に既定量の対象物が配置されるように、指定領域への追加対象物の配置を繰り返す反復制御部を更に備え、反復制御部は、ロボットにより追加対象物が配置されるたびに、領域検出部に現在領域状態を検出させ、生成部に、指定領域に追加する次の追加対象物に関する次の追加情報を生成させ、ロボット制御部に、次の追加対象物を指定領域内に配置させるようにロボットを制御させてもよい。この構成により、或る追加対象物が指定領域に配置されたことに応答して、すなわち、指定領域の最新の状態に基づいて、別の追加対象物を指定領域に適切に配置できる。

他の側面に係るロボット制御システムでは、評価部は、既定量の対象物が配置された指定領域の状態である最終状態を更に評価してもよい。予想領域状態の評価に加えて、既定量の対象物が配置された後の指定領域の状態（すなわち最終状態）も更に評価することで、対象物の配置を二重に確認できる。加えて、この２種類の評価を実行する評価部を用意することで、ロボット制御システムの構成を簡単化できる。

他の側面に係るロボット制御システムでは、評価部による評価結果が上がるように、最終状態に基づいて、既定量の対象物の少なくとも一部の位置および姿勢の少なくとも一方を指定領域内で変更させるための調整情報を生成する調整部を更に備え、ロボット制御部は、調整情報に基づいてロボットを制御してもよい。最終状態の評価の結果に応じて指定領域内の対象物の位置または姿勢が自動的に調整されるので、指定領域内の対象物の配置をより適切にすることができる。

他の側面に係るロボット制御システムでは、評価部による評価において用いられた推論器の計算プロセスを解析して、該推論器による最終状態の評価の根拠を示す注目領域を抽出する解析部を更に備え、調整部は、注目領域に対応する部分領域を指定領域から特定し、部分領域の位置に少なくとも基づいて調整情報を生成してもよい。この構成により、調整されるべき対象物を適切に選択すると共に、その対象物をより適切に調整することができる。

［変形例］
以上、本開示の実施形態に基づいて詳細に説明した。しかし、本開示は上記の例に限定されるものではない。本開示は、その要旨を逸脱しない範囲で様々な変形が可能である。

一例では、シミュレーション評価部１４および実配置評価部１７は共通の配置推論器を用いて指定領域８２内の状態を評価する。この場合、これら二つの機能モジュールの違いは、配置推論器に入力される画像が、予想領域状態（仮想の配置）を映すか、それとも実配置を映すかという点であるといえる。したがって、これら二つの機能モジュールは一つの評価部として統合されてもよい。

本開示に係るロボット制御システムはロボットコントローラ以外のコンピュータシステムまたは装置に適用されてもよい。例えば、ロボット制御システムは、１以上のロボットコントローラを統括的に管理する上位コントローラに適用されてもよい。

ロボット制御システムのハードウェア構成は、プログラムの実行により各機能モジュールを実現する態様に限定されない。例えば、上述した機能モジュール群の少なくとも一部は、その機能に特化した論理回路により構成されていてもよいし、該論理回路を集積したＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）により構成されてもよい。

少なくとも一つのプロセッサにより実行される方法の処理手順は上記の例に限定されない。例えば、上述したステップまたは処理の一部が省略されてもよいし、別の順序で各ステップが実行されてもよい。また、上述したステップのうちの２以上のステップが組み合わされてもよいし、ステップの一部が修正または削除されてもよい。あるいは、上記の各ステップに加えて他のステップが実行されてもよい。

ステップＳ１５において、候補検出部１２はロボット制御部２０と協調して、品質基準を満たさない候補物を不良物としてストック領域８１から物理的に取り除いてもよい。一例では、候補検出部１２は不良物のピッキングポイントを検出し、その不良物およびピッキングポイントを示す除去情報を生成する。ロボット制御部２０はその除去情報に基づいてロボット３を制御して、該ロボット３にその不良物をストック領域８１外の別の場所に移動させる。当然ながら不良物の移動先は指定領域８２とは異なる場所である。不良物を物理的に除去することで、その不良物によって隠れていた別の候補物が露出して候補検出部１２によって検出され得る。その結果、追加対象物の選択肢を増やせる可能性がある。

既定量の対象物が配置された指定領域８２を示す予想領域状態を得るためのステップＳ１６は、一つの指定領域８２に既定量の対象物を配置する間に、すなわち、１回の処理フローＳ１の間に、１回だけ実行されてもよい。この場合には、ロボットシステム１（またはロボットコントローラ１０）は最初に選択された予想領域状態に基づいて、それぞれの追加対象物について追加情報を順次生成し、追加対象物を指定領域８２に順次配置する。

ステップＳ１６１において、配置計画部１３は一つの追加対象物が配置された指定領域８２の状態を予想領域状態として生成してもよい。この予想領域状態は、既定量の対象物を収容した指定領域８２（すなわち指定領域８２の最終状態）を示すかもしれないし、最終状態に至る前の途中の状態であるかもしれない。例えば、現在領域状態が２個の対象物を収容する指定領域８２を示し、既定量が「５個」であるとする。この場合には、配置計画部１３は１個の追加対象物をストック領域８１から指定領域８２に仮想的に配置して、３個の対象物を収容した指定領域８２を示す予想領域状態を生成する。

ロボット制御システムは、シミュレーションによる配置計画（ステップＳ１６）を実行することなく、現在領域状態に基づいて追加情報を生成し、その追加情報に基づいてロボットを制御してもよい。ロボット制御システムは配置の最終検査（ステップＳ２０）を実行しなくてもよい。

ステップＳ２０５，Ｓ２０６において、調整情報生成部１９は指定領域８２内で少なくとも一つの対象物を入れ替えるための調整情報を生成し、ロボット制御部２０はその調整情報に基づいて、指定領域８２とストック領域８１との間で対象物を入れ替えてもよい。

ステップＳ２０において、ステップＳ２０２～Ｓ２０７が省略され、実配置評価部１７が指定領域８２の最終状態の評価結果を表示装置上に表示してもよい。したがって、解析部１８および調整情報生成部１９は省略されてよい。例えば、実配置評価部１７はその評価結果をテキスト、コンピュータグラフィック（ＣＧ）などの表現形式で表示する。この場合には、ユーザがその評価結果を参照して指定領域８２内の既定量の対象物の配置を調整してもよい。

コンピュータシステムまたはコンピュータ内で二つの数値の大小関係を比較する際には、「以上」および「よりも大きい」という二つの基準のどちらを用いてもよく、「以下」および「未満」という二つの基準のうちのどちらを用いてもよい。

１…ロボットシステム、２…モータ制御装置、３…ロボット、４…エンドエフェクタ、５…第１カメラ、６…第２カメラ、１０…ロボットコントローラ（ロボット制御システム）、１１…領域検出部、１２…候補検出部、１３…配置計画部、１４…シミュレーション評価部、１５…追加情報生成部、１６…反復制御部、１７…実配置評価部、１８…解析部、１９…調整情報生成部、２０…ロボット制御部、８１…ストック領域、８２…指定領域、９０…候補物、９３…追加対象物、９５…対象物。

Claims (14)

1. 少なくとも一つの対象物が配置される指定領域の現在の状態を現在領域状態として検出する領域検出部と、
   少なくとも前記現在領域状態に基づくシミュレーションによって、追加対象物を少なくとも含む１以上の対象物が配置された前記指定領域の複数の状態を複数の予想領域状態として生成する計画部と、
   少なくとも一つの対象物が前記指定領域に配置された状態である複数の配置後領域状態を示す複数の配置画像と、該複数の配置画像に対応する複数の配置の評価値とを用いて予め学習された推論器に、前記複数の予想領域状態を示す複数の画像のそれぞれを入力して、前記複数の予想領域状態のそれぞれについて前記評価値を算出する評価部と、
   算出された複数の前記評価値に基づいて前記複数の予想領域状態から前記計画部によって選択された一つの前記予想領域状態に基づいて、該選択された一つの予想領域状態における前記追加対象物の位置および姿勢の少なくとも一方を、前記指定領域における前記追加対象物の位置および姿勢の少なくとも一方として示す追加情報を生成する生成部と、
   前記追加情報によって示される前記位置および姿勢の少なくとも一方で前記追加対象物を前記指定領域内に配置させるように、ロボットを制御するロボット制御部と、
   を備えるロボット制御システム。
2. 前記推論器を学習するために用いられる前記複数の配置の評価値は、前記指定領域内の対象物間の色のバランスに基づいて設定されたものである、
   請求項１に記載のロボット制御システム。
3. 前記色のバランスは、複数の等級によって表現された色のバランスである、
   請求項２に記載のロボット制御システム。
4. 前記推論器は、ニューラルネットワークによって構築される機械学習モデルである、
   請求項１～３のいずれか一項に記載のロボット制御システム。
5. 前記計画部は、前記複数の予想領域状態のそれぞれについて、該予想領域状態として、前記追加対象物を含む既定質量の対象物が配置された前記指定領域の状態をシミュレーションする、
   請求項１～３のいずれか一項に記載のロボット制御システム。
6. 前記計画部は、
   前記複数の予想領域状態のそれぞれについて、前記指定領域内の前記１以上の対象物の全質量を予測し、
   前記複数の予想領域状態のそれぞれについて、前記全質量と既定質量との差が小さいほど高くなる質量スコアと、前記評価値が高くなるほど高くなる評価スコアとの合計値を算出し、
   複数の前記合計値に基づいて、前記複数の予想領域状態から前記一つの予想領域状態を選択する、
   請求項５に記載のロボット制御システム。
7. 前記追加対象物の候補となる複数の候補物を検出する候補検出部を更に備え、
   前記生成部は、前記複数の候補物から、前記選択された一つの予想領域状態における前記追加対象物を選択する、
   請求項１～３のいずれか一項に記載のロボット制御システム。
8. 前記候補検出部は、
   前記複数の候補物のそれぞれについて、該候補物の品質が所定の品質基準を満たすか否かを判定し、
   前記品質基準を満たさない前記候補物を、前記追加対象物として選択される対象から除外する、
   請求項７に記載のロボット制御システム。
9. 前記指定領域に既定量の対象物が配置されるように、前記指定領域への前記追加対象物の配置を繰り返す反復制御部を更に備え、
   前記反復制御部は、前記ロボットにより前記追加対象物が配置されるたびに、
   前記領域検出部に前記現在領域状態を検出させ、
   前記計画部に、前記指定領域に追加する次の追加対象物を少なくとも含む前記１以上の対象物が配置された前記指定領域の複数の状態を複数の新たな予想領域状態として生成させ、
   前記評価部に、前記複数の新たな予想領域状態を示す複数の新たな画像のそれぞれを前記推論器に入力して、前記複数の新たな予想領域状態のそれぞれについて新たな評価値を算出させ、
   前記生成部に、算出された複数の前記新たな評価値に基づいて前記複数の新たな予想領域状態から前記計画部によって選択された一つの前記予想領域状態に基づいて、前記次の追加対象物に関する次の追加情報を生成させ、
   前記ロボット制御部に、前記次の追加対象物を前記指定領域内に配置させるように前記ロボットを制御させる、
   請求項１～３のいずれか一項に記載のロボット制御システム。
10. 前記評価部は、既定量の前記対象物が配置された前記指定領域の状態である最終状態の評価値を更に算出する、
    請求項１～３のいずれか一項に記載のロボット制御システム。
11. 前記評価部によって算出される前記最終状態の前記評価値が上がるように、前記最終状態に基づいて、前記既定量の対象物の少なくとも一部の位置および姿勢の少なくとも一方を前記指定領域内で変更させるための調整情報を生成する調整部を更に備え、
    前記ロボット制御部は、前記調整情報に基づいて前記ロボットを制御する、
    請求項１０に記載のロボット制御システム。
12. 前記評価部による前記評価値の算出において用いられた前記推論器の計算プロセスを解析して、該推論器による前記最終状態の評価の根拠を示す注目領域を抽出する解析部を更に備え、
    前記調整部は、
    前記注目領域に対応する部分領域を前記指定領域から特定し、
    前記部分領域の位置に少なくとも基づいて前記調整情報を生成する、
    請求項１１に記載のロボット制御システム。
13. 少なくとも一つのプロセッサを備えるロボット制御システムによって実行されるロボット制御方法であって、
    少なくとも一つの対象物が配置される指定領域の現在の状態を現在領域状態として検出するステップと、
    少なくとも前記現在領域状態に基づくシミュレーションによって、追加対象物を少なくとも含む１以上の対象物が配置された前記指定領域の複数の状態を複数の予想領域状態として生成するステップと、
    少なくとも一つの対象物が前記指定領域に配置された状態である複数の配置後領域状態を示す複数の配置画像と、該複数の配置画像に対応する複数の配置の評価値とを用いて予め学習された推論器に、前記複数の予想領域状態を示す複数の画像のそれぞれを入力して、前記複数の予想領域状態のそれぞれについて前記評価値を算出するステップと、
    算出された複数の前記評価値に基づいて前記複数の予想領域状態から選択された一つの前記予想領域状態に基づいて、該選択された一つの予想領域状態における前記追加対象物の位置および姿勢の少なくとも一方を、前記指定領域における前記追加対象物の位置および姿勢の少なくとも一方として示す追加情報を生成するステップと、
    前記追加情報によって示される前記位置および姿勢の少なくとも一方で前記追加対象物を前記指定領域内に配置させるように、ロボットを制御するステップと、
    を含むロボット制御方法。
14. 少なくとも一つの対象物が配置される指定領域の現在の状態を現在領域状態として検出するステップと、
    少なくとも前記現在領域状態に基づくシミュレーションによって、追加対象物を少なくとも含む１以上の対象物が配置された前記指定領域の複数の状態を複数の予想領域状態として生成するステップと、
    少なくとも一つの対象物が前記指定領域に配置された状態である複数の配置後領域状態を示す複数の配置画像と、該複数の配置画像に対応する複数の配置の評価値とを用いて予め学習された推論器に、前記複数の予想領域状態を示す複数の画像のそれぞれを入力して、前記複数の予想領域状態のそれぞれについて前記評価値を算出するステップと、
    算出された複数の前記評価値に基づいて前記複数の予想領域状態から選択された一つの前記予想領域状態に基づいて、該選択された一つの予想領域状態における前記追加対象物の位置および姿勢の少なくとも一方を、前記指定領域における前記追加対象物の位置および姿勢の少なくとも一方として示す追加情報を生成するステップと、
    前記追加情報によって示される前記位置および姿勢の少なくとも一方で前記追加対象物を前記指定領域内に配置させるように、ロボットを制御するステップと、
    をコンピュータに実行させるロボット制御プログラム。

Images