JP7245959B2 - 機械学習方法およびロボットシステム - Google Patents

Description

この発明は、機械学習方法およびロボットシステムに関し、特に、複数のワークをばら積みされた状態で収容する容器からワークをハンド部により取り出して、取り出したワークをハンド部により設置するロボットの動作を学習する機械学習方法およびロボットシステムに関する。

従来、複数のワークをばら積みされた状態で収容する容器からワークをハンド部により取り出して、取り出したワークをハンド部により設置するロボットの動作を学習する機械学習方法が知られている。このような方法は、たとえば、特開２０１７－３０１３５号公報に開示されている。

上記特開２０１７－３０１３５号公報には、複数のワークをばら積みされた状態で収容する容器からワークをハンド部により取り出して、取り出したワークをハンド部によりコンベヤまたは作業台に設置するロボットの動作を学習する機械学習方法が開示されている。この機械学習方法では、容器からワークをハンド部により取り出す最適な動作を学習する。

特開２０１７－３０１３５号公報

しかしながら、上記特開２０１７－３０１３５号公報に記載された機械学習方法では、容器からワークをハンド部により取り出す最適な動作を学習する一方、ワークをハンド部により設置（載置）する動作は考慮されていない。このため、ハンド部により取り出したワークの保持のし直しが発生する場合がある。その結果、ワークの取り出し後の設置作業の効率化を図ることが困難であるという問題点がある。

この発明は、上記のような課題を解決するためになされたものであり、この発明の１つの目的は、ワークの取り出し後の設置作業の効率化を図ることが可能な機械学習方法およびロボットシステムを提供することである。

上記目的を達成するために、この発明の第１の局面による機械学習方法は、複数のワークをばら積みされた状態で収容する容器から、ワークを取り出して、決められた設置状態となるようにワークを設置するハンド部を備えるロボットの動作を学習する機械学習方法であって、ハンド部により設置完了後の決められた設置状態のワークを取り除く逆手順動作を学習するステップと、ワークを取り除く逆手順動作の学習結果に基づいて、ワークの設置順番を学習するステップと、を備える。

この発明の第１の局面による機械学習方法では、ハンド部により設置完了後の決められた設置状態のワークを取り除く逆手順動作を学習するステップと、ワークを取り除く逆手順動作の学習結果に基づいて、ワークの設置順番を学習するステップと、を設ける。これにより、取り出し後のワークを設置する動作を考慮して、ワークの設置順番を決めることができる。その結果、ハンド部により取り出したワークの保持のし直しが発生することを抑制することができる。すなわち、ハンド部により取り出したワークを保持のし直しをすることなく直接設置（載置）することができる。これにより、ワークの取り出し後の設置作業の効率化を図ることができる。

上記第１の局面による機械学習方法において、好ましくは、ワークを取り除く逆手順動作を学習するステップは、決められた設置状態のワークの全部または一部が無くなるまで、ハンド部によりワークを取り除く逆手順動作を繰り返すステップを含む。このように構成すれば、ハンド部により決められた設置状態のワークの全部または一部が無くなるまでワークを取り除く逆手順動作を繰り返して、ワークの逆手順動作を学習することができる。その結果、取り出し後のワークを設置する動作を十分に考慮して、ワークの設置順番を決めることができる。

この場合、好ましくは、ワークを取り除く逆手順動作を学習するステップは、ワークを取り除く順番を変更させながら、決められた設置状態のワークの全部または一部が無くなるまで、ハンド部によりワークを取り除く逆手順動作を繰り返すステップを含む。このように構成すれば、複数の設置順番を学習することができる。その結果、設置順番の選択肢を増やすことができるとともに、効率の高い設置順番を把握することができる。

上記ワークを取り除く順番を変更させながら、ワークを取り除く逆手順動作を繰り返す構成において、好ましくは、ワークの設置順番を学習するステップは、ワークを取り除く逆手順動作の学習結果に基づいて、複数の設置順番を学習するとともに、複数の設置順番の優先度を学習するステップを含む。このように構成すれば、複数の設置順番の優先度に基づいて、効率の高い設置順番を容易に選択することができる。その結果、ワークの取り出し後の設置作業の効率化を容易に図ることができる。

上記ワークを取り除く逆手順動作を繰り返す構成において、好ましくは、ワークを取り除く逆手順動作を学習するステップは、ワークを取り除く順番の一部を設定した状態で、決められた設置状態のワークの全部または一部が無くなるまで、ハンド部によりワークを取り除く逆手順動作を繰り返すステップを含む。このように構成すれば、ワークを取り除く順番の一部を設定した分だけ、ワークを取り除く順番を限定することができる。その結果、ワークを取り除く順番を限定した分だけ、学習に要する時間を短縮することができる。

上記第１の局面による機械学習方法において、好ましくは、ワークを取り除く逆手順動作の学習結果に基づいて、ハンド部により保持するワークの保持位置を学習するステップをさらに備える。このように構成すれば、ワークを設置する動作を考慮して、ワークの保持位置を決めることができる。その結果、ハンド部により取り出したワークの保持のし直しが発生することをより抑制することができる。これにより、ワークの取り出し後の設置作業の効率化をより図ることができる。

この場合、好ましくは、ワークの保持位置を学習するステップは、ワークの保持禁止部位、および、ワークの近傍の障害物のうちの少なくともいずれか１つを含む制約条件を考慮して、ワークの保持位置を学習するステップを含む。このように構成すれば、ワークの保持禁止部位、および、ワークの近傍の障害物などを回避可能な位置をワークの保持位置として学習することができる。その結果、適切なワークの保持位置を学習することができる。

上記第１の局面による機械学習方法において、好ましくは、ワークを取り除く逆手順動作の成功確率に基づいて、ハンド部、および、ワークを設置する治具パレットのうちの少なくとも１つの見直しをユーザに通知するステップをさらに備える。このように構成すれば、ユーザは、ハンド部、および、ワークを設置する治具パレットなどを見直すことができる。その結果、不適切なハンド部、および、ワークを設置する治具パレットなどが使用され続けることを抑制することができる。

上記第１の局面による機械学習方法において、好ましくは、ワークを取り除く逆手順動作を学習するステップは、ハンド部により複数種類のワークを取り除く逆手順動作を学習するステップを含む。このように構成すれば、複数種類のワークを扱う場合にも、ワークの取り出し後の設置作業の効率化を図ることができる。

上記目的を達成するために、この発明の第２の局面によるロボットシステムは、複数のワークをばら積みされた状態で収容する容器から、ワークを取り出して、決められた設置状態となるようにワークを設置するハンド部を備えるロボットと、ロボットの動作を学習する機械学習装置と、機械学習装置の学習結果に基づいて、ロボットの動作を制御する制御装置と、を備え、機械学習装置は、ハンド部により設置完了後の決められた設置状態のワークを取り除く逆手順動作を学習するとともに、ワークを取り除く逆手順動作の学習結果に基づいて、ワークの設置順番を学習するように構成されている。

この発明の第２の局面によるロボットシステムでは、機械学習装置を、ハンド部により設置完了後の決められた設置状態のワークを取り除く逆手順動作を学習するとともに、ワークを取り除く逆手順動作の学習結果に基づいて、ワークの設置順番を学習するように構成する。これにより、上記第１の局面による機械学習方法と同様に、ワークの取り出し後の設置作業の効率化を図ることができる。

上記第２の局面によるロボットシステムにおいて、好ましくは、機械学習装置は、ワークを取り除く逆手順動作の学習結果に基づいて、ハンド部により保持するワークの保持位置を学習するように構成されている。このように構成すれば、ワークを設置する動作を考慮して、ワークの保持位置を決めることができる。その結果、ハンド部により取り出したワークの保持のし直しが発生することをより抑制することができる。これにより、ワークの取り出し後の設置作業の効率化をより図ることができる。

この場合、好ましくは、機械学習装置は、容器からワークを取り出し可能で、かつ、ワークを設置可能なワークの保持位置を選択するように構成されている。このように構成すれば、ハンド部により取り出したワークの保持のし直しが発生することを確実に抑制することができる。これにより、ワークの取り出し後の設置作業の効率化を確実に図ることができる。

上記容器からワークを取り出し可能で、かつ、ワークを設置可能なワークの保持位置を選択する構成において、好ましくは、機械学習装置は、ワークの取り出し成功確率に基づいて、容器からワークを取り出し可能なワークの保持位置を抽出するとともに、ワークの設置成功確率に基づいて、ワークを設置可能なワークの保持位置を抽出するように構成されている。このように構成すれば、容器からワークを取り出し可能で、かつ、ワークを設置可能なワークの保持位置を容易に抽出することができる。

本発明によれば、上記のように、ワークの取り出し後の設置作業の効率化を図ることが可能な機械学習方法およびロボットシステムを提供することができる。

本発明の一実施形態によるロボットシステムを示したブロック図である。 本発明の一実施形態によるロボットによるワークの設置を説明するための模式図である。 本発明の一実施形態による逆手順動作の一例を説明するためのフローチャートである。 本発明の一実施形態による逆手順動作の学習結果に基づくワークの設置順番の学習を説明するための模式図である。 本発明の一実施形態による逆手順動作の学習結果に基づくワークの保持位置の学習を説明するための模式図である。 本発明の一実施形態による逆手順動作の成功確率が低い場合を説明するための模式図である。 本発明の一実施形態による逆手順動作の成功確率が低い場合のユーザへの通知を説明するための模式図である。 本発明の一実施形態による学習および実行動作を説明するためのフローチャートである。

以下、本発明を具体化した実施形態を図面に基づいて説明する。

図１を参照して、本発明の一実施形態によるロボットシステム１００の構成について説明する。

（ロボットシステムの構成）
本実施形態によるロボットシステム１００は、複数のワークＷをばら積みされた状態で収容する容器（ビン）ＣからワークＷを取り出して、決められた設置状態ＳとなるようにワークＷを治具パレットＰ１に設置するように構成されている。ワークＷは、特に限られないが、たとえば、ねじおよびナットなどの小型の部品である。ロボットシステム１００は、図１に示すように、ロボット１０と、機械学習装置２０と、制御装置３０と、撮像装置４０とを備えている。

図２に示すように、ロボット１０は、ワークＷに対する作業を行うロボットアームである。具体的には、ロボット１０は、垂直多関節ロボットである。ロボット１０は、ハンド部（エンドエフェクタ）１１を含んでいる。ハンド部１１は、容器ＣからワークＷを取り出して、取り出したワークＷを治具パレットＰ１に設置するように構成されている。ハンド部１１は、容器ＣからのワークＷの取り出しと、取り出したワークＷの治具パレットＰ１への設置とを繰り返すことにより、決められた設置状態Ｓとなるように治具パレットＰ１にワークＷを設置するように構成されている。ハンド部１１は、ワークＷを保持（把持）するための複数の爪部１１ａを有している。

図１に示すように、機械学習装置２０は、ロボット１０の動作を学習（機械学習）する装置である。具体的には、機械学習装置２０は、プロセッサとメモリとを含むパーソナルコンピュータである。機械学習装置２０が行う機械学習としては、特に限られないが、たとえば、教師付き学習、教師なし学習、および、強化学習などを採用することができる。本実施形態では、機械学習装置２０が行う機械学習として、強化学習が採用されている。

機械学習装置２０は、状態量観測部２１と、動作結果取得部２２と、学習部２３と、意思決定部２４と、表示部２５とを含んでいる。なお、状態量観測部２１と、動作結果取得部２２と、学習部２３と、意思決定部２４とは、ソフトウェア的な機能ブロックとして図示されている。状態量観測部２１と、動作結果取得部２２と、学習部２３と、意思決定部２４とは、１つのハードウェア的な回路（ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）など）により構成されていてもよいし、複数のハードウェア的な回路により構成されていてもよい。

状態量観測部２１は、ロボット１０およびワークＷの状態量を観測するように構成されている。具体的には、状態量観測部２１は、撮像装置４０からの出力データに基づいて、ロボット１０およびワークＷの状態量を観測するように構成されている。状態量観測部２１が観測する状態量は、たとえば、ハンド部１１の位置、ハンド部１１の姿勢、および、ワークＷの位置などを含んでいる。動作結果取得部２２は、ロボット１０の動作結果を取得するように構成されている。具体的には、動作結果取得部２２は、撮像装置４０からの出力データに基づいて、ロボット１０の動作結果を取得するように構成されている。動作結果取得部２２が取得する動作結果は、たとえば、ハンド部１１によりワークＷを取り除く逆手順動作（後述する）の動作結果などを含んでいる。

学習部２３は、ロボット１０の動作を学習するように構成されている。具体的には、学習部２３は、状態量観測部２１の観測結果、および、動作結果取得部２２の取得結果に基づいて、ロボット１０の動作を学習するように構成されている。なお、学習部２３の学習の詳細については、後述する。意思決定部２４は、ロボット１０の動作を決定するように構成されている。具体的には、意思決定部２４は、学習部２３の学習結果に基づいて、ロボット１０の動作を決定するように構成されている。表示部２５は、設定画面、および、通知画面などを表示するように構成されている。表示部２５は、たとえば、液晶パネルを含む液晶表示部である。

制御装置３０は、ロボット１０の動作を制御する制御回路を含む装置である。具体的には、制御装置３０は、機械学習装置２０の学習結果に基づいて、ロボット１０の動作を制御するように構成されている。制御装置３０は、意思決定部２４からの出力データに基づいて、ロボット１０の関節およびハンド部１１の動作を制御するように構成されている。また、制御装置３０は、撮像装置４０の動作を制御するように構成されている。

撮像装置４０は、ロボット１０およびワークＷなどを撮像するカメラを含む装置である。撮像装置４０は、ロボット１０およびワークＷなどの３次元位置情報を含む３次元データを取得するための３次元データ取得装置として設けられている。撮像装置４０は、たとえば、ワークＷを取り除く逆手順動作時（後述する）のハンド部１１およびワークＷ、容器ＣからワークＷを取り出す動作時のハンド部１１およびワークＷなどを撮像するように構成されている。また、図２に示すように、撮像装置４０は、ロボット１０のアームの先端に設けられている。また、撮像装置４０は、ハンド部１１の近傍に設けられている。

（ワークの設置動作）
次に、ワークＷの設置動作について説明する。

図２に示すように、ロボット１０は、制御装置３０（図１参照）の指令に基づいて、ワークＷの設置動作を行う。まず、ロボット１０は、ハンド部１１により、容器ＣからワークＷを取り出す動作を行う。具体的には、ロボット１０は、ハンド部１１により、容器Ｃ内のワークＷを保持して、容器Ｃ外に取り出す動作を行う。

そして、ロボット１０は、ハンド部１１により、取り出したワークＷを治具パレットＰ１に設置する動作を行う。具体的には、ロボット１０は、ハンド部１１により、治具パレットＰ１の決められた位置までワークＷを移動させて、治具パレットＰ１の決められた位置に設置する動作を行う。

この際、容器Ｃから保持した姿勢で直接治具パレットＰ１にワークＷを設置できない場合には、ロボット１０は、ハンド部１１により、仮置きパレットＰ２にワークＷを一度設置して、保持し直す動作を行う。仮置きパレットＰ２は、ワークＷを仮置きするためのバッファとなるパレットである。仮置きパレットＰ２は、治具パレットＰ１の近傍に設けられている。

そして、ロボット１０は、治具パレットＰ１が決められた設置状態Ｓとなるまで、ハンド部１１により容器ＣからワークＷを取り出す動作と、ハンド部１１により取り出したワークＷを治具パレットＰ１に設置する動作とを繰り返す。そして、治具パレットＰ１が決められた設置状態（最終状態）Ｓとなると、決められた設置状態ＳのワークＷを含む治具パレットＰ１が次工程に引き渡される。

なお、図２では、便宜上、４種類のワークＷが、１つずつ治具パレットＰ１に設置される例を図示している。しかしながら、この例には限られない。たとえば、１種類のワークＷが、治具パレットＰ１に複数設置されてもよいし、４種類以外の複数種類のワークＷが、１または複数ずつ治具パレットＰ１に設置されてもよい。

（ロボットの動作の学習）
次に、ロボット１０の動作の学習について説明する。

機械学習装置２０は、複数のワークＷをばら積みされた状態で収容する容器ＣからワークＷを取り出して、決められた設置状態ＳとなるようにワークＷを治具パレットＰ１に設置するのに適したロボット１０の動作を学習する。

ここで、本実施形態では、図３に示すように、機械学習装置２０は、ハンド部１１により設置完了後の決められた設置状態（最終状態）ＳのワークＷを治具パレットＰ１から取り除く逆手順動作を学習するように構成されている。機械学習装置２０は、ロボット１０が複数種類のワークＷを扱う場合には、ハンド部１１により複数種類のワークＷを治具パレットＰ１から取り除く逆手順動作を学習するように構成されている。また、機械学習装置２０は、ロボット１０が１種類のワークＷを扱う場合には、ハンド部１１により１種類のワークＷを治具パレットＰ１から取り除く逆手順動作を学習するように構成されている。

また、機械学習装置２０は、ハンド部１１により決められた設置状態ＳのワークＷの全部が無くなるまで、ワークＷを治具パレットＰ１から取り除く逆手順動作を繰り返すように構成されている。また、機械学習装置２０は、ワークＷを取り除く逆手順動作の学習結果に基づいて、ワークＷの設置順番を学習するように構成されている、なお、ワークＷを治具パレットＰ１から取り除く逆手順動作は、ハンド部１１により治具パレットＰ１に設置されたワークＷを保持する動作と、ハンド部１１により保持したワークＷを治具パレットＰ１から離間させる動作とを含んでいる。また、ワークＷを治具パレットＰ１から取り除く逆手順動作とは、ワークＷを治具パレットＰ１に設置する順手順動作の逆の動作を意味している。

ここで、図３を参照して、ワークＷを治具パレットＰ１から取り除く逆手順動作の学習と、逆手順動作の学習結果に基づく設置順番の学習との一例を説明する。ここでは、ＡのワークＷ、ＢのワークＷ、ＣのワークＷ、および、ＤのワークＷの４つのワークＷが取り除かれる例を説明する。

まず、ステップＳ１において、機械学習装置２０は、全てのワークＷ（ＡのワークＷ、ＢのワークＷ、ＣのワークＷ、および、ＤのワークＷ）が治具パレットＰ１にある状態（設置状態Ｓ）での、ワークＷ毎の逆手順動作の成功確率を取得する。すなわち、機械学習装置２０は、ＡのワークＷ、ＢのワークＷ、ＣのワークＷ、および、ＤのワークＷの逆手順動作の成功確率を取得する。この成功確率の取得は、３次元データを用いたシミュレーション、実際のロボット１０の動作、および、これらを併用することなどにより行うことができる。

そして、ステップＳ２において、機械学習装置２０は、ハンド部１１により成功確率が高いＢのワークＷを治具パレットＰ１から１つ取り除き、残りの３つのワークＷ（ＡのワークＷ、ＣのワークＷ、および、ＤのワークＷ）が治具パレットＰ１にある状態での、ワークＷ毎の逆手順動作の成功確率を取得する。すなわち、機械学習装置２０は、ＡのワークＷ、ＣのワークＷ、および、ＤのワークＷの逆手順動作の成功確率を取得する。

そして、ステップＳ３において、機械学習装置２０は、ハンド部１１により成功確率が高いＣのワークＷを治具パレットＰ１から１つ取り除き、残りの２つのワークＷ（ＡのワークＷ、および、ＤのワークＷ）が治具パレットＰ１にある状態での、ワークＷ毎の逆手順動作の成功確率を取得する。すなわち、機械学習装置２０は、ＡのワークＷ、および、ＤのワークＷの逆手順動作の成功確率を取得する。

そして、ステップＳ４において、機械学習装置２０は、ハンド部１１によりＡのワークＷを治具パレットＰ１から１つ取り除き、最後の１つのワークＷ（ＤのワークＷ）が治具パレットＰ１にある状態での、最後のワークＷの逆手順動作の成功確率を取得する。すなわち、機械学習装置２０は、ＤのワークＷの逆手順動作の成功確率を取得する。

図３に示す例では、逆手順動作の成功確率に基づいて、ＢのワークＷ、ＣのワークＷ、ＡのワークＷ、ＤのワークＷの順に、ワークＷを治具パレットＰ１から取り除いた。この場合、機械学習装置２０は、決められた設置状態ＳとなるようにワークＷを治具パレットＰ１に設置するのに適した設置順番として、その逆順を学習する。すなわち、機械学習装置２０は、ＤのワークＷ、ＡのワークＷ、ＣのワークＷ、ＢのワークＷの順に、ワークＷを治具パレットＰ１に設置することを、決められた設置状態ＳとなるようにワークＷを治具パレットＰ１に設置するのに適した設置順番として学習する。

図４を参照して、ワークＷを取り除く逆手順動作の学習と、逆手順動作の学習結果に基づく設置順番の学習とのさらなる詳細を説明する。なお、図４の順番１～４は、それぞれ、図３のステップＳ１～Ｓ４に対応している。また、図４では、図示の都合上、順番１でＤのワークＷを選択した場合の図示を省略している。

図４に示すように、機械学習装置２０は、ワークＷを取り除く順番を変更させながら、ハンド部１１により決められた設置状態ＳのワークＷの全部が無くなるまで、ワークＷを治具パレットＰ１から取り除く逆手順動作を繰り返すように構成されている。この際、機械学習装置２０は、逆手順動作の成功確率がしきい値以下であるワークＷについては、学習を行わないように構成されている。これにより、学習の効率を高めることができる。しきい値は、特に限られないが、図４に示す例では、５０％とされている。

また、機械学習装置２０は、ワークＷを治具パレットＰ１から取り除く順番の一部を設定可能に構成されている。この場合、機械学習装置２０は、ワークＷを治具パレットＰ１から取り除く順番の一部を設定した状態で、決められた設置状態ＳのワークＷの全部が無くなるまで、ハンド部１１によりワークＷを治具パレットＰ１から取り除く逆手順動作を繰り返すように構成されている。設定する順番は、たとえば、最初、最後、および、途中のいずれかであり得る。設定する順番は、ユーザが指定することができる。

たとえば、最初に治具パレットＰ１から取り除くワークＷ（すなわち、最後に治具パレットＰ１に設置するワークＷ）にＡのワークＷを設定した場合、機械学習装置２０は、ＡのワークＷを最初に治具パレットＰ１から取り除くという条件を満たしつつ、決められた設置状態ＳのワークＷの全部が無くなるまで、ハンド部１１によりワークＷを治具パレットＰ１から取り除く逆手順動作を繰り返す。同様に、最後に治具パレットＰ１から取り除くワークＷ（すなわち、最初に治具パレットＰ１に設置するワークＷ）にＢのワークＷを設定した場合、機械学習装置２０は、ＢのワークＷを最後に治具パレットＰ１から取り除くという条件を満たしつつ、決められた設置状態ＳのワークＷの全部が無くなるまで、ハンド部１１によりワークＷを治具パレットＰ１から取り除く逆手順動作を繰り返す。

また、機械学習装置２０は、ワークＷを取り除く逆手順動作の学習結果に基づいて、複数の設置順番を学習するとともに、複数の設置順番の優先度を学習するように構成されている。具体的には、機械学習装置２０は、逆手順動作の成功確率に基づいて、複数の設置順番のスコアを取得するとともに、取得した複数の設置順番のスコアに基づいて、複数の設置順番の優先度を学習するように構成されている。設置順番のスコアは、特に限られないが、たとえば、設置順番の逆手順動作毎の成功確率の積および和などを採用することができる。この場合、スコアが大きいほど、優先度が大きくなる。また、優先度が大きい設置順番ほど、決められた設置状態ＳとなるようにワークＷを治具パレットＰ１に設置するのに適した設置順番である。

また、機械学習装置２０は、最も優先度が大きい設置順番を、デフォルトの設置順番として学習するように構成されている。なお、図４に示す例では、最もスコアが大きい（最も優先度が大きい）設置順番が複数（４つ）存在している。この場合、機械学習装置２０は、たとえばユーザの指定に基づいて、最も優先度が大きい複数の設置順番のうちのいずれかの設置順番を、デフォルトの設置順番として学習するように構成されている。

また、本実施形態では、図５に示すように、機械学習装置２０は、ワークＷを治具パレットＰ１から取り除く逆手順動作の学習結果に基づいて、ハンド部１１により保持するワークＷの保持位置を学習するように構成されている。なお、ハンド部１１により保持するワークＷの保持位置とは、ワークＷの保持位置と、ハンド部１１の保持姿勢とを含む概念である。すなわち、ハンド部１１により保持するワークＷの保持位置を学習するとは、ワークＷの保持位置と、ハンド部１１の保持姿勢とを学習することを意味している。

具体的には、機械学習装置２０は、ワークＷの保持禁止部位、および、ワークＷの近傍の障害物を含む制約条件を考慮して、ワークＷの保持位置を学習するように構成されている。ワークＷの保持禁止部位とは、たとえば、治具パレットＰ１に挿入されるワークＷの部位（保持するとワークＷを治具パレットＰ１に設置できない部位）、および、そもそも保持自体が禁止されている部位などである。また、ワークＷの近傍の障害物は、たとえば、ワークＷの近傍の他のワークＷ、および、ワークＷの近傍の壁などである。

機械学習装置２０は、ワークＷを治具パレットＰ１から取り除く逆手順動作の学習結果に基づいて、逆手順動作においてハンド部１１により保持可能なワークＷの保持位置と、逆手順動作においてハンド部１１により保持不可能なワークＷの保持位置とを学習するように構成されている。言い換えると、機械学習装置２０は、ワークＷを治具パレットＰ１から取り除く逆手順動作の学習結果に基づいて、順手順動作においてワークＷを治具パレットＰ１に設置可能なワークＷの保持位置と、順手順動作において設置不可能なワークＷの保持位置とを学習するように構成されている。

また、本実施形態では、図６および図７に示すように、機械学習装置２０は、ワークＷを治具パレットＰ１から取り除く逆手順動作の成功確率に基づいて、ハンド部１１、および、治具パレットＰ１の見直しをユーザに通知するように構成されている。具体的には、機械学習装置２０は、最初にワークＷを治具パレットＰ１から取り除く場合に、全てのワークＷの逆手順動作の成功確率がしきい値以下である場合、ハンド部１１、および、治具パレットＰ１の見直しをユーザに通知するように構成されている。しきい値は、特に限られないが、たとえば、１００％とすることができる。また、機械学習装置２０は、表示部２５に通知を表示することにより、ハンド部１１、および、治具パレットＰ１の見直しをユーザに通知するように構成されている。

（学習および実行動作）
次に、図８を参照して、ロボットシステム１００による学習および実行動作をフローチャートに基づいて説明する。ここでは、３次元データを用いたシミュレーションにより、学習を行う例を説明する。

図８に示すように、まず、ステップＳ１１において、３次元データの作成が行われる。具体的には、ワークＷ、ハンド部１１、および、ワークＷを設置していない状態の治具パレットＰ１の３次元データの作成が行われる。３次元データの作成は、特に限られないが、たとえば、ＣＡＤデータを読み込むこと、および、３次元形状測定器により形状を測定することなどにより行うことができる。また、３次元形状測定器としては、専用の測定器を準備してもよいが、ロボットシステム１００の撮像装置４０を用いることもできる。

そして、ステップＳ１２において、ワークＷを設置完了後の治具パレットＰ１の３次元データの作成が行われる。すなわち、ワークＷが設置状態Ｓで設置された治具パレットＰ１の３次元データの作成が行われる。３次元データの作成は、ステップＳ１１と同様に、ＣＡＤデータを読み込むこと、および、３次元形状測定器により形状を測定することなどにより行うことができる。また、ステップＳ１１と同様に、３次元形状測定器としては、ロボットシステム１００の撮像装置４０を用いることもできる。

そして、ステップＳ１３において、ワークＷを治具パレットＰ１から取り除く逆手順動作による学習が行われる。ステップＳ１３では、上記の通り、ハンド部１１により設置完了後の決められた設置状態ＳのワークＷを治具パレットＰ１から取り除く逆手順動作を学習するステップと、ワークＷを治具パレットＰ１から取り除く逆手順動作の学習結果に基づいて、ワークＷの設置順番を学習するステップと、ワークＷを治具パレットＰ１から取り除く逆手順動作の学習結果に基づいて、ワークＷの保持位置を学習するステップとが行われる。これらの学習が、ステップＳ１１およびＳ１２で作成した３次元データを用いたシミュレーションにより行われる。

なお、シミュレーションではなく、実際にロボット１０を動作させることにより学習を行う場合には、実際にワークＷが設置状態Ｓで設置された治具パレットＰ１を準備する。そして、準備した治具パレットＰ１に対して逆手順動作を行うことにより学習を行う。この際、撮像装置４０による撮像を行いながら、逆手順動作を行う。これにより、撮像装置４０からの出力データに基づいて、状態量観測部２１により、逆手順動作における、ハンド部１１の位置、ハンド部１１の姿勢、および、ワークＷの位置などを観測することができる。また、撮像装置４０からの出力データに基づいて、動作結果取得部２２により、ハンド部１１によりワークＷを取り除く逆手順動作の動作結果（成否）を取得することができる。

そして、ステップＳ１４において、機械学習装置２０の学習結果に基づくワークＷの設置が実行される。具体的には、ステップＳ１４では、ハンド部１１により、容器ＣからワークＷを取り出して、決められた設置状態ＳとなるようにワークＷを治具パレットＰ１に設置するステップが行われる。この際、機械学習装置２０は、逆手順動作の学習結果に基づいて、設置順番を選択する。基本的には、機械学習装置２０は、デフォルトの設置順番を、実行する設置順番として選択する。しかしながら、デフォルトの設置順番では設置を行うことができない場合には、機械学習装置２０は、学習した設置順番のうちデフォルトの設置順番以外の設置順番を、実行する設置順番として選択する。この場合、機械学習装置２０は、学習したデフォルトの設置順番以外の設置順番のうち、優先度が大きくかつ設置を行うことが可能な設置順番を、実行する設置順番として選択する。

また、機械学習装置２０は、逆手順動作の学習結果および容器Ｃ内のワークＷの収容状態に基づいて、容器ＣからワークＷを取り出す際のワークＷの保持位置を選択する。容器Ｃ内のワークＷの収容状態は、容器Ｃ内のワークＷを撮像した撮像装置４０からの出力データに基づいて、取得することができる。機械学習装置２０は、容器ＣからワークＷを取り出し可能で、かつ、ワークＷを治具パレットＰ１に設置可能なワークＷの保持位置を選択する。

具体的には、機械学習装置２０は、ワークＷの取り出し成功確率に基づいて、容器ＣからワークＷを取り出し可能なワークＷの保持位置を抽出するとともに、ワークＷの設置成功確率に基づいて、ワークＷを設置可能なワークＷの保持位置を抽出する。ワークＷの取り出し成功確率は、容器Ｃ内のワークＷを撮像した撮像装置４０からの出力データに基づいて、取得することができる。また、容器ＣからのワークＷの取り出し動作は、予め学習しておくことができる。予め学習しておけば、ワークＷの取り出し成功確率を精度よく取得することができる。また、ワークＷの設置成功確率は、学習した逆手順動作の成功確率に基づいて、取得することができる。機械学習装置２０は、抽出した容器ＣからワークＷを取り出し可能なワークＷの保持位置と、抽出したワークＷを設置可能なワークＷの保持位置とのうちから、容器ＣからワークＷを取り出し可能で、かつ、ワークＷを治具パレットＰ１に設置可能なワークＷの保持位置を選択する。

また、機械学習装置２０は、選択した情報を制御装置３０に送信する。そして、制御装置３０は、機械学習装置２０からの情報に基づいて、ロボット１０の動作を制御する。そして、ロボット１０は、制御装置３０の指令に基づいて、複数のワークＷをばら積みされた状態で収容する容器ＣからワークＷを取り出して、決められた設置状態ＳとなるようにワークＷを治具パレットＰ１に設置する。

なお、容器ＣからワークＷを取り出して、ワークＷを治具パレットＰ１に設置する順手順動作の結果に基づいて、機械学習装置２０の学習結果をさらに補正してもよい。たとえば、容器ＣからワークＷを取り出して、ワークＷを治具パレットＰ１に設置する動作が失敗した場合、順手順動作の結果に基づいて、逆手順動作の学習結果に基づくワークＷの保持位置の情報を補正することができる。また、たとえば、容器ＣからワークＷを取り出して、ワークＷを治具パレットＰ１に設置する動作が失敗した場合、順手順動作の結果に基づいて、逆手順動作の学習結果に基づく設置順番のスコア（優先度）の情報を補正することができる。

（本実施形態の効果）
本実施形態では、以下のような効果を得ることができる。

本実施形態では、上記のように、機械学習方法に、ハンド部１１により設置完了後の決められた設置状態ＳのワークＷを取り除く逆手順動作を学習するステップと、ワークＷを取り除く逆手順動作の学習結果に基づいて、ワークＷの設置順番を学習するステップと、を設ける。これにより、取り出し後のワークＷを設置する動作を考慮して、ワークＷの設置順番を決めることができる。その結果、ハンド部１１により取り出したワークＷの保持のし直しが発生することを抑制することができる。すなわち、ハンド部１１により取り出したワークＷを保持のし直しをすることなく直接設置（載置）することができる。これにより、ワークＷの取り出し後の設置作業の効率化を図ることができる。

また、本実施形態では、上記のように、ワークＷを取り除く逆手順動作を学習するステップは、決められた設置状態ＳのワークＷの全部または一部が無くなるまで、ハンド部１１によりワークＷを取り除く逆手順動作を繰り返すステップを含む。これにより、ハンド部１１により決められた設置状態ＳのワークＷの全部または一部が無くなるまでワークＷを取り除く逆手順動作を繰り返して、ワークＷの逆手順動作を学習することができる。その結果、取り出し後のワークＷを設置する動作を十分に考慮して、ワークＷの設置順番を決めることができる。

また、本実施形態では、上記のように、ワークＷを取り除く逆手順動作を学習するステップは、ワークＷを取り除く順番を変更させながら、決められた設置状態ＳのワークＷの全部または一部が無くなるまで、ハンド部１１によりワークＷを取り除く逆手順動作を繰り返すステップを含む。これにより、複数の設置順番を学習することができる。その結果、設置順番の選択肢を増やすことができるとともに、効率の高い設置順番を把握することができる。

また、本実施形態では、上記のように、ワークＷの設置順番を学習するステップは、ワークＷを取り除く逆手順動作の学習結果に基づいて、複数の設置順番を学習するとともに、複数の設置順番の優先度を学習するステップを含む。これにより、複数の設置順番の優先度に基づいて、効率の高い設置順番を容易に選択することができる。その結果、ワークＷの取り出し後の設置作業の効率化を容易に図ることができる。

また、本実施形態では、上記のように、ワークＷを取り除く逆手順動作を学習するステップは、ワークＷを取り除く順番の一部を設定した状態で、決められた設置状態ＳのワークＷの全部または一部が無くなるまで、ハンド部１１によりワークＷを取り除く逆手順動作を繰り返すステップを含む。これにより、ワークＷを取り除く順番の一部を設定した分だけ、ワークＷを取り除く順番を限定することができる。その結果、ワークＷを取り除く順番を限定した分だけ、学習に要する時間を短縮することができる。

また、本実施形態では、上記のように、機械学習方法は、ワークＷを取り除く逆手順動作の学習結果に基づいて、ハンド部１１により保持するワークＷの保持位置を学習するステップを備える。これにより、ワークＷを設置する動作を考慮して、ワークＷの保持位置を決めることができる。その結果、ハンド部１１により取り出したワークＷの保持のし直しが発生することをより抑制することができる。これにより、ワークＷの取り出し後の設置作業の効率化をより図ることができる。

また、本実施形態では、上記のように、ワークＷの保持位置を学習するステップは、ワークＷの保持禁止部位、および、ワークＷの近傍の障害物を含む制約条件を考慮して、ワークＷの保持位置を学習するステップを含む。これにより、ワークＷの保持禁止部位、および、ワークＷの近傍の障害物などを回避可能な位置をワークＷの保持位置として学習することができる。その結果、適切なワークＷの保持位置を学習することができる。

また、本実施形態では、上記のように、機械学習方法は、ワークＷを取り除く逆手順動作の成功確率に基づいて、ハンド部１１、および、ワークＷを設置する治具パレットＰ１の見直しをユーザに通知するステップを備える。これにより、ユーザは、ハンド部１１、および、ワークＷを設置する治具パレットなどを見直すことができる。その結果、不適切なハンド部１１、および、ワークＷを設置する治具パレットなどが使用され続けることを抑制することができる。

また、本実施形態では、上記のように、ワークＷを取り除く逆手順動作を学習するステップは、ハンド部１１により複数種類のワークＷを取り除く逆手順動作を学習するステップを含む。これにより、複数種類のワークＷを扱う場合にも、ワークＷの取り出し後の設置作業の効率化を図ることができる。

また、本実施形態では、上記のように、機械学習装置２０は、容器ＣからワークＷを取り出し可能で、かつ、ワークＷを設置可能なワークＷの保持位置を選択するように構成されている。これにより、ハンド部１１により取り出したワークＷの保持のし直しが発生することを確実に抑制することができる。これにより、ワークＷの取り出し後の設置作業の効率化を確実に図ることができる。

また、本実施形態では、上記のように、機械学習装置２０は、ワークＷの取り出し成功確率に基づいて、容器ＣからワークＷを取り出し可能なワークＷの保持位置を抽出するとともに、ワークＷの設置成功確率に基づいて、ワークＷを設置可能なワークＷの保持位置を抽出するように構成されている。これにより、容器ＣからワークＷを取り出し可能で、かつ、ワークＷを設置可能なワークＷの保持位置を容易に抽出することができる。

（変形例）
なお、今回開示された実施形態は、すべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した実施形態の説明ではなく請求の範囲によって示され、さらに請求の範囲と均等の意味および範囲内でのすべての変更（変形例）が含まれる。

たとえば、上記実施形態では、決められた設置状態となるようにワークを治具パレットに設置する例を示したが、本発明はこれに限られない。本発明では、決められた設置状態（組立状態）となるようにワークを組み立て品に設置してもよい。この場合、機械学習装置は、決められた設置状態（組立状態）のワークを組み立て品から取り除く逆手順動作を学習する。

また、上記実施形態では、ロボットが、垂直多関節ロボットである例を示したが、本発明はこれに限られない。本発明では、ロボットは、容器からワークを取り出して、取り出したワークを設置可能なロボットであれば、どのようなロボットであってもよい。たとえば、ロボットが、垂直多関節ロボット以外の水平多関節ロボットなどのロボットであってもよい。

また、上記実施形態では、撮像装置が、３次元データ取得装置として設けられている例を示したが、本発明はこれに限られない。本発明では、撮像装置以外の３次元レーザスキャニング装置などが３次元データ取得装置として設けられていてもよい。

また、上記実施形態では、撮像装置が、ロボットのアームの先端に設けられている構成の例を示したが、本発明はこれに限られない。本発明では、撮像装置が、ロボット以外の箇所に設けられていてもよい。たとえば、撮像装置を支持する支持部材をロボットの作業個所の近傍に設置してもよい。この場合、ロボットおよび容器を上方から撮像可能に、撮像装置が支持部材に支持されるのが好ましい。

また、上記実施形態では、ハンド部が、複数の爪部を有し、ワークを把持するように構成されている例を示したが、本発明はこれに限られない。本発明では、ハンド部は、ワークを保持可能であれば、どのように構成されていてもよい。たとえば、ハンド部が、負圧発生装置からの負圧によりワークを吸着するように構成されていてもよいし、電磁石の磁力によりワークを吸着するように構成されていてもよい。

また、上記実施形態では、機械学習装置が、決められた設置状態のワークの全部が無くなるまで、ハンド部によりワークを取り除く逆手順動作を繰り返すように構成されている例を示したが、本発明はこれに限られない。本発明では、機械学習装置が、決められた設置状態のワークの一部が無くなるまで、ハンド部によりワークを取り除く逆手順動作を繰り返すように構成されていてもよい。

また、上記実施形態では、機械学習装置が、逆手順動作の成功確率がしきい値以下であるワークについては、学習を行わないように構成されている例を示したが、本発明はこれに限られない。本発明では、機械学習装置が、逆手順動作の成功確率にかかわらず、全てのワークについて、学習を行うように構成されていてもよい。

また、上記実施形態では、機械学習装置が、ワークを取り除く順番の一部を設定可能に構成されている例を示したが、本発明はこれに限られない。本発明では、機械学習装置が、ワークを取り除く順番の一部を設定可能に構成されていなくてもよい。

また、上記実施形態では、機械学習装置が、ワークの保持禁止部位、および、ワークの近傍の障害物の両方を含む制約条件を考慮して、ワークの保持位置を学習するように構成されている例を示したが、本発明はこれに限られない。本発明では、機械学習装置が、ワークの保持禁止部位、および、ワークの近傍の障害物のうちのいずれか一方のみを含む制約条件を考慮して、ワークの保持位置を学習するように構成されていてもよい。

また、上記実施形態では、機械学習装置が、ワークを取り除く逆手順動作の成功確率に基づいて、ハンド部および治具パレットの両方の見直しをユーザに通知するように構成されている例を示したが、本発明はこれに限られない。本発明では、機械学習装置が、ワークを取り除く逆手順動作の成功確率に基づいて、ハンド部および治具パレットのうちのいずれか一方のみの見直しをユーザに通知するように構成されていてもよい。

１０ ロボット
１１ ハンド部
２０ 機械学習装置
３０ 制御装置
１００ ロボットシステム
Ｃ 容器
Ｐ１ 治具パレット
Ｓ 決められた設置状態
Ｗ ワーク

Claims (13)

1. 複数のワークをばら積みされた状態で収容する容器から、前記ワークを取り出して、決められた設置状態となるように前記ワークを設置するハンド部を備えるロボットの動作を学習する機械学習方法であって、
   前記ハンド部により設置完了後の前記決められた設置状態の前記ワークを取り除く逆手順動作を学習するステップと、
   前記ワークを取り除く逆手順動作の学習結果に基づいて、前記ワークの設置順番を学習するステップと、を備える、機械学習方法。
2. 前記ワークを取り除く逆手順動作を学習するステップは、前記決められた設置状態の前記ワークの全部または一部が無くなるまで、前記ハンド部により前記ワークを取り除く逆手順動作を繰り返すステップを含む、請求項１に記載の機械学習方法。
3. 前記ワークを取り除く逆手順動作を学習するステップは、前記ワークを取り除く順番を変更させながら、前記決められた設置状態の前記ワークの全部または一部が無くなるまで、前記ハンド部により前記ワークを取り除く逆手順動作を繰り返すステップを含む、請求項２に記載の機械学習方法。
4. 前記ワークの設置順番を学習するステップは、前記ワークを取り除く逆手順動作の学習結果に基づいて、複数の設置順番を学習するとともに、前記複数の設置順番の優先度を学習するステップを含む、請求項３に記載の機械学習方法。
5. 前記ワークを取り除く逆手順動作を学習するステップは、前記ワークを取り除く順番の一部を設定した状態で、前記決められた設置状態の前記ワークの全部または一部が無くなるまで、前記ハンド部により前記ワークを取り除く逆手順動作を繰り返すステップを含む、請求項２～４のいずれか１項に記載の機械学習方法。
6. 前記ワークを取り除く逆手順動作の学習結果に基づいて、前記ハンド部により保持する前記ワークの保持位置を学習するステップをさらに備える、請求項１～５のいずれか１項に記載の機械学習方法。
7. 前記ワークの保持位置を学習するステップは、前記ワークの保持禁止部位、および、前記ワークの近傍の障害物のうちの少なくともいずれか１つを含む制約条件を考慮して、前記ワークの保持位置を学習するステップを含む、請求項６に記載の機械学習方法。
8. 前記ワークを取り除く逆手順動作の成功確率に基づいて、前記ハンド部、および、前記ワークを設置する治具パレットのうちの少なくとも１つの見直しをユーザに通知するステップをさらに備える、請求項１～７のいずれか１項に記載の機械学習方法。
9. 前記ワークを取り除く逆手順動作を学習するステップは、前記ハンド部により複数種類の前記ワークを取り除く逆手順動作を学習するステップを含む、請求項１～８のいずれか１項に記載の機械学習方法。
10. 複数のワークをばら積みされた状態で収容する容器から、前記ワークを取り出して、決められた設置状態となるように前記ワークを設置するハンド部を備えるロボットと、
    前記ロボットの動作を学習する機械学習装置と、
    前記機械学習装置の学習結果に基づいて、前記ロボットの動作を制御する制御装置と、を備え、
    前記機械学習装置は、前記ハンド部により設置完了後の前記決められた設置状態の前記ワークを取り除く逆手順動作を学習するとともに、前記ワークを取り除く逆手順動作の学習結果に基づいて、前記ワークの設置順番を学習するように構成されている、ロボットシステム。
11. 前記機械学習装置は、前記ワークを取り除く逆手順動作の学習結果に基づいて、前記ハンド部により保持する前記ワークの保持位置を学習するように構成されている、請求項１０に記載のロボットシステム。
12. 前記機械学習装置は、前記容器から前記ワークを取り出し可能で、かつ、前記ワークを設置可能な前記ワークの保持位置を選択するように構成されている、請求項１１に記載のロボットシステム。
13. 前記機械学習装置は、前記ワークの取り出し成功確率に基づいて、前記容器から前記ワークを取り出し可能な前記ワークの保持位置を抽出するとともに、前記ワークの設置成功確率に基づいて、前記ワークを設置可能な前記ワークの保持位置を抽出するように構成されている、請求項１２に記載のロボットシステム。

Images