JP7474653B2 - 組立作業順序計画装置、及び組立作業順序計画方法 - Google Patents

Description

本発明は、組立作業順序計画装置、及び組立作業順序計画方法に関する。

複数の部品からなる製品の組立作業においては、事前に効率の良い作業方法と順序が計画される。組立作業現場では、作業員とロボットとが個別に作業を行う場合だけでなく、作業員とロボットとが混在して作業を行う場合がある。作業員とロボットとが混在する作業現場では、組立作業順序計画を効率化して生産の効率化を図ることが重要である。特に、ロボットによる作業は事前にロボットによる作業の内容を完全に定義しておく必要があり、ロボットの普及と低コスト化に伴うラインやセルのロボット構成の多様化が進む状況においては組立作業順序計画の自動化が望まれている。

組立作業順序の計画方法に関し、例えば特許文献１には、製品の３次元ＣＡＤ(Computer Aided Design)モデルから部品毎の部品属性と部品配置と他の部品との隣接関係情報を抽出し、部品間の結合優先関係を有向グラフとして生成し、隣接関係情報からアセンブリグラフを生成し、部品の分解順序を求めることで、その逆順序として組立順序を生成する技術が記載されている。

また、例えば特許文献２には、３次元ＣＡＤデータを入力とし、タスクプランナで組立作業計画を行い、組立作業はペトリネットによりモデル化し、最適経路を探索することでロボットプログラムをオフラインで生成する技術が記載されている。

さらに、例えば特許文献３には、ロボットによる作業動作のシミュレーションを実行して、実行結果に基づいて制御指令を判定する際、判定結果が良好な場合と不良な場合とにそれぞれ対する結果ラベルを訓練データとして、制御指令を学習する技術が記載されている。

特許第６１９９２１０号公報 特許第３７０５６７２号公報 特許第６４５７４２１号公報

特許文献１に記載の技術は、３次元ＣＡＤデータから抽出した部品間の結合の優先関係及び隣接関係に基づく有向グラフとアセンブリグラフとを用いて組立順序を生成するものであり、製品中にある部品の数に応じて膨大な数の組立順序が生成されてしまうことになる。また、結合の優先関係等をマニュアル設定する必要性があり、効率的に組立順序を決めることが困難である。さらに、作業主体の作業順序は生成できない。

特許文献２に記載の技術は、組立作業計画方法を含むが、組立順序は製品の状態レベル、対象移動レベル、手先移動レベルと階層化されておりペトリネットでモデル化される。ペトリネットを構成した段階で組立順序が定まるが、ペトリネットを自動構成（自動モデル化）する方法ではないため、ロボット及び作業員を作業主体とする組立作業順序の生成はできない。

特許文献３に記載の技術は、強化学習技術を利用して、ロボットを含む機械の制御指令を学習するものであり、作業動作のシミュレーションを実行することで学習を進める。組立作業順序は一連の作業動作を定める際にすでに定義されるものであるので、組立作業順序を生成するものではない。

本発明は、上記の点に鑑みてなされたものであって、製品を構成する各部品の組立順序と、ロボット及び作業員を含み得る作業主体の作業順序とを計画できるようにすることを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

上記課題を解決するため、本発明の一態様に係る組立作業順序計画装置は、複数の部品を組付けた部組品を経て最終的な製品に組立てられるまでの過程を表す情報を含む組立状態遷移情報を取得する情報取得部と、前記組立状態遷移情報に基づき、組付前の２つの前記部品または前記部組品からなる組立状態に対して作業主体が実行し得る作業を定義する組立作業定義部と、前記作業の実行の可否に関する制約条件を設定する制約条件設定部と、前記制約条件に従い、前記組立状態に対する前記作業の選択方法を強化学習する学習部と、前記強化学習の結果に基づいて前記製品の組立作業順序を生成する組立作業順序生成部と、を備えることを特徴とする。

本発明によれば、製品を構成する各部品の組立順序と、ロボット及び作業員を含み得る作業主体の作業順序とを計画することが可能となる。

上記した以外の課題、構成、及び効果は、以下の実施形態の説明により明らかにされる。

図１は、本発明の第１の実施形態に係る組立作業順序計画装置の構成例を示す図である。 図２は、組立作業環境の一例を示す図である。 図３は、複数の部品から成る製品の一例を示す図である。 図４は、図３に示された製品の組立状態遷移を表すＡＮＤ／ＯＲ木を示す図である。 図５は、図４に対応する各組立状態への遷移の一覧を示す図である。 図６は、製品の組立状態遷移に基づき、作業主体を１台のロボットとして設定した組立作業順序の一例、及び作業毎の組立状態を示す図である。 図７は、組立状態遷移、及び組立作業環境に基づき、作業主体を１台のロボットとして設定した組立作業順序の一例、及び作業毎の組立状態を示す図である。 図８は、組立状態遷移、及び組立作業環境に基づき、作業主体を２台のロボットとして設定した組立作業順序の一例、及び作業毎の組立状態を示す図である。 図９は、第１の実施形態に係る組立作業順序計画装置による組立作業順序計画処理の一例を説明するフローチャートである。 図１０は、本発明の第２の実施形態に係る組立作業順序計画装置の構成例を示す図である。 図１１は、複数の部品から成る製品の一例を示す図である。 図１２は、図１１の組立作業に対応する各組立状態への遷移の一覧を示している。 図１３は、製品の組立状態遷移、及び組立作業環境に基づき、作業主体を１台のロボット及び１名の作業員として設定した組立作業順序の一例、及び作業毎の組立状態を示す図である。 図１４は、第２の実施形態に係る組立作業順序計画装置による組立作業順序計画処理の一例を説明するフローチャートである。 図１５は、Ａ３Ｃの概要を説明するための図である。 図１６は、行動選択関数と状態価値関数の訓練の処理内容について説明するための図である。

以下、本発明の複数の実施形態について図面に基づいて説明する。なお、各実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。また、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る組立作業順序計画装置１０の構成例を示している。

組立作業順序計画装置１０は、ロボット及び作業員を含み得る作業主体により部品を組付け製品を完成させる際の組立作業順序を計画するためのものである。

組立作業順序計画装置１０は、演算部１１、記憶部１２、入力部１３、出力部１４、及び通信部１５の各機能ブロックを備える。

組立作業順序計画装置１０は、ＣＰＵ(Central Processing Unit)等のプロセッサ、ＤＲＡＭ(Dynamic Random Access Memory)等のメモリ、ＨＤＤ(Hard Disk Drive)やＳＳＤ(Solid State Drive)等のストレージ、キーボード、マウス、タッチパネル等の入力デバイス、ディスプレイ等の出力デバイス、及び、ＮＩＣ(Network Interface Card)等の通信モジュールを備えるパーソナルコンピュータ等の一般的なコンピュータから成る。

演算部１１は、コンピュータのプロセッサにより実現される。演算部１１は、情報取得部１１１、組立作業定義部１１２、制約条件設定部１１３、行動選択・価値関数構成部１１４、報酬設定部１１５、学習部１１６、及び組立作業順序生成部１１７の機能ブロックを有する。これらの機能ブロックは、コンピュータのプロセッサがメモリにロードされた所定のプログラムを実行することによって実現される。ただし、これらの機能ブロックの一部または全部を集積回路等によりハードウェアとして実現してもよい。

情報取得部１１１は、通信部１５を介して、インターネットや携帯電話通信網等からなるネットワーク１に接続されたＣＡＤ(Computer Aided Design)システム２０から組立作業環境・製品情報１２１、及び組立状態遷移情報１２２を取得して記憶部１２に格納する。

ここで、組立作業環境・製品情報１２１には、予めＣＡＤシステム２０によりＣＡＤデータとしてモデリングされている、組立作業環境に存在する物体（例えば、ロボット、ステージ、部品載置用トレイ、搬送装置、ロボットのアームに装着するハンドやツール、枠構造物等）の形状及び位置を表す情報が含まれる。さらに、組立作業環境・製品情報１２１には、製品を構成する複数の部品に関する情報が含まれる。

組立状態遷移情報１２２には、複数の部品を組付けた部組品を経て最終的な製品に組立てられるまでの過程を表す情報と、接触拘束条件が含まれる。ここで、接触拘束条件とは、部品間の接触による部品の移動方向の制約を表す。接触拘束条件によれば、組立過程における組立状態の遷移関係が得られる。

組立作業定義部１１２は、組立状態遷移情報１２２を参照し、組付前の２つの部品または部組品からなる組立状態に対して、組立作業を定義し、定義した組立作業を組立作業情報１２３として記憶部１２に格納する。なお、組立作業定義部１１２は、組立作業環境（ロボットのハンド、トレイ、ステージ等）の作業前の状態を設定することができる。さらに、組立作業定義部１１２は、例えば、ステージ等の組立作業環境の状態を遷移させる作業を設定することができる。

制約条件設定部１１３は、制約条件を設定し、制約条件情報１２４として記憶部１２に格納する。制約条件の設定とは、組立状態に対して実施できない作業を対応付けることである。組立状態遷移から組立作業を定義した場合、強化学習において、組立状態に対して作業を選択する場合、組立状態がその作業の事前に想定されたものではないときには、制約条件により、選択できない作業と判断される。組立作業環境の状態に対する作業の選択についても同様である。

なお、組立作業の順序に制約条件を設定してもよい。例えば、ある部品を組付ける前にある作業を実行しなければならない場合には、該部品が存在する状態で該作業が選択されなければならない。反対に、ある部品の組付後に、ある作業を実行しなければならない場合には、該部品が存在しない状態で該作業が選択されなければならない。

行動選択・価値関数構成部１１４は、組立作業順序を計画するための、組立状態に対する作業を選択し、組立作業順序を設定する強化学習に用いる、状態と行動との関係を表現する行動選択関数、及び、状態と状態価値との関係を表現する価値関数を構成する。なお、行動選択関数、及び価値関数を構成するためには、状態（ｓｔａｔｅ）、及び行動（ａｃｔｉｏｎ）の項目が必要であり、これらは、組立状態遷移情報１２２及び組立作業情報１２３から取得される。本実施形態の場合、組立状態が、強化学習技術分野における用語としての状態に相当し、作業が、強化学習技術分野における用語としての行動に相当する。

なお、強化学習を実現するためのアルゴリズムはテーブルＱ学習、関数近似法、さらにはそれらを修正、拡張した手法など多数存在する。本実施形態では、深層ニューラルネットワークを近似関数とした深層強化学習の1例であるｏｎ－ｐｏｌｉｃｙ手法のＡ３Ｃ(Asynchronous Advantage Actor-Critic)を採用する。Ａ３Ｃでは、状態を入力、選択される行動と価値関数を出力としてニューラルネットワークを構成する。ニューラルネットワークの中間層の層数、各層のノード数については事前に設定しておく。

他の深層強化学習としては、ｏｆｆ－ｐｏｌｉｃｙ手法のＤＱＮ(Deep Q-learning Network)があり、行動価値関数を深層ニューラルネットワークで構成することとなる。テーブルＱ学習では、状態と行動価値を対応付けるQテーブル(配列)を構成することとなる。いずれの方法を採用してもよいが、強化学習を行うためには行動選択と行動選択を評価するための価値を状態から求める仕掛けを構成することが必要となる。なお、強化学習については、図１５及び図１６を参照して後述する。

報酬設定部１１５は、組立状態に対して、制約条件に抵触するため実施できない作業が選択された場合には負の報酬を設定する。また、製品が完成し、組立作業の完了状態が得られた場合には正の報酬を設定する。

学習部１１６は、組立の初期状態から、組立状態に対する作業選択が失敗して組立失敗となるか、組立状態に対する作業選択が成功して組立作業が完了して組立成功となるかの、一連の行動を意味するエピソードを繰り返すことにより強化学習を実行する。

具体的には、エピソードを繰り返し、状態に対する行動選択を学習し、組立成功の結果が得られるようになれば、強化学習を完了する。強化学習が完了することによって、状態に対して良い行動が選択される行動選択関数が得られたこととなる。なお、１つのエピソードの処理においては、初期状態に対して行動を選択し、次の状態を得る。さらに行動を選択して、その次の行動を得る。このようにステップ毎に行動選択を繰返して状態を進め、行動選択を誤った場合、または許されない状態となった場合には、負の報酬を得てエピソードを終了する。反対に、成功した状態になった場合には、正の報酬を得てエピソードを終了する。以下、学習のことを訓練と称することもある。

組立作業順序生成部１１７は、学習部１１６による強化学習の結果に基づいて組立作業順序を設定する。具体的には、強化学習の結果得られた行動選択関数に基づき、組立の初期状態から組立作業が完了した組立成功の状態までの過程で選択された一連の行動を組立作業順序として生成する。また各作業段階での組立状態、組立作業環境の状態も生成する。

記憶部１２は、コンピュータのメモリ及びストレージによって実現される。記憶部１２には、組立作業環境・製品情報１２１、組立状態遷移情報１２２、組立作業情報１２３、及び制約条件情報１２４が格納される。記憶部１２には、これら以外の情報を格納するようにしてもよい。

入力部１３は、コンピュータの入力デバイスによって実現される。入力部１３は、オペレータ（ユーザ）からの各種の操作を受け付ける。出力部１４は、コンピュータの出力デバイスによって実現される。出力部１４は、例えば、操作入力画面を表示する。通信部１５、コンピュータの通信モジュールによって実現される。通信部１５は、ネットワーク１を介してＣＡＤシステム２０と接続し、ＣＡＤシステム２０から所定の情報を受信する。

ＣＡＤシステム２０は、組立作業順序計画装置１０からの要求に応じ、組立作業環境・製品情報１２１、及び組立状態遷移情報１２２を供給する。

次に、図２は、組立作業環境の一例を示している。

該組立作業環境には、２台のロボットＲ１，Ｒ２、台座３１１に設けられたステージ３１２、トレイ３２１，３２２、及び、ハンド設置台３３１，３３２が設けられている。

ロボットＲ１は、ハンドが交換可能であり、同図においてはハンド３０３が装着されている。同様に、ロボットＲ２は、ハンドが交換可能であり、同図においてはハンド３０４が装着されている。なお、本実施形態において、ハンドは、ロボット(マニピュレータ)のエンドエフェクタを意味し、必ずしも把持する構造を有するものに限らない。ハンドには、例えば、ドライバのようなツール(工具)も含まれる。

トレイ３２１，３２２には、次の作業でステージ３１２に移動、載置されて組付作業の対象となる部品が置かれている。ハンド設置台３３１，３３２には、現在装着されているハンド３０３，３０４と交換可能な交換用ハンド３３３，３３４が置かれている。

同図の組立作業環境では、２台のロボットＲ１，Ｒ２が同時に稼働してステージ３１２上に載置した部品を組付ける作業を実行することができる。

次に、図３は、組立作業順序計画装置１０にて組立作業順序を計画する製品４０の一例を示している。製品４０は、ベース部品Ａの上に板部品Ｂ,Ｃを配置し、それぞれをネジ部品Ｄ,Ｅによって締結、固定することにより完成する構造を有する。

図４は、図３に示された製品４０の組立状態遷移を表すＡＮＤ／ＯＲ木を示している。

該ＡＮＤ/ＯＲ木はツリー構造であって、単体の部品、２つ以上の部品が組付けられた部組品、または製品を表す各組立状態は、楕円で示す各ノード(節点)によって表わされる。ある組立状態から次の組立状態への遷移は、あるノードと他のノードとを接続するエッジ(稜線)によって表される。

組立状態は、部品単体はベース部品Ａ、板部品Ｂ，Ｃ、ネジ部品Ｄ，Ｅの５状態、２つの部品からなる部組品ＡＢ，ＡＣの２状態、３つの部品から成る部組品ＡＢＣ，ＡＢＤ、ＡＣＥの３状態、４つの部品から成る部組品ＡＢＣＤ，ＡＢＣＥの２状態、４つの部品から成る完成品ＡＢＣＤＥの１状態の全１３状態である。

例えば、ノードＡは、ベース部品Ａが単体で存在する組立状態を表し、ベース部品Ａに板部品Ｂを組付ける作業を行うことにより、部組品ＡＢの組立状態を表すノードＡＢに遷移する。また、例えば、ノードＡＢは、ベース部品Ａに板部品Ｂが組付けられた部組品としての組立状態を表し、部組品ＡＢに板部品Ｃを組付ける作業を行うことにより、部組品ＡＢＣの組立状態を表すノードＡＢＣに遷移する。

なお、ＡＮＤ/ＯＲ木におけるノード間の遷移には、部品間の接触拘束条件が反映される。例えば、ネジ部品Ｄの組付け作業は、ベース部品Ａ上に板部品Ｂが配置されていなければ実行できない。よって、ネジ部品Ｄの組付け作業を選択するには、少なくともベース部品Ａに板部品Ｂが配置されている組付状態を表すノードＡＢ（部組品ＡＢ）、ノードＡＢＣ（部組品ＡＢＣ）またはノードＡＢＣＥ（部組品ＡＢＣＥ）に既に遷移していることが条件となる。

図５は、図４に示されたＡＮＤ/ＯＲ木における各組立状態への遷移の一覧を示している。

製品４０は、始めにベース部品Ａに対して板部品Ｂ，Ｃのどちらから組付けてもよい。また、部組品ＡＢＣに対しては、ネジ部品Ｄ，Ｅのどちらから組付けてもよい、したがって、単体の部品から完成品を得るまでの組立順序は６通りとなる。各組立状態への遷移は、図５に示すＮｏ１～Ｎｏ１２の１２通りが存在する。

次に、製品４０の組立状態遷移（ＡＮＤ/ＯＲ木）（図４）に基づく組立作業順序の設定方法について説明する。

なお、図２の組立作業環境には２台のロボットＲ１，Ｒ２が存在したが、はじめに、作業主体を１台のロボット（ロボットＲ１，Ｒ２の一方）だけとする場合について説明し、次に、作業主体を複数（例えば、２台）のロボットとする場合について説明する。

なお、前提として、１台のロボットによる１回の作業により、組立状態が１つだけ遷移するものとする。

図４の組立状態遷移に基づいて定義される作業は以下の作業Ｗ１～Ｗ５となる。
作業Ｗ１：ベース部品Ａの組付。
作業Ｗ２：板部品Ｂの組付。
作業Ｗ３：板部品Ｃの組付。
作業Ｗ４：ネジ部品Ｄの組付。
作業Ｗ５：ネジ部品Ｄの組付。

組立作業の制約条件及び報酬は、組立状態遷移から直接に導かれる。例えば、作業Ｗ４（ネジ部品Ｄの組付）は、実行前に部組品ＡＢ、部組品ＡＢＣ、または部組品ＡＢＣＥのいずれかの組立状態が存在しなければない。したがって、組立状態として部組品ＡＢ、部組品ＡＢＣ、または部組品ＡＢＣＥのいずれかが存在しない状態において、作業Ｗ４を選択した場合には負の報酬を設定するようにする。

また、例えば、組立作業の初期状態において、ベース部品Ａはステージ３１２の上に予め載置されていることを前提とすれば、組立作業の１番目に作業Ｗ１を選択した場合には負の報酬を設定するようにする。

なお、ベース部品Ａをステージ３１２の上に載置する作業を設計したい場合には、ベース部品Ａに関する状態として、トレイ３２１（または３２２）に載置されている状態、及び、ステージ３１２に載置されている状態を設け、トレイ３２１（または３２２）に載置されている状態から、作業Ｗ１を実行することにより、ステージ３１２に載置されている状態に遷移するようにすればよい。

図６は、製品４０の組立状態遷移（図４）に基づいて設定した組立作業順序の一例、及び作業毎の組立状態を示している。

該組立作業順序は、作業主体を１台のロボットのみとし、製品４０の組立状態に基づいて、作業Ｗ１～業Ｗ５の５種類の作業を選択させる強化学習によって設定される。

同図に示す組立作業順序は作業ステップ０番から４番まであり、０番は初期状態、４番は完了状態である。各部品等に対応して記載されている状態値０は、対応する部品等が存在していない状態であることを意味し、状態値１は対応する部品等が存在している状態ことを意味する。組立作業の初期状態は、各部品が単体で存在し、部組品及び製品は存在しない状態と定義する。組立作業の完了状態は、製品ＡＢＣＤＥが存在する状態と定義する。

作業ステップ０番は初期状態である。次の作業ステップ１番では、ロボットが作業Ｗ２（板部品Ｂの組付）を実行する。これにより、ベース部品Ａ、及び板部品Ｂが消滅し、部組品ＡＢが出現する。

次の作業ステップ２番では、ロボットが作業Ｗ３（板部品Ｃの組付）を実行する。これにより、板部品Ｃ及び部組品ＡＢが消滅し、部組品ＡＢＣが出現する。次の作業ステップ３番では、ロボットが作業Ｗ４（ネジ部品Ｄの組付）を実行する。これにより、ネジ部品Ｄ及び部組品ＡＢＣが消滅し、部組品ＡＢＣＤが出現する。次の作業ステップ４番では、ロボットが作業Ｗ５（ネジ部品Ｅの組付）を実行する。これにより、ネジ部品Ｅ及び部組品ＡＢＣＤが消滅し、製品ＡＢＣＤＥが出現する。これにより、完了状態が得られて、組立作業が終了される。

なお、作業Ｗ２（板部品Ｂの組付）と作業Ｗ３（板部品Ｃの組付）の順序はいずれを先に実行してもよく、組立状態の遷移のみから定めることはできない。

作業Ｗ２は、ベース部品Ａ、部組品ＡＣ、または部組品ＡＣＥの組立状態においてのみ、選択可能である。仮に、板部品Ｃを組付ける前に板部品Ｂを組付けなければならないという制約条件が設定されていれば、作業Ｗ２の前提となる組立状態は、ベース部品Ａの単体のみとなる。

次に、製品４０の組立状態遷移に加え、組立作業環境の状態にも基づいて作業を設定する場合の例を説明する。組立作業環境の状態としては、ロボットのハンドを交換する作業を導入する。

ネジ部品Ｄ，Ｅを組付ける場合、ロボットにはドライバハンドを装着し、板部品Ｂ，Ｃを組付ける場合、ロボットにはグリップハンドを装着するものとする。

この場合、組立作業環境の状態として、ロボットのハンドに関する「グリップハンド」及び「ドライバハンド」を追加し、上述した作業Ｗ１～Ｗ５に追加し、以下の作業Ｗ６～Ｗ８を定義すればよい。

作業Ｗ６：グリップハンドの装着。
作業Ｗ７：ドライバハンドの装着。
作業Ｗ８：ハンドの取り外し。

そして、前提条件として、作業Ｗ２（板部品Ｂの組付），Ｗ３（板部品Ｃの組付）については、グリップハンドが装着されている状態である場合にのみ作業可能であると設定する。同様に、作業Ｗ４（ネジ部品Ｄの組付），Ｗ５（ネジ部品Ｅの組付）については、ドライバハンドが装着されている状態である場合にのみ作業可能であると設定する。

作業Ｗ６（グリップハンドの装着），Ｗ７（ドライバハンド）の装着については、ロボットにハンドが装着されていない状態である場合にのみ作業可能であると設定する。作業Ｗ８（ハンドの取り外し）については、ロボットにグリップハンドまたはドライバハンドが装着されている状態である場合にのみ作業可能であると設定する。

組立作業の初期状態は、各部品が単体で存在し、ロボットにクリップハンド及びドライバハンドのいずれもが装着されていない状態と定義する。組立作業の完了状態は、製品ＡＢＣＤＥが得られ、さらに、ロボットにハンドが装着されていない状態と定義する。

なお、組立作業環境には、ドライバハンド及びグリップハンド以外のハンドを準備してもよい。さらに、１台のロボットが複数のアームを有し、ドライバハンド及びグリップハンドを同時に装着できるようにしてもよい。

図７は、製品４０の組立状態遷移（図４）、及び組立作業環境（ロボットのハンドの状態）に基づいて設定した組立作業順序の一例、及び作業毎の組立状態を示している。

該組立作業順序は、作業主体を１台のロボットのみとし、製品４０の組立状態及び組立作業環境に基づいて、作業Ｗ１～Ｗ８までの８種類の作業を選択させる強化学習によって設定される。

同図に示す組立作業順序は作業ステップ０番から８番まであり、０番が初期状態、８番が完了状態である。部品Ａ等に対応して記載されている状態値は図６の場合と同様である。

例えば、作業ステップ０番の初期状態では、単体の部品のみが存在し、ロボットにはクリップハンド及びドライバハンドのいずれもが装着されていない。

次の作業ステップ１番では、ロボットが作業Ｗ６（グリップハンドの装着）を実行する。これにより、ロボットによる作業Ｗ２（板部品Ｂの組付），Ｗ３（板部品Ｃの組付）が実行可能となる。次の作業ステップ２番では、ロボットが作業Ｗ２を実行する。これにより、ベース部品Ａ、及び板部品Ｂが消滅し、部組品ＡＢが出現する。次の作業ステップ３番では、ロボットが作業Ｗ３を実行する。これにより、板部品Ｃ、及び部組品ＡＢが消滅し、部組品ＡＢＣが出現する。

次の作業ステップ４番では、ロボットが作業Ｗ８（ハンドの取り外し）を実行する。これにより、ロボットによる作業Ｗ６（グリップハンドの装着），Ｗ７（ドライバハンドの装着）が実行可能となる。次の作業ステップ５番では、ロボットが作業Ｗ７を実行する。これにより、ロボットによる作業Ｗ４（ネジ部品Ｄの組付），Ｗ５（ネジ部品Ｅの組付）が実行可能となる。

次の作業ステップ６番では、ロボットが作業Ｗ４を実行する。これにより、ネジ部品Ｄ、及び部組品ＡＢＣが消滅し、部組品ＡＢＣＤが出現する。次の作業ステップ７番では、ロボットが作業Ｗ５を実行する。これにより、ネジ部品Ｅ、及び部組品ＡＢＣＤが消滅し、製品ＡＢＣＤＥが出現する。次の作業ステップ８番では、ロボットが作業Ｗ８（ハンドの取り外し）を実行する。これにより、完了状態が得られて組立作業が終了される。

次に、作業主体を複数のロボット（一例として、図２の２台のロボットＲ１，Ｒ２）とする場合について説明する。

この場合、組立作業環境の状態として、２台のロボットそれぞれのハンドに関する「グリップハンド」及び「ドライバハンド」を追加する。２台のロボットが選択し得る行動は、上述したように定義した作業Ｗ１～Ｗ８である。ただし、２台のロボットのうち、一方のロボットが作業しない（作業できない）場合が発生し得るので、以下の作業Ｗ０を追加して定義する。
作業Ｗ０：待機。

なお、作業Ｗ０の前提となる状態や、作業０から遷移可能な状態等に制限はない。

２台のロボットに対しては、同時に同じ作業を選択してもよい。ただし、作業前の状態に制約があって、一方のロボットに対して選択した作業により作業前の状態が無くなってしまうのであれば、他方のロボットに対して同じ作業を選択した場合には負の報酬を設定するようにする。

組立作業の初期状態は、各部品が単体で存在し、２台のロボットそれぞれにハンドが装着されていない状態と定義する。組立作業の完了状態は、製品ＡＢＣＤＥが得られ、さらに、２台のロボットそれぞれにハンドが装着されていない状態と定義する。

図８は、製品４０の組立状態遷移（図４）、及び組立作業環境（ハンドの状態）に基づいて設定した組立作業順序の一例、及び作業毎の組立状態を示している。

該組立作業順序は、製品４０の組立作業を実施する作業主体を２台のロボットとし、製品４０の組立状態及び組立作業環境に基づいて、作業Ｗ０～Ｗ８までの９種類の作業を選択させる強化学習によって設定される。

なお、同図においては、２台のロボットをロボットＲ１，Ｒ２とし、ロボットＲ１のハンドの状態をＲ１グリップ及びＲ１ドライバ、ロボットＲ２のハンドの状態をＲ２グリップ及びＲ２ドライバとしている。

同図に示す組立作業順序は作業ステップ０番から５番まであり、０番が初期状態、５番が完了状態である。部品Ａ等に対応して記載されている状態値は図６の場合と同様である。

例えば、作業ステップ０番の初期状態では、単体の部品のみが存在し、部組品、及び製品は存在しない。また、２台のロボットＲ１，Ｒ２それぞれにはクリップハンド及びドライバハンドが装着されていない。

次の作業ステップ１番では、ロボットＲ１が作業Ｗ６（グリップハンドの装着）を実行し、ロボット２が作業Ｗ７（ドライバハンドの装着）を実行する。これにより、ロボットＲ１による作業Ｗ２（板部品Ｂの組付），Ｗ３（板部品Ｃの組付）が実行可能となり、ロボットＲ２による作業Ｗ４（ネジ部品Ｄの組付），Ｗ５（ネジ部品Ｅの組付）が実行可能となる。

次の作業ステップ２番では、ロボットＲ１が作業Ｗ２を実行する。これにより、ベース部品Ａ、及び板部品Ｂが消滅し、部組品ＡＢが出現する。一方、ロボットＲ２が作業Ｗ０（待機）を実行する。次の作業ステップ３番では、ロボットＲ１が作業Ｗ３を実行し、ロボットＲ２が作業Ｗ４（ネジ部品Ｄの組付）を実行する。これにより、板部品Ｃ、ネジ部品Ｄ、及び部組品ＡＢが消滅し、部組品ＡＢＣＤが出現する。

次の作業ステップ４番では、ロボットＲ１が作業Ｗ８（ハンドの取り外し）を実行し、ロボットＲ２が作業Ｗ５（ネジ部品Ｅの組付）を実行する。これにより、ネジ部品Ｅ、及び部組品ＡＢＣＤが消滅し、製品ＡＢＣＤＥが出現する。次の作業ステップ５番では、ロボットＲ１が作業Ｗ０（待機）を実行し、ロボットＲ２が作業Ｗ８（ハンドの取り外し）を実行する。これにより、完了状態が得られて組立作業が終了される。

なお、組立作業順序は、作業主体を３台以上のロボットとして設定することも可能である。また、組立作業環境として、ハンド以外にトレイ３２１，３２２、ステージ３１２等の状態を追加してもよい。さらに、作業の定義に、部品を所定の位置から他の位置まで搬送する搬送装置の作業を追加してもよい。

＜組立作業順序計画装置１０による組立作業順序計画処理＞
次に、図９は、組立作業順序計画装置１０による組立作業順序計画処理の一例を説明するフローチャートである。

前提として、ＣＡＤシステム２０は、製品の形状モデル及びロボット等から構成される組立作業環境の形状モデルをモデリング済みであり、組立作業環境・製品情報１２１、及び組立状態遷移情報（ＡＮＤ／ＯＲ木）１２２を組立作業順序計画装置１０に供給可能であるとする。

該組立作業順序計画処理は、例えば、ユーザからの所定の操作に応じて開始される。

始めに、情報取得部１１１が、ＣＡＤシステム２０から組立作業環境・製品情報１２１、を取得して記憶部１２に格納する（ステップＳ１）。次に、情報取得部１１１が、ＣＡＤシステム２０から組立状態遷移情報１２２を取得して記憶部１２に格納する（ステップＳ２）。

次に、組立作業定義部１１２が、組立作業環境（ロボットのハンド、トレイ、ステージ等）の作業前の状態を設定する（ステップＳ３）、次に、組立作業定義部１１２が、組立状態遷移情報１２２に基づいて、組付前の２つの部品または部組品からなる組立状態に対して、組立作業を定義し、定義した組立作業を組立作業情報１２３として記憶部１２に格納する（ステップＳ４）。

次に、制約条件設定部１１３が、制約条件を設定し、制約条件情報１２４として記憶部１２に格納する（ステップＳ５）。

次に、行動選択・価値関数構成部１１４が、強化学習に用いる行動選択関数、及び、価値関数を定義する（ステップＳ６）。次に、報酬設定部１１５が、各組立状態に対して選択された作業に対して報酬を設定する（ステップＳ７）。

次に、学習部１１６が、組立の初期状態から、組立状態に対する作業選択が失敗して組立失敗となるか、組立状態に対する作業選択が成功して組立作業が完了して組立成功となるかの、一連の行動を意味するエピソードを繰り返すことにより強化学習を実行する（ステップＳ８）。

具体的には、エピソードを繰り返し、状態に対する行動選択を学習し、組立成功の結果が得られるようになれば、強化学習を完了する。強化学習が完了することによって、状態に対して良い行動が選択される行動選択関数が得られたこととなる。なお、１つのエピソードの処理においては、初期状態に対して行動を選択し、次の状態を得る。さらに行動を選択して、その次の行動を得る。このようにステップ毎に行動選択を繰返して状態を進め、行動選択を誤った場合、または許されない状態となった場合には、負の報酬を得てエピソードを終了する。反対に、成功した状態になった場合には、正の報酬を得てエピソードを終了する。

強化学習では、エピソードの繰返し回数が少ない期間は成功に至らずに失敗となるが、エピソードの繰返し回数が増えて学習が進むと、エピソードが成功するようになる。そこで、エピソードが所定回数（例えば、３回）連続して成功した場合に強化学習を終了するようにする。

次に、組立作業順序生成部１１７が、強化学習結果として得られた行動選択関数、及び状態価値関数を使って、初期状態からエピソードを試行することにより、製品が完成するまでの作業の一連の選択結果をつなげて組立作業順序を設定する（ステップＳ９）。

以上に説明した組立作業順序計画装置１０による組立作業順序計画処理によれば、製品を構成する各部品の組立順序と、ロボットを作業主体とする作業順序とを計画することが可能となる。

＜第２の実施形態＞
次に、図１０は、本発明の第２の実施形態に係る組立作業順序計画装置１００の構成例を示している。

組立作業順序計画装置１００は、ロボット及び作業員を含み得る作業主体により部品を組付けて製品を完成させる際の組立作業順序を計画するためのものである。

組立作業順序計画装置１００は、本発明の第１の実施形態に係る組立作業順序計画装置１０（図１）における組立作業定義部１１２を、組立状態ベース組立作業定義部１１２Ａ、及び作業状態ベース組立作業定義部１１２Ｂに分割し、シミュレーション指示部１１８を追加したものである。

また、組立作業順序計画装置１００は、記憶部１２に格納される情報として、制約条件判定シミュレーション情報１２５、及び組立作業順序シミュレーション情報１２６を追加したものである。

さらに、組立作業順序計画装置１００の外部には、組立作業順序計画装置１００がネットワーク１を介して接続可能なロボットシミュレータ３０が追加されている。ロボットシミュレータ３０は、組立作業順序計画装置１００からの指示に従い、組立作業環境の設置されているロボットＲ１，Ｒ２による作業のシミュレーションを実行し、シミュレーション結果を組立作業順序計画装置１００に出力する。

なお、組立作業順序計画装置１００の構成要素のうち、組立作業順序計画装置１０（図１）の構成要素と共通するものについては同一の符号を付してその説明を省略する。

組立状態ベース組立作業定義部１１２Ａは、組立作業順序計画装置１０（図１）における組立作業定義部１１２と同様に、組立状態遷移情報１２２を参照して、組立作業を定義する。

作業状態ベース組立作業定義部１１２Ｂは、組立作業環境・製品情報１２１を参照し、組立作業環境の状態に対して組立に必要となる作業を定義する。例えば、ある部品を組付けるためにドライバハンドが必要であるならば、該部品を組付ける前の組立状態において、ロボットにドライバハンドを装着する作業を定義する。この場合、該部品を組み付ける前の組立状態であって、ロボットにドライバハンドが装着されている状態であれば、該部品を組付ける作業が実行可能となる。

なお、組立作業環境としての状態を設定し得るものはロボットのハンドだけではない。例えば、組立作業環境に複数のステージが存在している場合には、組立に利用中であるか否かという状態を設定できる。また、作業主体となるロボットや作業者は、ある作業を実施しているので、作業主体が実施している作業の種類を作業主体の状態とみなして設定してもよい。

シミュレーション指示部１１８は、外部に設けたロボットシミュレータ３０に対し、制約条件を設定するための個別組立作業シミュレーションをロボットシミュレータ３０に指示し、そのシミュレーション結果を取得する。この場合、制約条件設定部１１３は、そのシミュレーション結果に基づいて制約条件を修正することができる。また、シミュレーション指示部１１８は、ロボットシミュレータ３０に対し、最終的に得られた組立作業順序に従った組立作業シミュレーションを指示し、そのシミュレーション結果を取得する。該シミュレーション結果は、最終的に得られた組立作業順序が有効であることの確認に用いることができる。

制約条件判定シミュレーション情報１２５は、制約条件を設定するための個別組立作業シミュレーションをロボットシミュレータ３０に指示した際の条件と、そのシミュレーション結果を含む情報である。

組立作業順序シミュレーション情報１２６は、組立作業順序シミュレーションをロボットシミュレータ３０に指示した際の条件と、そのシミュレーション結果を含む情報である。

次に、図１１は、組立作業順序計画装置１００にて組立作業順序を計画する製品５０の一例を示している。

製品５０は、ベース部品Ａの上にボックス部品Ｂを配置して、ネジ部品Ｃ，Ｄによって締結、固定し、ベース部品Ａとボックス部品Ｂとを配線部品Ｅ，Ｆによって結線することにより完成する構造を有する。

製品５０を完成させるまでの複数の組立作業のうち、ベース部品Ａの上にボックス部品Ｂを配置する作業、及び、ネジ部品Ｃ，Ｄを締結する作業をロボットが実行し、配線部品Ｅ，Ｆを結線する作業を作業員が実行するものとする。

図１２は、製品５０の組立作業における各組立状態への遷移の一覧を示している。

製品５０の構造上、始めにベース部品Ａに対してボックス部品Ｂを組付けて部組品ＡＢを出現させる必要がある。部組品ＡＢに対しては、ネジ部品Ｃ，Ｄ、及び配線部品Ｅ，Ｆのいずれから組付けてもよい、したがって、単体の部品から完成品を得るまでの組立順序は１×４！＝２４通りとなる。

製品５０の組立状態は、単体であるベース部品Ａ、ボックス部品Ｂ、ネジ部品Ｃ，Ｄ、及び配線部品Ｅ，Ｆの６状態と、２つの部品からなる部組品ＡＢの１状態と、３つの部品から成る部組品ＡＢＣ，ＡＢＤ，ＡＢＥ，ＡＢＦの４状態と、４つの部品から成る部組品ＡＢＣＤ，ＡＢＣＥ，ＡＢＣＦ，ＡＢＤＥ，ＡＢＤＦ，ＡＢＥＦの６状態と、５つの部品から成る部組品ＡＢＣＤＥ，ＡＢＣＤＦ，ＡＢＣＥＦ，ＡＢＤＥＦの４状態と、６つの部品から成る完成品ＡＢＣＤＥＦの１状態との全２２状態である。

製品５０の各組立状態への遷移は、図１２に示すＮｏ１～Ｎｏ３３の３３通りとなる。このうち、部品Ｅ，Ｆを組付ける遷移は作業員による作業に応じて行われ、他の部品を組付ける遷移はロボットによる作業に応じて行われる。

以下、作業主体を１台のロボット、及び１名の作業員とする。ロボットは、ボックス部品Ｂの配置にグリップハンドを使用し、ネジ部品Ｃ，Ｄの締結にドライバハンドを使用するものとする。

この場合、作業主体のロボット及び作業員に対して定義される作業は以下のとおりである。

ロボットによる作業
作業Ｗ０：待機。
作業Ｗ１：ボックス部品Ｂの組付。
作業Ｗ２：ネジ部品Ｃの組付。
作業Ｗ３：ネジ部品Ｄの組付。
作業Ｗ４：グリップハンドの装着。
作業Ｗ５：ドライバハンドの装着。
作業Ｗ６：ハンドの取り外し。
作業員による作業
作業Ｐ０：待機。
作業Ｐ１：配線部品Ｅの組付。
作業Ｐ２：配線部品Ｆの組付。

以下、制約条件の例を挙げる。例えば、ロボットに対しては、ハンドを装着していない状態である場合には作業Ｗ４（グリップハンドの装着），Ｗ５（ドライバハンドの装着）を選択でき、グリップハンドまたはドライバハンドを装着している状態である場合には作業Ｗ６（ハンドの取り外し）を選択できる。作業Ｗ１（ボックス部品Ｂの組付）を選択するには、グリップハンドが装着されている状態が必要となる。作業Ｗ２（ネジ部品Ｃの組付），Ｗ３（ネジ部品Ｄの組付）を選択するには、ドライバハンドが装着されている状態が必要となる。また、例えば、作業員に対しては、作業Ｐ１（配線部品Ｅの組付），Ｐ２配線部品Ｆの組付を選択するためには、組立状態遷移の前状態が少なくともベース部品Ａにボックス部品Ｂが組付けられた部組品ＡＢ以降の状態である必要がある。

組立作業の初期状態は、単体の部品のみが存在し、ベース部品Ａがステージ３１２の上に予め載置されており、ロボットにはグリップハンド及びドライバハンドのいずれもが装着されていない状態と定義する。組立作業の完了状態は、製品ＡＢＣＤＥＦが得られ、さらにロボットにグリップハンド及びドライバハンドのいずれもが装着されていない状態と定義する。

図１３は、製品５０の組立状態遷移（不図示）、及び組立作業環境（ハンドの状態）に基づいて設定した組立作業順序の一例、及び作業毎の組立状態を示している。

該組立作業順序は、作業主体を１台のロボット及び１名の作業員とし、製品５０の組立状態及び組立作業環境に基づいて、ロボットによる作業Ｗ０～Ｗ６の７種類と、作業員による作業Ｐ０～Ｐ２の３種類との合計１０種類の作業を選択させる強化学習によって設定される。

同図に示す組立作業順序は作業ステップ０番から７番まであり、０番が初期状態、７番が完了状態である。部品Ａ等に対応して記載されている状態値は図６の場合と同様である。

例えば、作業ステップ０番の初期状態では、単体の部品のみが存在し、ロボットにはクリップハンド及びドライバハンドが装着されていない。

次の作業ステップ１番では、ロボットが作業Ｗ４（グリップハンドの装着）を実行し、作業員が作業Ｐ０（待機）を実行する。これにより、ロボットによる作業Ｗ１（ボックス部品Ｂの組付）が作業可能となる。

次の作業ステップ２番では、ロボットが作業Ｗ１を実行し、作業員が作業Ｐ０（待機）を実行する。これにより、ベース部品Ａ、及びボックス部品Ｂが消滅し、部組品ＡＢが出現する。次の作業ステップ３番では、ロボットが作業Ｗ６（ハンドの取り外し）を実行し、作業員がＰ１（配線部品Ｅの組付）を実行する。これにより、配線部品Ｅ、及び部組品ＡＢが消滅し、部組品ＡＢＥが出現する。

次の作業ステップ４番では、ロボットが作業Ｗ５（ドライバハンドの装着）を実行し、作業員が作業Ｐ２（配線部品Ｆの組付）を実行する。これにより、ロボットによる作業Ｗ２（ネジ部品Ｃの組付），Ｗ３（ネジ部品Ｄの組付）が作業可能となる。また、配線部品Ｆ、及び部組品ＡＢＥが消滅し、部組品ＡＢＥＦが出現する。

次の作業ステップ５番では、ロボットが作業Ｗ２（ネジ部品Ｃの組付）を実行し、作業員が作業Ｐ０（待機）を実行する。これにより、ネジ部品Ｃ、及び部組品ＡＢＥＦが消滅し、部組品ＡＢＣＥＦが出現する。

次の作業ステップ６番では、ロボットが作業Ｗ３（ネジ部品Ｄの組付）を実行し、作業員が作業Ｐ０（待機）を実行する。これにより、ネジ部品Ｄ、及び部組品ＡＢＣＥＦが消滅し、製品ＡＢＣＤＥＦが出現する。

次の作業ステップ７番では、ロボットが作業Ｗ６（ハンドの取り外し）を実行し、作業員が作業Ｐ０（待機）を実行する。これにより、完了状態が得られて組立作業が終了される。

なお、部品の数が増加して必要な組立作業の数が増えたり、作業主体としてのロボットや作業員を複数にしたりしても組立作業順序を計画することができる。さらに、組立作業環境として、ハンド以外にトレイ３２１，３２２、ステージ３１２等の状態を追加したり、作業の定義に、部品を所定の位置から他の位置まで搬送装置の作業を追加したりしても組立作業順序を計画することができる。

＜組立作業順序計画装置１００による組立作業順序計画処理＞
次に、図１４は、組立作業順序計画装置１００による組立作業順序計画処理の一例を説明するフローチャートである。なお、該組立作業順序計画処理のステップＳ２１～Ｓ３２のうち、ステップＳ２１～Ｓ２３，Ｓ２６，Ｓ２８～Ｓ３１の処理は、組立作業順序計画装置１０による組立作業順序計画処理（図９）のステップＳ１～Ｓ３，Ｓ５，Ｓ６～Ｓ９の処理と同様であるため、その説明を適宜省略する。

前提として、ＣＡＤシステム２０は、製品の形状モデル及びロボット等から構成される組立作業環境の形状モデルをモデリング済みであり、組立作業環境・製品情報１２１、及び組立状態遷移情報（ＡＮＤ／ＯＲ木）１２２を組立作業順序計画装置１０に供給可能であるとする。

該組立作業順序計画処理は、例えば、ユーザからの所定の操作に応じて開始される。

始めに、情報取得部１１１が、ＣＡＤシステム２０から組立作業環境・製品情報１２１、及び組立状態遷移情報１２２を取得して記憶部１２に格納する（ステップＳ２１，Ｓ２２）。次に、組立作業定義部１１２が、組立作業環境の作業前の状態を設定する（ステップＳ２３）。

次に、組立状態ベース組立作業定義部１１２Ａが、組立状態遷移情報１２２に基づいて、組付前の２つの部品または部組品からなる組立状態に対して、組立作業を定義し、定義した組立作業を組立作業情報１２３として記憶部１２に格納する（ステップＳ２４）。

次に、作業状態ベース組立作業定義部１１２Ｂが、組立作業環境・製品情報１２１を参照し、このように、組立作業環境の状態に対して組立に必要となる作業を定義する（ステップＳ２５）。

次に、制約条件設定部１１３が、制約条件を設定し、制約条件情報１２４として記憶部１２に格納する（ステップＳ２６）。

次に、シミュレーション指示部１１８が、ロボットシミュレータ３０に対して、制約条件を設定するための個別組立作業シミュレーションをロボットシミュレータ３０に指示し、そのシミュレーション結果を取得する（ステップＳ２７）。具体的には、各組立作業を行う前の組立状態、組立作業環境の状態をロボットシミュレータ３０に設定し、対象の組立作業のシミュレーションを実行させる。シミュレーションにより、例えば、ロボットが他のロボット等に干渉したり（衝突したり）、関節の可動角度不足等によってロボットが目的の部品を組付ける姿勢を取れなかったり等の不具合が発生した場合、その組立作業は実現不可能と判断する。よって、このシミュレーション結果に従い、実施できない組立作業を制約条件に追加設定する。もしくは、実現不可能と判断した組立作業の定義を削除するようにしてもよい。

次に、行動選択・価値関数構成部１１４が、強化学習に用いる行動選択関数、及び、価値関数を定義する（ステップＳ２８）。次に、報酬設定部１１５が、各組立状態に対して選択された作業に対して報酬を設定する（ステップＳ２９）。

次に、学習部１１６が、組立の初期状態から、組立状態に対する作業選択が失敗して組立失敗となるか、組立状態に対する作業選択が成功して組立作業が完了して組立成功となるかの、一連の行動を意味するエピソードを繰り返すことにより強化学習を実行する。所定回数（例えば、３回）のエピソードが連続で成功した場合に強化学習を終了する（ステップＳ３０）。

次に、組立作業順序生成部１１７が、強化学習結果として得られた行動選択関数、及び状態価値関数を使って、初期状態からエピソードを試行することにより、製品が完成するまでの一連の作業の選択結果をつなげた組立作業順序を生成する（ステップＳ３１）。

次に、シミュレーション指示部１１８が、ロボットシミュレータ３０に対して、ステップＳ３１で得られた組立作業順序のシミュレーションをロボットシミュレータ３０に指示し、そのシミュレーション結果を取得して不具合がないことを確認する（ステップＳ３２）。

以上に説明した組立作業順序計画装置１００による組立作業順序計画処理によれば、製品を構成する各部品の組立順序と、ロボット及び作業員を含む作業主体の作業順序とを計画することが可能となる。

＜強化学習について＞
次に、上述した本発明の各実施形態にて採用した強化学習について説明する。

一般的に、強化学習の方式は、マルコフ決定過程（ＭＤＰ:Markov decision process）のモデルに基づいており、ある状態において、行動を選択し、状態を更新するものであり、行動または状態には良否、すなわち価値が伴う、というモデルに基づいて行われる。

強化学習の方式としては、行動選択を行動価値のテーブルの値を用いて実行し、またその行動選択の学習によりテーブルの値を更新するＱ学習、行動価値関数を深層ニューラルネットワークとして行動価値から行動を選択するＤＱＮ(Deep Q-learning Network)、行動選択関数(方策)と状態価値関数を深層ニューラルネットワークとしたＡ３Ｃ(Asynchronous Advantage Actor-Critic)が知られている。

さらに他の方式も多数存在するが、いずれも強化学習の問題として、状態、行動、報酬によってモデル化される。

以下、上述した実施形態に採用するＡ３Ｃについて詳述する。強化学習では、１つのエピソードにおいてステップ毎に、状態に対して行動を選択することにより次の状態に遷移し、行動選択の結果や状態に対して報酬を与える。そして、報酬がエピソードの終了条件を満たすなら、エピソードを終了する。そして、エピソードを繰り返し、状態に対して正しく行動選択できるようになれば、または状態に対して選択される行動が確定的になれば、強化学習を終了する。

Ａ３Ｃは、非同期(Asynchronous)という単語が表すように、複数のエージェント(アクターとも称される)が個別にエピソードを実行し、それぞれのエージェントが単一の行動選択関数、状態価値関数を訓練（学習）し、また行動選択に利用する方法である。

図１４は、Ａ３Ｃの概要を説明するための図である。同図の場合、エージェントは３つである。行動選択関数、状態価値関数１４０１は、共有の深層ニューラルネットワーク(ＤＮＮ:Deep Neural Network)として構成される。これは共有ＤＮＮと称される。また、同図の場合、入力層の状態変数を３種類、出力層の行動を３種類としている。出力層の価値(状態価値)は必ず１つである。

中間層は１層であり、ノード数は４つである。ノードの活性化関数は、行動の出力層ではｓｏｆｔｍａｘ、価値の出力層ではｌｉｎｅａｒ、中間層ではＲｅＬＵ(Rectified Linear Unit)を設定する。各エージェントは状態、行動、次状態、報酬を格納するメモリを備え、また自分の行動を選択するためのＤＮＮを備える。例えばエージェント１はメモリ１４１１、及びＤＮＮ１４２１を備える。エージェント２は、メモリ１４１２、及びＤＮＮ１４２２を備え、エージェント３はメモリ１４１３、及びＤＮＮ１４２３を備える。

各エージェントは、それぞれのエピソード処理においてステップのデータが蓄積されたら、個別に共有ＤＮＮを訓練する。そして、訓練後、共有ＤＮＮを自分用のＤＮＮにコピーし、自分用のＤＮＮを利用して状態に対する行動を選択する。これは各エージェント間でＤＮＮ訓練と行動選択のタイミングが非同期なので、訓練と行動選択が競合しないための構成である。

なお、単一のエージェントで強化学習を行う場合、特に共有ＤＮＮを設ける必要はない。この場合の学習法はＡ２Ｃ(Advantage Actor-Critic)と称される。なお、Ａ２ＣにおけるAdvantageは、行動価値と状態価値の差、すなわち、行動選択の良さを表す量であり、また、Ａ２ＣにおけるActor-Criticは、行動選択と状態価値評価とが別々に計算される方式であることを意味する。

次に、図１６は、行動選択関数と状態価値関数の訓練の処理内容について説明するための図であり、ＤＮＮ（深層ニューラルネットワーク）１５０１を模式的に示している。

ＤＮＮ１５０１は、状態sを入力として、行動選択の出力(方策)をπ（ｓ）、状態価値の出力をＶ（ｓ）とする。ＤＮＮ１５０１の中のノードに対して定義される関数(活性化関数)のパラメータをθとする。方策は確率方策とも呼ばれ、状態sにおいて行動aをとる確率π（ａ|ｓ）とも表記される。

行動価値関数、状態価値関数の訓練とは、状態s、行動a、次状態s’、報酬rのデータから、それらの関係を予測する関係が得られるように、ＤＮＮ１５０１のパラメータθを最適化することである。特に、行動に対する状態価値の関係を正しく推定できることが重要である。

状態価値関数Ｖ（ｓ）は、方策π（ｓ）の下で次式（１）によって表現される。

ここで、Ｅは、添え字である方策π（ｓ）における期待値を意味する。割引率γは、次の状態価値(将来の価値)を現在の値に補正するための係数である。割引率γの値は、一例としては０．９９であるが、強化学習のためのパラメータとして調整できる。

方策の価値は、状態ｓの分布ρにおける期待値として次式（２）によって表される。

式（２）は割引済み報酬関数と称される。割引済み報酬関数のＤＮＮのパラメータθに関する変化には、次式（３）で表現される方策勾配定理がある。

ここで、∇は勾配(基底についての１階の偏微分)を意味する。期待値は状態sが方策πの分布ρの亘る範囲、行動aは状態sに対する方策πに亘る範囲による。行動価値関数Ｑ（ｓ,ａ）、アドバンテージ関数Ａ（ｓ,ａ）は、次式（４），（５）に示す通りであり、データから計算可能である。

そして、割引済み報酬関数（式（２））の値を最大とするようにネットワークパラメータθを最適化すれば、状態に対して良い報酬が得られるような方策と状態価値の関係が得られる。

割引済み報酬関数の負(マイナス)を方策損失とすれば、方策損失を最小化すればよい。方策損失の他にも、行動価値と状態価値は一致していることが望ましいので、アドバンテージ絶対値の大きさを意味する価値損失も存在する。また、状態に対して方策は一意に決まることが望ましく、方策は確率的に決まるのでエントロピーでモデル化した正則化項も最適化に利用できる。そこで、損失関数Ｌを方策損失Ｌ_π、価値損失Ｌ_ｖ、正則化項Ｌ_ｒｅｇを用いて次式（６）のように定義し、損失関数を最小化する。

ここで、ｃ_ｖ，ｃ_ｒｅｇは係数である。方策損失Ｌ_πは、割引済み報酬関数の定義から次式（７）の通りとなる。訓練に使うｎは、ステップのデータ数である。

価値損失Ｌ_ｖは、次式（８）に示すように、アドバンテージ関数Ａ（ｓ,ａ）の２乗とする。

正則化項は、次式（９），（１０）に示すように、エントロピーＨ（π（ｓ））を計算して得る。

ここで、ｎ_{ａｃｔｉｏｎ}は行動の数である。

最適化計算による訓練は、深層ニューラルネットワークの場合、勾配法(gradient)を利用する。この訓練自体は、強化学習とは別の深層ニューラルネットワークの学習と同様であり、深層ニューラルネットワーク技術を活用すれば実現可能である。

強化学習の各種のアルゴリズムには、例えばε－ｇｒｅｅｄｙ法のような強化学習の探索と学習結果活用(exploration-exploitation)の特性を利用する方法を強化学習技術分野における技法として利用すればよい。

組立作業順序生成における作業選択のためには、定義した作業を行動とする。状態は組立状態、組立作業環境の状態であり、その変数値は０または１となる。報酬の設定としては、一例としては、正の報酬値は１、負の報酬値は－１として、報酬が発生しないときは０とすればよい。

以上が行動選択関数と状態価値関数の訓練の処理内容についての説明である。以上で、本発明の実施形態で採用した強化学習の説明を終了する。

本発明は、上述した実施形態に限定されるものではなく、様々な変形が可能である。例えば、上述した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えたり、追加したりすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１０・・・組立作業順序計画装置、１１・・・演算部、１１１・・・情報取得部、１１２・・・組立作業定義部、１１２Ａ・・・組立状態ベース組立作業定義部、１１２Ｂ・・・作業状態ベース組立作業定義部、１１３・・・制約条件設定部、１１４・・・行動選択・価値関数構成部、１１５・・・報酬設定部、１１６・・・学習部、１１７・・・組立作業順序生成部、１１８・・・シミュレーション指示部、１２・・・記憶部、１２１・・・組立作業環境・製品情報、１２２・・・組立状態遷移情報、１２２・・・組立状態遷移情報、１２３・・・組立作業情報、１２４・・・制約条件情報、１２５・・・制約条件判定シミュレーション情報、１２６・・・組立作業順序シミュレーション情報、１３・・・入力部、１４・・・出力部、１５・・・通信部、２０・・・ＣＡＤシステム、３０・・・ロボットシミュレータ、４０，５０・・・製品、１００・・・組立作業順序計画装置、３０３，３０４・・・ハンド、３１１・・・台座、３１２・・・ステージ、３２１，３２２・・・トレイ、３３１，３３２・・・ハンド設置台、３３３，３３４・・・交換用ハンド

Claims (9)

1. 複数の部品を組付けた部組品を経て最終的な製品に組立てられるまでの過程を表す情報を含む組立状態遷移情報を取得する情報取得部と、
   前記組立状態遷移情報に基づき、組付前の２つの前記部品または前記部組品からなる組立状態に対して作業主体が実行し得る作業を定義する組立作業定義部と、
   前記作業の実行の可否に関する制約条件を設定する制約条件設定部と、
   ロボットシミュレータに対し、前記制約条件を修正するための個別組立作業シミュレーションを指示するシミュレーション指示部と、
   前記制約条件に従い、前記組立状態に対する前記作業の選択方法を強化学習する学習部と、
   前記強化学習の結果に基づいて前記製品の組立作業順序を生成する組立作業順序生成部と、を備え、
   前記制約条件設定部は、前記個別組立作業シミュレーションの結果に基づいて前記制約条件を修正する
   ことを特徴とする組立作業順序計画装置。
2. 請求項１に記載の組立作業順序計画装置であって、
   前記情報取得部は、組立作業環境に存在する物体に関する情報、及び前記製品を構成する複数の部品に関する情報を含む組立作業環境・製品情報を取得し、
   前記組立作業定義部は、前記組立作業環境・製品情報に基づき、組立作業環境の状態に対して実行し得る作業を定義し、
   前記学習部は、前記制約条件に従い、前記組立状態、及び前記組立作業環境の状態に対する前記作業の選択方法を強化学習する
   ことを特徴とする組立作業順序計画装置。
3. 請求項２に記載の組立作業順序計画装置であって、
   前記学習部は、前記強化学習において、
   前記組立作業環境と前記作業及び前記制約条件との関係を、行動選択関数及び状態価値関数で定義し、
   前記組立作業環境の初期状態と作業完了の状態を定義し、
   エピソードにおける学習において、
   組立作業中の前記組立作業環境の状態に対して、作業主体の行動を選択して次の状態を得るステップを繰返し、
   選択した行動が作業の制約条件を満足しない場合には負の報酬を与えてエピソードを終了し、
   選択した行動により作業完了の状態となった場合には正の報酬を与えてエピソードを終了し、
   得られた状態、行動、報酬データから前記行動選択関数及び前記状態価値関数を訓練し、
   前記エピソードを繰り返すことにより、組立作業環境の状態に対する作業の選択方法を学習する
   ことを特徴とする組立作業順序計画装置。
4. 請求項２に記載の組立作業順序計画装置であって、
   前記組立作業環境には、前記作業主体としてのロボット、前記ロボットのハンド、ステージ、トレイ、及び搬送装置のうちの少なくとの一つを含む
   ことを特徴とする組立作業順序計画装置。
5. 請求項１に記載の組立作業順序計画装置であって、
   前記制約条件設定部は、前記組立状態遷移情報に基づいて定義された、前記組立状態に対して作業主体が実行し得る作業の実行前の組立状態を前記制約条件として設定する
   ことを特徴とする組立作業順序計画装置。
6. 請求項２に記載の組立作業順序計画装置であって、
   前記制約条件設定部は、前記組立作業環境・製品情報に基づいて定義された、前記組立作業環境の状態に対して実行し得る作業の実行前の組立状態及び前記組立作業環境の状態を前記制約条件として設定する
   ことを特徴とする組立作業順序計画装置。
7. 請求項２に記載の組立作業順序計画装置であって、
   前記組立作業環境には、前記作業主体としての１台以上のロボット、及び１名以上の作業員を少なくとも含む
   ことを特徴とする組立作業順序計画装置。
8. 請求項１に記載の組立作業順序計画装置であって、
   シミュレーション指示部は、前記ロボットシミュレータに対し、生成された前記組立作業順序に従った組立作業シミュレーションを指示する
   ことを特徴とする組立作業順序計画装置。
9. 組立作業順序計画装置による組立作業順序計画方法であって、
   複数の部品を組付けた部組品を経て最終的な製品に組立てられるまでの過程を表す情報を含む組立状態遷移情報を取得し、
   前記組立状態遷移情報に基づき、組付前の２つの前記部品または前記部組品からなる組立状態に対して作業主体が実行し得る作業を定義し、
   前記作業の実行の可否に関する制約条件を設定し、
   ロボットシミュレータに対し、前記制約条件を設定するための個別組立作業シミュレーションを指示し、
   前記個別組立作業シミュレーションの結果に基づいて前記制約条件を修正し、
   修正した前記制約条件に従い、前記組立状態に対する前記作業の選択方法を強化学習し、
   前記強化学習の結果に基づいて前記製品の組立作業順序を生成する
   ステップを含むことを特徴とする組立作業順序計画方法。

Images