JP7410365B2 - 部材配置システム及び部材配置プログラム - Google Patents

Description

本発明は、所定形状の素材から複数の部材を切り出すにあたって素材に複数の部材を自動的に配置する部材配置システム及び部材配置プログラムに関する。

形状の異なる複数の部材を矩形の鋼板等の素材から切り出すにあたって、できるだけ無駄なく素材に部材を配置する自動ネスティング（素材への自動的な部材配置）が行われている。
特許文献１には、素材データと、ネスティング対象の部材データを読み込み、自動ネスティングする場合に、素材上にランダムに部材を配置し、部材間の重なった部分又は素材からはみ出した部分をラップと認識し、このラップ部分に仮想的な反発力を発生させてラップがなくなるように部材を移動させる自動ネスティング方法が開示されている。
また、特許文献２には、複数の３次元形状部品を加工材より部品取りするにあたり、３次元形状部品データファイルと部品数と加工材の寸法を読込み、加工材の予め定められた面で面取りをする各部品の拘束面を指示し、拘束面の加工材に対しての２次元の投影形状面積と部品の奥行きとで各部品をグループ化し、グループの２次元投影形状面の空き面積部分に２次元ネスティングにより他の部品を配置し、部品取りする方法が開示されている。
また、特許文献３には、指示装置にて指示された外壁パネルの種類と枚数に基づいて、各種の組み合わせをコンピュータによってシミュレーションし、素板の破棄部分が最少となる最適組み合わせを作成する切断組み合わせ作成装置と、最適組み合わせの情報を表示・修正する表示・修正装置と、切断組み合わせ作成装置から出力されたＮＣデータに基づいて素板を切断するＮＣ切断装置を備えた自動切断装置が開示されている。
また、特許文献４には、活性化関数に非線形関数を採用した第１ニューラルネットワークを用いて、ニューラルネットワークに含まれる各ニューロン間の結合の重み及びバイアスの少なくとも一方を含むパラメータを調整した学習済みモデルを取得する取得部と、学習済みモデルにしたがって、活性化関数に非線形関数の近似多項式を採用した第２ニューラルネットワークにパラメータを設定する設定部と、暗号化されたデータが入力されたとき、第２ニューラルネットワークを用いて、暗号化されたデータを暗号化したまま推論処理を実行する推論部を備えた推論装置が開示されている。

特開２００５－３２７０１０号公報 特開２００３－２５６０１１号公報 特開平６－８３４２５号公報 特開２０１９－４６４６０号公報

自動ネスティングを用いた配置結果には改善の余地があり、より素材の無駄を少なくするため自動ネスティングの配置結果に対して人手による手直しが行われている。しかし、例えば造船では１隻あたり数万単位の部材を取り扱うなど、部材の数が膨大になることも少なくない。さらに、後の作業工程を考慮すると、あまりネスティング作業に時間をかけることはできない。
また、様々な形状の部材に対応する必要があるため、ネスティング作業用に人手でその都度プログラミングすることは困難である。
また、ネスティング作業に単にＡＩ（Artificial Intelligence）を適用しようとしても、部材の数が多い場合、ネスティング作業の際の部材の選択、配置場所、及び角度等を考慮すると、とりうる行動の数が膨大（離散化しても数億以上）となり、迅速な処理を行うことができない。
特許文献１～特許文献３は、自動ネスティングを用いて素材に歩留まり良く部材を配置しようとするものではあるが、ネスティングの結果を機械学習して自動ネスティングの精度を向上させ、これにより歩留まり率を改善するものではない。
また、特許文献４は、学習装置で作成した学習済みモデルを用いて推論装置で推論処理を行うものであるが、ネスティングに関する記載はなく、推論処理の結果を機械学習して学習済みモデルの精度を向上させるものでもない。
そこで本発明は、機械学習により自動ネスティングの精度を向上させ、歩留まり率を改善する部材配置システム及び部材配置プログラムを提供することを目的とする。

請求項１記載に対応した部材配置システムにおいては、所定の寸法の２次元形状の素材に、実際に配置したい複数のネスティング用２次元部材を自動的に配置する部材配置システムであって、学習用２次元部材データを保有する２次元部材データベースと、学習用サーバと、推論サーバを備え、学習用サーバは、行動の価値の推定と行動の設定を行なう行動設定部と、行動に基づいて学習用に配置した学習用２次元部材の素材に対する配置と報酬を、学習用２次元部材データを取得して演算する２次元部材配置演算部と、蓄積された配置と報酬の演算結果からエージェントを学習する学習部とを有し、学習の結果としての学習済モデルを生成し、推論サーバは、学習用サーバの学習済モデルを読み込む読込部と、２次元部材データファイルから実際に配置したい複数のネスティング用２次元部材のネスティング用２次元部材データを取得しネスティング用２次元部材の配置の順列を作成する配置順作成部と、学習済モデルのエージェントによる推論行動の設定を行なう推論行動設定部と、推論行動に基づいてネスティング用２次元部材の素材に対する配置と報酬を、ネスティング用２次元部材の順列に従って演算する２次元部材配置推論演算部と、最も報酬の高い配置結果をネスティング用２次元部材配置結果として出力する結果出力部とを有することを特徴とする。
請求項１に記載の本発明によれば、機械学習により生成された学習済モデル（例えば、ニューラルネットワークの構造情報と重み係数）を用いてネスティングを行うことで、配置すべき部材の数や形状が多い場合であっても、迅速、かつ報酬を高く得るように学習した結果（例えば、歩留まり率が高い結果）を反映して素材に複数の部材を配置することができる。

請求項２記載の本発明は、学習用サーバが、更新用の学習済モデルを評価して出力する評価・出力部を有したことを特徴とする。
請求項２に記載の本発明によれば、更新用の学習済モデルを出力前に評価することで、報酬（歩留まり率）が改善する場合にのみ学習済モデルを更新するようにして、更新前よりも性能が低下することを防止できる。

請求項３記載の本発明は、２次元部材配置演算部に、学習用２次元部材の選択と配置順をルールベースにする配置問題設定部を有したことを特徴とする。
請求項３に記載の本発明によれば、ルールベースとすることで、学習用２次元部材の選択と配置順の組み合わせ数が膨大になることを防ぎ処理を高速化することができる。

請求項４記載の本発明は、ルールベースとして学習用２次元部材の寸法的に大きい順に、又は学習用２次元部材の単品での歩留まり率の悪い順に配置順を設定することを特徴とする。
請求項４に記載の本発明によれば、処理をより高速化できる。

請求項５記載の本発明は、模倣用２次元部材配置結果を保有する模倣用２次元部材配置結果データベースを備え、学習用サーバの学習部が、模倣用２次元部材配置結果からエージェントを学習することを特徴とする。
請求項５に記載の本発明によれば、配置結果から模倣学習を行うことで、より報酬を高く得るように学習した（より歩留まり率が高い）学習済モデルを生成することができる。

請求項６記載の本発明は、模倣用２次元部材配置結果は、人の配置した模倣用データ及び／又は推論サーバのネスティング用２次元部材配置結果に基づくものであることを特徴とする。
請求項６に記載の本発明によれば、人（特に熟練者）の配置結果や推論サーバのネスティング用２次元部材配置結果から模倣学習を行うことで、さらに報酬を高く得るように学習した（さらに歩留まり率が高い）学習済モデルを生成することができる。

請求項７記載の本発明は、２次元部材データファイルは、ネスティング用２次元部材を設計するＣＡＤシステムと連係させたものであることを特徴とする。
請求項７に記載の本発明によれば、ＣＡＤシステムで設計した２次元部材データを基にネスティングを行うことができ、設計から部材の配置までが効率化できる。

請求項８記載の本発明は、推論サーバから出力するネスティング用２次元部材配置結果を、ネスティング用２次元部材を切断するＮＣ切断用システムと連係させたことを特徴とする。
請求項８に記載の本発明によれば、ＮＣ切断用システムにおいてネスティング用２次元部材配置結果に基づき部材の切り出しを行うことができる。

請求項９記載に対応した部材配置プログラムは、所定の寸法の２次元形状の素材に、実際に配置したい複数のネスティング用２次元部材を自動的に配置する部材配置プログラムであって、コンピュータに、２次元部材データベースから学習用２次元部材データを読み込ませるデータ読込ステップと、行動の価値の推定と行動の設定を行なう行動設定ステップと、行動に基づいて学習用に配置した学習用２次元部材の素材に対する配置と報酬を、学習用２次元部材データを用いて演算する２次元部材配置演算ステップと、蓄積された配置と報酬の演算結果からエージェントを学習する学習ステップと、学習の結果として学習済モデルを生成する学習済モデル生成ステップと、学習済モデルを読み込む学習済モデル読込ステップと、２次元部材データファイルから実際に配置したい複数のネスティング用２次元部材のネスティング用２次元部材データを取得しネスティング用２次元部材の配置の順列を作成する配置順作成ステップと、学習済モデルのエージェントによる推論行動の設定を行なう推論行動設定ステップと、推論行動に基づいてネスティング用２次元部材の素材に対する配置と報酬を、ネスティング用２次元部材の順列に従って演算する２次元部材配置推論演算ステップと、最も報酬の高い配置結果をネスティング用２次元部材配置結果として出力する２次元部材配置結果出力ステップとを実行させることを特徴とする。
請求項９に記載の本発明によれば、機械学習により生成された学習済モデルを用いてネスティングを行うことで、配置すべき部材の数や形状が多い場合であっても、迅速、かつ報酬を高く得るように学習した結果（例えば、歩留まり率が高い結果）を反映して素材に複数の部材を配置することができる。

請求項１０記載の本発明は、学習済モデル生成ステップで生成した学習済モデルを更新のために評価する評価ステップを有したことを特徴とする。
請求項１０に記載の本発明によれば、学習済モデルを更新前に評価することで、報酬(歩留まり率)が改善する場合にのみ学習済モデルを更新することができるため、更新前よりも性能が低下することを防止できる。

請求項１１記載の本発明は、２次元部材配置演算ステップの演算に用いる学習用２次元部材の選択と配置順をルールベースにする配置問題設定ステップを有したことを特徴とする。
請求項１１に記載の本発明によれば、ルールベースにすることで、学習用２次元部材の選択と配置順の組み合わせ数が膨大になることを防ぎ処理を高速化することができる。

請求項１２記載の本発明は、ルールベースとして学習用２次元部材の寸法的に大きい順に、又は学習用２次元部材の単品での歩留まり率の悪い順に配置順を設定することを特徴とする。
請求項１２に記載の本発明によれば、処理をより高速化できる。

請求項１３記載の本発明は、学習ステップが、模倣用２次元部材配置結果データベースから模倣用２次元部材配置結果を取得して、模倣用２次元部材配置結果からエージェントを学習することを特徴とする。
請求項１３に記載の本発明によれば、配置結果から模倣学習を行うことで、より報酬を高く得るように学習した（より歩留まり率が高い）学習済モデルを生成することができる。

請求項１４記載の本発明は、２次元部材データファイルのネスティング用２次元部材データを、ネスティング用２次元部材を設計するＣＡＤシステムから取得することを特徴とする。
請求項１４に記載の本発明によれば、ＣＡＤシステムで設計した２次元部材データを基にネスティングを行うことができ、設計から部材の配置までが効率化できる。

請求項１５記載の本発明は、２次元部材配置結果出力ステップで出力するネスティング用２次元部材配置結果を、ネスティング用２次元部材を切断するＮＣ切断用システムに伝達することを特徴とする。
請求項１５に記載の本発明によれば、ＮＣ切断用システムにおいてネスティング用２次元部材配置結果に基づき部材の切り出しを行うことができる。

本発明の部材配置システムによれば、機械学習により生成された学習済モデル（例えば、ニューラルネットワークの構造情報と重み係数）を用いてネスティングを行うことで、配置すべき部材の数や形状が多い場合であっても、迅速、かつ報酬を高く得るように学習した結果（例えば、歩留まり率が高い結果）を反映して素材に複数の部材を配置することができる。

また、学習用サーバが、更新用の学習済モデルを評価して出力する評価・出力部を有した場合には、更新用の学習済モデルを出力前に評価することで、報酬（歩留まり率）が改善する場合にのみ学習済モデルを更新するようにして、更新前よりも性能が低下することを防止できる。

また、２次元部材配置演算部に、学習用２次元部材の選択と配置順をルールベースにする配置問題設定部を有した場合には、ルールベースとすることで、学習用２次元部材の選択と配置順の組み合わせ数が膨大になることを防ぎ処理を高速化することができる。

また、ルールベースとして学習用２次元部材の寸法的に大きい順に、又は学習用２次元部材の単品での歩留まり率の悪い順に配置順を設定する場合には、処理をより高速化できる。

また、模倣用２次元部材配置結果を保有する模倣用２次元部材配置結果データベースを備え、学習用サーバの学習部が、模倣用２次元部材配置結果からエージェントを学習する場合には、配置結果から模倣学習を行うことで、より報酬を高く得るように学習した（より歩留まり率が高い）学習済モデルを生成することができる。

また、模倣用２次元部材配置結果は、人の配置した模倣用データ及び／又は推論サーバのネスティング用２次元部材配置結果に基づくものである場合には、人（特に熟練者）の配置結果や推論サーバのネスティング用２次元部材配置結果から模倣学習を行うことで、さらに報酬を高く得るように学習した（さらに歩留まり率が高い）学習済モデルを生成することができる。

また、２次元部材データファイルは、ネスティング用２次元部材を設計するＣＡＤシステムと連係させたものである場合には、ＣＡＤシステムで設計した２次元部材データを基にネスティングを行うことができ、設計から部材の配置までが効率化できる。

また、推論サーバから出力するネスティング用２次元部材配置結果を、ネスティング用２次元部材を切断するＮＣ切断用システムと連係させた場合には、ＮＣ切断用システムにおいてネスティング用２次元部材配置結果に基づき部材の切り出しを行うことができる。

また、本発明の部材配置プログラムによれば、機械学習により生成された学習済モデルを用いてネスティングを行うことで、配置すべき部材の数や形状が多い場合であっても、迅速、かつ報酬を高く得るように学習した結果（例えば、歩留まり率が高い結果）を反映して素材に複数の部材を配置することができる。

また、学習済モデル生成ステップで生成した学習済モデルを更新のために評価する評価ステップを有した場合には、学習済モデルを更新前に評価することで、報酬(歩留まり率)が改善する場合にのみ学習済モデルを更新することができるため、更新前よりも性能が低下することを防止できる。

また、２次元部材配置演算ステップの演算に用いる学習用２次元部材の選択と配置順をルールベースにする配置問題設定ステップを有した場合には、ルールベースにすることで、学習用２次元部材の選択と配置順の組み合わせ数が膨大になることを防ぎ処理を高速化することができる。

また、ルールベースとして学習用２次元部材の寸法的に大きい順に、又は学習用２次元部材の単品での歩留まり率の悪い順に配置順を設定する場合には、処理をより高速化できる。

また、学習ステップが、模倣用２次元部材配置結果データベースから模倣用２次元部材配置結果を取得して、模倣用２次元部材配置結果からエージェントを学習する場合には、配置結果から模倣学習を行うことで、より報酬を高く得るように学習した（より歩留まり率が高い）学習済モデルを生成することができる。

また、２次元部材データファイルのネスティング用２次元部材データを、ネスティング用２次元部材を設計するＣＡＤシステムから取得する場合には、ＣＡＤシステムで設計した２次元部材データを基にネスティングを行うことができ、設計から部材の配置までが効率化できる。

また、２次元部材配置結果出力ステップで出力するネスティング用２次元部材配置結果を、ネスティング用２次元部材を切断するＮＣ切断用システムに伝達する場合には、ＮＣ切断用システムにおいてネスティング用２次元部材配置結果に基づき部材の切り出しを行うことができる。

本発明の実施形態による部材配置システムの構成図 同強化学習のモデルを示す図 同マルコフ決定過程を示す図 同ネスティングの歩留まり率が機械学習の進行とともに向上するイメージ図 同学習用サーバにおける学習フェーズのフロー図 同推論サーバにおける推論フェーズのフロー図 同推論サーバによる配置計算結果の一例を示す図

以下、本発明の実施形態による部材配置システム及び部材配置プログラムについて説明する。

図１は本実施形態による部材配置システムの構成図である。
部材配置システムは、所定の寸法の２次元形状の素材に、複数の２次元部材を自動的に配置する。素材は矩形の鋼材等である。部材は素材から切り出され、船舶等の構成材料として用いられる。
部材配置システムは、データサーバ１０と、データサーバ１０に蓄積されたデータに基づいて機械学習を行い学習の結果としての学習済モデル４０を生成する学習用サーバ２０と、生成された学習済モデル４０を用いて実際に配置したい部材についてのネスティングを行う推論サーバ３０を備える。学習用サーバ２０及び推論サーバ３０には、部材配置プログラムが組み込まれている。学習用サーバ２０及び推論サーバ３０に用いる人工知能（ＡＩ）は、ＮＮ（neural network）又はＣＮＮ(Convolution neural network)等である。

データサーバ１０は、２次元部材データベース１１と模倣用２次元部材配置結果データベース１２を有する。
２次元部材データベース１１は、過去に用いた部材等を２次元化した２次元部材データを保有している。２次元部材データベース１１には、機械学習のために様々な形状の部材を蓄積することが好ましく、例えば造船であれば過去何隻ものデータを蓄積する。２次元部材データベース１１には、定期的又は任意のタイミングで新たな２次元部材データを追加して蓄積することができる。
模倣用２次元部材配置結果データベース１２は、学習用サーバ２０において摸倣学習を行うための摸倣用２次元部材配置結果のデータを保有している。摸倣用２次元部材配置結果は、熟練者がネスティングを行った結果や、推論サーバ３０がネスティングを行った結果である２次元部材配置結果等である。
模倣用２次元部材配置結果データベース１２には、定期的又は任意のタイミングで新たな摸倣用２次元部材配置結果のデータを追加して蓄積することができる。

学習用サーバ２０は、２次元部材データベース１１に蓄積されている２次元部材データ、又は模倣用２次元部材配置結果データベース１２に保有されている摸倣用２次元部材配置結果を用いて強化学習を行い、学習済モデル４０を生成する。
学習用サーバ２０は、２次元部材データベース１１が保有している２次元部材データを取得する取得部２１と、模倣用２次元部材配置結果データベース１２が保有している摸倣用２次元部材配置結果を取得し、摸倣用２次元部材配置結果から推定して行動履歴を生成する摸倣用データ処理部２２と、２次元部材を配置する行動の価値の推定と行動の設定を行なう行動設定部２３と、行動に基づいて２次元部材の素材に対する配置と報酬（例えば、歩留まり率）を、２次元部材データを取得して演算する２次元部材配置演算部２４と、２次元部材配置演算部２４による配置と報酬の演算結果、及び模倣用データ処理部２２が生成した行動履歴を記憶する一時記憶部２５と、一時記憶部２５に蓄積された配置と報酬の演算結果からエージェントを学習する学習部２６と、更新用の学習済モデル４０を評価して出力する評価・出力部２７を備える。なお、報酬としては歩留まり率だけでなく，重量的な観点もある。また、図１の点線で囲んだ行動設定部２３、一時記憶部２５、及び学習部２６がエージェント（人工知能）である。
また、２次元部材配置演算部２４は、２次元部材の選択と配置順をルールベースにする配置問題設定部２４Ａと、行動設定部２３が設定した行動に基づいてネスティングを行うネスティング処理部２４Ｂと、配置問題設定部２４Ａが設定した２次元部材の選択と配置順、又はネスティング処理部２４Ｂがネスティングした結果に基づき画像データを生成する状態演算部２４Ｃと、ネスティング処理部２４Ｂがネスティングした結果に基づき報酬を算出する報酬演算部２４Ｄを備える。
なお、データサーバ１０、学習用サーバ２０、推論サーバ３０は、図１においては別々に構成されているが、一つのものとして構成したり、任意に組み合わせて構成することもできる。また、各サーバの中の構成要素も、それらの機能を果たす範囲で任意に組み合わせたり別設置とすることも可能である。各サーバ、又は構成要素を組み合わせる場合は、その繋ぎとしてネットワークを利用することもできる。

ここで、学習用サーバ２０において行う強化学習について説明する。強化学習は、機械学習の一つであり、行動により報酬が得られる環境を与えて、各状態において報酬につながる行動が出力されるように、パラメータを調整する学習方法である。
図２は強化学習のモデルを示す図である。図２に示すエージェントは、行動を計画し、環境に対して行動を行うことができる人工知能（ＡＩ）にあたる。上述のように、図１では、点線で囲んだ行動設定部２３、一時記憶部２５、及び学習部２６がエージェントとなる。また、図１では、２次元部材配置演算部２４が環境となる。制御系の問題としてとらえると、エージェントは制御器に相当し、環境は制御対象になる。エージェントは、制御対象である環境から現在の状態と直前の状態遷移に伴う報酬を観測し、それに基づいて環境に対して働きかける行動を計画し、行動する。エージェントの行動に対して、環境は応答し、新しい状態に遷移する。このサイクルが繰り返される。強化学習は、報酬和を最大にすることを目的に学習する。
強化学習のエージェント（人工知能）は、二つのことを学習する。一つ目は、行動の評価方法を学習すること、二つ目は（評価に基づく）行動の選択方法（戦略）を学習することである。一つ目の行動評価方法を学習するとは、人間の場合、主観的・直観的な評価にあたる。強化学習が行う二つの学習は、（１）行動評価を行うための「価値の算出方法（状態評価）」と、（２）状態評価に基づく「行動の選択方法（戦略）」の ２点である。

強化学習を行う上では，与えられる「環境」が一定のルールに従っていることを仮定している。そのルールとは、「遷移先の状態は、直前の状態とそこでの行動のみに依存する。報酬は、直前の状態と遷移先に依存する」というものである。このルールをマルコフ性と呼び、このマルコフ性に従う環境をマルコフ決定過程と呼ぶ。マルコフ決定過程は、（１）状態、（２）行動、（３）状態遷移の確率（遷移関数）、（４）即時報酬（報酬関数）の構成要素からなる。図３はこれを図式化したものである。
図３に示すエージェントは、状態を受け取り、行動を出力する関数とみなせる。この関数を戦略 （Ｐｏｌｉｃｙ）と呼ぶ。前述のとおり学習の一つに「戦略を学習する」、すなわち戦略の関数を構成するパラメータを調整することがある。戦略を学習した結果を踏まえ、状態に応じた適切な行動を出力できるようにする。

図４はネスティングの歩留まり率が機械学習の進行とともに向上するイメージ図であり、図４（ａ）は学習初期の段階、図４（ｂ）は学習中期の段階、図４（ｃ）は学習後期の段階を示している。
素材１に部材Ａ～Ｃを配置する場合、学習初期は図４（ａ）に示すように歩留まり率が悪い結果となるが、機械学習により人工知能が試行錯誤して歩留まり率が良い配置方法を学んでいくことで、学習中期は図４（ｂ）に示すように歩留まり率が改善し、十分に学習した学習後期には熟練者が配置した場合の歩留まり率と同等の配置を行うことができるようになる。

図１に戻り、推論サーバ３０は、素材から切り出そうとする複数の部材について、学習用サーバ２０から出力された学習済モデル４０を用いて人工知能によるネスティングを行う。
推論サーバ３０は、学習済モデル４０を読み込む読込部３１と、２次元部材データファイル５０から複数の２次元部材の２次元部材データを取得する推論取得部３２と、２次元部材の配置の順列を作成する配置順作成部３３と、学習済モデル４０のエージェントによる推論行動の設定を行なう推論行動設定部３４と、推論行動に基づいて２次元部材の素材に対する配置と報酬を、２次元部材の順列に従って演算する２次元部材配置推論演算部３５と、最も報酬の高い配置結果を２次元部材配置結果として出力する結果出力部３６を備える。２次元部材配置結果は、２次元部材配置結果データファイル６０に格納される。
なお、図示は省略しているが、２次元部材配置推論演算部３５は、推論行動設定部３４が設定した推論行動に基づいてネスティングを行う推論ネスティング処理部と、配置順作成部３３が設定した２次元部材の配置の順列、又は推論ネスティング処理部がネスティングした結果に基づき画像データを生成する推論状態演算部と、推論ネスティング処理部がネスティングした結果に基づき報酬を算出する推論報酬演算部を備える。

部材配置システムは、２次元部材を設計するＣＡＤシステム７０と、２次元部材を切断するＮＣ切断用システム８０と連携している。
ＣＡＤシステム７０は、作成した２次元部材データを２次元部材データファイル５０に格納する。２次元部材データは、推論サーバ３０におけるネスティングに用いるデータであり、造船の場合は例えば設計中の１隻分の部材のデータとなる。ＣＡＤシステム７０と連携することにより、ＣＡＤシステム７０で設計した２次元部材データを基にネスティングを行うことができ、設計から部材の配置までが効率化できる。
ＮＣ切断用システム８０は、２次元部材配置結果データファイル６０に格納された２次元部材配置結果に従って素材から各部材の切断（切り出し）を行う。

図５は、部材配置プログラムの一部を実行する学習用サーバにおける学習フェーズのフロー図である。
２次元部材データベース１１に新たな２次元部材データが蓄積されると、取得部２１は、２次元部材データベース１１から２次元部材データを読み込む（データ読込ステップＳ１）。
また、模倣用２次元部材配置結果データベース１２に新たな摸倣用２次元部材配置結果が蓄積されると、模倣用データ処理部２２は、模倣用２次元部材配置結果データベース１２から模倣用２次元部材配置結果を読み込む（配置結果読込ステップＳ２）。
なお、データ読込ステップＳ１及び配置結果読込ステップＳ２は、新たな２次元部材データ又は摸倣用２次元部材配置結果が蓄積された場合に限らず、定期的又は任意のタイミングで開始することもできる。

学習用サーバ２０は、データ読込ステップＳ１又は配置結果読込ステップＳ２の後、模倣学習を行うか否かを選択する（模倣学習選択ステップＳ３）。学習用サーバ２０は、取得部２１が２次元部材データベース１１から２次元部材データを取得したときは模倣学習を行わない（Ｎｏ）を選択し、摸倣用データ処理部２２が模倣用２次元部材配置結果データベース１２から摸倣用２次元部材配置結果を取得したときは模倣学習を行う（Ｙｅｓ）を選択する。
模倣学習選択ステップＳ３において模倣学習を行わないことが選択された場合は、取得部２１が、複数の２次元部材データについて、各部材の板厚や、使用箇所（船殻ブロック等）などといった基準をもとにグループ分けを行い、その結果を２次元部材配置演算部２４へ送る（グループ分けステップＳ４）。
一方、模倣学習選択ステップＳ３において模倣学習を行うことが選択された場合は、模倣用データ処理部２２が配置結果から行動履歴（状態ｓ，行動ａ，次の状態ｓ’，報酬ｒ，終了判定ｔ）を生成し、一時記憶部２５に記憶する（行動履歴生成ステップＳ５）。摸倣学習は、逆強化学習等により行う。模倣学習において、人（特に熟練者）の配置結果や推論サーバの２次元部材配置結果から行動履歴を推定し、その行動履歴と同様の行動ができるように学習することで、さらに報酬を高く得るように学習した（さらに歩留まり率が高い）学習済モデル４０を生成することができる。行動履歴生成ステップＳ５の後は、グループ分けステップＳ４に移行する。

グループ分けステップＳ４の後、グループ別に複数選択された２次元部材データを受け取った２次元部材配置演算部２４は、配置問題設定部２４Ａにおいて初期化と部材の選択を行い、ＡＩが理解できる形で問題を設定する（配置問題設定ステップＳ６）。配置問題設定ステップＳ６において配置問題設定部２４Ａは、２次元部材データを複数ランダムに抽出し、初期化を行う。初期化が行われると、素材に部材が配置されていない初期状態となる。部材の選択は、グループ分けされた部材について、素材に配置していく順序をルールベースとして定めるものである。ルールベースとすることで、２次元部材の選択と配置順の順序の組み合わせ数が膨大になることを防ぎ処理を高速化することができる。この際、ルールベースとして、２次元部材単品での寸法的に大きい順に、又は２次元部材単品での歩留まり率の悪い順（２次元部材単品での素材の廃棄面積が大きい順）に順列を設定することがより好ましい。これにより、処理をより高速化できる。
配置問題設定ステップＳ６の後、状態演算部２４Ｃは、２次元部材データについて、ＡＩ処理のため、線群データから画像ピクセルデータに変換する（画像データ生成ステップＳ７）。これにより、配置状態における２次元の画像データが生成される。

画像データ生成ステップＳ７の後、行動設定部２３は、εグリーディ法等の強化学習により、部材の配置に関する行動の価値の推定と、行動の価値の推定に基づく行動の設定を行う（行動設定ステップＳ８）。設定する行動には、各部材の配置場所と配置角度が含まれる。設定した行動は、２次元部材配置演算部２４に命令として送られる。

２次元部材配置演算部２４は、行動設定部２３からの命令を受け取ると、行動に基づいて２次元部材の素材に対する配置と報酬を、２次元部材データを用いて演算する（２次元部材配置演算ステップＳ９）。
２次元部材配置演算ステップＳ９では、ネスティング処理部２４Ｂにおいて各部材を素材に配置するネスティングを行い、ネスティングの結果に基づき、状態演算部２４Ｃが画像データを生成すると共に、報酬演算部２４Ｄが報酬として歩留まり率を算出し、行動に対応した配置と報酬の演算結果を出力する。報酬は０～１の間で設定され、例えば、歩留まり率が１００％の場合の報酬は１となる。

２次元部材配置演算部２４から出力された行動に対応した配置と報酬の演算結果は、一時記憶部２５に記憶される。学習部２６は一時記憶部２５に蓄積された配置と報酬の演算結果からエージェントを学習する（学習ステップＳ１０）。

学習ステップＳ１０の後、評価・出力部２７は、学習終了条件を満たすか否かを判断する（学習終了条件判断ステップＳ１１）。学習終了条件は、例えば予め定められた学習回数である。
学習終了条件判断ステップＳ１１において、学習終了条件を満たさない（Ｎｏ）と判断した場合、評価・出力部２７は、配置終了条件を満たすか否かを判断する（配置終了条件判断ステップＳ１２）。配置終了条件とは、取得したすべての部材の配置が完了することである。
評価・出力部２７が、配置終了条件判断ステップＳ１２において、すべての部材の配置が終わっており配置終了条件を満たす（Ｙｅｓ）と判断した場合は、２次元部材配置演算部２４は、報酬演算部２４Ｄによって演算された歩留まり率の計算結果と報酬を設定し、一時記憶部２５に保存する（報酬設定ステップＳ１３）。報酬設定ステップＳ１３の後は、配置問題設定ステップＳ６に戻り、配置問題設定部２４Ａにおいて初期化と部材の選択を行う。
一方、評価・出力部２７が、配置終了条件判断ステップＳ１２において、配置の終わっていない部材があり配置終了条件を満たさない（Ｎｏ）と判断した場合は、２次元部材配置演算部２４は、報酬演算部２４Ｄによって演算された歩留まり率の計算結果に基づく報酬を０に設定し、一時記憶部２５に保存する（報酬０設定ステップＳ１４）。報酬０設定ステップＳ１４の後は、画像データ生成ステップＳ７に戻る。

また、学習終了条件判断ステップＳ１１において、学習終了条件を満たす（Ｙｅｓ）と判断した場合は、学習を終了し、学習の結果として学習済モデル４０を生成する（学習済モデル生成ステップＳ１５）。学習済モデル４０は、例えば、ニューラルネットワークの構造の情報と重み係数の値が記載された数字が羅列された数百ＭＢ程度のファイルである。
評価・出力部２７は、学習済モデル生成ステップＳ１５で生成した学習済モデル４０を更新のために評価する（評価ステップＳ１６）。評価は、例えば、新たに生成した学習済モデル４０を学習前の学習済モデル４０と比較し、歩留まり率が向上しているか否かで判断する。評価・出力部２７は、評価ステップＳ１６において歩留まり率が向上していると判断した場合は、学習済モデル４０を更新して推論サーバ３０へ出力し学習を終了する。更新用の学習済モデル４０を出力前に評価することで、報酬（歩留まり率）が改善する場合にのみ学習済モデル４０を更新するようにして、更新前よりも性能が低下することを防止できる。なお、学習済モデル４０を更新してもすぐには出力せず、推論サーバ３０側から要求があった場合にのみ学習済モデル４０を出力するよう設定することもできる。また、学習済モデル４０を記憶媒体に保存して推論サーバ３０側へ渡すこともできる。
一方、評価・出力部２７は、評価ステップＳ１５において歩留まり率が向上していないと判断した場合は学習済モデル４０を更新するための出力を止める。このように、本実施形態は、学習済モデル４０を更新すること、推論サーバ３０の２次元部材配置結果を含めた模倣学習を行って学習済モデル４０を更新すること、また更新に当っては歩留まり率が向上できる学習済モデル４０のみを出力すること等を特徴としている。

図６は、部材配置プログラムの一部を実行する推論サーバにおける推論フェーズのフロー図である。
推論サーバ３０において推論フェーズが開始されると、読込部３１は、学習済モデル４０を読み込む（学習済モデル読込ステップＳ２１）。学習済モデル４０を読み込むことにより、学習サーバ２０によって更新された学習済モデル４０が推論サーバ３０にコピーされる。

推論取得部３２は、２次元部材データファイル５０から配置すべき全ての部材の２次元部材データを取得し、取得した２次元部材データについて、各部材の板厚や、使用箇所（船殻ブロック等）などといった基準をもとにグループ分けを行い、その結果を配置順作成部３３へ送る（推論グループ分けステップＳ２２）。

配置順作成部３３は、グループ分けされた２次元部材を、部材単品の歩留まり率、又は部材単品の寸法的な大きさ（面積）等といったルールに基づいて並び替える（並び替えステップＳ２３）。
並び替えステップＳ２３の後、配置順作成部３３は、２次元部材の配置の順列を作成する（配置順作成ステップＳ２４）。配置順作成ステップＳ２４では、素材に配置していない部材の中で、素材に最大配置可能な個数以内のすべての順列を生成する。順列の生成は予め定めたルールによって行うルールベースとすることが好ましい。ルールベースとすることで、順列の組み合わせ数が膨大になることを防ぎ処理を高速化することができる。この際、ルールベースとして、２次元部材単品での寸法的に大きい順に、又は２次元部材単品での歩留まり率の悪い順に順列を設定することがより好ましい。これにより、処理をより高速化できる。なお、推論取得部３２で行なったグループ分けを配置順作成部３３で行ってもよい。

配置順作成ステップＳ２４の後、推論行動設定部３４は、学習済モデル４０のエージェントによる推論行動の設定を行なう（推論行動設定ステップＳ２５）。推論行動設定ステップＳ２５では、順列に対応する部材群に対してエージェントによる配置を行う。設定する推論行動には、部材の配置場所と配置角度が含まれる。設定した推論行動は、２次元部材配置推論演算部３５に命令として送られる。

２次元部材配置推論演算部３５は、推論行動に基づいて２次元部材の素材に対する配置と報酬を、２次元部材の順列に従って演算する（２次元部材配置推論演算ステップＳ２６）。
２次元部材配置推論演算ステップＳ２６では、推論ネスティング処理部において各部材を素材に配置するネスティングを行い、ネスティングの結果に基づき、推論状態演算部が画像データを生成すると共に、推論報酬演算部が報酬として歩留まり率を算出する。

２次元部材配置推論演算ステップＳ２６の後、推論サーバ３０は、すべての順列の計算が終わったか否かを判断する（演算終了判断ステップＳ２７）。
演算終了判断ステップＳ２７において、すべての順列の計算が終わっていない（Ｎｏ）と判断された場合は、推論行動設定ステップＳ２５に戻り、未演算の順列に対応する部材群に対してエージェントによる推論行動の設定を行う。
演算終了判断ステップＳ２７において、すべての順列の計算が終わった（Ｙｅｓ）と判断された場合は、結果出力部３６が、最も歩留まり率の良い結果、すなわち最も報酬の高い配置結果を２次元部材配置結果として出力する（２次元部材配置結果出力ステップＳ２８）。
出力された２次元部材配置結果は、２次元部材配置結果データファイル６０に格納される。２次元部材配置結果は、ＮＣ切断用システム８０へ送る際にはポスト処理によって必要なデータ形式に変換される。また、２次元部材配置結果は、模倣用２次元部材配置結果として、模倣用２次元部材配置結果データベース１２へも送られる。

２次元部材配置結果出力ステップＳ２８の後、推論サーバ３０は、すべての部材を配置したか否かを判断する（部材配置完了判断ステップＳ２９）。
部材配置完了判断ステップＳ２９においてすべての部材を配置していない（Ｎｏ）と判断した場合は、配置順作成ステップＳ２４に戻り、未配置の部材の中で、最大配置可能個数以内のすべての順列を作成する。
部材配置完了判断ステップＳ２９においてすべての部材を配置した（Ｙｅｓ）と判断した場合は、推論フェーズを終了する。

図７は、推論サーバによる配置計算結果の一例を示す図である。なお、目盛りは素材の寸法（ｃｍ）を示している。
図７（ａ）は、学習用サーバ２０において２次元部材データを用いた自己学習により生成した学習済モデル４０を基に、５個の部材Ａ～Ｅを素材１に配置した結果を示している。
図７（ｂ）は、学習用サーバ２０において２次元部材データを用いた自己学習により生成した学習済モデル４０を基に、１１個の部材Ａ～Ｋを素材１に配置した結果を示している。
図７（ｃ）の左側は、学習用サーバ２０において２次元部材データを用いた自己学習により生成した学習済モデル４０を基に、１０個の部材Ａ～Ｊを素材１に配置した結果を示している。この場合の歩留まり率は０．６２である。
図７（ｃ）の右側は、学習用サーバ２０において模倣用２次元部材配置結果を用いた模倣学習により生成した学習済モデル４０を基に、１０個の部材Ａ～Ｊを素材１に配置した結果を示している。この場合の歩留まり率は０．６８である。
いずれの結果においても、歩留まり率よく部材が配置されていることが分かる。このように、機械学習を繰り返し行うことにより生成された学習済モデル４０を用いてネスティングを行うことで、配置すべき部材の数や形状が多い場合であっても、迅速、かつ報酬を高く得るように学習した結果（歩留まり率が高い結果）を反映して素材に複数の部材を配置することができる。

なお、上記実施形態で説明した部材配置プログラムを実行する学習用サーバ２０及び推論サーバ３０は、コンピュータであってもよい。
また、必ずしも学習用サーバ２０及び推論サーバ３０が一体である必要はなく、例えば、学習用サーバ２０と推論サーバ３０を別々の場所に設けてもよい。この場合、機械学習を行わない推論サーバ３０は、学習用サーバ２０と比べて要求スペックを低くしてコストを抑えることができる。また、この場合、部材配置プログラムは、学習用サーバ２０と推論サーバ３０に分けて組み込まれる。また、別々の場所に設ける場合、学習用サーバ２０と推論サーバ３０とをネットワークを介して繋いでもよい。

本発明の部材配置システム及び部材配置プログラムは、２次元形状の素材に、複数の２次元部材を配置するあらゆる分野の自動ネスティングに用いることができ、特に、１隻ごとに２次元部材の形状が異なり、取り扱う部材の数が多い造船等において有効である。

１１ ２次元部材データベース
１２ 模倣用２次元部材配置結果データベース
２０ 学習用サーバ
２３ 行動設定部
２４ ２次元部材配置演算部
２４Ａ 配置問題設定部
２６ 学習部
２７ 評価・出力部
３０ 推論サーバ
３１ 読込部
３３ 配置順作成部
３４ 推論行動設定部
３５ ２次元部材配置推論演算部
３６ 結果出力部
４０ 学習済モデル
５０ ２次元部材データファイル
７０ ＣＡＤシステム
８０ ＮＣ切断用システム
Ｓ１ データ読込ステップ
Ｓ６ 配置問題設定ステップ
Ｓ８ 行動設定ステップ
Ｓ９ ２次元部材配置演算ステップ
Ｓ１０ 学習ステップ
Ｓ１５ 学習済モデル生成ステップ
Ｓ１６ 評価ステップ
Ｓ２１ 読込ステップ
Ｓ２４ 配置順作成ステップ
Ｓ２５ 推論行動設定ステップ
Ｓ２６ ２次元部材配置推論演算ステップ
Ｓ２８ ２次元部材配置結果出力ステップ

Claims (15)

1. 所定の寸法の２次元形状の素材に、実際に配置したい複数のネスティング用２次元部材を自動的に配置する部材配置システムであって、
   学習用２次元部材データを保有する２次元部材データベースと、学習用サーバと、推論サーバを備え、
   前記学習用サーバは、行動の価値の推定と前記行動の設定を行なう行動設定部と、前記行動に基づいて学習用に配置した学習用２次元部材の前記素材に対する配置と報酬を、前記学習用２次元部材データを取得して演算する２次元部材配置演算部と、蓄積された前記配置と前記報酬の演算結果からエージェントを学習する学習部とを有し、前記学習の結果としての学習済モデルを生成し、
   前記推論サーバは、前記学習用サーバの前記学習済モデルを読み込む読込部と、２次元部材データファイルから実際に配置したい複数の前記ネスティング用２次元部材のネスティング用２次元部材データを取得し前記ネスティング用２次元部材の配置の順列を作成する配置順作成部と、前記学習済モデルの前記エージェントによる推論行動の設定を行なう推論行動設定部と、前記推論行動に基づいて前記ネスティング用２次元部材の前記素材に対する配置と報酬を、前記ネスティング用２次元部材の前記順列に従って演算する２次元部材配置推論演算部と、最も報酬の高い配置結果をネスティング用２次元部材配置結果として出力する結果出力部とを有することを特徴とする部材配置システム。
2. 前記学習用サーバが、更新用の前記学習済モデルを評価して出力する評価・出力部を有したことを特徴とする請求項１に記載の部材配置システム。
3. 前記２次元部材配置演算部に、前記学習用２次元部材の選択と配置順をルールベースにする配置問題設定部を有したことを特徴とする請求項１又は請求項２に記載の部材配置システム。
4. 前記ルールベースとして前記学習用２次元部材の寸法的に大きい順に、又は前記学習用２次元部材の単品での歩留まり率の悪い順に前記配置順を設定することを特徴とする請求項３に記載の部材配置システム。
5. 模倣用２次元部材配置結果を保有する模倣用２次元部材配置結果データベースを備え、前記学習用サーバの前記学習部が、前記模倣用２次元部材配置結果から前記エージェントを学習することを特徴とする請求項１から請求項４のいずれか１項に記載の部材配置システム。
6. 前記模倣用２次元部材配置結果は、人の配置した模倣用データ及び／又は前記推論サーバの前記ネスティング用２次元部材配置結果に基づくものであることを特徴とする請求項５に記載の部材配置システム。
7. 前記２次元部材データファイルは、前記ネスティング用２次元部材を設計するＣＡＤシステムと連係させたものであることを特徴とする請求項１から請求項６のいずれか１項に記載の部材配置システム。
8. 前記推論サーバから出力する前記ネスティング用２次元部材配置結果を、前記ネスティング用２次元部材を切断するＮＣ切断用システムと連係させたことを特徴とする請求項１から請求項７のいずれか１項に記載の部材配置システム。
9. 所定の寸法の２次元形状の素材に、実際に配置したい複数のネスティング用２次元部材を自動的に配置する部材配置プログラムであって、
   コンピュータに、
   ２次元部材データベースから学習用２次元部材データを読み込ませるデータ読込ステップと、
   行動の価値の推定と前記行動の設定を行なう行動設定ステップと、
   前記行動に基づいて学習用に配置した学習用２次元部材の前記素材に対する配置と報酬を、前記学習用２次元部材データを用いて演算する２次元部材配置演算ステップと、
   蓄積された前記配置と前記報酬の演算結果からエージェントを学習する学習ステップと、
   前記学習の結果として学習済モデルを生成する学習済モデル生成ステップと、
   前記学習済モデルを読み込む学習済モデル読込ステップと、
   ２次元部材データファイルから実際に配置したい複数の前記ネスティング用２次元部材のネスティング用２次元部材データを取得し前記ネスティング用２次元部材の配置の順列を作成する配置順作成ステップと、
   前記学習済モデルの前記エージェントによる推論行動の設定を行なう推論行動設定ステップと、
   前記推論行動に基づいて前記ネスティング用２次元部材の前記素材に対する前記配置と前記報酬を、前記ネスティング用２次元部材の前記順列に従って演算する２次元部材配置推論演算ステップと、
   最も報酬の高い配置結果をネスティング用２次元部材配置結果として出力する２次元部材配置結果出力ステップとを実行させることを特徴とする部材配置プログラム。
10. 前記学習済モデル生成ステップで生成した前記学習済モデルを更新のために評価する評価ステップを有したことを特徴とする請求項９に記載の部材配置プログラム。
11. 前記２次元部材配置演算ステップの演算に用いる前記学習用２次元部材の選択と配置順をルールベースにする配置問題設定ステップを有したことを特徴とする請求項９又は請求項１０に記載の部材配置プログラム。
12. 前記ルールベースとして前記学習用２次元部材の寸法的に大きい順に、又は前記学習用２次元部材の単品での歩留まり率の悪い順に前記配置順を設定することを特徴とする請求項１１に記載の部材配置プログラム。
13. 前記学習ステップが、模倣用２次元部材配置結果データベースから模倣用２次元部材配置結果を取得して、前記模倣用２次元部材配置結果から前記エージェントを学習することを特徴とする請求項９から請求項１２のいずれか１項に記載の部材配置プログラム。
14. 前記２次元部材データファイルの前記ネスティング用２次元部材データを、前記ネスティング用２次元部材を設計するＣＡＤシステムから取得することを特徴とする請求項９から請求項１３のいずれか１項に記載の部材配置プログラム。
15. ２次元部材配置結果出力ステップで出力する前記ネスティング用２次元部材配置結果を、前記ネスティング用２次元部材を切断するＮＣ切断用システムに伝達することを特徴とする請求項９から請求項１４のいずれか１項に記載の部材配置プログラム。