WO2019182145A1 - 射出成形機システム - Google Patents

Abstract

射出成形機システム（１）は、強化学習を行う機械学習器を有するエージェント（６）によって射出成形機（２）における成形条件を調整する。本学習では、射出成形機（２）から得られる物理データと、成形品の成形不良の種類を表す不良タイプとを状態（Ｓｔａｔｅ）として用い、成形条件を行動（Ａｃｔｉｏｎ）として用い、成形不良の不良度合いを表す不良状態を報酬（Ｒｅｗａｒｄ）として用いる。

Description

射出成形機システム

　本発明は、機械学習を利用した射出成形機システムに関する。

　射出成形機は、一般に、射出装置と型締装置とを有する。射出装置は、例えば、加熱シリンダと、加熱シリンダ内に回転方向と軸方向とに駆動可能に設けられているスクリュと、から構成される。一方、型締装置は、例えば、固定側金型が取り付けられている固定盤と、可動側金型が取り付けられている可動盤と、可動側金型を固定側金型に対して型開閉する型締機構と、から構成される。スクリュを回転駆動するとともに樹脂材料を加熱シリンダに供給することで、溶融した樹脂材料が、加熱シリンダの先端にて計量されて型締めされた金型のキャビティに射出されて充填される。そして、樹脂材料の冷却固化を待って可動金型を開くと、所定形状の成形品が得られる。

　射出速度、射出ストローク、シリンダ温度、型締力、保圧時間等の成形条件は、一般に、成形品ごとに異なっている。良好な成形品を成形するために、通常、射出成形を繰り返し実施して成形条件を調整する。このような成形条件の調整（いわゆる成形条件出し）は、一般に、オペレータの熟練を要する。オペレータは、成形不良が発生しているとき、その種類（具体的には、ヒケ、バリ、ボイド等の不良タイプ）を判断し、不良タイプに応じて成形条件を調整する。例えば、成形品にヒケが生じていれば、射出速度、射出ストローク、保圧圧力等を調整する。

日本国特開２０１７－３０１５２号公報 日本国特開２０１７－３０２２１号公報

　特許文献１では、いわゆる強化学習によって学習する機械学習器によって成形条件を調整する射出成形機システムが提案されている。特許文献１に記載の機械学習器は、強化学習により学習しながら、エージェント（Ａｇｅｎｔ）として射出成形機を制御するようになっている。

　一般に、強化学習においては、制御対象が所定の状態（Ｓｔａｔｅ）にあるときにエージェントが行動（Ａｃｔｉｏｎ）を選択すると、制御対象の状態が他の状態に遷移し、エージェントが報酬（Ｒｅｗａｒｄ）を受け取る。エージェントは、所定の方策（Ｐｏｌｉｃｙ）に従って行動を決定し続けたときに、将来に渡って受け取ることができる報酬（即ち、累積の報酬）を表す価値関数を備えている。価値関数には、状態のみにより表される状態価値関数や、ある状態において所定の行動がどのくらい価値があるのかを表す行動価値関数等が含まれる。エージェントは、このような価値関数を、累積の報酬が最大になるように更新するように、学習を重ねる。

　特許文献１に記載のエージェントは、射出成形に関する物理量を状態として用い、操作条件（つまり成形条件）を行動として扱い、計算される報酬を受け取って学習を進める。エージェントは、報酬の計算に関して色々な評価対象を扱うことが可能であるが、例えば、成形の良否を評価対象として用いることができる。この場合、成形品が良品であればプラスの報酬を受け取り、成形不良であればマイナスの報酬を受け取る。評価関数の学習が十分に進めば、所定の状態に対してその評価関数の出力が最大になるような行動（即ち、成形条件）を選択すれば、その状態における最適な成形条件を得ることができる。

　特許文献２では、いわゆる教師あり学習によって学習して射出成形機の異常を診断する異常診断装置が提案されている。特許文献２に記載の異常診断装置は、ＳＶＭやニューラルネットワーク等のアルゴリズムを有する機械学習器を採用し、入力データとして射出成形機における内的または外的な状態データを用い、出力データ（つまり教師信号）として射出成形機の異常または正常のデータを用いる。射出成形機における内的または外的な状態データとして、例えば、駆動部の負荷、軸の周波数特性、樹脂圧力、アラーム発生履歴、等が挙げられる。異常診断装置の学習が十分に進めば、所定の状態データに対して射出成形機が正常であるか異常であるかを適正に判定できる。

　オペレータによって射出成形機の成形条件出しが完了すれば、射出成形機を連続的に運転して成形品を量産できる。しかし、特定の成形条件の下で射出成形を繰り返していると、成形不良が発生することがある。別の言い方をすると、外部環境の変化（例えば、外気温の変化や機械温度の変化）による射出成形機の状態の変化や、経年劣化によるスクリュ、逆流防止リング、トグルリンク、ブッシュ等の機械部品の摩耗により、同じ成形条件の下であっても成形不良が生じることがある。成形不良が発生しても、オペレータが成形不良を速やかに発見できれば、成形条件を再調整できる。しかし、夜間の運転等のようにオペレータが射出成形機の近くにいない場合、成形不良が継続する可能性がある。

　そこで、例えば、特許文献１に記載のエージェントによって成形条件を自動的に調整することが考えられる。適切にかつ十分に価値関数が学習されていれば、射出成形機の現在の状態に応じて最適な成形条件が計算され、原理上は成形不良が継続することはない。しかし、特許文献１に記載のエージェントが扱う状態（Ｓｔａｔｅ）は、射出成形に関する物理量だけである。仮に、あらゆる物理量が対象であれば、理論的には全ての事象に対して対応できる可能性がある。成形品の重量、寸法、成形品の画像データから算出される外観、長さ、角度、面積、体積、等々のあらゆる物理量を状態として用いれば、エージェントは、最適な成形条件を行動（Ａｃｔｉｏｎ）として出力できる。

　しかし、大量の物理量を状態として扱う場合、計算機資源が過剰に必要になる。また、計算量が爆発的に増えてしまい、価値関数を適切に学習させることは有限の時間では実質的に不可能である。このことは熟練したオペレータの成形条件の調整方法を考えれば予想できる。熟練したオペレータが成形条件を調整するとき、全ての条件（即ち、射出速度、射出ストローク、シリンダ温度、保圧時間、保圧圧力等）を一斉には調整しない。オペレータは、不良タイプを判断し、その不良タイプに応じて調整すべき成形条件を選択し、その成形条件の値を大きくするのか小さくするのかを判断している。つまり、オペレータは、不良タイプに応じて調整すべき成形条件を取捨選択している。これによって速やかに成形条件を調整できる。これに対し、特許文献１に記載のエージェントは、成形条件を取捨選択するために必要な情報を有さない。そのため、エージェントは、他の物理データからそのような取捨選択と同等の判断を行うことができるように、膨大な学習を必要とすることになる。

　一方、例えば、特許文献２に記載の方法を応用して成形条件を調整することも考えられる。具体的には、ニューラルネットワーク等を使用して、射出成形機に関する色々な物理データを入力データとして制御装置に与え、そのときにおいて最適な成形条件を教師データとして制御装置に与えるようにする。制御装置の学習が進めば、射出成形機に関する現在の物理データを入力すれば、最適な成形条件が制御装置から出力されるはずである。しかしながら、最適な成形条件は一般的に不明であり、学習に必要な大量の教師データを得られない。そのため、成形条件の調整は、教師あり学習による機械学習器では実施することが困難である。

　本発明の目的の一つは、計算機資源を過剰に消費せず、学習に要する時間やコストが少なく、速やかに成形条件を調整できる射出成形機システムの提供である。

［１］本発明の第１の側面において、射出成形機システムは、
　色々な状態における行動に対して報酬を得て価値関数を学習して前記価値関数に基づいて行動を決定する強化学習を行う機械学習器を有するエージェントと、所定の成形条件に基づいて成形品を製造する射出成形機と、を備え、前記エージェントによって前記成形条件を調整する、射出成形機システムであって、
　前記機械学習器は、
　前記状態として、前記射出成形機から得られる物理データと、前記成形品の成形不良の種類を表す不良タイプと、を用い、
　前記行動として、前記成形条件を用い、
　前記報酬として、前記成形不良の不良度合いを表す不良状態を用いる、ように構成される。

［２］本発明の第２の側面では、第１の側面において、
　前記成形品を測定する不良判定装置と、教師あり学習により学習する分類器と、を更に備え、
　前記機械学習器は、
　前記不良タイプ及び前記不良状態として、前記不良判定装置を用いて測定された前記成形品の測定データを含む入力データが学習済みの前記分類器に入力されたときに前記分類器から得られる出力データを、用いる、ように構成される。

［３］本発明の第３の側面では、第２の側面において、
　前記分類器は、
　実物の前記成形品についての前記測定データと前記不良タイプと前記不良状態とを含む複数組の実物データセットと、複数組の疑似データセットと、によって学習され、
　前記疑似データセットは、前記実物データセットを加工して得られた前記測定データと前記不良タイプと前記不良状態とを含む、ように構成される。

　上記第１の側面によれば、エージェントによって射出成形機システムの成形条件を最適に調整できる。ここで、成形条件を最適に調整できるようにエージェントを適切に学習させるべく、状態（Ｓｔａｔｅ）として、射出成形機から得られる物理データと、成形品の成形不良の種類を表す不良タイプとを用いる。また、行動（Ａｃｔｉｏｎ）として、成形条件を用い、報酬（Ｒｅｗａｒｄ）として、成形不良の不良度合いを表す不良状態を用いる。状態に不良タイプを含めることで、エージェントは、熟練したオペレータと同様、不良タイプに応じて調整すべき成形条件を選択し、その成形条件の値を大きくするのか小さくするのかを決定することになる。これにより、エージェントは、比較的短時間で学習を実施でき、学習の効率を高め、学習のコストを低減できる。その結果、エージェントは、学習中に計算機資源を過剰に消費することもない。したがって、本側面の射出成形機システムは、計算機資源を過剰に消費せず、学習に要する時間やコストが少なく、速やかに成形条件を調整できる。

　上記第２の側面によると、射出成形機システムは、成形品を測定する不良判定装置と教師あり学習により学習する分類器とを備える。機械学習器は、不良タイプと不良状態として、学習済みの分類器に対して不良判定装置で測定された成形品の測定データが入力されたときに得られる出力データを、用いる。つまり、分類器は、成形品の測定データから不良タイプと不良状態を出力し、エージェントに渡す。換言すると、オペレータが介在することなく、分類器からエージェントに情報が渡される。その結果、成形サイクルごとに、そのサイクルにおける状態（Ｓｔａｔｅ）に応じて最適な成形条件（Ａｃｔｉｏｎ）が得られる。これにより、射出成形機を連続運転させながら、成形条件を自動で調整できることになる。なお、不良判定装置の一例として、カメラが挙げられる。不良判定装置としてカメラを用いる場合、測定データの一例として、カメラによって撮影した画像データが挙げられる。

　上記第３の側面によると、分類器は、実物の成形品についての測定データと不良タイプと不良状態とを含む複数組の実物データセットと、複数組の疑似データセットと、によって学習される。この疑似データセットは、実物データセットを加工して得られた測定データと不良タイプと不良状態とを含む。一般に、教師あり学習により学習する機械学習器に対しては大量のデータセットが適正な学習のために必要になる。しかし、実物の成形不良のサンプルは、それほど多くは得られない。つまり、実物から得られる測定データと不良タイプと不良状態のデータとを含む実物データセットは、一般に、大量には得られない。しかし、本側面によると、実物データセットを加工することで疑似データセットが得られるので、学習に必要な大量のデータセットを比較的容易に得ることができる。その結果、分類器の学習の効率が高まり、分類器が精度良く成形品の不良タイプと不良状態を出力できることになる。

図１は、本発明の実施形態に係る射出成形機システムを模式的に示すブロック図である。 図２は、本発明の実施形態に係る射出成形機システムにおける、生成器の処理とオペレータの作業とを説明するフローチャートである。 図３は、本発明の実施形態に係る射出成形機システムにおける、分類器を示す図である。 図４は、Ａｃｔｏｒ－Ｃｒｉｔｉｃのアルゴリズムを採用するエージェントを備えた、本発明の実施形態に係る射出成形機システムを模式的に示すブロック図である。

　本実施形態に係る射出成形機システム１は、機械学習を利用して（即ち、いわゆるＡＩによって）射出成形機２の成形条件を調整するシステムである。射出成形機２は、図１に簡略的に示されているが、従来の射出成形機と同様、型締装置や射出装置等から構成されている。射出成形機２には、射出成形機２によって成形された成形品を取り出す取出機３と、取り出された成形品を撮影するカメラ４とが隣接して設けられている。射出成形機２において成形品が成形されるごとに、カメラ４によって成形品の画像データが取得されるようになっている。

　射出成形機システム１において成形条件を調整するためのＡＩシステムは、所定の計算機上に構築されており、複数の機能ブロックを有する。まず、ＡＩシステムは、射出成形機２に対して成形条件を調整するエージェント６を有する。エージェント６は、強化学習によって学習される機械学習器を有する。エージェント６については後で詳しく説明する。

　ＡＩシステムを構成している他の機能ブロックとして、分類器７と、生成器８と、が挙げられる。分類器７は、後で説明するように、教師あり学習により学習される機械学習器を有する。分類器７は、成形品について不良の有無を判定し、成形不良の種別（即ち、不良タイプと、不良の程度つまり度合いである不良状態）とを出力するようになっている。教師あり学習を実行するために、分類器７に対して、入力データと出力データとを有するデータの組（つまりデータセット）を大量に用意する必要がある。ここで、生成器８は、データセットとして擬似的なデータを含む疑似データセットを大量に生成する。大量のデータセットを用意するために、オペレータが作業すべき内容および生成器８の処理について、以下に説明する。

　データセットとして、入力データと出力データの組み合わせはどのような種類のデータを含んでいてもよく、分類器７が成形品を判定して不良タイプと不良状態とを出力できるようなデータの組み合わせであればよい。本実施形態におけるデータセットは、入力データが成形品の画像データであり、出力データが不良タイプと不良状態とである、組み合わせが採用されている。画像データはカメラ４により撮影される。画像データはどのようなものであってもよく、２方向または３方向から撮影された複数の画像データのセットであってもよいし、単一の方向から撮影した画像データであってもよい。また、異なる方向から光線が投影された複数の画像データから画像データが構成されていてもよい。どのような条件が採用されたとしても、全ての成形品に対して統一された条件により画像データがカメラ４によって撮影されるようにすればよい。

　出力データの不良タイプは、不良の種類ごとにその有無を表す複数個のデータを含み、ヒケの有無を１／０で示すデータ、バリの有無を１／０で示すデータ等を含む。不良状態は、不良タイプの種類に拘わらず、不良の程度を表すデータである。つまり、不良状態は、不良タイプがヒケであってもボイドであっても、その程度だけを扱うデータである。このデータはどのような数値で表現されていてもよい。例えば、良品の不良状態を１．０と定義し、不良の程度が小さい場合の不良状態を－０．３と定義し、不良の程度が大きい場合の不良状態を－０．７と定義できる。

　オペレータは、図２においてステップＳ１で示されているように、成形品の良品と、不良タイプの種類ごとに成形品の不良品のサンプルと、を用意する。例えば、ヒケが発生している不良品を１個または複数個用意し、バリが発生している不良品を１個または複数個用意し、他の不良タイプについても１個または複数個のサンプルを用意する。オペレータは、用意した不良品のサンプルごとに不良状態の数値を定める（ステップＳ２）。次いで、それぞれの良品および不良品のサンプルの画像データを取得する（ステップＳ３）。このようにして得られる画像データと不良タイプと不良状態とを有するデータセットは、実物の良品および不良品のサンプルから得られ、上述した「実物データセット」に対応する。

　生成器８は、実物データセットを計算により加工して疑似データセットを大量に生成する（ステップＳ４）。疑似データセットの生成は不良タイプごとに行う。例えば、生成器８は、不良タイプがヒケの不良品を対象とする場合には、ヒケの実物データセットを加工する。具体的には、生成器８は、実際のヒケが発生している位置を画像処理の平行移動により移動させたり、画像処理の拡大／縮小によりヒケの大きさを変更したりするように、画像ファイルを加工する。ヒケの大きさを拡大／縮小するときには、ヒケの大きさに応じて不良状態の値も変更する。生成器８は、このようにして疑似データセットを得る。生成器８は、他の不良タイプについても同様に、疑似データセットを生成する。なお、画像処理により機械的に画像データを加工する手法としては、上述したような任意の周知の手法を用いればよい。また、生成器８での処理には、ＧＡＮ等の機械学習を用いた方法を用いても良い。

　分類器７は、教師あり学習の学習を行う機械学習器であり、採用されるアルゴリズムの種類については制約はない。例えば、分類器７は、ＳＶＭ、最小二乗法、ステップワイズ法等を採用できる。ただし、入力データが画像データであり且つ出力データが不良タイプと不良状態とを含むデータセットの入出力の関係は非線形になることが予想されるので、非線形な入出力関係を表現できるアルゴリズムを採用することが好ましい。本実施形態においては、分類器７はニューラルネットワークから構成されている。分類器７は、図３に示されているように、複数層のニューラルネットワークを有し、入力層のニューロンには画像データが与えられ、出力層のニューロンからは不良タイプと不良状態とが出力されるようになっている。

　そして、実物データセットと疑似データセットとを含む大量のデータセットを使用して、分類器７に画像データを入力として与え、対応する不良タイプと不良状態とを教師信号として与えて学習させる。その後、適切に学習された分類器７に成形品の画像データを与えると、その不良タイプと不良状態とを精度よく出力できるようになる。本実施形態に係る射出成形機システム１では、射出成形機２において射出成形されるごとに成形品が取出機３によって取り出され、カメラ４によって撮影される。そして、カメラ４で撮影された画像データが分類器７に送られ、分類器７が不良タイプと不良状態とを出力する。

　本実施形態に係るエージェント６について説明する。一般的に、強化学習する機械学習器は、制御対象あるいは環境を制御するようになっており、エージェントと呼ばれる。エージェントは、制御対象における状態ｓｔ（Ｓｔａｔｅ）に基づいて行動ａｔ（Ａｃｔｉｏｎ）を決定し、制御対象では状態ｓｔが他の状態ｓｔ＋１に遷移する。このとき、エージェントは制御対象から報酬ｒｔ（Ｒｅｗａｒｄ）を受け取る。エージェントは、将来に渡って受け取る報酬ｒｔの累積が最大になるような行動ａｔを決定するように学習する。これを実現するために、多くのエージェントでは所定の価値関数を設けて学習により更新させる。そして所定の状態ｓｔが与えられるとき、学習が進んだ価値関数を使って、その値が最大になるような行動ａｔを決定するようにしている。価値関数についてはどのような種類の価値関数が採用されてもよい。また、学習のアルゴリズムも、Ｑ学習、ＳＡＲＳＡ法、ＴＤ学習、モンテカルロ法、Ａｃｔｏｒ－ｃｒｉｔｉｃ法等の周知のアルゴリズムが採用され得る。つまり、本発明の特徴は、価値関数の種類やアルゴリズムの種類にはなく、本実施形態に係るエージェント６が扱う状態ｓｔ、行動ａｔ、報酬ｒｔをどのようなデータから構成しているのかにある。

　本実施形態に係るエージェント６が扱う行動ａｔは、射出速度、射出ストローク、シリンダ温度等の成形条件を含む。所定の状態ｓｔが与えられたとき、エージェント６が最適な成形条件を行動ａｔとして決定できるようにするためである。本実施形態に係るエージェント６が扱う状態ｓｔについては、射出成形機２から得られる各種の物理データが含まれる。物理データは、射出圧力、樹脂温度、外気温、等の射出成形機に関連して得られる各種のデータを含む。状態ｓｔとして、これらの物理データ以外に他のデータが含まれてもよく、他のデータを適宜必要に応じて状態ｓｔに追加すればよい。ところで、エージェント６が最適な成形条件を決定できるようにするには、このような状態ｓｔだけでは十分でない。調整すべき成形条件を選択できるようにするために、本実施形態に係るエージェント６は、状態ｓｔとして分類器７が出力する不良タイプを含む。

　状態ｓｔに不良タイプが含まれるので、エージェント６は、不良タイプに応じてどの成形条件を調整の対象とすべきか判断することが可能になり、与えられた状態ｓｔ下において最適な成形条件を行動ａｔとして適切に決定できることになる。本実施形態に係るエージェント６に与えられる報酬ｒｔは、分類器７が出力する不良状態とする。これら状態ｓｔ、行動ａｔ、報酬ｒｔによってエージェント６は強化学習できる。ここで、不良タイプ毎に、熟練者の知識を活用して、ルールベースで調整の対象とすべき成形条件を絞り込んでもよい。たとえば、バリという不良に対して、射出速度および保圧圧力の行動選択確率を恣意的に上げるルールをエージェント６に与えて学習させてもよい。または、本実施形態の図面等に示すように、不良タイプによる行動の分岐をアルゴリズムに任せて学習させてもよい。

　本実施形態に係るエージェント６をＡｃｔｏｒ－ｃｒｉｔｉｃ法により強化学習させる例を説明する。この場合、図４に示されているように、エージェント６は行動器１０と評価器１１とから構成されることになる。Ａｃｔｏｒ－ｃｒｉｔｉｃ法により行動ａｔを決定するにあたり、評価器１１において価値関数として状態価値関数Ｖ（ｓｔ）を設ける。状態価値関数Ｖ（ｓｔ）は、状態ｓｔがどのくらい良いのかを示す関数である。状態価値関数Ｖ（ｓｔ）はどのように構成してもよい。例えば、状態ｓｔのそれぞれの値に対応してＶ値を格納するマトリクスから構成してもよいし、入出力関係を表すＳＶＭやニューラルネットワーク等から構成してもよい。また、状態価値関数Ｖ（ｓｔ）は強化学習によって更新することになるが、どのようなアルゴリズムによって更新してもよい。例えば、ＴＤ学習法により更新する場合には、状態価値関数Ｖ（ｓｔ）は、以下の１式のようにして計算できる。

　射出成形機２において所定の物理データ、不良タイプを有する所定の状態ｓｔが与えられたとき、行動ａｔとして成形条件を決定して射出成形し成形品が得られる。この成形品に対して分類器７が不良状態を判定し、評価器１１が報酬ｒｔとして受け取る。次いで、分類器７が判定した不良タイプを含む状態ｓｔに対して次の成形条件を決定し、射出成形機２が射出成形を行う。このような成形を繰り返すことによって、１式によって状態価値関数Ｖ（ｓｔ）を更新できる。

　一方、行動器１０には、状態ｓｔが与えられたとき、どの行動ａｔを決定するのかを表すポリシーπ（ｓｔ、ａｔ；ｗｔ）を設ける。ポリシーπ（ｓｔ、ａｔ；ｗｔ）は、状態ｓｔの下で所定の行動ａｔを決定する確率を表す確率分布関数になっており、ｗｔは、ポリシーπ（ｓｔ、ａｔ；ｗｔ）を規定する調整パラメータになっている。ポリシーπ（ｓｔ、ａｔ；ｗｔ）は、例えば、平均μ、標準偏差σとする正規分布Ｎ（μ、σ）により表現すると、調整パラメータｗｔを調整することは、実質的にｗｔの関数として表現された平均μ、標準偏差σを調整することであると言える。調整パラメータｗｔを学習により調整して、ポリシーπ（ｓｔ、ａｔ；ｗｔ）が適切な確率分布関数になると、所定の状態ｓｔが与えられたときに適切な行動ａｔを決定する確率が高くなり、不適切な行動ａｔを決定する確率は低くなる。調整パラメータｗｔの調整方法として、例えば、以下の方法が挙げられる。まず、ポリシーπ（ｓｔ、ａｔ；ｗｔ）が適正であるか否かの度合いを、適正度ｅｔとして２－１式で定義する。次いで、履歴付き適正度Ｄｔを、割引率βを使って２－２式のように定義する。そうすると、不良状態として受け取る報酬ｒｔと、状態価値関数Ｖ（ｓｔ）とから、式２－３式により調整パラメータｗｔを更新できる。

　学習を繰り返すと状態価値関数Ｖ（ｓｔ）もポリシーπ（ｓｔ、ａｔ；ｗｔ）も、ともに収束してＴＤ誤差δｔは０に近づく。即ち、強化学習により学習された状態になる。このような状態になったポリシーπ（ｓｔ、ａｔ；ｗｔ）によって状態ｓｔが与えられると、最適な行動ａｔ（つまり最適な成形条件）を計算できる。

　本実施形態に係るエージェント６は、異なる構成を採ることもできる。例えば、価値関数として行動価値関数Ｑ（ｓｔ、ａｔ）を設け、この行動価値関数Ｑ（ｓｔ、ａｔ）によって最適な行動ａｔつまり最適な成形条件を決定できる。行動価値関数Ｑ（ｓｔ、ａｔ）は、状態ｓｔにおいて、所定の行動ａｔがどのくらい良いのかを示す評価関数である。行動価値関数Ｑ（ｓｔ、ａｔ）も、状態価値関数Ｖ（ｓｔ）と同様に色々な構成をとることができる。例えば、行動価値関数Ｑ（ｓｔ、ａｔ）として状態ｓｔ、行動ａｔのそれぞれの値に対応してＱ値を格納するマトリクス、つまりＱテーブルから構成してもよい。行動価値関数Ｑ（ｓｔ、ａｔ）は例えばＱ学習によって次式で更新できる。

　射出成形を繰り返し、学習を繰り返すと、やがて行動価値関数Ｑ（ｓｔ、ａｔ）は収束し、学習された行動価値関数Ｑ（ｓｔ、ａｔ）を使って最適な成形条件を決定できる。即ち、所定の状態ｓｔが与えられたとき、行動価値関数Ｑ（ｓｔ、ａｔ）が最大となるような行動ａｔを探す。このような行動ａｔが、最適な成形条件となる。

　なお、行動価値関数Ｑ（ｓｔ、ａｔ）をＱテーブルから構成する場合、状態ｓｔ、行動ａｔを離散値として扱うことになる。Ｑテーブルのマトリクスを巨大にすれば、実質的に連続値として扱うこともできるが、計算負荷が大きくなってしまう。これに対し、例えば、行動価値関数Ｑ（ｓｔ、ａｔ）をニューラルネットワーク等のいわゆる関数近似器から構成するようにすれば、状態ｓｔや行動ａｔを連続的に扱うことができ、かつ計算負荷も比較的少なくて済む。

　本発明は上記各実施形態に限定されることはなく、本発明の範囲内において種々の変形例を採用できる。例えば、本発明は、上述した実施形態に限定されるものではなく、適宜、変形、改良、等が可能である。その他、上述した実施形態における各構成要素の材質、形状、寸法、数、配置箇所、等は本発明を達成できるものであれば任意であり、限定されない。

　例えば、上記実施形態では、学習が収束をすることを前提として記述したが、アルゴリズムによっては、最終状態の収束が保証されなくてもよい。また、アルゴリズムは、Ａｃｔｏｒ－ｃｒｉｔｉｃの例で説明したように方策（ポリシー）を明示的に更新してもよいし、Ｑ学習の例で説明したように価値関数の更新にとどめるようにしても良い。

　更に、例えば、上記実施形態では、価値関数の学習は、実際に成形を繰り返して実施してするように説明した。つまり、実際に成形を繰り返す中での学習、つまりオンラインでの学習をするように説明した。しかし、予め価値関数をオフラインで学習させるようにしてもよい。実際に成形を繰り返さなくても、状態ｓｔ、行動ａｔ、報酬ｒｔの関係についてある程度のデータが事前に入手できれば、これを使って価値関数を学習させておくことができる。価値関数の学習をある程度進めた状態で、前記したように実際に成形を行いながら学習するようにすると収束が早くなる。

　更に、他の変形例として、分類器７に対する入力データを変形することもできる。本実施形態においては、分類器７に対する入力データは成形品の画像データのみであるように説明したが、成形品に関する物理データ、例えば成形品重量、成形品の色度、屈折率等を入力データとして与えてもよい。これにより、より多くの種類の不良タイプについても判定できるようになる。

　更に、本発明に係る射出成形機システムは、複数台の射出成形機を有するシステムとして構成することもできる。即ち、同じ成形品を複数台の成形機で成形する場合、エージェント同士で情報交換を行ってもよい。情報交換により群強化学習を行えば、学習効率を高めることができる。

　更に、エージェント６が扱う状態ｓｔ、行動ａｔはどのようなデータとして扱ってもよい。行動ａｔとして扱う成形条件は、射出速度、射出ストローク、シリンダ温度等について、その実際の値を扱ってもよい。また、成形条件の変更分を扱ってもよい。つまり、射出速度の変更分、射出ストロークの変更分、シリンダ温度の変更分等である。また、状態ｓｔ、行動ａｔ、報酬ｒｔの各データを扱うとき、予め正規化して数値範囲が０～１になるように変換したり、あるいは－１～１の数値範囲になるよう変換して扱うようにしてもよい。

　更に、本実施形態では、カメラ４を用いて撮影した画像データが、成形品の不良判定などにおいて用いられている。しかし、本発明に係る射出成形機システムでは、成形品の外観等を測定し得る限り、カメラ４とは異なる他の不良判定装置およびその不良判定装置によって測定された測定データが、成形品の不良判定などにおいて用いられてもよい。

　本出願は、２０１８年３月２３日出願の日本特許出願（特願２０１８－０５５６３３）に基づくものであり、その内容はここに参照として取り込まれる。

　本発明による射出成形機システムは、計算機資源を過剰に消費せず、学習に要する時間やコストが少なく、速やかに成形条件を調整できる。この効果を有する本発明は、例えば、樹脂材料の射出成形を行うシステムに利用され得る。

　　１　　　射出成形機システム
　　２　　　射出成形機
　　３　　　取出機
　　４　　　カメラ（不良判定装置）
　　６　　　エージェント
　　７　　　分類器
　　８　　　生成器
　　１０　　行動器
　　１１　　評価器

Claims (3)

1. 　色々な状態における行動に対して報酬を得て価値関数を学習して前記価値関数に基づいて行動を決定する強化学習を行う機械学習器を有するエージェントと、所定の成形条件に基づいて成形品を製造する射出成形機と、を備え、前記エージェントによって前記成形条件を調整する、射出成形機システムであって、
   　前記機械学習器は、
   　前記状態として、前記射出成形機から得られる物理データと、前記成形品の成形不良の種類を表す不良タイプと、を用い、
   　前記行動として、前記成形条件を用い、
   　前記報酬として、前記成形不良の不良度合いを表す不良状態を用いる、
   　射出成形機システム。
2. 　請求項１に記載の射出成形機システムであって、
   　前記成形品を測定する不良判定装置と、教師あり学習により学習する分類器と、を更に備え、
   　前記機械学習器は、
   　前記不良タイプ及び前記不良状態として、前記不良判定装置を用いて測定された前記成形品の測定データを含む入力データが学習済みの前記分類器に入力されたときに前記分類器から得られる出力データを、用いる、
   　射出成形機システム。
3. 　請求項２に記載の射出成形機システムにおいて、
   　前記分類器は、
   　実物の前記成形品についての前記測定データと前記不良タイプと前記不良状態とを含む複数組の実物データセットと、複数組の疑似データセットと、によって学習され、
   　前記疑似データセットは、前記実物データセットを加工して得られた前記測定データと前記不良タイプと前記不良状態とを含む、
   　射出成形機システム。

Images