JP7265318B2 - 機械学習器により成形条件を調整する射出成形機システム - Google Patents

Description

本発明は、機械学習器を備えた射出成形機システムに関するものであり、成形品を成形するための成形条件を機械学習器により調整する射出成形機システムに関するものである。

射出成形機は、概略射出装置と型締装置とからなる。射出装置は、従来周知のように、加熱シリンダと、この加熱シリンダ内に回転方向と軸方向とに駆動可能に設けられているスクリュとから構成されている。一方、型締装置も従来周知であり、固定側金型が取り付けられている固定盤と、可動側金型が取り付けられている可動盤と、可動側金型を固定側金型に対して型開閉する型締機構とから構成されている。したがってスクリュを回転駆動すると共に樹脂材料を加熱シリンダに供給すると、樹脂材料は溶融し、そして加熱シリンダの先端に計量される。スクリュを軸方向に駆動して計量された溶融樹脂を型締めされた金型のキャビティに射出・充填し、そして冷却固化を待って可動金型を開くと、所定形状の成形品が得られる。

射出速度、射出ストローク、シリンダ温度、型締力、保圧時間等の成形条件は成形品毎に異なっている。良好な成形品を成形するためには、射出成形を繰り返し実施して成形条件を調整する必要がある。このようないわゆる成形条件出しは、オペレータによって実施されており熟練を要する。オペレータは、成形不良が発生しているとき、その種類、具体的には、ヒケ、バリ、ボイド、等の不良タイプを判断する。調整すべき成形条件は、該当する不良タイプに応じて異なる。例えばヒケが発生していれば、射出速度、射出ストローク、保圧圧力等を調整する。良品が成形できるようになるまで成形条件を調整する。

特開２０１７－３０１５２号公報 特開２０１７－３０２２１号公報

特許文献１では、いわゆる強化学習によって学習する機械学習器によって成形条件を調整する射出成形機システムが提案されている。特許文献１に記載の機械学習器は、強化学習により学習する機械学習器であり、エージェント（Ａｇｅｎｔ）として射出成形機を制御するようになっている。一般的に、強化学習においては、その制御対象が所定の状態（Ｓｔａｔｅ）にあるとき行動（Ａｃｔｉｏｎ）を選択すると所定の状態から他の状態に遷移する。このときにエージェントは報酬（Ｒｅｗａｒｄ）を受け取る。エージェントは、所定の方策（Ｐｏｌｉｃｙ）に従って行動を決定し続けたときに、将来に渡って受け取ることができる報酬、すなわち累積の報酬を表す価値関数を備えており、価値関数には状態のみにより表される状態価値関数や、ある状態において所定の行動がどのくらい価値があるのかを表す行動価値関数等がある。エージェントにおいては、このような価値関数を、累積の報酬が最大になるように更新する。すなわち学習する。特許文献１に記載のエージェントは状態（Ｓｔａｔｅ）として射出成形に関する物理量が与えられる。エージェントは操作条件つまり成形条件を行動（Ａｃｔｉｏｎ）として扱い、報酬計算部が計算する報酬（Ｒｅｗａｒｄ）を受け取って学習を進める。報酬計算部では色々な評価対象を扱うことが可能であるが、例えば成形の良否を評価対象とすることができる。この場合、成形品が良品であればプラスの報酬を、成形不良であればマイナスの報酬を計算する。学習が十分に進んだ評価関数において、所定の状態が与えられるとき、評価関数の出力が最大になるような行動すなわち成形条件を選択すると、その成形条件がその状態における最適な成形条件になる。

特許文献２には、教師あり学習により学習して射出成形機の異常を診断する異常診断装置が記載されている。特許文献２に記載の異常診断装置においては、ＳＶＭやニューラルネットワーク等のアルゴリズムからなる機械学習器が採用されている。入力データとして射出成形機における内的、外的な状態データが入力データとして与えられ、出力データつまり教師信号として射出成形機の異常／正常のデータが与えられる。射出成形機における内的、外的な状態データには、例えば駆動部の負荷、軸の周波数特性、樹脂圧力、アラーム発生履歴、等がある。十分に学習が進んだ異常診断装置においては、所定の状態データを与えると、射出成形機が正常であるか異常であるかを判定することができる。

射出成形機においてオペレータによって成形条件出しが完了したら、連続的に運転して成形品を量産することができる。しかしながら、このようにして設定した成形条件の下で射出成形を繰り返しているときに成形不良が発生することがある。外部環境の変化、例えば外気温の変化や機械温度の変化によって射出成形機の状態が変化する場合、あるいは経年劣化によりスクリュ、逆流防止リング、トグルリンク、ブッシュ等の機械部品が摩耗する場合、同じ成形条件の下で良品が成形できなくなることがあるからである。成形不良が発生するとき、オペレータがこれを速やかに発見することができれば、該当する不良タイプに応じて関係する成形条件を微調整することができる。しかしながら、夜間の運転等のようにオペレータが射出成形機の近傍にいない場合には成形不良が発生しても気づくことができず、不良品が成形され続けてしまう。つまり歩留まりが悪くなる。

このような問題に対し、例えば特許文献１に記載のエージェントによって成形条件を自動的に調整することも考えられる。適切にかつ十分に価値関数が学習されていれば、射出成形機の現在の状態に応じて最適な成形条件が計算されるはずであり、不良品が成形され続ける問題は発生しない。しかしながら、特許文献１に記載のエージェントについては検討すべき点も見受けられる。このシステムにおいては、エージェントが扱う状態（Ｓｔａｔｅ）が射出成形に関する物理量だけである点に問題が見受けられる。仮に、あらゆる物理量を対象とすれば、理論的には全ての事象に対して対応できるかも知れない。つまり、成形品の重量、寸法、成形品の画像データから算出される外観、長さ、角度、面積、体積、等々のあらゆる物理量を状態として扱えば、どのような事象でも扱うことができるはずであり、良品を成形するための最適な成形条件について行動（Ａｃｔｉｏｎ）として出力できるはずである。しかしながら、大量の物理量を状態として扱う場合、計算機資源が過剰に必要になる。仮に計算機が大量のメモリーを備えているとしても、計算量が爆発的に増えてしまい価値関数を適切に学習させることは有限の時間では実質的に不可能である。このことは熟練したオペレータの成形条件の調整方法を考えれば予想できる。熟練したオペレータが成形条件を調整するとき、全ての条件、すなわち射出速度、射出ストローク、シリンダ温度、保圧時間、保圧圧力等々を一斉に調整することはしない。成形不良が発生しているとき、まず不良タイプを判断し、不良タイプによって調整すべき成形条件を選択し、調整する方向つまり値を大きくするのか小さくするのかを判断している。つまり不良タイプに応じて調整すべき成形条件を予め取捨選択している。これによって速やかに成形条件を調整することができる。これに対し、特許文献１に記載のエージェントは、このように成形条件を予め取捨選択するために必要な情報が与えられていない。そうすると他の物理データのみからそのような取捨選択と同等の判断が行えるように学習しなければならず、膨大な学習が必要になると考えられる。

特許文献２に記載の方法を応用して、成形条件を調整することも考えられる。具体的には、ニューラルネットワーク等を使用して、射出成形機に関する色々な物理データを入力データとして与え、そのときにおいて最適な成形条件を教師データとして与えるようにする。学習が進めば、射出成形機に関する現在の物理データを入力すれば最適な成形条件が出力されるはずである。しかしながら、最適な成形条件は一般的に不明であり、学習必要な大量の教師データが得られない。つまり成形条件の調整は、教師あり学習による機械学習器では実施することが困難である。

本発明は、上記したような問題点を解決した、射出成形機システムを提供することを目的としており、具体的には、計算機資源を過剰に消費せず、学習に要する時間やコストが少なく、速やかに成形条件を調整することができる射出成形機システムを提供することを目的としている。

本発明は、上記目的を達成するために、強化学習によって学習する機械学習器からなるエージェントによって成形条件を調整する射出成形機システムとして構成する。エージェントは、色々な状態における行動に対して報酬を得て価値関数を更新する。そして学習が進んだ価値関数に基づいて行動を決定するようになる。本発明において、状態は射出成形機から得られる物理データと、成形品の成形不良の種類を表す不良タイプとを含むようにし、行動は成形条件とする。そして報酬は成形不良の不良度合いを表す不良状態で与えるように構成する。射出成形機システムには、教師あり学習により学習する機械学習器である分類器を設け、成形品の画像と、成形品の不良タイプと不良状態とをデータセットとして与えて学習させる。状態として与える不良タイプと、報酬として与える不良状態は、実際に成形された成形品の画像を分類器に入力して得られる出力とする。

かくして請求項１に記載の発明は、上記目的を達成するために、強化学習の機械学習器からなるエージェントと、射出成形機と、から構成され前記エージェントによって前記射出成形機の成形条件が調整される射出成形機システムであって、前記エージェントは、価値関数を備え、状態と報酬とが入力されると共に行動を出力するようになっており、色々な前記状態における前記行動に対し与えられる前記報酬により前記価値関数を更新し、前記行動を前記価値関数に基づいて決定するようになっており、前記状態は、前記射出成形機から得られる物理データと、成形品の成形不良の種類を表す不良タイプとを含み、前記行動は成形条件からなり、前記報酬は成形不良の不良度合いを表す不良状態からなる、機械学習器を備えた射出成形機システムとして構成される。
請求項２に記載の発明は、請求項１に記載の射出成形機システムにおいて、前記射出成形機システムは成形品を撮影するカメラと教師あり学習により学習する分類器とを備え、前記不良タイプと前記不良状態は、学習済みの前記分類器において前記カメラで撮影された成形品の画像データを含む入力データが入力されたときに得られる出力データである、機械学習器を備えた射出成形機システムとして構成される。
請求項３に記載の発明は、請求項２に記載の射出成形機システムにおいて、前記分類器は、実物の成形品についての前記画像データと前記不良タイプと前記不良状態とからなる複数組の実物データセットと、複数組の疑似データセットとによって学習され、前記疑似データセットは、前記実物データセットをもとに加工して得られた前記画像データと前記不良タイプと前記不良状態とからなる、機械学習器を備えた射出成形機システムとして構成される。

以上のように本発明は、強化学習の機械学習器からなるエージェントと、射出成形機と、から構成されエージェントによって射出成形機の成形条件が調整される射出成形機システムであって、エージェントは、価値関数を備え、状態と報酬とが入力されると共に行動を出力するようになっており、色々な状態における行動に対し与えられる報酬により価値関数を更新し、行動を価値関数に基づいて決定するようになっている。つまり成形条件を最適に調整することができるシステムになっている。ただし、成形条件を最適に調整できるようにするにはエージェントを適切に学習させることが最大の条件になる。本発明によると、状態は、射出成形機から得られる物理データと、成形品の成形不良の種類を表す不良タイプとを含み、行動は成形条件からなり、報酬は成形不良の不良度合いを表す不良状態からなる。つまり本発明は、状態に不良タイプを含んでいる。熟練したオペレータは不良タイプに応じて調整すべき成形条件を選択し、当該成形条件について値を大きくするのか小さくするのかを決定している。本発明においては状態に不良タイプが含まれているので、エージェントには熟練オペレータと同様の情報が入力されることになる。これによって、エージェントは熟練オペレータと同様に最適な成形条件を調整することができるようになり、このための学習が比較的短時間で実施できる。つまり学習の効率が高く低コストで学習できる。また学習において計算機資源を過剰に消費することもない。請求項２に記載の発明によると、射出成形機システムは成形品を撮影するカメラと教師あり学習により学習する分類器とを備え、不良タイプと不良状態は、学習済みの分類器においてカメラで撮影された成形品の画像データが入力されたときに得られる出力データである。つまり分類器が成形品の画像データを判定して不良タイプと不良状態を出力してエージェントに渡すようにするので、オペレータが介在することなく自動的にエージェントに情報が渡される。そうすると成形サイクル毎にそのときの状態に応じて最適な成形条件を計算することができる。これによって連続運転する射出成形機において成形条件を自動で調整することができる。請求項３に記載の発明によると、分類器は、実物の成形品についての画像データと不良タイプと不良状態とからなる複数組の実物データセットと、複数組の疑似データセットとによって学習され、疑似データセットは、実物データセットをもとに加工して得られた画像データと不良タイプと不良状態とからなる。一般的に教師あり学習により学習する機械学習器に対しては大量のデータセットがデータとして必要になるが、実物の成形不良のサンプルはそれほど多くは得られない。つまり実物から得られる画像データと不良タイプと不良状態のデータからなる実物データセットは大量には得られない。この発明によると実物データセットから、加工により疑似データセットを得るようにするので、学習に必要な大量のデータセットを得ることができる。これによって学習の効率が高くなり、分類器は精度良く成形品の不良タイプと不良状態を出力することができる。

本発明の実施の形態に係る射出成形機システムを模式的に示すブロック図である。 本発明の実施の形態に係る射出成形機システムにおける、生成器の処理とオペレータの作業とを説明するフローチャートである。 本発明の実施の形態に係る射出成形機システムにおける、分類器を示す図である。 Ａｃｔｏｒ－Ｃｒｉｔｉｃのアルゴリズムを採用するエージェントを備えた、本発明の実施の形態に係る射出成形機システムを模式的に示すブロック図である。

本発明の実施の形態について説明する。本実施の形態に係る射出成形機システム１は、いわゆるＡＩによって射出成形機２の成形条件を調整するシステムになっている。射出成形機２は、図１に簡略的に示されているが、従来の射出成形機と同様に型締装置、射出装置等から構成されている。射出成形機２には、射出成形機２によって成形された成形品を取り出す取出機３と、取り出された成形品を撮影するカメラ４とが隣接して設けられている。射出成形機２において成形サイクルが実施されるとき、成形品が成形される毎にカメラ４によって成形品の画像データが取得されるようになっている。

射出成形機システム１において成形条件を調整するためのＡＩシステムは、所定の計算機上において構築されており、複数の機能ブロックからなる。まず、射出成形機２に対して成形条件を調整するエージェント６が設けられている。エージェント６は、強化学習によって学習される機械学習器からなる。エージェント６については後で詳しく説明する。

ＡＩシステムを構成している他の機能ブロックは分類器７と、生成器８である。分類器７は後で説明するように、教師あり学習により学習される機械学習器からなり、成形品について不良の有無を判定し、成形不良の種別すなわち不良タイプと、不良の程度つまり度合いである不良状態とを出力するようになっている。教師あり学習するために、この分類器７に対しては、入力データと出力データとからなるデータの組、つまりデータセットを大量に用意する必要がある。生成器８はデータセットとして擬似的なデータからなる疑似データセットを大量に生成する。大量のデータセットを用意するために、オペレータが作業すべき内容および生成器８の処理について説明する。

データセットとして、入力データと出力データの組合わせはどのような種類のデータから組合わされていてもよく、分類器７が成形品を判定して、不良タイプと不良状態とを出力できるようなデータの組合わせであればよい。本実施の形態におけるデータセットは、入力データが成形品の画像データ、出力データが不良タイプと、不良状態とからなる組合わせが採用されている。画像データはカメラ４により撮影される。画像データはどのようなものであってもよく、２方向あるいは３方向から撮影された複数の画像データのセットから構成してもよいし、単一の方向から撮影した画像データから構成されていてもよい。また異なる方向から光線が投影された複数の画像データから構成されていてもよく、どうような条件が採用されたとしても、全ての成形品に対して統一された条件により撮影されるようにすればよい。出力データの不良タイプは、不良の種類毎にその有無を表す複数個のデータからなり、ヒケの有無を１／０で示すデータ、バリの有無を１／０で示すデータ、等からなる。不良状態は、不良タイプの種類に拘わらず、不良の程度を表すデータになっている。つまり不良タイプがヒケであってもボイドであっても、その程度だけを扱うデータになっている。このデータはどのような数値で表現されていてもよいが、例えば良品であれば１．０を、不良の程度が小さければ－０．３を、不良の程度が大きければ－０．７を等のように値が与えられる。オペレータは最初に、図２においてステップＳ１で示されているように、成形品について良品のほかに不良タイプの種類毎に不良品のサンプルを用意する。例えばヒケが発生している不良品を１個または複数個用意し、バリが発生している不良品を１個または複数個用意し、以下同様に他の不良タイプについてもサンプルを用意する。オペレータは、用意した不良品のサンプルそれぞれについて不良状態を判定し、数値として与える（ステップＳ２）。次いでそれぞれの良品、および不良品のサンプルについて画像データを取得する（ステップＳ３）。このようにして得られる画像データと不良タイプと不良状態とからなるデータセットは、実物の良品および不良品のサンプルから得られるので、実物データセットと呼ぶ。生成器８は、実物データセットをもとに、計算により加工して疑似データセットを大量に生成する（ステップＳ４）。疑似データセットの生成は不良タイプ毎に行う。例えば不良タイプがヒケの不良品を対象とする場合には、ヒケの実物データセットをもとに加工する。実際のヒケが発生している位置を画像処理の平行移動により移動させたり、画像処理の拡大／縮小によりヒケの大きさを変更したりして画像ファイルを加工する。拡大／縮小するときには大きさに応じて不良状態の値も変更する。このようにして疑似データセットを得る。他の不良タイプについても同様にして疑似データセットを生成する。このように、画像処理により機械的に画像データを加工する手法は周知であり、容易に大量の疑似データセットを生成することができる。

分類器７は、教師あり学習の学習を行う機械学習器であり、採用されるアルゴリズムの種類については制約はない。例えば、ＳＶＭ、最小二乗法、ステップワイズ法等を採用することができる。ただし、入力データが画像データ、出力データが不良タイプと不良状態とからなるデータセットの入出力の関係は非線形になることが予想されるので、非線形な入出力関係を表現できるアルゴリズムを採用することが好ましい。本実施の形態においては、分類器７はニューラルネットワークから構成されている。分類器７は、図３に示されているように、複数層のニューラルネットワークからなり、入力層のニューロンには画像データが与えられ、出力層のニューロンからは不良タイプと不良状態とが出力されるようになっている。実物データセットと疑似データセットとからなる大量のデータセットを使用して、分類器７に画像データを入力として与え、対応する不良タイプと不良状態とを教師信号として与えて学習させる。適切に学習された分類器７に成形品の画像データを与えると、その不良タイプと不良状態とを精度よく出力できるようになる。本実施の形態に係る射出成形機システム１においては、射出成形機２において射出成形される毎に成形品が取出機３によって取り出され、カメラ４によって撮影される。成形品毎にカメラ４で撮影された画像データが分類器７に送られ、分類器７が不良タイプと不良状態とを出力するようになっている。

本実施の形態に係るエージェント６について説明する。一般的に、強化学習する機械学習器は、制御対象あるいは環境を制御するようになっておりエージェントと呼ばれる。エージェントは、制御対象における状態ｓ_ｔ（Ｓｔａｔｅ）に基づいて行動ａ_ｔ（Ａｃｔｉｏｎ）を決定し、制御対象では状態ｓ_ｔが他の状態ｓ_ｔ＋１に遷移する。このときエージェントは制御対象から報酬ｒ_ｔ（Ｒｅｗａｒｄ）を受け取る。エージェントは、将来に渡って受け取る報酬ｒ_ｔの累積が最大になるような行動ａ_ｔを決定するように学習する。これを実現するために、多くのエージェントでは所定の価値関数を設けて学習により更新させる。そして所定の状態ｓ_ｔが与えられるとき、学習が進んだ価値関数を使って、その値が最大になるような行動ａ_ｔを決定するようにしている。価値関数についてはどのような種類の価値関数が採用されてもいい。また、学習のアルゴリズムも、Ｑ学習、ＳＡＲＳＡ法、ＴＤ学習、モンテカルロ法、Ａｃｔｏｒ－ｃｒｉｔｉｃ法等、周知の色々なアルゴリズムがあるが、どのようなアルゴリズムが採用されていてもよい。つまり価値関数の種類やアルゴリズムの種類については本発明の特徴はない。本発明の特徴は、本実施の形態に係るエージェント６が扱う状態ｓ_ｔ、行動ａ_ｔ、報酬ｒ_ｔをどのようなデータから構成しているのかにある。

本実施の形態に係るエージェント６が扱う行動ａ_ｔは、射出速度、射出ストローク、シリンダ温度等の成形条件からなる。所定の状態ｓ_ｔが与えられたとき、エージェント６が最適な成形条件を行動ａ_ｔとして決定できるようにするためである。本実施の形態に係るエージェント６が扱う状態ｓ_ｔについては、射出成形機２から得られる各種の物理データが含まれる。物理データは、射出圧力、樹脂温度、外気温、等があり、射出成形機に関連して得られる物理データがある。状態ｓ_ｔとして、これらの物理データ以外に他のデータも含まれてもよい。適宜必要に応じて状態ｓ_ｔに追加すればよい。ところでエージェント６が最適な成形条件を決定できるようにするには、このような状態ｓ_ｔだけでは十分でない。調整すべき成形条件を選択できるようにするために、本実施の形態に係るエージェント６は状態ｓ_ｔとして分類器７が出力する不良タイプを含む。この点が本発明の最大の特徴になっている。状態ｓ_ｔに不良タイプが含まれるので、エージェント６は不良タイプに応じてどの成形条件を調整の対象とすべきか判断することが可能になり、与えられた状態ｓ_ｔ下において最適な成形条件を行動ａ_ｔとして適切に決定できることになる。本実施の形態に係るエージェント６に与えられる報酬ｒ_ｔは、分類器７が出力する不良状態とする。これら状態ｓ_ｔ、行動ａ_ｔ、報酬ｒ_ｔによってエージェント６は強化学習することができる。

本実施の形態に係るエージェント６をＡｃｔｏｒ－ｃｒｉｔｉｃ法により強化学習させる例を説明する。この場合、図４に示されているように、エージェント６は行動器１０と評価器１１とから構成されることになる。Ａｃｔｏｒ－ｃｒｉｔｉｃ法により行動ａ_ｔを決定するにあたり、評価器１１において価値関数として状態価値関数Ｖ（ｓ_ｔ）を設ける。状態価値関数Ｖ（ｓ_ｔ）は、状態ｓ_ｔがどのくらい良いのかを示す関数である。状態価値関数Ｖ（ｓ_ｔ）はどのように構成してもよい。例えば、状態ｓ_ｔのそれぞれの値に対応してＶ値を格納するマトリクスから構成してもよいし、入出力関係を表すＳＶＭやニューラルネットワーク等から構成してもよい。また状態価値関数Ｖ（ｓ_ｔ）は強化学習によって更新することになるが、どのようなアルゴリズムによって更新してもよい。例えば、ＴＤ学習法により更新する場合には、以下の式のようにして計算することができる。

射出成形機２において所定の物理データ、不良タイプからなる所定の状態ｓ_ｔが与えられたとき、行動ａ_ｔとして成形条件を決定して射出成形し成形品が得られる。この成形品に対して分類器７が不良状態を判定し、評価器１１が報酬ｒ_ｔとして受け取る。次いで分類器７が判定した不良タイプを含む状態ｓ_ｔに対して次の成形条件を決定して射出成形を行う。このような成形を繰り返すことによって、１式によって状態価値関数Ｖ（ｓ_ｔ）を更新することができる。

一方、行動器１０には、状態ｓ_ｔが与えられたとき、どの行動ａ_ｔを決定するのかを表すポリシーπ（ｓ_ｔ、ａ_ｔ；ｗ_ｔ）を設ける。ポリシーπ（ｓ_ｔ、ａ_ｔ；ｗ_ｔ）は、状態ｓ_ｔの下で所定の行動ａ_ｔを決定する確率を表す確率分布関数になっており、ｗ_ｔはポリシーπ（ｓ_ｔ、ａ_ｔ；ｗ_ｔ）を規定する調整パラメータになっている。ポリシーπ（ｓ_ｔ、ａ_ｔ；ｗ_ｔ）は、例えば、平均μ、標準偏差σとする正規分布Ｎ（μ、σ）により表現すると、調整パラメータｗ_ｔを調整することは、実質的にｗ_ｔの関数として表現された平均μ、標準偏差σを調整することであると言える。調整パラメータｗ_ｔを学習により調整して、ポリシーπ（ｓ_ｔ、ａ_ｔ；ｗ_ｔ）が適切な確率分布関数になったら、所定の状態ｓ_ｔが与えられたときに適切な行動ａ_ｔを決定する確率が高くなり、不適切な行動ａ_ｔを決定する確率は低くなる。調整パラメータｗ_ｔの調整方法として例えば次のようにする。まず、ポリシーπ（ｓ_ｔ、ａ_ｔ；ｗ_ｔ）が適正であるか否かの度合いを適正度ｅ_ｔとして２－１式で定義し、履歴付き適正度Ｄ_ｔを、割引率βを使って２－２式のように定義する。そうすると、不良状態として受け取る報酬ｒ_ｔと、状態価値関数Ｖ（ｓ_ｔ）とから、式２－３式により調整パラメータｗ_ｔを更新することができる。

学習を繰り返すと状態価値関数Ｖ（ｓ_ｔ）もポリシーπ（ｓ_ｔ、ａ_ｔ；ｗ_ｔ）も、共に収束してＴＤ誤差δ_ｔは０に近づく。すなわち強化学習により学習された状態になる。このような状態になったポリシーπ（ｓ_ｔ、ａ_ｔ；ｗ_ｔ）によって、状態ｓ_ｔが与えられると最適な行動ａ_ｔつまり最適な成形条件を計算することができる。

本実施の形態に係るエージェント６は異なる構成を採ることもできる。例えば価値関数として行動価値関数Ｑ（ｓ_ｔ、ａ_ｔ）を設けて、この行動価値関数Ｑ（ｓ_ｔ、ａ_ｔ）によって最適な行動ａ_ｔつまり最適な成形条件を決定することができる。行動価値関数Ｑ（ｓ_ｔ、ａ_ｔ）は、状態ｓ_ｔにおいて、所定の行動ａ_ｔがどのくらい良いのかを示す評価関数である。行動価値関数Ｑ（ｓ_ｔ、ａ_ｔ）も、状態価値関数Ｖ（ｓ_ｔ）と同様に色々な構成をとることができる。例えば、行動価値関数Ｑ（ｓ_ｔ、ａ_ｔ）として状態ｓ_ｔ、行動ａ_ｔのそれぞれの値に対応してＱ値を格納するマトリクス、つまりＱテーブルから構成してもよい。行動価値関数Ｑ（ｓ_ｔ、ａ_ｔ）は例えばＱ学習によって次式で更新することができる。

射出成形を繰り返し、学習を繰り返すとやがて行動価値関数Ｑ（ｓ_ｔ、ａ_ｔ）は収束する。学習された行動価値関数Ｑ（ｓ_ｔ、ａ_ｔ）を使って最適な成形条件を決定できる。すなわち、所定の状態ｓ_ｔが与えられたとき、行動価値関数Ｑ（ｓ_ｔ、ａ_ｔ）が最大となるような行動ａ_ｔを探す。このような行動ａ_ｔが、最適な成形条件となる。なお、行動価値関数Ｑ（ｓ_ｔ、ａ_ｔ）をＱテーブルから構成する場合、状態ｓ_ｔ、行動ａ_ｔを離散値として扱うことになる。Ｑテーブルのマトリクスを巨大にすれば、実質的に連続値として扱うこともできるが計算負荷が大きくなってしまう。これに対して、例えば行動価値関数Ｑ（ｓ_ｔ、ａ_ｔ）をニューラルネットワーク等のいわゆる関数近似器から構成するようにすれば、状態ｓ_ｔ、行動ａ_ｔを連続的に扱うことができ、かつ計算負荷も比較的少なくて済む。以上の強化学習に関する説明では，学習が収束をすることを前提として記述したが、アルゴリズムによっては、最終状態の収束が保証されなくてもよい。また、アルゴリズムは、Ａｃｔｏｒ－ｃｒｉｔｉｃの例で説明したように方策（ポリシー）を明示的に更新してもよいし、Ｑ学習の例で説明したように価値関数の更新にとどめるようにしても良い。

本実施の形態に係る射出成形機システム１は色々な変形が可能である。例えば、価値関数の学習は、実際に成形を繰り返して実施してするように説明した。つまり実際に成形を繰り返す中での学習、つまりオンラインでの学習をするように説明した。しかしながら、予め価値関数をオフラインで学習させるようにしてもよい。実際に成形を繰り返さなくても、状態ｓ_ｔ、行動ａ_ｔ、報酬ｒ_ｔの関係についてある程度のデータが事前に入手できれば、これを使って価値関数を学習させておくことができる。価値関数の学習をある程度進めた状態で、前記したように実際に成形を行いながら学習するようにすると収束が早くなる。また他の変形として分類器７に対する入力データを変形することもできる。本実施の形態においては分類器７に対する入力データは成形品の画像データのみであるように説明したが、成形品に関する物理データ、例えば成形品重量、成形品の色度、屈折率等を入力データとして与えてもよい。そうすると、より多くの種類の不良タイプについても判定できるようになる。他の変形も可能であり、複数台の射出成形機からなるシステムとして構成することもできる。すなわち同じ成形品を複数台の成形機で成形する場合には、エージェント同士で情報交換をすることができる。情報交換により群強化学習を行えば、学習効率を高めることができる。

エージェント６が扱う状態ｓ_ｔ、行動ａ_ｔはどのようなデータとして扱ってもよい。行動ａ_ｔとして扱う成形条件は、射出速度、射出ストローク、シリンダ温度等について、その実際の値を扱ってもよい。あるいは成形条件の変更分を扱ってもよい。つまり射出速度の変更分、射出ストロークの変更分、シリンダ温度の変更分等である。また、状態ｓ_ｔ、行動ａ_ｔ、報酬ｒ_ｔの各データを扱うとき、予め正規化して数値範囲が０～１になるように変換したり、あるいは－１～１の数値範囲になるよう変換して扱うようにしてもよい。

１ 射出成形機システム ２ 射出成形機
３ 取出機 ４ カメラ
６ エージェント ７ 分類器
８ 生成器 １０ 行動器
１１ 評価器

Claims (3)

1. 強化学習の機械学習器からなるエージェントと、射出成形機と、から構成され前記エージェントによって前記射出成形機の成形条件が調整される射出成形機システムであって、
   前記エージェントは、価値関数を備え、状態と報酬とが入力されると共に行動を出力するようになっており、色々な前記状態における前記行動に対し与えられる前記報酬により前記価値関数を更新し、前記行動を前記価値関数に基づいて決定するようになっており、
   前記状態は、前記射出成形機から得られる物理データと、成形品の成形不良の種類を表す不良タイプとを含み、
   前記行動は成形条件からなり、
   前記報酬は成形不良の不良度合いを表す不良状態からなる、機械学習器を備えた射出成形機システム。
2. 請求項１に記載の射出成形機システムにおいて、前記射出成形機システムは成形品を撮影するカメラと教師あり学習により学習する分類器とを備え、
   前記不良タイプと前記不良状態は、学習済みの前記分類器において前記カメラで撮影された成形品の画像データを含む入力データが入力されたときに得られる出力データである、機械学習器を備えた射出成形機システム。
3. 請求項２に記載の射出成形機システムにおいて、前記分類器は、実物の成形品についての前記画像データと前記不良タイプと前記不良状態とからなる複数組の実物データセットと、複数組の疑似データセットとによって学習され、
   前記疑似データセットは、前記実物データセットをもとに加工して得られた前記画像データと前記不良タイプと前記不良状態とからなる、機械学習器を備えた射出成形機システム。

Images