JP7469998B2 - 樹脂フィルム製造装置及びその制御方法 - Google Patents

Description

本発明は樹脂フィルム製造装置及びその制御方法に関する。

押出機に連結されたダイのリップの隙間からフィルム状の溶融樹脂を押し出す樹脂フィルム製造装置が知られている。このような樹脂フィルム製造装置では、樹脂フィルムの幅方向において、厚みを均一にすることが求められている。

そのため、特許文献１～３に開示されたダイには、リップの長手方向（樹脂フィルムの幅方向）に沿って並んだ複数のヒートボルトが設けられている。各ヒートボルトのヒータによる熱膨張量を個別に制御し、ダイのリップ間隔を局所的に調整することができる。
また、特許文献４には、製造中に樹脂フィルムの厚みを測定し、ダイのリップ間隔をフィードバック制御可能な樹脂フィルム製造装置が開示されている。

特開２０１０－１６７５８４号公報 特開２０１２－２４０３３２号公報 特開２０１３－０５２５７４号公報 特開２０１３－０３９６７７号公報

発明者は、複数のヒートボルトを有するダイを備え、リップ間隔をフィードバック制御可能な樹脂フィルム製造装置の開発に際し、様々な課題を見出した。
その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。

一実施の形態に係る樹脂フィルム製造装置では、リップ間隔の制御を開始する際、ヒートボルト毎に、対象ヒートボルトの今回の制御開始時の状態と、全ヒートボルトのそれぞれの前回の制御開始時の状態との差を求め、対象ヒートボルト同士の差が最小の場合、対象ヒートボルトの学習結果を、対象ヒートボルトの制御条件の初期値として設定し、対象ヒートボルト同士の差が最小でない場合、対象ヒートボルト同士よりも差が小さいヒートボルトの学習結果及び対象ヒートボルトの学習結果のうちのいずれか一つを、対象ヒートボルトの制御条件の初期値として設定する。

前記一実施の形態によれば、優れた樹脂フィルムの製造装置を提供することができる。

実施の形態１に係る樹脂フィルム製造装置及び樹脂フィルム製造方法の全体構成を示す模式的断面図である。 Ｔダイ２０の断面図である。 Ｔダイ２０の下側（リップ側）の部分斜視図である。 実施の形態１に係る制御部７０の構成を示すブロック図である。 実施の形態１に係る樹脂フィルム製造装置の制御方法を示すフローチャートである。 実施の形態１に係る樹脂フィルム製造装置における制御開始時の制御条件の初期値の設定方法を示すフローチャートである。 記憶部７３を模式的に示すブロック図である。 実施の形態２に係る制御部７０の構成を示すブロック図である。

以下、具体的な実施の形態について、図面を参照しながら詳細に説明する。但し、以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜簡略化されている。

（実施の形態１）
＜樹脂フィルム製造装置の全体構成＞
まず、図１を参照して、実施の形態１に係る樹脂フィルム製造装置及び樹脂フィルム製造方法の全体構成について説明する。図１は、実施の形態１に係る樹脂フィルム製造装置及び樹脂フィルム製造方法の全体構成を示す模式的断面図である。

なお、当然のことながら、図１及びその他の図面に示した右手系ｘｙｚ直交座標は、構成要素の位置関係を説明するための便宜的なものである。通常、ｚ軸正向きが鉛直上向き、ｘｙ平面が水平面であり、図面間で共通である。
また、本明細書において、樹脂フィルムは樹脂シートを含む。

図１に示すように、実施の形態１に係る樹脂フィルム製造装置は、押出機１０、Ｔダイ２０、冷却ロール３０、搬送ロール群４０、巻取機５０、厚みセンサ６０、制御部７０を備えている。実施の形態１に係る樹脂フィルム製造装置は、押出機１０に連結されたＴダイ２０のリップ間の隙間からフィルム状の溶融樹脂８２ａを押し出す押出成形タイプの樹脂フィルム製造装置である。

押出機１０は、例えばスクリュー式押出機である。図１に例示した押出機１０では、ｘ軸方向に延設されたシリンダ１１の内部にｘ軸方向に延設されたスクリュー１２が収容されている。シリンダ１１のｘ軸負方向側端部の上側に、樹脂フィルム８３の原料である樹脂ペレット８１を投入するためのホッパ１３が設けられている。

ホッパ１３から供給された樹脂ペレット８１は、回転するスクリュー１２の根元から先端に向かって、すなわちｘ軸正方向に押し出される。樹脂ペレット８１は、シリンダ１１の内部において回転するスクリュー１２によって圧縮され、溶融樹脂８２に変化する。
なお、図示しないが、スクリュー１２には、例えば、減速機を介してモータが駆動源として連結される。

図１に示すように、Ｔダイ２０は、押出機１０の先端部（ｘ軸正方向側端部）の下側に連結されている。Ｔダイ２０の下端に位置するリップの隙間からフィルム状の溶融樹脂８２ａが下向き（ｚ軸負方向）に押し出される。ここで、Ｔダイ２０のリップ間隔は調整可能である。詳細には後述するように、製造される樹脂フィルム８３の幅方向（ｙ軸方向）における厚みが均一になるように、リップの長手方向（ｙ軸方向）に沿った複数箇所において、Ｔダイ２０のリップ間隔が調整可能である。

冷却ロール３０は、Ｔダイ２０から押し出されたフィルム状の溶融樹脂８２ａを冷却しつつ、フィルム状の溶融樹脂８２ａが固化した樹脂フィルム８３を搬出する。冷却ロール３０から搬出された樹脂フィルム８３は、搬送ロール群４０を介して搬送され、巻取機５０によって巻き取られる。図１の例では、搬送ロール群４０は、８個の搬送ロール４１～４８を備えている。搬送ロールの個数、配置は適宜決定される。

厚みセンサ６０は、例えば非接触式の厚みセンサであって、冷却ロール３０から搬出された搬送中の樹脂フィルム８３の幅方向の厚み分布を測定する。図１の例では、厚みセンサ６０は、搬送ロール４４、４５の間において水平に搬送される樹脂フィルム８３を上下から挟むように配置されている。厚みセンサ６０は、非接触式であるため、樹脂フィルム８３の幅方向（ｙ軸方向）に走査させることができる。そのため、コンパクトな厚みセンサ６０によって、樹脂フィルム８３の幅方向の厚み分布を測定することができる。また、樹脂フィルム８３が水平に搬送されているため、厚みセンサ６０を走査させても精度良く厚み分布を測定することができる。

制御部７０は、厚みセンサ６０から取得した樹脂フィルム８３の厚み分布に基づいて、ヒータ２４を制御することによってＴダイ２０のリップ間隔をフィードバック制御しつつ、ヒータ２４の制御条件を学習する。より具体的には、制御部７０は、樹脂フィルム８３の幅方向において厚みが均一になるように、Ｔダイ２０のリップ間隔を制御する。
なお、制御部７０のより詳細な構成及び動作については、後述する。

＜Ｔダイ２０の構成＞
ここで、図２、図３を参照して、Ｔダイ２０の構成についてより詳細に説明する。図２は、Ｔダイ２０の断面図である。また、図３は、Ｔダイ２０の下側（リップ側）の部分斜視図である。

図２、図３に示すように、Ｔダイ２０は、突き合わせられた一対のダイブロック２１、２２からなる。突き合わせられた一対のダイブロック２１、２２は、いずれも外側面から内側面（突き合わせ面）に向かって下方向に傾斜したテーパー部が設けられている。すなわち、ダイブロック２１、２２の突き合わせ面の下端部には、薄肉のリップ２１ａ、２２ａが設けられている。

一対のダイブロック２１、２２の突き合わせ面には、導入口２０ａ、マニホールド２０ｂ、及びスリット２０ｃが形成されている。導入口２０ａは、Ｔダイ２０の上面から下方向（ｚ軸負方向）に延設されている。マニホールド２０ｂは、導入口２０ａの下端からｙ軸正方向及びｙ軸負方向に延設されている。このように、Ｔダイ２０では、導入口２０ａとマニホールド２０ｂとがＴ字状に形成されている。

さらに、マニホールド２０ｂの底面からＴダイ２０の下面に至るスリット２０ｃがｙ軸方向に延設されている。溶融樹脂８２は、導入口２０ａ及びマニホールド２０ｂを介してスリット２０ｃ（すなわちリップ２１ａ、２２ａの隙間）から下方向に押し出される。

ここで、リップ２１ａは動かない固定リップであるのに対し、リップ２２ａはヒートボルト２３に連結された可動リップである。リップ２２ａには、外側面から突き合わせ面に向かって斜め上方向に切り欠き溝２２ｂが形成されている。リップ２２ａは、ヒートボルト２３によって押し引きされ、切り欠き溝２２ｂの底部を支点として動くことができる。このように、リップ２２ａのみが可動リップであるため、簡易な構成によって容易にリップ間隔を調整することができる。

ヒートボルト２３は、ダイブロック２２のテーパー部に沿って、斜め上方向に延設されている。ヒートボルト２３は、ダイブロック２２に固定されたホルダー２５ａ、２５ｂによって支持されている。より詳細には、ヒートボルト２３は、ホルダー２５ａに形成されたねじ穴にねじ止めされている。ヒートボルト２３の締め込み量は適宜調整することができる。他方、ヒートボルト２３は、ホルダー２５ｂに形成された貫通孔に挿通されているが、ホルダー２５ｂには固定されてない。なお、ホルダー２５ａ、２５ｂは、ダイブロック２２と別体でなく、一体に形成されていてもよい。

ここで、図３に示すように、複数のヒートボルト２３が、リップ２１ａ、２２ａの長手方向（ｙ軸方向）に沿って並べられている。リップ２１ａ、２２ａの長手方向は、樹脂フィルムの幅方向に対応する。図３の例では、模式的に３本のヒートボルト２３が設けられているが、通常はより多くのヒートボルト２３が設けられている。

ヒータ２４は、ヒートボルト２３を加熱するためにヒートボルト２３毎に設けられている。図２、図３に示した例では、ホルダー２５ａ、２５ｂの間において、各ヒートボルト２３の外周面を覆うように、ヒータ２４が設けられている。ヒートボルト２３を締め込むことによって、ヒートボルト２３の下端面によってリップ２２ａを押すことができる。さらに、ヒートボルト２３の下端部は、リップ２２ａに固定された断面Ｕ字状の連結部材２６によってリップ２２ａに連結されている。そのため、ヒートボルト２３を緩めることによって、連結部材２６を介してリップ２２ａを引くこともできる。

ヒートボルト２３の締め込み量によってリップ２１ａ、２２ａの間隔を調整することができる。具体的には、ヒートボルト２３の締め込み量を増加させると、ヒートボルト２３がリップ２２ａを押し、リップ２１ａ、２２ａの間隔が狭くなる。反対に、ヒートボルト２３の締め込み量を減少させると、リップ２１ａ、２２ａの間隔が広くなる。ヒートボルト２３の締め込み量は、例えば手動により調整される。

さらに、ヒータ２４によるヒートボルト２３の熱膨張量によって、リップ２１ａ、２２ａの間隔を微調整することができる。具体的には、ヒータ２４の加熱温度を上昇させると、ヒートボルト２３の熱膨張量が増加するため、ヒートボルト２３がリップ２２ａを押し、リップ２１ａ、２２ａの間隔が狭くなる。反対に、ヒータ２４の加熱温度を低下させると、ヒートボルト２３の熱膨張量が減少するため、リップ２１ａ、２２ａの間隔が広くなる。各ヒートボルト２３の熱膨張量すなわち各ヒータ２４の加熱は、制御部７０によって制御される。

＜比較例に係る制御部７０の構成＞
比較例に係る樹脂フィルム製造装置は、図１に示した実施の形態１に係る樹脂フィルム製造装置と同様の全体構成を有している。比較例では、制御部７０が、ＰＩＤ制御を用いて、厚みセンサ６０から取得した樹脂フィルム８３の厚み分布に基づいて、各ヒートボルト２３のヒータ２４をフィードバック制御する。ＰＩＤ制御の場合、プロセス条件を変更する度に、パラメータを調整する必要がある。通常、作業者が試行錯誤してパラメータを調整するため、パラメータ調整に多大な時間及び樹脂材料を要するという問題があった。

＜実施の形態１に係る制御部７０の構成＞
次に、図４を参照して、実施の形態１に係る制御部７０の構成についてより詳細に説明する。図４は、実施の形態１に係る制御部７０の構成を示すブロック図である。図４に示すように、実施の形態１に係る制御部７０は、状態観測部７１、制御条件学習部７２、記憶部７３、制御信号出力部７４を備えている。

なお、制御部７０を構成する各機能ブロックは、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現することができる。従って、各機能ブロックは、コンピュータのハードウェアやソフトウェアやそれらの組み合わせによって色々な形態で実現できる。

状態観測部７１は、厚みセンサ６０から取得した樹脂フィルム８３の厚み分布の測定値ｐｖから、ヒートボルト２３毎の制御偏差を算出する。制御偏差は、目標値と測定値ｐｖとの差分である。ここで、目標値は、全ヒートボルト２３において、厚みセンサ６０によって測定された樹脂フィルム８３の厚み分布の測定値ｐｖの平均値である。
なお、測定値ｐｖの平均値を求める際、製品として利用しない樹脂フィルム８３の両端部の測定値については除外してもよい。

他方、各ヒートボルト２３の測定値ｐｖは、各ヒートボルト２３に割り当てられた測定点における厚み測定値ｐｖから定まる。例えば、各ヒートボルト２３の測定値ｐｖは、各ヒートボルト２３に割り当てられた測定点における厚み測定値ｐｖの平均値である。あるいは、各ヒートボルト２３に割り当てられた測定点において、目標値との差分が最大の厚み測定値ｐｖを各ヒートボルト２３の測定値ｐｖとしてもよい。

そして、状態観測部７１は、各ヒートボルト２３について、算出した制御偏差に基づいて、現在の状態ｓｔと以前（例えば前回）に選択した行動ａｃに対する報酬ｒｗとを決定する。
状態ｓｔは、無限に取り得る制御偏差の値を有限個に区分するために予め設定されている。説明のための簡易な例としては、制御偏差ｅｒｒとした場合、－０．９μｍ≦ｅｒｒ＜－０．６μｍを状態ｓｔ１、－０．６μｍ≦ｅｒｒ＜－０．３μｍを状態ｓｔ２、－０．３μｍ≦ｅｒｒ＜０．３μｍを状態ｓｔ３、０．３μｍ≦ｅｒｒ＜０．６μｍを状態ｓｔ４、０．６μｍ≦ｅｒｒ≦０．９μｍを状態ｓｔ５などと設定される。実際には、より細分化された多数の状態ｓｔが設定される場合が多い。

報酬ｒｗは、以前の状態ｓｔにおいて選択した行動ａｃを評価するための指標である。
具体的には、算出した現在の制御偏差の絶対値が、以前の制御偏差の絶対値よりも小さくなっていれば、状態観測部７１は、以前に選択した行動ａｃが適切であると判断し、例えば報酬ｒｗを正の値とする。換言すると、以前と同じ状態ｓｔにおいて前回選択した行動ａｃが再度選択され易くなるように、報酬ｒｗが決定される。

反対に、算出した現在の制御偏差の絶対値が、以前の制御偏差の絶対値よりも大きくなっていれば、状態観測部７１は、以前に選択した行動ａｃが不適切であると判断し、例えば報酬ｒｗを負の値とする。換言すると、以前と同じ状態ｓｔにおいて前回選択した行動ａｃが再度選択され難くなるように、報酬ｒｗが決定される。
なお、報酬ｒｗの具体例については後述する。また、報酬ｒｗの値は適宜決定することができる。例えば、報酬ｒｗの値が常に正の値であってもよく、報酬ｒｗの値が常に負の値であってもよい。

制御条件学習部７２は、各ヒートボルト２３について、強化学習を行う。具体的には、制御条件学習部７２は、制御条件（学習結果）を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。制御条件は、状態ｓｔと行動ａｃとの組み合わせである。上述の状態ｓｔ１～ｓｔ５に対応した簡易な制御条件（学習結果）を表１に示す。図４の例では、制御条件学習部７２は、更新した制御条件ｃｃを例えばメモリである記憶部７３に格納すると共に、記憶部７３から制御条件ｃｃを読み出して更新する。

表１は、強化学習の一例であるＱ学習による制御条件（学習結果）を示している。表１の最上行には上述の５つの状態ｓｔ１～ｓｔ５が示されている。すなわち、２～６列目の各列が５つの状態ｓｔ１～ｓｔ５を示している。他方、表１の最左列には４つの行動ａｃ１～ａｃ４が示されている。すなわち、２～５列目の各行が、４つの行動ａｃ１～ａｃ４を示している。

ここで、表１の例では、ヒータ２４への出力（例えば電圧）を１％減らす行動を行動ａｃ１（出力変化：－１％）と設定している。ヒータ２４への出力を維持する行動を行動ａｃ２（出力変化：０％）と設定している。ヒータ２４への出力を１％増やす行動を行動ａｃ３（出力変化：＋１％）と設定している。ヒータ２４への出力を１．５％増やす行動を行動ａｃ４（出力変化：＋１．５％）と設定している。表１の例は、あくまでも説明のための簡易な例であって、実際には、より細分化された多数の行動ａｃが設定される場合が多い。

表１において状態ｓｔと行動ａｃとの組み合わせから定まる値は、価値Ｑ（ｓｔ、ａｃ）と呼ばれる。価値Ｑは、初期値が与えられた後、公知の更新式を利用して報酬ｒｗに基づいて順次更新される。価値Ｑの初期値は、例えば図４に示す学習条件に含まれる。学習条件は、例えば作業者によって入力される。価値Ｑの初期値は記憶部７３に格納されていてもよく、例えば過去の学習結果を初期値として用いてもよい。また、図４に示す学習条件には、例えば表１に示した状態ｓｔ１～ｓｔ５及び行動ａｃ１～ａｃ４も含まれる。

表１における状態ｓｔ４を例に、価値Ｑについて説明する。状態ｓｔ４では、制御偏差が０．３μｍ以上０．６μｍ未満であるため、対象ヒートボルト２３におけるリップ間隔が広過ぎる。そのため、対象ヒートボルト２３を加熱するヒータ２４への出力を増やし、対象ヒートボルト２３の熱膨張量を増加させる必要がある。従って、制御条件学習部７２による学習の結果、ヒータ２４への出力を増加させる行動ａｃ３、ａｃ４の価値Ｑが大きくなっている。一方、ヒータ２４への出力を維持する行動ａｃ２及びヒータ２４への出力を減少させる行動ａｃ１の価値Ｑは小さくなっている。

表１の例において、例えば制御偏差が０．４μｍである場合、状態ｓｔは状態ｓｔ４である。そのため、制御条件学習部７２は、状態ｓｔ４において価値Ｑが最大であって最適な行動ａｃ４を選択し、制御信号出力部７４へ出力する。
制御信号出力部７４は、入力された行動ａｃ４に基づいて、ヒータ２４へ出力する制御信号ｃｔｒを１．５％増やす。制御信号ｃｔｒは例えば電圧信号である。

そして、次回の制御偏差の絶対値が今回の制御偏差の絶対値０．４μｍよりも小さければ、状態観測部７１は、今回の状態ｓｔ４における行動ａｃ４の選択が適切であると判断し、正の値の報酬ｒｗを出力する。そのため、制御条件学習部７２は、状態ｓｔ４における行動ａｃ４の価値＋５．６を報酬ｒｗに応じて増やすように制御条件を更新する。その結果、状態ｓｔ４の場合、制御条件学習部７２は、引き続き行動ａｃ４を選択する。

一方、次回の制御偏差の絶対値が今回の制御偏差の絶対値０．４μｍよりも大きければ、状態観測部７１は、今回の状態ｓｔ４における行動ａｃ４の選択が不適切であると判断し、負の値の報酬ｒｗを出力する。そのため、制御条件学習部７２は、状態ｓｔ４における行動ａｃ４の価値＋５．６を報酬ｒｗに応じて減らすように制御条件を更新する。その結果、状態ｓｔ４における行動ａｃ４の価値が行動ａｃ３の価値＋５．４よりも小さくなると、状態ｓｔ４の場合、制御条件学習部７２は、行動ａｃ４に代えて行動ａｃ３を選択する。

なお、制御条件を更新するタイミングは、次回に限らず、タイムラグなどを考慮して適宜決定すればよい。また、学習初期段階では、学習を促進するために、ランダムに行動ａｃを選択してもよい。さらに、表１では、簡易なＱ学習による強化学習について説明したが、学習アルゴリズムについては、Ｑ学習、ＡＣ（Actor-Critic）法、ＴＤ学習、モンテカルロ法など様々あるが、何ら限定されるものではない。例えば、状態ｓｔ及び行動ａｃの数が増えて組み合わせ爆発が発生する場合は、ＡＣ法などを用いるなど状況によって選定すればよい。

また、ＡＣ法では、方策関数として確率分布関数を用いる場合が多い。その確率分布関数は、正規分布関数に限らず、例えば、簡単化を目的としてシグモイド関数、ソフトマックス関数などを用いてもよい。シグモイド関数は、ニューラルネットワークで最も使用される関数である。強化学習は、ニューラルネットワークと同じ機械学習の１つであるため、シグモイド関数を採用できる。また、シグモイド関数は、関数自体も簡単であり、扱い易いという利点もある。
以上の通り、学習アルゴリズムや用いる関数は様々であるが、プロセスに対して最適なものを適宜選定すればよい。

以上に説明した通り、実施の形態１に係る樹脂フィルム製造装置では、ＰＩＤ制御を用いていないため、そもそもプロセス条件の変更に伴うパラメータ調整が不要である。また、制御部７０が、強化学習によって、制御条件（学習結果）を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。そのため、プロセス条件を変更した場合でも、比較例に比べ、調整に要する時間及び樹脂材料を抑制することができる。

＜樹脂フィルム製造装置の制御方法＞
次に、図５を参照して、実施の形態１に係る樹脂フィルム製造装置の制御方法の詳細について説明する。図５は、実施の形態１に係る樹脂フィルム製造装置の制御方法を示すフローチャートである。図５の説明においては、図４も適宜参照する。

まず、図５に示すように、図４に示した制御部７０の状態観測部７１は、ヒートボルト２３毎に、樹脂フィルム８３の厚み分布から制御偏差を算出する。そして、算出した制御偏差に基づいて、現在の状態ｓｔと以前に選択した行動ａｃに対する報酬ｒｗとを決定する（ステップＳ１）。なお、制御開始時には、以前（例えば前回）に選択した行動ａｃが存在せず、報酬ｒｗを決定することができないため、現在すなわち制御開始時の状態ｓｔのみを決定する。

次に、制御部７０の制御条件学習部７２は、状態ｓｔと行動ａｃとの組み合わせである制御条件を報酬ｒｗに基づいて更新する。そして、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する（ステップＳ２）。なお、制御開始時には、制御条件は初期値のまま更新されないが、制御開始時の状態ｓｔに対応した最適な行動ａｃを選択する。
そして、制御部７０の制御信号出力部７４は、制御条件学習部７２が選択した最適な行動ａｃに基づいて、ヒータ２４に制御信号ｃｔｒを出力する（ステップＳ３）。

樹脂フィルム８３の製造が終了していなければ（ステップＳ４ＮＯ）、ステップＳ１に戻って制御を継続する。一方、樹脂フィルム８３の製造が終了したら（ステップＳ４ＹＥＳ）、制御を終了する。すなわち、樹脂フィルム８３の製造が終了するまで、ステップＳ１～Ｓ３を繰り返す。

以上に説明した通り、実施の形態１に係る樹脂フィルム製造装置では、ＰＩＤ制御を用いていないため、そもそもプロセス条件の変更に伴うパラメータ調整が不要である。また、コンピュータを用いた強化学習によって、制御条件（学習結果）を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。そのため、プロセス条件を変更した場合でも、比較例に比べ、調整に要する時間及び樹脂材料を抑制することができる。

＜制御条件の初期値の設定方法＞
次に、図６を参照して、実施の形態１に係る樹脂フィルム製造装置における制御開始時の制御条件の初期値の設定方法について説明する。図６は、実施の形態１に係る樹脂フィルム製造装置における制御開始時の制御条件の初期値の設定方法を示すフローチャートである。図６は、前回制御を行った際に学習した制御条件（学習結果）を今回の制御条件の初期値として設定する場合を示している。
なお、初めて制御を行う場合には、学習結果が存在しないため、制御条件の初期値は適宜設定される。

本実施形態に係る樹脂フィルム製造装置では、対象ヒートボルト２３の学習結果だけでなく、他のヒートボルト２３の学習結果も、対象ヒートボルト２３の制御条件の初期値として利用する。
ここで、図７は、記憶部７３を模式的に示すブロック図である。図７に示すように、記憶部７３には、ｎ本のヒートボルト２３のそれぞれについて、前回制御を行った際に学習した制御条件（学習結果）ｃｃ１～ｃｃｎが格納されている。

図６に示すように、制御部７０は、リップ間隔の制御を開始する際、ヒートボルト２３毎に、対象ヒートボルト２３の今回の制御開始時の状態ｓｔと、全ヒートボルト２３のそれぞれの前回の制御開始時の状態ｓｔとの差を求める（ステップＳ１１）。今回の制御開始時の状態ｓｔも、上述の通り、状態観測部７１において算出した制御偏差から定まる。前回の制御開始時の状態ｓｔは、例えば記憶部７３に格納されている。

ここで、対象ヒートボルト２３の今回の制御開始時の状態ｓｔと前回の制御開始時の状態ｓｔとの差を、以下では、「対象ヒートボルト２３同士の状態ｓｔの差」という。対象ヒートボルト２３同士の状態ｓｔの差が最小の場合（ステップＳ１２ＹＥＳ）、対象ヒートボルト２３の学習結果を、対象ヒートボルト２３の制御条件の初期値として設定する（ステップＳ１３）。ここで、状態ｓｔの差が最小となるヒートボルト２３が複数あった場合、対象ヒートボルト２３の学習結果を選択する。

ここで、状態ｓｔの差が小さい程、前回の制御開始時の状態ｓｔが対象ヒートボルト２３の今回の制御開始時の状態ｓｔに近いヒートボルト２３であることを意味する。そのようなヒートボルト２３の学習結果を用いることによって、制御条件を効率良く学習し、収束時間を短縮できる。
ステップＳ１３の後、制御（学習）を開始する。

他方、対象ヒートボルト２３同士の状態ｓｔの差が最小でない場合（ステップＳ１２ＮＯ）、対象ヒートボルト２３同士よりも状態ｓｔの差が小さいヒートボルト２３及び対象ヒートボルト２３の学習結果のうちのいずれか一つを対象ヒートボルト２３の制御条件の初期値として設定する（ステップＳ１４）。

例えば、ステップＳ１４において、単純に状態ｓｔの差が最小となったヒートボルト２３の学習結果を対象ヒートボルト２３の制御条件の初期値として設定する。
あるいは、状態ｓｔの差に加え、対象ヒートボルト２３との距離等を考慮してもよい。例えば、状態ｓｔの差が最小となったヒートボルト２３が複数ある場合、対象ヒートボルト２３との距離が最も近いヒートボルト２３の学習結果を用いる。

さらなる具体例として、状態ｓｔの差が最小のヒートボルト２３が対象ヒートボルト２３から遠く、状態ｓｔの差が次に小さいヒートボルト２３は対象ヒートボルト２３により近く、対象ヒートボルト２３同士の状態ｓｔの差がその次に小さい場合について考える。このような場合、これら３つのヒートボルト２３の学習結果のいずれを用いてもよい。例えば、状態ｓｔの差と対象ヒートボルトとの距離とを勘案した計算式を適宜用いれば、これら３つのヒートボルト２３からいずれか一つを選択できる。
ステップＳ１４の後、制御（学習）を開始する。

以上に説明した通り、本実施形態に係る樹脂フィルム製造装置では、対象ヒートボルト２３の学習結果だけでなく、他のヒートボルト２３の学習結果も、対象ヒートボルト２３の制御条件の初期値として利用する。具体的には、対象ヒートボルト２３の今回の制御開始時の状態ｓｔと、全ヒートボルト２３のそれぞれの前回の制御開始時の状態ｓｔとの差を求める。そして、状態ｓｔの差が小さいヒートボルトの学習結果を対象ヒートボルト２３の制御条件の初期値を設定する。そのため、ヒートボルト２３の学習結果のみを対象ヒートボルト２３の制御条件の初期値として利用する場合に比べ、制御条件を効率良く学習し、収束時間を短縮できる。

（実施の形態２）
次に、図８を参照して、実施の形態２に係る樹脂フィルム製造装置について説明する。実施の形態２に係る樹脂フィルム製造装置の全体構成は、図１～図３に示した実施の形態１に係る樹脂フィルム製造装置の全体構成と同様であるため、説明を省略する。実施の形態２に係る樹脂フィルム製造装置は、制御部７０の構成が実施の形態１に係る樹脂フィルム製造装置と異なる。

図８は、実施の形態２に係る制御部７０の構成を示すブロック図である。図８に示すように、実施の形態２に係る制御部７０は、状態観測部７１、制御条件学習部７２、記憶部７３、ＰＩＤコントローラ７４ａを備えている。すなわち、実施の形態２に係る制御部７０は、図４に示した実施の形態１に係る制御部７０における制御信号出力部７４として、ＰＩＤコントローラ７４ａを備えている。ＰＩＤコントローラ７４ａも制御信号出力部の一形態である。

状態観測部７１は、実施の形態１と同様に、各ヒートボルト２３について、算出した制御偏差ｅｒｒに基づいて、現在の状態ｓｔと以前に選択した行動ａｃに対する報酬ｒｗとを決定する。そして、状態観測部７１は、現在の状態ｓｔと報酬ｒｗとを制御条件学習部７２に出力する。さらに、実施の形態２に係る状態観測部７１は、算出した制御偏差ｅｒｒをＰＩＤコントローラ７４ａに出力する。

制御条件学習部７２も、実施の形態１と同様に、各ヒートボルト２３について、強化学習を行う。具体的には、制御条件学習部７２は、制御条件（学習結果）を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。ここで、実施の形態１では、制御条件学習部７２が選択する行動ａｃの内容が、ヒータ２４への出力を直接変更することである。これに対し、実施の形態２では、制御条件学習部７２が選択する行動ａｃの内容が、ＰＩＤコントローラ７４ａのパラメータを変更することである。

図８に示すように、制御条件学習部７２から出力された行動ａｃに基づいて、ＰＩＤコントローラ７４ａのパラメータが逐次変更される。他方、ＰＩＤコントローラ７４ａは、入力された制御偏差ｅｒｒに基づいて、ヒータ２４へ制御信号ｃｔｒを出力する。制御信号ｃｔｒは例えば電圧信号である。
その他の構成は、実施の形態１と同様であるから説明を省略する。

以上に説明した通り、実施の形態２に係る樹脂フィルム製造装置では、ＰＩＤ制御を用いているため、プロセス条件の変更に伴うパラメータ調整が必要である。実施の形態２に係る樹脂フィルム製造装置では、制御部７０が、強化学習によって、制御条件（学習結果）を報酬ｒｗに基づいて更新すると共に、更新された制御条件から現在の状態ｓｔに対応した最適な行動ａｃを選択する。ここで、強化学習における行動ａｃが、ＰＩＤコントローラ７４ａのパラメータの変更である。そのため、プロセス条件を変更した場合でも、比較例に比べ、パラメータ調整に要する時間及び樹脂材料を抑制することができる。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

１０ 押出機
１１ シリンダ
１２ スクリュー
１３ ホッパ
２０ Ｔダイ
２０ａ 導入口
２０ｂ マニホールド
２０ｃ スリット
２１、２２ ダイブロック
２１ａ、２２ａ リップ
２２ｂ 切り欠き溝
２３ ヒートボルト
２４ ヒータ
２５ａ、２５ｂ ホルダー
２６ 連結部材
３０ 冷却ロール
４０ 搬送ロール群
４１～４８ 搬送ロール
５０ 巻取機
６０ 厚みセンサ
７０ 制御部
７１ 状態観測部
７２ 制御条件学習部
７３ 記憶部
７４ 制御信号出力部
７４ａ ＰＩＤコントローラ
８１ 樹脂ペレット
８２ 溶融樹脂
８２ａ フィルム状の溶融樹脂
８３ 樹脂フィルム
ａｃ 行動
ｃｃ、ｃｃ１～ｃｃｎ 制御条件（学習結果）
ｃｔｒ 制御信号
ｅｒｒ 制御偏差
ｐｖ 測定値
ｒｗ 報酬
ｓｔ 状態

Claims (12)

1. 一対のリップの長手方向に沿って並べられたヒートボルトと、当該ヒートボルトを加熱するヒータとを複数対有し、前記ヒートボルト毎にリップ間隔を調整可能なダイと、
   前記一対のリップの隙間から押し出されたフィルム状の溶融樹脂を冷却しつつ、前記溶融樹脂が固化した樹脂フィルムを搬出する冷却ロールと、
   前記冷却ロールから搬出された前記樹脂フィルムの幅方向の厚み分布を測定する厚みセンサと、
   前記ヒートボルト毎に、前記厚み分布から算出した制御偏差に基づいて、前記ヒータを制御することによって前記リップ間隔をフィードバック制御しつつ、前記ヒータの制御条件を学習する制御部と、
   前記ヒートボルト毎に学習された前記制御条件を学習結果として記憶する記憶部と、を備え、
   前記制御部は、前記リップ間隔の制御を開始する際、前記ヒートボルト毎に、
   対象ヒートボルトの今回の制御開始時の状態と、全ヒートボルトのそれぞれの前回の制御開始時の状態との差を求め、
   前記対象ヒートボルト同士の前記差が最小の場合、前記対象ヒートボルトの前記学習結果を、前記対象ヒートボルトの制御条件の初期値として設定し、
   前記対象ヒートボルト同士の前記差が最小でない場合、前記対象ヒートボルト同士よりも前記差が小さいヒートボルトの前記学習結果及び前記対象ヒートボルトの前記学習結果のうちのいずれか一つを、前記対象ヒートボルトの制御条件の初期値として設定する、
   樹脂フィルム製造装置。
2. 前記対象ヒートボルト同士の前記差が最小でない場合、前記差が最も小さいヒートボルトの前記学習結果を、前記対象ヒートボルトの制御条件の初期値として設定する、
   請求項１に記載の樹脂フィルム製造装置。
3. 前記差が最も小さいヒートボルトが複数ある場合、前記対象ヒートボルトに距離が最も近いヒートボルトの前記学習結果を、前記対象ヒートボルトの制御条件の初期値として設定する、
   請求項２に記載の樹脂フィルム製造装置。
4. 前記制御条件は、状態と行動との組み合わせであり、
   前記制御部は、
   前記制御偏差に基づいて、現在の状態と以前に選択した行動に対する報酬とを決定し、
   前記制御条件を前記報酬に基づいて更新すると共に、更新された制御条件から前記現在の状態に対応した最適な行動を選択し、
   前記最適な行動に基づいて前記ヒータを制御する、
   請求項１～３のいずれか一項に記載の樹脂フィルム製造装置。
5. 前記行動が、前記ヒータの出力の変更である、
   請求項４に記載の樹脂フィルム製造装置。
6. 前記行動が、前記ヒータの出力を制御するＰＩＤコントローラのパラメータの変更である、
   請求項４に記載の樹脂フィルム製造装置。
7. 一対のリップの長手方向に沿って並べられたヒートボルトと、当該ヒートボルトを加熱するヒータとを複数対有し、前記ヒートボルト毎にリップ間隔を調整可能なダイと、
   前記一対のリップの隙間から押し出されたフィルム状の溶融樹脂を冷却しつつ、前記溶融樹脂が固化した樹脂フィルムを搬出する冷却ロールと、
   前記冷却ロールから搬出された前記樹脂フィルムの幅方向の厚み分布を測定する厚みセンサと、を備えた樹脂フィルム製造装置の制御方法であって、
   コンピュータが、
   （ａ）前記ヒートボルト毎に、測定された前記厚み分布から算出した制御偏差に基づいて、前記ヒータを制御することによって前記リップ間隔をフィードバック制御しつつ、前記ヒータの制御条件を学習する工程と、
   （ｂ）前記ヒートボルト毎に学習された前記制御条件を学習結果として記憶する工程と、を備え、
   前記工程（ａ）において、前記コンピュータは、前記リップ間隔の制御を開始する際、前記ヒートボルト毎に、
   （ａ１）対象ヒートボルトの今回の制御開始時の状態と、全ヒートボルトのそれぞれの前回の制御開始時の状態との差を求め、
   （ａ２－１）前記対象ヒートボルト同士の前記差が最小の場合、前記対象ヒートボルトの前記学習結果を、前記対象ヒートボルトの今回の制御条件の初期値として決定し、
   （ａ２－２）前記対象ヒートボルト同士の前記差が最小でない場合、前記対象ヒートボルト同士の前記差よりも前記差が小さいヒートボルトの前記学習結果及び前記対象ヒートボルトの前記学習結果のうちのいずれか一つを、前記対象ヒートボルトの今回の制御条件の初期値として決定する、
   樹脂フィルム製造装置の制御方法。
8. 前記工程（ａ２－２）において、
   前記対象ヒートボルト同士の前記差が最小でない場合、前記差が最も小さいヒートボルトの前記学習結果を、前記対象ヒートボルトの制御条件の初期値として設定する、
   請求項７に記載の樹脂フィルム製造装置の制御方法。
9. 前記差が最も小さいヒートボルトが複数ある場合、前記対象ヒートボルトに距離が最も近いヒートボルトの前記学習結果を、前記対象ヒートボルトの制御条件の初期値として設定する、
   請求項８に記載の樹脂フィルム製造装置の制御方法。
10. 前記制御条件は、状態と行動との組み合わせであり、
    前記工程（ａ）において、前記コンピュータは、前記ヒートボルト毎に、
    （ａ３）前記制御偏差に基づいて、現在の状態と以前に選択した行動に対する報酬とを決定し、
    （ａ４）前記制御条件を前記報酬に基づいて更新すると共に、更新された制御条件から前記現在の状態に対応した最適な行動を選択し、
    （ａ５）前記最適な行動に基づいて前記ヒータを制御する、
    請求項７～９のいずれか一項に記載の樹脂フィルム製造装置の制御方法。
11. 前記工程（ａ４）において選択する前記行動が、前記ヒータの出力の変更である、
    請求項１０に記載の樹脂フィルム製造装置の制御方法。
12. 前記工程（ａ４）において選択する前記行動が、前記ヒータの出力を制御するＰＩＤコントローラのパラメータの変更である、
    請求項１０に記載の樹脂フィルム製造装置の制御方法。

Images