JP7189633B2

JP7189633B2 - 金型管理システム

Info

Publication number: JP7189633B2
Application number: JP2021002680A
Authority: JP
Inventors: 義敏仲田; 大輔今村; 直輝村田; 新榊原; 敬介志田; 友彰山崎
Original assignee: Kojima Plastics Co., Ltd.
Current assignee: Kojima Plastics Co., Ltd.
Priority date: 2021-01-12
Filing date: 2021-01-12
Publication date: 2022-12-14
Anticipated expiration: 2041-01-12
Also published as: JP2022107954A

Description

本明細書では、成形用の金型の洗浄要否を判定する金型管理システムが開示される。

従来から、製品の良否判定や異常判定を、画像認識を用いて行う管理システムが知られている。例えば特許文献１では、電線の端子圧着部の撮像画像に基づいて良否判定を行っている。この良否判定には、ディープラーニング等の機械学習を用いたニューラルネットワークが用いられる。

特開２０２０－５２０４４号公報

ところで、管理対象物の画像を直接撮像することが困難な場合がある。例えば成型用の金型の洗浄要否を判定する際に、金型の加工面を撮像しようとすると、例えば雄型金型と雌型金型が離隔されたときを狙って加工面を撮像する必要がある。しかしながらそのような場合であっても、この離隔距離は、成型品が取り出せれば足りることから、加工面の全体を撮像するには十分でない場合がある。また、成型品の全体を撮像できる程度に雄型金型と雌型金型を離隔させ、さらにその間に撮像器を差し入れ、しかる後に加工面を撮像する等のプロセスを設けると、成形工程のスループット（単位時間当たりの処理量）が低下する。

そこで本明細書では、成形工程のスループットの低下を抑制しつつ、金型の洗浄要否を判定可能な、金型管理システムが開示される。

本明細書では、金型管理システムが開示される。このシステムは、撮像部、及び推定部を備える。撮像部は、金型により成形された成形製品の表面を撮像する。推定部は、成形製品の撮像画像である製品画像が入力される入力層と、入力された製品画像に応じて、当該製品画像の元となる成形製品の成形に用いられた金型の汚れ度を出力する出力層を備える。

上記構成によれば、金型の表面状態が転写された成型製品の表面を、所望のアングルで撮像可能となり、金型の洗浄要否を精度よく判定可能となる。また、成型後ラインを流れる成型製品を撮像すればよいので、成形工程のスループットの低下が抑制される。

また上記構成において、金型管理システムは、洗浄作業設定部を備えてもよい。洗浄作業設定部は、複数の製品画像に基づく汚れ度を時系列に並べて当該汚れ度の進行状況を求めるとともに、汚れ度の進行状況と、金型が用いられる成形工程の前後工程に基づいて、金型の洗浄工程を設定する。

上記構成によれば、成型工程とその前工程、及び、成形工程とその後工程との間に待機時間を生じさせないようなタイミングで、洗浄要と判定される前段階における洗浄（前倒し洗浄）が可能となる。

また上記構成において、洗浄作業設定部は、汚れ度の進行状況に基づいて、汚れ度が洗浄要と判定される閾値汚れ度に到達するまでの成形回数である残余回数を推定するとともに、推定された残余回数に到達するまでに係る時間内における、前後工程の工程計画に設定された休止期間に少なくとも一部重複するように、金型の洗浄工程を設定してもよい。

上記構成によれば、成形工程の前工程または後工程の休止期間と同じタイミングで金型洗浄を行うことができ、スループットの低下を抑制可能となる。

また上記構成において、推定部の出力層より出力された直近の汚れ度と、出力層より出力された汚れ度の履歴とを並列して表示部に表示させる表示制御部が備えられてよい。

成形製品の表面に汚れが生じる場合、金型加工面の汚れが転写される場合と、成形工程におけるガス焼け等の作業不良とに原因を求めることが出来る。後者のような作業不良が突発的に発生し、これに基づいて高い汚れ度が判定されると、金型の加工面は清浄であるにも関わらず洗浄要と誤判定されるおそれがある。そこで上記構成のように、汚れ度の履歴が表示されることで、汚れの発生が突発的なものであるか継続的なものであるかを確認可能となり、汚れの原因推定が可能となる。

また上記構成において、推定部は、製品画像を入力データとし汚れ度を出力データとする教師データにより学習された画像認識用のニューラルネットワークを備えていてよい。

上記構成によれば、通常の成形工程で得られる画像を教師データとして用いることができ、学習用の画像を別途用意する手間を省くことが出来る。

また上記構成において、推定部は、加工面が同型の複数の金型別の教師データにより学習されてよい。この場合、出力層から汚れ度が複数の金型別に出力される。

上記構成によれば、複数の同型の金型がそれぞれ判別可能となり、複数の同型の金型の中から洗浄を要する金型が精度よく抽出可能となる。

また上記構成において、推定部の出力層は、それぞれの汚れ度に対する確度を出力してもよい。この場合、金型管理システムは、参照データ記憶部及び類似度算出部を備える。参照データ記憶部は、教師データに含まれる製品画像を推定部の入力層に入力させたときのそれぞれの汚れ度の確度の分布を示す確度分布が記憶される。類似度算出部は、直近の製品画像に基づく確度分布に対する、参照データ記憶部に記憶された確度分布の類似度を、教師データの複数の製品画像について求めるとともに、求められた類似度の分布を、教師データの出力データである汚れ度別に求める。

一般的に、ニューラルネットワークでは、出力層における複数のクラス（ここでは汚れ度）のうち、最も確度の高いクラスが正解として出力される。上記構成では、出力層による各クラスの確度の分布が用いられる。さらに、直近の製品画像に基づく確度分布と、教師データの各製品画像をニューラルネットワークに入力したときの確度分布とを比較した類似度が求められ、さらにその類似度の分布が、教師データの正解データ（出力データ）であるクラス（汚れ度）別に求められる。例えば、高い類似度を高頻度に持つクラスが、直近の製品画像に対応するクラスであると推定可能となる。

本明細書で開示される金型管理システムによれば、成形工程のスループットの低下を抑制しつつ、金型の洗浄要否を判定可能となる。

本実施形態に係る金型管理システムのハードウェア構成を例示する図である。本実施形態に係る金型管理システムの機能ブロックを例示する図である。レベル推定部のニューラルネットワーク構成を例示する図である。レベル推定部を学習させる教師データを例示する図である。複数の同型の金型による成形製品を区別可能となっている画像認識の例を示す図である。レベル推定部のニューラルネットワーク構成の別例を示す図である。レベル推定部によるレベル（汚れ度）の履歴グラフを例示する図（１／２）である。レベル推定部によるレベル（汚れ度）の履歴グラフを例示する図（２／２）である。レベル推定部の出力層の確度分布に関する類似度の算出について説明する図である。確度分布の類似度の分布を、レベル別に表した例を示す図である。金型の前倒し洗浄のスケジュール設定について説明する図である。

＜全体構成＞
図１に、本実施形態に係る金型管理システムが例示される。後述されるように、当該システムは、インサート成形用の金型の汚れ度レベルを出力する。この汚れ度レベルの出力に当たり、当該金型によって成形された製品である、成形製品の撮像画像が用いられる。つまり本実施形態に係る金型管理システムでは、金型の加工面の汚れが転写された成形製品の表面が監視され、成形製品の表面の汚れ度に応じて金型の洗浄要否が判断される。この金型管理システムは、金型管理装置１０及び撮像器４０（撮像部）を含んで構成される。

撮像器４０（撮像部）は例えばインサート成形の作業現場に設置されたカメラデバイスであり、インサート成形とその後工程との間の搬送ライン上に設けられる。搬送ラインには、図示しない位置決め用のピンやくぼみ等が設けられており、搬送ラインを流れる複数の成形製品を同一角度で撮像可能となっている。撮像器４０は、例えばＣＭＯＳやＣＣＤ等の撮像デバイスを含んで構成され、インサート成形装置により製造された、言い換えると金型により成形された、成形製品の表面を撮像する。

金型管理装置１０は、例えばコンピュータ機器から構成される。金型管理装置１０は、演算装置のＣＰＵ１１と、記憶装置としてのシステムメモリ１２及びストレージ１３を備える。ストレージ１３は例えばハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）等の非一過性の記憶装置であってよい。また金型管理装置１０は、キーボードやマウス等の入力装置である入力部１４と、撮像器４０等の外部機器との情報の入出力を管理する入出力コントローラ１５を備える。

さらに金型管理装置１０は、撮像器４０が撮像した撮像画像を処理する画像処理ユニットとして、ＧＰＵ１６（Graphics Processing Unit）、フレームメモリ１７、ＲＡＭＤＡＣ１８（Random Access Memory Digital-to-Analog Converter）、及び表示制御部１９を備える。加えて金型管理装置１０は、処理済みの画像を表示する表示部２０を備える。なお、金型管理装置１０は、入力部１４と表示部２０とが一体となったタッチパネルディスプレイを備えていてもよい。

ＧＰＵ１６は、画像処理用の演算装置であり、後述する成形製品に基づく金型の汚れ度判定を行う際に主に稼働される。フレームメモリ１７は、撮像器４０により撮像されＧＰＵ１６により演算処理された画像を記憶する記憶装置である。ＲＡＭＤＡＣ１８は、フレームメモリ１７に記憶された画像データを、アナログディスプレイである表示部２０向けのアナログ信号に変換する。

表示制御部１９は、ＧＰＵ１６、フレームメモリ１７、及びＲＡＭＤＡＣ１８を通して処理された画像を表示部２０に表示させる。例えば表示制御部１９は、撮像器４０による撮像画像と、汚れ度判定の根拠となった箇所を強調する強調表示（ヒートマップ）等を表示部２０に重畳表示可能となっている。

また後述されるように、レベル推定部３０（図２参照）により、入力された撮像画像に対して、金型の洗浄が必要な水準の汚れ度（レベル）が出力されると、これを受けて表示制御部１９は表示部２０に警告表示を出力させる。また、洗浄作業設定部３３により算出された前倒し洗浄を含めた工程計画が、表示制御部１９によって表示部２０に表示される。

一方、レベル推定部３０により金型の洗浄が不要な水準の汚れ度（レベル）と判定されると、これを受けて表示制御部１９は、表示部２０に合格表示を出力させる。

なお、図１では、金型管理装置１０に表示部２０が含まれているが、例えば入力部１４及び表示部２０以外の構成を含んだ金型管理装置１０（コンピュータ）が、組立現場から離れたサーバ室に設置されてよい。また表示部２０は、インサート成形の作業者が閲覧可能となるように、作業現場に設置されてもよい。

また、表示部２０と入力部１４が一体化されたタッチパネルディスプレイが作業現場に設置されてもよい。後述されるように、レベル推定部３０により洗浄を要するレベルが出力されると、成形作業が一旦停止される。成形作業が再開されるように、タッチパネルディスプレイには、確認ボタンが表示されてもよい。

成形作業が一旦停止されると、成型機にて成形作業を行う作業員が成形製品や金型の加工面を目視して、問題が無ければ、つまり金型の加工面の汚れが問題の無い水準であると判断したときに、確認ボタンが作業員により押下げ操作される。

図２には、金型管理装置１０の機能ブロックが、図１で示したハードウェアブロックと混合した形で例示される。この機能ブロック図は、例えばストレージ１３に記憶されるか、または、ＤＶＤ等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、ＣＰＵ１１が実行することで構成される。

金型管理装置１０は、機能ブロックとして、レベル推定部３０、累積値算出部３１、類似度算出部３２、洗浄作業設定部３３、及び参照データ記憶部３５を備える。なお、累積値算出部３１、類似度算出部３２、洗浄作業設定部３３、及び参照データ記憶部３５は、金型の汚れ度推定の精度を高めるために、レベル推定部３０に対して付随的に設けられる。

＜レベル推定部＞
レベル推定部３０は、例えば、入力層、隠れ層、及び出力層を備えた、画像認識用のニューラルネットワークを備える。入力層には、成形製品の撮像画像データである製品画像データが入力される。例えば入力層のノード数は、撮像画像の画素数と等しくてよい。

出力層には複数のノードが設けられる。それぞれのノードに対して、汚れ度（レベル）を表すクラスの確度が出力される。確度は例えば百分率で出力される。さらに各ノードの確度の内、最も高い値の確度を持つクラス（レベル）が、入力された撮像画像に対応する汚れ度として出力される。

例えば図３に例示されるように、成形製品の表面の汚れ度合いに応じて汚れ度が複数段階に分けられる。この汚れ度は、製品画像の元となる成形製品の成形に用いられた金型の汚れ度を示す。例えば図３では、レベル１からレベル９まで、汚れ度が９段階に分けられる。ここでは、レベル１からレベル９に向かうほど、汚れが進んでいると評価される。

隠れ層は、入力層と出力層の間に設けられる。入力層に撮像画像が含まれることから、レベル推定部３０は、例えば、画像認識用の畳み込みニューラルネットワーク（ＣＮＮ）を備え、隠れ層には、畳み込み層とプーリング層とが設けられる。

図４には、ニューラルネットワークを備えるレベル推定部３０の学習用の教師データが例示される。この例では、４５００個の成形製品の撮像画像データが入力データとして用いられる。洗浄直後の金型で成形された成形製品をＮｏ．１として、Ｎｏ．４５００まで成形製品の表面が撮像される。金型の加工面に生じた汚れが成形製品の表面に転写され、Ｎｏ.1からＮｏ．４５００に至る過程で、当該表面に生じる汚れの面積は拡がっていく。例えばＮｏ．４００１からＮｏ．４５００までの成形製品の表面は、製品の外観検査で不良品と判定される可能性が高いものであって、金型の加工面の洗浄が必要となる。

このような製品画像は、例えば成形後の後工程への移動時において、搬送ラインにて運ばれる成形製品の表面が撮像器４０（撮像部）によって撮像される。これらの撮像画像は、通常のインサート成形工程で得られる画像であり、レベル推定部３０への学習のために加工条件等を意図的に変更させることなく得られる。

Ｎｏ．１からＮｏ．４５００までの成形製品の撮像画像、つまり製品画像は、５００枚ごとに汚れ度のレベル別に分けられる。つまり入力データである製品画像Ｎｏ．１－Ｎｏ．５００のそれぞれに対して、出力データ、つまり正解データとして汚れ度レベル１が与えられる。同様にして、製品画像Ｎｏ．５０１－Ｎｏ．１０００のそれぞれに対して、レベル２が与えられ、製品画像Ｎｏ．１００１－Ｎｏ．１５００のそれぞれに対して、レベル３が与えられる。また、製品画像Ｎｏ．１５０１－Ｎｏ．２０００のそれぞれに対して、レベル４が与えられ、製品画像Ｎｏ．２００１－Ｎｏ．２５００のそれぞれに対して、レベル５が与えられる。さらに製品画像Ｎｏ．２５０１－Ｎｏ．３０００のそれぞれに対して、レベル６が与えられ、製品画像Ｎｏ．３００１－Ｎｏ．３５００のそれぞれに対して、レベル７が与えられる。最後に、製品画像Ｎｏ．３５０１－Ｎｏ．４０００のそれぞれに対して、レベル８が与えられ、製品画像Ｎｏ．４００１－Ｎｏ．４５００のそれぞれに対して、レベル９が与えられる。

このような教師データを用いて学習された、学習済みのニューラルネットワークが、レベル推定部３０に実装される。実際のインサート成形により成形された成形製品の撮像画像（製品画像）がレベル推定部３０の入力層に入力されると、出力層のそれぞれのノードから、各汚れ度のレベルの確度が出力される。さらにその中から最も確度の高いレベルが回答として出力される。例えば図３の例では、入力された製品画像に対して確度の最も高いレベル２が最終的な値として出力される。

以下では適宜、出力層の各ノードに各レベルに対する確度が出力される態様が「確度出力」と記載される。また、各レベルの確度の内、最も高確度のレベルが回答として出力される態様が「回答出力」と記載される。

回答出力されたレベルの値は累積値算出部３１（図２参照）、類似度算出部３２、洗浄作業設定部３３、及び表示制御部１９に送られる。前三者については後述される。表示制御部１９は、受信した汚れ度のレベルを表示部２０に表示させる。このとき表示制御部１９は、汚れ度のレベルに応じて表示部２０への表示形態を変化させてもよい。例えばレベル１～６では、正常表示として、緑色の背景で表示部２０にレベルが表示される。またレベル７，８では、注意表示として、黄色の背景で表示部２０にレベルが表示される。さらにレベル９では、警告表示として、赤色の背景で表示部２０にレベルが表示される。これにより、成形作業中の作業員に、金型洗浄の要否を判断させることが出来る。

＜同型金型の判別＞
図３では、一個の金型により成形された製品表面に基づいて、当該金型の汚れ度を推定するレベル推定部３０が例示されたが、本実施形態に係るレベル推定部３０は、この形態に限られない。例えば、少なくとも加工面が同型の金型が複数個ある場合に、どの金型であるかを推定（同定）したうえで、その金型の汚れ度を推定してもよい。

この場合、教師データとして、図４に示す４５００枚の製品画像データが、それぞれの金型別に設けられる。例えば少なくとも加工面が同型の金型が８個ある場合には、４５００枚の製品画像データが８種類用意され、そのそれぞれに対してクラスとして汚れ度のレベルが設定される。

図５には、レベル推定部３０が同型の金型をそれぞれ判別する様子が例示される。図５には、同型の金型Ｎｏ．５～Ｎｏ．７により成形された成形製品の撮像画像（製品画像）にヒートマップが重畳された画像が例示される。

このヒートマップでは、各金型を判別する根拠となった注目部位が強調表示される。それぞれの製品画像において注目部位が異なっており、精度良く同型金型を判別できていることが示されている。これは例えば、それぞれの金型で、加工面上の鋳肌等の表面特性が異なり、この異なる表面形状が成形製品に転写され、その転写形状に基づいて、金型が判別されていると考えられる。

このような、複数の同型金型別に、汚れ度のレベルを出力するニューラルネットワークが、図６に例示される。このニューラルネットワークでは、出力層のノード数が、同型の金型の個数×レベル数となる。例えば同型金型が８個あり、レベルが９段階に分けられている場合に、出力層のノード数は７２となる。

この態様においては、レベル推定部３０から表示制御部１９に、汚れ度レベルと金型番号が出力される。これを受けて表示制御部１９は、表示部２０に、汚れ度レベルに加えて金型番号も表示させる。

＜レベルの履歴利用＞
成形製品の表面に汚れが生じる原因として、金型加工面の汚れが成形製品に転写する場合と、成形時の樹脂の蒸発に伴ういわゆるガス焼けによる場合とが考えられる。後者は金型を洗浄する必要は無いため、後者の原因により汚れ度のレベルが高いと推定されたときには、表示部２０への警告表示は避けた方が好ましい。

そこで、成形製品の汚れの原因を推定するために、汚れ度の履歴情報が利用されてもよい。累積値算出部３１は、レベル推定部３０から回答出力される汚れ度のレベルの履歴を時系列に記憶する。そして累積値算出部３１は、例えば直近の汚れ度のレベル値と、そこから遡って複数点（例えば９９点）の過去のレベル値とを、表示制御部１９に送信する。

表示制御部１９は、累積値算出部３１から受信した汚れ度のレベル値を図７に例示されるようなヒストグラムを作成する。このヒストグラムでは、横軸に汚れ度のレベルが示され、縦軸に当該レベル値を持つデータの点数（製品画像の枚数）が示される。

例えば図7には、汚れ度レベル５のデータが１点プロットされ、残りはレベル１，２に分布される。このことから、汚れ度レベル５と判定された成形製品の汚れの原因は突発的なものであり、汚れが継続的に生じる金型加工面の汚れに起因しないと推定できる。例えば表示制御部１９は、レベル推定部３０により回答出力された直近の汚れ度レベルに並列させて、図７のレベル値の履歴に基づくヒストグラムを表示部２０に表示させる。

ここで、成形製品の汚れの原因が金型の加工面の汚れである場合、定常的にその汚れが成形製品に転写される。したがって、レベル値によるヒストグラムは、図８のように、レベル値が高い方に、ヒストグラムの柱が成長、移動するような推移を辿る。このようなヒストグラムの変化に基づいて、汚れ度レベルが設定されてもよい。例えば、頻度が閾値（例えば５０）を超過したレベルを、直近の製品画像に対応する汚れ度レベルとしてもよい。

レベル推定部３０により回答出力された汚れ度レベルと、レベル値のヒストグラムに基づく汚れ度レベルとが異なる場合は、前者の汚れ度レベルを判定する基準となった成形製品の汚れが、金型の汚れに由来するものでは無い可能性がある。このような場合に、表示制御部１９は、レベル推定部３０により回答出力された直近の汚れ度レベルと、図７、図８のヒストグラムに基づく汚れ度レベルとを表示部２０に並列表示させるとともに、背景を点滅させる等の警告表示を行わせ、作業者の確認を促す。

＜類似度の算出＞
上記の実施形態では、レベル推定部３０による回答出力を用いて、金型の汚れ度レベルが推定されたが、レベル推定部３０の出力層の各ノードに出力される確度の分布を用いて、汚れ度レベルが推定されてもよい。

図２を参照して、参照データ記憶部３５には、レベル推定部３０の教師データが記憶される。教師データは、入力データである製品画像と、出力データであるレベルとが対となって記憶される。教師データの製品画像をレベル推定部３０に入力したときに、出力層の各ノードにはそれぞれ確度が出力される。このうち、教師データにおいて上記出力データとして記憶されたレベルが最高確度を得る。

この、教師データに含まれる製品画像をレベル推定部の入力層に入力させたときの、出力層の各ノードから出力された汚れ度レベルの確度の分布、つまり確度分布が、参照データ記憶部３５に記憶される。類似度算出部３２は、この確度分布データを、例えば全ての教師データ分、参照データ記憶部３５から抽出する。さらに類似度算出部３２には、レベル推定部３０から、直近の製品画像に対して確度出力された確度分布データが送信される。

類似度算出部３２は、直近の製品画像の確度分布と、教師データの確度分布との類似度を求める。類似度は例えばコサイン類似度が用いられる。例えば図９を参照して、直近の製品画像の確度分布が、（２．５，９９．８，・・・，１．５，０．８）のように、レベルの数（ここでは９）の成分を持つベクトルに置き換えられる。同様にして教師データの確度分布も（２．３，９９．９，・・・，１．６，０．５）のように、レベルの数の成分を持つベクトルに置き換えられる。

ここで、ｎ個の成分を持つ２つのベクトルａ，ｂのコサイン類似度は、下記数式１のようにして求められる。

上記数式１で求められた値が１（Ｃｏｓ＝０°、平行）に近い場合、類似度が高いことになり、－１に近くなるほど類似度が低くなる。類似度算出部３２は、このような類似度を、直近の製品画像に対する確度分布と、教師データ内の全ての確度分布について求める。

さらに類似度算出部３２は、求められた類似度の分布（類似度分布）を、汚れ度レベル別に纏める。この汚れ度レベルは、教師データの出力データである正解データ（クラス）に対応する。図１０には、汚れ度レベル別の、類似度分布のヒストグラムが例示される。このヒストグラムでは、横軸が類似度を示し、縦軸が画像の枚数（頻度）を示す。なおこの例では、横軸を離散的な値とするために、類似度は小数第一位まで求められる。

各類似度に、それぞれのレベルの頻度がプロットされる。例えば高い類似度（０．８～０．９）では、汚れ度レベル１の教師データの頻度が高くなっている。この場合、直近の製品画像と、汚れ度レベル１の教師データとが、高頻度で高い類似度を取得している。このような観点から、例えば、図１０のハッチング領域に例示されるような、高類似度（例えば０．８以上）かつ高頻度（例えば５０以上）の領域（選出領域）に含まれる汚れ度レベルが、直近の製品画像に対して与えられる汚れ度レベルとして選択される。

類似度算出部３２は、レベル推定部３０から送られた、直近の製品画像データに対して、図１０のような類似度分布ヒストグラムを作成するとともに、選出領域（図１０のハッチング領域）に含まれる汚れ度レベルを表示制御部１９に送信する。表示制御部１９は、レベル推定部３０の回答出力による汚れ度レベルと、類似度算出部３２による類似度ヒストグラム及び選出領域に含まれる汚れ度レベルを表示部２０に表示させる。

レベル推定部３０から回答出力された汚れ度レベルと、類似度算出部３２から出力された汚れ度レベルとが一致する場合には、そのレベル値が、直近の製品画像に対する汚れ度レベルとして確定される。

一方、レベル推定部３０から回答出力された汚れ度レベルと、類似度算出部３２から出力された汚れ度レベルとが異なる場合には、例えばガス焼け等による突発的な汚れが生じた可能性がある。この場合、作業者に成形製品の確認を促すために、例えば表示制御部１９は、レベル推定部３０から回答出力された汚れ度レベルと、類似度算出部３２から出力された汚れ度レベルとを表示部２０に並列表示させるとともに、背景画像を点滅させる等の警告表示を行わせる。

以上説明したように、レベル推定部３０による汚れ度レベルの回答出力に加えて、任意に、累積値算出部３１によるレベル値の履歴情報を活用し、また、類似度算出部３２による類似度分布を活用することで、より精度の高い、汚れ度の推定が可能となる。

＜前倒し洗浄計画の設定＞
例えば、金型洗浄の必要な汚れ度レベルをレベル９と設定したときに、レベル９に到達する前に、インサート成形工程の前後工程の工程計画に基づいて、洗浄プロセスを前倒しに実行する前倒し洗浄を行うことで、工程全体のスループットの低下が抑制できる。

例えば、上述した図７、図８のように、汚れ度レベルの履歴に基づいて、その先の汚れ度レベルの推移、つまり、汚れ度の進行状況が予測可能となる。例えば、複数の製品画像に基づく汚れ度レベルを時系列に並べて、汚れ度レベルの進行状況が求められる。具体的には、ある汚れ度レベルから次のレベルに移行するまでに係る成形製品の累計数が、汚れ度レベルの履歴情報から求めることが出来る。例えば上述したように、図４の教師データでは、成形製品５００個置きに汚れ度レベルが設定されていたことから、これと同一の製造条件下では、成形製品５００個置きに汚れ度レベルが推移することが推定できる。

また、汚れ度レベルの進行状況として、例えば汚れ度レベル１からレベル４まで、各レベルの成形製品個数に基づいて、それ以降のレベル５からレベル９までの、各レベルの成形製品個数が推定できる。例えば汚れ度レベル９を金型洗浄が必要な閾値汚れ度とすると、直近の製品画像に対する汚れ度レベルと、上記汚れ度レベルの推移推定に基づけば、汚れ度閾値（レベル９）に到達するまでの成形回数（ショット回数）である残余回数を求めることが出来る。

洗浄作業設定部３３（図２参照）は、このような成形工程の残余回数を求めるとともに、洗浄対象である金型を用いたインサート成形工程の前後工程の工程計画を参照して、金型の前倒し洗浄の計画を立てる。

図１１には、インサート成形工程と、その前工程及び後工程の工程計画が例示される。なおこの図では、成形製品の個数が「Ｌｏｔ」としてカウントされる。例えばＬｏｔ１～Ｌｏｔ５００は、洗浄済みの金型を用いた1個目から５００個目の成形製品を示している。

またこの例では、汚れ度レベルがレベル３からレベル４に切り替わる時点で汚れ度レベルの推移推定を行っている。この推定は例えば線形近似を用いて行われる。推移推定により、推定時点から、閾値汚れ度であるレベル９に到達するまでの残余回数が求められる。

洗浄作業設定部３３は、直近の成形工程から残余回数に到達するまでの時間である残余回数期間中に、前工程または後工程にメンテナンス期間（休止期間）が計画されているか否かを確認する。例えば図１１では、残余回数期間中に後工程にメンテナンスの計画が立てられている。そこで洗浄作業設定部３３は、汚れ度レベルがレベル９に到達する前段階の、推定上ではレベル７の時に、後工程のメンテナンスと並行して、つまり後工程の休止期間に少なくとも一部重複するようにして、金型洗浄を実施する前倒し洗浄を行うように、インサート成形工程の工程計画を変更する。変更後の工程計画は、表示制御部１９を介して表示部２０に表示される。また、表示部２０に表示させるデータとして、図１１に例示される汚れ度の推移推定データが含まれてもよい。

表示部２０を閲覧する、インサート成形作業中の作業者は、洗浄作業設定部３３により設定された前倒し洗浄工程を含む工程計画をもとに、金型の洗浄を行う。また、洗浄作業設定部３３により設定された工程計画が、作業者によって編集されてもよい。

以上説明したように、本実施形態に係る金型管理システムでは、金型の表面状態が転写された成型製品の表面を、所望のアングルで撮像可能となり、金型の洗浄要否を精度よく判定可能となる。また、成型後ラインを流れる成型製品を撮像すればよいので、成形工程のスループットの低下が抑制される。

加えて、レベル推定部３０による汚れ度レベルの推定に加えて、累積値算出部３１による汚れ度レベルの履歴データや、類似度算出部３２による類似度分布を利用することで、汚れ度レベルの推定を精度よく行うことが出来る。さらに、洗浄作業設定部３３による前倒し洗浄の実行により、前工程及び後工程の少なくとも一方とのメンテナンス工程と並行した金型洗浄が可能となり、前工程からインサート成形工程及び後工程までの一連の工程におけるスループットの低下を抑制可能となる。

１０金型管理装置、１９表示制御部、２０表示部、３０レベル推定部（推定部）、３１累積値算出部、３２類似度算出部、３３洗浄作業設定部、３５参照データ記憶部、４０撮像器（撮像部）。

Claims

金型により成形された成形製品の表面を撮像する撮像部と、
成形製品の撮像画像である製品画像が入力される入力層と、入力された前記製品画像に応じて、当該製品画像の元となる成形製品の成形に用いられた前記金型の汚れ度を出力する出力層を備える推定部と、
複数の前記製品画像に基づく前記汚れ度を時系列に並べて当該汚れ度の進行状況を求めるとともに、前記汚れ度の進行状況と、前記金型が用いられる成形工程の前後工程に基づいて、前記金型の洗浄工程を設定する洗浄作業設定部と、
を備える、金型管理システム。
金型により成形された成形製品の表面を撮像する撮像部と、
成形製品の撮像画像である製品画像が入力される入力層と、入力された前記製品画像に応じて、当該製品画像の元となる成形製品の成形に用いられた前記金型の汚れ度を推定汚れ度として出力する出力層を備え、前記推定汚れ度は、成形製品の表面の汚れ度合いに応じて、前記金型の洗浄が不要な複数段階のレベルと、前記金型の洗浄が必要なレベルに分けられる、推定部と、
前記推定部によって出力された直近の前記推定汚れ度と、当該直近の前記推定汚れ度から遡った複数点の前記推定汚れ度に基づいて前記推定汚れ度の前記レベル別の頻度を求め、前記頻度が所定の閾値を超過する前記レベルを、前記直近の前記推定汚れ度に対応する履歴ベース汚れ度として抽出する、累積値算出部と、
前記推定汚れ度と、当該推定汚れ度に対応する前記履歴ベース汚れ度を表示部に並列表示させる表示制御部と、
を備える、金型管理システム。
請求項１に記載の金型管理システムであって、
前記洗浄作業設定部は、前記汚れ度の進行状況に基づいて、前記汚れ度が洗浄要と判定される閾値汚れ度に到達するまでの成形回数である残余回数を推定するとともに、推定された前記残余回数に到達するまでに係る時間内における、前記前後工程の工程計画に設定された休止期間に少なくとも一部重複するように、前記金型の前記洗浄工程を設定する、
金型管理システム。
請求項１または３に記載の金型管理システムであって、
前記推定部の前記出力層より出力された直近の前記汚れ度と、前記出力層より出力された前記汚れ度の履歴とを並列して表示部に表示させる表示制御部を備える、金型管理システム。
金型により成形された成形製品の表面を撮像する撮像部と、
成形製品の撮像画像である製品画像が入力される入力層と、入力された前記製品画像に応じて、当該製品画像の元となる成形製品の成形に用いられた前記金型の汚れ度を出力する出力層を備える推定部と、
を備え、
前記推定部は、前記製品画像を入力データとし前記汚れ度を出力データとする教師データにより学習された画像認識用のニューラルネットワークを備える、
金型管理システム。
請求項５に記載の金型管理システムであって、
前記推定部は、加工面が同型の複数の前記金型別の前記教師データにより学習され、前記出力層から前記汚れ度を複数の前記金型別に出力する、金型管理システム。
請求項５または６に記載の金型管理システムであって、
前記推定部の前記出力層は、それぞれの前記汚れ度に対する確度を出力し、
前記教師データに含まれる前記製品画像を前記推定部の前記入力層に入力させたときのそれぞれの前記汚れ度の確度の分布を示す確度分布が記憶された参照データ記憶部を備え、
直近の前記製品画像に基づく前記確度分布に対する、前記参照データ記憶部に記憶された前記確度分布の類似度を、前記教師データの複数の前記製品画像について求めるとともに、求められた前記類似度の分布を、前記教師データの前記出力データである前記汚れ度別に求める、類似度算出部を備える、
金型管理システム。