WO2019087427A1 - 金型温度異常予兆検知装置及び記憶媒体 - Google Patents
金型温度異常予兆検知装置及び記憶媒体 Download PDFInfo
- Publication number
- WO2019087427A1 WO2019087427A1 PCT/JP2018/012544 JP2018012544W WO2019087427A1 WO 2019087427 A1 WO2019087427 A1 WO 2019087427A1 JP 2018012544 W JP2018012544 W JP 2018012544W WO 2019087427 A1 WO2019087427 A1 WO 2019087427A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- mold
- data
- unit
- temperature abnormality
- inference
- Prior art date
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B22—CASTING; POWDER METALLURGY
- B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
- B22D17/00—Pressure die casting or injection die casting, i.e. casting in which the metal is forced into a mould under high pressure
- B22D17/08—Cold chamber machines, i.e. with unheated press chamber into which molten metal is ladled
- B22D17/10—Cold chamber machines, i.e. with unheated press chamber into which molten metal is ladled with horizontal press motion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B22—CASTING; POWDER METALLURGY
- B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
- B22D46/00—Controlling, supervising, not restricted to casting covered by a single main group, e.g. for safety reasons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B22—CASTING; POWDER METALLURGY
- B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
- B22D17/00—Pressure die casting or injection die casting, i.e. casting in which the metal is forced into a mould under high pressure
- B22D17/20—Accessories: Details
- B22D17/22—Dies; Die plates; Die supports; Cooling equipment for dies; Accessories for loosening and ejecting castings from dies
- B22D17/2218—Cooling or heating equipment for dies
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B22—CASTING; POWDER METALLURGY
- B22D—CASTING OF METALS; CASTING OF OTHER SUBSTANCES BY THE SAME PROCESSES OR DEVICES
- B22D17/00—Pressure die casting or injection die casting, i.e. casting in which the metal is forced into a mould under high pressure
- B22D17/20—Accessories: Details
- B22D17/32—Controlling equipment
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
- B29C45/17—Component parts, details or accessories; Auxiliary operations
- B29C45/72—Heating or cooling
- B29C45/73—Heating or cooling of the mould
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B29—WORKING OF PLASTICS; WORKING OF SUBSTANCES IN A PLASTIC STATE IN GENERAL
- B29C—SHAPING OR JOINING OF PLASTICS; SHAPING OF MATERIAL IN A PLASTIC STATE, NOT OTHERWISE PROVIDED FOR; AFTER-TREATMENT OF THE SHAPED PRODUCTS, e.g. REPAIRING
- B29C45/00—Injection moulding, i.e. forcing the required volume of moulding material through a nozzle into a closed mould; Apparatus therefor
- B29C45/17—Component parts, details or accessories; Auxiliary operations
- B29C45/76—Measuring, controlling or regulating
- B29C45/78—Measuring, controlling or regulating of temperature
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B5/00—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied
- G08B5/22—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission
- G08B5/36—Visible signalling systems, e.g. personal calling systems, remote indication of seats occupied using electric transmission; using electromagnetic transmission using visible light sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/06—Recognition of objects for industrial automation
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B29/00—Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
- G08B29/18—Prevention or correction of operating errors
- G08B29/185—Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
- G08B29/186—Fuzzy logic; neural networks
Abstract
金型温度制御システム1は、所定の間隔で取得された金型の複数のサーモ画像データと、複数のサーモ画像データに紐付けられた教示データに基づいて、複数のサーモ画像データの中から抽出された連続する所定数の時系列画像データを1つのサンプルデータとして学習して、金型の温度異常の予兆を検知するための推論モデルを生成する推論モデル生成部24と、金型の所定数の時系列画像データに基づいて、推論モデルを用いて所定数先の金型の温度異常の予兆の発生を検知する金型温度異常度推論54と、記金型の温度異常の予兆の発生を検知されたときにパトランプ5の点灯を制御するパトランプリクエスト送信部56と、を有する。
Description
本発明の実施形態は、ダイカストマシン、射出成形機等に用いられる金型の温度異常の予兆を検知する金型温度異常予兆検知装置及び記憶媒体に関する発明である。
従来より、金型を用いた金属部品あるいは樹脂部品等の製造が行われている。
例えば、ダイカストマシンによる鋳造は、金型にアルミ溶液等の溶湯を流し込み、凝固させ、鋳造品を取り出す鋳造工程を含む。鋳造部品の欠陥には、湯回り不良や鋳巣があり、これらの欠陥は、欠陥全体の70%を占める場合もある。いずれも金型の温度異常に起因する欠陥であることから、金型温度は、ダイカスト鋳造現場での重要な品質管理項目として扱われている。
金型の温度制御は、サーモカップルのような温度センサを用いて金型の温度を検出し、検出された温度に基づいて金型のヒーターを制御することによって行われる場合もあるが、サーモーカップルは、定点の温度しか検出できない。
そのため、例えば離型剤の不均一な散布などがあると、離型剤の散布による冷却効果も不均一になり、熱だまりが生じてもサーモカップルでは定点計測しかできず、かつ熱だまりの箇所も常に同じ場所に発生しないため、熱だまり箇所を検出できない場合があるため、湯回り不良や鋳巣不良が発生してしまう場合がある。
そこで、金型の表面全体を計測できるサーモグラフィを導入し、製造現場の有識者がサーモグラフィ画像から熱だまりの予兆発生メカニズムを解析して、熱だまりの予兆から離型剤の散布の方向や量などを調整することにより、金型の温度異常が発生しないように金型温度制御を行うことが行われる。
しかし、有識者によるサーモグラフィ画像解析は、属人的な手法であるため、多くの工場及び多くの製品に広く適用することはできない。
特許第5637287号公報
そこで、本実施形態は、サーモグラフィ画像から金型の温度異常の予兆を検知することができる金型温度異常予兆検知装置及び記憶媒体を提供することを目的とする。
実施形態の金型温度異常予兆検知装置は、所定の間隔で取得された金型の複数のサーモ画像データと、前記複数のサーモ画像データに紐付けられた教示データに基づいて、前記複数のサーモ画像データの中から抽出された連続する所定数の時系列画像データを1つのサンプルデータとして学習して、前記金型の温度異常の予兆を検知するための推論モデルを生成するモデル生成部と、前記金型の前記所定数の時系列画像データに基づいて、前記推論モデルを用いて前記所定数先の前記金型の前記温度異常の予兆の発生を検知する推論実行部と、前記推論実行部が前記金型の前記温度異常の予兆の発生を検知したときに、所定の情報を出力する情報出力部と、を有する。
以下、図面を参照して実施形態を説明する。
(システム構成)
図1は、本実施形態に係わる金型温度制御システムの構成図である。金型温度制御システム1は、推論モデル生成装置2と、金型温度自動制御装置3と、サーモグラフィ4と、パトランプ5と、表示装置であるモニタ6とを含む。
図1は、本実施形態に係わる金型温度制御システムの構成図である。金型温度制御システム1は、推論モデル生成装置2と、金型温度自動制御装置3と、サーモグラフィ4と、パトランプ5と、表示装置であるモニタ6とを含む。
金型温度自動制御装置3は、接続されたダイカストマシン7に制御信号を出力する。図1では、金型温度自動制御装置3に接続された1台のダイカストマシン7が図示されているが、金型温度自動制御装置3に複数台のダイカストマシンを接続し、金型温度自動制御装置3は複数のダイカストマシンの制御を行うことができるようにしてもよい。
ダイカストマシン7は、金型Dの動きを制御するマシン動作制御部8を含む。金型温度自動制御装置3はダイカストマシン7のマシン動作制御部8へ制御信号を出力する。
サーモグラフィ4は、金型Dの所定の領域を撮像するように設置されている。サーモグラフィ4も、複数のダイカストマシンがあるときは、ダイカストマシン毎に設置される。後述するように、サーモグラフィ4が出力するサーモグラフィデータの中から、ダイカストの鋳造品が作成される各ショットにおける所定のタイミングで得られたサーモ画像が、推論モデル生成装置2、金型温度自動制御装置3の推論実行指示部62以降の推論処理において用いられる。
サーモグラフィ4は、金型Dの所定の領域を撮像するように設置されている。サーモグラフィ4も、複数のダイカストマシンがあるときは、ダイカストマシン毎に設置される。後述するように、サーモグラフィ4が出力するサーモグラフィデータの中から、ダイカストの鋳造品が作成される各ショットにおける所定のタイミングで得られたサーモ画像が、推論モデル生成装置2、金型温度自動制御装置3の推論実行指示部62以降の推論処理において用いられる。
推論モデル生成装置2が、ダイカストマシンの金型Dについての推論モデルを生成し、金型温度自動制御装置3は、生成された推論モデルに基づいて、金型Dの温度異常の予兆検知、ダイカストマシン7の自動制御など行う。よって、推論モデル生成装置2と金型温度自動制御装置3が、金型温度異常予兆検知装置を構成する。
図2は、ダイカストマシン7における金型キャビティへのアルミニウム等の溶湯の射出系を説明するための模式図である。
2つの金型D1,D2は、一方の金型D1がショット毎に矢印Aで示す方向に移動して金型D2に密着して型締めされる。金型D1とD2が密着している間に、ランナーR内の溶湯Mが、プランジャーPの移動により、2つの金型D1,D2内の金型キャビティ内に射出され充填される。
2つの金型D1,D2は、一方の金型D1がショット毎に矢印Aで示す方向に移動して金型D2に密着して型締めされる。金型D1とD2が密着している間に、ランナーR内の溶湯Mが、プランジャーPの移動により、2つの金型D1,D2内の金型キャビティ内に射出され充填される。
その後、金型キャビティ内の溶湯Mが保圧されて冷却された後に、金型D1が矢印Aで示す方向とは反対方向に移動して、2つの金型D1,D2は、型開きし、成形された鋳造品の取り出しが行われる。
また、鋳造品を製造している途中で、鋳造品が金型から抜け易くするように、離型剤の散布が行われる。なお、複雑な構造の金型では、離散剤が均一に散布されにくく、離型剤の不均一な散布が続くと、金型の内側表面上に微小な高温箇所が発生し、やがて大きな熱だまりとなって、湯回り不良や鋳巣不良が発生する。
サーモグラフィ4は、金型D1、D2の一方の金型キャビティ側の内側表面を含むように、金型を撮像する。後述するように、サーモグラフィ4の画像は、ショット毎に一定のタイミングで収集される。
図3は、サーモ画像の例を示す図である。図3は、金型の内側表面を含む、サーモグラフィ4により撮像されて得られた画像の例を示す模式図であり、ここでは熱分布の状態は図示していない。サーモグラフィ4が金型の内側表面を斜め方向から撮像しているため、矩形の金型キャビティは台形で表わされている。サーモグラフィ4の画像SM中、キャビティ内側表面の領域Diは、点線で示されている。画像の切りだし領域rSMは二点鎖線で示されている。
ショット毎に得られるサーモグラフィ4の画像SMからキャビティ内側表面の領域Diを含む領域が切り出されて、その切り出し領域rSMの画像が、後述するモデル生成、推論処理などに用いられる。
切り出し領域rSMの画像をモデル生成等に用いるのは、モデル生成等の精度を向上させるためであるが、サーモグラフィ4の画像SM全体をモデル生成、推論処理などに用いてもよい。
また、以下の例では、サーモグラフィ4は一台で、2つの金型の一方の金型キャビティ内側表面を撮像するが、サーモグラフィ4を2台以上設けて、ショット毎に2つの金型の両方の金型キャビティ内側表面を撮像するようにしてもよい。
また、以下の例では、サーモグラフィ4は一台で、2つの金型の一方の金型キャビティ内側表面を撮像するが、サーモグラフィ4を2台以上設けて、ショット毎に2つの金型の両方の金型キャビティ内側表面を撮像するようにしてもよい。
次に、図1に戻り、推論モデル生成装置2の構成を説明する。
(推論モデル生成装置の構成)
推論モデル生成装置2は、中央処理装置(以下、CPUという)、ROM、RAM等を含む制御部11(点線で示す)と、フラッシュメモリ、ハードディスクドライブ装置等を含む記憶装置12(点線で示す)と、キーボード、モニタ、マウス、データ入力及び出力インターフェースなど入出力インターフェース(以下、入出力I/Fと略す)13(点線で示す)、等のハードウエア回路を含むコンピュータである。
推論モデル生成装置2は、中央処理装置(以下、CPUという)、ROM、RAM等を含む制御部11(点線で示す)と、フラッシュメモリ、ハードディスクドライブ装置等を含む記憶装置12(点線で示す)と、キーボード、モニタ、マウス、データ入力及び出力インターフェースなど入出力インターフェース(以下、入出力I/Fと略す)13(点線で示す)、等のハードウエア回路を含むコンピュータである。
推論モデル生成装置2は、さらに、サーモ画像データ保存部21と、現場有識者教示データ保存部22と、サーモ画像前処理部23と、前処理データ一時保存部23aと、推論モデル生成部24と、を有する。
サーモ画像データ保存部21、現場有識者教示データ保存部22及び前処理データ一時保存部23aは、データを記憶する記憶領域であり、記憶装置12に含まれる。
サーモ画像前処理部23と推論モデル生成部24は、ソフトウエアプログラムであり、記憶装置12に記録されており、制御部11のCPUによって読み出されて実行される。
サーモ画像前処理部23と推論モデル生成部24は、ソフトウエアプログラムであり、記憶装置12に記録されており、制御部11のCPUによって読み出されて実行される。
サーモ画像データ保存部21は、ユーザにより指定されて登録されたサーモ画像データセットを保存する記憶部である。
図4は、サーモ画像データ保存部21のデータ構造を説明するための図である。
図4は、サーモ画像データ保存部21のデータ構造を説明するための図である。
サーモ画像データ保存部21は、図4に示すように、各サーモ画像についての、撮影日時、製品の識別子(以下、IDと略す)である製品ID、撮影対象の金型を組み込んだダイカストマシンのIDであるダイカストマシンID、サーモ画像のIDであるサーモ画像ID、及びサーモ画像データを含んで構成されるデータベースである。
サーモ画像データセットは、実際にダイカストマシンで鋳造する時の金型を、サーモグラフィ4を使って撮影した画像の集合体である。サーモ画像データ保存部21に登録されているサーモ画像には、製造された製品の鋳造品質が良かったときの撮影画像と鋳造品質が悪かった時の撮影画像が混在している。
サーモ画像データは、JPEG、BMP等のファイルフォーマット形式のデータであり、本実施形態ではカラー画像である。
現場有識者は、コンピュータである推論モデル生成装置2を操作して、事前に蓄積しておいたサーモ画像データセットを、サーモ画像データ保存部21に登録する。
現場有識者は、コンピュータである推論モデル生成装置2を操作して、事前に蓄積しておいたサーモ画像データセットを、サーモ画像データ保存部21に登録する。
現場有識者教示データ保存部22は、ユーザにより指定された教示データセットを保存する記憶部である。現場有識者教示データ保存部22には、サーモ画像、すなわちサーモグラフィ4により得られた熱分布画像であるサーモ画像に関連付けられた教示データが登録される。
図5は、現場有識者教示データ保存部22のデータ構造を説明するための図である。
図5に示すように、現場有識者教示データ保存部22は、サーモ画像IDと教示データを含んで構成される。
図5に示すように、現場有識者教示データ保存部22は、サーモ画像IDと教示データを含んで構成される。
教示データは、現場有識者が鋳造品の品質(良品、不良品のいずれか)を判断して、設定されたデータである。鋳造時のサーモ画像データと紐づけられている。教示データとサーモ画像データの紐づけは、サーモ画像IDで行われている。
以上のように、現場有識者は、コンピュータである推論モデル生成装置2を操作して、事前に設定しておいた教示データセットを、現場有識者教示データ保存部22に登録することができる。
サーモ画像前処理部23は、サーモ画像データ保存部21から、サーモ画像IDリストに含まれるサーモ画像のサーモ画像データセットを取得する。
サーモ画像IDリストは、ユーザが、推論モデル生成装置2に対してモデル生成の実行リクエストを与えるときに、ユーザにより指定されるリストであり、推論モデルの生成に用いるサーモ画像を特定する。
サーモ画像IDリストは、ユーザが、推論モデル生成装置2に対してモデル生成の実行リクエストを与えるときに、ユーザにより指定されるリストであり、推論モデルの生成に用いるサーモ画像を特定する。
ユーザが、推論モデル生成装置2に対してモデル生成の実行リクエストを与えると、制御部11は、サーモ画像前処理部23を実行し、その後、推論モデル生成部24を実行する。
サーモ画像前処理部23は、取得したサーモ画像データセットを入力とし、前処理を実行する。前処理では、後述するモデル生成処理の効率を上げるために、サーモ画像の各画素値を0~1の範囲の値に収まるように正規化する処理が行われる。
前処理では、全てのサーモ画像に対して、カラー画像からモノクロ画像に変換し、モノクロサーモ画像データを作成する変換処理が行われる。
また、前処理では、全てのモノクロサーモ画像データから、ピクセル単位で加算しかつ255で割って平均値をとった平均画像データを作成する平均値画像データ生成処理が行われる。作成した平均画像データは一時的に記憶装置12の所定の領域に保存される。
また、前処理では、全てのモノクロサーモ画像データから、ピクセル単位で加算しかつ255で割って平均値をとった平均画像データを作成する平均値画像データ生成処理が行われる。作成した平均画像データは一時的に記憶装置12の所定の領域に保存される。
そして、前処理では、モノクロサーモ画像単位で、作成した平均画像データを差し引き、前処理データを作成する前処理データ作成処理が実行される。
サーモ画像前処理部23は、作成された全ての前処理データを、前処理データ一時保存部23aに登録する。
サーモ画像前処理部23は、作成された全ての前処理データを、前処理データ一時保存部23aに登録する。
図6は、前処理データ一時保存部23aのデータ構造を説明するための図である。
図6に示すように、前処理データ一時保存部23aは、サーモ画像IDと前処理データを含んで構成される。
図6に示すように、前処理データ一時保存部23aは、サーモ画像IDと前処理データを含んで構成される。
前処理データは、JPEG、BMP等のファイルフォーマット形式のデータである。
上述したように、サーモ画像前処理部23は、サーモグラフィ4により得られたサーモ画像中の所定の切り出し領域のみに対して、前処理を行う。
上述したように、サーモ画像前処理部23は、サーモグラフィ4により得られたサーモ画像中の所定の切り出し領域のみに対して、前処理を行う。
サーモグラフィ4は、金型の注目領域以外の領域も含まれるように金型を撮像しているため、そのようにして得られたサーモ画像中から、図3に示すように、注目領域である切り出し領域rSMのみを切り出して、その切り出した領域の画像データに対して、前処理が行われる。後述する金型異常温度推論処理も、同じ注目領域である切り出し領域rSMに対して行われる。注目領域のみに対して前処理等を行うことによって、推論精度が向上する場合があるからである。
なお、上述したように、画像SM全体に対して前処理を行うようにしてもよい。
なお、上述したように、画像SM全体に対して前処理を行うようにしてもよい。
推論モデル生成部24は、サーモ画像前処理部23の実行後に実行される。
推論モデル生成部24は、前処理データ一時保存部23aに保存された前処理データに対してディープラーニングによる学習を実行し、推論モデルを生成する処理を行う。本実施形態での推論モデル生成部24は、ダイカストマシンの鋳造ごとに、金型の温度を示すサーモ画像の各ピクセルデータをプロットした空間上から、良品と不良品をうまく分離できる境界面を定めたニューラルネットワーク型の推論モデルを作成する。
推論モデル生成部24は、前処理データ一時保存部23aに保存された前処理データに対してディープラーニングによる学習を実行し、推論モデルを生成する処理を行う。本実施形態での推論モデル生成部24は、ダイカストマシンの鋳造ごとに、金型の温度を示すサーモ画像の各ピクセルデータをプロットした空間上から、良品と不良品をうまく分離できる境界面を定めたニューラルネットワーク型の推論モデルを作成する。
ここで、推論モデルとは、ニューラルネットワークを構成する入力層、隠れ層及び出力層の構造情報、すなわちニューラルネットワークの構造情報と、ニューラルネットワーク中の各種重みなどのパラメータ情報とからなるニューラルネットワーク型の推論モデルである。
ニューラルネットワーク型の推論モデルの生成方法は、ディープラーニングによる学習により行う。ディープラーニングによる学習とは、推論された出力データと、入力データに対する教示データ(正解)との誤差が少なくなるように、各層の重み(ω1・・・ωN)を少しずつ適正な値に更新し、最適な重み(すなわち推論モデル)を求める処理である。
本実施形態のニューラルネットワークには、サーモ画像データが対象のため、画像解析でよく利用されるCNN(Convolution Neural Network)を用いている。なお、CNNについては、文献「ワイ・ルクン、ビー・ボザー、ジェイ・エス・デンカー、ディ・ヘンダーソン、アール・イー・ハワード、ダブリュ・ハバード、エル・ディ・ジャカル著、「手書きジップコード認識に適用される誤差逆伝播法」ニューラルコンピューテーション、1巻、541~551頁、1989(Y. LeCun, B. Boser, J. S. Denker, D. Henderson, R. E. Howard, W. Hubbard, and L.D. Jackel, “Backpropagation applied to handwritten zip code recognition", NeuralComputation, vol.1, pp.541-551, 1989.)」を参照されたし。
また、本実施形態では、鋳造品の不良が生じる金型の温度が異常になる前に、サーモ画像の時系列変化から、異常の予兆が検知される。そのため、現在の鋳造からN(Nは、正の整数)回先の鋳造時の金型の温度異常の予兆を検知したい場合は、「N枚」分のサーモ画像データを入力として、N回先の教示データを出力として、推論モデルが作成される。このような推論モデルによって、サーモ画像の時系列変化の特徴が捉えられる。
例えば、前処理されたサーモ画像がm×k(mは、画像の縦の画素数、kは、画像の横の画素数)、Nが3の場合、1サンプルは、m×k×Nの次元数を有する画素値データである。
本実施形態の推論モデルは、複数のサンプルデータから作成されるが、例えば、直前の連続する過去N枚のサーモ画像から、その後のNショット先に製造される鋳造品の良/不良を推論し、温度異常の予兆のレベルを示す異常度を出力するためのモデルである。異常度は、数値で示され、ここでは0.0~1.0の範囲の値であり、つまり確率という形で出力される。異常度は、値が低い程、良品の製造され易く、値が高い程、不良品の製造され易い確度は高いことを示す。
異常度を算出する推論処理では、入力データが、前述の推論モデルの入力層、隠れ層、出力層へと流れ、最後に出力データを生成する処理を実行する。異常度を示す確率は、最後の隠れ層からの出力値を入力に、ソフトマックス関数によって求められる。ここで、ソフトマックス関数とは、正常と異常など二つの確率分布の間に定義される尺度である。
推論モデル生成部24が作成した推論モデルデータMDは、所定の形式のデータファイルとして、金型温度自動制御装置3の推論モデルデータ保存部51に登録される。推論モデルデータは、推論モデル生成装置2と金型温度自動制御装置3が通信ラインで接続されていれば、推論モデル生成装置2から金型温度自動制御装置3に送信されて、推論モデルデータ保存部51に登録される。推論モデル生成装置2と金型温度自動制御装置3が通信ラインで接続されていなければ、推論モデルデータMDをメモリカードなどの記憶媒体に記憶し、そのメモリカードのデータを管理者が推論モデルデータ保存部51に登録する。
また、前処理部で作成された平均画像データも、推論モデルデータMDと共に、金型温度自動制御装置3に送信等されて、サーモ画像前処理部63に登録される。
推論モデルデータは、入力層に与えられた入力に対して、ニューラルネットワークの出力層の各出力ノードの値を算出するために必要な情報を含む。ここで、各出力ノードの値を算出するために必要な情報は、各エッジの重み、バイアスの値、その他活性化関数のパラメータなどの各種パラメータである。
推論モデルデータは、入力層に与えられた入力に対して、ニューラルネットワークの出力層の各出力ノードの値を算出するために必要な情報を含む。ここで、各出力ノードの値を算出するために必要な情報は、各エッジの重み、バイアスの値、その他活性化関数のパラメータなどの各種パラメータである。
図7は、推論モデルデータ保存部51のデータ構造を説明するための図である。図7は、複数の推論モデルについての推論モデルが推論モデルデータ保存部51に登録されている例を示し、各推論モデルは、ダイカストマシン毎でかつ製品毎に生成されて推論モデルデータ保存部51に登録される。
図7に示すように、推論モデルデータ保存部51は、推論モデルID、製品ID、ダイカストマシンID、サーモ画像リスト及び推論モデルデータを含んで構成される。
推論モデルIDは、推論モデルを識別するためのIDである。
製品IDは、製品(ここでは鋳造品)を識別するためのIDである。
ダイカストマシンIDは、ダイカストマシンを識別するためのIDである。
推論モデルIDは、推論モデルを識別するためのIDである。
製品IDは、製品(ここでは鋳造品)を識別するためのIDである。
ダイカストマシンIDは、ダイカストマシンを識別するためのIDである。
サーモ画像リストは、推論モデルを生成するために用いられたサーモ画像IDのリスト情報である。
推論モデルデータは、推論モデルを特定する行列形式のモデルパラメータセットである。
推論モデルデータは、推論モデルを特定する行列形式のモデルパラメータセットである。
次に、以上のような構成の推論モデル生成装置2における推論モデルの生成処理について説明する。
図8は、推論モデル生成処理のシーケンス図である。
図8は、推論モデル生成処理のシーケンス図である。
まず、ユーザは、推論モデル生成装置2へのサーモ画像IDリストの送信を行う(C1)。すなわち、推論モデル生成装置2により推論モデルを作成したいとするユーザは、推論モデル生成装置2のキーボードなどから、推論モデル生成のために用いるサーモ画像のリスト情報を推論モデル生成装置2に入力あるいは与える。
入出力I/F13は、入力されたサーモ画像IDリストを、サーモ画像前処理部23へ送信する(C2)。
サーモ画像前処理部23は、サーモ画像データ保存部21から、サーモ画像IDリストに示されるサーモ画像データセットを一括取得する(C3)。
サーモ画像前処理部23は、サーモ画像データ保存部21から、サーモ画像IDリストに示されるサーモ画像データセットを一括取得する(C3)。
サーモ画像前処理部23は、取得したサーモ画像データセットを入力とし、上述した前処理を実行する(C4)。
サーモ画像前処理部23は、全ての前処理データを、前処理データ一時保存部23aに登録する(C5)。
サーモ画像前処理部23は、全ての前処理データを、前処理データ一時保存部23aに登録する(C5)。
ユーザは、推論モデル生成部24へ推論モデルの生成の実行を要求する(C6)。
推論モデル生成部24は、前処理データ一時保存部23aから前処理データセットを一括取得する(C7)。
推論モデル生成部24は、前処理データ一時保存部23aから前処理データセットを一括取得する(C7)。
推論モデル生成部24は、現場有識者教示データ保存部22から、教示データを一括取得する(C8)。
ここでは、前処理データは、サンプル単位ではなく、一括して取得される。取得した前処理データと教示データは、サーモ画像IDで紐付けられる。
ここでは、前処理データは、サンプル単位ではなく、一括して取得される。取得した前処理データと教示データは、サーモ画像IDで紐付けられる。
推論モデル生成部24は、ディープラーニングによる学習を実行し、推論モデルを生成する(C9)。推論モデル生成部24への入力データは、前処理データと教示データのペアであり、出力データは、推論モデルデータMDである。
推論モデルにおけるニューラルネットワークの構造(入力層のノード数、隠れ層の数、出力層のノード数、各隠れ層のノード数など)は、ユーザにより予め設定される。
よって、推論モデルデータMDは、そのニューラルネットワークの構造における重みなどのパラメータデータのセットである。
よって、推論モデルデータMDは、そのニューラルネットワークの構造における重みなどのパラメータデータのセットである。
ここで、本実施形態の推論モデルについて説明する。
図9は、前処理データと教示データの対応関係を説明するための図である。
図9は、前処理データと教示データの対応関係を説明するための図である。
図9において、ショット毎の前処理データの画像Gが時系列に沿って得られ、複数の画像Gに対応する教示データが、推論モデル生成部24に与えられる。
図9では、画像G1が得られたときの製品は良品であり、同様に、画像G1に続く画像G2,G3が得られたときの製品も良品であったが、画像G3に続く画像G4、G5が得られたときの製品が不良品であるとき、画像G中の所定温度以上の領域HAの変化に基づき、Nショット先の製品の良/不良を予測できる。
図9では、画像G1が得られたときの製品は良品であり、同様に、画像G1に続く画像G2,G3が得られたときの製品も良品であったが、画像G3に続く画像G4、G5が得られたときの製品が不良品であるとき、画像G中の所定温度以上の領域HAの変化に基づき、Nショット先の製品の良/不良を予測できる。
本実施形態の推論モデルは、Nを3としたとき、直前の過去3枚の画像から3ショット先に製造される製品の良/不良を予測するモデルとなる。よって、推論モデル生成部24は、N枚の前処理画像を入力データとして、Nショット先の製品の良/不良を予測する推論モデルデータを生成する。
図10は、N枚の前処理画像を入力データとして、Nショット先の製品の良/不良を予測する推論モデルを説明するための図である。
図10では、前処理画像である画像G11が得られた後、次のショット、すなわち型締め、射出、保圧、零曲、型開き及び取り出し、が行われ、製品が製造される。
図10では、前処理画像である画像G11が得られた後、次のショット、すなわち型締め、射出、保圧、零曲、型開き及び取り出し、が行われ、製品が製造される。
前処理データと教示データは、サーモ画像IDにより紐付けられており、推論モデル生成部24は、各ショットで作成された製品の教示データ(良品あるいは不良品であるとの情報)に基づいて、連続する3ショット分の前処理データから、3ショット先の製品が良品となるか不良品となるかの推論をする推論モデルデータMDを、学習により生成する。
図10の場合、連続する画像G11,G12,G13を1つのサンプルデータとする推論モデルの入力に対して、画像G16が得られたときに作成された製品が「良品」であるという教示データが推論モデルの出力に対応している。同様に、連続する画像G12,G13,G14を1つのサンプルデータとする推論モデルの入力に対して、画像G17が得られたときに作成された製品が「良品」であるという教示データが推論モデルの出力に対応している。同様に、連続する画像G13,G14,G15を1つのサンプルデータとする推論モデルの入力に対して、画像G18が得られたときに作成された製品が「不良品」であるという教示データが推論モデルの出力に対応している。
サンプルデータの各サーモ画像データは、所定の間隔で取得された金型の画像データである。推論モデル生成部24は、複数のサーモ画像データと、複数のサーモ画像データに紐付けられた教示データに基づいて、金型の温度異常の予兆を検知するための推論モデルを生成する。このとき、推論モデル生成部24は、複数のサーモ画像データの中から抽出された連続する所定数(N)の時系列画像データを1つのサンプルデータとして学習を行う。
すなわち、推論モデル生成部24は、所定の間隔で取得された金型の複数のサーモ画像データと、複数のサーモ画像データに紐付けられた教示データに基づいて、複数のサーモ画像データの中から抽出された連続する所定数(N)の時系列画像データを1つのサンプルデータとして学習して、金型の温度異常の予兆を検知するための推論モデルを生成するモデル生成部を構成する。
以上のように、時系列的に連続する所定数の前処理画像が、纏めて1つのサンプルデータとして、推論モデル生成部24に与えられ、ディープラーニングによる推論モデルの生成に用いられる。
上述したように、推論モデル生成部24は、複数のサンプルデータを、推論モデルのニューラルネットワークに与え、ニューラルネットワーク中の各層の各ノードの重み係数などを含む、推論モデルデータMDを算出する。ここでは、金型のサーモ画像に基づいて、過去の複数の画像から複数先の製品が良品となるか不良品となるかを推論可能な推論モデルが、生成される。
上述したように、推論モデル生成部24は、生成された推論モデルデータMDを、例えば通信ラインを介して、金型温度自動制御装置3に送信して推論モデルデータ保存部51に保存する(C10)。
以上のようにして、推論モデルが生成される。
以上のようにして、推論モデルが生成される。
推論モデルデータ保存部51に保存された推論モデルデータMDは、金型温度自動制御装置3の管理者により、後述する金型温度異常度推論部54にセットされる。
(金型温度自動制御装置の構成)
図1に戻り、金型温度自動制御装置3は、CPU、ROM、RAM等を含む制御部41(点線で示す)と、フラッシュメモリ、ハードディスクドライブ装置等を含む記憶装置42(点線で示す)と、キーボード、モニタ、マウス、データ入力インターフェースなど入出力I/F(図示せず)とを含むコンピュータである。
図1に戻り、金型温度自動制御装置3は、CPU、ROM、RAM等を含む制御部41(点線で示す)と、フラッシュメモリ、ハードディスクドライブ装置等を含む記憶装置42(点線で示す)と、キーボード、モニタ、マウス、データ入力インターフェースなど入出力I/F(図示せず)とを含むコンピュータである。
金型温度自動制御装置3は、推論モデルデータ保存部51と、マシン制御ルール保存部52と、異常予兆判定ルール保存部53と、金型温度異常度推論部54と、金型温度異常予兆判定部55と、パトランプリクエスト送信部56と、マシン動作リクエスト送信部57と、推論注目領域可視化処理部58と、金型温度モニタ表示処理部59と、サーモグラフィデータ収集部60と、サーモグラフィ画像変換部61と、推論実行指示部62と、サーモ画像前処理部63と、を有する。
推論モデルデータ保存部51と、マシン制御ルール保存部52と、異常予兆判定ルール保存部53は、データを記憶する記憶領域であり、記憶装置42に含まれる。
金型温度異常度推論部54と、金型温度異常予兆判定部55と、パトランプリクエスト送信部56と、マシン動作リクエスト送信部57と、推論注目領域可視化処理部58と、金型温度モニタ表示処理部59と、サーモグラフィデータ収集部60と、サーモグラフィ画像変換部61と、推論実行指示部62と、サーモ画像前処理部63は、ソフトウエアプログラムであり、記憶装置42に記録されており、制御部41のCPUによって読み出されて実行される。
金型温度異常度推論部54と、金型温度異常予兆判定部55と、パトランプリクエスト送信部56と、マシン動作リクエスト送信部57と、推論注目領域可視化処理部58と、金型温度モニタ表示処理部59と、サーモグラフィデータ収集部60と、サーモグラフィ画像変換部61と、推論実行指示部62と、サーモ画像前処理部63は、ソフトウエアプログラムであり、記憶装置42に記録されており、制御部41のCPUによって読み出されて実行される。
推論モデルデータ保存部51は、上述した推論モデルデータMDが格納される記憶部である。
マシン制御ルール保存部52は、ダイカストマシン7の動作を制御するマシン制御ルールを格納する記憶部である。マシン制御ルールは、前回の判定ID、現在の判定ID、マシン制御を組にしたレコードの集合体で構成される。マシン制御ルールのデータ構造については後述する。
マシン制御ルール保存部52は、ダイカストマシン7の動作を制御するマシン制御ルールを格納する記憶部である。マシン制御ルールは、前回の判定ID、現在の判定ID、マシン制御を組にしたレコードの集合体で構成される。マシン制御ルールのデータ構造については後述する。
図11は、マシン制御ルール保存部52のデータ構造を示す図である。マシン制御ルールは、前回の判定ID、現在の判定ID、マシン制御を組にしたレコードの集合体で構成される。
異常予兆判定ルール保存部53は、異常予兆判定ルールを格納する記憶部である。
異常予兆判定ルール保存部53は、異常予兆判定ルールを格納する記憶部である。
図12は、異常予兆判定ルール保存部53のデータ構造を示す図である。
異常予兆判定ルールは、判定ルール、判定ID、パトランプ制御を組にした二つ以上のレコードで構成される。レコード数は、異常度のレベル数に相当し、本実施形態では、3つのレベルを定義している。例えば、「JudgeRule01」は正常レベル、「JudgeRule02」は警告レベル、「JudgeRule03」はエラーレベルの意味を持つ。各判定ルールに対し、異常度の範囲を定義している。パトランプ制御は、適合する判定ルールに対し、パトランプで点灯させる色を定義する。
異常予兆判定ルールは、判定ルール、判定ID、パトランプ制御を組にした二つ以上のレコードで構成される。レコード数は、異常度のレベル数に相当し、本実施形態では、3つのレベルを定義している。例えば、「JudgeRule01」は正常レベル、「JudgeRule02」は警告レベル、「JudgeRule03」はエラーレベルの意味を持つ。各判定ルールに対し、異常度の範囲を定義している。パトランプ制御は、適合する判定ルールに対し、パトランプで点灯させる色を定義する。
金型温度異常度推論部54は、推論モデルに基づき、上述した異常度を推論する推論処理を実行する。より具体的には、金型温度異常度推論部54は、受け取ったN枚分の前処理データを入力データとして、Nショット先の金型の温度異常の予兆の発生を検知する推論処理を実行し、0.0から1.0の範囲の値である異常度を出力する。
金型温度異常度推論部54は、出力した異常度データADを、金型温度異常予兆判定部55へ送信する。
金型温度異常予兆判定部55は、異常予兆判定ルールと異常度とに基づいて、異常予兆判定処理を実行する。
金型温度異常予兆判定部55は、異常予兆判定ルールと異常度とに基づいて、異常予兆判定処理を実行する。
従って、金型温度異常度推論部54と金型温度異常予兆判定部55が、金型の所定数(N)の時系列画像データに基づいて、推論モデルを用いて所定数(N)先の金型の温度異常の予兆の発生を検知する推論実行部を構成する。
金型温度異常予兆判定部55は、判定結果に基づき、パトランプ5への動作指示を決定し、パトランプリクエスト送信部56へ出力し、ダイカストマシン7の動作内容を示す制御情報をマシン動作リクエスト送信部57へ出力する。
金型温度異常予兆判定部55は、判定結果を前回判定一時保存部55aに格納する。前回判定一時保存部55aは、記憶装置42のメモリ領域でもよいが、所定のレジスタでもよい。
図13は、前回判定一時保存部55aのデータ構造を示す図である。前回判定一時保存部55aには、前回判定IDが、格納可能となっている。
図1に戻り、パトランプリクエスト送信部56は、パトランプ5へ動作リクエスト信号を送信する処理部である。
図1に戻り、パトランプリクエスト送信部56は、パトランプ5へ動作リクエスト信号を送信する処理部である。
マシン動作リクエスト送信部57は、受信したマシン制御情報を、ダイカストマシン7のマシン動作制御部8へ送信する。例えば、受信したマシン制御情報が稼働再開であれば、ダイカストマシン7のマシン動作制御部8は、受信したマシン制御情報(稼働再開)に基づき、ダイカストマシン7の稼働を再開する。
推論注目領域可視化処理部58は、注目領域の勾配データを可視する処理を実行する。
推論注目領域可視化処理部58は、注目領域の勾配データを可視する処理を実行する。
推論注目領域可視化処理部58における処理については後述する。
金型温度モニタ表示処理部59は、推論注目領域可視化処理部58からの画像データに基づいて、モニタ6に表示する画像を生成する処理を実行する。
金型温度モニタ表示処理部59は、推論注目領域可視化処理部58からの画像データに基づいて、モニタ6に表示する画像を生成する処理を実行する。
サーモグラフィデータ収集部60は、サーモグラフィ4が出力するサーモグラフィデータからサーモグラフィ画像を収集する処理部である。サーモグラフィデータ収集部60は、ダイカストマシン7の動作に基づいて所定のタイミングのサーモグラフィ画像を取得する。サーモグラフィ画像が取得されるタイミングは、例えば、金型のショットが開始される所定時間前のタイミングである。推論モデル生成装置2が使用したサーモ画像データも、このタイミングと同じタイミングで取得されたデータである。
サーモグラフィ画像変換部61は、数値データのサーモグラフィデータを、カラー画像に変換し、サーモ画像データを作成する。
サーモグラフィ画像変換部61は、サーモ画像データを、サーモ画像データ一時保存部61aへ登録する。
サーモグラフィ画像変換部61は、サーモ画像データを、サーモ画像データ一時保存部61aへ登録する。
図14は、サーモ画像データ一時保存部61aのデータ構造を示す図である。サーモ画像データ一時保存部61aは、撮影日時、製品ID、ダイカストマシンID、サーモ画像ID及びサーモ画像データを含む。サーモ画像データ一時保存部61aのデータ構造は、図4のサーモ画像データ保存部21のデータ構造と同じである。
なお、サーモ画像データ一時保存部61aに格納されたデータは、図1において点線で示すように、サーモ画像データ保存部21に、通信ラインを介してあるいは人手によりマニュアルで記憶媒体を介して格納して、推論モデルの更新時に利用できるようにしてもよい。
サーモグラフィ画像変換部61は、N枚分のサーモ画像の画像変換が終わったら、推論実行リクエストを、推論実行指示部62へ送信する処理部である。推論実行リクエストには、N枚分のサーモ画像が含まれる。
推論実行指示部62は、サーモ画像前処理部63にN枚分のサーモ画像を送信して、推論の実行を指示する。
サーモ画像前処理部63は、受け取ったN枚分のサーモ画像に対して、前処理を行う。前処理では、推論モデル生成装置2のサーモ画像前処理部23と同じように、0~1の範囲の値に収まるように正規化処理が行われる。
すなわち、サーモ画像前処理部63は、全てのサーモ画像に対して、カラー画像からモノクロ画像に変換し、モノクロサーモ画像データを作成する。
サーモ画像前処理部63は、受け取ったN枚分のサーモ画像に対して、前処理を行う。前処理では、推論モデル生成装置2のサーモ画像前処理部23と同じように、0~1の範囲の値に収まるように正規化処理が行われる。
すなわち、サーモ画像前処理部63は、全てのサーモ画像に対して、カラー画像からモノクロ画像に変換し、モノクロサーモ画像データを作成する。
サーモ画像前処理部63は、モノクロサーモ画像単位で、作成した平均画像データを差し引き、前処理データを作成する。
なお、平均画像データは、推論モデル生成時に作成され、事前にサーモ画像前処理部へ登録されたデータである。
なお、平均画像データは、推論モデル生成時に作成され、事前にサーモ画像前処理部へ登録されたデータである。
サーモ画像前処理部63は、N枚分の前処理データを、金型温度異常度推論部54へ送信する。
(作用)
次に、金型温度自動制御装置3の動作について説明する。
次に、金型温度自動制御装置3の動作について説明する。
1)サーモグラフィデータの収集から推論実行リクエストの送信までの処理
まず、サーモグラフィデータの収集から推論実行リクエストの送信までの処理について説明する。
図15は、サーモグラフィデータの収集から推論実行リクエストの送信までの処理のシーケンス図である。図15の処理は、ダイカストマシン7が稼働中に実行される。
まず、サーモグラフィデータの収集から推論実行リクエストの送信までの処理について説明する。
図15は、サーモグラフィデータの収集から推論実行リクエストの送信までの処理のシーケンス図である。図15の処理は、ダイカストマシン7が稼働中に実行される。
サーモグラフィ4が、ダイカストマシン7に設置された金型Dを撮像し、金型Dの温度を計測し、サーモグラフィデータを出力する(C11)。サーモグラフィデータは、金型Dから放射される赤外線の数値データの集合体である。
サーモグラフィ4は、サーモグラフィデータ収集部60に対して、計測したサーモグラフィデータを送信する(C12)。
サーモグラフィデータ収集部60は、サーモグラフィ画像変換部61に対して、サーモグラフィデータを引き渡し、画像変換の実行を要求する(C13)。
サーモグラフィデータ収集部60は、サーモグラフィ画像変換部61に対して、サーモグラフィデータを引き渡し、画像変換の実行を要求する(C13)。
サーモグラフィ画像変換部61は、数値データのサーモグラフィデータを、カラー画像に変換し、サーモ画像データを作成する(C14)。
サーモグラフィ画像変換部61は、サーモ画像データを、サーモ画像データ一時保存部61aへ登録する(C15)。
サーモグラフィ画像変換部61は、サーモ画像データを、サーモ画像データ一時保存部61aへ登録する(C15)。
サーモグラフィ画像変換部61は、N枚分のサーモ画像の画像変換が終わったら、推論実行リクエストを、推論実行指示部62へ送信する(C16)。推論実行リクエストには、N枚分のサーモ画像が含まれている。
C12からC16は、ダイカストマシン7のショット単位で繰り返し実行される。
以上が、サーモグラフィデータの収集から推論実行リクエストの送信までの処理の流れである。
以上が、サーモグラフィデータの収集から推論実行リクエストの送信までの処理の流れである。
2)推論実行からパトランプ点灯までの処理
次に、推論実行からパトランプ点灯までの処理について説明する。
次に、推論実行からパトランプ点灯までの処理について説明する。
図16は、推論実行からパトランプ点灯までの処理のシーケンス図である。
図16に示すように、推論実行指示部62は、サーモ画像前処理部63にN枚分のサーモ画像を送信する(C21)。
図16に示すように、推論実行指示部62は、サーモ画像前処理部63にN枚分のサーモ画像を送信する(C21)。
サーモ画像前処理部63は、受け取ったN枚分のサーモ画像に対して、前処理を行う(C22)。前処理では、上述したようにモデル生成処理と同じように、0~1の範囲の値に収まるように正規化処理が行われる。
サーモ画像前処理部63は、N枚分の前処理データを、金型温度異常度推論部54へ送信する(C23)。
金型温度異常度推論部54は、受け取ったN枚分の前処理データを入力として、推論モデルに基づき推論処理を実行し(C24)、0.0から1.0の範囲の値の異常度を出力する。すなわち、推論実行部を構成する金型温度異常度推論部54は、金型の所定数(N)の時系列画像データである前処理データに基づいて、推論モデルを用いて異常度データを出力する。
金型温度異常度推論部54は、受け取ったN枚分の前処理データを入力として、推論モデルに基づき推論処理を実行し(C24)、0.0から1.0の範囲の値の異常度を出力する。すなわち、推論実行部を構成する金型温度異常度推論部54は、金型の所定数(N)の時系列画像データである前処理データに基づいて、推論モデルを用いて異常度データを出力する。
金型温度異常度推論部54は、出力した異常度を、金型温度異常予兆判定部55へ送信する(C25)。
金型温度異常予兆判定部55は、異常予兆判定ルール保存部53(図12)から、異常予兆判定ルールを取得する(C26)。
金型温度異常予兆判定部55は、異常予兆判定ルール保存部53(図12)から、異常予兆判定ルールを取得する(C26)。
金型温度異常予兆判定部55は、取得した異常予兆判定ルールと異常度に基づいて、異常予兆判定を実行する(C27)。すなわち、推論実行部を構成する金型温度異常予兆判定部55は、異常度に基づいて所定数(N)先の金型の温度異常の予兆の発生を検知する。
例えば、異常度が0.7であれば、図12の判定ルールから、判定IDが「JudgeRule02」に該当し、判定IDの「JudgeRule02」と、パトランプ制御情報の「黄」を出力する。また、異常度が0.9であれば、図12の判定ルールから、判定IDが「JudgeRule03」に該当し、判定IDの「JudgeRule03」と、パトランプ制御情報の「赤」を出力する。
金型温度異常予兆判定部55は、前回判定一時保存部55aから、前回判定IDを取得する(C28)。図13の場合、前回鋳造時の判定結果が正常だったので、予兆検出前に保存した「JudgeRule01」が取得される。取得した前回判定IDは、後述するダイカストマシン7の再稼働処理において用いられる。
金型温度異常予兆判定部55は、前回判定一時保存部55aに、現在の判定IDの「JudgeRule02」を一時保存する(C29)。
以上のC21からC29まで処理が、異常予兆判定に関わる。
以上のC21からC29まで処理が、異常予兆判定に関わる。
金型温度異常予兆判定部55は、パトランプリクエスト送信部56に対し、判定された色(上記の例では黄)で点灯させるようにパトランプ点灯リクエストを送る(C30)。
パトランプリクエスト送信部56は、パトランプ点灯リクエストを受けて、上記の場合は、パトランプ5に所定の色で点灯するよう点灯指示をパトランプ5に出力する(C31)。
よって、パトランプリクエスト送信部56は、金型の温度異常の予兆の発生が検知されたときに、所定の情報を出力する情報出力部を構成する。
よって、パトランプリクエスト送信部56は、金型の温度異常の予兆の発生が検知されたときに、所定の情報を出力する情報出力部を構成する。
その結果、パトランプ5は、指示に応じた色の点灯指示を受け付けて、パトランプ5を点灯させる、上記の例では黄で点灯させる告知部である。パトランプ5の表示は、金型の温度異常の発生の予兆があることを製造ラインの作業者及び管理者に告知する。
従って、パトランプ5は、管理者等へ温度異常の予兆の発生を告知する告知部を構成する。
以上のC30からC31まで処理が、パトランプの制御に関わる。
次に、金型の温度異常の予兆の検知後、ダイカストマシン7の稼働を停止し、その後、金型の温度が低下して正常温度に回復し、ダイカストマシン7を再稼働するまでの処理について説明する
3)金型の温度異常の予兆の判定からダイカストマシンの稼働停止までの処理
図17は、金型の温度異常の予兆の判定からダイカストマシンの稼働停止までの処理のシーケンス図である。
次に、金型の温度異常の予兆の検知後、ダイカストマシン7の稼働を停止し、その後、金型の温度が低下して正常温度に回復し、ダイカストマシン7を再稼働するまでの処理について説明する
3)金型の温度異常の予兆の判定からダイカストマシンの稼働停止までの処理
図17は、金型の温度異常の予兆の判定からダイカストマシンの稼働停止までの処理のシーケンス図である。
金型温度異常予兆判定部55は、マシン制御ルール保存部52から、マシン制御ルールを取得する(C41)。
金型温度異常予兆判定部55は、上述した図16のシーケンス番号C28で取得しておいた前回判定IDと、現在の判定IDから、適合するルールのレコードを選択し読み出す。例えば、前回判定IDが「JudgeRule01」であり、現在の判定IDが「JudgeRule02」であれば、図11では、2番目のレコードが適合し、マシン制御して「稼働停止」が選択される。金型温度異常予兆判定部55は、マシン動作リクエスト送信部に対して、マシン制御(稼働停止)を送信する(C42)。
金型温度異常予兆判定部55は、上述した図16のシーケンス番号C28で取得しておいた前回判定IDと、現在の判定IDから、適合するルールのレコードを選択し読み出す。例えば、前回判定IDが「JudgeRule01」であり、現在の判定IDが「JudgeRule02」であれば、図11では、2番目のレコードが適合し、マシン制御して「稼働停止」が選択される。金型温度異常予兆判定部55は、マシン動作リクエスト送信部に対して、マシン制御(稼働停止)を送信する(C42)。
マシン動作リクエスト送信部57は、受信したマシン制御(稼働停止)を、ダイカストマシン7のマシン動作制御部8へ送信する(C43)。
マシン動作制御部8は、受信したマシン制御(稼働停止)に基づき、ダイカストマシン7の制御を実行(稼働停止)する。
マシン動作制御部8は、受信したマシン制御(稼働停止)に基づき、ダイカストマシン7の制御を実行(稼働停止)する。
2番目のレコードは、正常状態から異常状態になる予兆が検知されたため、金型の温度異常による不良品の製造される前に、ダイカストマシン7を停止させるルールを記述している。
よって、金型温度異常予兆判定部55は、Nショット先において不良品が製造される温度異常の予兆を検出すると、不良品が製造されるNショット前の時点で、ダイカストマシン7を停止させる。
よって、金型温度異常予兆判定部55は、Nショット先において不良品が製造される温度異常の予兆を検出すると、不良品が製造されるNショット前の時点で、ダイカストマシン7を停止させる。
以上のように、マシン動作リクエスト送信部57は、金型の温度異常の予兆の発生が検知されたときに、所定の情報を出力する情報出力部を構成する。そして、マシン動作リクエスト送信部57は、金型を用いて製品を製造する製造装置であるダイカストマシン7に対する動作制御のリクエスト信号を、ダイカストマシン7に送信する。特に、マシン動作リクエスト送信部57は、金型温度異常度推論部54が金型の温度異常の予兆の発生を検知したときに、ダイカストマシン7を停止させるリクエスト信号を、ダイカストマシン7に送信する。
ダイカストマシン7が停止されることにより、金型の温度は、上昇することはなくなり、低下し始める。
以上のように、パトランプ5の色が青色が黄色(あるいは赤色)に変わることにより、ダイカストマシン7の管理者は、熱だまりの予兆の発生を知ることができる。
以上のように、パトランプ5の色が青色が黄色(あるいは赤色)に変わることにより、ダイカストマシン7の管理者は、熱だまりの予兆の発生を知ることができる。
さらに、ダイカストマシン7も停止するので、例えば離型剤の不均一散布による金型の温度異常が原因で不良が発生する前に、熱だまりの予兆を発見できるので、不良数を減らすことができる。
特に、金型が熱だまりを持ったまま鋳造し続けると、金型にアルミ等のカスが残るため、ダイカストマシン7を停止して、金型のクリーニングが行われるので、ダウンタイムが発生する。しかし、上述したように不良品が発生する前に熱だまりを発見できるため、鋳造し続けることはなくなり、金型のクリーニングを回避でき、結果として、ダウンタイムの低減も図ることができる。
4)金型の温度の正常判定からダイカストマシンの再稼働までの処理
次に、金型の温度の正常判定からダイカストマシンの再稼働までの処理について説明する。
次に、金型の温度の正常判定からダイカストマシンの再稼働までの処理について説明する。
ダイカストマシン7が停止しても、サーモグラフィ4のサーモグラフィデータは、サーモグラフィデータ収集部60において、所定の間隔で収集される。この所定の間隔は、ダイカストマシン7が可動していたときの、データ収集周期と同じあるいは略同じである。
ダイカストマシン7の停止により、金型の温度が低下して、所定の正常温度になると、ダイカストマシン7が再稼働する。
図18は、金型の温度の正常判定からダイカストマシンの再稼働までの処理の流れの例を示すフローチャートである。図18の処理は、制御部41の制御の下で行われる。
図18は、金型の温度の正常判定からダイカストマシンの再稼働までの処理の流れの例を示すフローチャートである。図18の処理は、制御部41の制御の下で行われる。
金型温度異常予兆判定部55が金型の温度異常の予兆を検知して、ダイカストマシン7が停止すると、サーモグラフィデータの収集から推論実行リクエストの送信までの処理が実行される(ステップ(以下、Sと略す)1)。S1の処理は、上記のC12~C16までの処理に対応する。
次に、金型温度異常度推論部54は、上述した推論モデルに基づく推論の実行をし、金型温度異常予兆判定部55は、異常予兆判定を行い、現在の判定IDの一時保存までの処理を実行する(S2)。S2の処理は、上記のC22~C29までの処理に対応する。
そして、金型温度異常予兆判定部55は、金型の温度が正常温度になったか否かを判定する(S3)。
そして、金型温度異常予兆判定部55は、金型の温度が正常温度になったか否かを判定する(S3)。
異常度が所定の値の範囲、上記の例であれば0.0から0.6未満の値であると、金型の温度は正常温度になったと判定されるが、異常度が所定の値の範囲に入らないときは、金型の温度は正常温度にならないため、処理は、S1に戻る。すなわち、金型の温度が正常温度に回復するまで、S1,S2の処理が繰り返される。
異常度が所定の値の範囲、上記の例であれば0.0から0.6未満の値であると、金型の温度は正常温度になったとして、サーモグラフィデータの収集から推論実行リクエストの送信までの処理を実行する(S4)。S4の処理は、S1の処理と同じである。すなわち、金型が正常温度に回復したと仮定し、上記のC12~C16が実行される。
S4の処理後、金型温度異常予兆判定部55は、推論実行からパトランプ点灯の処理を実行する(S5)。S5の処理は、上記のC21からC31までの処理に対応する。
S5では、金型温度異常予兆判定部55は、取得した異常予兆判定ルールと異常度を使って、異常予兆判定を実行する。例えば、異常度が0.3と仮定すると、図12の判定ルールから、「JudgeRule01に該当し、判定IDの「JudgeRule01」に基づき、パトランプ5の色を青にする制御信号を出力する
金型温度異常予兆判定部55は、前回判定一時保存部55aから、前回判定IDを取得する。前回鋳造時の判定結果が警告(黄)だったので、予兆検出前に保存した「JudgeRule02」が取得される。
S5では、金型温度異常予兆判定部55は、取得した異常予兆判定ルールと異常度を使って、異常予兆判定を実行する。例えば、異常度が0.3と仮定すると、図12の判定ルールから、「JudgeRule01に該当し、判定IDの「JudgeRule01」に基づき、パトランプ5の色を青にする制御信号を出力する
金型温度異常予兆判定部55は、前回判定一時保存部55aから、前回判定IDを取得する。前回鋳造時の判定結果が警告(黄)だったので、予兆検出前に保存した「JudgeRule02」が取得される。
なお、金型温度異常予兆判定部55は、前回判定一時保存部55aに対し、現在の判定IDの「JudgeRule01」を登録する。
金型温度異常予兆判定部55は、パトランプリクエスト送信部56に対し、青を点灯させるようにパトランプ点灯リクエストを送信する。パトランプ5は、青の点灯指示を受け付けて、パトランプ5の色を青として点灯する。
金型温度異常予兆判定部55は、パトランプリクエスト送信部56に対し、青を点灯させるようにパトランプ点灯リクエストを送信する。パトランプ5は、青の点灯指示を受け付けて、パトランプ5の色を青として点灯する。
次に、金型温度異常予兆判定部55は、停止中のダイカストマシンを再稼働する稼働再開処理を実行する(S6)。
具体的には、金型温度異常予兆判定部55は、マシン制御ルール保存部52から、マシン制御ルールを取得する。
具体的には、金型温度異常予兆判定部55は、マシン制御ルール保存部52から、マシン制御ルールを取得する。
金型温度異常予兆判定部55は、上記のS4で取得しておいた前回判定ID(「JudgeRule02」)と、現在の判定ID(「JudgeRule01」)から、適合するルールのレコードを見つける。図11では、3番目のレコードが適合し、マシン制御として「稼働再開」が選択される。金型温度異常予兆判定部55は、マシン動作リクエスト送信部57に対して、マシン制御(稼働再開)を送信する。
マシン動作リクエスト送信部57は、受信したマシン制御(稼働再開)を、ダイカストマシン7のマシン動作制御部8へ送信する。マシン動作制御部8は、受信したマシン制御(稼働再開)に基づき、ダイカストマシン7の稼働を再開する。
すなわち、マシン動作リクエスト送信部57は、ダイカストマシン7を停止させるリクエスト信号をダイカストマシン7に送信した後、金型温度異常度推論部54が金型の温度異常の予兆の発生を検知しないときに、ダイカストマシン7を再稼働させるリクエスト信号を、ダイカストマシン7に送信する。
以上のように、金型の温度異常の予兆が検知されると、金型の温度異常の予兆は、パトランプ5の色の変化で管理者に知らされる。
管理者は、サーモ画像を見て、金型の表面の温度の高い部分に離型剤を散布することにより金型の表面温度を低下させる等の対応を取ることができる。
管理者は、サーモ画像を見て、金型の表面の温度の高い部分に離型剤を散布することにより金型の表面温度を低下させる等の対応を取ることができる。
さらに、金型の温度異常の予兆が検知されると、マシン制御ルールに基づいてダイカストマシン7が稼働を停止して、不良品の発生が防止される。
そして、ダイカストマシンが一旦停止した後、金型の温度が正常温度に戻ると、ダイカストマシン7は、自動的に再稼働する。
そして、ダイカストマシンが一旦停止した後、金型の温度が正常温度に戻ると、ダイカストマシン7は、自動的に再稼働する。
よって、不良品の発生が自動的に防止されると共に、現場管理者は、マニュアルでダイカストマシン7の運転再開させる必要がないので、ダイカストマシン7の運転再開の管理をしなくてもよい。
5)推論時の注目領域における勾配データの可視化処理
ところで、モニタ6には金型のサーモ画像が表示可能であるが、温度異常があったときに、生成された推論モデルに基づいて、温度異常の状態を、モニタ6に表示するようにしてもよい。
ところで、モニタ6には金型のサーモ画像が表示可能であるが、温度異常があったときに、生成された推論モデルに基づいて、温度異常の状態を、モニタ6に表示するようにしてもよい。
サーモ画像は、熱分布を色を用いて表示するが、ユーザは、熟練した現場有識者でない限り、どのような熱分布になると不良品が発生し易くなるか、あるいはどのような熱分布のときに不良品が発生しないかを判断することは、困難である。
そこで、本実施形態では、上述した推論モデルの勾配データを可視化した画像を生成し、サーモ画像に重畳表示する。
図19は、勾配データの可視化処理の流れの例を示すフローチャートである。
図19は、勾配データの可視化処理の流れの例を示すフローチャートである。
現場管理者などのユーザが所定の指示を、入出力I/F(図示せず)から金型温度自動制御装置3へ与えると、制御部41が図19の処理を実行する。
まず、推論注目領域可視化処理部58は、N枚分の前処理データを入力として、誤差逆伝搬法を実行し、入力に対する推論注目データセットを出力する(S11)。誤差逆伝搬法については、「デビット・イー・ランメルハート、ジェフリー・イー・ヒントン、ロナルド・ジェイ・ウイリアムス著、「誤差逆伝播法による学習表示」、1986年10月8日、ネイチャー323(6088)」(Rumelhart, David E.; Hinton, Geoffrey E., Williams, Ronald J. (8 October 1986). “Learning representations by back-propagating errors”. Nature 323 (6088))を参照されたし。
まず、推論注目領域可視化処理部58は、N枚分の前処理データを入力として、誤差逆伝搬法を実行し、入力に対する推論注目データセットを出力する(S11)。誤差逆伝搬法については、「デビット・イー・ランメルハート、ジェフリー・イー・ヒントン、ロナルド・ジェイ・ウイリアムス著、「誤差逆伝播法による学習表示」、1986年10月8日、ネイチャー323(6088)」(Rumelhart, David E.; Hinton, Geoffrey E., Williams, Ronald J. (8 October 1986). “Learning representations by back-propagating errors”. Nature 323 (6088))を参照されたし。
誤差逆伝搬の処理は、事前にセットされた推論モデルに従って実行される。
推論注目データセットは、誤差逆伝搬法によって、N枚分の前処理データ集合の全てについて勾配ベクトルを算出し、その算出した勾配ベクトルを並べた行列である。
推論注目データセットは、誤差逆伝搬法によって、N枚分の前処理データ集合の全てについて勾配ベクトルを算出し、その算出した勾配ベクトルを並べた行列である。
ここで、勾配ベクトルを構成する偏微分の値は、チェーンルールなどを用いて計算できる。チェーンルールとは、複数の関数が合成された合成関数を微分するとき、その導関数がそれぞれの導関数の積で与えられるという関係式のことをいう。
図20は、推論注目データセットの一例を示す図である。入力変数がn個(画像の縦ピクセル数(m)×横ピクセル数(k)×画像枚数(N))の場合の例について示す。点線で示す推論注目データセットの各行の勾配ベクトルは、鋳造ごとのサーモ画像データ集合から算出した偏微分値である。
具体的には、1行目はK回目の鋳造時の勾配ベクトル、2行目は(K+1)回目の鋳造時の勾配ベクトル、3行目は(K+2)回目の鋳造時の勾配ベクトル、L行目は(K+L)回目の鋳造時の勾配ベクトルを示す。
ユーザは、可視化処理のためのN枚分の前処理データを指示すると、図20に示すようなデータの中から、対応するN枚分の推論注目データセットが選択される。
推論注目領域可視化処理部58は、推論注目データセットの各勾配ベクトルの値を画素値に変換する処理を実行し、推論注目画像データとして出力する(S12)。すなわち、推論注目データセットの各勾配ベクトルは、絶対値を取った0~255の値に正規化され、画像データ化される。
推論注目領域可視化処理部58は、N枚分の推論注目データセットから、推論注目領域平均画像データを作成する(S13)。
推論注目領域可視化処理部58は、データ単位で、前処理データに対応するサーモ画像データのN枚のサーモ画像と、S13で作成された平均画像データの平均画像との合成を行った推論注目領域画像データを出力する(S14)。上述した例であれば、3枚のサーモ画像と平均画像とを重畳した推論注目領域画像のデータが出力される。
推論注目領域可視化処理部58は、データ単位で、前処理データに対応するサーモ画像データのN枚のサーモ画像と、S13で作成された平均画像データの平均画像との合成を行った推論注目領域画像データを出力する(S14)。上述した例であれば、3枚のサーモ画像と平均画像とを重畳した推論注目領域画像のデータが出力される。
なお、Nは1でもよく、その場合、S14では、1枚のサーモ画像と、S12で変換された画像とが合成される。
推論注目領域可視化処理部58は、金型温度モニタ表示処理部59に推論注目領域画像データを供給して、可視化された勾配データとサーモ画像がモニタ6の画面上に重畳表示する(S15)。よって、可視化された勾配データは、サーモ画像上のエリア毎の誤差分布を示すということができる。
推論注目領域可視化処理部58は、金型温度モニタ表示処理部59に推論注目領域画像データを供給して、可視化された勾配データとサーモ画像がモニタ6の画面上に重畳表示する(S15)。よって、可視化された勾配データは、サーモ画像上のエリア毎の誤差分布を示すということができる。
以上のように、推論注目領域可視化処理部58と金型温度モニタ表示処理部59は、推論モデルの各層の所定のパラメータについての、指定されたサーモ画像の勾配ベクトルを可視化してモニタ6上に表示するための処理を行う可視化処理部を構成する。
図21は、モニタ6に表示される可視化された勾配データの表示例を示す図である。
図21において、点線で示す領域Viは、勾配ベクトルをサーモ画像の領域毎に画像化した画像(以下、勾配ベクトル画像という)であるので、ユーザは、サーモ画像上に重畳された勾配ベクトル画像の模様の状態から、直感的に、金型の温度状態を知ることができる。
図21において、点線で示す領域Viは、勾配ベクトルをサーモ画像の領域毎に画像化した画像(以下、勾配ベクトル画像という)であるので、ユーザは、サーモ画像上に重畳された勾配ベクトル画像の模様の状態から、直感的に、金型の温度状態を知ることができる。
よって、ユーザは、モニタ6に表示された、多くの異常時の勾配ベクトル画像と多くの正常時の勾配ベクトル画像とを比較することができるので、異常時及び正常時の判定を勾配ベクトル画像を見ることによって、金型の温度の正常・異常の判定、予知などをすることができる。
また、ユーザは、異常時の勾配ベクトル画像から、金型設計へのフィードバックをすることも期待できる。
上述したように、例えば離型剤は毎回不均一に散布される場合があるため、熱だまりの箇所も常に同じ場所に発生しない。そのため、ピンポイントでの離型剤散布による冷却対策を打ちにくいという問題もある。しかし、上述したような熱だまりの予兆箇所も推定して可視化することで、熱だまりの予兆を検知した箇所を、ユーザが目で判断できるため、ピンポイントでの離型剤散布が可能になり、金型の冷却も加速され、不良数もさらに減ることが期待できる。
上述したように、例えば離型剤は毎回不均一に散布される場合があるため、熱だまりの箇所も常に同じ場所に発生しない。そのため、ピンポイントでの離型剤散布による冷却対策を打ちにくいという問題もある。しかし、上述したような熱だまりの予兆箇所も推定して可視化することで、熱だまりの予兆を検知した箇所を、ユーザが目で判断できるため、ピンポイントでの離型剤散布が可能になり、金型の冷却も加速され、不良数もさらに減ることが期待できる。
従来は、有識者によるサーモグラフィ画像解析は、属人的な手法であるため、多くの工場及び多くの製品に広く適用することはできない。
しかし、上述した実施形態によれば、従来の現場有識者と同様に、金型の時系列データ(サーモ画像)から、熱だまりの発生の予兆を自動検知することができる。
しかし、上述した実施形態によれば、従来の現場有識者と同様に、金型の時系列データ(サーモ画像)から、熱だまりの発生の予兆を自動検知することができる。
さらに、熱だまり予兆の検知後、金型が正常温度に戻るまで、ダイカストマシンを一時停止して再開する自動制御が実現できる。
また、熱だまりの予兆箇所も推定し、可視化することができる。
また、熱だまりの予兆箇所も推定し、可視化することができる。
以上のように、本実施形態によれば、サーモグラフィ画像から金型の温度異常の予兆を検知することができる金型温度異常予兆検知装置及び記憶媒体を提供することができる。
なお、上述した実施形態では、金型がダイカストマシン7に用いられる金型である例を説明したが、上述した実施形態は、射出成形機に用いられる金型にも適用可能である。
なお、以上説明した動作を実行するプログラムは、コンピュータプログラム製品として、フレキシブルディスク、CD-ROM等の可搬媒体や、ハードディスク等の記憶媒体に、その全体あるいは一部が記録され、あるいは記憶されている。そのプログラムがコンピュータにより読み取られて、動作の全部あるいは一部が実行される。あるいは、そのプログラムの全体あるいは一部を通信ネットワークを介して流通または提供することができる。利用者は、通信ネットワークを介してそのプログラムをダウンロードしてコンピュータにインストールしたり、あるいは記録媒体からコンピュータにインストールすることで、容易に上述した金型温度異常予兆検知装置を実現することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として例示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
本出願は、2017年11月6日に日本国に出願された特願2017-213994号を優先権主張の基礎として出願するものであり、上記の開示内容は、本願明細書、請求の範囲に引用されるものとする。
Claims (9)
- 所定の間隔で取得された金型の複数のサーモ画像データと、前記複数のサーモ画像データに紐付けられた教示データに基づいて、前記複数のサーモ画像データの中から抽出された連続する所定数の時系列画像データを1つのサンプルデータとして学習して、前記金型の温度異常の予兆を検知するための推論モデルを生成するモデル生成部と、
前記金型の前記所定数の時系列画像データに基づいて、前記推論モデルを用いて前記所定数先の前記金型の前記温度異常の予兆の発生を検知する推論実行部と、
前記推論実行部が前記金型の前記温度異常の予兆の発生を検知したときに、所定の情報を出力する情報出力部と、
を有する金型温度異常予兆検知装置。 - 前記モデル生成部は、ディープラーニングによる学習により前記推論モデルの生成を行う、請求項1に記載の金型温度異常予兆検知装置。
- 前記情報出力部は、前記温度異常の予兆の発生を告知する告知部へ前記所定の情報を出力する、請求項1に記載の金型温度異常予兆検知装置。
- 前記告知部は、パトランプであり、
前記情報出力部は、前記パトランプに所定の色で点灯するよう点灯指示するリクエスト送信部である、請求項3に記載の金型温度異常予兆検知装置。 - 前記情報出力部は、前記金型を用いて製品を製造する製造装置に対する動作制御のリクエスト信号を、前記製造装置に送信するリクエスト送信部である、請求項1に記載の金型温度異常予兆検知装置。
- 前記リクエスト送信部は、前記推論実行部が前記金型の前記温度異常の予兆の発生を検知したときに、前記製造装置を停止させるリクエスト信号を、前記製造装置に送信する、請求項5に記載の金型温度異常予兆検知装置。
- 前記リクエスト送信部は、前記製造装置を停止させるリクエスト信号を前記製造装置に送信した後、前記推論実行部が前記金型の前記温度異常の予兆の発生を検知しないときに、前記製造装置を再稼働させるリクエスト信号を、前記製造装置に送信する、請求項6に記載の金型温度異常予兆検知装置。
- 前記推論モデルは、入力層、隠れ層及び出力層を含むニューラルネットワーク型の推論モデルであり、
前記推論モデルの各層の所定のパラメータについての、指定されたサーモ画像の勾配ベクトルを可視化してモニタ上に表示するための処理を行う可視化処理部を有する、請求項1に記載の金型温度異常予兆検知装置。 - 所定の間隔で取得された金型の複数のサーモ画像データと、前記複数のサーモ画像データに紐付けられた教示データに基づいて、前記複数のサーモ画像データの中から抽出された連続する所定数の時系列画像データを1つのサンプルデータとして学習して、前記金型の温度異常の予兆を検知するための推論モデルを生成する第1の手順と、
前記金型の前記所定数の時系列画像データに基づいて、前記推論モデルを用いて前記所定数先の前記金型の前記温度異常の予兆の発生を検知する第2の手順と、
前記第2の手順において前記金型の前記温度異常の予兆の発生が検知されたときに、所定の情報を出力する第3の手順と、
をコンピュータに実行させるためのプログラムを記録した記憶媒体。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020207012785A KR102363152B1 (ko) | 2017-11-06 | 2018-03-27 | 금형 온도 이상 예조 검지 장치 및 기억 매체 |
CN201880071615.XA CN111372704B (zh) | 2017-11-06 | 2018-03-27 | 模具温度异常预兆检测装置以及存储介质 |
EP18874595.4A EP3708274A4 (en) | 2017-11-06 | 2018-03-27 | DEVICE FOR DETECTING SHAPE TEMPERATURE ANOMALIES AND STORAGE MEDIUM |
US16/857,393 US11501509B2 (en) | 2017-11-06 | 2020-04-24 | Mold temperature anomaly sign detection apparatus, mold temperature anomaly sign detection method and storage medium |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-213994 | 2017-11-06 | ||
JP2017213994A JP6591509B2 (ja) | 2017-11-06 | 2017-11-06 | 金型温度異常予兆検知装置及びプログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/857,393 Continuation US11501509B2 (en) | 2017-11-06 | 2020-04-24 | Mold temperature anomaly sign detection apparatus, mold temperature anomaly sign detection method and storage medium |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019087427A1 true WO2019087427A1 (ja) | 2019-05-09 |
Family
ID=66331563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/012544 WO2019087427A1 (ja) | 2017-11-06 | 2018-03-27 | 金型温度異常予兆検知装置及び記憶媒体 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11501509B2 (ja) |
EP (1) | EP3708274A4 (ja) |
JP (1) | JP6591509B2 (ja) |
KR (1) | KR102363152B1 (ja) |
CN (1) | CN111372704B (ja) |
WO (1) | WO2019087427A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7483436B2 (ja) | 2020-03-23 | 2024-05-15 | 住友重機械工業株式会社 | 射出成形機及びステータス決定装置 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020190956A (ja) * | 2019-05-22 | 2020-11-26 | 株式会社東芝 | 製造条件出力装置、品質管理システム及びプログラム |
JP7277272B2 (ja) * | 2019-06-11 | 2023-05-18 | ファナック株式会社 | 機械学習装置、予測装置、及び制御装置 |
JP2021005846A (ja) * | 2019-06-27 | 2021-01-14 | オリンパス株式会社 | 積層型撮像デバイス、撮像装置、撮像方法、学習方法及び画像読み出し回路 |
JP2021026505A (ja) * | 2019-08-05 | 2021-02-22 | ギリア株式会社 | 情報処理装置および情報処理用プログラム |
JP6716185B1 (ja) * | 2019-09-05 | 2020-07-01 | 株式会社ソディック | 射出成形機の画像記録装置 |
JP7345976B2 (ja) * | 2019-09-12 | 2023-09-19 | ジヤトコ株式会社 | 鋳造金型用の温度測定装置 |
KR102298755B1 (ko) * | 2019-11-29 | 2021-09-07 | 한국생산기술연구원 | 딥러닝을 이용한 다이캐스팅 공정 관리 시스템 |
KR102144576B1 (ko) * | 2020-03-16 | 2020-08-13 | (주)사이버테크프랜드 | 사출 제조 제어 시스템 |
KR102417415B1 (ko) | 2020-11-06 | 2022-07-06 | 한국생산기술연구원 | 딥러닝 이상 감지 기반 생산 제품 불량 검출 방법 및 시스템 |
CN116669882A (zh) * | 2021-03-31 | 2023-08-29 | 住友重机械工业株式会社 | 品质预测装置及其方法、程序以及记录介质 |
KR102400577B1 (ko) * | 2021-12-14 | 2022-05-23 | (주)대양아이앤디 | 냉각장치가 포함된 사출금형 |
KR102574092B1 (ko) | 2023-03-14 | 2023-09-04 | 주식회사 아이투프럼 | 인공지능 기반 온도 및 진동 센서 데이터를 활용한 금형 이상 여부 판단 방법, 장치 및 시스템 |
CN116341995A (zh) * | 2023-05-30 | 2023-06-27 | 深圳市鼎盛精密工业有限公司 | 一种模具生命周期管理方法、系统及电子设备 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5637287B2 (ja) | 1973-08-08 | 1981-08-29 | ||
JPH08267528A (ja) * | 1995-03-31 | 1996-10-15 | Seikosha Co Ltd | 金型監視装置 |
US20080038395A1 (en) * | 2003-11-20 | 2008-02-14 | Avalon Vision Solutions, Inc. | Sensory System and Method Thereof |
JP2008040647A (ja) * | 2006-08-03 | 2008-02-21 | Meiwa E Tec:Kk | 温度制御装置 |
JP2014162132A (ja) * | 2013-02-26 | 2014-09-08 | Murata Mach Ltd | 型締装置の管理システム |
JP2017213994A (ja) | 2016-05-31 | 2017-12-07 | 株式会社小松製作所 | 作業車両 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6059375B2 (ja) | 1978-07-31 | 1985-12-25 | 松下電工株式会社 | 簡易水洗便器のハンドル構造 |
JP2718800B2 (ja) * | 1990-01-25 | 1998-02-25 | 富士通株式会社 | 連続鋳造のブレークアウト予知処理方式 |
JPH0477219A (ja) * | 1990-07-19 | 1992-03-11 | Toshiba Corp | 成形支援エキスパートシステム |
JP3083757B2 (ja) * | 1996-03-28 | 2000-09-04 | 株式会社日本製鋼所 | 樹脂可塑化用シリンダの温度制御方法および温度制御装置 |
JP5487474B2 (ja) | 2006-02-28 | 2014-05-07 | 昭和電工株式会社 | 熱間鍛造による鍛造方法 |
JP5301310B2 (ja) * | 2009-02-17 | 2013-09-25 | 株式会社日立製作所 | 異常検知方法及び異常検知システム |
CN102147290A (zh) * | 2011-01-14 | 2011-08-10 | 北京广微积电科技有限公司 | 红外成像温度监测方法和系统 |
JP5808605B2 (ja) * | 2011-08-17 | 2015-11-10 | 株式会社日立製作所 | 異常検知・診断方法、および異常検知・診断システム |
JP5895672B2 (ja) * | 2012-04-03 | 2016-03-30 | マツダ株式会社 | 金型温度監視装置及びその監視方法 |
JP5917340B2 (ja) * | 2012-08-29 | 2016-05-11 | 住友重機械工業株式会社 | 射出成形機 |
CN103240832B (zh) * | 2013-05-23 | 2015-05-13 | 无锡新开河储罐有限公司 | 滚塑工艺中模具温度的自动控制方法 |
CN104809722B (zh) * | 2015-04-13 | 2018-09-28 | 国家电网公司 | 一种基于红外热像的电气设备故障诊断方法 |
CN106980729B (zh) * | 2015-07-24 | 2018-08-17 | 安徽工业大学 | 一种基于混合模型的连铸漏钢预报方法 |
JP6059375B1 (ja) | 2016-02-09 | 2017-01-11 | ファナック株式会社 | 生産制御システムおよび統合生産制御システム |
JP2018124990A (ja) * | 2017-01-31 | 2018-08-09 | キヤノン株式会社 | モデル生成装置、評価装置、モデル生成方法、評価方法及びプログラム |
CN107067026A (zh) * | 2017-02-16 | 2017-08-18 | 国网江苏省电力公司电力科学研究院 | 基于深度神经网络的电力设备故障检测方法 |
CN107020366A (zh) * | 2017-04-21 | 2017-08-08 | 苏州春兴精工股份有限公司 | 模具温度采集方法 |
-
2017
- 2017-11-06 JP JP2017213994A patent/JP6591509B2/ja active Active
-
2018
- 2018-03-27 EP EP18874595.4A patent/EP3708274A4/en active Pending
- 2018-03-27 CN CN201880071615.XA patent/CN111372704B/zh active Active
- 2018-03-27 WO PCT/JP2018/012544 patent/WO2019087427A1/ja unknown
- 2018-03-27 KR KR1020207012785A patent/KR102363152B1/ko active IP Right Grant
-
2020
- 2020-04-24 US US16/857,393 patent/US11501509B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS5637287B2 (ja) | 1973-08-08 | 1981-08-29 | ||
JPH08267528A (ja) * | 1995-03-31 | 1996-10-15 | Seikosha Co Ltd | 金型監視装置 |
US20080038395A1 (en) * | 2003-11-20 | 2008-02-14 | Avalon Vision Solutions, Inc. | Sensory System and Method Thereof |
JP2008040647A (ja) * | 2006-08-03 | 2008-02-21 | Meiwa E Tec:Kk | 温度制御装置 |
JP2014162132A (ja) * | 2013-02-26 | 2014-09-08 | Murata Mach Ltd | 型締装置の管理システム |
JP2017213994A (ja) | 2016-05-31 | 2017-12-07 | 株式会社小松製作所 | 作業車両 |
Non-Patent Citations (3)
Title |
---|
RUMELHART, DAVID E.HINTON, GEOFFREY E.WILLIAMS, RONALD J.: "Learning representations by back-propagating errors", NATURE, vol. 323, no. 6088, 8 October 1986 (1986-10-08), XP037129009, DOI: 10.1038/323533a0 |
See also references of EP3708274A4 |
Y. LECUNB. BOSERJ. S. DENKERD. HENDERSONR. E. HOWARDW. HUBBARDL.D. JACKEL: "Backpropagation applied to handwritten zip code recognition", NEURALCOMPUTATION, vol. 1, 1989, pages 541 - 551, XP000789854 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7483436B2 (ja) | 2020-03-23 | 2024-05-15 | 住友重機械工業株式会社 | 射出成形機及びステータス決定装置 |
Also Published As
Publication number | Publication date |
---|---|
CN111372704B (zh) | 2022-10-28 |
KR102363152B1 (ko) | 2022-02-15 |
US20200257916A1 (en) | 2020-08-13 |
JP2019084556A (ja) | 2019-06-06 |
CN111372704A (zh) | 2020-07-03 |
KR20200065037A (ko) | 2020-06-08 |
EP3708274A4 (en) | 2021-08-18 |
US11501509B2 (en) | 2022-11-15 |
EP3708274A1 (en) | 2020-09-16 |
JP6591509B2 (ja) | 2019-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019087427A1 (ja) | 金型温度異常予兆検知装置及び記憶媒体 | |
US20200265535A1 (en) | Skill platform system, skill modeling device, and skill dissemination method | |
EP2122253B1 (en) | A flare characterization and control system | |
US11468538B2 (en) | Segmentation and prediction of low-level temporal plume patterns | |
US11353835B2 (en) | Plant operation support apparatus, plant operation support method, and plant operation support program recording medium | |
JP7297831B2 (ja) | 製造条件出力装置、品質管理システム及びプログラム | |
WO1989000726A1 (en) | Controller having deducing function | |
TW202004573A (zh) | 學習裝置、學習推論裝置、方法及程式 | |
WO2020095848A1 (ja) | 製品状態推定装置 | |
US11443513B2 (en) | Systems and methods for resource analysis, optimization, or visualization | |
JP7006104B2 (ja) | 気流測定装置 | |
JP7446060B2 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP2006276924A (ja) | 設備機器診断装置及び設備機器診断プログラム | |
JP6702297B2 (ja) | プロセスの異常状態診断方法および異常状態診断装置 | |
US20210186266A1 (en) | Assessing a quality of a cooking medium in a fryer using artificial intelligence | |
CN117161120A (zh) | 金合金丝的基体圆度调整方法、装置、设备及存储介质 | |
US20220141555A1 (en) | Management system and calculation method | |
JP2022098763A (ja) | 鮮度管理システム、鮮度管理方法および、鮮度管理プログラム | |
CN116997867A (zh) | 用于预测技术设施的运行的方法和系统 | |
JP2021114257A (ja) | 品質予測装置、品質予測方法、品質予測プログラム、学習装置、および学習済みモデル | |
JP6898382B2 (ja) | 射出成形機稼動管理に対する支援方法 | |
JP2020024565A (ja) | 整備管理装置、整備管理方法及びプログラム | |
KR100973574B1 (ko) | 열화상 분석을 통한 에너지 손실 진단 시스템 | |
US20230152759A1 (en) | Information processing apparatus, information processing method, and computer program product | |
WO2022014443A1 (ja) | プラント管理方法、プラント管理装置およびプラント管理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18874595 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 20207012785 Country of ref document: KR Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2018874595 Country of ref document: EP Effective date: 20200608 |