JP7509033B2 - 検査装置、検査方法、機械学習装置、及び機械学習方法 - Google Patents
検査装置、検査方法、機械学習装置、及び機械学習方法 Download PDFInfo
- Publication number
- JP7509033B2 JP7509033B2 JP2020217535A JP2020217535A JP7509033B2 JP 7509033 B2 JP7509033 B2 JP 7509033B2 JP 2020217535 A JP2020217535 A JP 2020217535A JP 2020217535 A JP2020217535 A JP 2020217535A JP 7509033 B2 JP7509033 B2 JP 7509033B2
- Authority
- JP
- Japan
- Prior art keywords
- inspection
- mold
- information indicating
- trained model
- appearance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000007689 inspection Methods 0.000 title claims description 371
- 238000010801 machine learning Methods 0.000 title claims description 128
- 238000000034 method Methods 0.000 title claims description 121
- 230000007547 defect Effects 0.000 claims description 104
- 238000000465 moulding Methods 0.000 claims description 85
- 239000004576 sand Substances 0.000 claims description 57
- 230000007613 environmental effect Effects 0.000 claims description 33
- 238000010276 construction Methods 0.000 claims description 25
- 238000012549 training Methods 0.000 claims description 21
- 239000003110 molding sand Substances 0.000 claims description 6
- 239000004065 semiconductor Substances 0.000 claims description 5
- 230000015654 memory Effects 0.000 description 111
- 230000008569 process Effects 0.000 description 61
- 230000032258 transport Effects 0.000 description 46
- 238000005266 casting Methods 0.000 description 37
- 239000008186 active pharmaceutical agent Substances 0.000 description 23
- 230000002950 deficient Effects 0.000 description 20
- 238000004891 communication Methods 0.000 description 17
- 238000010586 diagram Methods 0.000 description 14
- 238000002360 preparation method Methods 0.000 description 14
- 238000012986 modification Methods 0.000 description 12
- 230000004048 modification Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 239000003795 chemical substances by application Substances 0.000 description 10
- 238000003860 storage Methods 0.000 description 8
- 239000002184 metal Substances 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000004898 kneading Methods 0.000 description 5
- 239000000428 dust Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 229920002472 Starch Polymers 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 239000000956 alloy Substances 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000011230 binding agent Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005553 drilling Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 235000019698 starch Nutrition 0.000 description 1
- 239000008107 starch Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
- G06T7/001—Industrial image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/9501—Semiconductor wafers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
- G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/84—Systems specially adapted for particular applications
- G01N21/88—Investigating the presence of flaws or contamination
- G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
- G01N21/956—Inspecting patterns on the surface of objects
- G01N21/95607—Inspecting patterns on the surface of objects using a comparative method
- G01N2021/95615—Inspecting patterns on the surface of objects using a comparative method with stored comparision signal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30116—Casting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30148—Semiconductor; IC; Wafer
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Biochemistry (AREA)
- Analytical Chemistry (AREA)
- Chemical & Material Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Health & Medical Sciences (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明の一実施形態に係る検査システムSについて、図1を参照して説明する。図1は、検査システムSの構成を示す図である。
学習済モデルLMの入力は、検査画像を含む。また、学習済モデルLMの入力は、砂情報、造型情報、搬送情報、及び環境情報の一部または全部をさらに含む。これらの入力データについて説明する。
検査画像は、カメラ3が鋳型9の製品面を撮像することにより生成した画像である。検査画像は、被写体として鋳型9の製品面を含む。
砂情報は、鋳型9を構成する鋳物砂を示す情報である。砂情報は、鋳型9を構成する鋳物砂の種別、及び性状のそれぞれを示す情報の一部または全部を含む。鋳物砂の性状を示す情報の一例としては、鋳物砂に含まれる水分量、コンパクタビリティ値、砂温度、通気度、及び圧縮強度等がある。砂情報は、砂性状測定装置92から出力される。
造型情報は、鋳型9の造型状況を示す情報である。造型状況の一例としては、造型時における鋳型9の状況、及び造型機93の状況がある。鋳型9の状況を示す情報の一例としては、例えば、離型剤情報がある。離型剤情報は、鋳型9に塗布された離型剤に関する情報である。離型剤情報は、例えば、離型剤の種別、塗布量、及び塗布回数のそれぞれに関する情報を含む。造型機93の状況を示す情報としては、装置の設定情報がある。設定情報は、例えば、スクイズ圧、砂入れ時間、砂入れ時の圧力、砂投入重量、及び造型機の使用状況のそれぞれを示す情報を含む。造型機の使用状況の一例としては、造型回数、及び部品の摩耗状況等がある。摩耗する可能性がある部品の一例としては、キャリアプレートのシール部品等がある。造型情報は、造型機93から出力される。なお、離型剤は、作業者および造型機93の一方または両方によって鋳型9に塗布されることがある。この場合、離型剤情報は、作業者により入力されてもよい。
搬送情報は、鋳型9の搬送状況を示す情報である。後述する鋳造ラインCでは、鋳型9は、造型機93から下流側に向かって搬送される。下流側とは、造型機93から見て後述する注湯機97の側である。搬送情報は、例えば、この搬送中に鋳型9に加わる外力を示す情報を含む。搬送情報は、センサ群98のうち何れかから出力される。
環境情報は、造型機93または検査装置1周辺の環境を示す情報である。なお、環境情報が検査装置1周辺の環境を示す場合、検査装置1は、後述する鋳造ラインCの周辺に設置される。環境情報は、例えば、気温、湿度、及び浮遊粉じんの濃度の一部または全部を示す情報を含む。環境情報は、センサ群98のうち何れかから出力される。
学習済モデルLMの出力は、鋳型9の製品面に関する検査結果を示す情報である。この検査結果を示す情報は、欠陥の有無を示す情報、及び、1または複数の欠陥の領域を示す情報の一方または両方を含む。本実施形態では、検査結果を示す情報は、これらの情報の両方を含むものとして説明する。これらの情報について説明する。
欠陥の有無を示す情報は、例えば、型落ち不良の有無を示す。欠陥の有無を示す情報は、例えば、有無を示す2値の情報である。
欠陥の領域を示す情報は、例えば、鋳型9の製品面において型落ち不良が発生した箇所を示す。なお、学習済モデルLMは、鋳型9の製品面において1箇所に欠陥が発生している場合、1つの欠陥の領域を示す情報を出力し、複数箇所に欠陥が発生している場合、複数の欠陥の各々の領域を示す情報を出力する。各欠陥の領域を示す情報は、その欠陥の位置、大きさ、及び形状のそれぞれを示す情報を含む。
欠陥の位置を示す情報は、例えば、検査画像における欠陥の像の位置によって表される。具体例として、欠陥の位置を示す情報は、検査画像において欠陥の像を包含する(例えば、欠陥の像に外接する)矩形の何れかの頂点の座標であってもよい。
欠陥の大きさを示す情報は、例えば、検査画像における欠陥の像の大きさによって表される。具体例として、欠陥の大きさを示す情報は、上述した矩形の面積であってもよい。
欠陥の形状を示す情報は、例えば、検査画像における欠陥の像の形状によって表される。具体例として、欠陥の形状を示す情報は、上述した矩形のアスペクト比であってもよい。
検査システムSは、準備フェーズと試用フェーズとを経て実用フェーズに至る。準備フェーズ、試用フェーズ、及び実用フェーズについて、その内容を簡単に説明すれば、以下のとおりである。
準備フェーズにおいては、作業者が鋳型9の製品面を検査し、機械学習装置2が学習用データセットDSを生成して学習済モデルLMを構築する。
試用フェーズにおいては、作業者が鋳型9の製品面を検査すると共に、検査装置1が鋳型9の製品面の検査を行う。
実用フェーズにおいては、検査装置1が鋳型9の製品面を検査する。
検査装置1の構成について、図2を参照して説明する。図2は、検査装置1の構成を示すブロック図である。
入出力インタフェース14としては、例えば、USB(Universal Serial Bus)、ATA(Advanced Technology Attachment)、SCSI(Small Computer System Interface)、PCI(Peripheral Component Interconnect)などのインタフェースが挙げられる。
また、入出力インタフェース14に接続される入力デバイスとしては、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。検査方法M1においてユーザから取得するデータは、これらの入力デバイスを介して検査装置1に入力され、一次メモリ12に記憶される。また、入出力インタフェース14に接続される出力デバイスとしては、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。検査方法M1においてユーザに提供する情報は、これらの出力デバイスを介して検査装置1から出力される。なお、検査装置1は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、検査装置1は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。
検査方法M1の流れについて、図3を参照して説明する。図3は、検査方法M1の流れを示すフローチャートである。
機械学習装置2の構成について、図4を参照して説明する。図4は、機械学習装置2の構成を示すブロック図である。
機械学習方法M2の流れについて、図5を参照して説明する。図5は、機械学習方法M2の流れを示すフローチャートである。
検査システムSの適用対象となる鋳造ラインCの一部の構成について、図6を参照して説明する。図6は、鋳造ラインCの概略的な構成の一部を示すブロック図である。鋳造ラインCは、搬送路にそって複数の鋳型9を搬送し、各鋳型9へ注湯することにより鋳物を製造するシステムの一部の一例である。鋳造ラインCで用いる鋳型9は生型であり、造型方式は枠付き造型である。ただし、鋳造ラインCにおける造型方式は抜枠造型であってもよい。また、検査システムSが適用対象とする鋳造ラインは、自硬性鋳型を用いるラインであってもよい。
鋳造ラインCが実施する鋳造工程C100について、図7を参照して説明する。図7は、鋳造工程C100の一部の各工程を説明するフローチャートである。図7に示すように、鋳造工程C100は、混練工程C101と、造型工程C102と、搬送工程C103、C105、C107、C109と、検査工程C104と、中子セット工程C106と、型合わせ工程C108と、注湯工程C110とを含む。
ここで、不良枠の詳細について説明する。不良枠とは、その製品面に欠陥(例えば、型落ち不良)があり、良品を製造できないと判断された鋳型9(または当該鋳型9が配置された鋳枠F)である。型合わせ工程C108より前の工程では、鋳枠F付き上型または下型が不良枠として登録される。不良枠の登録とは、例えば、不良枠を示す情報をシフトデータに記録することである。シフトデータとは、ラインコントローラ(図示せず)が鋳枠Fの位置(P1~P14)に対応する記憶領域に記憶する情報である。鋳枠Fが1枠搬送(シフト)されると、記憶領域に記録されたシフトデータもまた、搬送先の位置に対応する記憶領域にシフトして記憶される。シフトデータは、例えば造型履歴を示すデータ(造型情報)、搬送状況を示すデータ(搬送情報)、溶湯状態を示すデータ、及び合金材投入履歴を示すデータ等、またはこれらのデータが紐付けられた鋳型9の識別情報を含む。
上述した鋳造工程C100の説明では、作業者が中子をセットしているが、中子セット場95には、中子を自動でセットする中子セット装置(図示せず)が配置されてもよい。この場合、中子セット装置が、鋳枠F付き下型に中子をセットする。この場合、検査装置1は、検査工程C104において、鋳枠F付き上型または下型の製品面に欠陥があると判断した場合、警告情報を出力デバイスに出力することに代えて、または、加えて、当該鋳枠F付き上型または下型を不良枠として登録する処理を行ってもよい。例えば、検査装置1は、ラインコントローラに対して、不良枠の登録を要求する要求情報を送信する。ラインコントローラは、要求情報の受信に応じて、該当する鋳枠F付き上型または下型が不良枠であることを示す情報をシフトデータに記録する。中子セット装置は、シフトデータを参照することにより、不良枠として登録された(すなわち、警告情報が出力された)鋳枠F付き下型には中子をセットしない。
上述した本発明の一実施形態は、学習済モデルの入力がさらに基準画像を含むよう変形することができる。
検査装置1aは、検査装置1に対して、学習済モデルLMの代わりに学習済モデルLMaを用いて、鋳型9の製品面を検査する点が異なる。それ以外の点については、検査装置1と同様である。
学習済モデルLMaの入力は、学習済モデルLMの入力と同様の検査画像、砂情報、造型情報、搬送情報、及び環境情報に加えて、基準画像を含む。基準画像は、正常な鋳型9の製品面がカメラ3によって撮像された画像である。正常な鋳型9は、製品面に欠陥を有していない。基準画像に被写体として含まれる鋳型9は、検査画像に被写体として含まれる鋳型9と同一種類の模型を用いて造型されたものである。学習済モデルLMaの出力は、学習済モデルLMの出力と同様である。
検査装置1aによる検査方法について、図3を参照して説明する。検査装置1aによる検査方法は、図3に示した検査方法M1に含まれる取得ステップM11、及び検査ステップM12を次のように変形することにより説明される。それ以外の点については、検査方法M1と同様である。
機械学習装置2aは、機械学習装置2に対して、学習用データセットDSの代わりに学習用データセットDSaを用いて、学習済モデルLMの代わりに学習済モデルLMaを構築する点が異なる。それ以外の点については、機械学習装置2と同様である。
機械学習装置2aによる機械学習方法について、図5を参照して説明する。機械学習装置2aによる機械学習方法は、図5に示した機械学習方法M2に含まれる各ステップを次のように変形することにより説明される。それ以外の点については、機械学習方法M2と同様である。
上述した本発明の一実施形態は、鋳型9の製品面の検査を行うために用いる学習済モデルを、当該鋳型9の造型に用いた模型の種類に応じて選択するよう変形することができる。
検査装置1bは、検査装置1に対して、学習済モデルLMの代わりに学習済モデルLMb-j(j=1、2、…)を用いて鋳型9の製品面を検査する点が異なる。jは、模型の種類を識別する識別情報である。識別情報jで識別される種類の模型を、模型jとも記載する。検査装置1bは、複数の学習済モデルLMb-1、LMb-2、…を、二次メモリ13に記憶している。それ以外の点については、検査装置1bと同様である。
学習済モデルLMb-jは、模型jに応じて機械学習されたものである。学習済モデルLMb-jの入力及び出力は、学習済モデルLMの入力及び出力と同様である。
検査装置1bによる検査方法M1bの流れについて、図10を参照して説明する。図10は、検査方法M1bの流れを示すフローチャートである。検査方法M1bは、図3に示した検査方法M1に対して、検査ステップM12の代わりに検査ステップM12bを含む点と、さらに選択ステップM15bを含む点とが異なる。その他の各ステップについては、検査方法M1と同様である。
機械学習装置2bは、機械学習装置2に対して、複数の学習済モデルLMb-1、LMb-2、…を構築する点が異なる。それ以外の点については、機械学習装置2と同様である。
機械学習装置2bによる機械学習方法M2bの流れについて、図11を参照して説明する。図11は、機械学習方法M2bの流れを示すフローチャートである。機械学習方法M2bは、複数種類の模型1、2、…の各々について、学習用データセット構築ステップM21b及び学習済モデル構築ステップM22bを実行する。
上述した本発明の一実施形態は、変形例2及び3を組み合わせて変形することができる。
検査装置1cは、変形例2に係る検査装置1bに対して、学習済モデルLMb-j(j=1、2、…)の代わりに、学習済モデルLMc-jを用いて鋳型9の製品面を検査する点が異なる。検査装置1cは、複数の学習済モデルLMc-1、LMc-2、…を、二次メモリ13に記憶している。それ以外の点については、検査装置1bと同様である。
学習済モデルLMc-jは、模型jに応じて機械学習されたものである。jは、変形例2と同様、模型の種類を識別する識別情報である。学習済モデルLMc-jの入力は、変形例2における学習済モデルLMb-jの入力に加えて、基準画像をさらに含む。つまり、学習済モデルLMc-jの入力は、変形例1における学習済モデルLMaの入力と同様である。学習済モデルLMc-jの出力は、変形例2における学習済モデルLMb-jの出力と同様である。
検査装置1cによる検査方法について、図10を参照して説明する。検査装置1cによる検査方法は、図10に示した変形例2に係る検査方法M1bに含まれる取得ステップM11及び検査ステップM12bを、次のように変形することにより説明される。
機械学習装置2cは、変形例2に係る機械学習装置2bに対して、複数の学習済モデルLMc-1、LMc-2、…各々の構築に用いる入力データとして基準画像をさらに用いる点が異なる。それ以外の点については、機械学習装置2bと同様である。
機械学習装置2cによる機械学習方法について、図11を参照して説明する。機械学習方法M2cは、図11に示した変形例2に係る機械学習方法M2bに含まれる各ステップを、次のように変形することにより説明される。
態様1に係る検査装置は、機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを実行する一または複数のプロセッサを備えている。前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含む。前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報である。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1、1a、1b、1c 検査装置
2、2a、2b、2c 機械学習装置
3 カメラ
4 照明
9 鋳型
11、21 プロセッサ
12、22 一次メモリ
13、23 二次メモリ
14、24 入出力インタフェース
15、25 通信インタフェース
16、26 バス
M1、M1b 検査方法
M11 取得ステップ
M12、M12b 検査ステップ
M13 判断ステップ
M14 警告ステップ
M15b 選択ステップ
M2、M2b 機械学習方法
M21、M21b 学習用データセット構築ステップ
Claims (10)
- 機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを実行する一または複数のプロセッサを備えており、
前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、
前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報であり、
前記鋳型の外観の検査結果を示す情報は、欠陥の有無を示す情報、及び、1または複数の欠陥の領域を示す情報の一方または両方を含む、
ことを特徴とする検査装置。 - 前記鋳型の外観は、前記鋳型の製品面の外観である、
ことを特徴とする請求項1に記載の検査装置。 - 前記一または複数のプロセッサは、
前記鋳型の造型に用いた模型の種類に応じた学習済モデルを選択する選択ステップを更に実行し、
前記検査ステップにおいて、前記選択ステップにて選択された学習済モデルを用いて、前記鋳型の外観を検査する、
ことを特徴とする請求項1または2に記載の検査装置。 - 前記学習済モデルの入力は、正常な鋳型の外観を撮像した基準画像をさらに含む、
ことを特徴とする請求項1から3の何れか1項に記載の検査装置。 - 前記学習済モデルの入力は、前記鋳型を構成する鋳物砂を示す砂情報、前記鋳型の造型状況を示す造型情報、前記鋳型の搬送状況を示す搬送情報、及び環境情報の一部または全部をさらに含む、
ことを特徴とする請求項1から4の何れか1項に記載の検査装置。 - 前記学習済モデルの出力は、前記鋳型の外観における欠陥の有無を少なくとも示す、
ことを特徴とする請求項1から5の何れか1項に記載の検査装置。 - 前記一または複数のプロセッサは、
前記学習済モデルの出力が前記鋳型の外観に欠陥が有ることを示す場合、前記検査結果を示す情報に基づいて警告情報を出力する警告ステップをさらに実行する、
ことを特徴とする請求項6に記載の検査装置。 - 一または複数のプロセッサが、機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを実行することを含む検査方法であって、
前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、
前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報であり、
前記鋳型の外観の検査結果を示す情報は、欠陥の有無を示す情報、及び、1または複数の欠陥の領域を示す情報の一方または両方を含む、
ことを特徴とする検査方法。 - 学習用データセットを用いた教師あり学習によって、鋳型の外観を検査する学習済モデルを構築する構築ステップを実行する一または複数のプロセッサを備えており、
前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、
前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報であり、
前記鋳型の外観の検査結果を示す情報は、欠陥の有無を示す情報、及び、1または複数の欠陥の領域を示す情報の一方または両方を含む、
ことを特徴とする機械学習装置。 - 一または複数のプロセッサが、学習用データセットを用いた教師あり学習によって、鋳型の外観を検査する学習済モデルを構築する構築ステップを含んでおり、
前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、
前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報であり、
前記鋳型の外観の検査結果を示す情報は、欠陥の有無を示す情報、及び、1または複数の欠陥の領域を示す情報の一方または両方を含む、
ことを特徴とする機械学習方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020217535A JP7509033B2 (ja) | 2020-12-25 | 2020-12-25 | 検査装置、検査方法、機械学習装置、及び機械学習方法 |
US17/518,680 US20220207684A1 (en) | 2020-12-25 | 2021-11-04 | Inspection device, inspection method, machine learning device, and machine learning method |
DE102021132415.7A DE102021132415A1 (de) | 2020-12-25 | 2021-12-09 | Prüfvorrichtung, Prüfverfahren, Maschinenlernvorrichtung und Maschinenlernverfahren |
CN202111634141.5A CN114689594A (zh) | 2020-12-25 | 2021-12-22 | 检查装置、检查方法、机器学习装置以及机器学习方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020217535A JP7509033B2 (ja) | 2020-12-25 | 2020-12-25 | 検査装置、検査方法、機械学習装置、及び機械学習方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022102666A JP2022102666A (ja) | 2022-07-07 |
JP7509033B2 true JP7509033B2 (ja) | 2024-07-02 |
Family
ID=81972248
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020217535A Active JP7509033B2 (ja) | 2020-12-25 | 2020-12-25 | 検査装置、検査方法、機械学習装置、及び機械学習方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220207684A1 (ja) |
JP (1) | JP7509033B2 (ja) |
CN (1) | CN114689594A (ja) |
DE (1) | DE102021132415A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11727672B1 (en) * | 2022-05-24 | 2023-08-15 | Nanotronics Imaging, Inc. | System and method for generating training data sets for specimen defect detection |
CN117685881B (zh) * | 2024-01-31 | 2024-06-04 | 成都建工第七建筑工程有限公司 | 一种混凝土结构实体位置与尺寸偏差的感知与检测方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018216495A1 (ja) | 2017-05-26 | 2018-11-29 | 新東工業株式会社 | 検査装置及び鋳造システム |
US20200292462A1 (en) | 2019-03-15 | 2020-09-17 | Inventec (Pudong) Technology Corporation | Surface defect detection system and method thereof |
JP2020157333A (ja) | 2019-03-26 | 2020-10-01 | 日本製鉄株式会社 | 学習モデル作成装置、鋳片品質推定装置、学習モデル作成方法、鋳片品質推定方法、およびプログラム |
JP2020198471A (ja) | 2019-05-30 | 2020-12-10 | キヤノン株式会社 | システムの制御方法、及びシステム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6765036B2 (ja) * | 2016-03-28 | 2020-10-07 | パナソニックIpマネジメント株式会社 | 外観検査装置と外観検査方法 |
WO2018150607A1 (ja) * | 2017-02-20 | 2018-08-23 | Serendipity株式会社 | 外観検査装置、照明装置、撮影照明装置 |
JP6549644B2 (ja) * | 2017-06-27 | 2019-07-24 | ファナック株式会社 | 機械学習装置、ロボット制御システム及び機械学習方法 |
JP7054436B2 (ja) * | 2017-12-14 | 2022-04-14 | オムロン株式会社 | 検出システム、情報処理装置、評価方法及びプログラム |
JP6955211B2 (ja) * | 2017-12-14 | 2021-10-27 | オムロン株式会社 | 識別装置、識別方法及びプログラム |
JP2020139905A (ja) * | 2019-03-01 | 2020-09-03 | セイコーエプソン株式会社 | 検査装置、検査方法、およびプログラム |
CN112534243B (zh) * | 2019-03-15 | 2024-07-19 | 欧姆龙株式会社 | 检查装置与方法及计算机能读取的非临时性的记录介质 |
JP7263074B2 (ja) * | 2019-03-22 | 2023-04-24 | キヤノン株式会社 | 情報処理装置、及びその制御方法、プログラム、記憶媒体 |
JP7434032B2 (ja) * | 2020-03-31 | 2024-02-20 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびプログラム |
JP2022187663A (ja) * | 2021-06-08 | 2022-12-20 | 富士フイルムビジネスイノベーション株式会社 | 表面検査装置及びプログラム |
-
2020
- 2020-12-25 JP JP2020217535A patent/JP7509033B2/ja active Active
-
2021
- 2021-11-04 US US17/518,680 patent/US20220207684A1/en active Pending
- 2021-12-09 DE DE102021132415.7A patent/DE102021132415A1/de active Pending
- 2021-12-22 CN CN202111634141.5A patent/CN114689594A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018216495A1 (ja) | 2017-05-26 | 2018-11-29 | 新東工業株式会社 | 検査装置及び鋳造システム |
US20200292462A1 (en) | 2019-03-15 | 2020-09-17 | Inventec (Pudong) Technology Corporation | Surface defect detection system and method thereof |
JP2020157333A (ja) | 2019-03-26 | 2020-10-01 | 日本製鉄株式会社 | 学習モデル作成装置、鋳片品質推定装置、学習モデル作成方法、鋳片品質推定方法、およびプログラム |
JP2020198471A (ja) | 2019-05-30 | 2020-12-10 | キヤノン株式会社 | システムの制御方法、及びシステム |
Also Published As
Publication number | Publication date |
---|---|
US20220207684A1 (en) | 2022-06-30 |
DE102021132415A1 (de) | 2022-06-30 |
JP2022102666A (ja) | 2022-07-07 |
CN114689594A (zh) | 2022-07-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7509033B2 (ja) | 検査装置、検査方法、機械学習装置、及び機械学習方法 | |
JP4588414B2 (ja) | 内部欠陥検査方法および装置 | |
WO2019003524A1 (ja) | 可視化システム | |
US20220318667A1 (en) | Intelligent real-time defect prediction, detection, and ai driven automated correction solution | |
US11761910B2 (en) | Surface or interface defect detection | |
Rossi et al. | Neural networks and NARXs to replicate extrusion simulation in digital twins for fused filament fabrication | |
US20210304392A1 (en) | Display control device and storage medium | |
JP2020098108A (ja) | 表面の不具合検査方法 | |
JP2023527187A (ja) | 製造業のための自己組織化サイバー・フィジカル・システムの開発及び展開のためのシステム及び方法 | |
Baitiang et al. | Data-driven process analysis for iron foundries with automatic sand molding process | |
Gruzman | Foundry production digitalization | |
JP2020140365A (ja) | 製品品質不良予測システム | |
JP7363638B2 (ja) | 表示制御装置及び制御プログラム | |
JP7338534B2 (ja) | 表示制御装置及び制御プログラム | |
JP7186054B2 (ja) | 欠陥検出支援装置、該方法および該プログラム | |
JP2021162573A (ja) | 検査結果表示装置及び制御プログラム | |
Das et al. | Molding a Solution. | |
US11373348B2 (en) | Display device | |
JP2021162575A (ja) | 表示制御装置及び制御プログラム | |
Muthukumar et al. | Review on Automated Casting Fault Separation Machine | |
WO2023054450A1 (ja) | 活性粘土分推定装置、学習済モデル生成装置、活性粘土分推定方法、及び学習済モデル生成方法 | |
JP2003344026A (ja) | 中空翼検査方法、及び中空翼検査用コンピュータプログラム | |
Sika et al. | Methodology of Determination of Key Casting Process Parameters on DISA MATCH Automatic Moulding Line Affecting the Formation of Alloy-Mould Contact Defects | |
King et al. | Novel Experimental Method for Metal Flow Analysis using Open Molds for Sand Casting | |
JP2021159941A (ja) | 強熱減量推定装置、強熱減量推定方法、機械学習装置、及び機械学習方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240221 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240305 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240521 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240603 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7509033 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |