JP7509033B2 - 検査装置、検査方法、機械学習装置、及び機械学習方法 - Google Patents

検査装置、検査方法、機械学習装置、及び機械学習方法 Download PDF

Info

Publication number
JP7509033B2
JP7509033B2 JP2020217535A JP2020217535A JP7509033B2 JP 7509033 B2 JP7509033 B2 JP 7509033B2 JP 2020217535 A JP2020217535 A JP 2020217535A JP 2020217535 A JP2020217535 A JP 2020217535A JP 7509033 B2 JP7509033 B2 JP 7509033B2
Authority
JP
Japan
Prior art keywords
inspection
mold
information indicating
trained model
appearance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020217535A
Other languages
English (en)
Other versions
JP2022102666A (ja
Inventor
剛大 杉野
猛史 園原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sintokogio Ltd
Original Assignee
Sintokogio Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sintokogio Ltd filed Critical Sintokogio Ltd
Priority to JP2020217535A priority Critical patent/JP7509033B2/ja
Priority to US17/518,680 priority patent/US20220207684A1/en
Priority to DE102021132415.7A priority patent/DE102021132415A1/de
Priority to CN202111634141.5A priority patent/CN114689594A/zh
Publication of JP2022102666A publication Critical patent/JP2022102666A/ja
Application granted granted Critical
Publication of JP7509033B2 publication Critical patent/JP7509033B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/9501Semiconductor wafers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956Inspecting patterns on the surface of objects
    • G01N21/95607Inspecting patterns on the surface of objects using a comparative method
    • G01N2021/95615Inspecting patterns on the surface of objects using a comparative method with stored comparision signal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30116Casting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30136Metal
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30148Semiconductor; IC; Wafer

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、鋳型の外観を検査する技術に関する。
特許文献1には、鋳型の外観を検査する検査装置が記載されている。この検査装置は、鋳型を撮像した検査画像と予め設けられた基準画像との差分画像を生成し、生成した差分画像に基づいて鋳型が正常であるか否かを判定する。
国際公開第2018/216495号(2018年11月29日国際公開)
上述した検査装置は、実際は正常である鋳型を正常でないと判定したり、実際は正常でない鋳型を正常であると判定したりする可能性があり、検査精度を向上させる余地がある。
例えば、上述した検査装置は、差分画像を解析して得られる欠陥のうち擬似欠陥を除去した上で、鋳型が正常であるか否かを判定する。擬似欠陥には、例えば、撮像時に照射した光が鋳型に付着した離型剤に反射することにより発生するものがある。上述した検査装置は、このような疑似欠陥の特徴を予め定義しておくことにより、疑似欠陥を除去する。しかしながら、擬似欠陥の特徴を全て事前に定義しておくことは難しい。そのため、上述した検査装置は、事前に定義していない特徴を示す擬似欠陥を除去することができない。また、疑似欠陥の特徴として本来の欠陥が示さない特徴を定義しておくことは難しい。そのため、上述した検査装置は、本来の欠陥が事前に定義した疑似欠陥の特徴を示す場合には、当該本来の欠陥を除去してしまう。
本発明の一態様は、鋳型の外観の検査精度を向上する技術を実現することを目的とする。
本発明の一態様に係る検査装置は、機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを実行する一または複数のプロセッサを備えている。また、本発明の一態様に係る検査方法は、一または複数のプロセッサが、機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを含んでいる。
また、本発明の一態様に係る機械学習装置は、学習用データセットを用いた教師あり学習によって、鋳型の外観を検査する学習済モデルを構築する構築ステップを実行する一または複数のプロセッサを備えている。また、本発明の一態様に係る機械学習方法は、一または複数のプロセッサが、学習用データセットを用いた教師あり学習によって、鋳型の外観を検査する学習済モデルを構築する構築ステップを含んでいる。
そして、前記検査装置、前記検査方法、前記機械学習装置、及び前記機械学習方法において、前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含む。前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報である。
本発明の一態様によれば、鋳型の外観の検査精度を向上する技術を実現することができる。
本発明の一実施形態に係る検査システムの構成を示す図である。 本発明の一実施形態に含まれる検査装置の構成を示すブロック図である。 本発明の一実施形態に含まれる検査装置が実施する検査方法の流れを示すフローチャートである。 本発明の一実施形態に含まれる機械学習装置の構成を示すブロック図である。 本発明の一実施形態に含まれる機械学習装置が実施する機械学習方法の流れを示すフローチャートである。 本発明の一実施形態に係る検査システムの適用対象となる鋳造ラインの概略的な構成を示すブロック図である。 図6に示す鋳造ラインが実施する鋳造工程を示すフローチャートである。 本発明の一実施形態の変形例1に係る検査システムの構成を示す図である。 本発明の一実施形態の変形例2に係る検査システムの構成を示す図である。 本発明の一実施形態の変形例2に含まれる検査装置が実施する検査方法の流れを示すフローチャートである。 本発明の一実施形態の変形例2に含まれる機械学習装置が実施する機械学習方法の流れを示すフローチャートである。 本発明の一実施形態の変形例3に係る検査システムの構成を示す図である。
〔検査システムS〕
本発明の一実施形態に係る検査システムSについて、図1を参照して説明する。図1は、検査システムSの構成を示す図である。
検査システムSは、鋳型9の外観を検査するためのシステムである。本実施形態では、検査システムSは、特に鋳型9の製品面の外観を検査する。鋳型9の製品面に型落ち不良等の欠陥があると、当該鋳型9を用いて鋳造される鋳物の品質が低下する。検査システムSによって鋳型9の製品面を検査することにより、検査後の工程の実施可否を判断することができ、その結果、不良品の発生を抑制することができる。ここで、鋳型9の製品面とは、鋳型9の面のうち、その形状が製品に転写される面のことをさす。
図1に示すように、検査システムSは、検査装置1と、機械学習装置2と、カメラ3と、照明4とを備えている。また、検査装置1は、砂性状測定装置92、造型機93、及びセンサ群98のそれぞれと通信可能に接続される。また、機械学習装置2は、砂性状測定装置92、造型機93、及びセンサ群98のそれぞれと通信可能に接続される。
カメラ3は、鋳型9の製品面を撮像して検査画像を生成する。鋳型9の製品面は、鋳型9の上部に相当する上型と鋳型9の下部に相当する下型とが型合わせされた後、外部に露出しない。そのため、カメラ3は、上型および下型が型合わせされた後、鋳型9の製品面を撮像できない。したがって、カメラ3は、上型および下型が型合わせされる前に鋳型9の製品面を撮像可能な位置に設置される。また、鋳型9に中子が設置される場合、中子の設置後、カメラ3は、鋳型9の製品面のうち中子の陰に隠れた部分を撮影できない。この場合、カメラ3は、中子が設置される前に鋳型9の製品面を撮像可能な位置に設置される。例えば、カメラ3は、造型機93から後述する中子セット場95までの搬送路付近において、鋳型9の製品面を撮像可能な位置に設置される。
照明4は、カメラ3による撮像時に、鋳型9の製品面に光を照射する。なお、カメラ3及び照明4の構成には、上述した特許文献1に記載の構成を採用してもよい。
検査装置1は、検査方法M1を実施するための装置である。検査方法M1は、少なくともカメラ3から取得した検査画像に基づき、機械学習により構築された学習済モデルLMを用いて鋳型9の製品面を検査する方法である。学習済モデルLMとしては、例えば、畳み込みニューラルネットワークや再帰型ニューラルネットワークなどのニューラルネットワークモデル、又は、サポートベクタマシンなどのアルゴリズムを用いることができる。検査装置1の構成及び検査方法M1の流れの詳細については、参照する図面を代えて後述する。
機械学習装置2は、機械学習方法M2を実施するための装置である。機械学習方法M2は、少なくともカメラ3から取得した検査画像を用いて学習用データセットDSを構築すると共に、学習用データセットDSを用いた機械学習(教師あり学習)によって学習済モデルLMを構築するための方法である。機械学習装置2の構成及び機械学習方法M2の流れの詳細については、参照する図面を代えて後述する。
〔学習済モデルLMの入力〕
学習済モデルLMの入力は、検査画像を含む。また、学習済モデルLMの入力は、砂情報、造型情報、搬送情報、及び環境情報の一部または全部をさらに含む。これらの入力データについて説明する。
(検査画像)
検査画像は、カメラ3が鋳型9の製品面を撮像することにより生成した画像である。検査画像は、被写体として鋳型9の製品面を含む。
(砂情報)
砂情報は、鋳型9を構成する鋳物砂を示す情報である。砂情報は、鋳型9を構成する鋳物砂の種別、及び性状のそれぞれを示す情報の一部または全部を含む。鋳物砂の性状を示す情報の一例としては、鋳物砂に含まれる水分量、コンパクタビリティ値、砂温度、通気度、及び圧縮強度等がある。砂情報は、砂性状測定装置92から出力される。
(造型情報)
造型情報は、鋳型9の造型状況を示す情報である。造型状況の一例としては、造型時における鋳型9の状況、及び造型機93の状況がある。鋳型9の状況を示す情報の一例としては、例えば、離型剤情報がある。離型剤情報は、鋳型9に塗布された離型剤に関する情報である。離型剤情報は、例えば、離型剤の種別、塗布量、及び塗布回数のそれぞれに関する情報を含む。造型機93の状況を示す情報としては、装置の設定情報がある。設定情報は、例えば、スクイズ圧、砂入れ時間、砂入れ時の圧力、砂投入重量、及び造型機の使用状況のそれぞれを示す情報を含む。造型機の使用状況の一例としては、造型回数、及び部品の摩耗状況等がある。摩耗する可能性がある部品の一例としては、キャリアプレートのシール部品等がある。造型情報は、造型機93から出力される。なお、離型剤は、作業者および造型機93の一方または両方によって鋳型9に塗布されることがある。この場合、離型剤情報は、作業者により入力されてもよい。
(搬送情報)
搬送情報は、鋳型9の搬送状況を示す情報である。後述する鋳造ラインCでは、鋳型9は、造型機93から下流側に向かって搬送される。下流側とは、造型機93から見て後述する注湯機97の側である。搬送情報は、例えば、この搬送中に鋳型9に加わる外力を示す情報を含む。搬送情報は、センサ群98のうち何れかから出力される。
なお、鋳型9に加わる外力は、搬送中以外にも鋳型9に加わる可能性がある。この場合、学習済モデルLMの入力は、搬送中以外に鋳型9に加わる外力を示す情報を含んでいてもよい。そのような搬送中以外の工程の一例としては、サンドカット、ガス穴明け、湯口成形、枠反転、及び定盤台車セット等が挙げられる。この場合、センサ群98は、これらの各工程の一部または全部において当該外力を計測するセンサを含む。
(環境情報)
環境情報は、造型機93または検査装置1周辺の環境を示す情報である。なお、環境情報が検査装置1周辺の環境を示す場合、検査装置1は、後述する鋳造ラインCの周辺に設置される。環境情報は、例えば、気温、湿度、及び浮遊粉じんの濃度の一部または全部を示す情報を含む。環境情報は、センサ群98のうち何れかから出力される。
〔学習済モデルLMの出力〕
学習済モデルLMの出力は、鋳型9の製品面に関する検査結果を示す情報である。この検査結果を示す情報は、欠陥の有無を示す情報、及び、1または複数の欠陥の領域を示す情報の一方または両方を含む。本実施形態では、検査結果を示す情報は、これらの情報の両方を含むものとして説明する。これらの情報について説明する。
(欠陥の有無を示す情報)
欠陥の有無を示す情報は、例えば、型落ち不良の有無を示す。欠陥の有無を示す情報は、例えば、有無を示す2値の情報である。
(欠陥の領域を示す情報)
欠陥の領域を示す情報は、例えば、鋳型9の製品面において型落ち不良が発生した箇所を示す。なお、学習済モデルLMは、鋳型9の製品面において1箇所に欠陥が発生している場合、1つの欠陥の領域を示す情報を出力し、複数箇所に欠陥が発生している場合、複数の欠陥の各々の領域を示す情報を出力する。各欠陥の領域を示す情報は、その欠陥の位置、大きさ、及び形状のそれぞれを示す情報を含む。
(欠陥の位置を示す情報)
欠陥の位置を示す情報は、例えば、検査画像における欠陥の像の位置によって表される。具体例として、欠陥の位置を示す情報は、検査画像において欠陥の像を包含する(例えば、欠陥の像に外接する)矩形の何れかの頂点の座標であってもよい。
(欠陥の大きさを示す情報)
欠陥の大きさを示す情報は、例えば、検査画像における欠陥の像の大きさによって表される。具体例として、欠陥の大きさを示す情報は、上述した矩形の面積であってもよい。
(欠陥の形状を示す情報)
欠陥の形状を示す情報は、例えば、検査画像における欠陥の像の形状によって表される。具体例として、欠陥の形状を示す情報は、上述した矩形のアスペクト比であってもよい。
なお、欠陥の領域を示す情報は、欠陥の位置、大きさ、形状をユーザが認識できる情報であればよく、必ずしも数値として表現される必要はない。例えば、欠陥の領域を示す情報は、欠陥の像を包含する矩形を検査画像に重畳することによって表現されてもよい。
〔検査システムSの導入から実用までのフェーズ〕
検査システムSは、準備フェーズと試用フェーズとを経て実用フェーズに至る。準備フェーズ、試用フェーズ、及び実用フェーズについて、その内容を簡単に説明すれば、以下のとおりである。
(1)準備フェーズ
準備フェーズにおいては、作業者が鋳型9の製品面を検査し、機械学習装置2が学習用データセットDSを生成して学習済モデルLMを構築する。
具体的には、カメラ3は、鋳型9の製品面を撮像した検査画像を生成し、機械学習装置2に入力する。砂性状測定装置92は、当該鋳型9に関連する砂情報を機械学習装置2に入力する。造型機93は、当該鋳型9に関連する造型情報を機械学習装置2に入力する。センサ群98は、搬送情報及び環境情報を機械学習装置2に入力する。また、作業者は、当該鋳型9の製品面を検査し、作業者による検査結果を示す情報を検査画像に関連付けて、機械学習装置2に入力する。作業者による検査結果を示す情報は、欠陥の有無を示す情報を含む。例えば、作業者は、当該鋳型9の製品面に1または複数の欠陥があると判断した場合、欠陥が有ることを示す情報を、機械学習装置2に入力する。また、作業者による検査結果を示す情報は、欠陥の有無を示す情報に加えて、1または複数の欠陥の領域を示す情報を含む。1または複数の欠陥の領域を示す情報を入力する手法の一例について説明する。例えば、作業者は、各欠陥の位置、大きさ、及び形状のそれぞれを示す情報を、機械学習装置2に入力する。これらの情報を入力する操作の具体例として、検査画像上に矩形を描画する操作が挙げられる。この場合、作業者は、ディスプレイ(図示せず)等に表示された検査画像上に、各欠陥の像を包含する矩形を、入力装置により描画する。機械学習装置2は、作業者が描画した矩形から、欠陥の位置、大きさ、及び形状のそれぞれを示す情報を取得する。このようにして、機械学習装置2は、作業者が入力した欠陥の有無を示す情報と、作業者が入力した各欠陥の位置、大きさ、及び形状のそれぞれを示す情報とを、作業者による検査結果を示す情報として取得する。作業者による検査が行われる度に、機械学習装置2は、(i)カメラ3から取得した検査画像、及び(ii)各装置から入力された砂情報、造型情報、搬送情報、及び環境情報を入力データとして、(iii)作業者による検査結果を示す情報を正解データとする教師データDiを作成し、作成した教師データDiを学習用データセットDSに追加する。なお、準備フェーズでは、砂情報、造型情報、搬送情報、及び環境情報が、各装置から機械学習装置2に入力されるものとして説明した。ただし、これらの情報の一部または全部は、ユーザにより機械学習装置2に入力されてもよい。この場合、検査を行う作業者と、データを入力するユーザとは、同一であってもよいし異なっていてもよい。準備フェーズは、準備フェーズの開始から所定の期間(例えば、1週間、1ヶ月、又は1年など)が経過した時点で終了してもよいし、準備フェーズにおける作業者の検査回数が所定の回数(例えば、100回、1000回、又は10000回など)に達した時点で終了してもよい。
準備フェーズの間、作業者は、複数種類の異なる模型を用いてそれぞれ造型された鋳型9の製品面を検査する。換言すると、学習用データセットDSは、複数種類の模型のそれぞれに対応する教師データDiを含む。
準備フェーズが終了すると、機械学習装置2は、学習用データセットDSを用いた機械学習によって学習済モデルLMを構築する。学習用データセットDSが複数種類の模型のそれぞれに対応する教師データDiを含んでいることにより、構築された学習済モデルLMは、複数種類の模型に共通して機能するものとなる。構築された学習済モデルLMは、機械学習装置2から検査装置1に転送される。
(2)試用フェーズ
試用フェーズにおいては、作業者が鋳型9の製品面を検査すると共に、検査装置1が鋳型9の製品面の検査を行う。
具体的には、カメラ3は、鋳型9の製品面を撮像した検査画像を生成し、検査装置1に入力する。砂性状測定装置92は、当該鋳型9に関連する砂情報を検査装置1に入力する。造型機93は、当該鋳型9に関連する造型情報を検査装置1に入力する。センサ群98は、搬送情報及び環境情報を検査装置1に入力する。検査装置1は、カメラ3から取得した検査画像、各装置から入力された砂情報、造型情報、搬送情報、及び環境情報を学習済モデルLMに入力し、学習済モデルLMから得られる検査結果を示す情報を出力する。
また、作業者は、当該鋳型9の製品面を検査する。作業者は、作業者による検査結果と、検査装置1の出力が示す検査結果とを比較し、検査装置1の検査精度を評価する。例えば、試用フェーズにおいて200個の鋳型9を検査し、192個の鋳型9について検査装置1による検査結果と作業者による検査結果とが一致した場合、検査精度は96%と評価される。なお、試用フェーズでは、砂情報、造型情報、搬送情報、及び環境情報が、各装置から検査装置1に入力されるものとして説明した。ただし、これらの情報の一部または全部は、ユーザにより検査装置1に入力されてもよい。この場合、検査を行う作業者と、データを入力するユーザとは、同一であってもよいし異なっていてもよい。試用フェーズは、試用フェーズの開始から所定の期間(例えば、1週間、1ヶ月、又は1年など)が経過した時点で終了してもよいし、試用フェーズにおける鋳型9の検査回数が所定の回数(例えば、100回、1000回、又は10000回など)に達した時点で終了してもよい。試用フェーズにおいて評価された検査精度が不十分である場合には、前述した準備フェーズ及び試用フェーズが再度実施される。この場合、再度実施される準備フェーズでは、学習済モデルLMに対する追加学習を行ってもよい。試用フェーズにおいて評価された検査精度が十分である場合には、後述する実用フェーズが実施される。
ここで、検査精度の評価及びフェーズの切り替えを、(i)検査装置1が行うケース、または(ii)作業者が行うケースがある。(i)のケースにおいて、検査装置1は、作業者が検査装置1に入力した検査結果を自身の検査結果と比較することによって、検査装置1の検査精度を評価する。そして、検査装置1は、例えば、検査精度が予め定められた閾値以下であれば、準備フェーズの再度の実施が必要であると判断する。そして、検査装置1は、その判断の結果に応じたフェーズの切り替えを行う。一方、(ii)のケースにおいて、作業者は、検査装置1が出力した検査結果を自身の検査結果と比較することによって、検査装置1の検査精度を評価する。そして、作業者は、例えば、検査精度が予め定められた閾値以下であれば、準備フェーズの再度の実施が必要であると判断する。そして、検査装置1は、その判断の結果に応じたフェーズの切り替えを行う。
(3)実用フェーズ
実用フェーズにおいては、検査装置1が鋳型9の製品面を検査する。
具体的には、カメラ3は、鋳型9の製品面を撮像した検査画像を生成し、検査装置1に入力する。砂性状測定装置92は、当該鋳型9に関連する砂情報を検査装置1に入力する。造型機93は、当該鋳型9に関連する造型情報を検査装置1に入力する。センサ群98は、搬送情報及び環境情報を検査装置1に入力する。検査装置1は、カメラ3から取得した検査画像、各装置から入力された砂情報、造型情報、搬送情報、及び環境情報を学習済モデルLMに入力し、学習済モデルLMから得られる検査結果を示す情報を出力する。実用フェーズにおいて検査装置1が用いる学習済モデルLMは、試用フェーズにおいて十分な検査精度を有することを確かめられたものである。実用フェーズにおいては、作業者による検査を省略することができる。このため、検査の手間から作業者を解放すると共に、効率良く鋳造ラインCを運用することが可能になる。
なお、本実施形態においては、検査画像と、砂情報、造型情報、搬送情報、及び環境情報の一部または全部とを学習済モデルLMの入力とする構成を採用しているが、本発明はこれに限定されない。これらのデータの中で鋳型9の製品面の検査結果に支配的な影響を与えるのは、検査画像である。その他の砂情報、造型情報、搬送情報、及び環境情報は、鋳型9の製品面の検査精度を向上させるためのデータであり、必ずしも学習済モデルLMの入力として採用する必要はない。すなわち、少なくとも検査画像を学習済モデルLMに入力する構成であれば、どのような構成を採用してもよい。
また、本実施形態においては、欠陥の有無を示す情報、及び1または複数の欠陥の領域を示す情報の一方または両方を学習済モデルLMの出力とする構成を採用しているが、本発明はこれに限定されない。例えば、学習済モデルLMの出力は、欠陥の程度を示す情報を含むものであってもよい。欠陥の程度とは、例えば、欠陥が製品の品質に影響を及ぼす度合いである。そのような影響を及ぼす度合いは、例えば、欠陥の発生箇所に応じて異なる可能性がある。なお、欠陥の程度は、上述した例に限定されない。
〔検査装置の構成〕
検査装置1の構成について、図2を参照して説明する。図2は、検査装置1の構成を示すブロック図である。
検査装置1は、汎用コンピュータを用いて実現されており、プロセッサ11と、一次メモリ12と、二次メモリ13と、入出力インタフェース14と、通信インタフェース15と、バス16とを備えている。プロセッサ11、一次メモリ12、二次メモリ13、入出力インタフェース14、及び通信インタフェース15は、バス16を介して相互に接続されている。
二次メモリ13には、検査プログラムP1及び学習済モデルLMが格納されている。プロセッサ11は、二次メモリ13に格納されている検査プログラムP1及び学習済モデルLMを一次メモリ12上に展開する。そして、プロセッサ11は、一次メモリ12上に展開された検査プログラムP1に含まれる命令に従って、検査方法M1に含まれる各ステップを実行する。一次メモリ12上に展開された学習済モデルLMは、検査方法M1の検査ステップM12(後述)をプロセッサ11が実行する際に利用される。なお、検査プログラムP1が二次メモリ13に格納されているとは、ソースコード、又は、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ13に記憶されていることを指す。また、学習済モデルLMが二次メモリ13に格納されているとは、学習済モデルLMを規定するパラメータが二次メモリ13に格納されていることを指す。
プロセッサ11として利用可能なデバイスとしては、例えば、CPU(Central Processing Unit)、GPU(Graphic Processing Unit)、DSP(Digital Signal Processor)、MPU(Micro Processing Unit)、FPU(Floating point number Processing Unit)、PPU(Physics Processing Unit)、マイクロコントローラ、又は、これらの組み合わせを挙げることができる。プロセッサ11は、「演算装置」と呼ばれることもある。
また、一次メモリ12として利用可能なデバイスとしては、例えば、半導体RAM(Random Access Memory)を挙げることができる。一次メモリ12は、「主記憶装置」と呼ばれることもある。また、二次メモリ13として利用可能なデバイスとしては、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、ODD(Optical Disk Drive)、FDD(Floppy(登録商標) Disk Drive)、又は、これらの組み合わせを挙げることができる。二次メモリ13は、「補助記憶装置」と呼ばれることもある。なお、二次メモリ13は、検査装置1に内蔵されていてもよいし、入出力インタフェース14又は通信インタフェース15を介して検査装置1と接続された他のコンピュータ(例えば、クラウドサーバを構成するコンピュータ)に内蔵されていてもよい。なお、本実施形態においては、検査装置1における記憶を2つのメモリ(一次メモリ12及び二次メモリ13)により実現しているが、これに限定されない。すなわち、検査装置1における記憶を1つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ12として利用し、そのメモリの他の記憶領域を二次メモリ13として利用すればよい。
入出力インタフェース14には、入力デバイス及び/又は出力デバイスが接続される。
入出力インタフェース14としては、例えば、USB(Universal Serial Bus)、ATA(Advanced Technology Attachment)、SCSI(Small Computer System Interface)、PCI(Peripheral Component Interconnect)などのインタフェースが挙げられる。
また、入出力インタフェース14に接続される入力デバイスとしては、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。検査方法M1においてユーザから取得するデータは、これらの入力デバイスを介して検査装置1に入力され、一次メモリ12に記憶される。また、入出力インタフェース14に接続される出力デバイスとしては、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。検査方法M1においてユーザに提供する情報は、これらの出力デバイスを介して検査装置1から出力される。なお、検査装置1は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、検査装置1は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。
通信インタフェース15には、ネットワークを介して他のコンピュータが有線接続又は無線接続される。通信インタフェース15としては、例えば、イーサネット(登録商標)、Wi-Fi(登録商標)などのインタフェースが挙げられる。利用可能なネットワークとしては、PAN(Personal Area Network)、LAN(Local Area Network)、CAN(Campus Area Network)、MAN(Metropolitan Area Network)、WAN(Wide Area Network)、GAN(Global Area Network)、又は、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。検査方法M1において検査装置1が他のコンピュータ(例えば、機械学習装置2)から取得するデータ(例えば、学習済モデルLM)、及び、検査方法M1において検査装置1が他のコンピュータに提供するデータは、これらのネットワークを介して送受信される。
例えば、通信インタフェース15には、カメラ3、砂性状測定装置92、造型機93、及びセンサ群98のそれぞれが接続される。検査方法M1においてこれらの各装置から取得するデータは、通信インタフェース15を介して検査装置1に入力され、一次メモリ12に記憶される。なお、これらの各装置の一部または全部は、通信インタフェース15に接続されるものに限らず、入出力インタフェース14に接続されるものであってもよい。
なお、本実施形態においては、単一のプロセッサ(プロセッサ11)を用いて検査方法M1を実行する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて検査方法M1を実行する構成を採用してもよい。この場合、連携して検査方法M1を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携して検査方法M1を実行する態様などが考えられる。
また、本実施形態においては、検査方法M1を実行するプロセッサ(プロセッサ11)と同じコンピュータに内蔵されたメモリ(二次メモリ13)に学習済モデルLMを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、検査方法M1を実行するプロセッサと異なるコンピュータに内蔵されたメモリに学習済モデルLMを格納する構成を採用してもよい。この場合、学習済モデルLMを格納するメモリが内蔵されたコンピュータは、検査方法M1を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信可能に構成される。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリに学習済モデルLMを格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサが検査方法M1を実行する態様などが考えられる。
また、本実施形態においては、単一のメモリ(二次メモリ13)に学習済モデルLMを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のメモリに学習済モデルLMを分散して格納する構成を採用してもよい。この場合、学習済モデルLMを格納する複数のメモリは、単一のコンピュータ(検査方法M1を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい)に設けられていてもよいし、複数のコンピュータ(検査方法M1を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい)に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリに学習済モデルLMを分散して格納する構成などが考えられる。
〔検査方法の流れ〕
検査方法M1の流れについて、図3を参照して説明する。図3は、検査方法M1の流れを示すフローチャートである。
検査方法M1は、取得ステップM11と、検査ステップM12と、判断ステップM13と、警告ステップM14とを含んでいる。
取得ステップM11は、プロセッサ11が、学習済モデルLMに入力するデータを取得するステップである。取得ステップM11において、プロセッサ11は、カメラ3から検査画像を取得し、一次メモリ12に記憶する。また、取得ステップM11は、砂性状測定装置92、造型機93、及びセンサ群98から砂情報、造型情報、搬送情報、及び環境情報を取得し、一次メモリ12に記憶する。
検査ステップM12は、プロセッサ11が、学習済モデルLMを用いて鋳型9の製品面を検査するステップである。検査ステップM12において、プロセッサ11は、検査画像、砂情報、造型情報、搬送情報、及び環境情報を一次メモリ12から読み出して学習済モデルLMに入力する。そして、学習済モデルLMから出力された検査結果を示す情報を一次メモリ12に書き込む。検査結果を示す情報は、欠陥の有無を示す情報、及び1または複数の欠陥の領域を示す情報を含む。
判断ステップM13は、プロセッサ11が、学習済モデルLMの出力に基づき鋳型9に欠陥が有るか否かを判断するステップである。当該ステップにおいて欠陥が有ると判断された場合、警告ステップM14が実行される。欠陥が無いと判断された場合、検査方法M1は終了する。
警告ステップM14は、プロセッサ11が、学習済モデルLMの出力に基づき警告情報を出力するステップである。警告ステップM14において、プロセッサ11は、学習済モデルLMから出力された検査結果を示す情報に基づいて、警告情報を生成する。
警告情報は、例えば、検査画像に欠陥の領域の境界線を示す図形を検査画像に重畳した画像である。また、警告情報は、例えば、鋳型9と同一種類の模型を用いて造型された複数の鋳型における欠陥の発生頻度(発生回数、発生率等)を含む。
また、警告情報は、例えば、鋳型9と同一種類の模型を用いて造型された複数の鋳型における箇所毎の欠陥の発生頻度(発生回数、発生率等)を含む。欠陥が発生した箇所は、例えば、検査画像を分割したブロック単位で管理される。
プロセッサ11は、生成した警告情報を、出力デバイスを用いて出力する。例えば、出力デバイスにディスプレイが含まれる場合、プロセッサ11は、警告情報を示す画像を生成し、当該画像をディスプレイに表示させる。
作業者は、警告情報が出力された場合、該当する鋳型9について鋳造ラインCにおけるその後の工程をスキップさせることができる。
〔機械学習装置の構成〕
機械学習装置2の構成について、図4を参照して説明する。図4は、機械学習装置2の構成を示すブロック図である。
機械学習装置2は、汎用コンピュータを用いて実現されており、プロセッサ21と、一次メモリ22と、二次メモリ23と、入出力インタフェース24と、通信インタフェース25と、バス26とを備えている。プロセッサ21、一次メモリ22、二次メモリ23、入出力インタフェース24、及び通信インタフェース25は、バス26を介して相互に接続されている。
二次メモリ23には、機械学習プログラムP2及び学習用データセットDSが格納されている。学習用データセットDSは、教師データD1、D2…の集合である。プロセッサ21は、二次メモリ23に格納されている機械学習プログラムP2を一次メモリ22上に展開する。そして、プロセッサ21は、一次メモリ22上に展開された機械学習プログラムP2に含まれる命令に従って、機械学習方法M2に含まれる各ステップを実行する。二次メモリ23に格納された学習用データセットDSは、機械学習方法M2の学習用データセット構築ステップM21(後述)にて構築され、機械学習方法M2の学習済モデル構築ステップM22(後述)において利用される。また、機械学習方法M2の学習済モデル構築ステップM22にて構築された学習済モデルLMも、二次メモリ23に格納される。なお、機械学習プログラムP2が二次メモリ23に格納されているとは、ソースコード、又は、ソースコードをコンパイルすることにより得られた実行形式ファイルが二次メモリ23に記憶されていることを指す。また、学習済モデルLMが二次メモリ23に格納されているとは、学習済モデルLMを規定するパラメータが二次メモリ23に格納されていることを指す。
プロセッサ21として利用可能なデバイスとしては、例えば、CPU(Central Processing Unit)、GPU(Graphic Processing Unit)、DSP(Digital Signal Processor)、MPU(Micro Processing Unit)、FPU(Floating point number Processing Unit)、PPU(Physics Processing Unit)、マイクロコントローラ、又は、これらの組み合わせを挙げることができる。プロセッサ21は、「演算装置」と呼ばれることもある。
また、一次メモリ22として利用可能なデバイスとしては、例えば、半導体RAM(Random Access Memory)を挙げることができる。一次メモリ22は、「主記憶装置」と呼ばれることもある。また、二次メモリ23として利用可能なデバイスとしては、例えば、フラッシュメモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、ODD(Optical Disk Drive)、FDD(Floppy Disk Drive)、又は、これらの組み合わせを挙げることができる。二次メモリ23は、「補助記憶装置」と呼ばれることもある。なお、二次メモリ23は、機械学習装置2に内蔵されていてもよいし、入出力インタフェース24又は通信インタフェース25を介して機械学習装置2と接続された他のコンピュータ(例えば、クラウドサーバを構成するコンピュータ)に内蔵されていてもよい。なお、本実施形態においては、機械学習装置2における記憶を2つのメモリ(一次メモリ22及び二次メモリ23)により実現しているが、これに限定されない。すなわち、機械学習装置2における記憶を1つのメモリにより実現してもよい。この場合、例えば、そのメモリの或る記憶領域を一次メモリ22として利用し、そのメモリの他の記憶領域を二次メモリ23として利用すればよい。
入出力インタフェース24には、入力デバイス及び/又は出力デバイスが接続される。入出力インタフェース24としては、例えば、USB(Universal Serial Bus)、ATA(Advanced Technology Attachment)、SCSI(Small Computer System Interface)、PCI(Peripheral Component Interconnect)などのインタフェースが挙げられる。また、入出力インタフェース24に接続される入力デバイスとしては、キーボード、マウス、タッチパッド、マイク、又は、これらの組み合わせが挙げられる。機械学習方法M2においてユーザから取得するデータは、これらの入力デバイスを介して機械学習装置2に入力され、一次メモリ22に記憶される。また、入出力インタフェース24に接続される出力デバイスとしては、ディスプレイ、プロジェクタ、プリンタ、スピーカ、ヘッドホン、又は、これらの組み合わせが挙げられる。機械学習方法M2においてユーザに提供する情報は、これらの出力デバイスを介して機械学習装置2から出力される。なお、機械学習装置2は、ラップトップ型コンピュータのように、入力デバイスとして機能するキーボードと、出力デバイスとして機能するディスプレイとを、それぞれ内蔵してもよい。或いは、機械学習装置2は、タブレット型コンピュータのように、入力デバイス及び出力デバイスの両方として機能するタッチパネルを内蔵していてもよい。
通信インタフェース25には、ネットワークを介して他のコンピュータが有線接続又は無線接続される。通信インタフェース25としては、例えば、イーサネット(登録商標)、Wi-Fi(登録商標)などのインタフェースが挙げられる。利用可能なネットワークとしては、PAN(Personal Area Network)、LAN(Local Area Network)、CAN(Campus Area Network)、MAN(Metropolitan Area Network)、WAN(Wide Area Network)、GAN(Global Area Network)、又は、これらのネットワークを含むインターネットワークが挙げられる。インターネットワークは、イントラネットであってもよいし、エクストラネットであってもよいし、インターネットであってもよい。機械学習装置2が他のコンピュータ(例えば、検査装置1)に提供するデータ(例えば、学習済モデルLM)は、これらのネットワークを介して送受信される。
例えば、通信インタフェース25には、カメラ3、砂性状測定装置92、造型機93、及びセンサ群98のそれぞれが接続される。機械学習方法M2においてこれらの各装置から取得するデータは、通信インタフェース25を介して機械学習装置2に入力され、一次メモリ22に記憶される。なお、これらの各装置の一部または全部は、通信インタフェース25に接続されるものに限らず、入出力インタフェース24に接続されるものであってもよい。
なお、本実施形態においては、単一のプロセッサ(プロセッサ21)を用いて機械学習方法M2を実行する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のプロセッサを用いて機械学習方法M2を実行する構成を採用してもよい。この場合、連携して機械学習方法M2を実行する複数のプロセッサは、単一のコンピュータに設けられ、バスを介して相互に通信可能に構成されていてもよいし、複数のコンピュータに分散して設けられ、ネットワークを介して相互に通信可能に構成されていてもよい。一例として、クラウドサーバを構成するコンピュータに内蔵されたプロセッサと、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサとが、連携して機械学習方法M2を実行する態様などが考えられる。
また、本実施形態においては、機械学習方法M2を実行するプロセッサ(プロセッサ21)と同じコンピュータに内蔵されたメモリ(二次メモリ23)に学習用データセットDSを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、機械学習方法M2を実行するプロセッサと異なるコンピュータに内蔵されたメモリに学習用データセットDSを格納する構成を採用してもよい。この場合、学習用データセットDSを格納するメモリが内蔵されたコンピュータは、機械学習方法M2を実行するプロセッサが内蔵されたコンピュータとネットワークを介して相互に通信可能に構成される。一例として、クラウドサーバを構成するコンピュータに内蔵されたメモリに学習用データセットDSを格納し、そのクラウドサーバの利用者が所有するコンピュータに内蔵されたプロセッサが機械学習方法M2を実行する態様などが考えられる。
また、本実施形態においては、単一のメモリ(二次メモリ23)に学習用データセットDSを格納する構成を採用しているが、本発明は、これに限定されない。すなわち、複数のメモリに学習用データセットDSを分散して格納する構成を採用してもよい。この場合、学習用データセットDSを格納する複数のメモリは、単一のコンピュータ(機械学習方法M2を実行するプロセッサが内蔵されたコンピュータであってもよいし、そうでなくてもよい)に設けられていてもよいし、複数のコンピュータ(機械学習方法M2を実行するプロセッサが内蔵されたコンピュータを含んでいてもよいし、そうでなくてもよい)に分散して設けられていてもよい。一例として、クラウドサーバを構成する複数のコンピュータの各々に内蔵されたメモリに学習用データセットDSを分散して格納する構成などが考えられる。
また、本実施形態においては、検査方法M1及び機械学習方法M2を異なるプロセッサ(プロセッサ11及びプロセッサ21)を用いて実行する構成を採用しているが、本発明は、これに限定されない。すなわち、検査方法M1及び機械学習方法M2を同一のプロセッサを用いて実行してもよい。この場合、機械学習方法M2を実行することによって、このプロセッサと同じコンピュータに内蔵されたメモリに学習済モデルLMが格納される。そして、このプロセッサは、検査方法M1を実行する際に、このメモリに格納された学習済モデルLMを利用する。
〔機械学習方法の流れ〕
機械学習方法M2の流れについて、図5を参照して説明する。図5は、機械学習方法M2の流れを示すフローチャートである。
機械学習方法M2は、学習用データセット構築ステップM21と、学習済モデル構築ステップM22と、を含んでいる。
学習用データセット構築ステップM21は、プロセッサ21が、教師データD1、D2,…の集合である学習用データセットDSを構築するステップである。
各教師データDi(i=1,2,…)には、検査画像、砂情報、造型情報、搬送情報、及び環境情報を含む入力データと、欠陥の有無を示す情報、及び1または複数の欠陥の領域を示す情報を含む正解データとが含まれている。具体的には、学習用データセット構築ステップM21において、プロセッサ21は、検査画像をカメラ3から取得する。また、プロセッサ21は、砂性状測定装置92、造型機93、及びセンサ群98から、砂情報、造型情報、搬送情報、及び環境情報を取得する。これらの情報は、検査画像に被写体として含まれる鋳型9に関連する。また、プロセッサ21は、検査対象の鋳型9に対する作業者の検査結果を示す情報として、ユーザによって入力された欠陥の有無を示す情報、及び1または複数の欠陥の領域を示す情報を取得する。プロセッサ21は、各装置から取得した入力データ(検査画像、砂情報、造型情報、搬送情報、及び環境情報)と、ユーザによって入力された正解データ(作業者の検査結果を示す情報)とを含む教師データDiを、二次メモリ23に格納する。以上のプロセスをプロセッサ21が繰り返すことによって、学習用データセットDSが構築される。
学習済モデル構築ステップM22は、プロセッサ21が、学習済モデルLMを構築するステップである。学習済モデル構築ステップM22において、プロセッサ21は、学習用データセットDSを用いた教師あり学習によって、学習済モデルLMを構築する。そして、プロセッサ21は、構築した学習済モデルLMを二次メモリ23に格納する。
〔鋳造ラインCの構成〕
検査システムSの適用対象となる鋳造ラインCの一部の構成について、図6を参照して説明する。図6は、鋳造ラインCの概略的な構成の一部を示すブロック図である。鋳造ラインCは、搬送路にそって複数の鋳型9を搬送し、各鋳型9へ注湯することにより鋳物を製造するシステムの一部の一例である。鋳造ラインCで用いる鋳型9は生型であり、造型方式は枠付き造型である。ただし、鋳造ラインCにおける造型方式は抜枠造型であってもよい。また、検査システムSが適用対象とする鋳造ラインは、自硬性鋳型を用いるラインであってもよい。
図6に示すように、鋳造ラインCは、混練機91と、砂性状測定装置92と、造型機93と、搬送装置94と、中子セット場95と、型合わせ装置96と、注湯機97と、センサ98aと、センサ98bとを含む。センサ98aおよびセンサ98bは、図1に示したセンサ群98に含まれるセンサの一例である。
混練機91は、鋳物砂を混練する装置である。
砂性状測定装置92は、混練機91によって混練された鋳物砂の性状を測定する装置である。
造型機93は、模型を用いて鋳型9を製造する装置である。造型機93は、鋳型9の上型及び下型を造型する。
搬送装置94は、造型機93から下流側(注湯機97側)へと搬送路に沿って鋳型9を搬送する装置である。搬送路は、例えば、造型機93から注湯機97まで敷設されたローラコンベヤ(図示略)又はレール(図示略)によって構成される。搬送路上には、複数の鋳枠Fが等間隔で位置P1からP14に配置される。搬送装置94は、これらの鋳枠Fを下流側に1枠ずつ搬送する。下流側に1枠搬送されると、位置P1からP13に配置された鋳枠Fは、位置P2からP14に配置される。位置P14に配置された鋳枠Fは、位置P14より1枠下流側の位置(図示せず)に配置される。位置P1には、新たな鋳枠Fが配置される。造型機93から中子セット場95までの搬送路付近(ここでは、位置P5付近)には、カメラ3が設置される。
中子セット場95には、作業者が駐留する。中子セット場95は、型合わせする前の鋳型9に作業者が中子をセットする場である。
型合わせ装置96は、上型と下型とを型合わせする装置である。
注湯機97は、鋳型9に溶湯を流し込む装置である。
センサ98aは、造型機93または検査装置1周辺の環境を検出するセンサ群である。センサ98aは、例えば、温度センサ、湿度センサ、及び浮遊粉じんの濃度を測定する測定器によって構成される。センサ98aを構成する各センサは、造型機93または検査装置1の周辺に設置される。
センサ98bは、鋳型9に加わる外力を検出するセンサ群である。センサ98bは、例えば、複数の加速度センサによって構成され、各鋳枠Fに付帯する。
〔鋳造ラインCが実施する鋳造工程C100〕
鋳造ラインCが実施する鋳造工程C100について、図7を参照して説明する。図7は、鋳造工程C100の一部の各工程を説明するフローチャートである。図7に示すように、鋳造工程C100は、混練工程C101と、造型工程C102と、搬送工程C103、C105、C107、C109と、検査工程C104と、中子セット工程C106と、型合わせ工程C108と、注湯工程C110とを含む。
混練工程C101において、混練機91は、鋳物砂を混練する。具体的には、例えば、混練機91は、粘結剤、水分、その他添加剤(でん粉、石炭粉など)、またはこれらの組み合わせを鋳物砂に加えて混練する。また、砂性状測定装置92は、混練された鋳物砂の性状を測定し、測定結果を、上述した砂情報として検査装置1に送信する。
造型工程C102において、造型機93は、混練工程C101において混練された鋳物砂を、鋳枠F内に充填する。また、造型機93は、鋳枠F内の鋳物砂を加圧して固めることにより、鋳型9の上型または下型を造型する。具体的には、造型機93は、鋳枠F内に上型の模型が設けられている場合、上型を造型し、下型の模型が設けられている場合、下型を造型する。例えば、造型機93は、上型と下型とを交互に造型する。また、造型機93は、当該工程が完了すると、搬送可能であることを示す信号を搬送装置94に出力する。また、造型機93は、当該工程中に得られた離型剤情報及び造型機93の設定情報を、上述した造型情報として検査装置1に送信する。また、センサ98aのうち造型機93の周辺に設置されたセンサは、当該工程中に検出した造型機93周辺の温度、湿度、または浮遊粉じんの濃度を、上述した環境情報として検査装置1に送信する。また、センサ98aのうち検査装置1の周辺に設置されたセンサは、当該工程中に検出した検査装置1周辺の温度、湿度、または浮遊粉じんの濃度を、上述した環境情報として検査装置1に送信する。
搬送工程C103において、搬送装置94は、造型機93側から各鋳枠Fを下流に向けて搬送する。なお、搬送装置94は、造型機93、型合わせ装置96、及び注湯機97から、搬送可能であることを示す信号をそれぞれ受信している場合に、当該工程を実行する。また、センサ98bは、造型工程C102が完了した鋳枠F付き上型または下型に対して、搬送中に加わる外力を検出する。センサ98bは、検出結果を、上述した搬送情報として検査装置1に送信する。当該鋳枠F付き上型または下型が位置P5まで搬送されると、次の検査工程C104が実施される。
検査工程C104において、カメラ3は、位置P5にある鋳枠F付き上型または下型の製品面を撮像し、撮像した画像を検査画像として検査装置1に送信する。検査装置1は、工程C101~C104で砂性状測定装置92、造型機93、センサ98a、98b、及びカメラ3から取得した情報を用いて、上述した検査方法M1を実行する。検査装置1は、検査方法M1において鋳枠F付き上型または下型の製品面に欠陥があると判断した場合、警告情報を出力デバイスに出力する。
搬送工程C105における搬送装置94の動作は、搬送工程C103と同様である。検査工程C104が完了した鋳枠F付き上型または下型が位置P6まで搬送されると、次の中子セット工程C106が実施される。
中子セット工程C106において、作業者は、中子セット場95(位置P6~P8)にある鋳枠F内が下型である場合、下型に中子をセットする。
ここで、検査工程C104において警告情報が出力されている場合、作業者は、警告情報が出力された鋳枠F付き上型または下型に対して、目視により以降の工程を実施可能であるか否かを判断する。実施可能と判断した場合、作業者は、鋳枠F付き下型であればこれに中子をセットする。また、実施不可能と判断した場合、作業者は、当該鋳枠F付き上型または下型を不良枠として登録する。これにより、当該鋳枠F付き上型または下型に対して、以降の工程が実施されない。不良枠の詳細については後述する。
なお、作業者は、警告情報が出力された鋳枠F付き上型または下型に対して、必要な手当てを施した上で以降の工程を実施可能であると判断してもよい。この場合、作業者は、当該鋳枠F付き上型または下型に対して必要な手当てを施した後、下型であればこれに中子をセットする。必要な手当ての一例としては、当該鋳枠F付き上型または下型の製品面の清掃、および当該製品面への離型剤の塗布等がある。
搬送工程C107における搬送装置94の動作は、搬送工程C103と同様である。中子セット工程C106が完了した鋳枠F付き上型または下型が位置P10まで搬送されると、次の型合わせ工程C108が実施される。なお、鋳枠F付き上型は、位置P10に搬送されるまでの間に、枠反転装置(不図示)によって当該上型の製品面が下になるよう反転される。
型合わせ工程C108において、型合わせ装置96は、鋳枠F付き上型と鋳枠F付き下型とを型合わせする。これにより、上型と下型とが型合わせされた鋳枠F付き鋳型9が得られる。また、型合わせ装置96は、当該工程が完了すると、搬送可能であることを示す信号を搬送装置94に出力する。
搬送工程C109における搬送装置94の動作は、搬送工程C103と同様である。型合わせ工程C108が完了した鋳枠F付き鋳型9が位置P14まで搬送されると、次の注湯工程C110が実施される。
注湯工程C110において、注湯機97は、位置P14にある鋳枠F付き鋳型9に溶湯を流し込む。また、注湯機97は、当該工程が完了すると、搬送可能であることを示す信号を搬送装置94に出力する。
その後、鋳枠F付き鋳型9に注入された溶湯は、冷却されることにより鋳物となる。当該鋳物は、鋳枠F付き鋳型9が解体されることにより取り出される。
鋳造ラインCにて鋳造される鋳物の品質を維持するためには、鋳型9の製品面に欠陥が発生した場合には当該鋳型9を用いてその後の工程を行わないことが望ましい。
そこで、鋳造工程C100においては、造型工程C102にて造型された鋳型9の製品面を検査する検査工程C104を検査装置1が実施する。検査工程C104において出力デバイスに警告情報が出力された場合、作業者は、警告情報が出力された鋳枠F付き上型または下型を、不良枠として登録する。これにより、当該鋳枠F付き上型または下型についてその後の工程(型合わせ工程C108、及び注湯工程C110)をスキップさせることが可能となる。
(不良枠の詳細)
ここで、不良枠の詳細について説明する。不良枠とは、その製品面に欠陥(例えば、型落ち不良)があり、良品を製造できないと判断された鋳型9(または当該鋳型9が配置された鋳枠F)である。型合わせ工程C108より前の工程では、鋳枠F付き上型または下型が不良枠として登録される。不良枠の登録とは、例えば、不良枠を示す情報をシフトデータに記録することである。シフトデータとは、ラインコントローラ(図示せず)が鋳枠Fの位置(P1~P14)に対応する記憶領域に記憶する情報である。鋳枠Fが1枠搬送(シフト)されると、記憶領域に記録されたシフトデータもまた、搬送先の位置に対応する記憶領域にシフトして記憶される。シフトデータは、例えば造型履歴を示すデータ(造型情報)、搬送状況を示すデータ(搬送情報)、溶湯状態を示すデータ、及び合金材投入履歴を示すデータ等、またはこれらのデータが紐付けられた鋳型9の識別情報を含む。
例えば、中子セット工程C106において、作業者は、警告情報が出力された鋳枠F付き上型または下型が不良枠であると判断した場合、当該鋳枠F付き上型または下型を不良枠として登録する操作を行う。例えば、登録する操作は、判定スイッチの押下であってもよい。ラインコントローラは、作業者の登録する操作に応じて、該当する鋳枠F付き上型または下型が不良枠であることを示す情報をシフトデータに記録する。
中子セット工程C106以降の工程(型合わせ工程C108および注湯工程C110等)では、各工程を実施する装置(型合わせ装置96および注湯機97等)が、シフトデータを参照する。各装置は、シフトデータを参照することにより、不良枠として登録された鋳枠F付き上型または下型、または、これらが型合わせされた後の鋳枠F付き鋳型9に対して、工程をスキップする。
(中子セット工程C106を中子セット装置が実施する場合)
上述した鋳造工程C100の説明では、作業者が中子をセットしているが、中子セット場95には、中子を自動でセットする中子セット装置(図示せず)が配置されてもよい。この場合、中子セット装置が、鋳枠F付き下型に中子をセットする。この場合、検査装置1は、検査工程C104において、鋳枠F付き上型または下型の製品面に欠陥があると判断した場合、警告情報を出力デバイスに出力することに代えて、または、加えて、当該鋳枠F付き上型または下型を不良枠として登録する処理を行ってもよい。例えば、検査装置1は、ラインコントローラに対して、不良枠の登録を要求する要求情報を送信する。ラインコントローラは、要求情報の受信に応じて、該当する鋳枠F付き上型または下型が不良枠であることを示す情報をシフトデータに記録する。中子セット装置は、シフトデータを参照することにより、不良枠として登録された(すなわち、警告情報が出力された)鋳枠F付き下型には中子をセットしない。
〔変形例1〕
上述した本発明の一実施形態は、学習済モデルの入力がさらに基準画像を含むよう変形することができる。
本変形例に係る検査システムSaの構成について、図8を参照して説明する。図8は、検査システムSaの構成を示すブロック図である。検査システムSaは、検査装置1aと、機械学習装置2aと、カメラ3と、照明4とを含む。
(検査装置1aの構成)
検査装置1aは、検査装置1に対して、学習済モデルLMの代わりに学習済モデルLMaを用いて、鋳型9の製品面を検査する点が異なる。それ以外の点については、検査装置1と同様である。
(学習済モデルLMaの入力及び出力)
学習済モデルLMaの入力は、学習済モデルLMの入力と同様の検査画像、砂情報、造型情報、搬送情報、及び環境情報に加えて、基準画像を含む。基準画像は、正常な鋳型9の製品面がカメラ3によって撮像された画像である。正常な鋳型9は、製品面に欠陥を有していない。基準画像に被写体として含まれる鋳型9は、検査画像に被写体として含まれる鋳型9と同一種類の模型を用いて造型されたものである。学習済モデルLMaの出力は、学習済モデルLMの出力と同様である。
(検査装置1aによる検査方法の流れ)
検査装置1aによる検査方法について、図3を参照して説明する。検査装置1aによる検査方法は、図3に示した検査方法M1に含まれる取得ステップM11、及び検査ステップM12を次のように変形することにより説明される。それ以外の点については、検査方法M1と同様である。
取得ステップM11は、検査画像、砂情報、造型情報、搬送情報、環境情報、及び基準画像を取得して一次メモリ12に記憶するよう変形される。プロセッサ11は、例えば、ユーザにより指定された基準画像を取得する。ユーザによる基準画像の指定は、例えば、二次メモリ13における基準画像の格納場所をユーザが検査装置1aに入力することにより実現される。
検査ステップM12は、検査画像、砂情報、造型情報、搬送情報、環境情報、及び基準画像を一次メモリ12から読み出して、これらを学習済モデルLMaに入力するよう変形される。
(機械学習装置2aの構成)
機械学習装置2aは、機械学習装置2に対して、学習用データセットDSの代わりに学習用データセットDSaを用いて、学習済モデルLMの代わりに学習済モデルLMaを構築する点が異なる。それ以外の点については、機械学習装置2と同様である。
(機械学習装置2aによる機械学習方法の流れ)
機械学習装置2aによる機械学習方法について、図5を参照して説明する。機械学習装置2aによる機械学習方法は、図5に示した機械学習方法M2に含まれる各ステップを次のように変形することにより説明される。それ以外の点については、機械学習方法M2と同様である。
学習用データセット構築ステップM21は、学習用データセットDSに代えて、学習用データセットDSaを構築するよう変形される。学習用データセットDSaは、教師データDa-i(i=1、2、…)の集合である。プロセッサ21は、(i)カメラ3によって撮像された検査画像、(ii)各装置から取得された情報(砂情報、造型情報、搬送情報、環境情報)、及び(iii)ユーザにより指定された基準画像を入力データとして含むとともに、(iv)作業者による検査結果を示す情報(欠陥の有無を示す情報、及び1または複数の欠陥の領域を示す情報)を正解データとして含む教師データDa-iを、二次メモリ23に格納する。以上のプロセスをプロセッサ21が繰り返すことによって、学習用データセットDSaが構築される。
学習済モデル構築ステップM22は、学習用データセットDSaを用いた教師あり学習によって、学習済モデルLMaを構築するよう変形される。プロセッサ21は、構築した学習済モデルLMaを二次メモリ23に格納する。
本変形例は、検査画像に加えて基準画像を入力データとして参照する学習済モデルLMaを用いるため、より精度の高い検査結果を示す情報を得ることができる。
〔変形例2〕
上述した本発明の一実施形態は、鋳型9の製品面の検査を行うために用いる学習済モデルを、当該鋳型9の造型に用いた模型の種類に応じて選択するよう変形することができる。
本変形例に係る検査システムSbの構成について、図9を参照して説明する。図9は、検査システムSbの構成を示すブロック図である。検査システムSbは、検査装置1bと、機械学習装置2bと、カメラ3と、照明4とを含む。
(検査装置1bの構成)
検査装置1bは、検査装置1に対して、学習済モデルLMの代わりに学習済モデルLMb-j(j=1、2、…)を用いて鋳型9の製品面を検査する点が異なる。jは、模型の種類を識別する識別情報である。識別情報jで識別される種類の模型を、模型jとも記載する。検査装置1bは、複数の学習済モデルLMb-1、LMb-2、…を、二次メモリ13に記憶している。それ以外の点については、検査装置1bと同様である。
(学習済モデルLMb-j)
学習済モデルLMb-jは、模型jに応じて機械学習されたものである。学習済モデルLMb-jの入力及び出力は、学習済モデルLMの入力及び出力と同様である。
(検査装置1bによる検査方法の流れ)
検査装置1bによる検査方法M1bの流れについて、図10を参照して説明する。図10は、検査方法M1bの流れを示すフローチャートである。検査方法M1bは、図3に示した検査方法M1に対して、検査ステップM12の代わりに検査ステップM12bを含む点と、さらに選択ステップM15bを含む点とが異なる。その他の各ステップについては、検査方法M1と同様である。
選択ステップM15bにおいて、プロセッサ11は、ユーザによって入力される模型の識別情報jを取得し、取得した識別情報jに対応する学習済モデルLMb-jを選択する。ユーザにより入力される識別情報jは、検査対象の鋳型9の造型に用いられた模型の種類を識別するものである。
検査ステップM12bにおいて、プロセッサ11は、選択ステップM15bで選択した学習済モデルLMb-jを用いて、検査ステップM12と同様の処理を行う。
(機械学習装置2bの構成)
機械学習装置2bは、機械学習装置2に対して、複数の学習済モデルLMb-1、LMb-2、…を構築する点が異なる。それ以外の点については、機械学習装置2と同様である。
(機械学習装置2bによる機械学習方法の流れ)
機械学習装置2bによる機械学習方法M2bの流れについて、図11を参照して説明する。図11は、機械学習方法M2bの流れを示すフローチャートである。機械学習方法M2bは、複数種類の模型1、2、…の各々について、学習用データセット構築ステップM21b及び学習済モデル構築ステップM22bを実行する。
学習用データセット構築ステップM21bにおいて、プロセッサ21は、模型jについて学習用データセット構築ステップM21と同様の処理を実行し、学習用データセットDSb-jを構築する。
また、学習済モデル構築ステップM22bにおいて、プロセッサ21は、学習用データセットDSb-jを用いた教師あり学習によって、学習済モデルLMb-jを構築する。そして、プロセッサ21は、構築した学習済モデルLMb-jを二次メモリ23に格納する。
本変形例は、模型jに応じて学習済モデルLMb-jを構築する。これにより、本変形例は、検査対象の鋳型9の造型に用いた模型jに応じて学習済モデルLMb-jを選択し、選択した学習済モデルLMb-jを用いて、当該鋳型9の製品面を検査する。その結果、本変形例では、当該模型j特有の欠陥を検出する精度が向上する。
〔変形例3〕
上述した本発明の一実施形態は、変形例2及び3を組み合わせて変形することができる。
本変形例に係る検査システムScの構成について、図12を参照して説明する。図12は、検査システムScの構成を示すブロック図である。検査システムScは、検査装置1cと、機械学習装置2cと、カメラ3と、照明4とを含む。
(検査装置1cの構成)
検査装置1cは、変形例2に係る検査装置1bに対して、学習済モデルLMb-j(j=1、2、…)の代わりに、学習済モデルLMc-jを用いて鋳型9の製品面を検査する点が異なる。検査装置1cは、複数の学習済モデルLMc-1、LMc-2、…を、二次メモリ13に記憶している。それ以外の点については、検査装置1bと同様である。
(学習済モデルLMc-j)
学習済モデルLMc-jは、模型jに応じて機械学習されたものである。jは、変形例2と同様、模型の種類を識別する識別情報である。学習済モデルLMc-jの入力は、変形例2における学習済モデルLMb-jの入力に加えて、基準画像をさらに含む。つまり、学習済モデルLMc-jの入力は、変形例1における学習済モデルLMaの入力と同様である。学習済モデルLMc-jの出力は、変形例2における学習済モデルLMb-jの出力と同様である。
(検査装置1cによる検査方法の流れ)
検査装置1cによる検査方法について、図10を参照して説明する。検査装置1cによる検査方法は、図10に示した変形例2に係る検査方法M1bに含まれる取得ステップM11及び検査ステップM12bを、次のように変形することにより説明される。
取得ステップM11は、検査画像、砂情報、造型情報、搬送情報、環境情報、及び基準画像を取得して一次メモリ12に記憶するよう変形される。プロセッサ11は、例えば、ユーザにより指定された基準画像を取得する。ユーザによる基準画像の指定は、例えば、二次メモリ13における基準画像の格納場所をユーザが検査装置1cに入力することにより実現される。
検査ステップM12bは、検査画像、砂情報、造型情報、搬送情報、環境情報、及び基準画像を一次メモリ12から読み出して、これらを、選択ステップM15bで選択した学習済モデルLMc-jに入力するよう変形される。
(機械学習装置2cの構成)
機械学習装置2cは、変形例2に係る機械学習装置2bに対して、複数の学習済モデルLMc-1、LMc-2、…各々の構築に用いる入力データとして基準画像をさらに用いる点が異なる。それ以外の点については、機械学習装置2bと同様である。
(機械学習装置2cによる機械学習方法の流れ)
機械学習装置2cによる機械学習方法について、図11を参照して説明する。機械学習方法M2cは、図11に示した変形例2に係る機械学習方法M2bに含まれる各ステップを、次のように変形することにより説明される。
学習用データセット構築ステップM21bは、学習用データセットDSb-j(j=1、2、…)に代えて、学習用データセットDSc-jを構築するよう変形される。学習用データセットDSc-jは、教師データDc-ji(i=1、2、…)からなる。プロセッサ21は、(i)カメラ3によって鋳型9の製品面が撮像された検査画像、(ii)各装置から取得された情報(砂情報、造型情報、搬送情報、環境情報)、及び(iii)ユーザにより指定された基準画像を入力データとして含むとともに、(iv)作業者による検査結果を示す情報(欠陥の有無を示す情報、及び1または複数の欠陥の領域を示す情報)を正解データとして含む教師データDc-jiを、二次メモリ23に格納する。以上のプロセスをプロセッサ21が繰り返すことによって、学習用データセットDSc-jが構築される。
学習済モデル構築ステップM22は、学習用データセットDSc-jを用いた教師あり学習によって、学習済モデルLMc-jを構築するよう変形される。プロセッサ21は、構築した学習済モデルLMc-jを二次メモリ23に格納する。
本変形例は、模型jに応じて学習済モデルLMc-jを構築する。学習済モデルLMc-jは、入力データとして基準画像を含んでいる。これにより、本変形例は、検査対象の鋳型9の造型に用いた模型jに対応する学習済モデルLMc-jを選択し、当該学習済モデルLMc-jに当該模型jの基準画像を入力して鋳型9の製品面を検査する。その結果、本変形例では、当該模型j特有の欠陥を検出する精度がさらに向上する。
〔まとめ〕
態様1に係る検査装置は、機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを実行する一または複数のプロセッサを備えている。前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含む。前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報である。
上記構成により、鋳型の外観において検出したい欠陥等の特徴を定義しておく必要がないので、実際は正常である鋳型を正常でないと判定したり、実際は正常でない鋳型を正常であると判定したりする可能性が低減される。その結果、鋳型の外観の検査精度が向上する。
態様2に係る検査装置は、態様1に係る検査装置の特徴に加えて、以下の特徴を有している。すなわち、態様2に係る検査装置において、前記鋳型の外観は、前記鋳型の製品面の外観である。
上記構成により、鋳型の製品面の外観の検査精度が向上する。
態様3に係る検査装置は、態様1または2に係る検査装置の特徴に加えて、以下の特徴を有している。すなわち、態様3に係る検査装置において、前記一または複数のプロセッサは、前記鋳型の造型に用いた模型の種類に応じた学習済モデルを選択する選択ステップを更に実行し、前記検査ステップにおいて、前記選択ステップにて選択された学習済モデルを用いて、前記鋳型の外観を検査する。
上記構成により、鋳型の造型に用いた模型の種類に応じた検査結果を得ることができ、検査精度がさらに向上する。
態様4に係る検査装置は、態様1から3の何れか一態様に係る検査装置の特徴に加えて、以下の特徴を有している。すなわち、態様4に係る検査装置において、前記学習済モデルの入力は、正常な鋳型の外観を撮像した基準画像をさらに含む。
上記構成により、検査画像に加えて基準画像を参照することで、検査精度がさらに向上する。
態様5に係る検査装置は、態様1から4の何れか一態様に係る検査装置の特徴に加えて、以下の特徴を有している。すなわち、態様5に係る検査装置において、前記学習済モデルの入力は、前記鋳型を構成する鋳物砂を示す砂情報、前記鋳型の造型状況を示す造型情報、前記鋳型の搬送状況を示す搬送情報、及び環境情報の一部または全部をさらに含む。
上記構成により、検査画像に加えて砂情報、造型情報、搬送情報、及び環境情報の一部または全部をさらに参照することで、検査精度がさらに向上する。
態様6に係る検査装置は、態様1から5の何れか一態様に係る検査装置の特徴に加えて、以下の特徴を有している。すなわち、態様6に係る検査装置において、前記学習済モデルの出力は、前記鋳型の外観における欠陥の有無を少なくとも示す。
上記構成により、鋳型の外観における欠陥の有無を得ることができる。
態様7に係る検査装置は、態様6に係る検査装置の特徴に加えて、以下の特徴を有している。すなわち、態様7に係る検査装置において、前記一または複数のプロセッサは、前記学習済モデルの出力が前記鋳型の外観に欠陥が有ることを示す場合、前記検査結果を示す情報に基づいて警告情報を出力する警告ステップをさらに実行する。
上記構成により、ユーザに、鋳型の外観に欠陥があることを警告することができる。例えば、ユーザは、警告情報を参照して、外観に欠陥がある鋳型を用いたその後の工程をスキップさせることができる。
態様8に係る検査方法は、一または複数のプロセッサが、機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを実行することを含んでいる。前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報である。
上記構成により、態様1に係る検査装置と同様の効果を奏する。
態様9に係る機械学習装置は、学習用データセットを用いた教師あり学習によって、鋳型の外観を検査する学習済モデルを構築する構築ステップを実行する一または複数のプロセッサを備えている。前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報である。
上記構成により、鋳型の外観を精度よく検査する学習済モデルを構築することができる。
態様10に係る機械学習方法は、一または複数のプロセッサが、学習用データセットを用いた教師あり学習によって、鋳型の外観を検査する学習済モデルを構築する構築ステップを含んでいる。前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報である。
上記構成により、態様9に係る機械学習装置と同様の効果を奏する。
〔付記事項〕
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
Sa、Sb、Sc 検査システム
1、1a、1b、1c 検査装置
2、2a、2b、2c 機械学習装置
3 カメラ
4 照明
9 鋳型
11、21 プロセッサ
12、22 一次メモリ
13、23 二次メモリ
14、24 入出力インタフェース
15、25 通信インタフェース
16、26 バス
M1、M1b 検査方法
M11 取得ステップ
M12、M12b 検査ステップ
M13 判断ステップ
M14 警告ステップ
M15b 選択ステップ
M2、M2b 機械学習方法
M21、M21b 学習用データセット構築ステップ

Claims (10)

  1. 機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを実行する一または複数のプロセッサを備えており、
    前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、
    前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報であり、
    前記鋳型の外観の検査結果を示す情報は、欠陥の有無を示す情報、及び、1または複数の欠陥の領域を示す情報の一方または両方を含む、
    ことを特徴とする検査装置。
  2. 前記鋳型の外観は、前記鋳型の製品面の外観である、
    ことを特徴とする請求項1に記載の検査装置。
  3. 前記一または複数のプロセッサは、
    前記鋳型の造型に用いた模型の種類に応じた学習済モデルを選択する選択ステップを更に実行し、
    前記検査ステップにおいて、前記選択ステップにて選択された学習済モデルを用いて、前記鋳型の外観を検査する、
    ことを特徴とする請求項1または2に記載の検査装置。
  4. 前記学習済モデルの入力は、正常な鋳型の外観を撮像した基準画像をさらに含む、
    ことを特徴とする請求項1から3の何れか1項に記載の検査装置。
  5. 前記学習済モデルの入力は、前記鋳型を構成する鋳物砂を示す砂情報、前記鋳型の造型状況を示す造型情報、前記鋳型の搬送状況を示す搬送情報、及び環境情報の一部または全部をさらに含む、
    ことを特徴とする請求項1から4の何れか1項に記載の検査装置。
  6. 前記学習済モデルの出力は、前記鋳型の外観における欠陥の有無を少なくとも示す、
    ことを特徴とする請求項1から5の何れか1項に記載の検査装置。
  7. 前記一または複数のプロセッサは、
    前記学習済モデルの出力が前記鋳型の外観に欠陥が有ることを示す場合、前記検査結果を示す情報に基づいて警告情報を出力する警告ステップをさらに実行する、
    ことを特徴とする請求項6に記載の検査装置。
  8. 一または複数のプロセッサが、機械学習により構築された学習済モデルを用いて、鋳型の外観を検査する検査ステップを実行することを含む検査方法であって、
    前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、
    前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報であり、
    前記鋳型の外観の検査結果を示す情報は、欠陥の有無を示す情報、及び、1または複数の欠陥の領域を示す情報の一方または両方を含む、
    ことを特徴とする検査方法。
  9. 学習用データセットを用いた教師あり学習によって、鋳型の外観を検査する学習済モデルを構築する構築ステップを実行する一または複数のプロセッサを備えており、
    前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、
    前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報であり、
    前記鋳型の外観の検査結果を示す情報は、欠陥の有無を示す情報、及び、1または複数の欠陥の領域を示す情報の一方または両方を含む、
    ことを特徴とする機械学習装置。
  10. 一または複数のプロセッサが、学習用データセットを用いた教師あり学習によって、鋳型の外観を検査する学習済モデルを構築する構築ステップを含んでおり、
    前記学習済モデルの入力は、前記鋳型の外観を撮像した検査画像を含み、
    前記学習済モデルの出力は、前記鋳型の外観の検査結果を示す情報であり、
    前記鋳型の外観の検査結果を示す情報は、欠陥の有無を示す情報、及び、1または複数の欠陥の領域を示す情報の一方または両方を含む、
    ことを特徴とする機械学習方法。
JP2020217535A 2020-12-25 2020-12-25 検査装置、検査方法、機械学習装置、及び機械学習方法 Active JP7509033B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020217535A JP7509033B2 (ja) 2020-12-25 2020-12-25 検査装置、検査方法、機械学習装置、及び機械学習方法
US17/518,680 US20220207684A1 (en) 2020-12-25 2021-11-04 Inspection device, inspection method, machine learning device, and machine learning method
DE102021132415.7A DE102021132415A1 (de) 2020-12-25 2021-12-09 Prüfvorrichtung, Prüfverfahren, Maschinenlernvorrichtung und Maschinenlernverfahren
CN202111634141.5A CN114689594A (zh) 2020-12-25 2021-12-22 检查装置、检查方法、机器学习装置以及机器学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020217535A JP7509033B2 (ja) 2020-12-25 2020-12-25 検査装置、検査方法、機械学習装置、及び機械学習方法

Publications (2)

Publication Number Publication Date
JP2022102666A JP2022102666A (ja) 2022-07-07
JP7509033B2 true JP7509033B2 (ja) 2024-07-02

Family

ID=81972248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020217535A Active JP7509033B2 (ja) 2020-12-25 2020-12-25 検査装置、検査方法、機械学習装置、及び機械学習方法

Country Status (4)

Country Link
US (1) US20220207684A1 (ja)
JP (1) JP7509033B2 (ja)
CN (1) CN114689594A (ja)
DE (1) DE102021132415A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11727672B1 (en) * 2022-05-24 2023-08-15 Nanotronics Imaging, Inc. System and method for generating training data sets for specimen defect detection
CN117685881B (zh) * 2024-01-31 2024-06-04 成都建工第七建筑工程有限公司 一种混凝土结构实体位置与尺寸偏差的感知与检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018216495A1 (ja) 2017-05-26 2018-11-29 新東工業株式会社 検査装置及び鋳造システム
US20200292462A1 (en) 2019-03-15 2020-09-17 Inventec (Pudong) Technology Corporation Surface defect detection system and method thereof
JP2020157333A (ja) 2019-03-26 2020-10-01 日本製鉄株式会社 学習モデル作成装置、鋳片品質推定装置、学習モデル作成方法、鋳片品質推定方法、およびプログラム
JP2020198471A (ja) 2019-05-30 2020-12-10 キヤノン株式会社 システムの制御方法、及びシステム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6765036B2 (ja) * 2016-03-28 2020-10-07 パナソニックIpマネジメント株式会社 外観検査装置と外観検査方法
WO2018150607A1 (ja) * 2017-02-20 2018-08-23 Serendipity株式会社 外観検査装置、照明装置、撮影照明装置
JP6549644B2 (ja) * 2017-06-27 2019-07-24 ファナック株式会社 機械学習装置、ロボット制御システム及び機械学習方法
JP7054436B2 (ja) * 2017-12-14 2022-04-14 オムロン株式会社 検出システム、情報処理装置、評価方法及びプログラム
JP6955211B2 (ja) * 2017-12-14 2021-10-27 オムロン株式会社 識別装置、識別方法及びプログラム
JP2020139905A (ja) * 2019-03-01 2020-09-03 セイコーエプソン株式会社 検査装置、検査方法、およびプログラム
CN112534243B (zh) * 2019-03-15 2024-07-19 欧姆龙株式会社 检查装置与方法及计算机能读取的非临时性的记录介质
JP7263074B2 (ja) * 2019-03-22 2023-04-24 キヤノン株式会社 情報処理装置、及びその制御方法、プログラム、記憶媒体
JP7434032B2 (ja) * 2020-03-31 2024-02-20 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム
JP2022187663A (ja) * 2021-06-08 2022-12-20 富士フイルムビジネスイノベーション株式会社 表面検査装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018216495A1 (ja) 2017-05-26 2018-11-29 新東工業株式会社 検査装置及び鋳造システム
US20200292462A1 (en) 2019-03-15 2020-09-17 Inventec (Pudong) Technology Corporation Surface defect detection system and method thereof
JP2020157333A (ja) 2019-03-26 2020-10-01 日本製鉄株式会社 学習モデル作成装置、鋳片品質推定装置、学習モデル作成方法、鋳片品質推定方法、およびプログラム
JP2020198471A (ja) 2019-05-30 2020-12-10 キヤノン株式会社 システムの制御方法、及びシステム

Also Published As

Publication number Publication date
US20220207684A1 (en) 2022-06-30
DE102021132415A1 (de) 2022-06-30
JP2022102666A (ja) 2022-07-07
CN114689594A (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
JP7509033B2 (ja) 検査装置、検査方法、機械学習装置、及び機械学習方法
JP4588414B2 (ja) 内部欠陥検査方法および装置
WO2019003524A1 (ja) 可視化システム
US20220318667A1 (en) Intelligent real-time defect prediction, detection, and ai driven automated correction solution
US11761910B2 (en) Surface or interface defect detection
Rossi et al. Neural networks and NARXs to replicate extrusion simulation in digital twins for fused filament fabrication
US20210304392A1 (en) Display control device and storage medium
JP2020098108A (ja) 表面の不具合検査方法
JP2023527187A (ja) 製造業のための自己組織化サイバー・フィジカル・システムの開発及び展開のためのシステム及び方法
Baitiang et al. Data-driven process analysis for iron foundries with automatic sand molding process
Gruzman Foundry production digitalization
JP2020140365A (ja) 製品品質不良予測システム
JP7363638B2 (ja) 表示制御装置及び制御プログラム
JP7338534B2 (ja) 表示制御装置及び制御プログラム
JP7186054B2 (ja) 欠陥検出支援装置、該方法および該プログラム
JP2021162573A (ja) 検査結果表示装置及び制御プログラム
Das et al. Molding a Solution.
US11373348B2 (en) Display device
JP2021162575A (ja) 表示制御装置及び制御プログラム
Muthukumar et al. Review on Automated Casting Fault Separation Machine
WO2023054450A1 (ja) 活性粘土分推定装置、学習済モデル生成装置、活性粘土分推定方法、及び学習済モデル生成方法
JP2003344026A (ja) 中空翼検査方法、及び中空翼検査用コンピュータプログラム
Sika et al. Methodology of Determination of Key Casting Process Parameters on DISA MATCH Automatic Moulding Line Affecting the Formation of Alloy-Mould Contact Defects
King et al. Novel Experimental Method for Metal Flow Analysis using Open Molds for Sand Casting
JP2021159941A (ja) 強熱減量推定装置、強熱減量推定方法、機械学習装置、及び機械学習方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230608

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240603

R150 Certificate of patent or registration of utility model

Ref document number: 7509033

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150