JP7049028B2 - 良否判定システム及び良否判定方法 - Google Patents
良否判定システム及び良否判定方法 Download PDFInfo
- Publication number
- JP7049028B2 JP7049028B2 JP2021549555A JP2021549555A JP7049028B2 JP 7049028 B2 JP7049028 B2 JP 7049028B2 JP 2021549555 A JP2021549555 A JP 2021549555A JP 2021549555 A JP2021549555 A JP 2021549555A JP 7049028 B2 JP7049028 B2 JP 7049028B2
- Authority
- JP
- Japan
- Prior art keywords
- machine learning
- unit
- teaching data
- defect
- quality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Description
本発明は、良否判定システム及び良否判定方法に関する。
特許文献１には、人工知能による機械学習を利用したサービスを提供するサービス提供システムが記載されている。このサービス提供システムは、人工知能による機械学習を利用したサービスを提供するサービス提供システムであって、ユーザから送られてくる情報を基にした学習データを入力して機械学習によりモデル化した一般的なモデルを生成するための機械学習手段と、ユーザから送られてくる情報に基づいて前記一般的なモデルを当該ユーザに適したモデルにパーソナライズ化するためのパーソナライズ化手段と、前記パーソナライズ化されたモデルを用いて当該ユーザにパーソナライズ化されたサービスを提供するサービス提供手段と、を備え、前記ユーザから送られてくる情報を前記機械学習と前記パーソナライズ化との両方に利用する。
特許文献２には、任意の音の発生源の位置を、実空間と対応付けることによってリアルタイムに可視化する音源位置の可視化表示方法が記載されている。この可視化表示方法は、ひとつ以上の音を検知してそのそれぞれの音源の位置を突き止め、少なくとも音源の位置を含む音源に関する情報を可視情報に変換し、音源周辺の実画像とリアルタイムに重ね合わせて表示することを特徴としている。
本発明は、より高い精度で被検査物の良否を判定できる良否判定システム及び良否判定方法を提供することを目的とする。
請求項１に記載の発明は、複数の被検査物の欠陥を含む画像を、該欠陥を特徴づける明るさに応じて分類し、分類された複数の教示データ群を生成する教示データ群生成部と、クラウドコンピューティングサービスとして提供され機械学習モデルを構築する機械学習モデル構築サービスが前記複数の教示データ群に基づいてそれぞれ構築した複数の前記機械学習モデルを記憶する記憶部と、前記被検査物の画像を撮像するカメラ部と、前記記憶部に記憶された前記複数の機械学習モデルに基づいて、それぞれ前記カメラ部によって撮像された前記被検査物の良否を判定する判定部と、前記判定部による判定の結果を評価し、前記複数の機械学習モデルの中から最適な機械学習モデルを選択する最適モデル選択部と、を備えた良否判定システムである。
請求項２に記載の発明は、請求項１記載の良否判定システムにおいて、教示データ群生成部が、前記画像について、それぞれ、前記欠陥を特徴づける明るさを表す特徴値を求める処理Ｐ１と、前記特徴値に応じて前記複数の画像をそれぞれ分類し、分類された前記複数の教示データ群を生成する処理Ｐ２と、を実施する。
請求項３に記載の発明は、請求項１記載の良否判定システムにおいて、教示データ群生成部が、前記画像について、それぞれ、前記欠陥を特徴づける明るさを判断するための基準となる複数の基準値の中から、該欠陥を特徴づける明るさを表す複数の基準値を、それぞれ特徴値として求める処理Ｐ１と、前記特徴値の数と同じ枚数の前記画像を用意し、該画像を前記複数の異なる特徴値に応じてそれぞれ分類し、分類された前記複数の教示データ群を生成する処理Ｐ２と、を実施する。
請求項４に記載の発明は、請求項１記載の良否判定システムを使用した良否判定方法であって、前記教示データ群生成部が、前記複数の教示データ群を生成するステップと、前記記憶部が、前記複数の機械学習モデルを記憶するステップと、前記判定部が、前記複数の機械学習モデルに基づいて、それぞれ前記被検査物の良否を判定するステップと、前記最適モデル選択部が、前記複数の機械学習モデルの中から最適な機械学習モデルを選択するステップと、前記判定部が、前記最適モデル選択部が選択した前記機械学習モデルを用いて前記被検査物の良否を判定するステップと、を含む良否判定方法である。
本発明によれば、より高い精度で被検査物の良否を判定できる良否判定システム及び良否判定方法を提供できる。
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。なお、図において、説明に関連しない部分は図示を省略する場合がある。
〔第１の実施の形態〕
本発明の第１の実施の形態に係る良否判定システム１０ａ（図１参照）は、機械学習により、ユーザが製造した製品である被検査物１４の外観の良否を判定することができる。この外観の良否は、傷や異物の付着等の欠陥の有無により判定される。
被検査物１４は、例えば、自動車や航空機等の輸送機械の部品及び食品である。ただし、被検査物１４は、これら部品や食品に限定されるものではない。
この良否判定システム１０ａによる良否判定サービスは、サービス提供事業者によって、ユーザに対して提供される。
本発明の第１の実施の形態に係る良否判定システム１０ａ（図１参照）は、機械学習により、ユーザが製造した製品である被検査物１４の外観の良否を判定することができる。この外観の良否は、傷や異物の付着等の欠陥の有無により判定される。
被検査物１４は、例えば、自動車や航空機等の輸送機械の部品及び食品である。ただし、被検査物１４は、これら部品や食品に限定されるものではない。
この良否判定システム１０ａによる良否判定サービスは、サービス提供事業者によって、ユーザに対して提供される。
良否判定システム１０ａは、図１に示すように、教示データ作成装置２０、サーバ３０及び検査システム４０ａを備えている。
教示データ作成装置２０、サーバ３０及び検査システム４０ａはインターネットＮを介して互いに接続されている。
教示データ作成装置２０、サーバ３０及び検査システム４０ａはインターネットＮを介して互いに接続されている。
教示データ作成装置２０は、例えばパーソナルコンピュータである。教示データ作成装置２０は、サービス提供事業者又は検査システム４０ａを使用するユーザによって管理され、図２に示すように、教示データ作成部２０２を有している。
教示データ作成部（教示データ作成手段の一例）２０２は、例えば検査システム４０ａに設けられたカメラ４６０から被検査物１４の画像を取得し、機械学習モデルを構築するための教示データとして、被検査物１４の画像を作成できる。
なお、教示データ作成装置２０は、教示データ作成装置２０にて実行されるプログラムによって、教示データ作成手段として機能する。
教示データ作成装置２０は、スマートフォン等の携帯端末であってもよい。
教示データ作成部（教示データ作成手段の一例）２０２は、例えば検査システム４０ａに設けられたカメラ４６０から被検査物１４の画像を取得し、機械学習モデルを構築するための教示データとして、被検査物１４の画像を作成できる。
なお、教示データ作成装置２０は、教示データ作成装置２０にて実行されるプログラムによって、教示データ作成手段として機能する。
教示データ作成装置２０は、スマートフォン等の携帯端末であってもよい。
サーバ３０は、サービス提供事業者によって管理され、図３に示すように、教示データ群生成部３０２、最適モデル選択部３０６及び管理部３０８を有している。
教示データ群生成部（教示データ群生成手段の一例）３０２は、図４に示すように、教示データ作成装置２０が作成した複数の異なる欠陥を含む被検査物１４の画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、・・・（教示データ群ＴＤ）を前処理することで、前処理された教示データ群の集合ＴＤｇ、すなわち、教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・を作成する。
教示データ群生成部（教示データ群生成手段の一例）３０２は、図４に示すように、教示データ作成装置２０が作成した複数の異なる欠陥を含む被検査物１４の画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、・・・（教示データ群ＴＤ）を前処理することで、前処理された教示データ群の集合ＴＤｇ、すなわち、教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・を作成する。
ここで、位置（Ｘｄ，Ｙｄ）を中心とする欠陥Ｄを含む被検査物１４の各画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、・・・が、例えば１３０万画素のカメラによって撮像されると、図５に示すように、その大きさは、縦が１０２４ｐｘ（Ｙ軸方向）、横が１２８０ｐｘ（Ｘ軸方向）となる。この画像は、水平グレイ値プロファイルグラフによって、図６に示すように表される。
ここで、水平グレイ値プロファイルグラフは、画像の画素を順に走査し、その走査位置に対応する明るさを表したグラフであり、横軸が走査位置、縦軸が明るさを示している。画素の走査方向は、例えば図５の矢印にて示すように、画像の左上から右へと向かう方向（Ｘ軸の正方向）であり、これを下方向（Ｙ軸の正方向）へと繰り返して全画素が走査される。
ここで、水平グレイ値プロファイルグラフは、画像の画素を順に走査し、その走査位置に対応する明るさを表したグラフであり、横軸が走査位置、縦軸が明るさを示している。画素の走査方向は、例えば図５の矢印にて示すように、画像の左上から右へと向かう方向（Ｘ軸の正方向）であり、これを下方向（Ｙ軸の正方向）へと繰り返して全画素が走査される。
図６に示す水平グレイ値プロファイルグラフは、欠陥Ｄの明るさが、非欠陥部分よりも明るくなっていることを示している。ただし、欠陥のＤの明るさは、常に非欠陥部分よりも明るくなっているものではなく、非欠陥部分よりも暗くなっている場合もある。
このように、予め特定された欠陥Ｄの明るさは、非欠陥部分の明るさと異なる特徴を有し、明るさ（パラメータの一例）によって、欠陥Ｄが非欠陥部分と区別され、特徴づけられる。
なお、同図６に示した水平グレイ値プロファイルグラフは、走査位置の一部（欠陥Ｄの近傍）についてのみ示されており、省略した範囲が破線にて示されている。後述する図７Ａ～図７Ｃについても同様である。
このように、予め特定された欠陥Ｄの明るさは、非欠陥部分の明るさと異なる特徴を有し、明るさ（パラメータの一例）によって、欠陥Ｄが非欠陥部分と区別され、特徴づけられる。
なお、同図６に示した水平グレイ値プロファイルグラフは、走査位置の一部（欠陥Ｄの近傍）についてのみ示されており、省略した範囲が破線にて示されている。後述する図７Ａ～図７Ｃについても同様である。
教示データ群生成部３０２が行う前処理は、以下の処理Ｐ１及び処理Ｐ２を含む。
処理Ｐ１は、図６に示すように、教示データ群生成部３０２が、教示データ作成装置２０によって予め撮像された複数の被検査物１４の画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、・・・（教示データ群ＴＤ）について、それぞれ、予めその位置が特定された欠陥Ｄを特徴づける画素の明るさを、予め決められた大きさが異なる複数の閾値（明るさの範囲を判断するための基準となる基準値の一例）ＴＨ１～ＴＨ１０と比較して、その欠陥Ｄを特徴づける画素の明るさの範囲に含まれる複数の閾値を、欠陥Ｄを特徴づける明るさを表す特徴値として求める処理である。
処理Ｐ２は、教示データ群生成部３０２が、処理Ｐ１にて求められた複数の特徴値に応じて、各画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、・・・（教示データ群ＴＤ）を教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・に分類する処理である。ただし、その際、教示データ群生成部３０２が、一つの画像をいずれか一つの教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・に分類するのではなく、元の画像をコピーをすることで特徴値の数と同じ枚数の画像を用意して、各閾値に対応する教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・に分類する。
従って、この前処理により、図４に示すように、教示データ群ＴＤから、教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・が生成される。
処理Ｐ１は、図６に示すように、教示データ群生成部３０２が、教示データ作成装置２０によって予め撮像された複数の被検査物１４の画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、・・・（教示データ群ＴＤ）について、それぞれ、予めその位置が特定された欠陥Ｄを特徴づける画素の明るさを、予め決められた大きさが異なる複数の閾値（明るさの範囲を判断するための基準となる基準値の一例）ＴＨ１～ＴＨ１０と比較して、その欠陥Ｄを特徴づける画素の明るさの範囲に含まれる複数の閾値を、欠陥Ｄを特徴づける明るさを表す特徴値として求める処理である。
処理Ｐ２は、教示データ群生成部３０２が、処理Ｐ１にて求められた複数の特徴値に応じて、各画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、・・・（教示データ群ＴＤ）を教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・に分類する処理である。ただし、その際、教示データ群生成部３０２が、一つの画像をいずれか一つの教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・に分類するのではなく、元の画像をコピーをすることで特徴値の数と同じ枚数の画像を用意して、各閾値に対応する教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・に分類する。
従って、この前処理により、図４に示すように、教示データ群ＴＤから、教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・が生成される。
次に、この前処理の具体例について、それぞれ被検査物１４の画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３の一例である画像Ａ、Ｂ、Ｃ・・・に基づいて説明する。
画像ＩＭＧ１に対応する画像Ａは、図７Ａに示すように予め位置が特定された欠陥Ｄ１を含み、欠陥Ｄ１を特徴づける明るさの範囲が１５５～２０５である。
画像ＩＭＧ２に対応する画像Ｂは、図７Ｂに示すように予め位置が特定された欠陥Ｄ２を含み、欠陥Ｄ２を特徴づける明るさの範囲が１６５～２１５である。
画像ＩＭＧ３に対応する画像Ｃは、図７Ｃに示すように予め位置が特定された欠陥Ｄ３を含み、欠陥Ｄ３を特徴づける明るさの範囲が１５５～２３０である。
画像ＩＭＧ１に対応する画像Ａは、図７Ａに示すように予め位置が特定された欠陥Ｄ１を含み、欠陥Ｄ１を特徴づける明るさの範囲が１５５～２０５である。
画像ＩＭＧ２に対応する画像Ｂは、図７Ｂに示すように予め位置が特定された欠陥Ｄ２を含み、欠陥Ｄ２を特徴づける明るさの範囲が１６５～２１５である。
画像ＩＭＧ３に対応する画像Ｃは、図７Ｃに示すように予め位置が特定された欠陥Ｄ３を含み、欠陥Ｄ３を特徴づける明るさの範囲が１５５～２３０である。
前述の処理Ｐ１においては、まず、複数の閾値（基準値の一例）２０、４０、６０、８０、１００、１２０、１４０、１６０、１８０、２００、２２０、２４０が設定され、画像Ａ（図７Ａ参照）について、欠陥Ｄ１を特徴づける明るさの範囲１５５～２０５に含まれる３つの閾値１６０、１８０、２００が特徴値として求められる。
前述の処理Ｐ２においては、画像Ａをコピーすることにより、特徴値の数と同じ枚数、すなわち、３枚の画像Ａが用意され、各画像が、図８に示すように、特徴値１６０に対応する教示データ群ＴＤ１、特徴値１８０に対応する教示データ群ＴＤ２及び特徴値２００に対応する教示データ群ＴＤ３に分類される。
以上の処理Ｐ１及び処理Ｐ２が、残りの画像Ｂ、Ｃ・・・についても行われる。
すなわち、画像Ｂ（図７Ｂ参照）については、欠陥Ｄ２を特徴づける明るさの範囲１６５～２１５に含まれる２つの閾値１８０、２００が特徴値として求められ、画像Ｂが、特徴値１８０に対応する教示データ群ＴＤ２及び特徴値２００に対応する教示データ群ＴＤ３に分類される（図８参照）。
画像Ｃ（図７Ｃ参照）については、欠陥Ｄ３を特徴づける明るさの範囲１５５～２３０に含まれる４つの閾値１６０、１８０、２００、２２０が特徴値として求められ、画像Ｃが、特徴値１６０に対応する教示データ群ＴＤ１、特徴値１８０に対応する教示データ群ＴＤ２、特徴値２００に対応する教示データ群ＴＤ３及び特徴値２２０に対応する教示データ群ＴＤ４に分類される（図８参照）。
更に、教示データ群ＴＤに含まれる残りの画像（画像Ａ、Ｂ、Ｃ以外の画像）についても、求められた各特徴値に応じて、対応する教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・に分類され、教示データ群の集合ＴＤｇ（図４参照）が生成される。
すなわち、画像Ｂ（図７Ｂ参照）については、欠陥Ｄ２を特徴づける明るさの範囲１６５～２１５に含まれる２つの閾値１８０、２００が特徴値として求められ、画像Ｂが、特徴値１８０に対応する教示データ群ＴＤ２及び特徴値２００に対応する教示データ群ＴＤ３に分類される（図８参照）。
画像Ｃ（図７Ｃ参照）については、欠陥Ｄ３を特徴づける明るさの範囲１５５～２３０に含まれる４つの閾値１６０、１８０、２００、２２０が特徴値として求められ、画像Ｃが、特徴値１６０に対応する教示データ群ＴＤ１、特徴値１８０に対応する教示データ群ＴＤ２、特徴値２００に対応する教示データ群ＴＤ３及び特徴値２２０に対応する教示データ群ＴＤ４に分類される（図８参照）。
更に、教示データ群ＴＤに含まれる残りの画像（画像Ａ、Ｂ、Ｃ以外の画像）についても、求められた各特徴値に応じて、対応する教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・に分類され、教示データ群の集合ＴＤｇ（図４参照）が生成される。
欠陥を特徴づける明るさに応じて分類されたこれらの教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・は、それぞれ被検査物１４の良否を判定する機械学習モデルＭ１、Ｍ２、Ｍ３、Ｍ４・・・を構築するための教示データ群となる。
なお、前処理において、画像ＩＭＧ１、ＩＭＧ２、ＩＭＧ３、・・・（教示データ群ＴＤ）は、明るさに基づいて各教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・に分類されることに限定されるものではなく、明るさ以外のパラメータに基づいて分類されてもよい。明るさ以外のパラメータとして、例えば、ＨＳＶ色空間を構成する色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）及び明度（Ｖａｌｕｅ）や、ＲＧＢカラーモデルにおける階調表現されたＲ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）及びＢ（Ｂｌｕｅ）が挙げられる。すなわち、パラメータは、非欠陥部分と区別して欠陥部分を特徴づけることができれば任意でよい。
また、前処理として、欠陥部分を非欠陥部分よりも際立たせるためのフィルタ処理が含まれてもよい。
また、前処理として、欠陥部分を非欠陥部分よりも際立たせるためのフィルタ処理が含まれてもよい。
ここで、図１及び図４に示す機械学習モデル構築サービス８０は、クラウドコンピューティングサービスとして提供され、アップロードされた教示データに基づいて、学習済みの機械学習モデルを構築できる。この機械学習モデル構築サービス８０は、例えば、Ｇｏｏｇｌｅ Ｃｌｏｕｄ Ｐｌａｔｆｏｒｍ（ＧＣＰ）にて提供されるＣｌｏｕｄ ＡｕｔｏＭＬ Ｖｉｓｉｏｎである。
最適モデル選択部（最適モデル選択手段の一例）３０６（図３参照）は、機械学習モデル構築サービス８０が構築した複数の学習済みの機械学習モデルによる被検査物１４の良否の判定結果を評価し、最適な機械学習モデルを選択できる。
管理部（管理手段の一例）３０８は、ユーザが使用する検査システム４０ａの状態を管理できる。詳細には、管理部３０８は、検査システム４０ａが有する撮像部４６０（図１参照）の稼働状態に関する稼働情報を記録できる。この稼働情報については後述する。
なお、サーバ３０は、サーバ３０の内部にて実行されるプログラムによって、教示データ群生成手段、最適モデル選択手段及び管理手段として機能する。
検査システム４０ａは、図１に示すように、端末４４０、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）４５０及び被検査物１４を撮像するとともにその良否を判定する撮像部（判定装置の一例）４６０を有している。端末４４０、ＰＬＣ４５０及び撮像部４６０は、有線通信又は無線通信により互いに接続されている。
端末４４０は、ユーザによって管理される。端末４４０は、例えばパーソナルコンピュータやスマートフォン等の携帯端末であり、ＰＬＣ４５０の上位コントローラであってもよい。
端末４４０は、図９に示すように、機械学習モデル受信部４４０ａ、制御部４４０ｂ及び稼働状態出力部４４０ｃを有している。
端末４４０は、図９に示すように、機械学習モデル受信部４４０ａ、制御部４４０ｂ及び稼働状態出力部４４０ｃを有している。
機械学習モデル受信部（受信手段の一例）４４０ａは、機械学習モデル構築サービス８０が構築した各機械学習モデルをダウンロードできる。なお、各機械学習モデルのダウンロードは、セキュア通信によりなされる。
制御部（制御手段の一例）４４０ｂは、ＰＬＣ４５０及び撮像部４６０を制御できる。
稼働状態出力部（稼働状態出力手段の一例）４４０ｃは、撮像部４６０の稼働状態に関する稼働情報を出力できる。この稼働情報は、例えば、撮像部４６０が画像の撮像を開始してから終了するまでの時間の情報である。稼働情報は、撮像部４６０が撮像した画像の枚数の情報であってもよい。
なお、端末４４０は、端末４４０の内部にて実行されるプログラムによって、受信手段、制御手段及び稼働状態出力手段として機能する。
また、１台の端末４４０が機械学習モデル受信部４４０ａ、制御部４４０ｂ及び稼働状態出力部４４０ｃを全て有していることに限定されるものではなく、各部が互いに接続された複数の端末に分かれて存在していてもよい。
更に、端末４４０が、図２に示す教示データ作成装置２０に代わって教示データ作成部２０２を有していてもよい。
また、１台の端末４４０が機械学習モデル受信部４４０ａ、制御部４４０ｂ及び稼働状態出力部４４０ｃを全て有していることに限定されるものではなく、各部が互いに接続された複数の端末に分かれて存在していてもよい。
更に、端末４４０が、図２に示す教示データ作成装置２０に代わって教示データ作成部２０２を有していてもよい。
ＰＬＣ４５０は、ユーザによって管理され、図１に示すように、被検査物１４を検査する検査装置４７０を制御するコントローラである。
撮像部４６０（図９参照）は、ユーザによって管理され、被検査物１４の画像を撮像できる。また、撮像部４６０は、複数の機械学習モデルに基づいて、それぞれ撮像した被検査物１４の良否を判定できる。
撮像部４６０は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を搭載したカメラである。ただし、撮像部４６０は、スマートフォン等のカメラ付きの携帯端末であってもよい。
撮像部４６０は、カメラ部４６０ａ、記憶部４６０ｂ及び判定部４６０ｃを有している。
撮像部４６０は、例えば、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を搭載したカメラである。ただし、撮像部４６０は、スマートフォン等のカメラ付きの携帯端末であってもよい。
撮像部４６０は、カメラ部４６０ａ、記憶部４６０ｂ及び判定部４６０ｃを有している。
カメラ部４６０ａは、被検査物１４の画像を撮像し、画像データを取得できる。
記憶部４６０ｂは、機械学習モデル受信部４４０ａによってダウンロードされた複数の機械学習モデルを記憶できる。
判定部４６０ｃは、カメラ部４６０ａが撮像した被検査物１４の画像データ及び記憶部４６０ｂに記憶された機械学習モデルに基づいて、被検査物１４の欠陥の有無、すなわち、被検査物１４の良否を判定できる。判定部４６０ｃは、機械学習モデルによる演算処理を高速に行うことができ、例えば、ＧＰＵにより構成されている。
記憶部４６０ｂは、機械学習モデル受信部４４０ａによってダウンロードされた複数の機械学習モデルを記憶できる。
判定部４６０ｃは、カメラ部４６０ａが撮像した被検査物１４の画像データ及び記憶部４６０ｂに記憶された機械学習モデルに基づいて、被検査物１４の欠陥の有無、すなわち、被検査物１４の良否を判定できる。判定部４６０ｃは、機械学習モデルによる演算処理を高速に行うことができ、例えば、ＧＰＵにより構成されている。
次に、良否判定システム１０ａの動作（被検査物１４の良否判定方法）について、図１０に基づいて説明する。良否判定システム１０ａは、以下のステップＳ１～Ｓ９に従って動作する。ステップＳ１～Ｓ９のうち、ステップＳ１～Ｓ７は、実際の良否判定を行うまでに必要な準備段階としての動作であり、以降のステップＳ８、Ｓ９は、部品等の出荷前の検査工程における実際の良否判定の動作である。
なお、可能な場合には、各ステップＳ１～Ｓ７は順番を入れ替えて実施されてもよいし、並行して実施されてもよい。
なお、可能な場合には、各ステップＳ１～Ｓ７は順番を入れ替えて実施されてもよいし、並行して実施されてもよい。
（ステップＳ１）
教示データ作成装置２０（図１参照）の教示データ作成部２０２（図２参照）が、撮像部４６０が撮像した被検査物１４の画像データに基づいて、図４に示す教示データ群ＴＤとなる被検査物１４の画像データを複数作成する。
教示データ群ＴＤは、規定の欠陥を含む被検査物１４の複数の画像データ及び規定の欠陥を含まない被検査物１４の複数の画像データ群である。なお、欠陥の種類として、例えば、傷、ボイド、汚れ、及び異物混入等が挙げられる。ただし、検査対象とすべき欠陥は、被検査物１４によって異なる。
作成された複数の被検査物１４の画像は、図示しない記憶手段に記憶され、図３に示すサーバ３０に送信される。
教示データ群ＴＤは、教示データ作成部２０２が作成することに代えて、予め準備された被検査物１４の画像データに基づいて手作業により作成されてもよい。
教示データ作成装置２０（図１参照）の教示データ作成部２０２（図２参照）が、撮像部４６０が撮像した被検査物１４の画像データに基づいて、図４に示す教示データ群ＴＤとなる被検査物１４の画像データを複数作成する。
教示データ群ＴＤは、規定の欠陥を含む被検査物１４の複数の画像データ及び規定の欠陥を含まない被検査物１４の複数の画像データ群である。なお、欠陥の種類として、例えば、傷、ボイド、汚れ、及び異物混入等が挙げられる。ただし、検査対象とすべき欠陥は、被検査物１４によって異なる。
作成された複数の被検査物１４の画像は、図示しない記憶手段に記憶され、図３に示すサーバ３０に送信される。
教示データ群ＴＤは、教示データ作成部２０２が作成することに代えて、予め準備された被検査物１４の画像データに基づいて手作業により作成されてもよい。
（ステップＳ２）
サーバ３０の教示データ群生成部３０２が、図４に示すように、教示データ作成装置２０が生成した被検査物１４の複数の画像（教示データ群ＴＤ）を前処理し、特徴値に応じて分類された複数の教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・を生成する。前処理においては、例えば、明るさについての複数の閾値ＴＨ１～ＴＨ１０（図６参照）が用いられる。
なお、各閾値は、欠陥Ｄの明るさの最大値を求め、この最大値を分割することによって、求められてもよい。
その後、サービス提供事業者又はユーザの操作により、サーバ３０が、前処理後の教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・をそれぞれ機械学習モデル構築サービス８０にアップロードする。
このように、ノウハウが必要な教示データの前処理をユーザではなくサービス提供事業者が行うので、ユーザは簡単に機械学習モデルによる良否判定システム１０ａを導入できる。
サーバ３０の教示データ群生成部３０２が、図４に示すように、教示データ作成装置２０が生成した被検査物１４の複数の画像（教示データ群ＴＤ）を前処理し、特徴値に応じて分類された複数の教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・を生成する。前処理においては、例えば、明るさについての複数の閾値ＴＨ１～ＴＨ１０（図６参照）が用いられる。
なお、各閾値は、欠陥Ｄの明るさの最大値を求め、この最大値を分割することによって、求められてもよい。
その後、サービス提供事業者又はユーザの操作により、サーバ３０が、前処理後の教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・をそれぞれ機械学習モデル構築サービス８０にアップロードする。
このように、ノウハウが必要な教示データの前処理をユーザではなくサービス提供事業者が行うので、ユーザは簡単に機械学習モデルによる良否判定システム１０ａを導入できる。
（ステップＳ３）
アップロードされた教示データ群に基づき、機械学習モデル構築サービス８０によってそれぞれ機械学習モデルＭ１、Ｍ２、Ｍ３、Ｍ４・・・が構築される。
構築された学習済みの機械学習モデルは、それぞれサーバ３０の最適モデル選択部３０６（図３参照）によって各機械学習モデルＭ１、Ｍ２、Ｍ３、Ｍ４・・・の精度が検証される。
なお、精度が予め決められた基準よりも悪い場合には、前ステップＳ２に戻り、教示データ群生成部３０２は、フィルタ処理を更に適用するなどして前処理する。
アップロードされた教示データ群に基づき、機械学習モデル構築サービス８０によってそれぞれ機械学習モデルＭ１、Ｍ２、Ｍ３、Ｍ４・・・が構築される。
構築された学習済みの機械学習モデルは、それぞれサーバ３０の最適モデル選択部３０６（図３参照）によって各機械学習モデルＭ１、Ｍ２、Ｍ３、Ｍ４・・・の精度が検証される。
なお、精度が予め決められた基準よりも悪い場合には、前ステップＳ２に戻り、教示データ群生成部３０２は、フィルタ処理を更に適用するなどして前処理する。
（ステップＳ４）
ユーザの操作により、端末４４０の機械学習モデル受信部４４０ａ（図９参照）が、機械学習モデル構築サービス８０によって構築された学習済みの各機械学習モデルをダウンロードする。ダウンロードされた学習済みの各機械学習モデルは、端末４４０を介して撮像部４６０に送信される。
ユーザの操作により、端末４４０の機械学習モデル受信部４４０ａ（図９参照）が、機械学習モデル構築サービス８０によって構築された学習済みの各機械学習モデルをダウンロードする。ダウンロードされた学習済みの各機械学習モデルは、端末４４０を介して撮像部４６０に送信される。
（ステップＳ５）
撮像部４６０の記憶部４６０ｂが、機械学習モデル受信部４４０ａによってダウンロードされた各機械学習モデルを記憶する。
撮像部４６０の記憶部４６０ｂが、機械学習モデル受信部４４０ａによってダウンロードされた各機械学習モデルを記憶する。
（ステップＳ６）
端末４４０の制御部４４０ｂがＰＬＣ４５０及び撮像部４６０を制御し、検査装置４７０（図１参照）にて製造された被検査物１４の良否を試験的に判定する。
詳細には、被検査物１４を出荷する際の良否判定を行う準備段階として、撮像部４６０のカメラ部４６０ａ（図９参照）が被検査物１４の画像を撮像し、判定部４６０ｃが、撮像された画像及び記憶部４６０ｂに記憶された複数の機械学習モデルに基づいて、それぞれ被検査物１４に欠陥が存在するか否かを検査し、欠陥がない場合は良品と判定し、欠陥がある場合には不良品と判定する。
端末４４０の制御部４４０ｂがＰＬＣ４５０及び撮像部４６０を制御し、検査装置４７０（図１参照）にて製造された被検査物１４の良否を試験的に判定する。
詳細には、被検査物１４を出荷する際の良否判定を行う準備段階として、撮像部４６０のカメラ部４６０ａ（図９参照）が被検査物１４の画像を撮像し、判定部４６０ｃが、撮像された画像及び記憶部４６０ｂに記憶された複数の機械学習モデルに基づいて、それぞれ被検査物１４に欠陥が存在するか否かを検査し、欠陥がない場合は良品と判定し、欠陥がある場合には不良品と判定する。
（ステップＳ７）
前ステップＳ６における試験的な各判定結果は、撮像部６０から端末４４０を介して、サーバ３０へと送信される。
図３に示すサーバ３０が有する最適モデル選択部３０６は、試験的な各判定結果に基づいて、各機械学習モデルの良否を評価し、最適な機械学習モデル（以下、「最適モデル」という。）を選択する。
選択された最適モデルの情報は、サーバ３０から端末４４０に送信される。
前ステップＳ６における試験的な各判定結果は、撮像部６０から端末４４０を介して、サーバ３０へと送信される。
図３に示すサーバ３０が有する最適モデル選択部３０６は、試験的な各判定結果に基づいて、各機械学習モデルの良否を評価し、最適な機械学習モデル（以下、「最適モデル」という。）を選択する。
選択された最適モデルの情報は、サーバ３０から端末４４０に送信される。
前述の通り、本ステップＳ７までは、実際の良否判定を行うまでに必要な準備段階としての動作である。
次ステップＳ８以降が、部品等の出荷前の検査工程における実際の良否判定の動作となる。
次ステップＳ８以降が、部品等の出荷前の検査工程における実際の良否判定の動作となる。
（ステップＳ８）
端末４４０の制御部４４０ｂ（図９参照）がＰＬＣ４５０及び撮像部４６０を制御し、撮像部６０は、選択された最適モデルに基づいて、検査装置４７０（図１参照）のコンベヤに載って搬送されてくる被検査物１４の良否を判定する。
詳細には、撮像部４６０のカメラ部４６０ａ（図９参照）が被検査物１４の画像を撮像し、判定部４６０ｃが、撮像された画像及び記憶部４６０ｂに記憶されている最適モデルに基づいて、被検査物１４に欠陥が存在するか否かを検査し、欠陥がない場合は良品と判定し、欠陥がある場合には不良品と判定する。
端末４４０の制御部４４０ｂ（図９参照）がＰＬＣ４５０及び撮像部４６０を制御し、撮像部６０は、選択された最適モデルに基づいて、検査装置４７０（図１参照）のコンベヤに載って搬送されてくる被検査物１４の良否を判定する。
詳細には、撮像部４６０のカメラ部４６０ａ（図９参照）が被検査物１４の画像を撮像し、判定部４６０ｃが、撮像された画像及び記憶部４６０ｂに記憶されている最適モデルに基づいて、被検査物１４に欠陥が存在するか否かを検査し、欠陥がない場合は良品と判定し、欠陥がある場合には不良品と判定する。
（ステップＳ９）
端末４４０の稼働状態出力部４４０ｃ（図９参照）が、撮像部４６０の稼働状態に関する稼働情報をサーバ３０に送信する。送信された稼働情報はサーバ３０の記憶部（不図示）に記憶され、良否判定システム１０ａの稼働状態がサーバ３０にて一元的に管理される。
端末４４０の稼働状態出力部４４０ｃ（図９参照）が、撮像部４６０の稼働状態に関する稼働情報をサーバ３０に送信する。送信された稼働情報はサーバ３０の記憶部（不図示）に記憶され、良否判定システム１０ａの稼働状態がサーバ３０にて一元的に管理される。
このように、本実施の形態に係る良否判定システム１０ａは、構築された複数の機械学習モデルの中から選択された最適な機械学習モデルを用いて被検査物１４の良否を判定するので、より精度が高い判定結果が得られる。
なお、良否判定システム１０ａは、カメラ部４６０ａの種類によっては、被検査物１４の外観以外についての状態の良否を判定できる。例えば、カメラ部４６０ａが赤外線カメラである場合には、被検査物１４の内部の状態の良否を判定することも可能である。
なお、良否判定システム１０ａは、カメラ部４６０ａの種類によっては、被検査物１４の外観以外についての状態の良否を判定できる。例えば、カメラ部４６０ａが赤外線カメラである場合には、被検査物１４の内部の状態の良否を判定することも可能である。
〔第２の実施の形態〕
続いて、本発明の第２の実施の形態に係る良否判定システム１０ｂについて説明する。第１の実施の形態に係る良否判定システム１０ａと同一の機能を有する構成要素については、同じ符号を付して詳しい説明を省略する場合がある。
良否判定システム１０ｂは、図１１に示すように、教示データ作成装置２０、サーバ３０及び検査システム４０ｂを備えている。
検査システム４０ｂは、端末４４２、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）４５０及び被検査物１４を撮像する撮像部４６２を有している。
続いて、本発明の第２の実施の形態に係る良否判定システム１０ｂについて説明する。第１の実施の形態に係る良否判定システム１０ａと同一の機能を有する構成要素については、同じ符号を付して詳しい説明を省略する場合がある。
良否判定システム１０ｂは、図１１に示すように、教示データ作成装置２０、サーバ３０及び検査システム４０ｂを備えている。
検査システム４０ｂは、端末４４２、ＰＬＣ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｃｏｎｔｒｏｌｌｅｒ）４５０及び被検査物１４を撮像する撮像部４６２を有している。
端末４４２（判定装置の一例）は、例えば、パーソナルコンピュータ、スマートフォン、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）を実現するためのＭＲデバイス、又はＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）を実現するためのＡＲデバイスである。
端末４４２は、図１２に示すように、機械学習モデル受信部（受信手段の一例）４４０ａ、制御部（制御手段の一例）４４０ｂ、稼働状態出力部（稼働状態出力手段の一例）４４０ｃ、記憶部（記憶手段の一例）４６０ｂ及び判定部（判定手段の一例）４６０ｃを有し、複数の機械学習モデルに基づいてそれぞれ被検査物の良否を判定できる。
なお、端末４４２は、端末４４２の内部にて実行されるプログラムによって、受信手段、制御手段、稼働状態出力手段、記憶手段及び判定手段として機能する。
端末４４２は、図１２に示すように、機械学習モデル受信部（受信手段の一例）４４０ａ、制御部（制御手段の一例）４４０ｂ、稼働状態出力部（稼働状態出力手段の一例）４４０ｃ、記憶部（記憶手段の一例）４６０ｂ及び判定部（判定手段の一例）４６０ｃを有し、複数の機械学習モデルに基づいてそれぞれ被検査物の良否を判定できる。
なお、端末４４２は、端末４４２の内部にて実行されるプログラムによって、受信手段、制御手段、稼働状態出力手段、記憶手段及び判定手段として機能する。
撮像部４６２は、カメラ部４６０ａを有している。
すなわち、本良否判定システム１０ｂは、第１の実施の形態に係る撮像部４６０が有していた記憶部４６０ｂ及び判定部４６０ｃを端末４４２が有している。
なお、端末４４２が、機械学習モデル受信部４４０ａ、制御部４４０ｂ、稼働状態出力部４４０ｃ、記憶部４６０ｂ及び判定部４６０ｃのうちの一部を有し、ＰＬＣ４５０が、それ以外を有していてもよい。すなわち、検査システム４０ｂが全体として機械学習モデル受信部４４０ａ、制御部４４０ｂ、稼働状態出力部４４０ｃ、記憶部４６０ｂ及び判定部４６０ｃを有していればよい。
更に言えば、機械学習モデル受信部４４０ａ、記憶部４６０ｂ及び判定部４６０ｃを検査システム４０ｂが有しているのではなく、図１１に示すサーバ３０が有していてもよい。
なお、端末４４２が、機械学習モデル受信部４４０ａ、制御部４４０ｂ、稼働状態出力部４４０ｃ、記憶部４６０ｂ及び判定部４６０ｃのうちの一部を有し、ＰＬＣ４５０が、それ以外を有していてもよい。すなわち、検査システム４０ｂが全体として機械学習モデル受信部４４０ａ、制御部４４０ｂ、稼働状態出力部４４０ｃ、記憶部４６０ｂ及び判定部４６０ｃを有していればよい。
更に言えば、機械学習モデル受信部４４０ａ、記憶部４６０ｂ及び判定部４６０ｃを検査システム４０ｂが有しているのではなく、図１１に示すサーバ３０が有していてもよい。
本実施の形態に係る良否判定システム１０ｂと、第１の実施の形態に係る良否判定システム１０ａと、を比較すると、図９及び図１２に示すように、撮像部４６０に設けられていた記憶部４６０ｂ及び判定部４６０ｃが端末４４２に設けられている点が相違するのみである。
従って、良否判定システム１０ｂの動作については、実質的に良否判定システム１０ａの動作（ステップＳ１～Ｓ９）と同様であるので、その説明は省略する。
従って、良否判定システム１０ｂの動作については、実質的に良否判定システム１０ａの動作（ステップＳ１～Ｓ９）と同様であるので、その説明は省略する。
〔第３の実施の形態〕
続いて、本発明の第３の実施の形態に係る予知保全システム（良否判定システムの一例）１０ｃについて説明する。第２の実施の形態に係る良否判定システム１０ｂと同一の機能を有する構成要素については、同じ符号を付して詳しい説明を省略する場合がある。
続いて、本発明の第３の実施の形態に係る予知保全システム（良否判定システムの一例）１０ｃについて説明する。第２の実施の形態に係る良否判定システム１０ｂと同一の機能を有する構成要素については、同じ符号を付して詳しい説明を省略する場合がある。
本実施の形態に係る予知保全システム１０ｃは、監視対象が発する音を測定することで監視対象の稼働状態の良否を判定でき、監視対象の不具合を予知する予知保全に適用できる。
監視対象は、例えば、機械装置であり、具体的にはプレス機である。ただし、監視対象は、音により不具合が予知できる装置や機器であればプレス機に限定されるものではない。
監視対象は、例えば、機械装置であり、具体的にはプレス機である。ただし、監視対象は、音により不具合が予知できる装置や機器であればプレス機に限定されるものではない。
予知保全システムは、図１３に示すように、音源可視化装置（可視化装置の一例）５００、教示データ作成装置２０、サーバ３３及び端末４４３を備えている。
音源可視化装置５００は、被監視対象６００を撮像するカメラ（不図示）及び被監視対象６００から発生する音源を特定するための複数のマイクロフォン５０２を有し、音源周辺の実画像に音の強度分布をリアルタイムに重ね合わせて音源を可視化した音源可視化画像を出力できる。この音の強度分布は、音圧の大きさに応じた異なる色によって、ヒートマップ状の視覚化された情報として表現される。
なお、音源可視化装置５００は、音響カメラと呼ばれる場合がある。
なお、音源可視化装置５００は、音響カメラと呼ばれる場合がある。
教示データ作成装置２０は、図２に示すように、教示データ作成部２０２を有し、音源可視化画像を取り込んで教示データとしての画像を作成できる。
サーバ３３は、サービス提供事業者によって管理され、図１４に示すように、教示データ群生成部３０２、判定部３３４、最適モデル選択部３０６及び管理部３０８を有している。
教示データ群生成部（教示データ群生成手段の一例）３０２は、図４に示すように、教示データ作成装置２０が作成した教示データ群ＴＤを前処理し、前処理された教示データ群の集合ＴＤｇ、すなわち、教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・を作成する。
教示データ群生成部（教示データ群生成手段の一例）３０２は、図４に示すように、教示データ作成装置２０が作成した教示データ群ＴＤを前処理し、前処理された教示データ群の集合ＴＤｇ、すなわち、教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・を作成する。
判定部（判定手段の一例）３３４は、教示データ群ＴＤ及び械学習モデル構築サービス８０が構築した複数の学習済みの機械学習モデルに基づいて、それぞれ被監視対象６００の稼働状態の良否を仮想的に判定できる。
最適モデル選択部（最適モデル選択手段の一例）３０６は、判定部３３４による判定結果を評価し、最適な機械学習モデルを選択できる。
管理部（管理手段の一例）３０８は、端末４４３又は音源可視化装置５００の状態を管理できる。詳細には、管理部３０８は、端末４４３又は音源可視化装置５００の稼働状態に関する稼働情報を記録できる。
なお、サーバ３３は、サーバ３３の内部にて実行されるプログラムによって、教示データ群生成手段、判定手段、最適モデル選択手段及び管理手段として機能する。
なお、サーバ３３は、サーバ３３の内部にて実行されるプログラムによって、教示データ群生成手段、判定手段、最適モデル選択手段及び管理手段として機能する。
端末（判定装置の一例）４４３は、図１５に示すように、音源可視化装置５００に接続されている。端末４４３は、機械学習モデル受信部４４０ａ、制御部４４３ｂ、稼働状態出力部４４３ｃ、記憶部４４３ｄ及び判定部４４３ｅを有し、最適モデルに基づいて被監視対象６００の良否を判定できる。
機械学習モデル受信部（受信手段の一例）４４０ａは、サーバ３３から最適モデル選択部３０６が選択した最適モデルを受信できる。なお、最適モデルの受信は、セキュア通信によりなされる。
制御部（制御手段の一例）４４３ｂは、ＰＬＣ４５０及び音源可視化装置５００を制御できる。
稼働状態出力部（稼働状態出力手段の一例）４４３ｃは、端末４４３又は音源可視化装置５００の稼働状態に関する稼働情報を出力できる。この稼働情報は、例えば、音源可視化装置５００が画像の撮像を開始してから終了するまでの時間の情報である。稼働情報は、音源可視化装置５００から出力された画像の枚数の情報であってもよい。
記憶部（記憶手段の一例）４４３ｄは、機械学習モデル受信部４００ａが受信した最適モデルを記憶できる。
判定部（判定手段の一例）４４３ｅは、音源可視化装置５００が出力する複数の音源可視化画像及び記憶部４４３ｄに記憶された最適モデルに基づいて、被監視対象６００の稼働状態の良否を判定できる。
なお、端末４４３は、端末４４３の内部にて実行されるプログラムによって、受信手段、制御手段、稼働状態出力手段、記憶手段及び判定手段として機能する。
なお、端末４４３は、端末４４３の内部にて実行されるプログラムによって、受信手段、制御手段、稼働状態出力手段、記憶手段及び判定手段として機能する。
次に、予知保全システム１０ｃの動作（被監視対象６００の稼働状態の良否判定方法）について、図１６に基づいて説明する。予知保全システム１０ｃは、以下のステップＳ３－１～Ｓ３－９に従って動作する。ステップＳ３－１～Ｓ３－９のうち、ステップＳ３－１～Ｓ３－７は、準備段階としての動作であり、以降のステップＳ３－８、Ｓ３－９は、実際の監視対象６００の稼働状態の良否判定の動作である。
なお、可能な場合には、各ステップＳ３－１～Ｓ３－７は順番を入れ替えて実施されてもよいし、並行して実施されてもよい。
なお、可能な場合には、各ステップＳ３－１～Ｓ３－７は順番を入れ替えて実施されてもよいし、並行して実施されてもよい。
（ステップＳ３－１）
教示データ作成装置２０（図１３参照）の教示データ作成部２０２（図２参照）が、音源可視化装置５００が生成した音源可視化画像を取り込んで教示データとし、図４に示す教示データ群ＴＤを作成する。
複数の音源可視化画像（教示データ群ＴＤ）は、図示しない記憶手段に記憶され、図１４に示すサーバ３３に送信される。
教示データ群ＴＤは、教示データ作成部２０２が作成することに代えて、予め準備された被監視対象６００の音源可視化画像に基づいて手作業により作成されてもよい。
教示データ作成装置２０（図１３参照）の教示データ作成部２０２（図２参照）が、音源可視化装置５００が生成した音源可視化画像を取り込んで教示データとし、図４に示す教示データ群ＴＤを作成する。
複数の音源可視化画像（教示データ群ＴＤ）は、図示しない記憶手段に記憶され、図１４に示すサーバ３３に送信される。
教示データ群ＴＤは、教示データ作成部２０２が作成することに代えて、予め準備された被監視対象６００の音源可視化画像に基づいて手作業により作成されてもよい。
（ステップＳ３－２）
サーバ３３の教示データ群生成部３０２が、図４に示すように、教示データ作成装置２０が生成した音源可視化画像（教示データ群ＴＤ）を前処理し、特徴値に応じて分類された複数の教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・を生成する。なお、前処理においては、例えば、明るさについての複数の閾値ＴＨ１～ＴＨ１０（図６参照）が用いられる。
なお、各閾値は、欠陥Ｄの明るさの最大値を求め、この最大値を分割することによって、求められてもよい。
その後、サービス提供事業者又はユーザの操作により、サーバ３３が、前処理後の教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・をそれぞれ機械学習モデル構築サービス８０にアップロードする。
このように、ノウハウが必要な教示データの前処理をユーザではなくサービス提供事業者が行うので、ユーザは簡単に機械学習モデルによる予知保全システムを導入できる。
サーバ３３の教示データ群生成部３０２が、図４に示すように、教示データ作成装置２０が生成した音源可視化画像（教示データ群ＴＤ）を前処理し、特徴値に応じて分類された複数の教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・を生成する。なお、前処理においては、例えば、明るさについての複数の閾値ＴＨ１～ＴＨ１０（図６参照）が用いられる。
なお、各閾値は、欠陥Ｄの明るさの最大値を求め、この最大値を分割することによって、求められてもよい。
その後、サービス提供事業者又はユーザの操作により、サーバ３３が、前処理後の教示データ群ＴＤ１、ＴＤ２、ＴＤ３、ＴＤ４、・・・をそれぞれ機械学習モデル構築サービス８０にアップロードする。
このように、ノウハウが必要な教示データの前処理をユーザではなくサービス提供事業者が行うので、ユーザは簡単に機械学習モデルによる予知保全システムを導入できる。
（ステップＳ３－３）
アップロードされた教示データ群に基づき、機械学習モデル構築サービス８０によってそれぞれ機械学習モデルＭ１、Ｍ２、Ｍ３、Ｍ４・・・が構築される。
構築された学習済みの機械学習モデルは、それぞれサーバ３３の最適モデル選択部３０６（図１４参照）によってモデルの精度が検証される。
なお、精度が悪い場合には、前ステップＳ３－２に戻り、教示データ群生成部３０２は、異なるフィルタ処理を適用するなどして音源可視化画像（教示データ群ＴＤ）を異なる方法で前処理する。
アップロードされた教示データ群に基づき、機械学習モデル構築サービス８０によってそれぞれ機械学習モデルＭ１、Ｍ２、Ｍ３、Ｍ４・・・が構築される。
構築された学習済みの機械学習モデルは、それぞれサーバ３３の最適モデル選択部３０６（図１４参照）によってモデルの精度が検証される。
なお、精度が悪い場合には、前ステップＳ３－２に戻り、教示データ群生成部３０２は、異なるフィルタ処理を適用するなどして音源可視化画像（教示データ群ＴＤ）を異なる方法で前処理する。
（ステップＳ３－４）
ユーザの操作により、サーバ３３（図１４参照）が、機械学習モデル構築サービス８０によって構築された学習済みの各機械学習モデルをダウンロードする。ダウンロードされた学習済みの各機械学習モデルは、図示しない記憶部に記憶される。
ユーザの操作により、サーバ３３（図１４参照）が、機械学習モデル構築サービス８０によって構築された学習済みの各機械学習モデルをダウンロードする。ダウンロードされた学習済みの各機械学習モデルは、図示しない記憶部に記憶される。
（ステップＳ３－５）
サーバ３３の判定部３３４が、教示データ群ＴＤを記憶部（不図示）に記憶された各機械学習モデルに入力し、被監視対象６００の稼働状態の良否を仮想的に判定する。
サーバ３３の判定部３３４が、教示データ群ＴＤを記憶部（不図示）に記憶された各機械学習モデルに入力し、被監視対象６００の稼働状態の良否を仮想的に判定する。
（ステップＳ３－６）
最適モデル選択部３０６が、前ステップＳ３ー６における判定部３３４による被監視対象６００の稼働状態の良否の判定結果を評価し、複数の機械学習モデルの中から最適モデルを選択する。
最適モデル選択部３０６が、前ステップＳ３ー６における判定部３３４による被監視対象６００の稼働状態の良否の判定結果を評価し、複数の機械学習モデルの中から最適モデルを選択する。
（ステップＳ３－７）
最適モデル選択部３０６によって選択された最適モデルが、サーバ３３から端末４４２に送信される。
送信された最適モデルは、機械学習モデル受信部４４０ａ（図１５参照）にて受信され、記憶部４４３ｄに記憶される。
最適モデル選択部３０６によって選択された最適モデルが、サーバ３３から端末４４２に送信される。
送信された最適モデルは、機械学習モデル受信部４４０ａ（図１５参照）にて受信され、記憶部４４３ｄに記憶される。
（ステップＳ３－８）
本ステップＳ３－８は、被監視対象６００を監視するステップである。
端末４４３の制御部４４３ｂがＰＬＣ４５０を制御し、被監視対象６００を稼働させる。一方で、音源可視化装置５００が、被監視対象６００から発生する音を測定し、予め決められた周期で音源可視化画像を出力する。
端末４４２は、出力された音源可視化画像及び記憶部４４３ｅに記憶されている最適モデルに基づいて、被監視対象６００の稼働状態の良否を判定する。
本ステップＳ３－８は、被監視対象６００を監視するステップである。
端末４４３の制御部４４３ｂがＰＬＣ４５０を制御し、被監視対象６００を稼働させる。一方で、音源可視化装置５００が、被監視対象６００から発生する音を測定し、予め決められた周期で音源可視化画像を出力する。
端末４４２は、出力された音源可視化画像及び記憶部４４３ｅに記憶されている最適モデルに基づいて、被監視対象６００の稼働状態の良否を判定する。
（ステップＳ３－９）
端末４４０の稼働状態出力部４４３ｃが、音源可視化装置５００の稼働状態に関する稼働情報をサーバ３３に送信する。送信された稼働情報はサーバ３３の記憶部（不図示）に記憶され、予知保全システム１０ｃの稼働状態がサーバ３３にて一元的に管理される。
端末４４０の稼働状態出力部４４３ｃが、音源可視化装置５００の稼働状態に関する稼働情報をサーバ３３に送信する。送信された稼働情報はサーバ３３の記憶部（不図示）に記憶され、予知保全システム１０ｃの稼働状態がサーバ３３にて一元的に管理される。
このように、本実施の形態に係る予知保全システム１０ｃによれば、構築された複数の機械学習モデルの中から選択された最適な機械学習モデルを用いて被監視対象６００の稼働状態の良否を判定するので、より高い精度で予知保全が可能となる。
なお、音源可視化システムに代えて、被監視対象６００の不具合が発生する予兆に起因して変化する物理量を測定するための検出器を有し、その物理量を可視化した複数の可視化画像を生成できる任意の可視化装置でもよい。
なお、音源可視化システムに代えて、被監視対象６００の不具合が発生する予兆に起因して変化する物理量を測定するための検出器を有し、その物理量を可視化した複数の可視化画像を生成できる任意の可視化装置でもよい。
〔第４の実施の形態〕
続いて、本発明の第４の実施の形態に係る予知保全システム（良否判定システムの一例）１０ｄについて説明する。第３の実施の形態に係る予知保全システム１０ｃ（図１３参照）と同一の機能を有する構成要素については、同じ符号を付して詳しい説明を省略する場合がある。
続いて、本発明の第４の実施の形態に係る予知保全システム（良否判定システムの一例）１０ｄについて説明する。第３の実施の形態に係る予知保全システム１０ｃ（図１３参照）と同一の機能を有する構成要素については、同じ符号を付して詳しい説明を省略する場合がある。
本実施の形態に係る予知保全システムは、監視対象が発する振動を測定することで監視対象の稼働状態の良否を判定でき、監視対象の不具合を予知する予知保全に適用できる。
監視対象は、例えば、機械装置であり、具体的には、プレス機や搬送装置である。ただし、監視対象は、振動により不具合が予知できる装置や機器であれば任意でよい。
監視対象は、例えば、機械装置であり、具体的には、プレス機や搬送装置である。ただし、監視対象は、振動により不具合が予知できる装置や機器であれば任意でよい。
予知保全システム１０ｄは、図１７に示すように、振動可視化装置（可視化装置の一例）７００、教示データ作成装置２０、サーバ３３及び端末４４３（判定装置の一例）を備えている。
振動可視化装置７００は、被監視対象６００から発生する振動を検出するための複数の振動センサ７０２を有し、各振動センサ７０２により検出された振動を可視化した複数の振動可視化画像を出力できる。この振動可視化画像は、例えば、振動の大きさ及び周波数のうちの少なくとも一方に応じた異なる色によって、視覚化された情報として表現された画像である。
振動可視化装置７００は、被監視対象６００から発生する振動を検出するための複数の振動センサ７０２を有し、各振動センサ７０２により検出された振動を可視化した複数の振動可視化画像を出力できる。この振動可視化画像は、例えば、振動の大きさ及び周波数のうちの少なくとも一方に応じた異なる色によって、視覚化された情報として表現された画像である。
ここで、予知保全システム１０ｄにおいて、振動可視化装置７００及び振動可視化画像が、それぞれ第３の実施の形態における音源可視化装置５００及び音源可視化画像に対応する。
このような予知保全システム１０ｄを使用し、前述の動作ステップＳ３－１～Ｓ３－９（図１６参照）を実施することによって、端末４４３が有する判定部４４３ｅ（図１５参照）は、被監視対象６００に不具合が発生すると、異常であると判定することができる。
このように、本実施の形態に係る予知保全システム１０ｄによれば、構築された複数の機械学習モデルの中から選択された最適な機械学習モデルを用いて被監視対象６００の良否を判定するので、より高い精度で予知保全が可能となる。
なお、振動可視化システムに代えて、被監視対象６００の不具合が発生する予兆に起因して変化する物理量を測定するための検出器を有し、その物理量を可視化した複数の可視化画像を生成できる任意の可視化装置でもよい。
なお、振動可視化システムに代えて、被監視対象６００の不具合が発生する予兆に起因して変化する物理量を測定するための検出器を有し、その物理量を可視化した複数の可視化画像を生成できる任意の可視化装置でもよい。
以上、本発明の実施の形態を説明したが、本発明は、前述の形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。
１０ａ、１０ｂ 良否判定システム
１０ｃ、１０ｄ 予知保全システム
１４ 被検査物
２０ 教示データ作成装置
３０ サーバ
４０ａ、４０ｂ 検査システム
４５０ ＰＬＣ
８０ 機械学習モデル構築サービス
２０２ 教示データ作成部
３０２ 教示データ群生成部
３０６ 最適モデル選択部
３０８ 管理部
３３４ 判定部
４４０ 端末
４４０ａ 機械学習モデル受信部
４４０ｂ 制御部
４４０ｃ 稼働状態出力部
４４２、４４３ 端末
４４３ｂ 制御部
４４３ｃ 稼働状態出力部
４４３ｄ 記憶部
４４３ｅ 判定部
４６０ 撮像部
４６０ａ カメラ部
４６０ｂ 記憶部
４６０ｃ 判定部
４６２ 撮像部
４７０ 検査装置
５００ 音源可視化装置
５０２ マイクロフォン
６００ 被監視対象
７００ 振動可視化装置
７０２ 振動センサ
Ｎ インターネット
１０ｃ、１０ｄ 予知保全システム
１４ 被検査物
２０ 教示データ作成装置
３０ サーバ
４０ａ、４０ｂ 検査システム
４５０ ＰＬＣ
８０ 機械学習モデル構築サービス
２０２ 教示データ作成部
３０２ 教示データ群生成部
３０６ 最適モデル選択部
３０８ 管理部
３３４ 判定部
４４０ 端末
４４０ａ 機械学習モデル受信部
４４０ｂ 制御部
４４０ｃ 稼働状態出力部
４４２、４４３ 端末
４４３ｂ 制御部
４４３ｃ 稼働状態出力部
４４３ｄ 記憶部
４４３ｅ 判定部
４６０ 撮像部
４６０ａ カメラ部
４６０ｂ 記憶部
４６０ｃ 判定部
４６２ 撮像部
４７０ 検査装置
５００ 音源可視化装置
５０２ マイクロフォン
６００ 被監視対象
７００ 振動可視化装置
７０２ 振動センサ
Ｎ インターネット
Claims (4)
- 複数の被検査物の欠陥を含む画像を、該欠陥を特徴づける明るさに応じて分類し、分類された複数の教示データ群を生成する教示データ群生成部と、
クラウドコンピューティングサービスとして提供され機械学習モデルを構築する機械学習モデル構築サービスが前記複数の教示データ群に基づいてそれぞれ構築した複数の前記機械学習モデルを記憶する記憶部と、
前記被検査物の画像を撮像するカメラ部と、
前記記憶部に記憶された前記複数の機械学習モデルに基づいて、それぞれ前記カメラ部によって撮像された前記被検査物の良否を判定する判定部と、
前記判定部による判定の結果を評価し、前記複数の機械学習モデルの中から最適な機械学習モデルを選択する最適モデル選択部と、を備えた良否判定システム。 - 請求項１記載の良否判定システムにおいて、
教示データ群生成部が、前記画像について、それぞれ、
前記欠陥を特徴づける明るさを表す特徴値を求める処理Ｐ１と、
前記特徴値に応じて前記複数の画像をそれぞれ分類し、分類された前記複数の教示データ群を生成する処理Ｐ２と、を実施する良否判定システム。 - 請求項１記載の良否判定システムにおいて、
教示データ群生成部が、前記画像について、それぞれ、
前記欠陥を特徴づける明るさを判断するための基準となる複数の基準値の中から、該欠陥を特徴づける明るさを表す複数の基準値を、それぞれ特徴値として求める処理Ｐ１と、
前記特徴値の数と同じ枚数の前記画像を用意し、該画像を前記複数の異なる特徴値に応じてそれぞれ分類し、分類された前記複数の教示データ群を生成する処理Ｐ２と、を実施する良否判定システム。 - 請求項１記載の良否判定システムを使用した良否判定方法であって、
前記教示データ群生成部が、前記複数の教示データ群を生成するステップと、
前記記憶部が、前記複数の機械学習モデルを記憶するステップと、
前記判定部が、前記複数の機械学習モデルに基づいて、それぞれ前記被検査物の良否を判定するステップと、
前記最適モデル選択部が、前記複数の機械学習モデルの中から最適な機械学習モデルを選択するステップと、
前記判定部が、前記最適モデル選択部が選択した前記機械学習モデルを用いて前記被検査物の良否を判定するステップと、を含む良否判定方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021199103A JP2022043134A (ja) | 2020-04-27 | 2021-12-08 | 良否判定システム、良否判定方法、サーバ及びプログラム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020078659 | 2020-04-27 | ||
| JP2020078659 | 2020-04-27 | ||
| PCT/JP2021/016695 WO2021221030A1 (ja) | 2020-04-27 | 2021-04-26 | 良否判定システム、良否判定方法、サーバ及びプログラム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021199103A Division JP2022043134A (ja) | 2020-04-27 | 2021-12-08 | 良否判定システム、良否判定方法、サーバ及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2021221030A1 JPWO2021221030A1 (ja) | 2021-11-04 |
| JP7049028B2 true JP7049028B2 (ja) | 2022-04-06 |
Family
ID=78374149
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021549555A Active JP7049028B2 (ja) | 2020-04-27 | 2021-04-26 | 良否判定システム及び良否判定方法 |
| JP2021199103A Pending JP2022043134A (ja) | 2020-04-27 | 2021-12-08 | 良否判定システム、良否判定方法、サーバ及びプログラム |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021199103A Pending JP2022043134A (ja) | 2020-04-27 | 2021-12-08 | 良否判定システム、良否判定方法、サーバ及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| JP (2) | JP7049028B2 (ja) |
| WO (1) | WO2021221030A1 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102550108B1 (ko) * | 2022-10-31 | 2023-06-30 | (주)바질컴퍼니 | 클라우드 플랫폼에서 인공지능 모델을 활용한 용접 불량 탐지 방법 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006266845A (ja) | 2005-03-23 | 2006-10-05 | Fuji Xerox Co Ltd | 画像判定装置及び画像判定方法 |
| JP2012068965A (ja) | 2010-09-24 | 2012-04-05 | Denso Corp | 画像認識装置 |
| JP2019159961A (ja) | 2018-03-14 | 2019-09-19 | オムロン株式会社 | 検査システム、画像識別システム、識別システム、識別器生成システム、及び学習データ生成装置 |
-
2021
- 2021-04-26 WO PCT/JP2021/016695 patent/WO2021221030A1/ja active Application Filing
- 2021-04-26 JP JP2021549555A patent/JP7049028B2/ja active Active
- 2021-12-08 JP JP2021199103A patent/JP2022043134A/ja active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006266845A (ja) | 2005-03-23 | 2006-10-05 | Fuji Xerox Co Ltd | 画像判定装置及び画像判定方法 |
| JP2012068965A (ja) | 2010-09-24 | 2012-04-05 | Denso Corp | 画像認識装置 |
| JP2019159961A (ja) | 2018-03-14 | 2019-09-19 | オムロン株式会社 | 検査システム、画像識別システム、識別システム、識別器生成システム、及び学習データ生成装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022043134A (ja) | 2022-03-15 |
| WO2021221030A1 (ja) | 2021-11-04 |
| JPWO2021221030A1 (ja) | 2021-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7004145B2 (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
| JP6936957B2 (ja) | 検査装置、データ生成装置、データ生成方法及びデータ生成プログラム | |
| JP6924413B2 (ja) | データ生成装置、データ生成方法及びデータ生成プログラム | |
| JP7015001B2 (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
| US10824906B2 (en) | Image processing device, non-transitory computer readable storage medium, and image processing system | |
| JP6869490B2 (ja) | 欠陥検査装置、欠陥検査方法、及びそのプログラム | |
| JP7049028B2 (ja) | 良否判定システム及び良否判定方法 | |
| TW202013315A (zh) | 附標籤之影像資料的製作方法、檢查方法、程式、附標籤之影像資料的製作裝置及檢查裝置 | |
| JP2022043134A5 (ja) | ||
| JPWO2020071234A1 (ja) | 画像処理装置、画像処理方法、外観検査システムおよびコンピュータプログラム | |
| JP2020135051A (ja) | 欠点検査装置、欠点検査方法、欠点検査プログラム、学習装置および学習済みモデル | |
| CN112088387B (zh) | 检测成像物品缺陷的系统和方法 | |
| JP2021177154A (ja) | 外観検査システム | |
| WO2022241574A1 (en) | Texture mapping to polygonal models for industrial inspections | |
| JPH09264856A (ja) | 物品外観検査装置 | |
| JP2019144107A (ja) | 情報処理装置、端末装置、情報処理方法、およびプログラム | |
| TW202240546A (zh) | 用於自動視覺檢查之圖像增強技術 | |
| US20240096059A1 (en) | Method for classifying images and method for optically examining an object | |
| CN116894808A (zh) | 教师数据生成方法以及生成装置 | |
| JP7195467B1 (ja) | 学習モデルの生成方法、学習用データの生成方法、コンピュータプログラム及び情報処理装置 | |
| JP7415046B2 (ja) | 画像処理装置、及びコンピュータが読み取り可能な記憶媒体 | |
| JP7439157B2 (ja) | 検査装置 | |
| JP2002357558A (ja) | 量子誤差を考慮したマッチング処理方法 | |
| JP7142825B1 (ja) | 画像判定方法及び画像判定システム | |
| WO2021054478A1 (ja) | 良否判定システム、サーバ及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210828 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210828 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210831 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211015 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211208 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220221 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220317 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7049028 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |