JP2024081979A - 撮像画像振り分け装置、撮像画像振り分け方法、データセットおよび学習システム - Google Patents
撮像画像振り分け装置、撮像画像振り分け方法、データセットおよび学習システム Download PDFInfo
- Publication number
- JP2024081979A JP2024081979A JP2022195625A JP2022195625A JP2024081979A JP 2024081979 A JP2024081979 A JP 2024081979A JP 2022195625 A JP2022195625 A JP 2022195625A JP 2022195625 A JP2022195625 A JP 2022195625A JP 2024081979 A JP2024081979 A JP 2024081979A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- learning
- dataset
- test
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 26
- 238000012360 testing method Methods 0.000 claims abstract description 142
- 238000010801 machine learning Methods 0.000 claims abstract description 42
- 238000007689 inspection Methods 0.000 claims abstract description 30
- 230000002950 deficient Effects 0.000 claims description 53
- 238000011179 visual inspection Methods 0.000 abstract description 20
- 238000012549 training Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 17
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000013461 design Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000005476 soldering Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/72—Data preparation, e.g. statistical preprocessing of image or video features
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
【課題】外観検査装置の機械学習において、学習用データセットとテスト用データセットとの間で、画像パターンが偏らないように画像を振り分ける。【解決手段】外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け装置1は、被検査体の撮像画像データを保存する検査用画像保存部10と、検査用画像保存部に保存された振り分け対象の画像を、機械学習の学習用データセットまたはテスト用データセットのいずれかに振り分ける画像振り分け部20と、学習用データセットの画像を保存する学習用データセット保存部30と、テスト用データセットの画像を保存するテスト用データセット保存部40と、を含む。記画像振り分け部20は、振り分け対象の画像と、学習用データセット保存部30に保存された画像およびテスト用データセット保存部40に保存された画像と、の類似度に応じて、振り分け対象の画像の振り分け方を決定する。【選択図】図1
Description
本発明は、撮像画像振り分け装置、撮像画像振り分け方法、データセットおよび学習システムに関する。
外観検査装置は、電子部品や電子回路基板などの被検査体を撮像した画像から、当該被検査体が良品か不良品かを判断する。特に近年は、被検査体の画像を学習データとした機械学習を行うことにより生成した良否判定モデルを用いて外観検査を実行する外観検査技術が開発されている。
機械学習を利用した外観検査装置では、良品および不良品の画像を収集し、これらを学習用データセットとテスト用データセットとに振り分ける。機械学習では、学習用データセットを使って外観検査の良否判定モデルを学習し、テスト用データセットを使ってモデルの精度を検証する。このとき、学習用データセットとテスト用データセットとの間に、画像パターンに大きな偏りがないことが望ましい。例えば、学習用データセットには特定の類似したパターンの画像が多く含まれるが、テスト用データセットには当該パターンの画像がわずかにしか含まれない場合、学習の精度が低下するといった問題がある。すなわち、学習用データセットとテスト用データセットとの間で、なるべく画像パターンが偏らないように画像を振り分ける必要がある。
特許文献1には、基準画像の特徴を反映した第1の基底と、検索対象画像の特徴を反映した第2の基底とを比較することにより、検索対象画像の類似度を算出する技術が開示されている。しかしながら、この技術は一般的な画像検索における類似度の算出方法であるに過ぎず、外観検査における学習用データセットとテスト用データセットとの振り分けは対象としていない。
本発明はこうした状況に鑑みてなされたものであり、その目的の1つは、外観検査装置の機械学習において、学習用データセットとテスト用データセットとの間で、画像パターンが偏らないように画像を振り分けることにある。
上記課題を解決するために、本発明のある態様の撮像画像振り分け装置は、外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け装置であって、被検査体の撮像画像データを保存する検査用画像保存部と、検査用画像保存部に保存された振り分け対象の画像を、機械学習の学習用データセットまたはテスト用データセットのいずれかに振り分ける画像振り分け部と、学習用データセットの画像を保存する学習用データセット保存部と、テスト用データセットの画像を保存するテスト用データセット保存部と、を含む。画像振り分け部は、振り分け対象の画像と、学習用データセット保存部に保存された画像およびテスト用データセット保存部に保存された画像と、の類似度に応じて、振り分け対象の画像の振り分け方を決定する。
ある実施の形態では、画像振り分け部は、振り分け対象の画像と、学習用データセット保存部に保存された画像およびテスト用データセット保存部に保存された画像と、を比較し、その比較結果から類似度を決定してもよい。
ある実施の形態では、画像振り分け部は、振り分け対象の画像と、検査用画像保存部に保存された他の画像、学習用データセット保存部に保存された画像およびテスト用データセット保存部に保存された画像と、を比較し、その比較結果から類似度を決定してもよい。
ある実施の形態では、画像振り分け部は、検査用画像保存部に保存された画像のうち、振り分け対象の画像を学習用データセットにもテスト用データセットにも振り分けられなかった画像を検査用画像保存部から削除してもよい。
ある実施の形態では、画像振り分け部は、振り分け対象の画像に類似する画像が、学習用データセット保存部にもテスト用データセット保存部にも存在しない場合、振り分け対象の画像を学習用データセットに振り分け、振り分け対象の画像に類似する画像が、学習用データセット保存部には存在するが、テスト用データセット保存部には存在しない場合、振り分け対象の画像をテスト用データセットに振り分け、振り分け対象の画像に類似する画像が、学習用データセット保存部にもテスト用データセット保存部にも存在する場合、振り分け対象の画像を学習用データセットにもテスト用データセットにも振り分けなくてもよい。
ある実施の形態では、画像振り分け部は、画像同士が類似するかを判定する閾値を設定でき、画像間の類似度が当該閾値以上であれば当該画像同士は類似すると判定され、当該閾値より小さければ当両画像同士は類似しないと判定されるような閾値に基づいて画像同士の類否を判定し、振り分け対象の画像が画像枚数が多い画像群の画像である場合は、閾値を小さく設定し、振り分け対象の画像が画像枚数が少ない画像群の画像である場合は、閾値を大きく設定してもよい。
ある実施の形態では、撮像画像データは、良品画像データと不良品画像データとを含んでもよい。撮像画像振り分け装置は、良品画像用閾値および不良品画像用閾値を決定するための閾値決定部をさらに含んでもよい。閾値決定部は、ユーザにより設定可能な目標良品学習用画像数、目標良品テスト用画像数、目標不良品学習用画像数および目標不良品テスト用画像数を記憶し、検査用画像保存部に保存された良品の撮像画像に対して、閾値を変えながら所定の回数、学習用データセット保存部およびテスト用データセット保存部への振り分けを行い、学習用データセットに振り分けられた画像数が目標良品学習用画像数に最も近く、テスト用データセットに振り分けられた画像数が目標良品テスト用画像数に最も近かったときの閾値を良品画像用閾値として決定し、検査用画像保存部に保存された不良品の撮像画像に対して、閾値を変えながら所定の回数、学習用データセット保存部およびテスト用データセットへの振り分けを行い、学習用データセットに振り分けられた画像数が目標不良品学習用画像数に最も近く、テスト用データセットに振り分けられた画像数が目標不良品テスト用画像数に最も近かったときの閾値を不良品画像用閾値として決定してもよい。
ある実施の形態では、撮像画像振り分け装置は、被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置に内蔵されてもよい。
ある実施の形態では、撮像画像振り分け装置は、被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置と別体であってもよい。
本発明の別の態様は、撮像画像振り分け方法である。この方法は、良品と不良品とを含む外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け方法であって、被検査体の撮像画像データを保存する検査用画像保存ステップと、検査用画像保存ステップで保存された振り分け対象の画像を、機械学習の学習用データセットまたはテスト用データセットのいずれかに振り分ける画像振り分けステップと、学習用データセットの画像を保存する学習用データセット保存ステップと、テスト用データセットの画像を保存するテスト用データセット保存ステップと、を含む。画像振り分けステップは、振り分け対象の画像と、学習用データセット保存ステップで保存された学習用画像およびテスト用データセット保存ステップで保存されたテスト用画像と、の類似度に応じて、振り分け対象の画像の振り分け方を決定する。
ある実施の形態では、振り分けステップは、振り分け対象の画像に類似する画像が、学習用データセットにもテスト用データセットにも存在しない場合、振り分け対象の画像を学習用データセットに振り分け、振り分け対象の画像に類似する画像が、学習用データセットには存在するが、テスト用データセットには存在しない場合、振り分け対象の画像をテスト用データセットに振り分け、振り分け対象の画像に類似する画像が、学習用データセットにもテスト用データセットにも存在する場合、振り分け対象の画像を学習用データセットにもテスト用データセットにも振り分けなくてもよい。
本発明のさらに別の態様は、データセットである。このデータセットは、上記の撮像画像振り分け装置または撮像画像振り分け方法によって振り分けられたものである。
本発明のさらに別の態様は、学習システムである。この学習システムは、上記の撮像画像振り分け装置と、被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置と、を含む。
なお、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体等の間で変換したものもまた、本発明の態様として有効である。
本発明によれば、外観検査装置の機械学習において、学習用データセットとテスト用データセットとの間で、画像パターンが偏らないように画像を振り分けることができる。
[第1の実施の形態]
図1は、第1の実施の形態に係る撮像画像振り分け装置1の機能ブロック図である。撮像画像振り分け装置1は、外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け装置である。撮像画像振り分け装置1は、検査用画像保存部10と、画像振り分け部20と、学習用データセット保存部30と、テスト用データセット保存部40と、を含む。
図1は、第1の実施の形態に係る撮像画像振り分け装置1の機能ブロック図である。撮像画像振り分け装置1は、外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け装置である。撮像画像振り分け装置1は、検査用画像保存部10と、画像振り分け部20と、学習用データセット保存部30と、テスト用データセット保存部40と、を含む。
検査用画像保存部10は、被検査体の撮像画像データを保存する。被検査体は、例えば多数の電子部品が実装されている電子回路基板である。被検査体に対する外観検査は、通常、各部品に関する複数の検査項目について行われる。検査項目とはすなわち良否判定を要する項目である。検査項目には、例えば、部品そのものの欠品や位置ずれ、極性反転などの部品配置についての検査項目、ハンダ付け状態や部品のリードピンの浮きといった部品-基板間の接続部についての検査項目などが含まれる。
画像振り分け部20は、検査用画像保存部10に保存された振り分け対象の画像を、機械学習の学習用データセットまたはテスト用データセットのいずれかに振り分ける。振り分け対象の画像は、検査用画像保存部10に保存されたすべての画像であってもよいし、検査用画像保存部10に保存された画像のうちの一部の画像であってもよい。
学習用データセット保存部30は、学習用データセットの画像を保存する。学習用データセットの画像は、外観検査用の良否判定モデルを機械学習(訓練)するのに使われる。
テスト用データセット保存部40は、テスト用データセットの画像を保存する。テスト用データセットの画像は、生成された良否判定モデルの精度を検証するのに使われる。
良否判定モデルを生成するための機械学習は、既知のAIを利用して行ってもよい。こうしたAIの具体的な手法は特に限定されないが、例えば畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)などのニューラルネットワークを用いてもよく、この場合入力層を共通にした上で計算モデルごとに異なるニューラルネットワークを混在させてもよい。
画像振り分け部20は、振り分け対象の画像と、学習用データセット保存部30に保存された画像およびテスト用データセット保存部40に保存された画像と、の類似度に応じて、振り分け対象の画像の振り分け方を決定する。すなわち画像の振り分けは、学習用データセットとテスト用データセットとの間での画像パターンの偏りをなくすために、両データセット間で類似した画像がバランスよく含まれるように(言い換えれば、様々な画像データのパターンがなるべく網羅的に含まれるように)行われる。
本実施の形態によれば、外観検査装置の機械学習において、学習用データセットとテスト用データセットとの間で、画像パターンが偏らないように画像の振り分けを行う装置を提供することができる。
例えば画像振り分け部20は、振り分け対象の画像と、学習用データセット保存部30に保存された画像およびテスト用データセット保存部40に保存された画像と、を比較し、その比較結果から類似度を決定してもよい。
あるいは画像振り分け部20は、振り分け対象の画像と、検査用画像保存部10に保存された他の画像(すなわち、振り分け対象でない画像)、学習用データセット保存部30に保存された画像およびテスト用データセット保存部40に保存された画像と、を比較し、その比較結果から類似度を決定してもよい。
画像の類似度の指標としては、例えばLPIPS(Learned Perceptual Image Patch Similarity)やPerceptual Hashを用いてもよい。あるいは、良品/不良品判定用の機械学習モデルから抽出される特徴量ベクトル空間上の距離(ユークリッド距離、マハラノビス距離など)の逆数を用いてもよい。
上記の実施の形態において、画像振り分け部20が振り分け対象画像の振り分けを行った結果、一部の画像が学習用データセットにもテスト用データセットにも振り分けられずに検査用画像保存部10に残る場合もある。この場合、画像振り分け部20は、振り分けられなかった画像を検査用画像保存部10から削除してもよい。
この実施の形態によれば、検査用画像保存部10のメモリ資源を浪費せずに節約することができる。
[画像振り分けの具体例]
一例として、画像振り分け部20は、以下の規則に従って振り分け対象の画像を振り分けてもよい。
(ケース1)振り分け対象の画像に類似する画像が、学習用データセット保存部30にもテスト用データセット保存部40にも存在しない場合。この場合、画像振り分け部20は、振り分け対象の画像を学習用データセットに振り分ける。
(ケース2)振り分け対象の画像に類似する画像が、学習用データセット保存部30には存在するが、テスト用データセット保存部40には存在しない場合。この場合、画像振り分け部20は、振り分け対象の画像をテスト用データセットに振り分ける。
(ケース3)振り分け対象の画像に類似する画像が、学習用データセット保存部30にもテスト用データセット保存部40にも存在する場合。この場合、画像振り分け部20は、振り分け対象の画像を学習用データセットにもテスト用データセットにも振り分けない。
一例として、画像振り分け部20は、以下の規則に従って振り分け対象の画像を振り分けてもよい。
(ケース1)振り分け対象の画像に類似する画像が、学習用データセット保存部30にもテスト用データセット保存部40にも存在しない場合。この場合、画像振り分け部20は、振り分け対象の画像を学習用データセットに振り分ける。
(ケース2)振り分け対象の画像に類似する画像が、学習用データセット保存部30には存在するが、テスト用データセット保存部40には存在しない場合。この場合、画像振り分け部20は、振り分け対象の画像をテスト用データセットに振り分ける。
(ケース3)振り分け対象の画像に類似する画像が、学習用データセット保存部30にもテスト用データセット保存部40にも存在する場合。この場合、画像振り分け部20は、振り分け対象の画像を学習用データセットにもテスト用データセットにも振り分けない。
図2に、ケース1の場合の画像の振り分けの様子を模式的に示す。図3に、ケース2の場合の画像の振り分けの様子を模式的に示す。図4に、ケース3の場合の画像の振り分けの様子を模式的に示す。
この実施の形態によれば、類似する画像が存在しない画像は学習用データセットやテスト用データセットに振り分け、逆に類似する画像がすでに存在する画像は学習用データセットやテスト用データセットに振り分けない。これにより、学習用データセットとテスト用データセットとの間で画像パターンの偏りが生じないような画像の振り分けを実現することができる。
[第2の実施の形態]
第2の実施の形態の撮像画像振り分け装置の画像振り分け部は、画像同士が類似するか否かを判定する閾値を設定することができる。その結果、画像間の類似度が当該閾値以上であれば当該画像同士は類似すると判定される。逆に、画像間の類似度が当該閾値より小さければ当両画像同士は類似しないと判定される。画像振り分け部は、このような閾値に基づいて画像同士の類否を判定する。このとき、振り分け対象の画像が画像枚数が多い画像群の画像である場合は、閾値を小さく設定し、逆に振り分け対象の画像が画像枚数が少ない画像群の画像である場合は、閾値を大きく設定してもよい。
第2の実施の形態の撮像画像振り分け装置の画像振り分け部は、画像同士が類似するか否かを判定する閾値を設定することができる。その結果、画像間の類似度が当該閾値以上であれば当該画像同士は類似すると判定される。逆に、画像間の類似度が当該閾値より小さければ当両画像同士は類似しないと判定される。画像振り分け部は、このような閾値に基づいて画像同士の類否を判定する。このとき、振り分け対象の画像が画像枚数が多い画像群の画像である場合は、閾値を小さく設定し、逆に振り分け対象の画像が画像枚数が少ない画像群の画像である場合は、閾値を大きく設定してもよい。
このように画像類似度の指標に関する閾値を設けることにより、当該閾値以上の画像を類似画像とみなせる。このとき、振り分け対象の画像が画像枚数が多い画像群の画像である場合は閾値を小さく設定し、逆に振り分け対象の画像が画像枚数が少ない画像群の画像である場合は閾値を大きく設定することで、より正確かつ効率的に振り分けを実現することができる。
図5に、上記の類似度に関する閾値を設けたときの類似および非類似画像の様子を模式的に示す。
[第3の実施の形態]
上記で説明した実施の形態では、学習用データセットとテスト用データセットとの間に画像パターンの偏りが生じないようにする、という課題を解決するものであった。しかしこれとは別に、外観検査装置の機械学習用の画像データには以下のような課題もある。
上記で説明した実施の形態では、学習用データセットとテスト用データセットとの間に画像パターンの偏りが生じないようにする、という課題を解決するものであった。しかしこれとは別に、外観検査装置の機械学習用の画像データには以下のような課題もある。
一般に被検査体の良品画像データと不良品画像データとを比べると、良品画像データは大量に集まるのに対し、不良品画像データは少ししか集まらないことが多い。このように良品画像データ量と不良品画像データ量との間に偏りがある状態で機械学習を行うと、機械学習が良品画像データの方に過剰に適合してしまう可能性がある。従って、機械学習用のデータには、良品画像データと不良品画像データとがなるべくバランスよく含まれていることが望ましい。以下の実施の形態は、前述の画像パターンの偏りに関する課題(言い換えれば、画像の質に関する課題)に加えて、良品データおよび不良品データのデータ数の偏りに関する課題(言い換えれば、画像の量に関する課題)を解決するためのものである。
図6は、第3の実施の形態に係る撮像画像振り分け装置2の機能ブロック図である。撮像画像振り分け装置2は、検査用画像保存部10と、画像振り分け部20と、学習用データセット保存部30と、テスト用データセット保存部40と、閾値決定部50と、を含む。すなわち撮像画像振り分け装置2は、図1の撮像画像振り分け装置1に対して、閾値決定部50を追加的に含む。撮像画像振り分け装置2のその他の構成は、撮像画像振り分け装置1の構成と同様である。このとき、撮像画像データは、良品画像データと不良品画像データとを含んでいる。
閾値決定部50は、良品画像用閾値および不良品画像用閾値を決定する。撮像画像振り分け装置2の動作は以下の通りである。先ず閾値決定部50は、ユーザにより設定可能な目標良品学習用画像数、目標良品テスト用画像数、目標不良品学習用画像数および目標不良品テスト用画像数を記憶する。次に画像振り分け部20は、検査用画像保存部10に保存された良品の撮像画像に対して、閾値を変えながら所定の回数、学習用データセット保存部30およびテスト用データセット保存部40への振り分けを行う。このとき閾値決定部50は、学習用データセットに振り分けられた画像数が目標良品学習用画像数に最も近く、テスト用データセットに振り分けられた画像数が目標良品テスト用画像数に最も近かったときの閾値を良品画像用閾値として決定する。さらに画像振り分け部20は、検査用画像保存部に保存された不良品の撮像画像に対して、閾値を変えながら所定の回数、学習用データセット保存部およびテスト用データセットへの振り分けを行う。このとき閾値決定部50は、学習用データセットに振り分けられた画像数が目標不良品学習用画像数に最も近く、テスト用データセットに振り分けられた画像数が目標不良品テスト用画像数に最も近かったときの閾値を不良品画像用閾値として決定する。
例えば良品データセット(ケースAとする)に対しては、撮像画像振り分け装置2は以下のように動作させることができる。良品データセットでは元々のデータ量が多いため、類似度の閾値を小さく設定しておく。すると、ほとんどの画像データは類似画像とみなされる。その結果、ほとんどの画像データは、機械学習用のデータセットに振り分けられない。従って、機械学習用のデータセットに大量の良品データが集中するのを防ぐことができる。
次に不良品データセット(ケースBとする)に対しては、撮像画像振り分け装置2は以下のように動作させることができる。不良品データセットでは元々のデータ量が少ないため、類似度の閾値を大きく設定しておく。すると、ほとんどの画像データは類似画像とみなされない。その結果、ほとんどの画像データは、機械学習用のデータセットに振り分けられる。従って、機械学習用のデータセットに不良品データがわずかしか含まれないことを防ぐことができる。
図7に、ケースAの場合の画像の振り分けの様子を模式的に示す。図8に、ケースBの場合の画像の振り分けの様子を模式的に示す。
図9に、撮像画像振り分け装置2のユーザインターフェースの一例を模式的に示す。ユーザは、このユーザインタフェースを用いて、良品データセットと不良品データセットのそれぞれに関し、目標学習用画像数、目標テスト用画像数、初期閾値および試行回数を設定することができる。図9の例では、目標良品学習用画像数:1000枚、目標良品テスト用画像数:100枚、良品初期閾値:10、良品試行回数:3回、目標不良品学習用画像数:1000枚、目標不良品テスト用画像数:100枚、不良品初期閾値:20、不良品試行回数:3回と設定されている。
最初に、良品データセットに対して、初期閾値10で良品画像の1回目の振り分け(試行)を行う。その結果、学習用画像が2000枚、テスト用画像が200枚になったとする。この場合、2回目の試行では閾値を例えば5に設定する。これにより、学習用画像が500枚、テスト用画像が50枚になったとする。この場合、3回目の試行では閾値を例えば8に設定する。これにより、学習用画像が1100枚、テスト用画像が110枚になったとする。ここで、設定された試行回数の3回が終了したので、これまでに最も設定された目標枚数に近かったときの閾値を採用して(この例では、3回目の試行が最も近かったので、閾値=8が採用される)、再度振り分けを行う。
同様に不良品データセットに対しても、初期閾値20で不良品画像の振り分けを3回行って、最も設定された目標枚数に近かった閾値を採用して、振り分けを行う。
本実施の形態によれば、良品データおよび不良品データのデータ数の偏りを軽減することができる。
ある実施の形態では、撮像画像振り分け装置1または2は、被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置に内蔵されてもよい。
この実施の形態によれば、画像振り分け装置と学習装置が一体となった製品を提供することができる。
ある実施の形態では、撮像画像振り分け装置1または2は、被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置と別体であってもよい。
この実施の形態によれば、外部の学習装置に外付け可能な独立した製品として、撮像画像振り分け装置1または2を提供することができる。
[第4の実施の形態]
図10は、第4の実施の形態に係る撮像画像振り分け方法の処理を示すフローチャートである。この方法は、良品と不良品とを含む外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け方法である。この方法は、被検査体の撮像画像データを保存する検査用画像保存ステップS1と、検査用画像保存ステップS1で保存された振り分け対象の画像を、機械学習の学習用データセットまたはテスト用データセットのいずれかに振り分ける画像振り分けステップS2と、学習用データセットの画像を保存する学習用データセット保存ステップS3と、テスト用データセットの画像を保存するテスト用データセット保存ステップS4と、を含む。画像振り分けステップS2は、振り分け対象の画像と、学習用データセット保存ステップS3で保存された学習用画像およびテスト用データセット保存ステップS4で保存されたテスト用画像と、の類似度に応じて、振り分け対象の画像の振り分け方を決定する。
図10は、第4の実施の形態に係る撮像画像振り分け方法の処理を示すフローチャートである。この方法は、良品と不良品とを含む外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け方法である。この方法は、被検査体の撮像画像データを保存する検査用画像保存ステップS1と、検査用画像保存ステップS1で保存された振り分け対象の画像を、機械学習の学習用データセットまたはテスト用データセットのいずれかに振り分ける画像振り分けステップS2と、学習用データセットの画像を保存する学習用データセット保存ステップS3と、テスト用データセットの画像を保存するテスト用データセット保存ステップS4と、を含む。画像振り分けステップS2は、振り分け対象の画像と、学習用データセット保存ステップS3で保存された学習用画像およびテスト用データセット保存ステップS4で保存されたテスト用画像と、の類似度に応じて、振り分け対象の画像の振り分け方を決定する。
本実施の形態によれば、外観検査装置の機械学習において、学習用データセットとテスト用データセットとの間で、画像パターンが偏らないように画像を振り分ける処理をコンピュータ等を用いて実行することができる。
[画像振り分けの具体例]
一例として、画像振り分けステップS2は、以下の規則に従って振り分け対象の画像を振り分けてもよい。
(ケース1)振り分け対象の画像に類似する画像が、学習用データセットにもテスト用データセットにも存在しない場合。この場合、画像振り分けステップS2は、振り分け対象の画像を学習用データセットに振り分ける。
(ケース2)振り分け対象の画像に類似する画像が、学習用データセットには存在するが、テスト用データセットには存在しない場合。この場合、画像振り分けステップS2は、振り分け対象の画像をテスト用データセットに振り分ける。
(ケース3)振り分け対象の画像に類似する画像が、学習用データセットにもテスト用データセットにも存在する場合。この場合、画像振り分けステップS2は、振り分け対象の画像を学習用データセットにもテスト用データセットにも振り分けない。
一例として、画像振り分けステップS2は、以下の規則に従って振り分け対象の画像を振り分けてもよい。
(ケース1)振り分け対象の画像に類似する画像が、学習用データセットにもテスト用データセットにも存在しない場合。この場合、画像振り分けステップS2は、振り分け対象の画像を学習用データセットに振り分ける。
(ケース2)振り分け対象の画像に類似する画像が、学習用データセットには存在するが、テスト用データセットには存在しない場合。この場合、画像振り分けステップS2は、振り分け対象の画像をテスト用データセットに振り分ける。
(ケース3)振り分け対象の画像に類似する画像が、学習用データセットにもテスト用データセットにも存在する場合。この場合、画像振り分けステップS2は、振り分け対象の画像を学習用データセットにもテスト用データセットにも振り分けない。
この実施の形態によれば、類似する画像が存在しない画像は学習用データセットやテスト用データセットに振り分け、逆に類似する画像がすでに存在する画像は学習用データセットやテスト用データセットに振り分けない。これにより、学習用データセットとテスト用データセットとの間で画像パターンの偏りが生じないような画像を振り分ける処理をコンピュータ等を用いて実現することができる。
[第5の実施の形態]
第5の実施の形態は、データセットである。このデータセットは、上記の撮像画像振り分け装置または撮像画像振り分け方法によって振り分けられたデータセットである。
第5の実施の形態は、データセットである。このデータセットは、上記の撮像画像振り分け装置または撮像画像振り分け方法によって振り分けられたデータセットである。
本実施の形態によれば、画像パターンが偏らないように振り分けられた外観検査装置の機械学習用の学習用データセットとテスト用データセットを提供することができる。
[第6の実施の形態]
第6の実施の形態は、学習システムである。この学習システムは、上記の撮像画像振り分け装置と、被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置と、を含む学習システムである。
第6の実施の形態は、学習システムである。この学習システムは、上記の撮像画像振り分け装置と、被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置と、を含む学習システムである。
この実施の形態によれば、画像パターンが偏らないように振り分けられた学習用データセットとテスト用データセットを用いた機械学習により生成した良否判定モデルを利用して、外観検査を実行することができる。
以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、いろいろな変形および変更が本開示の特許請求の範囲内で可能なこと、またそうした変形例および変更も本開示の特許請求の範囲にあることは当業者に理解されるところである。従って、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。
上述した各実施の形態と変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる各実施の形態および変形例それぞれの効果をあわせもつ。
実施の形態および変形例を抽象化した技術的思想を理解するにあたり、その技術的思想は実施の形態および変形例の内容に限定的に解釈されるべきではない。前述した実施の形態および変形例は、いずれも具体例を示したものにすぎず、構成要素の変更、追加、削除等の多くの設計変更が可能である。実施の形態では、このような設計変更が可能な内容に関して、「実施の形態」との表記を付して強調している。しかしながら、そのような表記のない内容でも設計変更が許容されることは言うまでもない。
本発明の撮像画像振り分け装置および撮像画像振り分け方法は、電子部品や電子回路基板などの外観検査に利用することができる。
1・・撮像画像振り分け装置、
2・・撮像画像振り分け装置、
10・・検査用画像保存部、
20・・画像振り分け部、
30・・学習用データセット保存部、
40・・テスト用データセット保存部、
50・・閾値決定部、
S1・・検査用画像保存ステップ、
S2・・画像振り分けステップ、
S3・・学習用データセット保存ステップ、
S4・・テスト用データセット保存ステップ。
2・・撮像画像振り分け装置、
10・・検査用画像保存部、
20・・画像振り分け部、
30・・学習用データセット保存部、
40・・テスト用データセット保存部、
50・・閾値決定部、
S1・・検査用画像保存ステップ、
S2・・画像振り分けステップ、
S3・・学習用データセット保存ステップ、
S4・・テスト用データセット保存ステップ。
Claims (13)
- 外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け装置であって、
被検査体の撮像画像データを保存する検査用画像保存部と、
前記検査用画像保存部に保存された振り分け対象の画像を、機械学習の学習用データセットまたはテスト用データセットのいずれかに振り分ける画像振り分け部と、
学習用データセットの画像を保存する学習用データセット保存部と、
テスト用データセットの画像を保存するテスト用データセット保存部と、を含み、
前記画像振り分け部は、前記振り分け対象の画像と、前記学習用データセット保存部に保存された画像および前記テスト用データセット保存部に保存された画像と、の類似度に応じて、前記振り分け対象の画像の振り分け方を決定することを特徴とする撮像画像振り分け装置。 - 前記画像振り分け部は、前記振り分け対象の画像と、前記学習用データセット保存部に保存された画像および前記テスト用データセット保存部に保存された画像と、を比較し、その比較結果から前記類似度を決定することを特徴とする請求項1に記載の撮像画像振り分け装置。
- 前記画像振り分け部は、前記振り分け対象の画像と、前記検査用画像保存部に保存された他の画像、前記学習用データセット保存部に保存された画像および前記テスト用データセット保存部に保存された画像と、を比較し、その比較結果から前記類似度を決定することを特徴とする請求項1に記載の撮像画像振り分け装置。
- 前記画像振り分け部は、前記検査用画像保存部に保存された画像のうち、前記振り分け対象の画像を前記学習用データセットにも前記テスト用データセットにも振り分けられなかった画像を前記検査用画像保存部から削除することを特徴とする請求項1から3のいずれかに記載の撮像画像振り分け装置。
- 前記画像振り分け部は、
前記振り分け対象の画像に類似する画像が、前記学習用データセット保存部にも前記テスト用データセット保存部にも存在しない場合、前記振り分け対象の画像を前記学習用データセットに振り分け、
前記振り分け対象の画像に類似する画像が、前記学習用データセット保存部には存在するが、前記テスト用データセット保存部には存在しない場合、前記振り分け対象の画像を前記テスト用データセットに振り分け、
前記振り分け対象の画像に類似する画像が、前記学習用データセット保存部にも前記テスト用データセット保存部にも存在する場合、前記振り分け対象の画像を前記学習用データセットにも前記テスト用データセットにも振り分けないことを特徴とする請求項1に記載の撮像画像振り分け装置。 - 前記画像振り分け部は、
画像同士が類似するかを判定する閾値を設定でき、画像間の類似度が当該閾値以上であれば当該画像同士は類似すると判定され、当該閾値より小さければ当両画像同士は類似しないと判定されるような前記閾値に基づいて画像同士の類否を判定し、
前記振り分け対象の画像が画像枚数が多い画像群の画像である場合は、前記閾値を小さく設定し、
前記振り分け対象の画像が画像枚数が少ない画像群の画像である場合は、前記閾値を大きく設定することを特徴とする請求項5に記載の撮像画像振り分け装置。 - 前記撮像画像データは、良品画像データと不良品画像データとを含み、
良品画像用閾値および不良品画像用閾値を決定するための閾値決定部をさらに含み、
前記閾値決定部は、
ユーザにより設定可能な目標良品学習用画像数、目標良品テスト用画像数、目標不良品学習用画像数および目標不良品テスト用画像数を記憶し、
前記検査用画像保存部に保存された良品の撮像画像に対して、閾値を変えながら所定の回数、前記学習用データセット保存部および前記テスト用データセット保存部への振り分けを行い、前記学習用データセットに振り分けられた画像数が目標良品学習用画像数に最も近く、前記テスト用データセットに振り分けられた画像数が前記目標良品テスト用画像数に最も近かったときの閾値を前記良品画像用閾値として決定し、
前記検査用画像保存部に保存された不良品の撮像画像に対して、閾値を変えながら所定の回数、前記学習用データセット保存部および前記テスト用データセットへの振り分けを行い、前記学習用データセットに振り分けられた画像数が目標不良品学習用画像数に最も近く、前記テスト用データセットに振り分けられた画像数が前記目標不良品テスト用画像数に最も近かったときの閾値を前記不良品画像用閾値として決定することを特徴とする請求項6に記載の撮像画像振り分け装置。 - 被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置に内蔵されることを特徴とする請求項1から3のいずれかに記載の撮像画像振り分け装置。
- 被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置と別体であることを特徴とする請求項1から3のいずれかに記載の撮像画像振り分け装置。
- 良品と不良品とを含む外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け方法であって、
被検査体の撮像画像データを保存する検査用画像保存ステップと、
学習用データセットの画像を保存する学習用データセット保存ステップと、
テスト用データセットの画像を保存するテスト用データセット保存ステップと、
を含み、
前記画像振り分けステップは、前記振り分け対象の画像と、前記学習用データセット保存ステップで保存された学習用画像および前記テスト用データセット保存ステップで保存されたテスト用画像と、の類似度に応じて、前記振り分け対象の画像の振り分け方を決定することを特徴とする撮像画像振り分け方法。 - 前記振り分けステップは、
前記振り分け対象の画像に類似する画像が、前記学習用データセットにも前記テスト用データセットにも存在しない場合、前記振り分け対象の画像を前記学習用データセットに振り分け、
前記振り分け対象の画像に類似する画像が、前記学習用データセットには存在するが、前記テスト用データセットには存在しない場合、前記振り分け対象の画像を前記テスト用データセットに振り分け、
前記振り分け対象の画像に類似する画像が、前記学習用データセットにも前記テスト用データセットにも存在する場合、前記振り分け対象の画像を前記学習用データセットにも前記テスト用データセットにも振り分けないことを特徴とする請求項10に記載の撮像画像振り分け方法。 - 請求項1から3のいずれかに記載の撮像画像振り分け装置または請求項10もしくは11に記載の撮像画像振り分け方法によって振り分けられたデータセット。
- 請求項1から3のいずれかに記載の撮像画像振り分け装置と、
被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置と、を含む学習システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022195625A JP2024081979A (ja) | 2022-12-07 | 2022-12-07 | 撮像画像振り分け装置、撮像画像振り分け方法、データセットおよび学習システム |
PCT/JP2023/043499 WO2024122546A1 (ja) | 2022-12-07 | 2023-12-05 | 撮像画像振り分け装置、撮像画像振り分け方法、データセットおよび学習システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022195625A JP2024081979A (ja) | 2022-12-07 | 2022-12-07 | 撮像画像振り分け装置、撮像画像振り分け方法、データセットおよび学習システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024081979A true JP2024081979A (ja) | 2024-06-19 |
Family
ID=91379164
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022195625A Pending JP2024081979A (ja) | 2022-12-07 | 2022-12-07 | 撮像画像振り分け装置、撮像画像振り分け方法、データセットおよび学習システム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2024081979A (ja) |
WO (1) | WO2024122546A1 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6973197B2 (ja) * | 2018-03-09 | 2021-11-24 | オムロン株式会社 | データセット検証装置、データセット検証方法、およびデータセット検証プログラム |
WO2021132024A1 (ja) * | 2019-12-24 | 2021-07-01 | パナソニックIpマネジメント株式会社 | 学習用データの評価方法、プログラム、学習用データの生成方法、学習済みモデルの生成方法、及び学習用データの評価システム |
CN115427984A (zh) * | 2020-05-11 | 2022-12-02 | 富士通株式会社 | 机器学习程序、机器学习方法以及机器学习装置 |
-
2022
- 2022-12-07 JP JP2022195625A patent/JP2024081979A/ja active Pending
-
2023
- 2023-12-05 WO PCT/JP2023/043499 patent/WO2024122546A1/ja unknown
Also Published As
Publication number | Publication date |
---|---|
WO2024122546A1 (ja) | 2024-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111340237B (zh) | 数据处理和模型运行方法、装置和计算机设备 | |
CN113011602A (zh) | 一种联邦模型训练方法、装置、电子设备和存储介质 | |
US5448722A (en) | Method and system for data processing system error diagnosis utilizing hierarchical blackboard diagnostic sessions | |
WO2000011554A1 (en) | A system and method for identification of transformation of memory device addresses | |
CN105045917B (zh) | 一种基于实例的分布式数据恢复方法和装置 | |
WO2021115186A1 (zh) | 基于ann的程序检测方法和检测系统及应用 | |
JP6418431B2 (ja) | 効率的な1対1結合のための方法 | |
KR100368106B1 (ko) | 반도체메모리기기의 불량분석시스템 | |
Hernando et al. | A tunable generator of instances of permutation-based combinatorial optimization problems | |
CN107832446A (zh) | 一种配置项信息的搜索方法及计算设备 | |
CN112100185A (zh) | 区块链数据平衡负载的索引系统及方法 | |
US9652836B2 (en) | Defect cell clustering method and apparatus thereof | |
CN108694083B (zh) | 一种服务器的数据处理方法和装置 | |
CN111475402A (zh) | 程序功能的测试方法及相关装置 | |
WO2024122546A1 (ja) | 撮像画像振り分け装置、撮像画像振り分け方法、データセットおよび学習システム | |
CN110442594A (zh) | 一种面向Spark SQL聚集算子的动态执行方法 | |
US6904584B2 (en) | Method and system for placing logic nodes based on an estimated wiring congestion | |
CN107562615B (zh) | 基于目标符合性评审论证树模型的适航符合性测试方法 | |
TW202127312A (zh) | 影像處理方法及存儲介質 | |
US20090249338A1 (en) | Method and system to modify task in a workflow system | |
WO2021019865A1 (ja) | 検査装置、検査方法、および、検査プログラム、ならびに、学習装置、学習方法、および、学習プログラム | |
Zhou et al. | Community detection by enhancing community structure in bipartite networks | |
Sun et al. | Testing Sequence Generation Method Based on Unrelated Behaviors Serializing | |
CN115546009B (zh) | 非极大值抑制算法的优化方法、装置以及设备、存储介质 | |
CN107239517A (zh) | 基于Hbase数据库的多条件搜索方法及装置 |