JP7397404B2 - 画像処理装置、画像処理方法、及び画像処理プログラム - Google Patents
画像処理装置、画像処理方法、及び画像処理プログラム Download PDFInfo
- Publication number
- JP7397404B2 JP7397404B2 JP2020019519A JP2020019519A JP7397404B2 JP 7397404 B2 JP7397404 B2 JP 7397404B2 JP 2020019519 A JP2020019519 A JP 2020019519A JP 2020019519 A JP2020019519 A JP 2020019519A JP 7397404 B2 JP7397404 B2 JP 7397404B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- dimensions
- reconstructed
- image processing
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 18
- 238000007689 inspection Methods 0.000 claims description 29
- 230000002950 deficient Effects 0.000 description 21
- 238000000034 method Methods 0.000 description 21
- 230000007547 defect Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 238000010801 machine learning Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012880 independent component analysis Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Description
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関わる。
半導体部品やプリント基板などの製造技術分野においては、検査対象となる製品の画像を撮影し、この撮影した画像を良品の画像と比較することにより、製品に含まれる欠陥の有無や程度を評価する検査方法が実用化されている。この種の検査方法の分野においては、機械学習の応用により検査精度を高める試みが検討されており、例えば、特許文献１では、検査対象となる製品の画像データの特徴量から再構成される再構成画像データと画像データとの比較に基づいて製品の良否判定を行う装置が提案されている。
しかし、再構成画像データの再構成に用いられる特徴量の次元数の設定方法については、標準的な手法は確立されておらず、操作者のスキルや経験などに依存している。例えば、主成分分析の寄与率を指標にして、特徴量の次元数を決定する方法が考えられるが、寄与率と欠陥検出精度との関係は製品毎に異なり得る。このため、ある製品については、特徴量の次元数が不十分であるために、良品であるのにも関わらず不良品と判定してしまったり、他の製品については、特徴量の次元数が過剰であるために、不良品であるのにも関わらず良品と判定してしまったりすることがある。
そこで、本発明は、このような問題を解決し、再構成画像データの再構成に用いられる特徴量の次元数を簡易かつ適切に設定することのできる画像処理装置、画像処理方法、及び画像処理プログラムを提案することを課題とする。
上述の課題を解決するため、本発明に関わる画像処理装置は、検査対象の少なくとも一部分の画像データの特徴量から再構成される再構成画像データと画像データとの差異と閾値との比較に基づいて検査対象の検査を行う画像処理装置であって、特徴量の全次元のうち再構成画像データの再構成に用いられる一部の次元の指定を操作者から受け付ける操作部と、操作者によって指定された次元の特徴量から再構成される再構成画像データを画像データと対比して表示する表示部と、操作者によって指定された次元の特徴量を、再構成画像データの再構成に用いられる特徴量として設定する設定部と、を備える。このように、操作者によって指定された次元の特徴量から再構成された再構成画像データが画像データと対比されるように表示されるため、操作者は、画像データと再構成画像データとを見比べながら、特徴量の全次元のうち再構成画像データの再構成に用いられる次元を指定することができる。
ここで、操作部は、特徴量の全次元のうち再構成画像データの再構成に用いられる一部の次元の個数の指定を操作者から受け付けてもよい。また、設定部は、特徴量の全次元の中から、操作者から受け付けた次元の個数に対し、予め定められた優先度の高い順に次元を選択し、選択された各次元の特徴量を、再構成画像データの再構成に用いられる特徴量として設定してもよい。これにより、再構成画像データの再構成に用いられる特徴量の次元数を適切に設定することができる。
ここで、優先度の高い順は、例えば、特徴量の次元毎の分散の大きい順、特徴量の次元毎の最大値の大きい順、又は特徴量の次元毎の最大値と最小値との差が大きい順のうち何れかとしてもよい。これにより、検査対象の画像の特徴に応じて再構成画像データの再構成に用いられる特徴量の次元数を適切に設定することができる。
また、操作部は、特徴量の全次元のうち再構成画像データの再構成に用いられる一部の次元の個別指定を操作者から受け付けてもよい。これにより、検査対象の画像の特徴に応じて再構成画像データの再構成に用いられる特徴量の次元を適切に設定することができる。
また、操作部は、閾値の指定を操作者から受け付けてもよい。これにより、検査対象の画像の特徴に応じて閾値を適切に設定することができる。
本発明に関わる画像処理方法は、検査対象の少なくとも一部分の画像データの特徴量から再構成される再構成画像データと画像データとの差異と閾値との比較に基づいてコンピュータシステムが検査対象の検査を行う画像処理方法であって、特徴量の全次元のうち再構成画像データの再構成に用いられる一部の次元の指定をコンピュータシステムが操作者から受け付けるステップと、操作者によって指定された次元の特徴量から再構成される再構成画像データを画像データと対比してコンピュータシステムが表示するステップと、操作者によって指定された次元の特徴量を、再構成画像データの再構成に用いられる特徴量としてコンピュータシステムが設定するステップと、を備える。このように、操作者によって指定された次元の特徴量から再構成された再構成画像データが画像データと対比されるように表示されるため、操作者は、画像データと再構成画像データとを見比べながら、特徴量の全次元のうち再構成画像データの再構成に用いられる次元を指定することができる。
本発明に関わる画像処理プログラムは、検査対象の少なくとも一部分の画像データの特徴量から再構成される再構成画像データと画像データとの差異と閾値との比較に基づいて検査対象の検査を行う画像処理方法をコンピュータシステムに実行させるための画像処理プログラムであって、コンピュータシステムに、特徴量の全次元のうち再構成画像データの再構成に用いられる一部の次元の指定を操作者から受け付けるステップと、操作者によって指定された次元の特徴量から再構成される再構成画像データを画像データと対比して表示するステップと、操作者によって指定された次元の特徴量を、再構成画像データの再構成に用いられる特徴量として設定するステップと、を実行させる。このように、操作者によって指定された次元の特徴量から再構成された再構成画像データが画像データと対比されるように表示されるため、操作者は、画像データと再構成画像データとを見比べながら、特徴量の全次元のうち再構成画像データの再構成に用いられる次元を指定することができる。
本発明によれば、再構成画像データの再構成に用いられる特徴量の次元数を簡易かつ適切に設定することができる。
以下、本発明の一側面に関わる実施形態を図面に基づいて説明する。本発明の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更又は改良され得るととともに、本発明には、その等価物も含まれる。なお、同一符号は、同一の構成要素を示すものとし、重複する説明は省略する。
［適用例］
まず、図１及び図２を参照しながら、本発明の適用例について説明する。
図１は本実施形態に関わる画像データＸ１から再構成画像データＸ２を再構成するための処理の流れを示す説明図である。画像データＸ１は、例えば、検査対象の少なくとも一部分を撮影して得られる画像データである。画像データＸ１は、その特徴が抽出された特徴量ベクトルに射影される。説明の便宜上、この特徴量ベクトルを特徴量Ｚと呼ぶ。このとき、次元圧縮により特徴量Ｚの次元数は、画像データＸ１の次元数よりも少なくなる。再構成画像データＸ２は、特徴量Ｚの次元を復元することにより得られる。画像データの次元を圧縮及び復元するアルゴリズムとして、オートエンコーダが知られている。オートエンコーダでは、（１）式及び（２）式が成立する。但し、Ｕ及びＶは、Ｘ１とＸ２との差が小さくなるように、学習を通じて得られるパラメータである。ＵTはＵの転置行列であり、ｆは活性化関数である。また、オートエンコーダの層数は、３層に限らず、任意の層数でもよい。
Ｚ＝ｆ（ＵTＸ１）…（１）
Ｘ２＝ＶＺ…（２）
まず、図１及び図２を参照しながら、本発明の適用例について説明する。
図１は本実施形態に関わる画像データＸ１から再構成画像データＸ２を再構成するための処理の流れを示す説明図である。画像データＸ１は、例えば、検査対象の少なくとも一部分を撮影して得られる画像データである。画像データＸ１は、その特徴が抽出された特徴量ベクトルに射影される。説明の便宜上、この特徴量ベクトルを特徴量Ｚと呼ぶ。このとき、次元圧縮により特徴量Ｚの次元数は、画像データＸ１の次元数よりも少なくなる。再構成画像データＸ２は、特徴量Ｚの次元を復元することにより得られる。画像データの次元を圧縮及び復元するアルゴリズムとして、オートエンコーダが知られている。オートエンコーダでは、（１）式及び（２）式が成立する。但し、Ｕ及びＶは、Ｘ１とＸ２との差が小さくなるように、学習を通じて得られるパラメータである。ＵTはＵの転置行列であり、ｆは活性化関数である。また、オートエンコーダの層数は、３層に限らず、任意の層数でもよい。
Ｚ＝ｆ（ＵTＸ１）…（１）
Ｘ２＝ＶＺ…（２）
本実施形態に関わる画像処理方法は、画像データＸ１と再構成画像データＸ２との差異と閾値とを比較し、その比較結果に基づいて検査対象の良否判定を行う。例えば、良品と不良品とを区別する外観検査においては、複数の良品の特徴を予め機械学習して行列Ｕを事前に求めておく。そして、検査対象となる製品を撮影して画像データＸ１を得るとともに、その特徴量Ｚから再構成画像データＸ２を再構成する。画像データＸ１と再構成画像データＸ２との差異が閾値未満のときは、検査対象となる製品は良品であると判定される。一方、画像データＸ１と再構成画像データＸ２との差異が閾値以上のときは、検査対象となる製品は不良品であると判定される。
図２は本実施形態に関わる画像処理方法の一例を示すフローチャートである。
ここでは、ある一定数の同一製品を良品と不良品とに区別するための良否判定の事前設定をする場合を例示する。但し、図２に示す処理に先立って、複数の良品の特徴の機械学習を通じて行列Ｕは事前に算出されているものとする。また、検査対象となる製品の標本（サンプル）について特徴量Ｚの全次元の分布が予め算出されているものとする。
ここでは、ある一定数の同一製品を良品と不良品とに区別するための良否判定の事前設定をする場合を例示する。但し、図２に示す処理に先立って、複数の良品の特徴の機械学習を通じて行列Ｕは事前に算出されているものとする。また、検査対象となる製品の標本（サンプル）について特徴量Ｚの全次元の分布が予め算出されているものとする。
まず、ステップ２０１において、検査対象となる製品の撮影により得られる画像データＸ１が入力される。
次に、ステップ２０２において、画像データＸ１について、（１）式の変換処理が行われ、特徴量Ｚが算出される。
次に、ステップ２０３において、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元が操作者によって指定される。
次に、ステップ２０４において、操作者によって指定された次元の特徴量Ｚについて（２）式の再構成処理が行われる。
次に、ステップ２０５において、操作者によって指定された次元の特徴量Ｚから再構成された再構成画像データＸ２が画像データＸ１と対比されるように表示される。
次に、ステップ２０６において、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる次元が操作者の指定により決定したか否かを判定する。
ここで、ステップ２０６の判定結果が否定判定である場合には、ステップ２０３～ステップ２０６の処理が繰り返される。
一方、ステップ２０６の判定結果が肯定判定である場合には、ステップ２０７において、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる次元が、操作者が指定する次元に設定される。
次に、ステップ２０２において、画像データＸ１について、（１）式の変換処理が行われ、特徴量Ｚが算出される。
次に、ステップ２０３において、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元が操作者によって指定される。
次に、ステップ２０４において、操作者によって指定された次元の特徴量Ｚについて（２）式の再構成処理が行われる。
次に、ステップ２０５において、操作者によって指定された次元の特徴量Ｚから再構成された再構成画像データＸ２が画像データＸ１と対比されるように表示される。
次に、ステップ２０６において、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる次元が操作者の指定により決定したか否かを判定する。
ここで、ステップ２０６の判定結果が否定判定である場合には、ステップ２０３～ステップ２０６の処理が繰り返される。
一方、ステップ２０６の判定結果が肯定判定である場合には、ステップ２０７において、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる次元が、操作者が指定する次元に設定される。
このような画像処理方法によれば、操作者によって指定された次元の特徴量Ｚから再構成された再構成画像データＸ２が画像データＸ１と対比されるように表示されるため、操作者は、画像データＸ１と再構成画像データＸ２とを見比べながら、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる次元を指定することができる。特に、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる次元の指定が変更される都度にその変更された次元の特徴量Ｚから再構成された再構成画像データＸ２が画像データＸ１と対比されて改めて表示されるようにすることにより、操作者は、次元の指定の変更に伴って変化する再構成画像データＸ２を画像データＸ１と見比べながら、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる適切な次元を指定することができる。
例えば、検査対象となる製品に微小のキズがあるものの、そのキズが製品の性能上無視し得ない程度のものである場合には、その製品が不良品であると判定されるように、操作者の判断により、特徴量Ｚの全次元の中から再構成画像データＸ２の再構成に用いられる次元を選択することができる。また、例えば、検査対象となる製品に比較的大きなキズがあるものの、そのキズが製品の性能上無視し得る程度のものである場合には、その製品が良品であると判定されるように、操作者の判断により、特徴量Ｚの全次元の中から再構成画像データＸ２の再構成に用いられる次元を選択することができる。
なお、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元の個数の指定を操作者から受け付けるようにしてもよい。説明の便宜上、操作者から指定される次元の個数を指定個数と呼ぶ。この場合、特徴量Ｚの全次元の中から、予め定められた優先度の高い順に次元を選択し、選択された各次元の特徴量を、再構成画像データＸ２の再構成に用いられる特徴量Ｚとして設定してもよい。優先度の高い順の例として、特徴量Ｚの次元毎の分散の大きい順、特徴量Ｚの次元毎の最大値の大きい順、又は特徴量Ｚの次元毎の最大値と最小値との差が大きい順などを挙げることができる。
なお、次元個数との対応関係が予め定められている複数のモードを定義し、モードの選択を通じて次元個数を指定するようにしてもよい。例えば、特徴量Ｚの全次元数が１００である場合、２０個の次元個数を指定するモード１と、４０個の次元個数を指定するモード２と、６０個の次元個数を指定するモード３とを予め定義し、この３つのモードの中から操作者によって選択される何れか一つのモードに対応付けられる次元の個数を指定個数として指定してもよい。この場合、例えば、モード２が操作者によって選択されると、４０個の次元個数が指定個数として指定される。
また、欠陥検出感度の大きさと次元個数との対応関係を予め定義し、欠陥検出感度の大きさの指定を通じて次元個数を指定してもよい。このような対応関係は、次元個数と欠陥検出感度との間の相関性を利用するものである。例えば、欠陥検出感度の大きさを「大」、「中」、「小」の３段階のレベルに分類し、欠陥検出感度が最大である「大」のレベルと２０個の次元個数とを対応付け、欠陥検出感度が中間である「中」のレベルと４０個の次元個数とを対応付け、欠陥検出感度が最小である「小」のレベルと６０個の次元個数とを対応付けてもよい。この場合、例えば、欠陥検出感度が中間である「中」のレベルが操作者によって選択されると、４０個の次元個数が指定個数として指定される。これにより、次元数を指定するための技術専門知識を操作者が有していなくても、次元個数を適切かつ容易に設定することができる。
また、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元の個別指定を操作者から受け付けてもよい。例えば、０次元から８次元のうち、０次元、１次元、２次元、４次元、７次元の個別指定を受け付けてもよい。
また、画像データＸ１と再構成画像データＸ２との差異の閾値判定に用いられる閾値の指定を操作者から受け付けるようにしてもよい。
また、画像データＸ１は、操作者が検査をしたい領域を含むものであれば、検査対象の少なくとも一部分の画像データであればよく、必ずしも検査対象の全部の画像データでなくてもよい。例えば、検査対象となる製品が複数の部品を搭載する基板である場合、検査対象の少なくとも一部分は、例えば、複数の部品のうちの操作者が検査をしたい何れか一つの部品でもよい。
なお、画像データの次元を圧縮及び復元するアルゴリズムとして、オートエンコーダに替えて、独立成分分析や主成分分析などを用いてもよい。
［ハードウェア構成］
次に、図３を参照しながら、本実施形態に関わる画像処理装置１０のハードウェア構成の一例について説明する。
画像処理装置１０は、ハードウェア資源として、撮影装置１１、プロセッサ１２、入出力インタフェース１３、記憶装置１４、操作部１５、及び表示部１６を備えるコンピュータシステムである。
次に、図３を参照しながら、本実施形態に関わる画像処理装置１０のハードウェア構成の一例について説明する。
画像処理装置１０は、ハードウェア資源として、撮影装置１１、プロセッサ１２、入出力インタフェース１３、記憶装置１４、操作部１５、及び表示部１６を備えるコンピュータシステムである。
撮影装置１１は、例えば、検査対象３０を撮影するためのデジタルカメラである。撮影装置１１は、例えば、画像処理装置１０に内蔵されているものでもよく、或いは画像処理装置１０に外付けされるものでもよい。但し、画像処理装置１０は、必ずしも、撮影装置１１を備える必要はなく、例えば、撮影装置が撮影した検査対象３０の画像データＸ１を、入出力インタフェース１３を通じて入力してもよい。入出力インタフェース１３は、例えば、ネットワークを通じて撮影装置から画像データＸ１を受信するネットワークインタフェースでもよく、或いは記録媒体に記録されている画像データＸ１を読み取るディスクインタフェースでもよい。
記憶装置１４は、例えば、半導体メモリ（例えば、揮発性メモリ、不揮発性メモリなど）又はディスク媒体（例えば、光記録媒体、光磁気記録媒体など）などのコンピュータ読み取り可能な記録媒体である。記憶装置１４には、本実施形態に関わる画像処理方法を画像処理装置１０に実行させるための画像処理プログラム２０が記録されている。
操作部１５は、例えば、キーボード、マウス、又はタッチパネルである。表示部１６は、例えば、液晶ディスプレイなどのディスプレイデバイスである。このようなディスプレイデバイスは、例えば、操作部１５としても機能し得るタッチパネルを備えてもよい。
なお、検査対象３０は、例えば、生産ライン上をベルトコンベヤで搬送されるワークでもよい。画像処理装置１０は、生産ライン上に設置されていてもよく、或いは生産ラインとは異なる場所に設置されていてもよい。画像処理装置１０が生産ラインとは異なる場所に設置されている場合には、画像処理装置１０は、入出力インタフェース１３を通じて画像データＸ１を入力してもよい。
［事前準備処理］
次に、図４を参照しながら、ある一定数の同一製品を良品と不良品とに区別するための事前準備処理について説明する。この処理は、プロセッサ１２による画像処理プログラム２０の実行により実行される。
まず、ステップ４０１において、画像処理装置１０は、検査対象３０となる製品と同一の製品の良品の画像データＸ１を教師データとして記憶装置１４に登録する。この良品の画像データＸ１は、例えば、操作者の判断により良品と思われる製品の画像データである。
次に、ステップ４０２において、画像処理装置１０は、記憶装置１４に登録された良品の画像データＸ１の数が所定数に達しか否かを判定する。この所定数は、例えば、良品の特徴を機械学習するのに十分な数である。
次に、ステップ４０３において、画像処理装置１０は、オートエンコーダにより、行列Ｕを計算する。
次に、ステップ４０４において、画像処理装置１０は、検査対象３０となる製品の標本の画像データＸ１について（１）式の変換処理を行い、特徴量Ｚを計算する。
次に、ステップ４０５において、画像処理装置１０は、特徴量Ｚの計算結果に基づいて特徴量Ｚの全次元の分布を算出する。
次に、図４を参照しながら、ある一定数の同一製品を良品と不良品とに区別するための事前準備処理について説明する。この処理は、プロセッサ１２による画像処理プログラム２０の実行により実行される。
まず、ステップ４０１において、画像処理装置１０は、検査対象３０となる製品と同一の製品の良品の画像データＸ１を教師データとして記憶装置１４に登録する。この良品の画像データＸ１は、例えば、操作者の判断により良品と思われる製品の画像データである。
次に、ステップ４０２において、画像処理装置１０は、記憶装置１４に登録された良品の画像データＸ１の数が所定数に達しか否かを判定する。この所定数は、例えば、良品の特徴を機械学習するのに十分な数である。
次に、ステップ４０３において、画像処理装置１０は、オートエンコーダにより、行列Ｕを計算する。
次に、ステップ４０４において、画像処理装置１０は、検査対象３０となる製品の標本の画像データＸ１について（１）式の変換処理を行い、特徴量Ｚを計算する。
次に、ステップ４０５において、画像処理装置１０は、特徴量Ｚの計算結果に基づいて特徴量Ｚの全次元の分布を算出する。
［機能構成］
次に、図５を参照しながら、画像処理装置１０の機能について説明する。画像処理装置１０のハードウェア資源と画像処理プログラム２０との協働により、変換部４１、設定部４２、再構成部４３、及び判定部４４としての機能が実現される。なお、検査対象３０となる製品の標本について特徴量Ｚの全次元の分布が予め算出されているものとする。
次に、図５を参照しながら、画像処理装置１０の機能について説明する。画像処理装置１０のハードウェア資源と画像処理プログラム２０との協働により、変換部４１、設定部４２、再構成部４３、及び判定部４４としての機能が実現される。なお、検査対象３０となる製品の標本について特徴量Ｚの全次元の分布が予め算出されているものとする。
変換部４１は、検査対象３０となる製品の画像データＸ１から特徴量Ｚを計算する。この計算処理は図２のステップ２０２の処理と同じである。
操作部１６は、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元の指定を操作者から受け付ける。この受付処理は、図２のステップ２０３の処理と同じである。なお、操作部１６は、判定部４４による閾値判定に用いられる閾値の指定を操作者から受け付けることもできる。
設定部４２は、操作者によって指定された次元の特徴量Ｚを、再構成画像データＸ２の再構成に用いられる特徴量として設定する。この設定は操作者の操作により変更可能であるため、設定が操作者によって決定されるまでは仮設定の扱いとなる。設定が操作者によって決定されると、設定部４２は、設定を確定する。この設定の確定処理は、図２のステップ２０７の処理と同じである。
再構成部４３は、操作者によって指定された次元の特徴量Ｚについて再構成処理を行う。この再構成処理は、図２のステップ２０４の処理と同じである。
表示部１５は、操作者によって指定された次元の特徴量Ｚから再構成される再構成画像データＸ２を画像データＸ１と対比して表示する。この表示処理は、図２のステップ２０５の処理と同じである。これにより、操作者は、画像データＸ１と再構成画像データＸ２とを見比べながら、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる次元の指定を変更又は決定することができる。次元の指定が変更されると、表示部１５は、変更された次元の特徴量Ｚから再構成された再構成画像データＸ２を画像データＸ１と対比して改めて表示する。
操作者による次元の指定が確定すると、判定部４４は、画像データＸ１と再構成画像データＸ２との差異と閾値とを比較し、その比較結果に基づいて検査対象３０の良否判定を行う。画像データＸ１と再構成画像データＸ２との差異が閾値未満のときは、検査対象３０となる製品は良品であると判定される。一方、画像データＸ１と再構成画像データＸ２との差異が閾値以上のときは、検査対象３０となる製品は不良品であると判定される。
次に、図６及び図７を参照しながら、本発明の実施形態に関わる画像データＸ１と再構成画像データＸ２との対比画面５０の例について説明する。
対比画面５０は、画像データＸ１を表示する領域５１と、再構成画像データＸ２を表示する領域５２と、画像データＸ１と再構成画像データＸ２との差分画像データＸ３を表示する領域５３と、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる、操作者からの指定により受付可能な、一部の次元の個数を表示する領域５４と、操作者からの指定により変更可能な閾値の指定の範囲を表示する領域５５とを含む。
対比画面５０は、画像データＸ１を表示する領域５１と、再構成画像データＸ２を表示する領域５２と、画像データＸ１と再構成画像データＸ２との差分画像データＸ３を表示する領域５３と、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる、操作者からの指定により受付可能な、一部の次元の個数を表示する領域５４と、操作者からの指定により変更可能な閾値の指定の範囲を表示する領域５５とを含む。
例えば、図６に示す例では、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元の個数として、操作部１６が操作者からＮ１の指定を受け付けた場合を示している。設定部４２は、特徴量Ｚの全次元の中から、予め定められた優先度の高い順に指定個数Ｎ１分の次元の特徴量を、再構成画像データＸ２の再構成に用いられる特徴量として設定する。優先度の高い順は、例えば、特徴量Ｚの次元毎の最大値の大きい順、又は特徴量Ｚの次元毎の最大値と最小値との差が大きい順でもよい。このような順番に替えて、例えば、優先度高い順を、特徴量Ｚの次元毎の分散の大きい順としてもよい。この場合、分散の大きい次元から優先的に指定個数Ｎ１分選択される。領域５２には、このようにして選択された指定個数Ｎ１分の次元から再構成される再構成画像データＸ２が表示される。一方、図７に示す例では、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元の個数として、操作部１６が操作者からＮ２の指定を受け付けた場合を示している。このとき、領域５２には、指定個数Ｎ２分の次元から再構成される再構成画像データＸ２が表示される。このようにして、次元の指定個数がＮ１からＮ２に変更されると、その指定個数の変更に連動して、領域５２に表示される再構成画像データＸ２及び領域５３に表示される差分画像データＸ３も変更される。
次に、図８及び図９を参照しながら、本発明の実施形態に関わる画像データＸ１と再構成画像データＸ２との対比画面５０の他の例について説明する。この例では、対比画面５０は、上述の領域５４に替えて、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる、操作者からの個別指定により受付可能な、一部の次元を表示する領域５６を含む。例えば、図８に示す例では、０次元から８次元のうち、０次元、１次元、次元４の個別指定を受け付けた場合を示している。同様に、図９に示す例では、０次元から８次元のうち、０次元、１次元、２次元、４次元、７次元の個別指定を受け付けた場合を示している。このようにして、次元の個別指定が変更されると、その個別指定の変更に連動して、領域５２に表示される再構成画像データＸ２及び領域５３に表示される差分画像データＸ３も変更される。
なお、画像データの次元を圧縮及び復元するアルゴリズムとして、３層以外のオートエンコーダを用いた場合、ここで選択されなかった次元の特徴量については、該当する特徴量を算出する際の活性化関数の値をゼロにすることで、同様の処理を実現することができる。
なお、画像データの次元を圧縮及び復元するアルゴリズムとして、３層以外のオートエンコーダを用いた場合、ここで選択されなかった次元の特徴量については、該当する特徴量を算出する際の活性化関数の値をゼロにすることで、同様の処理を実現することができる。
本実施形態によれば、操作者によって指定された次元の特徴量Ｚから再構成された再構成画像データＸ２が画像データＸ１と対比されるように表示されるため、操作者は、画像データＸ１と再構成画像データＸ２とを見比べながら、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる次元を適切に指定することができる。
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明は、その趣旨を逸脱することなく、変更又は改良され得るととともに、本発明にはその等価物も含まれる。例えば、上述の実施形態において、画像処理装置１０の各機能（変換部４１、設定部４２、再構成部４３、及び判定部４４）は、必ずしも、画像処理装置１０のハードウェア資源と画像処理プログラム２０との協働によって実現される必要はなく、例えば、画像処理装置１０の専用のハードウェア資源（例えば、特定用途向け集積回路（ＡＳＩＣ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）など）を用いて実現されてもよい。
[付記]
本発明の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
検査対象３０の少なくとも一部分の画像データＸ１の特徴量Ｚから再構成される再構成画像データＸ２と画像データＸ１との差異と閾値との比較に基づいて検査対象３０の検査を行う画像処理装置１０であって、
特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元の指定を操作者から受け付ける操作部１６と、
操作者によって指定された次元の特徴量Ｚから再構成される再構成画像データＸ２を画像データＸ１と対比して表示する表示部１５と、
操作者によって指定された次元の特徴量Ｚを、再構成画像データＸ２の再構成に用いられる特徴量Ｚとして設定する設定部４２と、
を備える画像処理装置１０。
（付記２）
付記１に記載の画像処理装置１０であって、
操作部１６は、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元の個数の指定を操作者から受け付け、
設定部４２は、特徴量Ｚの全次元の中から、予め定められた優先度の高い順に次元毎に選択される個数分の次元の特徴量Ｚを、再構成画像データＸ２の再構成に用いられる特徴量として設定する、画像処理装置１０。
（付記３）
付記２に記載の画像処理装置１０であって、
優先度の高い順は、特徴量Ｚの次元毎の分散の大きい順、特徴量Ｚの次元毎の最大値の大きい順、又は特徴量Ｚの次元毎の最大値と最小値との差が大きい順のうち何れかである、画像処理装置１０。
（付記４）
付記１に記載の画像処理装置１０であって、
操作部１６は、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元の個別指定を操作者から受け付ける、画像処理装置１０。
（付記５）
付記１乃至４のうち何れか一つに記載の画像処理装置１０であって、
操作部１６は、閾値の指定を操作者から受け付ける、画像処理装置１０。
（付記６）
検査対象３０の少なくとも一部分の画像データＸ１の特徴量Ｚから再構成される再構成画像データＸ２と画像データＸ１との差異と閾値との比較に基づいてコンピュータシステムが検査対象３０の検査を行う画像処理方法であって、
特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元の指定をコンピュータシステムが操作者から受け付けるステップ２０３と、
操作者によって指定された次元の特徴量Ｚから再構成される再構成画像データＸ２を画像データＸ１と対比してコンピュータシステムが表示するステップ２０５と、
操作者によって指定された次元の特徴量Ｚを、再構成画像データＸ２の再構成に用いられる特徴量Ｚとしてコンピュータシステムが設定するステップ２０７と、
を備える画像処理方法。
（付記７）
検査対象３０の少なくとも一部分の画像データＸ１の特徴量Ｚから再構成される再構成画像データＸ２と画像データＸ１との差異と閾値との比較に基づいて検査対象３０の検査を行う画像処理方法をコンピュータシステムに実行させるための画像処理プログラム２０であって、
コンピュータシステムに、
特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元の指定を操作者から受け付けるステップ２０３と、
操作者によって指定された次元の特徴量Ｚから再構成される再構成画像データＸ２を画像データＸ１と対比して表示するステップ２０５と、
操作者によって指定された次元の特徴量Ｚを、再構成画像データＸ２の再構成に用いられる特徴量Ｚとして設定するステップ２０７と、
を実行させる画像処理プログラム２０。
本発明の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
検査対象３０の少なくとも一部分の画像データＸ１の特徴量Ｚから再構成される再構成画像データＸ２と画像データＸ１との差異と閾値との比較に基づいて検査対象３０の検査を行う画像処理装置１０であって、
特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元の指定を操作者から受け付ける操作部１６と、
操作者によって指定された次元の特徴量Ｚから再構成される再構成画像データＸ２を画像データＸ１と対比して表示する表示部１５と、
操作者によって指定された次元の特徴量Ｚを、再構成画像データＸ２の再構成に用いられる特徴量Ｚとして設定する設定部４２と、
を備える画像処理装置１０。
（付記２）
付記１に記載の画像処理装置１０であって、
操作部１６は、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元の個数の指定を操作者から受け付け、
設定部４２は、特徴量Ｚの全次元の中から、予め定められた優先度の高い順に次元毎に選択される個数分の次元の特徴量Ｚを、再構成画像データＸ２の再構成に用いられる特徴量として設定する、画像処理装置１０。
（付記３）
付記２に記載の画像処理装置１０であって、
優先度の高い順は、特徴量Ｚの次元毎の分散の大きい順、特徴量Ｚの次元毎の最大値の大きい順、又は特徴量Ｚの次元毎の最大値と最小値との差が大きい順のうち何れかである、画像処理装置１０。
（付記４）
付記１に記載の画像処理装置１０であって、
操作部１６は、特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元の個別指定を操作者から受け付ける、画像処理装置１０。
（付記５）
付記１乃至４のうち何れか一つに記載の画像処理装置１０であって、
操作部１６は、閾値の指定を操作者から受け付ける、画像処理装置１０。
（付記６）
検査対象３０の少なくとも一部分の画像データＸ１の特徴量Ｚから再構成される再構成画像データＸ２と画像データＸ１との差異と閾値との比較に基づいてコンピュータシステムが検査対象３０の検査を行う画像処理方法であって、
特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元の指定をコンピュータシステムが操作者から受け付けるステップ２０３と、
操作者によって指定された次元の特徴量Ｚから再構成される再構成画像データＸ２を画像データＸ１と対比してコンピュータシステムが表示するステップ２０５と、
操作者によって指定された次元の特徴量Ｚを、再構成画像データＸ２の再構成に用いられる特徴量Ｚとしてコンピュータシステムが設定するステップ２０７と、
を備える画像処理方法。
（付記７）
検査対象３０の少なくとも一部分の画像データＸ１の特徴量Ｚから再構成される再構成画像データＸ２と画像データＸ１との差異と閾値との比較に基づいて検査対象３０の検査を行う画像処理方法をコンピュータシステムに実行させるための画像処理プログラム２０であって、
コンピュータシステムに、
特徴量Ｚの全次元のうち再構成画像データＸ２の再構成に用いられる一部の次元の指定を操作者から受け付けるステップ２０３と、
操作者によって指定された次元の特徴量Ｚから再構成される再構成画像データＸ２を画像データＸ１と対比して表示するステップ２０５と、
操作者によって指定された次元の特徴量Ｚを、再構成画像データＸ２の再構成に用いられる特徴量Ｚとして設定するステップ２０７と、
を実行させる画像処理プログラム２０。
１０…画像処理装置 １１…撮影装置 １２…プロセッサ １３…入出力インタフェース １４…記憶装置 １５…操作部 １６…表示部 ２０…画像処理プログラム ３０…検査対象 ４１…変換部 ４２…設定部 ４３…再構成部 ４４…判定部
Claims (7)
- 検査対象の少なくとも一部分の画像データの特徴量から再構成される再構成画像データと前記画像データとの差異と閾値との比較に基づいて前記検査対象の検査を行う画像処理装置であって、
前記特徴量の全次元のうち前記再構成画像データの再構成に用いられる一部の次元の指定を操作者から受け付ける操作部と、
前記操作者によって指定された次元の前記特徴量から再構成される再構成画像データを前記画像データと対比して表示する表示部と、
前記操作者によって指定された次元の前記特徴量を、前記再構成画像データの再構成に用いられる特徴量として設定する設定部と、
を備える画像処理装置。 - 請求項１に記載の画像処理装置であって、
前記操作部は、前記特徴量の全次元のうち前記再構成画像データの再構成に用いられる一部の次元の個数の指定を前記操作者から受け付け、
前記設定部は、前記特徴量の全次元の中から、予め定められた優先度の高い順に次元毎に選択される前記個数分の次元の特徴量を、前記再構成画像データの再構成に用いられる特徴量として設定する、画像処理装置。 - 請求項２に記載の画像処理装置であって、
前記優先度の高い順は、前記特徴量の次元毎の分散の大きい順、前記特徴量の次元毎の最大値の大きい順、又は前記特徴量の次元毎の最大値と最小値との差が大きい順のうち何れかである、画像処理装置。 - 請求項１に記載の画像処理装置であって、
前記操作部は、前記特徴量の全次元のうち前記再構成画像データの再構成に用いられる一部の次元の個別指定を前記操作者から受け付ける、画像処理装置。 - 請求項１乃至４のうち何れか１項に記載の画像処理装置であって、
前記操作部は、前記閾値の指定を前記操作者から受け付ける、画像処理装置。 - 検査対象の少なくとも一部分の画像データの特徴量から再構成される再構成画像データと前記画像データとの差異と閾値との比較に基づいてコンピュータシステムが前記検査対象の検査を行う画像処理方法であって、
前記特徴量の全次元のうち前記再構成画像データの再構成に用いられる一部の次元の指定を前記コンピュータシステムが操作者から受け付けるステップと、
前記操作者によって指定された次元の前記特徴量から再構成される再構成画像データを前記画像データと対比して前記コンピュータシステムが表示するステップと、
前記操作者によって指定された次元の前記特徴量を、前記再構成画像データの再構成に用いられる特徴量として前記コンピュータシステムが設定するステップと、
を備える画像処理方法。 - 検査対象の少なくとも一部分の画像データの特徴量から再構成される再構成画像データと前記画像データとの差異と閾値との比較に基づいて前記検査対象の検査を行う画像処理方法をコンピュータシステムに実行させるための画像処理プログラムであって、
前記コンピュータシステムに、
前記特徴量の全次元のうち前記再構成画像データの再構成に用いられる一部の次元の指定を操作者から受け付けるステップと、
前記操作者によって指定された次元の前記特徴量から再構成される再構成画像データを前記画像データと対比して表示するステップと、
前記操作者によって指定された次元の前記特徴量を、前記再構成画像データの再構成に用いられる特徴量として設定するステップと、
を実行させる画像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020019519A JP7397404B2 (ja) | 2020-02-07 | 2020-02-07 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020019519A JP7397404B2 (ja) | 2020-02-07 | 2020-02-07 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021125074A JP2021125074A (ja) | 2021-08-30 |
| JP7397404B2 true JP7397404B2 (ja) | 2023-12-13 |
Family
ID=77459573
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020019519A Active JP7397404B2 (ja) | 2020-02-07 | 2020-02-07 | 画像処理装置、画像処理方法、及び画像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7397404B2 (ja) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017049974A (ja) | 2015-09-04 | 2017-03-09 | キヤノン株式会社 | 識別器生成装置、良否判定方法、およびプログラム |
| JP2017097718A (ja) | 2015-11-26 | 2017-06-01 | 株式会社リコー | 識別処理装置、識別システム、識別処理方法、およびプログラム |
| JP2018005773A (ja) | 2016-07-07 | 2018-01-11 | 株式会社リコー | 異常判定装置及び異常判定方法 |
| JP2018116364A (ja) | 2017-01-16 | 2018-07-26 | キヤノン株式会社 | 辞書生成装置、評価装置、辞書生成方法、評価方法及びプログラム |
-
2020
- 2020-02-07 JP JP2020019519A patent/JP7397404B2/ja active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017049974A (ja) | 2015-09-04 | 2017-03-09 | キヤノン株式会社 | 識別器生成装置、良否判定方法、およびプログラム |
| JP2017097718A (ja) | 2015-11-26 | 2017-06-01 | 株式会社リコー | 識別処理装置、識別システム、識別処理方法、およびプログラム |
| JP2018005773A (ja) | 2016-07-07 | 2018-01-11 | 株式会社リコー | 異常判定装置及び異常判定方法 |
| JP2018116364A (ja) | 2017-01-16 | 2018-07-26 | キヤノン株式会社 | 辞書生成装置、評価装置、辞書生成方法、評価方法及びプログラム |
Non-Patent Citations (1)
| Title |
|---|
| 乾 稔，次元削減の再構成誤差を用いた異常検知手法の比較，２００９年度人工知能学会全国大会（第２３回）論文集 ［ＣＤ－ＲＯＭ］，日本，社団法人 人工知能学会，2009年06月19日，P.1-4 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021125074A (ja) | 2021-08-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8660336B2 (en) | Defect inspection system | |
| CN109949305B (zh) | 产品表面缺陷检测方法、装置及计算机设备 | |
| US7545977B2 (en) | Image processing apparatus for analysis of pattern matching failure | |
| CN103207183A (zh) | 外观检查装置和外观检查方法 | |
| US20080281548A1 (en) | Method and System for Automatic Defect Detection of Articles in Visual Inspection Machines | |
| KR20070093046A (ko) | 반도체 제조를 위한 탄력적 혼성 결함 분류 | |
| US6738450B1 (en) | System and method for cost-effective classification of an object under inspection | |
| JP7078175B2 (ja) | 検査装置及び方法 | |
| US5208870A (en) | Image inspection methods and apparatus | |
| JP7453813B2 (ja) | 検査装置、検査方法、プログラム、学習装置、学習方法、および学習済みデータセット | |
| JP2006515472A (ja) | 対話型閾値調整 | |
| JP7397404B2 (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| US7538750B2 (en) | Method of inspecting a flat panel display | |
| CN116778269A (zh) | 一种基于自编码器重构产品表面缺陷检测模型构建方法 | |
| JP2023145412A (ja) | 欠陥検出方法及びシステム | |
| US20220172330A1 (en) | Deep learning based image enhancement for additive manufacturing | |
| KR20220111214A (ko) | 인공지능 기반 제품 결함 검사 방법, 장치 및 컴퓨터 프로그램 | |
| CN113658183B (zh) | 工件质检方法、装置及计算机设备 | |
| JP2021174194A (ja) | 学習用データ処理装置、学習装置、学習用データ処理方法、およびプログラム | |
| WO2022201968A1 (ja) | 情報処理装置、制御プログラム、および制御方法 | |
| JPH06187800A (ja) | 記憶素子の不良モード解析装置 | |
| WO2023166585A1 (ja) | 半導体試験結果分析装置、半導体試験結果分析方法およびコンピュータプログラム | |
| JPH0438457A (ja) | 表面状態検査装置 | |
| JP2023082567A (ja) | システムおよびプログラム | |
| JP2024071122A (ja) | 画像データの管理方法、プログラム及びｘ線検査装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221207 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231026 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231101 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231114 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7397404 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |