JP7444439B2

JP7444439B2 - 欠陥検出分類システム及び欠陥判定トレーニングシステム

Info

Publication number: JP7444439B2
Application number: JP2020038172A
Authority: JP
Inventors: 澄佳有馬; 拓幹辻; 悠斗大沼; 雄介西
Original assignee: University of Tsukuba NUC
Current assignee: University of Tsukuba NUC
Priority date: 2020-03-05
Filing date: 2020-03-05
Publication date: 2024-03-06
Anticipated expiration: 2040-03-05
Also published as: JP2021139769A

Description

本発明は、欠陥検出分類システム及び欠陥判定トレーニングシステムに関する。

製品における欠陥の有無の判定に画像処理が用いられている。深層学習などの機械学習の性能向上により、欠陥の有無を判定する精度も向上している。例えば、特許文献１には、グラビア印刷における不良を検出する技術が記載されている。また、非特許文献１には、検査対象を撮像した画像に含まれる複数の欠陥を検出する技術が記載されている。一方で、製品には複数の種類の欠陥が生じうるため、製品に生じた欠陥を検出するだけでなく、検出された欠陥の種類を分類することが求められている。

国際公開第２０１８／１６７８１４号

Xain Tao et al., "Automatic Metallic Surface Defect Detection and Recognition with Convolutional Neural Networks," Applied Sciences 2018, 8, 1575; doi:10.3390/app8091575, 2018

前述の事情に鑑み、本発明は、検査の対象となる製品などに欠陥の有無と欠陥の種類とを判定できる欠陥検出分類システムと、欠陥検出分類システムを利用した欠陥判定トレーニングシステムとを提供することを目的としている。

本発明の一態様における欠陥検出分類システムは、欠陥の有無が判定される対象を撮像して得られる画像を取得する取得部と、画像に予め定められた複数の種類の欠陥のうち少なくとも一つの欠陥があるか否かを判定して欠陥がある場合に欠陥の位置及び欠陥の種類を出力する学習済みの判定モデルを含み、判定モデルに画像を入力として与えて対象における欠陥の有無、位置及び種類を出力する検出分類部を備える。判定モデルは、複数の種類の欠陥のうち少なくとも一つの欠陥を含む対象の学習画像と学習画像に含まれる欠陥の位置及び欠陥の種類を示すラベルとを含む複数の学習データを用いて、複数の種類の欠陥を学習して得られる。

また、本発明の一態様は、上述の欠陥検出分類システムにおいて、判定モデルにより欠陥を含むと判定された画像のうち、当該欠陥の種類を推定する際の第１候補と第２候補との差が小さい画像を学習画像として含む学習データを判定モデルの学習に用いる複数の学習データに追加する追加学習データ抽出部を備える。

また、本発明の一態様は、上述の欠陥検出分類システムにおいて、学習データは、学習画像に撮像された対象の生成時又は生成前にセンサで得られた計測値と、学習画像に撮像された対象の生成に用いられた材料、治具又は設備と、材料、治具又は設備の状態と、生成に係わった工員との少なくとも一つを示す特徴データを含み、取得部は、画像に撮像された対象の生成時又は生成前にセンサで得られた計測値と、学習画像に撮像された対象の生成に用いられた材料、治具又は設備と、材料、治具又は設備の状態と、生成に係わった工員との少なくとも一つを示す特徴データを取得し、検出分類部は、取得部により取得された特徴データと画像とを入力として判定モデルに与え、対象における欠陥の有無、位置及び種類を出力する。

また、本発明の一態様は、上述の欠陥検出分類システムにおいて、学習データは、学習画像に撮像された対象が良品であるか不良品であるかを示す良否データを含み、判定モデルは、画像に撮像された対象が良品であるか不良品であるかを判定し、欠陥の位置及び欠陥の種類とともに、対象が良品であるか否かを出力する。

また、本発明の一態様は、上述の欠陥検出分類システムにおいて、学習データにおいて、欠陥を含むか不良品と判定された対象の学習画像に対応する特徴データと、欠陥を含まないか良品と判定された対象の学習画像に対応する特徴データとの間に一定以上の差がある特徴データをユーザに提示する特徴量追加部を備える。

また、本発明の一態様は、上述の欠陥検出分類システムにおいて、追加学習データ抽出部は、検出分類部により欠陥があると判定された画像に撮像されている対象が良品であるか不良品であるかに対するユーザの判断結果を良否データとして、画像に対応付けて追加の学習データを生成し、する追加学習データ抽出部を備え、判定モデルは、複数の学習データと、追加の学習データとを用いた学習により更新される。

また、本発明の一態様は、上述の欠陥検出分類システムにおいて、検出分類部により欠陥があると判定された画像に含まれる欠陥の位置及び種類に対するユーザの判断結果に応じて、欠陥の位置及び種類を変更又は削除する欠陥アノテーション部を備える。

また、本発明の一態様は、上述の欠陥検出分類システムにおいて、検出分類部により欠陥があると判定された画像に含まれる欠陥の位置及び種類に対するユーザの判断結果に応じて、欠陥の位置及び種類を変更又は削除し、画像に撮像された対象に対するユーザによる良品であるか不良品であるかの判定結果を割り当てる欠陥アノテーション部を備える。

また、本発明の一態様は、上述の欠陥検出分類システムにおいて、学習画像における欠陥の領域に対して画素ごとにラベルが付けられており、検出分類部は、画像の画素ごとの画素値から他の画素値を算出し、画像の画素それぞれに算出した他の画素値を追加した画像を入力として判定モデルに与える。

また、本発明の一態様は、上述の欠陥検出分類システムにおいて、判定モデルの学習における目的関数としてFocal Lossを用いる。

また、本発明の一態様における欠陥判定トレーニングシステムは、上述の欠陥分類システムにおいて用いられる学習データに含まれる学習画像における欠陥の位置及び種類と、学習画像とを表示し、対象における欠陥の有無、位置及び種類の判定をユーザに教示する表示部を備える。

また、本発明の一態様における欠陥判定トレーニングシステムは、述の欠陥分類システムにおいて用いられる学習データに含まれる学習画像に撮像された対象に対する良否データと、学習画像とを表示し、対象が不良品であるか否かの判定をユーザに教示する表示部を備える。

本発明によれば、検査の対象となる製品などに欠陥の有無と欠陥の種類とを判定することができる。

第１の実施形態における欠陥検出分類システムにおいて判定モデルの学習に係る構成例を示す図である。第１の実施形態において欠陥検出分類システムで使用する判定モデルの学習処理を示すフローチャートである。第１の実施形態における欠陥検出分類システムにおいて欠陥の検出及び分類に係る構成例を示す図である。第２の実施形態における欠陥検出分類システムにおいて判定モデルの学習に係る構成例を示す図である。第２の実施形態において欠陥検出分類システムで使用する判定モデルの学習処理を示すフローチャートである。第２の実施形態における欠陥検出分類システムにおいて欠陥の検出及び分類に係る構成例を示す図である。第３の実施形態における欠陥判定トレーニングシステムの構成例を示す図である。

以下、図面を参照して、実施形態における欠陥検出分類システム及び欠陥判定トレーニングシステムを説明する。なお、以下の実施形態では、同一の符号を付した構成要素は同様の動作を行うものとして、重複する説明を適宜省略する。

［第１の実施形態］
以下に説明する欠陥検出分類システムは、検査の対象となる製品を撮像システムで撮像して得られた画像を入力し、画像に撮像された製品に欠陥があるか否かを判定するとともに、欠陥の位置及び欠陥の種類を検出結果として出力する。欠陥検出分類システムは、欠陥の有無の判定及び欠陥の種類の推定に、機械学習で得られた学習済みの判定モデルを利用する。第１の実施形態では、グラビア印刷で得られた印刷物を製品の一例として欠陥検出分類システムを説明する。

まず、欠陥検出分類システムで使用する判定モデルの学習について説明する。図１は、第１の実施形態における欠陥検出分類システム１において判定モデルの学習に係る構成例を示す図である。欠陥検出分類システム１は、学習画像記憶部１１、欠陥候補抽出部１２、表示部１３、操作受付部１４、欠陥アノテーション部１５、学習データ記憶部１６、取得部１７、検出分類部１８、誤差算出部１９、パラメータ更新部２０及びモデルパラメータ記憶部２１を備える。

学習画像記憶部１１は、判定モデルの学習に用いる複数の学習画像を記憶している。学習画像は、欠陥を検出する対象となる印刷物を撮像して得られる画像である。複数の学習画像には、検出すべき欠陥を含む学習画像が一定数以上含まれることが好ましい。検出すべき欠陥の種類は予め定められており、欠陥の種類に対して一意に識別できるラベルが対応付けられている。検出すべき欠陥の種類及び対応付けられたラベルが、欠陥種類の定義データとして与えられている。定義データには、欠陥に該当しないことを示すラベルも含まれる。また、学習画像には、複数の同じ欠陥が含まれていてもよいし、異なる欠陥が含まれていてもよい。また、学習画像として、欠陥が含まれていない画像が学習画像記憶部１１に記憶されていてもよい。

なお、定義データの作成は、検査責任者からの聞き取り調査と、関連書籍などからの専門知識とに基づいて行ってもよい。印刷物における欠陥の検出及び分類を行った際に表れた欠陥に基づいて、定義データを更新してもよい。

欠陥候補抽出部１２は、領域抽出部１２１と候補絞込部１２２とを備える。領域抽出部１２１は、学習画像記憶部１１に記憶されている学習画像ごとに、欠陥が表れていると推定される欠陥候補の領域を抽出する。候補絞込部１２２は、領域抽出部１２１により抽出された欠陥候補の領域から、欠陥が表れている可能性が高いと推定される領域を選択し、欠陥候補を絞り込む。候補絞込部１２２は、絞り込んだ欠陥候補の領域を示す候補データと、学習画像とを表示部１３及び欠陥アノテーション部１５へ供給する。例えば、領域抽出部１２１は、Ｑｕｏｉｔフィルタを用いて、学習画像から欠陥候補の領域を抽出する。候補絞込部１２２は、ＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）を用いて、欠陥候補の領域ごとに欠陥らしさを判定して領域を絞り込む。

領域抽出部１２１は、学習画像から欠陥候補の領域を抽出する際に、学習画像と、学習画像を反転した画像との２つの画像を用いる。Ｑｕｏｉｔフィルタは、白色などの周囲より画素値が大きい領域の検出に適しているため、周囲より画素値が小さく輝度が低い領域の検出に不向きである。そのため、反転した画像もＱｕｏｉｔフィルタの入力とすることで、周囲の画素より高い輝度を有する欠陥候補と、周囲の画素より低い輝度を有する欠陥候補とをともに検出できる。

また、領域抽出部１２１で用いられるＱｕｏｉｔフィルタのパラメータは以下の手法を用いて最適化されている。本実施形態におけるＱｕｏｉｔフィルタの最適性は、式（１）で表されるＦ値と、式（２）で表される位置ずれの程度を示すＬＬ値とで定義している。
Ｆ＝２／（（１／Precision）＋（１／Recall）），Precision＝Ｒ／Ｎ，
Recall＝Ｒ／Ｃ …（１）
ＬＬ＝Ｄ（Ｘ－ｇ_ｉ）Ｒ≠０の場合、値なしＲ＝０の場合 …（２）

式（１）におけるＲは、正しく認識できた物体の数を表す。Ｎは、検出した領域の数を表す。Ｃは、画像における物体の数を表す。ただし、Ｒ＝０の場合にＦ＝０とする。また、式（２）におけるＸは、画像における欠陥候補の座標を表す。ｇ_ｉは、抽出された領域の重心座標を表す。Ｄ（・）は、ユークリッド距離を求める関数である。

上述のＦ値とＬＬ値とを用いた最適化アルゴリズムで、Ｑｕｏｉｔフィルタのパラメータの最適値を予め算出する。最適化アルゴリズムは、例えば、Ｑｕｏｉｔフィルタのパラメータそれぞれが取り得る値の全ての組み合わせそれぞれの最適性を評価し、最も好ましいパラメータを選択する手法である。

Ｑｕｏｉｔフィルタのパラメータとして、Ｄｉｌａｔｉｏｎの回数を表す”ｄｉｌ”と、Ｄｉｌａｔｉｏｎのカーネルサイズを表す”ｋｅｒｎｅｌ”と、Ｒｉｎｇフィルタの外径及びＤｉｓｋフィルタの半径を表す”Ｒ１”と、Ｒｉｎｇフィルタの内径を表す”Ｒ２”とがある。

これら４つのパラメータを最適化するにあたり、異なる７種の製品のサンプルを撮像した画像（各サンプルにつき４２枚）から欠陥を含む画像を１枚ずつ選択し、選択した画像と当該画像を反転した画像とに対してＦ値とＬＬ値とを算出して、反転していない通常の画像に対するパラメータセットと、反転した画像に対するパラメータセットとを取得した。最適化されたパラメータセットの一例は以下の通りである。

通常の画像に対するパラメータセット（ｄｉｌ，ｋｅｒｎｅｌ，Ｒ１，Ｒ２，Ｆ，ＬＬ）＝（３，２，１，２５，０．０５４６，７．００２９）
反転画像に対するパラメータセット（ｄｉｌ，ｋｅｒｎｅｌ，Ｒ１，Ｒ２，Ｆ，ＬＬ）＝（２，２，１，５，０．００２０８７０２，１３．９０６０８２１）

候補絞込部１２２に用いるＣＮＮとして、例えば、１０層のＣＮＮを用いることができる。このＣＮＮは、２２７×２２７の大きさを有する画像を入力とし、欠陥に該当するか否かの二値を出力とする。候補絞込部１２２は、欠陥候補の領域を含む同じ大きさの部分画像を学習画像から切り出してＣＮＮに与えてもよいし、欠陥候補の領域を含む所定サイズの部分画像を学習画像から切り出し、ＣＮＮの入力と同じ大きさの画像に変換してＣＮＮに与えてもよい。欠陥候補の領域を切り出す部分画像のサイズとして、５０×５０、１００×１００、１５０×１５０のいずれかを用いてもよい。

切り出した部分画像の大きさを変換する際には、各画素値の補間方法として、４つの方法のいずれかが用いられる。１つ目の方法は、追加した画素の最近傍にある画素の画素値を追加した画素の画素値にする。２つ目の方法は、追加した画素と近傍にある画素との距離に応じた重みによって近傍にある画素の画素値を線形加算し、算出結果を追加した画素の画素値にする。３つ目の方法は、追加した画素の近傍１６画素の加重平均を算出し、算出結果を追加した画素の画素値にする。４つ目の方法は、追加した画素の周辺２ｎ×２ｎ個の画素に対し、ｓｉｎｃ関数を適用して算出した結果を追加した画素の画素値にする。

部分画像を切り出すサイズと、部分画像の大きさを変換する際の補間方法との組み合わせについても、Ｑｕｏｉｔフィルタのパラメータを最適化した場合と同様に、サンプルに対する判定精度を測定して、最適な切り出しサイズと補間方法との組み合わせが予め定められる。

本実施形態の欠陥候補抽出部１２では、ＱｕｏｉｔフィルタとＣＮＮとを組み合わせて欠陥候補の領域を抽出することにより、１０層程度のＣＮＮを用いた場合であっても欠陥候補の検出精度を高めている。欠陥候補抽出部１２は、候補データとして、欠陥候補ごとに領域の重心座標と領域の輪郭部分にあたる各画素の座標の集合とを含むリストを表示部１３と欠陥アノテーション部１５とへ供給してもよい。

表示部１３は、欠陥候補抽出部１２から供給される候補データと学習画像とを受け付け、候補データが示す領域と学習画像とを表示する。例えば、表示部１３は、候補データが示す領域それぞれを学習画像に重畳して表示してもよいし、領域を含む矩形又は所定の形状を学習画像に重畳して表示してもよい。表示部１３は、候補データが示す領域が、ユーザに視認されやすいように、候補データが示す領域を特定の色で塗りつぶしたり、学習画像とのコントラストを大きくして領域を表示したり、学習画像で用いられている色に対する補色を用いて領域を表示したり、欠陥候補の領域を拡大して表示したりしてもよい。

また、表示部１３は、欠陥候補の領域に対して、ユーザが選択する欠陥の種類を表示する。欠陥の種類として、例えば、「版かぶり」、「ツーツー汚れ」、「ドクター線（筋）」、「インキ抜け」、「インキはね」、「インキ流れ」、「フィッシュアイ」などが表示される。表示部１３に表示される欠陥の種類は、定義データとして与えられる。表示部１３に表示される欠陥の種類は、学習データにおける出現頻度順、あるいは印刷物における欠陥の検出及び分類を行った際の出現頻度順で表示されていてもよい。

操作受付部１４は、ユーザの操作を受け付け、受け付けた操作を欠陥アノテーション部１５へ供給する。操作受付部１４として、マウスやタッチパネル、キーボードなどが用いられる。ユーザが利用するデバイスがタブレット型コンピュータやラップトップ型コンピュータなどである場合、表示部１３と操作受付部１４とが一つの装置として、欠陥検出分類システム１に備えられる。操作受付部１４は、表示部１３に表示される領域ごとに、欠陥であるか否かの判断結果と、領域が欠陥である場合に欠陥の種類とを選択するユーザの操作を受け付ける。なお、一つの領域に対して複数の欠陥の種類が選択されてもよい。判断と選択とは、製品である印刷物における欠陥に対して一定の知識及び経験を備える熟練者が行うことが好ましい。また、欠陥候補の領域の領域に対する欠陥の種類を選択する手法として、欠陥の種類それぞれに対応するチェックボックス又はラジオボタンを用いてもよい。

また、操作受付部１４は、表示部１３に示される領域以外の領域を選択するユーザの操作を受け付け、当該領域に対する欠陥の種類を選択する操作を受け付けてもよい。例えば、ユーザは、表示部１３に表示されている学習画像上に線を描いたり、領域を塗りつぶしたりして、欠陥が表れている領域を選択してもよい。すなわち、欠陥候補抽出部１２により抽出されていない領域であっても、欠陥が表れている領域とその種類とを選択する操作を受け付けてもよい。領域の選択は、タッチペンやタッチパネルを用いて画像上における領域を指定してもよいし、任意の大きさの矩形を画像上に配置して領域を指定してもよい。また、操作受付部１４は、欠陥の有無又は欠陥の種類を判定する画像として不適当と判断される学習画像に対するユーザの操作として、当該学習画像を判定モデルの学習対象からの除外を示す操作を受け付けてもよい。

表示部１３は、操作受付部１４が受け付けたユーザの操作結果に応じた表示を行ってもよい。例えば、欠陥候補の領域のうち真の欠陥としてユーザに真の欠陥として選択（クリックやタッチ）された座標を中心に任意の幅で囲まれた矩形内に、候補データとしてのリストとにある領域の重心が含まれる欠陥候補を特定する。特定された欠陥候補の領域の輪郭部分にあたる各画素の座標の集合と、選択された座標との最小二乗距離で半径ｒを算出し、選択された座標を中心とする半径ｒの円を、学習画像に重畳して表示部１３に表示してもよい。ユーザは、表示部１３表示された円と学習画像に表れる欠陥とを見比べて、欠陥が適切に円に含まれている場合、当該円を欠陥の領域として選択する。欠陥が適切に円に含まれていない場合、ユーザは、欠陥の領域を直接選択する操作をしてもよい。

欠陥アノテーション部１５は、表示部１３に表示された学習画像を欠陥候補抽出部１２から取得するとともに、当該学習画像に対するユーザの操作を示すアノテーションデータを操作受付部１４から取得する。欠陥アノテーション部１５は、ユーザが欠陥であると判断した領域ごとに欠陥の種類を一意に特定するラベルを割り当てることで、学習画像と欠陥の位置と欠陥の種類を示すラベルとを含む学習データを生成する。学習画像に対するラベルの割り当ては、画素ごとに行われる。なお、ユーザにより一つの領域に対して複数の欠陥の種類が選択された場合には、選択された欠陥の種類それぞれのラベルが領域に含まれる各画素に割り当てられる。欠陥アノテーション部１５は、欠陥に対応する画素以外の画素、すなわち、正常な画素に対して欠陥に該当しないことを示すラベルを割り当てる。欠陥アノテーション部１５は、生成した学習データを学習データ記憶部１６に記憶させる。なお、欠陥アノテーション部１５は、学習画像を学習対象から除外する操作を操作受付部１４から取得した場合、当該学習画像を学習データ記憶部１６に記憶させずに、当該学習画像が不適当であることを撮像システムへフィードバックしてもよい。

学習データ記憶部１６は、学習画像記憶部１１に記憶されている学習画像それぞれに対応する学習データを記憶する。

取得部１７は、学習データ記憶部１６に記憶されている学習データを取得し、学習データに含まれる学習画像を検出分類部１８へ供給し、学習データに含まれる欠陥の位置及び種類を誤差算出部１９へ供給する。

検出分類部１８は、入力として与えられる画像における欠陥の位置と欠陥の種類とを推定する判定モデルを備える。判定モデルとして、入力される画像における全画素にラベルを対応付けるセマンティックセグメンテーションを実行する機械学習モデルが用いられる。画像を入力して画像に含まれる特徴量を抽出するＣＮＮをデコーダとして備え、デコーダと対称な構造を有するＣＮＮをエンコーダとして備えるＳｅｇＮｅｔや、ＰＳＰＮｅｔ、Ｕ－Ｎｅｔなどが判定モデルとして用いられる。判定モデルには、過学習の抑制や計算時間の短縮のために、ドロップアウト層が設けられる。ドロップアウト率には、例えば、０．０１が設定される。ＳｅｇＮｅｔや、ＰＳＰＮｅｔ、Ｕ－ＮｅｔなどにおいてＶＧＧ１６を適用してもよい。また、検出分類部１８は、判定モデルとして、ＳｅｇＮｅｔ、ＰＳＰＮｅｔ、Ｕ－Ｎｅｔそれぞれを備え、各ネットワークの出力を組み合わせてもよい。組み合わせる場合は、多数決にて各画素に対応付けるラベルを決定してもよいし。欠陥の種類ごとに採用する出力を予め定めてもよい。

検出分類部１８は、学習画像における画素ごとの赤、緑及び青それぞれの画素値を用いて４番目の画素値を算出し、各画素に４番目の画素値を追加する。検出分類部１８は、４番目の画素値として、例えば、グレースケールの画素値を用いる。この場合、次の変換式を用いてもよい。グレースケールの画素値を追加することで学習画像における色差が強調される。
wideRGB＝Clip(α×(RGBvalue)^γ＋β，[0,255]) …（３）
GRvalue＝0.3×wideRed＋0.59×wideGreen＋0.11×wideBlue …（４）
検出分類部１８は、式（３）で赤、緑及び青それぞれの画素値（RGBvalue）を補正し、０から２５５までの範囲に正規化する。更に、式（３）で得られた赤、緑及び青それぞれ補正値を式（４）変換し、グレースケールの画素値（GRvalue）を算出する。式（３）におけるα、β、γそれぞれとして４、－４５０、３を用いてもよい。検出分類部１８は、グレースケールの画素値に代えて、画像に表れる欠陥を強調できる画素値を４番目の画素値として追加してもよい。

検出分類部１８は、学習画像を判定モデルの入力としたときに判定モデルから得られる欠陥についての推定結果を誤差算出部１９へ供給する。推定結果は、学習画像の画素ごとに欠陥の有無と欠陥の種類を示すラベルを含むデータである。画素ごとに欠陥の種類を示すラベルが得られるため、欠陥の位置が特定できる。

誤差算出部１９は、学習データに含まれる欠陥の位置及び種類と、推定結果に含まれる欠陥の位置及び種類との差を誤差として算出する。誤差算出部１９は、算出した誤差をパラメータ更新部２０へ供給する。

パラメータ更新部２０は、誤差算出部１９から供給される誤差に基づいて、判定モデルの各重みパラメータを更新する。パラメータ更新部２０は、目的関数としてFocal Lossを用いて、判定モデルの各重みパラメータを更新する。重みパラメータの更新である学習は、学習データごとに行われる。

モデルパラメータ記憶部２１は、学習データを用いた判定モデルの学習が終了した後の判定モデルの各重みパラメータを記憶する。モデルパラメータ記憶部２１に記憶されている各重みパラメータを判定モデルに設定することで、学習済みの判定モデルが得られる。

図２は、第１の実施形態において欠陥検出分類システム１で使用する判定モデルの学習処理を示すフローチャートである。欠陥検出分類システム１において学習処理が開始されると、学習画像記憶部１１に記憶されている学習画像を用いて学習データを生成する各動作（ステップＳ１０１～Ｓ１０７）が学習画像ごとに行われる。

欠陥検出分類システム１において、領域抽出部１２１は、学習画像記憶部１１に記憶されている学習画像を取得する（ステップＳ１０１）。領域抽出部１２１は、Ｑｕｏｉｔフィルタを用いて、学習画像から欠陥候補を含む領域を抽出する（ステップＳ１０２）。候補絞込部１２２は、領域抽出部１２１により抽出された領域ごとに対応する部分画像を学習画像から切り出し、部分画像に対する欠陥らしさを判定して領域を絞り込む（ステップＳ１０３）。候補絞込部１２２は、部分画像に欠陥が含まれている可能性が一定以下である場合、当該部分画像に対応する領域を欠陥候補の領域から除外する。

表示部１３は、候補絞込部１２２により絞り込まれた欠陥候補の領域と、学習画像とを表示する（ステップＳ１０４）。操作受付部１４は、表示部１３に表示された欠陥候補の領域ごとに、欠陥候補の真偽を選択するするユーザの操作を受け付け、欠陥候補が真の欠陥である場合には欠陥の種類を選択するユーザの操作を更に受け付ける（ステップＳ１０５）。欠陥アノテーション部１５は、操作受付部１４により受け付けられた操作が示す欠陥の有無及び種類に対応するラベルを学習画像における欠陥候補の領域それぞれに割り当て、学習データを生成する（ステップＳ１０６）。欠陥アノテーション部１５は、ラベルの割り当てにより欠陥の位置及び種類を示すラベルと学習画像とを含む学習データを学習データ記憶部１６に記憶させる（ステップＳ１０７）。

なお、表示部１３は、ステップＳ１０４において、候補絞込部１２２により絞り込まれた欠陥候補の領域すべてを表示せずに、学習画像上においてユーザが選択した座標に最も近い重心を有する欠陥候補の領域を表示するようにしてもよい。操作受付部１４は、座標が選択された後に表示部１３に表示される欠陥候補の領域に対するユーザの操作を受け付けてもよい。

また、操作受付部１４が、学習画像上の領域を選択するユーザの操作を受け付け、領域抽出部１２１が、当該領域に対して、欠陥候補を含む領域の抽出と欠陥候補の絞り込みとを行った後に、ステップＳ１０４～Ｓ１０７が行われてもよい。

欠陥検出分類システム１において上述した各動作（ステップＳ１０１～Ｓ１０７）が行われ、複数の学習データを含む学習データセットが生成されると、判定モデルを学習させる各動作（ステップＳ２０１～Ｓ２０４）が学習データごとに行われ、学習データセットに対する学習回数が所定回数に達するまで繰り返される。なお、学習の終了条件として、学習回数以外の条件を用いてもよい。

欠陥検出分類システム１において、取得部１７は、学習データ記憶部１６から学習データを取得する（ステップＳ２０１）。検出分類部１８は、取得部１７により取得された学習データに含まれる学習画像に対して画素ごとに４番目の画素値を追加して判定モデルに入力として与え、学習画像における欠陥の位置及び種類を示す推定結果を判定モデルから取得する（ステップＳ２０２）。

誤差算出部１９は、取得部１７により取得された学習データに含まれる欠陥の位置及び種類と、判定モデルによる推定結果に含まれる欠陥の位置及び種類との差を誤差として算出する（ステップＳ２０３）。パラメータ更新部２０は、誤差算出部１９により算出された誤差に基づいて、判定モデルの各重みパラメータを更新する（ステップＳ２０４）。

検出分類部１８は、学習の終了条件が満たされると、判定モデルの各重みパラメータをモデルパラメータ記憶部２１に記憶させ（ステップＳ２０５）、判定モデルの学習処理を終了させる。上記の学習処理が行われることにより、画像に撮像された印刷物（対象）における欠陥があるか否かの判定し、欠陥があると判定した位置と欠陥の種類とを推定結果として出力する判定モデルが得られる。

つぎに、欠陥検出分類システム１において学習済みの判定モデルを用いた欠陥の検出及び分類について説明する。図３は、第１の実施形態における欠陥検出分類システム１において欠陥の検出及び分類に係る構成例を示す図である。欠陥検出分類システム１は、図１に示した構成に加えて、表示部２２、検出結果記憶部２３、中間データ記憶部２４及び追加学習データ抽出部２５を備える。

欠陥検出分類システム１において印刷物における欠陥の検出及び分類を行う場合、検出分類部１８は、学習処理により得られた判定モデルの各重みパラメータをモデルパラメータ記憶部２１から読み出す。検出分類部１８は、読み出した各重みパラメータを判定モデルに設定する。取得部１７は、撮像システムが印刷物を撮像して得られた画像を取得し、取得した画像を検出分類部１８へ供給する。検出分類部１８は、取得部１７から供給される画像における画素ごとに４番目の画素値を追加し、画素ごとに４つの画素値を有する画像を入力として判定モデルに与える。

欠陥の検出及び分類を行う場合、検出分類部１８は、判定モデルに対してモンテカルロドロップアウトを適用し、判定モデルが出力する推定結果にばらつきを発生させる。検出分類部１８は、一つの画像に対して所定回数の推定結果を判定モデルから取得する。検出分類部１８は、所定回数に亘る推定結果のうち最頻のラベルを画素ごとに特定し、特定したラベルを当該画素に対する欠陥の有無及び欠陥の種類として決定する。検出分類部１８は、画素それぞれに対して決定したラベルを含む検出結果と、印刷物を撮像して得られた画像とを表示部２２に表示させる。なお、ラベルには同一画素に複数の欠陥を含むことを示すラベルが用いられてもよい。例えば、最も多く得られたラベルの欠陥と、２番目に多く得られたラベルの欠陥との組み合わせを示すラベルが画素に対応付けられる。

表示部２２は、検出結果に含まれる欠陥の位置及び種類を示す像を印刷物の画像に重畳して表示してもよいし、欠陥の位置及び種類を示す画像と印刷物の画像とを並べて表示してもよい。また、同一画素に複数の欠陥種別が含まれることを表示してもよい。印刷物を撮像して得られた画像に欠陥が含まれていない場合、表示部２２には欠陥の位置及び種類を示す像が表示されずに、印刷物を撮像して得られた画像が表示される。

検出分類部１８は、検出結果を表示部２２に表示させるとともに、印刷物を撮影した画像と検出結果とを対応付けて検出結果記憶部２３に記憶させる。また、検出分類部１８は、検出結果を得る際に一つの画像に対して得られた複数の推定結果を集計した中間データを中間データ記憶部２４に記憶させる。中間データは、一つの画像に対する複数の推定結果において得られた各ラベルの頻度を画素ごとに示す。検出分類部１８は、中間データに対して、検出結果記憶部２３に記憶される画像及び検出結果との対応が一意に識別できる識別コードを付与して中間データ記憶部２４に記憶させる。

追加学習データ抽出部２５は、中間データ記憶部２４に記憶されている中間データそれぞれに対して、最頻のラベルと２番目の頻度のラベルとの差を画素ごとに算出する。すなわち、追加学習データ抽出部２５は、欠陥の種類の推定における第１候補の欠陥と第２候補の欠陥との確からしさの差を画素ごとに算出する。追加学習データ抽出部２５は、算出したラベル間の差が予め定められた閾値より小さい画素の数を中間データごとに算出する。例えば、一つの画像に対して判定モデルが２０回の推定を行う場合、閾値として１０を設定してもよい。すなわち、推定回数の半分以上において同じ結果が得られない画素の数が中間データごとに計数される。

追加学習データ抽出部２５は、算出した画素数を中間データに対応する画像における非背景領域の画素数で除算して得られる値を評価値として取得する。非背景領域は、例えば、欠陥を表す画素として推定された画素で表される領域である。追加学習データ抽出部２５は、評価値が一定値以下となる中間データに対応する画像及び検出結果を検出結果記憶部２３から読み出し、読み出した画像及び検出結果を追加の学習データとして学習データ記憶部１６に記憶させる。また、追加学習データ抽出部２５は、読み出した画像を学習画像記憶部１１に記憶させ、学習データを生成する対象に追加する。上述のように算出された評価値を用いることにより、「フィッシュアイ」や「インキはね」などの小さい欠陥を含む画像を学習データに加えることができる。

また、欠陥アノテーション部１５は、追加学習データ抽出部２５により追加された学習データに関して、画像及び検出結果を表示部１３に表示させ、検出結果に含まれる欠陥の位置及び種類に対する確認をユーザに促してもよい。この場合、操作受付部１４は、表示された欠陥の位置及び種類を変更又は削除するユーザの操作を受け付け、欠陥アノテーション部１５は、ユーザの操作（判断結果）に応じて、追加された学習データを更新してもよい。

欠陥検出分類システム１は、学習済みの判定モデルを用いて画像における欠陥の検出及び欠陥の分類を行いつつ、判定モデルによる推定精度の向上に寄与する可能性が高い画像を追加の学習データとして取得する。欠陥検出分類システム１は、追加された画像又は学習データを用いて、図２で示した学習処理を再度行うことで判定モデルを更新する。このように、欠陥検出分類システム１は、事前に与えられた学習画像に対して判定モデルを学習させるだけでなく、学習済みの判定モデルを用いた欠陥の検出及び分類の対象となる画像から追加の学習に適した画像を抽出し、判定モデルに追加の学習を行わせる。

以上説明したように、第１の実施形態における欠陥検出分類システム１は、印刷物などの検査対象を撮像して得られた画像に対して、予め定められた複数の種類の欠陥それぞれの有無と検出した欠陥の種類とを推定する学習済みの判定モデルを適用することにより、検査の対象となる印刷物における欠陥の有無と欠陥の種類とを判定することができる。

また、欠陥検出分類システム１は、学習画像における欠陥候補の領域をユーザに提示するので、操作受付部１４に対する操作、例えばマウスのクリックや、タッチパネル又はタッチペンによるタッチなどの単純な操作で学習データを作成でき、学習データを用意するユーザの負担を軽減できる。また、学習画像における欠陥の種類も併せてユーザに提示するので、複数種類の欠陥を含む学習データを用意する負担を更に軽減できる。

また、欠陥検出分類システム１は、欠陥の検出及び分類を行う過程で学習データを追加することにより、欠陥が含まれる画像を充分に用意できない場合であっても、欠陥の検出及び分類の精度を向上させることができる。また、学習データを用意するユーザの負担を軽減できる。また、追加学習データ抽出部２５が判定モデルによる欠陥の分類が難しい画像を中間データに基づいて抽出して学習データに追加することにより、欠陥を分類する精度を向上させることができる。

また、欠陥検出分類システム１は、判定モデルの学習、並びに欠陥の検出及び分類を行う際に、画像に対して赤、緑及び青以外のグレースケールの画素値を追加することにより、画像上に表れる欠陥と周囲との色差が小さい場合であっても精度よく検出することができる。また、学習データを作成する際に反転画像を用いることにより、欠陥と判定すべき特徴を効率的に判定モデルに学習させることができ、欠陥の検出精度を向上させることができる。

また、欠陥検出分類システム１は、判定モデルの学習において、Focal Lossを目的関数に用いることにより、欠陥の領域が微小である（画素が少ない）場合や、欠陥が淡く表れている（色差が小さい）場合においても、欠陥を学習モデルによく学習させることができ、欠陥の種類を分類する精度を向上させることができる。

また、欠陥検出分類システム１は、追加する学習データに対してユーザ（熟練者）の判断結果を反映させることにより、熟練者の知識及び経験を反映させた学習を判定モデルにさせることができる。

［第２の実施形態］
製品に対する良品であるか不良品であるかの良否判定において、製品に欠陥が検出された場合であっても、欠陥の位置や、欠陥の数、欠陥の組み合わせによっては、製品を良品と判断することがある。このような判断は、製品における欠陥を検出したり、欠陥を分類したりする処理では不充分であることがある。第２の実施形態では、このような製品に対する良品／不良品の判断を行える欠陥検出分類システムを説明する。また、第２の実施形態では、合成樹脂を射出形成して製造される樹脂成形品を製品の一例として欠陥検出分類システムを説明する。樹脂成形品の検査では、樹脂成形品の中央付近にキズなどの欠陥が一つでもある場合には不良品と判断するが、周辺部に欠陥がある場合には良品と判断することがある。第２の実施形態の欠陥検出分類システムは、このような判断を学習できるシステムである。

図４は、第２の実施形態における欠陥検出分類システム１Ａにおいて判定モデルの学習に係る構成例を示す図である。欠陥検出分類システム１Ａは、学習画像記憶部１１、欠陥候補抽出部１２、表示部１３、操作受付部１４、欠陥アノテーション部１５、学習データ記憶部１６、取得部１７、検出分類部１８、誤差算出部１９、パラメータ更新部２０、モデルパラメータ記憶部２１、製造データ記憶部３１及び特徴量追加部３２を備える。第１の実施形態と異なる構成について説明し、同じ構成については重複する説明を省略する。

操作受付部１４は、表示部１３に表示される領域それぞれに対して、欠陥であるか否かの判断結果と欠陥の種類とを選択するユーザの操作に加えて、表示部１３に表示されている樹脂成形品が良品であるか不良品であるかを選択するユーザの操作を受け付ける。欠陥アノテーション部１５は、学習画像の各画素に対してラベルを割り当てるとともに、学習画像に対して良品であるか不良品であるかを示す良否データを割り当てる。すなわち、欠陥アノテーション部１５は、学習画像と、欠陥の位置及び種類を示すラベルと、良否データとを含む学習データを学習データ記憶部１６に記憶させる。

製造データ記憶部３１は、学習画像記憶部１１に記憶されている学習画像ごとに、学習画像に撮像されている樹脂成形品が製造（生成）されたとき又は製造前にセンサで計測された計測値と、製造に用いられた材料、治具及び設備とそれらの状態とを示す製造データを記憶している。計測値は、例えば、樹脂成形品の製造時又は製造前の製造環境を示す値、温度、湿度、照度、気圧、音の大きさ（音圧）、製造装置又は周囲に生じる加速度、揮発性有機化合物や二酸化炭素の濃度などである。また、計測値は、製造時又は製造前における変化を表す時系列の値であってもよい。材料の状態は、例えば、材料（樹脂）の温度や粘度などであり、治具及び設備の状態は、樹脂の射出圧や射出速度などである。なお、検査対象が第１の実施形態において例示した印刷物である場合、材料の状態は、インキの温度や粘度などであり、治具及び設備の状態は、印刷速度やドラムなどの設備部品の回転数などである。また、製造データは、樹脂成形品の製造に係わった工員を示す情報を含んでもよい。製造データは、学習画像記憶部１１に記憶されている学習画像との対応を一意に識別できる識別コードが付与されている。

特徴量追加部３２は、学習データ記憶部１６に記憶されている学習データにおいて、良品であることを示す良否データを含む学習データに対応する製造データを製造データ記憶部３１から取得する。特徴量追加部３２は、不良品であることを示す良否データを含む学習データに対応する製造データを製造データ記憶部３１から取得する。特徴量追加部３２は、良品に対応する製造データと不良品に対応する製造データとにおいて一定以上の差がある計測値、材料、治具又は設備とそれらの状態などの因子、あるいはそれらの交互作用項を特定する。製造データにおける一定以上の差として、例えば、良品と不良品との間における計測値、材料、治具及び設備とそれらの状態の分布の偏り、数値の差などを用いてもよい。有意な特徴量の単体および交互作用の因子項目の特定には、分散分析や多変量統計解析、スパースモデリングなどの特徴量抽出手法、あるいは、factorization machinesなどの予測手法を用いてもよい。

特徴量追加部３２は、計測値と、材料、治具又は設備と、材料、治具又は設備の状態とから特定した項目の値を示す特徴データを製造データから取得し、取得した特徴データに対応する学習画像を含む学習データごとに追加する。すなわち、特徴量追加部３２は、不良品と判断される樹脂成形品が製造される原因となる可能性が高い項目の値又はそれらの組み合わせ（交互作用項）を示す特徴データを各学習データに追加する。また、特徴量追加部３２は、良品に対応する製造データと不良品に対応する製造データとの比較に代えて、欠陥を含む画像に対応する製造データと欠陥を含まない画像に対応する製造データとの比較に基づいて、特徴データとして学習データに追加する項目を特定してもよい。

また、特徴量追加部３２は、学習データと製造データとを対応付けて表示部１３に表示させ、学習データに追加する特徴データをユーザに選択させてもよい。特徴量追加部３２は、選択された特徴データを示す情報を操作受付部１４から取得し、取得した情報が示す計測値、材料、治具、設備又はそれらの状態を示す特徴データを製造データから取得し、取得した特徴データを学習データ記憶部１６に記憶されている学習データそれぞれに追加する。特徴量追加部３２は、特徴データとして学習データに追加した項目を、表示部１３を介してユーザに提示してもよい。不良品又は欠陥の発生との関係性が高いと推定される項目又はそれらの組み合わせをユーザに提示することで、不良品又は欠陥を発生させる実験の条件の選定に利用できる。例えば、提示された項目を利用して意図的に製品に欠陥を発生させることで、通常では得られにくい欠陥の学習データを収集することができる。

第２の実施形態における判定モデルは、学習画像又は画像に加えて、特徴データを入力として受け付ける。なお、判定モデルの出力としての推定結果は、学習画像の画素ごとに欠陥の有無と欠陥の種類を示すラベルと、良品であるか否かを示すデータを含む。

図５は、第２の実施形態において欠陥検出分類システム１Ａで使用する判定モデルの学習処理を示すフローチャートである。図２に示した第１の実施形態における学習処理と異なる動作について説明し、同じ動作については重複する説明を省略する。欠陥検出分類システム１Ａにおいて学習処理が開始されると、学習画像記憶部１１に記憶されている学習画像を用いて学習データを生成する各動作（ステップＳ１０１～Ｓ１０７Ａ）が学習画像ごとに行われる。

ステップＳ１０１からステップＳ１０４までの動作は、第１の実施形態における動作と同じである。操作受付部１４は、表示部１３に表示された欠陥候補の領域ごとに、欠陥候補の真偽と欠陥の種類とを選択するユーザの操作と、樹脂成形品が良品であるか不良品であるかを選択するユーザの操作とを受け付ける（ステップＳ１０５Ａ）。欠陥アノテーション部１５は、操作受付部１４により受け付けられた操作が示す欠陥の有無及び種類に対応するラベルを学習画像における欠陥候補の領域それぞれに割り当てるとともに、良品であるか不良品であるかを示す良否データを学習画像に割り当て、学習データを生成する（ステップＳ１０６Ａ）。欠陥アノテーション部１５は、ラベルの割り当てにより欠陥の位置及び種類を示すラベル、良否データ及び学習画像を含む学習データを学習データ記憶部１６に記憶させる（ステップＳ１０７Ａ）。

欠陥検出分類システム１Ａにおいて各動作（ステップＳ１０１～Ｓ１０７Ａ）が行われ、複数の学習データを含む学習データセットが生成されると、特徴量追加部３２は、学習データ記憶部１６に記憶されている学習データに基づいて学習データに追加する項目を特定し、特定した項目を示す特徴データをその製造工程に起因する（ステップＳ３０１）。

欠陥検出分類システム１Ａにおいて、学習データ記憶部１６に記憶されている学習データそれぞれに特徴データが追加されると、判定モデルを学習させる各動作（ステップＳ２０１～Ｓ２０４）が学習データごとに行われ、学習データセットに対する学習回数が所定回数に達するまで繰り返される。なお、学習の終了条件として、学習回数以外の条件を用いてもよい。

ステップＳ２０１、Ｓ２０３及びＳ２０４の動作は、第１の実施形態における動作と同じである。検出分類部１８は、取得部１７により取得された学習データに含まれる学習画像に対して画素ごとに４番目の画素値を追加した画像と特徴データとを判定モデルに入力として与え、学習画像における欠陥の位置及び種類を示す推定結果を判定モデルから取得する（ステップＳ２０２Ａ）。なお、特徴データの追加は、参考文献１のWide部で抽出された特徴量を出力層で合わせるような形態でもよく、また、この場合の判定モデルにはWide＆DeepのようにFactorization Machinesと深層学習（特にここではCNN）を組み合わせたモデルを使ってもよい。また、特徴データは、各画素における５番目、６番目、…の画素値として画像に加えてもよい。
［参考文献１］ Heng-Tze Cheng et al., "Wide & Deep Learning for Recommender System," https://arxiv.org/pdf/1606.07792.pdf

上述の学習処理を行うことにより、不良品が発生する原因となる可能性が高い項目を考慮して、欠陥の有無、欠陥の種類、及び樹脂成形品が良品であるか否かを推定する判定モデルが得られる。

つぎに、欠陥検出分類システム１Ａにおいて学習済みの判定モデルを用いた欠陥の検出及び分類について説明する。図６は、第２の実施形態における欠陥検出分類システム１Ａにおいて欠陥の検出及び分類に係る構成例を示す図である。欠陥検出分類システム１Ａは、図４に示した構成に加えて、表示部２２、検出結果記憶部２３、中間データ記憶部２４及び追加学習データ抽出部２５を備える。第１の実施形態と異なる構成について説明し、同じ構成については重複する説明を省略する。

欠陥検出分類システム１Ａにおいて樹脂成形品における欠陥の検出及び分類と、樹脂成形品が良品であるか否かの判定と行う場合、検出分類部１８は、学習処理により得られた判定モデルの各重みパラメータをモデルパラメータ記憶部２１から読み出す。検出分類部１８は、読み出した各重みパラメータを判定モデルに設定する。

取得部１７は、撮像システムが樹脂成形品を撮像して得られた画像と、樹脂成形品の製造時又は製造前の特徴データとを取得する。樹脂成形品の製造時又は製造前の特徴データに含まれる項目は、判定モデルの学習処理において特徴量追加部３２が特定した項目である。第２の実施形態では、計測値と、材料、治具及び設備と、材料、治具及び設備の状態とのうち少なくとも１つの項目が特徴データに含まれる。特徴データに、有意と特定された項目のみが含まれていてもよい。取得部１７は、取得した画像と特徴データとを検出分類部１８へ供給する。検出分類部１８は、取得部１７から供給される画像における画素ごとに４番目の画素値を追加し、画素ごとに４つの画素値を有する画像と特徴データとを入力として判定モデルに与える。

表示部２２は、画素それぞれに対して決定したラベルを含む検出結果と、印刷物を撮像して得られた画像と、樹脂成形品が良品であるか否かの判定結果とを表示する。樹脂成形品を撮像して得られた画像に欠陥が含まれていない場合、表示部２２には、欠陥の位置及び種類を示す像が表示されずに、樹脂成形品を撮像して得られた画像と、樹脂成形品が良品であることを示す情報とが表示される。

検出分類部１８は、検出結果及び判定結果を表示部２２に表示させるとともに、樹脂成形品を撮影した画像と検出結果及び判定結果とを対応付けて検出結果記憶部２３に記憶させる。

以上説明したように、第２の実施形態における欠陥検出分類システム１Ａは、樹脂成形品などの検査対象を撮像して得られた画像に対して、予め定められた複数の種類の欠陥それぞれの有無、検出した欠陥の種類、及び樹脂成形品が良品であるか否かを推定する学習済みの判定モデルを適用することにより、検査の対象となる樹脂成形品における欠陥の有無、欠陥の種類、及び良品であるか否かを判定することができる。

また、欠陥検出分類システム１Ａは、樹脂成形品などの検査対象が良品であるか否かを示す良否データを含む学習データを用いて判定モデルを学習させることで、製品の利用に支障が生じない場合には欠陥が検出されても良品として判断することができる。このような判断基準は、製造現場において知識及び経験に基づいて熟練者から学ぶという属人的な継承がなされていることが多い。欠陥検出分類システム１Ａを用いることで、熟練者の知識及び経験を学習データという形で蓄積することができる。また、欠陥検出分類システム１Ａでは、追加学習データ抽出部２５により追加される学習データを用いて判定モデルを再度学習させて、判定モデルを更新することで、製品の良否判断の精度を向上させることができる。

また、欠陥検出分類システム１Ａは、樹脂成形品などの検査対象を製造したときの計測値と、材料、治具及び設備と、材料、治具及び設備の状態とのうち少なくとも一つを示す特徴データを学習データに含めることにより、欠陥の発生との関係性が高いと推定される項目を考慮した学習を判定モデルにさせることができ、欠陥の検出及び分類の精度を向上させることができる。

合成樹脂を射出形成して製造される樹脂成形品には、表面又は内部にできる丸傷欠陥（凹凸ポツ、クレーター、気泡など）が極めて微小（５μｍ平方程度）であり、その検出が困難であることがある。第２の実施形態の欠陥検出分類システム１Ａでは、欠陥候補抽出部１２がＱｕｏｉｔフィルタ及びＣＮＮを組み合わせて欠陥候補の領域を抽出することにより、学習画像上に表れる微小な欠陥を抽出することができる。この微小な欠陥が表れている学習画像を用いて判定モデルを学習させることにより、樹脂成形品において不特定な箇所、寸法、色などで発生する微小な欠陥であっても検出の精度を向上させることができる。例えば、８～１０ｃｍ×４～５ｃｍのサイズを有する樹脂成形品を３８４０×２１６０画素のサイズで撮像した場合に、３００画素程度の大きさで欠陥が表れる。画像における樹脂成形品の領域が７００万画素程度であり、欠陥が樹脂成形品のサイズに対して極めて小さい場合あっても、欠陥検出分類システム１Ａを用いることで欠陥の検出精度を向上させることができる。なお、Ｑｕｏｉｔフィルタのパラメータを最適化し、前述の解像度で樹脂成形品を撮像した場合に０．５μｍ平方角の欠陥を抽出することも可能である。

上述の５μｍ程度の微小な欠陥は、レーザセンサを利用した検出装置でも検出できるが、レーザセンサを用いた検査では製品を走査する必要があるため、検査に時間を要してしまう。そのため、大量に生産される製品の検査には不向きである。また、レーザセンサを用いた検査で検出できる欠陥は２～３μｍ程度である。一方、第２の実施形態の欠陥検出分類システム１Ａは、製品を撮像した画像に対する画像処理にて検査を行うことができるため、大量に生産される製品の検査に好適であり、微小な欠陥であってもより高精度に欠陥を検出できる。また、第２の実施形態の欠陥検出分類システム１Ａは、レーザセンサなどの高価な部品を必要としないため、製品の検査に掛かるコストを抑えることができる。そのため、合成樹脂を用いて製造される日用雑貨品などの販売価格が安い製品の検査に欠陥検出分類システム１Ａは好適である。また、第２の実施形態の欠陥検出分類システム１Ａは、製品の外観を撮像できれば検査が可能であるため、レーザセンサでは満たせない厳しい設置条件（例えば、検査対象までの距離、振動など）の製造現場であっても適用できる。

［第３の実施形態］
第１及び第２の実施形態における欠陥検出分類システムにおいて、熟練者による欠陥の認知データが学習データとして学習データ記憶部１６に記憶されている。学習データ記憶部１６に記憶されている学習データには熟練者の知識及び経験が反映されているので、非熟練者に対する欠陥の検知及び分類並びに良否判定のトレーニングに有用である。第３の実施形態では、学習データ記憶部１６に記憶されている学習データを非熟練者等のトレーニングに利用する欠陥判定トレーニングシステムを説明する。

図７は、第３の実施形態における欠陥判定トレーニングシステム２の構成例を示す図である。欠陥判定トレーニングシステム２は、欠陥検出分類システム１Ａに接続された表示部４１を備える。表示部４１は、学習データ記憶部１６に記憶されている学習データに含まれる学習画像を表示し、学習画像に含まれる欠陥の位置及び種類並びに良否判定結果を教示する。ユーザは、表示部４１に表示される学習画像における欠陥の有無及び種類並びに製品の良否を検討した後に、表示されている欠陥の位置及び種類並びに良否判定と自身の検討結果とを比較することで、欠陥判定のトレーニングを行うことができる。

なお、欠陥判定トレーニングシステム２では、欠陥検出分類システム１Ａが備える表示部１３及び表示部２２と異なる表示部４１を備える構成例を示した。しかし、表示部１３又は表示部２２を表示部４１として用いてもよい。この場合、欠陥検出分類システム１Ａが、欠陥判定トレーニングシステムとして動作してもよい。また、欠陥検出分類システム１Ａにおける学習処理のうちステップＳ１０１からステップＳ１０７Ａまでの動作が行われるときに、熟練者による操作受付部１４の操作と学習画像とを表示部４１に表示させて、非熟練者のトレーニングを並行して行ってもよい。

各実施形態では、検査対象に印刷物と樹脂成形品とを例示して説明を行ったが、検査対象はこれらに限ることなく、画像を用いた外観検査が可能な物を検査対象とすることができる。また、検査対象に係る情報として画像を欠陥検出分類システムの入力とする場合について説明したが、検査対象に係る情報は画像に限ることなく、音響信号や、音響信号と他の信号とを組み合わせた信号を欠陥検出分類システムの入力としてもよい。

各実施形態では、判定モデルの学習を行う際に用いられる表示部１３と、印刷物や樹脂成形品などの製品（対象）における欠陥の検出及び分類を行う際に用いられる表示部２２とを異なる構成として説明した。しかし、表示部１３及び表示部２２として同じ装置、例えば、ディスプレイ装置やタブレット型コンピュータ、ラップトップ型コンピュータなどが用いられてもよい。

各実施形態において、学習画像記憶部１１に記憶されている学習画像に対してデータ拡張（data argumentation）技術を適用して学習画像を増やしてもよい。学習画像を増やすことで学習データが増えるので、欠陥を学習モデルによく学習させることができ、欠陥を分類する精度を向上させることができる。

各実施形態では、ＱｕｏｉｔフィルタとＣＮＮとを組み合わせた構成を有する欠陥候補抽出部１２を説明したが、これ以外の構成を有する欠陥候補抽出部１２を欠陥検出分類システムに用いてもよい。例えば、欠陥候補抽出部１２は、背景差分法を用いて欠陥候補の領域を抽出してもよい。具体的には、欠陥候補抽出部１２は、入力として与えられる学習画像又は画像と、予め定められた基準画像との差分を算出し、一定以上の差分が生じている領域を欠陥候補の領域として特定する。背景差分法において欠陥候補の領域を特定する際に用いる寸法に対する閾値や、色差に対する閾値として、対象における欠陥検出数の特性関数と教師データとからＲＯＣ（Receiver Operating Characteristic）曲線を定め、ＡＵＣ（Area Under ROC Curve）が最大となる値が用いられる。寸法及び色差に対する閾値は、検出対象となる欠陥の種類ごとに定められてもよいし、幾つかの欠陥の種類に同じ閾値の組み合わせを用いてもよい。また、欠陥候補抽出部１２は、寸法及び色差に対する閾値として、事前に定めた値を用いてもよい。欠陥候補抽出部１２が背景差分法を用いて欠陥候補の領域を抽出する場合、ＱｕｏｉｔフィルタとＣＮＮとを組み合わせた構成に比べ、演算負荷を小さくすることができるので、欠陥候補の抽出に掛かる時間を短縮することができる。

各実施形態における欠陥検出分類システムの全て又は一部をコンピュータで実現するようにしてもよい。例えば、欠陥検出分類システムが有する構成要素それぞれを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムが備えるプロセッサで実行することによって、欠陥検出分類システムの動作を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の不揮発性の記憶装置のことをいう。また、このプログラムは、前述した構成要素の一部を実現するためのものであってもよく、更に前述した構成要素をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。また、欠陥検出分類システムの全て又は一部は、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、製造業における製品の検査工程などにおいて、欠陥の検出及び欠陥の種類の特定が不可欠な用途にも適用できる。

１，１Ａ…欠陥検出分類システム、２…欠陥判定トレーニングシステム、１１…学習画像記憶部、１２…欠陥候補抽出部、１２１…領域抽出部、１２２…候補絞込部、１３…表示部、１４…操作受付部、１５…欠陥アノテーション部、１６…学習データ記憶部、１７…取得部、１８…検出分類部、１９…誤差算出部、２０…パラメータ更新部、２１…モデルパラメータ記憶部、２２…表示部、２３…検出結果記憶部、２４…中間データ記憶部、２５…追加学習データ抽出部、３１…製造データ記憶部、３２…特徴量追加部、４１…表示部

Claims

欠陥の有無が判定される対象を撮像して得られる画像を取得する取得部と、
前記画像に予め定められた複数の種類の欠陥のうち少なくとも一つの欠陥があるか否かを判定して欠陥がある場合に欠陥の位置及び欠陥の種類を出力する学習済みの判定モデルを含み、前記判定モデルに前記画像を入力として与えて前記対象における欠陥の有無、位置及び種類を出力する検出分類部と、
前記判定モデルにより欠陥を含むと判定された画像のうち、当該欠陥の種類を推定する際の第１候補と第２候補との差が小さい画像を学習画像として含む学習データを前記判定モデルの学習に用いる複数の学習データに追加する追加学習データ抽出部とを備え、
前記判定モデルは、前記複数の種類の欠陥のうち少なくとも一つの欠陥を含む対象の学習画像と前記学習画像に含まれる欠陥の位置及び欠陥の種類を示すラベルとを含む前記複数の学習データを用いて、前記複数の種類の欠陥を学習して得られ、
前記学習データは、前記学習画像に撮像された対象が良品であるか不良品であるかを示す良否データを含み、
前記判定モデルは、前記画像に撮像された対象が良品であるか不良品であるかを判定し、欠陥の位置及び欠陥の種類とともに、対象が良品であるか否かを出力し、
前記追加学習データ抽出部は、前記検出分類部により欠陥があると判定された前記画像に撮像されている対象が良品であるか不良品であるかに対するユーザの判断結果を前記良否データとして、前記画像に対応付けて追加の学習データを生成し、
前記判定モデルは、前記複数の学習データと、前記追加の学習データとを用いた学習により更新され、
同一の前記画像における複数の種類の欠陥についての判定において、前記第１候補は最頻の前記ラベルであり、前記第２候補は２番目の頻度の前記ラベルであり、
同一の前記画像における同一の種類の欠陥についての判定において、前記第１候補は最大の確からしさであり、前記第２候補は２番目の確からしさであり、
前記検出分類部は、前記判定モデルが出力する判定結果にばらつきを発生させ、所定回数に亘る判定結果のうちから、前記第１候補と前記第２候補を特定する、
欠陥検出分類システム。
前記学習データは、前記学習画像に撮像された対象の生成時又は生成前にセンサで得られた計測値を示す特徴データを含み、
前記取得部は、前記画像に撮像された対象の生成時又は生成前にセンサで得られた計測値を示す特徴データを取得し、
前記検出分類部は、前記取得部により取得された特徴データと前記画像とを入力として前記判定モデルに与え、前記対象における欠陥の有無、位置及び種類を出力し、
特徴データは、不良品と判断される計測値又はそれらの組み合わせであり、良品となった対象に対応する製造データと不良品となった対象に対応する製造データとの差、又は、欠陥を含む前記画像に対応する製造データと欠陥を含まない前記画像に対応する製造データとの差に基づいて、製造データから取得される、
請求項１に記載の欠陥検出分類システム。
前記学習データにおいて、欠陥を含むか不良品と判定された対象の学習画像に対応する特徴データと、欠陥を含まないか良品と判定された対象の学習画像に対応する特徴データとの間に一定以上の差がある特徴データをユーザに提示する特徴量追加部を備える、
請求項１又は請求項２に記載の欠陥検出分類システム。
前記検出分類部により欠陥があると判定された前記画像に含まれる欠陥の位置及び種類に対するユーザの判断結果に応じて、欠陥の位置及び種類を変更又は削除する欠陥アノテーション部を備える、
請求項１から請求項３のいずれか一項に記載の欠陥検出分類システム。
前記検出分類部により欠陥があると判定された前記画像に含まれる欠陥の位置及び種類に対するユーザの判断結果に応じて、欠陥の位置及び種類を変更又は削除し、前記画像に撮像された対象に対するユーザによる良品であるか不良品であるかの判定結果を割り当てる欠陥アノテーション部を備える、
請求項１から請求項３のいずれか一項に記載の欠陥検出分類システム。
前記学習画像における欠陥の領域に対して画素ごとにラベルが付けられており、
前記検出分類部は、前記画像の画素ごとの画素値から他の画素値を算出し、前記画像の画素それぞれに算出した他の画素値を追加した画像を入力として前記判定モデルに与える、
請求項１から請求項５のいずれか一項に記載の欠陥検出分類システム。
前記判定モデルの学習における目的関数としてFocal Lossを用いる、
請求項１から請求項６の何れか一項に記載の欠陥検出分類システム。
請求項１から請求項７のいずれか一項に記載の欠陥検出分類システムにおいて用いられる前記学習データに含まれる前記学習画像における欠陥の位置及び種類と、前記学習画像とを表示し、前記対象における欠陥の有無、位置及び種類の判定をユーザに教示する表示部を備える、
欠陥判定トレーニングシステム。
請求項１から請求項３と請求項５とのいずれか一項に記載の欠陥検出分類システムにおいて用いられる前記学習データに含まれる前記学習画像に撮像された対象に対する良否データと、前記学習画像とを表示し、前記対象が不良品であるか否かの判定をユーザに教示する表示部を備える、
欠陥判定トレーニングシステム。