JP7356010B2 - 表面性状検査装置及び表面性状検査方法 - Google Patents

Description

本発明は、対象物の表面性状を光学的に検査する表面性状検査装置及び表面性状検査方法に関する。

従来から、対象物の表面に生じた、凹凸、疵、色ムラ異常、粗度の異常といった表面性状に関する種々の欠陥を検出する技術がよく知られている（例えば、特許文献１、特許文献２及び特許文献３参照）。近年、鋼板品質の向上にともない、鋼板の表面に存在する欠陥に対する要求が厳しくなってきており、要求を満たす鋼板を安定して出荷するために、鋼板表面を撮像装置で撮像し、撮像画像から自動的に欠陥を検出する検査装置について、検出精度の向上が望まれている。

鋼板等の対象物の表面性状の従来の検査は、図１に示すフローに従って行うのが一般的である。まず、対象物の表面を撮像した撮像画像を閾値処理により二値化する（ステップＳ１）。次いで、二値化によって得られた各領域をラベリングして画素の集合体（ブロブ）として認識し、そのブロブを、それぞれ、対象物の表面上で欠陥が占める領域である欠陥候補領域として抽出する（ステップＳ３）。そして、抽出された欠陥候補領域について、面積等の幾何学的特徴や、画素値の統計量を特徴量として算出する（ステップＳ５）。次いで、算出した特徴量から、対象物に生じ得る欠陥の種類である欠陥種、及び、欠陥種毎の評点（例えば、欠陥の重篤度のランク欠陥の重篤度を示す点数）を判定する（ステップＳ７）。

特開平５－１６４７０１号公報 特開平１１－４５３２８号公報 特許第２５３５２５７号公報

図１に示す従来の欠陥判定フローでは、輪郭が明瞭な欠陥や一定の大きさの欠陥などは検出可能であるが、撮像画像内に非常に薄くしか映らない欠陥や不定形の欠陥を検出することは難しい。

例えば、撮像画像内に非常に薄くしか映らない欠陥を検出するためには、ステップＳ１の閾値処理において、閾値を低く設定することが考えられるが、その場合には、ノイズや模様といった欠陥以外の領域を大量に検出してしまうことになり、欠陥ではない領域が欠陥として検出される過検出が大量発生するおそれがある。また、有害な欠陥が、ノイズや模様と一体となった欠陥候補として抽出されることで、ステップＳ７の判定ロジックで設定した有害な欠陥の特徴量分布とは異なる特徴量を有することにより、有害な欠陥が見逃されるという未検出が発生するおそれがある。

また、不定形の欠陥については、面積、形状等の幾何学的特徴が一定ではないため、特徴量空間において、欠陥の特徴量として通常想定される範囲に比べ、より広い範囲にわたって分布したり、他の欠陥種の領域と重なったりすることがある。そのため、ステップＳ７の判定ロジックの設定が難しく、未検出や過検出が発生しやすいという課題が生じる。

本発明は上記課題に鑑みてなされたものであり、対象物の表面性状を従来よりも高精度に検査する表面性状検査装置及び表面性状検査方法を提供することを目的とする。

本発明の実施形態に係る表面性状検査装置は、深層学習による学習済みモデルを用いて、対象物の表面を撮像した撮像画像から画素単位又は領域単位で欠陥種毎の確信度を算出して、前記確信度を画素値とした確信度マップ画像を前記欠陥種毎に生成する深層学習判定処理部と、前記欠陥種毎の前記確信度マップ画像の画素値に基づいて、ラベリングを行い欠陥候補領域を抽出するラベリング部と、前記欠陥候補領域の幾何学的特徴と、前記欠陥候補領域における前記撮像画像の画素値の統計量と、前記欠陥候補領域における前記確信度の統計量との少なくともいずれか一つを特徴量として算出する特徴量算出部と、前記撮像画像に対して閾値処理を施すことにより二値画像を生成する閾値処理部と、前記二値画像の画素値に基づいて、ラベリングを行い第２欠陥候補領域を抽出する第２ラベリング部と、前記第２欠陥候補領域の幾何学的特徴と、前記第２欠陥候補領域における前記撮像画像の画素値の統計量との少なくともいずれか一つを、第２特徴量として算出する第２特徴量算出部と、前記特徴量算出部で算出された前記特徴量及び前記第２特徴量算出部で算出された前記第２特徴量から、前記対象物の表面の欠陥種及び前記欠陥種毎の評点を判定する判定部と、を備える。

本発明の実施形態に係る表面性状検査方法は、深層学習による学習済みモデルを用いて、対象物の表面を撮像した撮像画像から画素単位又は領域単位で欠陥種毎の確信度を算出して、前記確信度を画素値とした確信度マップ画像を前記欠陥種毎に生成する深層学習判定処理ステップと、前記欠陥種毎の前記確信度マップ画像の画素値に基づいて、ラベリングを行い欠陥候補領域を抽出するラベリングステップと、前記欠陥候補領域の幾何学的特徴と、前記欠陥候補領域における前記撮像画像の画素値の統計量と、前記欠陥候補領域における前記確信度の統計量との少なくともいずれか一つを特徴量として算出する特徴量算出ステップと、前記撮像画像に対して閾値処理を施すことにより二値画像を生成する閾値処理ステップと、前記二値画像の画素値に基づいて、ラベリングを行い第２欠陥候補領域を抽出する第２ラベリングステップと、前記第２欠陥候補領域の幾何学的特徴と、前記第２欠陥候補領域における前記撮像画像の画素値の統計量との少なくともいずれか一つを、第２特徴量として算出する第２特徴量算出ステップと、前記特徴量算出ステップで算出された前記特徴量及び前記第２特徴量算出ステップで算出された前記第２特徴量から、前記対象物の表面の欠陥種及び前記欠陥種毎の評点を判定する判定ステップと、を備える。

本発明によれば、深層学習による学習済みモデルを用いて、対象物の表面を撮像した撮像画像から画素単位又は領域単位で欠陥種毎の確信度を算出して、確信度マップ画像を欠陥種毎に生成し、確信度マップ画像から特徴量を算出することにより、従来よりも対象物の表面の欠陥の検出精度を向上させることができる。

従来の表面性状検査方法のフローを示す図である。 本発明の第１～第３実施形態に係る表面性状検査装置のハードウェア構成の模式図である。 第１実施形態に係る表面性状検査方法のフローを示す図である。 対象物の表面の撮像画像の一例を示す模式図である。 撮像画像内の注目画素とその近傍領域を示す模式図である。 深層学習判定処理により得られる欠陥種別の確信度マップ画像の一例を示す模式図である。 第２実施形態に係る表面性状検査方法のフローを示す図である。 第３実施形態に係る表面性状検査方法のフローを示す図である。

以下、図面を参照して本発明の実施形態を説明する。以下の各実施形態では、同一又は同様の構成には同一の符号を用い、重複する説明は省略する。

＜第１実施形態＞
まず、第１実施形態に係る表面性状検査装置１００の構成について説明する。図２は、表面性状検査装置１００のハードウェア構成を模式的に示す図である。表面性状検査装置１００は、鋼板等の対象物の表面性状を光学的に検査する装置であり、図２に示すように、撮像装置１１と、プロセッサ１２と、表示部１３と、記憶部１４と、を備える。

撮像装置１１は、レンズ等の光学素子と、Charge Coupled Device（ＣＣＤ）又はComplementary Metal Oxide Semiconductor（ＣＭＯＳ）等の撮像素子と、を有する。ここで、撮像装置１１は、グレー画像を撮像可能なものであってもよいし、カラー画像を撮像可能なものであってもよい。撮像装置１１はＡ／Ｄコンバータを備えており、撮像素子から出力されたアナログ信号をデジタル信号に変換し、撮像装置１１で撮像されて得られた撮像画像を構成する信号として、当該デジタル信号をプロセッサ１２に出力する。

プロセッサ１２は、Central Processing Unit（ＣＰＵ）を有し、表面性状検査装置１００を構成する各要素を統括的に制御する。また、プロセッサ１２は、記憶部１４に記憶されたプログラムに従って表面性状検査方法（図３）を実行する。

具体的には、プロセッサ１２は、記憶部１４に格納された深層学習による学習済みモデル１４１を用いて、撮像装置１１により対象物の表面を撮像した撮像画像から画素単位で欠陥種毎の確信度を算出して、確信度を画素値とした確信度マップ画像を欠陥種毎に生成する深層学習判定処理部と、欠陥種毎に確信度マップ画像の各画素を画素値に基づいて、ラベリングを行い欠陥候補領域を抽出するラベリング部と、欠陥候補領域の幾何学的特徴を特徴量として算出する特徴量算出部と、特徴量から対象物の表面の欠陥種及び欠陥種毎の評点を判定する判定部として機能する。プロセッサ１２により実行される表面性状検査方法（図３）については、後で詳細に説明する。

なお、特徴量算出部は、欠陥候補領域の幾何学的特徴だけを特徴量とするだけでなく、欠陥候補領域の幾何学的特徴と、欠陥候補領域における撮像画像の画素値の統計量と、欠陥候補領域における確信度の統計量との少なくとも何れか一つを特徴量とすることができる。また、判定部の機能を、プロセッサ１２に含めることなく、表面性状検査装置１００に接続された他の検査装置等に設けるようにすることもできる。

表示部１３は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、又は有機エレクトロ・ルミネッセンス（ＥＬ）ディスプレイ等のディスプレイを備え、プロセッサ１２による処理結果を表示する。

記憶部１４は、Read Only Memory（ＲＯＭ）及びRandom Access Memory（ＲＡＭ）を有する。ＲＯＭは、プロセッサ１２によって表面性状検査方法（図３等）を実行するための表面性状検査処理プログラム等の各種プログラムやこれらのプログラムの実行時に必要なデータを格納する。ＲＯＭに格納された各種プログラムやデータはＲＡＭにロードされて実行される。

記憶部１４は、表面性状検査処理プログラムの実行時に必要なデータとして、深層学習による学習済みモデル１４１を格納している。学習済みモデル１４１は、対象物の表面の様々な欠陥を撮像した撮像画像データに対して、予め、検査員が目視検査する等といった別途の検査を行ったうえで、当該欠陥の欠陥種として、検査の判定結果として妥当と思われる欠陥種のラベルを、画素単位又は領域単位に付与して得られた大量の学習データを、ディープニューラルネットワーク（ＤＮＮ）に学習させることで得られる。

なお、記憶部１４は、ハードディスクドライブ（ＨＤＤ）等の磁気メモリ、又は光ディスク等の光メモリを備えるようにしてもよい。あるいは、表面性状検査装置１００に着脱可能な記録媒体に各種プログラムやデータを格納するようにしてもよい。

なお、プロセッサ１２は、ＣＰＵ等の汎用ハードウェアの代わりに、プロセッサ１２の各機能に特化した専用ハードウェアにより構成されていてもよい。例えば、上述の深層学習判定処理部、ラベリング部、特徴量算出部、及び判定部の各機能を特定用途向け集積回路（ＡＳＩＣ）に実装してもよい。以下の第２実施形態及び第３実施形態に係るプロセッサ１２についても同様である。

次に、図３～図６を参照して、表面性状検査装置１００により実行される表面性状検査処理を説明する。

プロセッサ１２は、まず、記憶部１４に格納された深層学習による学習済みモデル１４１を用いて、撮像装置１１により対象物の表面を撮像して得られた撮像画像Icam（グレー画像）から画素単位で欠陥種の確信度を算出して、確信度を画素値とした確信度マップ画像Imap_iを欠陥種毎に生成する（ステップＳ１１）。ここで“ｉ”は、欠陥種を表すインデックスであり、正の整数である。

図４に、対象物の表面を撮像した撮像画像Icam（グレー画像）の一例を示す。ステップＳ１１では、図５に示すように、学習済みモデル１４１を用いて、撮像画像Icam内の注目画素６０を中心とした近傍領域６１の各画素の輝度値に基づいて、注目画素６０に存在する欠陥について、欠陥種毎に確信度が算出される。近傍領域６１の幅Ｗ及び高さＨは、検出対象となる欠陥の大きさによって決定され、深層学習モデルのネットワーク構造によって表される。画素ｐでの欠陥種ｉの確信度Imap_i（ｐ）は式（１）のように与えられる。

ここで、DNN(i, Icam(q|q∈R(p)))は、撮像画像Icamの画素ｐが、欠陥種ｉ（ｉ＝１、２、…Ｎ）である確信度を与える深層学習モデルであり、R(p)は、画素ｐ（注目画素６０）の近傍領域６１を与える関数であり、ｑは関数R(p)によって規定された近傍領域６１内の画素である。撮像画像Icam内の各画素ｐについて、式（１）により確信度Imap_i（ｐ）を求めることにより、確信度マップ画像Imap_iが生成される。

図４の撮像画像Icamから求められた確信度マップ画像の一例を図６に示す。図６において、確信度マップ画像Imap_1、Imap_2、Imap_3及びImap_4は、それぞれ、欠陥種１、２、３及び４に対応する。確信度マップ画像の各画素値は、輝度値を表しており、輝度値が高いほど欠陥種毎の確信度が高いことを意味する。

図６では、確信度マップ画像Imap_1において輝度値が高い領域が現れ、他の確信度マップ画像Imap_2、Imap_3及びImap_4では、画像全域において輝度値が極めて低い。すなわち、図４の撮像画像Icamに映った物について欠陥種１の確信度が高く、欠陥種２～４の確信度が極めて低いことを示している。なお、確信度マップ画像において、確信度を輝度値ではなく色で表すようにしてもよい。

次に、プロセッサ１２は、欠陥種ｉ毎に、確信度マップ画像Imap_iを各画素の画素値に基づいてラベリングすることにより、対象物の表面上で欠陥が占める領域である欠陥候補領域を抽出する（ステップＳ１３）。具体的には、ステップＳ１３において、プロセッサ１２は、確信度マップ画像Imap_iにおいて輝度値が近い（輝度値の差分が規定値以下の）隣接する画素を連結して一つのブロブとみなし、確信度マップ画像Imap_iから得られる各ブロブを、欠陥候補領域blob_jとして抽出する。ここで“ｊ”は、欠陥候補領域を識別するインデックスであり、整数値である。

すなわち、各ブロブとして一まとまりとなる欠陥候補領域blob_jは、各欠陥種ｉに対応した欠陥が占める領域に相当する。そのため、欠陥候補領域blob_jの幾何学的特徴は、直接、欠陥種iの幾何学的特徴に対応することとなる。

次に、プロセッサ１２は、欠陥候補領域blob_jの幾何学的特徴を特徴量として算出する（ステップＳ１５）。なお、プロセッサ１２は、欠陥候補領域blob_jの幾何学的特徴だけでなく、欠陥候補領域blob_jにおける撮像画像Icamの画素値の統計量と、欠陥候補領域blob_jにおける確信度Imap_i（ｐ）の統計量をも特徴量として算出するようにしてもよい。

欠陥候補領域blob_jの幾何学的特徴は、欠陥候補領域blob_jの周囲長、面積、及び形状のうち少なくとも１つを含む。欠陥候補領域blob_jにおける撮像画像Icamの画素値の統計量は、欠陥候補領域blob_jにおける撮像画像Icamの輝度の平均、分散、最大、最小、及び分布等のうち少なくとも１つを含む。欠陥候補領域blob_jにおける確信度Imap_i（ｐ）の統計量は、欠陥候補領域blob_jにおける確信度Imap_i（ｐ）の平均、分散、最大、最小、及び分布等のうち少なくとも１つを含む。こうした特徴量は、それぞれ欠陥種ｉ毎に算出される。

画素ｐが属する欠陥候補領域blob_jにおける特徴量feat_kjは、式（２）のように与えられる。

ここで、“k”は特徴量の種類（幾何学的特徴、各種の統計量）を識別するインデックスであり、整数値である。Feat_kは、種類kの特徴量を計算する関数である。

次に、プロセッサ１２は、ステップＳ１５で算出された特徴量feat_kjの分布から、公知の手法により欠陥種及び欠陥種毎の評点（例えば、欠陥の重篤度のランク又は欠陥の重篤度を示す点数）を判定する（ステップＳ１７）。具体的には、プロセッサ１２は、ＩＦ－ＴＨＥＮルール又はサポートベクターマシン（ＳＶＭ）等の判別器を用いて、特徴量feat_kjの分布から撮像画像Icam内の欠陥を評価する。

なお、プロセッサ１２は、欠陥候補領域blob_jに対応する幾何学的特徴を情報として得た時点で、「見つかった欠陥候補は全部欠陥である」として取り扱い、処理を終了するようにしてもよい。

また、プロセッサ１２は、ステップＳ１７において、算出された特徴量feat_kjの分布の内容を確認し、その内容によっては、プロセッサ１２で欠陥種毎の評点を判定する処理を行わなくてもよく、適宜、算出された特徴量feat_kjの分布を、オペレータに確認させる等してもよい。そうすることで、予め欠陥の特性を把握している場合（例えば、この位置にこのサイズの欠陥が必ず生じるが、それがある特定の欠陥種である、といったことを把握している場合）等には、評点を判定するまでもなく、オペレータ等を介して、直接、正しい欠陥種としての判定をすることが可能となる。

また、プロセッサ１２は、ステップＳ１５で算出された特徴量feat_kjの分布を、表面性状検査装置１００内では処理せず、表面性状検査装置１００に接続された他の装置に送信し、当該他の装置において、算出された特徴量feat_kjの分布を用いて、検査に係る種々の処理を行うようにすることも可能である。当該他の装置における種々の処理については、公知の検査に係る処理を用いることが可能であり、ＩＦ－ＴＨＥＮルール又はサポートベクターマシン（ＳＶＭ）等の判別器を用いることも可能である。こうすることで、装置配置や組合せの自由度を高めることができる。

以上のように、第１実施形態によれば、従来の閾値処理を用いずに、深層学習による学習済みモデル１４１を用いて、撮像画像Icam内の注目画素６０を中心とした近傍領域６１の輝度パターンから、注目画素６０における、欠陥種毎の確信度を算出して確信度マップ画像を生成し、欠陥候補領域を抽出するようにした。これにより、閾値処理のみでは検出が困難であった薄い欠陥や、特徴量空間における分布によって検出が困難であった不定型な欠陥を精度よく検出することができる。また、撮像画像Icamから画素単位で欠陥種毎の確信度を算出することで、欠陥の発生位置によって欠陥種が分かれるなどの欠陥判定の知見を、判定ロジック（ステップＳ１７）における欠陥種判定に直接反映させることができる。

また、本発明の第１実施形態によれば、単純に、対象物の表面を撮像した撮像画像に映った欠陥そのものに対して、学習済みモデルを用いた深層学習を適用して、欠陥種が何であるかや、良品又は不良品であるかといった判定をしているのではなく、撮像画像に対して学習済みモデルを用いた深層学習を適用して、欠陥種毎の確信度を算出し、確信度を画素値とした確信度マップ画像を作成し、その確信度マップ画像に現れた確信度の「像」について、特徴量を求めるようにしている。

そのため、本発明の第１実施形態によれば、学習済みモデルを用いた深層学習を適用することによって、撮像画像内に非常に薄くしか映らない欠陥や不定形の欠陥を高精度に検出することができる。

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態に係る表面性状検査装置のハードウェア構成は、図２に示す表面性状検査装置１００と同様である。以下の第２実施形態では、第１実施形態と異なる点のみを説明する。

第２実施形態のプロセッサ１２は、記憶部１４に記憶されたプログラムに従って表面性状検査方法（図７）を実行する。具体的には、プロセッサ１２は、表面性状検査方法の実行時、第１実施形態の深層学習判定処理部、ラベリング部、特徴量算出部、及び判定部としての機能に加え、撮像画像に対して閾値処理を施すことにより二値画像を生成する閾値処理部と、二値画像の各画素を画素値に基づいてラベリングすることにより、第２欠陥候補領域を抽出する第２ラベリング部と、第２欠陥候補領域の幾何学的特徴と、第２欠陥候補領域における撮像画像の画素値の統計量との少なくともいずれか一つを第２特徴量として算出する第２特徴量算出部として機能する。

次に、図７を参照して、第２実施形態の表面性状検査方法を説明する。図７に示す表面性状検査方法は、第１実施形態のフロー（図３）と従来の閾値処理を用いたフロー（図１）とを組み合わせることによって実現される。

プロセッサ１２は、第１実施形態のステップＳ１１、Ｓ１３及びＳ１５と並行して、以下のステップＳ２１、Ｓ２３及びＳ２５（それぞれ、図１のステップＳ１、Ｓ３及びＳ５に対応）を実行する。

すなわち、プロセッサ１２は、撮像画像Icamに対して閾値処理を施すことにより二値画像を生成する（ステップＳ２１）。ステップＳ２１では、撮像画像Icamにおいて、輝度値が閾値以上の画素に１を割り当て、輝度値が閾値より小さい画素に０に割り当てることで、輝度値が０と１とからなる二値画像を生成する。

次に、プロセッサ１２は、ステップＳ２１で生成された二値画像を各画素の画素値に基づいてラベリングすることにより、第２欠陥候補領域を抽出する（ステップＳ２３）。ステップＳ２３では、二値画像において輝度値が１の画素を連結してブロブとして認識し、そのブロブを第２欠陥候補領域として抽出する。

すなわち、各ブロブとして一まとまりとなる第２欠陥候補領域は、当該領域に対応した欠陥が占める領域に相当する。そのため、第２欠陥候補領域の幾何学的特徴は、直接、当該領域に対応した欠陥の幾何学的特徴に対応することとなる。

次に、プロセッサ１２は、第２欠陥候補領域の幾何学的特徴を第２特徴量として算出する（ステップＳ２５）。なお、プロセッサ１２は、第２欠陥候補領域の幾何学的特徴だけでなく、第２欠陥候補領域における撮像画像Icamの画素値の統計量をも第２特徴量として算出するようにしてもよい。第２欠陥候補領域の幾何学的特徴は、第２欠陥候補領域の周囲長、面積、及び形状のうち少なくとも１つを含む。第２欠陥候補領域における撮像画像Icamの画素値の統計量は、第２欠陥候補領域における撮像画像Icamの輝度の平均、分散、最大、最小、及び分布等のうち少なくとも１つを含む。

ステップＳ１５で算出した特徴量feat_kjの種類ｋと、ステップＳ２５で算出した第２特徴量の種類とは同じであるが、両者を区別するため、プロセッサ１２は、ステップＳ１５で算出した特徴量feat_kjのいずれかに対して、深層学習から導出したことを示すフラグを立て、ステップＳ２５で算出した第２特徴量に対して、従来の閾値処理から導出したことを示すフラグを立てる。これにより、後述するステップＳ１７において特徴量feat_kjと第２特徴量とを識別できるようにする。

次に、プロセッサ１２は、ステップＳ１５で算出した特徴量feat_kj及びステップＳ２５で算出した第２特徴量から、第１実施形態と同様の手法により、撮像画像Icamに映った欠陥の欠陥種及び欠陥種毎の評点を判定する（ステップＳ１７）。

なお、プロセッサ１２は、欠陥候補領域blob_jに対応する幾何学的特徴を情報として得た時点で、「見つかった欠陥候補は全部欠陥である」として取り扱い、処理を終了するようにしてもよい。

また、プロセッサ１２は、算出された特徴量feat_kjの分布や第２特徴量の内容を確認し、その内容によっては、プロセッサ１２で欠陥種毎の評点を判定する処理を行わなくてもよく、適宜、算出された特徴量feat_kjの分布や第２特徴量を、オペレータに確認させる等してもよい。そうすることで、予め欠陥の特性を把握している場合（例えば、この位置にこのサイズの欠陥が必ず生じるが、それがある特定の欠陥種である、といったことを把握している場合）等には、評点を判定するまでもなく、オペレータ等を介して、直接、正しい欠陥種としての判定をすることが可能となる。

また、プロセッサ１２は、算出された特徴量feat_kjの分布や第２特徴量を、表面性状検査装置１００内では処理せず、表面性状検査装置１００に接続された他の装置に送信し、当該他の装置において、算出された特徴量feat_kjの分布や第２特徴量を用いて、検査に係る種々の処理を行うようにすることも可能である。当該他の装置における種々の処理については、公知の検査に係る処理を用いることが可能であり、ＩＦ－ＴＨＥＮルール又はサポートベクターマシン（ＳＶＭ）等の判別器を用いることも可能である。こうすることで、装置配置や組合せの自由度を高めることができる。

以上のように、本発明の第２実施形態によれば、単純に、対象物の表面を撮像した撮像画像に映った欠陥そのものに対して、学習済みモデルを用いた深層学習を適用して、欠陥種が何であるかや、良品又は不良品であるかといった判定をしているのではなく、撮像画像に対して学習済みモデルを用いた深層学習を適用して、欠陥種毎の確信度を算出し、確信度を画素値とした確信度マップ画像を作成し、その確信度マップ画像に現れた確信度の「像」について、特徴量を求めるようにしている。

そのため、本発明の第２実施形態によれば、第１実施形態のフロー（図３）と、閾値処理を用いた従来のフロー（図１）とを組み合わせることで、深層学習のモデル学習に必要な大量の教師データを、閾値処理を用いた従来のフローで判定及び検出することができる欠陥種に至るまで、全ての欠陥種に対して収集する必要をなくすことができる。これにより、表面性状検査の負荷低減と欠陥種判定及び検出の高精度化とを両立することができる。

＜第３実施形態＞
次に、第３実施形態について説明する。第３実施形態に係る表面性状検査装置のハードウェア構成は、図２に示す表面性状検査装置１００と同様である。以下の第３実施形態では、第１及び第２実施形態と異なる点のみを説明する。

第３実施形態のプロセッサ１２は、記憶部１４に記憶されたプログラムに従って表面性状検査方法（図８）を実行する。具体的には、プロセッサ１２は、表面性状検査方法の実行時、第１実施形態の深層学習判定処理部、ラベリング部、特徴量算出部、及び判定部としての機能に加え、撮像画像に対して第１閾値処理を施すことにより第１二値画像を生成する第１閾値処理部と、確信度マップ画像に対して第２閾値処理を施すことにより、欠陥種毎に第２二値画像を生成する第２閾値処理部と、第１二値画像と第２二値画像とを統合して統合画像を生成する統合部として更に機能する。

次に、図８を参照して、第３実施形態の表面性状検査方法を説明する。
まず、プロセッサ１２は、撮像画像Icamに対して第１閾値処理を施すことにより第１二値画像を生成する（ステップＳ３１）。ステップＳ３１の第１閾値処理は、第２実施形態の閾値処理（図７のステップＳ２１）と実質的に同じであり、式（３）に示すように、撮像画像Icamの画素ｐに対し、輝度値Icam(p)が閾値Ｔ０以上であればＩＤ番号１を割り当て、輝度値Icam(p)が閾値Ｔ０より小さければ０を割り当てることで、輝度値Ibin_0(p)が０と１とからなる第１二値画像Ibin_0を生成する。

以下、式（３）のＩＤ番号１をｉｄ（０）と表記する。

また、プロセッサ１２は、第１及び第２実施形態と同様に、撮像画像Icamから、確信度マップ画像Imap_iを欠陥種ｉ毎に生成し（ステップＳ１１）、生成した確信度マップ画像Imap_iに対して第２閾値処理を施すことにより、欠陥種毎に第２二値画像を生成する（ステップＳ３２）。

ステップＳ３２では、式（４）に示すように、確信度マップ画像Imap_iの画素ｐに対し、確信度Imap_i（ｐ）が閾値Ｔｉ以上であればＩＤ番号ｉｄ（ｉ）を割り当て、確信度Imap_i（ｐ）が閾値Ｔｉより小さければ０を割り当てることで、輝度値Ibin_i(p)が０とＩＤ番号ｉｄ（ｉ）とからなる第２二値画像Ibin_iを生成する。

ここで、閾値Ｔｉは欠陥種ｉ毎に設定されている。また、ＩＤ番号ｉｄ（ｉ）は、欠陥種ｉを識別するため、欠陥種ｉ別に異なる値が与えられる。例えば、ｉｄ（１）＝２、ｉｄ（２）＝３、…、ｉｄ（Ｎ）＝Ｎ＋１のように、ｉｄ（ｉ）には２以上の整数が与えられる。式（４）のＩＤ番号ｉｄ（ｉ）を２以上の値としているのは、ステップＳ３１の第１閾値処理から得られたＩＤ番号ｉｄ（０）＝１と区別するためである。このように、ステップＳ３２では、欠陥種の異なるＮ個の第２二値画像Ibin_i（ｉ＝１、２、…、Ｎ）が生成される。

次に、プロセッサ１２は、第１二値画像Ibin_0と第２二値画像Ibin_iとを統合して統合画像Ibinを生成する（ステップＳ３３）。統合画像Ibinの画素ｐでの輝度値Ibin(p)は、式（５）のように与えられる。

式（５）に示すように、統合画像Ibinは、画素ｐ毎に確信度Imap_i（ｐ）が最大となる輝度値Ibin_i(p)（ｉ＝０、１、…Ｎ）を与える画像である。ここで、ｉ＝０での確信度、すなわち、確信度Imap_0（ｐ）は、式（３）の輝度値Ibin_0(p)に付与した確信度であり、第１閾値処理（ステップＳ３１）による欠陥検出を優先する場合には相対的に高い値（例えば、規定値よりも大きい値）に予め設定され、深層学習による欠陥検出を優先する場合には相対的に低い値（例えば、規定値よりも小さい値）に予め設定されている。

次に、プロセッサ１２は、統合画像Ibinの各画素をラベリングすることにより欠陥候補領域を抽出する（ステップＳ３５）。ステップＳ３５では、統合画像Ibinにおいて、同一の輝度値Ibin(p)（同一のＩＤ番号ｉｄ（ｉ））を与える画素を連結して一つのブロブとみなすことで欠陥候補領域blob_jを抽出する。

次に、プロセッサ１２は、第１実施形態と同様に、ステップＳ３５で抽出された欠陥候補領域blob_jの幾何学的特徴を特徴量として欠陥種ｉ毎に算出する（ステップＳ１５）。なお、プロセッサ１２は、欠陥候補領域blob_jの幾何学的特徴だけでなく、欠陥候補領域blob_jにおける撮像画像Icamの画素値の統計量と、欠陥候補領域blob_jにおける確信度Imap_i（ｐ）の統計量をも特徴量（式（２）参照）として欠陥種ｉ毎に算出するようにしてもよい。

次に、プロセッサ１２は、第１実施形態と同様の手法により、ステップＳ１５で算出された特徴量の分布から、撮像画像Icamに映った欠陥の欠陥種及び欠陥種毎の評点を判定する（ステップＳ１７）。

なお、プロセッサ１２は、欠陥候補領域blob_jに対応する幾何学的特徴を情報として得た時点で、「見つかった欠陥候補は全部欠陥である」として取り扱い、処理を終了するようにしてもよい。

また、プロセッサ１２は、算出された特徴量の分布の内容を確認し、その内容によっては、プロセッサ１２で欠陥種毎の評点を判定する処理を行わなくてもよく、適宜、算出された特徴量の分布を、オペレータに確認させる等してもよい。そうすることで、予め欠陥の特性を把握している場合（例えば、この位置にこのサイズの欠陥が必ず生じるが、それがある特定の欠陥種である、といったことを把握している場合）等には、評点を判定するまでもなく、オペレータ等を介して、直接、正しい欠陥種としての判定をすることが可能となる。

また、プロセッサ１２は、算出された特徴量の分布を、表面性状検査装置１００内では処理せず、表面性状検査装置１００に接続された他の装置に送信し、当該他の装置において、算出された特徴量feat_kjの分布を用いて、検査に係る種々の処理を行うようにすることも可能である。当該他の装置における種々の処理については、公知の検査に係る処理を用いることが可能であり、ＩＦ－ＴＨＥＮルール又はサポートベクターマシン（ＳＶＭ）等の判別器を用いることも可能である。こうすることで、装置配置や組合せの自由度を高めることができる。

以上のように、本発明の第３実施形態によれば、単純に、対象物の表面を撮像した撮像画像に映った欠陥そのものに対して、学習済みモデルを用いた深層学習を適用して、欠陥種が何であるかや、良品又は不良品であるかといった判定をしているのではなく、撮像画像に対して学習済みモデルを用いた深層学習を適用して、欠陥種毎の確信度を算出し、確信度を画素値とした確信度マップ画像を作成し、その確信度マップ画像に現れた確信度の「像」について、特徴量を求めるようにしている。

更に、本発明の第３実施形態では、撮像画像Icamを二値化した第１二値画像Ibin_0と、欠陥種ｉ毎に確信度マップ画像Imap_iを二値化した第２二値画像Ibin_iとを生成し、画素毎に確信度が最大となる輝度値を与えるように第１二値画像Ibin_0と第２二値画像Ibin_iとを統合して統合画像Ibinを生成し、統合画像Ibinを輝度値に基づいてラベリングすることにより欠陥候補領域blob_jを抽出するようにした。これにより、深層学習のモデル学習に必要な大量の教師データを、閾値処理を用いた従来のフローで判定及び検出することができる欠陥種に至るまで、全ての欠陥種に対して収集する必要をなくすことができる。したがって、表面性状検査の負荷低減と欠陥種判定及び検出の高精度化とを両立することができる。また、第１二値画像と第２二値画像という２つの二値画像を一つの統合画像としてまとめ、統合画像に対して、統一的にラベリング及び特徴量算出を行うようにしたことにより、計算負荷を低減させることができる。

また、本発明の第３実施形態によれば、学習済みモデルを用いた深層学習を適用することによって、撮像画像内に非常に薄くしか映らない欠陥や不定形の欠陥を高精度に検出することができる。

また更に、本発明の第３実施形態によれば、図１に示す（学習済みモデルを用いた深層学習を適用しないような）閾値処理を用いた従来のフローで扱われる特徴量と同じように、確信度から特徴量が得られることから、閾値処理を用いた従来のフローにおいて特徴量を扱っていた際の技術を流用することが可能となる。そのため、従来のフローに比べて、簡単な構成を加えるだけで、検出精度を向上させることが可能となる。

なお、第１～第３実施形態における記述内容は、本発明の趣旨を逸脱しない範囲で適宜変更可能である。
例えば、上述の各実施形態における表面性状検査処理では、対象物の表面を撮像した撮像画像から、直接的に欠陥種の確信度を算出しているが、対象物の表面を撮像した撮像画像から、一旦、欠陥種を判定し、確からしい欠陥種の候補を絞ったうえで、そうした欠陥種毎の確信度を算出するようにしても良い。

また、上述の各実施形態における表面性状検査処理では、プロセッサ１２が、撮像画像Icamから画素単位で欠陥種毎の確信度を算出するようにしたが、撮像画像Icamを規定の領域（例えば、２×２、３×３等の画素領域）に分割し、分割された領域単位で欠陥種毎の確信度を算出するようにしてもよい。また、隣接する分割領域は一部がオーバーラップしてもよい。

また、上述の各実施形態では、撮像画像Icamをグレー画像としたが、カラー画像であってもよい。さらに、撮像画像は、対象物の表面の輝度情報に限らず、対象物の表面の凹凸等の形状情報を画像化した深さ画像であってもよいし、輝度情報と形状情報を多重化した画像でもよい。

１１ 撮像装置
１２ プロセッサ
１３ 表示部
１４ 記憶部
１４１ 学習済みモデル
６０ 注目画素
６１ 近傍領域
１００ 表面性状検査装置

Claims (5)

1. 深層学習による学習済みモデルを用いて、対象物の表面を撮像した撮像画像から画素単位又は領域単位で欠陥種毎の確信度を算出して、前記確信度を画素値とした確信度マップ画像を前記欠陥種毎に生成する深層学習判定処理部と、
   前記欠陥種毎の前記確信度マップ画像の画素値に基づいて、ラベリングを行い欠陥候補領域を抽出するラベリング部と、
   前記欠陥候補領域の幾何学的特徴と、前記欠陥候補領域における前記撮像画像の画素値の統計量と、前記欠陥候補領域における前記確信度の統計量との少なくともいずれか一つを特徴量として算出する特徴量算出部と、
   前記撮像画像に対して閾値処理を施すことにより二値画像を生成する閾値処理部と、
   前記二値画像の画素値に基づいて、ラベリングを行い第２欠陥候補領域を抽出する第２ラベリング部と、
   前記第２欠陥候補領域の幾何学的特徴と、前記第２欠陥候補領域における前記撮像画像の画素値の統計量との少なくともいずれか一つを、第２特徴量として算出する第２特徴量算出部と、
   前記特徴量算出部で算出された前記特徴量及び前記第２特徴量算出部で算出された前記第２特徴量から、前記対象物の表面の欠陥種及び前記欠陥種毎の評点を判定する判定部と、
   を備える、表面性状検査装置。
2. 前記第２欠陥候補領域の幾何学的特徴は、前記第２欠陥候補領域の周囲長、面積、及び形状のうち少なくとも１つを含み、
   前記第２欠陥候補領域における前記撮像画像の画素値の統計量は、前記第２欠陥候補領域における前記撮像画像の画素値の平均、分散、最大、最小、及び分布のうち少なくとも１つを含む、請求項１に記載の表面性状検査装置。
3. 前記撮像画像に対して第１閾値処理を施すことにより第１二値画像を生成する第１閾値処理部と、
   前記欠陥種毎に生成された前記確信度マップ画像に対して第２閾値処理を施すことにより、前記欠陥種毎に第２二値画像を生成する第２閾値処理部と、
   前記第１二値画像と前記第２二値画像とを統合して統合画像を生成する統合部と、
   を備え、
   前記ラベリング部は、前記統合画像の画素値に基づいて、ラベリングを行い前記欠陥候補領域を抽出する、請求項１又は２に記載の表面性状検査装置。
4. 前記第１閾値処理部は、前記第１二値画像の各画素又は各領域に対して欠陥種の確信度を付与し、
   前記統合部は、画素毎又は領域毎に欠陥種の確信度が最大となるように前記第１二値画像と前記第２二値画像とを統合する、請求項３に記載の表面性状検査装置。
5. 深層学習による学習済みモデルを用いて、対象物の表面を撮像した撮像画像から画素単位又は領域単位で欠陥種毎の確信度を算出して、前記確信度を画素値とした確信度マップ画像を前記欠陥種毎に生成する深層学習判定処理ステップと、
   前記欠陥種毎の前記確信度マップ画像の画素値に基づいて、ラベリングを行い欠陥候補領域を抽出するラベリングステップと、
   前記欠陥候補領域の幾何学的特徴と、前記欠陥候補領域における前記撮像画像の画素値の統計量と、前記欠陥候補領域における前記確信度の統計量との少なくともいずれか一つを特徴量として算出する特徴量算出ステップと、
   前記撮像画像に対して閾値処理を施すことにより二値画像を生成する閾値処理ステップと、
   前記二値画像の画素値に基づいて、ラベリングを行い第２欠陥候補領域を抽出する第２ラベリングステップと、
   前記第２欠陥候補領域の幾何学的特徴と、前記第２欠陥候補領域における前記撮像画像の画素値の統計量との少なくともいずれか一つを、第２特徴量として算出する第２特徴量算出ステップと、
   前記特徴量算出ステップで算出された前記特徴量及び前記第２特徴量算出ステップで算出された前記第２特徴量から、前記対象物の表面の欠陥種及び前記欠陥種毎の評点を判定する判定ステップと、
   を備える、表面性状検査方法。

Images