JP3002325B2 - 表面検査装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば鋼板やアルミニ
ウム板等の検査対象物の表面を検査して欠陥を検出する
表面検査装置に関し、更に詳しくは、欠陥の種類や等
級、すなわち程度を判定する表面検査装置に関する。

【０００２】

【従来の技術】この種の表面検査装置は、一般に検査対
象物の表面を撮像した画像信号から欠陥の特徴量を抽出
し、この特徴量を統計的に処理したり、ディシジョンツ
リーロジックを用いて欠陥の種類および等級を判定して
いる。

【０００３】図８は、この種の従来の表面検査装置の構
成図である。同図において、矢印７の方向に搬送される
帯状の検査対象物５の表面を検出器１によって光電的に
走査しながら撮像し、この撮像した画像信号を特徴抽出
回路２に供給し、検査対象物５の表面の欠陥６の特徴量
を抽出する。

【０００４】特徴抽出回路２で抽出された特徴量は、デ
ィシジョンツリーロジック３およびニューラルネット４
に供給され、ディシジョンツリーロジック３においては
エキスパートの経験に基づく構成により欠陥の種類を判
定し、種類別の出力信号ＫＤ１〜ＫＤｍを出力し、また
ニューラルネット４においては欠陥の程度、すなわち等
級を判定し、等級別の出力信号ＧＤ１〜ＧＤｐを出力す
る。なお、ニューラルネット４の重みパラメータは学習
によって決定される。

【０００５】また、この種の表面検査装置として、上述
したように検査対象物の表面を撮像した画像信号から抽
出した欠陥画像の二次元的な形状の特徴量および画像の
階調に相関を持つ濃度的な特徴量からディシジョンツリ
ー方式で欠陥、すなわちきずの種類および程度を判定す
る方式のものがある。図９はこのようなディシジョンツ
リー方式を利用して、きずの種類を判定する従来の表面
検査装置の構成を示している。このような表面検査装置
では、本装置で判定した欠陥種類や等級を目視検査員に
よる目視判定結果の欠陥種類や等級と一致させる判別ア
ルゴリズムを有し、この一致率の向上を図ることが行わ
れている。

【０００６】この方式は、「ＩＦ〜ＴＨＥＮ・・・」方
式のものであり、欠陥、すなわちきずの特徴量を所定の
しきい値と比較し、その判定結果の組み合せで欠陥の種
類を決定している。これは、まず１つの判定を行い、そ
の真偽により２方向に分岐し、次の判定を行うという処
理を欠陥の種類が決定されるまで繰り返し行うものであ
る。このディシジョンツリーの構造設計は知識、経験、
ユーザの判定基準との整合等の様々な要因を加味して、
しきい値を決定している。

【０００７】図１０は、上述したディシジョンツリー方
式による判定、学習による判定、および後述する本発明
の表面検査装置で利用している混在システムによる判定
の一致率を表したグラフであり、横軸に時間を示し、縦
軸に一致率を示しているが、時間軸はデータの採集とデ
ィシジョンツリーの設計時間を含んでいる。また、Ａで
示す曲線はディシジョンツリー方式による判定を示し、
Ｂで示す曲線は学習による判定を示し、Ｃで示す曲線は
本発明の表面検査装置の混在システムによる判定を示し
ている。

【０００８】図１０からわかるように、曲線Ａで示すデ
ィシジョンツリー方式では、最初の立ち上がりは早い
が、ある程度まで一致率が上がると、その後更に一致率
を上げようとすることが非常に困難であり、一致率はあ
る限界を有している。これは多数ある特徴量データの値
によっては判定しづらいパターンのものが若干存在する
ためである。

【０００９】曲線Ｂで示す学習による方式は、装置自体
に判定方法を学習させる学習機能を用いるものであり、
学習機能とは各特徴量データに対して最適な重み付けの
値を求めて、その重みの値によって判定する方法であ
る。この学習による方式は欠陥の種類および等級が多い
と、曲線Ｂで示すように、収束が遅く、すなわち学習時
間が長くなり、一致率が上がるまでに時間がかかる。

【００１０】

【発明が解決しようとする課題】上述した図８に示すよ
うな従来の表面検査装置では、学習に時間がかかるとと
もに、欠陥の程度の判定が適切に行えないという問題が
ある。また、熟練した検査員が目視で検査する場合、欠
陥の種類によって等級判定の仕方を微妙に変えている
が、上述した従来の表面検査装置にはこのような種類判
定と等級判定とを結び付ける要素がなく、適切な等級判
定を行うことができないという問題がある。

【００１１】更に、上述したように、ディシジョンツリ
ー方式を利用したり、または学習方式を利用した従来の
表面検査装置は、一致率に限界があって、高い一致率を
達成することが困難であったり、または一致率が上昇す
るまでに時間がかかるという問題がある。

【００１２】本発明は、上記に鑑みてなされたもので、
その目的とするところは、欠陥を高い信頼性をもって適
確かつ迅速に判定し得る表面検査装置を提供することに
ある。

【００１３】

【課題を解決するための手段】上記目的を達成するた
め、本発明の表面検査装置は、検査対象物の表面を撮像
する撮像手段と、該撮像手段で撮像した検査対象物の表
面の画像信号から欠陥の特徴量を抽出する特徴量抽出手
段と、この抽出された特徴量に基づいて欠陥の種類を判
定する種類判定手段と、前記特徴量および前記種類判定
手段が判定した欠陥の種類に基づいて欠陥の等級を判定
する等級判定手段とを有し、前記種類判定手段および前
記等級判定手段は、入力に応じてディシジョンツリーに
よる判定結果と学習機能による判定結果とを比較し、両
者が一致する場合には最終判定結果として採用し、両者
が異なる場合には補助学習判定を行って最終判定結果と
する判別手段を有することを要旨とする。

【００１４】また、本発明の表面検査装置は、検査対象
物の表面を撮像した画像信号から抽出された欠陥の特徴
量および目視検査員による目視判定信号から欠陥の程度
および種類を判別するアルゴリズムを作成する機能を有
する表面検査装置であって、前記判別アルゴリズムがデ
ィシジョンツリーによる判定ロジック、学習機能による
判定ロジック、両者の結果を比較するロジック、補助学
習ロジック、および最終判定決定ロジックを有すること
を要旨とする。

【００１５】

【作用】本発明の表面検査装置では、撮像手段で撮像し
た検査対象物の表面の画像信号から欠陥の特徴量を抽出
しておき、この抽出された特徴量に基づいて欠陥の種類
を判定する際に、この特徴量に対してディシジョンツリ
ーによる判定結果と学習機能による判定結果とを比較
し、両者が一致する場合には欠陥の種類の最終判定結果
として採用し、両者が異なる場合には補助学習判定を行
って欠陥の種類の最終判定結果とする。さらに、前記特
徴量および判定した欠陥の種類に基づいて欠陥の等級を
判定する際に、この特徴量および欠陥の種類に対してデ
ィシジョンツリーによる判定結果と学習機能による判定
結果とを比較し、両者が一致する場合には欠陥の等級の
最終判定結果として採用し、両者が異なる場合には補助
学習判定を行って欠陥の等級の最終判定結果とする。

【００１６】また、本発明の表面検査装置では、ディシ
ジョンツリーによる判定および学習機能による判定を行
い、両者の結果を比較し、一致していればそのまま採用
し、異なっている場合には、補助学習判定を行い、その
結果を最終判定結果としている。

【００１７】

【実施例】以下、図面を用いて本発明の実施例を説明す
る。

【００１８】図１は、本発明の一実施例に係わる表面検
査装置の構成を示す図である。同図に示す表面検査装置
は、矢印７の方向に搬送される検査対象物５の表面を検
出器１で撮像し、この撮像した画像信号を特徴抽出回路
２に供給して、検査対象物５の表面上の欠陥６の特徴量
を抽出する。

【００１９】そして、特徴抽出回路２で抽出された特徴
量は、Ｘ１〜Ｘｎとしてディシジョンツリーロジック１
３に供給され、予め検査のエキスパートによって定めら
れたディシジョンツリーにより欠陥の種類が判定され、
出力Ｙ１〜Ｙｍとして出力端子ＫＤ１〜ＫＤｍから出力
されるとともに、ニューラルネット４にも供給されてい
る。

【００２０】また、ニューラルネット４は、ディシジョ
ンツリーロジック１３からの欠陥の種類を示す出力Ｙ１
〜Ｙｍを供給されることに加えて、前記特徴抽出回路２
で抽出された特徴量Ｘ１〜Ｘｎも供給され、これにより
欠陥の種類の毎に欠陥の等級を判定し、出力Ｚ１〜Ｚｐ
として出力端子ＧＤ１〜ＧＤｐから出力される。

【００２１】ニューラルネット４は、複数のニューロン
からなるネットワークであり、各入力に対する重みのパ
ラメータは学習により決定される。

【００２２】図２は、ニューラルネット４としてフィー
ドバック機構を持たない最も単純なニューラルネットを
採用した図１に示す表面検査装置の変形例を示す図であ
る。図２において、ニューラルネット４は第１ニューロ
ン４−１から第ｐニューロン４−ｐで構成され、その各
々はディシジョンツリーロジック１３からの欠陥種類の
判定出力によって発火する。

【００２３】図３は、図１および２に示す表面検査装置
に使用されているディシジョンツリーロジック１３の具
体的構成を示す図である。同図に示すディシジョンツリ
ーロジック１３は、「ｉｆ〜ｔｈｅｎ・・・」形式のロ
ジックでエキスパートの判断により欠陥の種類を形等か
ら分類するものであり、欠陥の長さＨｉ、欠陥の幅Ｗ
ｉ、欠陥の面積Ｓｉの大きさを判定する複数の判定ブロ
ックから構成されている。すなわち、欠陥の長さ、幅お
よび面積等のような欠陥の種類判別のイメージに近いパ
ラメータを特徴量として選択し、これらのパラメータを
エキスパートの各経験値と比較して、欠陥の種類を判定
している。

【００２４】図４は、図１に示した表面検査装置に使用
されているニューラルネット４の別の構成を示す図であ
る。このニューラルネットは、各欠陥種類毎に等級判定
を行うためのｍ個のニューラルネット４０−１〜４０−
ｍを有し、各ニューラルネット４０−１〜４０−ｍは特
徴抽出回路２からの特徴量Ｘ１〜Ｘｎを入力として等級
判定を行い、グレード１からグレードｐまでの信号を択
一的に出力する。

【００２５】各ニューラルネット４０−１〜４０−ｐの
グレード１の各出力信号のうちの１つのみが出力スイッ
チＳ１で選択され、出力端子ＧＤ１から出力される。グ
レード２の各出力信号のうちの１つのみが出力スイッチ
Ｓ２で選択され、出力端子ＧＤ２から出力される。以下
同様にして、グレードｐの各出力信号のうちの１つのみ
が出力スイッチＳｐで選択され、出力端子ＧＤｐから出
力される。

【００２６】出力スイッチＳ１〜Ｓｐは、ディシジョン
ツリーロジック１３からの種類判定出力信号Ｙ１〜Ｙｍ
を受けて、その種類に対応してニューラルネット４０−
１〜４０−ｍのうちの該当するものの出力を選択するよ
うに切り替え制御される。すなわち、ディシジョンツリ
ーロジック１３から種類判定出力信号Ｙｉ（ｉ＝１〜
ｍ）を入力されると、ニューラルネット４０−ｉの出力
が等級判定出力信号として出力端子ＧＤ１〜ＧＤｐから
出力される。

【００２７】図５は、本発明の別の実施例に係わる表面
検査装置の判定アルゴリズムを示すフローチャートであ
る。同図に示す判定アルゴリズムは、ディシジョンツリ
ーによる判定（ステップ１１０）と学習機能による判定
（ステップ１２０）とを同時に行い、両者の結果を比較
し（ステップ１３０）、一致していれば、その結果をそ
のまま最終判定決定として採用し（ステップ１５０）、
異なっている場合には、更に補助学習判定を行い（ステ
ップ１４０）、その結果を最終判定結果とするものであ
る。

【００２８】図５に示す本実施例の表面検査装置は、上
述したように、ディシジョンツリー方式と学習方式の混
在システムとなっている。このような構成において、デ
ィシジョンツリーによる判定で誤判定となった場合と、
学習による判定で誤判定になった場合の中から、補助学
習判定によって正しい判定へと振り替えることができる
ので、それだけ一致率の向上を期待することができる。
また、学習機能を用いるには教示データ（サンプル）数
を少なくして一部欠落している場合等でも、ディシジョ
ンツリーで過去に蓄えた経験、知識でロジックを組むこ
とによりこの一部欠落を補間することができ、ディシジ
ョンツリーの利点である立ち上がりの速さを生かすこと
ができる。従って、従来に比較して、図５に示す実施例
の表面検査装置では、より速い立ち上がりとより高い一
致率を実現することができる。更に、学習機能の部分は
学習のためのデータ（特徴量と教示データ）を採集すれ
ばよいので、一度補助学習判定ロジックを作成した後
は、従来のディシジョンツリーを設計する作業量だけで
稼働することができる。

【００２９】図６は、本発明の更に別の実施例に係わる
表面検査装置の判定アルゴリズムを示すフローチャート
である。同図に示す判定アルゴリズムは、図５に示した
混在システムの判定アルゴリズムの処理の前にステップ
１０１〜１０５で示すようにディシジョンツリーおよび
学習処理を追加したものである。すなわち、まず、ステ
ップ１０１においてディシジョンツリーによる判定を行
うとともに、このディシジョンツリーによる判定の間に
オンラインでデータを採集して学習を進め（ステップ１
０３）、学習が十分習熟したと判断した後に（ステップ
１０５）、図５で示すと同じ混在システム切り替え、上
述したようにディシジョンツリーにより判定（ステップ
１１０）、学習機能による判定（ステップ１２０）、補
助学習判定（ステップ１４０）を行うようにしている。

【００３０】更に詳しくは、ステップ１０１，１１０の
ディシジョンツリーによる判定は、「ＩＦ〜ＴＨＥＮ・
・・」方式で、欠陥の特徴量を所定の値と比較し、その
判定結果の組み合せで欠陥の種類を決定する。また、ス
テップ１２０の学習による判定は、線形判別を基本と
し、欠陥の種類毎に線形関数を用意し、入力の特徴量デ
ータに対してその教師データである欠陥の種類の関数値
が最大となるように各関数の係数（＝重み）を求める。
この求め方は統計的な判別分析の手法や神経細胞のモデ
ルとしてのバーセプトン方式等を採用する。この方式で
は第１候補の欠陥の種類および第２の候補の欠陥の種類
まで求められ、それぞれに類似度が算出される。

【００３１】ステップ１４０における補助学習判定は、
ステップ１１０および１２０の各判定結果に基づいて次
に図７で示すように最終判定を決定する。

【００３２】図７に示す補助学習判定処理について説明
する。図６のステップ１１０におけるディシジョンツリ
ーにより判定の結果を欠陥種類ｉと判定し、ステップ１
２０における学習機能により判定の結果を欠陥種類ｊ
（第１候補の欠陥種類）と判定したとすると、両者が不
一致であると（ステップ１３０）、ディシジョンツリー
により判定結果である欠陥種類ｉと学習による判定結果
である欠陥種類の第２候補ｋとを比較する（ステップ２
１０）。ディシジョンツリーによる判定と学習による判
定の第２候補が一致する場合には、学習による判定の第
１候補ｊの類似度αと第２候補ｋの類似度βとを比較
し、大差がないか否かを判定する（ステップ２２０）。
この比較判定は、０と１との間の定数ｘ（０＜ｘ＜１）
を類似度αに掛けたものが類似度βより小さいか否かを
判定することにより行い、大差がない場合には、欠陥種
類ｉを最終判定としている（ステップ２３０）。

【００３３】大差がある場合には、ディシジョンツリー
により判定結果である欠陥種類ｉと学習による判定結果
の第１候補である欠陥種類ｊの２種だけを対象に行った
学習による判定（補助学習）を行い（ステップ２４０，
２５０）、その結果により最終判定の欠陥種類を決定す
る（ステップ２６０，２７０）。

【００３４】上述した実施例においては、ステップ１０
３において学習データを採取している間もステップ１０
１で示すようにディシジョンツリーの判別を行っている
ので、混在システムよりは若干一致率が劣るものの初期
の立ち上がりが良い。また、ステップ１０２として判定
決定される学習データの採取中の判定も比較的良い判定
結果を出すことが期待できる。そして、学習が十分習熟
した後に混在システムに切り替えることにより、図１０
の曲線Ｃで示すように更に一致率を向上させることがで
きる。このシステムでは、従来のディシジョンツリーと
同じ作業時間でシステムを立ち上げることができ、全体
としても高い一致率を上げることができる。

【００３５】

【発明の効果】以上説明したように、本発明によれば、
撮像手段で撮像した検査対象物の表面の画像信号から欠
陥の特徴量を抽出しておき、この抽出された特徴量に基
づいて欠陥の種類を判定する際に、この特徴量に対して
ディシジョンツリーによる判定結果と学習機能による判
定結果とを比較し、両者が一致する場合には欠陥の種類
の最終判定結果として採用し、両者が異なる場合には補
助学習判定を行って欠陥の種類の最終判定結果とする。
さらに、前記特徴量および判定した欠陥の種類に基づい
て欠陥の等級を判定する際に、この特徴量および欠陥の
種類に対してディシジョンツリーによる判定結果と学習
機能による判定結果とを比較し、両者が一致する場合に
は欠陥の等級の最終判定結果として採用し、両者が異な
る場合には補助学習判定を行って欠陥の等級の最終判定
結果とするので、欠陥の種類毎に異なる基準で等級判定
を行うことができるとともに、学習の収束も速く、加え
て、より速い立ち上がりとより高い一致率を実現するこ
とができる。

【００３６】また、本発明によれば、ディシジョンツリ
ーによる判定および学習機能による判定を行い、両者の
結果を比較し、一致していればそのまま採用し、異なっ
ている場合には、補助学習判定を行い、その結果を最終
判定結果としているので、ディシジョンツリーによる判
定により一致率の立ち上がりを速くすることができると
ともに、学習による判定により一致率の向上を高くする
ことができる。

【図面の簡単な説明】

【図１】本発明の一実施例に係わる表面検査装置の構成
を示す図である。

【図２】図１の表面検査装置に使用されているニューラ
ルネットとしてフィードバック機構を持たない最も単純
なニューラルネットを採用した図１に示す表面検査装置
の変形例を示す図である。

【図３】図１および２に示す表面検査装置に使用されて
いるディシジョンツリーロジックの具体的構成を示す図
である。

【図４】図１に示した表面検査装置に使用されているニ
ューラルネットの別の構成を示す図である。

【図５】本発明の別の実施例に係わる表面検査装置の判
定アルゴリズムを示すフローチャートである。

【図６】本発明の更に別の実施例に係わる表面検査装置
の判定アルゴリズムを示すフローチャートである。

【図７】図６，７に示した表面検査装置の判定アルゴリ
ズムにおける補助学習判定処理を示すフローチャートで
ある。

【図８】従来の表面検査装置の構成図である。

【図９】ディシジョンツリーによる判定を利用した従来
の表面検査装置の構成図である。

【図１０】従来のディシジョンツリーにより判別アルゴ
リズム、学習機能を用いた判別アルゴリズム、および本
発明の表面検査装置の判別アルゴリズムにおける一致率
を示すグラフである。

【符号の説明】

１ 検出器 ２ 特徴抽出回路 ４ ニューラルネット １３ ディシジョンツリーロジック

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平４−142412（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G01N 21/88 G01N 21/89 G01B 11/30 G06T 7/00

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 検査対象物の表面を撮像する撮像手段
   と、 該撮像手段で撮像した検査対象物の表面の画像信号から
   欠陥の特徴量を抽出する特徴量抽出手段と、 この抽出された特徴量に基づいて欠陥の種類を判定する
   種類判定手段と、 前記特徴量および前記種類判定手段が判定した欠陥の種
   類に基づいて欠陥の等級を判定する等級判定手段とを有
   し、 前記種類判定手段および前記等級判定手段は、 入力に応じてディシジョンツリーによる判定結果と学習
   機能による判定結果とを比較し、両者が一致する場合に
   は最終判定結果として採用し、両者が異なる場合には補
   助学習判定を行って最終判定結果とする判別手段を 有す
   ることを特徴とする表面検査装置。
2. 【請求項２】 検査対象物の表面を撮像した画像信号か
   ら抽出された欠陥の特徴量および目視検査員による目視
   判定信号から欠陥の程度および種類を判別するアルゴリ
   ズムを作成する機能を有する表面検査装置であって、前
   記判別アルゴリズムがディシジョンツリーによる判定ロ
   ジック、学習機能による判定ロジック、両者の結果を比
   較するロジック、補助学習ロジック、および最終判定決
   定ロジックを有することを特徴とする表面検査装置。