JP6284791B2 - 欠陥分類装置及びそのメンテナンス方法 - Google Patents

Description

本発明は、例えば鋼板の表面等に生じる欠陥を分類するための欠陥分類装置及びそのメンテナンス方法に関する。

各種製品の製造工程における欠陥を分類するための技術として、種々の統計的手法が広く利用されている。例えば、特許文献１には、撮影画像から得られた欠陥候補部の統計的特徴量を入力としたニューラルネットワークモデルによる疵の有無判定を行う表面疵自動探傷装置が開示されている。この表面疵自動探傷装置の場合、欠陥候補部のうち明瞭なものは疵と判定し、不明瞭なものについてのみニューラルネットワークモデルによる判定を行う。これにより、信号処理の高速化等を実現することができる。

上述したような統計的手法を用いた分類技術においては、例えば、統計モデルを生成した当時の操業状況と現在の操業状況とが異なる等の場合に、その統計モデルが現在では不適切なものとなってしまうために、十分な精度を得られなくなるという問題がある。そのため、十分な分類精度を維持する目的で、統計モデルを定期的に更新する作業が従来行われている。

特開平７−３３３１９７号公報

しかしながら、上述したような統計モデルの定期的な更新を行う場合、その都度作業負荷が発生することになるだけではなく、更新するタイミングが不適切なためにかえって分類精度が低下するおそれも生じる。

本発明は斯かる事情に鑑みてなされたものであり、その主たる目的は、上記の課題を解決することができる欠陥分類装置及びそのメンテナンス方法を提供することにある。

上述した課題を解決するために、本発明の一の態様の欠陥分類装置は、検査対象を撮像して得られた画像の特徴量に基づいて当該検査対象の欠陥候補が属するクラスを判別するための統計モデルを用いて、前記検査対象の欠陥候補を各クラスに分類する分類手段と、基準となる期間において得られた複数の画像中の検査対象の欠陥候補についての前記分類手段による分類結果に基づいて、分類結果が正常である正常範囲をクラス毎に設定する正常範囲設定手段と、前記正常範囲設定手段によって設定された正常範囲と、前記基準となる期間以降の第１の評価期間において得られた複数の画像中の検査対象の欠陥候補についての前記分類手段による第１の分類結果と、前記第１の評価期間よりも後の第２の評価期間において得られた複数の画像中の検査対象の欠陥候補についての前記分類手段による第２の分類結果とが、各クラスにおいて視覚的に比較可能なように示された前記統計モデルの適否情報を生成する生成手段と、前記生成手段により生成された適否情報を出力する出力手段とを備える。

また、この態様において、前記生成手段が、前記評価期間において得られた複数の画像中の検査対象の欠陥候補のうち、分類に異常があった欠陥候補を特定し、その特定した欠陥候補を示す情報を含む適否情報を生成するように構成されていてもよい。

また、この態様において、前記クラスが、欠陥候補が実際の欠陥である確率に応じて設定されていてもよい。

また、この態様において、前記分類手段が、画像の特徴量を変数とするロジスティック回帰分析によって検査対象の欠陥候補を各クラスに分類するように構成されていてもよい。

また、本発明の一の態様の欠陥分類装置のメンテナンス方法は、検査対象を撮像して得られた画像の特徴量に基づいて当該検査対象の欠陥候補が属するクラスを判別するための統計モデルを用いることによって、前記検査対象の欠陥候補を各クラスに分類する欠陥分類装置を、コンピュータを用いてメンテナンスする方法において、前記コンピュータが、基準となる期間において得られた複数の画像中の検査対象の欠陥候補についての前記欠陥分類装置による分類結果に基づいて、分類結果が正常である正常範囲をクラス毎に設定する正常範囲設定工程と、前記正常範囲設定工程によって設定された正常範囲と、前記基準となる期間以降の第１の評価期間において得られた複数の画像中の検査対象の欠陥候補についての前記欠陥分類装置による第１の分類結果と、前記第１の評価期間よりも後の第２の評価期間において得られた複数の画像中の検査対象の欠陥候補についての前記欠陥分類装置による第２の分類結果とが、各クラスにおいて視覚的に比較可能なように示された前記統計モデルの適否情報を生成する生成工程と、前記生成工程により生成された適否情報を出力する出力工程とを有している。

本発明に係る欠陥分類装置及びそのメンテナンス方法によれば、過大な作業負荷を発生させることなく、分類精度の低下を抑制することが可能になる。

本発明の実施の形態に係る欠陥分類装置の構成を示すブロック図。 本発明の実施の形態に係る欠陥分類装置が実行する統計モデル適否判定処理の処理手順を示すフローチャート。 基準データの内容を表すレーダーチャートの一例を示す図。 分類正常領域が示されたレーダーチャートの一例を示す図。 分類結果データの内容を示すレーダーチャートの一例を示す図。 分類結果データの内容を示すレーダーチャートの他の例を示す図。

以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。なお、以下に示す各実施の形態は、本発明の技術的思想を具体化するための方法及び装置を例示するものであって、本発明の技術的思想は下記のものに限定されるわけではない。本発明の技術的思想は、特許請求の範囲に記載された技術的範囲内において種々の変更を加えることができる。

本実施の形態の欠陥分類装置は、撮像カメラにより得られた撮像画像中に表れている検査対象の欠陥候補を分類するためのものである。以下では、検査対象の例として鋼板を採り上げることとする。

［欠陥分類装置の構成］
図１は、欠陥分類装置１の構成を示すブロック図である。欠陥分類装置１は、コンピュータ１ａによって実現される。図１に示すように、コンピュータ１ａは、本体１１と、画像表示部１２と、入力部１３とを備えている。本体１１は、ＣＰＵ１１ａ、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ、ハードディスク１１ｄ、入出力インタフェース１１ｅ、及び画像出力インタフェース１１ｆを備えており、これらのＣＰＵ１１ａ、ＲＯＭ１１ｂ、ＲＡＭ１１ｃ、ハードディスク１１ｄ、入出力インタフェース１１ｅ、及び画像出力インタフェース１１ｆは、バス１１ｇによって接続されている。

ＣＰＵ１１ａは、ＲＡＭ１１ｃにロードされたコンピュータプログラムを実行することができる。欠陥分類装置用のコンピュータプログラム１４をＣＰＵ１１ａが実行することにより、コンピュータ１ａが欠陥分類装置１として機能する。

ＲＯＭ１１ｂは、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、又はＥＥＰＲＯＭ（Electrically Erasable PROM）等によって構成されており、ＣＰＵ１１ａにより実行されるコンピュータプログラム及びこれに用いるデータ等が記録されている。

ＲＡＭ１１ｃは、ＳＲＡＭ又はＤＲＡＭ等によって構成されている。ＲＡＭ１１ｃは、ハードディスク１１ｄに記録されている種々のコンピュータプログラムの読み出しに用いられる。また、ＲＡＭ１１ｃは、ＣＰＵ１１ａがコンピュータプログラムを実行するときに、ＣＰＵ１１ａの作業領域として利用される。

ハードディスク１１ｄは、オペレーティングシステム及びアプリケーションプログラム等、ＣＰＵ１１ａに実行させるための種々のコンピュータプログラム及び当該コンピュータプログラムの実行に用いられるデータがインストールされている。欠陥分類装置用のコンピュータプログラム１４も、このハードディスク１１ｄにインストールされている。

また、ハードディスク１１ｄには、例えば米マイクロソフト社が製造販売するWindows（登録商標）等のマルチタスクオペレーティングシステムがインストールされている。以下の説明において、本実施の形態に係るコンピュータプログラム１４は当該オペレーティングシステム上で動作するものとする。

さらにハードディスク１１ｄには、画像データベース（ＤＢ）１０１が設けられている。この画像ＤＢ１０１には、鋼板の表面を撮像するための撮像カメラ（図示せず）により得られた撮像画像を示す画像データが格納されている。

入出力インタフェース１１ｅは、例えばUSB、IEEE1394、又はRS-232C等のシリアルインタフェース、SCSI、IDE、又は IEEE1284等のパラレルインタフェース、及びＤ／Ａ変換器、Ａ／Ｄ変換器等からなるアナログインタフェース等から構成されている。入出力インタフェース１１ｅには、キーボード及びマウスからなる入力部１３が接続されており、ユーザが当該入力部１３を使用することにより、コンピュータ１ａにデータを入力することが可能である。

また、この入出力インタフェース１１ｅには、上述した撮像カメラが接続されている。この撮像カメラが鋼板の表面を撮像することにより得られた撮像画像は、入出力インタフェース１１ｅによりＣＰＵ１１ａにて処理可能な形式に変換され、その変換後の画像データが画像ＤＢ１０１に格納される。

画像出力インタフェース１１ｆは、ＬＣＤ又はＣＲＴ等で構成された画像表示部１２に接続されており、ＣＰＵ１１ａから与えられた画像データに応じた映像信号を画像表示部１２に出力する。画像表示部１２は、入力された映像信号に従って、画像（画面）を表示ずる。

上述したように構成された本実施の形態の欠陥分類装置１は、ロジスティック回帰分析を用いた分類器として機能する。本実施の形態では、ロジスティック回帰分析における統計モデルを下記の式（１）により設定する。
Logit＝β₀＋β₁X₁＋β₂X₂＋・・・＋β_nX_n … 式（１）
ここで、βは回帰係数を、Xは説明変数をそれぞれ示している。

欠陥分類装置１は、上記のLogitに基づいて、撮像画像中に表れている欠陥候補が実際に欠陥である確率（以下、「欠陥発生確率」という）Ｐを下記の式（２）により求める。
本実施の形態のように鋼板の表面検査を行う場合において、鋼板表面の欠陥のように見える欠陥候補が撮像カメラによって発見されたとき、その欠陥候補が疵や割れ等のような実際の欠陥であるのか、それとも水滴やその他の付着物であって製品にはまったく害のないものであるのかを判別する必要がある。本実施の形態では、欠陥分類装置１が、欠陥候補の全長、円形度、明るさ、及び色等の画像の特徴量を説明変数として、上記式（１）及び（２）にしたがってロジスティック回帰分析を実行する。疵や割れは細長い形状のものが多いため、欠陥候補の全長が比較的長く且つ円形度が比較的低いものは、実際の欠陥である確率、すなわち欠陥発生確率Ｐが高い値となる。ここで、所定の閾値を設け、欠陥発生確率Ｐがその閾値を超える場合はその製品を不良品とし、当該閾値以下である場合はその製品を良品とすること等により、良品／不良品の判別を行うことが可能になる。

本実施の形態において、欠陥分類装置１は、予め、教師データを用いて式（１）における回帰係数βを設定するとともに、その後に実施されるメンテナンスの際に用いられる基準データを生成し、記憶しておく。より具体的に説明すると、例えば１ヵ月等の所定の期間（以下、「基準期間」という）において得られた撮像画像を用いて、画像の特徴量である入力と実際の欠陥であるか否かを示す出力との組である教師データを作成し、これを欠陥分類装置１に入力する。欠陥分類装置１は、この教師データを用いて回帰係数βを設定し、上記の式（１）及び（２）にしたがって、基準期間において得られた撮像画像中の欠陥候補についての欠陥発生確率Ｐを求める。そして、欠陥分類装置１は、そのようにして求めた各欠陥候補についての欠陥発生確率Ｐのそれぞれを、０から１までを０．１刻みで分けた１１段階（”0”，”0.1” ，”0.2” ，”0.3” ，”0.4” ，”0.5” ，”0.6” ，”0.7” ，”0.8” ，”0.9” ，”1”）のクラスの何れかに分類し、各クラスの度数を基準データとしてハードディスク１１ｄに記憶する。本実施の形態では、欠陥発生確率Ｐの値を小数点以下第一位で丸めて、各クラスに分類する。このようにして得られた基準データは、後述するように、欠陥分類装置１のメンテナンスの際にその後の分類結果との比較対象として用いられる。

［欠陥分類装置の動作］
上述したように構成された欠陥分類装置１は、上述した式（１）及び（２）に基づくロジスティック回帰分析にしたがって、欠陥候補の分類を実行し、良品／不良品の判別を実施する。その後、欠陥分類装置１のメンテナンスの際に、その時点で使用している統計モデルの適否を判定するための統計モデル適否判定処理を実行する。

図２は、本発明の実施の形態の欠陥分類装置１が実行する統計モデル適否判定処理の処理手順を示すフローチャートである。図２に示すように、欠陥分類装置１はまず、ハードディスク１１ｄに記憶されている基準データを読み出し、その基準データの内容を表すレーダーチャートを画像表示部１２に表示する（Ｓ１１）。

図３は、画像表示部１２に表示される、基準データの内容を表すレーダーチャートの一例を示す図である。図３に示すレーダーチャートでは、上述した１１段階のクラスを縦軸にとっており、基準データで示される各クラスの度数を総数で除した値（以下、「欠陥発生確率の割合」という）がその縦軸上にプロットされ、隣り合うプロットが直線で結ばれている。

オペレータは、このレーダーチャートを参照した上で、欠陥発生確率の割合に対して上下にマージンを設定し、そのマージンの値を欠陥分類装置１に対して入力する。このマージンの値は、数％程度が通常であり、欠陥分類装置１の異常に対する感度を高くしたい場合は比較的小さくし、感度を低くしたい場合は大きくする。どの程度の分類精度を許容できるかによって適宜設定されればよい。

欠陥分類装置１は、上述したようにして入力されたマージンの値を、基準データにおける欠陥発生確率の割合に加算及び減算することによって、分類正常領域を設定する（Ｓ１２）。図４は、その分類正常領域が示されたレーダーチャートの一例を示す図である。このレーダーチャートは、上記のマージンとして“３％”が設定された場合の例である。すなわち、この図４においては、図３に示すレーダーチャートにおける欠陥発生確率の割合が上下に３％ずつ広げられたことにより得られた範囲が、分類正常領域として示されている。本実施の形態では、分類結果がこの分類正常領域の範囲内に収まる場合、分類が正常に行われていると判断される。

次に、欠陥分類装置１は、上記の基準期間よりも後の期間である評価期間において得られた撮像画像中の欠陥候補を、その時点で使用している統計モデルを用いて、上述したように式（１）及び（２）により各クラスに分類する（Ｓ１３）。そして、欠陥分類装置１は、その分類結果である欠陥発生確率の割合を、上述した分類正常領域が示されたレーダーチャートにプロットすることによって、分類結果データを生成し（Ｓ１４）、これを表示する（Ｓ１５）。図５は、その分類結果データの内容を示すレーダーチャートの一例を示す図である。このレーダーチャートでは、評価期間として設定された期間Ａにおける分類結果を示す欠陥発生確率の割合がプロットされ、隣り合うプロットが破線で結ばれている。この例の場合、すべてのクラスにおいて、期間Ａにおける欠陥発生確率の割合が分類正常領域の範囲内となっている。そのため、オペレータは、現在使用している統計モデルが期間Ａにおいて適切であることを理解することができる。

なお、評価期間を複数設け、それらの複数の評価期間における分類結果を併せて分類結果データとし、これを出力するようにしてもよい。図６は、その場合の分類結果データの内容を示すレーダーチャートの一例を示す図である。このレーダーチャートでは、上記の期間Ａにおける分類結果に加えて、期間Ａよりも後の評価期間である期間Ｂにおける分類結果を示す欠陥発生確率の割合もプロットされており、期間Ａに係るデータは細い破線で、期間Ｂに係るデータは太い破線で示されている。この例の場合、期間Ｂについては、欠陥発生確率Ｐの値が“０．９”及び“１”となっているクラスにおいて分類正常領域の範囲を超えている。そのため、オペレータは、現在用いている統計モデルが期間Ａにおいては適切であるものの、期間Ｂにおいては不適切であることを確認することができる。そのため、期間Ｂ以降においては統計モデルを更新する必要があることが把握可能となる。

上述したように複数の評価期間における分類結果を併せて表示する場合、統計モデルの適否を示す指標の変化を時系列で把握することが可能となる。そのため、すべての評価期間における分類結果が分類正常領域の範囲内にあったとしても、例えば時間が経過するにしたがって、分類正常領域の中心、すなわち基準期間における分類結果から離れていっていることが確認できた場合、現在用いている統計モデルは近いうちに不適切になると考え、統計モデルの更新を検討する等の対応を図ることもできる。

次に、欠陥分類装置１は、ステップＳ１４にて生成した分類結果データを用いて、評価期間における分類結果が分類正常領域の範囲外にあるか否かを判定する（Ｓ１６）。ここで、欠陥分類装置１は、上記の期間Ｂにおける分類結果の例のように、分類正常領域の範囲外となっているクラスが１つでもあれば、その評価期間における分類結果は分類正常領域の範囲外にあると判定する。このステップＳ１６において、評価期間における分類結果がすべてのクラスにおいては分類正常領域の範囲内にあると判定した場合（Ｓ１６でＮＯ）、欠陥分類装置１は処理を終了する。他方、分類正常領域の範囲外となっているクラスが少なくとも１つはあるために、評価期間における分類結果が分類正常領域の範囲外にあると判定した場合（Ｓ１６でＹＥＳ）、欠陥分類装置１は、アラーム情報を出力し（Ｓ１７）、処理を終了する。このアラーム情報としては、各種の音声情報・画像情報・文字情報等を採用することができる。また、所定の担当者宛に電子メール等で通知するようにしてもよい。

上記のアラーム情報では、どのクラスにおいて分類正常領域の範囲外となる事態が発生したのかが示される。図６に示す例を用いて説明すると、期間Ｂでは、欠陥発生確率Ｐの値が“０．９”及び“１”となっているクラスにおいて分類正常領域の範囲外となる結果が得られているため、その旨がアラーム情報で示されることになる。この場合、オペレータは、統計モデルを更新するにあたって、アラーム情報に示されているクラスに分類された画像、すなわち分類に異常があった画像のみを確認すれば足りる。従来では、そのような情報が得られないため、すべての画像を確認しなければならなかったが、本実施の形態によれば、そのような大きい作業負荷を発生させることなく統計モデルの更新を実現することができる。

上述したように、本実施の形態では、採用している統計モデルが不適切になる時期を容易に知ることができるため、過大な作業負荷を発生させることなく、分類精度の維持を図ることが可能になる。

（その他の実施の形態）
上述した実施の形態では、レーダーチャートを用いて分類結果データを示しているが、その他の形式のグラフにより示してもよい。また、基準期間における欠陥発生確率の分布と評価期間における欠陥発生確率の分布との差を数値で表す等の手法によってもよい。なお、この差は、Logitで求めてもよく、Logitで算出する前の画像の各特徴量の計算値をベクトル化し、そのベクトルの分布の差として求めてもよい。この場合のベクトルの差は、例えば相関係数又はマハラノビス距離等を用いて計算することができる。

また、上述した実施の形態では、欠陥発生確率を複数段階に分けてクラスを設定しているが、これ以外の概念をクラスとしてもよい。例えば、疵や割れ等、欠陥の種類をクラスに設定すること等が想定される。

また、上述した実施の形態では、単一のコンピュータ１ａによってコンピュータプログラム１４のすべての処理が実行される構成について述べたが、本発明はこれに限定されるものではなく、当該コンピュータプログラム１４と同様の処理を、複数の装置（コンピュータ）により分散して実行する分散システムとすることも可能である。

本発明の欠陥分類装置及びそのメンテナンス方法は、画像情報に基づいて各種製品の欠陥を分類するための欠陥分類装置及びそのメンテナンス方法等として有用である。

１ 欠陥分類装置
１ａ コンピュータ
１１ 本体
１１ａ ＣＰＵ
１１ｂ ＲＯＭ
１１ｃ ＲＡＭ
１１ｄ ハードディスク
１１ｅ 入出力インタフェース
１１ｆ 画像出力インタフェース
１１ｇ バス
１２ 画像表示部
１３ 入力部
１４ コンピュータプログラム
１０１ 画像データベース

Claims (5)

1. 検査対象を撮像して得られた画像の特徴量に基づいて当該検査対象の欠陥候補が属するクラスを判別するための統計モデルを用いて、前記検査対象の欠陥候補を各クラスに分類する分類手段と、
   基準となる期間において得られた複数の画像中の検査対象の欠陥候補についての前記分類手段による分類結果に基づいて、分類結果が正常である正常範囲をクラス毎に設定する正常範囲設定手段と、
   前記正常範囲設定手段によって設定された正常範囲と、前記基準となる期間以降の第１の評価期間において得られた複数の画像中の検査対象の欠陥候補についての前記分類手段による第１の分類結果と、前記第１の評価期間よりも後の第２の評価期間において得られた複数の画像中の検査対象の欠陥候補についての前記分類手段による第２の分類結果とが、各クラスにおいて視覚的に比較可能なように示された前記統計モデルの適否情報を生成する生成手段と、
   前記生成手段により生成された適否情報を出力する出力手段と
   を備える、欠陥分類装置。
2. 前記生成手段が、前記評価期間において得られた複数の画像中の検査対象の欠陥候補のうち、分類に異常があった欠陥候補を特定し、その特定した欠陥候補を示す情報を含む適否情報を生成するように構成されている、
   請求項１に記載の欠陥分類装置。
3. 前記クラスが、欠陥候補が実際の欠陥である確率に応じて設定されている、
   請求項１又は２に記載の欠陥分類装置。
4. 前記分類手段が、画像の特徴量を変数とするロジスティック回帰分析によって検査対象の欠陥候補を各クラスに分類するように構成されている、
   請求項１乃至３の何れかに記載の欠陥分類装置。
5. 検査対象を撮像して得られた画像の特徴量に基づいて当該検査対象の欠陥候補が属するクラスを判別するための統計モデルを用いることによって、前記検査対象の欠陥候補を各クラスに分類する欠陥分類装置を、コンピュータを用いてメンテナンスする方法において、
   前記コンピュータが、
   基準となる期間において得られた複数の画像中の検査対象の欠陥候補についての前記欠陥分類装置による分類結果に基づいて、分類結果が正常である正常範囲をクラス毎に設定する正常範囲設定工程と、
   前記正常範囲設定工程によって設定された正常範囲と、前記基準となる期間以降の第１の評価期間において得られた複数の画像中の検査対象の欠陥候補についての前記欠陥分類装置による第１の分類結果と、前記第１の評価期間よりも後の第２の評価期間において得られた複数の画像中の検査対象の欠陥候補についての前記欠陥分類装置による第２の分類結果とが、各クラスにおいて視覚的に比較可能なように示された前記統計モデルの適否情報を生成する生成工程と、
   前記生成工程により生成された適否情報を出力する出力工程と
   を有することを特徴とする、欠陥分類装置のメンテナンス方法。