JP5037166B2

JP5037166B2 - 表面疵検査システム、表面疵検査方法、及びコンピュータプログラム

Info

Publication number: JP5037166B2
Application number: JP2007042461A
Authority: JP
Inventors: 純梅村
Original assignee: Nippon Steel Corp
Current assignee: Nippon Steel Corp
Priority date: 2007-02-22
Filing date: 2007-02-22
Publication date: 2012-09-26
Anticipated expiration: 2027-02-22
Also published as: JP2008203198A

Description

本発明は、表面疵検査システム、表面疵検査方法、及びコンピュータプログラムに関し、特に、疵測定対象物を画像化して疵検査を行うために用いて好適なものである。

例えば鋼板等の帯状体を疵検査対象物して、当該疵検査対象物の表面を照明して得られる反射光を画像化して、疵検査対象物の疵検査を行うことが行われている。
特許文献１には、鋼板を撮像したときに得られる信号を所定の閾値で２値化処理して、鋼板の表面に発生している疵を抽出する技術が開示されている。

具体的に説明すると、まず、ハロゲンランプにより照明された鋼板をカメラで撮像したときに得られる画像を用いて、鋼板の無疵部における受光信号のレベルの平均値を演算すると共に、無疵部における画像信号のレベルの標準偏差を演算する。そして、標準偏差に一定のゲインを乗じた値を、無疵部における画像信号のレベルの平均値に加算又は減算して閾値を設定し、設定した閾値に基づいて、画像信号を２値化処理し、疵部を抽出する。
このような疵検査対象物の疵検査の分野において、近年は、疵検査対象物の表面に形成されている微細な疵を検出するために、高精細な画像（高分解能の画像）を撮像する傾向にある。

特開平８−１８９９０５号公報

しかしながら、高精細な画像を撮像すると、微細な疵を画像化でき、ひいては微細な疵を検出する能力が向上するが、比較的大きな疵を１つの疵として検出することが困難な場合があるという問題点がある。すなわち、大きな疵の中には、疵検査対象物の地合に近い部分が存在するため、高精細な画像を撮像すると、大きな疵がその地合に近い部分で複数の小さな疵に分断された画像となってしまうことがある。つまり複数の部位で構成された大きな疵がある。そうすると、本来は大きな１つの疵であるのにも関わらず、その大きな１つの疵を複数の細かな疵として検出してしまうことになる。

このような問題点に対し、疵部であるか否かを判定するための閾値を調整（例えば低くする）して、地合いに近い疵部が検出され易くなるようにすることが考えられる。しかしながら、このようにすると、撮像された画像に含まれるノイズも疵部として検出してしまう虞があり、疵部を高精度に検出することができない。一方、疵部であるか否かを判定するための閾値を調整して、疵部が検出され難くなるようにすると、前述したように、大きな１つの疵を複数の細かな疵として検出してしまう。

以上のように、従来の技術では、微細な疵を検出しようとすると、複数の部位で構成された大きな疵を１つの疵として検出することが困難であり、微細な疵と大きな疵との双方を精度良く検出することが困難であるという問題点があった。
本発明はこのような問題点に鑑みてなされたものであり、微細な疵と大きな疵との双方を従来よりも精度良く検出できるようにすることを目的とする。

本発明の表面疵検査システムは、疵検査対象物を照明する照明手段と、前記照明手段により照明された疵検査対象物を撮像する撮像手段と、前記撮像手段により得られた画像信号に対してシェーディング補正を行うシェーディング補正手段と、前記シェーディング補正手段により得られた画像信号を２値化する第１の２値化手段と、前記シェーディング補正手段により得られた画像信号を低分解能化する低分解能化手段と、前記低分解能化手段により画素が間引かれた画像信号を２値化する第２の２値化手段と、前記第１の２値化手段により２値化された画像信号、及び前記第２の２値化手段により２値化された画像信号に対して膨張処理を行う膨張手段と、前記第２の２値化手段により２値化され前記膨張手段により膨張処理された画像信号を伸張する伸張手段と、前記シェーディング補正手段により得られた画像信号を２値化する第３の２値化手段と、前記第３の２値化手段により２値化された画像信号に対して孤立している画素を除去する孤立点除去手段と、前記第１の２値化手段により２値化され前記膨張手段により膨張処理された画像信号と、前記伸張手段により伸張された画像信号との互いに対応する画素の値について論理和を演算する領域合成手段と、前記領域合成手段により生成された画像信号に対してラベリング処理を行い、ラベル画像信号を生成するラベル画像生成手段と、前記孤立点除去手段により孤立している画素が除去された画像信号と、前記ラベル画像生成手段により生成されたラベル画像信号との互いに対応する画素値について論理積を演算するラベル画像調整手段と、疵の特徴量を求める特徴量導出手段とを有し、前記特徴量導出手段は、疵の形状に関わる特徴量を、前記ラベル画像生成手段により生成されたラベル画像信号を用いて求め、疵の輝度に関わる特徴量を、前記シェーディング補正手段により得られた画像信号に於いて、前記ラベル画像調整手段により得られた画像信号に基づくブロブに対応する画素の輝度情報を抽出することにより求めることを特徴とする。

本発明の表面疵検査方法は、疵検査対象物を照明する照明ステップと、前記照明ステップにより照明された疵検査対象物を撮像する撮像ステップと、前記撮像ステップにより得られた画像信号に対してシェーディング補正を行うシェーディング補正ステップと、前記シェーディング補正ステップにより得られた画像信号を２値化する第１の２値化ステップと、前記シェーディング補正ステップにより得られた画像信号を低分解能化する低分解能化ステップと、前記低分解能化ステップにより画素が間引かれた画像信号を２値化する第２の２値化ステップと、前記第１の２値化ステップにより２値化された画像信号、及び前記第２の２値化ステップにより２値化された画像信号に対して膨張処理を行う膨張ステップと、前記第２の２値化ステップにより２値化され前記膨張ステップにより膨張処理された画像信号を伸張する伸張ステップと、前記シェーディング補正ステップにより得られた画像信号を２値化する第３の２値化ステップと、前記第３の２値化ステップにより２値化された画像信号に対して孤立している画素を除去する孤立点除去ステップと、前記第１の２値化ステップにより２値化され前記膨張ステップにより膨張処理された画像信号と、前記伸張ステップにより伸張された画像信号との互いに対応する画素の値について論理和を演算する領域合成ステップと、前記領域合成ステップにより生成された画像信号に対してラベリング処理を行い、ラベル画像信号を生成するラベル画像生成ステップと、前記孤立点除去ステップにより孤立している画素が除去された画像信号と、前記ラベル画像生成ステップにより生成されたラベル画像信号との互いに対応する画素値について論理積を演算するラベル画像調整ステップと、疵の特徴量を求める特徴量導出ステップとを有し、前記特徴量導出ステップは、疵の形状に関わる特徴量を、前記ラベル画像生成ステップにより生成されたラベル画像信号を用いて求め、疵の輝度に関わる特徴量を、前記シェーディング補正ステップにより得られた画像信号に於いて、前記ラベル画像調整ステップにより得られた画像信号に基づくブロブに対応する画素の輝度情報を抽出することにより求めることを特徴とする。

本発明のコンピュータプログラムは、疵検査対象物を撮像する撮像手段により得られた画像信号に対してシェーディング補正を行うシェーディング補正ステップと、前記シェーディング補正ステップにより得られた画像信号を２値化する第１の２値化ステップと、前記シェーディング補正ステップにより得られた画像信号を低分解能化する低分解能化ステップと、前記低分解能化ステップにより画素が間引かれた画像信号を２値化する第２の２値化ステップと、前記第１の２値化ステップにより２値化された画像信号、及び前記第２の２値化ステップにより２値化された画像信号に対して膨張処理を行う膨張ステップと、前記第２の２値化ステップにより２値化され前記膨張ステップにより膨張処理された画像信号を伸張する伸張ステップと、前記シェーディング補正ステップにより得られた画像信号を２値化する第３の２値化ステップと、前記第３の２値化ステップにより２値化された画像信号に対して孤立している画素を除去する孤立点除去ステップと、前記第１の２値化ステップにより２値化され前記膨張ステップにより膨張処理された画像信号と、前記伸張ステップにより伸張された画像信号との互いに対応する画素の値について論理和を演算する領域合成ステップと、前記領域合成ステップにより生成された画像信号に対してラベリング処理を行い、ラベル画像信号を生成するラベル画像生成ステップと、前記孤立点除去ステップにより孤立している画素が除去された画像信号と、前記ラベル画像生成ステップにより生成されたラベル画像信号との互いに対応する画素値について論理積を演算するラベル画像調整ステップと、疵の特徴量を求める特徴量導出ステップとをコンピュータに実行させ、前記特徴量導出ステップは、疵の形状に関わる特徴量を、前記ラベル画像生成ステップにより生成されたラベル画像信号を用いて求め、疵の輝度に関わる特徴量を、前記シェーディング補正ステップにより得られた画像信号に於いて、前記ラベル画像調整ステップにより得られた画像信号に基づくブロブに対応する画素の輝度情報を抽出することにより求めることを特徴とする。

本発明によれば、小さな疵と大きな疵との双方を従来よりも精度良く検出でき、疵検査対象物の疵の特徴量を正確に求めることができる。

以下、図面を参照しながら、本発明の一実施形態を説明する。
図１は、本実施形態における表面疵検査システムの概略構成の一例を示した図である。尚、本実施形態では、図１に示すように、疵検査を行う疵検査対象物として、鉄鋼業の圧延鋼板製造ラインで製造された鋼板１を例に挙げて説明する。

図１において、鋼板１は、ロール２ａ、２ｂによって、長手方向（図１のＹ方向）に搬送される。また、ロール２ａ、２ｂの回転は、ロータリーエンコーダ３ａ、３ｂにより検出されるようにしている。
このような圧延鋼板製造ラインに設置される表面疵検査システムは、鋼板１を照明するための照明装置４と、照明装置４により鋼板１を照明することによって得られる反射光に基づく画像信号を撮像する撮像装置５と、撮像装置５で撮像された画像信号を処理して、鋼板１の表面に発生している疵を検出するためのＰＣ（Personal Computer）６とを有している。

照明装置４は、例えばハロゲンランプ等、好ましくは高い輝度を有する光を発光する発光部と、集光レンズ等の集光部とを有する。ハロゲンランプ等から出射される光が集光部で線状に集光されることにより、鋼板１の表面がその幅方向（図１のＸ方向）で線状に照明される。尚、本実施形態では、図１に示すように、鋼板１の幅方向の全てが確実に線状に照明されるように、鋼板１の幅方向の長さよりも長い線状の光を照明装置４が照射するようにしている。

撮像装置５は、照明装置４により照明された鋼板１の疵検査範囲を撮像して画像信号を生成する機能を有し、図１に示すように、照明装置４から照射され、鋼板１に当たって反射される光の光路上に配置される。この撮像装置５は、例えばＣＣＤラインスキャンカメラである。また、撮像装置５は、例えば、幅方向に４０９６画素を有し、ラインスキャン周波数を３６ＫＨｚとして、検査幅４００ｍｍ、搬送速度毎分２１６ｍの生産ラインで撮像した場合、鋼板１の幅方向および搬送方向の分解能が画素あたりそれぞれ０．１ｍｍという、高精細な画像信号（高分解能の画像信号）を生成することができる。尚、検査幅の拡大、あるいは幅方向の分解能をさらに上げる目的で、撮像装置５を幅方向に複数台のＣＣＤカメラで構成してもよい。

ＰＣ６は、コンピュータ本体６ａと、ディスプレイ６ｂとを有している。コンピュータ本体６ａは、ＣＰＵ、ＲＯＭ、ＲＡＭ、ハードディスク、及びユーザインターフェース等を有している。コンピュータ本体６ａのハードディスクには、後述するようにして疵検査を行うための疵検用アプリケーションプログラムがインストールされている。

ＣＰＵは、ユーザインターフェースのユーザによる操作等に基づいて、疵検用アプリケーションプログラムを起動する。そして、ＣＰＵは、疵検用アプリケーションプログラムを実行して、撮像装置５で撮像された画像信号や、ロータリーエンコーダ３ａ、３ｂで検出されたロール２ａ、２ｂの回転を示すパルス信号を入力し、疵検査を行うための処理を実行する。このとき、ＣＰＵは、ＲＯＭやＲＡＭに格納されているデータを用いたり、ＲＡＭをワークエリアとして用いたりして、疵検用アプリケーションプログラムを実行する。
ディスプレイ６ｂは、コンピュータ本体６ａで実行された疵検査の結果を示す画像を表示するためのものであり、所謂コンピュータディスプレイ（例えばＬＣＤ（Liquid Crystal Display）である。

図２は、表面疵検査システムに設けられたコンピュータ本体６ａが有する機能構成の一例を示すブロック図である。尚、図２に示すコンピュータ本体６ａ内の各部は、コンピュータ本体６ａに設けられたＣＰＵが、例えばハードディスクに記憶されているアプリケーションプログラムを実行することにより実現することができる。

搬送状況検出部２１は、ロール２ａ、２ｂの回転を示すパルス信号を、ロータリーエンコーダ３ａ、３ｂから受信し、受信したパルス信号に基づいて、生産ライン方向（図１のＹ方向）に移動する鋼板１の搬送状況を検出し、検出した搬送状況を示す搬送状況検出信号を生成する。

撮像制御部２２は、搬送状況検出部２１から受信した搬送状況検出信号に基づいて、鋼板１の疵検査の開始及び終了を判断し、判断した結果に応じて照明装置４及び撮像装置５の動作を制御する。

シェーディング補正部２３は、撮像装置５から受信した高精細な画像信号に対して、シェーディング補正を行う。そして、シェーディング補正部２３は、シェーディング補正を行った画像信号と、その画像信号が表す鋼板１の領域とを対応付けて、例えばＲＡＭに一時的に記憶する。

第３の２値化部２４では、シェーディング補正部２３によってシェーディング補正が行われた高精細な画像信号を、輝度閾値を用いて２値化する。具体的に第３の２値化部２４は、例えば、シェーディング補正部２３によってシェーディング補正が行われた高精細な画像信号の輝度値が、予め設定された上限閾値以上、あるいは下限閾値以下である場合には、その輝度値を有する画素を「１」に設定し、それ以外である場合には、その輝度値を有する画素を「０」に設定する。尚、鋼板１の表面に形成された疵の形状を、２値化された画像信号によって、可及的に正確に（きれいに）抽出できるようにするための値が、第３の２値化部２４で使用される閾値として設定される。

図３（ａ）に、第３の２値化部２４により２値化された画像の一例を示す。尚、図３（ａ）では、鋼板１の領域のうち、１つの疵が形成されている領域の画像を抜き出して示している。図３（ａ）に示す画像では、多数の白色の部分が点在し、本来１つの疵として検出されるべき疵が、多数の小さな疵として検出されてしまう。

孤立点除去部２５は、第３の２値化部２４で２値化された画像信号において、「１」が設定されている画素が孤立している場合、その「１」が設定されている画素の設定値を「１」から「０」に変更する。孤立点除去部２５は、例えば、第３の２値化部２４で２値化された画像信号において、「１」が設定されている画素の周囲の全ての画素に「０」が設定されている場合、その「１」が設定されている画素の設定値を「１」から「０」に変更する。尚、孤立点除去部２５は、必ずしもこのようにして孤立している画素を除去する必要はない。例えば、連続して「１」が設定されている画素の数が予め定められた数以下である場合に、それらの画素の設定値を「１」から「０」に変更するようにしてもよい。

第１の２値化部２６では、シェーディング補正部２３によってシェーディング補正が行われた高精細な画像信号を２値化する。第１の２値化部２６の目的は、前記第３の２値化部２４のように鋼板１の表面に形成された疵の形状を可及的に正確に抽出することではなく、１つの疵を分断することのないよう、疵の正確な形態抽出を多少犠牲にしても、１つの疵に対応する各画素がなるべく漏れなく「１」になることである。よって、疵部以外の地合部分などが若干紛れて「１」になっても許容することができる。

第１の２値化部２６において、輝度値に関する上下限閾値を用いた前記第３の２値化部２４と同じ２値化方法を用いることがもちろん可能である。しかしながら、本実施形態の目的を実現するために、これらの閾値は第１の２値化部２６よりも緩和された閾値が必要である。
このような緩和された閾値による前記第３の２値化部２４と同じ２値化方法を第１の２値化部２６に用いた場合、疵部以外の地合部分などが若干紛れて「１」となる可能性があるのは前記の通りであるが、疵検出性能の観点からは、このような現象は当然望ましくないことがある。よって本実施形態では、前記の第１の２値化部２６の２値化方法として、輝度値に関する閾値に加え、画素数の閾値を併せて考慮することのできる２値化手段を用いる。特開２００５−６９８８７号公報にはこの２値化方法に関する技術が開示されているが、その概要を以下で図４を参照しながら説明する。
図４において、まず、Ａ×Ｂ（Ａ、Ｂは画像信号の画素数に対応する自然数）画素の画像信号に対して、Ｃ×Ｄ（Ｃ、Ｄは２以上の自然数、図４では３×３）画素の第１の検出領域４２ａを設定する。そして、予め設定した輝度閾値以上の輝度値を有する画素の数が、第１の検出領域４２ａに、予め設定した画素数閾値以上あるか否かを判定する。

この判定の結果、輝度閾値以上の輝度値を有する画素の数が、第１の検出領域４２ａに、画素数閾値以上ある場合、第１の検出領域４２ａの各画素に対してＯＮ（「１」）を設定する。
一方、輝度閾値以上の輝度値を有する画素の数が、第１の検出領域４２ａに、画素数閾値以上ない場合、第１の検出領域４２ａの各画素に対してＯＦＦ（「０」）を設定する。

次に、第１の検出領域４２ａを横方向に、例えば１画素ずらした第２の検出領域４２ｂを設定する。そして、輝度閾値以上の輝度値を有する画素の数が、第２の検出領域４２ｂに、画素数閾値以上あるか否かを判定する。この判定の結果、輝度閾値以上の輝度値を有する画素の数が、第２の検出領域４２ｂに、画素数閾値以上ある場合、第２の検出領域４２ｂの各画素に対してＯＮ（「１」）を設定する。このとき、第２の検出領域４２ｂの画素に対して既にＯＦＦ（「０」）が設定されている場合、その画素に対する設定をＯＦＦ（「０」）からＯＮ（「１」）に変更する。

一方、輝度閾値以上の輝度値を有する画素の数が、第２の検出領域４２ａに、画素数閾値以上ない場合、第２の検出領域４２ｂの各画素に対してＯＦＦ（「０」）を設定する。但し、第２の検出領域４２ｂの画素に対して既にＯＮ（「１」）が設定されている場合、その画素に対する設定をＯＦＦ（「０」）にせず、ＯＮ（「１」）のままとする。

検出領域を、例えば１画素ずつずらして以上のような処理を、２値化する対象の画像信号（Ａ×Ｂ画素の画像信号）の全ての領域について行い、その画像信号の全ての画素に対して、ＯＮ（「１」）又はＯＦＦ（「０」）を設定する。
本実施形態では、以上のようにして２値化を行うことにより、シェーディング補正が行われた画像信号に含まれるノイズを可及的に拾わずに、そのシェーディング補正が行われた画像信号を２値化することができると共に、１つの疵領域を可及的に確実に１つの領域として検出すること可能になる。

膨張部２７は、第１の２値化部２６で２値化された画像信号に対して膨張処理を行う。これにより、例えば、ＯＦＦ（「０」）が設定されている画素が、ＯＮ（「１」）が設定されている画素に囲まれている場合、そのＯＦＦ（「０」）が設定されている画素の設定が、ＯＦＦ（「０」）からＯＮ（「１」）に変更される。
以上のように、第１の２値化部２６及び膨張部２７の処理によって、鋼板１の表面に形成されている疵のうち、相対的に小さな疵領域を可及的に１つの疵領域として検出することができる。

低分解能化部２８は、シェーディング補正部２３によってシェーディング補正が行われた高精細な画像信号を低分解能化する。本実施形態では、低分解能化部２８は、鋼板１の長手方向（図１のＹ方向）に長い疵を検出するために、シェーディング補正が行われた高精細な画像信号の幅方向（図１のＸ方向）の画素を、Ｅ（Ｅは自然数、例えば７）ライン分間引くことにより、幅方向が１／Ｅの大きさの低分解能の画像を生成する。但し、画素を間引く方法は、このようなものに限定されず、例えば、鋼板１の長手方向及び幅方向の双方に亘る広範囲の疵を検出する場合には、幅方向（図１のＸ方向）の画素に加えて、長手方向（図１のＹ方向）の画素を間引くようにしてもよい。また、前記のようにラインを間引く前に、高周波除去フィルタ(ローパスフィルタ)などを事前に適用しないと、エイリアシングと呼ばれる現象により画像が劣化する場合がある。このような場合は事前に適切なフィルタを適用することが必要であり、適用先に応じて判断が必要となる。さらに、低分解能化部２８は、画像信号を間引く代わりに、決められた領域（例えば横３画素、縦３画素）の平均輝度、あるいは最大輝度、最小輝度を計算し、それらを低分解能画像（縦１／３、横１／３となる）の画素値として画像信号を低分解能化しても良い。

第２の２値化部２９では、低分解能化部２８で低分解能化された画像信号を２値化する。第２の２値化部２９の目的は、第１の２値化部２６と同じであり、２値化する対象が低分解能画像であることが異なる。よって、その方法や閾値の選択基準も第１の２値化部２６と同様である。本実施の形態では、第２の２値化部２９においても、図４で説明した２値化方法を用いるため、詳細な説明を省略する。

伸張部３１は、膨張部３０で膨張処理が行われた画像信号を、低分解能化部２８で行われた低分解能化の量に応じて、元の大きさに伸張する。図３（ｂ）に、伸張部３１により伸張された画像の一例を示す。尚、図３（ｂ）に示す画像と、図３（ａ）に示した画像は、撮像装置５により撮像された同一の画像信号から得られたものである。図３（ａ）に示した画像では、多数の白色の部分が点在し、多数の小さな疵として検出されてしまうのに対し、図３（ｂ）に示した画像では、１つの大きな疵として検出できることが分かる。

以上のように、低分解能化部２８、第２の２値化部２９、膨張部３０、及び伸張部３１の処理によって、撮像装置５で撮像された高精細な画像信号の解像度を低解像度化することができる。従って、鋼板１の表面に形成されている疵のうち、相対的に大きな疵領域を可及的に１つの疵領域として抽出することができる。

領域合成部３２は、膨張部２７により膨張処理が行われた画像信号（相対的に小さな疵領域に「１」が設定されている２値化画像信号）と、伸張部３１により伸張された画像信号（相対的に大きな疵領域に「１」が設定されている２値化画像信号）との互いに対応する画素の値について論理和（ＯＲ）を演算する。これにより、相対的に大きな疵領域と、相対的に小さな疵領域との双方に「１」が設定された画像信号が生成される。

ラベル画像生成部３３は、領域合成部３２で生成された画像信号に対してラベリングを行い、ラベル画像信号を生成する。これにより、同一の疵領域（隣接して「１」が設定されている領域）の各画素には、画素値として、同一のラベル番号が与えられる。

ラベル画像調整部３４は、ラベル画像生成部３３により生成されたラベル画像信号と、孤立点除去部２５により孤立している画素が除去された画像信号との互いに対応する画素の値について論理積（ＡＮＤ）を演算する。これにより、第３の２値化部２４で２値化された画像信号で「０」が設定されている画素に対応するラベル画像信号の画素の設定が、無効化される（ラベル画像信号の画素に対して設定されているラベル番号を消去する）。

特徴量計算部３５は、鋼板１の表面に生じている疵の特徴量を計算する。本実施形態では、特徴量計算部３５は、鋼板１の表面に生じている疵の長さや幅等、鋼板１の表面に生じている疵の形状については、ラベル画像生成部３３により生成されたラベル画像信号を用いて算出する。また、鋼板１の表面に生じている疵の数についても、ラベル画像生成部３３により生成されたラベル画像信号を用いて算出する。

以上のように本実施形態では、ラベル画像信号は、第１の２値化部２６、第２の２値化部２９で２値化が行われた画像信号を用いて生成される。よって、本実施形態では、第１の２値化部２６により第１の２値化手段が実現され、第２の２値化部２９により第２の２値化手段が実現される。

一方、鋼板１の輝度分布等、輝度に関する特徴量を求める場合、特徴量計算部３５は、まず、ラベル画像調整部３４により設定が変更されたラベル画像信号に基づくブロブ（ｂｌｏｂ）を求める。そして、特徴量計算部３５は、シェーディング補正部２３によってシェーディング補正が行われた高精細な画像信号から、求めたブロブに対応する画素を走査することにより輝度情報を抽出し、抽出した輝度情報に基づいて、ブロブ内の最大輝度、最小輝度、輝度平均、輝度分散、ヒストグラムなどの輝度に関する特徴量を求める。
そして、特徴量計算部３５は、以上のようにして求めた特徴量に基づいて、疵の種類や、疵のグレードを求める。

以上のように本実施形態の孤立点除去部２５は、第３の２値化部２４で２値化された画像信号から、孤立している画素を除去する。よって、本実施形態では、第３の２値化部２４により第３の２値化手段が実現される。

画像生成部３６は、特徴量計算部３５で求められた特徴量、疵の種類、及び疵のグレードを示す疵検出画像データを生成し、ディスプレイ６ｂに表示させる。本実施形態では、画像生成部３６は、特徴量計算部３５で求められた特徴量等に基づいて、鋼板１を模した画像の上に、疵を模した画像を重ね合わせた疵検出画像データ（マップ）を生成する。これにより、鋼板１のどの場所にどのような疵が生じているのかを視覚的にユーザに認識させることができる。

次に、図５及び図６のフローチャートを参照しながら、表面疵検査システムの処理動作の一例を説明する。尚、ここでは、前述した疵検用アプリケーションプログラムが起動されているものとして説明を行う。
まず、ステップＳ１において、撮像制御部２２は、搬送状況検出部２１から受信した搬送状況検出信号に基づいて、鋼板１を検出するまで待機する。そして、鋼板１を検出すると、ステップＳ２に進み、撮像制御部２２は、照明装置４を制御して、照明装置４に設けられている発光部（例えばハロゲンランプ）を発光させるとともに、撮像装置５を制御して撮像装置５を作動させる。

次に、ステップＳ３において、照明装置４は、光を照射して鋼板１を照明する。
次に、ステップＳ４において、撮像装置５は、生産ライン方向（図１のＹ方向）に搬送されている鋼板１を撮像する。
次に、ステップＳ５において、シェーディング補正部２３は、撮像装置５から画像信号が入力されるまで待機する。

そして、撮像装置５から画像信号が入力されると、ステップＳ６に進み、シェーディング補正部２３は、ステップＳ５で撮像装置５から受信した画像信号に対して、シェーディング補正を行う。このとき、シェーディング補正部２３は、搬送状況検出部２１から受信した搬送状況検出信号に基づいて、シェーディング補正を行った画像信号と、その画像信号が表す鋼板１の領域とを対応付けて、例えばＲＡＭに一時的に記憶する。

次に、ステップＳ７において、第３の２値化部２４は、ステップＳ６でシェーディング補正が行われた画像信号を、輝度閾値を用いて２値化する。
次に、ステップＳ８において、孤立点除去部２５は、ステップＳ７で２値化された画像信号において、「１」が設定されている画素が孤立している場合、その「１」が設定されている画素の設定値を「１」から「０」に変更し、孤立している画素を除去する。そして、孤立点除去部２５は、孤立している画素を除去した画像信号を、例えばＲＡＭに一時的に記憶する。

次に、ステップＳ９において、第１の２値化部２６は、ステップＳ６でシェーディング補正が行われた画像信号を、輝度閾値と画素数閾値とを用いて２値化する。このステップＳ９の処理の詳細については、図６を用いて後述する。
次に、ステップＳ１０において、膨張部２７は、ステップＳ９で２値化された画像信号に対して膨張処理を行う。そして、膨張部２７は、膨張処理を行った画像信号を、例えばＲＡＭに一時的に記憶する。

次に、図５−２のステップＳ１１において、低分解能化部２８は、ステップＳ６でシェーディング補正が行われた画像信号を低分解能化する。
次に、ステップＳ１２において、第２の２値化部２９は、ステップＳ１１で画素が低分解能化された画像信号を、輝度閾値と画素数閾値とを用いて２値化する。このステップＳ１２の処理の詳細については、図６を用いて後述する。
次に、ステップＳ１３において、膨張部３０は、ステップＳ１２で２値化された画像信号に対して膨張処理を行う。

次に、ステップＳ１４において、伸張部３１は、ステップＳ１３で膨張処理が行われた画像信号を、ステップＳ１１で行われた低分解能化の量に応じて、元の大きさに伸張する。そして、伸張部３１は、伸張した画像信号を、例えばＲＡＭに一時的に記憶する。
次に、ステップＳ１５において、領域合成部３２は、ステップＳ１０で膨張処理が行われた画像信号（相対的に小さな疵領域に「１」が設定されている２値化画像信号）と、ステップＳ１４で伸張された画像信号（相対的に大きな疵領域に「１」が設定されている２値化画像信号）との互いに対応する画素の値について論理和（ＯＲ）を演算し、相対的に大きな疵領域と、相対的に小さな疵領域との双方に「１」が設定された画像信号を生成する。

次に、ステップＳ１６において、ラベル画像生成部３３は、ステップＳ１５で生成された画像信号に対してラベリングを行い、ラベル画像信号を生成する。そして、ラベル画像生成部３３は、生成したラベル画像信号を、例えばＲＡＭに一時的に記憶する。
次に、ステップＳ１７において、ラベル画像調整部３４は、ステップＳ１６で生成されたラベル画像信号と、ステップＳ８で孤立している画素が除去された画像信号との互いに対応する画素の値について論理積（ＡＮＤ）を演算し、ステップＳ７で２値化された画像信号で「０」が設定されている画素に対応するラベル画像信号の画素の設定を無効化する。

次に、ステップＳ１８において、特徴量計算部３５は、鋼板１の表面に生じている疵の特徴量を求め、それら特徴量からルールなどの様々な判別器を用いて、疵の種類と、疵のグレードとを求める。
次に、ステップＳ１９において、画像生成部３６は、ステップＳ１８で求められた特徴量、疵の種類、及び疵のグレードを示す疵検出画像データを生成し、ディスプレイ６ｂに表示させる。

次に、ステップＳ２０において、シェーディング補正部２３は、搬送状況検出部２１から受信した搬送状況検出信号に基づいて、鋼板１の疵検査が完了したか否かを判定する。この判定の結果、疵検査が完了していれば、ステップＳ２１に進み、撮像制御部２２は、照明装置４に設けられている発光部の発光動作と、撮像装置５の動作とを停止させる。
一方、疵検査が完了していない場合は、ステップＳ５に戻り、疵検査が完了するまでステップＳ５からステップＳ２０までの処理を繰り返す。

次に、図６のフローチャートを参照しながら、図５−１のステップＳ９及び図５−２のステップＳ１２で第１及び第２の２値化を行う際の処理の詳細を説明する。
まず、ステップＳ３１において、第１及び第２の２値化部２６、２９は、変数ｎを１に設定する。
次に、ステップＳ３２において、第１および第２の２値化部２６、２９は、画像信号に対して、第ｎの検出領域４２を設定する。尚、ステップＳ９では、ステップＳ６でシェーディング補正が行われた画像信号に対して、第ｎの検出領域４２を設定する。一方、ステップＳ１２では、ステップＳ１１で画素が低分解能化された画像信号に対して、第ｎの検出領域４２を設定する。

次に、ステップＳ３３において、第１及び第２の２値化部２６、２９は、輝度閾値以上の輝度値を有する画素の数が、ステップＳ３２で設定した第ｎの検出領域４２に、画素数閾値以上あるか否かを判定する。この判定の結果、輝度閾値以上の輝度値を有する画素の数が、ステップＳ３２で設定した第ｎの検出領域４２に、画素数閾値以上ない場合には、後述するステップＳ３７に進む。一方、輝度閾値以上の輝度値を有する画素の数が、ステップＳ３２で設定した第ｎの検出領域４２に、画素数閾値以上ある場合には、ステップＳ３４に進む。

そして、ステップＳ３４において、第１及び第２の２値化部２６、２９は、ステップＳ３２で設定した第ｎの検出領域４２の各画素に対してＯＮ（「１」）を設定する。
次に、ステップＳ３５において、第１及び第２の２値化部２６、２９は、画像信号の全ての画素に対して、ＯＮ（「１」）又はＯＦＦ（「０」）を設定したか否かを判定する。この判定の結果、画像信号の全ての画素に対して、ＯＮ（「１」）又はＯＦＦ（「０」）を設定した場合には、図５に示したメインフローチャートに戻る。

一方、画像信号の全ての画素に対して、ＯＮ（「１」）又はＯＦＦ（「０」）を設定していない場合には、ステップＳ３６に進み、第１及び第２の２値化部２６、２９は、変数ｎに１を加算して、ステップＳ３２に戻る。そして、ステップＳ３２において、第１及び第２の２値化部２６、２９は、前回設定した第ｎの検出領域４２を１画素ずらした領域を第（ｎ＋１）の検出領域４２として設定する。

前記ステップＳ３３において、輝度閾値以上の輝度値を有する画素の数が、ステップＳ３２で設定した第ｎの検出領域４２に、画素数閾値以上ないと判定された場合には、ステップＳ３７に進む。そして、ステップＳ３７において、第１及び第２の２値化部２６、２９は、ステップＳ３２で設定した第ｎの検出領域４２に、ＯＮ（「１」）が設定されている画素があるか否かを判定する。この判定の結果、ステップＳ３２で設定した第ｎの検出領域４２に、ＯＮ（「１」）が設定されている画素がある場合には、ステップＳ３８に進む。そして、ステップＳ３８において、第１及び第２の２値化部２６、２９は、ＯＮ（「１」）が設定されている画素を除き、ステップＳ３２で設定した第ｎの検出領域４２の各画素に対してＯＦＦ（「０」）を設定する。そして、前述したステップＳ３５に進む。

一方、ステップＳ３２で設定した第ｎの検出領域４２に、ＯＮ（「１」）が設定されている画素がない場合には、ステップＳ３９に進む。そして、ステップＳ３９において、第１及び第２の２値化部２６、２９は、ステップＳ３２で設定した第ｎの検出領域４２の各画素に対してＯＦＦ（「０」）を設定する。そして、前述したステップＳ３５に進む。

以上のように本実施形態では、鋼板１の表面に形成された疵の形状を可及的に正確に表す画像信号を第３の２値化部２４及び孤立点除去部２５で生成する。そして、相対的に小さな１つの疵領域を可及的に確実に１つの領域として表す画像信号を、第１の２値化部２６及び膨張部２７で生成する。更に、相対的に大きな１つの疵領域を可及的に確実に１つの領域として表す画像信号を、低分解能化部２８、第２の２値化部２９、膨張部３０、及び伸張部３１で生成する。従って、第１の２値化部２６、膨張部２７、低分解能化部２８、第２の２値化部２９、膨張部３０、及び伸張部３１で１つの疵領域を可及的に正確に検出すると共に、第３の２値化部２４及び孤立点除去部２５で疵の形状を正確に検出することによって、鋼板１の表面に形成されている疵の特徴量を可及的に正確に求めることができる。これにより、例えば、本来１つの疵領域であるべきものが、第３の２値化部２４及び孤立点除去部２５で、複数の疵として検出されても、それら複数の疵が１つの疵領域に属するものであることを、第１の２値化部２６、膨張部２７、低分解能化部２８、第２の２値化部２９、膨張部３０、及び伸張部３１における検出結果によって認識することができる。よって、微細な疵と大きな疵との双方を従来よりも精度良く検出でき、鋼板１の表面に形成されている疵の特徴量を従来よりも正確に求めることができる。

尚、本実施形態では、膨張部２７により膨張処理が行われた画像信号（相対的に小さな疵領域に「１」が設定されている２値化画像信号）と、伸張部３１により伸張された画像信号（相対的に大きな疵領域に「１」が設定されている２値化画像信号）との互いに対応する画素の値について、領域合成部３２が論理和（ＯＲ）を演算するようにした。しかしながら、必ずしも領域合成部３２を用いる必要はない。

例えば、ラベル画像調整部３４は、膨張部２７により膨張処理が行われた画像信号と、伸張部３１により伸張された画像信号との夫々に対してラベリングを行い、第１及び第２のラベル画像信号を生成する。そして、ラベル画像調整部３４は、第１のラベル画像信号と、孤立点除去部２５で孤立している画素が除去された画像信号との互いに対応する画素の値について、論理積（ＡＮＤ）を演算すると共に、第２のラベル画像信号と、孤立点除去部２５で孤立している画素が除去された画像信号との互いに対応する画素の値についても、論理積（ＡＮＤ）を演算する。

尚、以上説明した本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、プログラムをコンピュータに供給するための手段、例えばかかるプログラムを記録したＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体、又はかかるプログラムを伝送する伝送媒体も本発明の実施の形態として適用することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体などのプログラムプロダクトも本発明の実施の形態として適用することができる。前記のプログラム、コンピュータ読み取り可能な記録媒体、伝送媒体及びプログラムプロダクトは、本発明の範疇に含まれる。
また、前述した実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本発明の実施形態を示し、表面疵検査システムの概略構成の一例を示した図である。本発明の実施形態を示し、表面疵検査システムに設けられたコンピュータ本体が有する機能構成の一例を示すブロック図である。本発明の実施形態を示し、２値化された画像の一例を示す図である。本発明の実施形態を示し、輝度と画素数に関する閾値を用いる２値化の方法の一例を説明する図である。本発明の実施形態を示し、表面疵検査システムの処理動作の一例を説明するフローチャートである。本発明の実施形態を示し、図５−１に続くフローチャートである。本発明の実施形態を示し、図５−１のステップＳ９及び図５−２のステップＳ１２で、図４に示す２値化を行う際の処理の詳細を説明するフローチャートである。

符号の説明

１鋼板
２ロール
３ロータリーエンコーダ
４照明装置
５撮像装置
６ＰＣ

Claims

疵検査対象物を照明する照明手段と、
前記照明手段により照明された疵検査対象物を撮像する撮像手段と、
前記撮像手段により得られた画像信号に対してシェーディング補正を行うシェーディング補正手段と、
前記シェーディング補正手段により得られた画像信号を２値化する第１の２値化手段と、
前記シェーディング補正手段により得られた画像信号を低分解能化する低分解能化手段と、
前記低分解能化手段により画素が間引かれた画像信号を２値化する第２の２値化手段と、
前記第１の２値化手段により２値化された画像信号、及び前記第２の２値化手段により２値化された画像信号に対して膨張処理を行う膨張手段と、
前記第２の２値化手段により２値化され前記膨張手段により膨張処理された画像信号を伸張する伸張手段と、
前記シェーディング補正手段により得られた画像信号を２値化する第３の２値化手段と、
前記第３の２値化手段により２値化された画像信号に対して孤立している画素を除去する孤立点除去手段と、
前記第１の２値化手段により２値化され前記膨張手段により膨張処理された画像信号と、前記伸張手段により伸張された画像信号との互いに対応する画素の値について論理和を演算する領域合成手段と、
前記領域合成手段により生成された画像信号に対してラベリング処理を行い、ラベル画像信号を生成するラベル画像生成手段と、
前記孤立点除去手段により孤立している画素が除去された画像信号と、前記ラベル画像生成手段により生成されたラベル画像信号との互いに対応する画素値について論理積を演算するラベル画像調整手段と、
疵の特徴量を求める特徴量導出手段とを有し、
前記特徴量導出手段は、疵の形状に関わる特徴量を、前記ラベル画像生成手段により生成されたラベル画像信号を用いて求め、疵の輝度に関わる特徴量を、前記シェーディング補正手段により得られた画像信号に於いて、前記ラベル画像調整手段により得られた画像信号に基づくブロブに対応する画素の輝度情報を抽出することにより求めることを特徴とする表面疵検査システム。
疵検査対象物を照明する照明ステップと、
前記照明ステップにより照明された疵検査対象物を撮像する撮像ステップと、
前記撮像ステップにより得られた画像信号に対してシェーディング補正を行うシェーディング補正ステップと、
前記シェーディング補正ステップにより得られた画像信号を２値化する第１の２値化ステップと、
前記シェーディング補正ステップにより得られた画像信号を低分解能化する低分解能化ステップと、
前記低分解能化ステップにより画素が間引かれた画像信号を２値化する第２の２値化ステップと、
前記第１の２値化ステップにより２値化された画像信号、及び前記第２の２値化ステップにより２値化された画像信号に対して膨張処理を行う膨張ステップと、
前記第２の２値化ステップにより２値化され前記膨張ステップにより膨張処理された画像信号を伸張する伸張ステップと、
前記シェーディング補正ステップにより得られた画像信号を２値化する第３の２値化ステップと、
前記第３の２値化ステップにより２値化された画像信号に対して孤立している画素を除去する孤立点除去ステップと、
前記第１の２値化ステップにより２値化され前記膨張ステップにより膨張処理された画像信号と、前記伸張ステップにより伸張された画像信号との互いに対応する画素の値について論理和を演算する領域合成ステップと、
前記領域合成ステップにより生成された画像信号に対してラベリング処理を行い、ラベル画像信号を生成するラベル画像生成ステップと、
前記孤立点除去ステップにより孤立している画素が除去された画像信号と、前記ラベル画像生成ステップにより生成されたラベル画像信号との互いに対応する画素値について論理積を演算するラベル画像調整ステップと、
疵の特徴量を求める特徴量導出ステップとを有し、
前記特徴量導出ステップは、疵の形状に関わる特徴量を、前記ラベル画像生成ステップにより生成されたラベル画像信号を用いて求め、疵の輝度に関わる特徴量を、前記シェーディング補正ステップにより得られた画像信号に於いて、前記ラベル画像調整ステップにより得られた画像信号に基づくブロブに対応する画素の輝度情報を抽出することにより求めることを特徴とする表面疵検査方法。
疵検査対象物を撮像する撮像手段により得られた画像信号に対してシェーディング補正を行うシェーディング補正ステップと、
前記シェーディング補正ステップにより得られた画像信号を２値化する第１の２値化ステップと、
前記シェーディング補正ステップにより得られた画像信号を低分解能化する低分解能化ステップと、
前記低分解能化ステップにより画素が間引かれた画像信号を２値化する第２の２値化ステップと、
前記第１の２値化ステップにより２値化された画像信号、及び前記第２の２値化ステップにより２値化された画像信号に対して膨張処理を行う膨張ステップと、
前記第２の２値化ステップにより２値化され前記膨張ステップにより膨張処理された画像信号を伸張する伸張ステップと、
前記シェーディング補正ステップにより得られた画像信号を２値化する第３の２値化ステップと、
前記第３の２値化ステップにより２値化された画像信号に対して孤立している画素を除去する孤立点除去ステップと、
前記第１の２値化ステップにより２値化され前記膨張ステップにより膨張処理された画像信号と、前記伸張ステップにより伸張された画像信号との互いに対応する画素の値について論理和を演算する領域合成ステップと、
前記領域合成ステップにより生成された画像信号に対してラベリング処理を行い、ラベル画像信号を生成するラベル画像生成ステップと、
前記孤立点除去ステップにより孤立している画素が除去された画像信号と、前記ラベル画像生成ステップにより生成されたラベル画像信号との互いに対応する画素値について論理積を演算するラベル画像調整ステップと、
疵の特徴量を求める特徴量導出ステップとをコンピュータに実行させ、
前記特徴量導出ステップは、疵の形状に関わる特徴量を、前記ラベル画像生成ステップにより生成されたラベル画像信号を用いて求め、疵の輝度に関わる特徴量を、前記シェーディング補正ステップにより得られた画像信号に於いて、前記ラベル画像調整ステップにより得られた画像信号に基づくブロブに対応する画素の輝度情報を抽出することにより求めることを特徴とするコンピュータプログラム。