JP4395057B2 - 帯状体や柱状体の周期疵検出方法およびその装置 - Google Patents

Description

この発明は、長手方向に移動している金属、プラスチックその他材料からなる帯状体や柱状体の表面疵、特に周期的に発生する周期疵を光学的に検出する帯状体や柱状体の周期疵検出方法およびその装置に関する。

製品の品質を向上すべく、移動している帯状体や柱状体の表面を光学的に検査する表面疵検査が広く行われている。ここで、帯状体とは板状の物体で、柱状体には断面が管状の物体も含む。以下では帯状体と柱状体を帯状体等と記す。表面疵検査は、帯状体等をこれの長手方向に送りながら、その表面を撮像装置で撮像し、画像処理により撮像画像から疵候補を抽出し、最終的には前記疵候補の位置、大きさ、形状、輝度、周期性などの特徴量または画像に基づいて、前記疵候補が有害か無害かを判定するものである。
例えば、鋼板などの圧延ラインにおいては、油、水滴、軽い汚れなどが鋼板表面に付着する場合が多くあり、これらの油等は製品の品質に影響のない限り、無害判定すべきものである。一方、圧延ロールの表面に欠けや凹みが生じたり異物が付着したりして、これが被圧延材に転写されて生じるロール疵は、圧延ロールが回転するごとに被圧延材の長手方向に発生し続けるため、有害判定すべきものである。そして、通常このロール疵及びその周期性が検出されたときは、アラームがオペレータに通報され、圧延ロールの交換作業が行われる。
このように圧延ラインを移動する鋼板表面には様々な疵や汚れ等が付着しているので、抽出した疵候補の中から如何に精度よく、そして如何に迅速にロール疵及びその周期性を検出するかは、表面疵検査の信頼性、ひいては製品の品質を向上させるための重要な要因となる。

従来、このロール疵のような周期疵の検出方法として、周期疵の周期性に着目した検出方法が数多く提案されている。例えば、周期性を利用した最も簡単な方法は、ロール疵は被圧延材の長手方向に一定の間隔で発生するため、疵候補の間隔（ピッチ）を比較し、これが一致するならば、周期性があるとしてロール疵が発生していると判定するものである。
しかし、実際の鋼板などの圧延工程においては、被圧延材の厚さばらつきに起因する圧下率の変動等に伴い、圧延ロールに生じた疵が常に一定のレベルで被圧延材に転写されるとは限らない。すなわち、一般に圧下率が小さいときは製品の品質に影響を与えるようなロール疵は発生せず、また、発生したとしても軽微な周期疵の場合には、画像上での輝度変化が小さいことから疵候補として抽出され難いため、間引的に疵候補が抽出される抽出抜け（いわゆる未検出）が生じる場合がある。また、鋼板の表面状態は様々であり、表面むら、肌荒れ等によるノイズが多く、本来無害疵と判定すべき油、水滴等を疵候補として過剰に検出（いわゆる過剰検出）してしまう場合もある。さらには、有害疵ではあるが周期性がなく単発的に発生する単発疵も疵候補として抽出される。
このため、疵候補の間隔（ピッチ）を単純に比較して周期性を判定する方法においては、疵候補の未検出や過剰検出あるいは単発疵により疵候補の間隔（ピッチ）が一致せず、ロール疵及びその周期性を正確に検出することができないという問題があった。

また、前記問題を解決する方法として、自己相関を利用した周期疵の検出方法が知られている（例えば、特許文献１および２参照）。自己相関は、信号処理分野、特に画像処理分野で広く活用されているものであり、自己相関の演算結果によって得られるピーク間の距離が周期信号成分の周期を表すことから、処理すべき信号系列に含まれる周期信号成分の周期が未知であっても、ノイズに埋もれた信号系列から周期信号成分のみを選択的に抽出できるものである。

すなわち、自己相関を利用した周期疵の検出方法とは、図１（ａ）に示すように撮像画像から疵候補を抽出し、この抽出した疵候補から各疵候補の長手方向の位置情報を示す信号系列、例えば、同図に示すように疵候補の存在する位置に疵候補の有無を示す信号を配した信号系列Ａ１を作成し、当該信号系列Ａ１の位相をシフトした信号系列Ａ２を作成し、当該信号系列Ａ１とＡ２の積演算（同図のように疵候補の有無を示す信号をビットで表す場合には論理積演算）によって得られる信号系列に含まれる信号数をカウントし、これをピークとし、当該ピークをピーク検出しきい値と比較して、当該ピークが検出しきい値を超える場合は、当該ピーク間の距離を周期疵の間隔（ピッチ）と判定し、当該ピークが検出しきい値を超えない場合には、前記した信号系列のシフト、シフトした信号系列と信号系列Ａ１との積演算、前記演算によって得られる信号系列に含まれる信号数のカウント、ピーク検出しきい値との比較、周期性の判定により構成される、いわゆる自己相関の演算処理Ｆを所定数繰り返すことにより、周期疵の周期性を検出する方法である。

図１（ａ）を用いてさらに詳細に説明すると、まず、（１）撮像画像から抽出した疵候補から各疵候補の長手方向の位置情報を示す信号系列Ａ１を作成する。具体的には、図１（ａ）においては１個の単発疵Ｎ１を含む合計１０個の疵候補を抽出した場合を想定しているので、疵候補の位置と対応する位置に１０個の信号を配した信号系列Ａ１を作成し、当該信号系列Ａ１の位相をシフトした信号系列Ａ２を作成する。（２）次に、当該信号系列Ａ１とＡ２の積演算によって得られる信号系列に含まれる信号数をカウントし、これをピークＰ２とする。例えば、図１（ａ）の場合には、信号系列Ａ１とＡ２の積演算によって得られる信号系列に含まれる信号数が２であるので、これをピークＰ２としている。（３）次に、ピークＰ２とあらかじめ定めたピーク検出しきい値を比較する。図１（ａ）の場合には、ピーク検出しきい値を５と定めているので、ピークＰ２は検出しきい値を超えないため、信号系列Ａ１の位相をさらにシフトした信号系列Ａ３を作成し、信号系列Ａ１とＡ３の積演算によって得られる信号系列に含まれる信号数、すなわちＰ３の値が８となり、これはピーク検出しきい値を超えるので、ピークＰ１とＰ３間の距離、換言すると信号系列Ａ１とＡ３の位相差を正確に周期疵の間隔（ピッチ）と判定している。

しかし、前記したように鋼板の表面状態は様々であり、表面むら、肌荒れ等によるノイズが多い。このため、誤判定したパターンを示す図１（ｂ）のように、抽出した疵候補に過剰検出や単発疵が多く含まれている場合には、自己相関の演算処理Ｆによって得られたピークを用いて周期疵の周期を正確に検出するには限界があった。
例えば、図１（ｂ）は図１（ａ）で想定した疵候補に加えてノイズＮ２、Ｎ３を過剰に検出した場合、すなわち３個のノイズ（Ｎ１〜Ｎ３）を含む合計１２個の疵候補を抽出した場合を想定したものであるが、この場合には図１（ａ）と同じ操作を行ってもピークＰ２（この場合におけるＰ２の値は６）が検出しきい値を超えて誤判定することを示している。

さらには、自己相関を利用した検出方法における前記問題を解決する方法として、図２に示すようにあらかじめ周期疵の典型的な画像（テンプレート）を用意し、これと抽出された疵候補画像（ＳおよびＮ１〜３）とのテンプレートマッチングを行って、抽出した疵候補の長手方向の位置情報を示す信号系列Ｃ１からノイズ除去処理をした信号系列Ｃ１´を作成し、当該ノイズ除去処理をした信号系列Ｃ１´に対し、前記した自己相関の演算処理Ｆを行い、周期疵の周期を検出する方法もある。例えば、図２は誤判定した図１（ｂ）と同じ疵候補の抽出パターンを想定したもの、すなわち図２における信号系列Ｃ１と図１（ｂ）における信号系列Ｂ１は同じものであるが、テンプレートマッチングによるノイズ除去処理によって、信号系列Ｃ１´とＣ３´の位相差τを正確に周期疵の間隔（ピッチ）と判定することができる。

しかし、一般に周期疵の典型的な画像（テンプレート）をあらかじめ用意することは難しい。すなわち、前記したように実際の鋼板などの圧延工程においては、被圧延材の厚さばらつきに起因する圧下率の変動等に伴い、圧延ロールに生じた疵が常に一定のレベルで被圧延材に転写されるとは限らず、周期疵とは言ってもその大きさ、形状、輝度等はすべてが完全に一致する性質のものではない。同様に、除去対象である過剰検出によるノイズＮ２〜３や単発疵Ｎ１においても、その大きさ、形状、輝度等は実に様々であり、なかには周期疵と極めて似た形状等を有するノイズや単発疵も発生する。このため、あらかじめ周期疵の典型的な画像（テンプレート）を用意し、これと疵候補画像（ＳおよびＮ１〜３）とのテンプレートマッチングを行っても、図２に示す信号系列Ｃ１´のようにノイズを完全に除去することができないという問題があった。あるいは、あらかじめ用意するテンプレート画像が適当でない場合には、周期疵をノイズと誤判定してしまい、当該周期性のある疵候補を疵候補の信号系列から除外してしまうという問題があった。
特開昭５８−１５６８４２号公報 特開平２−７４８５２号公報（第２頁）

本発明の解決すべき課題は、疵候補の未検出や過剰検出あるいは単発疵によるノイズが多い場合であっても、周期疵の典型的な画像を用いたテンプレートマッチングによるノイズ除去処理を行うことなく、高精度で周期疵の有無を判定することができる帯状体等の周期疵検出方法およびその装置を提供することである。

本発明者は、上記課題を解決すべく、帯状体等の周期疵検出方法およびその装置について数多くの理論検討および実験検討を行った結果、撮像画像から帯状体等の長手方向に間隔をおいて現れる複数の疵候補を抽出し、長手方向位置ｘにおける疵候補画像Ｆ（ｘ）と長手方向位置をτずらしたときの疵候補画像Ｆ（ｘ＋τ）との相関を画像の類似度で演算することにより、ノイズ成分を多数含む疵候補から周期疵の周期性および周期疵の間隔（ピッチ）を正確に捉えることができる原理を見出した。これを従来の自己相関を利用した周期疵の検出方法と対比できるように示すと以下のようになる。

（Ａ）撮像画像から、帯状体等の長手方向に間隔をおいて現れる複数の疵候補を抽出する。疵候補とは、撮像装置によって撮像された鋼板表面の撮像画像に対し、シェーディング補正、２値化処理、ラベリング処理、特徴量計算等の画像処理（信号処理）を施して抽出したものであり、図３に示すように検出すべき周期疵のほかに過剰検出によるノイズや単発疵が含まれる。
（Ｂ）抽出した疵候補から、各疵候補の長手方向の位置情報を示す信号系列Ｄ１を作成する。なお、信号系列Ｄ１の作成に際しては、図７（ａ）に示すように長手方向に長い処理領域を選択し、当該処理領域に含まれる疵候補について、各疵候補の長手方向の位置情報を示す信号系列Ｄ１を作成する。
（Ｃ）当該信号系列Ｄ１の位相をτシフトした信号系列Ｄ２を作成する。

（Ｄ）上記（Ａ）〜（Ｃ）は、前記した自己相関を利用した周期疵の検出方法と同様の処理であるが、（Ｄ）においては自己相関を利用した周期疵の検出方法のように当該信号系列Ｄ１とＤ２の積演算によって得られる信号系列に含まれる信号数をカウントするのではなく、図３に示すように双方の信号系列に含まれる各信号に対応する画像同士、すなわち長手方向位置ｘにおける疵候補画像Ｆ（ｘ）と長手方向位置をτずらしたときの疵候補画像Ｆ（ｘ＋τ）との相関を画像の類似度で演算する。ここで画像の類似度とは、比較する２つの疵候補画像の相関値であり、例えば、比較する画像が似ていて完全に一致するときは１．０を、まったく似ていないときは０．０というように、比較画像の類似する程度に応じて与える相関値である。また、長手方向位置ｘにおいて疵候補が抽出されない場合は、類似度を０．０とする。
（Ｅ）そして、当該信号系列Ｄ２の各信号レベルを、（Ｄ）で演算した画像の類似度に置換する処理を行い、置換後の信号系列をＤ２´とする。
（Ｆ）当該信号系列Ｄ２´に含まれる信号レベルの総和、換言すると画像の類似度の総和を演算し、これをピークＰ２とする。

（Ｇ）そして、以降は自己相関を利用した周期疵の検出方法（図１）と同様に、当該ピークＰ２をピーク検出しきい値と比較する。
（Ｈ）当該ピークＰ２がピーク検出しきい値を超える場合は、当該ピーク間の距離、すなわちピークＰ１とＰ２間の距離を周期疵の間隔（ピッチ）と判定し、検出しきい値を超えない場合は、前記した信号系列のシフト（Ｃ）、画像の類似度の演算（Ｄ）、信号レベルの置換処理（Ｅ）、ピーク演算（Ｆ）、ピーク検出しきい値との比較（Ｇ）、周期性の判定（Ｈ）により構成される演算処理を所定数繰り返す。

すなわち、図３ならびに前記（Ｄ）〜（Ｆ）に示したように、各疵候補の長手方向の位置情報を示す信号系列と位相をτシフトした信号系列に含まれる各信号に対応する画像を比較して画像の類似度を演算すること、換言すると、長手方向位置ｘにおける疵候補画像Ｆ（ｘ）と長手方向位置をτずらしたときの疵候補画像Ｆ（ｘ＋τ）との相関を画像の類似度で演算することによって、疵候補の未検出や過剰検出あるいは単発疵によるノイズの影響を低減することが、本発明に係る周期疵の検出方法における最大の特徴であり効果である。
そして、自己相関を利用した周期疵の検出方法を示す図１（ｂ）と本発明に係る周期疵の検出方法を示す図３とを対比すると、図１（ｂ）におけるＰ２がピーク検出しきい値を超えて誤判定するのに対し、図３におけるＰ２については信号系列の各信号レベルを画像の類似度に置換することによって、ノイズによる影響を回避・低減することに成功しているが、これは本発明に係る周期疵の検出方法における最大の特徴を示すとともに、従来技術と比較した極めて有利な効果を示すものである。

上記の知見に基づき、本発明者は疵候補の未検出や過剰検出によるノイズ等が多い場合であっても、周期疵の典型的な画像を用いたテンプレートマッチングによるノイズ除去処理操作を行うことなく、高精度で周期疵の有無を判定することができる帯状体等の周期疵検出方法およびその装置に想到した。その要旨とするところは以下のとおりである。

（１）移動する帯状体や柱状体の表面を撮像し、撮像画像を画像処理して周期疵を検出する帯状体や柱状体の周期疵検出方法において、
撮像画像から帯状体や柱状体の長手方向に間隔をおいて現れる複数の疵候補を抽出し、
抽出した前記疵候補の長手方向位置情報から、抽出した疵候補が存在する長手方向位置に所定の信号レベルの信号パルスを有する信号系列Ｄ１を作成し、
（イ）前記信号系列Ｄ１の長手方向位置を所定量τだけシフトした信号系列Ｄ２を作成し、
（ロ）前記信号系列Ｄ２に属する信号パルスについて、該信号パルスと同じ位置に前記信号系列Ｄ１に属する信号パルスが存在する場合に、該２つの信号パルスに対応するそれぞれの疵候補の撮像画像から、該２つの疵候補の類似度を計算して、該信号系列Ｄ２に属する信号パルスの信号レベルを該類似度で置換し、該信号系列Ｄ２に属する信号パルスと同じ位置に該信号系列Ｄ１に属する信号パルスが存在しない場合に、該信号系列Ｄ２に属する信号パルスの信号レベルをゼロとした信号系列Ｄ２’を作成し、
（ハ）長手方向の全位置について、前記信号系列Ｄ２’に属する信号パルスの信号レベルを加算した値であるピーク値を計算し、
（ニ）前記ピーク値が、予め設定した閾値以上であれば、前記τが周期疵の周期であると判定し、該ピーク値が該閾値未満であれば、該τを更新して、前記（イ）から（ハ）の処理を所定回数だけ繰り返すことにより、
周期疵を検出することを特徴とする帯状体や柱状体の周期疵検出方法。
（２）前記画像の類似度の演算に、差分積算係数または正規化相関係数を用いることを特徴とする前記（１）に記載の帯状体や柱状体の周期疵検出方法。

（３）移動する帯状体や柱状体の表面を撮像し、撮像画像を画像処理して周期疵を検出する帯状体や柱状体の周期疵検出装置において、
帯状体や柱状体の表面を撮像する撮像装置と、
撮像画像から帯状体や柱状体の長手方向に間隔をおいて現れる複数の疵候補を抽出する手段と、
抽出した前記疵候補の長手方向位置情報から、抽出した疵候補が存在する長手方向位置に所定の信号レベルの信号パルスを有する信号系列Ｄ１を作成し、
（イ）前記信号系列Ｄ１の長手方向位置を所定量τだけシフトした信号系列Ｄ２を作成し、
（ロ）前記信号系列Ｄ２に属する信号パルスについて、該信号パルスと同じ位置に前記信号系列Ｄ１に属する信号パルスが存在する場合に、該２つの信号パルスに対応するそれぞれの疵候補の撮像画像から、該２つの疵候補の類似度を計算して、該信号系列Ｄ２に属する信号パルスの信号レベルを該類似度で置換し、該信号系列Ｄ２に属する信号パルスと同じ位置に該信号系列Ｄ１に属する信号パルスが存在しない場合に、該信号系列Ｄ２に属する信号パルスの信号レベルをゼロとした信号系列Ｄ２’を作成し、
（ハ）長手方向の全位置について、前記信号系列Ｄ２’に属する信号パルスの信号レベルを加算した値であるピーク値を計算し、
（ニ）前記ピーク値が、予め設定した閾値以上であれば、前記τが周期疵の周期であると判定し、該ピーク値が該閾値未満であれば、該τを更新して、前記（イ）から（ハ）の処理を所定回数だけ繰り返す
手段を有する画像処理装置とから構成されることを特徴とする帯状体や柱状体の周期疵検出装置。
（４）前記画像の類似度を演算する手段が、差分積算係数または正規化相関係数を演算する手段であることを特徴とする前記（３）に記載の帯状体や柱状体の周期疵検出装置。

本発明によれば、疵候補の未検出や過剰検出によるノイズ等が多い場合であっても、周期疵の典型的な画像を用いたテンプレートマッチングによるノイズ除去処理を行うことなく、高精度で周期疵の有無を判定することができる。これは、表面疵検査の信頼性ひいては製品の品質を向上させるものであり、その経済的効果は極めて大きい。

以下、図３〜図７を参照して、本発明を実施するための最良の形態を説明する。図３は本発明に係る周期疵の検出方法の原理を概念的に示す模式図、図４は表面疵検査装置の概略図、図５は上記装置の主要部のブロック図、図６は本発明における画像処理の１形態を示すフローチャート、図７は抽出した疵候補をプロットしたマップ図である。以下、帯状体等が帯状鋼板である場合について説明する。

通板方向に移動する帯状鋼板１の表面を撮像装置４で撮影する。撮像装置４としては、画像をフレーム単位で読み取るエリアカメラ（センサ）方式や、画像をライン単位で読み取るラインカメラ（センサ）方式があり双方とも使用することができる。また、撮像画像としては、白黒濃淡画像やカラー画像があり、双方とも使用することができる。以下、白黒濃淡画像を出力するラインカメラを使用した場合について説明する。
なお、被検査材が柱状体のときには、複数の撮像装置を柱状体の周囲に配置してそれぞれ異なる面の表面画像を採取する。
撮像装置４は、帯状鋼板１の板幅方向（Ｘ方向）の濃淡画像を撮像し、白黒２５６階調の情報量を出力する。撮像画像は、画像処理装置９であるコンピュータにデータ入出力制御装置１２を介して主記憶装置１１に転送する。データ入出力制御装置１２は、撮像装置４が長手方向（Ｙ方向）に移動する帯状鋼板１の表面を隙間なく連続して撮像することができるように、撮像装置４に対して圧延速度と同期させた制御タイミングを出力する。撮像装置４は、データ入出力制御装置１２から出力される制御タイミングで、撮像と撮像画像の転送を繰り返す。

画像処理プログラムは、例えばハードディスクなどの補助記憶装置に保存しておく。画像処理に必要なしきい値などの設定項目は、キーボードなどの入力装置５から入力し、補助記憶装置８に保存しておく。撮像装置４により撮像された画像および画像処理された撮像画像のデータは補助記憶装置８に保存し、またグラフィックスボード６を介して表示装置７に出力する。表示装置７は、鋼板面の画像と共に有害／無害などの判定、周期性の判定結果を表示する。上記画像処理について、図６のフローチャートに従って説明する。

ステップＳ１１
撮像装置４によって撮像した白黒濃淡画像をフレーム単位、例えば、２０４８×５１２画素で画像処理装置に入力する。

ステップＳ１２
撮像装置４に使用される撮像素子、例えば、ＣＣＤセンサやＣＭＯＳセンサなどの感度が不均一であったり、照明の光量や方向が不均一であったりすると、本来の撮像対象の輝度は一様であるのに、撮像画像内のある部分は明るく、また別のある部分は暗くなるなど、いわゆる輝度むらが生じる場合がある。この輝度むらが生じると、次工程であるラベリング処理や特徴量計算、ひいては撮像画像から正確に疵候補を抽出することが困難となるので、必要に応じて画像全体が一様な明るさになるようにシェーディング補正を行う。

ステップＳ１３
入力画像に対する演算処理を容易にすべく、シェーディング補正した白黒濃淡画像に対して２値化処理を行い、濃度値として０か１しか持たない２値画像に変換する。しきい値の選択方法としては、Ｐ−タイル法や画像の濃度ヒストグラムを利用するモード法があるが、経験的または実験的によってしきい値を選択してもよい。

ステップＳ１４
上記の２値画像から疵候補を抽出するための前処理として、ラベリング処理および特徴量計算を行う。ラベリング処理とは、特徴量計算の前に行う処理であり、２値画像中において幾何的に連結して一つの塊となっている図形（連結図形）ごとに、異なった番号（ラベル）を割り当てる処理である。また、特徴量計算とは、特徴抽出とも呼ばれ、図形の形状に関する特徴量を求める処理であり、求める特徴量としては、疵候補の位置、外接長方形の幅、長さ、長さと幅の比、最大長、周囲長などから選択される１又は２以上の組み合わせである。

ステップＳ１５
上記処理をした画像から、帯状体の長手方向に間隔をおいて現れる複数の疵候補を抽出する。ここで疵候補とは、撮像装置によって撮像された鋼板表面の撮像画像に対し、上記のシェーディング補正、２値化処理、ラベリング処理、特徴量計算等の画像処理（信号処理）を施して抽出したものであり、図３に示すように、検出すべき周期疵のほかに過剰検出によるノイズや単発疵が含まれる。
図３は、本発明に係る周期疵の検出方法の原理を概念的に示す模式図であり、撮像画像から抽出した疵候補として、右から２番目の位置で単発疵Ｎ１を、４番目の位置で過剰検出によるノイズＮ２を、８番目の位置で過剰検出によるノイズＮ３を抽出した場合を想定したものであり、それ以外の疵候補は、その周期性を検出すべき周期疵であり、これは図１（ｂ）における疵候補の抽出パターンと同じものである。

なお、抽出した疵候補をプロットしたマップ図の例を図７（ａ）に示す。これは、幅８００ｍｍの鋼板表面を長手方向に約５０ｍにわたり撮像し、前記撮像画像から抽出した疵候補をプロットしたものである。マップ図左上部の２箇所で確認される疵候補１と２は、非周期性のノイズである。長手方向（Ｙ方向）に周期性がなく、しかも双方の板幅方向（Ｘ方向）の位置が異なることからも、周期疵でないことを判別することができる。一方、マップ図最上部に位置する疵候補３、４および５は周期疵であり、疵候補４と５の間で疵候補の抽出抜け（いわゆる未検出）が生じている様子を確認することができる。また、前記周期疵の右側には、長手方向に２列ないし３列にわたって疵候補が並んでおり、この処理段階では周期疵なのかノイズなのかを判別することができないが、後の処理によりいずれも製品の品質に影響を与えない油、水滴等のノイズであることを確認している。

ステップＳ１６
抽出した疵候補から、各疵候補の長手方向の位置情報を示す信号系列Ｄ１を作成する。すなわち、信号系列Ｄ１に含まれる各信号は長手方向位置ｘにおける疵候補の有無を表し、位置ｘにおける所定のレベルの信号は、当該位置ｘにおいて疵候補が抽出されたことを意味する。また、当該位置ｘにおける所定のレベルの信号と当該位置ｘにおいて抽出された疵候補画像Ｆ（ｘ）との間には１対１の対応づけを行う。
なお、図３においては発明を理解しやすくするために、信号系列Ｄ１に含まれる各信号レベルを１として表示しているが、当該信号系列は各疵候補の長手方向の位置情報を示すため、これに限定されるものではない。同様に、信号系列Ｄ１に含まれる各信号を矩形表示しているがこれに限定されるものではなく、例えば、疵位置を中心とする台形としてもよい。台形を用いることで、疵の位置の誤差を吸収することができる。台形を用いた手順についても後に触れる。

また、図７（ａ）に示したような明らかなノイズを含む疵候補について処理する場合、抽出した疵候補を全部用いて後述する画像処理（信号処理）を行っても、周期性を検出することが困難であるし処理効率も悪い。そこで、図７（ａ）に示す長手方向に長い処理領域１３を選択し、当該処理領域１３に含まれる疵候補について、各疵候補の長手方向の位置情報を示す信号系列Ｄ１を作成する。処理領域１３の選択にあたっては、周期疵同士は、同じあるいは近傍のＸ座標を持つという性質、およびほぼ等間隔のＹ座標を持つという性質を利用して、画像処理装置９が自動的に選択してもよいし、表示装置７に表示される図７（ａ）のマップ図を参照しながら検査装置のオペレータが選択してもよい。また、前記のような絞込みを行わず、あらかじめ疵候補が含まれる座標軸を帯状体の板幅方向に短冊状に分割しておいて、当該処理領域１３毎に信号系列Ｄ１の作成処理を行ってもよい。なお、この場合、処理領域１３の境界近くに疵候補があると周期性を検出できないことがあるので、処理領域１３の選択にあっては、図７（ｂ）に示すように帯状体の板幅方向にラップ代を持って短冊状に分割するのが有効である。

ステップＳ１７
図３に示すように信号系列Ｄ１の位相をτ＝δ（＞０または＜０）シフトした信号系列、まずは、Ｄ２（ｘ）＝Ｄ１（ｘ＋δ）なる信号系列Ｄ２を作成する。なお、このシフト操作は、図１に示す自己相関を利用して周期疵を検出する方法、および図２に示すテンプレートマッチングによるノイズ除去処理後に自己相関を利用して周期疵を検出する方法と同様の操作である。

ステップＳ１８
信号系列Ｄ１とＤ２に含まれる各信号に対応する画像同士を比較して、画像の類似度を演算する処理を行う。図３を用いて具体的に説明すると、信号系列Ｄ１とＤ２の間において矢印で結んだ関係にある信号に対応する画像同士を比較して画像の類似度を演算する。換言すると、信号系列Ｄ１とＤ２とは前記するようにＤ２（ｘ）＝Ｄ１（ｘ＋δ）なる関係であるため、本ステップにおける画像の類似度の演算とは、長手方向位置ｘにおける疵候補画像Ｆ（ｘ）と長手方向位置をδずらしたときの疵候補画像Ｆ（ｘ＋δ）との相関を画像の類似度で演算することに相当する。
ここで、画像の類似度を演算する方法としては、差分積算係数Ｓや正規化相関係数Ｃを用いる方法がある。
差分積算係数Ｓは、以下の（１）式によって求めるものであり、比較する２つの画像ＦとＧが完全に一致する場合は類似度１．０を、まったく類似しない場合には類似度０．０を与えるものである。なお、（１）式において、Ｍは幅方向の画素数を、Ｎは長手方向の画素数を、Ｑは濃淡画像の階調数を、（ｉ，ｊ）は画像中の各画素を示す。また、長手方向位置ｘにおいて疵候補が抽出されない場合は、長手方向位置ｘにおける疵候補画像が存在しないため、類似度を０．０とする。

また、正規化相関係数Ｃは、以下の（２）式によって求めるものであり、画像ＦとＧが完全に一致する場合は類似度１．０を、まったく類似しない場合（双方の画像の濃淡が反転する場合）には類似度−１．０を与えるものである。なお、（２）式において、Ｍは幅方向の画素数を、Ｎは長手方向の画素数を、（ｉ，ｊ）は画像中の各画素を示す。また、長手方向位置ｘにおいて疵候補が抽出されない場合は、長手方向位置ｘにおける疵候補画像が存在しないため、類似度を０．０とする。

ステップＳ１９
信号系列Ｄ２の各信号レベルを画像の類似度に置換する処理を行い、置換後の新しい信号系列をＤ２´とする。すなわち、前記したように信号系列Ｄ１とＤ２とはＤ２（ｘ）＝Ｄ１（ｘ＋δ）なる関係であるため、図３におけるＤ２´は、長手方向位置ｘにおける疵候補画像Ｆ（ｘ）と長手方向位置をδずらしたときの疵候補画像Ｆ（ｘ＋δ）との画像の類似度の演算結果そのものである。
なお、画像の類似度の演算に正規化相関係数Ｃを用いる場合は、Ｃの範囲は−１以上１以下であるので、演算結果が０．０以下の場合は類似度０．０として信号レベルを置換する。
また、信号系列Ｄ１を生成する際に台形を用いる場合について述べる。この場合は、上記の手順のように画像の類似度をそのまま用いるのではなく、重み係数を考慮した類似度を用いてＤ２´を生成する。すなわち、系列Ｄ１（ｘ）をδずらしたＤ２（ｘ）＝Ｄ１（ｘ+δ）も同じく台形で構成されるため、両系列の台形の間には、ずらし量δに対応した位置関係が生じる。そこで、２つの台形の位置が一致するに従って高い値を、乖離するに従って低い値を持つような重み係数を定義し、この重み係数と類似度の積を用いて系列Ｄ２´を生成する。その一例を図８に示す。図８では、２つの台形の高さの積を重み係数としており、上底が一致している範囲では重み係数１を、下底を含めて全く一致しない範囲では０をとる。このように台形を用いた場合、台形の形を適当に設定することで、疵の位置に含まれる誤差を吸収することができる。

ステップＳ２０〜Ｓ２２
当該信号系列Ｄ２´に含まれる信号レベルの長手方向に関しての総和、換言すると画像の類似度の総和を演算し、これをピークＰ２として（Ｓ２０）、当該ピークをピーク検出しきい値と比較して（Ｓ２１）、周期性の判定（Ｓ２２）を行う。図３を用いて具体的に説明すると、信号系列Ｄ２´に含まれる各信号レベルの総和をピークＰ２として、このピークＰ２と経験的または実験的に定めたピーク検出しきい値とを比較する。そして、ピークＰ２が検出しきい値を超えない場合は、前記した信号系列のシフト（Ｓ１７）、画像の類似度の演算（Ｓ１８）、信号レベルの置換処理（Ｓ１９）、ピーク演算（Ｓ２０）、ピーク検出（Ｓ２１）、周期性の判定（Ｓ２２）により構成される演算処理を繰り返す。
なお、図３は、ピークＰ２が検出しきい値を超えないので新たにτ＝δ’＞（または＜）δとして、Ｄ３（ｘ）＝Ｄ１（ｘ＋δ’）なる信号系列を作成し、長手方向位置ｘにおける疵候補画像Ｆ（ｘ）と長手方向位置をδ’ずらしたときの疵候補画像Ｆ（ｘ＋δ’）との相関を画像の類似度で演算し、このときの画像の類似度の総和をピークＰ３としたとき、これがピーク検出しきい値を超えるので、当該撮像画像から抽出した疵候補の信号系列には周期性がδ’であるものと判定し、かつ、ピークＰ１とＰ３との距離を周期疵の間隔（ピッチ）と判定するものである。
このように、長手方向位置ｘにおける疵候補画像Ｆ（ｘ）と長手方向位置をτずらしたときの疵候補画像Ｆ（ｘ＋τ）との相関を画像の類似度で演算し、さらに長手方向に関して前記類似度の総和を求め、τを変化させて前記類似度の総和を比較することによって、疵候補の未検出や過剰検出あるいは単発疵によるノイズの影響を低減することができ、その結果として周期性の有無および周期疵の間隔（ピッチ）を正確に判定することができる。

以上が図６のフローチャートに従った本発明に係る画像処理（信号処理）方法であるが、撮像画像から帯状体等の長手方向に間隔をおいて現れる複数の疵候補を抽出する手段、および長手方向位置ｘにおける疵候補画像Ｆ（ｘ）と長手方向位置をτずらしたときの疵候補画像Ｆ（ｘ＋τ）との相関を画像の類似度で演算する手段を有する画像処理装置９であるコンピュータ（計算機）ならびに帯状体の表面を撮像する撮像装置４とから構成される帯状体の周期疵検出装置により、本発明の目的を達成することができる。
すなわち、本発明においては、コンピュータ（計算機）の有する一般的な機能、例えば、加減・シフト等の数値演算、論理演算、比較等のみを利用するので、特殊な計算機を用意する必要がない。なお、高速化が要求される場合には、画像の類似度の演算に専用ＤＳＰを用いてもよい。

自己相関を利用して周期疵を検出する方法の原理を概念的に示す模式図である。 テンプレートマッチングによるノイズ除去処理後に自己相関を利用して周期疵を検出する方法の原理を概念的に示す模式図である。 本発明に係る周期疵の検出方法の原理を概念的に示す模式図である。 表面疵検査装置の概略図である。 表面疵検査装置の主要部のブロック図である。 本発明における画像処理の１形態を示すフローチャートである。 抽出した疵候補をプロットしたマップ図である。 Ｄ１として台形表示を用いた信号処理の１例の模式図である。

符号の説明

１ 帯状鋼板
２ 搬送ローラ
３ パルスジェネレータ
４ 撮像装置
５ 入力装置
６ グラフィックボード
７ 表示装置
８ 補助記憶装置
９ 画像処理装置
１０ ＣＰＵ
１１ 主記憶装置
１２ データ入出力制御装置
１３ 処理領域

Claims (4)

1. 移動する帯状体や柱状体の表面を撮像し、撮像画像を画像処理して周期疵を検出する帯状体や柱状体の周期疵検出方法において、
   撮像画像から帯状体や柱状体の長手方向に間隔をおいて現れる複数の疵候補を抽出し、
   抽出した前記疵候補の長手方向位置情報から、抽出した疵候補が存在する長手方向位置に所定の信号レベルの信号パルスを有する信号系列Ｄ１を作成し、
   （イ）前記信号系列Ｄ１の長手方向位置を所定量τだけシフトした信号系列Ｄ２を作成し、
   （ロ）前記信号系列Ｄ２に属する信号パルスについて、該信号パルスと同じ位置に前記信号系列Ｄ１に属する信号パルスが存在する場合に、該２つの信号パルスに対応するそれぞれの疵候補の撮像画像から、該２つの疵候補の類似度を計算して、該信号系列Ｄ２に属する信号パルスの信号レベルを該類似度で置換し、該信号系列Ｄ２に属する信号パルスと同じ位置に該信号系列Ｄ１に属する信号パルスが存在しない場合に、該信号系列Ｄ２に属する信号パルスの信号レベルをゼロとした信号系列Ｄ２’を作成し、
   （ハ）長手方向の全位置について、前記信号系列Ｄ２’に属する信号パルスの信号レベルを加算した値であるピーク値を計算し、
   （ニ）前記ピーク値が、予め設定した閾値以上であれば、前記τが周期疵の周期であると判定し、該ピーク値が該閾値未満であれば、該τを更新して、前記（イ）から（ハ）の処理を所定回数だけ繰り返すことにより、
   周期疵を検出することを特徴とする帯状体や柱状体の周期疵検出方法。
2. 前記画像の類似度の演算に、差分積算係数または正規化相関係数を用いることを特徴とする請求項１に記載の帯状体や柱状体の周期疵検出方法。
3. 移動する帯状体や柱状体の表面を撮像し、撮像画像を画像処理して周期疵を検出する帯状体や柱状体の周期疵検出装置において、
   帯状体や柱状体の表面を撮像する撮像装置と、
   撮像画像から帯状体や柱状体の長手方向に間隔をおいて現れる複数の疵候補を抽出する手段と、
   抽出した前記疵候補の長手方向位置情報から、抽出した疵候補が存在する長手方向位置に所定の信号レベルの信号パルスを有する信号系列Ｄ１を作成し、
   （イ）前記信号系列Ｄ１の長手方向位置を所定量τだけシフトした信号系列Ｄ２を作成し、
   （ロ）前記信号系列Ｄ２に属する信号パルスについて、該信号パルスと同じ位置に前記信号系列Ｄ１に属する信号パルスが存在する場合に、該２つの信号パルスに対応するそれぞれの疵候補の撮像画像から、該２つの疵候補の類似度を計算して、該信号系列Ｄ２に属する信号パルスの信号レベルを該類似度で置換し、該信号系列Ｄ２に属する信号パルスと同じ位置に該信号系列Ｄ１に属する信号パルスが存在しない場合に、該信号系列Ｄ２に属する信号パルスの信号レベルをゼロとした信号系列Ｄ２’を作成し、
   （ハ）長手方向の全位置について、前記信号系列Ｄ２’に属する信号パルスの信号レベルを加算した値であるピーク値を計算し、
   （ニ）前記ピーク値が、予め設定した閾値以上であれば、前記τが周期疵の周期であると判定し、該ピーク値が該閾値未満であれば、該τを更新して、前記（イ）から（ハ）の処理を所定回数だけ繰り返す
   手段を有する画像処理装置とから構成されることを特徴とする帯状体や柱状体の周期疵検出装置。
4. 前記画像の類似度を演算する手段が、差分積算係数または正規化相関係数を演算する手段であることを特徴とする請求項３に記載の帯状体や柱状体の周期疵検出装置。

Images