JP2024048292A - 表面欠陥検出方法及び表面欠陥検出装置 - Google Patents

Abstract

【課題】帯状体の表面欠陥をより精度良く検出することが可能な表面欠陥検出方法を提供する。【解決手段】帯状体の表面欠陥を光学的に検出する表面欠陥検出方法は、帯状体の表面を照明して得られる帯状体からの反射光を検出し、帯状体の表面を相対的に走査しながら撮像して、帯状体の表面を含む複数の画像を取得する画像取得ステップと、取得した複数の画像の平均画像を算出する平均画像算出ステップと、取得した複数の画像の各々を、平均画像を用いてシェーディング補正して補正画像を得る画像補正ステップと、補正画像に基づいて帯状体の表面欠陥を検出する欠陥検出ステップと、を含み、平均画像算出ステップは、複数の画像の各々において、画像中の帯状体が存在する検査対象領域を認識して、検査対象領域にある画素についてのみ平均画像に寄与するようにしたことを含む。【選択図】図２

Description

本開示は、鋼板などを含む帯状体の表面欠陥を検出する表面欠陥検出方法及び表面欠陥検出装置に関する。

近年、鉄鋼製品の製造工程では、大量不適合を抑制して歩留まりを向上させる観点から、熱間又は冷間で鋼材の表面欠陥を検出することが要求されている。本開示で述べる鋼材は、例えば継目無鋼管、溶接鋼管、熱延鋼板、冷延鋼板、厚板などの鋼板及び形鋼をはじめとする鉄鋼製品、並びにこれら鉄鋼製品が製造される過程で生成されるスラブなどの半製品を含む。鋼材の表面欠陥を光学的に検出する表面検査方法として、例えば特許文献１乃至３に記載の技術が従来知られている。

例えば特許文献１には、２つの弁別可能な光源を利用して鋼材の同一の検査対象部位に異なる方向から照明光を照射し、各照明光の反射光による画像を取得し、取得した画像間で差分処理を行うことによって検査対象部位における表面欠陥を検出する表面欠陥検出方法が開示されている。

特許文献１に記載の従来技術に限らず、鋼材の表面欠陥を光学的に検出する一般的技術として、検査対象となる鋼材表面を照明し、その反射光を２次元又は１次元の受光素子を有するカメラで検出して画像を撮像し、得られた画像を処理して欠陥を検出する方法が広く実施されている。画像中から欠陥を検出する方法としては、画像の各画素の輝度に対して所定の閾値と比較することにより各画素が健全部であるか欠陥部であるかを認識する方法が一般的である。

鋼材の表面欠陥の検査の特徴として、次の二点が挙げられる。

まず、多くの鋼材製品は長尺であるので、鋼材全体を検査するために鋼材全体を走査して繰り返し撮像する点である。このような走査を実現するため、製造ラインなどに照明及びカメラを固定して、製造ライン中を搬送される鋼材を繰り返し撮像する構成が一般的である。

次に、製造される鋼材のサイズ、例えば製品幅は様々であるため、固定されたカメラで撮像された画像中で鋼材が映っている領域が変化する点である。鋼材が映っていない画像中の領域は検査不要であると同時に、誤ってそのような領域から欠陥を検出するようなことを抑制する必要がある。したがって、撮像された画像中において鋼材が映っている範囲、すなわち検査対象領域を動的に認識して、検査対象領域内のみから欠陥を検出するようにする必要がある。

カメラで撮像したままの生画像には、多くの場合、照明のムラ、レンズ特性によるカメラ視野周辺部の輝度低下などの影響により、画像中の位置によって輝度レベルが異なる「シェーディング」が発生する。そのため、撮像した画像の輝度値を単純に閾値と比較する方法では健全部と欠陥部とを高精度に認識することは困難であった。このため、生画像に対してシェーディング補正と呼ばれる輝度ムラを補正して健全部の輝度レベルが均一となるように前処理が行われている。

より具体的には、シェーディングパターンを示す波形又は画像を用いて、撮像した画像をシェーディングパターンで除算するか、撮像した画像からシェーディングパターンを減算することで補正が行われる。シェーディングパターンは、大別すると固定パターンと動的パターンとを含む。

固定パターンの場合は、常に同じパターンを使ってシェーディング補正が行われる。そのパターンは、例えばあらかじめ実験的に求められる。例えば、欠陥のない鋼材を撮像して得られた複数の画像から求めた平均画像をシェーディングパターンとする方法がある。

一方、動的パターンの場合は、検査中に撮像した１枚又は複数の画像から逐次的にシェーディングパターンを計算又は更新しながら、撮像した画像に対してシェーディング補正が行われる。このパターンの計算又は更新を、撮像した画像のシェーディングの変化に合わせて行うことで、固定パターンよりも補正後の均一さを向上させることも可能となる。

このような動的パターンを用いたシェーディング補正の方法の基本的なものとして、撮像した１次元又は２次元の画像に移動平均処理又はローパスフィルタ処理を施したぼかし画像をシェーディングパターンとして用い、元の画像を補正する方法がある。また、撮像した画像を多項式などで近似することでシェーディングパターンを求める方法もある。さらに、これらを改良した方法が特許文献２及び３に開示されている。

例えば特許文献２には、予め記憶された前回走査時までの走査検出信号で生成した第１のシェーディング補正信号を元にして閾値信号を生成し、今回の走査時の走査信号に含まれる欠陥部に対する位置の信号値を第１のシェーディング補正信号で置換してリアルタイムに補正走査信号を求め、今回の走査時の走査検出信号を正規化するようにした表面検査装置のシェーディング補正方法が開示されている。

例えば特許文献３には、カメラからの画像から検査対象と検査対象外の境界を検出することで検出対象の画像領域を検出し、カメラからの画像にローパスフィルタを適用することでシェーディング成分をカメラからの画像と同じ大きさの画像として抽出した後、その画像の検査対象の画像領域部分について、各ラインの輝度変化を曲線によって、あるいは検査対象の画像領域部分全体の輝度変化を曲面によって近似し、その近似曲線あるいは近似曲面の値を輝度とする同じ大きさの画像に再構成し、カメラからの画像をその再構成した画像により除算又は減算することによりシェーディングを補正する方法が開示されている。

特開２０１６－２２４０６９号公報 特開２０１２－１１２７２９号公報 特開２００４－２２６３４７号公報

しかしながら、上述した従来のシェーディング補正方法には各々問題点があった。

例えば、固定パターンによる補正方法においては、シェーディングが大きく変動する状況下では十分な補正が困難であり、検出精度を向上させることが困難であった。

例えば、シェーディングパターンを、撮影した画像の移動平均処理又はローパスフィルタ処理で求める方法では、補正画像において欠陥部の周囲に「折り返し」が発生する問題があった。また、面積が大きな欠陥では欠陥中央部も補正効果により信号が弱くなって「中抜け」する問題があった。いずれの問題も欠陥の大きさ及び面積に変化を生じさせてしまうので、検出後に欠陥の種類及び有害度を判定する段階において判定精度を悪化させる可能性があった。

特許文献２に記載の方法では、前回走査信号に基づく第１のシェーディング補正信号で今回走査信号が補正される。したがって、検査対象材の蛇行又は幅変化により画像中に映る対象材のエッジ位置が移動すると、エッジ位置が変動した領域では第１のシェーディング補正信号により今回走査信号が補正されてしまうため、エッジ付近では正常なシェーディング補正が困難であるという問題があった。

特許文献３に記載の方法では、シェーディングパターンを元画像の曲線又は曲面による近似で生成する過程において仮定する近似多項式が適切でない場合には、元画像のシェーディングとシェーディングパターンとが乖離してしまう。これにより、健全部の輝度を均一化できないという問題があった。

本開示は、上記課題に鑑みてなされたものであって、帯状体の表面欠陥をより精度良く検出することが可能な表面欠陥検出方法及び表面欠陥検出装置を提供することを目的とする。例えば、その目的は、欠陥部周辺の「折り返し」又は面積が大きな欠陥の「中抜け」を抑制し、なおかつ検査対象材の蛇行又は幅変化により画像中に映るエッジ位置が変動した場合においてもエッジ近傍まで適切にシェーディング補正を行う表面欠陥検出方法及び表面欠陥検出装置を提供することにある。

本開示は、
（１）
帯状体の表面欠陥を光学的に検出する表面欠陥検出方法であって、
前記帯状体の表面を照明して得られる前記帯状体からの反射光を検出し、前記帯状体の表面を相対的に走査しながら撮像して、前記帯状体の表面を含む複数の画像を取得する画像取得ステップと、
取得した前記複数の画像の平均画像を算出する平均画像算出ステップと、
取得した前記複数の画像の各々を、前記平均画像を用いてシェーディング補正して補正画像を得る画像補正ステップと、
前記補正画像に基づいて前記帯状体の表面欠陥を検出する欠陥検出ステップと、
を含み、
前記平均画像算出ステップは、前記複数の画像の各々において、画像中の前記帯状体が存在する検査対象領域を認識して、前記検査対象領域にある画素についてのみ前記平均画像に寄与するようにしたことを含む、
表面欠陥検出方法、
である。

（２）
上記（１）に記載の表面欠陥検出方法では、
前記画像補正ステップは、取得した前記複数の画像の各々を前記平均画像で除算することを含んでもよい。

（３）
上記（１）に記載の表面欠陥検出方法では、
前記画像補正ステップは、取得した前記複数の画像の各々から前記平均画像を減算することを含んでもよい。

（４）
上記（１）乃至（３）のいずれか１つに記載の表面欠陥検出方法では、
前記平均画像算出ステップは、前記複数の画像の各々において、画像中の前記検査対象領域内の非定常部を認識して、定常部の画素についてのみ前記平均画像に寄与するようにしたことを含んでもよい。

（５）
上記（１）乃至（４）のいずれか１つに記載の表面欠陥検出方法では、
前記帯状体は鋼材を含んでもよい。

本開示は、
（６）
帯状体の表面欠陥を光学的に検出する表面欠陥検出装置であって、
前記帯状体の表面を照明する照明部と、
前記照明部により前記帯状体の表面を照明して得られる前記帯状体からの反射光を検出する撮像部と、
前記帯状体の表面を前記照明部及び前記撮像部を用いて相対的に走査して撮像した前記帯状体の表面を含む複数の画像を処理して、前記帯状体の表面欠陥を検出する画像処理部と、
を備え、
前記画像処理部は、
前記複数の画像の平均画像を算出し、
前記平均画像を用いて前記複数の画像をシェーディング補正した補正画像を取得し、
前記補正画像に基づいて前記帯状体の表面欠陥を検出し、
前記複数の画像の各々において画像中の前記帯状体が存在する検査対象領域を認識して、前記検査対象領域にある画素についてのみ前記平均画像に寄与するようにする、
表面欠陥検出装置、
である。

本開示の一実施形態に係る表面欠陥検出方法及び表面欠陥検出装置によれば、帯状体の表面欠陥をより精度良く検出することが可能である。例えば、欠陥部周辺の「折り返し」又は面積が大きな欠陥の「中抜け」が抑制される。加えて、検査対象材の蛇行又は幅変化により画像中に映るエッジ位置が変動した場合においてもエッジ近傍まで適切にシェーディング補正を行うことが可能である。

本開示の一実施形態に係る表面欠陥検出装置の構成を示す模式図である。 図１の画像処理部で実行される画像処理を示すフローチャートである。 図１の鋼材の複数の画像を示す図である。 本開示の実施例を示す図である。 従来技術による比較例を示す図である。 別の従来技術による比較例を示す図である。 図４の（ｄ）のシェーディング補正画像におけるア－ア間の補正輝度波形を示したグラフ図である。 図５の（ｄ）のシェーディング補正画像におけるイ－イ間の補正輝度波形を示したグラフ図である。 図６の（ｄ）のシェーディング補正画像におけるウ－ウ間の補正輝度波形を示したグラフ図である。

以下、添付図面を参照しながら、本開示の一実施形態に係る表面欠陥検出装置の構成及び動作について主に説明する。

図１は、本開示の一実施形態に係る表面欠陥検出装置１の構成を示す模式図である。表面欠陥検出装置１は、帯状体の表面欠陥を光学的に検出する。本開示において、「帯状体」は、例えば鋼材などを含む。本開示で述べる鋼材は、例えば継目無鋼管、溶接鋼管、熱延鋼板、冷延鋼板、厚板などの鋼板及び形鋼をはじめとする鉄鋼製品、並びにこれら鉄鋼製品が製造される過程で生成されるスラブなどの半製品を含む。

図１に示されるように、本開示の一実施形態に係る表面欠陥検出装置１は、搬送ローラーテーブルＴＢ上を図中矢印Ｄの方向に搬送される帯状体としての鋼材ＰＬの表面欠陥を検出する。表面欠陥検出装置１は、照明装置２ａ、２ｂと、エリアセンサ３ａ、３ｂと、演算処理装置４と、表示装置５と、を主な構成要素として有する。照明装置２ａ、２ｂは、特許請求の範囲に記載の「照明部」に対応する。エリアセンサ３ａ、３ｂは、特許請求の範囲に記載の「撮像部」に対応する。

照明装置２ａ、２ｂは、帯状体の表面を照明する任意の発光素子を有する。例えば、照明装置２ａ、２ｂは、搬送ローラーテーブルＴＢ上を鋼材ＰＬが矢印Ｄの方向に一定距離移動する毎に発光し鋼材ＰＬ表面の検査位置を照明する。

エリアセンサ３ａ、３ｂは、照明装置２ａ、２ｂにより帯状体の表面を照明して得られる帯状体からの反射光を検出する任意の受光素子を有する。エリアセンサ３ａ、３ｂは、例えばカメラなどを含む。例えば、エリアセンサ３ａ、３ｂは、照明装置２ａ、２ｂの発光にそれぞれ同期して鋼材ＰＬ表面の検査位置からの反射光を検出し、鋼材ＰＬ表面の画像を撮像する。

表面欠陥検出装置１は、図１に示す実施形態では、照明装置及びエリアセンサを２組有するが、これに限定されない。表面欠陥検出装置１は、例えば、検査対象である鋼材ＰＬの製品幅に応じて、照明装置及びエリアセンサの組を１組又は３組以上有してもよい。表面欠陥検出装置１は、１つのエリアセンサに対して複数の照明装置を配置してもよいし、１つの照明装置に対して複数のエリアセンサを配置してもよい。

演算処理装置４は、１つ以上のプロセッサを有する。一実施形態において「プロセッサ」は、汎用のプロセッサ、又は特定の処理に特化した専用のプロセッサであるが、これらに限定されない。演算処理装置４は、エリアセンサ３ａ、３ｂを用いて撮像された２次元画像を取得し、鋼材ＰＬの表面欠陥を検出する。演算処理装置４は、画像処理部４１ａ、４１ｂと、統合処理部４２と、を内部に有する。

画像処理部４１ａ、４１ｂは、帯状体の表面を照明装置２ａ、２ｂ及びエリアセンサ３ａ、３ｂを用いて相対的に走査して撮像した帯状体の表面を含む複数の画像を処理して、帯状体の表面欠陥を検出する。画像処理部４１ａ、４１ｂは、後述する一連の画像処理を実行することにより、各エリアセンサ視野内に映る鋼材ＰＬの存在範囲と、鋼材ＰＬ上の表面欠陥とを検出する。画像処理部４１ａ、４１ｂは、検出した各表面欠陥の特徴から欠陥の種類及び有害度の判定を行ってもよい。

統合処理部４２は、画像処理部４１ａ、４１ｂで各々検出した鋼材ＰＬの存在範囲の情報及び表面欠陥の情報を鋼材ＰＬ全体にわたって集約する。統合処理部４２は、鋼材ＰＬ上のどの位置に欠陥が存在するかを示す欠陥マップ、鋼材ＰＬ上の欠陥数を欠陥の種類及び有害度別で集計した集計表などの検査実績情報を作成する。統合処理部４２は、作成された検査実績情報を表示装置５に出力し、表示装置５を用いてオペレータに提示する。

表示装置５は、情報を出力してオペレータに提示する１つ以上の出力インタフェースを有する。例えば、表示装置５は、情報を映像で出力するディスプレイを有する。

次に、画像処理部４１ａ、４１ｂで実行される画像処理について、図２を参照しながら説明する。

図２は、図１の画像処理部４１ａ、４１ｂで実行される画像処理を示すフローチャートである。画像処理部４１ａ、４１ｂで実行される画像処理の手順は同一である。したがって、以下では、照明装置２ａ、エリアセンサ３ａ、及び画像処理部４１ａの系統における画像処理を一例として説明する。

ステップＳ１において、画像処理部４１ａは、エリアセンサ３ａより入力画像Ｉ_ｎ（ｘ，ｙ）を取得する。入力画像Ｉ_ｎ（ｘ，ｙ）は、照明装置２ａにより照明された鋼材ＰＬ表面からの反射光を、照明装置２ａの発光に同期してエリアセンサ３ａが検出して撮影した画像である。ここで、添え字のｎは、鋼材ＰＬの検査開始からｎ回目の撮像であることを示す。（ｘ，ｙ）は、入力画像における２次元座標を示す。ｘは鋼材ＰＬの幅方向、すなわち図１における矢印Ｄの方向に直交する方向に対応する座標である。ｙは鋼材ＰＬの進行方向、すなわち図１における矢印Ｄの方向に対応する座標である。Ｉ_ｎ（ｘ，ｙ）の値は、各座標（ｘ，ｙ）における輝度を表す。

ステップＳ２において、画像処理部４１ａは、ステップＳ１で取得された入力画像Ｉ_ｎ（ｘ，ｙ）に基づいて検査対象領域、すなわち入力画像Ｉ_ｎ（ｘ，ｙ）において鋼材ＰＬが存在している範囲を検出する。検査対象領域の検出方法は、検査対象材及びその背景に適した方法を採用すればよい。

例えば、入力画像Ｉ_ｎ（ｘ，ｙ）中の鋼材ＰＬが背景に対して十分に明るい場合には、背景か検査対象材かを判別する閾値Ｔ_Ｒを用いて、各座標（ｘ，ｙ）において以下の式（１）及び（２）により検査対象領域を示す２値画像Ｒ_ｎ（ｘ，ｙ）を算出する方法が採用できる。

Ｉ_ｎ（ｘ，ｙ）≧Ｔ_Ｒのとき Ｒ_ｎ（ｘ，ｙ）＝１ （検査対象領域） （１）
Ｉ_ｎ（ｘ，ｙ）＜Ｔ_Ｒのとき Ｒ_ｎ（ｘ，ｙ）＝０ （背景） （２）

その他にも、入力画像Ｉ_ｎ（ｘ，ｙ）の各ｙ座標においてｘ方向に探索を行い、Ｉ_ｎ（ｘ，ｙ）がＴ_Ｒを初めて所定の画素数連続して超える位置を鋼材ＰＬと背景との境界と認識して検査対象領域を検出する方法も採用可能である。

ステップＳ３において、画像処理部４１ａは、ステップＳ２で検出された入力画像Ｉ_ｎ（ｘ，ｙ）の検査対象領域に含まれる画素の輝度を積算輝度画像Ｓ（ｘ，ｙ）に加算する。すなわち、積算輝度画像Ｓ（ｘ，ｙ）には、入力画像Ｉ_１（ｘ，ｙ）からＩ_ｎ－１（ｘ，ｙ）までの各画像における検査対象領域内の輝度値が積算されており、画像処理部４１ａは、積算輝度画像Ｓ（ｘ，ｙ）を次式のように更新する。
Ｓ（ｘ，ｙ）：＝Ｓ（ｘ，ｙ）＋Ｉ_ｎ（ｘ，ｙ）×Ｒ_ｎ（ｘ，ｙ） （３）

ステップＳ４において、画像処理部４１ａは、ステップＳ２で検出された入力画像Ｉ_ｎ（ｘ，ｙ）の検査対象領域に含まれる画素についてカウント画像Ｃ（ｘ，ｙ）に１を加算する。すなわち、カウント画像Ｃ（ｘ，ｙ）には各座標（ｘ，ｙ）の画素が入力画像Ｉ_１（ｘ，ｙ）からＩ_ｎ－１（ｘ，ｙ）において検査対象領域内となった回数が積算されており、画像処理部４１ａは、カウント画像Ｃ（ｘ，ｙ）を次式のように更新する。
Ｃ（ｘ，ｙ）：＝Ｃ（ｘ，ｙ）＋Ｒ_ｎ（ｘ，ｙ） （４）
画像処理部４１ａは、検査対象材である鋼材ＰＬごとにカウント画像Ｃ（ｘ，ｙ）を初期化する。

ステップＳ５において、画像処理部４１ａは、未取得の入力画像があるか否かを判定する。画像処理部４１ａは、未取得の入力画像があると判定するとステップＳ１に戻り、次の入力画像Ｉ_ｎ＋１（ｘ，ｙ）についてステップＳ１～Ｓ４の処理を再度実行する。画像処理部４１ａは、未取得の入力画像がないと判定すると、次のステップＳ６の処理を実行する。

ステップＳ６において、画像処理部４１ａは、ステップＳ１で取得された複数の入力画像の平均画像Ａ（ｘ，ｙ）を算出する。より具体的には、画像処理部４１ａは、積算輝度画像Ｓ（ｘ，ｙ）をカウント画像Ｃ（ｘ，ｙ）で除算して平均画像Ａ（ｘ，ｙ）を算出する。すなわち、画像処理部４１ａは、各座標（ｘ，ｙ）において、次式のように計算する。
Ｃ（ｘ，ｙ）≠０のとき、Ａ（ｘ，ｙ）：＝Ｓ（ｘ，ｙ）／Ｃ（ｘ，ｙ） （５）
（ただし、Ｃ（ｘ，ｙ）＝０のときＡ（ｘ，ｙ）の値は任意とする。）

式（５）で算出される平均画像Ａ（ｘ，ｙ）の値は、鋼材ＰＬがエリアセンサ３ａの視野内で入力画像の座標（ｘ，ｙ）に該当する位置における平均輝度であり、平均画像全体としては照明装置２ａのむらなどに起因するシェーディングパターンを表している。ここで、画像処理部４１ａは、ステップＳ６の平均画像算出ステップで、複数の入力画像の各々において画像中の帯状体が存在する検査対象領域を認識し、検査対象領域にある画素についてのみ平均画像Ａ（ｘ，ｙ）に寄与するようにする。すなわち、各入力画像において座標（ｘ，ｙ）が検査対象領域内であったときのみ、入力画像の輝度が平均値に寄与しており、背景からの寄与が排除されていることに注意されたい。

ステップＳ７において、画像処理部４１ａは、ステップＳ１で取得された複数の画像の各々を、平均画像Ａ（ｘ，ｙ）を用いてシェーディング補正し補正画像を取得する。より具体的には、画像処理部４１ａは、ステップＳ６で算出した平均画像Ａ（ｘ，ｙ）を用いて入力画像Ｉ_ｎ（ｘ，ｙ）のシェーディング補正を実行する。

画像処理部４１ａは、ステップＳ７の画像補正ステップにおいて、ステップＳ１で取得された複数の画像の各々を平均画像Ａ（ｘ，ｙ）で除算する。より具体的には、画像処理部４１ａは、入力画像Ｉ_ｎ（ｘ，ｙ）をシェーディング補正した画像をＪ_ｎ（ｘ，ｙ）とすると、除算型のシェーディング補正では次式のように計算する。
Ｊ_ｎ（ｘ，ｙ）：＝Ｉ_ｎ（ｘ，ｙ）／Ａ（ｘ，ｙ） （６）

又は、画像処理部４１ａは、ステップＳ７の画像補正ステップにおいて、ステップＳ１で取得された複数の画像の各々から平均画像Ａ（ｘ，ｙ）を減算する。より具体的には、画像処理部４１ａは、減算型のシェーディング補正では次式のように計算する。
Ｊ_ｎ（ｘ，ｙ）：＝Ｉ_ｎ（ｘ，ｙ）－Ａ（ｘ，ｙ） （７）

ただし、上記のシェーディング補正の計算は、入力画像Ｉ_ｎ（ｘ，ｙ）において検査対象領域内、すなわちＲ_ｎ（ｘ，ｙ）＝１となる座標（ｘ、ｙ）について実行され、それ以外の背景（Ｒ_ｎ（ｘ，ｙ）＝０）にあたる座標については任意の値とする。このシェーディング補正により、鋼材ＰＬの健全部の平均輝度レベルは位置によらず一定値となる。例えば、式（６）を用いた除算型のシェーディング補正では、健全部の平均輝度レベルはＪ_ｎ（ｘ，ｙ）＝１となる。例えば、式（７）を用いた減算型のシェーディング補正では、健全部の平均輝度レベルはＪ_ｎ（ｘ，ｙ）＝０となる。

ここで、上述したように平均画像Ａ（ｘ，ｙ）では、各入力画像において座標（ｘ，ｙ）が検査対象領域内にあるときのみ、入力画像の輝度が平均値に寄与しており、背景からの寄与が排除されている。したがって、鋼材ＰＬの蛇行又は幅変化により、一連の入力画像Ｉ_ｎ（ｘ，ｙ）において鋼材ＰＬ表面であったり背景であったりするような座標においても、シェーディング補正が適切に行われる。

なお、画像処理部４１ａは、シェーディング補正画像Ｊ_ｎ（ｘ，ｙ）の平均輝度レベル又は欠陥信号のコントラストを調整する必要があれば適当な線形変換などを行ってもよい。例えば、画像処理部４１ａは、式（６）による除算型のシェーディング補正を行った画像を２５６階調のグレースケール画像とするため、平均輝度レベルを１２８となるように変換する。このような場合、画像処理部４１ａは、変換後のシェーディング補正画像をＪ_ｎ’（ｘ，ｙ）として、次式のような変換処理を実行する。
Ｊ_ｎ’（ｘ，ｙ）＝Ｊ_ｎ（ｘ，ｙ）×１２８ （８）

ステップＳ８において、画像処理部４１ａは、ステップＳ７で得られたシェーディング補正画像Ｊ_ｎ（ｘ，ｙ）の２値化を行う。２値化は、各画素が欠陥部に属するか、属さないかを判定するためのものである。画像処理部４１ａは、２値化画像をＢ_ｎ（ｘ，ｙ）とすると、シェーディング補正画像Ｊ_ｎ（ｘ，ｙ）の各画素において２つの閾値Ｔ_１、Ｔ_２との比較により２値化画像Ｂ_ｎ（ｘ，ｙ）を次式のように計算する。
Ｊ_ｎ（ｘ，ｙ）≦Ｔ_１又はＪ_ｎ（ｘ，ｙ）≧Ｔ_２のとき、 Ｂ_ｎ（ｘ，ｙ）：＝１（９）
Ｔ_１＜Ｊ_ｎ（ｘ，ｙ）＜Ｔ_２のとき、 Ｂ_ｎ（ｘ，ｙ）：＝０（１０）

ただし、閾値Ｔ_１は平均輝度レベルよりも小さい値である。閾値Ｔ_２は平均輝度レベルよりも大きい値である。シェーディング補正が除算型である場合はＴ_１＜１＜Ｔ_２である。シェーディング補正が減算型である場合はＴ_１＜０＜Ｔ_２である。また、式（８）のような変換が行われた場合、閾値Ｔ_１、Ｔ_２は、それぞれ変換後の平均輝度レベル前後の値である。また、画像処理部４１ａは、検出すべき欠陥が画像上で健全部より明るいか暗いかのいずれかである場合には閾値Ｔ_１、Ｔ_２のいずれかのみと比較を行ってもよい。

ステップＳ９において、画像処理部４１ａは、ステップＳ８で得られた２値化画像Ｂ_ｎ（ｘ，ｙ）からブロブを抽出し、抽出したブロブにラベリングを行う。ここで、ブロブは、２値化画像Ｂ_ｎ（ｘ，ｙ）の値が１の画素、すなわち欠陥部に属する画素が連続している領域を指す。ラベリングは、各ブロブに識別用のラベル（通し番号）を付与することである。

２値化画像Ｂ_ｎ（ｘ，ｙ）において同一の欠陥に属する画素の領域が連続しておらず、２つ以上のブロブに分かれる場合がある。そのような場合への対応として、画像処理部４１ａは、ブロブ間の距離が所定の距離より小さい場合には１つのブロブとみなし、同一のラベルを付与してもよい。また、画像処理部４１ａは、健全部であっても鋼材ＰＬ表面の無害な模様によって小さいブロブが発生する場合があるので、面積（画素数）の小さいブロブを除去してもよい。

ステップＳ１０において、画像処理部４１ａは、ステップＳ９でラベリングしたブロブ、すなわち欠陥の特徴量を計算する。特徴量は、シェーディング補正画像Ｊ_ｎ（ｘ，ｙ）（又は入力画像Ｉ_ｎ（ｘ，ｙ））及び２値化画像Ｂ_ｎ（ｘ，ｙ）における各ブロブ（欠陥）に属する画素領域について算出される。特徴量は、例えば、幅、長さ、面積などの欠陥の大きさを表すもの、アスペクト比及び円形度などの欠陥の形状に関するもの、平均輝度及び輝度ヒストグラムなどの欠陥の濃淡に関するものなどを含む。

ステップＳ１１において、画像処理部４１ａは、シェーディング補正画像Ｊ_ｎ（ｘ，ｙ）に基づいて帯状体の表面欠陥を検出する。より具体的には、画像処理部４１ａは、ステップＳ１０で計算された各ブロブ（欠陥）の特徴量に基づいて欠陥判定を行う。例えば、画像処理部４１ａは、各ブロブに欠陥の種類及び有害度を付与する。判定の方法としては、予め決められたＩＦ－ＴＨＥＮルールを適用してもよいし、各種の機械学習手法によって生成した判別器も適用してもよいし、それらを組み合わせて適用してもよい。

ステップＳ１２において、画像処理部４１ａは、ステップＳ７からＳ１１までの処理が完了していない入力画像Ｉ_ｎ（ｘ，ｙ）があるか否かを判定する。画像処理部４１ａは、完了していない入力画像があると判定するとステップＳ７に戻りステップＳ７からステップＳ１１までの処理を繰り返す。画像処理部４１ａは、全ての入力画像に対して処理が完了したと判定すると、処理を終了する。

表面欠陥検出装置１は、以上のステップＳ１～Ｓ１２の処理を実行することにより、鋼材ＰＬが蛇行してエッジ位置が変動する場合においても板エッジ近傍のシェーディング補正を正常に実行し、また欠陥部周辺に「折り返し」などが生じないシェーディング補正を実現可能である。これにより、表面欠陥検出装置１は、表面欠陥の高感度な検出並びに欠陥の種類及び有害度の適切な判定を可能にする。

なお、上述の検査対象領域内に欠陥部などの非定常部、すなわち周囲の健全部より輝度が高い又は低い部分があると平均画像Ａ（ｘ，ｙ）に寄与する。例えば、カウント画像Ｃ（ｘ，ｙ）の値が小さい座標（ｘ，ｙ）ではその寄与度合いが大きくなり、シェーディングパターンの推定である平均画像Ａ（ｘ，ｙ）に余計な歪みが生じる。画像処理部４１ａは、このような歪みを抑制するために、ステップＳ２において、Ｒ_ｎ（ｘ，ｙ）に加えて次の２値画像Ｑ_ｎ（ｘ，ｙ）を計算してもよい。
Ｒ_ｎ（ｘ，ｙ）＝１かつ（ｘ，ｙ）が定常部のとき Ｑ_ｎ（ｘ，ｙ）＝１ （１１）
Ｒ_ｎ（ｘ，ｙ）＝０又は（ｘ，ｙ）が非定常部のとき Ｑ_ｎ（ｘ，ｙ）＝０（１２）

画像処理部４１ａは、ステップＳ３において、式（３）を次の数式（３’）に置き換えて計算する。
Ｓ（ｘ，ｙ）：＝Ｓ（ｘ，ｙ）＋Ｉ_ｎ（ｘ，ｙ）×Ｑ_ｎ（ｘ，ｙ） （３’）

画像処理部４１ａは、ステップＳ４において、式（４）を次の数式（４’）に置き換えて計算する。
Ｃ（ｘ，ｙ）：＝Ｃ（ｘ，ｙ）＋Ｑ_ｎ（ｘ，ｙ） （４’）

画像処理部４１ａは、数式（１１）、（１２）において、定常部か非定常部かを判定するために、例えば入力画像Ｉ_ｎ（ｘ，ｙ）の各画素において所定の閾値と比較して、極端に輝度が高い又は低い画素を抽出する方法を用いてもよい。又は、画像処理部４１ａは、一度ステップＳ１からステップＳ８までを実行してシェーディング補正画像Ｊ_ｎ（ｘ，ｙ）及び２値化画像Ｂ_ｎ（ｘ，ｙ）を算出したのち、Ｂ_ｎ（ｘ，ｙ）＝１となる画素（ｘ，ｙ）を非定常部と判定してもよい。その後、画像処理部４１ａは、再びステップＳ１に戻り、ステップＳ３、Ｓ４において上記式（３’）、（４’）に置き換えてステップＳ１２まで実行してもよい。

このとき、画像処理部４１ａは、ステップＳ６の平均画像算出ステップで、複数の入力画像の各々において画像中の検査対象領域内の非定常部を認識し、定常部の画素についてのみ平均画像Ａ（ｘ，ｙ）に寄与するようにしてもよい。

以下、図３～図７Ｃを参照しながら、本開示の実施例及び従来技術による比較例について主に説明する。

図３は、図１の鋼材ＰＬの複数の画像を示す図である。図３は、搬送ローラーテーブルＴＢ上で搬送中の鋼材ＰＬとしての厚鋼板のエッジ部Ｅから中央部を、搬送ローラーテーブルＴＢの上方に固定された撮像部のカメラ及び照明部のフラッシュ照明を用いて１枚の厚鋼板の長手方向に一定の間隔で繰り返し撮像して得られた６１枚の画像の一部を示す。図３の上段における（ａ）は、厚鋼板の長手方向先端付近の画像を示す。図３の中段における（ｂ）は、厚鋼板の長手方向中央部の画像を示す。図３の下段における（ｃ）は、厚鋼板の長手方向尾端付近の画像を示す。これら３枚の画像が示すように、厚鋼板のエッジ部Ｅの位置がカメラ視野内で移動し、搬送ローラーテーブルＴＢ上で蛇行していることが分かる。

図４は、本開示の実施例を示す図である。図４は、図３の厚鋼板の一連の画像について本開示の一実施形態に係る表面欠陥検出装置１による画像処理を適用し、そのうち汚れ状の欠陥を有する入力画像とその処理画像との一例を示す。

図４の（ａ）は、入力画像Ｉ_ｎ（ｘ，ｙ）を示す図である。図４の（ｂ）は、平均画像Ａ（ｘ，ｙ）を示す図である。図４の（ｂ）の平均画像Ａ（ｘ，ｙ）は、シェーディングパターンに対応する。図４の（ｃ）は、検査対象領域を示す２値画像Ｒ_ｎ（ｘ，ｙ）を示す図である。図４の（ｄ）は、シェーディング補正画像Ｊ_ｎ（ｘ，ｙ）を示す図である。図４の（ｅ）は、シェーディング補正画像Ｊ_ｎ（ｘ，ｙ）を閾値処理して得られた２値化画像Ｂ_ｎ（ｘ，ｙ）を示す図である。図４の（ｅ）の２値化画像Ｂ_ｎ（ｘ，ｙ）は、欠陥部を検出した画像である。

図４では、画像処理部４１ａは、図２のステップＳ２の検査対象領域の検出において、厚鋼板のエッジを入力画像の左側から探索し、２０画素以上右側に連続して所定輝度値を超えた位置をエッジ位置とした。また、画像処理部４１ａは、エッジ付近にハレーションを生じているので、エッジから１８画素を非定常部として、検査対象領域から除外した。さらに、画像処理部４１ａは、図２のステップＳ９のラベリング処理において、２０画素より面積が少ないブロブをノイズとして除去した。

図５は、従来技術による比較例を示す図である。図５は、図４の（ａ）に示した画像と同一の入力画像に対して、移動平均フィルタを用いてシェーディングパターンを算出し、シェーディング補正を行った場合の画像処理の結果を示す。シェーディングパターンはｙ座標毎に算出され、ｘ方向に６４画素の移動平均フィルタを用いて行った。

図５の（ａ）は、図４の（ａ）と同一の入力画像を示す図である。図５の（ｂ）は、図５の（ａ）の入力画像に移動平均フィルタを適用して生成したシェーディングパターンを示す図である。図５の（ｃ）は、検査対象領域を示す図４の（ｃ）と同一の２値画像を示す図である。図５の（ｄ）は、図５の（ｂ）のシェーディングパターンに基づくシェーディング補正画像を示す図である。図５の（ｅ）は、図５の（ｄ）のシェーディング補正画像を閾値処理して得られた２値化画像を示す図である。図５の（ｅ）の２値化画像は、欠陥部を検出した画像である。シェーディング補正以外の処理について、図４と同一の処理及びパラメータを使用した。

図６は、別の従来技術による比較例を示す図である。図６は、図４の（ａ）に示した画像と同一の入力画像に対して、２次の多項式近似を用いてシェーディングパターンを算出し、シェーディング補正を行った場合の画像処理の結果を示す。

図６の（ａ）は、図４の（ａ）と同一の入力画像を示す図である。図６の（ｂ）は、図６の（ａ）の入力画像のｙ座標毎にｘ方向の輝度波形について２次の多項式近似を適用して生成したシェーディングパターンを示す図である。図６の（ｃ）は、検査対象領域を示す図４の（ｃ）と同一の２値画像を示す図である。図６の（ｄ）は、図６の（ｂ）のシェーディングパターンに基づくシェーディング補正画像を示す図である。図６の（ｅ）は、図６の（ｄ）のシェーディング補正画像を閾値処理して得られた２値化画像を示す図である。図６の（ｅ）の２値化画像は、欠陥部を検出した画像である。シェーディング補正以外の処理について、図４と同一の処理及びパラメータを使用した。

図７Ａ乃至図７Ｃは、シェーディング補正の結果について、本開示の技術に基づく実施例と２つの比較例とを比較したものである。図７Ａは、図４の（ｄ）のシェーディング補正画像におけるア－ア間の補正輝度波形を示したグラフ図である。図７Ｂは、図５の（ｄ）のシェーディング補正画像におけるイ－イ間の補正輝度波形を示したグラフ図である。図７Ｃは、図６の（ｄ）のシェーディング補正画像におけるウ－ウ間の補正輝度波形を示したグラフ図である。

本開示の実施例を示す図４の（ｂ）の平均画像Ａ（ｘ，ｙ）は、図４の（ａ）の入力画像Ｉ_ｎ（ｘ，ｙ）のシェーディングを、厚鋼板表面の模様及び欠陥にほとんど影響されることなく良く表している。図４の（ｄ）のシェーディング補正画像Ｊ_ｎ（ｘ，ｙ）では、図７Ａのグラフに示されるように全体に均一な輝度が達成され、かつ欠陥部周辺に「折り返し」などは発生していない。

一方で、従来技術の比較例である図５の（ｄ）のシェーディング補正画像では、図７Ｂのグラフに示されるように汚れ状欠陥部（暗部）の左右にやや明るくなった部分、すなわち欠陥部（暗部）に対する「折り返し」が発生している。なお、図５の（ｄ）に示す本比較例では「折り返し」部の誤検出は生じてはいないものの、欠陥部の信号がより強い場合には「折り返し」部の信号レベルも比例して大きくなり、誤検出を生じる原因となる。

さらに、別の従来技術の比較例である図６の（ｄ）のシェーディング補正画像では、図７Ｃのグラフに示されるように、図７Ｂのような「折り返し」は発生していないものの、画像の右側がやや暗くなっている。すなわち、シェーディング補正が適切でなく、補正が十分に行われていないことを示している。この結果、図６の（ｅ）の２値化画像において画像右端に誤検出が生じている。

以上のように、本開示の技術を用いれば、従来技術に比べて、検査対象材の蛇行又は幅変化が生じている状況下においても適切にシェーディング補正が実施可能であり、欠陥部周辺における「折り返し」なども抑制される。

以上のような一実施形態に係る表面欠陥検出方法及び表面欠陥検出装置１によれば、複数の画像から算出した平均画像をシェーディングパターンとして用い、かつ複数の画像の各々において検査対象領域内にある画素のみ平均画像に寄与するようにしたので、帯状体の表面欠陥をより精度良く検出することが可能である。より具体的には、補正後の画像において欠陥部周辺の「折り返し」又は面積が大きな欠陥の「中抜け」が抑制される。加えて、検査対象材の蛇行又は幅変化により画像中に映るエッジ位置が変動した場合においてもエッジ近傍まで適切にシェーディング補正を行うことが可能である。

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行うことが可能であることに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各構成又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、上述した各構成部の形状、大きさ、配置、向き、及び個数などは、上記の説明及び図面における図示の内容に限定されない。各構成部の形状、大きさ、配置、向き、及び個数などは、その機能を実現できるのであれば、任意に構成されてもよい。

例えば、スマートフォン又はコンピュータなどの汎用の電子機器を、上述した実施形態に係る表面欠陥検出装置１として機能させる構成も可能である。具体的には、実施形態に係る表面欠陥検出装置１の各機能を実現する処理内容を記述したプログラムを、電子機器のメモリに格納し、電子機器のプロセッサにより当該プログラムを読み出して実行させる。したがって、一実施形態に係る開示は、プロセッサが実行可能なプログラムとしても実現可能である。

又は、一実施形態に係る開示は、実施形態に係る表面欠陥検出装置１などに各機能を実行させるために１つ又は複数のプロセッサにより実行可能なプログラムを記憶した非一時的なコンピュータ読取可能な媒体としても実現し得る。本開示の範囲には、これらも包含されると理解されたい。

上記実施形態及び実施例において、「撮像部」としてエリアセンサ、すなわち２次元に配列された撮像素子を有するカメラなどを用いる構成としたが、これに限定されない。「撮像部」としてラインセンサ、すなわち１次元に配列された撮像素子を有するカメラなどを用いてもよい。ラインセンサを用いる場合、検査対象材の撮像はＸ方向の１ラインずつ行われる。したがって、表面欠陥検出装置１は、入力画像Ｉ_ｎ（ｘ，ｙ）のＹ方向のサイズを１とする、又は、一定ライン数蓄積する毎に入力画像Ｉ_ｎ（ｘ，ｙ）を形成するようにしてもよい。

上記実施形態において、「帯状体」は、例えば鋼材などを含むと説明したが、これに限定されない。帯状体は、鋼材以外の他の帯状又はシート状の任意の対象を含んでもよい。

１ 表面欠陥検出装置
２ａ 照明装置（照明部）
２ｂ 照明装置（照明部）
３ａ エリアセンサ（撮像部）
３ｂ エリアセンサ（撮像部）
４ 演算処理装置
４１ａ 画像処理部
４１ｂ 画像処理部
４２ 統合処理部
５ 表示装置
Ｅ エッジ部
ＰＬ 鋼材（帯状体）
ＴＢ 搬送ローラーテーブル

Claims (6)

1. 帯状体の表面欠陥を光学的に検出する表面欠陥検出方法であって、
   前記帯状体の表面を照明して得られる前記帯状体からの反射光を検出し、前記帯状体の表面を相対的に走査しながら撮像して、前記帯状体の表面を含む複数の画像を取得する画像取得ステップと、
   取得した前記複数の画像の平均画像を算出する平均画像算出ステップと、
   取得した前記複数の画像の各々を、前記平均画像を用いてシェーディング補正して補正画像を得る画像補正ステップと、
   前記補正画像に基づいて前記帯状体の表面欠陥を検出する欠陥検出ステップと、
   を含み、
   前記平均画像算出ステップは、前記複数の画像の各々において、画像中の前記帯状体が存在する検査対象領域を認識して、前記検査対象領域にある画素についてのみ前記平均画像に寄与するようにしたことを含む、
   表面欠陥検出方法。
2. 請求項１に記載の表面欠陥検出方法であって、
   前記画像補正ステップは、取得した前記複数の画像の各々を前記平均画像で除算することを含む、
   表面欠陥検出方法。
3. 請求項１に記載の表面欠陥検出方法であって、
   前記画像補正ステップは、取得した前記複数の画像の各々から前記平均画像を減算することを含む、
   表面欠陥検出方法。
4. 請求項１乃至３のいずれか１項に記載の表面欠陥検出方法であって、
   前記平均画像算出ステップは、前記複数の画像の各々において、画像中の前記検査対象領域内の非定常部を認識して、定常部の画素についてのみ前記平均画像に寄与するようにしたことを含む、
   表面欠陥検出方法。
5. 請求項１乃至３のいずれか１項に記載の表面欠陥検出方法であって、
   前記帯状体は鋼材を含む、
   表面欠陥検出方法。
6. 帯状体の表面欠陥を光学的に検出する表面欠陥検出装置であって、
   前記帯状体の表面を照明する照明部と、
   前記照明部により前記帯状体の表面を照明して得られる前記帯状体からの反射光を検出する撮像部と、
   前記帯状体の表面を前記照明部及び前記撮像部を用いて相対的に走査して撮像した前記帯状体の表面を含む複数の画像を処理して、前記帯状体の表面欠陥を検出する画像処理部と、
   を備え、
   前記画像処理部は、
   前記複数の画像の平均画像を算出し、
   前記平均画像を用いて前記複数の画像をシェーディング補正した補正画像を取得し、
   前記補正画像に基づいて前記帯状体の表面欠陥を検出し、
   前記複数の画像の各々において画像中の前記帯状体が存在する検査対象領域を認識して、前記検査対象領域にある画素についてのみ前記平均画像に寄与するようにする、
   表面欠陥検出装置。
   

Images