以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(第1の実施形態)
<欠陥検出装置の全体構成について>
まず、図1を参照しながら、本発明の第1の実施形態に係る欠陥検出装置10の全体構成について説明する。図1は、本実施形態に係る欠陥検出装置10の構成を示した説明図である。
本実施形態に係る欠陥検出装置10は、管状体1の内表面を撮像して、撮像の結果得られる画像を画像処理することにより、管状体1の内表面に表面欠陥(凹凸疵及び模様系の疵)が存在するか否かを検査する装置である。
なお、本実施形態に係る管状体1は、中空部を有する管状のものであれば特に限定されるわけではないが、かかる管状体1の例として、スパイラル鋼管、電縫鋼管、UO鋼管、継目無鋼管(シームレス鋼管)、鍛接鋼管、TIG溶接鋼管等の各種鋼管やパイプのみならず、熱間押出法で使用されるコンテナと称するシリンダー等の管状物を挙げることができる。
本実施形態に係る欠陥検出装置10は、図1に示したように、管状体1の内表面を撮像する管状体撮像装置100と、撮像の結果得られる画像に対して画像処理を行う演算処理装置200と、を備える。
管状体撮像装置100は、管状体1の中空部に設置される。この管状体撮像装置100は、管状体1の軸方向に沿って位置を随時変更しながら、当該管状体1の内表面を軸方向に沿って順次撮像し、撮像の結果得られる撮像画像を、演算処理装置200に出力する装置である。管状体撮像装置100は、軸方向位置変更装置(図示せず。)により軸方向に沿った位置が制御されており、管状体撮像装置100の移動に伴いPLG(Pulse Logic Generator:パルス型速度検出器)等からPLG信号が演算処理装置200に出力される。また、管状体撮像装置100は、演算処理装置200によって、管状体1の撮像タイミング等が制御されている。
また、演算処理装置200は、管状体撮像装置100によって生成された撮像画像を利用して、後述するような縞画像フレームを生成し、この縞画像フレームに対して以下で説明するような画像処理を行うことで、管状体1の内表面に存在している可能性のある欠陥を検出する装置である。
[管状体撮像装置100の構成について]
続いて、図2を参照しながら、本実施形態に係る管状体撮像装置100の構成について簡単に説明する。図2は、本実施形態に係る管状体撮像装置の一例を示した説明図である。
図2に示したように、本実施形態に係る管状体撮像装置100は、レーザ光照射装置110と、カメラ120と、を備える。
レーザ光照射装置110は、管状体1の内表面の周方向に沿って環状のレーザ光(以下、環状ビームとも称する。)を照射する装置であり、図2に示したように、レーザ光源111と、円錐状の光学素子113と、を更に有する。
レーザ光源111は、所定の波長を有するレーザ光を発振する光源である。このようなレーザ光源111として、例えば、連続的にレーザ発振を行うCWレーザ光源を用いることが可能である。レーザ光源111が発振する光の波長は、例えば、400nm〜800nm程度の可視光帯域に属する波長であることが好ましい。レーザ光源111は、後述する演算処理装置200から送出される照射タイミング制御信号に基づいて、レーザ光の発振を行う。
円錐状の光学素子113は、円錐形状のミラー又はプリズムを備える光学素子であり、円錐部の頂点がレーザ光源111と対向するように設置されている。レーザ光源111から射出されたスポット状のレーザ光は、光学素子113の円錐部の頂点によって反射され、リング状にラインビームが発生することとなる。ここで、円錐部の円錐角が90°である場合には、図2に示したように、レーザ光源111からのレーザ入射方向に対して直角方向に、環状ビームが照射されることとなる。
カメラ120は、CCD(Charge Coupled Device)又は、CMOS(Complementary Metal Oxide Semiconductor)等の撮像素子が搭載されたものである。カメラ120は、管状体1の内表面に垂直に照射された環状ビームの反射光を、図2に示したように角度φの方向から撮像する。
カメラ120に搭載されるレンズの焦点距離や画角、及び、レーザ光照射装置110とカメラ120の撮像素子との間の距離は特に限定するものではないが、管状体1の内表面に照射された環状ビームの全体像を撮像可能なように選択することが好ましい。また、カメラ120に搭載される撮像素子の大きさや画素サイズも特に限定するものではないが、生成される画像の画質や画像分解能等を考慮すると、サイズの大きな撮像素子を利用することが好ましい。また、以下で説明する画像処理の観点から、環状ビームのライン幅(線幅)は、撮像素子上で1〜3画素程度であるように調整されることが好ましい。
このようなレーザ光照射装置110とカメラ120とは、軸方向位置変更装置(図示せず。)によって管状体1の中心軸に略一致するように軸方向に移動しながら、管状体1の内表面を走査する。ここで、後述する演算処理装置200は、管状体撮像装置100が軸方向に所定距離移動する毎に、カメラ120に対して撮像のためのトリガ信号を出力する。レーザ光照射装置110及びカメラ120の軸方向の移動間隔は、適宜設定することが可能であるが、例えば、カメラ120に設けられた撮像素子の画素サイズと同一にすることが好ましい。軸方向の移動間隔と撮像素子の画素サイズとを一致させることで、撮像された画像において縦方向の分解能と横方向の分解能とを一致させることができる。
なお、図2に示した角度φは、任意の値に設定することが可能であるが、例えば30〜60度程度とすることが好ましい。かかる角度をあまり大きくすると環状ビームの管状体1の内面からの散乱光(反射光)が弱くなり、また小さくすると、検査対象物である管状体1の深さ変化量に対して、後述する縞画像における縞の移動量が小さくなり、管状体1の内表面に存在する凹部の深さ(又は、凸部の高さ)に関する情報が劣化するためである。
以下に、本実施形態に係る管状体撮像装置100の有する各装置について、その具体的な構成や設定値等を列挙する。かかる構成や設定値等はあくまでも一例であって、本発明に係る管状体撮像装置100が、以下の具体例に限定されるわけではない。
○管状体
コンテナライナー:内径300mm、長さ850mm
○レーザ光照射装置
100mWの出力でレーザ光を照射。円錐状の光学素子113により、50mWの環状ビームとなって管状体の内表面に照射される。コンテナライナー内面に照射されるラインビーム幅は、0.25mmである。ただし、この場合のラインビーム幅とは、ピーク強度値から13.5%で定義されるものである。
○カメラ
1392画素×1040画素のCCDを撮像素子として搭載。フレームレート30fps、レンズの焦点距離1.8mm、画角180°、撮影される画像の画素サイズは0.5mm×0.5mm、ラインビーム幅は、撮像画像上では、1〜3画素の輝線の幅で撮影される。
○レーザ光照射装置とカメラの撮像素子との離隔距離:約140〜145mm
○カメラ120は、管状体の内表面を、軸方向に0.5mm進む毎に撮像する。
[演算処理装置200の全体構成について]
以上、本実施形態に係る管状体撮像装置100の構成について説明した。続いて、再び図1に戻って、本実施形態に係る演算処理装置200の全体構成について説明する。
本実施形態に係る演算処理装置200は、例えば図1に示したように、撮像制御部201と、画像処理部203と、表示制御部205と、記憶部207と、を主に備える。
撮像制御部201は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信装置等により実現される。撮像制御部201は、本実施形態に係る管状体撮像装置100による検査対象物の撮像制御を実施する。より詳細には、撮像制御部201は、管状体1の撮像を開始する場合に、レーザ光照射装置110に対してレーザ光の発振を開始させるための制御信号を送出する。
また、管状体撮像装置100が管状体1の撮像を開始すると、管状体撮像装置100からPLG信号が定期的に(例えば、管状体撮像装置100が0.5mm移動する毎に1パルスのPLG信号)送出されるが、撮像制御部201は、PLG信号を取得する毎にカメラ120に対して撮像を開始するためのトリガ信号を送出する。
画像処理部203は、例えば、CPU、ROM、RAM、通信装置等により実現される。画像処理部203は、管状体撮像装置100(より詳細には、管状体撮像装置100のカメラ120)から取得した撮像データを利用して、後述する縞画像フレームを生成する。その後、生成した縞画像フレームに対して、以下で説明するような画像処理を行い、測定対象物である管状体の内表面に存在する可能性のある欠陥を検出する。画像処理部203は、管状体1の内表面の欠陥検出処理を終了すると、得られた検出結果に関する情報を、表示制御部205に伝送する。
なお、この画像処理部203については、以下で改めて詳細に説明する。
表示制御部205は、例えば、CPU、ROM、RAM、出力装置等により実現される。表示制御部205は、画像処理部203から伝送された、検査対象物である管状体1の欠陥検出結果を、演算処理装置200が備えるディスプレイ等の出力装置や演算処理装置200の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、欠陥検出装置10の利用者は、検査対象物(管状体1)の内表面に存在する各種の欠陥に関する検出結果を、その場で把握することが可能となる。
記憶部207は、例えば本実施形態に係る演算処理装置200が備えるRAMやストレージ装置等により実現される。記憶部207には、本実施形態に係る演算処理装置200が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。この記憶部207は、撮像制御部201、画像処理部203、表示制御部205等が、自由に読み書きを行うことが可能である。
[画像処理部について]
続いて、図3を参照しながら、本実施形態に係る演算処理装置200が備える画像処理部203について、詳細に説明する。図3は、本実施形態に係る演算処理装置が有する画像処理部の構成を示したブロック図である。
本実施形態に係る画像処理部203は、図3に示したように、A/D変換部211と、環状ビームセンター算出部213と、座標変換部215と、縞画像フレーム生成部217と、画像算出部219と、欠陥検出部227と、を主に備える。
A/D変換部211は、例えば、CPU、ROM、RAM等により実現される。A/D変換部211は、カメラ120から出力された撮像画像をA/D変換し、図4に示したようなデジタル多値画像データ(すなわち、環状ビーム画像)として出力する。かかるデジタル多値画像データは、記憶部207等に設けられた画像メモリに記憶される。これらのデジタル多値画像データを管状体の軸方向に沿って順次利用することにより、後述するような縞画像フレームが形成される。
図4に示したように、環状ビーム画像は、管状体1の内表面の軸方向に沿ったある位置において、管状体の内表面に照射された環状ビームを撮像したものである。環状ビーム画像は、予めカメラのゲインやレンズの絞りを適切に設定することにより、例えば図4に示したように、環状ビームが照射された部分が白く表示され、その他の部分は黒く表示されている濃淡画像になっている。また、環状ビームの円周上に重畳している凹凸が、管状体の内表面の断面形状と、内表面に存在する欠陥に関する情報を含んでいる。
A/D変換部211は、カメラ120から出力された撮像画像に基づいて図4のような環状ビーム画像を生成すると、生成した環状ビーム画像に対応するデータを、後述する環状ビームセンター算出部213に出力する。
環状ビームセンター算出部213は、例えば、CPU、ROM、RAM等により実現される。環状ビームセンター算出部213は、A/D変換部211から出力された各環状ビーム画像について、環の重心位置と環の半径をそれぞれ算出する。
環の重心位置及び半径を算出する方法は、特に限定されるわけではなく、公知のあらゆる方法を利用することが可能である。環の重心位置及び半径を算出する方法の具体例としては、例えば、環状ビーム画像が真円に近い場合は、以下のような2つの方法を挙げることができる。
・2値化した環状ビーム画像上の任意の3点を抽出し、この3点の位置座標の重心を算出する。得られた重心位置と3点のうち任意の1点との間の距離が環の半径となる。
・ハフ(Hough)変換による円抽出を行い、円(すなわち、環状ビーム)の重心と半径とを算出する。
環状ビームセンター算出部213は、各環状ビーム画像について環の重心位置及び半径を算出すると、環の重心位置及び半径に関する情報をそれぞれ生成して、後述する座標変換部215に出力する。
なお、本実施形態においては、管状体1の内面の断面形状が真円に近い場合について説明しているが、任意の断面形状に対して適用可能であり、例えば、断面形状が楕円や角丸長方形等であってもよい。このような場合の重心は、環状ビームの形状から求めることが可能であり、求めた重心との距離の最大値と最小値の平均値を半径として用いることで、後述する座標変換を同じ手順で実施することができる。
座標変換部215は、例えば、CPU、ROM、RAM等により実現される。座標変換部215は、算出された重心位置、及び、当該重心位置と環状ビームの照射部分との離隔距離に基づいて、環状ビーム画像の座標系を変換する。その後、座標変換部215は、環状ビームの照射部分を管状体の周方向に展開した線分として表した光切断画像を生成する。
環状ビームの重心位置が算出されることで、環状ビームの照射位置に対応する画素の存在位置を、重心位置を原点とした極座標(r,θ)で表すことができる。座標変換部215は、図5に示したように、環状ビームセンター算出部213で算出された半径rに動径方向に±Δrの余裕を設けたうえで(すなわち、r−Δr〜r+Δrの範囲で)、0°≦θ≦360°として座標変換を実施する。なお、本実施形態では、動径方向のr−Δr〜r+Δrの範囲で座標変換を実施する場合について説明しているが、余裕Δrの値は、環状ビームの照射部分を含む範囲で、プラス方向とマイナス方向とで異なった値であってもよい。かかる場合、例えば、座標変換を行う範囲は、r−Δr1〜r+Δr2などと表現することができる。ただし、本実施形態においては、プラス方向とマイナス方向とで同じ値Δrを用いる場合について、以降の説明を行う。
このような座標変換を行うことで、図5の右側に示したように、動径方向には半径rを中心として2Δrの高さを有し、角度方向には360°分の長さを有する帯状の画像が抽出されることとなる。以上の説明からも明らかなように、抽出された帯状の画像は、環状ビームの照射部分を管状体の周方向に展開した線分(以下、光切断線とも称する。)を含むこととなる。また、動径方向に関して、半径rを中心として2Δrの範囲を抽出することで、環状ビームの周に凹凸が存在していたとしても、かかる凹凸を含む環状ビームの周をもれなく抽出することが可能となる。このようにして得られた帯状の画像を、以下では光切断画像と称することとする。
なお、Δrの大きさは、管状体1に存在しうる凹凸の高さの範囲を過去の操業データ等に基づいて予め大まかに算出しておくことで、決定することが可能である。
上述のような管状体撮像装置100により撮像された環状ビーム画像は、約300画素に相当する半径を有する環を含むこととなる。そこで、r=300画素、Δr=25画素として、0°≦θ≦360°の範囲で光切断画像の抽出を行うと、横1885画素×高さ50画素の光切断画像が生成されることとなる。
また、座標変換部215は、抽出された光切断画像における各画素の座標(r,θ)を利用することで、光切断画像に含まれる画素の座標を直交座標(rcosθ,rsinθ)に変換する。ここで、座標変換部215が実施する座標値の変換は、極座標系から直交座標系への変換であるため、極座標系における格子点(すなわち、画素の中心位置)が、直交座標系において必ず格子点に対応するとは限らず、非格子点に対応するものも存在することとなる。そこで、座標変換部215は、直交座標系における非格子点の濃度(画素値)を補間するために、着目している点の近傍に位置する他の格子点の濃度に基づいて補間する、いわゆる画像補間法を併せて実施することが好ましい。
かかる画像補間法は、特に限定されるものではなく、例えば、「昭晃堂 画像処理ハンドブック」等に記載されている公知の画像補間法を利用することが可能である。このような画像補間法の例として、最近傍(nearest neighbor)法、双線形補間(bi−linear interpolation)法、3次補間(bi−cubic convolution)法等を挙げることができる。これらの方法のうち、前者ほど処理速度が速く、後者ほど高品質の結果を得ることができる。そこで、座標変換部215は、利用する画像補間法の種別を、処理に用いることのできるリソース量や処理時間等に応じて適宜決定すればよい。本実施形態において示す光切断画像の具体例では、画像補間法として3次補間法を適用している。
座標変換部215は、上述のような座標変換処理や画像補間処理を終了すると、得られた光切断画像に対応する画像データを、記憶部207等に設けられた画像メモリに、管状体の軸方向に沿って順次格納していく。
縞画像フレーム生成部217は、例えば、CPU、ROM、RAM等により実現される。縞画像フレーム生成部217は、記憶部207等に設けられた画像メモリから、管状体の軸方向に沿って格納された光切断画像を順に取得する。その後、縞画像フレーム生成部217は、取得した各光切断画像を管状体の軸方向に沿って順に配列して、縞画像フレームを生成する。
1つの縞画像フレームを構成する光切断画像の個数は、適宜設定すればよいが、例えば、256個の光切断画像で1つの縞画像フレームを構成するようにしてもよい。各光切断画像は、上述のように環状ビーム画像の撮像間隔毎(例えば、0.5mm間隔)に存在している。そのため、0.5mm間隔で撮像された環状ビーム画像に基づく、256個の光切断画像からなる1つの縞画像フレームは、管状体の内表面の全周を、軸方向に沿って128mm(=256×0.5mm)の範囲で撮像した結果に相当する。
図6に、縞画像フレーム生成部217によって生成される縞画像フレームの一例を示した。図6に示した縞画像フレームは、256個の光切断画像のうち、16個の光切断画像を示したものである。図6に示した縞画像フレームにおいて、図面の横方向に伸びた1本の線分が、1枚の環状ビーム画像を展開したものに相当しており、図面の横方向が環状ビームの周方向に対応している。また、図6に示した縞画像フレームにおいて、図面の縦方向が、管状体1の軸方向に相当している。
縞画像フレーム生成部217は、図6に示したような縞画像フレームを生成すると、生成した縞画像フレームを、後述する画像算出部219に出力する。また、縞画像フレーム生成部217は、生成した縞画像フレームに対応するデータに、当該縞画像フレームを生成した日時等に関する時刻情報を関連付けて、履歴情報として記憶部207等に格納してもよい。
画像算出部219は、例えば、CPU、ROM、RAM等により実現される。画像算出部219は、縞画像フレーム生成部217が生成した縞画像フレームに基づいて、管状体の内表面の凹凸状態を表す深さ画像と、管状体の内表面における環状ビームの輝度の分布を表す輝度画像と、を算出する。この画像算出部219は、図3に示したように、光切断線処理部221と、深さ画像算出部223と、輝度画像算出部225と、を更に備える。
光切断線処理部221は、例えば、CPU、ROM、RAM等により実現される。光切断線処理部221は、縞画像フレームに含まれる各光切断線について、光切断線の変位量(輝線の曲がり具合)を含む光切断線特徴量を算出する。以下では、図7A及び図7Bを参照しながら、光切断線処理部221が実施する処理及び算出する光切断線特徴量について、詳細に説明する。図7Aは、縞画像フレームを模式的に示した説明図である。図7Bは、光切断線処理部が実施する光切断線処理について説明するための説明図である。
図7Aでは、1つの縞画像フレームの中にN本の光切断線が存在しており、縞画像フレームの横方向の長さは、M画素であるものとする。また、1本の光切断線を含む1つの光切断画像は、縦2Δr画素×横M画素から構成されている。
ここで、説明の便宜上、縞画像フレームの周方向(図7Aにおける横方向)にX軸をとり、縞画像フレームの軸方向(図7Aにおける縦方向)にY軸をとって、縞画像フレーム中の画素の位置をXY座標で表すものとする。以下の説明では、縞画像フレーム中に存在するj(1≦j≦N)番目の光切断線の左側からm画素目(1≦m≦M)の位置(すなわち、Xj,mで表される位置)に着目する。
光切断線処理部221は、まず、着目すべき光切断線(以下、単にラインとも称する。)の着目すべきX座標位置(本説明では、Xj,mで表される位置)を選択すると、図7Bに示したように、着目したラインの着目したX座標位置における画素に対応付けられている画素値(すなわち、環状ビームの輝度値)の分布を参照する。この際、光切断線処理部221は、光切断画像中の当該X座標位置における全ての画素について、以下で説明する処理を実施するのではなく、光切断画像中におけるY座標の基準位置Ysの前後Wの範囲に属する画素(すなわち、Ys−W〜Ys+Wの範囲に属する画素)について、以下で説明する処理を実施する。
ここで、Y座標の基準位置Ysは、縞画像フレームのjライン目の光切断画像に対して予め指定される軸方向の位置であり、例えば光切断画像の軸方向の中心を指定すれば、先述のようにプラス方向とマイナス方向とで同じ余裕値Δrを用いる場合には、環状ビームセンター算出部が算出した半径r(すなわち光切断線の位置)に等しくなる。また、処理範囲を規定するパラメータWは、管状体1に存在しうる凹凸の高さの範囲を過去の操業データ等に基づいて、光切断画像中におけるY座標の基準位置Ysの前後Wの範囲が光切断画像に収まるように、予め大まかに算出しておき、適宜決定すればよい。パラメータWの値を小さくすることができれば、後述する光切断線処理部221の処理負荷の低減をはかることができる。
光切断線処理部221は、まず、Ys−W〜Ys+Wの範囲に含まれる画素の中から、光切断線に対応する画素を特定するための第1の閾値の一例である所定の閾値Th以上の画素値を有する画素を特定する。図7Bに示した例では、Yj,k、Yj,k+1、Yj,k+2で表される3つの画素が、それぞれ閾値Th以上の画素値Ij,k、Ij,k+1、Ij,k+2を有している。従って、光切断線処理部221は、所定の閾値Th以上の画素値を有する画素を線幅方向に加算した数pj,m=3と設定する。この所定の閾値Th以上の画素値を有する画素を線幅方向に加算した数pj,mは、いわば位置(j,m)における輝線の画素数に対応する値であり、光切断線特徴量の一つである。また、光切断線処理部221は、以下の処理において、抽出された画素に関する情報(Yj,k、Ij,k)、(Yj,k+1、Ij,k+1)、(Yj,k+2、Ij,k+2)(以下、単に(Y,I)と略記することもある。)の情報を利用して、更なる光切断線特徴量を算出していく。
また、光切断線処理部221は、パラメータpj,m及び抽出した画素に関する情報(Y,I)を利用して、抽出された画素の輝度の総和Kj,mを算出する。図7Bに示した例の場合、光切断線処理部221が算出する輝度の総和は、Kj,m=Ij,k+Ij,k+1+Ij,k+2となる。この輝度の総和Kj,mも、光切断線特徴量の一つである。
更に、光切断線処理部221は、抽出された画素に関する情報(Y,I)とY座標の基準位置Ysとを利用して、抽出された画素のY方向の重心位置YC(j,m)を算出するとともに、重心位置YC(j,m)の基準位置Ysからの変位量Δdj,m=Ys−YC(j,m)を算出する。
ここで、重心位置YC(j,m)は、抽出された画素の集合をAと表すこととすると、以下の式101で表される値となる。従って、図7Bに示した例の場合、重心位置YC(j,m)は、以下の式101aで表される値となる。
ここで、画素に対応する軸方向の位置は、いわば管状体撮像装置100の移動幅(例えば、0.5mm)で量子化された値である。他方、上記式101で示したような演算により算出される重心位置YC(j,m)は、割り算という数値演算を利用することで算出される値であるため、管状体撮像装置100の移動幅(いわば量子化単位)よりも小さな値となりうる。従って、かかる重心位置YC(j,m)を利用して算出される変位量Δdj,mについても、移動幅よりも小さな値を有しうる値となる。このようにして算出される変位量Δdj,mも、光切断線特徴量の一つである。
光切断線処理部221は、以上のような3種類の特徴量を、各切断線に含まれるM個の要素に関して算出する。その結果、図8A〜図8Cに示したように、光切断線の変位量Δd、輝度の総和K、及び、輝線の画素数pに関して、M列×N行の二次元配列が生成される。図6に示したような本実施形態に係る縞画像フレームの具体例の場合、M=1885、N=256であるため、各光切断線特徴量を構成するデータの個数は、1885×256個となる。
光切断線処理部221は、算出した光切断線特徴量のうち、光切断線の変位量Δdに関する特徴量を、後述する深さ画像算出部223に出力する。また、光切断線処理部221は、算出した光切断線特徴量のうち、輝度の総和K、及び、輝線の画素数pに関する特徴量を、後述する輝度画像算出部225に出力する。
深さ画像算出部223は、例えば、CPU、ROM、RAM等により実現される。深さ画像算出部223は、光切断線処理部221が生成した光切断線特徴量(特に、変位量Δdに関する特徴量)に基づいて、管状体の内表面の凹凸状態を表す深さ画像を算出する。
具体的には、深さ画像算出部223は、図8Aに示したような変位量Δdに関する特徴量(二次元配列)と、環状ビームの垂直成分入射角(図2における角度φ)と、を利用して、深さ画像を算出する。
まず、図9を参照しながら、管状体の内表面に存在する凹凸の高さと、光切断線の変位量Δdとの関係について説明する。図9は、光切断線の変位と欠陥の高さとの関係を示した説明図である。
図9では、管状体1の内表面に凹みが存在した場合を模式的に示している。ここで、内表面に凹みが存在しない場合の表面位置の高さと凹みの底部の高さとの差分をΔhと表すこととする。垂直入射した環状ビームが表面反射をする場合に着目すると、内表面に凹みが存在しない場合には、図9の光線Aのように反射光は伝播することとなるが、内表面に凹みが存在する場合には、図9の光線Bのように反射光が伝播することとなる。光線Aと光線Bとのズレが、本実施形態において光切断線の変位量Δdとして観測されることとなる。ここで、幾何学的な位置関係から明らかなように、光切断線の変位量Δdと凹みの深さΔhとは、Δd=Δh・sinφの関係が成立する。
なお、図9では、管状体の内表面に凹みが存在する場合について説明したが、管状体の内表面に凸部が存在する場合であっても、同様の関係が成立する。
深さ画像算出部223は、以上説明したような関係を利用して、光切断線処理部221が算出した光切断線の変位量Δdに関する特徴量に基づき、管状体の内表面の凹凸に関する量Δhを算出する。
ここで、深さ画像の算出に用いられる光切断線の変位量Δdは、先に説明したように光切断線の重心位置に基づいて算出されたものであり、移動幅よりも小さな値を有しうる値となっている。従って、深さ画像算出部223により算出される深さ画像は、撮像素子の画素サイズよりも細かい分解能で凹凸が再現されている画像となる。
本実施形態で示した縞画像フレームの具体例は、撮影ピッチ0.5mmで撮像された光切断線の変位を積み上げたものであるため、それぞれの変位量ΔdをΔhに変換すると、幅0.5mm×高さ0.5mmの深さ画像が算出されることとなる。また、かかる具体例では、角度φ=45°であるため、Δd=(1/20.5)・Δhの関係が成立している。
なお、被検査体である管状体の内表面の形状の変化や、カメラ走査方向軸が管状体の中心からずれることにより、図10に示したように、光切断線に湾曲等の歪みが生じる場合がある。他方、本実施形態に係る欠陥検出方法では、光切断線に重畳している凹凸が、管状体の内表面の断面形状と内表面に存在する表面欠陥に関する情報となっている。そのため、深さ画像算出部223は、光切断線の変位量Δdに基づいて深さ画像を算出する際に、光切断線毎に歪み補正処理を行って、光切断線に重畳している凹凸に関する情報のみを抽出してもよい。このような歪み補正処理を実施することにより、カメラ走査方向軸が管状体の中心軸に正確に一致していない場合や、内表面の形状が円でない場合であっても、内表面に存在する凹凸疵の情報のみを得ることが可能となる。
かかる歪み補正処理の具体例として、(i)多次元関数や各種の非線形関数を利用したフィッティング処理を行い、得られたフィッティング曲線と観測された光切断線との差分演算を行う処理や、(ii)凹凸に関する情報が高周波成分であることを利用して、浮動フィルタやメディアンフィルタ等のローパスフィルタを適用する処理等を挙げることができる。このような歪み補正処理を実施することにより、内表面に存在する凹凸疵の情報を保持したまま、光切断線の平坦化を図ることが可能となる。
深さ画像算出部223が算出した深さ画像の一例を、図11Aに示す。図11Aは、同実施形態に係る深さ画像の一例を示した説明図である。なお、図11Aに示した深さ画像は、縞画像フレームから生成された深さ画像を円周方向に平面展開したものであり、生成された深さ画像の一部を示したものである。
図11Aに示した深さ画像では、凸部については輝度階調が明るくなるように表示し、凹部については輝度階調が暗くなるように表示している。図11Aを参照すると明らかなように、図の左端近傍及び略中央部分に、周囲よりも暗く表示された部分が存在しており、かかる部分に凹部が存在していることがわかる。また、図11Aに示した深さ画像では、被検査体に貼り付けたゼムクリップ(厚さ1mm)の形状が明瞭に再現されている。
深さ画像算出部223は、以上説明したようにして算出した深さ画像に関する情報を、後述する欠陥検出部227に出力する。また、深さ画像算出部223は、算出した深さ画像に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部207等に履歴情報として格納してもよい。更に、深さ画像算出部223は、算出した深さ画像に関する情報を表示制御部205に出力して、表示部(図示せず。)に出力させてもよい。
輝度画像算出部225は、例えば、CPU、ROM、RAM等により実現される。輝度画像算出部225は、光切断線処理部221が生成した光切断線特徴量(特に、輝度の総和K及び輝線の画素数pに関する特徴量)に基づいて、管状体の内表面における環状ビームの輝度の分布を表す輝度画像を算出する。
具体的には、輝度画像算出部225は、図8Bに示したような輝度の総和Kに関する特徴量(二次元配列)、及び、図8Cに示したような輝線の画素数pに関する特徴量(二次元配列)を利用して、総和輝度の線幅方向の平均値である平均輝度KAVE(j,m)=Kj,m/pj,m(1≦j≦N、1≦m≦M)を算出する。その後、輝度画像算出部225は、算出した平均輝度KAVE(j,m)からなるデータ配列を、着目している管状体の輝度画像とする。
輝度画像算出部225が算出した輝度画像の一例を、図11Bに示す。図11Bは、同実施形態に係る輝度画像の一例を示した説明図である。なお、図11Bに示した輝度画像は、縞画像フレームから生成された輝度画像を円周方向に平面展開したものであり、生成された輝度画像の一部を示したものである。
図11Bに示した輝度画像では、平均輝度値の高低(明暗)に応じて、輝度階調が変化するように表示している。図11Bにおける黒く表示された部分は、いわゆるスケール残りに該当する模様系の欠陥に対応している。
輝度画像算出部225は、以上説明したようにして算出した輝度画像に関する情報を、後述する欠陥検出部227に出力する。また、輝度画像算出部225は、算出した輝度画像に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部207等に履歴情報として格納してもよい。更に、輝度画像算出部225は、算出した輝度画像に関する情報を表示制御部205に出力して、表示部(図示せず。)に出力させてもよい。
欠陥検出部227は、例えば、CPU、ROM、RAM等により実現される。欠陥検出部227は、深さ画像算出部223により算出された深さ画像と、輝度画像算出部225により算出された輝度画像とに基づいて、管状体の内表面に存在する欠陥を検出する。
かかる欠陥検出部227は、深さ画像及び輝度画像に基づいて欠陥部位を特定する欠陥部位特定機能と、特定した欠陥部位の形態及び画素値に関する特徴量を抽出する特徴量抽出機能と、抽出した特徴量に基づいて欠陥の種別や有害度等を判別する欠陥判別機能と、を有している。以下、これらの機能について、簡単に説明する。
○欠陥部位特定機能
欠陥検出部227は、取得した深さ画像及び輝度画像の各画素に対して、周辺画素との画素値(深さを表す値、又は、輝度値)の線形和を得るフィルタ処理によって縦線状疵、横線状疵、微小疵等の領域を強調し、得られた値が、欠陥部位特定のための第2の閾値以上となるか否かの判定を行う。このようなフィルタ処理及び当該フィルタ処理結果に基づく判定処理を実施することで、欠陥検出部227は、欠陥部位を特定するための2値化画像を生成することができる。かかる2値化画像において、算出した値が第2の閾値未満であった画素が正常箇所(すなわち、2値化画像の画素値=0)に該当し、算出した値が第2の閾値以上であった画素が欠陥箇所(すなわち、2値化画像の画素値=1)に該当する。更に、欠陥検出部227は、連続して発生している欠陥箇所を結合していくことで、一つ一つの欠陥部位を特定する。
○特徴量抽出機能
欠陥検出部227は、欠陥部位特定機能により深さ画像及び輝度画像の欠陥部位を特定すると、特定した欠陥部位ごとに、欠陥部位の形態及び画素値に関する特徴量を抽出する。欠陥部位の形態に関する特徴量として、例えば、欠陥部位の幅、欠陥部位の長さ、欠陥部位の周囲長、欠陥部位の面積、欠陥部位の外接長方形の面積等を挙げることができる。また、欠陥部位の画素値に関する特徴量として、深さ画像に関しては、欠陥部位の深さの最大値、最小値、平均値等を挙げることができ、輝度画像に関しては、欠陥部位の輝度の最大値、最小値、平均値等を挙げることができる。
○欠陥判別機能
欠陥検出部227は、特徴量抽出機能により各欠陥部位の特徴量を抽出すると、欠陥部位ごとに、抽出した特徴量に基づいて欠陥の種別や有害度等を判別する。特徴量に基づく欠陥の種別や有害度等の判別処理は、例えば図12に示したようなロジックテーブルを利用して行われる。すなわち、欠陥検出部227は、図12に例示したようなロジックテーブルによって表される判別条件に基づき、欠陥の種別や有害度を判別する。
図12に例示したように、ロジックテーブルの縦方向の項目として、欠陥の種別(欠陥A1〜欠陥An)が記載されており、ロジックテーブルの横方向の項目として、特徴量の種類(特徴量B1〜特徴量Bm)が記載されている。また、欠陥の種別及び特徴量により規定されるテーブルの各セルには、対応する特徴量の大小による判別条件式(条件式C11〜条件式Cnm)が記述されている。このようなロジックテーブルの各行が一組となって、一つ一つの欠陥の種別の判別条件となる。判別処理は、最上位の行に記載された種別から順に行われ、何れか一つの行に記載された判別条件を全て満たした時点で終了する。
このようなロジックテーブルは、過去の操業データ及び当該操業データに基づく検定員による欠陥の種別及び有害度の特定結果を教師データとした学習処理により構築されたデータベースを利用して、公知の方法により生成することが可能である。
欠陥検出部227は、このようにして検出した欠陥部位ごとに欠陥の種別及び有害度を特定し、得られた検出結果を表示制御部205に出力する。これにより、検出対象物である管状体の内表面に存在する欠陥に関する情報が、表示部(図示せず。)に出力されることとなる。また、欠陥検出部227は、得られた検出結果を、製造管理用プロコン等の外部の装置に出力してもよく、得られた検出結果を利用して、製品の欠陥帳票を作成してもよい。また、欠陥検出部227は、欠陥部位の検出結果に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部207等に履歴情報として格納してもよい。
なお、以上の説明では、ロジックテーブルを利用して欠陥の種別や有害度を判別する場合について説明したが、欠陥の種別や有害度を判別する方法は上記例に限定されるわけではない。例えば、過去の操業データ及び当該操業データに基づく検定員による欠陥の種別及び有害度の特定結果を教師データとした学習処理により、ニューラルネットやサポートベクターマシン(SVM)等の判別器を生成し、かかる判別器を欠陥の種別や有害度の判別に利用してもよい。
以上、本実施形態に係る演算処理装置200が有する画像処理部203の構成について、詳細に説明した。
なお、上述の説明では、深さ画像算出部223が深さ画像を算出する際に、差分演算処理やローパスフィルタ処理等の近似補正処理を実施する場合について説明した。しかしながら、かかる近似補正処理は、光切断線処理部221が光切断線特徴量を算出するに先立って、当該光切断線処理部221が実施してもよい。
以上、本実施形態に係る演算処理装置200の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
以上、本実施形態に係る欠陥検出装置10の構成について、詳細に説明した。本実施形態に係る欠陥検出装置10を利用することで、管状体の内表面を周方向全周、全長にわたって検査することが可能となり、微小な凹凸形状の欠陥や模様状の欠陥を、高精度で同時に検出することができる。また、本実施形態に係る欠陥検出装置10により、欠陥の発生位置を正確に特定することが可能となるため、鋼管等の管状体の生産性や歩留まりの向上や、品質保証に大きく寄与することができる。
<欠陥検出方法について>
続いて、図13を参照しながら、本実施形態に係る欠陥検出方法の流れを簡単に説明する。図13は、本実施形態に係る欠陥検出方法の流れの一例を示した流れ図である。
まず、欠陥検出装置10の管状体撮像装置100は、環状ビームを用いて処理対象物である管状体の内表面を撮像して、撮像画像を演算処理装置200に出力する。演算処理装置200が備える画像処理部203のA/D変換部211は、取得した撮像画像に対してA/D変換処理を行い、環状ビーム画像を生成する(ステップS101)。
次に、環状ビームセンター算出部213は、A/D変換部211が生成した環状ビーム画像を利用して環状ビーム画像の重心位置及び半径を算出し(ステップS103)、得られた算出結果を、座標変換部215に出力する。
続いて、座標変換部215は、算出された重心位置や半径等を利用して環状ビーム画像を座標変換し、光切断画像を生成する(ステップS105)。生成された光切断画像は、管状体の軸方向に沿って、記憶部207等に設けられた画像メモリに順次格納されていく。
その後、縞画像フレーム生成部217は、生成された光切断画像を管状体の軸方向に沿って順に配列して、縞画像フレームを生成する(ステップS107)。縞画像フレーム生成部217は、生成した縞画像フレームを、光切断線処理部221に出力する。
光切断線処理部221は、生成された縞画像フレームを利用し、各光切断線について、所定の閾値Th以上の輝度を有する画素の画素数、当該画素の輝度の総和及び光切断線の変位量を算出する(ステップS109)。これら算出結果が、光切断線特徴量として利用される。算出された光切断線特徴量は、深さ画像算出部223及び輝度画像算出部225にそれぞれ出力される。
深さ画像算出部223は、算出された光切断線特徴量(特に、光切断線の変位量に関する特徴量)を利用して、深さ画像を算出する(ステップS111)。また、輝度画像算出部225は、算出された光切断線特徴量(特に、閾値以上の輝度を有する画素の画素数に関する特徴量、及び、輝度の総和に関する特徴量)を利用して、輝度画像を算出する(ステップS111)。深さ画像算出部223及び輝度画像生成部225は、算出した各画像を、欠陥検出部227に出力する。
その後、欠陥検出部227は、算出された深さ画像及び輝度画像を利用して、管状体の内表面に存在する欠陥部位を検出し、検出した欠陥部位の欠陥の種別及び有害度を特定する(ステップS113)。以上のような流れにより、管状体の内表面に存在する欠陥が検出されることとなる。
以上、本発明の第1の実施形態に係る欠陥検出装置及び欠陥検出方法について、詳細に説明した。
(第2の実施形態)
本発明の実施形態において着目する欠陥検出装置が備える管状体撮像装置は、管状体の軸方向に沿って移動しながら管状体の内表面に対して環状のレーザ光を照射することで、環状ビーム画像を複数撮像する。このためには、管状体撮像装置において、前述のように、レーザ光源とカメラ等の撮像装置とを同軸上に配置することが求められる。ここで、管状体の内径が比較的小さい場合には、レーザ光出力はそれほど高くなくともよく、また、撮像装置に求められる分解能もそれほど高くなくともよいため、比較的小型なレーザ光源及び撮像装置をガラス製等の透明の連結部材を用いて互いに連結することで、撮像を行うことが可能である。
しかしながら、管状体の内径が大きい場合には、レーザ光出力の高出力化や分解能の向上(すなわち、撮像画像の画素数の増加)を図るために、レーザ光源や撮像装置を大型化することが求められる。また、撮像視野を確保するために、撮像装置とレーザ光源との離隔距離も大きくなることから、レーザ光源及び撮像装置を連結する、より頑強な連結部材が必要となる。その結果、支柱等の連結部材や、場合によっては信号/電源ケーブル等が環状レーザ光照射を遮り、かつ、撮像視野も遮ることとなるため、環状ビーム画像に不感帯が生じてしまう。そのため、環状ビーム画像に不感帯が生じている場合であっても、管状体内面を全周囲にわたって検査して欠陥を検出することが可能な技術が求められることとなる。
以下に示す本発明の第2の実施形態では、環状ビーム画像に不感帯が生じている場合であっても、管状体内面を全周囲にわたって検査して欠陥を検出することが可能な欠陥検出装置及び欠陥検出方法について、図14〜図25を参照しながら詳細に説明する。
<欠陥検出装置の全体構成について>
まず、図14を参照しながら、本発明の第2の実施形態に係る欠陥検出装置10の全体構成について説明する。図14は、本実施形態に係る欠陥検出装置10の構成を示した説明図である。
本実施形態に係る欠陥検出装置10は、管状体1の内表面を、後述する管状体撮像装置が管状体の内部に送入される際、及び、管状体の内部から送出される際の双方で管状体の内表面を撮像して、撮像の結果得られる画像を画像処理することにより、管状体1の内表面に表面欠陥(凹凸疵及び模様系の疵)が存在するか否かを検査する装置である。
ここで、本実施形態に係る管状体1は、中空部を有する管状のものであれば特に限定されるわけではないが、かかる管状体1の例として、スパイラル鋼管、電縫鋼管、UO鋼管、継目無鋼管(シームレス鋼管)、鍛接鋼管、TIG溶接鋼管等の各種鋼管やパイプのみならず、熱間押出法で使用されるコンテナと称するシリンダー等の管状物を挙げることができる。
本実施形態に係る欠陥検出装置10は、図14に示したように、管状体1の内表面を撮像する管状体撮像装置100と、管状体撮像装置100の管軸方向に沿った移動を制御する駆動制御装置150と、撮像の結果得られる画像に対して画像処理を行う演算処理装置200と、を備える。
管状体撮像装置100は、管状体1の中空部に設置される。この管状体撮像装置100は、管状体1の軸方向に沿って位置を随時変更しながら、当該管状体1の内表面を軸方向に沿って順次撮像し、撮像の結果得られる撮像画像を、演算処理装置200に出力する装置である。管状体撮像装置100は、駆動制御装置150により軸方向に沿った位置が制御されており、管状体撮像装置100の移動に伴いPLG(Pulse Logic Generator:パルス型速度検出器)等からPLG信号が演算処理装置200に出力される。また、管状体撮像装置100は、演算処理装置200によって、管状体1の撮像タイミング等が制御されている。
本実施形態に係る管状体撮像装置100は、上記のように、管状体内部に送入される際に管状体1の内表面を撮像するとともに、管状体内部から送出される際にも管状体1の内表面を撮像する。
駆動制御装置150は、管状体撮像装置100の管軸方向の移動、及び、管中心軸方向を回転軸とする管状体周方向の回転を制御するアクチュエータ等の装置である。駆動制御装置150は、演算処理装置200による制御のもとで、管状体撮像装置100の管軸方向の移動や管状体周方向の回転といった動作の制御を行う。
より詳細には、駆動制御装置150は、管状体撮像装置100を管状体内部に送入させるとともに、管状体撮像装置100が検査対象となる内表面の撮像を終了すると、管状体撮像装置100の送入動作を停止する。その後、駆動制御装置150は、管状体撮像装置100の中心軸を回転軸として管状体の周方向に管状体撮像装置100を回転させる。その後、駆動制御装置150は、管状体撮像装置100を管状体内部から送出させる。
また、演算処理装置200は、管状体撮像装置100によって生成された撮像画像を利用して縞画像フレームを生成し、この縞画像フレームに対して画像処理を行うことで、管状体1の内表面に存在している可能性のある欠陥を検出する装置である。
この際、本実施形態に係る演算処理装置200は、管状体撮像装置100においてレーザ光源と撮像装置とを連結する連結部材に起因する不感帯をなくすように、送出時に撮像した撮像画像から生成された画像を利用して、送入時に撮像した撮像画像から生成された画像を補完する。これにより、送入時又は送出時に撮像した撮像画像に不感帯が存在する場合であっても、管状体の内表面を、全周囲にわたって検査することが可能となる。
[管状体撮像装置100の構成について]
続いて、図15A〜図16を参照しながら、本実施形態に係る管状体撮像装置100の構成について簡単に説明する。図15A〜図16は、本実施形態に係る管状体撮像装置の一例を示した説明図である。
図15A及び図15Bに示したように、本実施形態に係る管状体撮像装置100は、レーザ光照射装置110と、カメラ120と、レーザ光照射装置110及びカメラ120のそれぞれが固定される保持基板131と、2つの保持基板131を連結する支柱である連結部材133と、を備える。
レーザ光照射装置110及びカメラ120とは、レーザ光照射装置110から照射されるレーザ光の中心軸と、カメラ120の中心軸(光軸)とが同軸となるように配置される。本実施形態に係るレーザ光照射装置110及びカメラ120については、第1の実施形態に係るレーザ光照射装置110及びカメラ120と同様の構成を有し、同様の効果を奏するものであるため、以下では詳細な説明は省略する。
レーザ光照射装置110及びカメラ120は、それぞれ保持基板131に固定されており、これら2つの保持基板131は、1又は複数の連結部材133により連結されている。レーザ光照射装置110及びカメラ120が、保持基板131及び連結部材133により固定されることで、管状体1の内表面を撮像するための撮像プローブが形成される。
保持基板131及び連結部材133の素材については、管状体撮像装置100に求められる強度等に応じて適宜選択すればよい。また、連結部材133の本数は、管状体撮像装置100に求められる強度に応じて適宜設定すればよく、1本であってもよいし、複数本であってもよい。
連結部材133の太さ(例えば、円柱状の連結部材133である場合には管径)は、環状ビームの照射領域(以下、ビーム照射領域とも称する。)が、環状ビームや撮像視野が連結部材133によって遮蔽される領域(以下、遮蔽領域とも称する。)よりも広くなるように設定する。
ここで、複数本の連結部材133を設ける場合には、例えば図15Bに示したように、保持基板131の縁部に当該保持基板131の周方向に沿って等間隔に配置することが好ましい。また、連結部材133を複数本設置する場合には、遮蔽領域がなるべく狭くなるように本数を決定することが好ましい。
また、連結部材133の本数を1本とする場合には、例えば図15Bに示した4本の連結部材のうちいずれか1つの位置に対して、連結部材133を設置すればよい。
以上説明したような管状体撮像装置100は、図16に示したように、駆動制御装置150によって管状体1の中心軸に略一致するように軸方向に移動しながら、管状体1の内表面を送入時と送出時の双方で走査する。ここで、後述する演算処理装置200は、管状体撮像装置100が軸方向に所定距離移動する毎に、カメラ120に対して撮像のためのトリガ信号を出力する。レーザ光照射装置110及びカメラ120の軸方向の移動間隔は、適宜設定することが可能であるが、例えば、カメラ120に設けられた撮像素子の画素サイズと同一にすることが好ましい。軸方向の移動間隔と撮像素子の画素サイズとを一致させることで、撮像された画像において縦方向の分解能と横方向の分解能とを一致させることができる。
また、駆動制御装置150は、送入時の管状体内表面の撮像が終了すると、連結部材133の本数に応じて管状体撮像装置100を周方向に回転させる。この回転角の大きさは、管状体内表面に仮想的に設定した基準線を基準として考えた場合に、連結部材133の配置により生じる遮蔽領域が送入時と送出時とで異なる位置となるように(換言すれば、送入時における遮蔽領域と、送出時における遮蔽領域とが重ならないように)設定される。具体的には、連結部材133の本数が1本である場合には、駆動制御装置150は、管状体撮像装置100を周方向に沿って例えば180°回転させる。また、駆動制御装置150は、連結部材133が等間隔に2本設置されている場合には、管状体撮像装置100を周方向に例えば90°回転させ、等間隔に3本設置されている場合には、周方向に例えば60°回転させる。また、図15Bに示したように、連結部材133が等間隔に4本設置されている場合には、駆動制御装置150は、管状体撮像装置100を周方向に例えば45°回転させる。
なお、図16に示した角度φは、任意の値に設定することが可能であるが、例えば30〜60度程度とすることが好ましい。かかる角度をあまり大きくすると環状ビームの管状体1の内面からの散乱光(反射光)が弱くなり、また小さくすると、検査対象物である管状体1の深さ変化量に対して、後述する縞画像における縞の移動量が小さくなり、管状体1の内表面に存在する凹部の深さ(又は、凸部の高さ)に関する情報が劣化するためである。
以下に、本実施形態に係る管状体撮像装置100の有する各装置について、その具体的な構成や設定値等を列挙する。かかる構成や設定値等はあくまでも一例であって、本発明に係る管状体撮像装置100が、以下の具体例に限定されるわけではない。
○管状体
コンテナライナー:内径600mm、長さ850mm
○レーザ光照射装置
160mWの出力でレーザ光を照射。円錐状の光学素子113により、80mWの環状ビームとなって管状体の内表面に照射される。コンテナライナー内面に照射されるラインビーム幅は、0.30mmである。ただし、この場合のラインビーム幅とは、ピーク強度値から13.5%で定義されるものである。
○カメラ
2330画素×1750画素のCCDを撮像素子として搭載。フレームレート30fps、レンズの焦点距離1.8mm、画角180°、撮影される画像の画素サイズは0.5mm×0.5mm、ラインビーム幅は、撮像画像上では、1〜3画素の輝線の幅で撮影される。
○レーザ光照射装置とカメラの撮像素子との離隔距離:約250mm
○カメラ120は、管状体の内表面を、軸方向に0.5mm進む毎に撮像する。
[演算処理装置200の全体構成について]
以上、本実施形態に係る管状体撮像装置100の構成について説明した。続いて、再び図14に戻って、本実施形態に係る演算処理装置200の全体構成について説明する。
本実施形態に係る演算処理装置200は、例えば図14に示したように、撮像制御部201と、画像処理部203と、表示制御部205と、記憶部207と、を主に備える。
ここで、本実施形態に係る表示制御部205及び記憶部207については、第1の実施形態に係る演算処理装置200が備える表示制御部205及び記憶部207と同様の構成を有し、同様の効果を奏するものであるため、以下では詳細な説明は省略する。
また、本実施形態に係る撮像制御部201は、駆動制御装置150に対して、管状体撮像装置100の移動や回転を実施させるための制御信号を更に送出する以外は、第1の実施形態に係る撮像制御部201と同様の構成を有し、同様の効果を奏するものである。従って、以下では詳細な説明は省略する。
画像処理部203は、例えば、CPU、ROM、RAM、通信装置等により実現される。画像処理部203は、管状体撮像装置100(より詳細には、管状体撮像装置100のカメラ120)から取得した撮像データを利用して、縞画像フレームを生成する。その後、生成した縞画像フレームに対して、以下で説明するような画像処理を行い、測定対象物である管状体の内表面に存在する可能性のある欠陥を検出する。画像処理部203は、管状体1の内表面の欠陥検出処理を終了すると、得られた検出結果に関する情報を、表示制御部205に伝送する。
また、本実施形態に係る管状体撮像装置100が撮像した画像には、前述のように、連結部材133に起因する遮蔽領域が存在している。そこで、本実施形態に係る画像処理部203は、送入時に撮像した縞画像フレームから生成した画像を、送出時に撮像した縞画像フレームから生成した画像を利用して補完し、遮蔽領域の存在しない画像を生成した上で、内表面に存在する欠陥を検出する。
画像処理部203で実施される画像処理については、以下で改めて詳細に説明する。
[画像処理部について]
続いて、図17を参照しながら、本実施形態に係る演算処理装置200が備える画像処理部203について、詳細に説明する。図17は、本実施形態に係る演算処理装置が有する画像処理部の構成を示したブロック図である。
本実施形態に係る画像処理部203は、図17に示したように、A/D変換部251と、環状ビームセンター算出部253と、座標変換部255と、縞画像フレーム生成部257と、画像算出部259と、欠陥検出部271と、を主に備える。
A/D変換部251は、例えば、CPU、ROM、RAM等により実現される。A/D変換部251は、カメラ120から出力された、送入時及び送出時の撮像画像をA/D変換し、デジタル多値画像データ(すなわち、環状ビーム画像)として出力する。かかるデジタル多値画像データは、記憶部207等に設けられた画像メモリに記憶される。これらのデジタル多値画像データを管状体の軸方向に沿って順次利用することにより、後述するような縞画像フレームが形成される。
環状ビーム画像は、前述のように、管状体1の内表面の軸方向に沿ったある位置において、管状体の内表面に照射された環状ビームを撮像したものである。環状ビーム画像は、予めカメラのゲインやレンズの絞りを適切に設定することにより、環状ビームが照射された部分が白く表示され、その他の部分は黒く表示されている濃淡画像になっている。また、環状ビームの円周上に重畳している凹凸が、管状体の内表面に存在する欠陥に関する情報を含んでいる。
ここで、本実施形態に係る環状ビーム画像は、図18に模式的に示したように、環状ビームが内表面に照射されているビーム照射領域と、連結部材133により環状ビームが遮蔽された不感帯である遮蔽領域と、が存在したものとなる。また、送入状態から送出状態へと切り替わる際に、管状体撮像装置100が管状体の周方向に所定の角度回転する(図18では時計方向に45度回転している)ため、管状体内表面のある基準点に着目すると、遮蔽領域の位置は送入時と送出時とで異なることとなる。
A/D変換部251は、カメラ120から出力された2種類の撮像画像に基づいて図18のような送入時及び送出時の環状ビーム画像をそれぞれ生成すると、生成した各環状ビーム画像に対応するデータを、後述する環状ビームセンター算出部253に出力する。
環状ビームセンター算出部253は、例えば、CPU、ROM、RAM等により実現される。環状ビームセンター算出部253は、A/D変換部251から出力された送入時及び送出時におけるそれぞれの環状ビーム画像について、環の重心位置と環の半径をそれぞれ算出する。
ここで、環の重心位置及び半径を算出する方法は、特に限定されるわけではなく、公知のあらゆる方法を利用することが可能である。環の重心位置及び半径を算出する方法の具体例としては、例えば、第1の実施形態で示したような以下の2つの方法を挙げることができ、遮蔽領域の有無によらず利用することが可能である。
・2値化した環状ビーム画像上の任意の3点を抽出し、この3点の位置座標の重心を算出する。得られた重心位置と3点のうち任意の1点との間の距離が環の半径となる。
・ハフ(Hough)変換による円抽出を行い、円(すなわち、環状ビーム)の重心と半径とを算出する。
環状ビームセンター算出部253は、送入時及び送出時における各環状ビーム画像について環の重心位置及び半径を算出すると、環の重心位置及び半径に関する情報をそれぞれ生成して、後述する座標変換部255に出力する。
座標変換部255は、例えば、CPU、ROM、RAM等により実現される。座標変換部255は、算出された重心位置、及び、当該重心位置と環状ビームの照射部分との離隔距離に基づいて、環状ビーム画像の座標系を変換する。その後、座標変換部255は、環状ビームの照射部分を管状体の周方向に展開した線分として表した光切断画像を生成する。
ここで、本実施形態に係る座標変換部255は、座標系の変換を行う際に、管状体内表面に仮想的に設定された基準点を基準として、変換処理を実施する。この基準点を管状体内表面のどの位置に設定するかは、特に限定されるわけではなく、任意の位置に設定することが可能である。例えば図18に示した例では、管状体内表面を送入方向に見た際の3時の方向に、基準点Kが設定されている。この基準点Kは、管軸方向の各位置で撮像された環状ビーム画像の間で互いに同一の位置となるように選択される。
なお、送入時の環状ビーム画像上で基準点Kの座標が特定された場合、送出時の環状ビーム画像における基準点Kの位置は、送入時における基準点Kの座標を所定の角度回転させることで特定することができる。すなわち、送出時において、時計方向を正方向とした場合に管状体撮像装置100が+X度回転される場合には、送入時における基準点Kの位置を−X度回転させることで、送出時における基準点Kの位置を特定することができる。
図19は、送入時及び送出時に管状体撮像装置100によって撮像される環状ビーム画像を模式的に図示したものである。図18に示した例の場合、管状体撮像装置100は、時計方向に45度回転された後に送出時の環状ビーム画像が生成される。ここで、管状体撮像装置100のレーザ照射装置110及びカメラ120は一体に形成されているため、管状体撮像装置100の回転にあわせてカメラ120も回転することとなる。従って、図19に示した環状ビーム画像では、基準点Kは反時計方向に45度回転する。
座標変換部255は、基準点Kを基準とした座標変換処理や、第1の実施形態で説明したような画像補間処理を終了すると、得られた光切断画像に対応する画像データを、記憶部207等に設けられた画像メモリに、管状体の軸方向に沿って順次格納していく。
縞画像フレーム生成部257は、例えば、CPU、ROM、RAM等により実現される。縞画像フレーム生成部257は、記憶部207等に設けられた画像メモリから、管状体の軸方向に沿って格納された光切断画像を順に取得する。その後、縞画像フレーム生成部257は、取得した各光切断画像を管状体の軸方向に沿って順に配列して、送入時の縞画像フレーム及び送出時の縞画像フレームをそれぞれ生成する。
1つの縞画像フレームを構成する光切断画像の個数は、適宜設定すればよいが、例えば、256個の光切断画像で1つの縞画像フレームを構成するようにしてもよい。各光切断画像は、上述のように環状ビーム画像の撮像間隔毎(例えば、0.5mm間隔)に存在している。そのため、0.5mm間隔で撮像された環状ビーム画像に基づく、256個の光切断画像からなる1つの縞画像フレームは、管状体の内表面の全周を、軸方向に沿って128mm(=256×0.5mm)の範囲で撮像した結果に相当する。
図20は、このようにして生成された送入時の縞画像フレームを模式的に示した説明図であり、図21は、このようにして生成された送出時の縞画像フレームを模式的に示した説明図である。
縞画像フレーム生成部257により生成される送入時及び送出時の縞画像フレームには、図20及び図21に示したように、管状体撮像装置100に設けられた連結部材133の本数に応じて、遮蔽領域が存在することとなる。また、各縞画像フレームの周方向の原点は、座標変換部255により共通した基準点Kを起点として座標変換が実施されているため、図20及び図21に示したように、互いに等しく基準点Kとなる。
縞画像フレーム生成部257は、送入時の縞画像フレーム及び送出時の縞画像フレームをそれぞれ生成すると、生成したこれらの縞画像フレームを、後述する画像算出部259に出力する。また、縞画像フレーム生成部257は、生成した各縞画像フレームに対応するデータに、当該縞画像フレームを生成した日時等に関する時刻情報を関連付けて、履歴情報として記憶部207等に格納してもよい。
画像算出部259は、例えば、CPU、ROM、RAM等により実現される。画像算出部259は、縞画像フレーム生成部257が生成した、送入時及び送出時における2種類の縞画像フレームに基づいて、管状体の内表面の凹凸状態を表す深さ画像と、管状体の内表面における環状ビームの輝度の分布を表す輝度画像と、を算出する。この画像算出部259は、図17に示したように、光切断線処理部261と、深さ画像算出部263と、輝度画像算出部265と、深さ画像補完部267と、輝度画像補完部269と、を更に備える。
光切断線処理部261は、例えば、CPU、ROM、RAM等により実現される。光切断線処理部261は、縞画像フレームに含まれる各光切断線について、光切断線の変位量(輝線の曲がり具合)、輝線の画素数及び輝度の総和に関する3種類の光切断線特徴量を算出する。
これら3種類の光切断線特徴量の算出方法については、第1の実施形態に係る光切断線処理部221が実施する算出方法と同様であるため、詳細な説明は省略する。
本実施形態に係る光切断線処理部261は、上記3種類の光切断線特徴量に加えて、遮蔽領域の位置を特定する処理を実施する。以下、遮蔽領域の位置を特定する処理について、詳細に説明する。
連結部材133による遮蔽領域ではカメラ120によって環状レーザ光が撮像されないため、図22に模式的に示したように、所定の閾値Thよりも輝度の大きい輝線は存在しない。従って、上記光切断線特徴量の算出過程において、遮蔽領域では輝線の画素数についての光切断線特徴量pj,mがゼロとなる。
そこで、本実施形態に係る光切断線処理部261は、それぞれの周方向(X方向)位置における輝線の画素数に着目して、遮蔽領域の範囲を示す周方向座標(X座標)を特定する。以下では、縞画像フレーム画像において、左から1番目に存在する遮蔽領域の開始位置Xs1s及び終了位置Xs1eを算出する場合を例にとって、説明を行うものとする。
光切断線処理部261は、送入時の環状ビーム画像を構成するN本の光切断線それぞれについて、遮蔽領域が開始するX座標の位置Xs1js、及び、遮蔽領域が終了するX座標の位置Xs1je(j=1〜N)を特定する。その上で、管状体撮像装置100に生じた振動の影響等で、遮蔽領域の開始位置及び終了位置にズレが生じる場合を考慮して、特定されたN個の遮蔽領域開始位置Xs1jsのうちの最小値をXs1sとするとともに、遮蔽領域終了位置Xs1jeの最大値をXs1eとする。
また、jライン目における左から1番目の遮蔽領域の開始位置Xs1js及び終了位置Xs1jeは、以下のようにして特定することができる。以下、遮蔽領域の開始位置Xs1js及び終了位置Xs1jeの特定方法を、図23を参照しながら具体的に説明する。
光切断線処理部261は、jライン目の光切断線の各X座標において、輝線の画素数pj,m(m=1〜M)に着目する。その上で、光切断線処理部261は、各X位置における輝線の画素数pj,mについて、pj,m=0となるX位置が出現するかを判断していく。pj,m=0となったX位置が存在した場合、光切断線処理部261は、その座標Xmを記憶するとともに、それ以降のX座標についてpj,m=0である状態の連続数をカウントしていく。ここで、図23に模式的に示したように、pj,m=0である状態の連続数が、所定の閾値THs(例えば、THs=10等)以上となった場合、光切断線処理部261は、記憶しておいたX座標Xmを、jライン目における左から1番目の遮蔽領域の開始位置Xs1jsとして特定する。
また、遮蔽領域の開始位置Xs1jsが特定された状態の中で、X方向に輝線の画素数を探索していくうちに、pj,m≠0となるX座標Xnが出現したとする。この場合、光切断線処理部261は、その座標Xnを記憶するとともに、それ以降のX座標についてpj,m≠0である状態の連続数をカウントしていく。ここで、図23に模式的に示したように、pj,m≠0である状態の連続数が、所定の閾値THs(例えば、THs=10等)以上となった場合、光切断線処理部261は、記憶しておいたX座標Xnの一つ手前のX位置を、jライン目における左から1番目の遮蔽領域の終了位置Xs1jeとして特定する。ここで、上記閾値THsは、連続数判定用の第3の閾値、及び、連続数判定用の第4の閾値の一例であり、第3の閾値と第4の閾値とが同一の値である場合に相当する。なお、上記説明では、遮蔽領域の開始位置を特定するために用いられる閾値THsと、遮蔽領域の終了位置を特定するために用いられる閾値THsとが同一の値である場合について示したが、これら2つの閾値は互いに異なる値であってもよい。
また、遮蔽領域の開始位置Xs1s及び終了位置Xs1eを決定する別の方法として以下のようにしてもよい。
jライン目の光切断線の各X座標において、座標位置を移動させながら、輝線の画素数pj,m(m=1〜M)の所定の左右k個分(例えば、k=3等)の平均値qj,m(m=1〜M)を順次求める(移動平均処理)。次に、求めた平均値qj,mが予め設定した閾値A(例えばA=0.5等)未満となるX座標位置を遮蔽領域の開始位置Xs1sとする。また、遮蔽領域の開始位置Xs1sが特定されており、かつ、求めた平均値qj,mが予め設定した閾値A以上となるX座標位置を遮蔽領域の終了位置Xs1eとする。なお、上記閾値Aは、移動平均判定用の第5の閾値の一例である。
以上のような処理をj=1〜Nの各光切断線に対して実施することで、光切断線処理部261は、左から1番目の遮蔽領域の開始位置Xs1s及び終了位置Xs1eを決定することができる。また、左から2番目以降の遮蔽領域についても、同様の処理を行うことで、遮蔽領域の開始位置や終了位置を決定することができる。
なお、光切断線処理部261は、遮蔽領域における光切断線の変位量についての光切断線特徴量Δdj,m、及び、遮蔽領域における輝度の総和についての光切断線特徴量Kj,mは、それぞれゼロとして取り扱う。
従って、例えば左から1番目の遮蔽領域について、輝線の画素数pj,mの二次元配列、輝線の輝度の総和Kj,mの二次元配列、及び、輝線の変位量Δdj,mの二次元配列は、それぞれ以下のようになる。
pj,m=0(j=1〜N,m=Xs1s,・・・,Xs1e)
Kj,m=0(j=1〜N,m=Xs1s,・・・,Xs1e)
Δdj,m=0(j=1〜N,m=Xs1s,・・・,Xs1e)
光切断線処理部261は、例えば図19に示したような、4本の連結部材133が映りこんだ送入時の環状ビーム画像に対応する縞画像フレームに対して、以上のような処理を実施することで、図20に示したように、4カ所の遮蔽領域それぞれの開始位置及び終了位置を特定することができる。
また、光切断線処理部261は、図21に例示した送出時の縞画像フレームについても、第1の実施形態と同様にして光切断線特徴量を算出する。しかしながら、送出時の縞画像フレームについては、遮蔽領域の開始位置及び終了位置を特定しなくともよい。ここで、送出時の縞画像フレームについて輝線の画素数pj,m=0であるX位置が出現すると、光切断線処理部261は、対応するX位置の輝度の総和Kj,m、及び、輝線の変位量Δdj,mをゼロとして取り扱う。
光切断線処理部261は、算出した光切断線特徴量のうち、光切断線の変位量Δdに関する特徴量を、後述する深さ画像算出部263に出力する。また、光切断線処理部261は、算出した光切断線特徴量のうち、輝度の総和K、及び、輝線の画素数pに関する特徴量を、後述する輝度画像算出部265に出力する。更に、光切断線処理部261は、送入時の縞画像フレームに存在する各遮蔽領域の開始位置及び終了位置を示した情報(例えば図20におけるXs1s〜Xs4eを示した情報)を、後述する深さ画像補完部267及び輝度画像補完部269に出力する。
深さ画像算出部263は、例えば、CPU、ROM、RAM等により実現される。深さ画像算出部263は、光切断線処理部261が生成した光切断線特徴量(特に、変位量Δdに関する特徴量)に基づいて、送入時及び送出時のそれぞれについて、管状体の内表面の凹凸状態を表す深さ画像を算出する。以下では、送入時における深さ画像を、送入時深さ画像とも称することとし、送出時における深さ画像を、送出時深さ画像とも称することとする。
ここで、深さ画像算出部263が送入時深さ画像及び送出時深さ画像を算出する方法は、第1の実施形態に係る深さ画像算出部223が実施する深さ画像の算出方法と同様であるため、以下では詳細な説明は省略する。
深さ画像算出部263は、送入時深さ画像及び送出時深さ画像を算出すると、算出したこれらの画像に関する情報を、後述する深さ画像補完部267に出力する。
輝度画像算出部265は、例えば、CPU、ROM、RAM等により実現される。輝度画像算出部265は、光切断線処理部261が生成した光切断線特徴量(特に、輝度の総和K及び輝線の画素数pに関する特徴量)に基づいて、送入時及び送出時のそれぞれについて、管状体の内表面における環状ビームの輝度の分布を表す輝度画像を算出する。以下では、送入時における輝度画像を、送入時輝度画像とも称することとし、送出時における輝度画像を、送出時輝度画像とも称することとする。
ここで、輝度画像算出部265が送入時輝度画像及び送出時輝度画像を算出する方法は、第1の実施形態に係る輝度画像算出部225が実施する輝度画像の算出方法と同様であるため、以下では詳細な説明は省略する。
輝度画像算出部265は、送入時輝度画像及び送出時輝度画像を算出すると、算出したこれらの画像に関する情報を、後述する輝度画像補完部269に出力する。
深さ画像補完部267は、例えば、CPU、ROM、RAM等により実現される。深さ画像補完部267は、深さ画像算出部263が算出した送入時深さ画像及び送出時深さ画像を利用して、深さ画像において遮蔽領域に対応する部分の補完処理を実施する。
深さ画像算出部263が算出した送入時深さ画像及び送出時深さ画像において、連結部材133による遮蔽領域に該当する部分は、画素値の変化が存在しない部分となっており、この部分からは管状体の内表面の凹凸状態に関する正確な知見を得ることができない。そこで、深さ画像補完部267は、これら2種類の深さ画像を利用して、遮蔽領域の深さ情報を補完する処理を実施する。
以下では、図20、図21及び図24を参照しながら、深さ画像において左から1番目に存在する遮蔽領域に対応する部分の補間処理について、具体的に説明する。
本実施形態に係る管状体撮像装置100では、送入時の環状ビーム画像を撮像する状態から送出時の環状ビーム画像を撮像する状態へと切り替わる際に、管状体撮像装置100の全体が所定の角度だけ回転する。また、管状体撮像装置100では、先だって説明したように、ビーム照射領域が遮蔽領域よりも広くなるように、連結部材133の太さや配置位置が決定されている。
以上のような設定のために、本実施形態に係る欠陥検出装置10では、図20及び図21の縞画像フレームに示したように、送入時と送出時とでフレーム内で遮蔽領域の位置が変化することとなる。また、図21から明らかなように、ビーム照射領域が遮蔽領域よりも広いため、一方の縞画像フレーム(例えば送入時の縞画像フレーム)における遮蔽領域は、他方の縞画像フレーム(例えば、送出時の縞画像フレーム)における非遮蔽領域に包含されることとなる。
そこで、本実施形態に係る深さ画像補完部267は、例えば図24に示したように、送出時深さ画像を利用して、送入時深さ画像の遮蔽領域を補完して、遮蔽領域に対応する部分が存在しない深さ画像を生成する。
図24では、左から1番目に存在する遮蔽領域を補完する処理について、模式的に図示している。
送入時の画像における遮蔽領域の開始位置Xs1s及び終了位置Xs1eは、光切断線処理部261により特定され、深さ画像補完部267に通知されている。そこで、深さ画像補完部267は、送出時深さ画像を参照して、送入時深さ画像の遮蔽領域に対応する部分(Xs1s〜Xs1e)の深さ情報を取得し、送入時深さ画像の遮蔽領域に対応する部分に、取得した深さ情報を代入する。
ここで、管状体撮像装置100の動作からも明らかなように、送入時の縞画像フレームにおけるN本目の光切断線と、送出時の縞画像フレームにおける1本目の光切断線とが、同一の管軸方向位置に対応している。そこで、深さ画像補完部267は、送入時深さ画像の1ライン目に対応する深さ情報を補完する場合には、送出時深さ画像のNライン目に対応する深さ画像を利用して、補完処理を実施する。同様に、深さ画像補完部267は、送入時深さ画像のjライン目に対応する深さ情報を補完する場合には、送出時深さ画像の(N+1−j)ライン目に対応する深さ画像を利用して補完処理を実施する。
深さ画像補完部267は、このような補完処理を、1ライン目〜Nライン目に対応する部分に対して実施することで、送入時深さ画像において左から1番目に存在する遮蔽領域の深さ情報を補完することができる。
また、深さ画像補完部267は、同様の補完処理を、左から2番目以降に存在する遮蔽領域に対応する部分にも適用することによって、送入時深さ画像に存在する全ての遮蔽領域に対応する部分の深さ情報を補完することができる。
深さ画像補完部267は、以上説明したような補完処理により、遮蔽領域に対応する部分の深さ情報を補完すると、補完後の深さ画像に関する情報を、後述する欠陥検出部271に出力する。また、深さ画像補完部267は、補完後の深さ画像に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部207等に履歴情報として格納してもよい。更に、深さ画像補完部267は、補完後の深さ画像に関する情報を表示制御部205に出力して、表示部(図示せず。)に出力させてもよい。
輝度画像補完部269は、例えば、CPU、ROM、RAM等により実現される。輝度画像補完部269は、輝度画像算出部265が算出した送入時輝度画像及び送出時輝度画像を利用して、輝度画像において遮蔽領域に対応する部分の補完処理を実施する。
輝度画像算出部265が算出した送入時輝度画像及び送出時輝度画像において、連結部材133による遮蔽領域に該当する部分は、画素値がゼロとなっており、この部分からは管状体の内表面の凹凸状態に関する正確な知見を得ることができない。そこで、輝度画像補完部269は、これら2種類の輝度画像を利用して、遮蔽領域の輝度情報を補完する処理を実施する。
ここで、輝度画像補完部269は、深さ画像補完部265による補完処理と同様にして、送入時の画像における遮蔽領域の開始位置Xs1s及び終了位置Xs1eに基づいて送出時輝度画像を参照して、送入時輝度画像の遮蔽領域に対応する部分(Xs1s〜Xs1e)の輝度情報を取得し、送入時輝度画像の遮蔽領域に対応する部分に、取得した輝度情報を代入する。この際、輝度画像補完部269は、送入時輝度画像のjライン目に対応する輝度情報を補完するために、送出時輝度画像の(N+1−j)ライン目に対応する輝度画像を利用して補完処理を実施する。
輝度画像補完部269は、同様の補完処理を、画像中に存在する全ての遮蔽領域に対応する部分に適用することによって、送入時輝度画像に存在する全ての遮蔽領域に対応する部分の輝度情報を補完することができる。
輝度画像補完部269は、以上説明したような補完処理により、遮蔽領域に対応する部分の輝度情報を補完すると、補完後の輝度画像に関する情報を、後述する欠陥検出部271に出力する。また、輝度画像補完部269は、補完後の輝度画像に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部207等に履歴情報として格納してもよい。更に、輝度画像補完部269は、補完後の輝度画像に関する情報を表示制御部205に出力して、表示部(図示せず。)に出力させてもよい。
再び図17に戻って、本実施形態に係る欠陥検出部271について説明する。
本実施形態に係る欠陥検出部271は、例えば、CPU、ROM、RAM等により実現される。欠陥検出部271は、深さ画像補完部267により補完された深さ画像と、輝度画像補完部269により補完された輝度画像とに基づいて、管状体の内表面に存在する欠陥を検出する。
ここで、本実施形態に係る欠陥検出部271が実施する欠陥検出処理は、第1の実施形態に係る欠陥検出部227が実施する欠陥検出処理と同様のものであるため、以下では詳細な説明は省略する。
以上、本実施形態に係る演算処理装置200が有する画像処理部203の構成について、詳細に説明した。
なお、上記説明では、送入時深さ画像及び送入時輝度画像の遮蔽領域に対応する部分を、送出時深さ画像及び送出時輝度画像のビーム照射領域に対応する部分を利用して補完する場合について説明したが、逆の処理を行うことも可能である。
すなわち、光切断線処理部261は、送出時の縞画像フレームに着目して、送出時の縞画像フレームにおける遮蔽領域の開始位置及び終了位置を特定する。その上で、深さ画像補完部267及び輝度画像補完部269は、送入時深さ画像及び送入時輝度画像のビーム照射領域に対応する部分を利用して、送出時深さ画像及び送出時輝度画像の遮蔽領域に対応する部分を補完してもよい。
以上、本実施形態に係る演算処理装置200の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
以上、本実施形態に係る欠陥検出装置10の構成について、詳細に説明した。本実施形態に係る欠陥検出装置10を利用することで、管状体の内表面を周方向全周、全長にわたって検査することが可能となり、微小な凹凸形状の欠陥や模様状の欠陥を、高精度で同時に検出することができる。また、本実施形態に係る欠陥検出装置10により、欠陥の発生位置を正確に特定することが可能となるため、鋼管等の管状体の生産性や歩留まりの向上や、品質保証に大きく寄与することができる。
<欠陥検出方法について>
続いて、図25を参照しながら、本実施形態に係る欠陥検出方法の流れを簡単に説明する。図25は、本実施形態に係る欠陥検出方法の流れの一例を示した流れ図である。
まず、欠陥検出装置10の管状体撮像装置100は、プローブから照射される環状ビームを用いて、プローブの送入及びプローブの送出時に管状体の内表面を撮像して、プローブ送入時及びプローブ送出時の2種類の撮像画像を演算処理装置200に出力する。演算処理装置200が備える画像処理部203のA/D変換部251は、取得した2種類の撮像画像に対してA/D変換処理を行い、送入時環状ビーム画像及び送出時ビーム画像を生成する(ステップS201)。
次に、環状ビームセンター算出部253は、A/D変換部251が生成した送入時及び送出時の環状ビーム画像を利用して、各環状ビーム画像の重心位置及び半径を算出し(ステップS203)、得られた算出結果を、座標変換部255に出力する。
続いて、座標変換部255は、算出された重心位置や半径等を利用して、送入時環状ビーム画像及び送出時環状ビーム画像を座標変換し、光切断画像を生成する(ステップS505)。この際、座標変換部255は、基準点Kを基準として座標変換処理を実施する。これにより、後段で生成される送入時及び送出時の縞画像フレームにおいて、各光切断線の周方向の位置座標の原点を統一することが可能となる。生成された光切断画像は、管状体の軸方向に沿って、記憶部207等に設けられた画像メモリに順次格納されていく。
その後、縞画像フレーム生成部257は、生成された光切断画像を管状体の軸方向に沿って順に配列して、送入時及び送出時の縞画像フレームをそれぞれ生成する(ステップS207)。縞画像フレーム生成部257は、生成した縞画像フレームを、光切断線処理部261に出力する。
光切断線処理部261は、生成された送入時及び送出時の縞画像フレームを利用し、各光切断線について、閾値以上の輝度を有する画素の画素数、当該画素の輝度の総和及び光切断線の変位量を算出する(ステップS209)。これら算出結果が、光切断線特徴量として利用される。算出された光切断線特徴量は、深さ画像算出部263及び輝度画像算出部265にそれぞれ出力される。
また、光切断線処理部261は、上記光切断線特徴量の算出とあわせて、送入時の縞画像フレームについて、遮蔽領域の位置(すなわち、遮蔽領域の開始位置及び終了位置)を特定する(ステップS211)。その後、光切断線処理部261は、特定した遮蔽領域の位置に関する情報を、深さ画像補完部267及び輝度画像補完部269に出力する。
深さ画像算出部263は、算出された光切断線特徴量(特に、光切断線の変位量に関する特徴量)を利用して、送入時深さ画像及び送出時深さ画像を算出する(ステップS213)。また、輝度画像算出部265は、算出された光切断線特徴量(特に、閾値以上の輝度を有する画素の画素数に関する特徴量、及び、輝度の総和に関する特徴量)を利用して、送入時輝度画像及び送出時輝度画像を算出する(ステップS213)。深さ画像算出部263は、算出した送入時深さ画像及び送出時深さ画像を、深さ画像補完部267に出力する。また、輝度画像算出部265は、算出した送入時輝度画像及び送出時輝度画像を、輝度画像補完部267に出力する。
次に、深さ画像補完部267は、光切断線処理部261から通知された遮蔽領域の位置に関する情報と、深さ画像算出部263により算出された送出時深さ画像と、を利用し、送入時深さ画像の補完処理を実施する(ステップS215)。また、輝度画像補完部269は、光切断線処理部261から通知された遮蔽領域の位置に関する情報と、輝度画像算出部265により算出された送出時輝度画像と、を利用し、送入時輝度画像の補完処理を実施する(ステップS215)。その後、深さ画像補完部267は、補完後の深さ画像を欠陥検出部271に出力するとともに、輝度画像補完部269は、補完後の輝度画像を、欠陥検出部271に出力する。
欠陥検出部271は、補完後の深さ画像及び輝度画像を利用して、管状体の内表面に存在する欠陥部位を検出し、検出した欠陥部位の欠陥の種別及び有害度を特定する(ステップS217)。以上のような流れにより、管状体の内表面に存在する欠陥が検出されることとなる。
以上、本発明の第2の実施形態に係る欠陥検出装置及び欠陥検出方法について、詳細に説明した。
(ハードウェア構成について)
次に、図26を参照しながら、本発明の実施形態に係る演算処理装置200のハードウェア構成について、詳細に説明する。図26は、本発明の実施形態に係る演算処理装置200のハードウェア構成を説明するためのブロック図である。
演算処理装置200は、主に、CPU901と、ROM903と、RAM905と、を備える。また、演算処理装置200は、更に、バス907と、入力装置909と、出力装置911と、ストレージ装置913と、ドライブ915と、接続ポート917と、通信装置919とを備える。
CPU901は、演算処理装置および制御装置として機能し、ROM903、RAM905、ストレージ装置913、またはリムーバブル記録媒体921に記録された各種プログラムに従って、演算処理装置200内の動作全般またはその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるバス907により相互に接続されている。
バス907は、ブリッジを介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バスに接続されている。
入力装置909は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチおよびレバーなどユーザが操作する操作手段である。また、入力装置909は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、演算処理装置200の操作に対応したPDA等の外部接続機器923であってもよい。さらに、入力装置909は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。演算処理装置200のユーザは、この入力装置909を操作することにより、演算処理装置200に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置911は、取得した情報をユーザに対して視覚的または聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置およびランプなどの表示装置や、スピーカおよびヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置911は、例えば、演算処理装置200が行った各種処理により得られた結果を出力する。具体的には、表示装置は、演算処理装置200が行った各種処理により得られた結果を、テキストまたはイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置913は、演算処理装置200の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置913は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、または光磁気記憶デバイス等により構成される。このストレージ装置913は、CPU901が実行するプログラムや各種データ、および外部から取得した各種のデータなどを格納する。
ドライブ915は、記録媒体用リーダライタであり、演算処理装置200に内蔵、あるいは外付けされる。ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体921に記録されている情報を読み出して、RAM905に出力する。また、ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記録媒体921に記録を書き込むことも可能である。リムーバブル記録媒体921は、例えば、CDメディア、DVDメディア、Blu−rayメディア等である。また、リムーバブル記録媒体921は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、または、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体921は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)または電子機器等であってもよい。
接続ポート917は、機器を演算処理装置200に直接接続するためのポートである。接続ポート917の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート、RS−232Cポート等がある。この接続ポート917に外部接続機器923を接続することで、演算処理装置200は、外部接続機器923から直接各種のデータを取得したり、外部接続機器923に各種のデータを提供したりする。
通信装置919は、例えば、通信網925に接続するための通信デバイス等で構成された通信インターフェースである。通信装置919は、例えば、有線または無線LAN(Local Area Network)、Bluetooth(登録商標)、またはWUSB(Wireless USB)用の通信カード等である。また、通信装置919は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、または、各種通信用のモデム等であってもよい。この通信装置919は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置919に接続される通信網925は、有線または無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信または衛星通信等であってもよい。
以上、本発明の実施形態に係る演算処理装置200の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。