以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<管状体検査装置の全体構成について>
まず、図1を参照しながら、本発明の第1の実施形態に係る管状体検査装置10の全体構成について説明する。図1は、本実施形態に係る管状体検査装置10の構成を示した説明図である。
本実施形態に係る管状体検査装置10は、管状体1の内表面を、後述する検査用プローブ100が管状体の内部に送入される際、及び、管状体の内部から送出される際の双方で撮像して、撮像の結果得られる画像を画像処理することにより、管状体1の内表面に表面欠陥(凹凸疵及び模様系の疵)が存在するか否かを検査する装置である。
ここで、本実施形態に係る管状体1は、中空部を有する管状のものであれば特に限定されるものではないが、かかる管状体1の例として、スパイラル鋼管、電縫鋼管、UO鋼管、継目無鋼管(シームレス鋼管)、鍛接鋼管、TIG溶接鋼管等の各種鋼管やパイプのみならず、熱間押出法で使用されるコンテナと称するシリンダーやコンテナライナー等の管状物を挙げることができる。
本実施形態に係る管状体検査装置10は、図1に示したように、管状体1の内表面を撮像する検査用プローブ100と、検査用プローブ100の管軸方向に沿った移動及び管周方向の回転を制御するプローブ駆動装置200と、撮像の結果得られる画像に対して画像処理を行う演算処理装置300と、を備える。
検査用プローブ100は、後述するプローブ駆動装置200に装着されて、管状体1の中空部へと送入される。この検査用プローブ100は、管状体1の軸方向に沿って位置を随時変更しながら、当該管状体1の内表面を軸方向に沿って順次撮像し、撮像の結果得られる撮像画像を、演算処理装置300に出力する装置である。検査用プローブ100は、後述するプローブ駆動装置200により軸方向に沿った位置が制御されており、検査用プローブ100の移動に伴いPLG(Pulse Logic Generator:パルス型速度検出器)等からPLG信号が演算処理装置300に出力される。また、検査用プローブ100は、演算処理装置300によって、管状体1の撮像タイミング等が制御されている。
本実施形態に係る検査用プローブ100は、上記のように、管状体内部に送入される際に管状体1の内表面を撮像するとともに、管状体内部から送出される際にも管状体1の内表面を撮像する。
プローブ駆動装置200は、検査用プローブ100の管軸方向の移動、及び、管中心軸方向を回転軸とする管状体周方向の回転を制御するアクチュエータ等からなる駆動制御装置である。プローブ駆動装置200は、例えば演算処理装置300による制御のもとで、検査用プローブ100の管軸方向の移動や管状体周方向の回転といった駆動処理の制御を行う。
より詳細には、プローブ駆動装置200は、検査用プローブ100を管状体内部に送入させるとともに、検査用プローブ100が検査対象となる内表面の撮像を終了すると、検査用プローブ100の送入動作を停止する。その後、プローブ駆動装置200は、検査用プローブ100の中心軸を回転軸として管状体の周方向に検査用プローブ100を回転させる。その後、プローブ駆動装置200は、検査用プローブ100を管状体内部から送出させる。
演算処理装置300は、管状体撮像装置100によって生成された撮像画像を利用して縞画像フレームを生成し、この縞画像フレームに対して画像処理を行うことで、管状体1の内表面に存在している可能性のある欠陥を検出する装置である。
この際、本実施形態に係る演算処理装置300は、検査用プローブ100においてレーザ光源と撮像装置とを連結する連結部材に起因する不感帯をなくすように、送出時に撮像した撮像画像から生成された画像を利用して、送入時に撮像した撮像画像から生成された画像を補完する。これにより、送入時又は送出時に撮像した撮像画像に不感帯が存在する場合であっても、管状体の内表面を、全周囲にわたって検査することが可能となる。
以下では、本実施形態に係る検査用プローブ100、プローブ駆動装置200及び演算処理装置300について、図を参照しながら詳細に説明する。なお、以下の説明では、検査用プローブ100の装着されたプローブ駆動装置200が、演算処理装置300による制御のもとで、コンテナライナー1の内表面に送入される場合を例に挙げるものとする。
<検査用プローブについて>
まず、図2、図3A及び図3Bを参照しながら、本実施形態に係る検査用プローブ100について説明する。図2は、本実施形態に係る検査用プローブ及びプローブ駆動装置の全体構成の一例を示した説明図である。図3A及び図3Bは、本実施形態に係る検査用プローブの構成の一例を示した説明図である。
図2に示したように、本実施形態に係る検査用プローブ100は、後述するプローブ駆動装置200が備える検査用ステムの先端に装着されて、管状体(本例では、コンテナライナー)1の内部に送入される。検査用プローブ100は、コンテナライナーの内表面に対して環状のレーザ光(以下、環状ビームとも称する。)を照射し、環状ビームの照射された内表面を撮像することで、環状ビームの撮像画像である環状ビーム画像を管状体の軸方向に沿って複数生成する。
図3A及び図3Bに示したように、本実施形態に係る検査用プローブ100は、レーザ光照射装置110と、カメラ120と、レーザ光照射装置110及びカメラ120のそれぞれが固定される保持基板131と、2つの保持基板131を連結する支柱である連結部材133と、を備える。また、本実施形態に係る検査用プローブ100では、レーザ光照射装置110及びカメラ120とは、レーザ光照射装置110から照射されるレーザ光の中心軸と、カメラ120の中心軸(光軸)とが同軸となるように配置される。
レーザ光照射装置110は、管状体1の内表面の周方向に沿って環状ビームを照射する装置であり、図3Aに示したように、レーザ光源111と、円錐状の光学素子113と、を更に有する。
レーザ光源111は、所定の波長を有するレーザ光を発振する光源である。このようなレーザ光源111として、例えば、連続的にレーザ発振を行うCWレーザ光源を用いることが可能である。レーザ光源111が発振する光の波長は、例えば、400nm〜800nm程度の可視光帯域に属する波長であることが好ましい。レーザ光源111は、後述する演算処理装置300から送出される照射タイミング制御信号に基づいて、レーザ光の発振を行う。
円錐状の光学素子113は、円錐形状のミラー又はプリズムを備える光学素子であり、円錐部の頂点がレーザ光源111と対向するように設置されている。レーザ光源111から射出されたスポット状のレーザ光は、光学素子113の円錐部の頂点によって反射され、リング状にラインビームが発生することとなる。ここで、円錐部の円錐角が90°である場合には、図3Aに示したように、レーザ光源111からのレーザ入射方向に対して直角方向に、環状ビームが照射されることとなる。
カメラ120は、CCD(Charge Coupled Device)又は、CMOS(Complementary Metal Oxide Semiconductor)等の撮像素子が搭載されたものである。カメラ120は、管状体1の内表面に垂直に照射された環状ビームの反射光を、図2に示したように角度φの方向から撮像する。
カメラ120に搭載されるレンズの焦点距離や画角、及び、レーザ光照射装置110とカメラ120の撮像素子との間の距離は特に限定するものではないが、管状体1の内表面に照射された環状ビームの全体像を撮像可能なように選択することが好ましい。また、カメラ120に搭載される撮像素子の大きさや画素サイズも特に限定するものではないが、生成される画像の画質や画像分解能等を考慮すると、サイズの大きな撮像素子を利用することが好ましい。また、以下で説明する画像処理の観点から、環状ビームのライン幅(線幅)は、撮像素子上で1〜3画素程度であるように調整されることが好ましい。
このようなレーザ光照射装置110とカメラ120とは、後述するプローブ駆動装置200によって管状体1の中心軸に略一致するように軸方向に移動しながら、管状体1の内表面を走査する。また、後述する演算処理装置300は、検査用プローブ100が軸方向に所定距離移動する毎に、カメラ120に対して撮像のためのトリガ信号を出力する。レーザ光照射装置110及びカメラ120の軸方向の移動間隔は、適宜設定することが可能であるが、例えば、カメラ120に設けられた撮像素子の画素サイズと同一にすることが好ましい。軸方向の移動間隔と撮像素子の画素サイズとを一致させることで、撮像された画像において縦方向の分解能と横方向の分解能とを一致させることができる。
なお、図2に示した角度φは、任意の値に設定することが可能であるが、例えば30〜60度程度とすることが好ましい。かかる角度をあまり大きくすると環状ビームの管状体1の内面からの散乱光(反射光)が弱くなり、また小さくすると、検査対象物である管状体1の深さ変化量に対して、後述する縞画像における縞の移動量が小さくなり、管状体1の内表面に存在する凹部の深さ(又は、凸部の高さ)に関する情報が劣化するためである。
レーザ光照射装置110及びカメラ120は、それぞれ保持基板131に固定されており、これら2つの保持基板131は、1又は複数の連結部材133により連結されている。レーザ光照射装置110及びカメラ120が、保持基板131及び連結部材133により固定されることで、管状体1の内表面を撮像するための検査用プローブが形成される。
保持基板131及び連結部材133の素材については、検査用プローブ100に求められる耐熱性や強度等に応じて適宜選択すればよい。また、連結部材133の本数は、検査用プローブ100に求められる強度に応じて適宜設定すればよく、1本であってもよいし、複数本であってもよい。
連結部材133の太さ(例えば、円柱状の連結部材133である場合には管径)は、環状ビームの照射領域(以下、ビーム照射領域とも称する。)が、環状ビームや撮像視野が連結部材133によって遮蔽される領域(以下、遮蔽領域とも称する。)よりも広くなるように設定する。
ここで、複数本の連結部材133を設ける場合には、例えば図3Bに示したように、保持基板131の縁部に当該保持基板131の周方向に沿って等間隔に配置することが好ましい。また、連結部材133を複数本設置する場合には、遮蔽領域がなるべく狭くなるように本数を決定することが好ましい。
また、連結部材133の本数を1本とする場合には、例えば図3Bに示した4本の連結部材のうちいずれか1つの位置に対して、連結部材133を設置すればよい。
ここで、後述するプローブ駆動装置200は、送入時の管状体内表面の撮像が終了すると、連結部材133の本数に応じて検査用プローブ100を周方向に回転させる。この回転角の大きさは、管状体内表面に仮想的に設定した基準線を基準として考えた場合に、連結部材133の配置により生じる遮蔽領域が送入時と送出時とで異なる位置となるように(換言すれば、送入時における遮蔽領域と、送出時における遮蔽領域とが重ならないように)設定される。具体的には、連結部材133の本数が1本である場合には、プローブ駆動装置200は、検査用プローブ100を周方向に沿って例えば180°回転させる。また、プローブ駆動装置200は、連結部材133が等間隔に2本設置されている場合には、検査用プローブ100を周方向に例えば90°回転させ、等間隔に3本設置されている場合には、周方向に例えば60°回転させる。また、図3Bに示したように、連結部材133が等間隔に4本設置されている場合には、プローブ駆動装置200は、検査用プローブ100を周方向に例えば45°回転させる。
以下に、本実施形態に係る検査用プローブ100の有する各装置について、その具体的な構成や設定値等を列挙する。かかる構成や設定値等はあくまでも一例であって、本発明に係る検査用プローブ100が、以下の具体例に限定されるわけではない。
○管状体
コンテナライナー:内径150〜600mm、長さ850mm
○レーザ光照射装置
160mWの出力でレーザ光を照射。円錐状の光学素子113により、80mWの環状ビームとなって管状体の内表面に照射される。コンテナライナー内面に照射されるラインビーム幅は、0.30mmである。ただし、この場合のラインビーム幅とは、ピーク強度値から13.5%で定義されるものである。
○カメラ
2330画素×1750画素のCCDを撮像素子として搭載。フレームレート30fps、レンズの焦点距離1.8mm、画角180°、撮影される画像の画素サイズは0.5mm×0.5mm、ラインビーム幅は、撮像画像上では、1〜3画素の輝線の幅で撮影される。
○レーザ光照射装置とカメラの撮像素子との離隔距離:約250mm
○カメラ120は、管状体の内表面を、軸方向に0.5mm進む毎に撮像する。
<プローブ駆動装置について>
続いて、図2、図4及び図5を参照しながら、本実施形態に係るプローブ駆動装置200について、詳細に説明する。図4は、本実施形態に係るプローブ駆動装置の全体構成の一例を示した説明図である。図5は、本実施形態に係る管状体検査方法について説明するための説明図である。
本実施形態に係るプローブ駆動装置200は、上記検査用プローブ100が装着され、管状体内部での検査用プローブ100の位置を制御するものである。このプローブ駆動装置200は、例えば図2に示したように、検査用プローブ100が装着される検査用ステム201と、検査用プローブ100の装着された検査用ステム201を、コンテナライナーに装着されたダイホルダーへと固定させる固定用治具203と、を備える。
ここで、以下では、固定用治具203がダイホルダーと嵌合する場合について説明を行うが、固定用治具203は、コンテナに直接嵌合してもよいし、コンテナライナーに直接嵌合してもよいし、コンテナ及びコンテナライナーの双方に直接嵌合してもよい。また、固定用治具203は、コンテナに装着されるダイホルダーやコンテナライナー以外の部材に嵌合してもよい。
本実施形態に係る検査用ステム201は、例えば図4に示したように、2つの保持基板211a,211b(以下、2つの保持基板をまとめて保持基板211と称することがある。)と、これら2つの保持基板211の間を連結する連結部材であるリニアガイド213と、ボールねじ軸215と、を備える。
ここで、2つの保持基板211のうちの一方(検査用ステム201が管状体1に送入された際に、管状体の内部に位置する側)の基板211aには、検査用プローブ100が装着される。また、ボールねじ軸215は、検査用ステム201の中心軸を通るように配設されており、検査用プローブ100の中心軸と、検査用ステム201の中心軸とが同軸となるようになっている。なお、検査用ステム201を管状体1と同軸を保ちながら送入・送出することが可能であれば、ボールねじ軸以外の公知の手段を用いて、検査用ステム201の送入・送出を行っても良い。
なお、図2及び図4では、リニアガイド213が2本配設される場合について図示しているが、リニアガイド213の本数は2本に限定されるわけではなく、検査用ステム201に求められる強度を実現できるのであれば、1本でも良いし、3本以上としてもよい。
また、保持基板211及びリニアガイド213の材質は、管状体1の内部温度に対する耐熱性や、検査用ステム201に求められる強度を実現できるものであれば、公知の素材を用いることが可能である。このような素材として、例えば、ステンレスやアルミ等の金属を挙げることができる。
2つの保持基板211うちの一方(検査用ステム201が管状体1に送入された際に、管状体の外部に位置する側)の基板211bには、ボールねじ軸215に連結された軸方向走査用モータ217が配設されている。この軸方向走査用モータ217は、プローブ駆動機構の一例である。軸方向走査用モータ217からの動力は、ボールねじ軸215へと伝達されて、検査用プローブ100の装着された検査用ステム201全体を管状体の内部へと送入したり内部から送出したりする動作へと変換される。ボールねじ軸215及び軸方向走査用モータ217からなる管軸方向移動機構により、本実施形態に係る検査用プローブ100は、管状体(例えば、コンテナライナー)1の内表面を軸方向に沿って移動することが可能となる。
また、2つの保持基板211のうち、検査用プローブ100が装着される側の基板211aには、周方向回転用モータ219が配設されている。この周方向回転用モータ219は、プローブ駆動機構の一例である。周方向回転用モータ219からの動力は、例えば保持基板211aに設けられた歯車等からなる動力伝達機構(図示せず。)により、保持基板211aに装着される検査用プローブ100へと伝達される。周方向回転用モータ219及び動力伝達機構からなる回転機構により、検査用プローブ100は、管状体の軸方向を中心として、周方向に回転することが可能となる。
ここで、周方向回転用モータ219が配設される位置は、図4に示した例に限定されるわけではなく、検査用プローブ100に動力を伝達可能な位置であれば、任意の位置に配設することが可能である。また、図4では、周方向回転用モータ219は、検査用ステム201に1台のみ設置されているが、周方向回転用モータ219の台数は図4に示した例に限定されるわけではなく、複数台のモータ219が検査用ステム201に配設されていてもよい。
なお、軸方向走査用モータ217及び周方向回転用モータ219は、それぞれ後述する演算処理装置300から出力される制御信号に基づいて駆動する。従って、本実施形態に係るプローブ駆動装置200は、演算処理装置300の制御下で駆動することとなる。
図22を参照しながら説明した熱間押出し法による製管工程では、コンテナライナーの内部に充填された中空ビレットがダイス側へと押し出されることにより、鋼管が製造されるわけであるが、表面欠陥の原因となるガラススケール等のカスは、コンテナライナーの内部のダイス側に蓄積されることとなる。従って、本実施形態に係る検査用ステム201は、少なくともコンテナライナーの全長のうちダイス側に位置する半分の領域を検査可能なような長さを有することが好ましい。また、本実施形態に係る検査用ステム201は、コンテナライナーの全長を検査可能な長さを有していても良い。
以上説明したような検査用ステム201は、ボールねじナットシステム221が設けられた固定用治具203の中心軸と同軸となるように保持される。また、検査用ステム201の固定用治具203への取り付けは、ボールねじナットシステム221を用いて行われていなくともよく、検査用ステム201を管状体1の内部にスムーズに送入・送出することが可能であれば、ボールベアリング等の公知の手段を用いて行われていても良い。
固定用治具203は、検査用プローブ100の装着された検査用ステム201をダイホルダー内に収容するために用いられる略円形状の部材であり、固定用治具203の中心軸が管状体1の管軸方向の中心軸と同軸となるようになっている。また、図2及び図4に示したように、固定用治具203がダイホルダーと接する面はダイホルダーと嵌合可能な嵌合面となっており、通常の製管工程で用いられるダイスと同じ嵌合面を有している。これにより、検査用プローブ100の装着された検査用ステム201を、ダイホルダーに対して容易に装着することが可能となる。
また、固定用治具203は、図2に例示したように、ダイホルダー及びダイバッカーで保持されることで、コンテナライナーにしっかりと係止されることとなる。固定用治具203の中心軸には、検査用ステム201の中心軸が同軸となるように設置されているため、固定用治具203をダイホルダーに装着することで、検査用プローブ100及び検査用ステム201が、管状体1の管軸方向の中心軸と同軸となり、検査用プローブ100の設置位置を一意に決定することができる。その結果、製管工程において定期的に検査処理を行う場合に、検査用プローブ100の装着位置のズレに起因する測定誤差を飛躍的に低減することが可能となり、常に同じ条件でより正確な検査を行うことが可能となる。
ここで、固定用治具203は、図4の右側の図に示したように、検査用ステム201が装着されている本体部251と、本体部251の周囲に本体部251と同心となるように配設された、1又は複数の外径調整部材253a,253b・・・(以下、複数の外径調整部材をまとめて外径調整部材253と称することもある。)と、から形成されていてもよい。本体部251及び各外径調整部材253は、それぞれ通常の製管工程で用いられるダイスと同じ嵌合面を有している。また、それぞれの外径調整部材253は、本体部251に対して着脱可能なように形成されている。
固定用治具203を、本体部251と外径調整部材253との2種類の部材で構成することにより、固定用治具203を装着する管状体1の内径にあわせて外径調整部材253を付けたり外したりすることで、固定用治具203の外径を容易に調整することが可能となる。その結果、様々な内径を有する管状体1に対して、固定用治具203を容易に装着することが可能となる。
なお、図4では、本体部251の周囲に2つの外径調整部材253が設けられている場合を図示しているが、本体部251の周囲に設けられる外径調整部材の数は図示の例に限定されるわけではなく、プローブ駆動装置200を装着する管状体1の内径の範囲に合わせて適宜決定すればよい。
また、検査用プローブ100や検査用ステム201と、演算処理装置300との間で、各種信号(例えば、制御信号や画像信号等)のやりとりがケーブルを介して実施される場合、ケーブルを通すための貫通孔が固定用治具203の本体部251に形成されても良い。貫通孔の形成位置については特に限定されるものではないが、検査用ステム201の送入・送出の際にケーブルが邪魔にならない位置に貫通孔を形成することが好ましい。
以上、図2及び図4を参照しながら、本実施形態に係るプローブ駆動装置200について、詳細に説明した。
<検査用プローブ及びプローブ駆動装置を用いた管状体検査方法について>
続いて、図5を参照しながら、本実施形態に係る検査用プローブ100及びプローブ駆動装置200を用いた管状体検査方法について説明する。図5は、本実施形態に係る検査用プローブ及びプローブ駆動装置を用いた管状体検査方法について説明するための説明図である。
熱間押出し法による鋼管製造工程では、押出し処理が終了して鋼管が製造されると、中空ビレットの一部が押カスとしてコンテナ内に残存する。従って、コンテナ内に充填された中空ビレットがほぼ押し出されてしまう毎に、製造された鋼管と押カスとを切断分離した後、押カスがダイスに密着した状態で、押カスをダイホルダーごとコンテナから取り出し、ダイスを引き抜いて分離を行う(図5上段の図を参照。)。すなわち、鋼管を製造する毎に、ダイスを取り換える作業が行われている。
そこで、コンテナライナー等の管状体内面の表面状態を監視・検査するために、所定の周期毎に、押カスの密着したダイス及びダイホルダーを取りだした後のコンテナライナーに、本実施形態に係る検査用プローブ100及びプローブ駆動装置200を装着する(図5下段の図を参照。)。ここで、検査用プローブ100及びプローブ駆動装置200を装着するタイミングは、予め設定されている管理基準等に応じて決定すればよく、例えば「20本鋼管を製造する毎」のように任意のタイミングに設定することができる。
ここで、ダイホルダー内に検査用プローブ100及びプローブ駆動装置200を収容し、ダイバッカーで固定したものを検査用ユニットとして予め準備しておくことで、鋼管製造工程における流れ作業を妨げることなく、検査用プローブ100及びプローブ駆動装置200をコンテナライナーに装着することができる。
検査用プローブ100及びプローブ駆動装置200を利用した管状体内表面の検査(管状体内表面の撮像処理)が終了すると、ダイホルダー及びダイバッカーごと検査用プローブ100及びプローブ駆動装置200を取り外す。その上で、ダイホルダー内にダイスが収容され、このダイスがダイバッカーにより固定されているユニットを再度装着することで、鋼管の製造処理を容易に再開することが可能となる。
このような定期検査を実施することによって、常に同一の検査条件(管状体内部の撮像条件)のもとで、コンテナライナーの経時変化や疵発生情報を得ることができる。その結果、正確なコンテナライナーの監視を達成することができる。
以上、図5を参照しながら、本実施形態に係る検査用プローブ100及びプローブ駆動装置200を用いた管状体検査方法について説明した。
<演算処理装置の全体構成について>
再び図1に戻って、本実施形態に係る管状体検査装置10が備える演算処理装置300の全体構成について説明する。
本実施形態に係る演算処理装置300は、例えば図1に示したように、撮像制御部301と、画像処理部303と、表示制御部305と、記憶部307と、を主に備える。
撮像制御部301は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信装置等により実現される。撮像制御部301は、本実施形態に係る検査用プローブ100及びプローブ駆動装置200による検査対象物の撮像制御を実施する。より詳細には、撮像制御部301は、管状体1の撮像を開始する場合に、レーザ光照射装置110に対してレーザ光の発振を開始させるための制御信号を送出する。
また、撮像制御部301は、管軸方向に沿ったある位置における撮像処理が終了すると、プローブ駆動装置200(より詳細には、軸方向走査用モータ217)に対して制御信号を送出して、検査用プローブ100の装着された検査用ステム201を、所定の距離(例えば、0.5mm)だけ移動させる。
検査用プローブ100及びプローブ駆動装置200が管状体1の撮像を開始すると、検査用プローブ100及び/又はプローブ駆動装置200からPLG信号が定期的に(例えば、検査用プローブ100の装着されたプローブ駆動装置200が0.5mm移動する毎に1パルスのPLG信号)送出されるが、撮像制御部301は、PLG信号を取得する毎にカメラ120に対して撮像を開始するためのトリガ信号を送出する。
また、撮像制御部301は、予め設定された距離だけ検査用プローブ100の装着された検査用ステム201が送入されると、プローブ駆動装置200(より詳細には、周方向回転用モータ219)に対して制御信号を送出して、検査用プローブ100を所定の角度だけ回転させる。その後、撮像制御部301は、検査用プローブ100に対して、送出時の撮像処理を開始させるための制御信号を送出する。
画像処理部303は、例えば、CPU、ROM、RAM、通信装置等により実現される。画像処理部303は、検査用プローブ100(より詳細には、検査用プローブ100のカメラ120)から取得した撮像データを利用して、縞画像フレームを生成する。その後、生成した縞画像フレームに対して、以下で説明するような画像処理を行い、測定対象物である管状体の内表面に存在する可能性のある欠陥を検出する。画像処理部303は、管状体1の内表面の欠陥検出処理を終了すると、得られた検出結果に関する情報を、表示制御部305に伝送する。
また、本実施形態に係る検査用プローブ100が撮像した画像には、前述のように、連結部材133に起因する遮蔽領域が存在している。そこで、本実施形態に係る画像処理部303は、送入時に撮像した縞画像フレームから生成した画像を、送出時に撮像した縞画像フレームから生成した画像を利用して補完し、遮蔽領域の存在しない画像を生成した上で、内表面に存在する欠陥を検出する。
なお、この画像処理部303については、以下で改めて詳細に説明する。
表示制御部305は、例えば、CPU、ROM、RAM、出力装置等により実現される。表示制御部305は、画像処理部303から伝送された、検査対象物である管状体1の欠陥検出結果を、演算処理装置300が備えるディスプレイ等の出力装置や演算処理装置300の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、管状体検査装置10の利用者は、検査対象物(管状体1)の内表面に存在する各種の欠陥に関する検出結果を、その場で把握することが可能となる。
記憶部307は、例えば本実施形態に係る演算処理装置300が備えるRAMやストレージ装置等により実現される。記憶部307には、本実施形態に係る演算処理装置300が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。この記憶部307は、撮像制御部301、画像処理部303、表示制御部305等が、自由に読み書きを行うことが可能である。
<画像処理部について>
続いて、図6を参照しながら、本実施形態に係る演算処理装置300が備える画像処理部303について、詳細に説明する。図6は、本実施形態に係る演算処理装置が有する画像処理部の構成を示したブロック図である。
本実施形態に係る画像処理部303は、図6に示したように、A/D変換部351と、環状ビームセンター算出部353と、座標変換部355と、縞画像フレーム生成部357と、画像算出部359と、欠陥検出部371と、を主に備える。
A/D変換部351は、例えば、CPU、ROM、RAM等により実現される。A/D変換部351は、カメラ120から出力された、送入時及び送出時の撮像画像をA/D変換し、デジタル多値画像データ(すなわち、環状ビーム画像)として出力する。かかるデジタル多値画像データは、記憶部307等に設けられた画像メモリに記憶される。これらのデジタル多値画像データを管状体の軸方向に沿って順次利用することにより、後述するような縞画像フレームが形成される。
環状ビーム画像は、管状体1の内表面の軸方向に沿ったある位置において、管状体の内表面に照射された環状ビームを撮像したものである。環状ビーム画像は、予めカメラのゲインやレンズの絞りを適切に設定することにより、環状ビームが照射された部分が白く表示され、その他の部分は黒く表示されている濃淡画像になっている。また、環状ビームの円周上に重畳している凹凸が、管状体の内表面に存在する欠陥に関する情報を含んでいる。
ここで、本実施形態に係る環状ビーム画像は、図7に模式的に示したように、環状ビームが内表面に照射されているビーム照射領域と、連結部材133により環状ビームが遮蔽された不感帯である遮蔽領域と、が存在したものとなる。また、送入状態から送出状態へと切り替わる際に、検査用プローブ100が管状体の周方向に所定の角度回転する(図7では時計方向に45度回転している)ため、管状体内表面のある基準点に着目すると、遮蔽領域の位置は送入時と送出時とで異なることとなる。
A/D変換部351は、カメラ120から出力された2種類の撮像画像に基づいて図7のような送入時及び送出時の環状ビーム画像をそれぞれ生成すると、生成した各環状ビーム画像に対応するデータを、後述する環状ビームセンター算出部353に出力する。
環状ビームセンター算出部353は、例えば、CPU、ROM、RAM等により実現される。環状ビームセンター算出部353は、A/D変換部351から出力された送入時及び送出時におけるそれぞれの環状ビーム画像について、環の重心位置と環の半径をそれぞれ算出する。
ここで、環の重心位置及び半径を算出する方法は、特に限定されるわけではなく、公知のあらゆる方法を利用することが可能である。環の重心位置及び半径を算出する方法の具体例としては、例えば、以下の2つの方法を挙げることができ、遮蔽領域の有無によらず利用することが可能である。
・2値化した環状ビーム画像上の任意の3点を抽出し、この3点の位置座標の重心を算出する。得られた重心位置と3点のうち任意の1点との間の距離が環の半径となる。
・ハフ(Hough)変換による円抽出を行い、円(すなわち、環状ビーム)の重心と半径とを算出する。
環状ビームセンター算出部353は、送入時及び送出時における各環状ビーム画像について環の重心位置及び半径を算出すると、環の重心位置及び半径に関する情報をそれぞれ生成して、後述する座標変換部355に出力する。
なお、本実施形態においては、管状体1の内面の断面形状が真円に近い場合について説明しているが、任意の断面形状に対して適用可能であり、例えば、断面形状が楕円や角丸長方形等であってもよい。このような場合の重心は、環状ビームの形状から求めることが可能であり、求めた重心との距離の最大値と最小値の平均値を半径として用いることで、後述する座標変換を同じ手順で実施することができる。
座標変換部355は、例えば、CPU、ROM、RAM等により実現される。座標変換部355は、算出された重心位置、及び、当該重心位置と環状ビームの照射部分との離隔距離に基づいて、環状ビーム画像の座標系を変換する。その後、座標変換部355は、環状ビームの照射部分を管状体の周方向に展開した線分として表した光切断画像を生成する。
環状ビームの重心位置が算出されることで、環状ビームの照射位置に対応する画素の存在位置を、重心位置を原点とした極座標(r,θ)で表すことができる。座標変換部355は、図8に示したように、環状ビームセンター算出部353で算出された半径rに動径方向に±Δrの余裕を設けたうえで(すなわち、r−Δr〜r+Δrの範囲で)、0°≦θ≦360°として座標変換を実施する。なお、本実施形態では、動径方向のr−Δr〜r+Δrの範囲で座標変換を実施する場合について説明しているが、余裕Δrの値は、環状ビームの照射部分を含む範囲で、プラス方向とマイナス方向とで異なった値であってもよい。かかる場合、例えば、座標変換を行う範囲は、r−Δr1〜r+Δr2などと表現することができる。ただし、本実施形態においては、プラス方向とマイナス方向とで同じ値Δrを用いる場合について、以降の説明を行う。
このような座標変換を行うことで、図8の右側に示したように、動径方向には半径rを中心として2Δrの高さを有し、角度方向には360°分の長さを有する帯状の画像が抽出されることとなる。以上の説明からも明らかなように、抽出された帯状の画像は、環状ビームの照射部分を管状体の周方向に展開した線分(以下、光切断線とも称する。)を含むこととなる。また、動径方向に関して、半径rを中心として2Δrの範囲を抽出することで、環状ビームの周に凹凸が存在していたとしても、かかる凹凸を含む環状ビームの周をもれなく抽出することが可能となる。このようにして得られた帯状の画像を、以下では光切断画像と称することとする。
なお、Δrの大きさは、管状体1に存在しうる凹凸の高さの範囲を過去の操業データ等に基づいて予め大まかに算出しておくことで、決定することが可能である。
また、座標変換部355は、抽出された光切断画像における各画素の座標(r,θ)を利用することで、光切断画像に含まれる画素の座標を直交座標(rcosθ,rsinθ)に変換する。ここで、座標変換部355が実施する座標値の変換は、極座標系から直交座標系への変換であるため、極座標系における格子点(すなわち、画素の中心位置)が、直交座標系において必ず格子点に対応するとは限らず、非格子点に対応するものも存在することとなる。そこで、座標変換部355は、直交座標系における非格子点の濃度(画素値)を補間するために、着目している点の近傍に位置する他の格子点の濃度に基づいて補間する、いわゆる画像補間法を併せて実施することが好ましい。
かかる画像補間法は、特に限定されるものではなく、例えば、「昭晃堂 画像処理ハンドブック」等に記載されている公知の画像補間法を利用することが可能である。このような画像補間法の例として、最近傍(nearest neighbor)法、双線形補間(bi−linear interpolation)法、3次補間(bi−cubic convolution)法等を挙げることができる。これらの方法のうち、前者ほど処理速度が速く、後者ほど高品質の結果を得ることができる。そこで、座標変換部355は、利用する画像補間法の種別を、処理に用いることのできるリソース量や処理時間等に応じて適宜決定すればよい。本実施形態において示す光切断画像の具体例では、画像補間法として3次補間法を適用している。
ここで、本実施形態に係る座標変換部355は、座標系の変換を行う際に、管状体内表面に仮想的に設定された基準点を基準(処理開始点)として、変換処理を実施する。この基準点を管状体内表面のどの位置に設定するかは、特に限定されるわけではなく、任意の位置に設定することが可能である。例えば図7に示した例では、管状体内表面を送入方向に見た際の3時の方向に、基準点Kが設定されている。この基準点Kは、管軸方向の各位置で撮像された環状ビーム画像の間で互いに同一の位置となるように選択される。
なお、送入時の環状ビーム画像上で基準点Kの座標が特定された場合、送出時の環状ビーム画像における基準点Kの位置は、送入時における基準点Kの座標を所定の角度回転させることで特定することができる。すなわち、送出時において、時計方向を正方向とした場合に検査用プローブ100が+X度回転される場合には、送入時における基準点Kの位置を−X度回転させることで、送出時における基準点Kの位置を特定することができる。
図9は、送入時及び送出時に検査用プローブ100によって撮像される環状ビーム画像を模式的に図示したものである。図7に示した例の場合、検査用プローブ100は、時計方向に45度回転された後に送出時の環状ビーム画像を生成する。ここで、検査用プローブ100のレーザ照射装置110及びカメラ120は一体に形成されているため、検査用プローブ100の回転にあわせてカメラ120も回転することとなる。従って、図9に示した環状ビーム画像では、基準点Kは反時計方向に45度回転する。
座標変換部355は、基準点Kを基準とした座標変換処理や、画像補間処理を終了すると、得られた光切断画像に対応する画像データを、記憶部307等に設けられた画像メモリに、管状体の軸方向に沿って順次格納していく。
縞画像フレーム生成部357は、例えば、CPU、ROM、RAM等により実現される。縞画像フレーム生成部357は、記憶部307等に設けられた画像メモリから、管状体の軸方向に沿って格納された光切断画像を順に取得する。その後、縞画像フレーム生成部357は、取得した各光切断画像を管状体の軸方向に沿って順に配列して、送入時の縞画像フレーム及び送出時の縞画像フレームをそれぞれ生成する。
1つの縞画像フレームを構成する光切断画像の個数は、適宜設定すればよいが、例えば、256個の光切断画像で1つの縞画像フレームを構成するようにしてもよい。各光切断画像は、上述のように環状ビーム画像の撮像間隔毎(例えば、0.5mm間隔)に存在している。そのため、0.5mm間隔で撮像された環状ビーム画像に基づく、256個の光切断画像からなる1つの縞画像フレームは、管状体の内表面の全周を、軸方向に沿って128mm(=256×0.5mm)の範囲で撮像した結果に相当する。
図10は、このようにして生成された送入時の縞画像フレームを模式的に示した説明図であり、図11は、このようにして生成された送出時の縞画像フレームを模式的に示した説明図である。
縞画像フレーム生成部357により生成される送入時及び送出時の縞画像フレームには、図10及び図11に示したように、検査用プローブ100に設けられた連結部材133の本数に応じて、遮蔽領域が存在することとなる。また、各縞画像フレームの周方向の原点は、座標変換部355により共通した基準点Kを起点として座標変換が実施されているため、図10及び図11に示したように、互いに等しく基準点Kとなる。
縞画像フレーム生成部357は、送入時の縞画像フレーム及び送出時の縞画像フレームをそれぞれ生成すると、生成したこれらの縞画像フレームを、後述する画像算出部359に出力する。また、縞画像フレーム生成部357は、生成した各縞画像フレームに対応するデータに、当該縞画像フレームを生成した日時等に関する時刻情報を関連付けて、履歴情報として記憶部307等に格納してもよい。
画像算出部359は、例えば、CPU、ROM、RAM等により実現される。画像算出部359は、縞画像フレーム生成部357が生成した、送入時及び送出時における2種類の縞画像フレームに基づいて、管状体の内表面の凹凸状態を表す深さ画像と、管状体の内表面における環状ビームの輝度の分布を表す輝度画像と、を算出する。この画像算出部359は、図6に示したように、光切断線処理部361と、深さ画像算出部363と、輝度画像算出部365と、深さ画像補完部367と、輝度画像補完部369と、を更に備える。
光切断線処理部361は、例えば、CPU、ROM、RAM等により実現される。光切断線処理部361は、縞画像フレームに含まれる各光切断線について、光切断線の変位量(輝線の曲がり具合)、輝線の画素数及び輝度の総和に関する3種類の光切断線特徴量を算出する。
以下では、図12〜図15を参照しながら、光切断線処理部361が実施する処理及び算出する光切断線特徴量について、詳細に説明する。
以下の説明では、1つの縞画像フレームの中にN本の光切断線が存在しており、縞画像フレームの横方向の長さは、M画素であるものとする。また、1本の光切断線を含む1つの光切断画像は、縦2Δr画素×横M画素から構成されているものとする。
ここで、説明の便宜上、縞画像フレームの周方向にX軸をとり、縞画像フレームの軸方向にY軸をとって、縞画像フレーム中の画素の位置をXY座標で表すものとする。以下の説明では、縞画像フレーム中に存在するj(1≦j≦N)番目の光切断線の左側からm画素目(1≦m≦M)の位置(すなわち、Xj,mで表される位置)に着目する。
光切断線処理部361は、まず、着目すべき光切断線(以下、単にラインとも称する。)の着目すべきX座標位置(本説明では、Xj,mで表される位置)を選択すると、図12に示したように、着目したラインの着目したX座標位置における画素に対応付けられている画素値(すなわち、環状ビームの輝度値)の分布を参照する。この際、光切断線処理部361は、光切断画像中の当該X座標位置における全ての画素について、以下で説明する処理を実施するのではなく、光切断画像中におけるY座標の基準位置Ysの前後Wの範囲に属する画素(すなわち、Ys−W〜Ys+Wの範囲に属する画素)について、以下で説明する処理を実施する。
ここで、Y座標の基準位置Ysは、縞画像フレームのjライン目の光切断画像に対して予め指定される軸方向の位置であり、例えば光切断画像の軸方向の中心を指定すれば、先述のようにプラス方向とマイナス方向とで同じ余裕値Δrを用いる場合には、環状ビームセンター算出部が算出した半径r(すなわち光切断線の位置)に等しくなる。また、処理範囲を規定するパラメータWは、管状体1に存在しうる凹凸の高さの範囲を過去の操業データ等に基づいて、光切断画像中におけるY座標の基準位置Ysの前後Wの範囲が光切断画像に収まるように、予め大まかに算出しておき、適宜決定すればよい。パラメータWの値を小さくすることができれば、後述する光切断線処理部361の処理負荷の低減をはかることができる。
光切断線処理部361は、まず、Ys−W〜Ys+Wの範囲に含まれる画素の中から、光切断線に対応する画素を特定するための第1の閾値の一例である所定の閾値Th以上の画素値を有する画素を特定する。図12に示した例では、Yj,k、Yj,k+1、Yj,k+2で表される3つの画素が、それぞれ閾値Th以上の画素値Ij,k、Ij,k+1、Ij,k+2を有している。従って、光切断線処理部361は、所定の閾値Th以上の画素値を有する画素を線幅方向に加算した数pj,m=3と設定する。この所定の閾値Th以上の画素値を有する画素を線幅方向に加算した数pj,mは、いわば位置(j,m)における輝線の画素数に対応する値であり、光切断線特徴量の一つである。また、光切断線処理部361は、以下の処理において、抽出された画素に関する情報(Yj,k、Ij,k)、(Yj,k+1、Ij,k+1)、(Yj,k+2、Ij,k+2)(以下、単に(Y,I)と略記することもある。)の情報を利用して、更なる光切断線特徴量を算出していく。
また、光切断線処理部361は、パラメータpj,m及び抽出した画素に関する情報(Y,I)を利用して、抽出された画素の輝度の総和Kj,mを算出する。図12に示した例の場合、光切断線処理部361が算出する輝度の総和は、Kj,m=Ij,k+Ij,k+1+Ij,k+2となる。この輝度の総和Kj,mも、光切断線特徴量の一つである。
更に、光切断線処理部361は、抽出された画素に関する情報(Y,I)とY座標の基準位置Ysとを利用して、抽出された画素のY方向の重心位置YC(j,m)を算出するとともに、重心位置YC(j,m)の基準位置Ysからの変位量Δdj,m=Ys−YC(j,m)を算出する。
ここで、重心位置YC(j,m)は、抽出された画素の集合をAと表すこととすると、以下の式101で表される値となる。従って、図12に示した例の場合、重心位置YC(j,m)は、以下の式101aで表される値となる。
ここで、画素に対応する軸方向の位置は、いわば検査用プローブ100の移動幅(例えば、0.5mm)で量子化された値である。他方、上記式101で示したような演算により算出される重心位置YC(j,m)は、割り算という数値演算を利用することで算出される値であるため、検査用プローブ100の移動幅(いわば量子化単位)よりも小さな値となりうる。従って、かかる重心位置YC(j,m)を利用して算出される変位量Δdj,mについても、移動幅よりも小さな値を有しうる値となる。このようにして算出される変位量Δdj,mも、光切断線特徴量の一つである。
光切断線処理部361は、以上のような3種類の特徴量を、各切断線に含まれるM個の要素に関して算出する。その結果、図13A〜図13Cに示したように、光切断線の変位量Δd、輝度の総和K、及び、輝線の画素数pに関して、M列×N行の二次元配列が生成される。
本実施形態に係る光切断線処理部361は、上記3種類の光切断線特徴量に加えて、遮蔽領域の位置を特定する処理を実施する。以下、遮蔽領域の位置を特定する処理について、詳細に説明する。
連結部材133による遮蔽領域ではカメラ120によって環状レーザ光が撮像されないため、図14に模式的に示したように、所定の閾値Thよりも輝度の大きい輝線は存在しない。従って、上記光切断線特徴量の算出過程において、遮蔽領域では輝線の画素数についての光切断線特徴量pj,mがゼロとなる。
そこで、本実施形態に係る光切断線処理部361は、それぞれの周方向(X方向)位置における輝線の画素数に着目して、遮蔽領域の範囲を示す周方向座標(X座標)を特定する。以下では、縞画像フレーム画像において、左から1番目に存在する遮蔽領域の開始位置Xs1s及び終了位置Xs1eを算出する場合を例にとって、説明を行うものとする。
光切断線処理部361は、送入時の環状ビーム画像を構成するN本の光切断線それぞれについて、遮蔽領域が開始するX座標の位置Xs1js、及び、遮蔽領域が終了するX座標の位置Xs1je(j=1〜N)を特定する。その上で、検査用プローブ100に生じた振動の影響等で、遮蔽領域の開始位置及び終了位置にズレが生じる場合を考慮して、特定されたN個の遮蔽領域開始位置Xs1jsのうちの最小値をXs1sとするとともに、遮蔽領域終了位置Xs1jeの最大値をXs1eとする。
また、jライン目における左から1番目の遮蔽領域の開始位置Xs1js及び終了位置Xs1jeは、以下のようにして特定することができる。以下、遮蔽領域の開始位置Xs1js及び終了位置Xs1jeの特定方法を、図15を参照しながら具体的に説明する。
光切断線処理部361は、jライン目の光切断線の各X座標において、輝線の画素数pj,m(m=1〜M)に着目する。その上で、光切断線処理部361は、各X位置における輝線の画素数pj,mについて、pj,m=0となるX位置が出現するかを判断していく。pj,m=0となったX位置が存在した場合、光切断線処理部361は、その座標Xmを記憶するとともに、それ以降のX座標についてpj,m=0である状態の連続数をカウントしていく。ここで、図15に模式的に示したように、pj,m=0である状態の連続数が、所定の閾値THs(例えば、THs=10等)以上となった場合、光切断線処理部361は、記憶しておいたX座標Xmを、jライン目における左から1番目の遮蔽領域の開始位置Xs1jsとして特定する。
また、遮蔽領域の開始位置Xs1jsが特定された状態の中で、X方向に輝線の画素数を探索していくうちに、pj,m≠0となるX座標Xnが出現したとする。この場合、光切断線処理部361は、その座標Xnを記憶するとともに、それ以降のX座標についてpj,m≠0である状態の連続数をカウントしていく。ここで、図15に模式的に示したように、pj,m≠0である状態の連続数が、所定の閾値THs(例えば、THs=10等)以上となった場合、光切断線処理部361は、記憶しておいたX座標Xnの一つ手前のX位置を、jライン目における左から1番目の遮蔽領域の終了位置Xs1jeとして特定する。なお、上記説明では、遮蔽領域の開始位置を特定するために用いられる閾値THsと、遮蔽領域の終了位置を特定するために用いられる閾値THsとが同一の値である場合について示したが、これら2つの閾値は互いに異なる値であってもよい。
また、遮蔽領域の開始位置Xs1s及び終了位置Xs1eを決定する別の方法として以下のようにしてもよい。
jライン目の光切断線の各X座標において、座標位置を移動させながら、輝線の画素数pj,m(m=1〜M)の所定の左右k個分(例えば、k=3等)の平均値qj,m(m=1〜M)を順次求める(移動平均処理)。次に、求めた平均値qj,mが予め設定した閾値A(例えばA=0.5等)未満となるX座標位置を遮蔽領域の開始位置Xs1sとする。また、遮蔽領域の開始位置Xs1sが特定されており、かつ、求めた平均値qj,mが予め設定した閾値A以上となるX座標位置を遮蔽領域の終了位置Xs1eとする。
以上のような処理をj=1〜Nの各光切断線に対して実施することで、光切断線処理部361は、左から1番目の遮蔽領域の開始位置Xs1s及び終了位置Xs1eを決定することができる。また、左から2番目以降の遮蔽領域についても、同様の処理を行うことで、遮蔽領域の開始位置や終了位置を決定することができる。
なお、光切断線処理部361は、遮蔽領域における光切断線の変位量についての光切断線特徴量Δdj,m、及び、遮蔽領域における輝度の総和についての光切断線特徴量Kj,mは、それぞれゼロとして取り扱う。
従って、例えば左から1番目の遮蔽領域について、輝線の画素数pj,mの二次元配列、輝線の輝度の総和Kj,mの二次元配列、及び、輝線の変位量Δdj,mの二次元配列は、それぞれ以下のようになる。
pj,m=0(j=1〜N,m=Xs1s,・・・,Xs1e)
Kj,m=0(j=1〜N,m=Xs1s,・・・,Xs1e)
Δdj,m=0(j=1〜N,m=Xs1s,・・・,Xs1e)
光切断線処理部361は、例えば図19に示したような、4本の連結部材133が映りこんだ送入時の環状ビーム画像に対応する縞画像フレームに対して、以上のような処理を実施することで、図10に示したように、4カ所の遮蔽領域それぞれの開始位置及び終了位置を特定することができる。
また、光切断線処理部361は、図11に例示した送出時の縞画像フレームについても、同様にして光切断線特徴量を算出する。しかしながら、送出時の縞画像フレームについては、遮蔽領域の開始位置及び終了位置を特定しなくともよい。ここで、送出時の縞画像フレームについて輝線の画素数pj,m=0であるX位置が出現すると、光切断線処理部361は、対応するX位置の輝度の総和Kj,m、及び、輝線の変位量Δdj,mをゼロとして取り扱う。
光切断線処理部361は、算出した光切断線特徴量のうち、光切断線の変位量Δdに関する特徴量を、後述する深さ画像算出部363に出力する。また、光切断線処理部361は、算出した光切断線特徴量のうち、輝度の総和K、及び、輝線の画素数pに関する特徴量を、後述する輝度画像算出部365に出力する。更に、光切断線処理部361は、送入時の縞画像フレームに存在する各遮蔽領域の開始位置及び終了位置を示した情報(例えば図10におけるXs1s〜Xs4eを示した情報)を、後述する深さ画像補完部367及び輝度画像補完部369に出力する。
深さ画像算出部363は、例えば、CPU、ROM、RAM等により実現される。深さ画像算出部363は、光切断線処理部361が生成した光切断線特徴量(特に、変位量Δdに関する特徴量)に基づいて、送入時及び送出時のそれぞれについて、管状体の内表面の凹凸状態を表す深さ画像を算出する。以下では、送入時における深さ画像を、送入時深さ画像とも称することとし、送出時における深さ画像を、送出時深さ画像とも称することとする。
具体的には、深さ画像算出部363は、図13Aに示したような変位量Δdに関する特徴量(二次元配列)と、環状ビームの垂直成分入射角(図2における角度φ)と、を利用して、深さ画像を算出する。
まず、図16を参照しながら、管状体の内表面に存在する凹凸の高さと、光切断線の変位量Δdとの関係について説明する。図16は、光切断線の変位と欠陥の高さとの関係を示した説明図である。
図16では、管状体1の内表面に凹みが存在した場合を模式的に示している。ここで、内表面に凹みが存在しない場合の表面位置の高さと凹みの底部の高さとの差分をΔhと表すこととする。垂直入射した環状ビームが表面反射をする場合に着目すると、内表面に凹みが存在しない場合には、図16の光線Aのように反射光は伝播することとなるが、内表面に凹みが存在する場合には、図16の光線Bのように反射光が伝播することとなる。光線Aと光線Bとのズレが、本実施形態において光切断線の変位量Δdとして観測されることとなる。ここで、幾何学的な位置関係から明らかなように、光切断線の変位量Δdと凹みの深さΔhとは、Δd=Δh・sinφの関係が成立する。
なお、図16では、管状体の内表面に凹みが存在する場合について説明したが、管状体の内表面に凸部が存在する場合であっても、同様の関係が成立する。
深さ画像算出部363は、以上説明したような関係を利用して、光切断線処理部361が算出した光切断線の変位量Δdに関する特徴量に基づき、管状体の内表面の凹凸に関する量Δhを算出する。
ここで、深さ画像の算出に用いられる光切断線の変位量Δdは、先に説明したように光切断線の重心位置に基づいて算出されたものであり、移動幅よりも小さな値を有しうる値となっている。従って、深さ画像算出部363により算出される深さ画像は、撮像素子の画素サイズよりも細かい分解能で凹凸が再現されている画像となる。
なお、被検査体である管状体の内表面の形状の変化や、カメラ走査方向軸が管状体の中心からずれることにより、図17に示したように、光切断線に湾曲等の歪みが生じる場合がある。他方、本実施形態に係る欠陥検出方法では、光切断線に重畳している凹凸が、管状体の内表面の断面形状と内表面に存在する表面欠陥に関する情報となっている。そのため、深さ画像算出部363は、光切断線の変位量Δdに基づいて深さ画像を算出する際に、光切断線毎に歪み補正処理を行って、光切断線に重畳している凹凸に関する情報のみを抽出してもよい。このような歪み補正処理を実施することにより、カメラ走査方向軸が管状体の中心軸に正確に一致していない場合や、内表面の形状が円でない場合であっても、内表面に存在する凹凸疵の情報のみを得ることが可能となる。
かかる歪み補正処理の具体例として、(i)多次元関数や各種の非線形関数を利用したフィッティング処理を行い、得られたフィッティング曲線と観測された光切断線との差分演算を行う処理や、(ii)凹凸に関する情報が高周波成分であることを利用して、浮動フィルタやメディアンフィルタ等のローパスフィルタを適用する処理等を挙げることができる。このような歪み補正処理を実施することにより、内表面に存在する凹凸疵の情報を保持したまま、光切断線の平坦化を図ることが可能となる。
深さ画像算出部363は、送入時深さ画像及び送出時深さ画像を算出すると、算出したこれらの画像に関する情報を、後述する深さ画像補完部367に出力する。
輝度画像算出部365は、例えば、CPU、ROM、RAM等により実現される。輝度画像算出部365は、光切断線処理部361が生成した光切断線特徴量(特に、輝度の総和K及び輝線の画素数pに関する特徴量)に基づいて、送入時及び送出時のそれぞれについて、管状体の内表面における環状ビームの輝度の分布を表す輝度画像を算出する。以下では、送入時における輝度画像を、送入時輝度画像とも称することとし、送出時における輝度画像を、送出時輝度画像とも称することとする。
具体的には、輝度画像算出部365は、図13Bに示したような輝度の総和Kに関する特徴量(二次元配列)、及び、図13Cに示したような輝線の画素数pに関する特徴量(二次元配列)を利用して、総和輝度の線幅方向の平均値である平均輝度KAVE(j,m)=Kj,m/pj,m(1≦j≦N、1≦m≦M)を算出する。その後、輝度画像算出部365は、算出した平均輝度KAVE(j,m)からなるデータ配列を、着目している管状体の輝度画像とする。
輝度画像算出部365は、送入時輝度画像及び送出時輝度画像を算出すると、算出したこれらの画像に関する情報を、後述する輝度画像補完部369に出力する。
深さ画像補完部367は、例えば、CPU、ROM、RAM等により実現される。深さ画像補完部367は、深さ画像算出部363が算出した送入時深さ画像及び送出時深さ画像を利用して、深さ画像において遮蔽領域に対応する部分の補完処理を実施する。
深さ画像算出部363が算出した送入時深さ画像及び送出時深さ画像において、連結部材133による遮蔽領域に該当する部分は、画素値の変化が存在しない部分となっており、この部分からは管状体の内表面の凹凸状態に関する正確な知見を得ることができない。そこで、深さ画像補完部367は、これら2種類の深さ画像を利用して、遮蔽領域の深さ情報を補完する処理を実施する。
以下では、図10、図11及び図18を参照しながら、深さ画像において左から1番目に存在する遮蔽領域に対応する部分の補間処理について、具体的に説明する。
本実施形態に係る検査用プローブ100では、送入時の環状ビーム画像を撮像する状態から送出時の環状ビーム画像を撮像する状態へと切り替わる際に、検査用プローブ100の全体が所定の角度だけ回転する。また、検査用プローブ100では、先だって説明したように、ビーム照射領域が遮蔽領域よりも広くなるように、連結部材133の太さや配置位置が決定されている。
以上のような設定のために、本実施形態に係る管状体検査装置10では、図10及び図11の縞画像フレームに示したように、送入時と送出時とでフレーム内で遮蔽領域の位置が変化することとなる。また、図11から明らかなように、ビーム照射領域が遮蔽領域よりも広いため、一方の縞画像フレーム(例えば送入時の縞画像フレーム)における遮蔽領域は、他方の縞画像フレーム(例えば、送出時の縞画像フレーム)における非遮蔽領域に包含されることとなる。
そこで、本実施形態に係る深さ画像補完部367は、例えば図18に示したように、送出時深さ画像を利用して、送入時深さ画像の遮蔽領域を補完して、遮蔽領域に対応する部分が存在しない深さ画像を生成する。
図18では、左から1番目に存在する遮蔽領域を補完する処理について、模式的に図示している。
送入時の画像における遮蔽領域の開始位置Xs1s及び終了位置Xs1eは、光切断線処理部361により特定され、深さ画像補完部367に通知されている。そこで、深さ画像補完部367は、送出時深さ画像を参照して、送入時深さ画像の遮蔽領域に対応する部分(Xs1s〜Xs1e)の深さ情報を取得し、送入時深さ画像の遮蔽領域に対応する部分に、取得した深さ情報を代入する。
ここで、検査用プローブ100の動作からも明らかなように、送入時の縞画像フレームにおけるN本目の光切断線と、送出時の縞画像フレームにおける1本目の光切断線とが、同一の管軸方向位置に対応している。そこで、深さ画像補完部367は、送入時深さ画像の1ライン目に対応する深さ情報を補完する場合には、送出時深さ画像のNライン目に対応する深さ画像を利用して、補完処理を実施する。同様に、深さ画像補完部367は、送入時深さ画像のjライン目に対応する深さ情報を補完する場合には、送出時深さ画像の(N+1−j)ライン目に対応する深さ画像を利用して補完処理を実施する。
深さ画像補完部367は、このような補完処理を、1ライン目〜Nライン目に対応する部分に対して実施することで、送入時深さ画像において左から1番目に存在する遮蔽領域の深さ情報を補完することができる。
また、深さ画像補完部367は、同様の補完処理を、左から2番目以降に存在する遮蔽領域に対応する部分にも適用することによって、送入時深さ画像に存在する全ての遮蔽領域に対応する部分の深さ情報を補完することができる。
深さ画像補完部367は、以上説明したような補完処理により、遮蔽領域に対応する部分の深さ情報を補完すると、補完後の深さ画像に関する情報を、後述する欠陥検出部371に出力する。また、深さ画像補完部367は、補完後の深さ画像に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部307等に履歴情報として格納してもよい。更に、深さ画像補完部367は、補完後の深さ画像に関する情報を表示制御部305に出力して、表示部(図示せず。)に出力させてもよい。
深さ画像補完部367によって補完された深さ画像の一例を、図19Aに示す。図19Aは、同実施形態に係る深さ画像の一例を示した説明図である。なお、図19Aに示した深さ画像は、縞画像フレームから生成された深さ画像を円周方向に平面展開したものであり、生成された深さ画像の一部を示したものである。
図19Aに示した深さ画像では、凸部については輝度階調が明るくなるように表示し、凹部については輝度階調が暗くなるように表示している。図19Aを参照すると明らかなように、図の左端近傍及び略中央部分に、周囲よりも暗く表示された部分が存在しており、かかる部分に凹部が存在していることがわかる。また、図19Aに示した深さ画像では、被検査体に貼り付けたゼムクリップ(厚さ1mm)の形状が明瞭に再現されている。
輝度画像補完部369は、例えば、CPU、ROM、RAM等により実現される。輝度画像補完部369は、輝度画像算出部365が算出した送入時輝度画像及び送出時輝度画像を利用して、輝度画像において遮蔽領域に対応する部分の補完処理を実施する。
輝度画像算出部365が算出した送入時輝度画像及び送出時輝度画像において、連結部材133による遮蔽領域に該当する部分は、画素値がゼロとなっており、この部分からは管状体の内表面の凹凸状態に関する正確な知見を得ることができない。そこで、輝度画像補完部369は、これら2種類の輝度画像を利用して、遮蔽領域の輝度情報を補完する処理を実施する。
ここで、輝度画像補完部369は、深さ画像補完部365による補完処理と同様にして、送入時の画像における遮蔽領域の開始位置Xs1s及び終了位置Xs1eに基づいて送出時輝度画像を参照して、送入時輝度画像の遮蔽領域に対応する部分(Xs1s〜Xs1e)の輝度情報を取得し、送入時輝度画像の遮蔽領域に対応する部分に、取得した輝度情報を代入する。この際、輝度画像補完部369は、送入時輝度画像のjライン目に対応する輝度情報を補完するために、送出時輝度画像の(N+1−j)ライン目に対応する輝度画像を利用して補完処理を実施する。
輝度画像補完部369は、同様の補完処理を、画像中に存在する全ての遮蔽領域に対応する部分に適用することによって、送入時輝度画像に存在する全ての遮蔽領域に対応する部分の輝度情報を補完することができる。
輝度画像補完部369は、以上説明したような補完処理により、遮蔽領域に対応する部分の輝度情報を補完すると、補完後の輝度画像に関する情報を、後述する欠陥検出部371に出力する。また、輝度画像補完部369は、補完後の輝度画像に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部307等に履歴情報として格納してもよい。更に、輝度画像補完部369は、補完後の輝度画像に関する情報を表示制御部305に出力して、表示部(図示せず。)に出力させてもよい。
輝度画像補完部369によって補完された輝度画像の一例を、図19Bに示す。図19Bは、同実施形態に係る輝度画像の一例を示した説明図である。なお、図19Bに示した輝度画像は、縞画像フレームから生成された輝度画像を円周方向に平面展開したものであり、生成された輝度画像の一部を示したものである。
図19Bに示した輝度画像では、平均輝度値の高低(明暗)に応じて、輝度階調が変化するように表示している。図19Bにおける黒く表示された部分は、いわゆるスケール残りに該当する模様系の欠陥に対応している。
再び図6に戻って、本実施形態に係る欠陥検出部371について説明する。
本実施形態に係る欠陥検出部371は、例えば、CPU、ROM、RAM等により実現される。欠陥検出部371は、深さ画像補完部367により補完された深さ画像と、輝度画像補完部369により補完された輝度画像とに基づいて、管状体の内表面に存在する欠陥を検出する。
かかる欠陥検出部371は、深さ画像及び輝度画像に基づいて欠陥部位を特定する欠陥部位特定機能と、特定した欠陥部位の形態及び画素値に関する特徴量を抽出する特徴量抽出機能と、抽出した特徴量に基づいて欠陥の種別や有害度等を判別する欠陥判別機能と、を有している。以下、これらの機能について、簡単に説明する。
○欠陥部位特定機能
欠陥検出部371は、取得した深さ画像及び輝度画像の各画素に対して、周辺画素との画素値(深さを表す値、又は、輝度値)の線形和を得るフィルタ処理によって縦線状疵、横線状疵、微小疵等の領域を強調し、得られた値が、欠陥部位特定のための第2の閾値以上となるか否かの判定を行う。このようなフィルタ処理及び当該フィルタ処理結果に基づく判定処理を実施することで、欠陥検出部371は、欠陥部位を特定するための2値化画像を生成することができる。かかる2値化画像において、算出した値が第2の閾値未満であった画素が正常箇所(すなわち、2値化画像の画素値=0)に該当し、算出した値が第2の閾値以上であった画素が欠陥箇所(すなわち、2値化画像の画素値=1)に該当する。更に、欠陥検出部371は、連続して発生している欠陥箇所を結合していくことで、一つ一つの欠陥部位を特定する。
○特徴量抽出機能
欠陥検出部371は、欠陥部位特定機能により深さ画像及び輝度画像の欠陥部位を特定すると、特定した欠陥部位ごとに、欠陥部位の形態及び画素値に関する特徴量を抽出する。欠陥部位の形態に関する特徴量として、例えば、欠陥部位の幅、欠陥部位の長さ、欠陥部位の周囲長、欠陥部位の面積、欠陥部位の外接長方形の面積等を挙げることができる。また、欠陥部位の画素値に関する特徴量として、深さ画像に関しては、欠陥部位の深さの最大値、最小値、平均値等を挙げることができ、輝度画像に関しては、欠陥部位の輝度の最大値、最小値、平均値等を挙げることができる。
○欠陥判別機能
欠陥検出部371は、特徴量抽出機能により各欠陥部位の特徴量を抽出すると、欠陥部位ごとに、抽出した特徴量に基づいて欠陥の種別や有害度等を判別する。特徴量に基づく欠陥の種別や有害度等の判別処理は、例えば図20に示したようなロジックテーブルを利用して行われる。すなわち、欠陥検出部371は、図20に例示したようなロジックテーブルによって表される判別条件に基づき、欠陥の種別や有害度を判別する。
図20に例示したように、ロジックテーブルの縦方向の項目として、欠陥の種別(欠陥A1〜欠陥An)が記載されており、ロジックテーブルの横方向の項目として、特徴量の種類(特徴量B1〜特徴量Bm)が記載されている。また、欠陥の種別及び特徴量により規定されるテーブルの各セルには、対応する特徴量の大小による判別条件式(条件式C11〜条件式Cnm)が記述されている。このようなロジックテーブルの各行が一組となって、一つ一つの欠陥の種別の判別条件となる。判別処理は、最上位の行に記載された種別から順に行われ、何れか一つの行に記載された判別条件を全て満たした時点で終了する。
このようなロジックテーブルは、過去の操業データ及び当該操業データに基づく検定員による欠陥の種別及び有害度の特定結果を教師データとした学習処理により構築されたデータベースを利用して、公知の方法により生成することが可能である。
欠陥検出部371は、このようにして検出した欠陥部位ごとに欠陥の種別及び有害度を特定し、得られた検出結果を表示制御部305に出力する。これにより、検出対象物である管状体の内表面に存在する欠陥に関する情報が、表示部(図示せず。)に出力されることとなる。また、欠陥検出部371は、得られた検出結果を、製造管理用プロコン等の外部の装置に出力してもよく、得られた検出結果を利用して、製品の欠陥帳票を作成してもよい。また、欠陥検出部371は、欠陥部位の検出結果に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部307等に履歴情報として格納してもよい。
なお、以上の説明では、ロジックテーブルを利用して欠陥の種別や有害度を判別する場合について説明したが、欠陥の種別や有害度を判別する方法は上記例に限定されるわけではない。例えば、過去の操業データ及び当該操業データに基づく検定員による欠陥の種別及び有害度の特定結果を教師データとした学習処理により、ニューラルネットやサポートベクターマシン(SVM)等の判別器を生成し、かかる判別器を欠陥の種別や有害度の判別に利用してもよい。
以上、本実施形態に係る演算処理装置300が有する画像処理部303の構成について、詳細に説明した。
なお、上述の説明では、深さ画像算出部363が深さ画像を算出する際に、差分演算処理やローパスフィルタ処理等の近似補正処理を実施する場合について説明した。しかしながら、かかる近似補正処理は、光切断線処理部361が光切断線特徴量を算出するに先立って、当該光切断線処理部361が実施してもよい。
また、上記説明では、送入時深さ画像及び送入時輝度画像の遮蔽領域に対応する部分を、送出時深さ画像及び送出時輝度画像のビーム照射領域に対応する部分を利用して補完する場合について説明したが、逆の処理を行うことも可能である。
すなわち、光切断線処理部361は、送出時の縞画像フレームに着目して、送出時の縞画像フレームにおける遮蔽領域の開始位置及び終了位置を特定する。その上で、深さ画像補完部367及び輝度画像補完部369は、送入時深さ画像及び送入時輝度画像のビーム照射領域に対応する部分を利用して、送出時深さ画像及び送出時輝度画像の遮蔽領域に対応する部分を補完してもよい。
以上、本実施形態に係る演算処理装置300の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
以上、本実施形態に係る管状体検査装置10の構成について、詳細に説明した。本実施形態に係る管状体検査装置10を利用することで、管状体の内表面を周方向全周、全長にわたって検査することが可能となり、微小な凹凸形状の欠陥や模様状の欠陥を、高精度で同時に検出することができる。また、本実施形態に係る管状体検査装置10により、管状体の製造工程の途中でも、容易かつ迅速に検査を行うことが可能となるため、鋼管等の管状体の生産性や歩留まりの向上や、品質保証に大きく寄与することができる。
(ハードウェア構成について)
次に、図21を参照しながら、本発明の実施形態に係る演算処理装置300のハードウェア構成について、詳細に説明する。図21は、本発明の実施形態に係る演算処理装置300のハードウェア構成を説明するためのブロック図である。
演算処理装置300は、主に、CPU901と、ROM903と、RAM905と、を備える。また、演算処理装置200は、更に、バス907と、入力装置909と、出力装置911と、ストレージ装置913と、ドライブ915と、接続ポート917と、通信装置919とを備える。
CPU901は、演算処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置913、又はリムーバブル記録媒体921に記録された各種プログラムに従って、演算処理装置300内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるバス907により相互に接続されている。
バス907は、ブリッジを介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バスに接続されている。
入力装置909は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置909は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、演算処理装置300の操作に対応したPDA等の外部接続機器923であってもよい。さらに、入力装置909は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。演算処理装置300のユーザは、この入力装置909を操作することにより、演算処理装置300に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置911は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプなどの表示装置や、スピーカ及びヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置911は、例えば、演算処理装置300が行った各種処理により得られた結果を出力する。具体的には、表示装置は、演算処理装置300が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置913は、演算処理装置300の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置913は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。このストレージ装置913は、CPU901が実行するプログラムや各種データ、及び外部から取得した各種のデータなどを格納する。
ドライブ915は、記録媒体用リーダライタであり、演算処理装置300に内蔵、あるいは外付けされる。ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体921に記録されている情報を読み出して、RAM905に出力する。また、ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体921に記録を書き込むことも可能である。リムーバブル記録媒体921は、例えば、CDメディア、DVDメディア、Blu−rayメディア等である。また、リムーバブル記録媒体921は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、又は、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体921は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。
接続ポート917は、機器を演算処理装置300に直接接続するためのポートである。接続ポート917の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート、RS−232Cポート等がある。この接続ポート917に外部接続機器923を接続することで、演算処理装置300は、外部接続機器923から直接各種のデータを取得したり、外部接続機器923に各種のデータを提供したりする。
通信装置919は、例えば、通信網925に接続するための通信デバイス等で構成された通信インターフェースである。通信装置919は、例えば、有線又は無線LAN(Local Area Network)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード等である。また、通信装置919は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は、各種通信用のモデム等であってもよい。この通信装置919は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置919に接続される通信網925は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本発明の実施形態に係る演算処理装置300の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。