以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(第1の実施形態)
<管状体内表面検査装置の全体構成について>
まず、図1を参照しながら、本発明の第1の実施形態に係る管状体内表面検査装置10の全体構成について説明する。図1は、本実施形態に係る管状体内表面検査装置10の構成の一例を示した説明図である。
本実施形態に係る管状体内表面検査装置10は、管状体1の内表面を撮像して、撮像の結果得られる画像を画像処理することにより、管状体1の内表面を検査する装置であり、より詳細には、管状体1の内表面に表面欠陥(凹凸疵及び模様系の疵)が存在するか否かを検査する装置である。
なお、本実施形態に係る管状体1は、中空部を有する管状のものであれば特に限定されるわけではないが、かかる管状体1の例として、スパイラル鋼管、電縫鋼管、UO鋼管、継目無鋼管(シームレス鋼管)、鍛接鋼管、TIG溶接鋼管等の各種鋼管に代表される金属管やパイプのみならず、熱間押出法で使用されるコンテナと称するシリンダー等の管状物を挙げることができる。
本実施形態に係る管状体内表面検査装置10は、図1に示したように、管状体1の内表面を撮像する管状体撮像装置100と、管状体撮像装置100の管軸方向に沿った移動を制御する駆動制御装置150と、撮像の結果得られる画像に対して画像処理を行う演算処理装置200と、を備える。
管状体撮像装置100は、管状体1の中空部に設置される。この管状体撮像装置100は、管状体1の管軸方向に沿って位置を随時変更しながら、当該管状体1の内表面を管軸方向に沿って順次撮像し、撮像の結果得られる撮像画像を、演算処理装置200に出力する装置である。管状体撮像装置100は、駆動制御装置150により管軸方向に沿った位置が制御されており、管状体撮像装置100の移動に伴いPLG(Pulse Logic Generator:パルス型速度検出器)等からPLG信号が演算処理装置200に出力される。また、管状体撮像装置100は、演算処理装置200によって、管状体1の撮像タイミング等が制御されている。
駆動制御装置150は、管状体撮像装置100の管軸方向の移動、及び、管中心軸方向を回転軸とする管状体周方向の回転を制御するアクチュエータ等の装置である。駆動制御装置150は、演算処理装置200による制御のもとで、管状体撮像装置100の管軸方向の移動や管状体周方向の回転といった動作の制御を行う。
より詳細には、駆動制御装置150は、管状体撮像装置100を管状体内部に送入/送出させる。また、駆動制御装置150は、管状体撮像装置100の管状体周方向の回転が所定の閾値角度以下に抑制されるように、管状体周方向の回転を制御することが好ましい。
また、演算処理装置200は、管状体撮像装置100によって生成された撮像画像を利用して縞画像フレームを生成し、この縞画像フレームに対して画像処理を行うことで、管状体1の内表面に存在している可能性のある欠陥を検出する装置である。
<管状体撮像装置100の構成について>
続いて、図2A〜図3Bを参照しながら、本実施形態に係る管状体撮像装置100の構成について、詳細に説明する。図2A〜図2Cは、本実施形態に係る管状体撮像装置100の構成の一例を模式的に示した説明図である。図3A及び図3Bは、本実施形態に係る回転量測定装置の一例を模式的に示した説明図である。
図2Aに模式的に示したように、本実施形態に係る管状体撮像装置100は、照明機構110と、撮像装置の一例であるカメラ120と、回転量測定装置130と、照明機構110及びカメラ120のそれぞれが固定される保持基板141と、2つの保持基板141を連結する支柱である連結部材143と、を備える。
照明機構110は、管状体1の内表面に対して所定の光を照射することで、管状体1の内表面を照明する機構である。この照明機構110は、管状体1の内表面の全周方向に対して環状のレーザ光を照射するレーザ光照射装置を少なくとも有している。
かかるレーザ光照射装置は、管状体1の内表面の管周方向に沿って環状のレーザ光(以下、「環状ビーム」ともいう。)を照射する装置であり、図2Aに示したように、レーザ光源111と、円錐状の光学素子113と、を有している。
レーザ光源111は、所定の波長を有するレーザ光を発振する光源である。このようなレーザ光源111として、例えば、連続的にレーザ発振を行うCWレーザ光源を用いることが可能である。レーザ光源111が発振する光の波長は、特に限定されるものではないが、例えば、400nm〜800nm程度の可視光帯域に属する波長であることが好ましい。レーザ光源111は、後述する演算処理装置200から送出される照射タイミング制御信号に基づいて、レーザ光の発振を行う。
円錐状の光学素子113は、円錐形状のミラー又はプリズムを備える光学素子であり、円錐部の頂点がレーザ光源111と対向するように設置されている。レーザ光源111から射出されたスポット状のレーザ光は、光学素子113の円錐部の頂点によって反射され、リング状にラインビームが発生することとなる。ここで、円錐部の円錐角が90°である場合には、図2Aに示したように、レーザ光源111からのレーザ入射方向に対して直角方向に、環状ビームが照射されることとなる。
撮像装置の一例であるカメラ120は、図2Aに示すように、照明機構110から見て管軸方向後方(被検査材への送入方向の逆側)に設けられていてもよいし、被検査材への送入方向前方に設けられていてもよい。撮像装置の一例であるカメラ120には、CCD(Charge Coupled Device)、又は、CMOS(Complementary Metal Oxide Semiconductor)等の撮像素子が搭載されている。かかるカメラ120は、モノクロカメラであってもよいし、カラーカメラであってもよい。カメラ120は、管状体1の内表面に垂直に照射された環状ビームを、図2Aに示したように角度φの方向から撮像する。
カメラ120に搭載されるレンズの焦点距離や画角、及び、照明機構110とカメラ120の撮像素子との間の距離は特に限定するものではないが、管状体1の内表面に照射された環状ビームの全体像を撮像可能なように選択することが好ましい。また、カメラ120に搭載される撮像素子の大きさや画素サイズも特に限定するものではないが、生成される画像の画質や画像分解能等を考慮すると、サイズの大きな撮像素子を利用することが好ましい。また、以下で説明する画像処理の観点から、環状ビームのライン幅(線幅)は、撮像素子上で1〜3画素程度であるように調整されることが好ましい。
このような照明機構110とカメラ120とは、照明機構110から照射されるレーザ光の中心軸と、カメラ120の中心軸(光軸)とが同軸となるように配置されて、撮像プローブを構成している。かかる撮像プローブは、図2Aに模式的に示したように、撮像プローブの支持バーによって支持されている。駆動制御装置150によって支持バーが管軸方向に駆動されることで、照明機構110及びカメラ120は、駆動制御装置150によって管状体1の中心軸に略一致するように管軸方向に移動しながら、管状体1の内表面を走査する。
ここで、後述する演算処理装置200は、管状体撮像装置100が管軸方向に所定距離移動する毎に、カメラ120に対して撮像のためのトリガ信号を出力する。照明機構110及びカメラ120の管軸方向の移動間隔は、適宜設定することが可能であるが、例えば、カメラ120に設けられた撮像素子の画素サイズと同一にすることが好ましい。管軸方向の移動間隔と撮像素子の画素サイズとを一致させることで、撮像された画像において縦方向の分解能と横方向の分解能とを一致させることができる。
なお、図2Aに示した角度φは、任意の値に設定することが可能であるが、例えば30〜60度程度とすることが好ましい。かかる角度をあまり大きくすると環状ビームの管状体1の内面からの散乱光(反射光)が弱くなり、また小さくすると、検査対象物である管状体1の深さ変化量に対して、後述する縞画像における縞の移動量が小さくなり、管状体1の内表面に存在する凹部の深さ(又は、凸部の高さ)に関する情報が劣化するためである。
回転量測定装置130は、照明機構110及びカメラ120が管状体1の管軸方向に沿って移動の際に生じる、照明機構110及びカメラ120の管状体周方向の回転の向き及び大きさを測定する装置である。回転の向き及び大きさは、それぞれ、所定の基準位置から変化した方向、及び、所定の基準位置からの変化量を表している。以下で詳述するように、本実施形態では、カメラ120による撮像を開始したタイミングでの回転量測定装置130の測定結果を、基準位置として取り扱う。かかる回転量測定装置130は、図2Aに模式的に示したように、例えば、カメラ120が固定されている保持基板141に対して配置される。なお、図2Aでは、回転量測定装置130は、カメラ120が固定されている保持基板141に対して配置されているが、照明機構110が固定されている保持基板141に配置されていても良いことは、言うまでもない。
ここで、後述する演算処理装置200は、管状体撮像装置100が管軸方向に所定距離移動する毎に、回転量測定装置130に対して測定のためのトリガ信号を出力し、回転量測定装置130により回転の向き及び大きさが測定される。このような回転量測定装置130は、特に限定されるものではないが、加速度計、ジャイロセンサ、ロータリーエンコーダ等といった、姿勢検出用センサとして用いられる公知の様々な測定装置を適宜利用することが可能である。
なお、加速度計やジャイロセンサ等のような回転角を測定可能な装置を回転量測定装置130として利用する場合、これらの回転量測定装置130を、図2Aに示したように、照明機構110及びカメラ120と同軸となるように配置することが好ましい。加速度計やジャイロセンサ等のような測定装置は、互いに直交する3本の座標軸が規定されていることが多いが、本実施形態に係る回転量測定装置130では、図3Aに模式的に示したように、同一平面内で互いに直交する2つの座標軸を利用することが好ましい。
いま、互いに直交する2つの座標軸をそれぞれA軸及びB軸とし、回転角度が0度である状態で、A軸正方向が鉛直方向下向きであり、B軸正方向が水平方向右向きであるものとする(図3A 中央の図)。この状態では、A軸では、重力加速度Gの大きさである9.80665m/s2という値が、鉛直方向下向きに検出され、B軸では、加速度は検出されない。一方、回転量測定装置130が時計周りに45度回転した場合(+45度回転とする。図3A 左図)、A軸及びB軸は、鉛直方向下向きに、9.80665m/s2×20.5の大きさの加速度を検出し、回転量測定装置130が反時計周りに45度回転した場合(−45度回転とする。図3A 右図)、A軸は、鉛直方向下向きに、9.80665m/s2×20.5の大きさの加速度を検出するとともに、B軸は、鉛直方向上向きに、9.80665m/s2×20.5の大きさの加速度を検出する。このように、加速度計やジャイロセンサ等のような回転角を測定可能な装置は、各軸で検出される重力加速度の大きさ及び方向に基づいて、回転角度(向き及び大きさ)を測定することが可能となる。なお、図3Aでは、回転量測定装置130において、互いに直交する2つの座標軸が規定されている場合について図示を行っているが、原理的には、2つの座標軸は、互いに平行となる位置関係でさえなければ、直交していなくともよい。
また、図3Bに模式的に示した、タッチロールを有するロータリーエンコーダ等のような回転に伴って測定対象物が移動した長さそのものを測定する装置を、回転量測定装置130として利用する場合、これらの回転量測定装置130を、測定対象物(すなわち、本実施形態では、照明機構110及びカメラ120)と同一の回転が生じている部分に装着することが好ましい。例えば図2Bに模式的に示したように、ロータリーエンコーダ等の回転量測定装置130を、照明機構110及びカメラ120と同一の回転が生じている支持バーそのものや支持バー保持部に対して装着することが可能である。
照明機構110及びカメラ120は、それぞれ保持基板141に固定されており、これら2つの保持基板141は、1又は複数の連結部材143により連結されている。照明機構110及びカメラ120が、保持基板141及び連結部材143により固定されることで、管状体1の内表面を撮像するための撮像プローブが形成される。
保持基板141の素材については、管状体撮像装置100に求められる強度等に応じて適宜選択することが好ましい。また、連結部材143については、ガラス製等のような、環状ビームの波長に対して透明とみなすことができる素材を用いることが好ましい。また、連結部材143の本数は、管状体撮像装置100に求められる強度に応じて適宜設定すればよく、1本であってもよいし、複数本であってもよい。なお、照明機構110及びカメラ120が重量化し、連結部材143に十分な強度が求められる場合には、連結部材143は、例えば金属等のような、環状ビームの波長に対して透明とみなすことができない素材を利用して形成されることとなる。しかしながら、このような場合には、以下で説明する第2の実施形態に係る処理を実施することで、撮像を行うことが可能となる。
ここで、複数本の連結部材143を設ける場合、それぞれの連結部材143は、例えば図2Cに示したように、保持基板141の縁部に当該保持基板141の管周方向に沿って等間隔に配置されることが好ましい。
以下に、本実施形態に係る管状体撮像装置100の有する各装置について、その具体的な構成や設定値等を列挙する。かかる構成や設定値等はあくまでも一例であって、本発明に係る管状体撮像装置100が、以下の具体例に限定されるわけではない。
○管状体
内径50mm〜500mm、長さ10m〜20m
○照明機構
100mWの出力でレーザ光源111から赤色レーザ光を照射。円錐状の光学素子113(円錐角90度)により、50mWの環状ビームとなって管状体の内表面に照射される。管状体の内表面に照射されるラインビーム幅は、0.25mmである。ただし、この場合のラインビーム幅とは、ピーク強度値から13.5%で定義されるものである。
○カメラ
1024画素×1024画素のCCD(画素サイズ:5.5μm×5.5μm)を撮像素子として搭載されており、フレームレートは、90fpsである。レンズの焦点距離は1.81mmであり、画角は180°である。撮影される画像の画素サイズは0.5mm×0.5mm、ラインビーム幅は、撮像画像上では、1〜3画素の輝線の幅で撮影される。
○回転量測定装置
16bitの3軸加速度計(±6G)、サンプリング周期:最大1000Hz
カメラにより実現される0.5mm/画素の撮像分解能に対して、約20倍程度の優れた角度分解能を有している。
○カメラ120は、管状体の内表面を、管軸方向に0.5mm進む毎に撮像し、回転量測定装置130は、管状体の内表面を管軸方向に0.5mm進む毎に、回転角度の測定値を出力する。
<演算処理装置200の全体構成について>
以上、本実施形態に係る管状体撮像装置100の構成について説明した。続いて、再び図1に戻って、本実施形態に係る演算処理装置200の全体構成について説明する。
本実施形態に係る演算処理装置200は、例えば図1に示したように、撮像制御部201と、画像処理部203と、表示制御部205と、記憶部207と、を主に備える。
撮像制御部201は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信装置等により実現される。撮像制御部201は、本実施形態に係る管状体撮像装置100による検査対象物の撮像制御を実施する。より詳細には、撮像制御部201は、管状体1の撮像を開始する場合に、照明機構110に対してレーザ光の発振を開始させるための制御信号を送出する。
また、管状体撮像装置100が管状体1の撮像を開始すると、管状体撮像装置100からPLG信号が定期的に(例えば、管状体撮像装置100が0.5mm移動する毎に1パルスのPLG信号)送出されるが、撮像制御部201は、PLG信号を取得する毎にカメラ120に対して撮像を開始するためのトリガ信号を送出するとともに、回転量測定装置130に対して回転量の測定を開始するためのトリガ信号を送出する。
画像処理部203は、例えば、CPU、ROM、RAM、通信装置等により実現される。画像処理部203は、管状体撮像装置100(より詳細には、管状体撮像装置100のカメラ120)から取得した撮像データを利用して、後述する縞画像フレームを生成する。その後、生成した縞画像フレームに対して、以下で説明するような画像処理を行い、測定対象物である管状体の内表面に存在する可能性のある欠陥を検出する。画像処理部203は、管状体1の内表面の欠陥検出処理を終了すると、得られた検出結果に関する情報を、表示制御部205に伝送する。
なお、この画像処理部203については、以下で改めて詳細に説明する。
表示制御部205は、例えば、CPU、ROM、RAM、出力装置等により実現される。表示制御部205は、画像処理部203から伝送された、検査対象物である管状体1の欠陥検出結果を、演算処理装置200が備えるディスプレイ等の出力装置や演算処理装置200の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、欠陥検出装置10の利用者は、検査対象物(管状体1)の内表面に存在する各種の欠陥に関する検出結果を、その場で把握することが可能となる。
記憶部207は、例えば本実施形態に係る演算処理装置200が備えるRAMやストレージ装置等により実現される。記憶部207には、本実施形態に係る演算処理装置200が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、または、各種のデータベースやプログラム等が、適宜記録される。この記憶部207は、撮像制御部201、画像処理部203、表示制御部205等が、リード/ライト処理を実行することが可能である。
<画像処理部203について>
続いて、図4を参照しながら、本実施形態に係る演算処理装置200が備える画像処理部203について、詳細に説明する。図4は、本実施形態に係る演算処理装置が有する画像処理部の構成を示したブロック図である。
本実施形態に係る画像処理部203は、図4に示したように、A/D変換部211と、環状ビームセンター算出部213と、座標変換部215と、縞画像フレーム生成部217と、画像算出部219と、検出処理部229と、を主に備える。
A/D変換部211は、例えば、CPU、ROM、RAM等により実現される。A/D変換部211は、カメラ120から出力された撮像画像をA/D変換し、図5に示したようなデジタル多値画像データ(すなわち、環状ビーム画像)として出力する。かかるデジタル多値画像データは、記憶部207等に設けられた画像メモリに記憶される。これらのデジタル多値画像データを管状体の管軸方向に沿って順次利用することにより、後述するような縞画像フレームが形成される。
図5に示したように、環状ビーム画像は、管状体1の内表面の管軸方向に沿ったある位置において、管状体の内表面に照射された環状ビームを撮像したものである。環状ビーム画像は、予めカメラのゲインやレンズの絞りを適切に設定することにより、例えば図5に示したように、環状ビームが照射された部分が白く表示され、その他の部分は黒く表示されている濃淡画像になっている。また、環状ビームの円周上に重畳している凹凸が、管状体の内表面の断面形状と、内表面に存在する欠陥に関する情報を含んでいる。
A/D変換部211は、カメラ120から出力された撮像画像に基づいて図5のような環状ビーム画像を生成すると、生成した環状ビーム画像に対応するデータを、後述する環状ビームセンター算出部213に出力する。
環状ビームセンター算出部213は、例えば、CPU、ROM、RAM等により実現される。環状ビームセンター算出部213は、A/D変換部211から出力された各環状ビーム画像について、環の重心位置と環の半径をそれぞれ算出する。
環の重心位置及び半径を算出する方法は、特に限定されるわけではなく、公知のあらゆる方法を利用することが可能である。環の重心位置及び半径を算出する方法の具体例としては、例えば、環状ビーム画像が真円に近い場合は、以下のような2つの方法を挙げることができる。
・2値化した環状ビーム画像上の任意の3点を抽出し、この3点の位置座標の重心を算出する。得られた重心位置と3点のうち任意の1点との間の距離が環の半径となる。
・ハフ(Hough)変換による円抽出を行い、円(すなわち、環状ビーム)の重心と半径とを算出する。
環状ビームセンター算出部213は、各環状ビーム画像について環の重心位置及び半径を算出すると、環の重心位置及び半径に関する情報をそれぞれ生成して、後述する座標変換部215に出力する。
なお、本実施形態においては、管状体1の内面の断面形状が真円に近い場合について説明しているが、任意の断面形状に対して適用可能であり、例えば、断面形状が楕円や角丸長方形等であってもよい。このような場合の重心は、環状ビームの形状から求めることが可能であり、求めた重心との距離の最大値と最小値の平均値を半径として用いることで、後述する座標変換を同じ手順で実施することができる。
座標変換部215は、例えば、CPU、ROM、RAM等により実現される。座標変換部215は、算出された重心位置、及び、当該重心位置と環状ビームの照射部分との離隔距離に基づいて、環状ビーム画像の座標系を変換する。その後、座標変換部215は、環状ビームの照射部分を管状体の管周方向に展開した線分として表した光切断画像を生成する。
環状ビームの重心位置が算出されることで、環状ビームの照射位置に対応する画素の存在位置を、重心位置を原点とした極座標(r,θ)で表すことができる。座標変換部215は、図6に示したように、環状ビームセンター算出部213で算出された半径rに動径方向に±Δrの余裕を設けたうえで(すなわち、r−Δr〜r+Δrの範囲で)、0°≦θ≦360°として座標変換を実施する。ここで、θ=0°の位置は、撮像開始時において回転量測定装置130により測定される回転角度の値の位置とする。なお、本実施形態では、動径方向のr−Δr〜r+Δrの範囲で座標変換を実施する場合について説明しているが、余裕Δrの値は、環状ビームの照射部分を含む範囲で、プラス方向とマイナス方向とで異なった値であってもよい。かかる場合、例えば、座標変換を行う範囲は、r−Δr1〜r+Δr2などと表現することができる。ただし、本実施形態においては、プラス方向とマイナス方向とで同じ値Δrを用いる場合について、以降の説明を行う。
このような座標変換を行うことで、図6の右側に示したように、動径方向には半径rを中心として2Δrの高さを有し、角度方向には360°分の長さを有する帯状の画像が抽出されることとなる。以上の説明からも明らかなように、抽出された帯状の画像は、環状ビームの照射部分を管状体の管周方向に展開した線分(以下、「光切断線」とも称する。)を含むこととなる。また、動径方向に関して、半径rを中心として2Δrの範囲を抽出することで、環状ビームの周に凹凸が存在していたとしても、かかる凹凸を含む環状ビームの周をもれなく抽出することが可能となる。このようにして得られた帯状の画像を、以下では光切断画像と称することとする。
なお、Δrの大きさは、管状体1に存在しうる凹凸の高さの範囲を過去の操業データ等に基づいて予め大まかに算出しておくことで、決定することが可能である。
上述のような管状体撮像装置100により撮像された環状ビーム画像は、約300画素に相当する半径を有する環を含むこととなる。そこで、r=300画素、Δr=25画素として、0°≦θ≦360°の範囲で光切断画像の抽出を行うと、横1885画素×高さ50画素の光切断画像が生成されることとなる。
また、座標変換部215は、抽出された光切断画像における各画素の座標(r,θ)を利用することで、光切断画像に含まれる画素の座標を直交座標(rcosθ,rsinθ)に変換する。ここで、座標変換部215が実施する座標値の変換は、極座標系から直交座標系への変換であるため、極座標系における格子点(すなわち、画素の中心位置)が、直交座標系において必ず格子点に対応するとは限らず、非格子点に対応するものも存在することとなる。そこで、座標変換部215は、直交座標系における非格子点の濃度(画素値)を補間するために、着目している点の近傍に位置する他の格子点の濃度に基づいて補間する、いわゆる画像補間法を併せて実施することが好ましい。
かかる画像補間法は、特に限定されるものではなく、例えば、「昭晃堂 画像処理ハンドブック」等に記載されている公知の画像補間法を利用することが可能である。このような画像補間法の例として、最近傍(nearest neighbor)法、双線形補間(bi−linear interpolation)法、3次補間(bi−cubic convolution)法等を挙げることができる。これらの方法のうち、前者ほど処理速度が速く、後者ほど高品質の結果を得ることができる。そこで、座標変換部215は、利用する画像補間法の種別を、処理に用いることのできるリソース量や処理時間等に応じて適宜決定すればよい。本実施形態において示す光切断画像の具体例では、画像補間法として3次補間法を適用している。
座標変換部215は、上述のような座標変換処理や画像補間処理を終了すると、得られた光切断画像に対応する画像データを、記憶部207等に設けられた画像メモリに、管状体の管軸方向に沿って順次格納していく。
縞画像フレーム生成部217は、例えば、CPU、ROM、RAM等により実現される。縞画像フレーム生成部217は、記憶部207等に設けられた画像メモリから、管状体の管軸方向に沿って格納された光切断画像を順に取得する。その後、縞画像フレーム生成部217は、取得した各光切断画像を管状体の管軸方向に沿って順に配列して、縞画像フレームを生成する。
1つの縞画像フレームを構成する光切断画像の個数は、適宜設定すればよいが、例えば、256個の光切断画像で1つの縞画像フレームを構成するようにしてもよい。各光切断画像は、上述のように環状ビーム画像の撮像間隔毎(例えば、0.5mm間隔)に存在している。そのため、0.5mm間隔で撮像された環状ビーム画像に基づく、256個の光切断画像からなる1つの縞画像フレームは、管状体の内表面の全周を、管軸方向に沿って128mm(=256×0.5mm)の範囲で撮像した結果に相当する。
図7に、縞画像フレーム生成部217によって生成される縞画像フレームの一例を示した。図7に示した縞画像フレームは、256個の光切断画像のうち、16個の光切断画像を示したものである。図7に示した縞画像フレームにおいて、図面の横方向に伸びた1本の線分が、1枚の環状ビーム画像を展開したものに相当しており、図面の横方向が環状ビームの管周方向に対応している。また、図7に示した縞画像フレームにおいて、図面の縦方向が、管状体1の管軸方向に相当している。
縞画像フレーム生成部217は、図7に示したような縞画像フレームを生成すると、生成した縞画像フレームを、後述する画像算出部219に出力する。また、縞画像フレーム生成部217は、生成した縞画像フレームに対応するデータに、当該縞画像フレームを生成した日時等に関する時刻情報を関連付けて、履歴情報として記憶部207等に格納してもよい。
画像算出部219は、例えば、CPU、ROM、RAM等により実現される。画像算出部219は、縞画像フレーム生成部217が生成した縞画像フレームに基づいて、管状体の内表面の凹凸状態を表す深さ画像と、管状体の内表面における環状ビームの輝度の分布を表す輝度画像と、を算出する。この画像算出部219は、図4に示したように、光切断線処理部221と、深さ画像算出部223と、輝度画像算出部225と、回転補正部227と、を備える。
光切断線処理部221は、例えば、CPU、ROM、RAM等により実現される。光切断線処理部221は、縞画像フレームに含まれる各光切断線について、光切断線の変位量(輝線の曲がり具合)を含む光切断線特徴量を算出する。以下では、図8A及び図8Bを参照しながら、光切断線処理部221が実施する処理及び算出する光切断線特徴量について、詳細に説明する。図8Aは、縞画像フレームを模式的に示した説明図である。図8Bは、光切断線処理部が実施する光切断線処理について説明するための説明図である。
図8Aでは、1つの縞画像フレームの中にN本の光切断線が存在しており、縞画像フレームの横方向の長さは、M画素であるものとする。また、1本の光切断線を含む1つの光切断画像は、縦2Δr画素×横M画素から構成されている。
ここで、説明の便宜上、縞画像フレームの管周方向(図8Aにおける横方向)にX軸をとり、縞画像フレームの管軸方向(図8Aにおける縦方向)にY軸をとって、縞画像フレーム中の画素の位置をXY座標で表すものとする。以下の説明では、縞画像フレーム中に存在するj(1≦j≦N)番目の光切断線の左側からm画素目(1≦m≦M)の位置(すなわち、Xj,mで表される位置)に着目する。
光切断線処理部221は、まず、着目すべき光切断線(以下、単に「ライン」とも称する。)の着目すべきX座標位置(本説明では、Xj,mで表される位置)を選択すると、図8Bに示したように、着目したラインの着目したX座標位置における画素に対応付けられている画素値(すなわち、環状ビームの輝度値)の分布を参照する。この際、光切断線処理部221は、光切断画像中の当該X座標位置における全ての画素について、以下で説明する処理を実施するのではなく、光切断画像中におけるY座標の基準位置Ysの前後Wの範囲に属する画素(すなわち、Ys−W〜Ys+Wの範囲に属する画素)について、以下で説明する処理を実施する。
ここで、Y座標の基準位置Ysは、縞画像フレームのjライン目の光切断画像に対して予め指定される管軸方向の位置であり、例えば光切断画像の管軸方向の中心を指定すれば、先述のようにプラス方向とマイナス方向とで同じ余裕値Δrを用いる場合には、環状ビームセンター算出部が算出した半径r(すなわち光切断線の位置)に等しくなる。また、処理範囲を規定するパラメータWは、管状体1に存在しうる凹凸の高さの範囲を過去の操業データ等に基づいて、光切断画像中におけるY座標の基準位置Ysの前後Wの範囲が光切断画像に収まるように、予め大まかに算出しておき、適宜決定すればよい。パラメータWの値を小さくすることができれば、後述する光切断線処理部221の処理負荷の低減を図ることができる。
光切断線処理部221は、まず、Ys−W〜Ys+Wの範囲に含まれる画素の中から、光切断線に対応する画素を特定するための第1の閾値の一例である所定の閾値Th以上の画素値を有する画素を特定する。図8Bに示した例では、Yj,k、Yj,k+1、Yj,k+2で表される3つの画素が、それぞれ閾値Th以上の画素値Ij,k、Ij,k+1、Ij,k+2を有している。従って、光切断線処理部221は、所定の閾値Th以上の画素値を有する画素を線幅方向に加算した数pj,m=3と設定する。この所定の閾値Th以上の画素値を有する画素を線幅方向に加算した数pj,mは、いわば位置(j,m)における輝線の画素数に対応する値であり、光切断線特徴量の一つである。また、光切断線処理部221は、以下の処理において、抽出された画素に関する情報(Yj,k、Ij,k)、(Yj,k+1、Ij,k+1)、(Yj,k+2、Ij,k+2)(以下、単に(Y,I)と略記することもある。)の情報を利用して、更なる光切断線特徴量を算出していく。
また、光切断線処理部221は、パラメータpj,m及び抽出した画素に関する情報(Y,I)を利用して、抽出された画素の輝度の総和Kj,mを算出する。図8Bに示した例の場合、光切断線処理部221が算出する輝度の総和は、Kj,m=Ij,k+Ij,k+1+Ij,k+2となる。この輝度の総和Kj,mも、光切断線特徴量の一つである。
更に、光切断線処理部221は、抽出された画素に関する情報(Y,I)とY座標の基準位置Ysとを利用して、抽出された画素のY方向の重心位置YC(j,m)を算出するとともに、重心位置YC(j,m)の基準位置Ysからの変位量Δdj,m=Ys−YC(j,m)を算出する。
ここで、重心位置YC(j,m)は、抽出された画素の集合をAと表すこととすると、以下の式101で表される値となる。従って、図8Bに示した例の場合、重心位置YC(j,m)は、以下の式101aで表される値となる。
ここで、画素に対応する管軸方向の位置は、いわば管状体撮像装置100の移動幅(例えば、0.5mm)で量子化された値である。他方、上記式101で示したような演算により算出される重心位置YC(j,m)は、割り算という数値演算を利用することで算出される値であるため、管状体撮像装置100の移動幅(いわば量子化単位)よりも小さな値となりうる。従って、かかる重心位置YC(j,m)を利用して算出される変位量Δdj,mについても、移動幅よりも小さな値を有しうる値となる。このようにして算出される変位量Δdj,mも、光切断線特徴量の一つである。
光切断線処理部221は、以上のような3種類の特徴量を、各切断線に含まれるM個の要素に関して算出する。その結果、図9A〜図9Cに示したように、光切断線の変位量Δd、輝度の総和K、及び、輝線の画素数pに関して、M列×N行の二次元配列が生成される。図7に示したような本実施形態に係る縞画像フレームの具体例の場合、M=1885、N=256であるため、各光切断線特徴量を構成するデータの個数は、1885×256個となる。
光切断線処理部221は、算出した光切断線特徴量のうち、光切断線の変位量Δdに関する特徴量を、後述する深さ画像算出部223に出力する。また、光切断線処理部221は、算出した光切断線特徴量のうち、輝度の総和K、及び、輝線の画素数pに関する特徴量を、後述する輝度画像算出部225に出力する。
深さ画像算出部223は、例えば、CPU、ROM、RAM等により実現される。深さ画像算出部223は、光切断線処理部221が生成した光切断線特徴量(特に、変位量Δdに関する特徴量)に基づいて、管状体の内表面の凹凸状態を表す深さ画像を算出する。
具体的には、深さ画像算出部223は、図9Aに示したような変位量Δdに関する特徴量(二次元配列)と、環状ビームの垂直成分入射角(図2Aにおける角度φ)と、を利用して、深さ画像を算出する。かかる深さ画像は、管軸方向のそれぞれの位置での凹凸状態の一次元分布が管軸方向に沿って順に配列された、二次元の凹凸状態の分布を表す画像である。
まず、図10を参照しながら、管状体の内表面に存在する凹凸の高さと、光切断線の変位量Δdとの関係について説明する。図10は、光切断線の変位と欠陥の高さとの関係を示した説明図である。
図10では、管状体1の内表面に凹みが存在した場合を模式的に示している。ここで、内表面に凹みが存在しない場合の表面位置の高さと凹みの底部の高さとの差分をΔhと表すこととする。垂直入射した環状ビームが表面反射をする場合に着目すると、内表面に凹みが存在しない場合には、図10の光線Aのように反射光は伝播することとなるが、内表面に凹みが存在する場合には、図10の光線Bのように反射光が伝播することとなる。光線Aと光線Bとのズレが、本実施形態において光切断線の変位量Δdとして観測されることとなる。ここで、幾何学的な位置関係から明らかなように、光切断線の変位量Δdと凹みの深さΔhとは、Δd=Δh・sinφの関係が成立する。
なお、図10では、管状体の内表面に凹みが存在する場合について説明したが、管状体の内表面に凸部が存在する場合であっても、同様の関係が成立する。
深さ画像算出部223は、以上説明したような関係を利用して、光切断線処理部221が算出した光切断線の変位量Δdに関する特徴量に基づき、管状体の内表面の凹凸に関する量Δhを算出する。
ここで、深さ画像の算出に用いられる光切断線の変位量Δdは、先に説明したように光切断線の重心位置に基づいて算出されたものであり、移動幅よりも小さな値を有しうる値となっている。従って、深さ画像算出部223により算出される深さ画像は、撮像素子の画素サイズよりも細かい分解能で凹凸が再現されている画像となる。
本実施形態で示した縞画像フレームの具体例は、撮影ピッチ0.5mmで撮像された光切断線の変位を積み上げたものであるため、それぞれの変位量ΔdをΔhに変換すると、幅0.5mm×高さ0.5mmの深さ画像が算出されることとなる。また、かかる具体例では、角度φ=45°であるため、Δd=(1/20.5)・Δhの関係が成立している。
なお、被検査体である管状体の内表面の形状の変化や、カメラ走査方向軸が管状体の中心からずれることにより、図11に示したように、光切断線に湾曲等の歪みが生じる場合がある。他方、本実施形態に係る欠陥検出方法では、光切断線に重畳している凹凸が、管状体の内表面の断面形状と内表面に存在する表面欠陥に関する情報となっている。そのため、深さ画像算出部223は、光切断線の変位量Δdに基づいて深さ画像を算出する際に、光切断線毎に歪み補正処理を行って、光切断線に重畳している凹凸に関する情報のみを抽出してもよい。このような歪み補正処理を実施することにより、カメラ走査方向軸が管状体の中心軸に正確に一致していない場合や、内表面の形状が円でない場合であっても、内表面に存在する凹凸疵の情報のみを得ることが可能となる。
かかる歪み補正処理の具体例として、(i)多次元関数や各種の非線形関数を利用したフィッティング処理を行い、得られたフィッティング曲線と観測された光切断線との差分演算を行う処理や、(ii)凹凸に関する情報が高周波成分であることを利用して、浮動フィルタやメディアンフィルタ等のローパスフィルタを適用する処理等を挙げることができる。このような歪み補正処理を実施することにより、内表面に存在する凹凸疵の情報を保持したまま、光切断線の平坦化を図ることが可能となる。
深さ画像算出部223は、以上説明したようにして算出した深さ画像に関する情報を、後述する回転補正部227に出力する。
輝度画像算出部225は、例えば、CPU、ROM、RAM等により実現される。輝度画像算出部225は、光切断線処理部221が生成した光切断線特徴量(特に、輝度の総和K及び輝線の画素数pに関する特徴量)に基づいて、管状体の内表面における環状ビームの輝度の分布を表す輝度画像を算出する。
具体的には、輝度画像算出部225は、図9Bに示したような輝度の総和Kに関する特徴量(二次元配列)、及び、図9Cに示したような輝線の画素数pに関する特徴量(二次元配列)を利用して、総和輝度の線幅方向の平均値である平均輝度KAVE(j,m)=Kj,m/pj,m(1≦j≦N、1≦m≦M)を算出する。その後、輝度画像算出部225は、算出した平均輝度KAVE(j,m)からなるデータ配列を、着目している管状体の輝度画像とする。かかる輝度画像は、管軸方向のそれぞれの位置での環状のレーザ光の輝度の一次元分布が管軸方向に沿って順に配列された、二次元の輝度分布を表す画像である。
輝度画像算出部225は、以上説明したようにして算出した輝度画像に関する情報を、後述する回転補正部227に出力する。
次に、本実施形態に係る回転補正部227について説明するに先立ち、回転補正部227により実施される回転補正処理の意義について、図12及び図13を参照しながら、具体的に説明する。図12及び図13は、管状体撮像装置の回転による影響を説明するための説明図である。
カメラと円環状レーザを管状体1の内部に送入し、いわゆる光切断方式による管状体内面の凹凸検査を実施する際、管状体1の内部に送入したカメラの姿勢が変化(管状体に対してカメラが管周方向に回転)した場合、連続的に撮像される(すなわち、異なるタイミングで撮像される)画像は、管周方向の同一場所を撮像していることにはならず、疵の連続性及び模様の見逃し等が発生し得る。図2Aに示したような管状体撮像装置100を管状体1の内部に送入して管軸方向の連続画像を取得する場合においても、管状体撮像装置100の姿勢が管周方向に変化(回転)した場合には、疵や模様の連続性が消失する可能性がある。また、管状体撮像装置100を手動又は自動で送入する際において、上記のような回転が意図せずに生じてしまうことも考えられ、特に、手動で管状体撮像装置100を送入する場合には、手動故に顕著な未検査領域の発生が生じてしまう可能性がある。従って、管状体1の内表面について、全周・全長に亘って品質保証・管理に必要な定量的な疵検査をする場合には、管状体撮像装置100の姿勢を検知し、姿勢を制御することが重要となる。
いま、図12に模式的に示したように、管状体1の内表面の管周方向の一部に、矩形状の凸部が、直線状に管軸方向の先端から後端まで一様に分布しているものとする。まず、管状体撮像装置100(特に、照明機構110及びカメラ120からなる撮像プローブ)が管状体1の管周方向に回転することなく、管状体1の内面を管軸方向に沿って走査可能な場合を考える。この場合、管状体撮像装置100の管周方向の回転が存在しないため、矩形状の凸部は、各光切断線において同じ位置に存在することとなり、図13の上段に示したような縞画像フレームが得られることとなる。図13上段に示した図から明らかなように、このような場合には、矩形状の凸部の管周方向位置の管軸方向に対する連続性は保持されており、このような凸部が所定の検出判定長さ以上に連続して存在している場合には、欠陥として検出されることとなる。
一方、管状体撮像装置100(特に、照明機構110及びカメラ120からなる撮像プローブ)が管状体1の管周方向に(意図的か否かによらず)回転してしまう場合、矩形状の凸部は、回転によって各光切断線の様々な管周方向位置に存在することとなり、図13の下段に示したような縞画像フレームが得られることとなる。図13下段に示した図から明らかなように、このような場合には、矩形状の凸部に位置ズレが生じることで矩形状の凸部の管周方向位置の管軸方向に対する連続性は保持されておらず、矩形状の凸部を欠陥として検出できない場合が生じうる。
そこで、本実施形態に係る回転補正部227は、以下で詳述するような回転補正処理を実施して、深さ画像及び輝度画像における管周方向位置の管軸方向に対する連続性を担保する。
かかる回転補正部227は、例えば、CPU、ROM、RAM等により実現される。回転補正部227は、深さ画像算出部223により算出された深さ画像、及び、輝度画像算出部225により算出された輝度画像のそれぞれについて、回転量測定装置130により測定された回転の向き及び大きさを用いて、管周方向の回転に伴う位置ズレを補正する。
より詳細には、回転補正部227は、深さ画像及び輝度画像のそれぞれについて、それぞれの管軸方向の位置での凹凸状態の一次元分布及び輝度の一次元分布を、該当する管軸方向の位置で測定された回転の向きとは逆方向に、測定された回転の大きさだけ平行移動させることで、位置ズレを補正する。
以下、図14A〜図16を参照しながら、かかる回転補正処理について、詳細に説明する。図14A及び図14Bは、本実施形態に係る回転量特定処理の一例を示した説明図であり、図15及び図16は、本実施形態に係る回転補正処理を説明するための説明図である。
回転補正部227は、まず、回転量測定装置130からの測定結果を利用して、管状体撮像装置100に生じた回転の向き及び大きさを特定する。この際、回転補正部227は、検査開始時における管状体撮像装置100の角度を基準(すなわち、回転角度=0°)とし、かかる基準からの相対的な回転の向き及び大きさを特定する。
回転量測定装置130として、加速度計やジャイロセンサのような回転角度を測定する装置が設けられている場合における回転量の特定処理を、図14Aを参照しながら説明する。いま、図14Aに示したように、A軸正方向を鉛直方向下向きとし、B軸正方向を水平方向右向きとし、検査開始時からある時間が経過した後に、管状体撮像装置100が反時計方向にθ度回転した(−θ度回転した)ものとする。A軸正方向が鉛直方向下向きに向いている場合、回転量測定装置130は、重力加速度をG[m/s2]と表わすとすると、−Gの値を出力するものとする。同様に、B軸正方向が鉛直方向下向きに向いている場合、回転量測定装置130は、−Gの値を出力するものとする。
いま、A軸の出力値をgAと表わし、B軸の出力値をgBと表わすものとし、管状体の内径をφ[mm]とし、撮像画素分解能をα[mm/画素]とすると、回転補正部227は、cosθ=gA/Gより、θ=Arccos(gA/G)により回転角度θを算出することができる。また、回転補正部227は、gBの出力値が0以下である場合には、回転の向きは時計回りであり、gBの出力値が0超である場合には、回転の向きは反時計回りであると判断することができる。
ここで、回転による管状体内面(被検査面)での移動量をLr[mm]と表わすこととすると、Lr=2πφ/{2×(θ/360)}となる。そこで、回転補正部227は、回転による移動量Lrを、画素分解能αで除することで、画素単位の補正量を算出することができる。すなわち、画素単位の補正量=Lr/αとなる。
次に、回転量測定装置130として、ロータリーエンコーダのような回転による移動量を測定する装置が設けられている場合における回転量の特定処理を、図14Bを参照しながら説明する。この場合、回転補正部227は、検査開始時における管状体撮像装置100の移動量を0mmとして、規格化していく。いま、ロータリーエンコーダを設置した位置(例えば、照明機構110及びカメラ120と同一の回転が生じている支持バーそのものや支持バー保持部)が、管外径Φ[mm]に対応する位置であるとし、ロータリーエンコーダのような回転量測定装置130から出力される回転量L0[mm]とすると、回転角度θは、θ=L0/(πΦ)により算出される。従って、回転による内径相当移動量Lrは、内径をφ[mm]としたとき、Lr=2πφ/{2×(θ/360)}となる。そこで、回転補正部227は、回転による内径相当移動量Lrを、画素分解能αで除することで、画素単位の補正量を算出することができる。すなわち、画素単位の補正量=Lr/αとなる。
回転補正部227は、このような画素単位の補正量の大きさ及び補正の向きを、深さ画像及び輝度画像における管軸方向の各位置について、算出していく。
管状体撮像装置100を用いて管状体1の内表面を管軸方向に走査している際には、駆動制御装置150により管周方向の回転を制御していた場合であっても、管周方向の僅かな回転が生じている可能性があり、管周方向の回転を制御せずに走査を行っている際には、管周方向の回転は、必ず生じているものと考えられる。その結果、例えば図12に示したような矩形の凸部に対応する画素(図15において、ハッチングで示している画素)の位置は、図15に模式的に示したように、管軸方向のそれぞれで相違している可能性がある。そこで、回転補正部227は、図16に模式的に示したように、算出した画素単位の補正量と、特定した回転の向きと、を用いて、管軸方向の各位置での画素の管周方向の配列を、画素単位で管周方向に平行移動していくことで、位置ズレを補正していく。例えば、ある管軸方向位置において、反時計回りの方向に1画素分だけ回転が生じているものとすると、回転補正部227は、深さ画像及び輝度画像において、該当する管軸方向位置に対応する行を構成している画素群について、時計回りに対応する管周方向に1画素分だけ平行移動させる。これにより、この管軸方向位置における管周方向の回転によって生じた位置ズレが補正される。
このような回転補正部227による回転補正処理は、駆動制御装置150によって管周方向の回転が制御されている場合においても実施することが好ましい。駆動制御装置150によって管周方向の回転が制御されている場合、生じている位置ズレは小さな値となっていると考えられるが、完全に位置ズレを無くすことは必ずしもできず、このような回転補正処理を更に実施することで、位置ズレに伴う誤差が更に補正され、より正確な検査を実施することが可能となる。
回転補正部227は、以上説明したような回転補正処理を、深さ画像及び輝度画像のそれぞれに対して実施すると、補正された深さ画像及び輝度画像を、検出処理部229へと出力する。また、回転補正部227は、補正された深さ画像及び輝度画像に関する情報を、当該情報を補正した日時等に関する時刻情報と関連づけて、記憶部207等に履歴情報として格納してもよい。更に、回転補正部227は、補正された深さ画像及び輝度画像に関する情報を表示制御部205に出力して、表示部(図示せず。)に出力させてもよい。
更に、回転補正部227は、以上のようにして算出した回転の向き及び大きさに関する情報を、撮像制御部201に対して出力して、撮像制御部201による駆動制御装置150の管状体撮像装置100に対する回転制御に供するようにしてもよい。撮像制御部201は、回転補正部227から出力された回転の向き及び大きさに関する情報を利用して、管状体撮像装置100を支持するとともに駆動させている駆動制御装置150での支持バーの径に相当する回転方向及び回転の大きさを演算する。回転の制御を司る支持バーの径をφ”とすると、測定された回転角度θに対して、制御を司る支持バー部での回転の大きさは、かかる回転の大きさをLsとしたときに、Ls=2πφ”/{2×(θ/360)}となる。この算出された支持バーでの回転大きさLsに相当する量に対して、逆向きの方向に駆動制御装置150をフィードバック制御することで、管状体撮像装置100の回転の大きさが所定の閾値以下となるように制御しながら、管状体撮像装置100を移動させることが可能となる。
また、撮像制御部201は、回転補正部227から出力された回転の大きさが、所定の基準閾値以上となった場合に、管状体撮像装置100が回転し過ぎている旨を警告する警告情報(例えば、警告音、警告表示、振動等のような、視覚、聴覚、触覚等に訴えかける警告情報)を出力するようにしてもよい。これにより、管状体内表面検査装置10の管理者や、管状体撮像装置100を手動で使用している使用者は、管状体撮像装置100が回転し過ぎている旨をその場で把握することが可能となる。
再び図4に戻って、検出処理部229について説明する。
検出処理部229は、例えば、CPU、ROM、RAM等により実現される。検出処理部229は、回転補正部227により補正された深さ画像及び輝度画像に基づいて、管状体の内表面に存在する欠陥を検出する。
かかる検出処理部229は、深さ画像及び輝度画像に基づいて欠陥部位を特定する欠陥部位特定機能と、特定した欠陥部位の形態及び画素値に関する特徴量を抽出する特徴量抽出機能と、抽出した特徴量に基づいて欠陥の種別や有害度等を判別する欠陥判別機能と、を有している。以下、これらの機能について、簡単に説明する。
○欠陥部位特定機能
検出処理部229は、取得した深さ画像及び輝度画像の各画素に対して、周辺画素との画素値(深さを表す値、又は、輝度値)の線形和を得るフィルタ処理によって縦線状疵、横線状疵、微小疵等の領域を強調し、得られた値が、欠陥部位特定のための第2の閾値以上となるか否かの判定を行う。このようなフィルタ処理及び当該フィルタ処理結果に基づく判定処理を実施することで、検出処理部229は、欠陥部位を特定するための2値化画像を生成することができる。かかる2値化画像において、算出した値が第2の閾値未満であった画素が正常箇所(すなわち、2値化画像の画素値=0)に該当し、算出した値が第2の閾値以上であった画素が欠陥箇所(すなわち、2値化画像の画素値=1)に該当する。更に、検出処理部229は、連続して発生している欠陥箇所を結合していくことで、一つ一つの欠陥部位を特定する。
○特徴量抽出機能
検出処理部229は、欠陥部位特定機能により深さ画像及び輝度画像の欠陥部位を特定すると、特定した欠陥部位ごとに、欠陥部位の形態及び画素値に関する特徴量を抽出する。欠陥部位の形態に関する特徴量として、例えば、欠陥部位の幅、欠陥部位の長さ、欠陥部位の周囲長、欠陥部位の面積、欠陥部位の外接長方形の面積等を挙げることができる。また、欠陥部位の画素値に関する特徴量として、深さ画像に関しては、欠陥部位の深さの最大値、最小値、平均値等を挙げることができ、輝度画像に関しては、欠陥部位の輝度の最大値、最小値、平均値等を挙げることができる。
○欠陥判別機能
検出処理部229は、特徴量抽出機能により各欠陥部位の特徴量を抽出すると、欠陥部位ごとに、抽出した特徴量に基づいて欠陥の種別や有害度等を判別する。特徴量に基づく欠陥の種別や有害度等の判別処理は、例えば図17に示したようなロジックテーブルを利用して行われる。すなわち、検出処理部229は、図17に例示したようなロジックテーブルによって表される判別条件に基づき、欠陥の種別や有害度を判別する。
図17に例示したように、ロジックテーブルの縦方向の項目として、欠陥の種別(欠陥A1〜欠陥An)が記載されており、ロジックテーブルの横方向の項目として、特徴量の種類(特徴量B1〜特徴量Bm)が記載されている。また、欠陥の種別及び特徴量により規定されるテーブルの各セルには、対応する特徴量の大小による判別条件式(条件式C11〜条件式Cnm)が記述されている。このようなロジックテーブルの各行が一組となって、一つ一つの欠陥の種別の判別条件となる。判別処理は、最上位の行に記載された種別から順に行われ、何れか一つの行に記載された判別条件を全て満たした時点で終了する。
このようなロジックテーブルは、過去の操業データ及び当該操業データに基づく検定員による欠陥の種別及び有害度の特定結果を教師データとした学習処理により構築されたデータベースを利用して、公知の方法により生成することが可能である。
検出処理部229は、このようにして検出した欠陥部位ごとに欠陥の種別及び有害度を特定し、得られた検出結果を表示制御部205に出力する。これにより、検出対象物である管状体の内表面に存在する欠陥に関する情報が、表示部(図示せず。)に出力されることとなる。また、検出処理部229は、得られた検出結果を、製造管理用プロコン等の外部の装置に出力してもよく、得られた検出結果を利用して、製品の欠陥帳票を作成してもよい。また、検出処理部229は、欠陥部位の検出結果に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部207等に履歴情報として格納してもよい。
なお、以上の説明では、ロジックテーブルを利用して欠陥の種別や有害度を判別する場合について説明したが、欠陥の種別や有害度を判別する方法は上記例に限定されるわけではない。例えば、過去の操業データ及び当該操業データに基づく検定員による欠陥の種別及び有害度の特定結果を教師データとした学習処理により、ニューラルネットやサポートベクターマシン(SVM)等の判別器を生成し、かかる判別器を欠陥の種別や有害度の判別に利用してもよい。
以上、本実施形態に係る演算処理装置200が有する画像処理部203の構成について、詳細に説明した。
なお、上述の説明では、深さ画像算出部223が深さ画像を算出する際に、差分演算処理やローパスフィルタ処理等の近似補正処理を実施する場合について説明した。しかしながら、かかる近似補正処理は、光切断線処理部221が光切断線特徴量を算出するに先立って、当該光切断線処理部221が実施してもよい。
以上、本実施形態に係る演算処理装置200の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
以上、本実施形態に係る管状体内表面検査装置10の構成について、詳細に説明した。本実施形態に係る管状体内表面検査装置10を利用することで、管状体の内表面を管周方向全周、管軸方向全長にわたって検査することが可能となり、微小な凹凸形状の欠陥や模様状の欠陥を、管状体撮像装置100に回転が生じているか否かに依らず、高精度で同時に検出することができる。また、本実施形態に係る管状体内表面検査装置10により、欠陥の発生位置を正確に特定することが可能となるため、鋼管等の管状体の生産性や歩留まりの向上や、品質保証に大きく寄与することができる。
<管状体内表面検査方法について>
続いて、図18を参照しながら、本実施形態に係る管状体内表面検査方法の流れを簡単に説明する。図18は、本実施形態に係る管状体内表面検査方法の流れの一例を示した流れ図である。
まず、管状体内表面検査装置10の管状体撮像装置100は、環状ビームを用いて処理対象物である管状体の内表面を撮像して、撮像画像を演算処理装置200に出力する。また、かかる撮像処理とあわせて、回転量測定装置130は、管状体撮像装置100に生じている回転を随時測定して、演算処理装置200に出力する。演算処理装置200が備える画像処理部203のA/D変換部211は、取得した撮像画像に対してA/D変換処理を行い、環状ビーム画像を生成する(ステップS101)。
次に、環状ビームセンター算出部213は、A/D変換部211が生成した環状ビーム画像を利用して環状ビーム画像の重心位置及び半径を算出し(ステップS103)、得られた算出結果を、座標変換部215に出力する。
続いて、座標変換部215は、算出された重心位置や半径等を利用して環状ビーム画像を座標変換し、光切断画像を生成する(ステップS105)。生成された光切断画像は、管状体の管軸方向に沿って、記憶部207等に設けられた画像メモリに順次格納されていく。
その後、縞画像フレーム生成部217は、生成された光切断画像を管状体の管軸方向に沿って順に配列して、縞画像フレームを生成する(ステップS107)。縞画像フレーム生成部217は、生成した縞画像フレームを、光切断線処理部221に出力する。
光切断線処理部221は、生成された縞画像フレームを利用し、各光切断線について、所定の閾値Th以上の輝度を有する画素の画素数、当該画素の輝度の総和及び光切断線の変位量を算出する(ステップS109)。これら算出結果が、光切断線特徴量として利用される。算出された光切断線特徴量は、深さ画像算出部223及び輝度画像算出部225にそれぞれ出力される。
深さ画像算出部223は、算出された光切断線特徴量(特に、光切断線の変位量に関する特徴量)を利用して、深さ画像を算出する(ステップS111)。また、輝度画像算出部225は、算出された光切断線特徴量(特に、閾値以上の輝度を有する画素の画素数に関する特徴量、及び、輝度の総和に関する特徴量)を利用して、輝度画像を算出する(ステップS111)。深さ画像算出部223及び輝度画像生成部225は、算出した各画像を、回転補正部227に出力する。
回転補正部227は、回転量測定装置130から出力された回転の方向及び大きさに関する情報に基づき、先だって説明した方法により、深さ画像及び輝度画像を補正する(ステップS113)。これにより、管状体撮像装置100の管周方向の回転によって生じている位置ズレを補正することが可能となる。回転補正部227は、補正された深さ画像及び輝度画像を、検出処理部229へと出力する。
その後、検出処理部229は、補正された深さ画像及び輝度画像を利用して、管状体の内表面に存在する欠陥部位を検出し、検出した欠陥部位の欠陥の種別及び有害度を特定する(ステップS115)。以上のような流れにより、管状体の内表面に存在する欠陥が検出されることとなる。
次に、図19を参照しながら、回転量測定装置130から出力された回転の方向及び大きさに関する情報を用いた回転判定処理の流れの一例について、簡単に説明する。図19は、回転の方向及び大きさに関する情報を用いた回転判定処理の流れの一例を示した流れ図である。
演算処理装置200の回転補正部227は、回転量測定装置130から出力された測定値を取得すると(ステップS121)、先だって説明したような方法により、検査開始点からの回転の向き及び大きさを特定する(ステップS123)。その後、回転補正部227は、特定した回転の向き及び大きさに関する情報を、撮像制御部201に随時出力する。
撮像制御部201は、特定された回転の大きさが所定の範囲内であるかを判断する(ステップS125)。ここで、特定された回転の大きさが所定の範囲内である場合(例えば、回転補正部227による回転補正処理で対処可能な範囲内である場合)には、撮像制御部201は、管状体撮像装置100の角度は適切であると判断し(ステップS127)、管状体撮像装置100による内表面の撮像処理を継続させる(ステップS129)。
一方、ステップS125において、特定された回転の大きさが所定の範囲外であると判断された場合には、撮像制御部201は、特定された回転の向き及び大きさを用いて、管状体撮像装置100の角度を制御する(ステップS131)。具体的には、撮像制御部201は、特定された回転方向及び回転の大きさを用いた駆動制御装置150をフィードバック制御し、管状体撮像装置100の角度を制御するとともに、回転量測定装置130から検出結果を出力させる。その後、撮像制御部201は、回転補正部227に、再度、回転の向き及び大きさを特定させて、撮像制御部201に出力させる。
続いて、撮像制御部201は、再度特定された回転の大きさを用いて、再度特定された回転の大きさが所定の範囲内であるかを判断する(ステップS133)。特定された回転の大きさが所定の範囲内である場合(例えば、回転補正部227による回転補正処理で対処可能な範囲内である場合)には、撮像制御部201は、管状体撮像装置100の角度は適切であると判断し(ステップS127)、管状体撮像装置100による内表面の撮像処理を継続させる(ステップS129)。一方、ステップS133において、特定された回転の大きさが所定の範囲外であると判断された場合には、撮像制御部201は、警告情報を出力して、撮像処理を停止させる(ステップS135)。これにより、管状体1の内表面の検出精度を維持したまま、検査処理を実施することが可能となる。
以上、本発明の第1の実施形態に係る管状体内表面検査装置及び管状体内表面検査方法について、詳細に説明した。
(第2の実施形態)
本発明の実施形態において着目する管状体内表面検査装置が備える管状体撮像装置は、管状体の軸方向に沿って移動しながら管状体の内表面に対して環状のレーザ光を照射することで、環状ビーム画像を複数撮像する。このためには、管状体撮像装置において、前述のように、照明機構とカメラ等の撮像装置とを同軸上に配置することが求められる。ここで、管状体の内径が比較的小さい場合には、レーザ光出力はそれほど高くなくともよく、また、撮像装置に求められる分解能もそれほど高くなくともよいため、比較的小型なレーザ光源及び撮像装置をガラス製等の透明の連結部材を用いて互いに連結することで、第1の実施形態で説明した方法により撮像及び検査を行うことが可能である。
しかしながら、管状体の内径が大きい場合には、レーザ光出力の高出力化や分解能の向上(すなわち、撮像画像の画素数の増加)を図るために、レーザ光源や撮像装置を大型化することが求められる。また、撮像視野を確保するために、撮像装置とレーザ光源との離隔距離も大きくなることから、照明機構及び撮像装置を連結する、より頑強な連結部材が必要となる。その結果、支柱等の連結部材が、例えば各種金属のような、レーザ光の波長にとって透明ではない素材となる他、場合によっては信号/電源ケーブル等が環状レーザ光照射を遮り、かつ、撮像視野も遮ることとなるため、環状ビーム画像に不感帯が生じてしまう。そのため、環状ビーム画像に不感帯が生じている場合であっても、管状体内面を全周囲にわたって検査して欠陥を検出することが可能な技術が求められることとなる。
以下に示す本発明の第2の実施形態では、環状ビーム画像に不感帯が生じている場合であっても、管状体内面を全周囲にわたって検査して欠陥を検出することが可能な欠陥検出装置及び欠陥検出方法について、詳細に説明する。
<管状体内表面検査装置の全体構成について>
本実施形態に係る管状体内表面検査装置10の全体構成は、図1に示した第1の実施形態に係る管状体内表面検査装置10の全体構成と同様の構成を有しているため、第1の実施形態との相違点を中心に説明する。
本実施形態に係る管状体内表面検査装置10は、管状体1の内表面を、管状体撮像装置100が管状体の内部に送入される際、及び、管状体の内部から送出される際の双方で管状体の内表面を撮像して、撮像の結果得られる画像を画像処理することにより、管状体1の内表面に表面欠陥(凹凸疵及び模様系の疵)が存在するか否かを検査する装置である。
本実施形態に係る管状体撮像装置100は、上記のように、管状体内部に送入される際に管状体1の内表面を撮像するとともに、管状体内部から送出される際にも管状体1の内表面を撮像する。
また、駆動制御装置150は、管状体撮像装置100を管状体内部に送入させるとともに、管状体撮像装置100が検査対象となる内表面の撮像を終了すると、管状体撮像装置100の送入動作を停止する。その後、駆動制御装置150は、管状体撮像装置100の中心軸を回転軸として管状体の管周方向に管状体撮像装置100を回転させる。その後、駆動制御装置150は、管状体撮像装置100を管状体内部から送出させる。以上のような一連の制御において、駆動制御装置150は、第1の実施形態と同様に、移動中の管状体撮像装置100に生じる管周方向の回転が所定の閾値角度以下となるように、管周方向の回転を抑制する制御を実施する。
また、演算処理装置200は、管状体撮像装置100によって生成された撮像画像を利用して縞画像フレームを生成し、この縞画像フレームに対して画像処理を行うことで、管状体1の内表面に存在している可能性のある欠陥を検出する装置である。
この際、本実施形態に係る演算処理装置200は、管状体撮像装置100において照明機構と撮像装置とを連結する連結部材に起因する不感帯をなくすように、送出時に撮像した撮像画像から生成された画像を利用して、送入時に撮像した撮像画像から生成された画像を補完する。これにより、送入時又は送出時に撮像した撮像画像に不感帯が存在する場合であっても、管状体の内表面を、全周囲にわたって検査することが可能となる。
<管状体撮像装置100の構成について>
また、本実施形態に係る管状体撮像装置100の構成についても、連結部材143が、レーザ光にとって透明ではない素材となる以外は、第1の実施形態に係る管状体撮像装置100と同様の構成を有し、同様の効果を奏するものであるため、第1の実施形態との相違点を中心に説明する。
本実施形態に係る管状体撮像装置100では、連結部材143等により撮像画像に不感帯が存在する可能性が高くなる。そこで、連結部材143の太さ(例えば、円柱状の連結部材143である場合には管径)は、環状ビームの照射領域(以下、「ビーム照射領域」とも称する。)が、環状ビームや撮像視野が連結部材143によって遮蔽される領域(以下、「遮蔽領域」とも称する。)よりも広くなるように設定する。また、連結部材143を複数本設置する場合には、遮蔽領域がなるべく狭くなるように本数を決定することが好ましい。
本実施形態に係る管状体撮像装置100は、駆動制御装置150によって管状体1の中心軸に略一致するように管軸方向に移動しながら、管状体1の内表面を送入時と送出時の双方で走査する。
ここで、駆動制御装置150は、送入時の管状体内表面の撮像が終了すると、連結部材143の本数に応じて管状体撮像装置100を管周方向に回転させる。この回転角の大きさは、管状体内表面に仮想的に設定した基準線を基準として考えた場合に、連結部材143の配置により生じる遮蔽領域が送入時と送出時とで異なる位置となるように(換言すれば、送入時における遮蔽領域と、送出時における遮蔽領域とが重ならないように)設定される。具体的には、連結部材143の本数が1本である場合には、駆動制御装置150は、管状体撮像装置100を管周方向に沿って例えば180°回転させる。また、駆動制御装置150は、連結部材143が等間隔に2本設置されている場合には、管状体撮像装置100を管周方向に例えば90°回転させ、等間隔に3本設置されている場合には、管周方向に例えば60°回転させる。また、図2Cに示したように、連結部材143が等間隔に4本設置されている場合には、駆動制御装置150は、管状体撮像装置100を管周方向に例えば45°回転させる。
<演算処理装置200の構成について>
本実施形態に係る演算処理装置200は、図1に示した第1の実施形態に係る演算処理装置200と同様に、撮像制御部201と、画像処理部203と、表示制御部205と、記憶部207と、を主に備える。
ここで、本実施形態に係る表示制御部205及び記憶部207については、第1の実施形態に係る演算処理装置200が備える表示制御部205及び記憶部207と同様の構成を有し、同様の効果を奏するものであるため、以下では詳細な説明は省略する。
また、本実施形態に係る撮像制御部201は、駆動制御装置150に対して、管状体撮像装置100の移動や回転を実施させるための制御信号を更に送出する以外は、第1の実施形態に係る撮像制御部201と同様の構成を有し、同様の効果を奏するものである。従って、以下では詳細な説明は省略する。
画像処理部203は、例えば、CPU、ROM、RAM、通信装置等により実現される。画像処理部203は、管状体撮像装置100(より詳細には、管状体撮像装置100のカメラ120)から取得した撮像データを利用して、縞画像フレームを生成する。その後、生成した縞画像フレームに対して、以下で説明するような画像処理を行い、測定対象物である管状体の内表面に存在する可能性のある欠陥を検出する。画像処理部203は、管状体1の内表面の欠陥検出処理を終了すると、得られた検出結果に関する情報を、表示制御部205に伝送する。
また、本実施形態に係る管状体撮像装置100が撮像した画像には、前述のように、連結部材143に起因する遮蔽領域が存在している。そこで、本実施形態に係る画像処理部203は、送入時に撮像した縞画像フレームから生成した画像を、送出時に撮像した縞画像フレームから生成した画像を利用して補完し、遮蔽領域の存在しない画像を生成した上で、内表面に存在する欠陥を検出する。
画像処理部203で実施される画像処理については、以下で改めて詳細に説明する。
<画像処理部203について>
続いて、図20を参照しながら、本実施形態に係る演算処理装置200が備える画像処理部203について、詳細に説明する。図20は、本実施形態に係る演算処理装置が有する画像処理部の構成を示したブロック図である。
本実施形態に係る画像処理部203は、図20に示したように、A/D変換部251と、環状ビームセンター算出部253と、座標変換部255と、縞画像フレーム生成部257と、画像算出部259と、検出処理部273と、を主に備える。
A/D変換部251は、例えば、CPU、ROM、RAM等により実現される。A/D変換部251は、カメラ120から出力された、送入時及び送出時の撮像画像をA/D変換し、デジタル多値画像データ(すなわち、環状ビーム画像)として出力する。かかるデジタル多値画像データは、記憶部207等に設けられた画像メモリに記憶される。これらのデジタル多値画像データを管状体の管軸方向に沿って順次利用することにより、後述するような縞画像フレームが形成される。
環状ビーム画像は、前述のように、管状体1の内表面の管軸方向に沿ったある位置において、管状体の内表面に照射された環状ビームを撮像したものである。環状ビーム画像は、予めカメラのゲインやレンズの絞りを適切に設定することにより、環状ビームが照射された部分が白く表示され、その他の部分は黒く表示されている濃淡画像になっている。また、環状ビームの円周上に重畳している凹凸が、管状体の内表面に存在する欠陥に関する情報を含んでいる。
ここで、本実施形態に係る環状ビーム画像は、図21に模式的に示したように、環状ビームが内表面に照射されているビーム照射領域と、連結部材143により環状ビームが遮蔽された不感帯である遮蔽領域と、が存在したものとなる。また、送入状態から送出状態へと切り替わる際に、管状体撮像装置100が管状体の管周方向に所定の角度回転する(図21では時計方向に45度回転している)ため、管状体内表面のある仮想的な基準点Kに着目すると、遮蔽領域の位置は送入時と送出時とで異なることとなる。
A/D変換部251は、カメラ120から出力された2種類の撮像画像に基づいて図21に模式的に示したような送入時及び送出時の環状ビーム画像をそれぞれ生成すると、生成した各環状ビーム画像に対応するデータを、後述する環状ビームセンター算出部253に出力する。
環状ビームセンター算出部253は、例えば、CPU、ROM、RAM等により実現される。環状ビームセンター算出部253は、A/D変換部251から出力された送入時及び送出時におけるそれぞれの環状ビーム画像について、環の重心位置と環の半径をそれぞれ算出する。
ここで、環の重心位置及び半径を算出する方法は、特に限定されるわけではなく、公知のあらゆる方法を利用することが可能である。環の重心位置及び半径を算出する方法の具体例としては、例えば、第1の実施形態で示したような2つの方法を挙げることができ、遮蔽領域の有無によらず利用することが可能である。
環状ビームセンター算出部253は、送入時及び送出時における各環状ビーム画像について環の重心位置及び半径を算出すると、環の重心位置及び半径に関する情報をそれぞれ生成して、後述する座標変換部255に出力する。
座標変換部255は、例えば、CPU、ROM、RAM等により実現される。座標変換部255は、算出された重心位置、及び、当該重心位置と環状ビームの照射部分との離隔距離に基づいて、環状ビーム画像の座標系を変換する。その後、座標変換部255は、環状ビームの照射部分を管状体の管周方向に展開した線分として表した光切断画像を生成する。
ここで、本実施形態に係る座標変換部255は、座標系の変換を行う際に、管状体内表面に仮想的に設定された基準点Kを基準として、変換処理を実施する。この基準点Kは、回転量測定装置130によって測定された、送入開始時における管状体撮像装置100の角度に対応する位置とすることが簡便である。この基準点Kは、管軸方向の各位置で撮像された環状ビーム画像の間で互いに同一の位置となるように選択される。
なお、送入開始時の環状ビーム画像上での基準点Kの座標が特定された場合、送出時の環状ビーム画像における基準点Kの位置は、送入時における基準点Kの座標を所定の角度回転させることで特定することができる。すなわち、送出開始時において回転量測定装置130から得られる回転角度の値と、送入開始時の回転角度と、の角度差が、時計方向を正方向としたときに+X度である場合には、送入時における基準点Kの位置を−X度回転させることで、送出時における基準点Kの位置を特定することができる。
図22は、送入時及び送出時に管状体撮像装置100によって撮像される環状ビーム画像を模式的に図示したものである。図21に示した例の場合、管状体撮像装置100は、時計方向に45度回転された後に送出時の環状ビーム画像が生成される。ここで、管状体撮像装置100の照明機構110及びカメラ120は一体に形成されているため、管状体撮像装置100の回転にあわせてカメラ120も回転することとなる。従って、図22に示した環状ビーム画像では、基準点Kは反時計方向に45度回転する。
座標変換部255は、基準点K(すなわち、送入開始時における回転角度=0度に対応する位置)を基準とした座標変換処理や、第1の実施形態で説明したような画像補間処理を終了すると、得られた光切断画像に対応する画像データを、記憶部207等に設けられた画像メモリに、管状体の管軸方向に沿って順次格納していく。
縞画像フレーム生成部257は、例えば、CPU、ROM、RAM等により実現される。縞画像フレーム生成部257は、記憶部207等に設けられた画像メモリから、管状体の管軸方向に沿って格納された光切断画像を順に取得する。その後、縞画像フレーム生成部257は、取得した各光切断画像を管状体の管軸方向に沿って順に配列して、送入時の縞画像フレーム及び送出時の縞画像フレームをそれぞれ生成する。
1つの縞画像フレームを構成する光切断画像の個数は、適宜設定すればよいが、例えば、256個の光切断画像で1つの縞画像フレームを構成するようにしてもよい。各光切断画像は、上述のように環状ビーム画像の撮像間隔毎(例えば、0.5mm間隔)に存在している。そのため、0.5mm間隔で撮像された環状ビーム画像に基づく、256個の光切断画像からなる1つの縞画像フレームは、管状体の内表面の全周を、管軸方向に沿って128mm(=256×0.5mm)の範囲で撮像した結果に相当する。
図23は、このようにして生成された送入時の縞画像フレームを模式的に示した説明図であり、図24は、このようにして生成された送出時の縞画像フレームを模式的に示した説明図である。
縞画像フレーム生成部257により生成される送入時及び送出時の縞画像フレームには、図23及び図24に示したように、管状体撮像装置100に設けられた連結部材143の本数に応じて、遮蔽領域が存在することとなる。また、各縞画像フレームの管周方向の原点は、座標変換部255により共通した基準点K(すなわち、送入開始時における回転角度=0度に対応する位置)を起点として座標変換が実施されているため、互いに等しい基準点となる。
縞画像フレーム生成部257は、送入時の縞画像フレーム及び送出時の縞画像フレームをそれぞれ生成すると、生成したこれらの縞画像フレームを、後述する画像算出部259に出力する。また、縞画像フレーム生成部257は、生成した各縞画像フレームに対応するデータに、当該縞画像フレームを生成した日時等に関する時刻情報を関連付けて、履歴情報として記憶部207等に格納してもよい。
画像算出部259は、例えば、CPU、ROM、RAM等により実現される。画像算出部259は、縞画像フレーム生成部257が生成した、送入時及び送出時における2種類の縞画像フレームに基づいて、管状体の内表面の凹凸状態を表す深さ画像と、管状体の内表面における環状ビームの輝度の分布を表す輝度画像と、を算出する。この画像算出部259は、図20に示したように、光切断線処理部261と、深さ画像算出部263と、輝度画像算出部265と、回転補正部267と、深さ画像補完部269と、輝度画像補完部271と、を備える。
光切断線処理部261は、例えば、CPU、ROM、RAM等により実現される。光切断線処理部261は、縞画像フレームに含まれる各光切断線について、光切断線の変位量(輝線の曲がり具合)、輝線の画素数及び輝度の総和に関する3種類の光切断線特徴量を算出する。
これら3種類の光切断線特徴量の算出方法については、第1の実施形態に係る光切断線処理部221が実施する算出方法と同様であるため、詳細な説明は省略する。
本実施形態に係る光切断線処理部261は、上記3種類の光切断線特徴量に加えて、遮蔽領域の位置を特定する処理を実施する。以下、遮蔽領域の位置を特定する処理について、詳細に説明する。
連結部材143による遮蔽領域ではカメラ120によって環状レーザ光が撮像されないため、図25に模式的に示したように、所定の閾値Thよりも輝度の大きい輝線は存在しない。従って、上記光切断線特徴量の算出過程において、遮蔽領域では輝線の画素数についての光切断線特徴量pj,mがゼロとなる。
そこで、本実施形態に係る光切断線処理部261は、それぞれの管周方向(X方向)位置における輝線の画素数に着目して、遮蔽領域の範囲を示す管周方向座標(X座標)を特定する。以下では、縞画像フレーム画像において、左から1番目に存在する遮蔽領域の開始位置Xs1s及び終了位置Xs1eを算出する場合を例にとって、説明を行うものとする。
光切断線処理部261は、送入時の環状ビーム画像を構成するN本の光切断線それぞれについて、遮蔽領域が開始するX座標の位置Xs1js、及び、遮蔽領域が終了するX座標の位置Xs1je(j=1〜N)を特定する。その上で、管状体撮像装置100に生じた振動の影響等で、遮蔽領域の開始位置及び終了位置にズレが生じる場合を考慮して、特定されたN個の遮蔽領域開始位置Xs1jsのうちの最小値をXs1sとするとともに、遮蔽領域終了位置Xs1jeの最大値をXs1eとする。
また、jライン目における左から1番目の遮蔽領域の開始位置Xs1js及び終了位置Xs1jeは、以下のようにして特定することができる。以下、遮蔽領域の開始位置Xs1js及び終了位置Xs1jeの特定方法を、図26を参照しながら具体的に説明する。
光切断線処理部261は、jライン目の光切断線の各X座標において、輝線の画素数pj,m(m=1〜M)に着目する。その上で、光切断線処理部261は、各X位置における輝線の画素数pj,mについて、pj,m=0となるX位置が出現するかを判断していく。pj,m=0となったX位置が存在した場合、光切断線処理部261は、その座標Xmを記憶するとともに、それ以降のX座標についてpj,m=0である状態の連続数をカウントしていく。ここで、図26に模式的に示したように、pj,m=0である状態の連続数が、所定の閾値THs(例えば、THs=10等)以上となった場合、光切断線処理部261は、記憶しておいたX座標Xmを、jライン目における左から1番目の遮蔽領域の開始位置Xs1jsとして特定する。
また、遮蔽領域の開始位置Xs1jsが特定された状態の中で、X方向に輝線の画素数を探索していくうちに、pj,m≠0となるX座標Xnが出現したとする。この場合、光切断線処理部261は、その座標Xnを記憶するとともに、それ以降のX座標についてpj,m≠0である状態の連続数をカウントしていく。ここで、図26に模式的に示したように、pj,m≠0である状態の連続数が、所定の閾値THs(例えば、THs=10等)以上となった場合、光切断線処理部261は、記憶しておいたX座標Xnの一つ手前のX位置を、jライン目における左から1番目の遮蔽領域の終了位置Xs1jeとして特定する。ここで、上記閾値THsは、連続数判定用の第3の閾値、及び、連続数判定用の第4の閾値の一例であり、第3の閾値と第4の閾値とが同一の値である場合に相当する。なお、上記説明では、遮蔽領域の開始位置を特定するために用いられる閾値THsと、遮蔽領域の終了位置を特定するために用いられる閾値THsとが同一の値である場合について示したが、これら2つの閾値は互いに異なる値であってもよい。
また、遮蔽領域の開始位置Xs1s及び終了位置Xs1eを決定する別の方法として以下のようにしてもよい。
jライン目の光切断線の各X座標において、座標位置を移動させながら、輝線の画素数pj,m(m=1〜M)の所定の左右k個分(例えば、k=3等)の平均値qj,m(m=1〜M)を順次求める(移動平均処理)。次に、求めた平均値qj,mが予め設定した閾値A(例えばA=0.5等)未満となるX座標位置を遮蔽領域の開始位置Xs1sとする。また、遮蔽領域の開始位置Xs1sが特定されており、かつ、求めた平均値qj,mが予め設定した閾値A以上となるX座標位置を遮蔽領域の終了位置Xs1eとする。なお、上記閾値Aは、移動平均判定用の第5の閾値の一例である。
以上のような処理をj=1〜Nの各光切断線に対して実施することで、光切断線処理部261は、左から1番目の遮蔽領域の開始位置Xs1s及び終了位置Xs1eを決定することができる。また、左から2番目以降の遮蔽領域についても、同様の処理を行うことで、遮蔽領域の開始位置や終了位置を決定することができる。
なお、光切断線処理部261は、遮蔽領域における光切断線の変位量についての光切断線特徴量Δdj,m、及び、遮蔽領域における輝度の総和についての光切断線特徴量Kj,mは、それぞれゼロとして取り扱う。
従って、例えば左から1番目の遮蔽領域について、輝線の画素数pj,mの二次元配列、輝線の輝度の総和Kj,mの二次元配列、及び、輝線の変位量Δdj,mの二次元配列は、それぞれ以下のようになる。
pj,m=0(j=1〜N,m=Xs1s,・・・,Xs1e)
Kj,m=0(j=1〜N,m=Xs1s,・・・,Xs1e)
Δdj,m=0(j=1〜N,m=Xs1s,・・・,Xs1e)
光切断線処理部261は、例えば図22に示したような、4本の連結部材143が映りこんだ送入時の環状ビーム画像に対応する縞画像フレームに対して、以上のような処理を実施することで、図23に示したように、4カ所の遮蔽領域それぞれの開始位置及び終了位置を特定することができる。
また、光切断線処理部261は、図24に例示した送出時の縞画像フレームについても、第1の実施形態と同様にして光切断線特徴量を算出する。しかしながら、送出時の縞画像フレームについては、遮蔽領域の開始位置及び終了位置を特定しなくともよい。ここで、送出時の縞画像フレームについて輝線の画素数pj,m=0であるX位置が出現すると、光切断線処理部261は、対応するX位置の輝度の総和Kj,m、及び、輝線の変位量Δdj,mをゼロとして取り扱う。
光切断線処理部261は、算出した光切断線特徴量のうち、光切断線の変位量Δdに関する特徴量を、後述する深さ画像算出部263に出力する。また、光切断線処理部261は、算出した光切断線特徴量のうち、輝度の総和K、及び、輝線の画素数pに関する特徴量を、後述する輝度画像算出部265に出力する。
更に、光切断線処理部261は、送入時の縞画像フレームに存在する各遮蔽領域の開始位置及び終了位置を示した情報(例えば図23におけるXs1s〜Xs4eを示した情報)を、後述する回転補正部267に出力する。
深さ画像算出部263は、例えば、CPU、ROM、RAM等により実現される。深さ画像算出部263は、光切断線処理部261が生成した光切断線特徴量(特に、変位量Δdに関する特徴量)に基づいて、送入時及び送出時のそれぞれについて、管状体の内表面の凹凸状態を表す深さ画像を算出する。以下では、送入時における深さ画像を、送入時深さ画像とも称することとし、送出時における深さ画像を、送出時深さ画像とも称することとする。
ここで、深さ画像算出部263が送入時深さ画像及び送出時深さ画像を算出する方法は、第1の実施形態に係る深さ画像算出部223が実施する深さ画像の算出方法と同様であるため、以下では詳細な説明は省略する。
深さ画像算出部263は、送入時深さ画像及び送出時深さ画像を算出すると、算出したこれらの画像に関する情報を、後述する回転補正部267に出力する。
輝度画像算出部265は、例えば、CPU、ROM、RAM等により実現される。輝度画像算出部265は、光切断線処理部261が生成した光切断線特徴量(特に、輝度の総和K及び輝線の画素数pに関する特徴量)に基づいて、送入時及び送出時のそれぞれについて、管状体の内表面における環状ビームの輝度の分布を表す輝度画像を算出する。以下では、送入時における輝度画像を、送入時輝度画像とも称することとし、送出時における輝度画像を、送出時輝度画像とも称することとする。
ここで、輝度画像算出部265が送入時輝度画像及び送出時輝度画像を算出する方法は、第1の実施形態に係る輝度画像算出部225が実施する輝度画像の算出方法と同様であるため、以下では詳細な説明は省略する。
輝度画像算出部265は、送入時輝度画像及び送出時輝度画像を算出すると、算出したこれらの画像に関する情報を、後述する回転補正部267に出力する。
ここで、本実施形態に係る管状体撮像装置100において、撮像処理を実施している際に、管状体1の管周方向に沿った回転が発生していない場合であれば、以下で図27を参照しながら説明するような補完処理を実施することで、連結部材143等によって生じた遮蔽領域に該当する部分を補完することが可能である。以下では、まず、深さ画像を例にとって、図27を参照しながら補完処理の概略を簡単に説明する。
深さ画像算出部263が算出した送入時深さ画像及び送出時深さ画像において、連結部材143による遮蔽領域に該当する部分は、画素値の変化が存在しない部分となっており、この部分からは管状体の内表面の凹凸状態に関する正確な知見を得ることができない。そこで、これら2種類の深さ画像を利用して、遮蔽領域の深さ情報を補完する処理が実施される。
以下では、図23、図24及び図27を参照しながら、深さ画像において左から1番目に存在する遮蔽領域に対応する部分の補完処理について、具体的に説明する。
本実施形態に係る管状体撮像装置100では、送入時の環状ビーム画像を撮像する状態から送出時の環状ビーム画像を撮像する状態へと切り替わる際に、管状体撮像装置100の全体が所定の角度だけ回転する。また、管状体撮像装置100では、先だって説明したように、ビーム照射領域が遮蔽領域よりも広くなるように、連結部材143の太さや配置位置が決定されている。
以上のような設定のために、本実施形態に係る管状体内表面検査装置10では、図23及び図24の縞画像フレームに示したように、送入時と送出時とでフレーム内で遮蔽領域の位置が変化することとなる。また、図23及び図24から明らかなように、ビーム照射領域が遮蔽領域よりも広いため、一方の縞画像フレーム(例えば送入時の縞画像フレーム)における遮蔽領域は、他方の縞画像フレーム(例えば、送出時の縞画像フレーム)における非遮蔽領域に包含されることとなる。
そこで、例えば図27に示したように、送出時深さ画像を利用して、送入時深さ画像の遮蔽領域を補完することで、遮蔽領域に対応する部分が存在しない深さ画像を生成することが可能となる。
図27では、左から1番目に存在する遮蔽領域を補完する処理について、模式的に図示している。
送入時の画像における遮蔽領域の開始位置Xs1s及び終了位置Xs1eは、光切断線処理部261により特定されている。そこで、送出時深さ画像を参照して、送入時深さ画像の遮蔽領域に対応する部分(Xs1s〜Xs1e)の深さ情報を取得し、送入時深さ画像の遮蔽領域に対応する部分に、取得した深さ情報を代入する。
ここで、管状体撮像装置100の動作からも明らかなように、送入時の縞画像フレームにおけるN本目の光切断線と、送出時の縞画像フレームにおける1本目の光切断線とが、同一の管軸方向位置に対応している。そこで、送入時深さ画像の1ライン目に対応する深さ情報を補完する場合には、送出時深さ画像のNライン目に対応する深さ画像を利用して、補完処理が実施される。同様に、送入時深さ画像のjライン目に対応する深さ情報を補完する場合には、送出時深さ画像の(N+1−j)ライン目に対応する深さ画像を利用して補完処理が実施される。
このような補完処理を、1ライン目〜Nライン目に対応する部分に対して実施することで、送入時深さ画像において左から1番目に存在する遮蔽領域の深さ情報を補完することができる。また、同様の補完処理を、左から2番目以降に存在する遮蔽領域に対応する部分にも適用することによって、送入時深さ画像に存在する全ての遮蔽領域に対応する部分の深さ情報を補完することができる。
更に、送入時輝度画像及び送出時輝度画像についても、同様の補完処理を実施することで、送入時輝度画像に存在する全ての遮蔽領域に対応する部分の深さ情報を補完することができる。
しかしながら、本発明で着目しているような、管状体撮像装置100が管軸方向に沿って移動している際に管状体の管周方向に回転が生じてしまう場合には、かかる補完処理に際しても、回転の補正を行うことが重要となる。
そこで、本実施形態に係る回転補正部267について説明するに先立ち、回転補正部267により実施される回転補正処理の意義について、図28〜図33を参照しながら、具体的に説明する。
図2Aに示したような管状体撮像装置100を管状体1の内部に送入して管軸方向の連続画像を取得する場合において、管状体撮像装置100の姿勢が管周方向に変化(回転)した場合には、疵や模様の連続性が消失する可能性があるとともに、連結部材143による遮蔽領域の逐次変化によって、遮蔽領域による疵の連続性消失が生じたり、疵そのものの撮像が不可能となる場合が生じたりする。
また、遮蔽領域があるがために、上記のような送入時と送出時とで管状体撮像装置100を回転させることで遮蔽領域の位置を変更したとしても、送出時は、送入時とは異なる回転挙動となる可能性が高いため、送出時の遮蔽領域は、送入時における未遮蔽領域と一致させることが不可能となる可能性が高い。送入時と送出時とで管状体撮像装置100の向きを回転により変更することで得られた画像から遮蔽領域のみを排除することは、必要検査部分も排除することとなり、好ましくない。
管状体撮像装置100を手動又は自動で送入/送出する場合において、上記のような走査中の回転が意図せずに生じてしまうことも考えられ、特に、手動で管状体撮像装置100を送入/送出する場合には、手動故に顕著な未検査領域の発生が生じてしまう可能性がある。そこで、管状体1の内表面について、全周・全長に亘って品質保証・管理に必要な定量的な疵検査をする場合には、管状体撮像装置100の姿勢を検知し、姿勢を制御することが重要となる。
いま、図28に模式的に示したように、管状体1の内表面の管周方向の一部に、矩形状の凸部及び三角状の凸部が、互いに45度の間隔で離隔した状態で、直線状に管軸方向の先端から後端まで一様に分布しているものとする。
まず、管状体撮像装置100(特に、照明機構110及びカメラ120からなる撮像プローブ)が管状体1の管周方向に回転することなく、管状体1の内面を管軸方向に沿って走査可能な場合を考える。
この場合、図29の上段に示したように、送入時には、矩形状の凸部が連結部材143bによって隠れてしまい、三角状の凸部のみが撮像されることとなる。また、送入時の撮像が終了すると、管状体撮像装置100は、管状体の管周方向に45度回転することとなるため、送出時には、三角状の凸部が連結部材143bによって隠れてしまう一方で、矩形状の凸部のみが撮像されるようになる。その結果、図30に模式的に示したような縞画像フレームが生成されることとなる。
この場合、管状体撮像装置100の管周方向の回転が存在しないため、送入時に撮像される三角状の凸部は、図30上段に示したように、各光切断線において同じ位置に存在することとなり、図30の上段に示したような縞画像フレームが得られることとなる。同様に、管状体撮像装置100の管周方向の回転が存在しないため、送出時に撮像される矩形状の凸部についても、図30下段に示したように、各光切断線において同じ位置に存在することとなり、図30の下段に示したような縞画像フレームが得られることとなる。
図30に示した図から明らかなように、このような場合には、三角状の凸部及び矩形状の凸部の管周方向位置の管軸方向に対する連続性は保持されており、このような凸部が所定の検出判定長さ以上に連続して存在している場合には、欠陥として検出されることとなる。
次に、図31〜図33を参照しながら、送入時及び送出時の双方において、管状体撮像装置100の姿勢が逐次変化する場合を考える。なお、以下では、管状体撮像装置100が、管状体1の内部への送入/送出時において、姿勢が3種類の状態へと変化する場合を取り上げる。
管状体撮像装置100は、管状体1の内部を移動する際に、自然回転が生じてしまい、管周方向に回転しているものとする。このため、管状体撮像装置100が管状体1の内部を移動するとともに、撮像画像内における2種類の凸部の位置が変化することとなる。
図31は、送入時における撮像画像の変化を模式的に示したものである。図31上段の図に示したような送入開始時には、三角状の凸部は、撮像画像の鉛直方向下方に存在しており、かつ、矩形状の凸部は、連結部材143によって遮蔽されている。この後、管状体撮像装置100が管状体1の内部を移動するのにあわせて、時計方向に45度の回転が生じたとする。その結果、図31中段の図に示したように、三角状の凸部は、連結部材143によって遮蔽されるとともに、送入開始時には連結部材143によって遮蔽されていた矩形状の凸部が、非遮蔽領域に現れるようになる。その後、管状体撮像装置100が時計方向に更に45度回転したとすると、図31下段の図に示したように、遮蔽されていた三角状の凸部は、再び非遮蔽領域に現れると共に、矩形状の凸部が、再び連結部材143によって遮蔽されるようになる。
送入時の走査が終了すると、管状体撮像装置100は、45度時計回りに回転されて、送出時の走査が開始されることとなる。図32は、送出時における撮像画像の変化を模式的に示したものである。図32上段の図に示したような送出開始時には、矩形状の凸部は、撮像画像の鉛直方向上方に存在しており、かつ、三角状の凸部は、連結部材143によって遮蔽されている。この後、管状体撮像装置100が管状体1の内部を移動するのにあわせて、時計方向に45度の回転が生じたとする。その結果、図32中段の図に示したように、矩形状の凸部は、連結部材143によって遮蔽されるとともに、送出開始時には連結部材143によって遮蔽されていた三角状の凸部が、非遮蔽領域に現れるようになる。その後、管状体撮像装置100が時計方向に更に45度回転したとすると、図32下段の図に示したように、遮蔽されていた矩形状の凸部は、再び非遮蔽領域に現れると共に、三角状の凸部が、再び連結部材143によって遮蔽されるようになる。
図31及び図32に模式的に示したような状態で生成される縞画像フレームの一例を、図33に示した。なお、図33では、送入時及び送出時共に、図28において三角状の凸部が存在している管周方向の位置を回転角度0度として、基準化している。図33から明らかなように、撮像される画像中に遮蔽領域が存在し、かつ、管状体撮像装置100において意図しない自然回転が生じたとすると、管状体1の内表面に存在する凸部の管周方向位置の管軸方向に対する連続性が消失するだけでなく、一部の凸部が遮蔽領域に埋没したり、埋没していた凸部が再び現れたりする結果となる。
このような状態の縞画像フレームから深さ画像及び輝度画像を生成し、先だって説明したような補完処理を実施したとしても、送入時から送出時へと切り替える際の管状体撮像装置100の回転、及び、送入時及び送出時での意図しない不連続回転により、本来の管周方向位置の管軸方向に対する連続性が失われるだけでなく、遮蔽領域への進入における長さ情報の欠落又は凸部の未撮影も生じることになる。また、管周方向位置の管軸方向に対する連続性が消失しているため、画像中に存在する凸部の長さが検出判定長さ未満となる場合も考えられ、本来は存在している凸部が見逃される場合も生じうる。
そこで、本実施形態に係る回転補正部267は、第1の実施形態で説明したような回転補正処理を実施して、送入時及び送出時での深さ画像及び輝度画像における管周方向位置の管軸方向に対する連続性を担保する。
かかる回転補正部267は、例えば、CPU、ROM、RAM等により実現される。回転補正部267は、深さ画像算出部263により算出された送入時及び送出時の深さ画像、並びに、輝度画像算出部265により算出された送入時及び送出時の輝度画像のそれぞれについて、回転量測定装置130により測定された回転の向き及び大きさを用いて、管周方向の回転に伴う位置ズレを補正する。
また、第1の実施形態で説明したような回転補正処理を実施することで、遮蔽領域の位置も補正前とは変化することとなる。従って、回転補正部267は、各深さ画像及び各輝度画像のみならず、光切断線処理部261により特定された、各画像における各遮蔽領域の開始位置及び終了位置を示した情報についても、同様に補正する。
なお、本実施形態で着目しているような、撮像画像中に遮蔽領域が存在する状況では、遮蔽領域の位置が、走査中の回転により視野内で変化してしまう。そのため、先だって説明したような補完処理を実施するためには、回転に伴って遮蔽領域が互いに干渉しないようにすることが重要である。
図34は、管状体の位置を固定して考えた場合における、送入開始時の連結部材143(図34において、黒色で示した位置の連結部材143)と、送出開始時の連結部材143(図34において、白色で示した位置の連結部材143)と、の位置関係を模式的に示したものである。図34において、送入開始時における連結部材143の位置と、送出開始時における連結部材143の位置と、の角度差をωとすると、回転に伴って遮蔽領域が互いに干渉しないようにするためには、走査時に生じてしまう回転の大きさをβとすると、β≦ω/2を満足することが重要となる。
走査時に生じてしまう回転の大きさβがω/2を超えると、送入時及び送出時の双方において、撮像されない内表面の領域が存在することとなってしまい、先だって説明したような補完処理を実施したとしても、管状体の全ての内表面を検査することが出来ない。
図35に、送入時に生成される深さ画像及び輝度画像を模式的に示し、図36に、送出時に生成される深さ画像及び輝度画像を模式的に示した。走査時に生じてしまう回転の大きさβが、β≦ω/2という関係を満足することで、一方の深さ画像/輝度画像(例えば送入時の深さ画像/輝度画像)における遮蔽領域は、他方の深さ画像/輝度画像(例えば、送出時の深さ画像/輝度画像)における非遮蔽領域に包含されることとなる。
回転補正部267は、これらの画像に対して、第1の実施形態で説明したような回転補正処理を実施することで、図37に示したような補正された送入時深さ画像及び送入時輝度画像と、図38に示したような補正された送入時深さ画像及び送出時輝度画像を生成する。
ここで、送入時及び送出時における深さ画像及び輝度画像の回転補正方法、並びに、各遮蔽領域の開始位置及び終了位置を示した情報の回転補正方法については、第1の実施形態で説明した回転補正方法と同様であるため、詳細な説明は省略する。
以上のような回転補正処理を終了すると、回転補正部267は、補正された送入時深さ画像と、補正された送出時深さ画像と、補正された各遮蔽領域の開始位置及び終了位置を示した情報と、を、深さ画像補完部269に出力する。また、回転補正部267は、補正された送入時輝度画像と、補正された送出時輝度画像と、補正された各遮蔽領域の開始位置及び終了位置を示した情報と、を、輝度画像補完部271に出力する。
なお、回転補正部267は、第1の実施形態と同様の方法で算出した回転の向き及び大きさに関する情報を、撮像制御部201に対して出力して、撮像制御部201による駆動制御装置150の管状体撮像装置100に対する回転制御に供するようにすることが重要である。撮像制御部201は、回転補正部267から出力された回転の向き及び大きさに関する情報を利用して、駆動制御装置150を第1の実施形態と同様にフィードバック制御することで、管状体撮像装置100の回転の大きさθがθ≦ω/2の関係を満足するように制御しながら、管状体撮像装置100を移動させることが可能となる。
また、撮像制御部201は、回転補正部267から出力された回転の大きさが、ω/2を超えた場合に、管状体撮像装置100が回転し過ぎている旨を警告する警告情報(例えば、警告音、警告表示、振動等のような、視覚、聴覚、触覚等に訴えかける警告情報)を出力するようにしてもよい。これにより、管状体内表面検査装置10の管理者は、管状体撮像装置100が回転し過ぎている旨をその場で把握することが可能となる。
深さ画像補完部269は、例えば、CPU、ROM、RAM等により実現される。深さ画像補完部269は、回転補正部267により補正された送入時深さ画像及び送出時深さ画像を利用して、深さ画像において遮蔽領域に対応する部分の補完処理を実施する。ここで、深さ画像補完部269により実施される補完処理は、回転補正部267により補正された送入時深さ画像及び送出時深さ画像を利用する以外は、図27を参照しながら説明した補完処理と同様であるため、詳細な説明は省略する。
なお、本実施形態で生成される深さ画像及び輝度画像は、送入開始時における管状体撮像装置100の姿勢を回転角度0度として基準化されているため、補正された各遮蔽領域の開始位置及び終了位置を示した情報を利用することで、送入時の画像における遮蔽領域と、送出時の画像における非遮蔽領域と、の位置関係を容易に対応づけることが可能である。そのため、図27を参照しながら説明した補完処理を、同様に実施することができる。
深さ画像補完部269は、以上説明したような補完処理により、遮蔽領域に対応する部分の深さ情報を補完すると、補完された深さ画像に関する情報を、後述する検出処理部273に出力する。また、深さ画像補完部269は、補完された深さ画像に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部207等に履歴情報として格納してもよい。更に、深さ画像補完部269は、補完された深さ画像に関する情報を表示制御部205に出力して、表示部(図示せず。)に出力させてもよい。
輝度画像補完部271は、例えば、CPU、ROM、RAM等により実現される。輝度画像補完部271は、回転補正部267により補正された送入時輝度画像及び送出時輝度画像を利用して、輝度画像において遮蔽領域に対応する部分の補完処理を実施する。ここで、輝度画像補完部271により実施される補完処理は、回転補正部267により補正された送入時輝度画像及び送出時輝度画像を利用する以外は、深さ画像補完部265による補完処理と同様であるため、詳細な説明は省略する。
輝度画像補完部271は、上記の補完処理により、遮蔽領域に対応する部分の輝度情報を補完すると、補完された輝度画像に関する情報を、後述する検出処理部273に出力する。また、輝度画像補完部271は、補完された輝度画像に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部207等に履歴情報として格納してもよい。更に、輝度画像補完部271は、補完された輝度画像に関する情報を表示制御部205に出力して、表示部(図示せず。)に出力させてもよい。
深さ画像補完部269及び輝度画像補完部271によって、上記のような補完処理が実施されることで、図39に模式的に示したような、補完された深さ画像及び輝度画像が生成されることとなる。
再び図20に戻って、本実施形態に係る検出処理部273について説明する。
本実施形態に係る検出処理部273は、例えば、CPU、ROM、RAM等により実現される。検出処理部273は、深さ画像補完部269により補完された深さ画像と、輝度画像補完部271により補完された輝度画像とに基づいて、管状体の内表面に存在する欠陥を検出する。
ここで、本実施形態に係る検出処理部273が実施する欠陥検出処理は、第1の実施形態に係る検出処理部229が実施する欠陥検出処理と同様のものであるため、以下では詳細な説明は省略する。
以上、本実施形態に係る演算処理装置200が有する画像処理部203の構成について、詳細に説明した。
なお、上記説明では、送入時深さ画像及び送入時輝度画像の遮蔽領域に対応する部分を、送出時深さ画像及び送出時輝度画像のビーム照射領域に対応する部分を利用して補完する場合について説明したが、逆の処理を行うことも可能である。
すなわち、光切断線処理部261は、送出時の縞画像フレームに着目して、送出時の縞画像フレームにおける遮蔽領域の開始位置及び終了位置を特定する。その上で、深さ画像補完部269及び輝度画像補完部271は、送入時深さ画像及び送入時輝度画像のビーム照射領域に対応する部分を利用して、送出時深さ画像及び送出時輝度画像の遮蔽領域に対応する部分を補完してもよい。
以上、本実施形態に係る演算処理装置200の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
以上、本実施形態に係る管状体内表面検査装置10の構成について、詳細に説明した。本実施形態に係る管状体内表面検査装置10を利用することで、管状体の内表面を管周方向全周、管軸方向全長にわたって検査することが可能となり、微小な凹凸形状の欠陥や模様状の欠陥を、高精度で同時に検出することができる。また、本実施形態に係る管状体内表面検査装置10により、欠陥の発生位置を正確に特定することが可能となるため、鋼管等の管状体の生産性や歩留まりの向上や、品質保証に大きく寄与することができる。
<欠陥検出方法について>
続いて、図40を参照しながら、本実施形態に係る管状体内表面検査方法の流れを簡単に説明する。図40は、本実施形態に係る管状体内表面検査方法の流れの一例を示した流れ図である。
まず、管状体内表面検査装置10の管状体撮像装置100は、プローブから照射される環状ビームを用いて、プローブの送入及びプローブの送出時に管状体の内表面を撮像して、プローブ送入時及びプローブ送出時の2種類の撮像画像を演算処理装置200に出力する。また、かかる撮像処理とあわせて、回転量測定装置130は、管状体撮像装置100に生じている回転を随時測定して、演算処理装置200に出力する。演算処理装置200が備える画像処理部203のA/D変換部251は、取得した2種類の撮像画像に対してA/D変換処理を行い、送入時環状ビーム画像及び送出時ビーム画像を生成する(ステップS201)。
次に、環状ビームセンター算出部253は、A/D変換部251が生成した送入時及び送出時の環状ビーム画像を利用して、各環状ビーム画像の重心位置及び半径を算出し(ステップS203)、得られた算出結果を、座標変換部255に出力する。
続いて、座標変換部255は、算出された重心位置や半径等を利用して、送入時環状ビーム画像及び送出時環状ビーム画像を座標変換し、光切断画像を生成する(ステップS505)。この際、座標変換部255は、送入時における管状体撮像装置100の姿勢を基準として座標変換処理を実施する。これにより、後段で生成される送入時及び送出時の縞画像フレームにおいて、各光切断線の管周方向の位置座標の原点を統一することが可能となる。生成された光切断画像は、管状体の管軸方向に沿って、記憶部207等に設けられた画像メモリに順次格納されていく。
その後、縞画像フレーム生成部257は、生成された光切断画像を管状体の管軸方向に沿って順に配列して、送入時及び送出時の縞画像フレームをそれぞれ生成する(ステップS207)。縞画像フレーム生成部257は、生成した縞画像フレームを、光切断線処理部261に出力する。
光切断線処理部261は、生成された送入時及び送出時の縞画像フレームを利用し、各光切断線について、閾値以上の輝度を有する画素の画素数、当該画素の輝度の総和及び光切断線の変位量を算出する(ステップS209)。これら算出結果が、光切断線特徴量として利用される。算出された光切断線特徴量は、深さ画像算出部263及び輝度画像算出部265にそれぞれ出力される。
また、光切断線処理部261は、上記光切断線特徴量の算出とあわせて、送入時の縞画像フレームについて、遮蔽領域の位置(すなわち、遮蔽領域の開始位置及び終了位置)を特定する(ステップS211)。その後、光切断線処理部261は、特定した遮蔽領域の位置に関する情報を、回転補正部267に出力する。
深さ画像算出部263は、算出された光切断線特徴量(特に、光切断線の変位量に関する特徴量)を利用して、送入時深さ画像及び送出時深さ画像を算出する(ステップS213)。また、輝度画像算出部265は、算出された光切断線特徴量(特に、閾値以上の輝度を有する画素の画素数に関する特徴量、及び、輝度の総和に関する特徴量)を利用して、送入時輝度画像及び送出時輝度画像を算出する(ステップS213)。深さ画像算出部263は、算出した送入時深さ画像及び送出時深さ画像を、回転補正部267に出力する。また、輝度画像算出部265は、算出した送入時輝度画像及び送出時輝度画像を、回転補正部267に出力する。
回転補正部267は、回転量測定装置130から出力された回転の向き及び大きさに関する情報に基づき、第1の実施形態で説明した方法により、送入時及び送出時における深さ画像及び輝度画像のそれぞれを補正する(ステップS215)。これにより、管状体撮像装置100の管周方向の回転によって生じている位置ズレを補正することが可能となる。また、回転補正部267は、光切断線処理部261により特定された、各画像における各遮蔽領域の開始位置及び終了位置を示した情報についても、同様に補正する。その後、回転補正部227は、送入時及び送出時における補正された深さ画像と、各画像における各遮蔽領域の開始位置及び終了位置を示した補正された情報と、を、深さ画像補完部269へと出力するとともに、送入時及び送出時における補正された輝度画像と、各画像における各遮蔽領域の開始位置及び終了位置を示した補正された情報と、を、輝度画像補完部271へと出力する。
次に、深さ画像補完部269は、補正された遮蔽領域の位置に関する情報と、補正された送出時深さ画像と、を利用し、送入時深さ画像の補完処理を実施する(ステップS217)。また、輝度画像補完部271は、補正された遮蔽領域の位置に関する情報と、補正された送出時輝度画像と、を利用し、送入時輝度画像の補完処理を実施する(ステップS217)。その後、深さ画像補完部269は、補完された深さ画像を検出処理部273に出力するとともに、輝度画像補完部271は、補完された輝度画像を、検出処理部273に出力する。
検出処理部273は、補完された深さ画像及び輝度画像を利用して、管状体の内表面に存在する欠陥部位を検出し、検出した欠陥部位の欠陥の種別及び有害度を特定する(ステップS219)。以上のような流れにより、管状体の内表面に存在する欠陥が検出されることとなる。
以上、本発明の第2の実施形態に係る欠陥検出装置及び欠陥検出方法について、詳細に説明した。
(第3の実施形態)
以上説明したような第1の実施形態及び第2の実施形態に係る管状体撮像装置100は、照明機構110として、環状のレーザ光を照射するレーザ光照射装置のみを有するものであった。以下で説明する第3の実施形態に係る管状体撮像装置100は、環状のレーザ光に加えて、円錐状の照明光(以下、「円錐状照明光」ともいう。)を照射する円錐状照明光源を更に有している。このような円錐状照明光源を更に有することで、微小な凹凸形状の疵に加えて、凹凸が無い表面粗度の異なる疵や微細な擦り疵を、地肌模様や汚れ等の過検要因と区別しながら、高精度で、かつ、同時に検出することができ、疵の発生位置を正確に把握することが可能となる。
<管状体内表面検査装置の全体構成について>
本実施形態に係る管状体内表面検査装置10の全体構成は、図1に示した第1の実施形態に係る管状体内表面検査装置10の全体構成、及び、第2の実施形態に係る管状体内表面検査装置の全体構成と同様の構成を有しているため、以下では詳細な説明は省略する。
<管状体撮像装置100の構成について>
また、本実施形態に係る管状体撮像装置100の構成についても、第1の実施形態に係る管状体撮像装置100、又は、第2の実施形態に係る管状体撮像装置100に対して、円錐状の照明光を照射する円錐状照明光源を更に有している以外は、第1の実施形態又は第2の実施形態に係る管状体撮像装置100とほぼ同様の構成を有し、ほぼ同様の効果を奏するものである。そのため、以下では、図41A〜図43Bを参照しながら、第1又は第2の実施形態との相違点を中心に説明する。
本実施形態に係る管状体撮像装置100は、図41A及び図41Bに示したように、第1又は第2の実施形態に係る管状体撮像装置100における照明機構110として、更に、円錐状照明光源115を有している。
円錐状照明光源115は、例えば400nm〜800nm程度の可視光帯域に属する波長を有する円錐状照明光を、管状体内表面の全周にわたって広がり(内表面での広がり幅:d)を持ちながら照射する光源である。円錐状照明光源115は、例えば図42に示したように、円環状の基台117の円周に沿って、照明光の照射方向を制御するためのレンズが設けられた発光素子119が、等間隔に複数配設されている。円錐状照明光は、それぞれの発光素子119から、円環状の基台117の中心に対して放射状に(すなわち、円環の径方向に外側に向かって)射出される。
円環状の基台117に設けられる発光素子119の個数や設置間隔は特に限定されるものではなく、着目する内表面の視野が所望の均一な明るさを有するように決定すればよい。また、図42に示したような複数の発光素子119の代わりに、照明光の照射方向を制御するためのレンズが設けられた1つのリング状の発光素子を用いても良い。
以上のようなレーザ光源111及び円錐状照明光源115は、互いに同心となるように、保持基板141に固定されている。
また、本実施形態に係るカメラ120に装着されるレンズの焦点距離や画角等は、特に限定するものではないが、管状体1の内表面に照射された環状レーザ光の内表面での反射光、及び、円錐状照明光の内表面での反射光のそれぞれが同一の視野内に位置するように選択される。
本実施形態に係るカメラ120は、同一視野内に結像している環状レーザ光の内表面での反射光、及び、円錐状照明光の内表面での反射光を、それぞれ撮像する。これにより、カメラ120は、環状レーザ光や円錐状照明光の内表面での反射光の強度を示すデータを特定することができる。管状体撮像装置100が管状体1の内部を一定距離進む毎にカメラ120で撮像を行う結果、カメラ120は、環状レーザ光の内表面での反射光の管周方向の分布や、円錐状照明光の内表面での反射光の管周方向の分布を特定することができる。
ここで、図41A及び図41Bに示したように、円錐状照明光の照射領域は、広がりdを有している。そのため、あるタイミングで、環状レーザ光及び円錐状照明光の反射光を同時に撮像したとすると、その後、環状レーザ光が距離dだけ管軸方向に進む間は、円錐状照明光の反射光を撮像しても撮像しなくてもよい。なぜなら、環状レーザ光が距離dだけ管軸方向に進む間の円錐状照明光の反射光は、環状レーザ光と同時に撮像した円錐状照明光の反射光を利用可能だからである。そこで、本実施形態に係る管状体撮像装置100では、環状レーザ光の反射光を撮像する毎に、円錐状照明光の反射光を毎回撮像するようにしてもよいし、環状レーザ光の反射光をdライン分撮像する間(環状レーザ光の照射部分が管軸方向にdだけ進む間)に、円錐状照明光の反射光を1回撮像するようにしてもよい。後者のような構成とすることによって、リソースをより効果的に使用することが可能となるため、処理のより一層の高速化を図ることが可能となる。
続いて、レーザ光源111、円錐状照明光源115及びカメラ120の位置関係について、説明する。本実施形態に係る管状体撮像装置100では、図41Aに模式的に示したように、管状体1の内表面での環状レーザ光の照射位置と、管状体1の内表面での円錐状照明光の照射位置と、が管状体の管軸方向の互いに異なる位置となるように、レーザ光源111及び円錐状照明光源115が配設されていてもよい。また、図41Bに模式的に示したように、管状体1の内表面での円錐状照明光の照射領域の内部に環状レーザ光の照射位置が含まれるように、レーザ光源111及び円錐状照明光源115が配設されていてもよい。
図41A及び図41Bに示した場合のいずれにおいても、円錐状照明光源115は、円錐状照明光が内表面に対して入射角φ2(φ2<90°)で入射するように配設されており、カメラ120は、円錐状照明光の正反射光が結像するように配設されている。すなわち、カメラ120は、内表面の法線方向とカメラ120の光軸とのなす角がφ2と略等しくなるように配設されている。この際、円錐状照明光が照射されている内表面の管軸方向の長さをdと表わすこととする。
ここで、管状体撮像装置100は、図41Aに示したような構成を採る場合、円錐状照明光源115は、上記の条件に加えて、入射角φ2が環状レーザ光の反射角φ1よりも大きくなる(すなわち、φ2>φ1が成立する)ように配設される。また、環状レーザ光の照射部分と、円錐状照明光の照射領域とは、これらの照射領域がカメラ120の同一視野内に位置する範囲で、なるべく離隔していることが好ましい。環状レーザ光の照射部分を、円錐状照明光の照射領域から離隔させることで、円錐状照明光が背景光になり生じる環状レーザ光のS/Nの低下を、抑制することが可能となる。
また、管状体撮像装置100は、図41Bに示したような構成を採る場合、上記の条件に加えて、φ1≒φ2が成立するように、円錐状照明光源115及びカメラ120は配設される。
また、レーザ光源111及び円錐状照明光源115から照射される各照明光の波長であるが、管状体撮像装置100が図41Aに示したような構成を採る場合には、環状レーザ光の波長、及び、円錐状照明光の波長は特に限定されるものではなく、環状レーザ光の波長と円錐状照明光の波長とが等しくても良い。なぜなら、環状レーザ光の照射位置と、円錐状照明光の照射位置と、がカメラ120の視野内で異なるように設定されているために、両者の反射光の撮像結果を容易に区別することが可能だからである。この場合、カメラ120としては、カラー撮像が可能なカラーカメラを使用しても良いが、モノクロカメラを使用する方が簡便である。
一方、管状体撮像装置100が図41Bに示したような構成を採る場合、環状レーザ光と、円錐状照明光と、は、カメラ120によって互いに区別されながら撮像され、それぞれの反射光強度を別々に特定可能なように、例えば、波長、照射タイミング、又は、偏光が互いに異なるものとすることが必要である。
環状レーザ光と円錐状照明光との波長が異なる場合には、透過帯域の異なるカラーフィルタにより、環状レーザ光の強度と円錐状照明光の強度とを、別々に測定可能である。また、環状レーザ光と円錐状照明光との照射タイミングが異なる場合には、それぞれの照明光が管状体内表面を照射するタイミングが時分割されることとなり、一方の照明光が内表面に照射されている際には、もう一方の照明光は内表面に照射されないこととなる。そこで、環状レーザ光の照射されるタイミングに撮影した画像と円錐状照明光の照射されるタイミングに撮影した画像とを別々に扱うことで、環状レーザ光の強度と円錐状照明光の強度とを別々に測定できる。また、環状レーザ光及び円錐状照明光の偏光が互いに異なるようにするためには、各光源の光軸上に、偏光方向の互いに直交する偏光子を配設すればよい。カメラ120にも互いに直交する検光子を配置することで、環状レーザ光の強度と円錐状照明光の強度とを別々に測定できる。
また、環状レーザ光及び円錐状照明光として、互いに波長の異なる可視光線を利用する場合には、環状レーザ光及び円錐状照明光の色相の組み合わせが、(赤・青)、(青・緑)、(赤・緑)のいずれかとなるように可視光光源を組み合わせることが好ましい。なお、可視光光源として連続スペクトルを有する光源を用いる場合には、発光波長の重なりが少なくなるような光源を選択することが好ましい。この場合、カメラ120として、公知のカラーカメラを利用することが簡便であり、好ましい。これにより、環状レーザ光の反射光及び円錐状照明光の反射光に含まれる赤成分、緑成分、青成分の大きさを、互いに独立して同時に測定することが可能となる。
なお、赤は波長600〜700nmの光を指し、緑は波長500〜560nmの光を指し、青は波長430nm〜500nmの光を指す。
図43A及び図43Bに、撮像される画像の一例を模式的に示した。本実施形態に係る管状体撮像装置100で生成される画像は、図43A及び図43Bに模式的に示したように、画像の中心部分には、照明機構の一部などが写り込む領域が存在しており、この領域の更に外側に、環状レーザ光の照射部分と、円錐状照明光の照射領域と、を含む管状体1の内表面が撮像された領域が存在する。以下では、本実施形態に係る管状体撮像装置100で撮像される2種類の照明光を利用した撮像画像を、管内表面画像とも称することとする。また、環状レーザ光と円錐状照明光との位置関係に応じて、図43Aに示したように、環状レーザ光の照射部分と、円錐状照明光の照射領域と、が分離した画像が得られたり、図43Bに示したように、環状レーザ光の照射部分が円錐状照明光の照射領域に包含される画像が得られたりする。この管状体の内表面に対応する領域のデータが、後述する画像処理装置200において利用されることとなる。
以上、図41A〜図43Bを参照しながら、本実施形態に係る管状体撮像装置100について説明した。
<演算処理装置200の構成について>
本実施形態に係る演算処理装置200は、図1に示した第1の実施形態に係る演算処理装置200、及び、第2の実施形態に係る演算処理装置200と同様に、撮像制御部201と、画像処理部203と、表示制御部205と、記憶部207と、を主に備える。
ここで、本実施形態に係る撮像制御部201、表示制御部205及び記憶部207については、第1又は第2の実施形態に係る演算処理装置200が備える撮像制御部201、表示制御部205及び記憶部207と同様の構成を有し、同様の効果を奏するものであるため、以下では詳細な説明は省略する。
画像処理部203は、例えば、CPU、ROM、RAM、通信装置等により実現される。画像処理部203は、管状体撮像装置100(より詳細には、管状体撮像装置100のカメラ120)から取得した撮像データを利用して、後述する2種類の画像フレームを生成する。その後、生成した2種類の画像フレームに対して、以下で説明するような画像処理を行い、測定対象物である管状体の内表面に存在する可能性のある欠陥を検出する。画像処理部203は、管状体1の内表面の欠陥検出処理を終了すると、得られた検出結果に関する情報を、表示制御部205に伝送する。
なお、第2の実施形態で説明したように、本実施形態に係る管状体撮像装置100が撮像した画像には、連結部材143に起因する遮蔽領域が存在している場合がある。そのため、本実施形態に係る画像処理部203は、管状体撮像装置100が撮像した画像に遮蔽領域が存在する場合、第2の実施形態で説明した方法を利用して、送入時に撮像した画像から生成した画像を、送出時に撮像した画像から生成した画像を利用して補完し、遮蔽領域の存在しない画像を生成した上で、内表面に存在する欠陥を検出する。
<画像処理部203について>
以下では、第1の実施形態に係る画像処理部203との相違点を中心に、図44〜図45Bを参照しながら、本実施形態に係る演算処理装置200が備える画像処理部203の構成を説明するが、第2の実施形態に係る画像処理部203に対しても、同様にして本実施形態に係る画像処理部203の構成を実現可能であることは、言うまでもない。
本実施形態に係る画像処理部203は、図44に示したように、A/D変換部281と、環状ビームセンター算出部283と、座標変換部285と、縞画像フレーム生成部287と、画像算出部289と、検出処理部301と、を主に備える。
A/D変換部281は、例えば、CPU、ROM、RAM等により実現される。A/D変換部281は、第1の実施形態に係るA/D変換部211と同様にして、カメラ120から出力された撮像画像をA/D変換し、デジタル多値画像データ(すなわち、管内表面画像)として出力する。かかるデジタル多値画像データは、記憶部207等に設けられた画像メモリに記憶される。これらのデジタル多値画像データを管状体の管軸方向に沿って順次利用することにより、後述するような光切断画像フレーム及び円錐状照明光画像フレームが形成される。
図43A及び図43Bに模式的に示したように、管内表面画像は、管状体1の内表面の管軸方向に沿ったある位置において、管状体の内表面に照射された環状レーザ光及び円錐状照明光の反射光を撮像したものである。管内表面画像は、予めカメラのゲインやレンズの絞りを適切に設定することにより、環状ビーム及び円錐状照明光が照射された部分が例えば白く表示され、その他の部分は黒く表示されているような濃淡画像となる。
A/D変換部281は、カメラ120から出力された撮像画像に基づいて、図43A又は図43Bに模式的に示したような管内表面画像を生成すると、生成した管内表面画像に対応するデータを、後述する環状ビームセンター算出部283に出力する。
環状ビームセンター算出部283は、例えば、CPU、ROM、RAM等により実現される。環状ビームセンター算出部283は、第1の実施形態に係る環状ビームセンター算出部213と同様にして、A/D変換部281から出力された各管内表面画像について、環状ビームに対応する環の重心位置と半径をそれぞれ算出する。
環状ビームセンター算出部283は、各管内表面画像について環の重心位置及び半径を算出すると、環の重心位置及び半径に関する情報をそれぞれ生成して、後述する座標変換部285に出力する。
なお、本実施形態においては、管状体1の内面の断面形状が真円に近い場合について説明しているが、任意の断面形状に対して適用可能であり、例えば、断面形状が楕円や角丸長方形等であってもよい。このような場合の重心は、環状ビームの形状から求めることが可能であり、求めた重心との距離の最大値と最小値の平均値を半径として用いることで、後述する座標変換を同じ手順で実施することができる。
座標変換部285は、例えば、CPU、ROM、RAM等により実現される。座標変換部285は、算出された重心位置、及び、当該重心位置と環状ビームの照射部分との離隔距離に基づいて、管内表面画像の座標系を変換する。その後、座標変換部285は、環状ビームの照射部分を管状体の管周方向に展開した線分として表した光切断画像を生成するとともに、円錐状照明光の照射領域を管状体の管周方向に展開した円錐状照明光画像を生成する。
環状ビームの重心位置が算出されることで、環状ビームの照射位置に対応する画素の存在位置を、重心位置を原点とした極座標(r,θ)で表すことができる。座標変換部285は、図43A及び図43Bに示したように、環状ビームセンター算出部283で算出された半径rに対して、動径方向に所定の余裕を設けたうえで、0°≦Ψ≦360°として、直交座標(rcosΨ,rsinΨ)への座標変換を実施する。
この際、管状体撮像装置100が図41Aに示したような構造を有している場合、管内表面画像における環状レーザ光や円錐状照明光の照射位置は、環状ビームの重心位置(半径rに対応する位置)に対して、図43Aに示したような位置関係となっている。そこで、座標変換部285は、図44Aに示したように、環状ビームセンター算出部283で算出された半径rに対して、動径方向に±Δrの余裕を設けた上で、動径方向のr−Δr〜r+Δr+dの範囲で、0°≦Ψ≦360°として座標変換を実施する。この際、余裕Δrの値は、環状ビームの照射部分を含む範囲で、プラス方向とマイナス方向とで異なった値であってもよい。かかる場合、例えば、座標変換を行う範囲は、r−Δr1〜r+Δr2などと表現することができる。ただし、本実施形態においては、プラス方向とマイナス方向とで同じ値Δrを用いる場合について、以降の説明を行う。
このような座標変換を行うことで、図44Aの右側に示したように、環状レーザ光照射部分については、動径方向には半径rを中心として2Δrの高さを有し、角度方向には360°分の長さを有する帯状の画像が抽出され、円錐状照明光照射領域については、動径方向にはdの高さを有し、角度方向には360°分の長さを有する帯状の画像が抽出される。以上の説明からも明らかなように、環状レーザ光照射部分から抽出された帯状の画像は、環状レーザ光の照射部分を管状体の管周方向に展開した線分(以下、「光切断線」とも称する。)を含むこととなる。また、動径方向に関して、半径rを中心として2Δrの範囲を抽出することで、環状ビームの周に凹凸が存在していたとしても、かかる凹凸を含む環状ビームの周をもれなく抽出することが可能となる。このようにして得られた帯状の画像を、以下では光切断画像と称する。
また、円錐状照明光照射領域から抽出された帯状の画像は、正反射条件を満たすようにカメラ120に結像した円錐状照明光の反射光に関する画像であり、円錐状照明光の正反射光の輝度分布を管状体の管周方向に展開した画像となっている。このようにして得られた帯状の画像を、以下では円錐状照明光展開画像と称することとする。
管状体撮像装置100が図41Aに示したような構造を有している場合、円錐状照明光照射領域と、環状レーザ光照射部分とは、予め互いに離隔量b+Δrで分離しているため、後述する光切断画像フレーム生成部287及び照明光輝度画像生成部297は、光切断画像と、円錐状照明光展開画像と、を容易に切り分けることが可能である。
なお、Δrの大きさは、離隔量b>0を満足するように、管状体1に存在しうる凹凸の高さの範囲を過去の操業データ等に基づいて予め大まかに算出しておくことで、決定することが可能である。
一方、管状体撮像装置100が図41Bに示したような構造を有している場合、管内表面画像における環状レーザ光や円錐状照明光の照射位置は、環状ビームの重心位置に対して、図43Bに示したような位置関係となっている。そこで、座標変換部285は、図44Bに示したように、環状ビームセンター算出部283で算出された半径rに対して、動径方向に±d/2の余裕を設けた上で、動径方向のr−d/2〜r+d/2の範囲で、0°≦Ψ≦360°として座標変換を実施する。
このような座標変換を行うことで、図44Bの右側に示したように、動径方向には半径rを中心として高さdを有し、角度方向には360°分の長さを有する帯状の画像が抽出される。
管状体撮像装置100が図41Bに示したような構造を有している場合、円錐状照明光照射領域と環状レーザ光照射部分とは、互いに重畳している。しかしながら、管状体撮像装置100が図41Bに示したような構造を有している場合、円錐状照明光と環状レーザ光とは、互いに区別可能なように選択されているため、後述する光切断画像フレーム生成部287及び照明光輝度画像生成部297は、光切断画像と、円錐状照明光展開画像と、を容易に分離することが可能となる。
上述のような管状体撮像装置100により撮像された管内表面画像は、約300画素に相当する半径rを有する環を含むこととなる。そこで、r=300画素、Δr=25画素として、0°≦Ψ≦360°の範囲で光切断画像の抽出を行うと、横2041画素×高さ50画素の光切断画像が生成されることとなる。また、d=25画素とすると、横2041画素×高さ50画素の正反射展開画像が生成されることとなる。なお、このときの画素サイズは、横0.5mm×縦0.5mmである。
なお、先だって説明したように、本実施形態に係る管状体撮像装置100は、円錐状照明光の照射領域を、環状レーザ光の反射光を撮像する毎に毎回撮像する(すなわち、円錐状照明光が毎回照射される)ようにしてもよいし、環状レーザ光が管軸方向にdだけ進む間に1度だけ円錐状照明光の照射領域を撮像する(すなわち、円錐状照明光を、環状レーザ光が管軸方向にdだけ進む間に1度だけ照射させる)ようにしてもよい。そのため、後者のような円錐状照明光源の照射制御を行っている場合には、円錐状照明光が照射されていない際の管内表面画像には、円錐状照明光の照射領域が存在しないこととなる。その場合、座標変換部285は、環状レーザ光の照射部分のみに対して、上記のような座標変換処理を実施して、光切断画像を生成すればよい。
また、円錐状照明光が毎回照射されている場合においても、環状レーザ光が管軸方向にdだけ進む間の1度だけ、環状レーザ光の照射部分及び円錐状照明光の照射領域の双方に対して、上記のような座標変換処理を実施する一方で、その他の場合には、環状レーザ光の照射部分に対してのみ、上記のような座標変換処理を実施するようにしてもよい。
また、座標変換部285は、抽出された光切断画像及び円錐状照明光展開画像における各画素の座標(r,Ψ)を利用することで、光切断画像及び円錐状照明光展開画像に含まれる画素の座標を直交座標(rcosΨ,rsinΨ)に変換する。ここで、座標変換部285が実施する座標値の変換は、極座標系から直交座標系への変換であるため、極座標系における格子点(すなわち、画素の中心位置)が、直交座標系において必ず格子点に対応するとは限らず、非格子点に対応するものも存在することとなる。そこで、座標変換部285は、第1の実施形態と同様にして、直交座標系における非格子点の濃度(画素値)を補間するために、着目している点の近傍に位置する他の格子点の濃度に基づいて補間する、いわゆる画像補間法を併せて実施することが好ましい。
座標変換部285は、上述のような座標変換処理や画像補間処理を終了すると、得られた光切断画像及び円錐状照明光展開画像に対応する画像データを、記憶部207等に設けられた画像メモリに、管状体の管軸方向に沿って順次格納していく。
縞画像フレーム生成部287は、例えば、CPU、ROM、RAM等により実現される。縞画像フレーム生成部287は、第1の実施形態に係る縞画像フレーム生成部217と同様にして、記憶部207等に設けられた画像メモリから、管状体の管軸方向に沿って格納された光切断画像を順に取得する。その後、縞画像フレーム生成部287は、取得した各光切断画像を管状体の管軸方向に沿って順に配列して、縞画像フレームを生成する。
縞画像フレーム生成部287は、第1の実施形態で説明した方法と同様にして縞画像フレームを生成すると、生成した縞画像フレームを、後述する光切断線処理部291に出力する。また、縞画像フレーム生成部287は、生成した縞画像フレームに対応するデータに、当該縞画像フレームを生成した日時等に関する時刻情報を関連付けて、履歴情報として記憶部207等に格納してもよい。
画像算出部289は、例えば、CPU、ROM、RAM等により実現される。画像算出部289は、縞画像フレーム生成部287が生成した縞画像フレームに基づいて、管状体の内表面の凹凸状態を表す深さ画像と、管状体の内表面における環状ビームの輝度の分布を表す輝度画像と、を算出する。また、画像算出部289は、座標変換部285により生成された円錐状照明光展開画像を利用して、照明光輝度画像を生成する。この画像算出部289は、図44に示したように、光切断線処理部291と、深さ画像算出部293と、輝度画像算出部295と、照明光輝度画像生成部297と、回転補正部299と、を備える。
ここで、本実施形態に係る光切断線処理部291、深さ画像算出部293、及び、輝度画像算出部295は、第1の実施形態に係る光切断線処理部221、深さ画像算出部223、及び、輝度画像算出部295と同様の構成を有し、同様の効果を奏するものである。従って、以下では、これらの処理部について、詳細な説明は省略する。
照明光輝度画像生成部297は、例えば、CPU、ROM、RAM等により実現される。照明光輝度画像生成部297は、記憶部207等に設けられた画像メモリから、管状体の管軸方向に沿って格納された円錐状照明光展開画像を順に取得する。この際、縞画像フレーム生成部287によって光切断画像がdライン分配列される間に対応する円錐状照明光展開画像は、先だって言及したように、1ライン目の光切断画像と同時に撮像された円錐状照明光展開画像1枚分で対応することが可能である。そこで、照明光輝度画像生成部297は、dラインごとに円錐状照明光展開画像を取得して、取得した各円錐状照明光展開画像を管状体の管軸方向に沿って順に配列し、照明光輝度画像を生成する。
照明光輝度画像生成部297は、以上のようにして照明光輝度画像を生成すると、生成した照明光輝度画像を、後述する回転補正部299に出力する。また、照明光輝度画像生成部297は、生成した照明光輝度画像に対応するデータに、当該照明光輝度画像を生成した日時等に関する時刻情報を関連付けて、履歴情報として記憶部207等に格納してもよい。
回転補正部299は、例えば、CPU、ROM、RAM等により実現される。回転補正部299は、第1の実施形態で説明した方法と同様にして、深さ画像算出部293により算出された深さ画像、輝度画像算出部295により算出された輝度画像、及び、照明光輝度画像生成部297により生成された照明光輝度画像のそれぞれについて、回転量測定装置130により測定された回転の向き及び大きさを用いて、管周方向の回転に伴う位置ズレを補正する。
ここで、各画像に対して実施される回転補正処理の詳細については、第1の実施形態で説明した方法と同様であるため、以下では詳細な説明は省略する。照明光輝度画像に対しても、第1の実施形態と同様にして回転補正処理を施すことで、管周方向の回転に伴う位置ズレを補正することが可能となる。
回転補正部299は、以上説明したような回転補正処理を、深さ画像、輝度画像及び照明光輝度画像のそれぞれに対して実施すると、補正された深さ画像、輝度画像及び照明光輝度画像を、検出処理部301へと出力する。また、回転補正部299は、補正された深さ画像、輝度画像及び照明光輝度画像に関する情報を、当該情報を補正した日時等に関する時刻情報と関連づけて、記憶部207等に履歴情報として格納してもよい。更に、回転補正部299は、補正された深さ画像、輝度画像及び照明光輝度画像に関する情報を表示制御部205に出力して、表示部(図示せず。)に出力させてもよい。
更に、回転補正部299は、第1の実施形態と同様に、算出した回転の向き及び大きさに関する情報を、撮像制御部201に対して出力して、撮像制御部201による駆動制御装置150の管状体撮像装置100に対する回転制御に供するようにしてもよい。また、回転補正部299は、第1の実施形態と同様に、回転補正部299から出力された回転の大きさが、所定の基準閾値以上となった場合に、管状体撮像装置100が回転し過ぎている旨を警告する警告情報(例えば、警告音、警告表示、振動等のような、視覚、聴覚、触覚等に訴えかける警告情報)を出力するようにしてもよい。
検出処理部301は、例えば、CPU、ROM、RAM等により実現される。検出処理部301は、回転補正部299により補正された深さ画像、輝度画像及び照明光輝度画像に基づいて、管状体の内表面に存在する欠陥を検出する。
ここで、本実施形態に係る検出処理部301が実施する欠陥検出処理は、照明光輝度画像を更に利用する点を除いては、第1の実施形態に係る検出処理部229が実施する欠陥検出処理と同様のものであるため、以下では詳細な説明は省略する。
以上、本実施形態に係る演算処理装置200が有する画像処理部203の構成について、詳細に説明した。
以上、本実施形態に係る演算処理装置200の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
以上、本実施形態に係る管状体内表面検査装置10の構成について、詳細に説明した。なお、上記では、管状体撮像装置100が、環状レーザ光及び円錐状照明光の双方を利用して撮像処理を実施する場合について説明したが、管状体撮像装置100が円錐状照明光のみを利用し、照明光輝度画像のみを利用して検出処理を実施する場合についても、本実施形態に係る回転補正処理を同様に適用可能であることは、言うまでもない。
(第4の実施形態)
以上説明したような、第1〜第3の実施形態に係る管状体内表面検査装置10を、他の検査機器に装着することで、他の検査機器に対して、第1〜第3の実施形態に係る管状体内表面検査装置10の機能を付加することも可能である。以下では、API規格に従う油井管用鋼管に対して実施されるドリフト検査に利用されるドリフトゲージに対して、第1〜第3の実施形態に係る管状体内表面検査装置10の機能を付加する場合について、簡単に説明する。
API規格に従う油井管用鋼管(以下、単に「鋼管」ともいう。)は、その内径精度及び曲り精度を鋼管の全長に亘って検査するために、規格の外径に仕上げられたドリフトゲージを鋼管全長にわたって通過させる検査(いわゆるドリフト検査)を実施している。特に、大量生産される鋼管に対するドリフト検査では、ドリフトゲージを動力駆動する自動装置が使用される。かかる自動装置を用いてドリフトゲージを被検査鋼管の内部を通過させ、その後、ドリフトゲージを元の位置まで逆方向に通過させることで、ドリフト検査が行われる。
以下では、まず、図46を参照しながら、API規格に従う油井用鋼管に対して実施されるドリフト検査について、簡単に説明する。図46は、ドリフト検査について説明するための説明図である。
ドリフト検査は、油井用鋼管が規定の内径精度や曲がり精度を有しているか否かを検査する検査であり、API規格に従う外径に仕上げられたドリフトゲージを鋼管全長にわたって通過させる。ドリフトゲージが鋼管の内部を全長にわたって通過できた場合には、検査対象とした鋼管が所定のAPI規格に則っていることを意味し、ドリフトゲージが鋼管の内部を通過できなかった場合には、検査対象とした鋼管は、内径精度や曲がり精度がAPI規格を満たしていないことを意味する。
大量生産される鋼管に対するドリフト検査では、ドリフトゲージを動力駆動する自動装置が使用される。かかる自動装置を用いてドリフトゲージを被検査鋼管の内部を通過させ、その後、ドリフトゲージを元の位置まで逆方向に通過させることで、ドリフト検査が行われる。
ここで、ドリフト検査に用いられる典型的な自動装置は、例えば図46に示したように、被検査鋼管よりも長い全長のドリフトバーと、かかるドリフトバーの先端部に着脱可能に設けられたドリフトゲージと、から構成されている。ドリフトバーは、鋼管軸方向に沿って水平移動が可能なように、複数のVローラーによって支持されている。かかる自動装置では、モータに接続された駆動ローラーを駆動させてドリフトバーを水平方向に移動させることで、ドリフトバーの先端に装着されたドリフトゲージを鋼管に通過させる。
本発明者は、このようなドリフトゲージを用いたドリフト検査と同時に鋼管内表面の検査を行うための方法について鋭意検討した結果、以下で説明するようなドリフトゲージに想到したのである。
<ドリフトゲージの全体構成について>
以下では、まず、図47を参照しながら、本実施形態に係るドリフトゲージの全体構成について、簡単に説明する。
本実施形態に係るドリフトゲージは、API規格に従う鋼管が規格に適切に則って製造されているかを検査するためのドリフト検査に用いられ、また、かかるドリフト検査と同時に、鋼管の内面検査を実施することが可能である。なお、以下の説明では、本実施形態に係るドリフトゲージを、油井用鋼管(鋼管)の検査に適用する場合を例に挙げるが、かかるドリフトゲージを、鋼管以外の各種管状体の検査に適用可能であることは、言うまでもない。
本実施形態に係るドリフトゲージは、図47に模式的に示したように、第1、第2又は第3の実施形態に係る管状体撮像装置100と、第1、第2又は第3の実施形態に係る駆動制御装置150(図示せず。)と、第1、第2又は第3の実施形態に係る演算処理装置200と、を有している。
ここで、ドリフトゲージは、図47に示したようなドリフトバーの先端部に着脱可能に設けられており、ドリフトゲージの長さLd及び直径Ddは、検査対象である鋼管SのAPI規格に則して予め設定される。
ドリフトゲージの鋼管Sに送入される側の先端部は、ドリフトゲージが鋼管Sの内部により確実に送入されるように、テーパ形状となっている。かかるドリフトゲージの先端部には、ドリフトバー及びドリフトゲージの中心軸と同軸となるように、第1、第2又は第3の実施形態に係る管状体撮像装置100が設けられる。ここで、第1、第2又は第3の実施形態に係る管状体撮像装置100は、ドリフトゲージの先端に装着されていても良いし、図47に模式的に示したように、管状体撮像装置100の一部がドリフトゲージの内部に位置するように設けられていても良い。
ここで、図47に示したように、管状体撮像装置100の一部がドリフトゲージの内部に位置する場合には、管状体撮像装置100からの環状ビームの照射が妨げられないようにすることが好ましい。従って、かかる場合には、管状体撮像装置100の照明機構110が位置する側の端部ではなく、管状体撮像装置100のカメラ120が位置する側の端部が、ドリフトゲージの内部に位置することが好ましい。また、かかる配置の場合には、環状ビームを撮像するカメラ120がドリフトゲージの内部に位置することとなるが、カメラ120の視線を妨げないようにドリフトゲージの先端部に逆テーパ形状の開口部を設け、かかる開口部を介して管状体撮像装置100の一部をドリフトゲージ内に配設することが好ましい。
演算処理装置200は、図47に模式的に示したように、ドリフトゲージの内部に設けられていても良い。本実施形態に係る演算処理装置200は、有線通信又は無線通信を介して、ドリフトゲージの外部に設けられた、ドリフト検査ラインを管理する管理サーバ等の外部サーバと、相互に通信を行うことが可能である。
また、本実施形態に係る演算処理装置200は、その一部がドリフトゲージの内部に実装され、残りがドリフトゲージ10の外部に、各種コンピュータやサーバ等といった情報処理装置の形態で設けられていても良い。また、本実施形態に係る演算処理装置200は、ドリフトゲージの外部に設けられていても良い。
なお、演算処理装置200の一部又は全てがドリフトゲージの外部に設けられる場合であっても、2以上の演算処理装置間の相互通信や、管状体撮像装置100と演算処理装置200との間の相互通信は、有線通信又は無線通信により実施することが可能である。
なお、図47に示した例において、有線通信により装置間の相互通信を実現する場合には、通信ケーブルを、ドリフトゲージやドリフトバーの内部を通過させて、外部へと導くことが考えられる。しかしながら、実際のドリフト検査工程において、かかる通信ケーブルは操業の妨げになると考えられるため、装置間の相互通信は、無線LAN、Bluetooth、Wi−Fi等といった各種の無線通信により実現されることが好ましい。
また、演算処理装置200の機能を分散させて実装する場合、演算処理装置200の機能のうち、どの機能までをドリフトゲージの内部に実装させるかについては、適宜設定することが可能である。この際に、ドリフトゲージの内部に実装させる機能については、外部との相互通信の通信速度や管状体撮像装置100のフレームレート等に応じて決定することが好ましい。
<管状体撮像装置100の構成について>
次に、本実施形態に係るドリフトゲージに対して着脱可能に設けられる管状体撮像装置100の構成について説明する。
本実施形態に係る管状体撮像装置100は、先だって言及しているように、ドリフトゲージの先端部に設けられる。なお、ドリフトゲージによるドリフト検査を妨げないために、管状体撮像装置100の直径は、ドリフトゲージの直径Ddよりも小さくなるように設定される。
かかる管状体撮像装置100の構成については、第1、第2又は第3の実施形態に係る管状体撮像装置100の構成と同様であり、同様の効果を奏するものであるため、以下では、相違点を中心に説明を行うものとする。
本実施形態に係る管状体撮像装置100は、図48に模式的に示したように、鋼管Sの管端と、カメラ120の受光面(カメラ120に設けられたレンズの端面でもある。)との間の離隔距離Lが所定の閾値よりも大きい場合には、管状体撮像装置100が鋼管Sから離れていると判断する。かかる場合に、管状体撮像装置100は、環状ビームの照射を行わずにカメラ120による撮像処理のみを実施して、ドリフトゲージを中心として鋼管と当該鋼管の周囲を撮像した周囲撮像画像を、所定の時間間隔で複数生成する。
このようにして生成される周囲撮像画像の例を、図49に模式的に示した。周囲撮像画像は、図49に模式的に示したように、幅Wピクセル×高さHピクセルの画像である。図47に示したような管状体撮像装置100の構成上、周囲撮像画像の中心部には、照明機構110が位置することとなる。また、周囲撮像画像には、図49に示したように、鋼管Sの管端と、鋼管Sの内表面とが撮像されることとなる。
以下で説明する演算処理装置200は、このようにして得られる周囲撮像画像を利用して、鋼管Sとドリフトゲージとが適切な位置関係にあるか否かを判断したり、環状ビームの点灯・消灯を判断したりする。
また、本実施形態に係る管状体撮像装置100は、前述の離隔距離Lが所定の閾値Ls以下となった場合には、環状ビームの照射を開始するとともに、カメラ120による撮像処理は継続する。かかる閾値Lsは、図50に示すように環状ビームが鋼管Sの管端へと照射される位置に設定される。環状ビームが鋼管Sの内表面に結像することで、カメラ120は、鋼管Sの内表面での環状ビームの反射光を撮像することとなり、環状ビーム画像が生成されることとなる。
<演算処理装置200の構成について>
次に、本実施形態に係る演算処理装置200の構成について説明する。
本実施形態に係る演算処理装置200の全体構成については、第1〜第3の実施形態で説明した演算処理装置200の全体構成と同様であるため、以下では詳細な説明は省略する。
<画像処理部203の構成について>
続いて、図51〜図55Bを参照しながら、本実施形態に係る画像処理部203の構成について説明する。
本実施形態に係る画像処理部203は、第1、第2又は第3の実施形態に係る画像処理部203の構成に対して、以下で説明するようなレーザ照射位置判定部及びゲージ送入判定部を更に付加したものである。そのため、以下では、第1の実施形態に係る画像処理部203の構成との相違点を中心に、図51〜図55Bを参照しながら、簡単に説明する。なお、第2又は第3の実施形態に係る画像処理部203に対しても、同様にして本実施形態に係る画像処理部203の構成を実現可能であることは、言うまでもない。
本実施形態に係る画像処理部203は、第1の実施形態に係る画像処理部203が備えるA/D変換部211、環状ビームセンター算出部213、座標変換部215、縞画像フレーム生成部217、画像算出部219、及び、検出処理部229に加えて、レーザ照射位置判定部311及びゲージ送入判定部313を更に有している。
ここで、本実施形態に係るA/D変換部211、環状ビームセンター算出部213、座標変換部215、縞画像フレーム生成部217、画像算出部219、及び、検出処理部229は、第1の実施形態に係る各処理部と同様の構成を有し、同様の効果を奏するものであるため、以下では、画像算出部219が有する回転補正部227について、簡単な説明を行うとともに、その他の処理部については詳細な説明は省略する。
なお、本実施形態に係る画像算出部219における深さ画像算出部223及び輝度画像算出部225は、第1の実施形態において説明したように、生成した深さ画像と輝度画像とを、回転補正部227に出力する。また、深さ画像算出部223及び輝度画像算出部225は、生成した深さ画像及び輝度画像に対応するデータに、当該深さ画像と輝度画像を生成した日時等に関する時刻情報を関連付けて、履歴情報として記憶部207等に格納してもよい。
また、本実施形態に係る回転補正部227は、例えば、CPU、ROM、RAM等により実現される。回転補正部227は、第1の実施形態で説明した方法と同様にして、深さ画像算出部223により算出された深さ画像、及び、輝度画像算出部225により算出された輝度画像のそれぞれについて、回転量測定装置130により測定された回転の向き及び大きさを用いて、管周方向の回転に伴う位置ズレを補正する。
ここで、各画像に対して実施される回転補正処理の詳細については、第1の実施形態で説明した方法と同様であるため、以下では詳細な説明は省略する。得られた深さ画像及び輝度画像に対して、第1の実施形態と同様にして回転補正処理を施すことで、管周方向の回転に伴う位置ズレを補正することが可能となる。
回転補正部227は、以上説明したような回転補正処理を、深さ画像、輝度画像のそれぞれに対して実施すると、補正された深さ画像、輝度画像を、検出処理部229へと出力する。また、回転補正部227は、補正された深さ画像、輝度画像に関する情報を、当該情報を補正した日時等に関する時刻情報と関連づけて、記憶部207等に履歴情報として格納してもよい。更に、回転補正部227は、補正された深さ画像、輝度画像に関する情報を表示制御部205に出力して、表示部(図示せず。)に出力させてもよい。
更に、回転補正部227は、第1の実施形態と同様に、算出した回転の向き及び大きさに関する情報を、撮像制御部201に対して出力して、撮像制御部201による駆動制御装置150の管状体撮像装置100に対する回転制御に供するようにしてもよい。また、回転補正部227は、第1の実施形態と同様に、回転補正部227から出力された回転量が、所定の基準閾値以上となった場合に、管状体撮像装置100が回転し過ぎている旨を警告する警告情報(例えば、警告音、警告表示、振動等のような、視覚、聴覚、触覚等に訴えかける警告情報)を出力するようにしてもよい。
レーザ照射位置判定部311は、例えば、CPU、ROM、RAM、通信装置等により実現される。レーザ照射位置判定部311は、A/D変換部211から出力された周囲撮像画像を参照し、かかる周囲撮像画像での輝度分布によって鋼管Sの外径を検出した結果に基づいて、管状体撮像装置100が環状ビームの照射を開始すべき位置まで到達したか(換言すれば、環状ビームが照射されるであろう照射方向(管状体撮像装置100の中心軸に対して垂直な方向)に鋼管Sの内表面が位置しているか)を判断する。
かかるレーザ照射位置判定部311におけるレーザ照射位置判定処理の詳細について、図52及び図53を参照しながら説明する。
本実施形態に係るドリフトゲージを用いて、ドリフト検査と並行して鋼管Sの内表面の検査を行う場合に、ドリフトゲージの移動開始とともに環状ビームの照射を開始しても良いが、ドリフトゲージが鋼管Sから離れている状態で環状ビームの照射を開始してしまうと、操業の安全上好ましくないことが多い。一方、図52に模式的に示したように、ドリフトゲージの移動開始とともに撮像され始める周囲撮像画像において、鋼管Sの端部との離隔距離Lが小さくなるほど、周囲撮像画像での鋼管Sに対応する領域の面積は増加していく。
そこで、本実施形態に係るレーザ照射位置判定部311は、周囲撮像画像における鋼管Sに対応する領域の大きさに着目することで、ドリフトゲージが鋼管Sの管端にどれほど近づいたかを見積もって、ドリフトゲージが環状ビームの照射を開始すべき位置に到達したか否かを判断する。
ここで、ドリフト検査が実施される環境を考えてみると、ドリフト検査が実施される周囲は、各種の照明によってある程度の明るさが維持されている一方で、鋼管Sの内表面は、鋼管Sの内部に位置しているが故に周囲の環境光が届かず、周囲よりも暗くなって撮像されると考えられる。また、A/D変換部211から出力された画像が、周囲撮像画像ではなく環状ビーム画像である場合、撮像画像における輝度の分布は、周囲撮像画像とは大きく異なることから、周囲撮像画像と環状ビーム画像とを区別することは容易である。
そこで、本実施形態に係るレーザ照射位置判定部311は、A/D変換部211から出力された画像について輝度の分布に着目する。その上で、レーザ照射位置判定部311は、出力された画像が周囲撮像画像であると判断された場合に、周囲撮像画像の輝度の分布に着目して、ドリフトゲージが環状ビームの照射を開始すべき位置に到達したか否かを判断する。
より詳細には、本実施形態に係るレーザ照射位置判定部311は、周囲撮像画像における所定の監視方向について輝度分布を特定し、かかる監視方向について、輝度に関する所定の閾値に基づき、設置されている鋼管Sの外径に対応する位置を検出する。その後、レーザ照射位置判定部311は、検出した鋼管Sの外径の大きさが所定の閾値以上の値を有している場合に、管状体撮像装置100が環状ビームの照射を開始すべき位置まで到達したと判断する。
ここで、レーザ照射位置判定部311が着目するのは、鋼管Sの外径に対応する大きさであり、鋼管Sは、周囲撮像画像の中心を基準としてほぼ対称に撮像されていると考えられる。そこで、レーザ照射位置判定部311は、監視方向として、図52に示したように、周囲撮像画像の中心を通る一つの方向(図52では、周囲撮像画像の幅方向)に着目する。なお、監視方向は、上記のような監視方向に限定されるものではなく、例えば周囲撮像画像の高さ方向や対角線の方向を監視方向にするなど、他の監視方向を採用してもよい。
前述のように、ドリフト検査が実施される周囲の環境は鋼管Sに対応する部分よりも明るくなっており、鋼管Sの位置が適切ではなく周囲撮像画像にもう一方の管端が写っている場合には、もう一方の管端の部分も明るくなっていると考えられる。そこで、ドリフト検査が実施される場所の環境光を事前に検証する(具体的には、用いる管状体撮像装置100を利用して、環境光を実際に撮像してみる)ことで、輝度閾値Thを適切に決定することができる。その上で、レーザ照射位置判定部311は、周囲撮像画像の監視方向の両端(例えば、図53において、横軸座標の左端部及び右端部)から、対応する位置の輝度値と閾値Thとの大小比較を実施していく。レーザ照射位置判定部311は、輝度値が初めて閾値Th以下となった位置を、着目している監視方向での鋼管外径に対応する位置として検出することができる。
図53に示したように、着目している監視方向において、鋼管外径に対応している位置の内側に存在する領域の画素数Xdが、鋼管Sの外径の大きさに対応していると判断することができる。ここで、レーザ照射位置判定部311は、図52下段に示したように、環状ビームの照射方向(管状体撮像装置100の中心軸に対して垂直な方向)に鋼管Sの管端がちょうど位置している場合での周囲撮像画像における鋼管Sの外径の画素数Dpを、閾値として利用する。換言すれば、レーザ照射位置判定部311は、鋼管Sの管端とカメラ120の受光面との離隔距離LがLsである場合の周囲撮像画像における鋼管Sの外径の画素数Dpを、閾値として利用する。その上で、レーザ照射位置判定部311は、特定した画素数Xdが所定の閾値Dp以上である(Xd≧Dpが成立する)場合に、環状ビームの照射を開始すべき位置に到達したと判断する。
レーザ照射位置判定部311は、管状体撮像装置100が環状ビームの照射を開始すべき位置に到達したと判断した場合、その旨を撮像制御部201及び環状ビームセンター算出部213以降の処理部へと出力する。これにより、撮像制御部201は、管状体撮像装置100の照明機構110に対して、レーザ光の照射を開始させるための制御信号を出力し、環状ビームセンター算出部213以降の処理部は、環状ビームを撮像することで得られる環状ビーム画像に基づいて、鋼管Sの内表面の欠陥検出処理を開始する。
これにより、本実施形態に係るドリフトゲージでは、環状ビームを照射すべき必要最低限の間だけ環状ビームを照射することが可能となり、より安全な検査状況を実現することが可能となる。
また、レーザ照射位置判定部311は、管状体撮像装置100が環状ビームの照射を開始すべき位置に到達したと判断した以降も、A/D変換部211から随時出力される画像の輝度の分布に着目して、出力された画像が周囲撮像画像であるか、環状ビーム画像であるかを判断してもよい。その上で、A/D変換部211から出力される画像が、環状ビーム画像から周囲撮像画像に切り替わった場合に、管状体撮像装置100は鋼管Sの内部を通過したと判断し、その旨を撮像制御部201及び環状ビームセンター算出部213以降の処理部に出力してもよい。これにより、撮像制御部201は、レーザ光の照射を停止させる旨の制御信号を出力することができる。
なお、管状体撮像装置100が鋼管Sの内部を通過したか否かは、撮像制御部201が、管状体撮像装置100や駆動制御装置150等から出力されるPLG信号と、検査対象とすべき鋼管Sに関する鋼管の全長等の管理情報とに基づいて、管状体撮像装置100が鋼管の全長以上の長さを移動したか否かを判断することでも特定可能である。
また、レーザ照射位置判定部311は、上記と同様にして周囲撮像画像における鋼管Sの外径の大きさに着目することで、鋼管Sの管端とカメラ120の受光面との離隔距離Lが、後述するゲージ送入判定処理を実施すべき離隔距離LGとなったか否かを判定することができる。離隔距離Lの大きさがLGとなった場合、レーザ照射位置判定部311は、その旨をゲージ送入判定部313へと出力する。これにより、後述するゲージ送入判定部313において、ゲージ送入判定処理が実施されることとなる。
再び図51に戻って、ゲージ送入判定部313について、詳細に説明する。
ゲージ送入判定部313は、例えば、CPU、ROM、RAM、通信装置等により実現される。ゲージ送入判定部313は、A/D変換部211から出力された周囲撮像画像を参照し、かかる周囲撮像画像での輝度分布よって鋼管Sの設置位置を検出した結果に基づいて、鋼管Sがドリフトゲージを挿入可能な位置に適切に設置されているか否かを判断する。
かかるゲージ送入判定部313におけるゲージ送入判定処理の詳細について、図54〜図55Bを参照しながら説明する。
鋼管Sに対してドリフト検査を実施するドリフト検査ラインに対して鋼管Sが搬送される際に、鋼管Sの搬送が適切でなかったり、鋼管Sそのものに曲がり等が生じていたりする場合には、鋼管Sがドリフトゲージを挿入可能な位置に適切に位置しない場合がある。
その場合、周囲撮像画像では、例えば図54に模式的に示したように、照明機構110そのものは中心部に位置するものの、鋼管Sに対応する領域が周囲撮像画像の中心部から偏心することとなる。例えば、鋼管Sに曲がり等が生じている場合には、曲がりの方向に応じて、鋼管Sに対応する領域が上下方向(図54における高さHの方向)や、左右方向(図54における幅Wの方向)に偏心する。また、鋼管Sの搬送が適切ではなく、本来の位置に到達しなかった場合や本来の位置を通りすぎた場合には、鋼管Sに対応する領域が左右方向に偏心する。
そこで、本実施形態に係るゲージ送入判定部313は、レーザ照射位置判定部311から、離隔距離LがLGとなった旨の情報が出力されると、A/D変換部211から出力された、該当する位置での周囲撮像画像について輝度の分布に着目する。その上で、ゲージ送入判定部313は、かかる周囲撮像画像の輝度の分布に着目して、鋼管Sがドリフトゲージを挿入可能な位置に適切に位置しているか否かを判定する。
先だって説明したように、周囲撮像画像において鋼管Sに対応する領域が偏心する方向としては、周囲撮像画像における左右方向及び上下方向、並びに、この2つの方向の組み合わせで規定される方向が考えられる。そこで、本実施形態に係るゲージ送入判定部313は、例えば図54に示したように、互いに直交する2つの方向を監視方向とする。いま、便宜的に、周囲撮像画像の左右方向と平行な方向を、監視方向Aとし、周囲撮像画像の上下方向と平行な方向を、監視方向Bとする。なお、監視方向は、上記のような2つの監視方向に限定されるものではなく、例えば周囲撮像画像の対角線の方向を監視方向にするなど、他の監視方向を採用してもよい。
ゲージ送入判定部313は、鋼管Sの端部からの離隔距離が所定の値LGである場合の周囲撮像画像を取得すると、所定の輝度閾値Thに基づいて、鋼管Sに対応する領域と周囲との境界(すなわち、鋼管Sの外表面のエッジに対応する部分)を検出する。かかる境界検出処理は、図55A及び図55Bに示したように、2つの監視方向(監視方向A、監視方向B)のそれぞれについて実施される。なお、上記の値LGは、カメラ120の受光面から撮像プローブの先端の保持基板141までの距離に対してドリフトゲージが移動動作から停止に至る停止距離を加えた値以上となるように設定させる。
ここで、ゲージ送入判定部313は、周囲撮像画像の監視方向の両端(例えば、図55A及び図55Bにおいて、横軸座標の左端部及び右端部)から、対応する位置の輝度値と閾値Thとの大小比較を実施していく。その上で、ゲージ送入判定部313は、輝度値が初めて閾値Th以下となった位置を、着目している監視方向での鋼管外径に対応する位置として検出することができる。
2つの監視方向A,Bに関して、鋼管外径に対応している位置の内側に存在する領域が、鋼管Sに対応する部分であると判断することができる。そこで、ゲージ送入判定部313は、周囲撮像画像の中心(W/2,H/2に対応する位置)を基準として、鋼管Sの端部からカメラ120の受光面までの離隔距離がLGのとき、鋼管Sが最適な位置にある場合の撮像画像上の外径をDs(円中心は、画像中心に等しい。)とすると、鋼管Sに対応する領域の幅がDs〜Ds+αの範囲に収まっているか否かを判断する。ここで、直径がDdであるドリフトゲージが鋼管Sの中心からずれたとしても、先端に設けたテーパ形状の部分(直径DT)が鋼管Sの内部に送入されれば良いことを考慮して、許容範囲αの具体的な大きさが適宜決定される。実際には、(Dd−DT)/2で表わされる大きさが周囲撮像画像において何ピクセルに対応するかに応じて、αの値が決定される。
具体的には、ゲージ送入判定部313は、図55A及び図55Bに示したように、画像中心を通る監視方向Aにおいて、閾値Thで決定される鋼管背景領域(鋼管外径)の左側X1及び右側X2を検出するとともに、画像中心を通る監視方向Bにおいて、閾値Thで決定される鋼管背景領域(鋼管外径)の下側Y1及び上側Y2を検出する。その上で、ゲージ送入判定部313は、以下の式201〜式207で表わされる4つの条件が全て成立する場合に、鋼管Sがドリフトゲージを挿入可能な位置に適切に位置していると判断する。
W/2−(Ds+α)/2< X1 < W/2−Ds/2 ・・・(式201)
W/2−(Ds+α)/2< X2 < W/2−Ds/2 ・・・(式203)
H/2−(Ds+α)/2< Y1 < H/2−Ds/2 ・・・(式205)
H/2−(Ds+α)/2< Y2 < H/2−Ds/2 ・・・(式207)
ゲージ送入判定部313は、鋼管Sがドリフトゲージを挿入可能な位置に適切に位置していると判断した場合、その旨を撮像制御部201へと出力する。これにより、撮像制御部201は、ドリフトゲージの移動動作を継続させることができる。一方、ゲージ送入判定部313は、鋼管Sがドリフトゲージを挿入可能な位置に適切に位置していないと判断した場合、その旨を撮像制御部201へと出力する。その結果、撮像制御部201は、ドリフトゲージの移動動作を停止させるとともに、警告信号を外部に出力する。これにより、ドリフトゲージが鋼管Sの内部に送入されなかったり、ドリフトゲージが鋼管Sに衝突することで壊れてしまったりする等といった効率的な検査を阻害する要因を排除することができる。その結果、本実施形態に係るドリフトゲージを利用することで、効率的にドリフト検査及び鋼管内面検査を実施することが可能となる。
以上説明したように、本実施形態に係るレーザ照射位置判定部311及びゲージ送入判定部313では、周囲撮像画像における輝度の分布(輝度プロファイル)に着目することで、上記のような判定処理を行っている。ここで、周囲撮像画像において、環境光の輝度をより確実に高い値として、より正確に上記のような判定処理を行うために、鋼管Sの管端から鋼管内部を照明せずに周囲を照明するための別途の光源を設けても良い。
以上、本実施形態に係る演算処理装置200が有する画像処理部203の構成について、詳細に説明した。
以上、本実施形態に係る演算処理装置200の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
以上、本実施形態に係るドリフトゲージの構成について、詳細に説明した。本実施形態に係るドリフトゲージを利用することで、鋼管Sに対してドリフト検査を実施すると同時に、鋼管Sの内表面を周方向全周、全長にわたって検査することが可能となり、微小な凹凸形状の欠陥や模様状の欠陥を、高精度で同時に検出することができる。また、本実施形態に係るドリフトゲージにより、欠陥の発生位置を正確に特定することが可能となるため、鋼管Sの生産性や歩留まりの向上や、品質保証に大きく寄与することができる。
(ハードウェア構成について)
次に、図56を参照しながら、本発明の各実施形態に係る演算処理装置200のハードウェア構成について、詳細に説明する。
演算処理装置200は、主に、CPU901と、ROM903と、RAM905と、を備える。また、演算処理装置200は、更に、バス907と、入力装置909と、出力装置911と、ストレージ装置913と、ドライブ915と、接続ポート917と、通信装置919とを備える。
CPU901は、中心的な処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置913、又はリムーバブル記録媒体921に記録された各種プログラムに従って、演算処理装置200内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるバス907により相互に接続されている。
バス907は、ブリッジを介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バスに接続されている。
入力装置909は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置909は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、演算処理装置200の操作に対応したPDA等の外部接続機器923であってもよい。更に、入力装置909は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。ユーザは、この入力装置909を操作することにより、演算処理装置200に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置911は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプなどの表示装置や、スピーカ及びヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置911は、例えば、演算処理装置200が行った各種処理により得られた結果を出力する。具体的には、表示装置は、演算処理装置200が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置913は、演算処理装置200の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置913は、例えば、HDD(Hard Disk Drive)等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。このストレージ装置913は、CPU901が実行するプログラムや各種データ、及び外部から取得した各種のデータなどを格納する。
ドライブ915は、記録媒体用リーダライタであり、演算処理装置200に内蔵、あるいは外付けされる。ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体921に記録されている情報を読み出して、RAM905に出力する。また、ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体921に記録を書き込むことも可能である。リムーバブル記録媒体921は、例えば、CDメディア、DVDメディア、Blu−ray(登録商標)メディア等である。また、リムーバブル記録媒体921は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、又は、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体921は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。
接続ポート917は、機器を演算処理装置200に直接接続するためのポートである。接続ポート917の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート、RS−232Cポート等がある。この接続ポート917に外部接続機器923を接続することで、演算処理装置200は、外部接続機器923から直接各種のデータを取得したり、外部接続機器923に各種のデータを提供したりする。
通信装置919は、例えば、通信網925に接続するための通信デバイス等で構成された通信インターフェースである。通信装置919は、例えば、有線もしくは無線LAN(Local Area Network)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード等である。また、通信装置919は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は、各種通信用のモデム等であってもよい。この通信装置919は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置919に接続される通信網925は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、社内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本発明の各実施形態に係る演算処理装置200の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。