JP6481216B1 - 管状体内表面検査方法及び管状体内表面検査装置 - Google Patents

管状体内表面検査方法及び管状体内表面検査装置 Download PDF

Info

Publication number
JP6481216B1
JP6481216B1 JP2018552088A JP2018552088A JP6481216B1 JP 6481216 B1 JP6481216 B1 JP 6481216B1 JP 2018552088 A JP2018552088 A JP 2018552088A JP 2018552088 A JP2018552088 A JP 2018552088A JP 6481216 B1 JP6481216 B1 JP 6481216B1
Authority
JP
Japan
Prior art keywords
tubular body
image
annular
area camera
laser light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018552088A
Other languages
English (en)
Other versions
JPWO2018221653A1 (ja
Inventor
赤木 俊夫
俊夫 赤木
山地 宏尚
宏尚 山地
武男 中田
武男 中田
正樹 山野
正樹 山野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Nippon Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Corp filed Critical Nippon Steel Corp
Application granted granted Critical
Publication of JP6481216B1 publication Critical patent/JP6481216B1/ja
Publication of JPWO2018221653A1 publication Critical patent/JPWO2018221653A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G01B11/306Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces for measuring evenness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954Inspecting the inner surface of hollow bodies, e.g. bores

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】管状体の大きさに依らず、管状体の内表面をより高速、高分解能かつ簡便に検査すること。
【解決手段】管状体内表面検査方法は、レーザ光源から照射されたレーザ光を管状体の内表面の周方向に環状のレーザ光として反射する光学素子、環状のレーザ光が照射された領域を撮像して環状ビーム画像を生成するエリアカメラ、及び、レーザ光源とエリアカメラを連結して固定する連結部材を有する管状体撮像装置と、環状ビーム画像に対して画像処理を行う演算処理装置とを備える。エリアカメラは、管状体撮像装置を管状体へ送入し送出する間に、エリアカメラの全視野のうち、環状のレーザ光が連結部材によって遮蔽されない領域であって、エリアカメラの全視野のうち、エリアカメラが備える撮像素子の画素情報転送方向に対して直交する方向の端部にそれぞれに設定される端部領域に対応する部分を撮像することで、環状ビーム画像を複数生成する。
【選択図】図1

Description

本発明は、管状体内表面検査方法及び管状体内表面検査装置に関する。
鋼管のような金属管や樹脂製のパイプ等に代表される管状体の内表面を検査する管状体の内面検査は、特に鋼管のような金属管においては重要な検査項目の一つであり、通常は、管状体の製造工程とは別の工程を別途設けて、目視検査が行われている。
管状体の目視検査は、検査員の技量に負う部分が大きく、特に、管状体の内表面を検査する内面検査は、目視検査を十分に実施することが困難となる。そのため、特に、管状体の軸方向深部において、破廉恥な疵の流出や重大クレームが発生する可能性がある。また、検査手法によっては、検出困難となる管状体内表面の凹凸も存在するため、管状体の内表面を直接監視することが重要である。
このような管状体の内表面の検査方法として、光源の光を円錐ミラー又は円錐プリズムにより円盤状に照射させて、管状体内表面の反射光を撮像素子で撮像する撮像光学系を利用する方法がある。このような管状体の内表面の検査方法の一つに、以下の特許文献1〜特許文献3に開示されているような方法がある。
例えば以下の特許文献1には、光源の光を円錐ミラー又は円錐プリズムにより円盤状に照射する光源からなる照明光及び撮像センサによる撮像系により撮像光学系を構成し、かかる撮像光学系を一緒に逐次移動させながら、被検査物の内面に照射した照射光により得られる内面形状を表す光跡を撮像センサで撮像することで得られる光跡画像データから、撮像光学系の基準位置と被検査物内面との距離を逐次算出して被検査物内面形状を測定する技術が開示されている。
また、以下の特許文献2には、管状体の軸方向に沿って移動しながら管状体の内表面に対して環状のレーザ光を照射して得られる環状ビーム画像から光切断画像を得ることで、結果的に内表面の凹凸キズと模様系キズとを同時かつ個別に検出する装置が開示されている。
また、以下の特許文献3には、被検査体内面にリング状に広げたレーザ光を照射する光源部と、照射されたレーザ光の被検査体内面の反射光を撮像する撮像部と、を光学的に透明な管で同軸となるように配置し、撮像する際の透明管からのゴーストの発生を抑制するために、透明管に偏光の状態を制御する特性を付与した装置が開示されている。
特開2007−285891号公報 特開2012−159491号公報 特開2015−163844号公報
ここで、環状のレーザ光を撮像する際のフレームレートは、用いるカメラの性能で決まるため、高速に光切断画像を逐次得ることが困難である。一般的に、光切断画像の撮像には二次元エリアカメラを利用する。この場合、検査に必要な管状体内面のレーザ光照射領域以外の無駄な領域を含めて撮像が行われるため、撮像フレームレートを向上することは困難である。また、処理に必要のないデータの転送時間も必要となることから、一般的な二次元エリアカメラは、高速な検査を実施したい場合には不適である。
また、例えば内径250mm以上の中径管とも呼ばれる管状体を検査するためには、撮像画像の分解能を確保しながら(換言すれば、撮像画像のサイズを確保しながら)撮像するために、撮像画像のサイズを大きくする必要がある。そのため、結果としてフレームレートが低下してしまい、撮像に時間を要するようになってしまう。
また、実際に管状体の検査を行う際には、光源を支持するための支持部材を用いることとなるが、エリアカメラにとっては、かかる支持部材によって環状のレーザ光が遮蔽されて、未撮像領域が発生してしまう。
上記の未撮像領域の発生に関して、上記特許文献1及び特許文献3に開示されている技術では、光源を支持するための支持部材の影を無くすことは出来るが、光源への電圧供給ケーブル等を完全に排除することは出来ない。そのため、上記特許文献1及び特許文献3に開示されている技術では、未撮像領域の縮小は出来ても、未撮像領域を完全に無くすことは出来ない。また、被検査物である管状体が大きくなって長尺となれば、光源と撮像部との間隔が広くなることから、上記特許文献1及び特許文献3に開示されている技術では、撮像光学系の強度を確保するために、光源及び撮像部を支持する支持部材を設ける必要が生じる。
上記特許文献2では、上記のような未撮像領域に関して、検査プローブの往路及び復路で撮像する領域をずらすようにして、未撮像領域を補完する技術が提案されている。ここで、上記特許文献2では、未撮像領域の補完に先だって、検査プローブの往路又は復路の撮像画像に基づき未撮像領域を特定する処理が行われており、処理が複雑化してしまう。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、管状体の大きさに依らず、管状体の内表面をより高速、高分解能かつ簡便に検査することが可能な、管状体内表面検査方法及び管状体内表面検査装置を提供することにある。
また、上記課題を解決するために、本発明のある観点によれば、管状体の内表面に存在する欠陥を検出する管状体内表面検査方法において、レーザ光を照射するレーザ光源、前記レーザ光源から照射されたレーザ光を前記管状体の内表面の周方向に環状のレーザ光として反射する光学素子、前記管状体の内表面の前記環状のレーザ光が照射された領域を撮像して、環状ビーム画像を生成するエリアカメラ、及び、前記レーザ光源と前記エリアカメラを連結して固定する連結部材を有する管状体撮像装置を用い、前記管状体撮像装置を、前記管状体の管軸方向に沿って移動させる移動ステップと、前記管状体撮像装置を移動装置で移動させ、前記管状体へ送入される状態から送出される状態へと切り替わる際に、前記連結部材の管軸に直交する面における位置が相違するように、前記管状体撮像装置を前記管状体の周方向に回転する回転ステップと、前記管状体撮像装置を前記管状体へ送入し送出する間に、前記エリアカメラの全視野のうち、前記環状のレーザ光が前記連結部材によって遮蔽されない領域であって、前記エリアカメラの全視野のうち、前記エリアカメラが備える撮像素子において当該撮像素子の各画素の電荷又は電圧に関する情報である画素情報が転送される方向である画素情報転送方向に対して直交する方向の端部にそれぞれに設定される端部領域に対応する部分を撮像することで、前記環状ビーム画像を複数生成する環状ビーム画像生成ステップと、前記管状体撮像装置を前記管状体へ送入し送出する間に、複数生成された前記環状ビーム画像に対して画像処理を行い、前記管状体の内表面に欠陥が存在するかを判断する演算処理ステップと、を有する管状体内表面検査方法が提供される。
前記環状ビーム画像は、前記管状体への送入時における前記環状ビーム画像と、前記管状体からの送出時における前記環状ビーム画像との間で、互いに一部重複する領域が存在することが好ましい。
前記演算処理ステップは、前記環状ビーム画像を用いて、前記環状のレーザ光の照射部分の重心位置と半径とを算出するステップと、前記重心位置並びに、前記重心位置及び前記環状のレーザ光の照射部分との離隔量に基づいて、前記環状ビーム画像の座標系を極座標変換し、極座標変換で得られた前記環状のレーザ光の照射部分に対応する線分である光切断線を含む光切断画像を生成するステップと、前記光切断画像を、前記管軸方向に沿って順に配列させた縞画像フレームに基づいて、前記管状体の内表面の凹凸状態を表す深さ画像と、前記管状体の内表面における前記環状のレーザ光の輝度分布を表す輝度画像とを算出するステップと、前記深さ画像及び前記輝度画像に基づいて、前記管状体の内表面に存在する欠陥を検出するステップと、を有することが好ましい。
上記課題を解決するために、本発明の別の観点によれば、管状体の内表面に存在する欠陥を検出する管状体内表面検査装置において、レーザ光を照射するレーザ光源、前記レーザ光源から照射されたレーザ光を前記管状体の内表面の周方向に環状のレーザ光として反射する光学素子、前記管状体の内表面の前記環状のレーザ光が照射された領域を撮像して、環状ビーム画像を生成するエリアカメラ、及び、前記レーザ光源と前記エリアカメラを連結して固定する連結部材を有する管状体撮像装置と、前記管状体撮像装置を、前記管状体の管軸方向に沿って移動させる移動装置と、前記管状体撮像装置を前記移動装置で移動させ、前記管状体へ送入される状態から送出される状態へと切り替わる際に、前記連結部材の管軸に直交する面における位置が相違するように、前記管状体撮像装置を前記管状体の周方向に回転する回転装置と、前記管状体撮像装置を前記管状体へ送入し送出する間に、複数生成された前記環状ビーム画像に対して画像処理を行い、前記管状体の内表面に欠陥が存在するかを判断する演算処理装置と、を備え、前記エリアカメラは、前記管状体撮像装置を前記管状体へ送入し送出する間に、前記エリアカメラの全視野のうち、前記環状のレーザ光が前記連結部材によって遮蔽されない領域であって、前記エリアカメラの全視野のうち、前記エリアカメラが備える撮像素子において当該撮像素子の各画素の電荷又は電圧に関する情報である画素情報が転送される方向である画素情報転送方向に対して直交する方向の端部にそれぞれに設定される端部領域に対応する部分を撮像することで、前記環状ビーム画像を複数生成する管状体内表面検査装置が提供される。
前記環状ビーム画像は、前記管状体への送入時における前記環状ビーム画像と、前記管状体からの送出時における前記環状ビーム画像との間で、互いに一部重複する領域が存在することが好ましい。
前記演算処理装置は、前記環状ビーム画像を用いて、前記環状のレーザ光の照射部分の重心位置と半径とを算出し、前記重心位置、並びに、前記重心位置及び前記環状のレーザ光の照射部分との離隔量に基づいて、前記環状ビーム画像の座標系を極座標変換し、極座標変換で得られた前記環状のレーザ光の照射部分に対応する線分である光切断線を含む光切断画像を生成し、前記光切断画像を、前記管軸方向に沿って順に配列させた縞画像フレームに基づいて、前記管状体の内表面の凹凸状態を表す深さ画像と、前記管状体の内表面における前記環状のレーザ光の輝度分布を表す輝度画像とを算出し、前記深さ画像及び前記輝度画像に基づいて、前記管状体の内表面に存在する欠陥を検出することが好ましい。
以上説明したように本発明によれば、管状体の大きさに依らず、管状体の内表面をより高速、高分解能かつ簡便に検査することが可能となる。
本発明の実施形態に係る管状体内表面検査装置の全体的な構成を模式的に示したブロック図である。 同実施形態に係る管状体撮像装置の構成の一例を模式的に示した説明図である。 同実施形態に係る管状体撮像装置の構成の一例を模式的に示した説明図である。 同実施形態に係る管状体撮像装置について説明するための説明図である。 同実施形態に係る管状体撮像装置について説明するための説明図である。 同実施形態に係る管状体撮像装置について説明するための説明図である。 同実施形態に係る管状体撮像装置について説明するための説明図である。 同実施形態に係る管状体撮像装置について説明するための説明図である。 同実施形態に係る管状体撮像装置について説明するための説明図である。 同実施形態に係る演算処理装置が有する画像処理部の構成の一例を示したブロック図である。 同実施形態に係る重心位置及び半径の算出処理について説明するための説明図である。 同実施形態に係る座標変換処理について説明するための説明図である。 同実施形態に係る部分縞画像フレームの生成処理の一例を示した説明図である。 同実施形態に係る縞画像フレームの生成処理の一例を示した説明図である。 同実施形態に係る光切断線処理について説明するための説明図である。 同実施形態に係る光切断線処理について説明するための説明図である。 同実施形態に係る光切断線変位の二次元配列を示した説明図である。 同実施形態に係る輝度の総和の二次元配列を示した説明図である。 同実施形態に係る輝線の画素数の二次元配列を示した説明図である。 光切断線の変位と欠陥の高さとの関係を示した説明図である。 同実施形態に係る光切断線の近似補正処理を説明するための説明図である。 同実施形態に係る欠陥検出処理で用いられるロジックテーブルの一例を模式的に示した説明図である。 同実施形態に係る管状体内表面検査方法の流れの一例を示した流れ図である。 同実施形態に係る演算処理装置のハードウェア構成の一例を模式的に示したブロック図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(管状体内表面検査装置の全体構成について)
まず、図1〜図2Bを参照しながら、本発明の実施形態に係る管状体内表面検査装置10の全体構成について説明する。図1は、本実施形態に係る管状体内表面検査装置10の構成の一例を示した説明図である。図2A及び図2Bは、本実施形態に係る管状体撮像装置の構成の一例を模式的に示した説明図である。
本実施形態に係る管状体内表面検査装置10は、管状体1の内表面を撮像して、撮像の結果得られる画像を画像処理することにより、管状体1の内表面を検査する装置である。本実施形態に係る管状体内表面検査装置10は、より詳細には、管状体1の内表面に表面欠陥(凹凸疵及び模様系の疵)が存在するか否かを検査する装置である。
なお、本実施形態に係る管状体1は、中空部を有する管状のものであれば、特に限定されるものではない。かかる管状体1の例として、スパイラル鋼管、電縫鋼管、UO鋼管、継目無鋼管(シームレス鋼管)、鍛接鋼管、TIG溶接鋼管等の各種鋼管に代表される金属管やパイプのみならず、熱間押出法で使用されるコンテナと称するシリンダー等の管状物を挙げることができる。
本実施形態に係る管状体内表面検査装置10は、図1に示したように、管状体1の内表面を撮像する管状体撮像装置100と、管状体撮像装置100の管軸方向に沿った移動を制御する駆動制御装置150と、撮像の結果得られる画像に対して画像処理を行う演算処理装置200と、を主に備える。
管状体撮像装置100は、管状体1の中空部に設置される。この管状体撮像装置100は、管状体1の管軸方向に沿って位置を随時変更しながら、当該管状体1の内表面を管軸方向に沿って順次撮像し、撮像の結果得られる撮像画像を、演算処理装置200に出力する装置である。管状体撮像装置100は、駆動制御装置150により管軸方向に沿った位置が制御されており、管状体撮像装置100の移動に伴いPLG(Pulse Logic Generator:パルス型速度検出器)等からPLG信号が演算処理装置200に出力される。また、管状体撮像装置100は、演算処理装置200によって、管状体1の撮像タイミング等が制御されている。
かかる管状体撮像装置100については、以下で改めて詳細に説明する。
駆動制御装置150は、図2A及び図2Bに示したような支持バー134によって、管状体撮像装置100の管軸方向の移動を制御する装置である。また、駆動制御装置150は、図示しない回転装置によって、管状体撮像装置100の管中心軸方向を回転軸とする管状体周方向の回転を制御する装置である。駆動制御装置150は、演算処理装置200による制御のもとで、管状体撮像装置100の管軸方向の移動や管状体周方向の回転といった動作の制御を行う。
より詳細には、駆動制御装置150は、管状体撮像装置100を支持する支持バー134の動作を制御し、支持バー134ごと管状体撮像装置100を管状体内部に送入し、その後送出させる。また、駆動制御装置150は、管状体撮像装置100が管状体内部へと送入される状態から送出される状態へと切り替わる際に、支持バー134に付随する回転装置の動作を制御し、かかる回転装置を回転させることで、支持バー134を回転させ、管状体撮像装置100を、管軸に直交する面内で管状体周方向に、所定角度だけ回転させる。この際、駆動制御装置150は、管状体撮像装置100の管状体周方向の回転が所定の閾値角度以下に抑制されるように、管状体周方向の回転を制御することが好ましい。
また、演算処理装置200は、管状体撮像装置100によって生成された撮像画像を利用して縞画像フレームを生成し、この縞画像フレームに対して画像処理を行うことで、管状体1の内表面に存在している可能性のある欠陥を検出する装置である。
かかる演算処理装置200についても、以下で改めて詳細に説明する。
(管状体撮像装置100の構成について)
続いて、図2A〜図5Bを参照しながら、本実施形態に係る管状体撮像装置100の構成について、詳細に説明する。図2A及び図2Bは、本実施形態に係る管状体撮像装置の構成の一例を模式的に示した説明図である。図3A〜図5Bは、本実施形態に係る管状体撮像装置について説明するための説明図である。
本実施形態に係る管状体撮像装置100は、図2A及び図2Bに模式的に示したように、照明機構110と、エリアカメラ120と、照明機構110及びエリアカメラ120のそれぞれが固定される保持基板131と、2つの保持基板131を連結する支柱である連結部材133と、を有する撮像ユニットからなる装置である。
ここで、図2Aは、本実施形態に係る管状体撮像装置100が、管状体1の内部へと送入される際を模式的に示したものであり、図2Bは、本実施形態に係る管状体撮像装置100が、管状体1の内部から送出される際を模式的に示したものである。図2A及び図2Bを比較すると明らかなように、本実施形態に係る管状体撮像装置100は、管状体の内部への送入と、管状体の内部からの送出と、の間において(特には、送入される状態から送出される状態へと切り替わる際に)、連結部材133の管軸方向に直交する面内における位置が相違するように、管状体の周方向に所定角度回転される。図2A及び図2Bの場合は、連結部材133が管軸に直交する面内で、管状体1の外周に、管状体1の直径方向に互いに対向するように設けられており、送入と送出との間で、管状体撮像装置100の全体が管状体1の周方向に略90度回転している。
照明機構110は、管状体1の内表面に対して所定の光を照射することで、管状体1の内表面を照明する機構である。この照明機構110は、管状体1の内表面の全周方向に対して環状のレーザ光を照射するレーザ光照射装置を少なくとも有している。
かかるレーザ光照射装置は、管状体1の内表面の管周方向に沿って環状のレーザ光(以下、「環状ビーム」ともいう。)を照射する装置であり、図2A及び図2Bに示したように、レーザ光源111と、円錐状の光学素子113と、を有している。
レーザ光源111は、所定の波長を有するレーザ光を発振する光源である。このようなレーザ光源111として、例えば、連続的にレーザ発振を行うCWレーザ光源を用いることが可能である。レーザ光源111が発振する光の波長は、特に限定されるものではないが、例えば、400nm〜800nm程度の可視光帯域に属する波長であることが好ましい。レーザ光源111は、後述する演算処理装置200から送出される照射タイミング制御信号に基づいて、レーザ光の発振を行い、管状体1の管軸方向に沿ってレーザ光を照射する。
円錐状の光学素子113は、円錐形状のミラー又はプリズムを備える光学素子であり、円錐部の頂点がレーザ光源111と対向するように設置されている。レーザ光源111から射出されたスポット状のレーザ光は、光学素子113の円錐部の頂点によって反射され、管状体1の内表面に対してリング状にラインビームが発生する。ここで、円錐部の円錐角が90°である場合には、図2A及び図2Bに示したように、レーザ光源111からのレーザ入射方向に対して直角方向に、環状ビームが照射される。
エリアカメラ120は、図2A及び図2Bに示すように、照明機構110の管軸方向に沿った光の照射方向を基準として、照明機構110の後方に設けられている。エリアカメラ120には、CCD(Charge Coupled Device)、又は、CMOS(Complementary Metal Oxide Semiconductor)等の撮像素子が搭載されている。かかるエリアカメラ120は、モノクロカメラであってもよいし、カラーカメラであってもよい。エリアカメラ120は、図2A及び図2Bに示したように、管状体1の内表面に垂直に照射された環状ビームを角度φの方向から撮像して、内表面における環状ビームの撮像画像から、後述する撮像対象領域(いわゆる、関心領域(Region Of Interest:ROI))に対応する画像である環状ビーム画像を、送入時と送出時のそれぞれで生成する。
また、本実施形態に係るエリアカメラ120は、撮像可能な全視野のうち所定の領域のみを撮像対象領域(ROI)として設定可能なカメラである。エリアカメラ120に設けられている撮像素子では、一般的に、撮像素子の所定の方向(例えば、撮像素子を構成する画素群の配列における水平方向、又は、当該水平方向に対して直交する方向である垂直方向)に沿って、撮像素子の各画素に蓄えられた電荷を転送する処理(撮像素子がCCDである場合)、又は、撮像素子の各画素の電圧を転送する処理(撮像素子がCMOSである場合)が行われる。ここで、撮像素子の各画素に蓄えられた電荷に関する情報、又は、撮像素子の各画素の電圧に関する情報を、以下では、「画素情報」といい、かかる画素情報が転送される方向を、以下では、「画素情報転送方向」ということがある。撮像素子における画素情報転送方向は、撮像素子の製造時等に予め決定されている事項であり、撮像素子の仕様等を確認することで予め把握することができる。
かかるエリアカメラ120において、例えば画素情報転送方向が水平方向である撮像素子が設けられていた場合に、当該エリアカメラ120では、例えば、撮像可能な全視野のうち、画素情報転送方向に対して垂直な方向である垂直方向の一部の範囲に、撮像対象領域(ROI)が設定される。エリアカメラ120は、撮像対象領域(ROI)として設定された撮像画像の垂直方向の一部の範囲について、撮像素子の各画素の電荷又は電圧に関する画素情報を水平方向に転送することで、撮像対象領域(ROI)として設定された垂直方向の一部の範囲の画像のみを、撮像可能な全視野から抽出することができる。撮像可能な全視野の中から、撮像対象領域(ROI)として設定された垂直方向の一部の範囲の画像のみを抽出することで、撮像対象領域(ROI)が設定されていない場合と比較して、画素情報の転送時間を短縮することができる。その結果、本実施形態に係る管状体撮像装置100では、管状体1の内表面を、より高い撮像フレームレートで撮像することが可能となり、ひいては、管状体1の内表面をより高速に撮像することが可能となる。
エリアカメラ120に搭載されるレンズの焦点距離や画角、及び、照明機構110とエリアカメラ120の撮像素子との間の距離は特に限定するものではないが、管状体1の内表面に照射された環状ビームの全体像を撮像可能なように選択することが好ましい。また、エリアカメラ120に搭載される撮像素子の大きさや画素サイズも特に限定するものではないが、生成される画像の画質や画像分解能等を考慮すると、サイズの大きな撮像素子を利用することが好ましい。また、以下で説明する画像処理の観点から、環状ビームのライン幅(線幅)は、撮像素子上で1〜3画素程度であるように調整されることが好ましい。
このような照明機構110とエリアカメラ120とは、照明機構110から照射されるレーザ光の中心軸と、エリアカメラ120の中心軸(光軸)とが同軸となるように配置されて、2つの保持基板131に固定されている。
ここで、環状ビームと、エリアカメラ120の画角を定める境界線と、のなす角φの大きさは、任意の値に設定することが可能であるが、例えば30〜60度程度とすることが好ましい。かかる角度をあまり大きくすると環状ビームの管状体1の内面からの散乱光(反射光)が弱くなり、また小さくすると、検査対象物である管状体1の深さ変化量に対して、後述する縞画像における縞の移動量が小さくなり、管状体1の内表面に存在する凹部の深さ(又は、凸部の高さ)に関する情報が劣化するためである。
上記のような撮像ユニットは、図2A及び図2Bに模式的に示したように、支持バー134によって支持されており、駆動制御装置150によって支持バー134が管軸方向に駆動されることで、照明機構110及びエリアカメラ120は、駆動制御装置150によって管状体1の中心軸に略一致するように管軸方向に移動しながら、管状体1の内表面を移動する。そのため、移動の際にエリアカメラ120で撮像を連続的に行うことで、管状体1の内表面を走査することができる。また、駆動制御装置150は、送入から送出へと動作を切り替える際に、図示しない回転装置を用い、回転装置に接続された支持バー134を管状体の周方向に所定角度だけ(例えば、略90度)回転させて、撮像ユニットの姿勢を変化させる。撮像ユニットを所定角度だけ回転させることで、撮像ユニットを管状体1内に送入した際と送出する際のそれぞれにおいて、連結部材133がエリアカメラ120の視野を遮る領域は、管軸に直交する面内の位置が互いに異なることになる。従って、撮像ユニットを管状体1内に送入した際と送出する際の両方で管状体1の内表面を走査撮像すると、視野が欠けることなく、内表面全体を撮像することが可能となる。
ここで、後述する演算処理装置200は、管状体撮像装置100が管軸方向に所定距離移動する毎に、エリアカメラ120に対して撮像のためのトリガ信号を出力する。照明機構110及びエリアカメラ120の管軸方向の移動間隔は、適宜設定することが可能であるが、例えば、エリアカメラ120に設けられた撮像素子の画素サイズと同一にすることが好ましい。管軸方向の移動間隔と撮像素子の画素サイズとを一致させることで、撮像された画像において縦方向の分解能と横方向の分解能とを一致させることができる。
保持基板131の素材については、管状体撮像装置100に求められる強度等に応じて適宜選択することが好ましい。また、連結部材133については、撮像ユニットが撓まない限り、その素材は限定されないが、ガラス製等のような、環状ビームの波長に対して透明とみなすことができる素材を用いることも可能である。また、連結部材133の本数について、図2A及び図2Bでは、連結部材133が2本存在する場合を図示しているが、連結部材133の本数は、管状体撮像装置100に求められる強度に応じて適宜設定すればよく、1本であってもよいし、3本以上であってもよい。
なお、複数本の連結部材133を設ける場合、それぞれの連結部材133は、保持基板131の縁部に、当該保持基板131の管周方向に沿って配置されることが好ましい。
図3Aは、送入時におけるエリアカメラ120の視野の様子を模式的に示したものであり、図3Bは、送出時におけるエリアカメラ120の視野の様子を模式的に示したものである。図3A及び図3Bは、それぞれ、管状体撮像装置100の水平及び垂直ではなく、エリアカメラ120の垂直及び水平(より詳細には、エリアカメラ120に設けられた撮像素子における垂直及び水平)を基準とした、垂直及び水平に基づいて示されている。
上記のような管状体撮像装置100において、エリアカメラ120の視野(エリアカメラ120を基準とした垂直方向画素×水平方向画素=H画素×W画素)内には、図3A及び図3Bに模式的に示したように、照明機構110から照射される環状レーザ光に加えて、照明機構110、保持基板131、連結部材133が存在している。また、連結部材133によって内表面における環状ビームの一部が遮蔽されて、環状レーザ光が観測できない領域が発生している。本実施形態に係る管状体撮像装置100では、高解像度を維持したままの撮像処理の高速化と、連結部材133によって環状レーザ光が観測できない領域の発生への対処を目的として、図4A及び図4Bに模式的に示したように、エリアカメラ120に対して、撮像可能な全視野のうち所定の領域のみを取り扱うための撮像対象領域ROIを、撮像素子の画素情報転送方向(図4A及び図4Bの場合、水平方向)に対して直交する方向(図4A及び図4Bの場合、垂直方向)のそれぞれの端部領域に2箇所設定する。すなわち、エリアカメラ120で撮像した画像のうち、撮像対象領域ROIに対応する画像だけを環状ビーム画像として取り扱い、演算処理装置200に送信することで、後述する画像処理を行うようにする。
いま、送入時のエリアカメラ120に設定される撮像対象領域ROIを、便宜的に、ROI_1A及びROI_2Aと称することとし、送出時のエリアカメラ120に設定される撮像対象領域ROIを、便宜的に、ROI_1B及びROI_2Bと称することとする。また、ROI_1A及びROI_IBに対応する部分を、便宜的に、撮像可能な全視野における上側と称することとし、ROI_2A及びROI_2Bに対応する部分を、便宜的に、撮像可能な全視野における下側と称することとする。
図4A及び図4Bは、それぞれ、管状体撮像装置100の水平及び垂直ではなく、エリアカメラ120の垂直及び水平を基準とした、垂直及び水平に基づいて示されている。
エリアカメラ120では、図4A及び図4Bに模式的に示したように、エリアカメラ120の全視野のうち、管状体1の管軸方向と直交し、エリアカメラ120の撮像素子の画素情報を転送する方向を長手方向とし、エリアカメラ120の全視野のうち連結部材133によって環状のレーザ光が遮蔽される部分を含まないように、エリアカメラ120の全視野のうちの上側端部及び下側端部に、それぞれ、矩形の撮像対象領域(ROI)が設定される。
また、エリアカメラ120の全視野のうちの上側端部及び下側端部にそれぞれ設定される撮像対象領域(ROI)以外の領域には、複数の連結部材133が存在していてもよい。従って、管状体撮像装置100の管軸方向のたわみを防止するために、撮像ユニットに対して所定の強度を求めるのであれば、この2つの撮像対象領域(ROI)以外の領域に複数の連結部材133が位置するように、管状体撮像装置100における連結部材133の配置を適宜決定すればよい。
なお、撮像対象領域(ROI)を、エリアカメラ120の全視野のうちの上側端部及び下側端部に設定しているのは、エリアカメラ120が、撮像素子の各画素の電荷又は電圧に関する画素情報を、水平方向に転送することに対応して、画像の一領域を欠けなく抽出できるようにするためである。そのため、エリアカメラ120が、撮像素子の各画素の電荷又は電圧に関する画素情報を垂直方向に転送するものである場合には、撮像対象領域(ROI)を、エリアカメラ120の全視野のうちの左側端部及び右側端部に設定することも可能である。
また、エリアカメラ120では、設定される2つの撮像対象領域(ROI)について、送入時における撮像対象領域(ROI)に係る画像と、送出時における撮像対象領域(ROI)に係る画像との間で、互いに一部重複する領域が存在するように、エリアカメラ120の視野から見て撮像対象領域(ROI)の長手方向に直交する方向の大きさが、決定されることが好ましい。
以下では、図2A及び図2Bに示したような構造を有している管状体撮像装置100に着目して、本実施形態における撮像対象領域(ROI)の設定方法について、図4A及び図4Bを参照しながら詳細に説明する。
なお、以下では、環状ビーム画像における環状ビームの半径をRと表すこととする。また、以下で詳述する画像処理では、半径Rで表される位置を中心として、R±ΔRの範囲に位置する環状ビーム画像が用いられる。従って、エリアカメラ120において設定される撮像対象領域(ROI)は、後段の画像処理で用いられる画像領域を少なくとも含むように設定されることが好ましい。
以下では、エリアカメラ120に搭載された撮像素子の大きさが、例えば、H(エリアカメラ120を基準とした垂直方向の画素)=1200画素×W(エリアカメラ120を基準とした水平方向の画素)=1920画素である場合を例に挙げる。また、撮像素子において左上隅の位置を、画素位置を示す座標系における原点(0,0)であるとする。
本実施形態に係るエリアカメラ120では、先だって言及したように矩形の撮像対象領域(ROI)が設定される。すなわち、かかる撮像対象領域(ROI)の撮像素子水平方向の画素数は、それぞれW画素となる。
また、本実施形態に係る管状体内表面検査装置10では、以下で詳述するように、送入時及び送出時の双方でエリアカメラ120により撮像される環状ビーム画像をそれぞれ利用して、連結部材133に起因して環状レーザ光が観測できない領域に該当する部分の環状ビーム画像を補完する。図4A及び図4Bに模式的に示したように、4つの撮像対象領域(ROI)での環状ビーム画像を用いて、管状体1の内表面の全周分の環状ビーム画像を確保するわけであるから、1つの撮像対象領域(ROI)中に撮像される環状ビーム画像は、環状ビームの中心を基準として、±θ=45度の範囲を少なくとも含むこと(換言すれば、1つの撮像対象領域(ROI)中に、環状ビームの全周に対して1/4以上の孤長の環状ビームが含まれること)が重要である。
かかる観点のもと、本実施形態において、送入時のエリアカメラ120における撮像対象領域ROI_1Aは、エリアカメラ120の垂直、水平を基準として、(0,0)の画素座標から幅W×高さhの矩形領域として設定され、撮像素子垂直方向の画素数hは、以下の式(101)〜式(103)により、規定される。
h=A+ΔA ・・・式(101)
A=H/2−Rcosθ ・・・式(103)
ΔA=ΔR・cosθ+α ・・・式(105)
ここで、上記式(101)及び式(103)から明らかなように、画素数Aに対応する部分が、±θ=45度の範囲の環状ビームを含む領域に該当する。また、上記式(101)及び式(105)から明らかなように、画素数ΔAに対応する部分が、後段の画像処理で用いられる環状ビーム画像の大きさと、送入時と送出時との間で互いに一部重複する撮像対象領域(ROI)と、を共に確保するために設定される領域に該当する。また、上記式(105)におけるパラメータαは、振動等や、管状体撮像装置100の周方向の回転誤差等を考慮した許容設定値であり、例えば、5画素程度とすることができる。また、ΔRの値は、検査対象物である管状体1の内径、及び、エリアカメラ120に搭載される撮像素子の画素サイズ等に応じて適宜設定すればよいが、管状体の内径が400mmであり、撮像素子の画素サイズが0.4mm×0.4mmである場合、内径400mmは1000画素分に対応するため、例えば、ΔRを、25画素程度とすることができる。
同様に、エリアカメラ120における下側の撮像対象領域ROI_2Aは、エリアカメラ120の垂直、水平を基準として、(0,H−h)から幅W×高さhの矩形領域として、上記式(101)〜式(105)と同様に設定される。
また、送出時のエリアカメラ120における上側の撮像対象領域ROI_1B及び下側の撮像対象領域ROI_2Bについても、送入時のエリアカメラ120と同様に設定される。送出時のエリアカメラ120は、送入時のエリアカメラ120を反時計方向に90度回転したものであるため、カメラ上の設定値は、送入時と同一とすることが出来る。
このような、撮像対象領域(ROI)を設定可能なエリアカメラでは、カメラの全撮像領域に対する撮像対象領域(ROI)の面積の比率に対応して、カメラの撮像フレームレートを速くして撮像することが可能となる。その結果、より細かい周期でレーザ光による光切断線を得ることが可能となる。すなわち、エリアカメラの全撮像領域に対して、撮像対象領域の領域面積を1/2、1/3、1/4・・・と設定することで、撮像素子における画素情報転送量が、撮像対象領域(ROI)を設定しない場合と比較して、ほぼ1/2、1/3、1/4・・・・と減少する結果、撮像フレームレートについても、ほぼ1/2、1/3、1/4・・・と高速化した画像取り込みが可能となる。エリアカメラの撮像画像読み込み周期を高速化した場合、走査方向に対して直交する方向(すなわち、本例では垂直方向)の分解能を向上させた画像を得ることができる。従って、本実施形態に係る管状体撮像装置100では、より高速、高分解能かつ簡便に、管状体の内表面を撮像することが可能となる。
なお、本実施形態において、撮像フレームレートの具体的な値は、求められる撮像レート等に応じて適宜設定すればよいが、例えば、2つの撮像対象領域合計での撮像フレームレートは、通常の撮像フレームレート(すなわち、エリアカメラの全撮像領域を撮像する場合のフレームレート)の2倍程度の値である、300fps程度とすることができる。
なお、一般的なエリアカメラに搭載される撮像素子は、エリアカメラ120の撮像素子の画素情報を転送する方向(図4A及び図4Bの場合は、撮像画像の長手方向)の撮像対象領域(ROI)の幅を小さくしたとしてもフレームレートは向上しないため、先だって言及したように、撮像対象領域(ROI)の幅Wは、エリアカメラ120の画素情報を転送する方向の幅Wと同一でよい。
また、エリアカメラ120の撮像素子の画素情報を転送する方向とは直交する方向の撮像対象領域(ROI)の幅を小さくする場合には、フレームレートが向上することが期待されるが、その場合には、上記の高さhに対応して、幅wを以下の式(107)で算出すればよい。
w=2×(Rsinθ+ΔA) ・・・式(107)
その上で、上側の撮像対象領域ROI_1Aは、(W/2−Rsinθ−ΔA,0)の座標から幅w×高さhの矩形領域を設定し、撮像対象領域ROI_2Aは、(W/2−Rsinθ−ΔA,H−h)の座標から幅w×高さhの矩形領域を、それぞれ設定してもよい。
なお、上記のようなエリアカメラ120における撮像対象領域ROI_1A、ROI_2A、ROI_1B、ROI_2Bの設定値は、検査対象物である管状体1のサイズ(内径等)に応じて、プリセット値としてルックアップテーブル等を予め作成しておいて、後述する演算処理装置200の記憶部等に格納しておき、演算処理装置200がエリアカメラ120の撮像制御を行う際に、かかるルックアップテーブル等を参照することで、容易に設定可能としておくことが好ましい。
エリアカメラ120において2種類の撮像対象領域(ROI)が設定され、送入時及び送出時のそれぞれで管状体ビーム画像が生成されることで、図5A及び図5Bに示したような、計4種類の環状ビーム画像が生成されることとなる。
以下に、本実施形態に係る管状体撮像装置100の有する各装置について、その具体的な構成や設定値等を列挙する。かかる構成や設定値等はあくまでも一例であって、本発明に係る管状体撮像装置100が、以下の具体例に限定されるわけではない。
○管状体
内径100mm〜500mm、長さ10m〜20m
○照明機構110
100mWの出力でレーザ光源111から可視光帯域のレーザ光を照射する。レーザ光は円錐状の光学素子113(円錐角90度)により、50mWの環状ビームとなって管状体の内表面に対して反射される。管状体の内表面に照射されるラインビーム幅は、0.25mmである。ただし、この場合のラインビーム幅とは、ピーク強度値から13.5%で定義されるものである。
○エリアカメラ120
幅1920画素×高さ1200画素のCMOS(画素サイズ:4.8μm×4.8μm)を撮像素子として搭載しており、フレームレートは、150fpsである。レンズの焦点距離は1.81mmであり、水平方向画角は180°である。撮像される画像の画素サイズは0.4mm×0.4mm、ラインビーム幅は、撮像画像上では、1〜3画素の輝線の幅で撮影される。撮像対象領域(ROI)を、CMOSの上側端部及び下側端部のそれぞれに、2つの端部領域の合計で600画素分の高さとなるように設定すると、フレームレートは、300fpsとなる。
○エリアカメラ120A,120Bは、管状体の内表面を、管軸方向に0.25mm進む毎に撮像する(すなわち、管状体撮像装置100が0.25mm移動する毎に1パルスのPLG信号が出力される。)。
(演算処理装置200の全体構成について)
以上、本実施形態に係る管状体撮像装置100の構成について説明した。続いて、再び図1に戻って、本実施形態に係る演算処理装置200の全体構成について説明する。
本実施形態に係る演算処理装置200は、例えば図1に示したように、撮像制御部201と、画像処理部203と、表示制御部205と、記憶部207と、を主に備える。
撮像制御部201は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信装置等により実現される。撮像制御部201は、本実施形態に係る管状体撮像装置100による検査対象物の撮像制御を実施する。より詳細には、撮像制御部201は、管状体1の撮像を開始する場合に、照明機構110に対してレーザ光の発振を開始させるための制御信号を送出する。また、撮像制御部201は、エリアカメラ120に対して、後述する記憶部207等に格納されているルックアップテーブル等を参照しながら、先だって説明したような2種類の撮像対象領域(ROI)を設定した上で、エリアカメラ120に対して撮像を開始するためのトリガ信号を送出する。更に、撮像制御部201は、管状体撮像装置100による撮像処理が終了すると、駆動制御装置150に対して、管状体撮像装置100を管軸方向に沿って所定距離だけ移動させるためのトリガ信号を送出する。
また、管状体撮像装置100が管状体1の撮像を開始すると、管状体撮像装置100からPLG信号が定期的に(例えば、管状体撮像装置100が0.25mm移動する毎に1パルスのPLG信号)送出されるが、撮像制御部201は、PLG信号を取得する毎にエリアカメラ120に対して撮像を開始するためのトリガ信号を送出する。
更に、撮像制御部201は、管状体撮像装置100が管状体1のもう一方の端部まで到達すると、駆動制御装置150に対して、管状体撮像装置100を管周方向に沿って所定角度(例えば、90度)だけ回転させるためのトリガ信号を送出する。その後、撮像制御部201は、上記と同様にして、管状体撮像装置100を送出する際の撮像制御を実施する。
画像処理部203は、例えば、CPU、ROM、RAM、通信装置等により実現される。画像処理部203は、管状体撮像装置100(より詳細には、管状体撮像装置100のエリアカメラ120)から取得した、送入時及び送出時の撮像データを利用して、後述する縞画像フレームを生成する。その後、生成した縞画像フレームに対して、以下で説明するような画像処理を行い、測定対象物である管状体の内表面に存在する可能性のある欠陥を検出する。画像処理部203は、管状体1の内表面の欠陥検出処理を終了すると、得られた検出結果に関する情報を、表示制御部205に伝送する。
なお、この画像処理部203については、以下で改めて詳細に説明する。
表示制御部205は、例えば、CPU、ROM、RAM、出力装置等により実現される。表示制御部205は、画像処理部203から伝送された、検査対象物である管状体1の欠陥検出結果を、演算処理装置200が備えるディスプレイ等の出力装置や演算処理装置200の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、管状体内表面検査装置10の利用者は、検査対象物(管状体1)の内表面に存在する各種の欠陥に関する検出結果を、その場で把握することが可能となる。
記憶部207は、例えば本実施形態に係る演算処理装置200が備えるRAMやストレージ装置等により実現される。記憶部207には、本実施形態に係る管状体撮像装置100のエリアカメラ120における撮像対象領域(ROI)の設定プリセット値等といった、本実施形態に係る演算処理装置200が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベースやプログラム等が、適宜記録される。この記憶部207に対しては、撮像制御部201、画像処理部203、表示制御部205等が、リード/ライト処理を実行することが可能である。
<画像処理部203について>
続いて、図6を参照しながら、本実施形態に係る演算処理装置200が備える画像処理部203について、詳細に説明する。図6は、本実施形態に係る演算処理装置が有する画像処理部の構成を示したブロック図である。
本実施形態に係る画像処理部203は、図6に示したように、A/D変換部211と、環状ビームセンター算出部213と、座標変換部215と、部分縞画像フレーム生成部217と、縞画像フレーム生成部219と、画像算出部221と、検出処理部229と、を主に備える。
A/D変換部211は、例えば、CPU、ROM、RAM等により実現される。A/D変換部211は、エリアカメラ120から送入時及び送出時のそれぞれ出力された撮像画像をA/D変換し、図5A及び図5Bに模式的に示したような、合計4種類の撮像対象領域(ROI)に関するデジタル多値画像データ(すなわち、環状ビーム画像)として出力する。かかるデジタル多値画像データは、記憶部207等に設けられた画像メモリに記憶される。これらのデジタル多値画像データを管状体の管軸方向に沿って順次利用することにより、後述するような部分縞画像フレーム及び縞画像フレームが形成される。
図5A及び図5Bに模式的に示したように、環状ビーム画像は、管状体1の内表面の管軸方向に沿ったある位置において、管状体の内表面に照射された環状ビームを撮像したものである。環状ビーム画像は、予めカメラのゲインやレンズの絞りを適切に設定することにより、例えば、環状ビームが照射された部分が白く表示され、その他の部分は黒く表示されている濃淡画像とすることができる。また、環状ビームの円周上に重畳している凹凸が、管状体の内表面の断面形状と、内表面に存在する欠陥に関する情報を含んでいる。
A/D変換部211は、エリアカメラ120から出力された撮像画像に基づいて環状ビーム画像を生成すると、生成した環状ビーム画像に対応するデータを、後述する環状ビームセンター算出部213に出力する。
環状ビームセンター算出部213は、例えば、CPU、ROM、RAM等により実現される。環状ビームセンター算出部213は、A/D変換部211から出力された、送入時及び送出時のそれぞれでエリアカメラ120により生成された各環状ビーム画像を用いて、環の重心位置と環の半径とをそれぞれ算出する。
この際、環状ビームセンター算出部213は、図7に模式的に示したように、エリアカメラ120による送入時及び送出時の環状ビーム画像を用いて、図7に示したような合成画像を生成し、かかる合成画像を用いて、環の重心位置Oと環の半径rとをそれぞれ算出することが好ましい。図7に示した合成画像は、送入時及び送出時にエリアカメラ120により生成された環状ビーム画像を用い、これら環状ビーム画像を、環状ビーム全体が認識可能なように結合させた画像である。
ここで、送入時及び送出時にエリアカメラ120で生成される4種類の撮像対象領域(ROI)での環状ビーム画像を、どのような順で結合していけばよいかについては、図2A及び図2Bに示したようなエリアカメラ120の光学的な姿勢に基づいて、予め決定しておくことが可能である。また、エリアカメラ120で生成される4種類の撮像対象領域(ROI)での環状ビーム画像を、互いにどのような位置に結合していけばよいかについては、内表面にキズ等の欠陥が存在していないことが明らかとなっている基準管を利用し、4種類の撮像対象領域(ROI)での環状ビーム画像が滑らかに接続されるような結合位置を、事前に特定しておけばよい。
この際、環状ビームセンター算出部213は、4種類の撮像対象領域(ROI)での環状ビーム画像を結合する際に、環状ビーム画像が滑らかに接続されるように、それぞれの環状ビーム画像の結合位置を微調整することが好ましい。管状体撮像装置100の周方向への回転誤差は、先だって説明したような撮像対象領域(ROI)における高さ方向の幅ΔAの範囲内となるように調整されており、かつ、上記のような結合の際の微調整を実施することで、管状体撮像装置100の周方向の回転に誤差が生じた場合であっても、より確実に4種類の撮像対象領域(ROI)での環状ビーム画像を結合させて、合成画像を生成することが可能となる。
環の重心位置O及び半径rを算出する方法は、特に限定されるわけではなく、公知のあらゆる方法を利用することが可能である。環の重心位置O及び半径rを算出する方法の具体例としては、例えば、環状ビーム画像が真円に近い場合は、以下のような2つの方法を挙げることができる。
・2値化した環状ビーム画像上の任意の3点を抽出し、この3点の位置座標の重心を算出する。得られた重心位置と3点のうち任意の1点との間の距離が環の半径となる。
・ハフ(Hough)変換による円抽出を行い、円(すなわち、環状ビーム)の重心と半径とを算出する。
環状ビームセンター算出部213は、各環状ビーム画像について環の重心位置O及び半径rを算出すると、環の重心位置O及び半径rに関する情報をそれぞれ生成して、後述する座標変換部215に出力する。
なお、本実施形態においては、管状体1の内面の断面形状が真円に近い場合について説明しているが、任意の断面形状に対して適用可能であり、例えば、断面形状が楕円や角丸長方形等であってもよい。このような場合の重心は、環状ビームの形状から求めることが可能であり、求めた重心との距離の最大値と最小値の平均値を半径として用いることで、後述する座標変換を同じ手順で実施することができる。
また、上記では、合成画像を生成した上で環の重心位置O及び半径rを算出する場合について説明したが、環状ビームセンター算出部213は、図7に示したような合成画像を生成せずに、送入時にエリアカメラ120で得られた環状ビーム画像を用いて環の重心位置O及び半径rを算出するとともに、送出時にエリアカメラ120で得られた環状ビーム画像を用いて環の重心位置O及び半径rを算出してもよい。この場合、後述する座標変換処理では、送入時のエリアカメラ120から得られた環状ビーム画像については、送入時の環状ビーム画像から算出された環の重心位置O及び半径rが用いられるとともに、送出時のエリアカメラ120から得られた環状ビーム画像については、送出時の環状ビーム画像から算出された環の重心位置O及び半径rが用いられる。しかしながら、2種類の環の重心位置O及び半径rが用いられるために、後述する縞画像フレームの生成処理において全ての部分縞画像フレームを結合していく際に、部分縞画像フレームの接続のさせ方に注意を払う必要が生じ、後段の処理が複雑化する可能性がある。
座標変換部215は、例えば、CPU、ROM、RAM等により実現される。座標変換部215は、算出された重心位置、及び、当該重心位置と環状ビームの照射部分との離隔距離(離隔量)に基づいて、環状ビーム画像の座標系を極座標変換する。そのため、環状ビーム画像に曲線状に写る環状のレーザ光の照射部分の像は、極座標変換により、直線状の線分に変換される。その後、座標変換部215は、環状ビームの照射部分に対応する線分として表した、光切断画像を生成する。
すなわち、環状ビームの重心位置が算出されることで、xy平面上の直交座標系を極座標系へと変換することが可能となり、環状ビームの照射位置に対応する画素の存在位置を、重心位置を原点とした極座標(r,θ)で表すことができる。座標変換部215は、図8に示したように、環状ビームセンター算出部213で算出された半径rに動径方向に±Δrの余裕を設けたうえで(すなわち、r−Δr〜r+Δrの範囲で)、図4A及び図4Bに示した−θからθの範囲(図4A及び図4Bの場合、−45°≦θ≦45°の範囲)で、座標変換を実施する。なお、本実施形態では、動径方向のr−Δr〜r+Δrの範囲で座標変換を実施する場合について説明しているが、余裕Δrの値は、環状ビームの照射部分を含む範囲で、プラス方向とマイナス方向とで異なった値であってもよい。かかる場合、例えば、座標変換を行う範囲は、r−Δr〜r+Δrなどと表現することができる。ただし、本実施形態においては、プラス方向とマイナス方向とで同じ値Δrを用いる場合について、以降の説明を行う。
このような座標変換を行うことで、図8の右側に示したように、動径方向には半径rを中心として2Δrの高さを有し、角度方向にはθ〜θ’(図4A及び図4Bの場合、約90度)に対応する長さを有する帯状の画像が抽出される。以上の説明からも明らかなように、抽出された帯状の画像は、環状ビームの照射部分を管状体の管周方向に展開した線分(以下、「光切断線」とも称する。)を含むようになる。また、動径方向に関して、半径rを中心として2Δrの範囲を抽出することで、環状ビームの周に凹凸が存在していたとしても、かかる凹凸を含む環状ビームの周をもれなく抽出することが可能となる。このようにして得られた帯状の画像を、以下では光切断画像と称することとする。
なお、Δrの大きさは、管状体1に存在しうる凹凸の高さの範囲を過去の操業データ等に基づいて予め大まかに算出しておくことで、決定することが可能である。
上述のような具体的な構成を有する管状体撮像装置100を用いた場合、かかる管状体撮像装置100により撮像された環状ビーム画像は、約400画素に相当する半径を有する環を含むようになる。そこで、r=400画素、Δr=25画素として、−45°≦θ≦45°の範囲で光切断画像の抽出を行うと、横628画素×高さ50画素の光切断画像が生成される。
また、座標変換部215は、直交座標系から極座標系への変換を行うため、直交座標系における格子点(すなわち、画素の中心位置)が、極座標系において必ず格子点に対応するとは限らず、非格子点に対応するものも存在するようになる。そこで、座標変換部215は、極座標系における非格子点の濃度(画素値)を補間するために、着目している点の近傍に位置する他の格子点の濃度に基づいて補間する、いわゆる画像補間法を併せて実施することが好ましい。
かかる画像補間法は、特に限定されるものではなく、例えば、「昭晃堂 画像処理ハンドブック」等に記載されている公知の画像補間法を利用することが可能である。このような画像補間法の例として、最近傍(nearest neighbor)法、双線形補間(bi−linear interpolation)法、3次補間(bi−cubic convolution)法等を挙げることができる。これらの方法のうち、前者ほど処理速度が速く、後者ほど高品質の結果を得ることができる。そこで、座標変換部215は、利用する画像補間法の種別を、処理に用いることのできるリソース量や処理時間等に応じて適宜決定すればよい。本実施形態において示す光切断画像の具体例では、画像補間法として3次補間法を適用している。
座標変換部215は、上述のような座標変換処理や画像補間処理を終了すると、得られた光切断画像に対応する画像データを、記憶部207等に設けられた画像メモリに、管状体の管軸方向に沿って順次格納していく。
部分縞画像フレーム生成部217は、例えば、CPU、ROM、RAM等により実現される。部分縞画像フレーム生成部217は、記憶部207等に設けられた画像メモリから、管状体の管軸方向に沿って格納された、各撮像対象領域(すなわち、ROI_1A、ROI_2A、ROI_1B、ROI_2B)についての光切断画像を順に取得する。その後、部分縞画像フレーム生成部217は、取得した各撮像対象領域についてのそれぞれの光切断画像を管状体の管軸方向に沿って順に配列して、撮像対象領域ごとに4種類の部分縞画像フレームを生成する。
1つの部分縞画像フレームを構成する光切断画像の個数は、適宜設定すればよいが、例えば、512個の光切断画像で1つの部分縞画像フレームを構成するようにしてもよい。各光切断画像は、上述のように環状ビーム画像の撮像間隔毎(例えば、0.25mm間隔)に存在している。そのため、0.25mm間隔で撮像された環状ビーム画像に基づく、512個の光切断画像からなる1つの部分縞画像フレームは、管状体の内表面の全周の1/4を、管軸方向に沿って128mm(=512×0.25mm)の範囲で撮像した結果に相当する。
図9に、部分縞画像フレーム生成部217によって生成される部分縞画像フレームの一例を示した。図9では、撮像対象領域ROI_1Aに関する光切断画像を利用して、撮像対象領域ROI_1Aに関する部分縞画像フレームが生成される場合を模式的に示している。図9に模式的に示した部分縞画像フレームにおいて、図面の横方向に伸びた1本の線分が、1枚の環状ビーム画像を展開したものに相当しており、図面の横方向が環状ビームの管周方向に対応している。また、図9に示した部分縞画像フレームにおいて、図面の縦方向が、管状体1の管軸方向に相当している。
部分縞画像フレーム生成部217は、以上のようにして、ROI_1A〜ROI_2Bに関する4種類の部分縞画像フレームを生成すると、生成した各部分縞画像フレームを、後述する縞画像フレーム生成部219に出力する。また、部分縞画像フレーム生成部217は、生成した部分縞画像フレームに対応するデータに、当該部分縞画像フレームを生成した日時等に関する時刻情報を関連付けて、履歴情報として記憶部207等に格納してもよい。
縞画像フレーム生成部219は、例えば、CPU、ROM、RAM等により実現される。縞画像フレーム生成部219は、部分縞画像フレーム生成部217により生成された4種類の部分縞画像フレームを用い、これら部分縞画像フレームを互いに結合させて、管状体1の内表面の全周に亘る光切断線が管状体の管軸方向に沿って順に配列した、縞画像フレームを生成する。
ここで、本実施形態に係る管状体内表面検査装置10では、送入時の環状ビーム画像から生成された部分縞画像フレームと、送出時の環状ビーム画像から生成された部分縞画像フレームと、を互いに結合させる。そのため、図10上段に模式的に示したように、送入時の部分縞画像フレームにおける1ライン目の光切断画像は、送出時の部分縞画像フレームにおけるNライン目の光切断画像と対応している。従って、縞画像フレーム生成部219は、環状ビーム画像の撮像タイミングを考慮して、送入時の部分縞画像フレームと、送出時の部分縞画像フレームと、を上記のように対応づけた上で、4種類の部分縞画像フレームを、部分縞画像フレーム間での重複部分を考慮しながら互いに結合して、縞画像フレームを生成する。
縞画像フレーム生成部219は、図10に示したような縞画像フレームを生成すると、生成した縞画像フレームを、後述する画像算出部221に出力する。また、縞画像フレーム生成部219は、生成した縞画像フレームに対応するデータに、当該縞画像フレームを生成した日時等に関する時刻情報を関連付けて、履歴情報として記憶部207等に格納してもよい。
画像算出部221は、例えば、CPU、ROM、RAM等により実現される。画像算出部221は、縞画像フレーム生成部219が生成した縞画像フレームに基づいて、管状体の内表面の凹凸状態を表す深さ画像と、管状体の内表面における環状ビームの輝度の分布を表す輝度画像と、を算出する。この画像算出部221は、図6に示したように、光切断線処理部223と、深さ画像算出部225と、輝度画像算出部227と、を備える。
光切断線処理部223は、例えば、CPU、ROM、RAM等により実現される。光切断線処理部223は、縞画像フレームに含まれる各光切断線について、光切断線の変位量(輝線の曲がり具合)を含む光切断線特徴量を算出する。以下では、図11A及び図11Bを参照しながら、光切断線処理部223が実施する処理及び算出する光切断線特徴量について、詳細に説明する。図11Aは、縞画像フレームを模式的に示した説明図である。図11Bは、光切断線処理部が実施する光切断線処理について説明するための説明図である。
図11Aでは、1つの縞画像フレームの中にN本の光切断線が存在しており、縞画像フレームの横方向の長さは、M画素であるものとする。また、1本の光切断線を含む1つの光切断画像は、縦2Δr画素×横M画素から構成されている。
ここで、説明の便宜上、縞画像フレームの管周方向(図11Aにおける横方向)にX軸をとり、縞画像フレームの管軸方向(図11Aにおける縦方向)にY軸をとって、縞画像フレーム中の画素の位置をXY座標で表すものとする。以下の説明では、縞画像フレーム中に存在するj(1≦j≦N)番目の光切断線の左側からm画素目(1≦m≦M)の位置(すなわち、Xj,mで表される位置)に着目する。
光切断線処理部223は、まず、着目すべき光切断線(以下、単に「ライン」とも称する。)の着目すべきX座標位置(本説明では、Xj,mで表される位置)を選択すると、図11Bに示したように、着目したラインの着目したX座標位置における画素に対応付けられている画素値(すなわち、環状ビームの輝度値)の分布を参照する。この際、光切断線処理部223は、光切断画像中の当該X座標位置における全ての画素について、以下で説明する処理を実施するのではなく、光切断画像中におけるY座標の基準位置Yの前後Wの範囲に属する画素(すなわち、Y−W〜Y+Wの範囲に属する画素)について、以下で説明する処理を実施する。
ここで、Y座標の基準位置Yは、縞画像フレームのjライン目の光切断画像に対して予め指定される管軸方向の位置であり、例えば光切断画像の管軸方向の中心を指定すれば、先述のようにプラス方向とマイナス方向とで同じ余裕値Δrを用いる場合には、環状ビームセンター算出部が算出した半径r(すなわち光切断線の位置)に等しくなる。また、処理範囲を規定するパラメータWは、管状体1に存在しうる凹凸の高さの範囲を過去の操業データ等に基づいて、光切断画像中におけるY座標の基準位置Yの前後Wの範囲が光切断画像に収まるように、予め大まかに算出しておき、適宜決定すればよい。パラメータWの値を小さくすることができれば、後述する光切断線処理部223の処理負荷の低減を図ることができる。
光切断線処理部223は、まず、Y−W〜Y+Wの範囲に含まれる画素の中から、光切断線に対応する画素を特定するための第1の閾値の一例である所定の閾値Th以上の画素値を有する画素を特定する。図11Bに示した例では、Yj,k、Yj,k+1、Yj,k+2で表される3つの画素が、それぞれ閾値Th以上の画素値Ij,k、Ij,k+1、Ij,k+2を有している。従って、光切断線処理部223は、所定の閾値Th以上の画素値を有する画素を線幅方向に加算した数pj,m=3と設定する。この所定の閾値Th以上の画素値を有する画素を線幅方向に加算した数pj,mは、いわば位置(j,m)における輝線の画素数に対応する値であり、光切断線特徴量の一つである。また、光切断線処理部223は、以下の処理において、抽出された画素に関する情報(Yj,k、Ij,k)、(Yj,k+1、Ij,k+1)、(Yj,k+2、Ij,k+2)(以下、単に(Y,I)と略記することもある。)の情報を利用して、更なる光切断線特徴量を算出していく。
また、光切断線処理部223は、パラメータpj,m及び抽出した画素に関する情報(Y,I)を用いて、抽出された画素の輝度の総和Kj,mを算出する。図11Bに示した例の場合、光切断線処理部223が算出する輝度の総和は、Kj,m=Ij,k+Ij,k+1+Ij,k+2となる。この輝度の総和Kj,mも、光切断線特徴量の一つである。
更に、光切断線処理部223は、抽出された画素に関する情報(Y,I)とY座標の基準位置Yとを利用して、抽出された画素のY方向の重心位置Y(j,m)を算出するとともに、重心位置Y(j,m)の基準位置Yからの変位量Δdj,m=Y−Y(j,m)を算出する。
ここで、重心位置Y(j,m)は、抽出された画素の集合をAと表すこととすると、以下の式111で表される値となる。従って、図11Bに示した例の場合、重心位置Y(j,m)は、以下の式111aで表される値となる。
Figure 0006481216
ここで、画素に対応する管軸方向の位置は、いわば管状体撮像装置100の移動幅(例えば、0.25mm)で量子化された値である。他方、上記式111で示したような演算により算出される重心位置Y(j,m)は、割り算という数値演算を利用することで算出される値であるため、管状体撮像装置100の移動幅(いわば量子化単位)よりも小さな値となりうる。従って、かかる重心位置Y(j,m)を利用して算出される変位量Δdj,mについても、移動幅よりも小さな値を有しうる値となる。このようにして算出される変位量Δdj,mも、光切断線特徴量の一つである。
光切断線処理部223は、以上のような3種類の特徴量を、各切断線に含まれるM個の要素に関して算出する。その結果、図12A〜図12Cに示したように、光切断線の変位量Δd、輝度の総和K、及び、輝線の画素数pに関して、M列×N行の二次元配列が生成される。本実施形態に係る縞画像フレームの具体例の場合、M=1920、N=512であるため、各光切断線特徴量を構成するデータの個数は、1920×512個となる。
光切断線処理部223は、算出した光切断線特徴量のうち、光切断線の変位量Δdに関する特徴量を、後述する深さ画像算出部225に出力する。また、光切断線処理部223は、算出した光切断線特徴量のうち、輝度の総和K、及び、輝線の画素数pに関する特徴量を、後述する輝度画像算出部227に出力する。
深さ画像算出部225は、例えば、CPU、ROM、RAM等により実現される。深さ画像算出部225は、光切断線処理部223が生成した光切断線特徴量(特に、変位量Δdに関する特徴量)に基づいて、管状体の内表面の凹凸状態を表す深さ画像を算出する。
具体的には、深さ画像算出部225は、図12Aに示したような変位量Δdに関する特徴量(二次元配列)と、環状ビームの垂直成分入射角(図2における角度φ=φ=φ)と、を利用して、深さ画像を算出する。かかる深さ画像は、管軸方向のそれぞれの位置での凹凸状態の一次元分布が管軸方向に沿って順に配列された、二次元の凹凸状態の分布を表す画像である。
まず、図13を参照しながら、管状体の内表面に存在する凹凸の高さと、光切断線の変位量Δdとの関係について説明する。図13は、光切断線の変位と欠陥の高さとの関係を示した説明図である。
図13では、管状体1の内表面に凹みが存在した場合を模式的に示している。ここで、内表面に凹みが存在しない場合の表面位置の高さと凹みの底部の高さとの差分をΔhと表すこととする。垂直入射した環状ビームが表面反射をする場合に着目すると、内表面に凹みが存在しない場合には、図13の光線Aのように反射光は伝播することとなるが、内表面に凹みが存在する場合には、図13の光線Bのように反射光が伝播することとなる。光線Aと光線Bとのズレが、本実施形態において光切断線の変位量Δdとして観測されることとなる。ここで、幾何学的な位置関係から明らかなように、光切断線の変位量Δdと凹みの深さΔhとは、Δd=Δh・sinφの関係が成立する。
なお、図13では、管状体の内表面に凹みが存在する場合について説明したが、管状体の内表面に凸部が存在する場合であっても、同様の関係が成立する。
深さ画像算出部225は、以上説明したような関係を利用して、光切断線処理部223が算出した光切断線の変位量Δdに関する特徴量に基づき、管状体の内表面の凹凸に関する量Δhを算出する。
ここで、深さ画像の算出に用いられる光切断線の変位量Δdは、先に説明したように光切断線の重心位置に基づいて算出されたものであり、移動幅よりも小さな値を有しうる値となっている。従って、深さ画像算出部225により算出される深さ画像は、撮像素子の画素サイズよりも細かい分解能で凹凸が再現されている画像となる。
本実施形態で示した縞画像フレームの具体例は、撮影ピッチ0.25mmで撮像された光切断線の変位を積み上げたものであるため、それぞれの変位量ΔdをΔhに変換すると、幅0.25mm×高さ0.25mmの深さ画像が算出される。また、かかる具体例では、角度φ=45°であるため、Δd=(1/20.5)・Δhの関係が成立している。
なお、被検査体である管状体の内表面の形状の変化や、カメラ走査方向軸が管状体の中心からずれることにより、図14に示したように、光切断線に湾曲等の歪みが生じる場合がある。他方、本実施形態に係る管状体内表面検査方法では、光切断線に重畳している凹凸が、管状体の内表面の断面形状と内表面に存在する表面欠陥に関する情報となっている。そのため、深さ画像算出部225は、光切断線の変位量Δdに基づいて深さ画像を算出する際に、光切断線毎に歪み補正処理を行って、光切断線に重畳している凹凸に関する情報のみを抽出してもよい。このような歪み補正処理を実施することにより、カメラ走査方向軸が管状体の中心軸に正確に一致していない場合や、内表面の形状が円でない場合であっても、内表面に存在する凹凸疵の情報のみを得ることが可能となる。
かかる歪み補正処理の具体例として、(i)多次元関数や各種の非線形関数を利用したフィッティング処理を行い、得られたフィッティング曲線と観測された光切断線との差分演算を行う処理や、(ii)凹凸に関する情報が高周波成分であることを利用して、浮動フィルタやメディアンフィルタ等のローパスフィルタを適用する処理等を挙げることができる。このような歪み補正処理を実施することにより、内表面に存在する凹凸疵の情報を保持したまま、光切断線の平坦化を図ることが可能となる。
深さ画像算出部225は、以上説明したようにして算出した深さ画像に関する情報を、後述する検出処理部229に出力する。
輝度画像算出部227は、例えば、CPU、ROM、RAM等により実現される。輝度画像算出部227は、光切断線処理部223が生成した光切断線特徴量(特に、輝度の総和K及び輝線の画素数pに関する特徴量)に基づいて、管状体の内表面における環状ビームの輝度の分布を表す輝度画像を算出する。
具体的には、輝度画像算出部227は、図12Bに示したような輝度の総和Kに関する特徴量(二次元配列)、及び、図12Cに示したような輝線の画素数pに関する特徴量(二次元配列)を利用して、総和輝度の線幅方向の平均値である平均輝度KAVE(j,m)=Kj,m/pj,m(1≦j≦N、1≦m≦M)を算出する。その後、輝度画像算出部227は、算出した平均輝度KAVE(j,m)からなるデータ配列を、着目している管状体の輝度画像とする。かかる輝度画像は、管軸方向のそれぞれの位置での環状のレーザ光の輝度の一次元分布が管軸方向に沿って順に配列された、二次元の輝度分布を表す画像である。
輝度画像算出部227は、以上説明したようにして算出した輝度画像に関する情報を、後述する検出処理部229に出力する。
検出処理部229は、例えば、CPU、ROM、RAM等により実現される。検出処理部229は、深さ画像算出部225により算出された深さ画像と、輝度画像算出部227により算出された輝度画像と、に基づいて、管状体の内表面に存在する欠陥を検出する。
かかる検出処理部229は、深さ画像及び輝度画像に基づいて欠陥部位を特定する欠陥部位特定機能と、特定した欠陥部位の形態及び画素値に関する特徴量を抽出する特徴量抽出機能と、抽出した特徴量に基づいて欠陥の種別や有害度等を判別する欠陥判別機能と、を有している。以下、これらの機能について、簡単に説明する。
○欠陥部位特定機能
検出処理部229は、取得した深さ画像及び輝度画像の各画素に対して、周辺画素との画素値(深さを表す値、又は、輝度値)の線形和を得るフィルタ処理によって縦線状疵、横線状疵、微小疵等の領域を強調し、得られた値が、欠陥部位特定のための第2の閾値以上となるか否かの判定を行う。このようなフィルタ処理及び当該フィルタ処理結果に基づく判定処理を実施することで、検出処理部229は、欠陥部位を特定するための2値化画像を生成することができる。かかる2値化画像において、算出した値が第2の閾値未満であった画素が正常箇所(すなわち、2値化画像の画素値=0)に該当し、算出した値が第2の閾値以上であった画素が欠陥箇所(すなわち、2値化画像の画素値=1)に該当する。更に、検出処理部229は、連続して発生している欠陥箇所を結合していくことで、一つ一つの欠陥部位を特定する。
○特徴量抽出機能
検出処理部229は、欠陥部位特定機能により深さ画像及び輝度画像の欠陥部位を特定すると、特定した欠陥部位ごとに、欠陥部位の形態及び画素値に関する特徴量を抽出する。欠陥部位の形態に関する特徴量として、例えば、欠陥部位の幅、欠陥部位の長さ、欠陥部位の周囲長、欠陥部位の面積、欠陥部位の外接長方形の面積等を挙げることができる。また、欠陥部位の画素値に関する特徴量として、深さ画像に関しては、欠陥部位の深さの最大値、最小値、平均値等を挙げることができ、輝度画像に関しては、欠陥部位の輝度の最大値、最小値、平均値等を挙げることができる。
○欠陥判別機能
検出処理部229は、特徴量抽出機能により各欠陥部位の特徴量を抽出すると、欠陥部位ごとに、抽出した特徴量に基づいて欠陥の種別や有害度等を判別する。特徴量に基づく欠陥の種別や有害度等の判別処理は、例えば図15に示したようなロジックテーブルを利用して行われる。すなわち、検出処理部229は、図15に例示したようなロジックテーブルによって表される判別条件に基づき、欠陥の種別や有害度を判別する。
図15に例示したように、ロジックテーブルの縦方向の項目として、欠陥の種別(欠陥A1〜欠陥An)が記載されており、ロジックテーブルの横方向の項目として、特徴量の種類(特徴量B1〜特徴量Bm)が記載されている。また、欠陥の種別及び特徴量により規定されるテーブルの各セルには、対応する特徴量の大小による判別条件式(条件式C11〜条件式Cnm)が記述されている。このようなロジックテーブルの各行が一組となって、一つ一つの欠陥の種別の判別条件となる。判別処理は、最上位の行に記載された種別から順に行われ、何れか一つの行に記載された判別条件を全て満たした時点で終了する。
このようなロジックテーブルは、過去の操業データ及び当該操業データに基づく検定員による欠陥の種別及び有害度の特定結果を教師データとした学習処理により構築されたデータベースを利用して、公知の方法により生成することが可能である。
検出処理部229は、このようにして検出した欠陥部位ごとに欠陥の種別及び有害度を特定し、得られた検出結果を表示制御部205に出力する。これにより、検出対象物である管状体の内表面に存在する欠陥に関する情報が、表示部(図示せず。)に出力されることとなる。また、検出処理部229は、得られた検出結果を、製造管理用プロセスコンピュータ等の外部の装置に出力してもよく、得られた検出結果を利用して、製品の欠陥帳票を作成してもよい。また、検出処理部229は、欠陥部位の検出結果に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部207等に履歴情報として格納してもよい。
なお、以上の説明では、ロジックテーブルを利用して欠陥の種別や有害度を判別する場合について説明したが、欠陥の種別や有害度を判別する方法は上記例に限定されるわけではない。例えば、過去の操業データ及び当該操業データに基づく検定員による欠陥の種別及び有害度の特定結果を教師データとした学習処理により、ニューラルネットやサポートベクターマシン(SVM)等の判別器を生成し、かかる判別器を欠陥の種別や有害度の判別に利用してもよい。
以上、本実施形態に係る演算処理装置200が有する画像処理部203の構成について、詳細に説明した。
なお、上述の説明では、深さ画像算出部225が深さ画像を算出する際に、差分演算処理やローパスフィルタ処理等の近似補正処理を実施する場合について説明した。しかしながら、かかる近似補正処理は、光切断線処理部223が光切断線特徴量を算出するに先立って、当該光切断線処理部223が実施してもよい。
以上、本実施形態に係る演算処理装置200の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
(管状体内表面検査方法について)
続いて、図16を参照しながら、本実施形態に係る管状体内表面検査方法の流れを簡単に説明する。図16は、本実施形態に係る管状体内表面検査方法の流れの一例を示した流れ図である。
まず、管状体内表面検査装置10の管状体撮像装置100は、送入時及び送出時のそれぞれにおいて、環状ビームを用いて検査対象物である管状体の内表面を撮像して、エリアカメラ120による撮像画像を、演算処理装置200に出力する。ここで、エリアカメラ120には、上記のような2箇所の撮像対象領域(ROI)が予め設定されており、送入時から送出時へと移行する際には、管状体撮像装置100の姿勢が、駆動制御装置150によって変更される。演算処理装置200が備える画像処理部203のA/D変換部211は、取得したエリアカメラ120からの撮像画像に対してA/D変換処理を行い、送入時及び送出時のそれぞれについて、環状ビーム画像を生成する(ステップS101)。
次に、環状ビームセンター算出部213は、A/D変換部211が生成した、エリアカメラ120による送入時及び送出時の環状ビーム画像をそれぞれ利用して環状ビーム画像の重心位置及び半径を算出し(ステップS103)、得られた算出結果を、座標変換部215に出力する。
続いて、座標変換部215は、算出された重心位置や半径等を利用して、エリアカメラ120による送入時及び送出時の環状ビーム画像を座標変換し、光切断画像を生成する(ステップS105)。生成された光切断画像は、管状体の管軸方向に沿って、記憶部207等に設けられた画像メモリに順次格納されていく。
その後、部分縞画像フレーム生成部217は、生成された光切断画像を管状体の管軸方向に沿って順に配列して、部分縞画像フレームを生成する(ステップS107)。部分縞画像フレーム生成部217は、生成した部分縞画像フレームを、縞画像フレーム生成部219に出力する。縞画像フレーム生成部219は、部分縞画像フレーム生成部217により生成された部分縞画像フレームを用いて、縞画像フレームを生成する(ステップS109)。縞画像フレーム生成部219は、生成した縞画像フレームを、光切断線処理部223に出力する。
光切断線処理部223は、生成された縞画像フレームを利用し、各光切断線について、所定の閾値Th以上の輝度を有する画素の画素数、当該画素の輝度の総和及び光切断線の変位量を算出する(ステップS111)。これら算出結果が、光切断線特徴量として利用される。算出された光切断線特徴量は、深さ画像算出部225及び輝度画像算出部227にそれぞれ出力される。
深さ画像算出部225は、算出された光切断線特徴量(特に、光切断線の変位量に関する特徴量)を利用して、深さ画像を算出する(ステップS113)。また、輝度画像算出部227は、算出された光切断線特徴量(特に、閾値以上の輝度を有する画素の画素数に関する特徴量、及び、輝度の総和に関する特徴量)を利用して、輝度画像を算出する(ステップS113)。深さ画像算出部225及び輝度画像算出部227は、算出した各画像を、検出処理部229に出力する。
検出処理部229は、算出された深さ画像及び輝度画像を利用して、管状体の内表面に存在する欠陥部位を検出し、検出した欠陥部位の欠陥の種別及び有害度を特定する(ステップS115)。以上のような流れにより、管状体の内表面に存在する欠陥が検出されることとなる。
以上、本実施形態に係る管状体内表面検査装置及び管状体内表面検査方法について、詳細に説明した。
(ハードウェア構成について)
次に、図17を参照しながら、本発明の実施形態に係る演算処理装置200のハードウェア構成について、詳細に説明する。図17は、本発明の実施形態に係る演算処理装置200のハードウェア構成を説明するためのブロック図である。
演算処理装置200は、主に、CPU901と、ROM903と、RAM905と、を備える。また、演算処理装置200は、更に、バス907と、入力装置909と、出力装置911と、ストレージ装置913と、ドライブ915と、接続ポート917と、通信装置919とを備える。
CPU901は、中心的な処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置913、又はリムーバブル記録媒体921に記録された各種プログラムに従って、演算処理装置200内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるバス907により相互に接続されている。
バス907は、ブリッジを介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バスに接続されている。
入力装置909は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置909は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、演算処理装置200の操作に対応したPDA等の外部接続機器923であってもよい。更に、入力装置909は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。ユーザは、この入力装置909を操作することにより、演算処理装置200に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置911は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプなどの表示装置や、スピーカ及びヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置911は、例えば、演算処理装置200が行った各種処理により得られた結果を出力する。具体的には、表示装置は、演算処理装置200が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置913は、演算処理装置200の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置913は、例えば、HDD(Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。このストレージ装置913は、CPU901が実行するプログラムや各種データ、及び外部から取得した各種のデータなどを格納する。
ドライブ915は、記録媒体用リーダライタであり、演算処理装置200に内蔵、あるいは外付けされる。ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体921に記録されている情報を読み出して、RAM905に出力する。また、ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体921に記録を書き込むことも可能である。リムーバブル記録媒体921は、例えば、CDメディア、DVDメディア、Blu−ray(登録商標)メディア等である。また、リムーバブル記録媒体921は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、又は、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体921は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。
接続ポート917は、機器を演算処理装置200に直接接続するためのポートである。接続ポート917の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート、RS−232Cポート、HDMI(登録商標)(High−Definition Multimedia Interface)ポート等がある。この接続ポート917に外部接続機器923を接続することで、演算処理装置200は、外部接続機器923から直接各種のデータを取得したり、外部接続機器923に各種のデータを提供したりする。
通信装置919は、例えば、通信網925に接続するための通信デバイス等で構成された通信インターフェースである。通信装置919は、例えば、有線もしくは無線LAN(Local Area Network)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード等である。また、通信装置919は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は、各種通信用のモデム等であってもよい。この通信装置919は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置919に接続される通信網925は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、社内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本発明の実施形態に係る演算処理装置200の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
(まとめ)
以上説明したように、本発明の実施形態に係る管状体内表面検査装置10を利用することで、管状体の内表面を管周方向全周、管軸方向全長にわたって、より高速、高分解能かつ簡便に検査することが可能となり、微小な凹凸形状の欠陥や模様状の欠陥を高精度で同時に検出することができる。また、本実施形態に係る管状体内表面検査装置10により、欠陥の発生位置を正確に特定することが可能となるため、鋼管等の管状体の生産性や歩留まりの向上や、品質保証に大きく寄与することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
10 管状体内表面検査装置
100 管状体撮像装置
110 照明機構
111 レーザ光源
113 光学素子
120 エリアカメラ
131 保持基板
133 連結部材
200 演算処理装置
201 撮像制御部
203 画像処理部
205 表示制御部
207 記憶部
211 A/D変換部
213 環状ビームセンター算出部
215 座標変換部
217 部分縞画像フレーム生成部
219 縞画像フレーム生成部
221 画像算出部
223 光切断線処理部
225 深さ画像算出部
227 輝度画像算出部
229 検出処理部

Claims (6)

  1. 管状体の内表面に存在する欠陥を検出する管状体内表面検査方法において、
    レーザ光を照射するレーザ光源、
    前記レーザ光源から照射されたレーザ光を前記管状体の内表面の周方向に環状のレーザ光として反射する光学素子、
    前記管状体の内表面の前記環状のレーザ光が照射された領域を撮像して、環状ビーム画像を生成するエリアカメラ、及び、
    前記レーザ光源と前記エリアカメラを連結して固定する連結部材を有する管状体撮像装置を用い、
    前記管状体撮像装置を、前記管状体の管軸方向に沿って移動させる移動ステップと、
    前記管状体撮像装置を前記移動装置で移動させ、前記管状体へ送入される状態から送出される状態へと切り替わる際に、前記連結部材の管軸に直交する面における位置が相違するように、前記管状体撮像装置を前記管状体の周方向に回転する回転ステップと、
    前記管状体撮像装置を前記管状体へ送入し送出する間に、前記エリアカメラの全視野のうち、前記環状のレーザ光が前記連結部材によって遮蔽されない領域であって、前記エリアカメラの全視野のうち、前記エリアカメラが備える撮像素子において当該撮像素子の各画素の電荷又は電圧に関する情報である画素情報が転送される方向である画素情報転送方向に対して直交する方向の端部にそれぞれに設定される端部領域に対応する部分を撮像することで、前記環状ビーム画像を複数生成する環状ビーム画像生成ステップと、
    前記管状体撮像装置を前記管状体へ送入し送出する間に、複数生成された前記環状ビーム画像に対して画像処理を行い、前記管状体の内表面に欠陥が存在するかを判断する演算処理ステップと、
    を有する、管状体内表面検査方法
  2. 前記環状ビーム画像は、前記管状体への送入時における前記環状ビーム画像と、前記管状体からの送出時における前記環状ビーム画像との間で、互いに一部重複する領域が存在する、請求項1に記載の管状体内表面検査方法。
  3. 前記演算処理ステップは、
    前記環状ビーム画像を用いて、前記環状のレーザ光の照射部分の重心位置と半径とを算出するステップと、
    前記重心位置並びに、前記重心位置及び前記環状のレーザ光の照射部分との離隔量に基づいて、前記環状ビーム画像の座標系を極座標変換し、極座標変換で得られた前記環状のレーザ光の照射部分に対応する線分である光切断線を含む光切断画像を生成するステップと、
    前記光切断画像を、前記管軸方向に沿って順に配列させた縞画像フレームに基づいて、前記管状体の内表面の凹凸状態を表す深さ画像と、前記管状体の内表面における前記環状のレーザ光の輝度分布を表す輝度画像とを算出するステップと、
    前記深さ画像及び前記輝度画像に基づいて、前記管状体の内表面に存在する欠陥を検出するステップと、
    を有する、請求項1又は2に記載の管状体内表面検査方法。
  4. 管状体の内表面に存在する欠陥を検出する管状体内表面検査装置において、
    レーザ光を照射するレーザ光源、
    前記レーザ光源から照射されたレーザ光を前記管状体の内表面の周方向に環状のレーザ光として反射する光学素子、
    前記管状体の内表面の前記環状のレーザ光が照射された領域を撮像して、環状ビーム画像を生成するエリアカメラ、及び、
    前記レーザ光源と前記エリアカメラを連結して固定する連結部材を有する管状体撮像装置と、
    前記管状体撮像装置を、前記管状体の管軸方向に沿って移動させる移動装置と、
    前記管状体撮像装置を前記移動装置で移動させ、前記管状体へ送入される状態から送出される状態へと切り替わる際に、前記連結部材の管軸に直交する面における位置が相違するように、前記管状体撮像装置を前記管状体の周方向に回転する回転装置と、
    前記管状体撮像装置を前記管状体へ送入し送出する間に、複数生成された前記環状ビーム画像に対して画像処理を行い、前記管状体の内表面に欠陥が存在するかを判断する演算処理装置と、
    を備え、
    前記エリアカメラは、前記管状体撮像装置を前記管状体へ送入し送出する間に、前記エリアカメラの全視野のうち、前記環状のレーザ光が前記連結部材によって遮蔽されない領域であって、前記エリアカメラの全視野のうち、前記エリアカメラが備える撮像素子において当該撮像素子の各画素の電荷又は電圧に関する情報である画素情報が転送される方向である画素情報転送方向に対して直交する方向の端部にそれぞれに設定される端部領域に対応する部分を撮像することで、前記環状ビーム画像を複数生成する、管状体内表面検査装置。
  5. 前記環状ビーム画像は、前記管状体への送入時における前記環状ビーム画像と、前記管状体からの送出時における前記環状ビーム画像との間で、互いに一部重複する領域が存在する、請求項4に記載の管状体内表面検査装置。
  6. 前記演算処理装置は、
    前記環状ビーム画像を用いて、前記環状のレーザ光の照射部分の重心位置と半径とを算出し、
    前記重心位置、並びに、前記重心位置及び前記環状のレーザ光の照射部分との離隔量に基づいて、前記環状ビーム画像の座標系を極座標変換し、極座標変換で得られた前記環状のレーザ光の照射部分に対応する線分である光切断線を含む光切断画像を生成し、
    前記光切断画像を、前記管軸方向に沿って順に配列させた縞画像フレームに基づいて、前記管状体の内表面の凹凸状態を表す深さ画像と、前記管状体の内表面における前記環状のレーザ光の輝度分布を表す輝度画像とを算出し、
    前記深さ画像及び前記輝度画像に基づいて、前記管状体の内表面に存在する欠陥を検出する、請求項4又は5に記載の管状体内表面検査装置。

JP2018552088A 2017-05-31 2018-05-31 管状体内表面検査方法及び管状体内表面検査装置 Active JP6481216B1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017107967 2017-05-31
JP2017107967 2017-05-31
PCT/JP2018/020956 WO2018221653A1 (ja) 2017-05-31 2018-05-31 管状体内表面検査方法及び管状体内表面検査装置

Publications (2)

Publication Number Publication Date
JP6481216B1 true JP6481216B1 (ja) 2019-03-13
JPWO2018221653A1 JPWO2018221653A1 (ja) 2019-06-27

Family

ID=64455533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018552088A Active JP6481216B1 (ja) 2017-05-31 2018-05-31 管状体内表面検査方法及び管状体内表面検査装置

Country Status (7)

Country Link
US (1) US20210156681A1 (ja)
EP (1) EP3594668A4 (ja)
JP (1) JP6481216B1 (ja)
AR (1) AR111982A1 (ja)
CA (1) CA3060434A1 (ja)
MX (1) MX2019013510A (ja)
WO (1) WO2018221653A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IT201900006925A1 (it) * 2019-05-16 2020-11-16 Sica Spa Sistema di controllo della qualità di lavorazione di tubi in materiale termoplastico
CN112051272A (zh) * 2020-10-10 2020-12-08 沈阳工业大学 一种基于机器视觉的高压气瓶内表面缺陷检测系统
CN115096213B (zh) * 2022-08-24 2022-11-15 中国石油大学(华东) 一种基于多棱锥反射镜的内螺纹双目检测方法
CN115790450B (zh) * 2023-02-07 2023-04-28 中国石油大学(华东) 基于双平面镜的油管接箍内螺纹参数检测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07140080A (ja) * 1993-11-19 1995-06-02 Nippon Steel Corp 表面疵検査装置
JP2000028335A (ja) * 1998-07-07 2000-01-28 Minolta Co Ltd 3次元入力装置
US20160084644A1 (en) * 2014-09-24 2016-03-24 General Electric Company System and method of measuring geometric characteristics of object
JP2017053790A (ja) * 2015-09-11 2017-03-16 新日鐵住金株式会社 欠陥検出装置及び欠陥検出方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007285891A (ja) 2006-04-17 2007-11-01 Toru Yoshizawa 内面形状の測定方法とこの方法による測定装置
JP5742655B2 (ja) 2011-01-14 2015-07-01 新日鐵住金株式会社 欠陥検出装置及び欠陥検出方法
JP6234274B2 (ja) 2014-02-28 2017-11-22 株式会社日立製作所 内面形状計測方法および装置
JP6417948B2 (ja) * 2015-01-13 2018-11-07 新日鐵住金株式会社 ドリフトゲージ及びドリフト検査方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07140080A (ja) * 1993-11-19 1995-06-02 Nippon Steel Corp 表面疵検査装置
JP2000028335A (ja) * 1998-07-07 2000-01-28 Minolta Co Ltd 3次元入力装置
US20160084644A1 (en) * 2014-09-24 2016-03-24 General Electric Company System and method of measuring geometric characteristics of object
JP2017053790A (ja) * 2015-09-11 2017-03-16 新日鐵住金株式会社 欠陥検出装置及び欠陥検出方法

Also Published As

Publication number Publication date
EP3594668A1 (en) 2020-01-15
JPWO2018221653A1 (ja) 2019-06-27
MX2019013510A (es) 2020-02-10
WO2018221653A1 (ja) 2018-12-06
CA3060434A1 (en) 2018-12-06
US20210156681A1 (en) 2021-05-27
AR111982A1 (es) 2019-09-11
EP3594668A4 (en) 2020-12-16

Similar Documents

Publication Publication Date Title
JP5742655B2 (ja) 欠陥検出装置及び欠陥検出方法
JP6481216B1 (ja) 管状体内表面検査方法及び管状体内表面検査装置
JP2017053790A (ja) 欠陥検出装置及び欠陥検出方法
JP6696278B2 (ja) ドリフト検査装置
JP5025442B2 (ja) タイヤ形状検査方法とその装置
JP6481217B1 (ja) 管状体内表面検査装置及び管状体内表面検査方法
JP6079948B1 (ja) 表面欠陥検出装置および表面欠陥検出方法
JP2009180590A (ja) ディスク表面の欠陥検査方法及び欠陥検査装置
JP6417948B2 (ja) ドリフトゲージ及びドリフト検査方法
JP6958175B2 (ja) 管状体内表面検査装置及び管状体内表面検査方法
JP6683088B2 (ja) 表面性状検査装置、表面性状検査方法及びプログラム
JP2010133744A (ja) 欠陥検出方法およびその方法を用いた視覚検査装置
JP5388467B2 (ja) 光学デバイス欠陥検査方法及び光学デバイス欠陥検査装置
JP5796511B2 (ja) 管状体検査装置及び管状体検査方法
JP2004117053A (ja) 電縫溶接管のビード形状検出方法および検出装置
CN108291857A (zh) 用于分析轮胎的设备和方法
JP2021022637A (ja) ボンディングワイヤの検査装置、ボンディングワイヤの検査方法、及びボンディングワイヤの検査プログラム
JP2017142219A (ja) 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
WO2019171474A1 (ja) 表面性状検査装置、表面性状検査方法及びプログラム
JP2018059768A (ja) 演算処理装置、形状測定装置、演算処理方法、形状測定方法及びプログラム
JP2001012913A (ja) コイル位置検出装置
WO2020019348A1 (zh) 基于相干光的微细管内壁检测装置及方法
JP2001012918A (ja) コイル位置検出装置
JP2000329520A (ja) コイル位置検出装置
JP2017083343A (ja) 光コネクタのフェルール端面検査装置および検査用のプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181003

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181003

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190121

R151 Written notification of patent or utility model registration

Ref document number: 6481216

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190426

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350