JP6481217B1 - 管状体内表面検査装置及び管状体内表面検査方法 - Google Patents

管状体内表面検査装置及び管状体内表面検査方法 Download PDF

Info

Publication number
JP6481217B1
JP6481217B1 JP2018555703A JP2018555703A JP6481217B1 JP 6481217 B1 JP6481217 B1 JP 6481217B1 JP 2018555703 A JP2018555703 A JP 2018555703A JP 2018555703 A JP2018555703 A JP 2018555703A JP 6481217 B1 JP6481217 B1 JP 6481217B1
Authority
JP
Japan
Prior art keywords
tubular body
image
imaging
area camera
laser light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018555703A
Other languages
English (en)
Other versions
JPWO2020026290A1 (ja
Inventor
赤木 俊夫
俊夫 赤木
山地 宏尚
宏尚 山地
武男 中田
武男 中田
正樹 山野
正樹 山野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Steel Corp
Original Assignee
Nippon Steel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Steel Corp filed Critical Nippon Steel Corp
Application granted granted Critical
Publication of JP6481217B1 publication Critical patent/JP6481217B1/ja
Publication of JPWO2020026290A1 publication Critical patent/JPWO2020026290A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G01B11/306Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces for measuring evenness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/08Measuring arrangements characterised by the use of optical techniques for measuring diameters
    • G01B11/12Measuring arrangements characterised by the use of optical techniques for measuring diameters internal diameters
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2518Projection by scanning of the object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/95Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/954Inspecting the inner surface of hollow bodies, e.g. bores
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8841Illumination and detection on two sides of object
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8845Multiple wavelengths of illumination or detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8851Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

【課題】管状体の大きさに依らず、管状体の内表面をより高速、高分解能かつ簡便に検査すること。
【解決手段】本発明に係る管状体内表面検査装置は、管状体の管軸方向に沿って移動しながら管状体の内表面に対して環状のレーザ光を照射し、環状のレーザ光が照射された内表面を撮像することで環状ビーム画像を生成する管状体撮像装置と、環状ビーム画像に対して画像処理を行い、管状体の内表面に欠陥が存在するかを判断する演算処理装置と、を備える。管状体撮像装置は、環状のレーザ光を照射する照明機構と、環状のレーザ光が照射された内表面を撮像するエリアカメラと、照明機構及びエリアカメラを連結して固定する連結部材と、を有する撮像ユニットが、連結部材の位置が撮像ユニット間で互いに異なり、かつ、管軸方向と同軸となるように、直列に複数連結されている。
【選択図】図1

Description

本発明は、管状体内表面検査装置及び管状体内表面検査方法に関する。
鋼管のような金属管や樹脂製のパイプ等に代表される管状体の内表面を検査する管状体の内面検査は、特に鋼管のような金属管においては重要な検査項目の一つであり、通常は、管状体の製造工程とは別の工程を別途設けて、目視検査が行われている。
管状体の目視検査は、検査員の技量に負う部分が大きく、特に、管状体の内表面を検査する内面検査は、目視検査を十分に実施することが困難となる。そのため、特に、管状体の軸方向深部において、破廉恥な疵の流出や重大クレームが発生する可能性がある。また、検査手法によっては、検出困難となる管状体内表面の凹凸も存在するため、管状体の内表面を直接監視することが重要である。
このような管状体の内表面の検査方法として、光源の光を円錐ミラー又は円錐プリズムにより円盤状に照射させて、管状体内表面の反射光を撮像素子で撮像する撮像光学系を利用する方法がある。このような管状体の内表面の検査方法の一つに、以下の特許文献1〜特許文献3に開示されているような方法がある。
例えば以下の特許文献1には、光源の光を円錐ミラー又は円錐プリズムにより円盤状に照射する光源からなる照明光及び撮像センサによる撮像系により撮像光学系を構成し、かかる撮像光学系を一緒に逐次移動させながら、被検査物の内面に照射した照射光により得られる内面形状を表す光跡を撮像センサで撮像することで得られる光跡画像データから、撮像光学系の基準位置と被検査物内面との距離を逐次算出して被検査物内面形状を測定する技術が開示されている。
また、以下の特許文献2には、管状体の軸方向に沿って移動しながら管状体の内表面に対して環状のレーザ光を照射して得られる環状ビーム画像から光切断画像を得ることで、結果的に内表面の凹凸キズと模様系キズとを同時かつ個別に検出する装置が開示されている。
また、以下の特許文献3には、被検査体内面にリング状に広げたレーザ光を照射する光源部と、照射されたレーザ光の被検査体内面の反射光を撮像する撮像部と、を光学的に透明な管で同軸となるように配置し、撮像する際の透明管からのゴーストの発生を抑制するために、透明管に偏光の状態を制御する特性を付与した装置が開示されている。
特開2007−285891号公報 特開2012−159491号公報 特開2015−163844号公報
ここで、環状のレーザ光を撮像する際のフレームレートは、用いるカメラの性能で決まるため、高速に光切断画像を逐次得ることが困難である。一般的に、光切断画像の撮像には二次元エリアカメラを利用する。この場合、検査に必要な管状体内面のレーザ光照射領域以外の無駄な領域を含めて撮像が行われるため、撮像フレームレートを向上することは困難である。また、処理に必要のないデータの転送時間も必要となることから、一般的な二次元エリアカメラは、高速な検査を実施したい場合には不適である。
また、例えば内径250mm以上の中径管とも呼ばれる管状体を検査するためには、撮像画像の分解能を確保しながら(換言すれば、撮像画像のサイズを確保しながら)撮像するために、撮像画像のサイズを大きくする必要がある。そのため、結果としてフレームレートが低下してしまい、撮像に時間を要するようになってしまう。
また、実際に管状体の検査を行う際には、光源を支持するための支持部材を用いることとなるが、エリアカメラにとっては、かかる支持部材によって環状のレーザ光が遮蔽されて、未撮像領域が発生してしまう。
上記の未撮像領域の発生に関して、上記特許文献1又は特許文献3に開示されている技術では、光源を支持するための支持部材の影を無くすことは出来るが、光源への電圧供給ケーブル等を完全に排除することは出来ない。そのため、上記特許文献1及び特許文献3に開示されている技術では、未撮像領域の縮小は出来ても、未撮像領域を完全に無くすことは出来ない。また、被検査物である管状体が大きくなって長尺となれば、光源と撮像部との間隔が広くなることから、上記特許文献1及び特許文献3に開示されている技術では、撮像光学系の強度を確保するために、光源及び撮像部を支持する支持部材を設ける必要が生じる。
上記特許文献2では、上記のような未撮像領域に関して、検査プローブの往路及び復路で撮像する領域をずらすようにして、未撮像領域を補完する技術が提案されている。しかしながら、検査プローブの移動位置を制御するためには装置が大きくなる可能性があり、簡便さが低下してしまう可能性がある。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、管状体の大きさに依らず、管状体の内表面をより高速、高分解能かつ簡便に検査することが可能な、管状体内表面検査装置及び管状体内表面検査方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、管状体の内表面に存在する欠陥を検出する管状体内表面検査装置において、レーザ光を照射するレーザ光源、前記レーザ光源から照射されたレーザ光を前記管状体の内表面の周方向に環状のレーザ光として反射する光学素子、前記管状体の内表面の前記環状のレーザ光が照射された領域を撮像することで、環状ビーム画像を生成するエリアカメラ、及び、前記レーザ光源と前記エリアカメラとを連結して固定する連結部材を有する撮像ユニットを、N(N≧2)個備え、それぞれの前記撮像ユニットを、前記管状体の管軸方向に沿って、前記連結部材の管軸に直交する面における位置が互いに異なるように直列に連結した管状体撮像装置と、前記管状体撮像装置を、前記管状体の管軸方向に沿って移動させる移動装置と、前記管状体撮像装置を前記移動装置で移動させながら、それぞれの前記撮像ユニットにおいて複数生成された前記環状ビーム画像に対して画像処理を行い、前記管状体の内表面に欠陥が存在するかを判断する演算処理装置と、を備える、管状体内表面検査装置が提供される。
それぞれの前記撮像ユニットにおける前記エリアカメラは、前記エリアカメラの全視野のうち、前記環状のレーザ光が前記連結部材によって遮蔽されない領域であって、前記エリアカメラの全視野のうち、前記エリアカメラが備える撮像素子において当該撮像素子の各画素の電荷又は電圧に関する情報である画素情報が転送される方向である画素情報転送方向に対して直交する方向の端部にそれぞれに設定される端部領域に対応する部分を撮像することで、前記環状ビーム画像を複数生成することが好ましい。
前記演算処理装置は、それぞれの前記撮像ユニットから得られた前記環状ビーム画像を用いて、前記環状のレーザ光の照射部分の重心位置と半径とを算出し、算出された前記重心位置、並びに、前記重心位置及び前記環状のレーザ光の照射部分との離隔量に基づいて、それぞれの前記撮像ユニットから得られた前記環状ビーム画像の座標系を極座標変換し、極座標変換で得られた前記環状のレーザ光の照射部分に対応する線分である光切断線を含む光切断画像を、それぞれの前記撮像ユニット毎に生成し、得られた前記それぞれの撮像ユニット毎の前記光切断画像を、それぞれ前記管軸方向に沿って順に配列させた部分縞画像フレームを生成し、前記部分縞画像フレームを、N個の前記撮像ユニットの位置関係に基づいて調整し、前記管軸に直交する面において接続して、縞画像フレームを生成し、前記縞画像フレームに基づいて、前記管状体の内表面の凹凸状態を表す深さ画像と、前記管状体の内表面における前記環状のレーザ光の輝度分布を表す輝度画像とを算出し、前記深さ画像及び前記輝度画像に基づいて、前記管状体の内表面に存在する欠陥を検出することが好ましい。
前記演算処理装置は、それぞれの前記撮像ユニットから得られた前記環状ビーム画像を用いて、前記環状のレーザ光の照射部分の重心位置と半径とを算出し、算出された前記重心位置、並びに、前記重心位置及び前記環状のレーザ光の照射部分との離隔量に基づいて、それぞれの前記撮像ユニットから得られた前記環状ビーム画像の座標系を極座標変換し、極座標変換で得られた前記環状のレーザ光の照射部分に対応する線分である光切断線を含む光切断画像を、それぞれの前記撮像ユニット毎に生成し、得られた前記それぞれの撮像ユニット毎の前記光切断画像を、N個の前記撮像ユニットの位置関係に基づいて調整し、前記管軸に直交する面において接続することで、前記管軸方向に沿って順に配列させた縞画像フレームを生成し、前記縞画像フレームに基づいて、前記管状体の内表面の凹凸状態を表す深さ画像と、前記管状体の内表面における前記環状のレーザ光の輝度分布を表す輝度画像とを算出し、前記深さ画像及び前記輝度画像に基づいて、前記管状体の内表面に存在する欠陥を検出することが好ましい。
前記それぞれの撮像ユニット毎の前記環状ビーム画像には、互いに一部重複する領域が存在することが好ましい。
前記それぞれの撮像ユニットにおける前記レーザ光源から照射されるレーザ光の波長は、互いに相違しており、前記それぞれの撮像ユニットにおける前記エリアカメラの前段には、当該エリアカメラと同一の前記撮像ユニットに属する前記レーザ光源のレーザ光と同一の波長の光を透過させる波長選択フィルタが設けられてもよい。
複数の前記撮像ユニット間において、前記エリアカメラ、前記レーザ光源、及び、前記光学素子が、(エリアカメラ、レーザ光源、光学素子)(光学素子、レーザ光源、エリアカメラ)・・・の並び順で並ぶように、N個の前記撮像ユニットが連結されていてもよい。
複数の前記撮像ユニット間において、前記光学素子、前記レーザ光源、及び、前記エリアカメラが、(光学素子、レーザ光源、エリアカメラ)(エリアカメラ、レーザ光源、光学素子)・・・の並び順で並ぶように、N個の前記撮像ユニットが連結されていてもよい。
複数の前記撮像ユニット間において、前記エリアカメラ、前記レーザ光源、及び、前記光学素子が、(エリアカメラ、レーザ光源、光学素子)の並び順を繰り返すように、N個の前記撮像ユニットが連結されていてもよい。
また、上記課題を解決するために、本発明の別の観点によれば、管状体の内表面に存在する欠陥を検出する管状体内表面検査方法において、レーザ光を照射するレーザ光源、前記レーザ光源から照射されたレーザ光を前記管状体の内表面の周方向に環状のレーザ光として反射する光学素子、前記管状体の内表面の前記環状のレーザ光が照射された領域を撮像することで、環状ビーム画像を生成するエリアカメラ、及び、前記レーザ光源と前記エリアカメラとを連結して固定する連結部材を有する撮像ユニットを、N(N≧2)個備え、それぞれの前記撮像ユニットを、前記管状体の管軸方向に沿って、前記連結部材の管軸に直交する面における位置が互いに異なるように直列に連結した管状体撮像装置と、前記管状体撮像装置を、前記管状体の管軸方向に沿って移動させる移動装置と、前記管状体撮像装置を前記移動装置で移動させながら、それぞれの前記撮像ユニットにおいて複数生成された前記環状ビーム画像に対して画像処理を行い、前記管状体の内表面に欠陥が存在するかを判断する演算処理装置と、を備える、管状体内表面検査装置を用い、それぞれの前記撮像ユニットから得られた前記環状ビーム画像を用いて、前記環状のレーザ光の照射部分の重心位置と半径とを算出するステップと、算出された前記重心位置、並びに、前記重心位置及び前記環状のレーザ光の照射部分との離隔量に基づいて、それぞれの前記撮像ユニットから得られた前記環状ビーム画像の座標系を極座標変換し、極座標変換で得られた前記環状のレーザ光の照射部分に対応する線分である光切断線を含む光切断画像を、それぞれの前記撮像ユニット毎に生成するステップと、得られた前記それぞれの撮像ユニット毎の前記光切断画像を、それぞれ前記管軸方向に沿って順に配列させた部分縞画像フレームを生成した後、生成した前記部分縞画像フレームを、N個の前記撮像ユニットの位置関係に基づいて調整し、前記管軸に直交する面において接続して、縞画像フレームを生成するか、又は、得られた前記それぞれの撮像ユニット毎の前記光切断画像を、N個の前記撮像ユニットの位置関係に基づいて調整し、前記管軸に直交する面において接続することで、前記管軸方向に沿って順に配列させた縞画像フレームを生成するステップと、前記縞画像フレームに基づいて、前記管状体の内表面の凹凸状態を表す深さ画像と、前記管状体の内表面における前記環状のレーザ光の輝度分布を表す輝度画像とを算出するステップと、前記深さ画像及び前記輝度画像に基づいて、前記管状体の内表面に存在する欠陥を検出するステップと、を有する、管状体内表面検査方法が提供される。
それぞれの前記撮像ユニットにおける前記エリアカメラは、前記エリアカメラの全視野のうち、前記環状のレーザ光が前記連結部材によって遮蔽されない領域であって、前記エリアカメラの全視野のうち、前記エリアカメラが備える撮像素子において当該撮像素子の各画素の電荷又は電圧に関する情報である画素情報が転送される方向である画素情報転送方向に対して直交する方向の端部にそれぞれに設定される端部領域に対応する部分を撮像することで、前記環状ビーム画像を複数生成してもよい。
前記それぞれの撮像ユニット毎の前記環状ビーム画像には、互いに一部重複する領域が存在することが好ましい。
前記それぞれの撮像ユニットにおける前記レーザ光源から照射されるレーザ光の波長は、互いに相違しており、前記それぞれの撮像ユニットにおける前記エリアカメラの前段には、当該エリアカメラと同一の前記撮像ユニットに属する前記レーザ光源のレーザ光と同一の波長の光を透過させる波長選択フィルタが設けられていてもよい。
複数の前記撮像ユニット間において、前記エリアカメラ、前記レーザ光源、及び、前記光学素子が、(エリアカメラ、レーザ光源、光学素子)(光学素子、レーザ光源、エリアカメラ)・・・の並び順で並ぶように、N個の前記撮像ユニットが連結されていてもよい。
複数の前記撮像ユニット間において、前記光学素子、前記レーザ光源、及び、前記エリアカメラが、(光学素子、レーザ光源、エリアカメラ)(エリアカメラ、レーザ光源、光学素子)・・・の並び順で並ぶように、N個の前記撮像ユニットが連結されていてもよい。
複数の前記撮像ユニット間において、前記エリアカメラ、前記レーザ光源、及び、前記光学素子が、(エリアカメラ、レーザ光源、光学素子)の並び順を繰り返すように、N個の前記撮像ユニットが連結されていてもよい。
以上説明したように本発明によれば、管状体の大きさに依らず、管状体の内表面をより高速、高分解能かつ簡便に検査することが可能となる。
本発明の実施形態に係る管状体内表面検査装置の全体的な構成を模式的に示したブロック図である。 同実施形態に係る管状体撮像装置の構成の一例を模式的に示した説明図である。 同実施形態に係る管状体撮像装置について説明するための説明図である。 同実施形態に係る管状体撮像装置について説明するための説明図である。 同実施形態に係る管状体撮像装置について説明するための説明図である。 同実施形態に係る管状体撮像装置について説明するための説明図である。 同実施形態に係る管状体撮像装置について説明するための説明図である。 同実施形態に係る管状体撮像装置について説明するための説明図である。 同実施形態に係る管状体撮像装置について説明するための説明図である。 同実施形態に係る演算処理装置が有する画像処理部の構成の一例を示したブロック図である。 同実施形態に係る重心位置及び半径の算出処理について説明するための説明図である。 同実施形態に係る座標変換処理について説明するための説明図である。 同実施形態に係る部分縞画像フレームの生成処理の一例を示した説明図である。 同実施形態に係る縞画像フレームの生成処理の一例を示した説明図である。 同実施形態に係る光切断線処理について説明するための説明図である。 同実施形態に係る光切断線処理について説明するための説明図である。 同実施形態に係る光切断線変位の二次元配列を示した説明図である。 同実施形態に係る輝度の総和の二次元配列を示した説明図である。 同実施形態に係る輝線の画素数の二次元配列を示した説明図である。 光切断線の変位と欠陥の高さとの関係を示した説明図である。 同実施形態に係る光切断線の近似補正処理を説明するための説明図である。 同実施形態に係る欠陥検出処理で用いられるロジックテーブルの一例を模式的に示した説明図である。 同実施形態に係る管状体撮像装置の他の構成例を模式的に示した説明図である。 同実施形態に係る管状体撮像装置の他の構成例を模式的に示した説明図である。 同実施形態に係る管状体内表面検査方法の流れの一例を示した流れ図である。 本発明の第2の実施形態に係る管状体撮像装置の構成の一例を模式的に示した説明図である。 同実施形態に係る管状体撮像装置について説明するための説明図である。 本発明の各実施形態に係る演算処理装置のハードウェア構成の一例を模式的に示したブロック図である。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
(第1の実施形態)
<管状体内表面検査装置の全体構成について>
まず、図1及び図2を参照しながら、本発明の実施形態に係る管状体内表面検査装置10の全体構成について説明する。図1は、本実施形態に係る管状体内表面検査装置10の構成の一例を示した説明図である。図2は、本実施形態に係る管状体撮像装置の構成の一例を模式的に示した説明図である。
本実施形態に係る管状体内表面検査装置10は、管状体1の内表面を撮像して、撮像の結果得られる画像を画像処理することにより、管状体1の内表面を検査する装置である。本実施形態に係る管状体内表面検査装置10は、より詳細には、管状体1の内表面に表面欠陥(凹凸疵及び模様系の疵)が存在するか否かを検査する装置である。
なお、本実施形態に係る管状体1は、中空部を有する管状のものであれば、特に限定されるものではない。かかる管状体1の例として、スパイラル鋼管、電縫鋼管、UO鋼管、継目無鋼管(シームレス鋼管)、鍛接鋼管、TIG溶接鋼管等の各種鋼管に代表される金属管やパイプのみならず、熱間押出法で使用されるコンテナと称するシリンダー等の管状物を挙げることができる。
本実施形態に係る管状体内表面検査装置10は、図1に示したように、管状体1の内表面を撮像する管状体撮像装置100と、撮像の結果得られる画像に対して画像処理を行う演算処理装置200と、を主に備える。
管状体撮像装置100は、管状体1の中空部に設置される。この管状体撮像装置100は、管状体1の管軸方向に沿って位置を随時変更しながら、当該管状体1の内表面を管軸方向に沿って順次撮像し、撮像の結果得られる撮像画像を、演算処理装置200に出力する装置である。ここで、管状体撮像装置100の移動に伴い、PLG(Pulse Logic Generator:パルス型速度検出器)等からPLG信号が演算処理装置200に出力される。また、管状体撮像装置100は、演算処理装置200によって、管状体1の撮像タイミング等が制御されている。
かかる管状体撮像装置100については、以下で改めて詳細に説明する。
また、演算処理装置200は、管状体撮像装置100によって生成された撮像画像を利用して縞画像フレームを生成し、この縞画像フレームに対して画像処理を行うことで、管状体1の内表面に存在している可能性のある欠陥を検出する装置である。
かかる演算処理装置200についても、以下で改めて詳細に説明する。
なお、本実施形態に係る管状体内表面検査装置10は、図1に示した装置以外にも、例えば、管状体撮像装置100の管軸方向の移動を制御する駆動制御装置を有していても良い。この場合、かかる駆動制御装置は、演算処理装置200による制御のもとで、管状体撮像装置100を支持する支持バー134(図2を参照。)の移動を制御することで、管状体撮像装置100の管軸方向の移動の制御を行う。
<管状体撮像装置100の構成について>
続いて、図2〜図5Bを参照しながら、本実施形態に係る管状体撮像装置100の構成について、詳細に説明する。図2は、本実施形態に係る管状体撮像装置の構成の一例を模式的に示した説明図である。図3A〜図5Bは、本実施形態に係る管状体撮像装置について説明するための説明図である。
本実施形態に係る管状体撮像装置100は、照明機構110と、エリアカメラ120と、照明機構110及びエリアカメラ120のそれぞれが固定される保持基板131と、2つの保持基板131を連結する支柱である連結部材133と、を有する撮像ユニット101が、管状体1の管軸方向に2つ連結された構造を有している。図2に模式的に示したように、2つの撮像ユニット101は、それぞれの照明機構110が取り付けられた側の保持基板131を共有しており、2つの撮像ユニット101が、管軸方向に沿って対向するように、かつ、連結部材133の、管軸に直交する面における位置が撮像ユニット101間で互いに異なる(好ましくは90°ずれる)ように、直列に2つ連結されている。
図2に示したように、撮像ユニット101を2つ設けることはコストの増加につながる。また、従来の検査装置において、検査装置の送入時から送出時へと移行する際に、検査装置を回転させることで、上記の未撮像領域の撮像が可能であった。そのため、本実施形態に係る管状体撮像装置100のように、撮像ユニット101を2つ設けるという発想は、従来想起し得ないものであった。
以下では、管状体撮像装置100を構成する二つの撮像ユニット101を、便宜的に、それぞれ、撮像ユニット101A(第一撮像ユニット)及び撮像ユニット101B(第二撮像ユニット)と称する。また、撮像ユニット101Aにおける照明機構110及びエリアカメラ120を、便宜的に、照明機構110A及びエリアカメラ120Aと区別することがある。同様に、撮像ユニット101Bにおける照明機構110及びエリアカメラ120を、便宜的に、照明機構110B及びエリアカメラ120Bと区別することがある。
以下では、まず、それぞれの撮像ユニット101を構成する部材について、詳細に説明する。
照明機構110は、管状体1の内表面に対して所定の光を照射することで、管状体1の内表面を照明する機構である。この照明機構110は、管状体1の内表面の全周方向に対して環状のレーザ光を照射するレーザ光照射装置を少なくとも有している。
かかるレーザ光照射装置は、管状体1の内表面の管周方向に沿って環状のレーザ光(以下、「環状ビーム」ともいう。)を照射する装置であり、図2に示したように、レーザ光源111と、円錐状の光学素子113と、を有している。
レーザ光源111は、所定の波長を有するレーザ光を発振する光源である。このようなレーザ光源111として、例えば、連続的にレーザ発振を行うCWレーザ光源を用いることが可能である。レーザ光源111が発振する光の波長は、特に限定されるものではないが、例えば、400nm〜800nm程度の可視光帯域に属する波長であることが好ましい。レーザ光源111は、後述する演算処理装置200から送出される照射タイミング制御信号に基づいて、レーザ光の発振を行い、管状体1の管軸方向に沿ってレーザ光を照射する。
円錐状の光学素子113は、円錐形状のミラー又はプリズムを備える光学素子であり、円錐部の頂点がレーザ光源111と対向するように設置されている。レーザ光源111から射出されたスポット状のレーザ光は、光学素子113の円錐部の頂点によって反射され、管状体1の内表面に対してリング状にラインビームが発生する。ここで、円錐部の円錐角が90°である場合には、図2に示したように、レーザ光源111からのレーザ入射方向に対して直角方向に、環状ビームが照射される。
エリアカメラ120は、図2に示すように、照明機構110の管軸方向に沿った光の照射方向を基準として、照明機構110の後方に設けられている。エリアカメラ120には、CCD(Charge Coupled Device)、又は、CMOS(Complementary Metal Oxide Semiconductor)等の撮像素子が搭載されている。かかるエリアカメラ120は、モノクロカメラであってもよいし、カラーカメラであってもよい。各エリアカメラ120A,120Bは、管状体1の内表面に垂直に照射された環状ビームを、図2に示したように、それぞれ角度φ,φの方向から撮像して、内表面における環状ビームの撮像画像から、後述する撮像対象領域(いわゆる、関心領域(Region Of Interest:ROI))に対応する画像である環状ビーム画像をそれぞれ生成する。
また、本実施形態に係るエリアカメラ120は、撮像可能な全視野のうち所定の領域のみを撮像対象領域(ROI)として設定可能なカメラである。エリアカメラ120に設けられている撮像素子では、一般的に、撮像素子の所定の方向(例えば、撮像素子を構成する画素群の配列における水平方向、又は、当該水平方向に対して直交する方向である垂直方向)に沿って、撮像素子の各画素に蓄えられた電荷を転送する処理(撮像素子がCCDである場合)、又は、撮像素子の各画素の電圧を転送する処理(撮像素子がCMOSである場合)が行われる。ここで、撮像素子の各画素に蓄えられた電荷に関する情報、又は、撮像素子の各画素の電圧に関する情報を、以下では、「画素情報」といい、かかる画素情報が転送される方向を、以下では、「画素情報転送方向」ということがある。撮像素子における画素情報転送方向は、撮像素子の製造時等に予め決定されている事項であり、撮像素子の仕様等を確認することで予め把握することができる。
かかるエリアカメラ120において、例えば画素情報転送方向が水平方向である撮像素子が設けられていた場合に、当該エリアカメラ120では、例えば、撮像可能な全視野のうち、画素情報転送方向に対して垂直な方向である垂直方向の一部の範囲に、撮像対象領域(ROI)が設定される。エリアカメラ120は、撮像対象領域(ROI)として設定された撮像画像の垂直方向の一部の範囲について、撮像素子の各画素の電荷又は電圧に関する画素情報を水平方向に転送することで、撮像対象領域(ROI)として設定された垂直方向の一部の範囲の画像のみを、撮像可能な全視野から抽出することができる。撮像可能な全視野の中から、撮像対象領域(ROI)として設定された垂直方向の一部の範囲の画像のみを抽出することで、撮像対象領域(ROI)が設定されていない場合と比較して、画素情報の転送時間を短縮することができる。その結果、本実施形態に係る管状体撮像装置100では、管状体1の内表面を、より高い撮像フレームレートで撮像することが可能となり、ひいては、管状体1の内表面をより高速に撮像することが可能となる。
エリアカメラ120に搭載されるレンズの焦点距離や画角、及び、照明機構110とエリアカメラ120の撮像素子との間の距離は特に限定するものではないが、管状体1の内表面に照射された環状ビームの全体像を撮像可能なように選択することが好ましい。また、エリアカメラ120に搭載される撮像素子の大きさや画素サイズも特に限定するものではないが、生成される画像の画質や画像分解能等を考慮すると、サイズの大きな撮像素子を利用することが好ましい。また、以下で説明する画像処理の観点から、環状ビームのライン幅(線幅)は、撮像素子上で1〜3画素程度であるように調整されることが好ましい。なお、エリアカメラ120Aとエリアカメラ120Bとの間で、レンズの焦点距離や画角、照明機構110とエリアカメラ120の撮像素子との間の距離等といった各種の撮像条件は、同一の設定とすることが重要である。
このような照明機構110とエリアカメラ120とは、照明機構110から照射されるレーザ光の中心軸と、エリアカメラ120の中心軸(光軸)とが同軸となるように配置されて、2つの保持基板131に固定されている。
本実施形態に係る管状体撮像装置100では、上記のような撮像ユニット101を2つ有しており、撮像ユニット101A,101Bは、連結部材133の管軸に直交する面における位置が、撮像ユニット間で互いに異なるように、直列に連結されている。そのため、連結部材133A及び連結部材133Bが、それぞれ、エリアカメラ120A及びエリアカメラ120Bの視野において遮る領域は、管軸に直交する面において異なることになる。従って、エリアカメラ120A及びエリアカメラ120Bの両方で、管状体1の内表面を走査撮像すると、視野が欠けることなく、内表面全体を撮像することが可能となる。特に、2つの撮像ユニット101A,101Bを、管軸に直交する面において、連結部材133A及び連結部材133Bが90°ずれるように直列に連結すると、後述する演算処理において無駄がなく効率的であり、好適である。
ここで、各撮像ユニット101において、環状ビームと、エリアカメラ120の画角を定める境界線と、のなす角φ1,φについて、|φ|=|φ|という関係が成立している。また、角度|φ|,|φ|は、任意の値に設定することが可能であるが、例えば30〜60度程度とすることが好ましい。かかる角度をあまり大きくすると環状ビームの管状体1の内面からの散乱光(反射光)が弱くなり、また小さくすると、検査対象物である管状体1の深さ変化量に対して、後述する縞画像における縞の移動量が小さくなり、管状体1の内表面に存在する凹部の深さ(又は、凸部の高さ)に関する情報が劣化するためである。
ここで、各撮像ユニット101A,101Bから照射される環状ビームの波長が互いに等しい場合には、各環状ビームの内表面における照射位置は、図2に模式的に示したように、所定の大きさDだけ離隔していることが好ましい。かかるオフセットDの大きさは、管状体1の内表面に存在しうる凹凸に伴う環状ビームの照射位置の変動量を考慮して、かかる変動量よりも大きな値となるように設定されることが好ましい。オフセットDの大きさが、変動量よりも小さな値に設定されている場合、撮像ユニット101Aの環状ビームの照射位置に存在しうる凹凸に起因する変動と、撮像ユニット101Bの環状ビームの照射位置に存在しうる凹凸に起因する変動と、を区別することが出来なくなるからである。
なお、オフセットDが大きすぎる場合、管状体撮像装置100の大きさが大きくなりすぎ、装置の取り扱いが困難となることがある。また、管状体の内表面の管軸方向全体を検査するためには、管状体撮像装置100を、管状体の全長よりも、少なくともオフセットD以上長く管軸方向に沿って移動させることが求められる。しかしながら、設備制約等に起因して管状体撮像装置100を十分に長く移動させられない場合が生じたとき、管状体の端部に検査できない領域が発生してしまう。そのため、オフセットDの大きさは、設備制約等により管状体の端部に検査できない領域が発生しないように、設定されることが好ましい。
また、オフセットDが小さすぎる場合、上記のように、1つのエリアカメラ120から見える2つの環状ビームが凹凸が発生している部位で重なってしまい、正確な撮像が困難となる。ここで、検出対象とする凹凸の最大深さ及び最大高さを、hmaxとする。また、図2において、撮像ユニット101Bの環状ビームの照射位置を、撮像ユニット101Aのエリアカメラ120Aで見たときの画角を、φ’と表すこととする。この際に、オフセットDが小さいときは、角度|φ’|≒|φ|とみなすことができる。一方、以下で説明するように、環状ビームの照射位置に起因する光切断線の変位量Δdと、管状体の内表面に生じている凹凸の深さ/高さΔhとは、Δd=Δh・sinφの関係が成立する。そのため、2つの環状ビームが重ならないためには、D>2・hmax×sinφの関係が成立することが好ましい。例えば、角度|φ|=45°であり、hmax=5mmの場合、オフセットDの大きさは、2×5×sin45°=7.1mmよりも大きいことが好ましい。
なお、各撮像ユニット101A,101Bから照射される環状ビームの波長が互いに異なる場合には、図2に示したようなオフセットDの値は、適宜設定すればよい。各撮像ユニット101において、各撮像ユニット101におけるエリアカメラ120が有する撮像素子の前段に、該当する撮像ユニット101におけるレーザ光と同一の波長の光を透過させる波長選択フィルタを設置することで、各撮像ユニット101では、かかる撮像ユニット101に属する照明機構110からの環状ビームを選択的に結像させることができる。これにより、撮像ユニット101間の環状ビームの混色を防止して、撮像ユニット101Aの環状ビームの照射位置に存在しうる凹凸に起因する変動と、撮像ユニット101Bの環状ビームの照射位置に存在しうる凹凸に起因する変動と、を区別することが可能だからである。
上記のような2つの撮像ユニット101A,101Bから構成される管状体撮像装置100は、図2に模式的に示したように、支持バー134によって支持されており、演算処理装置200の制御のもとで、支持バー134を管軸方向に移動させる移動装置として機能させ、照明機構110A,110B及びエリアカメラ120A,120Bを、管状体1の中心軸に略一致するように管軸方向に移動させながら、管状体1の内表面を走査及び撮像することができる。
ここで、後述する演算処理装置200は、管状体撮像装置100が管軸方向に所定距離移動する毎に、エリアカメラ120A,120Bに対して撮像のためのトリガ信号を出力する。照明機構110及びエリアカメラ120の管軸方向の移動間隔は、適宜設定することが可能であるが、例えば、エリアカメラ120に設けられた撮像素子の画素サイズと同一にすることが好ましい。管軸方向の移動間隔と撮像素子の画素サイズとを一致させることで、撮像された画像において縦方向の分解能と横方向の分解能とを一致させることができる。
保持基板131の素材については、管状体撮像装置100に求められる強度等に応じて適宜選択することが好ましい。また、連結部材133については、管状体撮像装置100が撓まない限り、その素材は限定されないが、ガラス製等のような、環状ビームの波長に対して透明とみなすことができる素材を用いることも可能である。また、連結部材133の本数について、図2では、連結部材133が2本存在する場合を図示しているが、連結部材133の本数は、管状体撮像装置100に求められる強度に応じて適宜設定すればよく、1本であってもよいし、3本以上であってもよい。
なお、上記のように各エリアカメラ120A、120Bには、撮像対象領域(ROI)が設定されるが、3本以上の連結部材133を設ける場合、それぞれの連結部材133の設置位置が、撮像視野において撮像対象領域(ROI)が設定されていない領域に属するように、保持基板131の縁部に、当該保持基板131の管周方向に沿って配置されることが好ましい。
図3A及び図3Bは、送入時における各エリアカメラ120の視野の様子を模式的に示したものである。図3A及び図3Bは、それぞれ、(撮像ユニットの水平及び垂直ではなく)エリアカメラ120の垂直及び水平(より詳細には、エリアカメラ120に設けられた撮像素子における垂直及び水平)を基準とした、垂直及び水平に基づいて示されている。
上記のような管状体撮像装置100において、各エリアカメラ120の視野(エリアカメラ120を基準とした垂直方向画素×水平方向画素=H画素×W画素)内には、図3A及び図3Bに模式的に示したように、各照明機構110A,110Bから照射される環状レーザ光に加えて、照明機構110、保持基板131、連結部材133が存在している。また、連結部材133によって内表面における環状ビームの一部が遮蔽されて、環状レーザ光が観測できない領域が発生している。本実施形態に係る管状体撮像装置100では、高解像度を維持したままの撮像処理の高速化と、連結部材133によって環状レーザ光が観測できない領域の発生への対処を目的として、図4A及び図4Bに模式的に示したように、各エリアカメラ120に対して、撮像可能な全視野のうち所定の領域のみを取り扱うための撮像対象領域ROIを、撮像素子の画素情報転送方向(図4A及び図4Bの場合、水平方向)に対して直交する方向(図4A及び図4Bの場合、垂直方向)のそれぞれの端部領域に2箇所設定する。すなわち、エリアカメラ120で撮像した画像のうち、撮像対象領域ROIに対応する画像だけを、環状ビーム画像として取り扱い、演算処理装置200に送信することで、後述する画像処理を行うようにする。
いま、エリアカメラ120Aに設定される撮像対象領域ROIを、便宜的に、ROI_1A及びROI_2Aと称することとし、エリアカメラ120Bに設定される撮像対象領域ROIを、便宜的に、ROI_1B及びROI_2Bと称することとする。また、ROI_1A及びROI_IBに対応する部分を、便宜的に、撮像可能な全視野における上側と称することとし、ROI_2A及びROI_2Bに対応する部分を、便宜的に、撮像可能な全視野における下側と称することとする。
図4A及び図4Bは、それぞれ、(管状体撮像装置100の水平及び垂直ではなく)エリアカメラ120の垂直及び水平を基準とした、垂直及び水平に基づいて示されている。
各エリアカメラ120A,120Bでは、図4A及び図4Bに模式的に示したように、エリアカメラ120の全視野のうち、管状体1の管軸方向と直交し、エリアカメラ120の撮像素子の画素情報を転送する方向を長手方向とし、エリアカメラ120の全視野のうち連結部材133によって環状のレーザ光が遮蔽される部分を含まないように、エリアカメラ120の全視野のうちの上側端部及び下側端部に、それぞれ、矩形の撮像対象領域(ROI)が設定される。
また、エリアカメラ120の全視野のうちの上側端部及び下側端部にそれぞれ設定される撮像対象領域(ROI)以外の領域には、図4Cに模式的に示したように、複数の連結部材133が存在していてもよい。従って、管状体撮像装置100の管軸方向の撓みを防止するために、撮像ユニット101に対して所定の強度を求めるのであれば、この2つの撮像対象領域(ROI)以外の領域に複数の連結部材133が位置するように、管状体撮像装置100における連結部材133の配置を適宜決定すればよい。
なお、撮像対象領域(ROI)を、エリアカメラ120の全視野のうちの上側端部及び下側端部に設定しているのは、エリアカメラ120が、撮像素子の各画素の電荷又は電圧に関する画素情報を、水平方向に転送することに対応して、画像の一領域を欠けなく抽出できるようにするためである。そのため、エリアカメラ120が、撮像素子の各画素の電荷又は電圧に関する画素情報を垂直方向に転送するものである場合には、撮像対象領域(ROI)を、エリアカメラ120の全視野のうちの左側端部及び右側端部に設定することも可能である。
また、それぞれの撮像ユニット101A,101Bにおけるエリアカメラ120A,120Bでは、それぞれ設定される2つの撮像対象領域(ROI)に係る画像について、互いに一部重複する領域が存在するように、撮像対象領域(ROI)の長手方向に直交する方向の大きさが決定されることが好ましい。
以下では、図2に示したような構造を有している管状体撮像装置100に着目して、本実施形態における撮像対象領域(ROI)の設定方法について、図4A及び図4Bを参照しながら詳細に説明する。
ここで、図2に示した例では、撮像ユニット101A及び撮像ユニット101Bは、エリアカメラ120A,120Bが、管状体1の管軸方向に沿って互いに対向する向きになるように配置されており、かつ、撮像ユニット101Bは、撮像ユニット101Aと比べて、管軸方向に直交する面において反時計方向に90度回転した状態で設置されている。従って、図4Aに示したエリアカメラ120Aにより撮像される画像は、図4Bに示したエリアカメラ120Bにより撮像される画像とは、90度ずれ、管軸方向の表裏を撮像する関係となっている。
また、各撮像ユニット101A,101Bにおいて、エリアカメラ120A,120Bに近い側にある環状ビームが、図4A及び図4Bに示したように、より大きな径で写りこむ。本実施形態では、より大きな径で写りこむ環状ビームを利用して、以下で詳述するような画像処理が実施される。以下では、より大きな径を有する環状ビームの半径をRと表すこととする。また、以下で詳述する画像処理では、半径Rで表される位置を中心として、R±ΔRの範囲に位置する環状ビーム画像が用いられる。従って、各エリアカメラ120A,120Bにおいて設定される撮像対象領域(ROI)は、後段の画像処理で用いられる画像領域を少なくとも含むように設定されることが好ましい。
以下では、エリアカメラ120A,120Bに搭載された撮像素子の大きさが、例えば、H(エリアカメラ120を基準とした垂直方向の画素)=1200画素×W(エリアカメラ120を基準とした水平方向の画素)=1920画素である場合を例に挙げる。また、各撮像素子において左上隅の位置を、画素位置を示す座標系における原点(0,0)であるとする。
本実施形態に係るエリアカメラ120A,120Bでは、先だって言及したように矩形の撮像対象領域(ROI)が設定される。すなわち、かかる撮像対象領域(ROI)の撮像素子水平方向の画素数は、それぞれW画素となる。
また、本実施形態に係る管状体内表面検査装置10では、以下で詳述するように、2つのエリアカメラ120A,120Bで撮像される環状ビーム画像をそれぞれ利用して、連結部材133に起因して環状レーザ光が観測できない領域に該当する部分の環状ビーム画像を補完する。図4A及び図4Bに模式的に示したように、4つの撮像対象領域(ROI)での環状ビーム画像を用いて、管状体1の内表面の全周分の環状ビーム画像を確保するわけであるから、1つの撮像対象領域(ROI)中に撮像される環状ビーム画像は、環状ビームの中心を基準として、±θ=45度の範囲を少なくとも含むこと(換言すれば、1つの撮像対象領域(ROI)中に、環状ビームの全周に対して1/4以上の孤長の環状ビームが含まれること)が重要である。
かかる観点のもと、本実施形態において、エリアカメラ120Aにおける撮像対象領域ROI_1Aは、エリアカメラ120Aの垂直、水平を基準として、(0,0)の画素座標から幅W×高さhの矩形領域として設定され、撮像素子垂直方向の画素数hは、以下の式(101)〜式(103)により、規定される。
h=A+ΔA ・・・式(101)
A=H/2−Rcosθ ・・・式(103)
ΔA=ΔR・cosθ+α ・・・式(105)
ここで、上記式(101)及び式(103)から明らかなように、画素数Aに対応する部分が、±θ=45度の範囲の環状ビームを含む領域に該当する。また、上記式(101)及び式(105)から明らかなように、画素数ΔAに対応する部分が、後段の画像処理で用いられる環状ビーム画像の大きさと、2つの撮像ユニット101A,101B間で互いに一部重複する撮像対象領域(ROI)と、を共に確保するために設定される領域に該当する。また、上記式(105)におけるパラメータαは、振動等による許容設定値であり、例えば、5画素程度とすることができる。また、ΔRの値は、検査対象物である管状体1の内径、及び、エリアカメラ120に搭載される撮像素子の画素サイズ等に応じて適宜設定すればよいが、管状体の内径が400mmであり、撮像素子の画素サイズが0.4mm×0.4mmである場合、内径400mmは1000画素分に対応するため、例えば、ΔRを、25画素程度とすることができる。
同様に、エリアカメラ120Aにおける下側の撮像対象領域ROI_2Aは、エリアカメラ120Bの垂直、水平を基準として、(0,H−h)から幅W×高さhの矩形領域として、上記式(101)〜式(105)と同様に設定される。
また、エリアカメラ120Bにおける上側の撮像対象領域ROI_1B及び下側の撮像対象領域ROI_2Bについても、エリアカメラ120Aと同様に設定される。エリアカメラ120Bは、エリアカメラ120Aに対して反時計方向に90度回転しているのみであるため、カメラ上の設定値をエリアカメラ120Aと同一とすることが出来るからである。
このような、撮像対象領域(ROI)を設定可能なエリアカメラでは、カメラの全撮像領域に対する撮像対象領域(ROI)の面積の比率に対応して、カメラの撮像フレームレートを速くして撮像することが可能となる。その結果、より細かい周期でレーザ光による光切断線を得ることが可能となる。すなわち、エリアカメラの全撮像領域に対して、撮像対象領域の領域面積を1/2、1/3、1/4・・・と設定することで、撮像素子における画素情報転送量が、撮像対象領域(ROI)を設定しない場合と比較して、ほぼ1/2、1/3、1/4・・・・と減少する結果、撮像フレームレートについても、ほぼ1/2、1/3、1/4・・・と高速化した画像取り込みが可能となる。エリアカメラの撮像画像読み込み周期を高速化した場合、走査方向に対して直交する方向(すなわち、本例では垂直方向)の分解能を向上させた画像を得ることができる。従って、本実施形態に係る管状体撮像装置100では、より高速、高分解能かつ簡便に、管状体の内表面を撮像することが可能となる。
なお、本実施形態において、撮像フレームレートの具体的な値は、求められる撮像レート等に応じて適宜設定すればよいが、例えば、2つの撮像対象領域合計での撮像フレームレートは、通常の撮像フレームレート(すなわち、エリアカメラの全撮像領域を撮像する場合のフレームレート)の2倍程度の値である、300fps程度とすることができる。
なお、一般的なエリアカメラに搭載される撮像素子は、エリアカメラ120の撮像素子の画素情報を転送する方向(図4A及び図4Bの場合は、撮像画像の長手方向)の撮像対象領域(ROI)の幅を小さくしたとしてもフレームレートは向上しないため、先だって言及したように、撮像対象領域(ROI)の幅Wは、エリアカメラ120の画素情報を転送する方向の幅Wと同一でよい。
また、エリアカメラ120の撮像素子の画素情報を転送する方向とは直交する方向の撮像対象領域(ROI)の幅を小さくする場合には、フレームレートが向上することが期待されるが、その場合には、上記の高さhに対応して、幅wを以下の式(107)で算出すればよい。
w=2×(Rsinθ+ΔA) ・・・式(107)
その上で、上側の撮像対象領域ROI_1Aは、(W/2−Rsinθ−ΔA,0)の座標から幅w×高さhの矩形領域を設定し、撮像対象領域ROI_2Aは、(W/2−Rsinθ−ΔA,H−h)の座標から幅w×高さhの矩形領域を、それぞれ設定してもよい。
なお、上記のような各エリアカメラ120A,120Bにおける撮像対象領域ROI_1A、ROI_2A、ROI_1B、ROI_2Bの設定値は、検査対象物である管状体1のサイズ(内径等)に応じて、プリセット値としてルックアップテーブル等を予め作成しておいて、後述する演算処理装置200の記憶部等に格納しておき、演算処理装置200がエリアカメラ120の撮像制御を行う際に、かかるルックアップテーブル等を参照することで、容易に設定可能としておくことが好ましい。
各エリアカメラ120A,120Bに対して、各エリアカメラ120において2種類の撮像対象領域(ROI)、2つのエリアカメラ120A,120Bにおいて計4種類の撮像対象領域(ROI)が設定されることで、図5A及び図5Bに示したような環状ビーム画像が生成されることとなる。
以下に、本実施形態に係る管状体撮像装置100の有する各装置について、その具体的な構成や設定値等を列挙する。かかる構成や設定値等はあくまでも一例であって、本発明に係る管状体撮像装置100が、以下の具体例に限定されるわけではない。
○管状体
内径100mm〜500mm、長さ10m〜20m
○照明機構110
100mWの出力でレーザ光源111から可視光帯域のレーザ光を照射する。レーザ光は、円錐状の光学素子113(円錐角90度)により、50mWの環状ビームとなって管状体の内表面に対し反射される。管状体の内表面に照射されるラインビーム幅は、0.25mmである。ただし、この場合のラインビーム幅とは、ピーク強度値から13.5%で定義されるものである。
○エリアカメラ120
幅1920画素×高さ1200画素のCMOS(画素サイズ:4.8μm×4.8μm)を撮像素子として搭載しており、フレームレートは、150fpsである。レンズの焦点距離は1.81mmであり、水平方向画角は180°である。撮像される画像の画素サイズは0.4mm×0.4mm、ラインビーム幅は、撮像画像上では、1〜3画素の輝線の幅で撮影される。撮像対象領域(ROI)を、CMOSの上側端部及び下側端部のそれぞれに、2つの端部領域の合計で600画素分の高さとなるように設定すると、フレームレートは、300fpsとなる。
○エリアカメラ120A,120Bは、管状体の内表面を、管軸方向に0.25mm進む毎に撮像する(すなわち、管状体撮像装置100が0.25mm移動する毎に1パルスのPLG信号が出力される。)。
<演算処理装置200の全体構成について>
以上、本実施形態に係る管状体撮像装置100の構成について説明した。続いて、再び図1に戻って、本実施形態に係る演算処理装置200の全体構成について説明する。
本実施形態に係る演算処理装置200は、例えば図1に示したように、撮像制御部201と、画像処理部203と、表示制御部205と、記憶部207と、を主に備える。
撮像制御部201は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、通信装置等により実現される。撮像制御部201は、本実施形態に係る管状体撮像装置100による検査対象物の撮像制御を実施する。より詳細には、撮像制御部201は、管状体1の撮像を開始する場合に、照明機構110A,110Bに対してレーザ光の発振を開始させるための制御信号を送出する。また、撮像制御部201は、エリアカメラ120A,120Bのそれぞれに対して、後述する記憶部207等に格納されているルックアップテーブル等を参照しながら、先だって説明したような2種類の撮像対象領域(ROI)を設定した上で、エリアカメラ120A,120Bに対して撮像を開始するためのトリガ信号を送出する。
また、管状体撮像装置100が管状体1の撮像を開始すると、管状体撮像装置100からPLG信号が定期的に(例えば、管状体撮像装置100が0.25mm移動する毎に1パルスのPLG信号)送出されるが、撮像制御部201は、PLG信号を取得する毎にエリアカメラ120A,120Bに対して撮像を開始するためのトリガ信号を送出する。
画像処理部203は、例えば、CPU、ROM、RAM、通信装置等により実現される。画像処理部203は、管状体撮像装置100(より詳細には、管状体撮像装置100のエリアカメラ120A,120B)から取得した撮像データを利用して、後述する縞画像フレームを生成する。その後、生成した縞画像フレームに対して、以下で説明するような画像処理を行い、測定対象物である管状体の内表面に存在する可能性のある欠陥を検出する。画像処理部203は、管状体1の内表面の欠陥検出処理を終了すると、得られた検出結果に関する情報を、表示制御部205に伝送する。
なお、この画像処理部203については、以下で改めて詳細に説明する。
表示制御部205は、例えば、CPU、ROM、RAM、出力装置等により実現される。表示制御部205は、画像処理部203から伝送された、検査対象物である管状体1の欠陥検出結果を、演算処理装置200が備えるディスプレイ等の出力装置や演算処理装置200の外部に設けられた出力装置等に表示する際の表示制御を行う。これにより、管状体内表面検査装置10の利用者は、検査対象物(管状体1)の内表面に存在する各種の欠陥に関する検出結果を、その場で把握することが可能となる。
記憶部207は、例えば本実施形態に係る演算処理装置200が備えるRAMやストレージ装置等により実現される。記憶部207には、本実施形態に係る管状体撮像装置100のエリアカメラ120A,120Bにおける撮像対象領域(ROI)の設定プリセット値等といった、本実施形態に係る演算処理装置200が、何らかの処理を行う際に保存する必要が生じた様々なパラメータや処理の途中経過等、又は、各種のデータベースやプログラム等が、適宜記録される。この記憶部207に対しては、撮像制御部201、画像処理部203、表示制御部205等が、リード/ライト処理を実行することが可能である。
[画像処理部203について]
続いて、図6を参照しながら、本実施形態に係る演算処理装置200が備える画像処理部203について、詳細に説明する。図6は、本実施形態に係る演算処理装置が有する画像処理部の構成を示したブロック図である。
本実施形態に係る画像処理部203は、図6に示したように、A/D変換部211と、環状ビームセンター算出部213と、座標変換部215と、部分縞画像フレーム生成部217と、縞画像フレーム生成部219と、画像算出部221と、検出処理部229と、を主に備える。
A/D変換部211は、例えば、CPU、ROM、RAM等により実現される。A/D変換部211は、エリアカメラ120A,120Bからそれぞれ出力された撮像画像をA/D変換し、図5A及び図5Bに模式的に示したような、合計4種類の撮像対象領域に関するデジタル多値画像データ(すなわち、環状ビーム画像)として出力する。かかるデジタル多値画像データは、記憶部207等に設けられた画像メモリに記憶される。これらのデジタル多値画像データを管状体の管軸方向に沿って順次利用することにより、後述するような部分縞画像フレーム及び縞画像フレームが形成される。
図5A及び図5Bに模式的に示したように、環状ビーム画像は、管状体1の内表面の管軸方向に沿ったある位置において、管状体の内表面に照射された環状ビームを撮像したものである。環状ビーム画像は、予めカメラのゲインやレンズの絞りを適切に設定することにより、例えば、環状ビームが照射された部分が白く表示され、その他の部分は黒く表示されている濃淡画像とすることができる。また、環状ビームの円周上に重畳している凹凸が、管状体の内表面の断面形状と、内表面に存在する欠陥に関する情報を含んでいる。
A/D変換部211は、各エリアカメラ120A,120Bから出力された撮像画像に基づいて環状ビーム画像を生成すると、生成した環状ビーム画像に対応するデータを、後述する環状ビームセンター算出部213に出力する。
なお、図6では、1つのA/D変換部211が、各エリアカメラ120A,120Bから出力された撮像画像をA/D変換する場合について図示しているが、A/D変換部211を2つ設けて、各エリアカメラ120A,120Bから出力された撮像画像が、対応する専用のA/D変換部211によりA/D変換されてもよい。
環状ビームセンター算出部213は、例えば、CPU、ROM、RAM等により実現される。環状ビームセンター算出部213は、A/D変換部211から出力された、2つのエリアカメラ120A,120Bでそれぞれ生成された各環状ビーム画像を用いて、環の重心位置と環の半径とをそれぞれ算出する。
この際、環状ビームセンター算出部213は、図7に模式的に示したように、同じタイミングで撮像されたエリアカメラ120A,120Bによる環状ビーム画像を用いて、図7に示したような合成画像を生成し、かかる合成画像を用いて、環の重心位置Oと環の半径rとをそれぞれ算出することが好ましい。図7に示した合成画像は、各エリアカメラ120A,120Bにおいて同一の撮像タイミングで生成された環状ビーム画像を用い、これら環状ビーム画像を、環状ビーム全体が認識可能なように結合させた画像である。
ここで、エリアカメラ120A,120Bで生成される4種類の撮像対象領域(ROI)での環状ビーム画像を、どのような順で結合していけばよいかについては、エリアカメラ120A,120Bの図2に示したような光学的な位置関係から、予め決定しておくことが可能である。また、エリアカメラ120A,120Bで生成される4種類の撮像対象領域(ROI)での環状ビーム画像を、互いにどのような位置に結合していけばよいかについては、内表面にキズ等の欠陥が存在していないことが明らかとなっている基準管を利用し、4種類の撮像対象領域(ROI)での環状ビーム画像が滑らかに接続されるような結合位置を、事前に特定しておけばよい。また、環状ビームセンター算出部213は、4種類の撮像対象領域(ROI)での環状ビーム画像を結合する際に、環状ビーム画像が滑らかに接続されるように、それぞれの環状ビーム画像の結合位置を微調整してもよい。
環の重心位置O及び半径rを算出する方法は、特に限定されるわけではなく、公知のあらゆる方法を利用することが可能である。環の重心位置O及び半径rを算出する方法の具体例としては、例えば、環状ビーム画像が真円に近い場合は、以下のような2つの方法を挙げることができる。
・2値化した環状ビーム画像上の任意の3点を抽出し、この3点の位置座標の重心を算出する。得られた重心位置と3点のうち任意の1点との間の距離が環の半径となる。
・ハフ(Hough)変換による円抽出を行い、円(すなわち、環状ビーム)の重心と半径とを算出する。
環状ビームセンター算出部213は、各環状ビーム画像について環の重心位置O及び半径rを算出すると、環の重心位置O及び半径rに関する情報をそれぞれ生成して、後述する座標変換部215に出力する。
なお、本実施形態においては、管状体1の内面の断面形状が真円に近い場合について説明しているが、任意の断面形状に対して適用可能であり、例えば、断面形状が楕円や角丸長方形等であってもよい。このような場合の重心は、環状ビームの形状から求めることが可能であり、求めた重心との距離の最大値と最小値の平均値を半径として用いることで、後述する座標変換を同じ手順で実施することができる。
また、上記では、合成画像を生成した上で環の重心位置O及び半径rを算出する場合について説明したが、環状ビームセンター算出部213は、図7に示したような合成画像を生成せずに、エリアカメラ120Aから得られた環状ビーム画像を用いて環の重心位置O及び半径rを算出するとともに、エリアカメラ120Bから得られた環状ビーム画像を用いて環の重心位置O及び半径rを算出してもよい。この場合、後述する座標変換処理では、エリアカメラ120Aから得られた環状ビーム画像については、エリアカメラ120Aから得られた環状ビーム画像から算出された環の重心位置O及び半径rが用いられるとともに、エリアカメラ120Bから得られた環状ビーム画像については、エリアカメラ120Bから得られた環状ビーム画像から算出された環の重心位置O及び半径rが用いられる。しかしながら、2種類の環の重心位置O及び半径rが用いられるために、後述する縞画像フレームの生成処理において全ての部分縞画像フレームを結合していく際に、部分縞画像フレームの接続のさせ方に注意を払う必要が生じ、後段の処理が複雑化する可能性がある。
座標変換部215は、例えば、CPU、ROM、RAM等により実現される。座標変換部215は、算出された重心位置、及び、当該重心位置と環状ビームの照射部分との離隔距離(離隔量)に基づいて、環状ビーム画像の座標系を極座標変換する。そのため、環状ビーム画像に曲線状に写る環状のレーザ光の照射部分の像は、かかる極座標変換により、直線状の線分に変換される。その後、座標変換部215は、環状ビームの照射部分に対応する線分として表した、光切断画像を生成する。
すなわち、環状ビームの重心位置が算出されることで、xy平面上の直交座標系を極座標系へと変換することが可能となり、環状ビームの照射位置に対応する画素の存在位置を、重心位置を原点とした極座標(r,θ)で表すことができる。座標変換部215は、図8に示したように、環状ビームセンター算出部213で算出された半径rに動径方向に±Δrの余裕を設けたうえで(すなわち、r−Δr〜r+Δrの範囲で)、図4A及び図4Bに示した−θからθの範囲(図4A及び図4Bの場合、−45°≦θ≦45°の範囲)で、座標変換を実施する。なお、本実施形態では、動径方向のr−Δr〜r+Δrの範囲で座標変換を実施する場合について説明しているが、余裕Δrの値は、環状ビームの照射部分を含む範囲で、プラス方向とマイナス方向とで異なった値であってもよい。かかる場合、例えば、座標変換を行う範囲は、r−Δr〜r+Δrなどと表現することができる。ただし、本実施形態においては、プラス方向とマイナス方向とで同じ値Δrを用いる場合について、以降の説明を行う。
このような座標変換を行うことで、図8の右側に示したように、動径方向には半径rを中心として2Δrの高さを有し、角度方向にはθ〜θ’(図4A及び図4Bの場合、約90度)に対応する長さを有する帯状の画像が抽出される。以上の説明からも明らかなように、抽出された帯状の画像は、環状ビームの照射部分を管状体の管周方向に展開した線分(以下、「光切断線」とも称する。)を含むこととなる。また、動径方向に関して、半径rを中心として2Δrの範囲を抽出することで、環状ビームの周に凹凸が存在していたとしても、かかる凹凸を含む環状ビームの周をもれなく抽出することが可能となる。このようにして得られた帯状の画像を、以下では光切断画像と称することとする。
なお、Δrの大きさは、管状体1に存在しうる凹凸の高さの範囲を過去の操業データ等に基づいて予め大まかに算出しておくことで、決定することが可能である。
上述のような具体的な構成を有する管状体撮像装置100を用いた場合、かかる管状体撮像装置100により撮像された環状ビーム画像は、約400画素に相当する半径を有する環を含むようになる。そこで、r=400画素、Δr=25画素として、−45°≦θ≦45°の範囲で光切断画像の抽出を行うと、横628画素×高さ50画素の光切断画像が生成される。
また、座標変換部215は、直交座標系から極座標系への変換を行うため、直交座標系における格子点(すなわち、画素の中心位置)が、極座標系において必ず格子点に対応するとは限らず、非格子点に対応するものも存在するようになる。そこで、座標変換部215は、極座標系における非格子点の濃度(画素値)を補間するために、着目している点の近傍に位置する他の格子点の濃度に基づいて補間する、いわゆる画像補間法を併せて実施することが好ましい。
かかる画像補間法は、特に限定されるものではなく、例えば、「昭晃堂 画像処理ハンドブック」等に記載されている公知の画像補間法を利用することが可能である。このような画像補間法の例として、最近傍(nearest neighbor)法、双線形補間(bi−linear interpolation)法、3次補間(bi−cubic convolution)法等を挙げることができる。これらの方法のうち、前者ほど処理速度が速く、後者ほど高品質の結果を得ることができる。そこで、座標変換部215は、利用する画像補間法の種別を、処理に用いることのできるリソース量や処理時間等に応じて適宜決定すればよい。本実施形態において示す光切断画像の具体例では、画像補間法として3次補間法を適用している。
座標変換部215は、上述のような座標変換処理や画像補間処理を終了すると、得られた光切断画像に対応する画像データを、記憶部207等に設けられた画像メモリに、管状体の管軸方向に沿って順次格納していく。
部分縞画像フレーム生成部217は、例えば、CPU、ROM、RAM等により実現される。部分縞画像フレーム生成部217は、記憶部207等に設けられた画像メモリから、管状体の管軸方向に沿って格納された、各撮像対象領域(すなわち、ROI_1A、ROI_2A、ROI_1B、ROI_2B)についての光切断画像を順に取得する。その後、部分縞画像フレーム生成部217は、取得した各撮像対象領域についてのそれぞれの光切断画像を管状体の管軸方向に沿って順に配列して、撮像対象領域ごとに4種類の部分縞画像フレームを生成する。
1つの部分縞画像フレームを構成する光切断画像の個数は、適宜設定すればよいが、例えば、512個の光切断画像で1つの部分縞画像フレームを構成するようにしてもよい。各光切断画像は、上述のように環状ビーム画像の撮像間隔毎(例えば、0.25mm間隔)に存在している。そのため、0.25mm間隔で撮像された環状ビーム画像に基づく、512個の光切断画像からなる1つの部分縞画像フレームは、管状体の内表面の全周の1/4を、管軸方向に沿って128mm(=512×0.25mm)の範囲で撮像した結果に相当する。
図9に、部分縞画像フレーム生成部217によって生成される部分縞画像フレームの一例を示した。図9では、撮像対象領域ROI_1Aに関する光切断画像を利用して、撮像対象領域ROI_1Aに関する部分縞画像フレームが生成される場合を模式的に示している。図9に模式的に示した部分縞画像フレームにおいて、図面の横方向に伸びた1本の線分が、1枚の環状ビーム画像を展開したものに相当しており、図面の横方向が環状ビームの管周方向に対応している。また、図9に示した部分縞画像フレームにおいて、図面の縦方向が、管状体1の管軸方向に相当している。
部分縞画像フレーム生成部217は、以上のようにして、ROI_1A〜ROI_2Bに関する4種類の部分縞画像フレームを生成すると、生成した各部分縞画像フレームを、後述する縞画像フレーム生成部219に出力する。また、部分縞画像フレーム生成部217は、生成した部分縞画像フレームに対応するデータに、当該部分縞画像フレームを生成した日時等に関する時刻情報を関連付けて、履歴情報として記憶部207等に格納してもよい。
縞画像フレーム生成部219は、例えば、CPU、ROM、RAM等により実現される。縞画像フレーム生成部219は、部分縞画像フレーム生成部217により生成された4種類の部分縞画像フレームを用い、これら部分縞画像フレームを、2つの照明機構110A,110Bの光学的な位置関係を考慮しながら互いに結合させて、管状体1の内表面の全周に亘る光切断線が管状体の管軸方向に沿って順に配列した、縞画像フレームを生成する。
図2に模式的に示したように、撮像ユニット101Aから照射される環状ビームの照射位置と、撮像ユニット101Bから照射される環状ビームの照射位置と、は、オフセットDだけ互いに離隔している。かかるオフセットDが、部分縞画像フレームにおいてD’ライン分に相当する場合、ある管軸方向位置について、エリアカメラ120Aにより撮像された環状ビーム画像は、D’ライン分だけ遅延して、エリアカメラ120Bにより撮像されることとなる。従って、縞画像フレーム生成部219は、2つのエリアカメラ120A,120Bの光学的な位置関係を考慮して、図10に模式的に示したように、エリアカメラ120Aによる1ライン目の光切断画像と、エリアカメラ120BによるD’+1ライン目の光切断画像と、を合致させた上で、4種類の部分縞画像フレームを、部分縞画像フレーム間での重複部分を考慮しながら互いに結合して、縞画像フレームを生成する。
縞画像フレーム生成部219は、図10に示したような縞画像フレームを生成すると、生成した縞画像フレームを、後述する画像算出部221に出力する。また、縞画像フレーム生成部219は、生成した縞画像フレームに対応するデータに、当該縞画像フレームを生成した日時等に関する時刻情報を関連付けて、履歴情報として記憶部207等に格納してもよい。
なお、上記説明では、撮像ユニット101A,101Bのそれぞれにおいて光切断画像を生成し、生成された光切断画像を、それぞれ個別に、管軸方向に沿って順に配列させて部分縞画像フレームを生成し、部分縞画像フレームを、撮像ユニット101A,101Bの位置関係に基づいて調整し、その後、管軸に直交する面において接続することで、縞画像フレームを生成する場合について着目した。しかしながら、本発明は、かかる場合に限定されるものではなく、例えば、撮像ユニット101A,101Bのそれぞれにおいて光切断画像を生成し、生成された光切断画像を、撮像ユニット101A,101Bの位置関係に基づいて調整して管軸に直交する面において接続しておいてから、その後、管軸方向に沿って順に配列させることで、縞画像フレームを生成するようにすることも可能である。
画像算出部221は、例えば、CPU、ROM、RAM等により実現される。画像算出部221は、縞画像フレーム生成部219が生成した縞画像フレームに基づいて、管状体の内表面の凹凸状態を表す深さ画像と、管状体の内表面における環状ビームの輝度の分布を表す輝度画像と、を算出する。この画像算出部221は、図6に示したように、光切断線処理部223と、深さ画像算出部225と、輝度画像算出部227と、を備える。
光切断線処理部223は、例えば、CPU、ROM、RAM等により実現される。光切断線処理部223は、縞画像フレームに含まれる各光切断線について、光切断線の変位量(輝線の曲がり具合)を含む光切断線特徴量を算出する。以下では、図11A及び図11Bを参照しながら、光切断線処理部223が実施する処理及び算出する光切断線特徴量について、詳細に説明する。図11Aは、縞画像フレームを模式的に示した説明図である。図11Bは、光切断線処理部が実施する光切断線処理について説明するための説明図である。
図11Aでは、1つの縞画像フレームの中にN本の光切断線が存在しており、縞画像フレームの横方向の長さは、M画素であるものとする。また、1本の光切断線を含む1つの光切断画像は、縦2Δr画素×横M画素から構成されている。
ここで、説明の便宜上、縞画像フレームの管周方向(図11Aにおける横方向)にX軸をとり、縞画像フレームの管軸方向(図11Aにおける縦方向)にY軸をとって、縞画像フレーム中の画素の位置をXY座標で表すものとする。以下の説明では、縞画像フレーム中に存在するj(1≦j≦N)番目の光切断線の左側からm画素目(1≦m≦M)の位置(すなわち、Xj,mで表される位置)に着目する。
光切断線処理部223は、まず、着目すべき光切断線(以下、単に「ライン」とも称する。)の着目すべきX座標位置(本説明では、Xj,mで表される位置)を選択すると、図11Bに示したように、着目したラインの着目したX座標位置における画素に対応付けられている画素値(すなわち、環状ビームの輝度値)の分布を参照する。この際、光切断線処理部223は、光切断画像中の当該X座標位置における全ての画素について、以下で説明する処理を実施するのではなく、光切断画像中におけるY座標の基準位置Yの前後Wの範囲に属する画素(すなわち、Y−W〜Y+Wの範囲に属する画素)について、以下で説明する処理を実施する。
ここで、Y座標の基準位置Yは、縞画像フレームのjライン目の光切断画像に対して予め指定される管軸方向の位置であり、例えば光切断画像の管軸方向の中心を指定すれば、先述のようにプラス方向とマイナス方向とで同じ余裕値Δrを用いる場合には、環状ビームセンター算出部が算出した半径r(すなわち光切断線の位置)に等しくなる。また、処理範囲を規定するパラメータWは、管状体1に存在しうる凹凸の高さの範囲を過去の操業データ等に基づいて、光切断画像中におけるY座標の基準位置Yの前後Wの範囲が光切断画像に収まるように、予め大まかに算出しておき、適宜決定すればよい。パラメータWの値を小さくすることができれば、後述する光切断線処理部223の処理負荷の低減を図ることができる。
光切断線処理部223は、まず、Y−W〜Y+Wの範囲に含まれる画素の中から、光切断線に対応する画素を特定するための第1の閾値の一例である所定の閾値Th以上の画素値を有する画素を特定する。図11Bに示した例では、Yj,k、Yj,k+1、Yj,k+2で表される3つの画素が、それぞれ閾値Th以上の画素値Ij,k、Ij,k+1、Ij,k+2を有している。従って、光切断線処理部223は、所定の閾値Th以上の画素値を有する画素を線幅方向に加算した数pj,m=3と設定する。この所定の閾値Th以上の画素値を有する画素を線幅方向に加算した数pj,mは、いわば位置(j,m)における輝線の画素数に対応する値であり、光切断線特徴量の一つである。また、光切断線処理部223は、以下の処理において、抽出された画素に関する情報(Yj,k、Ij,k)、(Yj,k+1、Ij,k+1)、(Yj,k+2、Ij,k+2)(以下、単に(Y,I)と略記することもある。)の情報を利用して、更なる光切断線特徴量を算出していく。
また、光切断線処理部223は、パラメータpj,m及び抽出した画素に関する情報(Y,I)を用いて、抽出された画素の輝度の総和Kj,mを算出する。図11Bに示した例の場合、光切断線処理部223が算出する輝度の総和は、Kj,m=Ij,k+Ij,k+1+Ij,k+2となる。この輝度の総和Kj,mも、光切断線特徴量の一つである。
更に、光切断線処理部223は、抽出された画素に関する情報(Y,I)とY座標の基準位置Yとを利用して、抽出された画素のY方向の重心位置Y(j,m)を算出するとともに、重心位置Y(j,m)の基準位置Yからの変位量Δdj,m=Y−Y(j,m)を算出する。
ここで、重心位置Y(j,m)は、抽出された画素の集合をAと表すこととすると、以下の式111で表される値となる。従って、図11Bに示した例の場合、重心位置Y(j,m)は、以下の式111aで表される値となる。
Figure 0006481217
ここで、画素に対応する管軸方向の位置は、いわば管状体撮像装置100の移動幅(例えば、0.25mm)で量子化された値である。他方、上記式111で示したような演算により算出される重心位置Y(j,m)は、割り算という数値演算を利用することで算出される値であるため、管状体撮像装置100の移動幅(いわば量子化単位)よりも小さな値となりうる。従って、かかる重心位置Y(j,m)を利用して算出される変位量Δdj,mについても、移動幅よりも小さな値を有しうる値となる。このようにして算出される変位量Δdj,mも、光切断線特徴量の一つである。
光切断線処理部223は、以上のような3種類の特徴量を、各切断線に含まれるM個の要素に関して算出する。その結果、図12A〜図12Cに示したように、光切断線の変位量Δd、輝度の総和K、及び、輝線の画素数pに関して、M列×N行の二次元配列が生成される。本実施形態に係る縞画像フレームの具体例の場合、M=1920、N=512であるため、各光切断線特徴量を構成するデータの個数は、1920×512個となる。
光切断線処理部223は、算出した光切断線特徴量のうち、光切断線の変位量Δdに関する特徴量を、後述する深さ画像算出部225に出力する。また、光切断線処理部223は、算出した光切断線特徴量のうち、輝度の総和K、及び、輝線の画素数pに関する特徴量を、後述する輝度画像算出部227に出力する。
深さ画像算出部225は、例えば、CPU、ROM、RAM等により実現される。深さ画像算出部225は、光切断線処理部223が生成した光切断線特徴量(特に、変位量Δdに関する特徴量)に基づいて、管状体の内表面の凹凸状態を表す深さ画像を算出する。
具体的には、深さ画像算出部225は、図12Aに示したような変位量Δdに関する特徴量(二次元配列)と、環状ビームの垂直成分入射角(図2における角度φ=φ=φ)と、を利用して、深さ画像を算出する。かかる深さ画像は、管軸方向のそれぞれの位置での凹凸状態の一次元分布が管軸方向に沿って順に配列された、二次元の凹凸状態の分布を表す画像である。
まず、図13を参照しながら、管状体の内表面に存在する凹凸の高さと、光切断線の変位量Δdとの関係について説明する。図13は、光切断線の変位と欠陥の高さとの関係を示した説明図である。
図13では、管状体1の内表面に凹みが存在した場合を模式的に示している。ここで、内表面に凹みが存在しない場合の表面位置の高さと凹みの底部の高さとの差分をΔhと表すこととする。垂直入射した環状ビームが表面反射をする場合に着目すると、内表面に凹みが存在しない場合には、図13の光線Aのように反射光は伝播することとなるが、内表面に凹みが存在する場合には、図13の光線Bのように反射光が伝播することとなる。光線Aと光線Bとのズレが、本実施形態において光切断線の変位量Δdとして観測されることとなる。ここで、幾何学的な位置関係から明らかなように、光切断線の変位量Δdと凹みの深さΔhとは、Δd=Δh・sinφの関係が成立する。
なお、図13では、管状体の内表面に凹みが存在する場合について説明したが、管状体の内表面に凸部が存在する場合であっても、同様の関係が成立する。
深さ画像算出部225は、以上説明したような関係を利用して、光切断線処理部223が算出した光切断線の変位量Δdに関する特徴量に基づき、管状体の内表面の凹凸に関する量Δhを算出する。
ここで、深さ画像の算出に用いられる光切断線の変位量Δdは、先に説明したように光切断線の重心位置に基づいて算出されたものであり、移動幅よりも小さな値を有しうる値となっている。従って、深さ画像算出部225により算出される深さ画像は、撮像素子の画素サイズよりも細かい分解能で凹凸が再現されている画像となる。
本実施形態で示した縞画像フレームの具体例は、撮影ピッチ0.25mmで撮像された光切断線の変位を積み上げたものであるため、それぞれの変位量ΔdをΔhに変換すると、幅0.25mm×高さ0.25mmの深さ画像が算出される。また、かかる具体例では、角度φ=45°であるため、Δd=(1/20.5)・Δhの関係が成立している。
なお、被検査体である管状体の内表面の形状の変化や、カメラ走査方向軸が管状体の中心からずれることにより、図14に示したように、光切断線に湾曲等の歪みが生じる場合がある。他方、本実施形態に係る管状体内表面検査方法では、光切断線に重畳している凹凸が、管状体の内表面の断面形状と内表面に存在する表面欠陥に関する情報となっている。そのため、深さ画像算出部225は、光切断線の変位量Δdに基づいて深さ画像を算出する際に、光切断線毎に歪み補正処理を行って、光切断線に重畳している凹凸に関する情報のみを抽出してもよい。このような歪み補正処理を実施することにより、カメラ走査方向軸が管状体の中心軸に正確に一致していない場合や、内表面の形状が円でない場合であっても、内表面に存在する凹凸疵の情報のみを得ることが可能となる。
かかる歪み補正処理の具体例として、(i)多次元関数や各種の非線形関数を利用したフィッティング処理を行い、得られたフィッティング曲線と観測された光切断線との差分演算を行う処理や、(ii)凹凸に関する情報が高周波成分であることを利用して、浮動フィルタやメディアンフィルタ等のローパスフィルタを適用する処理等を挙げることができる。このような歪み補正処理を実施することにより、内表面に存在する凹凸疵の情報を保持したまま、光切断線の平坦化を図ることが可能となる。
深さ画像算出部225は、以上説明したようにして算出した深さ画像に関する情報を、後述する検出処理部229に出力する。
輝度画像算出部227は、例えば、CPU、ROM、RAM等により実現される。輝度画像算出部227は、光切断線処理部223が生成した光切断線特徴量(特に、輝度の総和K及び輝線の画素数pに関する特徴量)に基づいて、管状体の内表面における環状ビームの輝度の分布を表す輝度画像を算出する。
具体的には、輝度画像算出部227は、図12Bに示したような輝度の総和Kに関する特徴量(二次元配列)、及び、図12Cに示したような輝線の画素数pに関する特徴量(二次元配列)を利用して、総和輝度の線幅方向の平均値である平均輝度KAVE(j,m)=Kj,m/pj,m(1≦j≦N、1≦m≦M)を算出する。その後、輝度画像算出部227は、算出した平均輝度KAVE(j,m)からなるデータ配列を、着目している管状体の輝度画像とする。かかる輝度画像は、管軸方向のそれぞれの位置での環状のレーザ光の輝度の一次元分布が管軸方向に沿って順に配列された、二次元の輝度分布を表す画像である。
輝度画像算出部227は、以上説明したようにして算出した輝度画像に関する情報を、後述する検出処理部229に出力する。
検出処理部229は、例えば、CPU、ROM、RAM等により実現される。検出処理部229は、深さ画像算出部225により算出された深さ画像と、輝度画像算出部227により算出された輝度画像と、に基づいて、管状体の内表面に存在する欠陥を検出する。
かかる検出処理部229は、深さ画像及び輝度画像に基づいて欠陥部位を特定する欠陥部位特定機能と、特定した欠陥部位の形態及び画素値に関する特徴量を抽出する特徴量抽出機能と、抽出した特徴量に基づいて欠陥の種別や有害度等を判別する欠陥判別機能と、を有している。以下、これらの機能について、簡単に説明する。
○欠陥部位特定機能
検出処理部229は、取得した深さ画像及び輝度画像の各画素に対して、周辺画素との画素値(深さを表す値、又は、輝度値)の線形和を得るフィルタ処理によって縦線状疵、横線状疵、微小疵等の領域を強調し、得られた値が、欠陥部位特定のための第2の閾値以上となるか否かの判定を行う。このようなフィルタ処理及び当該フィルタ処理結果に基づく判定処理を実施することで、検出処理部229は、欠陥部位を特定するための2値化画像を生成することができる。かかる2値化画像において、算出した値が第2の閾値未満であった画素が正常箇所(すなわち、2値化画像の画素値=0)に該当し、算出した値が第2の閾値以上であった画素が欠陥箇所(すなわち、2値化画像の画素値=1)に該当する。更に、検出処理部229は、連続して発生している欠陥箇所を結合していくことで、一つ一つの欠陥部位を特定する。
○特徴量抽出機能
検出処理部229は、欠陥部位特定機能により深さ画像及び輝度画像の欠陥部位を特定すると、特定した欠陥部位ごとに、欠陥部位の形態及び画素値に関する特徴量を抽出する。欠陥部位の形態に関する特徴量として、例えば、欠陥部位の幅、欠陥部位の長さ、欠陥部位の周囲長、欠陥部位の面積、欠陥部位の外接長方形の面積等を挙げることができる。また、欠陥部位の画素値に関する特徴量として、深さ画像に関しては、欠陥部位の深さの最大値、最小値、平均値等を挙げることができ、輝度画像に関しては、欠陥部位の輝度の最大値、最小値、平均値等を挙げることができる。
○欠陥判別機能
検出処理部229は、特徴量抽出機能により各欠陥部位の特徴量を抽出すると、欠陥部位ごとに、抽出した特徴量に基づいて欠陥の種別や有害度等を判別する。特徴量に基づく欠陥の種別や有害度等の判別処理は、例えば図15に示したようなロジックテーブルを利用して行われる。すなわち、検出処理部229は、図15に例示したようなロジックテーブルによって表される判別条件に基づき、欠陥の種別や有害度を判別する。
図15に例示したように、ロジックテーブルの縦方向の項目として、欠陥の種別(欠陥A1〜欠陥An)が記載されており、ロジックテーブルの横方向の項目として、特徴量の種類(特徴量B1〜特徴量Bm)が記載されている。また、欠陥の種別及び特徴量により規定されるテーブルの各セルには、対応する特徴量の大小による判別条件式(条件式C11〜条件式Cnm)が記述されている。このようなロジックテーブルの各行が一組となって、一つ一つの欠陥の種別の判別条件となる。判別処理は、最上位の行に記載された種別から順に行われ、何れか一つの行に記載された判別条件を全て満たした時点で終了する。
このようなロジックテーブルは、過去の操業データ及び当該操業データに基づく検定員による欠陥の種別及び有害度の特定結果を教師データとした学習処理により構築されたデータベースを利用して、公知の方法により生成することが可能である。
検出処理部229は、このようにして検出した欠陥部位ごとに欠陥の種別及び有害度を特定し、得られた検出結果を表示制御部205に出力する。これにより、検出対象物である管状体の内表面に存在する欠陥に関する情報が、表示部(図示せず。)に出力されることとなる。また、検出処理部229は、得られた検出結果を、製造管理用プロセスコンピュータ等の外部の装置に出力してもよく、得られた検出結果を利用して、製品の欠陥帳票を作成してもよい。また、検出処理部229は、欠陥部位の検出結果に関する情報を、当該情報を算出した日時等に関する時刻情報と関連づけて、記憶部207等に履歴情報として格納してもよい。
なお、以上の説明では、ロジックテーブルを利用して欠陥の種別や有害度を判別する場合について説明したが、欠陥の種別や有害度を判別する方法は上記例に限定されるわけではない。例えば、過去の操業データ及び当該操業データに基づく検定員による欠陥の種別及び有害度の特定結果を教師データとした学習処理により、ニューラルネットやサポートベクターマシン(SVM)等の判別器を生成し、かかる判別器を欠陥の種別や有害度の判別に利用してもよい。
以上、本実施形態に係る演算処理装置200が有する画像処理部203の構成について、詳細に説明した。
なお、上述の説明では、深さ画像算出部225が深さ画像を算出する際に、差分演算処理やローパスフィルタ処理等の近似補正処理を実施する場合について説明した。しかしながら、かかる近似補正処理は、光切断線処理部223が光切断線特徴量を算出するに先立って、当該光切断線処理部223が実施してもよい。
以上、本実施形態に係る演算処理装置200の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、CPU等が全て行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。
なお、上述のような本実施形態に係る演算処理装置の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。
<管状体撮像装置100の変形例について>
ここで、図16及び図17を参照しながら、本実施形態に係る管状体撮像装置100の変形例について、簡単に説明する。図16及び図17は、本実施形態に係る管状体撮像装置100の変形例を模式的に示した説明図である。
図2に示した管状体撮像装置100の構成では、管状体1の管軸方向に沿って、エリアカメラ120B、レーザ光源111B、光学素子113B、光学素子113A、レーザ光源111A、及び、エリアカメラ120Aの順に並ぶように、2つの撮像ユニット101A,101Bが連結されていた。
しかしながら、本実施形態に係る管状体撮像装置100における撮像ユニット101A,101Bの連結方法は、図2に示した例に限定されるものではなく、例えば図16に示したように、管状体1の管軸方向に沿って、エリアカメラ120B、レーザ光源111B、光学素子113B、エリアカメラ120A、レーザ光源111A、及び、光学素子113Aの順に並ぶように、2つの撮像ユニット101A,101Bが連結されていてもよい。
また、本実施形態に係る管状体撮像装置100における撮像ユニット101Aと101Bとの連結方法は、例えば図17に示したように、管状体1の管軸方向に沿って、光学素子113B、レーザ光源111B、エリアカメラ120B、エリアカメラ120A、レーザ光源111A、及び、光学素子113Aの順に並ぶように、2つの撮像ユニット101A,101Bが連結されていてもよい。
この際、図2、図16及び図17における2つの環状ビームの照射位置のズレ量dの大きさに着目すると明らかなように、照射位置のズレ量(オフセット)Dは、図2に示した連結方法が最も小さくなり、図17に示した連結方法が最も大きくなることがわかる。そのため、図2に示した連結方法を採用することで、実際の管状体内表面の検査処理において、管状体撮像装置100の管軸方向の移動量を最小とすることができ、より簡便に検査処理を実施することが可能となる。
以上、本実施形態に係る管状体撮像装置100の変形例について、簡単に説明した。
<管状体内表面検査方法について>
続いて、図18を参照しながら、本実施形態に係る管状体内表面検査方法の流れを簡単に説明する。図18は、本実施形態に係る管状体内表面検査方法の流れの一例を示した流れ図である。
まず、管状体内表面検査装置10の管状体撮像装置100は、環状ビームを用いて処理対象物である管状体の内表面を撮像して、それぞれのエリアカメラ120A,120Bによる撮像画像を、演算処理装置200に出力する。ここで、エリアカメラ120A,120Bには、上記のような2箇所の撮像対象領域(ROI)が予め設定されている。演算処理装置200が備える画像処理部203のA/D変換部211は、取得した2つのエリアカメラ120からの撮像画像に対してA/D変換処理を行い、環状ビーム画像を生成する(ステップS101)。
次に、環状ビームセンター算出部213は、A/D変換部211が生成した、2つのエリアカメラ120A,120Bについての環状ビーム画像をそれぞれ利用して環状ビーム画像の重心位置及び半径を算出し(ステップS103)、得られた算出結果を、座標変換部215に出力する。
続いて、座標変換部215は、算出された重心位置や半径等を利用して、2つのエリアカメラ120A,120Bについての環状ビーム画像を座標変換し、光切断画像を生成する(ステップS105)。生成された光切断画像は、管状体の管軸方向に沿って、記憶部207等に設けられた画像メモリに順次格納されていく。
その後、部分縞画像フレーム生成部217は、生成された光切断画像を管状体の管軸方向に沿って順に配列して、部分縞画像フレームを生成する(ステップS107)。部分縞画像フレーム生成部217は、生成した部分縞画像フレームを、縞画像フレーム生成部219に出力する。縞画像フレーム生成部219は、部分縞画像フレーム生成部217により生成された部分縞画像フレームを用いて、縞画像フレームを生成する(ステップS109)。縞画像フレーム生成部219は、生成した縞画像フレームを、光切断線処理部223に出力する。
光切断線処理部223は、生成された縞画像フレームを利用し、各光切断線について、所定の閾値Th以上の輝度を有する画素の画素数、当該画素の輝度の総和及び光切断線の変位量を算出する(ステップS111)。これら算出結果が、光切断線特徴量として利用される。算出された光切断線特徴量は、深さ画像算出部225及び輝度画像算出部227にそれぞれ出力される。
深さ画像算出部225は、算出された光切断線特徴量(特に、光切断線の変位量に関する特徴量)を利用して、深さ画像を算出する(ステップS113)。また、輝度画像算出部227は、算出された光切断線特徴量(特に、閾値以上の輝度を有する画素の画素数に関する特徴量、及び、輝度の総和に関する特徴量)を利用して、輝度画像を算出する(ステップS113)。深さ画像算出部225及び輝度画像算出部227は、算出した各画像を、検出処理部229に出力する。
検出処理部229は、算出された深さ画像及び輝度画像を利用して、管状体の内表面に存在する欠陥部位を検出し、検出した欠陥部位の欠陥の種別及び有害度を特定する(ステップS115)。以上のような流れにより、管状体の内表面に存在する欠陥が検出されることとなる。
以上、本実施形態に係る管状体内表面検査装置及び管状体内表面検査方法について、詳細に説明した。
(第2の実施形態)
上記第1の実施形態では、照明機構110と、エリアカメラ120と、照明機構110及びエリアカメラ120のそれぞれが固定される保持基板131と、2つの保持基板131を連結する支柱である連結部材133と、を有する撮像ユニット101が、管状体1の管軸方向に2つ連結された場合について、詳細に説明した。ここで、管軸方向に連結される撮像ユニット101の個数は、第1の実施形態に示した2つに限定されるものではなく、3つ以上の撮像ユニット101が、管軸方向に連結されていてもよい。
図19は、本発明の第2の実施形態に係る管状体撮像装置の構成の一例を模式的に示した説明図であり、図20は、本実施形態に係る管状体撮像装置について説明するための説明図である。
図19では、3つの撮像ユニット101A、101B、101Cが、管軸方向に連結された管状体撮像装置100を模式的に示している。かかる場合においても、3つ以上の撮像ユニット101A,101B,101Cは、連結部材133の管軸に直交する面における位置が、撮像ユニット間で互いに異なるように、直列に連結される。そのため、連結部材133、連結部材133、連結部材133が、それぞれ、エリアカメラ120A、エリアカメラ120B、エリアカメラ120Cの視野において遮る領域は、管軸に直交する面において異なることになる。従って、エリアカメラ120A、エリアカメラ120B、エリアカメラ120Cのそれぞれで、管状体1の内表面を走査撮像すると、視野が欠けることなく、内表面全体を撮像することが可能となる。
本実施形態においても、各エリアカメラ120には、2種類の撮像対象領域(ROI)が設定される。管状体撮像装置100において、N個(N≧3)の撮像ユニット101が存在する場合、各撮像ユニット101に設けられるエリアカメラ120には、2種類の撮像対象領域(ROI)が設定されるため、N個の撮像ユニット101全体では、2×N種類の撮像対象領域(ROI)が設定される。2×N種類の撮像対象領域(ROI)で、管状体の内表面に向かって照射された環状ビームの全周(換言すれば、360°分の円弧)を撮像すればよい。そのため、1つのエリアカメラ120における1つの撮像対象領域(ROI)は、少なくとも(180/N)°分の環状ビームを領域内に包含していればよいことになる。これより、N個(N≧3)の撮像ユニット101を直列に連結する場合、各撮像ユニット101を、(180/N)°ずつ管軸方向まわりに回転させながら連結すれば、後段の演算処理において無駄がなく効率的であり、好適となる。
図20は、3個の撮像ユニット101A、101B、101Cを、管軸方向まわりに(180/3)=60°ずつ回転させながら連結した場合における、6個の撮像対象領域(ROI)の分布を模式的に示したものである。図20から明らかなように、管軸方向まわりに60°ずつ回転させながら3個の撮像ユニットを配置することで、環状ビームの全周を、未撮像領域を発生させずに撮像可能であることがわかる。
また、撮像ユニット101の個数が4以上であっても、上記と同様に撮像ユニット101を連結させればよい。
各撮像ユニット101におけるエリアカメラ120で撮像された環状ビーム画像の取り扱いについては、第1の実施形態と同様であるため、詳細な説明は省略する。かかる場合においても、N=2の場合における環状ビーム画像の取り扱いと同様にして、得られた複数の環状ビーム画像を用いて、環状ビームの重心位置及び半径を算出する。その後、得られた重心位置及び半径に基づき、得られた複数の環状ビーム画像の座標変換を行うことで、光切断画像をそれぞれ生成し、生成した光切断画像から縞画像フレームを生成すればよい。得られた縞画像フレームに対する処理は、第1の実施形態と同様であるため、以下では詳細な説明は省略する。
以上、本発明の第2の実施形態に係る管状体内表面検査装置について、簡単に説明した。
(ハードウェア構成について)
次に、図21を参照しながら、本発明の各実施形態に係る演算処理装置200のハードウェア構成について、詳細に説明する。図21は、本発明の各実施形態に係る演算処理装置200のハードウェア構成を説明するためのブロック図である。
演算処理装置200は、主に、CPU901と、ROM903と、RAM905と、を備える。また、演算処理装置200は、更に、バス907と、入力装置909と、出力装置911と、ストレージ装置913と、ドライブ915と、接続ポート917と、通信装置919とを備える。
CPU901は、中心的な処理装置及び制御装置として機能し、ROM903、RAM905、ストレージ装置913、又はリムーバブル記録媒体921に記録された各種プログラムに従って、演算処理装置200内の動作全般又はその一部を制御する。ROM903は、CPU901が使用するプログラムや演算パラメータ等を記憶する。RAM905は、CPU901が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはCPUバス等の内部バスにより構成されるバス907により相互に接続されている。
バス907は、ブリッジを介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バスに接続されている。
入力装置909は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ及びレバーなどユーザが操作する操作手段である。また、入力装置909は、例えば、赤外線やその他の電波を利用したリモートコントロール手段(いわゆる、リモコン)であってもよいし、演算処理装置200の操作に対応したPDA等の外部接続機器923であってもよい。更に、入力装置909は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、CPU901に出力する入力制御回路などから構成されている。ユーザは、この入力装置909を操作することにより、演算処理装置200に対して各種のデータを入力したり処理動作を指示したりすることができる。
出力装置911は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、CRTディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ELディスプレイ装置及びランプなどの表示装置や、スピーカ及びヘッドホンなどの音声出力装置や、プリンタ装置、携帯電話、ファクシミリなどがある。出力装置911は、例えば、演算処理装置200が行った各種処理により得られた結果を出力する。具体的には、表示装置は、演算処理装置200が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。
ストレージ装置913は、演算処理装置200の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置913は、例えば、HDD(Hard Disk Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等により構成される。このストレージ装置913は、CPU901が実行するプログラムや各種データ、及び外部から取得した各種のデータなどを格納する。
ドライブ915は、記録媒体用リーダライタであり、演算処理装置200に内蔵、あるいは外付けされる。ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体921に記録されている情報を読み出して、RAM905に出力する。また、ドライブ915は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体921に記録を書き込むことも可能である。リムーバブル記録媒体921は、例えば、CDメディア、DVDメディア、Blu−ray(登録商標)メディア等である。また、リムーバブル記録媒体921は、コンパクトフラッシュ(登録商標)(CompactFlash:CF)、フラッシュメモリ、又は、SDメモリカード(Secure Digital memory card)等であってもよい。また、リムーバブル記録媒体921は、例えば、非接触型ICチップを搭載したICカード(Integrated Circuit card)又は電子機器等であってもよい。
接続ポート917は、機器を演算処理装置200に直接接続するためのポートである。接続ポート917の一例として、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)ポート、RS−232Cポート、HDMI(登録商標)(High−Definition Multimedia Interface)ポート等がある。この接続ポート917に外部接続機器923を接続することで、演算処理装置200は、外部接続機器923から直接各種のデータを取得したり、外部接続機器923に各種のデータを提供したりする。
通信装置919は、例えば、通信網925に接続するための通信デバイス等で構成された通信インターフェースである。通信装置919は、例えば、有線もしくは無線LAN(Local Area Network)、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード等である。また、通信装置919は、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は、各種通信用のモデム等であってもよい。この通信装置919は、例えば、インターネットや他の通信機器との間で、例えばTCP/IP等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置919に接続される通信網925は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内LAN、社内LAN、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。
以上、本発明の各実施形態に係る演算処理装置200の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
(まとめ)
以上説明したように、本発明の各実施形態に係る管状体内表面検査装置10を利用することで、管状体の内表面を管周方向全周、管軸方向全長にわたって、より高速、高分解能かつ簡便に検査することが可能となり、微小な凹凸形状の欠陥や模様状の欠陥を高精度で同時に検出することができる。また、本発明の各実施形態に係る管状体内表面検査装置10により、欠陥の発生位置を正確に特定することが可能となるため、鋼管等の管状体の生産性や歩留まりの向上や、品質保証に大きく寄与することができる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
10 管状体内表面検査装置
100 管状体撮像装置
110 照明機構
111 レーザ光源
113 光学素子
120 エリアカメラ
131 保持基板
133 連結部材
200 演算処理装置
201 撮像制御部
203 画像処理部
205 表示制御部
207 記憶部
211 A/D変換部
213 環状ビームセンター算出部
215 座標変換部
217 部分縞画像フレーム生成部
219 縞画像フレーム生成部
221 画像算出部
223 光切断線処理部
225 深さ画像算出部
227 輝度画像算出部
229 検出処理部

Claims (16)

  1. 管状体の内表面に存在する欠陥を検出する管状体内表面検査装置において、
    レーザ光を照射するレーザ光源、
    前記レーザ光源から照射されたレーザ光を前記管状体の内表面の周方向に環状のレーザ光として反射する光学素子、
    前記管状体の内表面の前記環状のレーザ光が照射された領域を撮像することで、環状ビーム画像を生成するエリアカメラ、及び、
    前記レーザ光源と前記エリアカメラとを連結して固定する連結部材を有する撮像ユニットを、N(N≧2)個備え、
    それぞれの前記撮像ユニットを、前記管状体の管軸方向に沿って、前記連結部材の管軸に直交する面における位置が互いに異なるように直列に連結した管状体撮像装置と、
    前記管状体撮像装置を、前記管状体の管軸方向に沿って移動させる移動装置と、
    前記管状体撮像装置を前記移動装置で移動させながら、それぞれの前記撮像ユニットにおいて複数生成された前記環状ビーム画像に対して画像処理を行い、前記管状体の内表面に欠陥が存在するかを判断する演算処理装置と、
    を備える、管状体内表面検査装置。
  2. それぞれの前記撮像ユニットにおける前記エリアカメラは、前記エリアカメラの全視野のうち、前記環状のレーザ光が前記連結部材によって遮蔽されない領域であって、前記エリアカメラの全視野のうち、前記エリアカメラが備える撮像素子において当該撮像素子の各画素の電荷又は電圧に関する情報である画素情報が転送される方向である画素情報転送方向に対して直交する方向の端部にそれぞれに設定される端部領域に対応する部分を撮像することで、前記環状ビーム画像を複数生成する、請求項1に記載の管状体内表面検査装置。
  3. 前記演算処理装置は、
    それぞれの前記撮像ユニットから得られた前記環状ビーム画像を用いて、前記環状のレーザ光の照射部分の重心位置と半径とを算出し、
    算出された前記重心位置、並びに、前記重心位置及び前記環状のレーザ光の照射部分との離隔量に基づいて、それぞれの前記撮像ユニットから得られた前記環状ビーム画像の座標系を極座標変換し、極座標変換で得られた前記環状のレーザ光の照射部分に対応する線分である光切断線を含む光切断画像を、それぞれの前記撮像ユニット毎に生成し、
    得られた前記それぞれの撮像ユニット毎の前記光切断画像を、それぞれ前記管軸方向に沿って順に配列させた部分縞画像フレームを生成し、
    前記部分縞画像フレームを、N個の前記撮像ユニットの位置関係に基づいて調整し、前記管軸に直交する面において接続して、縞画像フレームを生成し、
    前記縞画像フレームに基づいて、前記管状体の内表面の凹凸状態を表す深さ画像と、前記管状体の内表面における前記環状のレーザ光の輝度分布を表す輝度画像とを算出し、
    前記深さ画像及び前記輝度画像に基づいて、前記管状体の内表面に存在する欠陥を検出する、請求項2に記載の管状体内表面検査装置。
  4. 前記演算処理装置は、
    それぞれの前記撮像ユニットから得られた前記環状ビーム画像を用いて、前記環状のレーザ光の照射部分の重心位置と半径とを算出し、
    算出された前記重心位置、並びに、前記重心位置及び前記環状のレーザ光の照射部分との離隔量に基づいて、それぞれの前記撮像ユニットから得られた前記環状ビーム画像の座標系を極座標変換し、極座標変換で得られた前記環状のレーザ光の照射部分に対応する線分である光切断線を含む光切断画像を、それぞれの前記撮像ユニット毎に生成し、
    得られた前記それぞれの撮像ユニット毎の前記光切断画像を、N個の前記撮像ユニットの位置関係に基づいて調整し、前記管軸に直交する面において接続することで、前記管軸方向に沿って順に配列させた縞画像フレームを生成し、
    前記縞画像フレームに基づいて、前記管状体の内表面の凹凸状態を表す深さ画像と、前記管状体の内表面における前記環状のレーザ光の輝度分布を表す輝度画像とを算出し、
    前記深さ画像及び前記輝度画像に基づいて、前記管状体の内表面に存在する欠陥を検出する、請求項2に記載の管状体内表面検査装置。
  5. 前記それぞれの撮像ユニット毎の前記環状ビーム画像には、互いに一部重複する領域が存在する、請求項1〜4の何れか1項に記載の管状体内表面検査装置。
  6. 前記それぞれの撮像ユニットにおける前記レーザ光源から照射されるレーザ光の波長は、互いに相違しており、
    前記それぞれの撮像ユニットにおける前記エリアカメラの前段には、当該エリアカメラと同一の前記撮像ユニットに属する前記レーザ光源のレーザ光と同一の波長の光を透過させる波長選択フィルタが設けられる、請求項1〜5の何れか1項に記載の管状体内表面検査装置。
  7. 複数の前記撮像ユニット間において、前記エリアカメラ、前記レーザ光源、及び、前記光学素子が、(エリアカメラ、レーザ光源、光学素子)(光学素子、レーザ光源、エリアカメラ)・・・の並び順で並ぶように、N個の前記撮像ユニットが連結されている、請求項1〜6の何れか1項に記載の管状体内表面検査装置。
  8. 複数の前記撮像ユニット間において、前記光学素子、前記レーザ光源、及び、前記エリアカメラが、(光学素子、レーザ光源、エリアカメラ)(エリアカメラ、レーザ光源、光学素子)・・・の並び順で並ぶように、N個の前記撮像ユニットが連結されている、請求項1〜6の何れか1項に記載の管状体内表面検査装置。
  9. 複数の前記撮像ユニット間において、前記エリアカメラ、前記レーザ光源、及び、前記光学素子が、(エリアカメラ、レーザ光源、光学素子)の並び順を繰り返すように、N個の前記撮像ユニットが連結されている、請求項1〜6の何れか1項に記載の管状体内表面検査装置。
  10. 管状体の内表面に存在する欠陥を検出する管状体内表面検査方法において、
    レーザ光を照射するレーザ光源、
    前記レーザ光源から照射されたレーザ光を前記管状体の内表面の周方向に環状のレーザ光として反射する光学素子、
    前記管状体の内表面の前記環状のレーザ光が照射された領域を撮像することで、環状ビーム画像を生成するエリアカメラ、及び、
    前記レーザ光源と前記エリアカメラとを連結して固定する連結部材を有する撮像ユニットを、N(N≧2)個備え、
    それぞれの前記撮像ユニットを、前記管状体の管軸方向に沿って、前記連結部材の管軸に直交する面における位置が互いに異なるように直列に連結した管状体撮像装置と、
    前記管状体撮像装置を、前記管状体の管軸方向に沿って移動させる移動装置と、
    前記管状体撮像装置を前記移動装置で移動させながら、それぞれの前記撮像ユニットにおいて複数生成された前記環状ビーム画像に対して画像処理を行い、前記管状体の内表面に欠陥が存在するかを判断する演算処理装置と、
    を備える、管状体内表面検査装置を用い、
    それぞれの前記撮像ユニットから得られた前記環状ビーム画像を用いて、前記環状のレーザ光の照射部分の重心位置と半径とを算出するステップと、
    算出された前記重心位置、並びに、前記重心位置及び前記環状のレーザ光の照射部分との離隔量に基づいて、それぞれの前記撮像ユニットから得られた前記環状ビーム画像の座標系を極座標変換し、極座標変換で得られた前記環状のレーザ光の照射部分に対応する線分である光切断線を含む光切断画像を、それぞれの前記撮像ユニット毎に生成するステップと、
    得られた前記それぞれの撮像ユニット毎の前記光切断画像を、それぞれ前記管軸方向に沿って順に配列させた部分縞画像フレームを生成した後、生成した前記部分縞画像フレームを、N個の前記撮像ユニットの位置関係に基づいて調整し、前記管軸に直交する面において接続して、縞画像フレームを生成するか、又は、得られた前記それぞれの撮像ユニット毎の前記光切断画像を、N個の前記撮像ユニットの位置関係に基づいて調整し、前記管軸に直交する面において接続することで、前記管軸方向に沿って順に配列させた縞画像フレームを生成するステップと、
    前記縞画像フレームに基づいて、前記管状体の内表面の凹凸状態を表す深さ画像と、前記管状体の内表面における前記環状のレーザ光の輝度分布を表す輝度画像とを算出するステップと、
    前記深さ画像及び前記輝度画像に基づいて、前記管状体の内表面に存在する欠陥を検出するステップと、
    を有する、管状体内表面検査方法。
  11. それぞれの前記撮像ユニットにおける前記エリアカメラは、前記エリアカメラの全視野のうち、前記環状のレーザ光が前記連結部材によって遮蔽されない領域であって、前記エリアカメラの全視野のうち、前記エリアカメラが備える撮像素子において当該撮像素子の各画素の電荷又は電圧に関する情報である画素情報が転送される方向である画素情報転送方向に対して直交する方向の端部にそれぞれに設定される端部領域に対応する部分を撮像することで、前記環状ビーム画像を複数生成する、請求項10に記載の管状体内表面検査方法。
  12. 前記それぞれの撮像ユニット毎の前記環状ビーム画像には、互いに一部重複する領域が存在する、請求項10又は11に記載の管状体内表面検査方法。
  13. 前記それぞれの撮像ユニットにおける前記レーザ光源から照射されるレーザ光の波長は、互いに相違しており、
    前記それぞれの撮像ユニットにおける前記エリアカメラの前段には、当該エリアカメラと同一の前記撮像ユニットに属する前記レーザ光源のレーザ光と同一の波長の光を透過させる波長選択フィルタが設けられる、請求項10又は11に記載の管状体内表面検査方法。
  14. 複数の前記撮像ユニット間において、前記エリアカメラ、前記レーザ光源、及び、前記光学素子が、(エリアカメラ、レーザ光源、光学素子)(光学素子、レーザ光源、エリアカメラ)・・・の並び順で並ぶように、N個の前記撮像ユニットが連結されている、請求項10〜13の何れか1項に記載の管状体内表面検査方法。
  15. 複数の前記撮像ユニット間において、前記光学素子、前記レーザ光源、及び、前記エリアカメラが、(光学素子、レーザ光源、エリアカメラ)(エリアカメラ、レーザ光源、光学素子)・・・の並び順で並ぶように、N個の前記撮像ユニットが連結されている、請求項10〜13の何れか1項に記載の管状体内表面検査方法。
  16. 複数の前記撮像ユニット間において、前記エリアカメラ、前記レーザ光源、及び、前記光学素子が、(エリアカメラ、レーザ光源、光学素子)の並び順を繰り返すように、N個の前記撮像ユニットが連結されている、請求項10〜13の何れか1項に記載の管状体内表面検査方法。

JP2018555703A 2018-07-30 2018-07-30 管状体内表面検査装置及び管状体内表面検査方法 Active JP6481217B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/028396 WO2020026290A1 (ja) 2018-07-30 2018-07-30 管状体内表面検査装置及び管状体内表面検査方法

Publications (2)

Publication Number Publication Date
JP6481217B1 true JP6481217B1 (ja) 2019-03-13
JPWO2020026290A1 JPWO2020026290A1 (ja) 2020-08-06

Family

ID=65718331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018555703A Active JP6481217B1 (ja) 2018-07-30 2018-07-30 管状体内表面検査装置及び管状体内表面検査方法

Country Status (4)

Country Link
US (1) US11428647B2 (ja)
EP (1) EP3770548B1 (ja)
JP (1) JP6481217B1 (ja)
WO (1) WO2020026290A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115290000A (zh) * 2022-09-26 2022-11-04 武汉誉城九方建筑有限公司 一种钢筋直线度检测装置及方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113610846B (zh) * 2021-09-29 2021-12-14 海门市博洋铸造有限公司 一种基于人工智能的管状零件内侧异常检测方法及系统
CN117073454B (zh) * 2023-07-24 2024-03-15 中国人民解放军陆军工程大学 基于图像和激光扫描的多口径管状内膛检测装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009184081A (ja) * 2008-02-07 2009-08-20 Soatec Inc 位置合わせ装置及び保持装置
JP2012159491A (ja) * 2011-01-14 2012-08-23 Nippon Steel Corp 欠陥検出装置及び欠陥検出方法
JP2014074633A (ja) * 2012-10-04 2014-04-24 Hitachi Ltd 形状計測方法及び装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007285891A (ja) 2006-04-17 2007-11-01 Toru Yoshizawa 内面形状の測定方法とこの方法による測定装置
JP5796511B2 (ja) * 2012-02-21 2015-10-21 新日鐵住金株式会社 管状体検査装置及び管状体検査方法
JP6234274B2 (ja) 2014-02-28 2017-11-22 株式会社日立製作所 内面形状計測方法および装置
JP6515344B2 (ja) 2015-09-11 2019-05-22 日本製鉄株式会社 欠陥検出装置及び欠陥検出方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009184081A (ja) * 2008-02-07 2009-08-20 Soatec Inc 位置合わせ装置及び保持装置
JP2012159491A (ja) * 2011-01-14 2012-08-23 Nippon Steel Corp 欠陥検出装置及び欠陥検出方法
JP2014074633A (ja) * 2012-10-04 2014-04-24 Hitachi Ltd 形状計測方法及び装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115290000A (zh) * 2022-09-26 2022-11-04 武汉誉城九方建筑有限公司 一种钢筋直线度检测装置及方法
CN115290000B (zh) * 2022-09-26 2022-12-16 武汉誉城九方建筑有限公司 一种钢筋直线度检测装置及方法

Also Published As

Publication number Publication date
US11428647B2 (en) 2022-08-30
EP3770548B1 (en) 2024-01-03
EP3770548A1 (en) 2021-01-27
EP3770548A4 (en) 2021-11-03
WO2020026290A1 (ja) 2020-02-06
US20210208085A1 (en) 2021-07-08
JPWO2020026290A1 (ja) 2020-08-06

Similar Documents

Publication Publication Date Title
JP5742655B2 (ja) 欠陥検出装置及び欠陥検出方法
JP6515344B2 (ja) 欠陥検出装置及び欠陥検出方法
JP6481216B1 (ja) 管状体内表面検査方法及び管状体内表面検査装置
JP6696278B2 (ja) ドリフト検査装置
JP6481217B1 (ja) 管状体内表面検査装置及び管状体内表面検査方法
JP5025442B2 (ja) タイヤ形状検査方法とその装置
WO2017179243A1 (ja) 被検査体撮像装置、被検査体撮像方法、表面検査装置及び表面検査方法
JP6922166B2 (ja) 円筒内面観察装置、円筒内面観察方法、円筒内面検査装置及び円筒内面検査方法
JP6683088B2 (ja) 表面性状検査装置、表面性状検査方法及びプログラム
JP6417948B2 (ja) ドリフトゲージ及びドリフト検査方法
JP6958175B2 (ja) 管状体内表面検査装置及び管状体内表面検査方法
JP2010133744A (ja) 欠陥検出方法およびその方法を用いた視覚検査装置
JP5796511B2 (ja) 管状体検査装置及び管状体検査方法
JP6647903B2 (ja) 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP2021022637A (ja) ボンディングワイヤの検査装置、ボンディングワイヤの検査方法、及びボンディングワイヤの検査プログラム
CN108291857A (zh) 用于分析轮胎的设备和方法
WO2019171474A1 (ja) 表面性状検査装置、表面性状検査方法及びプログラム
JP2001012913A (ja) コイル位置検出装置
JP5033077B2 (ja) 成形品の外観検査方法およびその装置
JP2003247954A (ja) 円形体周縁部の欠陥検出方法
JP2001012918A (ja) コイル位置検出装置
JP2017083343A (ja) 光コネクタのフェルール端面検査装置および検査用のプログラム
JP2000329520A (ja) コイル位置検出装置
JPH0772909B2 (ja) 外観検査による溶接状態判定方法
JP2002176085A (ja) ホールパターン形状評価装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181023

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181023

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20181122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190108

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190121

R151 Written notification of patent or utility model registration

Ref document number: 6481217

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190426

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350