JP7178171B2 - 欠陥検査方法、および、欠陥検査システム - Google Patents

欠陥検査方法、および、欠陥検査システム Download PDF

Info

Publication number
JP7178171B2
JP7178171B2 JP2017252743A JP2017252743A JP7178171B2 JP 7178171 B2 JP7178171 B2 JP 7178171B2 JP 2017252743 A JP2017252743 A JP 2017252743A JP 2017252743 A JP2017252743 A JP 2017252743A JP 7178171 B2 JP7178171 B2 JP 7178171B2
Authority
JP
Japan
Prior art keywords
defect
type
crack
imaging device
processing unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017252743A
Other languages
English (en)
Other versions
JP2019120491A (ja
Inventor
孝明 小西
亮介 小林
潤一郎 長沼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi GE Nuclear Energy Ltd
Original Assignee
Hitachi GE Nuclear Energy Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi GE Nuclear Energy Ltd filed Critical Hitachi GE Nuclear Energy Ltd
Priority to JP2017252743A priority Critical patent/JP7178171B2/ja
Priority to GB1818898.7A priority patent/GB2570377B/en
Publication of JP2019120491A publication Critical patent/JP2019120491A/ja
Application granted granted Critical
Publication of JP7178171B2 publication Critical patent/JP7178171B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/08Testing mechanical properties
    • G01M11/081Testing mechanical properties by using a contact-less detection method, i.e. with a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0033Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by determining damage, crack or wear
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0091Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by using electromagnetic excitation or detection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/30Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
    • G01B11/306Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces for measuring evenness
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M5/00Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings
    • G01M5/0075Investigating the elasticity of structures, e.g. deflection of bridges or air-craft wings by means of external apparatus, e.g. test benches or portable test systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • G01N2021/8809Adjustment for highlighting flaws
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E30/00Energy generation of nuclear origin
    • Y02E30/30Nuclear fission reactors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Electromagnetism (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Description

本発明は、欠陥検査方法、および、欠陥検査システムに関する。
トンネルなどの社会インフラ構造物や発電プラントにおいては、構造物の健全性を検査する方法として、目視検査(VT:Visual Testing)が適用されることがある。目視検査は、検査員が検査対象領域を直接的に視認するか、またはカメラなどの撮像機により取得された映像を表示装置から間接的に視認して、対象領域上の検出対象欠陥の有無を判定するものである。
検査対象構造物が、高所や狭隘部分、または、高温や高放射線環境などの過酷環境にあり、直接検査対象を視認することが難しい場合には、遠隔操作装置に搭載された撮像機により取得された映像を用いる。これにより、検査員は離れた場所から映像を視認して目視検査を行うことができる。
目視検査用に取得された映像は、欠陥の性状や検査対象構造物の表面状態、撮像機や併用する照明の条件などによって、撮像映像における欠陥の視認性が異なる。そこで、撮像システムの視認性を定量的に評価する手法が提案されている。
例えば、特許文献1には、予め定めた空間解像度を持つ対象を撮像システムで撮像しコントラストを評価する手法が記載されている。
特開2008-197087号公報
目視検査において欠陥を確実に検出するには、欠陥を撮像する機器の配置を欠陥が明瞭に視認できる条件に調整することが望まれる。同じ欠陥を撮像した画像データであっても、機器の配置が異なると、画像データに写る欠陥の形状や表面状態、コントラストなどが異なって見えるからである。
そのため、特許文献1などの欠陥の視認性を評価するシステムよりは、欠陥の視認性を良くするために機器の配置を積極的に制御するような支援システムがあると便利である。なお、壁に対して深い傷を刻む亀裂と、壁に対して浅い傷である剥がれとでは、欠陥を見やすい撮影機器の配置が異なることもある。よって、欠陥の具体的な内容に対応して、撮影機器の配置を最適化することが望まれる。
そこで、本発明は、欠陥の目視検査がしやすいように、欠陥の撮影機器の配置を制御することを、主な課題とする。
前記課題を解決するために、本発明の欠陥検査方法は、以下の特徴を有する。
本発明は、欠陥検査システムが、データベースと、欠陥抽出処理部と、欠陥判定処理部と、機器配置制御部と、表示制御部とを備えており、
前記データベースには、構造物に関する欠陥の種類ごとにその特徴情報を対応付けている欠陥種類データと、前記欠陥の種類ごとに見やすい撮影機器の配置を規定した機器制御データとが対応付けて登録されており、前記欠陥の種類として構造物の平面に対する亀裂が登録され、
前記欠陥抽出処理部が、撮像機が撮像した撮像画像から、前記欠陥の写っている欠陥領域を抽出し、
前記欠陥判定処理部が、前記欠陥種類データの特徴情報を参照して、前記欠陥抽出処理部により抽出された前記欠陥領域内の前記欠陥の種類を分類する処理において、亀裂の前記欠陥種類データを参照して、前記欠陥領域に外接する楕円形状の長径と短径との比が所定値より大きいときに、前記欠陥領域に写っている前記欠陥の種類を亀裂と判定し、前記欠陥領域に外接する楕円形状の長径と短径との比が前記所定値より小さいときに、前記欠陥領域に写っている前記欠陥の種類を剥がれと判定し、
前記機器配置制御部が、前記機器制御データを参照して、前記欠陥判定処理部が分類した前記欠陥の種類に対応する前記撮像機の配置を決定し、その決定した配置になるように前記撮像機を制御する処理において、前記欠陥の種類が亀裂の場合には、亀裂の前記機器制御データを参照して、亀裂の最奥点が視認可能な程度に構造物の平面に対する角度が高い位置に、前記撮像機を配置し、前記欠陥の種類が剥がれの場合には、剥がれの前記機器制御データを参照して、剥がれの奥側の底面点と、構造物の手前側の表面点との延長線上の位置に、前記撮像機を配置し、
前記表示制御部が、前記機器配置制御部により制御された前記撮像機が撮像する前記撮像画像を表示装置に表示させることを特徴とする。
その他の手段は、後記する。
本発明によれば、欠陥の目視検査がしやすいように、欠陥の撮影機器の配置を制御することができる。
本発明の一実施形態に関する欠陥検査システムの全体構成図である。 本発明の一実施形態に関する欠陥検査システムの処理を示すフローチャートである。 本発明の一実施形態に関する欠陥検査システムの3次元の座標系を説明するための斜視図である。 本発明の一実施形態に関する検査対象領域の正面から見たときのxy平面図である。 本発明の一実施形態に関する図4の撮像機の断面図である。 本発明の一実施形態に関する図4の照明の断面図である。 本発明の一実施形態に関する画像撮像処理における欠陥検査システムの位置関係を示す斜視図である。 本発明の一実施形態に関する図7の亀裂に着目した側面図である。 本発明の一実施形態に関する検査対象領域を正面から撮影した取得画像を示す画面図である。 本発明の一実施形態に関する図9の取得画像内の輝度分布グラフである。 本発明の一実施形態に関する欠陥種類判定処理を説明する構成図である。 本発明の一実施形態に関する各機器の方位θに着目した配置決定処理を示す斜視図である。 本発明の一実施形態に関する亀裂に対する各機器の角度φに着目した配置決定処理を示す斜視図である。 本発明の一実施形態に関する表面層の剥がれに対する各機器の角度φに着目した配置決定処理を示す斜視図である。
以下、本発明の一実施形態を、図面を参照して詳細に説明する。
図1は、欠陥検査システムの全体構成図である。欠陥検査システムは、撮像機駆動機構20と、照明駆動機構30と、PC50と、表示装置60とを備えている。
撮像機駆動機構20は、撮像機21と自己位置測定機22とを保持して移動させる。照明駆動機構30は、照明31と相対位置測定機32とを保持して移動させる。撮像機駆動機構20および照明駆動機構30は、人間によるリモコン操作などの手動指令または、PC50による自動指令により、それぞれ遠隔制御される。
なお、撮像機駆動機構20および照明駆動機構30には、例えば複数のスラスタを用いて水中位置および姿勢が制御される水中移動装置として構成される。または、水中移動装置の代わりに、ドローンのような飛行装置としてもよいし、車輪を搭載した走行装置としてもよい。
さらに、図1では、撮像機駆動機構20と照明駆動機構30とを別々に移動する2つの装置として図示する例を示したが、2つの機構は一体化されて構成されていてもよい。例えば、撮像機駆動機構20が照明駆動機構30を支持するアームを有しており、照明駆動機構30の位置を撮像機駆動機構20からの相対位置により自在に移動させてもよい。
撮像機21は、検査対象領域11上の欠陥12を撮像する。照明31は、検査対象領域11上の欠陥12に向けて光を照射する。
自己位置測定機22は、撮像機21の位置を測定する。相対位置測定機32は、撮像機21に対する照明31の位置を測定する。自己位置測定機22および相対位置測定機32には、例えばレーザ距離計を利用した周辺構造物を基準とする位置測定装置が用いられる。
なお、撮像機21および照明31それぞれの空間上の位置測定手段として、単独で自身の位置を計測可能な自己位置測定機22と、他の機器から見たときの自身の相対的な位置を計測可能な相対位置測定機32とを組み合わせる一例を示した。一方、照明31の位置測定に自己位置測定機を用い、撮像機21の位置測定に相対位置測定機を用いてもよいし、撮像機21および照明31の位置測定にそれぞれ自己位置測定機を用いてもよい。
さらに、撮像機21および照明31の位置測定手段は、以下に例示する手法を適宜採用してもよい。
・レーザ距離測定により周辺構造物との位置関係を推定する手法
・カメラにより周辺構造物の距離画像を取得し位置を推定する手法
・マーカ位置をレーザで追跡により相対位置を推定する手法
・電波や超音波を利用した位置推定手法
PC50は、欠陥抽出処理部52と、欠陥判定処理部53と、機器配置制御部54と、表示制御部55と、データベース51とを内蔵し、表示装置60と接続されている。PC50は、CPU(Central Processing Unit)と、メモリと、ハードディスクなどの記憶手段(記憶部)と、ネットワークインタフェースとを有するコンピュータとして構成される。
このコンピュータは、CPUが、メモリ上に読み込んだプログラム(アプリケーションや、その略のアプリとも呼ばれる)を実行することにより、各処理部により構成される制御部(制御手段)を動作させる。
データベース51は、欠陥種類データ51aと機器制御データ51bとを対応付けて格納している。欠陥種類データ51aは、「亀裂」、「表面層の剥がれ」などの欠陥の種類を分類するためのデータである。機器制御データ51bは、欠陥を見やすくする撮像機21および照明31の位置を特定するデータである。例えば、欠陥が「亀裂」なら、機器制御データ51bとして、亀裂の奥まで見やすいように、撮像機21を表面層に対して高さ方向(垂直方向)寄りに配置する旨が定義される。
欠陥抽出処理部52は、撮像機21の撮像画像データ23を取得画像91として受信すると、その取得画像91内の欠陥領域92を抽出する。
欠陥判定処理部53は、欠陥領域92に写っている欠陥12を、データベース51に登録されている欠陥種類データ51aと照合することで、欠陥12の種類を判定する。
機器配置制御部54は、データベース51に登録されている機器制御データ51bを参照して、欠陥判定処理部53が判定した欠陥12の種類ごとに適した撮像機21および照明31の配置を決定し、その配置に従って撮像機駆動機構20および照明駆動機構30を制御する。
表示制御部55は、撮像機21からの取得画像91を表示装置60に画面表示するように制御する。これにより、検査員は、自身で撮像機21や照明31の位置を手動で操作しなくても、自動的に欠陥12に適した位置で撮影された取得画像91を画面表示から視認できる。よって、検査員は、欠陥12の表示内容に集中できるので、欠陥12の目視検査を素早く安定して実行できる。
図2は、欠陥検査システムの処理を示すフローチャートである。
S101の機器移動処理では、各機器(撮像機駆動機構20、照明駆動機構30)は、検査対象領域11に向けて移動する。
S102の検査対象領域到達処理では、S101の各機器は、検査対象領域11内の欠陥12を撮影可能な程度に近づく位置まで到達する。
S103の画像撮像処理では、撮像機21は、欠陥12を含む検査対象領域11を、撮像画像データ23として撮像する(詳細は図7,図8)。
S104の欠陥抽出処理では、欠陥抽出処理部52は、撮像機21から撮像画像データ23を取得画像91として受信し、その取得画像91から欠陥12が写っている欠陥領域92と、その他の表面領域93とを抽出する(詳細は図9,図10)。
S111の欠陥あり判定処理では、欠陥抽出処理部52は、S104の結果として、取得画像91の中に欠陥領域92が存在するか否かを判定する。S111でYesならS112に進み、NoならS115に進む。
S112の欠陥種類判定処理では、欠陥判定処理部53は、欠陥領域92の画像データを検索キーとして、データベース51に格納されている欠陥種類データ51aを参照することで、欠陥領域92に写っている欠陥12の種類を判定(特定)する(詳細は図11)。
S113の欠陥視認可判定処理では、欠陥判定処理部53は、S112で判定した欠陥領域92に写っている欠陥12に対して、予め定めた欠陥視認性パラメータで評価することにより、欠陥12が視認可能か(人間が見やすいか)否かを判定する。この判定処理は、例えば、欠陥視認性パラメータが所定のしきい値を超えたときに、視認可能と判定される処理である。S113でYesならS114に進み、NoならS121に進む。
S114の欠陥画像表示処理では、表示制御部55は、欠陥12の撮像結果として取得画像91を表示装置60に表示させる。
S115の全領域検査完了判定処理では、欠陥抽出処理部52は、計画した検査対象領域11の全ての撮像が完了したか否かを判定する。S115でYesなら図2の処理を終了し、NoならS101に戻って各機器は次の(残りの)撮像位置まで移動する。
S121の機器配置決定処理では、機器配置制御部54は、S112で判定した欠陥種類データ51aに対応する機器制御データ51bを参照し、欠陥12の種類によって定められた機器配置を決定する(詳細は図12~図14)。後記するように、機器配置制御部54は、位置だけでなくその位置から見たときの各機器の姿勢(向き)も併せて決定してもよい。
S122の機器位置調整処理では、機器配置制御部54は、S121で決定した機器配置に従い、各機器(撮像機駆動機構20、照明駆動機構30)の位置を調整する。つまり、機器配置制御部54は、自己位置測定機22および相対位置測定機32による測定位置が、S121で決定した各機器の位置と一致するように、撮像機駆動機構20および照明駆動機構30に対して、駆動の指令信号を送信する。そして、処理をS103に戻す。
以下、図3~図6を参照して、欠陥検査システムの3次元の座標系を定義する。
図3は、欠陥検査システムの3次元の座標系を説明するための斜視図である。欠陥検査システムの3次元空間は、検査対象領域11の平面を(x,y)とし、その検査対象領域11の平面からの垂直線13をz軸とする(x,y,z)座標系として定義される。
また、3次元位置(x,y,z)は、検査対象領域11と垂直線13との交点(欠陥12の略中心位置)を原点とした極座標系(方位θ,角度φ,距離L)としても定義される。
つまり、撮像機21の3次元位置は、(方位θ1,角度φ1,距離L1)である。同様に、照明31の3次元位置は、(方位θ2,角度φ2,距離L2)である。
ここで、検査対象領域11が曲面や凹凸のある面などの平面ではない場合は、欠陥12の位置からの垂直線13に垂直な平面を基準xy平面と定めてよい。また、欠陥12に対する撮像機21や照明31の位置情報は、極座標系(方位θ,角度φ,距離L)で表現する代わりに、ワールド座標系(x,y,z)としてもよいし、3次元空間上での位置が定まる任意のパラメータ3つによって位置を定めてよい。
図4は、検査対象領域11の正面から見たときのxy平面図である。検査対象領域11を基準平面(xy平面)とすると、方位θはx軸を0度とした左回りの角度である。
撮像機21が位置する方位θ1に沿った断面線14L-14Rと、照明31が位置する方位θ2に沿った断面線15L-15Rとを図示する。これらの断面線に沿った断面図を、以下で説明する。
図5は、図4の撮像機21の断面線14L-14Rにおける断面図である。角度φ1は、垂直線13に対して、断面線14L-14Rの方向にどれだけ傾いた位置に撮像機21が存在するかを示す。
図6は、図4の照明31の断面線15L-15Rにおける断面図である。角度φ2は、垂直線13に対して、断面線15L-15Rの方向にどれだけ傾いた位置に照明31が存在するかを示す。
次に、図7,図8を参照して、S103の画像撮像処理を説明する。
図7は、S103の画像撮像処理における欠陥検査システムの位置関係を示す斜視図である。撮像機21は、照明31の光が当てられている状態で、欠陥12を含む検査対象領域11を撮像画像データ23として撮像する。
欠陥12の一例である亀裂は、構造物表面において経時により発生し、検査対象面に対して、開口幅W、開口長さL、深さDを持つ形状をしている。
図8は、図7の欠陥12である亀裂に着目した側面図である。深さDが深くなるほど照明31からの光が当たりづらくなるので、撮像画像データ23には、欠陥位置において画像の濃淡が発生する。
さらに、図9,図10を参照して、S104の欠陥抽出処理を説明する。
図9は、撮像画像データ23の一例として、検査対象領域11を正面から撮影した取得画像91を示す画面図である。取得画像91の縦方向を大文字のY軸とし、横方向を大文字のX軸とする。
取得画像91において、欠陥12のない表面領域93には照明光が照射されて輝度が高く(白く)、欠陥12のある欠陥領域92は照明光の照射量が減り輝度が低く(黒く)なる。なお、図10の説明用に、欠陥領域92を中心にして表面領域93を横切る断面線94L-94Rも図示した。
図10は、図9の取得画像91内の断面線94L-94Rにおける輝度分布グラフである。このグラフの横軸が取得画像91のX軸を示し、縦軸がX軸の各位置の輝度値を示す。
欠陥抽出処理部52は、取得画像91に画像処理を実施し、輝度の低い欠陥領域92を抽出する。具体的には、欠陥抽出処理部52は、濃淡情報である輝度値に任意の欠陥閾値を設定し、二値化処理を適用することで、欠陥閾値を下回る領域を欠陥として抽出する。
なお、欠陥抽出処理部52は、輝度の低い欠陥領域を抽出する方法であれば二値化処理に限らず、例えばエッジ抽出処理を用いて欠陥境界部分を抽出し、欠陥領域92か表面領域93かを分類してもよい。
なお、図10の輝度分布グラフは、欠陥の有無判定(S104の欠陥抽出処理)だけでなく、欠陥が有るときの視認性の判定(S113の欠陥視認可判定処理)にも役立つ。欠陥判定処理部53は、欠陥領域92の輝度平均値をL1、表面領域93の輝度平均値をL2、表面領域93の輝度ばらつき幅をNとした場合に、2つの領域のコントラストC=(L2-L1)/Nを欠陥視認性パラメータとして計算する。
そして、欠陥判定処理部53は、C>2(所定のしきい値)の場合に、欠陥領域と表面領域を視認した場合に明確に分類できると判定する。なお、判定の計算方法はこれに限らず、欠陥領域と表面領域の視認性を定量的に表し、計算結果をしきい値判定できる方法であればよい。
なお、この欠陥視認性パラメータCを良くするためには、例えば、欠陥領域92の輝度平均値をL1をより低くする、表面領域93の輝度平均値をL2をより高くする、表面領域93の輝度ばらつき幅Nを小さくするように、各機器の配置を変更すればよい。
図11は、S112の欠陥種類判定処理を説明する構成図である。
欠陥判定処理部53は、欠陥領域92を囲むように所定の形状を当てはめることにより、欠陥領域92に写っている欠陥の種類を判定する。そのため、欠陥判定処理部53は、所定の形状と欠陥種類との対応データである欠陥種類データ51aを参照する。
なお、欠陥種類データ51aの一例として、図11では、細長い楕円を所定の形状として、その細長い楕円に当てはまる欠陥を「亀裂」と判定する場合を示している。細長い楕円とは、例えば、長径a/短径bの比が所定値(5など)より大きいため、長径aが短径bよりもかなり長く、引き延ばされた形状である。
欠陥判定処理部53は、欠陥領域92の欠陥12に外接する最少の楕円形状を求め、その長径a、短径b、座標系に対する長軸傾きθを算出する。そして、欠陥判定処理部53は、算出したθから、撮像機21および照明31の配置方位を、長径aと短径bの比a/bから、撮像機21および照明31の配置角度を決定する。
以下に示すように、本実施形態の対象となる欠陥は、亀裂に限らず、参照光を照射し撮像した際に、表面形状の不連続部分において画像の濃淡が発生する形状を持つ欠陥であればよく、例えば、膨らみや異物付着、表面層の剥がれなどを検出対象としてよい。
例えば、当てはめる所定の形状の別の一例として、亀裂に当てはめる細長い楕円よりも長径a/短径bの比が小さい(真円に近い)形状に当てはまる場合に、欠陥を「表面層の剥がれ」とするような欠陥種類データ51aを用いてもよい。
さらに、検査対象領域11のxy平面に対して、欠陥領域92がz軸の高さ方向に出っ張っている(凸型になっている)形状に当てはまる場合に、欠陥を「膨らみ」または「異物付着」とするような欠陥種類データ51aを用いてもよい。このように、欠陥種類データ51aとして、楕円に当てはめる方法に限らず、欠陥領域の方向性および方位を算出できる方法であれば、他の方法を用いてもよい。
以下、図12~図14を参照して、機器制御データ51bに基づくS121の機器配置決定処理を説明する。
撮像機21の距離L1は、欠陥幅に対する分解能を予め設定し、撮像機の画素数、画素サイズより決定される。または、撮像機21の距離L1は、欠陥12にピントが合うように、既存のオートフォーカス機構により決定してもよい。
照明31の距離L2は、必要となる表面領域輝度と照明の照度より決定される。
図12は、各機器の方位θに着目した配置決定処理を示す斜視図である。
欠陥視認性パラメータCを改善するための機器配置として、例えば、照明31の方位θ2を欠陥領域92の長軸に垂直な方位となるようにする。これにより、欠陥領域92の輝度をより低くすることで、欠陥12の内部断面に照射される光量を減らせばよい。
一方、撮像機21の方位θ1は、欠陥領域92の長軸に垂直な方位で、照明31と対向する方位とする。これにより、欠陥12の内部断面から反射または拡散して撮像機21に入射する光量を減らすことで、欠陥領域92の輝度を低くすればよい。
このように、機器制御データ51bは、欠陥種類データ51aで定義される欠陥12が存在する方位を基準とし、その欠陥12が見やすいように機器の方位を決定するデータとして定義されていてもよい。
図13は、亀裂に対する各機器の角度φに着目した配置決定処理を示す斜視図である。
照明31の角度φ2は、欠陥傾斜角度=tan(短径b/長径a)よりも狭い(垂直線13側の)角度とする。図13では欠陥傾斜を太線で示し、欠陥傾斜角度は、3点(垂直線13上の点Pd、欠陥12の最奥点Pc、欠陥12の表面点Pb)のなす角度である。このように、照明31の角度φ2を亀裂のほぼ真上に配置し、欠陥12の最奥点Pcに向けて入射光が届くようにほぼ真下に向けることで、欠陥12の内部断面からの反射光を抑え、コントラストを高めることができる。
なお、欠陥傾斜角度と照明角度との関係は、例えば、予め定めた角度差以上とし、照明が検査対象と干渉しない範囲で決定する。なお、欠陥の傾斜角度については、「tan(短径b/長径a)」から求める一例を示したが、推定方法はこれに限らず、同様の効果が得られる別の手段を用いてもよい。
一方、撮像機21の角度φ1は、表面領域93が鏡面である場合には、撮像機21および照明31の設置角度を同角とする。つまり、欠陥傾斜角度である3点(垂直線13上の点Pd、欠陥12の最奥点Pc、欠陥12の表面点Pa)のなす角度よりも狭い(垂直線13側の)角度を撮像機21の角度φ1とする。これにより、照明31からの正反射光を撮像機21に入射させることで、表面領域93の輝度を高くすることができ、コントラストを高くすることができる。
また、表面領域93が粗面である場合には、撮像機21の配置角度によって表面領域93からの拡散光は等法的であるため、欠陥12の影領域となる部分を多く撮像できるように欠陥の真上方向(垂直線13の方向)に撮像機21を配置することで、欠陥の視認性を高くすることができる。
図14は、表面層の剥がれに対する各機器の角度φに着目した配置決定処理を示す斜視図である。図13の亀裂と異なり、図14の剥がれは、検査対象領域11のxy平面に沿って機器を寝かせる方向に配置したほうが、剥がれの様子が見やすくなる。
そこで、撮像機21の角度φ1は、剥がれ底面点Pfと剥がれ表面点Paとの延長線上に設定される。同様に、欠陥12の角度φ1は、剥がれ底面点Peと剥がれ表面点Pbとの延長線上に設定される。
以上説明したように、機器配置制御部54は、欠陥判定処理部53が判定した欠陥12の種別(亀裂、剥がれなど)に応じて、欠陥視認性を良くするように、撮像機21の位置(方位θ1,角度φ1,距離L1)と、照明31の位置(方位θ2,角度φ2,距離L2)とを決定する。
また、機器配置制御部54は、撮像機21および照明31の姿勢(向き)についても、決定された位置から見て、欠陥12が存在する位置を向くように決定すればよい。
以上説明した本実施形態では、欠陥抽出処理部52が撮像機21から受信した取得画像91から、欠陥12の写っている欠陥領域92を抽出する。そして、欠陥判定処理部53が欠陥領域92内の欠陥12の形状や濃淡度などの特徴情報から欠陥種類を分類する。さらに、機器配置制御部54が分類された欠陥種類データ51aに対応する機器制御データ51bをデータベース51から読み出し、撮像機駆動機構20や照明駆動機構30に対して制御を行う。
ここで、欠陥種類データ51aと機器制御データ51bとは、欠陥12の種類ごとに見やすい撮影機器の配置があらかじめ定義されているため、配置が制御された撮像機21を介して、欠陥視認性の高い取得画像91を撮影することができる。よって、検査員の属人性(スキルのばらつき)があっても、安定した欠陥判定を効率的に実行させることができる。
なお、本発明は前記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、前記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。
また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。
また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部または全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。
また、前記の各構成、機能などは、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイルなどの情報は、メモリや、ハードディスク、SSD(Solid State Drive)などの記録装置、または、IC(Integrated Circuit)カード、SDカード、DVD(Digital Versatile Disc)などの記録媒体に置くことができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際にはほとんど全ての構成が相互に接続されていると考えてもよい。
さらに、各装置を繋ぐ通信手段は、無線LANに限定せず、有線LANやその他の通信手段に変更してもよい。
11 検査対象領域
12 欠陥
13 垂直線
20 撮像機駆動機構
21 撮像機
22 自己位置測定機
23 撮像画像データ
30 照明駆動機構
31 照明
32 相対位置測定機
50 PC
51 データベース
51a 欠陥種類データ
51b 機器制御データ
52 欠陥抽出処理部
53 欠陥判定処理部
54 機器配置制御部
55 表示制御部
60 表示装置
91 取得画像
92 欠陥領域
93 表面領域

Claims (3)

  1. 欠陥検査システムは、データベースと、欠陥抽出処理部と、欠陥判定処理部と、機器配置制御部と、表示制御部とを備えており、
    前記データベースには、構造物に関する欠陥の種類ごとにその特徴情報を対応付けている欠陥種類データと、前記欠陥の種類ごとに見やすい撮影機器の配置を規定した機器制御データとが対応付けて登録されており、前記欠陥の種類として構造物の平面に対する亀裂が登録され、
    前記欠陥抽出処理部は、撮像機が撮像した撮像画像から、前記欠陥の写っている欠陥領域を抽出し、
    前記欠陥判定処理部は、前記欠陥種類データの特徴情報を参照して、前記欠陥抽出処理部により抽出された前記欠陥領域内の前記欠陥の種類を分類する処理において、亀裂の前記欠陥種類データを参照して、前記欠陥領域に外接する楕円形状の長径と短径との比が所定値より大きいときに、前記欠陥領域に写っている前記欠陥の種類を亀裂と判定し、前記欠陥領域に外接する楕円形状の長径と短径との比が前記所定値より小さいときに、前記欠陥領域に写っている前記欠陥の種類を剥がれと判定し、
    前記機器配置制御部は、前記機器制御データを参照して、前記欠陥判定処理部が分類した前記欠陥の種類に対応する前記撮像機の配置を決定し、その決定した配置になるように前記撮像機を制御する処理において、前記欠陥の種類が亀裂の場合には、亀裂の前記機器制御データを参照して、亀裂の最奥点が視認可能な程度に構造物の平面に対する角度が高い位置に、前記撮像機を配置し、前記欠陥の種類が剥がれの場合には、剥がれの前記機器制御データを参照して、剥がれの奥側の底面点と、構造物の手前側の表面点との延長線上の位置に、前記撮像機を配置し、
    前記表示制御部は、前記機器配置制御部により制御された前記撮像機が撮像する前記撮像画像を表示装置に表示させることを特徴とする
    欠陥検査方法。
  2. 前記機器配置制御部は、構造物の平面座標における亀裂に向けて光を照射する照明機の位置と、亀裂を撮影する前記撮像機の位置関係について、亀裂に外接する楕円形状の長径との垂線上の一方の端点に前記照明機を配置し、他方の端点に前記撮像機を配置することを特徴とする
    請求項1に記載の欠陥検査方法。
  3. 構造物に関する欠陥の種類ごとにその特徴情報を対応付けている欠陥種類データと、前記欠陥の種類ごとに見やすい撮影機器の配置を規定した機器制御データとが対応付けて登録されており、前記欠陥の種類として構造物の平面に対する亀裂が登録されるデータベースと、
    撮像機が撮像した撮像画像から、前記欠陥の写っている欠陥領域を抽出する欠陥抽出処理部と、
    前記欠陥種類データの特徴情報を参照して、前記欠陥抽出処理部により抽出された前記欠陥領域内の前記欠陥の種類を分類する処理において、亀裂の前記欠陥種類データを参照して、前記欠陥領域に外接する楕円形状の長径と短径との比が所定値より大きいときに、前記欠陥領域に写っている前記欠陥の種類を亀裂と判定し、前記欠陥領域に外接する楕円形状の長径と短径との比が前記所定値より小さいときに、前記欠陥領域に写っている前記欠陥の種類を剥がれと判定する欠陥判定処理部と、
    前記機器制御データを参照して、前記欠陥判定処理部が分類した前記欠陥の種類に対応する前記撮像機の配置を決定し、その決定した配置になるように前記撮像機を制御する処理において、前記欠陥の種類が亀裂の場合には、亀裂の前記機器制御データを参照して、亀裂の最奥点が視認可能な程度に構造物の平面に対する角度が高い位置に、前記撮像機を配置し、前記欠陥の種類が剥がれの場合には、剥がれの前記機器制御データを参照して、剥がれの奥側の底面点と、構造物の手前側の表面点との延長線上の位置に、前記撮像機を配置する機器配置制御部と、
    前記機器配置制御部により制御された前記撮像機が撮像する前記撮像画像を表示装置に表示させる表示制御部とを有することを特徴とする
    欠陥検査システム。
JP2017252743A 2017-12-28 2017-12-28 欠陥検査方法、および、欠陥検査システム Active JP7178171B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017252743A JP7178171B2 (ja) 2017-12-28 2017-12-28 欠陥検査方法、および、欠陥検査システム
GB1818898.7A GB2570377B (en) 2017-12-28 2018-11-20 Defect inspection method and defect inspection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017252743A JP7178171B2 (ja) 2017-12-28 2017-12-28 欠陥検査方法、および、欠陥検査システム

Publications (2)

Publication Number Publication Date
JP2019120491A JP2019120491A (ja) 2019-07-22
JP7178171B2 true JP7178171B2 (ja) 2022-11-25

Family

ID=64740027

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017252743A Active JP7178171B2 (ja) 2017-12-28 2017-12-28 欠陥検査方法、および、欠陥検査システム

Country Status (2)

Country Link
JP (1) JP7178171B2 (ja)
GB (1) GB2570377B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112378924A (zh) * 2020-09-24 2021-02-19 宁波市鄞州世纪耀达市政建设有限公司 一种管道裂缝定位方法、系统、存储介质及智能终端
CN114324387A (zh) * 2021-12-14 2022-04-12 北京玖瑞科技有限公司 板材缺陷检测装置及方法
CN114511557B (zh) * 2022-04-02 2022-09-13 深圳市君合环保水务科技有限公司 一种基于图像处理的暗渠结构缺陷检测方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005062037A (ja) 2003-08-15 2005-03-10 Fuji Photo Film Co Ltd インクジェット記録用紙の欠陥検出方法及び装置
JP2006058170A (ja) 2004-08-20 2006-03-02 Dainippon Screen Mfg Co Ltd 目視確認装置および検査システム
JP2006208347A (ja) 2004-02-25 2006-08-10 Jfe Steel Kk 圧延用ロールの表面欠陥検出装置、研削装置、表面欠陥検出方法及び表面欠陥検出用プログラム並びに圧延用ロール研削方法
JP2008076218A (ja) 2006-09-21 2008-04-03 Olympus Corp 外観検査装置
JP2008139285A (ja) 2006-11-29 2008-06-19 Korea Research Inst Of Standards & Science 映像処理技法を利用した構造物及び製品のクラック幅測定方法
JP2011058940A (ja) 2009-09-09 2011-03-24 Panasonic Electric Works Co Ltd 外観検査装置、外観検査方法
WO2013038550A1 (ja) 2011-09-15 2013-03-21 日立Geニュークリア・エナジー株式会社 水中検査装置
JP2014228357A (ja) 2013-05-21 2014-12-08 大成建設株式会社 ひび割れ検出方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07103905A (ja) * 1993-10-07 1995-04-21 Toyo Commun Equip Co Ltd 傷検査装置
CN103383361A (zh) * 2013-08-02 2013-11-06 湖州职业技术学院 一种钢绳芯输送带检测装置以及检测方法
US10682729B2 (en) * 2015-12-01 2020-06-16 General Electric Company System for automated in-process inspection of welds
EP3482192A4 (en) * 2016-07-08 2020-08-05 ATS Automation Tooling Systems Inc. SYSTEM AND PROCEDURE FOR COMBINED AUTOMATIC AND MANUAL INSPECTION
KR101991170B1 (ko) * 2017-06-05 2019-06-19 충북대학교 산학협력단 인쇄 회로 기판의 결함 분류 장치 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005062037A (ja) 2003-08-15 2005-03-10 Fuji Photo Film Co Ltd インクジェット記録用紙の欠陥検出方法及び装置
JP2006208347A (ja) 2004-02-25 2006-08-10 Jfe Steel Kk 圧延用ロールの表面欠陥検出装置、研削装置、表面欠陥検出方法及び表面欠陥検出用プログラム並びに圧延用ロール研削方法
JP2006058170A (ja) 2004-08-20 2006-03-02 Dainippon Screen Mfg Co Ltd 目視確認装置および検査システム
JP2008076218A (ja) 2006-09-21 2008-04-03 Olympus Corp 外観検査装置
JP2008139285A (ja) 2006-11-29 2008-06-19 Korea Research Inst Of Standards & Science 映像処理技法を利用した構造物及び製品のクラック幅測定方法
JP2011058940A (ja) 2009-09-09 2011-03-24 Panasonic Electric Works Co Ltd 外観検査装置、外観検査方法
WO2013038550A1 (ja) 2011-09-15 2013-03-21 日立Geニュークリア・エナジー株式会社 水中検査装置
JP2014228357A (ja) 2013-05-21 2014-12-08 大成建設株式会社 ひび割れ検出方法

Also Published As

Publication number Publication date
GB201818898D0 (en) 2019-01-02
GB2570377B (en) 2020-07-01
GB2570377A (en) 2019-07-24
JP2019120491A (ja) 2019-07-22

Similar Documents

Publication Publication Date Title
JP5462093B2 (ja) 点群データ処理装置、点群データ処理システム、点群データ処理方法、および点群データ処理プログラム
US10746763B2 (en) Apparatus and method for diagnosing electric power equipment using thermal imaging camera
JP6424020B2 (ja) 画像検査装置、画像検査方法、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
TWI313576B (en) Board inspecting apparatus, its parameter setting method and parameter setting apparatus
JP7178171B2 (ja) 欠陥検査方法、および、欠陥検査システム
JP2015535337A (ja) 角度スキャン速度の動的調整を伴うレーザスキャナ
JP6667065B2 (ja) 位置推定装置および位置推定方法
KR101679205B1 (ko) 디바이스 결함 검출장치
Yan et al. Towards automated detection and quantification of concrete cracks using integrated images and lidar data from unmanned aerial vehicles
JP2017040600A (ja) 検査方法、検査装置、画像処理装置、プログラム及び記録媒体
JP2010071844A (ja) 基板外観検査装置、およびはんだフィレットの高さ計測方法
JP2006010392A (ja) 貫通穴計測システム及び方法並びに貫通穴計測用プログラム
JP2015184929A (ja) 立体物検出装置、立体物検出方法、および立体物検出プログラム
WO2019124508A1 (ja) ワイヤ形状検査装置およびワイヤ形状検査方法
US9807348B2 (en) Imaging apparatus, imaging method, and imaging program
US20160259034A1 (en) Position estimation device and position estimation method
JP2022151763A (ja) 航空機構造体の損傷の自動評価
JP2007316019A (ja) 表面欠陥検査装置
JP2007256280A (ja) 物体認識システム及びそれを用いた物体の変位計測方法
JP6704336B2 (ja) 検査装置及び検査方法
JP2009193130A (ja) 車両周辺監視装置、車両、車両周辺監視用プログラム、車両周辺監視方法
JP2007192755A (ja) 測距装置
US20220148152A1 (en) System and method for adjustable production line inspection
JP4218283B2 (ja) ターゲット投影式3次元形状計測方法および装置
CN116670502A (zh) 红外热图像分析装置、红外热图像分析方法及程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200727

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220531

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221114

R150 Certificate of patent or registration of utility model

Ref document number: 7178171

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150