JP6786035B2 - 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法 - Google Patents

航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法 Download PDF

Info

Publication number
JP6786035B2
JP6786035B2 JP2019508540A JP2019508540A JP6786035B2 JP 6786035 B2 JP6786035 B2 JP 6786035B2 JP 2019508540 A JP2019508540 A JP 2019508540A JP 2019508540 A JP2019508540 A JP 2019508540A JP 6786035 B2 JP6786035 B2 JP 6786035B2
Authority
JP
Japan
Prior art keywords
defect
feature amount
original image
unit
candidate region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2019508540A
Other languages
English (en)
Other versions
JPWO2018179559A1 (ja
Inventor
高三郎 小西
高三郎 小西
素子 岡本
素子 岡本
長谷川 修
修 長谷川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SOINN INC.
Mitsubishi Heavy Industries Ltd
Original Assignee
SOINN INC.
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SOINN INC., Mitsubishi Heavy Industries Ltd filed Critical SOINN INC.
Publication of JPWO2018179559A1 publication Critical patent/JPWO2018179559A1/ja
Application granted granted Critical
Publication of JP6786035B2 publication Critical patent/JP6786035B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/28Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01QANTENNAS, i.e. RADIO AERIALS
    • H01Q1/00Details of, or arrangements associated with, antennas
    • H01Q1/27Adaptation for use in or on movable bodies
    • H01Q1/28Adaptation for use in or on aircraft, missiles, satellites, or balloons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30168Image quality inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Immunology (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Astronomy & Astrophysics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Processing (AREA)

Description

本発明は、航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法に関する。
従来、航空機用の部品の表面の欠陥(傷)を検出する表面検査は、作業者によって、実際の部品を目視したり触診したりすることによって行われている。航空機用の部品の内部の欠陥を検出する際は、例えば超音波探傷など、非破壊による検査が作業者によって行われている。また、例えば特許文献1には、製品の表面の画像に画像処理を加えて、その画像処理を加えた画像に基づいて製品の品質評価を行う技術が記載されている。
特許第5520908号公報
しかし、人による検査では、欠陥の検出精度や検出にかかる時間にばらつきがある。また、画像処理を加えた画像による検出の場合でも、検出精度の向上には改善の余地がある。このように、航空機用の部品の欠陥検出において、より適切に欠陥を検出し、欠陥の検出時間を短縮する技術が求められている。
本発明は、上述した課題を解決するものであり、適切に欠陥を検出でき、欠陥の検出時間を短縮できる航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法を提供することを目的とする。
上述した課題を解決し、目的を達成するために、本開示に係る航空機用部品の欠陥検出システムは、対象物である航空機用部品の欠陥を検出する航空機用部品の欠陥検出システムであって、欠陥の箇所の画像を含む前記対象物の画像である原画像を取得する原画像取得部と、前記原画像内の画像の輝度に基づき、前記欠陥の箇所の候補となる領域である欠陥候補領域を前記原画像内から抽出し、前記欠陥候補領域とその周囲の領域との輝度の差分に基づき、前記欠陥候補領域の特徴量を算出する画像処理部と、前記欠陥の箇所が予め検出されている学習用原画像に対して前記画像処理部が算出した前記特徴量と、前記欠陥の箇所の情報とを関連付けて、欠陥であると判定する前記特徴量の範囲である欠陥特徴量範囲と、欠陥でないと判定する前記特徴量の範囲である非欠陥特徴量範囲とを設定する特徴量範囲設定部と、前記欠陥の箇所が未検出の判定用原画像に対して前記画像処理部が算出した前記特徴量と、前記欠陥特徴量範囲と、前記非欠陥特徴量範囲とに基づき、前記判定用原画像内の前記欠陥候補領域が前記欠陥の箇所であるかを判定する欠陥検出部と、を有する。
この欠陥検出システムは、欠陥の基準となる特徴量の範囲を予め学習し、その学習結果に基づき、原画像を用いて欠陥を検出するため、検出精度のばらつきを抑制することができる。また、この欠陥検出システムは、特徴量を算出する対象を欠陥候補領域だけに制限するため、欠陥検出の負担を抑制し検出時間を短くすることができる。従って、この検出システムは、航空機用部品の欠陥を適切に検出することが可能となる。
前記欠陥検出システムにおいて、前記画像処理部は、前記原画像内の領域のうち、その領域と周囲の領域との輝度の分散が所定の分散値以上となる領域を、前記欠陥の候補領域として抽出する候補領域抽出部と、前記候補領域のうち、あらかじめ定めた所定の形状となる前記候補領域を除去し、除去しなかった前記候補領域を、前記欠陥候補領域として抽出する欠陥候補領域抽出部と、前記欠陥候補領域とその周囲の領域との輝度の差分に基づき、前記欠陥候補領域の特徴量を算出する特徴量算出部と、を有することが好ましい。この検出システムは、欠陥検出の計算が多くなり過ぎることをより好適に抑制し、検出時間を短くすることで、航空機用部品の欠陥をより適切に検出することが可能となる。
前記欠陥検出システムにおいて、前記欠陥候補領域抽出部は、ハフ変換を用いて、複数の前記候補領域が連続することで円形を構成するかを判定し、前記円形を構成する候補領域を除去することが好ましい。この検出システムは、欠陥検出の計算が多くなり過ぎることをより好適に抑制し、検出時間を短くすることで、航空機用部品の欠陥をより適切に検出することが可能となる。
前記欠陥検出システムにおいて、前記特徴量算出部は、欠陥候補領域及びその周囲の領域における輝度の変化量として、前記特徴量を算出することが好ましい。この検出システムは、この特徴量に基づき欠陥の判定を行うことで、欠陥検出の精度を適切に向上させることができる。
前記欠陥検出システムにおいて、前記特徴量算出部は、前記欠陥候補領域のホグ特徴量を、前記特徴量として算出することが好ましい。この検出システムは、ホグ特徴量に基づき欠陥の判定を行うことで、欠陥検出の精度を適切に向上させることができる。
前記欠陥検出システムにおいて、前記欠陥検出部は、前記判定用原画像の前記特徴量である判定用特徴量を取得する特徴量取得部と、前記特徴量範囲設定部から前記欠陥特徴量範囲及び前記非欠陥特徴量範囲を取得する特徴量範囲取得部と、前記判定用特徴量と前記欠陥特徴量範囲との間の差分値である欠陥差分値、及び、前記判定用特徴量と前記非欠陥特徴量範囲との間の差分値である非欠陥差分値に基づき、前記欠陥候補領域が、前記欠陥の箇所であるかを判定する欠陥判定部とを有することが好ましい。この欠陥検出システムは、予め算出した欠陥特徴量範囲に対する判定用特徴量の差分値に基づき欠陥であるかを判定するため、欠陥検出の精度をより適切に向上させることができる。
前記欠陥検出システムにおいて、前記欠陥判定部は、前記非欠陥差分値に対する前記欠陥差分値の比率が、所定の閾値以下となる場合、前記欠陥候補領域が、前記欠陥の箇所であると判定することが好ましい。この欠陥検出システムは、非欠陥差分値に対する欠陥差分値の比率に基づき欠陥の判定を行っているため、欠陥検出の精度をより適切に向上させることができる。
前記欠陥検出システムにおいて、前記所定の閾値は、1より大きい値であることが好ましい。この欠陥検出システムは、閾値を1より大きくすることで、欠陥の検出の際に、欠陥であると判定する可能性を高くして、欠陥検出の精度をより適切に向上させることができる。
前記欠陥検出システムは、前記原画像に対し、前記欠陥検出部が前記欠陥の箇所であると判定した箇所に目印を加えた判定画像を、表示部に表示させる画像表示制御部を更に有することが好ましい。この欠陥検出システムは、欠陥と判定された箇所に目印を加えた画像を表示することで、作業者が欠陥の箇所を容易に視認することが可能となる。
前記欠陥検出システムにおいて、前記画像表示制御部は、前記目印の表示が、前記非欠陥差分値に対する前記欠陥差分値の比率に応じて異なるように、前記判定画像を表示させることが好ましい。この欠陥検出システムは、比率に応じて目印の表示を変化させることで、欠陥である可能性が高い箇所を、作業者に容易に視認させることが可能となる。
前記欠陥検出システムは、前記対象物の表面を撮像して前記原画像を作成する原画像作成部を更に有することが好ましい。欠陥検出システムは、この原画像を用いて欠陥検出を行うことで、対象物の表面の欠陥を、適切に検出することが可能となる。
前記欠陥検出システムは、前記対象物の内部状態を検出して、その検出データに基づき前記原画像を作成する原画像作成部を更に有することが好ましい。これにより、欠陥検出システムは、対象物の内部の欠陥を適切に検出することが可能となる。
上述した課題を解決し、目的を達成するために、本開示に係る航空機用部品の欠陥検出方法は、対象物である航空機用部品の欠陥を検出する航空機用部品の欠陥検出方法であって、欠陥の箇所の画像を含む前記対象物の画像である原画像を取得する原画像取得ステップと、前記原画像内の画像の輝度に基づき、前記欠陥の箇所の候補となる領域である欠陥候補領域を前記原画像内から抽出し、前記欠陥候補領域とその周囲の領域との輝度の差分に基づき、前記欠陥候補領域の特徴量を算出する画像処理ステップと、前記欠陥の箇所が予め検出されている学習用原画像に対して前記画像処理ステップで算出した前記特徴量と、前記欠陥の箇所の情報とを関連付けて、欠陥であると判定する前記特徴量の範囲である欠陥特徴量範囲と、欠陥でないと判定する前記特徴量の範囲である非欠陥特徴量範囲とを設定する特徴量範囲設定ステップと、前記欠陥の箇所が未検出の判定用原画像に対して前記画像処理ステップで算出した前記特徴量と、前記欠陥特徴量範囲と、前記非欠陥特徴量範囲とに基づき、前記特徴量に対応する前記欠陥候補領域が前記欠陥の箇所であるかを判定する欠陥検出ステップと、を有する。この欠陥検出方法は、航空機用部品の欠陥を適切に検出することが可能となる。
本発明によれば、航空機用部品の欠陥を適切に検出することができる。
図1は、第1実施形態に係る欠陥検出システムの模式図である。 図2は、第1実施形態に係る制御部の模式的なブロック図である。 図3は、原画像の一例を示す図である。 図4は、候補領域を説明する図である。 図5は、候補抽出画像の一例を示す図である。 図6は、欠陥候補抽出領域を説明するための図である。 図7は、欠陥候補抽出領域を説明するための図である。 図8は、欠陥候補抽出画像の一例を示す図である。 図9は、画像処理部による特徴量の算出処理を説明するフローチャートである。 図10は、欠陥特徴量範囲と非欠陥特徴量範囲を説明する図である。 図11は、欠陥特徴量範囲と非欠陥特徴量範囲との設定処理を説明するフローチャートである。 図12は、欠陥判定を説明する図である。 図13は、欠陥検出の処理を説明するフローチャートである。 図14は、判定画像の一例を示す図である。 図15は、判定画像の他の例を示す図である。 図16は、第2実施形態に係る制御部の模式的なブロック図である。
以下に添付図面を参照して、本発明の好適な実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではなく、また、実施形態が複数ある場合には、各実施形態を組み合わせて構成するものも含むものである。
(第1実施形態)
(全体構成)
図1は、第1実施形態に係る欠陥検出システムの模式図である。図1に示すように、第1実施形態に係る欠陥検出システム1は、対象物Tの欠陥を検出するシステムである。対象物Tは、航空機用の部品である。欠陥とは、対象物Tのきず(不連続部)のうち、予め設定した基準から外れる不合格となるきずを指す。すなわち、欠陥は、対象物Tの傷を指す。
図1に示すように、欠陥検出システム1は、人工知能を実装したコンピュータであり、原画像作成部10と、制御部12と、表示部14と、入力部16と、を有する。欠陥検出システム1は、原画像作成部10で対象物Tの原画像A1を作成し、その原画像A1を制御部12で画像処理して、対象物Tの欠陥を検出するシステムである。
原画像作成部10は、対象物Tの原画像A1を作成する。原画像A1は、欠陥の箇所の画像を含む対象物Tの画像である。第1実施形態において、原画像作成部10は、カメラを有し、対象物Tの表面T1を撮像することで、対象物Tの原画像A1を作成する。すなわち、第1実施形態における原画像A1は、対象物Tの表面T1の撮像画像である。本実施形態では、原画像作成部10は、制御部12の制御により、対象物Tの表面T1上を移動しながら、表面T1の各箇所を撮像し、複数の原画像A1を作成する。ただし、原画像作成部10は、対象物T全体を撮像した1つの原画像A1を作成するものであってもよい。また、本実施形態における対象物Tは、例えば航空機の外壁などの、平坦な板状部材である。従って、対象物Tの表面T1に欠陥がある場合、原画像A1は、欠陥の箇所の輝度が、欠陥以外の箇所の輝度と異なる。ただし、対象物Tは、このような平坦な板状部材に限られず、例えば湾曲した板状部材など、任意の形状であってよい。その場合でも、原画像A1の欠陥の箇所の輝度は、欠陥以外の箇所の輝度と異なる。
制御部12は、例えばCPU(Central Processing Unit)であり、欠陥検出システム1の動作を制御する。制御部12の構成は後述する。表示部14は、例えばモニタであり、制御部12の制御により、原画像A1などの各種画像を表示する。入力部16は、例えばマウスやキーボードであり、操作者が制御部12に対し指令を出したり情報を入力したりするための装置である。
図2は、第1実施形態に係る制御部の模式的なブロック図である。図2に示すように、制御部12は、原画像取得部20と、画像処理部22と、特徴量範囲設定部24と、欠陥検出部26と、表示部14に各種画像を表示させる画像表示制御部28とを有する。制御部12は、画像処理部22によって学習用原画像に対して画像処理を行い、その画像処理した内容を用いて、特徴量範囲設定部24によって対象物Tの欠陥を判定する上での基準を予め学習する。学習用原画像は、欠陥の箇所が予め検出されている対象物Tの原画像A1である。また、制御部12は、画像処理部22によって判定用原画像に対して画像処理を行い、欠陥検出部26によって、画像処理した内容を予め学習した基準に当てはめて、対象物Tの欠陥を検出する。判定用原画像は、欠陥の箇所が未検出の対象物T、すなわちこれから欠陥を検出する対象物Tの原画像A1である。以下、各部の処理について具体的に説明する。
(原画像取得部について)
図3は、原画像の一例を示す図である。原画像取得部20は、原画像作成部10から原画像A1を取得する。原画像取得部20は、例えば操作者による指令により、図3に示すような原画像A1を、画像表示制御部28を介して表示部14に表示させる。原画像A1は、2次元マトリクス状に配列した複数の画素Pに、設定した色を表示させた画像である。図3の例では、原画像A1には、箇所B1からB5が写っている。原画像A1は、箇所B1からB5と、それ以外の箇所との輝度が異なる。箇所B1からB5は、原画像A1内の欠陥の箇所の候補となる領域である。図3に示すように、箇所B1は、円形の領域である。箇所B2及びB5は、1本の線状の領域である。箇所B3及びB4は、複数の線状の領域が互いに離間しつつ直線状に並んだ領域である。また、箇所B1から箇所B5は、複数の画素Pによって表示される複数の画素分の領域である。なお、ここでの輝度とは、画素の階調値であり、例えば、0から255までの整数値のいずれかの値となる。
(画像処理部について)
図2に示すように、画像処理部22は、候補領域抽出部30と、欠陥候補領域抽出部32と、特徴量算出部34と、を有する。画像処理部22は、原画像A1内の画像の輝度に基づき、欠陥候補領域を原画像内から抽出する。欠陥候補領域は、欠陥の箇所の候補となる領域であるが、詳しくは後述する。そして、画像処理部22は、欠陥候補領域とその周囲の領域との輝度の差分に基づき、欠陥候補領域の特徴量を算出する。画像処理部22が行う画像処理は、学習用原画像と判定用原画像とで共通する。従って、以下の画像処理部22による説明では、学習用原画像と判定用原画像とを区別せず、原画像A1に対して行う画像処理として説明する。
図4は、候補領域を説明する図である。候補領域抽出部30は、欠陥の候補となる領域である候補領域P1を抽出する。具体的には、候補領域抽出部30は、原画像A1を表示する複数の画素P内の1つの画素P0を、1つの領域として選択する。そして、候補領域抽出部30は、図4に示すように、画素P0の周囲の画素Pである周囲画素P0aを抽出する。図4の例では、周囲画素P0aは、画素P0から4方向にそれぞれ4画素分離れた領域に囲まれた全ての画素Pである。候補領域抽出部30は、この画素P0及び周囲画素P0a(合計81個)の輝度の分散値を算出する。輝度の分散値を算出する際、候補領域抽出部30は、抽出した画素P(画素P0と周囲画素P0a)の輝度の平均値を算出する。そして、候補領域抽出部30は、画素Pの輝度と輝度の平均値との差分を二乗した二乗値を画素P毎に算出し、この二乗値を全ての画素Pについて合計する。候補領域抽出部30は、その合計値を画素Pの数で除することで、輝度の分散値を算出する。候補領域抽出部30は、この輝度の分散値が、予め定めた所定の分散値以上である場合に、その画素P0を、候補領域P1として抽出する。候補領域抽出部30は、原画像A1中の全ての画素Pを画素P0として選択して同様の処理を行い、候補領域P1を抽出する。欠陥の箇所は、周囲に対して輝度が異なる場合が多く、輝度の分散値が高くなる傾向がある。候補領域抽出部30は、輝度の分散値が高い画素Pを候補領域P1とすることで、欠陥の候補となる領域を適切に抽出することができる。なお、候補領域P1の閾値となる所定の分散値は、例えば13.3であるが、これに限られず任意である。また、図3の例では、周囲画素P0aは、画素P0から4方向にそれぞれ4画素分離れた領域に囲まれた画素Pであったが、周囲画素P0aは、画素P0の周囲の画素Pであれば、その位置及び数は任意である。また、本実施形態では、候補領域P1の抽出を輝度に基づき行っていたが、輝度以外の色情報に基づき候補領域P1の抽出を行ってもよい。ここでの色情報としては、例えば色相など、輝度、すなわち画素Pの明るさ以外の情報が挙げられる。例えば、原画像A1が領域毎に色ヒストグラムを有する(領域毎に色が異なる)場合、この色ヒストグラムに基づき候補領域P1を抽出してもよい。例えば対象物Tは、表面T1とは異なる色(青色)の保護テープが貼り付けられている場合など、表面T1とは異なる色の領域を有する場合がある。このような場合、異なる色の領域の色のパターンは、予め把握可能であり、この領域以外でこの色がほとんど出現しないことは明確である。従って、このような場合、候補領域抽出部30は、この異なる領域の色を予め記憶しておく。そして、候補領域抽出部30は、画素Pの色と記憶した色とを比較し、画素Pの色と記憶した色との差が予め定めた閾値以下である場合(例えば画素Pの色相の値と記憶した色相との差が閾値以下である場合)、その画素Pが占める領域が保護テープなどであって欠陥ではないと判断し、その画素Pを候補領域P1から除外する。ただし、この処理は一例である。
このように、候補領域抽出部30は、原画像A1内の領域(画素P0)のうち、その領域(画素P0)と周囲の領域(周囲画素P0a)との輝度の分散が所定の分散値以上となる領域(画素P0)を、欠陥の候補領域P1として抽出する。候補領域抽出部30は、輝度の分散が所定の分散値以上となる場合、その領域は輝度変化が大きくなっているため欠陥の箇所の候補であると判断して、その領域を候補領域P1とする。なお、ここでは、候補領域P1は、画素1つ分の領域である。ただし、ここでの領域は、画素1つ分の領域でなくてもよく、画素複数分の領域、すなわち複数の画素Pが集合した領域であってもよい。言い換えれば、ここでの領域は、原画像A1を複数の領域に区分した場合の、1つの領域であればよい。また、候補領域抽出部30は、領域(画素P0)と周囲の領域(周囲画素P0a)との輝度に基づき候補領域P1を抽出するものであれば、輝度の分散に基づいて候補領域P1を抽出しなくてもよい。例えば、候補領域抽出部30は、領域(画素P0)と周囲の領域(周囲画素P0a)との輝度の差を算出し、その輝度の差が所定値以上である場合に、その領域を候補領域P1として抽出すればよい。また、候補領域抽出部30は、例えばSobelフィルタなどを用いて、領域のエッジ(輪郭)を検出することにより、欠陥の候補領域P1を抽出してもよい。
図5は、候補抽出画像の一例を示す図である。候補領域抽出部30は、候補領域P1を抽出して表示させた画像である候補抽出画像A2を、画像表示制御部28を介して表示部14に表示させる。図5に示すように、候補抽出画像A2には、低輝度の背景上に、高輝度の箇所C1からC5が写っている。箇所C1は、候補領域P1として抽出された複数の画素Pが、円形状に連続した領域であり、原画像A1の箇所B1の外周に相当する。箇所C2及びC5は、候補領域P1として抽出された複数の画素Pが、線状に連続した領域であり、原画像A1の箇所B2及びB5に相当する。箇所C3及びC4は、候補領域P1として抽出された複数の画素Pが連続した領域が、互いに離間しつつ線状に並んだ領域である。箇所C3及び箇所C4は、原画像A1の箇所B3及びB4に相当する。ただし、候補領域抽出部30は、必ずしも候補抽出画像A2を表示させなくてもよい。
次に、欠陥候補領域抽出部32について説明する。欠陥候補領域抽出部32は、候補領域P1のうち、予め定めた所定の形状となる候補領域P1を除去し、除去しなかった候補領域P1を、欠陥候補領域P2として抽出する。すなわち、欠陥候補領域P2は、複数の候補領域P1のうちから選択された一部の候補領域P1であり、欠陥候補領域P2のそれぞれは、1つの画素P(画素1つ分の領域)である。具体的には、欠陥候補領域抽出部32は、候補領域P1から、連続する候補領域P1を検出する。連続するとは、候補領域P1とされた画素Pが隣接していることを指す。欠陥候補領域抽出部32は、連続する候補領域P1が、全体として所定の形状となっていると判断した場合、この連続する候補領域P1を、欠陥候補領域P2ではないとして除去する。この所定の形状は、例えば円形、矩形、三角形、多角形などであり、かつ、所定の長さよりも大きいものである。欠陥候補領域抽出部32は、このように所定の形状となる候補領域P1を除去することで、リベットや窓枠やシールなどの部材が設けられた箇所を、欠陥の箇所の候補(欠陥候補領域P2)から除去する。ただし、この所定の形状はこれらに限られず、任意に設定することができる。本実施形態では、欠陥候補領域抽出部32は、ハフ変換(Hough変換)を用いて、複数の候補領域P1が連続することで円形を構成するかを判定し、円形を構成する候補領域P1を除去する。例えば航空機部品に用いられるリベットは円形であるため、欠陥候補領域抽出部32は、ハフ変換で円形を抽出することで、リベットを欠陥の候補となる箇所から除去することが可能となる。
図6は、欠陥候補抽出領域を説明するための図である。図6に示すように、欠陥候補領域抽出部32は、欠陥候補領域P2を抽出した後、原画像A1から、欠陥候補領域P2とその周囲の領域の画素Pとを、欠陥候補抽出領域P3として抽出する。すなわち、欠陥候補領域抽出部32は、欠陥候補領域P2に対応する画素Pと、その周囲の画素Pである周囲画素P2aとを、欠陥候補抽出領域P3として抽出する。従って、欠陥候補抽出領域P3は、複数の画素Pを含む領域となる。図6の例では、周囲画素P2aは、欠陥候補領域P2に対応する画素Pから4方向にそれぞれ6画素分離れた領域に囲まれた画素Pであり、欠陥候補抽出領域P3は、合計169個の画素Pを含む領域である。ただし、周囲画素P2aは、画素Pの周囲の画素Pであれば、その位置及び数は任意であり、欠陥候補抽出領域P3は、欠陥候補領域P2に対応する画素Pとその周囲画素P2aとを含む領域であれば、含まれる画素Pの数は任意である。なお、欠陥候補領域抽出部32は、例えば欠陥候補領域P2が複数の画素により構成されている場合などは、欠陥候補領域P2を抽出するものであれば、必ずしも欠陥候補抽出領域P3を抽出しなくてもよい。
図7は、欠陥候補抽出領域を説明するための図である。欠陥候補領域抽出部32は、図7に示すように、欠陥候補領域P2が連続(隣接)する場合、連続する欠陥候補領域P2を全て含む矩形の領域P2Xを抽出する。そして、欠陥候補領域抽出部32は、領域P2X内の全ての画素Pとその周囲画素P2aとを、欠陥候補抽出領域P3として抽出する。なお、ここで欠陥候補領域P2が連続するとは、図7に示すように、辺同士、又は頂点同士の少なくともいずれかが接する画素Pが連続して存在する場合をいう。
このように、欠陥候補領域抽出部32は、欠陥候補領域P2を抽出した後、欠陥候補抽出領域P3を抽出する。これにより、欠陥候補領域抽出部32は、欠陥の候補とした領域を大きくすることができるため、欠陥検出の精度をより高くすることが可能となる。
図8は、欠陥候補抽出画像の一例を示す図である。欠陥候補領域抽出部32は、欠陥候補領域P2を抽出した画像である欠陥候補抽出画像A3を、画像表示制御部28を介して表示部14に表示させる。図8に示すように、欠陥候補抽出画像A3には、低輝度の背景上に、高輝度の箇所C2からC5が写っている。候補抽出画像A2に写っていた箇所C1は、円形の候補領域P1で構成されていたため除外され、欠陥候補抽出画像A3に写っていない。また、欠陥候補抽出領域P3は、連続する欠陥候補領域P2毎に抽出される。従って、欠陥候補領域P2(画素)が連続する箇所C2及びC5においては、欠陥候補抽出領域P3がそれぞれ1つずつ抽出されている。一方、欠陥候補領域P2(画素)が連続しない部分がある箇所C3及びC4においては、欠陥候補抽出領域P3が、連続する欠陥候補領域P2の数分、複数個ずつ抽出されている。ただし、欠陥候補領域抽出部32は、必ずしも欠陥候補抽出画像A3を表示させなくてもよい。
なお、画像処理部22は、原画像A1内の画像の輝度、すなわち画素Pの輝度に基づき欠陥候補領域P2を抽出するものであれば、欠陥候補領域P2の抽出を、上述の内容に限られず行ってもよい。例えば、画像処理部22は、抽出した候補領域P1から所定の形状の候補領域P1を除外せず、抽出した候補領域P1をそのまま欠陥候補領域P2としてもよい。また、例えば、画像処理部22は、候補領域抽出部30を有さず、原画像A1中の領域(画素P)のうち、所定の形状となる領域を除いて、残った領域を欠陥候補領域P2としてもよい。
次に、特徴量算出部34について説明する。特徴量算出部34は、欠陥候補抽出領域P3内の画素P同士の輝度の差分に基づき、欠陥候補抽出領域P3の特徴量を算出する。言い換えれば、特徴量算出部34は、欠陥候補領域P2とその周囲の領域(周囲画素P2a)との輝度の差分に基づき、欠陥候補領域P2の特徴量を算出する。特徴量算出部34は、全ての欠陥候補抽出領域P3について、特徴量を算出する。すなわち、図8の例では、特徴量算出部34は、箇所C2から箇所C5のそれぞれの欠陥候補抽出領域P3に対し、特徴量を算出する。特徴量は、欠陥候補抽出領域P3において画素P毎の輝度の差分値を示す輝度の強度パラメータである。さらに言えば、特徴量は、欠陥候補抽出領域P3内、すなわち欠陥候補領域P2及びその周囲の領域における輝度の変化量を示すパラメータである。特徴量が大きい場合、欠陥候補抽出領域P3の画素P毎の輝度の差が大きくなり、特徴量が小さい場合、欠陥候補抽出領域P3の画素Pの輝度の差が小さくなる(輝度の差が均一に近づく)。具体的には、特徴量算出部34は、欠陥候補抽出領域P3のホグ特徴量(HOG(Histograms of Oriented Gradient)特徴量)を、欠陥候補抽出領域P3の特徴量として算出する。特徴量算出部34は、欠陥候補抽出領域P3内の画素Pの輝度の勾配強度を、輝度の強度勾配の方向毎に算出し、勾配方向毎の輝度の勾配強度に基づき、欠陥候補抽出領域P3の特徴量(ホグ特徴量)を算出する。1つの欠陥候補抽出領域P3について算出されるホグ特徴量は、次元毎に算出される複数種類の値(パラメータ)を含んでいる。ただし、特徴量算出部34は、ホグ特徴量を特徴量として算出することに限られない。例えば、特徴量算出部34は、欠陥候補抽出領域P3内の画素P同士の輝度の差分を算出し、その差分値を欠陥候補抽出領域P3の特徴量として算出してもよい。なお、ホグ特徴量を用いない場合、特徴量算出部34は、1つの欠陥候補抽出領域P3について算出する特徴量を、1種類の値(パラメータ)としてもよい。
画像処理部22は、以上のように、原画像A1に対して画像処理を行って、欠陥候補抽出領域P3の特徴量を算出する。以上説明した特徴量の算出処理(画像処理ステップ)の流れを、フローチャートに基づき説明する。図9は、画像処理部による特徴量の算出処理を説明するフローチャートである。画像処理を行う場合、図9に示すように、最初に、原画像取得部20が、原画像A1を取得する(ステップS10)。そして、画像処理部22は、候補領域抽出部30により、候補領域P1を抽出する(ステップS12)。具体的には、候補領域抽出部30は、原画像A1内の領域(画素P)のうち、その領域(画素P)と周囲の領域(周囲画素P0a)との輝度の分散が所定の分散値以上となる領域(画素P)を、候補領域P1として抽出する。
候補領域P1を抽出した後、画像処理部22は、欠陥候補領域抽出部32により、欠陥候補領域P2を抽出する(ステップS14)。具体的には、欠陥候補領域抽出部32は、予め定めた所定の形状となる候補領域P1を除去し、除去しなかった候補領域P1を、欠陥候補領域P2として抽出する。欠陥候補領域P2を抽出した後、画像処理部22は、欠陥候補領域抽出部32により、欠陥候補抽出領域P3を抽出する(ステップS16)。具体的には、欠陥候補領域抽出部32は、欠陥候補領域P2とその周囲の領域の画素Pとを、欠陥候補抽出領域P3として抽出する。
欠陥候補抽出領域P3を抽出した後、画像処理部22は、特徴量算出部34により、欠陥候補抽出領域P3の特徴量を算出する(ステップS18)。特徴量算出部34は、欠陥候補抽出領域P3内の画素P同士の輝度の差分に基づき、欠陥候補抽出領域P3の特徴量を算出する。特徴量算出部34は、抽出された全ての欠陥候補抽出領域P3について、特徴量を算出する。特徴量を算出することにより、画像処理部22による本処理は終了する。上述のように、この特徴量の算出処理は、学習用原画像と判定用原画像とで同じ内容の処理である。
(特徴量範囲設定部について)
次に、図2に示す特徴量範囲設定部24について説明する。特徴量範囲設定部24は、人工知能を用いたアルゴリズムにより、学習用原画像に対して画像処理部22が算出した特徴量と、欠陥の箇所の情報とを関連付けて、欠陥特徴量範囲と非欠陥特徴量範囲とを設定する。欠陥特徴量範囲とは、欠陥であると判定する特徴量の数値範囲であり、非欠陥特徴量範囲とは、欠陥でないと判定する特徴量の数値範囲である。すなわち、特徴量範囲設定部24は、予め欠陥の箇所が分かっている対象物Tの学習用原画像を用いて、対象物Tの欠陥判定用の基準となる欠陥特徴量範囲と非欠陥特徴量範囲とを設定する。具体的には、図2に示すように、特徴量範囲設定部24は、特徴量取得部40と、欠陥情報取得部42と、特徴量範囲算出部44とを有する。
欠陥特徴量範囲と非欠陥特徴量範囲とを設定する際、この設定に用いるサンプルとなる対象物Tについて、例えば作業者の検査により、欠陥の箇所を予め検出しておく。この場合の検査は、例えば、従来通りの目視や触診によって行われる。そして、欠陥検出システム1は、原画像作成部10によって、この対象物Tの原画像A1、すなわち学習用原画像を作成しておく。画像処理部22は、この学習用原画像を原画像A1として上述の画像処理を行い、学習用原画像の候補領域P1、欠陥候補領域P2及び欠陥候補抽出領域P3を抽出する。そして、画像処理部22は、学習用原画像の欠陥候補抽出領域P3について、特徴量を算出する。なお、サンプルとなる対象物Tは、実際に欠陥の検出を行う対象物Tと同じ部位の航空機用部品であることが好ましいが、異なる部位の航空機用部品であってもよい。
特徴量取得部40は、画像処理部22が算出した学習用原画像の特徴量と、その特徴量を持つ欠陥候補抽出領域P3の情報(位置情報)を取得する。また、欠陥情報取得部42は、学習用原画像が撮像された対象物Tの欠陥箇所の情報を取得する。欠陥箇所の情報とは、サンプルとなる対象物Tの実物について予め検出されていた欠陥の箇所を示す情報であり、対象物Tのどの位置に欠陥があるかを示す。さらに言えば、欠陥箇所の情報とは、その箇所が実際に欠陥であるか非欠陥であるかを示すラベルの情報に該当する。
特徴量範囲算出部44は、特徴量取得部40が取得した欠陥候補抽出領域P3の位置情報と、欠陥情報取得部42が取得した欠陥箇所の情報とを照合して、抽出された欠陥候補抽出領域P3が実際に欠陥であるかを判定する。画像処理部22が抽出した欠陥候補抽出領域P3は、欠陥の箇所の候補となる領域であるが、実際には欠陥の箇所でない可能性がある。特徴量範囲算出部44は、欠陥箇所の情報により、欠陥候補抽出領域P3が実際に欠陥であるかを判定する。特徴量範囲算出部44は、全ての欠陥候補抽出領域P3について欠陥であるかを判定する。特徴量範囲算出部44は、欠陥であると判定した欠陥候補抽出領域P3の特徴量に基づき、欠陥特徴量範囲を算出する。特徴量範囲算出部44は、欠陥でないと判定した欠陥候補抽出領域P3の特徴量に基づき、非欠陥特徴量範囲を算出する。すなわち、特徴量範囲算出部44は、欠陥箇所の情報により、特徴量がどのような数値範囲にあれば欠陥であるかを、予め学習する(すなわち特徴量に欠陥であるか非欠陥であるかのラベル分けを行う)。なお、学習に用いる対象物Tは、例えば30個以上など、複数であることが好ましい。特徴量範囲算出部44は、学習に用いる全ての対象物Tについて、欠陥候補抽出領域P3が欠陥の箇所であるかを判定し、全ての判定結果を用いて、欠陥特徴量範囲及び非欠陥特徴量範囲を算出する。
以下、欠陥特徴量範囲及び非欠陥特徴量範囲についてより詳細に説明する。以下、欠陥であると判定した欠陥候補抽出領域P3の特徴量を、特徴量D1とし、欠陥でないと判定した欠陥候補抽出領域P3の特徴量を、特徴量D2とする。特徴量範囲算出部44は、複数の欠陥候補抽出領域P3の特徴量D1に基づき、欠陥特徴量範囲E1を算出する。特徴量範囲算出部44は、全ての特徴量D1が欠陥特徴量範囲E1内に収まるように、欠陥特徴量範囲E1を算出する。同様に、特徴量範囲算出部44は、複数の欠陥候補抽出領域P3の特徴量D2に基づき、非欠陥特徴量範囲E2を算出する。特徴量範囲算出部44は、全ての特徴量D2が非欠陥特徴量範囲E2内に収まるように、非欠陥特徴量範囲E2を算出する。より詳しくは、特徴量範囲算出部44は、複数の特徴量D1のうちの最小値と最大値との間の数値範囲に基づき、欠陥特徴量範囲E1を算出し、複数の特徴量D2のうちの最小値と最大値との間の数値範囲に基づき、非欠陥特徴量範囲E2を算出する。例えば、特徴量範囲算出部44は、複数の特徴量D1のうちの最も小さい値(最小値)と最も大きい値(最大値)との間の数値範囲を欠陥特徴量範囲E1としてもよく、その最小値と最大値との間の数値範囲に所定のマージンを加えて範囲を大きくした数値範囲を、欠陥特徴量範囲E1としてもよい。言い換えれば、特徴量範囲算出部44は、特徴量D1同士を結んで全ての特徴量D1が収まる領域を特定し、その領域を欠陥特徴量範囲E1としてもよく、全ての特徴量D1が収まる領域を基準として、その領域から一定の距離だけ大きくなり、かつ線が滑らかに繋がれる領域を、欠陥特徴量範囲E1としてもよい。また、特徴量範囲算出部44は、1つの特徴量D1を基準として、それぞれに対して範囲を設定し、その範囲を全て含む範囲を欠陥特徴量範囲E1としてもよい。非欠陥特徴量範囲E2も、特徴量D1の代わりに特徴量D2を使用する以外は、同様の方法で算出可能である。
図10は、欠陥特徴量範囲と非欠陥特徴量範囲を説明する図である。図10は、ホグ特徴量空間を示すグラフである。更に詳しくは、特徴量としてのホグ特徴量は、次元毎に複数のパラメータ(値)を有する。この場合、特徴量範囲算出部44は、複数の欠陥候補抽出領域P3から同じ次元の特徴量同士を比較して、その中での最大値と最小値との間の数値範囲に基づき、1つの次元における欠陥特徴量範囲E1及び非欠陥特徴量範囲E2を算出する。そして、特徴量範囲算出部44は、全ての次元について欠陥特徴量範囲E1及び非欠陥特徴量範囲E2を算出する。特徴量範囲算出部44は、各次元の欠陥特徴量範囲E1の領域の外周同士を近似線で結んで多次元の閉じた領域を形成し、その閉じた領域を、実際の欠陥特徴量範囲E1として算出する。同様に、特徴量範囲算出部44は、各次元の非欠陥特徴量範囲E2の外周同士を近似線で結んで多次元の閉じた領域を形成し、その閉じた領域を、実際の非欠陥特徴量範囲E2として算出する。なお、図10に示すように、特徴量が取り得る数値範囲のうち、欠陥特徴量範囲E1及び非欠陥特徴量範囲E2のいずれにも収まらない数値が存在する。また、欠陥特徴量範囲と非欠陥特徴量範囲との算出方法は、以上説明した内容に限られず、図10の欠陥特徴量範囲E1及び非欠陥特徴量範囲E2の形状は、一例としたものであり、この形状に限られない。
このように、特徴量範囲設定部24は、学習用原画像を用いて欠陥特徴量範囲と非欠陥特徴量範囲とを設定する。以上説明した欠陥特徴量範囲と非欠陥特徴量範囲との設定処理(特徴量範囲設定ステップ)の流れを、フローチャートに基づき説明する。図11は、欠陥特徴量範囲と非欠陥特徴量範囲との設定処理を説明するフローチャートである。欠陥特徴量範囲と非欠陥特徴量範囲とを設定する際、設定に用いるサンプルとなる対象物Tについて、欠陥の箇所を予め検出しておき、その対象物Tの原画像A1、すなわち学習用原画像を作成しておく。そして、画像処理部22は、この学習用原画像を原画像A1として画像処理を行い、欠陥候補抽出領域P3を抽出し、その特徴量を算出する。そして、図11に示すように、特徴量範囲設定部24は、特徴量取得部40により、学習用原画像の欠陥候補抽出領域P3とその特徴量とを、画像処理部22から取得する(ステップS20)。そして、特徴量範囲設定部24は、欠陥情報取得部42により、予め検出された欠陥の箇所の情報を取得する(ステップS22)。なお、ステップS20とステップS22の処理順序は任意である。
そして、特徴量範囲設定部24は、特徴量範囲算出部44により、欠陥候補抽出領域P3と欠陥の箇所の情報とを照合して、欠陥候補抽出領域P3が欠陥の箇所であるかを判定する(ステップS24)。欠陥の箇所を判定した後、特徴量範囲設定部24は、特徴量範囲算出部44により、欠陥特徴量範囲と非欠陥特徴量範囲とを設定する(ステップS26)。これにより、本処理は終了する。なお、本実施形態では、特徴量範囲算出部44が、欠陥候補抽出領域P3が欠陥の箇所であるかを判定していた。しかし、特徴量範囲設定部24は、欠陥候補抽出領域P3が欠陥の箇所であるかの情報を取得するものであれば、自身で判定することに限られない。例えば、作業者が、欠陥候補抽出画像A3(図8を参照)を表示部14に表示させ、欠陥の箇所の情報を参照しながら欠陥候補抽出領域P3が欠陥の箇所であるかを判定してもよい。そして、作業者がこの判定結果を入力し、特徴量範囲設定部24は、この判定結果を取得すればよい。
(欠陥検出部について)
次に、図2に示す欠陥検出部26について説明する。欠陥検出部26は、判定用原画像に対して画像処理部22が算出した特徴量と、欠陥特徴量範囲E1と、非欠陥特徴量範囲E2とに基づき、人工知能を用いたアルゴリズムにより、判定用原画像内の欠陥候補抽出領域P3が欠陥の箇所であるかを判定する。すなわち、欠陥検出部26は、特徴量範囲設定部24の学習により算出された欠陥特徴量範囲E1と非欠陥特徴量範囲E2とを用いて、対象物Tの欠陥の箇所を検出する。具体的には、図2に示すように、欠陥検出部26は、特徴量取得部50と、特徴量範囲取得部52と、欠陥判定部54とを有する。
欠陥の箇所を検出する際、欠陥検出システム1は、原画像作成部10によって、検出の対象となる対象物Tの原画像A1、すなわち判定用原画像を作成しておく。そして、欠陥検出システム1は、画像処理部22により、この判定用原画像を原画像A1として上述の画像処理を行い、判定画像の候補領域P1、欠陥候補領域P2及び欠陥候補抽出領域P3を抽出する。そして、画像処理部22は、判定画像の欠陥候補抽出領域P3について、特徴量を算出する。
特徴量取得部50は、画像処理部22が算出した判定画像における欠陥候補抽出領域P3の特徴量と、その特徴量を持つ欠陥候補抽出領域P3の情報(位置情報)とを取得する。位置情報とは、その欠陥候補抽出領域P3が、画像内のどの位置を占めているかの情報を指す。以下、画像処理部22が算出した判定画像の特徴量を、判定用特徴量と記載する。また、特徴量範囲取得部52は、特徴量範囲設定部24から、欠陥特徴量範囲E1と非欠陥特徴量範囲E2との情報を取得する。
欠陥判定部54は、判定用特徴量と、欠陥特徴量範囲E1と、非欠陥特徴量範囲E2とに基づき、判定用原画像内の欠陥候補抽出領域P3が欠陥の箇所であるかを判定する。欠陥判定部54は、欠陥差分値X1と非欠陥差分値X2とに基づき、欠陥候補領域P2が欠陥の箇所であるかを判定する。欠陥差分値X1とは、判定用特徴量と欠陥特徴量範囲E1との間の差分値であり、非欠陥差分値X2とは、判定用特徴量と非欠陥特徴量範囲E2との間の差分値である。さらに詳しくは、欠陥判定部54は、非欠陥差分値X2に対する欠陥差分値X1の比率が、所定の閾値K以下となる場合、欠陥候補抽出領域P3が、欠陥の箇所であると判定する。閾値Kは、予め設定された係数であり、任意の値に設定可能であるが、1より大きな値であることが好ましい。これにより、欠陥判定部54は、欠陥と判定する可能性を高くして、欠陥を未検出となるおそれを低減することができる。欠陥判定部54は、判定画像内の全ての欠陥候補抽出領域P3に対して、欠陥の箇所であるかを判定する。欠陥判定部54は、閾値Kを、全ての欠陥候補抽出領域P3に対して共通の同じ値とする。なお、欠陥判定部54は、欠陥と判定するための閾値を設定し、判定用特徴量と、欠陥特徴量範囲E1と、非欠陥特徴量範囲E2と、その閾値とに基づき、欠陥判定を行うものであればよく、非欠陥差分値X2に対する欠陥差分値X1の比率に対する閾値Kを設定することに限られない。この場合であっても、欠陥判定部54は、設定する閾値を、欠陥でないと判定するよりも欠陥であると判定する可能性が高くなるように、閾値を設定することが望ましい。
図12は、欠陥判定を説明する図である。図12は、ホグ特徴量空間を示すグラフである。図12の判定用特徴量F1、F2、F3、F4は、互いに異なる欠陥候補抽出領域P3の判定用特徴量の一例である。判定用特徴量F1は、欠陥特徴量範囲E1内に収まる値なので、欠陥判定部54は、判定用特徴量F1に対応する欠陥候補抽出領域P3を欠陥の箇所であると判定する。判定用特徴量F2は、非欠陥特徴量範囲E2内に収まる値なので、欠陥判定部54は、判定用特徴量F2に対応する欠陥候補抽出領域P3を欠陥の箇所でないと判定する。また、判定用特徴量F3は、欠陥特徴量範囲E1及び非欠陥特徴量範囲E2の範囲外である。ただし、判定用特徴量F3において、非欠陥差分値X2に対する欠陥差分値X1の比率は、閾値K以下の値となる。従って、欠陥判定部54は、判定用特徴量F3に対応する欠陥候補抽出領域P3を欠陥の箇所であると判定する。また、判定用特徴量F4も、欠陥特徴量範囲E1及び非欠陥特徴量範囲E2の範囲外である。ただし、判定用特徴量F4において、非欠陥差分値X2に対する欠陥差分値X1の比率は、閾値Kより大きい値となる。従って、欠陥判定部54は、判定用特徴量F4に対応する欠陥候補抽出領域P3を欠陥の箇所でないと判定する。なお、図12の例では、欠陥差分値X1を、判定用特徴量と欠陥特徴量範囲E1との差分の最小値(最小の距離)、すなわち判定用特徴量に最も近い欠陥特徴量範囲E1と判定用特徴量との差分値としている。ただし、欠陥差分値X1は、これに限られず、欠陥特徴量範囲E1の範囲内の任意の値と判定用特徴量との差分値であればよい。例えば、欠陥差分値X1は、判定用特徴量と欠陥特徴量範囲E1の中央値との差分であってもよい。非欠陥差分値X2も、同様である。
このように、欠陥検出部26は、判定用特徴量を欠陥特徴量範囲と非欠陥特徴量範囲とに照合して、判定用原画像の欠陥候補抽出領域P3が、欠陥の箇所であるかを判定する。以上説明した欠陥の判定処理(欠陥検出ステップ)の流れを、フローチャートに基づき説明する。図13は、欠陥検出の処理を説明するフローチャートである。欠陥を検出する際、欠陥検出システム1は、原画像作成部10によって、欠陥を検出する対象物Tの原画像A1、すなわち判定用原画像を作成しておく。そして、欠陥検出システム1は、画像処理部22によって判定用原画像の画像処理を行い、欠陥候補抽出領域P3を抽出し、その特徴量を算出する。そして、図13に示すように、欠陥検出部26は、特徴量取得部50により、判定用原画像の特徴量(判定用特徴量)を画像処理部22から取得し(ステップS30)、特徴量範囲取得部52により、特徴量範囲設定部24から、欠陥特徴量範囲E1と非欠陥特徴量範囲E2との情報を取得する(ステップS32)。
そして、欠陥検出部26は、欠陥判定部54により、判定用原画像の欠陥候補抽出領域P3の欠陥差分値X1と非欠陥差分値X2とを算出する(ステップS34)。欠陥差分値X1と非欠陥差分値X2とを算出した後、欠陥検出部26は、欠陥判定部54により、非欠陥差分値X2に対する欠陥差分値X1の比率が、閾値K以下であるかを判定する(ステップS36)。比率が閾値K以下である場合(ステップS36;Yes)、欠陥判定部54は、その欠陥候補抽出領域P3が欠陥の箇所であると判定する(ステップS38)。また、比率が閾値K以下でない(ステップS36;No)、すなわち比率が閾値Kより大きい場合、欠陥判定部54は、その欠陥候補抽出領域P3が欠陥の箇所でないと判定する(ステップS40)。欠陥判定部54は、全ての欠陥候補抽出領域P3についてこれらの処理を行って、それぞれが欠陥の箇所であるかを判定する。これにより、本処理は終了する。
(判定結果表示について)
欠陥候補抽出領域P3が欠陥の箇所であるかの判定を行った後、図2に示す画像表示制御部28は、その判定結果を示す画像である判定画像A4を表示部14に表示させる。図14は、判定画像の一例を示す図である。図14に示すように、判定画像A4は、原画像A1に対し目印Mを加えた画像である。目印Mは、原画像A1内において、欠陥検出部26が欠陥の箇所であると判定した箇所に表示されるマークである。具体的には、判定画像A4は、原画像A1に表示されている箇所B1からB5が表示されている。また、判定画像A4は、箇所B3からB5の周囲に、目印Mが表示されている。箇所B1は、円形であるため欠陥候補領域P2から除外された領域である。また、箇所B2は、欠陥差分値X1と非欠陥差分値X2との差分が閾値K以下でなく、欠陥の箇所でないと判定された領域である。従って、箇所B1及び箇所B2には、目印Mが表示されていない。
より詳しくは、目印Mは、欠陥の箇所であると判定された欠陥候補抽出領域P3毎に表示される。箇所B2及び箇所B5は、1つの欠陥候補抽出領域P3のみを有しているので、目印Mは、それぞれ1つ表示されている。一方、箇所B3及び箇所B4は、複数の欠陥候補抽出領域P3を有しているので、目印Mは、欠陥候補抽出領域P3の個数分、複数個が表示されている。目印Mは、円を形成する枠線からなる円形のマークである。目印Mは、欠陥の箇所であると判定された欠陥候補抽出領域P3を、この円形の枠線で囲うように表示される。この枠線で囲われた領域は、例えば1つの欠陥候補領域P3に対し所定の面積であることが好ましい。目印Mは、この外周となる枠線の内部の領域には表示されないため、枠線の内側の欠陥の箇所は、視認可能となっている。ただし、目印Mは、これに限られず、矩形など任意の形状であってもよい。また、画像表示制御部28は、目印Mの表示が、非欠陥差分値X2に対する欠陥差分値X1の比率に応じて異なるように、判定画像A4を表示させる。すなわち、画像表示制御部28は、比率が異なる欠陥候補抽出領域P3に対しては、目印Mの表示を変化させる。図14の例では、画像表示制御部28は、非欠陥差分値X2に対する欠陥差分値X1の比率に応じて、目印Mの外周の枠線の色を変化させる。これにより、作業者は、比率が高く、より欠陥の可能性が高い箇所を、より好適に視認することが可能となる。
図15は、判定画像の他の例を示す図である。画像表示制御部28は、図15に示すように、複数の目印Mが重畳する場合、その重畳した目印Mの表示を、重畳していない目印Mの表示とは異ならせてもよい。図15の例では、箇所B3の欠陥候補抽出領域P3に対して表示される目印M1は、互いに重畳している。同様に、箇所B4の欠陥候補抽出領域P3に対して表示される目印M1も、互いに重畳している。画像表示制御部28は、この重畳している目印M1の内側の領域に所定の色を表示させる。この色は任意であるが、その領域に表示される欠陥の箇所が視認できるよう、半透明の色(可視光を処理の比率で透過可能な色)であることが好ましい。また、図15の例では、箇所B2及びB5に対して表示される目印M2は、他の目印と重畳しない。従って、目印M2の内側の領域は、所定の色が表示されない。ただし、重畳した目印Mの表示は、重畳していない目印Mの表示と異なるものであれば、これに限られず任意である。
以上説明したように、本実施形態に係る欠陥検出システム1は、対象物Tである航空機用部品の欠陥を検出するシステムであり、原画像取得部20と、画像処理部22と、特徴量範囲設定部24と、欠陥検出部26とを有する。原画像取得部20は、原画像A1を取得する。原画像A1は、欠陥の箇所の画像を含む対象物Tの画像である。画像処理部22は、原画像A1内の画像の輝度に基づき、欠陥の箇所の候補となる領域である欠陥候補領域P2を、原画像A1内から抽出する。画像処理部22は、欠陥候補抽出領域P3内の(欠陥候補領域P2とその周囲の領域との)輝度の差分に基づき、欠陥候補領域P2の特徴量を算出する。特徴量範囲設定部24は、学習用原画像に対して画像処理部22が算出した特徴量と、欠陥の箇所の情報とを関連付けて、欠陥特徴量範囲E1と非欠陥特徴量範囲E2とを設定する。学習用原画像は、欠陥の箇所が予め検出されている原画像A1である。欠陥特徴量範囲E1は、欠陥であると判定する特徴量の範囲であり、非欠陥特徴量範囲E2は、欠陥でないと判定する特徴量の範囲である。欠陥検出部26は、判定用原画像に対して画像処理部22が算出した特徴量と、欠陥特徴量範囲E1と、非欠陥特徴量範囲E2とに基づき、判定用原画像内の欠陥候補領域が欠陥の箇所であるかを判定する。判定用原画像は、欠陥の箇所が未検出の原画像A1である。
この欠陥検出システム1は、画像処理部22が、原画像A1に画像処理を加えて、欠陥の候補となる欠陥候補領域P2を抽出する。そして、画像処理部22は、欠陥候補領域P2の輝度強度のパラメータである特徴量を算出する。すなわち、画像処理部22は、特徴量を算出する対象を、欠陥候補領域P2だけに制限する。特徴量範囲設定部24は、学習用原画像から抽出された欠陥候補領域P2の特徴量に基づき、欠陥特徴量範囲と非欠陥特徴量範囲とを設定する。すなわち、特徴量範囲設定部24は、どのような特徴量である場合に欠陥となるかの基準を予め設定する。そして、欠陥検出部26は、判定用原画像から抽出された欠陥候補領域P2の特徴量を、この基準(欠陥特徴量範囲及び非欠陥特徴量範囲)と比較することで、判定用原画像から抽出された欠陥候補領域P2が欠陥の箇所であるかを検出する。この欠陥検出システム1は、原画像A1の特徴量に基づき欠陥を検出するため、検出精度のばらつきを抑制することができる。また、この欠陥検出システム1は、学習用原画像を用いて、欠陥の基準となる特徴量の範囲(欠陥特徴量範囲及び非欠陥特徴量範囲)を、予め学習している。欠陥検出システム1は、この特徴量の範囲に基づき、欠陥を検出しているため、検出精度を向上させることが可能となる。また、この欠陥検出システム1は、欠陥であるかを判定するためのパラメータを特徴量としており、この特徴量を算出する対象を、欠陥候補領域P2だけに制限する。従って、この欠陥検出システム1は、欠陥検出の計算が多くなり過ぎることを抑制し、欠陥検出の負担を抑制することで、検出時間を短くすることができる。このように、この欠陥検出システム1は、航空機用部品の欠陥を適切に検出することが可能となる。
また、画像処理部22は、候補領域抽出部30と、欠陥候補領域抽出部32と、特徴量算出部34とを有する。候補領域抽出部30は、原画像A1内の領域のうち、その領域と周囲の領域との輝度の分散が所定の分散値以上となる領域を、欠陥の候補領域P1として抽出する。欠陥候補領域抽出部32は、候補領域P1のうち、あらかじめ定めた所定の形状となる候補領域P1を除去し、除去しなかった候補領域P1を、欠陥候補領域P2として抽出する。特徴量算出部34は、欠陥候補領域P2とその周囲の領域との輝度の差分に基づき、欠陥候補領域P2の特徴量を算出する。この画像処理部22は、周囲の輝度との分散が大きい領域を、候補領域P1として抽出する。分散が大きい領域は、周囲との輝度の差が大きい領域といえるため、画像処理部22は、輝度の差が大きく欠陥の可能性が高い領域のみを、特徴量を算出するための候補領域P1として抽出する。そして、画像処理部22は、対象物Tにおいて例えばリベットなどの部材が設けられた領域を、欠陥ではないとして、特徴量を算出するための欠陥候補領域P2から除外する。これにより、欠陥検出システム1は、欠陥検出の計算が多くなり過ぎることをより好適に抑制し、航空機用部品の欠陥をより適切に検出することが可能となる。
また、欠陥候補領域抽出部32は、ハフ変換を用いて、複数の候補領域P1が連続することで円形を構成するかを判定し、円形を構成する候補領域P1を除去する。航空機用の部品には、リベットなど円形の部材が取り付けられていることが多い。欠陥検出システム1は、円形を構成する領域を欠陥でないとして除外することで、欠陥検出の計算が多くなり過ぎることをより好適に抑制し、航空機用部品の欠陥をより適切に検出することが可能となる。
また、特徴量算出部34は、欠陥候補抽出領域P3内(欠陥候補領域P2及びその周囲の領域)における輝度の変化量として、特徴量を算出する。この欠陥検出システム1は、周囲における輝度の変化量を特徴量として、その特徴量に基づいて欠陥であるかの判定を行う。欠陥の箇所は、周囲の輝度の変化量が大きくなる。従って、この欠陥検出システム1は、この特徴量に基づき欠陥の判定を行うことで、欠陥検出の精度を適切に向上させることができる。
また、特徴量算出部34は、欠陥候補領域P2及びその周囲の領域から算出されたホグ特徴量を、特徴量として算出する。この欠陥検出システム1は、ホグ特徴量を特徴量としているため、周囲における輝度の変化量を、輝度勾配(変化量)の方向毎に特定して、欠陥であるかの判定を行うことができる。従って、この欠陥検出システム1は、欠陥検出の精度をより適切に向上させることができる。
また、欠陥検出部26は、特徴量取得部50と、欠陥判定部54とを有する。特徴量取得部50は、判定用原画像の特徴量である判定用特徴量を取得する。欠陥判定部54は、欠陥差分値X1及び非欠陥差分値X2に基づき、欠陥候補領域P2が欠陥の箇所であるかを判定する。欠陥差分値X1は、判定用特徴量と欠陥特徴量範囲との間の差分値である。非欠陥差分値X2は、判定用特徴量と非欠陥特徴量範囲との間の差分値である。この欠陥検出システム1は、予め算出した欠陥であるかの基準値(欠陥特徴量範囲)に対する判定用特徴量の差分値に基づき欠陥であるかを判定するため、欠陥検出の精度をより適切に向上させることができる。
また、欠陥判定部54は、非欠陥差分値X2に対する欠陥差分値X1の比率が、所定の閾値K以下となる場合、欠陥候補領域P2が欠陥の箇所であると判定する。この欠陥検出システム1は、非欠陥差分値X2に対する欠陥差分値X1の比率に基づき欠陥の判定を行っているため、欠陥検出の精度をより適切に向上させることができる。例えば、欠陥検出システム1は、判定用特徴量が欠陥特徴量範囲及び非欠陥特徴量範囲の両方の範囲外であっても、比率に基づき欠陥であると判定することで、その判定用特徴量を有する欠陥候補領域P2が欠陥の箇所であるかを適切に判定することができる。
また、所定の閾値Kは、1より大きい値である。通常、欠陥の箇所は、欠陥でない箇所よりも数が少ない。従って、学習に用いる学習用原画像においても、欠陥として判定される欠陥候補領域P2の数は、欠陥でないとされる欠陥候補領域P2の数よりも少ない。そのため、欠陥特徴量範囲の方が、非欠陥特徴量範囲よりも数値範囲が狭くなる傾向がある。これに対し、欠陥検出システム1は、閾値Kを1より大きくすることで、欠陥の検出の際に、欠陥であると判定される可能性を高くして、欠陥検出の精度をより適切に向上させる。
また、欠陥検出システム1は、画像表示制御部28を更に有する。画像表示制御部28は、判定画像A4を表示部14に表示させる.判定画像A4は、原画像A1に対して、目印Mを加えた画像である。目印Mは、原画像A1内の、欠陥検出部26が欠陥の箇所であると判定した箇所に表示される。この欠陥検出システム1は、欠陥と判定された箇所に目印Mを加えた画像を表示することで、作業者が欠陥の箇所を容易に視認することが可能となる。
また、画像表示制御部28は、目印Mの表示が、非欠陥差分値X2に対する欠陥差分値X1の比率に応じて異なるように、判定画像A4を表示させる。非欠陥差分値X2に対する欠陥差分値X1の比率が高い箇所は、欠陥である可能性が高い。画像表示制御部28は、比率に応じて目印Mの表示を変化させることで、欠陥である可能性が高い箇所を、作業者が容易に視認させることが可能となる。
また、欠陥検出システム1は、原画像A1を作成する原画像作成部10を有する。本実施形態において、原画像作成部10は、対象物Tの表面T1を撮像して原画像A1を作成する。欠陥検出システム1は、この原画像A1を用いて欠陥検出を行うことで、対象物Tの表面T1の欠陥を、適切に検出することが可能となる。
ただし、欠陥検出システム1は、対象物Tの表面T1の欠陥だけでなく、対象物Tの内部の欠陥についても検出可能である。この場合、原画像作成部10は、対象物Tの内部状態(内部の不連続性)を検出して、その検出データに基づき原画像A1を作成する。これにより、欠陥検出システム1は、対象物Tの内部の欠陥を適切に検出することが可能となる。例えば、原画像作成部10は、超音波探傷器を有し、射出位置を変更させながら、対象物Tに超音波を射出する。原画像作成部10は、各位置における反射波を測定する。原画像作成部10は、この反射波の強度分布毎に輝度を変化させて位置ごとに2次元マトリクス状にプロットした画像を、原画像A1として作成する。この原画像A1は、対象物Tの内部の欠陥の箇所を含む2次元画像となる。なお、この場合、原画像作成部10は、反射波を取得するものであり、制御部12が、その反射波に基づいて原画像を作成するものであってもよい。
対象物Tの内部の欠陥の箇所を含む原画像を用いた場合でも、画像処理などの制御部12による制御は、表面T1を撮像した原画像と同じである。この原画像を用いた場合、欠陥検出システム1は、内部欠陥を適切に検出することが可能となる。なお、対象物Tの内部状態を検出する際は、超音波探傷に限られず、例えば浸透探傷検査など、任意の非破壊検査の方法が適用可能である。このように、欠陥検出システム1は、表面の欠陥を用いた原画像を用いることで、表面の欠陥を検出し、内部の欠陥を用いた原画像を用いることで、内部の欠陥を検出することが可能となる。
(第2実施形態)
次に、第2実施形態について説明する。第2実施形態に係る欠陥検出システム1は、正誤教示部60を有する点で、第1実施形態とは異なる。第2実施形態において第1実施形態と共通する箇所は、説明を省略する。
図16は、第2実施形態に係る制御部の模式的なブロック図である。図16に示すように、第2実施形態に係る制御部12Aは、正誤教示部60を有する。正誤教示部60は、欠陥が未検出だった対象物Tに対する欠陥検出部26の検出結果を、その対象物Tに対して他の検査で検出された欠陥の検出結果と照合する。正誤教示部60は、その照合の結果、すなわち欠陥検出部26の検出結果の正誤を、特徴量範囲設定部24に伝達(教示)する。特徴量範囲設定部24は、その正誤の情報に基づき、欠陥特徴量範囲と非欠陥特徴量範囲とを設定し直す。
具体的には、正誤教示部60は、欠陥が未検出だった対象物Tの欠陥の箇所の検出結果(欠陥の箇所の位置情報)を、欠陥検出部26から取得する。そしてその際、他の検査によって、その対象物Tに対して欠陥の箇所の検出が行われる。この他の検査は、例えば作業者によって行われるものであり、例えば従来通りの目視や触診によって行われる。作業者は、この欠陥の箇所の検出結果(欠陥の箇所の位置情報)を、入力部16によって制御部12Aに入力する。正誤教示部60は、この欠陥の箇所の検出結果を取得する。
ここで、欠陥検出部26から取得した欠陥の箇所の検出結果、すなわち欠陥検出部26が検出した欠陥の箇所の位置情報を、欠陥検出位置とする。そして、他の検査から取得した欠陥の箇所の検出結果、すなわち他の検査で検出された欠陥の箇所の位置情報を、欠陥確認位置とする。正誤教示部60は、欠陥検出位置を欠陥確認位置に照合して、欠陥検出位置が、実際に欠陥の箇所であるかを判定する。正誤教示部60は、欠陥検出位置が欠陥確認位置に一致する場合、その欠陥検出位置が実際の欠陥の箇所であると判定する。また、正誤教示部60は、欠陥検出位置が欠陥確認位置に一致しない場合、その欠陥検出位置が実際の欠陥の箇所でないと判定する。以下、実際の欠陥の箇所でないとされた欠陥検出位置を、非欠陥位置とする。また、正誤教示部60は、欠陥確認位置に該当する位置に欠陥検出位置が無い場合、すなわち、他の検査では欠陥の箇所であるとされた位置を、欠陥検出部26が欠陥の箇所であると判定していない場合、その欠陥確認位置の情報を記憶する。以下、欠陥検出部26が欠陥の箇所であると判定していない欠陥確認位置を、追加欠陥位置とする。
正誤教示部60は、非欠陥位置と追加欠陥位置との情報を、画像処理部22に出力する。画像処理部22は、特徴量算出部34により、この非欠陥位置及び追加欠陥位置に対応する領域の特徴量を算出する。以下、非欠陥位置の特徴量を、非欠陥特徴量とし、追加欠陥位置の特徴量を、追加欠陥特徴量とする。特徴量範囲設定部24は、特徴量取得部40により、この非欠陥特徴量と追加欠陥特徴量とを取得する。そして、特徴量範囲設定部24は、特徴量範囲算出部44により、非欠陥特徴量と追加欠陥特徴量とに基づき、欠陥特徴量範囲及び非欠陥特徴量範囲を再設定する。具体的には、特徴量範囲算出部44は、学習用原画像で欠陥であると判定した特徴量D1に加えて、追加欠陥特徴量にも基づき、欠陥特徴量範囲E1を算出する。すなわち、特徴量範囲算出部44は、特徴量D1及び追加欠陥特徴量が欠陥特徴量範囲E1内に収まるように、欠陥特徴量範囲E1を再算出する。同様に、特徴量範囲算出部44は、学習用原画像で欠陥でないと判定した特徴量D2に加えて、非欠陥特徴量にも基づき、非欠陥特徴量範囲E2を算出する。すなわち、特徴量範囲算出部44は、特徴量D2及び非欠陥特徴量が非欠陥特徴量範囲E2内に収まるように、非欠陥特徴量範囲E2を再算出する。
欠陥検出部26は、この新たに算出し直された欠陥特徴量範囲E1及び非欠陥特徴量範囲E2を用いて、以降の欠陥検出を行う。この際、欠陥検出部26は、正誤教示部60の結果によらず、閾値Kの値は変更せず同じ値のままとする。
このように、第2実施形態において、正誤教示部60は、欠陥検出部26からの欠陥の箇所の検出結果を、同じ対象物Tに対して行われた他の検査による欠陥の箇所の検出結果に照合する。正誤教示部60は、欠陥検出部26からの欠陥の箇所の検出結果と他の検査による欠陥の箇所の検出結果とが一致しない位置(非欠陥位置と追加欠陥位置)を検出する。画像処理部22は、この位置の特徴量を算出する。欠陥検出部26は、この算出された特徴量に基づき、欠陥特徴量範囲E1及び非欠陥特徴量範囲E2を再設定する。欠陥検出部26は、この新たに算出し直された欠陥特徴量範囲E1及び非欠陥特徴量範囲E2を用いて、以降の欠陥検出を行う。第2実施形態に係る欠陥検出システム1は、このように、正誤教示部60の教示結果(非欠陥位置と追加欠陥位置との情報)により、欠陥特徴量範囲E1及び非欠陥特徴量範囲E2を更新する。これにより、欠陥検出システム1は、欠陥検出の精度をより向上させることが可能となる。
以上、本発明の実施形態を説明したが、この実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
1 欠陥検出システム
10 原画像作成部
12 制御部
14 表示部
16 入力部
20 原画像取得部
22 画像処理部
24 特徴量範囲設定部
26 欠陥検出部
28 画像表示制御部
30 候補領域抽出部
32 欠陥候補領域抽出部
34 特徴量算出部
40 特徴量取得部
44 特徴量範囲算出部
50 特徴量取得部
52 特徴量範囲取得部
54 欠陥判定部
A1 原画像
T 対象物
P 画素
P1 候補領域
P2 欠陥候補領域
P3 欠陥候補抽出領域

Claims (14)

  1. 対象物である航空機用部品の欠陥を検出する航空機用部品の欠陥検出システムであって、
    欠陥の箇所の画像を含む前記対象物の画像である原画像を取得する原画像取得部と、
    前記原画像内の画像の輝度に基づき、前記欠陥の箇所の候補となる領域である欠陥候補領域を前記原画像内から抽出し、前記欠陥候補領域とその周囲の領域との輝度の差分に基づき、前記欠陥候補領域の特徴量を算出する画像処理部と、
    前記欠陥の箇所が予め検出されている学習用原画像に対して前記画像処理部が算出した前記特徴量と、前記欠陥の箇所の情報とを関連付けて、欠陥であると判定する前記特徴量の範囲である欠陥特徴量範囲と、欠陥でないと判定する前記特徴量の範囲である非欠陥特徴量範囲とを設定する特徴量範囲設定部と、
    前記欠陥の箇所が未検出の判定用原画像に対して前記画像処理部が算出した前記特徴量と、前記欠陥特徴量範囲と、前記非欠陥特徴量範囲とに基づき、前記判定用原画像内の前記欠陥候補領域が前記欠陥の箇所であるかを判定する欠陥検出部と、
    を有し、
    前記欠陥検出部は、
    前記判定用原画像の前記特徴量である判定用特徴量を取得する特徴量取得部と、
    前記特徴量範囲設定部から前記欠陥特徴量範囲及び前記非欠陥特徴量範囲を取得する特徴量範囲取得部と、
    前記判定用特徴量と前記欠陥特徴量範囲との間の差分値である欠陥差分値、及び、前記判定用特徴量と前記非欠陥特徴量範囲との間の差分値である非欠陥差分値に基づき、前記欠陥候補領域が、前記欠陥の箇所であるかを判定する欠陥判定部とを有する、航空機用部品の欠陥検出システム。
  2. 対象物である航空機用部品の欠陥を検出する航空機用部品の欠陥検出システムであって、
    欠陥の箇所の画像を含む前記対象物の画像である原画像を取得する原画像取得部と、
    前記原画像内の画像の輝度に基づき、前記欠陥の箇所の候補となる領域である欠陥候補領域を前記原画像内から抽出し、前記欠陥候補領域とその周囲の領域との輝度の差分に基づき、前記欠陥候補領域の特徴量を算出する画像処理部と、
    前記欠陥の箇所が予め検出されている学習用原画像に対して前記画像処理部が算出した前記特徴量と、前記欠陥の箇所の情報とを関連付けて、欠陥であると判定する前記特徴量の範囲である欠陥特徴量範囲と、欠陥でないと判定する前記特徴量の範囲である非欠陥特徴量範囲とを設定する特徴量範囲設定部と、
    前記欠陥の箇所が未検出の判定用原画像に対して前記画像処理部が算出した前記特徴量と、前記欠陥特徴量範囲と、前記非欠陥特徴量範囲とに基づき、前記判定用原画像内の前記欠陥候補領域が前記欠陥の箇所であるかを判定する欠陥検出部と、
    を有し、
    前記画像処理部は、
    前記原画像内の領域のうち、その領域と周囲の領域との輝度の分散が所定の分散値以上となる領域を、前記欠陥の候補領域として抽出する候補領域抽出部と、
    前記候補領域のうち、あらかじめ定めた所定の形状となる前記候補領域を除去し、除去しなかった前記候補領域を、前記欠陥候補領域として抽出する欠陥候補領域抽出部と、
    前記欠陥候補領域とその周囲の領域との輝度の差分に基づき、前記欠陥候補領域の特徴量を算出する特徴量算出部と、を有する、航空機用部品の欠陥検出システム。
  3. 前記欠陥候補領域抽出部は、ハフ変換を用いて、複数の前記候補領域が連続することで円形を構成するかを判定し、前記円形を構成する候補領域を除去する、請求項2に記載の航空機用部品の欠陥検出システム。
  4. 前記特徴量算出部は、欠陥候補領域及びその周囲の領域における輝度の変化量として、前記特徴量を算出する、請求項2又は請求項3に記載の航空機用部品の欠陥検出システム。
  5. 前記特徴量算出部は、前記欠陥候補領域のホグ特徴量を、前記特徴量として算出する、請求項4に記載の航空機用部品の欠陥検出システム。
  6. 前記欠陥検出部は、
    前記判定用原画像の前記特徴量である判定用特徴量を取得する特徴量取得部と、
    前記特徴量範囲設定部から前記欠陥特徴量範囲及び前記非欠陥特徴量範囲を取得する特徴量範囲取得部と、
    前記判定用特徴量と前記欠陥特徴量範囲との間の差分値である欠陥差分値、及び、前記判定用特徴量と前記非欠陥特徴量範囲との間の差分値である非欠陥差分値に基づき、前記欠陥候補領域が、前記欠陥の箇所であるかを判定する欠陥判定部とを有する、請求項2から請求項5のいずれか1項に記載の航空機用部品の欠陥検出システム。
  7. 前記欠陥判定部は、前記非欠陥差分値に対する前記欠陥差分値の比率が、所定の閾値以下となる場合、前記欠陥候補領域が、前記欠陥の箇所であると判定する、請求項1又は請求項6に記載の航空機用部品の欠陥検出システム。
  8. 前記所定の閾値は、1より大きい値である、請求項7に記載の航空機用部品の欠陥検出システム。
  9. 前記原画像に対し、前記欠陥検出部が前記欠陥の箇所であると判定した箇所に目印を加えた判定画像を、表示部に表示させる画像表示制御部を更に有する、請求項1又は請求項5から請求項8のいずれか1項に記載の航空機用部品の欠陥検出システム。
  10. 前記画像表示制御部は、前記目印の表示が、前記非欠陥差分値に対する前記欠陥差分値の比率に応じて異なるように、前記判定画像を表示させる、請求項9に記載の航空機用部品の欠陥検出システム。
  11. 前記対象物の表面を撮像して前記原画像を作成する原画像作成部を更に有する、請求項1から請求項10のいずれか1項に記載の航空機用部品の欠陥検出システム。
  12. 前記対象物の内部状態を検出して、その検出データに基づき前記原画像を作成する原画像作成部を更に有する、請求項1から請求項10のいずれか1項に記載の航空機用部品の欠陥検出システム。
  13. 対象物である航空機用部品の欠陥を検出する航空機用部品の欠陥検出方法であって、
    欠陥の箇所の画像を含む前記対象物の画像である原画像を取得する原画像取得ステップと、
    前記原画像内の画像の輝度に基づき、前記欠陥の箇所の候補となる領域である欠陥候補領域を前記原画像内から抽出し、前記欠陥候補領域とその周囲の領域との輝度の差分に基づき、前記欠陥候補領域の特徴量を算出する画像処理ステップと、
    前記欠陥の箇所が予め検出されている学習用原画像に対して前記画像処理ステップで算出した前記特徴量と、前記欠陥の箇所の情報とを関連付けて、欠陥であると判定する前記特徴量の範囲である欠陥特徴量範囲と、欠陥でないと判定する前記特徴量の範囲である非欠陥特徴量範囲とを設定する特徴量範囲設定ステップと、
    前記欠陥の箇所が未検出の判定用原画像に対して前記画像処理ステップで算出した前記特徴量と、前記欠陥特徴量範囲と、前記非欠陥特徴量範囲とに基づき、前記特徴量に対応する前記欠陥候補領域が前記欠陥の箇所であるかを判定する欠陥検出ステップと、
    を有し、
    前記欠陥検出ステップは、
    前記判定用原画像の前記特徴量である判定用特徴量を取得し、
    前記特徴量範囲設定ステップで設定した前記欠陥特徴量範囲及び前記非欠陥特徴量範囲を取得し、
    前記判定用特徴量と前記欠陥特徴量範囲との間の差分値である欠陥差分値、及び、前記判定用特徴量と前記非欠陥特徴量範囲との間の差分値である非欠陥差分値に基づき、前記欠陥候補領域が、前記欠陥の箇所であるかを判定する航空機用部品の欠陥検出方法。
  14. 対象物である航空機用部品の欠陥を検出する航空機用部品の欠陥検出方法であって、
    欠陥の箇所の画像を含む前記対象物の画像である原画像を取得する原画像取得ステップと、
    前記原画像内の画像の輝度に基づき、前記欠陥の箇所の候補となる領域である欠陥候補領域を前記原画像内から抽出し、前記欠陥候補領域とその周囲の領域との輝度の差分に基づき、前記欠陥候補領域の特徴量を算出する画像処理ステップと、
    前記欠陥の箇所が予め検出されている学習用原画像に対して前記画像処理ステップで算出した前記特徴量と、前記欠陥の箇所の情報とを関連付けて、欠陥であると判定する前記特徴量の範囲である欠陥特徴量範囲と、欠陥でないと判定する前記特徴量の範囲である非欠陥特徴量範囲とを設定する特徴量範囲設定ステップと、
    前記欠陥の箇所が未検出の判定用原画像に対して前記画像処理ステップで算出した前記特徴量と、前記欠陥特徴量範囲と、前記非欠陥特徴量範囲とに基づき、前記特徴量に対応する前記欠陥候補領域が前記欠陥の箇所であるかを判定する欠陥検出ステップと、
    を有し、
    前記画像処理ステップは、
    前記原画像内の領域のうち、その領域と周囲の領域との輝度の分散が所定の分散値以上となる領域を、前記欠陥の候補領域として抽出し、
    前記候補領域のうち、あらかじめ定めた所定の形状となる前記候補領域を除去し、除去しなかった前記候補領域を、前記欠陥候補領域として抽出し、
    前記欠陥候補領域とその周囲の領域との輝度の差分に基づき、前記欠陥候補領域の特徴量を算出する航空機用部品の欠陥検出方法。
JP2019508540A 2017-03-27 2017-11-01 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法 Expired - Fee Related JP6786035B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017061591 2017-03-27
JP2017061591 2017-03-27
PCT/JP2017/039558 WO2018179559A1 (ja) 2017-03-27 2017-11-01 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法

Publications (2)

Publication Number Publication Date
JPWO2018179559A1 JPWO2018179559A1 (ja) 2020-03-05
JP6786035B2 true JP6786035B2 (ja) 2020-11-18

Family

ID=63677803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019508540A Expired - Fee Related JP6786035B2 (ja) 2017-03-27 2017-11-01 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法

Country Status (5)

Country Link
US (1) US20200096454A1 (ja)
EP (1) EP3591612A4 (ja)
JP (1) JP6786035B2 (ja)
CN (1) CN110537203A (ja)
WO (1) WO2018179559A1 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019045235A (ja) * 2017-08-31 2019-03-22 株式会社Ihiエアロスペース 画像検査システム、画像検査方法及び画像検査用プログラム
EP3489892B1 (en) * 2017-11-24 2022-01-05 Ficosa Adas, S.L.U. Determining clean or dirty captured images
FR3084768B1 (fr) * 2018-07-31 2020-10-16 Commissariat Energie Atomique Procede d'analyse d'au moins un type de defauts parmi une pluralite de types de defauts entre au moins deux echantillons et dispositif associe
JP2021096652A (ja) * 2019-12-17 2021-06-24 富士通株式会社 画像識別装置、方法、及びプログラム
CN111080627B (zh) * 2019-12-20 2021-01-05 南京航空航天大学 一种基于深度学习的2d+3d大飞机外形缺陷检测与分析方法
JP7315089B2 (ja) * 2020-02-26 2023-07-26 日本電信電話株式会社 対象領域検出装置、対象領域検出方法、及び対象領域検出プログラム
CN111882537B (zh) * 2020-07-28 2023-12-15 研祥智能科技股份有限公司 视觉检测方法及系统
KR20230174066A (ko) 2022-06-20 2023-12-27 두산에너빌리티 주식회사 초음파 탐상 검사 시스템 및 초음파 탐상 검사 방법
CN116152237B (zh) * 2023-04-18 2023-07-04 中铁四局集团有限公司 一种钢轨剥落掉块检测方法及系统
CN117058116B (zh) * 2023-08-25 2024-10-11 南京林业大学 一种基于级联质心算法的木地板缺陷检测方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2093242A5 (ja) 1970-06-08 1972-01-28 Juy Lucien
JPS6072085A (ja) * 1983-09-28 1985-04-24 Toshiba Corp 画像輪郭強調装置
JPH02311961A (ja) * 1989-05-29 1990-12-27 Mitsubishi Heavy Ind Ltd 画像処理技術を利用した検査方法
JP3756507B1 (ja) * 2004-09-17 2006-03-15 シャープ株式会社 画像処理アルゴリズム評価方法および装置、画像処理アルゴリズム生成方法および装置、プログラムならびにプログラム記録媒体
JP2007315803A (ja) * 2006-05-23 2007-12-06 Kirin Techno-System Co Ltd 表面検査装置
JP5767963B2 (ja) * 2011-12-28 2015-08-26 株式会社キーエンス 外観検査装置、外観検査方法及びコンピュータプログラム
JP5865707B2 (ja) * 2012-01-06 2016-02-17 株式会社キーエンス 外観検査装置、外観検査方法及びコンピュータプログラム
JP5943722B2 (ja) * 2012-06-08 2016-07-05 三菱重工業株式会社 欠陥判定装置、放射線撮像システム、及び欠陥判定方法
JP6643856B2 (ja) * 2014-11-28 2020-02-12 キヤノン株式会社 分類方法、検査方法、検査装置、およびプログラム
CN105447512B (zh) * 2015-11-13 2018-09-25 中国科学院自动化研究所 一种精粗结合的光学表面缺陷的检测方法及装置

Also Published As

Publication number Publication date
CN110537203A (zh) 2019-12-03
US20200096454A1 (en) 2020-03-26
WO2018179559A1 (ja) 2018-10-04
EP3591612A1 (en) 2020-01-08
JPWO2018179559A1 (ja) 2020-03-05
EP3591612A4 (en) 2020-03-25

Similar Documents

Publication Publication Date Title
JP6786035B2 (ja) 航空機用部品の欠陥検出システム及び航空機用部品の欠陥検出方法
KR102058427B1 (ko) 검사 장치 및 방법
JP7015001B2 (ja) 欠陥検査装置、欠陥検査方法、及びそのプログラム
TWI787296B (zh) 光學檢測方法、光學檢測裝置及光學檢測系統
US10824906B2 (en) Image processing device, non-transitory computer readable storage medium, and image processing system
US11216936B2 (en) Defect detection device, defect detection method, and program
JP4997252B2 (ja) 画像内の照明域を識別する方法
US10297021B2 (en) Defect quantification method, defect quantification device, and defect evaluation value display device
EP3904866A1 (en) Defect inspecting device, defect inspecting method, and program for same
US20170069075A1 (en) Classifier generation apparatus, defective/non-defective determination method, and program
JP2018198053A5 (ja)
US11378522B2 (en) Information processing apparatus related to machine learning for detecting target from image, method for controlling the same, and storage medium
JP6265588B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
TWI526982B (zh) 區域分割方法、電腦程式產品及檢查裝置
JPWO2019151393A1 (ja) 食品検査システム、食品検査プログラム、食品検査方法および食品生産方法
Eshkevari et al. Automatic dimensional defect detection for glass vials based on machine vision: A heuristic segmentation method
US20120207379A1 (en) Image Inspection Apparatus, Image Inspection Method, And Computer Program
CN116710763A (zh) 图像分析装置、图像分析方法及程序
JP4242796B2 (ja) 画像認識方法及び画像認識装置
WO2019188316A1 (ja) 画像処理装置、画像処理方法及びプログラム
JP2006343185A (ja) 表面欠陥検査装置
JP2019200775A (ja) 表面欠陥検査装置及び表面欠陥検査方法
JP2016212488A (ja) 検査システム、検査方法、プログラムおよび記憶媒体
JP2011232302A (ja) 画像検査方法及び画像検査装置
JP4115378B2 (ja) 欠陥検出方法

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A527

Effective date: 20190927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190927

AA64 Notification of invalidation of claim of internal priority (with term)

Free format text: JAPANESE INTERMEDIATE CODE: A241764

Effective date: 20191217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200825

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200918

R150 Certificate of patent or registration of utility model

Ref document number: 6786035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees