JP7210315B2 - 検査システムおよび検査方法 - Google Patents

Description

本発明の実施形態は、検査システムおよび検査方法に関する。

従来、カメラまたは超音波装置などの検査装置を用いて得られた画像に基づいて、検査の対象物の健全性を機械学習で評価する技術がある。評価精度を上げるには、画像に含まれることが想定される欠陥または物体などの像を網羅した多数のサンプル画像が必要になる。しかしながら、原子力プラントのように、データを取得する機会が限られている対象物がある。そのような対象物については、充分なサンプル画像が得られない。そこで、サンプル画像が少ない場合でも評価精度を向上させる技術として、画像を複数に分割し、分割された画像をその品質毎に分類する技術が知られている。

特開２０１７－２１１２５９号公報

超音波を用いた溶接部の検査では、検査の対象物の形状、内部の欠陥、溶接部の組織、または内在物などの多様な発生由来に基づく像が画像に出現する。超音波の当たり方次第では、強度または形状がそれぞれ類似した様相になったり、それぞれが重畳したりする。このような画像を用いて機械学習を行うと、それぞれの画像の特徴の差が得られず、学習の精度が低下してしまうという課題がある。

本発明の実施形態は、このような事情を考慮してなされたもので、画像解析の学習の効率化により検査精度を向上させることができる検査技術を提供することを目的とする。

本発明の実施形態に係る検査システムは、検査の対象となる対象物が有する状態に応じて出現する出現像が含まれる学習画像を取得する学習画像取得部と、前記学習画像に含まれる前記出現像を特定する出現像特定部と、少なくとも１つの前記出現像が含まれるように前記学習画像を分割して分割画像を生成する分割画像生成部と、前記分割画像に含まれる前記出現像に対応する指標を設定する指標設定部と、少なくとも２つの前記指標を１つの前記分割画像に対応付けた学習用データを生成する学習用データ生成部と、前記学習用データに基づいて画像解析の学習を行う学習部と、前記学習により学習モデルを出力する学習モデル出力部と、を備える。

本発明の実施形態により、画像解析の学習の効率化により検査精度を向上させることができる検査技術が提供される。

本実施形態の検査システムの構成を示すブロック図。 学習画像または検査画像を示す画像図。 学習画像または検査画像の分割態様を示す画像図。 学習画像または検査画像の分割態様を示す画像図。 学習画像または検査画像の分割態様を示す画像図。 分割画像に対応付けられる指標を示す説明図。 分割画像に対応付けられる指標を示す説明図。 分割画像に対応付けられる指標を示す説明図。 検査方法の学習工程を示すフローチャート。 検査方法の解析工程を示すフローチャート。 検査画像解析方法を示すフローチャート。 変形例の学習画像を示す画像図。

以下、図面を参照しながら、検査システムおよび検査方法の実施形態について詳細に説明する。

図１の符号１は、本実施形態の検査システムである。この検査システム１は、検査の対象となる対象物の欠陥の有無を評価するものである。特に、超音波検査、Ｘ線検査、可視光検査、顕微鏡検査、赤外線検査、紫外線検査、または渦電流検査などの検査方法で取得した画像を、人工知能（ＡＩ：Artificial Intelligence）を備えるコンピュータを用いて自動的に解析し、対象物の欠陥の有無を評価する。

本実施形態のコンピュータを用いた画像の解析には、人工知能の学習に基づく解析技術が用いられる。例えば、ニューラルネットワークによる機械学習により生成された学習モデル、その他の機械学習により生成された学習モデル、深層学習アルゴリズム、回帰分析などの数学的アルゴリズムを用いることができる。また、機械学習の形態には、クラスタリング、深層学習などの形態が含まれる。

なお、対象物としては金属材料で構成された部材を例示する。このような対象物の表面または溶接部に生じる欠陥を検査システムにより評価する。また、欠陥には、対象物の表面に生じた疵または対象物の内部に生じた空洞が含まれる。

例えば、一般的な超音波検査の場合には、製品の出荷前検査において、製品の欠陥の有無に基づいて、良品であるか不良品であるかの評価を行う。また、発電プラントの定検などの使用中に検査を行う場合には、対象物に含まれる欠陥のサイズまたは位置などの特徴の評価も行う。

評価手順としては、まず、検査方法で取得した検査データ（検査信号または検査画像）の不備を確認する。ここでいう不備とは、例えば、検査データの取得に用いた検査用機器の不備によって、検査データに抜けがあること、または、検査用機器と対象物との位置関係が変化してしまって、解析に適さない検査データがあることを示す。

検査データに不備が無い場合には、検査データを基に対象物の欠陥の有無を評価する。例えば、超音波検査の場合は、画像上で欠陥と疑われるエコー（出現像）がある場合に、そのエコー位置、強度、または欠陥サイズなどの情報を記録する。なお、このような欠陥と疑われるエコーは「指示」とも称される。

また、検査対象によっては、この評価作業を複数回行う場合がある。例えば、所定の評価者が行った一次評価結果を別の評価者が二次評価する際には、一次評価にて欠陥と評価されたエコーを確認し、そのエコーが欠陥であるかそうでないか、エコー位置、強度、または欠陥サイズなどの情報の記録値が適切か否かを確認する。

このように複数回に亘って異なる複数の評価者が評価することで、評価精度が向上する。本実施形態では、画像解析用に作成した学習モデルを利用して評価を行い、人手による評価の負荷を低減する。例えば、複数回の評価を行う場合には、人手による評価の前後に、学習モデルを利用した評価を行う。また、人手による評価を代替しても良い。

本実施形態の検査システム１は、機械学習を行う人工知能を備えるコンピュータを含む。例えば、ニューラルネットワークを備える１台のコンピュータで検査システム１を構成しても良いし、ニューラルネットワークを備える複数台のコンピュータで検査システム１を構成しても良い。

ここで、ニューラルネットワークとは、脳機能の特性をコンピュータによるシミュレーションによって表現した数学モデルである。例えば、シナプスの結合によりネットワークを形成した人工ニューロン（ノード）が、学習によってシナプスの結合強度を変化させ、問題解決能力を持つようになるモデルを示す。さらに、ニューラルネットワークは、深層学習（Deep Learning）により問題解決能力を取得する。

例えば、ニューラルネットワークには、６層のレイヤーを有する中間層が設けられる。この中間層の各レイヤーは、３００個のユニットで構成されている。また、多層のニューラルネットワークに学習用データを用いて予め学ばせておくことで、回路またはシステムの状態の変化のパターンの中にある特徴量を自動で抽出することができる。なお、多層のニューラルネットワークは、ユーザインターフェース上で、任意の中間層数、ユニット数、学習率、学習回数、活性化関数を設定することができる。

なお、学習の対象となる各種情報に報酬関数を設定し、この報酬関数に基づいて価値が最も高くなるものを抽出する深層強化学習を用いても良い。

本実施形態では、画像認識で実績のあるＣＮＮ（Convolution Neural Network）を用いる。このＣＮＮでは、中間層が畳み込み層とプーリング層で構成される。畳み込み層は、前の層で近くにあるノードにフィルタ処理を施すことで特徴マップを取得する。プーリング層は、畳込み層から出力された特徴マップを、さらに縮小して新たな特徴マップとする。この際に着目する領域のいずれの値を用いるかによって、画像の多少のずれも吸収することができる。

畳み込み層は、画像の局所的な特徴を抽出し、プーリング層は、局所的な特徴をまとめる処理を行う。これらの処理では、入力画像の特徴を維持しながら画像を縮小処理する。つまり、ＣＮＮでは、画像の持つ情報量を大幅に圧縮（抽象化）することができる。そして、ニューラルネットワークに記憶された抽象化された画像イメージを用いて、入力される画像を認識し、画像の分類を行うことができる。

なお、深層学習には、オートエンコーダ、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）、ＧＡＮ（Generative Adversarial Network）などの各種手法がある。これらの手法を本実施形態の深層学習に適用しても良い。

次に、本実施形態の機械学習について説明する。図２には、超音波検査などの検査方法で取得した画像Ｇ１を例示する。この画像Ｇ１は、ニューラルネットワークの機械学習に用いる学習画像である。また、実際の検査で用いられる検査画像も、この画像Ｇ１と同様のものとなっている。なお、学習に用いる画像Ｇ１は、超音波検査により取得した画像のみならず、Ｘ線検査により取得した画像、カメラで撮影した画像、またはコンピュータグラフィックス（ＣＧ）で合成した画像であっても良い。

超音波検査にて得られる画像Ｇ１には、発生由来ごとに異なる出現像が含まれる。例えば、対象物の表面で超音波が反射し、この表面形状に基づく第１種の出現像Ｔ（top image）が含まれる。また、対象物の底面で超音波が反射し、この底面形状に基づく第２種の出現像Ｂ（bottom image）が含まれる。また、対象物の内部の欠陥で超音波が反射し、この欠陥に基づく第３種の出現像Ｄ（defect image）が含まれる。また、対象物の内部の散乱源または溶接部の組織で超音波が反射し、ノイズとなる第４種の出現像Ｎ（noise image）が含まれる。

なお、出現像Ｔ，Ｂ，Ｄ，Ｎとは、学習画像Ｇ１の背景以外の部分である。つまり、出現像とは、画像Ｇ１に含まれる特定の情報が含まれる部分である。また、出現像の種類は発生由来に対応しても良いし、発生由来以外のものに対応しても良い。

本実施形態では、それぞれの出現像に対し、その発生由来に応じて分類の基準となる指標「Ｔ」、「Ｂ」、「Ｄ」、「Ｎ」を対応付ける（図６参照）。なお、本実施形態では、発生由来ごとに分類された第１～４種の出現像Ｔ，Ｂ，Ｄ，Ｎを例示するが、その他の種類の出現像が含まれても良い。

これらの出現像は、その発生由来ごとに分類することができる。また、それぞれの出現像の特徴に応じて分類することができる。例えば、分類の基準として、欠陥、対象物形状、表面の粗さ、および内在物などの発生由来の違いに基づいて分類することができる。さらに、出現像の形状、大きさ、個数、強度に基づいて分類することができる。

なお、機械学習では、多量の学習画像Ｇ１をニューラルネットワークに学習させる必要がある。しかしながら、サンプルとなる学習用の画像Ｇ１を取得する機会が限られる場合がある。特に、原子力プラントでは、サンプルとなるデータの取得が定期点検などの機会に限られる。そこで、本実施形態では、１つの画像Ｇ１を複数に分割して多量の分割画像Ｇ２～Ｇ６を生成する（図３参照）。

本実施形態の機械学習の方法は、大きく２つの処理に分けられる。まず、学習用データを生成する第１処理を行う。この第１処理では、学習画像Ｇ１を取得し、その学習画像Ｇ１に含まれる出現像を特徴ごとに分類する。そして、１つの学習画像Ｇ１を、種類の異なる出現像が１つ以上含まれるように分割し、複数の分割画像Ｇ２～Ｇ６を生成する。そして、それぞれの分割画像Ｇ２～Ｇ６に含まれる出現像に対応する指標を分割画像Ｇ２～Ｇ６に対応付ける。次に、学習モデルを作成する第２処理を行う。この第２処理では、指標が対応付けられた分割画像Ｇ２～Ｇ６を学習用データとしてニューラルネットワークに学習させて、画像学習モデルを作成する。

まず、第１処理について説明する。第１処理では、学習画像Ｇ１を取得する。学習画像Ｇ１としては、カメラによる撮影またはＸ線検査のように、２次元データとして取得される静止画または動画を用いても良い。また、超音波検査または渦電流検査で得られた１次元データ（信号）を用いて作成した２次元データ（静止画または動画）を用いても良い。さらに、学習画像Ｇ１の生成には、学習用に新たにデータを取得して用いても良いし、予め取得されたデータを用いても良いし、他の用途に用いたデータを用いても良い。

図３は、１つの学習画像Ｇ１を分割して複数の分割画像Ｇ２～Ｇ６を生成する態様を示している。それぞれの分割画像Ｇ２～Ｇ６は、発生由来ごとに異なる種類の出現像が含まれるようになっている。

例えば、分割画像Ｇ２には、第１種の出現像Ｔが含まれる。分割画像Ｇ３には、第２種の出現像Ｂが含まれる。分割画像Ｇ４には、第３種の出現像Ｄが含まれる。分割画像Ｇ５およびＧ６には、第４種の出現像Ｎが含まれる。また、分割画像Ｇ２，Ｇ３，Ｇ６のように、出現像Ｔ，Ｂ，Ｎが、分割画像Ｇ２，Ｇ３，Ｇ６の枠外に、はみ出しても良い。また、分割画像Ｇ６のように、１つの分割画像Ｇ６に、特徴が同じ種類の複数の出現像Ｎが含まれても良い。さらに、分割画像Ｇ４およびＧ６のように、部分的に重畳しても良い。

図６に示すように、それぞれの分割画像Ｇ２～Ｇ６に指標を対応付ける。本実施形態では、第１～６の複数種類の指標を設定する。

第１指標には、発生由来に応じた指標「Ｔ」、「Ｂ」、「Ｄ」、「Ｎ」が設定される。例えば、第１種の出現像Ｔを含む分割画像Ｇ２に指標「Ｔ」を対応付ける。また、第２種の出現像Ｂを含む分割画像Ｇ３に指標「Ｂ」を対応付ける。また、第３種の出現像Ｄを含む分割画像Ｇ４に指標「Ｄ」を対応付ける。また、第４種の出現像Ｎを含む分割画像Ｇ５，Ｇ６に指標「Ｎ」を対応付ける。

第２指標には、第３種の出現像Ｄを含む分割画像Ｇ４と、第３種の出現像Ｄを含まない分割画像Ｇ２，Ｇ３，Ｇ５，Ｇ６とを区別可能な指標「Ｄ」、「Ｎ」が設定される。例えば、第３種の出現像Ｄを含む分割画像Ｇ４に指標「Ｄ」を対応付ける。そして、第３種の出現像Ｄを含まない分割画像Ｇ２，Ｇ３，Ｇ５，Ｇ６に指標「Ｎ」を対応付ける。つまり、第３種の出現像Ｄ以外の出現像Ｔ，Ｂ，Ｎを全てノイズとして扱う。

第３指標には、出現像の形状およびサイズに応じた指標「線」、「円（大きい）」、「円（小さい）」が設定される。例えば、線状の出現像Ｔ，Ｂを含む分割画像Ｇ２，Ｇ３に指標「線」を対応付ける。また、大きい円形状の出現像Ｄを含む分割画像Ｇ４に指標「円（大きい）」を対応付ける。また、小さい円形状の出現像Ｎを含む分割画像Ｇ５，Ｇ６に指標「円（小さい）」を対応付ける。

第４指標には、円形状の出現像Ｄ，Ｎの個数に応じた数値が設定される。例えば、円形状の出現像Ｄを１つ含む分割画像Ｇ４に指標「１」を対応付ける。また、円形状の出現像Ｎを１つ含む分割画像Ｇ５に指標「１」を対応付ける。また、円形状の出現像Ｎを２つ含む分割画像Ｇ６に指標「２」を対応付ける。なお、円形状の出現像Ｄ，Ｎを含まない分割画像Ｇ２，Ｇ３に指標「０」を対応付ける。

第５指標には、発生由来に応じてナンバリングされた指標「１」、「２」、「３」、「４」が設定される。例えば、第１種の出現像Ｔを含む分割画像Ｇ２に指標「１」を対応付ける。また、第２種の出現像Ｂを含む分割画像Ｇ３に指標「２」を対応付ける。また、第３種の出現像Ｄを含む分割画像Ｇ４に指標「３」を対応付ける。また、第４種の出現像Ｎを含む分割画像Ｇ５，Ｇ６に指標「４」を対応付ける。

第６指標には、出現像の強度に応じた指標「高強度」、「低強度」が設定される。例えば、高い強度の出現像Ｄを含む分割画像Ｇ４に指標「高強度」を対応付ける。そして、低い強度の出現像Ｔ，Ｂ，Ｎを含む分割画像Ｇ２，Ｇ３，Ｇ５，Ｇ６に指標「低強度」を対応付ける。

なお、指標は、出現像の特徴量を表す言葉または数値以外のものでも良い。さらに、１つの分割画像に対して、１つの指標が対応付けられても良いし、複数の指標が対応付けられても良い。

図４は、発生由来の異なる出現像を２つ以上含むように分割画像Ｇ７～Ｇ１０を生成する態様を示している。

例えば、分割画像Ｇ７には、第１種の出現像Ｔと第３種の出現像Ｄとが含まれる。分割画像Ｇ８には、第１種の出現像Ｔと第４種の出現像Ｎとが含まれる。分割画像Ｇ９には、第２種の出現像Ｂと第４種の出現像Ｎとが含まれる。分割画像Ｇ１０には、第３種の出現像Ｄと第４種の出現像Ｎとが含まれる。

図７に示すように、それぞれの分割画像Ｇ７～Ｇ１０に指標を対応付ける。例えば、第１種の出現像Ｔと第３種の出現像Ｄとが含まれる分割画像Ｇ７には、第１指標「Ｔ＋Ｄ」を対応付け、第２指標「Ｄ＋Ｎ」を対応付け、第３指標「線＋円（大きい）」を対応付け、第４指標「１」を対応付ける。

また、第１種の出現像Ｔと第４種の出現像Ｎとが含まれる分割画像Ｇ８には、第１指標「Ｔ＋Ｎ」を対応付け、第２指標「Ｎ」を対応付け、第３指標「線＋円（小さい）」を対応付け、第４指標「１」を対応付ける。

また、第２種の出現像Ｂと第４種の出現像Ｎとが含まれる分割画像Ｇ９には、第１指標「Ｂ＋Ｎ」を対応付け、第２指標「Ｎ」を対応付け、第３指標「線＋円（小さい）」を対応付け、第４指標「１」を対応付ける。

また、第３種の出現像Ｄと第４種の出現像Ｎとが含まれる分割画像Ｇ１０には、第１指標「Ｄ＋Ｎ」を対応付け、第２指標「Ｄ＋Ｎ」を対応付け、第３指標「円（大きい）＋円（小さい）」を対応付け、第４指標「２」を対応付ける。

図５は、発生由来の異なる出現像を３つ以上含むように分割画像Ｇ１１，Ｇ１２を生成する態様を示している。

例えば、分割画像Ｇ１１には、第１種の出現像Ｔと第３種の出現像Ｄと第４種の出現像Ｎとが含まれる。分割画像Ｇ１２には、第２種の出現像Ｂと第３種の出現像Ｄと第４種の出現像Ｎとが含まれる。

図８に示すように、それぞれの分割画像Ｇ１１，Ｇ１２に指標を対応付ける。例えば、第１種の出現像Ｔと第３種の出現像Ｄと第４種の出現像Ｎとが含まれる分割画像Ｇ１１には、第１指標「Ｔ＋Ｄ＋Ｎ」を対応付け、第２指標「Ｄ＋Ｎ」を対応付け、第３指標「線＋円（大きい）＋円（小さい）」を対応付け、第４指標「２」を対応付ける。

また、第２種の出現像Ｂと第３種の出現像Ｄと第４種の出現像Ｎとが含まれる分割画像Ｇ１２には、第１指標「Ｂ＋Ｄ＋Ｎ」を対応付け、第２指標「Ｄ＋Ｎ」を対応付け、第３指標「線＋円（大きい）＋円（小さい）」を対応付け、第４指標「３」を対応付ける。

なお、第１処理で実行される学習画像Ｇ１に基づく分割画像Ｇ２～Ｇ１２の生成は、人手で行っても良いし、人工知能を備えるコンピュータを用いて自動的に行っても良い。コンピュータを用いる場合は学習画像Ｇ１を、予め設定した条件に基づいて分割する。この処理には、クラスタリング、機械学習、深層学習などを用いることができる。

このように発生由来ごとに異なる特徴に応じて出現像を１つ以上含むように学習画像Ｇ１を分割して分割画像Ｇ２～Ｇ１２を生成することで、１つの学習画像Ｇ１からパターンの異なる複数の分割画像Ｇ２～Ｇ１２を生成することができる。そのため、学習用データを増やすことができる。さらに、それぞれの分割画像Ｇ２～Ｇ１２に含まれる出現像の特徴を表す指標を対応付けることで、出現像の特徴を効率的に学習できる。

次に、第２処理について説明する。第２処理では、第１処理にて生成した指標付きの分割画像Ｇ２～Ｇ１２を用いて、ニューラルネットワークに出現像の学習をさせる。そして、学習モデルを生成する。なお、学習の際には、１つの分割画像に対して１つの指標を対応付けても良いし、複数の指標を対応付けても良い。

また、１つずつの画像を用いて学習しても良いし、複数の画像を２次元配列または１次元配列の並びとして学習しても良い。このような学習により画像解析に用いる学習モデルが生成される。

次に、検査システム１のシステム構成を図１に示すブロック図を参照して説明する。検査システム１は、学習装置２と検査装置３と解析装置４を備える。

学習装置２は、画像解析に用いる学習モデルを生成する。この学習装置２は、画像解析の機械学習を行う畳み込みニューラルネットワーク（深層学習部）を備えるコンピュータである。

検査装置３は、対象物の検査を行う検査装置である。本実施形態では、超音波を用いて検査装置を例示する。例えば、超音波を用いて対象物の表面の状態と対象物の溶接部の状態との少なくとも一方の情報を取得する。このようにすれば、対象物の表面の状態または対象物の溶接部の状態を含む検査画像を取得することができる。

なお、検査装置３は、超音波を用いたものに限らず、Ｘ線を用いたもの、または渦電流を用いたものなどであっても良い。

解析装置４は、検査装置３で取得した情報に基づいて対象物を解析する。この解析装置４は、学習装置２で生成した学習モデルに基づいて画像解析を行う畳み込みニューラルネットワーク（深層学習部）を備えるコンピュータである。

学習装置２は、学習画像取得部５と出現像特定部６と出現像分類部７と分割画像生成部８と指標設定部９と学習用データ生成部１０と学習部１１と学習モデル出力部１２と学習制御部１３とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。

学習画像取得部５は、サンプル信号取得部１４とサンプル信号処理部１５と学習画像生成部１６とを備える。この学習画像取得部５は、検査の対象となる対象物が有する状態に応じて出現する出現像Ｔ，Ｂ，Ｄ，Ｎ（図２参照）が含まれる学習画像Ｇ１を生成（取得）する。この学習画像取得部５には、学習画像Ｇ１の生成に必要なデータが入力される。

サンプル信号取得部１４は、学習画像Ｇ１の生成の元となるサンプル信号を含むサンプルデータを取得する。このサンプルデータは、検査装置３から取得されても良いし、その他の装置から取得されても良い。

サンプル信号処理部１５は、サンプル信号取得部１４が取得したサンプル信号の処理を行う。超音波を用いた検査装置３から取得されたサンプル信号の場合は、波形または強度の情報を得る。

学習画像生成部１６は、サンプル信号に基づいて学習画像Ｇ１（図２参照）の生成を行う。超音波を用いた検査装置３の場合には、対象物の表面を１次元方向（例えば、Ｙ方向）に走査することで、１次元データを得る。この１次元データを２次元方向（例えば、Ｘ方向）に並べて２次元データとしての学習画像Ｇ１を得る。

なお、学習画像取得部５に対して外部から生成済みの２次元データとしての学習画像Ｇ１を入力しても良い。つまり、学習画像取得部５には、超音波検査により取得した画像、Ｘ線検査により取得した画像、カメラで撮影した画像、渦電流検査により取得した画像を入力しても良い。

出現像特定部６は、学習画像Ｇ１に含まれる出現像Ｔ，Ｂ，Ｄ，Ｎ（図２参照）を特定する。なお、学習画像Ｇ１に含まれる出現像の特定は、人工知能を備えるコンピュータを用いて自動的に行っても良いし、学習装置２の使用者による人手で行っても良い。つまり、出現像特定部６は、使用者の入力操作に基づく処理を行うことができる。

出現像分類部７は、出現像Ｔ，Ｂ，Ｄ，Ｎ（図２参照）を発生由来ごとに分類する。なお、この分類に応じて第１指標と第５指標とが設定される（図６参照）。

分割画像生成部８は、学習画像Ｇ１に基づいて分割画像Ｇ２～Ｇ１２の生成を行う。例えば、分類の異なる出現像Ｔ，Ｂ，Ｄ，Ｎ（図２参照）を１つ以上含むように、学習画像Ｇ１を分割して分割画像Ｇ２～Ｇ１２を生成する。

指標設定部９は、分割画像Ｇ２～Ｇ１２に含まれる出現像Ｔ，Ｂ，Ｄ，Ｎ（図２参照）に対応する指標を設定する。例えば、指標設定部９は、出現像の発生由来に基づく分類に対応する指標を設定する（図６参照）。このようにすれば、発生由来ごとに出現像を識別するための学習を行うことができる。

また、指標設定部９は、出現像の形状に対応する指標を設定する（図６参照）。このようにすれば、形状ごとに出現像を識別するための学習を行うことができる。また、指標設定部９は、出現像のサイズに対応する指標を設定する。このようにすれば、サイズごとに出現像を識別するための学習を行うことができる（図６参照）。

また、指標設定部９は、１つの分割画像Ｇ２～Ｇ１２に含まれる出現像の個数に対応する指標を設定する（図６参照）。このようにすれば、分割画像Ｇ２～Ｇ１２に含まれる個数ごとに出現像を識別するための学習を行うことができる。また、指標設定部９は、出現像の強度に対応する指標を設定する（図６参照）。このようにすれば、強度ごとに出現像を識別するための学習を行うことができる。

学習用データ生成部１０は、指標を分割画像Ｇ２～Ｇ１２に対応付けた学習用データを生成する。例えば、学習用データ生成部１０は、１つの分割画像Ｇ７～Ｇ１２に対して少なくとも２つの指標を対応付ける（図７および図８参照）。このようにすれば、分割画像Ｇ７～Ｇ１２に含まれる出現像を識別するための学習の効率を向上させることができる。

学習部１１は、指標付き分割画像Ｇ２～Ｇ１２を含む学習用データに基づいて画像解析の学習を行う。つまり、検査装置３を用いて取得される検査画像を解析するための学習を行う。この学習部１１は、機械学習を行う畳み込みニューラルネットワーク（深層学習部）を備える。なお、学習用データには、学習画像Ｇ１を含めても良い。

学習モデル出力部１２は、学習部１１の学習により生成された学習モデルを出力する。なお、出力された学習モデルは、ネットワークを介して他のコンピュータに伝送されても良いし、コンピュータで読み取り可能な非一過性の記憶媒体に記憶されても良い。

学習制御部１３は、学習装置２を統括的に制御する。

解析装置４は、検査画像取得部１７と解析部１８と解析結果出力部１９と解析制御部２０とを備える。これらは、メモリまたはＨＤＤに記憶されたプログラムがＣＰＵによって実行されることで実現される。この解析装置４は、学習装置２が生成した学習モデルを用いて画像を評価または分類する機能を有する。

検査画像取得部１７は、検査信号取得部２１と検査信号処理部２２と検査画像生成部２３とを備える。この検査画像取得部１７には、評価する対象となる検査画像の生成に必要な検査データが入力される。つまり、検査画像取得部１７は、検査装置３により得られる対象物の検査画像（検査データ）を取得する。

検査信号取得部２１は、検査画像の生成の元となる検査信号を含む検査データを取得する。この検査データは、検査装置３から取得される。また、その他の装置から取得されても良い。

検査信号処理部２２は、検査信号取得部２１が取得した検査信号の処理を行う。超音波を用いた検査装置３から取得された検査信号の場合は、波形または強度の情報を得る。

検査画像生成部２３は、検査信号に基づいて検査画像の生成を行う。超音波を用いた検査装置３の場合には、対象物の表面を１次元方向（例えば、Ｙ方向）に走査することで、１次元データを得る。この１次元データを２次元方向（例えば、Ｘ方向）に並べて２次元データとしての検査画像を得る。

解析部１８は、判定部２４と分類特定部２５と欠陥画像抽出部２６とを備える。この解析部１８は、学習装置２で生成された学習モデルに基づいて画像の解析を行うニューラルネットワーク（深層学習部）を備える。

判定部２４は、対象物が有する欠陥を示す指標に対応する出現像Ｄ（図２参照）が検査画像に含まれているか否かを学習モデルに基づいて判定する。このようにすれば、対象物に欠陥があるか否かを解析する検査画像の解析効率を向上させることができる。

分類特定部２５は、検査画像に含まれる出現像Ｔ，Ｂ，Ｄ，Ｎ（図２参照）の分類を学習モデルに基づいて特定する。この分類特定部２５は、学習装置２で生成した学習モデルに応じて、検査画像に含まれる出現像の分類を行う。例えば、学習装置２で学習させた指標付きの画像との類似度または差分などの特徴量を用いて評価を行う。この評価した特徴量に応じて、検査画像に含まれる出現像を分類する。

欠陥画像抽出部２６は、検査画像から出現像Ｄを含む欠陥画像を抽出する。この欠陥画像は、検査画像から出現像Ｄを含む部分を分割した画像である。例えば、出現像Ｄを含む分割画像Ｇ４（図３参照）と同様の態様の画像である。

解析結果出力部１９は、判定出力部２７と分類出力部２８と欠陥画像出力部２９とを備える。

判定出力部２７は、判定部２４による判定結果を出力する。このようにすれば、解析装置４の使用者が、対象物が欠陥を有しているか否かを把握することができる。

分類出力部２８は、分類特定部２５による検査画像の分類結果を出力する。このようにすれば、解析装置４の使用者が、検査画像に含まれる出現像の発生由来を解析することができる。

欠陥画像出力部２９は、欠陥画像抽出部２６が抽出した欠陥画像を出力する。このようにすれば、解析装置４の使用者が、対象物が有する欠陥の状態を欠陥画像により把握することができる。

解析制御部２０は、解析装置４を統括的に制御する。

なお、解析結果出力部１９は、画面表示またはアラーム音の出力などの所定の態様で評価結果を出力しても良い。つまり、解析結果出力部１９は、表示部または音声出力部を備える。

本実施形態のシステムは、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤなどのハードウェア資源を有し、ＣＰＵが各種プログラムを実行することで、ソフトウェアによる情報処理がハードウェア資源を用いて実現されるコンピュータで構成される。さらに、本実施形態の検査方法は、プログラムをコンピュータに実行させることで実現される。

次に、検査システム１の学習装置２が実行する学習処理について図９のフローチャートを用いて説明する。なお、図１に示すブロック図を適宜参照する。

図９に示すように、まず、ステップＳ１１において、学習装置２の学習画像取得部５のサンプル信号取得部１４は、学習画像Ｇ１の生成の元となるサンプル信号を含むサンプルデータを取得する。

次のステップＳ１２において、学習画像取得部５のサンプル信号処理部１５は、サンプル信号取得部１４が取得したサンプル信号の処理を行う。

次のステップＳ１３において、学習画像取得部５の学習画像生成部１６は、サンプル信号に基づいて学習画像Ｇ１（図２参照）の生成を行う。

次のステップＳ１４において、出現像特定部６は、学習画像Ｇ１に含まれる出現像Ｔ，Ｂ，Ｄ，Ｎ（図２参照）を特定する。

次のステップＳ１５において、出現像分類部７は、出現像Ｔ，Ｂ，Ｄ，Ｎ（図２参照）を発生由来ごとに分類する。

次のステップＳ１６において、分割画像生成部８は、学習画像Ｇ１に基づいて分割画像Ｇ２～Ｇ１２の生成を行う。

次のステップＳ１７において、指標設定部９は、分割画像Ｇ２～Ｇ１２に含まれる出現像Ｔ，Ｂ，Ｄ，Ｎ（図２参照）に対応する指標を設定する。

次のステップＳ１８において、学習用データ生成部１０は、指標を分割画像Ｇ２～Ｇ１２に対応付けた学習用データを生成する。

次のステップＳ１９において、学習用データ生成部１０で生成された学習用データを学習部１１に入力する。例えば、学習用データを畳み込みニューラルネットワークにセットする。

次のステップＳ２０において、学習部１１は、指標付き分割画像Ｇ２～Ｇ１２を含む学習用データに基づいて画像解析の学習を行う。

次のステップＳ２１において、学習モデル出力部１２は、学習部１１の学習により生成された学習モデルを出力する。そして、処理を終了する。

なお、ステップＳ１１からステップＳ１８までが第１処理であり、ステップＳ１９からステップＳ２１までが第２処理である。

次に、検査システム１の解析装置４が実行する学習処理について図１０のフローチャートを用いて説明する。なお、図１に示すブロック図を適宜参照する。

図１０に示すように、まず、ステップＳ３１において、学習装置２で生成された学習モデルが解析装置４の解析部１８にセットされる。例えば、学習モデルをニューラルネットワークにセットする。

次のステップＳ３２において、検査画像取得部１７の検査信号取得部２１は、検査画像の生成の元となる検査信号を含む検査データを検査装置３から取得する。

次のステップＳ３３において、検査画像取得部１７の検査信号処理部２２は、検査信号取得部２１が取得した検査信号の処理を行う。

次のステップＳ３４において、検査画像取得部１７の検査画像生成部２３は、検査信号に基づいて検査画像の生成を行う。

次のステップＳ３５において、解析部１８は、学習装置２で生成された学習モデルに基づいて画像の解析を行う。

次のステップＳ３６において、解析部１８の判定部２４は、対象物が有する欠陥を示す指標に対応する出現像Ｄ（図２参照）が検査画像に含まれているか否かを学習モデルに基づいて判定する。ここで、出現像Ｄが検査画像に含まれていない場合（ステップＳ３６がＮＯ）は、処理を終了する。一方、出現像Ｄが検査画像に含まれている場合（ステップＳ３６がＹＥＳ）は、ステップＳ３７に進む。

ステップＳ３７において、解析部１８の分類特定部２５は、検査画像に含まれる出現像Ｔ，Ｂ，Ｄ，Ｎ（図２参照）の分類を学習モデルに基づいて特定する。

次のステップＳ３８において、解析部１８の欠陥画像抽出部２６は、検査画像から出現像Ｄを含む欠陥画像を抽出する。

次のステップＳ３９において、解析結果出力部１９の判定出力部２７は、判定部２４による判定結果を出力する。

次のステップＳ４０において、解析結果出力部１９の分類出力部２８は、分類特定部２５による検査画像の分類結果を出力する。

次のステップＳ４１において、解析結果出力部１９の欠陥画像出力部２９は、欠陥画像抽出部２６が抽出した欠陥画像を出力する。そして、処理を終了する。

次に、検査画像解析方法について図１１のフローチャートを用いて説明する。なお、図１に示すブロック図を適宜参照する。

図１１に示すように、まず、ステップＳ５１において、検査装置３の使用者は、検査装置３を用いて対象物の検査データを取得する。

次のステップＳ５２において、検査データを取得する使用者は、所定の装置を用いて検査画像を生成する。そして、検査装置３により得られる対象物の検査画像を人手により解析する。

次のステップＳ５３において、使用者は、検査システム１により検査画像の解析を行う。つまり、使用者は、検査システム１の学習装置２で生成された学習モデルを、解析装置４にセットする。この解析装置４を用いて検査画像の解析を行う。

次のステップＳ５４において、使用者は、人手により解析結果、および検査システム１による解析結果に基づいて、対象物の欠陥の有無を評価した報告書を作成する。そして、処理を終了する。

なお、本実施形態では、人手により検査画像の解析（ステップＳ５２）を行った後に、検査システム１により検査画像の解析（ステップＳ５３）を行っているが、その他の態様であっても良い。例えば、検査システム１により検査画像の解析（ステップＳ５３）を行った後に、人手により検査画像の解析（ステップＳ５２）を行っても良い。

次に、変形例としての学習画像Ｇ２０について説明する。前述の実施形態では、超音波検査で得られた１次元データ（信号）を用いて作成した２次元データ（静止画）を学習画像Ｇ１として用いたが、変形例では、１次元データ（信号）を学習画像Ｇ２０として用いる。

変形例の学習画像Ｇ２０は、超音波検査で得られた１次元データの波形から成る。この超音波検査にて得られる波形データの画像Ｇ２０には、発生由来ごとに異なる出現像が含まれる。例えば、対象物の表面で超音波が反射し、この表面形状に基づく第１種の出現像Ｔの波形が含まれる。また、対象物の底面で超音波が反射し、この底面形状に基づく第２種の出現像Ｂの波形が含まれる。また、対象物の内部の欠陥で超音波が反射し、この欠陥に基づく第３種の出現像Ｄの波形が含まれる。また、対象物の内部の散乱源または溶接部の組織で超音波が反射し、ノイズとなる第４種の出現像Ｎの波形が含まれる。

そして、学習画像Ｇ２０に含まれる出現像を特徴ごとに分類する。そして、１つの学習画像Ｇ２０を、種類の異なる出現像が１つ以上含まれるように分割し、複数の分割画像Ｇ２１～Ｇ２４を生成する。

例えば、分割画像Ｇ２１には、第１種の出現像Ｔが含まれる。分割画像Ｇ２２には、第３種の出現像Ｄが含まれる。分割画像Ｇ２３には、第４種の出現像Ｎが含まれる。分割画像Ｇ２４には、第２種の出現像Ｂが含まれる。このように、１つの画像Ｇ２０を複数に分割して多量の分割画像Ｇ２１～Ｇ２４を生成することができる。

なお、本実施形態のフローチャートにおいて、各ステップが直列に実行される形態を例示しているが、必ずしも各ステップの前後関係が固定されるものでなく、一部のステップの前後関係が入れ替わっても良い。また、一部のステップが他のステップと並列に実行されても良い。

本実施形態のシステムは、専用のチップ、ＦＰＧＡ（Field Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）、またはＣＰＵ（Central Processing Unit）などのプロセッサを高集積化させた制御装置と、ＲＯＭ（Read Only Memory）またはＲＡＭ（Random Access Memory）などの記憶装置と、ＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）などの外部記憶装置と、ディスプレイなどの表示装置と、マウスまたはキーボードなどの入力装置と、通信インターフェースとを備える。このシステムは、通常のコンピュータを利用したハードウェア構成で実現できる。

なお、本実施形態のシステムで実行されるプログラムは、ＲＯＭなどに予め組み込んで提供される。もしくは、このプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、メモリカード、ＤＶＤ、フレキシブルディスク（ＦＤ）などのコンピュータで読み取り可能な非一過性の記憶媒体に記憶されて提供するようにしても良い。

また、このシステムで実行されるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせて提供するようにしても良い。また、このシステムは、構成要素の各機能を独立して発揮する別々のモジュールを、ネットワークまたは専用線で相互に接続し、組み合わせて構成することもできる。

なお、本実施形態では、金属材料で構成された部材を対象物として検査システム１で検査を行うようにしているが、その他の態様であっても良い。例えば、人体を検査の対象物とする医療検査機器に本実施形態の検査システム１を適用しても良い。

以上説明した実施形態によれば、少なくとも１つの出現像が含まれるように学習画像を分割して分割画像を生成する分割画像生成部を備えることにより、画像解析の学習の効率化により検査精度を向上させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…検査システム、２…学習装置、３…検査装置、４…解析装置、５…学習画像取得部、６…出現像特定部、７…出現像分類部、８…分割画像生成部、９…指標設定部、１０…学習用データ生成部、１１…学習部、１２…学習モデル出力部、１３…学習制御部、１４…サンプル信号取得部、１５…サンプル信号処理部、１６…学習画像生成部、１７…検査画像取得部、１８…解析部、１９…解析結果出力部、２０…解析制御部、２１…検査信号取得部、２２…検査信号処理部、２３…検査画像生成部、２４…判定部、２５…分類特定部、２６…欠陥画像抽出部、２７…判定出力部、２８…分類出力部、２９…欠陥画像出力部、Ｂ…底面の出現像、Ｄ…欠陥の出現像、Ｇ１…学習画像（検査画像）、Ｇ２～Ｇ２４…分割画像、Ｎ…ノイズに基づく出現像、Ｔ…表面の出現像。

Claims (11)

1. 検査の対象となる対象物が有する状態に応じて出現する出現像が含まれる学習画像を取得する学習画像取得部と、
   前記学習画像に含まれる前記出現像を特定する出現像特定部と、
   少なくとも１つの前記出現像が含まれるように前記学習画像を分割して分割画像を生成する分割画像生成部と、
   前記分割画像に含まれる前記出現像に対応する指標を設定する指標設定部と、
   少なくとも２つの前記指標を１つの前記分割画像に対応付けた学習用データを生成する学習用データ生成部と、
   前記学習用データに基づいて画像解析の学習を行う学習部と、
   前記学習により学習モデルを出力する学習モデル出力部と、
   を備える、
   検査システム。
2. 前記指標設定部は、前記出現像の発生由来に基づく分類に対応する前記指標を設定する、
   請求項１に記載の検査システム。
3. 検査装置により得られる前記対象物の検査画像を取得する検査画像取得部と、
   前記検査画像に含まれる前記出現像の前記分類を前記学習モデルに基づいて特定する分類特定部と、
   前記分類特定部による分類結果を出力する分類出力部と、
   を備える、
   請求項２に記載の検査システム。
4. 検査装置により得られる前記対象物の検査画像を取得する検査画像取得部と、
   前記対象物が有する欠陥を示す前記指標に対応する前記出現像が前記検査画像に含まれているか否かを前記学習モデルに基づいて判定する判定部と、
   前記判定部による判定結果を出力する判定出力部と、
   を備える、
   請求項１から請求項３のいずれか１項に記載の検査システム。
5. 前記検査画像から前記出現像を含む欠陥画像を抽出する欠陥画像抽出部を備える、
   請求項３または請求項４に記載の検査システム。
6. 前記検査装置は、超音波を用いて前記対象物の表面の状態と前記対象物の溶接部の状態との少なくとも一方の情報を取得する、
   請求項３から請求項５のいずれか１項に記載の検査システム。
7. 前記指標設定部は、前記出現像の形状に対応する前記指標を設定する、
   請求項１から請求項６のいずれか１項に記載の検査システム。
8. 前記指標設定部は、前記出現像のサイズに対応する前記指標を設定する、
   請求項１から請求項７のいずれか１項に記載の検査システム。
9. 前記指標設定部は、１つの前記分割画像に含まれる前記出現像の個数に対応する前記指標を設定する、
   請求項１から請求項８のいずれか１項に記載の検査システム。
10. 前記指標設定部は、前記出現像の強度に対応する前記指標を設定する、
    請求項１から請求項９のいずれか１項に記載の検査システム。
11. 検査の対象となる対象物が有する状態に応じて出現する出現像が含まれる学習画像を取得するステップと、
    前記学習画像に含まれる前記出現像を特定するステップと、
    少なくとも１つの前記出現像が含まれるように前記学習画像を分割して分割画像を生成するステップと、
    前記分割画像に含まれる前記出現像に対応する指標を設定するステップと、
    少なくとも２つの前記指標を１つの前記分割画像に対応付けた学習用データを生成するステップと、
    前記学習用データに基づいて画像解析の学習を行うステップと、
    前記学習により学習モデルを出力するステップと、
    を含む、
    検査方法。

Images