JP7251234B2

JP7251234B2 - 破断面状態推定装置、破断面状態推定方法、及びプログラム

Info

Publication number: JP7251234B2
Application number: JP2019049539A
Authority: JP
Inventors: 麻希大森; 耕二山田; 達哉岡部
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2019-03-18
Filing date: 2019-03-18
Publication date: 2023-04-04
Anticipated expiration: 2039-03-18
Also published as: JP2020153673A

Description

本発明は、破断面状態推定装置、破断面状態推定方法、及びプログラムに関する。

従来から、破壊実験等により得られる物質の破壊の起点や破壊モード等の破断面の状態を、ＳＥＭ（ＳｃａｎｎｉｎｇＥｌｅｃｔｒｏｎＭｉｃｒｏｓｃｏｐｅ）等の電子顕微鏡を用いて、経験豊富な測定者の目視による観察により判定していた（図８）。しかし、人手による判定が非効率であることや主観的な判断では客観性に欠けるため、電子顕微鏡により得られた物質の破断面を含む画像を解析することにより推定する技術が研究されている（特許文献１～３）。

例えば、特許文献１では、破断面の凹凸情報から、一般物理式を用いて亀裂進展速度を求める。特許文献２及び３では、観測深さ及び結晶の方位情報やコントラスト差から経験式を用いて破壊モードを推定する。

国際公開第１１／０９９２７０号公報特開２０１３－６４６２６号公報特開平５－６００５８号公報

しかし、上記特許文献１では、予め起点が分かっている前提で、凹凸情報から亀裂進展速度を求めるため、起点や凹凸情報が不明である場合には、破断面の状態を求めることができない、という問題があった。また、特許文献１～３では、経験式や一般物理式等の因果関係が既知であることが前提であり、そのような因果関係が未知の破断面については、破断面の状態を精度良く判定することができない、という問題があった。

本発明は上記の点に鑑みてなされたものであり、破断面を含む画像から精度良く破断面の状態を推定することができる破断面状態推定装置、破断面状態推定方法、及びプログラムを提供することを目的とする。

本発明に係る破断面状態推定装置は、物質の破断面を含む入力画像の入力を受け付ける画像入力部と、前記入力画像と、予め学習された、画像に含まれる物質の破断面における、前記物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面における前記起点の位置を推定する起点推定部と、前記入力画像と、予め学習された、画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定部と、を備えて構成される。

また、本発明に係る破断面状態推定方法は、画像入力部が、物質の破断面を含む入力画像の入力を受け付け、起点推定部が、前記入力画像と、予め学習された、画像に含まれる物質の破断面における、前記物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面における前記起点の位置を推定し、破壊モード推定部が、前記入力画像と、予め学習された、画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面の破壊モードを推定する。

本発明に係る破断面状態推定装置及び破断面状態推定方法によれば、画像入力部が、物質の破断面を含む入力画像の入力を受け付け、起点推定部が、入力画像と、予め学習された、画像に含まれる物質の破断面における、物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、入力画像に含まれる物質の破断面における起点の位置を推定する。

そして、破壊モード推定部が、入力画像と、予め学習された、画像に含まれる物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、入力画像に含まれる物質の破断面の破壊モードを推定する。

このように、入力画像と、予め学習された、画像に含まれる物質の破断面における、物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、入力画像に含まれる物質の破断面における起点の位置を推定し、入力画像と、予め学習された、画像に含まれる物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、入力画像に含まれる物質の破断面の破壊モードを推定することにより、破断面を含む画像から精度良く破断面の状態を推定することができる。

また、本発明に係る破断面状態推定装置は、物質の破断面を含む学習画像と、前記学習画像における前記物質の破断の生じた起点の位置と、前記学習画像に含まれる前記物質の破断面の破壊モードとの組からなる画像データの入力を受け付ける画像データ入力部と、前記起点推定モデルにより推定した前記学習画像の前記起点の位置と前記破壊モード推定モデルにより推定した前記学習画像に含まれる前記物質の破断面の破壊モードとが、前記画像データに含まれる前記起点の位置及び前記破壊モードと一致するように、前記起点推定モデルのパラメータと前記破壊モード推定モデルのパラメータとを学習する学習部と、を更に含み、前記起点推定部は、前記入力画像と、前記学習部により予め学習された前記起点推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面における前記起点の位置を推定し、前記破壊モード推定部は、前記入力画像と、前記学習部により予め学習された前記破壊モード推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面の破壊モードを推定することができる。

また、本発明に係る破断面状態推定装置は、前記画像データ入力部により受け付けた画像データの学習画像を、異なる撮影条件で撮影されたときに得られる擬似的な画像に変更するデータ処理部を更に含み、前記学習部は、前記起点推定モデルにより推定した前記擬似的な画像の前記起点の位置と前記破壊モード推定モデルにより推定した前記擬似的な画像に含まれる前記物質の破断面の破壊モードとが、前記画像データに含まれる前記起点の位置及び前記破壊モードと一致するように、前記起点推定モデルのパラメータと前記破壊モード推定モデルのパラメータとを学習することができる。

また、本発明に係る破断面状態推定装置の前記データ処理部は、前記学習画像のコントラストを変更することにより、異なる観察角度で撮影されたときに得られる擬似的な画像に変更するコントラスト変更部を更に含むことができる。

また、本発明に係る破断面状態推定装置の前記データ処理部は、前記学習画像の観察深さを変更することにより、電子顕微鏡の異なる電圧を印加して撮影されたときに得られる擬似的な画像に変更する観察深度変更部を更に含むことができる。

また、本発明に係る破断面状態推定装置は、亀裂進展方向推定部と、材質推定部と、を更に含み、前記画像データは、更に、前記学習画像に含まれる前記物質の破断面における亀裂進展方向、及び前記学習画像に含まれる前記物質の材質を含み、前記学習部は、前記撮影条件毎に、前記起点推定モデルにより推定した前記学習画像の前記起点の位置、前記破壊モード推定モデルにより推定した前記学習画像に含まれる前記物質の破断面の破壊モード、画像に含まれる物質の破断面における亀裂進展方向を推定するモデルである亀裂進展方向推定モデルにより推定した、前記学習画像に含まれる前記物質の破断面における亀裂進展方向、及び画像に含まれる物質の材質を推定するモデルである材質推定モデルにより推定した、前記学習画像に含まれる前記物質の材質が、前記画像データに含まれる前記起点の位置、前記破壊モード、前記亀裂進展方向及び前記材質と一致するように、前記起点推定モデルのパラメータと、前記破壊モード推定モデルのパラメータと、前記亀裂進展方向推定モデルのパラメータと、前記材質推定モデルのパラメータとを学習し、前記亀裂進展方向推定部は、前記入力画像と、前記学習部により予め学習された前記亀裂進展方向推定モデルとに基づいて、前記入力画像に含まれる物質の破断面における亀裂進展方向を推定し、前記材質推定部は、前記入力画像と、前記学習部により予め学習された前記材質推定モデルとに基づいて、前記入力画像に含まれる物質の材質を推定することができる。

また、本発明に係る破断面状態推定装置の前記画像入力部は、撮影条件が異なる複数の入力画像であって、同一の破断面を含む複数の入力画像を受け付け、前記起点推定モデルは、同一の破断面を含む複数の画像に含まれる前記物質の破断面における前記起点の位置を推定し、前記起点推定部は、前記複数の入力画像と、前記起点推定モデルとに基づいて、前記複数の入力画像に含まれる前記物質の破断面における前記起点の位置を推定し、前記破壊モード推定モデルは、同一の破断面を含む複数の画像に含まれる前記物質の破断面の破壊モードを推定し、前記破壊モード推定部は、前記複数の入力画像と、前記破壊モード推定モデルとに基づいて、前記複数の入力画像に含まれる前記物質の破断面の破壊モードを推定することができる。

また、本発明に係る破断面状態推定装置の前記撮影条件は、観察角度又は電子顕微鏡の電圧であるとすることができる。

本発明に係るプログラムは、コンピュータを、上記の破断面状態推定装置の各部として機能させるためのプログラムである。

本発明の破断面状態推定装置、破断面状態推定方法、及びプログラムによれば、破断面を含む画像から精度良く破断面の状態を推定することができる。

本発明の実施の形態に係る破断面推定モデル学習装置の構成を示す概略図である。起点の位置と亀裂進展方向とが分かっている画像の例を示す図である。破断面上に生じるひび割れ模様の例を示す模式図である。加速電圧により変化する観察深さの例を示す図である。本発明の実施の形態に係る破断面推定モデル学習装置の破断面推定モデル学習処理ルーチンを示すフローチャートである。本発明の実施の形態に係る破断面状態推定装置の構成を示す概略図である。本発明の第２の実施の形態に係る破断面状態推定装置の破断面状態推定処理ルーチンを示すフローチャートである。従来の破断面観察の一例を示すイメージ図である。

以下、本発明の実施の形態について図面を用いて説明する。
＜本発明の実施の形態に係る破断面推定モデル学習装置の構成＞
図１を参照して、本発明の実施の形態に係る破断面推定モデル学習装置１０の構成について説明する。図１は、本発明の実施の形態に係る破断面推定モデル学習装置１０の構成を示すブロック図である。

破断面推定モデル学習装置１０は、ＣＰＵと、ＲＡＭと、後述する破断面推定モデル学習処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。

図１に示すように、本実施形態に係る破断面推定モデル学習装置１０は、画像データ入力部１００と、データ処理部１１０と、特徴点推定部１２０と、学習部１３０と、モデル記憶部１４０とを備えて構成される。

画像データ入力部１００は、物質の破断面を含む複数の学習画像と、複数の学習画像の各々について、当該学習画像における物質の破断の生じた起点の位置と、当該学習画像における破壊進展方向と、当該学習画像に含まれる物質の破断面の破壊モードと、当該学習画像における物質の材質との組からなる画像データの入力を受け付ける。

具体的には、学習画像は、図２に示すように、起点の位置と亀裂進展方向とが分かっている画像を用いる。起点の位置は、当該学習画像上の任意の位置を原点とした場合における座標である。起点が当該学習画像に含まれていない場合には、当該学習画像外の座標を示すように指定する。例えば、起点が当該学習画像に含まれていない場合、学習画像の左上を原点、右下を正の値の方向とした場合に、起点の位置を示す座標が負の値を取るように指定する。

また、亀裂進展方向は、起点の位置から、何れの方向に亀裂が進んでいるかを示す方向ベクトルである。亀裂の進展の強さ、度合いにより、方向ベクトルの要素の値が定められている。亀裂の進展が放射状や円弧状に進む場合があるため、方向ベクトルには、亀裂の進展方向の中心の方向ベクトルと進展の広がりを示す角とが含まれる。

物質の破断面には、疲労破壊、延性破壊、脆性破壊、応力腐食割れ、遅れ破壊、クリープ破壊、環境応力割れ等の破壊モードが存在し、この破壊モードは一般に、起点及び亀裂の形状・模様に基づいて判断される。画像データには、学習画像における破断面について、このように既に判断された破壊モードが含まれる。また、画像データには、当該学習画像における物質の材質が含まれる。例えば、黄銅、ステンレス鋼、樹脂、はんだ等の材質である。

そして、画像データ入力部１００は、受け付けた画像データを、データ処理部１１０に渡す。

データ処理部１１０は、画像データに含まれる複数の学習画像の各々について、異なる撮影条件で撮影されたときに得られる擬似的な画像を生成する。具体的には、データ処理部１１０は、コントラスト変更部１１１と、観察深度変更部１１２と、観察範囲変更部１１３と、観察倍率変更部１１４とを備えて構成される。

ここで、撮影条件は、観察角度又は電子顕微鏡の電圧である。観察角度とは、破断面を撮影する角度であり、人手で観察角度を変えた破断面の画像を用いることにより起点を探す際に用いられている。本実施の形態では、このような同一の破断面に対して観察角度が異なる複数の画像を生成して破断面状態モデルの学習に用いる。なぜなら、実際に目視により観察する際には、光線に対して破断面の向き（観察角度）を色々変えることにより、破断面全体の等高線を把握することができる。破断面上に生じる等高線（図３中のラテットマークや放射状模様等）は、破断面の細かい凹凸による光学的なコントラストによるものである。その等高線を把握する際、照明の状態が重要になる。照明の方向は破断面に垂直よりも斜め方向に照射する方が、有効な場合が多い。そして、破断面全体の等高線がわかれば、凹部のつながりや、等高線のパターンから、ひび割れの進展方向がわかる。破断面のひび割れ模様の多くは、線対称、同心円状等、規則性があるため、そのひび割れ模様の開始点や中心が起点となる。このようにして、同一の破断面に対して観察角度が異なる複数の画像を生成して学習に用いることにより、様々な観察角度で撮影された画像に対しても、起点の位置や破壊モード等の破断面の状態を推定することができるにようしようとするのである。

また、電子顕微鏡の電圧を変化させることにより、観察深さが変化する。観察深さとは、ＳＥＭ等の電子顕微鏡における焦点の深さである（図４）。観察角度の場合と同様に、同一の破断面に対して電子顕微鏡の電圧が異なる複数の画像を生成して学習に用いることにより、電子顕微鏡の様々な電圧で撮影された画像に対しても、起点の位置や破壊モード等の破断面の状態を推定することができるにようしようとするのである。

コントラスト変更部１１１は、複数の学習画像の各々について、当該学習画像のコントラストを変更することにより、異なる観察角度で撮影されたときに得られる擬似的な画像を生成する。

観察深度変更部１１２は、複数の学習画像の各々について、当該学習画像の観察深さを変更することにより、電子顕微鏡の異なる電圧を印加して撮影されたときに得られる擬似的な画像を生成する。

観察範囲変更部１１３は、画像データに含まれる複数の学習画像の各々、コントラスト変更部１１１により生成された擬似的な画像の各々、及び観察深度変更部１１２により生成された擬似的な画像の各々について、当該画像の複製し、複製した画像を分割することにより、観察範囲変更画像を生成する。観察範囲変更部１１３は、生成した観察範囲変更画像の各々について、当該観察範囲変更画像に対応する起点の位置等の情報を付加し、画像データに含める。そして、観察範囲変更部１１３は、画像データを観察倍率変更部１１４に渡す。

観察倍率変更部１１４は、画像データに含まれる複数の学習画像の各々、コントラスト変更部１１１により生成された擬似的な画像の各々、観察深度変更部１１２により生成された擬似的な画像の各々、及び観察範囲変更部１１３により生成された観察範囲変更画像の各々について、当該画像を複製し、複製した画像を拡大又は縮小することにより、観察倍率変更画像を生成する。観察倍率変更部１１４は、生成した観察倍率変更画像の各々について、当該観察倍率変更画像に対応する起点の位置等の情報を付加し、画像データに含める。そして、観察倍率変更部１１４は、画像データを特徴点推定部１２０に渡す。

特徴点推定部１２０は、画像データに含まれる複数の学習画像の各々、コントラスト変更部１１１により生成された擬似的な画像の各々、観察深度変更部１１２により生成された擬似的な画像の各々、観察範囲変更部１１３により生成された観察範囲変更画像の各々、及び観察倍率変更部１１４により生成された観察倍率変更画像の各々を教師画像とし、当該教師画像に含まれる物質の破断面における、物質の破断の生じた起点の位置、亀裂進展方向、破壊モード、及び物質の材質を推定する。具体的には、特徴点推定部１２０は、起点推定部１２１と、破壊モード推定部１２２と、亀裂進展方向推定部１２３と、材質推定部１２４とを備えて構成される。

起点推定部１２１は、教師画像の各々について、当該教師画像と、画像に含まれる物質の破断面における、物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、教師画像に含まれる物質の破断面における起点の位置を推定する。具体的には、起点推定部１２１は、まず、モデル記憶部１４０から、起点推定モデルのパラメータを取得する。ここで、起点推定モデルには、例えばニューラルネットワークを用いることができる。次に、起点推定部１２１は、教師画像を起点推定モデルに入力して、起点の位置を推定する。そして、起点推定部１２１は、推定した起点の位置を学習部１３０に渡す。

破壊モード推定部１２２は、教師画像の各々について、当該教師画像と、画像に含まれる物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、教師画像に含まれる前記物質の破断面の破壊モードを推定する。具体的には、破壊モード推定部１２２は、まず、モデル記憶部１４０から、破壊モード推定モデルのパラメータを取得する。ここで、破壊モード推定モデルには、例えばニューラルネットワークを用いることができる。次に、破壊モード推定部１２２は、教師画像を破壊モード推定モデルに入力して、破壊モードを推定する。そして、破壊モード推定部１２２は、推定した破壊モードを学習部１３０に渡す。

亀裂進展方向推定部１２３は、教師画像の各々について、当該教師画像と、画像に含まれる物質の破断面における亀裂進展方向を推定するモデルである亀裂進展方向推定モデルとに基づいて、教師画像に含まれる物質の破断面における亀裂進展方向を推定する。具体的には、亀裂進展方向推定部１２３は、まず、モデル記憶部１４０から、亀裂進展方向推定モデルのパラメータを取得する。ここで、亀裂進展方向推定モデルには、例えばニューラルネットワークを用いることができる。次に、亀裂進展方向推定部１２３は、教師画像を亀裂進展方向推定モデルに入力して、亀裂進展方向を推定する。そして、亀裂進展方向推定部１２３は、推定した亀裂進展方向を学習部１３０に渡す。

材質推定部１２４は、教師画像の各々について、当該教師画像と、画像に含まれる物質の材質を推定するモデルである材質推定モデルとに基づいて、教師画像に含まれる物質の材質を推定する。具体的には、材質推定部１２４は、まず、モデル記憶部１４０から、材質推定モデルのパラメータを取得する。ここで、材質推定モデルには、例えばニューラルネットワークを用いることができる。次に、材質推定部１２４は、教師画像を材質推定モデルに入力して、物質の材質を推定する。そして、材質推定部１２４は、推定した物質の材質を学習部１３０に渡す。

学習部１３０は、教師画像の各々について、起点推定部１２１により推定された当該教師画像の起点の位置、破壊モード推定部１２２により推定された当該教師画像に含まれる物質の破断面の破壊モード、亀裂進展方向推定部１２３により推定された、当該教師画像に含まれる物質の破断面における亀裂進展方向、及び材質推定部１２４により推定された、当該教師画像に含まれる物質の材質が、当該教師画像における起点の位置、破壊モード、亀裂進展方向及び材質と一致するように、起点推定モデルのパラメータと、破壊モード推定モデルのパラメータと、亀裂進展方向推定モデルのパラメータと、材質推定モデルのパラメータとを学習する。

具体的には、学習部１３０は、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルの各々が、正解である画像データから得られる、当該教師画像における起点の位置、破壊モード、亀裂進展方向及び材質を正しく推定することができるように、誤差逆伝搬法等の学習法を用いて、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルのパラメータを同時に学習する。すなわち、起点の位置、破壊モード、亀裂進展方向、物質の材質の相関関係を加味して、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルが互いに正しく推定することができるように、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルのパラメータを学習する。そして、学習部１３０は、撮影条件毎に学習した各推定モデルのパラメータを、モデル記憶部１４０に格納する。

学習部１３０は、所定の終了条件を満たすまで、例えば所定の回数だけ学習処理が行われるまで、画像データ入力部１００による画像データの入力の受け付け、データ処理部による処理、特徴点推定部１２０による処理、及び学習部１３０による学習処理を繰り返す。

モデル記憶部１４０には、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルのパラメータが格納されている。

＜本発明の実施の形態に係る破断面推定モデル学習装置の作用＞
図５は、本発明の実施の形態に係る破断面推定モデル学習処理ルーチンを示すフローチャートである。

画像データ入力部１００に画像データが入力されると、破断面推定モデル学習装置１０において、図５に示す破断面推定モデル学習処理ルーチンが実行される。

まず、ステップＳ１００において、画像データ入力部１００は、撮影条件が異なる複数の学習画像であって、物質の同一の破断面を含む複数の学習画像と、複数の学習画像の各々について、当該学習画像における物質の破断の生じた起点の位置と、当該学習画像における破壊進展方向と、当該学習画像に含まれる物質の破断面の破壊モードと、当該学習画像における物質の材質との組からなる画像データの入力を受け付ける。

ステップＳ１１０において、コントラスト変更部１１１は、数の学習画像の各々について、当該学習画像のコントラストを変更することにより、異なる観察角度で撮影されたときに得られる擬似的な画像を生成する。

ステップＳ１２０において、観察深度変更部１１２は、複数の学習画像の各々について、当該学習画像の観察深さを変更することにより、電子顕微鏡の異なる電圧を印加して撮影されたときに得られる擬似的な画像を生成する。

ステップＳ１３０において、観察範囲変更部１１３は、画像データに含まれる複数の学習画像の各々、コントラスト変更部１１１により生成された擬似的な画像の各々、及び観察深度変更部１１２により生成された擬似的な画像の各々について、当該画像の複製し、複製した画像を分割することにより、観察範囲変更画像を生成する。

ステップＳ１４０において、観察倍率変更部１１４は、画像データに含まれる複数の学習画像の各々、コントラスト変更部１１１により生成された擬似的な画像の各々、観察深度変更部１１２により生成された擬似的な画像の各々、及び観察範囲変更部１１３により生成された観察範囲変更画像の各々について、当該画像を複製し、複製した画像を拡大又は縮小することにより、観察倍率変更画像を生成する。

ステップＳ１５０において、起点推定部１２１、破壊モード推定部１２２、亀裂進展方向推定部１２３、及び材質推定部１２４は、モデル記憶部１４０から、それぞれ起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルのパラメータを取得する。

ステップＳ１６０において、起点推定部１２１は、教師画像の各々について、当該教師画像と、画像に含まれる物質の破断面における、物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、教師画像に含まれる物質の破断面における起点の位置を推定する。

ステップＳ１７０において、破壊モード推定部１２２は、教師画像の各々について、当該教師画像と、画像に含まれる物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、教師画像に含まれる前記物質の破断面の破壊モードを推定する。

ステップＳ１８０において、亀裂進展方向推定部１２３は、教師画像の各々について、当該教師画像と、画像に含まれる物質の破断面における亀裂進展方向を推定するモデルである亀裂進展方向推定モデルとに基づいて、教師画像に含まれる物質の破断面における亀裂進展方向を推定する。

ステップＳ１９０において、材質推定部１２４は、教師画像の各々について、当該教師画像と、画像に含まれる物質の材質を推定するモデルである材質推定モデルとに基づいて、教師画像に含まれる物質の材質を推定する。

ステップＳ２００において、学習部１３０は、教師画像の各々について、起点推定部１２１により推定された当該教師画像の起点の位置、破壊モード推定部１２２により推定された当該教師画像に含まれる物質の破断面の破壊モード、亀裂進展方向推定部１２３により推定された、当該教師画像に含まれる物質の破断面における亀裂進展方向、及び材質推定部１２４により推定された、当該教師画像に含まれる物質の材質が、当該教師画像における起点の位置、破壊モード、亀裂進展方向及び材質と一致するように、起点推定モデルのパラメータと、破壊モード推定モデルのパラメータと、亀裂進展方向推定モデルのパラメータと、材質推定モデルのパラメータとを学習する。

ステップＳ２１０において、学習部１３０は、上記ステップＳ２００により学習された起点推定モデルのパラメータと、破壊モード推定モデルのパラメータと、亀裂進展方向推定モデルのパラメータと、材質推定モデルのパラメータとを、モデル記憶部１４０に格納する。

ステップＳ２２０において、学習部１３０は、所定の終了条件を満たしているか否かを判定する。

終了条件を満たしていない場合（上記ステップＳ２２０のＮＯ）、ステップＳ１５０に戻り、ステップＳ１５０～Ｓ２１０の処理を繰り返す。一方、終了条件を満たしている場合（上記ステップＳ２２０のＹＥＳ）、処理を終了する。

以上説明したように、本発明の実施形態に係る破断面推定モデル学習装置によれば、物質の破断面を含む学習画像と、当該学習画像における物質の破断の生じた起点の位置と、当該学習画像に含まれる物質の破断面の破壊モードとの組からなる画像データの入力を受け付け、撮影条件毎に、画像に含まれる物質の破断面における、前記物質の破断の生じた起点の位置を推定する起点推定モデルにより推定した当該学習画像の起点の位置と画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定モデルにより推定した当該学習画像に含まれる物質の破断面の破壊モードとが、画像データに含まれる起点の位置及び破壊モードと一致するように、起点推定モデルのパラメータと破壊モード推定モデルのパラメータとを学習することにより、破断面を含む画像から精度良く破断面の状態を推定するための破断面推定モデルを学習することができる。

＜本発明の実施の形態に係る破断面状態推定装置の構成＞
図６を参照して、本発明の実施の形態に係る破断面状態推定装置２０の構成について説明する。図６は、本発明の実施の形態に係る破断面状態推定装置２０の構成を示すブロック図である。なお、上記破断面推定モデル学習装置１０と同様の構成については、同一の符号を付して詳細な説明は省略する。

破断面状態推定装置２０は、ＣＰＵと、ＲＡＭと、後述する破断面状態推定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。

図６に示すように、本実施形態に係る破断面状態推定装置２０は、画像入力部２００と、特徴点推定部１２０と、モデル記憶部１４０と、出力部２５０とを備えて構成される。

モデル記憶部１４０には、破断面推定モデル学習装置１０により予め学習された起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルのパラメータが格納されている。

画像入力部２００は、物質の破断面を含む入力画像の入力を受け付ける。そして、画像入力部２００は、受け付けた入力画像を、特徴点推定部１２０に渡す。破断面状態推定装置２０において、特徴点推定部１２０は、起点推定部１２１、破壊モード推定部１２２、亀裂進展方向推定部１２３、及び材質推定部１２４による推定結果を、出力部２５０に渡す。

出力部２５０は、推定結果を出力する。

＜本発明の実施の形態に係る破断面状態推定装置の作用＞
図７は、本発明の実施の形態に係る破断面状態推定処理ルーチンを示すフローチャートである。

画像入力部２００に入力画像が入力されると、破断面状態推定装置２０において、図７に示す破断面状態推定処理ルーチンが実行される。

まず、ステップＳ３００において、画像入力部２００は、物質の破断面を含む入力画像の入力を受け付ける。

ステップＳ３３０において、出力部２５０は、上記ステップＳ１６０～Ｓ１９０により得られた推定結果を出力する。

以上説明したように、本発明の実施形態に係る破断面状態推定装置によれば、入力画像と、予め学習された、画像に含まれる物質の破断面における、物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、入力画像に含まれる物質の破断面における起点の位置を推定し、入力画像と、予め学習された、画像に含まれる物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、入力画像に含まれる物質の破断面の破壊モードを推定することにより、破断面を含む画像から精度良く破断面の状態を推定することができる。

このような破断面状態推定装置を用いれば、例えば、破断面を解析する際に、ＳＥＭにより破断面を走査して撮影している場合に、適宜破断面状態推定装置により起点の位置を推定して、走査位置を起点周辺に移動させ、効率的に撮影することができる。

また、破壊モードが同じであれば、破断面に現れる形態も同じであるため、学習画像に用いた材質が異なる場合であっても、破壊モードを精度良く推定することができる。例えば、材質が鉄鋼のみの学習画像を用いて学習された破壊モード推定モデルを用いても、他の材質の破断面を含む入力画像に対して、精度良く破壊モードを推定することができる。

なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上述の起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルの各々は、一つの画像を入力とする場合を例に説明したが、これに限定するものではない。例えば、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルの各々は、撮影条件が異なる複数の画像であって、同一の破断面を含む複数の画像を入力とするようにしてもよい。

この場合、破断面推定モデル学習装置により、画像データに含まれる学習画像と、コントラスト変更部１１１により当該学習画像から生成された擬似的な画像の各々と、観察深度変更部１１２により当該学習画像から生成された擬似的な画像の各々とを、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルの各々に入力して、起点の位置、亀裂進展方向、破壊モード、及び物質の材質を推定するようにすればよい。

また、破断面推定装置は、撮影条件が異なる複数の入力画像であって、同一の破断面を含む複数の入力画像を受け付け、受け付けた複数の入力画像を、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルの各々に入力して、起点の位置、亀裂進展方向、破壊モード、及び物質の材質を推定するようにすればよい。ここで、撮影条件が、撮影角度である場合には、通常、撮影角度が異なる入力画像間で、画素単位のずれが生じているため、従来既知の手法を用いて、画素単位のずれを補正するように幾何変換を行い、幾何変換後の入力画像を、起点推定モデル、破壊モード推定モデル、亀裂進展方向推定モデル、及び材質推定モデルの各々に入力するようにすればよい。

このように、撮影条件が異なる複数の入力画像であって、同一の破断面を含む複数の入力画像と、予め学習された、同一の破断面を含む複数の画像に含まれる物質の破断面における起点の位置を推定する起点推定モデルとに基づいて、複数の入力画像に含まれる物質の破断面における起点の位置を推定し、複数の入力画像と、予め学習された、同一の破断面を含む複数の画像に含まれる物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、入力画像に含まれる物質の破断面の破壊モードを推定することにより、破断面を含む画像から精度良く破断面の状態を推定することができる。

すなわち、同一の破断面に対して、様々な観察角度や観察深さで撮影された複数の入力画像を用いることにより、起点の位置や破壊モード等の当該破断面の状態をより精度良く推定することができる。

また、上述の実施の形態では、破断面推定モデル学習装置と破断面状態推定装置とを別の装置として構成したが、これに限定されるものではなく、同一の装置として構成してもよい。

また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。

１０破断面推定モデル学習装置
２０破断面状態推定装置
１００画像データ入力部
１１０データ処理部
１１１コントラスト変更部
１１２観察深度変更部
１１３観察範囲変更部
１１４観察倍率変更部
１２０特徴点推定部
１２１起点推定部
１２２破壊モード推定部
１２３亀裂進展方向推定部
１２４材質推定部
１３０学習部
１４０モデル記憶部
２００画像入力部
２５０出力部

Claims

物質の破断面を含む入力画像の入力を受け付ける画像入力部と、
前記入力画像と、予め学習された、画像に含まれる物質の破断面における、前記物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面における前記起点の位置を推定する起点推定部と、
前記入力画像と、予め学習された、画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定部と、
を備え、
前記起点推定モデル及び前記破壊モード推定モデルの各々が、
物質の破断面を含む学習画像、前記学習画像における前記物質の破断の生じた起点の位置、及び前記学習画像に含まれる前記物質の破断面の破壊モードの組からなる画像データと、データ処理により前記学習画像から生成された、前記学習画像を異なる撮影条件で撮影されたときに得られる擬似的な画像とに基づいて、学習され、
前記擬似的な画像が、前記学習画像のコントラストを変更することにより異なる観察角度で撮影されたときに得られる擬似的な画像であるか、又は、前記学習画像の観察深さを変更することにより電子顕微鏡の異なる電圧を印加して撮影されたときに得られる擬似的な画像である、
破断面状態推定装置。
物質の破断面を含む入力画像の入力を受け付ける画像入力部と、
前記入力画像と、予め学習された、画像に含まれる物質の破断面における、前記物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面における前記起点の位置を推定する起点推定部と、
前記入力画像と、予め学習された、画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定部と、
物質の破断面を含む学習画像と、前記学習画像における前記物質の破断の生じた起点の位置と、前記学習画像に含まれる前記物質の破断面の破壊モードとの組からなる画像データの入力を受け付ける画像データ入力部と、
前記起点推定モデルにより推定した前記学習画像の前記起点の位置と前記破壊モード推定モデルにより推定した前記学習画像に含まれる前記物質の破断面の破壊モードとが、前記画像データに含まれる前記起点の位置及び前記破壊モードと一致するように、前記起点推定モデルのパラメータと前記破壊モード推定モデルのパラメータとを学習する学習部と、
前記画像データ入力部により受け付けた画像データの学習画像を、異なる撮影条件で撮影されたときに得られる擬似的な画像に変更するデータ処理部と、
を備え、
前記起点推定部は、前記入力画像と、前記学習部により予め学習された前記起点推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面における前記起点の位置を推定し、
前記破壊モード推定部は、前記入力画像と、前記学習部により予め学習された前記破壊モード推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面の破壊モードを推定し、
前記学習部は、前記起点推定モデルにより推定した前記擬似的な画像の前記起点の位置と前記破壊モード推定モデルにより推定した前記擬似的な画像に含まれる前記物質の破断面の破壊モードとが、前記画像データに含まれる前記起点の位置及び前記破壊モードと一致するように、前記起点推定モデルのパラメータと前記破壊モード推定モデルのパラメータとを学習し、
前記データ処理部は、前記学習画像のコントラストを変更することにより、異なる観察角度で撮影されたときに得られる擬似的な画像に変更するコントラスト変更部を、更に含む、
破断面状態推定装置。
物質の破断面を含む入力画像の入力を受け付ける画像入力部と、
前記入力画像と、予め学習された、画像に含まれる物質の破断面における、前記物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面における前記起点の位置を推定する起点推定部と、
前記入力画像と、予め学習された、画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定部と、
物質の破断面を含む学習画像と、前記学習画像における前記物質の破断の生じた起点の位置と、前記学習画像に含まれる前記物質の破断面の破壊モードとの組からなる画像データの入力を受け付ける画像データ入力部と、
前記起点推定モデルにより推定した前記学習画像の前記起点の位置と前記破壊モード推定モデルにより推定した前記学習画像に含まれる前記物質の破断面の破壊モードとが、前記画像データに含まれる前記起点の位置及び前記破壊モードと一致するように、前記起点推定モデルのパラメータと前記破壊モード推定モデルのパラメータとを学習する学習部と、
前記画像データ入力部により受け付けた画像データの学習画像を、異なる撮影条件で撮影されたときに得られる擬似的な画像に変更するデータ処理部と、
を備え、
前記起点推定部は、前記入力画像と、前記学習部により予め学習された前記起点推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面における前記起点の位置を推定し、
前記破壊モード推定部は、前記入力画像と、前記学習部により予め学習された前記破壊モード推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面の破壊モードを推定し、
前記学習部は、前記起点推定モデルにより推定した前記擬似的な画像の前記起点の位置と前記破壊モード推定モデルにより推定した前記擬似的な画像に含まれる前記物質の破断面の破壊モードとが、前記画像データに含まれる前記起点の位置及び前記破壊モードと一致するように、前記起点推定モデルのパラメータと前記破壊モード推定モデルのパラメータとを学習し、
前記データ処理部は、前記学習画像の観察深さを変更することにより、電子顕微鏡の異なる電圧を印加して撮影されたときに得られる擬似的な画像に変更する観察深度変更部を、更に含む、
破断面状態推定装置。
亀裂進展方向推定部と、
材質推定部と、
を更に含み、
前記画像データは、更に、前記学習画像に含まれる前記物質の破断面における亀裂進展方向、及び前記学習画像に含まれる前記物質の材質を含み、
前記学習部は、前記撮影条件毎に、前記起点推定モデルにより推定した前記学習画像の前記起点の位置、前記破壊モード推定モデルにより推定した前記学習画像に含まれる前記物質の破断面の破壊モード、画像に含まれる物質の破断面における亀裂進展方向を推定するモデルである亀裂進展方向推定モデルにより推定した、前記学習画像に含まれる前記物質の破断面における亀裂進展方向、及び画像に含まれる物質の材質を推定するモデルである材質推定モデルにより推定した、前記学習画像に含まれる前記物質の材質が、前記画像データに含まれる前記起点の位置、前記破壊モード、前記亀裂進展方向及び前記材質と一致するように、前記起点推定モデルのパラメータと、前記破壊モード推定モデルのパラメータと、前記亀裂進展方向推定モデルのパラメータと、前記材質推定モデルのパラメータとを学習し、
前記亀裂進展方向推定部は、前記入力画像と、前記学習部により予め学習された前記亀裂進展方向推定モデルとに基づいて、前記入力画像に含まれる物質の破断面における亀裂進展方向を推定し、
前記材質推定部は、前記入力画像と、前記学習部により予め学習された前記材質推定モデルとに基づいて、前記入力画像に含まれる物質の材質を推定する
請求項２又は請求項３に記載の破断面状態推定装置。
前記画像入力部は、撮影条件が異なる複数の入力画像であって、同一の破断面を含む複数の入力画像を受け付け、
前記起点推定モデルは、同一の破断面を含む複数の画像に含まれる前記物質の破断面における前記起点の位置を推定し、
前記起点推定部は、前記複数の入力画像と、前記起点推定モデルとに基づいて、前記複数の入力画像に含まれる前記物質の破断面における前記起点の位置を推定し、
前記破壊モード推定モデルは、同一の破断面を含む複数の画像に含まれる前記物質の破断面の破壊モードを推定し、
前記破壊モード推定部は、前記複数の入力画像と、前記破壊モード推定モデルとに基づいて、前記複数の入力画像に含まれる前記物質の破断面の破壊モードを推定する
請求項１から請求項３までのいずれか１項に記載の破断面状態推定装置。
前記撮影条件は、観察角度又は電子顕微鏡の電圧である請求項５に記載の破断面状態推定装置。
画像入力部が、物質の破断面を含む入力画像の入力を受け付け、
起点推定部が、前記入力画像と、予め学習された、画像に含まれる物質の破断面における、前記物質の破断の生じた起点の位置を推定する起点推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面における前記起点の位置を推定し、
破壊モード推定部が、前記入力画像と、予め学習された、画像に含まれる前記物質の破断面の破壊モードを推定する破壊モード推定モデルとに基づいて、前記入力画像に含まれる前記物質の破断面の破壊モードを推定し、
前記起点推定モデル及び前記破壊モード推定モデルの各々が、
物質の破断面を含む学習画像、前記学習画像における前記物質の破断の生じた起点の位置、及び前記学習画像に含まれる前記物質の破断面の破壊モードの組からなる画像データと、データ処理により前記学習画像から生成された、前記学習画像を異なる撮影条件で撮影されたときに得られる擬似的な画像とに基づいて、学習され、
前記擬似的な画像が、前記学習画像のコントラストを変更することにより異なる観察角度で撮影されたときに得られる擬似的な画像であるか、又は、前記学習画像の観察深さを変更することにより電子顕微鏡の異なる電圧を印加して撮影されたときに得られる擬似的な画像である、
破断面状態推定方法。
コンピュータを、請求項１乃至請求項６の何れか１項記載の破断面状態推定装置の各部として機能させるためのプログラム。