JP7306631B2 - 粒子解析方法、機械学習装置、粒子解析装置、および粒子解析システム - Google Patents

Description

本発明は、粒子解析方法、機械学習装置、粒子解析装置、および粒子解析システムに関する。

鉄鋼内部の粒子（介在物）の種類を特定する手法として、粒子解析が知られている。粒子解析では、例えば、電子顕微鏡で粒子の形状の情報を取得し、ＥＤＳ検出器を用いて粒子の組成情報を取得する（例えば、特許文献１参照）。粒子の組成情報から、粒子の種類を特定できる。

特開２０１５－１４８４９９号公報

上述した粒子解析では、ＥＤＳ検出器等を用いて元素分析を行い、粒子の組成情報を取得した。しかしながら、元素分析には時間がかかるため、短時間で粒子解析を行うことができない。

（１）本発明に係る粒子解析方法の一態様は、
分析装置を用いて粒子を含む学習用の試料を撮影して、学習用の粒子像を取得する工程と、
前記分析装置を用いて、前記学習用の試料中の粒子の元素分析を行う工程と、
前記元素分析の結果に基づいて、前記学習用の粒子像に粒子の種類を表すラベルを付与する工程と、
前記ラベルが付与された前記学習用の粒子像を用いて機械学習を行い、学習モデルを生成する工程と、
観察装置を用いて粒子を含む粒子解析用の試料を撮影して、粒子解析用の粒子像を取得する工程と、
前記粒子解析用の粒子像を前記学習モデルに入力することによって、粒子の種類を特定する工程と、
を含む。

このような粒子解析方法では、粒子像を学習モデルに入力することによって粒子の種類を特定するため、元素分析を行うことなく粒子解析ができる。したがって、粒子解析を短時間で行うことができる。

（２）本発明に係る機械学習装置の一態様は、
粒子を含む学習用の試料の撮影、および、前記学習用の試料中の粒子の元素分析を行う分析装置と、
前記分析装置を用いて前記学習用の試料を撮影して取得した学習用の粒子像に、前記元素分析の結果に基づいて、粒子の種類を表すラベルを付与するラベル付与部と、
前記ラベルが付与された前記学習用の粒子像を用いて機械学習を行い、学習モデルを生成する学習モデル生成部と、
を含む。

このような機械学習装置では、ラベルを付した粒子像を生成して機械学習を行い、学習モデルを生成することができる。そのため、このような機械学習装置では、例えばユーザーがラベル付けを行う必要がなく、容易に学習モデルを生成できる。

（３）本発明に係る粒子解析装置の一態様は、
粒子を含む粒子解析用の試料の撮影を行う観察装置と、
前記観察装置を用いて前記粒子解析用の試料を撮影して取得した粒子解析用の粒子像を学習モデルに入力することによって、粒子の種類を特定する粒子解析部と、
を含み、
前記学習モデルは、
分析装置を用いて粒子を含む学習用の試料を撮影して学習用の粒子像を取得し、前記分析装置を用いて前記学習用の試料中の粒子の元素分析を行い、前記元素分析の結果に基づいて前記学習用の粒子像に粒子の種類を表すラベルを付与し、前記ラベルが付与された前記学習用の粒子像を用いて機械学習を行い生成された学習モデルである。

このような粒子解析装置では、粒子像を学習モデルに入力することによって粒子の種類を特定するため、元素分析を行うことなく粒子解析ができる。したがって、粒子解析を短時間で行うことができる。

（４）本発明に係る粒子解析システムの一態様は、
機械学習装置と、
粒子解析装置と、
を含み、
前記機械学習装置は、
粒子を含む学習用の試料の撮影、および、前記学習用の試料中の粒子の元素分析を行う分析装置と、
前記分析装置を用いて前記学習用の試料を撮影して取得した学習用の粒子像に、前記元素分析の結果に基づいて、粒子の種類を表すラベルを付与するラベル付与部と、
前記ラベルが付与された前記学習用の粒子像を用いて機械学習を行い、学習モデルを生成する学習モデル生成部と、
を含み、
前記粒子解析装置は、
粒子を含む粒子解析用の試料の撮影を行う観察装置と、
前記観察装置を用いて前記粒子解析用の試料を撮影して取得した粒子解析用の粒子像を前記学習モデルに入力することによって、粒子の種類を特定する粒子解析部と、
を含む。

このような粒子解析システムでは、粒子像を学習モデルに入力することによって粒子の種類を特定するため、元素分析を行うことなく粒子解析ができる。したがって、粒子解析を短時間で行うことができる。

第１実施形態に係る粒子解析システムの構成を示す図。 第１情報処理装置の構成を示す図。 第２情報処理装置の構成を示す図。 粒子解析方法の一例を示すフローチャート。 学習モデルを生成する工程の一例を示すフローチャート。 学習用の試料像の一例を示す図。 試料像から粒子を抽出する方法を説明するための図。 粒子像の一例を示す図。 分類条件の一例を示す表。 粒子像にラベルを付与した結果を示す図。 学習モデルを用いて粒子解析を行う工程の一例を示すフローチャート。 学習モデルを用いた粒子解析を説明するための図。 粒子解析の結果を示す表。 第１情報処理装置の処理部の処理の一例を示すフローチャート。 第２情報処理装置の処理部の処理の一例を示すフローチャート。 第２実施形態に係る粒子解析システムの構成を示す図。

以下、本発明の好適な実施形態について図面を用いて詳細に説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。

１． 第１実施形態
１．１． 粒子解析システム
まず、第１実施形態に係る粒子解析システムについて図面を参照しながら説明する。図１は、第１実施形態に係る粒子解析システム１００の構成を示す図である。

粒子解析システム１００では、試料中の粒子の種類を特定する粒子解析を行う。粒子解析の対象となる試料は、粒子の形状と粒子の種類（組成）とに相関があるものである。粒子解析の対象となる試料は、例えば、鉄鋼である。粒子解析システム１００では、鉄鋼中の粒子（介在物）の種類を特定することができる。粒子の形状情報は、例えば、粒子を電子顕微鏡や光学顕微鏡で観察することで得ることができる。粒子の形状情報は、粒子の面積、粒子の絶対最大長、粒子の幅、粒子の円形度、粒子のアスペクト比などの情報を含む。

粒子解析システム１００は、図１に示すように、機械学習装置２と、粒子解析装置４と、を含む。

１．１．１． 機械学習装置
機械学習装置２は、学習用のデータセットを作成し、作成したデータセットを用いて機械学習を行い、学習モデルを生成する。機械学習装置２は、分析装置１０と、第１情報処理装置１２と、を含む。

分析装置１０は、学習用の試料の撮影、および学習用の試料中の粒子の元素分析を行う。分析装置１０は、例えば、元素分析装置が搭載された走査電子顕微鏡である。元素分析装置としては、例えば、ＥＤＳ検出器を用いることができる。この場合、分析装置１０では、試料像としてのＳＥＭ像と、粒子の元素分析の結果としてのＥＤＳスペクトルと、を取得できる。ＳＥＭ像は、走査電子顕微鏡で取得可能な像であり、例えば、２次電子像や、反射電子像を含む。試料像は、粒子の形状を確認しやすい反射電子像であることが望ましい。

分析装置１０で取得された試料像および元素分析の結果は、ＬＡＮ等のネットワークを介して第１情報処理装置１２に送られる。

図２は、第１情報処理装置１２の構成を示す図である。第１情報処理装置１２は、処理部１２０と、操作部１３０と、表示部１３２と、記憶部１３４と、を含む。

操作部１３０は、ユーザーが操作情報を入力するためのものであり、入力された操作情報を処理部１２０に出力する。操作部１３０の機能は、キーボード、マウス、ボタン、タッチパネル、タッチパッドなどのハードウェアにより実現することができる。

表示部１３２は、処理部１２０によって生成された画像を表示する。表示部１３２の機
能は、ＬＣＤ、ＣＲＴ、操作部１３０としても機能するタッチパネルなどにより実現できる。

記憶部１３４は、処理部１２０の各部としてコンピュータを機能させるためのプログラムや各種データを記憶している。また、記憶部１３４は、処理部１２０のワーク領域としても機能する。記憶部１３４の機能は、ハードディスク、ＲＡＭ（Random Access Memory）などにより実現できる。

処理部１２０（コンピュータ）の機能は、各種プロセッサ（ＣＰＵ、ＤＳＰ等）などのハードウェアで、プログラムを実行することにより実現できる。処理部１２０は、分析装置制御部１２１と、粒子像生成部１２２と、スペクトル解析部１２３と、ラベル付与部１２４と、学習モデル生成部１２５と、を含む。

分析装置制御部１２１は、分析装置１０を制御する処理を行う。分析装置制御部１２１は、例えば、分析装置１０に試料像の撮影を行わせる処理や、分析装置１０に元素分析を行わせる処理を行う。

粒子像生成部１２２は、分析装置１０で試料を撮影することで得られた試料像を取得し、試料像から粒子を抽出して粒子像を生成する。また、粒子像生成部１２２は、試料像から抽出された粒子の位置情報を取得する。粒子の位置情報は、分析装置１０の試料ステージ上での粒子の位置を特定するための情報である。

分析装置制御部１２１は、粒子の位置情報に基づいて当該粒子に電子線が照射されるように分析装置１０を制御する。これにより、分析装置１０では、試料中の粒子に電子線が照射され、ＥＤＳ検出器が粒子から発生したＸ線を検出する。この結果、粒子像に含まれる粒子の元素分析を行うことができる。

スペクトル解析部１２３は、粒子の元素分析の結果としてのスペクトルを取得し、当該スペクトルに基づいて定量分析を行う。定量分析を行うことによって、粒子の組成情報が得られる。

ラベル付与部１２４は、粒子の元素分析の結果に基づいて、粒子像に粒子の種類を表すラベルを付与する。ラベル付与部１２４は、粒子の分類条件に従って粒子像にラベルを付与する。

学習モデル生成部１２５は、ラベル付与部１２４でラベルが付与された粒子像を学習データとして機械学習を行い、粒子像から粒子の種類を特定するための学習モデルを生成する。

１．１．２． 粒子解析装置
粒子解析装置４は、粒子解析用の試料像を撮影して粒子解析用の粒子像を取得し、粒子解析用の粒子像を学習モデルに入力することによって粒子の種類を特定する。粒子解析装置４は、観察装置２０と、第２情報処理装置２２と、を含む。

観察装置２０は、粒子解析用の試料を撮影して、粒子解析用の試料像を取得する。観察装置２０は、例えば、走査電子顕微鏡である。観察装置２０では、試料像としてのＳＥＭ像を取得できる。観察装置２０で取得する試料像は、粒子の形状を確認しやすい反射電子像であることが望ましい。

観察装置２０で取得された試料像は、ＬＡＮ等のネットワークを介して第２情報処理装
置２２に送られる。

図３は、第２情報処理装置２２の構成を示す図である。第２情報処理装置２２は、処理部２２０と、操作部２３０と、表示部２３２と、記憶部２３４と、を含む。

操作部２３０は、ユーザーが操作情報を入力するためのものであり、入力された操作情報を処理部２２０に出力する。操作部２３０の機能は、キーボード、マウス、ボタン、タッチパネル、タッチパッドなどのハードウェアにより実現することができる。

表示部２３２は、処理部２２０によって生成された画像を表示する。表示部２３２の機能は、ＬＣＤ、ＣＲＴ、操作部２３０としても機能するタッチパネルなどにより実現できる。

記憶部２３４は、処理部２２０の各部としてコンピュータを機能させるためのプログラムや各種データを記憶している。また、記憶部２３４は、処理部２２０のワーク領域としても機能する。記憶部２３４の機能は、ハードディスク、ＲＡＭ（Random Access Memory）などにより実現できる。記憶部２３４には、学習モデル生成部１２５で生成された学習モデルが記憶される。

処理部２２０（コンピュータ）の機能は、各種プロセッサ（ＣＰＵ、ＤＳＰ等）などのハードウェアで、プログラムを実行することにより実現できる。処理部２２０は、観察装置制御部２２１と、粒子像生成部２２２と、粒子解析部２２３と、を含む。

観察装置制御部２２１は、観察装置２０を制御する処理を行う。観察装置制御部２２１は、例えば、観察装置２０に試料像の撮影を行わせる処理を行う。

粒子像生成部２２２は、観察装置２０で撮影された試料像を取得し、試料像から粒子を抽出して粒子解析用の粒子像を生成する。

粒子解析部２２３は、学習モデル生成部１２５で生成された学習モデルを取得し、粒子解析用の粒子像を学習モデルに入力することによって粒子像に含まれる粒子の種類を特定する。

第１情報処理装置１２と第２情報処理装置２２とは、ＬＡＮ等のネットワークを介して接続されていてもよい。

１．２． 粒子解析方法
粒子解析システム１００を用いた、粒子解析方法について説明する。図４は、粒子解析システム１００を用いた、粒子解析方法を示すフローチャートである。

粒子解析システム１００を用いた粒子解析方法は、学習モデルを生成する工程Ｓ１と、学習モデルを用いて粒子解析を行う工程Ｓ２と、を含む。以下では、鉄鋼介在物の粒子解析を行う場合について説明する。

１．２．１． 学習モデルの生成
図５は、学習モデルを生成する工程Ｓ１の一例を示すフローチャートである。

まず、分析装置１０を用いて、学習用の試料を撮影する（Ｓ１０）。学習用の試料は、鉄鋼介在物を含む鉄鋼である。分析装置１０を用いて学習用の試料を撮影することによって、学習用の試料像を取得できる。学習用の試料像は、例えば、反射電子像である。

図６は、学習用の試料像Ｉ２の一例を示す図である。学習用の試料像Ｉ２は、分析装置１０から第１情報処理装置１２に送られる。

次に、学習用の試料像Ｉ２から粒子を抽出して、学習用の粒子像を生成する（Ｓ１１）。

図７は、試料像から粒子を抽出する方法を説明するための図である。粒子の抽出は、図７に示すように、試料像Ｉ２において、所定の輝度以上を粒子、所定の輝度未満を母材として、試料像から粒子を識別することで行われる。なお、試料像から粒子を抽出する方法は、これに限定されず、公知の画像処理方法を用いてもよい。

図８は、粒子像Ｉ４の一例を示す図である。図８には、９つの粒子像Ｉ４を示している。粒子像Ｉ４を生成する際には、粒子像Ｉ４に含まれる粒子の位置情報も取得する。

次に、分析装置１０を用いて、粒子の元素分析を行う（Ｓ１２）。元素分析は、例えば、ＥＤＳ分析である。本工程では、分析装置１０において、粒子の位置情報に基づいて電子線を照射することによって粒子に電子線を照射し、粒子から発生したＸ線をＥＤＳ検出器で検出してＥＤＳスペクトルを得る。

次に、粒子の元素分析の結果としてのＥＤＳスペクトルを取得し、当該ＥＤＳスペクトルに基づいて定量分析を行い、粒子の組成情報を取得する（Ｓ１３）。

次に、粒子の元素分析の結果に基づいて、粒子像に粒子の種類を表すラベルを付与する（Ｓ１４）。本工程では、粒子の分類条件に従って粒子像にラベルを付与する。

図９は、分類条件の一例を示す表である。図９に示す例では、粒子の分類名（ラベル）として、シリケート系、タングステン系、および硫化物系が挙げられている。分類条件として、シリケート系は、Ｓｉが３０ｍａｓｓ％以上、かつ、Ｏが３０ｍａｓｓ％以上であること、タングステン系は、Ｗが５０ｍａｓｓ％以上であること、硫化物系は、Ｍｎが３０ｍａｓｓ％以上、かつ、Ｓが３０ｍａｓｓ％以上であること、が挙げられている。

すなわち、粒子の組成（すなわち定量分析の結果）が、Ｓｉが３０ｍａｓｓ％以上、かつ、Ｏが３０ｍａｓｓ％以上を満たせば、当該粒子を含む粒子像Ｉ４はシリケート系と分類される。また、粒子の組成が、Ｗが５０ｍａｓｓ％以上を満たせば、当該粒子を含む粒子像Ｉ４はタングステン系と分類される。また、粒子の組成が、Ｍｎが３０ｍａｓｓ％以上、かつ、Ｓが３０ｍａｓｓ％以上を満たせば、当該粒子を含む粒子像Ｉ４は硫化物系と分類される。このようにして、粒子像Ｉ４にラベルが付与される。

図１０は、粒子像Ｉ４にラベルを付与した結果を示す図である。粒子の組成情報を用いて、図９に示す分類条件に従って粒子像Ｉ４にラベルを付与することによって、図１０に示す結果が得られる。

上述した学習用の試料像Ｉ２を撮影する工程Ｓ１０、学習用の粒子像Ｉ４を生成する工程Ｓ１１、粒子の元素分析を行う工程Ｓ１２、粒子の組成情報を取得する工程Ｓ１３、学習用の粒子像Ｉ４にラベルを付与する工程Ｓ１４を、試料像の視野を変更しながら繰り返すことによって、学習用のデータの数を増やすことができる。これにより、多数の学習データからなる学習用のデータセットを生成できる。

なお、学習の効果を高めるために、学習用のデータセットに粒子像Ｉ４を回転させたも
のを追加してもよいし、粒子像Ｉ４をぼかしたものを追加してもよいし、輝度やコントラストを変化させた粒子像Ｉ４を追加してもよい。また、例えば、分析装置１０として、複数のチャンネルを有する多分割型反射電子検出器が搭載された走査電子顕微鏡を用いてもよい。この場合、１つの粒子像に対して、異なるチャンネルの検出信号で生成された複数の粒子像を得ることができる。当該複数の粒子像を学習用のデータセットに追加してもよい。

次に、学習モデル生成部１２５が、ラベルが付与された学習用の粒子像を用いて機械学習を行い、学習モデルを生成する（Ｓ１５）。学習モデルは、粒子像から粒子の種類を特定するためのモデルである。機械学習のアルゴリズムとしては、ニューラルネットワークを用いるが、相関関係があるデータに適した解析技術であれば機械学習のアルゴリズムは特に限定されない。

以上の工程により、学習モデルを生成することができる。

１．２．２． 学習モデルを用いた粒子解析
図１１は、学習モデルを用いて粒子解析を行う工程Ｓ２の一例を示すフローチャートである。

まず、観察装置２０を用いて、粒子解析用の試料を撮影する（Ｓ２０）。粒子解析用の試料は、鉄鋼介在物を含む鉄鋼である。観察装置２０を用いて粒子解析用の試料を撮影することによって、粒子解析用の試料像を取得できる。粒子解析用の試料像は、例えば、反射電子像である。粒子解析用の試料像は、観察装置２０から第２情報処理装置２２に送られる。

次に、粒子解析用の試料像から粒子を抽出して、粒子解析用の粒子像を生成する（Ｓ２１）。粒子解析用の粒子像を生成する工程Ｓ２１は、上述した図５に示す学習用の粒子像を生成する工程Ｓ１１と同様に行われる。粒子解析用の粒子像の倍率は、学習用の粒子像の倍率と同じであることが望ましい。すなわち、粒子解析用の粒子像のピクセルサイズと、学習用の粒子像のピクセルサイズが同じであることが望ましい。粒子解析用の粒子像のピクセルサイズが学習用の粒子像のピクセルサイズと異なる場合、粒子解析用の粒子像を拡大処理または縮小処理することによって、粒子解析用の粒子像のピクセルサイズを学習用の粒子像のピクセルサイズと同じにしてもよい。

次に、粒子解析用の粒子像を学習モデルに入力することによって、粒子解析用の粒子像に含まれる粒子の種類を特定する（Ｓ２２）。

図１２は、学習モデルを用いた粒子解析を説明するための図である。

図１２に示すように、粒子解析用の粒子像Ｉ６を、学習モデルに入力することによって、粒子像Ｉ６に含まれる粒子の種類を特定することができる。

図１３は、粒子解析の結果を示す表である。

粒子解析の結果として、図１３に示す例では、粒子の種類ごとに粒子の数を示した表を示している。図１３に示す粒子解析の結果から、粒子解析用の試料に含まれる粒子の種類およびその数に関する情報を得ることができる。なお、粒子解析の結果の表し方は、特に限定されない。

以上の工程により、粒子解析を行うことができる。

１．３． 動作
１．３．１． 機械学習装置の動作
機械学習装置２では、上述した図５に示す各工程を自動で行うことができる。すなわち、機械学習装置２は、ラベルを付した粒子像を生成して学習用のデータセットを作成し、作成したデータセットを用いて機械学習を行い、学習モデルを生成する。

図１４は、第１情報処理装置１２の処理部１２０の処理の一例を示すフローチャートである。

処理部１２０は、ユーザーが学習モデルを生成する処理を開始する指示を行ったか否かを判定する（Ｓ１００）。処理部１２０は、操作部１３０を介して学習モデルを生成する処理を開始する操作情報が入力された場合に、処理を開始する指示があったと判定する。

処理を開始する指示があったと判定した場合（Ｓ１００のＹｅｓ）、分析装置制御部１２１が分析装置１０に学習用の試料を撮影させる（Ｓ１０２）。これにより、分析装置１０が学習用の試料を撮影し、学習用の試料像が第１情報処理装置１２に送られる。

粒子像生成部１２２は、分析装置１０で撮影された学習用の試料像Ｉ２を取得し、試料像Ｉ２から粒子を抽出して粒子像Ｉ４を生成する（Ｓ１０４）。また、粒子像生成部１２２は、試料像Ｉ２から抽出された粒子の位置情報を取得する。

次に、分析装置制御部１２１は、分析装置１０に粒子の元素分析を行わせる（Ｓ１０６）。分析装置制御部１２１は、分析装置１０に、粒子の位置情報で特定された位置に電子線を照射させる。これにより、分析装置１０では、試料中の粒子に電子線が照射され、粒子から発生したＸ線をＥＤＳ検出器で検出する。この結果、粒子の元素分析を行うことができる。粒子の元素分析の結果としてのスペクトルは、第１情報処理装置１２に送られる。

スペクトル解析部１２３は、粒子の元素分析の結果であるスペクトルを取得し、当該スペクトルに基づいて定量分析を行い、粒子の組成情報を取得する（Ｓ１０８）。

ラベル付与部１２４は、粒子の元素分析の結果に基づいて、粒子像Ｉ４に粒子の種類を表すラベルを付与する（Ｓ１１０）。ラベル付与部１２４は、図９に示す粒子の分類条件に従って粒子像Ｉ４にラベルを付与する。これにより、学習データを生成できる。

分析装置制御部１２１は、学習用の試料の測定領域の全視野を測定したか否かを判定する（Ｓ１１２）。分析装置制御部１２１は、測定領域の全視野を測定していないと判定した場合（Ｓ１１２のＮｏ）、分析装置１０の試料ステージを動作させて視野を移動させ（Ｓ１１４）、分析装置１０に試料の撮影を行わせる（Ｓ１０２）。これにより、新たな学習用の試料像を取得できる。そして、処理部１２０は、ステップＳ１０４、ステップＳ１０６、ステップＳ１０８、ステップＳ１１０の処理を行い、学習データを生成する。

処理部１２０は、測定領域の全視野を測定したと判定されるまで、ステップＳ１０２、ステップＳ１０４、ステップＳ１０６、ステップＳ１０８、ステップＳ１１０、ステップＳ１１２、ステップＳ１１４の処理を繰り返す。これにより、測定領域に含まれる複数の粒子から学習データを生成することができる。この結果、学習用のデータセットに含まれる学習データ数を増やすことができる。

測定領域の全視野を測定したと判定した場合（Ｓ１１２のＹｅｓ）、学習モデル生成部
１２５が、生成された学習用のデータセットを用いて機械学習を行い、学習モデルを生成する（Ｓ１１６）。

以上の処理により、学習モデルを生成できる。生成された学習モデルは、第２情報処理装置２２に送られ、記憶部２３４に記憶される。

１．３．２． 粒子解析装置の動作
粒子解析装置４では、上述した図１１に示す各工程を自動で行うことができる。すなわち、粒子解析装置４は、粒子解析用の粒子像を取得し、取得した粒子解析用の粒子像を学習モデルに入力することによって粒子の種類を特定する。

図１５は、第２情報処理装置２２の処理部２２０の処理の一例を示すフローチャートである。

処理部２２０は、ユーザーが粒子解析を開始する指示を行ったか否かを判定する（Ｓ２００）。処理部２２０は、操作部２３０を介して粒子解析を開始する操作情報が入力された場合に、処理を開始する指示があったと判定する。

処理を開始する指示があったと判定した場合（Ｓ２００のＹｅｓ）、観察装置制御部２２１が観察装置２０に粒子解析用の試料を撮影させる（Ｓ２０２）。これにより、観察装置２０が粒子解析用の試料を撮影し、粒子解析用の試料像が第２情報処理装置２２に送られる。

粒子像生成部２２２は、観察装置２０で撮影された粒子解析用の試料像を取得し、試料像から粒子を抽出して粒子解析用の粒子像を生成する（Ｓ２０４）。

粒子解析部２２３は、粒子像生成部２２２が生成した粒子解析用の粒子像を学習モデルに入力することによって粒子の種類を特定する（Ｓ２０６）。

観察装置制御部２２１は、粒子解析用の試料の測定領域の全視野を測定したか否かを判定する（Ｓ２０８）。観察装置制御部２２１は、測定領域の全視野を測定していないと判定した場合（Ｓ２０８のＮｏ）、観察装置２０の試料ステージを動作させて視野を移動させ（Ｓ２１０）、観察装置２０に試料の撮影を行わせる（Ｓ２０２）。これにより、新たな粒子解析用の試料像を取得できる。そして、処理部２２０は、ステップＳ２０４、ステップＳ２０６の処理を行い、粒子解析を行う。

処理部２２０は、測定領域の全視野を測定したと判定されるまで、ステップＳ２０２、ステップＳ２０４、ステップＳ２０６、ステップＳ２０８、ステップＳ２１０の処理を繰り返す。これにより、測定領域内の粒子の粒子解析を行うことができる。

測定領域の全視野を測定したと判定した場合（Ｓ２０８のＹｅｓ）、粒子解析部２２３は、図１３に示す粒子解析の結果を表示部２３２に表示させ、処理部２２０は処理を終了する。

１．４． 効果
上記した粒子解析方法では、分析装置１０を用いて粒子を含む学習用の試料を撮影して学習用の粒子像を取得する工程と、分析装置１０を用いて学習用の試料中の粒子の元素分析を行う工程と、元素分析の結果に基づいて学習用の粒子像に粒子の種類を表すラベルを付与する工程と、ラベルが付与された前記学習用の粒子像を用いて機械学習を行い学習モデルを生成する工程と、観察装置２０を用いて粒子を含む粒子解析用の試料を撮影して粒
子解析用の粒子像を取得する工程と、粒子解析用の粒子像を学習モデルに入力することによって粒子の種類を特定する工程と、を含む。

このように、上述した粒子解析方法では、粒子像を学習モデルに入力することによって粒子の種類を特定するため、元素分析を行うことなく、粒子の種類を特定することができる。したがって、粒子解析を短時間で行うことができる。

機械学習装置２は、粒子を含む学習用の試料の撮影、および、学習用の試料中の粒子の元素分析を行う分析装置１０と、分析装置１０を用いて学習用の試料を撮影して取得した学習用の粒子像に、分析結果に基づいて、粒子の種類を表すラベルを付与するラベル付与部１２４と、ラベルが付与された学習用の粒子像を用いて機械学習を行い、学習モデルを生成する学習モデル生成部１２５と、を含む。そのため、機械学習装置２では、ラベルを付した粒子像を生成して学習用のデータセットを作成し、作成したデータセットを用いて機械学習を行い、学習モデルを生成することができる。したがって、機械学習装置２では、例えばユーザーがラベル付けを行う必要がない。よって、機械学習装置２を用いることで、容易に学習用のデータセットを作成できる。

粒子解析装置４は、粒子を含む粒子解析用の試料の撮影を行う観察装置２０と、観察装置２０を用いて粒子解析用の試料を撮影して取得した粒子解析用の粒子像を学習モデルに入力することによって粒子の種類を特定する粒子解析部２２３と、を含む。そのため、粒子解析装置４では、元素分析を行うことなく、粒子像から粒子の種類を特定することができる。したがって、粒子解析装置４では、短時間で粒子解析を行うことができる。

粒子解析システム１００は、機械学習装置２と、粒子解析装置４と、を含む。そのため、機械学習装置２によって容易に学習モデルを生成でき、粒子解析装置４によって元素分析を行うことなく短時間で粒子解析を行うことができる。

１．５． 変形例
次に、上述した第１実施形態の変形例について説明する。以下では、上述した第１実施形態と異なる点について説明し、同様の点については説明を省略する。

１．５．１． 第１変形例
上述した粒子解析システム１００では、分析装置１０がＥＤＳ検出器が搭載された走査電子顕微鏡である場合について説明したが、分析装置１０は、試料の撮影と、粒子の元素分析と、を行うことができれば、その構成は特に限定されない。例えば、分析装置１０は、走査電子顕微鏡や、透過電子顕微鏡、走査透過電子顕微鏡などの電子顕微鏡に各種元素分析装置が搭載されたものであってもよい。電子顕微鏡に搭載される元素分析装置としては、ＥＤＳ検出器、ＷＤＳ分光器、カソードルミネッセンス検出システムなどが挙げられる。また、分析装置１０は、電子線マイクロアナライザー（ＥＰＭＡ）、オージェ電子分光装置などであってもよい。

１．５．２． 第２変形例
学習用の試料および粒子解析用の試料として、レプリカ法で作製された試料を用いてもよい。

レプリカ法は、試料表面の凹凸を樹脂などに転写して観察を行う試料作製法である。レプリカ法で作製された試料は、撮影用の試料として用いられる。元素分析を行うための元素分析用の試料としては、レプリカ法で作製された試料は用いない。

例えば、試料が鉄鋼の場合、レプリカ法では、鉄鋼表面を樹脂に転写する。この場合、
撮影用の試料は、鉄鋼表面が転写された樹脂であり、元素分析用の試料は、鉄鋼となる。すなわち、学習用の試料の撮影は、鉄鋼表面が転写された樹脂を用いて行い、元素分析は、鉄鋼を用いて行う。

学習用の試料としてレプリカ法で作製された試料を用いる場合、撮影用の試料の座標系と、元素分析用の試料の座標系と、を関連付ける必要がある。２つの座標の関連付けは、例えば、撮影用の試料と粒子解析用の試料にマーカーを付けることにより行うことができる。

粒子解析用の試料としては、レプリカ法で作製した試料を用いることができる。

１．５．３． 第３変形例
上述した実施形態では、粒子解析システム１００が、分析装置１０としての走査電子顕微鏡と観察装置２０としての走査電子顕微鏡の２つの走査電子顕微鏡を有する場合について説明したが、分析装置１０と観察装置２０とが共通の走査電子顕微鏡であってもよい。

１．５．４． 第４変形例
上述した実施形態では、粒子解析システム１００は、２つの情報処理装置（第１情報処理装置１２と第２情報処理装置２２）を有していたが、第１情報処理装置１２と第２情報処理装置２２とを１つの情報処理装置で実現してもよい。

２． 第２実施形態
２．１． 粒子解析システム
次に、第２実施形態に係る粒子解析システムについて、図面を参照しながら説明する。図１６は、第２実施形態に係る粒子解析システム２００の構成を示す図である。以下、第２実施形態に係る粒子解析システム２００において、第１実施形態に係る粒子解析システム１００の構成部材と同様の機能を有する部材については同一の符号を付し、その詳細な説明を省略する。

上述した粒子解析システム１００では、分析装置１０は元素分析装置を搭載した走査電子顕微鏡であり、観察装置２０は走査電子顕微鏡であった。

これに対して、粒子解析システム２００では、図１６に示すように、分析装置１０は、光学顕微鏡１０ａ（第１光学顕微鏡の一例）と、走査電子顕微鏡１０ｂと、を含み、観察装置２０は光学顕微鏡（第２光学顕微鏡の一例）である。

分析装置１０は、光学顕微鏡１０ａの試料ステージの座標と、走査電子顕微鏡１０ｂの試料ステージの座標と、をリンクさせるシステムを備えている。例えば、光学顕微鏡１０ａの試料ホルダーと走査電子顕微鏡１０ｂの試料ホルダーが共通化されており、分析装置制御部１２１は、それぞれの試料ステージの情報を管理している。これにより、光学顕微鏡１０ａで観察した箇所と同一箇所を、走査電子顕微鏡１０ｂで観察および元素分析できる。

２．２． 粒子解析方法
粒子解析システム２００を用いた粒子解析方法は、粒子解析システム１００を用いた粒子解析方法と同様に、学習モデルを生成する工程Ｓ１と、学習モデルを用いて粒子解析を行う工程Ｓ２と、を含む。以下、第１実施形態と異なる点について説明し、同様の点については説明を省略する。

２．２．１． 学習モデルの生成
第２実施形態では、図５に示す学習用の試料を撮影する工程Ｓ１０、粒子の元素分析を行う工程Ｓ１２が、第１実施形態と異なる。

分析装置１０を用いて学習用の試料を撮影する工程Ｓ１０では、光学顕微鏡１０ａを用いて学習用の試料を撮影する。これにより、学習用の試料像を取得する。学習用の試料像は、光学顕微鏡像である。

学習用の試料像から粒子を抽出して学習用の粒子像を生成する工程Ｓ１１は、学習用の試料像が光学顕微鏡像である点を除いて、第１実施形態と同様に行われる。

分析装置１０を用いて粒子の元素分析を行う工程Ｓ１２では、元素分析装置を備えた走査電子顕微鏡１０ｂを用いて元素分析を行う。本工程では、光学顕微鏡１０ａの試料ステージの座標と走査電子顕微鏡１０ｂの試料ステージの座標とをリンクさせるシステムを用いて、走査電子顕微鏡１０ｂの試料ステージ上での粒子の位置を特定し、粒子の元素分析を行う。これにより、ＥＤＳスペクトルを得ることができる。

粒子の組成情報を取得する工程Ｓ１３、学習用の粒子像にラベルを付与する工程Ｓ１４、および学習用の粒子像を用いて学習モデルを生成する工程Ｓ１５は、第１実施形態と同様に行われる。

以上の工程により、学習モデルを生成することができる。

２．２．２． 学習モデルを用いた粒子解析
第２実施形態では、図１１に示す観察装置２０を用いて粒子解析用の試料を撮影する工程Ｓ２０が、第１実施形態と異なる。

観察装置２０を用いて粒子解析用の試料を撮影する工程Ｓ２０では、光学顕微鏡を用いて粒子解析用の試料を撮影する。これにより、粒子解析用の試料像を取得する。粒子解析用の試料像は、光学顕微鏡像である。

粒子解析用の試料像から粒子を抽出して粒子解析用の粒子像を生成する工程Ｓ２１は、粒子解析用の試料像が光学顕微鏡像である点を除いて、第１実施形態と同様に行われる。

粒子解析用の粒子像を学習モデルに入力することによって粒子の種類を特定する工程Ｓ２２は、第１実施形態と同様に行われる。

以上の工程により、粒子解析を行うことができる。

２．３． 効果
第２実施形態では、分析装置１０は、光学顕微鏡と、元素分析装置が搭載された電子顕微鏡と、を有し、観察装置２０は、光学顕微鏡である。そのため、第２実施形態では、光学顕微鏡による粒子解析が可能となる。

なお、上述した実施形態及び変形例は一例であって、これらに限定されるわけではない。例えば各実施形態及び各変形例は、適宜組み合わせることが可能である。

本発明は、上述した実施形態に限定されるものではなく、さらに種々の変形が可能である。例えば、本発明は、実施形態で説明した構成と実質的に同一の構成を含む。実質的に同一の構成とは、例えば、機能、方法、及び結果が同一の構成、あるいは目的及び効果が同一の構成である。また、本発明は、実施形態で説明した構成の本質的でない部分を置き
換えた構成を含む。また、本発明は、実施形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施形態で説明した構成に公知技術を付加した構成を含む。

２…機械学習装置、４…粒子解析装置、１０…分析装置、１０ａ…光学顕微鏡、１０ｂ…走査電子顕微鏡、１２…第１情報処理装置、２０…観察装置、２２…第２情報処理装置、１００…粒子解析システム、１２０…処理部、１２１…分析装置制御部、１２２…粒子像生成部、１２３…スペクトル解析部、１２４…ラベル付与部、１２５…学習モデル生成部、１３０…操作部、１３２…表示部、１３４…記憶部、２００…粒子解析システム、２２０…処理部、２２１…観察装置制御部、２２２…粒子像生成部、２２３…粒子解析部、２３０…操作部、２３２…表示部、２３４…記憶部

Claims (13)

1. 分析装置を用いて粒子を含む学習用の試料を撮影して、学習用の粒子像を取得する工程と、
   前記分析装置を用いて、前記学習用の試料中の粒子の元素分析を行う工程と、
   前記元素分析の結果に基づいて、前記学習用の粒子像に粒子の種類を表すラベルを付与する工程と、
   前記ラベルが付与された前記学習用の粒子像を用いて機械学習を行い、学習モデルを生成する工程と、
   観察装置を用いて粒子を含む粒子解析用の試料を撮影して、粒子解析用の粒子像を取得する工程と、
   前記粒子解析用の粒子像を前記学習モデルに入力することによって、粒子の種類を特定する工程と、
   を含む、粒子解析方法。
2. 請求項１において、
   前記分析装置は、元素分析装置が搭載された電子顕微鏡であり、
   前記観察装置は、電子顕微鏡である、粒子解析方法。
3. 請求項１において、
   前記分析装置は、第１光学顕微鏡と、元素分析装置が搭載された電子顕微鏡と、を有し、
   前記観察装置は、第２光学顕微鏡である、粒子解析方法。
4. 請求項３において、
   前記学習用の試料の撮影は、前記第１光学顕微鏡を用いて行われ、
   前記元素分析は、前記電子顕微鏡を用いて行われ、
   前記粒子解析用の試料の撮影は、前記第２光学顕微鏡を用いて行われる、粒子解析方法。
5. 請求項１ないし４のいずれか１項において、
   前記粒子解析用の試料は、鉄鋼である、粒子解析方法。
6. 粒子を含む学習用の試料の撮影、および、前記学習用の試料中の粒子の元素分析を行う分析装置と、
   前記分析装置を用いて前記学習用の試料を撮影して取得した学習用の粒子像に、前記元素分析の結果に基づいて、粒子の種類を表すラベルを付与するラベル付与部と、
   前記ラベルが付与された前記学習用の粒子像を用いて機械学習を行い、学習モデルを生成する学習モデル生成部と、
   を含む、機械学習装置。
7. 請求項６において、
   前記分析装置は、元素分析装置が搭載された電子顕微鏡である、機械学習装置。
8. 請求項７において、
   前記分析装置を制御する分析装置制御部を含み、
   前記分析装置制御部は、
   前記分析装置に前記学習用の試料の撮影を行わせる処理と、
   前記分析装置に前記学習用の試料中の粒子の元素分析を行わせる処理と、
   を行う、機械学習装置。
9. 請求項６において、
   前記分析装置は、第１光学顕微鏡と、元素分析装置が搭載された電子顕微鏡と、を有している、機械学習装置。
10. 粒子を含む粒子解析用の試料の撮影を行う観察装置と、
    前記観察装置を用いて前記粒子解析用の試料を撮影して取得した粒子解析用の粒子像を学習モデルに入力することによって、粒子の種類を特定する粒子解析部と、
    を含み、
    前記学習モデルは、
    分析装置を用いて粒子を含む学習用の試料を撮影して学習用の粒子像を取得し、前記分析装置を用いて前記学習用の試料中の粒子の元素分析を行い、前記元素分析の結果に基づいて前記学習用の粒子像に粒子の種類を表すラベルを付与し、前記ラベルが付与された前記学習用の粒子像を用いて機械学習を行い生成された学習モデルである、粒子解析装置。
11. 請求項１０において、
    前記観察装置は、光学顕微鏡、または電子顕微鏡である、粒子解析装置。
12. 請求項１０または１１において、
    前記観察装置を制御する観察装置制御部を含み、
    前記観察装置制御部は、前記観察装置に前記粒子解析用の試料の撮影を行わせる、粒子解析装置。
13. 機械学習装置と、
    粒子解析装置と、
    を含み、
    前記機械学習装置は、
    粒子を含む学習用の試料の撮影、および、前記学習用の試料中の粒子の元素分析を行う分析装置と、
    前記分析装置を用いて前記学習用の試料を撮影して取得した学習用の粒子像に、前記元素分析の結果に基づいて、粒子の種類を表すラベルを付与するラベル付与部と、
    前記ラベルが付与された前記学習用の粒子像を用いて機械学習を行い、学習モデルを生成する学習モデル生成部と、
    を含み、
    前記粒子解析装置は、
    粒子を含む粒子解析用の試料の撮影を行う観察装置と、
    前記観察装置を用いて前記粒子解析用の試料を撮影して取得した粒子解析用の粒子像を前記学習モデルに入力することによって、粒子の種類を特定する粒子解析部と、
    を含む、粒子解析システム。

Images