JP7297083B2

JP7297083B2 - 粒度推定装置、粒度推定方法、粒度推定プログラム、粒度推定システム。

Info

Publication number: JP7297083B2
Application number: JP2021549294A
Authority: JP
Inventors: 洸太福山; 久典秦; 貴行池谷
Original assignee: Toshiba Corp; Toshiba Digital Solutions Corp
Current assignee: Toshiba Corp; Toshiba Digital Solutions Corp
Priority date: 2020-09-18
Filing date: 2020-09-18
Publication date: 2023-06-23
Anticipated expiration: 2040-09-18
Also published as: JP2023123536A; JPWO2022059186A1; WO2022059186A1; US12067703B2; US20220318983A1; JP7542685B2

Description

本発明の実施形態は、鋼材等の金属材料の結晶粒度を推定する技術に関する。

鋼材メーカでは、出荷鋼材の品質保証のため金属組織検査が行われる。金属組織検査では、鋼材の一部を切出したサンプル片を対象に、検査員が顕微鏡を用いて非金属介在物の種類や量、鋼の結晶粒度の大きさなどを目視で確認している。結晶粒度はJIS（日本工業規格）で規定された標準図と見比べ、粒度番号の判定（等級判定）を行うのが一般的である。

関連する技術に、直線状の光を放出する投光手段と、前記直線状の光を反射し、金属材料の表面に照射する反射手段と、前記金属材料表面の、前記直線状の光が照射された部分を撮像する撮像手段とを備え、金属表面における傷等の欠陥を検査する金属表面欠陥検査装置が知られている（下記特許文献１参照）。

特開２０１８－０１７６２９号公報

金属組織検査は、極めてミクロな視野で観測された金属組織がどの程度の結晶粒度であるのかを目視で判定するため、その判定結果は検査者の知識や経験に大きく依存する。そのような知識、経験が豊富な検査者が退職となった場合、その技術を継承することは困難である。このことから検査者個人の技術によらず、検査の標準化が求められていた。

本発明は、上述した問題点を解決するためになされたものであり、検査の標準化が実現可能な技術を提供することを目的とする。

上述した課題を解決するため、本発明の実施形態は、金属を含む対象物における表面部位の撮像画像を取得する取得部と、金属材料における表面部位の撮像画像と該表面部位の結晶粒度とを教師データとした機械学習により生成される推定モデルに基づいて、前記取得された撮像画像に示される前記対象物における表面部位の結晶粒度を推定する推定部とを備える。

実施形態に係る金属組織評価システムのハードウェア構成を示す概略図である。測定評価装置のハードウェア構成を示すブロック図である。撮像画像を示す図である。結晶粒度推定装置のハードウェア構成を示すブロック図である。測定評価装置の機能構成を示すブロック図である。結晶粒度推定装置の機能構成を示すブロック図である。実施形態に係る金属組織評価方法を示すフローチャートである。評価処理を示すフローチャートである。ログを示す図である。表示受付処理を示すフローチャートである。再学習処理を示すフローチャートである。ディスプレイに表示される推定結果画面を示す図である。ディスプレイに表示されるＲｅｖ編集画面を示す図である。ディスプレイに表示される粒度番号分布画面を示す図である。ディスプレイに表示される確信度分布画面を示す図である。変形例に係る金属組織評価システムのハードウェア構成を示す概略図である。実施形態に係るプログラムを記憶する記憶媒体をコンピュータに読み込む概念を示す図である。

以下、本発明の実施形態について図面を参照しつつ説明する。

（全体構成）
本実施形態に係る金属組織評価システムの全体構成について説明する。図１は、本実施形態に係る金属組織評価システムの全体構成を示す概略図である。

本実施形態に係る金属組織評価システム１は、評価対象となる鋼材から切り出された所定形状のサンプル片の表面における金属組織の形状（状態）に基づいて、サンプル片の評価、延いては評価対象の評価を行う。具体的には、サンプル片の表面における複数箇所の金属組織を撮像し、得られた複数の撮像画像に示される金属組織の結晶粒度を推定し、これを評価する。

図１に示されるように、金属組織評価システム１は、測定評価装置１０と、結晶粒度推定装置２０と、顕微鏡３０と、フォーカスコントローラ４０と、カメラ５０と、Ｘ－Ｙステージ６０と、ステージコントローラ７０と、を備える。

測定評価装置１０は、顕微鏡３０、フォーカスコントローラ４０、及びカメラ５０に通信可能に接続されており、オペレータの操作を受け付けてこれらを制御するＰＣ（Personal Computer）等の情報処理装置である。測定評価装置１０は、結晶粒度推定装置２０とも通信可能に有線接続されており、サンプル片の撮像画像の取得及び画像処理、撮像画像の結晶粒度推定装置２０への送信、当該装置による粒度推定結果を示す推定粒度の取得、推定粒度に基づくサンプル片の評価等を行う。

結晶粒度推定装置２０は、保有する推定モデルに基づいて、測定評価装置１０から取得した撮像画像に示される金属組織の結晶粒度を推定し、推定粒度を測定評価装置１０へ送信する。推定モデルは、後述する教師データに基づく機械学習により生成される。本実施形態に係る機械学習は、例えば金属材料、好ましくは評価対象となる鋼材と同一種類（同一組成）の鋼材における表面部位の金属組織の画像と、当該画像に示される金属組織の結晶粒度とを含むデータセットを教師データとして与える教師有り機械学習である。

顕微鏡３０は、Ｘ－Ｙステージ６０上に設置されたサンプル片を所定の倍率で拡大しカメラ５０により撮像させるためのものであり、オートフォーカス機能を有する光学顕微鏡を用いることが好ましい。顕微鏡３０は、例えば５倍、１０倍、２０倍、４０倍等の複数の対物レンズが着脱及び切り替え自在な電動レボルバと、対物レンズを経由した同軸落射方式でサンプル片に光を照射する照明とを有する。これら電動レボルバや照明は、測定評価装置１０により制御可能となっている。

フォーカスコントローラ４０は、測定評価装置１０からの制御信号に基づいて、顕微鏡３０の電動レボルバを駆動させ、対物レンズの切り替えや、ピント調節のための対物レンズの上下動などを行う。

カメラ５０は、カラーのエリアセンサカメラであり、リレーレンズ内蔵アダプターを介して顕微鏡３０と連結されると共に、測定評価装置１０に画像送信可能に接続されている。測定評価装置１０は、カメラ５０によりＸ－Ｙステージ６０上にセットされたサンプル片の画像を取り込み、撮像画像として取得する。

Ｘ－Ｙステージ６０は、上面にサンプル片をセット可能なサンプルホールダが設けられる。Ｘ－Ｙステージ６０は、サンプル片をホールダと共にＸ軸及びＹ軸の２方向に水平移動させ、カメラ５０による撮像のためにサンプル片における複数の測定部位を、対物レンズ下方の視野位置に順次位置付ける。このＸ－Ｙステージ６０による水平移動は、測定評価装置１０により制御可能となっている。なお、アナログジョイスティックにより手動でサンプルホールダを移動可能に構成してもよい。また、Ｘ－Ｙステージ６０は、サンプル片に対する埃等の付着を防止するため、内部のクリーン度を保つクリーンベンチ内に顕微鏡３０と共に設置することが好ましい。

ステージコントローラ７０は、測定評価装置１０からの制御信号に基づいて、Ｘ－Ｙステージ６０上のサンプルホールダの水平移動を制御する。

（ハードウェア構成）
測定評価装置１０のハードウェア構成について説明する。図２は、測定評価装置のハードウェア構成を示すブロック図であり。図３は、撮像画像を示す図である。図２に示されるように、測定評価装置１０は、ハードウェアとして、ＣＰＵ（Central Processing Unit）１１、ＲＡＭ（Random Access Memory）１２、記憶装置１３、入出力Ｉ／Ｆ（Interface）１４、ディスプレイ１５を備える。

ＣＰＵ１１及びＲＡＭ１２は協働して後述する各種機能を実行し、記憶装置１３は各種機能により実行される処理に用いられる各種データを記憶する。入出力Ｉ／Ｆ１４は、上述した顕微鏡３０、フォーカスコントローラ４０、カメラ５０、及びステージコントローラ７０とのデータおよび制御信号の入出力を行う。また、入出力Ｉ／Ｆ１４は、後述する推定結果画面等を表示するためのディスプレイ１５や、不図示のマウスやキーボード等の入力装置、外付けの記憶装置、ビデオハードコピーやプリンタ等の出力装置といった測定評価装置１０に接続される外部装置とのデータの入出力、結晶粒度推定装置２０とのデータの入出力も行う。

本実施形態においては記憶装置１３には、後述する金属組織評価方法において取得される複数の撮像画像１３１と、これら複数の撮像画像１３１と対応付けられた推定結果情報１３２とが記憶されている。

撮像画像１３１は、図３に示されるように、サンプル片における所定の測定部位の表面が映されており、本実施形態においては金属組織のミクロ画像となっている。このような撮像画像１３１の金属組織の細かさから結晶粒度の値が推定される。

推定結果情報１３２は、金属組織評価方法により生成されるものであり、使用された推定モデルの情報や、１つの撮像画像１３１に対応する推定粒度、推定粒度に基づくサンプル片の合否判定の結果、推定粒度に基づく粒度番号分布及び確信度分布等の情報を含む。また、推定結果情報１３２は、ログとして推定結果情報１３２に対する変更履歴も含まれる。

結晶粒度推定装置２０のハードウェア構成について説明する。図４は、結晶粒度推定装置２０のハードウェア構成を示すブロック図である。

図４に示されるように、結晶粒度推定装置２０は、ハードウェアとして、ＣＰＵ（Central Processing Unit）２１、ＲＡＭ（Random Access Memory）２２、記憶装置２３、入出力Ｉ／Ｆ（Interface）２４を備える。ＣＰＵ２１及びＲＡＭ２２は協働して後述する各種機能を実行し、記憶装置２３は各種機能により実行される金属組織評価方法に用いられる各種データを記憶する。入出力Ｉ／Ｆ２４は、測定評価装置１０とのデータの入出力を行う。なお、マウスやキーボード等の入力装置、ディスプレイや外付けの記憶装置、プリンタ等の出力装置といった外部装置とのデータの入出力を行うようにしてもよい。

本実施形態においては、記憶装置２３に上述した推定モデル２３１が複数記憶されている。推定モデル２３１は、例えば金属材料の種類（鋼材の種類）毎に複数用意されてもよく、互いに全てまたは一部異なる教師データにより生成されることで複数用意されるようにしてもよい。複数の推定モデル２３１は、それぞれを一意に示すＡＩモデルＩＤが付され管理されている。

（機能構成）
測定評価装置１０の機能構成について説明する。図５は、測定評価装置の機能構成を示すブロック図である。図５に示されるように、測定評価装置１０は、動作制御部１０１と、情報取得部１０２と、画像送信部１０３と、等級決定部１０４と、判定処理部１０５と、情報管理部１０６とを機能として備える。

動作制御部１０１は、照明やカメラ５０、フォーカスコントローラ４０を介した電動レボルバ、ステージコントローラ７０を介したＸ－Ｙステージ６０の動作制御を行う。情報取得部１０２は、カメラ５０からの撮像画像１３１の取得、結晶粒度推定装置２０からの推定粒度の取得を行う。画像送信部１０３は、取得された撮像画像１３１やＡＩモデルＩＤ等を含む送信情報の結晶粒度推定装置２０への送信を行う。なお、撮像画像１３１については、それぞれ固有の視野番号が予め付与されている。視野番号については後述する。

等級決定部１０４は、取得された推定粒度からサンプル片の等級を決定する。判定処理部１０５は、後述する金属組織評価方法における各種判定を行う。情報管理部１０６は、金属組織評価方法により生成される推定結果情報１３２やログを管理する。例えば、情報管理部１０６は、ディスプレイ１５に推定結果情報１３２を示す推定結果画面を表示させてオペレータの操作を受け付け、オペレータによる編集が生じた場合にはそのログを生成、更新すると共に推定結果情報１３２を更新する。

次に、結晶粒度推定装置２０の機能構成について説明する。図６は、結晶粒度推定装置の機能構成を示すブロック図である。図６に示されるように、結晶粒度推定装置２０は、情報取得部２０１と、粒度推定部２０２と、粒度送信部２０３と、学習部２０４とを機能として備える。

情報取得部２０１は、送信情報や機械学習を行うための教師データを測定評価装置１０から取得する。粒度推定部２０２は、取得された送信情報に含まれる撮像画像１３１に示される金属組織の結晶粒度を、ＡＩモデルＩＤに示される推定モデル２３１に基づいて推定する。

粒度送信部２０３は、粒度推定部２０２により推定された粒度（推定粒度）を、推定対象となる撮像画像１３１に付与されている視野番号と対応付けて測定評価装置１０へ送信する。学習部２０４は、情報取得部２０１が教師データを取得した場合に、当該教師データに基づいて機械学習を行い、教師データに対応する推定モデル２３１の更新を行う。また、新たな推定モデルを生成する指示が含まれている場合、当該教師データに基づいて新たな推定モデルを生成する。

（金属組織評価方法）
金属組織評価システム１により実行される金属組織評価方法について説明する。図７は、本実施形態に係る金属組織評価方法を示すフローチャートである。金属組織評価方法を行うにあたり、事前準備に、Ｘ－Ｙステージ６０上のサンプルホールダへのサンプル片の設置、サンプルホールダの原点復帰、測定評価装置１０に対してのサンプル片のロット番号（サンプル数）、子番、ＡＩモデルＩＤ、及びオペレータ名の入力がなされたこととする。これらは以後入力情報と称する。

サンプルホールダの原点復帰は、測定評価装置１０のディスプレイ１５に表示される原点復帰ボタンをマウス等のポインティングデバイスで選択、クリックすることでステージコントローラ７０を介してＸ－Ｙステージ６０を駆動制御することによりなされる。また、本フローは、ディスプレイ１５に表示される金属組織評価方法の開始ボタンがクリックされることをトリガとして実行される。

開始ボタンがクリックされると、測定評価装置１０の動作制御部１０１がＸ－Ｙステージ６０を駆動制御すると共に、情報取得部１０２がカメラ５０により撮像されたサンプル片における表面部位の撮像画像１３１を取得する（Ｓ１０１）。本実施形態に係る金属組織評価方法では、後述するステップＳ１１０の判定処理においてＹＥＳ判定がなされるまで予め設定されていた視野数分の撮像画像１３１が取得されるが、ここでは先ず１視野の撮像画像が取得される。ここでの視野数とは、１つのサンプル片において撮像される表面部位の数を示す。例えば視野数２０である場合、サンプル片において２列１０箇所の位置が異なる表面部位がそれぞれ撮像され、計２０個の撮像画像１３１が取得されることとなる。視野数は適宜設定を変更してよいが、ＪＩＳ規格に倣った数とすることが好ましい。

取得された撮像画像１３１は記憶装置１３に記憶されるが、Ｘ－Ｙステージ６０を駆動制御、即ちサンプルホールダの水平移動を行わせて撮像するため、撮像画像１３１とサンプル片の表面部位の位置とを対応付けて記憶する。この表面部位の位置（視野）は互いに異なるものであり、視野番号として管理される。したがって換言すれば、視野番号は各撮像画像１３１それぞれを一意に示す情報となる。

１視野の撮像画像を取得後、画像送信部１０３は、該当する視野番号の撮像画像１３１と、ＡＩモデルＩＤとを対応付して送信情報を生成する（Ｓ１０２）。生成後、画像送信部１０３は送信情報を結晶粒度推定装置２０へ送信する（Ｓ１０３）。送信後、結晶粒度推定装置２０からの推定粒度の結果応答を待つ。

結晶粒度推定装置２０の情報取得部２０１は、送信情報を取得する（Ｓ１０４）。取得後、粒度推定部２０２は、送信情報に含まれるＡＩモデルＩＤに示される推定モデル２３１を選定し（Ｓ１０５）、送信情報に含まれる１視野の撮像画像１３１を対象に、選定した推定モデルにより金属組織の結晶粒度を推定する（Ｓ１０６）。また、取得したＡＩモデルＩＤに該当する推定モデルが無い場合は、粒度送信部２０３からエラー通知が測定評価装置１０へ返される。さらに、ここでの粒度の推定において、撮像画像１３１が不鮮明である等して推定不能である場合は推定粒度が不明として処理される。

推定後、粒度送信部２０３は、推定粒度を測定評価装置１０へ送信する（Ｓ１０７）。送信後、測定評価装置１０の情報取得部１０２が推定粒度を取得し（Ｓ１０８）、情報管理部１０６は、取得した推定粒度、該推定粒度に対応する１視野の撮像画像、該撮像画像に対応する視野番号等に基づいて、詳細は後述する推定結果情報１３２を生成し、ディスプレイ１５に表示して（Ｓ１０９）、当該情報を管理する。なお、現サンプル片の推定結果情報１３２が予め生成されていた場合には当該情報を更新することとなる。

表示後、判定処理部１０５は、全視野数分の撮像画像を取得したか否かを判定する。当該判定の基準は適宜であるが、例えば取得した撮像画像の視野番号が予め設定された視野数に達したか否かにより判定するようにしてもよい。全視野数分の撮像画像を取得したと判定された場合（Ｓ１１０，ＹＥＳ）、詳細は後述する評価処理が実行される（Ｓ１１１）。評価処理後、情報管理部１０６は、推定結果情報１３２を示す推定結果画面をディスプレイ１５に表示させると共に、オペレータからの入力を受け付ける表示受付処理が実行される（Ｓ１１２）。表示受付処理や、ディスプレイ１５に表示される推定結果画面についての詳細は後述する。

一方、全視野数分の撮像画像を取得していないと判定された場合（Ｓ１１０，ＮＯ）、ステップＳ１０１の撮像画像を取得する処理へ移行する。この時、当該処理ではＸ－Ｙステージ６０が駆動制御され、未撮像の表面部位における撮像画像が取得されることとなる。

（評価処理）
次に、評価処理について説明する。図８は評価処理を示すフローチャートである。図８に示されるように、先ず等級決定部１０４は、取得された複数の推定粒度に基づいて、サンプル片の等級を決定する（Ｓ２０１）。ここでの等級は、複数の推定粒度の平均値としてもよく、複数の推定粒度のうちの最低値としてもよい。本実施形態においては平均推定粒度とする。等級決定後、判定処理部１０５は、決定された等級が所定の閾値以上であるか否かを判定する（Ｓ２０２）。この閾値は鋼材の種類や用途に応じて適宜設定されるようにしてもよい。

等級が所定の閾値以上であると判定した場合（Ｓ２０２，ＹＥＳ）、判定処理部１０５は、現Ｒｅｖに合否判定結果として合格の評価を設定する（Ｓ２０３）。Ｒｅｖ（Revision）は、後述する表示受付処理において一部の推定粒度が除外または変更されて評価処理が再度実行される度に番号が増加するように生成されるものであり、初期値はＲｅｖ０とされる。換言すれば、Ｒｅｖは推定結果情報１３２の識別情報と言える。なお、同一サンプル片に対しては評価処理毎にＲｅｖは増加するが、別サンプル片に対して初めて評価処理を行うと、つまり２度目の金属組織評価方法を実行するとＲｅｖは０となる。

合格が設定された後、情報管理部１０６は、合否判定結果、入力情報、及び複数の推定粒度に基づいて現Ｒｅｖのログを生成し（Ｓ２０４）、記憶装置１３に記憶させる。

ログは、図９に示されるように、オペレータ名、ロット番号、子番、視野数、等級、各推定粒度における標準偏差σ、合否判定結果、及び等級の平均値が対応付けられたものであり、評価処理が実行される度に更新される。また、Ｒｅｖ毎にその変更内容が示される。Ｒｅｖ０の欄に示されるように、Ｒｅｖ０においては各種情報の編集は不可となっており、例えばＲｅｖ０の推定結果情報１３２に対して変更がなされて評価処理が実行されると、Ｒｅｖ１、Ｒｅｖ２と増加して新たな推定結果情報１３２が生成されることとなる。ここでは、Ｎｏ．２のＲｅｖ１において、視野番号ｘｘｘの粒度番号ｙｙｙをオペレータにてｚｚｚへ変更されて再度評価処理が実行され、等級が０．５低下したものの合否判定では合格と判定されたことを示している。

このような合否判定が記載されているログは、レポートとしてプリンタ印刷等して活用することも可能であるが、Ｒｅｖ記載の変更内容は暗号化され、システム管理者のみが閲覧可能とすることが好ましい。このように評価処理が実行される度にログが更新され管理されることにより、データ改ざん等を防止することが可能となる。

なお、Ｒｅｖには、後述するＲｅｖ確定ボタン（図１３参照）の操作により、確定状態、未確定状態がある。推定結果情報１３２が変更されるＲｅｖが未確定状態である場合は、当該Ｒｅｖの推定結果情報１３２が編集されたとしてもＲｅｖは増加しない。

ログ生成後、情報管理部１０６は、入力情報、送信情報、推定粒度、及びログに基づいて推定結果情報１３２を更新し（Ｓ２０５）、本フローは終了となる。

一方、等級が所定の閾値未満であると判定した場合（Ｓ２０２，ＮＯ）、判定処理部１０５は、現Ｒｅｖに合否判定結果として不合格の評価を設定し（Ｓ２０６）、ステップＳ２０４のログの生成へ移行する。

（表示受付処理）
次に、表示受付処理について説明する。図１０は、表示受付処理を示すフローチャートである。図１０に示されるよう、先ず情報管理部１０６は、推定結果画面（図１２参照）をディスプレイ１５に表示させると共に、オペレータの操作を受け付ける（Ｓ３０１）。推定結果画面については後述する。ここでのオペレータの操作は、推定結果画面に対しての操作であり、例えば粒度番号分布、確信度分布、合否判定結果を含むレポート（ログ）の表示、任意の視野番号に紐付いた推定粒度の除外、変更等が挙げられる。

次に、判定処理部１０５は再評価が必要か否かを判定する（Ｓ３０２）。この判定では、所定の視野番号に対応付けられた推定粒度の番号（粒度の値）を除外、または変更された場合に再評価が必要であると判定される。推定結果画面は、各撮像画像１３１を閲覧可能に、及び各推定粒度を除外、または変更可能に表示されている。オペレータは、撮像画像１３１をチェックした際に推定粒度が違うと判断した際には、撮像画像１３１に対応する視野番号に紐付いた推定粒度を除外、変更することができる。

再評価が必要でないと判定された場合（Ｓ３０２，ＮＯ）、ステップＳ３０１へ移行して現状の推定結果画面の表示が維持される。一方、再評価が必要であると判定された（Ｓ３０２，ＹＥＳ）、再度評価処理が実行される（Ｓ３０３）。この時、推定粒度の除外であれば、当該推定粒度を除いての評価処理が実行され、推定粒度の変更であれば変更された推定粒度を含み評価処理が実行される。

評価処理実行後、判定処理部１０５は、結晶粒度推定装置２０に再学習、即ち推定モデルの更新を実行させるか否かを判定する（Ｓ３０４）。この判定においては、例えば推定粒度の変更がなされた場合に再学習を実行させるように判定される。推定粒度の変更は、選定した推定モデル２３１による推定結果が適切ではないとオペレータが判断した結果としてなされる。したがって、この場合に再学習を行わせることにより、推定モデル２３１をより確度の高いものとすることができる。なお、このような自動判定ではなく、オペレータが手動で実行するか否かを決めるようにしてもよい。

再学習を実行すると判定された場合（Ｓ３０４，ＹＥＳ）、画像送信部１０３は、変更された推定粒度と、当該推定粒度に対応する撮像画像１３１と、選定したＡＩモデルＩＤとを対応付けて教師データを生成し（Ｓ３０５）、結晶粒度推定装置２０に送信する（Ｓ３０６）。送信後、ステップＳ３０１へ移行して現状の推定結果画面の表示が維持される。教師データを取得した結晶粒度推定装置２０は、次に説明する再学習処理を実行する。

なお、以上に説明した表示受付処理は、図７のフローにおけるステップＳ１０９の推定結果情報を表示する処理時にも行われるようにしてもよい。

（再学習処理）
再学習処理について説明する。図１１は、再学習処理を示すフローチャートである。図１１に示されるように、情報取得部２０１が教師データを取得すると（Ｓ４０１）、学習部２０４は教師データに含まれるＡＩモデルＩＤを取得し、これに対応する推定モデル２３１を選定する（Ｓ４０２）。選定後、推定モデル２３１を読み込むと共に取得された教師データにより機械学習を実行し（Ｓ４０３）、機械学習により推定モデル２３１が更新されると（Ｓ４０４）、本フローは終了となる。

（各種画面）
次に、評価処理後における推定結果情報１３２としてディスプレイ１５に表示される各種画面について簡単に説明する。図１２～図１５は、ディスプレイに表示される推定結果画面、Ｒｅｖ編集画面、粒度番号分布画面、確信度分布画面をそれぞれ示す図である。

図１２に示されるように、推定結果画面は、上部に「ＴＰＮｏ」８００、ロット番号欄８０１、子番欄８０２、Ｒｅｖ欄８０３、コメント欄８０４、Ｒｅｖ編集ボタン８０５が設けられ、その下方にはマップ種別８０６が設けられている。「ＴＰＮｏ」８００は、推定結果情報１３２を確認するサンプル番号を選択するものであり、現在サンプルホールダにセットされているサンプル片を含め、評価処理を完了したサンプル数分の選択が可能となっている。ロット番号欄８０１及び子番欄８０２には、指定された「ＴＰＮｏ」８００に示されるＴＰＮｏに該当する番号が示されている。Ｒｅｖ欄８０３には、選択されたサンプル片の現在のＲｅｖ番号が示され、コメント欄８０４にはそのＲｅｖ番号に紐付けられているコメントが示される。

Ｒｅｖ編集ボタン８０５は、クリックされると図１３に示されるように、現在表示されているＲｅｖ番号と、現Ｒｅｖ番号に紐付いているコメントを表示するコメント欄とを含むウィンドウが表示される。このコメント欄は、現Ｒｅｖに対するコメントをオペレータが手入力しコメント更新ボタンをクリックすることで編集、更新することができる。このコメントは、図１２に示されるコメント欄８０４にも表示される。取消ボタンは、現在の編集内容を破棄してこのウィンドウを閉じるものである。

Ｒｅｖ確定ボタンは、未確定状態のＲｅｖを確定状態にしてこの画面を閉じるものであり、現コメント欄に入力されている内容もその際に反映される。本実施形態においては、Ｒｅｖ１以降の推定結果情報１３２に関し、初期状態で未確定状態として扱われ、オペレータが任意のタイミングでＲｅｖ確定ボタンのクリックを行うことで現Ｒｅｖと共に推定結果情報１３２（特に推定結果や等級、合否判定結果）を確定状態とすることができる。

この際、未確定状態のＲｅｖ_{ｎ（ｎ＞０）}の推定結果情報１３２について視野データを削除した場合、再度評価処理が行われて変更後の推定結果情報１３２をＲｅｖ_ｎに反映させ、削除前のＲｅｖ_ｎの推定結果情報１３２については削除される。一方、確定状態のＲｅｖ_{ｎ（ｎ＞０）}の推定結果情報１３２について視野データを削除した場合、再度評価処理が行われて変更後の推定結果情報１３２をＲｅｖ_ｎ＋１に反映させ、変更後の推定結果情報１３２をＲｅｖ_ｎ＋１の未確定データとして扱われる。これは推定粒度を変更した場合も同様である。なお、不図示のメイン画面において、評価処理が実行された場合、全てのＲｅｖの推定結果情報１３２を破棄して新たにＲｅｖ０から推定結果情報１３２を保持するようにしてもよい。

マップ種別８０６は、図１２に示されるように、粒度番号マップと確信度マップとがあり、ここでは粒度番号マップが示されている。粒度番号マップは、視野番号の位置毎に推定粒度の値（粒度番号）が色分け表示されており、図中右側にはその色と粒度番号とが対応付けられた表が設けられる。これによりオペレータは現サンプル片の粒度番号の分布を一目で容易に視認することができる。一方、確信度マップは、視野番号の位置毎に確信度の値が所定の確信度閾値（例えば０．６）以上であるか否かを２色で示すものである。

マップ種別８０６の下方中央には、推定結果情報１３２のうちの所定情報を示す評価結果タブと、粒度番号分布を表示するタブと、確信度分布を表示するタブとを有する表示切替部８０７が設けられている。評価結果タブでは、ＡＩモデルＩＤを示す欄、測定視野数を示す欄、有効視野数を示す欄、平均粒度番号（等級）を示す欄、測定ユーザ名（オペレータ名）を示す欄、測定日時（評価日時）を示す欄が設けられている。粒度番号分布及び確信度分布は、図１４及び図１５に示されるように、縦軸に視野数、横軸に粒度番号をとった棒グラフとして表示される。

表示切替部８０７の図１２中右側には、視野番号毎の粒度番号及び確信度を選択可能に示す視野データ選択部８０８が設けられており、オペレータが選択した視野番号の列（以後、視野データと称する）をクリックすることにより、図中左側に選択された視野データに対応付けられた撮像画像欄８０９に撮像画像１３１が表示される。視野データ選択部８０８下方には、判定除外ボタン８１０、判定変更ボタン８１１が設けられている。

オペレータが視野データをクリックした後に判定除外ボタン８１０をクリックすると、オペレータに対して選択された視野データに紐付けられる推定粒度を除いて再度評価処理を実行するか否かを問うウィンドウが表示され、ＯＫがクリックされると、上述した図１０のステップＳ３０２の判定処理において、ＹＥＳの判定がなされることとなる。一方、オペレータが視野データをクリックした後に判定変更ボタン８１１をクリックすると、オペレータに対して変更する推定粒度の値を入力するウィンドウと共に、変更した推定粒度を含み再度評価処理を実行するか否かを問うウィンドウが表示され、ＯＫがクリックされると、上述した図１０のステップＳ３０２の判定処理において、ＹＥＳの判定がなされることとなる。

なお、図１２に示される符号８１２はＸ－Ｙステージ６０を符号８０６のマップ種別で選択した視野に移動し、再度、推論判定を実行するための選択欄であり、符号８１３は視野データ選択部８０８にて選択されている列の視野番号に関する詳細データを表示するための選択欄であり、符号８１４はその実行ボタン、符号８１５は現Ｒｅｖの推定結果画像を閉じるボタンである。

なお、評価処理後における推定結果情報１３２としてディスプレイ１５に表示される各種画面について説明したが、本機能はサンプルホールダにセットされた全てのサンプル片の測定が完了した時点で閲覧が有効となることが好ましい。

以上に説明した本実施形態によれば、機械学習により高精度の粒度推定が可能な推定モデル２３１により撮像画像１３１に示される金属組織の粒度を推定することができるため、検査者個人の技術継承が必要なく、検査の標準化が実現できる。このような検査の標準化によれば、熟練の検査者と経験が浅い検査者とによる結晶粒度の判定の差異が生じることがないため、評価結果のばらつきも低減することができる。

また、本実施形態によれば、推定結果情報１３２と共にログが記憶装置１３に記憶、管理させるため、検査作業の記録の自動管理が可能となる。さらに、人手での目視検査では、検査依頼が増加すれば当然長時間の検査となり、検査者の労務問題が生じる可能性があるが、本実施形態によればそのような問題が生じることはない。また、長期で見れば低コスト化も実現できる。

なお、測定評価装置１０と結晶粒度推定装置２０とを有線接続すると説明したが、これに限定するものではない。図１６に示されるように、結晶粒度推定装置２０を遠隔地の外部サーバである結晶粒度推定サーバ２０Ａとして構築し、インターネットやイントラネット等のネットワークを介して測定評価装置１０から結晶粒度推定サーバ２０Ａにアクセスし相互通信するようにしてもよい。この場合、複数の測定評価装置１０からアクセス可能にすることが好ましく、例えば結晶粒度推定サーバ２０ＡにおいてユーザＩＤ及びパスワードを管理し、測定評価装置１０においてユーザＩＤとパスワードを入力することで結晶粒度推定サーバ２０Ａにアクセスし、承認後に結晶粒度推定装置２０に送信情報を送信する。このようにすることで、必ずしも顕微鏡３０等と接続された測定評価装置１０からではなく、他の情報処理装置１０Ａからでもネットワークを介して結晶粒度推定サーバ２０Ａに送信情報を送信でき、推定粒度を取得することができる。

また、測定評価装置１０及び結晶粒度推定装置２０の各種機能を備える１つの情報処理装置により上述した金属組織評価システムを実現するようにしてもよい。

本実施の形態において、測定評価装置１０の各種機能を実現する測定評価プログラム、および結晶粒度推定装置２０の各種機能を実現する結晶粒度推定プログラムは、予め測定評価装置１０、結晶粒度推定装置２０に予めインストールされているものとして記載したが、本発明における各種プログラムは、記憶媒体に記憶されたものも含まれる。ここで記憶媒体とは、磁気テープ、磁気ディスク（ハードディスクドライブ等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤディスク等）、光磁気ディスク（ＭＯ等）、フラッシュメモリ等、エピソード管理装置に対し脱着可能な媒体や、さらにネットワークを介することで伝送可能な媒体等、上述した測定評価装置１０、結晶粒度推定装置２０としてのコンピュータで読み取りや実行が可能な全ての媒体をいう。例えば図１７では、測定評価プログラム及び／又は結晶粒度推定プログラムを記憶した光ディスク８０をＰＣやサーバ等のコンピュータ１Ａに読み込ませる概念が示されている。

発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１金属組織評価システム（粒度推定装置、粒度推定システム）
１０測定評価装置（撮像装置）
１３記憶装置（記憶部）
１０２情報取得部（取得部）
１０３画像送信部（送信部）
１０５判定処理部（評価部）
１０６情報管理部（提示部）
１３１撮像画像
２０結晶粒度推定装置（粒度推定装置、サーバ）
２０２粒度推定部（推定部）
２０１情報取得部（取得部）
２０４学習部
２３１推定モデル
５０カメラ（撮像装置）

Claims

金属を含む対象物における表面部位の異なる位置のミクロ撮像画像を所定の視野数分取得する取得部と、
前記金属と同一種類・同一組成の金属材料における表面部位のミクロ撮像画像と該表面部位の金属組織の結晶粒度とを教師データとした機械学習により生成される前記金属用の推定モデルに基づいて、前記取得された複数の撮像画像のそれぞれに示される前記対象物における表面部位の結晶粒度を推定することにより、推定された所定の視野数分の結晶粒度を得る推定部と、
前記推定された所定の視野数分の結晶粒度の平均値または最低値が所定の閾値を超える場合に前記対象物を良品と評価する評価部と、
前記推定された所定の視野数分の結晶粒度を含む結果情報をユーザに提示する提示部と、
前記ユーザが前記結果情報に対して変更を加えた場合、区別可能に変更前後の結果情報を、識別情報を付与して記憶する記憶部と
を備える
ことを特徴とする粒度推定装置。
前記ユーザによる前記結果情報の変更内容に応じて前記金属用の推定モデルの更新要否の判定を行い、前記推定された所定の視野数分の結晶粒度がユーザにより変更された場合に前記金属用の推定モデルの更新要と判定する判定部と、
前記変更された結晶粒度に対応する撮像画像と、修正された結晶粒度とを教師データとする機械学習により、前記金属用の推定モデルを更新する学習部と
を更に備えることを特徴とする請求項１記載の粒度推定装置。
前記提示部は、前記結果情報の一部として、前記推定された所定の視野数分の結晶粒度を示す情報に基づいて、前記対象物における表面部位毎の結晶粒度を示す分布を提示する
ことを特徴とする請求項１または請求項２記載の粒度推定装置。
コンピュータが
金属を含む対象物における表面部位の異なる位置のミクロ撮像画像を所定の視野数分取得し、
前記金属と同一種類・同一組成の金属材料における表面部位のミクロ撮像画像と該表面部位の金属組織の結晶粒度とを教師データとした機械学習により生成される前記金属用の推定モデルに基づいて、前記取得された複数の撮像画像のそれぞれに示される前記対象物における表面部位の結晶粒度を推定することにより、推定された所定の視野数分の結晶粒度を取得し、
前記推定された所定の視野数分の結晶粒度の平均値または最低値が所定の閾値を超える場合に前記対象物を良品と評価し、
前記推定された所定の視野数分の結晶粒度を含む結果情報をユーザに提示し、
前記ユーザが前記結果情報に対して変更を加えた場合、区別可能に変更前後の結果情報を、識別情報を付与して記憶部に記憶する
ことを特徴とする粒度推定方法。
コンピュータを
金属を含む対象物における表面部位の異なる位置のミクロ撮像画像を所定の視野数分取得する取得部と、
前記金属と同一種類・同一組成の金属材料における表面部位のミクロ撮像画像と該表面部位の金属組織の結晶粒度とを教師データとした機械学習により生成される前記金属用の推定モデルに基づいて、前記取得された複数の撮像画像のそれぞれに示される前記対象物における表面部位の結晶粒度を推定することにより、推定された所定の視野数分の結晶粒度を得る推定部と、
前記推定された所定の視野数分の結晶粒度の平均値または最低値が所定の閾値を超える場合に前記対象物を良品と評価する評価部と、
前記推定された所定の視野数分の結晶粒度を含む結果情報をユーザに提示する提示部と、
前記ユーザが前記結果情報に対して変更を加えた場合、区別可能に変更前後の結果情報を、識別情報を付与して記憶する記憶部
として機能させることを特徴とする粒度推定プログラム。
金属を含む対象物における表面部位の異なる位置を撮像して異なる位置のミクロ撮像画像を所定の視野数分得る撮像装置と、
前記撮像装置とネットワークを介して通信可能に接続されたサーバと
を備え、
前記撮像装置は、
前記サーバへ前記所定の視野数分の複数のミクロ撮像画像を送信する送信部と、
前記対象物を評価する評価部と、
所定の情報をユーザに提示する提示部と、
前記所定の情報を記憶する記憶部と
を有し、
前記サーバは、
前記撮像装置から前記複数のミクロ撮像画像を取得する取得部と、
前記金属と同一種類・同一組成の金属材料における表面部位のミクロ撮像画像と該表面部位の金属組織の結晶粒度とを教師データとした機械学習により生成される前記金属用の推定モデルに基づいて、前記取得された複数の撮像画像のそれぞれに示される前記対象物における表面部位の結晶粒度を推定することにより、推定された所定の視野数分の結晶粒度を得る推定部と、
を有し、
前記評価部は、前記推定された所定の視野数分の結晶粒度の平均値または最低値が所定の閾値を超える場合に前記対象物を良品と評価し、
前記提示部は、前記推定された所定の視野数分の結晶粒度を含む結果情報をユーザに提示し、
前記記憶部は、前記ユーザが前記結果情報に対して変更を加えた場合、区別可能に変更前後の結果情報を、識別情報を付与して記憶する
ことを特徴とする粒度推定システム。