JP7444137B2 - Metal structure segmentation method - Google Patents
Metal structure segmentation method Download PDFInfo
- Publication number
- JP7444137B2 JP7444137B2 JP2021096595A JP2021096595A JP7444137B2 JP 7444137 B2 JP7444137 B2 JP 7444137B2 JP 2021096595 A JP2021096595 A JP 2021096595A JP 2021096595 A JP2021096595 A JP 2021096595A JP 7444137 B2 JP7444137 B2 JP 7444137B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- segmentation
- machine learning
- learning model
- correction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims description 105
- 238000000034 method Methods 0.000 title claims description 74
- 239000002184 metal Substances 0.000 title claims description 25
- 229910052751 metal Inorganic materials 0.000 title claims description 25
- 238000012937 correction Methods 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 42
- 238000010801 machine learning Methods 0.000 claims description 36
- 238000011156 evaluation Methods 0.000 claims description 20
- 230000010365 information processing Effects 0.000 claims description 13
- 239000007769 metal material Substances 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 4
- 230000002950 deficient Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 14
- 230000010339 dilation Effects 0.000 description 9
- 239000000463 material Substances 0.000 description 9
- 229910000831 Steel Inorganic materials 0.000 description 8
- 230000007812 deficiency Effects 0.000 description 8
- 239000010959 steel Substances 0.000 description 8
- 238000007747 plating Methods 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 6
- 230000006866 deterioration Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 239000011701 zinc Substances 0.000 description 5
- HCHKCACWOHOZIP-UHFFFAOYSA-N Zinc Chemical compound [Zn] HCHKCACWOHOZIP-UHFFFAOYSA-N 0.000 description 4
- 229910045601 alloy Inorganic materials 0.000 description 4
- 239000000956 alloy Substances 0.000 description 4
- 238000013459 approach Methods 0.000 description 4
- 239000013078 crystal Substances 0.000 description 4
- 229910052725 zinc Inorganic materials 0.000 description 4
- 238000012805 post-processing Methods 0.000 description 3
- 238000007711 solidification Methods 0.000 description 3
- 230000008023 solidification Effects 0.000 description 3
- 238000002441 X-ray diffraction Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 239000006185 dispersion Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 241000288113 Gallirallus australis Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000003705 background correction Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000005465 channeling Effects 0.000 description 1
- 238000005345 coagulation Methods 0.000 description 1
- 230000015271 coagulation Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000003628 erosive effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 1
- 229910000734 martensite Inorganic materials 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000005464 sample preparation method Methods 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 238000011282 treatment Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 229910000859 α-Fe Inorganic materials 0.000 description 1
Images
Landscapes
- Analysing Materials By The Use Of Radiation (AREA)
- Image Analysis (AREA)
Description
本開示は、金属組織のセグメンテーション方法に関する。本開示は、金属組織の相分類手法に関し、特に、鋼板組織、そのめっき組織の結晶粒径、体積率等の定量評価を行う場合に、組織を各相に多値化（セグメンテーション）する手法に関する。 The present disclosure relates to a method for segmenting metallographic structures. The present disclosure relates to a method for phase classification of metal structures, and in particular, to a method for segmenting a structure into multiple phases (segmentation) when quantitatively evaluating the grain size, volume fraction, etc. of a steel sheet structure and its plating structure. .
一般に、金属材料の機械的特性は材料組織が大きく関係することが知られている。金属材料の機械的特性は、例えば各相の結晶粒径、結晶方位、結晶内部の欠陥、体積率、第二相の分散状態など、多くの因子に影響される。具体例として、鉄鋼材料であるＤＰ（Ｄｕａｌ Ｐｈａｓｅ）鋼の強度は、フェライトとマルテンサイトの相分率で決まることが知られている。また、ＤＰ鋼の強度は、粒子分散強化として母相内に第二相を微細分散させることで、大きく向上することが知られている。そのため、金属材料の機械的特性に関係する因子を精度よく定量評価できる手法の確立が望まれている。さらに、近年、２次元だけではなく、実空間に対応した３次元での組織評価が行われており、３次元での組織評価に対応する解析手法が望まれている。 It is generally known that the mechanical properties of metal materials are largely related to the material structure. The mechanical properties of a metal material are influenced by many factors, such as the crystal grain size of each phase, crystal orientation, defects inside the crystal, volume fraction, and the dispersion state of the second phase. As a specific example, it is known that the strength of DP (Dual Phase) steel, which is a steel material, is determined by the phase fraction of ferrite and martensite. Furthermore, it is known that the strength of DP steel can be greatly improved by finely dispersing a second phase within the matrix as particle dispersion strengthening. Therefore, it is desired to establish a method that can accurately and quantitatively evaluate factors related to the mechanical properties of metal materials. Furthermore, in recent years, tissue evaluation has been performed not only in two dimensions but also in three dimensions corresponding to real space, and an analysis method that can support tissue evaluation in three dimensions is desired.
これらの因子を観察し、定量評価を行う方法として、Ｘ線回折で得られた回折強度を評価する手法が知られている。また、顕微鏡で得られた組織の画像を解析して評価する手法が知られている。顕微鏡として、例えば光学顕微鏡、走査型電子顕微鏡（Ｓｃａｎｎｉｎｇ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ：ＳＥＭ）及び透過型電子顕微鏡（Ｔｒａｎｓｍｉｓｓｉｏｎ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ：ＴＥＭ）などが用いられる。 As a method of observing and quantitatively evaluating these factors, a method of evaluating diffraction intensity obtained by X-ray diffraction is known. Furthermore, a method of analyzing and evaluating tissue images obtained with a microscope is known. As the microscope, for example, an optical microscope, a scanning electron microscope (SEM), a transmission electron microscope (TEM), etc. are used.
Ｘ線回折による評価では、集合組織などの影響が大きい場合に正確に評価できない。また、顕微鏡を用いる手法は、サイズ又は体積率を定量評価したい相を適切に分離（セグメンテーション）する必要がある。従来、組織の画像を二値化することによって、相のセグメンテーションが行われることがある。二値化では、各ピクセルの輝度値に対して閾値を設定して判別するが、輝度値が近い複数の相が分離されない、結晶方位の違いによって生じるチャネリングコントラストの影響などで同じ相において分離される、といった問題がある。このような問題を解決するため、画像の撮影者又はデータ解析者が手動で二値化を行うこともあるが、特に３次元での組織評価では大量の画像を解析する必要があり、莫大な時間を要する。手動による作業を回避するため、機械学習による自動化が提案されている。例えば特許文献１は、建造物の劣化レベルを、学習器を用いた機械学習により自動判定できる装置を開示する。 Evaluation by X-ray diffraction cannot accurately evaluate when the influence of texture etc. is large. Furthermore, the method using a microscope requires appropriate separation (segmentation) of the phase whose size or volume fraction is desired to be quantitatively evaluated. Conventionally, phase segmentation may be performed by binarizing tissue images. In binarization, a threshold is set for the brightness value of each pixel for discrimination, but multiple phases with similar brightness values are not separated, or the same phase may be separated due to the influence of channeling contrast caused by differences in crystal orientation. There are problems such as: To solve such problems, the image taker or data analyst may manually perform binarization, but especially in three-dimensional tissue evaluation, it is necessary to analyze a large number of images, which requires a huge amount of data. It takes time. Automation using machine learning has been proposed to avoid manual work. For example, Patent Document 1 discloses a device that can automatically determine the deterioration level of a building by machine learning using a learning device.
ここで、特許文献１の技術は、例えば錆が発生すること（発錆）などの経時的な建造物の劣化の程度について、劣化レベルを用いて判定するものである。特許文献１の技術は、劣化レベルの判定に特化しており、局所的劣化レベルを統計的に用いて大局的劣化レベルを取得することに適するものであるため、材料組織の分析には不向きである。したがって、特許文献１の技術は、異なる組織毎の分類に適したものでなく、例えばめっき凝固組織のように、３次元の厚み方向で組織形状及び形態が変化する組織に対するセグメンテーションの精度を保証するものでない。 Here, the technique of Patent Document 1 uses a deterioration level to determine the degree of deterioration of a building over time, such as the occurrence of rust (rusting), for example. The technique of Patent Document 1 is specialized for determining deterioration levels and is suitable for statistically using local deterioration levels to obtain global deterioration levels, so it is not suitable for analyzing material structures. be. Therefore, the technique of Patent Document 1 is not suitable for classifying different tissues, but guarantees segmentation accuracy for tissues whose tissue shape and morphology change in the three-dimensional thickness direction, such as plated solidified tissues. It's not something.
また、特許文献１のような従来技術では、異なるタイプの試料を扱う場合に機械学習モデルを作成し直す必要がある。さらに、従来技術では、同じ材料又は同系統の材料であっても、観察の際の試料状態、装置の状況などによって画像コントラストが変化するため、撮影ごとに機械学習モデルを作成し直す必要がある。そのため、セグメンテーションに多大な時間が必要になることがあった。 Further, in the conventional technology such as Patent Document 1, it is necessary to recreate the machine learning model when handling a different type of sample. Furthermore, with conventional technology, even if the material is the same or of the same type, the image contrast changes depending on the sample condition during observation, equipment conditions, etc., so it is necessary to recreate the machine learning model every time the image is taken. . Therefore, segmentation sometimes requires a large amount of time.
かかる事情に鑑みてなされた本開示の目的は、機械学習モデルを再作成することなく、高精度なセグメンテーションを実現できる金属組織のセグメンテーション方法を提供することにある。 An object of the present disclosure, made in view of the above circumstances, is to provide a metal structure segmentation method that can achieve highly accurate segmentation without recreating a machine learning model.
本発明者らは、上記課題を解決する方途について鋭意検討した。その結果、本発明者らは、学習済みの機械学習モデルを用いてセグメンテーションを行い、その機械学習モデルでセグメンテーションが行われた画像を補正する後処理を実行することによって、高精度なセグメンテーションを実現できることを見出した。より具体的に述べると、学習済みの機械学習モデルによる金属画像中の組織のセグメンテーションを評価するステップと、組織の分離が教師画像に近づくよう補正する後処理のステップを導入し、評価結果が良好になるまで繰り返すことによって、めっき凝固組織を含む金属組織のセグメンテーションの精度が向上することがわかった。ここで、金属画像とは、金属材料の組織を撮影した画像である。さらに、２次元画像のスタック（積み重ね）からなる３次元画像についても、高精度なセグメンテーションが可能であることがわかった。 The present inventors have intensively studied ways to solve the above problems. As a result, the inventors achieved highly accurate segmentation by performing segmentation using a trained machine learning model and performing post-processing to correct the image segmented using the machine learning model. I found out what I can do. More specifically, we introduced a step to evaluate tissue segmentation in metal images using a trained machine learning model, and a post-processing step to correct tissue separation so that it approaches the teacher image, resulting in good evaluation results. It was found that the accuracy of segmentation of the metal structure, including the plating solidification structure, was improved by repeating the process until . Here, the metal image is an image of the structure of a metal material. Furthermore, it has been found that highly accurate segmentation is also possible for three-dimensional images consisting of a stack of two-dimensional images.
すなわち、本開示の一実施形態に係る金属組織のセグメンテーション方法は、
学習済みの機械学習モデルを用いて、金属画像に含まれる組織のセグメンテーションを行う、金属組織のセグメンテーション方法であって、
セグメンテーションを行う画像の一部である選択画像について前記機械学習モデルを用いてセグメンテーションを行った結果の評価を行い、前記評価に基づいて正しいセグメンテーション結果に近づける補正を決定するステップと、
前記選択画像を除く前記セグメンテーションを行う画像の全てについて前記機械学習モデルを用いてセグメンテーションを行った結果に対して、前記補正を適用するステップと、を含む。
That is, the metal structure segmentation method according to an embodiment of the present disclosure includes:
A metal structure segmentation method that performs segmentation of a structure included in a metal image using a trained machine learning model, the method comprising:
Evaluating the result of performing segmentation using the machine learning model on a selected image that is a part of the image to be segmented, and determining a correction that approaches the correct segmentation result based on the evaluation;
The method includes the step of applying the correction to a result of performing segmentation using the machine learning model on all images to be segmented except for the selected image.
本開示によれば、機械学習モデルを再作成することなく、高精度なセグメンテーションを実現できる金属組織のセグメンテーション方法を提供することができる。 According to the present disclosure, it is possible to provide a metal structure segmentation method that can achieve highly accurate segmentation without recreating a machine learning model.
以下、図面を参照して本開示の一実施形態に係る金属組織のセグメンテーション方法が説明される。以下に説明される実施形態は、本開示の例示的な実施形態であって、本開示の内容を限定するものではない。 Hereinafter, a metal structure segmentation method according to an embodiment of the present disclosure will be described with reference to the drawings. The embodiments described below are exemplary embodiments of the present disclosure and do not limit the content of the present disclosure.
図１は、本実施形態に係る金属組織のセグメンテーション方法を示すフローチャートである。セグメンテーション方法は、ステップＳ１～Ｓ７の７つのステップ（工程）を含む。 FIG. 1 is a flowchart showing a metal structure segmentation method according to this embodiment. The segmentation method includes seven steps (processes) of steps S1 to S7.
まず、各ステップの概要は以下の通りである。ステップＳ１は、セグメンテーションを行う画像の一部を選択する工程である。より具体的に述べると、ステップＳ１は、元の２次元画像又は３次元画像に対して、観察したい対象物が確認できる２次元画像を所定の枚数、選択する工程である。所定の枚数は１以上の任意の数である。元の２次元画像は、１枚の金属画像であってよいが、例えば同じ材料又は同系統の材料であっても異なる機会で取得された複数の金属画像である。３次元画像は、例えば公知の３次元観察手法を用いて撮影された数十枚から数百枚の２次元画像から構成される金属画像である。公知の３次元観察手法は、例えばＳＥＭ―ＦＩＢ法などのシリアルセクショニング法、Ｘ線ＣＴ、ＴＥＭトモグラフィ法などであってよい。 First, an outline of each step is as follows. Step S1 is a step of selecting a part of the image to be segmented. More specifically, step S1 is a step of selecting a predetermined number of two-dimensional images in which the object to be observed can be confirmed from the original two-dimensional image or three-dimensional image. The predetermined number of sheets is an arbitrary number of 1 or more. The original two-dimensional image may be one metal image, but may be a plurality of metal images obtained on different occasions even if they are of the same material or the same type of material, for example. The three-dimensional image is a metal image composed of tens to hundreds of two-dimensional images taken using, for example, a known three-dimensional observation method. Known three-dimensional observation methods may include, for example, serial sectioning methods such as SEM-FIB method, X-ray CT, and TEM tomography methods.
ステップＳ２は、画像内部に存在するノイズを除去する、前処理工程である。より具体的に述べると、ステップＳ２は、ステップＳ１で選択された２次元画像（以下「選択画像」とも称される）に対して、バックグラウンド処理及びノイズ除去を実行する。 Step S2 is a preprocessing step that removes noise existing inside the image. More specifically, in step S2, background processing and noise removal are performed on the two-dimensional image (hereinafter also referred to as "selected image") selected in step S1.
ステップＳ３は、学習済みの機械学習モデルを用いて選択画像のセグメンテーションを行う工程である。ステップＳ３は、第１のセグメンテーションステップに対応する。 Step S3 is a step of performing segmentation of the selected image using the trained machine learning model. Step S3 corresponds to the first segmentation step.
ステップＳ４は、セグメンテーションを行った結果の画像（以下「セグメンテーション画像」とも称される）に対応する教師画像を取得する工程である。ここで、教師画像は、正しいセグメンテーション結果を示すものである。 Step S4 is a step of acquiring a teacher image corresponding to the image resulting from the segmentation (hereinafter also referred to as "segmentation image"). Here, the teacher image indicates a correct segmentation result.
ステップＳ５は、セグメンテーション画像と教師画像とを比較してセグメンテーション結果を評価し、セグメンテーション画像に対して、セグメンテーションの処理の際に発生したノイズ及び過不足部分を補正する工程である。ステップＳ５では、評価及び補正が目標値を得るまで繰り返されて、補正処理及び補正回数が決定される。ここで、例えば評価が誤差を示す評価指標によって行われる場合に、目標値は例えば最小値である。また、詳細について後述するが、繰り返される処理は、ノイズ除去、領域の膨張処理、領域の縮小処理及び分離処理の少なくとも１つであってよい。 Step S5 is a step in which the segmentation image is compared with the teacher image to evaluate the segmentation result, and the noise and excess/deficiency portions generated during the segmentation process are corrected to the segmentation image. In step S5, the evaluation and correction are repeated until the target value is obtained, and the correction process and the number of corrections are determined. Here, for example, when evaluation is performed using an evaluation index that indicates an error, the target value is, for example, the minimum value. Furthermore, although the details will be described later, the repeated processing may be at least one of noise removal, region expansion processing, region reduction processing, and separation processing.
ステップＳ６は、学習済みの機械学習モデルを用いて、選択画像を除く全ての２次元画像のセグメンテーションを行う工程である。ステップＳ６は、第２のセグメンテーションステップに対応する。ここで、全ての２次元画像は、ステップＳ１で選択の候補であった画像であってよい。つまり、全ての２次元画像は、元の２次元画像の全てであってよい。また、全ての２次元画像は、３次元画像を構成する数十枚から数百枚の２次元画像であってよい。 Step S6 is a step in which all two-dimensional images except the selected image are segmented using the trained machine learning model. Step S6 corresponds to the second segmentation step. Here, all the two-dimensional images may be images that were candidates for selection in step S1. That is, all two-dimensional images may be all of the original two-dimensional images. Further, all the two-dimensional images may be dozens to hundreds of two-dimensional images that constitute a three-dimensional image.
ステップＳ７は、ステップＳ６でセグメンテーションを行った結果の画像に対して、ステップＳ５で決定した補正処理及び補正回数を適用する、後処理工程である。 Step S7 is a post-processing step in which the correction process and the number of corrections determined in step S5 are applied to the image resulting from the segmentation performed in step S6.
本実施形態に係る金属組織のセグメンテーション方法は、情報処理装置によって実行される。情報処理装置は、ハードウェア構成として、コンピュータであってよい。コンピュータの構成は、特に限定されるものでなく、例えばメモリ及びハードディスクドライブなどの記憶部、ＣＰＵなどのプロセッサ、ネットワークに接続するための通信制御部、ディスプレイなどの表示装置及びキーボードなどの入力装置を備えるものであってよい。 The metal structure segmentation method according to this embodiment is executed by an information processing device. The information processing device may be a computer as a hardware configuration. The configuration of the computer is not particularly limited, and may include, for example, a storage unit such as a memory and a hard disk drive, a processor such as a CPU, a communication control unit for connecting to a network, a display device such as a display, and an input device such as a keyboard. It may be something to prepare for.
以下、各ステップの詳細が説明される。まず、ステップＳ１において、ステップＳ３のセグメンテーションを行う画像が選択される。画像は、ＳＥＭ、ＴＥＭ、光学顕微鏡などによる各種顕微鏡画像、Ｘ線ＣＴなどによる透過像の画像を含む。ステップＳ１において、目的の組織だけが得られるように、画像に対してトリミングなどがさらに実行されてよい。 The details of each step will be explained below. First, in step S1, an image to be subjected to segmentation in step S3 is selected. The images include various microscopic images obtained by SEM, TEM, optical microscope, etc., and transmission images obtained by X-ray CT, etc. In step S1, cropping or the like may be further performed on the image so that only the target tissue is obtained.
ステップＳ１で選択された画像は、同一装置、同一撮影条件で取得されても、試料表面の凹凸、試料の厚み、試料調製方法などによって、同一組織及び同一の相が異なるコントラストを有することがある。また、撮影条件によっては得られる像強度が低く、画像にノイズが多く入っている場合がある。同一の相における異なるコントラスト及びノイズは、ステップＳ３の相分類（セグメンテーション）で、その精度を著しく下げる要因になり得る。そのため、ステップＳ２において、バックグラウンド処理及びノイズ除去といった画像の前処理が行われる。 Even if the images selected in step S1 are acquired with the same device and under the same imaging conditions, the same tissue and the same phase may have different contrasts depending on the unevenness of the sample surface, the thickness of the sample, the sample preparation method, etc. . Further, depending on the photographing conditions, the obtained image intensity may be low and the image may contain a lot of noise. Different contrast and noise in the same phase can significantly reduce the accuracy of phase classification (segmentation) in step S3. Therefore, in step S2, image pre-processing such as background processing and noise removal is performed.
バックグラウンド処理は、画像内の全ての座標位置（ピクセル）においてバックグラウンド強度が均一となるように行われる処理である。バックグラウンド処理は、例えば画像内のバックグラウンド強度の高低を計算し、均一になるようにバックグラウンド強度を差し引く処理又はバックグラウンド強度の高低を均す処理であってよい。ただし、バックグラウンド処理は、これらの処理内容に限定されず、バックグラウンド強度が均一になるような処理であればよい。 Background processing is processing performed so that the background intensity becomes uniform at all coordinate positions (pixels) within an image. The background processing may be, for example, a process of calculating the level of background intensity in an image and subtracting the background intensity so that it becomes uniform, or a process of smoothing out the level of the background intensity. However, the background processing is not limited to these processing contents, and may be any processing that makes the background intensity uniform.
ノイズ除去は、例えば平均化フィルターなど公知の画像処理フィルターを用いて実行されてよい。ノイズ除去は、例えば公知のソフトウェア（一例としてＩｍａｇｅＪ）を用いて実行されてよい。ノイズ除去は、フィルターを使用する処理に限定されず、ノイズが除去可能であれば他の手法であってよい。また、ステップＳ２において、バックグラウンド処理及びノイズ除去の実行の順序（どちらが先か）は限定されない。また、バックグラウンド処理及びノイズ除去は、複数回、繰り返されてよい。 Noise removal may be performed using a known image processing filter, such as an averaging filter. Noise removal may be performed using, for example, known software (ImageJ, for example). Noise removal is not limited to processing using a filter, and may be any other method as long as noise can be removed. Furthermore, in step S2, the order of execution of background processing and noise removal (which comes first) is not limited. Also, background processing and noise removal may be repeated multiple times.
ステップＳ３において、学習済みの機械学習モデルを用いて、ステップＳ２にて前処理をおこなった画像についてセグメンテーションが行われる。この機械学習モデルは、本実施形態に係る金属組織のセグメンテーション方法の実行前に、機械学習が行われて、すでに分類器として生成されている。本実施形態において、この機械学習モデルは、分類したい組織が撮影されている画像を入力することによって生成された組織分類器であって、相分類（セグメンテーション）された画像を作成するものである。機械学習モデルを生成する機械学習の手法として、ランダムフォレスト、アダブースト、勾配ブースティング又はｋ近傍法などが用いられてよい。機械学習の手法は、例示した上記の手法に限定されないが、１つの機械学習モデルの作成例として、ランダムフォレストを用いることによって、精度を高めて計算時間を短縮することができた。 In step S3, segmentation is performed on the image preprocessed in step S2 using the trained machine learning model. This machine learning model has already been generated as a classifier by performing machine learning before executing the metallographic segmentation method according to the present embodiment. In this embodiment, this machine learning model is a tissue classifier that is generated by inputting an image of a tissue to be classified, and creates a phase-classified (segmented) image. As a machine learning method for generating a machine learning model, random forest, Adaboost, gradient boosting, k-nearest neighbor method, or the like may be used. Although the machine learning method is not limited to the above-mentioned examples, by using a random forest as an example of creating a machine learning model, it was possible to improve accuracy and shorten calculation time.
ステップＳ４において、相分類（セグメンテーション）の教師画像が取得される。教師画像は、ステップＳ５において比較可能なように、ステップＳ３のセグメンテーション画像に対応するものとして作成される。教師画像は、例えばステップＳ２で前処理を行った画像に対して、公知の教師データ作成方法によって自動的に又は手作業で、修正したり、相分類に必要な情報を付加したりすることによって生成されてよい。教師画像は、例えばステップＳ３のセグメンテーション画像に対して、公知の教師データ作成方法によって自動的に又は手作業で、必要な修正が行われることによって生成されてよい。ここで、教師画像は、本実施形態に係る金属組織のセグメンテーション方法を実行する情報処理装置で生成されてよいし、情報処理装置とは別のコンピュータで生成されてよい。例えば、情報処理装置は、ステップＳ２で前処理を行った画像をネットワーク経由で別のコンピュータに出力して、生成された教師画像をネットワーク経由で取得することによって、ステップＳ４の処理を実行してよい。 In step S4, a teacher image for phase classification (segmentation) is acquired. The teacher image is created as one corresponding to the segmentation image in step S3 so that it can be compared in step S5. The teacher image is created by, for example, automatically or manually correcting the image preprocessed in step S2 using a known teacher data creation method, or adding information necessary for phase classification. May be generated. The teacher image may be generated, for example, by automatically or manually making necessary corrections to the segmentation image in step S3 using a known teacher data creation method. Here, the teacher image may be generated by an information processing device that executes the metal structure segmentation method according to the present embodiment, or may be generated by a computer separate from the information processing device. For example, the information processing device executes the process in step S4 by outputting the image preprocessed in step S2 to another computer via the network and acquiring the generated teacher image via the network. good.
次に、ステップＳ５において、目的とする組織（相）が希望通りに分類されているかを確認するために、セグメンテーションの結果が評価される。また、評価に基づいて、ステップＳ７にて実行される補正処理及び補正回数が決定される。セグメンテーションの結果の評価は、ステップＳ４で得られた教師画像とステップＳ３で得られたセグメンテーション画像との一致について行われる。そして、セグメンテーション画像が教師画像に近づくように、補正処理と補正回数とが定められる。 Next, in step S5, the segmentation results are evaluated to confirm whether the target tissue (phase) is classified as desired. Furthermore, based on the evaluation, the correction process and the number of corrections to be performed in step S7 are determined. Evaluation of the segmentation results is performed regarding the match between the teacher image obtained in step S4 and the segmentation image obtained in step S3. Then, the correction process and the number of corrections are determined so that the segmentation image approaches the teacher image.
セグメンテーションの結果の評価は、教師画像とセグメンテーション画像との類似度が判定できれば特定の方法に限定されない。一例として、２つの画像の差分に基づく指標を用いる方法が挙げられる。ここで、教師画像及びセグメンテーション画像は、相毎に異なる輝度に分類された多値化された画像である。本実施形態において、教師画像とセグメンテーション画像とは、各ピクセルの輝度値が「０」又は「１」である二値化画像である。検出したい相に対して、輝度値の「１」が割り当てられている。教師画像とセグメンテーション画像の差分を計算した画像（以下「差分画像」と称される）は、相分類の結果が一致しているところでは、ピクセル（画素）の輝度値が「０」になる。一方で、差分画像において、教師画像とセグメンテーション画像の相分類の結果が一致していない領域では、ピクセルの輝度値が「１」又は「－１」になる。 Evaluation of the segmentation results is not limited to a specific method as long as the degree of similarity between the teacher image and the segmentation image can be determined. One example is a method using an index based on the difference between two images. Here, the teacher image and the segmentation image are multivalued images classified into different brightness levels for each phase. In this embodiment, the teacher image and the segmentation image are binarized images in which each pixel has a brightness value of "0" or "1". A brightness value of "1" is assigned to the phase to be detected. In an image obtained by calculating the difference between the teacher image and the segmentation image (hereinafter referred to as a "difference image"), the luminance value of the pixel becomes "0" where the phase classification results match. On the other hand, in the differential image, in a region where the phase classification results of the teacher image and the segmentation image do not match, the brightness value of the pixel becomes "1" or "-1".
本実施形態において、差分画像の輝度値が「１」であるピクセルは、教師画像における輝度値が「１」で、セグメンテーション画像における輝度値が「０」である。差分画像の輝度値が「－１」であるピクセルは、教師画像における輝度値が「０」で、セグメンテーション画像における輝度値が「１」である。つまり、差分画像において、輝度値が「１」である領域は、教師画像に対してセグメンテーション画像が不足している領域である。差分画像において、輝度値が「０」である領域は、教師画像とセグメンテーション画像が一致している領域である。また、差分画像において、輝度値が「－１」である領域は、教師画像に対してセグメンテーション画像が過剰な領域である。 In this embodiment, a pixel whose luminance value in the difference image is "1" has a luminance value of "1" in the teacher image and a luminance value of "0" in the segmentation image. A pixel whose luminance value in the difference image is "-1" has a luminance value of "0" in the teacher image and "1" in the segmentation image. That is, in the difference image, an area where the brightness value is "1" is an area where the segmentation image is insufficient compared to the teacher image. In the difference image, an area where the brightness value is "0" is an area where the teacher image and the segmentation image match. Furthermore, in the difference image, an area where the brightness value is "-1" is an area where the segmentation image is excessive compared to the teacher image.
本実施形態において、差分画像において輝度値が「１」及び「－１」である領域のそれぞれについて、面積率が計算される。輝度値が「１」である領域の面積率（以下「不足領域面積率」とも称される）は、“輝度値が「１」である領域の面積”／“差分画像の全体の面積”で計算される。また、輝度値が「－１」である領域の面積率（以下「過剰領域面積率」とも称される）は、“輝度値が「－１」である領域の面積”／“差分画像の全体の面積”で計算される。そして、セグメンテーション画像の評価指標として、不足領域面積率と過剰領域面積率の二乗和平方根を用いることができる。不足領域面積率をＲ１、過剰領域面積率をＲ－１とすると、二乗和平方根は√（（Ｒ１）２＋（Ｒ－１）２）である。教師画像とセグメンテーション画像との類似度が高いほど、二乗和平方根は小さくなる。 In this embodiment, the area ratio is calculated for each of the regions whose brightness values are "1" and "-1" in the difference image. The area ratio of the area where the brightness value is "1" (hereinafter also referred to as the "insufficient area area ratio") is "area of the area where the brightness value is "1"/"total area of the difference image". In addition, the area ratio of the area where the brightness value is "-1" (hereinafter also referred to as "excess area area ratio") is "area of the area where the brightness value is "-1"/" The square root of the sum of the squares of the insufficient area area ratio and the excess area area ratio can be used as the evaluation index of the segmentation image. When the area ratio is R -1 , the square root of the sum of squares is √((R 1 ) 2 + (R -1 ) 2 ).The higher the similarity between the teacher image and the segmentation image, the smaller the square root of the sum of squares. .
上記の不足及び過剰（以下「過不足」とも表記される）に基づいて、セグメンテーション画像が教師画像に近づくように補正が行われる。本実施形態において、補正を実行した後に上記の二乗和平方根を計算し、二乗和平方根が最小となるように、補正処理及び補正回数が定められる。補正は、過不足を減らしてセグメンテーション画像を教師画像に近づけるものであれば、特定の処理に限定されないが、短時間で実行可能な処理が好ましい。例えば、公知の画像処理を行うソフトウェア（一例としてＩｍａｇｅＪ）を使用して、セグメンテーション画像の領域の膨張、縮小処理及びモフォロジー処理を実行することによって、補正が実行されてよい。このとき、膨張処理によって２つ以上の物体が繋がった場合に、補正は、その繋がりを切断する処理を含んでよい。そして、評価と補正とが繰り返されて、二乗和平方根が最小となるセグメンテーション画像が得られる補正処理と補正回数とが決定される。 Based on the above deficiency and excess (hereinafter also referred to as "excess and deficiency"), correction is performed so that the segmentation image approaches the teacher image. In this embodiment, the above-mentioned square root of the sum of squares is calculated after the correction is performed, and the correction process and the number of times of correction are determined so that the square root of the sum of squares is minimized. The correction is not limited to a specific process as long as it reduces the excess or deficiency and brings the segmentation image closer to the teacher image, but it is preferable to use a process that can be executed in a short time. For example, the correction may be performed by performing expansion, reduction, and morphology processing on the region of the segmented image using software that performs known image processing (ImageJ, for example). At this time, if two or more objects are connected due to the expansion process, the correction may include a process of cutting the connection. The evaluation and correction are then repeated to determine the correction process and the number of corrections that will yield a segmented image with the minimum square root of the sum of squares.
ステップＳ６において、学習済みの機械学習モデルを用いて、選択画像を除いた全ての２次元画像のセグメンテーションが行われる。ステップＳ６は、ステップＳ３と異なり、ステップＳ１で選択された２次元画像以外をセグメンテーションの対象とする。 In step S6, all two-dimensional images except the selected image are segmented using the trained machine learning model. In step S6, unlike step S3, the two-dimensional image other than the two-dimensional image selected in step S1 is targeted for segmentation.
ステップＳ７において、ステップＳ６でセグメンテーションを行ったセグメンテーション画像に対して、ステップＳ５の補正が実行される。補正処理及び補正回数は、ステップＳ５での決定に従う。 In step S7, the correction in step S5 is performed on the segmented image subjected to segmentation in step S6. The correction process and the number of times of correction are determined in step S5.
亜鉛系合金めっき鋼板（試料ｎ＝１～６）について、表層めっき部についてＸ線ＣＴによる３次元観察が行われて、めっき凝固組織及び鋼板組織からなる３次元組織画像が得られた。得られた画像は、画像処理ソフトウェア（ＦＥＩ製：Ａｖｉｚｏ）で描画されて、めっき凝固組織だけを抽出できるよう、トリミングが実施された。めっき凝固組織について、画像回転などを用いて、基板表面と平行方向にスライス像が抽出できるように変形されて、全てｔｉｆｆ形式の２次元断面像に変換した。このとき、一枚の２次元画像の解像度は１０００ピクセル×１０００ピクセルである。 For the zinc-based alloy coated steel sheets (samples n=1 to 6), three-dimensional observation using X-ray CT was performed on the surface plating portion, and a three-dimensional structure image consisting of the plating solidification structure and the steel sheet structure was obtained. The obtained image was drawn using image processing software (manufactured by FEI: Avizo) and trimmed so that only the plated coagulated tissue could be extracted. The plated solidified structure was transformed using image rotation or the like so that slice images could be extracted in a direction parallel to the substrate surface, and all were converted into two-dimensional cross-sectional images in tiff format. At this time, the resolution of one two-dimensional image is 1000 pixels x 1000 pixels.
図２の左図は、Ｘ線ＣＴより得られたｎ＝１の試料の３次元組織であって、鋼板表面平行方向のめっき層内の断面スライス像である。異なるコントラスト及び形態を有する塊状とラメラー状の２つの組織が認められた。同材料について走査型電子顕微鏡（ＳＥＭ）を用いて組成分析を行ったところ、塊状の領域がＺｎ、ラメラー状の領域が軽元素からなる組織であることが判明した。このように、亜鉛系合金めっき組織に対してＸ線ＣＴによる３次元像観察を実施することで、亜鉛系合金めっきの凝固組織構造が十分特定される。このような試料について、塊状の組織についてセグメンテーションが行われた。ｎ＝１の試料を用いて塊状の領域とそれ以外の組織について機械学習を行って、セグメンテーションが行われた（図２の右図）。機械学習には、オープンソースの画像処理ソフトであるＩｍａｇｅＪの一機能であるＷｅｋａ Ｓｅｇｅｍｅｎｔａｔｉｏｎが用いられた。次に、ｎ＝１の試料によって学習済みの機械学習モデル（同じ分類器）を用いて、ｎ＝２以降の試料のセグメンテーションが行われて、上記の実施形態で説明した補正が行われた。 The left diagram in FIG. 2 is a three-dimensional structure of a sample with n=1 obtained by X-ray CT, and is a cross-sectional slice image of the plating layer in the direction parallel to the steel sheet surface. Two textures, massive and lamellar, with different contrast and morphology were observed. When the composition of the same material was analyzed using a scanning electron microscope (SEM), it was found that the structure was composed of Zn in the lumpy regions and light elements in the lamellar regions. In this way, by performing three-dimensional image observation of the zinc-based alloy plating structure using X-ray CT, the solidification structure of the zinc-based alloy plating can be sufficiently specified. Segmentation was performed on the bulk tissue of such samples. Segmentation was performed by performing machine learning on the massive region and other tissues using n = 1 samples (right diagram in Figure 2). For machine learning, Weka Segmentation, a function of ImageJ, an open source image processing software, was used. Next, using the machine learning model (the same classifier) trained by the n=1 sample, segmentation of the samples from n=2 onwards was performed, and the correction described in the above embodiment was performed.
（実施例）
ｎ＝２～６の試料について、これらの画像を選択画像として、バックグラウンド処理及びノイズ除去が実行された。図３は、ｎ＝２の試料について、バックグラウンド処理及びノイズ除去の前後の画像を示す図である。図３の左図がバックグラウンド処理及びノイズ除去の前の画像である。図３の右図がバックグラウンド処理及びノイズ除去の後の画像である。バックグラウンド処理にはＡｖｉｚｏの機能であるＳｈａｄｉｎｇ ｃｏｒｒｅｃｔｉｏｎを使用した。ノイズ除去は、ＡｖｉｚｏにおいてＮｏｎ ｌｏｃａｌ ｍｅａｎ ｆｉｌｔｅｒを使用した。
(Example)
For samples n=2 to 6, background processing and noise removal were performed using these images as selected images. FIG. 3 is a diagram showing images before and after background processing and noise removal for n=2 samples. The left image in FIG. 3 is the image before background processing and noise removal. The right image in FIG. 3 is the image after background processing and noise removal. Shading correction, a function of Avizo, was used for background processing. For noise removal, a Non local mean filter was used in Avizo.
次に、学習済みの機械学習モデルを用いて、図３の右図に示す画像についてセグメンテーションが行われた（図４参照）。このとき、塊状の組織を「１」に、それ以外の組織を「０」として二値化が行われた。塊状の組織について、ある程度分類できているが、ノイズが多く存在することが確認できる。図５は、図４を修正して生成された教師画像を示す。このとき、修正は手作業で行われた。 Next, segmentation was performed on the image shown in the right diagram of FIG. 3 using the trained machine learning model (see FIG. 4). At this time, binarization was performed by setting lumpy tissues to "1" and other tissues to "0". Although the lumpy tissue can be classified to some extent, it can be confirmed that there is a lot of noise. FIG. 5 shows a teacher image generated by modifying FIG. 4. At this time, corrections were made manually.
次に、得られた教師画像とセグメンテーション画像とを用いて、セグメンテーションの結果の評価が行われた。図６の左図は、図５（教師画像の一例）から図４（セグメンテーション画像の一例）を減じた差分画像を示す。図６の中央図は不足領域の画像を示す。図６の右図は過剰領域の画像を示す。この例において、過不足の面積率は、不足領域面積率が１４．９％、過剰領域面積率が３．４％であった。この状態から、これら過不足の補正が行われた。補正として、Ａｖｉｚｏの機能であるＤｉｌａｔｉｏｎ処理とＥｒｏｓｉｏｎ処理を用いて、領域の膨張、縮小処理が行われた。また、補正として、Ａｖｉｚｏの機能である“Ｒｅｍｏｖｅ ｉｓｌａｎｄ”処理を用いて、閾値以下のピクセルサイズから成る領域（空孔含む）をノイズとして除去する処理が行われた。 Next, the segmentation results were evaluated using the obtained teacher image and segmentation image. The left diagram in FIG. 6 shows a difference image obtained by subtracting FIG. 4 (an example of a segmentation image) from FIG. 5 (an example of a teacher image). The center image of FIG. 6 shows an image of the missing area. The right figure in FIG. 6 shows an image of the excess area. In this example, the area ratio of excess and deficiency was that the insufficient area area ratio was 14.9% and the excess area area ratio was 3.4%. From this state, these excesses and deficiencies were corrected. As a correction, expansion and reduction processing of the area was performed using Avizo's functions of Dilation processing and Erosion processing. Furthermore, as a correction, a process was performed in which a region (including holes) having a pixel size smaller than a threshold value was removed as noise using the "Remove island" process, which is a function of Avizo.
最初に“Ｒｅｍｏｖｅ ｉｓｌａｎｄ”処理で塊状以外に存在するノイズが除去され、不足分を補うために、セグメンテーション領域を膨張させるＤｉｌａｔｉｏｎ処理が複数回行われた。Ｄｉｌａｔｉｏｎ処理を実行する度に、過不足の面積率が測定されて、二乗和平方根が計算された（図７参照）。ここで、５００以下のピクセルから構成される領域は、ノイズとして除去された。図７に示すように、Ｄｉｌａｔｉｏｎ処理を複数回行うと、その回数に応じて不足領域面積率が減少していく。一方で、Ｄｉｌａｔｉｏｎ処理の回数に応じて過剰領域面積率が増加しており、最適な処理回数があることがわかる。二乗和平方根が最小になる処理回数を最適処理回数とし、Ｄｉｌａｔｉｏｎ処理について最適処理回数が４回に決定された。その後、Ｄｉｌａｔｉｏｎ処理によって繋がった２つ以上の物体を切断するため、Ａｖｉｚｏの機能であるＷａｔｅｒｓｈｅｄ処理によって分離処理が行われた。図８は、図４のセグメンテーション画像に上記の補正を行った前後の画像を示す。図８の左図が図４のセグメンテーション画像である。図８の右図が補正後の画像であって、ノイズが除去され、塊状の組織が二値化されて適切に分離されていることがわかる。 First, the "Remove island" process removes noise existing in areas other than lumps, and in order to compensate for the insufficiency, the Dilation process for expanding the segmentation area is performed multiple times. Every time the dilation process was executed, the area ratio of excess and deficiency was measured, and the square root of the sum of squares was calculated (see FIG. 7). Here, regions consisting of less than 500 pixels were removed as noise. As shown in FIG. 7, when the dilation process is performed multiple times, the insufficient area area ratio decreases according to the number of times. On the other hand, it can be seen that the excess area area ratio increases according to the number of times of dilation processing, and there is an optimum number of times of processing. The number of times of processing that minimizes the square root of the sum of squares is defined as the optimum number of processing times, and the optimum number of processing times for the dilation processing is determined to be four. After that, in order to disconnect two or more objects connected by the dilation process, a separation process was performed using the watershed process, which is a function of Avizo. FIG. 8 shows images before and after performing the above correction on the segmentation image of FIG. 4. The left diagram in FIG. 8 is the segmentation image in FIG. 4. The right image in FIG. 8 is the corrected image, and it can be seen that noise has been removed and the lumpy tissue has been binarized and appropriately separated.
この結果より、今回得られためっき凝固組織の３次元画像の２次元断面像についてセグメンテーションを行うには、補正として、５００以下のピクセルから構成される物を除去し、Ｄｉｌａｔｉｏｎ処理を４回実施し、最後にＷａｔｅｒｓｈｅｄ処理を行えば良いという事がわかった。つまり、この例において、上記のステップＳ５の補正は、補正処理が“Ｒｅｍｏｖｅ ｉｓｌａｎｄ”処理、Ｄｉｌａｔｉｏｎ処理及びＷａｔｅｒｓｈｅｄ処理に決定されて、補正回数がそれぞれ１回、４回及び１回と決定された。 From this result, in order to perform segmentation on the two-dimensional cross-sectional image of the three-dimensional image of the plated coagulation tissue obtained this time, as a correction, objects consisting of less than 500 pixels should be removed and the dilation process should be performed four times. , I found out that it is sufficient to perform Watershed processing at the end. That is, in this example, in the correction in step S5, the correction processing is determined to be the "Remove island" processing, the Dilation processing, and the Watershed processing, and the number of corrections is determined to be 1, 4, and 1, respectively.
次に、最初に選択しなかった残り全ての２次元画像（上記の補正の決定のために用いられなかった２次元画像）について、学習済みの機械学習モデルを用いてセグメンテーションが行われて、上記の補正が実行された。この金属組織のセグメンテーション方法を実行することで、例えば数百枚からなる３次元画像の２次元断面像の全てに対して、機械学習モデルを再作成することなく、高精度なセグメンテーションを実現することができる。 Next, all remaining 2D images that were not selected initially (2D images that were not used to determine the above correction) are segmented using the trained machine learning model, and the above correction was performed. By implementing this metallographic segmentation method, it is possible to achieve highly accurate segmentation for all two-dimensional cross-sectional images of hundreds of three-dimensional images, for example, without recreating a machine learning model. I can do it.
（比較例）
ｎ＝２～６の試料について、これらの画像のバックグラウンド処理及びノイズ除去が実行された。その後、セグメンテーションの結果の評価が、上記の二乗和平方根ではなく、目視にて実施されて、補正処理が決定された。その他の処理は、実施例と同様の手法で行った。
(Comparative example)
Background processing and noise removal of these images was performed for samples from n=2 to 6. Thereafter, the segmentation results were evaluated visually, rather than by the root sum of squares described above, and the correction process was determined. Other treatments were performed in the same manner as in the examples.
図９は実施例及び比較例で得られた二乗和平方根を示す。実施例では、比較例に比べて二乗和平方根が小さく、またばらつきも小さいことが分かる。例えば３次元を構成する数百枚の２次元画像に補正を適用する場合、適用する２次元画像の枚数に応じて誤差が増えると考えられるため、比較例では精度が大きく下がると考えられる。 FIG. 9 shows the root sum of squares obtained in Examples and Comparative Examples. It can be seen that in the example, the root sum of squares is smaller than in the comparative example, and the variation is also smaller. For example, when applying correction to hundreds of two-dimensional images that make up a three-dimensional image, it is thought that errors will increase according to the number of applied two-dimensional images, so it is thought that the accuracy will be significantly reduced in the comparative example.
実施例と比較例との対比から明らかなように、本実施形態に係る金属組織のセグメンテーション方法は、機械学習モデルを再作成することなく、高精度なセグメンテーションを実現できる。同じ材料又は同系統の材料であっても異なるタイミングで画像を取得する場合などに画像コントラストが変化することがあるが、学習済みの機械学習モデルがある場合に、再作成することなく、高精度なセグメンテーションを実現することができる。また、上記の実施例のように、Ｘ線ＣＴ、ＦＩＢ―ＳＥＭ法などの各種の３次元組織観察手法により観察した画像に含まれる金属組織についても、機械学習モデルを再作成することなく、高精度なセグメンテーションを実現することができる。また、セグメンテーション結果について目視によらない客観的な評価が可能であり、客観的な評価に基づいて最適な補正を決定することが可能である。 As is clear from the comparison between the example and the comparative example, the metal structure segmentation method according to the present embodiment can achieve highly accurate segmentation without recreating a machine learning model. Image contrast may change when images are acquired at different times even for the same material or materials of the same type, but if you have a trained machine learning model, you can achieve high accuracy without having to recreate it. segmentation can be achieved. In addition, as in the above example, metal structures included in images observed using various three-dimensional structure observation methods such as X-ray CT and FIB-SEM can be highly Accurate segmentation can be achieved. Furthermore, it is possible to objectively evaluate the segmentation results without visual inspection, and it is possible to determine the optimal correction based on the objective evaluation.
本開示の実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数のステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態は、情報処理装置、情報処理装置が備えるプロセッサにより実行されるプログラム及びプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。 Although the embodiments of the present disclosure have been described based on the drawings and examples, it should be noted that those skilled in the art can easily make various changes or modifications based on the present disclosure. It should therefore be noted that these variations or modifications are included within the scope of this disclosure. For example, functions included in each step can be rearranged so as not to be logically contradictory, and a plurality of steps can be combined into one or divided. Embodiments according to the present disclosure can also be realized as an information processing device, a program executed by a processor included in the information processing device, and a storage medium on which the program is recorded. It is to be understood that these are also encompassed within the scope of the present disclosure.
Claims (5)
前記情報処理装置が、同じ又は同系統の金属材料の組織を撮影した画像をセグメンテーションを行う画像として、前記セグメンテーションを行う画像の一部である選択画像について前記機械学習モデルを用いてセグメンテーションを行った結果の画像であるセグメンテーション画像の評価を行い、前記セグメンテーション画像に対応する教師画像を取得し、前記評価に基づいて前記セグメンテーション画像が教師画像と一致する領域をより大きくする補正を決定するステップと、
前記情報処理装置が、前記選択画像を除く前記セグメンテーションを行う画像の全てについて前記機械学習モデルを用いてセグメンテーションを行った結果に対して、前記補正を適用するステップと、を含む、金属組織のセグメンテーション方法。 A metal structure segmentation method, wherein an information processing device performs segmentation of a structure included in a metal image using a learned machine learning model,
The information processing device performs segmentation using the machine learning model on a selected image that is a part of the image to be segmented, using an image of a structure of a metal material of the same or similar type as an image to be segmented. evaluating the resulting segmentation image , obtaining a teacher image corresponding to the segmentation image, and determining, based on the evaluation, a correction for enlarging a region where the segmentation image matches the teacher image ;
Segmentation of a metallographic structure, the information processing device applying the correction to a result of performing segmentation using the machine learning model on all images to be segmented except for the selected image. Method.
前記情報処理装置が、前記機械学習モデルを用いて前記選択画像のセグメンテーションを行う第１のセグメンテーションステップと、
前記情報処理装置が、前記選択画像を除く前記セグメンテーションを行う画像の全てについて前記機械学習モデルを用いてセグメンテーションを行う第２のセグメンテーションステップと、を含み、
前記評価は、前記セグメンテーション画像と、前記教師画像との差分に基づく評価指標を用いる、請求項１に記載の金属組織のセグメンテーション方法。 the information processing device selecting the selected image;
a first segmentation step in which the information processing device performs segmentation of the selected image using the machine learning model;
a second segmentation step in which the information processing device performs segmentation using the machine learning model on all images to be segmented except for the selected image,
2. The metal structure segmentation method according to claim 1, wherein the evaluation uses an evaluation index based on a difference between the segmentation image and the teacher image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021096595A JP7444137B2 (en) | 2021-06-09 | 2021-06-09 | Metal structure segmentation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021096595A JP7444137B2 (en) | 2021-06-09 | 2021-06-09 | Metal structure segmentation method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022188504A JP2022188504A (en) | 2022-12-21 |
| JP7444137B2 true JP7444137B2 (en) | 2024-03-06 |
Family
ID=84532458
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021096595A Active JP7444137B2 (en) | 2021-06-09 | 2021-06-09 | Metal structure segmentation method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7444137B2 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116721115A (en) * | 2023-06-15 | 2023-09-08 | 小米汽车科技有限公司 | Metallographic structure acquisition method, device, storage medium and chip |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014178328A (en) | 2010-05-31 | 2014-09-25 | Tohoku Electric Power Co Inc | Steel pipe internal corrosion analyzer and steel pipe internal corrosion analysis method |
| US9437008B1 (en) | 2015-07-21 | 2016-09-06 | Sony Corporation | Image segmentation using bayes risk estimation of scene foreground and background |
| JP2019121386A (en) | 2017-12-28 | 2019-07-22 | ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ | Generating 3d models representing buildings |
| CN112435264A (en) | 2020-10-30 | 2021-03-02 | 西安交通大学 | 42CrMo single-phase metallographic structure segmentation method and system based on deep learning |
-
2021
- 2021-06-09 JP JP2021096595A patent/JP7444137B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014178328A (en) | 2010-05-31 | 2014-09-25 | Tohoku Electric Power Co Inc | Steel pipe internal corrosion analyzer and steel pipe internal corrosion analysis method |
| US9437008B1 (en) | 2015-07-21 | 2016-09-06 | Sony Corporation | Image segmentation using bayes risk estimation of scene foreground and background |
| JP2019121386A (en) | 2017-12-28 | 2019-07-22 | ダッソー システムズＤａｓｓａｕｌｔ Ｓｙｓｔｅｍｅｓ | Generating 3d models representing buildings |
| CN112435264A (en) | 2020-10-30 | 2021-03-02 | 西安交通大学 | 42CrMo single-phase metallographic structure segmentation method and system based on deep learning |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022188504A (en) | 2022-12-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Malarvel et al. | An improved version of Otsu's method for segmentation of weld defects on X-radiography images | |
| Prill et al. | Morphological segmentation of FIB‐SEM data of highly porous media | |
| CA2515564C (en) | Method and apparatus for removing uneven brightness in an image | |
| CN113538433A (en) | Mechanical casting defect detection method and system based on artificial intelligence | |
| KR20130139762A (en) | System, method and computer program product for detection of defects within inspection images | |
| EP4099012A1 (en) | Metal structure phase classification method, metal structure phase classification device, metal structure phase learning method, metal structure phase learning device, material property prediction method for metal material, and material property prediction device for metal material | |
| US8983199B2 (en) | Apparatus and method for generating image feature data | |
| JP2019504452A (en) | Multi-modality mineral segmentation system and method | |
| JP7444137B2 (en) | Metal structure segmentation method | |
| CN112348831B (en) | Shale SEM image segmentation method based on machine learning | |
| JP4453315B2 (en) | Composite material mechanical analysis equipment | |
| CN112561905A (en) | Image optimization method, reinspection method and reinspection equipment for patterned wafer | |
| CN116664565A (en) | Hidden crack detection method and system for photovoltaic solar cell | |
| KR101929669B1 (en) | The method and apparatus for analyzing an image using an entropy | |
| US20230144724A1 (en) | Method for Finding Image Regions that Significantly Influence Classification in a Tool for Pathology Classification in a Medical Image | |
| US20050061974A1 (en) | Method of analyzing material structure using CBED | |
| CN115619799B (en) | Grain image segmentation method and system based on transfer learning | |
| Nagase et al. | Automatic calculation and visualization of nuclear density in whole slide images of hepatic histological sections | |
| CN107967690A (en) | A kind of adaptive iron spectrum Debris Image binary processing method | |
| CN116363097A (en) | Defect detection method and system for photovoltaic panel | |
| Reimers et al. | Construction of 3D digital model of a rock sample based on FIB-SEM data | |
| CN115457028A (en) | Method and system for automatically segmenting and calibrating crack image of scanning electron microscope sample | |
| EP4131159A1 (en) | Method for determining condition for imaging of metallographic structure, method for imaging metallographic structure, method for classifying phases of metallographic structure, device for determining condition for imaging of metallographic structure, device for imaging metallographic structure, device for classifying phases of metallographic structure, method for predicting material properties of metallic material, and device for predicting material properties of metallic material | |
| CN110334664B (en) | Statistical method and device for alloy precipitated phase fraction, electronic equipment and medium | |
| Nebaba et al. | Patterns detection in saed images of transmission electron microscopy |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230126 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240123 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240205 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7444137 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |