JP7417097B2

JP7417097B2 - Sintered ore structure learning device, structure learning method, and structure learning program

Info

Publication number: JP7417097B2
Application number: JP2020069978A
Authority: JP
Inventors: 守利水谷
Original assignee: Nippon Steel Corp
Current assignee: Nippon Steel Corp
Priority date: 2020-04-08
Filing date: 2020-04-08
Publication date: 2024-01-18
Anticipated expiration: 2040-04-08
Also published as: JP2021166014A

Description

本発明は、焼結鉱の組織構成を学習する組織構成学習装置、組織構成学習方法及び組織構成学習プログラムに関する。 The present invention relates to a structure learning device, a structure learning method, and a structure learning program for learning the structure of sintered ore.

焼結鉱は、高炉に装入される８割を占める原料であり、高炉に装入される主要な原料である。焼結鉱の品質は、高炉の操業状態を決定する要因の１つであり、焼結鉱の気孔の構造、及び基質を成す鉱物の構成で決定される。高炉の原料として現在多く使用される自溶性焼結鉱では、基質はヘマタイト（Ｆｅ₂Ｏ₃）、マグネタイト（Ｆｅ₃Ｏ₄）、カルシウムフェライト（ＣａＯ・Ｆｅ₂Ｏ₃）、シリケートスラグ（ＣａＯ・ＳｉＯ₂）の４つの鉱物相を有する。鉱物相及び気孔の焼結鉱に占める比率、径分布及び形状等の焼結鉱の組織構成を定量的に測定することにより取得されるデータは、焼結鉱の品質制御に関する知見を得る上で有用である。 Sintered ore is a raw material that accounts for 80% of what is charged into a blast furnace, and is the main raw material that is charged into a blast furnace. The quality of sintered ore is one of the factors that determines the operational status of a blast furnace, and is determined by the pore structure of sintered ore and the composition of minerals forming the matrix. In self-fluxing sinter, which is currently widely used as a raw material for blast furnaces, the substrates are hematite (Fe ₂ O ₃ ), magnetite (Fe ₃ O ₄ ), calcium ferrite (CaO・Fe ₂ O ₃ ), and silicate slag (CaO・It has four mineral phases: SiO ₂ ). Data obtained by quantitatively measuring the structural composition of sintered ore, such as the proportion of mineral phases and pores in sintered ore, diameter distribution, and shape, is useful for gaining knowledge about quality control of sintered ore. Useful.

光学顕微鏡及び走査電子顕微鏡(Scanning Electron Microscope、ＳＥＭ)等で観察される焼結鉱の断面を撮像装置により撮像された断面画像を画像解析することによって、焼結鉱の組織構成を定量化する技術が知られている（例えば、特許文献１～３を参照）。特許文献１～３に記載される技術では、焼結鉱の組織構成は、焼結鉱を撮像した画像を形成する画素の輝度に基づいて推定される。しかしながら、画像の輝度は、撮像条件及び試料の撮像場所毎に相違するため、特許文献１～３に記載される技術では、推定される焼結鉱の組織構成が画像毎に相違し、焼結鉱の組織構成を精度高く推定することは容易ではない。 A technology that quantifies the structure of sintered ore by analyzing the cross-sectional image of the sintered ore observed with an optical microscope, scanning electron microscope (SEM), etc. using an imaging device. are known (for example, see Patent Documents 1 to 3). In the techniques described in Patent Documents 1 to 3, the structure of the sintered ore is estimated based on the brightness of pixels forming an image of the sintered ore. However, since the brightness of images differs depending on the imaging conditions and the imaging location of the sample, in the techniques described in Patent Documents 1 to 3, the estimated structure of the sintered ore differs from image to image, and the sintered ore It is not easy to estimate the texture of ores with high accuracy.

一方、画像を示す画像データを教師データとして使用して、ディープラーニングにより機械学習された学習モデルを使用することで、画像に含まれる種々の特徴を高精度に識別する技術が知られている（例えば、特許文献４を参照）。しかしながら、機械学習された学習モデルを使用して焼結鉱の組織構成を推定する技術は、知られていない。 On the other hand, there is a known technology that uses image data representing an image as training data and uses a learning model that is machine learned using deep learning to identify various features included in an image with high accuracy ( For example, see Patent Document 4). However, there is no known technique for estimating the structure of sintered ore using a machine-learned learning model.

特開２０１３－１２２４０３号公報Japanese Patent Application Publication No. 2013-122403 特開２０１４－２１５９８７号公報Japanese Patent Application Publication No. 2014-215987 特開２０１４－１３７３４４号公報Japanese Patent Application Publication No. 2014-137344 特開２０１９－２００７６９号公報JP 2019-200769 Publication

本発明の発明者らは、焼結鉱の断面画像を使用して焼結鉱の組織構成を学習モデルに機械学習させるときに、教師データとして使用する焼結鉱の断面画像を適宜選択することで、焼結鉱の組織構成を高精度に推定可能な学習モデルを生成することを見出した。 The inventors of the present invention have proposed a method for appropriately selecting a cross-sectional image of the sintered ore to be used as training data when the learning model uses the cross-sectional image of the sintered ore to machine learn the structure of the sintered ore. We have discovered that we can generate a learning model that can estimate the structure of sintered ore with high accuracy.

本発明は、焼結鉱の組織構成を高精度に推定可能な学習モデルを生成可能な組織構成学習装置を提供することを目的とする。 An object of the present invention is to provide a structure learning device capable of generating a learning model capable of estimating the structure of sintered ore with high accuracy.

このような課題を解決する本発明は、以下に示す焼結鉱の組織構成学習装置、組織構成学習方法及び組織構成学習プログラムを要旨とするものである。
（１）焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得する画像データ取得部と、
断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相に関連付けて複数の学習用データを生成する学習用データ生成部と、
複数の学習用データを用いて複数の断面画像と焼結鉱の組織構成との関係性を学習モデルに学習させる学習処理部と、
学習した複数の断面画像と焼結鉱の組織構成との関係性に基づいて、焼結鉱の断面を撮像した断面画像から焼結鉱の組織構成を推定する学習モデルを出力する学習モデル出力部と、を有し、
複数の学習用データのそれぞれは、ヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグのうち少なくとも３つの鉱物相に、複数の領域を関連付けて生成される、ことを特徴とする焼結鉱の組織構成学習装置。
（２）複数の学習用データは、
複数の領域をヘマタイト、マグネタイト及びカルシウムフェライトに関連付けて生成された第１学習用データと、
複数の領域をヘマタイト、マグネタイト及びシリケートスラグに関連付けて生成された第２学習用データと、
複数の領域をヘマタイト、カルシウムフェライト及びシリケートスラグに関連付けて生成された第３学習用データと、
複数の領域をマグネタイト、シリケートスラグ及びカルシウムフェライトに関連付けて生成された第４学習用データと、
複数の領域をヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグに関連付けて生成された第５学習用データと、
を含む、（１）に記載の焼結鉱の組織構成学習装置。
（３）第１学習用データ、第２学習用データ、第３学習用データ、第４学習用データ及び第５学習用データの少なくとも１つは、輝度が異なる少なくとも２つの学習用データを含む、（２）に記載の焼結鉱の組織構成学習装置。
（４）第１学習用データ、第２学習用データ、第３学習用データ、第４学習用データ及び第５学習用データの少なくとも１つは、コントラストが異なる少なくとも２つの学習用データを含む、（２）又は（３）に記載の焼結鉱の組織構成学習装置。
（５）複数の学習用データは、脈石に複数の領域を関連付けて生成された第６学習用データを更に含む、（２）～（４）の何れか一つに記載の焼結鉱の組織構成学習装置。
（６）第６学習用データは、輝度が異なる少なくとも２つの学習用データを含む、（５）に記載の焼結鉱の組織構成学習装置。
（７）第６学習用データは、コントラストが異なる少なくとも２つの学習用データを含む、（５）又は（６）に記載の焼結鉱の組織構成学習装置。
（８）焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得し、
断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相に関連付けて複数の学習用データを生成し、
複数の学習用データを用いて複数の断面画像と焼結鉱の組織構成との関係性を学習モデルに学習させ、
学習した複数の断面画像と焼結鉱の組織構成との関係性に基づいて、焼結鉱の断面を撮像した断面画像から焼結鉱の組織構成を推定する学習モデルを出力する、処理をコンピュータに実行させ、
複数の学習用データのそれぞれは、ヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグのうち少なくとも３つの鉱物相に、複数の領域を関連付けて生成される、ことを特徴とする焼結鉱の組織構成学習プログラム。
（９）焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得し、
断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相に関連付けて複数の学習用データを生成し、
複数の学習用データを用いて複数の断面画像と焼結鉱の組織構成との関係性を学習モデルに学習させ、
学習した複数の断面画像と焼結鉱の組織構成との関係性に基づいて、焼結鉱の断面を撮像した断面画像から焼結鉱の組織構成を推定する学習モデルを出力する、ことを含み、
複数の学習用データのそれぞれは、ヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグのうち少なくとも３つの鉱物相に、複数の領域を関連付けて生成される、ことを特徴とする焼結鉱の組織構成学習方法。 The present invention, which solves these problems, is based on a sintered ore microstructure learning device, a microstructure learning method, and a microstructure learning program shown below.
(1) an image data acquisition unit that acquires a plurality of image data each showing a plurality of cross-sectional images taken of a cross-section of sintered ore;
a learning data generation unit that generates a plurality of learning data by associating each of the plurality of regions of the cross-sectional image with a mineral phase contained in the sintered ore;
a learning processing unit that causes a learning model to learn the relationship between the plurality of cross-sectional images and the structure of the sintered ore using the plurality of learning data;
A learning model output unit that outputs a learning model that estimates the structure of sintered ore from cross-sectional images of the cross-section of sintered ore, based on the relationship between the learned cross-sectional images and the structure of sintered ore. and,
A sintered ore structure learning device characterized in that each of the plurality of learning data is generated by associating a plurality of regions with at least three mineral phases among hematite, magnetite, calcium ferrite, and silicate slag. .
(2) Multiple learning data are
First learning data generated by associating multiple regions with hematite, magnetite, and calcium ferrite;
second learning data generated by associating multiple regions with hematite, magnetite, and silicate slag;
Third learning data generated by associating multiple regions with hematite, calcium ferrite, and silicate slag;
Fourth learning data generated by associating multiple regions with magnetite, silicate slag, and calcium ferrite;
Fifth learning data generated by associating multiple regions with hematite, magnetite, calcium ferrite, and silicate slag;
The sintered ore structure learning device according to (1), comprising:
(3) At least one of the first learning data, the second learning data, the third learning data, the fourth learning data, and the fifth learning data includes at least two pieces of learning data with different brightness. The sintered ore structure learning device according to (2).
(4) At least one of the first learning data, the second learning data, the third learning data, the fourth learning data, and the fifth learning data includes at least two learning data with different contrasts; The sintered ore structure learning device according to (2) or (3).
(5) The plurality of learning data further includes sixth learning data generated by associating a plurality of regions with the gangue, and the sintered ore according to any one of (2) to (4). Organizational structure learning device.
(6) The sintered ore structure learning device according to (5), wherein the sixth learning data includes at least two learning data having different brightnesses.
(7) The sintered ore structure learning device according to (5) or (6), wherein the sixth learning data includes at least two learning data having different contrasts.
(8) Obtaining a plurality of image data each showing a plurality of cross-sectional images of the cross-section of the sintered ore,
Generate multiple learning data by associating each of multiple regions of the cross-sectional image with the mineral phase contained in the sintered ore,
Using multiple learning data, a learning model learns the relationship between multiple cross-sectional images and the structure of sintered ore,
Based on the relationship between the learned cross-sectional images and the structure of the sintered ore, a computer performs processing that outputs a learning model that estimates the structure of the sintered ore from cross-sectional images of the cross-section of the sintered ore. run it,
A sintered ore structure learning program characterized in that each of the plurality of learning data is generated by associating a plurality of regions with at least three mineral phases among hematite, magnetite, calcium ferrite, and silicate slag. .
(9) Obtaining a plurality of image data each showing a plurality of cross-sectional images of the cross-section of the sintered ore,
Generate multiple pieces of learning data by associating each of the multiple regions of the cross-sectional image with the mineral phase contained in the sintered ore,
Using multiple learning data, a learning model learns the relationship between multiple cross-sectional images and the structure of sintered ore,
It includes outputting a learning model that estimates the structure of the sintered ore from a cross-sectional image of the cross-section of the sintered ore, based on the relationship between the learned plurality of cross-sectional images and the structure of the structure of the sintered ore. ,
A method for learning the structure of sintered ore, characterized in that each of the plurality of learning data is generated by associating a plurality of regions with at least three mineral phases among hematite, magnetite, calcium ferrite, and silicate slag. .

一実施形態に係る組織構成学習装置により生成される学習モデルは、焼結鉱の組織構成を高精度に推定できる。 The learning model generated by the structure learning device according to one embodiment can estimate the structure of sintered ore with high accuracy.

（ａ）はヘマタイト及びシリケートスラグを含む画像であり、（ｂ）はマグネタイト及びシリケートスラグを含む画像であり、（ｃ）はヘマタイト及びカルシウムフェライトを含む画像であり、（ｄ）はマグネタイト及びカルシウムフェライトを含む画像であり、（ｅ）はヘマタイト、マグネタイト及びシリケートスラグを含む画像であり、（ｆ）はヘマタイト、マグネタイト及びカルシウムフェライトを含む画像である。(a) is an image containing hematite and silicate slag, (b) is an image containing magnetite and silicate slag, (c) is an image containing hematite and calcium ferrite, and (d) is an image containing magnetite and calcium ferrite. (e) is an image containing hematite, magnetite, and silicate slag, and (f) is an image containing hematite, magnetite, and calcium ferrite. （ａ）はヘマタイト、カルシウムフェライト及びシリケートスラグを含む画像であり、（ｂ）はマグネタイト、カルシウムフェライト及びシリケートスラグを含む画像であり、（ｃ）はヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグを含む画像であり、（ｄ）はヘマタイトに加えて脈石を含む画像である。(a) is an image containing hematite, calcium ferrite, and silicate slag, (b) is an image containing magnetite, calcium ferrite, and silicate slag, and (c) is an image containing hematite, magnetite, calcium ferrite, and silicate slag. , and (d) is an image containing gangue in addition to hematite. 第１実施形態に係る組織構成学習装置を含む組織構成学習システムを示す図である。FIG. 1 is a diagram showing an organizational structure learning system including an organizational structure learning device according to a first embodiment. 図３に示す組織構成学習装置を示すブロック図である。4 is a block diagram showing the organizational structure learning device shown in FIG. 3. FIG. 図３に示す組織構成学習装置により実行される組織構成学習処理のフローチャートである。4 is a flowchart of an organizational structure learning process executed by the organizational structure learning device shown in FIG. 3. FIG. 図４に示す学習用データ生成部が表示するＧＵＩにより、断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相に関連付ける処理を示す図あり、（ａ）は第１の状態を示し、（ｂ）は第２の状態を示し、（ｃ）は第３の状態を示し、（ｄ）は第４の状態を示す。Figure 4 shows the process of associating each of a plurality of regions of a cross-sectional image with a mineral phase contained in sintered ore using a GUI displayed by the learning data generation unit, and (a) shows the first state. (b) shows the second state, (c) shows the third state, and (d) shows the fourth state. 第２実施形態に係る組織構成学習装置を示すブロック図である。FIG. 2 is a block diagram showing an organizational structure learning device according to a second embodiment. 図７に示す組織構成学習装置により実行される組織構成学習処理のフローチャートである。8 is a flowchart of an organizational structure learning process executed by the organizational structure learning device shown in FIG. 7. FIG. 第３実施形態に係る組織構成学習装置を示すブロック図である。FIG. 3 is a block diagram showing an organizational structure learning device according to a third embodiment. 図９に示す組織構成学習装置により実行される組織構成学習処理のフローチャートである。10 is a flowchart of an organizational structure learning process executed by the organizational structure learning device shown in FIG. 9. FIG.

以下図面を参照して、本発明に係る組織構成学習装置、組織構成学習方法及び組織構成学習プログラムについて説明する。但し、本発明の技術的範囲はそれらの実施の形態に限定されない。 DESCRIPTION OF THE PREFERRED EMBODIMENTS An organizational structure learning device, an organizational structure learning method, and an organizational structure learning program according to the present invention will be described below with reference to the drawings. However, the technical scope of the present invention is not limited to these embodiments.

（実施形態に係る組織構成学習装置の概要）
本発明の発明者らは、焼結鉱の組織構成を学習モデルに機械学習させるときに、教師データとして使用される焼結鉱の断面画像と、機械学習された学習モデルが焼結鉱の組織構成を推定するときの推定精度との関係性を検討した。具体的には、本発明の発明者らは、焼結鉱の鉱物相であるヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグの何れか２つ以上を含む画像を示す画像データを使用して、何れの画像が学習モデルの機械学習に有用であるかを検討した。 (Overview of organizational structure learning device according to embodiment)
The inventors of the present invention discovered that when a learning model is used to machine learn the structure of sintered ore, a cross-sectional image of sintered ore used as training data and a machine-learned learning model are used to learn the sintered ore structure. We investigated the relationship with estimation accuracy when estimating the configuration. Specifically, the inventors of the present invention used image data showing an image containing any two or more of hematite, magnetite, calcium ferrite, and silicate slag, which are mineral phases of sintered ore, to We investigated whether images are useful for machine learning of learning models.

焼結鉱の鉱物相であるヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグの何れか２つ以上を含む画像には、全鉱物相を有する画像が１種、４つの内３つの鉱物相を有する画像が４種、４つの内２つの鉱物相を有する画像が６種、組み合わせの理論上存在する。その内、想定している倍率の画像では、ヘマタイト及びマグネタイトを有する画像、また、カルシウムフェライト及びシリケートスラグを有する画像は存在しない。なお、各鉱物単独の画像も同様である。従って、対象となる画像は以下の図２（ｄ）を除いた９種となる。 Images containing two or more of the mineral phases of sintered ore, hematite, magnetite, calcium ferrite, and silicate slag, include one type of image with all mineral phases and one type of image with three of the four mineral phases. There are theoretically 6 combinations of 4 types of images, each with 2 of the 4 mineral phases. Among the images at the assumed magnification, there are no images containing hematite and magnetite, and no images containing calcium ferrite and silicate slag. Note that the same applies to images of individual minerals. Therefore, there are nine types of target images, excluding the image shown in FIG. 2(d) below.

図１～２は、検討に使用された断面画像を示す図である。図１（ａ）はヘマタイト及びシリケートスラグを有する画像であり、図１（ｂ）はマグネタイト及びシリケートスラグを有する画像であり、図１（ｃ）はヘマタイト及びカルシウムフェライトを有する画像である。図１（ｄ）はマグネタイト及びカルシウムフェライトを有する画像であり、図１（ｅ）はヘマタイト、マグネタイト及びシリケートスラグを有する画像であり、図１（ｆ）はヘマタイト、マグネタイト及びカルシウムフェライトを有する画像である。図２（ａ）はヘマタイト、カルシウムフェライト及びシリケートスラグを有する画像であり、図２（ｂ）はマグネタイト、カルシウムフェライト及びシリケートスラグを有する画像である。図２（ｃ）はヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグを有する画像であり、図２（ｄ）は脈石を含む画像である。 1 and 2 are diagrams showing cross-sectional images used in the study. FIG. 1(a) is an image with hematite and silicate slag, FIG. 1(b) is an image with magnetite and silicate slag, and FIG. 1(c) is an image with hematite and calcium ferrite. Figure 1(d) is an image with magnetite and calcium ferrite, Figure 1(e) is an image with hematite, magnetite and silicate slag, and Figure 1(f) is an image with hematite, magnetite and calcium ferrite. be. FIG. 2(a) is an image with hematite, calcium ferrite, and silicate slag, and FIG. 2(b) is an image with magnetite, calcium ferrite, and silicate slag. FIG. 2(c) is an image containing hematite, magnetite, calcium ferrite, and silicate slag, and FIG. 2(d) is an image containing gangue.

図１及び２において、矢印Ｈはヘマタイトを示し、矢印Ｍはマグネタイトを示し、矢印Ｆはカルシウムフェライトを示し、矢印Ｓはシリケートスラグを示し、矢印Ｇは脈石を示す。 In FIGS. 1 and 2, arrow H indicates hematite, arrow M indicates magnetite, arrow F indicates calcium ferrite, arrow S indicates silicate slag, and arrow G indicates gangue.

図１及び２に示す断面画像の複数の領域のそれぞれは、焼結鉱に含まれるヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグの４つの鉱物相並びに脈石に関連付けられる。複数の領域が鉱物相に関連付けられた断面画像を示す画像データは、断面画像と焼結鉱の組織構成との関係性を学習モデルが機械学習するときに、学習用データとして使用される。 Each of the plurality of regions of the cross-sectional images shown in FIGS. 1 and 2 is associated with four mineral phases of hematite, magnetite, calcium ferrite, and silicate slag contained in the sintered ore, and gangue. Image data showing a cross-sectional image in which a plurality of regions are associated with mineral phases is used as learning data when a learning model performs machine learning on the relationship between the cross-sectional image and the structure of the sintered ore.

本発明の発明者らは、学習モデルとしてpythonによる画像処理が可能なZEISS社製の「ZEN Intellesis」を使用して、断面画像と焼結鉱の組織構成との関係性を推定する学習モデルを生成した。 The inventors of the present invention developed a learning model that estimates the relationship between cross-sectional images and the structure of sintered ore, using ZEISS's "ZEN Intellesis," which can perform image processing using python, as a learning model. generated.

図１（ａ）～２（ｃ）に示す９個の画像にそれぞれに含まれる鉱物相と、学習モデルが鉱物相を推定するときの精度を示す推定精度との関係を明確化するために、教師データに含まれる画像データを変化させて、生成される学習モデルの推定精度を比較した。 In order to clarify the relationship between the mineral phases included in each of the nine images shown in Figures 1(a) to 2(c) and the estimation accuracy, which indicates the accuracy when the learning model estimates the mineral phase, We compared the estimation accuracy of the generated learning model by varying the image data included in the training data.

表１は、教師データに含まれる画像データを変化させて、生成される学習モデルの推定精度を示す。 Table 1 shows the estimation accuracy of the learning model generated by changing the image data included in the teacher data.

表１において、「条件０」は、図１（ａ）～２（ｃ）に示す９個の断面画像を示す画像データの全てを学習用データと使用して機械学習された学習モデルを示す。「条件１」～「条件９」のそれぞれは、図１（ａ）～２（ｃ）に示す９個の画像の何れか１つの画像を示す画像データを除く８個の画像データを学習用データと使用して機械学習された学習モデルを示す。「条件１」は図１（ａ）に示す断面画像を示す画像データを除いた場合を示し、「条件２」は図１（ｂ）に示す断面画像を示す画像データを除いた場合を示し、「条件３」は図１（ｃ）に示す断面画像を示す画像データを除いた場合を示す。「条件４」は図１（ｄ）に示す断面画像を示す画像データを除いた場合を示し、「条件５」は図１（ｅ）に示す断面画像を示す画像データを除いた場合を示し、「条件６」は図１（ｆ）に示す断面画像を示す画像データを除いた場合を示す。「条件７」は図２（ａ）に示す断面画像を示す画像データを除いた場合を示し、「条件８」は図２（ｂ）に示す断面画像を示す画像データを除いた場合を示し、「条件９」は図２（ｃ）に示す断面画像を示す画像データを除いた場合を示す。 In Table 1, "Condition 0" indicates a learning model that is machine learned using all of the image data showing the nine cross-sectional images shown in FIGS. 1(a) to 2(c) as learning data. In each of "Condition 1" to "Condition 9", eight image data excluding image data showing any one of the nine images shown in FIGS. 1(a) to 2(c) are used as learning data. A learning model that is machine learned using "Condition 1" indicates the case in which the image data showing the cross-sectional image shown in FIG. 1(a) is excluded, "Condition 2" indicates the case in which the image data showing the cross-sectional image shown in FIG. 1(b) is excluded, "Condition 3" indicates the case where image data showing the cross-sectional image shown in FIG. 1(c) is excluded. "Condition 4" indicates the case in which the image data showing the cross-sectional image shown in FIG. 1(d) is excluded, "Condition 5" indicates the case in which the image data showing the cross-sectional image shown in FIG. 1(e) is excluded, "Condition 6" indicates the case where image data showing the cross-sectional image shown in FIG. 1(f) is excluded. "Condition 7" indicates the case in which the image data showing the cross-sectional image shown in FIG. 2(a) is excluded, "Condition 8" indicates the case in which the image data showing the cross-sectional image shown in FIG. 2(b) is excluded, "Condition 9" indicates the case where image data showing the cross-sectional image shown in FIG. 2(c) is excluded.

表１において、推定精度は、生成された９個の学習モデルのそれぞれに、焼結鉱の断面画像を示す３００個の画像データを入力したときに出力される推定結果と、焼結鉱の断面画像に含まれる焼結鉱の組織構成を目視により識別した識別結果との一致度である。学習モデルから出力される推定結果と目視による識別結果との間に相違点がなく一致した場合、学習モデルの推定結果は正しいと判定される。一方、学習モデルから出力される推定結果と目視による識別結果との間に相違点があり一致しない場合、学習モデルの推定結果は誤りと判定される。表１における推定精度は、入力した３００個の画像データの中で、学習モデルの推定結果は正しいと判定された画像データの割合を示す。 In Table 1, the estimation accuracy is calculated based on the estimation results output when 300 image data showing cross-sectional images of sintered ore are input into each of the nine learning models generated, and the This is the degree of agreement with the identification result obtained by visually identifying the structure of the sintered ore included in the image. If there is no difference between the estimation result output from the learning model and the visual identification result and they match, the estimation result of the learning model is determined to be correct. On the other hand, if there is a difference between the estimation result output from the learning model and the visual identification result and they do not match, the estimation result of the learning model is determined to be incorrect. The estimation accuracy in Table 1 indicates the percentage of image data for which the estimation result of the learning model was determined to be correct among the 300 input image data.

９個の断面画像を示す画像データの全てを学習用データと使用した「条件０」では、学習モデルの判定精度は９２％であった。４つの鉱物相の何れか２つを含む断面画像を学習用データと使用した「条件１」～「条件４」では、学習モデルの判定精度は９０％から９２％まので間の値となり、「条件１」～「条件４」の推定精度は、「条件０」の推定精度と略同一であった。 Under "condition 0" in which all image data representing nine cross-sectional images were used as learning data, the learning model had a determination accuracy of 92%. In "Condition 1" to "Condition 4" in which cross-sectional images containing any two of the four mineral phases are used as the training data, the judgment accuracy of the learning model is between 90% and 92%, and " The estimation accuracy for "Condition 1" to "Condition 4" was approximately the same as the estimation accuracy for "Condition 0."

一方、４つの鉱物相の少なくとも３つを含む断面画像を学習用データと使用した「条件５」～「条件９」では、学習モデルの推定精度は４８％から７５％まので間の値となった。「条件５」～「条件９」の中では、ヘマタイト、マグネタイト及びシリケートスラグを含む画像を除いた「条件５」の推定精度が最も高く７５％であった。一方、ヘマタイト、カルシウムフェライト及びシリケートスラグを含む画像を除いた「条件７」の推定精度が「条件５」～「条件９」の中では最も低く４８％であった。 On the other hand, in "Condition 5" to "Condition 9" in which cross-sectional images containing at least three of the four mineral phases are used as training data, the estimation accuracy of the learning model is between 48% and 75%. Ta. Among "Condition 5" to "Condition 9", the estimation accuracy of "Condition 5" excluding images containing hematite, magnetite, and silicate slag was the highest at 75%. On the other hand, the estimation accuracy of "Condition 7" excluding images containing hematite, calcium ferrite, and silicate slag was the lowest among "Condition 5" to "Condition 9" at 48%.

本発明の発明者らは、表１に示す推定結果に基づいて、焼結鉱が有する４つの鉱物相のうち少なくとも３つの鉱物相に、画像の複数の領域を関連付けて生成する学習用データを使用することで、生成される学習モデルの推定精度を向上させることを見出した。 Based on the estimation results shown in Table 1, the inventors of the present invention created learning data that is generated by associating multiple regions of an image with at least three of the four mineral phases of sintered ore. We have found that by using this method, the estimation accuracy of the generated learning model can be improved.

学習用データは、図１（ｅ）及び１（ｆ）並びに図２（ａ）～２（ｃ）のそれぞれに示す画像に対応する画像の複数の領域を関連付けて生成される学習用データを含む。図１（ｅ）に示す画像に対応する第１学習用データは、ヘマタイト、マグネタイト及びシリケートスラグに、画像の複数の領域を関連付けて生成される。図１（ｆ）に示す画像に対応する第２学習用データは、ヘマタイト、マグネタイト及びカルシウムフェライトに、画像の複数の領域を関連付けて生成される。図２（ａ）に示す画像に対応する第３学習用データは、ヘマタイト、カルシウムフェライト及びシリケートスラグに、画像の複数の領域を関連付けて生成される。図２（ｂ）に示す画像に対応する第４学習用データは、マグネタイト、シリケートスラグ及びカルシウムフェライトに、画像の複数の領域を関連付けて生成される。図２（ｃ）に示す画像に対応する第５学習用データは、ヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグに、画像の複数の領域を関連付けて生成される。 The learning data includes learning data generated by associating multiple regions of images corresponding to the images shown in FIGS. 1(e) and 1(f) and FIGS. 2(a) to 2(c), respectively. . The first learning data corresponding to the image shown in FIG. 1(e) is generated by associating hematite, magnetite, and silicate slag with a plurality of regions of the image. The second learning data corresponding to the image shown in FIG. 1(f) is generated by associating hematite, magnetite, and calcium ferrite with a plurality of regions of the image. The third learning data corresponding to the image shown in FIG. 2(a) is generated by associating multiple regions of the image with hematite, calcium ferrite, and silicate slag. The fourth learning data corresponding to the image shown in FIG. 2(b) is generated by associating multiple regions of the image with magnetite, silicate slag, and calcium ferrite. The fifth learning data corresponding to the image shown in FIG. 2(c) is generated by associating hematite, magnetite, calcium ferrite, and silicate slag with a plurality of regions of the image.

図１（ｅ）及び１（ｆ）並びに図２（ａ）～２（ｃ）のそれぞれに示す画像に対応する第１～第５学習用データを含む学習用データによって機械学習された学習モデルを使用することで、焼結鉱の組織構成を高精度に推定できる。 A learning model that has been machine learned using learning data including the first to fifth learning data corresponding to the images shown in FIGS. 1(e) and 1(f) and FIGS. 2(a) to 2(c), respectively. By using this method, the structure of sintered ore can be estimated with high accuracy.

（第１実施形態に係る組織構成学習装置の構成及び機能）
図３は、第１実施形態に係る組織構成学習装置を含む組織構成学習システムを示す図である。 (Configuration and functions of the organizational structure learning device according to the first embodiment)
FIG. 3 is a diagram showing an organizational structure learning system including the organizational structure learning device according to the first embodiment.

組織構成学習システム１００は、光学顕微鏡１０１と、撮像装置１０２と、組織構成学習装置１とを有する。光学顕微鏡１０１は、断面が視認可能なように切断され、ステージ１１０に配置された焼結鉱１０５の所望の領域を、例えば５００倍等の所望の倍率で拡大して観察する。光学顕微鏡１０１によって拡大された焼結鉱１０５の領域は、撮像装置１０２によって撮像される。撮像装置１０２は、ＣＣＤ（Charge Coupled Device）イメージセンサ等の画像検出素子と、画像検出素子が検出した画像を記憶する記憶素子とを有し、光学顕微鏡１０１によって拡大された焼結鉱１０５の領域を撮像する。 The tissue structure learning system 100 includes an optical microscope 101, an imaging device 102, and a tissue structure learning device 1. The optical microscope 101 magnifies and observes a desired region of the sintered ore 105, which has been cut so that its cross section is visible and is placed on the stage 110, at a desired magnification, such as 500 times. The area of the sintered ore 105 magnified by the optical microscope 101 is imaged by the imaging device 102. The imaging device 102 includes an image detection element such as a CCD (Charge Coupled Device) image sensor, and a storage element that stores an image detected by the image detection element, and has an area of the sintered ore 105 magnified by the optical microscope 101. Take an image.

撮像装置１０２によって撮像された焼結鉱の断面画像を示す画像データは、通信配線１０３を介して組織構成学習装置１に送信される。組織構成学習システム１００では、撮像装置１０２と組織構成学習装置１との間は、通信配線１０３を介して通信可能に接続される。しかしながら、実施形態に係る組織構成学習システムでは、撮像装置１０２と組織構成学習装置１との間は、通信可能に接続されなくてもよい。撮像装置１０２と組織構成学習装置１との間が接続されないとき、焼結鉱の断面画像を示す画像データは、撮像装置１０２及び組織構成学習装置１に着脱可能な記憶媒体により記憶されて、撮像装置１０２から組織構成学習装置１に移動される。 Image data showing a cross-sectional image of the sintered ore captured by the imaging device 102 is transmitted to the tissue structure learning device 1 via the communication wiring 103. In the tissue structure learning system 100, the imaging device 102 and the tissue structure learning device 1 are communicably connected via communication wiring 103. However, in the tissue structure learning system according to the embodiment, the imaging device 102 and the tissue structure learning device 1 do not need to be communicably connected. When the imaging device 102 and the tissue structure learning device 1 are not connected, image data showing a cross-sectional image of the sintered ore is stored in a removable storage medium in the imaging device 102 and the tissue structure learning device 1, and the image data is stored in the imaging device 102 and the tissue structure learning device 1. It is moved from the device 102 to the organizational structure learning device 1.

（第１実施形態に係る組織構成学習装置の構成及び機能）
図４は、組織構成学習装置１を示すブロック図である。 (Configuration and functions of the organizational structure learning device according to the first embodiment)
FIG. 4 is a block diagram showing the organizational structure learning device 1. As shown in FIG.

組織構成学習装置１は、通信部１１と、記憶部１２と、入力部１３と、出力部１４と、処理部２０と、学習モデル３０とを有する。通信部１１、記憶部１２、入力部１３、出力部１４、処理部２０及び学習モデル３０は、バス１５を介して互いに接続される。組織構成学習装置１は、撮像装置１０２によって撮像された焼結鉱の断面画像を示す画像データを使用して、焼結鉱の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる。一例では、組織構成学習装置１は、パーソナルコンピュータである。 The organizational structure learning device 1 includes a communication section 11 , a storage section 12 , an input section 13 , an output section 14 , a processing section 20 , and a learning model 30 . The communication section 11, the storage section 12, the input section 13, the output section 14, the processing section 20, and the learning model 30 are connected to each other via a bus 15. The structure learning device 1 uses image data showing a cross-sectional image of the sintered ore captured by the imaging device 102 to learn the relationship between the cross-sectional image of the sintered ore and the structure of the sintered ore using a learning model 30. Let them learn. In one example, the organizational structure learning device 1 is a personal computer.

通信部１１は、イーサネット（登録商標）などの有線の通信インターフェース回路を有する。通信部１１は、通信配線１０３を介して撮像装置１０２及び不図示のサーバ等と通信を行う。 The communication unit 11 has a wired communication interface circuit such as Ethernet (registered trademark). The communication unit 11 communicates with the imaging device 102, a server (not shown), etc. via the communication wiring 103.

記憶部１２は、例えば、半導体記憶装置、磁気テープ装置、磁気ディスク装置、又は光ディスク装置のうちの少なくとも一つを備える。記憶部１２は、処理部２０での処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。例えば、記憶部１２は、焼結鉱の断面画像を示す画像データを使用して、焼結鉱の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる組織構成学習処理を処理部２０に実行させるための組織構成学習プログラム等を記憶する。組織構成学習プログラムは、例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等のコンピュータ読み取り可能な可搬型記録媒体から、公知のセットアッププログラム等を用いて記憶部１２にインストールされてもよい。また、記憶部１２は、組織構成学習処理で使用される種々のデータを記憶する。 The storage unit 12 includes, for example, at least one of a semiconductor storage device, a magnetic tape device, a magnetic disk device, or an optical disk device. The storage unit 12 stores operating system programs, driver programs, application programs, data, etc. used in processing by the processing unit 20. For example, the storage unit 12 uses image data showing a cross-sectional image of the sintered ore to perform a structure-structure learning process that causes the learning model 30 to learn the relationship between the cross-sectional image of the sintered ore and the structure of the sintered ore. It stores an organizational structure learning program and the like for causing the processing unit 20 to execute. The organizational structure learning program may be installed in the storage unit 12 from a computer-readable portable recording medium such as a CD-ROM or DVD-ROM using a known setup program or the like. Furthermore, the storage unit 12 stores various data used in the organizational structure learning process.

入力部１３は、データの入力が可能であればどのようなデバイスでもよく、例えば、タッチパネル、キーボード等である。オペレータは、入力部１３を用いて、文字、数字、記号等を入力することができる。入力部１３は、オペレータにより操作されると、その操作に対応する信号を生成する。そして、生成された信号は、オペレータの指示として、処理部２０に供給される。 The input unit 13 may be any device that can input data, such as a touch panel or a keyboard. The operator can use the input unit 13 to input characters, numbers, symbols, and the like. When the input unit 13 is operated by an operator, it generates a signal corresponding to the operation. The generated signal is then supplied to the processing unit 20 as an operator's instruction.

出力部１４は、映像や画像等の表示が可能であればどのようなデバイスでもよく、例えば、液晶ディスプレイ又は有機ＥＬ（Electro－Luminescence）ディスプレイ等である。出力部１４は、処理部２０から供給された映像データに応じた映像や、画像データに応じた画像等を表示する。また、出力部１４は、紙などの表示媒体に、映像、画像又は文字等を印刷する出力装置であってもよい。 The output unit 14 may be any device that can display videos, images, etc., such as a liquid crystal display or an organic EL (Electro-Luminescence) display. The output unit 14 displays a video according to the video data supplied from the processing unit 20, an image according to the image data, and the like. Further, the output unit 14 may be an output device that prints images, images, characters, etc. on a display medium such as paper.

処理部２０は、一又は複数個のプロセッサ及びその周辺回路を有する。処理部２０は、組織構成学習装置１の全体的な動作を統括的に制御するものであり、例えば、ＣＰＵである。処理部２０は、記憶部１２に記憶されているプログラム（ドライバプログラム、オペレーティングシステムプログラム、アプリケーションプログラム等）に基づいて処理を実行する。また、処理部２０は、複数のプログラム（アプリケーションプログラム等）を並列に実行できる。 The processing unit 20 includes one or more processors and their peripheral circuits. The processing unit 20 centrally controls the overall operation of the organizational structure learning device 1, and is, for example, a CPU. The processing unit 20 executes processing based on programs (driver programs, operating system programs, application programs, etc.) stored in the storage unit 12. Further, the processing unit 20 can execute multiple programs (application programs, etc.) in parallel.

処理部２０は、画像データ取得部２１と、画像データ補正部２２と、学習用データ生成部２３と、学習処理部２４と、学習モデル出力部２５とを有する。これらの各部は、処理部２０が備えるプロセッサで実行されるプログラムにより実現される機能モジュールである。あるいは、これらの各部は、ファームウェアとして組織構成学習装置１に実装されてもよい。 The processing section 20 includes an image data acquisition section 21 , an image data correction section 22 , a learning data generation section 23 , a learning processing section 24 , and a learning model output section 25 . Each of these units is a functional module realized by a program executed by a processor included in the processing unit 20. Alternatively, each of these parts may be implemented in the organizational structure learning device 1 as firmware.

学習モデル３０は、教師あり学習により抽象化された画像の特徴を学習する学習モデルであり、例えば、ディープラーニング等の公知の機械学習技術を用いて、焼結鉱の断面画像と焼結鉱の組織構成との関係性を学習する。ディープラーニングは、入力層、中間層及び出力層から構成される多層構造のニューラルネットワークを用いた機械学習である。入力層の各ノードには、焼結鉱の断面画像のそれぞれの特徴ベクトルが入力される。特徴ベクトルは、例えば、画像の一部の領域を切り出した部分画像であってもよい。また、特徴ベクトルとして使用される部分画像のそれぞれは、一部が他の部分画像と重畳するように切り出されてもよい。中間層の各ノードは、入力層の各ノードから出力された各特徴ベクトルに重みを乗算した値の総和を出力し、さらに、出力層は、中間層の各ノードから出力された各特徴ベクトルに重みを乗算した値の総和を出力する。学習モデル３０は、各重みを調整しながら、出力層からの出力値と撮焼結鉱の断面画像のそれぞれとの差分が小さくなるように学習する。学習モデル３０は、例えばZEISS社製の「ZEN Intellesis」である。 The learning model 30 is a learning model that learns the features of an abstracted image through supervised learning. For example, using known machine learning techniques such as deep learning, a cross-sectional image of sinter Learn the relationship with organizational structure. Deep learning is machine learning using a multilayer neural network consisting of an input layer, a hidden layer, and an output layer. Each node of the input layer receives a respective feature vector of a cross-sectional image of the sintered ore. The feature vector may be, for example, a partial image obtained by cutting out a part of the image. Further, each of the partial images used as a feature vector may be cut out so that a portion thereof overlaps with another partial image. Each node in the middle layer outputs the sum of the values obtained by multiplying each feature vector output from each node in the input layer by a weight, and the output layer outputs the sum of the values obtained by multiplying each feature vector output from each node in the middle layer by a weight. Outputs the sum of the values multiplied by the weights. The learning model 30 learns while adjusting each weight so that the difference between the output value from the output layer and each cross-sectional image of the photographed sintered ore becomes small. The learning model 30 is, for example, "ZEN Intellesis" manufactured by ZEISS.

（第１実施形態に係る組織構成学習装置による組織構成学習処理）
図５は、組織構成学習装置１により実行される組織構成学習処理のフローチャートである。図５に示す組織構成学習処理は、予め記憶部１２に記憶されているプログラムに基づいて、主に処理部２０により組織構成学習装置１の各要素と協働して実行される。 (Organizational structure learning process by the organizational structure learning device according to the first embodiment)
FIG. 5 is a flowchart of the organizational structure learning process executed by the organizational structure learning device 1. The organizational structure learning process shown in FIG. 5 is mainly executed by the processing section 20 in cooperation with each element of the organizational structure learning device 1 based on a program stored in the storage section 12 in advance.

まず、画像データ取得部２１は、焼結鉱の断面を撮像した複数の断面画像をそれぞれが示す複数の画像データを取得する（Ｓ１０１）。画像データ取得部２１によって取得される複数の画像データ画像に対応する複数の断面画像は、撮像装置１０２によって撮像された焼結鉱の断面画像である。 First, the image data acquisition unit 21 acquires a plurality of image data each representing a plurality of cross-sectional images obtained by capturing a cross-section of sintered ore (S101). The plurality of cross-sectional images corresponding to the plurality of image data images acquired by the image data acquisition unit 21 are cross-sectional images of the sintered ore captured by the imaging device 102.

次いで、画像データ補正部２２は、Ｓ１０１の処理で取得された複数の画像データのそれぞれに所定の補正処理を実行する（Ｓ１０２）。画像データ補正部２２は、例えば画像データに対応する断面画像に含まれる画素の輝度の中で最も高い輝度が所定の輝度となるように断面画像の輝度を補正する。また、画像データ補正部２２は、画像データに対応する断面画像に含まれる画素の輝度の中で最も高い輝度と最も低い輝度との間の輝度の差が所望の輝度差になるように断面画像のコントラストを補正する。 Next, the image data correction unit 22 performs a predetermined correction process on each of the plurality of image data acquired in the process of S101 (S102). The image data correction unit 22 corrects the brightness of the cross-sectional image so that, for example, the highest brightness among the brightness of pixels included in the cross-sectional image corresponding to the image data becomes a predetermined brightness. The image data correction unit 22 also adjusts the cross-sectional image so that the difference in brightness between the highest brightness and the lowest brightness among the brightness of pixels included in the cross-sectional image corresponding to the image data becomes a desired brightness difference. Correct the contrast.

次いで、学習用データ生成部２３は、複数の画像データ画像に対応するそれぞれの断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相に関連付けて複数の学習用データを生成する（Ｓ１０３）。学習用データ生成部２３は、焼結鉱の断面画像を含むＧＵＩを出力部１４に表示することで、作業者の指示に従って断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相に関連付ける。また、学習用データ生成部２３が複数の領域は、気孔に関連付けられてもよい。 Next, the learning data generation unit 23 generates a plurality of learning data by associating each of the plurality of regions of each cross-sectional image corresponding to the plurality of image data images with the mineral phase contained in the sintered ore ( S103). By displaying a GUI including a cross-sectional image of the sintered ore on the output unit 14, the learning data generation unit 23 converts each of the plurality of regions of the cross-sectional image into mineral phases contained in the sintered ore according to the operator's instructions. to associate with. Moreover, the area|region with several learning data generation parts 23 may be linked|related with a pore.

図６は、学習用データ生成部２３が表示するＧＵＩにより、断面画像の複数の領域のそれぞれを、焼結鉱に含まれる鉱物相に関連付ける処理を示す図である。図６（ａ）は第１の状態を示し、図６（ｂ）は第２の状態を示し、図６（ｃ）は第３の状態を示し、図６（ｄ）は第４の状態を示す。 FIG. 6 is a diagram showing a process of associating each of a plurality of regions of a cross-sectional image with a mineral phase contained in sintered ore using a GUI displayed by the learning data generation unit 23. 6(a) shows the first state, FIG. 6(b) shows the second state, FIG. 6(c) shows the third state, and FIG. 6(d) shows the fourth state. show.

まず、学習用データ生成部２３は、断面画像を含む学習用データ生成ＧＵＩを出力部１４に表示する（図６（ａ）を参照）。次いで、作業者は、鉱物相Ａの領域を学習用データ生成ＧＵＩに含まれる焼結鉱の断面画像上で指定する（図６（ｂ）を参照）。図６（ｂ）に矢印αで示されるように、作業者による鉱物相Ａの領域は、領域の一部を指定することで指定される。 First, the learning data generation unit 23 displays a learning data generation GUI including a cross-sectional image on the output unit 14 (see FIG. 6(a)). Next, the operator specifies the region of mineral phase A on the cross-sectional image of the sintered ore included in the learning data generation GUI (see FIG. 6(b)). As shown by the arrow α in FIG. 6(b), the region of the mineral phase A is designated by the operator by designating a part of the region.

次いで、学習用データ生成部２３は、作業者によって指定された鉱物相Ａに類似する領域を鉱物相Ａの領域と推定して、作業者によって推定された以外の鉱物相Ａの領域を追加した断面画像を生成する。学習用データ生成部２３は、生成した断面画像を含む学習用データ生成ＧＵＩを出力部に表示する（図６（ｃ）を参照）。鉱物相Ａの領域は、例えば所定の色に着色されることにより、他の領域と視覚的に識別可能なように表示される。 Next, the learning data generation unit 23 estimates a region similar to mineral phase A specified by the worker as a region of mineral phase A, and adds a region of mineral phase A other than that estimated by the worker. Generate a cross-sectional image. The learning data generation unit 23 displays a learning data generation GUI including the generated cross-sectional image on the output unit (see FIG. 6(c)). The region of mineral phase A is displayed so as to be visually distinguishable from other regions, for example, by being colored in a predetermined color.

以降、学習用データ生成部２３は、焼結鉱の断面画像における鉱物相Ａの領域が作業者の所望の領域に一致するまで、作業者とインタラクティブに鉱物相Ａの領域を指定する処理を繰り返す。 Thereafter, the learning data generation unit 23 repeats the process of interactively specifying the region of mineral phase A with the worker until the region of mineral phase A in the cross-sectional image of the sintered ore matches the region desired by the worker. .

焼結鉱の断面画像における鉱物相Ａの領域が作業者の所望の領域に一致すると、学習用データ生成部２３は、鉱物相Ａと相違する鉱物相Ｂの領域を指定する処理を作業者とインタラクティブに実行する。学習用データ生成部２３は、断面画像に含まれる全ての鉱物相について、鉱物相Ａの領域を指定する処理と同様な処理を実行して、鉱物相の領域を指定する。学習用データ生成部２３は、断面画像に含まれる全ての鉱物相の領域を指定する処理が終了すると、鉱物相の領域が指定されていない他の断面画像において同様の処理を実行する。 When the area of mineral phase A in the cross-sectional image of the sintered ore matches the area desired by the operator, the learning data generation unit 23 instructs the operator to specify an area of mineral phase B that is different from mineral phase A. Run interactively. The learning data generation unit 23 specifies the mineral phase area by performing the same process as the process of specifying the mineral phase A area for all the mineral phases included in the cross-sectional image. When the learning data generation unit 23 completes the process of specifying all the mineral phase regions included in the cross-sectional image, it performs the same process on other cross-sectional images in which no mineral phase region is specified.

学習用データ生成部２３は、Ｓ１０１の処理で取得された全て画像データについて、鉱物相の領域を指定する処理を実施する（図６（ｄ）を参照）。図６（ｄ）に示す例では、断面画像は、鉱物相Ａ、鉱物相Ｂ及び鉱物相Ｃの３個の鉱物相を含む。学習用データ生成部２３がＳ１０１の処理で取得された全て画像データについて、鉱物相の領域を指定する処理を完了すると、Ｓ１０３の処理は終了する。 The learning data generation unit 23 performs a process of specifying a mineral phase region for all the image data acquired in the process of S101 (see FIG. 6(d)). In the example shown in FIG. 6(d), the cross-sectional image includes three mineral phases: mineral phase A, mineral phase B, and mineral phase C. When the learning data generation unit 23 completes the process of specifying the region of the mineral phase for all the image data acquired in the process of S101, the process of S103 ends.

Ｓ１０３の処理で生成される複数の学習用データは、ヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグのうち少なくとも３つの鉱物相に、焼結鉱の断面画像の複数の領域のそれぞれを関連付けて生成された学習用データを含む。 The plurality of learning data generated in the process of S103 were generated by associating each of the plurality of regions of the cross-sectional image of the sintered ore with at least three mineral phases of hematite, magnetite, calcium ferrite, and silicate slag. Contains training data.

Ｓ１０３の処理で生成される複数の学習用データは、図１（ｅ）及び１（ｆ）並びに図２（ａ）～２（ｃ）に示す画像に対応する第１学習用データ～第５学習用データの全てを含むことが好ましい。Ｓ１０３の処理で生成される複数の学習用データが第１学習用データ～第５学習用データの全てを含むことで、学習用データを教師データとして機械学習される学習モデル３０は、焼結鉱の組織構成を高精度に推定可能になる。 The plurality of learning data generated in the process of S103 are first learning data to fifth learning data corresponding to the images shown in FIGS. 1(e) and 1(f) and FIGS. 2(a) to 2(c). It is preferable to include all of the data for Since the plurality of learning data generated in the process of S103 include all of the first learning data to fifth learning data, the learning model 30 that is machine learned using the learning data as teacher data can be created using sintered ore. It becomes possible to estimate the tissue structure of the body with high accuracy.

Ｓ１０３の処理で生成される複数の学習用データは、図２（ｄ）に示す画像に対応する第６学習用データを更に含むことが好ましい。Ｓ１０３の処理で生成される複数の学習用データが第６学習用データを含むことで、学習用データを教師データとして機械学習される学習モデル３０は、焼結鉱の断面画像が脈石を含む場合でも焼結鉱の組織構成を高精度に推定可能になる。 It is preferable that the plurality of learning data generated in the process of S103 further include sixth learning data corresponding to the image shown in FIG. 2(d). Since the plurality of learning data generated in the process of S103 include the sixth learning data, the learning model 30 that is machine learned using the learning data as teacher data has a cross-sectional image of sintered ore that includes gangue. It is possible to estimate the structure of sintered ore with high accuracy even in the case of

また、Ｓ１０３の処理で生成される複数の学習用データは、図１（ａ）～１（ｄ）に示す画像に対応する第７学習用データ～第１０学習用データを更に含むことが好ましい。図１（ａ）に示す画像に対応する第７学習用データは、ヘマタイト及びシリケートスラグに、画像の複数の領域を関連付けて生成される。図１（ｂ）に示す画像に対応する第８学習用データは、マグネタイト及びシリケートスラグに、画像の複数の領域を関連付けて生成される。図１（ｃ）に示す画像に対応する第９学習用データは、ヘマタイト及びカルシウムフェライトに、画像の複数の領域を関連付けて生成される。図１（ｄ）に示す画像に対応する第１０学習用データは、マグネタイ及びカルシウムフェライトに、画像の複数の領域を関連付けて生成される。 Further, it is preferable that the plurality of learning data generated in the process of S103 further include seventh learning data to tenth learning data corresponding to the images shown in FIGS. 1(a) to 1(d). The seventh learning data corresponding to the image shown in FIG. 1(a) is generated by associating hematite and silicate slag with a plurality of regions of the image. The eighth learning data corresponding to the image shown in FIG. 1(b) is generated by associating magnetite and silicate slag with a plurality of regions of the image. The ninth learning data corresponding to the image shown in FIG. 1(c) is generated by associating hematite and calcium ferrite with a plurality of regions of the image. The tenth learning data corresponding to the image shown in FIG. 1(d) is generated by associating multiple regions of the image with magnetite and calcium ferrite.

次いで、学習処理部２４は、Ｓ１０３の処理で生成された学習用データを用いて、Ｓ１０１の処理で取得された複数の画像データに対応する複数の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる（Ｓ１０４）。学習モデル３０は、断面画像と焼結鉱の組織構成との関係性を学習することによって、焼結鉱の断面を撮像した断面画像から焼結鉱の組織構成を高精度に推定する処理が実行可能になる。 Next, the learning processing unit 24 uses the learning data generated in the process of S103 to determine the relationship between the plurality of cross-sectional images corresponding to the plurality of image data acquired in the process of S101 and the structure of the sintered ore. The learning model 30 is made to learn the gender (S104). The learning model 30 executes a process of estimating the structure of the sintered ore with high precision from the cross-sectional image of the cross section of the sintered ore by learning the relationship between the cross-sectional image and the structure of the structure of the sintered ore. It becomes possible.

そして、学習モデル出力部２５は、Ｓ１０４の処理で機械学習された学習モデル３０を、例えば不図示のサーバに出力する（Ｓ１０５）。学習モデル３０は、例えば製鉄所の焼結鉱製造工程において、焼結鉱の組織構成を推定するために使用される。 Then, the learning model output unit 25 outputs the learning model 30 subjected to machine learning in the process of S104 to, for example, a server (not shown) (S105). The learning model 30 is used to estimate the structure of sintered ore, for example, in a sintered ore manufacturing process at a steelworks.

（第１実施形態に係る組織構成学習装置の作用効果）
組織構成学習装置１は、ヘマタイト、マグネタイト、カルシウムフェライト及びシリケートスラグのうち少なくとも３つの鉱物相を含む焼結鉱の断面画像を教師データとして使用することで、学習モデル３０は、焼結鉱の組織構成を高精度に推定できる。具体的には、第１学習用データ～第５学習用データの全てを含む学習用データを教師データとして学習モデル３０を機械学習するので、学習モデル３０は、焼結鉱の組織構成を高精度に推定できる。 (Operations and effects of the organizational structure learning device according to the first embodiment)
The structure learning device 1 uses, as training data, a cross-sectional image of sintered ore containing at least three mineral phases among hematite, magnetite, calcium ferrite, and silicate slag, and the learning model 30 learns the structure of the sintered ore. The configuration can be estimated with high accuracy. Specifically, since the learning model 30 is machine-learned using the learning data including all of the first to fifth learning data as teacher data, the learning model 30 can accurately determine the structure of the sintered ore. It can be estimated that

また、組織構成学習装置１は、第６学習用データを更に含む学習用データを教師データとして学習モデル３０を機械学習することで、学習モデル３０は、焼結鉱の断面画像が脈石を含む場合でも焼結鉱の組織構成を高精度に推定できる。 In addition, the tissue structure learning device 1 performs machine learning on the learning model 30 using the learning data that further includes the sixth learning data as teacher data, so that the learning model 30 is configured such that the cross-sectional image of the sintered ore contains gangue. The structure of sintered ore can be estimated with high accuracy even in the case of

（第２実施形態に係る組織構成学習装置の構成及び機能）
図７は、第２実施形態に係る組織構成学習装置を示す図である。組織構成学習装置２は、第１実施形態に係る組織構成学習装置１と同様に、図３に示す組織構成学習システム１００に配置される。組織構成学習装置２は、撮像装置１０２によって撮像された焼結鉱の断面画像を示す画像データを使用して、焼結鉱の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる。 (Configuration and functions of organizational structure learning device according to second embodiment)
FIG. 7 is a diagram showing an organizational structure learning device according to the second embodiment. The organizational structure learning device 2 is arranged in the organizational structure learning system 100 shown in FIG. 3 similarly to the organizational structure learning device 1 according to the first embodiment. The structure learning device 2 uses the image data showing the cross-sectional image of the sintered ore captured by the imaging device 102 to learn the relationship between the cross-sectional image of the sintered ore and the structure of the sintered ore using the learning model 30. Let them learn.

組織構成学習装置２は、処理部２０の代わりに処理部４０を有することが組織構成学習装置１と相違する。処理部４０以外の組織構成学習装置２の構成要素の構成及び機能は、同一符号が付された組織構成学習装置１の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。処理部４０は、輝度変更部４１を有することが処理部２０と相違する。輝度変更部４１以外の処理部４０の構成要素の構成及び機能は、同一符号が付された処理部２０の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。 The organizational structure learning device 2 differs from the organizational structure learning device 1 in that it includes a processing section 40 instead of the processing section 20. The configurations and functions of the constituent elements of the organizational structure learning device 2 other than the processing unit 40 are the same as those of the constituent elements of the organizational structure learning device 1 denoted by the same reference numerals, so detailed explanations will be omitted here. The processing section 40 differs from the processing section 20 in that it includes a brightness changing section 41. The configurations and functions of the components of the processing unit 40 other than the brightness changing unit 41 are the same as those of the components of the processing unit 20 denoted by the same reference numerals, so detailed explanations will be omitted here.

（第２実施形態に係る組織構成学習装置による組織構成学習処理）
図８は、組織構成学習装置２により実行される組織構成学習処理のフローチャートである。図８に示す組織構成学習処理は、予め記憶部１２に記憶されているプログラムに基づいて、主に処理部４０により組織構成学習装置２の各要素と協働して実行される。 (Organizational structure learning process by the organizational structure learning device according to the second embodiment)
FIG. 8 is a flowchart of the organizational structure learning process executed by the organizational structure learning device 2. The organizational structure learning process shown in FIG. 8 is mainly executed by the processing section 40 in cooperation with each element of the organizational structure learning device 2 based on a program stored in the storage section 12 in advance.

図８に示すフローチャートのＳ２０１～Ｓ２０３、Ｓ２０５及びＳ２０６のそれぞれの処理は、図５に示すフローチャートのＳ１０１～Ｓ１０５のそれぞれの処理と同様なので、ここでは詳細な説明は省略する。 The processes of S201 to S203, S205, and S206 in the flowchart shown in FIG. 8 are the same as the processes of S101 to S105 in the flowchart shown in FIG. 5, so detailed explanations will be omitted here.

Ｓ２０３の処理が終了すると、輝度変更部４１は、Ｓ２０３の処理で生成された複数の学習用データに対応する複数の断面画像の少なくとも１つの輝度を変更して、変更前の断面画像と輝度が相違する輝度変更画像を生成する（Ｓ２０４）。輝度変更部４１は、生成した輝度変更画像と、輝度変更に使用された断面画像に関連付けられた鉱物相の領域とから、輝度が変更された学習用データを生成し、記憶部１２に記憶する。輝度変更部４１は、Ｓ２０３の処理で生成された一部の学習用データに対応する断面画像について、輝度変更画像を生成してもよく、Ｓ２０３の処理で生成された全ての学習用データに対応する断面画像について、輝度変更画像を生成してもよい。 When the process of S203 is completed, the brightness changing unit 41 changes the brightness of at least one of the plurality of cross-sectional images corresponding to the plurality of learning data generated in the process of S203, so that the brightness is the same as that of the cross-sectional image before the change. A different brightness changed image is generated (S204). The brightness changing unit 41 generates learning data with changed brightness from the generated brightness changed image and the region of the mineral phase associated with the cross-sectional image used for changing the brightness, and stores it in the storage unit 12. . The brightness changing unit 41 may generate a brightness changed image for the cross-sectional images corresponding to some of the learning data generated in the process of S203, or may generate brightness changed images for all the learning data generated in the process of S203. A brightness-changed image may be generated for the cross-sectional image.

また、輝度変更部４１は、Ｓ２０３の処理で生成された複数の学習用データに対応する断面画像の輝度を変更して、輝度が高い高輝度画像、及び輝度が低い低輝度画像を生成してもよい。輝度変更部４１は、高輝度画像及び低輝度画像を生成するとき、高輝度画像及び低輝度画像に対応する学習用データを生成し、記憶部１２に記憶すると共に、Ｓ２０２の処理で生成された学習用データをから削除する。 Further, the brightness changing unit 41 changes the brightness of the cross-sectional images corresponding to the plurality of learning data generated in the process of S203, and generates a high brightness image with high brightness and a low brightness image with low brightness. Good too. When generating a high-brightness image and a low-brightness image, the brightness change unit 41 generates learning data corresponding to the high-brightness image and low-brightness image, stores it in the storage unit 12, and also stores the learning data corresponding to the high-brightness image and the low-brightness image in the process of S202. Delete the learning data from.

学習処理部２４は、Ｓ２０３及びＳ２０４の処理で生成された学習用データを用いて、Ｓ２０１の処理で取得された複数の画像データに対応する複数の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる（Ｓ２０５）。 The learning processing unit 24 uses the learning data generated in the processing of S203 and S204 to determine the relationship between the plurality of cross-sectional images corresponding to the plurality of image data acquired in the processing of S201 and the structure of the sintered ore. The learning model 30 is made to learn the gender (S205).

（第２実施形態に係る組織構成学習装置の作用効果）
組織構成学習装置２は、輝度を変更した輝度変更画像を学習用データに加えることで、学習モデル３０が焼結鉱の組織構成を推定する精度を更に高くできる。 (Operations and effects of the organizational structure learning device according to the second embodiment)
The structure learning device 2 can further increase the accuracy with which the learning model 30 estimates the structure of the sintered ore by adding a brightness-changed image in which the brightness has been changed to the learning data.

表２は、輝度を変更した輝度変更画像を学習用データに加えないときの推定精度と、輝度を変更した輝度変更画像を学習用データに加えたときの推定精度との比較結果を示す。 Table 2 shows the comparison results between the estimation accuracy when the brightness-changed image with changed brightness is not added to the learning data and the estimation accuracy when the brightness-changed image with changed brightness is added to the learning data.

表２において、「輝度変更画像なし」は、輝度変更部４１を有さない組織構成学習装置１により生成された学習用データを使用して機械学習された学習モデル３０による推定の推定精度を示す。また、「輝度変更画像あり」は、輝度変更部４１を有する組織構成学習装置２により生成された学習用データを使用して機械学習された学習モデル３０による推定の推定精度を示す。組織構成学習装置２は、Ｓ２０３の処理で生成された学習用データから高輝度画像及び低輝度画像を生成して、高輝度画像及び低輝度画像に対応する学習用データを生成した。 In Table 2, "no brightness change image" indicates the estimation accuracy of the estimation by the learning model 30 that is machine learned using the learning data generated by the tissue configuration learning device 1 that does not have the brightness change unit 41. . Further, “with brightness-changed image” indicates the estimation accuracy of the estimation by the learning model 30 that is machine-learned using the learning data generated by the tissue composition learning device 2 having the brightness change unit 41. The tissue configuration learning device 2 generated a high-intensity image and a low-intensity image from the learning data generated in the process of S203, and generated learning data corresponding to the high-intensity image and the low-intensity image.

組織構成学習装置１により機械学習された学習モデル３０による推定の推定精度は９２％であるのに対し、組織構成学習装置２により機械学習された学習モデル３０による推定の推定精度は９６％であった。組織構成学習装置２は、組織構成学習装置１よりも学習モデル３０が焼結鉱の組織構成を推定する精度を更に高くできることが実証された。 The estimation accuracy of the learning model 30 machine-learned by the organizational structure learning device 1 is 92%, while the estimation accuracy of the learning model 30 machine-learned by the organizational structure learning device 2 is 96%. Ta. It has been demonstrated that the structure learning device 2 can make the learning model 30 more accurate in estimating the structure of sintered ore than the structure learning device 1.

（第３実施形態に係る組織構成学習装置の構成及び機能）
図９は、第３実施形態に係る組織構成学習装置を示す図である。組織構成学習装置３は、第１実施形態に係る組織構成学習装置１と同様に、図３に示す組織構成学習システム１００に配置される。組織構成学習装置３は、撮像装置１０２によって撮像された焼結鉱の断面画像を示す画像データを使用して、焼結鉱の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる。 (Configuration and functions of organizational structure learning device according to third embodiment)
FIG. 9 is a diagram showing an organizational structure learning device according to the third embodiment. The organizational structure learning device 3 is arranged in the organizational structure learning system 100 shown in FIG. 3 similarly to the organizational structure learning device 1 according to the first embodiment. The structure learning device 3 uses the image data showing the cross-sectional image of the sintered ore captured by the imaging device 102 to learn the relationship between the cross-sectional image of the sintered ore and the structure of the sintered ore using the learning model 30. Let them learn.

組織構成学習装置３は、処理部２０の代わりに処理部５０を有することが組織構成学習装置１と相違する。処理部５０以外の組織構成学習装置３の構成要素の構成及び機能は、同一符号が付された組織構成学習装置１の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。処理部５０は、コントラスト変更部５１を有することが処理部２０と相違する。コントラスト変更部５１以外の処理部５０の構成要素の構成及び機能は、同一符号が付された処理部２０の構成要素の構成及び機能と同一なので、ここでは詳細な説明は省略する。 The organizational structure learning device 3 differs from the organizational structure learning device 1 in that it includes a processing section 50 instead of the processing section 20. The configurations and functions of the constituent elements of the organizational structure learning device 3 other than the processing unit 50 are the same as those of the constituent elements of the organizational structure learning device 1 denoted by the same reference numerals, so detailed explanations will be omitted here. The processing section 50 differs from the processing section 20 in that it includes a contrast changing section 51. The configurations and functions of the components of the processing section 50 other than the contrast changing section 51 are the same as those of the components of the processing section 20 denoted by the same reference numerals, so detailed explanations will be omitted here.

（第３実施形態に係る組織構成学習装置による組織構成学習処理）
図１０は、組織構成学習装置３により実行される組織構成学習処理のフローチャートである。図１０に示す組織構成学習処理は、予め記憶部１２に記憶されているプログラムに基づいて、主に処理部５０により組織構成学習装置３の各要素と協働して実行される。 (Organizational structure learning process by the organizational structure learning device according to the third embodiment)
FIG. 10 is a flowchart of the organizational structure learning process executed by the organizational structure learning device 3. The organizational structure learning process shown in FIG. 10 is mainly executed by the processing section 50 in cooperation with each element of the organizational structure learning device 3 based on a program stored in the storage section 12 in advance.

図１０に示すフローチャートのＳ３０１～Ｓ３０３、Ｓ３０５及びＳ３０６のそれぞれの処理は、図５に示すフローチャートのＳ１０１～Ｓ１０５のそれぞれの処理と同様なので、ここでは詳細な説明は省略する。 Each of the processes in S301 to S303, S305, and S306 in the flowchart shown in FIG. 10 is the same as each process in S101 to S105 in the flowchart shown in FIG. 5, so a detailed explanation will be omitted here.

Ｓ３０３の処理が終了すると、コントラスト変更部５１は、Ｓ３０３の処理で生成された複数の学習用データに対応する複数の断面画像の少なくとも１つの輝度を変更して、変更前の断面画像とコントラストが相違するコントラスト変更画像を生成する（Ｓ３０４）。 When the process of S303 is completed, the contrast changing unit 51 changes the brightness of at least one of the plurality of cross-sectional images corresponding to the plurality of learning data generated in the process of S303, so that the contrast is different from that of the cross-sectional image before the change. A different contrast-changed image is generated (S304).

コントラスト変更部５１は、断面画像に含まれる鉱物相の中で最も輝度が高い鉱物相と、最も輝度が低い鉱物相との間のコントラストを変更することで、コントラスト変更画像を生成する。コントラスト変更部５１は、図１（ｅ）に示す第１学習用データに対応する断面画像では、ヘマタイトとシリケートスラグとの間の輝度を変更する。コントラスト変更部５１は、図１（ｆ）に示す第２学習用データに対応する断面画像では、ヘマタイトとカルシウムフェライトとの間の輝度を変更する。コントラスト変更部５１は、図２（ａ）に示す第３学習用データに対応する断面画像では、ヘマタイトとシリケートスラグとの間の輝度を変更する。コントラスト変更部５１は、図２（ｂ）に示す第４学習用データに対応する断面画像では、マグネタイトとシリケートスラグとの間の輝度を変更する。コントラスト変更部５１は、図２（ｃ）に示す第５学習用データに対応する断面画像では、ヘマタイトとシリケートスラグとの間の輝度を変更する。図２（ｄ）に示す第５学習用データに対応する断面画像では、ヘマタイトと脈石との間の輝度を変更する。 The contrast changing unit 51 generates a contrast-changed image by changing the contrast between the mineral phase with the highest brightness and the mineral phase with the lowest brightness among the mineral phases included in the cross-sectional image. The contrast changing unit 51 changes the brightness between hematite and silicate slag in the cross-sectional image corresponding to the first learning data shown in FIG. 1(e). The contrast changing unit 51 changes the brightness between hematite and calcium ferrite in the cross-sectional image corresponding to the second learning data shown in FIG. 1(f). The contrast changing unit 51 changes the brightness between hematite and silicate slag in the cross-sectional image corresponding to the third learning data shown in FIG. 2(a). The contrast changing unit 51 changes the brightness between the magnetite and the silicate slug in the cross-sectional image corresponding to the fourth learning data shown in FIG. 2(b). The contrast changing unit 51 changes the brightness between hematite and silicate slag in the cross-sectional image corresponding to the fifth learning data shown in FIG. 2(c). In the cross-sectional image corresponding to the fifth learning data shown in FIG. 2(d), the brightness between hematite and gangue is changed.

コントラスト変更部５１は、生成したコントラスト変更画像と、コントラスト変更に使用された断面画像に関連付けられた鉱物相の領域とから、コントラストが変更された学習用データを生成し、記憶部１２に記憶する。コントラスト変更部５１は、Ｓ３０３の処理で生成された一部の学習用データに対応する断面画像について、コントラスト変更画像を生成してもよい。また、コントラスト変更部５１は、Ｓ３０３の処理で生成された全ての学習用データに対応する断面画像について、コントラスト変更画像を生成してもよい。 The contrast changing unit 51 generates learning data with changed contrast from the generated contrast changed image and the region of the mineral phase associated with the cross-sectional image used for contrast changing, and stores it in the storage unit 12. . The contrast changing unit 51 may generate a contrast changing image for the cross-sectional image corresponding to some of the learning data generated in the process of S303. Further, the contrast changing unit 51 may generate a contrast changing image for the cross-sectional images corresponding to all the learning data generated in the process of S303.

また、コントラスト変更部５１は、Ｓ３０３の処理で生成された複数の学習用データに対応する断面画像の輝度を変更して、コントラストが高い高コントラスト画像、及びコントラストが低い低コントラスト画像を生成してもよい。コントラスト変更部５１は、高コントラスト画像及び低コントラスト画像を生成するとき、高コントラスト画像及び低コントラスト画像に対応する学習用データを生成し、記憶部１２に記憶すると共に、Ｓ２０２の処理で生成された学習用データを削除する。 Further, the contrast changing unit 51 changes the brightness of the cross-sectional images corresponding to the plurality of learning data generated in the process of S303, and generates a high-contrast image with high contrast and a low-contrast image with low contrast. Good too. When generating a high-contrast image and a low-contrast image, the contrast changing unit 51 generates learning data corresponding to the high-contrast image and low-contrast image and stores it in the storage unit 12. Delete training data.

学習処理部２４は、Ｓ３０３及びＳ３０４の処理で生成された学習用データを用いて、Ｓ３０１の処理で取得された複数の画像データに対応する複数の断面画像と焼結鉱の組織構成との関係性を学習モデル３０に学習させる（Ｓ３０５）。 The learning processing unit 24 uses the learning data generated in the processing of S303 and S304 to determine the relationship between the plurality of cross-sectional images corresponding to the plurality of image data acquired in the processing of S301 and the structure of the sintered ore. The learning model 30 is made to learn the gender (S305).

（第３実施形態に係る組織構成学習装置の作用効果）
組織構成学習装置２は、コントラストを変更したコントラスト変更画像を学習用データに加えることで、学習モデル３０が焼結鉱の組織構成を推定する精度を更に高くできる。 (Operations and effects of the organizational structure learning device according to the third embodiment)
The structure learning device 2 can further increase the accuracy with which the learning model 30 estimates the structure of the sintered ore by adding a contrast-changed image in which the contrast has been changed to the learning data.

１～３組織構成学習装置
２０、４０、５０処理部
２１画像データ取得部
２２画像データ補正部
２３学習用データ生成部
２４学習処理部
２５学習モデル出力部
３０学習モデル
４１輝度変更部
５１コントラスト変更部
１００組織構成学習システム
１０１光学顕微鏡
１０２撮像装置 1 to 3 Tissue configuration learning device 20, 40, 50 Processing section 21 Image data acquisition section 22 Image data correction section 23 Learning data generation section 24 Learning processing section 25 Learning model output section 30 Learning model 41 Brightness changing section 51 Contrast changing section 100 Tissue composition learning system 101 Optical microscope 102 Imaging device

Claims

an image data acquisition unit that acquires a plurality of image data each showing a plurality of cross-sectional images taken of a cross-section of the sintered ore;
a learning data generation unit that generates a plurality of learning data by associating each of the plurality of regions of the cross-sectional image with a mineral phase contained in the sintered ore;
a learning processing unit that causes a learning model to learn the relationship between the plurality of cross-sectional images and the structure of the sintered ore using the plurality of learning data;
Learning model output that outputs a learning model that estimates the structure of the sintered ore from a cross-sectional image of the cross section of the sintered ore, based on the learned relationship between the plurality of cross-sectional images and the structure of the structure of the sintered ore. has a section and a
The structure of sintered ore, wherein each of the plurality of learning data is generated by associating the plurality of regions with at least three mineral phases among hematite, magnetite, calcium ferrite, and silicate slag. learning device.

The plurality of learning data are
first learning data generated by associating the plurality of regions with hematite, magnetite, and calcium ferrite;
second learning data generated by associating the plurality of regions with hematite, magnetite, and silicate slag;
third learning data generated by associating the plurality of regions with hematite, calcium ferrite, and silicate slag;
fourth learning data generated by associating the plurality of regions with magnetite, silicate slag, and calcium ferrite;
fifth learning data generated by associating the plurality of regions with hematite, magnetite, calcium ferrite, and silicate slag;
The sintered ore structure learning device according to claim 1, comprising:

At least one of the first learning data, the second learning data, the third learning data, the fourth learning data, and the fifth learning data is at least two pieces of learning data having different luminances. The sintered ore structure learning device according to claim 2, comprising:

At least one of the first learning data, the second learning data, the third learning data, the fourth learning data, and the fifth learning data is at least two learning data with different contrasts. The sintered ore structure learning device according to claim 2 or 3, comprising:

The sintered ore structure structure learning according to any one of claims 2 to 4, wherein the plurality of learning data further includes sixth learning data generated by associating the plurality of regions with gangue. Device.

The sintered ore structure learning device according to claim 5, wherein the sixth learning data includes at least two learning data having different brightnesses.

The sintered ore structure learning device according to claim 5 or 6, wherein the sixth learning data includes at least two learning data having different contrasts.

Obtain multiple image data each showing multiple cross-sectional images of the cross-section of the sintered ore,
generating a plurality of learning data by associating each of the plurality of regions of the cross-sectional image with a mineral phase contained in the sintered ore;
causing a learning model to learn the relationship between the plurality of cross-sectional images and the structure of the sintered ore using the plurality of learning data;
A process of outputting a learning model that estimates the structure of the sintered ore from a cross-sectional image of the cross-section of the sintered ore based on the learned relationship between the plurality of cross-sectional images and the structure of the sintered ore. make the computer run
The structure of sintered ore, wherein each of the plurality of learning data is generated by associating the plurality of regions with at least three mineral phases among hematite, magnetite, calcium ferrite, and silicate slag. learning program.

Obtain multiple image data each showing multiple cross-sectional images of the cross-section of the sintered ore,
generating a plurality of learning data by associating each of the plurality of regions of the cross-sectional image with a mineral phase contained in the sintered ore;
causing a learning model to learn the relationship between the plurality of cross-sectional images and the structure of the sintered ore using the plurality of learning data;
Outputting a learning model that estimates the structure of the sintered ore from a cross-sectional image of the cross-section of the sintered ore based on the learned relationship between the plurality of cross-sectional images and the structure of the structure of the sintered ore. including,
The structure of sintered ore, wherein each of the plurality of learning data is generated by associating the plurality of regions with at least three mineral phases among hematite, magnetite, calcium ferrite, and silicate slag. How to learn.