WO2019188941A1

WO2019188941A1 - 解析システム、解析方法、およびプログラム

Info

Publication number: WO2019188941A1
Application number: PCT/JP2019/012418
Authority: WO
Inventors: 中川　淳一
Original assignee: 日本製鉄株式会社
Priority date: 2018-03-27
Filing date: 2019-03-25
Publication date: 2019-10-03
Also published as: US20200272775A1; CN112074839B; JP6705570B2; EP3702942A1; CN112074839A; JPWO2019188941A1; US11170146B2; EP3702942A4

Abstract

解析装置は、第２の因子（１０２）を、解析対象（１０４）が従うべき物理現象に従って導出する。解析装置は、第２の因子（１０２）に基づいて、第３の因子（１０３）を、解析対象（１０４）が従うべき物理現象に従って導出する。解析装置は、第３の因子（１０３）を評価した結果に基づいて、当該第３の因子に対応する第１の因子（１０２）を決定する。第２の因子（１０２）は、第１の因子（１０１）が解析対象（１０４）に与えられた場合の解析対象における状態を示す。

Description

解析システム、解析方法、およびプログラム

　本発明は、解析システム、解析方法、およびプログラムに関する。

　例えば、材料の設計を行うためにミクロ組織を解析することが行われている。
　特許文献１には、結晶組成モデルの解析結果として、オイラー角の変化を得ることと、当該オイラー角の変化から組織の状態を推定することとが記載されている。また、特許文献１には、ミクロ組織から機械特性を得ることが記載されている。
　非特許文献１には、熱処理中のミクロ組織の変化と、応力－歪曲線とを予測可能な材質予測モデルが記載されている。

　また、材料の設計を行うために統計学や機械学習を利用することが行われている。特許文献２には、複合材料の耐衝撃性を予測するためにニューラルネットワークを用いることが記載されている。特許文献３には、既知物質に基づいて物質モデルを学習し、学習後の物質モデルに目標物性を入力して新規物質を探索することが記載されている。

特開２００８－１９７８５２号公報ＵＳ２０１５／０１７００２２Ａ１特開２０１７－９１５２６号公報国際公開第２０１７/０１１０１０号

東　昌史、外２名、「ミクロ組織予測から機械特性の予測までの一貫材質予測」、新日鉄技報　第３９２号、２０１２年、ｐ．４５－ｐ．５１ H.Moulinec, P.Suquet,　A numerical method for computing the overall response of nonlinear composites with complex microstructure.　Comput.Methods Appl.Mech.Engrg. 157 (1998), 69-94 J.Zeman, T.W.J.de Geus, J.Vondrejc, R.H.J.Peerlings and M.G.D.Geers,　A finite element perspective on nonlinear FFT-based micromechanical simulations　Int.J.Numer.Meth.Engng. 111 (2017), 903-926 D.J.Srolovitz, G.S.Grest, M.P.Anderson,　Computer Simulation of Recrystallization-I. Homogeneous Nucleation and Growth, Acta metal. 34 (1986),1833-1845

　しかしながら、特許文献１、特許文献２、および非特許文献１の技術では、機械特性からミクロ組織を推定することはできない。また、特許文献３の技術では、材料の特性の目標値から当該材料の構造を推定する際に、統計的な手法を用いる。従って、材料の構造が物理的に妥当なものであるという保証はない。このため、材料の構造が物理的に妥当なものであることの検証が必要になる。また、特許文献２および特許文献３の技術では、予測・探索の対象を内挿により導出することしかできず、外挿により導出することができない。即ち、特許文献２および特許文献３の技術では、学習時に用いるデータが存在する範囲外の解を得ることはできない。

　材料の機械特性は、材料のミクロ組織に起因するものである。即ち、材料のミクロ組織を原因とし、当該原因の結果として、材料の機械特性が得られる。ここで、顕微鏡で観察することができる物（肉眼では観察することができない物）に対する系をミクロな系とする。そうすると、材料のミクロ組織は、ミクロな系に属する。一方、顕微鏡を使わなくても観察することができる物に対する系をマクロな系とする。材料の機械特性は、材料全体から定まる。材料全体は、顕微鏡を使わなくても観察することができる。従って、材料の機械特性は、マクロな系に属する。ここで、空間を占める大きさが同程度のものが分類される階層を空間階層とする。そうすると、ミクロな系とマクロな系は、異なる空間階層に属する。前述した技術では、このような、物理現象で結ばれる原因と結果が、異なる空間階層に属する場合に、当該結果から当該原因を正確に推定することが容易ではないという問題点がある。

　本発明は、以上の問題点に鑑みてなされたものであり、物理現象で結ばれる原因と結果が、異なる空間階層に属する場合に、当該結果から当該原因を正確に推定することを目的とする。

　以上の課題を解決するための手段の一例は、以下の通りである。
（１）
　第１の因子が解析対象に与えられた場合の前記解析対象における状態を示す第２の因子を、前記解析対象が従うべき物理現象に従って導出する第１の導出手段と、
　前記第１の導出手段により導出された前記第２の因子に基づいて、第３の因子を、前記解析対象が従うべき物理現象に従って導出する第２の導出手段と、
　前記第２の導出手段により導出された前記第３の因子を評価した結果に基づいて、当該第３の因子に対応する前記第１の因子を決定する決定手段と、を有し、
　前記第３の因子は、前記第１の因子および前記第２の因子を原因として前記解析対象に生じる結果を示す因子であり、
　前記第２の因子は、前記解析対象の構成要素のそれぞれに対して個別に定まる因子であり、
　前記第３の因子は、前記解析対象の構成要素のそれぞれに対して個別に定まる因子ではなく、前記解析対象の構成要素の集合に対して定まる因子であることを特徴とする解析システム。
（２）
　前記第１の導出手段は、前記解析対象が従うべき物理現象に基づく数式を用いて前記第２の因子を導出することを特徴とする（１）に記載の解析システム。
（３）
　前記第２の導出手段は、前記解析対象が従うべき物理現象に基づく数式を用いて前記第３の因子を導出することを特徴とする（１）または（２）に記載の解析システム。
（４）
　前記決定手段は、前記第２の導出手段により導出された前記第３の因子に対する評価値が所定の条件を満たす場合に、当該第３の因子の導出のために用いられた前記第１の因子を、前記第３の因子に対応する前記第１の因子として決定することを特徴とする（１）～（３）の何れか１つに記載の解析システム。
（５）
　前記第２の導出手段により導出された前記第３の因子に対する評価値が所定の条件を満たさない場合に、新たな前記解析対象に対して、前記第１の導出手段による新たな前記第２の因子の導出と、前記第２の導出手段による新たな前記第３の因子の導出とが行われることを特徴とする（１）～（４）の何れか１つに記載の解析システム。
（６）
　前記新たな解析対象における前記構成要素の状態は、前記第１の導出手段により導出された最新の前記第２の因子であることを特徴とする（５）に記載の解析システム。
（７）
　前記決定手段は、前記第２の導出手段により導出された前記第３の因子に対する評価値が所定の条件を満たす場合、当該所定の条件を満たすまでに用いられた複数の前記第１の因子を、前記第３の因子に対応する前記第１の因子として決定することを特徴とする（６）に記載の解析システム。
（８）
　初期の前記解析対象を示す情報から、前記所定の条件を満たす前記第３の因子に対応する前記複数の第１の因子を導出する学習モデルを、強化学習を行うことにより作成する作成手段を有し、
　前記作成手段が、前記第１の導出手段、および前記第２の導出手段を有することを特徴とする（６）または（７）に記載の解析システム。
（９）
　前記強化学習は、Ｑ学習であることを特徴とする（８）に記載の解析システム。
（１０）
　前記学習モデルを用いて、前記所定の条件を満たす前記第３の因子に対応する前記複数の第１の因子を推定する推定手段を有し、
　前記作成手段と、前記推定手段とのそれぞれが、前記第１の導出手段、および前記第２の導出手段を有することを特徴とする（８）または（９）に記載の解析システム。
（１１）
　前記解析対象は、製品であり、
　前記第１の因子は、前記製品の構成要素の遷移の内容を示す因子であり、
　前記第２の因子は、前記製品の構成要素の遷移後の状態を示す因子であり、
　前記第３の因子は、前記製品の構成要素の集合に対して定まる因子であり、
　前記推定手段により推定された前記第１の因子に基づいて、前記製品の製造工程が決定され、当該製造工程を用いて前記製品が製造されることを特徴とする（１０）に記載の解析システム。
（１２）
　前記解析対象は、ミクロ組織を有する材料であり、
　前記第１の因子は、前記材料のミクロ組織の状態の遷移の内容を示す因子であり、
　前記第２の因子は、前記材料のミクロ組織の遷移後の状態を示す因子であり、
　前記第３の因子は、前記材料全体における機械特性に関する因子であり、
　前記推定手段により推定された前記第１の因子に基づいて、前記材料の製造工程が決定され、当該製造工程を用いて前記構造材料が製造されることを特徴とする（１０）または（１１）に記載の解析システム。
（１３）
　前記第３の因子に対応する前記第１の因子が決定される際にマルコフ決定過程のアルゴリズムが用いられ、
　マルコフ決定過程における状態は、前記解析対象の構成要素の状態であり、
　マルコフ決定過程における行動は、前記第１の因子であり、
　マルコフ決定過程における報酬は、前記第３の因子であり、
　前記第２の因子は、前記第１の因子に従って遷移することを特徴とする（１）～（１２）の何れか１つに記載の解析システム。
（１４）
　前記解析対象は、製品であり、
　前記第１の因子は、前記製品の構成要素の状態の遷移の内容を示す因子であり、
　前記第２の因子は、前記製品の構成要素の遷移後の状態を示す因子であり、
　前記第３の因子は、前記製品の構成要素の集合に対して定まる因子であることを特徴とする（１）～（１３）の何れか１つに記載の解析システム。
（１５）
　前記解析対象は、ミクロ組織を有する材料であり、
　前記第１の因子は、前記材料のミクロ組織の状態の遷移の内容を示す因子であり、
　前記第２の因子は、前記材料のミクロ組織の遷移後の状態を示す因子であり、
　前記第３の因子は、前記材料全体における機械特性に関する因子であることを特徴とする（１）～（１４）の何れか１つに記載の解析システム。
（１６）
　前記第２の導出手段は、前記第１の導出手段により導出された前記第２の因子で示される状態のミクロ組織に対して相変態が行われたミクロ組織に基づいて、前記第３の因子を導出することを特徴とする（１５）に記載の解析システム。
（１７）
　前記第３の因子に対応する前記第１の因子が決定される際にマルコフ決定過程のアルゴリズムが用いられ、
　マルコフ決定過程における状態は、前記第２の因子であり、
　マルコフ決定過程における行動は、前記第１の因子を変更することであり、
　マルコフ決定過程における報酬は、前記第３の因子の変化分であり、
　前記第１の因子を変更することにより、前記第２の因子の状態が遷移するものとすることを特徴とする（１）～（５）の何れか１つに記載の解析システム。
（１８）
　前記解析対象は、ミクロ組織を有する材料であり、
　前記第１の因子は、前記材料の複数の分割領域のそれぞれにおけるミクロ組織の状態を示す因子であり、
　前記第２の因子は、前記材料の複数の分割領域のそれぞれにおける機械特性を示す因子であり、
　前記第３の因子は、前記材料全体における機械特性を示す因子であることを特徴とする（１）、（２）、（３）、（４）、（５）、および（１７）の何れか１つに記載の解析システム。
（１９）
　第１の因子が解析対象に与えられた場合の前記解析対象における状態を示す第２の因子を、前記解析対象が従うべき物理現象に従って導出する第１の導出工程と、
　前記第１の導出工程により導出された前記第２の因子に基づいて、第３の因子を、前記解析対象が従うべき物理現象に従って導出する第２の導出工程と、
　前記第２の導出工程により導出された前記第３の因子を評価した結果に基づいて、当該第３の因子に対応する前記第１の因子を決定する決定工程と、を有し、
　前記第３の因子は、前記第１の因子および前記第２の因子を原因として前記解析対象に生じる結果を示す因子であり、
　前記第２の因子は、前記解析対象の構成要素のそれぞれに対して個別に定まる因子であり、
　前記第３の因子は、前記解析対象の構成要素のそれぞれに対して個別に定まる因子ではなく、前記解析対象の構成要素の集合に対して定まる因子であることを特徴とする解析方法。
（２０）
　第１の因子が解析対象に与えられた場合の前記解析対象における状態を示す第２の因子を、前記解析対象が従うべき物理現象に従って導出する第１の導出工程と、
　前記第１の導出工程により導出された前記第２の因子に基づいて、第３の因子を、前記解析対象が従うべき物理現象に従って導出する第２の導出工程と、
　前記第２の導出工程により導出された前記第３の因子を評価した結果に基づいて、当該第３の因子に対応する前記第１の因子を決定する決定工程と、をコンピュータに実行させ、
　前記第３の因子は、前記第１の因子および前記第２の因子を原因として前記解析対象に生じる結果を示す因子であり、
　前記第２の因子は、前記解析対象の構成要素のそれぞれに対して個別に定まる因子であり、
　前記第３の因子は、前記解析対象の構成要素のそれぞれに対して個別に定まる因子ではなく、前記解析対象の構成要素の集合に対して定まる因子であることを特徴とするプログラム。

図１は、基本となる処理の概要を説明する図である。図２は、Ｓ－Ｓ曲線の一例を示す図である。図３は、第１の実施形態を示し、ミクロ組織の状態の遷移の一例を説明する図である。図４は、第１の実施形態を示し、ミクロ組織の画像の一例を示す図である。図５は、第１の実施形態を示し、ミクロ組織の画像の生成方法の一例を説明する図である。図６Ａは、第１の実施形態を示し、Monte Carlo法によるシミュレーションの第１の例の第１の状態を示す図である。図６Ｂは、第１の実施形態を示し、Monte Carlo法によるシミュレーションの第１の例の第１の状態を示す図である。図６Ｃは、第１の実施形態を示し、Monte Carlo法によるシミュレーションの第２の例の第１の状態を示す図である。図６Ｄは、第１の実施形態を示し、Monte Carlo法によるシミュレーションの第２の例の第２の状態を示す図である。図７は、第１の実施形態を示し、相変態後のミクロ組織の遷移の一例を説明する図である。図８は、第１の実施形態を示し、相変態後のミクロ組織の画像の一例を示す図である。図９は、第１の実施形態を示し、所望の機械特性を有するＤＰ鋼を探索する方法の一例を説明する図である。図１０は、第１の実施形態を示し、ミクロ組織の初期画像からミクロ組織の最終画像に至る過程を示す図である。図１１Ａは、第１の実施形態を示し、初期のＱテーブルの一例を示す図である。図１１Ｂは、第１の実施形態を示し、学習後のＱテーブルの一例を示す図である。図１２は、第１の実施形態を示し、学習が収束する様子の一例を示す図である。図１３は、第１の実施形態を示し、解析装置の機能的な構成の第１の例を示す図である。図１４は、第１の実施形態を示し、学習モデルを作成する際の解析装置における処理の一例を説明するフローチャートである。図１５は、第１の実施形態を示し、ミクロ組織の初期画像からミクロ組織の最終画像に至るまでの遷移の内容（行動）を推定する際の解析装置における処理の一例を説明するフローチャートである。図１６は、解析装置のハードウェアの構成の一例を示す図である。図１７は、第２の実施形態を示し、解析装置の機能的な構成の一例を示す図である。図１８は、第２の実施形態を示し、解析装置における処理の一例を概念的に示す図である。図１９は、第２の実施形態を示し、解析装置における処理の一例を説明するフローチャートである。

＜＜経緯＞＞
　実施形態を説明する前に、実施形態に至った経緯について説明する。本発明者らは、解析対象において、原因となる因子と当該因子により生じる結果となる因子とを双方向に関連づけることに加えて、結果となる因子から原因となる因子を、内挿だけでなく外挿も行うことにより推定することを着想した。例えば、構造材料を設計する場合、ミクロな系における因子が原因になり、マクロな系における因子が結果になる。

　ここで、ミクロな系における因子は、顕微鏡で観察することができる所定の領域の単位で定められる因子である。ミクロな系における因子は、例えば、材料を製造する際の制御因子である。このような制御因子としては、例えば、３次元のミクロ組織の形態・方位や、合金の添加量や、硬質相・軟質相の各々の配合量・形態分布・強度等が挙げられる。また、マクロな系における因子は、材料全体に対して定められる因子である。マクロな系における因子は、例えば、構造材料（全体）の機械特性である。

　特許文献２、３に記載の技術のように、既存の技術では、統計学や機械学習の理論をもとに、ミクロな系における因子とマクロな系における因子との間の相関関係を定量化することに主眼をおく。このような技術では、大量で有意なデータがあれば、物理法則を用いなくても、材料の設計に資する情報を得ることができる。しかしながら、例えば、材料の場合には、データのサンプル数がたかだか数百程度である。更に、学習時に使用するデータも、画像データ、音声データ、数値データ等、様々なデータであり、決まった形式のデータではない。このため、学習を十分に行うことができない虞がある。また、前述したように、既存の技術では、内挿を行うことは可能であるが、外挿を行うことができない。

　そこで、本発明者らは、逆問題解析の技術に着目した。逆問題解析では、対象とする系を支配する物理法則を偏微分方程式等によるモデルで表現する。逆問題解析では、計測された結果を引き起こしている原因である初期条件や境界条件を、当該モデルを用いて決定する。本発明者らは、逆問題解析を適用すれば、モデルを介して物理法則に従った解が得られるため、外挿を行うことが可能になると考えた。

　しかしながら、逆問題解析で用いられるモデルは、通常、同一の空間階層における物理現象を合理的に記述する微分方程式である。従って、学習に使用するデータが、複数の空間階層に跨る場合には、空間階層毎に異なるモデルを設定する必要がある。このため、空間階層間の前述した因果関係を定量的に扱うことは困難である。前述したように、空間階層とは、空間を占める大きさが同程度のものが分類される階層である。空間を占める大きさが同程度であるか否かは、分類の対象によって異なる。ここでは、解析対象の構成要素のそれぞれと、解析対象の構成要素の集合（解析対象全体）は、空間を占める大きさが同程度ではないとする。

　例えば、前述したミクロな系およびマクロな系は、相互に異なる空間階層に属する。この場合、同一の空間階層における物理現象とは、ミクロな系における物理現象と、マクロな系における物理現象とのそれぞれを指す。
　この他、完成品および部品も相互に異なる空間階層に属する。この場合、同一の空間階層における物理現象とは、部品における物理現象と、完成品における物理現象とのそれぞれを指す。
　以上のように、解析対象の構成要素のそれぞれが属する空間階層と、解析対象の構成要素の集合（解析対象全体）が属する空間階層とは異なる空間階層になる。

　以上のような経緯から、本発明者らは、空間階層間の物理現象の因果関係を、物理法則に則って（物理現象を表現する数式を用いて）表現することができれば、解析対象の構成要素の集合（解析対象全体）に対して定まる因子を評価した結果から、解析対象の構成要素に関する因子を決定することができることを見出した。

＜＜処理の概要＞＞
　次に、図１を参照しながら、後述する実施形態の基本となる処理の概要を説明する。
　解析対象１０４に対して、第１の因子１０１が与えられる。第１の因子１０１は、解析対象１０４の構成要素のそれぞれの状態に関する因子である。第１の因子１０１は、例えば、解析対象１０４の構成要素の状態の遷移の内容を示す因子である。第１の因子１０１は、例えば、解析対象１０４の構成要素の状態を示す因子であってもよい。解析対象１０４は、例えば、構造材料または製品である。この場合、解析対象１０４は、解析対象物である。

　解析装置は、第１の因子１０１が与えられた解析対象１０４の状態を遷移させて、第２の因子１０２を導出する。第２の因子１０２は、第１の因子１０１が解析対象１０４に与えられた場合の解析対象１０４の状態を示す因子である。ただし、第２の因子１０２は、解析対象１０４の構成要素のそれぞれに対して個別に定まる因子である。解析装置は、解析対象１０４が従うべき物理現象に従って、第２の因子１０２を導出する。第１の因子１０１と第２の因子１０２とは、解析対象１０４が従うべき物理現象に基づく数式によって、相互に関連付けられる。

　解析装置は、第２の因子１０２に基づいて、第３の因子１０３を導出する。第３の因子１０３は、解析対象１０４の構成要素の集合（解析対象１０４全体）に対して定まる因子である。第３の因子１０３は、解析対象１０４の構成要素のそれぞれに対して個別に定まるものではない。このような第３の因子１０３は、第１の因子１０１および第２の因子１０２を原因として解析対象１０４に生じる結果を示す因子である。第１の因子１０１および第２の因子１０２は、同一の空間階層に属する。第１の因子１０１および第２の因子１０２と、第３の因子１０３は、異なる空間階層に属する。図１では、第１の因子１０１および第２の因子は第１の空間階層１０５に属し、第３の因子１０３は、第２の空間階層１０６に属する場合を例示する。

　解析装置は、解析対象１０４が従うべき物理現象に従って、第３の因子１０３を導出する。第２の因子１０２と第３の因子１０３とは、解析対象１０４が従うべき物理現象に基づく数式によって、相互に関連付けられる。
　解析装置は、第３の因子１０３を評価した結果に基づいて、当該第３の因子１０３に対応する第１の因子１０１を決定する。解析装置は、第３の因子１０３に対する評価値が所定の条件を満たさない場合、新たな解析対象１０４を設定する。解析装置は、新たな解析対象１０４に対して、第２の因子１０２の導出と、第３の因子１０３の導出とを行う。

　解析装置は、新たな解析対象１０４を設定する際に第１の因子１０１を更新する。第１の因子１０１が、解析対象１０４の構成要素の状態の遷移の内容を示す因子である場合、解析装置は、第１の因子１０１を選択する。この場合、新たな解析対象１０４の構成要素の状態は、既に導出されている第２の因子１０２のうち、最新の第２の因子１０２が示すものになる。新たな解析対象１０４に対して、前述したようにして選択された第１の因子１０１が与えられる。

　第１の因子１０１が、解析対象１０４の構成要素の状態を示す因子である場合、新たな解析対象１０４の構成要素の状態として、更新後の第１の因子１０１が与えられる。

　解析装置は、第３の因子１０３に対する評価値が所定の条件を満たすまで、第１の因子１０１の選択・更新と、第２の因子１０２の導出と、第３の因子１０３の導出とを繰り返す。解析装置は、第３の因子１０３に対する評価値が所定の条件を満たす場合に、当該第３の因子１０３の導出のために用いられた第１の因子１０１を、当該第３の因子１０３に対応する第１の因子１０１として決定する。

　第１の因子１０１が、解析対象１０４の構成要素の状態の遷移の内容を示す因子である場合、解析装置は、前述した繰り返し処理で得られた全ての第１の因子１０１を、第３の因子１０３に対応する第１の因子１０１として決定する。当該全ての第１の因子１０１の組合せは、当該第３の因子１０３を導出する方法の指針となる。
　第１の因子１０１が、解析対象１０４の構成要素の状態を示す因子である場合、解析装置は、前述した繰り返し処理で得られた第１の因子１０１のうち、最新の第１の因子１０１を、第３の因子１０３に対応する第１の因子１０１として決定する。当該第１の因子１０１は、当該第３の因子１０３を導出するための指針となる。

　以下に説明する実施形態では、以上のようにして逆問題を解く処理を基本として各種の処理が実行される。ここで、逆問題は、結果（第３の因子１０３）から当該結果の原因（第１の因子１０１）を決定する問題である。また、前述したように、第３の因子１０３と、第１の因子１０１は、異なる空間階層に属する。後述する実施形態で扱う逆問題は、このような異なる空間階層に属する因子を繋ぐ問題である。

＜＜マルコフ決定過程＞＞
　本発明者らは、前述した知見の下、このような逆問題をマルコフ決定過程（Markov Decision Processes）の枠組みの中で解くことができることを見出した。マルコフ決定過程について説明する。尚、マルコフ決定過程自体は公知の技術で実現することができる。従って、ここでは、その概要のみを説明する。
　マルコフ決定過程は、エージェント（agent）が報酬（reward）を最大にする方策（policy）を学習するものである。マルコフ決定過程は、環境（environment）の状態（state）に対してとるべき行動（action）を試行錯誤（try and error）により決定する最適化問題を扱う。

　マルコフ決定過程は、以下の４つの要素により表される。尚、ｔは時刻を表し、０，１，２，・・・といった値を取り、ＮおよびＫは、それぞれ状態および行動の有限集合の要素の数を表す。
　状態ｓの有限集合　Ｓ＝｛ｓ^１，ｓ^２，・・・，ｓ^Ｎ｝
　行動ａの有限集合　Ａ＝｛ａ^１，ａ^２，・・・，ａ^Ｋ｝
　遷移関数ｆ（ｓ_ｔ＋１｜ｓ_ｔ，ａ_ｔ）
　報酬関数ｒ（ｓ_ｔ，ａ_ｔ，ｓ_ｔ＋１）

　遷移関数ｆ（ｓ_ｔ＋１｜ｓ_ｔ，ａ_ｔ）は、時刻ｔの状態ｓ_ｔから行動ａ_ｔをとったときに、次の時刻ｔ＋１の状態ｓ_ｔ＋１に遷移する関数または確率密度分布関数である。
　報酬関数ｒ（ｓ_ｔ，ａ_ｔ，ｓ_ｔ＋１）は、時刻ｔの状態ｓ_ｔから当該時刻ｔの行動ａ_ｔをとって次の時刻ｔ＋１の状態ｓ_ｔ＋１に遷移する際に得られる即時報酬、または、その期待値を表す。

　そして、マルコフ決定過程では、一般に、現在の状態ｓに対して現在の状態ｓが与えられたときにエージェントのとるべき行動ａを行動ａの分布関数（確率密度関数）ｐ（ａ｜ｓ）という形で対応させる写像πを方策πという。方策πを決定する際に用いられる目的関数ρは、以下の（１）式のように、時刻ｔ＝０から将来時刻ｔ＝ｔ_∞までの割引された報酬の累積値が用いられる。

　ここで、γ∈［０，１］は割引因子（discount factor）と呼ばれる値であり、現在の報酬と未来の報酬との間における重要度の差異を表す。重要度の最も高い報酬に対しては、γとして「１」が設定され、重要度の最も低い報酬に対しては、γとして「０」が設定され、その他の報酬に対しては、重要度に応じて０超１未満の値が設定される。割引因子γの右上に表記されているｔは、指数を意味する。ｒ_ｔ＋１は、時刻ｔの状態ｓ_ｔから当該時刻ｔの行動ａ_ｔをとって次の時刻ｔ＋１の状態ｓ_ｔ＋１に遷移する際に得られる即時報酬である。
　マルコフ決定過程のゴールは、以下の（２）式のように、最大報酬を得るための最適な方策π^＊を見つけることである。

　ここで、Ｅ［ρ｜π］は、方策πをとったときの目的関数ρ（割引された報酬の累積値（以下「累積報酬」と称する））の期待値を表す。

　（２）式のようにして、最適な方策π^＊を導出する手法としては、種々の手法があるが、その一つとして、動的計画法（dynamic programming）と呼ばれるアルゴリズムがある。動的計画法では、方策πによってエージェントのとるべき行動ａは決定論的に定まるものとする。動的計画法自体は公知の技術であるので、ここではその詳細な説明を省略する。

＜＜第１の実施形態＞＞
　以下、第１の実施形態を説明する。
　本実施形態では、解析対象がＤＰ（Ｄｕａｌ　Ｐｈａｓｅ）鋼であるとする。また、第１の因子が、ＤＰ鋼のミクロ組織の状態の遷移の内容を示す因子であるとする。また、第２の因子が、ＤＰ鋼のミクロ組織の遷移後の状態を示す因子であるとする。また、第３の因子が、ＤＰ鋼のＳ－Ｓ曲線であるとする。また、本実施形態では、説明を簡単にするため、ＤＰ鋼のミクロ組織に、硬質相（マルテンサイト相）および軟質相（フェライト相）以外の領域（空隙等）がないものとして説明を行う。本発明者らは、これらの因子を用いることにより、逆問題をマルコフ決定過程の枠組みの中で解くことができることを見出した。そこで、まず、これらの因子に関する説明を行う。

［Ｓ－Ｓ曲線］
　第３の因子の一例であるＳ－Ｓ曲線について説明する。
　図２は、Ｓ－Ｓ曲線の一例を示す図である。図２に示すように、Ｓ－Ｓ曲線は、応力と歪との関係を表す曲線である。図２に示す例では、Ｓ－Ｓ曲線は、真応力と真ひずみとの関係を表す。ただし、応力と歪との関係を表す曲線であれば、Ｓ－Ｓ曲線は、真応力と真ひずみとの関係を表す曲線に限定されない。Ｓ－Ｓ曲線は、ＤＰ鋼に対して引張試験または圧縮試験を行うことにより得られる。従って、Ｓ－Ｓ曲線は、ＤＰ鋼のミクロ組織の集合に対して定まる因子である。Ｓ－Ｓ曲線は、ＤＰ鋼の全体における機械特性に関する因子である。従って、Ｓ－Ｓ曲線は、ＤＰ鋼の全体に対してしか定まらない。即ち、Ｓ－Ｓ曲線は、ＤＰ鋼のミクロ組織のそれぞれに対して個別に定まる因子ではない。本実施形態では、目標となるＳ－Ｓ曲線２０１と、後述するようにして導出されるＳ－Ｓ曲線２０２との差が、前述した第３の因子に対する評価値になる。また、目標となるＳ－Ｓ曲線と、後述するようにして導出されるＳ－Ｓ曲線との差が、所定の範囲内であることが、前述した所定の条件である。以下の説明では、目標となるＳ－Ｓ曲線を必要に応じて、目標Ｓ－Ｓ曲線と称する。
　Ｓ－Ｓ曲線は、マルコフ決定過程における報酬（reward）に対応する。また、Ｓ－Ｓ曲線を導出するための処理手順が報酬関数ｒ（ｓ_ｔ，ａ_ｔ，ｓ_ｔ＋１）に対応する。

［均質化法］
　本実施形態では、ＤＰ鋼のＳ－Ｓ曲線を、ＤＰ鋼に生じる物理現象に従って導出する。ＤＰ鋼のミクロ組織とＳ－Ｓ曲線は、異なる空間階層に属する。本実施形態では、空間階層間の物理現象の因果関係を一貫して論理的に説明する手法として均質化法を採用する場合を例に挙げて説明する。
　均質化法を用いてミクロ組織の情報からＳ－Ｓ曲線を導出する手法の一例を説明する。
　まず、ＤＰ鋼に与える外部歪（引張荷重となる外力）を設定する。そして、設定した外部歪をＤＰ鋼に与えたときのミクロ組織の各位置ｘにおける応力σ（ｘ）および歪ε（ｘ）を弾塑性解析により導出する。ここでは、説明を簡単にするため、ミクロ組織の各位置ｘを、ミクロ組織の各ボクセル（の位置）ｘとする場合を例に挙げて説明する。

　弾塑性解析では、外部歪に応じた各ボクセルの変位ｕ_ｔ＋１（ｘ）が導出される。その後、歪と変位との関係式を用いて各ボクセルに変位ｕ_ｔ＋１（ｘ）が生じたときの各ボクセルの歪ε_ｔ＋１（ｕ_ｔ＋１）（ｘ）が導出される。更に、応力と歪の関係式を用いて各ボクセルに歪ε_ｔ＋１（ｕ_ｔ＋１）（ｘ）が生じたときの各ボクセルの応力σ_ｔ＋１（ε_ｔ＋１（ｕ_ｔ＋１））（ｘ）が導出される。
　均質化法では、以下の（３）式に示す解析対象のＤＰ鋼の歪エネルギーが最小になるように、各ボクセルにおける変位ｕ_ｔ＋１（ｘ）が導出される。そして、導出した変位ｕ_ｔ＋１（ｘ）から、歪ε_ｔ＋１（ｕ_ｔ＋１）（ｘ）および応力σ_ｔ＋１（ε_ｔ＋１（ｕ_ｔ＋１））（ｘ）が導出される。（３）式は、ＤＰ鋼が従うべき物理現象を表す数式の一例である。

　ここで、χ_ｔ＋１（ｘ）は、位置ｘのボクセルにおける２値化ラベルの値である。ここでは、軟質相である場合の２値化ラベルの値χ_ｔ＋１（ｘ）を「１」とする。硬質相である場合の２値化ラベルの値χ_ｔ＋１（ｘ）を「０」とする。従って、位置ｘのボクセルが硬質相であることは、１－χ_ｔ＋１（ｘ）で表される。Ｃ_Ａは、軟質相が弾塑性変形する際の応力と歪との関係を示すコンプライアンス（テンソル）である。Ｃ_Ｂは、硬質相が弾塑性変形する際の応力と歪との関係を示すコンプライアンス（テンソル）である。ξ_ｔ＋１は、外部歪を表す。Ωは、解析対象のＤＰ鋼の全領域を表す。：は、その前後のテンソル積をとることを表す。

　（３）式の：の前の「（χ_ｔ＋１（ｘ）Ｃ_Ａ＋（１－χ_ｔ＋１（ｘ））Ｃ_Ｂ）（ξ_ｔ＋１＋Δε_ｔ＋１（ｕ）（ｘ））」は、外部歪ξ_ｔ＋１を与えたときに位置ｘのボクセルがｕ（ｘ）だけ変位することにより当該ボクセルに生じる応力を表す。（３）式の：の後の「（ξ_ｔ＋１＋Δε_ｔ＋１（ｕ）（ｘ））」は、外部歪ξ_ｔ＋１を与えたときに位置ｘのボクセルがｕ（ｘ）だけ変位することにより当該ボクセルに生じる歪を表す。これらのテンソル積は、位置ｘのボクセルにおける歪エネルギーになる。（３）式は、全てのボクセルにおける歪エネルギーを積算（積分）したものである。当該積算値が最小になるように、全ての位置ｘのボクセルの変位ｕ_ｔ（ｘ）が導出される。

　以上のようにして歪ε_ｔ＋１（ｕ_ｔ＋１）（ｘ）および応力σ_ｔ＋１（ε_ｔ＋１（ｕ_ｔ＋１））（ｘ）の組を導出することが、全ての位置ｘのボクセルについて行われる。
　或る外部歪をＤＰ鋼に与えた場合の、全ての位置ｘのボクセルにおける歪ε_ｔ（ｕ_ｔ）（ｘ）および応力σ_ｔ（ε_ｔ（ｕ_ｔ））（ｘ）の組が導出されると、当該全ての位置ｘのボクセルにおけるε_ｔ（ｕ_ｔ）（ｘ）および応力σ_ｔ（ε_ｔ（ｕ_ｔ））（ｘ）の代表値（例えば平均値）を導出する。これにより、或る外部歪をＤＰ鋼に与えた場合のＤＰ鋼の歪および応力の組が一組得られる。
　以上のようにしてＤＰ鋼の引張強さおよび均一伸びの代表値を導出することを、複数の外部歪をＤＰ鋼に与えた場合のそれぞれについて実行する。これにより、ＤＰ鋼の歪および応力の組が複数得られる。これらの組から、応力と歪の関係式であるＳ－Ｓ曲線が得られる。

　尚、以上のように、均質化法で導出されるのは、歪ε_ｔ＋１（ｕ_ｔ＋１）（ｘ）および応力σ_ｔ＋１（ε_ｔ＋１（ｕ_ｔ＋１））（ｘ）である。歪ε_ｔ＋１（ｕ_ｔ＋１）（ｘ）および応力σ_ｔ＋１（ε_ｔ＋１（ｕ_ｔ＋１））（ｘ）からＳ－Ｓ曲線が導出される。また、均質化法自体は、例えば、非特許文献２、３に記載のような公知の技術を用いることにより実現することができる。非特許文献２、３の内容を全てここに援用する。

［ミクロ組織の状態および遷移］
　第２の因子の一例であるミクロ組織の状態と、第１の因子の一例であるミクロ組織の遷移の内容について説明する。
　図３は、ミクロ組織の状態の遷移の一例を説明する図である。図３において、四角形は、ミクロ組織の画像を示す。図３では、６３個のミクロ組織の画像０ａ～６２ａを示す。図４は、ミクロ組織の画像の一例を示す図である。図４では、表記の都合上、６３個のミクロ組織の画像０ａ～６２ａのうち、１５個のミクロ組織の画像０ａ～１４ａのみを示す。その他のミクロ組織の画像１５ａ～６２ａの具体的な内容の表記を省略する。

　ミクロ組織の画像は、環境（environment）に対応する。ミクロ組織の状態は、マルコフ決定過程における状態（state）に対応する。図３に示す例では、状態ｓの有限集合Ｓは、Ｓ＝｛ｓ^０，ｓ^２，・・・，ｓ^６２｝になる。ミクロ組織の状態を示す情報には、例えば、結晶粒の粒界および方位と、ミクロ組織における元素濃度の分布とが含まれる。本実施形態では、状態ｓの有限集合Ｓの各状態ｓ^ｎには、その要素として、これらの情報が含まれるものとする。本実施形態では、ミクロ組織の画像０ａ～６２ａに、結晶粒の粒界および方位の情報と、ミクロ組織における元素濃度の分布の情報とが含まれているものとする。ミクロ組織の状態は、ミクロ組織のそれぞれに対して個別に定まる。

　ミクロ組織の状態の遷移の内容には、「粗大化」、「微細化」、および「戻る」が含まれる。「粗大化」は、結晶成長が行われることを示す。「微細化」は、再結晶または相変態が行われることを示す。「戻る」は、１つ前の時刻ｔの状態に戻ることを示す。１つ前の時刻ｔの状態に対して「粗大化」された場合、「戻る」は、「微細化」することに対応する。１つ前の時刻ｔの状態に対して「微細化」された場合、「戻る」は、「粗大化」することに対応する。

　図３および図４では、Ｃは、「粗大化」を示す。Ｍは、「微細化」を示す。Ｒは、「戻る」を示す。図３および図４において、Ｃの矢印線と対になっているＲの矢印線は、「微細化」に対応する。Ｍの矢印線と対になっているＲの矢印線は、「粗大化」に対応する。

　時刻ｔにおいて、ミクロ組織の状態は、図３および図４に示す１つの矢印線で結ばれるとなりの状態にしか遷移しないものとする。例えば、時刻ｔにおいて、ミクロ組織の画像１ａの状態は、ミクロ組織の画像０ａ、３ａ、４ａの状態の何れか１つにしか遷移しない。例えば、時刻ｔにおいて、ミクロ組織の画像１ａの状態は、ミクロ組織の画像３ａを飛ばしてミクロ組織の画像７ａの状態に遷移することはない。

　ミクロ組織の画像０ａの状態では、「戻る」が選択されることはない。ミクロ組織の画像０ａの状態では、「粗大化」または「微細化」が選択される。ミクロ組織の画像３１ａ～６２ａの状態では、「粗大化」および「微細化」が選択されることはない。ミクロ組織の画像３１ａ～６２ａの状態では、「戻る」のみが選択される。

　ミクロ組織の状態の遷移の内容は、マルコフ決定過程の行動（action）に対応する。ミクロ組織の画像０ａの状態では、時刻ｔにおける行動ａとして、「粗大化」または「微細化」が選択される。ミクロ組織の画像３１ａ～６２ａの状態では、時刻ｔにおける行動ａとして、「戻る」のみが選択される。その他のミクロ組織の画像１ａ～３０ａの状態では、時刻ｔにおける行動ａとして、「粗大化」、「微細化」、または「戻る」が選択される。
　このように、本実施形態では、マルコフ決定過程における時刻ｔに対応するものとして、ミクロ組織の状態の遷移の回数ｔを用いる。

　図３および図４において、ミクロ組織の画像０ａ～６２ａのうち、ミクロ組織の画像０ａは、入力画像である。ミクロ組織の画像０ａは、例えば、ＤＰ鋼に対して、ＥＢＳＤ（Electron Backscattering Diffraction）法、光学顕微鏡、またはＳＥＭ（Scanning Electron Microscope）等の公知の計測技術を用いることにより得ることができる。従って、ここでは、その詳細な説明を省略する。ミクロ組織の画像は、３次元画像でも２次元画像でもよい。

　ミクロ組織の画像１ａ～６２ａは、当該画像に向かって伸びるＣの矢印線またはＭの矢印線の始点に位置する画像のみに基づいて生成される。矢印線の始点は、矢印線の２つの端点のうちアローヘッドのない方の端点である。具体的には、例えば、ミクロ組織の画像１ａ、２ａは、ミクロ組織の画像０ａのみに基づいて生成される。ミクロ組織の画像３ａ、４ａは、ミクロ組織の画像１ａのみに基づいて生成される。

　ミクロ組織の画像０ａ～６２ａの状態の遷移は、ＤＰ鋼に生じる物理現象に従って行われる。本実施形態では、Pottsモデルを用いたMonte Carlo法によるシミュレーションを行うことにより、ミクロ組織の画像１ａ～６２ａが生成される場合を例に挙げて説明する。

　図５は、ミクロ組織の画像１ａ～６２ａの生成方法の一例を説明する図である。図５において、数値１～９は、結晶方位を示す値である。同じ数値は、結晶方位が同じであることを示す。また、図５において、線は、粒界を示す。また、数値が付されている位置は、格子点の位置である。格子点の位置は、例えば、ＥＢＳＤ法による測定で電子線が照射された位置に対応する。

　ここでは、ミクロ組織の画像０ａに基づいて、ミクロ組織の画像１ａ、２ａを生成する場合を例に挙げて説明する。
　シミュレーションは、以下の手順（Ａ）～（Ｇ）によって行われる。ただし、ここでは、領域が有限であると仮定する。即ち、格子点の数は有限個である。
（Ａ）　全ての格子点の中からランダムに一つの格子点ｉを選択する。
（Ｂ）　格子点ｉにおける方位Ｓ_ｉ（１≦Ｓ_ｉ≦Ｑ）とは異なる方位Ｓ_ｉ’（１≦Ｓ_ｉ’≦Ｑ）をランダムに選択する。
（Ｃ）　エネルギーの差ΔＥ（＝Ｅ（Ｓ_ｉ’）－Ｅ（Ｓ_ｉ））を導出する。
　方位Ｓ_ｉのエネルギーＥ（Ｓ_ｉ）は、以下の（４）式で表される。

　δ_ＳｉＳｊは、クロネッカーのデルタである。δ_ＳｉＳｊは、Ｓ_ｉ＝Ｓ_ｊなら１になり、Ｓ_ｉ≠Ｓ_ｊなら０になる。n.nは、格子点ｉの最近接近傍（nearest neiborhood）内の格子点を表す。Ｊ_ｐｉ,_ｐｊは、界面エネルギーの大きさを表す定数である。Ｊ_ｐｉ,_ｐｊは、０を上回る値である（Ｊ_ｐｉ,_ｐｊ＞０）。ｐ_ｉは、母相（未再結晶領域）ｐ_ｍまたは新相（再結晶領域）ｐ_ｎを表す。Ｊ_ｐｍ,_ｐｍは、母相の結晶粒間の界面エネルギーを表す。Ｊ_ｐｍ,_ｐｎ（＝Ｊ_ｐｎ,_ｐｍ）は、母相の結晶粒と新相の結晶粒との間の界面エネルギーを表す。Ｊ_ｐｎ,_ｐｎは、新相の結晶粒間の界面エネルギーを表す。Ｈは、格子点のエネルギーの大きさを表す定数である。Ｈは、０を上回る値である。θは、Heviside関数である。Ｑ_ｕは、未再結晶の結晶粒の総数である。

　（４）式の左辺第１項は、粒界エネルギーを表す。粒界エネルギーは、結晶粒の成長のための駆動力である。（４）式の左辺第１項は、粒界に近い格子点ｉであるほど、粒界エネルギーは大きくなることを示す。（４）式の左辺第２項は、格子点エネルギーを表す。格子点エネルギーは、核生成（Nucleation）のための駆動力である。格子点エネルギーは、格子点ｉが未再結晶領域にある場合に０を上回る値になり、格子点ｉが再結晶領域にある場合になる。
　（４）式は、ＤＰ鋼が従うべき物理現象を表す数式の一例である。

（Ｄ）　エネルギーの差ΔＥが０を下回る場合（ΔＥ＜０の場合）、格子点ｉの方位Ｓ_ｉを方位Ｓ_ｉ’に置き換える。エネルギーの差ΔＥが０以上である場合（ΔＥ≧０の場合）、遷移確率Ｗ（＝ΔＥ／ｋ_ＢＴ）で格子点ｉの方位Ｓ_ｉを方位Ｓ_ｉ’に置き換える。ここで、ｋ_Ｂは、ボルツマン定数である。Ｔは、温度である。温度Ｔは、予め設定されるものとする。
（Ｅ）　未選択の格子点の中からランダムに一つの格子点ｉを選択する。
（Ｆ）　手順（Ｅ）で選択した格子点ｉについて、手順（Ｂ）～（Ｅ）を行う。
（Ｇ）　手順（Ｆ）が終了した後、手順（Ａ）および（Ｅ）で全ての格子点ｉが選択されるまで、手順（Ｂ）～（Ｄ）を行う。

　図６Ａ～図６Ｄは、Pottsモデルを用いたMonte Carlo法によるシミュレーションを概念的に示す図である。ここでは、界面エネルギーＪ_ｐｍ,_ｐｍ、Ｊ_ｐｍ,_ｐｎ、Ｊ_ｐｎ,_ｐｍ、Ｊ_ｐｎ,_ｐｎは等しいものとする（Ｊ_ｐｍ,_ｐｍ＝Ｊ_ｐｍ,_ｐｎ＝Ｊ_ｐｎ,_ｐｍ＝Ｊ_ｐｎ,_ｐｎ＝Ｊ）。また、定数Ｈは２Ｊ未満（Ｈ＜２Ｊ）であるとする。図６Ａ～図６Ｄにおいて、グレーで示す領域は、再結晶領域（新相）を表す。その他の白の領域は、未再結晶領域（母相）を表す。また、１≦Ｓ_ｉ＜Ｑ_ｕは、格子点ｉが母相にあることを意味するものとする。Ｑ_ｕ＋１≦Ｓ_ｉ＜Ｑは、格子点ｉが新相にあることを意味するものとする。

　図６Ａでは、格子点ｉとして格子点６０１が選択されていることを示す（手順（Ａ）を参照）。格子点６０１の最近接近傍n.nの範囲として範囲６０２が設定される。格子点６０１の方位Ｓ_ｉは６である。従って、図６Ｂに示すように、方位Ｓ_ｉ’として６とは異なる値ｒが選択される（手順（Ｂ）を参照）。この場合、（４）式より、Ｅ（Ｓ_ｉ）はＨである。Ｅ（Ｓ_ｉ’）は６Ｊ_ｐｍ,_ｐｎ（＝６Ｊ）である。よって、エネルギーの差ΔＥは、６Ｊ－Ｈになる（手順（Ｃ）を参照）。このエネルギーの差ΔＥは、正の値（＞０）である。従って、格子点６０１の方位Ｓ_ｉは、遷移確率Ｗの確率で方位Ｓ_ｉ’に置き換わる（手順（Ｄ）を参照）。

　図６Ｃでは、格子点ｉとして格子点６０３が選択されていることを示す（手順（Ａ）を参照）。格子点６０３の最近接近傍n.nの範囲として範囲６０４が設定される。格子点６０３の方位Ｓ_ｉは４である。従って、図６Ｄに示すように、方位Ｓ_ｉ’として４とは異なる値ｒが選択される（手順（Ｂ）を参照）。この場合、（４）式より、Ｅ（Ｓ_ｉ）はＪ_ｐｍ,_ｐｎ＋３Ｊ_ｐｍ,_ｐｎ＋Ｈ（＝４Ｊ＋Ｈ）Ｈである。Ｅ（Ｓ_ｉ’）は６Ｊ_ｐｍ,_ｐｎ（＝６Ｊ）である。よって、エネルギーの差ΔＥは、２Ｊ－Ｈになる（手順（Ｃ）を参照）。このエネルギーの差ΔＥは、負の値（＜０）である。従って、ｒの値が８である場合には、格子点６０３の方位Ｓ_ｉは８に変更される（手順（Ｄ）を参照）。よって、方位が８の結晶粒が成長する。一方、ｒの値が８以外である場合には、格子点６０３の方位Ｓ_ｉは、６および８以外の値に変更される（手順（Ｄ）を参照）。よって、核生成と共に、新相（新しい結晶粒）が生成される。

　「粗大化」する場合と、「微細化」する場合とで、界面エネルギーＪ_ｐｍ,_ｐｍ、Ｊ_ｐｍ,_ｐｎ、Ｊ_ｐｎ,_ｐｍ、Ｊ_ｐｎ,_ｐｎおよび定数Ｈを異ならせて、ミクロ組織の画像０ａに対して、以上のシミュレーションが行われる。そうすると、ミクロ組織の画像１ａ、２ａが生成される。ミクロ組織の画像１ａ、２ａを生成元のミクロ組織の画像として、以上のシミュレーションが行われることにより、ミクロ組織の画像３ａ～６ａが生成される。ミクロ組織の画像３ａ～６ａを生成元のミクロ組織の画像として、以上のシミュレーションが行われることにより、ミクロ組織の画像７ａ～１４ａが生成される。同様に、ミクロ組織の画像１５ａ～３０ａおよびミクロ組織の画像３１ａ～６２ａが生成される。以上のように本実施形態では、ミクロ組織の画像１ａ～６２ａを生成するための処理手順が遷移関数f（ｓ_ｔ＋１｜ｓ_ｔ，ａ_ｔ）に対応する。

　本実施形態では、ミクロ組織の画像０ａは、硬質相を含まず軟質相のみであるものとする。従って、ミクロ組織の画像１ａ～６２ａも、硬質相を含まず軟質相のみとなる。軟質相のみのＳ－Ｓ曲線は、ミクロ組織の状態によって大きく異ならない。そこで、本実施形態では、ミクロ組織の画像０ａ～６２ａのそれぞれに対して、以上のシミュレーションを更に行うことにより、ミクロ組織の画像が、硬質相と軟質相とを含むものとする。当該ミクロ組織の画像は、相変態後のミクロ組織の画像である。本実施形態では、相変態が、オーステナイト変態であるものとする。相変態したオーステナイトの領域は、マルテンサイトのような硬質相に変化するものとする。

　図７は、相変態後のミクロ組織の遷移の一例を説明する図である。図７は、図３に対応する図である。図３に示すミクロ組織の画像Ｎｏ（Ｎｏ＝０ａ～６２ａ）から、図７に示すミクロ組織の画像Ｎｏ（Ｎｏ＝０ｂ～６２ｂ）が生成される。例えば、図３に示すミクロ組織の画像０ａから、図７に示すミクロ組織の画像０ｂが生成される。図８は、相変態後のミクロ組織の画像の一例を示す図である。図８は、図４に対応する図である。図８では、表記の都合上、６３個のミクロ組織の画像０ｂ～６２ｂのうち、１５個のミクロ組織の画像０ｂ～１４ｂのみを示す。その他のミクロ組織の画像１５ｂ～６３ｂの内容の表記を省略する。

　図８において、黒い領域は硬質相を示す。白い領域は軟質相を示す。相変態後のミクロ組織は、２値化画像であるものとする。例えば、硬質相の領域に対応するボクセル（またはピクセル）には、当該ボクセル（またはピクセル）が軟質相および硬質相の何れであるかを示す２値化ラベルが与えられる。

　図７および図８に示すミクロ組織の画像０ｂ～６２ｂを生成する際には、格子点ｉの方位Ｓ_ｉを示す値を変更する場合に、当該値を変更する領域において、前述したように、オーステナイト相への相変態が起こるものとし、相変態したオーステナイトは急速冷却され硬質相（マルテンサイト）になるものとする。即ち、当該値を変更する領域において、硬質相が新相（新しい結晶粒）として生成される。本実施形態では、ミクロ組織の画像０ｂ～６２ｂを用いて前述したようにしてＳ－Ｓ曲線が導出される。ミクロ組織の画像０ｂ～６２ｂに含まれる硬質相の割合が異なると、それぞれのＳ－Ｓ曲線を公平に評価することができない。そこで、ミクロ組織の画像０ｂ～６２ｂに含まれる硬質相（マルテンサイト）の割合が同じになるようにする。例えば、ミクロ組織の画像０ｂ～６２ｂが３次元画像である場合には、ミクロ組織の画像０ｂ～６２ｂに含まれる硬質相の体積割合を同じにする。ミクロ組織の画像０ｂ～６２ｂが２次元画像である場合には、ミクロ組織の画像０ｂ～６２ｂに含まれる硬質相の面積割合を同じにする。硬質相の体積割合および面積割合として、例えば３０％を採用することができる。

　Pottsモデルを用いたMonte Carlo法によるシミュレーション自体は、例えば、非特許文献４に記載のような公知の技術を用いることにより実現することができる。非特許文献４の内容を全てここに援用する。

［学習モデル］
　図９は、所望の機械特性を有するＤＰ鋼を探索する方法の一例を説明する図である。
　図９において、ミクロ組織の初期画像９０１は、例えば、図３および図４に示したミクロ組織の画像０ａに対応する。ミクロ組織の初期画像９０１は、時刻ｔ＝０における状態ｓ_０に対応する。ミクロ組織の初期画像９０１に対してエージェントがとる行動ａ_０を決定する方策π（ｓ_０）が与えられ、当該方策に従う行動ａ_０を起こす。行動ａ_０は、「粗大化」および「微細化」の何れかである。そうすると、遷移関数ｆ（ｓ_１｜ｓ_０，ａ_０）により、状態ｓ_０は、次の時刻ｔ＝１における状態ｓ_１に遷移する。図３および図４に示す例では、遷移先のミクロ組織の画像９０２は、ミクロ組織の画像１ａまたは２ａである。遷移は、マルコフ性を満たすように行われる。従って、１つ先の時刻ｔ＋１における状態Ｓ_ｔ＋１の条件付き確率分布は、現在の時刻ｔにおける状態Ｓ_ｔにのみ依存する。このことは、図３および図４において、ミクロ組織の画像１ａ～６２ａが、当該画像に向かって伸びるＣの矢印線またはＭの矢印線の始点に位置する画像のみに基づいて生成されることに対応する。

　ミクロ組織の初期画像９０１からミクロ組織の画像９０２にミクロ組織の画像が遷移すると、ミクロ組織の画像９０２から、相変態後のミクロ組織の画像９０３が生成される。ミクロ組織の画像９０２がミクロ組織の画像１ａである場合、相変態後のミクロ組織の画像１ｂが生成される。相変態後のミクロ組織の画像９０３からＳ－Ｓ曲線２０２が導出される。

　目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内であるか否かによって、報酬関数ｒ（即時報酬）の値は異なる。本実施形態では、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内でない場合、報酬関数ｒ（即時報酬）の値は０とする。目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内になる場合、報酬関数ｒ（即時報酬）の値は１とする。目標Ｓ－Ｓ曲線２０１をσ^＊とし、Ｓ－Ｓ曲線２０２をσ_ｓとする。目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との距離を数値化した指標をｄ（σ^＊，σ_ｓ）とする。当該指標として、例えば、ユークリッドノルムを用いる。目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との距離に対する閾値をεとする。そうすると、報酬関数ｒ（ｓ_ｔ，ａ_ｔ，ｓ_ｔ＋１）は、以下の（５）式で表される。

　図９に示す例では、目標Ｓ－Ｓ曲線２０１に対する所定の範囲を破線で示す。従って、目標Ｓ－Ｓ曲線２０１と、相変態後のミクロ組織の画像１ｂから導出されるＳ－Ｓ曲線２０２との差は所定の範囲内でない。よって、報酬関数ｒ（ｓ_０，ａ_０，ｓ_１）は０になる。
　その後、ミクロ組織の画像９０２を遷移元のミクロ組織の画像として、報酬関数ｒ（ｓ_２，ａ_１，ｓ_２）を導出する。そして、報酬関数ｒの積算値（＝ｒ（ｓ_０，ａ_０，ｓ_１）＋ｒ（ｓ_２，ａ_１，ｓ_２））を累積報酬として導出する。

　以上のようにして、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内になるまで、マルコフ性を満たすように、遷移元のミクロ組織の画像を順次異ならせる。図９では、状態Ｓ_Ｔにおいて、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内になることを示す。本実施形態では、このときに即時報酬（報酬関数ｒ（ｓ_Ｔ－１，ａ_Ｔ－１，ｓ_Ｔ））は（５）式に従い、１になる。

　このように、累積報酬が最大になるミクロ組織の画像を探索する。本実施形態では、即時報酬が１になるミクロ組織の画像９０４を探索する。従って、累積報酬が最大になるミクロ組織の画像９０４を探索することは、報酬関数ｒ（ｓ_ｔ－１，ａ_ｔ－１，ｓ_ｔ）が１になるミクロ組織の画像を探索することと同じである。尚、図９では、即時報酬が１になるミクロ組織の画像９０４から、相変態後のミクロ組織の画像９０５が生成される。
　ミクロ組織の初期画像９０１と、即時報酬が１になるミクロ組織の画像９０４と、ミクロ組織の初期画像９０１から即時報酬が１になるミクロ組織の画像９０４に至るまでの行動ａ_ｔを、当該行動をとった順に並べた情報と、を含む情報を生成する。以下の説明では、この情報を、必要に応じて、製造工程情報と称する。

　ミクロ組織の画像に対して「粗大化」および「微細化」を行うことは、熱処理工程における熱処理条件を設定することに対応する。従って、製造工程情報は、所望のＳ－Ｓ曲線を有するＤＰ鋼を製造するための温度制御の条件の指針となる情報になる。例えば、ミクロ組織の初期画像９０１が図３に示すミクロ組織の画像０ａであるとする。即時報酬が１になるミクロ組織の画像が図３に示すミクロ組織の画像４６ａであるとする。ミクロ組織の画像０ａからミクロ組織の画像４６ａに至るまでに、遷移元のミクロ組織の画像が０ａ→１ａ→４ａ→１０ａ→２２ａの順で遷移したとする。この場合、「粗大化」→「微細化」→「微細化」→「微細化」→「微細化」となるような熱処理条件とすればよいことが分かる。図１０に、ミクロ組織の画像０ａからミクロ組織の画像４６ａに至る過程を示す。このようにして方策πの１つが探索される。

　本実施形態では、最適な方策^＊を導出するために、学習モデルを用いる。当該学習モデルは、ミクロ組織の初期状態が与えられた場合に、即時報酬が１になるミクロ組織の状態を探索するためのものである。学習モデルは、強化学習を行うことにより作成される。本実施形態では、強化学習の一例としてＱ学習を用いる場合を例に挙げる。

　最適な方策^＊を導出するための手順について説明する。（１）式を基に、行動価値関数Ｑ^π（ｓ，ａ）を以下の（６）式のように定義する。尚、ここでは、状態ｓのときに方策π（ｓ）をとった場合の即時報酬をｒ（ｓ，π（ｓ））と表記する。また、状態ｓのときに方策π（ｓ）をとる場合の遷移関数をｆ（ｓ，π（ｓ）と表記する。

　行動価値関数Ｑ^π（ｓ，ａ）を最大にする最適行動価値関数Ｑ^＊（ｓ，ａ）を以下の（７）式のように定義する。ここで、方策の集合Ｍは、以下の（８）式のように定義される。

　Ｓは、状態ｓの有限集合である。図３に示す例では、状態ｓの数は６３個である（ミクロ組織の画像０ａ～６２ａ）。即ち、状態ｓの有限集合Ｓ（＝｛ｓ^１，ｓ^２，・・・，ｓ^Ｎ｝）のＮは６３である。Ａは、行動ａの有限集合である。図３に示す例では、行動ａの数は３個である（「粗大化」、「微細化」、「戻る」）。即ち、行動ａの有限集合Ａ（＝｛ａ^１，ａ^２，・・・，ａ^Ｋ｝）のＫは３である。（７）式に（６）式を代入すると、以下の（９）式が得られる。

　（９）式は、Bellman方程式と呼ばれる。ここで、ｓ’＝ｆ（ｓ，ａ）である。最適行動価値関数Ｑ^＊に作用する関数Ｆ：Ｆ→Ｆを以下の（１０）式のように定義すると、（８）式のBellman方程式は、以下の（１１）式のように表される。

　（１１）式は、不動点Ｑ^＊を決定する問題である。（１１）式の求解アルゴリズムとして、例えば、Mann iterationを用いることができる。この場合、以下の（１２）式により、不動点に収束する。ｋは、最適な方策π^＊が得られるまでの方策πの試行回数であり、正の整数である。

　（１２）式では、解の探索空間が∀（ｓ，ａ）である。Ｑ学習では、以下の（１３）式の関係を満たす範囲に解の探索空間が限定される。

　（１３）式の条件を付与して（１２）式の解を導出することによりＱテーブルが作成される。Ｑテーブルは、状態ｓの有限集合Ｓの要素（状態ｓ）と、行動ａの有限集合Ａの要素（行動ａ）との組（ｓ，ａ）∈Ｓ×ＡからなるＳ×Ａのサイズの行列である。Ｑテーブルの各要素には、Ｑ値が設定される。

　図１１Ａは、初期のＱテーブルの一例を示す図である。本実施形態では、行動ａは、「粗大化ａ_１」、「微細化ａ_２」、および「戻るａ_３」である。状態ｓは、ミクロ組織の画像０ａ～６２ａの状態である。従って、Ｑテーブルは、６３行３列の行列である。図１１Ａにおいて、状態として付している番号は、図３に示すミクロ組織の画像０ａ～６２ａに対応する。例えば、図１１Ａにおいて、状態０は、図３に示すミクロ組織の画像０ａの状態に対応する。また、図３に示す例では、ミクロ組織の画像０ａに対して「戻るａ_３」を選択することができない。よって、Ｑテーブルの状態０（１行目）の「戻る」のＱ値は０で固定される。ミクロ組織の画像３１ａ～６２ａに対して「粗大化ａ_１」および「微細化ａ_２」を選択することができない。よって、Ｑテーブルの状態３１～６２（３２行目～６１行目）の「粗大化ａ_１」および「微細化ａ_２」のＱ値は０で固定される。

　試行回数ｋが０（ｋ＝０）で、Ｑテーブルが初期化される。本実施形態では、０以上１以下の範囲の一様乱数により、初期のＱテーブルの各要素のＱ値（Ｑ（ｓ，ａ））が設定される。

　試行回数ｋ（ｋ＞０）において、試行回数ｋ－１で導出されたＱテーブルを用いる。試行回数ｋが１の場合、初期のＱテーブルを用いる。試行回数ｋ－１で導出されたＱテーブルにおいて、Ｑ値（Ｑ（ｓ’，ａ_１）、Ｑ（ｓ’，ａ_２）、Ｑ（ｓ’，ａ_３））を参照する。ｓ’は、遷移後の状態である。本実施形態では、図３に示すように状態ｓが遷移するため、遷移後の状態ｓ’は定まる。ａ_１、ａ_２、ａ_３は、行動ａの有限集合Ａの要素である。ここでは、ａ_１は「粗大化」を示す。ａ_２は「微細化」を示す。ａ_３は「戻る」を示す。Ｑ値（Ｑ（ｓ’，ａ_１）、Ｑ（ｓ’，ａ_２）、Ｑ（ｓ’，ａ_３））は、Ｑ値（Ｑ（ｓ，ａ_１）、Ｑ（ｓ，ａ_２）、Ｑ（ｓ，ａ_３））のうち最大の値に基づいて定められる。

　例えば、ミクロ組織の初期画像９０１がミクロ組織の画像０ａであるとする。状態０（１行目）のＱ値（Ｑ（０，ａ_１）、Ｑ（０，ａ_２）、Ｑ（０，ａ_３））の中で最大の値は、Ｑ（０，ａ_２）である。この場合、図３より、遷移後の状態ｓ’は、状態１（ミクロ組織の画像２ａ）である。従って、図１１Ａの状態２（３行目）のＱ値（Ｑ（２，ａ_１）、Ｑ（２，ａ_２）、Ｑ（２，ａ_３））を参照する。

　次に、（１０）式に従い、Ｑ値（Ｑ（ｓ’，ａ_１）、Ｑ（ｓ’，ａ_２）、Ｑ（ｓ’，ａ_３））の中で最大のＱ値をＦＱ_ｋ（ｓ，ａ）として（１２）式に従い、Ｑ値を更新する。例えば、状態０（１行目）のＱ値（Ｑ（０，ａ_１）、Ｑ（０，ａ_２）、Ｑ（０，ａ_３））の中で最大の値は、Ｑ（０，ａ_２）である。この場合、状態０の次の状態は、状態０（ミクロ組織の画像０ａ）に対して「微細化」を行うことにより遷移する状態２（ミクロ組織の画像２ａ）になる。この場合、Ｑ値（Ｑ（０，ａ_２））が更新の対象になる。

　また、Ｑ値（Ｑ（２，ａ_１）、Ｑ（２，ａ_２）、Ｑ（２，ａ_３））の中で最大の値は、Ｑ（２，ａ_３）である。この場合、Ｑ値（Ｑ（２，ａ_３））をＦＱ_ｋ（ｓ，ａ）として（１２）式の計算を行うことにより、試行回数ｋ＋１におけるＱ値（Ｑ_ｋ＋１（０，ａ_２））が導出される。このようにして導出されたＱ値にＱ値（Ｑ（０，ａ_２））の値は更新される。

　以上のようにしてＱテーブルのＱ値を更新することを、即時報酬が１になるミクロ組織の画像が得られるまで繰り返し行う。即時報酬が１になるミクロ組織の画像が得られた場合、当該ミクロ組織の画像の状態に対応するＱテーブルのＱ値（Ｑ（ｓ，ａ））は、以下のようにして更新される。（１０）式の右辺第１項（即時報酬ｒ（ｓ，ａ））は１とする。（１０）式の右辺第２項は０とする。このようにして得られたＦＱ_ｋ（ｓ，ａ）を用いて（１２）式の計算を行うことにより、Ｑ値（Ｑ_ｋ＋１（ｓ，ａ））が導出される。このようにして導出されたＱ値にＱ値（Ｑ（ｓ，ａ））の値は更新される。図１０に示す例では、状態４６（４７行目）のＱ値（Ｑ（４６，ａ_１）の値が更新される。

　以上のようにして、即時報酬が１になるミクロ組織の画像が得られるまでＱテーブルのＱ値を更新することにより１回の学習（試行回数ｋの試行）が終了する。１回の学習が終了した時点でのＱテーブルを用いて、前述したのと同じようにしてＱテーブルの更新が行われ、次の学習（試行回数ｋ＋１の試行）が終了する。尚、各学習において、ミクロ組織の初期画像９０１は固定（図３に示す例ではミクロ組織の画像０ａ）される。所定の収束条件を満たすまで、このような学習を繰り返し行う。

　図１２は、学習が収束する様子の一例を示す図である。図１２において、行動の回数は、即時報酬が１になるミクロ組織の画像が得られるまでの行動（状態の遷移）の回数である。例えば、１回目の学習では、１８０回程度の行動を行うことにより、即時報酬が１になるミクロ組織の画像が得られたことを示す。学習の回数が１２０回程度になると、行動の回数は５回に収束する。所定の収束条件として、例えば、所定の回数の学習を行っても、学習の結果（製造工程情報）が変化しないことを用いることができる。
　以上のようにしてＱテーブルが作成される。図１１Ｂは、学習後のＱテーブルの一例を示す図である。

［解析装置１３００］
　以上で、因子に関する説明を終える。本実施形態では、各因子に関する技術を用いて解析装置１３００を構成する。以下、本実施形態の解析装置１３００の一例を説明する。図１３は、解析装置１３００の機能的な構成の一例を示す図である。

＜情報取得部１３１０＞
　情報取得部１３１０は、解析対象であるＤＰ鋼のミクロ組織の初期画像９０１と、目標Ｓ－Ｓ曲線２０１の情報とを取得する。作成部１３２０に対して出力される、ミクロ組織の初期画像９０１および目標Ｓ－Ｓ曲線２０１の情報と、推定部１３４０に対して出力される、ミクロ組織の初期画像９０１および目標Ｓ－Ｓ曲線２０１の情報は異なる。作成部１３２０に対して出力される、ミクロ組織の初期画像９０１および目標Ｓ－Ｓ曲線２０１の情報は、Ｑテーブルを作成するためのものである。推定部１３４０に対して出力される、ミクロ組織の初期画像９０１および目標Ｓ－Ｓ曲線２０１の情報は、ミクロ組織の推定対象のＤＰ鋼に対するものである。ミクロ組織の初期画像９０１および目標Ｓ－Ｓ曲線２０１の情報の取得は、例えば、外部装置との通信により行われる。

＜作成部１３２０、記憶部１３３０＞
　作成部１３２０は、Ｑテーブルを作成する。作成部１３２０は、状態導出部１３２１、報酬導出部１３２２、学習部１３２３、目標判定部１３２４、決定部１３２５、および収束判定部１３２６を有する。記憶部１３３０には、Ｑテーブルが記憶される。Ｑテーブルは、学習モデルの一例である。ここでは、初期のＱテーブルが記憶部１３３０に予め記憶されているものとして説明を行う。

＜＜状態導出部１３２１＞＞
　状態導出部１３２１は、第１の導出部である。状態導出部１３２１は、処理対象のミクロ組織の画像を設定する。１回目の設定では、状態導出部１３２１は、情報取得部１３１０から出力されたミクロ組織の初期画像９０１を、処理対象のミクロ組織の画像として設定する。２回目以降の設定では、状態導出部１３２１は、直近の処理対象のミクロ組織の画像に対する遷移後のミクロ組織の画像を、処理対象のミクロ組織の画像として設定する。

　状態導出部１３２１は、マルコフ決定過程におけるエージェントに対応する。状態導出部１３２１は、学習中のＱテーブルを参照して、処理対象のミクロ組織の画像に対する状態の遷移の内容（行動）を導出する。これにより、処理対象のミクロ組織の画像の次の状態が定まる。ミクロ組織の画像は、逆問題における原因に対応する。状態の遷移の内容（行動）は、「粗大化」、「微細化」、および「戻る」の何れかである。本実施形態では、ミクロ組織の画像の状態が図３に示すようにして遷移することが予め定められているものとする。従って、ミクロ組織の画像０ａの状態では、「戻る」が導出されることはない。ミクロ組織の画像３１ａ～６２ａの状態では、「粗大化」および「微細化」が導出されることはない。

　また、本実施形態では、作成部１３２０においては、ミクロ組織の画像０ａがミクロ組織の初期画像９０１として用いられるものとする。また、本実施形態では、ミクロ組織の画像０ａ以外のミクロ組織の画像１ａ～６２ａは、状態導出部１３２１で都度導出されるものとする。ただし、ミクロ組織の画像１ａ～６２ａは、予め導出されて記憶部１３３０に記憶されていてもよい。この場合、状態導出部１３２１は、ミクロ組織の画像１ａ～６２ａを検索することにより、ミクロ組織の画像１ａ～６２ａを導出する。

　例えば、図１１Ａにおいて、状態０（１行目）のＱ値（Ｑ（０，ａ_１）、Ｑ（０，ａ_２）、Ｑ（０，ａ_３））の中で最大の値は、Ｑ（０，ａ_１）である。この場合、状態０（ミクロ組織の画像０ａ）に対する状態の遷移の内容（行動）は、「粗大化」になる。

　状態導出部１３２１は、以上のようにして導出した状態の遷移の内容（行動）に従って処理対象のミクロ組織の画像の状態を遷移させる。これにより、遷移後のミクロ組織の画像が導出される。状態導出部１３２１は、例えば、状態０（ミクロ組織の画像０ａ）に対して「粗大化」を行うことにより遷移する状態１（ミクロ組織の画像１ａ）を導出する。本実施形態では、状態導出部１３２１は、Pottsモデルを用いたMonte Carlo法によるシミュレーションを行うことにより、ミクロ組織の画像を導出する。

　状態導出部１３２１は、以上のようにして導出したミクロ組織の画像から、相変態後のミクロ組織の画像を導出する。状態導出部１３２１は、例えば、ミクロ組織の画像１ａから、相変態後のミクロ組織の画像１ｂを導出する。本実施形態では、相変態後のミクロ組織の画像０ｂ～６２ｂは、状態導出部１３２１で都度導出されるものとする。ただし、相変態後のミクロ組織の画像０ｂ～６２ｂは、予め導出されて記憶部１３３０に記憶されていてもよい。状態導出部１３２１は、尚、状態導出部１３２１は、相変態後のミクロ組織の画像０ｂ～６２ｂを検索することにより、相変態後のミクロ組織の画像０ｂ～６２ｂを導出する。例えば、ミクロ組織の初期画像９０１の相変態後のミクロ組織の画像を、ミクロ組織の初期画像９０１が入力された時点で導出する。本実施形態では、状態導出部１３２１は、Pottsモデルを用いたMonte Carlo法によるシミュレーションを行うことにより、相変態後のミクロ組織の画像を導出する。

＜＜報酬導出部１３２２＞＞
　報酬導出部１３２２は、第２の導出部である。報酬導出部１３２２は、相変態後のミクロ組織の画像からＳ－Ｓ曲線を導出する。本実施形態では、報酬導出部１３２２は、均質化法を用いてＳ－Ｓ曲線２０２を導出する。Ｓ－Ｓ曲線は、逆問題における結果に対応する。本実施形態では、Ｓ－Ｓ曲線は、報酬導出部１３２２で都度導出されるものとする。ただし、Ｓ－Ｓ曲線は、予め導出されて記憶部１３３０に記憶されていてもよい。この場合、報酬導出部１３２２は、Ｓ－Ｓ曲線を検索することにより、Ｓ－Ｓ曲線を導出する。

＜＜学習部１３２３＞＞
　学習部１３２３は、Ｑテーブルの要素のうち、処理対象のミクロ組織の画像に対応する状態（行）と、状態導出部１３２１により導出された状態の遷移の内容に対応する行動（列）とにより定まる要素のＱ値を更新する。このとき、学習部１３２３は、Ｑテーブルの要素のうち、状態導出部１３２１により導出されたミクロ組織の画像に対応する状態（行）により定まる要素のＱ値の最大値をＦＱ_ｋ（ｓ，ａ）として（１２）式の計算を行うことにより、更新後のＱ値を導出する。

　例えば、状態導出部１３２１によりミクロ組織の画像０ａからミクロ組織の画像１ａが導出されたとする。また、Ｑ値（Ｑ（１，ａ_１）、Ｑ（１，ａ_２）、Ｑ（１，ａ_３））の中で最大の値は、Ｑ（１，ａ_２）である。この場合、Ｑ値（Ｑ（１，ａ_２））をＦＱ_ｋ（ｓ，ａ）として（１２）式の計算を行うことにより、更新後のＱ値（Ｑ_ｋ＋１（０，ａ_１））が導出される。

＜＜目標判定部１３２４＞＞
　目標判定部１３２４は、目標Ｓ－Ｓ曲線２０１と、報酬導出部１３２２により導出されたＳ－Ｓ曲線２０２との差が所定の範囲内であるか否かを判定する。本実施形態では、目標判定部１３２４は、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との距離を数値化した指標ｄ（σ^＊，σ_ｓ）が閾値εを下回るか否かを判定する。

　目標判定部１３２４による判定の結果、目標Ｓ－Ｓ曲線２０１と、報酬導出部１３２２により導出されたＳ－Ｓ曲線２０２との差が所定の範囲内でないとする。この場合、状態導出部１３２１は、状態導出部１３２１は、ミクロ組織の画像の遷移の回数ｔを更新して、処理対象のミクロ組織の画像を再設定する。前述したように、状態導出部１３２１は、処理対象のミクロ組織の画像の状態を遷移させたミクロ組織の画像を、処理対象のミクロ組織の画像として再設定する。例えば、ミクロ組織の画像０ａからミクロ組織の画像１ａが導出されたとする。この場合、状態導出部１３２１は、ミクロ組織の画像１ａを処理対象のミクロ組織の画像として再設定する。

　状態導出部１３２１、報酬導出部１３２２、学習部１３２３、および目標判定部１３２４は、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内になるまで、再設定された処理対象のミクロ組織の画像に対して、以上の処理を繰り返し行う。

＜＜決定部１３２５＞＞
　決定部１３２５は、目標判定部１３２４により、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内であると判定されると起動する。決定部１３２５は、目標判定部１３２４により、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内であると判定された時点における処理対象のミクロ組織の画像から特定されるミクロ組織の状態を、目標Ｓ－Ｓ曲線２０１を実現するミクロ組織の状態として決定する。以下の説明では、目標判定部１３２４により、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内であると判定された時点における処理対象のミクロ組織の画像を、必要に応じて、ミクロ組織の最終画像と称する。図１０に示す例では、ミクロ組織の画像４６ａがミクロ組織の最終画像である。

　決定部１３２５は、目標Ｓ－Ｓ曲線２０１を実現する製造工程情報を生成する。前述したように、製造工程情報は、ミクロ組織の初期画像９０１と、ミクロ組織の最終画像と、ミクロ組織の初期画像９０１から、ミクロ組織の最終画像に至るまでの状態の遷移の内容（行動）を、当該遷移を行った順に並べた情報とを含む。図１０に示す例では、ミクロ組織の画像０ａからミクロ組織の画像４６ａに至るまで、「粗大化」、「微細化」、「微細化」、「微細化」をこの順で行うことを示す情報が製造工程情報になる。このように決定部１３２５は、ミクロ組織の初期画像９０１から、ミクロ組織の最終画像に至るまでの状態の遷移の内容（行動）を決定する。

＜＜収束判定部１３２６＞＞
　収束判定部１３２６は、決定部１３２５により、ミクロ組織の最終画像が決定されると起動する。決定部１３２５によりミクロ組織の最終画像が決定されるタイミングで、Ｑテーブルの１回の学習が終了する。収束判定部１３２６は、所定の収束条件を満たすか否かを判定する。前述したように、所定の収束条件として、所定の回数の学習を行っても、学習の結果（製造工程情報）が変化しないことを用いることができる。所定の回数を大きくすれば、Ｑテーブルの信頼性が高くなる。ただし、所定の回数を大きくし過ぎると、計算時間が長くなる。所定の回数は、例えば、このような観点から定めることができる。

　収束判定部１３２６により、所定の収束条件を満たさないと判定されたとする。この場合、状態導出部１３２１は、処理対象のミクロ組織の画像を、ミクロ組織の初期画像９０１に戻す。状態導出部１３２１、報酬導出部１３２２、学習部１３２３、目標判定部１３２４、決定部１３２５、および収束判定部１３２６は、所定の収束条件を満たすまで、以上の処理を繰り返し行う。記憶部１３３０に記憶されているＱテーブルの更新（学習）は、収束判定部１３２６により所定の収束条件を満たすと判定されたタイミングで終了する。記憶部１３３０は、学習が終了したＱテーブルを記憶する。

＜推定部１３４０＞
　推定部１３４０は、学習後のＱテーブルを用いて、ミクロ組織の初期画像９０１からミクロ組織の最終画像に至るまでの遷移の内容（行動）を推定する。推定部１３４０は、状態導出部１３４１、報酬導出部１３４２、目標判定部１３４３、および決定部１３４４を有する。

＜＜状態導出部１３４１＞＞
　状態導出部１３４１は、第１の導出部である。状態導出部１３４１は、状態導出部１３２１と同じ機能を有する。従って、状態導出部１３４１の機能の詳細な説明を省略する。ただし、推定部１３４０においては、ミクロ組織の初期画像９０１および目標Ｓ－Ｓ曲線２０１の情報として、ミクロ組織の推定対象のＤＰ鋼に対するものが用いられる。ミクロ組織の初期画像９０１は、ミクロ組織の画像０ａに限定されない。ミクロ組織の初期画像９０１は、ミクロ組織の画像０ａ～６２ａの何れであってもよい。また、状態導出部１３４１は、学習後のＱテーブルを参照して、処理対象のミクロ組織の画像に対する状態の遷移の内容（行動）を導出する。

　本実施形態では、状態導出部１３４１も、状態導出部１３２１と同様に、ミクロ組織の画像および相変態後のミクロ組織の画像を都度導出するものとする。ただし、ミクロ組織の画像および相変態後のミクロ組織の画像は、予め導出されて記憶部１３３０に記憶されていてもよい。状態導出部１３４１は、マルコフ決定過程におけるエージェントに対応する。

＜＜報酬導出部１３４２＞＞
　報酬導出部１３４２は、第２の導出部である。報酬導出部１３４２は、報酬導出部１３２２と同じ機能を有する。報酬導出部１３４２は、相変態後のミクロ組織の画像から、均質化法を用いて、Ｓ－Ｓ曲線を導出する。本実施形態では、報酬導出部１３４２も、報酬導出部１３２２と同様に、Ｓ－Ｓ曲線を都度導出するものとする。ただし、Ｓ－Ｓ曲線は、予め導出されて記憶部１３３０に記憶されていてもよい。

＜＜目標判定部１３４３＞＞
　目標判定部１３４３は、目標判定部１３２４と同じ機能を有する。目標判定部１３４３は、目標Ｓ－Ｓ曲線２０１と、報酬導出部１３４２により導出されたＳ－Ｓ曲線２０２との差が所定の範囲内であるか否かを判定する。

　目標判定部１３４３よる判定の結果、目標Ｓ－Ｓ曲線２０１と、報酬導出部１３４２により導出されたＳ－Ｓ曲線２０２との差が所定の範囲内でないとする。この場合、状態導出部１３４１は、処理対象のミクロ組織の画像を再設定する。状態導出部１３４１は、状態導出部１３２１と同様に、直近の処理対象のミクロ組織の画像の状態を遷移させたミクロ組織の画像を、処理対象のミクロ組織の画像として再設定する。

　状態導出部１３４１、報酬導出部１３４２、および目標判定部１３４３は、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内になるまで、再設定された処理対象のミクロ組織の画像に対して、以上の処理を繰り返し行う。

＜＜決定部１３４４＞＞
　決定部１３４４は、目標判定部１３４３により、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内であると判定されると起動する。決定部１３４４は、決定部１３２５の機能と同じ機能を有する。ミクロ組織の最終画像は、目標判定部１３４３により、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内であると判定された時点における処理対象のミクロ組織の画像である。

　決定部１３４４は、目標Ｓ－Ｓ曲線２０１を実現する製造工程情報を導出する。前述したように、製造工程情報は、ミクロ組織の初期画像９０１と、ミクロ組織の最終画像と、ミクロ組織の初期画像９０１から、ミクロ組織の最終画像に至るまでの状態の遷移の内容（行動）を、当該遷移を行った順に並べた情報とを含む。このように決定部１３２５は、ミクロ組織の初期画像９０１から、ミクロ組織の最終画像に至るまでの状態の遷移の内容（行動）を決定する。

＜出力部１３５０＞
　出力部１３５０は、決定部１３４４により製造工程情報が導出されると、当該製造工程情報を出力する。情報の出力の形態としては、例えば、コンピュータディスプレイへの表示、解析装置１３００の内部または外部の記憶媒体への記憶、および外部装置への送信のうち、少なくとも１つを採用することができる。出力部１３５０による出力される製造工程情報は、目標Ｓ－Ｓ曲線２０１を実現するミクロ組織を製造するための指針となる情報になる。また、出力部１３５０は、製造工程情報に基づいて、製造設備を制御してもよい。

　ＤＰ鋼の開発設計者または解析装置１３００は、出力部１３５０により出力された製造工程情報に基づいて、ＤＰ鋼を製造する際の温度制御に関する製造工程を決定することができる。出力部１３５０により出力された製造工程情報から決定される製造工程を実現することが容易ではないでないことや、不可能なことがある。

　このような場合、推定部１３４０に入力する目標Ｓ－Ｓ曲線２０１を変更することと、目標判定部１３４３で用いられる所定の範囲を変更することとの少なくとも何れか一方を行う。例えば、推定部１３４０に入力する目標Ｓ－Ｓ曲線２０１における応力の値を小さくする。これに加えてまたは代えて目標判定部１３４３で用いられる所定の範囲を大きくする。このようにして目標Ｓ－Ｓ曲線２０１および所定の範囲の少なくとも一方が変更された状態で、決定部１３４４により製造工程情報を導出し直す。このような処理を、出力部１３５０により出力された製造工程情報から決定される製造工程を実現することができるようになるまで繰り返す。
　ＤＰ鋼は、製造設備において、製造工程情報に基づく温度制御を行うことにより製造される。これにより、目標Ｓ－Ｓ曲線２０１を実現するＤＰ鋼が製造される。

［フローチャート］
　次に、図１４のフローチャートを参照しながら、学習モデルを作成する際の解析装置１３００における処理（解析方法）の一例を説明する。

　まず、ステップＳ１４０１において、情報取得部１３１０は、ミクロ組織の初期画像９０１と、目標Ｓ－Ｓ曲線２０１の情報とを取得する。
　次に、ステップＳ１４０２において、状態導出部１３２１は、処理対象のミクロ組織の画像を設定する。最初のステップＳ１４０２では、状態導出部１３２１は、ミクロ組織の初期画像９０１を、処理対象のミクロ組織の画像として設定する。

　次に、ステップＳ１４０３において、状態導出部１３２１は、学習中のＱテーブルを参照して、処理対象のミクロ組織の画像に対する状態の遷移の内容（行動）を導出する。Ｑテーブルは、記憶部１３３０に記憶されている。初期のＱテーブルは、一様乱数により予め設定されている。
　次に、ステップＳ１４０４において、状態導出部１３２１は、ステップＳ１４０３で導出された遷移の内容（行動）に従って処理対象のミクロ組織の画像の状態を遷移させる。これにより、遷移後のミクロ組織（次の状態のミクロ組織）の画像が導出される。

　次に、ステップＳ１４０５において、状態導出部１３２１は、ステップＳ１４０４で生成されたミクロ組織の画像から、相変態後のミクロ組織の画像を導出する。
　次に、ステップＳ１４０６において、報酬導出部１３２２は、ステップＳ１４０５で導出された相変態後のミクロ組織の画像からＳ－Ｓ曲線を導出する。

　次に、ステップ１４０７において、学習部１３２３は、Ｑテーブルの要素のうち、処理対象のミクロ組織の画像に対応する状態（行）と、ステップＳ１４０３で導出された状態の遷移の内容に対応する行動（列）とにより定まる要素のＱ値を、（１２）式に基づいて更新する。
　次に、ステップＳ１４０８において、目標判定部１３２４は、目標Ｓ－Ｓ曲線２０１と、ステップＳ１４０６で導出されたＳ－Ｓ曲線２０２との差が所定の範囲内であるか否かを判定する。

　この判定の結果、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内でない場合、処理はステップＳ１４０９に進む。処理がステップＳ１４０９に進むと、状態導出部１３２１は、ミクロ組織の画像の遷移の回数ｔに「１」を加算する。そして、処理はステップＳ１４０２に戻る。ステップＳ１４０９からステップＳ１４０２に処理が戻った場合、ステップＳ１４０２において、状態導出部１３２１は、直近のステップＳ１４０４で導出されたミクロ組織の画像を、処理対象のミクロ組織の画像として再設定する。目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内になるまで、ステップＳ１４０３～Ｓ１４０９の処理が繰り返し実行される。

　ステップＳ１４０８において、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内であると判定されると、処理はステップＳ１４１０に進む。処理がステップＳ１４１０に進むと、決定部１３２５は、ステップＳ１４０８において、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内であると判定された時点における処理対象のミクロ組織の画像から特定されるミクロ組織の状態を、目標Ｓ－Ｓ曲線２０１を実現するミクロ組織の状態として決定する。当該ミクロ組織の画像が、ミクロ組織の最終画像である。ステップＳ１４１０の処理が実行されたタイミングでＱテーブルの１回の学習が終了する。

　次に、ステップＳ１４１１において、収束判定部１３２６は、所定の収束条件を満たすか否かを判定する。この判定の結果、所定の収束条件を満たさない場合、処理はステップＳ１４１２に進む。処理がステップＳ１４１２に進むと、ミクロ組織の画像の遷移の回数ｔを初期化する（ｔ＝０とする）。そして、処理はステップＳ１４０２に戻る。所定の収束条件を満たすまで、ステップＳ１４０２～Ｓ１４１２の処理が繰り返し実行される。
　ステップＳ１４１１において、所定の収束条件を満たすと判定されると、Ｑテーブルの学習が終了する。

　次に、図１５のフローチャートを参照しながら、ミクロ組織の初期画像９０１からミクロ組織の最終画像に至るまでの遷移の内容（行動）を推定する際の解析装置１３００における処理（解析方法）の一例を説明する。図１５のフローチャートは、図１４のフローチャートが実行された後に（即ち、Ｑテーブルが学習された後に）、実行される。

　まず、ステップＳ１５０１において、情報取得部１３１０は、ミクロ組織の初期画像９０１と、目標Ｓ－Ｓ曲線２０１の情報とを取得する。
　次に、ステップＳ１５０２において、状態導出部１３４１は、処理対象のミクロ組織の画像を設定する。最初のステップＳ１５０２では、状態導出部１３４１は、ミクロ組織の初期画像９０１を、処理対象のミクロ組織の画像として設定する。

　次に、ステップＳ１５０３において、状態導出部１３４１は、学習後のＱテーブルを参照して、処理対象のミクロ組織の画像に対する状態の遷移の内容（行動）を導出する。Ｑテーブルは、記憶部１３３０に記憶されている。
　次に、ステップＳ１５０４において、状態導出部１３４１は、ステップＳ１５０３で導出された遷移の内容（行動）に従って処理対象のミクロ組織の画像の状態を遷移させる。これにより、遷移後のミクロ組織（次の状態のミクロ組織）の画像が導出される。

　次に、ステップＳ１５０５において、状態導出部１３４１は、ステップＳ１５０４で生成されたミクロ組織の画像から、相変態後のミクロ組織の画像を導出する。
　次に、ステップＳ１５０６において、報酬導出部１３４２は、ステップＳ１５０５で導出された相変態後のミクロ組織の画像からＳ－Ｓ曲線を導出する。

　次に、ステップ１５０７において、目標判定部１３４３は、目標Ｓ－Ｓ曲線２０１と、ステップＳ１５０６で導出されたＳ－Ｓ曲線２０２との差が所定の範囲内であるか否かを判定する。

　この判定の結果、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内でない場合、処理はステップＳ１５０８に進む。処理がステップＳ１５０９に進むと、状態導出部１３４１は、ミクロ組織の画像の遷移の回数ｔに「１」を加算する。そして、処理はステップＳ１５０２に戻る。ステップＳ１５０８からステップＳ１５０２に処理が戻った場合、ステップＳ１５０２において、状態導出部１３４１は、直近のステップＳ１５０４で導出されたミクロ組織の画像を、処理対象のミクロ組織の画像として再設定する。目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内になるまで、ステップＳ１５０３～Ｓ１５０８の処理が繰り返し実行される。

　ステップＳ１５０７において、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内であると判定されると、処理はステップＳ１５０９に進む。処理がステップＳ１５０９に進むと、決定部１３４４は、ステップＳ１５０７において、目標Ｓ－Ｓ曲線２０１とＳ－Ｓ曲線２０２との差が所定の範囲内であると判定された時点における処理対象のミクロ組織の画像から特定されるミクロ組織の状態を、目標Ｓ－Ｓ曲線２０１を実現するミクロ組織の状態として決定する。当該ミクロ組織の画像が、ミクロ組織の最終画像である。そして、決定部１３４４は、目標Ｓ－Ｓ曲線２０１を実現する製造工程情報を導出する。

　次に、ステップＳ１５１０において、出力部１３５０は、ステップＳ１５０９で導出された製造工程情報を出力する。そして、図１５のフローチャートによる処理が終了する。

［ハードウェアの構成］
　図１６は、解析装置１３００のハードウェアの構成の一例を示す図である。
　図１６において、解析装置１３００は、ＣＰＵ１６０１、主記憶装置１６０２、補助記憶装置１６０３、通信回路１６０４、信号処理回路１６０５、画像処理回路１６０６、Ｉ／Ｆ回路１６０７、ユーザインターフェース１６０８、ディスプレイ１６０９、およびバス１６１０を有する。

　ＣＰＵ１６０１は、演算装置であり、解析装置１３００の全体を統括制御する。ＣＰＵ１６０１は、主記憶装置１６０２をワークエリアとして用いて、補助記憶装置１６０３に記憶されているプログラムを実行する。図１４および図１５に示したフローチャートの処理は、例えば、ＣＰＵ１６０１が、補助記憶装置１６０３に記憶されているプログラムを実行することにより実現される。主記憶装置１６０２は、データを一時的に格納する。補助記憶装置１６０３は、ＣＰＵ１６０１によって実行されるプログラムの他、各種のデータを記憶する。補助記憶装置１６０３は、前述した図１４および図１５に示したフローチャートの処理に必要な情報を記憶する。

　通信回路１６０４は、解析装置１３００の外部との通信を行うための回路である。
　信号処理回路１６０５は、通信回路１６０４で受信された信号や、ＣＰＵ１６０１による制御に従って入力した信号に対し、各種の信号処理を行う。作成部１３２０および推定部１３４０は、例えば、ＣＰＵ１６０１および信号処理回路１６０５を用いることによりその機能を発揮する。

　画像処理回路１６０６は、ＣＰＵ１６０１による制御に従って入力した信号に対し、各種の画像処理を行う。この画像処理が行われた信号は、ディスプレイ１６０９に出力される。
　ユーザインターフェース１６０８は、オペレータが解析装置１３００に対して指示を行う部分である。ユーザインターフェース１６０８は、例えば、ボタン、スイッチ、およびダイヤル等を有する。また、ユーザインターフェース１６０８は、ディスプレイ１６０９を用いたグラフィカルユーザインターフェースを有していても良い。情報取得部１３１０は、例えば、ＣＰＵ１６０１、信号処理回路１６０５、およびユーザインターフェース１６０８と、ＣＰＵ１６０１、通信回路１６０４、および信号処理回路１６０５との一方を用いることによりその機能を発揮する。

　ディスプレイ１６０９は、画像処理回路１６０６から出力された信号に基づく画像を表示する。Ｉ／Ｆ回路１６０７は、Ｉ／Ｆ回路１６０７に接続される装置との間でデータのやり取りを行う。図１６では、Ｉ／Ｆ回路１６０７に接続される装置として、ユーザインターフェース１６０８およびディスプレイ１６０９を示す。しかしながら、Ｉ／Ｆ回路１６０７に接続される装置は、これらに限定されない。例えば、可搬型の記憶媒体がＩ／Ｆ回路１６０７に接続されても良い。また、ユーザインターフェース１６０８の少なくとも一部およびディスプレイ１６０９は、解析装置１３００の外部にあってもよい。
　出力部１３５０は、例えば、通信回路１６０４および信号処理回路１６０５と、画像処理回路１６０６、Ｉ／Ｆ回路１６０７、およびディスプレイ１６０９との少なくとも何れか一方を用いることによりその機能を発揮する。

　尚、ＣＰＵ１６０１、主記憶装置１６０２、補助記憶装置１６０３、信号処理回路１６０５、画像処理回路１６０６、およびＩ／Ｆ回路１６０７は、バス１６１０に接続される。これらの構成要素間の通信は、バス１６１０を介して行われる。また、解析装置１３００のハードウェアは、前述した解析装置１３００の機能を実現することができれば、図１６に示すものに限定されない。

［まとめ］
　以上のように本実施形態では、解析装置１３００は、ミクロ組織の画像の状態の遷移の内容（行動）を導出する。解析装置１３００は、当該遷移の内容に従って遷移後のミクロ組織の画像を導出する。解析装置１３００は、遷移後のミクロ組織の画像を用いて、Ｓ－Ｓ曲線を導出する。解析装置１３００は、Ｓ－Ｓ曲線と目標Ｓ－Ｓ曲線との差が所定の範囲内でない場合、ミクロ組織の画像の状態の遷移の内容（行動）を再導出する。解析装置１３００は、Ｓ－Ｓ曲線と目標Ｓ－Ｓ曲線との差が所定の範囲内になるまで、以上の処理を繰り返す。解析装置１３００は、Ｓ－Ｓ曲線と目標Ｓ－Ｓ曲線との差が所定の範囲内になった時点における遷移後のミクロ組織の画像から特定される状態を、目標Ｓ－Ｓ曲線を実現するミクロ組織の状態として決定する。

　従って、空間階層間の物理現象を繋げることができる。よって、マクロな系の因子（Ｓ－Ｓ曲線）から、ミクロな系の因子（ミクロ組織の状態）を、少数のデータからＤＰ鋼の内部に生じる物理現象に従って導出することが可能になる。よって、物理現象で結ばれる原因と結果が、異なる空間階層に属する場合に、当該結果から当該原因を正確に推定することができる。

　また、本実施形態では、解析装置１３００は、目標Ｓ－Ｓ曲線を実現するミクロ組織の状態を決定することを繰り返し行う処理を含む処理によって強化学習を行う。従って、強化学習により導出される遷移関数を用いる場合における内挿に相当する機能だけでなく、外挿に相当する機能も実現することができる。

　また、本実施形態では、解析装置１３００は、構造材料の一例であるＤＰ鋼のミクロ組織の初期画像から、ミクロ組織の最終画像に至るまでの状態の遷移の内容（行動）を決定する。従って、ミクロ組織をどのように遷移させれば、目標Ｓ－Ｓ曲線を実現する構造材料を製造することができるのかについての指標が得られる。従って、目標Ｓ－Ｓ曲線を実現する構造材料を製造するための製造工程を導出することができる。構造材料を何度も製造し直さなくても、目標Ｓ－Ｓ曲線を実現する構造材料を製造することができる。これにより、構造材料の開発コストおよび製造コストを低減することができる。

　本実施形態では、解析装置１３００は、軟質相のみからなるミクロ組織の画像に対応する相変態後のミクロ組織の画像を導出する。従って、相変態後のミクロ組織の画像を容易に導出することができる。また、ミクロ組織の画像を予め用意しておくことで、硬質相の割合の変更と、相変態後のミクロ組織の画像の導出とを容易に行うことができる。

［変形例］
＜第１の変形例＞
　本実施形態では、ＤＰ鋼の機械特性に関する因子（物理量）として、Ｓ－Ｓ曲線である場合を例に挙げて説明した。しかしながら、機械特性に関する因子は、Ｓ－Ｓ曲線に限定されない。例えば、解析対象が構造材料である場合、引張強さおよび均一伸びの少なくとも一方を機械特性に関する因子としてもよい。引張強さは、Ｓ－Ｓ曲線における最大の応力である。均一伸びは、Ｓ－Ｓ曲線における最大の応力に対応する歪である。また、０．２％耐力や全伸びを機械特性に関する因子として用いてもよい。

＜第２の変形例＞
　本実施形態では、ミクロ組織の画像に、結晶粒の粒界および方位の情報と、ミクロ組織における元素濃度の分布の情報とが含まれているものとする場合を例に挙げて説明した。しかしながら、必ずしもこのようにする必要はない。例えば、ミクロ組織における元素濃度の分布の情報を、ミクロ組織の画像とは別個に管理してもよい。

＜第３の変形例＞
　本実施形態では、解析対象がＤＰ鋼である場合を例に挙げて説明した。しかしながら、解析対象は、ＤＰ鋼に限定されない。例えば、解析対象は、ＤＰ鋼以外のミクロ組織を有する材料であってもよい。ＤＰ鋼以外の鋼材や、その他の金属材料を解析対象とすることができる。また、金属材料以外の材料（例えば、半導体）であってもよい。また、材料以外であってもよい。

＜第４の変形例＞
　本実施形態のように、軟質相のみからなるミクロ組織の画像を導出し、当該軟質相のみからなるミクロ組織の画像に対応する相変態後のミクロ組織の画像を導出するのが好ましい。しかしながら、必ずしもこのようにする必要はない。例えば、相変態後のミクロ組織の画像を予め用意してもよい。この場合、解析装置１３００は、相変態後のミクロ組織の画像（ミクロ組織の画像０ａ～６２ａではなくミクロ組織の画像０ｂ～６２ｂ）の遷移を探索することになる。

＜第５の変形例＞
　本実施形態のように学習モデルを作成するのが好ましい。しかしながら、学習モデルを用いずに、状態導出部１３４１、報酬導出部１３４２、目標判定部１３４３、および決定部１３４４による処理が行われるようにしてもよい。この場合、状態導出部１３４１は、Ｑテーブルを参照しない。その代わりに、状態導出部１３４１は、例えば、ＤＰ鋼のミクロ組織の状態の遷移の内容（行動）の１つを、ランダムに選択することにより導出する。

＜第６の変形例＞
　本実施形態では、作成部１３２０と、推定部１３４０とが同一の解析装置１３００に含まれる解析システムを例に挙げて説明した。しかしながら、必ずしもこのようにする必要はない。作成部１３２０と、推定部１３４０は、別の解析装置に配置されていてもよい。この場合、当該解析装置が解析システムに含まれる。また、記憶部１３３０は、解析装置１３００の外部にあってもよい。

＜＜第２の実施形態＞＞
　次に、第２の実施形態を説明する。第１の実施形態では、エージェントが解析装置１３００（状態導出部１３２１、１３４１）である場合を例に挙げて説明した。これに対し、本実施形態では、エージェントが人（材料設計者）である場合を例に挙げて説明する。本実施形態と第１の実施形態は、エージェントが異なることによる構成および処理が主として異なる。従って、本実施形態の説明において、第１の実施形態と同一の部分についての詳細な説明を省略する。

［解析装置１７００］
　本実施形態の解析装置１７００の一例について説明する。本実施形態でも、第１の実施形態と同様に、解析対象がＤＰ鋼であるとする。また、本実施形態でも、第１の実施形態と同様に、ＤＰ鋼のミクロ組織に、硬質相（マルテンサイト相）および軟質相（フェライト相）以外の領域（空隙等）がないものとして説明を行う。
　図１７は、解析装置１７００の機能的な構成の一例を示す図である。図１８は、解析装置１７００における処理の一例を概念的に説明する図である。解析装置１７００のハードウェアは、例えば、図１６に示すもので実現することができる。

＜情報取得部１７０１＞
　情報取得部１７０１は、解析対象であるＤＰ鋼のミクロ組織の３次元画像を取得する。以下の説明では、ＤＰ鋼のミクロ組織の３次元画像を、必要に応じてミクロ組織３Ｄ画像と称する。ミクロ組織３Ｄ画像は、例えば、ＥＢＳＤ（Electron Backscattering Diffraction）やＴＥＭ（Transmission Electron Microscope）等の公知の技術を用いることにより得ることができる。従って、ここでは、その詳細な説明を省略する。尚、ミクロ組織３Ｄ画像の各ボクセルには、当該ボクセルが軟質相および硬質相の何れであるかを示す２値化ラベルが与えられている。

＜状態導出部１７０２＞
　状態導出部１７０２は、第１の導出部である。状態導出部１７０２は、外部からの指示に基づいて、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値を変更する。
　外部からの指示は、例えば、以下のようにして行われる。即ち、エージェント（材料設計者）は、ＶＲ（Virtual Reality）装置を用いて、ＶＲ空間におけるミクロ組織の分布（軟質相および硬質相の領域）を変更する操作を行う。ＶＲ装置は、例えば、ＶＲヘッドマウントディスプレイおよびジェスチャー入力装置である。状態導出部１７０２は、当該操作の内容に合うように、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値を変更する。エージェント（材料設計者）は、例えば、ＤＰ鋼における応力集中箇所に対応するボクセルにおける２値化ラベルの値を変更することができる。

　本実施形態では、図１８に示すように、ミクロ組織３Ｄ画像は、環境（environment）に対応する。ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値を変更することは、マルコフ決定過程における行動（action）ａ_ｔに対応する。また、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値は、逆問題における原因に対応する。また、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値が変更されることにより、状態（state）Ｓ_ｔが遷移する。状態は、後述するように、各ボクセルにおける応力および歪を含む。また、本実施形態では、マルコフ決定過程における時刻ｔに対応するものとして、ミクロ組織の変更回数ｔを用いる。ここでは、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値を変更することによって、時刻ｔ＋１におけるミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値が得られたものとして、説明を続ける。

　ミクロ組織の状態の有限集合Ｓ＝｛ｓ^１，ｓ^２，・・・，ｓ^Ｎ｝のＮは、ミクロ組織３Ｄ画像のボクセルにおける２値化ラベルの値の組み合わせの総数である。本実施形態では、ミクロ組織の状態の有限集合Ｓの各状態ｓ^ｎには、その要素として、各ボクセルにおける２値化ラベルの値、応力、および歪が含まれるものとする。尚、２値化ラベルの値、応力、および歪毎に区別して状態を定義してもよい。

　また、ミクロ組織の行動の有限集合Ａ＝｛ａ^１，ａ^２，・・・，ａ^Ｋ｝のＫは、ミクロ組織３Ｄ画像のボクセルにおける２値化ラベルの値の変更に関する値の組み合わせの総数である。本実施形態では、ミクロ組織の行動の有限集合Ａの各行動ａ^ｋには、その要素として、各ボクセルにおける２値化ラベルの値の変更に関する値が含まれるものとする。変更に関する値とは、２値化ラベルの値を元のまま維持するか否かを示す値である。

　状態導出部１７０２は、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値を変更すると、ＤＰ鋼に与える外部歪（引張荷重となる外力）を設定する。状態導出部１７０２は、設定した外部歪をＤＰ鋼に与えたときのミクロ組織３Ｄ画像の各位置ｘにおける応力σ（ｘ）および歪ε（ｘ）を弾塑性解析により導出する。ここでは、説明を簡単にするため、ミクロ組織３Ｄ画像の各位置ｘを、ミクロ組織３Ｄ画像の各ボクセル（の位置）ｘとする場合を例に挙げて説明する。

　以上のように本実施形態では、ＤＰ鋼をボクセルの単位で分割し（即ち、１つの分割領域を１つのボクセルとし）、分割した複数のボクセルにおける応力σ（ｘ）および歪ε（ｘ）を導出する場合を例に挙げて説明する。ただし、分割領域は、このような領域に限定されない。例えば、数値解析で使用するメッシュの領域を分割領域としてもよい。尚、分割領域とは、解析対象であるＤＰ鋼を複数の領域に分割した場合の個々の領域をいう。また、本実施形態では、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値により、ミクロ組織のそれぞれの状態が定まる。本実施形態では、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値が第１の因子（金属材料の複数の分割領域のそれぞれにおけるミクロ組織に関する因子）である。

　本実施形態では、状態導出部１７０２は、均質化法を用いて、歪ε_ｔ＋１（ｕ_ｔ＋１）（ｘ）および応力σ_ｔ＋１（ε_ｔ＋１（ｕ_ｔ＋１））（ｘ）を導出する。本実施形態でも、均質化法が、前述した空間階層間の物理現象を一貫して論理的に説明する方法論の役割を担う。均質化法は、第１の実施形態で説明したものである。

　状態導出部１７０２は、歪ε_ｔ＋１（ｕ_ｔ＋１）（ｘ）および応力σ_ｔ＋１（ε_ｔ＋１（ｕ_ｔ＋１））（ｘ）の組を導出することを、全ての位置ｘのボクセルについて行う。
　本実施形態では、状態導出部１７０２は、ＤＰ鋼に与える外部歪として所定の複数の外部歪を設定する。状態導出部１７０２は、それぞれの外部歪をＤＰ鋼に与えた場合のそれぞれについて、以上のようにして歪ε_ｔ＋１（ｕ_ｔ＋１）（ｘ）および応力σ_ｔ＋１（ε_ｔ＋１（ｕ_ｔ＋１））（ｘ）の組を、全ての位置ｘのボクセルに対して導出する。このように本実施形態では、ＤＰ鋼に与える外部歪の設定を変更することにより、ＤＰ鋼に対して相異なる作用を施す場合を例に挙げて説明する。ここで、解析対象の状態が変更するようにしていれば、どのような作用を解析対象に施してもよい。即ち、作用とは、解析対象の状態を変更するための操作をいう。

　状態導出部１７０２は、以上のようにして、ミクロ組織３Ｄ画像の２値化ラベルの値を変更することにより、ＤＰ鋼のミクロ組織の状態（各ボクセルｘにおける歪ε_ｔ＋１（ｕ_ｔ＋１）（ｘ）および応力σ_ｔ＋１（ε_ｔ＋１（ｕ_ｔ＋１））（ｘ））を遷移させる。本実施形態では、図１７に示すように、ＤＰ鋼のミクロ組織の状態（各ボクセルｘにおける歪ε_ｔ＋１（ｕ_ｔ＋１）（ｘ）および応力σ_ｔ＋１（ε_ｔ＋１（ｕ_ｔ＋１））（ｘ））がマルコフ決定過程における状態および逆問題における結果に対応する。また、以上のようにしてＤＰ鋼のミクロ組織の状態を遷移させるため、時刻ｔの状態ｓ_ｔから行動ａ_ｔをとったときに遷移する次の時刻ｔ＋１の状態ｓ_ｔ＋１は、一意に定まる。以下の説明では、この一意に定まる状態をｓ_ｔ＋１をａ_ｔ（ｓ_ｔ）と表記することにする。すると、遷移関数ｆ（ｓ_ｔ＋１｜ｓ_ｔ，ａ_ｔ）は、ｓ_ｔ＋１がａ_ｔ（ｓ_ｔ）のときに１、そうでないときに０である関数となる。

　状態導出部１７０２は、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値を変更し、ミクロ組織の変更回数ｔを更新する度に、以上のようにして、外部歪をＤＰ鋼に与えた場合の、全ての位置ｘのボクセルにおける歪ε_ｔ（ｕ_ｔ）（ｘ）および応力σ_ｔ（ε_ｔ（ｕ_ｔ））（ｘ）の組を導出する。状態導出部１７０２は、全ての位置ｘのボクセルにおける歪ε_ｔ（ｕ_ｔ）（ｘ）および応力σ_ｔ（ε_ｔ（ｕ_ｔ））（ｘ）の組の導出を、所定の複数の外部歪をＤＰ鋼に与えた場合のそれぞれについて実行する。本実施形態では、各位置ｘ（ボクセル）における歪ε_ｔ＋１（ｕ_ｔ＋１）（ｘ）および応力σ_ｔ＋１（ε_ｔ＋１（ｕ_ｔ＋１））（ｘ）の組が第２の因子（金属材料の複数の分割領域のそれぞれにおける機械特性を示す因子）である。当該組は、ミクロ組織のそれぞれに対して個別に定まる。

＜報酬導出部１７０３＞
　報酬導出部１７０３は、第２の導出部である。報酬導出部１７０３は、状態導出部１７０２により、或る外部歪をＤＰ鋼に与えた場合の、全ての位置ｘのボクセルにおける歪ε_ｔ（ｕ_ｔ）（ｘ）および応力σ_ｔ（ε_ｔ（ｕ_ｔ））（ｘ）の組が導出されると起動する。報酬導出部１７０３は、当該全ての位置ｘのボクセルにおける歪ε_ｔ（ｕ_ｔ）（ｘ）および応力σ_ｔ（ε_ｔ（ｕ_ｔ））（ｘ）の代表値を導出する。代表値として、例えば、平均値が用いられる。これにより、或る外部歪をＤＰ鋼に与えた場合のＤＰ鋼の歪および応力の組が一組得られる。

　報酬導出部１７０３は、以上のようにしてＤＰ鋼の歪および応力の代表値を導出することを、所定の複数の外部歪をＤＰ鋼に与えた場合のそれぞれについて実行する。これにより、ＤＰ鋼の歪および応力の組が複数得られる。そして、報酬導出部１７０３は、それらの組から、Ｓ－Ｓ曲線を導出する。

　報酬導出部１７０３は、Ｓ－Ｓ曲線における最大の応力を、ＤＰ鋼の引張強さとして導出する。報酬導出部１７０３は、当該応力に対応する歪を用いて、ＤＰ鋼の均一伸びを導出する。
　これにより、ＤＰ鋼のミクロ組織の状態（各位置ｘのボクセルにおける歪ε_ｔ（ｕ_ｔ）（ｘ）および応力σ_ｔ（ε_ｔ（ｕ_ｔ））（ｘ））における、ＤＰ鋼の引張強さおよび均一伸びが導出される。

　更に、報酬導出部１７０３は、ＤＰ鋼の引張強さおよび均一伸びに基づいて、ＤＰ鋼の穴広げ率を導出する。ＤＰ鋼の穴広げ率は、例えば、予め実験を行うことにより、ＤＰ鋼の引張強さおよび均一伸びと、ＤＰ鋼の穴広げ率との関係を示す関数を定めることで得ることができる。また、ＤＰ鋼の穴広げ率は、ニューラルネットワークを用いて、ＤＰ鋼の引張強さおよび均一伸びからＤＰ鋼の穴広げ率を予測するモデルを作成することでも得ることができる。

　報酬導出部１７０３は、以上のようにして、ＤＰ鋼の引張強さ、均一伸び、および穴広げ率の値として、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値が変更され、ＤＰ鋼のミクロ組織の状態が遷移した場合の値を導出する。本実施形態では、以上のようにしてＤＰ鋼の引張強さ、均一伸び、および穴広げ率を導出するための処理手順が報酬関数ｒ^１（ｓ_ｔ，ａ_ｔ，ｓ_ｔ＋１）、ｒ^２（ｓ_ｔ，ａ_ｔ，ｓ_ｔ＋１）、ｒ^３（ｓ_ｔ，ａ_ｔ，ｓ_ｔ＋１）に対応する。

　即ち、報酬関数ｒ^１（ｓ_ｔ，ａ_ｔ，ｓ_ｔ＋１）は、即時報酬がｒ^１ _ｔ＋１である状態がｓ_ｔからｓ_ｔ＋１へ遷移したときのＤＰ鋼の引張強さの変化分（増分または減分）を導出するものとして定義される。報酬関数ｒ^２（ｓ_ｔ，ａ_ｔ，ｓ_ｔ＋１）は、即時報酬がｒ^２ _ｔ＋１である状態がｓ_ｔからｓ_ｔ＋１へ遷移したときのＤＰ鋼の均一伸びの変化分（増分または減分）を導出するものとして定義される。報酬関数ｒ^３（ｓ_ｔ，ａ_ｔ，ｓ_ｔ＋１）は、即時報酬がｒ^３ _ｔ＋１である状態がｓ_ｔからｓ_ｔ＋１へ遷移したときのＤＰ鋼の穴広げ率の変化分（増分または減分）を導出するものとして定義される。

　報酬導出部１７０３は、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値が変更され、ミクロ組織の変更回数ｔが更新される度に、以上のようにして、ＤＰ鋼の引張強さ、均一伸び、および穴広げ率を導出する。ＤＰ鋼の引張強さ、均一伸び、および穴広げ率は、ＤＰ鋼の全体における機械特性に関する因子である。このように本実施形態では、ＤＰ鋼の引張強さ、均一伸び、および穴広げ率が第３の因子（金属材料の全体における機械特性に関する因子）である。ＤＰ鋼の引張強さ、均一伸び、および穴広げ率は、ＤＰ鋼のミクロ組織の集合に対して定まる因子である。ＤＰ鋼の引張強さ、均一伸び、および穴広げ率は、ＤＰ鋼の全体に対してしか定まらず、ＤＰ鋼のミクロ組織のそれぞれに対して個別に定まる因子ではない。尚、Ｓ－Ｓ曲線をテーブルとして用意してもよい。この場合、当該テーブルにおける値の補間式から、Ｓ－Ｓ曲線における最大の応力を導出することができる。当該補間式は、解析対象が従うべき物理現象を表す数式の一例である。ＤＰ鋼の引張強さおよび均一伸びとＤＰ鋼の穴広げ率との関係を示す関数は、解析対象が従うべき物理現象を表す数式の一例である。ＤＰ鋼の穴広げ率は、数式以外のモデルを用いて導出してもよい。

＜決定部１７０４＞
　報酬（例えば、引張強さおよび均一伸び）が目標範囲になることが、Ｍ回のミクロ組織の変更回数ｔ（ｔ＝Ｍ）で得られたとすると、（１）式を使い、各報酬関数ｒ^１、ｒ^２、ｒ^３に関する累積報酬ρ^１、ρ^２、ρ^３を、それぞれ、以下の（１４）式、（１５）式、（１６）式のように表す。

　ここで、割引因子γ_１、γ_２、γ_３は、例えば、過去の実績等に基づいて報酬関数ｒ^１、ｒ^２、ｒ^３毎に経験的に定められる。尚、γ_１、γ_２、γ_３を全て「０」とすれば、ミクロ組織の変更回数ｔが１であるときの即時報酬ｒ^１ _ｔ、ｒ^２ _ｔ、ｒ^３ _ｔのみを採用することになる（報酬の累積は行われない）。

　初期のミクロ組織の状態ｓ_０に対して方策πに従う行動（各ボクセルにおける２値化ラベルの値の変更）を施して状態を変更することをＭ回行うことにより、得られる累積報酬の期待値Ｅ［ρ｜π］は以下の（１７）式のように表される。そして、（２）式により、最適な方策π^＊（各ボクセルにおける２値化ラベルの値の最適値）が導出される。

　決定部１７０４は、報酬導出部１７０３により、ＤＰ鋼の引張強さ、均一伸び、および穴広げ率が導出されると、それぞれの累積報酬ρ^１、ρ^２、ρ^３を導出する。決定部１７０４は、当該累積報酬ρ^１、ρ^２、ρ^３に基づいて単一の累積報酬ρを導出する。通常、引張強さ、均一伸び、および穴広げ率の全ての報酬を最大にすることは困難である。そこで、累積報酬ρとして、例えば、ナッシュ均衡と呼ばれるゲーム理論における非協力ゲームの解（均衡解）を用いることができる。尚、累積報酬ρは、このようなものに限定されない。決定部１７０４は、例えば、累積報酬ρ^１、ρ^２、ρ^３の積算値を、累積報酬ρとして導出してもよい。

　解析装置１７００は、以上のようにして決定部１７０４が（２）式により最適な方策π^＊（全てのボクセルにおける２値化ラベルの値の最適値）を導出するまで、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値の変更を繰り返し行い、前述した状態導出部１７０２、報酬導出部１７０３、および決定部１７０４による処理を繰り返し実行する。この繰り返し処理は、例えば、前述した動的計画法を適用して、累積報酬ρ（価値関数）の前回値と今回値との差が所定の範囲内になるまで行うことができる。本実施形態では、累積報酬ρ（価値関数）が、前述した第３の因子に対する評価値になる。累積報酬ρ（価値関数）の前回値と今回値との差が所定の範囲内になることが、前述した所定の条件である。

＜出力部１７０５＞
　出力部１７０５は、決定部１７０４により全てのボクセルにおける２値化ラベルの値の最適値が導出されると、そのことを示す情報を出力する。情報の出力の形態としては、例えば、コンピュータディスプレイへの表示、解析装置１７００の内部または外部の記憶媒体への記憶、および外部装置への送信のうち、少なくとも１つを採用することができる。

［フローチャート］
　次に、図１９のフローチャートを参照しながら、解析装置１７００における処理（解析方法）の一例を説明する。
　まず、ステップＳ１９０１において、情報取得部１７０１は、ミクロ組織３Ｄ画像を取得する。
　次に、ステップＳ１９０２において、状態導出部１７０２は、外部からの指示に基づいて、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値を変更する。
　次に、ステップＳ１９０３において、状態導出部１７０２は、ミクロ組織の変更回数ｔに「１」を加算する。ミクロ組織の変更回数ｔの初期値は「０」である。

　次に、ステップＳ１９０４において、状態導出部１７０２は、外部歪を設定する。
　次に、ステップＳ１９０５において、状態導出部１７０２は、ステップＳ１９０４で設定された外部歪がＤＰ鋼に与えられた場合の、各位置ｘのボクセルにおける歪ε_ｔ（ｕ_ｔ）（ｘ）および応力σ_ｔ（ε_ｔ（ｕ_ｔ））（ｘ）の組を、均質化法を用いて導出する。

　次に、ステップＳ１９０６において、状態導出部１７０２は、ＤＰ鋼に与える外部歪として所定の複数の外部歪を全て設定したか否かを判定する。この判定の結果、外部歪を全て設定していない場合、処理は、ステップＳ１９０４に戻る。そして、ステップＳ１９０４において、状態導出部１７０２は、新たな外部歪を設定する。ステップＳ１９０５において、状態導出部１７０２は、当該新たな外部歪がＤＰ鋼に与えられた場合の、各位置ｘのボクセルにおける歪ε_ｔ（ｕ_ｔ）（ｘ）および応力σ_ｔ（ε_ｔ（ｕ_ｔ））（ｘ）の組を、均質化法を用いて導出する。そして、外部歪を全て設定するまで、ステップＳ１９０４～Ｓ１９０６の処理が繰り返し実行される。

　以上のようにして、ＤＰ鋼に与える外部歪として所定の複数の外部歪がＤＰ鋼に与えられた場合の、各位置ｘのボクセルにおける歪ε_ｔ（ｕ_ｔ）（ｘ）および応力σ_ｔ（ε_ｔ（ｕ_ｔ））（ｘ）の組が導出されると、処理は、ステップＳ１９０７に進む。
　ステップＳ１９０７において、報酬導出部１７０３は、ステップＳ１９０４で設定された外部歪をＤＰ鋼に与えた場合の、全ての位置ｘのボクセルにおける歪ε_ｔ（ｕ_ｔ）（ｘ）および応力σ_ｔ（ε_ｔ（ｕ_ｔ））（ｘ）の代表値を、ステップＳ１９０４で設定された外部歪のそれぞれについて導出し、その結果から、Ｓ－Ｓ曲線を作成する。

　次に、ステップＳ１９０８において、報酬導出部１７０３は、Ｓ－Ｓ曲線における最大の応力を、ＤＰ鋼の引張強さとして導出する。報酬導出部１７０３は、Ｓ－Ｓ曲線における最大の応力に対応する歪を用いてＤＰ鋼の均一伸びを導出する。
　次に、ステップＳ１９０９において、報酬導出部１７０３は、ステップＳ１９０８で導出したＤＰ鋼の引張強さおよび均一伸びに基づいて、ＤＰ鋼の穴広げ率を導出する。

　次に、ステップＳ１９１０において、決定部１７０４は、ミクロ組織の変更回数ｔが「１」から現在値になるまでの間にステップＳ１９０８～Ｓ１９１０で導出された、ＤＰ鋼の引張強さ、均一伸び、および穴広げ率に基づいて、それぞれの累積報酬ρ^１、ρ^２、ρ^３を導出し、当該累積報酬ρ^１、ρ^２、ρ^３に基づいて累積報酬ρを導出する。

　次に、ステップＳ１９１１において、決定部１７０４は、ステップＳ１９１０で導出された累積報酬ρが所定の収束条件を満たすか否かを判定する。この判定の結果、累積報酬ρが所定の収束条件を満たさない場合、処理は、ステップＳ１９０２に戻る。そして、ステップＳ１９０２において、状態導出部１７０２は、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値を変更する。その後、ステップＳ１９０３～Ｓ１９１０の処理により、累積報酬ρが所定の収束条件を満たすまで、ステップＳ１９０２～Ｓ１９１１の処理が繰り返し実行される。

　以上のようにして累積報酬ρが所定の収束条件を満たすと、処理は、ステップＳ１９１２に進む。処理がステップＳ１９１２に進むと、決定部１７０４は、所定の収束条件を満たしたときにステップＳ１９０２で変更された（最新の）ミクロ組織の２値化ラベルの値を、各ボクセルにおける２値化ラベルの値の最適値として決定する。
　次に、ステップＳ１９１３において、出力部１７０５は、各ボクセルにおける２値化ラベルの値の最適値を示す情報を出力する。
　そして、図１９のフローチャートによる処理が終了する。

［まとめ］
　以上のように本実施形態では、解析装置１７００は、ミクロ組織３Ｄ画像の各ボクセルｘの２値化ラベルの値（硬質相か軟質相かを示す値）が変更されると、ＤＰ鋼に外部歪を与えた場合の、各ボクセルの応力および歪を、均質化法を用いて導出し、それらの代表値を導出する。解析装置１７００は、各ボクセルの応力および歪の代表値を導出することを、予め設定されている外部歪をＤＰ鋼に与えた場合のそれぞれについて実行する。解析装置１７００は、各外部歪をＤＰ鋼に与えた場合の、各ボクセルの応力および歪の代表値から、Ｓ－Ｓ曲線を導出する。解析装置１７００は、Ｓ－Ｓ曲線から、ＤＰ鋼全体の引張強さおよび均一伸びと、ＤＰ鋼全体の穴広げ率とを導出する。解析装置１７００は、ＤＰ鋼全体の引張強さ、均一伸び、および穴広げ率に基づいて累積報酬を導出する。解析装置１７００は、累積報酬が収束するまで、ミクロ組織３Ｄ画像の各ボクセルの２値化ラベルの値を変更して以上の処理を繰り返す。解析装置１７００は、累積報酬が収束したときのミクロ組織３Ｄ画像の各ボクセルｘの２値化ラベルの値を最適値として、そのことを示す情報を出力する。

　従って、本実施形態においても、第１の実施形態と同様に、空間階層間の物理現象を繋げることができる。よって、マクロな系の因子（ＤＰ鋼全体の引張強さ、均一伸び、および穴広げ率他）から、ミクロな系の因子（ミクロ組織形態、合金成分他）を、少数のデータからＤＰ鋼の内部に生じる物理現象に従って導出することが可能になる。よって、物理現象で結ばれる原因と結果が、異なる空間階層に属する場合に、当該結果から当該原因を正確に推定することができる。

［変形例］
＜第１の変形例＞
　本実施形態では、解析装置１９００が、ミクロ組織３Ｄ画像の各ボクセルの相（軟質相または硬質相）を変更する場合を例に挙げて説明した。しかしながら、解析対象が金属材料である場合、変更する対象は、ミクロ組織に関する因子（物理量）であれば、どのような因子であってもよい。例えば、前述した制御因子（３次元のミクロ組織の形態・方位や、合金の添加量や、硬質相・軟質相の各々の配合量・形態分布・強度等）の少なくとも何れか１つを変更することができる。

＜第２の変形例＞
　本実施形態では、解析装置１９００が３次元画像を取得する場合を例に挙げて説明したが、２次元画像を取得してもよい。
＜第３の変形例＞
　本実施形態では、ＤＰ鋼の機械特性に関する因子（物理量）として、引張強さおよび均一伸びを例に挙げて説明した。しかしながら、ＤＰ鋼の機械特性に関する因子は、これらに限定されず、例えば、０．２％耐力や全伸びを用いてもよい。
＜第４の変形例＞
　本実施形態では、ＤＰ鋼の破壊特性に関する因子（物理量）として、（穴広げ性を示す物理量の一例である）穴広げ率を用いる場合を例に挙げて説明した。しかしながら、破壊特性に関する因子は、穴広げ率に限定されない。また、必ずしも穴広げ率（破壊特性を表す物理量）を導出しなくてもよい。

＜第５の変形例＞
　前述した本実施形態の説明において、解析装置１７００は、２値化ラベルの値のミクロ組織のＤＰ鋼を製造することができるか否かを判定してもよい。例えば、解析装置１７００は、製造条件と各ボクセルのミクロ組織との関係を、例えば、実験や実操業や数値解析の結果から導出しておく。解析装置１７００は、この関係から、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値が製造可能であるか否かを判定する。この判定のタイミングは、状態導出部１７０２が、外部からの指示に基づいて、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値を変更したタイミングとすることができる。この判定のタイミングは、各ボクセルにおける２値化ラベルの値の最適値が得られたタイミングでもよい。解析装置１７００は、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値が製造できないものである場合には、当該ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値では製造することができないことを報知してもよい。そして、解析装置１７００は、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値を変更して、本実施形態で説明した処理を行う。また、製造条件を前記価値関数の制約条件として、例えば、ラグランジュ未定乗数法により価値関数に付与し、拘束条件を考慮した最適化を行ってもよい。

＜第６の変形例＞
　本実施形態では、解析対象がＤＰ鋼である場合を例に挙げて説明した。しかしながら、解析対象は、ＤＰ鋼に限定されず、ＤＰ鋼以外の鋼材や、その他の金属材料を解析対象とすることができる。また、金属材料以外の材料（例えば、半導体）であってもよい。また、材料以外であってもよい。

　例えば、鉄道台車であってもよい。鉄道台車の場合は、エージェント（鉄道台車の設計者）は、環境（environment）である鉄道台車の図面上に、台車部品の配置・大きさ・機能等の変更（action）を加える。解析装置は、鉄道台車が走行する際の満たすべき輪軸、台車、および車両の横振動、ヨーイング、およびローリング等を記述する運動方程式群により、前記の横振動、ヨーイング、およびローリングの変化量を状態（state）として導出する。そして、解析装置は、横振動、ヨーイング、およびローリングの変化量の少なくとも１つから、鉄道車両の安全性、乗り心地等の指標値の変化分（増分または減分）を、これらの関係を示す数式を用いて、報酬（reward）として導出して評価する。この場合、台車部品（の配置・大きさ・機能等）が設計される。尚、鉄道台車が走行する際の満たすべき輪軸、台車、および車両の横振動、ヨーイング、およびローリング等を記述する運動方程式群は、例えば、特許文献４に記載されているもので実現することができる。特許文献４の明細書および図面の内容を全てここに援用する。

　また、例えば、電気機器の部品の一つである鉄心であってもよい。鉄心の場合は、エージェント（電気機器の設計者）は、環境（environment）である鉄心の３次元画像におけるボクセル内の結晶方位に変更（action）を加える。解析装置は、マックスウェルの方程式（Maxwell's equations）に基づいて当該ボクセル内の磁束密度と渦電流を（励磁波形の一周期分）状態（state）として導出する。そして、解析装置は、当該励磁波形の一周期分の磁束密度と渦電流に基づいて鉄心の鉄損に－１を乗じた量の変化分（減分または増分）を、報酬（reward）として導出して評価する。この場合、鉄心の３次元画像におけるボクセル内の結晶方位が設計される。尚、鉄心の鉄損は、鉄心の形状によっても変わるので、鉄心を構成する材料（電磁鋼板等）のみを評価せずに、鉄心として評価することが必要な場合がある。
　また、状態（本実施形態ではＤＰ鋼の相（軟質相および硬質相）に対応するもの）を観測することができない場合には、部分観測マルコフ決定過程のアルゴリズムを適用し、環境に対して行動をとった場合の状態を推定する処理を加えて、本実施形態で説明した処理を行うようにしてもよい。

＜第７の変形例＞
　本実施形態では、ＶＲ装置を用いて、ＶＲ空間におけるミクロ組織の分布を変更する操作を行い、当該操作の内容に合うように、ミクロ組織３Ｄ画像の各ボクセルにおける２値化ラベルの値を変更することを試行錯誤的に行う場合を例に挙げて説明した。しかしながら、このようにする必要はない。例えば、変分法によってミクロ組織の分布を決定することができる。この場合、ミクロ組織の分布の与え方を相異ならせる必要がなくなる。このことは、ミクロ組織の分布以外の因子を第１の因子とした場合でも同じである。
＜第８の変形例＞
　本実施形態においても、第１の実施形態で説明した変形例を採用することができる。

＜その他の変形例＞
　尚、以上説明した本発明の実施形態は、コンピュータがプログラムを実行することによって実現することができる。また、前記プログラムを記録したコンピュータ読み取り可能な記録媒体及び前記プログラム等のコンピュータプログラムプロダクトも本発明の実施形態として適用することができる。記録媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
　また、以上説明した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
　本願は、２０１８年３月２７日に、日本国に出願された特願２０１８－０５９５７９号に基づき優先権を主張し、その内容の全てをここに援用する。

　本発明は、物理現象に従って得られる結果の原因を推定することに利用できる。例えば、本発明は、所望の機械特性を有する構造材料のミクロ組織を推定することに利用できる。

Claims

　第１の因子が解析対象に与えられた場合の前記解析対象における状態を示す第２の因子を、前記解析対象が従うべき物理現象に従って導出する第１の導出手段と、
　前記第１の導出手段により導出された前記第２の因子に基づいて、第３の因子を、前記解析対象が従うべき物理現象に従って導出する第２の導出手段と、
　前記第２の導出手段により導出された前記第３の因子を評価した結果に基づいて、当該第３の因子に対応する前記第１の因子を決定する決定手段と、を有し、
　前記第３の因子は、前記第１の因子および前記第２の因子を原因として前記解析対象に生じる結果を示す因子であり、
　前記第２の因子は、前記解析対象の構成要素のそれぞれに対して個別に定まる因子であり、
　前記第３の因子は、前記解析対象の構成要素のそれぞれに対して個別に定まる因子ではなく、前記解析対象の構成要素の集合に対して定まる因子であることを特徴とする解析システム。
　前記第１の導出手段は、前記解析対象が従うべき物理現象に基づく数式を用いて前記第２の因子を導出することを特徴とする請求項１に記載の解析システム。
　前記第２の導出手段は、前記解析対象が従うべき物理現象に基づく数式を用いて前記第３の因子を導出することを特徴とする請求項１または２に記載の解析システム。
　前記決定手段は、前記第２の導出手段により導出された前記第３の因子に対する評価値が所定の条件を満たす場合に、当該第３の因子の導出のために用いられた前記第１の因子を、前記第３の因子に対応する前記第１の因子として決定することを特徴とする請求項１～３の何れか１項に記載の解析システム。
　前記第２の導出手段により導出された前記第３の因子に対する評価値が所定の条件を満たさない場合に、新たな前記解析対象に対して、前記第１の導出手段による新たな前記第２の因子の導出と、前記第２の導出手段による新たな前記第３の因子の導出とが行われることを特徴とする請求項１～４の何れか１項に記載の解析システム。
　前記新たな解析対象における前記構成要素の状態は、前記第１の導出手段により導出された最新の前記第２の因子であることを特徴とする請求項５に記載の解析システム。
　前記決定手段は、前記第２の導出手段により導出された前記第３の因子に対する評価値が所定の条件を満たす場合、当該所定の条件を満たすまでに用いられた複数の前記第１の因子を、前記第３の因子に対応する前記第１の因子として決定することを特徴とする請求項６に記載の解析システム。
　初期の前記解析対象を示す情報から、前記所定の条件を満たす前記第３の因子に対応する前記複数の第１の因子を導出する学習モデルを、強化学習を行うことにより作成する作成手段を有し、
　前記作成手段は、前記第１の導出手段、および前記第２の導出手段を有することを特徴とする請求項７に記載の解析システム。
　前記強化学習は、Ｑ学習であることを特徴とする請求項８に記載の解析システム。
　前記学習モデルを用いて、前記所定の条件を満たす前記第３の因子に対応する前記複数の第１の因子を推定する推定手段を有し、
　前記作成手段と、前記推定手段とのそれぞれは、前記第１の導出手段、および前記第２の導出手段を有することを特徴とする請求項８または９に記載の解析システム。
　前記解析対象は、製品であり、
　前記第１の因子は、前記製品の構成要素の遷移の内容を示す因子であり、
　前記第２の因子は、前記製品の構成要素の遷移後の状態を示す因子であり、
　前記第３の因子は、前記製品の構成要素の集合に対して定まる因子であり、
　前記推定手段により推定された前記第１の因子に基づいて、前記製品の製造工程が決定され、当該製造工程を用いて前記製品が製造されることを特徴とする請求項１０に記載の解析システム。
　前記解析対象は、ミクロ組織を有する材料であり、
　前記第１の因子は、前記材料のミクロ組織の状態の遷移の内容を示す因子であり、
　前記第２の因子は、前記材料のミクロ組織の遷移後の状態を示す因子であり、
　前記第３の因子は、前記材料全体における機械特性に関する因子であり、
　前記推定手段により推定された前記第１の因子に基づいて、前記材料の製造工程が決定され、当該製造工程を用いて前記材料が製造されることを特徴とする請求項１０または１１に記載の解析システム。
　前記第３の因子に対応する前記第１の因子が決定される際にマルコフ決定過程のアルゴリズムが用いられ、
　マルコフ決定過程における状態は、前記解析対象の構成要素の状態であり、
　マルコフ決定過程における行動は、前記第１の因子であり、
　マルコフ決定過程における報酬は、前記第３の因子であり、
　前記第２の因子は、前記第１の因子に従って遷移することを特徴とする請求項１～１２の何れか１項に記載の解析システム。
　前記解析対象は、製品であり、
　前記第１の因子は、前記製品の構成要素の状態の遷移の内容を示す因子であり、
　前記第２の因子は、前記製品の構成要素の遷移後の状態を示す因子であり、
　前記第３の因子は、前記製品の構成要素の集合に対して定まる因子であることを特徴とする請求項１～１３の何れか１項に記載の解析システム。
　前記解析対象は、ミクロ組織を有する材料であり、
　前記第１の因子は、前記材料のミクロ組織の状態の遷移の内容を示す因子であり、
　前記第２の因子は、前記材料のミクロ組織の遷移後の状態を示す因子であり、
　前記第３の因子は、前記材料全体における機械特性に関する因子であることを特徴とする請求項１～１４の何れか１項に記載の解析システム。
　前記第２の導出手段は、前記第１の導出手段により導出された前記第２の因子で示される状態のミクロ組織に対して相変態が行われたミクロ組織に基づいて、前記第３の因子を導出することを特徴とする請求項１５に記載の解析システム。
　前記第３の因子に対応する前記第１の因子が決定される際にマルコフ決定過程のアルゴリズムが用いられ、
　マルコフ決定過程における状態は、前記第２の因子であり、
　マルコフ決定過程における行動は、前記第１の因子を変更することであり、
　マルコフ決定過程における報酬は、前記第３の因子の変化分であり、
　前記第１の因子を変更することにより、前記第２の因子の状態が遷移するものとすることを特徴とする請求項１～５の何れか１項に記載の解析システム。
　前記解析対象は、ミクロ組織を有する材料であり、
　前記第１の因子は、前記材料の複数の分割領域のそれぞれにおけるミクロ組織の状態を示す因子であり、
　前記第２の因子は、前記材料の複数の分割領域のそれぞれにおける機械特性を示す因子であり、
　前記第３の因子は、前記材料全体における機械特性を示す因子であることを特徴とする請求項１、２、３、４、５、および１７の何れか１項に記載の解析システム。
　第１の因子が解析対象に与えられた場合の前記解析対象における状態を示す第２の因子を、前記解析対象が従うべき物理現象に従って導出する第１の導出工程と、
　前記第１の導出工程により導出された前記第２の因子に基づいて、第３の因子を、前記解析対象が従うべき物理現象に従って導出する第２の導出工程と、
　前記第２の導出工程により導出された前記第３の因子を評価した結果に基づいて、当該第３の因子に対応する前記第１の因子を決定する決定工程と、を有し、
　前記第３の因子は、前記第１の因子および前記第２の因子を原因として前記解析対象に生じる結果を示す因子であり、
　前記第２の因子は、前記解析対象の構成要素のそれぞれに対して個別に定まる因子であり、
　前記第３の因子は、前記解析対象の構成要素のそれぞれに対して個別に定まる因子ではなく、前記解析対象の構成要素の集合に対して定まる因子であることを特徴とする解析方法。
　第１の因子が解析対象に与えられた場合の前記解析対象における状態を示す第２の因子を、前記解析対象が従うべき物理現象に従って導出する第１の導出工程と、
　前記第１の導出工程により導出された前記第２の因子に基づいて、第３の因子を、前記解析対象が従うべき物理現象に従って導出する第２の導出工程と、
　前記第２の導出工程により導出された前記第３の因子を評価した結果に基づいて、当該第３の因子に対応する前記第１の因子を決定する決定工程と、をコンピュータに実行させ、
　前記第３の因子は、前記第１の因子および前記第２の因子を原因として前記解析対象に生じる結果を示す因子であり、
　前記第２の因子は、前記解析対象の構成要素のそれぞれに対して個別に定まる因子であり、
　前記第３の因子は、前記解析対象の構成要素のそれぞれに対して個別に定まる因子ではなく、前記解析対象の構成要素の集合に対して定まる因子であることを特徴とするプログラム。