WO2020188971A1 - 特徴推定方法、特徴推定装置、プログラム及び記録媒体 - Google Patents

Abstract

機械学習を利用して対象の特徴を推定する際に、推定の狙いとする条件の下で特定された特徴の個数に依らず、高精度に推定する。　対象の構成に関する記述情報、特徴を特定する条件の識別情報、及び対象の特徴を用いた機械学習を実施する。機械学習は、事前学習と再学習とを含む。事前学習では、各第一条件の識別情報が入力されて演算後識別情報を出力する識別情報用演算モデルと、記述情報又は記述情報から得られた情報と演算後識別情報とが入力されて特徴の推定結果を出力する非線形型の推定結果出力モデルと、を構築する。再学習では、推定結果出力モデル中のパラメータを固定したまま識別情報用演算モデル中のパラメータを第二条件の識別情報、及び、第二条件の下で特定された特徴に基づいて更新し、記述情報及び第二条件の識別情報から第二条件の下で特定される特徴を推定する推定モデルを構築する。

Description

特徴推定方法、特徴推定装置、プログラム及び記録媒体

　本発明は、対象の特徴を推定する特徴推定方法及び特徴推定装置に係り、特に、機械学習を実施して構築した推定モデルによって特徴を推定する特徴推定方法及び特徴推定装置に関する。
　また、本発明は、上記の推定モデルを構築する処理をコンピュータに実行させるためのプログラム、及び当該プログラムを記録した、コンピュータに読み取り可能な記録媒体に関する。

　対象の特徴と、その特徴を特定するための条件との関係をニューラルネットワーク等の機械学習によってモデル化し、ある条件の下で特定される対象の特徴を推定する技術は、既に知られている。例えば、ニューラルネットワークを用いて化合物の特性を予測する技術が、特許文献１に記載されている。

　特許文献１に記載の技術は、「化学混合物の色以外の特性を予測する方法であって、化学混合物の成分量を含む化学混合物変数と、環境及びプロセス条件と、実測された化学混合物の特性と、を含むデータを収集する工程と、実測された化学混合物の特性に対して化学混合物変数が及ぼす影響を明らかにするニューラルネットワークを作製する工程と、上記のデータを用いてニューラルネットワークを教師付き学習する工程と、ニューラルネットワークによって新たな化学混合物の特性を前方予測する工程と、を有する方法」である。この技術によれば、化学混合物変数と化学混合物の特性の実測結果との関係を明らかにするためにニューラルネットワークを学習し、学習されたニューラルネットワークを用いて、新たな化学混合物の特性を予測することができる。この結果、追加的に実験を行うことなく、新たな化学混合物の特性を予測（推定）することが可能となる。このような技術は、マテリアルズ・インフォマティクスと呼ばれ、材料開発の分野等において注目されている。

特表２００８－５０９４８６号公報

　しかし、特許文献１に記載の技術を利用する場合には、化学混合物の特性の実測データを用いて学習（教師付き学習）する必要がある。ただし、化学混合物の特性の実測データを取得するには実験等を要するため、実測データの取得数が比較的少ない状況が考えられる。そして、少ない実測データを用いて学習を行った場合には、その少ない実測データに特化した予測モデルが構築される結果、「過学習」の問題が生じ得る。

　ここで、化学混合物の特性の実測データは、予測の狙いとする条件（実測条件）の下で特定されたデータ（以下、「ターゲットデータ」とも言う。）である。他方、化学混合物の特性については、第一原理計算等の計算式を用いて計算することが可能であり、そのような計算結果のデータ（以下、「補助データ」とも言う。）をターゲットデータの代わりに利用して学習を行うことも考えられる。

　また、化学混合物の特性を予測する上では、あくまでも、予測の狙いとする条件の下で特定される特性（つまり、特性の実測値）を予測することが求められる。したがって、ニューラルネットワーク等の機械学習を利用して、予測の狙いとする条件の下で特定される特性を予測する場合には、ターゲットデータの量に拘わらず、高精度で予測することが必要となる。

　本発明は、上記の事情に鑑みてなされたものであり、以下に示す目的を解決することを課題とする。
　つまり、本発明は、上記従来技術の問題点を解決し、機械学習を利用して対象の特徴を推定する際に、推定の狙いとする条件の下で特定された特徴の個数に依らず、高精度に推定することが可能な特徴推定方法及び特徴推定装置を提供することを目的とする。
　また、本発明は、上記の特徴推定方法をコンピュータによって実現するためのプログラム、及び、当該プログラムを記録した記録媒体を提供することをも目的とする。

　上記の目的を達成するために、本発明の特徴推定方法は、コンピュータにより、対象の特徴を推定する特徴推定方法であって、コンピュータが、対象の構成に関する記述情報、特徴を特定する条件に対して設定された識別情報、及び条件の下で特定された特徴を用いた機械学習を実施して、記述情報及び識別情報から特徴を推定する推定モデルを構築し、条件は、複数の第一条件と、複数の第一条件とは異なる第二条件と、を含み、機械学習は、記述情報、複数の第一条件の各々の識別情報、及び、複数の第一条件の各々の下で特定された特徴を用いた事前学習と、第二条件の識別情報、及び、第二条件の下で特定された特徴を用いた再学習と、を含み、事前学習では、コンピュータが、複数の第一条件の各々の識別情報が入力されて演算後識別情報を出力する識別情報用演算モデルと、記述情報又は記述情報から得られた情報と演算後識別情報とが入力されて特徴の推定結果を出力する非線形型の推定結果出力モデルと、を構築し、再学習では、コンピュータが、推定結果出力モデル中のパラメータを固定したまま識別情報用演算モデル中のパラメータを第二条件の識別情報、及び、第二条件の下で特定された特徴に基づいて更新し、記述情報及び第二条件の識別情報から第二条件の下で特定される特徴を推定する推定モデルを構築することを特徴とする。

　以上のように構成された本発明の特徴推定方法によれば、推定の狙いとする条件（第二条件）の下で特定された特徴の個数に拘わらず、当該条件（第二条件）の下で特定される特徴を高精度にて推定することが可能となる。

　また、事前学習では、コンピュータが、記述情報が入力されて演算後記述情報を出力する記述情報用演算モデルと、識別情報用演算モデルと、演算後記述情報と演算後識別情報とが入力されて特徴の推定結果を出力する推定結果出力モデルと、を構築し、再学習では、コンピュータが、記述情報用演算モデル中のパラメータ、及び、推定結果出力モデル中のパラメータを固定したまま識別情報用演算モデル中のパラメータを第二条件の識別情報、及び、第二条件の下で特定された特徴に基づいて更新し、記述情報及び第二条件の識別情報から第二条件の下で特定される特徴を推定する推定モデルを構築すると、好適である。
　上記の構成であれば、事前学習で推定モデル全体のパラメータを設定し、再学習で、推定モデルの一部である識別情報用演算モデル中のパラメータのみを更新することになる。

　また、演算後記述情報は、多次元の第一ベクトルであり、演算後識別情報は、第二ベクトルであり、推定結果出力モデルは、第一ベクトル及び第二ベクトルから特徴の推定結果を出力するモデルであると、より好適である。

　また、第二ベクトルの次元数は、記述情報用演算モデル中のパラメータの数よりも小さく、且つ、推定結果出力モデル中のパラメータの数よりも小さいと、より好適である。
　上記の構成であれば、推定の狙いとする条件（第二条件）の下で特定された特徴の個数が少ない場合であっても、二段階の学習によって、推定精度がより高い推定モデルを構築することが可能である。

　また、第二ベクトルの次元数は、再学習で用いられる第二条件の下で特定された特徴の数よりも小さいと、より一層好適である。
　上記の構成であれば、機械学習において過学習の発生が抑えられる。

　また、識別情報用演算モデルは、条件毎に設定された固有次元ベクトルによって構成される行列を含む演算モデルであり、再学習では、識別情報用演算モデル中のパラメータとして、行列中の成分値を更新すると、好適である。

　また、機械学習において、コンピュータは、ニューラルネットワークにより事前学習及び再学習を実施すると、好適である。
　上記の構成であれば、事前学習にて、推定される特徴の正解を表現することが可能な関数（以下、「正解関数」とも言う。）が属する関数族を適切に見つけ出し、再学習にて、正解関数を近似する推定モデルを特定することが可能である。

　また、推定モデルは、対象の特徴としての化合物の物性値を推定するモデルであり、記述情報は、化合物の構造を線形表記法に則って記述した情報であり、条件は、化合物の物性値を特定するために設定された条件であってもよい。
　上記の構成であれば、化合物の物性値を推定することが可能な推定モデルを構築することができ、このモデルを利用することで、未知である化合物の物性値を高精度に推定することが可能となる。

　また、第一条件は、物性値を計算するために設定された計算条件であり、第二条件は、物性値を実測するために設定された実測条件であってもよい。
　上記の構成であれば、未測定である化合物の物性値を高精度に推定することが可能となる。

　また、前述した課題を解決するために、本発明の特徴推定装置は、対象の特徴を推定する特徴推定装置であって、対象の構成に関する記述情報、特徴を特定する条件に対して設定された識別情報、及び条件の下で特定された特徴を用いた機械学習を実施して、記述情報及び識別情報から特徴を推定する推定モデルを構築するモデル構築部を有し、条件は、複数の第一条件と、複数の第一条件とは異なる第二条件と、を含み、機械学習は、記述情報、複数の第一条件の各々の識別情報、及び、複数の第一条件の各々の下で特定された特徴を用いた事前学習と、第二条件の識別情報、及び、第二条件の下で特定された特徴を用いた再学習と、を含み、事前学習では、モデル構築部が、複数の第一条件の各々の識別情報が入力されて演算後識別情報を出力する識別情報用演算モデルと、記述情報又は記述情報から得られた情報と演算後識別情報とが入力されて特徴の推定結果を出力する非線形型の推定値出力モデルと、を構築し、再学習では、モデル構築部が、推定値出力モデル中のパラメータを固定したまま識別情報用演算モデル中のパラメータを第二条件の識別情報、及び、第二条件の下で特定された特徴に基づいて更新し、記述情報及び第二条件の識別情報から第二条件の下で特定される特徴を推定する推定モデルを構築することを特徴とする。

　また、本発明は、上述した本発明の特徴推定方法における機械学習を実施して推定モデルを構築する処理をコンピュータに実行させるためのプログラムを提供する。
　また、本発明は、上述した本発明の特徴推定方法における機械学習を実施して推定モデルを構築する処理をコンピュータに実行させるためのプログラムが記録された、コンピュータに読み取り可能な記録媒体を提供する。

　さらに、本発明は、プロセッサを備える特徴推定装置であって、プロセッサが、対象の構成に関する記述情報、特徴を特定する条件に対して設定された識別情報、及び条件の下で特定された特徴を用いた機械学習を実施して、記述情報及び識別情報から特徴を推定する推定モデルを構築し、条件は、複数の第一条件と、複数の第一条件とは異なる第二条件と、を含み、機械学習は、記述情報、複数の第一条件の各々の識別情報、及び、複数の第一条件の各々の下で特定された特徴を用いた事前学習と、第二条件の識別情報、及び、第二条件の下で特定された特徴を用いた再学習と、を含み、事前学習では、プロセッサが、複数の第一条件の各々の識別情報が入力されて演算後識別情報を出力する識別情報用演算モデルと、記述情報又は記述情報から得られた情報と演算後識別情報とが入力されて特徴の推定結果を出力する非線形型の推定結果出力モデルと、を構築し、再学習では、プロセッサが、推定結果出力モデル中のパラメータを固定したまま識別情報用演算モデル中のパラメータを第二条件の識別情報、及び、第二条件の下で特定された特徴に基づいて更新し、記述情報及び第二条件の識別情報から第二条件の下で特定される特徴を推定する推定モデルを構築するように構成された特徴推定装置を提供する。

　本発明によれば、機械学習を利用して対象の特徴を推定する際に、推定の狙いとする条件の下で特定された特徴の個数に依らず、高精度に推定することが可能な特徴推定方法及び特徴推定装置が提供される。
　また、本発明によれば、上述した本発明の特徴推定方法をコンピュータによって実現するためのプログラム、及び当該プログラムを記録した記録媒体をも提供することが可能である。

化合物の物性値を条件毎に示す表である。 転移学習の問題点についての説明図である。 機械学習によって導出される関数族についての説明図である。 本発明の機械学習による効果を示す図である。 本発明の一実施形態に係る推定モデルの構成を示す図である。 識別情報用演算モデルについての説明図である。 本発明の一実施形態に係る特徴推定装置のハードウェア構成を模式的に示す図である。 本発明の一実施形態に係る特徴推定装置の機能部を示すブロック図である。 特徴推定フローの流れを示す図である。 事前学習にて出力された第二ベクトルを可視化した図である。 再学習にて追加された第二ベクトルを可視化した図である。 検証実験で用いた物性値の計算データの一部を示す図である。 検証実験の結果を示す図である。

　本発明の一実施形態（以下、「本実施形態」と言う。）に係る特徴推定方法、特徴推定装置、プログラム及び記録媒体について、添付の図面を参照しながら、以下に詳細に説明する。
　なお、以下に説明する実施形態は、本発明を分かり易く説明する目的で挙げた一例にすぎず、本発明を限定するものではない。すなわち、本発明は、下記の実施形態に限られず、本発明の主旨を逸脱しない範囲において種々の改良又は変更され得る。また、当然ながら、本発明には、その等価物が含まれる。

　＜本実施形態の概要＞
　本実施形態では、機械学習を利用して対象の特徴を推定する。ここで、「対象」とは、物質、人又は動植物、構造物、若しくはその他の有体物であってもよく、あるいは、音、光、香気、若しくはその他の無体物であってもよい。
　また、「特徴」とは、対象が有する性質又は特性、対象に対する評価、対象が属する属性、若しくは対象から認識される情報（例えば、対象が音声である場合には、その音声が意味する語句等）等である。なお、本実施形態では、化合物の物性値を「対象の特徴」として推定することとする。

　本実施形態では、互いに異なる条件にて取得された物性値を示すデータを教師データとして機械学習を実施し、未知の物性値を推定する数理モデル（以下、「推定モデル」と言う。）を構築する。ここで、条件とは、物性値を特定するために設定された条件であり、本実施形態では、条件が互いに異なる２種類の条件（本発明の「第一条件」及び「第二条件」）に大別される。

　より詳しく説明すると、本実施形態では、既知のターゲットデータ及び既知の補助データを用いた機械学習を実施して、未知のターゲットデータを推定する推定モデルを構築する。本実施形態に係るターゲットデータは、推定の狙いとする条件の下で特定される物性値であり、具体的には、物性値の実測値である。なお、既知のターゲットデータは、実験を行って取得されるため、その取得数は、比較的少ない。

　ここで、既知のターゲットデータは、実測条件（図１の「実測Ａ」）の下で特定された物性値の実測値であり、図１の最上段に示された値である。図１は、複数種類の化合物の各々の物性値を条件毎に特定した結果を示す表である。なお、図１には、化合物の物性値として、有機化合物の光の吸収エネルギー量が示されている。

　図１に示すケースでは、既知のターゲットデータ（すなわち、物性値の実測値）は、数種類の化合物についてのみ得られている。一方、化合物の中には、物性値の実測値を欠くものが存在し、この欠落した実測値が未知のターゲットデータに相当する。なお、以下では、既知のターゲットデータをまとめたデータ群を「ターゲットデータソース」と呼ぶこととする。また、未知のターゲットデータについて仮に実験を行った場合に補完される物性値（すなわち、実測値）を「正解データ」と呼ぶこととする。

　また、本実施形態に係る補助データは、ターゲットデータが得られる条件以外の条件の下で特定される物性値であり、具体的には、物性値を第一原理計算の計算式等によって計算した際の計算値である。化学分野では、同一化合物の吸収波長をシミュレーションによって計算する計算手法が多数あり、それぞれの手法にて異なった計算結果が得られる。

　より具体的に説明すると、第一原理計算を用いる場合には、汎関数、溶媒効果及び基底関数等の組み合わせによって計算手法が指定されることになる。ここで、どの計算手法によって得られた計算結果が真の物性値（つまり、実測値）を良好に再現しているかについては、計算対象の化合物及び実験環境等によって変わってくる。つまり、実測値の再現精度の観点から評価した上記の計算手法の優劣は、一般的に、事前に把握することが困難であり、実際の優劣評価は、各計算手法による計算結果と実測値とを対比することで行われる。

　以上の理由から、物性値の計算結果を示す補助データは、複数得られ、具体的には、化合物の種類数と計算手法の種類との積に相当する数のデータが得られる。すなわち、図１から分かるように、既知の補助データは、既知のターゲットデータに比して圧倒的に多く、それぞれの種類の計算手法（具体的には、図１の「計算Ｂ」～「計算Ｚ」）について化合物別に得られる。
　なお、以下では、数千～数万件の補助データが入手された状況を想定して説明することとする。また、以下では、既知の補助データをまとめたデータ群を「補助データソース」と呼ぶこととする。

　また、補助データの取得条件（図１の「計算Ｂ」～「計算Ｚ」）は、物性値を第一原理計算によって計算するために設定された計算条件であり、本発明の「第一条件」として複数設定されている。これに対して、既知のターゲットデータの取得条件（図１の「実測Ａ」）は、物性値を実測するために設定された実測条件（換言すると、実験条件）であり、本発明の「第二条件」として少なくとも一つ設定されている。本実施形態では、ターゲットデータの取得条件を１つのみとするが、当然ながら、ターゲットデータの取得条件を複数設定してもよい。

　本実施形態では、上述したように、既知のターゲットデータ及び既知の補助データを用いて機械学習を実施し、未知のターゲットデータ（未測定である化合物の物性値）を推定する推定モデルを構築する。本実施形態では、機械学習が事前学習と再学習からなり、それぞれの学習がニューラルネットワークによって実施される。ニューラルネットワークは、入力層及び出力層の少なくとも２層の処理要素を含む。処理要素は、相互に結合され、処理要素間に所定の結合重み付けをもった所定のパターン（関数）とされている。

　そして、推定モデルを構成するニューラルネットワークは、入力の変化に対する化合物の物性値の応答をシミュレートするように予め学習させられる。この学習により、処理要素間の結合重み付けが、化合物及びその物性値の取得条件に関する情報（入力）と当該物性値（出力）との間の関係を反映したものになる。この結果、上記のニューラルネットワークにより、化合物の種類及び物性値の取得条件のそれぞれの組み合わせに対して、当該組み合わせに対応する物性値を推定することができる。なお、機械学習は、ニューラルネットワークに限定される訳ではなく、多項式回帰、若しくは一般化線形モデル等であってもよい。ただし、後述する識別情報用演算モデルの更新を行うことから、入力データに対して微分が可能な学習である必要がある。

　機械学習について概説すると、本実施形態に係る機械学習では、前述のように、先ず事前学習を実施し、その後に再学習を実施する。事前学習では、既知の補助データを含む学習データセット（以下、「事前学習データセット」と言う。）を用いて推定モデルを構築する。ここで、事前学習データセットは、補助データが得られた化合物の構成に関する記述情報、及び、補助データの取得条件の識別情報、並びに、補助データが示す物性値の計算値（換言すると、補助データの取得条件の下で特定された物性値）を１組とするデータセットであり、具体的には図１のデータマトリクス中、２段目以降の各段のデータから作成される。なお、記述情報及び識別情報については、後の項で詳しく説明することとする。

　そして、本実施形態では、既知の補助データと同数（すなわち、数千～数万個）の事前学習データセットが作成され、作成した事前学習データすべてを用いて事前学習を実施する。そして、事前学習により推定モデルが構築されるが、換言すると、推定モデル中のパラメータ（具体的には、後述のパラメータθ、φ、ψ）が設定される。

　再学習では、既知のターゲットデータを含む学習データセット（以下、「再学習データセット」と言う。）を用いて推定モデルの一部を再構築する。ここで、再学習データセットは、ターゲットデータが得られた化合物の構成に関する記述情報、及び、ターゲットデータの取得条件の識別情報、並びに、ターゲットデータが示す物性値の実測値（換言すると、ターゲットデータの取得条件の下で特定された物性値）を１組とするデータセットであり、具体的には図１のデータマトリクス中、最上段のデータから作成される。

　ここで、再学習データセットの作成数は、少数（数個～数十個程度）であるため、再学習は、少数の再学習データセットを用いて実施されることになる。換言すると、本実施形態では、再学習に用いられる物性値の実測値（つまり、第二条件の下で特定された特徴）のデータ数が、事前学習に用いられる物性値の計測値（つまり、第一条件の下で特定された特徴）のデータ数よりも圧倒的に少なくなっている。

　そして、再学習により推定モデルの一部が再構築され、換言すると、推定モデル中の一部のパラメータ（具体的には、後述のパラメータθ）が更新される。この結果、未知のターゲットデータ、すなわち未測定である化合物の物性値を推定する推定モデルが構築される。この推定モデルによれば、未測定である化合物の物性値について、精度よく実測値を推定（予測）することができるので、実験を行うことなく実測値の欠落を補完することが可能となる。

　＜従来の特徴推定手法について＞
　本実施形態の詳細を説明するにあたり、その比較例として、化合物の物性値を推定する従来手法について、３つの例を挙げて説明することとする。

　（従来手法１）
　従来手法１は、既知のターゲットデータと既知の補助データとの関係を定量化し、その関係を利用して、未知のターゲットデータを予測する回帰分析法である。具体的に説明すると、従来手法１では、例えば、図１に示すデータマトリクス中、最上段のターゲットデータ（すなわち、実測値）と２段目の補助データ（すなわち、計算Ｂによる計算結果）とに着目し、両方のデータが揃っている化合物（図１では、化合物１、化合物３及び化合物Ｎ）を選び、それぞれの化合物のターゲットデータ及び補助データの間で回帰分析を実施する。これにより、回帰モデル（具体的には、回帰式）が分析結果として得られる。この回帰モデルに、実測値が未知である化合物の計算結果を入力すると、実測値の推定値が得られる。

　以上に説明した従来手法１では、多数取得された補助データのうち、ごく一部のデータのみを分析に用いるので、分析結果が取得した補助データのすべてを反映したものとなっていない虞がある。また、回帰モデルが示す関数（具体的には、回帰式）が、ターゲットデータと補助データとの関係を的確に表現できるように設定されなければ、推定精度が低くなるという問題がある。

　（従来手法２）
　従来手法２は、化合物の構造と共に、化合物の物性値の取得条件を記述情報として表現し、それぞれの記述情報を入力とする推定モデルを構築する手法である。具体的に説明すると、各化合物の構成に関する記述情報と、様々な物性値の取得条件（具体的には、実測条件及び計算条件）を表す記述情報と、各取得条件の下で特定した各化合物の物性値と、を１組とする学習データセットを作成し、その学習データセットを用いた機械学習を実施して、推定モデルを構築する。この推定モデルによれば、ある化合物の構成に関する記述情報と、実測条件に関する記述情報と、を入力すると、ある化合物の物性値の実測値を推定（予測）することができる。

　以上に説明した従来手法２では、物性値の取得条件の記述情報を人手で設定するため、記述情報が適切に設定されない虞がある。より具体的に説明すると、取得条件に関わる事項が複数存在する場合、その中から、物性値に影響を及ぼす重要な事項を記述情報として選出する必要がある。仮に、この重要事項が選出されなければ、物性値の推定精度が低下する虞がある。また、重要事項が選出されたとしても、その内容が記述情報として数値化できないものであるならば、推定モデルに組み込めず、結果として推定モデルを適切に構築することができない虞がある。

　（従来手法３）
　従来手法３は、既知の補助データを用いて事前学習を実施した後に、少数の既知のターゲットデータを用いて再学習を実施することで推定モデルを構築する手法である。かかる点において、従来手法３は、本実施形態（すなわち、本発明の特徴推定方法）と共通する。ただし、従来手法３は、１種類の条件（具体的には、一種類の計算条件）の下で得られた補助データを用いて事前学習を実施する点で本実施形態と異なる。

　従来手法３について詳しく説明すると、従来手法３は、いわゆる転移学習である。転移学習では、先ず、既知の補助データ（例えば、図１中の２段目に示す計算Ｂによる計算結果）と、そのデータが得られた化合物の構成に関する記述情報とを１組とする学習データセットを作成し、この学習データセットを用い、ニューラルネットワークによる事前学習を実施する。事前学習により、物性値の計算結果を推定するニューラルネットワークの推定モデルが構築され、換言すると、推定モデル中の各パラメータが設定される。

　その後、ターゲットデータ（すなわち、物性値の実測値）と、そのデータが得られた化合物の構成に関する記述情報とを１組とする学習データセットを作成し、この学習データセットを用いて、ニューラルネットワークによる再学習を実施する。再学習により、事前学習により構築されたニューラルネットワーク推定モデルが、物性値の実測値を推定するモデルとして再構築され、換言すると、推定モデル中のパラメータの一部が更新される。

　以上に説明した従来手法３としての転移学習では、前述したように、多数の補助データのうち、１種類の取得条件の下で得られた補助データのみを事前学習に用いる。その場合には、未知のターゲットデータの正解データ（分かり易くは、未測定である化合物の物性値の実測値）を表現することが可能な正解関数について、当該正解関数が属する関数族を事前学習によって導き出すことが困難である。

　また、転移学習では、再学習の際に更新されるパラメータ（再学習パラメータ）が、ニューラルネットワークによって構成される推定モデルのうち、出力層又は出力層付近の層に存在する。そのため、再学習パラメータの数が少ない場合には、再学習後の推定モデルによって表現される関数が正解関数から外れてしまう虞がある。この問題について詳しく説明すると、一般に、ターゲットデータソースのデータ数が非常に少ない場合には、再学習におけるターゲットデータへの過学習を避けるために、再学習パラメータの数を極力小さく設定する必要がある。ここで、再学習パラメータの数を１と設定したケースを想定する。なお、このようなケースは、例えば、ターゲットデータが数個しか得られていない場合等において現実的に起こり得るケースである。

　転移学習において再学習パラメータが１である場合、転移学習の再学習は、ベースライン補正と等価となる。ここで、図２に示す具体例を参照しながら具体的に説明すると、事前学習にて構築された推定モデルによって表現される関数（図２中の関数ｆｐ）が、例えば下記式（ａ１）によって示される関数であるとする。
　　ｆｐ：ｙ＝Ａｘ^２＋θ_１　　　　（ａ１）
　上式において、定数Ａ及びθ_１は、事前学習によって設定されるパラメータに該当する。
　そして、転移学習において再学習パラメータが１であるときに、少数のターゲットデータを用いて再学習すると、再学習後の推定モデルによって表現される関数（図２中の関数ｆｑ）が下記式（ａ２）によって示される関数となる。つまり、再学習パラメータが１であるときの再学習は、関数ｆｐのパラメータθ_１をθ_２にベースライン補正するものとなる。
　　ｆｑ：ｙ＝Ａｘ^２＋θ_２　　　　（ａ２）

　以上のように、転移学習の場合、再学習パラメータが１である場合に再学習を実施すると、図２に示すように、推定モデル中のパラメータをベースライン補正にて更新する。ただし、事前学習にて構築される推定モデルが示す関数ｆｐと正解関数（図２中の関数ｆｒ）とが、上述のベースライン補正だけでは説明することができない複雑な関係にある場合、上述した再学習後の推定モデルでは、未知のターゲットデータを推定する際の精度が低くなってしまう。

　＜本実施形態に係る推定モデルについて＞
　本発明者らは、鋭意検討により、上述した従来手法が抱える問題を解決する推定モデルとして、本実施形態に係る推定モデルを完成させた。本実施形態に係る推定モデルについて説明すると、当該推定モデルは、化合物の構成に関する記述情報及びデータ取得条件の識別情報から物性値を推定するモデルである。本実施形態において、推定モデルは、２つのフェーズの機械学習、具体的には前述した事前学習及び再学習によって構築される。

　事前学習では、多数ある既知の補助データをすべて用いて、ニューラルネットワークによる学習を実施し、推定モデルを構築する。ここで、事前学習で構築される推定モデルは、正解関数が属する関数族（以下、関数族Ｆ）を反映している。つまり、事前学習では、図３に示すように、多数の補助データの各々が示す化合物の物性値の計算値に基づき、関数全体の中から関数族Ｆを導出する。要するに、事前学習は、正解関数を大まかに捉える上で当該正解関数が属する関数族Ｆを導出することを目的として実施される。

　再学習では、事前学習にて構築された推定モデル中の一部のパラメータを、少数の既知のターゲットデータに基づいて更新する。これにより、関数族Ｆの中から、未知のターゲットデータを推定する関数が導出される。つまり、本実施形態では、正解関数が属する関数族Ｆを事前学習によって導出しておくことにより、その後の再学習に用いられるターゲットデータの数が少数であっても、当該ターゲットデータが示す物性値の実測値を適切に表現し得る複雑な関数を得ることができる。

　ここで、推定モデルのパラメータについて説明すると、本実施形態ではニューラルネットワークによる機械学習が実施されるが、本実施形態では、ニューラルネットワークにおいて膨大な数のパラメータが用いられる。また、ニューラルネットワークによる機械学習によれば、実質的に任意の関数を表現することが可能である。

　また、本実施形態では、ニューラルネットワークによる機械学習のパラメータを２つのグループ（以下、パラメータＰ，Ｑ）に大別する。殆どのパラメータは、パラメータＰに属することとし、極少数のパラメータがパラメータＱに属することとする。

　また、ニューラルネットワークによる機械学習によって推定モデルを構築したとき、当該推定モデルによる物性値の推定値ｆ（ｉ）は、下記式（ａ３）から求められる。
　　ｆ（ｉ）＝（ｉ,Ｐ,Ｑ）　　　　（ａ３）
　上式（ａ３）において、ｉは、推定モデルへの入力情報であり、具体的には、化合物の構成に関する記述情報が該当する。

　また、上式（ａ３）においてパラメータＰを固定すると、物性値の推定値ｆ（ｉ）は、パラメータＱを変数とする関数族とみなすことができる。

　ここで、各補助データが示す物性値の計算値を表現する関数と、各ターゲットデータが示す物性値の実測値を表現する関数とが、いずれも同一の関数族Ｆに属する一方で、それぞれの関数間でパラメータが異なると仮定する。より詳しく説明すると、補助データとターゲットデータとの間では、データ取得条件が異なっているが、パラメータＰは、その条件に拘わらず共通であると仮定する。他方、パラメータＱについては、データ取得条件に応じて変化するものと仮定する。

　そして、本実施形態では、ニューラルネットワークによる機械学習を実施することで、上述のパラメータを設定する。具体的に説明すると、先ず、多数ある既知の補助データ（物性値の計算値）を用いて事前学習を実施することで、パラメータＰを設定する。また、事前学習のフェーズでは、各補助データが示す物性値の計算値を表現するのに必要なパラメータＱが設定される。これにより、各補助データが示す物性値の計算値を表現する複数の関数、すなわち、関数族Ｆを導出することができる。

　事前学習の実施後には、少数の既知のターゲットデータ（物性値の実測値）を用いて再学習を実施する。このとき、パラメータＰを固定し、ニューラルネットワークによる再学習を実施する。再学習の実施により、パラメータＱは、ターゲットデータが示す物性値の実測値を推定するのに適した値へと更新される。なお、パラメータＱの数が十分に小さいことから、少数のターゲットデータであっても、パラメータＱを適切に設定することが可能である。

　以上のような手順により、パラメータＰ、Ｑが設定される結果、未知のターゲットデータ（つまり、未測定である化合物の物性値の実測値）を推定することが可能な推定モデルが構築される。そして、推定モデルを用いれば、上述した従来手法の問題を解決し、未知のターゲットデータを精度よく推定することができる。より詳しく説明すると、本実施形態は、既知の補助データ及び既知のターゲットデータをすべて用いる点で、補助データの一部のみを用いる従来手法１（回帰分析）と異なる。また、従来手法１では、ターゲットデータと補助データとの関係を的確に表現するために回帰式の形を予め把握しておく必要がある。これに対して、本実施形態では、ニューラルネットワークによる機械学習が実施されることで、関数族Ｆが自動的に抽出されるため、関数の式の形を予め把握しておくことを要しない。かかる点において、本実施形態は、従来手法１よりも有利である。

　また、本実施形態では、従来手法２のように、物性値の取得条件に関する記述情報を人手で設定する必要がなく、具体的には、取得条件の識別情報（具体的にはｉｄ情報）を用いて機械学習を実施する。このため、本実施形態では、取得条件の記述情報が適切に設定されないために物性値の推定精度が低下する事態を回避し、また、物性値の取得条件のうち、物性値の推定精度に影響を及ぼす事項を自動的に抽出することができる。かかる点において、本実施形態は、従来手法２よりも有利である。

　また、従来手法３（転移学習）では、既知の補助データのうち、一種類の条件の下で得られた補助データのみを用いて事前学習を実施するのに対し、本実施形態では、前述したように、多数ある既知の補助データのすべてを用いて事前学習を実施する。これにより、本実施形態では、正解関数が属する関数族Ｆを良好に推定することが可能である。

　また、転移学習では、再学習パラメータの数が１となると、再学習がベースライン補正（単なる定数の加算）となるため、未知のターゲットデータの推定精度が低下する虞がある。これは、転移学習では、再学習パラメータが推定モデルの出力側に存在するためである。これに対して、本実施形態では、後述するように再学習パラメータが推定モデルの入力側に存在する。このため、本実施形態では、ターゲットデータが示す物性値の実測値を表現する関数を、再学習パラメータの数に相当する自由度の範囲内で適切に表現することができる。

　上記の内容に関して、図４を参照しながら詳しく説明すると、本実施形態では、事前学習で、正解関数ｆｒが属する関数族Ｆ（図４には、関数族Ｆの一部である関数ｆ１～ｆ３のみを図示）が導出され、その後の再学習では、ターゲットデータが良好に当てはまる関数（図４中の関数ｆｖ）が選出される。ここで、再学習パラメータの数が１である場合、ターゲットデータが良好に当てはまる関数ｆｖについては、１自由度の範囲内で複雑な表現（例えば、非線形型の表現）が可能である。これは、再学習パラメータが推定モデルの入力側にあり、その下流側（より出力に近い側）には非線形型の演算モデル（具体的には、後述する推定結果出力モデル１３）が存在しているためである。以上により結果、再学習パラメータの数を小さくしなければならない場合であっても、転移学習よりも高い精度にて物性値の実測値を推定する推定モデルが構築されるようになる。

　次に、本実施形態に係る推定モデルの構成について、図５を参照しながら説明する。本実施形態に係る推定モデル（以下、推定モデル１０）は、図５に示すように、記述情報用演算モデル１１と、識別情報用演算モデル１２と、推定結果出力モデル１３とによって構成されている。以下、各構成モデルについて説明する。

　（記述情報用演算モデル）
　記述情報用演算モデル１１は、図５に示す通り、推定モデル１０の入力側を構成する。この記述情報用演算モデル１１は、化合物の構成に関する記述情報が入力されることで演算後記述情報を出力する。ここで、入力情報である記述情報は、化合物の構造を線形表記法に則って記述したグラフ表現である。グラフ表現とは、化合物を構成する原子の原子番号、及び化合物内の結合情報を列挙した可変長記述子のことである。

　なお、記述情報については、グラフ表現に限定されず、例えば、化合物の構造についての文字列表現、具体的には、ＳＭＩＬＥＳ記法（Simplified Molecular Input Line Entry System）による記述子であってもよい。ただし、ＳＭＩＬＥＳ記述子を用いる場合には、同一化合物に対して多数の等価な表現方法が存在したり、環構造を持つ場合には隣接原子が文字列上の離れた場所に記載されるため長距離相関を持ったりするため、データ効率が悪い。一方、グラフ表現は、一意的に定まり、また、隣接原子の情報を明示的に機械学習に与えることができるため、データ効率が良い。
　また、記述情報の他の例としては、ｋ次元（ｋは自然数）の固定次元ベクトル表現であってもよい。ここで、固定次元ベクトル表現とは、化合物の特性のうち、安価に計算できるもの（原子数等）を事前にｋ個定め、各化合物について、それらの特性を事前に計算してベクトル表現することで化合物の記述子としたものである。この固定次元ベクトル表現を用いる場合には、無数にある特性のうち、どの特性が物性値推定精度の向上に有効であるかを事前に検討する必要がある。一方、グラフ表現では、化合物のグラフから物性値推定に適した特性を機械学習にて自動的に特定することができるため、事前に人手によって有効な特性の選択を行う必要がない。

　また、出力情報である演算後記述情報は、多次元の第一ベクトルである。つまり、記述情報用演算モデル１１は、グラフ表現となった化合物の構造を示す記述情報を、固定次元ベクトルに変換する（エンコード）する演算モデルである。なお、演算後記述情報である第一ベクトルの次元数は、２以上の自然数であり、好適な値に設定される。また、第一ベクトルの次元数は、記述情報用演算モデル１１中のパラメータの種類数に応じた数となっており、一般的には数十～数百に設定される。

　また、記述情報用演算モデル１１は、ニューラルネットワークによって構成されており、より具体的には、入力層、中間層及び出力層の各々が有する１又は複数のニューロン（ノード）が可塑性を持つ結合によって多数相互に結合された階層型ニューラルネットワークによって構成されている。なお、中間層の数、及び、各層におけるニューロンの数については、任意に設定することができる。また、記述情報用演算モデル１１を構成するニューラルネットワークが、中間層を有さず、入力層及び出力層のみを有する二層構造のネットワークであってもよい。

　また、記述情報用演算モデル１１を構成するニューラルネットワークは、パラメータφを有する。このパラメータφは、機械学習（厳密には、事前学習）によって設定される学習パラメータであり、前述したパラメータＰに該当する。また、パラメータφの数は、ニューラルネットワークの階層数及び各層のニューロンの数等に応じた数となる。なお、本実施形態におけるパラメータφの数については、事前学習に用いられる補助データの数を反映し、多数（例えば、数千～数万）設定されることが望ましい。これにより、記述情報用演算モデル１１をなすニューラルネットワークの表現力が高められるようになる。

　なお、本実施形態では、化合物のグラフ表現（具体的には、可変長記述子）が記述情報用演算モデル１１に入力される。すなわち、本実施形態に係る記述情報用演算モデル１１は、グラフニューラルネットワークであり、より厳密にはGoogle社考案のメッセージパッシングニューラルネットワーク（URL：https://arxiv.org/pdf/1704.01212.pdfにて公開された技術）である。メッセージパッシングニューラルネットワークは、化合物の構造に関するグラフ表現をニューラルネットワークで処理する際の代表的な構成である。

　（識別情報用演算モデル）
　識別情報用演算モデル１２は、図５に示す通り、記述情報用演算モデル１１と同様に、推定モデル１０の入力側を構成する。この識別情報用演算モデル１２は、条件の識別情報が入力されることで、演算後識別情報を出力する。ここで、入力情報である条件の識別情報とは、化合物の物性値を特定するために設定された条件を識別するための情報である。より詳しく説明すると、物性値を特定するために設定された条件は、ターゲットデータ（物性値の実測値）の取得条件、及び、補助データ（物性値の計算値）の取得条件であり、これら条件の各々に対して固有の情報が設定される。なお、本実施形態では、図１に示す「データ取得条件ｉｄ」を示す番号が識別情報として設定される。ただし、これに限定されるものではなく、番号以外の情報、例えば番号以外の文字列又は記号等を識別情報として設定してもよい。

　ちなみに、本実施形態において、データ取得条件ｉｄを示す識別情報は、ｏｎｅ－ｈｏｔ表現された上で識別情報用演算モデル１２に入力される。また、本実施形態において、ターゲットデータの取得条件（すなわち、実測条件）は、１種類のみとし、その条件に対して、データ取得条件ｉｄ＝０が識別情報として設定されることとする。他方、補助データの取得条件（すなわち、計算条件）は、数十種類存在し、それぞれの計算条件に対して、１以降の連番からなるデータ取得条件ｉｄが識別情報として設定されることとする。

　また、出力情報である演算後識別情報は、固有次元ベクトルとしての第二ベクトルである。つまり、識別情報用演算モデル１２は、入力された識別情報を固定次元ベクトルに変換（エンコード）する演算モデルである。より詳しく説明すると、識別情報用演算モデル１２は、図６に示すように、条件毎に設定された固有次元ベクトルによって構成された実数行列を含む演算モデルである。行列を構成する固有次元ベクトルの数（行数）は、条件の種類と同数である。そして、識別情報用演算モデル１２に識別情報としてのデータ取得条件ｉｄが入力されると、行列中、当該データ取得条件ｉｄに対応する行の各成分値を抽出し、抽出した成分値を要素とする固有次元ベクトルを第二ベクトルとして出力する。一例を挙げて説明すると、データ取得条件ｉｄ＝２である場合、そのデータ取得条件ｉｄが識別情報用演算モデル１２に入力されると、データ取得条件ｉｄ＝２と対応する行（つまり、図６中、太枠で囲まれた行）の成分値を抽出し、各成分値からなる第二ベクトル（－０．３，０．３，０．２，－０．４）を出力する。

　ここで、識別情報用演算モデル１２をなす行列の各成分値は、識別情報用演算モデル１２中のパラメータθに相当する。このパラメータθは、事前学習によって設定される学習パラメータであり、前述のパラメータＱに相当し、再学習によって更新される。また、パラメータθの数は、機械学習に用いられるターゲットデータ及び補助データの数に応じて設定される。より詳しく説明すると、識別情報用演算モデル１２をなす行列の行数は、既知のターゲットデータの取得条件（すなわち、実測条件）の種類数と、既知の補助データの取得条件（すなわち、計算条件）の種類数とに基づいて設定される。

　一方、上記行列の列数は、比較的小さい値（例えば、数個程度）に設定される。これは、再学習に用いられる既知のターゲットデータの数が少ない場合にパラメータ数を多く設定すると過学習が生じる可能性があることを考慮し、少量のデータであっても過学習を回避して未測定の物性値を精度よく推定することが可能な推定モデルを構築するためである。

　ここで、上記行列の列数は、識別情報用演算モデル１２から出力される第二ベクトルの次元数に相当する。そして、本実施形態において、第二ベクトルは、比較的低次元のベクトルとなり、その次元数は、識別情報用演算モデル１２のパラメータの数と同数であり、記述情報用演算モデル１１のパラメータの数よりも小さく、且つ、推定結果出力演算モデル１３のパラメータの数よりも小さくなっている。また、上述した理由から、第二ベクトルの次元数は、再学習で用いられる既知のターゲットデータの個数（すなわち、既知である物性値の実測値の数）よりも小さくなっている。

　なお、本実施形態では、識別情報用演算モデル１２が実数行列を用いた演算モデルであり、前述したように、入力された識別情報（データ取得条件ｉｄ）に対応する行の各成分値を抽出し、その成分値からなる固有次元ベクトルを出力する。ただし、これに限定されるものではなく、入力された識別情報を行列計算以外の演算で所定次元数のベクトルに変換する関数を識別情報用演算モデル１２として用いてもよい。

　（推定結果出力モデル）
　推定結果出力モデル１３は、図５に示す通り、推定モデル１０の出力側を構成する。この推定結果出力モデル１３は、非線形型の演算モデルであり、化合物の構成に関する記述情報から得られた演算後記述情報、及び条件の識別情報から得られた演算後識別情報が入力されることで物性値の推定結果を出力する。

　より厳密に説明すると、前述したように、記述情報用演算モデル１１からは演算後記述情報として第一ベクトルが出力され、識別情報用演算モデル１２からは演算後識別情報として第二ベクトルが出力される。そして、推定結果出力モデル１３は、第一ベクトル及び第二ベクトルから物性値（特徴）の推定結果を出力する。厳密には、推定結果出力モデル１３には、第一ベクトル及び第二ベクトルを結合させた結合ベクトルが入力される。推定結果出力モデル１３は、入力された結合ベクトルから物性値の推定結果を出力する。ここで、結合ベクトルとは、第一ベクトルと第二ベクトルとを直列的に結合したベクトルであり、その次元数は、第一ベクトルの次元数と第二ベクトルの次元数との和に等しい。

　また、推定結果出力モデル１３は、ニューラルネットワークによって構成されており、より具体的には、入力層、中間層及び出力層からなる階層型ニューラルネットワーク（厳密には、広く一般的に用いられる全結合型ニューラルネットワーク）によって構成されている。なお、中間層の数、及び各層におけるニューロンの数については、任意に設定することができる。また、推定結果出力モデル１３を構成するニューラルネットワークが中間層を有さず、入力層及び出力層のみを有する二層構造のネットワークであってもよい。

　また、推定結果出力モデル１３を構成するニューラルネットワークは、パラメータψを有する。このパラメータψは、機械学習（厳密には、事前学習）によって設定される学習パラメータであり、前述したパラメータＰに相当する。また、パラメータψの数は、ニューラルネットワークの階層数及び各層のニューロンの数等に応じた数となる。なお、本実施形態におけるパラメータψの数については、事前学習に用いられる補助データの数を反映し、多数（例えば、数千～数万）設定されることが望ましい。これにより、推定結果出力モデル１３をなすニューラルネットワークの表現力が高められるようになる。

　＜本実施形態に係る特徴推定装置の構成＞
　次に、本実施形態に係る特徴推定装置２０の構成例について、図７及び図８を参照しながら説明する。なお、図７では、外部インタフェースを「外部Ｉ／Ｆ」と記載している。

　本実施形態に係る特徴推定装置２０は、図７に示されるとおり、制御部２１、記憶部２２、外部インタフェース２３、入力装置２４、出力装置２５、及びドライブ２６が電気的に接続されたコンピュータである。ここで、特徴推定装置２０をなすコンピュータは、１台であってもよく、あるいは複数台であってもよい。

　制御部２１は、ハードウェアプロセッサであるCentral Processing Unit（ＣＰＵ）、Random Access Memory（ＲＡＭ）、Read Only Memory（ＲＯＭ）等を含み、プログラム及びデータに基づいて各種のデータ処理を実行するように構成されている。なお、制御部２１は、１又は複数の専用のハードウェアプロセッサを含んでもよい。

　記憶部２２は、制御部２１で実行される特徴推定用のプログラム３１、及び、ニューラルネットワークの機械学習に利用するデータ群３２等を記憶する。特徴推定用のプログラム３１は、本実施形態に係る特徴推定方法によって機械学習を実施して推定モデル１０を構築する処理をコンピュータに実行させるためのプログラムであり、本実施形態では記録媒体２７から読み取られることで記憶部２２に記憶される。機械学習用のデータ群３２は、各化合物の構成に関する記述情報、既知であるターゲットデータ及び補助データ、並びにこれらのデータの取得条件の識別情報等である。

　外部インタフェース２３は、外部装置と接続するためのインタフェースである。特徴推定装置２０は、外部インタフェース２３を介して、外部の機器（例えば、インターネットに接続された他のコンピュータ、及び、物性値の計測機器等）と通信することで、機械学習用のデータ群３２の一部又は全部を取得することができる。

　入力装置２４は、例えばマウス及びキーボード等からなり、ユーザの入力操作を受け付ける。特徴推定装置２０は、ユーザが入力装置２４を通じて物性値の実測値又は計算値等を入力することで、機械学習用のデータ群３２の一部又は全部を取得することができる。
　出力装置２５は、例えばディスプレイ及びスピーカ等からなり、特徴推定装置２０が推定した化合物の物性値等を出力するための装置である。

　ドライブ２６は、例えば光学ディスクドライブ、磁気ディスクドライブ、ハードディスクドライブ及びメモリドライブ等からなり、記録媒体２７に記憶されたプログラムを読み込むためのドライブ装置である。なお、ドライブ２６の種類は、記録媒体２７の種類に応じて適宜選択されてよい。また、記録媒体２７に機械学習用のデータ群３２の一部又は全部が記憶されている場合、特徴推定装置２０は、ドライブ２６が記録媒体２７を読み取ることで上記機械学習用のデータ群３２の一部又は全部を取得することができる。

　記録媒体２７は、コンピュータ及びその他装置又は機械等によって読み取り可能な各種のデータ及びプログラム等を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。本実施形態では、前述したように、記録媒体２７に特徴推定用の学習プログラム３１が記憶されている。なお、記録媒体２７の一例として、ＣＤ及びＤＶＤ等の光学ディスク、磁気ディスク、ハードディスク等の内蔵ストレージ、フラッシュメモリ等の半導体メモリ、並びにメモリーカード等を挙げることができる。

　なお、特徴推定装置２０の具体的なハードウェア構成に関しては、実施形態に応じて適宜、構成機器の追加、省略及び置換が可能である。

　特徴推定装置２０の構成を機能面から改めて説明すると、特徴推定装置２０は、図８に示すように、データ記憶部４１、学習データセット作成部４２、モデル構築部４３及び物性値推定部４４を有する。これらの機能部は、前述した特徴推定装置２０を構成するハードウェア機器と、ソフトウェアである特徴推定用のプログラム３１とが互いに協働することで実現される。

　データ記憶部４１は、機械学習用のデータ群３２を記憶する。学習データセット作成部４２は、データ記憶部４１に記憶されたデータ群３２から学習データセットを作成し、より詳しくは、事前学習に際して事前学習データセットを作成し、再学習に際して再学習データセットを作成する。

　モデル構築部４３は、学習データセット（すなわち、化合物の構成に関する記述情報、データ取得条件の識別情報、及び化合物の物性値のセット）を用いた機械学習を実施して推定モデル１０を構築する。本実施形態において、モデル構築部４３は、前述したように２段階のフェーズで機械学習を実施し、より詳しくは事前学習を実施した後に再学習を実施する。また、モデル構築部４３は、それぞれの学習をニューラルネットワークによって実施する。
　物性値推定部４４は、モデル構築部４３によって構築された推定モデル１０を用いて、未測定である化合物の物性値の実測値を推定し、その推定結果を出力する。

　なお、上述した特徴推定装置２０の各機能部（すなわち、データ記憶部４１、学習データセット作成部４２、モデル構築部４３及び物性値推定部４４）は、のハードウェア構成は、専用のハードウェアであってもよいし、プログラムを実行する各種のプロセッサまたはコンピュータであってもよい。
　また、各種のプロセッサには、ソフトウェア（プログラム）を実行して各機能部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、及びＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理をさせるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
　また、一つの機能部を、これら各種のプロセッサのうちの一つで構成してもよいし、同種または異種の二つ以上のプロセッサの組み合わせ、例えば、複数のＦＰＧＡの組み合わせ、または、ＦＰＧＡ及びＣＰＵの組み合わせ等によって構成してもよい。また、複数の機能部を、各種のプロセッサのうちの一つで構成してもよいし、複数の機能部のうちの二つ以上をまとめて一つのプロセッサを用いて構成してもよい。
　また、例えば、サーバおよびクライアント等のコンピュータに代表されるように、一つ以上のＣＰＵとソフトウェアの組み合わせで一つのプロセッサを構成し、このプロセッサが複数の機能部として機能するケースが考えられる。ちなみに、本実施形態は、このケースに該当する。
　また、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の機能部を含むシステム全体の機能を一つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。
　さらに、上記各種のプロセッサのハードウェア構成は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（Circuitry）である。

　＜本実施形態に係る特徴推定方法について＞
　次に、本実施形態に係る特徴推定方法について説明する。なお、以下では、本実施形態に係る特徴推定方法を採用したデータ処理（以下、「特徴推定フロー」と言う。）の手順について、図９を参照しながら説明することとする。なお、図９に示す各ステップＳ００１～Ｓ００５は、本実施形態に係る特徴推定方法の構成要素に相当する。

　特徴推定装置２０を構成するコンピュータ（以下、単に「コンピュータ」と言う。）のユーザがフロー開始操作（例えば、特徴推定用のプログラム３１を起動するための操作）を行い、特徴推定用のプログラム３１が起動すると、これをトリガーとして特徴推定フローが開始される。

　なお、特徴推定フロー開始前の時点で機械学習用のデータ群３２が既に取得済みであって予めコンピュータの記憶部２２に記憶されていてもよく、あるいは、特徴推定フローの開始後に上記のデータ群３２を取得してもよい。以下では、特徴推定フローの開始時点で上記のデータ群３２が記憶部２２に記憶されているケースを例に挙げて説明することとする。

　特徴推定フローでは、先ず、コンピュータが、記憶部２２に記憶されたデータ群３２から事前学習データセットを作成する（Ｓ００１）。本ステップＳ００１にて事前学習データセットを作成するにあたり、コンピュータは、化合物の物性値を推定する上で必要な既知の補助データを記憶部２２から読み出す。この際、コンピュータは、補助データが取得された化合物の構成に関する記述情報（具体的には、グラフ表現）と、補助データの取得条件の識別情報（具体的には、計算条件に該当するデータ取得条件ｉｄ）と、を併せて記憶部２２から読み出す。そして、コンピュータは、補助データが示す物性値の計算値、記述情報及び識別情報を１組とする事前学習データセットを、補助データの数だけ作成する。

　なお、本実施形態では、数百～数千種類の化合物の各々について数十種類の計算条件の下で物性値が計算されるため、補助データソースが膨大なデータ数となる。このため、ステップＳ００１では、数千～数万個の事前学習データが作成されることになる。

　次に、コンピュータは、多数ある事前学習データセットを用いて事前学習を実施する（Ｓ００２）。つまり、本ステップＳ００２では、各補助データが得られた化合物の構成に関する記述情報と、当該各補助データの取得条件の識別情報と、当該各補助データが示す物性値の計算値とを用いて事前学習が実施される。この事前学習により、正解関数が属する関数族Ｆを多量の補助データソースから導出する。

　より詳しく説明すると、事前学習を実施することにより、記述情報用演算モデル１１、識別情報用演算モデル１２、及び推定結果出力モデル１３とが構築される。換言すると、事前学習では、コンピュータが上記３つの演算モデルの各々についてパラメータθ、φ、ψを設定する。

　また、ステップＳ００２において、コンピュータは、ニューラルネットワークによって事前学習を実施する。具体的に説明すると、コンピュータは、事前学習において、各演算モデルのパラメータθ、φ、ψを初期化した後、予測誤差評価関数Ｌが最小化するように、それぞれのパラメータを、下記の式（ｂ１）～（ｂ４）に従って連続的に計算する。
　L(x,id; θ_t,φ_t,ψ_t) = ［f(x,id; θ_t,φ_t,ψ_t)-y］²　　　（ｂ１）
　θ_t+1 = θ_t＋ε∇_θL（x, θ_t,φ_t,ψ_t）　　　　　　　　　 （ｂ２）
　φ_t+1 = φ_t＋ε∇_φL（x, θ_t,φ_t,ψ_t）　　　　　　　　　 （ｂ３）
　ψ_t+1 = ψ_t＋ε∇_ψL（x, θ_t,φ_t,ψ_t）　　　　　　　　　 （ｂ４）

　なお、上記式（ｂ１）～（ｂ４）の各変数の定義は、以下の通りである。
　　Ｌ：物性値の予測誤差評価関数
　　ｆ：推定モデルによる物性値の推定値
　　ｘ：化合物の構成に関する記述情報（例えば、グラフ表現）
　　id：条件の識別情報（例えば、データ取得条件id）
　　ｙ：学習用のデータが示す物性値
　　θ：記述情報用演算モデル１１のパラメータ
　　φ：識別情報用演算モデル１２のパラメータ
　　ψ：推定結果出力モデル１３のパラメータ
　　ε：学習係数
　　ｔ：学習ステップを示す回数（ｔ＝１,２,３,・・・・・）

　そして、予測誤差評価関数Ｌの値が収束した時点で事前学習を終了する。なお、予測誤差評価関数Ｌの勾配の推定には、広く一般的に用いられる誤差逆伝播法（バックプロパゲーション）が利用可能である。ただし、これに限定されるものではなく、誤差逆伝播法とそれ以外の方法（例えば勾配降下法等）を組み合わせて利用してもよい。

　また、事前学習が終了した時点では、事前学習に用いられた補助データのそれぞれについて、補助データの取得条件の識別情報（つまり、計算条件に該当するデータ取得条件ｉｄ）と対応する第二ベクトルが出力される。なお、これらの第二ベクトルを２次元平面に射影することにより、図１０に示す散布図が得られる。

　次に、コンピュータは、記憶部２２に記憶されたデータ群３２から再学習データセットを作成する（Ｓ００３）。本ステップＳ００３にて再学習データセットを作成するにあたり、コンピュータは、化合物の物性値を推定する上で必要な既知のターゲットデータを記憶部２２から読み出す。この際、コンピュータは、ターゲットデータが取得された化合物の構成に関する記述情報（具体的には、グラフ表現）と、ターゲットデータの取得条件の識別情報（具体的には、実測条件に該当するデータ取得条件ｉｄ）と、を併せて記憶部２２から読み出す。そして、コンピュータは、ターゲットデータが示す物性値の実測値、記述情報及び識別情報を１組とする再学習データセットを、ターゲットデータの数だけ作成する。

　なお、本実施形態では、数種類の化合物のみについて物性値が実測されるため、ターゲットデータソースは、少量のデータ数となる。このため、ステップＳ００３では、数個～数十個の再学習データが作成されることになる。

　次に、コンピュータは、少量の再学習データセットを用いて再学習を実施する（Ｓ００４）。つまり、本ステップＳ００２では、各ターゲットデータが得られた化合物の構成に関する記述情報と、当該各ターゲットデータの取得条件の識別情報と、当該各ターゲットデータが示す物性値の実測値とを用いて再学習が実施される。この再学習により、事前学習で導出された関数族Ｆのうち、ターゲットデータが良好に当てはまる関数ｆｖを少量のターゲットデータソースから見つけ出すことができる。

　より詳しく説明すると、再学習では、コンピュータが、記述情報用演算モデル１１中のパラメータφ、及び推定結果出力モデル１３中のパラメータψを固定したまま、識別情報用演算モデル１２中のパラメータθを、再学習データセット（すなわち、物性値の実測条件及びその実測値）に基づいて更新される。さらに詳しく説明すると、再学習では、識別情報用演算モデル１２のパラメータθとして、識別情報用演算モデル１２をなす行列中の成分値を更新する。より厳密には、上記の行列中、ターゲットデータ取得条件の識別情報、すなわち、データ取得条件ｉｄ＝０と対応する行（図６に示すケースでは、１行目）の各成分値を更新する。

　また、ステップＳ００４において、コンピュータは、ニューラルネットワークによって再学習を実施する。具体的に説明すると、コンピュータは、再学習において、識別情報用演算モデル１２中のパラメータθのうち、更新対象であるデータ取得条件ｉｄ＝０と対応する行の各成分値を初期化した後、前述した（ｂ３）に従って連続的に計算する。そして、予測誤差評価関数Ｌの値が収束した時点で再学習を終了する。なお、予測誤差評価関数Ｌの勾配の推定には、誤差逆伝播法（バックプロパゲーション）が利用可能であるが、それ以外の方法（例えば勾配降下法等）と組み合わせて利用してもよい。

　また、再学習が終了した時点では、再学習に用いられたターゲットデータについて、当該ターゲットデータの取得条件の識別情報（すなわち、データ取得条件ｉｄ＝０）と対応する第二ベクトルが追加して出力される。この追加された第二ベクトルは、２次元平面に射影されることで、図１１に示す散布図として、事前学習時に出力された第二ベクトルと共に可視化することができる。

　そして、再学習が実施されることにより、未測定である化合物の物性値を推定する推定モデル１０が構築される。この推定モデル１０は、物性値が未測定である化合物の構成に関する記述情報と、物性値の実測条件の識別情報とを入力として、当該実測条件の下で特定される物性値の実測値を推定し、その推定結果を出力する。この推定モデル１０によれば、未測定である化合物の物性値を精度よく推定（予測）することが可能となる。

　上記の推定モデル１０について補足しておくと、推定モデル１０は、ターゲットデータが良好に当てはまる関数ｆｖを表現したものであり、この関数ｆｖは、識別情報用演算モデル１２が出力する第二ベクトルが変わると、当然異なる形になる。かかる観点から言うと、再学習によって構築される推定モデル１０は、第二ベクトルを変数とし、当該第二ベクトルの次元数を自由度として有する関数族を定義していると考えられる。つまり、第二ベクトルを固定した場合、推定モデル１０は、化合物の構成に関する記述情報を入力して、当該化合物の物性値の推定結果を出力する関数となる。また、事前学習の終了後に、第二ベクトルを各条件の識別情報（データ取得条件ｉｄ）と対応するように調整すれば、推定モデル１０が各条件の識別情報に応じた関数となる。他方、推定モデル１０が、いずれの識別情報とも対応しない第二ベクトルによって定義される関数となるようにすることもでき、この場合には、推定モデル１０によって推定される物性値が、何らかの手法による計算値、あるいは何らかの実測環境下で実測された実測値であるものと期待される。

　次に、コンピュータは、ステップＳ００４にて構築された推定モデル１０を用いて、未測定である化合物の物性値の実測値を推定する（Ｓ００５）。図１に示すケースを例に挙げて説明すると、例えば、物性値が実測されていない化合物２について物性値の実測値を推定する場合には、化合物２の構造に関するグラフ表現と、実測条件の識別情報であるデータ取得条件ｉｄ＝０と、を推定モデル１０に入力する。これにより、化合物２の物性値の実測値が推定され、その推定結果が出力装置２５によって出力される。

　以上までのステップが完了した時点で、特徴推定フローが終了する。そして、上述した特徴推定フローにより、実測値が欠落している化合物の物性値を補完することができる。

　また、上述した特徴推定フローによれば、実測値のデータ（すなわち、ターゲットデータ）の数が少ない場合であっても、化合物の物性値の実測値を精度よく推定することができる。この点において、本実施形態は、特許文献１に記載された物性値推定方法よりも有利である。

　より具体的に説明すると、特許文献１に記載の物性値推定方法のように、ニューラルネットワークによる機械学習を利用して化合物の物性値の実測値を推定（予測）する場合には、通常、実測値のデータ（すなわち、ターゲットデータ）がより多く得られているほど、推定精度が高くなる。しかしながら、物性値の実測は、手間及びコストを要するため、すべての化合物を対象として物性値を実測することは困難である。

　一方で、物性値は、前述したように、複数種類の計算条件（計算手法）によって計算することができ、各化合物の物性値をそれぞれの計算条件によって計算すれば、計算値のデータ（すなわち、補助データ）を多数取得することができる。そこで、本発明では、多数ある補助データを用いて事前学習を実施し、未測定である化合物の物性値を表現することが可能な正解関数が属する関数族Ｆを導出する。その後、少量のターゲットデータを用いて再学習を実施し、上記の関数族Ｆの中から、ターゲットデータが良好に当てはまる関数ｆｖを選び出す。

　ここで、本実施形態では、再学習にて更新されるパラメータが、推定モデル１０の入力側にある識別情報用演算モデル１２中のパラメータであり、識別情報用演算モデル１２の下流側（出力側）には、非線形型の推定結果出力モデル１３が存在する。この結果、更新されるパラメータの数が少なく、例えば、その数が仮に１であったとしても、転移学習のようにベースライン補正とはならず、上記関数ｆｖを自由度１の範囲内で、更新後のパラメータを変数とする非線形型の関数として表現することが可能となる。
　以上により、少量のターゲットデータであっても、化合物の物性値の実測値を精度よく推定することが可能な推定モデル１０を構築することが可能となる。

　なお、上述の特徴推定フローは、既知のターゲットデータが少数である場合に特に有効であるが、当然ながら、既知のターゲットデータが多数取得される場合にも利用可能である。
　また、推定モデル１０の利用目的は、当然ながら、未測定である化合物の物性値を推定する目的に限られず、例えば、モデルの推定精度を検証する等の理由から実測済みの化合物の物性値を推定するために推定モデル１０を利用してもよい。

　＜本実施形態の推定モデルの精度について＞
　以下では、上述した特徴推定フローによって構築された推定モデルの推定精度について行った検証実験と、その検証結果を説明する。
　（検証用データ）
　検証実験を実施するにあたり、化合物の物性値として、光の吸収エネルギー（換言すると、吸収波長）を示す検証用データを用意した。より詳しく説明すると、３０００種類の化合物の各々について、２６種類の汎関数のそれぞれによってＤＦＴ（Density Functional Theory 密度汎関数法）計算を行った。これにより、吸収エネルギーの計算結果を示す検証用データを、７８０００件（＝２６×３０００）用意した。なお、ＤＦＴ計算には、量子化学計算ソフトウェアＧａｕｓｓｉａｎを使用し、基底関数を６－３１Ｇとした。また、計算対象となった３０００種類の化合物は、有機分子の物性値データベースであるＱＭ９からランダムに抽出した。計算結果の一部の抜粋を図１２に示す。図１２の横軸は、化合物の種類と対応する番号（化合物番号）を表しており、縦軸は、吸収エネルギーの計算値（単位：ｅｖ）を表している。

　（検証実験）
　検証実験では、先ず、検証用データを対象として統計解析を実施し、計算条件（具体的には、汎関数の種類）の違いによる計算結果の平均偏差を求めた。より詳しく説明すると、１０点サンプリングで平均値補正を行った場合の平均偏差と、正確な平均値補正を行った場合の平均偏差とを算出した。前者の平均偏差は、０．２７ｅｖであり、後者の平均偏差は、０．１８ｅｖであった。

　次に、上述した特徴推定フローの手順にて推定モデルを構築した。ここで、推定モデルのうち、ニューラルネットワークによって構成される部分は、４層の全結合型ニューラルネットワークであり、具体的にはグラフニューラルネットワーク（厳密には、メッセージパッシングニューラルネットワーク）とした。また、推定モデルのうち、識別情報用演算モデルから出力されるベクトル（第二ベクトル）の次元数を１０次元に設定した。

　そして、２６種類の計算条件のうち、２０種類の計算条件（第一条件に相当）で３０００種類の化合物の各々について得られた検証用データ、すなわち、６００００件分の検証用データすべてを用いて事前学習を実施した。その後、残り６種類の計算条件（第二条件に相当）で５～２０種類の化合物の各々について得られた検証用データを用いて再学習を実施した。以上までの過程を経て、第二条件に相当する６種類の計算条件の下で得られる物性値の計算値を推定する推定モデルが構築される。なお、第二条件に相当する６種類の計算条件とは、汎関数の種類としての「VSXC」、「MN12L」、「tHCTHhyb」、「HISSｂPBE」、「BMK」及び「X3LYP」である。

　推定モデルの構築後、第二条件に相当する６種類の計算条件で３０００種類の化合物の各々について得られた検証用データ、すなわち、１８０００件の検証用データを用いて推定精度の評価を行った。具体的には、３０００種類の化合物の各々について、上記６種類の計算条件で吸収エネルギーを計算した場合の計算値を、推定モデルによって推定した。そして、それぞれの推定結果を対応する検証用データと比較し、それぞれの計算条件について平均絶対誤差を求めた。検証結果を図１３に示す。なお、図１３の横軸は、再学習時に用いたデータの数を表しており、縦軸は、平均絶対誤差（単位：ｅＶ）を表している。

　検証実験の結果について説明すると、図１３に示すように、第二条件に相当する６種類の計算条件の各々について、１０件のデータを用いて再学習した場合には、平均絶対誤差が０．１３～０．２２ｅＶとなった。つまり、上記６種類の計算条件の各々について、再学習に用いるデータ数が少量（１０件程度）であっても、各計算条件での計算値を推定モデルによって精度よく推定し得ることが明らかとなった。

　＜その他の実施形態について＞
　以上までに本発明の一実施形態について説明してきたが、上述の実施形態は、あくまでも一例に過ぎず、他の実施形態も考えられる。

　具体的に説明すると、上記の実施形態では、推定モデル１０の入力側に、化合物の構成に関する記述情報から固定次元ベクトルを出力する記述情報用演算モデル１１が設けられていることとした。ただし、これに限定されるものではなく、例えば、記述情報自体が固定次元ベクトルである場合には、記述情報用演算モデル１１を省略してもよい。この場合には、識別情報用演算モデル１２と推定結果出力モデル１３のみによって推定モデル１０が構成される。そして、識別情報用演算モデル１２から出力される固定次元ベクトル（第二ベクトル）と、記述情報としての固定次元ベクトルとを結合し、その結合ベクトルが推定結果出力モデル１３へ入力されることになる。

　また、上述の実施形態では、ターゲットデータの取得条件（第二条件）が、１つのみであり、補助データの取得条件（第一条件）よりも少ないこととしたが、これに限定されるものではない。第二条件に相当する条件が複数あってもよく、さらに第一条件に相当する条件より多くてもよい。

　また、上述の実施形態では、事前学習において、識別情報用演算モデル１２のパラメータθを設定し、具体的には、識別情報用演算モデル１２をなす行列の各成分値を設定することとした。また、上記の実施形態では、再学習において、識別情報用演算モデル１２中のパラメータθの一部を更新し、未測定の物性値の実測値を推定する推定モデル１０を構築することとした。ただし、これに限定されるものではなく、上述の実施形態にベイズ推定の考えを導入してもよい。

　つまり、ベイズ推定により、あるデータ取得条件の下で特定される物性値のデータが何らかの（確率的な）生成過程を通して生成されたと考え、その生成過程をモデル化する。このモデルでは、潜在変数ｚとしての第二ベクトルが正規分布に従って生成される。そして、ある化合物ｎの構造のグラフ表現を記述情報用演算モデル１１でエンコードした第一ベクトルｘｎと、潜在変数ｚである第二ベクトルから、既知関数ｆ（具体的には、推定結果出力モデル１３により表現される関数）を通して物性値のデータｙを生成する。モデル化の作業としては、先ず、事前学習を実施し、上記の既知関数ｆを特定し、且つ、各データ取得条件（厳密には、各計算条件）に対応する潜在変数ｚ（第二ベクトル）を推定する。その後、再学習を実施する。再学習では、通常のベイズ推定と同様、物性値の実測値ｙが何らかの潜在変数ｚから生成されたとみなし、潜在変数ｚが取り得る値の確率分布（事後分布）を計算する。具体的には、物性値の実測値ｙのデータ（ターゲットデータ）を用い、その実測条件と対応する潜在変数ｚについての事後分布をマルコフ連鎖モンテカルロ法でサンプリング近似する。その後、事後分布を利用して、物性値の実測値ｙについての予測分布を計算し、例えば、予測分布の平均値を実測条件下での物性値の推定値とする。以上のような手順により、物性値の実測値を推定してもよい。

　また、上述の実施形態では、化合物の構成に関する記述情報、及び実測条件の識別情報を入力として、化合物の物性値の実測値を推定するケースを例に挙げて説明したが、本発明は、その他の特徴を推定する場合にも適用可能である。例えば、「人の声」を対象とし、その声が意味する語句（表音文字）を特徴として推定するケースにおいても、本発明は適用され得る。

　より詳しく説明すると、推定対象者及び複数の非推定対象者の各々の声の音声データを解析して、それぞれの声が意味する語句（表音文字）を特定する。ここで、音声データが「記述情報」であり、声を発する人が「条件」に該当し、その人の名前又は識別ＩＤが「識別情報」に該当する。また、非推定対象者が「第一条件」に該当し、推定対象者が「第二条件」に該当する。また、推定対象者の音声データから特定した語句（表音文字）が「ターゲットデータ」に相当し、非推定対象者の音声データから特定した語句（表音文字）が「補助データ」に該当する。そして、上述の実施形態と同様に、補助データのすべてを用いて事前学習を実施した後に、ターゲットデータを用いて再学習を実施することで、推定モデルが構築される。この推定モデルによれば、対象者の音声データと、対象者の名前又は識別ＩＤとを入力として、上記音声データの声が意味する語句（表音文字）を推定（判定）することができる。

　また、本発明のその他の適用例としては、「様々な書体で書かれた文字」を対象とし、その文字が表す語句の意味（例えば、数値）を特徴として推定するケースにおいても、本発明は適用され得る。

　より詳しく説明すると、様々な書体で書かれた文字の画像データを解析して、それぞれの文字が表す数値を特定する。ここで、画像データが「記述情報」であり、書体が「条件」に該当し、その書体の名前等が「識別情報」に該当する。また、書体のうちの特定の書体が「第二条件」に該当し、残りの書体が「第一条件」に該当する。また、特定の書体で書かれた文字の画像データから特定した数値が「ターゲットデータ」に相当し、それ以外の書体で書かれた文字の画像データから特定した数値が「補助データ」に該当する。そして、上述の実施形態と同様に、補助データのすべてを用いて事前学習を実施した後に、ターゲットデータを用いて再学習を実施することで、推定モデルが構築される。この推定モデルによれば、特定の書体で書かれた文字の画像データと、特定の書体の名前とを入力として、当該画像データが示す文字によって表される数値を推定（判定）することができる。

　１０　推定モデル
　１１　記述情報用演算モデル
　１２　識別情報用演算モデル
　１３　推定結果出力モデル
　２０　特徴推定装置
　２１　制御部
　２２　記憶部
　２３　外部インタフェース
　２４　入力装置
　２５　出力装置
　２６　ドライブ
　２７　記録媒体
　３１　プログラム
　３２　データ群
　４１　データ記憶部
　４２　学習データセット作成部
　４３　モデル構築部
　４４　物性値推定部
　ｆｖ　ターゲットデータが良好に当てはまる関数
　Ｆ　　関数族

Claims (12)

1. 　コンピュータにより、対象の特徴を推定する特徴推定方法であって、
   　コンピュータが、前記対象の構成に関する記述情報、前記特徴を特定する条件に対して設定された識別情報、及び前記条件の下で特定された前記特徴を用いた機械学習を実施して、前記記述情報及び前記識別情報から前記特徴を推定する推定モデルを構築し、
   　前記条件は、複数の第一条件と、前記複数の第一条件とは異なる第二条件と、を含み、
   　前記機械学習は、
   　前記記述情報、前記複数の第一条件の各々の前記識別情報、及び、前記複数の第一条件の各々の下で特定された前記特徴を用いた事前学習と、
   　前記第二条件の前記識別情報、及び、前記第二条件の下で特定された前記特徴を用いた再学習と、を含み、
   　前記事前学習では、コンピュータが、前記複数の第一条件の各々の前記識別情報が入力されて演算後識別情報を出力する識別情報用演算モデルと、前記記述情報又は前記記述情報から得られた情報と前記演算後識別情報とが入力されて前記特徴の推定結果を出力する非線形型の推定結果出力モデルと、を構築し、
   　前記再学習では、コンピュータが、前記推定結果出力モデル中のパラメータを固定したまま前記識別情報用演算モデル中のパラメータを前記第二条件の前記識別情報、及び、前記第二条件の下で特定された前記特徴に基づいて更新し、前記記述情報及び前記第二条件の前記識別情報から前記第二条件の下で特定される前記特徴を推定する前記推定モデルを構築することを特徴とする特徴推定方法。
2. 　前記事前学習では、コンピュータが、前記記述情報が入力されて演算後記述情報を出力する記述情報用演算モデルと、前記識別情報用演算モデルと、前記演算後記述情報と前記演算後識別情報とが入力されて前記特徴の推定結果を出力する前記推定結果出力モデルと、を構築し、
   　前記再学習では、コンピュータが、前記記述情報用演算モデル中のパラメータ、及び、前記推定結果出力モデル中のパラメータを固定したまま前記識別情報用演算モデル中のパラメータを前記第二条件の前記識別情報、及び、前記第二条件の下で特定された前記特徴に基づいて更新し、前記記述情報及び前記第二条件の前記識別情報から前記第二条件の下で特定される前記特徴を推定する前記推定モデルを構築する、請求項１に記載の特徴推定方法。
3. 　前記演算後記述情報は、多次元の第一ベクトルであり、
   　前記演算後識別情報は、第二ベクトルであり、
   　前記推定結果出力モデルは、前記第一ベクトル及び前記第二ベクトルから前記特徴の推定結果を出力するモデルである、請求項２に記載の特徴推定方法。
4. 　前記第二ベクトルの次元数は、前記記述情報用演算モデル中のパラメータの数よりも小さく、且つ、前記推定結果出力モデル中のパラメータの数よりも小さい、請求項３に記載の特徴推定方法。
5. 　前記第二ベクトルの次元数は、前記再学習で用いられる前記第二条件の下で特定された前記特徴の数よりも小さい、請求項４に記載の特徴推定方法。
6. 　前記識別情報用演算モデルは、前記条件毎に設定された固定次元ベクトルによって構成される行列を含む演算モデルであり、
   　前記再学習では、前記識別情報用演算モデル中のパラメータとして、前記行列中の成分値を更新する、請求項１乃至請求項５のいずれか一項に記載の特徴推定方法。
7. 　前記機械学習において、コンピュータは、ニューラルネットワークにより前記事前学習及び前記再学習を実施する、請求項１乃至請求項６のいずれか一項に記載の特徴推定方法。
8. 　前記推定モデルは、前記対象の前記特徴としての化合物の物性値を推定するモデルであり、
   　前記記述情報は、前記化合物の構造を線形表記法に則って記述した情報であり、
   　前記条件は、前記化合物の前記物性値を特定するために設定された条件である、請求項１乃至請求項７のいずれか一項に記載の特徴推定方法。
9. 　前記第一条件は、前記物性値を計算するために設定された計算条件であり、
   　前記第二条件は、前記物性値を実測するために設定された実測条件である、請求項８に記載の特徴推定方法。
10. 　プロセッサを備え、対象の特徴を推定する特徴推定装置であって、
    　前記プロセッサは、前記対象の構成に関する記述情報、前記特徴を特定する条件に対して設定された識別情報、及び前記条件の下で特定された前記特徴を用いた機械学習を実施して、前記記述情報及び前記識別情報から前記特徴を推定する推定モデルを構築し、
    　前記条件は、複数の第一条件と、前記複数の第一条件とは異なる第二条件と、を含み、
    　前記機械学習は、
    　前記記述情報、前記複数の第一条件の各々の前記識別情報、及び、前記複数の第一条件の各々の下で特定された前記特徴を用いた事前学習と、
    　前記第二条件の前記識別情報、及び、前記第二条件の下で特定された前記特徴を用いた再学習と、を含み、
    　前記事前学習では、前記プロセッサが、前記複数の第一条件の各々の前記識別情報が入力されて演算後識別情報を出力する識別情報用演算モデルと、前記記述情報又は前記記述情報から得られた情報と前記演算後識別情報とが入力されて前記特徴の推定結果を出力する非線形型の推定値出力モデルと、を構築し、
    　前記再学習では、前記プロセッサが、前記推定値出力モデル中のパラメータを固定したまま前記識別情報用演算モデル中のパラメータを前記第二条件の前記識別情報、及び、前記第二条件の下で特定された前記特徴に基づいて更新し、前記記述情報及び前記第二条件の前記識別情報から前記第二条件の下で特定される前記特徴を推定する前記推定モデルを構築することを特徴とする特徴推定装置。
11. 　請求項１乃至請求項９のいずれか一項に記載の特徴推定方法における前記機械学習を実施して前記推定モデルを構築する処理をコンピュータに実行させるためのプログラム。
12. 　請求項１乃至請求項９のいずれか一項に記載の特徴推定方法における前記機械学習を実施して前記推定モデルを構築する処理をコンピュータに実行させるためのプログラムが記録された、コンピュータに読み取り可能な記録媒体。

Images