JP7439923B2 - 学習方法、学習装置及びプログラム - Google Patents
学習方法、学習装置及びプログラム Download PDFInfo
- Publication number
- JP7439923B2 JP7439923B2 JP2022530377A JP2022530377A JP7439923B2 JP 7439923 B2 JP7439923 B2 JP 7439923B2 JP 2022530377 A JP2022530377 A JP 2022530377A JP 2022530377 A JP2022530377 A JP 2022530377A JP 7439923 B2 JP7439923 B2 JP 7439923B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- label
- case
- data
- cases
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000013528 artificial neural network Methods 0.000 claims description 23
- 230000009467 reduction Effects 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 238000010187 selection method Methods 0.000 claims 2
- 230000008569 process Effects 0.000 description 11
- 238000012545 processing Methods 0.000 description 9
- 238000005070 sampling Methods 0.000 description 8
- 238000012360 testing method Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 6
- 238000011156 evaluation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 2
- 230000002787 reinforcement Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、学習方法、学習装置及びプログラムに関する。
一般に、機械学習手法では、ラベルが付与された学習事例数が多いほど高い性能を達成することができる。一方で、多くの学習事例にラベルを付与することは高いコストが掛かるという問題がある。
この問題を解決するために、予測が不確実な事例にラベルを付与する能動学習法が提案されている(例えば、非特許文献1)。
Lewis, David D and Gale, William A, "A sequential algorithm for training text classiers." Proceedings of the 17th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, pp. 3-12, 1994
しかしながら、既存の能動学習法は直接的に機械学習性能を高めるように事例を選択しないため、十分な性能を達成できないことがあるという問題点がある。
本発明の一実施形態は、上記の点に鑑みてなされたもので、高性能な事例選択モデル及びラベル予測モデルを学習することを目的とする。
上記目的を達成するため、一実施形態に係る学習方法は、事例と前記事例に対するラベルとが含まれるデータGdを入力する入力手順と、第1のニューラルネットワークのパラメータと、前記データGdに含まれる各事例のうち前記ラベルが観測されている事例を表す情報とを用いて、前記データGdに含まれる各事例に対するラベルの予測値を計算する予測手順と、第2のニューラルネットワークのパラメータと、前記データGdに含まれる各事例のうち前記ラベルが観測されている事例を表す情報とを用いて、前記データGdに含まれる各事例のうち、一の事例を選択する選択手順と、前記予測値と前記データGdに含まれる各事例に対するラベルの値との第1の誤差を用いて、前記第1のニューラルネットワークのパラメータを学習する第1の学習手順と、前記第1の誤差と、前記一の事例が追加で観測された場合における前記各事例に対するラベルの予測値と前記各事例に対するラベルの値との第2の誤差とを用いて、前記第2のニューラルネットワークのパラメータを学習する第2の学習手順と、をコンピュータが実行することを特徴とする。
高性能な事例選択モデル及びラベル予測モデルを学習することができる。
以下、本発明の一実施形態について説明する。本実施形態では、事例とそのラベルが含まれる複数のデータ集合が与えられたときに、ラベルを付与する事例を選択する事例選択モデル(以下、「選択モデル」という。)と、事例に対するラベルを予測するラベル予測モデル(以下「予測モデル」という。)とを学習する学習装置10について説明する。
本実施形態に係る学習装置10には、学習時に、入力データとして、D個のグラフデータで構成されるグラフデータ集合
ここで、Gd=(Ad,Xd,yd)はd番目のグラフを表すグラフデータである。ただし、
なお、本実施形態では、一例として、グラフデータが与えられるものとするが、グラフデータ以外の任意のデータ(例えば、任意のベクトルデータ、画像データ、系列データ等)が与えられた場合についても同様に適用可能である。
テスト時(又は、予測モデル及び選択モデルの運用時等)には、ラベルが未知のグラフデータG*=(A*,X*)が与えられるものとする。このとき、なるべく少ないラベルの付与で(つまり、ラベルの付与対象として選択するノード(事例)数がなるべく少なく)、与えられたグラフ内のノードのラベルをより高い精度で予測することができる選択モデル及び予測モデルを学習することが学習装置10の目標である。そのために、本実施形態に係る学習装置10は、まず予測モデルを学習した後、学習済みの予測モデルを用いて選択モデルを学習するものとする。ただし、これは一例であって、例えば、予測モデルと選択モデルとを同時に学習してもよいし、又は予測モデルと選択モデルとを交互に学習してもよい。
なお、テスト時にはグラフ内の全てのノードのラベルが未知のグラフデータG*=(A*,X*)が与えられる場合を想定するが、グラフ内の一部のノードにラベルが付与されていてもよい(つまり、少数のノードに対するラベルが与えられていてもよい。)。
<予測モデル及び選択モデル>
予測モデル及び選択モデルは、与えられたグラフの各ノードの特徴量と、観測されているラベルと、どの事例のラベルが観測されているかを表す情報とを入力し、それらの情報を統合して出力するものであれば、任意のニューラルネットワークを用いることができる。
予測モデル及び選択モデルは、与えられたグラフの各ノードの特徴量と、観測されているラベルと、どの事例のラベルが観測されているかを表す情報とを入力し、それらの情報を統合して出力するものであれば、任意のニューラルネットワークを用いることができる。
例えば、ニューラルネットワークへの入力としては、以下の式(1)に示すzdn
(0)を用いることができる。
また、
予測モデル及び選択モデルのニューラルネットワークとしては、例えば、グラフ畳み込みニューラルネットワークを用いることができる。グラフ畳み込みニューラルネットワークを用いることにより、全事例の情報をグラフに応じて統合することができる。
ニューラルネットワークをfとして、予測モデルは、以下の式(2)で表すことができる。
また、ニューラルネットワークをgとして、選択モデルは、以下の式(3)で表すことができる。
<機能構成>
まず、本実施形態に係る学習装置10の機能構成について、図1を参照しながら説明する。図1は、本実施形態に係る学習装置10の機能構成の一例を示す図である。
まず、本実施形態に係る学習装置10の機能構成について、図1を参照しながら説明する。図1は、本実施形態に係る学習装置10の機能構成の一例を示す図である。
図1に示すように、本実施形態に係る学習装置10は、入力部101と、予測部102と、予測モデル学習部103と、選択部104と、選択モデル学習部105と、記憶部106とを有する。
記憶部106には、グラフデータ集合Gや学習対象となるパラメータΦ及びΘ等が記憶されている。
入力部101は、学習時に、記憶部106に記憶されているグラフデータ集合Gを入力する。なお、テスト時には、入力部101は、ラベルが未知のグラフデータG*を入力する。
ここで、予測モデルの学習時には、予測モデル学習部103によってグラフデータ集合GからグラフデータGdがサンプリングされた上で、このグラフデータGdのノード集合{1,・・・,Nd}から観測事例がサンプリングされる。同様に、選択モデルの学習時でも、選択モデル学習部105によってグラフデータ集合GからグラフデータGdがサンプリングされた上で、このグラフデータGdのノード集合{1,・・・,Nd}から観測事例が順次サンプリングされる。
予測部102は、予測モデル学習部103によってサンプリングされたグラフデータGdと、このグラフデータGdからサンプリングされた観測事例を表すマスクベクトルmdと、パラメータΦとを用いて、上記の式(2)により予測値(つまり、当該グラフデータGdが表すグラフの各ノードに対するラベルの値)を計算する。
なお、テスト時には、予測部102は、グラフデータG*と、このグラフデータG*の観測事例を表すマスクベクトルm*と、学習済みの予測モデルのパラメータとを用いて、上記の式(2)により予測値(つまり、当該グラフデータG*が表すグラフの各ノードに対するラベルの値)を計算する。
予測モデル学習部103は、入力部101によって入力されたグラフデータ集合GからグラフデータGdをサンプリングした上で、このグラフデータGdのノード集合{1,・・・,Nd}からNS個の観測事例をサンプリングする。なお、サンプリングする観測事例数NSは予め設定される。また、サンプリングする際、予測モデル学習部103は、ランダムにサンプリングを行ってもよいし、予め設定された何等かの分布に従ってサンプリングを行ってもよい。
そして、予測モデル学習部103は、グラフデータ集合GからサンプリングしたグラフデータGdに含まれるラベル集合ydと、予測部102によって計算された予測値との誤差を用いて、この誤差が小さくなるように学習対象のパラメータΦを更新(学習)する。
例えば、予測モデル学習部103は、以下の式(4)に示す期待予測誤差を最小化するように学習対象のパラメータΦを更新すればよい。
ただし、Lとして予測誤差ではなく、予測の誤りを表す任意の指標(例えば、負の対数尤度等)が用いられてもよい。
選択部104は、選択モデル学習部105によってサンプリングされたグラフデータGdと、このグラフデータGdからサンプリングされた観測事例を表すマスクベクトルmdと、パラメータΘとを用いて、上記の式(3)によりスコアベクトルを計算する。
なお、テスト時には、選択部104は、グラフデータG*と、このグラフデータG*の観測事例を表すマスクベクトルm*と、学習済みの選択モデルのパラメータとを用いて、上記の式(3)によりスコアベクトルを計算する。スコアベクトルが計算されることにより、ノード(事例)をラベル付与対象として選択することができる。なお、ラベル付与対象とするノードの選択方法としては、例えば、スコアベクトルの要素のうち最も値が高い要素に対応するノードを選択すればよい。これ以外にも、例えば、スコアベクトルの要素のうちその値が高い順に所定の個数の要素を選択し、これら選択された要素に対応するノードをラベル付与対象として選択してもよいし、スコアベクトルの要素のうち所定の閾値以上の値の要素に対応するノードをラベル付与対象として選択してもよい。
選択モデル学習部105は、入力部101によって入力されたグラフデータ集合GからグラフデータGdをサンプリングした上で、このグラフデータGdのノード集合{1,・・・,Nd}からNA個の観測事例を順次サンプリングする。なお、サンプリングされる最大観測事例数NAは予め設定される。また、グラフデータGdをサンプリングする際、選択モデル学習部105は、ランダムにサンプリングを行ってもよいし、予め設定された何等かの分布に従ってサンプリングを行ってもよい。一方で、観測事例をサンプリングする際には、選択モデル学習部105は、後述する選択分布に従ってサンプリングを行う。
ここで、選択モデル学習部105は、事例を選択したときの予測性能が向上するようにパラメータΘを学習する。例えば、選択モデル学習部105は、予測性能向上の指標として、以下の式(6)に示す予測誤差削減率を用いることができる。
選択モデルを学習する際の目的関数としては、上記の式(6)に示す予測誤差削減率を用いて、例えば、以下の式(7)に示す期待誤差削減率を用いることができる。
<学習処理の流れ>
次に、本実施形態に係る学習装置10が実行する学習処理の流れについて、図2を参照しながら説明する。図2は、本実施形態に係る学習処理の流れの一例を示すフローチャートである。
次に、本実施形態に係る学習装置10が実行する学習処理の流れについて、図2を参照しながら説明する。図2は、本実施形態に係る学習処理の流れの一例を示すフローチャートである。
まず、入力部101は、記憶部106に記憶されているグラフデータ集合Gを入力する(ステップS101)。
次に、学習装置10は、予測モデル学習処理を実行し、予測モデルのパラメータΦを学習する(ステップS102)。続いて、学習装置10は、選択モデル学習処理を実行し、選択モデルのパラメータΘを学習する(ステップS103)。なお、予測モデル学習処理及び選択モデル学習処理の詳細な流れについては後述する。
以上により、本実施形態に係る学習装置10は、予測部102で実現される予測モデルのパラメータΦと選択部104で実現される選択モデルのパラメータΘとを学習することができる。なお、テスト時には、予測部102は、グラフデータG*と、このグラフデータG*の観測事例を表すマスクベクトルm*と、学習済みのパラメータ^Φとを用いて、上記の式(2)により予測値を計算する。同様に、テスト時には、選択部104は、グラフデータG*と、このグラフデータG*の観測事例を表すマスクベクトルm*と、学習済みのパラメータ^Θとを用いて、上記の式(3)によりスコアベクトルを計算する。マスクベクトルm*の各要素の値は、グラフデータG*が表すグラフのn番目のノードに対するラベルが観測されていればmn=1、そうでなければmn=0となる。
また、テスト時における学習装置10は予測モデル学習部103及び選択モデル学習部105を有していなくてもよく、例えば、「ラベル予測装置」や「事例選択装置」等と称されてもよい。
≪予測モデル学習処理≫
次に、上記のステップS102の予測モデル学習処理の流れについて、図3を参照しながら説明する。図3は、本実施形態に係る予測モデル学習処理の流れの一例を示すフローチャートである。
次に、上記のステップS102の予測モデル学習処理の流れについて、図3を参照しながら説明する。図3は、本実施形態に係る予測モデル学習処理の流れの一例を示すフローチャートである。
まず、予測モデル学習部103は、予測モデルのパラメータΦを初期化する(ステップS201)。パラメータΦは、例えば、ランダムに初期化されてもよいし、或る分布に従うように初期化されてもよい。
以降のステップS202~ステップS207は所定の終了条件を満たすまで繰り返し実行される。所定の終了条件としては、例えば、学習対象のパラメータΦが収束したこと、当該繰り返しが所定の回数実行されたこと等が挙げられる。
予測モデル学習部103は、図2のステップS101で入力されたグラフデータ集合GからグラフデータGdをサンプリングする(ステップS202)。
次に、予測モデル学習部103は、上記のステップS202でサンプリングされたグラフデータGdのノード集合{1,・・・,Nd}からNS個の観測事例をサンプリングする(ステップS203)。これらNS個の観測事例の集合をSとする。
次に、予測モデル学習部103は、マスクベクトルmdの各要素の値を、n∈Sならばmdn=1、そうでなければmdn=0と設定する(ステップS204)。
次に、予測部102は、グラフデータGdとマスクベクトルmdとパラメータΦとを用いて、上記の式(2)により予測値-ydを計算する(ステップS205)。
続いて、予測モデル学習部103は、グラフデータGdとマスクベクトルmdと上記のステップS205で計算された予測値-ydとパラメータΦとを用いて、上記の式(5)により誤差LとそのパラメータΦに関する勾配とを計算する(ステップS206)。なお、勾配は、例えば、誤差逆伝播法等の既知の手法により計算すればよい。
そして、予測モデル学習部103は、上記のステップS206で計算した誤差L及びその勾配を用いて、学習対象のパラメータΦを更新する(ステップS207)。なお、予測モデル学習部103は、既知の更新式等により学習対象のパラメータΦを更新すればよい。
≪選択モデル学習処理≫
次に、上記のステップS103の選択モデル学習処理の流れについて、図4を参照しながら説明する。図4は、本実施形態に係る選択モデル学習処理の流れの一例を示すフローチャートである。
次に、上記のステップS103の選択モデル学習処理の流れについて、図4を参照しながら説明する。図4は、本実施形態に係る選択モデル学習処理の流れの一例を示すフローチャートである。
まず、選択モデル学習部105は、選択モデルのパラメータΘを初期化する(ステップS301)。パラメータΘは、例えば、ランダムに初期化されてもよいし、或る分布に従うように初期化されてもよい。
以降のステップS302~ステップS304は所定の終了条件を満たすまで繰り返し実行される。所定の終了条件としては、例えば、学習対象のパラメータΘが収束したこと、当該繰り返しが所定の回数実行されたこと等が挙げられる。
選択モデル学習部105は、図2のステップS101で入力されたグラフデータ集合GからグラフデータGdをサンプリングする(ステップS302)。
次に、選択モデル学習部105は、マスクベクトルmd=0と初期化(つまり、マスクベクトルmdの各要素の値を0に初期化)する(ステップS303)。
続いて、学習装置10は、s=1,・・・,NAに対して以下のステップS311~ステップS318を繰り返し実行する(ステップS304)。すなわち、学習装置10は、以下のステップS311~ステップS318をNA回繰り返し実行する。なお、NAは最大観測事例数である。
選択部104は、グラフデータGdとマスクベクトルmdとパラメータΘとを用いて、上記の式(3)によりスコアベクトルsdを計算する(ステップS311)。
次に、選択モデル学習部105は、上記の式(8)により選択分布πdを計算する(ステップS312)。
次に、選択モデル学習部105は、上記のステップS312で計算された選択分布πdに従って、グラフデータGdのノード集合{1,・・・,Nd}から観測事例nを選択する(ステップS313)。
次に、選択モデル学習部105は、上記の式(6)により予測誤差削減率R(Gd,md,n)を計算する(ステップS314)。
続いて、選択モデル学習部105は、上記のステップS314で計算された予測誤差削減率R(Gd,md,n)と、上記のステップS312で計算された選択分布πdとを用いて、パラメータΘを更新する(ステップS315)。選択モデル学習部105は、例えば、Θ←Θ+αR(Gd,md,n)∇ΘlogπdnによりパラメータΘを更新すればよい。ここで、αは学習係数、∇ΘはパラメータΘに関する勾配を表す。なお、一例として、強化学習の方策勾配法によってパラメータΘを更新しているが、これに限られず、強化学習の他の手法によりパラメータΘが更新されてもよい。
そして、選択モデル学習部105は、上記のステップS313で選択した観測事例nに応じてマスクベクトルmdを更新する(ステップS316)。すなわち、選択モデル学習部105は、上記のステップS313で選択した観測事例nに対応する要素mdnを1に更新(つまり、mdn=1に更新)する。
<評価結果>
次に、本実施形態に係る学習装置10によって学習された選択モデル及び予測モデルの評価結果について説明する。本実施形態では、一例として、グラフデータの1つである交通データを用いて評価した。その評価結果を図5に示す。
次に、本実施形態に係る学習装置10によって学習された選択モデル及び予測モデルの評価結果について説明する。本実施形態では、一例として、グラフデータの1つである交通データを用いて評価した。その評価結果を図5に示す。
図5では横軸が観測事例数、縦軸が予測誤差を表している。また、Randomはランダムに事例を選択する手法、Varianceは予測分散が最大の事例を選択する手法、Entropyはエントロピーが最大の事例を選択する手法、MIは相互情報量が最大の事例を選択する手法である。また、NNは、本実施形態に係る学習装置10によって学習される選択モデル及び予測モデルとしてフィードフォワードネットワークを用いた場合である。一方で、Oursは、本実施形態に係る学習装置10によって学習される選択モデル及び予測モデルとしてグラフ畳み込みニューラルネットワークを用いた場合である。
図5に示すように、Ourでは他の手法と比較して低い予測誤差が達成されており、高性能な予測モデルが得られていることがわかる。
<ハードウェア構成>
最後に、本実施形態に係る学習装置10のハードウェア構成について、図6を参照しながら説明する。図6は、本実施形態に係る学習装置10のハードウェア構成の一例を示す図である。
最後に、本実施形態に係る学習装置10のハードウェア構成について、図6を参照しながら説明する。図6は、本実施形態に係る学習装置10のハードウェア構成の一例を示す図である。
図6に示すように、本実施形態に係る学習装置10は一般的なコンピュータ又はコンピュータシステムで実現され、入力装置201と、表示装置202と、外部I/F203と、通信I/F204と、プロセッサ205と、メモリ装置206とを有する。これら各ハードウェアは、それぞれがバス207を介して通信可能に接続されている。
入力装置201は、例えば、キーボードやマウス、タッチパネル等である。表示装置202は、例えば、ディスプレイ等である。なお、学習装置10は、入力装置201及び表示装置202のうちの少なくとも一方を有していなくてもよい。
外部I/F203は、記録媒体203a等の外部装置とのインタフェースである。学習装置10は、外部I/F203を介して、記録媒体203aの読み取りや書き込み等を行うことができる。記録媒体203aには、例えば、学習装置10が有する各機能部(入力部101、予測部102、予測モデル学習部103、選択部104及び選択モデル学習部105)を実現する1以上のプログラムが格納されていてもよい。なお、記録媒体203aには、例えば、CD(Compact Disc)、DVD(Digital Versatile Disk)、SDメモリカード(Secure Digital memory card)、USB(Universal Serial Bus)メモリカード等がある。
通信I/F204は、学習装置10を通信ネットワークに接続するためのインタフェースである。なお、学習装置10が有する各機能部を実現する1以上のプログラムは、通信I/F204を介して、所定のサーバ装置等から取得(ダウンロード)されてもよい。
プロセッサ205は、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)等の各種演算装置である。学習装置10が有する各機能部は、例えば、メモリ装置206に格納されている1以上のプログラムがプロセッサ205に実行させる処理により実現される。
メモリ装置206は、例えば、HDD(Hard Disk Drive)やSSD(Solid State Drive)、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ等の各種記憶装置である。学習装置10が有する記憶部106は、例えば、メモリ装置206により実現される。ただし、当該記憶部106は、例えば、学習装置10と通信ネットワークを介して接続される記憶装置(例えば、データベースサーバ等)により実現されていてもよい。
本実施形態に係る学習装置10は、図6に示すハードウェア構成を有することにより、上述した学習処理を実現することができる。なお、図6に示すハードウェア構成は一例であって、学習装置10は、他のハードウェア構成を有していてもよい。例えば、学習装置10は、複数のプロセッサ205を有していてもよいし、複数のメモリ装置206を有していてもよい。
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、請求の範囲の記載から逸脱することなく、種々の変形や変更、既知の技術との組み合わせ等が可能である。
10 学習装置
101 入力部
102 予測部
103 予測モデル学習部
104 選択部
105 選択モデル学習部
106 記憶部
201 入力装置
202 表示装置
203 外部I/F
203a 記録媒体
204 通信I/F
205 プロセッサ
206 メモリ装置
207 バス
101 入力部
102 予測部
103 予測モデル学習部
104 選択部
105 選択モデル学習部
106 記憶部
201 入力装置
202 表示装置
203 外部I/F
203a 記録媒体
204 通信I/F
205 プロセッサ
206 メモリ装置
207 バス
Claims (6)
- 事例と前記事例に対するラベルとが含まれるデータGdを入力する入力手順と、
第1のニューラルネットワークのパラメータと、前記データGdに含まれる各事例のうち前記ラベルが観測されている事例を表す情報とを用いて、前記データGdに含まれる各事例に対するラベルの予測値を計算する予測手順と、
第2のニューラルネットワークのパラメータと、前記データGdに含まれる各事例のうち前記ラベルが観測されている事例を表す情報とを用いて、前記データGdに含まれる各事例のうち、一の事例を選択する選択手順と、
前記予測値と前記データGdに含まれる各事例に対するラベルの値との第1の誤差を用いて、前記第1のニューラルネットワークのパラメータを学習する第1の学習手順と、
前記第1の誤差と、前記一の事例が追加で観測された場合における前記各事例に対するラベルの予測値と前記各事例に対するラベルの値との第2の誤差とを用いて、前記第2のニューラルネットワークのパラメータを学習する第2の学習手順と、
をコンピュータが実行することを特徴とする学習方法。 - 前記第2の学習手順は、
前記第1の誤差に対する前記第2の誤差の削減率が最大となるように前記第2のニューラルネットワークのパラメータを学習する、ことを特徴とする請求項1に記載の学習方法。 - 前記選択手順は、
前記一の事例を選択するためのスコアを計算し、前記スコアに基づく分布に従って前記一の事例を選択する、ことを特徴とする請求項1又は2に記載の学習方法。 - 前記データGdは、事例をノードとするグラフ形式で表されたデータであり、
前記第1のニューラルネットワーク及び第2のニューラルネットワークは、グラフ畳み込みニューラルネットワークである、ことを特徴とする請求項1乃至3の何れか一項に記載の学習方法。 - 事例と前記事例に対するラベルとが含まれるデータGdを入力する入力部と、
第1のニューラルネットワークのパラメータと、前記データGdに含まれる各事例のうち前記ラベルが観測されている事例を表す情報とを用いて、前記データGdに含まれる各事例に対するラベルの予測値を計算する予測部と、
第2のニューラルネットワークのパラメータと、前記データGdに含まれる各事例のうち前記ラベルが観測されている事例を表す情報とを用いて、前記データGdに含まれる各事例のうち、一の事例を選択する選択部と、
前記予測値と前記データGdに含まれる各事例に対するラベルの値との第1の誤差を用いて、前記第1のニューラルネットワークのパラメータを学習する第1の学習部と、
前記第1の誤差と、前記一の事例が追加で観測された場合における前記各事例に対するラベルの予測値と前記各事例に対するラベルの値との第2の誤差とを用いて、前記第2のニューラルネットワークのパラメータを学習する第2の学習部と、
を有することを特徴とする学習装置。 - コンピュータに、請求項1乃至4の何れか一項に記載の学習方法を実行させるプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/022566 WO2021250752A1 (ja) | 2020-06-08 | 2020-06-08 | 学習方法、学習装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021250752A1 JPWO2021250752A1 (ja) | 2021-12-16 |
JP7439923B2 true JP7439923B2 (ja) | 2024-02-28 |
Family
ID=78845401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022530377A Active JP7439923B2 (ja) | 2020-06-08 | 2020-06-08 | 学習方法、学習装置及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20230222324A1 (ja) |
JP (1) | JP7439923B2 (ja) |
WO (1) | WO2021250752A1 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020086604A1 (en) | 2018-10-23 | 2020-04-30 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for active transfer learning with deep featurization |
-
2020
- 2020-06-08 JP JP2022530377A patent/JP7439923B2/ja active Active
- 2020-06-08 US US18/007,703 patent/US20230222324A1/en active Pending
- 2020-06-08 WO PCT/JP2020/022566 patent/WO2021250752A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020086604A1 (en) | 2018-10-23 | 2020-04-30 | The Board Of Trustees Of The Leland Stanford Junior University | Systems and methods for active transfer learning with deep featurization |
Non-Patent Citations (1)
Title |
---|
CAI, Hongyun et al.,"Active Learning for Graph Embedding",arXiv.org [online],2017年,pp. 1-7,[retrieved on 2020.11.11], Retrieved from the Internet: <URL: https://arxiv.org/abs/1705.05085> |
Also Published As
Publication number | Publication date |
---|---|
US20230222324A1 (en) | 2023-07-13 |
JPWO2021250752A1 (ja) | 2021-12-16 |
WO2021250752A1 (ja) | 2021-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20190354810A1 (en) | Active learning to reduce noise in labels | |
US20240185130A1 (en) | Normalizing text attributes for machine learning models | |
US11308418B2 (en) | Automatic selection of variables for a machine-learning model | |
JP2021061055A (ja) | データ処理方法および電子機器 | |
JP2020194560A (ja) | 因果関係分析方法および電子デバイス | |
JP7293504B2 (ja) | 強化学習を用いたデータ評価 | |
KR20210032140A (ko) | 뉴럴 네트워크에 대한 프루닝을 수행하는 방법 및 장치 | |
US12061991B2 (en) | Transfer learning with machine learning systems | |
JP6299759B2 (ja) | 予測関数作成装置、予測関数作成方法、及びプログラム | |
CN112232495A (zh) | 预测模型的训练方法、装置、介质和计算设备 | |
US20220292315A1 (en) | Accelerated k-fold cross-validation | |
CN115936802A (zh) | 基于用户画像和序列建模的个性化营销方法、装置、设备和存储介质 | |
US20220101186A1 (en) | Machine-learning model retraining detection | |
CN113743453A (zh) | 一种基于随机森林的人口数量预测方法 | |
JP7439923B2 (ja) | 学習方法、学習装置及びプログラム | |
US11676050B2 (en) | Systems and methods for neighbor frequency aggregation of parametric probability distributions with decision trees using leaf nodes | |
JP7424373B2 (ja) | 分析装置、分析方法及び分析プログラム | |
US11177018B2 (en) | Stable genes in comparative transcriptomics | |
JP7420148B2 (ja) | 学習装置、学習方法及びプログラム | |
WO2023112099A1 (ja) | 選択方法、選択装置、及びプログラム | |
JP7448023B2 (ja) | 学習方法、学習装置及びプログラム | |
JP6332598B2 (ja) | 表現型予測のためのエピスタシスの効率的なモデル化のための特徴選択方法、情報処理システム、及びコンピュータ・プログラム | |
CN116737607B (zh) | 样本数据缓存方法、系统、计算机设备和存储介质 | |
WO2023223509A1 (ja) | 学習装置、学習方法及び学習プログラム | |
US11710068B2 (en) | Labeling a dataset |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240129 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7439923 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |