JP7295431B2 - 学習プログラム、学習方法および学習装置 - Google Patents

学習プログラム、学習方法および学習装置 Download PDF

Info

Publication number
JP7295431B2
JP7295431B2 JP2019214496A JP2019214496A JP7295431B2 JP 7295431 B2 JP7295431 B2 JP 7295431B2 JP 2019214496 A JP2019214496 A JP 2019214496A JP 2019214496 A JP2019214496 A JP 2019214496A JP 7295431 B2 JP7295431 B2 JP 7295431B2
Authority
JP
Japan
Prior art keywords
block
learning
learning rate
parameter
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019214496A
Other languages
English (en)
Other versions
JP2021086371A (ja
Inventor
雄高 甲斐
明彦 笠置
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2019214496A priority Critical patent/JP7295431B2/ja
Priority to US17/065,554 priority patent/US20210158212A1/en
Priority to EP20202259.6A priority patent/EP3828776A1/en
Priority to CN202011202775.9A priority patent/CN112862087A/zh
Publication of JP2021086371A publication Critical patent/JP2021086371A/ja
Application granted granted Critical
Publication of JP7295431B2 publication Critical patent/JP7295431B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Description

本発明は学習プログラム、学習方法および学習装置に関する。
コンピュータを利用したデータ分析の１つとして、機械学習が行われることがある。機械学習では、既知の事例を示す訓練データをコンピュータに入力する。コンピュータは、訓練データを分析して、要因（説明変数や独立変数と言うことがある）と結果（目的変数や従属変数と言うことがある）との間の関係を一般化したモデルを学習する。学習されたモデルを用いることで、未知の事例についての結果を予測することができる。例えば、手書き文字を認識する文字認識モデルが学習される。
モデルの予測精度を向上させるため、深層学習（ディープラーニング）によって学習される多層ニューラルネットワークなど、機械学習によって学習されるモデルは大規模化する傾向がある。大規模なモデルのパラメータを一から最適化することは、訓練データのサイズが大きくなると共に学習時間が長くなり非効率である。
そこで、パラメータが学習済みである既存モデルを取り込み、既存部分に追加部分を接続して拡張したモデルを生成する方法が考えられる。例えば、汎用的な画像認識モデルを取り込んで、手書き文字の認識に特化した文字認識モデルを生成する方法が考えられる。既存モデルを利用する機械学習では、追加部分のパラメータは一から最適化する一方、既存部分のパラメータは既存値から微修正する程度でよいことがある。
一例として、学習済みの既存ニューラルネットワークの後段に新規ニューラルネットワークを接続して機械学習を行う機械学習装置が提案されている。提案の機械学習装置は、訓練データを既存ニューラルネットワークに入力し、既存ニューラルネットワークの演算結果を新規ニューラルネットワークに入力して、新規ニューラルネットワークを学習する。機械学習装置は、機械学習の結果として新規ニューラルネットワークを出力する。
特開２０１７－１８２３２０号公報
機械学習では、一定単位の訓練データをモデルに入力し、モデルの出力の予測誤差を算出し、予測誤差が小さくなるようにモデルのパラメータを更新することを、異なる訓練データを用いて繰り返すことがある。このとき、モデルのパラメータの一回の更新量を調整するための「学習率」が、外部からハイパーパラメータとして与えられる。学習率が大きいほどパラメータの一回の更新量が大きくなり、学習率が小さいほどパラメータの一回の更新量が小さくなる。学習率は、機械学習の収束速度や最終的な精度に影響を与える。
学習するモデルが複数のブロックを含む場合、ブロックによって異なる学習率を設定することも可能である。例えば、モデルが既存部分と新規部分とを含む場合、既存部分に小さい学習率を設定し、新規部分に大きい学習率を設定することが考えられる。しかし、従来の機械学習では、複数のブロックにおいてパラメータの更新処理が同様に実行される。そのため、小さい学習率が設定されたブロックでは、更新前後でパラメータがほとんど変化しないことがあり、結果的に無駄な更新処理が生じているという問題がある。例えば、モデルの既存部分について更新処理を行っても、パラメータが変化しないことがある。
１つの側面では、本発明は、機械学習の計算量を削減する学習プログラム、学習方法および学習装置を提供することを目的とする。
１つの態様では、コンピュータに以下の処理を実行させる学習プログラムが提供される。第１のパラメータを含む第１のブロックおよび第２のパラメータを含む第２のブロックを含むモデルにおいて、第１のブロックに対して第１の学習率を設定し、第２のブロックに対して第１の学習率より小さい第２の学習率を設定する。訓練データを用いて算出されたモデルの予測誤差と第１の学習率とに基づいて第１のパラメータを更新し、予測誤差と第２の学習率とに基づいて第２のパラメータを更新する、ことを反復的に実行する学習処理を開始する。第１の学習率と第２の学習率との間の関係に応じて、学習処理において、第２のパラメータの更新を間欠的に省略することで、第２のパラメータの更新頻度が第１のパラメータより低くなるよう制御する。
また、１つの態様では、コンピュータが実行する学習方法が提供される。また、１つの態様では、記憶部と処理部とを有する学習装置が提供される。
１つの側面では、機械学習の計算量を削減できる。
第１の実施の形態の学習装置の例を説明する図である。 第２の実施の形態の学習装置のハードウェア例を示すブロック図である。 既存モデルと新規モデルの組み合わせ例を示す図である。 既存モデルおよび新規モデルの内容例を示すブロック図である。 ニューラルネットワークの学習例を示す図である。 誤差勾配および学習率に応じた重みの更新例を示す図である。 学習率および学習フェーズの例を示す図である。 複数のＧＰＵによる並列処理の例を示す図である。 イテレーションに応じた学習率の変化例を示す図である。 学習率に応じた更新頻度の制御例を示す図である。 更新頻度テーブルの例を示す図である。 学習装置の機能例を示すブロック図である。 機械学習の手順例を示すフローチャートである。 機械学習の手順例を示すフローチャート（続き）である。
以下、本実施の形態を図面を参照して説明する。
［第１の実施の形態］
第１の実施の形態を説明する。
図１は、第１の実施の形態の学習装置の例を説明する図である。
第１の実施の形態の学習装置１０は、機械学習により訓練データ１６を用いてモデル１３を学習する。学習装置１０は、クライアント装置でもよいしサーバ装置でもよい。学習装置１０を、コンピュータ、情報処理装置、機械学習装置などと言うこともできる。
学習装置１０は、記憶部１１および処理部１２を有する。記憶部１１は、ＲＡＭ（Random Access Memory）などの揮発性半導体メモリでもよいし、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの不揮発性ストレージでもよい。処理部１２は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ（Digital Signal Processor）などのプロセッサである。ただし、処理部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの特定用途の電子回路を含んでもよい。プロセッサは、ＲＡＭなどのメモリ（記憶部１１でもよい）に記憶されたプログラムを実行する。複数のプロセッサの集合を「マルチプロセッサ」または単に「プロセッサ」と言うこともある。
記憶部１１は、モデル１３および訓練データ１６を記憶する。
モデル１３は、機械学習によって学習されるモデルである。モデル１３は、例えば、ニューラルネットワークである。モデル１３は、ブロック１４，１５を含む。ブロック１４，１５はそれぞれ、モデル１３の中のひとまとまりの要素集合であり、それ自体を「モデル」と言うこともある。ブロック１４，１５は、例えば、それぞれニューラルネットワークである。ブロック１４，１５は、モデル１３の入力から出力までの間にデータが通過する経路上に位置する。例えば、ブロック１４はブロック１５よりもモデル１３の入力に近く、ブロック１５はブロック１４よりもモデル１３の出力に近い。モデル１３の中で、ブロック１４とブロック１５とが接続されていてもよい。
ブロック１４（ブロックＡ）は、機械学習によって学習されるパラメータ１４ａを含む。ブロック１５（ブロックＢ）は、機械学習によって学習されるパラメータ１５ａを含む。パラメータ１４ａは、ブロック１４の入力と出力との間の関係を規定する定数であり、パラメータ１５ａは、ブロック１５の入力と出力との間の関係を規定する定数である。パラメータ１４ａ，１５ａは、例えば、ニューラルネットワークの中のエッジ（シナプス）の重みである。
ここで、ブロック１４が、学習済みの既存モデルに含まれるブロックを流用したものであってもよく、ブロック１５が、今回の機械学習によって追加的に学習されるものであってもよい。すなわち、今回の機械学習が、既存モデルを拡張してモデル１３を生成するものであってもよい。その場合、今回の機械学習の開始時点で、パラメータ１４ａは学習済みのものが使用され、パラメータ１５ａは所定値に初期化されることになる。ただし、学習済みのパラメータも今回の機械学習を通じて修正され得る。
訓練データ１６は、モデル１３の学習に使用される。訓練データ１６は、モデル１３の入力に相当する説明変数の値と、モデル１３の出力に相当する目的変数の値とをそれぞれ対応付けた複数のレコードを含む。訓練データ１６に含まれる目的変数の値は、モデル１３の出力の正解を示す教師ラベルである。例えば、モデル１３として、手書き文字の画像を入力として受け付け、認識された文字を出力する手書き文字認識モデルが考えられる。その場合、訓練データ１６は、手書き文字の画像と正解の文字とを対応付けたデータである。なお、手書き文字認識モデルは、学習済みの汎用的な画像認識モデルに含まれるブロックの後段に、追加のブロックを接続することで生成することが可能である。
処理部１２は、モデル１３のブロック１４に対して学習率１４ｂを設定し、モデル１３のブロック１５に対して学習率１５ｂを設定する。学習率１４ｂは、パラメータ１４ａを更新する際の一回の更新量（更新前後の変化量）を調整するハイパーパラメータであり、学習率１５ｂは、パラメータ１５ａを更新する際の一回の更新量を調整するハイパーパラメータである。学習率１４ｂが大きいほどパラメータ１４ａの一回の更新量が大きくなり、学習率１４ｂが小さいほどパラメータ１４ａの一回の更新量が小さくなる。また、学習率１５ｂが大きいほどパラメータ１５ａの一回の更新量が大きくなり、学習率１５ｂが小さいほどパラメータ１５ａの一回の更新量が小さくなる。
学習率は、モデル１３の精度や機械学習の収束速度に影響を与える。学習率が大きすぎるとパラメータが最適解から乖離するリスクが高くなり、学習率が小さすぎるとパラメータが最適解に到達するまでの所要時間が長くなる。ここで、学習率１４ｂを学習率１５ｂより小さくする。多くの場合、モデル１３の出力に近いブロックほど学習率を大きくすることが好ましく、モデル１３の入力に近いブロックほど学習率を小さくすることが好ましい。また、今回の機械学習で追加する新規ブロックの学習率を大きくすることが好ましく、学習済みの既存ブロックの学習率を小さくすることが好ましい。学習率１４ｂ，１５ｂは、ユーザによって指定されてもよい。また、後述する学習処理の途中で、学習率１４ｂ，１５ｂを段階的に引き下げることも可能である。
学習率１４ｂ，１５ｂが設定されると、処理部１２は学習処理を開始する。学習処理では、訓練データ１６を用いてパラメータ１４ａ，１５ａを更新することを反復的に実行する。処理部１２は、訓練データ１６に含まれる説明変数の値をモデル１３に入力し、モデル１３の出力と訓練データ１６に含まれる教師ラベルとの間の予測誤差を算出する。予測誤差は、出力と教師ラベルとの間の残差二乗和であってもよい。処理部１２は、予測誤差が小さくなるように、予測誤差と学習率１５ｂとに基づいてパラメータ１５ａを更新し、予測誤差と学習率１４ｂとに基づいてパラメータ１４ａを更新する。
例えば、処理部１２は、誤差逆伝播法によって、モデル１３の出力から入力に向かって誤差情報を伝播し、パラメータ１４ａ，１５ａそれぞれに対する誤差勾配を算出する。誤差勾配は、パラメータを単位量だけ変化させた場合の予測誤差の変化量の推定値である。処理部１２は、例えば、パラメータ１５ａに対する誤差勾配に学習率１５ｂを乗じた量だけパラメータ１５ａを変化させ、パラメータ１４ａに対する誤差勾配に学習率１４ｂを乗じた量だけパラメータ１４ａを変化させる。学習率１４ｂが十分に小さい場合、一回の更新ではパラメータ１４ａがほとんど変化しないこともあり、パラメータ１４ａが全く変化しないこともある。また、学習率１４ｂが０の場合、パラメータ１４ａが全く変化しない。
学習処理の中で、処理部１２は、パラメータ１４ａ，１５ａの更新頻度を制御する。具体的には、処理部１２は、学習率１４ｂと学習率１５ｂとの間の関係を判定する。例えば、処理部１２は、学習率１４ｂと学習率１５ｂとの間の比率を算出する。処理部１２は、学習率１４ｂと学習率１５ｂとの間の関係に応じて、小さい学習率をもつブロック１４のパラメータ１４ａの更新を間欠的に省略し、パラメータ１４ａの更新頻度がパラメータ１５ａより低くなるよう制御する。学習率が小さいブロックほどパラメータの更新頻度を低くする。例えば、処理部１２は、パラメータ１４ａとパラメータ１５ａの更新頻度の比率を、学習率１４ｂと学習率１５ｂとの間の比率に一致させる。
例えば、学習率１５ｂと学習率１４ｂの比率が２：１であるとする。この場合、処理部１２は、パラメータ１５ａの更新２回につきパラメータ１４ａの更新を１回省略することで、パラメータ１５ａとパラメータ１４ａの更新頻度の比率を２：１にする。パラメータ１４ａの更新を省略する場合、ブロック１４について、誤差逆伝播法のＢａｃｋｗａｒｄフェーズやＵｐｄａｔｅフェーズを省略することが可能である。Ｂａｃｋｗａｒｄフェーズでは、誤差情報をニューラルネットワークの出力側から入力側に伝播する。Ｕｐｄａｔｅフェーズでは、誤差勾配と学習率からエッジの重みを更新する。
例えば、処理部１２は、ブロック１５について、誤差情報を出力側から入力側に伝播させて各エッジの誤差勾配を算出する。また、処理部１２は、ブロック１４について、２回に１回は誤差情報を出力側から入力側に伝播させて各エッジの誤差勾配を算出し、残りの２回に１回は誤差情報の伝播を省略する。処理部１２は、ブロック１５について、誤差勾配と学習率１５ｂとから各エッジの重みを更新する。また、処理部１２は、ブロック１４について、２回に１回は誤差勾配と学習率１４ｂとから各エッジの重みを更新し、残りの２回に１回は各エッジの重みの更新を省略する。パラメータ１４ａの更新を省略した場合、後続の入力データに対して古いパラメータ１４ａが引き続き使用されることになる。
第１の実施の形態の学習装置１０によれば、モデル１３のブロック１５に対して学習率１５ｂが設定され、モデル１３のブロック１４に対して学習率１５ｂより小さい学習率１４ｂが設定される。学習処理の中で、学習率１４ｂと学習率１５ｂとの違いに応じて、パラメータ１４ａの更新が間欠的に省略され、パラメータ１４ａの更新頻度がパラメータ１５ａより低くなる。例えば、ブロック１４においてニューラルネットワークの逆誤差伝播およびエッジの重みの更新が間引かれて、ブロック１５よりも更新頻度が低くなる。
これにより、学習率１４ｂが小さい場合に、パラメータ１４ａがほとんど変化しないにもかかわらずパラメータ１４ａの更新処理が毎回行われることを抑制できる。よって、パラメータ１４ａの無駄な更新処理を抑制して機械学習の計算量を削減することができる。また、モデル１３の出力に近いブロックに対して大きい学習率を設定し、モデル１３の入力に近いブロックに対して小さい学習率を設定することで、効率的に更新処理を間引くことができる。また、モデル１３に学習済みの既存モデルを取り込む場合、追加される新規ブロックに対して大きい学習率を設定し、既存ブロックに対して小さい学習率を設定することで、既存ブロックの更新頻度が低くなり機械学習を効率的に行うことができる。
［第２の実施の形態］
次に、第２の実施の形態を説明する。
図２は、第２の実施の形態の学習装置のハードウェア例を示すブロック図である。
第２の実施の形態の学習装置１００は、画像認識を行う多層ニューラルネットワークを深層学習によって生成する。学習装置１００は、クライアント装置でもよいしサーバ装置でもよい。学習装置１００を、コンピュータ、情報処理装置、機械学習装置などと言うこともできる。学習装置１００は、第１の実施の形態の学習装置１０に対応する。
学習装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、ＧＰＵ１０４－１～１０４－４、ＧＰＵメモリ１０５、画像インタフェース１０６、入力インタフェース１０７、媒体リーダ１０８および通信インタフェース１０９を有する。ＣＰＵ１０１またはＧＰＵ１０４－１～１０４－４は、前述の処理部１２に対応する。ＲＡＭ１０２、ＨＤＤ１０３またはＧＰＵメモリ１０５は、前述の記憶部１１に対応する。
ＣＰＵ１０１は、プログラムの命令を実行するプロセッサであって、学習装置１００を制御するメインプロセッサである。ＣＰＵ１０１は、ＨＤＤ１０３に記憶されたプログラムやデータの少なくとも一部をＲＡＭ１０２にロードし、プログラムを実行する。また、ＣＰＵ１０１は、ＧＰＵ１０４－１～１０４－４にプログラムを実行させることがある。ＣＰＵ１０１は、プログラムやデータをＲＡＭ１０２からＧＰＵメモリ１０５に転送し、転送したプログラムをＧＰＵ１０４－１～１０４－４に実行させ、演算結果をＧＰＵメモリ１０５からＲＡＭ１０２に読み出す。ＣＰＵ１０１は、通信インタフェース１０９を介して他の学習装置のＧＰＵにプログラムを実行させることもある。
ＲＡＭ１０２は、プログラムやデータを記憶する揮発性半導体メモリである。学習装置１００は、ＲＡＭ以外の種類のメモリを備えてもよく、複数のメモリを備えてもよい。
ＨＤＤ１０３は、ＯＳ（Operating System）やミドルウェアやアプリケーションソフトウェアなどのソフトウェアのプログラム、および、データを記憶する不揮発性ストレージである。学習装置１００は、フラッシュメモリやＳＳＤ（Solid State Drive）など他の種類のストレージを備えてもよく、複数のストレージを備えてもよい。ＣＰＵ１０１が実行するプログラムには、機械学習を制御するためのプラットフォームプログラムやライブラリプログラムが含まれる。ＧＰＵ１０４－１～１０４－４が実行するプログラムには、機械学習用のライブラリプログラムやユーザのアプリケーションプログラムが含まれる。
ＧＰＵ１０４－１～１０４－４は、プログラムの命令を実行するプロセッサであって、特定の種類の演算を高速に実行するためのハードウェアアクセラレータである。ＧＰＵ１０４－１～１０４－４は、ＣＰＵ１０１からの指示に応じて、異なるデータに対してプログラムを並列に実行する。ＧＰＵ１０４－１～１０４－４はそれぞれ、プログラムをＧＰＵメモリ１０５から読み出し、自らが担当するデータをＧＰＵメモリ１０５から読み出し、プログラムを実行し、演算結果をＧＰＵメモリ１０５に格納する。
ＧＰＵメモリ１０５は、プログラムやデータを記憶する揮発性半導体メモリである。ＧＰＵメモリ１０５は、ＧＰＵ１０４－１～１０４－４によって使用される。
画像インタフェース１０６は、ＣＰＵ１０１からの命令に従って、学習装置１００に接続された表示装置１１１に画像を出力する。表示装置１１１として、ＣＲＴ（Cathode Ray Tube）ディスプレイ、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬ（ＯＥＬ：Organic Electro-Luminescence）ディスプレイ、プロジェクタなど、任意の種類の表示装置を使用することができる。学習装置１００に、プリンタなど表示装置１１１以外の出力デバイスが接続されてもよい。
入力インタフェース１０７は、学習装置１００に接続された入力デバイス１１２から入力信号を受け付ける。入力デバイス１１２として、マウス、タッチパネル、タッチパッド、キーボードなど、任意の種類の入力デバイスを使用することができる。学習装置１００に複数種類の入力デバイスが接続されてもよい。
媒体リーダ１０８は、記録媒体１１３に記録されたプログラムやデータを読み取る読み取り装置である。記録媒体１１３として、フレキシブルディスク（ＦＤ：Flexible Disk）やＨＤＤなどの磁気ディスク、ＣＤ（Compact Disc）やＤＶＤ（Digital Versatile Disc）などの光ディスク、半導体メモリなど、任意の種類の記録媒体を使用することができる。媒体リーダ１０８は、例えば、記録媒体１１３から読み取ったプログラムやデータを、ＲＡＭ１０２やＨＤＤ１０３などの他の記録媒体にコピーする。読み取られたプログラムは、ＣＰＵ１０１などのプロセッサによって実行される。記録媒体１１３は可搬型記録媒体であってもよく、プログラムやデータの配布に用いられることがある。また、記録媒体１１３やＨＤＤ１０３を、コンピュータ読み取り可能な記録媒体と言うことがある。
通信インタフェース１０９は、ネットワーク１１４に接続され、ネットワーク１１４を介して外部装置と通信する。通信インタフェース１０９は、スイッチやルータなどの有線通信装置に接続される有線通信インタフェースでもよいし、基地局やアクセスポイントなどの無線通信装置に接続される無線通信インタフェースでもよい。
なお、学習装置１００のような学習装置を複数台用意することで、それら複数の学習装置をノードとして含むマルチノードシステムを形成することが可能である。その場合、異なる学習装置に含まれるＧＰＵが、異なるデータに対してプログラムを並列に実行することもできる。例えば、それぞれ４個のＧＰＵを含む２台の学習装置をネットワーク１１４に接続し、８個のＧＰＵに並列にプログラムを実行させることもできる。何れか１台の学習装置のＣＰＵが、複数の学習装置のＧＰＵを制御するようにしてもよい。
次に、学習装置１００が学習するモデルの構造について説明する。
図３は、既存モデルと新規モデルの組み合わせ例を示す図である。
第２の実施の形態では、モデルとして多層ニューラルネットワークを使用し、機械学習アルゴリズムとして深層学習を使用する。学習装置１００は、学習済みの既存モデルと新規モデルとを組み合わせることで、所望の機能をもつモデルを効率的に学習する。例えば、学習装置１００は、学習済みの汎用的な画像認識モデルの後段に、新規モデルを接続することで、手書き文字の認識に特化した手書き文字認識モデルを生成する。
学習装置１００が生成するモデルは、ブロック１３１～１３５を含む。ブロック１３１～１３５はそれぞれ、ひとまとまりのニューラルネットワークである。ブロック１３１～１３４は既存モデルに属し、ブロック１３５は新規モデルに属する。
ブロック１３１（ブロックＡ）は、入力に最も近い先頭のブロックである。ブロック１３１は、縦２５６画素×横１９２画素の画像データを受け付け、６４行×４８列の特徴マップと呼ばれる特徴情報を出力する。ブロック１３２（ブロックＢ）は、ブロック１３１の次段のブロックである。ブロック１３２は、ブロック１３１が出力した特徴マップを受け付け、３２行×２４列の特徴マップを出力する。ブロック１３３（ブロックＣ）は、ブロック１３２の次段のブロックである。ブロック１３３は、ブロック１３２が出力した特徴マップを受け付け、１６行×１２列の特徴マップを出力する。ブロック１３４（ブロックＤ）は、ブロック１３３の次段のブロックである。ブロック１３４は、ブロック１３３が出力した特徴マップを受け付け、８行×６列の特徴マップを出力する。
ブロック１３１は、縦のサイズを４分の１に圧縮し、横のサイズを４分の１に圧縮している。ブロック１３２～１３４はそれぞれ、縦のサイズを２分の１に圧縮し、横のサイズを２分の１に圧縮している。入力された画像データから段階的に特徴量を抽出していると言える。ブロック１３５（ブロックＥ）は、出力に最も近い末尾のブロックである。ブロック１３５は、ブロック１３１～１３４が出力した特徴マップを受け付けて合成する。ブロック１３５が出力する特徴マップに基づいて、目的変数に相当する予測結果が生成される。例えば、ブロック１３５が出力する特徴マップから、複数の文字候補それぞれの確率が算出され、最も高い確率をもつ文字候補が文字認識結果として出力される。
図４は、既存モデルおよび新規モデルの内容例を示すブロック図である。
ブロック１３１は、小ブロック１３１－１～１３１－５を含む。小ブロック１３１－１は、フィルタをシフトしながら積和演算を繰り返す畳み込み演算（Convolution）を行う。小ブロック１３１－１では、横のサイズが２分の１に圧縮され、縦のサイズが２分の１に圧縮される。小ブロック１３１－２は、小ブロック１３１－１の次段にあり、隣接する所定個の要素を１つの要素に合成するプーリング演算を行う。小ブロック１３１－２では、横のサイズが２分の１に圧縮され、縦のサイズが２分の１に圧縮される。
小ブロック１３１－３は、小ブロック１３１－２の次段にあり、いわゆるボトルネックブロックである。ボトルネックブロックは、入力データに対して畳み込み演算を連続的に３回行い、畳み込み演算の結果に対して元の入力データを加算して出力する。小ブロック１３１－４は、小ブロック１３１－３の次段にあるボトルネックブロックである。小ブロック１３１－５は、小ブロック１３１－４の次段にあるボトルネックブロックである。
ブロック１３２は、小ブロック１３２－１～１３２－４を含む。小ブロック１３２－１は、先頭のボトルネックブロックである。小ブロック１３２－１では、横のサイズが２分の１に圧縮され、縦のサイズが２分の１に圧縮される。小ブロック１３２－２は、小ブロック１３２－１の次段にあるボトルネックブロックである。小ブロック１３２－３は、小ブロック１３２－２の次段にあるボトルネックブロックである。小ブロック１３２－４は、小ブロック１３２－３の次段にあるボトルネックブロックである。
ブロック１３３は、小ブロック１３３－１～１３３－６を含む。小ブロック１３３－１は、先頭のボトルネックブロックである。小ブロック１３３－１では、横のサイズが２分の１に圧縮され、縦のサイズが２分の１に圧縮される。小ブロック１３３－２は、小ブロック１３３－１の次段にあるボトルネックブロックである。小ブロック１３３－３は、小ブロック１３３－２の次段にあるボトルネックブロックである。小ブロック１３３－４は、小ブロック１３３－３の次段にあるボトルネックブロックである。小ブロック１３３－５は、小ブロック１３３－４の次段にあるボトルネックブロックである。小ブロック１３３－６は、小ブロック１３３－５の次段にあるボトルネックブロックである。
ブロック１３４は、小ブロック１３４－１～１３４－３を含む。小ブロック１３４－１は、先頭のボトルネックブロックである。小ブロック１３４－１では、横のサイズが２分の１に圧縮され、縦のサイズが２分の１に圧縮される。小ブロック１３４－２は、小ブロック１３４－１の次段にあるボトルネックブロックである。小ブロック１３４－３は、小ブロック１３４－２の次段にあるボトルネックブロックである。
ブロック１３５は、小ブロック１３５－１～１３５－２２を含む。
小ブロック１３５－１は、ブロック１３４の最終段にある小ブロック１３４－３の出力を受け付け、畳み込み演算を行う。小ブロック１３５－２は、小ブロック１３５－１の出力を受け付け、縦のサイズを２倍に拡大すると共に横のサイズを２倍に拡大するリサイズ演算を行う。このリサイズ演算によって、データサイズが１６×１２になる。リサイズ演算には双線形補間（Bilinear Interpolation）を用いる。小ブロック１３５－３は、小ブロック１３５－２の出力を受け付け、畳み込み演算を行う。
小ブロック１３５－４は、ブロック１３３の最終段にある小ブロック１３３－６の出力を受け付け、畳み込み演算を行う。小ブロック１３５－３の出力と小ブロック１３５－４の出力とが加算される（加算結果＃１）。小ブロック１３５－５は、加算結果＃１を受け付け、縦のサイズを２倍に拡大すると共に横のサイズを２倍に拡大するリサイズ演算を行う。このリサイズ演算によって、データサイズが３２×２４になる。小ブロック１３５－６は、小ブロック１３５－５の出力を受け付け、畳み込み演算を行う。
小ブロック１３５－７は、ブロック１３２の最終段にある小ブロック１３２－４の出力を受け付け、畳み込み演算を行う。小ブロック１３５－６の出力と小ブロック１３５－７の出力とが加算される（加算結果＃２）。小ブロック１３５－８は、加算結果＃２を受け付け、縦のサイズを２倍に拡大すると共に横のサイズを２倍に拡大するリサイズ演算を行う。このリサイズ演算によって、データサイズが６４×４８になる。小ブロック１３５－９は、小ブロック１３５－８の出力を受け付け、畳み込み演算を行う。
小ブロック１３５－１０は、ブロック１３１の最終段にある小ブロック１３１－５の出力を受け付け、畳み込み演算を行う。小ブロック１３５－９の出力と小ブロック１３５－１０の出力とが加算される（加算結果＃３）。
小ブロック１３５－１１は、小ブロック１３５－１の出力を受け付けるボトルネックブロックである。小ブロック１３５－１２は、小ブロック１３５－１１の次段にあるボトルネックブロックである。小ブロック１３５－１３は、小ブロック１３５－１２の次段にあるボトルネックブロックである。小ブロック１３５－１４は、小ブロック１３５－１３の出力を受け付け、縦のサイズを８倍に拡大すると共に横のサイズを８倍に拡大するリサイズ演算を行う。このリサイズ演算によって、データサイズが６４×４８になる。
小ブロック１３５－１５は、加算結果＃１を受け付けるボトルネックブロックである。小ブロック１３５－１６は、小ブロック１３５－１５の次段にあるボトルネックブロックである。小ブロック１３５－１７は、小ブロック１３５－１６の出力を受け付け、縦のサイズを４倍に拡大すると共に横のサイズを４倍に拡大するリサイズ演算を行う。このリサイズ演算によって、データサイズが６４×４８になる。
小ブロック１３５－１８は、加算結果＃２を受け付けるボトルネックブロックである。小ブロック１３５－１９は、小ブロック１３５－１８の出力を受け付け、縦のサイズを２倍に拡大すると共に横のサイズを２倍に拡大するリサイズ演算を行う。このリサイズ演算によって、データサイズが６４×４８になる。
小ブロック１３５－２０は、加算結果＃３および小ブロック１３５－１４，１３５－１７，１３５－１９の出力を結合する。加算結果＃３および小ブロック１３５－１４，１３５－１７，１３５－１９の出力のデータサイズは、全て６４×４８である。ここでは、６４×４８のデータサイズを変えずに、複数チャネルのデータとしてまとめる。小ブロック１３５－２１は、小ブロック１３５－２０の次段にあるボトルネックブロックである。小ブロック１３５－２２は、小ブロック１３５－２１の出力を受け付け、畳み込み演算を行う。小ブロック１３５－２２の出力のデータサイズは６４×４８である。
上記の小ブロック１３５－１の出力、加算結果＃１，＃２，＃３および小ブロック１３５－２２の出力を合成して、予測結果が生成される。例えば、小ブロック１３５－１の出力、加算結果＃１，＃２，＃３および小ブロック１３５－２２の出力から、複数の文字候補それぞれの確率が算出され、確率が最大の文字候補が文字認識結果として出力される。
次に、モデルの学習方法について説明する。
図５は、ニューラルネットワークの学習例を示す図である。
学習装置１００が学習する多層ニューラルネットワークは、入力層と１以上の中間層と出力層とを含む。各層は、ニューロンに相当する複数のノードを含む。隣接する２つの層に属するノードの間に、シナプスに相当するエッジが形成される。各エッジは、機械学習を通じて決定されるパラメータとして重みをもっている。また、各ノードは、入力値の重み付き和を出力値に変換するための活性化関数をもっている。活性化関数には、シグモイド関数、ランプ関数、ソフトマックス関数などの種類がある。活性化関数は、ハイパーパラメータとしてユーザから指定される。活性化関数は、層毎に設定してもよいし、小ブロック毎に設定してもよいし、ブロック毎に設定してもよい。
一例として、ニューラルネットワーク１４０を考える。ニューラルネットワーク１４０は、ノード１４１～１４５を含む。ノード１４１（ノードｊ）は、ある中間層に属している。ノード１４２（ノードｉ０）およびノード１４３（ノードｉ１）は、ノード１４１の１つ前の層に属している。ノード１４４（ノードｋ０）およびノード１４５（ノードｋ１）は、ノード１４１の１つ後の層に属している。ノード１４２とノード１４１の間のエッジには、重みｗｉ０ｊが付与される。ノード１４３とノード１４１の間のエッジには、重みｗｉ１ｊが付与される。ノード１４１とノード１４４の間のエッジには、重みｗｊｋ０が付与される。ノード１４１とノード１４５の間のエッジには、重みｗｊｋ１が付与されている。
ニューラルネットワーク１４０の重みは、一般的には、Ｆｏｒｗａｒｄ、ＢａｃｋｗａｒｄおよびＵｐｄａｔｅを含む複数のフェーズを繰り返すことで学習される。
Ｆｏｒｗａｒｄフェーズでは、訓練データに含まれる説明変数の値が入力データとしてニューラルネットワーク１４０の入力層に対して入力され、入力データに対応する予測結果がニューラルネットワーク１４０の出力層から出力される。そして、予測結果と訓練データに含まれる教師ラベルとの間の予測誤差が算出される。例えば、複数の文字候補の確率を列挙した予測ベクトルと、正解の文字に対応する数値が「１」でありそれ以外の文字に対応する数値が「０」である正解ベクトルとが比較され、２つのベクトルの差の二乗和平方根が算出される。これは、Ｌ２ノルムとして表現した予測誤差である。
ここで、訓練データの使用方法として、第２の実施の形態ではミニバッチ学習を想定する。ミニバッチ学習では、１回に使用される入力データが数十個程度のレコード（サンプル）を含んでいる。各レコードは、説明変数の値と目的変数の値である教師ラベルとのペアである。入力層に対してレコード毎に説明変数の値が入力され、出力層からはレコード毎に予測結果が出力される。１回の入力データに対する予測誤差は、複数のレコードで算出された予測誤差の平均を表す。ただし、第２の実施の形態の機械学習は、１回に１つのレコードを使用するオンライン学習に応用することもできる。
ノード１４１に着目すると、ノード１４２の出力値に重みｗｉ０ｊを乗じ、ノード１４３の出力値に重みｗｉ１ｊを乗じ、これらを合算することで、１つ前の層の出力値の重み付き和が算出される。この重み付き和を活性化関数に入力することで、ノード１４１の出力値が算出される。ノード１４１の出力値は、ノード１４４，１４５に提供される。このようにして、入力層から１以上の中間層を介して出力層に向かって数値が伝播する。
Ｂａｃｋｗａｒｄフェーズでは、予測誤差に応じた誤差情報が、ニューラルネットワーク１４０の出力層から入力層に向かって伝播する。これにより、ニューラルネットワーク１４０に含まれる複数の重みそれぞれに対して誤差勾配が算出される。誤差勾配は、予測誤差を重みの関数とみなした場合に、予測誤差を重みで偏微分したものに相当する。誤差勾配は、予測誤差が小さくなるように重みを更新するために用いられる。
Ｂａｃｋｗａｒｄフェーズでは、誤差逆伝播法により、誤差勾配が出力層から入力層に向かって逆方向に伝播する。例えば、ノード１４１と前の層との間の重みｗｉ０ｊ，ｗｉ１ｊに対する誤差勾配は、後の層との間の重みｗｊｋ０，ｗｊｋ１、それに対する誤差勾配、Ｆｏｒｗａｒｄフェーズにおけるノード１４１の出力値、前の層のノード１４２，１４３の出力値などから算出される。出力層に近い方の重みから順に誤差勾配が決定される。
Ｕｐｄａｔｅフェーズでは、Ｂａｃｋｗａｒｄフェーズで算出された誤差勾配が重みに反映されて、ニューラルネットワーク１４０の重みが更新される。例えば、重みｗｉ０ｊ，ｗｉ１ｊ，ｗｊｋ０，ｗｊｋ１が、重みｗ’ｉ０ｊ，ｗ’ｉ１ｊ，ｗ’ｊｋ０，ｗ’ｊｋ１に変わる。
誤差勾配を重みに反映させる際には、現在の重みから誤差勾配そのものを減算する代わりに、今回の入力データの影響を緩和するように誤差勾配が減算値に変換され、現在の重みから当該減算値が減算される。その際、ハイパーパラメータの１つである学習率が使用される。学習率は、ブロック毎に設定することができる。学習率が大きいと、直近の入力データの影響が重みに強く反映され、学習率が小さいと、直近の入力データの影響が重みに弱く反映されることになる。学習率は、ニューラルネットワーク１４０の最終的な精度や重みの収束速度に影響を与えるという点で重要である。
一例として、更新前の重みをｗ、更新後の重みをｗ’、誤差勾配を∇Ｅ、学習率をηとすると、誤差勾配に学習率を乗じた数値を減算値とし、ｗ’＝ｗ－η×∇Ｅと算出するようにしてもよい。ここで、誤差勾配の重みへの反映には加法性が成立する。ある入力データから算出された誤差勾配と別の入力データから算出された誤差勾配とを順に重みに反映させることは、２つの誤差勾配を合算して重みに反映させることと等価である。この加法性を利用して、ニューラルネットワークの学習を並列化することができる。
図６は、誤差勾配および学習率に応じた重みの更新例を示す図である。
ニューラルネットワークの予測誤差Ｅは、グラフ１５１に示すように、重みｗの関数とみなすことができる。誤差逆伝播法では、予測誤差Ｅが最小になる重みｗが探索される。現在の重みｗにおける予測誤差Ｅの誤差勾配に応じて、誤差勾配とは逆方向に重みｗが変化する。誤差勾配が正の場合は重みｗが小さくなり、誤差勾配が負の場合は重みｗが大きくなる。重みｗの１回の変化量が、０以上の実数である学習率によって調整される。
１回の変化量が大きすぎると重みｗが最適解に到達しないリスクが生じ、１回の変化量が小さすぎると最適解に到達するまでの所要時間が長くなる。重みｗが最適解に近付くほど、１回の変化量を小さくすることが好ましい。そこで、後述するように、機械学習の進行に応じて、学習率が段階的に引き下げられる。機械学習の進行度は、例えば、重み更新の繰り返し（イテレーション）の回数や学習時間などによって評価される。
図７は、学習率および学習フェーズの例を示す図である。
前述のように、異なる入力データに対するＦｏｒｗａｒｄフェーズやＢａｃｋｗａｒｄフェーズを並列化することで、多層ニューラルネットワークの学習を高速化できる。そこで、学習装置１００は、ＧＰＵ１０４－１～１０４－４を用いて並列処理を行う。多層ニューラルネットワークの学習の並列処理は、Ｆｏｒｗａｒｄ、Ｂａｃｋｗａｒｄ、Ｃｏｍｍｕｎｉｃａｔｅ、Ｕｐｄａｔｅの４つのフェーズを含む。
機械学習の開始時点で、ＧＰＵ１０４－１～１０４－４は同一のモデルを保持する。
Ｆｏｒｗａｒｄフェーズでは、ＧＰＵ１０４－１～１０４－４は、互いに異なる入力データを選択してブロック１３１に入力する。すると、ブロック１３１からブロック１３２，１３３，１３４を通ってブロック１３５にデータが伝播し、モデルから予測結果が出力される。ＧＰＵ１０４－１～１０４－４はそれぞれ、予測誤差を算出する。入力データが異なるため、ＧＰＵ１０４－１～１０４－４の間で異なる予測誤差が算出され得る。
Ｂａｃｋｗａｒｄフェーズでは、ＧＰＵ１０４－１～１０４－４はそれぞれ、予測誤差に基づいて、ブロック１３５からブロック１３１に向かって誤差情報を伝播し、各ブロックに含まれる重みに対して誤差勾配を算出する。出力に近いブロックから順に誤差勾配が算出されることになる。入力データが異なるため、同じ重みに対しても、ＧＰＵ１０４－１～１０４－４の間で異なる誤差勾配が算出され得る。
Ｃｏｍｍｕｎｉｃａｔｅフェーズでは、ＧＰＵ１０４－１～１０４－４が相互通信により、同じ重みに対して算出された４個の誤差勾配を合算する。誤差勾配の合算には、ＭＰＩ（Message Passing Interface）に規定されるＡｌｌＲｅｄｕｃｅ通信を利用する。ＭＰＩライブラリを利用することで、Ｃｏｍｍｕｎｉｃａｔｅフェーズを実装することができる。ただし、ブロードキャスト通信やＡｌｌＧａｔｈｅｒ通信など、ＭＰＩに規定される他の種類の集団通信を利用することも可能である。ＧＰＵ１０４－１～１０４－４は、これによって同一の誤差勾配の合算値を共有することになる。
Ｕｐｄａｔｅフェーズでは、ＧＰＵ１０４－１～１０４－４はそれぞれ、誤差勾配の合算値をノード数で割って誤差勾配の平均を算出する。ここでは、誤差勾配の合算値を、ＧＰＵの台数である４で割る。そして、ＧＰＵ１０４－１～１０４－４は、誤差勾配の平均と予め規定された学習率とから重みを更新する。ＧＰＵ１０４－１～１０４－４の間で、ここで算出される誤差勾配の平均は同一であり、更新後の重みも同一となる。
学習率の初期値は、ブロック１３１～１３５それぞれに対してユーザから指定される。モデルの出力に近いブロックほど学習率が大きく設定され、モデルの入力に近いブロックほど学習率が小さく設定される。よって、ブロック１３５の学習率が最も大きく、ブロック１３１の学習率が最も小さい。ブロック１３４の学習率は、ブロック１３３の学習率以上かつブロック１３５の学習率以下である。ブロック１３３の学習率は、ブロック１３２の学習率以上かつブロック１３４の学習率以下である。ブロック１３２の学習率は、ブロック１３１の学習率以上かつブロック１３３の学習率以下である。これは、既存モデルの学習率が小さく設定され、新規モデルの学習率が大きく設定されているとも言える。
上記の条件を満たさない場合、学習装置１００はユーザに対して警告を行い、学習率の変更を促してもよい。ブロック１３１～１３５の学習率は、機械学習の進行に応じて初期値から段階的に引き下げられる。学習率の引き下げは、ブロック１３１～１３５の間の比率が維持されるような方法で行ってもよいし、維持されないような方法で行ってもよい。ただし、ブロック１３１～１３５の間の学習率の大小関係は、変更後も逆転しないことが好ましい。例えば、学習装置１００は、イテレーション回数が所定数に達した時点で、ブロック１３１～１３５それぞれの学習率を現在の半分にする。引き下げ後の学習率が所定の下限以下になった場合、その学習率を０とみなすようにしてもよい。
一例として、ブロック１３５の学習率を１ｘと仮定して、ブロック１３４の学習率がブロック１３５の２分の１である０．５ｘに設定され、ブロック１３３の学習率がブロック１３５の１０分の１である０．１ｘに設定される。また、ブロック１３２の学習率がブロック１３５の１００分の１である０．０１ｘに設定され、ブロック１３１の学習率がブロック１３５の１０００分の１である０．００１ｘに設定される。
図８は、複数のＧＰＵによる並列処理の例を示す図である。
ここでは、ＧＰＵ１０４－１～１０４－４によるＣｏｍｍｕｎｉｃａｔｅフェーズおよびＵｐｄａｔｅフェーズの並列処理の例を説明する。特定の重みｗに対して、ＧＰＵ１０４－１は、入力データ１から誤差勾配∇Ｅ１を算出する。ＧＰＵ１０４－２は、入力データ２から誤差勾配∇Ｅ２を算出する。ＧＰＵ１０４－３は、入力データ３から誤差勾配∇Ｅ３を算出する。ＧＰＵ１０４－４は、入力データ４から誤差勾配∇Ｅ４を算出する。
ＧＰＵ１０４－１～１０４－４は、ＡｌｌＲｅｄｕｃｅ通信により、誤差勾配∇Ｅ１，∇Ｅ２，∇Ｅ３，∇Ｅ４を合算した誤差勾配∇Ｅを共有する。ＧＰＵ１０４－１～１０４－４の間の通信手順は、ＭＰＩライブラリの実装に依存する。
例えば、ＧＰＵ１０４－１とＧＰＵ１０４－２とが相互に誤差勾配を送信し、誤差勾配∇Ｅ１＋∇Ｅ２を共有する。また、ＧＰＵ１０４－３とＧＰＵ１０４－４とが相互に誤差勾配を送信し、誤差勾配∇Ｅ３＋∇Ｅ４を共有する。その後、ＧＰＵ１０４－１とＧＰＵ１０４－３とが相互に途中の計算値を送信し、誤差勾配∇Ｅ１＋∇Ｅ２＋∇Ｅ３＋∇Ｅ４を共有する。また、ＧＰＵ１０４－２とＧＰＵ１０４－４とが相互に途中の計算値を送信し、誤差勾配∇Ｅ１＋∇Ｅ２＋∇Ｅ３＋∇Ｅ４を共有する。
ＧＰＵ１０４－１～１０４－４はそれぞれ、合算された誤差勾配∇Ｅをノード数である４で割って平均の誤差勾配∇Ｅ／４を算出する。ＧＰＵ１０４－１～１０４－４はそれぞれ、誤差勾配∇Ｅ／４を学習率に応じて重みｗに反映させる。
図９は、イテレーションに応じた学習率の変化例を示す図である。
前述のように、ブロック１３１～１３５に対して異なる学習率が設定され、機械学習の進行に応じてそれら学習率が段階的に引き下げられる。ユーザの指定した初期値から学習率を引き下げることは、機械学習のプラットフォームによって自動的に行われる。
学習装置１００は、ブロック１３５に大きい初期値を設定し、ブロック１３４にブロック１３５以下の初期値を設定し、ブロック１３３にブロック１３４以下の初期値を設定する。また、学習装置１００は、ブロック１３２にブロック１３３以下の初期値を設定し、ブロック１３１にブロック１３２以下の初期値を設定する。
学習装置１００は、例えば、イテレーション回数が第１段階の所定数に達すると、ブロック１３１～１３５の学習率を初期値の２分の１に引き下げる。ブロック１３１～１３５の学習率の変更は、一斉に行うことが好ましい。その後、学習装置１００は、イテレーション回数が第２段階の所定数に達すると、ブロック１３１～１３５の学習率を現在の２分の１、すなわち、初期値の４分の１に引き下げる。その後、学習装置１００は、イテレーション回数が第３段階の所定数に達すると、ブロック１３１～１３５の学習率を現在の２分の１、すなわち、初期値の８分の１に引き下げる。
初期値が小さい学習率を引き下げると、有効桁数の都合により、引き下げ後の学習率が０として取り扱われることがあり得る。また、モデルの入力に近いブロックに対して、ユーザが学習率の初期値を０に指定することも可能である。よって、あるブロックの学習率が０になることもある。例えば、ブロック１３１の学習率が、３回の引き下げ後に０になる。学習率が０であるブロックの重みはそれ以降は更新されない。学習率が０のブロックは、モデルの入力に近い方から先に発生するようにする。また、学習率が変更されても、ブロック１３１～１３５の間の大小関係は初期値から変化しないようにする。
次に、深層学習の計算量の削減について説明する。
上記のように、学習率が０であるブロックでは、Ｕｐｄａｔｅフェーズを実行しても重みが変化しない。また、学習率が０ではないが十分に小さいブロックでは、誤差勾配に学習率を乗じた数値が有効桁数より小さくなることがあり、Ｕｐｄａｔｅフェーズを実行しても重みが変化しないことがある。また、誤差勾配に学習率を乗じた数値が有効桁数の範囲内であっても、その数値が微小であり重みがほとんど変化しないこともある。
このようなブロックにおいて、全てのイテレーションでＢａｃｋｗａｒｄ、Ｃｏｍｍｕｎｉｃａｔｅ、Ｕｐｄａｔｅなどの重み更新のためのフェーズを実行することは、モデル精度の向上に寄与しない無駄な計算になってしまう可能性がある。そこで、学習装置１００は、学習率が小さいブロックでは、重みの更新頻度を下げて、一部のイテレーションのＢａｃｋｗａｒｄ、ＣｏｍｍｕｎｉｃａｔｅおよびＵｐｄａｔｅのフェーズを省略する。これにより、深層学習の計算量を削減する。ブロック１３１～１３５の重みの更新頻度は、ブロック１３１～１３５の学習率に比例するようにする。
図１０は、学習率に応じた更新頻度の制御例を示す図である。
学習装置１００は、最も大きい学習率を基準にして、ブロック１３１～１３５の間の学習率の比率を算出する。ここでは、ブロック１３５の学習率を１とすると、ブロック１３４の学習率が２分の１、ブロック１３３の学習率が１０分の１、ブロック１３２の学習率が１００分の１、ブロック１３１の学習率が１０００分の１である。学習装置１００は、ブロック１３１～１３５の学習率の比率を、ブロック１３１～１３５の更新頻度と定義する。よって、ブロック１３５の重みの更新との関係で、ブロック１３４の更新頻度は２分の１、ブロック１３３の更新頻度は１０分の１、ブロック１３２の更新頻度は１００分の１、ブロック１３１の更新頻度は１０００分の１となる。
ブロック１３１～１３５は、全てのイテレーションでＦｏｒｗａｒｄフェーズを実行する。よって、全てのイテレーションでブロック１３１からブロック１３５までデータが伝播し、モデルの予測誤差が算出される。また、ブロック１３５は、全てのイテレーションでＢａｃｋｗａｒｄ、ＣｏｍｍｕｎｉｃａｔｅおよびＵｐｄａｔｅの３つのフェーズも実行する。よって、全てのイテレーションでブロック１３５の重みが更新される。
これに対して、ブロック１３１～１３４は、一部のイテレーションでＢａｃｋｗａｒｄ、ＣｏｍｍｕｎｉｃａｔｅおよびＵｐｄａｔｅの３つのフェーズを実行しない。よって、一部のイテレーションでブロック１３１～１３４の重みが更新されない。あるブロックでそれら３つのフェーズを通じた更新処理が実行されない場合、誤差情報が伝播しないため、それより入力に近い上流のブロックでも更新処理が実行されないことになる。よって、更新処理を抑止するパターンとして、ブロック１３１～１３４が実行しないパターンと、ブロック１３１～１３３が実行しないパターンと、ブロック１３１，１３２が実行しないパターンと、ブロック１３１のみ実行しないパターンとがある。
例えば、学習装置１００は、ブロック１３１～１３４それぞれについて、イテレーション番号を更新頻度の分母で割った余りが０であるイテレーションでのみ更新処理を実行するようにする。この場合、ブロック１３５は、全てのイテレーションで重みを更新する。ブロック１３４は、イテレーション＃０，＃２，＃４，・・・で重みを更新する。ブロック１３３は、イテレーション＃０，＃１０，＃２０，・・・で重みを更新する。ブロック１３２は、イテレーション＃０，＃１００，＃２００，・・・で重みを更新する。ブロック１３１は、イテレーション＃０，＃１０００，＃２０００，・・・で重みを更新する。
例えば、イテレーション＃０では、ブロック１３５からブロック１３１までＢａｃｋｗａｒｄフェーズが実行される。イテレーション＃１では、ブロック１３５のみＢａｃｋｗａｒｄフェーズが実行され、ブロック１３１～１３４に誤差情報が伝播しない。誤差情報が伝播しないブロック１３１～１３４では、それ以降のＣｏｍｍｕｎｉｃａｔｅフェーズおよびＵｐｄａｔｅフェーズも実行されない。イテレーション＃２では、ブロック１３５からブロック１３４までＢａｃｋｗａｒｄフェーズが実行され、ブロック１３１～１３３に誤差情報が伝播しない。イテレーション＃３では、ブロック１３５のみＢａｃｋｗａｒｄフェーズが実行され、ブロック１３１～１３４に誤差情報が伝播しない。
イテレーション＃１０では、ブロック１３５からブロック１３３までＢａｃｋｗａｒｄフェーズが実行され、ブロック１３１，１３２に誤差情報が伝播しない。イテレーション＃１１では、ブロック１３５のみＢａｃｋｗａｒｄフェーズが実行され、ブロック１３１～１３４に誤差情報が伝播しない。イテレーション＃１００では、ブロック１３５からブロック１３２までＢａｃｋｗａｒｄフェーズが実行され、ブロック１３１に誤差情報が伝播しない。イテレーション＃１０１では、ブロック１３５のみＢａｃｋｗａｒｄフェーズが実行され、ブロック１３１～１３４に誤差情報が伝播しない。
イテレーション＃１０００では、ブロック１３５からブロック１３１までＢａｃｋｗａｒｄフェーズが実行される。イテレーション＃１００１では、ブロック１３５のみＢａｃｋｗａｒｄフェーズが実行され、ブロック１３１～１３４に誤差情報が伝播しない。このように、ブロック１３１は、重みを１０００回に１回更新する。ブロック１３２は、重みを１０００回に１０回更新する。ブロック１３３は、重みを１０００回に１００回更新する。ブロック１３４は、重みを１０００回に５００回更新する。
図１１は、更新頻度テーブルの例を示す図である。
更新頻度テーブル１２７は、ブロック１３１～１３５の更新頻度を示す。学習装置１００は、更新頻度の管理のために更新頻度テーブル１２７を生成してもよい。更新頻度テーブル１２７は、モデル種類、ブロック名、学習率、更新頻度および削減率の項目を含む。
モデル種類は、過去に学習された重みを初期値として流用する既存モデルと、まだ重みが学習されたことのない新規モデルとの区別を示す。ブロック１３１～１３４は既存モデルに属し、ブロック１３５は新規モデルに属する。ブロック名は、ブロック１３１～１３５を識別する識別名である。学習率は、ブロック１３１～１３５の最新の学習率である。最新の学習率は、ユーザが指定した初期値よりも低下していることがある。更新頻度テーブル１２７には、ブロック１３１～１３５の学習率の比率を記載してもよい。
更新頻度は、連続する所定数のイテレーションの中で、ブロック１３１～１３５が重みを更新するイテレーションの回数の割合を示す。削減率は、重みの更新を省略することによる計算量の減少率である。ブロック１３１の更新頻度は１０００分の１であり、削減率は９９．９％である。ブロック１３２の更新頻度は１０００分の１０であり、削減率は９９％である。ブロック１３３の更新頻度は１０００分の１００であり、削減率は９０％である。ブロック１３４の更新頻度は１０００分の５００であり、削減率は５０％である。ブロック１３５の更新頻度は１０００分の１０００であり、削減率は０％である。
次に、学習装置１００の機能および処理手順について説明する。
図１２は、学習装置の機能例を示すブロック図である。
学習装置１００は、既存モデル記憶部１２１、訓練データ記憶部１２２、モデル記憶部１２３、機械学習部１２４、学習率設定部１２５および更新頻度制御部１２６を有する。
既存モデル記憶部１２１、訓練データ記憶部１２２およびモデル記憶部１２３は、例えば、ＲＡＭ１０２またはＨＤＤ１０３の記憶領域を用いて実現される。機械学習部１２４、学習率設定部１２５および更新頻度制御部１２６は、例えば、ＣＰＵ１０１が実行するプログラムを用いて実現される。機械学習部１２４、学習率設定部１２５および更新頻度制御部１２６は、複数のノードを用いた機械学習の並列処理を制御するプラットフォームプログラムとして実装することが可能である。プラットフォームプログラムは、ＲＡＭ１０２に記憶されてＣＰＵ１０１により実行される。なお、各フェーズの具体的な処理は、ユーザプログラムやライブラリプログラムとして実装することが可能である。ユーザプログラムやライブラリプログラムは、ＧＰＵ１０４－１～１０４－４により実行される。
既存モデル記憶部１２１は、ブロック１３１～１３４を含む既存モデルを記憶する。既存モデルは、例えば、ＶＧＧ－１６やＲｅｓＮｅｔ５０など、学習済みの重みを含む既知の多層ニューラルネットワークである。訓練データ記憶部１２２は、今回の深層学習に使用する訓練データを記憶する。訓練データは、それぞれ説明変数の値と教師ラベルとを対応付けた複数のレコードを含む。例えば、説明変数の値が手書き文字の画像データであり、教師ラベルが正解の文字である。モデル記憶部１２３は、今回の深層学習によって学習されたモデルを記憶する。学習されたモデルは、既存モデルに属するブロック１３１～１３４と新規モデルに属するブロック１３５とを含む。ブロック１３１～１３４の重みも、既存モデル記憶部１２１に記憶されたものから修正されていることがある。
機械学習部１２４は、深層学習を制御する。機械学習部１２４は、既存モデルに含まれるブロック１３１～１３４の後段に、重みを初期化した新規モデルのブロック１３５を接続して、モデルの原型を生成する。機械学習部１２４は、モデルの原型と訓練データをＧＰＵメモリ１０５に転送し、ＧＰＵ１０４－１～１０４－４に深層学習を実行させる。深層学習が終了すると、機械学習部１２４は、学習されたモデルをＧＰＵ１０５から読み出し、モデル記憶部１２３に保存する。機械学習部１２４は、学習したモデルの情報を表示装置１１１に表示してもよく、他の情報処理装置に送信してもよい。
深層学習の実行にあたり、機械学習部１２４は、ブロック１３１～１３５に対して設定された学習率を学習率設定部１２５から取得し、学習率を示す制御データをＧＰＵメモリ１０５に転送する。また、機械学習部１２４は、ブロック１３１～１３５に対して決定された更新頻度を学習率設定部１２５から取得し、次のイテレーションでのブロック１３１～１３５それぞれの更新の有無を判定する。機械学習部１２４は、更新の有無を示す制御データをＧＰＵメモリ１０５に転送する。ブロック１３１～１３５それぞれの更新の有無は、例えば、更新処理を行う場合にＯＮ（１）の値をとり、更新処理を行わない場合にＯＦＦ（０）の値をとる制御フラグによって表現することができる。
学習率設定部１２５は、ブロック１３１～１３５それぞれの学習率の初期値の入力をユーザから受け付ける。学習率設定部１２５は、学習率の初期値を機械学習部１２４に提供する。また、学習率設定部１２５は、深層学習の途中で、学習率を変更するタイミングを検出する。学習率を変更するタイミングは、例えば、イテレーション回数が所定数に達したタイミングである。学習率を変更するタイミングを検出すると、学習率設定部１２５は、所定の計算式に従って、ブロック１３１～１３５それぞれの学習率を現在よりも低下させる。例えば、学習率設定部１２５は、ブロック１３１～１３５それぞれの学習率を現在の半分にする。学習率設定部１２５は、変更後の学習率を機械学習部１２４に提供する。
更新頻度制御部１２６は、学習率設定部１２５によって学習率の初期値が設定されたこと、または、深層学習の途中で学習率が変更されたことを検出する。すると、更新頻度制御部１２６は、ブロック１３１～１３５の学習率の比率を算出し、学習率の比率をブロック１３１～１３５の更新頻度の比率とみなす。更新頻度制御部１２６は、ブロック１３１～１３５の更新頻度を機械学習部１２４に提供する。
図１３は、機械学習の手順例を示すフローチャートである。
（Ｓ１０）学習率設定部１２５は、モデルに含まれるブロック１３１～１３５それぞれに対して学習率の初期値を設定する。学習率の初期値はユーザから指定される。
（Ｓ１１）更新頻度制御部１２６は、ブロック１３１～１３５の学習率が設定または変更されたか判断する。学習率が設定または変更された場合、ステップＳ１２に進む。学習率が設定も変更もされていない場合、ステップＳ１４に進む。
（Ｓ１２）更新頻度制御部１２６は、ブロック１３１～１３５の現在の学習率の比率を算出し、学習率の比率からブロック１３１～１３５の重みの更新頻度を決定する。
（Ｓ１３）更新頻度制御部１２６は、ブロック１３１～１３５の中から現在の学習率が０のブロックを検索する。学習率が０のブロックがある場合、更新頻度制御部１２６は、そのブロックの更新頻度を０にして、そのブロックの重みの更新を停止する。
（Ｓ１４）機械学習部１２４は、ブロック１３１～１３５の最新の更新頻度に基づいて、今回のイテレーションでのブロック１３１～１３５それぞれの更新の有無を決定する。例えば、更新頻度が１０分の１のブロックは、イテレーション１０回につき１回だけ更新処理が行われる。その場合、例えば、機械学習部１２４は、イテレーション番号を１０で割った余りが０である場合のみ、更新処理を行うと決定する。機械学習部１２４は、例えば、ブロック１３１～１３５それぞれの更新の有無を示す制御フラグを生成する。制御フラグ＝ＯＮ（１）は更新ありを表し、制御フラグ＝ＯＦＦ（０）は更新なしを表す。
（Ｓ１５）ＧＰＵ１０４－１～１０４－４は、今回のイテレーションで使用する訓練データをＧＰＵメモリ１０５から読み出す。訓練データはＲＡＭ１０２からＧＰＵメモリ１０５に予め転送されている。訓練データの読み出しにあたり、ＧＰＵ１０４－１～１０４－４は、互いに異なるレコードを選択することが好ましい。ＧＰＵ１０４－１～１０４－４は、例えば、所定のアルゴリズムに従って、今回使用するレコードの位置を特定する。
（Ｓ１６）ＧＰＵ１０４－１～１０４－４は、読み出した訓練データを用いてＦｏｒｗａｒｄフェーズの処理を並列に実行する。Ｆｏｒｗａｒｄフェーズでは、ＧＰＵ１０４－１～１０４－４は、訓練データに含まれる説明変数の値をモデルに入力し、ブロック１３１からブロック１３５までデータを伝播させて予測結果を生成する。ＧＰＵ１０４－１～１０４－４は、訓練データに含まれる教師ラベルと予測結果の間の予測誤差を算出する。
（Ｓ１７）ＧＰＵ１０４－１～１０４－４は、モデルの出力に近い方から優先的にブロックを１つ選択する。よって、ブロック１３５、ブロック１３４、ブロック１３３、ブロック１３２、ブロック１３１の順に選択されることになる。なお、ＦｏｒｗａｒｄフェーズからＢａｃｋｗａｒｄフェーズに進むにあたり、ＧＰＵ１０４－１～１０４－４は、バリア同期などによって同期をとるようにしてもよい。
（Ｓ１８）ＧＰＵ１０４－１～１０４－４は、選択したブロックが、今回のイテレーションで更新有りのブロックであるか判断する。例えば、ＧＰＵ１０４－１～１０４－４は、選択したブロックに対応する制御フラグがＯＮであるか判断する。更新有りのブロックの場合はステップＳ１９に進み、更新無しのブロックの場合はステップＳ２０に進む。
（Ｓ１９）ＧＰＵ１０４－１～１０４－４は、選択したブロックのＢａｃｋｗａｒｄフェーズの処理を並列に実行する。Ｂａｃｋｗａｒｄフェーズでは、ＧＰＵ１０４－１～１０４－４は、選択したブロックの出力から入力に向かって誤差情報を伝播し、選択したブロックに含まれる重みそれぞれの誤差勾配を算出する。選択したブロックの後段に別のブロックがある場合、当該別のブロックから誤差情報が伝播している。その場合、その誤差情報を出力から入力に向かって伝播することになる。
（Ｓ２０）ＧＰＵ１０４－１～１０４－４は、ステップＳ１７においてモデルに含まれる全てのブロックを選択したか判断する。全てのブロックを選択した場合はステップＳ２１に進み、未選択のブロックがある場合はステップＳ１７に戻る。
図１４は、機械学習の手順例を示すフローチャート（続き）である。
（Ｓ２１）ＧＰＵ１０４－１～１０４－４は、モデルの入力に近い方から優先的にブロックを１つ選択する。よって、ブロック１３１、ブロック１３２、ブロック１３３、ブロック１３４、ブロック１３５の順に選択されることになる。なお、ＢａｃｋｗａｒｄフェーズからＣｏｍｍｕｎｉｃａｔｅフェーズに進むにあたり、ＧＰＵ１０４－１～１０４－４は、バリア同期などによって同期をとるようにしてもよい。
（Ｓ２２）ＧＰＵ１０４－１～１０４－４は、選択したブロックが、今回のイテレーションで更新有りのブロックであるか判断する。例えば、ＧＰＵ１０４－１～１０４－４は、選択したブロックに対応する制御フラグがＯＮであるか判断する。更新有りのブロックの場合はステップＳ２３に進み、更新無しのブロックの場合はステップＳ２４に進む。
（Ｓ２３）ＧＰＵ１０４－１～１０４－４は、ＡｌｌＲｅｄｕｃｅ通信により、選択したブロックに含まれる重みに対して算出された誤差勾配を合算する。なお、選択したブロックが更新無しのブロックの場合、ＧＰＵ１０４－１～１０４－４は、ＡｌｌＲｅｄｕｃｅ通信を行わずに、誤差勾配の合算値を０とみなす。
（Ｓ２４）ＧＰＵ１０４－１～１０４－４は、ステップＳ２１においてモデルに含まれる全てのブロックを選択したか判断する。全てのブロックを選択した場合はステップＳ２５に進み、未選択のブロックがある場合はステップＳ２１に戻る。なお、第２の実施の形態では、Ｂａｃｋｗａｒｄフェーズの完了後にＣｏｍｍｕｎｉｃａｔｅフェーズを開始している。これに対して、モデルの出力から入力に向かって、誤差勾配の算出が完了したブロックから順次、ＡｌｌＲｅｄｕｃｅ通信を開始するようにしてもよい。すなわち、ＢａｃｋｗａｒｄフェーズとＣｏｍｍｕｎｉｃａｔｅフェーズを並列に実行してもよい。
（Ｓ２５）ＧＰＵ１０４－１～１０４－４は、モデルの入力に近い方から優先的にブロックを１つ選択する。よって、ブロック１３１、ブロック１３２、ブロック１３３、ブロック１３４、ブロック１３５の順に選択されることになる。なお、ＣｏｍｍｕｎｉｃａｔｅフェーズからＵｐｄａｔｅフェーズに進むにあたり、ＧＰＵ１０４－１～１０４－４は、バリア同期などによって同期をとるようにしてもよい。
（Ｓ２６）ＧＰＵ１０４－１～１０４－４は、選択したブロックが、今回のイテレーションで更新有りのブロックであるか判断する。例えば、ＧＰＵ１０４－１～１０４－４は、選択したブロックに対応する制御フラグがＯＮであるか判断する。更新有りのブロックの場合はステップＳ２７に進み、更新無しのブロックの場合はステップＳ２８に進む。
（Ｓ２７）ＧＰＵ１０４－１～１０４－４は、誤差勾配の合算値をノード数で割って、誤差勾配の平均を算出する。ＧＰＵ１０４－１～１０４－４は、選択したブロックの現在の学習率と誤差勾配の平均とから、選択したブロックに含まれる重みを更新する。例えば、誤差勾配の平均に学習率を乗じた数値を、重みから減じる。なお、選択したブロックが更新無しのブロックの場合、選択したブロックに含まれる重みは変化しない。
（Ｓ２８）ＧＰＵ１０４－１～１０４－４は、ステップＳ２５においてモデルに含まれる全てのブロックを選択したか判断する。全てのブロックを選択した場合はステップＳ２９に進み、未選択のブロックがある場合はステップＳ２５に戻る。
（Ｓ２９）機械学習部１２４は、イテレーション回数が上限に達したか判断する。イテレーション回数の上限は、例えば、ユーザから指定される。上限に達した場合は機械学習が終了し、上限に達していない場合はステップＳ３０に進む。
（Ｓ３０）学習率設定部１２５は、イテレーション回数が所定条件を満たすか判断する。例えば、学習率設定部１２５は、イテレーション回数が、学習率の変更タイミングを示す所定数であるか判断する。学習率の変更タイミングは、深層学習の途中で２回以上設定されてもよい。所定条件を満たす場合はステップＳ３１に進み、所定条件を満たさない場合はステップＳ１１に戻る。なお、イテレーション回数が所定条件を満たさない場合、ブロック１３１～１３５の現在の学習率および更新頻度が維持される。
（Ｓ３１）学習率設定部１２５は、所定の計算方法に従って、ブロック１３１～１３５それぞれの学習率を下げる。例えば、学習率設定部１２５は、ブロック１３１～１３５それぞれの学習率を、現在の２分の１に変更する。学習率の変更によって、ブロック１３１～１３５のうちの一部のブロックの学習率が０になることもある。例えば、有効桁数より小さい小数となった学習率が０とみなされる。また、変更後の学習率が所定の下限以下となった場合、学習率を０とみなしてもよい。そして、ステップＳ１１に戻る。
第２の実施の形態の学習装置１００によれば、同一または異なるノードが備える複数のＧＰＵを用いて、多層ニューラルネットワークの深層学習が並列化される。よって、深層学習を高速化することができる。また、深層学習によって学習されるモデルが、既存モデルの後段に新規モデルを追加したものとなる。よって、モデル全体を新規に学習する場合と比べて、短時間で高精度のモデルを学習することができる。また、訓練データのサイズを小さくすることができ、訓練データの収集コストを削減できる。
また、モデルの中のブロック単位で、ハイパーパラメータの１つである学習率を設定することができる。そこで、出力に近い追加部分のブロックに対しては大きい学習率が設定され、入力に近い既存部分のブロックに対しては小さい学習率が設定される。よって、既存モデルの重みを活用しつつモデル全体を効率的に学習することができる。
また、複数のブロックの間の学習率の比率に応じて各ブロックの重みの更新頻度が決定され、学習率が小さいブロックでは重みの更新頻度が低くなる。よって、一部のブロックではＢａｃｋｗａｒｄ、Ｃｏｍｍｕｎｉｃａｔｅ、Ｕｐｄａｔｅのフェーズを間欠的に省略することが可能となり、無駄な更新処理を抑制して計算量を削減できる。特に、学習率が０であるか０に近いブロックでは、更新処理を行っても重みがほとんど変化しないか全く変化しないことが多い。よって、更新処理を間引いても次回の予測結果への影響が小さく、モデル精度への影響を抑制しつつ計算量を削減できる。また、学習率の比率を更新頻度の比率として採用することで、モデル精度と計算量のバランスを図ることができる。このように、深層学習を高速化することができる。
１０ 学習装置
１１ 記憶部
１２ 処理部
１３ モデル
１４，１５ ブロック
１４ａ，１５ａ パラメータ
１４ｂ，１５ｂ 学習率
１６ 訓練データ

Claims (8)

  1. コンピュータに、
    第１のパラメータを含む第１のブロックおよび第２のパラメータを含む第２のブロックを含むモデルにおいて、前記第１のブロックに対して第１の学習率を設定し、前記第２のブロックに対して前記第１の学習率より小さい第２の学習率を設定し、
    訓練データを用いて算出された前記モデルの予測誤差と前記第１の学習率とに基づいて前記第１のパラメータを更新し、前記予測誤差と前記第２の学習率とに基づいて前記第２のパラメータを更新する、ことを反復的に実行する学習処理を開始し、
    前記第１の学習率と前記第２の学習率との間の関係に応じて、前記学習処理において、前記第２のパラメータの更新を間欠的に省略することで、前記第２のパラメータの更新頻度が前記第１のパラメータより低くなるよう制御する、
    処理を実行させる学習プログラム。
  2. 前記制御では、前記第１の学習率と前記第２の学習率との比に応じて、前記学習処理における前記第２のパラメータの更新頻度を決定する、
    請求項１記載の学習プログラム。
  3. 前記制御では、前記第１の学習率および前記第２の学習率の少なくとも一方が前記学習処理の途中で変更されたことを検出し、変更後の前記第１の学習率と前記第２の学習率との間の関係に応じて、前記第２のパラメータの更新頻度を変更する、
    請求項１記載の学習プログラム。
  4. 前記制御では、前記第２の学習率が閾値以下であるか判定し、前記第２の学習率が前記閾値以下である場合は前記第２のパラメータの更新を停止する、
    請求項１記載の学習プログラム。
  5. 前記第１のブロックは、前記学習処理の開始の際に前記第１のパラメータが初期化される新規ブロックであり、前記第２のブロックは、他の訓練データを用いて学習された前記第２のパラメータが前記学習処理の開始の際に引き継がれる既存ブロックであり、
    前記第２のブロックの位置は、前記第１のブロックよりも前記モデルの入力に近い、
    請求項１記載の学習プログラム。
  6. 前記学習処理は、前記訓練データから前記予測誤差を算出する第１のフェーズと、前記予測誤差の情報を前記モデルの出力から入力に向かって逆伝播する第２のフェーズと、並列処理に用いる複数の演算器の間で前記逆伝播の結果を合成する第３のフェーズと、合成した前記逆伝播の結果に基づいてパラメータを更新する第４のフェーズとを含み、
    前記制御では、前記第２のブロックにおいて、前記第２のフェーズと前記第３のフェーズと前記第４のフェーズとを間欠的に省略する、
    請求項１記載の学習プログラム。
  7. コンピュータが、
    第１のパラメータを含む第１のブロックおよび第２のパラメータを含む第２のブロックを含むモデルにおいて、前記第１のブロックに対して第１の学習率を設定し、前記第２のブロックに対して前記第１の学習率より小さい第２の学習率を設定し、
    訓練データを用いて算出された前記モデルの予測誤差と前記第１の学習率とに基づいて前記第１のパラメータを更新し、前記予測誤差と前記第２の学習率とに基づいて前記第２のパラメータを更新する、ことを反復的に実行する学習処理を開始し、
    前記第１の学習率と前記第２の学習率との間の関係に応じて、前記学習処理において、前記第２のパラメータの更新を間欠的に省略することで、前記第２のパラメータの更新頻度が前記第１のパラメータより低くなるよう制御する、
    学習方法。
  8. 訓練データと、第１のパラメータを含む第１のブロックおよび第２のパラメータを含む第２のブロックを含むモデルと、を記憶する記憶部と、
    前記第１のブロックに対して第１の学習率を設定し、前記第２のブロックに対して前記第１の学習率より小さい第２の学習率を設定し、前記訓練データを用いて算出された前記モデルの予測誤差と前記第１の学習率とに基づいて前記第１のパラメータを更新し、前記予測誤差と前記第２の学習率とに基づいて前記第２のパラメータを更新する、ことを反復的に実行する学習処理を開始し、前記第１の学習率と前記第２の学習率との間の関係に応じて、前記第２のパラメータの更新を間欠的に省略することで、前記第２のパラメータの更新頻度が前記第１のパラメータより低くなるよう制御する処理部と、
    を有する学習装置。
JP2019214496A 2019-11-27 2019-11-27 学習プログラム、学習方法および学習装置 Active JP7295431B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019214496A JP7295431B2 (ja) 2019-11-27 2019-11-27 学習プログラム、学習方法および学習装置
US17/065,554 US20210158212A1 (en) 2019-11-27 2020-10-08 Learning method and learning apparatus
EP20202259.6A EP3828776A1 (en) 2019-11-27 2020-10-16 Program, learning method, and learning apparatus
CN202011202775.9A CN112862087A (zh) 2019-11-27 2020-11-02 学习方法、学习设备及非暂态计算机可读记录介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019214496A JP7295431B2 (ja) 2019-11-27 2019-11-27 学習プログラム、学習方法および学習装置

Publications (2)

Publication Number Publication Date
JP2021086371A JP2021086371A (ja) 2021-06-03
JP7295431B2 true JP7295431B2 (ja) 2023-06-21

Family

ID=73005300

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019214496A Active JP7295431B2 (ja) 2019-11-27 2019-11-27 学習プログラム、学習方法および学習装置

Country Status (4)

Country Link
US (1) US20210158212A1 (ja)
EP (1) EP3828776A1 (ja)
JP (1) JP7295431B2 (ja)
CN (1) CN112862087A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11922314B1 (en) * 2018-11-30 2024-03-05 Ansys, Inc. Systems and methods for building dynamic reduced order physical models
JP2023046868A (ja) * 2021-09-24 2023-04-05 富士通株式会社 機械学習プログラム、機械学習方法および情報処理装置
JP7262654B1 (ja) 2022-07-11 2023-04-21 アクタピオ，インコーポレイテッド 情報処理方法、情報処理装置および情報処理プログラム
WO2024054646A2 (en) * 2022-09-08 2024-03-14 University Of Florida Research Foundation, Incorporated Techniques for predicting and treating post-operative outcomes in surgery patients

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180174040A1 (en) 2016-12-20 2018-06-21 Michael I. Davies Trace-based neuromorphic architecture for advanced learning
JP2018205858A (ja) 2017-05-31 2018-12-27 キヤノン株式会社 学習装置、認識装置、学習方法及びプログラム
WO2019126535A1 (en) 2017-12-21 2019-06-27 The University Of Chicago Combined learned and dynamic control system

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6269351B1 (en) * 1999-03-31 2001-07-31 Dryken Technologies, Inc. Method and system for training an artificial neural network
JP2017182320A (ja) 2016-03-29 2017-10-05 株式会社メガチップス 機械学習装置
CN106600059B (zh) * 2016-12-13 2020-07-24 北京邮电大学 基于改进rbf神经网络的智能电网短期负荷预测方法
US20190095794A1 (en) * 2017-09-26 2019-03-28 Intel Corporation Methods and apparatus for training a neural network
US11003992B2 (en) * 2017-10-16 2021-05-11 Facebook, Inc. Distributed training and prediction using elastic resources
US10515296B2 (en) * 2017-11-14 2019-12-24 Adobe Inc. Font recognition by dynamically weighting multiple deep learning neural networks
CN110033019B (zh) * 2019-03-06 2021-07-27 腾讯科技（深圳）有限公司 人体部位的异常检测方法、装置和存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180174040A1 (en) 2016-12-20 2018-06-21 Michael I. Davies Trace-based neuromorphic architecture for advanced learning
JP2018205858A (ja) 2017-05-31 2018-12-27 キヤノン株式会社 学習装置、認識装置、学習方法及びプログラム
WO2019126535A1 (en) 2017-12-21 2019-06-27 The University Of Chicago Combined learned and dynamic control system

Also Published As

Publication number Publication date
EP3828776A1 (en) 2021-06-02
CN112862087A (zh) 2021-05-28
US20210158212A1 (en) 2021-05-27
JP2021086371A (ja) 2021-06-03

Similar Documents

Publication Publication Date Title
JP7295431B2 (ja) 学習プログラム、学習方法および学習装置
CN109313720B (zh) 具有稀疏访问的外部存储器的增强神经网络
US8761496B2 (en) Image processing apparatus for calculating a degree of similarity between images, method of image processing, processing apparatus for calculating a degree of approximation between data sets, method of processing, computer program product, and computer readable medium
US20220301288A1 (en) Control method and information processing apparatus
US20220067940A1 (en) Robust machine learning for imperfect labeled image segmentation
US20210357740A1 (en) Second-order optimization methods for avoiding saddle points during the training of deep neural networks
CN111985631B (zh) 信息处理设备、信息处理方法及计算机可读记录介质
WO2023284770A1 (zh) 张量程序优化方法及装置
CN109858615A (zh) 具有记忆的低通递归神经网络系统
US20230268035A1 (en) Method and apparatus for generating chemical structure using neural network
CN113850364A (zh) 非暂态计算机可读记录介质、学习方法和信息处理设备
JP7444235B2 (ja) 注意機構、画像認識システム、特徴変換方法およびプログラム
JP2019204214A (ja) 学習装置、学習方法、プログラム及び推定装置
US20210397948A1 (en) Learning method and information processing apparatus
JP2023044336A (ja) 学習装置、学習方法およびプログラム
EP4348507A1 (en) Scaling deep graph learning in distributed setting
US20230334315A1 (en) Information processing apparatus, control method of information processing apparatus, and storage medium
CN113095328A (zh) 一种基尼指数引导的基于自训练的语义分割方法
JP6810365B2 (ja) 学習済みモデル、プログラム
JP7436830B2 (ja) 学習プログラム、学習方法、および学習装置
WO2022190301A1 (ja) 学習装置、学習方法、及びコンピュータ可読媒体
US20230316731A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
Duran-Dominguez et al. Improving the accuracy of prediction applications by efficient tuning of gradient descent using genetic algorithms
JP2021120825A (ja) 学習装置、学習方法、及び学習プログラム
JP2023073825A (ja) 画像処理装置およびその制御方法、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220809

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230509

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230522

R150 Certificate of patent or registration of utility model

Ref document number: 7295431

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150