JP7009020B2 - 学習方法、学習システム、学習装置、方法、適用装置、及びコンピュータプログラム - Google Patents

Description

本開示は、ディープニューラルネットワーク（ＤＮＮ）のモデリング分野に関し、特に、異なる計算精度に適したニューラルネットワークモデルの学習方法に関する。

本開示は、２０１９年８月２９日出願で発明の名称が「TRAINING AND APPLICATION METHOD、APPARATUS、SYSTEM AND STROAGE MEDIUM OF NEURAL NETWORK MODEL」である中国特許出願第２０１９１０８０７５９１．６号の優先権を主張し、その内容全体が参照により本明細書に組み込まれる。

ディープニューラルネットワークは、複雑なネットワークアーキテクチャを有するモデルである。共通のニューラルネットワークモデルには、畳み込みニューラルネットワーク（ＣＮＮ）モデル、再帰ニューラルネットワーク（ＲＮＮ）モデル、グラフニューラルネットワーク（ＧＮＮ）モデルなどが含まれる。図１は、単純なニューラルネットワークモデルアーキテクチャを示す（特定のネットワークアーキテクチャは示されていない）。学習されるべきデータｘ（特徴マップ）がニューラルネットワークモデルＦに入力された後、ｘはネットワークモデルＦにおいて上から下へ層ごとに計算され、最後に、ある分布要件を満たす出力結果ｙがモデルＦから出力される。

図２、図３に示すＣＮＮモデルを例にとると、モデル内に３つの重みｗ_１、ｗ_２、ｗ_３を含む畳み込み層が存在するものとし、図２に示す順伝播（Forward Propagation）処理において、畳み込み層の入力特徴マップと重みｗ_１、ｗ_２、ｗ_３に対してそれぞれ畳み込み演算を行った後、畳み込み層の出力特徴マップが取得され、次の層に出力される。最終的には、層毎の演算により、ネットワークモデルの出力結果ｙが得られる。出力結果ｙはユーザにより予測される出力結果ｙ^＊と比較され、それらの間の誤差が所定の閾値を超えない場合、現ネットワークモデルの性能がより良好であることを示し、そうでなく、それらの間の誤差が所定の閾値を超える場合、実際の出力結果ｙと予測される出力結果ｙ^＊との間の誤差は、ネットワークモデルの性能を最適化するために、図３に示される逆伝播（Back Propagation）処理における畳み込み層における重みｗ_１、ｗ_２、ｗ_３を更新するために使用される必要がある。ここで、ネットワークモデルにおける各重みを更新する処理は、ネットワークモデルの学習処理である。

ネットワークモデルの各重みを更新する処理では、誤差評価関数Ｌ（ｙ，ｙ^＊）（入力は実際の出力結果ｙと予測される出力結果ｙ^＊であり、それらの間の誤差を示す関数である）に従って、各重みｗの偏微分（勾配）ｇがネットワークモデルにおいて下から上へ層ごとに算出される。学習される現在のネットワークモデルがｔ回（つまり、学習の繰り返し回数がｔ）学習され、ネットワークモデルで更新されるいくつかの重みがあり、現在更新されている重みがｗ_ｔであるとする。まず、重みｗ_ｔの勾配ｇ_ｔを次式（１）に従って計算し、そして、次式（２）に従って重みｗ_ｔを更新し、（ｔ＋１）番目の（この）学習後の重みｗ_ｔ＋１を求める。

ここで、η_tは、更新ステップスケール（学習速度とも呼ばれる）であり、これは一定でも可変でもよく、勾配ｇ_ｔを変倍するために使用される。

重みｗ_ｔに対する上記の更新処理によれば、重み更新処理において、勾配の計算が重要なステップであることが知られているが、上記の式（２）は重みｗ_ｔと勾配との間の関係のみを考慮する、すなわち、この（現在の）学習反復における勾配に対する過去の勾配（以前の学習反復における勾配）の影響を考慮せずに、最新の更新後の勾配のみを考慮するので、勾配位置で生成される方向慣性は小さく、これはニューラルネットワークモデル学習の加速に不利である。

本開示の一態様によれば、ニューラルネットワークモデルの学習方法であって、逆伝播中のニューラルネットワークモデルにおける重みの勾配を決定することと、決定された勾配のうち少なくとも１つについて以下の処理：勾配が制約閾値範囲内にあるかどうかを判定し、制約閾値範囲を超える勾配を制約閾値範囲内に制約すること、ここで、制約閾値範囲は、ニューラルネットワークモデルの計算精度および学習の反復回数に従って決定される、を行うことと、制約された勾配を用いて重みを更新することとを有する学習方法が提供される。

本開示の別の態様によれば、ニューラルネットワークモデルの学習システムであって、少なくとも１つの第１ネットワークモデルを格納するサーバであって、ここで、第１ネットワークモデルは第２ネットワークモデルを同期させるための情報を提供し、サーバは、逆伝播中に第１ネットワークモデルにおける重みの勾配を決定し、決定された勾配のうち少なくとも１つについて、以下の処理：勾配が制約閾値範囲内にあるかどうかを判定し、制約閾値範囲を超える勾配を制約閾値範囲内に制約し、制約された勾配を用いて重みを更新し、更新された重みを出力し、ここで、制約閾値範囲は、第１ネットワークモデルの計算精度および学習の反復回数に従って決定される、を実行するために用いられ、第２ネットワークモデルを格納する端末であって、端末はサーバによって出力された重みを用いて第２ネットワークモデルを同期させるために用いられることを特徴とする学習システムが提供される。

本開示の別の態様によれば、ニューラルネットワークモデルの学習装置であって、逆伝播中にニューラルネットワークモデルにおける重みの勾配を決定する勾配決定手段と、勾配決定手段によって決定された勾配のうち少なくとも１つについて、以下の処理：勾配が制約閾値範囲内にあるかどうかを判定し、制約閾値範囲を超える勾配を制約閾値範囲内に制約すること、ここで、制約閾値範囲は、ニューラルネットワークモデルの計算精度および学習の反復回数に従って決定される、を実行する勾配制約手段と、制約された勾配を用いて重みを更新する更新手段とを有することを特徴とする学習装置が提供される。

本開示の別の態様によれば、ニューラルネットワークモデルの適用方法であって、
上記の学習方法に基づいて学習されたニューラルネットワークモデルを格納ことと、
格納されたニューラルネットワークモデルによって実行され得るタスクに対応するために必要とされるデータセットを受信することと、
格納されたニューラルネットワークモデルにおいて上から下まで各層においてデータセットに対する演算を実行して結果を出力することと
を有することを特徴とする適用方法が提供される。

本開示の別の態様によれば、ニューラルネットワークモデルの適用装置であって、
上記の学習方法に基づいて学習されたニューラルネットワークモデルを格納する格納モジュールと、
格納されたニューラルネットワークモデルによって実行され得るタスクに対応するために必要とされるデータセットを受信する受信モジュールと、
格納されたニューラルネットワークモデルにおいて上から下まで各層においてデータセットに対する演算を実行して結果を出力する処理モジュールと
を有することを特徴とする適用装置が提供される。

本開示の別の態様によれば、コンピュータによって実行されると、上記ニューラルネットワークモデルに基づいてコンピュータに学習方法を実行させる命令を記憶する非一時的なコンピュータ可読記憶媒体が提供される。

本開示のさらなる特徴は、添付の図面を参照して、例示的な実施形態の以下の説明から明らかになるであろう。

本明細書に組み込まれ、その一部を構成する添付の図面は本開示の例示的な実施形態を示し、例示的な実施形態の説明とともに、本開示の原理を説明する役割を果たす。
図１は、ニューラルネットワークモデルアーキテクチャを示す。 図２は、順伝播処理を示す。 図３は、逆伝播処理を示す。 図４は、ＡＤＡＭ方法のフローチャートを示す。 図５（ａ）は、高精度の場合の重み値および勾配値を示す。 図５（ｂ）は、低精度の場合の重み値および勾配値を示す。 図６（ａ）は、高精度の場合の学習結果を示す。 図６（ｂ）は、低精度の場合の学習結果を示す。 図６（ｃ）は、本開示の場合の学習結果を示す。 図７は、本開示の第１の例示的な実施形態におけるニューラルネットワークモデルの学習方法のフローチャートである。 図８は、ＡＤＡＭ方法および本開示の方法の下での減衰率における変化を示す。 図９（ａ）は、高精度、低精度（本開示の技術を使用しない）下での勾配変化を示す。 図９（ｂ）は、低精度（本開示の技術を使用する）下での勾配変化を示す。 図１０は、本開示の第２の例示的な実施形態の学習システムの概略図を示す。 図１１は、本開示の第３の例示的な実施形態の学習装置の概略図を示す。 図１２は、本開示の第３の例示的な実施形態の学習装置のハードウェア環境の概略図を示す。 図１３は、本開示の第３の例示的な実施形態に係る学習装置の適用環境の概略図を示す。

従来の重み更新処理を最適化し、ニューラルネットワークモデルの収束速度を改善し、ニューラルネットワークモデルの学習を加速するために、ＡＤＡＭ（Adaptive Moment Estimation）学習法を提案する。ニューラルネットワークモデルにおいて特定の重みが更新されるとき、以前の更新（学習）における重みの過去の勾配が、この更新（学習）における重みの勾配を更新するために使用され、したがって、新しい勾配が重みを更新するために使用される。図４は、ＡＤＡＭ法に基づいて重みを更新する方法のフローチャートを示す。学習対象のニューラルネットワークモデルがｔ回学習され（学習反復数はｔ）、ニューラルネットワークモデルの重みｗ_ｔが現在更新中であり、具体的な処理は以下を含むものとする。

まず、上記の式（１）を用いて、重みｗ_ｔの勾配ｇ_ｔを計算する。

次に、次の導出した式（３）を用いて、重みｗ_ｔの過去の勾配の移動平均１次モーメント、すなわち、過去の勾配の１次モーメントの重み付き総和を計算する。

ここで、β_１ｍ_ｔ－１＋（１－β_１）ｇ_ｔは漸化式（a recursive formula）であり、最初の学習のｍ_１から始まる、ｍ_ｔ－２とこの式などを用いてｍ_ｔ－１を計算し、ｍ_２，ｍ_３．．．．ｍ_ｔ－１を連続的に計算し、１次重み付き総和式

を導出する。β_１は重み付き値で、勾配減衰率を表し、０．９などの一定値にすることができる。式（３）におけるβ^ｔ－ｉ _１は、β_１のｔ－ｉ乗を表す。

次に、以下の導出された式（４）を用いて、過去の勾配の移動平均２次モーメント、すなわち、過去の勾配の２次モーメントの重み付き総和を算出する。

ここで、β_２Ｖ_ｔ－１＋（１－β_２）ｇ_ｔ ^２は、式（３）と同様の漸化式であり、最初の学習のＶ_１から始まって、Ｖ_２，Ｖ_３．．．．Ｖ_ｔ－１が連続的に計算され、２次重み付き総和式

が導出される。β_２は重み付き値で、勾配減衰率を表し、０．９９９などの一定値にすることができる。式（４）におけるβ^ｔ－ｉ _２は、β_２のｔ－ｉ乗を表す。

最後に、式（３）及び式（４）の計算結果に従って、式（５）を用いて勾配ｇ_ｔを更新し、更新された勾配ｇ_ｔ ^’を得てから、式（６）に従って重みｗ_ｔを更新し、この学習後に重みｗ_ｔ＋１を得るために、更新された勾配ｇ_ｔ ^’をさらに用いる。

ＡＤＡＭベースの重み更新方法では、この学習の間にあらかじめ計算された重みｗ_ｔの勾配ｇ_ｔを使用するだけでなく、前の学習の間の重みの過去の勾配を重み付き総和の手段によって導入し、この学習で利用可能な勾配ｇ_ｔ’を得る。それにより、ニューラルネットワークモデルの学習を加速するために、勾配が連続する位置でより大きな慣性を適応的に生成できる。

ＡＤＡＭ方法は従来のニューラルネットワークモデルの学習速度が遅いという問題を克服するが、ＡＤＡＭ方法の適用の前提は、学習されたニューラルネットワークモデルが高精度モデルである（重みおよび入力ｘは高精度である）ということであり、例えば、モデルにおける重みｗは３２ビット浮動小数点タイプである。学習反復の数が増加すると、重みｗは図５（ａ）に示すように変化し、その勾配は重み値の接線である。学習の繰り返し回数が１０の場合、重みｗ_１０の勾配はｇ_１０である。学習の繰り返し回数が２０の場合、重みｗ_２０の勾配はｇ_２０である。ここで、勾配ｇは、上述したＡＤＡＭ方法に従って更新された後の勾配である。図６（ａ）に示すように、高精度のニューラルネットワークモデルを学習すると、学習の繰り返し回数が増加すると、勾配が適度に変化し、ネットワークモデルの実際の出力結果ｙと予測される出力結果ｙ^＊との差分値が、最低点（総損失が所定の閾値を超えない）に達するまで徐々に減少（すなわち、総損失が徐々に減少）し、学習されたニューラルネットワークの性能が期待値を満たす。

例えば、高精度ニューラルネットワークモデルを低精度に量子化する場合、３２ビット浮動小数点型の重みｗをブーリアン型の重みｗ_ｂに量子化し、その値は－１または１に過ぎない。

ここで、ｗ_ｂ＝ｓｉｇｎ（ｗ）である。

このとき、学習の反復回数が増えると、重みｗ_ｂの勾配の変化は図５（ｂ）に示される。学習の反復回数が１０の場合、重みｗ_１０ｂの勾配は

になり、学習の反復回数が２０の場合、重みｗ_２０ｂの勾配は

になる。

ここで、

の勾配は、以下の

を導出することによって得ることができる。

ここで、αは量子化スケールファクタである。

図５（ａ）と図５（ｂ）を比較すると、

は理論的に無限大であり、

は理論的に０であることが分かる。これは、高精度浮動小数点型の重みｗを低精度固定小数点型のｗ_ｂに量子化した場合（ここで

、

は、γ_ｔ＋１が十分に洗練されたネットワークに基づいており、且つ

が量子化されたネットワークに基づいていることを除き、γ_ｔ＋１と同様に計算される）、量子化誤差

が存在し、重みｗの勾配ｇと重みｗ_ｂの勾配

との間に差が生じるためである。低精度ネットワークモデルが学習されるとき、重みを更新するために不適切な勾配

が連続的に使用されると、勾配差の累積は、ネットワークモデルが期待される性能を達成することを妨げ得る。一方、ＡＤＡＭ方法は、過去の勾配の重み付き総和を必要とするため、これまでの（passing）量子化誤差は量子化誤差の存在による過去の勾配を加重和しながら蓄積され、これは方向慣性をシフトさせ、従ってネットワークモデルの学習精度に影響を与える。

図６（ｂ）に示すように、低精度ニューラルネットワークモデルを学習する場合、学習の初期段階では、学習の繰り返し回数が増加することにつれて、ネットワークモデルの実際の出力結果ｙと予測される出力結果ｙ^＊との差分値が徐々に減少する。しかしながら、学習反復の回数が増加することにつれて、勾配変化は、勾配

の不適切さのために不合理である。実際の出力結果ｙと予測される出力結果ｙ^＊との差分値（すなわち、総損失）は常に所定の閾値を超えており、これにより、学習されたニューラルネットワークの性能が期待を満たすことができない。

本開示におけるＡＤＡＭ方法の欠点を説明するために、以下の３つの原理が補足的な説明として提供される。

原理１：量子化スケールファクタαと２値量子化関数ｓｉｇｎ（ｗ）があるとする。オンライン凸最適化問題（online convex optimization problem）がある。定量的ニューラルネットワークの最適化のために、任意の初期ステップスケールηが与えられ、ＡＤＡＭは最適解に収束することができない。これは、ゼロ以外のリグレット、つまりＴ→∞のときに

であるためである。

原理２：量子化スケールファクタαと２値量子化関数ｓｉｇｎ（ｗ）があるとする。任意のβ_１、β_２が与えられ、これは［０，１）に属し、β_１＜√β_２である。オンライン凸最適化問題（online convex optimization problem）がある。定量的ニューラルネットワークの最適化のために、任意の初期ステップスケールηが与えられ、ＡＤＡＭは最適解に収束することができない。これは、ゼロ以外のリグレット、つまりＴ→∞のときに

であるためである。どのようなｃｏｎｖｅｘ関数

に対しても、関数（Ｆ）は制約された勾配を持つ制約値Ｇ_∞を有する。

原理３：量子化スケールファクタαと２値量子化関数ｓｉｇｎ（ｗ）があるとする。任意のβ_１、β_２が与えられ、これは［０，１）に属し、β_１＜√β_２である。ランダム凸最適化問題（random convex optimization problem）がある。定量的ニューラルネットワークの最適化のためには、任意の初期ステップスケールηが与えられ、収束速度ＣはＡＤＡＭに基づき、ＡＤＡＭはβ_１、β_２、α、Ｇ_∞により決定される。どのようなｃｏｎｖｅｘ関数

に対しても、関数（Ｆ）は制約された勾配を持つ制約値Ｇ_∞を有する。

ここで、上記の原理１、原理２および原理３の詳細な説明については、本明細書の＜例示的な実施形態における原理および推論＞の対応する部分を参照されたい。

既存のＡＤＡＭ方法は上記の問題を有するので、本開示は、多層ニューラルネットワークモデルのための学習ソリューションを提案する。ＡＤＡＭ方法と比較して、本開示におけるソリューションは、高精度ニューラルネットワークモデルに適用されることに限定されず、低精度ニューラルネットワークモデルの学習においてもより良好な性能を有する。

上述したように、ＡＤＡＭ方法に基づいて低精度ネットワークモデルを学習する場合、高精度ネットワークモデルの学習と比較して、重みの量子化について量子化誤差γが存在する。ここで、ｗは高精度重みを表し、ｗ_ｂは高精度重みを量子化した後の低精度重みを表す。図５（ａ）と図５（ｂ）とを比較すると、重みｗの勾配ｇと重みｗ_ｂの勾配

とが大きく異なっていることが分かる。このため、勾配

をそのまま用いて重み更新を行うことになり、ネットワークモデルの期待された性能を得ることができない。この観点から、本開示はニューラルネットワークモデルの学習の最適化された方法を提供し、低精度重みの勾配演算に対する量子化誤差の悪影響を完全に考慮する場合、勾配の制約閾値範囲は学習反復の回数およびニューラルネットワークモデルの計算精度に基づいて設定され、その結果、低精度重みの勾配が量子化誤差によって歪められる場合、歪められた勾配は設定された制約閾値範囲内に制約され、勾配の歪みは補正され、したがって、学習されたネットワークモデルは期待される性能を達成することができる。本開示のソリューションでは、ネットワークモデル（例えば、バイナリニューラルネットワークモデル（ＢＮＮ））の計算精度にかかわらず、学習反復の数が増加することにつれて、勾配変化は勾配を制約することによって合理的になされ、その結果、ネットワークモデルの実際の出力結果ｙと予測される出力結果ｙ^＊との間の差分値（すなわち、総損失）は最低点に到達することができ（誤差が所定の閾値を超えず）、したがって、学習されたニューラルネットワークの性能は図６（ｃ）に示されるように、期待値を満たす。

以下、本開示の例示的な実施形態について、図面を参照しながら説明する。明確かつ簡潔にするために、実施形態のすべての特徴が本明細書に記載されているわけではない。しかし、開発者の特定の目標を達成するためには、装置およびビジネスに関連するそれらの制約を満たすなど、実施形態の実施中に多くの実装固有の設定を行わなければならず、これらの制約は異なる実装に応じて変更することができる、ということが理解されるべきである。さらに、開発作業は非常に複雑で時間がかかる可能性があるが、本開示の恩恵を受ける当業者にとってはルーチンの作業にすぎないことも理解されるべきである。

ここで、不必要な詳細によって本開示を曖昧にすることを避けるために、本開示による少なくともソリューションに密接に関連する処理ステップおよび／またはシステム構成のみが図面に示され、本開示に密接に関連しない他の詳細は省略されることにも留意されたい。

次に、本開示の様々な態様について説明する。

＜第１の例示的な実施形態＞
図７は、本開示の第１の例示的な実施形態によるニューラルネットワークモデルの学習方法を示し、学習方法の具体的な説明は以下の通りである。

ステップＳ１０１：この学習の順伝播を行い、ニューラルネットワークモデルの実際の出力結果と予測される出力結果との差分値を求める。

ニューラルネットワークモデルの学習処理は、周期的かつ反復的な処理である。各学習は、順伝播および逆伝播を含む。ここで、順伝播は、ニューラルネットワークモデルにおいて上から下に学習されるべきデータｘの層ごとの演算の処理である。本開示で説明される順伝播処理は、既知の順伝播処理であってもよい。順伝播処理は、特徴マップおよび任意ビットの重みの量子化処理を含んでもよい。本開示は、これに限定されない。ニューラルネットワークモデルの実際の出力結果と予測される出力結果との差分値が所定の閾値を超えない場合、それは、ニューラルネットワークモデルにおける重みが最適解であり、学習されたニューラルネットワークモデルの性能が期待される性能に達し、ニューラルネットワークモデルの学習が終了する、ことを意味する。逆に、ニューラルネットワークモデルの実際の出力結果と予測される出力結果との差分値が所定の閾値を超える場合には、逆伝播処理を継続する必要があり、すなわち、実際の出力結果と予測される出力結果との差分値に基づいて、ニューラルネットワークモデルにおいて、下から上に層ごとに演算を行い、重みが更新されたネットワークモデルの性能が期待される性能に近づくように、モデル内の重みを更新する。

本開示に適用可能なニューラルネットワークモデルは、畳み込みニューラルネットワークモデル、再帰ニューラルネットワークモデル、グラフニューラルネットワークモデルなどの任意の既知のモデルであってもよい。本開示は、ネットワークモデルのタイプに限定されない。

本開示に適用可能なニューラルネットワークモデルの計算精度は任意の精度、例えば、高精度と低精度の両方とすることができ、用語「高精度」と「低精度」は互いに相対的であり、特定の数値を制限しない。例えば、高精度は３２ビット浮動小数点タイプとすることができ、低精度は１ビット固定小数点タイプとすることができる。もちろん、１６ビット、８ビット、４ビット、および２ビットなどの他の精度も、本開示のソリューションに適用可能な計算精度範囲に含まれる。用語「計算精度」は、ニューラルネットワークモデルにおける重みの精度、または本開示において限定されない、学習される入力ｘの精度を指すことができる。本開示で説明されるニューラルネットワークモデルは、バイナリニューラルネットワークモデル（ＢＮＮ）であってもよく、もちろん、他の計算精度を有するニューラルネットワークモデルに限定されない。

ステップＳ１０２：逆伝播では、ネットワークモデルにおける各重みの勾配を算出し、少なくとも１つの重みの勾配に対して後続の最適化処理を実行する。

逆伝播において、順伝播における量子化に含まれる層をＳＴＥ（gradient estimation）技術を用いて処理する。

なお、本実施形態では、重みｗの勾配について、以降の最適化処理が行われるものとする。

ニューラルネットワークモデルは多層構造であるため、逆伝播では、誤差評価関数Ｌ（ｙ，ｙ^＊）（損失関数としても知られている）に従って、チェーン法を用いて各層の重みの勾配値を下から上に層ごとに算出する。なお、このステップＳ１０２において、重みの傾きを算出する方法は何れかの公知の方法でよく、本開示はこれに限定されるものではない。

なお、各重みの勾配を算出した後、勾配についてその後の最適化処理を実行してもよい。例えば、後続の最適化処理を必要とする複数の重みの勾配がある場合、後続の最適化処理が各重みの勾配の間で連続して行われ、同じ層に属する複数の重みの勾配が算出された後、この層の重みの勾配に対して後続の最適化処理が実行され、例えば、同じ層の重みの勾配に対して後続の最適化処理が並行して実行され、異なる層の重みの勾配に対して連続して実行され、ニューラルネットワークモデルの全ての重みの勾配が算出された後、重みの一部または全ての勾配に対して後続の最適化処理が実行され、例えば、後続の最適化処理が各重みの勾配の間で連続して実行され、または、ニューラルネットワークモデルの下から上への層の順序に従って、同じ層の重みの勾配に対して後続の最適化処理が並行して実行され、異なる層の重みの勾配に対して連続して実行されてもよい。本開示は、後続の最適化処理を実行する重みの勾配を限定するものではない。例えば、全ての重みの勾配値に対して後続の最適化処理を行ってもよいし、畳み込み層等の重みの勾配のみに対して後続の最適化処理を行ってもよい。

ステップＳ１０３：ステップＳ１０２で算出された重みｗの勾配と、前回のＮ回の学習における重みｗの勾配と、から、重み付き最大値を求める。ここで、Ｎは１以上の整数。

学習対象のネットワークモデルがｔ回（学習反復回数はｔ）学習されていると仮定し、ステップＳ１０２で、重みｗの勾配をｇ_ｔとして計算する。このステップＳ１０３では、この学習の勾配に対する過去の勾配の影響を考慮して、前のＮ回の学習におけるｇ_ｔと勾配を含む勾配を重み付けし、最大値をとる。前のＮ回の学習における勾配は、本開示の方法を使用して更新された勾配であってもよく、またはＡＤＡＭ方法を使用して式（３）、式（４）、および式（５）を使用することによって計算された勾配であってもよい。ここで使用される過去の勾配の数Ｎは、ｔより大きくない。

ステップＳ１０３において重み付き最大値を決定するためのオプションのアルゴリズムは式（７）に示すように、過去の勾配２次モーメントの重み付き最大値を計算することである。

ここで、β_２ｖ_ｔ－１＋（１－β_２）ｇ_ｔ ^２は漸化式である。算出されたｖ_ｔと

を比較し、大きい方の数値をステップＳ１０３で１回最適化処理を行った後の傾きとして用いる。このステップＳ１０３において、学習のたびに重み付き最大値が決定されるので、この学習における漸化式で計算されたｖ_ｔと、前の学習における重み付き最大値

との間で、より大きな値が選択され、これにより、このステップＳ１０３において、過去の勾配２次モーメントの重み付き最大値が決定されることが保証される。

式（７）のβ_２は、式（４）のβ_２と同じ重み値０．９９９であってもよく、ニューラルネットワークモデルの計算精度に応じて決定される重み値であってもよい。計算精度に基づいてβ_２を決定するためのオプションのアルゴリズムは、式（８）に示されている。

ここで、β_２（ｔ）は、ｔ番目の学習中におけるβ_２を表しており、例えば０．９９９であり、β_{２（ｔ－１）}は、（ｔ－１）番目の学習中におけるβ_２を表しており、これは集合的に、β_２（ｔ）および計算精度によって決定される。

図８はＡＤＡＭ技術に基づく減衰率の変化（減衰率β（β_１及びβ_２）は固定値）を示し、本開示が、計算精度に基づいて減衰率βを算出する場合である。図８から分かるように、ＡＤＡＭ技術では、現在のｔ番目の学習から始まり、約ｔ－４０回の反復から、以前の減衰率はゼロに近づき、本開示の方法を用いると、現在のｔ番目の学習から始まり、約ｔ－２０回の反復から、以前の減衰率はゼロに近づく。すなわち、ＡＤＡＭ技術では現在の反復の以前の４０回の反復の勾配がｔ番目の反復の勾配に対してより大きな影響を有するが、本開示の技術では、現在の反復の以前の２０回の反復の勾配がｔ番目の反復の勾配に対してより大きな影響を有する。ＡＤＡＭ技術と比較して、本開示の技術では、過去の勾配が現在のｔ番目の学習における勾配に対する影響がより小さい。すなわち、ニューラルネットワークモデルの計算精度が低いほど、前回の複数回の学習に要する学習数が少なくなり、性能が向上する。

また、重み付き最大値ｖ_ｔは、式（９）を参照して、対角行列の形式に変換することができる。

なお、式（９）のＶ_ｔは過去の勾配の重み付き最大値の対角行列であり、式（４）の過去の勾配の重み付き総和の対角行列Ｖ_ｔと等しくない。

ＡＤＡＭ方法で過去の勾配２次モーメントを加重和する方法と比較して、第１の実施形態で過去の勾配２次モーメントを重み付けした最大値を取ることは、現在のニューラルネットワークモデルの勾配の方向慣性をより良く表すことができ、重み付き最大値を取る方法は、ネットワークモデルの性能を、重み付き総和を取る方法と同様にすることができる。性能が悪化しないことを保証する場合、重み付き総和値の代わりに重み付けされた最大値が使用され、量子化誤差の累積を防止する。

このステップＳ１０３は、ステップＳ１０２で算出された勾配を一旦最適化するためのものである。これは本実施形態では好ましいステップであり、本実施形態はステップＳ１０２からステップＳ１０４に直接進む場合に限定されない。

ステップＳ１０４：制約閾値範囲を決定する。

ニューラルネットワークモデルの学習処理において、特に学習の後期段階では、収束を加速するために方向慣性を用いることに加えて、適切なステップサイズで収束するために適切な勾配を設定することも必要である。しかしながら、量子化誤差の存在により、特に低精度の場合には、量子化誤差は学習に無視できない影響を有し、ステップＳ１０３で一旦最適化された勾配は再び制約される必要がある。したがって、制約閾値範囲をどのように決定するかは、特に重要であると思われる。

以上のことから、学習の後期段階において精度が低い場合には、勾配を制約すること、すなわち、学習の繰り返し回数やモデルの計算精度が勾配に与える影響が大きいことが非常に必要であることがわかるので、学習の繰り返し回数とニューラルネットワークモデルの計算精度の両方を総合的に考慮して、制約閾値範囲を決定することができる。また、ニューラルネットワークモデルの計算精度が量子化誤差を直接決定するので、学習の繰返し回数と計算精度の両方に基づいて制約閾値範囲を決定することも、学習の繰返し回数と量子化誤差に基づいて制約閾値範囲を決定することと見なすことができる。

制約閾値範囲を決定するために使用される量子化誤差は、ニューラルネットワークモデル全体に対する量子化誤差、またはニューラルネットワークモデルにおける各重みに対する量子化誤差であり得る。量子化誤差の異なる意味に従って、決定した制約閾値範囲の意味も異なる。具体的には、一方で、制約された閾値範囲を決定するために使用される量子化誤差がニューラルネットワークモデル全体に対する量子化誤差である場合（すなわち、ニューラルネットワークモデルにおけるすべての重みに対する量子化誤差が計算され、その中の最大量子化誤差がニューラルネットワークモデルに対する量子化誤差として使用される）、決定された制約閾値範囲はニューラルネットワークモデル全体に対するものでもある。この場合、最適化処理を行う際に、ニューラルネットワークモデルにおける任意の重みの勾配を同じ制約閾値範囲を用いて制約する。一方、制約閾値範囲を決定するために使用される量子化誤差が各重みに対する量子化誤差である場合、制約閾値範囲は各重みに対して決定され、決定された制約閾値範囲は重みの勾配を制約する。

制約閾値範囲の上限値と下限値はそれぞれ、ｃ_ｕとｃ_ｌの２つの抽象極限関数（abstract limit function）であると仮定する。上限値ｃ_ｕと下限値ｃ_ｌを計算するオプションの方法は、以下の式（１０）、（１１）における方法を使用することである。式（１０）、（１１）に示すアルゴリズムでは、上限値ｃ_ｕと下限値ｃ_ｌを表す抽象極限機能がそれぞれ単調に減少し、単調に増加している。

ここで、ｔは学習反復回数、γ_ｔ＋１は量子化誤差、βは加重値で、式（３）においてβ_１は０．９の値とすることができ、または式（８）に示す方法でニューラルネットワークの計算精度に従って計算および決定することができる。もちろんβは、式（４）においてβ_２を０．９９９の値とすることもでき、または式（８）に示す方法でニューラルネットワークの計算精度に従って計算および決定することができる。ここで、βは、勾配減衰率を示す加重値である。本実施形態では、上述したβとしてβ_１又はβ_２を選択することに加えて、他の方法でβを設定することに限定されない。

式（１０）および（１１）から、制約閾値領域の上限値および下限値は、ニューラルネットワークモデルの量子化誤差ｌ（ｗ，ｗ_ｂ）および学習反復回数ｔによって決定されることがわかる。βの値は必ず１より小さく、ｌ（ｗ，ｗ_ｂ）は必ず０より大きいので、学習反復回数ｔが大きい（無限大に近い）とき、２つの抽象境界関数ｃ_ｕおよびｃ_ｌは互いに近づいている。

オプションの方法では、ニューラルネットワークモデルが初めて学習を開始するか、学習が中断された後に学習を再開するかにかかわらず、ｔは０から開始し、別のオプションの方法では、ニューラルネットワークモデルが初めて学習を開始するとき、ｔは０から開始し、学習が中断された後にニューラルネットワークモデルが学習を再開するときは、ｔは学習が中断されたところから開始する。

上記の式（１０）および式（１１）は、このステップを実施するためのオプションの方法であり、本開示は、式（１０）および式（１１）の合理的な変形、またはニューラルネットワークモデルの学習反復回数および量子化誤差に基づいて制約閾値範囲を決定するための他の方法に限定されない。

ステップＳ１０５：勾配が制約閾値範囲内にあるかどうかを判定し、そうであれば、ステップＳ１０６に進み、そうでなければ、勾配を制約閾値範囲内の値に制約する。

ステップＳ１０３で一旦最適化された勾配値は、このステップＳ１０５で２回最適化（制約）される。オプションの制約方法は、式（１２）に示される方法である。

ここで、Ｆは制約マッピング値領域［μ、ｔ］、Ｖ_ｔは式（９）の過去の勾配２次モーメントの重み付き最大値の対角行列である。

は、Ｖ_ｔが［ｃ_ｌ、ｃ_ｕ］にマッピングされることを意味する制約マッピング演算である。

は制約後の勾配を表す。Ｖ_ｔがιより大きい場合、Ｖｔは［ｃ_ｌ、ｃ_ｕ］に制約され、例えば、Ｖ_ｔは上限値ιとして制約される。Ｖ_ｔがμ未満の場合、Ｖ_ｔは［ｃ_ｌ，ｃ_ｕ］に制約され、例えば、Ｖ_ｔは下限値μとして制約される。また、本開示は、［ｃ_ｌ，ｃ_ｕ］内の他の値としてＶ_ｔを制約することに限定されるものではなく、例えば、Ｖ_ｔが［ｃ_ｌ，ｃ_ｕ］にない場合、Ｖ_ｔは上限値および下限値の平均値として制約される。

ステップＳ１０５における勾配の制約処理は、量子化誤差によって生じる勾配歪を克服することができ、制約された勾配は、高精度の下でネットワークモデルにおける重みの実際の勾配に実質的に近づけることができる。図９（ａ）に示すように、高精度ネットワーク下の勾配は正規勾配であり、量子化ネットワークモデル（低精度）下で推定された勾配値は高精度ネットワークモデル下の勾配値、すなわち、偏った勾配から大きくずれている。再び図９（ｂ）を参照すると、量子化ネットワークモデルの下で推定されたバイアスされた累積勾配値もまた、量子化ネットワークモデルの下でも、本実施形態のソリューションに基づく勾配値から大きくずれているが、量子化ネットワークモデルの下での本実施形態のソリューションに基づく勾配値は高精度ネットワークモデルの下での勾配値に近い。従って、本実施形態は、量子化誤差によって生じる勾配歪をより良く制約することができ、歪蓄積の問題は、複数の学習の後には発生しないであろう。

ステップＳ１０６：制約された勾配を用いて重みを更新する。

オプションの方法は、式（６）を使用して重みを更新することである。このステップにおける勾配は制約処理後の勾配であるため、式（６）は式（１３）に変換することができる。

ここで、ｍ_ｔは式（３）に従って計算でき、望ましくは、式（３）のβ_１は定数０．９であるか、式（８）に示す方法に基づいてニューラルネットワークの計算精度に従って計算および決定することができる。

ステップＳ１０３およびＳ１０５では重みの勾配が２回最適化されているので、このステップＳ１０６では、最適化された勾配、すなわちニューラルネットワークモデルの学習を用いて重みを更新し、任意の計算精度でニューラルネットワークモデルの性能を期待される性能に近づけることができる。本開示の方法を実証するために、原理および推論を以下のように提供する。

原理４：量子化スケールファクタα、２値量子化関数ｓｉｇｎ（ｗ）、量子化スケール領域

があるとする。

と｛ｖ_ｔ｝を順序関数（原理１に基づく）とする。ここで、

である。それは、

であると仮定される。それは、

であると仮定される。本開示の方法における

について、以下の式（１４）に示す制約解が存在する。

上記の制約ソリューションによれば、次のように推論することができる。

推論１：原理４においてβ_１ｔ＝β_１λ^ｔ－１であるとし、ここで、λ＝β_１／√β_２であり、式（１５）が得られる。

ここで、上記の原理４および推論１の詳細は、本明細書の＜例示的な実施形態における原理および推論＞の対応する部分に見出すことができる。

ステップＳ１０７：更新されていない重みがあるか否か、yesの場合はステップＳ１０３を実行して他の重みの更新を継続し、そうでない場合は、この学習を終了し、処理はステップＳ１０１に進む。

なお、第１の実施形態におけるネットワークモデルのハイパーパラメータは予め記憶されていてもよいし、ネットワークを介して外部から取得されてもよいし、ローカル動作によって取得されてもよいが、これは本開示では限定されない。ハイパーパラメータは、ネットワークモデルの計算精度、学習速度η_ｔ，β_１，β_２等を含むが、これらに限定されない。

本実施形態では、学習終了条件が満たされるまで、ステップＳ１０１～Ｓ１０７が繰り返し実行される。ここで、学習終了条件は予め設定された任意の条件であってもよいし、ニューラルネットワークモデルの実際の出力結果と予測される出力結果との差分値が所定の閾値を超えていない、ネットワークモデルの学習回数が所定回数に達する、等であっても良い。

本開示の第１の例示的な実施形態のソリューションを通じ、ニューラルネットワークモデルの計算精度が低い場合であっても、より大きな量子化誤差が生成され、したがって、重みの勾配が歪められる。しかし、本開示では、設定された制約閾値範囲を用いて歪んだ勾配を制約するため、勾配から得られるステップサイズが適切である。図６（ｃ）を参照すると、図６（ｂ）に示す勾配歪みにより最適解が得られないケースは発生しない。

＜第２の例示的な実施形態＞
本開示の第２の例示的な実施形態は、前述の第１の例示的な実施形態に基づいて、端末と、通信ネットワークと、サーバとを含むネットワークモデル学習システムを説明する。端末とサーバは、通信ネットワークを介して通信する。サーバはローカルに格納されたネットワークモデルを使用して、端末にオンラインで格納されたネットワークモデルを学習し、その結果、端末は、学習されたネットワークモデルを使用して、リアルタイムビジネスを実行することができる。以下、本開示の第２の例示的な実施形態の学習システムの各部について説明する。

学習システムにおける端末は、セキュリティカメラ等の組み込み画像取得装置、またはスマートフォンやＰＡＤ等の装置であってもよい。もちろん、端子は、組み込みデバイスなどのような弱いコンピューティング能力を有する端末でなく、強いコンピューティング能力を有する他の端末であってもよい。学習システムにおける端末の数は、実際のニーズに応じて決定することができる。例えば、学習システムがショッピングモール内のセキュリティカメラを学習するものである場合、ショッピングモール内のすべてのセキュリティカメラを端末と見なすことができる。このとき、学習システムの端末数は固定である。別の例として、学習システムがショッピングモール内のユーザのスマートフォンを学習するものである場合、ショッピングモールの無線ローカルエリアネットワークに接続されたすべてのスマートフォンを端末とみなすことができる。このとき、学習システムの端末数は固定されていない。本開示の第２の例示的な実施形態では、学習システムにおける端末のタイプおよび数は、ネットワークモデルが端末に格納され、学習され得る限り、限定されない。

学習システムにおけるサーバは、クラウドサーバのような強力なコンピューティング能力を持つ高性能サーバとすることができる。学習システムにおけるサーバの数は、サーバが提供する端末の数に応じて決定できる。例えば、学習システムにおいて学習される端末の数が少ないか、端末分布の地理的範囲が小さい場合、学習システムにおけるサーバの数は、たった１つのサーバのように少ない。学習システムにおいて学習される端末の数が多い場合、または端末分布の地理的範囲が大きい場合、サーバクラスタの確立など、学習システムにおけるサーバの数が多くなる。本開示の第２の例示的な実施形態では、学習システムにおけるサーバのタイプおよび数が、サーバが少なくとも１つのネットワークモデルを格納し、端末に格納されたネットワークモデルを学習するための情報を提供することができる限り、限定されない。

本開示の第２の例示的な実施形態における通信ネットワークは、端末とサーバとの間の情報転送を実現するための無線ネットワーク又は有線ネットワークである。本実施形態ではネットワークサーバと端末との間のアップリンク／ダウンリンク送信に現在利用可能な任意のネットワークを通信ネットワークとして利用することができ、本開示の第２の例示的な実施形態は、通信ネットワークの種類や通信方式を限定しない。もちろん、本開示の第２の例示的な実施形態は、他の通信方式に限定されない。たとえば、サードパーティの記憶領域は、この学習システムに割り当てられる。端末とサーバが情報を相互に転送したい場合は、転送する情報を第三者の記憶領域に格納する。端末とサーバは、第三者の記憶領域の情報を定期的に読み出して、それらの間の情報転送を実現する。

図１０を参照して、本開示の第２の例示的な実施形態の学習システムのオンライン学習処理について詳細に説明する。図１０は、学習システムの一例を示す。学習システムは、３つの端末（端末１～端末３）と、１つのサーバとを含むものとする。端末１は、該端末１が人の画像群を撮影するリアルタイム撮影を行うことができ、端末２は車の画像群を撮影し、端末３は風景の画像群を撮影する。３つの端末にはそれぞれ、学習が可能で画像処理が可能なネットワークモデルが格納されており、サーバには同一のネットワークモデルが格納されているものとする。以下、学習システムの学習処理について説明する。

ステップＳ２０１：端末は、通信ネットワークを介してサーバへの学習要求を開始する。

端末は、通信ネットワークを介してサーバへの学習要求を開始し、要求は、端末識別子などの情報を含む。端末識別子は、端末の身元（例えば、端末のＩＤやＩＰアドレス等）を一意に示す情報である。

このステップＳ２０１は、学習要求を開始する１つの端末を例にとり説明される。もちろん、複数の端末が、並列に学習要求を開始してもよい。複数の端末の処理手順は、１つの端末の処理手順と同様であり、ここでは省略する。

ステップＳ２０２：サーバは、学習要求を受信する。

図１０に示す学習システムは、１つのサーバのみを含む。したがって、通信ネットワークは、端末によって開始された学習要求をサーバに転送することができる。学習システムが複数のサーバを含む場合、学習要求は、サーバのアイドル状態に応じて、比較的アイドル状態のサーバに転送され得る。

ステップＳ２０３：サーバは、受信した学習要求に応答する。

サーバは、受信した学習要求に含まれる端末識別子に従って、要求を開始した端末を決定し、したがって、端末に格納されている学習されるべきネットワークモデルを決定する。１つのオプションの方法は、サーバが学習されるべきネットワークモデルと端末との間の比較テーブルに従って、要求を開始した端末に格納されている学習されるべきネットワークモデルを決定することである。別のオプションの方法は、学習要求が学習されるべきネットワークモデルに関する情報を含むことであり、サーバは情報に基づいて学習されるべきネットワークモデルを決定することができることである。ここで、学習されるべきネットワークモデルを決定することは、ネットワークアーキテクチャ、ネットワークモデルのハイパーパラメータ等のネットワークモデルを表す情報を決定することを含むが、これに限定されるものではない。

サーバが学習すべきネットワークモデルを決定した後、本開示の第１の例示的な実施形態の方法を使用して、サーバによってローカルに格納された同じネットワークモデルを使用して要求を開始した端末に格納されているネットワークモデルを学習することができる。具体的には、サーバが第１の例示的な実施形態におけるステップＳ１０１～ステップＳ１０６の方法に従って、ネットワークモデルにおける重みをローカルに更新し、更新された重みを端末に転送することにより、端末は受信した更新された重みに従って、端末に格納されている学習対象のネットワークモデルを同期させる。ここで、サーバ内のネットワークモデルと端末内で学習されたネットワークモデルは同一のネットワークモデルであってもよいし、サーバ内のネットワークモデルは端末内のネットワークモデルよりも複雑であるが、両者の出力は近い。本開示は、サーバから出力された更新された重みが端末内のネットワークモデルを同期させて、端末内の同期されたネットワークモデルの出力を期待される出力により近づけることができる限り、サーバ内の学習に使用されるネットワークモデルおよび端末内の学習されたネットワークモデルのタイプを限定しない。

図１０に示す学習システムでは、端末は能動的に学習要求を開始する。任意選択で、本開示の第２の例示的な実施形態は、サーバがクエリメッセージをブロードキャストし、端末がクエリメッセージに応答し、その後、上記の学習処理が実行されるケースに限定されない。

本開示の第２の例示的な実施形態で説明した学習システムにより、サーバは端末内のネットワークモデルに対してオンライン学習を行うことができ、学習の柔軟性を向上させるとともに、端末の業務処理能力を大幅に向上させ、端末の業務処理シナリオを拡張することができる。上記の第２の例示的な実施形態では、オンライン学習を例に挙げて学習システムを説明したが、本開示はオフライン学習処理に限定されるものではなく、ここでは繰り返さない。

＜第３の例示的な実施形態＞
本開示の第３の例示的な実施形態は、ニューラルネットワークモデルのための学習装置を説明し、この装置は、第１の例示的な実施形態で説明した学習方法を実行することができる。また、本装置は、オンライン学習システムに適用する場合には、第２の例示的な実施形態で説明したサーバ内の装置であってもよい。以下、図１１を参照して、装置のソフトウェア構成について詳細に説明する。

第３の実施形態の学習装置は、勾配決定ユニット１１と、勾配制約ユニット１２と、更新ユニット１３とを含み、勾配決定ユニット１１は、逆伝播中のネットワークモデルにおける重みの勾配を決定するために使用され、勾配制約ユニット１２は、勾配決定ユニット１１によって決定された勾配のうちの少なくとも１つについて、以下の処理：勾配が制約閾値範囲内にあるかどうかを決定すること、制約閾値範囲を超える勾配を制約閾値範囲内の値に制約すること、を実行するために使用され、制約閾値範囲は、ニューラルネットワークモデルの学習の反復回数および計算精度に従って決定され、更新ユニット１３は、制約された勾配を使用することによって重みを更新するために使用される。

勾配制約ユニット１２は、ニューラルネットワークモデルにおける各重みの量子化誤差を決定し、最大の量子化誤差をニューラルネットワークモデルの量子化誤差として使用し、ニューラルネットワークモデルの量子化誤差および学習の反復回数を使用して制約閾値範囲を決定するためにさらに使用され、決定された制約閾値範囲は、少なくとも１つの勾配を制約することが好ましい。すなわち、ニューラルネットワークモデル全体に対して共通の制約閾値範囲が設定され、これは、制約されるべきすべての勾配を制約するために使用される。

好ましくは、勾配制約ユニット１２は、ネットワークモデルにおける少なくとも１つの重みに対して、重みの量子化誤差を決定し、重みの量子化誤差と学習の反復回数とを使用することによって制約閾値範囲を決定するためにさらに使用され、決定された制約閾値範囲は、重みの勾配を制約する。言い換えれば、それぞれ独立した制約閾値範囲が各重みに対して設定され、これは、対応する重みの勾配を制約するためにのみ使用される。

学習装置は、ネットワークモデルにおける少なくとも１つの重みについて、この学習における重みによって決定された勾配と、以前の複数の学習における重みの制約された勾配と、から重み付き最大値を決定するために使用される勾配更新ユニット１４をさらに含み、勾配制約ユニット１２は、重み付き最大値が制約閾値範囲内にあるかどうかを判定し、制約閾値範囲を超える重み付き最大値を制約閾値範囲内の値に制約するために使用される。

また、本実施形態の学習装置は、学習システム内のサーバの機能（受信データを識別する機能、データカプセル化機能（data encapsulation function）、ネットワーク通信機能など、ここでは再度説明しない）を実装するモジュールを有する。

本開示の第３の例示的な実施形態の学習装置は、図１２に示す構成で動作させることができる。データセットが図１２に示される構成によって受信されると、受信されたデータセットは処理されてもよい。最終出力結果と予測される出力結果との差分値が大きい場合には、第１の実施形態で説明した学習方法を実行する。図１２を参照して、学習装置のハードウェア構成は、ネットワークモデル格納部２０と、特徴マップ格納部２１と、畳み込み部２２と、プーリング／活性化部２３と、量子化部２４と、制御部２５とを含む。各ユニットについて、それぞれ以下に説明する。

ネットワークモデル格納部２０は、本開示の第１の例示的な実施形態で説明した学習対象のネットワークモデルのハイパーパラメータを格納しており、ネットワークモデルの構成情報、各層において実行される演算に必要な情報（ネットワークモデルの計算精度、学習速度η_ｔ、β_１、β_２等）を含むが、これらに限定されない。特徴マップ格納部２１は、ネットワークモデルにおける各層が演算中に必要とする特徴マップ情報を格納する。

順伝播では、畳み込み部２２は、ネットワークモデル格納部２０によって入力された情報と、特徴マップ格納部２１によって入力された情報（ｉ層目の入力特徴マップなど）とに従って、データセットに対して畳み込み処理を行うために使用される。逆伝播では、第１の実施形態の方法に従って、制約用の制約閾値範囲が、畳み込み層における重みの計算精度と、学習回数と、に従って決定され、畳み込み層における重みの勾配は拘束される。畳込み層における重みは、制約された勾配を使用することで更新される。

プーリング／活性化部２３、量子化部２４などの他のユニットは、本開示を実施するために必要なユニットではない。図１２は、プーリング／活性化部２３及び量子化部２４が含まれる場合を示している。もちろん、学習装置はプーリング／活性化部２３および量子化部２４を含まなくてもよく、または学習装置は正則化処理およびスケーリング処理を実行することができる他のユニットをさらに含んでもよく、これらについてはここでは再び説明しない。これらのユニットによって管理される層が重みを含む場合、層内の重みは、第１の実施形態の方法に従って、逆伝播中に更新することができる。

制御部２５は、図１２の各部に制御信号を出力することによって、ネットワークモデル格納部２０から量子化部２４の動作を制御する。

以下、図１３を参照して、本開示の第３の例示的な実施形態におけるニューラルネットワークモデルの学習装置を適用した環境について説明する。図１３に示す適用環境では、プロセッサ３０、内部メモリ３１、ネットワークインターフェース３２、入力部３３、外部メモリ３４、およびバス３５を含むデバイスが学習装置の通常動作をサポートする。

プロセッサ３０は、学習装置における全体的な制御を行うために使用されるＣＰＵまたはＧＰＵであってもよい。内部メモリ３１は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）等を含む。ＲＡＭは、プロセッサ３０のメインメモリ、ワークエリア等として使用することができる。ＲＯＭは、プロセッサ３０の制御プログラムを格納するために使用されてもよく、制御プログラムが動作するときに使用されるファイルまたは他のデータを格納するために使用されてもよい。ネットワークインターフェース３２は、ネットワークに接続され、ネットワーク通信を実施することができる。入力部３３は、キーボード、マウス等のデバイスからの入力を制御する。外部メモリ３４は、起動プログラム、各種アプリケーション等を格納する。バス３５は、上記の構成要素を接続するために使用される。

本開示の第１の例示的な実施形態のソリューションを使用することによるニューラルネットワークモデルの学習が実施された後、アプリケーションビジネスは、学習されたネットワークモデルを使用して実行されてもよい。第１の例示的な実施形態における方法に従って学習されたネットワークモデルをセキュリティカメラに格納する場合を例にとると、セキュリティカメラが対象検出アプリケーションを実行するものとし、セキュリティカメラがデータセットとして画像を撮影した後、撮影された画像はネットワークモデルに入力され、ネットワークモデルの上から下までの各層で画像が計算され、対象検出結果が出力される。また、本開示は、データ分類などの出力結果に対して後処理をさらに実行することに限定されない。

本明細書で説明されるアプリケーション方法に対応して、本開示はニューラルネットワークモデルのアプリケーション装置をさらに説明し、アプリケーション装置は学習されたネットワークモデルを格納する格納モジュールと、格納されたネットワークモデルによって実行され得るタスクに対応するために必要とされるデータセットを受信する受信モジュールと、格納されたネットワークモデルにおける各層において上から下へのデータセットに対する演算を実行し、結果を出力する処理モジュールと、を含む。

他の実施形態
また、本開示の実施形態は、上述の実施形態のうちの１つ以上の機能を実行するために記憶媒体（より完全には「非一時的コンピュータ可読記憶媒体」とも呼ばれる）に記録されたコンピュータ実行可能命令（例えば、１つ以上のプログラム）を読み出して実行する、および／または上述の実施形態のうちの１つ以上の機能を実行する１つ以上の回路（例えば、特定用途向け集積回路（ＡＳＩＣ））を含むシステムまたは装置のコンピュータによって、および、例えば、上述の実施形態のうちの１つ以上の機能を実行するために記憶媒体からコンピュータ実行可能命令を読み出して実行し、および／または、上述の実施形態のうちの１つ以上の機能を実行するために１つ以上の回路を制御することによって、システムまたは装置のコンピュータによって実行される方法によって実現されてもよい。コンピュータは、１つ以上のプロセッサ（例えば、中央処理ユニット（ＣＰＵ）、マイクロ処理ユニット（ＭＰＵ））を含み、コンピュータ実行可能命令を読み出して実行するための別個のコンピュータまたは別個のプロセッサのネットワークを含み得る。コンピュータ実行可能命令は例えば、ネットワークまたは記憶媒体からコンピュータに提供されてもよい。記憶媒体は例えば、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、分散コンピューティングシステムの記憶装置、光ディスク（コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、またはBlu-ray Disc(BD)^ＴＭなど）、フラッシュメモリデバイス、メモリカードなどの１つ以上を含み得る。

また、本開示の実施形態は以下の方法、すなわち、前述した実施形態の機能を実行するソフトウェア（プログラム）を、ネットワークや各種記憶媒体、システムまたは装置のコンピュータ、または中央処理ユニット（ＣＰＵ）、マイクロ処理ユニット（ＭＰＵ）を介して、システムまたは装置に供給し、プログラムを読み出して実行することによっても実現することができる。

本開示は例示的な実施形態を参照して説明されてきたが、本開示は開示された例示的な実施形態に限定されないことを理解されたい。以下の特許請求の範囲はそのようなすべての変更および同等の構成および機能を包含するように、最も広い解釈が与えられるべきである。

＜例示的な実施形態における理論および推論＞
証明に必要な補助定理：
補題１ 任意の

および凸関数

について、

および

であると仮定し、ここで、任意の

について、

である。

証明

および

であるため、式（１６）を得ることができる。

ｔ∈Ｎを与えて並べ替えることによって、α_ｔ＜０であると仮定すると、式（１７）を得ることができる。

投射特性

および凸関数Ｆによれば、式（１８）を得ることができる。

式（１８）が成り立たないので、式（１８）は、α_ｔ＞０のときにのみ真であることを知ることは容易である。

補題２ ｖ_ｔ＝β_２ｖ_ｔ－１＋（１－β_２）ｇ_ｔ ^２とｖ_０＝０と０≦β_２＜１とする。

が与えられると、式（１９）を得ることができる。

β_２＝０とｖ_ｔ＝ｇ_ｔ ^２の場合、上記の仮定が満たされる。また、０＜β_２＜１の場合、式（２０）が得られる。

式（２０）は勾配制約

から得られる。同時に、ｖ_０＝０であるため、式（２１）が得られる。

式（２１）を合計し、ここで、ｔ＝［１，Ｔ］であり、式（２２）を得ることができる。

式（２２）は、式（２３）の制約から生じる。

補題３ 原理３で想定されるパラメータ設定および条件について、式（２４）を得ることができる。

式（２５）における式（２４）の証明を参照する。

β_１ｔ＜１_ｔ＜１によれば、式（２５）の最初の不等式が証明できる。現在の反復ステップの前のα_Ｔ，ｉ，、ｖ_Ｔ，ｉ，における最大値の定義と、後述するアルゴリズム１によれば、式（２５）における２番目の不等式を証明することができる。Ｃａｕｃｈｙ－Ｓｃｈｗａｒｚ不等式によれば、式（２５）における３番目の不等式が証明できる。β_１ｋ＜β_１（ここでｋ∈［Ｔ］）および

）によれば、式（２５）における４番目の不等式が証明され得る。さらに、式（２６）を得ることができる。

式（２７）が成り立つので、式（２６）の最後の不等式も成り立つ。

定理１の証明
以下の設定が考慮される。ｆ_ｔは陰解量子化重みを含む線形関数であり、重みの定義領域Ｆ＝［－１，１］。具体的には、以下の式（２８）に示す関数のシーケンスを考える：

ここで、

は陰解量子化重みであり、その目的は量子化誤差を最小化すること、すなわち、

を得ることである。式（２８）は、式（２９）に変換することができる。

ここで、Ｃ∈Ｎについて、以下の式（３０）が満たされる。

解く問題は一次元の問題であるので、表現を簡単にするために、

を省略することができる。同時に、座標インデックスをさらに省略することができる。

式（２９）については、

のときに最小の回帰（regret）が与えられることを見ることは困難ではない。

式（２９）に対してＡＤＡＭ処理を行うので、式（３１）を得ることができる。

ＦはＬ_∞ドメイン制限を有する。このとき、全てのパラメータ設定はＡｄａｍアルゴリズムを満たしている。

原理の証明を提供するために、任意の学習速度ηが想定され、

である。ここで、

であり、一方、さらに、

であり、ここで、

である。パラメータの添え字を並べ替えることができる。任意のＣステップサイズに対して、ｔ∈Ｎであるとすると、

となり得る。我々の目標は

を提供することであり、ここで、

である。

が成り立つ場合、上記の仮定が成り立つことを理解することは困難ではない。さらに、

であるとすると、ｗ_ｂ＝ｓｉｇｎ（ｗ）および

が保持されるので、対応する勾配は、式（３２）に示されるように観測される。

ＡＤＡＭアルゴリズムの（Ｃｔ＋１）回の更新に対して、式（３３）を得ることができる。

β_２ｖ_Ｃｔ≧０のとき、

が保持されれば、式（３４）を得ることができる。

が保持され、上記式（３４）の２番目の不等式が成立する。
よって、

および

が得られる。

上記の証明を完了するためには、

であることを証明する必要がある。この原理を証明するために、

のとき、

およびＦ＝［－１，１］（ここで、Ｆは単純なユークリッドマッピングである）が成り立つとき、

が成り立つ、ことが得られる。

再び、以下のような状況が考慮される。

であれば、（Ｃｔ＋２）番目の更新を行うと、式（３５）を得ることができる。

が成立するので、式（３５）の２番目の方程式も成立する。

であることを証明するためには、次式（３６）を証明する必要がある。

式（３７）は、式（３６）を並べ替えることによって得ることができる。

式（３７）の最後の不等式は、式（３８）の制約から生じる。

補題１およびＦ＝［－１，１］であるため、上記式（３８）における２番目の不等式が成り立つ。

また、

およびｉ ｍｏｄ Ｃが１または２でない場合、勾配は０と等しくなるため、式（３９）を得ることができる。

したがって、ｗ_１＝１が与えられると、式（３９）は、すべての

について成り立つので、式（４０）を得ることができる。

ここで、ｋ∈Ｎである。したがって、各Ｃステップについて、ＡＤＡＭアルゴリズムの回帰はＣである。したがって、Ｔ→∞のときに

が成り立つ。

原理１の証明が完了する。

原理２の証明
原理２は、原理１の最適な設定を一般化したものである。具体的には、バイナリ最適化アルゴリズムを構築することができる。さらに一般的なケースを定義し、式（４１）を参照して、ＡＤＡＭアルゴリズムの更新処理中に一定の偏差

を設計する。

以下の設定を考察する。ｆ_ｔは陰解量子化重みを含む線形関数であり、重みの定義領域Ｆ＝［－１，１］。具体的には、以下の式（４２）に示す関数のシーケンスを考える。

ここで、定数Ｃ∈Ｎは、式（４３）を満たす。

ここで、γ＝β_１／√β_２＜１である。Ｃは、β_１、β_２、αに基づく定数である。

ｍ_ｋＣ≦０（ここで

）であれば、より一般的なケースでは、ｍ_ｋＣ＋Ｃは式（４４）のようになる。

ｍ_ｋＣ＜０である場合、ｍ_ｋＣ＋Ｃ＜０が依然として満たされる。

時間反復ｔにおいて、式（４５）を得ることができる。

ｃ_ｔ＞０の場合、陰解量子化重みを含むシーケンス関数について、式（４６）を得ることができる。

ここで、ｉ∈｛１，．．．，Ｃ｝である。δ_ｔ＋ｉ≧０の場合、ｊ∈｛１，．．．，Ｃ－１｝について、δ_ｔ＋ｓ≧０（ここで

）が成立する。公知の補題を用いて、式（４７）を得ることができる。

ｉ’＝Ｃ／２が成立するとする。上記式（４５）を証明するためには、以下の式（４８）をさらに証明する必要がある。

最後に、式（４９）を得ることができる。

補題２及び下記式（５０）によれば、

の場合、下記式（５１）を得ることができる。

の場合、Ｃステップごとに、Ｔ→∞ の場合に

が成立する。

原理２の証明が完了する。

原理３の証明
ζを任意の小さな正の実数として設定する。領域［－１，１］における一次元ランダム凸最適化設定を考慮すると、各反復回数ｔについて、ｆ_ｔ（ｗ）の勾配が式（５２）に示される。

ここで、Ｃは、β_１、β_２、ξ、α^*に基づく定数である。期待関数はＦ（ｗ）＝ζｗである。したがって、領域［－１，１］における最適解は、ｗ^＊＝－１である。

したがって、ステップサイズは、Ａｄａｍによって式（５３）に更新される。

式（５３）におけるΔ_ｔの平均値Ｅ［Δ_ｔ］の下限が式（５４）のようになるように十分に大きい実数Ｃがある。

ここで、Ｃは関数であり、これは、β_１、β_２、ξ、α^*によって決定される。

原理４の証明
原理４の結果は、アルゴリズム１の有効性を証明するために使用され、ここで、アルゴリズム１は：
本開示を使用して、バイナリニューラルネットワークを学習する
入力：ネットワーク重みｗ_１∈Ｆ、初期学習速度η、減衰係数

、減衰係数β_２、下限関数ｃ_ｌ、上限関数ｃ_ｕ、

初期化：勾配一次モーメントｍ_０、勾配２次モーメントｖ_０
ｔ＝１からｔ＝Ｔまで、以下の演算を実行する（ここで、ｔは反復数であり、Ｔは終了数である）：

上述のアルゴリズム１は、バイナリニューラルネットワークモデルを例として説明されており、本開示は、他のタイプのニューラルネットワークモデルに限定されない。

以下の原理４は、アルゴリズム１の収束の証明を提供する。

とすると、Ｆが閉じた凸解である場合にｗ^＊が存在する。

式（５５）が知られている。

ここで、ｕ_２＝ｗ^＊と

と補題４とを用いた

とすると、式（５６）が得られる。

上記式（５６）を並べ替えると、式（５７）が得られる。

式（５４）の２番目の不等式は、Ｃａｕｃｈｙ－ＳｃｈｗａｒｚとＹｏｕｎｇの不等式によって証明できる。ｆ_ｔ関数のコンベクシティを用いて、各ステップにおける回帰を制限し、以下の式（５８）を得る。

補題３を使用することによって、式（５９）を得ることができる。

β_１ｔ≦β_１＜１であるので、上記式（５９）により、式（６０）が得られる。

γ_ｔの制約に基づいて、式（６１）を得ることができる。

関数の実現可能な領域では、Ｌ_∞および上記の式のすべてを使用して、式（６２）を得ることができる。

下記式（６３）によれば、

以下の式（６４）を得ることができる。

Claims (18)

1. ニューラルネットワークモデルの学習方法であって、
   逆伝播中のニューラルネットワークモデルにおける重みの勾配を決定する決定工程と、
   前記決定された勾配のうち少なくとも１つの勾配について、勾配の二次モーメントが前記ニューラルネットワークモデルの計算精度および学習の反復回数に従って決定される制約閾値範囲内にあるかどうかを判定し、前記制約閾値範囲を超える勾配の二次モーメントを前記制約閾値範囲内に制約し、該制約された勾配の二次モーメントを用いて重みを更新する更新工程と
   を有することを特徴とする学習方法。
2. 請求項１に記載の学習方法であって、
   前記勾配の二次モーメントが前記制約閾値範囲の上限値よりも大きい場合には前記勾配の二次モーメントを上限値に制約し、
   前記勾配の二次モーメントが前記制約閾値範囲の下限値よりも小さい場合には前記勾配の二次モーメントを下限値に制約することを特徴とする学習方法。
3. 請求項１に記載の学習方法であって、
   前記制約閾値範囲の上限値は、連続する学習において単調に減少し、前記制約閾値範囲の下限値は、連続する学習において単調に増加することを特徴とする学習方法。
4. 請求項１に記載の学習方法であって、さらに、
   前記ニューラルネットワークモデルにおける各重みの量子化誤差を決定し、最大の量子化誤差を前記ニューラルネットワークモデルの量子化誤差として用いる工程と、
   前記ニューラルネットワークモデルの学習の反復回数と量子化誤差とを用いて前記制約閾値範囲を決定する工程と、を有し、ここで、該決定した制約閾値範囲を用いて、少なくとも１つの勾配の二次モーメントを制約することを特徴とする学習方法。
5. 請求項１に記載の学習方法であって、さらに、
   前記ニューラルネットワークモデルにおける少なくとも１つの重みについて、重みの量子化誤差を決定する工程と、
   前記重みの量子化誤差と前記学習の反復回数とを用いて前記制約閾値範囲を決定する工程と、を有し、ここで、該決定された制約閾値範囲は、重みの勾配の二次モーメントを制約するために用いられることを特徴とする学習方法。
6. 請求項１に記載の学習方法であって、さらに、
   前記ニューラルネットワークモデルにおける少なくとも１つの重みについて、現在の学習において決定された重みの勾配の二次モーメントと、以前の複数の学習における重みの制約された勾配の二次モーメントと、から、重み付けされた最大値を決定する工程と、
   前記重み付けされた最大値が前記制約閾値範囲内にあるかどうかを判定し、前記制約閾値範囲を超える重み付けされた最大値を前記制約閾値範囲内に制約する工程と、を有することを特徴とする学習方法。
7. 請求項６に記載の学習方法であって、前記ニューラルネットワークモデルの計算精度が低いほど、重み付けされた最大値を決定するために必要とされる以前の複数の学習の数が少ないことを特徴とする学習方法。
8. ニューラルネットワークモデルの学習システムであって、
   第２ニューラルネットワークモデルを同期させるための情報を提供する少なくとも１つの第１ニューラルネットワークモデルを格納するサーバであって、
   逆伝播中に前記第１ニューラルネットワークモデルにおける重みの勾配を決定する決定工程と、
   前記決定された勾配のうち少なくとも１つの勾配について、勾配の二次モーメントが前記第１ニューラルネットワークモデルの計算精度および学習の反復回数に従って決定される制約閾値範囲内にあるかどうかを判定し、前記制約閾値範囲を超える勾配の二次モーメントを前記制約閾値範囲内に制約し、該制約された勾配の二次モーメントを用いて重みを更新する更新工程と、
   前記更新された重みを出力する出力工程と、
   を実行するために用いられる前記サーバと、
   前記第２ニューラルネットワークモデルを格納する端末であって、前記サーバによって出力された重みを用いて前記第２ニューラルネットワークモデルを同期させるために用いられる前記端末と
   を有することを特徴とする学習システム。
9. 請求項８に記載の学習システムであって、前記サーバは更に、
   前記第１ニューラルネットワークモデルにおける各重みの量子化誤差を決定し、最大の量子化誤差を前記第１ニューラルネットワークモデルの量子化誤差として用い、
   前記第１ニューラルネットワークモデルの学習の反復回数および量子化誤差を用いて前記制約閾値範囲を決定する、ここで、該決定された制約閾値範囲は少なくとも１つの勾配の二次モーメントを制約するために用いられる
   ことを特徴とする学習システム。
10. 請求項８に記載の学習システムであって、前記サーバは更に、
    前記第１ニューラルネットワークモデルにおける少なくとも１つの重みに対して、重みの量子化誤差を決定し、
    前記重みの量子化誤差と前記学習の反復回数とを用いて前記制約閾値範囲を決定する、ここで、該決定された制約閾値範囲は、重みの勾配の二次モーメントを制約するために用いられる
    ことを特徴とする学習システム。
11. 請求項８に記載の学習システムであって、前記サーバは更に、
    前記第１ニューラルネットワークモデルにおける少なくとも１つの重みについて、現在の学習において決定された重みの勾配の二次モーメントと、以前の複数の学習における重みの制約された勾配の二次モーメントと、から、重み付けされた最大値を決定し、
    前記重み付けされた最大値が前記制約閾値範囲内にあるかどうかを判定し、前記制約閾値範囲を超える重み付けされた最大値を前記制約閾値範囲内に制約する
    ことを特徴とする学習システム。
12. ニューラルネットワークモデルの学習装置であって、
    逆伝播中のニューラルネットワークモデルにおける重みの勾配を決定する決定手段と、
    前記決定された勾配のうち少なくとも１つの勾配について、勾配の二次モーメントが前記ニューラルネットワークモデルの計算精度および学習の反復回数に従って決定される制約閾値範囲内にあるかどうかを判定し、前記制約閾値範囲を超える勾配の二次モーメントを前記制約閾値範囲内に制約し、該制約された勾配の二次モーメントを用いて重みを更新する更新手段と
    を有することを特徴とする学習装置。
13. 請求項１２に記載の学習装置であって、さらに、
    前記ニューラルネットワークモデルにおける各重みの量子化誤差を決定し、最大の量子化誤差を前記ニューラルネットワークモデルの量子化誤差として用いる手段と、
    前記ニューラルネットワークモデルの学習の反復回数および量子化誤差を用いて前記制約閾値範囲を決定する手段とを有し、ここで、該決定された制約閾値範囲は少なくとも１つの勾配の二次モーメントを制約するために用いられる
    ことを特徴とする学習装置。
14. 請求項１２に記載の学習装置であって、更に、
    前記ニューラルネットワークモデルにおける少なくとも１つの重みに対して、重みの量子化誤差を決定する手段と、
    前記重みの量子化誤差と前記学習の反復回数とを用いて前記制約閾値範囲を決定する手段とを備え、ここで、該決定された制約閾値範囲は、重みの勾配の二次モーメントを制約するために用いられる
    ために用いられることを特徴とする学習装置。
15. 請求項１２に記載の学習装置であって、更に、
    前記ニューラルネットワークモデルにおける少なくとも１つの重みについて、現在の学習において決定された重みの勾配の二次モーメントと、以前の複数の学習における重みの制約された勾配の二次モーメントと、から、重み付けされた最大値を決定する手段と、
    前記重み付けされた最大値が前記制約閾値範囲内にあるかどうかを判定し、前記制約閾値範囲を超える重み付けされた最大値を前記制約閾値範囲内に制約する手段と
    を有することを特徴とする学習装置。
16. 学習されたニューラルネットワークモデルを用いて分類を出力する方法であって、
    逆伝播中のニューラルネットワークモデルにおける重みの勾配を決定する決定工程と、
    前記決定された勾配のうち少なくとも１つの勾配について、勾配の二次モーメントが前記ニューラルネットワークモデルの計算精度および学習の反復回数に従って決定される制約閾値範囲内にあるかどうかを判定し、前記制約閾値範囲を超える勾配の二次モーメントを前記制約閾値範囲内に制約し、該制約された勾配の二次モーメントを用いて重みを更新する更新工程と、
    前記ニューラルネットワークモデルによって実行され得るタスクに対応するために必要とされるデータセットを受信する受信工程と、
    前記ニューラルネットワークモデルにおいて各層においてデータセットに対する演算を実行して結果を出力する出力工程と
    を有することを特徴とする方法。
17. 学習されたニューラルネットワークモデルの適用装置であって、
    逆伝播中のニューラルネットワークモデルにおける重みの勾配を決定する決定手段と、
    前記決定された勾配のうち少なくとも１つの勾配について、勾配の二次モーメントが前記ニューラルネットワークモデルの計算精度および学習の反復回数に従って決定される制約閾値範囲内にあるかどうかを判定し、前記制約閾値範囲を超える勾配の二次モーメントを前記制約閾値範囲内に制約し、該制約された勾配の二次モーメントを用いて重みを更新する更新手段と、
    前記ニューラルネットワークモデルによって実行され得るタスクに対応するために必要とされるデータセットを受信する受信手段と、
    前記ニューラルネットワークモデルにおいて各層においてデータセットに対する演算を実行して結果を出力する出力手段と
    を有することを特徴とする適用装置。
18. コンピュータを、請求項１ないし７のいずれか１項に記載の学習方法の各工程を実行させるためのコンピュータプログラム。

Images