JP7419711B2 - 量子化パラメータ最適化方法、及び、量子化パラメータ最適化装置 - Google Patents

量子化パラメータ最適化方法、及び、量子化パラメータ最適化装置 Download PDF

Info

Publication number
JP7419711B2
JP7419711B2 JP2019163981A JP2019163981A JP7419711B2 JP 7419711 B2 JP7419711 B2 JP 7419711B2 JP 2019163981 A JP2019163981 A JP 2019163981A JP 2019163981 A JP2019163981 A JP 2019163981A JP 7419711 B2 JP7419711 B2 JP 7419711B2
Authority
JP
Japan
Prior art keywords
quantization
error
quantization parameter
function
parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019163981A
Other languages
English (en)
Other versions
JP2021043596A (ja
Inventor
幸宏 笹川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Socionext Inc
Original Assignee
Socionext Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Socionext Inc filed Critical Socionext Inc
Priority to JP2019163981A priority Critical patent/JP7419711B2/ja
Priority to US17/014,699 priority patent/US11748600B2/en
Publication of JP2021043596A publication Critical patent/JP2021043596A/ja
Application granted granted Critical
Publication of JP7419711B2 publication Critical patent/JP7419711B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2451—Classification techniques relating to the decision surface linear, e.g. hyperplane
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/245—Classification techniques relating to the decision surface
    • G06F18/2453—Classification techniques relating to the decision surface non-linear, e.g. polynomial classifier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Medical Informatics (AREA)
  • Neurology (AREA)
  • Nonlinear Science (AREA)
  • Feedback Control In General (AREA)

Description

本開示は、量子化パラメータ最適化方法、及び、量子化パラメータ最適化装置に関する。
入力されたデータに対する識別または分類を行う場合に、ニューラルネットワークで構成される推論モデルが用いられる。
機械学習において、訓練データに対して学習させた推論モデルが、訓練データに対しては非常に精度の高い結果を出力する一方で、未知のデータに対しては精度の高くない結果を出力してしまうといった過学習の状況が起こりうる。
過学習の状況は、例えば、訓練データに比べて相対的に推論モデルの方の複雑度合いが高い場合などに起こりうる。つまり、過学習は、訓練データに対して複数ある「正解」のモデルの中で、パラメータの設定が極端なモデルを推論モデルとして選んでしまうことによって発生し、未知のデータに対する精度が落ちてしまう現象である。
このような過学習を防ぐための手段として、モデルの複雑度合いが増すことに対してペナルティを与える正則化という方法を利用することが知られている。
ところで、推論モデルを実装する場合、演算量を低減するために、重みパラメータを量子化する。ただし、この場合、重みパラメータを量子化することによる誤差である量子化誤差も考慮した誤差関数を考える必要がある。例えば非特許文献１では、量子化誤差を正則化項として誤差関数に加えることが開示されている。非特許文献１によれば、誤差関数に量子化誤差を正則化項として加えたコスト関数を用いることにより、量子化誤差を減らす学習を実現することができる。
Kazutoshi Hirose, Ryota Uematsu, Kota Ando, Kodai Ueyoshi, Masayuki Ikebe, Tetsuya Asai, Masato Motomura, and Shinya Takamaeda-Yamazaki: Quantization Error-Based Regularization for Hardware-Aware Neural Network Training, IEICE Transactions on Nonlinear Theory and Its Applications, Vol.9, No.4, pp.453-465, October 2018.
しかしながら、非特許文献１に開示されるコスト関数を最小化する過程において、量子化誤差係数で表される学習係数の値によっては、正則化項→０となるときに、誤差関数→０とならないばかりか、むしろ誤差関数が増大してしまうという課題がある。
本開示は、上述の事情を鑑みてなされたもので、過学習を防ぎながら量子化誤差を考慮して、量子化パラメータを最適化することができる量子化パラメータ最適化方法などを提供することを目的とする。
上記目的を達成するために、本開示の一形態に係る量子化パラメータ最適化方法は、ニューラルネットワークにおける重みパラメータが量子化されたパラメータである量子化パラメータを最適化する量子化パラメータ最適化方法であって、前記ニューラルネットワークの出力値と期待される正解値との誤差を求める関数である誤差関数に、前記重みパラメータと前記量子化パラメータとの誤差である量子化誤差の関数である正則化項を加えたコスト関数を決定するコスト関数決定ステップと、前記コスト関数を用いて、前記量子化パラメータを更新する更新ステップと、前記更新ステップを繰り返した結果、前記コスト関数により導出される関数値が所定の条件を満たした場合の前記量子化パラメータを、前記ニューラルネットワークにおける重みパラメータが量子化された量子化ニューラルネットワークの最適化された量子化パラメータとして決定する量子化パラメータ決定ステップと、を含み、前記正則化項の関数値と、前記量子化ニューラルネットワークが正解を推論する度合いを示す精度との間には負の相関がある。
これにより、過学習を防ぎながら量子化誤差を考慮して、量子化パラメータを最適化することができる。
ここで、例えば、前記精度は、前記量子化ニューラルネットワークの出力値が、正解を推論したか否かを示す場合の適合率、再現率、前記適合率及び前記再現率の調和平均により算出されるＦ値、並びに、正解率のうちの少なくとも一の組み合わせである。
また、例えば、さらに、前記重みパラメータに複数の誤差を加えた重み誤差パラメータを与えた前記量子化ニューラルネットワークを用いて得た、テストデータに対する出力値それぞれの前記精度が所定の基準より高いまたは低いことを示すラベルを、当該出力値に対応する前記重み誤差パラメータに付与することにより、前記重み誤差パラメータと精度とのデータセットからなる学習データを作成する学習データ作成ステップと、作成した前記学習データを用いて、ＳＶＭ（サポートベクターマシン）による学習を行い、前記重み誤差パラメータを前記所定の基準より高い前記精度の出力値に対応する重み誤差パラメータと前記所定の基準より低い前記精度の出力値に対応する重み誤差パラメータとに分離する面である分離境界面を得る学習ステップと、前記学習ステップにおいて得た前記分離境界面に基づき、前記正則化項を決定する正則化項決定ステップと、を含むとしてもよい。
ここで、例えば、前記正則化項決定ステップでは、前記分離境界面から、ｇ（ｘ）を導出し、導出した前記ｇ（ｘ）に基づいて、前記正則化項を決定し、前記ＳＶＭによる学習として、線形２ ｃｌａｓｓ ＳＶＭによる学習を行うことで、前記分離境界面を得た場合、前記ｇ（ｘ）は、ＡＴｘ＋ｂ＝ｇ（ｘ）で表される。ここで、ｘはｎ次元ベクトルの量子化誤差であり、Ａはｎ次元ベクトルであり、ｂは定数である。
また、前記正則化項決定ステップでは、前記分離境界面から、ｇ（ｘ）を導出し、導出した前記ｇ（ｘ）に基づいて、前記正則化項を決定し、前記ＳＶＭによる学習として、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を行うことで、前記分離境界面を得た場合、前記ｇ（ｘ）は、前記量子化パラメータをｗｑ、前記量子化誤差をｗ－ｗｑとしたとき、下記の（式）で表される。
Figure 0007419711000001
ここで、αｉは係数であり、Ｋはカーネル関数であり、
Figure 0007419711000002
 はサポートベクタであり、ｂは定数である。
また、例えば、前記カーネル関数は、ガウシアンカーネルであるとしてもよい。
また、例えば、前記カーネル関数は、シグモイドカーネルであるとしてもよい。
また、例えば、前記カーネル関数は、多項式カーネルであるとしてもよい。
また、例えば、前記正則化項決定ステップでは、前記ｇ（ｘ）の関数であるｔａｎｈ（－ｇ（ｘ））に基づいて，前記正則化項を決定するとしてもよい。
また、上記目的を達成するために、本開示の一形態に係る量子化パラメータ最適化装置は、ニューラルネットワークにおける重みパラメータが量子化されたパラメータである量子化パラメータを決定する量子化パラメータ最適化装置であって、前記ニューラルネットワークの出力値と期待される正解値との誤差を求める関数である誤差関数に、前記重みパラメータと前記量子化パラメータとの誤差である量子化誤差の関数である正則化項を加えたコスト関数を決定するコスト関数決定部と、前記コスト関数を用いて、前記量子化パラメータを更新する更新部と、前記更新部が前記量子化パラメータの更新を繰り返した結果、前記コスト関数により導出される関数値が所定の条件を満たした場合の前記量子化パラメータを、前記ニューラルネットワークにおける重みパラメータが量子化された量子化ニューラルネットワークの最適化された量子化パラメータとして決定する量子化パラメータ決定部と、を備え、前記正則化項の関数値と、前記量子化ニューラルネットワークが正解を推論する度合いを示す精度との間には負の相関がある。
なお、これらの全般的または具体的な態様は、装置、方法、集積回路、コンピュータプログラムまたはコンピュータで読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示により、過学習を防ぎながら量子化誤差を考慮して、量子化パラメータを最適化することができる量子化パラメータ最適化方法などを提供できる。
図１は、実施の形態に係る量子化パラメータ最適化装置が行う最適化処理の概要を説明するための図である。 図２は、実施の形態に係る量子化パラメータ最適化装置の機能構成を示すブロック図である。 図３Ａは、量子化誤差係数に対するｌｏｓｓ及び量子化誤差の変化を示す図である。 図３Ｂは、量子化誤差係数に対する再現率及び適合率の変化を示す図である。 図４は、再現率及び適合率を含む統計指標を説明するための図である。 図５Ａは、実施の形態に係る精度と正則化項の関数値との関係を模式的に示す図である。 図５Ｂは、実施の形態に係る量子化誤差と正則化項の関数値との関係を模式的に示す図である。 図６は、実施の形態に係る量子化パラメータ最適化装置の機能をソフトウェアにより実現するコンピュータのハードウェア構成の一例を示す図である。 図７は、実施の形態に係る量子化パラメータ最適化方法を示すフローチャートである。 図８は、実施の形態に係る正則化項決定部が行う決定処理の概要を説明するための図である。 図９は、実施の形態に係る正則化項決定部の機能構成を示すブロック図である。 図１０Ａは、実施の形態に係る重みパラメータが２次元のときの、ラベル付けされた重み誤差パラメータの分布を模式的に示す図である。 図１０Ｂは、図１０Ａに示す分布に対して線形２ｃｌａｓｓ ＳＶＭによる学習を行った結果を模式的に示す図である。 図１０Ｃは、図１０Ａに示す分布に対して得られた分離境界面を模式的に示す図である。 図１１Ａは、実施の形態に係る重み誤差パラメータを直線では２クラスに分離できない場合の例を模式的に示す図である。 図１１Ｂは、図１１Ａに示す重み誤差パラメータを高次元に拡張することにより平面で２クラスに分離できる場合の例を模式的に示す図である。 図１２は、実施の形態に係る分離境界面から正則化項を導出する方法を説明するための図である。 図１３は、実施の形態に係る正則化項導出方法を示すフローチャートである。 図１４は、実施の形態に係る線形２ｃｌａｓｓ ＳＶＭを用いて、正則化項を導出するに至る処理手順の全体像を模式的に示す図である。 図１５は、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭを用いて、正則化項を導出するに至る処理手順の全体像を模式的に示す図である。
以下、本開示の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示す。以下の実施の形態で示される数値、形状、材料、規格、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、本開示の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する場合がある。
（実施の形態）
まず、本実施の形態に係る量子化パラメータ最適化方法及び量子化パラメータ最適化装置について説明する。
［１－１．量子化パラメータ最適化装置］
以下、本実施の形態に係る量子化パラメータ最適化装置の構成等について説明する。図１は、本実施の形態に係る量子化パラメータ最適化装置１０が行う最適化処理の概要を説明するための図である。
量子化パラメータ最適化装置１０は、ニューラルネットワークにおける重みパラメータが量子化されたパラメータである量子化パラメータを最適化する装置である。ここで、重みパラメータは、例えば実数値または浮動小数点精度（ｆｌｏａｔとも称する）で数値表現され、量子化パラメータは、例えば固定小数点精度で数値表現される。最適化前の量子化ニューラルネットワーク５０ａと最適化後の量子化ニューラルネットワーク５０ｂは、重みパラメータが量子化された量子化パラメータを有するニューラルネットワークで構成される推論モデルである。最適化前の量子化ニューラルネットワーク５０ａは、最適化されていない量子化パラメータを有し、最適化後の量子化ニューラルネットワーク５０ｂは、最適化された量子化パラメータを有する。最適化前の量子化ニューラルネットワーク５０ａは、実数値または浮動小数点精度（ｆｌｏａｔ）の重みパラメータを持つニューラルネットワーク５０（不図示）の学習完了後に、重みパラメータが量子化された量子化パラメータを持つニューラルネットワーク５０である。
より具体的には、図１に示すように、量子化パラメータ最適化装置１０は、正則化項Ψを取得し、取得した正則化項Ψを加えたコスト関数を用いて、最適化前の量子化ニューラルネットワーク５０ａの量子化パラメータを最適化する。そして、量子化パラメータ最適化装置１０は、最適化した量子化パラメータ（最適化後の量子化パラメータ）を記憶部１１に格納するともに、最適化前の量子化ニューラルネットワーク５０ａに最適化後の量子化パラメータを適用することで最適化後の量子化ニューラルネットワーク５０ｂを生成する。
このように、量子化パラメータ最適化装置１０は、取得した正則化項Ψを加えたコスト関数を用いて量子化パラメータの更新を繰り返すことで、量子化パラメータを最適化する。
なお、最適化前の量子化ニューラルネットワーク５０ａ及び最適化後の量子化ニューラルネットワーク５０ｂで扱われるすべてのテンソルは、量子化されていなくてもよく、少なくとも重みパラメータを示すテンソルが量子化されていればよい。テンソルとは、最適化前の量子化ニューラルネットワーク５０ａ及び最適化後の量子化ニューラルネットワーク５０ｂの各層における入力データ、出力データ及び重みなどのパラメータを含むｎ次元配列（ｎは０以上の整数）で表される値である。
図２は、本実施の形態に係る量子化パラメータ最適化装置１０の機能構成を示すブロック図である。
図２に示されるように、量子化パラメータ最適化装置１０は、コスト関数決定部１０１と、量子化パラメータ更新部１０２と、量子化パラメータ決定部１０３とを備える。なお、本実施の形態では、量子化パラメータ最適化装置１０は、後述する正則化項決定部２０をさらに備えてもよい。この場合、量子化パラメータ最適化装置１０は、正則化項決定部２０から、正則化項決定部２０が決定した正則化項Ψを取得すればよい。
＜量子化パラメータ更新部１０２＞
量子化パラメータ更新部１０２は、更新部の一例であり、コスト関数決定部１０１で決定されたコスト関数を用いて、量子化パラメータを更新する。ここで、量子化パラメータは、上述したように、ニューラルネットワークにおける重みパラメータが量子化されたパラメータである。量子化パラメータ更新部１０２は、量子化パラメータの更新を繰り返し実行する。
＜量子化パラメータ決定部１０３＞
量子化パラメータ決定部１０３は、量子化パラメータ更新部１０２が量子化パラメータの更新を繰り返した結果、コスト関数により導出される関数値が、所定の条件を満たした場合の量子化パラメータを、量子化ニューラルネットワークの最適化された量子化パラメータとして決定する。
＜コスト関数決定部１０１＞
コスト関数決定部１０１は、取得した正則化項Ψを用いてコスト関数を決定する。より具体的には、ニューラルネットワークの出力値と期待される正解値との誤差を求める関数である誤差関数Ｅ（ｗｑ）に、重みパラメータ（ｗ）と量子化パラメータ（ｗｑ）との誤差である量子化誤差（ｗ－ｗｑ）の関数である正則化項Ψを加えたコスト関数Ｌ（ｗｑ）を決定する。
ここで、正則化項Ψの関数値と、量子化ニューラルネットワークが正解を推論する度合いを示す精度との間には負の相関がある。換言すると、正則化項Ψは、コスト関数に包含され、正則化項Ψ→０のときコスト関数→０となる関係を満たす。以下、正則化項Ψがこの関係を満たす必要があることについて説明する。
機械学習では、代表的な学習アルゴリズムとして勾配法を用いる。勾配法は、関数の最適化手法の一つであり、関数の偏導関数（勾配）を用いて最適な点を割り出す方法である。例えば、下記の式（１）は、誤差関数Ｅの重みｗに対する偏微分に係数をかけて反復計算させるＭｏｍｅｎｔｕｍ ＳＧＤ（確率的勾配降下法）を示している。
Figure 0007419711000003
すなわち、式（１）において、反復ｔの重みｗにおける誤差関数Ｅから、反復ｔ+１の重みｗを求める。このような反復計算を行うことにより誤差関数Ｅを最小にする重みｗを求める。ここで、ηは学習係数であり、収束の速さを制御する。なお、αΔｗｔは慣性成分に該当する。
さらに、誤差関数Ｅにペナルティの性質をもたせ、重みｗが極端な値をとること（つまり過学習）を防ぐための正則化項を、誤差関数Ｅに加えて、新たな誤差関数すなわちコスト関数とする。例えば、下記の式（２）に示すように、ペナルティとして重みｗの二乗の総和を用いたＬ２正則化を正則化項として用いる。なお、式（２）において、Ｌ（ｗ）はコスト関数であり、Ｅ（ｗ）は誤差関数である。
Figure 0007419711000004
ここで、式（２）に示されるコスト関数Ｌ（ｗ）を偏微分すると、下記の式（３）が得られる。
Figure 0007419711000005
式（３）により、正則化項が重みｗに比例することから、式（２）に示すコスト関数を用いて最急降下法または確率的勾配降下法を行う場合、重みｗの大きさに比例した分だけ誤差が０に近づくことがわかる。このように、正則化項を用いると、コスト関数Ｌ（ｗ）において重みｗが大きく変わらない傾向があることから、過学習を防ぐことができる。
一方、ニューラルネットワークで構成される推論モデルを実装する場合、演算量を低減するために、重みパラメータを量子化する場合がある。この場合、実数値等のｆｌｏａｔで表現される重みパラメータと、ｆｌｏａｔが量子化されて表現される量子化パラメータとの間の差である量子化誤差も考慮した誤差関数を考える必要がある。重みパラメータをもつニューラルネットワークで構成される推論モデルと比較すると、量子化誤差のために、量子化パラメータともつ量子化ニューラルネットワークで構成される推論モデルの推論結果の精度が低下するからである。
例えば、上述した式（１）に量子化誤差の影響を反映すると、下記の式（４）のように表すことができる。
Figure 0007419711000006
つまり、量子化誤差の影響は、式（４）の括弧（）内のｅｒｒ項として現れる。そして、ｅｒｒ項は、式（４）の反復計算時の収束に影響を及ぼすことになる。この対策のために、学習係数ηを小さくしてｅｒｒ項の影響を小さくする場合、極小値に陥りやすくなってしまうという問題がある。
そこで、例えば非特許文献１では、式（５）に示すように、誤差関数Ｅ（ｗ）に、量子化誤差を、Ｌ２ノルムの形で正則化項として加えたコスト関数Ｌ（ｗ）を用いることが開示されている。そして、このようなコスト関数Ｌ（ｗ）を用いることにより、量子化誤差を減らす学習を実現することができるとされている。式（５）において、Ｗｑは、重みパラメータｗを量子化した量子化パラメータを示す。
Figure 0007419711000007
しかしながら、コスト関数Ｌ（ｗ）を最小化する過程において、量子化誤差係数で表される学習係数η２の値によっては、正則化項→０となるときに、誤差関数→０とならないばかりか、誤差関数が増大する変化をしてしまう。これについて図３Ａ及び図３Ｂを用いて詳述する。
図３Ａは、量子化誤差係数に対するｌｏｓｓ及び量子化誤差の変化を示す図である。図３Ｂは、量子化誤差係数に対する再現率及び適合率の変化を示す図である。図４は、再現率及び適合率を含む統計指標を説明するための図である。
図３Ａでは、横軸は式（５）に示す量子化誤差係数で表される学習係数η２の値を示し、左側縦軸は量子化誤差を示し、右側縦軸はｌｏｓｓすなわち式（５）に示す誤差関数Ｅ（ｗ）の値を示す。図３Ｂでは、横軸は式（５）に示す量子化誤差係数で表される学習係数η２の値を示し、左側縦軸は再現率（Ｒｅｃａｌｌ）を示し、右側縦軸は適合率（Ｐｒｅｃｉｓｉｏｎ）を示す。また、図３Ａ及び図３Ｂに示される変化は、誤差関数に量子化誤差を正則化項として加えたコスト関数に対してシミュレーションを行うことで評価した。
図４には、量子化ニューラルネットワークで構成される推論モデルが、「正解である」または「正解でない」を推論する場合のデータ数について示されている。すなわち、推論モデルが正解と推論したが、実際には正解ではないデータ数をＦＰ（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ）個とし、推論モデルが正解と推論して、実際にも正解であるデータ数をＴＰ（Ｔｒｕｅ Ｐｏｓｉｔｉｖｅ）個としている。同様に、推論モデルが正解でないと推論したが、実際には正解であるデータ数をＦＮ（Ｆａｌｓｅ Ｎｅｇａｔｉｖｅ）個とし、推論モデルが正解でないと推論して、実際にも正解でないデータ数をＴＮ（Ｔｒｕｅ Ｎｅｇａｔｉｖｅ）個としている。
ここで、適合率は、ＴＰ／（ＴＰ+ＦＰ）で表すことができる統計指標の一つであり、推論モデルが正解であると推論したデータ数のうち、実際に正解であるデータ数の割合を意味する。また、再現率は、ＴＰ／（ＴＰ+ＦＮ）で表すことができる統計指標の一つであり、実際に正解であるデータ数のうち、推論モデルが正解であると推論したデータ数の割合を意味する。
図３Ａに示すように、量子化誤差は学習係数η２の増加に伴い減少している。これにより、式（５）に示すコスト関数Ｌ（ｗ）の正則化項は有効であることがわかる。一方、ｌｏｓｓすなわち式（５）に示す誤差関数Ｅ（ｗ）の値は、学習係数η２の増加がある値を超えると急激に増加している。これにより、式（５）に示すコスト関数Ｌ（ｗ）の正則化項における学習係数η２の調整がさらに必要なのがわかる。
また、図３Ｂに示すように、学習係数η２の増加に対して、適合率及び再現率で示される精度はほぼ横ばいである。つまり、学習係数η２が増加すると、適合率及び再現率が向上するといった相関はみられない。さらに、図３Ｂに示すように、学習係数η２の増加がある値を超えると精度の劣化も見られる。
このような精度の劣化は、図３Ａに示すｌｏｓｓすなわち式（５）に示す誤差関数Ｅ（ｗ）の値の急激な増加と関連すると考えられ、式（５）に示す正則化項が強すぎることで学習を阻害していると考えられる。
より具体的には、式（５）に示す誤差関数Ｅ（ｗ）と正則化項との関係において、正則化項→０となるときに、常に、誤差関数→０とならないことに起因すると考えられる。
そこで、本実施の形態では、コスト関数決定部１０１は、正則化項→０のとき、常に、コスト関数→０となる関係を満たす量子化誤差の関数を正則化項として用いたコスト関数を決定する。以下、これについて図５Ａ及び図５Ｂを用いて説明する。
図５Ａは、実施の形態に係る精度と正則化項の関数値との関係を模式的に示す図である。図５Ｂは、実施の形態に係る量子化誤差と正則化項の関数値との関係を模式的に示す図である。
コスト関数決定部１０１が決定するコスト関数Ｌ（ｗ）は、例えば、下記の式（６）のように表すことができる。式（６）において、η２は学習係数を示し、Ψ（ｗ－ｗｑ）は量子化誤差の関数を示す。
Figure 0007419711000008
Figure 0007419711000009
ここで、量子化誤差の関数の関数値が、上記の式（７）の関係を満たすとき、（ｗｑ２時の精度）＞（ｗｑ１時の精度）を満たす。すなわち、式（７）の関係を満たすとき、量子化パラメータｗｑ２に対応する量子化ニューラルネットワーク（を構成する推論モデル）の出力値の精度は、量子化パラメータｗｑ１に対応する量子化ニューラルネットワーク（を構成する推論モデル）の出力値の精度よりもよいという関係を満たす。つまり、図５Ａには、式（６）で示される量子化誤差の関数Ψ（ｗ－ｗｑ）の関数値が小さいほど、コスト関数Ｌ（ｗ）の関数値が小さい、すなわち精度がよいという関係が模式的に示されている。これは、正則化項→０のときコスト関数→０となる関係を満たすことを意味する。
また、図５Ｂには、量子化誤差の関数Ψ（ｗ－ｗｑ）は、単調増加または単調減少の関数ではないことが示されている。このように単調な関数でなくても図５Ａに示される負の相関がある量子化誤差の関数Ψ（ｗ－ｗｑ）で表される正則化項を用いることで、正則化項→０のときコスト関数→０とできることがわかる。なお、正則化項の具体的な決定方法については後述する。
また、精度は、量子化ニューラルネットワークの出力値が、正解を推論したか否かを示す場合の適合率及び再現率に限らず、適合率、再現率、適合率及び前記再現率の調和平均により算出されるＦ値、並びに、正解率のうちの少なくとも一の組み合わせであればよい。
ここで、量子化ニューラルネットワークが正解と推論した複数の出力値を第１データ群とすると、第１データ群は図４に示すＴＰ＋ＦＰで表すことができる。また、量子化ニューラルネットワークが正解でないと推論した複数の出力値を第２データ群とすると、第２データ群は図４に示すＦＮ＋ＴＮで表すことができる。また、量子化ニューラルネットワークが推論した全出力値において実際に正解である複数の出力値を第３データ群とすると、第３データ群は図４に示すＴＰ＋ＦＮで表すことができる。また、量子化ニューラルネットワークが正解でない推論した複数の出力値を第４データ群としたとすると、第４データ群は図４に示すＦＰ＋ＴＮで表すことができる。この場合、適合率は、第１データ群（ＴＰ＋ＦＰ）のうち、実際に正解である複数の出力値である第５データ群（ＴＰ）の割合であり、再現率は、第３データ群（ＴＰ＋ＦＮ）のうち、第５データ群（ＴＰ）の割合である。また、正解率は、全出力値（ＴＰ＋ＦＰ＋ＦＮ＋ＴＮ）のうち、量子化ニューラルネットワークが推論した出力値と実際の出力値とが一致した第６データ群（ＴＰ＋ＴＮ）の割合である。
以上のような構成により、量子化パラメータ最適化装置１０は、過学習を防ぎながら量子化誤差を考慮して量子化パラメータを最適化することができる。
［１－２．ハードウェア構成］
次に、本実施の形態に係る量子化パラメータ最適化装置１０のハードウェア構成について、図６を用いて説明する。図６は、本実施の形態に係る量子化パラメータ最適化装置１０の機能をソフトウェアにより実現するコンピュータ１０００のハードウェア構成の一例を示す図である。
コンピュータ１０００は、図６に示すように、入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７、送受信装置１００８及びバス１００９を備えるコンピュータである。入力装置１００１、出力装置１００２、ＣＰＵ１００３、内蔵ストレージ１００４、ＲＡＭ１００５、読取装置１００７及び送受信装置１００８は、バス１００９により接続される。
入力装置１００１は入力ボタン、タッチパッド、タッチパネルディスプレイなどといったユーザインタフェースとなる装置であり、ユーザの操作を受け付ける。なお、入力装置１００１は、ユーザの接触操作を受け付ける他、音声での操作、リモコン等での遠隔操作を受け付ける構成であってもよい。
内蔵ストレージ１００４は、フラッシュメモリなどである。また、内蔵ストレージ１００４は、量子化パラメータ最適化装置１０の機能を実現するためのプログラム、及び、量子化パラメータ最適化装置１０の機能構成を利用したアプリケーションの少なくとも一方が、予め記憶されていてもよい。
ＲＡＭ１００５は、ランダムアクセスメモリ（Random Access Memory）であり、プログラム又はアプリケーションの実行に際してデータ等の記憶に利用される。
読取装置１００７は、ＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る。読取装置１００７は、上記のようなプログラムやアプリケーションが記録された記録媒体からそのプログラムやアプリケーションを読み取り、内蔵ストレージ１００４に記憶させる。
送受信装置１００８は、無線又は有線で通信を行うための通信回路である。送受信装置１００８は、例えばネットワークに接続されたサーバ装置と通信を行い、サーバ装置から上記のようなプログラムやアプリケーションをダウンロードして内蔵ストレージ１００４に記憶させる。
ＣＰＵ１００３は、中央演算処理装置（Central Processing Unit）であり、内蔵ストレージ１００４に記憶されたプログラム、アプリケーションをＲＡＭ１００５にコピーし、そのプログラムやアプリケーションに含まれる命令をＲＡＭ１００５から順次読み出して実行する。
［１－３．量子化パラメータ最適化方法］
次に、本実施の形態に係る量子化パラメータ最適化方法について、図７を用いて説明する。図７は、本実施の形態に係る量子化パラメータ最適化方法を示すフローチャートである。
図７に示されるように、量子化パラメータ最適化方法では、まず、量子化ニューラルネットワークのコスト関数を決定する（Ｓ１００）。本実施の形態では、量子化パラメータ最適化装置１０は、量子化ニューラルネットワーク（で構成される推論モデル）の出力値と期待される正解値との誤差を求める関数である誤差関数に、量子化誤差の関数である正則化項を加えたコスト関数を決定する。
続いて、量子化パラメータ最適化装置１０は、ステップＳ１００で決定されたコスト関数を用いて量子化パラメータを更新する（Ｓ１０１）。本実施の形態では、量子化パラメータ最適化装置１０は、量子化パラメータの更新を繰り返し実行する。
続いて、量子化パラメータ最適化装置１０は、ステップＳ１０１の結果から、量子化パラメータを決定する（Ｓ１０２）。本実施の形態では、量子化パラメータ最適化装置１０は、ステップＳ１０１を繰り返した結果、コスト関数により導出される関数値が、所定の条件を満たした場合の量子化パラメータを、量子化ニューラルネットワークの最適化された量子化パラメータとして決定する。
以上のように、本実施の形態に係る量子化パラメータ最適化方法によれば、過学習を防ぎながら量子化誤差を考慮して量子化パラメータを最適化することができる。
次に、量子化パラメータ最適化装置１０がコスト関数を決定するために用いる正則化項の決定方法について説明する。以下では、正則化項決定部により正則化項が決定されるとして説明する。
［１－４．正則化項決定部］
図８は、本実施の形態に係る正則化項決定部２０が行う決定処理の概要を説明するための図である。
正則化項決定部２０は、本実施の形態に係る正則化項を決定する装置である。本実施の形態では、正則化項決定部２０は、決定した正則化項を記憶部２１に記憶する。正則化項決定部２０は、決定した正則化項を量子化パラメータ最適化装置１０に出力してもよい。
より具体的には、正則化項決定部２０は、テストデータ６０と、重み誤差パラメータを与えた最適化前の量子化ニューラルネットワーク５０ａとを用いて、量子化誤差と最適化前の量子化ニューラルネットワーク５０ａの精度とのデータセットからなる学習データを作成する。ここで、重み誤差パラメータは、量子化パラメータ候補として、重みパラメータにランダムに複数の誤差を与えたものである。そして、正則化項決定部２０は、作成した学習データを用いて、ＳＶＭ（サポートベクターマシン）による学習を行うことで得た分離境界面に基づき、正則化項を決定する。なお、ＳＶＭとは、２クラスに分類されたデータを、明確に２クラスに分離する境界（境界線または境界面）を決定するための方法である。ＳＶＭは、境界から最も近いベクトル（サポートベクトル）との距離を表すマージンを最大化するという方法で、上記の境界を決定する。
図９は、本実施の形態に係る正則化項決定部２０の機能構成を示すブロック図である。
図９に示されるように、正則化項決定部２０は、学習データ作成部２０１と、学習実行部２０２と、正則化項導出部２０３とを備える。
＜学習データ作成部２０１＞
学習データ作成部２０１は、重みパラメータに複数の誤差を加えた重み誤差パラメータを与えた量子化ニューラルネットワークを用いて得た、テストデータに対する出力値それぞれの精度が所定の基準より高いまたは低いことを示すラベルを、当該出力値に対応する当該重み誤差パラメータに付与する。このようにして、学習データ作成部２０１は、重み誤差パラメータと精度とのデータセットからなる学習データを作成する。
本実施の形態では、まず、学習データ作成部２０１は、重みパラメータにランダムに求めた複数の誤差を加えた重み誤差パラメータを与えた最適化前の量子化ニューラルネットワーク５０ａを用いて、テストデータ６０に対する出力値を得る。次に、学習データ作成部２０１は、得た出力値それぞれの精度が、所定の基準より高いまたは低いことを示すラベルを、当該出力値に対応する重み誤差パラメータに付与することで、重み誤差パラメータと精度とのデータセットからなる学習データを作成し、記憶部２１に記憶する。ここで、所定の基準は、例えば、実数値または浮動小数点精度（ｆｌｏａｔ）で表現される重みパラメータを与えた最適化前の量子化ニューラルネットワーク５０ａを用いてテストデータ６０に対する出力値を得たときの当該出力値の精度である。
また、学習データ作成部２０１は、得た出力値それぞれの精度を、所定の基準より高いか低いかの２つに分類して、分類した結果を示すラベルを当該出力値に対応する重み誤差パラメータに付与する。なお、重み誤差パラメータは、量子化誤差に対応するものである。これにより、学習データ作成部２０１は、量子化誤差と精度との相関関係を示すデータセットからなる学習データを作成することができる。
＜学習実行部２０２＞
学習実行部２０２は、学習データ作成部２０１が作成した学習データを用いて、ＳＶＭによる学習を行う。この結果、学習実行部２０２は、重み誤差パラメータを所定の基準より高い精度の出力値に対応する重み誤差パラメータと、所定の基準より低い精度の出力値に対応する重み誤差パラメータとに分離する面である分離境界面を得る。ＳＶＭによる学習としては、例えば線形２ｃｌａｓｓ ＳＶＭによる学習または非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習がある。
なお、線形２ｃｌａｓｓ ＳＶＭによる学習は、線形ＳＶＭとも称され、２つのクラスのサポートベクタを基準として、それらのユークリッド距離が最大化（マージン最大化）するように、分離境界面を学習することである。これにより、２つのクラスを完全に分離できる分離境界面を得ることができる。一方、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習は、教師データ（正常データ）として１つのクラス分を学習させることである。この結果、教師データ（正常データ）と、教師データ（正常データ）から外れた値となる外れデータとの分離境界面を得ることである。
本実施の形態では、学習実行部２０２は、学習データ作成部２０１が作成した学習データを用い、機械学習としてＳＶＭによる学習を行う。より具体的には、学習実行部２０２は、学習データに含まれる、２クラスのいずれかに分類されたことを示すラベルが付された重み誤差パラメータを、２クラスにクリアに分類する分離境界面を求める。換言すると、学習実行部２０２は、所定の基準より低い精度の出力値に対応する量子化誤差悪化グループと、所定の基準より高い精度の出力値に対応する量子化誤差良化グループとを最もクリアに分類する分離境界面を求める。
ここで、線形２ｃｌａｓｓ ＳＶＭによる学習を行い、分離境界面を得る場合の例について、図１０Ａ～図１０Ｃを用いて説明する。なお、以下では、重み誤差パラメータは２次元であるとして説明する。
図１０Ａは、本実施の形態に係る重みパラメータが２次元のときの、ラベル付けされた重み誤差パラメータの分布を模式的に示す図である。図１０Ｂは、図１０Ａに示す分布に対して線形２ｃｌａｓｓ ＳＶＭによる学習を行った結果を模式的に示す図である。図１０Ｃは、図１０Ａに示す分布に対して得られた分離境界面を模式的に示す図である。
図１０Ａには、精度が所定の基準以上の（出力値に対応する）重み誤差パラメータと、精度が所定の基準より劣化している（出力値に対応する）重み誤差パラメータとが示されている。学習実行部２０２は、図１０Ａに示される重み誤差パラメータに対して、線形２ｃｌａｓｓ ＳＶＭによる学習を行い、精度が所定の基準以上の重み誤差パラメータと、精度が所定の基準より劣化している重み誤差パラメータとをクリアに分離することができる境界を求める。この結果、学習実行部２０２は、例えば図１０Ｂに示すようなベストすなわちマージン最大となる境界を求めることができる。そして、学習実行部２０２は、図１０Ｂに示す境界を、例えば図１０Ｃに示すように、ｇ（ｘ）＝０で表される分離境界面として得ることができる。
なお、重み誤差パラメータが２次元であり、分離境界面として直線で２つのグループに分類できる場合について説明したが、直線で分離できないケースもある。
図１１Ａは、本実施の形態に係る重み誤差パラメータを直線では２クラスに分離できない場合の例を模式的に示す図である。図１１Ｂは、図１１Ａに示す重み誤差パラメータを高次元に拡張することにより平面で２クラスに分離できる場合の例を模式的に示す図である。
つまり、例えば、重み誤差パラメータが図１１Ａに示すような分布を示す場合、どのような直線を用いても、精度が所定の基準以上の重み誤差パラメータと、精度が所定の基準より劣化している重み誤差パラメータとをクリアに分離できない。このような場合、重み誤差パラメータを例えば３次元など、より高次元に拡張すれば、平面で分離できる。このように、重み誤差パラメータを高次元へと拡張した場合、直線を用いて分離可能（線形分離可能）な場合と同様に、境界（境界面）との距離を考えることができる。
そして、このような場合、線形２ｃｌａｓｓ ＳＶＭによる学習または非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を行うことで、ｇ（ｘ）＝０で表される分離境界面を得ることができる。
以上から、学習実行部２０２は、ＳＶＭによる学習を行うことで分離境界面を得ることができる。つまり、学習実行部２０２は、ＳＶＭによる学習として、線形２ｃｌａｓｓ ＳＶＭによる学習または非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を行い、ｇ（ｘ）＝０で表される分離境界面を得ることができる。
＜正則化項導出部２０３＞
正則化項導出部２０３は、学習実行部２０２により得た、ｇ（ｘ）＝０で表される分離境界面から、関数であるｇ（ｘ）を導出し、導出したｇ（ｘ）に基づいて、正則化項Ψを決定する。
本実施の形態では、正則化項導出部２０３は、導出したｇ（ｘ）の極性を逆にした「－ｇ（ｘ）」を正則化項Ψとして決定してもよいし、単調増加かつ値域が（－１、１）となるｔａｎｈを用いて、ｇ（ｘ）の関数であるｔａｎｈ（－ｇ（ｘ））を正則化項Ψとして決定してもよい。
例えば、正則化項導出部２０３は、ＳＶＭによる学習として、線形２ｃｌａｓｓ ＳＶＭによる学習を行うことで分離境界面を得た場合、下記の（式８）で表されるｇ（ｘ）を導出する。
ＡＴｘ＋ｂ＝ｇ（ｘ）・・・（式８）
ここで、ｘはｎ次元ベクトルの量子化誤差であり、Ａはｎ次元ベクトルであり、ｂは定数である。
図１２は、本実施の形態に係る分離境界面から正則化項を導出する方法を説明するための図である。図１２には、図１０Ｃで示される重み誤差パラメータの分布に対応する量子化誤差の分布における分離境界面を表すｇ（ｘ）＝０が示されている。ここで、式（８）で示されるｇ（ｘ）は、ｘと分離境界面（ｇ（ｘ）＝０）との距離に比例する値を示す関数である。式（８）において、Ａは、ｎ次元ベクトルであり、分離境界面に対して法線方向を表す。図１２に示す分離境界面を表すｇ（ｘ）＝０から、式（８）におけるＡとｂとを求めることができる。つまり、分離境界面を表すｇ（ｘ）＝０から、式（８）で表されるｇ（ｘ）を導出することができる。
例えば図１２に示す量子化誤差の分布のように、ｇ（ｘ）＞０の領域では、精度が良くなるとすると、ｇ（ｘ）の関数値が大きくなれば、精度も良くなるという傾向があるのがわかる。この場合、導出したｇ（ｘ）の極性を逆にした－ｇ（ｘ）を正則化項として決定すれば、決定した正則化項は量子化誤差の関数で表すことができ、かつ、精度と負の相関をもつことになる。
したがって、本実施の形態では、正則化項導出部２０３は、導出したｇ（ｘ）の極性を逆にした－ｇ（ｘ）を正則化項Ψとして決定してもよいことがわかる。また、正則化項導出部２０３は、ｔａｎｈ（－ｇ（ｘ））を正則化項Ψとしてもよい。ｔａｎｈを用いると、－ｇ（ｘ）の関数値を単調増加でかつ（－１、１）の範囲にさせることができるので、コスト関数の演算が行いやすくなるという利点がある。
また、量子化誤差の分布を直線で分離（線形分離）できない場合、量子化誤差の分布を高次元へと拡張することで、平面（超平面）で分離することができる。このような場合、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を行い、ｇ（ｘ）＝０で表される分離境界面を得る場合、分離境界面を下記の（式９）の左辺が０である場合の形で表すことができるので、ｇ（ｘ）を導出することができる。
したがって、正則化項導出部２０３は、ＳＶＭによる学習として、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を行うことで、分離境界面を得た場合、下記の（式９）で表されるｇ（ｘ）を導出することができる。量子化誤差の分布を高次元へ拡張しない場合でも、ＳＶＭによる学習として、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を行ってもよいのはいうまでもない。
Figure 0007419711000010
ここで、αｉは係数であり、Ｋはカーネル関数であり、
Figure 0007419711000011
 はサポートベクタであり、ｂは定数である。
また、カーネル関数は、例えば、式（１０）で表されるガウシアンカーネルでもよい。
Figure 0007419711000012
なお、ＳＶＭのアルゴリズムでは、特徴空間でのデータがすべて内積として現れる。このため、カーネル関数を用いることで、特徴空間にデータを写像したときの具体的な関数の形がわからなくても内積が計算できる。さらに、高次元の特徴空間で内積を計算する必要がなく、入力空間でカーネル関数を計算すればよいので、計算量とメモリを大幅に削減できるメリットがある。
つまり、カーネル関数を用いた形でｇ（ｘ）を導出することで、ｇ（ｘ）に基づき決定された正則化項を用いたコスト関数の関数値の計算する計算量とメモリを大幅に削減できる。
なお、カーネル関数は、式（１０）で表されるガウシアンカーネルである場合に限らない。例えば、下記の式（１１）で表されるシグモイドカーネルまたは下記の式（１２）で表される多項式カーネルを用いてもよい。式（１２）においてｐは次数を示す。
Figure 0007419711000013
Figure 0007419711000014
このようにして、正則化項導出部２０３は、導出したｇ（ｘ）の極性を逆にした－ｇ（ｘ）またはｔａｎｈを用いたｔａｎｈ（－ｇ（ｘ））を正則化項Ψとして決定することができる。そして、正則化項導出部２０３は、決定した正則化項Ψを記憶部２１に記憶させるとともに、量子化パラメータ最適化装置１０に出力することができる。
［１－５．正則化項導出方法］
次に、本実施の形態に係る正則化項導出方法について図１３を用いて説明する。図１３は、本実施の形態に係る正則化項導出方法を示すフローチャートである。
図１３に示されるように、正則化項導出方法では、まず、学習データを作成する（Ｓ９１）。本実施の形態では、正則化項決定部２０は、実数値または浮動小数点精度（ｆｌｏａｔ）の重みにランダムな誤差を加えた重み誤差を与えた最適化前の量子化ニューラルネットワーク５０ａを用いて得た、テストデータ６０に対する出力値を得る。正則化項決定部２０は、得た出力値それぞれの精度が所定の基準より高いか低いかの２クラスに分類するすラベルを、当該出力値に対応する重み誤差に付与する。このようにして正則化項決定部２０は、重み誤差と精度とのデータセットからなる学習データを作成する。なお、重み誤差は、元の重みを差分することで、量子化誤差となるため、量子化誤差と精度とのデータセットからなる学習データを作成することと同じ意味となる。
続いて、正則化項決定部２０は、ステップＳ９１で作成した学習データを用いて、ＳＶＭによる学習を実行する（Ｓ９２）。本実施の形態では、正則化項決定部２０は、ステップＳ９１で作成した学習データを用いて、線形２ｃｌａｓｓ ＳＶＭによる学習または非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を実行する。これにより、正則化項決定部２０は、ｇ（ｘ）＝０で表される分離境界面を得る。
続いて、正則化項決定部２０は、ステップＳ９２において得たｇ（ｘ）＝０で表される分離境界面に基づき、正則化項を決定する（Ｓ９３）。本実施の形態では、正則化項決定部２０は、ｇ（ｘ）＝０で表される分離境界面から、ｇ（ｘ）を導出する。そして、正則化項決定部２０は、導出したｇ（ｘ）に基づき、－ｇ（ｘ）またはｔａｎｈ（－ｇ（ｘ））を正則化項として決定する。
以上のように、本実施の形態に係る正則化項導出方法によれば、正則化項Ψの関数値と、量子化ニューラルネットワークが正解を推論する度合いを示す精度との間には負の相関があるような正則化項Ψを導出することができる。
［１－６．効果等］
以上のように、本実施の形態によれば、正則化項Ψの関数値と、量子化ニューラルネットワークが正解を推論する度合いを示す精度との間には負の相関があるような正則化項Ψを導出することができる。これにより、導出した正則化項Ψを誤差関数に加えたコスト関数を決定することができる。
さらに、本実施の形態によれば、このようなコスト関数を用いることで、過学習を防ぎながら量子化誤差を考慮して量子化パラメータを最適化することができる。
ここで、線形２ｃｌａｓｓ ＳＶＭを用いて、正則化項を導出するに至る処理手順の概要と非線形ｏｎｅ ｃｌａｓｓ ＳＶＭを用いて、正則化項を導出するに至る処理手順の概要について説明する。
図１４は、実施の形態に係る線形２ｃｌａｓｓ ＳＶＭを用いて、正則化項を導出するに至る処理手順の全体像を模式的に示す図である。図１５は、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭを用いて、正則化項を導出するに至る処理手順の全体像を模式的に示す図である。図１４及び図１５において、重み誤差パターン＃１等は、上記の実施の形態における重み誤差パラメータに該当する。ラベル＃１等はそれぞれ、ラベルが付された重み誤差パターンであり、上記の実施の形態における重み誤差パラメータと精度とのデータセットからなる学習データに該当する。図１４及び図１５の違いは、ＳＶＭによる学習として、線形２ｃｌａｓｓ ＳＶＭによる学習または非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を用いる点であり、これにより、導出されるｇ（ｘ）の形は異なる。
ここで、ＳＶＭのアルゴリズムでは、特徴空間でのデータがすべて内積として現れる。
図１４に示されるｇ（ｘ）は、線形２ｃｌａｓｓ ＳＶＭによる学習により得られるので、ｇ（ｘ）が単純な内積として現れる。このため、ｔａｎｈ（－ｇ（ｘ）を正則化項として用いることで、コスト関数の関数値（ｌｏｓｓ）を容易に計算できる。
一方、図１５に示されるｇ（ｘ）は、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習により、カーネル関数を用いて表される形で得られる。なお、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭでは、学習データのうち正常データとなるすべての教師データをクラスタ１とし、原点のみをクラスタ－１に属するようにカーネルトリックといわれる手法を用いて、高次元空間の特徴空間へ教師データを写像する。このとき、教師データは原点から遠くに配置されるように写像されるため、教師データに類似していない学習データは原点の近くに集まるようになる。したがって、線形２ｃｌａｓｓ ＳＶＭを用いる場合と比較すると、分離性能は高いと言える。
図１５に示されるｇ（ｘ）は、カーネル関数を用いて表されることで、具体的な関数の形がわからなくても内積が計算できる。これにより、複雑なコスト関数の関数値（ｌｏｓｓ）を演算できる。
（その他の実施の形態）
以上、本開示に係る量子化パラメータ最適化方法などについて、各実施の形態に基づいて説明したが、本開示は、これらの実施の形態に限定されるものではない。本開示の主旨を逸脱しない限り、当業者が思いつく各種変形を各実施の形態に施したものや、各実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本開示の範囲内に含まれる。
また、以下に示す形態も、本開示の一つ又は複数の態様の範囲内に含まれてもよい。
（１）上記の量子化パラメータ最適化装置を構成する構成要素の一部は、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムであってもよい。前記ＲＡＭ又はハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。
（２）上記の量子化パラメータ最適化装置を構成する構成要素の一部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
（３）上記の量子化パラメータ最適化装置を構成する構成要素の一部は、各装置に脱着可能なＩＣカード又は単体のモジュールから構成されているとしてもよい。前記ＩＣカード又は前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカード又は前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカード又は前記モジュールは、その機能を達成する。このＩＣカード又はこのモジュールは、耐タンパ性を有するとしてもよい。
（４）また、上記の量子化パラメータ最適化装置を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号をコンピュータで読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ－ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ－ＲＯＭ、ＤＶＤ－ＲＡＭ、ＢＤ（Ｂｌｕ－ｒａｙ（登録商標） Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記デジタル信号であるとしてもよい。
また、上記の量子化パラメータ最適化装置を構成する構成要素の一部は、前記コンピュータプログラム又は前記デジタル信号を、電気通信回線、無線又は有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。
（５）本開示は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるデジタル信号であるとしてもよい。
（６）また、本開示は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。
（７）また、前記プログラム又は前記デジタル信号を前記記録媒体に記録して移送することにより、又は前記プログラム又は前記デジタル信号を、前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。
（８）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。
本開示は、ニューラルネットワークのコンピュータなどへの実装方法として、画像処理方法、音声認識方法または物体制御方法などに利用できる。
１０ 量子化パラメータ最適化装置
１１、２１ 記憶部
２０ 正則化項決定部
５０ａ 最適化前の量子化ニューラルネットワーク
５０ｂ 最適化後の量子化ニューラルネットワーク
６０ テストデータ
１０１ コスト関数決定部
１０２ 量子化パラメータ更新部
１０３ 量子化パラメータ決定部
２０１ 学習データ作成部
２０２ 学習実行部
２０３ 正則化項導出部
１０００ コンピュータ
１００１ 入力装置
１００２ 出力装置
１００３ ＣＰＵ
１００４ 内蔵ストレージ
１００５ ＲＡＭ
１００７ 読取装置
１００８ 送受信装置
１００９ バス

Claims (10)

  1. ニューラルネットワークにおける重みパラメータが量子化されたパラメータである量子化パラメータを最適化する、コンピュータプログラムにより実行される量子化パラメータ最適化方法であって、
    前記ニューラルネットワークの出力値と期待される正解値との誤差を求める関数である誤差関数に、前記重みパラメータと前記量子化パラメータとの誤差である量子化誤差の関数である正則化項を加えたコスト関数を決定するコスト関数決定ステップと、
    前記コスト関数を用いて、前記量子化パラメータを更新する更新ステップと、
    前記更新ステップを繰り返した結果、前記コスト関数により導出される関数値が所定の条件を満たした場合の前記量子化パラメータを、前記ニューラルネットワークにおける重みパラメータが量子化された量子化ニューラルネットワークの最適化された量子化パラメータとして決定する量子化パラメータ決定ステップと、を含み、
    前記正則化項の関数値と、前記量子化ニューラルネットワークが正解を推論する度合いを示す精度との間には負の相関がある、
    量子化パラメータ最適化方法。
  2. 前記精度は、前記量子化ニューラルネットワークの出力値が、正解を推論したか否かを示す場合の適合率、再現率、前記適合率及び前記再現率の調和平均により算出されるＦ値、並びに、正解率のうちの少なくとも一の組み合わせである、
    請求項１に記載の量子化パラメータ最適化方法。
  3. さらに、
    前記重みパラメータに複数の誤差を加えた重み誤差パラメータを与えた前記量子化ニューラルネットワークを用いて得た、テストデータに対する出力値それぞれの前記精度が所定の基準より高いまたは低いことを示すラベルを、当該出力値に対応する前記重み誤差パラメータに付与することにより、前記重み誤差パラメータと精度とのデータセットからなる学習データを作成する学習データ作成ステップと、
    作成した前記学習データを用いて、ＳＶＭ（サポートベクターマシン）による学習を行い、前記重み誤差パラメータを前記所定の基準より高い前記精度の出力値に対応する重み誤差パラメータと前記所定の基準より低い前記精度の出力値に対応する重み誤差パラメータとに分離する面である分離境界面を得る学習ステップと、
    前記学習ステップにおいて得た前記分離境界面に基づき、前記正則化項を決定する正則化項決定ステップと、を含む、
    請求項１または２に記載の量子化パラメータ最適化方法。
  4. 前記正則化項決定ステップでは、
    前記分離境界面から、ｇ（ｘ）を導出し、導出した前記ｇ（ｘ）に基づいて、前記正則化項を決定し、
    前記ＳＶＭによる学習として、線形２ ｃｌａｓｓ ＳＶＭによる学習を行うことで、前記分離境界面を得た場合、前記ｇ（ｘ）は、下記の（式１）で表される、
    ＡＴｘ＋ｂ＝ｇ（ｘ）・・・（式１）
    ここで、ｘはｎ次元ベクトルの量子化誤差であり、Ａはｎ次元ベクトルであり、ｂは定数である、
    請求項３に記載の量子化パラメータ最適化方法。
  5. 前記正則化項決定ステップでは、
    前記分離境界面から、ｇ（ｘ）を導出し、導出した前記ｇ（ｘ）に基づいて、前記正則化項を決定し、
    前記ＳＶＭによる学習として、非線形ｏｎｅ ｃｌａｓｓ ＳＶＭによる学習を行うことで、前記分離境界面を得た場合、前記ｇ（ｘ）は、前記量子化パラメータをｗｑ、前記
    量子化誤差をｗ－ｗｑとしたとき、下記の（式２）で表される、
    Figure 0007419711000015
     ・・・（式２）
    ここで、αｉは係数であり、Ｋはカーネル関数であり、
    Figure 0007419711000016
     はサポートベクタであり、ｂは定数である、
    請求項３に記載の量子化パラメータ最適化方法。
  6. 前記カーネル関数は、ガウシアンカーネルである、
    請求項５に記載の量子化パラメータ最適化方法。
  7. 前記カーネル関数は、シグモイドカーネルである、
    請求項５に記載の量子化パラメータ最適化方法。
  8. 前記カーネル関数は、多項式カーネルである、
    請求項５に記載の量子化パラメータ最適化方法。
  9. 前記正則化項決定ステップでは、
    前記ｇ（ｘ）の関数であるｔａｎｈ（－ｇ（ｘ））に基づいて，前記正則化項を決定する、
    請求項４～８のいずれか１項に記載の量子化パラメータ最適化方法。
  10. ニューラルネットワークにおける重みパラメータが量子化されたパラメータである量子化パラメータを決定する量子化パラメータ最適化装置であって、
    前記ニューラルネットワークの出力値と期待される正解値との誤差を求める関数である誤差関数に、前記重みパラメータと前記量子化パラメータとの誤差である量子化誤差の関数である正則化項を加えたコスト関数を決定するコスト関数決定部と、
    前記コスト関数を用いて、前記量子化パラメータを更新する更新部と、
    前記更新部が前記量子化パラメータの更新を繰り返した結果、前記コスト関数により導出される関数値が所定の条件を満たした場合の前記量子化パラメータを、前記ニューラルネットワークにおける重みパラメータが量子化された量子化ニューラルネットワークの最適化された量子化パラメータとして決定する量子化パラメータ決定部と、を備え、
    前記正則化項の関数値と、前記量子化ニューラルネットワークが正解を推論する度合いを示す精度との間には負の相関がある、
    量子化パラメータ最適化装置。
JP2019163981A 2019-09-09 2019-09-09 量子化パラメータ最適化方法、及び、量子化パラメータ最適化装置 Active JP7419711B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019163981A JP7419711B2 (ja) 2019-09-09 2019-09-09 量子化パラメータ最適化方法、及び、量子化パラメータ最適化装置
US17/014,699 US11748600B2 (en) 2019-09-09 2020-09-08 Quantization parameter optimization method and quantization parameter optimization device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019163981A JP7419711B2 (ja) 2019-09-09 2019-09-09 量子化パラメータ最適化方法、及び、量子化パラメータ最適化装置

Publications (2)

Publication Number Publication Date
JP2021043596A JP2021043596A (ja) 2021-03-18
JP7419711B2 true JP7419711B2 (ja) 2024-01-23

Family

ID=74851023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019163981A Active JP7419711B2 (ja) 2019-09-09 2019-09-09 量子化パラメータ最適化方法、及び、量子化パラメータ最適化装置

Country Status (2)

Country Link
US (1) US11748600B2 (ja)
JP (1) JP7419711B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7322622B2 (ja) * 2019-09-17 2023-08-08 富士通株式会社 情報処理装置、情報処理方法及び情報処理プログラム
US11861467B2 (en) * 2020-03-05 2024-01-02 Qualcomm Incorporated Adaptive quantization for execution of machine learning models
CN113238988B (zh) * 2021-06-08 2023-05-30 中科寒武纪科技股份有限公司 优化深度神经网络的参数的处理系统、集成电路及板卡

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012159886A (ja) 2011-01-28 2012-08-23 Fujitsu Ltd 情報照合装置、情報照合方法および情報照合プログラム
JP2018010618A (ja) 2016-05-03 2018-01-18 イマジネイション テクノロジーズ リミテッド 畳み込みニューラルネットワークハードウエア構成
JP2018045350A (ja) 2016-09-13 2018-03-22 Kddi株式会社 所定対象のうちの特定対象における状態を識別する装置、プログラム及び方法
JP6528884B1 (ja) 2018-06-04 2019-06-12 富士通株式会社 学習プログラム、学習方法、及び情報処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0784975A (ja) * 1993-09-10 1995-03-31 Hitachi Ltd 情報処理装置および学習演算処理方法
US11270187B2 (en) * 2017-11-07 2022-03-08 Samsung Electronics Co., Ltd Method and apparatus for learning low-precision neural network that combines weight quantization and activation quantization
US11948074B2 (en) * 2018-05-14 2024-04-02 Samsung Electronics Co., Ltd. Method and apparatus with neural network parameter quantization
US20210019630A1 (en) * 2018-07-26 2021-01-21 Anbang Yao Loss-error-aware quantization of a low-bit neural network
US11568222B2 (en) * 2019-03-27 2023-01-31 Integrated Silicon Solution, (Cayman) Inc. System and method for classifying data using neural networks with errors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012159886A (ja) 2011-01-28 2012-08-23 Fujitsu Ltd 情報照合装置、情報照合方法および情報照合プログラム
JP2018010618A (ja) 2016-05-03 2018-01-18 イマジネイション テクノロジーズ リミテッド 畳み込みニューラルネットワークハードウエア構成
JP2018045350A (ja) 2016-09-13 2018-03-22 Kddi株式会社 所定対象のうちの特定対象における状態を識別する装置、プログラム及び方法
JP6528884B1 (ja) 2018-06-04 2019-06-12 富士通株式会社 学習プログラム、学習方法、及び情報処理装置

Also Published As

Publication number Publication date
US20210073635A1 (en) 2021-03-11
US11748600B2 (en) 2023-09-05
JP2021043596A (ja) 2021-03-18

Similar Documents

Publication Publication Date Title
AU2017437537B2 (en) Training tree-based machine-learning modeling algorithms for predicting outputs and generating explanatory data
JP7419711B2 (ja) 量子化パラメータ最適化方法、及び、量子化パラメータ最適化装置
JP6781415B2 (ja) ニューラルネットワーク学習装置、方法、プログラム、およびパターン認識装置
US11614978B2 (en) Deep reinforcement learning for workflow optimization using provenance-based simulation
US20220067588A1 (en) Transforming a trained artificial intelligence model into a trustworthy artificial intelligence model
US11886990B2 (en) Classification device, classification method, and computer program product
US20210110215A1 (en) Information processing device, information processing method, and computer-readable recording medium recording information processing program
JP2019197355A (ja) クラスタリング装置、クラスタリング方法およびプログラム
CN112446888A (zh) 图像分割模型的处理方法和处理装置
JPWO2018116921A1 (ja) 辞書学習装置、辞書学習方法、データ認識方法およびコンピュータプログラム
JP7298825B2 (ja) 学習支援装置、学習装置、学習支援方法及び学習支援プログラム
JP6201556B2 (ja) 予測モデル学習装置、予測モデル学習方法およびコンピュータプログラム
US20210397948A1 (en) Learning method and information processing apparatus
CN112988275A (zh) 一种基于任务感知的移动边缘计算多用户计算卸载方法
WO2020059136A1 (ja) 決定リスト学習装置、決定リスト学習方法および決定リスト学習プログラム
JP5486569B2 (ja) パターン識別方法、パターン識別装置、およびプログラム
US20220300800A1 (en) Techniques for adaptive generation and visualization of quantized neural networks
CN114819189A (zh) 逻辑回归模型的数据处理方法、装置、处理器及电子设备
JP7242590B2 (ja) 機械学習モデル圧縮システム、プルーニング方法及びプログラム
JP7103987B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP7384322B2 (ja) 予測モデル作成方法、予測方法、予測モデル作成装置、予測装置、予測モデル作成プログラム、予測プログラム
CN115362452A (zh) 用于选择用于更新人工智能模块的数据集的方法
JP5652250B2 (ja) 画像処理プログラム及び画像処理装置
JP2019095894A (ja) 推定装置、学習装置、学習済みモデル、推定方法、学習方法、及びプログラム
JP6992864B1 (ja) ニューラルネットワーク軽量化装置、ニューラルネットワーク軽量化方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220809

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231225

R150 Certificate of patent or registration of utility model

Ref document number: 7419711

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150