JP7431598B2 - 演算装置、演算方法、プログラム及びテーブル生成装置 - Google Patents

Description

本開示は、演算装置、演算方法、プログラム及びテーブル生成装置に関する。

ニューラルネットワークにおいて、中間層のノード（ニューロン）は、先行する入力層又は中間層から複数の信号値を受け取る。ノードは、それら信号値の加重和とバイアスとの和を活性化関数へ入力し、活性化関数演算を通じてノードの出力値を導出する。活性化関数は、伝達関数とも呼ばれる。活性化関数として非線形関数を用いることで、複数の層からなるニューラルネットワークが単層ネットワークでは表現できない多彩な数理モデルを表現することが可能となる。活性化関数は、ニューラルネットワークの出力層においても用いられる。

活性化関数として使用される非線形関数の種類は様々である。非線形関数は、それぞれ利点及び欠点を有し、例えば扱われる問題の性質、収束の容易さ、勾配消失の可能性の回避、又は計算効率といった要因を考慮して選択される。いくつかの非線形関数（例えば、ステップ関数及びＲｅＬＵ関数）の計算負荷は低いのに対し、いくつかの非線形関数（例えば、シグモイド関数及びｔａｎｈ関数）の計算負荷は相対的に高い。

特許文献１は、ニューロンにおけるシグモイド関数の計算の負荷を軽減するために、シグモイド関数テーブルにより保持される離散的なサンプル値を用いて、シグモイド関数を近似的に実現する手法を開示している。

特開平６－１７５９９９号公報

しかしながら、特許文献１により開示された手法では、シグモイド関数の定義域が均一な区間に区分されるために、サンプル数が少ないと、近似の精度が低下し関数の形状の再現性が損なわれる。サンプル数を多くすれば定義域の全体にわたり十分な近似の精度を確保することはできるが、その場合、関数の傾きの変化が少ない領域に必要以上に多くのサンプルを割当てることになり、メモリリソースの浪費につながる。

そこで、本開示は、リソースをより効率的に活用しつつ活性化関数演算を実行することを可能にする仕組みを提供することを目的の１つとする。

ある観点によれば、ニューラルネットワークの活性化関数を近似的に表現する近似テーブルであって、前記活性化関数の離散的な複数の入力サンプルと前記複数の入力サンプルにそれぞれ対応する出力サンプルとをマッピングする前記近似テーブルを保持する保持部と、活性化関数演算のために前記活性化関数が選択された場合に、前記保持部により保持されている前記近似テーブルを用いて、前記活性化関数演算の入力値を出力値へ変換する演算部と、前記ニューラルネットワークを利用した学習処理を行う学習部と、を備え、前記近似テーブルの前記複数の入力サンプルは、前記活性化関数の定義域において基準点からより遠い入力サンプルがより大きい隣接サンプル間隔を有するように設定され、前記学習部は、前記学習処理において前記演算部に前記活性化関数演算を行わせ、前記学習部は、前記学習処理におけるバックプロパゲーションのために、前記活性化関数の導関数の値の近似値として、前記近似テーブルの隣接サンプル間の出力サンプルの傾きを利用する、演算装置が提供される。

他の観点によれば、ニューラルネットワークの活性化関数の指定を受付ける受付部と、前記受付部により受付けられた前記活性化関数を近似的に表現する近似テーブルであって、前記活性化関数の離散的な複数の入力サンプルと前記複数の入力サンプルにそれぞれ対応する出力サンプルとをマッピングする前記近似テーブルを生成する生成部と、を備え、前記生成部は、前記近似テーブルの前記複数の入力サンプルを、前記活性化関数の定義域において基準点からより遠い入力サンプルがより大きい隣接サンプル間隔を有するように設定し、前記生成部は、隣接サンプル間の区間における前記活性化関数の傾きの変化量が閾値を上回らないように、前記隣接サンプル間隔を調整する、テーブル生成装置が提供される。

本開示によれば、リソースをより効率的に活用しつつ活性化関数演算を実行することが可能となる。

ニューラルネットワークのノードにおいて行われる演算について説明するための説明図。 活性化関数のいくつかの例を示す説明図。 一実施形態に係るコンピュータのハードウェア構成の一例を示すブロック図。 一実施形態に係るテーブル生成装置の機能面の構成の一例を示すブロック図。 一実施形態に係る学習装置の機能面の構成の一例を示すブロック図。 一実施形態に係る推論装置の機能面の構成の一例を示すブロック図。 近似テーブルを生成する手法の一例について説明するための説明図。 活性化関数への基準点の設定の応用例について説明するための説明図。 一実施形態に係る近似テーブル生成処理の流れの一例を示すフローチャート。 一実施形態に係る学習処理の流れの一例を示すフローチャート。 一実施形態に係る推論処理の流れの一例を示すフローチャート。 一変形例に係るミニバッチ単位の入力サンプル値の調整について説明するための説明図。 一変形例に係る活性化関数処理の流れの一例を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

＜＜１．概要＞＞
＜１－１．活性化関数＞
図１は、機械学習のためのニューラルネットワークのノードにおいて行われる演算について説明するための説明図である。ニューラルネットワークは、概して、入力層、複数の中間層及び出力層からなる。入力層は、学習用データを受付ける層である。ｋ番目の中間層は、Ｎ_ｋ個のノード（Ｎ_ｋは層ごとに相違し得る）からなる。ｋ番目の中間層は、先行する入力層又は中間層のＮ_ｋ－１個のノードからＮ_ｋ－１個の信号値Ｘ_ｍ（ｍ＝１，…，Ｎ_ｋ－１）を受付け、Ｎ_ｋ個の出力値Ｚ_ｎ（ｎ＝１，…，Ｎ_ｋ）を導出して次の層へ受け渡す。図１には、ｋ－１番目の中間層が４個のノードを有し（Ｎ_ｋ－１＝４）、ｋ番目の中間層が３個のノードを有する（Ｎ_ｋ＝３）例が示されている。具体的には、ｋ番目の中間層のノードｎは、ｋ－１番目の中間層の４個のノードから、４個の信号値Ｘ_１、Ｘ_２、Ｘ_３、Ｘ_４を受付ける。そして、ノードｎは、重みｗ_ｎ１、ｗ_ｎ２、ｗ_ｎ３、ｗ_ｎ４を用いて信号値の加重和を算出し、さらにバイアスｂ_ｎを加算して中間値Ｙ_ｎを導出する。この中間値Ｙ_ｎの導出は、ニューロン演算とも呼ばれ、次の式（１）又は式（２）で表現され得る。

次いで、ノードｎは、中間値Ｙ_ｎを引数として活性化関数ｈ（）へ入力し、次の式（３）のように、活性化関数演算を通じて出力値Ｚ_ｎを導出する。活性化関数は、典型的には、１入力１出力の関数である。

図２は、活性化関数のいくつかの例を示している。図２（Ａ）に示したステップ関数は、入力値が閾値（図中では０）を上回る場合に１を、入力値が閾値を下回る場合に０を出力する。図２（Ｂ）に示したＲｅＬＵ（Rectified Linear Unit）関数は、ランプ関数とも呼ばれ、入力値が閾値（図中では０）を上回る場合に入力値に比例する値を、入力値が閾値を下回る場合に０を出力する。図２（Ｃ）に示したシグモイド関数は、入力値が小さくなるにつれて０に漸近し、入力値が大きくなるにつれて１に漸近する値を出力する、１つの変曲点を有する単調増加連続関数である。一例として、標準シグモイド関数の数式表現は、次の式（４）の通りである：

図２（Ｄ）に示したｔａｎｈ（ハイパボリックタンジェント）関数は、シグモイド関数と同様の１つの変曲点を有する単調増加連続関数だが、その出力値は、入力値が小さくなるにつれて０ではなく－１に漸近する。図２（Ｅ）に示したソフトプラス関数は、ＲｅＬＵ関数を平滑化した軌跡を描く単調増加連続関数である。図２から理解されるように、活性化関数の多くは、定義域における特定の点（図２（Ｃ）のシグモイド関数のケースでは原点）の付近で特徴的な軌跡を描き、無限大及び無限小において直線に漸近し又は一致するという性質を有する。

＜１－２．基本的なアイディア＞
ニューラルネットワークモデルの設計に関連して、非線形関数は、それぞれ利点及び欠点を有し、例えば扱われる問題の性質、収束の容易さ、勾配消失の可能性の回避、又は計算効率といった要因を考慮して選択される。図２に示した非線形関数のうち、ステップ関数及びＲｅＬＵ関数は、区間ごとに見れば線形的であることから、演算のために少ない計算リソースしか消費しない。一方、シグモイド関数、ｔａｎｈ関数及びソフトプラス関数は、曲線的であることから、演算のために相対的に多くの計算リソースを消費する。

特に多くの計算リソースを消費しがちな非線形関数を使用する場合に、負荷を軽減するために、非線形関数を近似的に表現するテーブルを予め用意しておき、ルックアップテーブル方式で入力値を演算結果としての出力値へ変換することが考えられる。離散的な入力サンプルに入力値が一致しない場合には、入力値に対応する区間の両端のサンプル値に基づく補間によって出力値を導出することができる。この方式において、非線形関数の定義域が均一な区間に区分される（隣接サンプル間隔が均一である）場合、サンプル数が少ないと、近似の精度が低下し関数の形状の再現性が損なわれる。サンプル数を多くすれば定義域の全体にわたり十分な近似の精度を確保することはできるが、その場合、傾きの変化が少ない領域に必要以上に多くのサンプルを割当てることになり、メモリリソースの浪費につながる。

そこで、次節より詳細に説明する本開示の実施形態では、活性化関数の定義域において基準点からより遠い入力サンプルがより大きい隣接サンプル間隔を有するように設定された近似テーブルを取り入れるものとする。それにより、装置のリソースをより効率的に活用しつつ、活性化関数演算を実行することが可能となるものと期待される。

＜＜２．装置の構成例＞＞
＜２－１．ハードウェア構成＞
図３は、本開示に係る技術が実装され得るコンピュータのハードウェア構成の一例を示すブロック図である。図３に示したコンピュータ３００は、ＣＰＵ３０１、メモリ３０２、ＲＯＭ３０３、ＨＤＤ３０４、通信Ｉ／Ｆ３０５、操作部３０６、ＡＳＩＣ３０７及びバス３１０を備える。

ＣＰＵ（Central Processing Unit）３０１は、コンピュータ３００の機能の全般を制御するプロセッサである。メモリ３０２は、ＣＰＵ３０１のための主記憶デバイスであってよく、ＣＰＵ３０１に作業用の一時的な記憶領域を提供する。ＲＯＭ（Read-Only Memory）３０３は、不揮発性のメモリであり、ＣＰＵ３０１により実行されるコンピュータプログラム及び関連するデータを記憶する。ＨＤＤ（Hard Disk Drive）３０４は、二次記憶デバイスであり、コンピュータ３００の用途に依存する様々なデータを記憶する。通信インタフェース（Ｉ／Ｆ）３０５は、コンピュータ３００による他の装置との間の通信のためのインタフェースである。操作部３０６は、コンピュータ３００に対するユーザからの指示及び情報入力を受付ける入力デバイスと、ユーザへ向けて情報を出力する出力デバイスとを含むユニットである。入力デバイスは、例えば、キードード、マウス、タッチセンサ、キーパッド及びボタンのうちの１つ以上を含み得る。出力デバイスは、例えば、ディスプレイ及びスピーカを含み得る。ＡＳＩＣ（Application Specific Integrated Circuit）３０７は、機械学習関連の処理に専用の処理回路であり、例えば同種の多数の数値演算を並列的に高速に実行可能である。図１を用いて説明したニューロン演算（行列演算）及び活性化関数演算は、ＣＰＵ３０１により実行されるソフトウェアとして実装されてもよく、又はＡＳＩＣ３０７のハードウェアロジックとして実装されてもよい。バス３１０は、ＣＰＵ３０１、メモリ３０２、ＲＯＭ３０３、ＨＤＤ３０４、通信Ｉ／Ｆ３０５、操作部３０６及びＡＳＩＣ３０７を相互に接続する信号線である。

ある観点において、コンピュータ３００は、本実施形態に係る活性化関数の近似テーブルを生成するためのテーブル生成装置として利用されてもよい。他の観点において、コンピュータ３００は、本実施形態に係る活性化関数の近似テーブルを用いて機械学習を遂行する学習装置として利用されてもよい。また別の観点において、コンピュータ３００は、学習済みモデルから何らかの推論結果を得る際に本実施形態に係る活性化関数の近似テーブルを用いる推論装置として利用されてもよい。テーブル生成装置、学習装置及び推論装置はそれぞれ別個の装置であってもよく、それら装置のうちの２つ以上が物理的に同一の装置として実装されてもよい。各装置の具体的な構成の例を、以下に順に説明する。

＜２－２．テーブル生成装置＞
図４は、一実施形態に係るテーブル生成装置４００の機能面の構成の一例を示すブロック図である。図４を参照すると、テーブル生成装置４００は、受付部４１０、生成部４２０及びテーブル保持部４３０を備える。

受付部４１０は、近似テーブルの生成の対象となるニューラルネットワークの活性化関数の指定を受付ける。受付部４１０は、例えば、既定のいくつかの活性化関数を操作部３０６の画面上に表示し、それら活性化関数のうちの１つを指定するユーザ入力を入力デバイスを介して受付けてもよい。また、受付部４１０は、通信Ｉ／Ｆ３０５を介して活性化関数の指定を受付けてもよい。また、受付部４１０は、ユーザが独自に定義した活性化関数の指定を、例えばその活性化関数の数式表現をユーザに入力させることにより受付けてもよい。

生成部４２０は、受付部４１０により受付けられた活性化関数を近似的に表現する近似テーブルを生成する。ここでの近似テーブルは、指定された活性化関数の離散的な複数の入力サンプルとそれら入力サンプルにそれぞれ対応する出力サンプルとをマッピングするテーブルである。とりわけ、本実施形態において、生成部４２０は、近似テーブルの複数の入力サンプルを、活性化関数の定義域において基準点からより遠い入力サンプルがより大きい隣接サンプル間隔を有するように設定する。一例として、生成部４２０は、活性化関数の定義域における原点を基準点として設定してもよい。他の例として、生成部４２０は、活性化関数の傾きの絶対値が極大となる点を基準点として設定してもよい。

図７は、近似テーブルを生成する手法の一例について説明するための説明図である。図７には、一例としてのシグモイド曲線７００が示されている。図７の横軸はシグモイド曲線７００の定義域に相当し、縦軸は値域に相当する。

点Ｐ０は、入力値ゼロを示す、定義域における原点である。点Ｐ０を入力サンプルとした場合、対応する出力サンプルは０．５となる。シグモイド曲線７００は、点Ｐ０において最大の傾きを示す。そのため、生成部４２０は、点Ｐ０を基準点として設定し得る。次いで、生成部４２０は、基本サンプル間隔を設定する。図７の例では、基本サンプル間隔は、基準点Ｐ０と基準点Ｐ０の右隣りの点Ｐ１１との間、及び基準点Ｐ０と基準点Ｐ０の左隣りの点Ｐ２１との間の間隔に等しい。例えば、基本サンプル間隔は、予め設定される固定的な値（例えば、０．３）であってもよい。その代わりに、生成部４２０は、基準点における活性化関数の二次導関数の値に基づいて基本サンプル間隔を設定してもよい。活性化関数の二次導関数は、活性化関数の傾きの局所的な変化率を表す。この変化率がゼロに等しければ、活性化関数は局所的に線形であるため、サンプル間隔を大きく設定しても、線形補間を前提とした近似の精度はそれほど低下しない。傾きの変化率の絶対値が大きくなるにつれ、活性化関数は線形から大きく乖離するため、サンプル間隔を狭めなければ近似の精度が低下する。そこで、生成部４２０は、基準点における活性化関数の二次導関数の値の絶対値が大きいほど基本サンプル間隔をより小さく設定して、基準点近傍における十分な近似精度を確保し得る。

次いで、生成部４２０は、設定した基本サンプル間隔を基準として、他の隣接サンプル間隔を設定する。一例として、生成部４２０は、基準点から遠くなるにつれて隣接サンプル間隔が一定の比率又は一定の差分で増加するように、隣接サンプル間隔を設定してもよい。隣接サンプル間隔を一定の比率で増加させる場合、生成部４２０は、基本サンプル間隔に比率ｒ（ｒ＞１）をｉ回乗算することにより、基本サンプル間隔からｉサンプル分隣りの隣接サンプル間隔を算出することができる。例えば、基本サンプル間隔をＩ_０とすると、図７の点Ｐ１１と点Ｐ１２との間の間隔Ｉ_１１＝Ｉ_０・ｒ、点Ｐ１２と点Ｐ１３との間の間隔Ｉ_１２＝Ｉ_０・ｒ^２となり、以降も同様である。この場合、基準点から一方の側の隣接サンプル間隔の数列は等比数列となる。隣接サンプル間隔を一定の差分で増加させる場合、生成部４２０は、基本サンプル間隔に差分ｄ（ｄ＞０）をｉ回加算することにより、基本サンプル間隔からｉサンプル分隣りの隣接サンプル間隔を算出することができる。例えば、基本サンプル間隔をＩ_０とすると、図７の点Ｐ１１と点Ｐ１２との間の間隔Ｉ_１１＝Ｉ_０＋ｒ、点Ｐ１２と点Ｐ１３との間の間隔Ｉ_１２＝Ｉ_０＋２ｒとなり、以降も同様である。この場合、基準点から一方の側の隣接サンプル間隔の数列は等差数列となる。傾きが急速に一定値に漸近し又は一致する活性化関数の場合には、等差的ではなく等比的に隣接サンプル間隔を設定することで、サンプル個数を低減してメモリリソースを節約することができる（逆もまた然りである）。

生成部４２０は、等比的に又は等差的に設定した隣接サンプル間隔で活性化関数の定義域に複数の入力サンプルを設定し、設定した隣り合う入力サンプル間の区間における活性化関数の傾きの変化量が閾値を上回らないことを検証してもよい。ある区間において活性化関数の傾きの変化量が閾値を上回る場合、その区間で近似の精度が低下していることになる。この場合、生成部４２０は、例えば等比数列の比率ｒ又は等差数列の差分ｄをより小さい値に設定し直して、隣接サンプル間隔を縮小し得る。逆に、生成部４２０は、いずれの区間においても活性化関数の傾きの変化量が閾値を下回る場合、例えば等比数列の比率ｒ又は等差数列の差分ｄをより大きい値に設定し直して、隣接サンプル間隔を拡大してもよい。また、生成部４２０は、隣接サンプル間隔の調整に応じて、入力サンプルの個数を調整してもよい。図７の例では、基準点Ｐ０に加えて、正の入力についての８個の入力サンプル点Ｐ１１～Ｐ１８及び負の入力についての８個の入力サンプル点Ｐ２１～Ｐ２８が設定されている。

代替的に、生成部４２０は、基本サンプル間隔以外の隣接サンプル間隔もまた、活性化関数の二次導関数の値に基づいて設定してもよい。この場合、例えば点Ｐ１１と点Ｐ１２との間の間隔Ｉ_１１は、点Ｐ１１における活性化関数の二次導関数の値の絶対値、点Ｐ１２と点Ｐ１３との間の間隔Ｉ_１２は、点Ｐ１２における活性化関数の二次導関数の値の絶対値に基づいて設定され得る。また別の手法として、生成部４２０は、基本サンプル間隔及びそれ以外の隣接サンプル間隔の一方又は双方を、ユーザに個別に指定させてもよい。

生成部４２０は、上述した手法で活性化関数の定義域に複数の入力サンプルを設定すると、設定した入力サンプルの各々を活性化関数に代入することにより、対応する出力サンプルの値を算出する。そして、生成部４２０は、離散的な複数の入力サンプルとそれら入力サンプルにそれぞれ対応する出力サンプルとをマッピングする近似テーブルを生成する。下の表１は、基本サンプル幅を０．３に設定し、隣接サンプル間隔を差分ｄ＝０．３で等差的に設定した場合の、図７の入力サンプル点Ｐ２８～Ｐ２１、Ｐ０、Ｐ１～Ｐ１８における、入出力サンプル値の例を示している。

生成部４２０は、表１の第３列及び第４列に示したような入力サンプル値及び出力サンプル値の各ペアを近似テーブルのエントリとして順次生成する（第１列及び第２列は、近似テーブルに含まれなくてよい）。ここで、表１の上２つのエントリに着目すると、これらエントリの入力サンプル値は相違するものの、出力サンプル値は互いに等しい。これは、入力サンプル値が－１０．８を下回る場合に、近似されたシグモイド関数の傾きが一定となる（表１の例では傾き０）ことを意味する。表１の下２つのエントリも同様に、入力サンプル値が＋１０．８を上回る場合に、近似されたシグモイド関数の傾きが一定となることを示している。近似テーブルにおける入力サンプルの最も外側のこのようなエントリは、入力値が最も外側の入力サンプルよりも外に位置する際に、外側２エントリに基づく線形外挿によって出力値を導出することを可能にする。近似テーブルは、下の表２のように、各入力サンプルに対応する区間における近似されたシグモイド関数の傾きを示すフィールドを有していてもよい。傾きフィールドは、活性化関数演算での線形補間の際に、２つのエントリのサンプル値から傾きを算出する処理を省略するために利用され得る。

生成部４２０は、近似テーブルを保持するメモリのリソースをさらに節約するために、活性化関数の対称性を活用して、近似テーブルの一部をデータとして生成すること（又は記憶すること）を省略してもよい。例えば、シグモイド関数は、点（０，０．５）を中心として点対称である。そこで、生成部４２０は、入力サンプル点Ｐ０及びＰ１～Ｐ１８のエントリのみからなる近似テーブルを生成し得る。入力サンプル点Ｐ２８～Ｐ２１のエントリは、近似テーブルを利用する装置において、入力サンプル点Ｐ１～Ｐ１８についてのエントリから生成可能である。ｔａｎｈ関数もまた、点（０，０）を中心として点対称であるため、その近似テーブルの一部のデータを省略することが可能である。各近似テーブルに関連付けて、活性化関数の対称性に関する情報（例えば、対称点又は対称軸を識別する情報）が保持されてもよい。

上では活性化関数としてシグモイド関数が選択されるケースを中心に説明したが、上述した近似テーブルの生成の手法は、他の種類の活性化関数にも等しく適用可能である。図８は、ユーザが独自に定義し得る活性化関数の２つの例を示している。図８（Ａ）に示した活性化関数曲線８１０は、原点を通る縦軸に関し線対称であり、入力値がゼロであるときに最大の出力値を示す。活性化関数曲線８１０の傾きの絶対値は、点Ｐ３０ａ及び点Ｐ３０ｂにおいて極大となる。このように活性化関数の傾きの絶対値が極大となる点が複数存在する場合には、生成部４２０は、当該複数の極大点に対応する複数の基準点を設定してもよい。即ち、図８（Ａ）のケースでは、２つの基準点が点Ｐ３０ａ、Ｐ３０ｂにそれぞれ設定され得る。隣接サンプル間隔は、基準点Ｐ３０ａ、Ｐ３０ｂの近傍で最も小さく、これら基準点からより遠い位置（例えば、原点）においてより大きくてよい。図８（Ｂ）に示した活性化関数曲線８２０は、点対称でも線対称でもなく、入力値がゼロであるときに最小の出力値を示し、無限大において出力値１へ、無限小において出力値０．５へ漸近する。活性化関数曲線８２０の傾きの絶対値は、点Ｐ４０ａ及び点Ｐ４０ｂにおいて極大となる。この例においも、生成部４２０は、複数の極大点に対応する複数の基準点を設定し得る。即ち、図８（Ｂ）のケースでは、２つの基準点が点Ｐ４０ａ、Ｐ４０ｂにそれぞれ設定され得る。隣接サンプル間隔は、これら基準点の近傍で最も小さく、これら基準点からより遠い位置においてより大きくてよい。

テーブル保持部４３０は、生成部４２０により生成された活性化関数の近似テーブルを、例えばメモリ３０２又はＨＤＤ３０４といった記憶手段を用いて保持する。テーブル保持部４３０は、操作部３０６を介して受付けられ又は通信Ｉ／Ｆ３０５を介して受信される要求に応じて、保持している近似テーブルのデータを他の装置へ送信してもよい。

＜２－３．学習装置＞
図５は、一実施形態に係る学習装置５００の機能面の構成の一例を示すブロック図である。図５を参照すると、学習装置５００は、データ取得部５１０、学習部５２０、テーブル保持部５３０、活性化演算部５４０、傾き取得部５５０及びモデル記憶部５６０を備える。なお、ここでは、ニューラルネットワークの学習が教師あり学習として行われる例を主に説明するが、本開示に係る技術は、自己符号化器のような教師なし学習にも等しく適用可能である。

データ取得部５１０は、学習済みモデルの導出のための学習処理において利用される学習用データセットを取得する。学習用データセットは、ニューラルネットワークの入力層へ入力される学習用データと、出力データの誤差を評価する際に参照される教師データとを含む。データ取得部５１０は、取得した学習用データセットを学習部５２０へ出力する。

学習部５２０は、データ取得部５１０により取得される学習用データセットを用いて学習処理を実行することにより、学習済みモデルを導出する。例えば、学習部５２０は、モデルを初期化した後、１単位の学習用データをニューラルネットワークの入力層へ入力する。すると、複数の中間層において図１を用いて説明したニューロン演算及び活性化関数演算が実行され、出力層において出力データが導出される。学習部５２０は、出力データを教師データと比較することにより誤差を評価し、誤差が減少するように重み及びバイアスといったモデルパラメータを更新する。学習部５２０は、こうした処理を、学習が十分に収束するまで複数の単位データにわたって繰返す。そして、学習部５２０は、最終的に導出されたモデルパラメータのセットを、学習済みモデルとしてモデル記憶部５６０へ出力する。

テーブル保持部５３０は、テーブル生成装置４００により予め生成された、ニューラルネットワークの活性化関数を近似的に表現する近似テーブルを、例えばメモリ３０２又はＨＤＤ３０４といった記憶手段を用いて保持する。テーブル保持部５３０により保持される近似テーブルは、活性化関数の離散的な複数の入力サンプルとそれら入力サンプルにそれぞれ対応する出力サンプルとをマッピングするテーブルである。近似テーブルの複数の入力サンプルは、活性化関数の定義域において基準点からより遠い入力サンプルがより大きい隣接サンプル間隔を有するように設定されている。ニューラルネットワークにおいて複数の種類の活性化関数が利用される場合、テーブル保持部５３０は、それら活性化関数について別個の近似テーブルを保持していてもよい。但し、テーブル保持部５３０は、ステップ関数及びＲｅＬＵ関数といった計算負荷の低い活性化関数については、近似テーブルを保持しなくてよい。

活性化演算部５４０は、学習部５２０により実行される学習処理において、近似テーブルにより近似的に表現されている活性化関数が選択された場合に呼び出され、活性化関数演算を実行する。具体的には、活性化演算部５４０は、活性化関数演算のために選択された特定の活性化関数についてテーブル保持部５３０により保持されている近似テーブルを用いて、活性化関数演算の入力値を出力値へ変換する。活性化演算部５４０は、入力値が近似テーブルのいずれかの入力サンプルに等しい場合には、その入力サンプルにマッピングされている出力サンプルを出力値として出力する。一方、活性化演算部５４０は、入力値が近似テーブルのいずれの入力サンプルにも等しくない場合には、当該入力値を上回る最小入力サンプル及び当該入力値を下回る最大入力サンプルと、それぞれ対応する出力サンプルとを近似テーブルから取得する。そして、活性化演算部５４０は、取得した２つの入出力サンプルペアに基づく補間によって、入力値を出力値へ変換する。典型的には、ここでの補間は、単純な線形補間（線形内挿）であってよい。例外的に、活性化演算部５４０は、近似テーブルにおける最も外側の入力サンプルよりも入力値が定義域において外側に位置する場合には、すぐ内側の２つの入力サンプル及び対応する出力サンプルに基づく線形外挿によって、入力値を出力値へ変換してもよい。また、活性化演算部５４０は、表２を用いて説明したように、定義域に設定される区間の各々について予め傾きが与えられる場合には、その傾きを用いて出力値を導出してもよい。なお、活性化演算部５４０は、より多くの入出力サンプルペアに基づいて、スプライン補間などの曲線補間によって出力値を導出してもよい。そして、活性化演算部５４０は、導出した出力値を、関数呼び出しに対する応答として学習部５２０へ返却する。

選択された活性化関数が対称点に関し点対称、又は対称軸に関し線対称である場合、テーブル保持部５３０により保持されている近似テーブルは、定義域における対称点又は対称軸の一方の側についてのみサンプル値を定義しているかもしれない。この場合、活性化演算部５４０は、演算に先立って、対称点又は対称軸の他方の側についての活性化関数のサンプル値を、近似テーブルにより定義されているサンプル値に基づいて生成して、活性化関数演算のために使用し得る。

学習部５２０は、出力データの誤差に基づいてモデルパラメータを更新する際に、バックプロパゲーションという手法で、モデルパラメータをどの方向へ修正すれば誤差が減少し得るかを判定する。バックプロパゲーションを有効に機能させるためには、概して、活性化関数の導関数が利用可能であることが必要である。傾き取得部５５０は、学習部５２０により実行される学習処理におけるバックプロパゲーションのために学習部５２０により呼び出され、活性化関数の導関数の値の近似値を取得して学習部５２０へ返却する。具体的には、傾き取得部５５０は、入力値を上回る最小入力サンプル及び当該入力値を下回る最大入力サンプルと、それぞれ対応する出力サンプルとをテーブル保持部５３０により保持されている近似テーブルから取得する。そして、活性化演算部５４０は、取得した２つの入出力サンプルペアの間の傾きを、その入力値に対応する活性化関数の導関数の値の近似値として導出する。近似テーブルにおける最も外側の入力サンプルよりも入力値が定義域において外側に位置する場合には、すぐ内側の２つの入力サンプル及び対応する出力サンプルに基づいて導出される傾きが、その入力値に対応する導関数の値の近似値として用いられてよい。なお、傾き取得部５５０は、表２を用いて説明したように、定義域に設定される区間の各々について予め傾きが近似テーブルにおいて与えられる場合には、その傾きをそのまま取得して学習部５２０へ返却してもよい。

モデル記憶部５６０は、学習部５２０により上述した学習処理の結果として導出されたモデルパラメータのセットを、学習済みモデルとして、例えばＨＤＤ３０４のような記憶手段を用いて記憶する。学習済みモデルは、ニューラルネットワークの各層において利用される活性化関数の種類を識別するパラメータを含んでもよい。

＜２－４．推論装置＞
図６は、一実施形態に係る推論装置６００の機能面の構成の一例を示すブロック図である。図６を参照すると、推論装置６００は、入力取得部６１０、モデル記憶部６２０、推論部６３０、テーブル保持部６４０、活性化演算部６５０及び結果出力部６６０を備える。

入力取得部６１０は、推論のために学習済みモデルに適用される入力データを取得する。入力データは、学習処理の際にニューラルネットワークの入力層へ入力された１単位の学習用データと同等の形式のデータであり得る。入力取得部６１０は、取得した入力データを推論部６３０へ出力する。

モデル記憶部６２０は、学習装置５００により上述した学習処理の結果として導出された学習済みモデルを、例えばＨＤＤ３０４のような記憶手段を用いて記憶している。学習済みモデルは、ニューラルネットワークの各層において利用される活性化関数の種類を識別するパラメータを含み得る。こうした学習済みモデルは、推論処理の実行の際に、モデル記憶部６２０から推論部６３０へ読出される。

推論部６３０は、モデル記憶部６２０から読出される学習済みモデルのパラメータに従って、例えばメモリ３０２に学習済みモデルを構築する。また、推論部６３０は、入力取得部６１０から入力される入力データを学習済みモデルに適用して推論結果を導出する。そして、推論部６３０は、導出した推論結果を結果出力部６６０へ出力する。

テーブル保持部６４０は、テーブル生成装置４００により予め生成された、ニューラルネットワークの活性化関数を近似的に表現する近似テーブルを記憶手段を用いて保持する。テーブル保持部６４０により保持される近似テーブルは、活性化関数の離散的な複数の入力サンプルとそれら入力サンプルにそれぞれ対応する出力サンプルとをマッピングするテーブルである。近似テーブルの複数の入力サンプルは、活性化関数の定義域において基準点からより遠い入力サンプルがより大きい隣接サンプル間隔を有するように設定されている。ニューラルネットワークにおいて複数の種類の活性化関数が利用される場合、テーブル保持部６４０は、それら活性化関数について別個の近似テーブルを保持していてもよい。但し、テーブル保持部６４０は、ステップ関数及びＲｅＬＵ関数といった計算負荷の低い活性化関数については、近似テーブルを保持しなくてよい。

活性化演算部６５０は、推論部６３０により実行される推論処理において、近似テーブルにより近似的に表現されている活性化関数が選択された場合に呼び出され、活性化関数演算を実行する。具体的には、活性化演算部６５０は、活性化関数演算のために選択された特定の活性化関数についてテーブル保持部６４０により保持されている近似テーブルを用いて、活性化関数演算の入力値を出力値へ変換する。ここでの入力値から出力値への変換の手法は、学習装置５００の活性化演算部５４０に関連して説明した手法と同様であってよい。そして、活性化演算部６５０は、導出した出力値を、関数呼び出しに対する応答として推論部６３０へ返却する。活性化演算部６５０は、学習装置５００の活性化演算部５４０と同様に、対称性を活用して部分的に省略されている近似テーブルのデータから、テーブルの全体を復元して使用してもよい。

結果出力部６６０は、推論部６３０から入力される推論の結果を、例えば操作部３０６のディスプレイ等の出力デバイス又は通信Ｉ／Ｆ３０５を介して出力（例えば、表示、音声出力又は他の装置へ送信）する。

＜＜３．処理の流れ＞＞
＜３－１．テーブル生成処理＞
図９は、本実施形態に係るテーブル生成装置４００により実行され得る近似テーブル生成処理の流れの一例を示すフローチャートである。図９に示した処理は、テーブル生成装置４００のプロセッサ（例えば、ＣＰＵ３０１）がメモリ（例えば、メモリ３０２）へロードされるコンピュータプログラムを実行することにより実現され得る。なお、以下の説明では、処理ステップをＳ（ステップ）と略記する。

まず、Ｓ９０１で、受付部４１０は、近似テーブルの生成の対象となるニューラルネットワークの活性化関数の指定を受付ける。次いで、Ｓ９０３で、生成部４２０は、指定された活性化関数の定義域において、例えば活性化関数の傾きの絶対値が極大となる点を判定することにより（又は、原点に若しくはユーザにより指定される位置に）、近似テーブルの基準点を設定する。次いで、Ｓ９０５で、生成部４２０は、例えば基準点における活性化関数の二次導関数の値に基づいて（又は、予め定義され若しくはユーザにより指定される値として）、近似テーブルの基本サンプル間隔を設定する。次いで、Ｓ９０７で、生成部４２０は、基準点からより遠い入力サンプルがより大きい隣接サンプル間隔を有するように、複数の入力サンプルについての隣接サンプル間隔を設定する。生成部４２０は、例えば、隣接サンプル間隔を等比的に若しくは等差的に設定してもよく、又は活性化関数の二次導関数の値に基づいて設定してもよい。次いで、Ｓ９０９で、生成部４２０は、Ｓ９０７で設定した隣接サンプル間隔について、隣り合う入力サンプル間の区間における活性化関数の傾きの変化量を検証し、必要に応じて隣接サンプル間隔又は入力サンプルの個数を調整する。次いで、Ｓ９１１で、生成部４２０は、Ｓ９０７で設定され又はＳ９０９で調整された間隔を有する入力サンプルにそれぞれ対応する出力サンプルを、活性化関数演算を通じて取得する。次いで、Ｓ９１３で、生成部４２０は、複数の入力サンプルと対応する出力サンプルとをマッピングする近似テーブルを生成する。次いで、Ｓ９１５で、生成部４２０は、定義域において最も外側のサンプルの入出力サンプル値（又は最も外側の区間の傾き）を近似テーブルに追加する。このように生成された近似テーブルが、例えば活性化関数の種類を識別するパラメータに関連付けて、テーブル保持部４３０により保持される。

＜３－２．学習処理＞
図１０（Ａ）は、本実施形態に係る学習装置５００により実行され得る学習処理の流れの一例を示すフローチャートである。図１０（Ｂ）は、図１０（Ａ）のＳ１００５の一部として実行され得る活性化関数処理の流れの一例を示すフローチャートである。これら処理は、学習装置５００のプロセッサ（例えば、ＣＰＵ３０１）がメモリ（例えば、メモリ３０２）へロードされるコンピュータプログラムを実行することにより実現され得る。処理の一部は、（例えば、ＡＳＩＣ３０７において実装される）ハードウェアロジックにより実現されてもよい。

図１０（Ａ）の学習処理において、まず、Ｓ１００１で、学習部５２０は、ニューラルネットワークの各層の重み及びバイアスといったパラメータに初期値を与えることにより、ニューラルネットワークモデルを初期化する。その後の処理は、データ取得部５１０により取得される学習用データセットに含まれる１単位の学習用データごとに繰返される。各繰返しにおいて、Ｓ１００３で、学習部５２０は、１単位の学習用データを取得する。次いで、Ｓ１００５で、学習部５２０は、取得した学習用データをニューラルネットワークの入力層へ入力し、現行のモデルに従って中間層の様々な演算を経て出力層において出力データを導出する。中間層（及び出力層）での処理には、後述する活性化関数処理が含まれ得る。次いで、Ｓ１００７で、学習部５２０は、導出した出力データを教師データと比較することにより、現行のモデルの誤差を評価する。次いで、Ｓ１００９で、学習部５２０は、評価した誤差が減少するように、バックプロパゲーションによってモデルパラメータを調整する。ここでのバックプロパゲーションにおいて、傾き取得部５５０は、活性化関数の入力値に対応する活性化関数の導関数の値の近似値として、テーブル保持部５３０により保持されている近似テーブルの２つの入出力サンプルペアの間の傾きを取得し得る。次いで、Ｓ１０１１で、学習部５２０は、学習処理を終了するか否かを判定する。例えば、所定の量の学習用データが処理済みとなった場合、又は学習が十分に収束したと判定される場合に、学習部５２０は、学習処理を終了すると判定し得る。学習処理を終了しない場合、次の学習用データについてＳ１００３～Ｓ１０１１が繰返される。学習処理を終了する場合、Ｓ１０１３で、学習部５２０は学習済みモデルをモデル記憶部５６０へ出力し、モデル記憶部５６０は学習済みモデルを記憶する。

図１０（Ｂ）の活性化関数処理において、まず、Ｓ１０２１で、学習部５２０は、ある層における活性化関数演算のための活性化関数を選択する。ここで、近似テーブルで近似的に表現された活性化関数が選択された場合、処理はＳ１０２３へ進み、学習部５２０により活性化演算部５４０が呼び出される。近似された活性化関数ではない活性化関数が選択された場合、処理はＳ１０３１へ進む。

Ｓ１０２３で、活性化演算部５４０は、選択された活性化関数の近似テーブルをテーブル保持部５３０から取得する。ここで、活性化演算部５４０は、活性化関数の対称性を活用して近似テーブルの一部が省略されている場合には、例えばエントリをミラーリングすることにより近似テーブルの全体を復元し得る。次いで、Ｓ１０２５で、活性化演算部５４０は、学習部５２０から入力される入力値が、近似的な活性化関数を構成する（入力サンプルで区分される）区間のうちのどの区間に属するかを判定する。次いで、Ｓ１０２７で、活性化演算部５４０は、判定した区間の両端の入力サンプル及びそれらに対応する出力サンプルを、近似テーブルから取得する。次いで、Ｓ１０２９で、活性化演算部５４０は、取得した入力サンプル及び対応する出力サンプルに基づく線形補間によって、入力値を出力値へ変換する。そして、活性化演算部５４０は、出力値を学習部５２０へ返却する。

一方、Ｓ１０３１では、学習部５２０は、選択された活性化関数に入力値を代入して、活性化関数の出力値を算出する。

＜３－３．推論処理＞
図１１は、本実施形態に係る推論装置６００により実行され得る推論処理の流れの一例を示すフローチャートである。図１１に示した処理は、推論装置６００のプロセッサ（例えば、ＣＰＵ３０１）がメモリ（例えば、メモリ３０２）へロードされるコンピュータプログラムを実行することにより実現され得る。推論装置６００の一部は、（例えば、ＡＳＩＣ３０７において実装される）ハードウェアロジックにより実現されてもよい。

まず、Ｓ１１０１で、推論部６３０は、モデル記憶部６２０により記憶されている学習済みモデルを取得し、取得した学習済みモデルのパラメータに従って学習済みモデルをメモリ上に構築する。次いで、Ｓ１１０３で、推論部６３０は、入力取得部６１０を通じて、学習済みモデルに適用されるべき入力データを取得する。次いで、Ｓ１１０５で、推論部６３０は、取得した入力データを学習済みモデルへ適用することにより、推論結果を導出する。ここで実行される中間層（及び出力層）での演算処理は、活性化演算部６５０により実行される活性化関数処理を含み得る。活性化関数処理の流れは、図１０を用いて説明した流れと同様であってよいため、ここでは詳細な説明を省略する。次いで、Ｓ１１０７で、推論部６３０は、導出した推論結果を結果出力部６６０へ出力する。

＜＜４．変形例＞＞
学習処理において、学習用データのデータ値の分布が変動すると、中間層の挙動が不安定化し、学習の収束が妨げられ、望ましい学習結果が得られないことがある。こうした分布の変動を吸収して学習処理を効率的に進めるための手法として、いわゆるバッチ正規化（Batch Normalization）が知られている。バッチ正規化は、通常、ニューロン演算と活性化関数演算との間で行われる。バッチ正規化では、例えば、所定回数の学習処理の繰返しに相当するミニバッチ単位で中間的な信号値の分布の変動が判定され、判定された変動を相殺するように各信号値が調整される。それにより、ミニバッチ単位の分布が正規化されて中間層の挙動の不安定化が回避される。

上述した実施形態の一変形例において、活性化関数の近似テーブルを変形することで、バッチ正規化を実質的に活性化関数演算の中に取込むことが可能である。近似テーブルの変形は、活性化関数演算に先立って、ミニバッチ単位の分布の変動を相殺するように近似テーブルの入力サンプルの値を調整することにより行われ得る。具体的には、活性化演算部５４０は、学習処理の途中で中間層で処理される中間データ（例えば、図１の例における中間値Ｙ_１、Ｙ_２、Ｙ_３）のミニバッチ単位の平均及び分散を算出する。また、活性化演算部５４０は、ミニバッチ単位の平均の変動を相殺するためのオフセット値、及びをミニバッチ単位の分散の変動を相殺するための倍率を決定する。そして、活性化演算部５４０は、活性化関数の近似テーブルにより示される複数の入力サンプルの値をオフセット（オフセット値を加算）し及びスケーリング（倍率を乗算）する。

図１２は、本変形例に係るミニバッチ単位の入力サンプル値の調整について説明するための説明図である。図１２（Ａ）には、図７に示した曲線７００と同様のシグモイド曲線１２０１が、近似テーブルに設定された入力サンプル及び対応する出力サンプルの位置と共に示されている。図１２（Ｂ）に示した曲線１２０２は、シグモイド曲線１２０１の入力サンプル値にオフセット値を加算した結果、近似テーブルが表現することになる、調整後のシグモイド曲線である。曲線１２０２において、例えば基準点の位置がオフセットによって右方向に移動していることが図から見て取れる。図１２（Ｃ）に示した曲線１２０３は、シグモイド曲線１２０１の入力サンプル値に倍率を乗算した結果、近似テーブルが表現することになる、調整後のシグモイド曲線である。曲線１２０３において、例えば隣接サンプル間隔が拡大していることが図から見て取れる。このように近似テーブルの隣接サンプル間隔を拡大することは、その近似テーブルを用いた活性化関数演算に、信号値の分散を引下げる効果を付与する。逆に、近似テーブルの隣接サンプル間隔を縮小することで、その近似テーブルを用いた活性化関数演算に、信号値の分散を引上げる効果を付与する。近似テーブルの調整は、１つのミニバッチについて一度行われればよい。このように調整された近似テーブルを活性化関数演算において使用することで、活性化関数演算とは別個に個々の学習用データについてバッチ正規化を実行することが不要となる。

図１３は、本変形例に係る活性化関数処理の流れの一例を示すフローチャートである。活性化関数処理は、例えば図１０（Ａ）を用いて説明した学習処理のＳ１００５の一部として実行され得る。活性化関数処理は、学習装置５００のプロセッサ（例えば、ＣＰＵ３０１）がメモリ（例えば、メモリ３０２）へロードされるコンピュータプログラムを実行することにより実現され得る。処理の一部は、（例えば、ＡＳＩＣ３０７において実装される）ハードウェアロジックにより実現されてもよい。

ここでは、ある層における出力値を算出するために、近似テーブルで近似的に表現された活性化関数が選択されたものとする。まず、Ｓ１３０１で、活性化演算部５４０は、活性化関数の近似テーブルをテーブル保持部５３０から取得する。活性化関数の対称性を活用して近似テーブルの一部が省略されている場合には、活性化演算部５４０は、例えばエントリをミラーリングすることにより近似テーブルの全体を復元し得る。次いで、Ｓ１３０３で、活性化演算部５４０は、バッチ正規化を行うか否かを判定する。例えば、活性化演算部５４０は、学習処理の繰返しがミニバッチに相当する所定の回数に達したタイミングで、バッチ正規化を行うと判定し得る。バッチ正規化を行うと判定した場合、Ｓ１３０５で、活性化演算部５４０は、ミニバッチ単位の中間データの平均及び分散を算出する。次いで、Ｓ１３０７で、活性化演算部５４０は、Ｓ１３０５で算出した平均及び分散の変動を相殺するように、近似テーブルの入力サンプルの値を調整（オフセット／スケーリング）する。なお、活性化演算部５４０は、ミニバッチ単位の中間データの平均及び分散が所定の条件を満たす場合にのみ、近似テーブルの入力サンプルの値を調整してもよい。ここでの所定の条件とは、例えば、平均の変動が予め設定される第１の閾値を上回ること、又は分散の変動が予め設定される第２の閾値を上回ることなどであり得る。その後のＳ１３０９～Ｓ１３１３は、図１０を用いて説明したＳ１０２５～Ｓ１０２９と同様のステップであるため、ここでは詳細な説明を省略する。

＜＜５．まとめ＞＞
ここまで、図１～図１３を用いて、本開示の実施形態及び変形例について詳細に説明した。上述した実施形態では、ニューラルネットワークの活性化関数の近似テーブルにおいて、複数の入力サンプルが、関数の定義域において基準点からより遠い入力サンプルがより大きい隣接サンプル間隔を有するように設定される。そして、その近似テーブルを用いて、活性化関数演算の入力値が出力値へ変換される。かかる構成によれば、傾きの変化が少ない領域に必要以上に多くのサンプルを割当てることなく、活性化関数の定義域の全体にわたり十分な近似の精度を確保することができる。その結果、メモリリソースの浪費を防ぎながら、低減された計算負荷で活性化関数演算を実行することが可能となる。こうした演算装置のリソースの効率的な活用という利点は、ニューラルネットワークを利用した学習処理を行う学習段階においても、学習済みモデルに基づいて推論処理を行う推論段階においても享受され得る。

また、上述した実施形態では、活性化関数演算の入力値を上回る最小入力サンプル及び上記入力値を下回る最大入力サンプルと、それぞれ対応する出力サンプルとに基づく補間によって、上記入力値が上記出力値へ変換され得る。かかる構成によれば、上記近似テーブルからのサンプル値の取得及び取得したサンプル値に基づく補間という簡易な処理で、ニューラルネットワークの各層の出力値を導出することができる。このとき、例えば指数関数演算又は対数演算といった計算負荷の高い演算は必要とされない。

また、上述した実施形態では、対称性を有する活性化関数について、上記近似テーブルの上記複数の入力サンプルは定義域の一部においてのみ定義され、残りの入力サンプルは活性化関数演算の際に生成され得る。かかる構成によれば、近似テーブルを保持するメモリのリソースをさらに節約することができる。

また、上述した実施形態では、上記近似テーブルを生成する際に、上記基準点は、原点又は活性化関数の傾きの絶対値が極大となる点に自動的に設定され得る。かかる構成によれば、活性化関数の変化の大きい領域において隣接サンプル間隔を小さくして入力サンプルの密度を高め、活性化関数の固有の性質を近似テーブルに十分に反映させることができる。活性化関数の傾きが極大となる複数の極大点が存在する場合には、複数の基準点が設定されてもよい。この場合、例えばユーザ独自の特殊な活性化関数についても適切な近似テーブルを柔軟に生成することができる。

また、上述した実施形態では、活性化関数の二次導関数の値に基づいて、隣接サンプル間隔が設定され得る。この場合、隣接サンプル間の区間における出力値の変化量が過度に大きくならないように、かつ隣接サンプル間隔が小さ過ぎないように、適切に隣接サンプル間隔を設定することが可能である。隣接サンプル間隔は、上記基準点における基本サンプル間隔を基準として、上記基準点から遠くなるにつれて間隔が一定の比率又は一定の差分で増加するように設定されてもよい。この場合、入力サンプルの値は単純な等比数列又は等差数列となるため、活性化関数の種類に関わらず上記近似テーブルを容易に生成することが可能である。

また、上述した変形例では、ニューラルネットワークの中間層で処理される中間データのミニバッチ単位の平均又は分散に基づいて、上記近似テーブルにより示された入力サンプルの値が調整され、調整後の上記近似テーブルが使用され得る。かかる構成によれば、活性化関数演算とは別個にバッチ正規化を実行することなく、中間層の挙動を安定化させて学習処理を円滑に進めることが可能となる。

＜＜６．その他の実施形態＞＞
上記実施形態は、１つ以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出して実行する処理の形式でも実現可能である。また、１つ以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

５００：学習装置（演算装置）、５３０：テーブル保持部、５４０：活性化演算部、５５０：傾き取得部、６００：推論装置（演算装置）、６４０：テーブル保持部、６５０：活性化演算部、４００：テーブル生成装置、４１０：受付部、４２０：生成部

Claims (14)

1. ニューラルネットワークの活性化関数を近似的に表現する近似テーブルであって、前記活性化関数の離散的な複数の入力サンプルと前記複数の入力サンプルにそれぞれ対応する出力サンプルとをマッピングする前記近似テーブルを保持する保持部と、
   活性化関数演算のために前記活性化関数が選択された場合に、前記保持部により保持されている前記近似テーブルを用いて、前記活性化関数演算の入力値を出力値へ変換する演算部と、
   前記ニューラルネットワークを利用した学習処理を行う学習部と、
   を備え、
   前記近似テーブルの前記複数の入力サンプルは、前記活性化関数の定義域において基準点からより遠い入力サンプルがより大きい隣接サンプル間隔を有するように設定され、
   前記学習部は、前記学習処理において前記演算部に前記活性化関数演算を行わせ、
   前記学習部は、前記学習処理におけるバックプロパゲーションのために、前記活性化関数の導関数の値の近似値として、前記近似テーブルの隣接サンプル間の出力サンプルの傾きを利用する、
   演算装置。
2. 請求項１に記載の演算装置であって、前記演算部は、前記入力値が前記近似テーブルのいずれの入力サンプルにも等しくない場合に、前記入力値を上回る最小入力サンプル及び前記入力値を下回る最大入力サンプルと、それぞれ対応する出力サンプルとに基づく補間によって、前記入力値を前記出力値へ変換する、演算装置。
3. 請求項１又は２に記載の演算装置であって、
   前記活性化関数は、対称点に関し点対称又は対称軸に関し線対称であり、
   前記近似テーブルの前記複数の入力サンプルは、前記定義域において前記対称点又は前記対称軸の一方の側についてのみ定義され、
   前記演算部は、前記対称点又は前記対称軸の他方の側についての前記活性化関数のサンプル値を、前記近似テーブルに基づいて生成して、前記活性化関数演算のために使用する、
   演算装置。
4. 請求項１乃至３のいずれか１項に記載の演算装置であって、前記演算部は、前記ニューラルネットワークの中間層で処理される中間データのミニバッチ単位の平均又は分散に基づいて、前記近似テーブルにより示された前記複数の入力サンプルの値を調整して、調整後の前記近似テーブルを前記活性化関数演算のために使用する、演算装置。
5. 請求項４に記載の演算装置であって、前記調整は、前記中間データのミニバッチ単位の前記平均に基づいて前記複数の入力サンプルの値をオフセットすることを含む、演算装置。
6. 請求項４又は５に記載の演算装置であって、前記調整は、前記中間データのミニバッチ単位の前記分散に基づいて前記複数の入力サンプルの値をスケーリングすることを含む、演算装置。
7. ニューラルネットワークを利用した活性化関数演算を含む学習処理のための演算方法であって、
   演算装置により、ニューラルネットワークの活性化関数を近似的に表現する近似テーブルであって、前記活性化関数の離散的な複数の入力サンプルと前記複数の入力サンプルにそれぞれ対応する出力サンプルとをマッピングする前記近似テーブルを保持することと、
   前記活性化関数演算のために前記活性化関数が選択された場合に、前記近似テーブルを用いて、前記活性化関数演算の入力値を出力値へ変換することと、
   を含み、
   前記近似テーブルの前記複数の入力サンプルは、前記活性化関数の定義域において基準点からより遠い入力サンプルがより大きい隣接サンプル間隔を有するように設定され、
   前記学習処理におけるバックプロパゲーションのために、前記活性化関数の導関数の値の近似値として、前記近似テーブルの隣接サンプル間の出力サンプルの傾きが利用される、
   演算方法。
8. ニューラルネットワークを利用した活性化関数演算を含む学習処理を実行する演算装置のプロセッサに、請求項７に記載の演算方法を行わせるためのコンピュータプログラム。
9. ニューラルネットワークの活性化関数の指定を受付ける受付部と、
   前記受付部により受付けられた前記活性化関数を近似的に表現する近似テーブルであって、前記活性化関数の離散的な複数の入力サンプルと前記複数の入力サンプルにそれぞれ対応する出力サンプルとをマッピングする前記近似テーブルを生成する生成部と、
   を備え、
   前記生成部は、前記近似テーブルの前記複数の入力サンプルを、前記活性化関数の定義域において基準点からより遠い入力サンプルがより大きい隣接サンプル間隔を有するように設定し、
   前記生成部は、隣接サンプル間の区間における前記活性化関数の傾きの変化量が閾値を上回らないように、前記隣接サンプル間隔を調整する、
   テーブル生成装置。
10. 請求項９に記載のテーブル生成装置であって、前記基準点は、前記定義域における原点である、テーブル生成装置。
11. 請求項９に記載のテーブル生成装置であって、前記基準点は、前記活性化関数の傾きの絶対値が極大となる点である、テーブル生成装置。
12. 請求項１１に記載のテーブル生成装置であって、前記生成部は、前記活性化関数の傾きが極大となる複数の極大点が存在する場合に、当該複数の極大点に対応する複数の基準点を設定する、テーブル生成装置。
13. 請求項９乃至１２のいずれか１項に記載のテーブル生成装置であって、前記生成部は、前記活性化関数の二次導関数の値に基づいて、前記隣接サンプル間隔を設定する、テーブル生成装置。
14. 請求項９乃至１２のいずれか１項に記載のテーブル生成装置であって、前記生成部は、前記基準点における基本サンプル間隔を基準として、前記基準点から遠くなるにつれて前記隣接サンプル間隔が一定の比率又は一定の差分で増加するように、前記隣接サンプル間隔を設定する、テーブル生成装置。

Images