JP6605259B2 - ニューラルネットワーク構造拡張方法、次元縮小方法、及びその方法を用いた装置 - Google Patents

ニューラルネットワーク構造拡張方法、次元縮小方法、及びその方法を用いた装置

Info

Publication number
JP6605259B2
JP6605259B2 JP2015168612A JP2015168612A JP6605259B2 JP 6605259 B2 JP6605259 B2 JP 6605259B2 JP 2015168612 A JP2015168612 A JP 2015168612A JP 2015168612 A JP2015168612 A JP 2015168612A JP 6605259 B2 JP6605259 B2 JP 6605259B2
Authority
JP
Japan
Prior art keywords
neural network
node
connection weight
nodes
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015168612A
Other languages
English (en)
Other versions
JP2016103262A (ja
Inventor
喜 烈 崔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2016103262A publication Critical patent/JP2016103262A/ja
Application granted granted Critical
Publication of JP6605259B2 publication Critical patent/JP6605259B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明の実施形態は、ニューラルネットワーク構造拡張方法、次元縮小方法、及びその方法を用いる装置に関する。
近年、入力パターンを特定のグループに分類する問題を解決するために、人が有する効率的なパターン認識方法を実際にコンピュータに適用させようとする研究が盛んに行われている。このような研究の１つとして、人の生物学的な神経細胞の特性を数学的な表現によるモデリングである人工ニューラルネットワーク（ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）に対する研究が挙げられる。入力パターンを特定のグループに分類する問題を解決するために、人工ニューラルネットワークは人が有している学習という能力を模倣したアルゴリズムを用いる。このアルゴリズムを用いて、人工ニューラルネットワークは入力パターンと出力パターンとの間のマッピングを生成し、このようなマッピングを生成する能力は、人工ニューラルネットワークの学習能力として表現される。また、人工ニューラルネットワークは、学習された結果に基づいて学習に利用されていない入力パターンに対して比較的に正しい出力を生成できる一般化能力を有する。
本発明の実施形態は、ニューラルネットワークを次第に拡張及び学習させる技術を提供する。実施形態は、拡張以前に学習された結果を保持しながら、次第にもっと精巧にニューラルネットワークを学習させる技術を提供する。
一側面に係るニューラルネットワーク拡張方法は、ニューラルネットワークに含まれたノードのうち少なくとも１つのノードを選択するステップと、前記選択されたノードが属するレイヤに新しいノードを生成するステップと、前記新しいノードの接続加重値を設定するステップとを含む。
前記ニューラルネットワーク拡張方法は、前記ニューラルネットワークの拡張が必要であるか否かを判断するステップをさらに含んでもよい。
前記判断するステップは、前記ニューラルネットワークの性能をモニタリングするステップと、前記ニューラルネットワークの性能が向上する程度が予め決定した第１閾値よりも小さい場合、前記ニューラルネットワークの拡張が必要であると判断するステップとを含んでもよい。
前記判断するステップは、前記ニューラルネットワークの性能をモニタリングするステップと、前記ニューラルネットワークの性能が向上する程度が予め決定した第１閾値よりも小さく、前記ニューラルネットワークの以前拡張後の前記ニューラルネットワークの性能が向上した程度が予め決定した第２閾値よりも小さい場合、前記ニューラルネットワークの学習を終了させるステップとを含んでもよい。
前記選択するステップは、前記ノードの活性化頻度数情報及び活性化エントロピー情報のうち少なくとも１つに基づいて前記少なくとも１つのノードを選択するステップを含んでもよい。
前記ノードのうち予め決定した時間区間で活性化頻度数が最も大きいノードが選択されてもよい。前記ノードのうち予め決定した時間区間で活性化エントロピーが予め決定した第３閾値よりも小さく、活性化頻度数が予め決定した第４閾値よりも大きいノードが選択されてもよい。
前記活性化頻度数情報は、予め決定した時間区間内、前記ノードそれぞれが活性化する頻度数を含んでもよい。前記活性化エントロピー情報は、予め決定した時間区間内、前記ノードそれぞれが活性化状態と不活性状態の間で遷移する回数を含んでもよい。
前記生成するステップは、前記レイヤの以前レイヤに含まれたノードと前記新しいノードとの間を接続するステップと、前記レイヤの次のレイヤに含まれたノードと前記新しいノードとの間を接続するステップとを含んでもよい。
前記ニューラルネットワーク拡張方法は、前記新しいノードの接続加重値を予め決定した初期値に設定するステップをさらに含んでもよい。
前記選択されたノードを含むレイヤは、前記ニューラルネットワークの隠れレイヤを含んでもよい。
前記設定するステップは、前記選択されたノードの接続加重値のうち少なくとも一部を選択するステップと、前記新しいノードで前記選択された少なくとも一部の接続加重値に対応する接続加重値を前記選択された少なくとも一部の接続加重値に設定するステップとを含んでもよい。前記設定するステップは、前記選択されたノードで前記選択された少なくとも一部の接続加重値を予め決定した初期値に設定するステップをさらに含んでもよい。
前記選択されたノードの接続加重値のうち少なくとも一部を選択するステップは、前記選択されたノードの接続加重値を第１グループ及び第２グループに分割するステップと、前記第１グループ及び前記第２グループのいずれか１つのグループに属する接続加重値を選択するステップとを含んでもよい。
前記選択されたノードの接続加重値は、前記第１グループに属する接続加重値の和と前記第２グループに属する接続加重値の和との間の差が予め決定した第５閾値以下になるよう前記第１グループ及び前記第２グループに分割してもよい。
前記設定するステップは、前記新しいノードの入力接続加重値を前記選択されたノードの入力接続加重値に設定するステップと、前記選択されたノードの出力接続加重値のうち一部を選択するステップと、前記新しいノードで前記選択された一部の出力接続加重値に対応する接続加重値を前記選択された一部の出力接続加重値に設定するステップと、前記選択されたノードで前記選択された一部の出力接続加重値を予め決定した初期値に設定するステップとを含んでもよい。
前記ニューラルネットワーク拡張方法は、前記選択されたノードの活性化特性に基づいて前記新しいノードの活性化特性を設定するステップをさらに含んでもよい。
前記ニューラルネットワーク拡張方法は、前記新しいノードを含むように拡張されたニューラルネットワークを学習させるステップをさらに含んでもよい。
初期ニューラルネットワークは、予め決定した数以下のノードを含む複数の隠れレイヤを含んでもよい。前記選択するステップは、前記複数の隠れレイヤに含まれたノードのうち少なくとも１つのノードを選択するステップを含んでもよい。
他の一実施形態に係る次元縮小（ｄｉｍｅｎｓｉｏｎ ｒｅｄｕｃｔｉｏｎ）方法は、入力レイヤ、１つ又はそれ以上の隠れレイヤ、及び出力レイヤを含むニューラルネットワークを学習させるステップと、前記ニューラルネットワークを学習させる間に、前記隠れレイヤの拡張が必要であるか否かを判断するステップと、前記隠れレイヤの拡張が必要であるとの判断に応じて、前記隠れレイヤを拡張させるステップとを含む。
前記次元縮小方法は、前記ニューラルネットワークを学習させる以前に、前記ニューラルネットワークを初期化するステップをさらに含んでもよい。前記初期化するステップは、前記入力レイヤで前記入力ディメンションに該当する数のノードを生成するステップと、前記隠れレイヤで予め決定した初期値に該当する少なくとも１つのノードを生成するステップと、前記出力レイヤで前記入力ディメンションに該当する数のノードを生成するステップとを含んでもよい。
前記判断するステップは、前記入力レイヤに入力される値と前記出力レイヤから出力される値との間の差に基づいて、前記ニューラルネットワークの性能をモニタリングするステップと、前記ニューラルネットワークの性能が向上する程度が予め決定した閾値よりも小さい場合、前記ニューラルネットワークの拡張が必要であると判断するステップとを含んでもよい。
前記隠れレイヤを拡張させるステップは、前記隠れレイヤに含まれたノードのうち少なくとも１つのノードを選択するステップと、前記隠れレイヤに新しいノードを生成するステップと、前記選択されたノードの接続加重値に基づいて前記新しいノードの接続加重値を設定するステップとを含んでもよい。
前記選択するステップは、前記ノードの活性化頻度数情報及び活性化エントロピー情報のうち少なくとも１つに基づいて前記少なくとも１つのノードを選択するステップを含んでもよい。
前記設定するステップは、前記選択されたノードの接続加重値のうち少なくとも一部を選択するステップと、前記新しいノードで前記選択された少なくとも一部の接続加重値に対応する接続加重値を前記選択された少なくとも一部の接続加重値に設定するステップとを含んでもよい。前記設定するステップは、前記選択されたノードで前記選択された少なくとも一部の接続加重値を予め決定した初期値に設定するステップをさらに含んでもよい。
前記次元縮小方法は、前記拡張された隠れレイヤを含むニューラルネットワークを学習させるステップをさらに含んでもよい。
更なる一実施形態に係るニューラルネットワーク拡張装置は、ニューラルネットワークを格納するメモリと、活性化情報に基づいて前記ニューラルネットワークのノードを選択し、前記選択されたノードを含むレイヤに新しいノードを追加することによって前記ニューラルネットワークを拡張するプロセッサとを含む。
前記プロセッサは、前記選択されたノードの接続加重値に基づいて前記新しいノードの接続加重値を設定してもよい。前記プロセッサは、トレーニングデータを用いて前記拡張されたニューラルネットワークを学習させることで前記新しいノードの接続加重値を調整してもよい。
前記プロセッサは、トレーニングデータメモリストレージのトレーニングデータを前記拡張されたニューラルネットワークに適用し、前記拡張されたニューラルネットワークの活性化パターンに基づいて隠れレイヤの拡張が要求されるか否かを決定し、前記隠れレイヤの拡張が要求されるとの判断に応じて、前記ニューラルネットワークの隠れレイヤ内のノード数を増加させてもよい。
前記ニューラルネットワーク拡張装置は、入力装置をさらに含み、前記プロセッサは、出力データを取得するために、前記入力装置を用いて取得された入力データを前記ニューラルネットワークに適用してもよい。
前記選択されたノードを含むレイヤは、前記ニューラルネットワークの隠れレイヤを含んでもよい。
本発明によると、実施形態はニューラルネットワークを拡張することで、ニューラルネットワークの認識性能を向上させる技術を提供できる。実施形態は、ニューラルネットワークを次第に拡張及び学習させる技術を提供できる。実施形態は、拡張以前に学習された結果を保持しながら、次第に精巧にニューラルネットワークを学習させる技術を提供できる。
本発明によると、ニューラルネットワークの拡張及び学習が反復されることにより、一定のレベル以上に複雑な複雑度又は一定のレベル以上に大きい規模のニューラルネットワークが最適に学習され得る。
一実施形態に係るニューラルネットワークを説明する図である。 一実施形態に係るニューラルネットワーク拡張方法を示した動作フローチャートである。 一実施形態に係るノードの選択を説明する図である。 実施形態に係る活性化パターンに基づいた動作を説明する図である。 実施形態に係る活性化パターンに基づいた動作を説明する図である。 一実施形態に係る新しいノードの生成を説明する図である。 一実施形態に係る接続加重値の設定を説明する図である。 一実施形態に係る接続加重値の設定を説明する図である。 一実施形態に係る接続加重値の設定を説明する図である。 一実施形態に係るニューラルネットワークの拡張以後の追加的な学習を説明する図である。 一実施形態に係るニューラルネットワークが拡張された後、追加的な学習が行われる方法を説明する図である。 一実施形態に係るニューラルネットワークを拡張する方法を示す動作フローチャートである。 一実施形態に係るニューラルネットワーク拡張方法を用いた複数の繰り返し（ｉｔｅｒａｔｉｏｎ）を通したニューラルネットワークの漸進的な変化を示す図である。 一実施形態に係るニューラルネットワーク拡張方法によって学習されるニューラルネットワークを説明する図である。 一実施形態に係るニューラルネットワーク拡張方法によって学習されるニューラルネットワークを説明する図である。 一実施形態に係るニューラルネットワーク拡張方法によって学習されるオートエンコーダを説明する図である。 一実施形態に係るニューラルネットワーク拡張方法によって学習されるオートエンコーダを説明する図である。 一実施形態に係るニューラルネットワーク学習装置を示すブロック図である。 一実施形態に係る次元縮小装置を示すブロック図である。 一実施形態に係る人工ニューロンを示す図である。 一実施形態に係るニューラルネットワーク拡張装置を示すブロック図である。 一実施形態に係る拡張されたニューラルネットワークを用いて入力データを分析する装置を示すブロック図である。
以下、実施形態を添付する図面を参照しながら詳細に説明する。各図面に提示された同一の参照符号は同一の部材を示す。
図１は、一実施形態に係るニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）を説明する図である。図１を参照すると、一実施形態に係るニューラルネットワーク１００は、接続線（ｅｄｇｅ）に連結された複数の人工ニューロンを用いて生物学的なシステムの算出能力を模倣する認識モデルである。ニューラルネットワーク１００は、ソフトウェア、ハードウェア、または、その組合せで実現できる。ニューラルネットワーク１００は、人工ニューラルネットワークと称する。
ニューラルネットワーク１００は、生物学的なニューロンの機能を単純化した人工ニューロンを用いる。人工ニューロンは、ノードと称する。人工ニューロンは、接続加重値を有する接続線によって相互接続してもよい。接続加重値は、接続線が有する特定の値として、シナプス加重値又は接続強度と称する。ニューラルネットワーク１００は、人工ニューロンによって人の認知作用や学習過程を行う。
図１８は、一実施形態に係る人工ニューロンを説明する図である。図１８を参照すると、人工ニューロンは胴体部に該当するノード、ノードの入力ベクトル、及びノードと以前ノードとの間のエッジを形成する前に、人工ニューロンの出力ベクトルを用いて実現することができる。人工ニューロンのデータ構造に様々な変形が加えられるが、このような変形は実施形態の範囲に属する。
人工ニューロンは、ｎ個の入力ソースから入力Ｘ１〜ＸＮを受信する。例えば、ｎ個の入力ソースは、他の人工ニューロンのシナプス、センサ、入力データストレージ、または、他のデータソースであってもよい。人工ニューロンの胴体部と入力Ｘ１〜ＸＮを接続する入力ベクトルは、個別シナプス加重値Ｗ１〜ＷＮを用いてスケールされ得る。シナプス加重値は、人工ニューロンの胴体部によって受信される入力の強度に影響を与える。例えば、シナプス加重値Ｗ１が０．８である場合、入力Ｘ１は人工ニューロンの胴体部に達するとき８０％のように減少されることがある。受信された入力は線形合算によって結合されたり、活性化関数ＡＦ（ｘ１、ｘ２、．．．、ｘｎ）に基づいて受信された入力を結合するために追加的な関数が適用され得る。例えば、特定入力ベクトルを用いて受信された入力は、人工ニューロンを活性化させる代わりに不活性化させてもよい。活性化関数ＡＦ（ｘ１、ｘ２、．．．、ｘｎ）に基づいて、人工ニューロンの胴体部は結合された入力を調節することで、出力「Ｙ」を生成することができる。一例示によると、次の人工ニューロンとして出力「Ｙ」を発生するために、活性化関数ＡＦ（ｘ１、ｘ２、．．．、ｘｎ）の結果は人工ニューロンの閾値を超過しなければならない。この場合、人工ニューロンは、入力ベクトルを用いて特定閾値の活性化強度に達する前には次の人工ニューロンに信号を発生することなく、不活性化状態を保持することができる。
再び図１を参照すると、ニューラルネットワーク１００は複数のレイヤを含む。例えば、ニューラルネットワーク１００は、入力レイヤ（ｉｎｐｕｔ ｌａｙｅｒ）１１０、隠れレイヤ（ｈｉｄｄｅｎ ｌａｙｅｒ）１２０、出力レイヤ（ｏｕｔｐｕｔ ｌａｙｅｒ）１３０を含む。入力レイヤ１１０は、学習を行うための入力を受信して隠れレイヤ１２０に伝達し、出力レイヤ１３０は、隠れレイヤ１２０から受信した信号に基づいてニューラルネットワーク１００の出力を生成する。隠れレイヤ１２０は、入力レイヤ１１０と出力レイヤ１３０との間に位置し、入力レイヤ１１０を介して伝えられた学習データを予測しやすい値に変化させ得る。
入力レイヤ１１０、隠れレイヤ１２０、及び出力レイヤ１３０は、複数のノードを含む。入力レイヤ１１０に含まれたノードは入力ノードと称し、隠れレイヤ１２０に含まれたノードは隠れノードと称し、出力レイヤ１３０に含まれたノードは出力ノードと称する。
入力レイヤ１１０に含まれた入力ノードと隠れレイヤ１２０に含まれた隠れノードは、接続加重値を有する接続線によって接続されてもよい。隠れレイヤ１２０に含まれた隠れノードと出力レイヤ１３０に含まれた出力ノードは、接続加重値を有する接続線によって接続されてもよい。
図面に図示していないが、ニューラルネットワークは複数の隠れレイヤを含んでもよい。複数の隠れレイヤを含むニューラルネットワークは、深度ニューラルネットワーク（ｄｅｅｐ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）と称する。深度ニューラルネットワークを学習させるものは深度学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）と称する。
隠れレイヤ１２０に第１隠れレイヤ、第２隠れレイヤ、及び第３隠れレイヤが含まれる場合を仮定すると、第１隠れレイヤに属する隠れノードの出力は、第２隠れレイヤに属する隠れノードに接続され得る。第２隠れレイヤに属する隠れノードの出力は、第３隠れレイヤに属する隠れノードに接続され得る。
一実施形態によると、互いに異なる隠れレイヤに属する隠れノード間に再帰的（ｒｅｃｕｒｒｅｎｔ）に接続され得る。このように互いに異なる隠れレイヤに属する隠れノード間に再帰的な接続があるニューラルネットワーク１００は、回帰ニューラルネットワークと称する。
一実施形態に係るニューラルネットワーク学習装置は、監督学習（ｓｕｐｅｒｖｉｓｅｄ ｌｅａｒｎｉｎｇ）によりニューラルネットワーク１００を学習させることができる。ニューラルネットワーク学習装置は、ソフトウェアモジュール、ハードウェアモジュール、または、この組合せにより実現することができる。監督学習は、学習データとそれに対応する出力データをともにニューラルネットワーク１００に入力し、学習データに対応する出力データが出力されるよう、接続線の接続加重値をアップデートする方式である。一例示によると、ニューラルネットワーク学習装置は、新しいノードを追加したり新しいレイヤを追加することでニューラルネットワークを拡張し得る。ニューラルネットワーク学習装置は、トレーニングデータに基づいてニューラルネットワークの構造を変更してもよい。図１は、ニューラルネットワークの構造をノード構造として表現したが、実施形態はこのようなノード構造に限定されるここはない。メモリストレージにニューラルネットワークを格納するために様々なデータ構造を用いることができる。
ニューラルネットワーク学習装置は、エラー逆伝播学習（ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ ｌｅａｒｎｉｎｇ）を用いて人工ニューロン間の接続加重値をアップデートする。エラー逆伝播学習は、与えられた学習データに対してフォワード算出（ｆｏｒｗａｒｄ ｃｏｍｐｕｔａｔｉｏｎ）によりエラーを推定した後、出力レイヤ１３０から始まって隠れレイヤ１２０及び入力レイヤ１１０に向かう逆方向に推定したエラーを伝播しながら、エラーを減らす方向に接続加重値をアップデートする方法である。ニューラルネットワーク１００の処理は、入力レイヤ１１０→隠れレイヤ１２０→出力レイヤ１３０の方向に進行するが、エラー逆伝播学習で接続加重値のアップデート方向は、出力レイヤ１３０→隠れレイヤ１２０→入力レイヤ１１０の方向に進行する。１つ又はそれ以上のプロセッサは、ニューラルネットワークを所望する方向に処理するため、レイヤ又は一連の算出データを格納するバッファメモリを使用することができる。
ニューラルネットワーク学習装置は、現在の設定された接続加重値がどれ程最適であるかを測定するための目的関数を定義し、目的関数の結果に基づいて接続加重値を続けて変更して学習を繰り返す。例えば、目的関数は、ニューラルネットワーク１００が学習データに基づいて実際に出力した出力値と出力を所望する期待値との間のエラーを算出するためのエラー関数であり得る。ニューラルネットワーク学習装置は、エラー関数の値を減らす方向に接続加重値をアップデートすることができる。
下記で詳細に説明するが、一実施形態に係るニューラルネットワーク学習装置は、ニューラルネットワークを拡張させることでニューラルネットワークの認識性能を向上することができる。以下、ニューラルネットワークを拡張させるという表現は、ニューラルネットワークの構造を拡張させるという表現と同一に用いられる。例えば、目的関数の結果が一定のレベル以上に向上されない場合、ニューラルネットワーク学習装置は、隠れレイヤに含まれたノードの個数を増加させながらニューラルネットワークを学習させ得る。
図２は、一実施形態に係るニューラルネットワーク構造拡張方法を示した動作フローチャートである。ニューラルネットワークは、学習基盤認識、学習基盤認証、学習基盤分類などの様々な分野で活用される。ニューラルネットワークの構造が複雑になるほど（又は、ニューラルネットワークの規模が大きくなるほど）ニューラルネットワークの性能は向上する。しかし、ニューラルネットワークの構造が複雑になるほど（又は、ニューラルネットワークの規模が大きくなるほど）当該ニューラルネットワークを学習するために必要な演算複雑度も共に増加する。精巧な学習のためには一定のレベル以上に複雑な構造を有する（又は、一定のレベル以上に大きい規模を有する）ニューラルネットワークが必要であるが、一般的な学習方式では当該ニューラルネットワークの性能を最適化するには限界がある。
以下で説明する実施形態は、小規模ニューラルネットワークを先に学習させて当該のニューラルネットワークの構造を次第に拡張及び学習させる技術を提供することができる。この場合、ニューラルネットワークは構造拡張以前に学習された結果を保持しながら、次第に精巧に学習され得る。ニューラルネットワークの構造拡張及び学習が反復されることにより、一定のレベル以上に複雑な複雑度又は一定のレベル以上に大きい規模のニューラルネットワークが最適に学習され得る。以下、ニューラルネットワークの構造拡張に対して詳細に説明する。
図２を参照すると、一実施形態に係るニューラルネットワーク構造拡張方法は、ノードを選択するステップＳ２１０、新しいノードを生成するステップＳ２２０、新しいノードをニューラルネットワークに接続するステップＳ２３０、接続加重値を設定するステップＳ２４０、及び拡張されたニューラルネットワークを学習させることで新しいノードの接続加重値を調整するステップＳ２５０を含む。
ステップＳ２１０において、ニューラルネットワークに含まれたノードのうち少なくとも１つのノードが選択される。ノードの選択のために様々な情報が考慮される。例えば、ノードを選択するために、ノードの活性化頻度数情報及びノードの活性化エントロピー情報などが考慮され得る。活性化頻度数情報は、予め決定した時間区間内にノードそれぞれが活性化する頻度数を含む。活性化エントロピー情報は、予め決定した時間区間内にノードそれぞれが活性化状態と不活性状態との間で遷移する回数を含む。
ステップＳ２２０において、新しいノードが生成される。新しいノードはステップＳ２１０で選択されたノード（以下、「選択されたノード」という）が属するレイヤに生成され得る。例えば、ニューラルネットワークに第１隠れレイヤ、第２隠れレイヤ、及び第３隠れレイヤが含まれ、第２隠れレイヤに含まれたノードが選択されてもよい。この場合、新しいノードは第２隠れレイヤに生成されてもよい。
新しいノードは、以前レイヤに含まれたノード及び次のレイヤに含まれたノードと接続される。例えば、新しいノードが第２隠れレイヤに生成される場合、新しいノードは、第１隠れレイヤに含まれたノード及び第３隠れレイヤに含まれたノードと接続されてもよい。
ステップＳ２３０において、新しいノードとニューラルネットワーク内のノードとの間を接続するエッジが形成することによって、新しいノードはニューラルネットワークと接続され得る。
ステップＳ２４０において、新しいノードの接続加重値が設定される。新しいノードの接続加重値は、以前レイヤに含まれたノードと新しいノードを接続する接続線の接続加重値、及び新しいノードと次のレイヤに含まれたノードを接続する接続線の接続加重値を含む。
新しいノードの接続加重値は、選択されたノードの接続加重値に基づいて設定され得る。例えば、新しいノードの接続加重値のうち一部は選択されたノードの接続加重値のうち一部と同一に設定されてもよい。新しいノードの残り接続加重値は、予め決定した初期値と設定されてもよい。また、選択されたノードの接続加重値のうち新しいノードの接続加重値を設定値に活用された接続加重値も予め決定した初期値に設定されてもよい。
ステップＳ２２０で新しいノードが生成され、ステップＳ２３０で接続加重値が設定される動作は、ステップＳ２１０で選択されたノードがコピーされるものとして理解される。ここで、選択されたノードの接続加重値のうち一部のみを新しいノードにコピーされる。選択されたノードにコピーされた接続加重値は、予め決定した初期値に初期化され得る。また、新しいノードに設定されていない接続加重値も予め決定した初期値に初期化され得る。
ステップＳ２５０において、ニューラルネットワークの構造拡張が行われた後追加的に学習が行われながら、前述した方式により設定された接続加重値が追加的にアップデートされる。ステップＳ２１０〜ステップＳ２３０に関するより詳細な事項は図３〜図８を参照して後述する。
図３は、一実施形態に係るノードの選択を説明する図である。図３を参照すると、一実施形態に係るニューラルネットワーク学習装置は、ニューラルネットワークの構造拡張のために、隠れレイヤ１２０に含まれたノードのいずれか１つを選択する。
ニューラルネットワーク学習装置は、隠れレイヤ１２０に含まれた隠れノードの活性化パターンをモニタリングする。一例として、図４Ａを参照すると、第１隠れノード１２１の活性化パターンはｏｆｆ−ｏｎ−ｏｆｆ−ｏｆｆ−ｏｆｆであり、第２隠れノード１２２の活性化パターンはｏｎ−ｏｎ−ｏｆｆ−ｏｎ−ｏｆｆであってもよい。ニューラルネットワーク学習装置は、隠れノードの活性化パターンに基づいて活性化頻度数情報を生成する。活性化頻度数情報は、モニタリングされた活性化パターン内の隠れノードそれぞれが活性化した頻度数を示す情報である。図４Ａに示す例示として、第１隠れノード１２１の活性化頻度数は１であり、第２隠れノード１２２の活性化頻度数は３である。
ニューラルネットワーク学習装置は、予め決定した時間区間で活性化頻度数が最も大きいノードを選択する。活性化頻度数が最も大きいノードを選択する理由は、活性化頻度数が最も大きいノードがニューラルネットワーク内で最も負荷の多いノードであるためである。最も負荷の多いノードの負荷を軽減させることで、ニューラルネットワークの認識性能は向上される。図４Ａに示す例示によると、第２隠れノード１２２の活性化頻度数（例えば、３）が第１隠れノード１２１の活性化頻度数（例えば、１）よりも大きいため、第２隠れノード１２２が選択され得る。
他の例として、図４Ｂを参照すると、第１隠れノード１２１の活性化パターンはｏｎ−ｏｆｆ−ｏｎ−ｏｆｆ−ｏｎであり、第２隠れノード１２２の活性化パターンはｏｎ−ｏｎ−ｏｎ−ｏｆｆ−ｏｆｆであってもよい。ニューラルネットワーク学習装置は、隠れノードの活性化パターンに基づいて活性化頻度数情報を生成する。図４Ｂに示す例示として、第１隠れノード１２１の活性化頻度数と第２隠れノード１２２の活性化頻度数は合わせて３である。
また、ニューラルネットワーク学習装置は、隠れノードの活性化パターンに基づいて活性化エントロピー情報を生成することができる。活性化エントロピー情報は、モニタリングされた活性化パターン内の隠れノードそれぞれが活性化状態と不活性状態の間で遷移された回数を示す情報である。図４Ｂに示す例示として、第１隠れノード１２１の活性化エントロピーは４であり、第２隠れノード１２２の活性化エントロピーは１である。
ニューラルネットワーク学習装置は、予め決定した時間区間で活性化エントロピーが予め決定した第３閾値よりも小さく、活性化頻度数が予め決定した第４閾値よりも大きいノードを選択する。活性化頻度数が一定のレベル以上、活性化エントロピーが大きいノードは、予め決定した時間区間内で平均して分布で活性化した確率が高い。また、活性化頻度数が一定のレベル以上であり、活性化エントロピーが小さいノードは、予め決定した時間区間内の特定の時間区間に集中的に活性化する確率が高い。
特定の時間区間に集中する活性化を分散してニューラルネットワークの認識性能を向上させるために、活性化エントロピーが予め決定した第３閾値よりも小さくて活性化頻度数が予め決定した第４閾値よりも大きいノードが選択される。例えば、第３閾値と第４閾値が全て２である場合を仮定すると、図４Ｂに示す例示として、第２隠れノード１２２の活性化エントロピー（例えば、１）は第３閾値（例えば、２）よりも小さく、第２隠れノード１２２の活性化頻度数（例えば、３）は第４閾値（例えば、２）よりも大きいため、第２隠れノード１２２が選択され得る。
図５は、一実施形態に係る新しいノードの生成を説明する図である。図５を参照すると、一実施形態に係るニューラルネットワーク学習装置は、選択されたノードが属するレイヤに新しいノードを生成する。例えば、第２隠れノード１２２が選択された場合を仮定すると、ニューラルネットワーク学習装置は、選択された第２隠れノード１２２が含まれた隠れレイヤ１２０に新しい第３隠れノード１２３を生成してもよい。
ニューラルネットワーク学習装置は、選択されたノードの活性化特性に基づいて新しいノードの活性化特性を設定することができる。例えば、ニューラルネットワーク学習装置は、選択されたノードの活性化閾値に基づいて新しいノードの活性化閾値を設定してもよい。または、ニューラルネットワーク学習装置は、選択されたノードの活性化関数に基づいて新しいノードの活性化関数を設定してもよい。
図６〜図８は、一実施形態に係る接続加重値の設定を説明する図である。一実施形態に係るニューラルネットワーク学習装置は、選択されたノードの接続加重値に基づいて新しいノードの接続加重値を設定することができる。以下、選択されたノードの接続加重値のうち一部を新しいノードに移動させる実施形態について説明するが、選択されたノードの接続加重値に基づいて新しいノードの接続加重値を設定する方法は様々に変形され得る。例えば、ニューラルネットワーク学習装置は、選択されたノードの接続加重値の様々な統計に基づいて、新しいノードの接続加重値を設定し得る。
図６を参照すると、一実施形態に係るニューラルネットワーク学習装置は、選択されたノード１２２の接続加重値のうち一部を選択する。選択されたノード１２２の接続加重値は、入力接続加重値と出力接続加重値を含む。ニューラルネットワーク学習装置は、選択されたノード１２２の入力接続加重値６１１、６１２、６１３を選択する。
他の例として、図面に図示していないが、ニューラルネットワーク学習装置は、入力接続加重値を複数の入力グループに分割し、出力接続加重値を複数の出力グループに分割する。ニューラルネットワーク学習装置は、複数の入力グループのいずれか１つのグループを選択し、複数の出力グループのいずれか１つのグループを選択してもよい。
例えば、ニューラルネットワーク学習装置は、第１入力接続線の第１入力接続加重値６１１、第２入力接続線の第２入力接続加重値６１２、及び第３入力接続線の第３入力接続加重値６１３を２つの入力グループに分割することができる。２つの入力グループは、｛第１入力接続加重値６１１、第２入力接続加重値６１２｝と｛第３入力接続加重値６１３｝であってもよい。ニューラルネットワーク学習装置は、２つの入力グループのいずれか１つの入力グループ、例えば、｛第３入力接続加重値６１３｝を選択してもよい。
ニューラルネットワーク学習装置は、様々な方式を用いて入力接続加重値を複数のグループに分割することができる。一例として、ニューラルネットワーク学習装置は、第１グループに属する接続加重値の和と第２グループに属する接続加重値の和との間の差が予め決定した第５閾値以下になるよう、選択されたノード１２２の接続加重値を第１グループ及び第２グループに分割してもよい。
他の例として、ニューラルネットワーク学習装置は、選択されたノード１２２の接続加重値を大きさ順に整列してもよい。選択されたノード１２２の接続加重値が合わせてｎ個である場合、接続加重値が整列した整列リストに含まれた接続加重値はそれぞれ１〜ｎにインデックスされる。ニューラルネットワーク学習装置は、整列リスト内の両端に位置する接続加重値（インデックス１、インデックスｎ）を第１グループに分類し、整列リスト内に分類されていない接続加重値のうち両端に位置する接続加重値（インデックス２、インデックスｎ−１）を第２グループに分類してもよい。ニューラルネットワーク学習装置は、整列リスト内の全ての元素が分類されるまで前述した過程を繰り返すことで、選択されたノード１２２の接続加重値を第１グループ及び第２グループに分割することができる。
前述した方式は例示的な事項に過ぎず、選択されたノード１２２の接続加重値を第１グループ及び第２グループに分割する方式は様々に変形され得る。それだけではなく、実施形態は選択されたノード１２２の接続加重値を３個以上のグループに分割する方式でも拡張され得る。
また、ニューラルネットワーク学習装置は、出力接続加重値を複数のグループに分割することができる。例えば、ニューラルネットワーク学習装置は、第１出力接続線の第１出力接続加重値６２１、第２出力接続線の第２出力接続加重値６２２、及び第３出力接続線の第３出力接続加重値６２３を２つの出力グループに分割してもよい。２つの出力グループは｛第１出力接続加重値６２１｝と｛第２出力接続加重値６２２、第３出力接続加重値６２３｝であってもよい。ニューラルネットワーク学習装置は、２つの出力グループのいずれか１つの出力グループ、例えば、｛第２出力接続加重値６２２、第３出力接続加重値６２３｝を選択してもよい。
ニューラルネットワーク学習装置は、分割されたグループのいずれか１つのグループに属する接続加重値を選択することができる。例えば、ニューラルネットワーク学習装置は、分割されたグループのいずれか１つのグループを予め決定した方式（例えば、ランダム選択方式など）により選択し、選択されたグループに属する接続加重値を選択することができる。
図７を参照すると、一実施形態に係るニューラルネットワーク学習装置は、新しいノード１２３の接続加重値を設定するために、選択されたノード１２２から選択された一部の接続加重値を新しいノード１２３に用いることができる。例えば、ニューラルネットワーク学習装置は、選択されたノード１２２の入力接続加重値６１１、６１２、６１３の全てを選択する。選択されたノード１２２の入力接続加重値６１１、６１２、６１３は、入力ノード７０１、７０２、７０３と選択されたノード１２２を接続する接続線の接続加重値である。ニューラルネットワーク学習装置は、選択された入力接続加重値６１１、６１２、６１３を新しいノード１２３にコピーしてもよい。ニューラルネットワーク学習装置は、入力ノード７０１、７０２、７０３と新しいノード１２３を接続する接続線の接続加重値７１１、７１２、７１３を入力接続加重値６１１、６１２、６１３と同一に設定し得る。
ニューラルネットワーク学習装置は、選択されたノード１２２の出力接続加重値６２１、６２２、６２３のうち一部を選択する。例えば、ニューラルネットワーク学習装置は、選択されたノード１２２の出力接続加重値６２１、６２２、６２３のうち出力接続加重値６２２、６２３を選択してもよい。ニューラルネットワーク学習装置は、選択された出力接続加重値６２２、６２３を新しいノード１２３に移動させる。ニューラルネットワーク学習装置は、接続加重値７２２を出力接続加重値６２２と同一に設定し、接続加重値７２３を出力接続加重値６２３と同一に設定する。ニューラルネットワーク学習装置は、接続加重値７２２と接続加重値７２３を設定した後、出力接続加重値６２２と出力接続加重値６２３を初期化することができる。例えば、ニューラルネットワーク学習装置は、出力接続加重値６２２と出力接続加重値６２３を予め決定した初期値に設定してもよい。
実施形態は、出力接続加重値をインデックス単位で移動させることで、深度学習において発生可能な共同適応（ｃｏ−ａｄａｐｔａｔｉｏｎ）問題を回避することができる。共同適応問題は、複数のノードが類似する出力接続加重値を有する場合、１つのノードのように学習され出力されて、ノードの無駄遣いを招く問題がある。実施形態は、出力接続加重値をインデックス単位に新しいノードに分散させることで、共同適応問題を回避することができる。
図８を参照すると、一実施形態に係るニューラルネットワーク学習装置は新しいノード１２３の残り接続加重値を初期化することができる。残りの接続加重値は、新しいノード１２３の接続加重値のうちまだ設定されていない接続加重値を含み得る。例えば、新しいノード１２３の接続加重値７２１は残り接続加重値であってもよい。ニューラルネットワーク学習装置は、接続加重値７２１を残りの接続加重値として検出し、接続加重値７２１を予め決定した初期値に設定する。
以上で説明の便宜のために、１つのノードが選択されて１つの新しいノードが生成される場合について説明したが、実施形態は、複数のノードが選択されて複数の新しいノードが生成される場合にもそのまま適用され得る。
選択されたノードの接続加重値に基づいて、新しいノードの接続加重値を設定する方式は様々に変形され得る。一例として、選択されたノードの入力接続加重値のうち一部と出力接続加重値のうちの一部のみが新しいノードに移動してもよい。他の例として、選択されたノードの出力接続加重値が全て新しいノードにコピーされ、入力接続加重値のうち一部のみが新しいノードに移動してもよい。
図９は、一実施形態に係るニューラルネットワークの構造拡張後の追加的な学習を説明する図である。図９を参照すると、一実施形態に係るニューラルネットワーク学習装置は、新しいノードを含むように拡張された構造のニューラルネットワーク９００を学習させることで、接続加重値をアップデートすることができる。
ニューラルネットワーク学習装置は、予め学習されたニューラルネットワークをリサイクルすることで、学習時間の縮小された技術を提供することができる。また、ニューラルネットワーク学習装置は、予め学習されたニューラルネットワークの構造を次第に拡張し学習させることで、ニューラルネットワークの認識性能を次第に向上させる技術を提供できる。
ニューラルネットワーク学習装置は、レイヤ特別なプレ−トレーニング（ｐｒｅ−ｔｒａｉｎｉｎｇ）なしに深度学習を行う技術を提供することができる。ニューラルネットワーク学習装置は、前述した方式を用いて学習の全過程（例えば、ニューラルネットワーク内の全てのレイヤ）で分類の目的関数を共有しながら、深度ニューラルネットワークを最適化する深度学習を行うことができる。
図１０、図１１Ａ、及び図１１Ｂは、一実施形態に係るニューラルネットワーク構造拡張方法の応用を説明する図である。図１０を参照すると、ステップＳ１０１０において、ニューラルネットワークが初期化される。例えば、ニューラルネットワークの初期構造、ニューラルネットワーク内の初期接続加重値などが設定され得る。ステップＳ１０２０において、ニューラルネットワークが学習される。トレーニングデータは、トレーニングデータストレージから取得され得る。演算は、ニューラルネットワークを介して活性化パターンがモニターされる間にプロセッサによって行われる。例えば、ニューラルネットワークは、監督学習、エラー逆伝播学習などを用いて学習されてもよい。
ステップＳ１０３０において、ニューラルネットワークの構造拡張が必要であるか否かを判断する。一例として、現在まで学習されたニューラルネットワークの性能が評価される。性能は、ニューラルネットワークによって実行された分析が正確であるか否かを示す。もし、現在まで学習されたニューラルネットワークの性能が予め決定した閾値よりも小さい場合、ニューラルネットワークの構造拡張が必要であると判断される。ニューラルネットワークに与えられたタスク（例えば、認識、認証、分類など）の性能を向上させるために、ニューラルネットワーク内ノードの個数が増加する必要がある。
他の例として、外部入力によってニューラルネットワークの構造拡張が必要であるか否かを判断する。もし、ステップＳ１０３０で構造拡張を指示する入力が受信される場合、ニューラルネットワークの構造拡張が必要であると判断される。構造拡張を指示する入力は、ユーザインタフェースを介して受信されるなどの様々な方式により受信されてもよい。
ステップＳ１０３０において、ニューラルネットワークの構造拡張が必要であると判断される場合、ステップＳ１０４０でニューラルネットワークの構造が拡張される。ステップＳ１０４０は、図２〜図８を参照して前述した事項がそのまま適用され得るため、より詳細な説明は省略する。ステップＳ１０５０において、拡張された構造のニューラルネットワークが追加的に学習され得る。ステップＳ１０３０において、ニューラルネットワークの構造拡張が必要ではないものと判断される場合、構造拡張や追加学習なしにニューラルネットワークの学習を終了する。
図１１Ａを参照すると、ステップＳ１１１０において、ニューラルネットワークを初期化する。ステップＳ１１２０においてニューラルネットワークが学習され、ステップＳ１１３０においてニューラルネットワークの構造拡張が必要であるか否かを判断する。ステップＳ１１２０及びステップＳ１１３０は、学習エポック（ｅｐｏｃｈ）を構成してもよい。ステップＳ１１２０で単一学習エポックのため予め決定した数のトレーニングデータを用いてニューラルネットワークが学習され得る。ステップＳ１１３０において、当該の学習エポックにおける性能向上の程度が評価され、評価結果に基づいてニューラルネットワークの構造拡張が必要であるか否かを判断する。
例えば、当該の学習エポックにおける性能向上が予め決定した第１閾値よりも大きい場合、現在の構造のニューラルネットワークがさらに学習される余地があるため、ニューラルネットワークの構造拡張は必要でないと判断する。一方、当該の学習エポックにおける性能向上が予め決定した第１閾値よりも小さい場合、現在の構造のニューラルネットワークの性能が飽和されたものであるため、ニューラルネットワークの構造拡張は必要であると判断する。
ニューラルネットワークの構造拡張が必要であると判断されれば、ステップＳ１１４０において、ニューラルネットワークの学習終了条件が満足されるか否かを判断する。ここで、現在の構造のニューラルネットワークの性能と以前構造のニューラルネットワークの性能とを比較し、比較結果に基づいてニューラルネットワークの学習終了条件が満足されるか否かを判断する。以前構造のニューラルネットワークは、現在の構造のニューラルネットワークで構造拡張される以前のニューラルネットワークを意味する。
例えば、現在の構造のニューラルネットワークの性能と以前構造のニューラルネットワークの性能との間の差が予め決定した第２閾値よりも大きい場合、追加的な構造拡張による性能向上が期待されるため、ニューラルネットワークの学習終了条件が満足されないものと判断する。一方、現在の構造であるニューラルネットワークの性能と以前構造のニューラルネットワークの性能との間の差が予め決定した第２閾値よりも小さい場合、追加的な構造拡張による性能向上が期待されないため、ニューラルネットワークの学習終了条件が満足されるものと判断する。
ニューラルネットワークの学習終了条件が満足されていない場合、ステップＳ１１５０において、ニューラルネットワークの構造は拡張される。ステップＳ１１２０〜ステップＳ１１５０は、ニューラルネットワークの学習終了条件が満足されるまで反復される。
図１１Ｂを参照すると、第１ニューラルネットワーク１１６０が初期化され得る。第１学習エポック１１６１で第１ニューラルネットワーク１１６０が学習され、性能向上の程度が評価される。第１学習エポック１１６１で第１ニューラルネットワーク１１６０が学習された結果、性能向上の程度が第１閾値よりも大きいこともある。この場合、性能向上評価の結果は「Ｐａｓｓ」であり、まだ構造拡張が必要ではないものと判断される。第２学習エポック１１６２でも学習及び性能向上評価が行われることができる。第３学習エポック１１６３で第１ニューラルネットワーク１１６０が学習された結果、性能向上の程度が第１閾値よりも小さいこともある。この場合、性能向上評価の結果は「Ｆａｉｌ」であり、構造拡張が必要であると判断される。
ステップＳ１１７１で第１ニューラルネットワーク１１６０が構造拡張されることにより第２ニューラルネットワーク１１７０が生成される。複数の学習エポックそれぞれで第２ニューラルネットワーク１１７０は学習され、当該学習エポックにおける性能向上の程度が評価される。第４学習エポック１１７２で第２ニューラルネットワーク１１７０が学習された結果、性能向上の程度が第１閾値よりも小さいこともある。この場合、性能向上評価の結果は「Ｆａｉｌ」であり、構造拡張が必要であると判断される。
ニューラルネットワークの構造拡張が行われる前に、現在の構造のニューラルネットワークの性能と以前構造のニューラルネットワークの性能とを比較することによって、ニューラルネットワークの学習終了条件が満足されるか否かを判断する。ニューラルネットワークの構造が十分大きくない場合、追加的な構造拡張によってニューラルネットワークの性能向上を期待することが難しいためである。
ステップＳ１１７３において、第２ニューラルネットワーク１１７０の性能と第１ニューラルネットワーク１１６０の性能とを比較する。比較の結果、第２ニューラルネットワーク１１７０の性能と第１ニューラルネットワーク１１６０の性能との間の差が第２閾値よりも大きいこともある。この場合、性能比較の結果は「Ｐａｓｓ」であり、ニューラルネットワークの学習終了条件が満足されないものと判断される。
ステップＳ１１８１において、第２ニューラルネットワーク１１７０が構造拡張されることによって第３ニューラルネットワーク１１８０が生成される。第５学習エポック１１８２で第３ニューラルネットワーク１１８０が学習された結果、性能向上の程度が第１閾値よりも小さいこともある。この場合、性能向上評価の結果は「Ｆａｉｌ」であり、構造拡張が必要であると判断される。ステップＳ１１８３において、第３ニューラルネットワーク１１８０の性能と第２ニューラルネットワーク１１７０の性能とが比較される。比較の結果、第３ニューラルネットワーク１１８０の性能と第２ニューラルネットワーク１１７０の性能との間の差が第２閾値よりも小さいこともある。言い換えると、構造拡張を通した性能向上の程度が第２閾値よりも小さいこともある。この場合、性能比較の結果は「Ｆａｉｌ」であり、ニューラルネットワークの学習終了条件が満足されるものと判断される。
図１２及び図１３は、一実施形態に係るニューラルネットワーク構造拡張方法によって学習されるニューラルネットワークを説明する図である。図１２を参照すると、一実施形態に係るニューラルネットワーク１２００は、入力レイヤ１２１０、複数の隠れレイヤ１２２０、及び出力レイヤ１２３０を含む。複数の隠れレイヤ１２２０それぞれは、予め決定した数以下のノードを含むように初期化され得る。このような初期化動作は、図１０に示すステップＳ１０１０又は図１１に示すステップＳ１１１０で行われる。
ニューラルネットワーク１２００は、図１０に示すステップＳ１０２０〜ステップＳ１０５０又は図１１に示すステップＳ１１２０〜ステップＳ１１５０によって構造拡張されながら学習され得る。図１０に示すステップＳ１０４０又は図１１に示すステップＳ１１５０において、ニューラルネットワーク１２００の隠れレイヤ１２２０で新しいノードが生成されてもよい。図１３を参照すると、一実施形態に係る学習されたニューラルネットワーク１３００は構造拡張された隠れレイヤ１３２０を含む。
図１４及び図１５は、一実施形態に係るニューラルネットワーク構造拡張方法によって学習されるオートエンコーダを説明する図である。オートエンコーダ（ａｕｔｏ ｅｎｃｏｄｅｒ）は、次元縮小（ｄｉｍｅｎｓｉｏｎ ｒｅｄｕｃｔｉｏｎ）を目的とするニューラルネットワークである。図１４を参照すると、一実施形態に係るオートエンコーダ１４００は、入力レイヤ１４１０、隠れレイヤ１４２０、及び出力レイヤ１４３０を含む。
入力レイヤ１４１０、隠れレイヤ１４２０、及び出力レイヤ１４３０は、オートエンコーダの入力ディメンションに基づいて初期化され得る。例えば、入力レイヤ１４１０に含まれるノード数は入力ディメンションに基づいて決定されてもよい。出力レイヤ１４３０に含まれるノード数は、入力レイヤ１４１０に含まれるノード数と同一に決定される。隠れレイヤ１４２０に含まれるノード数は、予め決定した初期値（例えば、２）に決定される。
オートエンコーダ１４００内で入力レイヤ１４１０→隠れレイヤ１４２０の構造と、隠れレイヤ１４２０→出力レイヤ１４３０の構造は互いに対称である。オートエンコーダ１４００内で入力レイヤ１４１０→隠れレイヤ１４２０は符号化に当該し、隠れレイヤ１４２０→出力レイヤ１４３０は復号化に該当する。
オートエンコーダ１４００は、符号化により入力ディメンションをリダクションした後、復号化によりリダクションされた入力ディメンションを復旧する動作を行う。オートエンコーダ１４００の目的関数は入力値と出力値が同一であることを要求する。オートエンコーダは次元縮小を目的とするため、隠れレイヤ１４２０のための予め決定した初期値は、入力ディメンションよりも小さくなければならない。前述した初期化動作は、図１０に示すステップＳ１０１０又は図１１に示すステップＳ１１１０で行われる。
オートエンコーダ１４００は、図１０に示すステップＳ１０２０〜ステップＳ１０５０又は図１１に示すステップＳ１１２０〜ステップＳ１１５０を介して構造拡張されながら学習され得る。図１０に示すステップＳ１０４０又は図１１に示すステップＳ１１５０において、オートエンコーダ１４００の隠れレイヤ１４２０で新しいノードが生成され得る。
一実施形態に係る次元縮小装置は、隠れレイヤ１４２０に含まれたノード数をできる限り小さい数に初期化した後、隠れレイヤ１４２０を拡張させながらオートエンコーダ１４００を学習させる。次元縮小装置は、ソフトウェアモジュール、ハードウェアモジュール、またはその組合せで実現し得る。
図１５を参照すると、オートエンコーダ１５００の性能が一定のレベル以上であれば、オートエンコーダ１５００の学習は終了する。オートエンコーダ１５００は、構造拡張された隠れレイヤ１５２０を含む。隠れレイヤ１５２０に含まれたノード数は、入力ディメンションがリダクションされた結果である。
図面に図示していないが、オートエンコーダも複数の隠れレイヤを含んでもよい。例えば、オートエンコーダは、入力レイヤ、第１隠れレイヤ、中央隠れレイヤ、第２隠れレイヤ、及び出力レイヤを含んでもよい。オートエンコーダの基本動作を保持するために、入力レイヤ→第１隠れレイヤ→中央隠れレイヤの構造は、中央隠れレイヤ→第２隠れレイヤ→出力レイヤの構造と対称でなければならない。隠れレイヤの構造が拡張されるとき、第１隠れレイヤと第３隠れレイヤは互いに対称を保持し得る。
図１６は、一実施形態に係るニューラルネットワーク学習装置を示すブロック図である。図１６を参照すると、一実施形態に係るニューラルネットワーク学習装置１６００は、選択部１６１０、生成部１６２０、接続部１６３０、設定部１６４０、及び学習部１６５０を含む。選択部１６１０、生成部１６２０、接続部１６３０、設定部１６４０、及び学習部１６５０は、１つ又はそれ以上のプロセッサとメモリを含む。選択部１６１０はニューラルネットワークの構造拡張のために、ニューラルネットワークに含まれたノードのうち少なくとも１つのノードを選択する。生成部１６２０は、選択されたノードが属するレイヤに新しいノードを生成する。接続部１６３０は、新しいノードを既存ノードに接続する。設定部１６４０は、選択されたノードの接続加重値に基づいて新しいノードの接続加重値を設定する。学習部１６５０は、トレーニングデータを用いてニューラルネットワークを学習させることで新しいノードと既存ノード間の接続加重値を調整することができる。トレーニングデータはメモリストレージから取得され得る。
図１７は、一実施形態に係る次元縮小装置を示すブロック図である。図１７を参照すると、一実施形態に係る次元縮小装置１７００は、初期化部１７１０、判断部１７２０、及び拡張部１７３０を含む。初期化部１７１０、判断部１７２０、及び拡張部１７３０は１つ又はそれ以上のプロセッサ及びメモリを含む。初期化部１７１０は、入力ディメンションに基づいてニューラルネットワークの入力レイヤ、隠れレイヤ、及び出力レイヤを初期化する。判断部１７２０は、ニューラルネットワークを学習させながら、隠れレイヤの拡張が必要であるか否かを判断する。拡張部１７３０は、隠れレイヤの拡張が必要であるとの判断に応じて隠れレイヤを拡張させる。
図１６及び図１７に示された各モジュールは、図１〜図１５を参照して前述した事項がそのまま適用され得るため、より詳細な説明は省略する。
図１９は、一実施形態に係るニューラルネットワークを拡張する装置を示すブロック図である。図１〜図１８を参照して記述した事項は図１９に示す実施形態にそのまま適用され得る。したがって、重複的な技術は省略する。
図１９を参照すると、ニューラルネットワーク拡張装置は、プロセッサ１９１０、ニューラルネットワークストレージ１９２０、算出値を格納するメモリ１９３０、及びトレーニングデータストレージ１９４０を含む。プロセッサ１９１０は単数形態に記載されているが、プロセッサ１９１０は複数のプロセッサ又はコアを含み得る。例えば、プロセッサ１９１０は、複数のマルチコアプロセッサを含むコンピュータ装置内で動作してもよい。一例として、マルチコアプロセッサは、ＧＰＧＰＵ（ｇｅｎｅｒａｌ ｐｕｒｐｏｓｅ ｇｒａｐｈｉｃ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）であってもよい。他の例として、マルチコアプロセッサそれぞれは、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）であるか、オーダーメード型（ｃｕｓｔｏｍｉｚａｂｌｅ）マルチコアプロセッサであってもよい。更なる例として、プロセッサ１９１０は、ＰＣＩ−Ｅ（ｐｅｒｉｐｈｅｒａｌ ｃｏｍｐｏｎｅｎｔ ｉｎｔｅｒｃｏｎｎｅｃｔ ｅｘｐｒｅｓｓ）バスのような内部バスを介してデータを交換してもよい。更なる例として、プロセッサは単一コアプロセッサであってもよい。
一実施形態によると、プロセッサ１９１０は、ニューラルネットワークストレージ１９２０に格納されたニューラルネットワークをレイヤごとに処理するためにパイプラインアルゴリズムを用いることができる。ニューラルネットワークストレージ１９２０は、複数のレイヤを含むニューラルネットワークを格納することができる。例えば、ニューラルネットワークは３個以上のレイヤを含んでもよい。トレーニングデータストレージ１９４０に格納されたトレーニングデータは、ニューラルネットワークストレージ１９２０に格納されたニューラルネットワークの入力レイヤに入力を提供することができる。例えば、ニューラルネットワークが英語手書文字（ｈａｎｄ−ｗｒｉｔｔｅｎ Ｅｎｇｌｉｓｈ）のパターンを認識するように学習させるため、トレーニングデータは手書文字のデジタルイメージ及びそのイメージから認識されなければならないテキスト文字を含み得る。テキスト文字は、ニューラルネットワークの性能を決定するために用いる。ニューラルネットワークが音声を認識するように学習させるため、トレーニングデータは、オーディオレコーディングサンプル又は音声コーパス（ｓｐｅｅｃｈ ｃｏｒｐｕｓ）を含んでもよい。
ニューラルネットワークのノード活性化パターン、及びエッジに割り当てられる接続加重値など、プロセッサ１９１０によって行われる演算はニューラルネットワークが学習される間にメモリ１９３０に格納され得る。一例によると、ニューラルネットワークストレージ１９２０に格納されたニューラルネットワークは、学習される間、プロセッサ１９１０によって新しいノードが追加されたり新しい隠れレイヤが追加されることによって持続的にアップデートされ得る。
図２０は、一実施形態に係る拡張されたニューラルネットワークを用いて入力データを分析する装置を示すブロック図である。図１〜図１９を参照して記述した事項は、図２０に示す実施形態にそのまま適用され得るため、重複的な技術は省略する。
ニューラルネットワークが十分に学習された後、拡張されたニューラルネットワークは入力データを処理するために用いられる。例えば、プロセッサ２０１０は、メモリ又は入出力装置からデジタル手書文字のような入力データを取得してもよい。入出力装置は、キーボード、ディスプレイ装置、タッチスクリーン、プリンタなどを含み、この例示に限定されることはない。プロセッサ２０１０は、入力データをニューラルネットワークストレージ２０２０に格納された拡張されたニューラルネットワークの入力レイヤに提供することができる。拡張されたニューラルネットワークを用いて、プロセッサ２０１０は、入力データを認識されたテキストを含む出力データに変換する文字認識を行うことができる。
一実施形態によると、プロセッサ２０１０は、図２０に示すように入力を分析するだけではなく、ニューラルネットワークのディメンションを学習させたり、拡張したり、変更し得る。他の実施形態によると、ニューラルネットワーク拡張及びデータ分析は２つの分離した装置によって行われる。
以上で説明された実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組合せで実現してもよい。例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、または、命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答できる異なる装置のように、１つ以上の汎用コンピュータまたは特定目的のコンピュータを用いて実現されてもよい。処理装置は、オペレーティングシステム（ＯＳ）及び前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は１つ使用されるものと説明される場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサまたは１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
ソフトウェアはコンピュータプログラム、コード、命令、またはこのうちの１つ以上の組合せを含んでもよく、希望の通りに動作するよう処理装置を構成したり独立的または結合的に処理装置を命令してもよい。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供するためどのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体または装置、送信される信号波に永久的または一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータで読み出し可能な記録媒体に格納されてもよい。
実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータで読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。
上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。
したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。
１１０ 入力レイヤ
１２０ 隠れレイヤ
１３０ 出力レイヤ
１２１０ 入力レイヤ
１２２０ 隠れレイヤ
１２３０ 出力レイヤ
１３２０ 隠れレイヤ
１４１０ 入力レイヤ
１４２０ 隠れレイヤ
１４３０ 出力レイヤ
１６００ ニューラルネットワーク学習装置
１７００ 次元縮小装置

Claims (24)

  1. ニューラルネットワークに含まれたノードのうち少なくとも１つのノードを選択するステップと、
    前記選択されたノードが属するレイヤに新しいノードを生成するステップと、
    前記新しいノードの接続加重値を設定するステップと、
    を含み、
    前記設定するステップは、
    前記選択されたノードの接続加重値のうち少なくとも一部を選択するステップと、
    前記新しいノードで前記選択された少なくとも一部の接続加重値に対応する接続加重値を前記選択された少なくとも一部の接続加重値に設定するステップと、
    前記選択されたノードで前記選択された少なくとも一部の接続加重値を予め決定した初期値に設定するステップと、
    を含む、ニューラルネットワーク拡張方法。
  2. ニューラルネットワークに含まれたノードのうち少なくとも１つのノードを選択するステップと、
    前記選択されたノードが属するレイヤに新しいノードを生成するステップと、
    前記新しいノードの接続加重値を設定するステップと、
    を含み、
    前記設定するステップは、
    前記新しいノードの入力接続加重値を前記選択されたノードの入力接続加重値に設定するステップと、
    前記選択されたノードの出力接続加重値のうち一部を選択するステップと、
    前記新しいノードで前記選択された一部の出力接続加重値に対応する接続加重値を前記選択された一部の出力接続加重値に設定するステップと、
    前記選択されたノードで前記選択された一部の出力接続加重値を予め決定した初期値に設定するステップと、
    を含む、ニューラルネットワーク拡張方法。
  3. 前記ニューラルネットワークの拡張が必要であるか否かを判断するステップ、
    をさらに含む、請求項１または２に記載のニューラルネットワーク拡張方法。
  4. 前記判断するステップは、
    前記ニューラルネットワークの性能をモニタリングするステップと、
    前記ニューラルネットワークの性能が向上する程度が予め決定した第１閾値よりも小さい場合、前記ニューラルネットワークの拡張が必要であると判断するステップと、
    を含む、請求項３に記載のニューラルネットワーク拡張方法。
  5. 前記判断するステップは、
    前記ニューラルネットワークの性能をモニタリングするステップと、
    前記ニューラルネットワークの性能が向上する程度が予め決定した第１閾値よりも小さく、前記ニューラルネットワークの以前拡張後の前記ニューラルネットワークの性能が向上した程度が予め決定した第２閾値よりも小さい場合、前記ニューラルネットワークの学習を終了させるステップと、
    をさらに含む、請求項３に記載のニューラルネットワーク拡張方法。
  6. 前記選択するステップは、前記ノードの活性化頻度数情報及び活性化エントロピー情報のうち少なくとも１つに基づいて前記少なくとも１つのノードを選択するステップを含む、
    請求項１乃至５いずれか一項に記載のニューラルネットワーク拡張方法。
  7. 前記活性化頻度数情報は、予め決定した時間区間内、前記ノードそれぞれが活性化する頻度数を含む、
    請求項６に記載のニューラルネットワーク拡張方法。
  8. 前記活性化エントロピー情報は、予め決定した時間区間内、前記ノードそれぞれが活性化状態と不活性状態の間で遷移する回数を含む、
    請求項６または７に記載のニューラルネットワーク拡張方法。
  9. 前記ノードのうち予め決定した時間区間で活性化頻度数が最も大きいノードが選択される、
    請求項６乃至８いずれか一項に記載のニューラルネットワーク拡張方法。
  10. 前記ノードのうち予め決定した時間区間で活性化エントロピーが予め決定した第３閾値よりも小さく、活性化頻度数が予め決定した第４閾値よりも大きいノードが選択される、
    請求項６乃至９いずれか一項に記載のニューラルネットワーク拡張方法。
  11. 前記生成するステップは、
    前記レイヤの以前レイヤに含まれたノードと前記新しいノードとの間を接続するステップと、
    前記レイヤの次のレイヤに含まれたノードと前記新しいノードとの間を接続するステップと、
    を含む、請求項１乃至１０いずれか一項に記載のニューラルネットワーク拡張方法。
  12. 前記新しいノードの接続加重値を予め決定した初期値に設定するステップをさらに含む、
    請求項１１に記載のニューラルネットワーク拡張方法。
  13. 前記選択されたノードを含むレイヤは、前記ニューラルネットワークの隠れレイヤを含む、
    請求項１乃至１２いずれか一項に記載のニューラルネットワーク拡張方法。
  14. 前記選択されたノードの接続加重値のうち少なくとも一部を選択するステップは、
    前記選択されたノードの接続加重値を第１グループ及び第２グループに分割するステップと、
    前記第１グループ及び前記第２グループのいずれか１つのグループに属する接続加重値を選択するステップと、
    を含む、請求項１に記載のニューラルネットワーク拡張方法。
  15. 前記選択されたノードの接続加重値は、前記第１グループに属する接続加重値の和と前記第２グループに属する接続加重値の和との間の差が予め決定した第５閾値以下になるよう前記第１グループ及び前記第２グループに分割する、
    請求項１４に記載のニューラルネットワーク拡張方法。
  16. 前記選択されたノードの活性化特性に基づいて前記新しいノードの活性化特性を設定するステップをさらに含む、
    請求項１または２に記載のニューラルネットワーク拡張方法。
  17. 前記新しいノードを含むように拡張されたニューラルネットワークを学習させるステップをさらに含む、
    請求項１または２に記載のニューラルネットワーク拡張方法。
  18. 初期ニューラルネットワークは、予め決定した数以下のノードを含む複数の隠れレイヤを含む、
    請求項１または２に記載のニューラルネットワーク拡張方法。
  19. 前記選択するステップは、前記複数の隠れレイヤに含まれたノードのうち少なくとも１つのノードを選択するステップを含む、
    請求項１８に記載のニューラルネットワーク拡張方法。
  20. ニューラルネットワークを格納するメモリと、
    活性化情報に基づいて前記ニューラルネットワークのノードを選択し、前記選択されたノードを含むレイヤに新しいノードを追加することによって前記ニューラルネットワークを拡張するプロセッサと、
    を含み、
    前記拡張することは、
    前記選択されたノードの接続加重値のうち少なくとも一部を選択し、
    前記新しいノードで前記選択された少なくとも一部の接続加重値に対応する接続加重値を前記選択された少なくとも一部の接続加重値に設定し、かつ、
    前記選択されたノードで前記選択された少なくとも一部の接続加重値を予め決定した初期値に設定する、ことを含む、
    ニューラルネットワーク拡張装置。
  21. 前記プロセッサは、前記選択されたノードの接続加重値に基づいて前記新しいノードの接続加重値を設定する、
    請求項２０に記載のニューラルネットワーク拡張装置。
  22. 前記プロセッサは、トレーニングデータを用いて前記拡張されたニューラルネットワークを学習させることで前記新しいノードの接続加重値を調整する、
    請求項２０または２１に記載のニューラルネットワーク拡張装置。
  23. 前記プロセッサは、トレーニングデータメモリストレージのトレーニングデータを前記拡張されたニューラルネットワークに適用し、前記拡張されたニューラルネットワークの活性化パターンに基づいて隠れレイヤの拡張が要求されるか否かを決定し、前記隠れレイヤの拡張が要求されるとの判断に応じて、前記ニューラルネットワークの隠れレイヤ内のノード数を増加させる、
    請求項２０乃至２２いずれか一項に記載のニューラルネットワーク拡張装置。
  24. 入力装置をさらに含み、
    前記プロセッサは、出力データを取得するために、前記入力装置を用いて取得された入力データを前記ニューラルネットワークに適用する、
    請求項２２乃至２３いずれか一項に記載のニューラルネットワーク拡張装置。
JP2015168612A 2014-11-27 2015-08-28 ニューラルネットワーク構造拡張方法、次元縮小方法、及びその方法を用いた装置 Active JP6605259B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20140167510 2014-11-27
KR10-2014-0167510 2014-11-27
US14/704,785 2015-05-05
US14/704,785 US10832138B2 (en) 2014-11-27 2015-05-05 Method and apparatus for extending neural network

Publications (2)

Publication Number Publication Date
JP2016103262A JP2016103262A (ja) 2016-06-02
JP6605259B2 true JP6605259B2 (ja) 2019-11-13

Family

ID=56079407

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015168612A Active JP6605259B2 (ja) 2014-11-27 2015-08-28 ニューラルネットワーク構造拡張方法、次元縮小方法、及びその方法を用いた装置

Country Status (4)

Country Link
US (1) US10832138B2 (ja)
JP (1) JP6605259B2 (ja)
KR (1) KR102483639B1 (ja)
CN (1) CN106203623A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021183135A1 (en) * 2020-03-13 2021-09-16 Hewlett-Packard Development Company, L.P. Transmitting node instructions

Families Citing this family (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10467528B2 (en) * 2015-08-11 2019-11-05 Oracle International Corporation Accelerated TR-L-BFGS algorithm for neural network
US9697833B2 (en) 2015-08-25 2017-07-04 Nuance Communications, Inc. Audio-visual speech recognition with scattering operators
EP3360084A1 (en) * 2015-11-12 2018-08-15 Google LLC Generating larger neural networks
JP6591672B2 (ja) * 2015-11-12 2019-10-16 ディープマインド テクノロジーズ リミテッド デュエリングディープニューラルネットワーク
US10891540B2 (en) * 2015-12-18 2021-01-12 National Technology & Engineering Solutions Of Sandia, Llc Adaptive neural network management system
US10795935B2 (en) 2016-02-05 2020-10-06 Sas Institute Inc. Automated generation of job flow definitions
US10642896B2 (en) 2016-02-05 2020-05-05 Sas Institute Inc. Handling of data sets during execution of task routines of multiple languages
US10650045B2 (en) 2016-02-05 2020-05-12 Sas Institute Inc. Staged training of neural networks for improved time series prediction performance
US10346476B2 (en) 2016-02-05 2019-07-09 Sas Institute Inc. Sketch entry and interpretation of graphical user interface design
US10650046B2 (en) 2016-02-05 2020-05-12 Sas Institute Inc. Many task computing with distributed file system
US10331495B2 (en) 2016-02-05 2019-06-25 Sas Institute Inc. Generation of directed acyclic graphs from task routines
US10346211B2 (en) 2016-02-05 2019-07-09 Sas Institute Inc. Automated transition from non-neuromorphic to neuromorphic processing
US10380185B2 (en) 2016-02-05 2019-08-13 Sas Institute Inc. Generation of job flow objects in federated areas from data structure
US10409863B2 (en) * 2016-02-05 2019-09-10 Sas Institute Inc. Verification and export of federated areas and job flow objects within federated areas
JP6601569B2 (ja) * 2016-03-31 2019-11-06 富士通株式会社 ニューラルネットワークモデルの訓練方法、装置及び電子機器
EP3475883A1 (en) * 2016-06-27 2019-05-01 Robin Young Dynamically managing artificial neural networks
US10733946B2 (en) * 2016-08-26 2020-08-04 Semiconductor Energy Laboratory Co., Ltd. Display device and electronic device
KR20180080446A (ko) 2017-01-04 2018-07-12 삼성전자주식회사 음성 인식 방법 및 음성 인식 장치
CN106875010B (zh) * 2017-01-20 2019-11-22 清华大学 神经元权重信息处理方法和系统
USD898059S1 (en) 2017-02-06 2020-10-06 Sas Institute Inc. Display screen or portion thereof with graphical user interface
KR101763869B1 (ko) * 2017-02-16 2017-08-07 주식회사 더디엔에이시스템 뉴로블록체인 콤비네이션을 이용한 인공신경망 모델의 자가 구성 모듈
US9836654B1 (en) * 2017-02-28 2017-12-05 Kinosis Ltd. Surgical tracking and procedural map analysis tool
JPWO2018163005A1 (ja) 2017-03-10 2020-01-23 株式会社半導体エネルギー研究所 タッチパネルシステム、電子機器および半導体装置
US10679119B2 (en) * 2017-03-24 2020-06-09 Intel Corporation Handling signal saturation in spiking neural networks
WO2018184194A1 (en) * 2017-04-07 2018-10-11 Intel Corporation Methods and systems using improved convolutional neural networks for image processing
US11461105B2 (en) 2017-04-07 2022-10-04 Intel Corporation Methods and apparatus for deep learning network execution pipeline on multi-processor platform
KR101774844B1 (ko) * 2017-04-18 2017-09-19 주식회사 더디엔에이시스템 뉴로블록체인 콤비네이션을 이용한 인공신경망 모델의 자가 학습 모듈
US11055605B2 (en) * 2017-04-25 2021-07-06 Nec Corporation Detecting dangerous driving situations by parsing a scene graph of radar detections
WO2018218651A1 (en) * 2017-06-02 2018-12-06 Nokia Technologies Oy Artificial neural network
USD898060S1 (en) 2017-06-05 2020-10-06 Sas Institute Inc. Display screen or portion thereof with graphical user interface
US11295210B2 (en) * 2017-06-05 2022-04-05 D5Ai Llc Asynchronous agents with learning coaches and structurally modifying deep neural networks without performance degradation
US11275996B2 (en) * 2017-06-21 2022-03-15 Arm Ltd. Systems and devices for formatting neural network parameters
WO2019039758A1 (ko) * 2017-08-25 2019-02-28 주식회사 수아랩 개선된 뉴럴 네트워크를 생성하고 학습시키기 위한 방법
JP6967201B2 (ja) * 2017-09-26 2021-11-17 株式会社アイシン 情報処理装置
US11657270B2 (en) * 2017-09-28 2023-05-23 Agency For Science, Technology And Research Self-assessing deep representational units
US10679129B2 (en) 2017-09-28 2020-06-09 D5Ai Llc Stochastic categorical autoencoder network
US11270188B2 (en) * 2017-09-28 2022-03-08 D5Ai Llc Joint optimization of ensembles in deep learning
DE102017219282A1 (de) * 2017-10-26 2019-05-02 Albert-Ludwigs-Universität Freiburg Verfahren und Vorrichtung zum automatischen Erzeugen eines künstlichen neuronalen Netzes
US20190156200A1 (en) * 2017-11-17 2019-05-23 Aivitae LLC System and method for anomaly detection via a multi-prediction-model architecture
US20190197549A1 (en) * 2017-12-21 2019-06-27 Paypal, Inc. Robust features generation architecture for fraud modeling
CN111602149B (zh) * 2018-01-30 2024-04-02 D5Ai有限责任公司 自组织偏序网络
CN108280552B (zh) * 2018-02-24 2021-06-01 合肥工业大学 基于深度学习的电力负荷预测方法和系统、存储介质
JP7063052B2 (ja) 2018-03-28 2022-05-09 富士通株式会社 適合度算出プログラム、適合度算出方法、適合度算出装置、識別プログラム、識別方法及び識別装置
KR102032146B1 (ko) * 2018-04-11 2019-10-15 경희대학교 산학협력단 소자 결점을 보완하기 위한 구간 선형 정류 유닛을 사용하는 인공신경망 시스템
CN112088383A (zh) * 2018-05-10 2020-12-15 松下半导体解决方案株式会社 神经网络构筑装置、信息处理装置、神经网络构筑方法及程序
US11734557B2 (en) * 2018-05-11 2023-08-22 Qualcomm Incorporated Neural network with frozen nodes
DE112018007550T5 (de) * 2018-06-05 2021-01-28 Mitsubishi Electric Corporation Lernvorrichtung, Inferenzvorrichtung, Verfahren und Programm
CN113807498B (zh) * 2018-07-09 2022-10-04 北京市商汤科技开发有限公司 模型扩展方法及装置、电子设备和存储介质
CN109117942A (zh) * 2018-07-23 2019-01-01 上海七牛信息技术有限公司 一种神经网络以及神经网络系统
CN108985386A (zh) * 2018-08-07 2018-12-11 北京旷视科技有限公司 获得图像处理模型的方法、图像处理方法及对应装置
US11501164B2 (en) * 2018-08-09 2022-11-15 D5Ai Llc Companion analysis network in deep learning
CN109508781A (zh) * 2018-08-29 2019-03-22 厦门快商通信息技术有限公司 神经网络节点的自增减方法、装置及存储介质
US11823041B1 (en) 2018-08-30 2023-11-21 Alarm.Com Incorporated Extending learning of artificial intelligent systems
JP6695947B2 (ja) * 2018-09-21 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、画像処理方法及びプログラム
KR102124171B1 (ko) * 2018-10-01 2020-06-17 인하대학교 산학협력단 엔트로피 기반 신경망(Neural Networks) 가지치기 방법 및 시스템
WO2020086176A1 (en) * 2018-10-23 2020-04-30 Hrl Laboratories, Llc Artificial neural network and method of training an artificial neural network with epigenetic neurogenesis
KR102178427B1 (ko) * 2018-10-30 2020-11-18 주식회사 알스피릿 상황인지 기반의 경기 지표를 이용하여 예측한 위기 감지 방법 및 이를 위한 장치
US11669713B2 (en) * 2018-12-04 2023-06-06 Bank Of America Corporation System and method for online reconfiguration of a neural network system
US20200210805A1 (en) * 2018-12-31 2020-07-02 Nvidia Corporation Neural Network Generator
US11615309B2 (en) 2019-02-27 2023-03-28 Oracle International Corporation Forming an artificial neural network by generating and forming of tunnels
CN111914984B (zh) * 2019-05-07 2023-10-27 财团法人成大研究发展基金会 用于辨识装置的人工神经网络正规化系统
KR20210011844A (ko) * 2019-07-23 2021-02-02 삼성전자주식회사 전자 장치 및 그 제어 방법
KR20210014949A (ko) * 2019-07-31 2021-02-10 삼성전자주식회사 음성 인식을 위한 인공신경망에서의 디코딩 방법 및 장치
US11836624B2 (en) * 2019-08-26 2023-12-05 D5Ai Llc Deep learning with judgment
KR102379366B1 (ko) * 2019-08-28 2022-03-25 금오공과대학교 산학협력단 오토 인코더를 이용한 채널 디코딩 방법
CN111881705B (zh) * 2019-09-29 2023-12-12 深圳数字生命研究院 数据处理、训练、识别方法、装置和存储介质
USD919656S1 (en) * 2019-10-04 2021-05-18 Butterfly Network, Inc. Display panel or portion thereof with graphical user interface
WO2021071403A1 (en) * 2019-10-11 2021-04-15 Telefonaktiebolaget Lm Ericsson (Publ) Provision of optimized action for application in a wireless communication network to affect data transmission over a communication channel
KR102250553B1 (ko) * 2019-11-19 2021-05-10 금오공과대학교 산학협력단 패러렐 오토 인코더를 이용한 채널 디코딩 방법
KR102233891B1 (ko) * 2019-11-19 2021-03-30 울산과학기술원 정보의 전파 시간을 예측하는 방법 및 상기 방법을 수행하는 정보 전파 예측 장치
US20220012583A1 (en) * 2020-07-08 2022-01-13 International Business Machines Corporation Continual learning using cross connections
KR102349814B1 (ko) * 2020-08-07 2022-01-10 금오공과대학교 산학협력단 제어 비트를 갖는 오토 디코더를 사용한 채널 디코딩 방법
KR102349810B1 (ko) * 2020-08-07 2022-01-10 금오공과대학교 산학협력단 오토 디코더를 활용한 고속의 rm 부호 디코딩 방법
US11836600B2 (en) * 2020-08-20 2023-12-05 D5Ai Llc Targeted incremental growth with continual learning in deep neural networks
CN116888602A (zh) * 2020-12-17 2023-10-13 乌姆奈有限公司 可解释转导器变换器
CN117581234A (zh) 2021-05-07 2024-02-20 Hrl实验室有限责任公司 神经形态存储器电路和人工神经网络的神经发生的方法
WO2023080269A1 (en) * 2021-11-03 2023-05-11 Intel Corporation Unsupervised model drift estimation system for dataset shift detection and model selection

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0738186B2 (ja) 1989-03-13 1995-04-26 シャープ株式会社 自己拡張形ニユーラル・ネットワーク
JPH0822446A (ja) 1994-07-11 1996-01-23 Matsushita Electric Ind Co Ltd ニューラルネットワーク回路
US5621862A (en) 1993-07-29 1997-04-15 Matsushita Electric Industrial Co., Ltd. Information processing apparatus for implementing neural network
JP2857593B2 (ja) * 1995-03-02 1999-02-17 杉谷金属工業株式会社 自由デザイン模様の表面を有する無機物と金属の複合材の製造方法
KR100306140B1 (ko) 1997-12-24 2001-11-14 이구택 신경회로망에 의한 선재냉각 제어방법
KR100307202B1 (ko) 1998-10-27 2001-12-17 전기준 신경망을이용한이송속도제어방법
KR100277694B1 (ko) 1998-11-11 2001-01-15 정선종 음성인식시스템에서의 발음사전 자동생성 방법
US7367949B2 (en) * 2003-07-07 2008-05-06 Instrumentarium Corp. Method and apparatus based on combination of physiological parameters for assessment of analgesia during anesthesia or sedation
US7469209B2 (en) 2003-08-14 2008-12-23 Dilithium Networks Pty Ltd. Method and apparatus for frame classification and rate determination in voice transcoders for telecommunications
US7620546B2 (en) 2004-03-23 2009-11-17 Qnx Software Systems (Wavemakers), Inc. Isolating speech signals utilizing neural networks
US8443169B2 (en) 2005-03-28 2013-05-14 Gerald George Pechanek Interconnection network connecting operation-configurable nodes according to one or more levels of adjacency in multiple dimensions of communication in a multi-processor and a neural processor
US7395251B2 (en) 2005-07-01 2008-07-01 International Business Machines Corporation Neural networks for prediction and control
NZ567815A (en) * 2005-11-15 2011-08-26 Bernadette Garner Training neural networks including selecting an output to be trained and connecting an output neuron to input neurons
US20070233802A1 (en) 2006-02-02 2007-10-04 Sonim Technology, Inc. Methods and arrangements for implementing whisper mode conversations during a multiparty telecommunication session
US7882052B2 (en) * 2006-09-11 2011-02-01 Eors Szathmary Evolutionary neural network and method of generating an evolutionary neural network
US8521542B1 (en) 2007-05-24 2013-08-27 United Services Automobile Association (Usaa) Systems and methods for classifying account data using artificial neural networks
KR20090050809A (ko) 2007-11-16 2009-05-20 삼성전자주식회사 신경회로망을 이용한 포토마스크 제조 방법 및 제조 장치와이를 위한 기록매체
US8412525B2 (en) 2009-04-30 2013-04-02 Microsoft Corporation Noise robust speech classifier ensemble
US9839364B2 (en) * 2009-10-06 2017-12-12 University Of Virginia Patent Foundation Ventricular activation (RR) entropy change as a predictor of sudden cardiac death in cardiac resynchronization therapy patients
US20120017149A1 (en) 2010-07-15 2012-01-19 Jeffrey Lai Video whisper sessions during online collaborative computing sessions
US9235799B2 (en) 2011-11-26 2016-01-12 Microsoft Technology Licensing, Llc Discriminative pretraining of deep neural networks
WO2016010601A2 (en) * 2014-04-23 2016-01-21 The Florida State University Research Foundation, Inc. Adaptive nonlinear model predictive control using a neural network and input sampling

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021183135A1 (en) * 2020-03-13 2021-09-16 Hewlett-Packard Development Company, L.P. Transmitting node instructions

Also Published As

Publication number Publication date
CN106203623A (zh) 2016-12-07
JP2016103262A (ja) 2016-06-02
KR20160063965A (ko) 2016-06-07
US20160155049A1 (en) 2016-06-02
KR102483639B1 (ko) 2023-01-03
US10832138B2 (en) 2020-11-10

Similar Documents

Publication Publication Date Title
JP6605259B2 (ja) ニューラルネットワーク構造拡張方法、次元縮小方法、及びその方法を用いた装置
Choudhury et al. Imputation of missing data with neural networks for classification
Schuman et al. Opportunities for neuromorphic computing algorithms and applications
Loni et al. DeepMaker: A multi-objective optimization framework for deep neural networks in embedded systems
KR102492318B1 (ko) 모델 학습 방법 및 장치, 및 데이터 인식 방법
Zhang et al. Deep Takagi–Sugeno–Kang fuzzy classifier with shared linguistic fuzzy rules
JP7037143B2 (ja) ニューラルネットワークのための方法及び電子装置
KR102399548B1 (ko) 뉴럴 네트워크를 위한 방법 및 그 방법을 수행하는 장치
Nápoles et al. Learning and convergence of fuzzy cognitive maps used in pattern recognition
US20180018555A1 (en) System and method for building artificial neural network architectures
Wang A hybrid sampling SVM approach to imbalanced data classification
US20190258932A1 (en) Method of performing learning of deep neural network and apparatus thereof
Sen et al. Approximate computing for spiking neural networks
JP2018195314A (ja) 再帰型ニューラルネットワークアーキテクチャの生成のためのドメイン固有言語
CN112771543A (zh) 通过包括实现成本作为目标来训练神经网络
EP3785187A1 (en) Personalized gesture recognition for user interaction with assistant systems
US20200193075A1 (en) System and method for constructing a mathematical model of a system in an artificial intelligence environment
KR20160102690A (ko) 신경망 학습 방법 및 장치, 및 인식 방법 및 장치
Le et al. EUSC: A clustering-based surrogate model to accelerate evolutionary undersampling in imbalanced classification
Yilmaz Reservoir computing using cellular automata
JP2020123270A (ja) 演算装置
US11429865B1 (en) Optimizing neural networks
KR20210060146A (ko) 딥 뉴럴 네트워크 모델을 이용한 데이터 처리 방법 및 장치, 딥 뉴럴 네트워크 모델을 학습시키는 학습 방법 및 장치
JP2022523207A (ja) ピラミッドレイヤのアーキテクチャを生成するためのシステムおよび方法
JP2020052935A (ja) 学習済みモデルを生成する方法、データを分類する方法、コンピュータおよびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190604

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190903

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191016

R150 Certificate of patent or registration of utility model

Ref document number: 6605259

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250