JP6327926B2

JP6327926B2 - 階層型ニューラルネットワークの学習システム及び方法

Info

Publication number: JP6327926B2
Application number: JP2014093374A
Authority: JP
Inventors: 隆志篠崎
Original assignee: National Institute of Information and Communications Technology
Current assignee: National Institute of Information and Communications Technology
Priority date: 2014-04-30
Filing date: 2014-04-30
Publication date: 2018-05-23
Anticipated expiration: 2034-04-30
Also published as: JP2015210747A

Description

本発明は、各種制御、認識、診断等に利用できる階層型ニューラルネットワークの学習システム及び方法に関するものである。

ニューラルネットワークは学習能力を持ち、非線形性、パターンマッチング性能に優れており、各種制御、認識、診断等の多くの分野に用いられている。このニューラルネットワークとして、従来より多くのパターンが提案されているが、その代表的なものとして、階層型ニューラルネットワークがある。階層型ニューラルネットワークは、外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、入力層ニューロンと出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層とを有してなる。各層は、ＳＯＭ（Self-Organizing Map）に分割され、各ＳＯＭに属するニューロンは、隣接する層のニューロンと結合を構成するものとなっている。このような結合の構造は、結合荷重値等で表され、結合荷重値を調整することにより出力信号を目標信号に近付ける学習を行う。

このような学習方法においては、特に教師あり学習を用いた信号判別課題において非常に高い性能を示している。この教師あり学習は、一般に逆誤差伝播学習法（ＢＰ法）が用いられている（例えば、非特許文献１参照。）。このＢＰ法では、与えられた入力信号とニューラルネットワークの出力の誤差が小さくなるように各ニューロンの結合荷重値を更新する。

Rumelhart, D.D., Hinton,G.E & Williams,r.J.:Leaning representations by backpropagation errors, Nature,323(9),pp.533-536(1986) Bengio,Y., Lambling,P.,Popovici,D.&Larochelle,H:Greedy layer-wise training of deep network,Advance in Neural Information Processing Systems 19,pp.153-160(2007)

ところで、上述した従来のＢＰ法では、教師信号を、ニューラルネットワークの出力層から入力層に向けて逆方向に逆誤差伝播させることにより学習させるものである。実際にこのニューラルネットワークにおいて伝播する信号の情報量は、入力層から出力層に向けて層を経るに従い少なくなる。このため、出力層から教師信号を入力するということは、この出力層の不足した情報量に基づいてニューラルネットワーク全体を学習させることに他ならないものであり、学習効率を向上させることができない。更に単一の判別課題においては出力層の出力は基本的にスパースな形態を示すことから、学習のベースとなる教師信号に対する誤差情報についても必然的にスパースなものとなる。その結果、学習情報の不足が顕著なものとなり、同様に学習効率を向上させることができない。

近年において提案されている自己符号化器においては、これを解決するために層毎の学習を繰り返す積層自己符号化という手法が用いられている（例えば、非特許文献２参照。）。しかしながら、この非特許文献２の開示技術では、追加学習が困難になるという問題点があった。

そこで本発明は、上述した問題点に鑑みて案出されたものであり、その目的とするところは、正確かつ高速なニューラルネットワークの学習を実現できる階層型ニューラルネットワークの学習システム及び方法を提供することにある。

本発明に係る階層型ニューラルネットワークの学習システムは、外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける学習を行う階層型ニューラルネットワークの学習システムにおいて、予め用意した入力信号と目標信号の組からなる学習セットにおける入力信号を上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力手段と、上記階層型ニューラルネットワークの各層を構成する各ＳＯＭ（Self-Organizing Map）の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該ＳＯＭ単位で行うスパース処理手段と、上記スパース処理手段による処理が行われた上記階層型ニューラルネットワークに上記信号入力手段により入力された上記入力信号を順方向に伝播させて出力信号を取得する出力信号取得手段と、上記出力信号取得手段により取得された出力信号と、上記入力信号と組になっている目標信号とを比較し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整手段とを備えることを特徴とする。

本発明に係る階層型ニューラルネットワークの学習システムは、外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける表現学習を行う階層型ニューラルネットワークの学習システムにおいて、入力信号群から選択した任意の入力信号を代表入力信号として、これを上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力手段と、上記階層型ニューラルネットワークの各層を構成する各ＳＯＭ（Self-Organizing Map）の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該ＳＯＭ単位で行うスパース処理手段と、上記スパース処理手段による処理が行われた上記階層型ニューラルネットワークに上記信号入力手段により入力された上記代表入力信号を順方向に伝播させて得られる代表出力信号を取得する出力信号取得手段と、上記入力信号群の中から上記代表入力信号とは異なる他の入力信号が上記信号入力手段により入力されて上記スパース処理手段による上記処理を経て上記出力信号取得手段により取得された出力信号と、上記目標信号とみなした上記代表出力信号とを比較し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整手段とを備えることを特徴とする。

本発明に係る階層型ニューラルネットワークの学習方法は、外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける学習を行う階層型ニューラルネットワークの学習方法において、予め用意した入力信号と目標信号の組からなる学習セットにおける入力信号を上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力ステップと、上記階層型ニューラルネットワークの各層を構成する各ＳＯＭ（Self-Organizing Map）の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該ＳＯＭ単位で行うスパース処理ステップと、上記スパース処理ステップにおける処理が行われた上記階層型ニューラルネットワークに上記信号入力ステップにより入力された上記入力信号を順方向に伝播させて出力信号を取得する出力信号取得ステップと、上記出力信号取得ステップにおいて取得された出力信号と、上記入力信号と組になっている目標信号とを比較し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整ステップとを有することを特徴とする。

本発明に係る階層型ニューラルネットワークの学習方法は、外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける表現学習を行う階層型ニューラルネットワークの学習方法において、入力信号群から選択した任意の入力信号を代表入力信号として、これを上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力ステップと、上記階層型ニューラルネットワークの各層を構成する各ＳＯＭ（Self-Organizing Map）の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該ＳＯＭ単位で行うスパース処理ステップと、上記スパース処理ステップにおける処理が行われた上記階層型ニューラルネットワークに上記信号入力ステップにより入力された上記代表入力信号を順方向に伝播させて得られる代表出力信号を取得する出力信号取得ステップと、上記入力信号群の中から上記代表入力信号とは異なる他の入力信号が上記信号入力ステップにより入力されて上記スパース処理ステップにおける上記処理を経て上記出力信号取得ステップにより取得された出力信号と、上記目標信号とみなした上記代表出力信号とを比較し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整ステップとを有することを特徴とする。

上述した構成からなる本発明によれば、正確かつ高速なニューラルネットワークの学習を実現できる。また、本発明によれば、従来技術のように出力層の不足した情報量に基づいてニューラルネットワーク全体を学習させる必要もなくなることから、大規模化に適した構造を持つと共に、大脳皮質の神経回路をより模したものとなっている。また本発明によれば、他の神経回路の学習手法との親和性をも向上させることができる。

本発明を適用した階層型ニューラルネットワークの学習システムのブロック構成図である。階層型ニューラルネットワークの構造について説明するための図である。ＳＯＭにおけるニューロンの詳細な接続関係を示す図である。入力信号、教師信号及び目標信号の関係について説明するための図である。階層型ニューラルネットワーク記憶部に記憶される階層型ニューラルネットワークを簡略化した概念図である。本発明における階層型ニューラルネットワークの演算処理方法について説明するための図である。本発明における階層型ニューラルネットワークの演算処理方法について説明するための他の図である。本発明における階層型ニューラルネットワークの演算処理方法について測定したエラー率の結果を示す図である。

以下、本発明を適用した階層型ニューラルネットワークの学習システムを実施するための形態について図面を参照しながら詳細に説明をする。

図１は、本発明を適用した階層型ニューラルネットワークの学習システム１のブロック構成を示している。この学習システム１は、例えばパーソナルコンピュータ等の電子機器等、あるいはこれらに実装されるコンピュータプログラムとして具体化されるものであって、外部からの入力信号を入力するための信号入力部１１と、この信号入力部１１に接続された演算部１３と、演算部１３に接続された出力部１２とを備えている。演算部１３は、目標信号記憶部２２と、この目標信号記憶部２２に接続される出力信号生成部２４と、結合荷重値調整部２５とを有し、更にこの出力信号生成部２４は、階層型ニューラルネットワーク記憶部２３が接続される。結合荷重値調整部２５は、目標信号記憶部２２と、階層型ニューラルネットワーク記憶部２３とに接続される。

信号入力部１１は、外部から入力信号が入力される。実際には、この入力信号は検査対象に基づくデータであり、仮に検査対象が音声であれば音声データが入力信号として入力され、検査対象が画像であれば画像データが入力信号として入力されることとなる。この信号入力部１１は、音声データを入力信号として受け付ける場合には、マイクロフォン等として具現化され、画像データを入力信号として受け付ける場合には、撮像装置等として具現化されるものであってもよい。また信号入力部１１は、他のあらゆるセンシング手段を含む概念であり、検査対象の物理的、化学的性質に関わる測定量、特に人間の五感に関する測定量を電気信号にして出力可能なセンサであればよい。またユーザ側がキーボード等のユーザインターフェースを介して直接的にデータを入力可能なデバイスとして構成されるものであってもよい。

目標信号記憶部２２は、後述する目標信号を記憶するためのメモリ、ハードディスク等を始めとした記憶手段により構成される。この目標信号は、信号入力部１１に入力される入力信号との間で組を構成する学習セットとなり得る場合もあるが、かかる場合においても同様にこの目標信号記憶部２２に記憶される。ちなみに、この目標信号記憶部２２へ記憶すべき目標信号の入力は、上述した信号入力部１１を介して行われるものであってもよいし、予めシステム内において記憶されているものであってもよい。

階層型ニューラルネットワーク記憶部２３には、図２に示すような階層型ニューラルネットワーク３が記憶される。この階層型ニューラルネットワーク３は、外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層３１と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層３３と、入力層ニューロンと出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層３２とを有する階層型として構成される。階層型ニューラルネットワーク３は、入力層３１に入力信号が供給され、これが中間層３２を伝播して出力層３３へと到達するが、この伝播方向を、以下、順方向という。

入力層３１は、複数のＳＯＭ（Self-Organizing Map）４１に分割されており、更に個々のＳＯＭ４１内には複数の入力層ニューロンが配置される。中間層３２は、複数のＳＯＭ４２に分割されており、更に個々のＳＯＭ４２内には複数の中間層ニューロンが配置される。出力層３３は、１つのＳＯＭ４３からなり、このＳＯＭ４３内には複数の出力層ニューロンが配置される。

図３は、これら各ＳＯＭ４１とＳＯＭ４２ａにおけるニューロンの詳細な接続関係を示している。

ＳＯＭ４１内にある各入力層ニューロン５１は、ＳＯＭ４２ａ内にある中間層ニューロン５２と完全結合の経路で結ばれている。学習を通じて入力層ニューロン５１と、中間層ニューロン５２との間における経路につき接続重み付けを変化させる。ニューロン５１、５２間における経路の重み付けは結合荷重値ｗとして表される。このような結合荷重値ｗが設定されている前提の下、入力信号が入力層３１に入力された場合には、これに基づいて伝播する信号と結合荷重値ｗとの内積等で表される適合度を算出していくこととなる。ちなみにこの伝播する信号と結合荷重値ｗとの適合度は、これらの内積に限定されるものではなく、例えば、伝播する信号と結合荷重値２とを引数とする任意の評価関数を用いるようにしてもよい。かかる場合において、結合荷重値ｗとの適合度は、シグモイド等特殊な関数を挟んだものを用いるようにしてもよいし、カルバック・ライブラー情報量を用いるようにしてもよい。なお、この図３は、ＳＯＭ４１とＳＯＭ４２ａの関係について示しているが、ＳＯＭ４２ａとＳＯＭ４２ｂ、ＳＯＭ４２ｂとＳＯＭ４３との関係についても同様に完全結合の経路とされており、またその経路間の重み付けは、結合荷重値ｗを介して表されるものとなる。

ちなみに、この階層型ニューラルネットワーク３に行われる演算は、従来における通常の計算ロジックを適用するものであり、特段異なる計算ロジックを使用するものではない。

出力信号生成部２４は、階層型ニューラルネットワーク記憶部２３に記憶されているニューラルネットワーク３にアクセスし、その演算を全て制御する。出力信号生成部２４は、信号入力部１１から取得した入力信号を、階層型ニューラルネットワーク３における入力層３１に入力する処理を行う。この出力信号生成部２４は、この階層型ニューラルネットワーク３中を伝播する信号について最終的に出力層３３から出力される出力信号を取得し、これを出力部１２へと出力する。

結合荷重値調整部２５は、目標信号記憶部２２に記憶されている目標信号を読み出し、これを各種制御に利用する。また結合荷重値調整部２５は、階層型ニューラルネットワーク３を構成するニューロンの経路について、後述するスパースとみなす処理を施す。結合荷重値調整部２５は、階層型ニューラルネットワーク３におけるニューロンの伝播する信号と結合荷重値ｗとの内積等で表される適合度が高くなるように、或いは低くなるように調整を行う。

出力部１２は、出力信号生成部２４により生成された出力信号を出力する。この出力部１２は、例えばユーザが画面上で出力信号を確認するためのディスプレイ等であり、或いはこれらの出力信号を外部に出力するためのインターフェース等である。出力部１２は、この出力信号を記憶するための固定型又は可搬型のメモリ等で構成されていてもよい。出力部１２は、出力信号に関するデータを次回以降の学習に利用するために、これを出力信号生成部２４や結合荷重値調整部２５にフィードバックさせるようにしてもよい。また出力部１２からの出力信号に基づくデータを目標信号記憶部２２に記憶させるようにしてもよい。

次に、本発明を適用した階層型ニューラルネットワークの学習システム１の動作について説明をする。この学習において使用される入力信号は、図４に示すように同一のカテゴリーからなる群で構成されている。以下の例では、この入力信号のカテゴリーとして、手書きで描いた文字を画像情報として検出したデータとする。

この入力信号の部分集合として教師信号がある。この教師信号は、これは入力信号のセットの中から目標信号と対応付けられた学習セットとして構成されたものである。つまり教師信号はカテゴリーとしては入力信号に属するものであり、換言すれば入力信号の中で目標信号と１対１で関連付けられているものを教師信号として定義している。例えば、目標信号が図４に示すように、「５」を表すニューロンだけが発火した状態である場合に、この目標信号「５」と関連付けて記憶されている、きれいな筆跡の「５」からなる画像情報で構成される入力信号が、教師信号となる。ちなみに、汚い筆跡で書かれたものであっても、目標信号と関連付けられている場合には、教師信号になり得ることは勿論である。

これに対して、入力信号の中で目標信号と関連付けられていないものは、教師信号ではなく、あくまで通常の入力信号である。この教師信号を除く入力信号は、いわばこの階層型ニューラルネットワークの学習システム１において、これから学習させる信号である。図４においては、これから学習させる入力信号の例として、汚い筆跡の「５」の画像を示している。

本発明を適用した階層型ニューラルネットワークの学習システム１では、入力信号の中の教師信号を順方向に伝播させることを特徴とする。即ち、汚い筆跡の「５」の画像からなる入力信号を学習させるためには、先ずきれいな筆跡の「５」の画像からなる教師信号を入力信号として信号入力部１１に入力する。信号入力部に入力された教師信号としての入力信号は、演算部１３に送られる。この演算部１３において教師信号としての入力信号を受け付けた場合には、これをニューラルネットワークにおける入力層３１に入力する。図５は、この階層型ニューラルネットワーク記憶部２３に記憶される階層型ニューラルネットワーク３を簡略化した概念図である。この順方向に向けて入力層３１、中間層３２ａ、３２ｂ、出力層３３が配列され、各ＳＯＭ４１〜４３内には、簡単のためそれぞれ４つのニューロン５１〜５４が含まれているものと仮定する。

このような階層型ニューラルネットワーク３に上述した教師信号としての入力信号が入力された場合に、入力層３１に入力された信号は、入力層３１から順方向に向けて伝播していくことになる。このとき、順方向に向けて隣接するニューロン５１〜５４間に形成されるそれぞれの経路について、伝播していく信号と、結合荷重値ｗとの内積等で表される適合度を求める。図５では、より適合度が高い経路が順方向に向けて出力層３３に至るまで連結されている状態が示されている。適合度の高い経路が連結するニューロン５１〜５４、適合度が中程度の経路が連結するニューロンについては、図中において色分けして表示している。実際に演算を行う際において、従来では、この適合度の高い経路のみならず、適合度が中程度並びに適合度が低いものも全て演算式に含めて演算を行っている。このため、実際に適合度が低くて殆どニューロン５１〜５４間で連結経路を形成しないものも含めて演算を行うため、演算量が膨大なものとなってしまっている。特に連結経路を形成しない、言い換えれば僅かにしか活動しないニューロンについて演算に含めても、学習効率を特段向上させることができない。

このため本発明では、入力信号の中の教師信号を順方向に伝播させる際において、図６に示すように、各ＳＯＭ４１〜４３内において伝播する信号と結合荷重値との適合度が最も高い経路を先ず選択する。そして、伝播する信号と結合荷重値との適合度が最も高い経路を抽出後、それ以外の経路はスパースとみなす処理を行う。図６の例では、各ＳＯＭの中で適合度が最も高い経路のみが残り、それ以外の経路はスパースとみなされて図中から削除されている状態が示されている。かかる処理を全てのＳＯＭ４１〜４３について実行する。

そして、この選択された適合度の高い経路（ニューロン）を優先的に利用して、信号を入力層３１から出力層３３に至るまで順方向に向けて伝播させ、出力信号を取得する。この過程で、伝播する信号が、何れの経路を辿って順方向に進むかが明確化され、また適合度を通じて当該経路を通過する量（頻度）が明確になる。

出力信号生成部２４は、取得したこの出力信号を出力部１２に向けて出力する。また出力信号生成部２４は、取得した出力信号と、教師信号としての入力信号と組になっている目標信号とを比較する。即ち、この出力信号は、教師信号としての入力信号を階層型ニューラルネットワーク３に入力し、これを順方向に伝播させることで得られたものであり、当該入力信号と関連付けられている目標信号と比較することにより、この階層型ニューラルネットワーク３による出力が正解であるか否かを判定することができる。

図６の例では、出力層３３から出力された出力信号の値が「５」であり、目標信号と一致していた場合の例である。このように、出力信号と目標信号とが一致している場合には、階層型ニューラルネットワーク３において選択した経路がより正解を導き出す上で重要なものであり、また信号が伝播する確率が高いことが示されている。

かかる場合には、上述の選択した経路を伝播する信号と結合荷重値との適合度が増加するように調整する。かかる調整は、結合荷重値調整部２５による制御を通じて行われる。このようにして適合度が増加するように調整が行われることで、階層型ニューラルネットワーク３を構成する経路がより正解を導く上で好適なものに更新されることとなる。また、上述の適合度は、あくまで今回入力した入力信号と結合荷重値との適合度ではあるが、これを増加させることで、同じ目標信号を持つ他の教師信号としての入力信号の適合度を向上させることができる。

図７の例では、出力層３３から出力された出力信号の値が「５」であり、目標信号と不一致の場合の例である。このように、出力信号と目標信号とが不一致の場合には、階層型ニューラルネットワーク３において選択した経路がより正解を導き出す上であまり重要なものではなく、また信号が伝播する確率が低いことが示されている。

かかる場合には、上述の選択した経路を伝播する信号と結合荷重値との適合度が減少するように調整する。かかる調整も同様に結合荷重値調整部２５による制御を通じて行われる。このようにして適合度が減少するように調整が行われることで、階層型ニューラルネットワーク３を構成する経路がより不正解を導かないようなものとなるように更新されることとなる。また、上述の適合度は、あくまで今回入力した入力信号と結合荷重値との適合度ではあるが、これを減少させることで、同じ目標信号を持つ他の教師信号としての入力信号の適合度を減少させ、今回の経路を極力使用しないように制御することで、不正解になるのを防止するように調整される。
また本発明によれば、出力信号と目標信号との一致もしくは不一致の判定は、必ずしも離散的な２択を意味するものではない。出力信号と目標信号との差異に基づく一致度合に基づいて、結合荷重値との適合度を増加させ、又は減少させるようにしてもよい。この一致度合は、連続的な値を持つものであってもよい。

このような教師ありの先行伝播学習を繰り返し行うことにより、階層型ニューラルネットワーク３の学習効率を向上させることができる。その結果、学習速度をより向上させることができる。

なお、上述した実施の形態においては、各ＳＯＭ４１〜４３内において伝播する信号と結合荷重値との適合度が最も高い経路を先ず選択する場合を例にとり説明をしたが、これに限定されるものではない。結合荷重値との適合度が最も高い経路に加え、その近傍にある経路も同様に選択するようにしてもよい。かかる場合には、選択される経路が、適合度が最も高い経路及びその近傍にある経路と複数に亘ることとなり、それ以外の経路がスパースであるものとみなされる。また、適合度が最も高い経路の近傍の経路の意味するところは、当該適合度が最も高い経路の両側に隣接する経路に限定されるものではなく、更にその外側に向けて隣接するいかなる数の経路も含む。

また目標信号と一致したものと判定された入力信号を新たに教師信号とみなし、この教師信号を新たに階層型ニューラルネットワーク３の入力層３１に入力し順方向に伝播させ、選択された正しい経路の情報を記憶するようにしてもよい。この正しい経路の情報は、例えば目標信号記憶部２２又は図示しないメモリやハードディスク等の記憶装置に記憶させる。次に他の学習セットの入力信号が信号入力部１１に入力され、これを階層型ニューラルネットワーク３中を伝播させる上で、上記記憶した正しい経路の情報を読み出し、更に当該正しい経路の情報に基づいてスパース処理を行うようにしてもよい。

ここで、上述した正しい経路の情報が反映された先行伝播信号をx_advとし、他の学習セットの入力信号をx_targetとする。このとき、学習の目的となるx_targetを先行伝播信号x_advの残効の下で処理する。このとき、実際の階層型ニューラルネットワーク３に入力されるx_inputは、以下の式で表すことが可能となる。

x_input=βx_adv+(１−β)x_target

βは、全体の入力に対する先行伝播信号をx_advの比率を表している。入力ベクトルx_inputは、目標信号を、教師信号である先行伝播信号をx_advの残効によって修正したものとなる。先行伝播信号x_advをどの程度反映させるかは、システムの設計時においてケースバイケースで設定されるものであるが、ユーザ側において自由に変更可能とされていてもよいことは勿論である。例えば、学習が進展してくれば、経路もかなり固まってくるため、学習の進展に応じてβを徐々に下げることにより先行伝播信号x_advの比率下げるようにしてもよい。

また、本発明によれば、各ＳＯＭ４１〜４３内における各経路の結合荷重値の適合度の競合度を利用し、結合荷重値を調整するようにしてもよい。ここでいう各経路の結合荷重値の適合度の競合度とは、それぞれのＳＯＭ４１〜４３内において、経路の結合荷重値の適合度がどの程度競合しているかの度合いを示すものである。例えば図５の例の場合には、ある一つのＳＯＭ４１〜４３内において、適合度の高い経路が１つあり、残りの３つの経路は何れも適合度が低い場合には、当該適合度の高い経路にとって競合する経路が少ないため、競合度が低いということができる。これに対して、適合度中の経路が２つあり、残りの２つの経路は何れも適合度が低い場合には、当該適合度中の経路にとって競合する経路が比較的多いため、競合度が高いということができる。

このようにして各ＳＯＭ４１〜４３内における経路の適合度を相対的に比較し、その相対的な大小関係を数値化した競合度を求め、更にこの求めた競合度に基づいて、結合荷重値の調整量を変化させることを当該ＳＯＭ４１〜４３毎に行う。かかる場合において適合度の競合度が高いＳＯＭ４１〜４３については、今後において特に学習が必要ないことを判別することができる。かかる場合には、他のＳＯＭ４１〜４３と比較して結合荷重値の調整量を低くするように設定する。また、適合度の競合度が低いＳＯＭ４１〜４３については、今後において特に学習が必要であることを判別することができる。かかる場合には、他のＳＯＭ４１〜４３と比較して結合荷重値の調整量を高くするように設定する。これにより、学習が必要なＳＯＭ４１〜４３に焦点を当てて集中的に学習させることが可能となる。

また本発明を適用した階層型ニューラルネットワークの学習システム１では、いわゆる表現学習を行わせるものであってもよい。

かかる場合には、先ず入力信号群から選択した任意の入力信号を代表入力信号とする。この代表入力信号を階層型ニューラルネットワーク３の入力層３１に対して入力して順方向に伝播させる。このとき、上述と同様に各ＳＯＭ４１〜４３の各ニューロン５１〜５４につながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理をＳＯＭ４１〜４３単位で行う。そして、このようなスパース処理が行われた階層型ニューラルネットワーク３から出力される出力信号を取得する。この代表入力信号を順方向に伝播させることにより得られる出力信号（以下、代表出力信号という。）を一時的に記憶しておく。

次に代表入力信号とは異なる他の入力信号を階層型ニューラルネットワーク３の入力層３１に対して入力して順方向に伝播させる。このとき、上述と同様に各ＳＯＭ４１〜４３の各ニューロン５１〜５４につながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理をＳＯＭ４１〜４３単位で行う。このようにして得られた出力信号と、目標信号とみなした代表出力信号とを比較し、これらが一致している場合には、選択した経路を伝播する他の信号と結合荷重値との適合度が増加するように調整し、これらが不一致の場合には、選択した経路を伝播する他の信号と結合荷重値との適合度が減少するように調整する。

これらの動作を繰り返し実行することにより、同様に階層型ニューラルネットワーク３の学習効率を向上させることができる。その結果、学習速度をより向上させることができる。

ちなみに従来の教師あり学習では学習を安定させるために層ごとの学習(layer-wised learning) を繰り返すのが一般的であるが、本発明によれば、階層型ニューラルネットワーク３全体を一括して学習する。この階層型ニューラルネットワーク３全体に伝達される学習情報として、あくまで出力信号が目標信号と一致しているか否かの判別結果のみ使用し、局所的にはこれを順方向に伝播する信号そのものを教師信号として利用する。

また、本発明によれば、従来技術のように出力層の不足した情報量に基づいてニューラルネットワーク全体を学習させる必要もなくなることから、大規模化に適した構造を持つと共に、大脳皮質の神経回路をより模したものとなっている。また本発明によれば、他の神経回路の学習手法との親和性をも向上させることができる。

また、本発明を自然画像認識等に応用する場合においても、新規の自然画像を、学習済みの人工的でクリーンなデータと関連付けられる可能性が考えられ、これによって自然画像内の文字認識等も可能となる。また先行伝播させる教師信号としての入力信号についても、単一の信号のみならず、これを多重化したもの(例えば、「赤く」て「丸い」果物として「りんご」を学習する) も可能である。これにより、自然界のマルチモーダルな情報の統合(例えば画像と音など) が実現できる可能性もある。

以下、本発明の効果を検証する上で行ったシミュレーションについて説明をする。シミュレーションにおいて使用した階層型ニューラルネットワーク３のパラメータを表１に示す。

個々のＳＯＭ４１〜４３をモジュールの基本単位として構成している。また個々のＳＯＭ４１〜４３モジュールは１００個のニューロンにより構成され、モジュール毎に一つ前の層から受容野（Receptive Field:RF）に基づいた部分入力を受け取る。１層目のネットワークは、上述した入力層３１に相当し、２層目のネットワークは、中間層３２ａに、３層目のネットワークは中間層３２ｂに、４層目のネットワークは、出力層３３に相当する。表１によれば、１層目のネットワークは、４９個のＳＯＭ、即ち４９００個のニューロンから構成され、個々のニューロンは、２８×２８ピクセルの入力画像のうちの受容野に相当する６×６ピクセルからの入力を受け、層全体で１７６４００個のシナプスを構成する。シナプスの重みの初期値は、一様乱数によって生成し、重みベクトルは、各ニューロンについて２ノルムで規格化している。

個々のニューロン（これにつながる経路）は、伝播する信号と、結合荷重値との内積を計算し、上述のようにＳＯＭ内において最も大きな内積値を持つニューロン（経路）の出力を１．０とし、その近隣のニューロン（経路）が距離に依存して減衰する値を出力するようにする。距離による減衰は、ガウス関数G(d)=exp(-d²/2σ²)を用いた。dはあるニューロンと最も大きな内積値を持つニューロンとのＳＯＭ内での距離を表している。σは標準偏差であるが、いわばガウス関数における距離減衰係数に相当するものであり、今回のシミュレーションでは０．４としている。

このシミュレーションでは、最初に事前学習を行っている。この事前学習では、教師なしの競合学習を用いている。この競合学習では、入力信号（入力ベクトル）と結合荷重値との内積を求め、得られる内積値が最大となるニューロン（経路）及びその近傍のニューロン（経路）について、結合荷重値を入力ベクトルに近づけるように更新する。またそれ以外のニューロン（経路）については上述と同様にスパースとみなす処理を行う。結合荷重値の更新の規則は、以下のように記述できる。

Δw=αx_input exp(-d²/2σ²)

ここでwは重みベクトル、x_inputは入力ベクトル、αは学習係数である。この学習係数αは、初期値１．００から学習セッション終了時の値０．００まで単調に減少するように設定している。ガウス関数による距離減衰係数σも同様に初期値３．５から終了時の０．０へと減少するモデルとしている。重みベクトルは、以下の式のように値の更新毎に規格化される。

w_new=(w+Δw)/|w+Δw|

入力信号としては、ＭＮＩＳＴの手書き数字の画像データセットを利用する。事前学習では、層毎に学習を進めていく方式を利用している。先ず１層目について１００００サンプルで学習され、次に２層目が追加された状態で１００００サンプル学習され、層を増やす毎に１００００サンプル学習させる。その結果、最終的には、第１層目が４００００サンプル、第２層目が３００００サンプル、第３層目が２００００サンプル、第４層目が１００００サンプルで学習されることとなる。

事前学習を行わせた後に、教師ありの先行伝播学習を行わせる。この先行伝播学習の詳細は、上述した実施の形態に示すとおりであるが、その詳細は、（Ahalt,S.C., Krishnamurthy, A.K., Chen, P. & Melton D.E.: Competitive learning algorithms for vector quantization, Neural Networks, 3(3), pp. 277-290(1990)）に記載されているLearning Vector Quantization(LVQ)に基づくものである。具体的には、このＬＶＱを階層型ニューラルネットワーク３に対応させて、上述した教師信号を順方向へ伝播させる。この教師ありの先行伝播学習においても、事前学習と同様にスパース処理が行われる。

以上に加え、階層型ニューラルネットワークにおける各層に対応する項と、ＳＯＭ内での距離減衰の項を加えた学習の式は、以下のように記述できる。

Δw=r^n-kα(βx_adv+(１−β)x_target)exp(-d²/2σ²)

ここでｒは、層から層への学習の減衰係数であり、ｎは階層型ニューラルネットワークの層の総数、kは学習を適用する層となる。これにより、１層目では最も弱い学習が行われ、順方向に進むにつれて強い学習が行われる。

この教師ありの先行伝播学習では、上述した事前学習の結果において，それぞれの目標信号(「0」から「9」までの数値) に対して最大の値を出力したニューロンを代表ニューロンとし、これを発火させる入力信号を先行伝播学習法のための教師信号として用いた。

図８は、教師ありの先行伝播学習法によるエラー率の変化を示している。それぞれ横軸は、学習セットの適用回数（学習回数）であり、縦軸は、エラー率を示している。事前学習直後では、エラー率が17.2±1.0%であったの対して、先行伝播学習法によれば２０回の学習回数を経てエラー率を5.6±0.1%にまで低下させることができることが示されている。このため、学習効率を向上させることができることがシミュレーションを通じて検証された。

１階層型ニューラルネットワークの学習システム
３階層型ニューラルネットワーク
１１信号入力部
１２出力部
１３演算部
２２目標信号記憶部
２３階層型ニューラルネットワーク記憶部
２４出力信号生成部
２５結合荷重値調整部
３１入力層
３２中間層
３３出力層
４１、４２、４３ＳＯＭ
５１〜５４ニューロン

Claims

外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける学習を行う階層型ニューラルネットワークの学習システムにおいて、
予め用意した入力信号と目標信号の組からなる学習セットにおける入力信号を上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力手段と、
上記階層型ニューラルネットワークの各層を構成する各ＳＯＭ（Self-Organizing Map）の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該ＳＯＭ単位で行うスパース処理手段と、
上記スパース処理手段による処理が行われた上記階層型ニューラルネットワークに上記信号入力手段により入力された上記入力信号を順方向に伝播させて出力信号を取得する出力信号取得手段と、
上記出力信号取得手段により取得された出力信号と、上記入力信号と組になっている目標信号とを比較し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整手段とを備えること
を特徴とする階層型ニューラルネットワークの学習システム。
上記結合荷重値調整手段により上記目標信号と一致したものと判定された入力信号を教師信号とみなし、当該教師信号を上記信号入力手段に入力し順方向に伝播させ、スパース処理手段により選択された正しい経路の情報を記憶する記憶手段を更に備え、
上記スパース処理手段は、他の学習セットの入力信号が上記信号入力手段に入力された場合に、上記記憶手段により記憶された正しい経路の情報に基づいて上記処理を行うこと
を特徴とする請求項１記載の階層型ニューラルネットワークの学習システム。
各ＳＯＭ内における各経路の結合荷重値の適合度の競合度を求め、求めた競合度に基づいて当該ＳＯＭ毎の上記結合荷重値の調整量を変化させること
を特徴とする請求項１又は２記載の階層型ニューラルネットワークの学習システム。
外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける表現学習を行う階層型ニューラルネットワークの学習システムにおいて、
入力信号群から選択した任意の入力信号を代表入力信号として、これを上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力手段と、
上記階層型ニューラルネットワークの各層を構成する各ＳＯＭ（Self-Organizing Map）の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該ＳＯＭ単位で行うスパース処理手段と、
上記スパース処理手段による処理が行われた上記階層型ニューラルネットワークに上記信号入力手段により入力された上記代表入力信号を順方向に伝播させて得られる代表出力信号を取得する出力信号取得手段と、
上記入力信号群の中から上記代表入力信号とは異なる他の入力信号が上記信号入力手段により入力されて上記スパース処理手段による上記処理を経て上記出力信号取得手段により取得された出力信号と、上記目標信号とみなした上記代表出力信号とを比較し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整手段とを備えること
を特徴とする階層型ニューラルネットワークの学習システム。
外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける学習を行う階層型ニューラルネットワークの学習方法において、
予め用意した入力信号と目標信号の組からなる学習セットにおける入力信号を上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力ステップと、
上記階層型ニューラルネットワークの各層を構成する各ＳＯＭ（Self-Organizing Map）の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該ＳＯＭ単位で行うスパース処理ステップと、
上記スパース処理ステップにおける処理が行われた上記階層型ニューラルネットワークに上記信号入力ステップにより入力された上記入力信号を順方向に伝播させて出力信号を取得する出力信号取得ステップと、
上記出力信号取得ステップにおいて取得された出力信号と、上記入力信号と組になっている目標信号とを比較し、これらが一致している場合には、上記選択した経路を伝播する信号と結合荷重値との適合度が増加するように調整し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整ステップとを有すること
を特徴とする階層型ニューラルネットワークの学習方法。
外部からの入力信号を受け取る複数の入力層ニューロンを含む入力層と、外部に出力信号を送出する複数の出力層ニューロンを含む出力層と、上記入力層ニューロンと上記出力層ニューロンとの間に設けられる複数の中間層ニューロンを含む１層以上の中間層とを有する階層型ニューラルネットワークの各層間の結合荷重値を調整することにより出力信号を目標信号に近付ける表現学習を行う階層型ニューラルネットワークの学習方法において、
入力信号群から選択した任意の入力信号を代表入力信号として、これを上記階層型ニューラルネットワークの入力層に対して入力して伝播させる信号入力ステップと、
上記階層型ニューラルネットワークの各層を構成する各ＳＯＭ（Self-Organizing Map）の各ニューロンにつながる経路のうち伝播する信号と結合荷重値との適合度が最も高い経路、又は当該経路とその近傍の経路のみ選択し、それ以外の経路はスパースとみなす処理を当該ＳＯＭ単位で行うスパース処理ステップと、
上記スパース処理ステップにおける処理が行われた上記階層型ニューラルネットワークに上記信号入力ステップにより入力された上記代表入力信号を順方向に伝播させて得られる代表出力信号を取得する出力信号取得ステップと、
上記入力信号群の中から上記代表入力信号とは異なる他の入力信号が上記信号入力ステップにより入力されて上記スパース処理ステップにおける上記処理を経て上記出力信号取得ステップにより取得された出力信号と、上記目標信号とみなした上記代表出力信号とを比較し、これらの一致度合に応じて上記選択した経路を伝播する信号と結合荷重値との適合度を増減させる調整を行う結合荷重値調整ステップとを有すること
を特徴とする階層型ニューラルネットワークの学習方法。