JPH0383158A - ニューラルネット - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔発明の目的〕 （産業上の利用分野） 本発明は、最適化組合せ問題、パターン認識、制御シス
テム等、秘法い応用に向けて、大規模ニューラルネット
の構築を現実のものとするニューラルネットに関する。

（従来の技術） ニューラルネットを用いた情報処理の研究力！ｌＩＦは
非常に広いと考えられている。素子（アナログ、ディジ
タル、ＬＳＩ）からアーキテクチャ、理論、応用と様々
なレベルでの研究がさかんである。

ニューラルネットの構成は、第７図（ａ）に示すような
全結合タイプのもの（いわゆるＨｏｐｆｉｅｌｄ型ネッ
ト）、同図（ｂ）に示すような３層ネット、同図（Ｃ）
に示すようなランダム結合ネット等が主に利用されてい
る。各ニューロン素子の間の結合には結合係数が定義さ
れ、各ニューロン素子は、例えば第８図（ａ）に示した
方程式（入出力関数、しきい値を含む）に従って演算処
理を行うもので、同図（ｂ）に示すような入出力特性を
有する。そして、これらニューロン素子は入力１１を与
えて得られる出力Ｏｊで最適組合せ問題の鯉を表現した
り、パターンの識別などを行ったりする。このような処
理を行わせるべく、ニューロコンピュータには学習機能
があり、この学習機能とは、所定の入力を与えて得られ
出力と望ましい出力との差を基にニューロン素の入出力
関数、しきい値ならびに結合係数を変。

て望ましい出力が得られるようにするものであ例えば、
ある図形を人力して、「この形の文：はｒＡＪと読む」
、「この形ならｒＢＪと読む。

というように出力文字を学習させ、その学習結！は、複
数のニューロン素子ならびにそれらを結くするシナプス
に分散されて記憶される。学習を垂えたニューラルネッ
トワークに、例えば、汚い＝でｒＡＪと書いた図形を見
せると、全てのニューロン素子が並列的に働き、学習し
た文字の中か番一番、その図形の出力結果としてふされ
しい文＝を選び出すようになる。この状態は、汚い字を
ノ間が見て、「この文字はｒＡＪであろう」と判目する
のに似ている。

このようなニューラルネットワークを使うこ２により、
従来のノイマン型コンピュータでは不７１意としていた
、上記した文字認識や音声認識、ａ像処理といった、あ
いまいなデータを判定して４の結果を出力する事例への
幅広い応用が期待されてくる。

ところで、これまでのニューラルネットの多くの研究は
、１つの機能、例えば「数字を認識する」とか「ノイズ
を含んだ入力画像の復元」に限られてその性能、学習可
能性等が研究されてきた。例えば、音声認識を例にとれ
ば、低レベルの音韻の識別から単語の切出し、認識、文
の理解、意図の抽出と、低レベルから高レベルまでいく
つもの機能が階層的にしかも相互に影響を与えながら働
いていると言える。現在は、低レベルの処理のみが対象
となっている。ネットワーク構造も３層〜５層ぐらいが
使われている。

また、連想記憶モデルとしてのニューラルネットもいく
つかのモデルが提案されている。第７図（ａ）はいわゆ
るホップフィールドモデルで１層のフィードバック結合
のあるネットである。この他、ＢＡＭ（Ｂｉｄｉｒｅｃ
ｔｉｏｎａｌＡｓｓｏｃｉａｔｉｖｅ　　Ｍｅｍｏｒｙ
）のように２層のフィードバック結合のあるネットもあ
る。

このようなモデルのメモリ容量やデータ復元の性能が議
論されているが、いずれにせよ未だ大規模なネットワー
クを構築し、複雑な処理を実現するレベルには至ってい
ない。ただし、単一機能でもデータ数が莫大になるため
に大規模なニューラルネットが必要になることから、こ
の方面の研究が最近提案されてきている。

このように、今後の課題としては、低レベルの信号処理
から高次の記号処理へとニューラルネットを発展させる
ことであるが、大規模ネットワークの構築方法、学習に
よる実現可能性の問題があり、実現は極めて困難な状況
にある。

すなわち、上記したように高レベルの処理を行わせたり
、莫大なデータ数に対応するには、それだけ大規模なネ
ットワークを構築することになるが、このようにネット
ワークの規模が拡大される程、学習に、より多くの時間
が費やされることになる。その学習の結果が良好であれ
ばまだ良いが、階層数が足りないというような問題があ
ると、層を増やして、最初から学習させなければならず
、学習時間がかかりすぎて、現段階では非現実的な問題
として扱われている場合もある。

（発明が解決しようとする課題） 以上述べたように、単一機能を実現するニューラルネッ
トは多く提案されているにもかかわらず、従来の技術で
は、多機能化までには至ることができない。

本発明は、このような従来技術の有する問題点に鑑みて
なされたもので、その目的とするところは、単一機能ニ
ューラルネットを多機能化へ向けて統合させることがで
きるようにし、大規模化を実現することができるように
したニューラルネットを提供することにある。

〔発明の構成〕

（課題を解決するための手段） 本発明のニューラルネットは、一部のニューロン素子に
ついての入出力関数ならびにこの入出力関数による演算
値に対するしきい値と、このニューロン素子に結合され
る他のニューロン素子との結合係数とを、両ニューロン
素子間で恒等写像を実現するように定める恒等写像機能
実現手段を備えていることを特徴とする。

（作　用） 本発明によれば、ニューラルネットの中に部分的に恒等
写像を実現することで、この恒等写像の前後の機能を結
合するインタフェースを提供することができる。

よって、各種単一機能ネットワークを階層的に結合する
ことができるので、各種単一機能のネットワークをその
ネットワーク別に学習させ、その完了後、それらを適当
に結び合せることができるため、ニューラルネットの機
能拡大や規模拡大を容易に行うことができるようになる
。

また、最初から多層のネットワークで学習を行うと、時
間が多くかかる以外にも、中間層でデータの特徴抽出が
十分に行なえないという問題がある。

本発明によれば、多層の亨ットワークを組むにしても、
初めはその中の一部を恒等写像で結合し、あたかもその
分だけ層の数が少ないような状態にして学習し、これが
熟したところで、恒等写・像での結合部にランダムな結
合係数を与え、より多層の状態での学習へと移行させる
ようにすることができるから、中間層においてデータの
特徴抽出が十分になされないという障害を除くことがで
きる。

さらに、階層数が招入なり並列的に動作する２系列以上
の階層があり、それらの最終層出力を同じ層に入力する
ようなニューラルネットをハードウェアで構成する場合
、従来にあっては、層数の多い方のデータ出力が層数の
少ない方のデータ出力に遅れるため、総数の少ない方の
出力データを一時保持するためのメモリを設け、そのタ
イミングｔＩｓ整を行うようにすることから、その分、
構造的に複雑になる。

本発明によれば、層数の少ない方の系列に恒等写像を実
現する何等演算機能の無い層を挿入するだけで、層数を
一致させ、タイミングを合せることができ、構造的にｌ
ｌｉ純なネットワークを構築することができる。

さらにまた、いずれの層が入力層（または出力層）にな
るか確定しない多層のネットワークをハードウェアで構
築する場合、従来にあっては、人力層となりうる層全て
に人力セレクタからの接続が必要になり、構造が複雑化
する。

本発明によれば、人力層となりうる層の中で、現時点で
は入力層とならない層を恒等写像で結合し、ダミーの中
間層として位置付けることができるので、ハードウェア
としての構造は極めて単純になる。

（実施例） 以下に本発明の実施例について図面を参照しつつ説明す
る。

第１図は本発明の第１実施例に係るニューラルネットの
結ｔ９［図、第２図はその恒等写像ｌｌ能の実現法を表
す原理説明図である。

第１図において、１．２は夫々単一機能のニューラルネ
ットである。つまり、例えば、ニューラルネット１は手
書き等による変形文字を標準文字に変換して出力するネ
ットワーク、ニューラルネット２は標準文字を認識する
ネットワークとなる。

ニューラルネット１は人力層３と中間層４と出力層５と
からなり、ニューラルネット２は人力層６と中間層７と
出力層８とからなる。９は各層３〜８を構成するニュー
ロン素子、１０はニューロン素子９同士を所定の係数を
持って結ぶ結合部であり、その結合係数は学習の対象と
なり、学習により変更される。

１１は恒等写像機能実現のための結合部であり、この結
合部１１によりニューラルネット１の出力層５とニュー
ラルネット２の入力層６とが結合されており、ニューラ
ルネット１，２の機能が統合されている。

これにより、上記の文字認識の例によれば、変形文字を
標準文字として変換し認識するというネットワークを構
築することができたことになる。

１２は恒等写像実現手段であり、上記の結合はこの恒等
写像実現手段１２により達成されるものであり、その態
様を第２図に示している。

同図（ａ）に示すように、２つのニューロン素子ａ、ｂ
があるとする。素子ａは例えば第１図に示すニューラル
ネット１の出力層５のニューロン素子９、素子すはニュ
ーラルネット２の入力層６のニューロン素子９に夫々当
はめられる。

ｘｉ、ｘ２．・・・、ｘｎはニューロン索子ａへの人力
信号、ｗｌ　、ｗ２、−、ｗｎ　、ｕは結合係数、ｆａ
、ｆｂは各素子ａ、ｂの入出力関数、θａ。

θｂはしきい値であり、恒等写像機能実現手段１２は入
出力関数ｆａ　　（又はｆｂ）、Ｌきい値θａ　（又は
θｂ）及びニューロン素子ａとニューロン素子すの結合
係数Ｕを例えば下記の１）、２）いずれかの仕方で定め
ることにより恒等写像を実現する。

１）　　　ｆａ＝１、θａ−０、ｕｍＩ　　（但し、■
は第２図（ｃ）に示すような恒等関数である。）。

２）　　ｆｂ−１、θｂ−ｏ、ｕ−Ｉｏまた、ハードウ
ェアで実現する場合のように設定可能な値が制限される
場合、３）のような設定方法がある。

３）　　　ｆａ　　（Ｓ）＝３Ｓ、θａ−０、ｕ−１／
３゜ このようにしても、ニューロン索子すへの大きさが変化
しないから恒等写像を実現できる。

なお、通常は、ニューロン索子ａの入出力関数ｆａ、Ｌ
きい値θａは学習に関与していて任意に操作できないこ
とが多い。他方、ニューロンｂの側（つまり入力端）は
逆にｆｂ−１，θｂ−ｏにとることが多いので、このよ
うな場合は２）を採用することとなる。

また、１）〜３）のいずれも不可能である場合には、新
たな二ニーロン素子を素子ａ、ｂ間に挿入して上記のよ
うに設定すれば良い。

以上のように、ニューラルネット１．２の出入力間で恒
等写像を実現することにより、これらニューラルネット
１，２の機能を結合するインタフェースを提供すること
ができる。

よって、各種単一機能ネットワークを階層的に結合する
ことができるので、各種単一機能のネットワークをその
ネットワーク別に学習させ、その完了後、それらを適当
に結び合せることができるため、ニューラルネットの機
能拡大やＭＩ模拡大を容易に行うことができるようにな
る。

第３図は第１図のニューラルネットを更に規模拡大した
第２実施例の結線図である。

この図において、１３は単一機能のニューラルネット、
１４はその入力層、１５は出力層、１６はフィードバッ
ク結合部である。ニューラルネット１３は、ニューラル
ネット２と同様、ニューラルネット１の出力層５の出力
を入力とし、ニューラルネット２とは別の機能を果たす
ものである。

上記文字認識の例であれば、ニューラルネット１の出力
は標準文字のパターンであり、このパターンデータに対
しニューラルネット２とは別の処理を施すものがニュー
ラルネット３となる。その人力層１４にはニューラルネ
ット１の出力層５の数と同じ数のニューロン索子９を含
んでいる。このように要は２つの接続したいネットワー
クは、接続する層のニューロン素子の数が同じであれば
、あとは恒等写像実現手段１２によって容易に接続可能
となる。

第４図は本発明の第３実施例に係るニューラルネットの
結線図である。

この図に示すニューラルネットは上記より階層の深いフ
ィードフォワード型ネットワークであり、１７は入力層
、１８〜２１は中間層、２２は出力層である。

通常、ニューラルネットの学習は第７図（ｂ）に示した
ようなネットワークモデルを設定し、二ニーロン素子間
の結合係数の初期値をランダムな値または問題に依存し
て定められる値に設定してから行われる。単一機能のネ
ットワークの中に恒等写像を実現するニューロン素子や
結合は存在しないのが普通である。

が、例えば第４図のようなネットワークを考えると、第
４層２０から第５層２１へは１対１対応の結合で恒等写
像が実現されているものとする。

すなわち例えば、第４層２０から第５層への結合係数の
値は全て１、第５層２１の入出力関数を恒等関数、しき
い値をＯとするものである。こうすると本質的に第５層
２１を除いて出力層２２と第４層２０とを直接接続した
ものと同じである。

そして、まずはこの状態で第４７１２０から第５１鱒２
１への結合係数を全く変化させないようにして学習する
。つまり、５層の学習を行う。この学習が熟したところ
で、途中で第４層２０から第５層２１への結合係数とし
てランダムなものを与えこれを可変として学習するとこ
とにすると、５層ニューラルネットから６層ニューラル
ネットへの学習に移行したことになる。

従来、層の中のニューロン素子の数を変化させる学習は
存在したが、層が増える学習はなかった。

本実施例によれば、恒等写像機能を用いることで層を増
やす学習が可能になる。

これにより、学習をより能率的に行うことができる。

つまり、Ｉ！ｋｖ′Ｊから多層のネットワークで学習を
行うと、時間が多くかかりすぎるとともに、中間層でデ
ータのＬｖｔ＠抽出が十分に行なえないという問題があ
る。

本実施例によれば、６層のネットワークを組むにしても
、初めはその中の第４層２０と第５層２１とを恒等写像
で結合し、あたかもその分だけ層の数が少ないような状
態にして学習し、これが熟したところで、その結合部１
１にランダムな結合係数を与え、より６層状態での学習
へと移行させるようにすることができるから、中間層１
８〜２１においてデータの特徴抽出が十分になされない
という障害を除くことができることとなる。

第５図は本発明の第５実施例に係るニューラルネットを
従来のネットと対比して示す結線図である。

まず、同図（ｂ）において、２３．２５は人力層、２４
は中間層、２６は出力層である。このネットワークは人
力層２３．２５にデータを同時に入力し、人力層２３の
出力を受ける中間層２４の出力と、人力層２５の出力と
を出力層２６に同時に人力して処理するものとする。

このようなネットワークをハードウェアで構築する場合
、このままだと中間層２４からの入力が入力層２５から
の入力に遅れるため、出力層２６において同時に両者を
加算する場合、タイミングを取る必要がある。そのため
には例えば、入力層２５からのデータを一時保持するた
めの手段を設け、中間８２４の出力にタイミングを合せ
てその保持しておいたデータを出力するようにすること
となる。

しかし、これではハード構造は複雑になる。

そこで、第５図（ａ）のものは、人力層２５と出力層２
６との間に、人力層２５と恒等写像で結合する中間層２
７を設けたものである。

これにより、入ツノ層２５から出力層２６に至るまでの
計算時間を遅らせることができるので、データを一時保
持するためのメモリを設けるようなことは必要とするこ
となしに、両入力層２３゜２５から出力層２６へのデー
タ入力タイミングを一致させることができ、構造的に単
純なネットワークを構築することができる。

第６図は本発明の第５実施例に係るニューラルネットを
従来のものと対比して示す結線図である。

まず、同図（ｂ）において、２８　（１）、２８（２）
、・・・、２８　（ｎ−１）、２８　（ｎ）はネットワ
ークを構成する層、２９は人力セレクタである。

これら層２８　（１）〜２８　（ｎ）は、それら全てを
使用せずに、いずれか一つを人力層として設定し、層の
総数以下の階層のネットワークとして使用されるもので
ある。例えば、層２８　（１）〜２８　（ｎ）が１０層
であり、そのうち最後の３層を使ってネットワークを定
義する場合、人力セレクタ２つを第８層２８（ｎ−２）
に設定することとなる。

したがって、入力層とない得る層全てに対し入力セレク
タ２９からの接続が必要になり、構造が複雑化する。

そこで、入力層となりうる層（図示の例では全ての層）
の中で、現時点では人力層とならない層を恒等写像で結
合し、ダミーの中間層として位置付けることができるの
で、ハードウェアとしての構造は極めて単純になる。

つまり、第１層２８　（１）を固定的に入力層とし、第
１０層２８　（ｎ）を固定的に出力層とし、第２層２８
（２）〜第９ＪＷ２８（ｎ−１）は必要数だけ第２層２
８　（２）から順に用いて、残りの層から第１０層２８
　（ｎ）までを恒等写像で接続できるようにすれば、人
力セレクタ２９は不要になる。

例えば、上記の最後の３層を使っての場合を考えると、
第２層２８　（２）のみを中間層として用い、第３層２
８　（３）〜第１０層（ｎ）を恒等写像で接続するよう
にすれば良いこととなる。

よって、人力セレクタ２９は不要であり、構造は極めて
簡ｌｉｔになる。

〔発明の効果〕

以上説明したように本発明によれば、ニューラルネット
の中に部分的に恒等写像を実現することで、この恒等写
像の前後の機能を結合するインタフェースを提供するこ
とができるので、各種単一機能ネットワークを階層的に
結合することができるので、各種単一機能のネットワー
クをそのネットワーク別に学習させ、その完了後、それ
らを適当に結び合せることができるため、ニューラルネ
ットの機能拡大や規模拡大を容易に行うことができるよ
うになる。

また、最初から多層のネットワークで学習を行うと、時
間が多くかかる以外にも、中間層でデータの特徴抽出が
十分に行なえないという問題があるが、本発明によれば
、多層のネットワークを組むにしても、初めはその中の
一部を恒等写像で結合し、あたかもその分だけ層の数が
少ないような状態にして学習し、これが熟したところで
、恒等写像での結合部にランダムな結合係数を与え、よ
り多層の状態での学習へと移行させるようにすることが
できるから、中間層においてデータの特徴抽出が十分に
なされないという障害を除くことができる。

さらに、階層数が相異なり並列的に動作する２系列以上
の階層があり、それらの最終層出力を同じ層に入力する
ようなニューラルネットをハードウェアで構成する場合
、従来にあっては、層数の多い方のデータ出力が層数の
少ない方のデータ出力に遅れるため、総数の少ない方の
出力データを一時保持するためのメモリを設け、そのタ
イミング調整を行うようにすることから、その分、構造
的に複雑になる。この点に関し、本発明によれば、層数
の少ない方の系列に恒等写像を実現する何等演算機能の
無い層を挿入するだけで、Ｈ１数を一致させ、タイミン
グを合せることができ、構造的に単純なネットワークを
構築することができる。

さらにまた、いずれの層が入力層（または出力層）にな
るか確定しない多層のネットワークをハードウェアで構
築する場合、従来にあっては、入力層となりうる唐金て
に人力セレクタからの接続が必要になり、構造が複雑化
するが、本発明によれば、人力層となりうる層の中で、
現時点では人力層とならない層を恒等写像で結合し、ダ
ミーの中間層として位置付けることができるので、ハー
ドウェアとしての構造は極めて小細になる。

【図面の簡単な説明】

第１図は本発明の第１実施例に係るニューラルネットの
結線図、第２図はその恒等写像機能実現法の原理説明図
、第３図は本発明の第２実施例に係るニューラルの結線
図、第４図は本発明の第３実施例に係る二二一うルネッ
トの結線図、第５図は本発明の第４実施例に係るニュー
ラルネットの結線図、第６図は本発明の第５実施例に係
るニューラルネットの結線図、第７図は従来の各種型式
のニューラルネットの結線図、第８図はニューロン素子
同士の結合法の原理説明図である。 １．２・・・ニューラルネット、３・・・ニューラルネ
ット１の入力層、４・・・同中間層、５・・・同出力層
、６・・・二二一うルネット２の入力層、７・・・同中
間層、８・・・同出力層、９　（ａ）　、　　９　（ｂ
）・・・恒等写像結合されるニューロン素子、１１・・
・恒等写像機能実現のための結合部、１２・・・恒等写
像機能実現手段、ｆａ、ｆｂ・・・入出力関数、θａ、
θｂ・・・しきい値、Ｗ１〜ｗｎ、ｕ・・・結合係数、
！・・・恒等関数。

Claims (1)

【特許請求の範囲】
1. 一部のニューロン素子についての入出力関数ならびに該
   入出力関数による演算値に対するしきい値と、該ニュー
   ロン素子に結合された他のニューロン素子との結合係数
   とを、前記一部のニューロン素子と前記他のニューロン
   素子との間で恒等写像を実現するように定める恒等写像
   機能実現手段を備えているニューラルネット。