JP3518813B2

JP3518813B2 - 構造化神経回路網構築装置

Info

Publication number: JP3518813B2
Application number: JP13426593A
Authority: JP
Inventors: 寿昭波田野
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1993-06-04
Filing date: 1993-06-04
Publication date: 2004-04-12
Anticipated expiration: 2019-04-12
Also published as: JPH06348676A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数の神経回路網モジ
ュールを有する構造化神経回路網を構築する構造化神経
回路網構築装置の改良に関するもので、特に、学習計算
時にモジュール間で授受される信号を統一することによ
って、モデルの異なるモジュールの自由な組み合わせを
可能としたものに係る。

【０００２】

【従来の技術】近年、生体の神経網を模擬した工学的情
報処理機構である神経回路網（ニューラルネットワー
ク）が、パターン認識などの情報処理に用いられてい
る。この神経回路網は、多数の素子が相互に連結された
もので、各素子には、入力に対する出力の強さを制御す
る素子パラメータが、また、各素子間の連結には、信号
伝達の程度を制御する結合荷重が対応している。なお、
素子や素子間に設定されるこれらの情報は神経回路網の
形式によって異なる場合があるが、前記素子パラメータ
や前記結合荷重のように神経回路網の挙動を制御する情
報を、本明細書において「パラメータ」と総称する。

【０００３】この神経回路網は、印加された入力パター
ンに基づいた各素子間における反応強度の伝搬結果とし
て出力パターンを生じる。このような神経回路網は、前
記素子パラメータや前記結合荷重を所定の手順で修正す
ることによって、入力パターンと出力パターンとの対応
関係を学習するので、入出力間の論理的法則性を特定す
ることなくパターン認識などの情報処理に用いることが
できる。なお、入力パターン及び出力パターンは通常多
次元ベクトルパターンであり、本明細書では、それぞ
れ、「入力値」及び「出力値」と称する。

【０００４】ところで、処理対象とする事象が複雑化や
大規模化した場合は大規模な神経回路網が必要となる
が、神経回路網の学習はその規模に応じた時間を要する
ため、大規模な神経回路網を一体に構築すると学習効率
が著しく低下する。このような問題を解消するため、個
別に構築した比較的小規模な神経回路網モジュール（本
明細書において「モジュール」という）を、複数一体に
接続した神経回路網（本明細書において「構造化神経回
路網」という）が提案されている。

【０００５】上記のような各種神経回路網はコンピュー
タや専用の電子回路上に実現される。例えば、神経回路
網をコンピュータ上にシミュレーション的に実現し、単
に運用するのみであれば、神経回路網のパラメータをメ
モリ上に格納しておき、プログラムの形式で表された所
定の手順によってＣＰＵを制御し、入力値に対する神経
回路網の出力値を演算すればよい。

【０００６】神経回路網構築装置は、このような神経回
路網を新たに構築したり、構築された神経回路網を再学
習によって修正する装置である。したがって、神経回路
網構築装置は、神経回路網の諸元、すなわち、素子数や
素子間の結合構造、各種パラメータの内容などを設定し
たり、学習事例に基づいて神経回路網を学習させる機能
を有するものである。なお、構造化神経回路網構築装置
は、神経回路網構築装置の機能を拡張し、上記のような
構造化神経回路網を対象としたものである。

【０００７】ところで、神経回路網の種類としては、様
々なモデルが提案されており、利用目的に応じた適切な
モデルが選択・採用されている。神経回路網のモデルの
代表的なものとしては、誤差逆伝搬学習モデル、学習ベ
クトル量子化モデル、ホップフィールドモデル、ボルツ
マンマシン、競合学習モデルなどを挙げることができ
る。したがって、上記の構造化神経回路網も、１種類の
みのモデルから構成するのみならず、異種のモデルを組
み合わせて実現することが考えられる。

【０００８】なお、構造化神経回路網構築装置は、各モ
デルのモジュールの挙動を演算するが、この演算モード
には、入出力の対応関係を学習するための「学習計算」
と、入力値と学習した対応関係に基づいて出力値を生成
する「出力計算」という２つの動作モードがある。そし
て、出力計算時にモジュール間で授受される信号は、神
経回路網のモデルを問わず、モジュールの入出力素子か
ら入出力されるベクトルパターンである点で共通してい
る。したがって、入力素子数や出力素子数に配慮すれ
ば、異種のモジュールを混用して出力計算をすることは
可能である。

【０００９】

【発明が解決しようとする課題】しかしながら、従来の
構造化神経回路網構築装置では、学習計算時にモジュー
ル間で授受される信号が統一されておらず、モジュール
のモデルに依存していた。このため、構築後に学習可能
とするためには、モジュールの種類や連結方法が制限さ
れ、モデルの異なるモジュールを自由に組み合わせて構
造化神経回路網が構築できないという問題があった。す
なわち、（１）誤差逆伝搬学習モデル以外のモジュールを用いて
構造化神経回路網を構築することが困難であった。すな
わち、誤差逆伝搬学習モデルは、入力値に対する実際の
反応強度と、当該入力値に対する望ましい反応強度（出
力値）を指定する規範出力値（教師情報とも呼ばれる）
との誤差を用いて学習するモデルで、具体的には、神経
回路網の終端から始端に向かって、出力計算時とは逆方
向に、所定の手法で誤差δを算出することによって学習
を行う。そして、複数のモジュールを直列させた場合、
モジュール間でこの誤差δを受け渡すことで学習が可能
である。

【００１０】しかしながら、誤差逆伝搬モデル以外のモ
デルは、このような誤差δを用いて学習計算をするとは
限らず、モジュール間における授受が容易でない場合が
多い。このため、誤差逆伝搬学習モデル以外のモデルの
モジュールによって構造化神経回路網を構築することは
困難であった。

【００１１】（２）また、誤差逆伝搬学習モデル以外の
モデルであっても、構造化神経回路網を構築可能なモデ
ルであれば、他のモデルを用いることも考えられるが、
異種モジュールを混用しながら構築後の学習を確保する
ためには、同種のモジュールを直列に、かつ、異種モジ
ュールは相互に並列に接続することによって、モデル固
有のデータの授受を確保する必要があった。例えば、誤
差δを扱う誤差逆伝搬学習モデルと、このような誤差δ
を扱わない学習ベクトル量子化モデルを直列させること
はできなかった。

【００１２】（３）また、従来の構造化神経回路網構築
装置における学習は、直列した同種モジュールを単位と
して、モジュール間におけるモデル固有のデータの授受
によって、学習を行っていた。このため、構造化神経回
路網構築後に所望のモジュールのみを学習させることが
できなかった。すなわち、構造化神経回路網を構成して
いる１つのモジュールに問題がある場合、構造化神経回
路網全体を再学習によって修正すると、修正の影響が他
のモジュールに波及し、それまで正常であったモジュー
ルがかえって問題を生ずる可能性があるので、構築後の
学習は局所化が望まれる。これに対して、従来の構造化
神経回路網構築装置では、所望のモジュールのみを学習
させることができなかったため、合理的な再学習が困難
であった。

【００１３】本発明は、上記のような従来技術の問題点
を解決するために提案されたもので、その目的は、学習
計算時にモジュール間で授受される信号の統一によっ
て、モデルの異なるモジュールの自由な組み合わせを可
能とした構造化神経回路網構築装置を提供することであ
る。

【００１４】

【課題を解決するための手段】上記の目的を達するた
め、請求項１の構造化神経回路網構築装置は、データ伝
送経路の始端から終端へ向けて接続され、それぞれ入力
値に対して出力値を生成する複数の学習対象の神経回路
網モジュールを有し、前記各モジュールのうち前記始端
に位置する始端モジュールと前記終端に位置する終端モ
ジュールとを有する構造化神経回路網について、入力値
に対する前記各モジュールの望ましい出力値を表す規範
出力値を用いて当該モジュールの挙動を制御するパラメ
ータを調節することによって前記構造化神経回路網を構
築する構造化神経回路網構築装置において、前記始端モ
ジュールの入力値を入力する始端入力手段と、前記各モ
ジュールの前記パラメータに基づいて、当該モジュール
の入力値に対する出力値を計算する出力計算手段と、前
記各モジュールからの出力値を当該モジュールの終端側
に続くモジュールに入力値として伝送する順次伝送手段
と、前記始端モジュールへの入力値に対する前記終端モ
ジュールの前記規範出力値を入力する終端規範入力手段
と、前記学習対象のモジュールのパラメータを、当該モ
ジュールの出力値及び前記規範出力値に基づいて修正す
る修正手段と、前記学習対象のモジュールにおいて、前
記パラメータ及び前記規範出力値に基づいて、当該規範
出力値を生じさせる当該モジュールへの入力値である規
範入力値を逆算する逆算手段と、前記学習対象のモジュ
ールにおける前記規範入力値を、当該モジュールの始端
側に続く他の学習対象のモジュールに規範出力値として
伝送する手段と、を有することを特徴とする。

【００１５】また、請求項２の発明は、請求項１記載の
構造化神経回路網構築装置において、前記各モジュール
の接続順序を設定するための連結編集手段を備えたこと
を特徴とする。

【００１６】また、請求項３の発明は、請求項１記載の
構造化神経回路網構築装置において、前記各モジュール
の諸元を設定するためのモジュールパラメータ編集手段
を備えたことを特徴とする。

【００１７】

【作用】上記のような構成を有する本発明は、次のよう
な作用を有する。すなわち、請求項１の発明における学
習は、次のように行われる。まず、始端入力手段が、学
習用入力値を始端モジュールに入力する。続いて、出力
計算手段が、学習用入力値に対する始端モジュールの出
力値を計算すると、順伝送手段が、この出力値を、始端
モジュールの終端側に続くモジュールに、入力値として
伝送する。

【００１８】このような出力計算と伝送の手順が終端モ
ジュールに向かって繰り返され、終端モジュールの出力
値が計算される。ここまでの手順は、学習用入力値に対
する構造化神経回路網構築装置の出力値を求めるための
もので、学習用以外の入力値に対する出力計算も同様に
行われる。

【００１９】学習では、続いて、各モジュールの規範出
力値を用いて各モジュールのパラメータの修正が行われ
るが、この修正は、まず、始端モジュールへの入力値に
対する終端モジュールの規範出力値に基づいて開始され
る。すなわち、終端規範入力手段が、始端モジュールへ
の入力値に対する終端モジュールの規範出力値を入力
し、修正手段が、終端モジュールの出力値及び規範出力
値に基づいて、終端モジュールのパラメータを修正す
る。

【００２０】続いて、逆算手段が、終端モジュールのパ
ラメータに基づいて、終端モジュールの規範出力値を生
じる終端モジュールへの入力値である規範入力値を逆算
すると、逆伝送手段が、この終端モジュールの規範入力
値を、終端モジュールの始端側に続くモジュールに規範
出力値として逆伝送する。このような修正・逆算・逆伝
送の手順が繰り返され、始端モジュールのパラメータ修
正が終了すると、１回の学習計算が終了する。

【００２１】このように、本発明では、学習計算時にモ
ジュール間で授受されるデータが、各モジュールの規範
入力値すなわち当該モジュールの始端側のモジュールに
とっての規範出力値に統一されるので、モデルの異なる
モジュールを自由に組み合わせて構造化神経回路網を構
築することができる。

【００２２】また、請求項２の発明では、ユーザは、連
結編集手段を用いて各モジュールの接続順序を設定でき
るので、所望の構造の構造化神経回路網を用いることが
できる。

【００２３】また、請求項３の発明では、ユーザは、モ
ジュールパラメータ編集手段を用いて各モジュールの諸
元を設定できるので、所望のモデルのモジュールによっ
て構造化神経回路網を構築することができる。

【００２４】

【実施例】以下、本発明の一実施例である構造化神経回
路網構築装置（以下「本装置」という）について、図面
に従って具体的に説明する。なお、本装置はコンピュー
タ上に実現されるもので、本装置の各機能は、プログラ
ムの形式で表現された所定の手順でコンピュータを動作
させることによって実現されている。したがって、以
下、本装置の各機能を有する仮想的回路ブロックを想定
して本装置を説明する。

【００２５】（１）実施例の構成図１は、本装置の概念的構成を示すブロック図である。
なお、本装置は、構築対象とする構造化神経回路網の構
成に応じて結線関係が変化するものであり、図１は、図
２（本装置が構築対象とする構造化神経回路網の概念的
ブロック図）に示す構造化神経回路網を構築する場合の
結線関係を示したものである。図２に示す構造化神経回
路網は、いずれも誤差逆伝搬学習モデルである４つの神
経回路網モジュールＭ１〜Ｍ４を用いたもので、各モジ
ュールＭ１〜Ｍ４は、データ伝送経路の始端から終端へ
向けて接続され、それぞれ入力値に対して出力値を生成
する神経回路網モジュールである。これら神経回路網モ
ジュールＭ１〜Ｍ４のうち、モジュールＭ１は前記始端
に位置する始端モジュールであり、モジュールＭ４は、
前記終端に位置する終端モジュールである。

【００２６】本装置は、入力値に対する前記各モジュー
ルＭ１〜Ｍ４の望ましい出力値を表す規範出力値を用い
て当該モジュールＭ１乃至Ｍ４の挙動を制御するパラメ
ータを調節することによって前記構造化神経回路網を構
築する構造化神経回路網構築装置である。

【００２７】すなわち、本装置は、図１に示すように、
モジュールＭ１〜Ｍ４を有しており、各モジュールＭ１
〜Ｍ４は、図３（モジュールの構成を示すブロック図）
に示すように、当該モジュールの諸元を制御するパラメ
ータであるモジュールパラメータを格納する構造情報格
納器１１と、入力値に対する当該モジュールの出力値を
計算する出力計算器１２（前記出力計算手段に相当する
もの）と、規範出力値に基づいて前記パラメータを修正
する構造修正器１３（前記修正手段に相当するもの）
と、当該モジュールにおいて規範出力値を生じさせる入
力値である規範入力値を逆算する逆方向計算器１４（前
記逆算手段に相当するもの）とを有している。なお、構
造情報格納器１１及び出力計算器１２は前記出力計算手
段を構成している。

【００２８】また、本装置は、図１に示すように、各モ
ジュールＭ１〜Ｍ４間において所定の連結順序でデータ
伝送を行なうモジュール間連結器４（前記順伝送手段及
び前記逆伝送手段に相当するもの）と、前記連結順序を
設定するための連結編集器５（前記連結編集手段に相当
するもの）と、各モジュールＭ１〜Ｍ４の諸元を設定す
るためのモジュールパラメータ編集器６（前記モジュー
ルパラメータ編集手段に相当するもの）とを有する。

【００２９】なお、本装置は、図示はしないが、前記連
結順序をモジュール間連結器４に入力し、及び、モジュ
ールＭ１〜Ｍ４の諸元をモジュールパラメータ編集器６
に入力するための入力機構を有している。また、本装置
は、学習用データを格納するデータベース２と、データ
ベース２から学習用データを読み出してモジュール間連
結器４に転送する学習制御器とを有する。なお、学習制
御器３及びモジュール間連結器４は、前記始端入力手段
及び前記終端規範入力手段を構成している。

【００３０】また、モジュール間連結器４は、スイッチ
の切り替えによってデータの伝送路を決定する結線部４
１と、データ伝送過程でデータを演算する演算部４２
と、各モジュールＭ１〜Ｍ４に制御信号を送るタイミン
グ制御部４３とを有する。このうち演算部４２は、平均
算出器４２１と、等分器４２２と、加算器４２３とを有
する。また、タイミング制御部は、モジュールＭ１に対
応するフラグＦ１、モジュールＭ２及びＭ３に対応する
フラグＦ２、モジュールＭ４に対応するフラグＦ３を有
し、各時点で計算処理を実行すべきモジュール（以下
「カレントモジュール」という）を示すフラグ値（以下
「トークン」という）を、所定の順序で各フラグＦ１〜
３にセットするように構成されている。

【００３１】また、各モジュールＭ１〜Ｍ４は、図１及
び図３に示すように、制御用の信号線ａ、入力値受信用
の信号線ｂ、出力値送信用の信号線ｃ、規範出力値受信
用の信号線ｄ及び規範入力値送信用の信号線ｅによって
モジュール間連結器４の結線部４１に接続されている。

【００３２】（２）実施例の作用上記のような構成を有する本装置は、次のような作用を
有する。

【００３３】［構造化神経回路網の構築］すなわち、本
装置において構造化神経回路網を構築するときには、ユ
ーザは、まず、各モジュールＭ１〜Ｍ４の諸元を、前記
入力機構を通じて、モジュールパラメータ編集器６に入
力する。ここで、諸元として入力すべき項目の内容は、
自由に定めることができるが、典型的には、各モジュー
ルＭ１〜Ｍ４の計算アルゴリズムや構造が考えられる。

【００３４】ここで、計算アルゴリズムとは、出力計算
器１２、構造修正器１３及び逆方向計算器１４における
計算アルゴリズムであり、この計算アルゴリズムが神経
回路網のモデルを決定する。また、モジュールＭ１〜Ｍ
４の構造としては、例えば、神経回路網モデルとして誤
差逆伝搬モデルを選択した場合、層数、各層の素子数、
学習係数などが挙げられる。

【００３５】モジュールパラメータ編集器６は、入力さ
れた諸元にしたがって、モジュールパラメータを変更
し、また、諸元に基づいて必要となる荷重値や素子出力
値を格納するための領域を構造情報格納器１１中の図示
しないメモリ上に確保する。

【００３６】次に、ユーザは、各モジュールＭ１〜Ｍ４
の連結順序を、前記入力機構を通じて、連結編集器５に
入力する。なお、モジュール間連結器４の動作手順は図
示しないメモリに格納された所定のデータによって制御
されており、連結編集器５は、このデータを修正するこ
とによって、入出力値の伝送経路や、伝送途中における
入出力値の演算処理、各モジュールＭ１〜Ｍ４の動作順
序を、ユーザ所望の態様に設定する。

【００３７】［学習］このように構築された構造化神経
回路網には、次のような手順で入出力間の関係を学習さ
せる。図４は、本装置における学習の手順を示すフロー
チャートである。この手順では、学習制御器３が、デー
タベース２から、学習用データを１組ずつ読み込み、モ
ジュール間連結器４に転送する。すなわち、学習用デー
タは、始端モジュールに入力すべき学習用入力値、及
び、この入力値に対する終端モジュールの規範出力値の
ペアであり、学習制御器３は、学習用入力値を、モジュ
ール間連結器４の入力値用の信号線に設定し、規範出力
値を、規範出力値用の信号線に設定する。なお、学習用
入力値は結線部４１を介して始端モジュールＭ１に入力
され（ステップ２１）、また、学習用入力値に対応する
規範出力値は結線部４１を介して終端モジュールＭ４に
入力される。

【００３８】続いて、タイミング制御器４３は、出力計
算のための初期化を行い（ステップ２２）、トークン
を、始端モジュールＭ１に対応するフラグＦ１に設定す
る。そして、タイミング制御部４３は、カレントモジュ
ール（トークンのあるフラグに対応するモジュール）で
あるモジュールＭ１に、信号線ａを通じて出力計算実行
信号を送る。

【００３９】モジュールＭ１が、モジュール間連結器４
から出力計算実行信号を受信すると、当該モジュールＭ
１の出力計算器１２は、信号線ｂから入力される学習用
入力値と、構造情報格納器１１に格納されているパラメ
ータに基づいて、学習用入力値に対する当該モジュール
Ｍ１の出力値を計算する（ステップ２３）。

【００４０】なお、一つのモジュールの出力計算では、
すべての入力素子ｉの出力値ο_iにＩ_iを代入し、すべ
ての素子の出力値を入力素子に近いものから、

【数１】により計算する。

【００４１】計算後、出力値は信号線ｃへ送られ、ま
た、モジュールＭ１は、出力計算終了信号を、信号線ａ
を通じて、モジュール間連結器４へ送信する。

【００４２】タイミング制御部４３は、出力計算終了信
号を受信すると、カレントモジュールが終端モジュール
Ｍ４か否かを判断する（ステップ２４）。カレントモジ
ュールが終端モジュールＭ４でない場合、トークンを出
力計算時タイミングの矢印（実線）方向に１つ移動さ
せ、モジュール間連結部４は結線部４１を介して、直前
のモジュールからの出力値をカレントモジュールに入力
値として伝送し（ステップ２５）、新たなカレントモジ
ュールに出力計算実行信号を送信して再度出力計算を行
わせる（ステップ２３）。なお、ステップ２４におい
て、カレントモジュールが終端モジュールＭ４の場合、
出力計算は終了し、逆方向計算に進む（ステップ２
６）。

【００４３】なお、モジュール間における値の授受はモ
ジュール間連結器４によって実現されており、具体的に
は、例えば、送信側のモジュールの出力値送信用の信号
線ｃが、モジュール間連結器４の結線部４１を介して、
受信側のモジュールの入力値受信用の信号線ｂに接続さ
れている。また、このような入出力値伝送経路には、授
受の際に演算を行うため、必要に応じて演算部４２が介
在する。例えば、出力計算時に、モジュールＭ２とモジ
ュールＭ３の出力値は、加算器４２３によって加算さ
れ、モジュールＭ４への入力値となる。また、逆方向計
算時、モジュールＭ４の規範入力値は等分器４２２によ
って２等分され、それぞれが、モジュールＭ２とモジュ
ールＭ３の規範出力値とされる。また、逆方向計算時、
モジュールＭ２及びモジュールＭ３の規範入力値は、平
均算出器４２１によって平均され、この平均値がモジュ
ールＭ１の規範出力値とされる。

【００４４】出力計算が終了すると、タイミング制御部
４３は、逆方向計算のための初期化を行い（ステップ２
６）、トークンを逆方向計算の場合の初期状態（フラグ
Ｆ３）に設定する。続いて、タイミング制御部４３は、
修正実行信号を信号線ａを通じてカレントモジュールで
あるモジュールＭ４に送る（ステップ８）。カレントモ
ジュールＭ４が修正信号を受信すると、当該モジュール
Ｍ４の構造修正器１３が、当該モジュールの出力値と、
信号線ｄから得られる規範出力値に基づいて、構造情報
格納器１１内のパラメータ（特に、荷重値・閾値に関す
る数値）を修正する（ステップ２７）。

【００４５】ここで、図５は、一のモジュールにおける
教師情報に基づく学習を示す概念図である。すなわち、
矢印１に示すように、モジュールに学習用入力値が与え
られるとそれに対する出力値が計算される。学習用入力
値には、それと対にして用意されている規範出力値があ
り、出力値がこの規範出力値に近付くようにモジュール
のパラメータ（荷重値、素子数など）が修正される。こ
の修正は、誤差逆伝搬アルゴリズム、連想記憶、競合学
習など、各モデルに応じた公知の手法によって行えばよ
い。

【００４６】修正終了後、モジュールＭ４は、信号線ａ
を通じて修正終了信号をモジュール間連結器４へ送る。
タイミング制御部は、この修正終了信号を受信すると、
カレントモジュールが始端モジュールＭ１か否かを判断
し（ステップ２８）、始端モジュールＭ１の場合は学習
を終了する。

【００４７】ステップ２８において始端モジュールでな
い場合は、タイミング制御部４３は、カレントモジュー
ルに逆算信号を送る。カレントモジュールが逆算信号を
受信すると、カレントモジュールの逆方向計算器１４
は、信号線ｄから得られる当該モジュールの規範出力値
と構造情報格納器１１内のパラメータとに基づいて、規
範出力値を生じさせる当該モジュールへの規範入力値を
算出する（ステップ２９）。

【００４８】ここで、一般に、ある出力値を生じさせる
ような神経回路網への入力値を厳密に求めることは困難
であるが、このような入力値は、一定範囲の誤差を許容
すれば算出が可能である。ここでは、出力計算時に得ら
れた出力値と、与えられた規範出力値が近い値であり、
かつ、学習計算によって更新された荷重値・閾値の修正
量が微少量であるという仮定で、誤差逆伝搬モデルの場
合に逆方向計算（参考文献：第15回システムシンポジウ
ム・第10回知識工学シンポジウム、合同シンポジウム予
稿 9,257〜 3,260、H1.10.19）を行う手順を示す。

【００４９】まず、記号の定義は次の通りである。

【００５０】

【数２】また、図６は、逆方向計算の手順を示すフローチャート
である。すなわち、この手順では、この図に示すよう
に、出力素子ｉの誤差δ_iを、

【数３】δ_i＝ｏ_i−ｔ_i のように計算し（ステップ３１）、誤差値の２乗和、

【数４】が規定値よりも小さくなれば（ステップ３２）終了し、
小さくなければ、出力素子以外の素子（他の素子）の誤
差を出力素子に近い順に、

【数５】のように計算する（ステップ３３）。続いて、すべての
入力素子の出力値を、

【数６】ο_i←ο_i−δ_i のように更新し（ステップ３４）、更新された入力素子
の出力値を基に、

【数７】のようにモジュールの出力計算を行う（ステップ３
５）。

【００５１】逆方向計算が終了すると、逆方向計算器１
４は、算出された規範入力値をモジュール間連結器４へ
送り、カレントモジュールは、信号線ａを通じて、逆算
終了信号をモジュール間連結器４へ送信する。

【００５２】タイミング制御部は、この逆算終了信号を
受信すると、トークンを逆方向計算時タイミングの矢印
方向に１つ移動させ（ステップ１２）、カレントモジュ
ールについて、パラメータ修正からの手順を再度実行す
る（ステップ２７）。

【００５３】（３）実施例の効果以上のように、本実施例によれば、学習計算時にモジュ
ールＭ１〜Ｍ４間で授受される信号が規範入力値に統一
されるので、モデルの異なるモジュールを自由に組み合
わせて構造化神経回路網を構築することができる。

【００５４】したがって、本実施例では、モジュールＭ
１〜Ｍ４として採用できる神経回路モデルが、誤差δを
用いて学習を行う誤差逆伝搬学習モデルに限定されるこ
とがない。また、モデル固有のデータの授受を確保する
ことなく、異種モジュールを混用しながら構築後の学習
を確保できるので、同種のモジュールを直列に、かつ、
異種モジュールは相互に並列に接続するなどの接続態様
の制限も不要となる。また、本実施例の学習では、モジ
ュール間におけるモデル固有のデータの授受は必要ない
ので、構造化神経回路網構築後に所望のモジュールのみ
を学習させることができる。これによって、構築後の学
習が局所化され、学習を行ったモジュールの影響が他の
モジュールに及ぶことがない。

【００５５】（４）他の実施例なお、本発明は上記実施例に限定されるものではなく、
次のような他の実施例をも包含するものである。例え
ば、上記実施例では、誤差逆伝搬学習モデルであるモジ
ュール４つによる実例を示したが、本発明では、神経回
路網のモデルは限定されず、また、モジュールの数や連
結順序も自由である。例えば、途中分岐や系統の統合、
フィードバックを用いることは自由であり、また、始端
モジュールや終端モジュールが複数存在してもよい。ま
た、上記実施例の構造化神経回路網構築装置はコンピュ
ータ上に実現されているが、その機能の全部又は一部は
専用の電子回路上に実現してもよい。

【００５６】

【発明の効果】以上のように、本発明によれば、学習計
算時にモジュール間で授受される信号が規範出力値乃至
規範入力値に統一されるので、モデルの異なるモジュー
ルを自由に組み合わせて構造化神経回路網を構築するこ
とができる。

【図面の簡単な説明】

【図１】本発明の実施例の構造化神経回路網構築装置の
ブロック図。

【図２】本発明の実施例の構造化神経回路網構築装置が
構築対象とする構造化神経回路網のブロック図。

【図３】本発明の実施例におけるモジュール内の構成を
示すブロック図。

【図４】本発明の実施例における学習の手順を示すフロ
ーチャート。

【図５】誤差逆伝搬学習モデルの原理図。

【図６】本発明の実施例における逆方向計算の手順を示
すフローチャート。

【符号の説明】

２…データベース３…学習制御器４…モジュール間連結器５…連結編集器６…モジュールパラメータ編集器Ｍ…神経回路網モジュールＦ…フラグＳ…手順の各ステップ

フロントページの続き (56)参考文献特開平５−67062（ＪＰ，Ａ) 森田、中島，「バタフライ構造をもつニューラルネットの双方向学習」，電子情報通信学会技術研究報告，日本，社団法人電子情報通信学会，1993年３月18 日，Ｖｏｌ．92，Ｎｏ．521（ＮＣ92 −95〜127），ｐｐ．57−64 平野敬・他，「双方向ＦｅａｔｕｒｅＭａｐによるアーム制御」，電子情報通信学会論文誌，日本，社団法人電子情報通信学会，1993年４月25日，Ｖｏｌ．Ｊ76−Ｄ−ＩＩ，Ｎｏ．４，ｐｐ．881−888 ＴｒｅｎｔＥ．Ｌａｎｇｅ，”Ｓｉｍｕｌａｔｉｏｎｏｆｈｅｔｅｒｏｇｅｎｅｏｕｓｎｅｕｒａｌｎｅｔｗｏｒｋｓｏｎｓｅｒｉａｌａｎｄｐａｒａｌｌｅｌｍａｃｈｉｎｅｓ”，ＰａｒａｌｌｅｌＣｏｍｐｕｔｉｎｇ，1990年８月，Ｖｏｌ．14, Ｎｏ．３，ｐｐ．287−303，ＩＳＳＮ：0167−8191，ＪＳＴ資料番号：Ａ 0440ＣＡＳ (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/08 G06G 7/60 ＪＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)

Claims

(57)【特許請求の範囲】

【請求項１】入力値に対して出力値を生成可能であり、
かつ、モデルの異なる複数の学習対象の神経回路網モジ
ュールを、データの伝送経路の始端から終端へ向けて任
意の接続関係で接続した構造化神経回路網について、入
力値に対する前記各モジュールの望ましい出力値を表す
規範出力値を用いて当該モジュールの挙動を制御するパ
ラメータを調節することによって前記構造化神経回路網
を構築する構造化神経回路網構築装置において、前記始端に位置する始端モジュールの入力値を入力する
始端入力手段と、前記各モジュールの前記パラメータに基づいて、当該モ
ジュールの入力値に対する出力値を計算する出力計算手
段と、前記各モジュールからの出力値を当該モジュールの終端
側に続くモジュールに入力値として伝送する順次伝送手
段と、前記始端モジュールへの入力値に対する、前記終端に位
置する終端モジュールの前記規範出力値を入力する終端
規範入力手段と、前記学習対象のモジュールのパラメータを、当該モジュ
ールの出力値及び前記規範出力値に基づいて修正する修
正手段と、前記学習対象のモジュールにおいて、前記パラメータ及
び前記規範出力値に基づいて、当該規範出力値を生じさ
せる当該モジュールへの入力値である規範入力値を逆算
する逆算手段と、前記学習対象のモジュールにおける前記規範入力値を、
当該モジュールの始端側に続く他の学習対象のモジュー
ルに規範出力値として伝送する手段と、を有することを特徴とする構造化神経回路網構築装置。
【請求項２】前記各モジュールの接続順序を設定するた
めの連結編集手段を備えたことを特徴とする請求項１記
載の構造化神経回路網構築装置。
【請求項３】前記各モジュールの諸元を設定するための
モジュールパラメータ編集手段を備えたことを特徴とす
る請求項１記載の構造化神経回路網構築装置。