JPH02181256A

JPH02181256A - ニューラル・ネット

Info

Publication number: JPH02181256A
Application number: JP89296A
Authority: JP
Inventors: Takehisa Hayashi; 剛久林; Akira Masaki; 亮正木
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1989-01-06
Filing date: 1989-01-06
Publication date: 1990-07-16

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、動作の正当性の検証が容易なニューラル・ネ
ットに関する。

〔従来の技術〕

近年、ニューラル・ネットを信号処理やパターン認識等
に用いる研究が進められている。ニューラル・ネットに
ついては、日経エレクトロニクス１９８７年８月１０日
号１１５頁〜１２３頁に述べられている。ニューラル・
ネットは、一般に第２図（ａ）に示す様なニューロン・
モデルを多段に相互接続したものであり、ニューロン・
モデルは人間の脳の神経細胞にニューロン）を模擬した
工学的（人工的）モデルである。ニューロン・モデルは
、第２図（ａ）に示す様な構成を持つ。

第２図（ａ）で、ｘ、（１≦ｉ≦ｎ）＋い、（１≦ｉ≦
ｎ）はそれぞれ入力端子１の入力信号と重み値、ｙは出
力端子の出力信号である。

しは積和値であり、ｔ　：　Σ　Ｗ　ｒ　Ｘ　１の様に表わされる。出力信号ｙは正規化関数ｆによりｙ＝ｆ（ｔ）　　　　　　　　　　　（２）の様にｔを
正規化して与えられる。ｆ　（ｔ）としては、第２図（
ｂ）に示す様なしきい値開数や、同図（ｃ）に示す様な
ｓｉｇｍｏｉｄ関数を用いる。

（ｓｉｇｍｏｉｄ関数については、・前述の文献を参照
。）上記文献に示されるように、ニューラル・ネットで
は、パックプロパゲーション等の学習アルゴリズムに従
って学習を行なわせることにより、上記重み値が変化し
、これによって、入出力間でパターン認識や信号処理を
行なうことができる。上記文献の１２１頁１本文１５行
〜１９行にあるように、ニューラル・ネットでは、明確
に教えなくても、問題に対応した構造を得ることができ
るが、その構造は外部から直接アクセスできない中間層
（隠れたＮ）に現われてくる。

〔発明が解決しようとする課題〕

上記ニューラル・ネットを、工業的に製造する場合、例
えばＬＳＩ技術を用いて集積化する場合、何らかの方法
で個々のニューロン・モデルが正しく動作することを検
証する必要がある。ニューラル・ネットの中に正しく動
作しないニューロン・モデルが含まれていると、学習の
収束が悪くなり、パターン認識や信号処理の能力で所望
のものが得られなくなる。ニューラル・ネットにおいて
は、一般に、ニューラル・ネットの入力端子にも、出力
端子にも接続されないニューロン・モデルが多数存在し
、かつ、それらの間は多数の配線によって結線されてい
るので、ニューラル・ネットの入出力端子のみを用いて
、ニューラル・ネットの正当性を検証することは困難で
ある。

本発明は上記の様な問題を解決することを目的とする。

〔課題を解決するための手段〕

上記目的を達成するために本発明では、ニューラルネッ
トを構成する各二ニーロンモデルの出力状態を外部から
観測するための手段を持つ。

さらに本発明は、上記出力状態を観測するために、少な
くとも１つ以上の入力端子と、少なくとも１つ以上の出
力端子と、該入力端子の各々に対応する重み値を記憶ま
たは保持する手段と、上記入力端子の各々についてその
入力信号の値とこれに対応する上記重み値の積を演算し
、さらに該入力端子の各々について演算された上記の積
を該入力端子にわたって加算し、これによって入力信号
の値と重み値の積和値を演算する手段を有する二ニーロ
ンモデルを多段に相互接続し、少なくとも１つ以上のニ
ューロンモデルの出力をニューラルネットの外部から観
測するための手段を有する。

さらに本発明の他の構成では、上記出力状態を観測する
ために、少なくとも１つ以上の入力端子と、少なくとも
１つ以上の出力端子と、該入力端子の各々に対応する重
み値を記憶または保持する手段と、上記入力端子の各々
についてその入力端子の値とこ、れに対応する上記重み
値の積を演算し、さらに該入力端子の各々について演算
された上記の積を該入力端子にわたって加算し、これに
よって入力信号の値と重み値の積和値を演算する手段と
該積和値が所定の値域に入る様に該積和値を正規化する
手段を有する二ニーロンモデルを多段に相互接続し、少
なくとも１つ以上のニューロンモデルの正規化していな
い状態の上記積和値をニューラルネットの外部から観測
するための手段を有する。

〔作用〕

本発明において、各二ニーロンモデルの出力状態は、こ
れをニューラル・ネットの外部から観測することによっ
て把握される。本発明では、ニューラルネットの外部か
ら、各ニューロンの出力状態を観測するため、ニューロ
ン・モデルにおける積和演算が正しく行なわれたか否か
を容易に判定することができる。

さらに第２図（ｂ）に示す様なしきい値関数の場合、正
規化された後の出力はＯ又は１のみとなるので、二ニー
ロンモデルの動作の検証をすることは難しい。本発明で
は、正規化する前の積和値をニューラル・ネットの外部
から観測することによって各ニューロンモデルの出力状
態を把握する。

第２図（Ｑ）に示す様なｓｉｇｍｏｉｄ関数の場合、し
きい値θ２から入力の値が雑れるほど、正規化後の結果
から、動作の検証をすることが困難となる。本発明はこ
の様な場合にも有効である。

〔実施例〕

以下、本発明の一実施例を第１図による説明する。

第１図において、Ｎｌｌ０．Ｎ２１０゜Ｎ３１０．Ｎ１
２０．Ｎ２２０．Ｎ３２０゜Ｎ１３０．Ｎ２３０．Ｎ３
３０は＝　ニー　ｏ　：、’モデルである。ニューロン
モデルＮｌｌ０．Ｎ２１０゜Ｎ３１０は、１つの入力端
子と１つの出力端子とを持ち、ニューロンモデ／Ｌ／Ｎ
１２０．Ｎ２２０゜Ｎ３２０．Ｎ１３０．Ｎ２３０．Ｎ
３３０は３つの入力端子と１つの出力端子とを持つ。

各々のニューロンモデルは、その入力端子の各々に対応
する重み値をそれぞれ記憶または保持する回路ＮＲＩＩ
Ｏ，ＮＲ２１０，ＮＲ３１０゜ＮＲ１２０，ＮＲ２２０
，ＮＲ３２０゜ＮＲ１３０，ＮＲ２３０，ＮＲ３３０と
、上記入力端子の各々についてその入力信号の値とこれ
に対応する上記重み値の積を演算し、さらに該入力端子
の各々について演算された上記の積を該入力端子にわた
って加算し、これによって入力信号の値と重み値の積和
値を演算する積和値演算回路ＮＭＩＩＯ，ＮＭ２１０．
ＮＭ３１０゜ＮＭ１２０．ＮＭ２２０．ＮＭ３２０゜Ｎ
Ｍ１３０．ＮＭ２３０．ＮＭ３３０と、該積和値が所定
の値域に入る様に該積和値を正規化するための正規化回
路Ｎ５ＩＩＯ，Ｎ５２１０゜Ｎ５３１０．Ｎ５１２０．
Ｎ５２２０゜Ｎ５３２０．Ｎ５１３０．Ｎ５２３０゜Ｎ
５３３０とを、それぞれ有する。

さらに、上記複数のニューロンモデルは、第１図に示す
ように、Ｎ１１０の出力がＮ１２０゜Ｎ２２０．Ｎ３２
０の入力に接続され、Ｎ２１０の出力がＮ１２０．Ｎ２
２０．Ｎ３２０（７）入力に接続され、Ｎ３１０の出力
がＮ１２０．Ｎ２２０゜Ｎ３２０の入力に接続され、Ｎ
１２０の出力がＮ１３０．Ｎ２３０．Ｎ３３０の入力に
接続され、Ｎ２２０の出力がＮ１３０．Ｎ２３０．Ｎ３
３０の入力に接続され、Ｎ３２０の出力がＮ１３０゜Ｎ
２３０．Ｎ３３０の入力に接続されて、他殺に相互接続
されたニューラルネットＮＷＫ　１００を構成する。

各々のニューロンモデルは、各々の正規化していない状
態の上記積和値を記憶するための記憶回路ＦＩＬＯ，Ｆ
２１０．Ｆ３１０．Ｆ１２０゜Ｆ２２０．Ｆ３２０．Ｆ
１３０．Ｆ２３０゜Ｆ３３０をそれぞれ有する。

さらに、ＦＩＩＯ，Ｆ２１０．Ｆ３１０゜Ｆ１２０．Ｆ
２２０．Ｆ３２０．Ｆ１３０゜Ｆ２３０．Ｆ３３０は、
それぞれ、上記正規化していない状態の積和値の入力端
子、ＦＴＩＩＯ。

ＦＴ２１０．ＦＴ３１０．ＦＴ１２０゜ＦＴ２２０．Ｆ
Ｔ３２０．ＦＴ１３０゜ＦＴ２３０．ＦＴ３３ｏと、各
々テ記憶されたデータを読み出すための読み出し端子Ｆ
ＯＩＩＯ。

ＦＯ２１０，ＦＯ３１０，ＦＯ１２０゜ＦＯ２２０，Ｆ
Ｏ３２０，ＦＯ１３０゜ＦＯ２３０，ＦＯ３３０と、各
々へデータを書き込むための書き込み端子Ｆ４１１０．
ＦＩ２１０゜ＦＩ３１０．Ｆ１１２０．ＦＩ２２０゜Ｆ
Ｉ３２０．ＦＩ１３０．ＦＩ２３０゜ＦＩ３３０を有す
る。

ニューラルネットＮＷＫ　１００は、上記各々の正規化
していない状態の積和値を外部から観測するため、ＦＩ
ＬＯ，Ｆ２１０．Ｆ３１０へ（７）データ入力を制御す
るための少なくとも１本以上の信号からなる制御信号線
ＳＣＩ、ＦＩＬＯ。

Ｆ２１０．Ｆ３１０のデータをニューラルネットの外部
に取り出すための読み出し信号線ＳＱＬ。

ＦＩＬＯ，Ｆ２１０．Ｆ３１０へ：ユーラ／Ｌ／ネット
の外部からデータを書き込むための書き込み信号線ＳＩ
Ｉを有する。また、Ｆ１２０．Ｆ２２０゜Ｆ３２０への
データ入力を制御するための少なくとも１本以上の信号
線からなる制御信号線ＳＣ２゜Ｆ１２０．Ｆ２２０．Ｆ
３２０（７）データをニューラルネットの外部に取り出
すための読み出し信号線Ｓ０２．Ｆ１２０．Ｆ２２０．
Ｆ３２０へ＝ユーラルネットの外部からデータを書き込
むための書き込み信号線ＳＩ２を有し、Ｆ１３０゜Ｆ２
３０．Ｆ３３０へのデータ入力を制御するための少なく
とも１本以上の信号線からなる副制御信号線ＳＣ３，Ｆ
１３０．Ｆ２３０．Ｆ３３０のデータをニューラルネッ
トの外部に取り出すため（７）ｍミ出り、信号線８０３
．Ｆ１３０．Ｆ２３０゜Ｆ３３０へニューラルネットの
外部からデータを書き込むための書き込み信号線ＳＩ３
を有する。

第１図に示すように、各々の上記記憶回路の読み出し端
子は他の記憶回路の書き込み端子またはニューラルネッ
トの読み出し信号線に接続され。

各々の上記記憶回路の書き込み端子は、他の上記記憶回
路の読み出し端子またはニューラルネットの書き込み信
号線に接続され、ＦＩＬＯ。

Ｆ２１０．Ｆ３１０および、Ｆ１２０．Ｆ２２０゜Ｆ３
２０および、Ｆ３１０．Ｆ３２０．Ｆ３３０はそれぞれ
シフトレジスタを構成する。

例えば、Ｎｌｌ０についてＦＩＬＯの動作を次に説明す
る。ここで、簡単のため、第１図において、ニューロン
モデルの積和値演算回路の出力はデジタル信号とする。

第３Ａ図は上記記憶回路Ｆ１１０の構成の一例を示した
ものである。第３図において、ＦＳｌｌｏは上記正規化
していない状態の積和値（入力端子ＦＴＩ　１０）と書
き込みデータ（書き込み端子Ｆ４１１０）を選択するた
めのセレクタ、ＦＦｌｌ０は、データを記憶するための
レジスタである。セレクタＦＳＩＩＯの出力は、制御信
号ＳＣ１に含まれる信号５ＣＩＩによって選択される。

ＦＦｌｌ０の内容はＳＣ１に含まれる信号５Ｃ１２で与
えられるタイミングで更新される。

ニューラルネットの動作の検証のため、Ｎｉ１Ｏの規定
化していない状態の積和値をニューラルネットの外部か
ら観測する手順は次のようにする。

まず、セレクタＦＳＩＩＯでＦＩＩＩＯを選択し、ニュ
ーラルネットの書き込み信号線ｓ１１を用い、Ｓ０１の
第１のタイミングでＦＦｌｌ０にデータを書き込む。つ
ぎに同様にして、ＳＣＩの第２のタイミングでＦｌｌｏ
のデータをＦ２１０にコピーし、次にＳＣＩの第３のタ
イミングでＦｌｌｏのデータをＦ２１０にコピーし、次
にＳＣＩの第３のタイミングでＦ２１０のデータをＦ３
１０ヘコピーし、このようにＦＩＬＯ，Ｆ２１０゜Ｆ３
１０をシフトレジスタとして動作させて、最終的にニュ
ーラルネットの読み出し信号線ＳＱＬへ正しいデータが
得られるか否かにより、検証のためのハードウェアが正
しく動作することを確認する。次に第３Ａ図のセレクタ
ＦＳＩＩＯでＦＴＩＩＯをＦＦｌｌ０の入力として選択
正規化していない状態の積和値を記憶する。この後、上
述したシフトレジスタ動作により、Ｆ３１０゜Ｆ２１０
．ＦＩＬＯの記憶内容を順次ＳＱＬから読み出すことに
より、各二ニーロンモデルにおける正規化していない状
態の積和値をニューラルネットワークの外部から知るこ
とができる。

第３Ｂ図は、第１図において積和値演算回路の出力がア
ナログ信号の場合の記憶回路ＦＩＬＯの構成を示したも
のである。第３Ｂ図の構成で第３Ａ図と異なるのは、積
和値入力端子ＦＴＩＩＯとセレクタＦＳＩＩＯの間にア
ナログ−デジタル変換回路ＦＡＤＩＩＯが挿入されてい
ることである。

ニューロンモデルの積和値演算回路、正規化回路をアナ
ログ回路で実現すると９回路規模を大幅に削減できるが
、多数の二ニーロンモデルの個々の出力のアナログ信号
をニューラルネットの外部から正確に観測することは極
めて困難である０本構成では、動作の検証にはデジタル
回路を用いることで、この問題を解決することができる
。

第４図は、本発明の他の実施例を示したものである。第
４図の実施例は、第１図の実施例で、上記正規化してい
ない状態の積和値記憶回路が上記積和値演算回路と上記
正規化回路の間に挿入される。

積和値記憶回路は、それぞれ、ニューラルネットの外部
からその内容を読み出せ、かつ、ニューラルネットの外
部からその内容を書き込みすることによって各々のニュ
ーロンモデルの出力値をニューラルネットの外部から決
定できることを特徴とする。

すなわち、第４図において、Ｎｌ　１１゜Ｎ２１１．Ｎ
３１１．Ｎ１２１．Ｎ２１１゜Ｎ３２１．Ｎ１３１．Ｎ
２３１．Ｎ３３１はニューロンモデルであって、ニュー
ロンモデルＮ１１ｌ、Ｎ２１１．Ｎ３１１は１つの入力
端子と１つの出力端子とを持ち、ニューロンモデルＮ１
２１．Ｎ２２１．Ｎ３２１．Ｎ１３１゜Ｎ２３１．Ｎ３
３１は３つの入力端子と１つの出力端子とを持つ。

各々のニューロンモデルは、その入力端子の各々に対応
する重み値をそれぞれ記憶または保持する回路ＮＲＩＩ
Ｉ、ＮＲ２１１，ＮＲ３１１゜ＮＲ１２１，ＮＲ２２１
，ＮＲ３２１゜ＮＲ１３１，ＮＲ２３１，ＮＲ３３１と
、上記入力端子の各々についてその入力信号の値とこれ
に対応する上記重み値の積を演算し、さらに該入力端子
の各々について演算された上記の積を該入力端子にわた
って加算し、これによって入力信号の値と重み値の積和
値を演算する積和値演算回路ＮＭＩ　１１．ＮＭ２１１
．ＮＭ３１１゜ＮＭ１２１．ＮＭ２２１．ＮＭ３２１゜
ＮＭ１３１．ＮＭ２３１．ＮＭ３３１と、該積和値が所
定の値域に入る様に該積和値を正規化するための正規化
回路Ｎ５ＩＩＩ、Ｎ５２１１゜Ｎ５３１１．Ｎ５１２１
．Ｎ５２２１゜Ｎ５３２１．Ｎ５１３１．Ｎ５２３１゜
Ｎ５３３１とを、それぞれ有する。

さらに、上記複数のニューロンモデルは、第４・図に示
すように、Ｎ１１１の出力がＮｌ　２１゜Ｎ２２１．Ｎ
３２１の入力に接続され、Ｎ２１１の出力がＮ１２１．
Ｎ２２１．Ｎ３２１の入力に接続され、Ｎ３１１の出力
がＮ１２１．Ｎ２２１゜Ｎ３２１の入力に接続され、Ｎ
１２１の出力がＮ１３１．Ｎ２３１．Ｎ３３１の入力に
接続され、Ｎ２２１の出力がＮ１３１．Ｎ２３１．Ｎ３
３１の入力に接続され、Ｎ３２１の出力がＮ１３１゜Ｎ
２３１．Ｎ３３１の入力に接続されて、他殺に相互接続
されたニューラルネットＮＷＫＩＩＯを構成する。

各々のニューロンモデルは、各々の正規化していない状
態の上記積和値を記憶するための記憶回路Ｆｉｌｌ、Ｆ
２１１．Ｆ３１１．Ｆ１２１゜Ｆ２２１．Ｆ３２１．Ｆ
１３１．Ｆ２３１゜Ｆ３３１をそれぞれ有する。

さらに、Ｆｉｌ、Ｆ２１１．Ｆ３１１゜Ｆ１２１．Ｆ２
２１．Ｆ３２１．Ｆ１３１゜Ｆ２３１．Ｆ３３１は、そ
れぞれ、上記積和値演算回路ＮＭＩＩＩ、ＮＭ２１１．
ＮＭ３１１゜ＮＭ１２’ｌ、ＮＭ２２１．ＮＭ３２１゜
ＮＭ１３１．ＮＭ２３１．ＮＭ３３１と、上記正規化回
路Ｎ５ＩＩＩ、Ｎ５２１１．Ｎ５３１１゜Ｎ５１２１．
Ｎ５２２１．Ｎ５３２１゜Ｎ５１３１．Ｎ５２３１．Ｎ
５３３１の間に挿入される。すなわち、上記積和値を記
憶するための記憶回路Ｆｉｌｌ、Ｆ２１１．Ｆ３１１゜
Ｆ１２１．Ｆ２２１．Ｆ３２１．Ｆ１３１゜Ｆ２３１．
Ｆ３３１の出力が、上記正規化回路Ｎ５ＩＩＩ、Ｎ５２
１１．Ｎ５３１１゜Ｎ５１２１．Ｎ５２２１．Ｎ５３２
１゜Ｎ５１３１．Ｎ５２３１．Ｎ５３３１の入力となっ
ており、おのおのの積和値記憶回路は、第１図の場合と
同様にシフトレジスタ構成により、それぞれ、ニューラ
ルネットの外部からその内容を読み出せるとともに、ニ
ューラルネットの外部からその内容を書き込みできるこ
とによって各々の二ニーロンモデルの出力値をニューラ
ルネットの外部から決定できる。

ニューラルネットＮＷＫ　１１０は、上記各々の正規化
していない状態の積和値を外部から観測するため、ＦＭ
Ｉ、Ｆ２１１．Ｆ３１１へのデータ入力を制御するため
の少なくとも１本以上の信号線からなる制御信号線ＳＣ
Ｉ、Ｆｉｌｌ。

Ｆ２１１．Ｆ３１１のデータをニューラルネットの外部
に取り出すための読み出し信号線Ｓ○１゜Ｆｉｌｌ、Ｆ
２１１．Ｆ３１１八ニューラルネットの外部からデータ
を書き込むための書き込み信号線Ｓｌｌを有し、Ｆ１２
１．Ｆ２２１゜Ｆ３２１へのデータ入力を制御するため
の少なくとも１本以上の信号線からなる制御信号線ＳＣ
２゜Ｆ１２１．Ｆ２２１．Ｆ３２１のデータをニューラ
ルネットの外部に取り出すための読み出し信号線Ｓ○２
．Ｆ１２１．Ｆ２２１．Ｆ３２１ヘニューラルネットの
外部からデータを書き込むための書き込み信号１ｓ　Ｉ
　２を有し、Ｆ１３１゜Ｆ２３１．Ｆ３３１へのデータ
入力を制御するための少なくとも１本以上の信号線から
なる制御信号線ＳＣ３，Ｆ１３１．Ｆ２３１．Ｆ３３１
のデータをニューラルネットの外部に取り出すための読
み出し信号線Ｓ０３．Ｆ１３１．Ｆ２３１゜Ｆ３３１ヘ
ニューラルネットの外部からデータを書き込むための書
き込み信号線ＳＩ３を有する。

第４図に示すように、各々の上記記憶回路の読み出し端
子は他の記憶回路の書き込み端子またはニューラルネッ
トの読み出し信号線に接続され、各々の上記記憶回路の
書き込み端子は、他の上記記憶回路の読み出し端子また
はニューラルネットの書き込み信号線に接続され、Ｆｌ
ｌｌ。

Ｆ２１１．Ｆ３１１および、Ｆ１２１．Ｆ２２１゜Ｆ３
２１および、Ｆ３１１．Ｆ３２１．Ｆ３３１はそれぞれ
シフトレジスタを構成する。

おのおのの積和値記憶回路は、第１図の場合と同様にシ
フトレジスタ構成により、それぞれ、ニューラルネット
の外部からその内容を読み出せるとともに、ニューラル
ネットの外部からその内容を書き込みできることによっ
て各々のニューロンモデルの出力値をニューラルネット
の外部から決定できる。

第５図は第４図のニューロンモデルの１例を示したもの
で、例として第４図のＮ１２１を示しているが、第４図
の他の二ニーロンモデルも同様である。第５図において
、ニューロンモデルＮ１２１は、３つの入力端子Ｎ１１
２１１゜Ｎ１１２１２．Ｎ１１２１３と１つの出力端子
Ｎ○１２１を持ち、各々の入力端子に対応する重み値を
記憶または保持する回路ＮＲ１２１と、上記入力端子の
各々についてその入力信号の値とこれに対応する上記重
み値の積を演算し、さらに該入力端子の各々について演
算された上記の積を該入力端子にわたって加算し、これ
によって入力信号の値と重み値の積和値を演算する積和
値演算回路ＮＭ１２１と、該積和値が所定の値域に入る
様に該積和値を正規化するための正規化回路Ｎ５１２１
と、正規化していない状態の上記積和値を記憶するため
の記憶回路Ｆ１２１を有する。

さらに、Ｆ１２１は、上記積和値演算回路ＮＭ１２１と
、上記正規化回路ＮＳ　１２１の間に挿入され、上記積
和値演算回路ＮＭ１２１の出力ＦＴ１２１がＦ１２１に
入力され、上記積和値を記憶するための記憶回路Ｆ１２
１の出力ＦＴＬ　１２１が、上記正規化回路Ｎ５１２１
の入力となっている。

さらに、Ｆ１２１は、記憶されたデータを読み出すため
の読み出し端子ＦＯ１２１と、データを書き込むための
書き込み端子Ｆ１１２１を有する。

第４図の構成の様なシフトレジスタ構成により。

積和値記憶回路Ｆ１２１は、ニューラルネットの外部か
らその内容を読み出せるとともに、ニューラルネットの
外部からその内容を書き込みできるので、二ニーロンモ
デルＮ１２１の出力をニューラルネットの外部から決定
できる。これにより、例えば、入力端子に接続されてい
ないニューロンモデルの入力を前段のニューロンモデル
の出力を制御することで任意の値に選ぶことができ、動
作の正当性の検証がより容易にできる。

第６図は上記記憶回路Ｆ１２１の構成の一例を示したも
のである。第６図において、ＦＳ１２１は上記正規化し
ていない状態の積和値（入力端子ＦＴ　１２１）と書き
込みデータ（書き込み端子Ｆ１１２１）を選択するため
のセレクタ、ＦＦ１２１１は、データを記憶するための
レジスタである。セレクタＦＳ１２１の出力は制御信号
ＳＣ２に含まれる信号５Ｃ２２で与えられるタイミング
で更新される。ＦＦ１２１１の出力ＦＴＬ　１２１は正
規化回路ＮＳ　１２１に接続される。ＦＦ１２１１の出
力はレジスタＦＦ１２１２に接続され、レジスタＦＦ１
２１２の内容はＳＣ２に含まれる信号５Ｃ２３で与えら
れるタイミングで更新される。

ＦＦ１２１１は、第３Ａ図の場合と同様に読み出し、書
き込みを行なうことができる。第３Ａ図の回路では、Ｓ
ＣＩの同一のタイミングでレジスタの内容の更新が行な
われるため、ＦＦｌｌ０はマスタースレーブ・フリップ
フロップ等レーシングをおこさないものを用いる必要が
あるが、第６図のようにＦＦ１２１１の内容を一旦ＦＦ１２１２にコピーしてから転送する場合には、その
必要がない。第６図の構成で、ＦＦ１２１１をマスター
スレーブ・フリップフロップ等とし、ＦＦ１２１２を省
略して、Ｆ○１２１をＦＴＬ　１２１に直接接続した構
成としても、第５図の回路の動作に問題はない。

第７図は、ニューロンモデルの他の１例を示したもので
ある。例として第４図のＮ１２１を示しているが、他の
ニューロンモデルも同様である。

第７図において、ニューロンモデルＮ１２１は、３つの
入力端子Ｎ１１２１１．Ｎ１１２１２゜Ｎ４１２１３と
１つの出力端子Ｎ○１２１を持ち、各々の入力端子に対
応する重み値を記憶または保持する回路ＮＲ１２１と、
上記入力端子の各々についてその入力信号の値とこれに
対応する上記重み値の積を演算し、さらに該入力端子の
各々について演算された上記の積を該入力端子にわたっ
て加算し、これによって入力信号の値と重み値の積和値
を演算する積和値演算回路ＮＭ１２１と、該積和値が所
定の値域に入る様に該積和値を正規化するための正規化
回路ＮＳ　１２１と、正規化していない状態の上記積和
値を記憶するための記憶回路Ｆ１２１を有する。

さらに、Ｆ１２１は、上記積和値演算回路ＮＭ１２１と
、上記正規化回路Ｎ５１２１の間に挿入され、上記積和
値演算回路ＮＭ１２１の出力ＦＴ１２１がＦ１２１に入
力され、上記積和値を記憶するための記憶回路Ｆ１２１
の出力ＦＴＬ　１２１が、上記正規化回路ＮＳ　１２１
の入力となっている。

さらに、Ｆ１２１は、記憶されたデータを読み出すため
の読み出し端子Ｆ○１２１と、データを書き込むための
書き込み端子Ｆ１１２１を有する。

第４図の構成の様なシフトレジスタ構成により、積和値
演算回路Ｆ１２１は、ニューラルネットの外部からその
内容を読み出せるとともに、ニューラルネットの外部か
らその内容を書き込みできるので、ニューロンモデルＮ
１２１の出力をニューラルネットの外部から決定できる
。

さらに、第７図のニューロンモデルでは、各々の入力端
子Ｎ１１２１１．Ｎ１１２１２゜Ｎ１１２１３と積和値
演算回路ＮＭ１２１の間に、各々の入力値を記憶するた
めの記憶回路ＦＮ４１゜ＦＮ４２．ＦＮ４３が設けられ
ている。

さらに、ＦＮ４１．ＦＮ４２．ＦＮ４３は、それぞれ、
記憶されたデータを読み出すための読み出力端子ＦＮＯ
４１，ＦＮＯ４２，ＦＮＯ４３と、データを書き込むた
めの書き込み端子ＦＮＩ４１゜ＦＮＩ４２．ＦＮＩ４３
を有し、ＦＮ４１゜ＦＮ４２．ＦＮ４３の読み出し端子
は他の記憶回路の書き込み端子またはニューラルネット
の読み出し信号線に接続され、各々の上記記憶回路の書
き込み端子は、他の上記記憶回路の読み出し端子または
ニューラルネットの書き込み信号線に接続され、シフト
レジスタ構成により、ニューラルネットの外部からその
内容を読み出せるとともに、ニューラルネットの外部か
らその内容を書き込みできるので、二ニーロンモデルＮ
１２１の入力をニュラルネットの外部から決定できる。

これにより　例えば、入力端子にも出力端子にも接続さ
れ＼ていないニューロンモデルの入力、出力を任意の値に選
ぶことができ、この機能をもちいてニューラルネットワ
ークの中の特定のニューロンモデルの動作の正当性の検
証がより容易にできる。

第８図はニューロンモデルの出力をニューラルネットの
外部から観測する手段を有する実施例である。この様な
構成は、第１図の構成で、正規化化回路を省略した場合
や正規化による信号のダイナミックレンジの減少が少な
いときにとることができる。

第８図において、Ｎ１１８．Ｎ２１８゜Ｎ３１８．Ｎ１
２８．Ｎ２２８．Ｎ３２８゜Ｎ１３８．Ｎ２３８．Ｎ３
３８はニューロンモデルである。

ニューロンモデルＮ１１８．Ｎ２１８゜Ｎ３１８は１つ
の入力端子と１つの出力端子とを持ち、ニューロンモデ
ルＮ１２８．Ｎ２２８゜Ｎ３２８．Ｎ１３８．Ｎ２３８
．Ｎ３３８は３つの入力端子と１つの出力端子とを持つ
。

各々のニューロンモデルは、その入力端子の各々に対応
する重み値をそれぞれ記憶または保持する回路、ＮＲ１
１８，ＮＲ２１８，ＮＲ３１８゜ＮＲ１２８，ＮＲ２２
８，ＮＲ３２８，ＮＲ１３８、ＮＲ２３８，ＮＲ３３８
と、上記入力端子の各々についてその入力信号の値とこ
れに対応する上記重み値の積を演算し、さらに該入力端
子の各々について演算された上記の積を該入力端子にわ
たって加算し、これによって入力信号の値と重み値の積
和値を演算する積和値演算回路ＮＭ１１８゜ＮＭ２１８
．ＮＭ３１８．ＮＭ１２８゜Ｎ　Ｍ　２２８　、　Ｎ　
Ｍ　３２８　、　Ｎ　Ｍ　１３８　。

ＮＭ２３８．ＮＭ３３８とをそれぞれ有する。

さらに、上記複数のニューロンモデルは、第１図に示す
ようにＮ１１８の出力がＮ１２８゜Ｎ２２８．Ｎ３２８
の入力に接続され、Ｎ２１８の出力がＮ１２８．Ｎ２２
８．Ｎ３２８の入力に接続され、Ｎ３１８の出力がＮ１
２８．Ｎ２２８゜Ｎ３２８の入力に接続され、Ｎ３１８
の出力がＮ１２８．Ｎ２２８．Ｎ３２８の入力に接続さ
れ、Ｎ２２８の出力がＮ１３８．Ｎ２３８．Ｎ３３８の
入力に接続され、Ｎ３２８の出力がＮ１３８゜Ｎ２３８
．Ｎ３３８の入力に接続されて、他殺に相互接続された
ニューラルネットＮＷＫ１０８を構成する。

各々のニューロンモデルは、各々の出力を記憶するため
の記憶回路Ｆ１．１８．Ｆ２１８゜Ｆ３１８．Ｆ１２８
．Ｆ２２８．Ｆ３２８゜Ｆ１３８．Ｆ２３８．Ｆ３３８
をそれぞれ有する。

さらに、Ｆ、１１８．Ｆ２１８．Ｆ３１８゜Ｆ１２８．
Ｆ２２８．Ｆ３２８．Ｆ１３８゜Ｆ２３８．Ｆ３３８は
、それぞれ、上記出力の入力端子、ＦＴ１１８．ＦＴ２
１８．ＦＴ３１８゜ＦＴ１２８．ＦＴ２２８．ＦＴ３２
８゜ＦＴ１３８．ＦＴ２３８．ＦＴ３３８と、各々で記
憶されたデータを読み出すための読み出し端子ＦＯ１１
８，ＦＯ２１８，ＦＯ３１８゜ＦＯ１２８，ＦＯ２２８
，ＦＯ３２８゜Ｆ○１３８．ＦＯ２３８，ＦＯ３３８と
、各々へデータを書き込むための書き込み端子Ｆ１１１
８゜ＦＩ２１８．ＦＩ３１８．Ｆ１１２８゜ＦＩ２２８
．ＦＩ３２８．Ｆ１１３８゜ＦＩ２３８．ＦＩ３３８を
有する。

ニューラルネットＮＷＫ　１０８は、上記各々出力を外
部から観測するため、Ｆ１１８．Ｆ２１８゜Ｆ３１８へ
のデータ入力を制御するための少なくとも１本以上の信
号線からなる制御信号線ＳＣＩ。

Ｆ１１８．Ｆ２１８．Ｆ３１８のデータをニューラルネ
ットの外部に取り出すための読み出し信号線ＳＱＬ、Ｆ
１１８．Ｆ２１８．Ｆ３１８ヘニューラルネットの外部
からデータを書き込むための書き込み信号線Ｓ■１を有
し、Ｆ１２８゜Ｆ２２８．Ｆ３２８へのデータ入力を制
御するための少なくとも１本以上の信号線からなる制御
信号線ＳＣ２，Ｆ１２８．Ｆ２２８．Ｆ３２８のデータ
をニューラルネットの外部に取り出すための読み出し信
号線ＳＯ２，Ｆ１２８．Ｆ２２８゜Ｆ３２８ヘニューラ
ルネットの外部からデータを書き込むための書き込み信
号線ＳＩ２を有し、Ｆ１３８．Ｆ２３８．Ｆ３３８への
データ入力を制御するための少なくとも１本以上の信号
線からなる副制御信号線ＳＣ３，Ｆ１３８．Ｆ２３８゜
Ｆ３３８のデータをニューラルネットの外部に取り出す
ための読み出し信号線ＳＯ３，Ｆ１３８゜Ｆ２３８．Ｆ
３３８ヘニューラルネットの外部からデータを書き込む
ための書き込み信号線ＳＩ３を有する。

第８図に示すように、各々の上記記憶回路の読み出し端
子は他の記憶回路の書き込み端子またはニューラルネッ
トの読み出し信号線に接続され、各々の上記記憶回路の
書き込み端子は、他の上記記憶回路の読み出し端子また
はニューラルネットの書き込み信号線に接続され、Ｆ１
１８゜Ｆ２１８．Ｆ３１８および、Ｆ１２８．Ｆ２２８
゜Ｆ３２８および、Ｆ３１８．Ｆ３２８．Ｆ３３８はそ
れぞれシフトレジスタを構成する。

この様なシフトレジスタ構成により、先の実施例の説明
と同様にして、ニューロンモデルの出力をニューラルネ
ットの外部から知ることができるので、ニューラルネッ
トの動作の検証を容易にすることができる。

〔発明の効果〕

以上説明したように、本発明により、ニューラルネット
の動作の正当性の検証が容易にできる。

【図面の簡単な説明】

第１図、第３図、第４図、第５図、第６図、第７図、第
８図はそれぞれ本発明の実施例を示す図、第２図は従来
の二ニーロンモデルを示す図である。ＮＷＫ　１００・・・ニューラルネット。ＩＩ、Ｉ２．Ｉ３・・・入力端子、０１．０２，０３・・・出力端子。Ｎｌｌ０−Ｎ３３０・・・ニューロンモデルヵ＄１国第２図（リレ１１（ｂつＣＣ）Ｎ０ｊＦＡＤｙｙρ 第区（すＦβ〃ρ ＦＦ　ＩＩρ （Ａ）第乙図第目

Claims

【特許請求の範囲】

１．少なくとも１つ以上の入力端子と、少なくとも１つ
以上の出力端子と該入力端子の各々に対応する重み値を
記憶または保持する手段と、上記入力端子の各々につい
てその入力信号の値とこれに対応する上記重み値の積を
演算し、さらに該入力端子の各々について演算された上
記の積を該入力端子にわたって加算し、これによって入
力信号の値と重み値の積和値を演算する手段を有するニ
ューロンモデルを多段に相互接続してなるニューラルネ
ットにおいて、少なくとも１つ以上のニューロンモデル
の出力をニューラルネットの外部から観測するための手
段を有することを特徴とするニューラルネット。
２．少なくとも１つ以上の入力端子と、少なくとも１つ
以上の出力端子と、該入力端子の各々に対応する重み値
を記憶または保持する手段と、上記入力端子の各々につ
いてその入力信号の値とこれに対応する上記重み値の積
を演算し、さらに該入力端子の各々について演算された
上記の積を該入力端子にわたって加算し、これによって
入力信号の値と重み値の積和値を演算する手段と、該積
和値が所定の値域に入る様に該積和値を正規化する手段
を有するニューロンモデルを多段に相互接続してなるニ
ューラルネットにおいて、少なくとも１つ以上のニュー
ロンモデルの正規化していない状態の上記積和値をニュ
ーラルネットの外部から観測するための手段を有するこ
とを特徴とするニューラルネット。