JPH10320369A - 二値システムの学習方法 - Google Patents

二値システムの学習方法

Info

Publication number
JPH10320369A
JPH10320369A JP9320297A JP32029797A JPH10320369A JP H10320369 A JPH10320369 A JP H10320369A JP 9320297 A JP9320297 A JP 9320297A JP 32029797 A JP32029797 A JP 32029797A JP H10320369 A JPH10320369 A JP H10320369A
Authority
JP
Japan
Prior art keywords
layer
input
gate
pseudo
neuron
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9320297A
Other languages
English (en)
Inventor
Masa Tou
政 唐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SOUWA KENKYUSHO KK
Original Assignee
SOUWA KENKYUSHO KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SOUWA KENKYUSHO KK filed Critical SOUWA KENKYUSHO KK
Publication of JPH10320369A publication Critical patent/JPH10320369A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/06Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Neurology (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Logic Circuits (AREA)
  • Image Analysis (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Feedback Control In General (AREA)
  • Character Discrimination (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 従来のニューラルネットワークに相当する回
路を簡単なゲート回路(論理回路)からなる接続回路で
構成すると共に、前記接続回路の接続状態を学習結果に
基づき更新し、以って、学習性を有するようにした新規
な二値システムによる学習可能な装置を提供することに
ある。 【解決手段】 エラー・バックプロパゲーションを用い
た学習可能な装置であって、複数の二値の入力データを
入力せしめる入力層と、複数のANDゲートからなるA
ND層と、前記AND層の出力を入力とするORゲート
からなる出力層と、前記入力層とAND層との間に設け
られた疑似ニューロンからなる接続回路とからなり、前
記入力層とAND層との間の前記接続回路は以下の状態
で接続されることを特徴とする。 (1)入力層とAND層とは直接接続される。 (2)入力層とAND層とはインバータを介して接続さ
れる。 (3)AND層の入力には1が入力される。 (4)AND層の入力には0が入力される。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は学習可能な二値シス
テムに関する。
【0002】
【従来の技術】従来より提供されているニューラルネッ
トワークとしては、ニューロンに入力される径路の重み
や、ニューロンの閾値を調整することで学習を行うよう
に構成していた。しかし、上記した重みの演算や閾値の
演算は、ハードウェアの加算器、乗算器が複雑で大型と
なり、しかも演算時間も長くなり、大規模なハードウェ
アの実現は困難であるとの欠点を有していた。
【0003】
【発明が解決しようとする課題】本発明は、上記した点
に鑑みてなされたものであり、その目的とするところ
は、二値基本ゲートであるAND,OR,NOT,NA
ND,NOR,EXORゲートによって構成される二値
組み合せ論理回路及び順序回路における二値組み合せ論
理回路において、各基本ゲート間の接続回路の接続状態
を調整することで二値システムに学習を可能にする方式
を提供することにある。
【0004】
【課題を解決するための手段】第1の二値ゲートと第2
の二値ゲートとは、それぞれORゲート、又は、AND
ゲート、又は、NORゲート、又はNANDゲート、又
は、EXOR(排他的論理和)ゲートのいずれかで構成
され、前記第1の二値ゲートと第2の二値ゲートとの間
の接続は、 (1)直接接続される (2)インバータを介して接続される (3)第2の二値ゲートには1が入力される (4)第2の二値ゲートには0が入力される の中からいずれかの接続が選択されることによって、学
習を行わせることを特徴とする。
【0005】又、上記の接続状態をニューロンを用い
て、表現することを特徴とする。
【0006】又、学習は疑似ニューロンの重み、閾値の
調整によって行う。
【0007】又、ニューロンの重み(W)、閾値(θ)
の調整は次のように誤差関数(E)の最急降下方向に変
化させる。
【0008】
【数1】
【0009】又、上記の接続状態を準ポテンシャル・エ
ネルギーを用いて表現することを特徴とする。
【0010】又、上記の接続状態の準ポテンシャル・エ
ネルギーは図表1に示すような高低順位を持つことを特
徴とする。
【0011】又、学習は接続状態の準ポテンシャル・エ
ネルギーの調整によって行う。
【0012】又、上記の接続状態の準ポテンシャル・エ
ネルギーの調整は図表2のように行う。
【0013】又、前記の二値組み合せ論理回路は図3の
ように基本ゲートであるAND,OR,NOT,NAN
D,NOR,EXOR及び各ゲート間の接続で構成した
ことを特徴とする。
【0014】又、前記の順序回路は図4のように組み合
せ回路と記憶回路及びその間の接続で構成され、組み合
せ論理回路は基本ゲートであるAND,OR,NOT,
NAND,NOR,EXOR及び各ゲート間の接続で構
成したことを特徴とする。
【0015】又、前記の二値組み合せ論理回路は次のよ
うに構成することを特徴とする。即ち、入力層と接続層
とAND層とOR層とで構成したことを特徴とする(図
5)。又、入力層と接続層とOR層とAND層とで構成
したことを特徴とする(図6)。又、入力層と接続層と
中間NAND層と出力NAND層とで構成したことを特
徴とする(図7)。又、入力層と接続層と中間NOR層
と出力NOR層とで構成したことを特徴とする(図
8)。又、入力層と接続層と中間EXOR(排他的論理
和)層と出力EXOR層とで構成したことを特徴とする
(図9)。
【0016】
【発明の実施の形態】以下に、本発明に係る二値システ
ムの学習方法の実施の形態を図5に示すAND層とOR
層とで構成した論理回路を例として説明する。
【0017】(接続状態)初めに、本発明の接続状態に
ついて説明する。二値システムを構成するにあたって、
任意の論理関数は論理和標準形(図5に示すAND−O
Rによる構成)で表現できる。例えば、図表10に示す
論理関数を図11に示すカルノー図を用いて簡単化する
と、簡単化した論理関数は以下のように得られる。
【0018】
【数2】
【0019】これをAND−ORを用いて示すと図12
のような構成になる。ここで、入力層からAND層への
接続は論理関数によって、以下の通りがある。 (1)入力Xi は論理積項ANDj に含まれる(例え
ば、図12のX2 はAND1 及びAND2 に含まれるか
ら、直接接続である)。 (2)入力Xi の否定は論理積ANDj に含まれる(例
えば、図12のX3 とAND2 の間はインバータを介し
ての接続される)。 (3)入力Xi 及びXi の否定は論理積項ANDj に含
まれない(例えば、図12のX3 とAND1 との間の接
続関係はない。即ち、X3 からAND1 への入力は常に
1となっている)。 (4)余分のAND項、即ちANDがいずれかの入力に
常に0と接続される。(常に0に接続)。
【0020】従って、n変数の論理関数は、AND−O
R二段論理回路において、高々2n-1 +1個のゲートを
用いることで、入力層からAND層間の接続は、上記の
いずれかの接続によって実現できる。
【0021】(疑似ニューロンによる表現)ここで、上
記の接続状態を疑似ニューロンを用いて表現することが
できる。この疑似ニューロンの入出力関係は閾値関数。
【0022】
【数3】
【0023】または、
【0024】
【数4】
【0025】とする。ここで、Xi はi番目の入力、Y
ijは疑似ニューロンの出力、Wijは入力Xiからの重
み、θijは疑似ニューロンの閾値である。ただし、疑似
ニューロンは1入力,1出力であり、入力Xi からの重
みWijは1か−1かのいずかを取り、閾値θijは−1.
5,−0.5,0.5,1.5のいずかを取る(図1
3)。
【0026】二値システムにおいては、入力Xi は0か
1かのいずれになるので、重みWijや閾値θijによっ
て、疑似ニューロンの出力は図表14に示したようにな
る。
【0027】従って、入力からANDへの接続状態は疑
似ニューロン1個を用いて表すことができる。従って、
図5に示すAND−OR構成において、入力層とAND
層の間に疑似ニューロン層を設けると、図15のように
示すことが出来る。
【0028】図15のネットワークは入力層、疑似ニュ
ーロン層、AND層及びOR層からなる階層的なもの
で、各層は適当な数のユニットからなり、層内の結合は
なく、層間の結合は入力層から出力層への一方向の結合
のみとなる(feed forward type)。
入力層及び疑似ニューロン層の結合を除く各層のユニッ
トは、前の層のユニットからの結合は1とする。ここ
で、疑似ニューロンの応答関数をsigmoid関数で
近似し、AND及びOR関数を連続値最大値関数及び最
小値関数で近似すれば、誤差逆伝播(error ba
ckpropagation)学習アルゴリズムをはじ
めとする、様々な学習アルゴリズムが適用できる。しか
し、ここで学習させるのは入力層から疑似ニューン層へ
の結合及び疑似ニューロンの閾値だけになる。
【0029】(最急降下法による学習アルゴリズム)こ
こでは、二値システム内部モデル、即ち入力層とAND
層の接続状態を形成するための学習アルゴリズムについ
て説明する。図5のネットワークを考え、学習には、入
力X1 ,X2 ,…,Xn を与えた時の望ましい出力T
1 ,T2 ,…,Tm (真理表等から)が教師信号として
使われる。図5のネットワークによって計算される出力
をZ1 ,Z2 ,…,Zm とし、誤差関数Eを次式のよう
に出力誤差の2乗和として定義する。
【0030】
【数5】
【0031】学習は、入力層と疑似ニューロン層間の重
み(又は結合)及び疑似ニューロンの閾値を変化させて
誤差を減少させるように行われる(その他の結合はすべ
て1に固定されている)。ここで、結合Wや閾値θをE
の最急降下方向に変化させようとすると、その修正量Δ
W及びΔθは、
【0032】
【数6】
【0033】となる。
【0034】ただし、εW ,εθは正の値を取る。簡単
のため、1出力の場合、図15を考える。入力Xi から
AND層の第j番ANDj間の疑似ニューロンをij番
とし、その出力をYijとし、閾値をθijで入力Xi から
の結合をWijで表すと、誤差逆伝播学習則(バックプロ
パゲーション)を用いて以下のように計算される。
【0035】
【数7】
【0036】ここで
【0037】
【数8】
【0038】であるから
【0039】
【数9】
【0040】となる。 Z=OR であるから
【0041】
【数10】
【0042】となる。故に、各ORゲートにおいて、次
のような連続関数で近似することができる。
【0043】
【数11】
【0044】ここで、MはANDj以外のすべての入力
の最大値である。即ち、 M=Max(ANDi、i=1,2、…、i≠j) 図で表すと、図16となる。従って
【0045】
【数12】
【0046】となる。同じように、各入力のANDゲー
トにおいて、次のような連続関数で近似することができ
る。
【0047】
【数13】
【0048】ここで、mはYij以外のすべての入力の最
小値である。即ち、 m=Min(Yik、k=1,2、…、k≠j) 図で表すと、図17となる。従って、
【0049】
【数14】
【0050】となる。最後に、
【0051】
【数15】
【0052】であるから
【0053】
【数16】
【0054】となる。f′(x)≧0であるから、f′
(x)=1とすると、結合と閾値の修正量ΔWij及びΔ
θijは、 ΔWij=−εW (Z−T)Sgn(ANDj −M)Sg
n(m−Yij)Xi Δθij=−εθ(Z−T)Sgn(ANDj −M)Sg
n(m−YIJ)(−1) という式を満たすものになる。故に、εW =2,εθ=
1とすると、 ΔWij=−2(Z−T)Sgn(ANDj −M)Sgn
(m−Yij)Xi Δθij=(Z−T)Sgn(ANDj −M)Sgn(m
−YIJ) となる。
【0055】上式をよく見ると、すべての量は二値であ
るため、修正量は出力Z、教師信号T、ANDの出力A
NDj、疑似ニューロンの出力Yij及び入力Xi と簡単
な論理関係となる。従って、この学習則は論理回路で構
成することができる。しかも、修正量は1か−1か0と
なる。これは結合や閾値が1単位ごとに増えるか、減ら
すか、または不変を意味する。ここでの1単位は結合に
対して1であり、閾値に対して2である。
【0056】(ハードウェア実現) (1)学習アルゴリズムのハードウェア化 前節に述べたように、学習アルゴリズムは入力、出力信
号、教師信号、AND層の出力及び疑似ニューロンの出
力による論理演算となり、学習信号は疑似ニューロンに
重みや閾値を増やすか、減らすか、又は、そのままかを
指示する。ここで、三つの状態があるが、そのままとい
う指示信号(high−impedance)をHPと
し、変数qを用いてq=1の場合を増やすという信号と
し、q=0の場合を減らすという信号とする。このよう
にすれば、重み及び閾値に対する学習信号ΔWij,Δθ
ijは式(数17),(数18)によって、図表18,1
9の真理値表で表される。これらはカルノー図上に表示
できる。ドントケア項も含めたカルノー図を図表20に
示す。この真理値表から学習信号の論理関数を求めるこ
とが出来るようになる。
【0057】
【数17】
【0058】従って、
【0059】
【数18】
【0060】従って、閾値及び結合の修正量はそれぞれ
入力Xi 、出力Z、疑似ニューロンの出力Yij、AND
j 及び教師信号Tによって決まる。故に、ここで図表1
4に示す疑似ニューロンの接続状態(8状態)を3ビッ
ト(q3 ,q2 ,q1 )を用いて図表21のように状態
割当を行うと、疑似ニューロンの出力と入力及び状態割
当q321 の論理関数は図22に示すカルノー図と
なり、図より次の式が求められる。
【0061】
【数19】
【0062】MOSトランジスタスイッチを用いれば、
学習信号(数17,18)に対する論理回路は図23の
ようになり、学習アルゴリズムによって出力を0または
1を与え、それ以外の時に出力をHPを与える論理回路
が得られる。
【0063】(2)結合と閾値修正回路のハードウェア 疑似ニューロンの接続状態を図表21のように状態割当
を行うと、学習アルゴリズムによって結合と閾値修正回
路の動作は図24の状態遷移図と図表25の状態遷移表
が得られる。状態割当により順序回路の組合せ回路部の
真理値表は図表26と図表27となり、これにより状態
遷移関数を求めると次のようになる。
【0064】
【数20】
【0065】または q3 ′=ΔWij2 ′=q21 ′=q1
【0066】両方をまとめて考えると、図表28に示す
真理値表となる。q3 ′,q2 ′及びq1 ′それぞれの
カルノー図は図29,30,31となり、図より次の式
が求められる。
【0067】
【数21】
【0068】となる。回路構成を図32に示す。記憶素
子としてDフリップフロップを用いれば、学習修正回路
は図33のようになる。
【0069】疑似ニューロンによる接続状態をS(1)
(常に1接続)、S(x)(直接接続)、S(1−X)
(インバータを介して接続)、S(0)(常に0に接
続)とすると、図表34に示す通りの真理値表となる。
この真理値表から論理関数を求めると次のようになる。
【0070】
【数22】
【0071】従って、接続回路は図35のようになり、
疑似ニューロンを用いた学習回路のブロック図は図36
のようになる。
【0072】(準ポテンシャル・エネルギー法による学
習アルゴリズム及び実現)ここでは、例として図5に示
すAND−ORによる構成を用いた二値システム内部モ
デル(入力層とAND層の接続状態)を形成するための
準ポテンシャル・エネルギー法学習アルゴリズムについ
て説明する。前に述べたように、入力層とAND層の接
続状態は常に1接続、インバータ接続、直接接続または
常に0接続の四つの接続がある。
【0073】ここで、それぞれを準ポテンシャル・エネ
ルギーを用いて表現する。その準ポテンシャル・エネル
ギーの高低順位を以下のようにする。入力0に対して、
常に1接続、インバータ接続、直接接続、常に
0接続。入力1に対して、常に1接続、直接接続、
インバータ接続、常に0接続。このように定義され
た準ポテンシャル・エネルギーにおいては、高ければ高
いほど1が出力されやすい。逆に低ければ低いほど0が
出力されやすい。従って、出力を1にさせたい時に、準
ポテンシャル・エネルギー順位に従って高い方向に進め
ればよい。逆に出力を0にさせたい時に準ポテンシャル
・エネルギーの低い方向に進めればよい。
【0074】学習はネットワークの出力を教師信号(ま
たは望ましい信号)と一致するようにすることであり、
それに従って接続の準ポテンシャル・エネルギーを調整
すればよいということになる。図5に示すAND−OR
構成を考える。教師信号T=1、出力Z=0の時にはす
べてのANDjの出力は0である。出力Zを1にさせる
ために、ANDj の入力Yij=0の時だけに、入力が0
に対しての状態または状態、または入力が1に対し
ての状態または状態から準ポテンシャル・エネルギ
ー上の段階(高い準ポテンシャル・エネルギー)である
状態または状態へ変化させればよい。状態及び状
態はいずれも、すでに1が出力されているため、状態
及びが維持される。
【0075】教師信号T=0、出力Z=1の時、AND
jの出力は少なくとも一つ以上が1を出力している。従
って、出力を0にさせるために、1が出力されているす
べてのANDj ゲートに対して、0が出力されるように
すればよいということになる。ANDj が1を出力する
ということはANDjゲートの入力接続は高いポテンシ
ャル・エネルギーを持つ状態のまたはとなる。出力
を0にさせるため、その高いポテンシャル・エネルギー
である状態またはから低い状態またはへ変化さ
せればよい。
【0076】以上に述べたことをまとめると、学習アル
ゴリズム信号は次のようになる。
【0077】
【数23】
【0078】ここで、四つの接続状態の常に1接続、
インバータ接続、直接接続、常に0接続をそれぞ
れS(1)、S(X)、S(1−X)、S(0)とし、
その四つの状態を2ビット(q21 )の11,10,
01,00を用いて状態割当を行う。Yijは現状態q2
1 及び入力Xi の論理関係は、図表37に示す真理値
表となり、その論理関係は以下のようになる。
【0079】
【数24】
【0080】学習アルゴリズム回路を図38に示す。
【0081】以上の状態割当により順序回路の組合せ回
路部の真理値は図表39となり、これより状態遷移関数
を求めると次のようになる。
【0082】
【数25】
【0083】次に、記憶素子としてDフリップフロップ
を用いれば、学習修正回路は図40のようになる。又、
接続回路は図41のようになる。最後に準ポテンシャル
・エネルギー法を用いた学習回路の全体図は図42のよ
うになる。このように内部状態を増したり、学習する時
に循環させたりすることもできる。または、通常のCP
U,RAMなどを用いて実現することもできる。
【0084】(順序論理回路における学習方法)ここで
は、順序回路の内部状態を形成するための学習について
説明する。これまで述べた二値システムは図5に示すよ
うに、全体として前向きの接続層、AND層、OR層を
もつ多層回路になっている。ここで、入力をXで、接続
関数をCで、出力をZで表わすと、 Z=f(C,X) となる。学習には、最急降下法または準ポテンシャル・
エネルギー法を用い、接続関数を変化させればよい。
【0085】例として、図43に示す接続層、AND
層、OR層をもつ組み合せ論理回路、記憶素子はDフリ
ップフロップで構成された順序回路を考える。これを式
で表現すると、 Z(t)=f(C1 (t),X(t),D(t−1)) D(t−1)=f(C2 (t−1),X(t−1),D
(t−2))
【0086】従って、 Z(t)=f(C1(t),X(t),C2(t−
1),X(t−1),D(t−2)) これらのうち、C1(t),C2(t)の値は時刻tに
おける接続関数で、X(t),Z(t)及びD(t)は
それぞれ時刻tにおける入力、出力及び内部状態であ
る。よって、学習には最急降下法または準ポテンシャル
・エネルギー法を用い、接続関数C1 (t),C2 (t
−1)を変化させればよい。ただし、ここで、入力時刻
tにおける入力X(t)、出力Z(t)だけではなく、
時刻(t−1)における入力X(t−1)、内部状態D
(t−2)も知る必要がある。
【0087】その修正量をΔC1,ΔC2とすれば、 C1 (t+1)=C1 (t)+ΔC12 (t)=C2 (t−1)+ΔC2 時間tにおける内部状態D(t)は次のように計算され
る。 D(t)=f(C2 (t),X(t),D(t−1))
【0088】このように、本発明の二値システムの学習
方法は、第1の二値ゲートと第2の二値ゲートとは、そ
れぞれORゲート、又は、ANDゲート、又は、NOR
ゲート、又はNANDゲート、又は、EXOR(排他的
論理和)ゲートのいずれかで構成され、前記第1の二値
ゲートと第2の二値ゲートとの間の接続は、 (1)直接接続される (2)インバータを介して接続される (3)第2の二値ゲートには1が入力される (4)第2の二値ゲートには0が入力される の中からいずれかの接続が選択されることによって、学
習を行わせることを特徴とする。
【0089】又、ORゲート、又はANDゲート、又は
NORゲート、又はNANDゲート、又はEXORゲー
トのいずれかで構成された二値ゲートと入力との間に接
続は、 (1)直接接続される (2)インバータを介して接続される (3)第2の二値ゲートには1が入力される (4)第2の二値ゲートには0が入力される の中からいずれかの接続が選択することによって学習を
行わせることを特徴とする。
【0090】又、ORゲート、又はANDゲート、又は
NORゲート、又はNANDゲート、又はEXORゲー
トのいずれかで構成された二値ゲートと現在の入力及び
それ以前の入力を表わす内部状態との接続は、 (1)直接接続される (2)インバータを介して接続される (3)第2の二値ゲートには1が入力される (4)第2の二値ゲートには0が入力される の中からいずれかの接続が選択することによって学習を
行わせることを特徴とする。
【0091】又、前記第1の二値ゲート又は入力と第2
の二値ゲートとの間の接続は、少なくとも前記第1の二
値ゲートへの入力信号と、学習用の教師信号との演算結
果に基づき、前記4つの接続状態のいずれかを選択する
ように構成したことを特徴とする。
【0092】又、前記第1の二値ゲート又は入力と第2
の二値ゲートとの間には、下記のように定義する疑似ニ
ューロンQを設け、疑似ニューロンQの値に基づき、前
記第1の二値ゲートと第2の二値ゲートとの接続を選択
し調整することを特徴とする。ここで、疑似ニューロン
Q=f(wx,θ)であり、fは閾値関数、ジグモイド
関数又は部分線型関数、xは第1の二値ゲートから疑似
ニューロンへの入力信号、wは第1の二値ゲートと疑似
ニューロン間の重み又は結合度、θは疑似ニューロンの
閾値である。
【0093】又、複数の二値の入力データを入力せしめ
る入力層と、複数のANDゲートからなるAND層と、
前記AND層の出力を入力とする複数のORゲートから
なるOR層と、前記OR層の出力を入力とする出力層
と、前記入力層とAND層との間に設けられた疑似ニュ
ーロンQからなる接続層とからなり、前記入力層とAN
D層との間の前記接続層の接続は、以下の状態で接続さ
れることを特徴とする。 (1)入力層とAND層とは直接接続される。 (2)入力層とAND層とはインバータを介して接続さ
れる。 (3)AND層の入力には1が入力される。 (4)AND層の入力には0が入力される。 ここで、疑似ニューロンQ=f(wx,θ)であり、f
は閾値関数、ジグモイド関数又は部分線型関数、xは入
力層から疑似ニューロンへの入力信号、wは入力層と疑
似ニューロン間の重み又は結合度、θは疑似ニューロン
の閾値である。
【0094】又、複数の二値の入力データを入力せしめ
る入力層と、複数のORゲートからなるOR層と、前記
OR層の出力を入力とする複数のANDゲートからなる
AND層と、前記AND層の出力を入力とする出力層
と、前記入力層とOR層との間に設けられた疑似ニュー
ロンQからなる接続層とからなり、前記入力層とOR層
との間の前記接続層の接続は、以下の状態で接続される
ことを特徴とする。 (1)入力層とOR層とは直接接続される。 (2)入力層とOR層とはインバータを介して接続され
る。 (3)OR層の入力には1が入力される。 (4)OR層の入力には0が入力される。 ここで、疑似ニューロンQ=f(wx,θ)であり、f
は閾値関数、ジグモイド関数又は部分線型関数、xは入
力層から疑似ニューロンへの入力信号、wは入力層と疑
似ニューロン間の重み又は結合度、θは疑似ニューロン
の閾値である。
【0095】又、複数の二値の入力データを入力せしめ
る入力層と、複数のNANDゲートからなる中間NAN
D層と、前記中間NAND層の出力を入力とする複数の
NANDゲートからなる出力NAND層と、前記出力N
AND層の出力を入力とする出力層と、前記入力層と中
間NAND層との間に設けられた疑似ニューロンQから
なる接続層とからなり、前記入力層と中間NAND層と
の間の前記接続層の接続は、以下の状態で接続されるこ
とを特徴とする。 (1)入力層と中間NAND層とは直接接続される。 (2)入力層と中間NAND層とはインバータを介して
接続される。 (3)中間NAND層の入力には1が入力される。 (4)中間NAND層の入力には0が入力される。 ここで、疑似ニューロンQ=f(wx,θ)であり、f
は閾値関数、ジグモイド関数又は部分線型関数、xは入
力層から疑似ニューロンへの入力信号、wは入力層と疑
似ニューロン間の重み又は結合度、θは疑似ニューロン
の閾値である。
【0096】又、複数の二値の入力データを入力せしめ
る入力層と、複数のNORゲートからなる中間NOR層
と、前記中間NOR層の出力を入力とする複数のNOR
ゲートからなる出力NOR層と、前記出力NOR層の出
力を入力とする出力層と、前記入力層と中間NOR層と
の間に設けられた疑似ニューロンQからなる接続層とか
らなり、前記入力層と中間NOR層との間の前記接続層
の接続は、以下の状態で接続されることを特徴とする。 (1)入力層と中間NOR層とは直接接続される。 (2)入力層と中間NOR層とはインバータを介して接
続される。 (3)中間NOR層の入力には1が入力される。 (4)中間NOR層の入力には0が入力される。 ここで、疑似ニューロンQ=f(wx,θ)であり、f
は閾値関数、ジグモイド関数又は部分線型関数、xは入
力層から疑似ニューロンへの入力信号、wは入力層と疑
似ニューロン間の重み又は結合度、θは疑似ニューロン
の閾値である。
【0097】又、複数の二値の入力データを入力せしめ
る入力層と、複数のEXORゲートからなる中間EXO
R層と、前記中間EXOR層の出力を入力とする複数の
EXORゲートからなる出力EXOR層と、前記出力E
XOR層の出力を入力とする出力層と、前記入力層と中
間EXOR層との間に設けられた疑似ニューロンQから
なる接続層とからなり、前記入力層と中間EXOR層と
の間の前記接続層の接続は、以下の状態で接続されるこ
とを特徴とする。 (1)入力層と中間EXOR層とは直接接続される。 (2)入力層と中間EXOR層とはインバータを介して
接続される。 (3)中間EXOR層の入力には1が入力される。 (4)中間EXOR層の入力には0が入力される。 ここで、疑似ニューロンQ=f(wx,θ)であり、f
は閾値関数、ジグモイド関数又は部分線型関数、xは入
力層から疑似ニューロンへの入力信号、wは入力層と疑
似ニューロン間の重み又は結合度、θは疑似ニューロン
の閾値である。
【0098】又、疑似ニューロンの重みw、閾値θの調
整は最急降下法を用いて行うことを特徴とする。又、前
記接続層の接続状態を準ポテンシャル・エネルギーを用
いて表現すると共に、各基本ゲートにおける準ポテンシ
ャル・エネルギーを計算し、接続状態の準ポテンシャル
・エネルギーの調整によって学習を行わせることを特徴
とする。
【0099】
【発明の効果】本発明に係る二値システムによる学習可
能な装置によれば、上述のように構成したので、極めて
短時間に所定の学習効果が得られる。しかも、すべて既
存の素子で構成されるから、学習アルゴリズム部の論理
演算部や修正回路の構成が簡単に構成出来、実施が容易
である。しかも、既存のコンピュータや装置への組み込
みも容易であるから、画像処理、音声処理、自然言語処
理、運動制御など広い方面に応用出来るなど優れた特徴
を有している。
【図面の簡単な説明】
【図1】接続状態の準ポテンシャル・エネルギーの高低
順位を示す図表である。
【図2】接続状態の準ポテンシャル・エネルギーの調整
方法を示す図表である。
【図3】組み合せ論理回路の入出力変数と出力変数を示
すブロック図である。
【図4】図3と同様に順序回路で構成した場合のブロッ
ク図である。
【図5】AND回路とOR回路とで構成した本発明の二
値システムを示すブロック図である。
【図6】OR回路とAND回路とで構成した本発明の二
値システムを示すブロック図である。
【図7】NAND回路で構成した本発明の二値システム
を示すブロック図である。
【図8】NOR回路で構成した本発明の二値システムを
示すブロック図である。
【図9】EXOR回路で構成した本発明の二値システム
を示すブロック図である。
【図10】真理値表の一例を示す図表である。
【図11】図表10の真理値表によるカルノー図であ
る。
【図12】図表10の真理値表に基づく論理回路であ
る。
【図13】(a)は本発明の疑似ニューロンの閾値関数
を示すグラフ、(b)は疑似ニューロンの数学的模式図
である。
【図14】疑似ニューロンによる接続状態を説明する図
表である。
【図15】疑似ニューロンを用いたAND−OR構成に
よる概念図である。
【図16】ORゲートを近似した関数を示すグラフであ
る。
【図17】ANDゲートを近似した関数を示すグラフで
ある。
【図18】学習信号の真理値表である。
【図19】図表18に続く学習信号の真理値表である。
【図20】閾値修正量Δθijのカルノー図である。
【図21】疑似ニューロンによる接続状態状態割当図で
ある。
【図22】疑似ニューロンの出力Yijと入力Xi 及び状
態割当q321 の論理関数を示すカルノー図であ
る。
【図23】学習アルゴリズムの論理回路図である。
【図24】(a)は閾値の学習状態遷移図、(b)は重
みの学習状態遷移図である。
【図25】(a)は図24の(a)の学習状態遷移表、
(b)は図24(b)の学習状態遷移表である。
【図26】閾値の学習回路真理値表である。
【図27】重みの学習回路真理値表である。
【図28】結合と閾値修正回路の真理値表である。
【図29】図28のq3 ′のカルノー図である。
【図30】図28のq2 ′のカルノー図である。
【図31】図28のq1 ′のカルノー図である。
【図32】学習修正回路の論理回路図である。
【図33】順序回路による学習修正回路のブロック図で
ある。
【図34】疑似ニューロンによる接続回路の真理値表で
ある。
【図35】接続回路部分を示す回路図である。
【図36】本発明の全体ブロック図である。
【図37】接続関数の真理値表である。
【図38】準ポテンシャル・エネルギー法により得られ
た学習アルゴリズム回路の一例を示す回路図である。
【図39】順序回路の組合せ回路部の真理値表である。
【図40】順序回路を用いた学習修正回路図である。
【図41】接続回路部分の回路図である。
【図42】準ポテンシャル・エネルギー法を用いた本発
明の全体ブロック図である。
【図43】順序回路における学習の様子を示す説明図で
ある。
【符号の説明】 Xi i番目の入力 Yij 疑似ニューロンの出力 Wij 重み Z 出力 T 教師信号 ΔWij 重みの修正量 θij 閾値の修正量

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 第1の二値ゲートと第2の二値ゲートと
    は、それぞれORゲート、又は、ANDゲート、又は、
    NORゲート、又はNANDゲート、又は、EXOR
    (排他的論理和)ゲートのいずれかで構成され、前記第
    1の二値ゲートと第2の二値ゲートとの間の接続は、 (1)直接接続される (2)インバータを介して接続される (3)第2の二値ゲートには1が入力される (4)第2の二値ゲートには0が入力される の中からいずれかの接続が選択されることによって、学
    習を行わせることを特徴とする二値システムの学習方
    法。
  2. 【請求項2】 ORゲート、又はANDゲート、又はN
    ORゲート、又はNANDゲート、又はEXORゲート
    のいずれかで構成された二値ゲートと入力との間の接続
    は、 (1)直接接続される (2)インバータを介して接続される (3)第2の二値ゲートには1が入力される (4)第2の二値ゲートには0が入力される の中からいずれかの接続が選択することによって学習を
    行わせることを特徴とする二値システムの学習方法。
  3. 【請求項3】 ORゲート、又はANDゲート、又はN
    ORゲート、又はNANDゲート、又はEXORゲート
    のいずれかで構成された二値ゲートと現在の入力及びそ
    れ以前の入力を表わす内部状態との接続は、 (1)直接接続される (2)インバータを介して接続される (3)第2の二値ゲートには1が入力される (4)第2の二値ゲートには0が入力される の中からいずれかの接続が選択することによって学習を
    行わせることを特徴とする二値システムの学習方法。
  4. 【請求項4】 前記第1の二値ゲート又は入力と第2の
    二値ゲートとの間の接続は、少なくとも前記第1の二値
    ゲートへの入力信号と、学習用の教師信号との演算結果
    に基づき、前記4つの接続状態のいずれかを選択するよ
    うに構成したことを特徴とする請求項1,2又は3記載
    の二値システムの学習方法。
  5. 【請求項5】 前記第1の二値ゲート又は入力と第2の
    二値ゲートとの間には、下記のように定義する疑似ニュ
    ーロンQを設け、疑似ニューロンQの値に基づき、前記
    第1の二値ゲート又は入力と第2の二値ゲートとの接続
    を選択することを特徴とする請求項1,2,3又は4記
    載の二値システムの学習方法。ここで、疑似ニューロン
    Q=f(wx,θ)であり、 fは閾値関数、ジグモイド関数又は部分線型関数、 xは第1の二値ゲートから疑似ニューロンへの入力信
    号、 wは第1の二値ゲートと疑似ニューロン間の重み又は結
    合度、 θは疑似ニューロンの閾値である。
  6. 【請求項6】 複数の二値の入力データを入力せしめる
    入力層と、複数のANDゲートからなるAND層と、前
    記AND層の出力を入力とする複数のORゲートからな
    るOR層と、前記OR層の出力を入力とする出力層と、
    前記入力層とAND層との間に設けられた疑似ニューロ
    ンQからなる接続層とからなり、前記入力層とAND層
    との間の前記接続層の接続は、以下の状態で接続される
    ことを特徴とする二値システムの学習方法。 (1)入力層とAND層とは直接接続される。 (2)入力層とAND層とはインバータを介して接続さ
    れる。 (3)AND層の入力には1が入力される。 (4)AND層の入力には0が入力される。 ここで、疑似ニューロンQ=f(wx,θ)であり、 fは閾値関数、ジグモイド関数又は部分線型関数、 xは入力層から疑似ニューロンへの入力信号、 wは入力層と疑似ニューロン間の重み又は結合度、 θは疑似ニューロンの閾値である。
  7. 【請求項7】 複数の二値の入力データを入力せしめる
    入力層と、複数のORゲートからなるOR層と、前記O
    R層の出力を入力とする複数のANDゲートからなるA
    ND層と、前記AND層の出力を入力とする出力層と、
    前記入力層とOR層との間に設けられた疑似ニューロン
    Qからなる接続層とからなり、前記入力層とOR層との
    間の前記接続層の接続は、以下の状態で接続されること
    を特徴とする二値システムの学習方法。 (1)入力層とOR層とは直接接続される。 (2)入力層とOR層とはインバータを介して接続され
    る。 (3)OR層の入力には1が入力される。 (4)OR層の入力には0が入力される。 ここで、疑似ニューロンQ=f(wx,θ)であり、 fは閾値関数、ジグモイド関数又は部分線型関数、 xは入力層から疑似ニューロンへの入力信号、 wは入力層と疑似ニューロン間の重み又は結合度、 θは疑似ニューロンの閾値である。
  8. 【請求項8】 複数の二値の入力データを入力せしめる
    入力層と、複数のNANDゲートからなる中間NAND
    層と、前記中間NAND層の出力を入力とする複数のN
    ANDゲートからなる出力NAND層と、前記出力NA
    ND層の出力を入力とする出力層と、前記入力層と中間
    NAND層との間に設けられた疑似ニューロンQからな
    る接続層とからなり、前記入力層と中間NAND層との
    間の前記接続層の接続は、以下の状態で接続されること
    を特徴とする二値システムの学習方法。 (1)入力層と中間NAND層とは直接接続される。 (2)入力層と中間NAND層とはインバータを介して
    接続される。 (3)中間NAND層の入力には1が入力される。 (4)中間NAND層の入力には0が入力される。 ここで、疑似ニューロンQ=f(wx,θ)であり、 fは閾値関数、ジグモイド関数又は部分線型関数、 xは入力層から疑似ニューロンへの入力信号、 wは入力層と疑似ニューロン間の重み又は結合度、 θは疑似ニューロンの閾値である。
  9. 【請求項9】 複数の二値の入力データを入力せしめる
    入力層と、複数のNORゲートからなる中間NOR層
    と、前記中間NOR層の出力を入力とする複数のNOR
    ゲートからなる出力NOR層と、前記出力NOR層の出
    力を入力とする出力層と、前記入力層と中間NOR層と
    の間に設けられた疑似ニューロンQからなる接続層とか
    らなり、前記入力層と中間NOR層との間の前記接続層
    の接続は、以下の状態で接続されることを特徴とする二
    値システムの学習方法。 (1)入力層と中間NOR層とは直接接続される。 (2)入力層と中間NOR層とはインバータを介して接
    続される。 (3)中間NOR層の入力には1が入力される。 (4)中間NOR層の入力には0が入力される。 ここで、疑似ニューロンQ=f(wx,θ)であり、 fは閾値関数、ジグモイド関数又は部分線型関数、 xは入力層から疑似ニューロンへの入力信号、 wは入力層と疑似ニューロン間の重み又は結合度、 θは疑似ニューロンの閾値である。
  10. 【請求項10】 複数の二値の入力データを入力せしめ
    る入力層と、複数のEXORゲートからなる中間EXO
    R層と、前記中間EXOR層の出力を入力とする複数の
    EXORゲートからなる出力EXOR層と、前記出力E
    XOR層の出力を入力とする出力層と、前記入力層と中
    間EXOR層との間に設けられた疑似ニューロンQから
    なる接続層とからなり、前記入力層と中間EXOR層と
    の間の前記接続層の接続は、以下の状態で接続されるこ
    とを特徴とする二値システムの学習方法。 (1)入力層と中間EXOR層とは直接接続される。 (2)入力層と中間EXOR層とはインバータを介して
    接続される。 (3)中間EXOR層の入力には1が入力される。 (4)中間EXOR層の入力には0が入力される。 ここで、疑似ニューロンQ=f(wx,θ)であり、 fは閾値関数、ジグモイド関数又は部分線型関数、 xは入力層から疑似ニューロンへの入力信号、 wは入力層と疑似ニューロン間の重み又は結合度、 θは疑似ニューロンの閾値である。
  11. 【請求項11】 疑似ニューロンの重みw、閾値θの調
    整は最急降下法を用いて行うことを特徴とする請求項
    1,2,3,4,5,6,7,8,9又は10記載の二
    値システムの学習方法。
  12. 【請求項12】 前記接続層の接続状態を準ポテンシャ
    ル・エネルギーを用いて表現すると共に、各基本ゲート
    における準ポテンシャル・エネルギーを計算し、接続状
    態の準ポテンシャル・エネルギーの調整によって学習を
    行わせることを特徴とする請求項1,2,3,4,5,
    6,7,8,9,10又は11記載の二値システムの学
    習方法。
JP9320297A 1996-11-06 1997-11-05 二値システムの学習方法 Pending JPH10320369A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/744,299 US6061673A (en) 1996-11-06 1996-11-06 Learning methods in binary systems
US1996P744299 1996-11-06

Publications (1)

Publication Number Publication Date
JPH10320369A true JPH10320369A (ja) 1998-12-04

Family

ID=24992201

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9320297A Pending JPH10320369A (ja) 1996-11-06 1997-11-05 二値システムの学習方法

Country Status (10)

Country Link
US (1) US6061673A (ja)
EP (1) EP0841621B1 (ja)
JP (1) JPH10320369A (ja)
KR (1) KR19980042174A (ja)
CN (1) CN1182246A (ja)
CA (1) CA2219594C (ja)
DE (2) DE841621T1 (ja)
IL (1) IL122099A (ja)
RU (1) RU2168713C2 (ja)
TW (1) TW326507B (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69731222T2 (de) * 1997-08-08 2005-03-10 Bridgestone Corp. Verfahren zum entwerfen von reifen, optimierungsanalysereinrichtung und speichermedium zur aufnahme des optimierungsanalyseprogramms
JP2002024199A (ja) * 1998-02-20 2002-01-25 Souwa Kenkyusho:Kk 二値システムの学習方法
WO2001011558A1 (en) * 1999-08-05 2001-02-15 Sowa Institute Of Technology Co., Ltd. Learning methods in binary systems
US7420969B2 (en) * 2000-11-29 2008-09-02 Rmi Corporation Network switch with a parallel shared memory
US7072345B2 (en) * 2000-11-29 2006-07-04 Raza Microelectronics, Inc Programmable integrated circuit for use in a network switch
US7293002B2 (en) * 2001-06-19 2007-11-06 Ohio University Self-organizing data driven learning hardware with local interconnections
US11494634B2 (en) 2020-05-13 2022-11-08 International Business Machines Corporation Optimizing capacity and learning of weighted real-valued logic

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0883260A (ja) * 1994-09-13 1996-03-26 Nec Corp 自己組織化装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR910002134B1 (ko) * 1986-11-29 1991-04-04 대우전자 주식회사 한자표시가 가능한 엠 에스 엑스(msx) 컴퓨터
US4807168A (en) * 1987-06-10 1989-02-21 The United States Of America As Represented By The Administrator, National Aeronautics And Space Administration Hybrid analog-digital associative neural network
KR900007636Y1 (ko) * 1988-02-12 1990-08-23 대우자동차 주식회사 차량의 선반장치
US4941122A (en) * 1989-01-12 1990-07-10 Recognition Equipment Incorp. Neural network image processing system
US5167006A (en) * 1989-12-29 1992-11-24 Ricoh Company, Ltd. Neuron unit, neural network and signal processing method
US5212765A (en) * 1990-08-03 1993-05-18 E. I. Du Pont De Nemours & Co., Inc. On-line training neural network system for process control
WO1992004687A1 (de) * 1990-09-11 1992-03-19 Siemens Aktiengesellschaft Verfahren und anordnung zur boole'schen realisierung neuronaler netze vom adaline-typ
DE69029390T2 (de) * 1990-09-15 1997-06-12 Ibm Programmierbare Schaltung für eine neurale Logik
KR930004271B1 (ko) * 1990-09-18 1993-05-22 금성일렉트론 주식회사 바이너리 카운터
FR2671207B1 (fr) * 1991-01-02 1993-04-16 Abin Claude Reseau neuronal a operateurs binaires et procedes pour sa realisation.
US5226092A (en) * 1991-06-28 1993-07-06 Digital Equipment Corporation Method and apparatus for learning in a neural network
JPH05210649A (ja) * 1992-01-24 1993-08-20 Mitsubishi Electric Corp 神経回路網表現装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0883260A (ja) * 1994-09-13 1996-03-26 Nec Corp 自己組織化装置

Also Published As

Publication number Publication date
EP0841621B1 (en) 2002-06-12
CA2219594A1 (en) 1998-05-06
MX9708565A (es) 1998-06-30
CN1182246A (zh) 1998-05-20
KR19980042174A (ko) 1998-08-17
IL122099A0 (en) 1998-04-05
RU2168713C2 (ru) 2001-06-10
DE69713247D1 (de) 2002-07-18
CA2219594C (en) 2002-04-16
DE841621T1 (de) 1998-11-12
TW326507B (en) 1998-02-11
IL122099A (en) 2001-01-28
DE69713247T2 (de) 2003-02-06
US6061673A (en) 2000-05-09
EP0841621A1 (en) 1998-05-13

Similar Documents

Publication Publication Date Title
US11100397B2 (en) Method and apparatus for training memristive learning systems
Andersen et al. A. modified regression algorithm for fast one layer neural network training
JPH10320369A (ja) 二値システムの学習方法
Soliman et al. N-digits ternary carry lookahead adder design
Shin et al. Realization of boolean functions using binary pi-sigma networks
Tushar et al. Extreme Learning ANFIS for classification problems
Györgyi Techniques of replica symmetry breaking and the storage problem of the McCulloch–Pitts neuron
Dalhoum et al. High-Order Neural Networks are Equivalent to Ordinary Neural Networks
Bijjani et al. An M-ary neural network model
Guo et al. Temporal difference learning applied to sequential detection
Shastri et al. Soft Computing in SHRUTI-A Neurally Plausible Model of Reflexive Reasoning and Relational Information Processing.
Guimarães et al. An object-oriented library based on computational intelligence techniques for optimization in electromagnetics
Ghorbani et al. Incremental communication for multilayer neural networks
Beiu et al. Optimal mapping of neural networks onto FPGAs: A new constructive algorithm
AU5194899A (en) Learning methods in binary systems
El-Bakry et al. Simplification and implementation of boolean functions
Maire On the convergence of validity interval analysis
Gamino-Carranza Binary associative memories with complemented operations
Tang et al. A model of neurons with unidirectional linear response
Wen et al. Modified two-dimensional Hamming neural network and its optical implementation using Dammann gratings
Monogioudis CS 370: Introduction to Artificial Intelligence​​
Sayeh et al. Generating good design from bad design: dynamical network approach
JP3130913B2 (ja) 信号処理装置
Ploj et al. A ONE-STEP METHOD TO SOLVING BRAIN CONTRADICTION
Wang et al. FPGA implementation of multi-valued" and/or"-neural network

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040810

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041207