JPH11338844A - 発火数制御型神経回路装置 - Google Patents
発火数制御型神経回路装置Info
- Publication number
- JPH11338844A JPH11338844A JP10141493A JP14149398A JPH11338844A JP H11338844 A JPH11338844 A JP H11338844A JP 10141493 A JP10141493 A JP 10141493A JP 14149398 A JP14149398 A JP 14149398A JP H11338844 A JPH11338844 A JP H11338844A
- Authority
- JP
- Japan
- Prior art keywords
- value
- neuron
- layer
- neurons
- activity
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000001537 neural effect Effects 0.000 title claims abstract description 50
- 210000002569 neuron Anatomy 0.000 claims abstract description 315
- 238000001514 detection method Methods 0.000 claims abstract description 58
- 230000000694 effects Effects 0.000 claims description 117
- 230000008878 coupling Effects 0.000 claims description 18
- 238000010168 coupling process Methods 0.000 claims description 18
- 238000005859 coupling reaction Methods 0.000 claims description 18
- 238000010304 firing Methods 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 5
- 230000001737 promoting effect Effects 0.000 claims description 5
- 239000010410 layer Substances 0.000 description 233
- 230000006870 function Effects 0.000 description 40
- 238000000034 method Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 17
- 230000002401 inhibitory effect Effects 0.000 description 9
- 102100033620 Calponin-1 Human genes 0.000 description 7
- 101000945318 Homo sapiens Calponin-1 Proteins 0.000 description 7
- 230000000306 recurrent effect Effects 0.000 description 7
- 101100113507 Neurospora crassa (strain ATCC 24698 / 74-OR23-1A / CBS 708.71 / DSM 1257 / FGSC 987) cnh-1 gene Proteins 0.000 description 6
- 102100033591 Calponin-2 Human genes 0.000 description 5
- 101000945403 Homo sapiens Calponin-2 Proteins 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 4
- 230000002860 competitive effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000002964 excitative effect Effects 0.000 description 1
- 235000019988 mead Nutrition 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 神経回路装置をモデル化したニューロン素子
を用いて構成される神経回路装置において、あらゆる問
題に対して学習を自律的に行え、かつ簡単で少量のLSI
回路で構成できる発火数制御型神経回路装置を提供す
る。 【解決手段】 複数個のニューロンＩ０・・、Ｈ０・・
が１層もしくは複数の層ＬＩ、ＬＨ、ＬＮを成して構成
された神経回路装置において、ニューロンの活動数が２
個以上で当該層毎に指定された値又は値の範囲となるよ
うに制御する手段Ｃ１、Ｃ２を有することにより、ニュ
ーロン数の発散を防ぎ、上記制御する手段が、当該層毎
の全ニューロンに供給される電源電流を検知して得た値
に依存する値を上記指定された値又は値の範囲とする手
段、もしくは当該層毎のニューロンの活動数を検知する
活動数検知ニューロンを設け、その出力の値を上記指定
された値又は値の範囲とする手段とすることによりLSI
回路の簡略化を図った。
を用いて構成される神経回路装置において、あらゆる問
題に対して学習を自律的に行え、かつ簡単で少量のLSI
回路で構成できる発火数制御型神経回路装置を提供す
る。 【解決手段】 複数個のニューロンＩ０・・、Ｈ０・・
が１層もしくは複数の層ＬＩ、ＬＨ、ＬＮを成して構成
された神経回路装置において、ニューロンの活動数が２
個以上で当該層毎に指定された値又は値の範囲となるよ
うに制御する手段Ｃ１、Ｃ２を有することにより、ニュ
ーロン数の発散を防ぎ、上記制御する手段が、当該層毎
の全ニューロンに供給される電源電流を検知して得た値
に依存する値を上記指定された値又は値の範囲とする手
段、もしくは当該層毎のニューロンの活動数を検知する
活動数検知ニューロンを設け、その出力の値を上記指定
された値又は値の範囲とする手段とすることによりLSI
回路の簡略化を図った。
Description
【０００１】
【発明の属する技術分野】本発明は文字認識、音声認
識、画像認識等学習型パターン認識装置に用いられる神
経回路装置に関し、特に発火数制御型神経回路装置に関
する。
識、画像認識等学習型パターン認識装置に用いられる神
経回路装置に関し、特に発火数制御型神経回路装置に関
する。
【０００２】
【従来の技術】学習機能を有するニューロ素子を用いて
構成される神経回路装置を実現するアーキテクチャとし
て、パーセプトロン、リカレント型ネットワーク、ホッ
プフィールドネットワーク、ネオコグニトロン、誤差逆
伝搬法、特徴地図法等の各種のモデルが提案されてい
る。これらのモデルは個々の機能をアナログ回路で実現
する手法や、プロセッサを基本回路として用いて機能を
プログラムで記述して実現する手法や、両手法を混合す
ることによって実現されていた。
構成される神経回路装置を実現するアーキテクチャとし
て、パーセプトロン、リカレント型ネットワーク、ホッ
プフィールドネットワーク、ネオコグニトロン、誤差逆
伝搬法、特徴地図法等の各種のモデルが提案されてい
る。これらのモデルは個々の機能をアナログ回路で実現
する手法や、プロセッサを基本回路として用いて機能を
プログラムで記述して実現する手法や、両手法を混合す
ることによって実現されていた。
【０００３】アナログ回路を基本とするシステムにおい
ては、入力信号を処理するニューロ素子は、複数の入力
信号とニューロの状態関数としての個々の入力信号に対
する重み値との積和を、ギルバート増幅器等のアナログ
乗算回路や、加算回路を用いて行い、積和出力を各ニュ
ーロ素子が保持しているしきい値とをカレントミラー等
の比較回路で比較し、シグモイド関数等による関数変換
処理を行った結果を出力していた。詳しくは、カーバ・
ミード(Carver Mead)により１９８９年に発行された単
行本「Analog VLSI and Neural Systems」（訳本：臼井
支朗、米津宏雄訳「アナログＶＬＳＩと神経回路システ
ム」１９９３年発行）や、岩田あつし、雨宮好仁の著に
より１９９６年に電子情報通信学会から発行された「ニ
ューラルネットワークLSI」等に記載されている。
ては、入力信号を処理するニューロ素子は、複数の入力
信号とニューロの状態関数としての個々の入力信号に対
する重み値との積和を、ギルバート増幅器等のアナログ
乗算回路や、加算回路を用いて行い、積和出力を各ニュ
ーロ素子が保持しているしきい値とをカレントミラー等
の比較回路で比較し、シグモイド関数等による関数変換
処理を行った結果を出力していた。詳しくは、カーバ・
ミード(Carver Mead)により１９８９年に発行された単
行本「Analog VLSI and Neural Systems」（訳本：臼井
支朗、米津宏雄訳「アナログＶＬＳＩと神経回路システ
ム」１９９３年発行）や、岩田あつし、雨宮好仁の著に
より１９９６年に電子情報通信学会から発行された「ニ
ューラルネットワークLSI」等に記載されている。
【０００４】後者のプロセッサ回路を基本としたシステ
ムでは、ニューロの積和機能、比較機能、関数変換機能
などの各処理はプログラムで記述され、複数のプロセッ
サに分割配分されて並列に計算された。
ムでは、ニューロの積和機能、比較機能、関数変換機能
などの各処理はプログラムで記述され、複数のプロセッ
サに分割配分されて並列に計算された。
【０００５】また、ニューロ素子が有する積和機能、パ
ルス出力機能などの一部のニューロ素子の特徴的な機能
をアナログ回路で実現し、アナログディジタル変換を行
って残りの機能をディジタル的に処理する折衷方式も試
みられている。
ルス出力機能などの一部のニューロ素子の特徴的な機能
をアナログ回路で実現し、アナログディジタル変換を行
って残りの機能をディジタル的に処理する折衷方式も試
みられている。
【０００６】
【発明が解決しようとする課題】これらの従来の方式の
ニューロ素子をLSI化する場合、神経回路装置での学習
があらゆる問題における各種の課題に対して容易に行わ
れることが必要である。LSI化された神経回路装置が柔
軟に適応できるようにするためには、各ニューロンが自
律的に課題を学習可能な方式（教師無し学習方式と呼ば
れる）が好ましい。
ニューロ素子をLSI化する場合、神経回路装置での学習
があらゆる問題における各種の課題に対して容易に行わ
れることが必要である。LSI化された神経回路装置が柔
軟に適応できるようにするためには、各ニューロンが自
律的に課題を学習可能な方式（教師無し学習方式と呼ば
れる）が好ましい。
【０００７】この教師無し学習方式としてヘブ学習方式
や特徴地図法が知られている。同一層内におけるニュー
ロン間の競合学習を組み合わせたヘブ学習方式において
は、神経回路装置中のある群をなすニューロンを層状に
構成し、各層で唯一個のニューロンが勝者として出力を
出すことを許容している。同一層内におけるニューロン
間の競合による単一勝者法により自己学習可能なことが
明らかにされている。コホーネンによる特徴地図方式に
おいても、単一の勝者が選ばれ、勝者の近傍のニューロ
ンに対してのみ学習が行われる。しかし、単一勝者方式
によると、特徴として分類し抽出したいアイテム数だけ
のニューロンを出力層に設ける必要があり、出力層のニ
ューロン数が発散するという問題があった。
や特徴地図法が知られている。同一層内におけるニュー
ロン間の競合学習を組み合わせたヘブ学習方式において
は、神経回路装置中のある群をなすニューロンを層状に
構成し、各層で唯一個のニューロンが勝者として出力を
出すことを許容している。同一層内におけるニューロン
間の競合による単一勝者法により自己学習可能なことが
明らかにされている。コホーネンによる特徴地図方式に
おいても、単一の勝者が選ばれ、勝者の近傍のニューロ
ンに対してのみ学習が行われる。しかし、単一勝者方式
によると、特徴として分類し抽出したいアイテム数だけ
のニューロンを出力層に設ける必要があり、出力層のニ
ューロン数が発散するという問題があった。
【０００８】一方教師有り学習法として好ましい学習効
率を示すものに誤差逆伝搬法がある。誤差逆伝搬法は、
入力信号を提示して得られる出力と、出力として期待す
る教師信号との差を求め、この誤差が小さくなるように
前段の中間層の重み値を変化させて学習を行うものであ
る。誤差逆伝搬法は単一勝者法を必要としないのでニュ
ーロン数の点では発散の問題は無くなるが、教師信号を
必要とし、また学習時の重み値の更新に複雑な計算が必
要であるため、LSI化する場合ニューロンのデータ処理
部の回路が複雑になるという問題がある。
率を示すものに誤差逆伝搬法がある。誤差逆伝搬法は、
入力信号を提示して得られる出力と、出力として期待す
る教師信号との差を求め、この誤差が小さくなるように
前段の中間層の重み値を変化させて学習を行うものであ
る。誤差逆伝搬法は単一勝者法を必要としないのでニュ
ーロン数の点では発散の問題は無くなるが、教師信号を
必要とし、また学習時の重み値の更新に複雑な計算が必
要であるため、LSI化する場合ニューロンのデータ処理
部の回路が複雑になるという問題がある。
【０００９】複数の勝者を許容しニューロン数を減らす
方式として、黄、萩原等により電子情報通信学会技術報
告として１９９５年に発表された「複数勝者競合過程を
用いた自己組織化ニューラルネットワーク」（信学技報
NC94-94、143〜150ページ）、同じく１９９７年に発表
された「複数勝者自己組織化ニューラルネットワーク」
（信学技報NC96-156、7〜14ページ）がある。黄、萩原
等よる複数勝者自己組織化ニューラルネットワークは、
重み値の更新学習時に、競合層の出力の総和を求め、求
めた総和で競合層の出力を規格化して重み値の発散、消
失を防いでいる。しかし、規格化のためには出力の総和
を求め、求めた値で各々の出力値を規格化するという煩
雑な手順が必要で、LSI化したときのニューロンの回路
を複雑にするという問題がある。
方式として、黄、萩原等により電子情報通信学会技術報
告として１９９５年に発表された「複数勝者競合過程を
用いた自己組織化ニューラルネットワーク」（信学技報
NC94-94、143〜150ページ）、同じく１９９７年に発表
された「複数勝者自己組織化ニューラルネットワーク」
（信学技報NC96-156、7〜14ページ）がある。黄、萩原
等よる複数勝者自己組織化ニューラルネットワークは、
重み値の更新学習時に、競合層の出力の総和を求め、求
めた総和で競合層の出力を規格化して重み値の発散、消
失を防いでいる。しかし、規格化のためには出力の総和
を求め、求めた値で各々の出力値を規格化するという煩
雑な手順が必要で、LSI化したときのニューロンの回路
を複雑にするという問題がある。
【００１０】本発明の目的は、神経回路装置をモデル化
したニューロン素子を用いて構成される神経回路装置に
おいて、あらゆる問題に対して学習を自律的に行え、か
つ簡単で少量のLSI回路で構成できる発火数制御型神経
回路装置を提供することにある。
したニューロン素子を用いて構成される神経回路装置に
おいて、あらゆる問題に対して学習を自律的に行え、か
つ簡単で少量のLSI回路で構成できる発火数制御型神経
回路装置を提供することにある。
【００１１】
【課題を解決するための手段】本発明の発火数制御型神
経回路装置は、複数個のニューロンが１層もしくは複数
の層を成して構成された神経回路装置であって、ニュー
ロンの活動数が、２個以上で層毎に指定された値もしく
は指定された値の範囲に依存して制約されるように、ニ
ューロンの活動数を制御する制御手段を有する。
経回路装置は、複数個のニューロンが１層もしくは複数
の層を成して構成された神経回路装置であって、ニュー
ロンの活動数が、２個以上で層毎に指定された値もしく
は指定された値の範囲に依存して制約されるように、ニ
ューロンの活動数を制御する制御手段を有する。
【００１２】従って、各層における出力を発生するニュ
ーロンは２個以上であり、１個の場合の公知の単一勝者
法で見られるような複雑な処理の必要はなく、層毎にニ
ューロンが活動を開始するしきい値を設定制御すること
により簡単に行える。
ーロンは２個以上であり、１個の場合の公知の単一勝者
法で見られるような複雑な処理の必要はなく、層毎にニ
ューロンが活動を開始するしきい値を設定制御すること
により簡単に行える。
【００１３】また、ニューロンの活動数が、２個以上で
層毎に指定された値もしくは指定された値の範囲に依存
して制約されるように、ニューロンの活動数を制御する
制御手段は、層毎の全ニューロンに供給される電源電流
を検知して得た値に依存する値を、指定された値もしく
は指定された値の範囲とする検知制御手段を有してもよ
い。
層毎に指定された値もしくは指定された値の範囲に依存
して制約されるように、ニューロンの活動数を制御する
制御手段は、層毎の全ニューロンに供給される電源電流
を検知して得た値に依存する値を、指定された値もしく
は指定された値の範囲とする検知制御手段を有してもよ
い。
【００１４】従って、当該層のニューロンに供給される
電源電流は、当該層の活動しているニューロン数を現し
ており、この電流値を検知して得た値を関数変換してフ
ィードバックして当該層のニューロンの活動を制御する
ことにより簡単に活動するニューロン数の制約が行われ
る。
電源電流は、当該層の活動しているニューロン数を現し
ており、この電流値を検知して得た値を関数変換してフ
ィードバックして当該層のニューロンの活動を制御する
ことにより簡単に活動するニューロン数の制約が行われ
る。
【００１５】また、ニューロンの活動数が、２個以上で
層毎に指定された値もしくは指定された値の範囲に依存
して制約されるように、ニューロンの活動数を制御する
制御手段は、中間層の複数の層の全ニューロンに供給さ
れる電源電流を検知して得た値に依存する値を、指定さ
れた値もしくは指定された値の範囲として、電源電流を
検知した中間層の全ニューロンを制御する検知制御手段
と、出力層の全ニューロンに供給される電源電流を検知
して得た値に依存する値を、指定された値もしくは指定
された値の範囲として、出力層の全ニューロンを制御す
る検知制御手段とを有してもよい。
層毎に指定された値もしくは指定された値の範囲に依存
して制約されるように、ニューロンの活動数を制御する
制御手段は、中間層の複数の層の全ニューロンに供給さ
れる電源電流を検知して得た値に依存する値を、指定さ
れた値もしくは指定された値の範囲として、電源電流を
検知した中間層の全ニューロンを制御する検知制御手段
と、出力層の全ニューロンに供給される電源電流を検知
して得た値に依存する値を、指定された値もしくは指定
された値の範囲として、出力層の全ニューロンを制御す
る検知制御手段とを有してもよい。
【００１６】従って、中間層のニューロンに供給される
電源電流は、中間層で活動しているニューロン数を現し
ており、中間層の１層のみでなく複数の層に供給される
電流を併せて検知し、まとめて関数変換してフィードバ
ックし中間層の電源電流を検知した当該層のニューロン
の活動を制御することにより簡単に複数層を持つ中間層
のニューロンに対して活動するニューロン数の制約が行
われる。
電源電流は、中間層で活動しているニューロン数を現し
ており、中間層の１層のみでなく複数の層に供給される
電流を併せて検知し、まとめて関数変換してフィードバ
ックし中間層の電源電流を検知した当該層のニューロン
の活動を制御することにより簡単に複数層を持つ中間層
のニューロンに対して活動するニューロン数の制約が行
われる。
【００１７】また、ニューロンの活動数が、２個以上で
層毎に指定された値もしくは指定された値の範囲に依存
して制約されるように、ニューロンの活動数を制御する
制御手段は、中間層と出力層の全てのニューロンに供給
される電源電流を検知して得た値に依存する値を、指定
された値もしくは指定された値の範囲として、中間層と
出力層の全てのニューロンを制御する検知制御手段を有
してもよい。
層毎に指定された値もしくは指定された値の範囲に依存
して制約されるように、ニューロンの活動数を制御する
制御手段は、中間層と出力層の全てのニューロンに供給
される電源電流を検知して得た値に依存する値を、指定
された値もしくは指定された値の範囲として、中間層と
出力層の全てのニューロンを制御する検知制御手段を有
してもよい。
【００１８】従って、中間層と出力層のニューロンに供
給される電源電流は、中間層と出力層で活動しているニ
ューロン数を現しており、検知された電流値をフィード
バックし中間層と出力層の全ニューロンの活動を制御す
ることにより簡単に中間層と出力層の全部のニューロン
に対して活動するニューロン数の制約が行われる。
給される電源電流は、中間層と出力層で活動しているニ
ューロン数を現しており、検知された電流値をフィード
バックし中間層と出力層の全ニューロンの活動を制御す
ることにより簡単に中間層と出力層の全部のニューロン
に対して活動するニューロン数の制約が行われる。
【００１９】また、ニューロンの活動数が、２個以上で
層毎に指定された値もしくは指定された値の範囲に依存
して制約されるように、ニューロンの活動数を制御する
制御手段は、電源電流値を検知する検知手段と、検知さ
れた電源電流値を関数変換する手段と、関数変換された
値に依存して各層のニューロンに対して活動を促進もし
くは抑制するように制御する結合手段とから構成されて
もよい。
層毎に指定された値もしくは指定された値の範囲に依存
して制約されるように、ニューロンの活動数を制御する
制御手段は、電源電流値を検知する検知手段と、検知さ
れた電源電流値を関数変換する手段と、関数変換された
値に依存して各層のニューロンに対して活動を促進もし
くは抑制するように制御する結合手段とから構成されて
もよい。
【００２０】従って、電流値の検知手段、関数変換手
段、ニューロンの活動を制御する結合手段は、それぞれ
公知の簡単な半導体回路を用いて容易に実現できる。
段、ニューロンの活動を制御する結合手段は、それぞれ
公知の簡単な半導体回路を用いて容易に実現できる。
【００２１】また、関数変換された値に依存して各層の
ニューロンに対して活動を促進もしくは抑制するように
制御する結合手段は、各層の活動しているニューロン数
が所望の数より少ない場合には活動を促進し、各層の活
動しているニューロン数が所望の数より多い場合には活
動を抑制するように制御する手段を有してもよい。
ニューロンに対して活動を促進もしくは抑制するように
制御する結合手段は、各層の活動しているニューロン数
が所望の数より少ない場合には活動を促進し、各層の活
動しているニューロン数が所望の数より多い場合には活
動を抑制するように制御する手段を有してもよい。
【００２２】従って、活動の促進と抑制は、例えばニュ
ーロンを構成する重み値の一つとして結合手段の出力を
接続すること等により簡単に実現される。
ーロンを構成する重み値の一つとして結合手段の出力を
接続すること等により簡単に実現される。
【００２３】また、検知された電源電流値を関数変換す
る手段の関数は、線形変換関数もしくは非線形変換関数
であってもよい。
る手段の関数は、線形変換関数もしくは非線形変換関数
であってもよい。
【００２４】従って、これら線形変換関数の回路は増幅
回路と反転回路等の組み合わせにより容易に実現され、
また非線形変換関数の回路は、指数曲線や２次曲線など
を発生する非線形素子を用いて簡単に実現される。
回路と反転回路等の組み合わせにより容易に実現され、
また非線形変換関数の回路は、指数曲線や２次曲線など
を発生する非線形素子を用いて簡単に実現される。
【００２５】また、ニューロンの活動数が、２個以上で
層毎に指定された値もしくは指定された値の範囲に依存
して制約されるように、ニューロンの活動数を制御する
制御手段は、層毎のニューロンの活動数を検知する活動
数検知ニューロンであり、活動数検知ニューロンの出力
の値を指定された値もしくは指定された値の範囲として
もよい。
層毎に指定された値もしくは指定された値の範囲に依存
して制約されるように、ニューロンの活動数を制御する
制御手段は、層毎のニューロンの活動数を検知する活動
数検知ニューロンであり、活動数検知ニューロンの出力
の値を指定された値もしくは指定された値の範囲として
もよい。
【００２６】従って、活動数検知ニューロンは、当該層
のニューロンの全てからの出力を受け、当該層で活動し
ているニューロンの数を検知し、当該層のニューロンの
活動を制御する。
のニューロンの全てからの出力を受け、当該層で活動し
ているニューロンの数を検知し、当該層のニューロンの
活動を制御する。
【００２７】また、活動数検知ニューロンは、ニューロ
ンの活動数が層毎に指定された範囲の最小値を越えたと
き応答する最小値検知ニューロンと、ニューロンの活動
数が層毎に指定された範囲の最大値を越えたとき応答す
る最大値検知ニューロンとからなり、最小値検知ニュー
ロンは層のニューロンの活動を促進し、最大値検知ニュ
ーロンは層のニューロンの活動を抑制するように作用し
てもよい。
ンの活動数が層毎に指定された範囲の最小値を越えたと
き応答する最小値検知ニューロンと、ニューロンの活動
数が層毎に指定された範囲の最大値を越えたとき応答す
る最大値検知ニューロンとからなり、最小値検知ニュー
ロンは層のニューロンの活動を促進し、最大値検知ニュ
ーロンは層のニューロンの活動を抑制するように作用し
てもよい。
【００２８】従って、最小値検知ニューロンは、当該層
のニューロンの各々からの出力を入力として受けてお
り、入力の総和が指定された活動数の最小値に到達した
とき出力を変化させるようにしきい値を設定することに
より最小値が検出される。最大値検知ニューロンは、同
様に入力として受けている当該層のニューロンからの入
力の総和が指定された活動数の最小値に到達したとき出
力を変化させるようにしきい値を設定することにより最
大値が検出される。
のニューロンの各々からの出力を入力として受けてお
り、入力の総和が指定された活動数の最小値に到達した
とき出力を変化させるようにしきい値を設定することに
より最小値が検出される。最大値検知ニューロンは、同
様に入力として受けている当該層のニューロンからの入
力の総和が指定された活動数の最小値に到達したとき出
力を変化させるようにしきい値を設定することにより最
大値が検出される。
【００２９】
【発明の実施の形態】以下、本発明をその実施の形態を
示す図面に基づいて具体的に説明する。
示す図面に基づいて具体的に説明する。
【００３０】（第１の実施例）図１は実施の形態１に関
わる発火数制御型神経回路装置の構成を示した第１の実
施例を示す図である。
わる発火数制御型神経回路装置の構成を示した第１の実
施例を示す図である。
【００３１】第１の実施例の発火数制御型神経回路装置
は、入力信号を受ける入力層ＬＩと最終出力を出す出力
層ＬＮと、中間層としてここでは１層の中間層ＬＨとか
らなる３層の階層構造を成す神経回路装置である。
は、入力信号を受ける入力層ＬＩと最終出力を出す出力
層ＬＮと、中間層としてここでは１層の中間層ＬＨとか
らなる３層の階層構造を成す神経回路装置である。
【００３２】入力層ＬＩのニューロン数は入力信号数に
依存するがここでは、６個のニューロンＩ０〜Ｉ５が入
力信号Ｘ０〜Ｘ５をそれぞれ受け取る。図が複雑になる
ため示していないが、ニューロンＩ０〜Ｉ５の各々は中
間層ＬＨの全ニューロンＨ０〜Ｈ５へ出力を与えてい
る。中間層ＬＨのニューロン数は認識を行うカテゴリ数
に依存する。ここでは６個のニューロンＨ０〜Ｈ５が中
間層を構成している。ニューロンＨ０〜Ｈ５の各々は、
前段の入力層ＬＩのニューロンＩ０〜Ｉ５の出力を受
け、次段の出力層ＬＮの全ニューロンへ出力を与える。
出力層ＬＮのニューロン数は認識を行うカテゴリに依存
するが、ここでは６個のニューロンＮ０〜Ｎ５としてい
る。出力層ＬＮの各ニューロンＮ０〜Ｎ５は、前段の中
間層ＬＨのニューロンＨ０〜Ｈ５の出力を受け、最終出
力Ｙ０〜Ｙ５を出力する。
依存するがここでは、６個のニューロンＩ０〜Ｉ５が入
力信号Ｘ０〜Ｘ５をそれぞれ受け取る。図が複雑になる
ため示していないが、ニューロンＩ０〜Ｉ５の各々は中
間層ＬＨの全ニューロンＨ０〜Ｈ５へ出力を与えてい
る。中間層ＬＨのニューロン数は認識を行うカテゴリ数
に依存する。ここでは６個のニューロンＨ０〜Ｈ５が中
間層を構成している。ニューロンＨ０〜Ｈ５の各々は、
前段の入力層ＬＩのニューロンＩ０〜Ｉ５の出力を受
け、次段の出力層ＬＮの全ニューロンへ出力を与える。
出力層ＬＮのニューロン数は認識を行うカテゴリに依存
するが、ここでは６個のニューロンＮ０〜Ｎ５としてい
る。出力層ＬＮの各ニューロンＮ０〜Ｎ５は、前段の中
間層ＬＨのニューロンＨ０〜Ｈ５の出力を受け、最終出
力Ｙ０〜Ｙ５を出力する。
【００３３】入力層ＬＩのニューロンＩ０〜Ｉ５は電源
ＶＩにより駆動され、中間層ＬＨのニューロンＨ０〜Ｈ
５は電源ＶＨで駆動され、出力層ＬＮのニューロンＮ０
〜Ｎ５は電源ＶＮで駆動される。制御手段Ｃ１は中間層
ＬＨのニューロンＨ０〜Ｈ５の内で活動するニューロン
数がある指定された値もしくは値の範囲となるようにニ
ューロンＨ０〜Ｈ５の活動を制御する。制御手段Ｃ２は
出力層ＬＮのニューロンＮ０〜Ｎ５の内で活動するニュ
ーロン数がある指定された値もしくは値の範囲となるよ
うにニューロンＮ０〜Ｎ５の活動を制御する。制御手段
Ｃ１，Ｃ２は、具体的には、活動するニューロン数が不
足する場合には、各ニューロンに興奮性の結合を行い所
望の活動数に達するまでニューロンへの入力レベルを上
げ続ける。もしくは、所望の活動数に達するまで各ニュ
ーロンが出力を出すしきい値を下げ続け、等価的にニュ
ーロンへの入力レベルを上げる作用をする。
ＶＩにより駆動され、中間層ＬＨのニューロンＨ０〜Ｈ
５は電源ＶＨで駆動され、出力層ＬＮのニューロンＮ０
〜Ｎ５は電源ＶＮで駆動される。制御手段Ｃ１は中間層
ＬＨのニューロンＨ０〜Ｈ５の内で活動するニューロン
数がある指定された値もしくは値の範囲となるようにニ
ューロンＨ０〜Ｈ５の活動を制御する。制御手段Ｃ２は
出力層ＬＮのニューロンＮ０〜Ｎ５の内で活動するニュ
ーロン数がある指定された値もしくは値の範囲となるよ
うにニューロンＮ０〜Ｎ５の活動を制御する。制御手段
Ｃ１，Ｃ２は、具体的には、活動するニューロン数が不
足する場合には、各ニューロンに興奮性の結合を行い所
望の活動数に達するまでニューロンへの入力レベルを上
げ続ける。もしくは、所望の活動数に達するまで各ニュ
ーロンが出力を出すしきい値を下げ続け、等価的にニュ
ーロンへの入力レベルを上げる作用をする。
【００３４】なお、ここでは各層において複数個のニュ
ーロンが活動しているので、認識するカテゴリ数に比し
て各層のニューロン数は少なくて良い。理想的には、例
えば６個のニューロンで２の６乗、即ち６４個のカテゴ
リの認識が可能である。しかし、神経回路装置の汎化性
など考慮するとカテゴリ数は１６程度が好ましい。
ーロンが活動しているので、認識するカテゴリ数に比し
て各層のニューロン数は少なくて良い。理想的には、例
えば６個のニューロンで２の６乗、即ち６４個のカテゴ
リの認識が可能である。しかし、神経回路装置の汎化性
など考慮するとカテゴリ数は１６程度が好ましい。
【００３５】（第２の実施例）図２は実施の形態２に関
わる発火数制御型神経回路装置として、ニューロンの活
動数が２個以上で当該層毎に指定された値もしくは値の
範囲に依存して制約されるように制御する制御手段とし
てニューロ素子へ供給される当該層の電源電流の値を検
知して制御する手法を用いた装置の構成を示した第２の
実施例を示す図である。第２の実施例では、１層の入力
層ＬＩと、１層の出力層ＬＮと、２層の中間層ＬＨ１、
ＬＨ２から成り、それぞれが電源ＶＩ，ＶＮ，ＶＨ１，
ＶＨ２により駆動される。中間層第１層ＬＨ１は７個の
ニューロンＨ０〜Ｈ６から構成され、中間層第２層ＬＨ
２は６個のニューロンＨ１０〜Ｈ１５から構成される。
このように中間の各層のニューロン数は認識目的により
適宜決められる。
わる発火数制御型神経回路装置として、ニューロンの活
動数が２個以上で当該層毎に指定された値もしくは値の
範囲に依存して制約されるように制御する制御手段とし
てニューロ素子へ供給される当該層の電源電流の値を検
知して制御する手法を用いた装置の構成を示した第２の
実施例を示す図である。第２の実施例では、１層の入力
層ＬＩと、１層の出力層ＬＮと、２層の中間層ＬＨ１、
ＬＨ２から成り、それぞれが電源ＶＩ，ＶＮ，ＶＨ１，
ＶＨ２により駆動される。中間層第１層ＬＨ１は７個の
ニューロンＨ０〜Ｈ６から構成され、中間層第２層ＬＨ
２は６個のニューロンＨ１０〜Ｈ１５から構成される。
このように中間の各層のニューロン数は認識目的により
適宜決められる。
【００３６】電源ＶＨ１から中間の第１層ＬＨ１の全ニ
ューロンに供給される電流は、検知制御手段ＤＨ１によ
り電流値が検知され、検知された電流値に依存して中間
層ＬＨ１のニューロンＨ０〜Ｈ６の活動を制御する。電
源ＶＨ２から中間の第２層ＬＨ２の全ニューロンに供給
される電流は、検知制御手段ＤＨ２により電流値が検知
され、検知された電流値に依存して中間層ＬＨ２のニュ
ーロンＨ１０〜Ｈ１５の活動を制御する。電源ＶＮから
出力層ＬＮのニューロンＮ０〜Ｎ５に供給される電流
は、同様に検知制御手段ＤＮにより電流値が検知され、
検知された電流値に依存して出力層ＬＮの全ニューロン
Ｎ０〜Ｎ５の活動を制御する。
ューロンに供給される電流は、検知制御手段ＤＨ１によ
り電流値が検知され、検知された電流値に依存して中間
層ＬＨ１のニューロンＨ０〜Ｈ６の活動を制御する。電
源ＶＨ２から中間の第２層ＬＨ２の全ニューロンに供給
される電流は、検知制御手段ＤＨ２により電流値が検知
され、検知された電流値に依存して中間層ＬＨ２のニュ
ーロンＨ１０〜Ｈ１５の活動を制御する。電源ＶＮから
出力層ＬＮのニューロンＮ０〜Ｎ５に供給される電流
は、同様に検知制御手段ＤＮにより電流値が検知され、
検知された電流値に依存して出力層ＬＮの全ニューロン
Ｎ０〜Ｎ５の活動を制御する。
【００３７】第２の実施例においても、入力層から出力
層までの各層間の結線は図を見やすくする目的で省いて
ある。この実施の形態２のようにニューロン数が少ない
場合には各層間は全結線構成を取る。即ち前段の各ニュ
ーロンの出力は後段の全ニューロンに並列に繋がれる。
層までの各層間の結線は図を見やすくする目的で省いて
ある。この実施の形態２のようにニューロン数が少ない
場合には各層間は全結線構成を取る。即ち前段の各ニュ
ーロンの出力は後段の全ニューロンに並列に繋がれる。
【００３８】（第３の実施例）図３は実施の形態２に関
わる第２の発火数制御型神経回路装置として、ニューロ
ンの活動数が２個以上で当該層毎に指定された値もしく
は値の範囲に依存して制約されるように制御する制御手
段としてニューロ素子へ供給される当該層の電源電流の
値を検知して制御する手法を用いた装置の第２の構成を
示した第３の実施例を示す図である。第３の実施例で
は、中間層が無く入力層と出力層を併せて１層ＬＩＮと
している。
わる第２の発火数制御型神経回路装置として、ニューロ
ンの活動数が２個以上で当該層毎に指定された値もしく
は値の範囲に依存して制約されるように制御する制御手
段としてニューロ素子へ供給される当該層の電源電流の
値を検知して制御する手法を用いた装置の第２の構成を
示した第３の実施例を示す図である。第３の実施例で
は、中間層が無く入力層と出力層を併せて１層ＬＩＮと
している。
【００３９】１層のＬＩＮ層のニューロンＩＮ０〜ＩＮ
５は電源ＶＩＮにより駆動され、入力信号Ｘ０〜Ｘ５を
受け出力Ｙ０〜Ｙ５を出す。ＬＩＮ層の６個のニューロ
ンＩＮ０〜ＩＮ５のそれぞれは最終出力である出力Ｙ０
〜Ｙ５が再入力されるリカレント型の構造を取り入力信
号を認識する。電源ＶＩＮからＬＩＮ層の全ニューロン
ＩＮ０〜ＩＮ５に供給される電源電流は、検知制御手段
ＤＩＮにより電流値が検知され、検知された電流値に依
存してＬＩＮ層のニューロンＩＮ０〜ＩＮ５の活動を制
御する。
５は電源ＶＩＮにより駆動され、入力信号Ｘ０〜Ｘ５を
受け出力Ｙ０〜Ｙ５を出す。ＬＩＮ層の６個のニューロ
ンＩＮ０〜ＩＮ５のそれぞれは最終出力である出力Ｙ０
〜Ｙ５が再入力されるリカレント型の構造を取り入力信
号を認識する。電源ＶＩＮからＬＩＮ層の全ニューロン
ＩＮ０〜ＩＮ５に供給される電源電流は、検知制御手段
ＤＩＮにより電流値が検知され、検知された電流値に依
存してＬＩＮ層のニューロンＩＮ０〜ＩＮ５の活動を制
御する。
【００４０】（第４の実施例）図４は実施の形態３に関
わる発火数制御型神経回路装置として、複数層の中間層
のニューロンに供給される電源電流を併せて検知して得
た値に依存する値を前記指定された値もしくは値の範囲
として複数層の中間層のニューロンを制御する第４の実
施例の装置の構成を示した図である。出力層の制御は前
記第２の実施例と同一である。
わる発火数制御型神経回路装置として、複数層の中間層
のニューロンに供給される電源電流を併せて検知して得
た値に依存する値を前記指定された値もしくは値の範囲
として複数層の中間層のニューロンを制御する第４の実
施例の装置の構成を示した図である。出力層の制御は前
記第２の実施例と同一である。
【００４１】電源ＶＨ０から中間層の全ての層ＬＨ１〜
ＬＨ３の全ニューロンＨ０〜Ｈ６，Ｈ１０〜Ｈ１５，Ｈ
２０〜Ｈ２４に供給される電流は、検知制御手段ＤＨ０
により電流値が検知され、検知された電流値に依存して
中間の全ての層ＬＨ１〜ＬＨ３のニューロンＨ０〜Ｈ２
４の活動を共通に制御する。電源ＶＮから出力層ＬＮの
全ニューロンＮ０〜Ｎ４に供給される電流は、同様に検
知制御手段ＤＮにより電流値が検知され、検知された電
流値に依存して出力層ＬＮのニューロンＮ０〜Ｎ４の活
動を制御する。中間層及び出力層の各層のニューロン数
は目的に応じて変化させられる。
ＬＨ３の全ニューロンＨ０〜Ｈ６，Ｈ１０〜Ｈ１５，Ｈ
２０〜Ｈ２４に供給される電流は、検知制御手段ＤＨ０
により電流値が検知され、検知された電流値に依存して
中間の全ての層ＬＨ１〜ＬＨ３のニューロンＨ０〜Ｈ２
４の活動を共通に制御する。電源ＶＮから出力層ＬＮの
全ニューロンＮ０〜Ｎ４に供給される電流は、同様に検
知制御手段ＤＮにより電流値が検知され、検知された電
流値に依存して出力層ＬＮのニューロンＮ０〜Ｎ４の活
動を制御する。中間層及び出力層の各層のニューロン数
は目的に応じて変化させられる。
【００４２】（第５の実施例）図５は実施の形態４に関
わる発火数制御型神経回路装置として、中間層と出力層
の全てのニューロンに供給される電源電流を併せて検知
して得た電流値に依存した値を前記指定された値もしく
は値の範囲として、中間層と出力層の全てのニューロン
を制御する装置の構成を示した第５の実施例の装置の構
成を示した図である。本実施例では、中間層は２層ＬＨ
１，ＬＨ２から成り、中間層第１層ＬＨ１は７個のニュ
ーロンＨ０〜Ｈ６から、中間層第２層ＬＨ２は６個のニ
ューロンＨ１０〜Ｈ１５から、それぞれ構成される。
わる発火数制御型神経回路装置として、中間層と出力層
の全てのニューロンに供給される電源電流を併せて検知
して得た電流値に依存した値を前記指定された値もしく
は値の範囲として、中間層と出力層の全てのニューロン
を制御する装置の構成を示した第５の実施例の装置の構
成を示した図である。本実施例では、中間層は２層ＬＨ
１，ＬＨ２から成り、中間層第１層ＬＨ１は７個のニュ
ーロンＨ０〜Ｈ６から、中間層第２層ＬＨ２は６個のニ
ューロンＨ１０〜Ｈ１５から、それぞれ構成される。
【００４３】電源ＶＨＮから中間層の全ての層ＬＨ１〜
ＬＨ２のニューロンＨ０〜Ｈ６，Ｈ１０〜Ｈ１５と出力
層ＬＮの全ニューロンＮ０〜Ｎ５に供給される電流は、
共通の検知制御手段ＤＨＮにより電流値が検知され、検
知された電流値に依存して中間層の全ての層ＬＨ１、Ｌ
Ｈ２のニューロンＨ０〜Ｈ１５の活動と出力層ＬＮのニ
ューロンＮ０〜Ｎ５の活動を共通に制御する。
ＬＨ２のニューロンＨ０〜Ｈ６，Ｈ１０〜Ｈ１５と出力
層ＬＮの全ニューロンＮ０〜Ｎ５に供給される電流は、
共通の検知制御手段ＤＨＮにより電流値が検知され、検
知された電流値に依存して中間層の全ての層ＬＨ１、Ｌ
Ｈ２のニューロンＨ０〜Ｈ１５の活動と出力層ＬＮのニ
ューロンＮ０〜Ｎ５の活動を共通に制御する。
【００４４】（第６の実施例）図６は実施の形態５に関
わる発火数制御型神経回路装置として、当該層でのニュ
ーロンの活動数を指定された値もしくは値の範囲に依存
して制約されるように制御する手段が、電源電流値を検
知する検知手段と検知された電流値を関数変換する手段
と、関数変換された値に依存して当該層のニューロンの
活動を促進もしくは抑制するように制御する結合手段か
らなる装置の構成を示した図である。第２の実施例、第
３の実施例、第４の実施例、第５の実施例で示したニュ
ーロンの活動数を制御する手段は、電源電流値を検知す
る検知回路５０４と、検知された電流値を関数変換する
関数変換回路５０５と、関数変換された値で規定される
値の範囲Ｓ１〜Ｓ２でもって各層のニューロンの活動を
促進もしくは抑制するように制御する結合部５０６から
なる。
わる発火数制御型神経回路装置として、当該層でのニュ
ーロンの活動数を指定された値もしくは値の範囲に依存
して制約されるように制御する手段が、電源電流値を検
知する検知手段と検知された電流値を関数変換する手段
と、関数変換された値に依存して当該層のニューロンの
活動を促進もしくは抑制するように制御する結合手段か
らなる装置の構成を示した図である。第２の実施例、第
３の実施例、第４の実施例、第５の実施例で示したニュ
ーロンの活動数を制御する手段は、電源電流値を検知す
る検知回路５０４と、検知された電流値を関数変換する
関数変換回路５０５と、関数変換された値で規定される
値の範囲Ｓ１〜Ｓ２でもって各層のニューロンの活動を
促進もしくは抑制するように制御する結合部５０６から
なる。
【００４５】端子５０１が電源に接続され、端子５０２
が図２〜５に示すように当該層のニューロンへ接続さ
れ、端子間に抵抗５０３を介在する。検知回路５０４
は、抵抗５０３の両端の電圧を検知することにより電源
電流ｉを検知している。電源電流ｉを検知して得られた
出力電圧Ｖ１は関数変換回路５０５に入力され線形、非
線形の所望の関数変換された出力Ｖ２が得られる。出力
Ｖ２は結合部５０６へ入力され出力Ｖ２が指定された値
の範囲の最小値Ｓ１より小さい場合にはニューロンの活
動を促進するための正の出力を、出力Ｖ２が指定された
値の範囲の最大値Ｓ２より大きい場合にはニューロンの
活動を抑制するための負の出力を端子５０７へ発生す
る。
が図２〜５に示すように当該層のニューロンへ接続さ
れ、端子間に抵抗５０３を介在する。検知回路５０４
は、抵抗５０３の両端の電圧を検知することにより電源
電流ｉを検知している。電源電流ｉを検知して得られた
出力電圧Ｖ１は関数変換回路５０５に入力され線形、非
線形の所望の関数変換された出力Ｖ２が得られる。出力
Ｖ２は結合部５０６へ入力され出力Ｖ２が指定された値
の範囲の最小値Ｓ１より小さい場合にはニューロンの活
動を促進するための正の出力を、出力Ｖ２が指定された
値の範囲の最大値Ｓ２より大きい場合にはニューロンの
活動を抑制するための負の出力を端子５０７へ発生す
る。
【００４６】各ニューロンは、実施の形態５に示される
ように、端子５０７から正の出力を受けると活動を促進
させてニューロンが出力を出すように作用する。この動
作は、従来から行われているように端子５０７の出力を
正の重み値を介して各ニューロンに結合させる方法が一
般的である。各ニューロンが端子５０７から負の出力を
受けると、介在する重み値との積が負となり、ニューロ
ンの活動が抑制される。即ち、端子５０７の出力が負の
場合には、ニューロンとの結合が等価的に抑制性結合と
して作用する。
ように、端子５０７から正の出力を受けると活動を促進
させてニューロンが出力を出すように作用する。この動
作は、従来から行われているように端子５０７の出力を
正の重み値を介して各ニューロンに結合させる方法が一
般的である。各ニューロンが端子５０７から負の出力を
受けると、介在する重み値との積が負となり、ニューロ
ンの活動が抑制される。即ち、端子５０７の出力が負の
場合には、ニューロンとの結合が等価的に抑制性結合と
して作用する。
【００４７】（第７の実施例）図７は実施の形態６に関
わる発火数制御型神経回路装置として、図６に示す第６
の実施例の結合部５０６が介在する重み値との積が正と
なりニューロンの活動を促進する出力を出す強調性結合
部６０１とニューロンの活動を抑制する出力を出す抑制
性結合部６０２から成る結合手段を有する装置の構成を
示した図である。
わる発火数制御型神経回路装置として、図６に示す第６
の実施例の結合部５０６が介在する重み値との積が正と
なりニューロンの活動を促進する出力を出す強調性結合
部６０１とニューロンの活動を抑制する出力を出す抑制
性結合部６０２から成る結合手段を有する装置の構成を
示した図である。
【００４８】強調性結合部６０１は端子６０３から各ニ
ューロンへ強調性結合し、抑制性結合部６０２は端子６
０４から各ニューロンへ抑制性結合している。実施の形
態６に示されるように、強調性結合は、従来から知られ
ているように信号が入るとニューロンの活動を促進する
ように作用し、抑制性結合は信号が入るとニューロンの
活動を抑制する作用をする。
ューロンへ強調性結合し、抑制性結合部６０２は端子６
０４から各ニューロンへ抑制性結合している。実施の形
態６に示されるように、強調性結合は、従来から知られ
ているように信号が入るとニューロンの活動を促進する
ように作用し、抑制性結合は信号が入るとニューロンの
活動を抑制する作用をする。
【００４９】（第８の実施例）図８は実施の形態７に関
わる発火数制御型神経回路装置として、関数変換する手
段の関数の形を具体的に示した図である。指定された値
の範囲としてニューロンの活動数を制御する範囲Ｓ１〜
Ｓ２もしくはＳ１、Ｓ２に相当する出力を与える電源電
流Ｉ１〜Ｉ２の範囲において、変換関数は線形もしくは
設計された指数関数や２次関数等の関数である。電源電
流Ｉ１〜Ｉ２の範囲外においては、関数の値は神経回路
装置の動作に影響しないのでその形は問われない。
わる発火数制御型神経回路装置として、関数変換する手
段の関数の形を具体的に示した図である。指定された値
の範囲としてニューロンの活動数を制御する範囲Ｓ１〜
Ｓ２もしくはＳ１、Ｓ２に相当する出力を与える電源電
流Ｉ１〜Ｉ２の範囲において、変換関数は線形もしくは
設計された指数関数や２次関数等の関数である。電源電
流Ｉ１〜Ｉ２の範囲外においては、関数の値は神経回路
装置の動作に影響しないのでその形は問われない。
【００５０】（第９の実施例）図９は実施の形態８に関
わる発火数制御型神経回路装置として、第１の実施例で
示したニューロンの活動数を当該層毎に指定された値も
しくは値の範囲に依存して制約されるように制御する手
段として、当該層毎のニューロンの活動数を検知する活
動数検知ニューロンを設け、活動数検知ニューロンの出
力の値を指定された値もしくは値の範囲とした装置の構
成を示した第９の実施例を示す図である。
わる発火数制御型神経回路装置として、第１の実施例で
示したニューロンの活動数を当該層毎に指定された値も
しくは値の範囲に依存して制約されるように制御する手
段として、当該層毎のニューロンの活動数を検知する活
動数検知ニューロンを設け、活動数検知ニューロンの出
力の値を指定された値もしくは値の範囲とした装置の構
成を示した第９の実施例を示す図である。
【００５１】第９の実施例の発火数制御型神経回路装置
は、入力信号を受ける入力層ＬＩと最終出力を出す出力
層ＬＮと、中間層としてここでは１層の中間層ＬＨとか
らなる３層の階層構造を成す神経回路装置であり、それ
ぞれが電源ＶＩ，ＶＮ，ＶＨにより駆動される。入力層
の構成は第２の実施例と同一である。中間層ＬＨは６個
のニューロンＨ０〜Ｈ５から構成され、出力層ＬＮも６
個のニューロンＮ０〜Ｎ５から構成される。図には示し
ていないが第２の実施例と同様、中間層の各ニューロン
の入力へは入力層ＬＩの全ニューロンからの出力が接続
され、その出力は出力層の全ニューロンへ接続されてい
る。中間層，出力層の各層のニューロン数は前述のよう
に認識目的により適宜決められる。
は、入力信号を受ける入力層ＬＩと最終出力を出す出力
層ＬＮと、中間層としてここでは１層の中間層ＬＨとか
らなる３層の階層構造を成す神経回路装置であり、それ
ぞれが電源ＶＩ，ＶＮ，ＶＨにより駆動される。入力層
の構成は第２の実施例と同一である。中間層ＬＨは６個
のニューロンＨ０〜Ｈ５から構成され、出力層ＬＮも６
個のニューロンＮ０〜Ｎ５から構成される。図には示し
ていないが第２の実施例と同様、中間層の各ニューロン
の入力へは入力層ＬＩの全ニューロンからの出力が接続
され、その出力は出力層の全ニューロンへ接続されてい
る。中間層，出力層の各層のニューロン数は前述のよう
に認識目的により適宜決められる。
【００５２】活動数検知ニューロンＣＮＨは、中間層の
ニューロンＨ０〜Ｈ５の各々からの出力を入力としてい
る。活動数検知ニューロンＣＮＨは、活動している中間
層のニューロンの数が指定された最小値より小さい場合
には正の出力をし、活動している中間層のニューロンの
数が指定された最大値より大きい場合には負の出力を
し、活動している中間層のニューロンの数が指定された
値の範囲にある場合には零を出力する。その結果、活動
数検知ニューロンＣＮＨの出力が接続されている中間層
ＬＨのニューロンＨ０〜Ｈ５は、正の出力を受けたとき
ニューロンの活動を促進し、負の出力を受けたときニュ
ーロンの活動を抑制し、零出力を受けたときは活動の制
御を行わない。以上の操作により、中間層のニューロン
の活動数の制御が行われる。
ニューロンＨ０〜Ｈ５の各々からの出力を入力としてい
る。活動数検知ニューロンＣＮＨは、活動している中間
層のニューロンの数が指定された最小値より小さい場合
には正の出力をし、活動している中間層のニューロンの
数が指定された最大値より大きい場合には負の出力を
し、活動している中間層のニューロンの数が指定された
値の範囲にある場合には零を出力する。その結果、活動
数検知ニューロンＣＮＨの出力が接続されている中間層
ＬＨのニューロンＨ０〜Ｈ５は、正の出力を受けたとき
ニューロンの活動を促進し、負の出力を受けたときニュ
ーロンの活動を抑制し、零出力を受けたときは活動の制
御を行わない。以上の操作により、中間層のニューロン
の活動数の制御が行われる。
【００５３】活動数検知ニューロンＣＮＮは、出力層の
ニューロンＮ０〜Ｎ５の各々からの出力を入力としてい
る。活動数検知ニューロンＣＮＮは、ニューロンＣＮＨ
と同様、活動している出力層のニューロンの数が指定さ
れた最小値より小さい場合には正の出力をし、活動して
いる出力層のニューロンの数が指定された最大値より大
きい場合には負の出力をし、活動している出力層のニュ
ーロンの数が指定された値の範囲にある場合には零を出
力する。その結果、活動数検知ニューロンＣＮＮの出力
が接続されている出力層ＬＮのニューロンＮ０〜Ｎ５
は、正の出力を受けたときニューロンの活動を促進し、
負の出力を受けたときニューロンの活動を抑制し、零出
力を受けたときは活動の制御を行わない。
ニューロンＮ０〜Ｎ５の各々からの出力を入力としてい
る。活動数検知ニューロンＣＮＮは、ニューロンＣＮＨ
と同様、活動している出力層のニューロンの数が指定さ
れた最小値より小さい場合には正の出力をし、活動して
いる出力層のニューロンの数が指定された最大値より大
きい場合には負の出力をし、活動している出力層のニュ
ーロンの数が指定された値の範囲にある場合には零を出
力する。その結果、活動数検知ニューロンＣＮＮの出力
が接続されている出力層ＬＮのニューロンＮ０〜Ｎ５
は、正の出力を受けたときニューロンの活動を促進し、
負の出力を受けたときニューロンの活動を抑制し、零出
力を受けたときは活動の制御を行わない。
【００５４】以上の操作により、出力層のニューロンの
活動数の制御が行われる。活動数検知ニューロンＣＮ
Ｈ，ＣＮＮは、中間層もしくは出力層で用いられたもの
と同様のニューロン素子を用いて構成可能である。
活動数の制御が行われる。活動数検知ニューロンＣＮ
Ｈ，ＣＮＮは、中間層もしくは出力層で用いられたもの
と同様のニューロン素子を用いて構成可能である。
【００５５】なお図９においても、入力層から出力層ま
での各層間の結線は図を見やすくする目的で省いてあ
る。この第９の実施例のようにニューロン数が少ない場
合には各層間は全結線構成を取る。即ち前段の各ニュー
ロンの出力は後段の全ニューロンに並列に繋がれる。
での各層間の結線は図を見やすくする目的で省いてあ
る。この第９の実施例のようにニューロン数が少ない場
合には各層間は全結線構成を取る。即ち前段の各ニュー
ロンの出力は後段の全ニューロンに並列に繋がれる。
【００５６】（第１０の実施例）図１０は実施の形態９
に関わる発火数制御型神経回路装置として、第９の実施
例で示した活動数検知ニューロンが、活動数が当該層毎
に指定された範囲の最小値を越えるとき応答する最小値
検知ニューロンと、活動数が指定された範囲の最大値を
越えるとき応答する最大値検知ニューロンとからなり、
最小値検知ニューロンは当該層のニューロンの活動を促
進し、最大値検知ニューロンは当該層のニューロンの活
動を抑制するように作用する装置の構成を示した第１０
の実施例を示す図である。
に関わる発火数制御型神経回路装置として、第９の実施
例で示した活動数検知ニューロンが、活動数が当該層毎
に指定された範囲の最小値を越えるとき応答する最小値
検知ニューロンと、活動数が指定された範囲の最大値を
越えるとき応答する最大値検知ニューロンとからなり、
最小値検知ニューロンは当該層のニューロンの活動を促
進し、最大値検知ニューロンは当該層のニューロンの活
動を抑制するように作用する装置の構成を示した第１０
の実施例を示す図である。
【００５７】第１０の実施例の発火数制御型神経回路装
置は、第９の実施例と同様、入力信号を受ける入力層Ｌ
Ｉと最終出力を出す出力層ＬＮと、中間層としてここで
は１層の中間層ＬＨとからなる３層の階層構造を成す神
経回路装置であり、それぞれが電源ＶＩ，ＶＮ，ＶＨに
より駆動される。入力層の構成は第２、第９の実施例と
同一である。中間層ＬＨは６個のニューロンＨ０〜Ｈ５
から構成され、出力層ＬＮも６個のニューロンＮ０〜Ｎ
５から構成される。図には示していないが第２の実施例
と同様、中間層の各ニューロンへの入力は入力層の全ニ
ューロンからの出力が接続され、その出力は出力層の全
ニューロンへ接続されている。中間層、出力層の各層の
ニューロン数は前述のように認識目的により適宜決めら
れる。
置は、第９の実施例と同様、入力信号を受ける入力層Ｌ
Ｉと最終出力を出す出力層ＬＮと、中間層としてここで
は１層の中間層ＬＨとからなる３層の階層構造を成す神
経回路装置であり、それぞれが電源ＶＩ，ＶＮ，ＶＨに
より駆動される。入力層の構成は第２、第９の実施例と
同一である。中間層ＬＨは６個のニューロンＨ０〜Ｈ５
から構成され、出力層ＬＮも６個のニューロンＮ０〜Ｎ
５から構成される。図には示していないが第２の実施例
と同様、中間層の各ニューロンへの入力は入力層の全ニ
ューロンからの出力が接続され、その出力は出力層の全
ニューロンへ接続されている。中間層、出力層の各層の
ニューロン数は前述のように認識目的により適宜決めら
れる。
【００５８】中間層の最小値検知ニューロンＣＮＨ１及
び最大値検知ニューロンＣＮＨ２は、それぞれ中間層の
ニューロンＨ０〜Ｈ５の各々からの出力を入力としてい
る。最小値検知ニューロンＣＮＨ１は、活動している中
間層のニューロンの数が指定された最小値より小さい場
合には正の出力をし、それ以外では零を出力する。最大
値検知ニューロンＣＮＨ２は、活動している中間層のニ
ューロンの数が指定された最大値より大きい場合には正
の出力をし、それ以外では零を出力する。最小値検知ニ
ューロンＣＮＨ１の出力は、中間層ＬＨのニューロンＨ
０〜Ｈ５に強調性結合され、最大値検知ニューロンＣＮ
Ｈ２の出力は、中間層ＬＨのニューロンＨ０〜Ｈ５に抑
制性結合されている。その結果、最小値検知ニューロン
ＣＮＨ１が出力を出したときには中間層のニューロンの
活動は促進され、最大値検知ニューロンＣＮＨ２が出力
を出したときには中間層のニューロンの活動は抑制され
る。最小値検知ニューロンＣＮＨ１及び最大値検知ニュ
ーロンＣＮＨ２が零を出力している場合には、中間層の
ニューロンの活動は何の制御も受けない。以上の操作に
より、中間層のニューロンの活動数の制御が行われる。
び最大値検知ニューロンＣＮＨ２は、それぞれ中間層の
ニューロンＨ０〜Ｈ５の各々からの出力を入力としてい
る。最小値検知ニューロンＣＮＨ１は、活動している中
間層のニューロンの数が指定された最小値より小さい場
合には正の出力をし、それ以外では零を出力する。最大
値検知ニューロンＣＮＨ２は、活動している中間層のニ
ューロンの数が指定された最大値より大きい場合には正
の出力をし、それ以外では零を出力する。最小値検知ニ
ューロンＣＮＨ１の出力は、中間層ＬＨのニューロンＨ
０〜Ｈ５に強調性結合され、最大値検知ニューロンＣＮ
Ｈ２の出力は、中間層ＬＨのニューロンＨ０〜Ｈ５に抑
制性結合されている。その結果、最小値検知ニューロン
ＣＮＨ１が出力を出したときには中間層のニューロンの
活動は促進され、最大値検知ニューロンＣＮＨ２が出力
を出したときには中間層のニューロンの活動は抑制され
る。最小値検知ニューロンＣＮＨ１及び最大値検知ニュ
ーロンＣＮＨ２が零を出力している場合には、中間層の
ニューロンの活動は何の制御も受けない。以上の操作に
より、中間層のニューロンの活動数の制御が行われる。
【００５９】出力層の最小値検知ニューロンＣＮＮ１及
び最大値検知ニューロンＣＮＮ２は、それぞれ出力層の
ニューロンＮ０〜Ｎ５の各々からの出力を入力としてい
る。最小値検知ニューロンＣＮＮ１は、活動している出
力層のニューロンの数が指定された最小値より小さい場
合には正の出力をし、それ以外では零を出力する。最大
値検知ニューロンＣＮＮ２は、活動している出力層のニ
ューロンの数が指定された最大値より大きい場合には正
の出力をし、それ以外では零を出力する。最小値検知ニ
ューロンＣＮＮ１の出力は、出力層ＬＮのニューロンＮ
０〜Ｎ５に強調性結合され、最大値検知ニューロンＣＮ
Ｎ２の出力は、出力層ＬＨのニューロンＮ０〜Ｎ５に抑
制性結合されている。その結果、最小値検知ニューロン
ＣＮＮ１が出力を出したときには出力層のニューロンの
活動は促進され、最大値検知ニューロンＣＮＮ２が出力
を出したときには出力層のニューロンの活動は抑制され
る。最小値検知ニューロンＣＮＮ１及び最大値検知ニュ
ーロンＣＮＮ２が零を出力している場合には、中間層の
ニューロンの活動は何の制御も受けない。以上の操作に
より、出力層のニューロンの活動数の制御が行われる。
び最大値検知ニューロンＣＮＮ２は、それぞれ出力層の
ニューロンＮ０〜Ｎ５の各々からの出力を入力としてい
る。最小値検知ニューロンＣＮＮ１は、活動している出
力層のニューロンの数が指定された最小値より小さい場
合には正の出力をし、それ以外では零を出力する。最大
値検知ニューロンＣＮＮ２は、活動している出力層のニ
ューロンの数が指定された最大値より大きい場合には正
の出力をし、それ以外では零を出力する。最小値検知ニ
ューロンＣＮＮ１の出力は、出力層ＬＮのニューロンＮ
０〜Ｎ５に強調性結合され、最大値検知ニューロンＣＮ
Ｎ２の出力は、出力層ＬＨのニューロンＮ０〜Ｎ５に抑
制性結合されている。その結果、最小値検知ニューロン
ＣＮＮ１が出力を出したときには出力層のニューロンの
活動は促進され、最大値検知ニューロンＣＮＮ２が出力
を出したときには出力層のニューロンの活動は抑制され
る。最小値検知ニューロンＣＮＮ１及び最大値検知ニュ
ーロンＣＮＮ２が零を出力している場合には、中間層の
ニューロンの活動は何の制御も受けない。以上の操作に
より、出力層のニューロンの活動数の制御が行われる。
【００６０】中間層と出力層の最小値検知ニューロンＣ
ＮＨ１，ＣＮＮ１及び中間層と出力層の最大値検知ニュ
ーロンＣＮＨ２，ＣＮＮ２は、中間層や出力層で用いら
れるものと同様のニューロン素子を用いて構成可能であ
る。
ＮＨ１，ＣＮＮ１及び中間層と出力層の最大値検知ニュ
ーロンＣＮＨ２，ＣＮＮ２は、中間層や出力層で用いら
れるものと同様のニューロン素子を用いて構成可能であ
る。
【００６１】図１０においても、入力層から出力層まで
の各層間の結線は図を見やすくする目的で省いてある。
この第１０の実施例のようにニューロン数が少ない場合
には各層間は全結線構成を取る。即ち前段の各ニューロ
ンの出力は後段の全ニューロンに並列に繋がれる。
の各層間の結線は図を見やすくする目的で省いてある。
この第１０の実施例のようにニューロン数が少ない場合
には各層間は全結線構成を取る。即ち前段の各ニューロ
ンの出力は後段の全ニューロンに並列に繋がれる。
【００６２】（他の実施例）以上図１〜図５で示した第
１の実施例〜第５の実施例以外に、第３の実施例として
図３に示すリカレント型ネットワークを２層以上に重ね
たもの、リカレント型ネットワークと図１〜図５で示し
た第１の実施例〜第５の実施例の様なフィードフォワー
ド型ネットワークを組み合わせた他の種々の構成が本発
明として実施できるのは明らかである。
１の実施例〜第５の実施例以外に、第３の実施例として
図３に示すリカレント型ネットワークを２層以上に重ね
たもの、リカレント型ネットワークと図１〜図５で示し
た第１の実施例〜第５の実施例の様なフィードフォワー
ド型ネットワークを組み合わせた他の種々の構成が本発
明として実施できるのは明らかである。
【００６３】また、図９、図１０で示した第９の実施例
〜第１０の実施例以外に、第３の実施例として図３に示
すリカレント型ネットワークを用いたもの、もしくは２
層以上に重ねたもの、リカレント型ネットワークと図１
〜図５で示した第１の実施例〜第５の実施例の様なフィ
ードフォワード型ネットワークを組み合わせた他の種々
の構成が本発明として実施できるのは明らかである。
〜第１０の実施例以外に、第３の実施例として図３に示
すリカレント型ネットワークを用いたもの、もしくは２
層以上に重ねたもの、リカレント型ネットワークと図１
〜図５で示した第１の実施例〜第５の実施例の様なフィ
ードフォワード型ネットワークを組み合わせた他の種々
の構成が本発明として実施できるのは明らかである。
【００６４】
【発明の効果】以上説明したように、本発明によれば、
１層以上の複数の層から成る神経回路装置において、競
合する層におけるニューロンの活動数を２個以上とする
ことにより、認識可能なカテゴリ数を増加させかつ必要
とするニューロン数の発散を防いでLSI化可能な数にニ
ューロン数を低減させ、ニューロンの活動数を当該層毎
に指定された値もしくは値の範囲となるように制御する
ことにより、神経回路装置からなるシステムの構成と動
作を簡単にするとともに、神経回路装置を構成する回路
を簡略化することができる。
１層以上の複数の層から成る神経回路装置において、競
合する層におけるニューロンの活動数を２個以上とする
ことにより、認識可能なカテゴリ数を増加させかつ必要
とするニューロン数の発散を防いでLSI化可能な数にニ
ューロン数を低減させ、ニューロンの活動数を当該層毎
に指定された値もしくは値の範囲となるように制御する
ことにより、神経回路装置からなるシステムの構成と動
作を簡単にするとともに、神経回路装置を構成する回路
を簡略化することができる。
【図１】実施の形態１に関わる装置構成を持つ第１の実
施例を示す図である。
施例を示す図である。
【図２】実施の形態２に関わる電源電流を検知して制御
する第２の実施例を示す図である。
する第２の実施例を示す図である。
【図３】実施の形態２に関わる電源電流を検知して制御
する第２の装置として１層のリカレント型構成を持つ第
３の実施例を示す図である。
する第２の装置として１層のリカレント型構成を持つ第
３の実施例を示す図である。
【図４】実施の形態３に関わる複数層の中間層のニュー
ロンを併せて検知して制御する第４の実施例を示す図で
ある。
ロンを併せて検知して制御する第４の実施例を示す図で
ある。
【図５】実施の形態４に関わる中間層と出力層の全のニ
ューロンの電源電流を併せて検知して制御する第５の実
施例を示す図である。
ューロンの電源電流を併せて検知して制御する第５の実
施例を示す図である。
【図６】実施の形態５に関わるニューロンの活動数を指
定された値もしくは値の範囲となるように制御する手段
の構成を示したた第６の実施例を示す図である。
定された値もしくは値の範囲となるように制御する手段
の構成を示したた第６の実施例を示す図である。
【図７】実施の形態６に関わるニューロンの活動数を促
進、抑制する手段の第２構成として強調性結合と抑制性
結合持つ第８の実施例を示す図である。
進、抑制する手段の第２構成として強調性結合と抑制性
結合持つ第８の実施例を示す図である。
【図８】実施の形態７に関わるニューロンの活動数を指
定された値もしくは値の範囲とする時の関数変換回路の
関数を示した第８の実施例を示す図である。
定された値もしくは値の範囲とする時の関数変換回路の
関数を示した第８の実施例を示す図である。
【図９】実施の形態８に関わる当該層毎のニューロンの
活動数を検知する活動数検知ニューロンを設け、その出
力で制御する第９の実施例を示す図である。
活動数を検知する活動数検知ニューロンを設け、その出
力で制御する第９の実施例を示す図である。
【図１０】実施の形態９に関わり、実施の形態８の活動
数検知ニューロンが最小値検知ニューロンと最大値検知
ニューロンとからなる第１０の実施例を示す図である。
数検知ニューロンが最小値検知ニューロンと最大値検知
ニューロンとからなる第１０の実施例を示す図である。
５０１，５０２，５０７，６０３，６０４ 端子 ５０３ 抵抗 ５０４ 検知回路 ５０５ 関数変換回路 ５０６ 結合部 ６０１ 強調性結合部 ６０２ 抑制性結合部 ＬＩ 入力層 ＬＨ、ＬＨ１，ＬＨ２、ＬＨ３ 中間層 ＬＮ 出力層 ＬＩＮ 入出力層 Ｃ１、Ｃ２ 活動数の制御手段 Ｈ０〜Ｈ２４ 中間層のニューロン Ｉ０〜Ｉ５ 入力層のニューロン ＩＮ０〜ＩＮ５ 入出力層のニューロン Ｎ０〜Ｎ５ 出力層のニューロン Ｘ０〜Ｘ５ 入力信号 Ｙ０〜Ｙ５ 最終出力 ＤＨ１，ＤＨ２，ＤＨ０，ＤＮ，ＤＩＮ，ＤＨＮ 電
源電流の検知制御手段 ＶＩ 入力層の電源 ＶＨ，ＶＨ１，ＶＨ２，ＶＨ０ 中間層の電源 ＶＩＮ 入出力層の電源 ＶＨＮ 中間層・出力層の電源 ＣＮＨ，ＣＮＮ 活動数検知ニューロン ＣＮＨ１，ＣＮＮ１ 最小値検知ニューロン ＣＮＨ２，ＣＮＮ２ 最大値検知ニューロン
源電流の検知制御手段 ＶＩ 入力層の電源 ＶＨ，ＶＨ１，ＶＨ２，ＶＨ０ 中間層の電源 ＶＩＮ 入出力層の電源 ＶＨＮ 中間層・出力層の電源 ＣＮＨ，ＣＮＮ 活動数検知ニューロン ＣＮＨ１，ＣＮＮ１ 最小値検知ニューロン ＣＮＨ２，ＣＮＮ２ 最大値検知ニューロン
Claims (9)
- 【請求項１】 複数個のニューロンが１層もしくは複数
の層を成して構成された神経回路装置であって、 ニューロンの活動数が、２個以上で前記層毎に指定され
た値もしくは指定された値の範囲に依存して制約される
ように、前記ニューロンの活動数を制御する制御手段を
有する発火数制御型神経回路装置。 - 【請求項２】 前記ニューロンの活動数が、２個以上で
前記層毎に指定された値もしくは指定された値の範囲に
依存して制約されるように、前記ニューロンの活動数を
制御する制御手段は、 前記層毎の全ニューロンに供給される電源電流を検知し
て得た値に依存する値を、前記指定された値もしくは指
定された値の範囲とする検知制御手段を有する請求項１
に記載の発火数制御型神経回路装置。 - 【請求項３】 前記ニューロンの活動数が、２個以上で
前記層毎に指定された値もしくは指定された値の範囲に
依存して制約されるように、前記ニューロンの活動数を
制御する制御手段は、 中間層の複数の層の全ニューロンに供給される電源電流
を検知して得た値に依存する値を、前記指定された値も
しくは指定された値の範囲として、電源電流を検知した
前記中間層の全ニューロンを制御する検知制御手段と、 出力層の全ニューロンに供給される電源電流を検知して
得た値に依存する値を、前記指定された値もしくは指定
された値の範囲として、前記出力層の全ニューロンを制
御する検知制御手段とを有する請求項１に記載の発火数
制御型神経回路装置。 - 【請求項４】 前記ニューロンの活動数が、２個以上で
前記層毎に指定された値もしくは指定された値の範囲に
依存して制約されるように、前記ニューロンの活動数を
制御する制御手段は、 中間層と出力層の全てのニューロンに供給される電源電
流を検知して得た値に依存する値を、前記指定された値
もしくは指定された値の範囲として、前記中間層と前記
出力層の全てのニューロンを制御する検知制御手段を有
する請求項１に記載の発火数制御型神経回路装置。 - 【請求項５】 前記ニューロンの活動数が、２個以上で
前記層毎に指定された値もしくは指定された値の範囲に
依存して制約されるように、前記ニューロンの活動数を
制御する制御手段は、 電源電流値を検知する検知手段と、 検知された前記電源電流値を関数変換する手段と、 関数変換された値に依存して前記各層のニューロンに対
して活動を促進もしくは抑制するように制御する結合手
段とから構成される請求項１から請求項４の何れか１項
に記載の発火数制御型神経回路装置。 - 【請求項６】 前記関数変換された値に依存して前記各
層のニューロンに対して活動を促進もしくは抑制するよ
うに制御する結合手段は、 前記各層の活動しているニューロン数が所望の数より少
ない場合には活動を促進し、前記各層の活動しているニ
ューロン数が所望の数より多い場合には活動を抑制する
ように制御する手段を有する請求項５に記載の発火数制
御型神経回路装置。 - 【請求項７】 前記検知された前記電源電流値を関数変
換する手段の関数は、 線形変換関数もしくは非線形変換関数である請求項５に
記載の発火数制御型神経回路装置。 - 【請求項８】 前記ニューロンの活動数が、２個以上で
前記層毎に指定された値もしくは指定された値の範囲に
依存して制約されるように、前記ニューロンの活動数を
制御する制御手段は、 前記層毎のニューロンの活動数を検知する活動数検知ニ
ューロンであり、該活動数検知ニューロンの出力の値を
前記指定された値もしくは指定された値の範囲とする請
求項１に記載の発火数制御型神経回路装置。 - 【請求項９】 前記活動数検知ニューロンは、 前記ニューロンの活動数が前記層毎に指定された範囲の
最小値を越えたとき応答する最小値検知ニューロンと、 前記ニューロンの活動数が前記層毎に指定された範囲の
最大値を越えたとき応答する最大値検知ニューロンとか
らなり、 前記最小値検知ニューロンは前記層のニューロンの活動
を促進し、 前記最大値検知ニューロンは前記層のニューロンの活動
を抑制するように作用する請求項８に記載の発火数制御
型神経回路装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10141493A JPH11338844A (ja) | 1998-05-22 | 1998-05-22 | 発火数制御型神経回路装置 |
| US09/313,984 US6463423B1 (en) | 1998-05-22 | 1999-05-19 | Multi-winners feedforward neural network |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10141493A JPH11338844A (ja) | 1998-05-22 | 1998-05-22 | 発火数制御型神経回路装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11338844A true JPH11338844A (ja) | 1999-12-10 |
Family
ID=15293218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10141493A Pending JPH11338844A (ja) | 1998-05-22 | 1998-05-22 | 発火数制御型神経回路装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6463423B1 (ja) |
| JP (1) | JPH11338844A (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2398711B (en) * | 2003-02-18 | 2006-04-12 | Samsung Electronics Co Ltd | Neural networks |
| US7546280B1 (en) * | 2005-08-30 | 2009-06-09 | Quintura, Inc. | Use of neural networks for keyword generation |
| US7620607B1 (en) * | 2005-09-26 | 2009-11-17 | Quintura Inc. | System and method for using a bidirectional neural network to identify sentences for use as document annotations |
| US7475072B1 (en) | 2005-09-26 | 2009-01-06 | Quintura, Inc. | Context-based search visualization and context management using neural networks |
| US7437370B1 (en) * | 2007-02-19 | 2008-10-14 | Quintura, Inc. | Search engine graphical interface using maps and images |
| US8180754B1 (en) | 2008-04-01 | 2012-05-15 | Dranias Development Llc | Semantic neural network for aggregating query searches |
| US9519858B2 (en) * | 2013-02-10 | 2016-12-13 | Microsoft Technology Licensing, Llc | Feature-augmented neural networks and applications of same |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0634236B2 (ja) * | 1985-11-02 | 1994-05-02 | 日本放送協会 | 階層型情報処理方法 |
| US4858147A (en) * | 1987-06-15 | 1989-08-15 | Unisys Corporation | Special purpose neurocomputer system for solving optimization problems |
| JPH0680505B2 (ja) | 1988-10-06 | 1994-10-12 | 工業技術院長 | 多層神経回路網の学習方式 |
| US5822742A (en) * | 1989-05-17 | 1998-10-13 | The United States Of America As Represented By The Secretary Of Health & Human Services | Dynamically stable associative learning neural network system |
| US5325510A (en) * | 1990-05-25 | 1994-06-28 | Texas Instruments Incorporated | Multiprocessor system and architecture with a computation system for minimizing duplicate read requests |
| US5255348A (en) * | 1991-06-14 | 1993-10-19 | Nenov Valeriy I | Neural network for learning, recognition and recall of pattern sequences |
| US5355435A (en) * | 1992-05-18 | 1994-10-11 | New Mexico State University Technology Transfer Corp. | Asynchronous temporal neural processing element |
| JPH06161983A (ja) | 1992-11-20 | 1994-06-10 | Wacom Co Ltd | パターンマッチング方式 |
| US5717947A (en) * | 1993-03-31 | 1998-02-10 | Motorola, Inc. | Data processing system and method thereof |
| US5479574A (en) * | 1993-04-01 | 1995-12-26 | Nestor, Inc. | Method and apparatus for adaptive classification |
| US5487133A (en) * | 1993-07-01 | 1996-01-23 | Intel Corporation | Distance calculating neural network classifier chip and system |
| JP3096387B2 (ja) * | 1994-01-28 | 2000-10-10 | 三菱電機株式会社 | 数値演算処理装置 |
-
1998
- 1998-05-22 JP JP10141493A patent/JPH11338844A/ja active Pending
-
1999
- 1999-05-19 US US09/313,984 patent/US6463423B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6463423B1 (en) | 2002-10-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4951239A (en) | Artificial neural network implementation | |
| Lee et al. | Identification and control of dynamic systems using recurrent fuzzy neural networks | |
| US5704016A (en) | Temporal learning neural network | |
| GB2251328A (en) | Multi-layer neural network employing multiplexed output neurons | |
| JPH11338844A (ja) | 発火数制御型神経回路装置 | |
| Centorrino et al. | Contraction analysis of hopfield neural networks with hebbian learning | |
| JP7259253B2 (ja) | 人工ニューラルネットワーク回路 | |
| Song et al. | Robust training algorithm of multi-layered neural networks for identification of nonlinear dynamic systems | |
| JPH07282168A (ja) | カオスリカレント神経回路網とその学習方法 | |
| JP6901163B2 (ja) | 重み符号固定学習装置 | |
| Geidarov | Clearly defined architectures of neural networks and multilayer perceptron | |
| US5632006A (en) | Circuit and method of error correcting with an artificial neural network | |
| Wang et al. | Takagi-Sugeno recurrent fuzzy neural networks for identification and control of dynamic systems | |
| JPH05101028A (ja) | 複数特徴量の統合判定方法 | |
| Olayinka et al. | Evolving feed-forward artificial neural networks using binary and denary dataset | |
| WO2024116229A1 (ja) | 信号処理装置 | |
| KR100342886B1 (ko) | 이진 시스템 학습 방법 | |
| Stavrakoudis et al. | A recurrent fuzzy neural network for adaptive speech prediction | |
| JP3224831B2 (ja) | ニューラルネットワーク装置 | |
| Bodyanskii et al. | Recurrent neural network detecting changes in the properties of nonlinear stochastic sequences | |
| Krestinskaya et al. | Learning algorithms and implementation | |
| EP0577694A4 (en) | A neural network | |
| Hagiwara | Time-delay ART for spatio-temporal patterns | |
| Chen et al. | A joint stochastic gradient algorithm and its application to system identification with rbf networks | |
| JP3343626B2 (ja) | ファジィ推論のためのニューラルネットワーク |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050310 |