JP3368619B2 - 時空間パターン分類装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、音声信号や画像信号な
どの時間的に連続で空間的に多次元の情報をいくつかの
カテゴリに分類する時空間パターン分類装置に関するも
のである。

【０００２】

【従来の技術】例えば時空間パターン分類の一つである
音声認識においてはフーリエ変換などの前処理を施され
た音声信号は時間的に連続な多次元の関数として表すこ
とができる。この音声信号には音韻などに対応する区切
りは与えられておらず、パターンをリアルタイムに直接
音韻に分類することは困難であった。そのため従来は、
いったん音声信号を記憶しその一部分を時間を含まない
空間パターンとして切取り、それを時間を直接扱えない
分類手法で分類する方法が主であった。

【０００３】また、近年このような時空間パターンを分
類するために神経疑似回路またはニューラルネットワー
クを用いることが提案されている。例えば、ワイベルら
は過去一定時間の前処理された音声信号をまとめてニュ
ーラルネットワークのモデルの一つである多層パーセプ
トロンに入力することにより、音声信号の音韻への分類
を行うモデルを提案している。それは「アイ・イー・イ
ー・イー・トランザクションズ・オン・アコースティッ
クス・スピーチ・アンド・シグナル・プロセッシング３
７」（１９８９）第３２８頁から第３３９頁（IEEE TRA
NSACTIONS ON ACOUSTICS, SPEECH, AND SIGNAL PROCESS
ING, Vol.37 (1989) P.328-339) に記載されている。こ
のモデルも従来の音声認識手法と同様に、時空間パター
ンをメモリを介して空間パターンに変換した後に、時間
を直接扱えないニューラルネットワークモデルで分類し
ている。

【０００４】一方、時間を直接扱うことのできる競合系
のニューラルネットワークを用いたものとして甘利らは
連続時間連続情報型の神経細胞疑似素子を用いたモデル
を提案し、それは例えば「神経回路網の数理」（甘利
著、産業図書、１９７８年）の第２０５頁から第２１４
頁に記載されている。このモデルについて図面を参照し
ながら説明する。

【０００５】図６は甘利らによって提案された連続時間
連続情報型の神経細胞疑似素子を用いた従来のモデルの
構成図である。図６において８１は抑制性神経細胞疑似
素子、８２は興奮性神経細胞疑似素子、８３は興奮性神
経細胞疑似素子８２から抑制性神経細胞疑似素子８１へ
の信号伝達手段、８４は抑制性神経細胞疑似素子８１か
ら興奮性神経細胞疑似素子８２への信号伝達手段、８５
は興奮性神経細胞疑似素子の帰還信号伝達手段、８６は
興奮性神経細胞疑似素子への外部信号入力手段、８７は
抑制性神経細胞疑似素子への外部信号入力手段、８８は
興奮性神経細胞疑似素子の出力信号を外部に出力する出
力手段である。なおここで各信号伝達手段８３、８４お
よび８５は、神経細胞疑似素子を結合する軸索疑似手段
であり、重みが付随している。本モデルにおいて各興奮
性神経細胞疑似素子８２の内部状態ｕ_iは次の（数１）
にしたがって変化する。

【０００６】

【数１】

【０００７】ここで、ｔは時間、ｗ ₁ は信号伝達手段８
５に付随する正の重み、f(x)はｘが０または正のときに
１となりｘが負のときに０となる関数、ｗ₂は信号伝達
手段８４に付随する重み、g(x)はｘが正のときはｘとな
りｘが負のときは０となる関数、ｖは抑制性神経細胞疑
似素子８１の内部状態、ｈ₁は閾値、ｓ_iは外部信号入力
手段８６により伝達される外部入力信号、ｎは興奮性神
経細胞疑似素子の数である。なお、f(ｕ_i)が各出力手段
８８を介してそれぞれ外部に出力される各興奮性神経細
胞疑似素８２の各出力値となる。また、抑制性神経細胞
疑似素子８１の内部状態ｖは次の（数２）にしたがって
変化する。

【０００８】

【数２】

【０００９】ここでτは時定数、ｈ₂は閾値、ｓ₀は外部
信号入力手段８７による外部入力信号である。なお、ｇ
（ｖ）が抑制性神経細胞疑似素子の出力値となる。

【００１０】次に甘利らのモデルの動作を説明する。以
下、神経細胞疑似素子が発火しているとはその神経細胞
疑似素子が正の出力値を出力している状態をいう。最初
に、ｓ₀が０で全ての神経細胞疑似素子が発火していな
い状態を考える。この時、ｈ₁を越える外部入力ｓ_iを受
け取っている興奮性神経細胞疑似素子８２は発火しよう
とする。そして少なくとも一個の興奮性神経細胞疑似素
子８２が発火するとその出力を受けた抑制性神経細胞疑
似素子８１が発火する。もしもｈ₁以上の外部入力を受
け取っている興奮性神経細胞疑似素子８２が一個のみな
らば、その興奮性神経細胞疑似素子は安定して発火し続
けるが、複数個の興奮性神経細胞疑似素子８２が発火し
た場合は、抑制性神経細胞疑似素子８１が強く発火する
ため、各興奮性神経細胞疑似素子８２は信号伝達手段８
４を介して強く抑制される。そしてこの抑制性神経細胞
疑似素子８１による抑制と興奮性神経細胞疑似素子８２
の発火のサイクルをくり返すうちに、最大の外部入力ｓ
_iを受け取っている興奮性神経細胞疑似素子８２のみが
最終的に発火し、残りの興奮性神経細胞疑似素子８２は
発火できなくなった状態で本モデルは安定となる。

【００１１】そしていったん一つの興奮性神経細胞疑似
素子８２が安定して発火するようになると、外部入力ｓ
_iが変化して発火している興奮性神経細胞疑似素子に対
する外部入力ｓ_i が最大でなくなってもその興奮性神経
細胞疑似素子８２は発火し続ける。この興奮性神経細胞
疑似素子８２の発火を止め全神経細胞疑似素子の状態を
リセットするためには、正または負のリセット信号ｓ₀
を外部信号入力手段８７を介して与えたり、発火してい
ない興奮性神経細胞疑似素子８２に強い外部入力ｓ_i を
与えるなどの明示的な処置が必要である。

【００１２】

【発明が解決しようとする課題】しかし、時空間パター
ンの一部分をいったん記憶し時間を含まない空間パター
ンとして切り取る手法では、パターンを記憶する大きな
メモリが必要な上に、必要十分な空間パターンの大きさ
を決定するという作業が必要であった。また、時空間パ
ターンを区切る手段、それを記憶する手段、そして記憶
された空間パターンを分類する手段が別々に必要であ
り、装置が複雑になりがちであった。

【００１３】一方、甘利らの提案した競合系のニューラ
ルネットワークモデルは、発火している興奮性神経細胞
疑似素子の交代、つまりネットワークのリセットのため
には特別の処置が必要であり、刻々と変化する外部入力
に追随することは困難であった。外部入力への追随を実
現する一手法として、定期的にリセット信号を入力する
方法も考えられるが、この場合はリセット信号の入力時
点での雑音の影響を受けやすく、また、発火する興奮性
神経細胞疑似素子が交代するカテゴリの境界付近では、
発火する興奮性神経細胞疑似素子が頻繁に入れ代わると
いう時間的に不安定な動作をしがちであった。

【００１４】本発明は上記従来の課題を解決しようとす
るもので、分類結果の時間的な不安定性を抑えつつ外部
入力の変化に追随する簡易な時空間パターン分類装置を
提供することを目的としている。

【００１５】

【課題を解決するための手段】この目的を達成するため
に本発明の時空間パターン分類装置は第１に、分類すべ
きデータ及び発火を抑制する信号が入力され、前記分類
すべきデータに第１の予め定めた値を乗算し、合算した
値から、前記発火を抑制する信号に第２の予め定めた値
を乗算した値と、予め定めた閾値とを減じることで算出
される内部状態が、０又は正の値である場合には発火を
開始し、発火中を示す値を出力し、また、前記内部状態
が負の値である場合には前記発火を中止し、発火中止を
示す値を出力する複数個の第１の神経細胞疑似素子と、
前記第１の神経細胞疑似素子が複数個発火している場合
に発火することで、前記発火を抑制する信号を出力する
第２の神経細胞疑似素子と、分類カテゴリに相当する複
数個の第３の神経細胞疑似素子とを含み、前記各第１の
神経細胞疑似素子は前記複数個の第３の神経細胞疑似素
子のいずれか一つと信号伝達手段により結合され、前記
第３の神経細胞疑似素子は前記各第１の神経細胞疑似素
子のうちの前記信号伝達手段により結合されたものが一
定時間以上続けて発火している場合に発火することで分
類結果を表す構成を有している。

【００１６】本発明の時空間パターン分類装置は第２
に、上記第１の構成に加え、発火している第３の神経細
胞疑似素子が、更に、第３の神経細胞疑似素子から出力
される発火を促進する信号を、信号伝達手段により結合
されている第１の神経細胞疑似素子に信号を伝達する手
段を含み、信号伝達手段により結合されている第１の神
経細胞疑似素子に伝達する手段を含み、前記第１の神経
細胞疑似素子が、入力される分類されるデータ、発火を
抑制する信号及び前記発火を促進する信号から、内部状
態を算出し、発火の状態を示す信号を出力し、前記第１
の神経細胞疑似素子及び前記第３の神経細胞疑似素子が
ヒステリシスを持つ構成を有している。

【００１７】

【作用】上記第１の構成により本発明の時空間パターン
分類装置は、第２の神経細胞疑似素子は第１の神経細胞
疑似素子が複数個以上発火している場合に第１の神経細
胞疑似素子を抑制しその結果として第１の神経細胞疑似
素子が同時に複数個発火する時間が短くなるように出力
信号を出力し、かつ各第３の神経細胞疑似素子は各々が
入力信号を受け取る各第１の神経細胞疑似素子が一定時
間以上安定して発火しないと発火しないように動作する
ために、第３の神経細胞疑似素子は同時に複数個発火で
きない。したがって、本発明の時空間パターン分類装置
により、分類結果の時間的な不安定性を抑えつつ外部入
力の変化に追随する時空間パターンの分類を簡易に実現
することができる。

【００１８】さらに、本発明の時空間パターン分類装置
は上記第２の構成により、上記第１の作用に加え、第３
の神経細胞疑似素子が発火している場合にはその出力信
号を受け取る第１の神経細胞疑似素子がより発火しやす
くなるために、上記第１の神経細胞疑似素子と上記第３
の神経細胞疑似素子はヒステリシスを持つようになり、
上記第３の神経細胞疑似素子の発火の交代が起きにくく
なる。したがって、本発明の時空間パターン分類装置に
より、分類結果の時間的な不安定性を抑えつつ外部入力
の変化に追随する時空間パターンの分類を簡易に実現す
ることができる。

【００１９】

【実施例】以下、図面を参照しながら本発明の第１の実
施例について説明する。図１は本発明の第１の実施例に
おける時空間パターン分類装置の構成図である。図１に
おいて、１は第１の神経細胞疑似素子、２は第１の神経
細胞疑似素子１に分類を行うデータ（本実施例では２次
元のデータ）を入力する外部信号入力手段、３は第３の
神経細胞疑似素子、４は第２の神経細胞疑似素子、５は
第１の神経細胞疑似素子１の出力信号を第２の神経細胞
疑似素子４に入力するための信号伝達手段、６は第１の
神経細胞疑似素子１の出力信号を第３の神経細胞疑似素
子３に入力するための信号伝達手段、７は第２の神経細
胞疑似素子４の出力信号を第１の神経細胞疑似素子１に
入力するための信号伝達手段、８は第３の神経細胞疑似
素子３の出力信号を外部に出力するための信号伝達手段
である。

【００２０】図２は本発明の第１の実施例における神経
細胞疑似素子の構成図であり、前述の第１の神経細胞疑
似素子１、第３の神経細胞疑似素子３、第２の神経細胞
疑似素子４の処理の流れを示している。図２において、
２１は複数の入力の重み付き和を計算する入力加算部、
２２は入力加算部２１の計算結果と現在の内部状態から
新しい内部状態を計算し内部状態を更新する内部状態計
算部、２３は内部状態計算部２２の計算結果である新し
い内部状態から神経細胞疑似素子の出力を計算する出力
計算部、２４は神経細胞疑似素子の外部から複数の信号
を入力するための信号伝達手段、２５は入力加算部２１
の計算結果を内部状態計算部２２に入力するための信号
伝達手段、２６は内部状態計算部２２の計算結果である
新しい内部状態を出力計算部２３に入力するための信号
伝達手段、２７は出力計算部２３の計算結果である神経
細胞疑似素子の出力を外部に出力する信号伝達手段であ
る。

【００２１】以下図１および図２を参照しながら本発明
の第１の実施例における第１の神経細胞疑似素子１の動
作を説明する。第１の神経細胞疑似素子１の場合、信号
伝達手段２４に相当するものは外部信号入力手段２と信
号伝達手段７である。本実施例では、この第１の神経細
胞疑似素子１の入力加算部２１で行われる演算は次の
（数３）に従う。

【００２２】

【数３】

【００２３】（数３）において、Ｎは外部信号入力手段
２で入力されるデータの次元で、本実施例ではＮは２で
ある。Ｗ_ijは各外部信号に乗ずる正または負の重み、Ｉ
_j は外部信号、ｗ_inh は信号伝達手段７を通じて入力さ
れる第２の神経細胞疑似素子４の出力に乗ずる正の重
み、Ｙは第２の神経細胞疑似素子４の出力、Ｍは第１の
神経細胞疑似素子１の数で本実施例ではＭは４である。
（数３）にしたがって入力加算部２１で計算された値は
信号伝達手段２５によって内部状態計算部２２に伝達さ
れる。そして内部状態計算部２２では次の（数４）の微
分方程式にしたがって、第１の神経細胞疑似素子１の内
部状態を計算する。

【００２４】

【数４】

【００２５】（数４）においてτ₁は時定数、ｘ_iはｉ番
目の第１の神経細胞疑似素子１の内部状態、ｈ₃ は閾値
である。また、右辺の第２項および第３項は入力加算部
２１で（数３）にしたがって計算された結果である。
（数４）にしたがって内部状態計算部２２で計算された
内部状態の重みは信号伝達手段２６により、出力計算部
２３に伝達される。出力計算部２３では次の（数５）に
したがって、第１の神経細胞疑似素子１の出力を計算す
る。

【００２６】

【数５】

【００２７】（数５）においてＸ_i がｉ番目の第１の神
経細胞疑似素子１の出力となる。つまり、出力計算部２
３では内部状態が０または正のときに１を出力とし、内
部状態が負のときに０を出力とする。

【００２８】以上のように第１の神経細胞疑似素子１を
構成することにより、第１の神経細胞疑似素子１は次の
ように動作する。まず、（数３）で計算される入力加算
部２１の出力が（数４）の閾値ｈ₃ 以下の場合は、第１
の神経細胞疑似素子１がその時に発火中つまり出力が１
でも、時定数τ₁ で決まる時間が経つと発火をやめる。
次に、（数３）で計算される入力加算部２１の出力が
（数４）の閾値ｈ₃ を越える場合について考える。この
時は内部状態は正に向かうため、第１の神経細胞疑似素
子１はその時に発火していなくとも、時定数τ₁ で決ま
る時間が経つと発火を始める。

【００２９】次に、図１および図２を参照しながら本発
明の第１の実施例における第２の神経細胞疑似素子４の
動作を説明する。第２の神経細胞疑似素子４の場合、信
号伝達手段２４に相当するものは信号伝達手段５であ
る。本実施例では、この第２の神経細胞疑似素子４の入
力加算部２１で行われる演算は次の（数６）に従う。

【００３０】

【数６】

【００３１】（数６）においてｗ_exc は信号伝達手段５
により入力された第１の神経細胞疑似素子１の各出力に
乗ずる正の重みである。（数６）にしたがって入力加算
部２１で計算された値は信号伝達手段２５によって内部
状態計算部２２に伝達される。そして内部状態計算部２
２では次の（数７）の微分方程式にしたがって、第２の
神経細胞疑似素子４の内部状態を計算する。

【００３２】

【数７】

【００３３】（数７）においてτ₂ は時定数、ｙは内部
状態、ｈ₄ は閾値である。また、右辺の第２項は入力加
算部２１で（数６）にしたがって計算された結果であ
る。なお、閾値ｈ₄ は、どの第１の神経細胞疑似素子１
も発火していないか１個の第１の神経細胞疑似素子１の
みが発火している場合の入力加算部２１の出力よりも大
きく、２個以上の第１の神経細胞疑似素子１が発火して
いる場合の入力加算部２１の出力よりも小さく設定す
る。（数７）にしたがって内部状態計算部２２で計算さ
れた内部状態は信号伝達手段２６により、出力計算部２
３に伝達される。

【００３４】出力計算部２３では次の（数８）にしたが
って、第２の神経細胞疑似素子４の出力を計算する。

【００３５】

【数８】

【００３６】（数８）においてＹが第２の神経細胞疑似
素子４の出力となる。つまり出力計算部２３では内部状
態ｙが０または正のときはｙを出力とし、内部状態ｙが
負のときは０を出力とする。以上のように第２の神経細
胞疑似素子４を構成することにより、第２の神経細胞疑
似素子４は次のように動作する。

【００３７】まず（数６）において計算された入力加算
部２１の出力が（数７）の閾値ｈ₄以下の場合は、第２
の神経細胞疑似素子４がその時に発火中でも時定数τ₂
で決まる時間が経つと発火をやめる。（数６）において
計算された入力加算部２１の出力が（数７）の閾値ｈ₄
を越える場合は、内部状態ｙは正に向かうため、第２の
神経細胞疑似素子４はその時に発火していなくとも、時
定数τ₂ で決まる時間が経つと発火を始める。

【００３８】つまり、上記閾値ｈ₄ の設定より、どの第
１の神経細胞疑似素子１も発火していないか１個の第１
の神経細胞疑似素子１のみが発火している場合、第２の
神経細胞疑似素子４は発火していない場合はそのまま発
火せず、発火している場合は時定数τ₂ で決まる時間が
経つと発火をやめる。次に、第１の神経細胞疑似素子１
が２個以上発火している場合、第２の神経細胞疑似素子
４は発火している場合はそのまま発火を続け、発火して
いない場合は発火するように内部状態ｙが変化し、時定
数τ₂ で決まる時間が経つと発火を始める。

【００３９】次に、図１および図２を参照しながら本発
明の第１の実施例における第３の神経細胞疑似素子３の
動作を説明する。第３の神経細胞疑似素子３の場合、信
号伝達手段２４に相当するものは信号伝達手段６であ
る。本実施例では、この神経細胞疑似素子６の入力加算
部２１で行われる演算は次の（数９）に従う。

【００４０】

【数９】

【００４１】（数９）においてｗ_out は信号伝達手段６
により入力された第１の神経細胞疑似素子１の出力に乗
ずる重みである。（数９）にしたがって入力加算部２１
で計算された値は信号伝達手段２５により内部状態計算
部２２に伝達される。そして内部状態計算部２２では次
の（数１０）の微分方程式にしたがって、第３の神経細
胞疑似素子３の内部状態を計算する。

【００４２】

【数１０】

【００４３】（数１０）においてτ₃ は時定数、ｚ_i は
ｉ番目の第３の神経細胞疑似素子３の内部状態、ｈ₅ は
閾値である。また、右辺の第２項は入力加算部２１で
（数９）にしたがって計算された結果である。また、閾
値ｈ₅ は正でｗ_out よりも小さい値に設定される。（数
１０）にしたがって内部状態計算部２２で計算された内
部状態は信号伝達手段２６により、出力計算部２３に伝
達される。出力計算部２３では次の（数１１）にしたが
って、第３の神経細胞疑似素子３の出力を計算する。

【００４４】

【数１１】

【００４５】（数１１）においてＺ_i がｉ番目の第３の
神経細胞疑似素子３の出力となる。つまり出力計算部２
３では、第１の神経細胞疑似素子１の場合と同様に、内
部状態が０または正のときは１を出力とし、内部状態が
負のときは０を出力とする。以上のように第３の神経細
胞疑似素子３を構成することにより、第３の神経細胞疑
似素子３は次のように動作する。

【００４６】まず、（数９）において計算された入力加
算部２１の出力が（数１０）の閾値ｈ₅以下の場合は、
第３の神経細胞疑似素子３が発火中でも、時定数τ₃で
決まる時間が経つと発火をやめる。次に、（数９）にお
いて計算された入力加算部２１の出力が（数１０）の閾
値ｈ₅を越える場合は、内部状態ｚ_iは正に向かうため、
第３の神経細胞疑似素子３は発火していなくとも、時定
数τ₃ で決まる時間が経つと発火を始める。

【００４７】つまり上記閾値ｈ₅ の設定により、ｉ番目
の第１の神経細胞疑似素子１が発火している場合はｉ番
目の第３の神経細胞疑似素子３は発火する方向に内部状
態を変化させ、ｉ番目の第１の神経細胞疑似素子１が発
火していない場合にはｉ番目の第３の神経細胞疑似素子
３は発火しない方向に内部状態を変化させる。そして、
この発火と非発火の間の遷移の時間は（数９）、（数１
０）、（数１１）の各パラメータにより調整することが
できる。そして、第１の神経細胞疑似素子１が安定して
発火しているときのみ、それに結合されている第３の神
経細胞疑似素子３が発火するように上記各パラメータを
設定する。

【００４８】以上の第１の神経細胞疑似素子１、第３の
神経細胞疑似素子３、第２の神経細胞疑似素子４の動作
に基づき、以下図１を参照しながら本発明の第１の実施
例における時空間パターン分類装置の動作を説明する。
本発明においては、信号伝達手段６によって一対一で結
合された第１の神経細胞疑似素子１と第３の神経細胞疑
似素子３の各対が分類結果である各カテゴリに対応す
る。つまり発火している第３の神経細胞疑似素子３に対
応するカテゴリがその時点での分類結果となる。

【００４９】分類されるべき時空間パターンは外部信号
入力手段２によって、各第１の神経細胞疑似素子１に入
力される。各第１の神経細胞疑似素子１が第２の神経細
胞疑似素子４から受け取る信号が各第１の神経細胞疑似
素子１の内部状態に及ぼす影響の大きさは（数４）の第
３項で決まり、各第１の神経細胞疑似素子１で共通であ
る。したがって、（数３）で計算される入力の加算値の
大小は（数４）の第２項、つまり外部信号の重み付け和
である（数１２）によって決定される。

【００５０】

【数１２】

【００５１】本実施例における時空間パターンの分類で
は、入力されているカテゴリに対応する第１の神経細胞
疑似素子１が、最大の（数１２）を得るように（数１
２）のＷ_ijを設定する。各第１の神経細胞疑似素子１
は、（数１２）の値が（数４）のｈ₃ よりも大きいとき
（以下条件１）に発火しようとする。この時、条件１を
満たす第１の神経細胞疑似素子１が１個のみのときはそ
の第１の神経細胞疑似素子１のみが発火する。

【００５２】次に、条件１を満たす第１の神経細胞疑似
素子１が複数個ある場合について述べる。この場合、条
件１を満たす第１の神経細胞疑似素子１は（数１２）の
値が大きい順に発火する。しかし複数個の第１の神経細
胞疑似素子１が発火してしばらくすると第２の神経細胞
疑似素子４が発火し、全ての第１の神経細胞疑似素子１
を信号伝達手段７を通じて抑制する。したがって、今度
は発火している第１の神経細胞疑似素子１のうち（数１
２）の値が小さい順に発火している第１の神経細胞疑似
素子１は発火をやめる。そして、１個の第１の神経細胞
疑似素子１のみが発火している状態になると、第２の神
経細胞疑似素子４は発火をやめるために、最後の第１の
神経細胞疑似素子１、つまり最大の（数１２）の値を得
ている第１の神経細胞疑似素子１が発火し続けることに
なる。発火をやめた第１の神経細胞疑似素子１の内、２
番目に大きな（数１２）の値を得ている第１の神経細胞
疑似素子１は第２の神経細胞疑似素子４が発火をやめる
と再び発火しようとするが、発火して短時間のうちに再
び第２の神経細胞疑似素子４が発火するために、ごく短
時間しか発火することができない。

【００５３】また、その他の第１の神経細胞疑似素子１
は発火する前に、２番目に大きな第１の神経細胞疑似素
子１が発火して第２の神経細胞疑似素子４が発火してし
まうために再び発火することはできない。なお、その間
も最大の（数１２）の値を得ている第１の神経細胞疑似
素子１は発火し続ける。つまり、外部入力が変化しない
状態においては、最大の（数１２）の値を得ている第１
の神経細胞疑似素子１のみが連続して発火を続け、２番
目に大きな（数１２）の値を得ている第１の神経細胞疑
似素子１は繰り返し短時間発火し、その他の第１の神経
細胞疑似素子１は発火することはできない。

【００５４】次に入力される時空間パターンが変化して
最大の（数１２）の値を得ている第１の神経細胞疑似素
子１が他の第１の神経細胞疑似素子１に変わった場合を
考える。この場合、新しく最大の（数１２）の値を得る
ようになった第１の神経細胞疑似素子１は発火する。そ
して第２の神経細胞疑似素子４が発火するまでの間に
（式４）の内部状態が十分大きくなるために、第２の神
経細胞疑似素子４が発火したとき、既に発火していた以
前に最大の（数１２）の値を得ていた第１の神経細胞疑
似素子１が先に発火をやめる。したがって、発火する第
１の神経細胞疑似素子１は交代する。

【００５５】さて、第３の神経細胞疑似素子３は信号伝
達手段６によって結合されている第１の神経細胞疑似素
子１が発火しているときのみ発火する。しかし、結合さ
れている第１の神経細胞疑似素子１が安定に発火してい
るときのみに発火するために、複数個の第１の神経細胞
疑似素子１が（数４）のｈ₃ よりも大きい（数１２）の
値を得ているときでも、最大の（数１２）の値を得てい
る第１の神経細胞疑似素子１に結合されている第３の神
経細胞疑似素子３のみが発火し、その他の第３の神経細
胞疑似素子３は発火することができない。また、入力さ
れる時空間パターンが変化して、第１の神経細胞疑似素
子１が安定してはじめてそれに結合されている第３の神
経細胞疑似素子３が発火するため、例えば時空間パター
ンに雑音が重畳していたり、ごく短時間の時空間パター
ンの変動で最大の（数１２）の値を得ている第１の神経
細胞疑似素子１が短時間交代し、発火する第１の神経細
胞疑似素子１が短時間交代しても第３の神経細胞疑似素
子３は交代することがなく、安定して発火し続けること
ができる。また、第３の神経細胞疑似素子３はそれに結
合されている第１の神経細胞疑似素子１が発火をやめる
と発火をやめるが、それにかかる時間は、結合されてい
る第１の神経細胞疑似素子１が発火してから第３の神経
細胞疑似素子３が発火するまでの時間よりも短い。した
がって、発火する第３の神経細胞疑似素子３が交代する
場合、同時に複数の第３の神経細胞疑似素子３が発火す
ることはない。

【００５６】以上の各第１の神経細胞疑似素子１、３、
４の動作を、図３を参照しながらより具体的に例を用い
て説明する。なお、図３で用いる例では簡単のため２つ
の第１の神経細胞疑似素子１のみがｈ₃ よりも大きい
（数１２）の値を常に得ていると仮定する。

【００５７】図３は本発明の第１の実施例における（数
１２）で計算される第１の神経細胞疑似素子１の外部信
号の重み付け和、および第１の神経細胞疑似素子１、第
３の神経細胞疑似素子３、第２の神経細胞疑似素子４の
発火の様子を模式的に示した図である。図３の（ａ）は
２つの第１の神経細胞疑似素子１の（数１２）で計算さ
れる外部信号の重み付け和の変化の図で、実線、破線が
それぞれの重み付け和の大きさを表す。図３の（ｂ）は
（ａ）の上記２つの第１の神経細胞疑似素子１の発火の
様子を示した図で、（ｂ）の実線に囲まれ斜線が付され
ている部分が（ａ）の実線に対応する第１の神経細胞疑
似素子１の発火の様子を示し、（ｂ）の破線に囲まれ上
記斜線と異なる向きの斜線が付されている部分が（ａ）
の破線に対応する第１の神経細胞疑似素子１の発火の様
子を示しており、斜線の重なる部分は２つの第１の神経
細胞疑似素子１が発火していることを示している。図３
の（ｃ）は第２の神経細胞疑似素子４の発火の様子を示
した図である。さらに図３の（ｄ）は上記２つの第１の
神経細胞疑似素子１に結合されている２つの第３の神経
細胞疑似素子３の発火の様子を示した図で、（ｄ）の実
線が（ａ）の実線に対応する第１の神経細胞疑似素子１
に結合された第３の神経細胞疑似素子３の発火の様子を
示し、（ｄ）の破線が（ａ）の破線に対応する第１の神
経細胞疑似素子１に結合された第３の神経細胞疑似素子
３の発火の様子を示す。

【００５８】図３の例において最初は実線に対応する第
１の神経細胞疑似素子１が安定して発火し、図３の
（ｂ）に示したように破線に対応する第１の神経細胞疑
似素子１はごく短い間発火する。そして図３の（ｃ）に
示すように、破線に対応する第１の神経細胞疑似素子１
が発火するたびに第２の神経細胞疑似素子４は発火す
る。その間、図３の（ｄ）に示すように実線に対応する
第３の神経細胞疑似素子３のみが発火する。

【００５９】次に、最大の外部信号の重み付け和を得る
第１の神経細胞疑似素子１が実線に対応するものから破
線に対応するものに変化すると、その交代の時に実線と
破線にそれぞれ対応する第１の神経細胞疑似素子１と第
２の神経細胞疑似素子４が発火し、最終的に破線に対応
する第１の神経細胞疑似素子１が安定して発火するよう
になる。実線に対応する第１の神経細胞疑似素子１が発
火をやめ、破線に対応する第１の神経細胞疑似素子１が
安定して発火するようになると、それに対応して発火す
る第３の神経細胞疑似素子３も交代するが、第３の神経
細胞疑似素子３は発火をするのに時間がかかるので、複
数個の第３の神経細胞疑似素子３が発火することはな
い。

【００６０】そして、安定して発火する第１の神経細胞
疑似素子１が交代してしばらくは破線に対応する第１の
神経細胞疑似素子１は安定して発火を続け、実線に対応
する第１の神経細胞疑似素子１は間隔をおいて発火する
が、第２の神経細胞疑似素子４も発火するので、短時間
で発火をやめる。したがって、図３の（ｄ）に示すよう
に破線に対応する第３の神経細胞疑似素子３のみが発火
を続ける。そして、再び最大の外部信号の重み付け和を
得る第１の神経細胞疑似素子１が破線に対応するものか
ら実線に対応するものに変化すると、再び実線に対応す
る第１の神経細胞疑似素子１および３と、破線に対応す
る第１の神経細胞疑似素子１および３は、安定した発火
の状態を交代する。以上の動作により、第１の実施例に
おける時空間パターン分類装置は分類結果の時間的な不
安定性を抑えつつ外部入力の変化に追随する時空間パタ
ーンの分類を簡易に実現することができる。

【００６１】なお、本実施例では第１の神経細胞疑似素
子１と第３の神経細胞疑似素子３とが１対１に対応して
いたが、図４のように複数の第１の神経細胞疑似素子１
に対して１個の第３の神経細胞疑似素子３が対応してい
るものがあっても同様にパターン分類装置を実現するこ
とができる。

【００６２】以下、図面を参照しながら本発明の第２の
実施例について説明する。図５は本発明の第２の実施例
における時空間パターン分類装置の構成図である。図５
において４０は第３の神経細胞疑似素子３の出力信号を
第１の神経細胞疑似素子１に入力する信号伝達手段であ
り、本実施例は上記第１の実施例で述べた時空間パター
ン分類装置に信号伝達手段４０を付加した構成を有して
いる。さらに、第１の神経細胞疑似素子１、第３の神経
細胞疑似素子３、第２の神経細胞疑似素子４も図２に示
した構成を有している。

【００６３】以下、図２を参照しながら、第１の神経細
胞疑似素子１の動作を説明する。第１の神経細胞疑似素
子１は、上記第１の実施例と同様の原理に基づいた動作
を行う。しかし、本第２の実施例の第１の神経細胞疑似
素子１の場合、信号伝達手段２４に相当するものは外部
信号入力手段２と信号伝達手段７と信号伝達手段４０で
ある。したがって本第２の実施例では、この第１の神経
細胞疑似素子１の入力加算部２１で行われる演算は次の
（数１３）に従う。

【００６４】

【数１３】

【００６５】（数１３）においてｗ_hys は信号伝達手段
４０により入力された第３の神経細胞疑似素子３の各出
力に乗ずる重みである。その他の記号は（数３）および
（数１１）に準ずる。（数１３）にしたがって入力加算
部２１で計算された値は信号伝達手段２５により内部状
態計算部２２に伝達される。そして内部状態計算部２２
では次の（数１４）の微分方程式にしたがって、第３の
神経細胞疑似素子３の内部状態を計算する。

【００６６】

【数１４】

【００６７】（数１４）において各記号は（数４）に準
ずる。また、右辺の第２項、第３項、および第４項は、
入力加算部２１で（数１３）にしたがって計算された結
果である。なお、閾値ｈ₃ は第１の実施例と同様に設定
する。（数１３）にしたがって内部状態計算部２２で計
算された内部状態の重みは信号伝達手段２６により、出
力計算部２３に伝達される。出力計算部２３では上記第
１の実施例と同様に（数５）にしたがって、第１の神経
細胞疑似素子１の出力を計算する。

【００６８】第１の神経細胞疑似素子１は以上のように
構成され、上記第１の実施例における第１の神経細胞疑
似素子１と同様に動作する。また、第３の神経細胞疑似
素子３および第２の神経細胞疑似素子４も、上記第１の
実施例の第３の神経細胞疑似素子３および第２の神経細
胞疑似素子４とそれぞれ同じ構成を有しかつ同じ動作を
行う。

【００６９】以下図５を参照しながら本発明の第２の実
施例における時空間パターン分類装置の動作を、上記第
１の実施例における時空間パターン分類装置の動作をふ
まえながら説明する。

【００７０】第３の神経細胞疑似素子３が発火していな
い場合を最初に考える。この場合は（数１３）および
（数１４）はそれぞれ（数３）および（数４）と等しく
なる。したがって、本第２の実施例における時空間パタ
ーン分類装置は上記第１の実施例における時空間パター
ン分類装置と同じ動作を行う。

【００７１】次に第３の神経細胞疑似素子３が発火して
いる場合を考える。この場合発火している第３の神経細
胞疑似素子３に信号伝達手段６および信号伝達手段４０
で結合されている第１の神経細胞疑似素子１は、第３の
神経細胞疑似素子３が１を出力するので、他の第１の神
経細胞疑似素子１より少なくともｗ_hys だけ大きい入力
を受け取る。したがって、本時空間パターン分類装置に
入力される時空間パターンが変化し、発火している第３
の神経細胞疑似素子３に信号伝達手段６および信号伝達
手段４０で結合されている発火している第１の神経細胞
疑似素子１が、最大の（数１２）の値を得ている第１の
神経細胞疑似素子１でなくなっても、他の第１の神経細
胞疑似素子１が発火している第１の神経細胞疑似素子１
よりも少なくともｗ_hys だけ大きな（数１２）の値を得
るまで、発火している第１の神経細胞疑似素子１は発火
を続ける。したがって、発火している第３の神経細胞疑
似素子３も発火を続ける。

【００７２】つまり、第３の神経細胞疑似素子３がいっ
たん発火すると、それに結合されている第１の神経細胞
疑似素子１の発火はより安定し、最大の（数１２）の値
を得る第１の神経細胞疑似素子１が他の第１の神経細胞
疑似素子１に交代しても、発火している第１の神経細胞
疑似素子１との差が大きくなければ分類結果の変化は起
こらず、本時空間パターン分類装置はヒステリシスを持
つ。さらにｗ_hys を調整することにより、このヒステリ
シスの程度は調整することができる。よって、外部信号
入力手段２によって入力される時空間パターンに雑音が
重畳した場合や、カテゴリの境界部分で（数１３）のＷ
_ijによって決定される分類尺度が不十分な場合、過去の
分類結果に基づいた分類を行う。

【００７３】以上の動作により、第２の実施例における
時空間パターン分類装置は、分類結果の時間的な不安定
性を抑えつつ外部入力の変化に追随する分類を行うこと
ができる。なお、上記第２の実施例においては、ｗ_hys
を各第１の神経細胞疑似素子１で同じ値にしているが、
これにとらわれるものではなく、個々の第１の神経細胞
疑似素子１で変えることにより、各カテゴリが異なるヒ
ステリシスを有するように動作させることができる。ま
た、上記第１の実施例と同様に第１の神経細胞疑似素子
１と第３の神経細胞疑似素子３とが１対１に対応してい
たが、複数の第１の神経細胞疑似素子１に対して１個の
第３の神経細胞疑似素子３が対応しているものがあって
も同様にパターン分類装置を実現することができる。

【００７４】さらに、上記第１および第２の実施例にお
いては、神経細胞疑似素子を図２のように構成したが、
これにとらわれるものではない。例えば、入力加算部２
１を入力の乗算を行うようにした神経細胞疑似素子モデ
ルや、入力加算部２１の代わりに入力とあらかじめ記憶
されたパターンとの距離を計算する構成にした神経細胞
疑似素子モデルや、内部状態計算部２２を微分方程式で
はなく差分方程式で離散的に表現したモデルなどにして
も、同様の効果を得ることができる。

【００７５】また、本発明における時空間パターン分類
装置はプログラムにより電子計算機上で実現するのも可
能であり、集積電子回路や電気回路として実現すること
も可能である。

【００７６】

【発明の効果】以上説明したように本発明によれば、第
１に、第２の神経細胞疑似素子は第１の神経細胞疑似素
子が複数個以上発火している場合に第１の神経細胞疑似
素子を抑制しその結果として第１の神経細胞疑似素子が
同時に複数個発火する時間が短くなるように出力信号を
出力し、かつ各第３の神経細胞疑似素子は各々が入力信
号を受け取る各第１の神経細胞疑似素子が一定時間以上
安定して発火しないと発火しないように動作するため
に、第３の神経細胞疑似素子は同時に複数個発火できな
い。したがって、分類結果の時間的な不安定性を抑えつ
つ外部入力の変化に追随する時空間パターンの分類を簡
易に実現することができる。

【００７７】さらに本発明によれば第２に、上記第１の
効果に加え、第３の神経細胞疑似素子が発火している場
合にはその出力信号を受け取る第１の神経細胞疑似素子
はより発火しやすくなるように第４の信号伝達手段が動
作するために、上記第１の神経細胞疑似素子と上記第３
の神経細胞疑似素子はヒステリシスを持つようになり、
上記第３の神経細胞疑似素子の発火の交代が起きにくく
なる。したがって、時間的な不安定性を抑えつつ外部入
力の変化に追随する時空間パターンの分類を簡易に実現
することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例における時空間パターン
分類装置の構成図

【図２】本発明の第１および第２の実施例における神経
細胞疑似素子の構成図

【図３】（ａ）本発明の第１の実施例において（数１
２）で計算される第１の神経細胞疑似素子１の外部入力
信号の重み付け和の時間的変化の例を示した図 （ｂ）同実施例における第１の神経細胞疑似素子１の発
火の時間的変化の例を示した図 （ｃ）同実施例における第２の神経細胞疑似素子４の発
火の時間的変化の例を示した図 （ｄ）同実施例における第３の神経細胞疑似素子３の発
火の時間的変化の例を示した図

【図４】同実施例において複数の第１の神経細胞疑似素
子１と１つの第３の神経細胞疑似素子３とが対応する場
合の構成図

【図５】本発明の第２の実施例における時空間パターン
分類装置の構成図

【図６】連続時間連続情報型の神経細胞疑似素子を用い
た従来のモデルの構成図

【符号の説明】

１ 第１の神経細胞疑似素子 ２ 外部信号入力手段 ３ 第３の神経細胞疑似素子 ４ 第２の神経細胞疑似素子 ５ 信号伝達手段 ６ 信号伝達手段 ７ 信号伝達手段 ８ 信号伝達手段 ２１ 入力加算部 ２２ 内部状態計算部 ２３ 出力計算部 ２４ 信号伝達手段 ２５ 信号伝達手段 ２６ 信号伝達手段 ２７ 信号伝達手段 ４０ 信号伝達手段

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−98770（ＪＰ，Ａ) 細木信也，「小脳ネットワークモデ ル」，ＦＵＪＩＴＳＵ，日本，富士通株 式会社，1991年５月10日，Ｖｏｌ．42, Ｎｏ．３，ｐｐ．234−242 稲積満広・他，「リカレントニューラ ルネットワークによる連続単語音声認 識」，電子情報通信学会技術研究報告, 日本，社団法人電子情報通信学会，1992 年６月30日，Ｖｏｌ．92，Ｎｏ．126 （ＳＰ92−24〜34），ｐｐ．９−16 古谷立美・他，「フィールドバック付 き多層ニューラルネットワーク」，情報 処理学会論文誌，日本，社団法人情報処 理学会，1991年９月15日，Ｖｏｌ．32, Ｎｏ．９，ｐｐ．1210−1213 甘利俊一，「神経回路網の数理」，日 本，産業図書株式会社，1978年，初版, ｐｐ．205−214 中野馨，「ニューロコンピュータの基 礎」，日本，コロナ社，1990年，初版, ｐｐ．180−187 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/08 G06G 7/60 G05B 13/00 - 13/04 G10L 11/00 G10L 15/00 - 17/00 ＪＳＴファイル（ＪＯＩＳ) ＣＳＤＢ（日本国特許庁)

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】 分類すべきデータ及び発火を抑制する信
   号が入力され、前記分類すべきデータに第１の予め定め
   た値を乗算し、合算した値から、前記発火を抑制する信
   号に第２の予め定めた値を乗算した値と、予め定めた閾
   値とを減じることで算出される内部状態が、０又は正の
   値である場合には発火を開始し、発火中を示す値を出力
   し、また、前記内部状態が負の値である場合には前記発
   火を中止し、発火中止を示す値を出力する複数個の第１
   の神経細胞疑似素子と、前記第１の神経細胞疑似素子が
   複数個発火している場合に発火することで、前記発火を
   抑制する信号を出力する第２の神経細胞疑似素子と、分
   類カテゴリに相当する複数個の第３の神経細胞疑似素子
   とを含み、前記各第１の神経細胞疑似素子は前記複数個
   の第３の神経細胞疑似素子のいずれか一つと信号伝達手
   段により結合され、前記第３の神経細胞疑似素子は前記
   各第１の神経細胞疑似素子のうちの前記信号伝達手段に
   より結合されたものが一定時間以上続けて発火している
   場合に発火することで分類結果を表すことを特徴とする
   時空間パターン分類装置。
2. 【請求項２】 発火している第３の神経細胞疑似素子
   が、更に、第３の神経細胞疑似素子から出力される発火
   を促進する信号を、信号伝達手段により結合されている
   第１の神経細胞疑似素子に信号を伝達する手段を含み、
   信号伝達手段により結合されている第１の神経細胞疑似
   素子に伝達する手段を含み、前記第１の神経細胞疑似素
   子が、入力される分類されるデータ、発火を抑制する信
   号及び前記発火を促進する信号から、内部状態を算出
   し、発火の状態を示す信号を出力し、前記第１の神経細
   胞疑似素子及び前記第３の神経細胞疑似素子がヒステリ
   シスを持つことを特徴とする請求項１記載の時空間パタ
   ーン分類装置。