JPH10334069A - ニューラルネットワーク - Google Patents

Abstract

(57)【要約】 【課題】 実際の脳のシナプス部における神経伝達物質
のアナロジーとしての記号粒子を模擬ニューロン回路の
模擬シナプス部に導入し、模擬シナプス部で生成される
記号粒子の統計量によって音声や画像などを認識できる
ようにすることで、従来よりも遥かに実際の脳に近い認
知能力を持ったニューラルネットワークを提供する。 【解決手段】 複数の模擬ニューロン１〜３を模擬シナ
プス部４を介して相互接続してなる模擬ニューロン回路
１１を有し、模擬ニューロン１、２は、認識すべき知覚
情報に基づく入力信号に応じた刺激信号を生成し、模擬
シナプス部４は、模擬ニューロン１、２からの刺激信号
の周波数スペクトラムに依存した記号粒子Ａ〜Ｐを生成
して順次蓄積し、蓄積した記号粒子群の統計量、すなわ
ち蓄積した記号粒子の種類や数などに応じた出力信号を
模擬ニューロン３に出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ニューラルネット
ワーク（newral network）による知覚情報認識技術に関
し、詳細には記号粒子蓄積型ニューロンモデル（symbol
ized particle store type newron model ）に基づいた
新規なニューラルネットワークに関するものである。

【０００２】

【従来の技術】ニューラルネットワーク理論を音声情報
や画像情報等の入力情報認識技術に適用し、音声や文字
などを認識して入力情報として取り込む技術の開発が進
められており、キーボードやマウスなどに代わる手を使
わない入力装置などへの応用が始まっている。

【０００３】

【発明が解決しようとする課題】しかし、現在における
ニューラルネットワークの研究は、ニューロン（newro
n）間を単なるスカラー量による重み付けを持ったシナ
プス（synapse ）部で結合してなる単純な結合方式のニ
ューロンモデルの研究に終始している。このような単純
なニューロンモデルでも、音声認識装置などに応用して
それなりの成果は得られているが、能力的限界に達しつ
つあり、おおよそ人間の認知処理系の能力には遥かに及
ばないことが判明しつつある。一方、実際の脳内神経系
の情報処理では、神経ニューロン間を結合しているシナ
プス部における神経伝達物質（化学的伝達物質）の種類
と分泌量が、たとえば、喜びや悲しみなどの感情を支配
していることが大脳神経生理学における最近の研究で明
らかにされてきている。そしてシナプス部内の神経伝達
物質は２０数種類発見されており、１００数十種類存在
している可能性も報告されている。このことに注目した
とき、現状のニューラルネットワークの能力は、シナプ
ス部における粒子的存在、すなわち実際の脳内のシナプ
ス部における神経伝達物質の存在を擬似的に導入するこ
とにより飛躍的に強化されることが予想される。

【０００４】本発明は、このような知見の下に創案され
たものであり、実際の脳神経回路のシナプス部における
神経伝達物質のアナロジーとしての記号粒子を模擬ニュ
ーロン回路の模擬シナプス部に導入し、模擬シナプス部
で生成される記号粒子の統計量によって音声や画像など
を認識できるようにすることで、従来よりも遥かに実際
の脳に近い認知能力を持ったニューラルネットワークを
提供することを目的とする。

【０００５】

【課題を解決するための手段】上記課題を解決するため
に、請求項１に記載の発明に係るニューラルネットワー
クにおいては、複数の模擬ニューロンを模擬シナプス部
を介して相互接続してなる模擬ニューロン回路を有し、
模擬ニューロンは、認識すべき知覚情報に基づく入力信
号に応じた刺激信号を生成し、模擬シナプス部は、ニュ
ーロンからの刺激信号の周波数スペクトラムに依存した
記号粒子を生成して順次蓄積し、蓄積した記号粒子群の
統計量、すなわち蓄積した記号粒子の種類や数などに応
じた出力信号を生成するように、各部を構成したことを
特徴とする。上記請求項１に記載の発明において、模擬
ニューロン、模擬シナプス部、模擬ニューロン回路にお
ける『模擬』とは、実際の脳神経回路の対応する構成要
素の機能を模擬（シミュレート）するものであることを
意味している。『認識すべき知覚情報に基づく入力信
号』とは、耳や目や皮膚など感覚器官を通して知覚可能
な時系列信号のことである。『記号粒子』とは、実際の
脳神経回路のシナプス部において生成される神経伝達物
質のアナロジーとして生成される擬似的物質としての周
波数コード（コード化した周波数情報）のことである。
『記号粒子の蓄積』とは、、実際の脳神経回路のシナプ
ス部で行われている神経伝達物質の蓄積のアナロジーと
して行われる情報蓄積動作（記憶動作）のことである。

【０００６】上記請求項１に記載の発明のように、実際
の脳神経回路のシナプス部において生成される神経伝達
物質の機能を模擬することで、従来のニューラルネット
ワークよりも遥かに実際の脳に近い認知能力を持ったニ
ューラルネットワークを実現できる。具体的には、感情
に対するβ−エンドルフィンや、記憶に対するアセチル
コリンのように、ある意味では支配的な神経伝達物質を
真似た記号粒子、すなわち他の記号粒子の入力に優先し
てニューロンを発火させることのできる支配的な記号粒
子を用いることで、その場の雰囲気や、その場の感情な
どによる出力変更の行えるニューラルネットワークを構
築することが可能である。そして、このニューラルネッ
トワークにおける模擬ニューロン間の入出力に、実際の
脳神経回路のニューロンが行っているようにスパイク列
による情報伝達を採用し、さらに、多段ニューラルネッ
トワークを組む際に時間遅延を加えることで、時間座標
上にマッピングされた意味情報をも認識できるように構
成することが可能である。この結果導き出される効果と
しては、まず、スパイク列を情報伝達に使用すること
で、情報の劣化を防げることがあげられる。なぜなら
ば、スパイク列は均一なパワーを持つパルス信号であ
り、仮にノイズが混入したとしても、スパイク列とはパ
ワーが違うことから、ノイズであると判断できるからで
ある。次に、記号粒子の蓄積によるメモリー効果があげ
られる。すなわち、各記号粒子に重みを持たせ、それら
を蓄積させることで、入力信号が途絶えてからもしばら
くは蓄積された記号粒子による入力が続き、短期記憶保
持を模擬シナプス部で行うことができる。そしてここに
支配的な記号粒子を作用させるとすると、強制的な学習
や反応の場合分けなどの人間的な振る舞いを模擬でき
る。

【０００７】そして更に、時間遅延をこのニューラルネ
ットワークに加えることで、時間軸上にマッピングされ
た意味情報、すなわち音楽（時間と共に変化する音声情
報）や動作（時間と共に変化する画像情報）等、時間成
分を含まないと表現できない情報をも認識可能となる。

【０００８】

【発明の実施の形態】以下、本発明をより具体的に説明
する。まず、本発明のニューラルネットワークを構築す
る際の基本的な考え方について説明する。先にも述べた
ように、本発明は、実際の脳神経回路のシナプス部にお
ける神経伝達物質が最近脳神経生理学の分野で多く見い
出され、それらの物質が人間の感情を支配していること
を背景に、実際の脳神経回路のシナプス部で行われてい
る神経伝達物質の伝達機構を模した機構をニューラルネ
ットワークの模擬シナプス部に導入したことにある。こ
のような模擬シナプス部のシステムは、以下の手順で構
築される。 １）模擬ニューロンからの出力刺激パターン（刺激信号
を構成するスパイク列の周波数スペクトラムパターン）
に関係して、質量を持つ数種類の記号粒子が生成される
機構を構築する。 ２）記号粒子系列の反応を質量を持った粒子の沈殿によ
る蓄積として定義する。 ３）蓄積された記号粒子系列がシナプス後ポテンシャル
（post synaptic potential ）に影響を与え、ひいては
ニューロン出力のスパイク頻度もしくはスパイク列のパ
ターンに影響を与える構成とする。 ４）蓄積された記号粒子群の統計量をもって、記号粒子
蓄積型ニューラルシステムの動作状態の記述情報として
用いる。

【０００９】このような模擬シナプス部を含むニューラ
ルネットワークは、ソフトウエアシステム、すなわち、
記号粒子蓄積型ニューロンモデルに基づき設計したニュ
ーラルシステムのプログラムを記録した記録媒体と、こ
の記録媒体に記録されたプログラムを実行することによ
り模擬ニューロン及び模擬シナプス部からなる模擬ニュ
ーロン回路として機能する演算処理装置とを少なくとも
含む情報処理システムによって実現される。また、模擬
ニューロン、模擬シナプス部などの機能はデジタル信号
処理装置（ＤＳＰ）などを使用して部分的にはハードウ
エア自体に持たせることもできる。

【００１０】次に、上記のような本発明のニューラルネ
ットワークについて簡単なモデルを用いて説明する。図
１（ａ）は実際のニューロン回路を概念的に示したもの
であり、図１（ｂ）は図１（ａ）に示した実際のニュー
ロン回路をモデルにした模擬ニューロン回路の構成例を
示したものである。図１（ａ）に示すニューロン回路
は、Ｘ、Ｙ、およびＺの３個のニューロンａ〜ｃをシナ
プス部ｄ、ｄ、・・・を介して相互に接続した構造にな
っており、図１（ｂ）に示す模擬ニューロン回路１１
は、図１（ａ）中のＸ、Ｙ、およびＺの各ニューロンａ
〜ｃを、それぞれ、模擬Ｘニューロン１、模擬Ｙニュー
ロン２、および模擬Ｚニューロン３に置換し、シナプス
部ｄ、ｄ、・・・を模擬シナプス部４で置換した構造に
なっている。模擬Ｘニューロン１、模擬Ｙニューロン
２、および模擬Ｚニューロン３と模擬シナプス部４との
間は、実際のニューロン回路の軸索ｅ、ｅ、・・・を模
した模擬軸索５、５、・・・を介して接続されている。

【００１１】図２は図１（ｂ）に示す模擬ニューロン回
路１１の模擬シナプス部内で記号粒子が生成され蓄積さ
れる様子を示す概念図であり、実際の神経系のシナプス
部ｄにおける神経伝達物質Ａ、Ｂ、〜、Ｐが、軸策ｅ、
ｅ、・・・からのスパイク列による刺激によってマイク
ロチューブに導かれ、そのノズルから放出される過程を
模擬している。そして、実際の神経系における神経伝達
物質の生成を、「質量をもつ記号粒子の生成」という概
念で置き換え、模擬シナプス部４内で様々な質量を持っ
た記号粒子が生成され時間と共に沈殿し蓄積されていく
様子を示している。また、生成される記号粒子の種類
は、擬似軸策５からの刺激信号の周波数スペクトラムパ
ターンに依存することを示している。ここで、刺激信号
の周波数スペクトラムパターンに依存して、種類の異な
る記号粒子が生成されるようにするための関数の定義に
ついて説明する。まず、周波数領域を台集合とする複数
個のファジィ・メンバーシップ関数を用いて、図３
（ａ）〜（ｐ）に示すように、各記号粒子Ａ〜Ｐのコー
ド化のためのスペクトラム基底関数(Spectrum Basis Fu
nction for Coding)を定義する。

【００１２】そして、図４（ａ）〜（ｐ）に示すよう
に、各記号粒子Ａ〜Ｐが、刺激信号の周波数パワースペ
クトラムＳ（ω）と各々のスペクトラム基底関数との共
通面積比に依存して放出されるように定義する。図４
（ａ）〜（ｐ）の例では、周波数パワースペクトラムＳ
（ω）と各々のスペクトラム基底関数との共通面積比が
８０％以上のときに各記号粒子Ａ〜Ｐが放出されるよう
に定義されている。周波数パワースペクトラムＳ（ω）
は、対応する刺激信号ｓ（ｔ）[t,t+ τ] の時間での逐
次計算から得られる。このτの大きさは、入力信号の時
系列の特徴（たとえば、自己相関関数の特徴）から自動
的に割り出される。図５（ａ）は模擬シナプス部４内で
各種の記号粒子Ａ〜Ｐが時刻ｔからｔ＋３τまでの間に
蓄積されていく様子を示した説明図、図５（ｂ）は図５
（ａ）における各種の記号粒子Ａ〜Ｐの蓄積量を種類別
に整理して示した棒グラフである。このような統計情報
は模擬シナプス部４が次の状態へ遷移するための動作条
件の１つとして機能する。すなわち、模擬シナプス部４
内に蓄積された記号粒子Ａ〜Ｐは、その質量に応じた伝
送力をもって出力ニューロン（模擬Ｚニューロン３）へ
の模擬後シナプスポテンシャルを形成し、各記号粒子Ａ
〜Ｐ毎の質量の合計が閾値（図５中のハッチングを施し
た範囲）を超えた時に出力スパイクを発射する。

【００１３】図６に、模擬シナプス部４における記号粒
子生成過程のシミュレーション例を示す。この例では、
模擬シナプス部４をソフトウエアシステムで構成し、
「あ」という母音と、これに帯域的及び振幅的にほぼ同
程度のガウス雑音を重畳した信号を用いて処理した。図
６中（ａ）の上段は「あ」という母音の信号の一部分
を、下段はガウス雑音の１部分を示している。（ｂ）は
それぞれの信号の周波数パワースペクトラムＳ1
（ω）、Ｓ2 （ω）をスペクトラム基底関数に重ねて描
いたものである。そして、（ｃ）はそれぞれの処理結果
を表わしている。この例では、周波数パワースペクトラ
ムと各々のスペクトラム基底関数との共通面積比が面積
比が５０％を超えた記号粒子のみが、棒状に表現されて
いる。 上記のシミュレーション例と同様にして、他の
母音「い」、「う」、「え」、「お」、子音と母音との
合成音、その他、あらゆる音に対してもそれぞれの音の
周波数パワースペクトラムに依存した記号粒子を生成さ
せることができる。 したがって、時間遅延をこの模擬
ニューロン回路１１を含むニューラルネットワークに加
え、且つ模擬シナプス部４からの出力スパイクを受け取
る模擬Ｚニューロン３に時間認識機能を持たせることに
より（図７参照）、時間軸上にマッピングされた意味情
報の代表的な例である音楽や会話などを認識可能なシス
テムに発展させることがでできる。

【００１４】また、各人の持つ性格や感情が加味された
音声（言葉）に対しても、そのような音声の周波数成分
のうちで最も基本的な成分に依存した記号粒子を生成さ
せるようにスペクトラム基底関数などを定義することに
より、発音者の性格や感情に左右されない常に的確な音
声認識が可能となるので、音声による電子機器の制御シ
ステムや、入力装置などへ発展させることもできる。ま
た、各人の声の周波数成分の特徴に応じて記号粒子を生
成させるようにスペクトラム基底関数などを定義するこ
とにより、特定の人の声と他の人の声とを識別すること
が可能になるので、音声照合による自動解錠システム、
自動開門システムなど、セキュリティー分野への応用も
可能である。また、音声認識に限らず、例えば、ＣＣＤ
等の撮像素子で取り込んだ画像情報を各画素毎に光の周
波数としてとらえ、各画素毎に周波数成分に依存した記
号粒子を生成させ、全画素分の記号粒子群の統計を一定
時間毎にとることにより、その統計量の時間的変化か
ら、撮像対象の動作、例えば表情の変化や、目、口、
手、指などの動きを認識することができる。したがっ
て、オペレータの目、口、手、指などの動きを認識して
入力を行うことができる入力装置や、口の動きや手話に
より操作できる自動解錠システム、自動開門システム、
電子情報端末、家電製品などを実現することも可能であ
る。さらに、本発明のニューラルネットワークをチップ
化できれば、電子情報端末や家電製品などに生かされる
ばかりか、人間に限りなく近いロボットなどの誕生にも
大きく寄与する。

【００１５】なお、上記実施の形態では模擬ニューロン
１、２の出力をそれぞれ４ビット構成としたため、それ
ぞれの模擬ニューロン１、２で１６種類の記号粒子Ａ、
Ｂ、〜、Ｐが生成されているが、２ビットとすれば４種
類、５ビットとすれば３２種類、６ビットとすれば６４
種類、７ビットとすれば１２８種類の記号粒子をそれぞ
れの模擬ニューロン１、２で生成させることができる。
更にビット数を増やせば、実際の脳内で生成されている
神経伝達物質よりも他種類の記号粒子を扱うことが可能
である。

【００１６】

【発明の効果】以上説明したように、本発明のニューラ
ルネットワークによれば、実際の脳神経回路のシナプス
部における神経伝達物質のアナロジーとしての記号粒子
をニューラルネットのシナプス部に導入し、シナプス部
で生成される記号粒子群の統計量によって音声や画像な
どの知覚情報を認識できるようにしたので、従来のニュ
ーラルネットワークよりも遥かに実際の脳に近い優れた
認知能力を発揮できる。

【図面の簡単な説明】

【図１】（ａ）はＸ、Ｙ、及びＺニューロンによって構
成される実際のニューロン回路を示す説明図、（ｂ）は
（ａ）に示す実際のニューロン回路を模した模擬ニュー
ロン回路を示す説明図である。

【図２】図１（ｂ）に示す模擬ニューロン回路の模擬シ
ナプス部内で記号粒子が生成され蓄積される様子を示す
概念図である。

【図３】（ａ）〜（Ｐ）は記号粒子Ａ〜Ｐを生成するた
めのスペクトラム基底関数を例示した説明図である。

【図４】（ａ）〜（Ｐ）は周波数パワースペクトラムと
スペクトラム基底関数との共有面積比により記号粒子Ａ
〜Ｐが生成される条件を例示した説明図である。

【図５】（ａ）は模擬シナプス部内で各種の記号粒子が
時刻ｔからｔ＋３τまでの間に蓄積されていく様子を示
した説明図、（ｂ）は（ａ）における各種の記号粒子の
蓄積量を種類別に整理して示した棒グラフである。

【図６】（ａ）〜（ｃ）は模擬シナプス部における記号
粒子生成過程のシミュレーション例を示す図である。

【図７】時間情報を認識するニューロン回路の構想図で
ある。

【符号の説明】

１ 模擬Ｘニューロン、２ 模擬Ｙニューロン、３ 模
擬Ｚニューロン、４模擬シナプス部、５ 模擬軸索、１
１ 模擬ニューロン回路。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 複数の模擬ニューロンを模擬シナプス部
   を介して相互接続してなる模擬ニューロン回路を有し、 模擬ニューロンは、認識すべき知覚情報に基づく入力信
   号に応じた刺激信号を生成し、 模擬シナプス部は、模擬ニューロンからの刺激信号の周
   波数スペクトラムに依存した記号粒子を生成して順次蓄
   積し、蓄積した記号粒子群の統計量に応じた出力信号を
   生成するように、 各部を構成したことを特徴とするニューラルネットワー
   ク。