JPH0679340B2

JPH0679340B2 - パタ−ン認識装置

Info

Publication number: JPH0679340B2
Application number: JP62176959A
Authority: JP
Inventors: ケルナーエドガー; 博清水; 一郎津田; 広明田仲
Original assignee: Shingijutsu Kaihatsu Jigyodan
Current assignee: Shingijutsu Kaihatsu Jigyodan
Priority date: 1987-07-15
Filing date: 1987-07-15
Publication date: 1994-10-05
Anticipated expiration: 2009-10-05
Also published as: EP0299876A3; EP0299876A2; JPS6419483A

Description

【発明の詳細な説明】産業上の利用分野本発明は、パターン認識装置に係り、特に図形、文字等
の画像入力はもとより、その他の時系列的または空間的
に変化する種々の事象の特徴をも抽出しうる汎用的パタ
ーン認識装置に関する。

従来の技術今日、いわゆるパターン認識技術は、文字読み取り装
置、部品仕分け装置、製品欠陥検査装置等として広く産
業に用いられている。

これらの装置の共通点は、対象物群が共有する特徴を、
入力パターンデータから演算、抽出してカテゴリ分類を
行うことである。

そのための演算処理部は、概ね、ディジタルプロセッサ
と高速フーリエ変換器のような専用回路から構成されて
いる。また、そのディジタルプロセッサのプログラムも
対象物に合せて専用化されている。

このような認識機能のハードウェア、ソフトウェア両面
での専用化は、より高速の認識を行うことを第一義とす
る産業上の要請に依るものである。

しかし、一方、専用化は認識対象物、およびカテゴリー
毎の装置設計、プログラムの作製を必要とし、その為、
設計や修正作業の複雑化している。

更に、カテゴリ分類処理の複雑化は、認識結果の信頼性
を低下させ、パターン認識装置自体の製品としての品質
管理を困難にし、生産コストを押上げる。

その上、ユーザ側においては、対象物自体の情報の認識
装置メーカへの流出、また、機能向上の都度、必要とな
る設備投資が問題である。

以上述べた様な、今日、工業的に実用化されている方式
以外に、生物の行うパターン認識を模擬する試みが行わ
れている。

生体は、体内外からの各種の刺激を受取、脳あるいは神
経叢を用いて刺激に対する解釈を行う。

この解釈は経験、記憶に照す方法のほか、全く未経験の
事象に対しても一定の解釈を下すことも含んでいる。

生命の数十億年に及ぶ長期間の連続性を可能にした要因
の一つが、上述の様な特異な認識能力である。この様な
能力を有する脳、神経叢の構造は、認識対象毎に特殊化
された部分も一部には存在するが、大部分は単一構造の
神経細胞間接続の繰り返しにより構成されている。

脳神経科学の教えるところによれば、神経網を構成する
個々の細胞は、他の数千ないし数万の細胞からの電気的
刺激を受け、その細胞自体もまた他の細胞に対して同様
の信号を与えている。

この様な電気的信号の送出のことは「発火」と呼ばれて
いる。

発火条件は、入力刺激とその細胞の内部状態で決定され
るが、同時に脳全体では一定の認識を実行していること
から、一個の細胞といえどもその発火は局部的な解釈を
下した結果であると考えられる。

また、細胞間の信号すなわちインパルスの与え方には、
発火を抑制するものと促進するものがある。それ故、脳
は、あたかも正帰還と負帰還の混在した、いわゆる“バ
ンバン制御回路”の如く見える。

次に神経網の複雑さであるが、人間の場合、100億以上
ある神経細胞が全くランダムに接続されているのではな
い。解剖学上の知見しか数十ないし数千個の単位とする
同じ接続パターンの繰り返しであることが知られてい
る。

以上がパターン認識装置としての脳のハードウェアの特
徴である。

次に、脳の働きのソフトウェア的側面について述べる。
生体内外からの様々の刺激による神経網上の発火の空間
的および時間的分布の変化が、脳における解釈の進行状
況、即ち認識ソウトウェアと処理されている情報の働き
を示すと見ることができる。

通常のディジタルプロセッサと大きく異なる特徴は、
（１）プログラムとデータを分離格納していないこと、
（２）神経網上のそれぞれの局部単位におけるデータ処
理が完全に並列に進行し、しかも全体として合目的的に
動作することである。

特徴（１）についてやや詳しく述べる。ディジタルプロ
セッサでは、メモリ素子中でプログラムとデータを混在
させているものの、その使用時には明確に命令語とデー
タを判別している為、実質的には分離格納と見なされ
る。一方、神経網は、いわゆるストアードプログラム方
式のディジタルプロセッサでも、またそれと対局的なデ
ィスクリートな論理回路でも無く、データ処理の進行が
新しい経験を生じ次のデータ処理構造を生み出すという
特異的な構造を有していると考えられる。

特徴（２）については、局部的な神経細胞群内部の発火
状態が協調して全体の調和を作り出していることから、
局部細胞群も全体の状態および目標に関する情報を何か
らの形で有していること、他の部分からの情報は時間的
な遅れを伴って伝達されるものであろうことが特徴と言
える。この様な能力は、視覚認識のみならず、音声認識
その他の諸感覚を含め広い意味でパターン認識であると
考えられ、しかも先述の様な現在実用に供されているパ
ターン認識装置が有する本質的な欠点を持たない。

即ち、認識経験の蓄積により自動的に次の言わば認識ソ
フトウェアを作り出していく為、外部から次の対象物に
関するあたらたなソフトウェアを与える必要がなく、ま
た、ハードウェア上は同一構造単位の繰り返しで認識機
能の変化に充分対応していること等があげられる。

発明が解決しようとする問題点本発明は、上述の如き従来のパターン認識装置の有する
欠点を解決し、ソフトウェアおよびハードウェアの認識
対象カテゴリーへの依存度を少なくし、生産者において
は少品質大量生産によるコスト低減、信頼性の向上と納
期短縮、ユーザ側においては外部に依存しないパターン
情報の蓄積と単一構造ユニットの追加のみで機能向上が
可能な新しいパターン認識装置を提供することを目的と
するものである。

問題点を解決するための手段本発明は、上記した目的に鑑み、上述した生体を持つ優
れたパターン認識能力と特徴的な構造に着目して、脳の
微細構造を考慮することによりその信号処理過程を理論
的に考察した本件出願発明者等の最近の研究成果をもと
に考案されたものである。以下その概略を説明する。

（ａ）脳の基本的結線最近の解剖学的知見によれば、大脳に対する知覚入力は
第１図に示すように、視床（Thalamos）及び網状ニュー
ロン（Reticulan complex）を経由して、皮質に入力さ
れる。皮質には６層の層状構造があり、第２図にその模
式図を示す。第２図において、白抜きのまたは黒の丸、
四角、三角（ピラミッド形状）、菱形は、それぞれ細胞
の単位乃至集合体を示している。なお、第２図以降の図
面において、矢印で終端している線は興奮入力であり、
Ｔ字状に終端している線を抑制入力である。皮質では、
層の垂直方向に、比較的密に結合した細胞の集団が、直
径約30μｍの円柱状カラムを形成しており（第２図には
そのカラムを簡略化して示している）更に、このカラム
は多数集まって500〜1000μｍのマクロカラムを構成す
る。

（ｂ） Parallel in Sequenceメカニズム第３図は、視床−網状ニューロン、第VI層、第IV層の細
胞間における結線を取り出して簡略化して示している。

LliansとJohnson（1982,1984,1984）やSteriadeとDesch
enes（1984）によれは、Th−Li−Reで構成される回路に
は一過的興奮性の性質がある。即ち、入力Iijがある閾
値を越えるまでは、入力の積分され、かつ低い出力を示
すが、一旦閾値を越えると大きな出力を一定時間（T_B）
発生し、そのあと更に一定時間不応期（T_R、T_R′）を示
す（第４図）。

一方、Re細胞はTh細胞の出力によって興奮し、そのTh細
胞には、より興奮するようなポジティブフィードバック
がLi細胞を経て加えられるが、隣接するRe細胞には抑制
が働き、従って、隣接するTh−Li−Re回路は抑制され
る。このことは入力パターンがよりシャープになること
を意味する。

一方、CNはこの回路網の興奮性を大域的に抑制するため
の制御ニューロンである。

種々の検討の結果、このような回路のダイナミックスは
おおむね次式によって表わすことが可能である。

ここで、である。

また、 CNkは、それぞれ位置（i,j）にあるTh細胞、Li細胞、Re
細胞、Py6の細胞、制御ニューロンの時刻knにおける発
火の程度を表わし、a1〜a7、b1〜b3及びw1〜w4は定数で
あり、Clijは、Py6細胞とThij細胞の間の空間的に重み
づけされた結合定数であり、ct1〜ct5は各種の閾値を表
わす。またIijは外部パターン入力信号である。

このような式で示される回路における信号処理過程をシ
ュミレーションにより検討した結果、次に説明し且つ第
５図に示すようなダイナミクスがあることが明らかとな
った。第５図において、左端の番号は、Thi細胞の番号
であり、その直ぐ右の欄は、各Thi細胞への入力Iiの強
度である。そして、ハッチングをかけた四角ブロック
は、発火状態を示し、第５図の左から右へ時間経過を示
している。

入力Iiのうちで最も大きな値をもつ入力Ii（すなわ
ち、第５図の例では、信号強度“3"）は、一番始めにTh
i細胞（すなわち、第５図の例では、第３番目と第６番
目）を発火させる。この時、周辺のThi細胞な抑制され
るから、入力のうちで最も大きな値をもつものだけから
構成される発火のパターンが発生する（第５図の例で
は、時間１）。

T_B時間が経過すると、最初に発火したThi細胞（第
３番目と第６番目）は発火が終わり、不応期にT_R時間だ
け入る。そこで、２番目の大きな値をもつ入力Ii（すな
わち、第５図の例では、信号強度“2"）に対応するThi
細胞（第２番目と第４番目）が発火する。

と同様に、逐次弱い入力に対応する発火のパター
ンが形成される。

最初に発火したThi細胞が不応期から回復すると、
再びから過程がくり返される。

従って、入力パターン（Ii）がもつ並列的な特徴は、Th
細胞の発火パターンという時系列に変換される。これを
Parallel in Sequenceメカニズムという。入力パターン
をどの程度の詳しさまで分解して時系列パターンに変換
できるかは、基本的にはT_BとT_R（第５図では、T_R＋T_R′
の和を代表してT_Rで表わしている）の比に依存する。す
なわち、T_Bに比較してT_Rが長い程、詳しく分解できる。

（ｃ） Variable-byte Formationメカニズム第３図に示すように、Th−Li−Re細胞で構成される回路
の興奮性は、皮質の第VI〜第IV層で検出されている。そ
して、Thに対しポジティブフィードバックが加わるよう
な回路が構成されている。もし、皮質側から、入力パタ
ーンに応じて適切なフィードバックが加わるようであれ
ば、Th細胞で生ずる発火パターンは、入力パターンに応
じて組み換えられると思われる。

例えば、第６図（Ａ）に示すように、全くフィードバッ
クをかけないと、入力パターンの強度に応じた順番に発
火する。但し、T_BとT_Rとの関数で、強度“2"までのパタ
ーンが検出できる。しかし、第６図（Ｂ）に示すよう
に、高い優先順位で発火したパターンを圧縮すれば、強
度“1"までのより弱い特徴を検出可能であろう。

更に、第６図（Ｃ）に示されるように、弱い強度の信号
を助長するようなフィードバックを加えれば、特定の特
徴のみ（第６図（Ｃ）においては強度“2"のパターン）
を優先的に検出可能であろう。

このように、並列特徴を時系列パターンに種々のフィー
ドバックルールのもとで変換するメカニズムを、Variab
le-byte Formationという。

（ｄ）皮質の構造と機能第７図は、第２図にIV層で見られる細胞層の詳しい結線
を示した図である。ここでは、前述した視床及び網状ニ
ューロンと類似の構造が、NSSX、NSS及びSS細胞で構成
されるのが見られ、III層及びVI層の細層と相互作用し
ている。そして、隣接細胞間の相互抑制により、興奮の
空間パターンをよりシャープにする。なお、三角形のブ
ロックすなわちピラミッド型をしたPy細胞（ピラミダル
セル）は、その頂点側が入力であり、以下に図面におい
ても同様である。

種々の検討の結果、この層の神経回路網の動作は次式に
よって表わされると考えられる。

ここで、はそれぞれ位置（ij）にあるＺ番目のSS細胞、NSS細
胞、NSSX細胞の時刻ｋにおける発火の程度を表わし、a1
6〜a19、b6は定数であり、c9、c10はそれぞれ空間的に
重みづけされた細胞間の結合定数を示す。

第２図のVI層で見られる大型ピラミッド型をした細胞
（ピラミダルセル）が構成する回路網の詳しい結線図を
第８図に示す。ここでは、Py6細胞が相互に興奮及び抑
制性に結合した層をなしている。このような結線は、後
述するように連想メモリを構成するが、この層では相互
間の結線は比較的局所的であり、局所的な特徴抽出に向
いた構造をしている。この回路網の動作は次式で示すこ
とができる。

ここで、は、それぞれ位置（i,j）にあるＺ番目もしくは（z,x）
番目のPy6、Py3、Py2細胞の時刻ｋにおける発火の程度
を表わし、a8、a9、b4は定数であり、c8、c2、c3はそれ
ぞれ連想メモリとして重みづけられた細胞間の結合定数
を示す。またN0kは時刻ｋにおける大域的に興奮性を抑
制する制御ニューロンの興奮性を表す。

第２図のIII層でみられるピラミダルセルが構成する回
路網の詳細を第９図に示す。Py3細胞が連想メモリを構
成していると考えられ、その動作は次式で示すことがで
きる。

ここで、a12〜a15、b5は定数、c5〜c7はそれぞれ連想メ
モリーとして重みづけられた細胞間の結合定数を示す。
またN1kは、大域的に興奮性を抑制する制御ニューロン
の時刻ｋにおける興奮性を表す。

第２図に示すII層でみられるピラミダルセルが構成する
回路網の詳細を第10図に示す。Py2細胞が比較的ゆっく
り動作する連想メモリを構成していると考えられ、その
動作は次式で示すことができる。

ここで、a30、b10は定数、c20〜c22はそれぞれ連想メモ
リーとして重みづけられた細胞間の結合定数を示す。ま
た、N2kは大域的に興奮性を抑制する制御ニューロンの
時刻ｋにおける興奮性を示す。

II、III及びVI層で多数見られるピラミダルセルは、前
述したようにそれぞれ同一層内の他のピラミダルセル
と、相互に結合している。これらの細胞間における信号
処理過程は従来より詳しく検討されてきており、模式的
に示せば第11図に示すような結線をもつ連想メモリとし
て働くという考えられている。

このモデルの動作は、次式に示すというのである。

ここで、Xiは入力、Yiは出力、Wijは、シナプス細胞ｉ
に対するｊ番目の入力或いはｊ番目のシナプス細胞から
の入力の影響の強さである。また、Wijは正又は負の値
をとることができ、それぞれ興奮性、或いは抑制性を意
味する。そして、τｉはスレシホールド、ｆ（）はシ
グモイド型の関数てある。一方、重みの学習は（ｇ
（）、ｈ（））、一般に種々のメカニズムが提案さ
れているが、例えばヘッブによって提案された脳内の神
経細胞間の結合模式を参考にすれば、ＸあるいはＹの活
性の相関に依存して変化する。

このようなモデルにおいては、外部入力パターンXiは、
回路網内において、循環的に重み付けされ、新たなパタ
ーンを生成し、出力する。また、入力Xiが二重の入力群
からなると考えれば、第12図に示すように、被参照入力
による連想記憶の呼び出しを任意の参照入力のもとで行
うことも可能である。なお、このような連想メモリをユ
ニットで示せば、第12A図に示すような機能ブロックで
表すことができる。

以上のように皮質を連想メモリの積層体と考えた場合、
連想メモリの相互作用の範囲は、下層ほど局所的であ
り、この結果、各層での信号処理に階層性があることが
予想される。そして、II層III層においては、他のカラ
ムとの相互作用もみられる。そこで、今まで述べた１つ
のカラムの構造をブロックダイヤグラム化し、更に層間
の結線を考慮して示すと第13図のようになる。

（ｅ） Take-Grant-Controlメカニズムそこで、視床から皮質までを含めた、全システムの動作
について検討してみる。

（ｉ）まず最初に知覚入力が視床／網状ニューロンIF1
に入力される最も強い信号群に対応する発火のパターン
がIF1のTh細胞群で形成されはじめるが、この過程でVI
層R0における連想メモリーが呼び出され、入力信号パタ
ーンを適切な大きさの入力チャンネル数に圧縮する。

（ii）この圧縮された入力信号パターンは、IV層IF2を
介してただちにIII層R1に入力され、R1の連想メモリー
を呼び出す。そして、（ｉ）の過程で選ばれた圧縮され
た入力信号の表現を再構成し、R1にすでに蓄えられてい
たその入力パターンが本来もつべき表現ととコンシステ
ントになるようR1はフィードバックを発生する。

（iii）（ii）の過程で示したようコンシステントな発
火パターンが、IF1、R0、R1に発生した後、最初に発火
したIF1のTh細胞がT_Rの間だけ休止する（これはT_B時間
を経過するというケースと、上位からのフィードバック
でTh細胞を休止させるという両方のケースが考えられ
る）と、次に強い順位の信号群のIF1のTh細胞を発火さ
せる。そして、過程（ｉ）→（ii）→（iii）を繰り返
す。

（iv）R2は相対的にゆっくりした時定数を持ち、R1の発
火パターンに応じて連想メモリーで呼び出された大域的
なフィードバックをR1、R0に与える。このとき、すでに
得た時系列発火のパターンを短期的に記憶しておけば、
関連する発火パターンを一つのパターンに圧縮すること
ができ、第６図（Ｂ）で示すような、より弱い信号群に
対しても表現可能となる。

以上のように上位階層がそれぞれ保持していた記憶内容
を利用して、フィードフォワード的に下位階層を抑制す
ることをtake-grant-controlという。

これらの動作をメカニズムを模式的に示したのが第14図
である。入力信号の強度によるチャンネルパターン（第
14図（ａ））に対して、その最強の強度のパターンを抽
出するようにR0がチャンネル抑制して抑制したパターン
（第14図（ｂ））を生成する。一方、R1に想起させる関
連パターン（第14図（ｃ））がフィードバックされる。
その結果、R0の発火パターンが両パターン間のコンシス
テンシーに応じてパターン（第14図（ｄ））に安定す
る。そのパターンに応じたパターン（第14図（１））が
R2に記憶される。

第14図（ｄ）に示すパターンが不応期に移行すると、次
に、入力信号のチャンネルパターン（第14図（ａ））に
対して、次に強い強度のパターンを抽出するようにR0が
チャンネル抑制して抑制したパターン（第14図（ｅ））
を生成し、一方、R1に想起される関連パターン（第14図
（ｆ））がフィードバックされる。かくして、R0の発火
パターンが両パターン間のコンシステンシーに応じてパ
ターン（第14図（ｇ））に安定する。そのパターンに応
じたパターン（第14図（ｍ））がR2に記憶される。

その結果、R2において、その記憶に基づきパターン（第
14図（ｈ））が想起され、R1とのフィードバックにより
R2が新たな発火パターン（第14図（ｉ））に安定する。
そして、その最初のパターンの不応期には次の発火パタ
ーン（第14図（ｊ））で発火する。

第15図は、R1およびR2の発火パターンの概念を示す図で
あり、R1では、発火は時間T_Bを経過すると終了するが、
R2は、時定数が長いので発火状態が重畳されている。

第16図は、R1の個々の発火状態の概念図であり、ブロッ
クの数により発火を程度を示している。図面からわかる
ように、最初の発火ほど発火強度が高い。

このように、各ブロックにおける発火パターンの時間経
過、あるいは、R2における発火パターンやその時間経過
を見ることにより、入力された信号がいかに解釈あるい
は認識されたかを知ることができる。

また、第17図は、たとえばR2等、上層にあるパターンが
あらかじめ呼び出されている場合には、強度に差のない
特徴を入力パターンの中から抽出することも可能である
ことを図示したものである。

以上述べたのは、単一カラム内に関する信号処理過程に
ついてであるが、他のカラムと、相互作用があれば、両
カラムに入力される知覚信号間の相関をも考慮に入れた
信号処理が行なわれる。

（ｆ）本発明によるパターン認識装置の基本構成以上の
ような脳内における信号処理メカニズムを考察して、本
発明によるパターン認識装置は、第18図に示すようなユ
ニットから基本的に構成される。

すなわち、図示のユニットは、重みづけユニット10と出
力ユニット20とを具備している。重みづけユニット10
は、パターン入力信号群１と参照パターン入力信号群２
を受け、更に出力ユニット20からの出力パターン帰還信
号群３と重みづけユニット10自体の出力である連想パタ
ーン帰還信号群４を受けるようになされている。そし
て、重みづけユニット10は、それら入力信号群に対して
適切な重みづけ（正及び負の両場合がある）を行ない、
連想パターン信号群５及び出力特性制御信号群６を出力
ユニット20に出力すると共に、上述した連想パターン帰
還信号群４を生成する。一方、出力ユニット20は、連想
パターン信号群５の値に応じ、出力特性制御信号群６の
信号により、その時間応答特性を変化させて出力パター
ン信号群７と出力パターン帰還信号群３を発生する。

以上のような信号処理ユニットを複数組み合せることに
より、脳内信号処理と本質的に等価な信号処理を行うこ
とが可能である。

ここで、時刻ｋにおけるｉ番目のパターン入力信号群１
の信号強度を参照パターン入力信号群２の信号強度を出力パターン帰還信号群３の信号強度を連想パターン帰還信号レーザ４の信号強度を連想パターン信号群５の信号強度を出力特性制御信号群６の信号強度を出力パターン信号群７の信号強度をとすると、各信号間に次のような関係が成立するように
各定数を適切に選ぶ。

ここで、Ｆ（α）は適当な非線形凾数であり、たとえ
ば、の形式のものとする。

まあ、Ｂ（α，β）は、βによって時定数或いは時間経
過が所定の変化を示すような、単安定動作をαの値に応
じて行うような函数で、例えばＰ＝ct3 但し、ｋ≦ｔ≦ｔ≦ｋ＋βT_Bの場合Ｐ＝ct4 但し、ｋ＋βT_B≦ｔ＜ｋ＋β（T_B＋T_R）の場合Ｐ＝ct5 但し、ｋ＋β（T_B＋T_R）≦ｔ＜ｋ＋β（T_B＋T_R＋T_R _′）
の場合の形式のものとする。

作用以上のような性質をもつ信号処理ユニットにおい
て、例えば、第19図に示すように、パターン入力信号群
１を外部パターン信号群に接続し、参照パターン入力信
号群２には所定の参照パターンを与え、連想パターン帰
還信号群４及び出力特性制御信号群６は所定の一定の値
もしくはパターンとなるようにする。更に、重みづけユ
ニット10を、出力パターン帰還信号群３のパターン信号
を空間的に近い位置あるパターン入力信号群１の信号に
対し抑制的に加わるよう重みづけ定数をもつようにす
る。そして、出力ユニット20を、所定の単安定動作をす
るように構成する。

このように構成することにより、前述したParallel in
Sequence動作を行う信号処理ユニットを単一信号処理ユ
ニットで構成することができる。

更に、上記項で述べた信号処理ユニットにおいて
は、与える参照パターンに応じて外部パターン信号のも
つ特徴を抽出する優先順位や順位づけのレンジを抑制す
ることが可能である。従って、外部より参照パターンを
変化させれば、抽出された特徴の時系列の構成を容易に
変更可能であり、前述したvariable-byte formation動
作を行う信号処理ユニットを単一信号処理ユニットで構
成することができる。

前述した信号処理ユニットにおいて、第20図に示す
ように、パターン入力信号群１を外部パターン信号群に
接続し、参照パターン入力信号群２には所定の参照パタ
ーンを与え、連想パターン帰還信号群４には所定の重み
づけにより連想パターン帰還信号が生じるようになし、
出力パターン帰還信号群３と出力特性制御信号群６は所
定の一定の値もしくはパターンになるようする。そし
て、連想パターン信号群５の出力には、パターン入力信
号群１に対して参照パターン入力信号群２と重みづけパ
ターン帰還信号群４の各信号の状態に応じて所定の連想
されたパターンが生じるように、重みづけユニット10の
重みづけ定数を定める。更に、出力ユニット20は、単純
な比例動作（例えばＢ（α，β）＝α・β但し全てのα
及びβについて）を出力するように構成する。

かかる場合、連想を行う信号処理ユニットを単一信号処
理ユニットで構成することができる。

上記項で述べた信号処理ユニットにおいて、出力
ユニット20を所定の単安定動作を比較的長い時定数で行
うように構成すれば、単なる連想だけでなく、短期的な
記憶動作も行う信号処理ユニットを単一信号処理ユニッ
トで構成することができる。

上記項で述べた信号処理ユニット30を第１のユニ
ットとし、上記項で述べた信号処理ユニット40を第２
のユニットとして第21図に示すように結合する。第１の
ユニットのパターン入力信号群には、外部パターン信号
群を接続し、第２のユニットのパターン入力信号群には
第１のユニットの出力信号群を接続し、第２のユニット
の出力信号群は第１のユニットの参照パターン入力信号
群に接続し、第２のユニットの参照パターン入力信号群
には所定の外部参照パターン信号を与える。そして、第
１のユニットの単安定動作が、第２のユニットにおける
連想動作よりも十分に遅くなるように、第１のユニット
の出力ユニットの時定数を定める。

このように構成すると、入力した外部パターン信号群に
含まれるいくつかの特徴群を、外部参照パターンに従い
第２のユニットにあらかじめ記憶された特徴の組み合せ
と整合性がとれる形で次々と順位づけし、特徴群の時系
列を構成することができる信号処理システムを構成する
ことができる。

上記項で述べた信号処理ユニット40を２つ用い、
それぞれ第３ユニット及び第４のユニットとして第22図
のように結合する。第３のユニットでは、外部信号パタ
ーンに含まれる局所的な特徴を連想し、第４のユニット
では局所にある特徴を統合した大域的な特徴を連想する
ように、第３と第４のユニットの参照パターン入力信号
群には外部パターン信号群を接続し、第４のユニットの
出力信号群は第３のユニットの参照パターン入力信号群
に接続し、第４のユニットの参照パターン入力信号群に
は所定の外部参照パターンを与え、第３のユニットの出
力信号群から連想出力が得られるよう、それぞれのユニ
ットの重みづけユニットに所定の重みを与える。

このようにシステムを構成するにより、空間的に階層性
のある特徴を連想する信号処理システムを構成すること
ができる。

上記項で述べた信号処理ユニット40を２つ用い、
それぞれ第５と第６のユニットとして第23図のように結
合する。第５のユニットのパターン入力信号群には外部
パターン信号群を接続し、第６のユニットのパターン入
力信号群には、第５のユニットの出力パターン信号群を
接続し、第５のユニットの参照パターン入力信号群には
第６のユニットの出力パターン信号群を接続し、第６の
ユニットの参照パターン入力信号群には外部参照パター
ンを与え、それぞれのユニットの重みづけユニットに所
定の重みを与え構成する。

このように構成する場合、時系列的に順を追って変化す
る外部信号パターンを時々刻々連想するすなわち順序づ
けて連想することが可能なシステムを構成することがで
きる。

上記項で述べたシステムにおいて、第６のユニッ
トを上記項で述べたユニットで置き換えることによ
り、時系列的に順を追って変化する外部信号パターンを
階層的に連想することが可能なシステムを構成すること
ができる。

更に、上記〜項で述べたユニット及びユニット
間結合を適切に組み合せることにより、第13図で示した
ような脳の信号処理過程を実現するシステムを構成可能
である。

実施例第18図に示すような信号処理ユニットは、例えば第24図
に示すような装置により実現できる。

重みづけユニット10は、多層構造に結合され且つ同一構
成の複数の重みづけセル10A、10B、10C等から構成され
ている。各重みづけセル10A、10B、10C等は、それぞれ
並列に、パターン入力信号群１と参照パターン入力信号
群２と出力パターン帰還信号群３と連想パターン帰還信
号群４とを受ける。

各重みづけセル10A、10B、10Cの各々の出力は、それぞ
れ付属する同一構成の変調セル20A、20B、20C等に入力
され、且つ全重みづけセル10A、10B、10Cの出力は、統
合され且つ必要に応じてそれぞれ出力されて連想パター
ン帰還信号群４と出力特性制御信号群６とを構成する。

各変調セル20A、20B、20C等は、対応する重みづけセル1
0A、10B、10Cの出力を、出力特性制御信号群６に従って
変調して出力する。そして、全変調セル20A、20B、20C
の出力が、出力パターン信号群７を構成する。そして、
その出力パターン信号群７から必要に応じてそれぞれ抽
出されて出力パターン帰還信号群３が構成される。

重みづけセル10Aは、例えば第25図のようにして構成で
きる。すなわち、パターン入力信号群１と参照パターン
入力信号群２と出力パターン帰還信号群３と連想パター
ン帰還信号群４とをそれぞれ独立して受ける重みデータ
表12A、12B、12C、12Dを具備している。各重みデータ表
12A、12B、12C、12Dは、入力信号群の各信号を、重みデ
ータ表の対応する位置の値に従って重みづけして、対応
する加算器14A、14B、14C及び14Dに出力する。各加算器
14A、14B、14C及び14Dは、入力信号の全加算値を更に別
の加算器16に出力する。その加算器16の出力が、重みづ
けセルの出力を構成している。すなわち、加算器16の出
力は、変調セルすなわち変調器20Aに入力される。その
変調器20Aは、出力特性制御信号群６に変調度が制御さ
れる。なお、上述したように、加算器16の出力は、連想
パターン帰還信号群４と出力特性制御信号群６とをそれ
ぞれ構成するために出力される。

以上のように構成される信号処理ユニットを使用して、
第21図に示すような特徴群の時系列を構成することがで
きる信号処理システムと、第22図に示すような空間的に
階層性のある特徴を連想する信号処理システムと、第23
図に示すような外部信号パターンを時々刻々連想するす
なわち順序づけて連想することが可能なシステムと組み
合わせて、第26図に示すような特徴を階層的に時系列化
して順次つけて連想するシステムを構成できる。このシ
ステムは、第13図の処理システムに対応する。

すなわち、ユニット50及び52が、第21図のシステムを構
成し、ユニット52及び54が、第22図のシステムを構成
し、ユニット52及び56が、第23図のシステムを構成して
いる。

以上のパターン認識装置において、パターン入力信号
は、被認識パターンが図形などの場合にはテレビカメラ
のような撮像手段により得た映像信号をデジタル化し且
つ適当な粗さのマトリクス等に変換することにより得ら
れる。また、被認識パターンが音などの場合には、音を
周波数分解して各周波数成分毎のレベルをデジタル化
し、同様に適当な粗さマトリクス等に変換することによ
り得られる。従って、参照パターンも同様な構成にされ
る。

発明の効果以上説明したように、本発明によるパターン認識装置
は、基本的に同一構成の連想メモリユニットを組み合わ
せることにより、パターンの様々な態様で認識すること
ができる。

【図面の簡単な説明】

第１図は、大脳に対する知覚入力を解剖学的に図解した
図、第２図は、皮質の６層の層状構造の模式図、第３図は、視床−網状ニューロン、第VI層〜第IV層の細
胞間における結線を取り出して簡略化して示した図、第４図は、Th−Li−Reで構成される回路の一過的興奮性
を図解する図、第５図は、Th−Li−Reで構成される回路の発火状態の時
間変化を示す図、第６図は、Th−Li−Reで構成される回路のフィードバッ
クの態様により異なる発火状態の時間変化を示す図、第７図は、第２図にIV層で見られる細胞層の詳しい結線
を示した図、第８図は、第２図のVI層で見られる大型ピラミッド型を
した細胞（ピラミダルセル）が構成する回路網の詳しい
結線図、第９図は、第２図のIII層でみられるピラミダルセルが
構成する回路網の詳細図、第10図は、第２図に示すII層でみられるピラミダルセル
が構成する回路網の詳細図、第11図及び第12図は、ピラミダルセルの同一層内の相互
結合を模式的に示した図、第12A図は、ピラミダルセルなどで構成される連想メモ
リの機能を示す機能ブロック図、第13図は、大脳皮質を構成する１つのカラムの構造を機
能ブロックで図解したブロック図、第14図は、上位階層がそれぞれ保持していた記憶内容を
利用してフィードフォワード的に下位階層を制御する応
答動作のメカニズムを模式的に示した図、第15図は、R1およびR2の発火パターンの概念を示す図、第16図は、R1の個々の発火状態の概念図、第17図は、第14図の例とは異なる条件での応答動作のメ
カニズムを模式的に示した図、第18図は、本発明によるパターン認識装置を構成する基
本的な信号処理ユニットの構成図、第19図及び第20図は、第18図に示す信号処理ユニット内
の信号の流れの例を図解する図、第21図、第22図及び第23図は、第19図及び第20図に示す
ように結合された信号処理ユニットを相互に接続して構
成されるパターン認識システムの例を図示する図、第24図は、信号処理ユニットの構成例を示す図、第25図は、第24図の信号処理ユニットに組み込まれた重
みづけセルの詳細な構成例を示す図、第26図は、特徴を階層的に時系列化して順序つけて連想
するシステムのブロック図である。〔主な参照番号〕１……パターン入力信号群２……参照パターン入力信号群３……出力パターン帰還信号群４……連想パターン帰還信号群５……連想パターン信号群６……出力特性制御信号群７……出力パターン信号群 10……重みづけユニット 20……出力ユニット

Claims

【特許請求の範囲】

【請求項１】入力を行う第１ユニットポートと第２ユニ
ットポートと、出力を行う第３ユニットポートとを各々
有する少なくとも２つの連想メモリユニットを配置して
構成される少なくとも１つのモジュールを具備してお
り、各連想メモリユニットは、第１ユニットポートと第
２ユニットポートの信号群が示すパターン分布と、夫々
予め定められた重み値パターンとの一致度合いに応じ
て、第１ポートと第２ポートの個々の信号に対する重み
値を算出し、この重み値で第１ユニットポートと第２ユ
ニットポートの信号群の信号強度を変調し、これらを合
わせて第３ユニットポートから出力するようになされ、
且つ、前記少なくとも２つの連想メモリユニットの一方
の連想メモリユニットの第３ユニットポートが他方の連
想メモリユニットの第１ユニットポートに接続され、前
記他方の連想メモリユニットの第３ユニットポートが前
記一方の連想メモリユニットの第２ユニットポートに帰
還回路を介して接続されていることを特徴とするパター
ン認識装置。
【請求項２】前記モジュールは、少なくとも１つの連想
メモリユニット（50）を有する第１グループと、少なく
とも２つの連想メモリユニット（52,54）を有する第２
グループと、少なくとも１つの連想メモリユニット（5
6）を有する第３グループとから構成され、前記モジュ
ールの入力に第１グループが配置され、当該第１グルー
プの連想メモリユニット（50）の第１ユニットポートに
モジュール外部からの被参照パターン信号群が入力さ
れ、前記モジュールの出力に第３グループが配置され、
当該第３グループの連想メモリユニットの第２ユニット
ポートに参照パターン信号群が入力され、第１と第３グ
ループの間に第２グループの連想メモリユニットが階層
的に配置されており、前記連想メモリユニットの内の互いに隣接する各一対の
連想メモリユニット（50と52、52と54、54と56）におい
ては、前記モジュールの前記入力側の連想メモリユニッ
ト（50、52、54）の第３ユニットポート（７）の出力
は、前記モジュールの前記出力側の連想メモリユニット
（52、54、56）の第１のユニットポート（１）にそれぞ
れ結合され、一方、前記モジュールの前記出力側の連想
メモリユニット（52、54、56）の第３ユニットポート
（７）の出力は、前記モジュールの前記入力側の連想メ
モリユニット（50、52、54）の第２ユニットポート
（２）に帰還回路を介してそれぞれ結合されており、更に、前記連想メモリユニットの内の、前記モジュール
の前記入力側の少なくとも１つの連想メモリユニット
（50）の第３ユニットポート（７）の出力は、当該連想
メモリユニット（50）には直接隣接せず且つ当該連想メ
モリユニットよりは前記モジュールの前記出力に近い少
なくとも１つの連想メモリユニット（54）の第１ユニッ
トポート（１）または第２ユニットポートに結合されて
おり、同一グループ内の各連想メモリユニットの第１、第２ユ
ニットポートは夫々、互いに異なる他の連想メモリユニ
ットからの入力に対して個別にしたゲインを有すること
を特徴とする特許請求の範囲第（１）項記載のパターン
認識装置。
【請求項３】前記モジュールの前記出力側の連想メモリ
ユニットの第３ユニットポートの出力は、当該連想メモ
リユニットには直接隣接せず且つ当該連想メモリユニッ
トより前記モジュールの前記入力に近い少なくとも１つ
の連想メモリユニットの第１または第２ユニットポート
に結合されていることを特徴とする特許請求の範囲第
（２）項記載のパターン認識装置。
【請求項４】各連想メモリユニットは複数の単位セルに
より構成され、各単位セルは当該連想メモリユニットの
第１ないし第３ユニットポートに夫々対応する第１ない
し第３セルポートを有し、これらセルポートには各対応
するユニットポートの信号群の中から少なくとも１つの
信号が接続され、前記連想メモリユニット内の信号処理
を分担して実行することを特徴とする特許請求の範囲第
（１）項から第（３）項までのいずれか１項記載のパタ
ーン認識装置。
【請求項５】いずれかの連想メモリユニットの第３ユニ
ットポートの出力パターンが所定の状態に確定したこと
を検出し、当該連想メモリユニット、もしくは当該連想
メモリユニットより前記モジュールの前記入力にに近い
側の連想メモリユニット内部の単位セル群のうち、第３
セルポートの出力が所定の値に達している少なくとも１
つの単位セルの出力を所定の時間インヒビットするよう
になされていることを特徴とする特許請求の範囲第
（４）項記載のパターン認識装置。
【請求項６】単位セルがインヒビットされるに要する時
間は、連想メモリユニットごとに異なることを特徴とす
る特許請求の範囲第（５）項記載のパターン認識装置。
【請求項７】単位セルのインヒビットが持続する時間
は、連想メモリユニットごとに異なることを特徴とする
特許請求の範囲第（６）項記載のパターン認識装置。
【請求項８】単位セルの第３セルポートの出力は、所定
のレベルを越えたのち、時間的に、より急峻に立ち上が
って一定レベルに達し、前記インヒビット信号を与えら
れない限り、その状態を所定の時間保持することを特徴
とする特許請求の範囲第（５）項から第（７）項までの
いずれか１項記載のパターン認識装置。
【請求項９】少なくとも１つの連想メモリユニットで
は、前記予め定められた重み値パターンが、当該モジュ
ール外部の信号源と、第１ないし第３ユニットポートを
介した信号の交換によって得られるようになされている
ことを特徴とする特許請求の範囲第（１）項から第
（８）項までのいずれか１項記載のパターン認識装置。