JPH0634236B2 - 階層型情報処理方法 - Google Patents

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、それぞれ複数個の非線形素子を二次元的に配
置した情報処理層を複数層順次に配列して情報を処理す
る階層型情報処理方法に関し、特に、形状の歪みや位置
ずれの甚しい文字、図形あるいは拡大縮小を伴う文字、
図形のパターンを容易かつ正確に認識し得るのみなら
ず、パターンに含まれるノイズを除去し、あるいは、パ
ターンの欠損部分を補間する自己想起型の高度の連想記
憶機能を有するようにしたものである。

（従来の技術と問題点） 従来、不完全なパターンをもとに完全なパターンを構成
し、あるいは、認識するに必要な回路としては、種々の
自己想起型連想記憶回路が提唱されている。しかしこれ
らの連想記憶回路はいずれも、入力パターンが過去に学
習した標準のパターンのみならず、大きさ、形、位置ま
でも完全に一致している場合にだけしか満足に動作しな
かった。また、従来により、自己相関関数を用いる連想
記憶方式のように、入力パターンの位置ずれだけを許容
する方式もあったが、この方式においてもパターンの大
きさの変化や形の歪みに対しては全く無力であった。

かかる入力パターンの位置ずれ、形状の歪み、大きさの
違いなどに影響されずに、正しく認識する能力を有する
パターン認識方式“ネオコグニトロン”を、本出願人は
すでに特許第1221756号（特公昭58-53790号）“パター
ン認識方式”および特許第1279063号（特公昭60-712
号）“パターン認識装置”によって開示している。しか
し上述の方式および装置は上述した範囲のパターン認識
のみに関するものであって、ある一つの事象に関する不
完全な情報や曖昧な情報などからその事象に関する情報
を自己想起して出力する能力、すなわち、より高度のパ
ターン認識を達成するに必要な連想記憶能力はもってい
なかった。

一方、連想記憶能力を有する方式として、複数個の入力
パターンのなかから、すでに学習した標準のパターンに
似ているパターンを次々に順番に従って選び出したり、
不完全なパターンあるいはノイズにより不鮮明となった
入力パターンから完全なパターンを再生する能力を有す
る階層型情報処理回路を、本出願人は特開昭59-163679
号、“階層型情報処理回路”により開示している。しか
しこの階層型情報処理回路も、従来から各所で提案され
ている通常の連想記憶方式と同様に、入力パターンの位
置ずれや変形に対する処理能力は備えていなかった。

（問題点を解決するための手段） 本発明の目的は、前述の諸欠点を除去し、入力パターン
にかなりの変形や大きさの変化または位置ずれがあって
も前述のネオコグニトロンのようにそれらに影響され
ず、また従来にない高度の自己想起型の連想能力を示
し、さらにセグメンテーション機能をも有するパターン
認識を行ない得る能力を前述の階層型情報処理回路に付
与した新規な階層型情報処理方法に提供することにあ
る。

したがって、本発明階層型情報処理方法においては、上
述した階層型情報処理回路を主体として情報処理を行な
うにあたり、 パターン入力側の下位階層から認識出力側の上位階層に
向かう上向性信号経路と、それとは逆に上位階層から下
位階層に向かう下向性信号経路との両信号経路を備え、 下位階層に与えられた入力情報が、各階層で順次情報処
理されながら上向性信号経路を通って順次に上位階層に
伝えられていくのに逆行して、上位階層の出力が下向性
信号経路を通って下位階層にフィードバックされるよう
にし、 上位階層が反応出力を出すと、上位階層から下位階層に
向かう下向性信号の働きによって、上位階層のその反応
出力を惹き起こすのに役立つ上向性信号経路およびその
経路が有する情報処理過程に対しては促通作用が働き、
それ以外の上向性信号経路およびその経路が有する情報
処理過程に対しては減衰作用が働くようにして、 入力側の下位階層に与えられた複数個のパターンのなか
の特定のパターンに関する情報だけを選択的に取り入れ
ることによって、パターンのセグメンテーション、すな
わち、特定のパターンの成分を他の部分と区別して切り
出していくことの能力をもたせ、 あるいは、入力パターンに含まれるノイズを除去した
り、入力パターンの欠損部分を補間したりして、不完全
なパターンから完全なパターンを連想的に再生し得るよ
うにする。

すなわち、本発明階層型情報処理方法は、情報信号の特
定の特徴に応じて出力が得られる２次元的に配置された
複数個の特徴抽出素子の層と、情報信号の同一特徴にそ
れぞれ応じた複数個の前記特徴抽出素子からの出力に応
じて出力が得られる２次元的に配置された複数個の特徴
統合素子の層とを有する複数の階層間に、それぞれ情報
信号を伝達する複数本ずつの上向性信号経路を備えて、
複数の前記階層に亘り順次に入力情報を処理するにあた
り、下位階層から上位階層に向かう複数本ずつの前記上
向性信号経路とそれぞれ対にして上位階層から下位階層
に向かう複数本ずつの下向性信号経路を各階層間に設
け、前記上向性信号経路の最上位階層から応答出力が得
られたときに、その応答出力に対応する信号を伝達した
特定の前記上向性信号経路と対をなす前記下向性信号経
路に下向性信号を流し、その下向性信号に応じて各前記
上向性信号経路における情報信号の伝達をそれぞれ制御
することにより、前記下向性信号に応じた制御による前
記上位階層からの前記応答出力の励起に対し、役に立つ
前記上向性信号経路には促通作用が働き、役に立たない
前記上向性信号経路には減衰作用が働くようにしたこと
を特徴とするものである。

（実施例） 一般に、二つ以上のパターンが組み合わさった複合パタ
ーンを呈示されたときに、われわれ人間はそれらのパタ
ーンの一つずつに順番に注意を向けながら観測し、個々
のパターンが何であるかを認識するとともに、前述した
パターンのセグメンテーションを行なうことができる。
また、それと同時に、注意を向けた方のパターンに欠損
部があったりノイズが加わっていても、その欠損部を補
間し、あるいは、ノイズを除去して完全なパターンを連
想することができる。その際、呈示された図形は、必ず
しもわれわれ人間が過去に学習したことのある標準のパ
ターンに対して形や大きさが完全に一致している必要は
ない。形が多少歪んでいても、大きさが変わっていて
も、その変形したパターンそのものに対して直接に欠損
部を補間し、あるいは、ノイズを除去することができ、
しかもこのような補間を行なう際に、注意を向けたパタ
ーンの欠損部に残されているわずかな痕跡まで有効に利
用してもとのパターンを完成させる能力も有している。
人間が有するこのような機能を実現する神経回路モデル
に基づく情報処理方法を提案したのが本発明情報処理方
法である。

以下に添付図面を参照し、本発明の実施例を詳細に説明
する。

ここには、回路素子を層状に並べた多層回路による実施
例を示すが、具体的に実現する場合には、これと同じア
ルゴリズムを実行しさえすればよいのであるから、実施
例としては、ここに示す多層回路の構成に限定する必要
は全くない。

パターン認識装置に使用する神経回路モデルは、回路素
子を層状に並べた素子層を複数段組み合わせて構成され
ているが、第１図に示すその階層的構成のブロック線図
には、４段構成の場合を例にとって示してある。図中の
○印は回路素子を示す。実際にはこれらの回路素子はい
ずれも各段に複数個ずつ存在するが、第１図には、同種
の回路素子は各１個ずつしか示していない。また、これ
らの回路素子間には、図中の１本線あるいは２本線で示
すような結合が存在する。１本線は互いに対応する異種
回路素子間に１対１の関係の結合が存在することを示
し、２本線は異種回路素子間に収束あるいは発散する複
数対複数の結合が存在することを示している。

さて、上向性信号は、“ネオコグニトロン”（特許第12
21756号および特許第1279063号明細書記載）と全く同様
の構成によって処理されていく。

すなわち、特徴抽出素子u_s（u_s1，u_s2，u_s3など、以下
同様）は、抑制性素子u_svと組み合わさってパターンの
特徴を抽出する。すなわち、入力層のある特定の場所
に、ある特定の特徴があるときにだけ出力を出す。一
方、特徴統合素子u_cは、同一特徴を抽出するが、その抽
出場所の異なる複数個の特徴抽出素子u_sの出力を受けて
いるので、入力層上で特徴の呈示位置が多少変化して
も、特徴統合素子u_c自身は出力を出し続ける。これらの
素子間の空間的な結合関係を第２図に示す。このように
して、上向性信号は、多層回路の各段で特徴の抽出と統
合を繰り返しながら、局所的な特徴を次第に大局的な特
徴に組み上げていき、最終段の特徴統合素子u_cは、入力
層全体の特徴、すなわち、入力パターンそのものを全体
的に観測し、そのパターンが何であるかを認識すること
になる。

すなわち、最終段では、入力パターンのカテゴリーに応
じて、そのカテゴリーに対応する特徴統合素子u_c１個だ
けが出力を出す。この特徴の抽出と統合との過程で特徴
相互間の位置ずれを少しずつ許容していくので、最終段
では、入力層に与えられたパターンの位置ずれのみなら
ず、形の歪みに対しても影響を受けないパターン認識が
可能になる。以上に説明した上向性信号の処理に関して
は、特許第1221756号および特許第1279063号明細書に述
べたネオコグニトロンと同じ構成を用いることができ
る。

さて、これに対して、下向性信号は、上述の特徴抽出素
子u_sや特徴統合素子u_cと対になる特徴指示素子w_sや統合
特徴指示素子w_cを経由して下位層に伝えられていく、こ
のとき、下向性信号は、上向性信号と全く逆の経路を伝
わって下向していくようになっている。

このためには、特徴指示素子w_sから下向する信号は、そ
の特徴抽出素子u_sに向かって上向してくる信号と全く逆
の経路を辿るように素子間の結合係数を調整しておけば
よい。特徴指示用抑制素子w_svは、上向性信号に対する
抑制性素子u_svに対応する補助的な素子である。この部
分の構成は、特開昭59-163679号明細書に述べた階層型
情報処理回路とほぼ同じものを用いることができる。

しかし、統合特徴指示素子w_cから下向して前段の特徴指
示素子w_cに向かう信号の経路は、その下向性信号のみに
よって単独に決定することはできない。その理由は、統
合特徴指示素子w_cと対をなす特徴統合素子u_cでは、その
入力側にある複数個の特徴抽出素子u_sのうちのいずれか
１個でも出力を出せば特徴統合素子u_cも出力を出すよう
になっているからである。そこで、この統合特徴指示素
子w_cから発散的に送出される下向性信号は複数個の特徴
指示素子w_sに送られるが、これらの特徴指示素子w_sは対
応する特徴抽出素子u_sからもゲート的に働く信号を受け
取っており、特徴抽出素子u_sと統合特徴指示素子w_cの両
者から信号が来たときにだけ出力を出すようにしてお
く。このような構成にすることによって、統合特徴指示
素子w_cから特徴指示素子w_sへの下向性信号においても、
それと対をなす上向性信号すなわち特徴抽出素子u_sから
の特徴統合素子u_cに至る信号の流れと同じ経路を辿って
下向性信号を流すことが可能となる。

一方、下向性信号も単に上向性信号の影響を受けるだけ
ではなく、下向性信号から上向性信号に及ぼす影響も存
在する。すなわち、最上段の１個の特徴統合素子u_cが出
力を出すということは、その特徴統合素子u_cに対するカ
テゴリーのパターンがこの回路によって認識されたこと
を意味する。このとき、最上段の特徴統合素子u_cから下
向性に伝えられる信号は、その際に認識されたパターン
の認識に直接に関係する素子だけに送られることにな
る。ところで、もし、下位入力段に与えられる入力パタ
ーンが複数個のパターンを含む複合パターンであった場
合、上向性信号経路の中間段においては、必ずしも最終
段で認識されたパターンの特徴に対応する素子だけでは
なく、それ以外のパターンに含まれる特徴に対応する素
子も出力を出しているはずである。これらの出力のうち
で、最終的に認識されたパターンに含まれる特徴に対応
する素子の出力だけを残し、それ以外の素子の出力を消
すために、特徴統合素子u_cには、生物における“慣れ”
と全く同様の作用効果をもたせて、入出力間の利得が時
間とともに次第に減衰していくようにしてある。しか
し、それと同時に、対応する統合特徴指示素子w_cから
は、この減衰を強制的に回復させる信号を送り込むよう
にしてある。その結果、下向性信号が流れている経路に
ある特徴統合素子u_cに対しては促通作用が働いて、利得
の低下は生じないことになる。

統合特徴指示素子w_cの出力はこのように対応する上向性
の特徴統合素子u_cに促通作用をもたらすのみならず、特
徴抽出素子u_sに対しても信号を送っている。すなわち、
ある統合特徴指示素子w_cが出力を出しているにも拘ら
ず、それに対応する特徴統合素子u_cが出力を出していな
かったということは、上向性情報処理に際して、その特
徴統合素子u_cが受け持つはずの特徴を抽出しそこなった
ことを意味する。このような場合、すなわち統合特徴指
示素子w_cが出力を出しているにも拘らず、対をなす特徴
統合素子u_cが出力を出していない場合には、そのことを
閾値制御素子w_cxが検出する。その検出の結果、閾値制
御素子w_cxが出力を出すと、その出力信号は、特徴抽出
素子u_sに加わっている抑制性信号、すなわち、負極性の
信号の働き方を弱める作用をし、その結果、特徴抽出素
子u_sの特徴抽出における選択性が弱まることになる。つ
まり、閾値制御素子w_cxから信号を受けた特徴抽出素子u
_sは、その特徴抽出素子u_sが本来抽出するはずの特徴が
多少不完全であっても、それに応答するようになる。さ
らに換言すれば、われわれ人間がかすれた文字をみたと
き、そのかすれの部分に残されているわずかな痕跡を頼
りに、その箇所に存在するはずのパターン成分を抽出す
るのと同じような働きを特徴抽出素子u_sにさせることに
なる。

このようにして痕跡程度にでも残っている特徴が特徴抽
出素子u_sによって抽出されると、下向性信号は、その特
徴抽出素子u_sに対応する特徴指示素子w_sを介してさらに
下位段に伝えられていくことになる。

以上のような操作を繰返して、初段の統合特徴指示素子
w_cの層には、最終段の特徴統合素子u_cの反応によって認
識されたパターンに対応する成分だけが現われることに
なる。しかも、その際に、下向性信号は対応する上向性
信号と同じ経路を辿って下位層に伝えられることになる
ので、たとえ入力されたパターンが過去に学習した標準
パターンに比して変形していたとしても、認識されたパ
ターンに対応する信号成分だけが変形した入力パターン
そのままの形で統合特徴指示素子w_coの層に現われるこ
とになる。また、この変形した入力パターンに欠損部が
あっても、欠損部に対してはその変形に対応した不自然
さのない内挿が行なわれ、欠損部のない変形パターンが
統合特徴指示素子w_coの層に現われることになる。

なお、第１図の右端に記してある最大値検出回路MAXか
ら送り出される信号Ｘは、最終段のどの特徴統合素子u_c
も出力を出していないときにのみ出力され、すべての特
徴抽出素子u_sに加えられる。この信号Ｘは、前述の閾値
制御素子w_cxの出力と同様に、特徴抽出素子u_sの反応の
選択性を低下させ、たとえ不完全でも特徴があればその
特徴を抽出するように働く。その結果、入力として加え
られた複数個のパターンのうちいずれか１個がまず検出
されることになる。

このようにして、複数個のパターンの中から特定の１個
のパターンに対応する部分だけが切り離されて初段の統
合特徴指示素子w_coの層に現われ、その切り離されたパ
ターンのカテゴリーは、最終段の特徴統合素子u_cの層の
うちどの素子が出力を出したかによって判断、すなわ
ち、認識することができる。つまり、パターン認識にお
けるセグメンテーションが行なわれることになる。ま
た、初段の統合特徴指示素子w_coの層の出力を連想記憶
における自己想起型の連想出力であると考えれば、入力
パターンの変形や位置ずれに影響されない連想記憶回路
を実現し得ることになる。

さて、複数個の入力パターンの中にある１個のパターン
が認識された後に、別のパターンの認識に移るために
は、それまで働いていた下向性信号の流れを一瞬止めれ
ばよい。特徴統合素子u_cは、対応する統合特徴指示素子
w_cからの促通信号が切られたときに、それまでに“慣
れ”の効果によって利得の下がっていた場合には利得が
回復し、促通信号によって強制的に利得を増大させられ
ていた場合には、それまでの強制的な利得増大の程度に
応じて、疲労と全く同様の形で利得が低下するようにし
てある。このようにすると、下向性信号の瞬断の後に
は、それまで認識されていたパターン成分は上向性信号
経路を通りにくくなっているので、最初とは異なる別の
パターンが認識されることになる。

したがって、前述のようなパターン認識、セグメンテー
ション、連想などの操作を、入力として与えられた複数
個のパターンに対して一つずつ順番に進めていくことが
可能になる。

なお、第１図および第２図に示した可変結合の値は、上
向性結合については特許第1279063号明細書に示すよう
な手法の自己学習によって変化させ、下向性結合につい
ては、特開昭59-163679号明細書記載に類似した手法に
よって、対応する上向性結合と連動して変化させればよ
い。

なお、第１図における各素子間の接続、結合の作用を表
わす結線記号については、以下にまとめて説明する。

（発明の効果） パターン認識におけるセグメンテーションは、特に、手
書き文字のように変形のある入力パターンに対して行な
うことが極めて困難であり、従来は、原稿用紙にあらか
じめ印刷されているマス目などを頼りにセグメンテーシ
ョンを行なっていた。しかして、本発明方法によれば、
変形の可能性のあるパターンに対しても、その変形に影
響されることなく正しくセグメンテーションを行なうこ
とができる。

一方、連想記憶装置としては、従来の方式によっては、
入力パターンに位置ずれ、変形、拡大縮小などがある場
合にも満足に動作する装置を作ることができなかった
が、本発明方法によれば、位置ずれ、変形、拡大縮小な
どに影響されずに正しく動作する連想記憶装置を製作す
ることが可能となる。

これは、本発明階層型情報処理方法において使用する情
報処理回路に、従来の上向性信号経路の他に下向性信号
経路を新たに設けたこと、および、上向性信号と下向性
信号との相互間に互いに対応する信号の流れは促通さ
せ、対応しない信号の流れは減衰させるような作用をも
たせることによって可能にしたものである。

以上のように、本発明階層型情報処理方法によれば、複
数個の入力パターンの中から特定の１個のパターンに対
応する部分だけが切り離されてセグメンテーションが行
なわれ、また、入力パターンの欠損部分を補間する自己
想起型連想記憶が行なわれるなど、従来にない極めて高
度の機能を具備したパターン認識装置を実現することが
できる。なお、この場合においても特許第1221756号お
よび特許第1279063号明細書に記載のネオコグニトロン
と同様に、入力パターンの形状歪み、位置ずれ、拡大縮
小に影響されることなく正しいパターン認識を行なうこ
とができるなどの機能が維持されていること勿論であ
る。

【図面の簡単な説明】

第１図は本発明方法による階層型情報処理回路に使用す
る神経回路モデルの階層的構成の例を示すブロック線
図、 第２図は第１図示の階層的構造の一部における回路素子
間の空間的な結合関係を示すブロック線図である。 Ｕ……素子層、u_s……特徴抽出素子 u_c……特徴統合素子、u_sv……u_sと対の抑制性素子 w_s……特徴指示素子、w_c……統合特徴指示素子 w_sv……w_sと対の特徴指示用抑制素子 w_cx……閾値制御素子、MAX……最大値検出回路

Claims (2)

【特許請求の範囲】
1. 【請求項１】情報信号の特定の特徴に応じて出力が得ら
   れる２次元的に配置された複数個の特徴抽出素子の層
   と、情報信号の同一特徴にそれぞれ応じた複数個の前記
   特徴抽出素子からの出力に応じて出力が得られる２次元
   的に配置された複数個の特徴統合素子の層とを有する複
   数の階層間に、それぞれ情報信号を伝達する複数本ずつ
   の上向性信号経路を備えて、複数の前記階層に亘り順次
   に入力情報を処理するにあたり、 下位階層から上位階層に向かう複数本ずつの前記上向性
   信号経路とそれぞれ対にして上位階層から下位階層に向
   かう複数本ずつの下向性信号経路を各階層間に設け、前
   記上向性信号経路の最上位階層から応答出力が得られた
   ときに、その応答出力に対応する信号を伝達した特定の
   前記上向性信号経路と対をなす前記下向性信号経路に下
   向性信号を流し、その下向性信号に応じて各前記上向性
   信号経路における情報信号の伝達をそれぞれ制御するこ
   とにより、前記下向性信号に応じた制御による前記上位
   階層からの前記応答出力の励起に対し、役に立つ前記上
   向性信号経路には促通作用が働き、役に立たない前記上
   向性信号経路には減衰作用が働くようにしたことを特徴
   とする階層型情報処理方法。
2. 【請求項２】前記上向性信号経路の前記特徴抽出素子お
   よび前記特徴統合素子の利得およびそれらの素子に加わ
   る抑制の強さのいずれかを前記下向性信号に応じてそれ
   ぞれ制御することにより、前記促通作用および前記減衰
   作用がそれぞれ行われるようにしたことを特徴とする特
   許請求の範囲第１項記載の階層型情報処理方法。