JPH06161983A - パターンマッチング方式 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】 ２値ニューラルネットワークを利用して、入
出力等においてアナログ値を取扱い可能とする。 【構成】 ０，１のいずれかで表される複数の入力信号
を入力し、発火・非発火のいずれかを取り得る出力信号
を出力する複数のニューロン、及び複数の入力端子と複
数のニューロンのそれぞれとの間に結合係数が０又は１
であるシナップス結合を有するニューラルネットワーク
101 において、ニューロンの発火の組合せによって出力
結果を表す。ニューロンにおける発火のためのしきい値
がすべてのニューロンについて共通であり、かつ発火す
るニューロンの数が一定になるようにしきい値を制御す
る。また、複数の入力信号で設定される値のすべてを組
合せてコードを生成し、このコードで１個の特徴を表
し、複数の特徴を含む入力情報に対し、コード同士の複
合演算によって新たなコードを生成し、生成された新た
なコードによって入力情報を表す。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はパターンマッチング方式
に関し、特に、２値ニューラルネットワークを利用して
構成され入力情報と出力の関係を対応づけるパターンマ
ッチング装置においてアナログ値を取り扱うことを可能
にしたパターンマッチング方式に関するものである。

【０００２】

【従来の技術】ニューラルネットワークを利用して入力
情報と出力の関係を対応づけるパターンマッチング方式
としては、従来、複数のニューロンモデル素子（以下ニ
ューロンという）を階層状に接続してなる階層型ニュー
ラルネットワークを利用して構成される方式が提案され
ている。この階層型ニューラルネットワークは、少なく
とも１層以上の中間層を含む３層以上の構造のものでな
ければ、実用的なパターンマッチングを行うことができ
ないと言われている。

【０００３】図１９は代表的な３層ニューラルネットワ
ークの構成を示す。図２０は、ニューラルネットワーク
を構成する一つのニューロン９０１のモデルを示すもの
で、ｎ個の入力信号Ｘ₁ 〜Ｘ_n のそれぞれに対してシナ
ップス結合係数Ｗ₁ 〜Ｗ_n を乗じ、その総和を取り、こ
れに固有のしきい値ｈを加え、さらにこれを非線形関数
に通すことにより、出力信号Ｙを得ている。これを式で
表現すると、次式のようになる。

【数１】Ｙ＝ｆ（ΣＷｉ・Ｘｉ＋ｈ） ここで非線形関数としては、一般に次式に示すシグモイ
ド関数が用いられている。

【数２】ｆ（ｘ）＝１／｛１＋exp （−ｘ）｝

【０００４】図１９に示すように、ｎ個の入力信号Ｘ₁
〜Ｘ_n が与えられると、各ニューロン９０１は前述した
積和演算および非線形演算処理を行い、これによってｍ
個の出力信号Ｏ₁ 〜Ｏ_m が得られる。ここで、各ニュー
ロン９０１の持つシナップス結合係数の値は、ルーメル
ハートらが提案したバックプロパゲーション法によって
決定される。

【０００５】ところで、前述したようなニューラルネッ
トワークを用いてパターンマッチング方式を実現してパ
ターンマッチングを行う場合、多くの数値演算を行わな
ければならず、処理に時間がかかりすぎる。そのため、
実際にはハードウェア化して処理速度の向上をはからな
ければならない。ハードウェアを用いたニューラルネッ
トワークについては、大別してデジタル回路を用いた方
式とアナログ回路を用いた方式がある。デジタル回路を
用いた方式の例としては、電子情報通信学会技術研究報
告ＩＣＤー８９ー１５１、同じくＩＣＤ８９ー１４４に
提案された方式、１９９０年に米国アダプティブソリュ
ーションズ社(Adaptive Solutions Inc.) が発表した方
式 (A VLSI Architecture for High-Performance,Low-C
ost, On-chip Learning : Proceeding of the Interna
tional Joint Conference on Neural Networks,IEEE,Ju
ly,1990)などが挙げられる。また、アナログ回路を用い
た方式の例としては、特開平２ー２２４１９０号、特開
平１ー２３７７５４号、特開平２ー２２６４９２号など
に示されるように、半導体素子の連続特性を利用してニ
ューロン素子を構成するものや、光や磁気を用いてニュ
ーロン間の結合を行うものなど多くの方式が提案されて
いる。

【０００６】しかし、前述したデジタル回路を用いてニ
ューラルネットワークを構成する方式では、デジタル乗
算器等を含む多数の演算回路によって構成されるため、
回路規模が非常に大きくなるという問題がある。またア
ナログ回路を用いてニューラルネットワークを構成する
方式では、シナップス結合に相当する素子の特性を均一
にすることが困難なため、それぞれの特性に合わせた学
習を必要とするという問題がある。

【０００７】また、図２１はハードウェア化を簡単にす
るため、シナップス結合係数や入出力の取り得る値をす
べて０または１の２値のみに限定し、学習を容易にする
ために中間層を持たないニューラルネットワークの一例
を示したものである。図２２はそれを構成するニューロ
ン９０２のモデルを示したものであり、図中に記載され
たＥはニューロンの興奮度を表し、Ｅの値がしきい値θ
以上となったときに発火（出力が１となる）するように
なっている。図２１に示したニューラルネットワークを
用いて実現されるパターンマッチング方式において、従
来方式としてはＮ個の０または１で表される入力パター
ン（ｘ₁ ，…，ｘ_N ）に対してＬ個の出力Ｏ₁ 〜Ｏ_L の
うちいずれか１個を発火させて結果を得るようにしてい
た。

【０００８】

【発明が解決しようとする課題】しかし、シナップス結
合係数や入出力がすべて０または１の２値のみであり、
かつ中間層を持たないニューラルネットワークを用いて
実現される従来のパターンマッチング方式では問題が存
在する。すなわち、得られる結果がＮ個のうちのいずれ
かであり、結果の大小などアナログ的な値を表現するこ
とができない。また入力情報についても、０と１のみで
表現され、単純な入力情報しか扱えない。さらに中間層
を持たないので、アナログ的な学習を行うことができな
い。これらの問題が存在したため、従来では、きわめて
単純なパターンマッチングしか行うことができなかっ
た。

【０００９】本発明の目的は、前述した従来の問題点に
鑑み、たとえシナップス結合係数や入出力がすべて０ま
たは１の２値であってかつ中間層を持たないニューラル
ネットワークを利用しても、入出力等においてアナログ
的な値を取り扱えるパターンマッチング方式を提供する
ことにある。

【００１０】

【課題を解決するための手段】本発明に係るパターンマ
ッチング方式は、０または１の２値のいずれかで表され
る複数の入力信号を入力しかつ発火または非発火の２状
態のいずれかを取り得る出力信号を出力する複数のニュ
ーロンと、複数の入力信号のそれぞれに対応する複数の
入力端子と複数のニューロンのそれぞれとの間に結合係
数が０または１であるシナップス結合とを有するニュー
ラルネットワークを利用して実現されるものであり、ニ
ューロンの発火状態の組合せによって出力結果を表すこ
とに特徴点がある。前記のパターンマッチング方式にお
いて、好ましくは、複数のニューロンのそれぞれにおけ
る発火のためのしきい値がすべてのニューロンについて
共通であり、かつ発火するニューロンの数が一定になる
ようにしきい値を制御する。また本発明に係るパターン
マッチング方式は、複数の入力信号のそれぞれで設定さ
れる値のすべてを組合せてコードを生成し、このコード
によって１個の特徴を表すこととし、複数個の前記特徴
を含む入力情報に対して、それぞれの特徴を表すコード
同士の論理積演算または論理和演算または論理積演算と
論理和演算の複合演算によって新たなコードを生成し、
生成された新たなコードによって入力情報を表すように
したことに特徴点がある。また、好ましくは、入力情報
を表す新たなコードにおいて、１となる入力信号の数が
一定値以下になるように１を０に変更する。また、好ま
しくは、１個の特徴、入力情報、ニューロンの発火の組
合せのいずれかを表す任意のコードに対して、それとの
類似度が任意な他のコードを生成する。さらには、１個
の特徴、入力情報、ニューロンの発火の組合せのいずれ
かを表す任意のコードを初期コードとして、前回生成し
たコードと類似度が一定な他のコードを順次生成するよ
うにした。さらに、好ましくは、任意の入力パターンお
よび任意の出力パターンに対して、その入力、出力が共
に１となっている部分のシナップス結合係数を一定の割
合で０から１または１から０に変更するようにした。

【００１１】

【作用】本発明のパターンマッチング方式では、ニュー
ロンの発火の組合せによって出力結果を表し、発火した
ニューロンの組合せがどの結果に一番近いかという方法
で結果を判定することができる。また各ニューロンのし
きい値が共通で、かつ発火するニューロンの数が一定に
なる構成に基づき、発火したニューロンの組合せと、複
数個の結果を表す発火の組合せとの比較を確実に行う。
また本発明のパターンマッチング方式では、すべての入
力に設定する値の組合せ（コード）によって１個の特徴
を表し、かつ複数個の特徴を含む入力情報に対しては、
それぞれの特徴を表すコード同士の論理積演算、または
論理和演算、または論理積演算と論理和演算との複合演
算によって生成されるコードによってその入力情報を表
し、これによって複数次元の入力情報を扱う。入力情報
を表すコードにおいて、１となる入力の数が一定値以下
になるようにすることにより、特徴の多い入力情報も特
徴の少ない入力情報も“１”の数が同じコードで表すこ
とができる。また、１個の特徴、または入力情報、また
はニューロンの発火の組合せを表すコードに基づき、そ
れと適度に類似した他のコードを生成し、これによって
特徴や入力情報あるいは出力結果の相関性を表すように
した。さらに、前回生成したコードと類似度が一定な他
のコードを順次生成することにより、作成した複数個の
コードのうち、任意の２個を比較したとき、それらの生
成した順番が近いほど類似度を高く、順番が遠いほど類
似度を低くすることができる。入力、出力共に１となっ
ている部分のシナップス結合係数を、一定の割合で０か
ら１または１から０に変更することで、それによって学
習を行う。

【００１２】

【実施例】以下に、本発明の実施例を添付図面に基づい
て説明する。図１は、本発明のパターンマッチング方式
の第１実施例を説明するための回路図である。図１にお
いて、１０１は例えば図２１に示したものと同様な階層
型ニューラルネットワーク、１０２は出力結果を表す発
火のパターン（出力コード）を登録した出力コードテー
ブル、１０３は発火するニューロンの数が一定値になる
ようにしきい値θを制御するしきい値制御部、１０４は
ニューラルネットワーク１０１の発火のパターンが出力
コードテーブル１０２に登録された出力コードのうちど
れに最も近いかを選択し、またはそれぞれの出力コード
との類似度を求めるコード比較部、１０５は複数個の特
徴について各特徴を表すコード（特徴コード）を登録し
た特徴コードテーブル、１０６は複数個の特徴を含む入
力に対して、各特徴コード同士の論理和演算を行い、入
力コードを生成する入力コード生成部、１０７は入力コ
ード生成部１０６で生成された入力コードのうち“１”
となる数が一定値以下になるように“１”をランダムに
間引きするコード正規化部、１０８は、コード正規化部
１０７で正規化された入力コードに対して、目標とする
出力コードと同じパターンが得られるようにシナップス
結合係数を変更するシナップス結合係数制御部、１０９
は、出力コードや特徴コードの生成、入力コードの正規
化、シナップス結合係数の変更などに使用する２進の乱
数を発生する乱数発生部、１１０はパターンマッチング
装置全体を制御するための制御部である。制御部１１０
はＣＰＵ、ＲＯＭ、ＲＡＭを含んで構成される。また乱
数発生部１０９は、１と０との比率を適当に設定するこ
とができるようになっている。なお階層型ニューラルネ
ットワーク１０１の代わりに相互結合型ニューラルネッ
トワークを用いることもできる。

【００１３】図２のフローチャートを参照して、上記構
成を有するパターンマッチング回路の動作を説明する。
図２は、図１に示した構成が、いかにパターンマッチン
グ機能を実行するかということについて全体的処理の流
れの一例を示したもので、初期値の設定（Ｓ１）、コー
ドの生成すなわちコーディング（Ｓ２）、学習のための
準備（Ｓ３）、学習（Ｓ４）、実行（Ｓ５）の順に行わ
れる。

【００１４】「初期値の設定」のステップＳ１では、ニ
ューラルネットワーク１０１の入力数Ｎおよび出力数Ｌ
と、出力コードの最大数Ｒと、特徴コードの最大数Ｕ
と、出力コードに含まれる“１”の数ｍと、特徴コード
に含まれる“１”の数ａと、入力コードを正規化する際
の“１”の数ｎを決定する。ここで、ｍの値は出力数Ｌ
に比べて十分小さい値を選定する。ｎの値も入力数Ｎに
比べて十分小さい値を選定する。また一般的に、１個の
入力情報には複数個の特徴が含まれるので、それらの論
理和をとって作られるコードの“１”の数がｎよりも小
さくならない程度にａの値を決めるのが望ましい。

【００１５】次に、「コードの生成」のステップＳ２で
は、Ｒ個の出力コードおよびＵ個の特徴コードを生成し
て、それぞれ出力コードテーブル１０２および特徴コー
ドテーブル１０５に登録する。出力コードと特徴コード
の生成では、それぞれ乱数を用いて、出力コードは約ｍ
個の“１”を含むＬビットの２進コードとして、また特
徴コードは約ａ個の“１”を含むＮビットの２進コード
として作成する。

【００１６】ここで、出力コードや特徴コードを作成す
るために、任意の割合で“１”を含んだ乱数を作成する
必要があるが、その乱数作成方法の一例を説明する。
“１”の割合を百分率で表すとして、まず０から９９ま
での乱数を、作成しようとするコードのビット数だけ発
生させる。作成しようとするコードの“１”の割合をＰ
％とする場合、乱数の値がＰ以上のものは“０”、Ｐ未
満のものは“１”として２進コードを作成すると、この
コードには、約Ｐ％の“１”が含まれることになる。

【００１７】次に、「学習のための準備」のステップＳ
３では、実際のパターンマッチング実行に先だって学習
を行うが、この学習の準備として、まず既に生成したＲ
個の出力コードに対して目標とする出力結果Ｏ₁ 〜Ｏ_R
を割り当て、Ｕ個の特徴コードに対して特徴入力ｆ₁ 〜
ｆ_U を割り当てて、次に、シナップス結合係数ｗ₁₁〜ｗ
_LNを初期化する。シナップス結合係数の初期化は、すべ
てのシナップス結合係数を“０”にしてもよいが、ごく
一部を“１”にし、残りを“０”にするようにしてもよ
い。次に、学習させたい入出力の関係を表す学習データ
を複数個準備しておく。

【００１８】その後に、「学習」のステップＳ４を行う
ことによって、パターンマッチング実行のステップＳ５
を行うことができるようになる。「学習」のステップＳ
４、「実行」のステップＳ５の詳細なアルゴリズムは、
それぞれ、図３および図４を参照して説明する。

【００１９】図３は、図１に示した構成でパターンマッ
チングを行うための学習のアルゴリズムを示したもので
ある。全体的には、あらかじめ準備した複数個の学習デ
ータから順番に一個づつ取ってきて正しい結果が出るか
どうかを調べ、正しい結果が出ない場合にはニューラル
ネットワーク１０１の学習を行い、すべての学習データ
について正しい結果が出るようになるまで行う。一個の
学習データについての処理としては、まず一個の学習デ
ータに含まれる複数個の特徴コードを特徴コードテーブ
ル１０５から取り出し（ステップ４０１）、入力コード
生成部１０６にて各々の特徴コードの論理和を取ったコ
ード（ｘ₁ ，…，ｘ_N ）を生成する（ステップ４０
２）。次にコード正規化部１０７では、このコードに含
まれる“１”の数が約ｎ個になるように、乱数発生部１
０９により発生した乱数を用いてランダムに“１”を
“０”に変更する（ステップ４０３）。次に、ニューラ
ルネットワーク１０１では、コード正規化部１０７で正
規化したコードの入力ｘ_i と、既に設定されているシナ
ップス結合係数ｗ_jiとにより得られる各ニューロンの興
奮度が、しきい値θ以上の場合に“１”となり、θ未満
の場合に“０”となるコードを出力する（ステップ４０
４）。その際、θの値は最初Ｎにセットされていて、出
力されるコードが含む“１”の数が約ｍ個になるまでθ
の値を１づつ下げてゆく（ステップ４０５〜４０８）。
しきい値θの調整は、しきい値制御部１０３によって行
われる。次に、ニューラルネットワーク１０１から出力
されたコードが出力コードテーブル１０２の中のどの出
力コードに最も近いかを、コード比較部１０４によって
選択する（ステップ４０９，４１０）。選択した結果が
正解と異なる場合には（ステップ４１１）、次に説明す
るステップに従って、ニューラルネットワーク１０１で
学習が行われる。

【００２０】まず間違えて選択した出力コード（ｄ₁ ，
…，ｄ_L ）を取出し（ステップ４１２）、この出力コー
ドに対してｘ_i ＝１，ｄ_j ＝１となっているシナップス
結合ｗ_jiを一定の割合でランダムに０にセットする（ス
テップ４１３）。次に、正解の出力コード（ｑ₁ ，…，
ｑ_L ）を取出し、この出力コードに対してｘ_i ＝１，ｑ
_j ＝１となっているシナップス結合ｗ_jiを一定の割合で
ランダムに１にセットする（ステップ４１５）。次に学
習した回数を表す変数ｔを１だけ増し（ステップ４１
６）、再びニューラルネットワーク１０１の入力に（ｘ
₁ ，…，ｘ_N ）をセットして、上記の各ステップを繰り
返す。こうして、得られた出力が正解となるまでシナッ
プス結合ｗ_jiの更新を行う。ここでシナップス結合係数
を０または１にセットする割合を調節することは、従来
のバックプロパゲーション法でシナップス結合係数を変
化させる程度によって学習の速度を調節していたことに
相当する。

【００２１】ステップ４１１で結果が正解と判断された
場合には、ステップ４０１で取出した一組の学習データ
についての学習が終了したことになる。この学習データ
があらかじめ準備した学習データのうち最後のものであ
れば、ステップ４１８を実行し、そうでなければステッ
プ４０１に戻り、別の学習データの処理を行う。またあ
らかじめ準備した学習データのすべてについて学習を行
うことなく正解が得られた場合（ｔ＝０）の場合には終
了し、それ以外の場合には、アルゴリズムの最初に戻
り、前述の処理を繰り返す（ステップ４１８）。

【００２２】図４は、図３のアルゴリズムによって学習
した後、任意の入力情報に対してそれに対応する出力結
果を求めるためのアルゴリズムを示したものである。図
４に示したアルゴロズムは、図３のアルゴリズムにおけ
るの学習部分の処理ステップ群を除いたものと同じであ
る。そこで、図４の各ステップについて、図３で説明し
たステップと同一のものには同一の符号を付し、その説
明を省略する。ここで得られた結果が適当でない場合に
は、図３の学習部分に相当する処理ステップ群を一時的
に行ってもよいし、適当な結果を対応させて、図３の処
理を行うための学習データとして保存するようにしても
よい。

【００２３】図１に示した実施例では、ニューラルネッ
トワーク１０１から出力されたコードと出力コードテー
ブル１０２の中に登録された出力コードとの比較によっ
て結果を選択するようにしているが、この部分を他のニ
ューラルネットワークによって行うようにしてもよい。
一例としては、ニューラルネットワーク１０１の出力数
Ｌ個と同数の入力を共通に持つニューロンを、登録する
出力コードの数だけ設けて、各出力コードをそのまま各
ニューロンのＬ個のシナップス結合値として固定する。
このような例では、しきい値制御部１０３と同様なしき
い値制御部を設けて、１個のニューロンのみが発火する
ようにしきい値を制御すれば、登録された出力コードの
うち最も近いコードを表すニューロンのみが発火するよ
うに構成できる。

【００２４】図３および図４に示したアルゴリズムを実
行するための図１に示したパターンマッチング回路の各
部の具体的な構成例とその動作について以下に説明す
る。

【００２５】入力コード生成部１０６および特徴コード
テーブル１０５の構成例を図９に示す。図においてｆ₁
〜ｆ_U の各特徴入力端子にはそれぞれの特徴の有無を、
信号の有無として加える。制御部１１０では各特徴の有
無を順番にスイッチ１０６ａを切り替えて検出するが、
まず初めに制御部１１０からリセット信号としてパルス
を出力し、コード出力端子１０６ｂをすべて“０”にす
る。次に、スイッチ１０６ａをｆ₁ ，…，ｆ_U と順番に
切り替えて信号の有無を検出する。ここで特徴信号があ
る場合には、まず、その特徴の番号を、制御部１１０か
ら特徴コードテーブル用ＲＯＭ１０５ａに出力して、そ
の番号の特徴を表すコードを出力する。その後、制御部
１１０からクロック信号としてパルスが出力されると、
特徴コードテーブル用ＲＯＭ１０５ａから与えたコード
と、その時コード出力端子から既に出力されているコー
ドとの論理和を取ったコードが新たに出力されるように
なる。このような操作をｆ₁ からｆ_U まで実行すること
により、最終的には、存在するすべての特徴コードの論
理和を取ったコードが出力される。

【００２６】次にコード正規化部１０７の構成例を図１
０に示す。図１０において、乱数発生部１０９は、制御
部１１０からの信号により“１”の割合が比較的少ない
Ｎビットの２進乱数コードを出力する。またコード出力
端子からの出力はすべて抵抗を介して電流加算増幅器１
０７ａに接続され、その出力電圧は、電圧比較器１０７
ｂで１の数設定電圧Ｖs と比較される。すなわち、Ｎビ
ットの出力コードのうち“１”の数がある値以上である
かどうかを制御部１１０が監視するようになっている。
また比較する“１”の数は電圧Ｖs に依存するので、こ
の電圧を、正規化したい数で比較できるようにあらかじ
め設定しておく。正規化しようとする前に、まずリセッ
ト信号を制御部１１０から出し、フリップフロップ１０
７ｃの出力をすべて”０”にしておく。次に、乱数発生
部１０９から“１”の割合が比較的少ないＮビットの２
進乱数コードを出力すると共に、制御部１１０からクロ
ック信号を出す。１回のクロック信号により、入力コー
ドのうち乱数発生部１０９の出力が“１”となっている
番号が、強制的に“０”にセットされたコードをコード
出力端子より出力する。この出力されたコードの“１”
の数が規定値以下になるまで、乱数とクロック信号を出
力することにより、“１”の数が規定値以下に間引きさ
れたコードを作成し、出力する。

【００２７】ニューラルネットワーク１０１を構成する
各ニューロンの回路例を図１１に示す。１つのニューロ
ン１０１ａは、Ｎ個のコード入力端子を有し、かつ各コ
ード入力端子のシナップス結合係数がシナップス結合設
定回路１０１ｄによって設定される。シナップス結合設
定回路１０１ｄには、シナップス結合系数制御部１０８
内の制御部１０８ａからシナップス結合制御信号が与え
られる。各コード入力端子の入力は、加算器１０１ｂで
加算され、加算器１０１ｂの出力電圧は、電圧比較器１
０１ｃでしきい値設定電圧Ｖθ と比較される。

【００２８】またしきい値制御部１０３の構成例を図１
２に示す。図１２に示すように、ニューラルネットワー
ク１０１の出力のうち“１”の数が、発火数設定電圧Ｖ
t によって規定される個数以下かどうかを電圧比較器１
０３ａと制御部１０３ｂで監視して、Ｄ／Ａコンバータ
１０３ｃから出力されるしきい値設定電圧Ｖθ を制御
する構成となっている。

【００２９】シナップス結合係数制御部１０８の構成例
を図１３に示す。シナップス結合係数制御部１０８は、
前述の制御部１０８ａを含み、この制御部１０８ａは、
正規化されたコード、学習または忘却しようとする出力
コード、乱数発生部１０９から発生する乱数の各ビット
の値を、それぞれスイッチ１０８ｂ，１０８ｃ，１０８
ｄで切り替えながら読み取り、それらの値に基いてシナ
ップス結合値を設定するように構成されている。制御部
１０８ａから、シナップス制御信号が出力される。

【００３０】コード比較部１０４および出力コードテー
ブル１０２の部分の構成例を図１４に示す。ニューラル
ネットワーク１０１の出力コードと出力コードテーブル
用ＲＯＭ１０２ａに登録された各出力コードとの論理積
を取ったコードの“１”の数の大小を電流加算増幅器１
０４ａの出力電圧値として求め、この値をＡ／Ｄコンバ
ータ１０４ｂを介して制御部１１０が読み取り、この値
の最も大きいコード番号を出力するように構成される。

【００３１】図５は、本発明のパターンマッチング方式
を実施するパターンマッチング回路の第２実施例を示
す。図５において、図１で示した要素と実質的に同一の
要素には同一の符号を付している。

【００３２】図５の構成を説明する。１０１は階層型ニ
ューラルネットワーク、１０２は出力結果を表す発火の
パターン（出力コード）を登録する出力コードテーブ
ル、１０３は発火するニューロンの数が一定値になるよ
うにしきい値θを制御するしきい値制御部、１０４はニ
ューラルネットワークの発火のパターンが１０２に登録
した出力コードのうちどれに最も近いかを選択しまたは
それぞれの出力コードとの類似度を求めるコード比較
部、１０５は特徴コードを登録する特徴コードテーブ
ル、５０１は大小などの数値を表す数値コードを登録す
る数値コードテーブル、５０２はコードテーブル１０
５，５０１に既に登録したコードを用いてそれと類似度
が一定な他のコードを生成してコードテーブル１０５，
５０１に登録する類似コード生成部、５０３は１個の特
徴コードとその特徴の大小を示す数値コードとの論理積
演算を行う論理積演算部、１０６は、複数個の特徴とそ
の大小を示す数値との組みに対して、論理積演算部５０
３によって論理積演算された各コード同士の論理和演算
を行い、入力コードを生成する入力コード生成部、１０
７は入力コード生成部１０６により生成した入力コード
のうち“１”となる数が一定値以下になるように“１”
をランダムに間引きするコード正規化部、１０８はコー
ド正規化部１０７により正規化された入力コードに対し
て目標とする出力コードが得られるようにシナップス結
合係数を変更するシナップス結合係数制御部、１０９は
出力コード・特徴コード・数値コード等の生成、入力コ
ードの正規化、シナップス結合係数の変更などに使用す
る２進の乱数発生部、１１０は全体を制御するための制
御部である。

【００３３】図６は、図５に示したパターンマッチング
回路の全体的な処理の流れの一例を示す。図６に示すご
とく、５つのステップＳ１１〜Ｓ１５から構成される
が、これらのステップＳ１１〜Ｓ１５は、それぞれ、図
２で説明した処理におけるステップＳ１〜Ｓ５に対応し
ている。従って、その基本的内容は図２についての説明
を参照することとし、詳細な説明を省略する。図２で示
した処理の例と比較して異なる点は、各特徴の大小を表
す数値を数値コードとして定義していることが追加され
ている点であり、ここでは約ｓ個の“１”を含むＮビッ
トの２進の乱数をＭ個（数値１〜Ｍ）作成し、数値コー
ドテーブル５０１に登録している。また学習データとし
ては、ｆ₁ 〜ｆ_U の各特徴に対する数値ｙ₁ 〜ｙ_U がそ
れぞれ対応する２次元の入力情報となっている。ここ
で、入力情報には必ずしもｆ₁ 〜ｆ_Uのすべての特徴が
含まれなくてもよいし、また３次元以上のデータについ
ても同様な考え方に基づき扱うことができる。

【００３４】図７は、図６に示した処理におけるパター
ンマッチングを行うための学習のアルゴリズムを示した
ものである。図３で説明した第１実施例の場合に比較し
て、入力コード（ｘ₁ ，…，ｘ_N ）の生成方法が異な
る。すなわち、まず特徴ｆ₁ からｆ_U までの各特徴コー
ドとそれらに対応する数値コードとの論理積を取ったコ
ードを作成し、次に、それらの論理和を取ったコードを
入力コード（ｘ₁ ，…，ｘ_N ）として生成している。こ
のため、図３に示したステップ群に対してステップ群７
０１が追加されている。その他の処理の流れは、実質的
に図３で説明した処理の流れと同じであるので、説明を
省略する。

【００３５】図８は、図７のアルゴリズムによって学習
した後、任意の入力情報に対してそれに対応する出力結
果を求めるための実行のアルゴリズムを示したものであ
る。処理の流れの構成としては、図７で示した処理の流
れにおいて学習の部分を除いたものと実質的に同じであ
る。

【００３６】図７および図８に示したアルゴリズムを実
行するための、図５に示したパターンマッチング回路の
各部の具体的な構成と動作を以下に説明する。論理積演
算部５０３、入力コード生成部１０６、特徴コードテー
ブル１０５、数値コードテーブル５０１の構成例を図１
５に示す。図１５において、まず制御部１１０からリセ
ット信号としてパルスを出した後、特徴番号（１〜Ｕ）
および数値番号（１〜Ｍ）の組合せが同時に制御部１１
０に入力されると、特徴コードテーブル用ＲＯＭ１０５
ａからは入力された特徴番号のコードが、数値コードテ
ーブル用ＲＯＭ５０１ａからは入力された数値のコード
がそれぞれ出力される。この時、制御部１１０からクロ
ック信号としてパルスを出力すると、特徴コードと数値
コードとの論理積を取ったコードがコード出力端子より
出力される。次に、別な特徴番号および数値番号の組合
せが入力され、制御部１１０からクロックパルスが出さ
れると、その特徴コードと数値コードとの論理積による
コードと、既に出力しているコードとの論理和を取った
コードが出力されるようになる。このようにして、複数
個の特徴と数値との組合せによる入力情報を表すコード
を作成し出力する

【００３７】次に、類似コード生成部５０２の構成例を
図１６に示す。図１６において、乱数発生部１０９には
２個の乱数コード出力端子（Ａ），（Ｂ）を有する。出
力端子（Ａ）には、制御部１１０からの信号に基づき、
生成しようとするコードの類似度と同じ割合の“１”を
含んだ乱数を出力する。出力端子（Ｂ）には、制御部１
１０からの信号に基づき“１”の割合が比較的少ないＮ
ビットの２進乱数コードを出力する。まず初めに、制御
部１１０からリセット信号としてパルスを出力し、乱数
コード出力端子（Ａ）から生成しようとするコードの類
似度と同じ割合の“１”を含んだ乱数を出力する。これ
により、コード入力部に設けられたアンドゲート回路群
の出力には、入力されたコードの“１”となっている端
子の一部が“０”に変更されたコードが得られる。次い
で、乱数コード出力端子（Ｂ）に“１”の割合が比較的
少ないＮビットの２進乱数コードを出力して制御部１１
０からクロック信号としてパルスを出力すると、アンド
ゲート回路群の出力コードの“０”となっている信号の
一部が“１”に変更されたコードをコード出力端子から
出力する。さらに乱数コード出力端子（Ｂ）から乱数コ
ードを出力して制御部１１０からクロック信号としてパ
ルスを出力すると、既にコード出力端子より出力されて
いるコードの“０”となっている端子の一部が“１”に
変更されたコードをコード出力端子から出力するように
なる。すなわち、乱数出力とクロックパルス出力を繰り
返すことによりコード出力端子から出力されるコードの
“１”の数が増えてゆくので、“１”の数が元のコード
の数とほぼ同一になるまで行うことにより、入力コード
に類似したコードを生成し出力することができる。

【００３８】図５におけるその他の部分の構成は、図１
の各部の構成例として示したものと同様な構成とするこ
とができる。

【００３９】なお、第２の実施例では、数値を表すコー
ドを生成し数値コードテーブル５０１に登録している
が、このようなアナログ値を表現するコード群の生成方
法について説明する。一例として１から１００までの数
値１００個のアナログコード生成のアルゴリズムを図１
７に示す。ここでは理解を容易にするために、例えば、
１から１００までの数値を表すコードをＣ₁ 〜Ｃ₁₀₀ と
して表現し、Ｎビットで約ｓ個の“１”を含むコードを
作成するものとし、相関を８０％とした。ここで相関と
は、隣接する番号同士の類似度をいう。従って相関が８
０％であるとは、隣接する番号同士で“１”となってい
るビットが重複しているものの数が全体のビット数の８
０％であることを意味する。

【００４０】図１７に従えば、まず、乱数発生部１０９
よりｓ個の“１”を含むＮビットのコード（Ｘ₁ ，…，
Ｘ_N ）を発生させ（ステップ１７１）、これを数値１を
表すコードＣ₁ として数値コードテーブル５０２に登録
する（ステップ１７２，１７３）。次に、作成したコー
ドＣ₁ と類似度が８０％のコードを類似コード生成部５
０２により作成して、これを数値２を表すコードＣ₂ と
して数値コードテーブル５０２に登録する（ステップ１
７４，１７５）。ステップ１７６では、変数ｔの値を、
登録したコードの数として更新する。ステップ１７７で
は、ｔの値により判別を行い、ｔ＝１００になった時、
終了する。ｔの値が１００未満の場合には、ステップ１
７４，１７５，１７６のそれぞれを繰り返すことによ
り、合計１００個のコードを作成し、登録する。

【００４１】上記のようにして、１から１００までの数
値を表すコードＣ₁ 〜Ｃ₁₀₀ を作成した後、１〜１００
における任意の数値ｐのコードにおける“１”となって
いるビットが、他のコードにおける“１”となっている
ビットにどれだけ重複しているかというアナログコード
の類似特性を示したグラフが、図１８である。図１８で
示したグラフは、作成した１００個のコードのうち任意
の２個を比較したとき、それらの番号が近いほど類似度
が高く、番号が遠いほど類似度が低くなることを示して
いる。また相関が強いほどこの曲線の傾斜は緩やかで、
相関が弱いほど傾斜は急になるため、用途に応じてこの
値を調節することによりアナログ値を含むパターンマッ
チングをきわめて汎用的に行うことができる。

【００４２】本発明に係るパターンマッチング方式を実
現する装置は、ハード回路で構成することができるし、
またソフト技術により実現することもできる。

【００４３】

【発明の効果】以上の説明で明らかなように本発明によ
れば、次の効果が生じる。ニューロンの発火の組合せに
よって出力結果を表すようにしたため、発火したニュー
ロンの組合せが、目的とする発火の組合せと完全に一致
していなくても、どれに一番近いかという方法で、結果
を判定することが可能となり、結果をアナログ的に表現
することができる。各ニューロンのしきい値が共通でか
つ発火するニューロンの数が一定になるようにしきい値
を制御するようにしたため、発火したニューロンの組合
せと、複数個の結果を表す発火の組合せとの比較を確実
に行うことができ、またそれらの類似度をアナログ的に
比較することができる。すべての入力に設定する値の組
合せ（コード）によって１個の特徴を表し、かつ複数個
の特徴を含む入力情報に対しては、それぞれの特徴を表
すコード同士の論理積演算、または論理和演算、または
論理積演算と論理和演算との複合演算によって生成され
るコードによってその入力情報を表すようにしたため、
複数次元の入力情報を扱うことが可能となる。入力情報
を表すコードにおいて、１となる入力の数が一定値以下
になるようにしたため、特徴の多いものや少ないものを
一緒に学習させても均一な学習を行うことができる。１
個の特徴、または入力情報、またはニューロンの発火の
組合せを表すコードに基づき、それと適度に類似した他
のコードを生成することができるので、それによって特
徴や入力情報あるいは出力結果の相関性を表すことがで
きる。前回生成したコードと類似度が一定な他のコード
を順次生成するので、アナログ的な値をコードとして直
接表現することが可能となる。入力、出力共に１となっ
ている部分のシナップス結合係数を、一定の割合で０か
ら１または１から０に変更することができるので、それ
によって学習をアナログ的に行うことができ、複雑なパ
ターンマッチングの学習が可能となる。

【図面の簡単な説明】

【図１】本発明に係るパターンマッチング方式の第１実
施例を示す回路図である。

【図２】第１実施例のパターンマッチング回路における
処理の流れを示すフローチャートである。

【図３】第１実施例のパターンマッチング回路における
学習のアルゴリズムを示すフローチャートである。

【図４】第１実施例のパターンマッチング回路におい
て、任意の入力情報に対するパターンマッチングのアル
ゴリズムを示すフローチャートである。

【図５】本発明に係るパターンマッチング方式の第２実
施例を示す回路図である。

【図６】第２実施例のパターンマッチング回路における
処理の流れを示すフローチャートである。

【図７】第２実施例のパターンマッチング回路における
学習のアルゴリズムを示すフローチャートである。

【図８】第２実施例のパターンマッチング回路におい
て、任意の入力情報に対するパターンマッチングのアル
ゴリズムを示すフローチャートである。

【図９】図１で示した入力コード生成部および特徴コー
ドテーブルの構成の一例を示す回路図である。

【図１０】図１で示したコード正規化部の構成の一例を
示す回路図である。

【図１１】図１で示したニューラルネットワークを構成
するニューロンの回路例を示す図である。

【図１２】図１で示したしきい値制御部の構成の一例を
示す回路図である。

【図１３】図１で示したシナップス結合係数制御部の構
成の一例を示す回路図である。

【図１４】図１で示したコード比較部および出力コード
テーブルの構成の一例を示す回路図である。

【図１５】図５で示した論理積演算部、入力コード生成
部、特徴コードテーブル、数値コードテーブルの各構成
の一例を示す回路図である。

【図１６】図５で示した類似コード生成部の構成の一例
を示す回路図である。

【図１７】アナログコード生成のアルゴリズムを示すフ
ローチャートである。

【図１８】アナログコードの相関特性を示したグラフで
ある。

【図１９】従来のニューラルネットワークの代表的な構
成例を示す図である。

【図２０】ニューロンのモデルを示す図である。

【図２１】シナップス結合係数や入出力が０または１の
２値のみからなる中間層を持たないニューラルネットワ
ークの一例を示す図である。

【図２２】シナップス結合係数や入出力が０または１の
２値のみからなるニューロンのモデルを示す図である。

【符号の説明】 １０１ …ニューラルネットワーク １０２ …出力コードテーブル １０３ …しきい値制御部 １０４ …コード比較部 １０５ …特徴コードテーブル １０６ …入力コード生成部 １０７ …コード正規化部 １０８ …シナップス結合係数制御部 １０９ …乱数発生部 １１０ …制御部 ５０１ …数値コードテーブル ５０２ …類似コード生成部 ５０３ …論理積演算部

Claims (7)

【特許請求の範囲】
1. 【請求項１】 ０または１の２値のいずれかで表される
   複数の入力信号を入力しかつ発火または非発火の２状態
   のいずれかを取り得る出力信号を出力する複数のニュー
   ロンと、前記複数の入力信号のそれぞれに対応する複数
   の入力端子と前記複数のニューロンのそれぞれとの間に
   結合係数が０または１であるシナップス結合とを有する
   ニューラルネットワークを利用したパターンマッチング
   方式において、 前記ニューロンの発火状態の組合せによって出力結果を
   表すようにしたことを特徴とするパターンマッチング方
   式。
2. 【請求項２】 請求項１記載のパターンマッチング方式
   において、前記複数のニューロンのそれぞれにおける発
   火のためのしきい値がすべての前記ニューロンについて
   共通であり、かつ発火するニューロンの数が一定になる
   ように前記しきい値を制御するようにしたことを特徴と
   するパターンマッチング方式。
3. 【請求項３】 ０または１の２値のいずれかで表される
   複数の入力信号を入力しかつ発火または非発火の２状態
   のいずれかを取り得る出力信号を出力する複数のニュー
   ロンと、前記複数の入力信号のそれぞれに対応する複数
   の入力端子と前記複数のニューロンのそれぞれとの間に
   結合係数が０または１であるシナップス結合とを有する
   ニューラルネットワークを利用したパターンマッチング
   方式において、 前記複数の入力信号のそれぞれで設定される値のすべて
   を組合せてコードを生成し、このコードによって１個の
   特徴を表すこととし、複数個の前記特徴を含む入力情報
   に対して、それぞれの特徴を表すコード同士の論理積演
   算または論理和演算または論理積演算と論理和演算の複
   合演算によって新たなコードを生成し、生成された前記
   新たなコードによって入力情報を表すようにしたことを
   特徴とするパターンマッチング方式。
4. 【請求項４】 請求項３記載のパターンマッチング方式
   において、入力情報を表す前記新たなコードにおいて、
   １となる入力信号の数が一定値以下になるように１を０
   に変更することを特徴とするパターンマッチング方式。
5. 【請求項５】 請求項１または３記載のパターンマッチ
   ング方式において、１個の特徴、入力情報、ニューロン
   の発火の組合せのいずれかを表す任意のコードに対し
   て、それとの類似度が任意な他のコードを生成するよう
   にしたことを特徴とするパターンマッチング方式。
6. 【請求項６】 請求項５記載のパターンマッチング方式
   において、１個の特徴、入力情報、ニューロンの発火の
   組合せのいずれかを表す任意のコードを初期コードとし
   て、前回生成したコードと類似度が一定な他のコードを
   順次生成するようにしたことを特徴とするパターンマッ
   チング方式。
7. 【請求項７】 請求項１または３記載のパターンマッチ
   ング方式において、任意の入力パターンおよび任意の出
   力パターンに対して、その入力、出力が共に１となって
   いる部分のシナップス結合係数を一定の割合で０から１
   または１から０に変更するようにしたことを特徴とする
   パターンマッチング方式。