JPH05165800A - ニューラルネットを用いた情報処理装置 - Google Patents
ニューラルネットを用いた情報処理装置Info
- Publication number
- JPH05165800A JPH05165800A JP3332046A JP33204691A JPH05165800A JP H05165800 A JPH05165800 A JP H05165800A JP 3332046 A JP3332046 A JP 3332046A JP 33204691 A JP33204691 A JP 33204691A JP H05165800 A JPH05165800 A JP H05165800A
- Authority
- JP
- Japan
- Prior art keywords
- character
- layer
- network
- word
- neuron element
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Character Discrimination (AREA)
Abstract
(57)【要約】
【目的】 複数の部分ネットワークを統一的に接続し、
連想精度を向上し得るニューラルネットを用いた情報処
理装置を提供することを目的とする。 【構成】 処理対象の入力信号をニューラルネットに与
えて、該入力信号に対応した出力信号を得るニューラル
ネットを用いた情報処理装置であって、全体のネットワ
ークが複数の部分ネットワークから構成され、前記各部
分ネットワークは出力層の出力信号が入力層へ戻る循環
型の階層構造を持つとともに、各々の層の一部又は全部
を互いに共有することにより相互作用して動作するよう
にした。 【効果】 連想の精度が向上する。
連想精度を向上し得るニューラルネットを用いた情報処
理装置を提供することを目的とする。 【構成】 処理対象の入力信号をニューラルネットに与
えて、該入力信号に対応した出力信号を得るニューラル
ネットを用いた情報処理装置であって、全体のネットワ
ークが複数の部分ネットワークから構成され、前記各部
分ネットワークは出力層の出力信号が入力層へ戻る循環
型の階層構造を持つとともに、各々の層の一部又は全部
を互いに共有することにより相互作用して動作するよう
にした。 【効果】 連想の精度が向上する。
Description
【０００１】
【産業上の利用分野】本発明は、パターン認識や連想記
憶等に応用されるニューラルネットを用いた情報処理装
置に関する。
憶等に応用されるニューラルネットを用いた情報処理装
置に関する。
【０００２】
【従来の技術】近年、ニューラルネットの研究が進めら
れる中で、ニューラルネットを用いた情報処理装置の開
発がなされている。
れる中で、ニューラルネットを用いた情報処理装置の開
発がなされている。
【０００３】ニューラルネットの応用分野は非常に広
く、注目されているネットワークとして、初期条件を入
力したときそれを基に記憶パターンを自立的に探索する
Ｈｏｐｆｉｅｌｄ型ネートワークがある。この型のニュ
ーラルネットは、一層でニューロン同志が相互結合した
構造をしており、内部表現を行なう中間層を持たない。
また、個々の問題に対応するのにニューロン間の結合強
度を設定し直すだけで済み、プログラムをわざわざアル
ゴリズムとして書く必要がないといったメリットを有す
る。このような特徴をいかし、連想記憶装置や組み合わ
せ最適化問題の解法などへの応用が試みられている。
く、注目されているネットワークとして、初期条件を入
力したときそれを基に記憶パターンを自立的に探索する
Ｈｏｐｆｉｅｌｄ型ネートワークがある。この型のニュ
ーラルネットは、一層でニューロン同志が相互結合した
構造をしており、内部表現を行なう中間層を持たない。
また、個々の問題に対応するのにニューロン間の結合強
度を設定し直すだけで済み、プログラムをわざわざアル
ゴリズムとして書く必要がないといったメリットを有す
る。このような特徴をいかし、連想記憶装置や組み合わ
せ最適化問題の解法などへの応用が試みられている。
【０００４】ところが、このよう一層型のＨｏｐｆｉｅ
ｌｄ型ネットワークは、その構造の特性から以下に示す
如くの欠点があった。例えば、２次元ドットパターンを
与え、記憶された文字パターンの中からこのドットパタ
ーンに近いものを想起する連想記憶装置と、３文字の文
字種の組合わせを与え、記憶された組合わせ（３文字単
語）の中からこの組合わせに近いものを想起する連想記
憶装置とが一層型のニューラルネットに実現された場合
には、この２種類の連想記憶装置を適切に接続すること
によって、前記文字パターンを想起する連想記憶装置を
単独で動作させたときよりも想起能力を向上させ得るこ
とが期待される。しかし、２種類のネットワークでは、
同一の文字種類の情報表現が異なるので、その接続方法
に工夫が必要となり、例えば３個の文字種の組合わせを
３個の２次元ドットパターンで表わすという方法を用い
た場合には、２次元ドットパターンのメッシュ幅が細か
くなったり階層構造が複雑になると、必要とするニュー
ロン素子の個数や結合係数が膨大になり実用的でない。
ｌｄ型ネットワークは、その構造の特性から以下に示す
如くの欠点があった。例えば、２次元ドットパターンを
与え、記憶された文字パターンの中からこのドットパタ
ーンに近いものを想起する連想記憶装置と、３文字の文
字種の組合わせを与え、記憶された組合わせ（３文字単
語）の中からこの組合わせに近いものを想起する連想記
憶装置とが一層型のニューラルネットに実現された場合
には、この２種類の連想記憶装置を適切に接続すること
によって、前記文字パターンを想起する連想記憶装置を
単独で動作させたときよりも想起能力を向上させ得るこ
とが期待される。しかし、２種類のネットワークでは、
同一の文字種類の情報表現が異なるので、その接続方法
に工夫が必要となり、例えば３個の文字種の組合わせを
３個の２次元ドットパターンで表わすという方法を用い
た場合には、２次元ドットパターンのメッシュ幅が細か
くなったり階層構造が複雑になると、必要とするニュー
ロン素子の個数や結合係数が膨大になり実用的でない。
【０００５】
【発明が解決しようとする課題】このように、従来にお
けるニューラルネットを用いた情報処理装置では、複数
のネットワーク（部分ネットワーク）をモジュールとし
て組み合わせて大規模なネットワーク（全体のネットワ
ーク）を構築する際には、各モジュール間の接続が問題
となり、円滑な動作が望めないという欠点があった。
けるニューラルネットを用いた情報処理装置では、複数
のネットワーク（部分ネットワーク）をモジュールとし
て組み合わせて大規模なネットワーク（全体のネットワ
ーク）を構築する際には、各モジュール間の接続が問題
となり、円滑な動作が望めないという欠点があった。
【０００６】この発明はこのような従来の課題を解決す
るためになされたもので、この目的とするところは、個
々のネートワークを統一的に接続し得るニューラルネッ
トを用いた情報処理装置を提供することにある。
るためになされたもので、この目的とするところは、個
々のネートワークを統一的に接続し得るニューラルネッ
トを用いた情報処理装置を提供することにある。
【０００７】
【課題を解決するための手段】上記目的を達成するた
め、本発明は、処理対象の入力信号をニューラルネット
に与えて、該入力信号に対応した出力信号を得るニュー
ラルネットを用いた情報処理装置であって、全体のネッ
トワークが複数の部分ネットワークから構成され、前記
各部分ネットワークは出力層の出力信号が入力層へ戻る
循環型の階層構造を持つとともに、各々の層の一部又は
全部を互いに共有することにより相互作用して動作する
ことが特徴である。
め、本発明は、処理対象の入力信号をニューラルネット
に与えて、該入力信号に対応した出力信号を得るニュー
ラルネットを用いた情報処理装置であって、全体のネッ
トワークが複数の部分ネットワークから構成され、前記
各部分ネットワークは出力層の出力信号が入力層へ戻る
循環型の階層構造を持つとともに、各々の層の一部又は
全部を互いに共有することにより相互作用して動作する
ことが特徴である。
【０００８】
【作用】上述の如く構成すれば、各部分ネットワークど
うしが共通の複合型ニューロンによって結合される。そ
して、この複合型ニューロンの状態変数を、各部分ネッ
トワークのもつニューロン素子の状態を基に演算し、こ
れによって独立した部分ネットワークどうしの相互作用
が行なわれる。
うしが共通の複合型ニューロンによって結合される。そ
して、この複合型ニューロンの状態変数を、各部分ネッ
トワークのもつニューロン素子の状態を基に演算し、こ
れによって独立した部分ネットワークどうしの相互作用
が行なわれる。
【０００９】その結果、各部分ネツトワークを独立に動
作させたときよりも高精度なパターンの連想を行なうこ
とができるようになる。
作させたときよりも高精度なパターンの連想を行なうこ
とができるようになる。
【００１０】
【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は本発明の一実施例に係わる情報処理装置の
構成図である。
する。図１は本発明の一実施例に係わる情報処理装置の
構成図である。
【００１１】同図に示す情報処理装置は、２次元ドット
パターンから文字の種類を想起する複数（図では３個）
の文字連想サブネットワーク１０と、３文字の組合せか
ら３文字単語を想起する単語連想サブネットワーク１１
とで全体のネットワークが構成され、完全な文字パター
ンの想起と、各文字パターンの組合せから成る３文字単
語の想起を同時に行なうものである。
パターンから文字の種類を想起する複数（図では３個）
の文字連想サブネットワーク１０と、３文字の組合せか
ら３文字単語を想起する単語連想サブネットワーク１１
とで全体のネットワークが構成され、完全な文字パター
ンの想起と、各文字パターンの組合せから成る３文字単
語の想起を同時に行なうものである。
【００１２】文字連想サブネットワーク１０は、複数の
ニューロン素子１から成る入力層４と、複数の複合型ニ
ューロン素子２を有する文字層５と、入力層４と文字層
５とを結合する結合部８から構成される。また、各文字
連想サブネットワーク１０の文字層５によって３文字層
６が構成される。
ニューロン素子１から成る入力層４と、複数の複合型ニ
ューロン素子２を有する文字層５と、入力層４と文字層
５とを結合する結合部８から構成される。また、各文字
連想サブネットワーク１０の文字層５によって３文字層
６が構成される。
【００１３】単語連想サブネットワーク１１は、前記３
文字層６と、複数の線形ニューロン素子３から成る単語
層７と、３文字層６と単語層７とを結合する結合部９か
ら構成される。
文字層６と、複数の線形ニューロン素子３から成る単語
層７と、３文字層６と単語層７とを結合する結合部９か
ら構成される。
【００１４】即ち、文字連想サブネットワーク１０と、
単語連想サブネットワーク１１は３文字層６によって結
合され、全体のネットワークが構成されている。
単語連想サブネットワーク１１は３文字層６によって結
合され、全体のネットワークが構成されている。
【００１５】次に、本実施例の動作を図２に示したフロ
ーチャートを参照しながら説明する。まず、図１におい
て、ニューロン素子１、複合型ニューロン素子２、およ
び、線形ニューロン素子３の状態変数を各々ｘi 、
ｙj 、およびｚk とし、連続実数値を取るものと定義す
る。また、結合部８において、入力層４から文字層５へ
の結合を結合係数ｕji、文字層５から入力層４への結合
を結合係数ｖijと定義する。更に、結合部９において、
３文字層６から単語層７への結合を結合係数Ｕkj、単語
層７から３文字層６への結合を結合係数Ｖjkと定義す
る。なお、各結合係数ｕji、ｖij、Ｕkj、Ｖjkの具体的
な設定方法は後述する。
ーチャートを参照しながら説明する。まず、図１におい
て、ニューロン素子１、複合型ニューロン素子２、およ
び、線形ニューロン素子３の状態変数を各々ｘi 、
ｙj 、およびｚk とし、連続実数値を取るものと定義す
る。また、結合部８において、入力層４から文字層５へ
の結合を結合係数ｕji、文字層５から入力層４への結合
を結合係数ｖijと定義する。更に、結合部９において、
３文字層６から単語層７への結合を結合係数Ｕkj、単語
層７から３文字層６への結合を結合係数Ｖjkと定義す
る。なお、各結合係数ｕji、ｖij、Ｕkj、Ｖjkの具体的
な設定方法は後述する。
【００１６】そして、ニューロン素子１は、入力を
ｙj 、出力をｘi 、結合係数をｖijとしたとき次の
（１）式に従って動作する。
ｙj 、出力をｘi 、結合係数をｖijとしたとき次の
（１）式に従って動作する。
【００１７】
【数１】 また、複合型ニューロン素子２は２系統の入力を持ち、
各々に対する入力をｘi ，ｚk 、結合係数をｕji，
Ｖjk、出力をｙj としたとき次の（２）式に従って動作
する。
各々に対する入力をｘi ，ｚk 、結合係数をｕji，
Ｖjk、出力をｙj としたとき次の（２）式に従って動作
する。
【００１８】
【数２】 ここで、μchar，μwordは混合率と呼ばれる正の定数で
ある。また、線形ニューロン素子３は、入力をｙj 、出
力をｚk 、結合係数をＵkjとしたとき、次の（３）式に
従って動作する。
ある。また、線形ニューロン素子３は、入力をｙj 、出
力をｚk 、結合係数をＵkjとしたとき、次の（３）式に
従って動作する。
【００１９】
【数３】 そして、このように定義されたネットワークにおいて、
３個の入力層４の各々が有するニューロン素子１の初期
状態ｘ(0) ｉが設定される（ステップＳＴ１）。ここで
の設定では、２次元パターンを図３のように５×５のメ
ッシュに区切り、これを１次元的に並び換えて各メッシ
ュの値Ｉi とあらかじめ設定しておいた２個の閾値θ1,
θ2 （θ1 ＜θ2 ）とを比較し、各ニューロン素子１の
初期値ｘi を、Ｉi ＜θ1 のときはｘi ＝−１、θ1 ＜
ＩI ＜θ2 のときはｘi ＝０、Ｉi ＞θ2 のときはｘi
＝１と設定する。各入力層４が有するニューロン素子１
の個数はＮ＝２５、合計の個数は３Ｎ＝７５となる。な
お、３組の入力層４を区別するために、ニューロン素子
１を識別する添字ｉには、ｉ＝１、…、３Ｎの通し番号
を付す。また、このときの時刻をｔ＝０とする。
３個の入力層４の各々が有するニューロン素子１の初期
状態ｘ(0) ｉが設定される（ステップＳＴ１）。ここで
の設定では、２次元パターンを図３のように５×５のメ
ッシュに区切り、これを１次元的に並び換えて各メッシ
ュの値Ｉi とあらかじめ設定しておいた２個の閾値θ1,
θ2 （θ1 ＜θ2 ）とを比較し、各ニューロン素子１の
初期値ｘi を、Ｉi ＜θ1 のときはｘi ＝−１、θ1 ＜
ＩI ＜θ2 のときはｘi ＝０、Ｉi ＞θ2 のときはｘi
＝１と設定する。各入力層４が有するニューロン素子１
の個数はＮ＝２５、合計の個数は３Ｎ＝７５となる。な
お、３組の入力層４を区別するために、ニューロン素子
１を識別する添字ｉには、ｉ＝１、…、３Ｎの通し番号
を付す。また、このときの時刻をｔ＝０とする。
【００２０】次に、時刻ｔ＝０での各文字層５が有する
複合型ニューロン素子２の状態ｙ(0 ) j を各入力層４か
らの信号を基に次の（４）式にて決定する（ステップＳ
Ｔ２）。
複合型ニューロン素子２の状態ｙ(0 ) j を各入力層４か
らの信号を基に次の（４）式にて決定する（ステップＳ
Ｔ２）。
【００２１】
【数４】 ここで、ｐ（＝１，２，３）は３組の文字連想サブネッ
トワーク１０を区別する添字である。そして、２系統あ
る複合型ニューロン素子２の入力のうち、時刻ｔ＝０で
入力信号とは無関係に決まる線形ニューロン素子３から
の信号は利用しない。また、ニューロン素子１の、時刻
ｔ＋１での状態ｘ(t+1) i は、複合型ニューロン素子２
の時刻ｔにおける状態を基に、次の（５）式で決定され
る。
トワーク１０を区別する添字である。そして、２系統あ
る複合型ニューロン素子２の入力のうち、時刻ｔ＝０で
入力信号とは無関係に決まる線形ニューロン素子３から
の信号は利用しない。また、ニューロン素子１の、時刻
ｔ＋１での状態ｘ(t+1) i は、複合型ニューロン素子２
の時刻ｔにおける状態を基に、次の（５）式で決定され
る。
【００２２】
【数５】 そして、これと同時に、線形ニューロン素子３の時刻ｔ
＋１での状態ｚ(t+1) k が、複合型ニューロン素子２の
時刻ｔにおける状態を基に、次の（６）式にて決定され
る（ステップＳＴ３）。
＋１での状態ｚ(t+1) k が、複合型ニューロン素子２の
時刻ｔにおける状態を基に、次の（６）式にて決定され
る（ステップＳＴ３）。
【００２３】
【数６】 次いで、複合型ニューロン素子２の、時刻ｔ＋１におけ
る状態ｙ(t+1) k は、各入力層４のニューロン素子１、
及び単語層７の線形ニューロン素子３の時刻ｔ＋１にお
ける状態を基に、次の（７）式で決定される（ステップ
ＳＴ４）。
る状態ｙ(t+1) k は、各入力層４のニューロン素子１、
及び単語層７の線形ニューロン素子３の時刻ｔ＋１にお
ける状態を基に、次の（７）式で決定される（ステップ
ＳＴ４）。
【００２４】
【数７】 この過程によって、３組の文字層５と３文字層６とが結
合され、計４個のサブネットワークの接続が実現され
る。
合され、計４個のサブネットワークの接続が実現され
る。
【００２５】そして、複合型ニューロン素子２の、時刻
ｔ＋１における状態変数ｙj 変化分（ｙ(t+1) j −ｙ
(t) j ）の絶対値がすべてのニューロン素子２について
求められ、この数値がすべて設定値よりも小さいか否か
が判定される（ステップＳＴ５）。そして、すべての変
化分の絶対値が設定値よりも小さくならないときには
（ステップＳＴ５でＮＯ）ステップＳＴ３、ＳＴ４の動
作を繰り返す。また、すべての変化分の絶対値が設定値
よりも小さい場合には（ステップＳＴ５でＹＥＳ）、状
態更新は停止される。
ｔ＋１における状態変数ｙj 変化分（ｙ(t+1) j −ｙ
(t) j ）の絶対値がすべてのニューロン素子２について
求められ、この数値がすべて設定値よりも小さいか否か
が判定される（ステップＳＴ５）。そして、すべての変
化分の絶対値が設定値よりも小さくならないときには
（ステップＳＴ５でＮＯ）ステップＳＴ３、ＳＴ４の動
作を繰り返す。また、すべての変化分の絶対値が設定値
よりも小さい場合には（ステップＳＴ５でＹＥＳ）、状
態更新は停止される。
【００２６】その結果、標準文字パターンが、各々Ｊp
番目（ｐ＝１，２，３）（Ｊは記憶文字パターンの番
号）、また、各文字パターンの組合せに対する単語がＫ
番目（ｋは記憶単語パターンの番号）の状態に収束した
場合には、その状態は次の（８）、（９）、（１０）式
にて示される。
番目（ｐ＝１，２，３）（Ｊは記憶文字パターンの番
号）、また、各文字パターンの組合せに対する単語がＫ
番目（ｋは記憶単語パターンの番号）の状態に収束した
場合には、その状態は次の（８）、（９）、（１０）式
にて示される。
【００２７】
【数８】 ここで、νchar，νwordは次の（１１），（１２）式を
満たす実定数である。
満たす実定数である。
【数９】 ただし、ξJp ｉはＪp 番目の文字パターンのｉ番目の成
分を示し、取り得る値は±１である。また、Ξk j は、
Ｋ番目の単語のj 番目の成分を示し、取り得る値は±１
である。また、λ、Λは拡大率である。
分を示し、取り得る値は±１である。また、Ξk j は、
Ｋ番目の単語のj 番目の成分を示し、取り得る値は±１
である。また、λ、Λは拡大率である。
【００２８】なお、μchar, μwordを適切に設定するこ
とにより、相互作用が実現される。相対的に、μcharを
大きく設定すれば文字主導型の認識となり、μwordを大
きく設定すれば単語主導型の認識となる。
とにより、相互作用が実現される。相対的に、μcharを
大きく設定すれば文字主導型の認識となり、μwordを大
きく設定すれば単語主導型の認識となる。
【００２９】こうして、収束した３文字の単語パターン
は、文字連想サブネットワーク１０と単語連想サブネッ
トワーク１１とが互いに影響し合っているので、それぞ
れのサブネットワーク１０，１１を単独に動作させたと
きよりも想起能力が向上する。
は、文字連想サブネットワーク１０と単語連想サブネッ
トワーク１１とが互いに影響し合っているので、それぞ
れのサブネットワーク１０，１１を単独に動作させたと
きよりも想起能力が向上する。
【００３０】次に，文字連想サブネットワーク１０と、
単語連想サブネットワーク１１を独立に動作させた際の
例について説明する。
単語連想サブネットワーク１１を独立に動作させた際の
例について説明する。
【００３１】ここで、文字連想サブネットワーク１０を
単独で動作させるには、（８）〜（１０）式において混
合係数をμchar＝１、μword＝０と設定すれば良く、単
語連想サブネットワーク１１を単独で動作させるには、
混合係数をμchar＝０、μwo rd＝１と設定すれば良い。
単独で動作させるには、（８）〜（１０）式において混
合係数をμchar＝１、μword＝０と設定すれば良く、単
語連想サブネットワーク１１を単独で動作させるには、
混合係数をμchar＝０、μwo rd＝１と設定すれば良い。
【００３２】また、図１に示したネットワークは、３組
の図４に示す文字連想ネットワーク１０ａ、及び図５に
示す単語連想サブネットワーク１１ａとに分解できる。
の図４に示す文字連想ネットワーク１０ａ、及び図５に
示す単語連想サブネットワーク１１ａとに分解できる。
【００３３】ただし，このとき複合型ニューロン素子２
は、線形ニューロン素子１２（図４）および、ニューロ
ン素子１３（図５）の２個に分解される。以下では、各
々のサブネットワークが独立しているときの動作につい
て説明する。
は、線形ニューロン素子１２（図４）および、ニューロ
ン素子１３（図５）の２個に分解される。以下では、各
々のサブネットワークが独立しているときの動作につい
て説明する。
【００３４】図４に示す文字連想サブネットワーク１０
ａは、複合型ニューロン素子２が線形ニューロン素子１
２に置き換わった以外は、図１の文字連想サブネットワ
ーク１０と同一である。
ａは、複合型ニューロン素子２が線形ニューロン素子１
２に置き換わった以外は、図１の文字連想サブネットワ
ーク１０と同一である。
【００３５】文字連想サブネットワーク１０ａは、２次
元ドットパターンが与えられると、記憶されている標準
文字パターンの中から、最も近いものを入力層４の上に
想起する。それと同時に、文字層５の上に文字パターン
に対応するニューロンだけが興奮したパターンを示す。
すなわち、各線形ニューロン素子１２は、文字認識ニュ
ーロンに相当する。
元ドットパターンが与えられると、記憶されている標準
文字パターンの中から、最も近いものを入力層４の上に
想起する。それと同時に、文字層５の上に文字パターン
に対応するニューロンだけが興奮したパターンを示す。
すなわち、各線形ニューロン素子１２は、文字認識ニュ
ーロンに相当する。
【００３６】また、ニューロン素子１の初期値の設定
は、図１のときと同様に行なわれる。つまり、手書き文
字を読み取って得られた２次元パターンを図３の如く５
×５のメッシュに区切り、これを１次元的に並び換えて
各メッシュの値Ｉi とあらかじめ設定しておいた２個の
閾値θ1 ，θ2 （θ1 ＜θ2 ）とを比較し、Ｉi ＜θ1
のときはｘi ＝−１、θ1 ＜ＩI ＜θ2 のときはｘi ＝
０、ＩI ＞θ2 のときはｘi ＝１とニューロン素子１の
状態変数ｘi の初期値を設定する。ただし、この例で
は、文字連想サブネットワーク１０ａが独立に動作する
ので、状態変数ｘの添字ｉは、通し番号でなく、１から
２５（＝５×５＝Ｎ）までの整数とする。
は、図１のときと同様に行なわれる。つまり、手書き文
字を読み取って得られた２次元パターンを図３の如く５
×５のメッシュに区切り、これを１次元的に並び換えて
各メッシュの値Ｉi とあらかじめ設定しておいた２個の
閾値θ1 ，θ2 （θ1 ＜θ2 ）とを比較し、Ｉi ＜θ1
のときはｘi ＝−１、θ1 ＜ＩI ＜θ2 のときはｘi ＝
０、ＩI ＞θ2 のときはｘi ＝１とニューロン素子１の
状態変数ｘi の初期値を設定する。ただし、この例で
は、文字連想サブネットワーク１０ａが独立に動作する
ので、状態変数ｘの添字ｉは、通し番号でなく、１から
２５（＝５×５＝Ｎ）までの整数とする。
【００３７】そして、文字連想サブネットワーク１０ａ
の状態更新は、次の（１３）、（１４）式に示す漸化式
によって行なう。
の状態更新は、次の（１３）、（１４）式に示す漸化式
によって行なう。
【００３８】
【数１０】 また、文字連想サブネットワーク１０ａには、図６に示
してある６種類の英字：‘Ａ’，‘Ｅ’，‘Ｎ’，
‘Ｏ’，‘Ｐ’，‘Ｔ’に対する標準文字パターンを記
憶させておく。したがって、状態変数ｙの添字ｊは、１
から６（＝Ｍ）までの整数とする。
してある６種類の英字：‘Ａ’，‘Ｅ’，‘Ｎ’，
‘Ｏ’，‘Ｐ’，‘Ｔ’に対する標準文字パターンを記
憶させておく。したがって、状態変数ｙの添字ｊは、１
から６（＝Ｍ）までの整数とする。
【００３９】そして、上記の動作式を繰り返すことによ
って記憶パターンが想起されるようにするには、結合係
数ｕji，ｖijを次のように与えれば良い。ただし、ｊ番
目の文字パターンのｉ番目の成分をξj i （取り得る値
は±１）とする。この成分間の相関行列をγ：
って記憶パターンが想起されるようにするには、結合係
数ｕji，ｖijを次のように与えれば良い。ただし、ｊ番
目の文字パターンのｉ番目の成分をξj i （取り得る値
は±１）とする。この成分間の相関行列をγ：
【数１１】 としたとき、その逆行列γ-1を用いて、ξj i に対する
共役ベクトルηj i は次の（１６）式で求められる。
共役ベクトルηj i は次の（１６）式で求められる。
【００４０】
【数１２】 このξj i ，ηj i を用いて、結合係数ｕji，ｖijは、
次の（１７），（１８）式で与えられる。
次の（１７），（１８）式で与えられる。
【００４１】
【数１３】 ここで、λは拡大率であり、１より大きい値に設定す
る。このような設定のとき、Ｊ番目の標準文字パターン
に対応する収束状態は、次の（１９），（２０）式で与
えられる。
る。このような設定のとき、Ｊ番目の標準文字パターン
に対応する収束状態は、次の（１９），（２０）式で与
えられる。
【００４２】
【数１４】 ここで、実定数νc は次の（２１）式を満たす定数であ
る。
る。
【００４３】 tanh( λνc ）＝νc …（２１） 次に、図５に示す単語連想サブネットワーク１１ａにつ
いて説明する。このサブネットワークは、複合型ニュー
ロン素子２がニューロン素子１３に置き換わった以外
は、図１の文字連想サブネットワーク１１と同一であ
る。
いて説明する。このサブネットワークは、複合型ニュー
ロン素子２がニューロン素子１３に置き換わった以外
は、図１の文字連想サブネットワーク１１と同一であ
る。
【００４４】図５において、単語連想サブネットワーク
１１ａの３文字層６は３組の文字層５からなる。また、
文字層５は、文字連想サブネットワーク１０ａに記憶さ
れている６種類の英字の各々に対応するニューロン素子
１３を有する。そして、単語連想サブネットワーク１１
a には、この６種類の英字を順に３個並べた組み合わせ
のうち、‘ＡＮＴ’，‘ＡＴＥ’，‘ＥＡＴ’，‘ＮＥ
Ｔ’，‘ＮＯＴ’，‘ＰＥＮ’，‘ＰＯＴ’，‘ＴＥ
Ａ’，‘ＴＥＮ’，‘ＴＯＰ’の１０個が単語として記
憶されている。したがって、状態変数ｚの添字ｋは、１
から１０（＝Ｌ）までの整数となる。また、単語層７は
これら１０個の単語を認識する線形ニューロン素子３を
有している。
１１ａの３文字層６は３組の文字層５からなる。また、
文字層５は、文字連想サブネットワーク１０ａに記憶さ
れている６種類の英字の各々に対応するニューロン素子
１３を有する。そして、単語連想サブネットワーク１１
a には、この６種類の英字を順に３個並べた組み合わせ
のうち、‘ＡＮＴ’，‘ＡＴＥ’，‘ＥＡＴ’，‘ＮＥ
Ｔ’，‘ＮＯＴ’，‘ＰＥＮ’，‘ＰＯＴ’，‘ＴＥ
Ａ’，‘ＴＥＮ’，‘ＴＯＰ’の１０個が単語として記
憶されている。したがって、状態変数ｚの添字ｋは、１
から１０（＝Ｌ）までの整数となる。また、単語層７は
これら１０個の単語を認識する線形ニューロン素子３を
有している。
【００４５】そして、単語連想サブネットワーク１１ａ
の状態更新は、次の（２２）、（２３）式に示す漸化式
によって行なう。
の状態更新は、次の（２２）、（２３）式に示す漸化式
によって行なう。
【００４６】
【数１５】 その結果、ニューロン素子１３に初期値を与え、上記の
動作式を繰り返すことによって収束した状態において、
記憶されている単語の中から最も近いものが単語層７の
上に想起される。それと同時に、単語に対応する文字ご
との適合度が３文字層６の上に示される。
動作式を繰り返すことによって収束した状態において、
記憶されている単語の中から最も近いものが単語層７の
上に想起される。それと同時に、単語に対応する文字ご
との適合度が３文字層６の上に示される。
【００４７】このように動作させるためには、結合係数
Ｕkj，Ｖjkを次のように与えれば良い。ここで、ｋ番目
の単語のｊ番目の成分をΞk j （取り得る値は±１）と
し、この成分間の相関行列をΓ：
Ｕkj，Ｖjkを次のように与えれば良い。ここで、ｋ番目
の単語のｊ番目の成分をΞk j （取り得る値は±１）と
し、この成分間の相関行列をΓ：
【数１６】 としたとき、その逆行列Γ-1を用いて、Ξk j に対する
共役ベクトルＨk j は次の（２５）式として求められ
る。
共役ベクトルＨk j は次の（２５）式として求められ
る。
【００４８】
【数１７】 このΞk j ，Ηk j を用いて、結合係数Ｕkj，Ｖjkを、
次の（２６），（２７）式で与える。
次の（２６），（２７）式で与える。
【００４９】
【数１８】 ここでΛは拡大率で、１より大きい定数とする。このよ
うな設定のとき、Ｋ番目の標準文字パターンに対応する
収束状態は、次の（２８），（２９）式で示される。
うな設定のとき、Ｋ番目の標準文字パターンに対応する
収束状態は、次の（２８），（２９）式で示される。
【００５０】
【数１９】 ここで、実定数νw は次の（３０）式を満たす定数であ
る。
る。
【００５１】 tanh（Λνw ）＝νw …（３０） こうして、文字連想サブネットワーク１０と単語連想サ
ブネットワーク１１とを独立に動作させたときの収束状
態を得ることができるのである。
ブネットワーク１１とを独立に動作させたときの収束状
態を得ることができるのである。
【００５２】本発明の有効性を示すために、文字サブネ
ットと単語サブネットワークを組み合わせた上記実施例
の方式で想起させた場合（図１）と、従来手法通りに文
字サブネットワークだけで独立に想起させた場合（図
７）との比較実験を行なった。パラメタは、本実施例の
場合ではλ＝１．５，Λ＝１．５，μchar＝０．９，μ
word＝０．１とし、従来例ではλ＝１．５とした。この
とき、νchar，νwordの値は、各々式（１１），（１
２）からνchar＝νword＝０．８６、νc の値は、式
（２１）からνc ＝０．８６となる。各々の入力層４に
入力する２次元ドットパターンは、順に‘Ｎ’，
‘Ｅ’，‘Ｔ’の各標準パターンにノイズをかけたもの
を用いた。ノイズは、乱数によって選んだ７ケ所の明暗
を反転することによりかけた（図８）。各々に対する結
果を、図９、図１０に示す。従来方式では、２番目の文
字が誤って想起されているのに対し（図１０）、本発明
の方式では、単語の情報を利用して正しく想起されてい
ることが分かる（図９）。
ットと単語サブネットワークを組み合わせた上記実施例
の方式で想起させた場合（図１）と、従来手法通りに文
字サブネットワークだけで独立に想起させた場合（図
７）との比較実験を行なった。パラメタは、本実施例の
場合ではλ＝１．５，Λ＝１．５，μchar＝０．９，μ
word＝０．１とし、従来例ではλ＝１．５とした。この
とき、νchar，νwordの値は、各々式（１１），（１
２）からνchar＝νword＝０．８６、νc の値は、式
（２１）からνc ＝０．８６となる。各々の入力層４に
入力する２次元ドットパターンは、順に‘Ｎ’，
‘Ｅ’，‘Ｔ’の各標準パターンにノイズをかけたもの
を用いた。ノイズは、乱数によって選んだ７ケ所の明暗
を反転することによりかけた（図８）。各々に対する結
果を、図９、図１０に示す。従来方式では、２番目の文
字が誤って想起されているのに対し（図１０）、本発明
の方式では、単語の情報を利用して正しく想起されてい
ることが分かる（図９）。
【００５３】なお、上記実施例ではサブネットワークと
して２層の循環型ネットワークを用いたが、組み合わせ
上の必要に応じて、複数の内部表現を持つ３層以上のネ
ットワークを用いた場合にも本発明を適用することがで
きる。また、上記実施例ではサブネットワーク同士の互
いに共有しあう層における相互作用として、各々のサブ
ネットワークからの入力に重み付けしたものの単純和を
用いたが、これをより適切な関数に置き換えた場合に本
発明を適用することもできる。また、上記実施例では状
態の更新を同期的に行なったが、これを非同期にした場
合にも本発明を適用することもできる。
して２層の循環型ネットワークを用いたが、組み合わせ
上の必要に応じて、複数の内部表現を持つ３層以上のネ
ットワークを用いた場合にも本発明を適用することがで
きる。また、上記実施例ではサブネットワーク同士の互
いに共有しあう層における相互作用として、各々のサブ
ネットワークからの入力に重み付けしたものの単純和を
用いたが、これをより適切な関数に置き換えた場合に本
発明を適用することもできる。また、上記実施例では状
態の更新を同期的に行なったが、これを非同期にした場
合にも本発明を適用することもできる。
【００５４】
【発明の効果】以上述べたように、本発明のニューラル
ネットを用いた情報処理装置によれば、従来の一層型の
ネットワークでは困難であった個々のネットワーク間の
接続が容易に行なえるようになる。そのため、例えば、
階層型の知識が有るとき、その各層を個々の部分ネット
ワークによって実現した後で、それらの部分ネットワー
ク同士を組み合わせることにより、全体的な知識を容易
に実現することが可能であるという効果を奏する。
ネットを用いた情報処理装置によれば、従来の一層型の
ネットワークでは困難であった個々のネットワーク間の
接続が容易に行なえるようになる。そのため、例えば、
階層型の知識が有るとき、その各層を個々の部分ネット
ワークによって実現した後で、それらの部分ネットワー
ク同士を組み合わせることにより、全体的な知識を容易
に実現することが可能であるという効果を奏する。
【図１】本発明が適用されたニューラルネットを用いた
情報処理装置の一実施例を示す構成図である。
情報処理装置の一実施例を示す構成図である。
【図２】本実施例の動作を示すフローチャートである。
【図３】入力に用いる２次元パターンの例を示す説明図
である。
である。
【図４】文字連想サブネットワークを示す構成図であ
る。
る。
【図５】単語連想サブネットワークを示す構成図であ
る。
る。
【図６】文字連想サブネットトワークに記憶させる標準
文字パターンを示す説明図である。
文字パターンを示す説明図である。
【図７】従来の文字連想サブネットワークをそれぞれ独
立に動作させて使用する際の構成図である。
立に動作させて使用する際の構成図である。
【図８】ノイズを含んだ２次元入力パターンを示す説明
図である。
図である。
【図９】本発明に係わるニューラルネットを用いた情報
処理装置を用いたときの想起結果を示す説明図である。
処理装置を用いたときの想起結果を示す説明図である。
【図１０】従来方式で文字連想サブネットを独立に動作
させたときの想起結果を示す説明図である。
させたときの想起結果を示す説明図である。
１ ニューロン素子 ２ 複合型ニューロン素子 ３ 線形ニューロン素子 ４ 入力層 ５ 文字層 ６ ３文字層 ７ 単語層 １０ 文字連想サブネットワーク １１ 単語サブネットワーク
Claims (1)
- 【請求項１】 処理対象の入力信号をニューラルネット
に与えて、該入力信号に対応した出力信号を得るニュー
ラルネットを用いた情報処理装置であって、 全体のネットワークが複数の部分ネットワークから構成
され、前記各部分ネットワークは出力層の出力信号が入
力層へ戻る循環型の階層構造を持つとともに、各々の層
の一部又は全部を互いに共有することにより相互作用し
て動作することを特徴とするニューラルネットを用いた
情報処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3332046A JPH05165800A (ja) | 1991-12-16 | 1991-12-16 | ニューラルネットを用いた情報処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3332046A JPH05165800A (ja) | 1991-12-16 | 1991-12-16 | ニューラルネットを用いた情報処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05165800A true JPH05165800A (ja) | 1993-07-02 |
Family
ID=18250539
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3332046A Pending JPH05165800A (ja) | 1991-12-16 | 1991-12-16 | ニューラルネットを用いた情報処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05165800A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11216717B2 (en) | 2017-04-04 | 2022-01-04 | Hailo Technologies Ltd. | Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
| US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
| US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
| US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
| US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
| US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
-
1991
- 1991-12-16 JP JP3332046A patent/JPH05165800A/ja active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11216717B2 (en) | 2017-04-04 | 2022-01-04 | Hailo Technologies Ltd. | Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements |
| US11238331B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method for augmenting an existing artificial neural network |
| US11238334B2 (en) | 2017-04-04 | 2022-02-01 | Hailo Technologies Ltd. | System and method of input alignment for efficient vector operations in an artificial neural network |
| US11263512B2 (en) | 2017-04-04 | 2022-03-01 | Hailo Technologies Ltd. | Neural network processor incorporating separate control and data fabric |
| US11461614B2 (en) | 2017-04-04 | 2022-10-04 | Hailo Technologies Ltd. | Data driven quantization optimization of weights and input data in an artificial neural network |
| US11221929B1 (en) | 2020-09-29 | 2022-01-11 | Hailo Technologies Ltd. | Data stream fault detection mechanism in an artificial neural network processor |
| US11237894B1 (en) | 2020-09-29 | 2022-02-01 | Hailo Technologies Ltd. | Layer control unit instruction addressing safety mechanism in an artificial neural network processor |
| US11263077B1 (en) | 2020-09-29 | 2022-03-01 | Hailo Technologies Ltd. | Neural network intermediate results safety mechanism in an artificial neural network processor |
| US11811421B2 (en) | 2020-09-29 | 2023-11-07 | Hailo Technologies Ltd. | Weights safety mechanism in an artificial neural network processor |
| US11874900B2 (en) | 2020-09-29 | 2024-01-16 | Hailo Technologies Ltd. | Cluster interlayer safety mechanism in an artificial neural network processor |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Dogaru et al. | Universal CNN cells | |
| US5249259A (en) | Genetic algorithm technique for designing neural networks | |
| DE112008003510T5 (de) | Im Mikro- und/oder Nanobereich liegende Neuromorphe integrierte Hybridschaltung | |
| Boubez et al. | Wavelet neural networks and receptive field partitioning | |
| Takefuji et al. | Design of parallel distributed Cauchy machines | |
| Ghosh et al. | Object background classification using Hopfield type neural network | |
| DE60125536T2 (de) | Anordnung zur generierung von elementensequenzen | |
| JPH05165800A (ja) | ニューラルネットを用いた情報処理装置 | |
| Hafner et al. | Learning hierarchical information flow with recurrent neural modules | |
| EP0349819B1 (de) | In integrierter Schaltungstechnik ausgeführtes digitales neuronales Netz | |
| Bishop et al. | Neural networks-an introduction | |
| Deffuant | Neural units recruitment algorithm for generation of decision trees | |
| JPH0457181A (ja) | 多重神経回路網の構築方法およびその装置 | |
| DE3607241C2 (ja) | ||
| Auda et al. | A new neural network structure with cooperative modules | |
| Arena et al. | MLP optimal topology via genetic algorithms | |
| Szu | Neural networks based on peano curves and hairy neurons | |
| Solla et al. | Constrained neural networks for pattern recognition | |
| US5426721A (en) | Neural networks and methods for training neural networks | |
| Babri et al. | Deep feedforward networks: application to pattern recognition | |
| Mandziuk et al. | Incremental class learning-an approach to longlife and scalable learning | |
| El-Bakry | Modular neural networks for solving high complexity problems | |
| Han et al. | Explore the Knowledge contained in Network Weights to Obtain Sparse Neural Networks | |
| JPH0855098A (ja) | ニューラルネットワーク・クラシファイアおよびニューラルネットワークの構成法 | |
| Zhang et al. | Performance aspects of a novel neuron activation function in multi-layer feed-forward networks |