JPH06119476A

JPH06119476A - 時系列データ処理装置

Info

Publication number: JPH06119476A
Application number: JP4271415A
Authority: JP
Inventors: Mitsuhiro Inazumi; 満広稲積
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 1992-10-09
Filing date: 1992-10-09
Publication date: 1994-04-28

Abstract

(57)【要約】【目的】本発明は高性能の時系列データ処理装置を実
現する事を目的とする。【構成】ニューラルネットワークを用いた時系列デー
タ処理装置において、そのニューラルネットワークを構
成する神経細胞様素子が、少なくとも、１つ以上のデー
タ入力手段と、入力されたデータの値の重み付き積算手
段と、積算されたデータの値の積分手段と、積分された
データの値を、設定された上限、下限の間の値に制限す
る出力値制限手段と、を含む事を特徴とする時系列デー
タ処理装置である。【効果】従来例に比較して非常に高速な、かつ正確な
時系列データ処理を行う事ができる。また、それを実行
するためのハードウェアも非常に小さくする事ができ
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はニューラルネットワーク
を用いた時系列データ処理装置に関するものである。

【０００２】

【従来の技術】従来の時系列データ処理装置に用いられ
る方法として、バックプロパゲーション学習法とニュー
ラルネットワークである多層パーセプトロンを用いた方
法（ＭＬＰ法）がある。また、特に時系列データのパタ
ンマッチング装置、あるいは認識装置において用いられ
る処理方法としては、ＤＰマッチング法（ＤＰ法）、隠
れマルコフモデル法（ＨＭＭ法）等がある。

【０００３】認識を例にとれば、これらの技術の詳細に
ついては、例えば時系列データの例として音声を考えれ
ば、中川聖一著「確率モデルによる音声認識」（電子情
報通信学会）、中川、鹿野、東倉共著「音声・聴覚と神
経回路網モデル」（オーム社）等に記述されている。こ
れらに記述されている事柄は、音声認識に特有の若干の
項目を除けば時系列データ認識について一般的に適用さ
れる事柄である。

【０００４】以下の説明については、説明をより具体的
にするために、認識すべき時系列データとして音声デー
タの場合を考える。ただし、ここで述べている事柄は音
声認識に特有の事柄ではなく、より一般性を持った事柄
である。

【０００５】先ず、ＤＰ法は認識時において、各々の範
疇を代表する標準データのそれぞれについて、入力され
たデータとの間で始端と終端の対応を仮定する。そし
て、それらの内部の要素の対応を様々な時間正規化関
数、あるいは時間歪関数で変化させる。そして、入力デ
ータと標準パタン間の差異が最小となる対応関係と、そ
の時のパタン間の差異をそれらの間の距離とし、その距
離が最小である標準パタンに代表される範疇を認識結果
とするものである。

【０００６】この場合、始端と終端の対応を仮定すると
言う事は以下の理由による。

【０００７】最も単純な理由は、ＤＰに用いられる標準
パタンには始端と終端が存在すると言う事である。従っ
て、入力データにおいてもどこかに始端と終端を仮定し
なければ比較そのものができないと言う事による。

【０００８】もう一つの理由は、パタン間の距離は、そ
のパタンを構成する要素のそれぞれの差異の積算であ
り、そのためその平均はパタンの長さに比例して大きく
なる。そのため長さの異なる標準パタン間において、パ
タン長さに依存しない距離の比較をするためには、標準
パタン、あるいは入力データの長さに対して、得られた
距離を正規化する必要がある。そのためにはパタンの長
さ、つまりパタンの始端終端の対応が必須となるのであ
る。

【０００９】ＨＭＭ法においては、ＤＰ法の標準パタン
に代わり範疇を代表するのは、複数の状態と複数の状態
間遷移により構成されるＨＭＭモデルである。ＨＭＭモ
デルの各々の状態には存在確率が、また各々の遷移には
遷移確率と出力確率が与えられている。これらの確率値
は学習用データを用いた学習により決定される。これら
の学習された確率値によりＨＭＭモデルは統計的、確率
的に一つの範疇を代表する。

【００１０】ＨＭＭ法は認識時において、各々の範疇を
代表するＨＭＭモデルのそれぞれについて、ＤＰ法と同
じく、入力されたデータとの間で始端と終端の対応を仮
定し、その入力されたデータ列を出力すると言う条件の
もとで、始状態から終状態へ遷移する確率としてその入
力データが各々の範疇に属する確率が計算される。そし
てその確率を最大とするＨＭＭモデルに代表される範疇
を、入力データが属するべき範疇として認識結果とする
ものである。

【００１１】ＤＰ法の場合と同じく、この場合にも始端
と終端の対応を仮定すると言う事は以下の理由による。

【００１２】ＨＭＭモデルはＤＰに用いられる標準パタ
ンのような意味での始端と終端は存在しないが、処理を
行うための始状態と終状態と言う意味でのデータの始端
と終端は存在する。従って、ＤＰ法と同じく入力データ
においてもどこかに始端と終端を仮定しなければ比較処
理そのものができないと言う事による。

【００１３】もう一つの理由は、ＨＭＭの結果判定基準
である終状態の確率値は、そのパタンを構成する要素の
それぞれを出力する状態間遷移の積算であり、その値は
確率の積であるためにパタンの長さに比例して小さくな
る。そのため長さの異なるパタン間において、パタン長
さに依存しない確率値の比較をするためには、その結果
をパタンの長さに対して正規化を行う必要がある。その
ためにはパタンの長さ、つまりパタンの始端終端の対応
が必須となるのである。

【００１４】また、この正規化操作そのものも自明なも
のではなく、試行錯誤を必要とするものである。

【００１５】また、ＨＭＭの学習時においても始端と終
端の仮定が必要となる。

【００１６】つまり、ＨＭＭモデルは時系列データを状
態と遷移と言う統計、確率的な形での時系列でモデル化
する。従って学習時においては、学習用入力データの始
状態に近い部分、終状態に近い部分、その中間の部分等
を特定する必要がある。そのためにはデータの始端と終
端を正確に与える事が必要となる。仮に始端の与え方が
不正確であり、始端に近い部分に必要以上に多種のデー
タが与えられたすると、これはそのモデルの認識能力を
下げる事になる。また逆に学習用データの中に必要なデ
ータが欠けていたとしたら、その欠けたデータを含む入
力データは正確な認識が不可能となる。その結果、誤認
識される可能性が高くなる。

【００１７】以上述べた、ＤＰ法、ＨＭＭ法のいずれに
おいても、見かけ上始端終端に依存しない処理をする事
ができる。それは基本的に可能性のある全ての始端終端
についての処理を行い、最良の結果を与える始端終端を
試行錯誤的に発見すると言う方法である。

【００１８】しかし、例えば長さＮのパタンの中から、
ある範疇に属するデータを検出する場合を考えてみる
と、始端の可能性としてはＮのオーダーの可能性があ
り、また終端においてもＮのオーダーの可能性がある。
つまり、始端終端の組み合わせとしてはＮの自剰のオー
ダーの可能性が考えられる。従ってこの場合において
は、この非常に多数の組み合わせの全てについて認識処
理を行わなければならない。そのためこの処理には非常
に時間がかかると言う問題がある。

【００１９】また組み合わせの数と言う量的な問題以前
に、始端終端の存在と言う仮定自身に、より本質的な質
的な問題がある。入力データに、ある範疇のデータが唯
一つしか含まれないと言う条件であれば始端終端は自明
である。しかし、現実の状況においてそのような条件が
成立するのは極希である。より一般的な場合として、入
力データに一つ以上の範疇のデータが連続する場合にお
いては、その境界は自明ではない。むしろ、音声等に代
表される時系列情報においては、そのような境界は本質
的に明確には存在せず、連続した２つの範疇のデータは
その情報が重複する遷移領域を経て一方から他方へなめ
らかに変化すると考えられる。

【００２０】従ってＤＰ法、ＨＭＭ法において、始端終
端を仮定したデータで標準データを作成する事、あるい
はそのようなデータでＨＭＭ法のパラメータを学習させ
る事はその正確度において非常に大きな問題がある。ま
た、このような問題を処理するためには、特定の課題に
特化した種々の工夫が必要であり、そのような工夫無し
には良い結果を得る事ができない。しかし、このような
工夫は一般的なものではない。

【００２１】一方、従来法のもう一つの方法であるＭＬ
Ｐ法の場合はデータの始端終端を仮定する事は特に必要
はない。しかしＭＬＰ法においては、データの始端、終
端ではなく、入力データの範囲と言う意味での新たな始
端、終端の問題が起こる。つまり、ＭＬＰ法は基本的に
は静的なデータを認識するための方法であり、それに時
系列データを認識させるためには、その入力データの時
間構造を何らかの形でニューラルネットワークの構造へ
反映させなければならない。

【００２２】この方法として最も多く用いられるのは、
ある時間範囲のデータを１つの入力データとして入力
し、等価的に時間情報を処理すると言う方法である。換
言すれば、時間情報を空間情報へ展開して与えると言う
事である。しかし、この時間範囲、空間範囲はＭＬＰの
構成上固定されたものでなければならない。

【００２３】一方時系列データの長さは、その範疇によ
り、また同一範疇の中においても大きく変動する。例え
ば音声における音素を例にとれば、長い音素である母音
等と、短い音素である破裂音等の平均長さは１０倍以上
異なる。また同一音素内においても実際の音声中での長
さは２倍以上変動する。従って、仮にデータの入力範囲
を平均的な長さに設定したとすると、短い音素を認識す
る場合は、その入力データの中には認識対象以外のデー
タが多数含まれる事になる。また、長い音素を認識する
場合はその入力データの中には認識対象のデータの一部
しか与えられないと言う事になる。これらはいずれも認
識能力を下げる原因である。また音素毎に異なる入力長
さを設定したとしても、その音素自身の長さが変動する
ので問題の解決にはならない。このような事は時系列情
報一般に見られる事である。

【００２４】従来のＭＬＰ法の変形の一つとして、その
出力を入力側へフィードバックすると言う方法がある。
この例としては文字認識の場合であるが、例えば、電子
情報通信学会論文誌Ｄ−ＩＩの第Ｊ７４巻（１９９１
年）の１５５６頁から１５６４頁の「フィードバック結
合をもつ３層ＢＰモデルを用いた印刷手書き文字列の認
識」などに見られる。

【００２５】しかしこれらの方法には、上記文献よりも
明かであるように、ニューラルネットワークの学習を収
束させるのが困難である、また、そのための学習用出力
（教師信号）を試行錯誤的につくらなければならない等
と言う問題点がある。

【００２６】

【発明が解決しようとする課題】上で述べてきたよう
に、従来的な時系列データ処理装置に用いられる方法、
特にパタンマッチング、認識を意図した方法においては
データの始端と終端が必要となる。あるいは入力範囲の
始端と終端が必要となる。しかし、時系列データにおい
ては、これらは原理的に明確にはできないと言う問題が
ある。また、無理にそれを仮定する事は装置の処理精度
を下げるを下げると言う問題がある。

【００２７】また、見かけ上これらを緩和するために
は、等価的に全ての可能な始端と終端の組み合わせにつ
いての処理を必要とする。このためには非常に多くの処
理を必要とすると言う問題がある。

【００２８】また同時に、この事は実際の装置を構成す
るハードウェア上でも非常に大きな問題である。つま
り、この事は処理時において始端終端の可能性のある全
てのデータを保持する必要がある事を意味し、そのため
に非常に大きなデータメモリーを必要とする事を意味す
る。また、そのデータの始端終端位置の特定やデータの
更新等の管理をするための処理も必要となる。

【００２９】また、従来的な方法は長さに対し結果を正
規化する操作が必要となる。しかし、この操作は一般
的、自明なものではなく、種々の状況、認識対象の変化
等に対し、個別に調整されなければならないと言う問題
がある。このため、より一般的な状況において良い処理
精度を得るのが困難であると言う問題がある。

【００３０】また、従来のＭＬＰ法の変形である「フィ
ードバック結合を持つＢＰモデル」型のニューラルネッ
トワークは、学習を収束させるのが困難であり、またそ
のための学習用出力（教師信号）を試行錯誤的に作成し
なければならない等の問題がある。

【００３１】

【課題を解決するための手段】本発明は、ニューラルネ
ットワークを用いた時系列データ処理装置において、そ
のニューラルネットワークを構成する神経細胞様素子
が、少なくとも、１つ以上のデータ入力手段と、入力さ
れたデータの値の重み付き積算手段と、積算されたデー
タの値の積分手段と、積分されたデータの値を、設定さ
れた上限、下限の間の値に制限する出力値制限手段と、
を含む事を特徴とする時系列データ処理装置、及び、ニ
ューラルネットワークを用いた時系列データ処理装置に
おいて、そのニューラルネットワークを構成する神経細
胞様素子が、少なくとも、１つ以上のデータ入力手段
と、入力されたデータの値の重み付き積算手段と、積算
されたデータの値を、設定された上限、下限の間の値に
制限する入力値制限手段と、積算、制限された入力の値
を積分する入力値積分手段と、を含む事を特徴とする時
系列データ処理装置、及び、上記神経細胞様素子の出力
が、それ自身の入力への結合を持つ事を特徴とする上記
の時系列データ処理装置、及び、上記のニューラルネッ
トワークを構成する神経細胞様素子の出力が、それ自身
を含む全ての神経細胞様素子の入力との結合を持つ事を
特徴とする上記の時系列データ処理装置である。

【００３２】

【実施例】

（実施例１）図１は本発明におけるニューラルネットワ
ークを構成する神経細胞様素子の機能を模式的に示した
ものである。図中の番号１０１はデータ入力手段を、１
０２は１０１により得られたデータ入力値に重みを付け
積算する重み付き積算手段を、１０３は積算されたデー
タ値を積分する積分手段を、１０４は積分の結果得られ
た値の範囲を設定された上限と下限の間の値へ制限する
出力値制限手段をそれぞれ模式的に示す。

【００３３】図４は図１の構成を実際に回路化した例で
ある。図中の番号４０１は、図１のデータ入力手段と重
み付き積算手段を、また４０２は積分手段を、４０３は
出力値制限手段をそれぞれ簡単な電子回路として構成し
た例である。

【００３４】また、図３は従来のニューラルネットワー
クを構成する神経細胞様素子の機能を模式的に示したも
のである。図中の番号３０１はデータ入力手段を、３０
２は３０１により得られたデータ入力値に重みを付け積
算する重み付き積算手段を、３０３は生産されたデータ
の値の範囲を設定された上限と下限の間へ制限する出力
値制限手段をそれぞれ模式的に示す。

【００３５】図６は図３の構成を実際に回路化した例で
ある。図中の番号６０１は、図３のデータ入力手段と重
み付き積算手段を、また６０２は出力値制限手段をそれ
ぞれ簡単な電子回路として構成した例である。

【００３６】この二つの例の比較より明かであるが、本
発明の神経細胞様素子は従来の神経細胞様素子にはなか
った積分手段を持つ。従って、従来の神経細胞様素子に
おいては、その出力が、その時点での入力のみにより決
定されると言う意味で静的であったのに対し、本発明の
神経細胞様素子では、その神経細胞様素子へ入力された
データの過去の履歴が、その積分値として変換、保持さ
れているおり、それにより出力が決まると言う意味で動
的である。

【００３７】つまり、従来の静的な神経細胞様素子を用
いたニューラルネットワークで時系列データを処理しよ
うとすれば、そのネットワークの構造として時間を取り
込む必要があったのに対し、本発明の動的な神経細胞様
素子を用いたニューラルネットワークは、ニューラルネ
ットワークの構造等によらずに時系列データを処理する
事ができる。

【００３８】より具体的に言うと、従来のニューラルネ
ットワークに時系列データを処理させようとすると、そ
の時間情報を空間情報へ展開するような方法、例えば複
数のタイミングで入力されたデータを一つの入力データ
へまとめあげるとかの方法が必要となる。このために
は、このまとめあげるデータを記憶し、管理するための
ハードウェアと処理が必要となる。あるいは上で述べた
ような時間に依存する情報を記憶するための、特別なコ
ンテキスト素子が必要となる。この場合は、こｎコンテ
キストを管理するためのハードウェアと処理が必要とな
る。

【００３９】それに対し、本発明のニューラルネットワ
ークによれば、コンテキスト情報等は各々の素子の内部
の積分値として記憶されるため、特別なニューラルネッ
トワークの構造を設定する必要がない。従って、入力デ
ータにおいても、それぞれのタイミングのデータを、そ
れぞれのタイミングで入力すると言う最も単純な入力方
法で十分である。従って上で述べたような、時間情報を
処理するための特別なハードウェアであるとか処理は全
く必要ではない。

【００４０】図７は本発明における神経細胞様素子を用
いたニューラルネットワークによる時系列処理方法の１
例の模式図である。この例では全素子数を６とし、入力
素子数が２、出力素子数が２、それ以外を２として、そ
れらを自己ループを含む全結合させた例である。

【００４１】勿論これはこの通りである必要はなく、例
えば、図１１に示したように、基本的にランダムな結合
と、入力素子と、出力素子とを兼ねる事も可能である。

【００４２】図８はある時系列データの中から「肯定デ
ータ」を検出させる処理の学習用出力の例である。この
ように、ニューラルネットワークに「肯定データ」と
「否定データ」の種々の組み合わせを学習させる事によ
り、任意の時系列の中から肯定データを検出できるよう
にする事ができる。

【００４３】図９、図１０は実際にある音声単語認識能
力をニューラルネットワークへ学習させた場合の出力の
例である。ここで認識させたい単語（肯定データ）とし
ては「とりあえず」を、それ以外の参照用単語（否定デ
ータ）としては、「終点」、「腕前」、「拒絶」、「超
越」、「分類」、「ロッカー」、「山脈」、「隠れピュ
ーリタン」の８単語を与えた。また、音声特徴抽出手段
の出力としては２０次のＬＰＣケプストラムを仮定し
た。従って、入力素子数は２０である。入力のタイミン
グとしてはＬＰＣケプストラム分析に同期して１フレー
ム分のデータを逐次入力した。従って、複数のデータを
時間軸方向に記憶するようなハードウェア、処理は行わ
ない。また、出力素子数としては、図８に破線と実線で
示した２つの出力時系列を出力する２出力素子を仮定し
た。従って、このニューラルネットワークは１フレーム
のデータを入力し、１フレームのデータを出力する。ま
た、入出力以外の隠れ素子数としては８個の素子を用い
た。学習回数は４０００回である。

【００４４】図９より明かであるように、本発明の神経
細胞様素子を用いたニューラルネットワークは、連続し
た３個以上の単語の中から検出対象とする単語を検出す
る事ができる。図より明かであるように、この例では従
来例のように始端、終端を与える事無く単語「とりあえ
ず」を検出している。

【００４５】また図１０は図９と類似したものである
が、未知単語中らか認識対象単「とりあえず」を検出し
た例である。このように、本発明の認識方法は、十分な
汎化能力を持っている事が分かる。

【００４６】これらを従来例と比較すると、図９で与え
たデータの長さは合計１０４９個であるので、従来的な
始端、終端を与えて認識させる場合は単純に言って１０
４９の自剰個のオーダーの組み合わせを調べる必要があ
る。しかし、本発明は１０４９個のデータをそれぞれ１
回ずつ入力として与えるのみで良いので、従来例に比較
して数百倍の高速処理が可能である。また、データをそ
れぞれ１回のみ入力すれば良いと言う事は、従来例のよ
うに始端、終端となり得る範囲のデータを記憶しておく
必要がない事を意味し、その結果データメモリーも従来
例に比較して小量で良い事を意味する。

【００４７】また、出力は従来例のＤＰ法、ＨＭＭ法の
ように単調増加、あるいは単調減少するのではなく、必
要な所でピーク値を持つ、従って従来例の様に出力値を
正規化する必要はない。つまり、出力は常にある値の範
囲（この例の場合は−１から１の間）にあり、かつその
値の持つ重みは認識区間のどこでも同じである。この事
は処理すべき値のダイナミックレンジが狭い事を意味
し、処理時に浮動小数点データや対数データを用いなく
とも、整数型のデータでも十分な性能を出せる事を示し
ている。

【００４８】（実施例２）図２は本発明におけるニュー
ラルネットワークを構成するもう一つの神経細胞様素子
の機能を模式的に示したものである。図中の番号２０１
はデータ入力手段を、２０２は２０１により得られたデ
ータ入力値に重みを付け積算する重み付き積算手段を、
２０３は得られた積算値の値の範囲を設定された上限と
下限の間の値へ制限する出力値制限手段を、２０４はそ
の制限された入力値を積分する積分手段をそれぞれ模式
的に示す。

【００４９】図５は図２の構成を実際に回路化した例で
ある。図中の番号５０１は、図２のデータ入力手段と重
み付き積算手段を、また４０２は入力値制限手段を、４
０３は範囲を制限された入力値を積分する成分手段をそ
れぞれ簡単な電子回路として構成した例である。

【００５０】この例においても実施例１と同等の効果を
得る事ができる。

【００５１】

【発明の効果】以上述べてきたように、本発明の時系列
データ処理装置によれば、１）、従来例では入力の長さｎの自剰に比例した処理時
間が必要であったが、本発明ではデータを１回のみ与え
れば良く非常に高速な処理が可能である。

【００５２】２）、入力データを記憶するメモリーが非
常に少なくても良い。

【００５３】３）、結果の正規化の必要がない。

【００５４】４）、容易に連続処理が可能である。

【００５５】５）、整数型のデータ表現でも十分な精度
が得られる。

【００５６】６）、肯定否定出力を組み合わせる事によ
り、非常に高精度の認識結果が得られる。

【００５７】７）、より多出力の任意の情報を出力させ
る事ができる。

【００５８】８）、学習が極めて容易であり、試行錯誤
的な部分が非常に少ない。

【００５９】などの効果がある。このような効果は実施
例で示した連続音声認識においてばかりでなく、一般の
時系列データ処理において有効である。例えば、種々の
信号のフィルタリング処理であるとかにおいても有効で
ある。

【００６０】より具体的に言うと、例えば信号のゴース
ト、雑音等の除去によるＳ／Ｎ比の向上、波形等価処理
による処理マージンの向上等も考えられる。

【図面の簡単な説明】

【図１】本発明におけるニューラルネットワークを構成
する神経細胞様素子の機能の模式図である。

【図２】本発明におけるニューラルネットワークを構成
する神経細胞様素子の機能の模式図である。

【図３】従来におけるニューラルネットワークを構成す
る神経細胞様素子の機能の模式図である。

【図４】本発明におけるニューラルネットワークを構成
する神経細胞様素子の機能を電子回路として構成した場
合の例の模式図である。

【図５】本発明におけるニューラルネットワークを構成
する神経細胞様素子の機能を電子回路として構成した場
合の例の模式図である。

【図６】従来におけるニューラルネットワークを構成す
る神経細胞様素子の機能を電子回路として構成した場合
の例の模式図である。

【図７】本発明の神経細胞様素子を用いたニューラルネ
ットワークの構成の一模式図である。

【図８】本発明のニューラルネットワークの学習用教師
出力の例を示す模式図である。

【図９】本発明のニューラルネットワークによる音声単
語検出出力の一模式図である。

【図１０】本発明のニューラルネットワークによる音声
単語検出出力の一模式図である。

【図１１】本発明の神経細胞様素子を用いたニューラル
ネットワークの構成の一模式図である。

【符号の説明】

１０１：データ入力手段１０２：重み付き積算手段１０３：積分手段１０４：出力値制限手段２０１：データ入力手段２０２：重み付き積算手段２０３：入力値制限手段２０４：積分手段３０１：データ入力手段３０２：重み付き積算手段３０３：出力値制限手段４０１：データ入力、重み付き積算手段４０２：積分手段４０３：出力値制限手段５０１：データ入力、重み付き積算手段５０２：入力値制限手段５０３：積分手段６０１：データ入力、重み付き積算手段６０２：入力値制限手段３０３：出力値制限手段

Claims

【特許請求の範囲】

【請求項１】ニューラルネットワークを用いた時系列
データ処理装置において、そのニューラルネットワーク
を構成する神経細胞様素子が、少なくとも、１つ以上の
データ入力手段と、入力されたデータの値の重み付き積
算手段と、積算されたデータの値の積分手段と、積分さ
れたデータの値を、設定された上限、下限の間の値に制
限する出力値制限手段と、を含む事を特徴とする時系列
データ処理装置。
【請求項２】ニューラルネットワークを用いた時系列
データ処理装置において、そのニューラルネットワーク
を構成する神経細胞様素子が、少なくとも、１つ以上の
データ入力手段と、入力されたデータの値の重み付き積
算手段と、積算されたデータの値を、設定された上限、
下限の間の値に制限する入力値制限手段と、積算、制限
された入力の値を積分する入力値積分手段と、を含む事
を特徴とする時系列データ処理装置。
【請求項３】前記神経細胞様素子の出力が、それ自身
の入力への結合を持つ事を特徴とする請求項１または請
求項２に記載の時系列データ処理装置。
【請求項４】前記のニューラルネットワークを構成す
る神経細胞様素子の出力が、それ自身を含む全ての神経
細胞様素子の入力との結合を持つ事を特徴とする請求項
１または請求項２に記載の時系列データ処理装置。