JPH03206548A - 時系列記憶方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は時系列記憶方法に関し、特に時系列を検索キー
に対応させて記憶し、検索キーを与えて時系列を生成す
る時系列記憶方法に関する。

〔従来の技術〕

時系列の個々の要素をＰ＋　として、時系列をＳ＝Ｐ．
Ｐ２Ｐ３・・・ＰＮ と表わすことにする。また、時系列Ｓの検索キーをＫｓ
と表わすことにする。Ｐ，およびＫｓは、数値，文字，
ベクトル，画像などの任意のデータである。

第３図（ａ）は従来の時系列記憶方法の一例を示す概念
図であり、第３図（ｂ）は従来の時系列のデータ構造の
一例を示す概念図である。

従来の時系列記憶方法は、計算機で時系列を記憶する場
合に、第３図（ａ）に示すように、検索キーと時系列の
対応表とを用意して、与えられた検索キーに該当する項
目をその対応表から得ていた。また、従来の時系列のデ
ータ構造としては、第３図（ｂ）に示すように、時系列
の構成要素をポインタで連結する方法などがある。

〔発明が解決しようとする課題〕

上述した従来の時系列記憶方法では、検索キーが正確に
マッチングしなければ、検索がうまく行われない。検索
キーが文字コードなどの単純なものならば問題はないが
、たとえば、検索キーとしてベクトル（たとえば画像や
音声などのパターン信号）を用いる場合には、雑音が混
入するなどしてベクトルの値がわずかでも異なればマッ
チングは失敗する。しかし、現実には多少の値の変動を
吸収して同じものとしてマッチしてほしい場合がある。

以上のことは、時系列の各要素がベクトルの場合にもあ
てはまる。時系列の各要素の値が雑音などによって多少
変動があっても、同じものと見なしたい場合は多い。

情報の変動を吸収して同じものと見なす（以後、一般化
と呼ぶ）能力をもつものとして、ニューラルネットワー
クがある。ニューラルネットワー５一 ークでは、パターンの識別に必要な情報だけを抽出する
情報圧縮能力があり（文献１・・・「ニューラルネット
ワーク情報処理」、産業図書、１９８８、ｐ．９３およ
びｐ．１５２　）　、それによって一般化が行われる。

時系列を生成するネットワークとしては、再帰型ネット
ワークがある（文献２・・・シュライバ、′エンコーデ
ィング　シーケンシャル　ストラクチャ　イン　シンプ
ノレ　リカレント　ネットワーク”、Ｓｃｈｒｅ１ｂｅ
ｒ，Ｄ．Ｓ，　ｅｔ．ａｌ．　　”Ｅｎｃｏｄｉｎｇ　
Ｓｅｑｕｅｎｔｌａｌ　Ｓｔｒｕｃｔｕｒｅ　ｉｎ　Ｓ
１ｍｐｌｅ　Ｒｅｃｕｒｒｅｎｔ　Ｎｅｔｖｏｒｋｓ”
，　ＣＭＵ−ＯＳ−８８−１８３，１９８Ｂ，カーネギ
ーメロン大学）。この再帰型ネットワークでは、状態間
の遷移確率を学習して状態の時系列を生成するが、初期
状態が各時系列に対して常に同じであるために、種々の
検索キーによって時系列を求めることはできない。

本発明の目的は、ニューラルネットワークの一般化能力
を用いて、検索キーや時系列の各要素の値の変動を吸収
して、雑音に強い時系列記憶方法、あるいは、類似した
ものを同一視して記憶する時−６− 系列記憶方法を提供することにある。

〔課題を解決するための手段〕

本願の第１の発明は、学習モードと検索モードとを備え
、入力層，中間層，出力層，文脈層の４種類の層を有す
る再帰型ネットワークに対して、前記検索モードで、初
期状態として前記文脈層に時系列に対する検索キーおよ
び前記入力層に開始マークを与えて時系列の第１要素を
出力させ、次の時点からは、前記中間層の一時点前の値
を前記文脈層に移して前記出力層の一時点前の値を前記
入力層に与えて前記再帰型ネットワークの出力を得る操
作を終了マークが出力されるまで繰り返すことにより、
前記時系列の各要素を次々と出力させることにより構成
されている。

また、本願の第２の発明は、学習モードと検索モードと
を備え、入力層，中間層，出力層，文脈層の４種類の層
を有する再帰型ネットワークに対して、前記学習モード
で、初期状態として前記文脈層に検索キーおよび前記入
力層に開始マークを与えて時系列の第１要素を出力する
ように学習させ、次の時点からは、前記中間層の一時点
前の値を前記文脈層に移して前記入力層に前記時系列の
その時点に相当する要素を与えて前記時系列のその時点
の次の時点の要素を出力するように学習させることを繰
り返し、最後の時点では前記中間層の一時点前の値を前
記文脈層に移して前記入力層に前記時系列の最後の要素
を与えて終了マークを出力するように学習させることに
より構或されている。

一方、本願の第３の発明は、学習モードと検索モードと
を備え、入力層，中間層，出力層，文脈層，制約層の５
種類の層を有する再帰型ネットワークに対して、前記検
索モードで、前記制約層に時系列に対する検索キーを与
え、初期状態として前記入力層に開始マークを与えて時
系列の第１要素を出力させ、次の時点からは、前記中間
層の一時点前の値を前記文脈層に移して前記出力層の一
時点前の値を前記入力層に与えて前記再帰型ネットワー
クの出力を得る操作を終了マークが出力されるまで繰り
返すことにより、前記時系列の各要素を次々と出力させ
ることにより構成されている。

さらに、本願の第４の発明は、学習モードと検索モード
とを備え、入力層，中間層，出力層，文脈層，制約層の
５種類の層を有する再帰型ネットワークに対して、前記
学習モードで、前記文脈層に検索キーを与え、初期状態
として前記入力層に開始マークを与えて時系列の第１要
素を出力するように学習させ、次の時点からは、前記中
間層の一時点前の値を前記文脈層に移して前記入力層に
前記時系列のその時点に相当する要素を与えて前記時系
列のその時点の次の時点の要素を出力するように学習さ
せることを繰り返し、最後の時点では前記中間層の一時
点前の値を前記文脈層に移して前記入力層に前記時系列
の最後の要素を与えて終了マークを出力するように学習
させることにより構成されている。

〔作用〕

本発明は、検索キーと時系列との対応づけ、および、時
系列の各要素間の対応づけをニューラル−９− ネットワークによる連想記憶によって実現している。ニ
ューラルネットワークでは、パターン間の類似性をたと
えばベクトルの距離で表現できる。

このような類似性の表現能力や情報圧縮能力（文献１・
・・ｐ．９３）などの一般化能力によって、類似した入
力に対して、類似した出力を得ることができる（文献１
・・・ｐ．１５２　）。そのために、雑音に強く、また
、類似したものを同一視するような連想記憶が実現でき
る。

第２図（ａ）は第１および第２の発明に用いられる再帰
型ネットワークの構成の一例を示す構成図である。第２
図（ａ）の例は、簡単のために中間層は１つとしている
が、複数個あってもよい。

第２図（ａ）で、細い実線の矢印はユニットの重み付き
和の計算を意味し、太い空白の矢印はベクトルの値のコ
ピーを意味している。

各層には、ユニットと呼ばれる処理単位が配置されてい
る。数学的には、各層の値はその層のユニットを要素と
するベクトルとなる。一般に、各ユニットは入力層に近
い側の隣接層の各ユニット−１０− ？重み付き和を入力して、その入力値に対応した値を出
力層に近い側の隣接層へ出力する（文献１・・・ｐ．１
０−１４．）。ただし、文脈層への入力は中間層の値を
直接コピーして与える。又、中間層への入力は、入力層
と文脈層との両方から与えられる。

なお、各層内のユニット間の結合はない。

ネットワークの学習は、逆伝播学習を用いる（文献１・
・・ｐ．５０−５４．）。これは、入力層にある値を与
えた時に、その出力層の値とその入力に対する望ましい
出力値との２乗誤差を最小にするように、各層間の結合
の重みを変化させるものである。

次に、第１の発明の検索方法で、Ｋｓを検索キーとして
、時系列Ｓ＝Ｐ１Ｐ２・・・ＰＮを検索する場合を説明
する。

まず、文脈層に検索キーＫ６を与え、人力層に開始マー
クを与えて、再帰型ネットワークを入力層から出力層へ
向けて実行する。この時、出力層の値がＰ■となるよう
に再帰型ネットワークの重みが設定されているとする。

重みの設定は、？理的には手作業で行ってもよいが、第
２の発明の学習方法を用いると容易に行うことができる
。

次に、この時の中間層の値を文脈層にコピーし、出力層
の値を入力層に与えて、再びネットワークを実行する。

この際も、入力がＰ＋の時に出力がＰｌ＋１　となるよ
うに再帰型ネットワークの重みが設定されているとする
。

一時的には、各層の値を、 ｉ＝Ｏ　　　　　：　Ｉｏ　”＆、Ｃｏ　”Ｋｓｉ＝Ｌ
　２＋　・・・：Ｉｌ＝ｏ。■、Ｃｉ＝ＨＩ−１と設定
して、ネットワークを実行し、終了マークが出力された
時点で実行を終了する。

次に、第２の発明の学習方法を説明する。検索キーをＫ
８として、時系列Ｓ＝Ｐ．Ｐ２・・・ＰＮを記憶させる
ことを考える。ここでＮ　Ｋｓ　、Ｐ　＋（ｉ＝Ｌ　　
２１　・・・，Ｎ）はベクトルである。また、時系列の
開始を意味する開始マーク（＆と呼ぶ）と終了を意味す
る終了マーク（＄と呼ぶ）を用意する。開始マーク、終
了マークもベクトルで？り、これらはすべての時系列に
対して共通に用いられる。

まず、再帰型ネットワークの文脈層に検索キーＫ８を与
えて、入力層に開始マークを与える。その時、出力層が
Ｐ■になるように、逆伝播学習を行う。次に、その時の
中間層の値を文脈層にコピーして、入力層にＰ１を与え
、その時の出力が今度はＰ２になるように逆伝播学習を
行う。この操作をＰＮまで繰り返し、最後に、入力ＰＮ
に対して出力が終了マークとなるように逆伝播学習を行
う。

一般には、時点ｉでの入力層、中間層、出力層、文脈層
の値（それぞれベクトルである）を、それぞれ、Ｉ　ｌ
　、Ｈ＋　、ＯＩＮ　Ｇ＋　とすると、ｉ＝Ｏ　　　　
　　　　　：■ｏ＝＆、Ｏｏ　＝Ｐｔ　、Ｃ．＝Ｋｓ ｉ：Ｌ　　２１　・・・，　Ｎ−１　：　ＩＩ　＝Ｐｌ
　１０　＋　　＝　Ｐ　ｌ＋１　　）　Ｃ　Ｉ　＝　Ｈ
　＋−ｓｉ　”　Ｎ　　　　　　　　　：　Ｉ　ｓ　＝
　Ｐ　Ｎ　ＮＯＮ＝＆、ＣＮ＝ＨＮ−１ −１３− と設定して、逆伝播学習を行うこととなる。

以上の処理により、文脈層の初期値を検索キーとして利
用することによって、検索キーに対応した時系列の記憶
が可能となる。文献２の再帰型ネットワークでは、文脈
層を検索キーとして用いることは行っていないので、検
索キーに対応した時系列の記憶はできない。

第２図（ｂ）は第３および第４の発明に用いられる再帰
型ネットワーク部の構成の一例を示す構成図である。第
２図（ａ）の例では、簡単のため中間層は１つとしてい
るが、複数個あってもよい。

第１および第２の発明のネットワークとの違いは、検索
キーの値を文脈層の初期値として与えるのではなく、制
約層の値として与える点にある。

制約層の値は１つの時系列の処理の最中には変化しない
。また、文脈層の初期値は各時系列に対して変化しなけ
れば任意であるが、ふつうは零ベクトルとする。制約層
の値は変化しないので、上記の違い以外は、第１および
第２の発明と同様に検−１４− 索および学習の処理が行われる。

〔実施例〕

次に、本発明の実施例について図面を参照して説明する
。

第１図（ａ）は第１の発明の時系列記憶方法のー実施例
を示す流れ図である。本実施例の処理は、第２図（ａ）
に示した再帰型ネットワークに対して行われる。なお、
再帰型ネットワークの中間層は複数個あってもよい。

第１図（ａ）に示すように、まず、ステップ１で、文脈
層５４の初期値として検索キーを与える。検索キーは、
文脈層５４のユニットの個数を次元としたベクトルで与
えられる。検索キーは他のネットワークから与えられて
も、外部信号として与えられてもよい。外部信号として
与えられる際に、検索キーの元々のデータ型がベクトル
でない場合には、そのデータからベクトルへの変換を行
う必要がある。単純には、目的に応じたデータ型の変換
表を作成して変換すればよい。

次に、ステップ２で、入力層５１に開始マークを与えて
、ネットワークを実行し、出力を得る。

開始マークは入力層５１のユニットの個数を次元とした
ベクトルである。開始マークは、時系列の要素（ベクト
ル）と重ならないように設定する必要がある。その方法
として、たとえば、入力層５１のユニット数を時系列の
要素Ｐｉの次元より１つ以上多くして、その超過分のユ
ニットにより開始マークを表わせばよい。これは終了マ
ークについても同様である。

そして、ステップ３で、出力層５３の値（以後、出力値
と呼ぶ）が終了マークとなれば、全体の処理を終了する
。ユニットが連続値をとる場合に、出力値が終了マーク
と微妙にずれることがある。その場合に、たとえば、出
力値と終了マークの２乗誤差を計算して、あるしきい値
以下であれば終了マークであると判断すれはよい。

出力値が終了マークでない場合に、ステップ４で、中間
層５２の値を文脈層５４に移して（ベクトルの各要素を
値をコピーする）、さらに、ステップ５で、出力層５３
の値を入力層５１に移して、ネットワークを実行する。

この操作を終了マークが出力されるまで繰り返す。

この処理によって、ネットワークから時系列の各要素が
順々に出力されることになる。出力された各要素は、こ
のネットワークに接続される他のネットワークに送って
もよいし、外部へ出力してもよい。

第１図（ｂ）は第２の発明の時系列記憶方法の一実施例
を示す流れ図である。本実施例の処理も、第２図（ａ）
の再帰型ネットワークに対して行われる。

第１図（ｂ）に示すように、まず、ステップ１ｌで、文
脈層５４に検索キーを与える。その与え方は、前述のス
テップ１と同様である。

次に、ステップ１２で、入力層５１に開始マークを与え
、その時の出力値がＰ１となるように逆伝播学習を行う
。開始マークの与え方は、前述のステップ２と同様であ
る。

次に、ステップ１３で、時系列のカウンタｉに初期値１
をセットする。

−１７− そして、ステップ１４で、中間層５２の値を文脈層５４
に移して、さらに、ステップ１５で、入力層５１にＰ．
を与えた時に、出力値がＰｌ＋１となるように逆伝播学
習を行う。

次に、ステップ１６で、カウンタｉを１つ増やし、ステ
ップ１７で、ｉが時系列の長さＮに達したかどうかを調
べる。ｉがＮに達していなければ、ステップ１４に戻っ
て、上記の処理を繰り返す。

ｉがＮに達していれば、ステップ１８で、入力層５１に
時系列の最後の要素ＰＮを与えて、出力値が終了マーク
になるように逆伝播学習を行う。

第１図（ｂ）の処理は、１つの時系列についての学習で
あるが、複数個の時系列を学習する場合には、この処理
を各時系列のすべてについて行う必要がある。この際に
、各時系列を１回ずつ学習する操作を何セットか繰り返
して、すべての時系列について平均的に学習できるよう
にする必要がある。

−　１８− なお、」二記の処理を何セットか繰り返す際に、同じ時
系列に対して正確に同じ検索キーを与える必要はない。

前述したように、ニューラルネットワークには類似性に
基づく連想能力や情報圧縮能力などの一般化能力がある
。従って、検索キーを外部から与えられるなんらかの信
号とした場合に、その信号に多少の雑音が含まれていて
もよい。

第１図（ｃ）は、第３の発明の時系列記憶方法の一実施
例を示す流れ図である。本実施例の処理は、第２図（ｂ
）の再帰型ネットワークに対して行われる。

第１図（Ｃ）の処理と第１図（ａ）の処理との違いは、
ステップ２１で、文脈層６４ではなく、制約層６５に検
索キーを与える点にある。文脈層６４の初期値は、各時
系列について同じものであれば任意でよいが、ふつうは
零ベクトルにしておく。ステップ２１以外は第１図（ａ
）の処理と同様である。

第１図（ｄ）は第４の発明の時系列記憶方法の一実施例
を示す流れ図である。本実施例の処即は、第２図（ｂ）
の再帰型ネットワークに対して行われる。

第１図（ｄ）の処理と第１図（ｂ）の処理との違いは、
ステップ３１で、文脈層６４ではなく、制約層６５に検
索キーを与える点にある。文脈層６４の初期値は、各時
系列について同じものであれば任意でよいが、ふつうは
零ベクトルにしておく。ステップ３１以外は第１図（ｂ
）の処理と同様である。

〔発明の効果〕

以上述べたように、本発明の時系列記憶方法は、任意の
データ型の検索キーに対して、対応する時系列を検索で
きる。従来の時系列記憶方法では、検索キーが正確に同
じものでなければ、検索がうまく行われないが、本発明
の時系列記憶方法は、ニューラルネットワークの一般化
能力により、検索キーや時系列の要素が画像や音声のよ
うなベクトルの場合でも、その多少の値の変動を吸収し
て同じものと見なして検索を行うことができるので、こ
れによって、雑音に強い時系列の記憶あるいは類似した
ものを同一視して記憶する時系列の記憶を実現すること
ができるという効果を有している。

【図面の簡単な説明】

第１図（ａ）は第１の発明の時系列記憶方法の一実施例
を示す流れ図、第１図（ｂ）は第２の発明の時系列記憶
方法の一実施例を示す流れ図、第１図（Ｃ）は第３の発
明の時系列記憶方法の一実施例を示す流れ図、第１図（
ｄ）は第４の発明の時系列記憶方法の一実施例を示す流
れ図、第２図（ａ）は第１および第２の発明に用いられ
る再帰型ネットワークの構成の一例を示す構成図、第２
図（ｂ）は第３および第４の発明に用いられる再帰型ネ
ットワークの構成の一例を示す構成図、第３図（ａ）は
従来の時系列記憶方法の一例を示す概念図、第３図（ｂ
）は従来の時系列のデータ構造の一例を示す概念図であ
る。 ５１．８１・・・入力層、５２，Ｅ３２・・・中間層、
５２１− ３， ６３・・・出力層、 ５４， ６４・・・文脈層、 ６　５・・・ 制約層。

Claims (1)

1. 【特許請求の範囲】 １、学習モードと検索モードとを備え、入力層、中間層
   、出力層、文脈層の４種類の層を有する再帰型ネットワ
   ークに対して、前記検索モードで、初期状態として前記
   文脈層に時系列に対する検索キーおよび前記入力層に開
   始マークを与えて時系列の第１要素を出力させ、次の時
   点からは、前記中間層の一時点前の値を前記文脈層に移
   して前記出力層の一時点前の値を前記入力層に与えて前
   記再帰型ネットワークの出力を得る操作を終了マークが
   出力されるまで繰り返すことにより、前記時系列の各要
   素を次々と出力させることを特徴とする時系列記憶方法
   。 ２、学習モードと検索モードとを備え、入力層、中間層
   、出力層、文脈層の４種類の層を有する再帰型ネットワ
   ークに対して、前記学習モードで、初期状態として前記
   文脈層に検索キーおよび前記入力層に開始マークを与え
   て時系列の第１要素を出力するように学習させ、次の時
   点からは、前記中間層の一時点前の値を前記文脈層に移
   して前記入力層に前記時系列のその時点に相当する要素
   を与えて前記時系列のその時点の次の時点の要素を出力
   するように学習させることを繰り返し、最後の時点では
   前記中間層の一時点前の値を前記文脈層に移して前記入
   力層に前記時系列の最後の要素を与えて終了マークを出
   力するように学習させることを特徴とする時系列記憶方
   法。 ３、学習モードと検索モードとを備え、入力層、中間層
   、出力層、文脈層、制約層の５種類の層を有する再帰型
   ネットワークに対して、前記検索モードで、前記制約層
   に時系列に対する検索キーを与え、初期状態として前記
   入力層に開始マークを与えて時系列の第１要素を出力さ
   せ、次の時点からは、前記中間層の一時点前の値を前記
   文脈層に移して前記出力層の一時点前の値を前記入力層
   に与えて前記再帰型ネットワークの出力を得る操作を終
   了マークが出力されるまで繰り返すことにより、前記時
   系列の各要素を次々と出力させることを特徴とする時系
   列記憶方法。 ４、学習モードと検索モードとを備え、入力層、中間層
   、出力層、文脈層、制約層の５種類の層を有する再帰型
   ネットワークに対して、前記学習モードで、前記文脈層
   に検索キーを与え、初期状態として前記入力層に開始マ
   ークを与えて時系列の第１要素を出力するように学習さ
   せ、次の時点からは、前記中間層の一時点前の値を前記
   文脈層に移して前記入力層に前記時系列のその時点に相
   当する要素を与えて前記時系列のその時点の次の時点の
   要素を出力するように学習させることを繰り返し、最後
   の時点では前記中間層の一時点前の値を前記文脈層に移
   して前記入力層に前記時系列の最後の要素を与えて終了
   マークを出力するように学習させることを特徴とする時
   系列記憶方法。