JPS6258520B2 - - Google Patents
Info
- Publication number
- JPS6258520B2 JPS6258520B2 JP2873882A JP2873882A JPS6258520B2 JP S6258520 B2 JPS6258520 B2 JP S6258520B2 JP 2873882 A JP2873882 A JP 2873882A JP 2873882 A JP2873882 A JP 2873882A JP S6258520 B2 JPS6258520 B2 JP S6258520B2
- Authority
- JP
- Japan
- Prior art keywords
- waveform
- signal waveform
- sequence
- residual
- series
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired
Links
- 238000000034 method Methods 0.000 claims description 24
- 239000013598 vector Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
Description
【発明の詳細な説明】
〔発明の技術分野〕
本発明は、L種類の標準波形系列より求めた線
形予測係数をインパルス応答とするL種類のフイ
ルタを並列に並べ、味知の信号波形系列を入力し
た時に、その出力の自乗和が最小となるフイルタ
添字を入力信号波形系列の属するカテゴリとする
信号波形認識装置において、フイルタ出力の変動
によつて生じる誤認識を防ぐために、L種類のフ
イルタの出力それぞれに対して、予め1個以上K
個のお互いが正規直交関係をもつ系列を用意して
おき、その系列が示す方向の成分をフイルタの出
力からとりさることによつて、フイルタ出力に加
わつた変動を少なくするようにした信号波形認識
方式に関するものである。[Detailed Description of the Invention] [Technical Field of the Invention] The present invention has L types of filters whose impulse responses are linear prediction coefficients obtained from L types of standard waveform sequences, arranged in parallel, and which generates Ajichi's signal waveform sequence. In a signal waveform recognition device in which the category to which an input signal waveform series belongs is the filter subscript that minimizes the sum of squares of its output when input, L types of filters are used to prevent misrecognition caused by fluctuations in filter output. For each output, one or more K
A signal waveform recognition method that reduces fluctuations added to the filter output by preparing a series in which each of the series has an orthonormal relationship and removing components in the direction indicated by the series from the filter output. It is related to the method.
信号波形認識方式には種々の方法があるが、そ
の中に残差波形電力法と呼ばれる方法がある。本
発明は、残差波形電力法を発展改良したものであ
るので、残差波形電力法について説明する。
There are various signal waveform recognition methods, one of which is a method called the residual waveform power method. Since the present invention is an improved version of the residual waveform power method, the residual waveform power method will be explained.
信号波形系列{Xn}を、伝達関係の極が{α
n}P n=1で与えられるフイルタのインパルス応答と
する。すなわち、伝達関係をG(z)とするなら
ば、
となる。ゆえに、
となる。 The signal waveform series {Xn} is expressed as the pole of the transfer relationship is {α
n } P Let the impulse response of the filter be given by n=1 . In other words, if the transfer relationship is G (z) , then becomes. therefore, becomes.
信号波形系列{xo}を白色化するフイルタ
は、G(z)の逆の特性をもつフイルタ
である。ここで、{ak}P k=1は線形予測係数であ
る。信号波形系数系列{xo}をフイルタA(z)に
通すならば、
となる。実際の波形には優乱項が含まれているた
めに、残差を{eo}として
と書かれる。 The filter that whitens the signal waveform series {x o } is a filter with the opposite characteristics of G (z). It is. Here, {a k } P k=1 is a linear prediction coefficient. If the signal waveform series {x o } is passed through the filter A (z) , then becomes. Since the actual waveform contains a dominant term, the residual can be expressed as {e o }. is written.
もともと線形予測係数{ak}は、残査の自乗
和を最小にするように選ばれるのであるから、逆
フイルタA(z)の出力の自乗和は最小となる。こ
の原理を応用した方法が残差波形電力法である。 Since the linear prediction coefficients {a k } are originally selected so as to minimize the sum of squares of the residuals, the sum of squares of the output of the inverse filter A (z) is minimized. A method that applies this principle is the residual waveform power method.
信号波形系列のカテゴリがL種存在するとす
る。それぞれに対して線形予測係数{a(l)k}
P L k=1 l=1を決定し、逆フイルタA(l)
(z)を作る。信
号波形系列{x(l)o}が、フイルタG(l)(z)=1/
A
(l)(z)からの出力であるとする。フイルタA(l)(z
)の出
力を{e(l)o}とすれば、
となる。他のフイルタを用いれば、
となる。e(l)oとe(l)o′の間には、
の関係があるから、逆フイルタの添字を信号波形
系列が属するカテゴリとすることができる。 It is assumed that there are L categories of signal waveform series. For each linear prediction coefficient {a(l) k }
Determine P L k=1 l=1 and apply the inverse filter A(l)
Make (z) . The signal waveform sequence {x(l) o } is the filter G(l) (z) = 1/
A
(l) Suppose that it is the output from (z) . Filter A(l) (z
) is {e(l) o }, then becomes. If you use other filters, becomes. Between e(l) o and e(l) o ′, Because of this relationship, the subscript of the inverse filter can be set as the category to which the signal waveform series belongs.
上記方法は、予め線形予測係数を用意しておく
関係上、認識処理時間中に線形予測係数を計算す
る手続きがないので、高速な認識処理が可能であ
るという長所をもつ。
The above method has the advantage that high-speed recognition processing is possible because the linear prediction coefficients are prepared in advance and there is no procedure for calculating the linear prediction coefficients during the recognition processing time.
ところが、信号波形系列の生成フイルタG(l)(z)
が変動したとすれば、波形{x(l)o}は変動する。
変動した波形を{(l)o}として式(6),(7)を計算す
れば、
となるが、必ずしも
となるとは言えない。不等号が逆転すれば誤認識
となる。 However, the generation filter G(l) (z) of the signal waveform series
If the waveform {x(l) o } changes, the waveform {x(l) o } changes.
If we calculate equations (6) and (7) using the fluctuated waveform as {(l) o }, we get , but not necessarily I cannot say that it will be. If the inequality sign is reversed, it will be a misrecognition.
本発明は、残差波形電力法のこのような欠点を
改良しつつ、長所を同時にもちあわせた認識装置
を実現することを目的とするものである。
An object of the present invention is to realize a recognition device that improves the drawbacks of the residual waveform power method and has the advantages at the same time.
本発明は、類の未知なる入力信号波形系列を、
L種類の類の既知なる標準信号波形系列の線形予
測係数をインパルス応答波形とするフイルタを介
して残差波形系列を得、この残差波形系列の自乗
和出力により入力信号波形系列よりの属する類を
決定する認識方式において、前記L種類の各類毎
に予め設定されかつ前記入力信号波形系列の変動
或分を除くための1又は複数の補助波形系列を発
生し、この補助波形系列と前記残差波形系列との
内積値を求め、各内積値の自乗和を前記残差波形
系列の自乗和出力から減算し、この減算結果を用
いて前記入力信号波形系列の属する類を決定する
ことを特徴とするものである。
The present invention enables unknown input signal waveform sequences of
A residual waveform sequence is obtained through a filter that uses the linear prediction coefficients of known standard signal waveform sequences of L types of classes as impulse response waveforms, and the output of the sum of squares of this residual waveform sequence is used to determine the class to which the input signal waveform series belongs. In the recognition method for determining the auxiliary waveform sequence, one or more auxiliary waveform sequences are generated which are set in advance for each of the L types and for removing some fluctuations in the input signal waveform sequence, and the auxiliary waveform sequence and the residual waveform sequence are The method is characterized in that an inner product value with the difference waveform series is determined, the sum of squares of each inner product value is subtracted from the output of the sum of squares of the residual waveform series, and the subtraction result is used to determine the class to which the input signal waveform series belongs. That is.
しかして、入力信号波形系列として音声波形が
供給される音声認識システムにあつては、個人差
の影響を除き、特に不特定話者に対して高精度な
識別を行なうことができる。 Therefore, in a speech recognition system that is supplied with speech waveforms as an input signal waveform series, it is possible to eliminate the influence of individual differences and perform highly accurate identification, especially for unspecified speakers.
また音声波形に限られず、各種の入力信号波形
の識別に際し、その変形や変動に強い識別を行な
うことができる。 Furthermore, when identifying various input signal waveforms, not limited to voice waveforms, it is possible to perform identification that is resistant to deformations and fluctuations.
本発明の装置の具体的な構成を説明する前に、
本発明の装置で達成できる識別方式について述べ
る。
Before explaining the specific configuration of the device of the present invention,
An identification method that can be achieved with the device of the present invention will be described.
カテゴリlから生成された信号波形系列を、そ
の逆フイルタA(l) (z)に通したときの残差波形系
列
の作るベクトルe(l) i=(ei1ei2…eiN)Tが正
規直
交ベクトル{μ(l) k}N k=1によつてFourier展
開でき
るものとする。ここで|μ(l)kの選び方を考える。
ベクトルe(l) iの作る行列を
E(l) i=(e(l) ie(l) i+1…e(l)
i+N−1)(12)
とすれば、共分散行列V(l) iは、
V(l) i=E(l)T iE(l) i
となる。共分散行列の平均を考えて、
とすれば、P次の共分散の平均が求められる。こ
こでIは任意の大数である。 The vector e (l) i = (e i1 e i2 ...e iN ) T created by the residual waveform sequence when the signal waveform sequence generated from category l is passed through its inverse filter A (l) (z) is It is assumed that Fourier expansion can be performed using an orthonormal vector {μ (l) k } N k=1 . Now consider how to choose |μ(l) k .
The matrix created by vector e (l) i is E (l) i = (e (l) i e (l) i+1 ...e (l)
i+N-1 )(12) Then, the covariance matrix V (l) i becomes V (l) i = E (l)T i E (l) i . Considering the mean of the covariance matrix, Then, the average of the P-order covariances is calculated. Here I is an arbitrary large number.
V(l)の固有値問題
V(l)〓(l) k=λ(l) k〓(l) k,
‖‖μ(l) k‖=1,k=1,2,…,N (15)
を解けば、固有値λ(l) kはμ(l) k方向の分散を
表わ
している。そこで、固有値の大きい方からK個採
用することとし、
d(l) k=(e(l),〓(l) k),
k=1,2,…,K (16)
とすれば、カテゴリlの任意の残差系列ベクトル
は、
〓(l)=μ(l)〓(l)+O (17)
とFourier展開できる。ここで、μ(l)=(〓(l) 1〓
(l) 2…〓(l) k),〓(l)=(d(l) 1d(l
) 2…d(l) k)Tである。 Eigenvalue problem of V (l) V (l) 〓 (l) k = λ (l) k 〓 (l) k , ‖‖μ (l) k ‖=1, k=1, 2,..., N (15 ), the eigenvalue λ (l) k represents the dispersion of μ (l) k in the direction. Therefore, we will adopt K items from the one with the largest eigenvalue, and if we set d (l) k = (e (l) , 〓 (l) k ), k = 1, 2, ..., K (16), the category Any residual sequence vector of l can be Fourier expanded as 〓(l)=μ(l)〓(l)+O (17). Here, μ (l) = (〓 (l) 1 〓
(l) 2 ...〓 (l) k ), 〓 (l) = (d (l) 1 d (l
) 2 ...d (l) k ) T.
式(15)より〓(l) kは形式的にはN本とするこ
とができるが、もし予測フイルタの次元をPとす
るならば、〓(l) kは最大P個計算できる。 From equation (15), 〓 (l) k can be formally set to N, but if the dimension of the prediction filter is P, a maximum of P 〓 (l) k can be calculated.
{〓(l) k}K k=1は分散の大きい方から選んで
きた
のであるから、式(17)よりμ(l)d(l)をとりの
ぞくことができれば、系列{e(l) o}の変動は小
さくなることが期待できる。 {〓 (l) k } K Since k=1 has been selected from the one with the largest variance, if μ (l) d (l) can be removed from equation (17), the series {e (l) o } can be expected to be small.
〓(l)より{〓(l) k}K k=1で規定される方向
の成分
をとりされば〓(l)は{〓(l) k}K k=1の方向に
極性を
もつこととなる。 〓 From (l) , if we take the component in the direction defined by {〓 (l) k } K k=1, then (l) has polarity in the direction of {〓 (l) k } K k=1. becomes.
を計算すれば、〓(l)は上記の性質をもつているの
で、この意味で〓(l) iを極性誤差と呼ぶ。 If we calculate, 〓 (l) has the above properties, so in this sense, 〓 (l) i is called a polarity error.
〓(l)のノルムの自乗によつて判断すれば、e(l
)のノルムの自乗によつて判定するよりもより変
動に強い認識が行なえる。そこで、〓(l)のノルム
の自乗を計算すれば、(〓k,〓k′)=δkk′である
ので次式が成立する。 〓 Judging by the square of the norm of (l) , e (l
) can be recognized more resistant to fluctuations than by the square of the norm. Therefore, if we calculate the square of the norm of 〓 (l) , the following equation holds true since (〓 k , 〓 k ′)=δ kk ′.
式(19)により認識する方式を極性誤差識別法
と呼ぶ。極性誤差識別法は予め予測係数を用意す
るという点で残差波形電力法に類似し、その長所
をうけついでいる。なおかつ、予め正規直交ベク
トル{〓(l) k}を1個以上K個用意し、残差系列
との内積値の自乗値を残差系列のノルムの自乗よ
りとりさることによつて統計的に分散の大きい方
向に対して許容度を増し、変動に強い認識方式と
なつている。 The method of recognizing using equation (19) is called the polarity error identification method. The polarity error identification method is similar to the residual waveform power method in that prediction coefficients are prepared in advance, and inherits its advantages. Furthermore, by preparing one or more K orthonormal vectors {〓 (l) k } in advance and taking the square of the inner product with the residual sequence from the square of the norm of the residual sequence, it is possible to statistically This recognition method has increased tolerance in the direction of large variance, making it resistant to fluctuations.
以下に具体的な装置の一実施例を図面を参照し
ながら説明する。処理の全体図を示せば第1図と
となる。 An example of a specific device will be described below with reference to the drawings. The overall diagram of the process is shown in Figure 1.
信号波形系列{xo}は、カテゴリ数Lだけ用
意された極性誤差の自乗和演算回路11…1l…
1Lへ送られる。演算回路1lは式19を計算
し、結果として‖〓(l)‖2を出力する。次の最
小値検出回路2において最小となるlを検出し、
認識結果としてlを出力する。 The signal waveform series {x o } is generated by polarity error sum-of-square calculation circuits 11...1l... which are prepared for the number of categories L.
Sent to 1L. The arithmetic circuit 1l calculates Equation 19 and outputs ‖〓 (l) ‖ 2 as a result. The next minimum value detection circuit 2 detects the minimum l,
Output l as the recognition result.
第2図は、第1図に示した極性誤差の自乗和演
算回路の1つである回路1lの具体的なブロツク
図である。 FIG. 2 is a concrete block diagram of the circuit 1l, which is one of the polarity error sum-of-square calculation circuits shown in FIG.
信号波形系列xoは、逆フイルタA(l) (z)31
に送
られ、逆フイルタA(l) (z)31は残差波形系列e
(l) o
を出力する。回路32は残差波形系列のノルムの
自乗を計算する回路であり(残差波形電力法には
この回路のみが用いられる)、出力は‖〓(l)‖2
である。また回路33は、残差波形系列のノルム
の自乗の中に含まれる{μ(l) k}K k=1の成分を
計算
する回路であり、本発明において新たに付け加え
られた部分である。そして回路32,33よりの
出力が減算されて結果として‖〓(l)‖2が出て
くる。 The signal waveform sequence x o is the inverse filter A (l) (z) 31
and the inverse filter A (l) (z) 31 outputs the residual waveform sequence e
(l) o
Output. The circuit 32 is a circuit that calculates the square of the norm of the residual waveform series (only this circuit is used for the residual waveform power method), and the output is ‖〓 (l) ‖ 2
It is. Further, the circuit 33 is a circuit that calculates the component {μ (l) k } K k = 1 included in the square of the norm of the residual waveform series, and is a newly added part in the present invention. Then, the outputs from the circuits 32 and 33 are subtracted, and the result is ‖〓 (l) ‖ 2 .
第3図は、第2図の中の残差波形系列のノルム
の自乗の中に含まれる{〓(l) k}K k=1の成分を
計算
する回路33を具体的に示したものである。 FIG. 3 specifically shows the circuit 33 that calculates the component {〓 (l) k } K k=1 included in the square of the norm of the residual waveform series in FIG. 2. be.
回路411,…,41k,…,41Kにより、
eに含まれる{〓(l) k}K k=1の成分を計算し、
回路
421,…,42k,…42Kで自乗値を計算し
ている。最後に回路43により全体の和を計算し
ている。 By the circuits 411,..., 41k,..., 41K,
Calculate the component of {〓 (l) k } K k=1 included in e,
The circuits 421, . . . , 42k, . . . 42K calculate the square value. Finally, the circuit 43 calculates the total sum.
例えば母音を識別する音声認識システムとして
は、第1図における演算回路11,…,1l,
…,1Lは各母音に対応している。 For example, as a speech recognition system for identifying vowels, the arithmetic circuits 11,..., 1l,
..., 1L correspond to each vowel.
また入力信号波形系列xoは、図示しないA/
Dの変換器等により入力音声信号をΔt時間間隔
でサンプリングされたデイジタル信号系列{x
o}n1 o=o0が用いられる。 In addition, the input signal waveform series x o is A/
A digital signal sequence {x
o } n1 o=o0 is used.
更に、補助波形系列〓(l) kは、各母音毎に予じ
め多数の人が発生した音声を収集し、これらを用
いて式(15)等により決定され、その値は図示し
ない記憶装置に予じめ収容され、回路33に供給
される。 Furthermore, the auxiliary waveform series 〓 (l) k is determined by collecting sounds produced by a large number of people in advance for each vowel, and using these, using equation (15), etc., and its value is stored in a storage device (not shown). is stored in advance and supplied to the circuit 33.
(1) 本発明は音声波形の識別に限られず、心電図
波形等の識別にも用いることができる。また、
これらの1次元波形以外のn次元の波形につい
てもn次元フイルタを用いることにより実現す
ることができる。例えばn=2としては平面画
像から得られた信号波形の識別も可能である。
(1) The present invention is not limited to identifying voice waveforms, but can also be used to identify electrocardiogram waveforms, etc. Also,
N-dimensional waveforms other than these one-dimensional waveforms can also be realized by using an n-dimensional filter. For example, when n=2, it is also possible to identify signal waveforms obtained from planar images.
(2) 上記実施例はすべてデイジタル回路により構
成したものであるが、その少なくとも一部をマ
イクロコンピユータ等によるプログラム制御で
実現することもできるし、アナログ演算回路で
構成することもできる。この場合、積和回路、
自乗和回路等は内積演算が可能な素子、例えば
光学フイルタを用いたもの、表面弾性波素子等
を用いることができる。(2) Although all of the above embodiments are constructed using digital circuits, at least a portion thereof may be realized by program control using a microcomputer or the like, or may be constructed using analog arithmetic circuits. In this case, the product-sum circuit,
For the sum-of-squares circuit, an element capable of calculating an inner product, for example, an element using an optical filter, a surface acoustic wave element, etc. can be used.
(3) 各類に対する変動方向の数Kは類毎に異なつ
ていてもよい。(3) The number K of variation directions for each class may be different for each class.
第1図は本発明の一実施例を示す図、第2図及
び第3図は本発明の一実施例の各部の一構成例を
示す図である。
11,…,1l,…,1L……演算回路、2…
…最小値検出回路、31……逆フイルタ、32…
…自乗和回路、33……内積回路。
FIG. 1 is a diagram showing an embodiment of the present invention, and FIGS. 2 and 3 are diagrams showing an example of the configuration of each part of the embodiment of the present invention. 11,..., 1l,..., 1L... Arithmetic circuit, 2...
...Minimum value detection circuit, 31...Inverse filter, 32...
...Sum of squares circuit, 33...Inner product circuit.
Claims (1)
類の既知なる標準信号波形系列の線形予測係数を
インパルス応答波形とするフイルタを介して残差
波形系列を得、この残差波形系列の自乗和出力に
より入力信号波形系列の属する類を決定する認識
方式において、前記L種類の各類毎に予め設定さ
れかつ前記入力信号波形系列の変動或分を除くた
めの1又は複数の補助波形系列を発生し、この補
助波形系列と前記残差波形系列との内積値を求
め、各内積値の自乗和を前記残差波形系列の自乗
和出力から減算し、この減算結果を用いて前記入
力信号波形系列の属する類を決定することを特徴
とする信号波形認識方式。1) A residual waveform sequence is obtained by passing an unknown input signal waveform sequence of class 1 through a filter whose impulse response waveform is the linear prediction coefficient of a known standard signal waveform sequence of L types, and then squares this residual waveform sequence. In a recognition method that determines the class to which an input signal waveform sequence belongs based on the sum output, one or more auxiliary waveform sequences are set in advance for each of the L types and are used to remove a certain amount of variation in the input signal waveform sequence. generated, calculate the inner product value of this auxiliary waveform series and the residual waveform series, subtract the sum of squares of each inner product value from the sum of squares output of the residual waveform series, and use this subtraction result to calculate the input signal waveform. A signal waveform recognition method characterized by determining the class to which a sequence belongs.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2873882A JPS5911000A (en) | 1982-02-26 | 1982-02-26 | Signal waveform recognition system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2873882A JPS5911000A (en) | 1982-02-26 | 1982-02-26 | Signal waveform recognition system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPS5911000A JPS5911000A (en) | 1984-01-20 |
JPS6258520B2 true JPS6258520B2 (en) | 1987-12-07 |
Family
ID=12256761
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2873882A Granted JPS5911000A (en) | 1982-02-26 | 1982-02-26 | Signal waveform recognition system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPS5911000A (en) |
-
1982
- 1982-02-26 JP JP2873882A patent/JPS5911000A/en active Granted
Also Published As
Publication number | Publication date |
---|---|
JPS5911000A (en) | 1984-01-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kumaresan | On the zeros of the linear prediction-error filter for deterministic signals | |
JP3154487B2 (en) | A method of spectral estimation to improve noise robustness in speech recognition | |
US4651289A (en) | Pattern recognition apparatus and method for making same | |
Tracy et al. | Identifying impacts in composite plates with piezoelectric strain sensors, part I: Theory | |
US5963904A (en) | Phoneme dividing method using multilevel neural network | |
Kashyap | Optimal feature selection and decision rules in classification problems with time series | |
Zhang et al. | CGHA for principal component extraction in the complex domain | |
CA2005181C (en) | Pattern recognition system and method | |
Patel et al. | Optimize approach to voice recognition using iot | |
Qais et al. | Deepfake audio detection with neural networks using audio features | |
CN112116922A (en) | Noise blind source signal separation method, terminal equipment and storage medium | |
JPS6258520B2 (en) | ||
JPS6255799B2 (en) | ||
Nathwani et al. | Consistent DNN uncertainty training and decoding for robust ASR | |
Lee et al. | Discriminative training of complex-valued deep recurrent neural network for singing voice separation | |
JPS6255800B2 (en) | ||
Kepuska et al. | Investigation of phonemic context in speech using self-organizing feature maps | |
Cichocki et al. | Blind separation and filtering using state space models | |
Vysotsky | A speaker-independent discrete utterance recognition system, combining deterministic and probabilistic strategies | |
Taha | Efficient Blind Source Separation Algorithms with Applications in Speech and Biomedical Signal Processing | |
JPS5915993A (en) | Voice recognition equipment | |
JPH0477799A (en) | Feature amount extracting method for pitch signal | |
Nossair et al. | Smoothed time/frequency features for vowel classification | |
Zhang et al. | RPSOVF Prediction Model for Speech Signal Series Based on UPSO | |
CN116822573A (en) | Wave beam forming method and system of neural network filter based on bidirectional GRU structure |