JPH05334278A - ニューラルネットによる波形処理装置の設計方法 - Google Patents

Abstract

(57)【要約】 【目的】 ニューラルネットを利用した波形処理（等
化）装置の設計方法に関し、特に、学習効率を向上させ
た設計方法を提供する。 【構成】 線形の変換系Ｕと非線形の変換系Ｕ´とから
なる複数の変換系が独立した重みＷ（Ｗ´）で結ばれた
ニューラルネットＮにより、伝送系の特性に応じた重み
を可変学習させる。学習された重みをもとに、これと等
化な波形処理装置変換手段の固定の重みを設計決定す
る。ニューラルネットＮは、特に中間層に線形の変換系
Ｕ´を含ませて、この線形の変換系を固定の重みＷ´で
結んだ構成とした。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、記録再生・伝送する際
に生じた信号劣化を除去する波形処理装置に係り、特に
ニューラルネットを利用し、簡易な構成で、かつ、高性
能な波形処理装置の設計方法を提供するものである。

【０００２】

【従来の技術】従来より、高密度の光記録媒体・磁気記
録媒体による記録再生や、高情報量の通信路での送受信
など、非線形歪の影響の受けやすい（記録再生）伝送系
における信号処理に際しては、最適な変調方式の選択，
各種の波形等化装置（イコライゼーション・フィルタリ
ング），ノイズキャンセラー，エンファシス・デエンフ
ァシスなどの利用によって、信号の劣化を抑える努力が
なされている。例えば波形等化装置としては、トランス
バーサル形フィルタが用いられていた。トランスバーサ
ル形フィルタは、入力信号を遅延回路により遅延し、異
なる増幅係数を有するアンプで増幅して加算出力し、波
形等化するものである。

【０００３】しかし、信号劣化の要因は多く存在し、ど
の要因にどれほど起因して信号劣化が発生したか定量的
には把握できないので、従来の波形等化装置では対応で
きないことも少なくなかった。すなわち、信号（符号）
の干渉程度（信号の劣化の程度）や劣化の原因によって
異なる係数値（例えば、前記したトランスバーサル形フ
ィルタにおけるアンプの増幅係数）が要求されるので、
これを一義的に決定することが困難であり、従来のよう
な線形な波形等化装置では十分に対応できなかった。

【０００４】このような状況の下で、非線形の変換系を
有するニューラルネットを利用して、上述した光記録媒
体・磁気記録媒体による記録再生系や、高情報量の通信
路系の特性を学習させ、伝送系からの劣化したデジタル
信号をリアルタイムで波形等化して出力させることが考
えられ、本出願人によりすでに特許出願されている（特
願平３−３１９５２号 発明の名称「ニューラルネット
による波形等化装置及びその設計方法」）。

【０００５】このニューラルネットを利用した波形等化
装置は、図５に示すように、入力信号（例えば、再生装
置からの波形劣化した信号）を、直列に接続された遅延
手段ＤＬによって所定の時間だけ遅延させ、時間的に前
後する複数の入力信号（値）をニューラルネットＮＮに
入力して波形等化するように構成されたものである。ニ
ューラルネットＮＮは、例えばバックプロパゲーション
(back propagation)を学習アルゴリズムとする層状（例
えば入力層，中間層［隠れ層］，出力層の３層）のニュ
ーラルネットであり、可変の重みＷで結ばれた多数のユ
ニットＵの結合（体）である。ユニットＵは非線形の入
出力特性を有する変換系であり、ユニットＵには前層か
らの出力値に独立した重みＷが乗算して得られた前層か
らの総和が入力され、この総和が非線形変換されて後層
に出力されている。このニューラルネットＮＮを利用し
て、上述した記録再生系・通信路系の特性を予め学習さ
せ、伝送系からの劣化したデジタル信号を波形等化して
出力させている。

【０００６】

【発明が解決しようとする課題】このようなニューラル
ネットによる波形等化装置の設計方法は、デジタル信号
の波形等化に対しては、極めて高性能であった。しか
し、アナログ信号の信号処理に対しては、学習の効率が
悪く、極めて長い学習時間を必要としていた。そこで、
本発明は、特にアナログ信号の信号処理に際して学習の
効率に優れたニューラルネットによる波形処理装置の設
計方法を提供するものである。

【０００７】

【課題を解決するための手段】本発明は上記課題を解決
するために、伝送系からの劣化した信号を遅延させる手
段と、線形の変換系と非線形の変換系とからなる複数の
変換系が独立した固定の重みで結ばれた変換手段とから
なり、前記伝送系からの劣化した信号を波形処理して出
力する波形処理装置の設計方法であって、前記波形処理
装置と等価で、かつ、線形の変換系と非線形の変換系と
からなる複数の変換系が独立した重みで結ばれたニュー
ラルネットにより、前記伝送系の特性に応じた前記重み
を可変学習させて、前記可変学習された重みをもとに前
記変換手段の固定の重みを設計決定するようにしたこと
を特徴とするニューラルネットによる波形処理装置の設
計方法を提供するものである。

【０００８】

【作用】上記したニューラルネットによる波形処理装置
の設計方法によれば、線形の変換系の作用で学習の初期
では効率良く学習され、以後は非線形の変換系で最終的
なきめ細かい学習がなされる。

【０００９】

【実施例】本発明になるニューラルネットによる波形処
理装置の設計方法の一実施例を以下図面と共に詳細に説
明する。なお、本波形処理装置（以下、波形等化装置Ｗ
Ｅを例とする）は、図３に示すような実体的な信号処理
装置であり、図４（Ｃ）に示すように、記録媒体（また
は伝送系）Ｍにより記録・伝送されたアナログ信号を再
生・受信する場合に使用され、再生（受信）装置Ｄから
の再生信号（波形劣化したアナログ信号）を波形等化し
て出力するものである。そして、その設計方法は図４
（Ａ）〜（Ｃ）に示す手法によるものである。

【００１０】（ニューラルネットＮによる波形等化処理
の基本概念）最初に、ニューラルネットによる波形等化
装置及びその設計方法の基本概念であるニューラルネッ
トＮによる波形等化処理ついて説明する。図１はニュー
ラルネットによる波形等化処理（信号処理）の概念図で
ある。

【００１１】同図に示すように、ニューラルネットによ
る波形等化処理においては、入力信号（再生装置Ｄから
の波形劣化したアナログ信号）は、直列に接続された遅
延手段ＤＬによって所定の遅延時間が与えられて、時間
的に前後する複数の入力信号（値）がニューラルネット
Ｎに入力されるように構成されている。

【００１２】ニューラルネットＮは、例えばバックプロ
パゲーション(back propagation)を学習アルゴリズムと
する層状（例えば入力層，中間層［隠れ層］，出力層の
３層）のニューラルネットであり、可変及び固定の重み
Ｗ（Ｗ´）で結ばれた多数のユニット（ニューロン、シ
ナップスとも称される）の結合（体）である。ユニット
Ｕは非線形の入出力特性を有する変換系であり、ユニッ
トＵには前層からの出力値に独立した重みＷが乗算して
得られた前層からの総和が入力され、この総和が非線形
変換されて後層に出力されている。これに対して、ユニ
ットＵ´は線形の入出力特性を有する変換系である。

【００１３】ニューラルネットＮは、入力層の５つのユ
ニット及び中間層の１つのユニットが線形の変換系Ｕ´
で構成され、中間層の２つのユニット及び出力層のユニ
ットが非線形の変換系Ｕで構成されている。なお、中間
層の線形の変換系Ｕ´は固定の重みＷ´で結合されてい
る。ニューラルネットＮは、（既知の）入力信号に対し
て出力された出力信号が教師信号と比較されてユニット
間の結合の強さを表わす可変の重みＷが変化・収束さ
れ、すなわち学習され、所望のニューラルネットが構築
されて波形等化機能を有するようになる。

【００１４】（ニューラルネットＮとユニットの構成）
次に、ニューラルネットＮとユニットについて詳述す
る。図１に示したニューラルネットＮは、前述したよう
に、多数のユニットによりなる入力層、中間層、出力層
などから構成した層状のニューラルネットである。ユニ
ットＵは脳のニューロンを工学的にモデル化した非線形
な入出力特性を有する変換系であり、ニューラルネット
Ｎは、基本的には可変の重みで結ばれた多数のユニット
の結合（体）である。図２は、図１に示したニューラル
ネットのユニット結合を示す図である。ユニットＵは非
線形の入出力特性、例えば入力値Ｘに対して出力値Ｙ＝
Ｆ（Ｘ）を出力する非線形関数Ｆ（Ｘ）により構成され
た変換系である。入力値としては、前層の出力値（ある
いはニューラルネットへの入力値）に、独立した可変の
重みＷが乗算して得られた総和が入力されており、この
入力値が非線形変換されて後層に出力されている。

【００１５】より詳述すれば、図２は、層状のニューラ
ルネットワークを構成する第ｎ層のｉ番目のユニット結
合を示す図であり、第ｎ層のｉ番目のユニットへの入力
値Ｘ（ｎ，ｉ）は、前層である第ｎ−１層の各ユニット
の出力値に第ｎ−１層のｊ番目と第ｎ層のｉ番目のユニ
ットとの間の結合の強さを表わす重みＷ（ｎ，ｉ，ｊ）
を掛けたものの総和となるように構成されている。そし
て、入力値Ｘ（ｎ，ｉ）は非線形関数Ｆ（Ｘ）に入力さ
れ、Ｙ（ｎ，ｉ）＝Ｆ｛Ｘ（ｎ，ｉ）｝と非線形変換さ
れて、次層のユニットに出力されるように構成されてい
る。

【００１６】前記可変の重みＷ（ｎ，ｉ，ｊ）はユニッ
ト（Ｕ）の結合の強さを表わすものであり、この重みＷ
（ｎ，ｉ，ｊ）を変化・収束させて、すなわち、学習さ
せて所望のニューラルネットが構築される。ニューラル
ネット構築の学習アルゴリズムとしては公知のバックプ
ロパケーション(back propagation)がある。すなわち、
図１に示すニューラルネットＮにおいて、入力値（入力
パターン）が入力層に入力されると、この入力値は入力
層→中間層→出力層へ伝達・処理され、出力層から出力
値（出力パターン）が出力される（フィードフォワード
処理）。この出力値は、それまでの学習によって得られ
た重みにもとづくものである。

【００１７】これに対して望ましい出力値（教師信号）
が与えられると、出力層→中間層→入力層の順で伝達・
処理され、重みの学習がなされる（フィードバック処
理）。重みの学習とは、実際の出力値と望ましい出力値
との差を減らすように、ユニット間の結合の強さ、すな
わち、重みＷ（ｎ，ｉ，ｊ）を変化・収束させることで
ある。

【００１８】次に、上述したニューラルネットＮによる
波形等化処理の基本概念をもとに、本発明であるニュー
ラルネットによる波形等化装置ＷＥの具体的構成（実体
的信号処理装置によるハードウェア的実行部分、すなわ
ち、固定の重みによる所望の信号処理）と、ニューラル
ネットによる波形等化装置の具体的設計方法（計算機に
よるソフトウェア的実行部分、すなわち、可変及び固定
の重みによる予めの学習処理）について詳述する。

【００１９】（ニューラルネットＮによる波形等化装置
ＷＥの具体的構成）次に、本発明であるニューラルネッ
トによる波形等化装置ＷＥの具体的構成（ハードウェア
的実行部分）について詳述する。図３は、オペアンプ，
ダイオード対，抵抗などにより具体的に構成した、図１
及び図２に示したニューラルネットＮと等価な波形等化
装置の回路図である。この波形等化装置ＷＥは、固定の
重みを有する実体的な信号処理装置で、所望の信号処理
（フィードフォワード処理）のみを高速で実行するもの
であり、学習機能を有しない簡易な回路で構成されたも
のである。

【００２０】図３に示すように、ユニット（Ｕ，Ｕ´）
は所定の反転増幅特性を有する汎用の反転型オペアンプ
１ａ・１ｂ，２ａ・２ｂ，３ａ・３ｂ，４ａ・４ｂと、
所定の増幅特性を有するバッファアンプ５，６，７，
８，９と、非線形の入出力特性（接合特性）を有するダ
イオード対（１０，１２，１３）からなる。ダイオード
対は、信号ラインと接地ラインとの間に逆方向に並列接
続されたもので、非線形な入出力特性（接合特性）を有
するダイオード・クリップ回路である。

【００２１】ユニット（Ｕ，Ｕ´）間の抵抗Ｒji，Ｒj
（ R11,R21,R31,R41,R51,R12,R22,R32,R42,R52,R13,R2
3,R33,R43,R53,R1 ,R2 ,R3 ）はユニット間の結合の強
さを表わす固定の重みとして機能するものである。つま
り、重みW(2,i,j)は抵抗Ｒjiに対応し、重みW(3,1,j)は
抵抗Ｒj に対応する。固定の抵抗Ｒji，Ｒj の抵抗値
は、後述する設計方法により決定される値である。

【００２２】なお、ユニット間の結合の強さを表わす重
み（係数）は、後述するように正負の値を有するが、負
の重み対しては前記反転型オペアンプを単独で使用して
（例えば、抵抗R21 と反転型オペアンプ１ａによる構
成）信号を反転させ、正の重み対しては２つの反転型オ
ペアンプを直列に使用して（例えば、抵抗R31 と反転型
オペアンプ１ｂ及び反転型オペアンプ１ａによる構成）
信号を再反転させて対応させている。１４，１５，１
６，１７は、所定の遅延時間を有するディレイラインで
ある。

【００２３】入力信号（再生装置Ｄからの波形劣化した
アナログ信号）は遅延手段（ディレイライン）１４，１
５，１６，１７によって前記所定の遅延時間が与えられ
て、（ニューラルネットの）入力層に入力されている。
時間的に前後した複数の入力波形（値）は入力層のユニ
ットＵ´(1,1) 〜Ｕ´(1,5) である各バッファアンプ
５，６，７，８，９で増幅された後に分割されて、抵抗
を介して中間層のユニットへ入力されている。

【００２４】ユニットへの入力値としては、前層である
入力層の出力値が、独立した固定の重みとして機能する
抵抗Ｒji（ R11,R21,R31,R41,R51,R12,R22,R32,R42,R5
2,R13,R23,R33,R43,R53）を介して重み付けされた後
に、中間層のユニットU(2,1),U'(2,2),U(2,3)を構成す
るオペアンプ１ａ・１ｂ，２ａ・２ｂ，３ａ・３ｂの反
転入力端子に入力され、加算合成されている。なお、オ
ペアンプの非反転入力端子は接地されている。オペアン
プより（反転または再反転）増幅された入力値は、ダイ
オード対１０，１２により非線形変換されて後層である
出力層に出力されている。ダイオード対は、非線形な入
出力特性を有するので、非線形変換がなされて出力され
ることとなる。ただし、中間層のユニットU'(2,2) で
は、単に線形変換されて出力されるにすぎない。

【００２５】出力層のユニットU(3,1)であるオペアンプ
４ａ（及び４ｂ），ダイオード対１３には、前記中間層
からの出力が抵抗Ｒj （R1 ,R2 ,R3）を介して入力さ
れ、前述した中間層のユニットと同様に、非線形変換さ
れて出力信号（すなわち、波形等化されたアナログ信
号）としてに出力される。

【００２６】（ニューラルネットによる波形等化装置の
設計方法）次に、ニューラルネットによる波形等化装置
の設計方法（ワークステーションによるソフトウェア的
実行部分）を説明する。なお、この設計方法が対象とす
る波形等化装置（ＷＥ）は、前記図３で説明した回路で
ある。ニューラルネットによる波形等化装置の設計方法
とは、図４（Ａ）〜（Ｃ）に示す手法によって、波形等
化装置ＷＥの抵抗Ｒji，Ｒj （ R11,R21,R31,R41,R51,R
12,R22,R32,R42,R52,R13,R23,R33,R43,R53,R1 ,R2 ,R3
）の値（固定の重み）を、この波形等化装置ＷＥと等
価なニューラルネット（図１に示したニューラルネット
Ｎ）の学習により得られた重みW(2,i,j)，W(3,1,j)によ
り、すなわち、学習により変化・収束した可変の重みに
より具体的に決定することである。ただし、w(2,i,2)は
固定値である。例えば、w(2,1,2)＝0.05，w(2,2,2)＝-
0.4，w(2,3,2)＝1 ，w(2,4,2)＝-0.4，w(2,5,2)＝0.05
とする。なお、ユニット間の結合の強さを表わす重み
は、前述したように正負の値を有するが、負の重み対し
ては前記反転型オペアンプを単独で使用して信号を反転
させ、正の重み対しては２つの反転型オペアンプを直列
に使用して信号を再反転させて対応させている。

【００２７】図４（Ａ）に示すように、再生装置Ｄによ
り再生された記録媒体Ｍo からの再生信号は、Ａ／Ｄ変
換されてデジタルメモリ２０に所定のサンプリング周期
で取り込まれる。記録媒体Ｍo には、学習時に利用され
る既知のアナログデータが予め記録されている。デジタ
ルメモリ２０に取り込まれたデータは、学習処理用のワ
ークステーション２１に転送され、学習演算処理がなさ
れる。サンプリング周期は、学習演算処理の間隔に等し
いか、または学習演算処理の間隔よりも短くしてある。

【００２８】次に、図４（Ｂ）に示すように、ワークス
テーション２１によって学習演算処理がなされる。ワー
クステーション２１内には、公知のバックプロパケーシ
ョンによる学習アルゴリズムを有するニューラルネット
のシミュレーションプログラムが準備され、前記した図
３に示す具体的な（ニューラルネットによる）波形等化
装置ＷＥと等価である図１に示すニューラルネットＮに
対して学習演算処理が実行される。

【００２９】すなわち、前記再生装置Ｄによって再生さ
れデジタルメモリ２０に取り込まれてワークステーショ
ン２１に転送された取り込みデータは、波形等化装置Ｗ
Ｅと等価であるニューラルネットに入力され、この入力
信号は入力層→中間層→出力層で伝達・演算処理され、
出力層から出力信号が出力される。この出力信号は、そ
れまでの学習によって得られた重みにもとづくものであ
る。演算算出された出力信号は、教師信号（記録媒体Ｍ
o に予め記録されている既知のデータをもととする教師
データ）と比較され、出力層→中間層→入力層の順で伝
達・演算処理され、学習がなされる。教師信号として、
光記録・通信系では劣化する前の原信号、磁気記録では
現信号を微分した信号を用いると良い。また、教師信号
として、フィルタリングした信号やバイアスを重畳した
方が学習効率が良い場合もある。

【００３０】学習させる（学習される）伝送再生系の特
性とは、データ自体の特性，記録装置の特性，再生装置
の特性，伝送ラインの特性などがあり、ニューラルネッ
トの大きさに応じて、適宜選択する。つまり、前記再生
装置Ｄによって再生されサンプリングされる取り込みデ
ータとして、種々の条件、例えば、内容の異なるデー
タ，異なる記録装置により記録された記録媒体からの再
生データ，組立調整状態の異なる再生装置（実際には、
再生装置を正常な状態から調整ずれの状態とする）よる
再生データなどを使用する。このような種々の取り込み
データをもとにして、所望の正解率（性能）が得られる
まで前述した学習を繰り返して、ニューラルネットＮの
ユニット間の結合の強さを表わす重みを可変する。

【００３１】そして、伝送再生系の特性を学習して収束
したニューラルネットＮの重みＷ，Ｗ´が、波形等化装
置ＷＥの抵抗Ｒji，Ｒj （ R11,R21,R31,R41,R51,R12,R
22,R32,R42,R52,R13,R23,R33,R43,R53,R1 ,R2 ,R3 ）の
値として、決定される。最後に、図４（Ｃ）に示すよう
に、具体的に決定された抵抗値及び反転型オペアンプの
有無に基づいて、波形等化装置ＷＥが製作されて、再生
装置Ｄで再生された一般的な記録媒体Ｍからの再生信号
が波形等化されて出力される。

【００３２】本発明になるニューラルネットによる波形
等化装置の設計方法は、線形の変換系と非線形の変換系
とからなる複数の変換系が独立した可変の重みで結ばれ
たニューラルネットにより、伝送系の特性に応じた重み
を可変学習させて、可変学習された重みをもとに、これ
と等化の波形処理装置変換手段の固定の重みを設計決定
するようにしたものであり、このニューラルネットは、
特に中間層に線形の変換系を含ませて、この線形の変換
系を固定の重みで結んだものである。

【００３３】この線形の変換系には、遅延された複数の
入力信号が固定の重みを介してその総和が入力されて線
形変換されて出力される構成であり、いわば、従来のニ
ューラルネット（図５に示したもの）に、トランスバー
サル形フィルタを混在させた構成となっている。この結
果、線形の変換系の作用で学習の初期では効率良く学習
され、以後は非線形の変換系で最終的なきめ細かい学習
がなされる。特に、伝送系からの劣化した信号が、アナ
ログ信号である場合には、学習効率の向上が見られた。

【００３４】

【発明の効果】以上詳述したように、本発明になるニュ
ーラルネットによる波形等化装置の設計方法は、伝送系
からの劣化した信号を遅延させる手段と、線形の変換系
と非線形の変換系とからなる複数の変換系が独立した固
定の重みで結ばれた変換手段とからなり、前記伝送系か
らの劣化した信号を波形処理して出力する波形処理装置
の設計方法であって、前記波形処理装置と等価で、か
つ、線形の変換系と非線形の変換系とからなる複数の変
換系が独立した重みで結ばれたニューラルネットによ
り、前記伝送系の特性に応じた前記重みを可変学習させ
て、前記可変学習された重みをもとに前記変換手段の固
定の重みを設計決定するようにしたものであるから、伝
送再生系に応じた波形等化装置の具体的な設計決定が、
極めて容易で、かつ、確実である。したがって、種々の
要因に起因し、多種多様な符号間干渉により劣化した信
号、特にアナログ信号を正しく再生する波形処理装置を
設計することができる。

【図面の簡単な説明】

【図１】本発明になるニューラルネットによる波形処理
（等化）装置の一実施例を示す基本概念図である。

【図２】図１に示したニューラルネットワークのユニッ
ト結合を示す図である。

【図３】ニューラルネットによる波形処理（等化）装置
の具体的な回路図であり、ハードウェア的実行をする実
体的信号装置の一例を示すものである。

【図４】ニューラルネットによる波形処理（等化）装置
の設計方法を示す図であり、ソフトウェア的実行を説明
するものである。

【図５】従来のニューラルネットによる波形等化装置を
示す構成図である。

【符号の説明】

ＷＥ 波形等化装置（波形処理装置）、 Ｍo 既知の記録媒体（伝送系） Ｍ 記録媒体（伝送系）、 Ｄ 再生（受信）装置 ＤＬ 遅延手段、 Ｎ ニューラルネット Ｕ ユニット（非線形の変換系）、 Ｕ´ ユニット（線形の変換系） Ｗ 可変の重み、 Ｗ´ 固定の重み、 １ａ・１ｂ，２ａ・２ｂ，３ａ・３ｂ，４ａ・４ｂ 反
転型オペアンプ １０，１２，１３ ダイオード対 １４，１５，１６，１７ ディレイライン ２０ デジタルメモリ、 ２１ ワークステーション R11,R21,R31,R41,R51 中間層の第１ユニットへの抵抗
（固定の重み） R12,R22,R32,R42,R52 中間層の第２ユニットへの抵抗
（固定の重み） R13,R23,R33,R43,R53 中間層の第３ユニットへの抵抗
（固定の重み） R1 ,R2 ,R3 最終層（のユニット）への抵抗（固定の重
み）

Claims (3)

【特許請求の範囲】
1. 【請求項１】伝送系からの劣化した信号を遅延させる手
   段と、線形の変換系と非線形の変換系とからなる複数の
   変換系が独立した固定の重みで結ばれた変換手段とから
   なり、前記伝送系からの劣化した信号を波形処理して出
   力する波形処理装置の設計方法であって、 前記波形処理装置と等価で、かつ、線形の変換系と非線
   形の変換系とからなる複数の変換系が独立した重みで結
   ばれたニューラルネットにより、前記伝送系の特性に応
   じた前記重みを可変学習させて、前記可変学習された重
   みをもとに前記変換手段の固定の重みを設計決定するよ
   うにしたことを特徴とするニューラルネットによる波形
   処理装置の設計方法。
2. 【請求項２】ニューラルネットは、中間層に線形の変換
   系を含む層状で、この線形の変換系は固定の重みで結ば
   れたものであることを特徴とする請求項１記載のニュー
   ラルネットによる波形処理装置の設計方法。
3. 【請求項３】伝送系からの劣化した信号が、アナログ信
   号であることを特徴とする請求項１または請求項２記載
   のニューラルネットによる波形処理装置の設計方法。