JP6877662B2 - 人工ニューラルネットワーク学習装置、歪み補償回路及び信号処理装置 - Google Patents

Description

本発明は、人工ニューラルネットワーク構造に学習させる技術、並びに、人工ニューラルネットワーク構造を用いて高周波回路などの信号処理回路で発生する信号歪みを補償する技術に関するものである。

近年、脳の神経回路網（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）を模した人工ニューラルネットワーク（Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）は、画像認識、音声認識、自然言語処理及び機械翻訳などの様々な技術分野において用いられている。無線通信分野においては、無線通信装置などの通信モジュールは、電力増幅器及びフィルタなどの回路素子を含む高周波回路を備えており、高周波回路の周波数特性や非線形な入出力特性などに起因して当該高周波回路の出力信号に歪み（信号歪み）が発生することがある。このような信号歪みによる信号品質の劣化を抑制するために、高周波回路で発生した信号歪みを打ち消す（補償する）歪み補償技術が一般に使用されている。近年、人工ニューラルネットワークを用いた歪み補償技術が多数提案されている。以下、人工ニューラルネットワークを単に「ＡＮＮ」と呼ぶこととする。

たとえば、下記の非特許文献１には、ＲＶＴＤＮＮ（Ｒｅａｌ−Ｖａｌｕｅｄ Ｔｉｍｅ−Ｄｅｌａｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ）と呼ばれる多階層型ＡＮＮ構造を用いて電力増幅器の非線形特性を補償するプリディストーション（Ｐｒｅ−Ｄｉｓｔｏｒｔｉｏｎ）方式の歪み補償技術が開示されている。プリディストーション方式とは、高周波回路に入力されるべき信号にあらかじめ逆特性の歪みを与えることで、当該高周波回路で発生する信号歪みを打ち消すという歪み補償技術である。

非特許文献１に開示されている歪み補償技術は、複数個のノードからなる入力層（ｉｎｐｕｔ ｌａｙｅｒ）と、複数個のノードからなる隠れ層（ｈｉｄｄｅｎ ｌａｙｅｒ）と、２個のノードからなる出力層（ｏｕｔｐｕｔ ｌａｙｅｒ）とで構成されたＡＮＮ構造に基づいて動作するプリディストーション部（ｐｒｅｄｉｓｔｏｒｔｅｒ）を使用するものである。入力層の複数個のノードにそれぞれ入力された信号成分は、入力層から隠れ層のノードに伝播し、その後、隠れ層から出力層のノードに伝播する。このＡＮＮ構造の特性を定める重み係数（ｗｅｉｇｈｔｓ）は、逆伝播アルゴリズム（Ｂａｃｋ Ｐｒｏｐａｇａｔｉｏｎ Ｌｅａｒｎｉｎｇ Ａｌｇｏｒｉｔｈｍ，ＢＰＬＡ）と呼ばれる機械学習アルゴリズムにより算出される。

Slim Boumaiza, and Farouk Mkadem, "Wideband RF power amplifier predistortion using real-valued time-delay neural networks", European Microwave Conference (EuMC), 2009.（たとえば、第１４５０頁の第ＩＩ章及び図１参照）

従来の逆伝播学習アルゴリズムでは、ＡＮＮ構造から出力された時系列データに基づいてＡＮＮ構造の重み係数が更新されるので、ＡＮＮ構造の学習効率（ｌｅａｒｎｉｎｇ ｒａｔｅ）が低いという課題がある。具体的には、或る離散時間ｔ_ｎ（ｎは整数）におけるＡＮＮ構造の出力信号をＯ（ｎ）で表すとすれば、従来の逆伝播学習アルゴリズムでは、出力信号Ｏ（ｎ），Ｏ（ｎ−１），・・・，Ｏ（ｎ−Ｎｂ＋１）からなる時系列データに基づいて、ＡＮＮ構造の重み係数の更新が実行される（Ｎｂは正整数）。一般に時間的に近い出力信号Ｏ（ｉ），Ｏ（ｊ）（ｉ≠ｊ）同士の相関性は高いことが多いので、従来の逆伝播学習アルゴリズムの実行時に時系列データが使用されれば、相関性の高い出力信号群を用いて重み係数の更新が行われることとなる。これにより、ＡＮＮ構造の重み係数の収束性が低下したり、あるいは、ＡＮＮ構造の重み係数が本来収束すべき解からずれた値へ収束したりするという課題がある。

上記に鑑みて本発明の目的は、ＡＮＮ構造の学習効率を向上させることができる人工ニューラルネットワーク学習装置、歪み補償回路及び信号処理装置を提供することである。

本発明の一態様による人工ニューラルネットワーク学習装置は、時間的に連続する複数のトレーニング信号を信号処理回路に供給して当該信号処理回路から複数の応答信号を出力させる信号供給部と、前記複数の応答信号を記憶する信号メモリと、前記信号メモリに記憶された当該複数の応答信号の中からランダムまたは擬似ランダムに選択された複数の選択信号を読み出し、当該複数の選択信号を人工ニューラルネットワーク構造に供給して当該人工ニューラルネットワーク構造から複数の後歪み信号を出力させるメモリ制御部と、当該複数の後歪み信号と当該複数の選択信号に対応する複数の教師信号との間の差分を示す複数の誤差信号を算出し、当該複数の誤差信号を用いて逆伝播学習アルゴリズムに基づく適応処理を実行することにより、前記人工ニューラルネットワーク構造の入出力特性を定めるパラメータ群を更新する学習制御部とを備えることを特徴とする。

本発明の一態様によれば、ランダムまたは擬似ランダムに選択された複数の選択信号と複数の教師信号との間の差分を示す複数の誤差信号を用いて逆伝播学習アルゴリズムに基づく適応処理が実行されるので、ＡＮＮ構造の学習効率の向上が可能となる。

本発明に係る実施の形態１の人工ニューラルネットワーク（ＡＮＮ）学習システムの概略構成を示すブロック図である。 処理時間，トレーニング信号及び応答信号の間の対応関係を表す図である。 処理時間，応答信号，選択信号，トレーニング信号及び教師信号（参照信号）の間の対応関係の一例を表す図である。 ＡＮＮ構造の具体例を示すニューラルネットワークモデルの概略図である。 順伝播処理の一例を説明するための図である。 ＡＮＮ構造の他の具体例を示すニューラルネットワークモデルの概略図である。 実施の形態１に係る学習処理の手順の例を概略的に示すフローチャートである。 歪み補償回路として使用される学習済みのＡＮＮ構造を有する信号処理装置の概略構成を示すブロック図である。 ＡＮＮ学習装置のハードウェア構成例であるデータ処理装置の概略構成を示すブロック図である。 本発明に係る実施の形態２の信号処理装置の概略構成を示すブロック図である。 処理時間，前歪み信号及び応答信号の間の対応関係を表す図である。 処理時間，応答信号，選択信号，前歪み信号及び参照信号の間の対応関係の一例を表す図である。 実施の形態２に係る学習処理の手順の例を概略的に示すフローチャートである。

以下、添付図面を参照しつつ、本発明に係る種々の実施の形態について詳細に説明する。なお、図面全体において同一符号を付された構成要素は、同一構成及び同一機能を有するものとする。

実施の形態１．
図１は、本発明に係る実施の形態１の人工ニューラルネットワーク（ＡＮＮ）学習システム１の概略構成を示すブロック図である。図１に示される人工ニューラルネットワーク学習システム１は、入力信号に対してディジタル信号処理及びアナログ信号処理を実行する信号処理回路１１と、人工ニューラルネットワーク（ＡＮＮ）構造４１を含む人工ニューラルネットワーク（ＡＮＮ）学習装置３１とを備えて構成されている。ＡＮＮ学習装置３１は、信号処理回路１１で信号歪みを生じさせる歪み特性に対応する逆特性をＡＮＮ構造４１に学習させる機能を有する。なお、本実施の形態のＡＮＮ構造４１は、ＡＮＮ学習装置３１の内部に組み込まれているが、この代わりに、ＡＮＮ学習装置３１の外にＡＮＮ構造４１が配置されてもよい。

信号処理回路１１は、図１に示されるように、直交変調器（ＱＭ）２１、Ｄ／Ａ変換器（ＤＡＣ）２２、アップコンバータ（ＵＰＣ）２３、高周波回路２４、方向性結合器２５、ダウンコンバータ（ＤＮＣ）２６、Ａ／Ｄ変換器（ＡＤＣ）２７及び直交復調器（ＱＤ）２８を備えている。直交変調器２１は、同相成分及び直交成分からなる複素ディジタル信号を入力とし、当該複素ディジタル信号にディジタル直交変調を施してディジタル変調信号を生成する。Ｄ／Ａ変換器２２は、直交変調器２１から入力された当該ディジタル変調信号をアナログ信号に変換し、アップコンバータ２３は、そのアナログ信号を高周波帯（たとえば、マイクロ波帯）の信号に変換する。高周波回路２４は、アップコンバータ２３の出力信号にアナログ信号処理を施して高周波出力信号ＴＳを生成する。高周波回路２４としては、たとえば、高出力電力増幅器（Ｈｉｇｈ Ｐｏｗｅｒ Ａｍｐｌｉｆｉｅｒ，ＨＰＡ）が挙げられるが、これに限定されるものではない。

高周波出力信号ＴＳの一部は、方向性結合器２５によってフィードバックさせられる。ダウンコンバータ２６は、方向性結合器２５からフィードバックされた高周波信号をより低い周波数帯のアナログ信号に変換し、Ａ／Ｄ変換器２７は、そのアナログ信号をディジタル信号に変換する。直交復調器２８は、そのディジタル信号にディジタル直交復調を施すことで、同相成分及び直交成分からなる複素ディジタル信号を生成する。生成された複素ディジタル信号は、応答信号として、ＡＮＮ学習装置３１に転送される。

なお、信号処理回路１１の構成は、図１に示した構成に限定されるものではない。図１の例では、ディジタル直交変調を実行する直交変調器２１とディジタル直交復調を実行する直交復調器２８とが使用されている。直交変調器２１及び直交復調器２８を使用せずに、アナログ直交変調回路及びアナログ直交復調回路が使用される実施の形態もありうる。

ＡＮＮ学習装置３１は、ＡＮＮ構造４１の学習に使用するために、時間的に連続する複数のトレーニング信号（離散信号）があらかじめ記憶された記憶領域５５ａを有する信号メモリ５５と、信号メモリ５５の信号読み出し動作及び信号書き込み動作を制御するメモリ制御部５１と、信号メモリ５５から読み出されたトレーニング信号Ｔ（ｋ）を信号処理回路１１に供給する信号供給部４０とを有している。ここで、トレーニング信号Ｔ（ｋ）の変数ｋは、離散時間を表す整数値であり、トレーニング信号Ｔ（ｋ）は、同相成分及び直交成分からなる複素ディジタル信号である。信号メモリ５５としては、たとえば、フラッシュメモリなどの不揮発性メモリと、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの揮発性メモリとが使用されればよい。

信号処理回路１１とＡＮＮ学習装置３１との間には、ＡＮＮ学習装置３１の信号供給部４０から信号処理回路１１の直交変調器２１へトレーニング信号Ｔ（ｋ）を転送するための配線またはケーブルなどの伝送線路（図示せず）が設けられている。

信号処理回路１１は、ＡＮＮ学習装置３１の信号供給部４０から転送された一連のトレーニング信号Ｔ（０），Ｔ（１），Ｔ（２），…にディジタル信号処理及びアナログ信号処理を施してフィードバック信号すなわち応答信号Ｙ（０），Ｙ（１），Ｙ（２），…を生成し、当該応答信号Ｙ（０），Ｙ（１），Ｙ（２），…をＡＮＮ学習装置３１に転送する。ＡＮＮ学習装置３１と信号処理回路１１との間には、信号処理回路１１の直交復調器２８からＡＮＮ学習装置３１へ応答信号Ｙ（ｋ）を転送するための配線またはケーブルなどの伝送線路（図示せず）が設けられている。

ＡＮＮ学習装置３１は、信号処理回路１１から転送された応答信号Ｙ（ｋ）を受信する信号受信部６０を有する。信号メモリ５５は、信号受信部６０で受信された当該応答信号Ｙ（ｋ）を記憶する記憶領域５５ｂを有している。後述するように、メモリ制御部５１は、記憶領域５５ｂに記憶された応答信号Ｙ（０），Ｙ（１），…の中からランダムまたは擬似ランダムに選択された選択信号ｙ_ｎ（ｃ）を読み出し、当該選択信号ｙ_ｎ（ｃ）をＡＮＮ構造４１に供給することができる（ｃ＝０，１，…）。ＡＮＮ構造４１は、記憶領域５５ｂから入力された選択信号ｙ_ｎ（ｃ）に対して順伝播処理を実行し、その結果得られた複素ディジタル信号を後歪み信号ｓ_ｎ（ｃ）として出力する。ＡＮＮ構造４１の具体例及び順伝播処理の内容については、後述する。

図２は、処理時間ｔ，トレーニング信号Ｔ（ｋ）及び応答信号Ｙ（ｋ）の間の対応関係を表す図である。ここで、処理時間ｔは、ｔ＝Ｔ_０＋ｋ×ΔＴ、との式で表される。Ｔ_０は、基準時間、ΔＴは、処理時間間隔である。図２の例では、ｋは、０〜Ｋ−１の範囲内の整数であり、Ｋは、信号メモリ５５の記憶領域５５ｂに記憶されている応答信号Ｙ（０）〜Ｙ（Ｋ−１）の数である。図２の対応表に示されるように、処理時間ｔ＝Ｔ_０＋ｋ×ΔＴでは、トレーニング信号Ｔ（ｋ）に対応する応答信号Ｙ（ｋ）が得られる。

図１を参照すると、ＡＮＮ学習装置３１は、さらに学習制御部６１を有している。学習制御部６１は、逆伝播学習アルゴリズムに基づく適応処理を実行することによりＡＮＮ構造４１の入出力特性（周波数特性を含む。）を定めるパラメータ群を更新する機能を有する。学習制御部６１は、図１に示されるように、減算器６３、適応処理部６４及びパラメータ設定部６５を含んで構成されている。

適応処理が実行される際には、メモリ制御部５１は、信号メモリ５５の記憶領域５５ｂに記憶された一群の応答信号Ｙ（０）〜Ｙ（Ｋ−１）の中から、Ｃ個の選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）をランダムまたは擬似ランダムに選択し、当該選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）を信号メモリ５５からＡＮＮ構造４１に供給する。ここで、Ｃは、応答信号Ｙ（０）〜Ｙ（Ｋ−１）の総数Ｋよりも小さい正整数であり、下付き添え字ｎは、適応処理の反復回数を示す正整数である。ＡＮＮ構造４１は、信号メモリ５５から入力された選択信号ｙ_ｎ（ｃ）に対して順伝播処理を実行し、その結果得られた複素ディジタル信号を後歪み信号ｓ_ｎ（ｃ）として出力する。また、メモリ制御部５１は、信号メモリ５５の記憶領域５５ａに記憶された一群のトレーニング信号Ｔ（０）〜Ｔ（Ｋ−１）の中から、当該選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）にそれぞれ対応するＣ個のトレーニング信号を選択し、当該選択されたＣ個のトレーニング信号を教師信号（参照信号）ｚ_ｎ（０）〜ｚ_ｎ（Ｃ−１）として信号メモリ５５から学習制御部６１に出力させる。

図３は、処理時間τ，応答信号Ｙ（κ），選択信号ｙ_ｎ（ｃ），トレーニング信号Ｔ（κ），及び教師信号（参照信号）ｚ_ｎ（ｃ）の間の対応関係の一例を示す図である。ここで、処理時間τは、τ＝Ｔ_０＋κ×ΔＴ、との式で表され、κは、ランダムまたは擬似ランダムな整数（乱数）である。選択信号ｙ_ｎ（ｃ）は、ランダムまたは擬似ランダムに選択された応答信号Ｙ（κ）と一致し（ｙ_ｎ（ｃ）＝Ｙ（κ））、教師信号ｚ_ｎ（ｃ）は、応答信号Ｙ（κ）に対応するトレーニング信号Ｔ（κ）と一致する（ｚ_ｎ（ｃ）＝Ｔ（κ））。

メモリ制御部５１は、物理乱数列または擬似乱数列を用いて読み出しアドレスを連続的に生成し、当該読み出しアドレスを信号メモリ５５に供給することで、選択信号ｙ_ｎ（ｃ）と教師信号ｚ_ｎ（ｃ）との対をランダムまたは擬似ランダムに選択することができる。物理乱数列を使用する場合、たとえば、メモリ制御部５１は、物理乱数列のデータが記憶された不揮発性メモリから、そのデータを読み出して使用すればよい。一方、疑似乱数列を使用する場合には、メモリ制御部５１は、公知の疑似乱数生成アルゴリズムにより疑似乱数列を計算するための演算回路または関数を内部に有していればよい。そのような演算回路は、たとえば、公知の線形フィードバックシフトレジスタを利用した乱数発生回路により実現可能であるが、これに限定されるものではない。

あるいは、メモリ制御部５１は、信号メモリ５５の記憶領域５５ｂに一旦格納された応答信号Ｙ（０）〜Ｙ（Ｋ−１）の配列を、物理乱数列または擬似乱数列を用いてランダムまたは擬似ランダムな順番に並べ替えてもよい。これにより、メモリ制御部５１は、信号メモリ５５からアドレス順にＣ個の応答信号を読み出すことで選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）を得ることができる。

学習制御部６１は、ランダムまたは擬似ランダムに選択された選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）と教師信号ｚ_ｎ（０）〜ｚ_ｎ（Ｃ−１）とを用いて、逆伝播学習アルゴリズムに基づく適応処理を実行することによりＡＮＮ構造４１のパラメータ群を更新することができる。これにより、学習制御部６１は、相関性の高い離散信号からなる時系列データを用いた適応処理の実行を回避することができるので、ＡＮＮ構造４１のパラメータ群の収束性を向上させることができる。したがって、ＡＮＮ構造４１の学習効率の向上が可能となる。

次に、逆伝播学習アルゴリズムについて説明する前に、ＡＮＮ構造４１の具体例及び順伝播処理について説明する。図４は、ＡＮＮ構造４１の具体例を示すニューラルネットワークモデル（ＮＮモデル）４１Ａを示す概略図である。

図４に示されるＮＮモデル４１Ａは、Ｐ個の層Ｌ_１〜Ｌ_Ｐからなる多階層型のニューラルネットワークモデルである。ここで、Ｐは、階層数を示す４以上の整数である。ＮＮモデル４１Ａは、入力された選択信号ｙ_ｎ（ｃ）の同相成分ｙ_ｎ ^ｉ（ｃ）及び直交成分ｙ_ｎ ^ｑ（ｃ）が入力される入力層Ｌ_１と、中間層（隠れ層）Ｌ_２〜Ｌ_Ｐ−１と、後歪み信号ｓ_ｎ（ｃ）の同相成分ｓ_ｎ ^ｉ（ｃ）及び直交成分ｓ_ｎ ^ｑ（ｃ）を出力する出力層Ｌ_Ｐとを有している。図４の例では、中間層は２層以上であるが、この代わりに１層であってもよい。

ＮＮモデル４１ＡにおけるＰ個の層Ｌ_１〜Ｌ_Ｐのうち第ｐ番目の層Ｌ_ｐは、脳の神経回路網のニューロンを模したノードＮ_ｐ，１〜Ｎ_{ｐ，μ(ｐ)}を有するものとする。ここで、下付き添え字ｐは、層番号、下付き添え字μ（ｐ）は、第ｐ番目の層Ｌ_ｐにおけるノードの個数を示す正整数である。ＮＮモデル４１Ａにおいて、隣接する２層のうちの一方の層のノードと他方の層のノードとは互いに結合されており、ノード間の結合強度として重み係数（結合荷重）が割り当てられる。また、各ノードごとに、バイアスと呼ばれる値が割り当てられている。ＮＮモデル４１Ａの入出力特性を定めるパラメータ群は、重み係数及びバイアスを含むものである。

図４に示されるように、入力層Ｌ_１は、選択信号ｙ_ｎ（ｃ）の同相成分ｙ_ｎ ^ｉ（ｃ）及び直交成分ｙ_ｎ ^ｑ（ｃ）がそれぞれ入力される２個のノードＮ_１，１，Ｎ_{１，μ（１）}を有しており（μ（１）＝２）、出力層Ｌ_Ｐは、後歪み信号ｓ_ｎ（ｃ）の同相成分ｓ_ｎ ^ｉ（ｃ）及び直交成分ｓ_ｎ ^ｑ（ｃ）をそれぞれ出力する２個のノードＮ_Ｐ，１，Ｎ_{Ｐ，μ（Ｐ）}を有している（μ（Ｐ）＝２）。

図５は、順伝播処理の一例を説明するための図である。図５に示されるように、第ｐ−１番目の層Ｌ_ｐ−１におけるノードＮ_{ｐ−１，１}〜Ｎ_{ｐ−１，μ(ｐ−１)}と、第ｐ番目の層Ｌ_ｐにおける第ｒ番目のノードＮ_ｐ，ｒとの間が結合されている。ここで、ｒは、１〜μ（ｐ）の範囲内の整数である。図５に示されるように、ノードＮ_{ｐ−１，１}〜Ｎ_{ｐ−１，μ(ｐ−１)}とノードＮ_ｐ，ｒとの間の結合強度として、重み係数ｗ_ｒ，１ ^{(ｐ，ｐ−１)}〜ｗ_{ｒ，μ(ｐ−１)} ^{(ｐ，ｐ−１)}が割り当てられている。また、ノードＮ_ｐ，ｒには、バイアスｂ_ｒ ^(ｐ)が割り当てられる。

このとき、ノードＮ_ｐ，ｒは、第ｐ−１番目の層Ｌ_ｐ−１におけるノードＮ_{ｐ−１，１}〜Ｎ_{ｐ−１，μ(ｐ−１)}から順方向に伝播された信号ｏ_１ ^(ｐ−１)〜ｏ_{μ(ｐ−１)} ^(ｐ−１)に対してそれぞれ重み係数ｗ_ｒ，１ ^{(ｐ，ｐ−１)}〜ｗ_{ｒ，μ(ｐ−１)} ^{(ｐ，ｐ−１)}を乗算し、その乗算結果とバイアスｂ_ｒ ^(ｐ)とを加算する。さらに、ノードＮ_ｐ，ｒは、その加算結果に活性化関数ｆ［］を作用させる。結果として、ノードＮ_ｐ，ｒは、図５に示される数式で表現される信号ｏ_ｒ ^(ｐ)を、第ｐ＋１番目の層Ｌ_ｐ＋１におけるすべてのノードＮ_{ｐ＋１，１}〜Ｎ_{ｐ＋１，μ(ｐ＋１)}に向けて順方向に伝播させる。活性化関数ｆ［］としては、たとえば、シグモイド関数（ｓｉｇｍｏｉｄ ｆｕｎｃｔｉｏｎ）または双曲線正接関数（ｈｙｐｅｒｂｏｌｉｃ ｔａｎｇｅｎｔ ｆｕｎｃｔｉｏｎ）などの公知の活性化関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）が使用されればよい。なお、図５に示された数式の変数ｉは、１〜μ（ｐ−１）の範囲内の整数である。

図４に示した出力層Ｌ_ＰにおけるノードＮ_Ｐ，１，Ｎ_{Ｐ，μ(Ｐ)}（μ(Ｐ)＝２）は、信号ｏ_１ ^(Ｐ)，ｏ_２ ^(Ｐ)をそれぞれ同相成分ｓ_ｎ ^ｉ（ｃ）及び直交成分ｓ_ｎ ^ｑ（ｃ）として出力する。

図６は、ＡＮＮ構造４１の他の具体例を示すニューラルネットワークモデル（ＮＮモデル）４１Ｂを示す概略図である。図６に示されるＮＮモデル４１Ｂは、直列に接続された遅延素子Ｄ_１〜Ｄ_Ｍと、Ｐ個の層Ｌ_１〜Ｌ_Ｐとからなる多階層型のニューラルネットワークモデルである。ここで、Ｍは、遅延素子Ｄ_１〜Ｄ_Ｍの個数を表す正整数である。

ＮＮモデル４１Ｂにおける一群の遅延素子Ｄ_１〜Ｄ_Ｍは、当該ＮＮモデル４１Ｂに入力された選択信号ｙ_ｎ（ｃ）に対してＭ個の遅延信号ｙ_ｎ（ｃ−１）〜ｙ_ｎ（ｃ−Ｍ）を生成する。ＮＮモデル４１Ｂの層構造は、信号ｙ_ｎ（ｃ−１）〜ｙ_ｎ（ｃ−Ｍ）の同相成分ｙ_ｎ ^ｉ（ｃ）〜ｙ_ｎ ^ｉ（ｃ−Ｍ）及び直交成分ｙ_ｎ ^ｑ（ｃ）〜ｙ_ｎ ^ｑ（ｃ−Ｍ）が入力される入力層Ｌ_１と、中間層（隠れ層）Ｌ_２〜Ｌ_Ｐ−１と、後歪み信号ｓ_ｎ（ｃ）の同相成分ｓ_ｎ ^ｉ（ｃ）及び直交成分ｓ_ｎ ^ｑ（ｃ）を出力する出力層Ｌ_Ｐとを有している。図６の例では、中間層は２層以上であるが、この代わりに１層であってもよい。

図４に示したＮＮモデル４１Ａの場合と同様に、ＮＮモデル４１ＢにおけるＰ個の層Ｌ_１〜Ｌ_Ｐのうち第ｐ番目の層Ｌ_ｐは、脳の神経回路網のニューロンを模したノードＮ_ｐ，１〜Ｎ_{ｐ，μ(ｐ)}を有している。また、ＮＮモデル４１Ｂにおいて、隣接する２層のうちの一方の層のノードと他方の層のノードとの間の結合強度として重み係数（結合荷重）が割り当てられる。また、各ノードごとに、バイアスと呼ばれる値が割り当てられている。ＮＮモデル４１Ｂの入出力特性を定めるパラメータ群は、重み係数及びバイアスを含むものである。

次に、図７を参照しつつ、実施の形態１のＡＮＮ学習装置３１の動作について以下に説明する。図７は、ＡＮＮ学習装置３１により実行される学習処理の手順の例を概略的に示すフローチャートである。ＡＮＮ構造４１が初めて学習しようとする際には、ＡＮＮ構造４１のパラメータ群は、乱数値に初期化される。

先ず、トレーニング信号群に対応する応答信号群を得るための処理が実行される（ステップＳＴ１１〜ＳＴ１３）。このとき、学習制御部６１は動作しない。図７を参照すると、メモリ制御部５１は、信号メモリ５５の記憶領域５５ａからトレーニング信号Ｔ（ｋ）を読み出し、信号供給部４０は、当該読み出されたトレーニング信号を信号処理回路１１に供給する（ステップＳＴ１１）。このとき、信号処理回路１１は、ＡＮＮ学習装置３１から入力されたトレーニング信号Ｔ（ｋ）にディジタル信号処理及びアナログ信号処理を施して応答信号Ｙ（ｋ）を生成し、当該応答信号Ｙ（ｋ）をＡＮＮ学習装置３１に転送する。ＡＮＮ学習装置３１の信号受信部６０は、信号処理回路１１から転送された応答信号Ｙ（ｋ）を受信する。

メモリ制御部５１は、信号受信部６０で受信された応答信号Ｙ（ｋ）を信号メモリ５５の記憶領域５５ｂに記憶させる（ステップＳＴ１２）。

次いで、適応処理を開始するか否かが判定される（ステップＳＴ１３）。たとえば、メモリ制御部５１は、信号メモリ５５の記憶領域５５ｂに記憶された応答信号Ｙ（ｋ）の個数を計数し、当該個数が所定数に到達したときに、適応処理を開始すると判定することができる（ステップＳＴ１３のＹＥＳ）。適応処理を開始しないとの判定がなされたときは（ステップＳＴ１３のＮＯ）、ステップＳＴ１１〜ＳＴ１２が繰り返し実行される。これにより、一連のトレーニング信号Ｔ（０），Ｔ（１），Ｔ（２），…が信号処理回路１１に供給され、一連のトレーニング信号Ｔ（０），Ｔ（１），Ｔ（２），…に対応する一連の応答信号Ｙ（０），Ｙ（１），Ｙ（２），…が信号メモリ５５の記憶領域５５ｂに格納される。

適応処理を開始するとの判定がなされたとき（ステップＳＴ１３のＹＥＳ）、メモリ制御部５１及び学習制御部６１は、適応処理を開始する。初回の適応処理が実行される場合には、反復回数ｎの値は１に初期化される。

具体的には、メモリ制御部５１は、信号メモリ５５の記憶領域５５ｂから、ランダムまたは擬似ランダムに選択された選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）を読み出し、当該選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）をＡＮＮ構造４１に供給する（ステップＳＴ１４）。これにより、ＡＮＮ構造４１から後歪み信号ｓ_ｎ（０）〜ｓ_ｎ（Ｃ−１）が出力される。また、メモリ制御部５１は、信号メモリ５５の記憶領域５５ａから、選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）に対応する教師信号ｚ_ｎ（０）〜ｚ_ｎ（Ｃ−１）を読み出し、当該教師信号ｚ_ｎ（０）〜ｚ_ｎ（Ｃ−１）を学習制御部６１に供給する（ステップＳＴ１５）。学習制御部６１における減算器６３は、当該後歪み信号ｓ_ｎ（０）〜ｓ_ｎ（Ｃ−１）と当該教師信号ｚ_ｎ（０）〜ｚ_ｎ（Ｃ−１）との間の差分を示す誤差信号ｅ_ｎ（０）〜ｅ_ｎ（Ｃ−１）を算出する（ステップＳＴ１６）。なお、図７の例では、説明の便宜上、ステップＳＴ１４，ＳＴ１５，ＳＴ１６がこの順番で実行されているが、これに限定されるものではない。ステップＳＴ１４，ＳＴ１５，ＳＴ１６が互いに並列に実行されてもよい。

そして、適応処理部６４は、誤差信号ｅ_ｎ（０）〜ｅ_ｎ（Ｃ−１）を用いて逆伝播学習アルゴリズムに基づく適応処理を実行することによりＡＮＮ構造４１の新たなパラメータ群を算出する（ステップＳＴ１７）。次に、パラメータ設定部６５は、ＡＮＮ構造４１のパラメータ群として当該新たなパラメータ群を設定することにより、ＡＮＮ構造４１のパラメータ群を更新する（ステップＳＴ１８）。このときの逆伝播学習アルゴリズムとしては、たとえば、勾配降下法（Ｇｒａｄｉｅｎｔ Ｄｅｓｃｅｎｔ ａｌｇｏｒｉｔｈｍ）、ガウスニュートン法（Ｇａｕｓｓ Ｎｅｗｔｏｎ ａｌｇｏｒｉｔｈｍ）またはレーベンバーグ・マルカート法（Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ ａｌｇｏｒｉｔｈｍ）などの公知のアルゴリズムが使用されればよく、特に制限されるものではない。

ステップＳＴ１７において、適応処理部６４は、たとえば、次式（１）に従い、現在の重み係数を要素とするｎ回目の重み係数群ｗ_ｎに基づいて、新たな重み係数を要素とするｎ＋１回目の重み係数群ｗ_ｎ＋１を算出することができる。
ｗ_ｎ＋１＝ｗ_ｎ−Ｇ［μ，ｅ_ｎ］ （１）
ここで、現在の重み係数群ｗ_ｎ及び新たな重み係数群ｗ_ｎ＋１は、ベクトルまたは行列で表現可能であり、μは、学習係数であり、ｅ_ｎは、誤差信号ｅ_ｎ（０）〜ｅ_ｎ（Ｃ−１）を要素とするベクトルであり、Ｇ［］は、逆伝播学習アルゴリズムによる更新量を決定する関数である。

その後、適応処理部６４は、反復処理を終了するか否かを判定する（ステップＳＴ１９）。反復処理を終了しないと判定されたとき（ステップＳＴ１９のＮＯ）、メモリ制御部５１及び学習制御部６１は、ステップＳＴ１４〜ＳＴ１８を繰り返し実行する。たとえば、反復回数ｎがあらかじめ定められた回数に到達した場合、あるいは、パラメータ群が十分に収束したことを示す収束条件が満たされる場合に、適応処理部６４は、反復処理を終了すると判定すればよい（ステップＳＴ１９のＹＥＳ）。なお、収束条件としては、たとえば、誤差信号ｅ_ｎ（０）〜ｅ_ｎ（Ｃ−１）の大きさを表す誤差評価値が所定回数だけ連続して所定値以下となるという条件が挙げられる。たとえば、誤差評価値としては、誤差信号ｅ_ｎ（ｃ）の絶対値または当該絶対値の２乗をｃ＝０〜Ｃ−１について加算した値を使用すればよい。

反復処理を終了するとの判定がなされた場合（ステップＳＴ１９のＹＥＳ）、ＡＮＮ構造４１の学習を続行する場合には（ステップＳＴ２０のＮＯ）、学習制御部６１は、ステップＳＴ１１以後の学習処理を再度実行する。ＡＮＮ構造４１の学習を完了させる場合には（ステップＳＴ２０のＹＥＳ）、学習制御部６１は、学習処理を終了する。

ＡＮＮ構造４１の学習が完了した場合、学習済みのＡＮＮ構造４１を歪み補償回路として用いることができる。図８は、歪み補償回路として使用されるＡＮＮ構造４１を有する信号処理装置２の概略構成を示すブロック図である。ＡＮＮ構造４１は、高周波回路２４の周波数特性及び非線形な入出力特性により発生する信号歪みをあらかじめ補償することができ、また、直交変調器２１で発生する直交度誤差（直交変調誤差）をも補償することができる。直交変調器２１の出力信号の同相成分及び直交成分は、互いに直交するという状態にあることが理想であるが、温度条件などの要因により、その出力信号の同相成分及び直交成分の実際の状態と理想状態との間に誤差が生ずることがある。このような誤差が、直交度誤差である。

以上に説明したように実施の形態１のＡＮＮ学習システム１では、ＡＮＮ学習装置３１は、ランダムまたは擬似ランダムに選択された選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）と教師信号ｚ_ｎ（０）〜ｚ_ｎ（Ｃ−１）との間の差分を示す誤差信号ｅ_ｎ（０）〜ｅ_ｎ（Ｃ−１）を用いて逆伝播学習アルゴリズムに基づく適応処理を実行するので、ＡＮＮ構造４１のパラメータ群の収束性の低下を回避したり、あるいは、そのパラメータ群が本来収束すべき解からずれた値へ収束することを回避したりすることができる。これにより、ＡＮＮ構造４１の学習効率の向上が可能となる。

なお、上記したＡＮＮ学習装置３１の機能の全部または一部は、たとえば、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ），ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）またはＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの半導体集積回路を有する単数または複数のプロセッサにより実現可能である。あるいは、ＡＮＮ学習装置３１の機能の全部または一部は、ソフトウェアまたはファームウェアのプログラムコードを実行する、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）またはＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置を含む単数または複数のプロセッサで実現されてもよい。あるいは、ＤＳＰ，ＡＳＩＣまたはＦＰＧＡなどの半導体集積回路と、ＣＰＵまたはＧＰＵなどの演算装置との組み合わせを含む単数または複数のプロセッサによってＡＮＮ学習装置３１の機能の全部または一部を実現することも可能である。

図９は、ＡＮＮ学習装置３１のハードウェア構成例であるデータ処理装置８０の概略構成を示すブロック図である。図９に示されるデータ処理装置８０は、プロセッサ８１、入出力インタフェース８４、メモリ８２、記憶装置８３及び信号路８５を備えている。信号路８５は、プロセッサ８１、入出力インタフェース８４、メモリ８２及び記憶装置８３を相互に接続するためのバスである。入出力インタフェース８４は、プロセッサ８１から転送された信号を信号処理回路１１（図１）に出力することができ、また、信号処理回路１１から入力された信号をプロセッサ８１に転送する機能を有する。

メモリ８２は、プロセッサ８１がディジタル信号処理を実行する際に使用されるワークメモリと、当該ディジタル信号処理で使用されるデータが展開される一時記憶メモリとを含む。たとえば、メモリ８２は、フラッシュメモリ及びＳＤＲＡＭなどの半導体メモリで構成されればよい。メモリ８２は、図１の信号メモリ５５として利用可能である。また、記憶装置８３は、プロセッサ８１がＣＰＵまたはＧＰＵなどの演算装置を含む場合に当該演算装置で実行されるべきソフトウェアまたはファームウェアのプログラムコードを格納する記憶領域として利用可能である。たとえば、記憶装置８３は、フラッシュメモリまたはＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の半導体メモリで構成されればよい。

なお、図９の例では、プロセッサ８１の個数は１つであるが、これに限定されるものではない。互いに連携して動作する複数個のプロセッサを用いてＡＮＮ学習装置３１のハードウェア構成が実現されてもよい。

実施の形態２．
次に、本発明に係る実施の形態２について説明する。図１０は、本発明に係る実施の形態２の信号処理装置３の概略構成を示すブロック図である。図１０に示される信号処理装置３は、入力信号に対してディジタル信号処理及びアナログ信号処理を実行する信号処理回路１１と、信号処理回路１１で発生する信号歪みをあらかじめ補償する歪み補償回路１３とを備えて構成されている。図１０に示した信号処理回路１１の構成は、図１に示した信号処理回路１１の構成と同じであるので、その詳細な説明を省略する。

本実施の形態の歪み補償回路１３は、いわゆる間接学習機構（Ｉｎｄｉｒｅｃｔ Ｌｅａｒｎｉｎｇ Ａｒｃｈｉｔｅｃｔｕｒｅ）を備えた歪み補償回路である。図３に示されるように歪み補償回路１３は、第１ＡＮＮ構造４２及び第２ＡＮＮ構造４３という一組のＡＮＮ構造を有している。歪み補償回路１３は、第１ＡＮＮ構造４２の入出力特性（周波数特性を含む。）と第２ＡＮＮ構造４３の入出力特性（周波数特性を含む。）とが互いに一致するように、第１ＡＮＮ構造４２の入出力特性を定めるパラメータ群と第２ＡＮＮ構造４３の入出力特性を定めるパラメータ群とを更新することにより、信号処理回路１１の歪み特性に対応する逆特性を第１ＡＮＮ構造４２に学習させることができる。本実施の形態の第１ＡＮＮ構造４２と第２ＡＮＮ構造４３とは、同一のニューラルネットワークモデルで構成されている。ニューラルネットワークモデルの具体例としては、図４または図５に示したＮＮモデル４１Ａまたは４１Ｂが挙げられるが、これに限定されるものではない。

歪み補償回路１３は、図１０に示されるように、第１ＡＮＮ構造４２及び第２ＡＮＮ構造４３の他に、信号受信部６０、信号メモリ５５、メモリ制御部５２及び学習制御部６２を備えている。メモリ制御部５２は、信号メモリ５５の信号読み出し動作及び信号書き込み動作を制御することができる。

第１ＡＮＮ構造４２には、外部信号源（図示せず）から、同相成分及び直交成分からなる複素ディジタル信号である入力信号（離散信号）Ｘ（ｋ）が供給される。ここで、その入力信号Ｘ（ｋ）の変数ｋは、離散時間を表す整数値である。第１ＡＮＮ構造４２は、時間的に連続する複数の入力信号Ｘ（０），Ｘ（１），…に順伝播処理を施し、その結果得られた複素ディジタル信号を前歪み信号Ｚ（０），Ｚ（１），…として出力する。前歪み信号Ｚ（０），Ｚ（１），…は、信号処理回路１１と信号メモリ５５とに転送される。メモリ制御部５２は、第１ＡＮＮ構造４２から転送された前歪み信号Ｚ（ｋ）を信号メモリ５５の記憶領域５５ａに記憶させる。

信号処理回路１１は、第１ＡＮＮ構造４２から転送された一連の前歪み信号Ｚ（０），Ｚ（１），Ｚ（２），…にディジタル信号処理及びアナログ信号処理を施してフィードバック信号すなわち応答信号Ｙ（０），Ｙ（１），Ｙ（２），…を生成し、当該応答信号Ｙ（０），Ｙ（１），Ｙ（２），…を歪み補償回路１３に転送する。なお、信号処理回路１１と歪み補償回路１３との間には、前歪み信号Ｚ（ｋ）及び応答信号Ｙ（ｋ）を転送するための配線またはケーブルなどの伝送線路（図示せず）が設けられている。

信号処理回路１１から転送された応答信号Ｙ（ｋ）を信号受信部６０が受信すると、メモリ制御部５２は、当該応答信号Ｙ（ｋ）を信号メモリ５５の記憶領域５５ｂに記憶させる。後述するように、メモリ制御部５２は、記憶領域５５ｂに記憶された応答信号Ｙ（０），Ｙ（１），…の中からランダムまたは擬似ランダムに選択された選択信号ｙ_ｎ（ｃ）を読み出し、当該選択信号ｙ_ｎ（ｃ）を第２ＡＮＮ構造４３に供給することができる（ｃ＝０，１，…）。第２ＡＮＮ構造４３は、記憶領域５５ｂから入力された選択信号ｙ_ｎ（ｃ）に対して順伝播処理を実行し、その結果得られた複素ディジタル信号を後歪み信号ｓ_ｎ（ｃ）として出力する。

図１１は、処理時間ｔ，前歪み信号Ｚ（ｋ）及び応答信号Ｙ（ｋ）の間の対応関係を表す図である。ここで、処理時間ｔは、ｔ＝Ｔ_０＋ｋ×ΔＴ、との式で表される。Ｔ_０は、基準時間、ΔＴは、処理時間間隔である。図１１の例では、ｋは、０〜Ｋ−１の範囲内の整数であり、Ｋは、信号メモリ５５の記憶領域５５ｂに記憶されている応答信号Ｙ（０）〜Ｙ（Ｋ−１）の数である。図１１の対応表に示されるように、前歪み信号Ｚ（ｋ）と応答信号Ｙ（ｋ）とは一対一で対応している。

図１０に示される学習制御部６２は、逆伝播学習アルゴリズムに基づく適応処理を実行することにより、第１ＡＮＮ構造４２のパラメータ群と第２ＡＮＮ構造４３のパラメータ群とを更新する機能を有する。学習制御部６２は、減算器６３、適応処理部６４及びパラメータ設定部６６を含んで構成されている。学習制御部６２の構成は、図１のパラメータ設定部６５に代えて図１０のパラメータ設定部６６を有する点を除いて、実施の形態１の学習制御部６１の構成と同じである。

適応処理が実行される際には、メモリ制御部５２は、信号メモリ５５の記憶領域５５ｂに記憶された一群の応答信号Ｙ（０）〜Ｙ（Ｋ−１）の中から、Ｃ個の応答信号をランダムまたは擬似ランダムに選択し、当該選択されたＣ個の応答信号を選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）として信号メモリ５５から第２ＡＮＮ構造４３に供給する。ここで、Ｃは、応答信号Ｙ（０）〜Ｙ（Ｋ−１）の総数Ｋよりも小さい正整数であり、下付き添え字ｎは、適応処理の反復回数を示す正整数である。第２ＡＮＮ構造４３は、信号メモリ５５から入力された選択信号ｙ_ｎ（ｃ）に対して順伝播処理を実行し、その結果得られた複素ディジタル信号を後歪み信号ｓ_ｎ（ｃ）として出力する。また、メモリ制御部５２は、信号メモリ５５の記憶領域５５ａに記憶された一群の前歪み信号の中から、当該選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）にそれぞれ対応するＣ個の前歪み信号を選択し、当該選択されたＣ個の前歪み信号を参照信号ｚ_ｎ（０）〜ｚ_ｎ（Ｃ−１）として信号メモリ５５から学習制御部６２に出力させる。

図１２は、処理時間τ，応答信号Ｙ（κ），選択信号ｙ_ｎ（ｃ），前歪み信号Ｚ（κ），及び参照信号ｚ_ｎ（ｃ）の間の対応関係の一例を示す図である。ここで、処理時間τは、τ＝Ｔ_０＋κ×ΔＴ、との式で表され、κは、ランダムまたは擬似ランダムな整数（乱数）である。選択信号ｙ_ｎ（ｃ）は、ランダムまたは擬似ランダムに選択された応答信号Ｙ（κ）と一致し（ｙ_ｎ（ｃ）＝Ｙ（κ））、参照信号ｚ_ｎ（ｃ）は、応答信号Ｙ（κ）に対応する前歪み信号Ｚ（κ）と一致する（ｚ_ｎ（ｃ）＝Ｚ（κ））。

メモリ制御部５２は、実施の形態１のメモリ制御部５１と同様に、物理乱数列または擬似乱数列を用いて読み出しアドレスを連続的に生成し、当該読み出しアドレスを信号メモリ５５に供給することで、選択信号ｙ_ｎ（ｃ）と参照信号ｚ_ｎ（ｃ）との対をランダムまたは擬似ランダムに選択することができる。あるいは、メモリ制御部５２は、信号メモリ５５の記憶領域５５ｂに一旦格納された応答信号Ｙ（０）〜Ｙ（Ｋ−１）の配列を、物理乱数列または擬似乱数列を用いてランダムまたは擬似ランダムな順番に並べ替えてもよい。これにより、メモリ制御部５２は、信号メモリ５５からアドレス順にＣ個の応答信号を読み出すことで選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）を得ることができる。

学習制御部６２は、ランダムまたは擬似ランダムに選択された選択信号ｙ_ｎ（０）〜ｓ_ｎ（Ｃ−１）と参照信号ｚ_ｎ（０）〜ｚ_ｎ（Ｃ−１）とを用いて、逆伝播学習アルゴリズムに基づく適応処理を実行することにより、第１ＡＮＮ構造４２のパラメータ群及び第２ＡＮＮ構造４３のパラメータ群を更新することができる。これにより、学習制御部６２は、相関性の高い離散信号からなる時系列データを用いた適応処理の実行を回避することができるので、第１ＡＮＮ構造４２及び第２ＡＮＮ構造４３のパラメータ群の収束性を向上させることができる。したがって、第１ＡＮＮ構造４２及び第２ＡＮＮ構造４３の学習効率の向上が可能となる。

次に、図１３を参照しつつ、実施の形態２の歪み補償回路１３における学習処理の動作について以下に説明する。図１３は、歪み補償回路１３により実行される学習処理の手順の例を概略的に示すフローチャートである。第１ＡＮＮ構造４２及び第２ＡＮＮ構造４３が初めて学習しようとする際には、第１ＡＮＮ構造４２及び第２ＡＮＮ構造４３のパラメータ群は、乱数値に初期化される。

学習処理は、第１ＡＮＮ構造４２が入力信号Ｘ（ｋ）に順伝播処理を施して前歪み信号Ｚ（ｋ）を生成するときに開始される（ｋ＝０，１，２，…）。当該前歪み信号Ｚ（ｋ）は、信号処理回路１１と信号メモリ５５とに転送される。歪み補償回路１３のメモリ制御部５２は、第１ＡＮＮ構造４２により生成された前歪み信号Ｚ（ｋ）を信号メモリ５５の記憶領域５５ａに記憶させる（ステップＳＴ２１）。信号処理回路１１から出力された応答信号Ｙ（ｋ）を信号受信部６０が受信すると、メモリ制御部５２は、当該応答信号Ｙ（ｋ）を信号メモリ５５の記憶領域５５ｂに記憶させる（ステップＳＴ２２）。

次いで、適応処理を開始するか否かが判定される（ステップＳＴ２３）。たとえば、メモリ制御部５２は、信号メモリ５５の記憶領域５５ｂに記憶された応答信号Ｙ（ｋ）の個数を計数し、当該個数が所定数に到達したときに、適応処理を開始すると判定することができる（ステップＳＴ２３のＹＥＳ）。適応処理を開始しないとの判定がなされたときは（ステップＳＴ２３のＮＯ）、ステップＳＴ２１〜ＳＴ２２が繰り返し実行される。これにより、一連の前歪み信号Ｚ（０），Ｚ（１），Ｚ（２），…が信号メモリ５５の記憶領域５５ａに格納され、一連の前歪み信号Ｚ（０），Ｚ（１），Ｚ（２），…に対応する一連の応答信号Ｙ（０），Ｙ（１），Ｙ（２），…が信号メモリ５５の記憶領域５５ｂに格納される。

適応処理を開始するとの判定がなされたとき（ステップＳＴ２３のＹＥＳ）、メモリ制御部５２及び学習制御部６２は、適応処理を開始する。初回の適応処理が実行される場合には、反復回数ｎの値は１に初期化される。

具体的には、メモリ制御部５２は、信号メモリ５５の記憶領域５５ｂから、ランダムまたは擬似ランダムに選択された選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）を読み出し、当該選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）を第２ＡＮＮ構造４３に供給する（ステップＳＴ２４）。これにより、第２ＡＮＮ構造４３から後歪み信号ｓ_ｎ（０）〜ｓ_ｎ（Ｃ−１）が出力される。また、メモリ制御部５２は、信号メモリ５５の記憶領域５５ａから、選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）に対応する参照信号ｚ_ｎ（０）〜ｚ_ｎ（Ｃ−１）を読み出し、当該参照信号ｚ_ｎ（０）〜ｚ_ｎ（Ｃ−１）を学習制御部６２に供給する（ステップＳＴ２５）。学習制御部６２における減算器６３は、当該後歪み信号ｓ_ｎ（０）〜ｓ_ｎ（Ｃ−１）と当該参照信号ｚ_ｎ（０）〜ｚ_ｎ（Ｃ−１）との間の差分を示す誤差信号ｅ_ｎ（０）〜ｅ_ｎ（Ｃ−１）を算出する（ステップＳＴ２６）。なお、図１３の例では、説明の便宜上、ステップＳＴ２４，ＳＴ２５，ＳＴ２６がこの順番で実行されているが、これに限定されるものではない。ステップＳＴ２４，ＳＴ２５，ＳＴ２６が互いに並列に実行されてもよい。

そして、適応処理部６４は、実施の形態１のステップＳＴ１７の場合と同様に、誤差信号ｅ_ｎ（０）〜ｅ_ｎ（Ｃ−１）を用いて逆伝播学習アルゴリズムに基づく適応処理を実行することにより第２ＡＮＮ構造４３の新たなパラメータ群を算出する（ステップＳＴ２７）。次に、パラメータ設定部６６は、第１ＡＮＮ構造４２及び第２ＡＮＮ構造４３のパラメータ群として当該新たなパラメータ群を設定することにより、第１ＡＮＮ構造４２及び第２ＡＮＮ構造４３のパラメータ群を更新する（ステップＳＴ２８）。

その後、適応処理部６４は、反復処理を終了するか否かを判定する（ステップＳＴ２９）。反復処理を終了しないと判定されたとき（ステップＳＴ２９のＮＯ）、メモリ制御部５２及び学習制御部６２は、ステップＳＴ２４〜ＳＴ２８を繰り返し実行する。たとえば、反復回数ｎがあらかじめ定められた回数に到達した場合、あるいは、パラメータ群が十分に収束したことを示す収束条件が満たされる場合に、適応処理部６４は、反復処理を終了すると判定すればよい（ステップＳＴ２９のＹＥＳ）。なお、収束条件としては、たとえば、誤差信号ｅ_ｎ（０）〜ｅ_ｎ（Ｃ−１）の大きさを表す誤差評価値が所定回数だけ連続して所定値以下となるという条件が挙げられる。たとえば、誤差評価値としては、誤差信号ｅ_ｎ（ｃ）の絶対値または当該絶対値の２乗をｃ＝０〜Ｃ−１について加算した値を使用すればよい。

反復処理を終了するとの判定がなされた場合（ステップＳＴ２９のＹＥＳ）、第１ＡＮＮ構造４２及び第２ＡＮＮ構造４３の学習を続行する場合には（ステップＳＴ３０のＮＯ）、学習制御部６２は、ステップＳＴ２１以後の学習処理を再度実行する。第１ＡＮＮ構造４２及び第２ＡＮＮ構造４３の学習を完了させる場合には（ステップＳＴ３０のＹＥＳ）、学習制御部６２は、学習処理を終了する。

以上に説明したように実施の形態２の信号処理装置３では、歪み補償回路１３は、ランダムまたは擬似ランダムに選択された選択信号ｙ_ｎ（０）〜ｙ_ｎ（Ｃ−１）と参照信号ｚ_ｎ（０）〜ｚ_ｎ（Ｃ−１）との間の差分を示す誤差信号ｅ_ｎ（０）〜ｅ_ｎ（Ｃ−１）を用いて逆伝播学習アルゴリズムに基づく適応処理を実行するので、第１ＡＮＮ構造４２及び第２ＡＮＮ構造４３の学習効率の向上が可能となる。

なお、上記した歪み補償回路１３の機能の全部または一部は、たとえば、ＤＳＰ，ＡＳＩＣまたはＦＰＧＡなどの半導体集積回路を有する単数または複数のプロセッサにより実現可能である。あるいは、歪み補償回路１３の機能の全部または一部は、ソフトウェアまたはファームウェアのプログラムコードを実行する、ＣＰＵまたはＧＰＵなどの演算装置を含む単数または複数のプロセッサで実現されてもよい。あるいは、ＤＳＰ，ＡＳＩＣまたはＦＰＧＡなどの半導体集積回路と、ＣＰＵまたはＧＰＵなどの演算装置との組み合わせを含む単数または複数のプロセッサによって歪み補償回路１３の機能の全部または一部を実現することも可能である。図９に示したデータ処理装置８０によって歪み補償回路１３のハードウェア構成が実現されてもよい。

以上、図面を参照して本発明に係る種々の実施の形態１，２について述べたが、実施の形態１，２は本発明の例示であり、実施の形態１，２以外の様々な実施の形態がありうる。本発明の範囲内において、上記実施の形態１，２の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。

たとえば、ＡＮＮ構造４１，第１ＡＮＮ構造４２及び第２ＡＮＮ構造４３の具体例は、図４及び図６に示したＮＮモデル４１Ａ，４１Ｂに限定されるものではない。たとえば、ＮＮモデル４１Ａ，４１Ｂに代えて、フィードバック結合を有する公知の再帰型ニューラルネットワークモデル（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｍｏｄｅｌ，ＲＮＮ Ｍｏｄｅｌ）が使用されてもよい。

本発明に係る人工ニューラルネットワーク（ＡＮＮ）学習装置、歪み補償回路及び信号処理装置は、たとえば、移動体通信システム、ディジタル放送システム及び衛星通信システムといった無線通信システムにおける無線送信機または無線受信機の高周波回路（たとえば、電力増幅器）に用いることが可能である。

１ 人工ニューラルネットワーク（ＡＮＮ）学習システム、２，３ 信号処理装置、１１ 信号処理回路、１３ 歪み補償回路、２１ 直交変調器（ＱＭ）、２２ Ｄ／Ａ変換器（ＤＡＣ）、２３ アップコンバータ（ＵＰＣ）、２４ 高周波回路、２５ 方向性結合器、２６ ダウンコンバータ（ＤＮＣ）、２７ Ａ／Ｄ変換器（ＡＤＣ）、２８ 直交復調器（ＱＤ）、３１ 人工ニューラルネットワーク（ＡＮＮ）学習装置、４０ 信号供給部、４１ 人工ニューラルネットワーク（ＡＮＮ）構造、４１Ａ，４１Ｂ ニューラルネットワークモデル（ＮＮモデル）、４２ 第１ＡＮＮ構造、４３ 第２ＡＮＮ構造、５１，５２ メモリ制御部、５５ 信号メモリ、５５ａ，５５ｂ 記憶領域、６０ 信号受信部、６１，６２ 学習制御部、６３ 減算器、６４ 適応処理部、６５，６６ パラメータ設定部、８０ データ処理装置、８１ プロセッサ、８２ メモリ、８３ 記憶装置、８４ 入出力インタフェース、８５ 信号路。

Claims (12)

1. 時間的に連続する複数のトレーニング信号を信号処理回路に供給して当該信号処理回路から複数の応答信号を出力させる信号供給部と、
   前記複数の応答信号を記憶する信号メモリと、
   前記信号メモリに記憶された当該複数の応答信号の中からランダムまたは擬似ランダムに選択された複数の選択信号を読み出し、当該複数の選択信号を人工ニューラルネットワーク構造に供給して当該人工ニューラルネットワーク構造から複数の後歪み信号を出力させるメモリ制御部と、
   当該複数の後歪み信号と当該複数の選択信号に対応する複数の教師信号との間の差分を示す複数の誤差信号を算出し、当該複数の誤差信号を用いて逆伝播学習アルゴリズムに基づく適応処理を実行することにより、前記人工ニューラルネットワーク構造の入出力特性を定めるパラメータ群を更新する学習制御部と
   を備えることを特徴とする人工ニューラルネットワーク学習装置。
2. 請求項１に記載の人工ニューラルネットワーク学習装置であって、前記学習制御部は、前記複数のトレーニング信号の中から選択された複数の信号を前記複数の教師信号として使用することを特徴とする人工ニューラルネットワーク学習装置。
3. 請求項１または請求項２に記載の人工ニューラルネットワーク学習装置であって、前記学習制御部は、前記逆伝播学習アルゴリズムに基づいて前記複数の誤差信号の大きさが小さくなるように前記パラメータ群を更新することを特徴とする人工ニューラルネットワーク学習装置。
4. 請求項３に記載の人工ニューラルネットワーク学習装置であって、前記メモリ制御部及び前記学習制御部は、前記複数の選択信号を前記信号メモリから読み出す処理と、当該複数の選択信号を前記人工ニューラルネットワーク構造に供給する処理と、前記複数の誤差信号を算出する処理と、前記適応処理とを反復して実行することにより前記パラメータ群を収束させることを特徴とする人工ニューラルネットワーク学習装置。
5. 請求項１から請求項４のうちのいずれか１項に記載の人工ニューラルネットワーク学習装置であって、
   前記人工ニューラルネットワーク構造は、前記選択信号が入力される入力層と、少なくとも１層からなる中間層と、前記後歪み信号を出力する出力層とからなる複数の層を含み、
   前記学習制御部は、前記複数の層の間を伝播する信号に重み付けされる重み係数を前記パラメータ群として更新する、
   ことを特徴とする人工ニューラルネットワーク学習装置。
6. 時間的に連続する複数の離散信号を入力として複数の前歪み信号を生成し、当該生成された複数の前歪み信号を信号処理回路に出力する第１人工ニューラルネットワーク構造と、
   前記複数の前歪み信号を記憶するとともに、前記信号処理回路が前記複数の前歪み信号の入力に応じて出力した複数の応答信号を記憶する信号メモリと、
   第２人工ニューラルネットワーク構造と、
   前記複数の応答信号の中からランダムまたは擬似ランダムに選択された複数の選択信号を前記信号メモリから読み出し、当該複数の選択信号を前記第２人工ニューラルネットワーク構造に供給して当該第２人工ニューラルネットワーク構造から複数の後歪み信号を出力させるとともに、前記複数の前歪み信号の中から前記複数の選択信号に対応する信号として選択された複数の参照信号を前記信号メモリから読み出すメモリ制御部と、
   前記信号メモリから読み出された当該複数の選択信号と当該複数の参照信号との間の差分を示す複数の誤差信号を算出し、当該複数の誤差信号を用いて逆伝播学習アルゴリズムに基づく適応処理を実行することにより、前記第１人工ニューラルネットワーク構造及び第２人工ニューラルネットワーク構造のそれぞれの入出力特性を定めるパラメータ群を更新する学習制御部と
   を備えることを特徴とする歪み補償回路。
7. 請求項６に記載の歪み補償回路であって、前記学習制御部は、前記第１人工ニューラルネットワーク構造及び前記第２人工ニューラルネットワーク構造のそれぞれの当該入出力特性が互いに一致するように前記パラメータ群を更新することを特徴とする歪み補償回路。
8. 請求項６または請求項７に記載の歪み補償回路であって、前記学習制御部は、前記逆伝播学習アルゴリズムに基づいて前記複数の誤差信号の大きさが小さくなるように前記パラメータ群を更新することを特徴とする歪み補償回路。
9. 請求項８に記載の歪み補償回路であって、前記メモリ制御部及び前記学習制御部は、前記複数の選択信号を前記信号メモリから読み出す処理と、当該複数の選択信号を前記第２人工ニューラルネットワーク構造に供給する処理と、前記複数の参照信号を前記信号メモリから読み出す処理と、前記複数の誤差信号を算出する処理と、前記適応処理とを反復して実行することにより前記パラメータ群を収束させることを特徴とする歪み補償回路。
10. 請求項６から請求項９のうちのいずれか１項に記載の歪み補償回路であって、
    前記第１人工ニューラルネットワーク構造は、前記離散信号が入力される第１の入力層と、少なくとも１層からなる第１の中間層と、前記前歪み信号を出力する第１の出力層とからなる複数の層を含み、
    前記第２人工ニューラルネットワーク構造は、前記選択信号が入力される第２の入力層と、少なくとも１層からなる第２の中間層と、前記後歪み信号を出力する第２の出力層とからなる複数の層を含み、
    前記学習制御部は、前記第１人工ニューラルネットワーク構造の当該複数の層の間を伝播する信号に重み付けされる重み係数と、前記第２人工ニューラルネットワーク構造の当該複数の層の間を伝播する信号に重み付けされる重み係数とを前記パラメータ群として更新する、ことを特徴とする歪み補償回路。
11. 請求項６から請求項１０のうちのいずれか１項に記載の歪み補償回路と、
    前記信号処理回路と
    を備えることを特徴とする信号処理装置。
12. 請求項１１に記載の信号処理装置であって、前記信号処理回路は、前記複数の前歪み信号の電力を増幅する電力増幅器を含むことを特徴とする信号処理装置。

Images