JPH11259444A - 関数近似モデル学習装置及び方法並びに関数近似モデル学習用プログラムを記録した記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 学習するデータを選ぶことで、重要なデータ
の学習結果を忘れたり間違ったデータを学習することな
く、偏りなく効率よく関数近似モデルを学習させる。 【解決手段】 対象システム４は近似しようとする対象
で、入力信号に対して出力信号を出す何らかのシステム
である。関数近似モデル１は、対象システム４が、どの
ような入力信号に対してどのような出力信号を出力する
かという入出力信号の関係を学習するモデルで、対象シ
ステム４が持っている入出力の関係を、パラメータを使
った関数で近似的に表したものである。判断部２は、観
測されたデータを関数近似モデル１の学習に使うかどう
かを判断する部分である。学習部３は、判断部２が学習
に使うと判断したデータを使って関数近似モデル１のパ
ラメータを修正することで、関数近似モデル１を学習さ
せる部分である。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、制御、予測、認識
などに使う関数近似モデルを学習させる技術の改良に関
するもので、より具体的には、学習するデータを選ぶこ
とで、重要なデータの学習結果を忘れたり間違ったデー
タを学習することなく、偏りなく効率よく学習するよう
にしたものである。

【０００２】

【従来の技術】いろいろな対象の振る舞いを近似的に表
すモデルとして、関数近似モデルが知られている。関数
近似モデルは、制御、予測、認識などの対象について、
どのような入力に対してどのような出力を示すかという
入出力の関係を、パラメータを使った関数で近似するも
のである。この関数近似モデルは、人工衛星の制御系、
汚水処理システム、手書き文字認識システム、電力需要
予測など、いろいろな対象に適用することができる。

【０００３】この関数近似モデルで対象の振る舞いを近
似するには、実際の対象がどのような入力信号に対して
どのような出力信号を出したかという観測データを多数
用意し、この観測データと同じような入出力の関係を示
すように関数近似モデルのパラメータを調整する。この
ような調整を学習と呼び、学習に使うデータを学習デー
タと呼ぶ。また、コンピュータを使って関数近似モデル
にこのような学習をさせる装置は関数近似モデル学習装
置と呼ばれる。

【０００４】この学習に使う個々の学習データは、入力
信号と、この入力信号に対して対象が出力した出力信号
との組であり、学習データを構成する出力信号を教師信
号や教師情報と呼ぶ。学習の際には、学習データの入力
信号を関数近似モデルに与えて出力信号を計算させ、関
数近似モデルが出した出力信号と教師信号との誤差が小
さくなるように関数近似モデルのパラメータを調整して
ゆく。このような学習をした関数近似モデルは、実際の
対象を近似した入出力を示す。

【０００５】従来、制御や予測、認識などに利用される
このような関数近似モデルの学習方法としては、過去の
観測データを用いて関数近似モデルの学習を前もって行
い、学習後の関数近似モデルを使って制御や予測、認識
などを実行するオフライン学習法が主であった。但し、
オフライン学習法では、制御対象、予測対象あるいは認
識対象の特性が運用中に変化すると、正確な制御や予
測、認識ができなくなる。そのため、制御や予測、認識
などの実行を停止し、関数近似モデルの再学習を行わな
ければならない。

【０００６】しかし、例えば、人工衛星の制御に関数近
似モデルを応用する場合には、人工衛星を制御し続けな
ければならず、制御を止めて再学習することはできな
い。また、例えば下水処理プロセスの予測モデルに関数
近似モデルを応用する場合には、水温によっても下水処
理プロセスの特性が変化するため、連続的に緩やかな特
性変化が起きる。従って、正確な予測を維持するために
は、常に学習し続けることが必要になる。

【０００７】さらに、ユーザの書いた手書き文字を認識
するシステムに関数近似モデルを応用する場合には、ユ
ーザが認識システムを利用する中で、関数近似モデルが
正しく認識できるように、ユーザの書く文字の特徴を学
習することが望まれる。

【０００８】このように、制御対象、予測対象あるいは
認識対象などの特性変化に追従して近似の正確さを保つ
には、制御や予測、認識などの実行時に、観測されるデ
ータを用いて同時に学習も行うことが必要になる。この
ように関数近似モデルの運用中に学習もさせる手法をオ
ンライン学習法と呼ぶ。

【０００９】

【発明が解決しようとする課題】しかし、従来のオンラ
イン学習法では、 （１）観測されるデータを全て学習することは計算コス
トがかかる。 （２）観測ノイズなどを含んだ間違ったデータを学習す
ることがある。 （３）似ているデータが多く観測される場合、そのデー
タについては誤差が０に近付くまで学習できるが、それ
以外のデータについては学習できていないといった偏っ
た学習結果になる。 （４）通常頻繁に観測される重要でないデータがある一
方、観測される頻度は低いが、観測された場合には正確
な制御や予測、認識などが必要な重要なデータがあると
き、前者のありふれたデータを繰り返し学習することに
よって、後者の重要なデータの学習結果が忘れられてし
まう。などの問題がある。

【００１０】本発明は、上に述べたような従来技術の問
題点を解決するために提案されたもので、その目的は、
学習するデータを選ぶことで、重要なデータの学習結果
を忘れたり間違ったデータを学習することなく、偏りな
く効率よく学習する技術を提供することである。

【００１１】

【課題を解決するための手段】上に述べた目的を達成す
るために、請求項１の発明は、入力信号とこれに対応す
る教師信号とを含むデータを使って関数近似モデルを学
習させる関数近似モデル学習装置において、入力信号に
対応する教師信号と、この入力信号を与えたときに前記
関数近似モデルが出力する出力信号との間に予め決めた
基準値より大きい誤差が発生したときに、その誤差の発
生原因に基づいて、当該データを前記関数近似モデルの
学習に使うかどうかを判断する判断部と、前記判断部が
学習に使うと判断したデータを使って前記関数近似モデ
ルを学習させる学習部と、を備えたことを特徴とする。
請求項４の発明は、請求項１から３のいずれか１つに記
載の関数近似モデル学習装置において、前記判断部は、
入力信号に対応する教師信号と、この入力信号を与えた
ときに前記関数近似モデルが出力する出力信号との間に
予め決めた基準値より大きい誤差が発生したことを検出
する手段と、前記予め決めた基準値より大きい誤差が発
生したことが検出されたときに、その誤差の発生原因を
判定する手段と、判定された発生原因に基づいて、当該
誤差の発生しているデータについて、学習データに関す
る決定を行う手段と、を備えたことを特徴とする。請求
項９の発明は、請求項１の発明を方法という観点からと
らえたもので、入力信号とこれに対応する教師信号とを
含むデータを使って関数近似モデルを学習させる関数近
似モデル学習方法において、入力信号に対応する教師信
号と、この入力信号を与えたときに前記関数近似モデル
が出力する出力信号との間に予め決めた基準値より大き
い誤差が発生したときに、その誤差の発生原因に基づい
て、当該データを前記関数近似モデルの学習に使うかど
うかを判断するステップと、学習に使うと判断されたデ
ータを使って前記関数近似モデルを学習させるステップ
と、を含むことを特徴とする。請求項１３の発明は、請
求項１の発明をコンピュータプログラムを記録した記録
媒体という観点からとらえたもので、コンピュータを用
いて、入力信号とこれに対応する教師信号とを含むデー
タを使って関数近似モデルを学習させる関数近似モデル
学習用プログラムを記録した記録媒体において、そのプ
ログラムは前記コンピュータに、入力信号に対応する教
師信号と、この入力信号を与えたときに前記関数近似モ
デルが出力する出力信号との間に予め決めた基準値より
大きい誤差が発生したときに、その誤差の発生原因に基
づいて、当該データを前記関数近似モデルの学習に使う
かどうかを判断させ、学習に使うと判断されたデータを
使って前記関数近似モデルを学習させることを特徴とす
る。請求項１，４，９，１３の発明では、関数近似モデ
ルの出力信号との誤差が大きい観測データについては、
誤差がなぜ発生したかに応じて学習に使うかどうか判断
される。このため、全てのデータを一律に学習に使うと
きと比べて学習計算のコストが減少し、また、ノイズが
混入した観測データなどの間違ったデータを学習するこ
とがなくなる。なお、データを学習に使うかどうかの判
断は、発生原因を理論的に特定しなくとも、結果的に発
生原因に基づいていればよい。例えば、予め決めた基準
にあてはまるデータを機械的に学習データから除くこと
で、ノイズの入ったデータが結果的に排除されるような
例も本発明の一態様である。

【００１２】請求項２の発明は、入力信号とこれに対応
する教師信号とを含むデータを使って関数近似モデルを
学習させる関数近似モデル学習装置において、入力信号
に対応する教師信号と、この入力信号を与えたときに前
記関数近似モデルが出力する出力信号との間に予め決め
た基準値より大きい誤差が発生したときに、その誤差の
発生原因に基づいて、当該データを前記関数近似モデル
のための学習データとして保存するかどうかを判断する
判断部と、前記判断部が保存すると判断したデータを保
存する学習データ保存部と、前記学習データ保存部が保
存しているデータを使って前記関数近似モデルを学習さ
せる学習部と、を備えたことを特徴とする。請求項１０
の発明は、請求項２の発明を方法という観点からとらえ
たもので、入力信号とこれに対応する教師信号とを含む
データを使って関数近似モデルを学習させる関数近似モ
デル学習方法において、入力信号に対応する教師信号
と、この入力信号を与えたときに前記関数近似モデルが
出力する出力信号との間に予め決めた基準値より大きい
誤差が発生したときに、その誤差の発生原因に基づい
て、当該データを前記関数近似モデルのための学習デー
タとして保存するかどうかを判断するステップと、前記
判断部が保存すると判断したデータを保存するステップ
と、保存されているデータを使って前記関数近似モデル
を学習させるステップと、を含むことを特徴とする。請
求項２，４，１０の発明では、関数近似モデルの出力信
号との誤差が大きいデータも、誤差の発生原因によって
は学習データとして保存しておくことができる。このた
め、学習が足りない領域のデータを保存しておいて学習
に使うことで学習の偏りをなくすことができる。また、
発生頻度は低いが、発生した場合に正確な制御や予測が
必要な重要なデータを保存しておき、繰り返し学習する
ことで忘れないようにすることができる。

【００１３】請求項３の発明は、請求項２記載の関数近
似モデル学習装置において、前記判断部は、入力信号に
対応する教師信号と、この入力信号を与えたときに前記
関数近似モデルが出力する出力信号との間に予め決めた
基準値より大きい誤差が発生したときに、その誤差の発
生原因に基づいて、前記学習データ保存部に保存されて
いる学習データを消去するかどうかを判断するように構
成され、前記学習データ保存部は、前記判断部が消去す
ると判断した学習データを消去するように構成されたこ
とを特徴とする。請求項１１の発明は、請求項３の発明
を方法という観点からとらえたもので、請求項１０記載
の関数近似モデル学習方法において、入力信号に対応す
る教師信号と、この入力信号を与えたときに前記関数近
似モデルが出力する出力信号との間に予め決めた基準値
より大きい誤差が発生したときに、その誤差の発生原因
に基づいて、保存されている学習データを消去するかど
うかを判断するステップと、消去すると判断された学習
データを消去するステップと、を含むことを特徴とす
る。請求項３，４，１１の発明では、関数近似モデルの
出力信号との誤差が大きいデータがあるとき、誤差の発
生原因によっては、保存されている学習データを消去す
ることもできる。このため、観測データの特性が変化し
たような場合は、それまでの学習データを消去し新しい
観測データを学習データとして取り込むことで、対象の
特性変化に効果的に追従することができる。

【００１４】請求項５の発明は、請求項１から４のいず
れか１つに記載の関数近似モデル学習装置において、前
記関数近似モデルとして神経回路モデルを使い、前記学
習部は、神経回路モデルの学習計算によって、その関数
近似モデルに含まれるパラメータの修正量を計算するよ
うに構成されたことを特徴とする。請求項５の発明で
は、神経回路モデルのための誤差逆伝搬学習法（バック
プロパゲーション）などの学習計算で関数近似モデルの
パラメータを修正するので、パタン認識などに使う神経
回路モデルを正しく効率よく学習させることができる。

【００１５】請求項６の発明は、請求項１から５のいず
れか１つに記載の関数近似モデル学習装置において、前
記判断部は、前記関数近似モデルから出力される出力信
号、前記データに含まれる入力信号及び教師信号のうち
少なくとも１つについて、予め決めた時間の間に得られ
た複数の信号に基づいて前記判断を行うように構成され
たことを特徴とする。請求項１２の発明は、請求項６の
発明を方法という観点からとらえたもので、請求項９か
ら１１のいずれか１つに記載の関数近似モデル学習方法
において、前記判断するステップは、前記関数近似モデ
ルから出力される出力信号、前記データに含まれる入力
信号及び教師信号のうち少なくとも１つについて、予め
決めた時間の間に得られた複数の信号に基づいて前記判
断を行うことを特徴とする。請求項６，１２の発明で
は、データの誤差が基準値以上かどうか、誤差の発生原
因は何か、データを学習などに使うかどうかといった判
断を、最新の信号だけでなく、一定の時間内に得られた
複数の信号、つまり時系列情報に基づいて行う。このた
め、判断の根拠となる情報が多くなり、判断が正確にな
る。

【００１６】請求項７の発明は、請求項１から６のいず
れか１つに記載の関数近似モデル学習装置において、前
記判断部は、前記関数近似モデルから出力される出力信
号、前記データに含まれる入力信号及び教師信号のうち
少なくとも１つに含まれる周波数成分に基づいて前記判
断を行うように構成されたことを特徴とする。請求項７
の発明では、ノイズのない観測信号に対してノイズの周
波数は高いと考えられることから、制御への応用におい
て、与えられた入力信号や教師信号といった観測信号か
ら、高周波数成分がある基準値以上検出された場合、そ
の観測信号にノイズが混入したと判断して、その時系列
データなどのデータを学習データとして採用しない。こ
のため、ノイズを含むデータを簡単な手法で容易に学習
対象から除くことができる。また、入力信号にノイズは
含まれず、関数近似モデルの出力信号にノイズが含まれ
る場合には、関数近似モデル内部の故障と判断すること
もできる。

【００１７】請求項８の発明は、請求項１から７のいず
れか１つに記載の関数近似モデル学習装置において、前
記判断部は、前記誤差の発生原因として少なくとも、入
力信号あるいは教師信号に含まれるノイズと、前記関数
近似モデルの故障と、それ以外の原因と、を判別するよ
うに構成されたことを特徴とする。請求項８の発明で
は、誤差の発生原因として、入力信号あるいは教師信号
に含まれるノイズと、前記関数近似モデルの故障と、そ
れ以外の原因、例えば関数近似モデルが近似している対
象の変化、といった原因を判別し、それぞれにふさわし
い処理をすることで、効果的な学習が可能になる。

【００１８】

【発明の実施の形態】次に、本発明の実施の形態（以下
「本実施形態」という）について、図面を参照して説明
する。なお、本発明は、コンピュータやその周辺機器
を、ソフトウェアで制御することで実現することが可能
で、この場合、キーボードやマウスなどの入力装置で情
報を入力し、ＣＲＴモニタやプリンタなどの出力装置で
情報を出力できる。また、レジスタ、メモリ、外部記憶
装置などの記憶装置には、いろいろな情報をさまざまな
形式で、一時的に保存したり永続的に保存できる。そし
て、ＣＰＵは、上に述べたソフトウェアにしたがって、
これらの情報に加工や判断といった処理を加え、さら
に、処理の順序を制御することができる。

【００１９】また、コンピュータを制御するソフトウェ
アは、この出願に記述している処理に対応した命令を組
み合わせることで作ることができ、作ったソフトウェア
は、コンパイラやインタプリタなどの処理系によって実
行されることで、上に述べたいろいろなハードウェア資
源を活用する。

【００２０】但し、本発明を具体的にはどのように実現
するかについてはいろいろ変更することができ、例え
ば、本発明の装置と外部との間で情報をやりとりするに
は、フロッピーディスクなどの着脱できる記録媒体やネ
ットワーク接続装置を使うこともできる。また、使うＣ
ＰＵのタイプやプログラミング言語の種類は自由であ
り、さらに、本発明を実現するソフトウェアを記録した
ＣＤ−ＲＯＭのような記録媒体は、それ単独でも本発明
の一態様である。また、本発明の機能の一部をＬＳＩな
どの物理的な電子回路で実現することも可能である。

【００２１】以上のように、コンピュータで本発明をど
のように実現するかはいろいろ変更できるので、以下で
は、本発明の各機能を実現する仮想的回路ブロックを使
って本発明の実施の形態を説明する。なお、後に述べる
実施例についても同様である。

【００２２】〔１．第１実施形態〕第１実施形態は、請
求項１，９，１３に対応するもので、関数近似モデルに
よる出力との誤差が大きいデータについて、誤差の発生
原因に応じて学習に使うかどうかを判断することで、間
違ったデータを学習することなく効率よく学習を行うも
のである。

【００２３】〔１−１．構成〕まず、図１は、第１実施
形態の構成を示す機能ブロック図である。この図に示す
ように、第１実施形態は、関数近似モデル１と、判断部
２と、学習部３と、対象システム４と、を備えている。
このうち対象システム４は、関数近似モデル１が近似し
ようとする対象であり、入力信号に対して出力信号を出
す何らかのシステムであるが、具体的にはどのようなも
のを対象としてもよい。また、関数近似モデル１は、対
象システム４が、どのような入力信号に対してどのよう
な出力信号を出力するかという入出力信号の関係を学習
するモデルであり、対象システム４が持っている入出力
の関係を、パラメータを使った関数で近似的に表したも
のである。

【００２４】そして、学習対象となる対象システム４で
は外部から入力信号Ｐが入力され、出力信号Ｔが外部に
出力される。この入力信号と出力信号を単位時間Δｔ毎
に観測したデータを（Ｐi ，Ti ）（ｉ＝０，１，
２，．．）と表し、現時刻ｎΔｔの観測データを（Ｐn
，Ｔn ）で表す。この場合、関数近似モデル１は、Ｐi
を入力信号、Ｔi を教師信号として学習を行う。

【００２５】また、判断部２は、観測されたデータを関
数近似モデル１の学習に使うかどうかを判断する部分で
ある。また、学習部３は、判断部２が学習に使うと判断
したデータを使って関数近似モデル１のパラメータを修
正することで、関数近似モデル１を学習させる部分であ
る。

【００２６】〔１−２．作用〕上に述べたような構成を
備えた第１実施形態では、対象システム４の特性が時々
刻々と変化することで、観測データの入力信号Ｐi と出
力信号Ｔi の関係が変化する場合、関数近似モデル１は
最新の観測データ（Ｐn ，Ｔn ）を使い、オンライン学
習法によって対象システム４の特性変化に追従してゆく
が、観測された個々のデータは一律に学習に使われるの
ではなく、次のように選ばれたデータで学習が行われ
る。

【００２７】ここで、第１実施形態での計算手順を図２
のフローチャート（流れ図）に示す。なお、この流れ図
は単位となる時間ごとの手順を示したもので、この手順
を単位となる時間ごとに繰り返すことによって学習が行
われてゆく。

【００２８】〔１−２−１．順方向計算〕まず、決まっ
た間隔の時刻ごとに、対象システム４に入力された入力
信号Ｐnと、この入力信号Ｐn に対して対象システム４
が出力した出力信号Ｔn との組が、観測データとして得
られる。そして、この観測データ（Ｐn ，Ｔn ）が得ら
れる度に、この観測データ（Ｐn ，Ｔn ）を構成する入
力信号Ｐn が関数近似モデル１に入力され、関数近似モ
デル１は、入力されたデータ入力信号Ｐn と、関数近似
モデル１が持つパラメータＷに基づいて、順方向計算に
よって出力信号Ｏnを算出する（ステップ１）。

【００２９】〔１−２−２．学習するかどうかの判断〕
判断部２は、このように関数近似モデル１が算出した出
力信号Ｏn と観測データ（Ｐn ，Ｔn ）に基づいて、こ
の観測データ（Ｐn ，Ｔn ）を学習データとして学習す
るかを判断する（ステップ２）。つまり、観測データ
（Ｐn ，Ｔn ）を学習データとしてみると、出力信号Ｔ
n は入力信号Ｐn に対応する教師信号Ｔnである。

【００３０】判断部２は、この入力信号Ｐn に対応する
教師信号Ｔn と、この入力信号Ｐnを与えたときに関数
近似モデル１が出力した出力信号Ｏn との間に予め決め
た基準値より大きい誤差が発生したときに、その誤差の
発生原因に基づいて、当該データ（Ｐn ，Ｔn ）を前記
関数近似モデル１の学習に使うかどうかを判断する。

【００３１】具体的には、関数近似モデル１の出力信号
Ｏn と対象システム４からの出力信号Ｔn の誤差がある
基準値ｅより大きい場合に、その誤差が発生した原因を
分析し、その原因に応じて、関数近似モデル１が観測デ
ータ（Ｐn ，Ｔn ）を使って学習計算を行うべきか、行
わないべきかを判断する。

【００３２】例えば、誤差の原因が、観測データにノイ
ズが混入していることである場合はそのデータについて
は学習計算を行わないべきであり、誤差の原因が対象シ
ステム４の特性変化である場合は、そのデータについて
学習計算を行うべきである。そして、ステップ２の判断
で、学習しない（Ｎｏ）と判断されると図２の手順は終
了するが、学習計算を行うべきである（Ｙｅｓ）と判断
された場合は、判断部２から学習部３に対して学習司令
ＳＬが出力される（図１）。

【００３３】〔１−２−３．学習計算とパラメータの修
正〕学習部３は、判断部２からの学習司令ＳＬを受け取
ると、観測データ（Ｐn ，Ｔn ）を学習データとして、
関数近似モデル１のパラメータＷを使って学習計算を行
うことで、関数近似モデル１のパラメータＷの修正量Δ
Ｗを計算し（ステップ３）、関数近似モデル１に渡す。
関数近似モデル１は学習部３からパラメータの修正量Δ
Ｗを受け取り、パラメータＷを修正する（ステップ
４）。

【００３４】〔１−３．効果〕以上のように、第１実施
形態では、すべての観測データを学習に利用するのでは
なく、関数近似モデルの出力信号との誤差が大きいデー
タについては誤差がなぜ発生したかに応じて学習に使う
かどうか判断される。そして、学習に利用すべきと判断
された観測データだけが学習に利用されるので、全ての
データを一律に学習に使うときと比べて学習計算のコス
トが減少し、また、ノイズが混入した観測データなどの
間違ったデータを学習することをなくしながら、オンラ
イン学習によって対象システムの特性変化に追従するこ
とができる。

【００３５】なお、データを学習に使うかどうかは、発
生原因に基づいて判断したことに結果的になっていれば
よく、発生原因を理論的に特定しなくとも、例えば、あ
る限度を越えたばらつきのあるデータを機械的に学習デ
ータから除くことでノイズの入ったデータが排除されて
いるような例も本発明の一態様である。

【００３６】〔２．第２実施形態〕第２実施形態は、請
求項２，３，１０，１１に対応するもので、誤差がどの
ような原因で発生したかに応じて、観測されたデータを
学習データとして保存するかどうか、また、すでに保存
されている学習データについても消去するかどうかを判
断するようにしたものである。

【００３７】〔２−１．構成〕まず、図３は、第２実施
形態の構成を示す機能ブロック図である。この図に示す
ように、第２実施形態は、第１実施形態の構成（図１）
に加えて、学習データを保存する学習データ保存部５を
備えている。また、第２実施形態における判断部２０２
は、与えられた観測データについて、入力信号に対応す
る教師信号と、この入力信号を与えたときに関数近似モ
デル１が出力する出力信号との間に予め決めた基準値よ
り大きい誤差が発生したときに、その誤差の発生原因に
基づいて、その観測データを関数近似モデル１のための
学習データとして学習データ保存部５に保存するかどう
か、また、学習データ保存部５に保存されている学習デ
ータを消去するかどうかを判断するように構成されてい
る。

【００３８】また、学習データ保存部５は、判断部２０
２が保存すると判断したデータを学習データとして保存
し、また、判断部２０２が消去すると判断した学習デー
タを消去するように構成されている。さらに、第２実施
形態における学習部３０２は、学習データ保存部５が保
存しているデータを使って関数近似モデル１を学習させ
るように構成されている。

【００３９】〔２−２．作用〕上に述べたような構成を
有する第２実施形態での処理手順を図４のフローチャー
トに示す。なお、図４のフローチャートは、図２に同
様、単位となる時間ごとの手順を示したもので、この手
順を単位となる時間ごとに繰り返すことによって学習が
行われてゆく。

【００４０】〔２−２−１．順方向計算〕すなわち、与
えられた観測データ（Ｐn ，Ｔn ）の入力信号Ｐn が関
数近似モデル１に入力され、関数近似モデル１は、入力
されたデータ入力信号Ｐn と、関数近似モデル１が持つ
パラメータＷに基づき、順方向計算によって出力信号Ｏ
nを算出する（ステップ２１）。

【００４１】〔２−２−２．学習データの消去と保存〕
そして、判断部２０２は、このように関数近似モデル１
が算出した出力信号Ｏn と、データ（Ｐn ，Ｔn ）とに
基づいて、学習データ保存部５に保存されている学習デ
ータを消去するかを判断する（ステップ２２，２４）。

【００４２】この判断では、入力信号Ｐn に対応して対
象システム４が出力した出力信号Ｔn と、この入力信号
Ｐn を与えたときに関数近似モデル１が出力した出力信
号Ｏn との誤差がある値ｅより大きい場合に、その誤差
が発生した原因を分析し、その原因に応じて観測データ
を学習データとして学習データ保存部５に保存すべき
か、保存すべきでないか、また、学習データ保存部５に
保存されている既存の学習データを消去すべきか消去す
べきでないかを判断する。

【００４３】例えば、誤差の原因が観測データにノイズ
が混入していることである場合はそのデータは保存しな
いべきであり、誤差の原因が対象システム４の特性変化
である場合は、保存している古い学習データを消去し、
現在判断の対象となっている新しい観測データを学習デ
ータとして保存すべきである。また、誤差の原因が関数
近似モデル１の未学習領域のデータであることの場合に
は、そのデータを学習データとして保存すべきである。

【００４４】このような判断において、まずステップ２
２において、学習データ保存部５に保存されている学習
データを消去しない（Ｎｏ）と判断すると学習データを
消去せずにステップ２４に進むが、消去する（Ｙｅｓ）
と判断した場合は、判断部２０２は学習データ保存部５
に対して消去司令ＳＤを出力し、学習データ保存部５は
この消去司令ＳＤを受け取ると、保存している学習デー
タ（Ｐk ，Ｔk ）（ｋ＝１，２，…Ｋ；Ｋは学習データ
数）を消去する（ステップ２３）。

【００４５】また、ステップ２４で上に述べたような判
断をした結果、観測データ（Ｐn ，Ｔn ）を学習データ
として保存しない（Ｎｏ）と判断するとこの観測データ
（Ｐn ，Ｔn ）を学習データとして保存せずにステップ
２６に進むが、保存する（Ｙｅｓ）と判断した場合は、
判断部２０２は学習データ保存部５に対して保存司令Ｓ
Ｓを出力し、学習データ保存部５はこの保存司令ＳＳを
受け取ると、データ（Ｐn ，Ｔn ）を学習データとして
保存する（ステップ２５）。

【００４６】〔２−２−３．学習計算とパラメータの修
正〕続いて、学習部３０２は、学習データ保存部５に保
存されている学習データ（Ｐk ，Ｔk ）（ｋ＝１，２，
…，Ｋ）と関数近似モデル１が持っているパラメータＷ
を使って学習計算を行うことで、関数近似モデル１のパ
ラメータＷの修正量ΔＷを計算し、関数近似モデル１に
対して出力する。すると、関数近似モデル１は学習部３
０２から受け取ったパラメータの修正量ΔＷを使って、
パラメータＷを修正する。

【００４７】このような学習計算とパラメータ修正をす
るとき、学習データ保存部５に保存されている学習デー
タのうち、どの範囲の学習データを使うかは関数近似モ
デルを使う目的や毎回どのくらいの計算時間を使えるか
といった事情に合わせて決めればよい。例えば、全ての
データについて毎回学習をやり直してもよいが、例え
ば、新しく保存された学習データだけについて学習した
り、前回の学習から一定以上の時間が経った学習データ
について学習するなども考えられる。

【００４８】また、データ（Ｐn ，Ｔn ）を学習データ
として学習データ保存部５に保存するかという判断と、
学習データ保存部５に保存されている学習データを消去
するかという判断とは、互いに別々の判断部に行わせる
実施形態も有り得るし、また、学習部３０２が計算した
修正量ΔＷを関数近似モデル１に渡すのではなく、例え
ば、学習部３０２が関数近似モデル１からパラメータＷ
を一旦受け取り、学習計算によって求められたパラメー
タの修正量ΔＷを使ってこのパラメータＷを修正し、修
正し終えたパラメータＷを関数近似モデル１に出力すよ
うにしてもよい。

【００４９】〔２−３．効果〕以上のように、第２実施
形態では、関数近似モデルの出力信号との誤差が大きい
データも、誤差の発生原因によっては学習データとして
保存しておくことができる。このため、学習が足りない
領域のデータを保存しておき、広範な学習データを利用
することで学習の偏りをなくすことができる。また、発
生頻度は低いが発生した場合に正確な制御や予測が必要
な重要なデータを保存しておき、繰り返し学習すること
で重要なデータの学習結果を忘れないようにすることが
できる。

【００５０】また、第２実施形態では、関数近似モデル
の出力信号との誤差が大きいデータがあるとき、誤差の
発生原因によっては、保存されている学習データを消去
することもできる。このため、観測データの特性が変化
したような場合は、それまでの学習データを消去し、新
しい観測データを学習データとして取り込むことによ
り、対象の特性変化に効果的に追従することができる。

【００５１】〔３．第３実施形態〕第３実施形態は、請
求項５に対応するもので、第１及び第２実施形態で示し
たように、関数近似モデルに入力信号を与えて出力信号
を求める順方向計算をする場合と、学習部でパラメータ
の修正量を求める学習計算をする場合について、関数近
似モデルが多層型神経回路モデルで構成されている場合
を例にとって説明するものである。

【００５２】〔３−１．神経回路モデルの構成〕まず、
第３実施形態で用いる神経回路モデル６を図５に示す。
この神経回路モデル６は入力層７、中間層８、出力層９
の３層から構成される３層型の神経回路モデルであり、
入力層７はｍ１個、中間層８はｍ２個、出力層９はｍ３
個の神経素子１０から構成されるとする。ただし、ｍ
１，ｍ２，ｍ３は正の整数で、ｍ１は入力層７の素子数
であるからデータの入力信号の要素数に一致し、ｍ３は
出力層９の素子数であるから、データの教師信号の要素
数に一致する。

【００５３】〔３−２．順方向計算の例〕このような神
経回路モデル６にデータの入力信号Ｐが入力されると、
関数近似モデルが、神経回路モデル６の働きを計算する
順方向計算により出力信号が算出される。このとき、神
経回路モデル６の中間層８の神経素子の入出力関数はシ
グモイド関数

【数１】 であり、入力層７、出力層９の神経素子の入出力関数は
恒等関数とする。

【００５４】この場合、入力信号Ｐn が神経回路モデル
６に入力された場合の神経回路モデル６の順方向計算は
以下のように表される。

【数２】 ここで、

【数３】 は入力信号Ｐn のｉ番要素の値、ｘ１i は入力層ｉ番神
経素子入力値、ｙ１i は入力層ｉ番神経素子出力値、ｘ
２j は中間層ｊ番神経素子入力値、ｙ２j は中間層ｊ番
神経素子出力値、Ｗ１２j,i は入力層ｉ番神経素子から
中間層ｊ番神経素子への結合荷重値、θ２j は中間層ｊ
番神経素子の閾値、ｘ３k は出力層ｋ番神経素子入力
値、ｙ３k は出力層ｋ番神経素子出力値、Ｗ２３k,j は
中間層ｊ番神経素子から出力層ｋ番神経素子への結合荷
重値、θ３k は出力層ｋ番神経素子の閾値、

【数４】 は出力信号Ｏn のｋ番要素の値を表す。

【００５５】〔３−３．学習計算の例〕また、学習部で
は神経回路モデル６の学習計算により、神経回路モデル
６のパラメータすなわち結合荷重値と閾値の修正量が算
出される。この修正量は、学習データを構成する入力信
号を神経回路モデル６に入力したときに出力される出力
信号と、同じ入力信号に対応している出力信号すなわち
教師情報との誤差が小さくなるように決定される。この
誤差を計算する誤差関数Ｅは次のように定義される。

【数５】 ここで、

【数６】 は教師信号Ｔn のｋ番要素の値である。学習計算では、
この誤差関数Ｅの値を減少させるように、神経回路モデ
ル６のパラメータ（結合荷重値と閾値）の修正量が算出
される。

【００５６】この修正量の計算は、誤差逆伝播学習法に
従い、次のように行われる。

【数７】 ここで、ΔＷ２３k,j は中間層ｊ番神経素子から出力層
ｋ番神経素子への結合荷重値の修正量、Δθ３k は出力
層ｋ番神経素子の閾値の修正量、ΔＷ１２j,iは入力層
ｉ番神経素子から中間層ｊ番神経素子への結合荷重値の
修正量、Δθ２j は中間層ｊ番神経素子の閾値の修正
量、εは学習係数で、正の小さな値である。

【００５７】こうして求められたパラメータ（結合荷重
値と閾値）の修正量は関数近似モデルに出力され、関数
近似モデルで、パラメータが修正される。

【００５８】〔３−４．効果〕このように、第３実施形
態では、神経回路モデルのための誤差逆伝搬法（バック
プロパゲーション）などの学習計算で関数近似モデルの
パラメータを修正するので、パタン認識など神経回路モ
デルを正しく効率よく学習させることができる。

【００５９】

【実施例】次に、本発明をより具体化した実施例につい
て、図面を参照して説明する。 〔１．第１実施例〕第１実施例は、上に述べた第１実施
形態を人工衛星の制御系に適用することでより具体化し
たものであり、誤差の発生原因としてどのようなものが
考えられ、それらをどのように判断するかの具体例を示
すものである。

【００６０】〔１−１．構成〕 〔１−１−１．人工衛星と制御〕ここでは説明を簡単に
するため、人工衛星は平面上を移動するものとし、この
ようにＸＹ平面上を移動する人工衛星１１を図６に示
す。この人工衛星１１を制御するときは、人工衛星１１
上に固定された座標系のＸ方向の力ｆｘ、Ｙ方向の力ｆ
ｙ、回転トルクｆθが操作量Ｕ＝（ｆｘ，ｆｙ，ｆθ）
として人工衛星１１に与えられ、このように与えられた
操作量で実際に姿勢制御エンジンなどを作動させた結果
として、人工衛星１１の位置（ｘ，ｙ）、方向θ、速度

【数８】 、角速度

【数９】 が制御量

【数１０】 として観測される。つまり、人工衛星に指示する数値を
「操作量」、人工衛星が結果的に示す動きを「制御量」
と呼ぶ。

【００６１】〔１−１−２．全体の構成〕第１実施例
は、このような人工衛星１１の制御器に、関数近似モデ
ル４１を組み合わせた人工衛星の制御系であり、図７
は、第１実施例の構成を示す機能ブロック図である。す
なわち、第１実施例は、人工衛星１１と、この人工衛星
１１を制御するためのフィードバック制御器１２と、関
数近似モデル４１と、判断部４２と、学習部４３と、を
有する。

【００６２】このうちフィードバック制御器１２は、目
標操作量と実際に観測された制御量との誤差に基づき、
この誤差を打ち消すように、指示する操作量を加減する
制御器である。このように、制御された結果の情報を、
制御器の入力に帰還させる制御をフィードバック制御と
呼び、フィードバック制御器１２は、人工衛星１１と共
に従来のフィードバック制御系を構成している。

【００６３】そして、図７の制御系は、人工衛星１１と
フィードバック制御器１２から構成されるフィードバッ
ク制御系に、関数近似モデル４１がフィードフォワード
制御器として組み込まれた構造をしており、フィードバ
ック制御器１２の出力信号Ｕｆn と関数近似モデル４１
の出力信号Ｕｉn の和が操作量Ｕn として人工衛星に入
力される。そして、関数近似モデル４１は、フィードバ
ック制御器１２の出力信号Ｕｆn を誤差信号として学習
する。このような制御系は、フィードバック誤差学習制
御系として知られている。第１実施例は、このようなフ
ィードバック誤差学習制御系に、さらに判断部４２を付
加したものである。

【００６４】すなわち、この制御系では、制御対象であ
る人工衛星１１には、単位時間Δｔ毎に操作量が入力さ
れるようになっており、入力された操作量に対して人工
衛星１１が示す動きは制御量として観測されるものとす
る。ここで、時刻ｎΔｔに人工衛星１１に入力される操
作量をＵn 、時刻（ｎ＋１）Δｔに観測される制御量を
Ｚn+1 で表す。なお、これら記号の添字は時刻を表す。

【００６５】そして、時刻ｎΔｔの目標制御量

【数１１】 と時刻ｎΔｔに観測された制御量Ｚn との誤差

【数１２】 がフィードバック制御器１２への入力となっている。

【００６６】そして、フィードバック制御器１２は、入
力された誤差に応じたフィードバック信号Ｕｆn を出力
するように構成されている。このフィードバック信号Ｕ
ｆnは、制御量の誤差を打ち消すように計算される。例
えば、この目標制御量に対して実際の制御量が小さいと
きは、フィードバック信号Ｕｆn は正の値になり、目標
制御量に対して実際の制御量が大きいときは、フィード
バック信号Ｕｆn は負の値になる。

【００６７】このフィードバック信号Ｕｆn は、関数近
似モデル４１の出力信号Ｕｉn と加算され、操作量Ｕn
として人工衛星１１に入力される。そして、関数近似モ
デル４１の出力信号Ｕｉn は、目標制御量

【数１３】 を入力信号として計算される。

【００６８】このようなフィードバック誤差学習制御系
では、関数近似モデル４１は、入力信号である目標制御
量

【数１４】 に対して、操作量Ｕn を教師信号、すなわちフィードバ
ック信号Ｕｆn を誤差信号として学習を行う。これによ
って、フィードバック信号Ｕｆn が０になるような、言
い換えれば制御量の誤差が０になるような出力信号Ｕｉ
n を関数近似モデル４１が出力するようになる。

【００６９】〔１−１−３．判断部の構成〕次に、第１
実施例における判断部４２の具体的な構成を図８に示
す。すなわち、判断部４２は、データ記憶部４１３と、
誤差発生判定部４１４と、ノイズ判定部４１５と、フィ
ードバック制御器故障判定部４１６と、原因判定部４１
７と、を備えている。

【００７０】このうちデータ記憶部４１３は、判断に使
う情報を記憶しておく部分である。また、誤差発生判定
部４１４は、誤差信号であるフィードバック信号Ｕｆn
の成分が予め決めた値より大きくなったとき、そのこと
を検出して誤差発生信号を出力する部分である。なお、
この場合、フィードバック信号Ｕｆn は、入力信号に対
応する教師信号と、この入力信号を与えたときに関数近
似モデルが出力する出力信号との間の誤差としての意味
を持つ。

【００７１】また、ノイズ判定部４１５は、誤差発生信
号を受け取ったときに、データ記憶部４１３に記憶され
た情報から、制御量にノイズが混入していないかを判定
する部分である。また、フィードバック制御器故障判定
部４１６は、誤差発生信号を受け取ったときに、フィー
ドバック制御器１２に故障が発生していないかを判定す
る部分である。

【００７２】また、原因判定部４１７は、ノイズ判定部
４１５、フィードバック制御器故障判定部１６による判
定結果に基づいて、誤差発生の原因を最終的に判定する
部分である。この原因判定部４１７は、誤差が観測ノイ
ズでなく、フィードバック制御器の故障が原因でもない
場合には、学習部４３に対して学習司令ＳＬを出力する
ように構成されている（図７）。

【００７３】そして、これらノイズ判定部４１５と、フ
ィードバック制御器故障判定部４１６と、原因判定部４
１７とは、誤差の発生原因を判定する手段を構成してい
る。また、原因判定部４１７は、判定された発生原因に
基づいて、当該誤差の発生しているデータを学習に使う
かどうかを決定する手段としての役割も持っている。

【００７４】〔１−２．作用〕上に述べたように構成さ
れた第１実施例の制御系では、第１実施形態に示したよ
うに、判断部４２が学習に使うと判断した観測データを
使って、学習部４３が関数近似モデル４１のパラメータ
修正量を計算するが、ここでは、判断部４２が行う判断
の具体的な内容を中心に説明する。

【００７５】〔１−２−１．誤差の発生原因〕まず、観
測データを学習に使うかどうかを判断する前提として、
制御時に関数近似モデル４１の出力信号に誤差が発生す
る原因として、以下の５つが考えられる。 １．人工衛星の特性変化 ２．関数近似モデル４１の未学習領域の入力信号の入力 ３．関数近似モデル４１の内部故障 ４．人工衛星の制御量センサ不良（ノイズ混入） ５．フィードバック制御器の故障 このうち、「１．人工衛星の特性変化」では、特性変化
に追従するために関数近似モデル４１の学習を行う必要
があり、「２．関数近似モデル４１の未学習領域の入力
信号の入力」では、学習領域を広げるために学習しなけ
ればならない。また、「３．関数近似モデル４１の内部
故障」についても、関数近似モデル４１の一部が故障し
た場合には、再学習によって健常部分が故障部分を補う
必要がある。

【００７６】従って、制御時の時刻ｎΔｔに関数近似モ
デル４１の出力信号に誤差が発生した時、その原因が
「１．」から「３．」の場合にはデータ

【数１５】 について学習するべきである。しかし、「４．人工衛星
の制御量センサ不良（ノイズ混入）」、「５．フィード
バック制御器の故障」の場合は、正しい制御が行われて
いるにも関わらず、誤差信号が大きくなり、間違った学
習が行われてしまう恐れがあるので、このデータの学習
は行わない方が良い。

【００７７】〔１−２−２．判断の内容〕このような前
提で、判断部４２では、目標制御量

【数１６】 とフィードバック信号Ｕｆn と制御量Ｚn+1 が入力さ
れ、関数近似モデル４１の出力信号に予め決めた基準以
上の誤差が発生した場合、その発生原因が上に述べたう
ち「１．」「２．」「３．」のいずれかであると判定さ
れると、学習司令ＳＬが出力される。

【００７８】判断部４２によるこのような判断は、次の
ように行われる。まず、判断部４２に入力されてくる情
報

【数１７】 はデータ記憶部４１３に記憶され、使うときに取り出さ
れる。

【００７９】〔１−２−２−１．誤差発生の判定〕そし
て、誤差発生判定部４１４は、フィードバック信号Ｕｆ
n の成分が予め決めたある値より大きくなると、誤差が
発生したと判定して誤差発生信号を出力する。

【００８０】〔１−２−２−２．ノイズの判定〕ノイズ
判定部４１５は、この誤差発生信号を受け取ると、デー
タ記憶部４１３から人工衛星１１の制御量について、一
定時間前からの時系列情報（Ｚn-k ，Ｚn-k-1 ，…，Ｚ
n ）（ｋは正の整数）を受け取り、この情報を調べるこ
とで、制御量センサの不良などによるノイズが制御量に
混入していないかを判定する。

【００８１】このような判定の例としては、例えば、人
工衛星１１の制御量の一定時間前からの時系列情報、つ
まり制御量の列から周波数成分を分析し、ノイズと考え
られる周波数成分を検出することで制御量センサが不良
でないかを判定する方法が考えられる。

【００８２】すなわち、ノイズのない観測信号に対して
ノイズの周波数は高いと考えられることから、制御への
応用において、与えられた入力信号や教師信号といった
観測信号から、高周波数成分がある基準値以上検出され
た場合、その観測信号にノイズが混入したと判断して、
その時系列データなどのデータを学習データとして採用
しない。このため、ノイズを含むデータを簡単な手法で
容易に学習対象から除くことができる。また、入力信号
にノイズは含まれず、関数近似モデルの出力信号にノイ
ズが含まれる場合には、関数近似モデル内部の故障と判
断することもできる。

【００８３】〔１−２−２−３．制御器の故障の判定〕
また、フィードバック制御器故障判定部４１６は、誤差
発生信号を受け取ると、データ記憶部４１３から過去の
フィードバック制御器１２の入出力信号

【数１８】 を受け取り、この情報を使ってフィードバック制御器１
２に故障が発生していないかを判定する。

【００８４】このような判定の例としては、例えば、フ
ィードバック制御器１２に過去の入力信号

【数１９】 を入力し、この入力信号に対してフィードバック制御器
１２が出力する出力信号と、同じ入力信号に対して過去
にフィードバック制御器１２が出力した出力信号Ｕｆk
を比較し、この２つが違っていればフィードバック制御
器１２が故障していると判定することが考えられる。

【００８５】〔１−２−２−４．原因の最終的な判定〕
そして、原因判定部４１７は、ノイズ判定部４１５とフ
ィードバック制御器故障判定部４１６から渡される判定
結果に基づいて、誤差発生の原因を最終的に判定する。
この判定では、原因判定部４１７は、誤差の原因が、観
測ノイズとフィードバック制御器の故障のいずれでもな
い場合に、学習司令ＳＬを学習部４３に出力する。

【００８６】〔１−２−３．学習計算とパラメータの修
正〕学習部４３はこの学習司令ＳＬを受け取ると、目標
制御量

【数２０】 を入力信号、操作量Ｕn を教師信号として学習計算を行
い、関数近似モデル４１のパラメータＷの修正量ΔＷを
関数近似モデル４１に出力する。そして、関数近似モデ
ル４１は学習部４３からパラメータＷの修正量ΔＷを受
け取ると、パラメータＷの修正を行う。

【００８７】〔１−４．効果〕以上のように、第１実施
例では、不適当な観測データは学習に使われないので、
関数近似モデル４１では正しい入出力の関係が保たれ
る。特に、人工衛星は、燃料消費による質量減少や太陽
電池パドルの方向変化により特性が大きく変化するが、
宇宙空間で制御を中止して再学習を行うことはできず、
制御し続けなければならない。従ってオンライン学習法
の必要性が大きい。そして、宇宙空間では宇宙線による
故障や観測ノイズが発生するため、上に述べたように、
観測データごとに学習に使うかどうかを判断する実益が
大きい。

【００８８】また、第１実施例では、データの誤差が基
準値以上かどうか、誤差の発生原因は何か、データを学
習などに使うかどうかといった判断を、最新の信号だけ
でなく、一定の時間内に得られた複数の信号、つまり時
系列情報に基づいて行う。このため、判断の根拠となる
情報が多くなり、判断が正確になる。

【００８９】特に、第１実施例では、ノイズのない観測
信号に対してノイズの周波数は高いと考えられることか
ら、制御への応用において、与えられた入力信号や教師
信号といった観測信号から、高周波数成分がある基準値
以上検出された場合、その観測信号にノイズが混入した
と判断して、その時系列データなどのデータを学習デー
タとして採用しない。このため、ノイズを含むデータを
簡単な手法で容易に学習対象から除くことができる。

【００９０】さらに、第１実施例では、誤差の発生原因
として少なくとも、ノイズと、関数近似モデルの故障
と、関数近似モデルが近似している対象の変化と、を判
別し、それぞれにふさわしい処理をすることで、効果的
な学習が可能になる。

【００９１】〔２．第２実施例〕第２実施例は、上に述
べた第２実施形態を、下水処理プロセスの曝気槽の制御
に使う溶存酸素濃度予測システムに応用することで、よ
り具体化したものである。

【００９２】〔２−１．曝気槽の構成〕まず、図９は下
水処理プロセスの一部である曝気槽の概略図である。こ
の曝気槽１８ではブロア１９により処理水内に空気が送
られ、処理水中の汚泥が撹拌されるとともに汚泥内の微
生物が活性化され、処理水中の無機性物質と有機性物質
の吸着、吸収が行なわれる。そして、曝気槽１８では、
汚泥内の微生物を活性化させるため、処理水の溶存酸素
濃度を一定値に保持する制御が行なわれる。

【００９３】すなわち、第２実施例は、処理水中の溶存
酸素濃度を一定に保つ制御に使うために、一定時間後の
溶存酸素濃度を予測する溶存酸素濃度予測システムであ
り、溶存酸素濃度予測モデルとして関数近似モデルを使
ったものである。

【００９４】〔２−２．第２実施例の概略的構成〕すな
わち、図１０は、第２実施例である溶存酸素濃度予測シ
ステムの構成を示す機能ブロック図である。この第２実
施例は、図３に示した第２実施形態と同じように、学習
データを保存する学習データ保存部５５を備えていて、
判断部５２は、データを学習データとして学習データ保
存部５５に保存するかどうかと、学習データ保存部５５
に保存されている学習データを消去するかどうかの判断
を行う。

【００９５】また、この例では、下水処理プロセス２１
では曝気風量Ｑａｅｒn が操作量として入力され、下水
流入量Ｑｉｎｆn 、溶存酸素濃度ＤＯn が観測される。
また、溶存酸素濃度ＤＯには、曝気槽１８に与えられる
曝気風量Ｑａｅｒと、下水流入量Ｑｉｎｆが大きく影響
する。このため、溶存酸素濃度予測モデルである関数近
似モデル５１には、曝気風量Ｑａｅｒn と、下水流入量
ｉｎｆn と、現在の溶存酸素濃度ＤＯn が入力され、一
単位時間後の溶存酸素濃度の予測値

【数２１】 が出力される。

【００９６】なお、関数近似モデル５１の入力信号は、
ある１つの時刻のデータだけでなく、過去のデータも含
めた複数時刻のデータ（Ｑａｅｒn ，Ｑａｅｒn-1 ，…
Ｑａｅｒn-h ，Ｑｉｎｆn ，Ｑｉｎｆn-1 ，…Ｑｉｎｆ
n-h ，ＤＯn ，ＤＯn-1 ，…ＤＯn-h ）（ｈは正の整
数）にしてもよい。また、単位時間後の溶存酸素濃度を
予測するのでなく、複数単位時間後の溶存酸素濃度を予
測する場合もあるが、ここでは説明を簡単にするため、
一時刻分のデータを入力信号とし、一単位時間後の溶存
酸素濃度を予測する場合について説明する。

【００９７】〔２−３．誤差の発生原因〕この第２実施
例における関数近似モデル５１は、出力した溶存酸素濃
度の予測値（以下「予測値」と呼ぶ）に対して、実際の
溶存酸素濃度（以下「実測値」と呼ぶ）を教師信号とし
て学習する。この関数近似モデル５１を十分学習させた
状態では、入力信号に対して関数近似モデル５１が出力
信号として出力した予測値と実測値との間に大きな誤差
が発生する原因として、以下の４つが考えられる。 １．下水処理プロセスの特性変化 ２．関数近似モデル５１の未学習領域の入力信号の入力 ３．関数近似モデル５１の内部故障 ４．溶存酸素濃度センサ不良（ノイズ混入） このうち、「１．下水処理プロセスの特性変化」では、
学習データ保存部５５に保存されている学習データは古
い特性を表しているので消去し、誤差が発生している新
しい観測データを学習データとして保存することで、関
数近似モデル５１の学習を行う必要がある。また、
「２．関数近似モデル５１の未学習領域の入力信号の入
力」では、学習領域を広げるために誤差が発生している
新しい観測データを学習データに追加しなければならな
い。

【００９８】また、「３．関数近似モデル５１の内部故
障」では、関数近似モデル５１の一部が故障した場合に
は、学習によって健常部分が故障部分を補う必要がある
が、このような学習に使うデータを学習データに追加す
る必要はない。また、「４．溶存酸素濃度センサ不良
（ノイズ混入）」の場合は、正しい予測が行われている
のに、間違った教師信号が与えられ学習が行われてしま
う恐れがあるので、このデータは学習データにしない方
が良い。

【００９９】〔２−４．処理の全体〕このように誤差の
発生原因に応じて違った処理を行うために、第２実施例
の判断部５２は、次のような判断を行う。まず、判断部
５２には、予測値

【数２２】 と実測値ＤＯn+1 と、学習データ保存部５５に保存され
ている学習データ（Ｑａｅｒk ，Ｑｉｎｆk ，ＤＯk+1
）と関数近似モデル５１からの出力信号

【数２３】 が入力される。

【０１００】これらの情報を受け取った判断部５２で
は、関数近似モデル５１の出力信号である予測値と実測
値との間に予め定めた値以上の誤差が発生したと判定さ
れ、その原因が上に述べた「１．」にあると判定される
と、学習データ保存部５５に対して、消去司令ＳＤと保
存司令ＳＳが出力され、原因が「２．」と判定されると
保存司令ＳＳが出力される。

【０１０１】一方、学習データ保存部５５は、判断部５
２から保存司令ＳＳを受け取ると、判断の対象となった
観測データについて、曝気風量Ｑａｅｒn 、下水流入量
Ｑｉｎｆn 、溶存酸素濃度ＤＯn を入力信号とし、単位
時間後の溶存酸素濃度ＤＯn+1 を教師信号とする学習デ
ータとして保存する。また、学習データ保存部５５は判
断部５２から消去司令ＳＤを受け取ると、その時点まで
学習データとして保存されていたデータを消去する。

【０１０２】また、学習部５３は、学習データ保存部５
５から保存されている学習データを受け取り、受け取っ
た学習データを使って学習計算を行うことでパラメータ
Ｗの修正量ΔＷを計算し、計算した修正量ΔＷを関数近
似モデル５１に出力する。そして、この修正量ΔＷを学
習部５３から受け取った関数近似モデル５１は、受け取
った修正量ΔＷを使ってパラメータＷを修正する。

【０１０３】〔２−５．判断部での判断〕続いて、上に
述べたような判断を行う判断部５２の具体的な構成を図
１１に示す。この判断部５２では、データ記憶部５１３
に実測値ＤＯn+1 が入力され、記憶され、使うときに取
り出される。

【０１０４】〔２−５−１．誤差が発生したことの判
定〕この判断部５２が上に述べたような判断を行うとき
は、まず、誤差発生判定部５１４は、実測値ＤＯn+1 と
予測値

【数２４】 を受け取り、実測値ＤＯn+1 と予測値

【数２５】 との差がある値より大きくなると、誤差が発生したと判
定し、誤差発生信号を出力する。

【０１０５】〔２−５−２．ノイズの判定〕ノイズ判定
部５１５は、この誤差発生信号を受け取ると、データ記
憶部５１３から実測値の一定時間前からの時系列情報
（ＤＯn-m ，ＤＯn-m+1 ，…，ＤＯn）（ｍは正の整
数）を受け取り、制御量センサの不良などによるノイズ
が実測値に混入していないかを判定する。このようにノ
イズ判定部１５が制御量センサの不良を判定する例とし
ては、実測値の一定時間前からの時系列情報の周波数成
分を分析し、ノイズと考えられる周波数成分が検出され
たときに制御量センサが不良と判定するなどが考えられ
る。

【０１０６】〔２−５−３．関数近似モデルの故障の判
定〕また、関数近似モデル故障判定部２２は、誤差発生
判定部５１４からの誤差発生信号を受け取ると、学習デ
ータ保存部５５から、学習データの入力信号（Ｑａｅｒ
k ，Ｑｉｎｆk ，ＤＯk ）と関数近似モデル５１の出力
値

【数２６】 を受け取り、関数近似モデル５１に故障が発生している
かを判定する。

【０１０７】このように関数近似モデル故障判定部２２
が故障を判定する方法の具体例としては、例えば、学習
データの入力信号（Ｑａｅｒk ，Ｑｉｎｆk ，ＤＯk ）
を関数近似モデル５１に入力し、関数近似モデル５１の
出力信号と、与えた入力信号に対応する過去の出力信号

【数２７】 を比較することにより、関数近似モデル５１に故障が発
生しているかを判定する方法が考えられる。

【０１０８】〔２−５−４．特性変化の判定〕また、下
水処理プロセス特性変化判定部２３は、誤差発生判定部
５１４から誤差発生信号を受け取ると、学習データ保存
部５５から学習データ（Ｑａｅｒk ，Ｑｉｎｆk ，ＤＯ
k ，ＤＯk+1 ）を受け取り、下水処理プロセス２１の特
性が変化したかを判定する。このように下水処理プロセ
ス特性変化判定部２３が特性変化を判定する方法の例と
しては、例えば、現在の下水流入量Ｑｉｎｆn 、溶存酸
素濃度ＤＯn に近い学習データを見つけて、その学習デ
ータの入力信号の曝気風量Ｑａｅｒk を下水処理プロセ
ス２１に入力し、単位時間後の溶存酸素濃度ＤＯn+1 と
教師信号ＤＯk+1 を比較することにより、下水処理プロ
セス２１の特性変化を判定する方法などが考えられる。

【０１０９】〔２−５−５．原因の最終的な判定〕そし
て、原因判定部５１７では、ノイズ判定部５１５、関数
近似モデル故障判定部２２、下水処理プロセス特性変化
判定部２３が上に述べたような判定を行った個々の判定
結果に基づいて、誤差発生の原因を最終的に判定する。
そして、原因判定部５１７は、下水処理プロセス２１の
特性変化が原因と判定されると消去司令ＳＤと保存司令
ＳＳを学習データ保存部５５に対して出力し、未学習の
入力信号が入力されたと判定されると、保存司令ＳＳを
学習データ保存部５５に対して出力する。

【０１１０】〔２−６．効果〕以上のような第２実施例
では、雨が降って流れ込む水の量が増え、水中のゴミが
センサに付くなどして観測データにノイズが混じっても
正しい制御が可能になる。具体的には、まず、下水処理
プロセス２１では、通常、下水流入量はほぼ一定で、水
質も安定しているため、曝気風量を一定値にしておけ
ば、溶存酸素濃度を一定値に制御することができる。し
かし、降雨が発生すると、下水流入量が急激に増加し下
水水質も変化するため、溶存酸素濃度を一定値に制御す
ることが難しくなる。従って、関数近似モデル５１によ
る溶存酸素濃度予測では、降雨時の下水流入量が大きく
変動する場合に溶存酸素濃度を正確に予測できることが
重要である。

【０１１１】しかし、観測される多くのデータは下水流
入量が一定のデータであり、そのようなデータばかりを
学習しても降雨時の溶存酸素濃度を正確に予測すること
はできない。これに対して、第２実施例では、予測値に
誤差が発生した場合のデータを学習データとして保存
し、学習に利用する。このため、下水流入量が一定のあ
りふれたデータが多く観測されても、誤差が小さく予測
結果が正しければそのようなありふれたデータが学習に
利用されることはない。

【０１１２】逆に、降雨時の下水流入量が大きく変動す
る場合、溶存酸素濃度予測に誤差が発生すると、学習デ
ータとしてデータを保存し、学習に繰り返し利用するこ
とによって、降雨時の溶存酸素濃度を正確に予測できる
ようになる。

【０１１３】また、第２実施例で示したような下水処理
プロセスで使う溶存酸素濃度センサは処理水中に設置さ
れているため、ゴミが付着しやすく、観測データにノイ
ズが混入しやすい。この場合、ノイズが混入した観測デ
ータを学習データとすると間違った学習が行われること
になるが、第２実施例では、判断部５２によって溶存酸
素濃度予測の誤差の原因を解析し、その原因によって学
習データに採用するかを判断するので、ノイズが混入し
た観測データが学習に利用されることはなくなる。

【０１１４】〔３．第３実施例〕第３実施例は、第２実
施形態を、手書き文字認識システムに適用することでよ
り具体化したものである。 〔３−１．神経回路モデルの構成〕まず、図１２は関数
近似モデル６１が多層型神経回路モデルで構成されてい
る場合について、神経回路モデルの一例を示す図であ
る。この例では、神経回路モデルの入力層７を構成する
各素子は、それぞれ文字入力部２４のメッシュ２５の１
つずつに対して一対一に対応しており、対応しているメ
ッシュ２５内が、文字の一部となっている線でどのくら
いの割合が塗りつぶされているかという面積比が入力さ
れるようになっている。例えば、入力層で、あるメッシ
ュに対応する素子には、文字を構成している線でそのメ
ッシュ全体が塗りつぶされていれば１．０が入力され、
そのメッシュに全く線が通っていなければ０．０が入力
される。

【０１１５】また、出力層９は１０個の素子から構成さ
れ、出力層９の各素子は各々“０”から“９”の文字に
対応している。そして、入力層７の各素子と出力層９の
各素子との間には、中間層８の素子があり、入力層７の
すべての素子から中間層８のすべての素子に対して、結
合が張られ、各結合には結合荷重値が設定されている。
同様に、中間層８の全ての素子から出力層９の全ての素
子に対しても、結合があり、結合荷重値が設定されてい
る。入力層７の素子が出す出力信号は結合荷重値が乗算
され、中間層８の素子に入力信号として伝えられる。同
じように、中間層８の素子が出す出力信号は結合荷重値
が乗算され、出力層９の素子に入力信号として伝えられ
る。

【０１１６】この神経回路を、例えば、文字入力部２４
に“０”が書かれると“０”に対応する素子が１、その
他の出力素子は０を出力するように学習する。ただし、
認識時には、入力された文字に対して、出力値が最大の
出力素子に対応している文字が認識されたと解釈する。

【０１１７】〔３−２．手書き文字認識システムの構
成〕図１３は、上に述べた神経回路モデルにより構成さ
れた関数近似モデル６１を含む第３実施例の手書き文字
認識システムについて、その構成を示す機能ブロック図
である。この第３実施例では、関数近似モデル６１は、
ユーザ２６が与えられたそれぞれの文字をどのように認
識するかを、入出力の関係として学習する。なお、図１
３に示したユーザ２６は、説明のために示しただけで、
本発明の必須の構成要件なわけではない。

【０１１８】この第３実施例では、与えられた文字と、
この文字をユーザがどの文字として認識したかという答
えとの組が、観測データとなる。また、第３実施例は、
学習データを保存するための学習データ保存部６５を備
えている。そして、与えられた文字に対する関数近似モ
デル６１による出力信号すなわち認識結果と、同じ文字
に対してユーザが認識した結果とが違っているとき、判
断部６２が、観測データを学習データとして保存するべ
きか、また、既に保存されている学習データを消去すべ
きかを判断し、学習データ保存部６５は、この判断にし
たがって学習データの保存や消去を行う。

【０１１９】〔３−３．処理の全体〕この第３実施例で
は、図１３に示すように、ユーザ２６が文字入力部２４
に書いた文字パターンＵn が関数近似モデル６１に入力
され、関数近似モデル６１から認識結果

【数２８】 が出力される。ユーザ２６はこの認識結果

【数２９】 が間違っていると判断すると、正しい認識結果Ｘn をシ
ステムに入力し、関数近似モデル６１は正しい認識結果
Ｘn を教師信号として学習する。

【０１２０】〔３−４．考えられる誤差の発生原因〕こ
のシステムにおいて、認識時に関数近似モデル６１の認
識結果に間違いが発生する原因として、以下の４つが考
えられる。 １．ユーザの変更（認識基準の変更を含む） ２．関数近似モデル６１の未学習領域の文字パターンの
入力 ３．関数近似モデル６１の内部故障 ４．ユーザの認識ミス このうち、「１．ユーザの変更」では、ユーザ２６が別
の人に変わったり、同じ人でも認識の基準が変わること
により、例えば数字の１と７のどちらとも読めるような
文字パターンについての認識結果が変わることがあるの
で、ユーザ２６に合わせた認識ができるように学習しな
ければならない。この場合、学習データ保存部６５に保
存されている学習データは以前のユーザ２６の特性を表
しているので消去し、この新しいデータを学習データと
して保存し、関数近似モデル６１の学習を行う必要があ
る。

【０１２１】また、「２．関数近似モデル６１の未学習
領域の文字パターンの入力」では、学習領域を広げるた
めにこのデータを学習データに追加しなければならな
い。また、「３．関数近似モデル６１の内部故障」で
は、関数近似モデル６１の一部が故障した場合には、学
習によって健常部分が故障部分を補う必要があるが、こ
のデータを学習データに追加する必要はない。また、
「４．ユーザの認識ミス」の場合は、正しい認識が行わ
れているのに、間違った教師信号が与えられ学習が行わ
れてしまう恐れがあるので、このデータは学習データに
しない方が良い。

【０１２２】〔３−５．判断部による判断〕このよう
に、誤差の発生原因に応じて違った対応をするために、
判断部６２では次のような判断を行う。つまり、文字パ
ターンＵn と関数近似モデル６１からの出力信号

【数３０】 とユーザ２６の認識結果Ｘn と、学習データ保存部６５
に保存されている、学習データ（Ｕk ，Ｘk ）と、関数
近似モデル６１からの出力信号

【数３１】 が与えられると、判断部６２は、関数近似モデル６１か
らの出力信号

【数３２】 とユーザ２６の認識結果Ｘn に違いがあるかどうかを判
断し、違いがあればその原因が上記「１．」〜「４．」
のどれであるかを判定する。

【０１２３】そして、判断部６２では、その原因が上に
述べた「１．」と判定されると、消去司令ＳＤと保存司
令ＳＳが学習データ保存部６５に対して出力され、原因
が「２．」と判定されると学習データ保存部６５に対し
て保存司令ＳＳが出力される。

【０１２４】学習データ保存部６５は、判断部６２から
保存司令ＳＳを受け取ると、文字パターンＵを入力信
号、ユーザ２６の認識結果Ｘを教師信号とする学習デー
タとして保存する。また、学習データ保存部６５は、判
断部６２から消去司令ＳＤを受け取ると、学習データと
して保存されているデータを消去する。そして、学習部
６３は学習データ保存部６５から学習データを受け取っ
て学習計算を行い、パラメータＷの修正量ΔＷを関数近
似モデル６１に出力する。この場合、関数近似モデル６
１は学習部６３から渡されたパラメータ修正量ΔＷを用
い、パラメータＷを修正する。

【０１２５】〔３−５−１．誤差発生の判定〕図１４
は、このような判断を行う判断部６２の具体的な構成を
示す機能ブロック図である。すなわち、誤差発生判定部
６１４は、関数近似モデル６１による認識結果

【数３３】 とユーザ２６による認識結果Ｘn を受け取り、認識結果

【数３４】 とユーザ２６の認識結果Ｘn が異なると誤差が発生した
と判定し、誤差発生信号を出力する。

【０１２６】〔３−５−２．ユーザによる認識ミスの判
定〕ユーザ認識ミス判定部２７は、この誤差発生信号を
受け取ると、文字パターンＵn とユーザ２６の認識結果
Ｘn からユーザ２６の認識にミスがあるかを判定する。
このようにユーザ認識ミス判定部２７が判定を行う方法
の一例としては、例えば、文字パターンＵn を表示して
ユーザ２６に再度認識させ、認識結果を前回の認識結果
Ｘn と比較することにより、ユーザ２６の認識ミスを判
定するなどが考えられる。

【０１２７】〔３−５−３．関数近似モデルの故障の判
定〕また、関数近似モデル故障判定部２２は、誤差発生
判定部６１４から誤差発生信号を受け取ると、学習デー
タ保存部６５に保存されている学習データの入力信号Ｕ
k と、この入力信号に対する関数近似モデル６１の認識
結果

【数３５】 から、関数近似モデル６１に故障が発生しているかを判
定する。このように関数近似モデル故障判定部２２が関
数近似モデル６１に故障が発生しているか判定する方法
の一例は、例えば、学習データの入力信号Ｕk を関数近
似モデル６１に入力し、関数近似モデル６１による認識
結果

【数３６】 と、与えた入力信号Ｕk に対応して関数近似モデル６１
が過去に出力した出力信号とを比較することにより、関
数近似モデル６１の故障を判定する方法が考えられる。

【０１２８】〔３−５−４．ユーザ変更の判定〕また、
ユーザ変更判定部２８は、誤差発生判定部６１４から誤
差発生信号を受け取ると、学習データ保存部６５から学
習データ（Ｕk ，Ｘk ）を受け取り、この学習データを
使って、ユーザ２６が変更したかを判定する。このよう
にユーザ変更判定部２８が、ユーザ２６が変わったかを
判定する方法の一例は、例えば、学習データ（Ｕk ，Ｘ
k ）の文字パターンＵk を表示してユーザ２６に認識さ
せ、認識結果を同じ学習データに含まれている認識結果
Ｘk と比較することにより、ユーザ２６の変更を判定す
る方法が考えられる。

【０１２９】〔３−５−５．原因の最終的な判定〕原因
判定部６１７では、このように個々のユーザ認識ミス判
定部２７、関数近似モデル故障判定部２２、ユーザ変更
判定部２８が判定を行った判定結果に基づいて、誤差発
生の原因を最終的に判定する。そして、この判定の結
果、ユーザ変更が誤差の原因と判定されると消去司令Ｓ
Ｄと保存司令ＳＳが出力され、未学習の入力信号が入力
されたと判定されると、保存司令ＳＳが出力される。

【０１３０】〔３−６．効果〕以上のように、第３実施
例では、与えられた文字に対して関数近似モデルが出力
した認識結果とユーザによる認識結果との違いに対し
て、原因を判別して原因に応じた適切な処理が行われる
ので、正しい効率的な学習によって手書き文字の認識精
度が効果的に改善される。

【０１３１】〔４．他の実施の形態及び実施例〕なお、
本発明は、上に述べた各実施形態及び実施例に限定され
るものではなく、次に例示するような他の実施形態も含
むものである。例えば、本発明は、上に述べた人工衛星
や汚水処理以外の分野に適用することもでき、どのよう
に適用するかも自由である。また、関数近似モデルの形
式も神経回路モデルには限定されず、学習計算のアルゴ
リズムも誤差逆伝搬学習法には限定されない。

【０１３２】また、誤差に関する判断に使う「予め決め
た基準値」は、一定の具体的な数値に固定する必要はな
く、関数近似モデルの形式、近似する対象の状態や時刻
などに応じて、予め決めた基準にしたがって変わるよう
にしてもよい。また、予め決めた時間の間に得られた複
数の信号に基づいて判断を行う場合、複数の種類の信号
を判断に使うこともできるし、信号を一定の間隔でサン
プリングして使うこともできる。

【０１３３】

【発明の効果】以上説明したように、本発明によれば、
学習するデータを選ぶことで、重要なデータの学習結果
を忘れたり間違ったデータを学習することなく、偏りな
く効率よく関数近似モデルを学習させることができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態の構成を示す機能ブロッ
ク図。

【図２】本発明の第１実施形態における処理手順を示す
フローチャート。

【図３】本発明の第２実施形態の構成を示す機能ブロッ
ク図。

【図４】本発明の第２実施形態における処理手順を示す
フローチャート。

【図５】本発明の第３実施形態における３層型の神経回
路モデルを示す図。

【図６】本発明の第１実施例において、ＸＹ平面上を移
動する人工衛星を示す図。

【図７】本発明の第１実施例の構成を示す機能ブロック
図。

【図８】本発明の第１実施例における判断部の構成を具
体的に示す機能ブロック図。

【図９】本発明の第２実施例における下水処理プロセス
の曝気槽を概略的に示す図。

【図１０】本発明の第２実施例の構成を示す機能ブロッ
ク図。

【図１１】本発明の第２実施例における判断部の構成を
具体的に示す機能ブロック図。

【図１２】本発明の第３実施例における神経回路モデル
を概念的に示す図。

【図１３】本発明の第３実施例の構成を示す機能ブロッ
ク図。

【図１４】本発明の第３実施例における判断部の構成を
具体的に示す機能ブロック図。

【符号の説明】

１，４１，５１，６１…関数近似モデル ２，２０２，４２，５２，６２…判断部 ３，３０２，４３，５３，６３…学習部 ４…対象システム ５，５５，６５…学習データ保存部 ６…神経回路モデル ７…入力層 ８…中間層 ９…出力層 １０…神経素子 １１…人工衛星 １２…フィードバック制御器 ４１３，５１３…データ記憶部 ４１４，５１４，６１４…誤差発生判定部 ４１５，５１５…ノイズ判定部 ４１６…フィードバック制御器故障判定部 ４１７，５１７，６１７…原因判定部 １８…曝気槽 １９…ブロア ２０…流入量計 ２１…下水処理プロセス ２２…関数近似モデル故障判定部 ２３…下水処理プロセス特性変化判定部 ２４…文字入力部 ２５…メッシュ ２６…ユーザ ２７…ユーザ認識ミス判定部 ２８…ユーザ変更判定部

Claims (13)

【特許請求の範囲】
1. 【請求項１】 入力信号とこれに対応する教師信号とを
   含むデータを使って関数近似モデルを学習させる関数近
   似モデル学習装置において、 入力信号に対応する教師信号と、この入力信号を与えた
   ときに前記関数近似モデルが出力する出力信号との間に
   予め決めた基準値より大きい誤差が発生したときに、そ
   の誤差の発生原因に基づいて、当該データを前記関数近
   似モデルの学習に使うかどうかを判断する判断部と、 前記判断部が学習に使うと判断したデータを使って前記
   関数近似モデルを学習させる学習部と、 を備えたことを特徴とする関数近似モデル学習装置。
2. 【請求項２】 入力信号とこれに対応する教師信号とを
   含むデータを使って関数近似モデルを学習させる関数近
   似モデル学習装置において、 入力信号に対応する教師信号と、この入力信号を与えた
   ときに前記関数近似モデルが出力する出力信号との間に
   予め決めた基準値より大きい誤差が発生したときに、そ
   の誤差の発生原因に基づいて、当該データを前記関数近
   似モデルのための学習データとして保存するかどうかを
   判断する判断部と、 前記判断部が保存すると判断したデータを保存する学習
   データ保存部と、 前記学習データ保存部が保存しているデータを使って前
   記関数近似モデルを学習させる学習部と、 を備えたことを特徴とする関数近似モデル学習装置。
3. 【請求項３】 前記判断部は、入力信号に対応する教師
   信号と、この入力信号を与えたときに前記関数近似モデ
   ルが出力する出力信号との間に予め決めた基準値より大
   きい誤差が発生したときに、その誤差の発生原因に基づ
   いて、前記学習データ保存部に保存されている学習デー
   タを消去するかどうかを判断するように構成され、 前記学習データ保存部は、前記判断部が消去すると判断
   した学習データを消去するように構成されたことを特徴
   とする請求項２記載の関数近似モデル学習装置。
4. 【請求項４】 前記判断部は、 入力信号に対応する教師信号と、この入力信号を与えた
   ときに前記関数近似モデルが出力する出力信号との間に
   予め決めた基準値より大きい誤差が発生したことを検出
   する手段と、 前記予め決めた基準値より大きい誤差が発生したことが
   検出されたときに、その誤差の発生原因を判定する手段
   と、 判定された発生原因に基づいて、当該誤差の発生してい
   るデータについて、学習データに関する決定を行う手段
   と、 を備えたことを特徴とする請求項１から３のいずれか１
   つに記載の関数近似モデル学習装置。
5. 【請求項５】 前記関数近似モデルとして神経回路モデ
   ルを使い、 前記学習部は、神経回路モデルの学習計算によって、そ
   の関数近似モデルに含まれるパラメータの修正量を計算
   するように構成されたことを特徴とする請求項１から４
   のいずれか１つに記載の関数近似モデル学習装置。
6. 【請求項６】 前記判断部は、前記関数近似モデルから
   出力される出力信号、前記データに含まれる入力信号及
   び教師信号のうち少なくとも１つについて、予め決めた
   時間の間に得られた複数の信号に基づいて前記判断を行
   うように構成されたことを特徴とする請求項１から５の
   いずれか１つに記載の関数近似モデル学習装置。
7. 【請求項７】 前記判断部は、前記関数近似モデルから
   出力される出力信号、前記データに含まれる入力信号及
   び教師信号のうち少なくとも１つについて、予め決めた
   時間の間に得られた複数の信号に含まれる周波数成分に
   基づいて前記判断を行うように構成されたことを特徴と
   する請求項１から６のいずれか１つに記載の関数近似モ
   デル学習装置。
8. 【請求項８】 前記判断部は、前記誤差の発生原因とし
   て少なくとも、前記関数近似モデルが近似している対象
   の変化と、前記関数近似モデルの故障と、入力信号ある
   いは教師信号に含まれるノイズと、を判別するように構
   成されたことを特徴とする請求項１から７のいずれか１
   つに記載の関数近似モデル学習装置。
9. 【請求項９】 入力信号とこれに対応する教師信号とを
   含むデータを使って関数近似モデルを学習させる関数近
   似モデル学習方法において、 入力信号に対応する教師信号と、この入力信号を与えた
   ときに前記関数近似モデルが出力する出力信号との間に
   予め決めた基準値より大きい誤差が発生したときに、そ
   の誤差の発生原因に基づいて、当該データを前記関数近
   似モデルの学習に使うかどうかを判断するステップと、 学習に使うと判断されたデータを使って前記関数近似モ
   デルを学習させるステップと、 を含むことを特徴とする関数近似モデル学習方法。
10. 【請求項１０】 入力信号とこれに対応する教師信号と
    を含むデータを使って関数近似モデルを学習させる関数
    近似モデル学習方法において、 入力信号に対応する教師信号と、この入力信号を与えた
    ときに前記関数近似モデルが出力する出力信号との間に
    予め決めた基準値より大きい誤差が発生したときに、そ
    の誤差の発生原因に基づいて、当該データを前記関数近
    似モデルのための学習データとして保存するかどうかを
    判断するステップと、 前記判断部が保存すると判断したデータを保存するステ
    ップと、 保存されているデータを使って前記関数近似モデルを学
    習させるステップと、 を含むことを特徴とする関数近似モデル学習方法。
11. 【請求項１１】 入力信号に対応する教師信号と、この
    入力信号を与えたときに前記関数近似モデルが出力する
    出力信号との間に予め決めた基準値より大きい誤差が発
    生したときに、その誤差の発生原因に基づいて、保存さ
    れている学習データを消去するかどうかを判断するステ
    ップと、 消去すると判断された学習データを消去するステップ
    と、 を含むことを特徴とする請求項１０記載の関数近似モデ
    ル学習方法。
12. 【請求項１２】 前記判断するステップは、前記関数近
    似モデルから出力される出力信号、前記データに含まれ
    る入力信号及び教師信号のうち少なくとも１つについ
    て、予め決めた時間の間に得られた複数の信号に基づい
    て前記判断を行うことを特徴とする請求項９から１１の
    いずれか１つに記載の関数近似モデル学習方法。
13. 【請求項１３】 コンピュータを用いて、入力信号とこ
    れに対応する教師信号とを含むデータを使って関数近似
    モデルを学習させる関数近似モデル学習用プログラムを
    記録した記録媒体において、 そのプログラムは前記コンピュータに、 入力信号に対応する教師信号と、この入力信号を与えた
    ときに前記関数近似モデルが出力する出力信号との間に
    予め決めた基準値より大きい誤差が発生したときに、そ
    の誤差の発生原因に基づいて、当該データを前記関数近
    似モデルの学習に使うかどうかを判断させ、 学習に使うと判断されたデータを使って前記関数近似モ
    デルを学習させることを特徴とする関数近似モデル学習
    用プログラムを記録した記録媒体。