JPH08221378A

JPH08221378A - 学習機械

Info

Publication number: JPH08221378A
Application number: JP7046202A
Authority: JP
Inventors: Kenji Fukumizu; 健次福水
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1995-02-10
Filing date: 1995-02-10
Publication date: 1996-08-30

Abstract

(57)【要約】【目的】学習に有効な最適な学習データを発生させ、
学習を効率良くかつ精度良く行なうことが可能である。【構成】条件付確率推定部２は、学習データ選択部５
によって選択された学習データからパラメータ〈θ〉を
算出し、算出したパラメータを学習データ選択部５に与
えて該パラメータ〈θ〉に基づき新たな学習データを学
習データ選択部５に選択させ、選択された新たな学習デ
ータから新たなパラメータ〈θ〉を算出するというよう
に、パラメータθの更新を最適なパラメータが得られる
まで繰り返し行ない、最終的なパラメータ〈θ〉を得る
ようになっている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、システム同定，パター
ン認識や制御問題などに利用され、与えられた入力から
望ましい出力を得たりするために、学習データからパラ
メータの最適化を行なう学習機械に関する。

【０００２】

【従来の技術】従来、ニューラルネットワークなどの統
計的学習機械では、学習メカニズムとして、例えばバッ
クプロパゲーション(誤差逆伝播アルゴリズム)などが知
られている。統計的学習機械が例えば図２に示すよう
に、入力層５１と中間層５２と出力層５３とからなる３
層構造のパーセプトロン(階層的ネットワーク)である場
合、バックプロパゲーションの学習メカニズムは、入力
層５１のユニットと中間層５２のユニットとの結合の重
み，中間層５２のユニットと出力層５３のユニットとの
結合の重みをパラメータに含めて、二乗誤差最小化の学
習を行なうものである。より具体的には、ｍ層のネット
ワークを考え、ｋ層の第ｉユニットへの入力の総和をｉ
^k _i，出力をｏ^k _iとし、ｋ−１層の第ｉユニットからｋ層
の第ｉユニットへの結合の重みをｗ^k-1 _i ^k _jとし、各ユニ
ットの入出力関係を与える関数をｆとすると、これらの
変数の間の関係は次式のようになる。

【０００３】

【数１】

【０００４】損失関数ｒを誤差の二乗にとると、ある入
出力パターンの組(ｘ，ｙ)が与えられたときの損失関数
ｒは、次式で与えられる。

【０００５】

【数２】

【０００６】ここで、ｗは、対応付けを与えるネットワ
ークの結合の重みを全てまとめたものであり、結合の重
みｗの学習を行なうには(すなわち、結合の重みｗの修
正量を求めるには)、損失関数ｒの結合の重みｗについ
てのグラディエント(勾配)∂ｒ／∂ｗ^k-1 _i ^k _jを計算すれ
ば良い。すなわち、１回の修正の大きさを決めるパラメ
ータをεとするとき、結合の重みｗの修正量△ｗ^k-1 _i ^k _j
は、次式で与えられる。

【０００７】

【数３】

【０００８】数３の第２番目，第３番目の式から、結合
の重みｗ^k-1 _i ^k _jの修正に使う信号ｄ^k _jがｋ＝ｍからｋ＝
２に向かって再帰的に計算されることがわかる。また、
数３の第３番目の式から、このｄ^k _jの計算の過程は、出
力層での理想出力と実際の出力との誤差ｄ^k+1 _hを入力と
して、出力層から入力層の方向へ、信号の伝播とは逆の
方向にｗ^k _i ^k+1 _hで重みを付けた和をとりながら、伝播さ
せていくようになっている。これが、バックプロパゲー
ション(誤差逆伝播)学習アルゴリズムである。

【０００９】

【発明が解決しようとする課題】しかしながら、上述し
たような従来の学習機械では、学習データは受動的にし
か与えられず、学習に有効な学習データを発生するよう
にはなっていない。例えば、上述したバックプロパゲー
ションの学習アルゴリズムを用いた学習機械では、学習
データ(入出力パターンの組(ｘ，ｙ))として、通常、真
の確率分布から受動的に発生したものを用いているが、
真の確率分布に従う標本で学習するのが最適であるとの
保証は全くなく、従って、上述したバックプロパゲーシ
ョンの学習アルゴリズムでは、実際には、振動を減ら
し、学習の収束を早めるために、次式のような修正を行
なったりしなければならなかった。

【００１０】

【数４】

【００１１】なお、数４において、αは小さな正の定
数，ｔは修正の回数を表わしている。

【００１２】このように、従来の学習機械では、学習に
有効な最適な学習データを発生させて学習を行なうよう
にはなっていなかったので、学習を効率良くかつ精度良
く行なうことができないという問題があった。また、従
来では、学習データとしてどのようなものを用いれば最
適であるかを決定することができず、従って、学習を効
率良くかつ精度良く行なわせることができなかった。

【００１３】本発明は、学習に有効な最適な学習データ
を発生させ、学習を効率良くかつ精度良く行なうことの
可能な学習機械を提供することを目的としている。

【００１４】

【課題を解決するための手段および作用】上記目的を達
成するために、請求項１記載の発明は、入力ベクトル空
間Ｘからの入力ベクトルｘに対して真の条件付確率ｐ
(ｙ|ｘ)に従う出力ベクトルｙを発生する未知システム
を推定する学習機械であって、入力ベクトル空間Ｘから
の入力ベクトルｘを受け取る入力手段と、学習用入力デ
ータとそれに対する未知システムの応答である教師デー
タとの組からなる学習データを用いて、所定のパラメー
タθの学習を行ない、真の条件付確率ｐ(ｙ|ｘ)を推定
し、これによって未知システムの推定を行なう条件付確
率推定手段と、条件付確率推定手段によって学習された
パラメータ〈θ〉を用いて、入力手段から与えられた未
学習の入力ベクトルｘに対する出力ｙを条件付確率ｐ
(ｙ|ｘ；〈θ〉)に従う標本として算出する出力手段
と、条件付確率推定手段が用いる学習データを、確率的
規則に従って選択する学習データ選択手段とを有してい
る。これにより、学習に有効な最適な学習データを選択
することができ、これにより、学習を効率良くかつ精度
良く行なうことができて、学習後のシステムの推定精度
を向上させることができる。

【００１５】また、請求項２乃至６記載の発明では、条
件付確率推定手段は、学習データ選択手段によって選択
された学習データからパラメータ〈θ〉を算出し、算出
したパラメータを学習データ選択手段に与えて該パラメ
ータ〈θ〉に基づき新たな学習データを学習データ選択
手段に選択させ、選択された新たな学習データから新た
なパラメータ〈θ〉を算出するというように、パラメー
タθの更新を最適なパラメータが得られるまで繰り返し
行ない、最終的なパラメータ〈θ〉を得るようになって
いる。これにより、学習に有効な最適な学習データを選
択させ、パラメータの学習を効率良くかつ精度良く行な
うことができる。

【００１６】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は本発明に係る学習機械の一実施例の構成図
である。本実施例の学習機械は、Ｌ次元の入力ベクトル
空間Ｘからの入力ベクトルｘ＝(ｘ₁，…，ｘ_L)に対し
て、真の条件付確率ｐ(ｙ｜ｘ)に従うＭ次元の出力ベク
トル空間Ｙ上の出力ベクトルｙ＝(ｙ₁，…，ｙ_M)を発生
する未知システムを推定する学習機械(統計的学習機械)
であって、図１を参照すると、この学習機械は、Ｌ次元
の入力ベクトル空間Ｘからの入力ベクトルｘを受け取る
入力部１と、学習入力データｘ_ν(k)とそれに対する上
記未知システムの応答である教師データｙ_ν(k)との組
からなるＮ’個の学習データ｛ｘ_ν(k)，ｙ_ν(k)｜１≦
ｋ≦Ｎ’｝を用いて、所定のパラメータθの学習を行な
い、未知システム，すなわち真の条件付確率ｐ(ｙ｜ｘ)
を推定する条件付確率推定部２と、条件付確率推定部２
によって学習されたパラメータ〈θ〉を用いて、入力部
１から与えられた未学習の入力ベクトルｘに対する出力
ｙを条件付確率ｐ(ｙ｜ｘ；〈θ〉)に従う標本として算
出する出力部３と、予め用意されたＮ個の学習データ
｛ｘ_ν，ｙ_ν｜１≦ν≦Ｎ｝を保持する学習データ保持
部４と、学習データ保持部４に保持されているＮ個の学
習データ｛ｘ_ν，ｙ_ν｜１≦ν≦Ｎ｝のうちから、条件
付確率推定部２が用いるＮ’個の学習データ
｛ｘ_ν(k)，ｙ_ν(k)｜ν（ｋ）∈｛１，…，Ｎ｝｜１≦
ｋ≦Ｎ’｝を確率的規則(確率モデル)に従って選択する
学習データ選択部５とを有している。

【００１７】ここで、条件付確率推定部２は、学習デー
タ選択部５によって選択された学習データ｛ｘ_ν(k)，
ｙ_ν(k)｝に基づきパラメータ〈θ〉を算出し、算出し
たパラメータ〈θ〉を学習データ選択部５に与えて該パ
ラメータ〈θ〉に基づき新たな学習データを学習データ
選択部５に選択させ、選択された新たな学習データ｛ｘ
_ν(k)，ｙ_ν(k)｝から新たなパラメータ〈θ〉を算出す
るというように、パラメータθの更新を最適なパラメー
タが得られるまで繰り返し行ない、最終的なパラメータ
〈θ〉を得るようになっている。

【００１８】なお、条件付確率推定部２におけるパラメ
ータθの更新は、学習データ保持部４に予め用意された
Ｎ個の学習データ｛ｘ_ν，ｙ_ν｜１≦ν≦Ｎ｝の中から
重複を許して選択されたＮ’個の学習データ
｛ｘ_ν(k)，ｙ_ν(k)｜ν（ｋ）∈｛１，…，Ｎ｝｜１≦
ｋ≦Ｎ’｝を用いて、パラメータθを例えば統計の分野
で良く知られている最尤推定法により、例えば次式のよ
うに推定する(学習する)ことによってなされる。

【００１９】

【数５】

【００２０】すなわち、条件付確率推定部２は、Ｓを最
大にするパラメータθを推定量〈θ〉として求めること
ができる。

【００２１】また、学習データ選択部５は、学習データ
を選択するのに用いられるパラメータｖをもった入力ベ
クトル空間上の確率モデル｛ｒ(ｘ；ｖ)｝を保持する確
率モデル保持部６と、確率モデル保持部６に保持されて
いる確率モデル｛ｒ(ｘ；ｖ)｝に従うサンプルｘを発生
させるサンプル発生回路７と、学習データ保持部４に保
持されているＮ個の学習データ｛ｘ_ν，ｙ_ν｜１≦ν≦
Ｎ｝のうちから、サンプルｘに最も近い位置にあるＮ’
個のデータｘ_νを選択し、それに対応するＮ’個のデー
タｙ_νと合わせて学習データ｛ｘ_ν(k)，ｙ_ν(k)｜ν
（ｋ）∈｛１，…，Ｎ｝｜１≦ｋ≦Ｎ’｝とし、条件付
確率推定部２に与えるデータ選択回路８とを有し、さら
に、上述したようなパラメータθの繰り返し更新処理を
行なうために、条件付確率推定部２からパラメータ
〈θ〉が与えられると、該パラメータ〈θ〉に基づき、
パラメータｖを更新し、確率モデル保持部６に保持され
ている確率モデル｛ｒ(ｘ；ｖ)｝を更新する確率モデル
更新回路９を備えている。なお、上記確率モデル保持部
６には、初期時には、予め定められたパラメータｖ₀を
もつ一定の確率分布ｒ(ｘ；ｖ₀)が保持されているとす
る。

【００２２】このような構成では、学習データ選択部５
は、初期時には予め定められた一定の確率分布ｒ(ｘ；
ｖ₀)に従って、初期の学習データの選択を行ない、条件
付確率推定部２からのパラメータ〈θ〉に基づき新たな
学習データを選択するときには、条件付確率推定部２か
らのパラメータ〈θ〉に基づいてパラメータｖを更新
し、更新された確率分布ｒ(ｘ；ｖ)に従って学習データ
保持部４から学習データ｛ｘ_ν(k)，ｙ_ν(k)｝を選択す
ることができる。

【００２３】なお、確率モデル保持部６に保持される確
率モデルｒ(ｘ；ｖ)としては、パラメータｖを離散的な
パラメータｖ_ν（１≦ν≦Ｎ）とし、次式のようなモデ
ルを用いることができる。

【００２４】

【数６】

【００２５】ここで、パラメータｖ_νは入力データｘ_ν
の発生頻度を表わしており、ｒ(ｘ；ｖ)として数６を用
いることで、サンプル発生回路７から発生頻度の高いサ
ンプルｘを発生させ、データ選択回路８において、発生
頻度の高い学習データを選択させることができて、学習
データを最適化することが可能となる。

【００２６】また、最適なパラメータｖは、学習誤差の
推定値Ｅ(ｖ)を最小化するようにパラメータｖの逐次更
新を行なうことにより得られる。このため、学習データ
選択部５の確率モデル更新回路９には、条件付確率推定
部２における学習誤差の推定値Ｅ(ｖ)を算出する誤差推
定値算出回路１０と、学習誤差の推定値Ｅ(ｖ)を最小化
するようにパラメータｖの逐次更新を行なう逐次更新回
路１１とが設けられており、確率モデル更新回路９は、
学習機械の利用時に生じる入力データの発生分布の確率
密度函数の推定量〈ｑ(ｘ)〉と初期の学習データにより
条件付確率推定部２で得られた初期のパラメータθの推
定値〈θ〉とを用いて、学習データの入力データを｛ｒ
(ｘ；ｖ)｝に従って発生させた場合の学習誤差の推定値
Ｅ(ｖ)を小さくするパラメータｖの値を最適値として計
算し、最適化されたパラメータｖによる確率密度函数ｒ
(ｘ；ｖ)を確率モデル保持部６に保持(更新)させるよう
にしている。

【００２７】より具体的には、確率モデル更新回路９の
誤差推定値算出回路１０は、次式の学習誤差推定値Ｅ
(ｖ)を最小化するように、パラメータｖを最適化するよ
うにしている。

【００２８】

【数７】

【００２９】但し、〈Ｉ〉，〈Ｊ(ｖ)〉は行列であり、
次のように計算される。

【００３０】

【数８】

【００３１】ここで、〈ｑ(ｘ)〉は、前述のように、こ
の学習機械が実際に使用されるとしたときの入力データ
の発生分布ｑ(ｘ)の推定値であり、｛ｘ_ν｝を用いれ
ば、入力データの発生分布ｑ(ｘ)をパラメトリックに、
あるいはノンパラメトリックに推定することができる。
また、この推定値〈ｑ(ｘ)〉を事前の知識により与えて
も良い。

【００３２】また、確率モデル更新回路９は、学習の誤
差推定値Ｅ(ｖ)を最小化するようにパラメータｖを最適
化するのに、この学習機械がニューラルネットワークな
どの非線形モデルである場合には、逐次更新回路１１に
おいて最急降下法でパラメータｖを逐次更新するのがよ
い。

【００３３】次に、このような学習機械の処理動作例に
ついて説明する。本実施例の学習機械は、この学習機械
が与える任意の入力ｘに対してｐ(ｙ｜ｘ)に従う標本を
返答することができる未知システムを推定するのに用い
られる。例えばシステム同定の問題などでは、真のシス
テムは任意の入力に対して出力を返すことができる場合
も多い。本実施例の学習機械は、このようなシステムを
推定するのに用いることができる。

【００３４】未知システムの推定(学習)は、条件付確率
推定部２で行なわれるが、条件付確率推定部２に対し
て、学習データ選択部５から学習データが与えられる。

【００３５】この際、学習データ選択部５においては、
初期時には、確率モデル保持部６に初期のパラメータｖ
₀をもつ確率モデル｛ｒ(ｘ；ｖ₀)｝が保持されており、
学習データ選択部５は、初期時において、先ず、確率モ
デル｛ｒ(ｘ；ｖ₀)｝に従うサンプルｘをサンプル発生
回路７で発生させ、このサンプルｘに最も近いＮ’個の
学習データ｛ｘ_ν(k)；ｙ_ν(k)｜１≦ｋ≦Ｎ’｝を学習
データ保持部４に予め保持されているＮ個の学習データ
｛ｘ_ν；ｙ_ν｜１≦ν≦Ｎ｝の中から選択し、これを初
期の学習データとして条件付確率推定部２に与える。

【００３６】これにより、条件付確率推定部２は、この
初期の学習データ｛ｘ_ν(k)，ｙ_ν(k)｝を用いて、所定
のパラメータθの初期学習を行ない、初期の学習結果，
すなわち初期のパラメータ推定値〈θ〉を算出する。

【００３７】このようにして、初期学習がなされ、初期
のパラメータ推定値〈θ〉が得られると、条件付確率推
定部２は、このパラメータ推定値〈θ〉を学習データ選
択部５に与える。これにより、学習データ選択部５の確
率モデル更新回路９は、この学習機械の稼動時に発生す
る実際の入力データの発生分布の確率密度関数ｑ(ｘ)の
推定量〈ｑ(ｘ)〉と条件付確率推定部２の初期学習によ
り得られたパラメータθの推定値〈θ〉とを用いて、学
習誤差の推定値Ｅ(ｖ)を最小にするパラメータｖの値を
最適値として計算し、最適化されたパラメータｖにより
確率モデル保持部６に保持されている確率モデルｒ
(ｘ；ｖ)を更新する。

【００３８】このように、確率モデルｒ(ｘ；ｖ)の更新
がなされた後、学習データ選択部５では、更新された新
たな確率モデル｛ｒ(ｘ；ｖ)｝に従うサンプルをサンプ
ルｘをサンプル発生回路７で発生させ、このサンプルｘ
に最も近いＮ’個の学習データ｛ｘ_ν(k)；ｙ_ν(k)｜１
≦ｋ≦Ｎ’｝を学習データ保持部４に予め保持されてい
るＮ個の学習データ｛ｘ_ν；ｙ_ν｜１≦ν≦Ｎ｝の中か
ら選択し、これを新たな学習データとして条件付確率推
定部２に与える。

【００３９】これにより、条件付確率推定部２は、この
新たな学習データ｛ｘ_ν(k)，ｙ_ν(k)｝を用いて、パラ
メータθの更新学習を行ない、更新学習結果，すなわち
新たなパラメータ推定値〈θ〉を算出する。

【００４０】このようにして、新たなパラメータ推定値
〈θ〉が得られると、条件付確率推定部２は、この新た
なパラメータ推定値〈θ〉を学習データ選択部５に与
え、この新たなパラメータ推定値〈θ〉によりパラメー
タｖ，確率モデルｒ(ｘ；ｖ)を更新させ、更新された確
率モデルにより学習データの選択更新を行なわせる。

【００４１】このように、条件付確率推定部２と学習デ
ータ選択部５とによって、パラメータ推定値〈θ〉，学
習データの選択更新を所定の終了条件が満たされるまで
逐次繰り返し行なう。例えば所定の繰り返し回数になる
まで、あるいは、所定の誤差基準を満たすまで、繰り返
し行なう。このような繰り返し処理がなされることで、
最適な学習データが最終的に得られ、従って、条件付確
率推定部２においては、学習を効率良くかつ精度良く行
なって、精度の高い(学習誤差の小さい)学習結果，すな
わちパラメータ推定値〈θ〉を迅速に得ることができ
る。

【００４２】このようにして、条件付確率推定部２にお
いてパラメータθの学習が行なわれ、更新学習結果
〈θ〉が生成された後、入力部１から入力ベクトルｘが
与えられると、出力部３は、条件付確率推定部２によっ
て学習されたパラメータ(更新学習結果)〈θ〉を用い
て、与えられた入力ベクトルｘに対する出力ｙを条件付
確率ｐ(ｙ|ｘ；〈θ〉)に従う標本として算出すること
ができる。

【００４３】以上のように、本実施例では、システム同
定の問題のように、学習機械が用意した入力データに対
して未知システムが教師データを与えてくれる問題を、
ニューラルネットワークなどの統計的学習機械によって
学習する場合に、学習データをどのように用意するのが
最適かを設計することができ、学習後の推定精度を向上
させることができる。

【００４４】

【発明の効果】以上に説明したように、請求項１記載の
発明によれば、入力ベクトル空間Ｘからの入力ベクトル
ｘに対して真の条件付確率ｐ(ｙ|ｘ)に従う出力ベクト
ルｙを発生する未知システムを推定する学習機械であっ
て、入力ベクトル空間Ｘからの入力ベクトルｘを受け取
る入力手段と、学習用入力データとそれに対する未知シ
ステムの応答である教師データとの組からなる学習デー
タを用いて、所定のパラメータθの学習を行ない、真の
条件付確率ｐ(ｙ|ｘ)を推定し、これによって未知シス
テムの推定を行なう条件付確率推定手段と、条件付確率
推定手段によって学習されたパラメータ〈θ〉を用い
て、入力手段から与えられた未学習の入力ベクトルｘに
対する出力ｙを条件付確率ｐ(ｙ|ｘ；〈θ〉)に従う標
本として算出する出力手段と、条件付確率推定手段が用
いる学習データを、確率的規則に従って選択する学習デ
ータ選択手段とを有しているので、学習に有効な最適な
学習データを選択することができ、これにより、学習を
効率良くかつ精度良く行なうことができて、学習後のシ
ステムの推定精度を向上させることができる。

【００４５】また、請求項２乃至６記載の発明によれ
ば、条件付確率推定手段は、学習データ選択手段によっ
て選択された学習データからパラメータ〈θ〉を算出
し、算出したパラメータを学習データ選択手段に与えて
該パラメータ〈θ〉に基づき新たな学習データを学習デ
ータ選択手段に選択させ、選択された新たな学習データ
から新たなパラメータ〈θ〉を算出するというように、
パラメータθの更新を最適なパラメータが得られるまで
繰り返し行ない、最終的なパラメータ〈θ〉を得るよう
になっているので、学習に有効な最適な学習データを選
択させ、パラメータの学習を効率良くかつ精度良く行な
うことができる。

【図面の簡単な説明】

【図１】本発明に係る学習機械の一実施例の構成図であ
る。

【図２】統計的学習機械としての３層構造のパーセプト
ロンを示す図である。

【符号の説明】

１入力部２条件付確率推定部３出力部４学習データ保持部５学習データ選択部６確率モデル保持部７サンプル発生回路８データ選択回路９確率モデル更新回路１０誤差推定値算出回路１１逐次更新回路

Claims

【特許請求の範囲】

【請求項１】入力ベクトル空間Ｘからの入力ベクトル
ｘに対して真の条件付確率ｐ(ｙ|ｘ)に従う出力ベクト
ルｙを発生する未知システムを推定する学習機械であっ
て、入力ベクトル空間Ｘからの入力ベクトルｘを受け取
る入力手段と、学習用入力データとそれに対する前記未
知システムの応答である教師データとの組からなる学習
データを用いて、所定のパラメータθの学習を行ない、
真の条件付確率ｐ(ｙ|ｘ)を推定し、これによって未知
システムの推定を行なう条件付確率推定手段と、条件付
確率推定手段によって学習されたパラメータ〈θ〉を用
いて、入力手段から与えられた未学習の入力ベクトルｘ
に対する出力ｙを条件付確率ｐ(ｙ|ｘ；〈θ〉)に従う
標本として算出する出力手段と、条件付確率推定手段が
用いる学習データを、確率的規則に従って選択する学習
データ選択手段とを有していることを特徴とする学習機
械。
【請求項２】請求項１記載の学習機械において、前記
条件付確率推定手段は、前記学習データ選択手段によっ
て選択された学習データからパラメータ〈θ〉を算出
し、算出したパラメータを学習データ選択手段に与えて
該パラメータ〈θ〉に基づき新たな学習データを学習デ
ータ選択手段に選択させ、選択された新たな学習データ
から新たなパラメータ〈θ〉を算出するというように、
パラメータθの更新を最適なパラメータが得られるまで
繰り返し行ない、最終的なパラメータ〈θ〉を得るよう
になっていることを特徴とする学習機械。
【請求項３】請求項２記載の学習機械において、前記
学習データ選択手段は、パラメータｖをもった入力ベク
トル空間上の確率モデル｛ｒ(ｘ；ｖ)｝を保持してお
り、該確率モデルｒ(ｘ；ｖ)に従うサンプルｘを発生さ
せ、該サンプルｘに最も近い位置にあるデータｘ_νを学
習データとして選択することを特徴とする学習機械。
【請求項４】請求項２または請求項３記載の学習機械
において、前記学習データ選択手段は、初期時には予め
定められたパラメータｖ₀をもつ一定の確率分布ｒ(ｘ；
ｖ₀)に従って、初期の学習データの選択を行ない、前記
条件付確率推定手段からのパラメータ〈θ〉に基づき新
たな学習データを選択するときには、条件付確率推定手
段からのパラメータ〈θ〉に基づいてパラメータｖを更
新し、更新された確率分布ｒ(ｘ；ｖ)に従って学習デー
タを選択することを特徴とする学習機械。
【請求項５】請求項２または請求項３記載の学習機械
において、前記学習データ選択手段は、学習機械の利用
時に生じる入力データの発生分布の確率密度函数の推定
量〈ｑ(ｘ)〉と初期の学習データにより前記条件付確率
推定手段で得られた初期のパラメータθの推定値〈θ〉
とを用いて、学習データの入力データを｛ｒ(ｘ；ｖ)｝
に従って発生させた場合の学習誤差の推定値Ｅ(ｖ)を小
さくするパラメータｖの値を最適値として計算し、最適
化されたパラメータｖによる確率密度函数ｒ(ｘ；ｖ)に
よって学習データの選択を行なうことを特徴とする学習
機械。
【請求項６】請求項５記載の学習機械において、前記
最適なパラメータｖは、学習誤差の推定値Ｅ(ｖ)を最小
化するように最急降下法を用いてパラメータｖの逐次更
新を行なうことにより得られることを特徴とする学習機
械。