JPH08110897A

JPH08110897A - 学習装置

Info

Publication number: JPH08110897A
Application number: JP6274576A
Authority: JP
Inventors: Kenji Fukumizu; 健次福水
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1994-10-12
Filing date: 1994-10-12
Publication date: 1996-04-30

Abstract

(57)【要約】【目的】学習の結果得られたパラメータにおいてFish
er情報行列が必ずしも正定値でない場合でも最適なモデ
ル，中間層素子の個数を決定できる。【構成】真の関数ｆ(ｘ)のまわりに統計的なばらつき
をもって発生した学習データを用いて、多層パーセプト
ロン１０が真の関数の近似を行うように、多層パーセプ
トロン１０のパラメータθの推定を行い、パラメータθ
を最適化するパラメータ推定部１１と、パラメータ推定
部１０によって得られた多層パーセプトロンのパラメー
タの推定値と中間層素子の個数とから計算されるＡＩＣ
に基づいて、最適な中間層素子の個数をもつモデルを選
択するモデル選択部１２とを有し、モデル選択部１２
は、Fisher情報行列の正定値性の確保されたモデルを算
出し、このような各モデルのうちから最適なモデルをＡ
ＩＣによって選択する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、パターン認識やシステ
ム同定問題，制御問題などのように、与えられた入力か
ら望ましい出力を学習する学習装置に関する。

【０００２】

【従来の技術】一般に、中間層の素子の出力関数として
シグモイド関数を用いた３層階層型ニューラルネットワ
ークは、非線形性を有するシステムの入出力関係の同定
に有効である。通常、対象とするシステムに関する知識
は、先験的前提がない限り、観測を通じて得られた有限
個のデータのみに反映されている。このため、ネットワ
ークの結合重みは、データとネットワーク出力が近くな
るよう、バックプロパゲーションアルゴリズムなどを用
いた学習により推定される。この場合、ネットワーク構
造(ネットワークの複雑さ)が適切でないと、学習した入
出力関係が獲得すべき入出力関係からずれてしまう。従
って、複雑さの異なる学習後のネットワークの中から、
適切なものを選ぶ必要がある。これは、一般に、モデル
選択と呼ばれている。

【０００３】従来、モデル選択法としては、情報量基準
ＡＩＣ(Akaike's Information Criterion)を最小化する
モデルを最適とみなして採用する方法が広く用いられて
いる。ＡＩＣは、ゆう度原理とＫＬ(Kullback-Leibler)
情報量との関係から、モデルに関する適当な仮定のもと
で漸近理論に従い導出された基準である。ＡＩＣが適用
されるモデルは、主に自己回帰モデルあるいは重回帰モ
デルなどである。階層型ニューラルネットワークにおい
ても、モデル選択の立場から、ＡＩＣを直接用いる方法
や学習により最ゆう推定量が得られた場合にＡＩＣと等
価になる基準を用いる方法などが提案されている。

【０００４】

【発明が解決しようとする課題】しかしながら、文献
「“階層型ニューラルネットワークにおける結合重みの
非一意性とＡＩＣ”萩原克幸他電子情報通信学会論文
誌Ｄ-II,Vol.J76-Ｄ-II,No.9,pp2058-2065(1993)」に示
されているように、３層階層型ニューラルネットワーク
を用いた非線形回帰モデルに対しては、結合重みの非一
意性のためにＡＩＣが導出できず、従って、最適なネッ
トワークモデルの選択を行なうことができない。

【０００５】このことを、以下に詳細に説明する。い
ま、図４に示すような、中間層にｍ個の中間層素子を配
置したｒ入力１出力の３層階層型ニューラルネットワー
クについて、中間層素子の出力関数をシグモイド関数，
入力層，出力層の各素子の出力関数を線形関数とし、こ
のネットワークをＮ(ｒ，ｍ)と表わす。

【０００６】非線形性をもつシステムに関する予測・制
御あるいは機能解析といった目的のもとで、その入出力
関係をＮ(ｒ，ｍ)により同定することを考える。対象と
するシステムをｒ入力１出力とし、入力ベクトル列ｘ＝
(ｘ₁，ｘ₂,…,ｘ_n)^r，(ｘ_i＝(ｘ_i1，…，ｘ_ir)∈Ｒ^r，
ｉ＝１，…，ｎ)に対するシステムの応答をｙ＝(ｙ₁，
ｙ₂,…,ｙ_n)^rとする。いま、入力数ｒおよびｘは固定さ
れているものとする。ｙの生成機構を、図５に示すよう
に、各ｉで、システム固有の確定的出力ｈ(ｘ_i)に確率
変数の実現値として表わされる雑音成分ε_iが重畳した
ものとみなし、その条件付き同時確率密度関数をｐ(ｙ
｜ｘ)(≡ｐ)と表わす。ｈ(・)を真の入出力関係，ｐを
真の分布と呼ぶ。

【０００７】今、ｙの確率構造を次式で表わす。

【０００８】

【数１】ｙ_i＝ｇ(ｘ_i，ω_m)＋ε_i ０≦ｍ≦Ｍ ε_i〜Ｎ(０，σ²)，各ｉで独立，等分散

【０００９】数１は、システムのパラメトリックモデル
であり、非線形回帰モデルの一種であり、数１におい
て、ｍ，ω_m，σ²が定まれば、次式で与えられるｙの条
件付き同時確率密度関数が規定される。

【００１０】

【数２】

【００１１】ここで、θ_k＝(ω_m，σ²)(≡(θ_k ¹，…，
θ_k ^k))およびｋ＝ｍ(ｒ＋２)＋１は、それぞれｆ_kのパ
ラメータおよびパラメータ数を表わす。このとき、ｋは
中間層素子数ｍに依存して変わる。Ｋ＝Ｍ(ｒ＋２)＋１
をｋの最大値とし、Ｍ≪ｎとする。また、θ_kのパラメ
ータ空間をΘ_k∈Ｒ^kとする。以下、特に断わらない限
り、モデルとは条件付き同時確率密度関数ｆ_kを意味
し、モデルの族をＦ_k＝｛ｆ_k；θ_k∈Θ_k｝と表わす。

【００１２】階層型ニューラルネットワークの学習法と
してのバックプロパゲーションアルゴリズムは、データ
とネットワーク出力との誤差２乗和を評価関数とする最
急降下法と等価である。なお、誤差２乗和は次式で与え
られる。

【００１３】

【数３】

【００１４】このとき、学習により得られた結合重みを
〈ω_m〉とすると、分散σ²の推定値〈σ²〉は、次式で
与えられる。

【００１５】

【数４】〈σ²〉＝Ｓ_n(〈ω_m〉）

【００１６】一般に、パラメータ空間Θ_k内において、
評価関数Ｓ_n(・)の大域的な最小値を与えるパラメータ
の推定量〈θ_k〉^NLS＝(〈ω_m〉^NLS，〈σ²〉^NLS)を非線
形最小２乗推定量と呼び、推定されたモデルをｆ(ｙ｜
ｘ，〈θ_k〉^NLS)(≡〈ｆ_k〉^NLS)と表わす。学習により
非線形最小２乗推定量が得られる場合、ネットワーク
は、その構造が簡単すぎると、偏った入出力関係を学習
してしまう。逆に、複雑すぎると、学習に用いたデータ
に対する誤差は小さくなるが、真からは隔たった入出力
関係を学習してしまう。従って、学習したネットワーク
について、適切なネットワーク構造，すなわち中間層素
子数ｍを決める必要がある。

【００１７】これは、｛〈ｆ_k〉^NLS；ｋ＝１，…，Ｋ｝
の中から、何らかの意味で、適切なモデルを選ぶことに
対応し、一般に、モデル選択と呼ばれる。

【００１８】従来、自己回帰モデルあるいは重回帰モデ
ルなどについては情報量基準ＡＩＣ(Akaike's Informat
ion Criterion)を最小化するモデルを選択する方法が広
く用いられてきた。ＡＩＣは、〈ｆ_k〉と真の分布ｐの
近さの尺度としてＫＬ(Kullback-Leibler)情報量を導入
し、モデルに関する適当な仮定のもとで導出された基準
である。従って、その導出における仮定を満たすモデル
の族を対象とする場合、ＡＩＣにより選択されるモデル
の適切さは、ＫＬ情報量を根拠として保証される。

【００１９】一方、ゆう度原理では、ｆ_kをパラメータ
θ_kの関数と見るとき、ｌ(θ_k)＝logｆ(ｙ｜ｘ，θ_k)を
対数ゆう度と呼び、対数ゆう度を最大化するパラメータ
の推定量〈θ_k〉^MLを最ゆう推定量と呼ぶ。このとき、
ｌ(〈θ_k〉^ML)を最大対数ゆう度と呼び、最ゆう推定量
〈θ_k〉^MLにより定められるモデルｆ(・｜ｘ，〈θ_k〉
^ML)(≡〈ｆ_k〉^ML)を最ゆうモデルと呼ぶ。

【００２０】ＡＩＣは、最ゆうモデルに対する基準であ
る。もし、推定されたモデルが最ゆうモデルでなけれ
ば、そのモデルはＡＩＣ導出における仮定を満たさな
い。しかしながら、数２のモデルの場合、非線形最小２
乗推定量は最ゆう推定量と一致することが知られてい
る。以下、学習により非線形最小２乗推定量が得られた
場合を考え、〈θ_k〉＝〈θ_k〉^ML＝〈θ_k〉^NLS，
〈ｆ_k〉＝〈ｆ_k〉^ML＝〈ｆ_k〉^NLSとする。

【００２１】ＺをＹと独立に同一分布に従う確率変数と
して、次式を平均対数ゆう度と呼ぶ。

【００２２】

【数５】

【００２３】また、≪θ_k≫を次式を満たすパラメータ
値とする。

【００２４】

【数６】

【００２５】このとき、必ずしもｆ(・｜ｘ，〈θ_k〉)
(≡≪ｆ_k≫)は、真の分布ｐに一致する必要はない。

【００２６】〈ｆ_k〉のｐに対する近さの尺度としてＫ
Ｌ情報量Ｉ(〈ｆ_k〉，ｐ〉)を導入することで、最ゆう
モデルの平均対数ゆう度ｌ^*(〈θ_k〉)により最ゆうモデ
ル間で真の分布との近さを相対的に評価できる。
〈θ_k〉はデータに依存するためｌ^*(〈θ_k〉)のデータ
分布に関する期待値すなわち、次式で与えられる期待値
が理想的な評価量となる。

【００２７】

【数７】

【００２８】ｌ_n ^*(ｋ)を期待平均対数ゆう度と呼ぶ。通
常、真の分布は未知であり、ｌ(〈θ_k〉)によりｌ
_n ^*(ｋ)を推定する必要がある。

【００２９】ｌ^*(・)およびｌ(・)をそれぞれの最大値
を与える≪θ_k≫および最ゆう推定量〈θ_k〉において２
次のテイラー展開により近似する。そうして得られたｌ
(〈θ_k〉)とｌ^*(〈θ_k〉)の差は、最ゆう推定量の一致
性および漸近正規性を考慮してデータに関する期待値を
とると、Ｔｒａｃｅ［Ｊ^-1・Ｉ］で与えられる。ここ
で、ＪおよびＩはそのｉｊ成分が次式で与えられるｋ×
ｋ行列である。

【００３０】

【数８】

【００３１】ところで、「モデルの族が真の分布を含
む」という仮定のもとでは任意の入力ξ＝(ξ₁，…，ξ
_r)∈Ｒ^rに対して、ｇ(ξ，ω_m ^*)＝ｈ(ξ) ω_m ^*∈Ω_mを
満たすｍ(ｍ^*≦ｍ≦Ｍ)とω_m ^*が存在する。ｍ(ｍ^*≦ｍ
≦Ｍ)についてｇ(ξ，ω_m ^*)を真のネットワーク出力と
呼ぶ。

【００３２】真のネットワーク出力が定数λの場合、す
なわち、ｇ(ξ，ω_m ^*)＝λ ｜λ｜＜∞の場合、真のネ
ットワーク出力を定める結合重みは無数に存在する。例
えば、Ｎ(ｒ，１)についてα_j＝０であればβ₁／｛１＋
exp(τ₁)｝＝λを満たす(β₁，τ₁)の組合せは一意に定
められない。従って、Ｎ(ｒ，ｍ)(ｍ＞１)についても同
様のことがいえる。

【００３３】いま、λ＝０の場合を考える。ｇ(ξ，
ω_m)について、すべてのβ_j(ｊ＝１，…，ｍ)がβ_j＝０
を満たす場合、任意のα_j，τ_j(ｊ＝１，…，ｍ)に対し
て、ｇ(ξ，ω_m)＝０が成り立つ。すなわち、真の入出
力関係を定める入力重み(結合重み)および閾値は一意性
をもたない。

【００３４】このことから、階層型ニューラルネットワ
ークＮ(ｒ，ｍ)を用いた非線形回帰モデルに対しては、
すべてのｍについて、パラメータの真値は識別不能とな
り、「パラメータの真値が大域的に識別可能である」と
いう仮定が成り立たない。従って、真値の集合内に何の
制約(あるいは分布)も与えられていないことを考える
と、平均対数ゆう度は、その集合内において平坦にな
る。

【００３５】このとき、数８の行列Ｊ(以後、Fisher情
報行列と呼ぶ)について、一意性をもたないパラメータ
の真値に依存する要素が恒等的に０になり、Ｊは正則で
なくなる。従って、Ｊ^-1は存在せず、Ｎ(ｒ，ｍ)を用い
た非線形回帰モデルに対して、ＡＩＣは導出できない。

【００３６】このように、従来では、多層パーセプトロ
ンにＡＩＣを適用する場合に、Fisher情報行列が正定値
性をもたないと、正しくＡＩＣが適用できないという問
題があった。

【００３７】本発明は、学習の結果得られたパラメータ
においてFisher情報行列が必ずしも正定値でない場合で
も最適なモデル，中間層素子の個数を決定することの可
能な学習装置を提供することを目的としている。

【００３８】

【課題を解決するための手段および作用】上記目的を達
成するために、請求項１記載の発明は、真の確率ｐ(ｚ)
に従って発生した標本を用いて、次元の異なる複数のパ
ラメータ空間{Θ^(m)}_mに属するパラメータθ^(m)によっ
てパラメトライズされるパラメータ付確率密度関数族
{ｐ(ｚ；θ^(m))}によって最尤推定法で真の確率密度関
数の推定を行なうパラメータ推定手段と、各ｍに対して
得られたパラメータの推定値〈θ〉^(m)とパラメータΘ
^(m)の次元数とから計算されるＡＩＣに基づいて、最も
適したパラメータの次元数をもつモデルを選択するモデ
ル選択手段とを有し、モデル選択手段は、パラメータの
推定値〈θ〉^(m)におけるFisher情報行列の正定値性の
確保された各モデルを算出し、Fisher情報行列の正定値
性の確保された各モデルのうちから最適なモデルをＡＩ
Ｃによって選択することを特徴としている。これによ
り、学習の結果得られたパラメータにおいてFisher情報
行列が必ずしも正定値でない場合でも、最適なモデルを
決定することができる。

【００３９】また、請求項２，請求項３記載の発明は、
入力層と中間層と出力層とのネットワークとして構成さ
れ、入力ベクトルが与えられるときに所定のパラメータ
θに基づき入力ベクトルに対する出力ベクトルを計算し
て出力する多層パーセプトロンと、真の関数ｆ(ｘ)のま
わりに統計的なばらつきをもって発生した学習データを
用いて、多層パーセプトロンが真の関数の近似を行なう
ように、該多層パーセプトロンのパラメータθの推定を
行ない、パラメータθを最適化するパラメータ推定手段
と、該多層パーセプトロンの中間層がＨ個の中間層素子
をもつとするときに、パラメータ推定手段によって得ら
れた多層パーセプトロンのパラメータの推定値〈θ〉
^(H)と中間層素子の個数とから計算されるＡＩＣに基づ
いて、最適な中間層素子の個数をもつモデルを選択する
モデル選択手段とを有し、モデル選択手段は、Fisher情
報行列の正定値性の確保されたモデルを算出し、Fisher
情報行列の正定値性の確保された各モデルのうちから最
適なモデルをＡＩＣによって選択することを特徴として
いる。これにより、学習の結果得られたパラメータにお
いてFisher情報行列が必ずしも正定値でない場合でも、
最適なモデルすなわち、最適な中間層素子の個数を決定
することができる。

【００４０】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は本発明に係る学習装置の一実施例の構成図
である。本実施例の学習装置には、多層パーセプトロン
(例えば３層パーセプトロン)１０が用いられている。こ
の多層パーセプトロン１０は、Ｌ個の入力層素子１−１
乃至１−Ｌを有する入力層１とＨ個の中間層素子２−１
乃至２−Ｈを有する中間層２とＭ個の出力層素子３−１
乃至３−Ｍを有する出力層３とのネットワークで構成さ
れ、Ｌ次元入力空間Ｘからの入力ベクトルｘを入力層１
において受け取り、入力ベクトルｘが与えられた時のＭ
次元出力ベクトルｙを所定のパラメータθに基づき、次
式により計算して出力層３から出力するようになってい
る。

【００４１】換言すれば、この多層パーセプトロン１０
は、次式の関数系によって特徴付けられている。

【００４２】

【数９】

【００４３】ここでσ(ｔ)はシグモイド関数であり、次
式で与えられる。

【００４４】

【数１０】

【００４５】また、この多層パーセプトロン１０のパラ
メータθは、θ＝(ｗ₁₁,...,ｗ_MH,η₁,...,η_M,
ｕ₁₁,...,ｕ_HL,ζ₁,...,ζ_H)で表わされる。なお、
ｗ₁₁,...,ｗ_MHはＨ個の中間層素子２−１乃至２−Ｈと
Ｍ個の出力層素子３−１乃至３−Ｍとの間の結合係数，
ｕ₁₁,...,ｕ_HLはＬ個の入力層素子１−１乃至１−Ｌと
Ｈ個の中間層素子２−１乃至２−Ｈとの間の結合係数，
η₁,...,η_MはＭ個の出力層素子３−１乃至３−Ｍの閾
値，ζ₁,...,ζ_HはＨ個の中間層素子２−１乃至２−Ｈ
の閾値である。このような多層パーセプトロン１０で
は、ネットワークの出力を並列的な処理によって計算可
能である。

【００４６】本発明では、この多層パーセプトロン１０
を実際に稼動するに先立ち(学習後の実際の応用に先立
ち)、多層パーセプトロン１０のモデルとして、その中
間層２の中間層素子の個数ＨがＨ₁からＨ_nまでのｎ個の
モデルを用意し、ｎ個のモデルのうちのどのモデルが最
適であるか選択決定することを意図している。

【００４７】このため、本実施例の学習装置には、真の
関数ｆ(ｘ)のまわりに統計的なばらつきをもって発生し
た学習データを用いて、多層パーセプトロン１０が真の
関数の近似を行なうように、該多層パーセプトロン１０
のパラメータθの推定を行ない、パラメータθを最適化
するパラメータ推定部１１と、該多層パーセプトロン１
０の中間層２がＨ個の中間層素子をもつとするときに、
パラメータ推定部１１によって得られた多層パーセプト
ロン１０のパラメータの推定値〈θ〉^(H)と中間層素子
の個数とから計算されるＡＩＣに基づいて、最適な中間
層素子の個数をもつモデルを選択するモデル選択部１２
が設けられている。

【００４８】なお、パラメータ推定部１１は、与えられ
た学習データ｛(ｘ^(ν),ｙ^(ν))｜ν＝１,...,Ｎ｝を用
いて、ネットワーク，すなわち多層パーセプトロン１０
のパラメータθを例えばバックプロパゲーションによっ
て最小２乗誤差を小さくするように推定する。すなわ
ち、次式の最小２乗誤差を小さくするように、θを求め
る。

【００４９】

【数１１】

【００５０】このように、本実施例では、パラメータ推
定部１１は、中間層２の中間層素子の個数Ｈがあらかじ
め定められたＨ₁からＨ_nまでの間のｎ個のモデル全てに
対して、パラメータθの推定を行ない、各モデルにおけ
る最小２乗誤差推定量，すなわちパラメータ推定量
〈θ〉^(H)(＝〈θ〉^(H1)，…〈θ〉^(Hn))を算出し、モ
デル選択部１２は、パラメータ推定部１１で得られた各
モデルのパラメータ推定量〈θ〉^(H)を用いて、ＡＩＣ
に基づき、各モデルのうちから最適なモデルを選択する
ようになっている。

【００５１】ところで、前述したように、ＡＩＣはＦis
her情報行列Ｊ(数８を参照)が非特異である場合(正定値
である場合)に限り有効に働く。しかしながら、多層パ
ーセプトロンの場合には、前述の文献にも記載されてい
るようにＦisher情報行列Ｊが特異になる場合(Ｊ＝０に
なる場合)があり、この場合には、上述したようなＡＩ
Ｃによるモデル選択がうまく働かない。

【００５２】本願の発明者は、多層パーセプトロンのＦ
isher情報行列Ｊが特異になるのは、 (１)
(ｗ_ij,...,ｗ_Mj)＝０となるｊが存在する場合、(２)ｕ_j
＝(ｕ_j1，…，ｕ_jL)＝０となるｊが存在する場合、(３)
相違なるｊ₁,ｊ₂に対し、(ｕ_j1,ζ_j1）＝（ｕ_j2,ζ_j2）
または(ｕ_j1,ζ_j1）＝−（ｕ_j2,ζ_j2）となる場合、の
３条件のいずれかが成立する場合に限られる、という事
実を見出した。なお、ｕ_j1，ｕ_j2はベクトル量であり、
ζ_j1，ζ_j2はスカラー量であって、添字ｊ₁，ｊ₂は中間
層の素子番号である。すなわち、ｕ_j1，ζ_j1は中間層の
ｊ₁番目の素子の重みベクトル，閾値であり、ｕ_j2，ζ
_j2は中間層のｊ₂番目の素子の重みベクトル，閾値であ
る。

【００５３】そこで、この事実を用いて、本実施例のモ
デル選択部１２では、モデル選択を行なう際に、多層パ
ーセプトロン１０のＦisher情報行列Ｊが特異であった
場合には、上の３条件のどれが成り立っているかを判定
し、それぞれに応じて冗長な中間層素子を削減し、入出
力関数を変化させることなくＦisher情報行列が非特異
になるネットワークを得る操作を行なうようになってい
る。Ｆisher情報行列Ｊが非特異なネットワークに変換
されれば、通常のようにＡＩＣの手法を用いて学習後の
期待誤差が最小になるようなモデル選択を行なうことが
できる。

【００５４】このため、本実施例では、モデル選択部１
２には、例えば、素子削減機構１３が設けられており、
モデル選択部１２は、多層パーセプトロンのFisher情報
行列Ｊが特異になる場合、素子削減機構１３により、上
記３条件のいずれかに応じて冗長な中間層素子を削減し
て、多層パーセプトロンの当初のモデルを中間層素子数
の少ないものに変換し、このように変換されたモデルの
うちで最適なモデルを選択するようにしている。換言す
れば、変換された各モデルは、そのFisher情報行列Ｊが
全て、非特異のものであるので、これにより、ＡＩＣを
用いてモデル選択を行なうことができる。

【００５５】具体的には、モデル選択部１２は、当初の
ネットワークの中間層素子数がＨ個であった場合の変換
モデルの中間層素子数をｍ(Ｈ)個と書くことにすると
き、変換されたモデルに対し、ＡＩＣ(Ａkaike's Ｉnfo
rmation Ｃriterion)を用いて次式の量ＡＩＣ_Hを最小に
するような中間層素子数，すなわちモデルを選択するこ
とができる。

【００５６】

【数１２】

【００５７】次にこのような構成の学習装置の動作につ
いて説明する。いま、多層パーセプトロン１０のモデル
として当初、図２に示すように、例えば、Ｈ₁個からＨ_n
個までの中間層素子を有するｎ個のモデルＭＤＬ₁〜Ｍ
ＤＬ_nが用意されているとする。この場合、多層パーセ
プトロン１０を実際に応用するに先立って、その応用に
どのモデルが最適であるかの選択(学習)が行なわれる。
このモデル選択は、パラメータ推定部１１で推定された
各モデルＭＤＬ₁〜ＭＤＬ_nのパラメータ推定値を用い、
モデル選択部１２において、ＡＩＣにより実行される。

【００５８】この場合、各モデルＭＤＬ₁〜ＭＤＬ_nのFi
sher情報行列Ｊが全て正定値であり、非特異である場合
には、ＡＩＣにより最適なモデルを選択することができ
るが、各モデルＭＤＬ₁〜ＭＤＬ_nのうちのいずれかにFi
sher情報行列Ｊが正定値でないもの、すなわち特異なも
のがある場合には、ＡＩＣによるモデル選択を行なうこ
とはできない。

【００５９】この場合、モデル選択部１２は、素子削減
機構１３を起動し、素子削減機構１３に、上述した３条
件のいずれが成り立っているかを判定させ、それに応じ
て冗長な中間層素子の個数を削減させる。

【００６０】すなわち、素子削減機構１３は、先ず、中
間層２から出力層３への重み｛ｗ_ij｝を調べ、ベクトル
(ｗ_1j,...,ｗ_Mj）のノルムが、予め定められたごく小さ
い閾値ｔｈ₁以下である場合には、中間層２の第ｊ番目
の素子を削減し、中間層素子が１個減少したモデルに変
換する。

【００６１】次に、入力層１から中間層２への重み｛ｕ
_jk｝を調べ、ベクトルｕ_j＝(ｕ_j1,...,ｕ_jL)のノルム
が、予め定められたごく小さい閾値ｔｈ₂以下である場
合には、中間層２の第ｊ素子を削減し、中間層素子が１
個減少したモデルに変換する。

【００６２】次に、組｛（ｕ_j,ζ_j）｝を調べ、相違な
るｊ₁，ｊ₂に関して、（ｕ_j1,ζ_j1）−（ｕ_j2,ζ_j2）の
ノルムが、予め定められたごく小さい閾値ｔｈ₃以下で
あれば、中間層２の第ｊ₂素子を削減し、ｗ_ij1→ｗ_ij1
＋ｗ_ij2(１≦ｉ≦Ｍ)の変換を行ない、（ｗ_j1,ζ_j1）＋
（ｗ_j2,ζ_j2）のノルムが、あらかじめ定められた閾値
ｔｈ₃以下であれば、中間層２の第ｊ₂素子を削減し、ｗ
_j1→ｗ_ij1−ｗ_ij2, η_i→η_i＋ｗ_ij2(ｉ≦ｉ≦Ｍ)の変
換を行なう。

【００６３】この３種類の素子削減手順を、それ以上削
減するものがなくなるまで繰り返すことにより、図３に
示すような最終的なｎ個の変換モデル(極小モデル)ＭＤ
Ｌ₁'〜ＭＤＬ_n'が得られる。ここで、ｎ個の変換モデル
ＭＤＬ₁'〜ＭＤＬ_n'ともとのモデルＭＤＬ₁〜ＭＤＬ_nと
は近似的に同一の入出力写像を実現している。すなわ
ち、変換されても、ネットワークの入出力関係は保存さ
れている。また、ｎ個の変換モデルＭＤＬ₁'〜ＭＤＬ_n'
は、上述のように、３条件を成り立たせている中間層素
子を削減したものとなっており、各変換モデルＭＤＬ₁'
〜ＭＤＬ_n'はそのFisher情報行列Ｊが全て正定値(非特
異)のものとなっている。

【００６４】従って、変換モデルＭＤＬ₁'〜ＭＤＬ_n'が
求まると、モデル選択部１２は、例えば数１１に従っ
て、変換モデルＭＤＬ₁'〜ＭＤＬ_n'のうち、ＡＩＣ_Hを
最小にするようなモデルを選択することができる。この
ようにモデルが選択されると、このモデルの多層パーセ
プトロンを用いて、実際の応用において(例えば、パタ
ーン認識や制御、システム同定の問題などにおいて)出
力を計算することができる。

【００６５】なお、上述の実施例では、与えられた入力
から所定の出力を出力するシステム(モデル)が多層パー
セプトロンであるとしているが、本発明の学習装置は、
多層パーセプトロンに限らず、ＡＩＣによりモデルを選
択する際、Fisher情報行列の正定値性が問題となるよう
な全てのシステム(モデル)に適用可能である。

【００６６】すなわち、本発明の学習装置は、基本的に
は、真の確率ｐ(ｚ)に従って発生した標本を用いて、次
元の異なる複数のパラメータ空間{Θ^(m)}_mに属するパラ
メータθ^(m)によってパラメトライズされるパラメータ
付確率密度関数族{ｐ(ｚ；θ^(m))}によって最尤推定法
で真の確率密度関数の推定を行なうパラメータ推定部
と、各ｍに対して得られたパラメータの推定値〈θ〉
^(m)とパラメータΘ^(m)の次元数とから計算されるＡＩＣ
に基づいて、最も適したパラメータの次元数をもつモデ
ルを選択するモデル選択部とを有し、モデル選択部が、
パラメータの推定値〈θ〉^(m)におけるFisher情報行列
の正定値性の確保された各モデルを算出し、Fisher情報
行列の正定値性の確保された各モデルのうちから最適な
モデルをＡＩＣによって選択することを特徴としてい
る。

【００６７】

【発明の効果】以上に説明したように、本発明によれ
ば、モデル選択手段は、Fisher情報行列の正定値性の確
保されたモデルを算出し、Fisher情報行列の正定値性の
確保された各モデルのうちから最適なモデルをＡＩＣに
よって選択するので、学習の結果得られたパラメータに
おいてFisher情報行列が必ずしも正定値でない場合でも
最適なモデル，中間層素子の個数を決定することができ
る。これにより、パターン認識や制御、システム同定の
問題に多層パーセプトロンを応用する際、期待誤差を最
小にするような中間総素子数が選択でき、学習後の誤差
を減少させることができる。

【図面の簡単な説明】

【図１】本発明に係る学習装置の一実施例の構成図であ
る。

【図２】図１の学習装置の動作を説明するための図であ
る。

【図３】図１の学習装置の動作を説明するための図であ
る。

【図４】３層階層型ニューラルネットワークの一例を示
す図である。

【図５】非線形性をもつシステムのモデルを示す図であ
る。

【符号の説明】

１入力層２中間層３出力層１０多層パーセプトロン１１パラメータ推定部１２モデル選択部１３素子削減機構

Claims

【特許請求の範囲】

【請求項１】真の確率ｐ(ｚ)に従って発生した標本を
用いて、次元の異なる複数のパラメータ空間{Θ^(m)}_mに
属するパラメータθ^(m)によってパラメトライズされる
パラメータ付確率密度関数族{ｐ(ｚ；θ^(m))}によって
最尤推定法で真の確率密度関数の推定を行なうパラメー
タ推定手段と、各ｍに対して得られたパラメータの推定
値〈θ〉^(m)とパラメータΘ^(m)の次元数とから計算され
るＡＩＣに基づいて、最も適したパラメータの次元数を
もつモデルを選択するモデル選択手段とを有し、前記モ
デル選択手段は、パラメータの推定値〈θ〉^(m)におけ
るFisher情報行列の正定値性の確保された各モデルを算
出し、Fisher情報行列の正定値性の確保された各モデル
のうちから最適なモデルをＡＩＣによって選択すること
を特徴とする学習装置。
【請求項２】入力層と中間層と出力層とのネットワー
クとして構成され、入力ベクトルが与えられるときに所
定のパラメータθに基づき入力ベクトルに対する出力ベ
クトルを計算して出力する多層パーセプトロンと、真の
関数ｆ(ｘ)のまわりに統計的なばらつきをもって発生し
た学習データを用いて、前記多層パーセプトロンが真の
関数の近似を行なうように、該多層パーセプトロンのパ
ラメータθの推定を行ない、パラメータθを最適化する
パラメータ推定手段と、該多層パーセプトロンの中間層
がＨ個の中間層素子をもつとするときに、前記パラメー
タ推定手段によって得られた多層パーセプトロンのパラ
メータの推定値〈θ〉^(H)と中間層素子の個数とから計
算されるＡＩＣに基づいて、最適な中間層素子の個数を
もつモデルを選択するモデル選択手段とを有し、前記モ
デル選択手段は、Fisher情報行列の正定値性の確保され
たモデルを算出し、Fisher情報行列の正定値性の確保さ
れた各モデルのうちから最適なモデルをＡＩＣによって
選択することを特徴とする学習装置。
【請求項３】請求項２記載の学習装置において、前記
モデル選択手段は、冗長な中間層素子を削減することに
よって、Fisher情報行列の正定値性の確保された各モデ
ルを得ることを特徴とする学習装置。