JPH0962645A - 専門家の階層混合モデルの構築的学習方法 - Google Patents

Abstract

(57)【要約】 【課題】 モデルのパラメータである結合重みだけでな
く、専門家の階層混合モデルの適切な構造も学習するこ
とができる専門家の階層混合モデルの構築的学習方法を
提供する。 【解決手段】 Φ⁽²⁾ を初期化し、Ｒ⁽²⁾ ＝（１，−
１）^T ，ｃ＝２とし（ステップＳ１）、ＨＭＥ^(c) の学
習を実行し（ステップＳ２）、終了条件を判定し、該条
件を満たす場合には反復を停止して処理を終了し（ステ
ップＳ３）、そうでない場合には、継続して、拡張箇所
となるｅｎ_c を選択し（ステップＳ４）、ｗ_c+1 ，ｖ_c
を初期化し、Ｒ^(c+1) を計算し、ｃ＝ｃ＋１として、Ｈ
ＭＥの学習を実行する工程に戻る（ステップＳ５）。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、例えば音声処理、
画像処理および運動制御などの広い分野において有効で
ある専門家の階層混合モデル（Hierarchical Mixtures
of Experts）（以下、ＨＭＥと略称する）のパラメータ
である結合重みだけでなく、モデルの適切な構造も学習
する専門家の階層混合モデルの構築的学習方法に関す
る。

【０００２】

【従来の技術】まず、問題の枠組について説明する。
｛（ｘ₁ ，ｙ₁ ），…，（ｘ_m ，ｙ_m ）｝を事例集合と
する。但し、ｘ_t はｎ−１次元入力ベクトル、ｙ_t は目
標出力値である。ＨＭＥは複数の専門化回路（ｅｎ：ex
pert network）と調整回路（ｇｎ：gating network）か
ら構成され、ｅｎを端点とする任意の木として定義され
るが、二分木でも同じ動作をするＨＭＥを構築できるの
で、本発明では、二分木のみを考える。以下では、ｅｎ
_i の結合重みベクトルをｗ_i ＝（ｗ_i1，…，ｗ_in）^T で
表し、その出力値を

【数１】 で定義し、一方、二分木では、ｇｎの出力値はシグモイ
ド関数値となるので、ｇｎ_i の結合重みベクトルをｖ_i
＝（ｖ_i1，…，ｖ_in）^T で表し、その出力値を

【数２】 で定義する。但し、ｗ_in，ｖ_inはバイアス項であり、ｘ
_tn＝１に設定する。また、ｅｎ₁ ，ｅｎ₂ およびｇｎ₁
からなる最も単純なＨＭＥを（ｇｎ₁ ，ｅｎ₁ ，ｅ
ｎ₂ ）で表し、その出力値をｇ₁ ｕ₁ ＋（１−ｇ₁ ）ｕ
₂ とする。任意のＨＭＥについては、（ｇｎ₁ ，ｅ
ｎ₁ ，（ｇｎ₂ ，ｅｎ₂ ，ｅｎ₃ ））のようなリスト構
造で表現し、全体の出力値を再帰的に定義する。なお、
この例では、ｇ₁ ｕ₁ ＋（１−ｇ₁ ）（ｇ₂ ｕ₂ ＋（１
−ｇ₂ ）ｕ₃ ）となる。与えられた構造に対するＨＭＥ
の学習法には［M.I.Jordan,R.A.Jacobs:"Hierachical m
ixtures of experts and EM algorithm",Neural Comput
ation,Vol.6,No.2 (1994) pp.181-214］が提案されてい
る。

【０００３】

【発明が解決しようとする課題】従来の方法では、学習
に先立ち、予め適切な構造を定義しなければならないと
ともに、また必要最小限度の複雑さの構造では、望まし
くない局所最適解に陥ることが多くなるという問題があ
る。

【０００４】本発明は、上記に鑑みてなされたもので、
その目的とするところは、モデルのパラメータである結
合重みだけでなく、専門家の階層混合モデルの適切な構
造も学習することができる専門家の階層混合モデルの構
築的学習方法を提供することにある。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、請求項１記載の本発明は、入力属性値ベクトルとそ
の目標出力値で記述される事例の集合から、各事例の入
出力写像を区分線形関数として実現する専門家の階層混
合モデルの学習において、最も単純な構造から開始し、
次第にその構造を拡張することにより、モデルのパラメ
ータである結合重みだけでなく、モデルの適切な構造も
学習する構築的学習方法であって、関係行列を用いて問
題を定式化し、結合重みを初期化し、準ニュートン法に
基づき結合重みを学習し、統計尺度に基づき構築的学習
の終了を判定し、終了でないと判定した場合には、重み
付き誤差に基づき拡張箇所を選択し、関係行列を更新す
ることを要旨とする。

【０００６】請求項１記載の本発明にあっては、関係行
列を用いて問題を定式化し、結合重みを初期化し、準ニ
ュートン法に基づき結合重みを学習し、統計尺度に基づ
き構築的学習の終了を判定し、終了でない場合には、重
み付き誤差に基づき拡張箇所を選択し、関係行列を更新
して、専門家の階層混合モデルＨＭＥを繰り返し作成す
る。

【０００７】また、請求項２記載の本発明は、入力属性
値ベクトルとその目標出力値で記述される事例の集合か
ら、各事例の入出力写像を区分線形関数として実現する
専門化回路ｅｎと調整回路ｇｎからなる専門家の階層混
合モデルの学習において、ベクトルΦ⁽²⁾ を初期化し、
関係行列Ｒ⁽²⁾ ＝（１，−１）^T とし、専門化回路ｅｎ
の個数ｃ＝２とする工程と、専門化回路ｅｎの個数がｃ
である専門家の階層混合モデルＨＭＥ^(c) の学習を実行
する工程と、終了条件（Ｃｒ^(c) ≧Ｃｒ^(c-1)）を判定
し、該条件を満たす場合には処理を終了し、そうでない
場合には継続する工程と、拡張箇所となる専門化回路ｅ
ｎ_s を選択する工程と、専門化回路ｅｎの結合重みベク
トルｗ_c+1 、調整回路ｇｎの結合重みベクトルｖ_c を初
期化し、関係行列Ｒ^(c+1) を計算する工程と、専門化回
路ｅｎの個数ｃ＝ｃ＋１として、専門家の階層混合モデ
ルＨＭＥの学習を実行する工程に戻る工程とを有するこ
とを要旨とする。

【０００８】請求項２記載の本発明にあっては、Φ⁽²⁾
を初期化し、Ｒ⁽²⁾ ＝（１，−１）^T ，ｃ＝２とし、Ｈ
ＭＥ^(c) の学習を実行し、終了条件を判定し、該条件を
満たさない場合には、拡張箇所となるｅｎ_s を選択し、
ｗ_c+1 ，ｖ_c を初期化し、Ｒ^(c+1) を計算し、ｃ＝ｃ＋
１として、ＨＭＥの学習を実行する工程に戻る。

【０００９】

【発明の実施の形態】まず、図面を用いて説明する前
に、ｅｎ_i とｇｎ_j の関係を表す関係行列Ｒを用いて問
題を定式化する。関係行列Ｒの要素ｒ_ijは｛１，−１，
０｝の３値をとり、ｒ_ij＝１ならばｇ_j ｕ_i の関係であ
り、ｒ_ij＝−１ならば（１−ｇ_j ）ｕ_iという積の関係
にあり、ｒ_ij＝０ならばｅｎ_i とｇｎ_j は互いに関係の
ないことを表す。例えば、（ｇｎ₁ ，ｅｎ₁ ，ｅ
ｎ₂ ），（ｇｎ₁ ，ｅｎ₁ ，（ｇｎ₂ ，ｅｎ₂ ，ｅ
ｎ₃ ））のそれぞれの関係行列は

【数３】 となる。以下では、ＨＭＥ^(c) において、すべての結合
重みからなる１つのベクトルをΦ^(c) ＝（ｗ₁ ^T ，…，
ｗ_c ^T ，ｖ₁ ^T ，…，ｖ_c-1 ^T ）^T で表し、Φ^{(c )} の総
パラメータ数をＮ^(c) ＝（２ｃ−１）ｎで表す。従っ
て、関係行列Ｒ^(c)より、ｅｎ_i に対する積項は

【数４】 となるので、ＨＭＥ^(c) の目的関数は以下のゆう度関数
として定義できる。

【００１０】

【数５】 図１は、本発明の一実施形態に係る専門家の階層混合モ
デルの構築的学習方法の処理を示すフローチャートであ
る。本処理においては、ｅｎの個数がｃであるＨＭＥ
^(c) の学習を行い、それから学習後のｅｎ_i を比較し
て、重み付き誤差が最も大きいｅｎ_s を（ｇｎ_c ，ｅｎ
_s ，ｅｎ_c+1 ）に置き換えて、ＨＭＥ^(c+1)を作ること
を繰り返している。

【００１１】すなわち、図１の処理においては、まずΦ
⁽²⁾ を初期化し、Ｒ⁽²⁾ ＝（１，−１）^T ，ｃ＝２とし
（ステップＳ１）、ＨＭＥ^(c) の学習を実行し（ステッ
プＳ２）、終了条件を判定し、該条件を満たす場合には
反復を停止して処理を終了し（ステップＳ３）、そうで
ない場合には、継続して、拡張箇所となるｅｎ_s を選択
し（ステップＳ４）、ｗ_c+1 ，ｖ_c を初期化し、Ｒ
^(c+1) を計算し、ｃ＝ｃ＋１として、ＨＭＥの学習を実
行する工程に戻る（ステップＳ５）。

【００１２】上記処理において、ステップＳ１では、全
事例に対する線形近似の最小自乗解ｗを求め、ｗ₁ ＝ｗ
₂ ＝ｗとし、ｖ₁ は事例の重心を通るランダムな超平面
となるように設定する。つまり、［−１，１］の範囲で
ｖ₁₁，…，ｖ_1n-1をランダムに設定し、

【数６】 は事例の重心を表す。ここで、全結合重みの初期値を０
近くのランダムな値とすれば、多くの試行でｗ₁ ＝ｗ₂
＝ｗ，ｖ₁ ＝０の鞍点に収束するので、ステップＳ１で
は、この鞍点の近くの適当な点を初期値として設定す
る。

【００１３】ステップＳ２のＨＭＥ^(c) の学習には、Ｅ
Ｍアルゴリズムを採用できるが、数値的に不安定な場合
があり、それが問題点の１つとして指摘されている。提
案法では、準ニュートン法に基づき、最適探索幅を２次
近似の最大点として求めるアルゴリズムを採用する。こ
の方法では、勾配ベクトルと探索方向における探索幅の
２次微分を求める必要がある。まず、勾配ベクトルは

【数７】 で計算できる。一方、最適探索幅については、λが唯一
つの変数となるので、Ｌ（Φ^k ＋λΔΦ^k ）をＬ
_λ（λ）で表せば、Ｌ_λ″（０）＜０のとき、最適探索
幅はλ＝−Ｌ_λ′（０）／Ｌ_λ″（０）で与えられる。
ここで、上述したように定義した目的関数に対しては、
Ｌ_λ′（０）だけでなく、Ｌ_λ″（０）も効率よく計算
できる。但し、Ｌ_λ″（０）≧０の場合は最大値を持た
ないので、目的関数の近似法を変えて最適探索幅を計算
する。また、求めた探索幅では目的関数値が増加しない
ときには、値が増加するまで２次補間で探索幅を縮める
ので、極値への収束が保証される。

【００１４】ステップＳ３の終了条件には、ＡＩＣ（Ak
aike's Information Criterion）やＭＤＬ（Minimum De
scription Length）を採用できる。すなわち、評価尺度
はＣｒ^(c) ＝−Ｌ（Φ^(c) ）＋０．５Ｎ^(c) Ｋであり、
Ｃｒ^(c) ≧Ｃｒ^(c-1) で反復を終了させる。但し、ＡＩ
ＣではＫ＝２，ＭＤＬではＫ＝log(ｍ) である。

【００１５】ステップＳ４では、最も効果的な箇所にｅ
ｎを付け加えるため、重み付き誤差

【数８】 が最大となるｅｎを選択する。すなわち、比較的多くの
事例に対して高い確率が付与されるが、まだ誤差の大き
いｅｎが選択される。

【００１６】ステップＳ４でｅｎ_s が選択されたとす
る。ステップＳ５の初期化法では、ｗ_c+1 ＝ｗ_s とし、
ｖは事例の重み付き重心を通るランダムな超平面となる
ように設定する。つまり、ステップＳ１と同様にｖ_s1，
…，ｖ_sn-1をランダムに設定し、

【数９】 はｅｎ_s における事例の重み付き重心である。一方、Ｒ
^(c+1) の計算法については、まず、ｅｎ_c+1 はｅｎ_s の
下に置かれるので、１≦ｊ≦ｃ−１ではｒ_c+1,j＝ｒ_sj
とする。また、ｇｎ_c はｅｎ_c+1 とｅｎ_s にだけ関係す
るので、ｉ≠ｓではｒ_ic＝０とする。最後に、ｒ_sc＝
１，ｒ_c+1,C ＝−１とすれば、Ｒ^(c+1) の全要素が確定
する。

【００１７】次に、２から８ビットのパリティ問題を用
いて、本発明を評価した。実験では、目標出力値を０と
１に設定し、すべての入出力パターンを事例として学習
させた。構築的学習法のｅｎ数の上限は８に設定し、各
段階では、１００反復以上して ‖∇Ｌ（Φ^(c) ）‖／Ｎ^(c) ＜ １０^-8 ならば収束したとみなした。また、各事例の重み付き誤
差が

【数１０】 となれば、望ましい解に収束したとして、アルゴリズム
を終了させた。結果を表１に示す。但し、ｎビットパリ
ティ問題に対して、最小ｅｎ数は

【数１１】 で与えられる。表１より、本発明を用いれば、最小に近
いｅｎ数でほぼ確実に学習できたことが判る。

【００１８】

【表１】 次に、ｘを入力値、ｙを目標出力値とし、０≦ｙ≦２の
範囲で、（ｘ，ｙ）＝（０，２）から（ｘ，ｙ）＝
（４，０）まで、傾きが−４と４の直線を交互に繋いだ
区分線形関数の学習（近似）問題での評価を行った。実
験では、ｘの値を［０，４］の範囲でランダムに設定
し、対応するｙの値を求め、各ｙには、平均０、分散
０．１の正規分布に基づく独立なノイズを与え、合計で
１００事例を生成した。構築的学習法での結果は、

【数１２】（ｇｎ₁ ，ｅｎ₁ ，（ｇｎ₂ ，（ｇｎ₃ ，
（ｇｎ₄ ，（ｇｎ₅ ，ｅｎ₂ ，ｅｎ₆ ），ｅｎ₅ ），
（ｇｎ₆ ，ｅｎ₄ ，（ｇｎ₇ ，ｅｎ₇ ，ｅｎ₈ ）），ｅ
ｎ₃ ））） であり、最小のｅｎ数でほぼ正確に学習できた（図２
（ａ））。一方、３階層の均等二分木

【数１３】（ｇｎ₁ ，（ｇｎ₂ ，（ｇｎ₄ ，ｅｎ₁ ，ｅ
ｎ₂ ），（ｇｎ₅ ，ｅｎ₃ ，ｅｎ₄ ）），（ｇｎ₃ ，
（ｇｎ₆ ，ｅｎ₅ ，ｅｎ₆ ），（ｇｎ₇ ，ｅｎ₇ ，ｅｎ
₈ ））） を予め設定した場合には、適切に学習できなかった（図
２（ｂ））。３階層の均等二分木で正確に学習するに
は、まず、ｇｎ₁ はｘ＝２で境界を形成しなければなら
ず、実際に図２（ｂ）では、

【数１４】 でｇｎ₁ の境界が形成されたので、ｘ＜１．５では冗長
なｅｎが存在し、逆に、ｘ＞１．５ではｅｎが不足して
いる。すなわち、予め構造を固定すれば、いくつかのｇ
ｎの学習すべき境界などが予め規定されるので、学習が
困難になった。

【００１９】

【発明の効果】以上説明したように、本発明によれば、
関係行列を用いて問題を定式化し、結合重みを初期化
し、準ニュートン法に基づき結合重みを学習し、統計尺
度に基づき構築的学習の終了を判定し、終了でない場合
には、重み付き誤差に基づき拡張箇所を選択し、関係行
列を更新して、専門家の階層混合モデルＨＭＥ^(c+1) を
繰り返し作成するので、モデルのパラメータである結合
重みだけでなく、専門家の階層混合モデルの適切な構造
も学習することができる。

【図面の簡単な説明】

【図１】本発明の一実施形態に係る専門家の階層混合モ
デルの構築的学習方法の処理を示すフローチャートであ
る。

【図２】区分線形関数の学習を示す説明図である。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 入力属性値ベクトルとその目標出力値で
   記述される事例の集合から、各事例の入出力写像を区分
   線形関数として実現する専門家の階層混合モデルの学習
   において、最も単純な構造から開始し、次第にその構造
   を拡張することにより、モデルのパラメータである結合
   重みだけでなく、モデルの適切な構造も学習する構築的
   学習方法であって、関係行列を用いて問題を定式化し、
   結合重みを初期化し、準ニュートン法に基づき結合重み
   を学習し、統計尺度に基づき構築的学習の終了を判定
   し、終了でないと判定した場合には、重み付き誤差に基
   づき拡張箇所を選択し、関係行列を更新することを特徴
   とする専門家の階層混合モデルの構築的学習方法。
2. 【請求項２】 入力属性値ベクトルとその目標出力値で
   記述される事例の集合から、各事例の入出力写像を区分
   線形関数として実現する専門化回路ｅｎと調整回路ｇｎ
   からなる専門家の階層混合モデルの学習において、ベク
   トルΦ⁽²⁾ を初期化し、関係行列Ｒ⁽²⁾ ＝（１，−１）
   ^T とし、専門化回路ｅｎの個数ｃ＝２とする工程と、専
   門化回路ｅｎの個数がｃである専門家の階層混合モデル
   ＨＭＥ^(c) の学習を実行する工程と、終了条件（Ｃｒ
   ^(c) ≧Ｃｒ^(c-1) ）を判定し、該条件を満たす場合には
   処理を終了し、そうでない場合には継続する工程と、拡
   張箇所となる専門化回路ｅｎ_s を選択する工程と、専門
   化回路ｅｎの結合重みベクトルｗ_c+1 、調整回路ｇｎの
   結合重みベクトルｖ_c を初期化し、関係行列Ｒ^{(c+1 )} を
   計算する工程と、専門化回路ｅｎの個数ｃ＝ｃ＋１とし
   て、専門家の階層混合モデルＨＭＥの学習を実行する工
   程に戻る工程とを有することを特徴とする専門家の階層
   混合モデルの構築的学習方法。