JP6172316B2

JP6172316B2 - 混合モデリングのための初期化方法及び初期化システム

Info

Publication number: JP6172316B2
Application number: JP2016040847A
Authority: JP
Inventors: ホゥワン; チュンチェンリウ; ルウフオン; 遼平藤巻
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2015-03-31
Filing date: 2016-03-03
Publication date: 2017-08-02
Anticipated expiration: 2036-03-03
Also published as: JP2016194911A; CN106156855A

Description

本開示の様々な実施形態は、機械学習の分野に関し、より具体的には混合モデリングのための初期化方法及び初期化システムに関する。

混合モデルは、大きなグループ内でのサブグループの存在を表す確率モデルである。通常、大きなグループの観察結果の確率分布の混合分布に、混合モデルは一致する。混合モデルの例として、エキスパートの階層的混合（ＨｉｅｒａｒｃｈｉｃａｌＭｉｘｔｕｒｅｏｆＥｘｐｅｒｔｓ（ＨＭＥ））モデルが、例えば、電力需要や販売レベルの予測等の多くの事業レベル機械学習アプリケーションに広く適用されてきた。ＨＭＥは、一般的な線形モデルより柔軟で、また、ＨＭＥは、確率的な規則に基づいて特徴空間を分割することと、区分的ローカル線形エキスパートを採用することの重要な利点は残している。

ＨＭＥモデリングの課題は、ＨＭＥモデリングでは大量のパラメータと階層構造を学習する必要があるという点である。従来技術では、周辺対数尤度の解析近似を示す変分推理（ｖａｒｉａｔｉｏｎａｌｉｎｆｅｒｅｎｃｅ（ＶＩ））が、ＨＭＥモデリングに効果的に適用されうる。しかし、「初期化に敏感ということ」が、ＨＭＥモデリングのＶＩの効果に影響を及ぼす障害になる。

従来技術の混合モデリングは、常に、ランダムな初期化手順、すなわち、ランダムにモデル構造とモデルパラメータを生成するということを採用する。その後、混合モデルを生成するために、トレーニング・データセットを使って、モデル構造とモデルパラメータとが学習される。初期化手順がランダムなので、望ましい結果は、長期の多くの試みを通じてのみ、導出されうる。

本開示の目的は、従来技術の上記課題の少なくとも一部を解決するために、混合モデリングのための初期化方法及び初期化システムを提供することを含む。

本開示の１つの観点によれば、混合モデリングのための複数の初期ポイントを生成することと、混合モデリングの繰り返し回数として、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もることと、対応する混合モデルを生成するために、トレーニング・データセットに対して、前記初期ポイントの各々から、それぞれ前記混合モデリングを実行することと、最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択することと、を含む混合モデリングのための初期化方法が提供される。

本開示の代表的な実施形態によれば、前記混合モデリングは、エキスパートの階層的混合モデリングを含む。

本開示の代表的な実施形態によれば、前記初期ポイントの各々は、エキスパートの階層的混合モデルのモデルパラメータと変分分布確率とを含む。

本開示の代表的な実施形態によれば、前記モデルの複雑性は、エキスパートの数の対数形式で表される。

本開示の代表的な実施形態によれば、最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択することは、尤度に基づいて、前記混合モデルの各々の精度を見積もることと、最良の尤度を有する前記混合モデルに対応する前記初期ポイントを、前記最適な初期化ポイントとみなすことと、を更に含む。

本開示の代表的な実施形態によれば、前記方法は、前記混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もることと、前記混合モデリングの前記繰り返し回数として、前記第１の有効な繰り返し回数と前記第２の有効な繰り返し回数の和を計算することと、を更に含む。

本開示の代表的な実施形態によれば、前記第２の有効な繰り返し回数を見積もることは、前記最適化目的関数の目的値と、前記最適化目的関数の最大値と最小値の差との関係に基づいて、前記第２の有効な繰り返し回数を見積もることを更に含む。

本開示の代表的な実施形態によれば、前記第２の有効な繰り返し回数を見積もることは、前記最適化目的関数の前記目的値と前記最小値の差が前記最適化目的関数の前記最大値と前記最小値の前記差の半分に達した際の前記繰り返し回数を、前記第２の有効な繰り返し回数とみなすことを更に含む。

本開示の他の観点によれば、混合モデリングのための複数の初期ポイントを生成するように構成された初期ポイント生成モジュールと、混合モデリングの繰り返し回数として、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もるように構成された第１の見積りモジュールと、対応する混合モデルを生成するために、トレーニング・データセットに対して、前記初期ポイントの各々から、それぞれ前記混合モデリングを実行するように構成されたモデリング・モジュールと、最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択するように構成された選択モジュールと、を含む混合モデリングのための初期化システムが提供される。

本開示の代表的な実施形態によれば、前記選択モジュールは、更に、尤度に基づいて、前記混合モデルの各々の精度を見積もり、最良の尤度を有する前記混合モデルに対応する前記初期ポイントを、前記最適な初期化ポイントとみなすように構成されている。

本開示の代表的な実施形態によれば、前記システムは、前記混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もるように構成された第２の見積りモジュールと、前記混合モデリングの前記繰り返し回数として、前記第１の有効な繰り返し回数と前記第２の有効な繰り返し回数の和を計算するように構成された計算モジュールと、を更に含む。

本開示の代表的な実施形態によれば、前記第２の見積りモジュールは、更に、前記最適化目的関数の目的値と、前記最適化目的関数の最大値と最小値の差との関係に基づいて、前記第２の有効な繰り返し回数を見積もるように構成されている。

本開示の代表的な実施形態によれば、前記第２の見積りモジュールは、更に、前記最適化目的関数の前記目的値と前記最小値の差が前記最適化目的関数の前記最大値と前記最小値の前記差の半分に達した際の前記繰り返し回数を、前記第２の有効な繰り返し回数とみなすように構成されている。

本開示の様々な実施形態の技術的解決方法では、初期化における混合モデリングの繰り返し回数は、モデルの複雑性に基づいて見積もられ、初期化に対するモデリング手順の感度を軽減できる。したがって、ランダムな初期化ストラテジーに比べ、モデリングの精度を高めることができる。また、モデルの複雑性と混合モデリングの最適化目的関数とを組み合わせた場合、モデリングの精度を更に高めることができる。

代表的な実施形態の以下の詳細な説明を、添付図面と合わせて読めば、上記及び他の目的と、特徴と、利点とが明らかになるだろう。

本開示の１つの実施形態による初期化方法を模式的に示すフロー図である。繰り返し回数を見積もるステップを模式的に示すフロー図である。本開示の１つの実施形態による初期化システムを模式的に示すブロック図である。繰り返し回数見積りモジュールを模式的に示すブロック図である。

以下で、添付図面のいくつかの代表的な実施形態に関して、本開示の原理と方法とが述べられる。これらの実施形態は、当業者がより理解し、そして本開示を実施可能なように述べられただけであって、どの手法でも本開示の範囲を限定することを意図してはいないと理解されるべきである。

以下で、本開示による混合モデリングのための初期化方法を、図１と図２と合わせて説明する。

図１は、本開示の１つの実施形態による初期化方法のフロー図を模式的に示す。図１に見られるように、混合モデリングのための初期化方法は、一般に、ステップ１０２で混合モデリングのための複数の初期ポイントを生成することと、ステップ１０３で混合モデリングの繰り返し回数として、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もることと、ステップ１０４で対応する混合モデルを生成するために、トレーニング・データセットに対して、初期ポイントの各々から、それぞれ混合モデリングを実行することと、ステップ１０５で最良の精度を有する混合モデルに対応する初期ポイントを、最適な初期化ポイントとして選択することと、を含んでも良い。

更に、本開示による初期化方法は、トレーニング・データセットを取得するステップ１０１も含んでも良い。ステップ１０１で取得したトレーニング・データセットを、ステップ１０３での混合モデリングの有効な繰り返し回数の見積りと、対応する混合モデルを生成するための、ステップ１０４での混合モデリングの実行に使用しても良い。本開示による初期化方法は、次のステップも含んでも良い。ステップ１０６では、ステップ１０５で取得した最適な初期化ポイントを使用して、混合モデルを初期化する。

１つの代表的な実施形態によれば、混合モデリングは、エキスパートの階層的混合（ＨｉｅｒａｒｃｈｉｃａｌＭｉｘｔｕｒｅｏｆＥｘｐｅｒｔｓ（ＨＭＥ））モデリング及びガウス混合モデリング等を含んでも良い。ＨＭＥモデリングとガウス混合モデリングとは、その道で知られた混合モデリング技術である。本開示は、それらの初期化手順を改善することを目的としている。初期化手順以外の他のステップは、ここでは詳述しない。

ステップ１０１では、初期ポイントの各々は、ＨＭＥモデルのモデルパラメータと変分分布確率とを含んでも良い。例えば、ＨＭＥモデリングのＮ１個の初期ポイントは、ランダムに生成されても良く、初期ポイントの各々は、ＨＭＥモデルのモデルパラメータθ_ｍと変分分布確率ｑ_ｍとを含む。ここで、ｍ＝１，・・・，Ｎ１である。

図２は、有効な繰り返し回数を見積もるステップ１０３のフロー図を模式的に示す。図２に見られるように、有効な繰り返し回数を見積もるステップ１０３は、モデルの複雑性に基づいて、ステップ２０１で第１の有効な繰り返し回数を見積もることと、ステップ２０２で混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もることと、ステップ２０３で混合モデリングの繰り返し回数として、第１の有効な繰り返し回数と第２の有効な繰り返し回数の和を計算することと、を含んでも良い。

図２は、有効な繰り返し回数を見積もるステップ１０３の例を示すのみである。他の実施形態では、有効な繰り返し回数を、他の手法で見積もっても良い。例えば、ある実施形態では、ステップ２０１で、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もることのみが許可され、第１の有効な繰り返し回数が混合モデリングの有効な繰り返し回数として使用される。他の実施形態でも、ステップ２０２で、混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もることのみが許可され、第２の有効な繰り返し回数が混合モデリングの有効な繰り返し回数として使用される。

代表的な実施形態によれば、ＨＭＥモデリングを初期化する場合、ステップ２０１のモデルの複雑性は、エキスパートの数の対数形式で表されても良い。例えば、完全学習手順における繰り返し回数の最大値は、Ｎ２に設定されても良い。期待値最大化（ｅｘｐｅｃｔａｔｉｏｎｍａｘｉｍｉｚａｔｉｏｎ（ＥＭ））アルゴリズムでは、ｉ回目のＥＭ繰り返し後のモデルの複雑性Ｃ_ｉ ^Mは、式（１）で表されても良い。

ここで、ｉ＝１，２，・・・，Ｎ２であり、Ｅはエキスパートの数を示す。

代表的な実施形態によれば、２０１でのモデルの複雑性に基づいて第１の有効な繰り返し回数を見積もる方法は、式（２）で表されても良い。

式（２）では、各モデルの複雑性Ｃ_ｉ ^Mが平均され、次に、丸め演算

で、平均値が処理されて、第１の有効な繰り返し回数ｇを取得する。

本開示の代表的な実施形態によれば、ステップ２０２で、混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もることは、最適化目的関数の目的値と、最適化目的関数の最大値と最小値の差との関係に基づいて、第２の有効な繰り返し回数を見積もることを更に含む。例えば、最適化目的関数の目的値と最小値の差が最適化目的関数の最大値と最小値の差の半分に達した際の繰り返し回数を、第２の有効な繰り返し回数とみなしても良い。

例えば、最適化目的関数を、式（３）で定義しても良い。式（３）は従来技術で開示されている。その具体的な定義は、次の参考文献で述べられているであろう。２０１４年、人工知能と統計（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅａｎｄＳｔａｔｉｓｔｉｃｓ（ＡＩＳＴＡＴＳ））の第１７回国際学会の会報「完全自動ベイズ的区分的まばら線形モデル」エトウ・Ｒ、フジマキ・Ｒ、サトシ・モリナガ、ヒロシ・タマノ

ここで、

である。

本開示の様々な実施形態では、様々な種類の混合モデリングのための最適化目的関数が採用されても良く、式（３）は本開示の原理の記述を容易にするための、ここでの単なる例である。

ステップ２０２では、最適化目的関数の目的値と最小値の差が最適化目的関数の最大値と最小値の差の半分に達した際の繰り返し回数を、第２の有効な繰り返し回数とみなしても良い。例えば、式（４）に見られるアルゴリズムを、第２の有効な繰り返し回数を見積もるのに使用しても良い。

式（４）の具体的なアルゴリズムは、ｉの値を最小にすることである。この手順においては、イテレーションが繰り返し実行される。ｉはイテレーションのステップ数を示し、最小のｉ値を取り、最小のｉ値が以下の要件：最適化目的関数ＦＩＣの値と最小値の差が最適化目的関数の最大値と最小値の差の半分に達する時、を満たす所で、ＦＩＣの値は要件を満たしたと信じられている。したがって、式（４）から導き出された最小のｉ値は、第２の有効な繰り返し回数とみなされる。もちろん、第２の有効な繰り返し回数を見積もるのに、他の方法を採用しても良い。

式（２）と式（４）から第１の有効な繰り返し回数と第２の有効な繰り返し回数を取得した後、第１の有効な繰り返し回数と第２の有効な繰り返し回数のどちらか１つのみを、ステップ１０４で実行される混合モデリングの繰り返し回数として採用することが許可される。もちろん、例えば式（５）に見られる、第１の有効な繰り返し回数と第２の有効な繰り返し回数の和を、ステップ１０４で実行される混合モデリングの有効な繰り返し回数として採用しても良い。

ここで、Ｎ３は混合モデリングの有効な繰り返し回数を示す。

ステップ１０４では、対応する混合モデルを生成するために、ステップ１０３で取得された有効な繰り返し回数に基づいて、トレーニング・データセットに対して、初期ポイントの各々から、それぞれ混合モデリングを実行する。

ステップ１０５では、尤度に基づいて、混合モデルの各々の精度を見積もり、最良の尤度を有する混合モデルに対応する初期ポイントを、最適な初期化ポイントとみなす。

本開示による初期化方法の原理を、図１と図２で示された望ましい実施形態に関して上述した。しかし、本開示による初期化方法は、上記特定のステップに限定されず、請求項で限定された範囲まで適用されるということを当業者は理解しうる。様々な要求に応じて、１以上のステップを省略するか追加することを当業者は容易に想定する。

次に、本開示による混合モデリングのための初期化システムを、図３と図４を参照して説明する。

図３は、本開示の１つの実施形態による初期化システムのブロック図を模式的に示す。図３に見られるように、混合モデリングのための初期化システムは、混合モデリングのための複数の初期ポイントを生成するように構成された初期ポイント生成モジュール３０２と、混合モデリングの有効な繰り返し回数を見積もるように構成された繰り返し回数見積りモジュール３０３と、対応する混合モデルを生成するために、トレーニング・データセットに対して、初期ポイントの各々から、それぞれ混合モデリングを実行するように構成されたモデリング・モジュール３０４と、最良の精度を有する混合モデルに対応する初期ポイントを、最適な初期化ポイントとして選択するように構成された選択モジュール３０５と、を通常含んでも良い。

更に、本開示による初期化システムは、トレーニング・データセットを取得するように構成された取得モジュール３０１も含んでも良い。取得モジュール３０１により取得されたトレーニング・データセットを、繰り返し回数見積りモジュール３０３で混合モデリングの有効な繰り返し回数を見積もることと、モデリング・モジュール１０４で対応する混合モデルを生成するために混合モデリングを実行することとに使用しても良い。本開示による初期化システムは、選択モジュール３０５で取得された最適な初期化ポイントを使用して混合モデルを初期化する初期化モジュール３０６も含んでも良い。

取得モジュール３０１では、初期ポイントの各々は、ＨＭＥモデルのモデルパラメータと変分分布確率とを含んでも良い。例えば、ＨＭＥモデリングのＮ１個の初期ポイントは、ランダムに生成されても良く、初期ポイントの各々は、ＨＭＥモデルのモデルパラメータθ_ｍと変分分布確率ｑ_ｍとを含む。ここで、ｍ＝１，・・・，Ｎ１である。

図４は、繰り返し回数見積りモジュール３０３のブロック図を模式的に示す。図４で示されるように、繰り返し回数見積りモジュール３０３は、モデルの複雑性に基づいて、第１の有効な繰り返し回数を見積もるように構成された第１の見積りモジュール４０１と、混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もるように構成された第２の見積りモジュール４０２と、混合モデリングの繰り返し回数として、第１の有効な繰り返し回数と第２の有効な繰り返し回数の和を計算するように構成された計算モジュールと、を含んでも良い。

図４は、繰り返し回数見積りモジュール３０３の例を示すのみである。他の実施形態では、有効な繰り返し回数を、他の手法で見積もっても良い。例えば、ある実施形態では、第１の見積りモジュール４０１により、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もることのみが許可され、第１の有効な繰り返し回数が混合モデリングの有効な繰り返し回数として使用される。他の実施形態でも、第２の見積りモジュール４０２により、混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もることのみが許可され、第２の有効な繰り返し回数が混合モデリングの有効な繰り返し回数として使用される。

代表的な実施形態によれば、第１の見積りモジュール４０１で、ＨＭＥモデリングを初期化する場合、モデルの複雑性は、エキスパートの数の対数形式で示されても良い。例えば、完全学習手順における繰り返し回数の最大値は、Ｎ２に設定されても良い。期待値最大化（ｅｘｐｅｃｔａｔｉｏｎｍａｘｉｍｉｚａｔｉｏｎ（ＥＭ））アルゴリズムでは、ｉ回目のＥＭ繰り返し後のモデルの複雑性Ｃ_ｉ ^Mは、式（１）で表されても良い。

代表的な実施形態によれば、第１の見積りモジュール４０１により、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もる方法は、式（２）で表されても良い。

本開示の代表的な実施形態によれば、第２の見積りモジュール４０２は、最適化目的関数の目的値と、最適化目的関数の最大値と最小値の差との関係に基づいて、第２の有効な繰り返し回数を見積もっても良い。例えば、第２の見積りモジュール４０２は、最適化目的関数の目的値と最小値の差が最適化目的関数の最大値と最小値の差の半分に達した際の繰り返し回数を、第２の有効な繰り返し回数とみなしても良い。

例えば、最適化目的関数を式（３）で定義しても良い。本開示の様々な実施形態では、混合モデリングのための様々な種類の最適化目的関数を採用しても良く、式（３）は本開示の原理の記述を容易にするための、ここでの単なる例である。

第２の見積りモジュール４０２は、最適化目的関数の目的値と最小値の差が最適化目的関数の最大値と最小値の差の半分に達した際の繰り返し回数を、第２の有効な繰り返し回数とみなしても良い。例えば、式（４）に見られるアルゴリズムを、第２の有効な繰り返し回数を見積もるのに使用しても良い。

式（２）と式（４）から第１の有効な繰り返し回数と第２の有効な繰り返し回数を取得した後、第１の有効な繰り返し回数と第２の有効な繰り返し回数のどちらか１つのみを、モデリング・モジュール３０４で実行される混合モデリングの繰り返し回数として採用することが許可される。もちろん、例えば式（５）に見られる、第１の有効な繰り返し回数と第２の有効な繰り返し回数の和を、モデリング・モジュール３０４で実行される混合モデリングの有効な繰り返し回数として採用しても良い。

モデリング・モジュール３０４は、対応する混合モデルを生成するために、トレーニング・データセットに対して、初期ポイントの各々から、それぞれ混合モデリングを実行するのに、繰り返し回数見積りモジュール３０３で取得された有効な繰り返し回数を採用しても良い。

選択モジュール３０５は、尤度に基づいて、混合モデルの各々の精度を見積もり、最良の尤度を有する混合モデルに対応する初期ポイントを、最適な初期化ポイントとみなしても良い。

図３と図４に見られるシステムは、各々図１と図２に見られる方法に相当する。したがって、図１と図２に関する初期化方法の上記記載は、図３と図４で示された初期化システムに同様に当てはまるので、ここでは詳述しない。

本開示の様々な実施形態の技術的解決方法では、初期化における混合モデリングの繰り返し回数が、モデルの複雑性に基づいて見積もられ、それにより、初期化に対するモデリング手順の感度を軽減できる。したがって、ランダムな初期化戦略に比べ、モデリングの精度を高めることができる。また、モデルの複雑性と混合モデリングの最適化目的関数とを組み合わせた場合、モデリングの精度を更に高めることができる。

本発明の実施形態は、ソフトウェア、又はハードウェア、又はそれらの組み合わせで実現されうるという点に更に留意すべきである。ハードウェア部分は、特別なロジックにより実現可能であり、ソフトウェア部分は、メモリに格納され、マイクロプロセッサ又は専用に設計されたハードウェアなどの適切な指示実行システムにより実行されうる。上記方法及びシステムは、コンピュータ実行可能な指示、及び／又は、例えば、磁気ディスク又はＣＤ又はＤＶＤ−ＲＯＭのようなベアラ媒体、又は読出し専用メモリ（ファームウェア）又は光学又は電子信号ベアラ等のデータ・ベアラのようなプログラム可能メモリで供給されるコードといった、プロセッサに含まれた制御コードで実現されうる、と、通常の当業者は理解しうる。本実施形態における装置及びその構成要素は、例えば、非常に大規模な集積回路又はゲートアレイ、又は論理チップ又はトランジスタのような半導体、又はフィールド・プログラマブル・ゲートアレイのようなプログラム可能なハードウェア・デバイス、又はプログラム可能な論理デバイスといったハードウェア電気回路構成により実現されても良く、又は様々な種類のプロセッサにより実行されるソフトウェアにより実現されても良く、又は例えばファームウェアといった上記ハードウェア電気回路構成とソフトウェアとの組み合わせ、により実現されても良い。

本発明による方法の動作は、図面中に特定の順序で表されているが、これは、それらの動作が当該特定の順序で実行されなければならないということを、又は望ましい結果は示された全ての動作が実行されてのみ成し遂げられうるということを、要求するものでも又は含むものでもない。寧ろ、フロー図で示されるステップは、異なる順序で実行されても良い。その上に、又は、代わりに、いくつかのステップを省略しても良く、及び/又は実行のために複数のステップを１つのステップに統合しても良く、及び/又は実行のために１つのステップを複数のステップに分解しても良い。

本発明を、目下考慮に入れた実施形態に関して記述したが、本発明は、開示された実施形態に限定されないと理解するべきである。それどころか、添付の請求項の趣旨及び範囲内に入る様々な修正及び等価な並べ替えに及ぶことを、本発明は意図する。添付の請求の範囲は、最も広い解釈に一致し、そのような修正と、等価な構造及び機能との全てに及ぶ。

（付記１）
混合モデリングのための複数の初期ポイントを生成することと、
混合モデリングの繰り返し回数として、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もることと、
対応する混合モデルを生成するために、トレーニング・データセットに対して、前記初期ポイントの各々から、それぞれ前記混合モデリングを実行することと、
最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択することと、
を含む混合モデリングのための初期化方法。

（付記２）
前記混合モデリングは、エキスパートの階層的混合モデリングを含む付記１に記載の初期化方法。

（付記３）
前記初期ポイントの各々は、エキスパートの階層的混合モデルのモデルパラメータと変分分布確率とを含む付記２に記載の初期化方法。

（付記４）
前記モデルの複雑性は、エキスパートの数の対数形式で表される付記２または３に記載の初期化方法。

（付記５）
最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択することは、
尤度に基づいて、前記混合モデルの各々の精度を見積もることと、
最良の尤度を有する前記混合モデルに対応する前記初期ポイントを、前記最適な初期化ポイントとみなすことと、
を更に含む付記１に記載の初期化方法。

（付記６）
前記混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もることと、
前記混合モデリングの前記繰り返し回数として、前記第１の有効な繰り返し回数と前記第２の有効な繰り返し回数の和を計算することと、
を更に含む付記１に記載の初期化方法。

（付記７）
前記第２の有効な繰り返し回数を見積もることは、前記最適化目的関数の目的値と、前記最適化目的関数の最大値と最小値の差との関係に基づいて、前記第２の有効な繰り返し回数を見積もることを更に含む付記６に記載の初期化方法。

（付記８）
前記第２の有効な繰り返し回数を見積もることは、前記最適化目的関数の前記目的値と前記最小値の差が前記最適化目的関数の前記最大値と前記最小値の前記差の半分に達した際の繰り返し回数を、前記第２の有効な繰り返し回数とみなすことを更に含む付記７に記載の初期化方法。

（付記９）
混合モデリングのための複数の初期ポイントを生成するように構成された初期ポイント生成モジュールと、
混合モデリングの繰り返し回数として、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もるように構成された第１の見積りモジュールと、
対応する混合モデルを生成するために、トレーニング・データセットに対して、前記初期ポイントの各々から、それぞれ前記混合モデリングを実行するように構成されたモデリング・モジュールと、
最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択するように構成された選択モジュールと、
を含む混合モデリングのための初期化システム。

（付記１０）
前記混合モデリングは、エキスパートの階層的混合モデリングを含む付記９に記載の初期化システム。

（付記１１）
前記初期ポイントの各々は、エキスパートの階層的混合モデルのモデルパラメータと変分分布確率とを含む付記１０に記載の初期化システム。

（付記１２）
前記モデルの複雑性は、エキスパートの数の対数形式で表される付記１０または１１に記載の初期化システム。

（付記１３）
前記選択モジュールは、更に、尤度に基づいて、前記混合モデルの各々の精度を見積もり、最良の尤度を有する前記混合モデルに対応する前記初期ポイントを、前記最適な初期化ポイントとみなすように構成されている付記９に記載の初期化システム。

（付記１４）
前記混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もるように構成された第２の見積りモジュールと、
前記混合モデリングの前記繰り返し回数として、前記第１の有効な繰り返し回数と前記第２の有効な繰り返し回数の和を計算するように構成された計算モジュールと、
を更に含む付記９に記載の初期化システム。

（付記１５）
前記第２の見積りモジュールは、更に、前記最適化目的関数の目的値と、前記最適化目的関数の最大値と最小値の差との関係に基づいて、前記第２の有効な繰り返し回数を見積もるように構成されている付記１４に記載の初期化システム。

（付記１６）
前記第２の見積りモジュールは、更に、前記最適化目的関数の前記目的値と前記最小値の差が前記最適化目的関数の前記最大値と前記最小値の前記差の半分に達した際の繰り返し回数を、前記第２の有効な繰り返し回数とみなすように構成されている付記１５に記載の初期化システム。

Claims

混合モデリングのための複数の初期ポイントを生成するように構成された初期ポイント生成モジュールと、
混合モデリングの繰り返し回数として、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もるように構成された第１の見積りモジュールと、
対応する混合モデルを生成するために、トレーニング・データセットに対して、前記初期ポイントの各々から、それぞれ前記混合モデリングを実行するように構成されたモデリング・モジュールと、
最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択するように構成された選択モジュールと、
を含む混合モデリングのための初期化システム。
前記混合モデリングは、エキスパートの階層的混合モデリングを含む請求項１に記載の初期化システム。
前記初期ポイントの各々は、エキスパートの階層的混合モデルのモデルパラメータと変分分布確率とを含む請求項２に記載の初期化システム。
前記モデルの複雑性は、エキスパートの数の対数形式で表される請求項２または３に記載の初期化システム。
前記選択モジュールは、更に、尤度に基づいて、前記混合モデルの各々の精度を見積もり、最良の尤度を有する前記混合モデルに対応する前記初期ポイントを、前記最適な初期化ポイントとみなすように構成されている請求項１に記載の初期化システム。
前記混合モデリングの最適化目的関数の曲線変化に基づいて、第２の有効な繰り返し回数を見積もるように構成された第２の見積りモジュールと、
前記混合モデリングの前記繰り返し回数として、前記第１の有効な繰り返し回数と前記第２の有効な繰り返し回数の和を計算するように構成された計算モジュールと、
を更に含む請求項１に記載の初期化システム。
前記第２の見積りモジュールは、更に、前記最適化目的関数の目的値と、前記最適化目的関数の最大値と最小値の差との関係に基づいて、前記第２の有効な繰り返し回数を見積もるように構成されている請求項６に記載の初期化システム。
前記第２の見積りモジュールは、更に、前記最適化目的関数の前記目的値と前記最小値の差が前記最適化目的関数の前記最大値と前記最小値の前記差の半分に達した際の繰り返し回数を、前記第２の有効な繰り返し回数とみなすように構成されている請求項７に記載の初期化システム。
混合モデリングのための複数の初期ポイントを生成することと、
混合モデリングの繰り返し回数として、モデルの複雑性に基づいて第１の有効な繰り返し回数を見積もることと、
対応する混合モデルを生成するために、トレーニング・データセットに対して、前記初期ポイントの各々から、それぞれ前記混合モデリングを実行することと、
最良の精度を有する前記混合モデルに対応する前記初期ポイントを、最適な初期化ポイントとして選択することと、
を含む混合モデリングのための初期化方法。