JPWO2016067548A1 - 領域線形モデル最適化システム、方法およびプログラム - Google Patents

Abstract

領域線形モデルを最適化する領域線形モデル最適化システムであって、入力空間を２つの部分に分割する指示関数であるパーティションに、そのパーティションによって分割された部分空間を示す領域の一方の領域に対して適用する線形モデルを設定する線形モデル設定部８１と、領域線形モデルにおける各領域のモデルを、その各領域に適用される線形モデルの線形結合で表す領域モデル計算部８２とを備えている。

Description

本発明は、領域線形モデルを最適化する領域線形モデル最適化システム、領域線形モデル最適化方法および領域線形モデル最適化プログラムに関する。

領域線形モデルは、解釈容易性の高いモデル表現として実装置に幅広く利用されている。このようなモデルでは、まず入力空間が幾つかの部分空間（以下、領域と記すこともある。）に分割され、各領域に対して単純なモデルが設定される。このように、領域を用いた構造のモデルは、複数のパーティションによる非線形な性質に対しても優れた予測性能を有し、データの解釈も容易になる。

領域を分割するモデルとして、決定木モデルや、非特許文献１に記載されたモデルが知られている。非特許文献１には、特徴空間を異なる複数の領域に適応的に分割して、各領域の予測モデルを学習する方法が記載されている。いずれのモデルも、領域分割及び分割された各領域における予測モデルについての目的関数を最適化するものである。

Joseph Wang and Venkatesh Saligrama, "Local supervised learning through space partitioning.", In NIPS, pp.91?99, 2012.

領域の分割と分割された個々の領域の予測モデルの最適化とは相互依存するため、決定木モデルや非特許文献１に記載されたモデルのような領域線形モデルを学習する問題は、非凸問題に帰着する。そのため、このような非凸問題を最適化しようとする場合、初期値依存の問題や、汎化誤差の解析を十分に行うことができないという問題が発生する。

そこで、本発明は、非凸問題を回避して、より最適な領域線形モデルを生成できる領域線形モデル最適化システム、領域線形モデル最適化方法および領域線形モデル最適化プログラムを提供することを目的とする。

本発明による領域線形モデル最適化システムは、領域線形モデルを最適化する領域線形モデル最適化システムであって、入力空間を２つの部分に分割する指示関数であるパーティションに、そのパーティションによって分割された部分空間を示す領域の一方の領域に対して適用する線形モデルを設定する線形モデル設定部と、領域線形モデルにおける各領域のモデルを、その各領域に適用される線形モデルの線形結合で表す領域モデル計算部とを備えたことを特徴とする。

本発明による領域線形モデル最適化方法は、領域線形モデルを最適化する領域線形モデル最適化方法であって、入力空間を２つの部分に分割する指示関数であるパーティションに、そのパーティションによって分割された部分空間を示す領域の一方の領域に対して適用する線形モデルを設定し、領域線形モデルにおける各領域のモデルを、その各領域に適用される線形モデルの線形結合で表すことを特徴とする。

本発明による領域線形モデル最適化プログラムは、領域線形モデルを最適化するコンピュータに適用される領域線形モデル最適化プログラムであって、コンピュータに、入力空間を２つの部分に分割する指示関数であるパーティションに、そのパーティションによって分割された部分空間を示す領域の一方の領域に対して適用する線形モデルを設定する線形モデル設定処理、および、領域線形モデルにおける各領域のモデルを、その各領域に適用される線形モデルの線形結合で表す領域モデル計算処理を実行させるを備えたことを特徴とする。

本発明によれば、非凸問題を回避して、より最適な領域線形モデルを生成できる。

本発明による領域線形モデル最適化システムの第１の実施形態の構成例を示すブロック図である。 各領域の予測変数の例を示す説明図である。 第１の実施形態の領域線形モデル最適化システムの動作例を示すフローチャートである。 パーティションと線形モデルの関係を示す説明図である。 パーティションと線形モデルの関係を示す説明図である。 パーティションと線形モデルの関係を示す説明図である。 パーティションと線形モデルの関係を示す説明図である。 本発明による領域線形モデル最適化システムの第２の実施形態の構成例を示すブロック図である。 パーティションを選択した結果の例を示す説明図である。 入力領域を分割した例を示す説明図である。 全データに適用される線形モデルが設定されていることを示す説明図である。 本発明による領域線形モデル最適化システムの概要を示すブロック図である。 コンピュータの構成を示す概略ブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明による領域線形モデル最適化システムの第１の実施形態の構成例を示すブロック図である。本実施形態の領域線形モデル最適化システム１０は、入力データ１１１が入力されると、その入力データ１１１に対して領域線形モデルを最適化し、最適化したモデル１１２を出力する。

まず、本発明で用いられるモデルの概要を説明する。本発明では、領域線形モデルの新しい種類として、パーティション方式による線形モデル（partition-wise linear models。以下、本願線形モデルと記す。）が用いられる。

本願線形モデルは、パーティションの集合を用いて、データの存在する空間（以下、入力空間と記す。）を分割する。パーティションは、入力空間を２つの部分に分割する指示関数に対応する。また、以下の説明では、入力空間を分割した部分空間のことを領域と記す。本発明では、各領域はお互い交わらず、全ての領域によって入力空間を網羅するものとする。

各パーティションは、２つに分割された領域のいずれか一方に適用される線形モデルを有する。線形モデルとして、例えば、線形回帰、ロジスティック回帰、ポワソン回帰、対数線形モデルなどが挙げられる。そして、領域の予測変数は、各領域に適用される全ての線形モデルの線形結合で表される。このように予測変数を表すことで、凸目的関数を生成することが可能になる。

線形モデルは、入力ベクトルと出力値の局所的な関係を学習することで最適化される。言い換えると、最初にパーティションの位置が与えられ、各パーティションにどのような線形モデルを与えればよいかが学習により決定される。

本実施形態の領域線形モデル最適化システム１０は、図１に例示するように、データ入力装置１１と、パーティション設定部１２と、線形モデル設定部１３と、領域モデル計算部１４と、モデル最適化部１５と、モデル出力装置１６とを備えている。

データ入力装置１１は、入力データ１１１を入力するための装置である。データ入力装置１１は、入力データ１１１を入力する際、モデルの最適化に必要なパラメータを同時に入力する。

パーティション設定部１２は、入力空間にパーティションを設定する。なお、パーティションの個数をＰとすると、入力空間にＰ個のパーティションを設定することは、本質的には入力空間において２^Ｐ個の領域を特定することに相当する。

パーティションを設定する方法は任意である。サンプルとなるデータの数は有限個であるため、パーティション設定部１２は、例えば、サンプルごとに分割するパーティションを設定してもよい。ただし、パーティション数の増加による計算量増加を抑制するため、パーティション設定部１２は、予め定めた数のパーティションをランダムに設定してもよい。また、パーティション設定部１２は、決定木モデルで用いられる方法を一部利用して、好適なパーティションを設定してもよいし、次元軸を等間隔で分割するパーティションを設定してもよい。

また、パーティション設定部１２は、初めに粗い粒度のパーティションを設定し、後述する最適化の結果、誤差が大きいと判定された領域に対して、より粒度の細かいパーティションを改めて設定するようにしてもよい。

線形モデル設定部１３は、パーティション設定部１２が設定したパーティションに対し、そのパーティションによって分割される部分空間（すなわち、領域）の一方に対して適用される線形モデルを設定する。

以下、ｐ個目のパーティションに設定される線形モデルをａ_ｐと記す。また、データｘの予測にａ_ｐを用いるか否かを示す有効関数（activeness function ）をｆ_ｐ（ｘ）と記し、ｆ_ｐ（ｘ）＝１の場合に、データｘの予測にａ_ｐを用いると定義する。ここで、ｆ_ｐ（ｘ）は、以下に示す式１の条件を満たす。

ｆ_ｐ（ｘ）∈｛０，１｝ （式１）

図２は、各領域の予測変数の例を示す説明図である。図２に示す例では、線形モデル設定部１３が、パーティションｐ_１に対して、パーティションｐ_１の右側に適用される線形モデルａ_１を設定していることを示す。例えば、データｘがパーティションｐ_１の右側に存在する場合、図２に示す例では、対応する有効関数は、ｆ_１（ｘ）＝１となる。すなわち、この有効関数が、パーティションに対応付けられる指示関数に相当し、領域の一方に対して線形モデルを適用することを示す。

領域モデル計算部１４は、領域線形モデルにおける各領域の予測変数（線形モデル）を、各領域に適用される線形モデルの線形結合で表す。この線形モデルは、領域を分割する各パーティションに設定されたものである。すなわち、線形モデル設定部１３によって各パーティションに線形モデルが設定されることにより、各領域の予測変数は、各領域に適用される全ての線形モデルの線形結合で表すことができる。

例えば、図２に示す例において、パーティションｐ_１の右側およびパーティションｐ_３の右側における領域の予測変数は、線形モデルａ_１とａ_３の線形結合（ａ_１＋ａ_３）で表すことができる（図２における点線の矩形参照）。各領域の予測変数は、各領域に適用される全ての線形モデルの線形結合で表されるため、結果として線形モデルで表されることになる。

ここで、本願線形モデルを以下のように定義する。与えられるＰ個の有効関数ｆ_１，…，ｆ_Ｐを、以下に示す式２のようにベクトル形式で表現する。

式２において、ｐ番目の要素ｆ_ｐ（ｘ）（ただし、ｆ_ｐ（ｘ）∈｛０，１｝）は、線形モデルａ_ｐがデータｘに適用されるか否かを示す。有効関数ｆ（・）は、多くとも２^Ｐ個の領域を表し、ｆ（ｘ）は、データｘが属する領域を示す。このように定義した場合、個々の領域の予測変数は、以下に示す式３のように表現される。

モデル最適化部１５は、領域線形モデルを最適化する。ここで、重み行列Ａを以下に示す式４のように定義する。式４において、Ｄは次元ｄの次元数を表す。

このとき、予測関数ｇ（・）は、以下に示す式５のように定義できる。すなわち、本願線形モデルは、以下に示す式５のように表現される。

また、上記に示す式５は、以下に示す式６のように変形できる。つまり、本願線形モデルは、重み行列Ａに関する線形モデルとして振る舞うことが示される。また、以下に示す式６によれば、予測関数ｇ（ｘ）は、各データ点ｘに関しては線形予測器であり、全体としては局所線形予測器であると言える。

一方、個々の領域は、異なる線形モデルを使用することから、本願線形モデルは、全体として非線形性の性質を示す。このような非線形性の性質は、有効関数ｆ_ｐにより生ずるが、この有効関数が本願線形モデルにおいて本質的に重要なコンポーネントである。

モデル最適化部１５は、凸損失関数ｌ（・，・）を導入することにより、本願発明の目的関数を以下の式７に示す凸最適化問題として表現する。凸損失関数として、例えば、回帰における二乗損失、分類における二乗ヒンジ損失またはロジスティック損失が挙げられる。

このように本願線形モデルの最適化問題は、式７に示すような凸最適化問題に帰着する。モデル最適化部１５は、式７に示す凸最適化問題を解くことにより、重み行列Ａ（すなわち、各パーティションに設定される線形モデル）を最適化し、結果として領域線形モデルを最適化する。

以上のように本願線形モデルを表現することにより、モデル最適化部１５は、凸性を有する領域線形モデルを最適化する。そのため、最適化が困難な非凸問題を回避して、より最適な領域線形モデルを生成できる。

モデル出力装置１６は、最適化した領域線形モデルを出力する。

パーティション設定部１２と、線形モデル設定部１３と、領域モデル計算部１４と、モデル最適化部１５とは、プログラム（領域線形モデル最適化プログラム）に従って動作するコンピュータのＣＰＵによって実現される。

例えば、プログラムは、領域線形モデル最適化システム１０の記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、パーティション設定部１２、線形モデル設定部１３、領域モデル計算部１４およびモデル最適化部１５として動作してもよい。

また、パーティション設定部１２と、線形モデル設定部１３と、領域モデル計算部１４と、モデル最適化部１５とは、それぞれが専用のハードウェアで実現されていてもよい。また、本発明による領域線形モデル最適化システムは、２つ以上の物理的に分離した装置が有線または無線で接続されることにより構成されていてもよい。

次に、本実施形態の領域線形モデル最適化システムの動作を具体例を用いて説明する。図３は、本実施形態の領域線形モデル最適化システムの動作例を示すフローチャートである。また、図４から図７は、入力空間に設定されるパーティションと線形モデルの関係を示す説明図である。

まず、データ入力装置１１は、入力データ１１１を入力する（ステップＳ１１）。ここでは、図４に例示するように、２次元で示される入力データ１１１が入力されたものとする。図４において、黒丸と白丸は、個々のサンプル（データ）を示し、黒丸で示されるサンプルと、白丸で示されるサンプルは、それぞれ共通の性質を有するデータであるとする。

パーティション設定部１２は、パーティションを設定する（ステップＳ１２）。ここでは、図５に例示するように、ｘ_１軸方向に垂直なパーティションが３個（ｐ_１〜ｐ_３）、ｘ_２軸方向に垂直なパーティションが３個（ｐ_４〜ｐ_６）、それぞれパーティションとして設定されたものとする。

なお、図５に示す例では、パーティション設定部１２が入力空間の次元軸に対して垂直なパーティションを設定しているが、設定されるパーティションは、各次元軸に垂直なものに限定されない。パーティション設定部１２は、例えば、同心円または同心楕円状のパーティションや、軸に斜めなパーティション、分離した２以上の円または楕円で示されるパーティションを設定してもよい。

次に、線形モデル設定部１３は、パーティション設定部１２によって設定されたパーティションに対して線形モデルを設定する（ステップＳ１３）。ここでは、図６に例示するように、パーティションの右側の領域に対して適用される線形モデルａ_１〜ａ_６が、それぞれパーティションｐ_１〜ｐ_６に設定される。また、線形モデル設定部１３は、パーティションで分割される領域の一方（ここでは、右側の領域）に対して線形モデルが適用されることを示すための有効関数ｆ_１〜ｆ_６も併せて定義する。

なお、パーティション設定部１２が同心円（同心楕円）状のパーティションを設定した場合、線形モデル設定部１３は、例えば、同心円（同心楕円）の内側または外側の領域の一方に対して適用される線形モデルを設定してもよい。また、パーティション設定部１２が次元軸に斜めなパーティションを設定した場合、線形モデル設定部１３は、例えば、任意に定めた次元軸の増加方向の領域に対して適用される線形モデルを設定してもよい。また、パーティション設定部１２が分離した２以上の円（楕円）で示されるパーティションを設定した場合、線形モデル設定部１３は、例えば、円（楕円）の内側または外側の領域の一方に対して適用される線形モデルを設定してもよい。

領域モデル計算部１４は、パーティションにより分割された各領域の線形モデルを、各領域に適用される線形モデルの線形結合で表す（ステップＳ１４）。例えば、図７に例示する領域ｒ_１は、パーティションｐ_１、パーティションｐ_４およびパーティションｐ_５の右側の領域である。そこで、領域モデル計算部１４は、領域ｒ_１の線形モデルを、これらのパーティションに設定されている線形モデルａ_１、線形モデルａ_４および線形モデルａ_５の線形結合ａ_１＋ａ_４＋ａ_５で表す。領域ｒ_２および領域ｒ_３についても同様である。

モデル最適化部１５は、領域モデル計算部１４によって表された各領域の線形モデルに基づいて、領域線形モデルを最適化する（ステップＳ１５）。モデル最適化部１５は、例えば、上記の式７で示される凸損失関数を最適化することにより、領域線形モデルを最適化する。

モデル出力装置１６は、最適化した領域線形モデルを出力する（ステップＳ１６）。

以上のように、本実施形態によれば、線形モデル設定部１３が、データの含まれる入力空間を２つの部分に分割する指示関数（パーティション）に、そのパーティションによって分割された領域（部分空間）の一方の領域に対して適用する線形モデルを設定する。そして、領域モデル計算部１４が、領域線形モデルにおける各領域のモデルを、各領域に適用される線形モデルの線形結合で表す。

このように各領域のモデルを表すことで、対象とする領域線形モデルは凸性を有する。そのため、本実施形態によれば、モデル最適化部１５が領域モデル計算部１４によって表された各領域の線形モデルに基づいて領域線形モデルを最適化するため、非凸問題を回避して、より最適な領域線形モデルを生成できる。

例えば、一般的な領域線形モデルでは、パーティションの位置とそのパーティションによって分割される領域に設定される線形モデルとを同時に最適化する。そのため、領域線形モデルの最適化問題が非凸問題になり、最適化が困難である。

また、例えば、一般的な決定木モデルでは、入力空間を適切に分割できると判定される位置にパーティションを設定し、分割された入力空間をさらに分割する処理を繰り返す。しかし、例えば、図４に例示するような入力空間が初めに与えられた場合、一般的な決定木モデルでは、どの位置にパーティションを設定しても適切に入力空間を分割することは困難である。

一方、本願線形モデルでは、事前に設定されるパーティションに対して線形モデルが設定され、パーティションの位置関係によって領域線形モデルが表される。このように領域線形モデルを表すことにより、領域線形モデルの最適化問題を、凸最適化問題で解くことができるため、初期値依存性を解消し、大域的最適解へ収束させることが可能になる。

実施形態２．
第１の実施形態では、モデル最適化部１５がパーティションに設定される線形モデルを最適化する方法を説明した。本実施形態では、第１の実施形態の方法に加え、設定されたパーティション候補の中から効果的なパーティションを選択して、領域を最適化する方法を説明する。

図８は、本発明による領域線形モデル最適化システムの第２の実施形態の構成例を示すブロック図である。本実施形態の領域線形モデル最適化システム２０は、データ入力装置１１と、パーティション候補設定部２２と、線形モデル設定部１３と、領域モデル計算部１４と、モデル最適化部２５と、モデル出力装置１６とを備えている。データ入力装置１１、線形モデル設定部１３、領域モデル計算部１４およびモデル出力装置１６の内容は、第１の実施形態と同様である。

パーティション候補設定部２２は、パーティション候補を設定する。なお、パーティション候補の設定方法は、第１の実施形態のパーティション設定部１２がパーティションを設定する方法と同様である。

モデル最適化部２５は、選択するパーティション候補の最適化と、パーティションに設定された線形モデルの最適化とを行うことにより、領域線形モデルを最適化する。

本実施形態では、パーティション候補の中から最適なパーティションを選択するため、予測関数の構造の適切さを評価するための正則化項Ω（ｇ（・））が利用される。モデル最適化部２５は、損失関数と正則化項の和を最小化する予測関数ｇ（・）を求めることで、領域線形モデルの最適化を行う。

具体的には、モデル最適化部２５は、領域線形モデルを評価する損失関数ｌ（・，・）と、パーティションの構造を疎にするための正則化項Ω（ｇ（・））との和に基づいて、領域線形モデルを最適化する。パーティションの構造を疎にするとは、パーティション候補の中から適切なパーティションを選択すること、および、パーティションによって分割される領域を疎にすることのいずれの意味も含む。

損失関数と正則化項の和を最小化する予測関数ｇ（・）を求めるための式は、以下に示す式８のように定義できる。

ここで、正則化項Ω（ｇ（・））には、領域線形モデルを疎にする効果を有するものであれば、任意の正則化項を用いることが可能である。どのような正則化項を利用するかは、最適化するパーティションの構造に応じて、ユーザ等により決定される。モデル最適化部２５は、例えば、以下に示す式９を計算することで、領域線形モデルの最適化を行ってもよい。

式９において、Ω（Ａ）が正則化項であり、λ_ｐ、λ_０は、それぞれ正則化の重み値を示す。また、Ω（Ａ）の条件を示す右辺は、グループ正則化を示す。Ω（Ａ）の条件の右辺について、第１項はパーティションの数を減少させるための項であり、第２項は最終的な線形モデルを疎にするための項である。

無限大ノルムは、凸性を有するため、損失関数と凸性を有する正則化項との和で示される式９の最適化問題は、やはり凸最適化問題に帰着する。このように、凸性を有する正則化項を用いてパーティション候補の選択を最適化することにより、初期値依存性を解消し、より最適な領域線形モデルを生成できる。

なお、上記説明では、正則化項に無限大ノルムを利用しているが、正則化項に利用される構造は、無限大ノルムに限定されない。例えば、最終的なモデルを少ない特徴量で表すことを目的として、パーティションの解釈性を増加させるため、正則化項にＬ１正則化を利用してもよい。

また、他にも、似たような重みを持たせることを目的として、類似するパーティションを検出するため、正則化項にGroup Fused Lasso を利用してもよいし、有効なパーティションを全検出するため、正則化項にElastic Net を利用してもよい。Ｌ１正則化、Group Fused Lasso およびElastic Netはいずれも凸性を有するため、上記と同様の効果を得ることができる。

なお、上記説明では、凸性を有する正則化項を利用する場合を例示したが、正則化項に利用する構造は、凸性を有さなくてもよい。例えば、非凸性を有するＬ０正則化や、グループＬ０などが正則化項に利用されてもよい。このようなケースであっても、損失関数ｌが滑らかな凸性を有する場合には、Orthogonal Matching Pursuit 法やForward Backward Greedy 法など、貪欲探索アルゴリズムによる効率解法を適用する事が可能である。

このように、任意の正則化項を利用できる理由は、予測性能を評価する損失関数の最小化問題が凸最適化問題であることに起因する。一般的な領域線形モデルは、非凸性を有するため、任意の正則化項を入れた場合の効率解法は一般に知られておらず、またモデルの解釈性が容易になるとは言い難い。一方、本実施形態では、領域線形モデルを最適化する問題が凸最適化問題になるため、領域線形モデルの解釈性を維持しつつ、様々な構造の正則化項を組み込むことが可能になる。

なお、パーティション候補設定部２２と、線形モデル設定部１３と、領域モデル計算部１４と、モデル最適化部２５とは、プログラム（領域線形モデル最適化プログラム）に従って動作するコンピュータのＣＰＵによって実現される。

次に、本実施形態の領域線形モデル最適化システムの動作を具体例を用いて説明する。なお、本実施形態の領域線形モデル最適化システム２０の動作は、第１の実施形態の領域線形モデル最適化システム１０と同様である。ただし、本実施形態では、モデル最適化部２５が正則化項も含めて最適化する点において、第１の実施形態と異なる。

モデル最適化部２５は、領域モデル計算部１４によって表された各領域の線形モデルに基づいて、領域線形モデルを最適化する。具体的には、本実施形態のモデル最適化部２５は、損失関数と正則化項との和に基づいて、領域線形モデルを最適化する。

例えば、領域モデル計算部１４によって、各領域の線形モデルが図７に例示する内容で表されたとする。ここで、最適化の結果、各領域に適用されるａ_１が全て０になった場合、ａ_１は使われなかったことを意味する。したがって、線形モデルａ_１が０の場合、パーティションｐ_１も不要であることが示される。不要なパーティションを除外することにより、各領域の関係も疎になるため、より解釈性の高い領域線形モデルを表現できるようになる。

図９は、パーティション候補から適切なパーティションを選択した結果の例を示す説明図である。図９に示す例では、最適化の結果、線形モデルａ_２以外の線形モデルが全て０になったことを示す。この場合、パーティションｐ_２以外のパーティションが除外される。

以上のように、本実施形態によれば、モデル最適化部２５が損失関数とパーティションの構造を疎にするための正則化項との和に基づいて、領域線形モデルを最適化する。よって、第１の実施形態の効果に加え、適切なパーティションを選択できることから、モデルの解釈性を向上させることが可能になる。

次に、本実施形態の変形例を説明する。本変形例では、パーティションを最適化した結果、線形モデルが適用されず予測できなくなるデータが生ずることを避けるため、全データに有効な線形モデルａ_０を導入する場合について説明する。

本実施形態の線形モデル設定部１３は、パーティション候補設定部２２によって設定されたパーティション候補に対して線形モデルを設定するとともに、入力空間の全ての領域に対応付けられるパーティションに、その全ての領域に適用する線形モデルを設定する。

図１０は、入力領域を分割した例を示す説明図である。図１０に示す例では、パーティションｐ_２の右側の領域ｒ_１２に線形モデルａ_２が適用されている。一方、パーティションｐ_２の左側の領域ｒ_１１には線形モデルを適用するためのパーティションが存在しない。したがって、この状態では、パーティションｐ_２の左側の領域ｒ_１１のデータを予測することはできない。

そこで、本変形例では、全データに有効な線形モデルａ_０を導入する。図１１は、入力空間の全ての領域に対応付けられるパーティションｐ_０に対して、全データに適用される線形モデルａ_０が設定されていることを示す説明図である。なお、線形モデルａ_０は、全ての領域に適用される線形モデルであるため、全適用線形モデルと言うことができる。

全データに適用される線形モデルａ_０を導入した結果、領域モデル計算部１４は、パーティションｐ_２の左側の領域ｒ_１１の線形モデルをａ_０と計算し、パーティションｐ_２の右側の領域ｒ_１２の線形モデルをａ_０＋ａ_２と計算する。例えば、線形モデルａ_２＝（０，−２．０）と設定されている場合に線形モデルａ_０＝（０，１．０）が導入されたとする。この場合、領域モデル計算部１４は、例えば、パーティションｐ_２の右側の領域ｒ_１２の線形モデルを、ａ_０＋ａ_２＝（０，−１．０）と計算する。

このような線形モデルａ_０を導入することで、局所的なモデル変化を詳細に捉えることが可能になる。具体的には、全データに共通の予測モデルは、線形モデルａ_０を用いて学習し、一部のデータに特有の性質は、パーティション（具体的には、各パーティションに設定される線形モデル）で学習することが可能になる。

モデル最適化部２５は、線形モデルａ_０の有効性を維持しつつ、領域線形モデルを最適化する。すなわち、モデル最適化部２５は、線形モデルａ_０を必ず有効なベクトルになるように領域線形モデルを最適化する。

例えば、有効なパーティションを自動選択するために、上述するGroup Lasso を用いることが可能である。ただし、本変形例では、線形モデルａ_０は必ず有効なベクトルとしたいため、線形モデルａ_０にはGroup 正則化は適用しないようにする。また、各パーティションの解釈性を保持するため、Ｌ０正則化を用いることが可能である。

ここで、線形モデルａ_０を含む重み行列Ａを、以下に示す式１０のように定義する。また、線形モデルａ_０は常に有効にしたいため、有効関数ｆ（・）を、以下に示す式１１のように定義する。

このとき、領域線形モデルの最適化問題は、以下に示す式１２のように、劣モジュラ最適化問題として定義できる。

モデル最適化部２５は、上記に示す式１２の最適化問題を解くことにより、線形モデルａ_０の有効性を維持しつつ、領域線形モデルを最適化する。上記に示す式１２を最適化する方法は任意である。モデル最適化部２５は、例えば、正則化項に対してＬｏｖａｓｚ拡張による凸緩和を行ってもよい。また、モデル最適化部２５は、最適化の方法として、劣モジュラ最適化や、Ｇｒｏｕｐ ＯＭＰ（Orthogonal Matching Pursuit ）を用いてもよい。他にも、モデル最適化部２５は、近接勾配法およびネットワークフローを利用して、最適化を行ってもよい。

また、モデル最適化部２５は、領域線形モデルの最適化に汎化バウンド（Generalization Bound ）を利用してもよい。汎化バウンドを利用することで、経験損失を用いて期待損失の上限を求めることが可能になる。

ここで、データ（ｘ_ｎ，ｙ_ｎ）が、特定のデータ分布Ｄからサンプリングされた独立に同一の確率分布に従うものとする。また、損失関数ｌ（・，・）が、ノルム||・||に関するＬ−リプシッツ関数であるとする。このとき、δ∈（０，１）を満たすどのような定数に対しても、また、Ａ∈Αを満たすどのような重み行列に対しても、以下に示す式１３（不等式）は、少なくとも確率１−δで成立する。

式１３において、Αは、_{ｇｒｏｕｐ}（Ａ）≦１を満たす重み集合であり、Ω_{ｇｒｏｕｐ}（Ａ）は、以下の参考文献の２．５章で定義される。Ｐ＝ｏ（ｅｘｐ（Ｎ））のとき、データ数の増加に応じて期待損失と経験損失の差は０に収束するため、経験損失の値を最小化すればよい。
＜参考文献＞
Andreas Maurer and Massimiliano Pontil, “Structured sparsity and generalization.”, Journal of Machine Learning Research 13, pp.671-690, 2012.

以上のように、本変形例によれば、線形モデル設定部１３が、パーティションｐ_０に線形モデルａ_０を設定し、モデル最適化部２５が、損失関数と正則化項との和に基づいて線形モデルａ_０の有効性を維持したまま、領域線形モデルを最適化する。そのため、上記実施形態の効果に加え、局所的なモデル変化を詳細に捉えることが可能になる。

次に、本発明の概要を説明する。図１２は、本発明による領域線形モデル最適化システムの概要を示すブロック図である。本発明による領域線形モデル最適化システムは、領域線形モデルを最適化する領域線形モデル最適化システム（例えば、領域線形モデル最適化システム１０、領域線形モデル最適化システム２０）であって、入力空間（例えば、入力データ１１１が存在する空間）を２つの部分に分割する指示関数であるパーティションに、そのパーティションによって分割された部分空間を示す領域の一方の領域に対して適用する線形モデル（例えば、線形回帰、ロジスティック回帰、ポアソン回帰など）を設定する線形モデル設定部８１（例えば、線形モデル設定部１３）と、領域線形モデルにおける各領域のモデルを、その各領域に適用される線形モデルの線形結合で表す領域モデル計算部８２（例えば、領域モデル計算部１４）とを備えている。

そのような構成により、非凸問題を回避して、より最適な領域線形モデルを生成できる。具体的には、本願線形モデルが示す線形領域モデルが凸性を有するため、領域線形モデルの最適化問題が、凸最適化問題に帰着する。そのため、本願線形モデルを用いることにより、初期値依存性を解消し、大域的最適解へ収束させることが可能になる。

また、領域線形モデル最適化システムは、領域線形モデルを評価する損失関数（例えば、ｇ（・））と、パーティションの構造を疎にするための正則化項（例えば、Ω（ｇ（・）））との和に基づいて、領域線形モデルを最適化する（例えば、上記に示す式８を用いて）モデル最適化部（例えば、モデル最適化部２５）を備えていてもよい。

そのような構成によれば、設定するパーティションを適切な数に抑制できるため、モデルの解釈容易性を向上させることが可能になる。

また、線形モデル設定部８１は、入力空間の全ての領域を示すパーティション（例えば、パーティションｐ_０）に、その全ての領域に適用する線形モデルである全適用線形モデル（例えば、線形モデルａ_０）を設定してもよい。そして、モデル最適化部は、損失関数と正則化項との和に基づいて、全適用線形モデルの有効性を維持したまま（例えば、上記に示す式１２を用いて）、領域線形モデルを最適化してもよい。

そのような構成によれば、局所的なモデル変化を詳細に捉えることが可能になる。

また、モデル最適化部は、損失関数と、凸性を有する正則化項との和に基づいて、領域線形モデルを最適化してもよい。そのような構成によれば、損失関数と正則化項の和の最適化問題も、凸最適化問題に帰着するため、初期値依存性を解消し、大域的最適解へ収束させることが可能になる。

また、領域線形モデル最適化システムは、入力空間の次元軸に対して垂直なパーティション、次元軸に対して斜め方向のパーティション、同心円または同心楕円状のパーティション、および、離れた二つ以上の円または楕円状の少なくとも１つのパーティションを入力空間に設定するパーティション設定部（例えば、パーティション設定部１２）を備えていてもよい。そして、線形モデル設定部８１は、パーティション設定部によって設定されたパーティションに対して適用する線形モデルを設定してもよい。そのような構成によれば、任意の形状のパーティションを利用することが可能になる。

図１３は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４を備える。

上述の領域線形モデル最適化システムは、それぞれコンピュータ１０００に実装される。なお、そして、上述した各処理部の動作は、プログラム（領域線形モデル最適化プログラム）の形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。

なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行しても良い。

また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１４年１０月２８日に出願された米国仮出願第６２／０６９，３８１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明は、領域線形モデルを、例えば、機械学習により最適化する領域線形モデル最適化システムに好適に適用される。

１０，２０ 領域線形モデル最適化システム
１１ データ入力装置
１２ パーティション設定部
１３ 線形モデル設定部
１４ 領域モデル計算部
１５，２５ モデル最適化部
２２ パーティション候補設定部
ｐ_０〜ｐ_６ パーティション
ｒ_１〜ｒ_３，ｒ_１１，ｒ_１２ 領域

Claims (9)

1. 領域線形モデルを最適化する領域線形モデル最適化システムであって、
   入力空間を２つの部分に分割する指示関数であるパーティションに、当該パーティションによって分割された部分空間を示す領域の一方の領域に対して適用する線形モデルを設定する線形モデル設定部と、
   前記領域線形モデルにおける各領域のモデルを、当該各領域に適用される前記線形モデルの線形結合で表す領域モデル計算部とを備えた
   ことを特徴とする領域線形モデル最適化システム。
2. 領域線形モデルを評価する損失関数と、パーティションの構造を疎にするための正則化項との和に基づいて、領域線形モデルを最適化するモデル最適化部を備えた
   請求項１記載の領域線形モデル最適化システム。
3. 線形モデル設定部は、入力空間の全ての領域を示すパーティションに、当該全ての領域に適用する線形モデルである全適用線形モデルを設定し、
   モデル最適化部は、損失関数と正則化項との和に基づいて、前記全適用線形モデルの有効性を維持したまま、領域線形モデルを最適化する
   請求項２記載の領域線形モデル最適化システム。
4. モデル最適化部は、損失関数と、凸性を有する正則化項との和に基づいて、領域線形モデルを最適化する
   請求項２または請求項３記載の領域線形モデル最適化システム。
5. 入力空間の次元軸に対して垂直なパーティション、前記次元軸に対して斜め方向のパーティション、同心円または同心楕円状のパーティション、および、離れた二つ以上の円または楕円状の少なくとも１つのパーティションを入力空間に設定するパーティション設定部を備え、
   線形モデル設定部は、前記パーティション設定部によって設定されたパーティションに対して適用する線形モデルを設定する
   請求項１から請求項４のうちのいずれか１項に記載の領域線形モデル最適化システム。
6. 領域線形モデルを最適化する領域線形モデル最適化方法であって、
   入力空間を２つの部分に分割する指示関数であるパーティションに、当該パーティションによって分割された部分空間を示す領域の一方の領域に対して適用する線形モデルを設定し、
   前記領域線形モデルにおける各領域のモデルを、当該各領域に適用される前記線形モデルの線形結合で表す
   ことを特徴とする領域線形モデル最適化方法。
7. 領域線形モデルを評価する損失関数と、パーティションの構造を疎にするための正則化項との和に基づいて、領域線形モデルを最適化する
   請求項６記載の領域線形モデル最適化方法。
8. 領域線形モデルを最適化するコンピュータに適用される領域線形モデル最適化プログラムであって、
   前記コンピュータに、
   入力空間を２つの部分に分割する指示関数であるパーティションに、当該パーティションによって分割された部分空間を示す領域の一方の領域に対して適用する線形モデルを設定する線形モデル設定処理、および、
   前記領域線形モデルにおける各領域のモデルを、当該各領域に適用される前記線形モデルの線形結合で表す領域モデル計算処理
   を実行させるための領域線形モデル最適化プログラム。
9. コンピュータに、
   領域線形モデルを評価する損失関数と、パーティションの構造を疎にするための正則化項との和に基づいて、領域線形モデルを最適化するモデル最適化処理を実行させる
   請求項８記載の領域線形モデル最適化プログラム。

Images