JP6246889B1 - 説明変数を選択する装置、方法及びプログラム - Google Patents

Abstract

【課題】説明変数の候補数が比較的多い場合であっても、説明変数を効率的に選択する。【解決手段】線形予測子と、応答変数の期待値又は応答変数がある値となる確率との関係が所定の関数により表される統計モデルにおいて、前記線形予測子が、複数の説明変数候補と前記複数の説明変数候補にそれぞれ対応する複数の係数との線形結合と、定数項との和により表される変数選択用モデルを用いて、前記複数の説明変数候補から所望の説明変数を選択する装置（１）は、前記複数の係数の各々が取りうる値の集合を示す制約条件を取得する制約条件取得部（５０）と、複数のデータを用いて、前記制約条件の下で、前記複数の係数の推定値及び前記定数項の推定値を算出する推定部（３０）と、推定値が非ゼロと算出された係数に対応する前記説明変数候補を前記所望の説明変数として選択する選択部（４０）とを備えている。【選択図】図９

Description

本発明は、説明変数を選択する装置、方法及びプログラムに関する。

自然現象、社会現象といった様々な現象の解明及び予測を行うために統計モデルが用いられる。例えば、以下のような統計モデルがある。

ただし、ｘ_１、ｘ_２、・・・は、説明変数と呼ばれる変数である。β_１、β_２、・・・は、説明変数ｘ_１、ｘ_２、・・・にそれぞれ対応する係数であり、αは定数項である。式（１）において、説明変数と係数との線形結合と定数項αとの和により表されるＺは、線形予測子と呼ばれる。Ｙは応答変数と呼ばれる変数である。式（２）に示したように、応答変数Ｙの期待値Ｅ［Ｙ］と線形予測子Ｚとの関係は、関数Ｆにより表される。なお、関数Ｆは必ずしも単純な式で表されるとは限らず、複数の関数の合成関数として表される場合や、解析的な式では表せず、数値的に値を算出する必要がある関数となる場合もある。

例えば、体重を応答変数とし、身長、ウエストなどを説明変数とすることができる。

このような統計モデルの例として、一般化線形モデル（generalized linear model）が挙げられる。さらに、一般化線形モデルの例として、線形回帰モデル、二項ロジットモデル、順序ロジットモデルが挙げられる。

このような統計モデルにおいては、どのような指標を説明変数として選択すべきかが問題となる。この問題は、変数選択の問題として知られている。変数選択は、統計モデルの精度及び使いやすさに大きな影響を与える。

説明変数の選択方法として、総当たり法と呼ばれる方法がある。この方法では、説明変数の候補である説明変数候補の、考えられる全ての組合せが試された上で、最適な組合せが見いだされる。説明変数候補がｐ個ある場合、考えられる全ての組合せは２^ｐ−１通りある。この方法によれば、考えられる全ての組合せを試してみるため、真に最適な変数の組合せが得られる。しかし、計算負荷が非常に大きく、候補数ｐが大きい場合には組合せの数が爆発的に増加し、事実上実行不可能となる。

また、ステップワイズ法と呼ばれる変数選択方法がある。この方法では、回帰分析で用いられるＦ値等の指標に基づいて説明変数が逐次的にモデルに追加又は削除され、より説明力の高い変数の組合せが探索される。この方法によれば、計算負荷が比較的小さく、候補数が多い場合でも実行できる。その一方で、必ずしも最適な説明変数の組合せが得られるとは限らない。

その他、非特許文献１には、ラッソ回帰（Lasso regression）と呼ばれる変数選択法が記載されている。非特許文献２には、エラスティック・ネット（elastic-net）と呼ばれる変数選択法が記載されている。これらはいずれも、係数の値に応じて決まるペナルティ項を尤度関数に加えた関数を考え、当該関数を最大とする時に非ゼロの値を取る係数に対応する変数を説明変数として選択する、という方法である。これらの方法では、ペナルティの大きさを決めるハイパーパラメータと呼ばれる変数の値によって選択される説明変数が変わってくるが、当該変数の値の決め方には任意性がある。また、選択された説明変数の組み合わせは、一般には尤度関数そのものを最大化するものではない。

R. Tibshirani, "Regression shrinkage and selection via the lasso", A retrospective, Journal of the Royal Statistical Society B, 73, 273-282, 2011 Hui Zou and Trevor Hastie, "Regularization and Variable Selection via the Elastic Net", Journal of the Royal Statistical Society, Series B: 301-320, 2005

本発明は、上記背景技術に鑑みてなされたものであって、その目的は、説明変数の候補数が比較的多い場合であっても、説明変数を効率的に選択することにある。

上記目的を達成するために、本発明によれば、線形予測子と、応答変数の期待値又は応答変数がある値となる確率との関係が所定の関数により表される統計モデルにおいて、前記線形予測子が、複数の説明変数候補と前記複数の説明変数候補にそれぞれ対応する複数の係数との線形結合と、定数項との和により表される変数選択用モデルを用いて、前記複数の説明変数候補から所望の説明変数を選択する装置が提供される。本装置は、前記複数の係数の各々が取りうる値の集合を示す制約条件を取得する制約条件取得部であって、前記複数の係数のうちの少なくとも一つの係数に対する前記集合が、ゼロを孤立点として含み、かつゼロ以外の元をも含む、制約条件取得部と、前記複数の説明変数候補の実現値と、前記応答変数の実現値とを含む複数のデータを用いて、前記制約条件の下で、前記複数の係数の推定値及び前記定数項の推定値を算出する推定部と、推定値が非ゼロと算出された係数に対応する前記説明変数候補を前記所望の説明変数として選択する選択部とを備えている。

また、本発明によれば、複数の線形予測子と、応答変数の期待値又は応答変数がある値となる確率との関係が所定の関数により表される統計モデルにおいて、前記複数の線形予測子のうち少なくとも一つが、複数の説明変数候補と前記複数の説明変数候補にそれぞれ対応する複数の係数との線形結合と、定数項との和により表される変数選択用モデルを用いて、前記複数の説明変数候補から所望の説明変数を選択する装置が提供される。本装置は、前記複数の係数の各々が取りうる値の集合を示す制約条件を取得する制約条件取得部であって、前記複数の係数のうちの少なくとも一つの係数に対する前記集合が、ゼロを孤立点として含み、かつゼロ以外の元をも含む、制約条件取得部と、前記複数の説明変数候補の実現値と、前記応答変数の実現値とを含む複数のデータを用いて、前記制約条件の下で、前記複数の係数の推定値及び前記定数項の推定値を算出する推定部と、推定値が非ゼロと算出された係数に対応する前記説明変数候補を前記所望の説明変数として選択する選択部とを備えている。

本発明によれば、説明変数の候補数が比較的多い場合であっても、説明変数を効率的に選択することができる。

変数選択装置の機能構成例を示す説明図である。 変数選択装置のハードウェア構成例を示す説明図である。 変数選択装置が行う処理のフローチャートの一例である。 変数選択に伴う係数決定のイメージ図である。 変数選択に伴う係数決定の別のイメージ図である。 変数選択装置が行う処理のフローチャートの別の例である。 変数選択装置が行う処理のフローチャートのさらに別の例である。 変数選択に伴う係数決定のイメージ図の別の例である。 変数選択装置の別の機能構成例を示す説明図である。

先に述べたように、説明変数の選択において、説明変数の候補数が増えると、変数の組合せの数が爆発的に増加してしまうという問題がある。その他にも、考慮すべき問題について、本発明の発明者は鋭意検討を行った。

説明変数の選択においては、選択される説明変数に対応する係数の符号も考慮する必要がある。例えば、「体重の期待値＝α＋β_１×身長＋β_２×ウエスト」という統計モデルを考える。一般に、身長が大きければ体重も重くなると考えられるため、身長が説明変数として選択される場合には、係数β_１は正の数となることが期待される。同様に、ウエストが大きければ体重も重くなると考えられるため、ウエストが説明変数として選択される場合には、係数β_２は正の数となることが期待される。仮にβ_２が負値である場合、「身長が同じであればウエストが大きい方が体重が軽い」という結果をもたらすこととなるため、こうしたモデルは非常に使いづらいものとなってしまう。

前段落で例示したような、「統計モデルにおける各係数が、単独の説明変数と応答変数の関係から想定される符号と同じ符号になるべき」という条件のことを、符号条件とよぶ。統計モデルにおける係数の推定値には、説明変数間の相関等の影響が反映されるため、複数の説明変数を持つ統計モデルでは、符号条件が満たされるとは限らない。また、一般に説明変数の数が増えるに従って、符号条件を満たす統計モデルを得ることは難しくなる。

なお、身長及びウエストはそれぞれ、式（１）における説明変数ｘ_１及びｘ_２であり、体重は式（２）における応答変数Ｙである。そして、式（２）における関数Ｆは恒等関数である。すなわち、Ｆ（Ｅ［Ｙ］）＝Ｅ［Ｙ］＝Ｚである。

また、選択される説明変数に対して様々な要請が課せられる場合がある。例えば、「特定の説明変数候補を説明変数として必ず選択したい」、「特定の説明変数の説明力が大きくなり過ぎないようにしたい」といったものである。変数選択には、このような要請を満たすようことができるよう柔軟性が求められる。

以上のような検討結果を踏まえて、以下に本発明の実施形態を説明する。ただし、本発明は、以下に説明する実施の形態によって限定されるものではない。

［第１の実施形態］
本実施形態では、企業又は個人のデフォルトすなわち債務不履行のしやすさを評価する統計モデルを扱う。デフォルトしにくいと評価されれば、当該企業又は個人は信用力が高いといえる。このような統計モデルを信用評価モデルと呼ぶ。

企業を対象とした信用評価モデルにおいては、貸借対照表、損益計算書から計算される財務指標を説明変数として用いることが多い。この場合の財務指標の例としては、自己資本比率、債務償還年数、経常収支比率、売上債権回転日数などが挙げられる。

また、個人を対象とした信用評価モデルでは、個人の属性に関する指標を説明変数として用いることが多い。このような情報の例として、個人の年齢、世帯人数、年収、勤続年数などが挙げられる。

いずれにしても、融資の諾否の判断や貸出金利の決定にあたっては、貸出先の信用力を精確に把握する必要があるため、信用評価モデルの精度向上は非常に重要である。

信用評価モデルは以下のように表すことができる。

ただし、ｘ_ｋ（ｋ＝１，２，・・・）は説明変数である。β_ｋは、説明変数ｘ_ｋに対応する係数であり、αは定数項である。Ｚは線形予測子である。また、応答変数

は、デフォルトフラグである。デフォルトフラグとは、決算後１年以内にデフォルトしていれば１、デフォルトしていなければ０をとる変数である。さらに、

は、デフォルトフラグが１となる確率である。

図１は、信用評価モデルにおける説明変数の選択を行う変数選択装置１の機能構成例を示している。変数選択装置１は、レコード取得部１０と符号条件取得部２０と推定部３０と選択部４０とを備えている。各機能部の詳細は後述する。

図２は、変数選択装置１のコンピュータハードウェア構成例を示している。変数選択装置１は、ＣＰＵ５１と、インタフェース装置５２と、表示装置５３と、入力装置５４と、ドライブ装置５５と、補助記憶装置５６と、メモリ装置５７とを備えており、これらがバス５８により相互に接続されている。

変数選択装置１の機能を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体５９によって提供される。プログラムを記録した記録媒体５９がドライブ装置５５にセットされると、プログラムが記録媒体５９からドライブ装置５５を介して補助記憶装置５６にインストールされる。あるいは、プログラムのインストールは必ずしも記録媒体５９により行う必要はなく、ネットワークを介して他のコンピュータからダウンロードすることもできる。補助記憶装置５６は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置５７は、プログラムの起動指示があった場合に、補助記憶装置５６からプログラムを読み出して格納する。ＣＰＵ５１は、メモリ装置５７に格納されたプログラムにしたがって変数選択装置１の機能を実現する。インタフェース装置５２は、ネットワークを通して他のコンピュータに接続するためのインタフェースとして用いられる。表示装置５３はプログラムによるＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等を表示する。入力装置５４はキーボード及びマウス等である。

表１は、企業を対象とした信用評価モデルにおいて変数選択を行う際に用いる複数のレコードを示している。このレコードは、補助記憶装置５６に記憶されている。レコードのことをデータとも呼ぶ。

この表においては、各レコードが一つの企業に関する情報を表している。また、「デフォルトフラグ」とは、先に述べたように、決算後１年以内にデフォルトしていれば１、デフォルトしていなければ０をとる変数である。このデフォルトフラグが、信用評価モデルにおける応答変数である。

同じく表１における「財務指標」は、各企業の貸借対照表、損益計算書等といった決算情報から算出される。例えば、「売上高・対数」は、決算情報から算出される売上高を対数変換した情報である。「自己資本比率」、「債務償還年数」、「流動比率」、「売上高金利負担率」は、それぞれ、決算情報から算出されるものである。これらの指標が、信用評価モデルにおける説明変数として選択され得る説明変数候補である。なお、「ｋ」は、説明変数候補の番号である。

例えば、企業ＩＤが「１」である「企業Ａ」の「自己資本比率」の値は「４６．８２％」である。この値を、「自己資本比率」という説明変数候補の実現値と呼ぶ。そして、「デフォルトフラグ」という応答変数の実現値は「０」である。このように、表１は、複数のレコードを有し、各レコードは、複数の説明変数候補の実現値と応答変数の実現値とを含んでいる。

もちろん、説明変数候補の個数に制限はなく、複数あればよい。企業の信用評価においては、企業の財務状況を多面的に評価するため、多くの説明変数候補（財務指標）の中から説明力の高い組合せを選択する。一般に、数十個から百個超の説明変数候補を用意する。さらに、表１における「売上高・対数」のように、財務指標に対して対数変換、離散化といった何らかの変換を行ったものを説明変数候補として用いてもよい。

そして、変数選択装置１が変数選択を行うために用いる変数選択用モデルを以下のように定める。

ただし、Ｘ_ｋ（ｋ＝１，２，・・・）は説明変数候補である。αは定数項であり、β_ｋは、説明変数候補Ｘ_ｋの係数である。Ｚは線形予測子である。ＰＤは、応答変数すなわちデフォルトフラグが「１」となる確率である。ＰＤをデフォルト率とも呼ぶ。

このように、変数選択用モデルは、線形予測子が、複数の説明変数候補と前記複数の説明変数候補にそれぞれ対応する複数の係数との線形結合と、定数項との和により表される統計モデルである。

なお、式（６）においては、線形予測子Ｚの符号が正となっている。これは、「Ｚが大きいほど信用力が高い」という関係が成り立つようにするためである。もちろん、関数Ｆがロジスティック分布の分布関数となるように、式（６）における「Ｚ」を「−Ｚ」とすることもできる。

次に、変数選択用モデルによるデフォルト率の推定値と説明変数候補の実現値との関係を以下のように定める。

ただし、ｉは表１の企業ＩＤである。Ｘ_ｉ，ｋは、企業ｉに関する、説明変数候補Ｘ_ｋの実現値である。Ｚ_ｉは企業ｉのスコアである。ＰＤ_ｉは、変数選択用モデルによる企業ｉのデフォルト率の推定値である。

そして、定数項αと係数β_ｋとをまとめてパラメータと呼ぶ。θをパラメータベクトルとする。すなわち、以下の通りである。

表２は、変数選択装置１により用いられる各係数の符号条件を示している。この符号条件は、係数ごとに設定されており、当該係数の取りうる値がゼロ以上又はゼロ以下を指定したものである。符号条件は、補助記憶装置５６に記憶されている。

大きいほど信用力が高いと考えられる説明変数候補については、「０以上」という符号条件を設ける。また、小さいほど信用力が高いと考えられる説明変数候補については、「０以下」という符号条件を設ける。本実施形態において、売上高（ｋ＝１）、自己資本比率（ｋ＝２）、流動比率（ｋ＝４）は、大きいほど信用力が高いと考えられる。そのため、係数β_１、β_２、β_４の符号条件は「０以上」となっている。また、債務償還年数（ｋ＝３）と売上高金利負担率（ｋ＝５）は、小さいほど信用力が高いと考えられる。そのため、係数β_３、β_５の符号条件は「０以下」となっている。

続いて、図３を参照しながら、変数選択装置１が行う処理の流れを説明する。まず、ステップＳ１０１において、レコード取得部１０が、表１に示したような、企業を対象とした信用評価モデルを構築する際に用いるレコードを複数取得する。

ステップＳ１０２において、符号条件取得部２０が、表２に示したような、符号条件を取得する。

ステップＳ１０３において、推定部３０は最尤推定を行う。すなわち、推定部３０は、上記変数選択用モデルにおける尤度関数Ｌ（θ）が最大となるときの各パラメータの推定値を算出する。この推定値算出は、ステップＳ１０１において取得された複数のレコードを用いて行われる。さらに、この推定値算出は、ステップＳ１０２において取得された符号条件、すなわち以下に示す条件Ｃ_１の下で行われる。

本ステップにおいて得られるパラメータベクトルθの最尤推定量

は、以下のように表すことができる。

上述したように、Ｌ（θ）は尤度関数である。Ｎは、表１におけるレコード数である。Ｄ_ｉは、企業ｉのデフォルトフラグである。

このように、式（１０）に示した最尤推定量は、条件Ｃ_１の下で尤度関数Ｌ（θ）が最大となるときのθとして推定される。

こうした条件Ｃ_１の下で尤度関数Ｌ（θ）の最大値を探索するアルゴリズムは複数ある。例えば、座標降下法（coordinate descent method）、最急降下法（steepest descent method）がある。例えば座標降下法は、説明変数候補の数が非常に多い場合でも高速に実行可能である。本実施形態では、どのようなアルゴリズムを用いてもよい。

なお、本実施例のように、パラメータがとり得る値に条件をつけた上で得られる推定量が、漸近正規性や一致性等の、通常の最尤推定量が持つ性質を満たすことが知られている。詳細は、非特許文献「T.J.Moore, B.M. Sadler, Maximum-likelihood estimation and scoring under parametric constrains. Army Research Lab, Aldelphi, MD, Tech. Rep. ARL-TR-3805, 2006」を参照されたい。

本ステップにより得られるパラメータの具体的な推定値を表３に示している。

売上高に対応する係数β_１と、自己資本比率に対応する係数β_２と、債務償還年数に対応する係数β_３とは、いずれも０と推定されている。流動比率に対応する係数β_４と、売上高金利負担率に対応する係数β_５とについては、それぞれ符号条件を満たした、非ゼロの係数値が推定されている。

ステップＳ１０４において、選択部４０が説明変数の選択を行う。具体的には、ステップＳ１０３において推定された係数値がゼロか非ゼロであるかを判別し、非ゼロと推定された係数に対応する説明変数候補を説明変数として選択する。本実施形態では、値が非ゼロと推定された係数β_４及びβ_５にそれぞれ対応する流動比率及び売上高金利負担率が所望の説明変数として選択される。

変数選択後の所望の統計モデルは、以下のように表される。

ただし、ｘ_４及びｘ_５は所望の説明変数であり、説明変数候補Ｘ_４及びＸ_５にそれぞれ対応するものである。

［効果］
本実施形態によれば、変数選択を高速に実行することができる。前述のように、座標降下法等のアルゴリズムを用いることにより、説明変数候補の数が多い場合でも推定を高速に行うことができる。しかも、符号条件のない、通常の最尤推定とほぼ同時間で説明変数の選択を行うことができる。

また、与えられた符号条件の下で尤度を最大にする説明変数候補の組合せが選択されることから、人による事後的な試行錯誤は不要である。符号条件の下で変数選択を行う場合と、符号条件のない状態で変数選択を行う場合の比較について以下に説明する。

図４は、横軸が係数β_４であり、縦軸がβ_２であり、尤度を等高線ＣＬにより示している。領域Ｒから離れるほど尤度は減少する。本実施形態によれば、条件Ｃ_１の下で推定が行われる。すなわち、推定は、第１象限Ｑ_１において行われる。その結果、点Ｋ_１が推定される。係数β_４の推定値は正値、係数β_２の推定値はゼロという、符号条件を満たす推定値が得られる。

これに対し、条件Ｃ_１のような条件を設けずに推定を行った様子を図５に示している。推定は、第１象限Ｑ_１から第４象限Ｑ_４という全ての象限が対象範囲となり、符号条件を満たさない点Ｋ_２が推定される。

このように、条件を設定しない場合は、推定の対象範囲が広くなるとともに、符号条件を満たさない推定値が得られる可能性がある。これに対し、本実施形態においては、符号条件に基づく条件Ｃ_１の下で推定がなされるため、推定対象範囲を限定することができるとともに、符号条件を満たした推定値が得られる。すなわち、効率的に推定を行うことができる。

上述したように、説明変数の数が多くなると符号条件を満たす統計モデルを得ることが難しくなる。これは、説明変数候補が多い場合、条件Ｃ_１のような符号条件の下で尤度関数を最大にする点では、多くの係数が０となることを意味している。すなわち、符号条件を課すことにより、説明変数の絞り込みが実施できることとなる。

さらに、符号条件を満たす全ての組合せの中で尤度を最大とするものが得られるため、ステップワイズ法などの従来の手法に比べて、より尤度の大きい説明変数の組合せが得られる。すなわち、従来手法よりも精度の高いモデルを構築することができる。なお、従来のステップワイズ法、ラッソ回帰、エラスティック・ネットでは、変数選択の過程で符号条件は考慮されていない。このため、符号条件を満たす説明変数の組み合わせを見つけるためには、一般に試行錯誤が必要となる。

また、ステップワイズ法や総当たり法では、最尤推定を複数回実施する必要があるが、本実施形態では、推定回数が１回で済む。しかも、その１回で、説明変数の選択と、対応する係数の推定とを同時に行うことができる。

ラッソ回帰やエラスティック・ネットでは、前述したハイパーパラ−メータの値を決めるために、追加的な分析を行うことが一般的である。また、ハイパーパラメータの決め方によって、選択される説明変数も異なるものとなり得る。本実施形態では、ハイパーパラメータのような変数は存在しないため、追加的な分析は不要である。さらに、符号条件の下で尤度関数を最大化する説明変数の組み合わせが必ず選択される。

［第２の実施形態］
符号条件に加えて、制約条件を設定することもできる。この制約条件は、係数ごとに、当該係数が取りうる値の上限値及び下限値の少なくとも一方を定めたものである。制約条件の例を表４に示している。制約条件は、補助記憶装置５６に記憶されている。

表４において上限値が空欄となっている箇所は、当該係数について上限値の設定がないことを示している。下限値についても同様である。例えば、係数β_２については、下限値が１０．００と設定されているが、上限値の設定はない。係数β_１については、制約条件が全く設定されていない。

ある係数に関する制約条件は、当該係数に関する符号条件と整合するように設定する必要がある。符号条件が「０以上」であれば、上限値及び下限値はいずれも正値とする必要がある。符号条件が「０以下」であれば上限値及び下限値はいずれも負値とする必要がある。

本実施形態において、変数選択装置１は、制約条件取得部（不図示）をさらに備えている。この場合の、変数選択装置１が行う処理の流れを図６に示している。図３との違いは、ステップＳ１０２とステップＳ１０３との間に、ステップＳ２０１がある点である。ステップＳ２０１では、上記制約条件取得部が制約条件を取得する。そして、ステップＳ１０３における推定は、符号条件及び制約条件の下で行われる。すなわち、推定は、以下に示す条件Ｃ_２の下でなされる。

そして、この推定により得られるパラメータベクトルθの最尤推定量は、以下のように表すことができる。

本ステップにより得られるパラメータの具体的な推定値を表５に示している。

第１の実施形態では値がゼロと推定された係数β_２及びβ_３に関し、本実施形態では、値が非ゼロと推定されている。

上限値又は下限値を設定した係数の推定量は必ずしも上限値又は下限値に等しくなるわけではない。表５における係数β_３のように上下限値よりも絶対値の大きい値が推定されることもある。

売上高金利負担率（係数β_５）は、下限値を設定したことによって、推定量の絶対値が小さくなっている。つまり、統計モデルにおける売上高金利負担率の影響が抑えられることとなっている。また、表５における流動比率（係数β_４）のように、制約条件を設定していない説明変数候補の推定量についても、他の説明変数候補の係数値が変化することの影響により、第１の実施形態における推定量とは異なっている。

続くステップＳ１０４では、選択部４０による説明変数の選択が行われる。すなわち、値が非ゼロと推定された係数β_２〜β_５にそれぞれ対応する自己資本比率、債務償還年数、流動比率及び売上高金利負担率が所望の説明変数として選択される。

本実施形態によれば、制約条件の設定により、自己資本比率、債務償還年数といった特定の説明変数候補が説明変数として必ず選択されるようにすることができる。すなわち、「特定の説明変数候補を説明変数として選択したい」という要請に応えることができる。さらに、制約条件を設定することで、特定の説明変数の影響度が大きくなり過ぎることを防ぎながら、変数選択を行うことができる。なお、符号条件が設定されている係数のうちの少なくとも一つについて、制約条件を設定することができる。

［第３の実施形態］
本実施形態において、変数選択装置１は、絞込み条件取得部と絞込み処理部（ともに不図示）をさらに備えている。そして、図７に示すように、ステップＳ１０４にて複数の説明変数が選択された場合に、同ステップにつづいてステップＳ３０１及びＳ３０２を行うことができる。

ステップＳ３０１では、絞込み条件取得部が絞込み条件を取得する。絞込み条件とは、ステップＳ１０４にて複数の説明変数が選択された場合に、説明変数の個数を絞り込むための条件である。絞込み条件は、補助記憶装置５６に記憶されている。絞込み条件の例として、以下のようなものが挙げられる。
・ｐ値又はｔ値が一定の水準に満たない説明変数を除外する
・ステップＳ１０４にて選択された説明変数の組合せを初期値として、変数減少法により変数を削減する

ステップＳ３０２では、絞込み条件にしたがって絞込み処理部が絞込み処理を行う。その結果、説明変数の個数が絞り込まれる。

本実施形態によれば、絞込み条件を設定することで、統計的な有意性が高くない説明変数を除外することができる。そして、モデルの精度をほぼ維持しつつ、説明変数の個数がより少ないモデルを構築することができる。なお、統計的な有意性が高くない説明変数を除外しても、他の説明変数に対応する係数に与える影響は極めて小さい。そのため、絞込みによって符号条件が満たされなくなることはほとんどない。

なお、図６に示したステップＳ１０３の後に、ステップＳ３０１及びＳ３０２を行うことも可能である。

［第４の実施形態］
以下、応答変数が３つ以上の値からなる順序尺度で表される場合に用いられる順序ロジットモデルに関する実施形態について説明する。処理の流れは図３とほぼ同様であるが、異なる点を以下に説明する。

表６は、企業の格付を推定するための順序ロジットモデルの構築に用いられるモデル構築用データの例を示したものである。このデータはステップＳ１０１により取得される。

「格付」とは企業の債務返済能力の水準を符号で示したものであり、本実施例では１＞２＞３＞４＞・・・＞Ｎｒの順に信用力が高いことを表すものとする。ただし、Ｎｒは格付数である。格付符号の表記は「ＡＡＡ，ＡＡ＋，ＡＡ，…」や「Ａ格，Ｂ格，Ｃ格，…」などの文字情報で表されることもあるが、いずれも信用力の序列を表すものであり、本実施形態のように数値情報に置き換えることができる。

順序ロジットモデルのように、企業の格付を推定するモデルは「格付推定モデル」と呼ばれる。格付推定モデルも信用評価モデルの一種である。

順序ロジットモデルによって構築される格付推定モデルでは、企業ｉが格付ｓに属する確率の推定値が、以下のように表されると仮定する。

格付推定モデルの尤度関数Ｌ（θ）は、以下のように表すことができる。

格付推定モデルに関して、図３のステップＳ１０２にて取得される符号条件を考慮して、ステップＳ１０３の推定を行う場合、次の式によって変数選択用モデルの推定値を得る。

ただし、条件Ｃ_１は第１の実施形態と同じである。Ｌ（θ）は上記尤度関数である。

表７は、ステップＳ１０３によって得られるパラメータの例を示したものである。

この表の結果から、ステップＳ１０４において、自己資本比率、債務償還年数、売上高金利負担率、・・・が説明変数として選択されることとなる。

このように、複数の線形予測子（Ｚ_ｉ．ｓ）と、応答変数の期待値又は応答変数がある値となる確率との関係が所定の関数により表される統計モデルにおいて、前記複数の線形予測子の各々が、複数の説明変数候補と前記複数の説明変数候補にそれぞれ対応する複数の係数との線形結合と、定数項との和により表される変数選択用モデルを用いて、前記複数の説明変数候補から所望の説明変数を選択するように、変数選択装置１を構成することができる。

［第５の実施形態］
応答変数が３つ以上の値からなる順序尺度で表される場合のモデル化の方法として、以下に述べる逐次ロジットモデルを用いることもできる。逐次ロジットモデルでは、格付がｓ以下か否かの確率を推定する二項ロジットモデルを複数用いて、各格付となる確率を推定する。処理の流れは図３と類似している。

逐次ロジットモデルに対する尤度関数は、ｐ_ｉ，ｓが異なるだけで、順序ロジットモデルの尤度関数（式（１１））とまったく同じ表式となる。

逐次ロジットモデルに対して、ステップＳ１０２で取得される符号条件のみを考慮してステップＳ１０３の推定を行う場合、次の式によって変数選択用モデルのパラメータ推定値を得る。

ただし、条件Ｃ_３は以下の通りである。

表８は、本実施例によって得られるパラメータの例を示したものである。

係数及び定数項は、Ｚ_ｉ，ｓ毎（格付毎）に推定され、ステップＳ１０４において選択される説明変数もＺ_ｉ，ｓ毎に異なる。

このように、複数の線形予測子（Ｚ_ｉ，ｓ）と、応答変数の期待値又は応答変数がある値となる確率との関係が所定の関数により表される統計モデルにおいて、前記複数の線形予測子のうち少なくとも一つ（例えば、Ｚ_ｉ，２）が、複数の説明変数候補と前記複数の説明変数候補にそれぞれ対応する複数の係数との線形結合と、定数項との和により表される変数選択用モデルを用いて、前記複数の説明変数候補から所望の説明変数を選択するように、変数選択装置１を構成することができる。

［第６の実施形態］
これまでに述べた符号条件及び制約条件はいずれも、係数の取りうる値の集合を示すものであることから、以下では両者を一括して制約条件と呼ぶことにする。

本実施形態における、係数が取りうる値の集合を係数毎に示す制約条件の例として以下のものが挙げられる。
第１の制約条件： ゼロを端点として含む有限区間又は半無限区間
第２の制約条件： ゼロを端点として含む有限区間又は半無限区間と、ゼロを含まない区間との和集合
第３の制約条件： ゼロを孤立点として含み、かつゼロ以外の元をも含む集合
第４の制約条件： あらゆる値の集合
ここで、集合の孤立点とは、自身以外に当該集合の元が一つも含まれない近傍が存在する元のことである。

次に制約条件の具体的な例を示す。以下の例において、βを、ある説明変数候補に対応する係数とし、τ、τ_１、τ_２は全て正の数とし、τ_１≦τ_２とする。

例１は、先に述べた第１の制約条件の例である。係数βの取りうる値の集合は、ゼロを左端とする半無限区間である。この制約条件によれば、係数βの推定値が正値となる場合のみ、当該係数に対応する説明変数候補が説明変数として選択される。

例２も、先に述べた第１の制約条件の例である。係数βの取りうる値の集合は、ゼロを左端とする有限区間である。この制約条件によれば、係数βの推定値が正値となる場合のみ、当該係数に対応する説明変数候補が説明変数として選択され、かつ説明変数として選択される場合の係数βの最大値はτとなる。このような上限を設けることにより、係数βに対応する説明変数の、統計モデルにおける影響が大きくなり過ぎないようにすることができる。

例３は、先に述べた第２の制約条件の例である。係数βの取りうる値の集合は、ゼロを右端とする半無限区間と、τを左端とする半無限区間（すなわちゼロを含まない区間）との和集合である。この制約条件によれば、係数βの推定値が負値又はτ以上の正値となる場合のみ、当該係数に対応する説明変数候補が説明変数として選択される。

例４は、先に述べた第３の制約条件の例である。係数βの取りうる値の集合は、ゼロを孤立点として含み、かつゼロ以外の元（τを左端とする半無限区間に含まれる元）をも含む。この制約条件によれば、係数βの推定値が正値かつτ以上の場合のみ、当該係数に対応する説明変数候補が説明変数として選択される。係数の取りうる値の符号を指定する例１とは異なり、係数βの推定値がτ未満の正値となることがないため、有意性に乏しい説明変数候補が説明変数として選択されることを防ぐことができる。

例５も、先に述べた第３の制約条件の例である。係数βの取りうる値の集合は、ゼロを孤立点として含み、かつゼロ以外の元（−τ_１を右端とする半無限区間に含まれる元と、τ_２を左端とする半無限区間に含まれる元）をも含む。この制約条件によれば、係数βに対応する説明変数候補が説明変数として選択される場合、係数βの推定値の絶対値はτ_１以上である。

ところで、先に述べたように、「体重の期待値＝α＋β_１×身長＋β_２×ウエスト」という統計モデルにおいては、係数β_１及び係数β_２の符号はいずれも正となることが期待される。このように、期待される符号のことを「自然な符号」と呼ぶことにする。しかし、あらゆる説明変数候補について自然な符号が仮定できるとは限らない。例えば、心拍数という別の説明変数候補を考えた場合、この説明変数候補に対応する係数について自然な符号を仮定することが難しい。このように、自然な符号を仮定することが困難な係数に対して、上記例５の制約条件は有益である。

τ、τ_１、τ_２は任意の方法で決定することができる。経験的に決定してもよいし、係数が一定以上の有意性を持つものとなるように理論的に定めてもよい。なお、例１〜例５は、先に述べた第１から第３の制約条件の例示に過ぎない。

図８は、本実施形態における係数推定のイメージ図の別の例である。この例では、予め設定された制約条件の下で尤度関数が最も大きくなるような係数の値が推定される。同図において、横軸は、ある説明変数候補に対応する係数β_１であり、縦軸は、別の説明変数候補に対応する係数β_２であり、尤度を等高線ＣＬにより示している。領域Ｒから離れるほど尤度は減少する。

係数β_１及びβ_２の制約条件は以下の通りである。ただし、τ_１及びτ_２はいずれも正の数とする。
係数β_１の制約条件： β_１≦−τ_１ ｏｒ β_１＝０ ｏｒ τ_１≦β_１
係数β_２の制約条件： β_２≦−τ_２ ｏｒ β_２＝０ ｏｒ τ_２≦β_２

図８にはさらに、係数β_１及びβ_２の取りうる値の集合に含まれる部分集合ＳＳ１〜ＳＳ９を示している。各部分集合は以下のように表される。
ＳＳ１： β_１≦−τ_１かつτ_２≦β_２
ＳＳ２： β_１≦−τ_１かつβ_２＝０
ＳＳ３： β_１≦−τ_１かつβ_２≦−τ_２
ＳＳ４： β_１＝０かつτ_２≦β_２
ＳＳ５： β_１＝０かつβ_２＝０
ＳＳ６： β_１＝０かつβ_２≦−τ_２
ＳＳ７： τ_１≦β_１かつτ_２≦β_２
ＳＳ８： τ_１≦β_１かつβ_２＝０
ＳＳ９： τ_１≦β_１かつβ_２≦−τ_２

このような制約条件の下で係数β_１及びβ_２の推定が行われる。その結果、縦軸上の点Ｋ_３が推定される。すなわち、係数β_１の推定値はゼロであり、係数β_２の推定値は負値かつ−τ_２以下である。つまり、係数β_１に対応する説明変数候補は説明変数として選択されず、係数β_２に対応する説明変数候補が説明変数として選択されることになる。

［実施例１ 線形重回帰モデルにおける変数選択］
続いて、線形重回帰モデルにおける変数選択の実施例を説明する。線形重回帰モデルでは、応答変数の期待値が複数の説明変数の線形結合として表されると仮定する。モデル式は以下の通りである。
Ｅ［Ｙ］＝α＋β_１ｘ_１＋β_２ｘ_２＋・・・

ただし、Ｙは応答変数であり、ｘ_ｋ（ｋ＝１，２，・・・）は説明変数候補であり、αは定数項であり、β_ｋは説明変数候補ｘ_ｋに対応する係数である。この線形重回帰モデルにおいては、応答変数Ｙの期待値と線形予測子との関係を表す（リンク関数と呼ばれる）関数Ｆが恒等関数である。線形重回帰モデルの構築にあたっては、多数の説明変数候補の中から、説明力の高い説明変数の組み合わせを選択することが多い。

表９は、線形重回帰モデルを構築する際に用いる複数のレコードを示したものである。

各レコードは、応答変数の実現値と複数の説明変数候補の実現値とを含んでいる。この例では説明変数候補の数を１０個としているが、説明変数候補の数は問題によって異なり、数十個から数百個程度になる場合もある。

本実施例では、係数の有意性を分かりやすくするため、説明変数候補は全て標準正規分布に従うように規格化されているものと仮定する。なお、一般には説明変数候補は規格化されておらず、説明変数候補毎に値の水準が異なるため、説明変数候補の有意性を対応する係数の絶対値から判断することはできない。本実施例は説明変数候補が規格化されていない場合でも、実施することができる。

表１０は、各係数の制約条件の例である。条件１〜３のうち、一つのみが設定されている場合、その係数の取りうる値の集合は、設定されている当該一つの条件が示す集合である。条件１〜３のうち、二つ以上が設定されている場合、その係数の取りうる値の集合は、設定されている当該二つ以上の条件がそれぞれ示す二つ以上の集合の和集合である。条件１〜３のいずれも設定されていない場合、その係数の取りうる値の集合は、あらゆる値の集合である。

係数β_１〜β_４の制約条件は、各係数の符号を定めた単純な制約条件である。
係数β_５の制約条件によれば、当該係数の取りうる値の集合は、ゼロを孤立点として含み、かつゼロ以外の元をも含む。係数β_６及びβ_７についても同様である。
係数β_８の制約条件によれば、当該係数の取りうる値の集合にゼロが含まれない。係数β_９についても同様である。すなわち、係数β_８に対応する説明変数候補ｘ_８と、係数β_９に対応する説明変数候補ｘ_９とは、必ず説明変数として選択されることになる。
なお、係数β_１０について条件１〜３の全てが課されておらず、あらゆる値をとることができる。これは、係数β_１０の取り得る値として「全ての値」という集合を指定した制約条件の一種とみなすことができる。

表１１は、表１０の制約条件の下で得られたパラメータ（定数項α及び係数β_ｋ）の推定値である。

表１１に示すように、係数β_１〜β_３の各々の推定値は非ゼロである。
係数β_４の推定値はゼロである。すなわち、説明変数候補ｘ_４は説明変数として選択されない。
係数β_５については、絶対値が０．５以上となる推定値が得られず、推定値がゼロとなっている。すなわち、説明変数候補ｘ_５は説明変数として選択されない。
係数β_６は、制約条件における条件３の下限値である１．０と推定されている。
係数β_８については、制約条件における条件１の上限値である−１．５と推定されている。
係数β_９については、制約条件における条件１の下限値である１．０と推定されている。
以上のように、全ての係数の推定値は、対応する制約条件を満たしている。

表１１に示したように、係数β_３及びβ_１０の各推定値はゼロではないものの、その絶対値が比較的小さいことから、説明変数候補ｘ_３及びｘ_１０の有意性は低いと考えられる。「絶対値が小さいから有意性が低い」と言えるのは、先に述べたように説明変数が規格化されているためである。

次に、表１０に示した制約条件のうち、係数β_３及びβ_１０の制約条件を変更したものを表１２に示す。

そして、表１２の制約条件の下で得られたパラメータ（定数項α及び係数β_ｋ）の推定値を表１３に示す。

係数β_３及びβ_１０の制約条件を変更したことにより、対応する説明変数候補ｘ_３及びｘ_１０が説明変数として選択されなくなった。つまり、パラメータ推定と同時に、有意性が低い説明変数候補ｘ_３及びｘ_１０をモデルから取り除くことができている。これは、係数β_３及びβ_１０の取りうる値の集合にゼロが孤立点として含まれるように、両係数の制約条件を変更したことによる。

［実施例２ ロジスティック回帰モデルにおける変数選択］
続いて、ロジスティック回帰モデルにおける変数選択の実施例を説明する。ロジスティック回帰モデルは、ある事象が発生する確率を推定するモデルであり、以下のようなモデル式で表される。

ただし、ｉはサンプルＩＤであり、Ｘ_ｉ，ｋは、サンプルｉの第ｋ番目の説明変数候補Ｘ_ｋであり、線形予測子Ｚ_ｉはサンプルｉのスコアであり、Ｐ_ｉは、サンプルｉで当該事象が発生する確率の推定値である。また、αは定数項であり、β_ｋは第ｋ番目の説明変数候補Ｘ_ｋに対応する係数である。

上記事象及び説明変数候補はモデル化しようとする対象によって異なるが、本実施例は事象及び説明変数候補によらず適用可能である。例えば、融資先企業の貸し倒れという事象に対して、対象企業の各種財務指標を説明変数候補とすることができる。

θをパラメータベクトル、すなわちθ＝（α，β_１，β_２，・・・）とすると、各係数に制約条件を設けない場合の最尤推定量は、次式で与えられる。

ただし、Ｄ_ｉは、サンプルｉにおける当該事象の発生フラグであり、本モデルの応答変数である。サンプルｉにおいて当該事象が発生している場合はＤ_ｉ＝１であり、さもなければＤ_ｉ＝０である。Ｎはサンプル数である。

表１４は、ロジスティック回帰モデルの構築に用いるデータの例を示したものである。各レコードは、応答変数である発生フラグＤ_ｉの実現値と複数の説明変数候補の実現値とを含んでいる。

表１５は、各係数に対する制約条件の例である。各係数の制約条件が示す集合は、条件１が示す集合と条件２が示す集合との和集合である。

この例では、全ての係数について、自然な符号として正の符号が仮定されているものとする。加えて、各係数に対応する説明変数候補が説明変数として選択される場合には当該説明変数が一定の有意性を持つようにするために、「１．０以上又は０」という制約条件を課している。この制約条件が示す集合は、ゼロを孤立点として含む。表１５の制約条件（Ｃ_１５）を式で書けば、以下のようになる。

なお、この例では全ての係数について同じ制約条件を課したが、係数毎に異なる条件を課してもよい。

本実施例では、次の式によってパラメータ（定数項α及び係数β_ｋ）の推定値を得る。

こうした制約条件の下で最大の尤度を探索するアルゴリズムは様々なものが考えられるが、本実施例ではどのようなアルゴリズムを用いてもよい。

表１６は、制約条件Ｃ_１５の下で得られたパラメータの推定値をまとめたものである。係数β_１からβ_１００のうち、推定値が非ゼロとなっている係数に対応する説明変数候補が説明変数として選択されることになる。この例では、係数β_３及びβ_５がゼロと推定されており、説明変数候補ｘ_３及びｘ_５は説明変数として選択されないことがわかる。また、係数β_１００は、対応する制約条件における条件１の下限値である１．０と推定されている。

表１５に示した制約条件を一部変更したものを表１７に示す。具体的には、各係数の条件１における下限値が１．０から２．０に変更されている。そして、表１７の制約条件の下で得られたパラメータ（定数項α及び係数β_ｋ）の推定値を表１８に示す。

係数β_２、β_５、β_１００の推定値はゼロであることから、説明変数候補ｘ_２、ｘ_５、ｘ_１００が説明変数として選択されないことがわかる。

係数β_２の推定値は、表１６においては非ゼロであったものの、表１８においてはゼロとなっている。対照的に、係数β_３の推定値は、表１６においてはゼロであったものの、表１８においては非ゼロとなっている。このように、制約条件によって、係数β_２及びβ_３に対応する説明変数候補の選択結果が逆転している。これは、選択される説明変数の組み合わせによって係数の推定値が変わることによる。

制約条件を厳しくすることにより、選択される説明変数の数を減らすことができる。例えば、表１５の制約条件の下では４０個の説明変数が選択され、表１５の制約条件よりも厳しい表１７の制約条件の下では２３個の説明変数が選択される。あるいは、選択したい説明変数の数を予め想定しておいて、選択される説明変数の数が想定される数に一致するように、制約条件を定めることもできる。

本実施形態における説明変数の選択は、図９に示す変数選択装置１ａにより行われる。図１と同じ要素には同じ符号を付している。変数選択装置１ａは、レコード取得部１０と制約条件取得部５０と推定部３０と選択部４０とを備えている。制約条件取得部５０は、制約条件を取得する処理を行う。レコード取得部１０と推定部３０と選択部４０とが行う処理は先に述べた通りである。

本実施形態は、実施例１及び２に限定されるものではない。本実施形態によれば、自然な符号を仮定することが困難な係数に対応する説明変数候補が変数選択モデルに含まれる場合であっても、説明変数の選択を効率的に行うことができる。これは、係数の取りうる値の集合がゼロを孤立点として含むように、制約条件を定めることによる。変数選択モデルにおいて、全ての説明変数候補にそれぞれ対応する全ての係数について自然な符号を仮定することが困難な場合には特に本実施形態は有益である。

また、本実施形態によれば、有意性が高い説明変数を優先的に選択することができる。先に述べた絞込み処理を行わなくても、パラメータ推定の際に、有意性が比較的低い説明変数候補に対応する係数の推定値はゼロとなり、説明変数の選択を効率的に行うことができる。これは、係数の取りうる値の集合がゼロを孤立点として含むように制約条件を定めると、有意性が低い説明変数候補の係数の推定値がゼロとなる可能性が高まるからである。なお、推定後に絞込み処理を行ってもよい。

加えて、制約条件を変えることにより、選択される説明変数の数を変えることができる。制約条件を厳しくすることにより、選択される説明変数の数（すなわち、係数の推定値が非ゼロの説明変数候補）を減らすことができる。

本実施形態は、線形回帰モデル及びロジスティック回帰モデルだけではなく、二項ロジットモデル及び順序ロジットモデルを含む一般化線形モデルに適用することができる。

［その他］
変数選択にあたり、元になる指標をそのまま説明変数候補としてもよいが、必要に応じて、元になる指標の累乗を説明変数候補としてもよい。あるいは、元になる指標を対数変換したものを説明変数候補としてもよい。

式（４）において、応答変数がある値となる確率が関数Ｆの引数となっている。しかし、応答変数の期待値を関数Ｆの引数とすることも可能である。

第６の実施形態における制約条件は、全ての係数について係数毎に設定することができる。係数毎に、先に述べた第１〜第４の制約条件のいずれか又はその他の制約条件を設定することができる。あるいは、複数の係数の各々が取りうる値の集合が同一である場合は、その複数の係数に対して一つの制約条件を設定することもできる。いずれにしても、複数の係数の各々が取りうる値の集合が定まっていればよい。

補助記憶装置５６に限らず、変数選択装置１の内部又は外部に設けた記憶装置に符号条件を記憶することができる。モデル構築用データ、制約条件及び絞込み条件についても同様である。モデル構築用データ、符号条件、制約条件及び絞込み条件を同一の記憶装置に記憶してもよいし、複数の記憶装置に分散させて記憶してもよい。

レコード取得部１０は必須ではない。推定部４０が、複数の説明変数候補の実現値と、応答変数の実現値とを含む複数のデータを用いて、推定値の算出を行うことができるようになっていればよい。

第４の実施形態及び第５の実施形態において、制約条件に基づいた推定と絞込み条件に基づく絞込み処理とのいずれか又は両方をさらに行ってもよい。

本明細書に開示した実施形態は、装置としての側面だけではなく、方法としての側面及びコンピュータプログラムとしての側面をも有している。

本発明は、一般化線形モデルに限らず、線形予測子を用いて表現される、より広範な統計モデルに対して適用することができる。

以上、本発明の実施形態につき述べたが、本発明は既述の実施の形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。

１ 変数選択装置
１０ レコード取得部
２０ 符号条件取得部
３０ 推定部
４０ 選択部
５１ ＣＰＵ
５２ インタフェース装置
５３ 表示装置
５４ 入力装置
５５ ドライブ装置
５６ 補助記憶装置
５７ メモリ装置
５８ バス
５９ 記録媒体

Claims (12)

1. 線形予測子と、応答変数の期待値又は応答変数がある値となる確率との関係が所定の関数により表される統計モデルにおいて、
   前記線形予測子が、複数の説明変数候補と前記複数の説明変数候補にそれぞれ対応する複数の係数との線形結合と、定数項との和により表される変数選択用モデルを用いて、
   前記複数の説明変数候補から所望の説明変数を選択する装置であって、
   前記複数の係数の各々が取りうる値の集合を示す制約条件を取得する制約条件取得部であって、前記複数の係数のうちの少なくとも一つの係数に対する前記集合が、ゼロを孤立点として含み、かつゼロ以外の元をも含む、制約条件取得部と、
   前記複数の説明変数候補の実現値と、前記応答変数の実現値とを含む複数のデータを用いて、前記制約条件の下で、前記複数の係数の推定値及び前記定数項の推定値を算出する推定部と、
   推定値が非ゼロと算出された係数に対応する前記説明変数候補を前記所望の説明変数として選択する選択部と
   を備えた装置。
2. 複数の線形予測子と、応答変数の期待値又は応答変数がある値となる確率との関係が所定の関数により表される統計モデルにおいて、
   前記複数の線形予測子のうち少なくとも一つが、複数の説明変数候補と前記複数の説明変数候補にそれぞれ対応する複数の係数との線形結合と、定数項との和により表される変数選択用モデルを用いて、
   前記複数の説明変数候補から所望の説明変数を選択する装置であって、
   前記複数の係数の各々が取りうる値の集合を示す制約条件を取得する制約条件取得部であって、前記複数の係数のうちの少なくとも一つの係数に対する前記集合が、ゼロを孤立点として含み、かつゼロ以外の元をも含む、制約条件取得部と、
   前記複数の説明変数候補の実現値と、前記応答変数の実現値とを含む複数のデータを用いて、前記制約条件の下で、前記複数の係数の推定値及び前記定数項の推定値を算出する推定部と、
   推定値が非ゼロと算出された係数に対応する前記説明変数候補を前記所望の説明変数として選択する選択部と
   を備えた装置。
3. 前記推定部が、前記制約条件の下で、前記変数選択用モデルの尤度関数が最大となるときの前記複数の係数の値及び前記定数項の値を前記推定値とするものである、請求項１又は２に記載の装置。
4. 前記選択部により複数の前記説明変数が選択された場合に、
   前記説明変数の個数を絞り込むための所定の絞込み条件を取得する絞込み条件取得部と、
   前記絞込み条件に基づいて前記説明変数の個数を絞り込む絞込み処理部と
   をさらに備えた請求項１〜３のいずれか一項に記載の装置。
5. 線形予測子と、応答変数の期待値又は応答変数がある値となる確率との関係が所定の関数により表される統計モデルにおいて、
   前記線形予測子が、複数の説明変数候補と前記複数の説明変数候補にそれぞれ対応する複数の係数との線形結合と、定数項との和により表される変数選択用モデルを用いて、
   前記複数の説明変数候補から所望の説明変数を選択する方法であって、
   前記方法は、制約条件取得部と推定部と選択部とを備えた装置により行われ、
   前記制約条件取得部が、前記複数の係数の各々が取りうる値の集合を示す制約条件を取得する制約条件取得ステップであって、前記複数の係数のうちの少なくとも一つの係数に対する前記集合が、ゼロを孤立点として含み、かつゼロ以外の元をも含む、制約条件取得ステップと、
   前記推定部が、前記複数の説明変数候補の実現値と、前記応答変数の実現値とを含む複数のデータを用いて、前記制約条件の下で、前記複数の係数の推定値及び前記定数項の推定値を算出する推定ステップと、
   前記選択部が、推定値が非ゼロと算出された係数に対応する前記説明変数候補を前記所望の説明変数として選択する選択ステップと
   を含む方法。
6. 複数の線形予測子と、応答変数の期待値又は応答変数がある値となる確率との関係が所定の関数により表される統計モデルにおいて、
   前記複数の線形予測子のうち少なくとも一つが、複数の説明変数候補と前記複数の説明変数候補にそれぞれ対応する複数の係数との線形結合と、定数項との和により表される変数選択用モデルを用いて、
   前記複数の説明変数候補から所望の説明変数を選択する方法であって、
   前記方法は、制約条件取得部と推定部と選択部とを備えた装置により行われ、
   前記制約条件取得部が、前記複数の係数の各々が取りうる値の集合を示す制約条件を取得する制約条件取得ステップであって、前記複数の係数のうちの少なくとも一つの係数に対する前記集合が、ゼロを孤立点として含み、かつゼロ以外の元をも含む、制約条件取得ステップと、
   前記推定部が、前記複数の説明変数候補の実現値と、前記応答変数の実現値とを含む複数のデータを用いて、前記制約条件の下で、前記複数の係数の推定値及び前記定数項の推定値を算出する推定ステップと、
   前記選択部が、推定値が非ゼロと算出された係数に対応する前記説明変数候補を前記所望の説明変数として選択する選択ステップと
   を含む方法。
7. 前記推定ステップが、前記制約条件の下で、前記変数選択用モデルの尤度関数が最大となるときの前記複数の係数の値及び前記定数項の値を前記推定値とするステップである、請求項５又は６に記載の方法。
8. 前記装置は、絞込み条件取得部と絞込み処理部とをさらに備え、
   前記選択ステップにおいて複数の前記説明変数が選択された場合に、
   前記絞込み条件取得部が、前記説明変数の個数を絞り込むための所定の絞込み条件を取得する絞込み条件取得ステップと、
   前記絞込み処理部が、前記絞込み条件に基づいて前記説明変数の個数を絞り込む絞込みステップと
   をさらに含む請求項５〜７のいずれか一項に記載の方法。
9. 線形予測子と、応答変数の期待値又は応答変数がある値となる確率との関係が所定の関数により表される統計モデルにおいて、
   前記線形予測子が、複数の説明変数候補と前記複数の説明変数候補にそれぞれ対応する複数の係数との線形結合と、定数項との和により表される変数選択用モデルを用いて、
   前記複数の説明変数候補から所望の説明変数を選択するプログラムであって、
   前記複数の係数の各々が取りうる値の集合を示す制約条件を取得する制約条件取得ステップであって、前記複数の係数のうちの少なくとも一つの係数に対する前記集合が、ゼロを孤立点として含み、かつゼロ以外の元をも含む、制約条件取得ステップと、
   前記複数の説明変数候補の実現値と、前記応答変数の実現値とを含む複数のデータを用いて、前記制約条件の下で、前記複数の係数の推定値及び前記定数項の推定値を算出する推定ステップと、
   推定値が非ゼロと算出された係数に対応する前記説明変数候補を前記所望の説明変数として選択する選択ステップと
   をコンピュータに実行させるプログラム。
10. 複数の線形予測子と、応答変数の期待値又は応答変数がある値となる確率との関係が所定の関数により表される統計モデルにおいて、
    前記複数の線形予測子のうち少なくとも一つが、複数の説明変数候補と前記複数の説明変数候補にそれぞれ対応する複数の係数との線形結合と、定数項との和により表される変数選択用モデルを用いて、
    前記複数の説明変数候補から所望の説明変数を選択するプログラムであって、
    前記複数の係数の各々が取りうる値の集合を示す制約条件を取得する制約条件取得ステップであって、前記複数の係数のうちの少なくとも一つの係数に対する前記集合が、ゼロを孤立点として含み、かつゼロ以外の元をも含む、制約条件取得ステップと、
    前記複数の説明変数候補の実現値と、前記応答変数の実現値とを含む複数のデータを用いて、前記制約条件の下で、前記複数の係数の推定値及び前記定数項の推定値を算出する推定ステップと、
    推定値が非ゼロと算出された係数に対応する前記説明変数候補を前記所望の説明変数として選択する選択ステップと
    をコンピュータに実行させるプログラム。
11. 前記推定ステップが、前記制約条件の下で、前記変数選択用モデルの尤度関数が最大となるときの前記複数の係数の値及び前記定数項の値を前記推定値とするステップである、請求項９又は１０に記載のプログラム。
12. 前記選択ステップにおいて複数の前記説明変数が選択された場合に、
    前記説明変数の個数を絞り込むための所定の絞込み条件を取得する絞込み条件取得ステップと、
    前記絞込み条件に基づいて前記説明変数の個数を絞り込む絞込みステップと
    をさらに含む請求項９〜１１のいずれか一項に記載のプログラム。

Images