JP5683430B2 - 連続値回帰分析において用いられる特徴を選択する方法 - Google Patents

Description

この発明は、包括的には連続値回帰分析(continuous-valued regression analysis)に関し、より詳細には、連続値回帰分析を実行するときに利用可能な特徴のセットから特徴のサブセットを選択することに関する。

回帰分析は、従属変数と１つ又は複数の独立変数との間の関係をモデリングする。回帰分析は、独立変数のうちの任意の１つが変化し、一方でその他の独立変数が同じままであるとき、通常の従属変数がどのように変化するかを求めることができる。最も一般的には、回帰分析は、独立変数を所与として従属変数の条件付き期待値を推定する。

この発明が特に対象とするのは、連続値回帰分析において用いられる特徴を選択することである。回帰分析のための手順は、ニューラルネットワーク及びサポートベクターマシン(ＳＶＭ)を含む。回帰分析の通常の用途には、時系列予測、たとえば過去の値に基づいた電力需要の未来値の予測、及び利用可能な測定値に基づく対象となる未知の量の予測、たとえば身長、体重、血圧、及び髪の長さの測定値に基づくたとえば人間の寿命の予測が含まれる。

特徴選択は、回帰分析において用いられる利用可能な特徴のサブセットを求める。寿命を予測する用途の上記の例では、有用な特徴のサブセットは、身長、体重、及び血圧を含むことができる一方、髪の長さは有用でない。この用途では、特徴選択手順は、有用な特徴、たとえば身長、体重、及び血圧のサブセットのみを選択すべきであり、無用な特徴、たとえば髪の長さを除外すべきである。無用な特徴を除去することによって、特徴選択は後続の予測のための時間を低減することができる。無用な特徴を除去することによって、特徴選択は後続の予測の正確度を改善し、解釈がより容易なモデルをもたらすこともできる。

多くの特徴選択手順は、相関等の一次従属の単純な測度を用いて有用な特徴を選択する。これらの手法は、変数間の関係が非線形であるとき、失敗する可能性がある。ラッパー法は、特定の潜在的に非線形の回帰分析問題を評価することによって一度に少数の特徴を貪欲に選択する。ラッパー法は、特徴の小さなサブセットを貪欲に選択するので、特徴の最良な全体的な組み合わせを求めることができない。ラッパー法は多くの場合に計算集約的であり、回帰方法をサブルーチンとして直接組み込むので、その特定の回帰分析方法に直結する。

既知のＲＥＬＩＥＦ特徴選択手順によって、他の特徴選択方法の望ましくない特性のほとんどが回避される。参照によりこの明細書に援用される、２００７年６月１９日にLee他に発行された米国特許第７，２３３，９３１号「Feature regulation for hierarchical decision learning」を全体的に参照されたい。この方法は貪欲でなく、計算集約的でなく、特定の回帰分析方法に結びついていない。しかしながら、ＲＥＬＩＥＦ手順は分類問題及びカテゴリー問題、すなわち従属変数が離散値の小さなセットからの値をとることができる問題の場合にのみ機能する。カテゴリー問題の例は、病気検出問題であり、この問題において、従属変数は病気の存否を示す２つの可能な値のうちの１つをとることができる。カテゴリー問題と対照的に連続値問題は値の無限集合からの値、たとえば全ての実数をとることができる。この場合、従属変数によってとられる値を「目標値」と呼ぶ。

この発明の実施の形態は、連続値回帰分析問題等の連続値問題のための特徴を選択する方法を提供する。この方法は貪欲でなく、特徴と目標値との間の非線形関係が存在する問題に適用することができ、この方法は任意の回帰分析方法と共に用いることができる。

この発明の実施の形態による連続値回帰分析において用いられる特徴を選択する方法の流れ図である。

この発明の実施の形態は、連続値回帰分析において用いられる特徴を選択するための方法を提供する。二項分類のための特徴選択は既知であり、特に既知であるのはＲＥＬＩＥＦ法である。上記の米国特許第７，２３３，９３１号を参照されたい。ＲＥＬＩＥＦ法は、多数の無用な特徴が存在するときに良好に機能する。ＲＥＬＩＥＦ法の基本的な着想は、局所トレーニングを用いて任意の非線形問題を局所線形問題のセットに分解し、次にｌ(エル)_１正則化を用いて大きなマージンフレームワークにおいて大域的に特徴関連性を推定することである。

ＲＥＬＩＥＦ法は、通例同じクラスにある近傍の値を有する特徴を選択する。近傍の値を有する例が必ずしも同じクラスを共有しない特徴は選択されない。ＲＥＬＩＥＦ法は同じクラス又は異なるクラスからの近傍の特徴を検査するので、当然二項分類に適用される。

しかしながら、ＲＥＬＩＥＦ法は連続値回帰分析に適用されない。したがって、この発明の目的は、ＲＥＬＩＥＦ法を連続値回帰分析に適応させることである。

ＲＥＬＩＥＦ法を連続値回帰分析に適応させる１つの以前の試みは、特徴値に対する目標値の変化率を局所的に推定し、特徴値における変化が目標値の変化に対して予測可能な関係を有する特徴を選択する。米国特許第７，２３３，９３１号を参照されたい。この手法はいくつかの状況において機能するが、特徴と目標値との間の関係を推定するために選択される近傍のサイズの影響を非常に受けやすい可能性がある。

図１に示し以下でより詳細に説明するこの発明の方法では、連続出力をカテゴリ−離散値出力１２１にカテゴライズする。この方法は、連続値目標値ｙを、１つ又は複数の閾値ｙ_ｍにおいて閾値処理する(１２０)。閾値は目標値が分割される２つ以上のクラスを定義する。

単一の閾値ｙ_ｍをトレーニングデータセット１１０内の目標値の中央値となるように選択することによって、結果としてクラスの平衡が取られる、すなわち各クラス内の例の数が実質的に同じになる。用途に特有の知識を用いて他の閾値を選択することができる。

単一の閾値の場合、第１のクラス及び第２のクラスを以下のように定義する。

ここで、ｙ’は離散クラスラベルである。

ｙ_ｍを、トレーニングセットにわたる目標値ｙの中央値となるように選択することは、これによって第１のクラスの例の数が第２のクラスの例の数と実質的に同じになることが保証されるので、通例良好な閾値となる。

閾値処理を実行して二項クラスを割り当てた後、ロジスティックＲＥＬＩＥＦ法又は任意の他のカテゴリー特徴選択方法においてクラス値１２１を特徴値１１１と共に用いることができる。

非線形回帰分析方法
特徴選択を実行した後、選択された特徴を回帰分析方法１４０の入力として用いることができる。この発明の特徴選択方法は、予測値に対して非線形関係を有する特徴を選択することができる。したがって、当然ながら選択された特徴に非線形回帰分析方法を用いる。

回帰分析
この発明の回帰分析は、最小絶対偏差及びｌ_１正則化を用いた異分散(異なる分散を有する)サポートベクター回帰であり、トレーニングデータセットＤ１１０はＭ個の対のセット

を含み、ここでＸは入力パターンの空間、たとえばＸ＝Ｒ^ｄを示す。

各対は、入力ベクトルｘ_ｉ、及び目標出力値ｙ_ｉを含む。関数

は、対応する入力ベクトルｘ_ｉから目標出力ｙ_ｉを推定する。目標出力はトレーニングデータセット１１０から求められる。

この発明の回帰分析は、以下の最適化問題を解くことによってトレーニングされる。

ここで、ξ_ｉ及びξ^＊ _ｉはスラック変数、すなわち誤分類の度合いを示す変数であり、εは誤差許容度であり、λはｌ_１正則化の強度を制御するパラメーター、すなわちトレーニング誤差の最小化と比較したＷのｌ_１ノルムの最小化の相対的重要度であり、Ｗは線形係数ベクトルであり、Ｋはカーネル行列であり、βはカーネル行列のための係数ベクトルであり、Ｃは適合度を制御するパラメーターである。

新たな試験例のためのラベルが予測関数に従って推定される。

予測関数における線形項は、高度に相関した特徴、すなわち従属変数と強力な線形関係にある特徴がトレーニングデータ内に存在する場合に有用である。この発明の回帰分析における非線形カーネル項の特性は、特徴と従属変数との間の非線形関係を利用することによる補完的役割を有する。

連続値回帰のための特徴選択方法
この発明の方法は以下を用いる。
１．カテゴリーデータにも適用することができる特徴選択方法。これを「カテゴリー特徴選択方法」と呼ぶ。この発明の実施態様において、カテゴリーデータのためのこの発明の特徴選択方法としてＲＥＬＩＥＦの一変形を用いる。
２．回帰分析方法。この発明の実施態様では、最小絶対偏差及びｌ_１正則化を用いた異分散サポートベクター回帰を用いる。

図１は、連続値回帰分析のための特徴を選択するためのこの発明の方法１００を示している。この方法は、当該技術分野において既知のメモリ及び入力／出力インターフェースを含むプロセッサ１０１において実行することができる。

この方法への入力はトレーニングデータ１１０である。トレーニングデータは、特徴１１１と、対応する連続目標値ｙ１１２とを含む。

連続値目標値ｙは、１つ又は複数の閾値ｙ_ｍ１１９において閾値処理及び離散化され(１２０)、離散目標値１２１が生成される。閾値は目標値を分割することができる２つ以上のクラスを定義する。

閾値のうちの１つが、結果として２つの平衡が取られたクラスをもたらすための目標値の中央値として選択される。用途に特有の知識に基づいて他の閾値を選択することができる。

離散値目標１２１を用いてカテゴリー特徴選択１３０が特徴１１１に適用され、選択された特徴１３１がもたらされる。

選択された特徴１３１及び連続目標値１１２が回帰分析方法１４０に入力され、連続値目標を選択された特徴に関係付ける予測関数１４１が生成される。

Claims (5)

1. 連続値回帰分析において用いられる特徴を選択する方法であって、
   入力としてトレーニングデータセットを提供するステップであって、該トレーニングデータセットは特徴及び対応する目標値を含み、該目標値は連続しており、前記特徴ごとに１つの目標値が存在するものと、
   閾値に対して各前記目標値を閾値処理及び離散化するステップであって、離散化された目標値を生成するものと、
   前記離散化された目標値を用いて前記特徴にカテゴリー特徴選択を適用するステップであって、選択された特徴をもたらすものと、
   を含み、
   前記閾値処理及び離散化するステップは、前記目標値が分割される１つ又は複数の閾値に対するものであり、
   単一の閾値を、前記トレーンングデータセットにおける前記目標値の中央値になるように選択するステップであって、結果として平衡の取れたクラスをもたらすものをさらに含み、
   前記ステップはプロセッサにおいて実行される、方法。
2. 前記選択された特徴を用いて連続値回帰分析を実行するステップをさらに含む、請求項１に記載の方法。
3. 前記１つ又は複数の閾値は用途に特有の知識に基づく、請求項１に記載の方法。
4. 前記回帰分析は非線形である、請求項１に記載の方法。
5. 前記回帰分析は最小絶対偏差及びｌ_１正則化を用いた異分散サポートベクター回帰である、請求項１に記載の方法。

Images