JP5338492B2

JP5338492B2 - 入力変数選択支援装置

Info

Publication number: JP5338492B2
Application number: JP2009137144A
Authority: JP
Inventors: 賢哉村上; 東輝項; 智司菅野
Original assignee: Fuji Electric Co Ltd
Current assignee: Fuji Electric Co Ltd
Priority date: 2009-06-08
Filing date: 2009-06-08
Publication date: 2013-11-13
Anticipated expiration: 2029-06-08
Also published as: JP2010282547A

Description

本発明は、入出力モデルの複数の入力候補変数から好ましい入力候補変数を判定して入力変数とするような入力変数選択を支援する入力変数選択支援装置に関する。

入出力モデルは、複数の入力変数（説明変数）から出力変数（目的変数）を算出する機能を有している。このような入出力モデルの複数の入力変数に入力値を代入し、出力変数として予測値・目算値を得る。このような入出力モデルの利用例であるが、例えば、電力・水道・一般消費財などの各種需要予測、流量・圧力・河川流量などの制御用予測、原料濃度・製品濃度・微生物数・強度などの品質特定、などを出力変数（予測対象）とするモデルが挙げられる。

これら入出力モデルは、多くの入力変数および出力変数を有し、多くの入力値を代入して出力値を得るモデルである。このような入出力モデルを作成する上では多くの入力候補変数から必要最低限の入力変数とする絞り込みが行われることが多く、この入力変数の絞込みはモデル作成において重要なステップの１つである。

このような変数の絞込みに関する従来技術として、例えば、特許文献１（特開２００２−２６８７０３号公報、発明の名称「末端圧力制御用支援装置」）が開示されている。特許文献１に記載の末端圧力制御用支援装置は、相関係数でまず使用する変数をユーザが大まかに定め（絞り込み）、その上で変数増減法等により詳細な変数設定を行う、というものである。

ここで相関係数は一般に２つの変数の間の相互関係の大きさを示すもので−１と１の間の値になる、というものである。相関係数は１に近いほど正の強い相関、−１に近いほど負の強い相関を持つとされる。したがって、相関係数の絶対値が１に近いほど２つの変数には強い相関があることになる。特許文献１に記載の末端圧力制御用支援装置はこの関係を利用して変数の絞込みを行う。

特開２００２−２６８７０３号公報（［００３１］〜［００３３］）

特許文献１に記載の末端圧力制御用支援装置では、相関関係を利用して変数の絞込みを行うが、これは２変数の線形の関係を見ているだけであり、また、散発的にしか変化しない変数などにおいては影響が大きくても相関係数としては小さくなる場合もあり、これにより重要な入力候補変数を見落とすおそれがあるという問題があった。また、入力候補変数同士に強い相関がある場合、その両方が出力と相関が強ければ両方とも入力変数として採用されることになるが、両方の変数が含まれることは冗長であるという問題もあった。

さらに特許文献１に記載の末端圧力制御用支援装置が採用する変数増減法は、入力候補変数を追加した場合の予測誤差（バラツキ）の減少、また入力候補変数を削除した場合の予測誤差（バラツキ）の増加のしかたにより入力候補変数の選択を行うものであるが、一般に計算は複雑で時間を要するという問題もあった。

そこで、本発明は上記した問題に鑑みてなされたものであり、その目的は、簡便な方法により入力候補変数から入力変数を絞り込むための指標を提示し、入力変数選択の支援を行う入力変数選択支援装置を提供することにある。

本発明の請求項１に係る入力変数選択支援装置は、
データ処理部と、
複数の入力候補変数と出力変数とについての実績値であるモデル情報データが登録されるモデル情報データベースが構築されており、前記データ処理部によりデータの読み書きが行なわれる記憶部と、
前記データ処理部へ入力がなされる入力部と、
前記データ処理部から出力がなされる出力部と、
を有し、予測装置における入出力モデルの作成に用いる入力変数を選択する入力変数選択支援装置であって、前記データ処理部は、
前記モデル情報データを前記出力変数および前記入力候補変数ごとに平均値が０であり標準偏差が１となるように標準化する標準化手段と、
前記標準化されたモデル情報データを用いて、全入力候補変数と出力変数の関係を表す複数の入出力モデル［ｊ］（ｊ＝１，・・・，ＪであってＪは２以上の自然数）を、モデル原理を異ならせて多形式にわたり生成する多形式入出力モデル作成手段と、
前記入出力モデル［ｊ］の各入力候補変数の変化量に対する出力変数の変化量を、その入力候補の変化量で除した値の絶対値である感度を入力候補変数ごとに生成する感度生成を入出力モデル［１］，・・・，入出力モデル［ｊ］，・・・，入出力モデル［Ｊ］についてそれぞれ行う感度生成手段と、
前記各入出力モデルの感度が大きい入力変数を選択する入力変数選択手段と、
選択された入力変数を出力部を通じて提示する提示手段と、
を備えることを特徴とする。

また、本発明の請求項２に係る入力変数選択支援装置は、
請求項１に記載の入力変数選択支援装置において、
前記入力変数選択手段は、
入出力モデル［１］，・・・，入出力モデル［ｊ］，・・・，入出力モデル［Ｊ］の何れか１つの入出力モデル［ｊ］における入力候補変数について感度の大きい順に入力候補変数をソートする並べ替えを行う並べ替え手段と、
感度が大きい順に並び替えられた入力候補変数を、予め設定された個数で感度が大きい側から選択する変数選択を行う入力変数選択手段と、
を備えることを特徴とする。

また、本発明の請求項３に係る入力変数選択支援装置は、
請求項１に記載の入力変数選択支援装置において、
前記入力変数選択手段は、
入出力モデル［ｊ］における入力候補変数について感度の大きい順に入力候補変数をソートする並べ替えを入出力モデル［１］，・・・，入出力モデル［ｊ］，・・・，入出力モデル［Ｊ］についてそれぞれ行う並べ替え手段と、
感度が大きい順に並び替えられた入力変数を、予め設定された個数で感度が大きい側から選択する変数選択を全ての入出力モデル［１］，・・・，入出力モデル［ｊ］，・・・，入出力モデル［Ｊ］についてそれぞれ行う入力変数選択手段と、
を備えることを特徴とする。

また、本発明の請求項４に係る入力変数選択支援装置は、
請求項１に記載の入力変数選択支援装置において、
前記入力変数選択手段は、
入出力モデル［ｊ］における入力候補変数について感度の大きい順に入力候補変数をソートする並べ替えを入出力モデル［１］，・・・，入出力モデル［ｊ］，・・・，入出力モデル［Ｊ］についてそれぞれ行う並べ替え手段と、
入出力モデル［ｊ］を第１のグループおよび第２のグループに分ける選別手段と、
第１のグループの入出力モデルのすべてについて、感度が大きい順に並び替えられた入力変数を、予め設定された個数で大きい側から選択する変数選択を行う第１入力変数選択手段と、
第２のグループの入出力モデルのいずれかについて、感度が大きい順に並び替えられた入力変数を、予め設定された個数で大きい側から選択する変数選択を行う第２入力変数選択手段と、
を備えることを特徴とする。

また、本発明の請求項５に係る入力変数選択支援装置は、
請求項３または請求項４に記載の入力変数選択支援装置において、
前記入力変数選択手段は、
各入出力モデル［ｊ］について選択した入力変数のＡＮＤ集合またはＯＲ集合により最終的に選択される入力変数を決定する決定手段と、
を備えることを特徴とする。

また、本発明の請求項６に係る入力変数選択支援装置は、
請求項１〜請求項５の何れか一項に記載の入力変数選択支援装置において、
前記入出力モデルは重回帰モデル、ニューラルネットワークモデル、主成分回帰モデル、または、部分的最小二乗法モデルの少なくとも一個を含む組合せであることを特徴とする。

また、本発明の請求項７に係る入力変数選択支援装置は、
請求項６に記載の入力変数選択支援装置において、
前記入出力モデルは、重回帰モデルによる入出力モデル［１］、および、ニューラルネットモデルによる入出力モデル［２］であることを特徴とする。

また、本発明の請求項８に係る入力変数選択支援装置は、
請求項７に記載の入力変数選択支援装置において、
前記入出力モデル［１］での重回帰モデルは、
部分的最小二乗法モデルまたは主成分回帰モデルに重回帰モデルを変換して生成されることを特徴とする。

本発明によれば、簡便な方法により入力候補変数から入力変数を絞り込むための指標を提示し、入力変数選択の支援を行う入力変数選択支援装置を提供することができる。

本発明を実施するための形態の入力変数選択支援装置の構成図である。モデル情報データベースの構造図である。モデル情報データベースの構造図である。入力候補変数の選択を説明する説明図である。入力候補変数の提示を説明する説明図である。

続いて、本発明を実施するための形態について図を参照しつつ以下に説明する。まず、入力変数選択支援装置１００の全体構造について図１を参照しつつ説明する。入力変数選択支援装置１００は、図１に示すように、データ管理用コンピュータ１、入力部２、出力部３を少なくとも備えている。本形態の入力変数選択支援装置１００は、例えば、一台のコンピュータを想定している。

データ管理用コンピュータ１は、さらにデータ処理部１０、記憶部２０を備えている。データ処理部１０は、ＭＰＵやＣＰＵであり、後述するような各手段として機能する。記憶部２０は、例えばハードディスク等の大容量記憶装置であり、後述するようなデータベースが構築されている。なお、データ処理部１０と記憶部２０との間、データ処理部１０と入力部２との間、データ処理部１０と出力部３との間には通常はメモリが介在して読み書きがなされるが当然にメモリを介して読み書きが行われるものとしてメモリについては省略しつつ以下の説明を進める。

入力部２は、例えばキーボードや、ファイル送信可能な外付けハードディスク・ＵＳＢメモリなどであり、入力部２から入力されたデータがデータ処理部１０にて処理される。
出力部３は、ディスプレイ装置、プリンタ装置などであり、データ処理部１０から出力されたデータにより画面表示・印刷というデータ出力がなされる。

続いて、入力変数選択支援装置１００の実際の運用について図を参照しつつ説明する。図１で示すように、入力変数選択支援装置１００のデータ処理部１０は、モデル情報収集手段１０１、標準化手段１０２、多形式入出力モデル作成手段１０３、感度生成手段１０４、入力変数選択手段１０５、提示手段１０６を備える。以下順に説明する。

まず、データ処理部１０は、入力部２から入力された過去の実績に係る複数のモデル情報データをモデル情報データベース２１に登録するモデル情報収集手段１０１として機能する。
まず、システムの管理者が、予め必要となるモデル情報データベース２１を設計し、モデル情報データベース２１に対して入力部２からデータベースの構造を登録しておくものとする。続いて、システムの管理者が、モデル情報データを登録する。モデル情報データの入力方法は、専用画面を通じての入力でもよいし、ＣＳＶ（Comma Separated Value）形式によるファイル入力でもよい。

そして、このモデル情報データは、図１で示すように、記憶部２０のモデル情報データベース２１の実測データテーブルに蓄積される。モデル情報データベース２１の実測データテーブルのテーブル構造は、例えば、図２で示すように構成される。図２ではある事象について表す番号、複数の入力候補変数についての実績値である入力候補変数データ、出力変数についての実績値である出力変数データが記録される。番号は例えば時間別に付与される。このようにモデル情報データベース２１では、あるときの複数の入力候補変数についての実績値である入力候補変数データ、出力変数についての実績値である出力変数データとを連関させて登録しており、直ちにアクセス可能な状態へ整理されている。

また、図３に示すように、モデル情報データベース２１の変数テーブルには、入力候補変数や、後述する提示時に理解しやすくするための変数のタグ名や後述する感度も併せて登録されている。タグ名はモデル別・入力候補変数別に登録されている。図３では入出力モデル［ｊ］についての変数テーブルが登録されている点が図示されているが、入出力モデル［１］〜入出力モデル［Ｊ］の全てについてそれぞれ変数テーブルが設定されている。

入力候補変数はｘ_１、ｘ_２、・・・、ｘ_ｍ、・・・、ｘ_Ｍ（ｍ＝１、・・・Ｍ）である。また、出力変数はｙである。そして、番号がｉのときはある時点ｉのデータであることを表す。この番号がｉの場合の入力候補変数データはｘ_１（ｉ）、ｘ_２（ｉ）、・・・ｘ_m（ｉ）、・・・、ｘ_M（ｉ）（ｉ＝１、・・・、Ｉ）である。また、出力変数データは、ｙ（ｉ）（ｉ＝１、・・・、Ｉ）である。ここに括弧の数字は番号を表す、つまり番号がｉのときはある時点ｉのデータであることを表す。そして番号Ｉまでのデータが蓄積されている。
モデル情報データベース２１に登録されているモデル情報や変数について情報はこのようなものである。

続いて、データ処理部１０は、出力変数および入力候補変数ごとに平均値が０であり標準偏差が１となるようにモデル情報データを標準化する標準化手段１０２として機能する。標準化したモデル情報データは、図２で示したモデル情報データベース２１のテーブル構造と同じ構造である他の標準化データテーブルに登録される。この場合も入力候補変数はｘ_１、ｘ_２、・・・、ｘ_ｍ、・・・、ｘ_Ｍ（ｍ＝１、・・・Ｍ）で表される。また、出力変数はｙで表される。入力候補変数データはｘ_１（ｉ）、ｘ_２（ｉ）、・・・ｘ_m（ｉ）、・・・、ｘ_M（ｉ）（ｉ＝１、・・・、Ｉ）で表される。また、出力変数データは、ｙ（ｉ）（ｉ＝１、・・・、Ｉ）で表される。ここに括弧の数字は番号を表す、つまり番号がｉのときはある時点ｉのデータであることを表す。そして番号Ｉまでのデータが蓄積されている。以下、この標準化されたデータを用いる。

続いて、データ処理部１０は、標準化されたモデル情報データを用いて、上記した全入力候補変数と出力変数の関係を表す複数の入出力モデル［ｊ］（ｊ＝１、・・・、ＪであってＪは２以上の自然数）を、それぞれのモデル原理を異ならせて多形式にわたり生成する多形式入出力モデル作成手段１０３として機能する。先に標準化された入力候補変数データおよび出力変数データ全体を用いて入出力モデル［１］、・・・、入出力モデル［ｊ］、・・・、入出力モデル［Ｊ］が作成される。これら複数の入出力モデルは、それぞれ原理が異なっている。例えば、入出力モデル［１］がニューラルネットワークによる入出力モデル、入出力モデル［２］が重回帰モデルによる入出力モデル、・・・、入出力モデル［Ｊ］が部分最小二乗法モデルによる入出力モデルというものである。これら入出力モデル［１］、・・・、入出力モデル［ｊ］、・・・、入出力モデル［Ｊ］の作成は、後述する学習や設定により決定される。

作成された入出力モデル［１］は入力候補変数Ｘに対する出力変数Ｙの関数として定義でき、次式のように表される。

ここにＸはＭ個の入力候補変数、Ｙは１個の出力変数である。Ｘは次式のように表される。

また、入出力モデル［ｊ］は入力候補変数Ｘに対する出力変数Ｙの関数として定義でき、次式のように表される。ＸはＭ個の入力候補変数、Ｙは１個の出力変数である点は上記と同様である。

続いて、データ処理部１０は、入出力モデル［ｊ］の各入力候補変数の変化量に対する出力の変化量を、その入力候補の変化量で除した値の絶対値である感度（入力を微小な変化量により変化させた場合の出力の変化量を、入力の変化量で除した比の絶対値）を入力候補変数ごとに生成する感度生成を入出力モデル［１］、・・・、入出力モデル［Ｊ］についてそれぞれ行う感度生成手段１０４として機能する。この感度生成では、ある入力候補変数へ所定の入力値を代入して出力変数から出力値を得て、続いて同じ入力候補変数へ所定の入力値から微小な変化量で変化させた入力値を代入して出力変数からの新たな出力値を得てこれら出力値の差分値である変化量を得る。そしてこの出力値の変化量を、入力値の変化量で除して算出した比の絶対値を得ることで当該入力候補変数の出力変数に対する感度が計算される。

この感度生成は全ての入出力モデル［１］、・・・、入出力モデル［Ｊ］について行われる。さらに、各入出力モデルにおける全ての入力候補変数に対して行われる。まず、入出力モデル［１］のある変数ｘ_ｍについての比ｓ_１ｍは次式のように表される。

ここで、入力候補変数をｘ_ｍ（ｍ＝１、・・・、Ｍ）、Ｘ＝［ｘ_１、・・・、ｘ_Ｍ］^Ｔとし、入力候補変数ｘ_ｍの微小変化をΔｘ_ｍとしている。
このような入出力モデル［１］の入力候補変数であるｘ_１、・・・、ｘ_ｍ、・・・、ｘ_Ｍについての比ｓ_１１、・・・、ｓ_１ｍ、・・・、ｓ_１Ｍが算出され、絶対値を取って感度｜ｓ_１１｜、・・・、｜ｓ_１ｍ｜、・・・、｜ｓ_１Ｍ｜がＭ個算出される。

また、入出力モデル［ｊ］のある変数ｘ_ｍについて感度ｓ_ｊｍ次式のように表される。

このような入出力モデル［ｊ］の入力候補変数であるｘ_１、・・・、ｘ_ｍ、・・・、ｘ_Ｍについての比ｓ_ｊ１、・・・、ｓ_ｊｍ、・・・、ｓ_ｊＭがＭ個算出されされ、絶対値を取って感度｜ｓ_ｊ１｜、・・・、｜ｓ_ｊｍ｜、・・・、｜ｓ_ｊＭ｜がＭ個算出される。
また、入出力モデル［Ｊ］のある変数ｘ_ｍについて感度ｓ_Ｊｍ次式のように表される。

このような入出力モデル［Ｊ］の入力候補変数であるｘ_１、・・・、ｘ_ｍ、・・・、ｘ_Ｍについての比ｓ_Ｊ１、・・・、ｓ_Ｊｍ、・・・、ｓ_ＪＭがＭ個算出され、絶対値を取って感度｜ｓ_Ｊ１｜、・・・、｜ｓ_Ｊｍ｜、・・・、｜ｓ_ＪＭ｜がＭ個算出される。

このようにして入出力モデル［１］、・・・、入出力モデル［ｊ］、・・・、入出力モデル［Ｊ］において、それぞれの入力候補変数であるｘ_１、・・・、ｘ_ｍ、・・・、ｘ_Ｍについての比ｓ_１１、・・・、ｓ_ＪＭが算出され、絶対値を取って感度｜ｓ_１１｜、・・・、｜ｓ_ＪＭ｜がＪ×Ｍ個算出される。これら感度が指標として用いられる。これらは図３で示したモデル別に設定された変数テーブルに登録される。

このようにして計算される「感度」は、入力候補変数が単位量変化したときの出力の変化分を表すもので、正の方向、または負の方向にその影響度の分だけの変化を及ぼすものである。

続いて、データ処理部１０は、各入出力モデルの感度が大きい入力変数を選択する入力変数選択手段１０５として機能する。選択方法は各種あるが、例えば、複数の入出力モデルから予め選択された入出力モデル［ｊ］のみにおける感度の大きい順に入力候補変数をソートする並べ替えを行う並べ替え手段として機能し、続いて並び替えられた順に予め設定された個数ｐ個の入力候補変数を入力変数として選択する入力変数選択確定手段として機能することで、選択するようにしても良い。例えば、図４で示す中から、予め選択された入出力モデル［ｊ］の感度の降順の入力候補変数の順位について、ユーザが指定した入力変数の個数分（例えば入力変数をｐ個づつ）をとった変数群（入力変数または入力変数のタグ名の集合）について個々に表示する。
なお、複数ある入出力モデルの中から入出力モデル［ｊ］を一個選択する際の選択基準として、例えば、最も大きい感度を有する入出力モデルとしたり、感度の総和が大きい入出力モデルとすることができる。いずれも感度が高い入出力モデルを採用しているため、有効な入出力モデルを選択することができる。

また、他の選択手法として、データ処理部１０は、入出力モデル［ｊ］における感度の大きい順に入力候補変数をソートする並べ替えを入出力モデル［１］、・・・、入出力モデル［Ｊ］についてそれぞれ行う並べ替え手段として機能し、続いて全ての入出力モデルについて並び替えられた順に予め設定された数の入力候補変数を入力変数として選択する入力変数選択確定手段として機能することで、選択するようにしても良い。例えば、図４で示すように、入出力モデル［１］、・・・、入出力モデル［Ｊ］のそれぞれ感度の降順の入力候補変数の順位について、それぞれユーザが指定した入力変数の個数分（例えば入力変数をｐ個づつ）をとった変数群（入力変数または入力変数のタグ名の集合）について、それぞれ個々に表示する。また、図示しないが、これらｐ個ずつ選択した入力変数についてさらに積集合（ＡＮＤ集合）や和集合（ＯＲ集合）とするというものである。このようにして選択しても良い。

また、他の選択手法として、データ処理部１０は、入出力モデル［１］、・・・、入出力モデル［Ｊ］を第１グループと第２のグループとに分けるグループ選別手段として機能し、第１のグループについてその入出力モデルのすべてについて感度が上位ｐ個以内に入る入力候補変数を入力変数として選択する第１変数選択手段として機能し、第２のグループについてその入出力モデルのいずれかについて感度が上位ｐ個以内に入る入力候補変数を入力変数として選択する第２変数選択手段として機能し、第１変数選択手段および第２変数選択手段について算出された感度の大きい順に予め設定された数だけ入力変数を選択する変数選択手段として機能することで、選択するようにしても良い。
なお、第１グループの選択基準として、例えば、感度が所定値よりも大きい入出力モデルとしたり、感度の総和が所定値よりも大きい入出力モデルとすることができる。第２グループの選択基準として、例えば、感度が所定値よりも小さい入出力モデルとしたり、感度の総和が所定値よりも小さい入出力モデルとすることができる。

そして、第１グループおよび第２グループの入出力モデル［１］，・・・，入出力モデル［Ｊ］での感度が降順の上位ｐ個の入力変数のいずれか、または選択された入力変数の積集合（ＡＮＤ）や和集合（ＯＲ）として選択された入力変数が選択される。このようにして最終的な入力変数が決定される。
これら何れかの手法により入力変数が選択される。

これらのように入力候補変数の出力への影響度を端的に表す感度に基づいて、入力候補変数から入力変数を選択している。入力候補変数の中で、実際にモデルの入力として選択を行う場合に、出力への影響度の大きい変数を抽出するのは至極妥当であるが、この場合選択される変数はモデルに依存することになるため、１つのモデルでの感度だけに基づく場合には偏りが生じる恐れがある。そこでこれを複数の形式のモデルに基づいて行うことにより、選ばれる入力候補変数は入力候補変数の絞込み方法として大変妥当な方法であると言える。

続いて、データ処理部１０は、選択された入力候補変数を出力部３を通じて提示する提示手段１０６として機能する。データ処理部１０が、感度に基づいて選択された入力変数を出力部３に出力させる（ディスプレイ装置などに画面表示させるように制御したり、プリンタに印刷印字させたりする）ことであり、例えば、図５で示すように表示や印刷がされる。この際、入力選択変数を表すタグに加えて、感度を表示するようにすれば選択理由も分かるため、使用者の経験等により入力変数を変更して選択するなどの利用も可能となる。
入力変数選択支援装置１００はこのようなものである。

続いて入出力モデルの詳細について説明する。ここでは多形式入出力モデル作成手段の詳細に関するものとなる。例えば、入出力モデルとして重回帰モデルが選択される。重回帰モデルは線形であり、入出力モデルも線形となる。
この重回帰モデルは、以下のように表される。

ここにＡは係数ベクトルであり、次式のように表される。

続いて重回帰モデルの作成（Ａの学習）について説明する。
データ処理部１０は、モデル作成（Ａの学習）用のモデル情報データをモデル情報データベース２１の標準化データテーブルから読み出す手段として機能する。このモデル情報データは入力候補変数（ｘ）、出力変数（ｙ）の過去の多数のサンプルからなるデータである。具体的には、ｘは一般にＭ変数とし、サンプル数をＩとする。このモデル情報データを行列の形で並べると以下のようになり、各行が各サンプル、各列が各変数を表す。

ｙは、一般に１変数とし、Ｉ行×１列の縦ベクトルとするとこのモデル情報データは以下のように表わされる。

データ処理部１０は、入力されたモデル情報データ全体を用いて入出力モデル１（重回帰モデル）を作成する重回帰モデル作成手段として機能する。具体的には、重回帰モデルは、以下のように表される。

この場合にｘからｙを予測する重回帰モデルの係数Ａは、最小二乗法により、以下のようにして求められる。なお、重回帰モデルの係数Ａの詳細な導出方法は、例えば次の文献（ケモメトリックス―化学パターン認識と多変量解析，宮下芳勝・佐々木慎一著，共立出版，1995年）を参照することができる。

このＡを決定することで重回帰モデルが決定される。

このような重回帰モデルの感度について、上記の数６のようにｍ番目の入力候補変数ｘ_ｍをΔｘ_ｍだけ変化させると、出力はａ_ｍΔｘ_ｍだけ変化する。したがってその感度は｜ａ_ｍ｜となり、各入力候補変数の感度は係数ベクトルＡの係数の絶対値に一致する。したがってこの重回帰係数自体の絶対値の順の優先順位で入力候補変数を入力変数として選択することとなる。

続いて他の入出力モデルとしてニューラルネットワークモデルが選択される。ニューラルネットワークモデルは、一般に入力層、中間層、出力層からなる３階層ニューラルネットワーク構造を有しており、さらに、入力層と中間層との素子間、中間層と出力層との素子間に結合を持つ。入力層には入力変数の数分の素子、出力層には出力変数の数分の素子があり、中間層は任意に指定された素子からなる。

このニューラルネットワークでは入力層における素子が入力因子に、また、出力層における素子が出力因子に、それぞれ相当する。そしてニューロン間では結合の度合いを結合係数で表しており、この結合係数は、ニューラルネットワークの素子間の結合の重みを表すための係数である。結合係数が大きければ、結合が重みを有している、つまり、必要な結合であるとされ、結合係数が小さければ、結合が重みを有していない、つまり、不要な結合であるとされる。結合係数ｗの大きさを更新することで、入出力間の非線形関係を学習することができる。

このようにニューラルネットワークモデルは線形・非線形を問わずデータからのモデル化が可能であるため、これを「入出力モデル」として扱う。ニューラルネットワークは、「学習フェーズ」において学習させるべき入出力データを「教師データ」としてその入出力特性を学習させ、学習フェーズが完了したニューラルネットワークを「モデル」としてこれにより予測や感度解析などを行う。ここでのデータを用いると、教師データの入力変数としてＸの各行を、出力変数として入力変数の各行に対応するｙの各行を与え、Ｘの各行によるニューラルネットワークの出力がｙの対応する行にできるだけ合致するようにニューラルネットワークの学習が行われる。

続いて学習について説明する。
データ処理部１０は、モデル作成（モデルの学習）用のモデル情報データを入力する手段として機能する。このモデル情報データは一般に入力候補変数（ｘ）、出力変数（ｙ）の過去の多数のサンプルからなるデータである。具体的には、ｘは一般にＭ変数とし、過去のサンプル数をＩとする。このデータを行列の形で並べると上記の数１０，数１１のようになり、各行が各サンプル、各列が各変数を表す。

このようなニューラルネットワークモデルでは、モデル構造や結合係数を変更することで非線形の入出力関係を処理することができる。このようなニューラルネットワークの入出力モデル構築とは、複数の入力層素子（入力因子）に入力された入力値に対し、出力層素子（出力因子）から所望の出力値が得られるように入力層と中間層、また、中間層と出力層との結合係数を変更することをいう。これにより結合係数が確定するものとする。データ処理部１０は、入力と出力とに実測に係るデータをＩ通り代入し結合係数を確定していく。ニューラルネットワークの入出力モデルはこのようにして決定される。

このようなニューラルネットワークモデルの感度について、実際にはニューラルネットワークでは単純な式としては表わせないが、これを仮にＧ（ｘ）として表し、このニューラルネットワークモデルが入出力モデル［ｊ］であるとする。この場合、変数ｘ_ｍについての比ｓ_ｊｍは次式のように表される。

ここで、入力候補変数をｘ_ｍ（ｍ＝１、・・・、Ｍ）、Ｘ＝［ｘ_１、・・・、ｘ_Ｍ］^Ｔとし、入力候補変数ｘ_ｍの微小変化をΔｘ_ｍとしている。
このような入出力モデル［１］の入力候補変数であるｘ_１、・・・、ｘ_ｍ、・・・、ｘ_Ｍについての比ｓ_ｊ１、・・・、ｓ_ｊｍ、・・・、ｓ_ｊＭが算出され、絶対値を取って感度｜ｓ_ｊ１｜、・・・、｜ｓ_ｊｍ｜、・・・、｜ｓ_ｊＭ｜がＭ個算出される。このような感度はＧ_１（ｘ）、・・・、Ｇ_Ｊ（ｘ）について算出される。

このようなニューラルネットワークモデルの感度についても予測困難であるが、上記のようにして求めた感度の順の優先順位で入力候補変数を選択して入力変数として用いることとなる。

また、入出力モデルとして主成分回帰モデルが選択される。主成分回帰モデルは上記の重回帰モデルを改良することで得られる線形モデルであり、これを「入出力モデル」として扱う。重回帰モデルにおいて、入力候補変数が多い場合には、モデル作成用データから直接重回帰モデルを作成することは難しくなる。これは具体的には、モデル作成用データからモデルを作成する際に、一般には最小二乗法により重回帰係数を算出するが、入力候補変数間に線形従属またはそれに近い関係（多重共線性）がある場合には最小二乗法の中の行列計算が不安定になるためである（具体的には最小二乗法の計算過程に逆行列計算に対応する計算が含まれ、この逆行列計算が不安定になるためである）。

これに対して、主成分回帰法を適用した場合、入力候補変数を、数が少なく互いに相関の無い中間変数（主成分）に集約し、この中間変数から出力への重回帰モデルが作成される。元の入力候補変数から中間変数への関係は線形であり、定数係数行列として得られるため、この係数行列と、中間変数から出力への関係を表す重回帰係数とを組み合わせる（行列の積をとる）ことで入力候補変数から出力変数への重回帰係数に対応する係数が計算される。このように多重共線性がある入力変数を除去することで入力変数を低減させるため、計算の不安定性が発生しないようになり、安定にモデル作成計算を行うことができる。なお、入力変数それぞれに多重共線性がない場合には、入力変数の数は減少しないこともある。

続いて、主成分回帰モデルの学習について説明する。データ処理部１０は、モデル作成（学習）用のモデル情報データが入力される。このモデル情報データは一般に入力候補変数（ｘ）、出力変数（ｙ）の過去の多数のサンプルからなるデータであり、上記数１０，数１１で表されるものである。この主成分回帰モデルの場合にはＰ、Ｑの２つの行列でモデルが表される。ここでＰは入力変数に対するローディング行列（入力変数から集約された主成分への影響を表す係数行列）、Ｑは主成分から出力変数への重回帰係数である。入力は次式のように表される。

また、出力は次式のように表される。

従って、入力と出力の関係は次式のように表される。

主成分回帰の場合にはモデルの行列Ｐ、Ｑを用いて入力変数から出力変数を直接表す重回帰係数に次の式のように変換できる。

この主成分回帰で計算された重回帰係数Ａの各要素が主成分回帰それぞれの感度を表す。絶対値を取って感度｜ｓ_ｊ１｜、・・・、｜ｓ_ｊｍ｜、・・・、｜ｓ_ｊＭ｜がＭ個算出される。感度のベクトルＡを絶対値の降順に入力候補変数（例えばｐ個）を並べて表示する。絶対値の降順に並べた上位から指定した個数だけ、入力変数として採用する。なお、主成分回帰法についての詳細は、例えば次の文献（ケモメトリックス―化学パターン認識と多変量解析，宮下芳勝・佐々木慎一著，共立出版，1995年）を参照することができる。

また、入出力モデルとして部分的最小二乗法モデルが選択される。部分的最小二乗法モデルは重回帰モデルを改良する線形モデルであるため、これを「入出力モデル」として扱う。重回帰モデルにおいて、入力候補変数が多い場合には、先に説明したように入力候補変数間に線形従属またはそれに近い関係（多重共線性）がある場合には最小二乗法の中の行列計算が不安定になる（具体的には最小二乗法の計算過程に逆行列計算に対応する計算が含まれ、この逆行列計算が不安定になるためである）。

これに対して、部分的最小二乗法を適用した場合は、入力候補変数をいったん数が少なく互いに相関の無い中間変数（潜在変数）に集約し、この中間変数から出力への重回帰モデルが作成される。元の入力候補変数から中間変数への関係は線形であり、定数係数行列として得られるため、この係数行列と、中間変数から出力への関係を表す重回帰係数とを組み合わせる（行列の積をとる）ことで入力候補変数から出力変数への重回帰係数に対応する係数が計算される。部分的最小二乗法というモデルの作成においては計算の不安定性が発生しないため、安定にモデル作成計算を行うことができる。

続いて、部分的最小二乗法モデルの学習について説明する。データ処理部１０は、モデル作成（学習）用のモデル情報データが入力される。このモデル情報データは一般に入力候補変数（ｘ）、出力変数（ｙ）の過去の多数（本形態ではＩ個）のサンプルからなるモデル情報データであり、上記数１０，数１１で表されるものである。部分的最小二乗法の場合にはＰ、Ｑ、Ｗの３つの行列でモデルが表される。Ｐは入力変数に対するローディング係数行列（入力から潜在変数という入力変数を集約した中間変数への影響度合いを表す係数行列）、Ｑは出力変数に対するローディング係数行列（潜在変数から出力変数への影響度合いを表す係数行列）、Ｗは重み行列である。入力は次式のように表される。

また、出力は次式のように表される。

また、ＴとＸには以下のような関係がある。

部分的最小二乗法の場合にはモデルの行列Ｐ、Ｑ、Ｗから、入力変数から出力変数を直接表す。重回帰係数に次の式により表される。

ここにＡは次式のようになる。

この部分的最小二乗法で計算された重回帰係数Ａの各要素が入力候補変数それぞれの感度を表す。絶対値を取って感度｜ｓ_ｊ１｜、・・・、｜ｓ_ｊｍ｜、・・・、｜ｓ_ｊＭ｜がＭ個算出される。感度のベクトルＡを絶対値の降順に入力候補変数を並べて表示する。絶対値の降順に並べた上位から指定した個数だけ、入力変数として採用する。部分的最小二乗法についての詳細は、例えば次の文献（ケモメトリックス―化学パターン認識と多変量解析，宮下芳勝・佐々木慎一著，共立出版，1995年）を参照することができる。なお、入力変数それぞれに多重共線性がない場合には、入力変数の数は減少しないこともある。

続いて他の形態について説明する。
本形態では、特に線形の入出力モデルと非線形の入出力モデルとを組み合わせるようにして、選択される入出力変数が異なる傾向を有するようにして、有効な入出力変数が漏れなく選択されるようにするというものである。例えば、Ｊ＝２でモデルが２種類とした場合、入出力モデル［１］は重回帰モデル、入出力モデル［２］はニューラルネットワークモデルとすると良い。重回帰モデルが線形でニューラルネットワークモデルが非線形であるため、多面的な観点から変数選択がなされて、有効な入出力変数が選択される。また、入出力モデル［１］が主成分回帰モデル、入出力モデル［２］がニューラルネットワークモデルとしたり、入出力モデル［１］が部分的最小二乗法モデル、入出力モデル［２］がニューラルネットワークモデルとしても良い。

続いて、入力変数を決定後の予測装置としての処理について説明する。
感度を計算する際に用いた複数のモデルから、予測を行うための１のモデルを選択する。具体的には、登録されている複数のモデルから予めユーザが予測を行うモデルを決定して登録しておく。次に、上記で決定された入力変数を用いて、改めて予測モデルを生成する。予測モデルの生成方法は、前記の感度を計算するためにモデルを生成した時と同じ手順となる。生成された予測モデルを用い、与えられる入力に基づいて予測値を出力する。このようにして予測がなされる。選択した入力変数から複数のモデルを作成し、その（加重）平均を予測値とすることもできる。

以上、本発明の入力変数選択支援装置１００について説明した。本発明の感度を用いて変数を選択する処理は、特に、予測装置の立ち上げ時や、予測対象の変化（経時変化、物理的変化等）により予測精度が悪化した時等、に行われる場合により効果を発揮する。

特に、入力候補変数と出力変数のデータがあればこれら全体から作成される複数のモデルを用いて入力候補変数から出力変数への感度の評価により影響度を評価することができ、モデルの入力変数として採用する指標として用いることで、１つのモデルだけから入力変数を選択した場合と比較し、より信頼度の高い入力変数の選択が可能となる。

本発明の入力変数選択支援装置は、特に入出力モデルの入力変数の決定に適用することができる。

１００：入力変数選択支援装置
１：データ管理用コンピュータ
１０：データ処理部
１０１：モデル情報収集手段
１０２：標準化手段
１０３：多形式入出力モデル作成手段
１０４：感度生成手段
１０５：入力変数選択手段
１０６：提示手段
２０：記憶部
２：入力部
３：出力部

Claims

データ処理部と、
複数の入力候補変数と出力変数とについての実績値であるモデル情報データが登録されるモデル情報データベースが構築されており、前記データ処理部によりデータの読み書きが行なわれる記憶部と、
前記データ処理部へ入力がなされる入力部と、
前記データ処理部から出力がなされる出力部と、
を有し、予測装置における入出力モデルの作成に用いる入力変数を選択する入力変数選択支援装置であって、前記データ処理部は、
前記モデル情報データを前記出力変数および前記入力候補変数ごとに平均値が０であり標準偏差が１となるように標準化する標準化手段と、
前記標準化されたモデル情報データを用いて、全入力候補変数と出力変数の関係を表す複数の入出力モデル［ｊ］（ｊ＝１，・・・，ＪであってＪは２以上の自然数）を、モデル原理を異ならせて多形式にわたり生成する多形式入出力モデル作成手段と、
前記入出力モデル［ｊ］の各入力候補変数の変化量に対する出力変数の変化量を、その入力候補の変化量で除した値の絶対値である感度を入力候補変数ごとに生成する感度生成を入出力モデル［１］，・・・，入出力モデル［ｊ］，・・・，入出力モデル［Ｊ］についてそれぞれ行う感度生成手段と、
前記各入出力モデルの感度が大きい入力変数を選択する入力変数選択手段と、
選択された入力変数を出力部を通じて提示する提示手段と、
を備えることを特徴とする入力変数選択支援装置。
請求項１に記載の入力変数選択支援装置において、
前記入力変数選択手段は、
入出力モデル［１］，・・・，入出力モデル［ｊ］，・・・，入出力モデル［Ｊ］の何れか１つの入出力モデル［ｊ］における入力候補変数について感度の大きい順に入力候補変数をソートする並べ替えを行う並べ替え手段と、
感度が大きい順に並び替えられた入力候補変数を、予め設定された個数で感度が大きい側から選択する変数選択を行う入力変数選択手段と、
を備えることを特徴とする入力変数選択支援装置。
請求項１に記載の入力変数選択支援装置において、
前記入力変数選択手段は、
入出力モデル［ｊ］における入力候補変数について感度の大きい順に入力候補変数をソートする並べ替えを入出力モデル［１］，・・・，入出力モデル［ｊ］，・・・，入出力モデル［Ｊ］についてそれぞれ行う並べ替え手段と、
感度が大きい順に並び替えられた入力変数を、予め設定された個数で感度が大きい側から選択する変数選択を全ての入出力モデル［１］，・・・，入出力モデル［ｊ］，・・・，入出力モデル［Ｊ］についてそれぞれ行う入力変数選択手段と、
を備えることを特徴とする入力変数選択支援装置。
請求項１に記載の入力変数選択支援装置において、
前記入力変数選択手段は、
入出力モデル［ｊ］における入力候補変数について感度の大きい順に入力候補変数をソートする並べ替えを入出力モデル［１］，・・・，入出力モデル［ｊ］，・・・，入出力モデル［Ｊ］についてそれぞれ行う並べ替え手段と、
入出力モデル［ｊ］を第１のグループおよび第２のグループに分ける選別手段と、
第１のグループの入出力モデルのすべてについて、感度が大きい順に並び替えられた入力変数を、予め設定された個数で大きい側から選択する変数選択を行う第１入力変数選択手段と、
第２のグループの入出力モデルのいずれかについて、感度が大きい順に並び替えられた入力変数を、予め設定された個数で大きい側から選択する変数選択を行う第２入力変数選択手段と、
を備えることを特徴とする入力変数選択支援装置。
請求項３または請求項４に記載の入力変数選択支援装置において、
前記入力変数選択手段は、
各入出力モデル［ｊ］について選択した入力変数のＡＮＤ集合またはＯＲ集合により最終的に選択される入力変数を決定する決定手段と、
を備えることを特徴とする入力変数選択支援装置。
請求項１〜請求項５の何れか一項に記載の入力変数選択支援装置において、
前記入出力モデルは重回帰モデル、ニューラルネットワークモデル、主成分回帰モデル、または、部分的最小二乗法モデルの少なくとも一個を含む組合せであることを特徴とする入力変数選択支援装置。
請求項６に記載の入力変数選択支援装置において、
前記入出力モデルは、重回帰モデルによる入出力モデル［１］、および、ニューラルネットモデルによる入出力モデル［２］であることを特徴とする入力変数選択支援装置。
請求項７に記載の入力変数選択支援装置において、
前記入出力モデル［１］での重回帰モデルは、
部分的最小二乗法モデルまたは主成分回帰モデルに重回帰モデルを変換して生成されることを特徴とする入力変数選択支援装置。