JP5338492B2 - 入力変数選択支援装置 - Google Patents

入力変数選択支援装置 Download PDF

Info

Publication number
JP5338492B2
JP5338492B2 JP2009137144A JP2009137144A JP5338492B2 JP 5338492 B2 JP5338492 B2 JP 5338492B2 JP 2009137144 A JP2009137144 A JP 2009137144A JP 2009137144 A JP2009137144 A JP 2009137144A JP 5338492 B2 JP5338492 B2 JP 5338492B2
Authority
JP
Japan
Prior art keywords
input
output
model
variables
variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009137144A
Other languages
English (en)
Other versions
JP2010282547A (ja
Inventor
賢哉 村上
東輝 項
智司 菅野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuji Electric Co Ltd
Original Assignee
Fuji Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Electric Co Ltd filed Critical Fuji Electric Co Ltd
Priority to JP2009137144A priority Critical patent/JP5338492B2/ja
Publication of JP2010282547A publication Critical patent/JP2010282547A/ja
Application granted granted Critical
Publication of JP5338492B2 publication Critical patent/JP5338492B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • General Factory Administration (AREA)
  • Feedback Control In General (AREA)

Description

本発明は、入出力モデルの複数の入力候補変数から好ましい入力候補変数を判定して入力変数とするような入力変数選択を支援する入力変数選択支援装置に関する。
入出力モデルは、複数の入力変数(説明変数)から出力変数(目的変数)を算出する機能を有している。このような入出力モデルの複数の入力変数に入力値を代入し、出力変数として予測値・目算値を得る。このような入出力モデルの利用例であるが、例えば、電力・水道・一般消費財などの各種需要予測、流量・圧力・河川流量などの制御用予測、原料濃度・製品濃度・微生物数・強度などの品質特定、などを出力変数(予測対象)とするモデルが挙げられる。
これら入出力モデルは、多くの入力変数および出力変数を有し、多くの入力値を代入して出力値を得るモデルである。このような入出力モデルを作成する上では多くの入力候補変数から必要最低限の入力変数とする絞り込みが行われることが多く、この入力変数の絞込みはモデル作成において重要なステップの1つである。
このような変数の絞込みに関する従来技術として、例えば、特許文献1(特開2002−268703号公報、発明の名称「末端圧力制御用支援装置」)が開示されている。特許文献1に記載の末端圧力制御用支援装置は、相関係数でまず使用する変数をユーザが大まかに定め(絞り込み)、その上で変数増減法等により詳細な変数設定を行う、というものである。
ここで相関係数は一般に2つの変数の間の相互関係の大きさを示すもので−1と1の間の値になる、というものである。相関係数は1に近いほど正の強い相関、−1に近いほど負の強い相関を持つとされる。したがって、相関係数の絶対値が1に近いほど2つの変数には強い相関があることになる。特許文献1に記載の末端圧力制御用支援装置はこの関係を利用して変数の絞込みを行う。
特開2002−268703号公報([0031]〜[0033])
特許文献1に記載の末端圧力制御用支援装置では、相関関係を利用して変数の絞込みを行うが、これは2変数の線形の関係を見ているだけであり、また、散発的にしか変化しない変数などにおいては影響が大きくても相関係数としては小さくなる場合もあり、これにより重要な入力候補変数を見落とすおそれがあるという問題があった。また、入力候補変数同士に強い相関がある場合、その両方が出力と相関が強ければ両方とも入力変数として採用されることになるが、両方の変数が含まれることは冗長であるという問題もあった。
さらに特許文献1に記載の末端圧力制御用支援装置が採用する変数増減法は、入力候補変数を追加した場合の予測誤差(バラツキ)の減少、また入力候補変数を削除した場合の予測誤差(バラツキ)の増加のしかたにより入力候補変数の選択を行うものであるが、一般に計算は複雑で時間を要するという問題もあった。
そこで、本発明は上記した問題に鑑みてなされたものであり、その目的は、簡便な方法により入力候補変数から入力変数を絞り込むための指標を提示し、入力変数選択の支援を行う入力変数選択支援装置を提供することにある。
本発明の請求項1に係る入力変数選択支援装置は、
データ処理部と、
複数の入力候補変数と出力変数とについての実績値であるモデル情報データが登録されるモデル情報データベースが構築されており、前記データ処理部によりデータの読み書きが行なわれる記憶部と、
前記データ処理部へ入力がなされる入力部と、
前記データ処理部から出力がなされる出力部と、
を有し、予測装置における入出力モデルの作成に用いる入力変数を選択する入力変数選択支援装置であって、前記データ処理部は、
前記モデル情報データを前記出力変数および前記入力候補変数ごとに平均値が0であり標準偏差が1となるように標準化する標準化手段と、
前記標準化されたモデル情報データを用いて、全入力候補変数と出力変数の関係を表す複数の入出力モデル[j](j=1,・・・,JであってJは2以上の自然数)を、モデル原理を異ならせて多形式にわたり生成する多形式入出力モデル作成手段と、
前記入出力モデル[j]の各入力候補変数の変化量に対する出力変数の変化量を、その入力候補の変化量で除した値の絶対値である感度を入力候補変数ごとに生成する感度生成を入出力モデル[1],・・・,入出力モデル[j],・・・,入出力モデル[J]についてそれぞれ行う感度生成手段と、
前記各入出力モデルの感度が大きい入力変数を選択する入力変数選択手段と、
選択された入力変数を出力部を通じて提示する提示手段と、
を備えることを特徴とする。
また、本発明の請求項2に係る入力変数選択支援装置は、
請求項1に記載の入力変数選択支援装置において、
前記入力変数選択手段は、
入出力モデル[1],・・・,入出力モデル[j],・・・,入出力モデル[J]の何れか1つの入出力モデル[j]における入力候補変数について感度の大きい順に入力候補変数をソートする並べ替えを行う並べ替え手段と、
感度が大きい順に並び替えられた入力候補変数を、予め設定された個数で感度が大きい側から選択する変数選択を行う入力変数選択手段と、
を備えることを特徴とする。
また、本発明の請求項3に係る入力変数選択支援装置は、
請求項1に記載の入力変数選択支援装置において、
前記入力変数選択手段は、
入出力モデル[j]における入力候補変数について感度の大きい順に入力候補変数をソートする並べ替えを入出力モデル[1],・・・,入出力モデル[j],・・・,入出力モデル[J]についてそれぞれ行う並べ替え手段と、
感度が大きい順に並び替えられた入力変数を、予め設定された個数で感度が大きい側から選択する変数選択を全ての入出力モデル[1],・・・,入出力モデル[j],・・・,入出力モデル[J]についてそれぞれ行う入力変数選択手段と、
を備えることを特徴とする。
また、本発明の請求項4に係る入力変数選択支援装置は、
請求項1に記載の入力変数選択支援装置において、
前記入力変数選択手段は、
入出力モデル[j]における入力候補変数について感度の大きい順に入力候補変数をソートする並べ替えを入出力モデル[1],・・・,入出力モデル[j],・・・,入出力モデル[J]についてそれぞれ行う並べ替え手段と、
入出力モデル[j]を第1のグループおよび第2のグループに分ける選別手段と、
第1のグループの入出力モデルのすべてについて、感度が大きい順に並び替えられた入力変数を、予め設定された個数で大きい側から選択する変数選択を行う第1入力変数選択手段と、
第2のグループの入出力モデルのいずれかについて、感度が大きい順に並び替えられた入力変数を、予め設定された個数で大きい側から選択する変数選択を行う第2入力変数選択手段と、
を備えることを特徴とする。
また、本発明の請求項5に係る入力変数選択支援装置は、
請求項3または請求項4に記載の入力変数選択支援装置において、
前記入力変数選択手段は、
各入出力モデル[j]について選択した入力変数のAND集合またはOR集合により最終的に選択される入力変数を決定する決定手段と、
を備えることを特徴とする。
また、本発明の請求項6に係る入力変数選択支援装置は、
請求項1〜請求項5の何れか一項に記載の入力変数選択支援装置において、
前記入出力モデルは重回帰モデル、ニューラルネットワークモデル、主成分回帰モデル、または、部分的最小二乗法モデルの少なくとも一個を含む組合せであることを特徴とする。
また、本発明の請求項7に係る入力変数選択支援装置は、
請求項6に記載の入力変数選択支援装置において、
前記入出力モデルは、重回帰モデルによる入出力モデル[1]、および、ニューラルネットモデルによる入出力モデル[2]であることを特徴とする。
また、本発明の請求項8に係る入力変数選択支援装置は、
請求項7に記載の入力変数選択支援装置において、
前記入出力モデル[1]での重回帰モデルは、
部分的最小二乗法モデルまたは主成分回帰モデルに重回帰モデルを変換して生成されることを特徴とする。
本発明によれば、簡便な方法により入力候補変数から入力変数を絞り込むための指標を提示し、入力変数選択の支援を行う入力変数選択支援装置を提供することができる。
本発明を実施するための形態の入力変数選択支援装置の構成図である。 モデル情報データベースの構造図である。 モデル情報データベースの構造図である。 入力候補変数の選択を説明する説明図である。 入力候補変数の提示を説明する説明図である。
続いて、本発明を実施するための形態について図を参照しつつ以下に説明する。まず、入力変数選択支援装置100の全体構造について図1を参照しつつ説明する。入力変数選択支援装置100は、図1に示すように、データ管理用コンピュータ1、入力部2、出力部3を少なくとも備えている。本形態の入力変数選択支援装置100は、例えば、一台のコンピュータを想定している。
データ管理用コンピュータ1は、さらにデータ処理部10、記憶部20を備えている。データ処理部10は、MPUやCPUであり、後述するような各手段として機能する。記憶部20は、例えばハードディスク等の大容量記憶装置であり、後述するようなデータベースが構築されている。なお、データ処理部10と記憶部20との間、データ処理部10と入力部2との間、データ処理部10と出力部3との間には通常はメモリが介在して読み書きがなされるが当然にメモリを介して読み書きが行われるものとしてメモリについては省略しつつ以下の説明を進める。
入力部2は、例えばキーボードや、ファイル送信可能な外付けハードディスク・USBメモリなどであり、入力部2から入力されたデータがデータ処理部10にて処理される。
出力部3は、ディスプレイ装置、プリンタ装置などであり、データ処理部10から出力されたデータにより画面表示・印刷というデータ出力がなされる。
続いて、入力変数選択支援装置100の実際の運用について図を参照しつつ説明する。図1で示すように、入力変数選択支援装置100のデータ処理部10は、モデル情報収集手段101、標準化手段102、多形式入出力モデル作成手段103、感度生成手段104、入力変数選択手段105、提示手段106を備える。以下順に説明する。
まず、データ処理部10は、入力部2から入力された過去の実績に係る複数のモデル情報データをモデル情報データベース21に登録するモデル情報収集手段101として機能する。
まず、システムの管理者が、予め必要となるモデル情報データベース21を設計し、モデル情報データベース21に対して入力部2からデータベースの構造を登録しておくものとする。続いて、システムの管理者が、モデル情報データを登録する。モデル情報データの入力方法は、専用画面を通じての入力でもよいし、CSV(Comma Separated Value)形式によるファイル入力でもよい。
そして、このモデル情報データは、図1で示すように、記憶部20のモデル情報データベース21の実測データテーブルに蓄積される。モデル情報データベース21の実測データテーブルのテーブル構造は、例えば、図2で示すように構成される。図2ではある事象について表す番号、複数の入力候補変数についての実績値である入力候補変数データ、出力変数についての実績値である出力変数データが記録される。番号は例えば時間別に付与される。このようにモデル情報データベース21では、あるときの複数の入力候補変数についての実績値である入力候補変数データ、出力変数についての実績値である出力変数データとを連関させて登録しており、直ちにアクセス可能な状態へ整理されている。
また、図3に示すように、モデル情報データベース21の変数テーブルには、入力候補変数や、後述する提示時に理解しやすくするための変数のタグ名や後述する感度も併せて登録されている。タグ名はモデル別・入力候補変数別に登録されている。図3では入出力モデル[j]についての変数テーブルが登録されている点が図示されているが、入出力モデル[1]〜入出力モデル[J]の全てについてそれぞれ変数テーブルが設定されている。
入力候補変数はx、x、・・・、x、・・・、x(m=1、・・・M)である。また、出力変数はyである。そして、番号がiのときはある時点iのデータであることを表す。この番号がiの場合の入力候補変数データはx(i)、x(i)、・・・xm(i)、・・・、xM(i)(i=1、・・・、I)である。また、出力変数データは、y(i)(i=1、・・・、I)である。ここに括弧の数字は番号を表す、つまり番号がiのときはある時点iのデータであることを表す。そして番号Iまでのデータが蓄積されている。
モデル情報データベース21に登録されているモデル情報や変数について情報はこのようなものである。
続いて、データ処理部10は、出力変数および入力候補変数ごとに平均値が0であり標準偏差が1となるようにモデル情報データを標準化する標準化手段102として機能する。標準化したモデル情報データは、図2で示したモデル情報データベース21のテーブル構造と同じ構造である他の標準化データテーブルに登録される。この場合も入力候補変数はx、x、・・・、x、・・・、x(m=1、・・・M)で表される。また、出力変数はyで表される。入力候補変数データはx(i)、x(i)、・・・xm(i)、・・・、xM(i)(i=1、・・・、I)で表される。また、出力変数データは、y(i)(i=1、・・・、I)で表される。ここに括弧の数字は番号を表す、つまり番号がiのときはある時点iのデータであることを表す。そして番号Iまでのデータが蓄積されている。以下、この標準化されたデータを用いる。
続いて、データ処理部10は、標準化されたモデル情報データを用いて、上記した全入力候補変数と出力変数の関係を表す複数の入出力モデル[j](j=1、・・・、JであってJは2以上の自然数)を、それぞれのモデル原理を異ならせて多形式にわたり生成する多形式入出力モデル作成手段103として機能する。先に標準化された入力候補変数データおよび出力変数データ全体を用いて入出力モデル[1]、・・・、入出力モデル[j]、・・・、入出力モデル[J]が作成される。これら複数の入出力モデルは、それぞれ原理が異なっている。例えば、入出力モデル[1]がニューラルネットワークによる入出力モデル、入出力モデル[2]が重回帰モデルによる入出力モデル、・・・、入出力モデル[J]が部分最小二乗法モデルによる入出力モデルというものである。これら入出力モデル[1]、・・・、入出力モデル[j]、・・・、入出力モデル[J]の作成は、後述する学習や設定により決定される。
作成された入出力モデル[1]は入力候補変数Xに対する出力変数Yの関数として定義でき、次式のように表される。
Figure 0005338492
ここにXはM個の入力候補変数、Yは1個の出力変数である。Xは次式のように表される。
Figure 0005338492
また、入出力モデル[j]は入力候補変数Xに対する出力変数Yの関数として定義でき、次式のように表される。XはM個の入力候補変数、Yは1個の出力変数である点は上記と同様である。
Figure 0005338492
また、入出力モデル[J]は入力候補変数Xに対する出力変数Yの関数として定義でき、次式のように表される。XはM個の入力候補変数、Yは1個の出力変数である点は上記と同様である。
Figure 0005338492
続いて、データ処理部10は、入出力モデル[j]の各入力候補変数の変化量に対する出力の変化量を、その入力候補の変化量で除した値の絶対値である感度(入力を微小な変化量により変化させた場合の出力の変化量を、入力の変化量で除した比の絶対値)を入力候補変数ごとに生成する感度生成を入出力モデル[1]、・・・、入出力モデル[J]についてそれぞれ行う感度生成手段104として機能する。この感度生成では、ある入力候補変数へ所定の入力値を代入して出力変数から出力値を得て、続いて同じ入力候補変数へ所定の入力値から微小な変化量で変化させた入力値を代入して出力変数からの新たな出力値を得てこれら出力値の差分値である変化量を得る。そしてこの出力値の変化量を、入力値の変化量で除して算出した比の絶対値を得ることで当該入力候補変数の出力変数に対する感度が計算される。
この感度生成は全ての入出力モデル[1]、・・・、入出力モデル[J]について行われる。さらに、各入出力モデルにおける全ての入力候補変数に対して行われる。まず、入出力モデル[1]のある変数xについての比s1mは次式のように表される。
Figure 0005338492
ここで、入力候補変数をx(m=1、・・・、M)、X=[x、・・・、xとし、入力候補変数xの微小変化をΔxとしている。
このような入出力モデル[1]の入力候補変数であるx、・・・、x、・・・、xについての比s11 、・・・、s1m 、・・・、s1M が算出され、絶対値を取って感度|s11 、・・・、|s1m|、・・・、|s1M がM個算出される。
また、入出力モデル[j]のある変数xについて感度sjm次式のように表される。
Figure 0005338492
このような入出力モデル[j]の入力候補変数であるx、・・・、x、・・・、xについての比sj1 、・・・、sjm 、・・・、sjM がM個算出されされ、絶対値を取って感度|sj1 、・・・、|sjm|、・・・、|sjM がM個算出される。
また、入出力モデル[J]のある変数xについて感度sJm次式のように表される。
Figure 0005338492
このような入出力モデル[J]の入力候補変数であるx、・・・、x、・・・、xについての比sJ1 、・・・、sJm 、・・・、sJM がM個算出され、絶対値を取って感度|sJ1 、・・・、|sJm|、・・・、|sJM がM個算出される。
このようにして入出力モデル[1]、・・・、入出力モデル[j]、・・・、入出力モデル[J]において、それぞれの入力候補変数であるx、・・・、x、・・・、xについての比s11 、・・・、sJM が算出され、絶対値を取って感度|s11 、・・・、|sJM がJ×M個算出される。これら感度が指標として用いられる。これらは図3で示したモデル別に設定された変数テーブルに登録される。
このようにして計算される「感度」は、入力候補変数が単位量変化したときの出力の変化分を表すもので、正の方向、または負の方向にその影響度の分だけの変化を及ぼすものである。
続いて、データ処理部10は、各入出力モデルの感度が大きい入力変数を選択する入力変数選択手段105として機能する。選択方法は各種あるが、例えば、複数の入出力モデルから予め選択された入出力モデル[j]のみにおける感度の大きい順に入力候補変数をソートする並べ替えを行う並べ替え手段として機能し、続いて並び替えられた順に予め設定された個数p個の入力候補変数を入力変数として選択する入力変数選択確定手段として機能することで、選択するようにしても良い。例えば、図4で示す中から、予め選択された入出力モデル[j]の感度の降順の入力候補変数の順位について、ユーザが指定した入力変数の個数分(例えば入力変数をp個づつ)をとった変数群(入力変数または入力変数のタグ名の集合)について個々に表示する。
なお、複数ある入出力モデルの中から入出力モデル[j]を一個選択する際の選択基準として、例えば、最も大きい感度を有する入出力モデルとしたり、感度の総和が大きい入出力モデルとすることができる。いずれも感度が高い入出力モデルを採用しているため、有効な入出力モデルを選択することができる。
また、他の選択手法として、データ処理部10は、入出力モデル[j]における感度の大きい順に入力候補変数をソートする並べ替えを入出力モデル[1]、・・・、入出力モデル[J]についてそれぞれ行う並べ替え手段として機能し、続いて全ての入出力モデルについて並び替えられた順に予め設定された数の入力候補変数を入力変数として選択する入力変数選択確定手段として機能することで、選択するようにしても良い。例えば、図4で示すように、入出力モデル[1]、・・・、入出力モデル[J]のそれぞれ感度の降順の入力候補変数の順位について、それぞれユーザが指定した入力変数の個数分(例えば入力変数をp個づつ)をとった変数群(入力変数または入力変数のタグ名の集合)について、それぞれ個々に表示する。また、図示しないが、これらp個ずつ選択した入力変数についてさらに積集合(AND集合)や和集合(OR集合)とするというものである。このようにして選択しても良い。
また、他の選択手法として、データ処理部10は、入出力モデル[1]、・・・、入出力モデル[J]を第1グループと第2のグループとに分けるグループ選別手段として機能し、第1のグループについてその入出力モデルのすべてについて感度が上位p個以内に入る入力候補変数を入力変数として選択する第1変数選択手段として機能し、第2のグループについてその入出力モデルのいずれかについて感度が上位p個以内に入る入力候補変数を入力変数として選択する第2変数選択手段として機能し、第1変数選択手段および第2変数選択手段について算出された感度の大きい順に予め設定された数だけ入力変数を選択する変数選択手段として機能することで、選択するようにしても良い。
なお、第1グループの選択基準として、例えば、感度が所定値よりも大きい入出力モデルとしたり、感度の総和が所定値よりも大きい入出力モデルとすることができる。第2グループの選択基準として、例えば、感度が所定値よりも小さい入出力モデルとしたり、感度の総和が所定値よりも小さい入出力モデルとすることができる。
そして、第1グループおよび第2グループの入出力モデル[1],・・・,入出力モデル[J]での感度が降順の上位p個の入力変数のいずれか、または選択された入力変数の積集合(AND)や和集合(OR)として選択された入力変数が選択される。このようにして最終的な入力変数が決定される。
これら何れかの手法により入力変数が選択される。
これらのように入力候補変数の出力への影響度を端的に表す感度に基づいて、入力候補変数から入力変数を選択している。入力候補変数の中で、実際にモデルの入力として選択を行う場合に、出力への影響度の大きい変数を抽出するのは至極妥当であるが、この場合選択される変数はモデルに依存することになるため、1つのモデルでの感度だけに基づく場合には偏りが生じる恐れがある。そこでこれを複数の形式のモデルに基づいて行うことにより、選ばれる入力候補変数は入力候補変数の絞込み方法として大変妥当な方法であると言える。
続いて、データ処理部10は、選択された入力候補変数を出力部3を通じて提示する提示手段106として機能する。データ処理部10が、感度に基づいて選択された入力変数を出力部3に出力させる(ディスプレイ装置などに画面表示させるように制御したり、プリンタに印刷印字させたりする)ことであり、例えば、図5で示すように表示や印刷がされる。この際、入力選択変数を表すタグに加えて、感度を表示するようにすれば選択理由も分かるため、使用者の経験等により入力変数を変更して選択するなどの利用も可能となる。
入力変数選択支援装置100はこのようなものである。
続いて入出力モデルの詳細について説明する。ここでは多形式入出力モデル作成手段の詳細に関するものとなる。例えば、入出力モデルとして重回帰モデルが選択される。重回帰モデルは線形であり、入出力モデルも線形となる。
この重回帰モデルは、以下のように表される。
Figure 0005338492
ここにAは係数ベクトルであり、次式のように表される。
Figure 0005338492
続いて重回帰モデルの作成(Aの学習)について説明する。
データ処理部10は、モデル作成(Aの学習)用のモデル情報データをモデル情報データベース21の標準化データテーブルから読み出す手段として機能する。このモデル情報データは入力候補変数(x)、出力変数(y)の過去の多数のサンプルからなるデータである。具体的には、xは一般にM変数とし、サンプル数をIとする。このモデル情報データを行列の形で並べると以下のようになり、各行が各サンプル、各列が各変数を表す。
Figure 0005338492
yは、一般に1変数とし、I行×1列の縦ベクトルとするとこのモデル情報データは以下のように表わされる。
Figure 0005338492
データ処理部10は、入力されたモデル情報データ全体を用いて入出力モデル1(重回帰モデル)を作成する重回帰モデル作成手段として機能する。具体的には、重回帰モデルは、以下のように表される。
Figure 0005338492
この場合にxからyを予測する重回帰モデルの係数Aは、最小二乗法により、以下のようにして求められる。なお、重回帰モデルの係数Aの詳細な導出方法は、例えば次の文献(ケモメトリックス―化学パターン認識と多変量解析,宮下 芳勝・ 佐々木 慎一著,共立出版,1995年)を参照することができる。
Figure 0005338492
このAを決定することで重回帰モデルが決定される。
このような重回帰モデルの感度について、上記の数6のようにm番目の入力候補変数xをΔxだけ変化させると、出力はaΔxだけ変化する。したがってその感度は|a|となり、各入力候補変数の感度は係数ベクトルAの係数の絶対値に一致する。したがってこの重回帰係数自体の絶対値の順の優先順位で入力候補変数を入力変数として選択することとなる。
続いて他の入出力モデルとしてニューラルネットワークモデルが選択される。ニューラルネットワークモデルは、一般に入力層、中間層、出力層からなる3階層ニューラルネットワーク構造を有しており、さらに、入力層と中間層との素子間、中間層と出力層との素子間に結合を持つ。入力層には入力変数の数分の素子、出力層には出力変数の数分の素子があり、中間層は任意に指定された素子からなる。
このニューラルネットワークでは入力層における素子が入力因子に、また、出力層における素子が出力因子に、それぞれ相当する。そしてニューロン間では結合の度合いを結合係数で表しており、この結合係数は、ニューラルネットワークの素子間の結合の重みを表すための係数である。結合係数が大きければ、結合が重みを有している、つまり、必要な結合であるとされ、結合係数が小さければ、結合が重みを有していない、つまり、不要な結合であるとされる。結合係数wの大きさを更新することで、入出力間の非線形関係を学習することができる。
このようにニューラルネットワークモデルは線形・非線形を問わずデータからのモデル化が可能であるため、これを「入出力モデル」として扱う。ニューラルネットワークは、「学習フェーズ」において学習させるべき入出力データを「教師データ」としてその入出力特性を学習させ、学習フェーズが完了したニューラルネットワークを「モデル」としてこれにより予測や感度解析などを行う。ここでのデータを用いると、教師データの入力変数としてXの各行を、出力変数として入力変数の各行に対応するyの各行を与え、Xの各行によるニューラルネットワークの出力がyの対応する行にできるだけ合致するようにニューラルネットワークの学習が行われる。
続いて学習について説明する。
データ処理部10は、モデル作成(モデルの学習)用のモデル情報データを入力する手段として機能する。このモデル情報データは一般に入力候補変数(x)、出力変数(y)の過去の多数のサンプルからなるデータである。具体的には、xは一般にM変数とし、過去のサンプル数をIとする。このデータを行列の形で並べると上記の数10,数11のようになり、各行が各サンプル、各列が各変数を表す。
このようなニューラルネットワークモデルでは、モデル構造や結合係数を変更することで非線形の入出力関係を処理することができる。このようなニューラルネットワークの入出力モデル構築とは、複数の入力層素子(入力因子)に入力された入力値に対し、出力層素子(出力因子)から所望の出力値が得られるように入力層と中間層、また、中間層と出力層との結合係数を変更することをいう。これにより結合係数が確定するものとする。データ処理部10は、入力と出力とに実測に係るデータをI通り代入し結合係数を確定していく。ニューラルネットワークの入出力モデルはこのようにして決定される。
このようなニューラルネットワークモデルの感度について、実際にはニューラルネットワークでは単純な式としては表わせないが、これを仮にG(x)として表し、このニューラルネットワークモデルが入出力モデル[j]であるとする。この場合、変数xについての比sjmは次式のように表される。
Figure 0005338492
ここで、入力候補変数をx(m=1、・・・、M)、X=[x、・・・、xとし、入力候補変数xの微小変化をΔxとしている。
このような入出力モデル[1]の入力候補変数であるx、・・・、x、・・・、xについての比sj1 、・・・、sjm 、・・・、sjM が算出され、絶対値を取って感度|sj1 、・・・、|sjm|、・・・、|sjM がM個算出される。このような感度はG(x)、・・・、G(x)について算出される。
このようなニューラルネットワークモデルの感度についても予測困難であるが、上記のようにして求めた感度の順の優先順位で入力候補変数を選択して入力変数として用いることとなる。
また、入出力モデルとして主成分回帰モデルが選択される。主成分回帰モデルは上記の重回帰モデルを改良することで得られる線形モデルであり、これを「入出力モデル」として扱う。重回帰モデルにおいて、入力候補変数が多い場合には、モデル作成用データから直接重回帰モデルを作成することは難しくなる。これは具体的には、モデル作成用データからモデルを作成する際に、一般には最小二乗法により重回帰係数を算出するが、入力候補変数間に線形従属またはそれに近い関係(多重共線性)がある場合には最小二乗法の中の行列計算が不安定になるためである(具体的には最小二乗法の計算過程に逆行列計算に対応する計算が含まれ、この逆行列計算が不安定になるためである)。
これに対して、主成分回帰法を適用した場合、入力候補変数を、数が少なく互いに相関の無い中間変数(主成分)に集約し、この中間変数から出力への重回帰モデルが作成される。元の入力候補変数から中間変数への関係は線形であり、定数係数行列として得られるため、この係数行列と、中間変数から出力への関係を表す重回帰係数とを組み合わせる(行列の積をとる)ことで入力候補変数から出力変数への重回帰係数に対応する係数が計算される。このように多重共線性がある入力変数を除去することで入力変数を低減させるため、計算の不安定性が発生しないようになり、安定にモデル作成計算を行うことができる。なお、入力変数それぞれに多重共線性がない場合には、入力変数の数は減少しないこともある。
続いて、主成分回帰モデルの学習について説明する。データ処理部10は、モデル作成(学習)用のモデル情報データが入力される。このモデル情報データは一般に入力候補変数(x)、出力変数(y)の過去の多数のサンプルからなるデータであり、上記数10,数11で表されるものである。この主成分回帰モデルの場合にはP、Qの2つの行列でモデルが表される。ここでPは入力変数に対するローディング行列(入力変数から集約された主成分への影響を表す係数行列)、Qは主成分から出力変数への重回帰係数である。入力は次式のように表される。
Figure 0005338492
また、出力は次式のように表される。
Figure 0005338492
従って、入力と出力の関係は次式のように表される。
Figure 0005338492
主成分回帰の場合にはモデルの行列P、Qを用いて入力変数から出力変数を直接表す重回帰係数に次の式のように変換できる。
Figure 0005338492
この主成分回帰で計算された重回帰係数Aの各要素が主成分回帰それぞれの感度を表す。絶対値を取って感度|sj1 、・・・、|sjm|、・・・、|sjM がM個算出される。感度のベクトルAを絶対値の降順に入力候補変数(例えばp個)を並べて表示する。絶対値の降順に並べた上位から指定した個数だけ、入力変数として採用する。なお、主成分回帰法についての詳細は、例えば次の文献(ケモメトリックス―化学パターン認識と多変量解析,宮下 芳勝・ 佐々木 慎一著,共立出版,1995年)を参照することができる。
また、入出力モデルとして部分的最小二乗法モデルが選択される。部分的最小二乗法モデルは重回帰モデルを改良する線形モデルであるため、これを「入出力モデル」として扱う。重回帰モデルにおいて、入力候補変数が多い場合には、先に説明したように入力候補変数間に線形従属またはそれに近い関係(多重共線性)がある場合には最小二乗法の中の行列計算が不安定になる(具体的には最小二乗法の計算過程に逆行列計算に対応する計算が含まれ、この逆行列計算が不安定になるためである)。
これに対して、部分的最小二乗法を適用した場合は、入力候補変数をいったん数が少なく互いに相関の無い中間変数(潜在変数)に集約し、この中間変数から出力への重回帰モデルが作成される。元の入力候補変数から中間変数への関係は線形であり、定数係数行列として得られるため、この係数行列と、中間変数から出力への関係を表す重回帰係数とを組み合わせる(行列の積をとる)ことで入力候補変数から出力変数への重回帰係数に対応する係数が計算される。部分的最小二乗法というモデルの作成においては計算の不安定性が発生しないため、安定にモデル作成計算を行うことができる。
続いて、部分的最小二乗法モデルの学習について説明する。データ処理部10は、モデル作成(学習)用のモデル情報データが入力される。このモデル情報データは一般に入力候補変数(x)、出力変数(y)の過去の多数(本形態ではI個)のサンプルからなるモデル情報データであり、上記数10,数11で表されるものである。部分的最小二乗法の場合にはP、Q、Wの3つの行列でモデルが表される。Pは入力変数に対するローディング係数行列(入力から潜在変数という入力変数を集約した中間変数への影響度合いを表す係数行列)、Qは出力変数に対するローディング係数行列(潜在変数から出力変数への影響度合いを表す係数行列)、Wは重み行列である。入力は次式のように表される。
Figure 0005338492
また、出力は次式のように表される。
Figure 0005338492
また、TとXには以下のような関係がある。
Figure 0005338492
部分的最小二乗法の場合にはモデルの行列P、Q、Wから、入力変数から出力変数を直接表す。重回帰係数に次の式により表される。
Figure 0005338492
ここにAは次式のようになる。
Figure 0005338492
この部分的最小二乗法で計算された重回帰係数Aの各要素が入力候補変数それぞれの感度を表す。絶対値を取って感度|sj1 、・・・、|sjm|、・・・、|sjM がM個算出される。感度のベクトルAを絶対値の降順に入力候補変数を並べて表示する。絶対値の降順に並べた上位から指定した個数だけ、入力変数として採用する。部分的最小二乗法についての詳細は、例えば次の文献(ケモメトリックス―化学パターン認識と多変量解析,宮下 芳勝・ 佐々木 慎一著,共立出版,1995年)を参照することができる。なお、入力変数それぞれに多重共線性がない場合には、入力変数の数は減少しないこともある。
続いて他の形態について説明する。
本形態では、特に線形の入出力モデルと非線形の入出力モデルとを組み合わせるようにして、選択される入出力変数が異なる傾向を有するようにして、有効な入出力変数が漏れなく選択されるようにするというものである。例えば、J=2でモデルが2種類とした場合、入出力モデル[1]は重回帰モデル、入出力モデル[2]はニューラルネットワークモデルとすると良い。重回帰モデルが線形でニューラルネットワークモデルが非線形であるため、多面的な観点から変数選択がなされて、有効な入出力変数が選択される。また、入出力モデル[1]が主成分回帰モデル、入出力モデル[2]がニューラルネットワークモデルとしたり、入出力モデル[1]が部分的最小二乗法モデル、入出力モデル[2]がニューラルネットワークモデルとしても良い。
続いて、入力変数を決定後の予測装置としての処理について説明する。
感度を計算する際に用いた複数のモデルから、予測を行うための1のモデルを選択する。具体的には、登録されている複数のモデルから予めユーザが予測を行うモデルを決定して登録しておく。次に、上記で決定された入力変数を用いて、改めて予測モデルを生成する。予測モデルの生成方法は、前記の感度を計算するためにモデルを生成した時と同じ手順となる。生成された予測モデルを用い、与えられる入力に基づいて予測値を出力する。このようにして予測がなされる。選択した入力変数から複数のモデルを作成し、その(加重)平均を予測値とすることもできる。
以上、本発明の入力変数選択支援装置100について説明した。本発明の感度を用いて変数を選択する処理は、特に、予測装置の立ち上げ時や、予測対象の変化(経時変化、物理的変化等)により予測精度が悪化した時等、に行われる場合により効果を発揮する。
特に、入力候補変数と出力変数のデータがあればこれら全体から作成される複数のモデルを用いて入力候補変数から出力変数への感度の評価により影響度を評価することができ、モデルの入力変数として採用する指標として用いることで、1つのモデルだけから入力変数を選択した場合と比較し、より信頼度の高い入力変数の選択が可能となる。
本発明の入力変数選択支援装置は、特に入出力モデルの入力変数の決定に適用することができる。
100:入力変数選択支援装置
1:データ管理用コンピュータ
10:データ処理部
101:モデル情報収集手段
102:標準化手段
103:多形式入出力モデル作成手段
104:感度生成手段
105:入力変数選択手段
106:提示手段
20:記憶部
2:入力部
3:出力部

Claims (8)

  1. データ処理部と、
    複数の入力候補変数と出力変数とについての実績値であるモデル情報データが登録されるモデル情報データベースが構築されており、前記データ処理部によりデータの読み書きが行なわれる記憶部と、
    前記データ処理部へ入力がなされる入力部と、
    前記データ処理部から出力がなされる出力部と、
    を有し、予測装置における入出力モデルの作成に用いる入力変数を選択する入力変数選択支援装置であって、前記データ処理部は、
    前記モデル情報データを前記出力変数および前記入力候補変数ごとに平均値が0であり標準偏差が1となるように標準化する標準化手段と、
    前記標準化されたモデル情報データを用いて、全入力候補変数と出力変数の関係を表す複数の入出力モデル[j](j=1,・・・,JであってJは2以上の自然数)を、モデル原理を異ならせて多形式にわたり生成する多形式入出力モデル作成手段と、
    前記入出力モデル[j]の各入力候補変数の変化量に対する出力変数の変化量を、その入力候補の変化量で除した値の絶対値である感度を入力候補変数ごとに生成する感度生成を入出力モデル[1],・・・,入出力モデル[j],・・・,入出力モデル[J]についてそれぞれ行う感度生成手段と、
    前記各入出力モデルの感度が大きい入力変数を選択する入力変数選択手段と、
    選択された入力変数を出力部を通じて提示する提示手段と、
    を備えることを特徴とする入力変数選択支援装置。
  2. 請求項1に記載の入力変数選択支援装置において、
    前記入力変数選択手段は、
    入出力モデル[1],・・・,入出力モデル[j],・・・,入出力モデル[J]の何れか1つの入出力モデル[j]における入力候補変数について感度の大きい順に入力候補変数をソートする並べ替えを行う並べ替え手段と、
    感度が大きい順に並び替えられた入力候補変数を、予め設定された個数で感度が大きい側から選択する変数選択を行う入力変数選択手段と、
    を備えることを特徴とする入力変数選択支援装置。
  3. 請求項1に記載の入力変数選択支援装置において、
    前記入力変数選択手段は、
    入出力モデル[j]における入力候補変数について感度の大きい順に入力候補変数をソートする並べ替えを入出力モデル[1],・・・,入出力モデル[j],・・・,入出力モデル[J]についてそれぞれ行う並べ替え手段と、
    感度が大きい順に並び替えられた入力変数を、予め設定された個数で感度が大きい側から選択する変数選択を全ての入出力モデル[1],・・・,入出力モデル[j],・・・,入出力モデル[J]についてそれぞれ行う入力変数選択手段と、
    を備えることを特徴とする入力変数選択支援装置。
  4. 請求項1に記載の入力変数選択支援装置において、
    前記入力変数選択手段は、
    入出力モデル[j]における入力候補変数について感度の大きい順に入力候補変数をソートする並べ替えを入出力モデル[1],・・・,入出力モデル[j],・・・,入出力モデル[J]についてそれぞれ行う並べ替え手段と、
    入出力モデル[j]を第1のグループおよび第2のグループに分ける選別手段と、
    第1のグループの入出力モデルのすべてについて、感度が大きい順に並び替えられた入力変数を、予め設定された個数で大きい側から選択する変数選択を行う第1入力変数選択手段と、
    第2のグループの入出力モデルのいずれかについて、感度が大きい順に並び替えられた入力変数を、予め設定された個数で大きい側から選択する変数選択を行う第2入力変数選択手段と、
    を備えることを特徴とする入力変数選択支援装置。
  5. 請求項3または請求項4に記載の入力変数選択支援装置において、
    前記入力変数選択手段は、
    各入出力モデル[j]について選択した入力変数のAND集合またはOR集合により最終的に選択される入力変数を決定する決定手段と、
    を備えることを特徴とする入力変数選択支援装置。
  6. 請求項1〜請求項5の何れか一項に記載の入力変数選択支援装置において、
    前記入出力モデルは重回帰モデル、ニューラルネットワークモデル、主成分回帰モデル、または、部分的最小二乗法モデルの少なくとも一個を含む組合せであることを特徴とする入力変数選択支援装置。
  7. 請求項6に記載の入力変数選択支援装置において、
    前記入出力モデルは、重回帰モデルによる入出力モデル[1]、および、ニューラルネットモデルによる入出力モデル[2]であることを特徴とする入力変数選択支援装置。
  8. 請求項7に記載の入力変数選択支援装置において、
    前記入出力モデル[1]での重回帰モデルは、
    部分的最小二乗法モデルまたは主成分回帰モデルに重回帰モデルを変換して生成されることを特徴とする入力変数選択支援装置。
JP2009137144A 2009-06-08 2009-06-08 入力変数選択支援装置 Active JP5338492B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009137144A JP5338492B2 (ja) 2009-06-08 2009-06-08 入力変数選択支援装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009137144A JP5338492B2 (ja) 2009-06-08 2009-06-08 入力変数選択支援装置

Publications (2)

Publication Number Publication Date
JP2010282547A JP2010282547A (ja) 2010-12-16
JP5338492B2 true JP5338492B2 (ja) 2013-11-13

Family

ID=43539196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009137144A Active JP5338492B2 (ja) 2009-06-08 2009-06-08 入力変数選択支援装置

Country Status (1)

Country Link
JP (1) JP5338492B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014224786A (ja) * 2013-05-17 2014-12-04 株式会社小野測器 エンジンモデル作成方法およびエンジンモデル作成システム
JP6530338B2 (ja) 2016-03-17 2019-06-12 株式会社東芝 情報処理装置、情報処理方法およびプログラム
JP6805632B2 (ja) * 2016-08-24 2020-12-23 富士通株式会社 設計予測装置、設計予測プログラムおよび設計予測方法
CN108694755B (zh) 2017-03-29 2021-05-28 株式会社东芝 模型构建系统以及模型构建方法
JP6966245B2 (ja) * 2017-07-12 2021-11-10 アズビル株式会社 支援装置および支援方法
CN113646786A (zh) * 2019-03-28 2021-11-12 三菱电机株式会社 信号选择装置、学习装置、信号选择方法及程序
JP7268069B2 (ja) * 2020-02-21 2023-05-02 アクタピオ,インコーポレイテッド 学習装置、学習方法、学習プログラム、評価装置、評価方法、および評価プログラム
JP7001766B2 (ja) 2020-06-22 2022-01-20 株式会社日立製作所 予測システムおよび予測方法
JP7436313B2 (ja) * 2020-07-21 2024-02-21 株式会社日立製作所 予測システム、予測方法、ならびに表示装置
CN116450708B (zh) * 2023-06-13 2023-09-01 南京市城市数字治理中心 一种企业数据挖掘方法及系统

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265509A (ja) * 1992-03-16 1993-10-15 Mitsubishi Heavy Ind Ltd 学習制御装置
JP2000075903A (ja) * 1998-09-01 2000-03-14 Toshiba Corp 運転量予測モデル構築装置、その方法および運転量予測モデル構築プログラムを記録したコンピュータ読み取り可能な記録媒体
JP2000322263A (ja) * 1999-05-07 2000-11-24 Toshiba Mach Co Ltd ファジィ推論モデルの構成の適正化方法
JP3851783B2 (ja) * 2001-03-08 2006-11-29 株式会社東芝 末端圧力制御用支援装置
JP4677679B2 (ja) * 2001-03-27 2011-04-27 株式会社デンソー 製品の製造プロセスにおける特性調整方法
JP2006323523A (ja) * 2005-05-17 2006-11-30 Kyoto Univ 操作変数選択装置、操作変数選択方法、操作変数選択プログラムおよびそれを記録したコンピュータ読み取り可能な記録媒体
JP5011830B2 (ja) * 2006-06-09 2012-08-29 富士通セミコンダクター株式会社 データ処理方法、データ処理プログラム、該プログラムを記録した記録媒体およびデータ処理装置

Also Published As

Publication number Publication date
JP2010282547A (ja) 2010-12-16

Similar Documents

Publication Publication Date Title
JP5338492B2 (ja) 入力変数選択支援装置
US20100131800A1 (en) Diagnostic device
JP2017224184A (ja) 機械学習装置
Gitzel Data Quality in Time Series Data: An Experience Report.
WO2021054026A1 (ja) 材料特性予測システムおよび材料特性予測方法
Kleijnen et al. Methodology for determining the acceptability of system designs in uncertain environments
EP4238005A1 (en) A computer-implemented method for generating local explanations and error estimates in machine learning models, as well as a decision support system and computer program implementing said method
CN114819777A (zh) 一种基于数字孪生技术的企业销售业务分析管理系统
Detmer et al. Variation in disturbance to a foundation species structures the dynamics of a benthic reef community
US11847389B2 (en) Device and method for optimizing an input parameter in a processing of a semiconductor
JP5125875B2 (ja) Pidコントローラのチューニング装置、pidコントローラのチューニング用プログラムおよびpidコントローラのチューニング方法
JP2012194741A (ja) 行列形データの欠損値予測装置、欠損値予測計算方法および欠損値予測プログラム
JP2006048429A (ja) 解析エンジン交換型システム及びデータ解析プログラム
JP7491724B2 (ja) 情報処理装置および情報処理方法
JP2021022051A (ja) 機械学習プログラム、機械学習方法および機械学習装置
JP3677006B2 (ja) 情報処理装置およびその方法
JP7499597B2 (ja) 学習モデル構築システムおよびその方法
JP2008305229A (ja) 需要予測方法および装置
JP4255779B2 (ja) データ分析装置およびデータ分析方法並びにデータ分析プログラム
Johnston et al. Disentangling causal relationships of a manufacturing process using genetic algorithms and six-sigma techniques
TW202121221A (zh) 可轉移性判定裝置、可轉移性判定方法、及可轉移性判定程式
CN114631122A (zh) 半导体应用的协作学习模型
US20200042926A1 (en) Analysis method and computer
JP2020144826A (ja) 推定装置、推定方法及びプログラム
WO2023085195A1 (ja) モデル生成装置、モデル生成方法及びデータ推定装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20110422

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130710

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130722

R150 Certificate of patent or registration of utility model

Ref document number: 5338492

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: R3D02

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250