JP5982489B2 - 動的外れ値偏り低減システム及び方法 - Google Patents

Description

本発明は、外れ値成分が分析展開から除去される（又はフィルタリングされる）データ分析に関する。分析は、単純な統計の計算、又は、展開においてデータを使用する数学モデルを伴う複雑な操作に関する。外れ値データのフィルタリングは、データ品質及びデータ認証の操作を目的とし、又は、代表的な標準、統計、後の分析に適用されるデータ群、回帰分析、時系列分析、若しくは数学モデル展開のための適格なデータを計算することを目的とする。

関連出願の相互参照
本国際特許出願は、２０１１年８月１９日に出願された「Dynamic Outlier Bias Reduction System and Method」という名称の米国仮特許出願第１３／２１３，７８０号の優先権を主張する。これは、その全体が参照として本明細書に組み入れられる。

基準において又はデータ主導モデル展開において外れ値データを除去することは、基礎となるデータから代表的かつ公正な分析を展開することを保証する予備分析作業の重要な一部をなす。例えば、二酸化炭素（ＣＯ_２）、オゾン（Ｏ_３）、水蒸気（Ｈ_２Ｏ）、ハイドロフルオロカーボン（ＨＦＣ）、パーフルオロカーボン（ＰＦＣ）、クロロフルオロカーボン（ＣＦＣ）、六フッ化硫黄（ＳＦ_６）、メタン（ＣＨ_４）、亜酸化窒素（Ｎ_２Ｏ）、一酸化炭素（ＣＯ）、窒素酸化物（ＮＯ_ｘ）及び非メタン揮発性有機化合物（ＮＭＶＯＣ）の排出に対する温室効果ガス基準の公正なベンチマークを展開するには、基準展開で使用される収集工業データが所定の特性を示すことが必要となる。少数の工業地帯による極端に良い又は悪いパフォーマンスが、他の工業地帯に対して計算される基準に偏りを与えるべきではない。かかるパフォーマンス結果が基準計算に含まれることは、不公正又は非代表的と判断される。過去においてパフォーマンス外れ値は、主観的入力を必要とする半定量的プロセスを介して除去されていた。現行のシステム及び方法は、データ主導型アプローチである。これは、当該タスクを、予備分析又は予備的モデル展開段階においてではなく、モデル展開の一体的部分として行う。

偏りの除去は、データ変更を立証するべく正当化理由が所定形式で文書化される主観的プロセスとなり得る。しかしながら、外れ値除去の形式はいずれも、計算結果を変更する可能性を伴うデータ打ち切りの形式である。かかるデータフィルタリングは、計算における偏り又は誤差を低減するかもしれないししないかもしれず、完全な分析開示の趣旨では、外れ値を除去するための厳格なデータ除去の指針及び文書が、分析結果に含まれる必要がある。したがって、当業界には、データ品質操作、データ認証、統計計算又は数学モデル展開等にとって有用な動的な統計プロセスを使用して、外れ値データ偏りを客観的に除去する新たなシステム及び方法を与える必要性がある。外れ値偏り除去のシステム及び方法はまた、データを代表カテゴリに分類するべく使用することもできる。この場合、データは、各群にカスタマイズされた数学モデルの展開に適用される。好ましい実施形態において、数学モデルの乗法的及び加法的因子として、及びさらに他の、本質的に非線形の数値パラメータとして係数が定義される。例えば、ｆ（ｘ，ｙ，ｚ）＝ａ＊ｘ＋ｂ＊ｙ^ｃ＋ｄ＊ｓｉｎ（ｅｚ）＋ｆとの数学モデルにおいて、ａ、ｂ、ｃ、ｄ、ｅ及びｆはすべて係数として定義される。これらの項の値は、固定されるか又は数学モデルの展開の一部となる。

国際公開第２００７／１１７２３３（Ａ１）号パンフレット

好ましい実施形態は、外れ値偏りを低減するコンピュータ実装方法であって以下のステップを含む。一の偏り基準を選択するステップ、一のデータセットを与えるステップ、複数のモデル係数の一セットを与えるステップ、複数の目標値の一セットを選択するステップ、（１）完成した当該データセットに対して複数の予測値の一セットを生成するステップ、（２）当該データセットに対して一の誤差セットを生成するステップ、（３）当該誤差セット及び当該偏り基準に基づいて複数の誤差しきい値の一セットを生成するステップ、（４）当該誤差セット及び複数の誤差しきい値の当該セットに基づいてプロセッサが一の打ち切られたデータセットを生成するステップ、（５）プロセッサが複数の新モデル係数の一セットを生成するステップ、並びに（６）複数の新モデル係数の当該セットを使用して一の打ち切りパフォーマンス終了基準が満たされるまでステップ（１）〜（５）を繰り返すステップである。好ましい実施形態において、複数の予測値の当該セットは、当該データセット及び複数のモデル係数の当該セットに基づいて生成される。好ましい実施形態において、当該誤差セットは、複数の予測値の当該セット及び複数の目標値の当該セットに基づいて生成された複数の絶対誤差の一セット及び複数の相対誤差の一セットを含む。他の実施形態において、当該誤差セットは、複数の予測値の当該セットと複数の目標値の当該セットとの差分として計算された複数の値を含む。他の実施形態において、複数の新係数の当該セットを生成するステップはさらに、線形又は非線形の最適化モデルを使用して達成することができる複数の予測値の当該セットと複数の実際値の当該セットとの間の複数の誤差の当該セットを最小化するステップを含む。好ましい実施形態において、当該打ち切りパフォーマンス終了基準は、一の標準誤差及び一の決定係数に基づく。

他の実施形態は、外れ値偏りを低減するコンピュータ実装方法を含む。この方法は以下のステップを含む。すなわち、一の誤差基準を選択するステップ、一のデータセットを選択するステップ、複数の実際値の一セットを選択するステップ、複数のモデル係数の一の初期セットを選択するステップ、完成した当該データセット及び複数のモデル係数の当該初期セットに基づいて複数のモデル予測値の一セットを生成するステップ、（１）完成した当該データセットに対する当該モデル予測値及び複数の実際値の当該セットに基づいて複数の誤差の一セットを生成するステップ、（２）完成した当該データセットに対する複数の誤差の完成した当該セット及び当該誤差基準に基づいて複数の誤差しきい値の一セットを生成するステップ、（３）一の外れ値除去済みデータセットを生成するステップであって、そのフィルタリングは完成した当該データセット及び複数の誤差しきい値の当該セットに基づくステップ、（４）当該フィルタリングされたデータセット及び複数の旧係数の当該セットに基づいて複数の新係数の一セットを生成するステップであって、複数の新係数の当該セットの生成はコンピュータプロセッサによって行われるステップ、（５）当該フィルタリングされたデータセット及び複数の新モデル係数の当該セットに基づいて複数の外れ値偏り低減済みモデル予測値の一セットを生成するステップであって、複数の外れ値偏り低減済みモデル予測値の当該セットの生成はコンピュータプロセッサによって行われるステップ、（６）当該モデル予測値及び複数の実際値の当該セットに基づいて複数のモデルパフォーマンス値の一セットを生成するステップ、先の反復からの複数の係数の当該セットの代わりに複数の新係数の当該セットを使用しながら一のパフォーマンス終了基準が満たされるまでステップ（１）〜（６）を繰り返すステップ、並びに複数のモデル予測値の当該セットをコンピュータデータ媒体に格納するステップである。

他の実施形態は、外れ値偏りを低減するコンピュータ実装方法を含む。この方法は以下のステップを含む。すなわち、施設に対する一の目標変数を選択するステップ、当該目標変数の複数の実際値の一セットを選択するステップ、当該目標変数に関連する当該施設に対する複数の変数を識別するステップ、当該施設に対する一のデータセットを取得するステップであって当該データセットは当該複数の変数に対する複数の値を含むステップ、一の偏り基準を選択するステップ、複数のモデル係数の一セットを選択するステップ、（１）完成した当該データセット及び複数のモデル係数の当該セットに基づいて複数の予測値の一セットを生成するステップ、（２）複数の予測値の当該セット及び複数の実際値の当該セットに基づいて複数の打ち切りモデルパフォーマンス値の一セットを生成するステップ、（３）当該目標変数に対する複数の予測値の当該セット及び複数の実際値の当該セットに基づいて一の誤差セットを生成するステップ、（４）当該誤差セット及び当該偏り基準に基づいて複数の誤差しきい値の一セットを生成するステップ、（５）当該データセット及び複数の誤差しきい値の当該セットに基づいてプロセッサが一の打ち切られたデータセットを生成するステップ、（６）当該打ち切られたデータセット及び複数のモデル係数の当該セットに基づいて当該プロセッサが複数の新モデル係数の一セットを生成するステップ、（７）当該データセット及び複数の新モデル係数の当該セットに基づいて当該プロセッサが複数の新予測値の一セットを生成するステップ、（８）複数の新予測値の当該セット及び複数の実際値の当該セットに基づいて複数の新打ち切りモデルパフォーマンス値の一セットを生成するステップ、複数の新係数の当該セットを使用して一の打ち切りパフォーマンス終了基準が満たされるまでステップ（１）〜（８）を繰り返すステップ、並びに複数の新モデル予測値の当該セットをコンピュータデータ媒体に格納するステップである。

他の実施形態は、外れ値偏りを低減するコンピュータ実装方法を含む。この方法は以下のステップを含む。すなわち、施設に対する一の目標変数を決定するステップであって当該目標変数は工業施設に対するその製造、金融パフォーマンス又は排出に関連する測定基準であるステップ、当該施設に対する複数の変数を識別するステップであって、当該複数の変数は、当該目標変数に影響する当該施設に対する複数の直接的変数と、それぞれが当該目標変数に影響する少なくとも一つの直接的施設変数の関数である当該施設に対する複数の変換された変数の一セットとであるステップ、一の絶対誤差及び一の相対誤差を含む一の誤差基準を選択するステップ、当該施設に対する一のデータセットを取得するステップであって当該データセットは当該複数の変数に対する複数の値を含むステップ、当該目標変数の複数の実際値の一セットを選択するステップ、複数のモデル係数の一の初期セットを選択するステップ、完成した当該データセット及び複数のモデル係数の当該初期セットに基づいて複数のモデル予測値の一セットを生成するステップ、複数のモデル予測値の当該完成したセット及び複数の実際値の当該セットに基づいて複数の誤差の完成した一セットを生成するステップであって、相対誤差が式：相対誤差_ｍ＝（（予測値_ｍ−実際値_ｍ）／実際値_ｍ）^２（「ｍ」は参照番号）を使用して計算され、かつ、絶対誤差が式：絶対誤差_ｍ＝（予測値_ｍ−実際値_ｍ）^２を使用して計算されるステップ、複数のモデル予測値の当該セット及び複数の実際値の当該セットに基づいて複数のモデルパフォーマンス値の一セットを生成するステップであって全体的な複数のモデルパフォーマンス値の当該セットは第１標準誤差及び第１決定係数を含むステップ、（１）完成した当該データセットに対する当該モデル予測値及び複数の実際値の当該セットに基づいて複数の誤差の一セットを生成するステップ、（２）複数の誤差の完成した当該セット及び完成した当該データセットに対する当該誤差基準に基づいて複数の誤差しきい値の一セットを生成するステップ、（３）当該誤差しきい値以上の誤差値を有するデータを除去することによって一の外れ値除去済みデータセットを生成するステップであってそのフィルタリングは完成した当該データセット及び複数の誤差しきい値の当該セットに基づくステップ、（４）一の線形最適化モデル及び一の非線形最適化モデルの少なくとも一つを使用して複数の予測値の当該セットと複数の実際値の当該セットとの間の誤差を最小化することにより、当該外れ値除去済みデータセット及び複数のモデル係数の当該セットに基づいて複数の外れ値偏り低減済みモデル予測値の一セットを生成するステップであって新しい当該モデル予測値の生成はコンピュータプロセッサによって行われるステップ、（５）当該外れ値除去済みデータセット及び複数の係数の旧セットに基づいて複数の新係数の一セットを生成するステップであって複数の新係数の当該セットの生成は当該コンピュータプロセッサによって行われるステップ、（６）複数の新予測モデル値の当該セット及び複数の実際値の当該セットに基づいて全体的な複数のモデルパフォーマンス値の一セットを生成するステップであって複数のモデルパフォーマンス値の当該セットは第２標準誤差及び第２決定係数を含むステップ、先の反復からの複数の係数の当該セットの代わりに複数の新係数の当該セットを使用しながら一のパフォーマンス終了基準が満たされるまでステップ（１）〜（６）を繰り返すステップであって、当該パフォーマンス終了基準は一の標準誤差終了値及び一の決定係数終了値を含み、かつ、当該パフォーマンス終了基準を満たすことは当該標準誤差終了値が当該第１及び第２標準誤差間の差分よりも大きくかつ当該決定係数終了値が当該第１及び第２決定係数間の差分よりも大きいことを含むステップ、並びに複数の新モデル予測値の当該セットをコンピュータデータ媒体に格納するステップである。

他の実施形態は、外れ値偏りを低減するコンピュータ実装方法を含む。この方法は以下のステップを含む。すなわち、一の誤差基準を選択するステップ、一のデータセットを選択するステップ、複数の実際値の一セットを選択するステップ、複数のモデル予測値の一の初期セットを選択するステップ、複数のモデル予測値の当該セット及び複数の実際値の当該セットに基づいて複数の誤差の一セットを決定するステップ、（１）複数の誤差の完成した当該セット及び当該誤差基準に基づいて複数の誤差しきい値の一セットを決定するステップ、（２）一の外れ値除去済みデータセットを生成するステップであってそのフィルタリングは当該データセット及び複数の誤差しきい値の当該セットに基づくステップ、（３）当該外れ値除去済みデータセット及び複数の旧モデル予測値に基づいて複数の外れ値偏り低減済みモデル予測値の一セットを生成するステップであって複数の外れ値偏り低減済みモデル予測値の当該セットの生成はコンピュータプロセッサによって行われるステップ、（４）複数の新モデル予測値の当該セット及び複数の実際値の当該セットに基づいて複数の誤差の一セットを決定するステップ、先の反復からの複数のモデル予測値の当該セットの代わりに複数の新モデル予測値を使用しながら一のパフォーマンス終了基準が満たされるまでステップ（１）〜（４）を繰り返すステップ、並びに複数の外れ値偏り低減済みモデル予測値の当該セットをコンピュータデータ媒体に格納するステップである。

他の実施形態は、外れ値偏りを低減するコンピュータ実装方法を含む。この方法は以下のステップを含む。すなわち、施設に対する一の目標変数を決定するステップ、当該施設に対する複数の変数を識別するステップであって、当該複数の変数は、当該目標変数に影響する当該施設に対する複数の直接的変数と、それぞれが当該目標変数に影響する少なくとも一つの直接的施設変数の関数である当該施設に対する複数の変換された変数の一セットとであるステップ、一の絶対誤差及び一の相対誤差を含む一の誤差基準を選択するステップ、当該複数の変数に対する複数の値を含む一のデータセットを取得するステップ、当該目標変数の複数の実際値の一セットを選択するステップ、複数のモデル係数の一の初期セットを選択するステップ、複数のモデル係数の一セットを当該データセットに適用することによって複数のモデル予測値の一セットを生成するステップ、複数のモデル予測値の当該セット及び複数の実際値の当該セットに基づいて複数のパフォーマンス値の一セットを決定するステップであって複数のパフォーマンス値の当該セットは第１標準誤差及び第１決定係数を含むステップ、（１）複数のモデル予測値の当該セット及び完成した当該データセットに対する複数の実際値の当該セットに基づいて複数の誤差の一セットを生成するステップであって相対誤差が式：相対誤差_ｍ＝（（予測値_ｍ−実際値_ｍ）／実際値_ｍ）^２（「ｍ」は参照番号）を使用して計算され、かつ、絶対誤差が式：絶対誤差_ｍ＝（予測値_ｍ−実際値_ｍ）^２）を使用して計算されるステップ、（２）完成した当該データセットに対する複数の誤差の完成した当該セット及び当該誤差基準に基づいて複数の誤差しきい値の一セットを生成するステップ、（３）複数の誤差しきい値の当該セット以上の複数の誤差値を有するデータを除去することによって、一の外れ値除去済みデータセットを生成するステップであってそのフィルタリングは当該データセット及び複数の誤差しきい値の当該セットに基づくステップ、（４）当該外れ値除去済みデータセット及び複数の旧係数の当該セットに基づいて複数の新係数の一セットを生成するステップ、（５）一の線形最適化モデル及び一の非線形最適化モデルの少なくとも一つを使用して複数の予測値の当該セットと複数の実際値の当該セットとの間の誤差を最小化することにより、当該外れ値除去済みデータセット及び複数の新モデル係数の当該セットに基づいて複数の外れ値偏り低減済みモデル予測値の一セットを生成するステップであって当該モデル予測値の生成はコンピュータプロセッサによって行われるステップ、（６）複数の外れ値偏り低減済みモデル予測値の当該セット及び複数の実際値の当該セットに基づいて複数の更新済みパフォーマンス値の一セットを生成するステップであって当該更新済みパフォーマンス値の当該セットは第２標準誤差及び第２決定係数を含むステップ、先の反復からの複数の係数の当該セットの代わりに複数の新係数の当該セットを使用しながら一のパフォーマンス終了基準が満たされるまでステップ（１）〜（６）を繰り返すステップであって、当該パフォーマンス終了基準は一の標準誤差終了値及び一の決定係数終了値を含み、かつ、当該パフォーマンス終了基準を満たすことは当該標準誤差終了値が当該第１及び第２標準誤差間の差分よりも大きくかつ当該決定係数終了値が当該第１及び第２決定係数間の差分よりも大きいことを含むステップ、並びに複数の外れ値偏り低減因子の当該セットをコンピュータデータ媒体に格納するステップである。

他の実施形態は、一のモデルを展開するときに使用される一のデータセットの実現性を評価するコンピュータ実装方法を含む。この方法は以下のステップを含む。すなわち、複数のデータ値を含む一の目標データセットを与えるステップ、当該目標データセットに基づいて一のランダム目標データセットを生成するステップ、複数の偏り基準値の一セットを選択するステップ、当該データセット及び選択された各偏り基準値に基づいてプロセッサが一の外れ値偏り低減済み目標データセットを生成するステップ、ランダムな当該データセット及び選択された各偏り基準値に基づいてプロセッサが一の外れ値偏り低減済みランダムデータセットを生成するステップ、当該外れ値偏り低減済みデータセット及び当該外れ値偏り低減済みランダムデータセットに対して複数の誤差値の一セットを計算するステップ、当該外れ値偏り低減済みデータセット及び当該外れ値偏り低減済みランダムデータセットに対して複数の相関係数の一セットを計算するステップ、選択された前記複数の偏り基準値と対応する誤差値及び相関係数とに基づいて当該データセット及び当該ランダムデータセットに対する複数の偏り基準曲線を生成するステップ、並びに当該データセットに対する当該偏り基準曲線と当該ランダムデータセットに対する当該偏り基準曲線とを対比するステップである。当該外れ値偏り低減済み目標データセット及び当該外れ値偏り低減済みランダム目標データセットは、動的外れ値偏り除去法を使用して生成される。当該ランダム目標データセットは、当該複数のデータ値の範囲内にある複数の値から展開された複数の任意抽出データ値からなり得る。また、複数の誤差値の当該セットは複数の標準誤差の一セットを含み得る。ここで、複数の相関係数の当該セットは複数の決定係数値の一セットを含む。他の実施形態はさらに、当該目標データセットに対する当該偏り基準曲線と当該ランダム目標データセットに対する当該偏り基準曲線との対比に基づいて、展開された当該モデルをサポートする当該目標データセットの実現性及びその逆に関する自動化されたアドバイスを生成するステップを含む。アドバイスは、相関係数しきい値及び／又は誤差しきい値のような、分析者によって選択されたパラメータに基づいて生成することができる。さらに他の実施形態はさらに以下のステップを含む。すなわち、当該モデル予測値に対応する複数の実際データ値を含む一の実際データセットを与えるステップ、当該実際データセットに基づいて一のランダム実際データセットを生成するステップ、当該実際データセット及び選択された各偏り基準値に基づいてプロセッサが一の外れ値偏り低減済み実際データセットを生成するステップ、当該ランダム実際データセット及び選択された各偏り基準値に基づいて当該プロセッサが一の外れ値偏り低減済みランダム実際データセットを生成するステップ、選択された各偏り基準に対し当該外れ値偏り低減済みランダム目標データセット及び当該外れ値偏り低減済みランダム実際データに基づいて一のランダムデータプロットを生成するステップ、選択された各偏り基準に対し当該外れ値偏り低減済み目標データセット及び当該外れ値偏り低減済み実際目標データセットに基づいて一の現実的データプロットを生成するステップ、並びに当該ランダムデータプロットと選択された各偏り基準に対応する当該現実的データプロットとを対比するステップである。

好ましい実施形態は、プロセッサ及び格納サブシステムを含むサーバと、一のデータセットを含みかつ当該格納サブシステムによって格納されるデータベースと、当該格納サブシステムによって格納されるコンピュータプログラムとを備えるシステムを含む。当該コンピュータプログラムは、実行されると当該プロセッサに以下のことを引き起こす命令を含む。すなわち、一の偏り基準を選択すること、複数のモデル係数の一セットを与えること、複数の目標値の一セットを選択すること、（１）当該データセットに対する複数の予測値の一セットを生成すること、（２）当該データセットに対する一の誤差セットを生成すること、（３）当該誤差セット及び当該偏り基準に基づいて複数の誤差しきい値の一のセットを生成すること、（４）当該誤差セット及び複数の誤差しきい値の当該セットに基づいて一の打ち切られたデータセットを生成すること、（５）複数の新モデル係数の一セットを生成すること、並びに（６）複数の新モデル係数の当該セットを使用して一の打ち切りパフォーマンス終了基準が満たされるまでステップ（１）〜（５）を繰り返すことである。好ましい実施形態において、複数の予測値の当該セットは、当該データセット及び複数のモデル係数の当該セットに基づいて生成される。好ましい実施形態において、当該誤差セットは、複数予測値の当該セット及び複数目標値の当該セットに基づいて生成された複数の絶対誤差の一セット及び複数の相対誤差の一セットを含む。他の実施形態において、当該誤差セットは、複数の予測値の当該セットと複数の目標値の当該セットとの差分として計算された値を含む。他の実施形態において、複数の新係数の当該セットを生成するステップはさらに、複数の予測値の当該セットと複数の実際値の当該セットとの間の複数の誤差の当該セットを最小化するステップを含む。これは、線形又は非線形最適化モデルを使用して達成することができる。好ましい実施形態において、当該打ち切りパフォーマンス終了基準は、一の標準誤差及び一の決定係数に基づく。

本発明の他の実施形態は、プロセッサ及び格納サブシステムを含むサーバと、一のデータセットを含みかつ当該格納サブシステムによって格納されるデータベースと、当該格納サブシステムによって格納されるコンピュータプログラムとを備えるシステムを含む。当該コンピュータプログラムは、実行されると当該プロセッサに以下のことを引き起こす命令を含む。すなわち、一の誤差基準を選択すること、複数の実際値の一セットを選択すること、複数の係数の一の初期セットを選択すること、当該データセット及び複数の係数の当該初期セットから複数のモデル予測値の一の完成したセットを生成すること、（１）完成した当該データセットに対する当該モデル予測値及び複数の実際値の当該セットに基づいて複数の誤差の一セットを生成すること、（２）完成した当該データセットに対する複数の誤差の完成した当該セット及び当該誤差基準に基づいて複数の誤差しきい値の一セットを生成すること、（３）一の外れ値除去済みデータセットを生成することであってそのフィルタリングは完成した当該データセット及び複数の誤差しきい値の当該セットに基づくこと、（４）当該外れ値除去済みデータセット及び複数の係数の当該セットに基づいて複数の外れ値偏り低減済みモデル予測値の一セットを生成することであって、複数の外れ値偏り低減済みモデル予測値の当該セットの生成はコンピュータプロセッサによって行われること、（５）当該外れ値除去済みデータセット及び複数の旧係数の当該セットに基づいて複数の新係数の一セットを生成することであって複数の新係数の当該セットの生成は当該コンピュータプロセッサによって行われること、（６）当該外れ値偏り低減済みモデル予測値及び複数の実際値の当該セットに基づいて複数のモデルパフォーマンス値の一セットを生成すること、先の反復からの複数の係数の当該セットの代わりに複数の新係数の当該セットを使用しながら一のパフォーマンス終了基準が満たされるまでステップ（１）〜（６）を繰り返すこと、並びに全体的な複数の外れ値偏り低減モデル予測値の一セットをコンピュータデータ媒体に格納することである。

さらに他の実施形態は、プロセッサ及び格納サブシステムを含むサーバと、当該格納サブシステムによって格納されるデータベースであって施設に対する一の目標変数、当該目標変数の複数の実際値の一セット、当該目標変数に関連する当該施設に対する複数の変数、当該複数の変数に対する複数の値を含む当該施設に対する一のデータセットを含むデータベースと、当該格納サブシステムによって格納されるコンピュータプログラムとを備えるシステムを含む。当該コンピュータプログラムは、実行されると当該プロセッサに以下のことを引き起こす命令を含む。すなわち、一の偏り基準を選択すること、複数のモデル係数の一セットを選択すること、（１）当該データセット及び複数のモデル係数の当該セットに基づいて複数の予測値の一セットを生成すること、（２）複数の予測値の当該セット及び複数の実際値の当該セットに基づいて複数の打ち切りモデルパフォーマンス値の一セットを生成すること、（３）当該目標変数に対する複数の予測値の当該セット及び複数の実際値の当該セットに基づいて一の誤差セットを生成すること、（４）当該誤差セット及び当該偏り基準に基づいて複数の誤差しきい値の一セットを生成すること、（５）当該データセット及び複数の誤差しきい値の当該セットに基づいて一の打ち切られたデータセットを生成すること、（６）当該打ち切られたデータセット及び複数のモデル係数の当該セットに基づいて複数の新モデル係数の一セットを生成すること、（７）当該データセット及び複数の新モデル係数の当該セットに基づいて複数の新予測値の一セットを生成すること、（８）複数の新予測値の当該セット及び複数の実際値の当該セットに基づいて複数の新打ち切りモデルパフォーマンス値の一セットを生成すること、複数の新係数の当該セットを使用して一の打ち切りパフォーマンス終了基準が満たされるまでステップ（１）〜（８）を繰り返すこと、並びに複数の新モデル予測値の当該セットを当該格納サブシステムに格納することである。

他の実施形態は、プロセッサ及び格納サブシステムを含むサーバと、施設に対する一のデータセットを含みかつ当該格納サブシステムによって格納されるデータベースと、当該格納サブシステムによって格納されるコンピュータプログラムとを備えるシステムを含む。当該コンピュータプログラムは、実行されると当該プロセッサに以下のことを引き起こす命令を含む。すなわち、一の目標変数を決定すること、複数の変数を識別することであって当該複数の変数は、当該目標変数に影響する当該施設に対する複数の直接的変数と、それぞれが当該目標変数に影響する少なくとも一つの直接的変数の関数である当該施設に対する複数の変換された変数の一セットとであること、一の絶対誤差及び一の相対誤差を含む一の誤差基準を選択すること、当該目標変数の複数の実際値の一セットを選択すること、複数の係数の一の初期セットを選択すること、当該データセット及び複数の係数の当該初期セットから複数のモデル予測値の一セットを生成すること、複数のモデル予測値の当該セット及び複数の実際値の当該セットに基づいて複数の誤差の一セットを決定することであって、相対誤差が式：相対誤差_ｍ＝（（予測値_ｍ−実際値_ｍ）／実際値_ｍ）^２（「ｍ」は参照番号）を使用して計算され、かつ、絶対誤差が式：絶対誤差_ｍ＝（予測値_ｍ−実際値_ｍ）^２を使用して計算されること、複数のモデル予測値の当該セット及び複数の実際値の当該セットに基づいて複数のパフォーマンス値の一セットを決定することであって複数のパフォーマンス値の当該セットは第１標準誤差及び第１決定係数を含むこと、（１）当該モデル予測値及び複数の実際値の当該セットに基づいて複数の誤差の一セットを生成すること、（２）完成した当該データセットに対する複数の誤差の完成した当該セット及び当該誤差基準に基づいて複数の誤差しきい値の一セットを生成すること、（３）複数の誤差しきい値の当該セットの外にある複数の誤差値を有するデータをフィルタリングすることによって、一の外れ値除去済みデータセットを生成することであってそのフィルタリングは当該データセット及び複数の誤差しきい値の当該セットに基づくこと、（４）一の線形最適化モデル及び一の非線形最適化モデルの少なくとも一つを使用して複数の予測値の当該セットと複数の実際値の当該セットとの間の一の誤差を最小化することにより、当該外れ値除去済みデータセット及び複数の係数の当該セットに基づいて複数の新モデル予測値の一セットを生成することであって当該外れ値偏り低減済みモデル予測値の生成はコンピュータプロセッサによって行われること、（５）当該外れ値除去済みデータセット及び複数の旧係数の当該セットに基づいて複数の新係数の一セットを生成することであって複数の新係数の当該セットの生成は当該コンピュータプロセッサによって行われること、（６）複数の新モデル予測値の当該セット及び複数の実際値の当該セットに基づいて複数のパフォーマンス値の一セットを生成することであって複数のモデルパフォーマンス値の当該セットは第２標準誤差及び第２決定係数を含むこと、先の反復からの複数の係数の当該セットの代わりに複数の新係数の当該セットを使用しながら一のパフォーマンス終了基準が満たされるまでステップ（１）〜（６）を繰り返すことであって、当該パフォーマンス終了基準は一の標準誤差終了値及び一の決定係数を含み、かつ、当該パフォーマンス終了基準を満たすことは当該標準誤差終了値が当該第１及び第２標準誤差間の差分よりも大きくかつ当該決定係数終了値が当該第１及び第２決定係数間の差分よりも大きいことを含むこと、並びに複数の新モデル予測値の当該セットをコンピュータデータ媒体に格納することである。

本発明の他の実施形態は、プロセッサ及び格納サブシステムを含むサーバと、一のデータセットを含みかつ当該格納サブシステムによって格納されるデータベースと、当該格納サブシステムによって格納されるコンピュータプログラムとを備えるシステムを含む。当該コンピュータプログラムは、実行されると当該プロセッサに以下のことを引き起こす命令を含む。すなわち、一の誤差基準を選択すること、一のデータセットを選択すること、複数の実際値の一セットを選択すること、複数のモデル予測値の一の初期セットを選択すること、複数のモデル予測値の当該セット及び複数の実際値の当該セットに基づいて複数の誤差の一セットを決定すること、（１）複数の誤差の完成した当該セット及び当該誤差基準に基づいて複数の誤差しきい値の一セットを決定すること、（２）一の外れ値除去済みデータセットを生成するステップであってそのフィルタリングは当該データセット及び複数の誤差しきい値の当該セットに基づくこと、（３）当該外れ値除去済みデータセット及び複数のモデル予測値の完成した当該セットに基づいて複数の外れ値偏り低減済みモデル予測値の一セットを生成することであって複数の外れ値偏り低減済みモデル予測値の当該セットの生成はコンピュータプロセッサによって行われること、（４）複数の外れ値偏り低減モデル予測値の当該セット及び複数の実際値の対応するセットに基づいて複数の誤差の一セットを決定すること、複数のモデル予測値の当該セットの代わりに複数の外れ値偏り低減モデル予測値の当該セットを使用しながら一のパフォーマンス終了基準が満たされるまでステップ（１）〜（４）を繰り返すこと、並びに複数の外れ値偏り低減因子の当該セットをコンピュータデータ媒体に格納することである。

本発明の他の実施形態は、プロセッサ及び格納サブシステムを含むサーバと、一のデータセットを含みかつ当該格納サブシステムによって格納されるデータベースと、当該格納サブシステムによって格納されるコンピュータプログラムとを備えるシステムを含む。当該コンピュータプログラムは、実行されると当該プロセッサに以下のことを引き起こす命令を含む。すなわち、一の目標変数を決定すること、当該施設に対する複数の変数を識別することであって、当該複数の変数は、当該目標変数に影響する当該施設に対する複数の直接的変数と、それぞれが当該目標変数に影響する少なくとも一つの主要施設変数の関数である当該施設に対する複数の変換された変数の一セットとであること、一の絶対誤差及び一の相対誤差を含む一の誤差基準を選択すること、当該複数の変数に対する複数の値を含む一のデータセットを取得して当該目標変数の複数の実際値の一セットを選択すること、複数の係数の一の初期セットを選択すること、複数のモデル係数の当該セットを当該データセットに適用することによって複数のモデル予測値の一セットを生成すること、複数のモデル予測値の当該セット及び複数の実際値の当該セットに基づいて複数のパフォーマンス値の一セットを決定することであって複数のパフォーマンス値の当該セットは第１標準誤差及び第１決定係数を含むこと、（１）複数のモデル予測値の当該セット及び複数の実際値の当該セットに基づいて複数の誤差の一セットを決定することであって、相対誤差が式：相対誤差_ｋ＝（（予測値_ｋ−実際値_ｋ）／実際値_ｋ）^２（「ｋ」は参照番号）を使用して計算され、かつ、絶対誤差が式：絶対誤差_ｋ＝（予測値_ｋ−実際値_ｋ）^２を使用して計算されること、（２）完成した当該データセットに対する複数の誤差の当該セット及び当該誤差基準に基づいて複数の誤差しきい値の一セットを決定すること、（３）当該誤差しきい値以上の誤差値を有するデータを除去することによって、一の外れ値除去済みデータセットを生成することであってそのフィルタリングは当該データセット及び複数の誤差しきい値の当該セットに基づくこと、（４）当該外れ値除去済みデータセット及び複数の旧係数の当該セットに基づいて複数の新係数の一セットを生成すること、（５）一の線形最適化モデル及び一の非線形最適化モデルの少なくとも一つを使用して複数の予測値の当該セットと複数の実際値の当該セットとの間の一の誤差を最小化することと当該外れ値除去済みデータセット及び複数の係数の当該セットとに基づいて複数の外れ値偏り低減済みモデル予測値の一セットを生成すること、（５）複数の外れ値偏り低減済みモデル予測値の当該セット及び複数の実際値の当該セットに基づいて複数の更新済みパフォーマンス値の一セットを生成することであって当該更新済みパフォーマンス値の当該セットは第２標準誤差及び第２決定係数を含むこと、先の反復からの複数の係数の当該セットの代わりに複数の新係数の当該セットを使用しながら一のパフォーマンス終了基準が満たされるまでステップ（１）〜（５）を繰り返すことであって、当該パフォーマンス終了基準は一の標準誤差終了値及び一の決定係数終了値を含み、かつ、当該パフォーマンス終了基準を満たすことは当該標準誤差終了値が当該第１及び第２標準誤差間の差分よりも大きくかつ当該決定係数終了値が当該第１及び第２決定係数間の差分よりも大きいことを含むこと、並びに複数の外れ値偏り低減因子の当該セットをコンピュータデータ媒体に格納することである。

さらに他の実施形態は、一のモデルを展開するときに使用される一のデータセットの実現性を評価するシステムを含む。当該システムは、プロセッサ及び格納サブシステムを含むサーバと、複数のモデル予測値を含む一の目標データセットを含みかつ当該格納サブシステムによって格納されるデータベースと、当該格納サブシステムによって格納されるコンピュータプログラムとを含む。当該コンピュータプログラムは、実行されると当該プロセッサに以下のことを引き起こす命令を含む。すなわち、一のランダム目標データセットを生成すること、複数の偏り基準値の一セットを選択すること、当該目標データセット及び選択された各偏り基準値に基づいて複数の外れ値偏り低減済みデータセットを生成すること、当該ランダム目標データセット及び選択された各偏り基準値に基づいて一の外れ値偏り低減済みランダム目標データセットを生成すること、当該外れ値偏り低減済み目標データセット及び当該外れ値偏り低減済みランダム目標データセットに対する複数の誤差値の一セットを計算すること、当該外れ値偏り低減済み目標データセット及び当該外れ値偏り低減済みランダム目標データセットに対する複数の相関係数の一セットを計算すること、選択された各偏り基準に対する対応する誤差値及び相関係数に基づいて当該目標データセット及び当該ランダム目標データセットに対する複数の偏り基準曲線を生成すること、並びに当該目標データセットに対する当該偏り基準曲線と当該ランダム目標データセットに対する当該偏り基準曲線とを対比することである。プロセッサは、動的外れ値偏り除去法を使用して当該外れ値偏り低減済み目標データセット及び当該外れ値偏り低減済みランダム目標データセットを生成する。当該ランダム目標データセットは、当該複数のデータ値の範囲内にある複数の値から展開された複数の任意抽出データ値からなり得る。また、複数の誤差値の当該セットは複数の標準誤差の一セットを含み得る。複数の相関係数の当該セットは複数の決定係数値の一セットを含む。他の実施形態において、プログラムはさらに、実行されると当該プロセッサに以下のことを引き起こす命令を含む。すなわち、当該目標データセットに対する当該偏り基準曲線と当該ランダム目標データセットに対する当該偏り基準曲線との対比に基づいて自動化されたアドバイスを生成させることである。アドバイスは、相関係数しきい値及び／又は誤差しきい値のような、分析者によって選択されたパラメータに基づいて生成することができる。さらに他の実施形態において、システムのデータベースはさらに、当該モデル予測値に対応する複数の実際データ値を備える一の実際データセットを含み、かつ、当該プログラムはさらに、実行されると当該プロセッサに以下のことを引き起こす命令を含む。すなわち、当該実際データセットに基づいて一のランダム実際データセットを生成すること、当該実際データセット及び選択された各偏り基準値に基づいて一の外れ値偏り低減済み実際データセットを生成すること、当該ランダム実際データセット及び選択された各偏り基準値に基づいて一の外れ値偏り低減済みランダム実際データセットを生成すること、選択された各偏り基準に対し当該外れ値偏り低減済みランダム目標データセット及び当該外れ値偏り低減済みランダム実際データに基づいて一のランダムデータプロットを生成すること、選択された各偏り基準に対し当該外れ値偏り低減済み目標データセット及び当該外れ値偏り低減済み実際目標データセットに基づいて一の現実的データプロットを生成すること、並びに当該ランダムデータプロットと選択された各偏り基準に対応する当該現実的データプロットとを対比することである。

データ外れ値を特定及び除去する方法の一実施形態を例示するフローチャートである。 データ品質操作のためにデータ外れ値を特定及び除去する方法の一実施形態を例示するフローチャートである。 データ認証のためにデータ外れ値を特定及び除去する方法の一実施形態を例示するフローチャートである。 本発明の方法を実装する例示的ノードである。 データセットの定量評価のための例示的グラフである。 図６Ａ及び６Ｂは、図５のデータセットの定量的評価のためのグラフであり、それぞれデータセット全体に対する任意抽出データセット及び現実的データセットを例示する。 図７Ａ及び７Ｂは、図５のデータセットの定量的評価のためのグラフであり、それぞれデータの３０％を外れ値として除去した後の任意抽出データセット及び現実的データセットを例示する。 図８Ａ及び８Ｂは、図５のデータセットの定量的評価のためのグラフであり、それぞれデータの５０％を外れ値として除去した後の任意抽出データセット及び現実的データセットを例示する。

以下の開示は、構造化された内容に対するアクセス及び管理のためのシステム及び方法の異なる特徴を実装する多くの異なる実施形態又は例を与える。コンポーネント、プロセス及び実装の特定の例は、本発明を明確にすることに役立てるべく説明される。これらは単なる例であって、本発明を特許請求の範囲に記載されるものから制限することを意図しない。周知の要素は、本発明の好ましい実施形態を不必要な詳細によって不明瞭にすることがないように、詳細な説明なしに提示される。ほとんどの箇所に対し、本発明の好ましい実施形態の完全な理解を得るのに不必要な詳細は、かかる詳細が当業者のスキル内にある限り省略される。

動的外れ値偏り低減の一実施形態の数学的記述は以下の通りである。

動的外れ値偏り低減の一実施形態の他の数学的記述は以下のとおりである。

現行の打ち切られたデータセットから新モデル係数が計算される各反復の後、先の反復からの除去されたデータに現行の打ち切られたデータをプラスしたものが再び組み合わせられる。この組み合わせは、完成したデータセットにおけるすべてのデータ値を包含する。現行のモデル係数はその後、予測値の完成されたセットを計算するべく、完成されたデータセットに適用される。予測値の完成されたセットに対して絶対及び相対誤差が計算され、新たな偏り基準百分位数しきい値が計算される。絶対又は相対誤差がしきい値よりも大きなデータ値すべてを除去することにより新たな打ち切られたデータセットが作られ、その後、非線形最適化モデルが新たに打ち切られたデータセットに適用されて新たなモデル係数が計算される。このプロセスにより、すべてのデータ値がモデルデータセットに包含される可能性を、反復ごとに調べることができる。モデル係数が当該データに最適適合する値に収束するときは、先の反復において除外されたいくつかのデータ値がその後の反復において含められることもあり得る。

一実施形態において、温室効果ガス排出のばらつきが、モデル予測値の偏りにつながる排出結果の過大評価又は過小評価をもたらし得る。環境条件及び計算手順での誤差のような、これらの非工業的影響により、特定の施設に対する結果が、モデル予測値における偏りが除去されない限り、同様の施設と根本的に異なることとなる。モデル予測値における偏りはまた、独特の操作条件によっても存在する。

施設の計算が誤っていること又は独特の酌量すべき特徴を有していることが分析者に確信できるのであれば、施設のデータを単に計算から除去することにより、偏りは手動で除去することができる。しかしながら、多くの異なる会社、地域及び国から施設のパフォーマンスを測定する場合、データ詳細の正確な先験的知識は現実的ではない。したがって、分析者に基づくデータ除去手順はいずれも、モデル結果に対して文書化されず、データにサポートされない偏りを加える可能性を有する。

一実施形態において、モデル係数計算から除去される統計的な外れ値を決定するべく、データ及び所定の全体的な誤差基準を使用する手順に動的外れ値偏り低減が適用される。これは、データによりもたらされる大域的誤差基準を使用して、例えば百分位数関数を使用して、外れ値を識別するデータ主導型プロセスである。動的外れ値偏り低減の使用は、モデル予測値における偏りの低減に限られない。この実施形態におけるその使用は図示的かつ例示的にすぎない。動的外れ値偏り低減はまた、例えば任意の統計データセットから外れ値を除去するべく使用される。これは、例えば、算術平均、線形回帰及び傾向線の計算における使用を含むがこれらに限られない。外れ値の施設は依然として計算結果から順位付けされているが、外れ値は、モデル係数又は統計結果を計算するべく適用されるフィルタリング済みデータセットにおいて使用されない。

外れ値を除去するべく一般に使用される標準手順は、データセットの標準偏差（σ）を計算して平均からの２σ間隔外にあるデータすべてを、例えば外れ値として単純に画定することである。この手順は、一般には実際に検定不可能な統計的仮定を有する。本発明の一実施形態において適用される動的外れ値偏り低減方法の記述は、図１にまとめられており、相対誤差及び絶対誤差の双方を使用する。例えば、施設「ｍ」に対し：
相対誤差_ｍ＝（（予測値_ｍ−実際値_ｍ）／実際値_ｍ）^２ （１）
絶対誤差_ｍ＝（予測値_ｍ−実際値_ｍ）^２ （２）
となる。

ステップ１１０において、分析者は、計算から除去される外れ値を画定する誤差しきい値基準を特定する。例えば、誤差関数として百分位数操作を使用して、相対及び絶対誤差に対する８０パーセントの百分位数値が設定され得る。この意味は、相対誤差に対する第８０百分位数値未満のデータ値及び絶対誤差に対する第８０百分位数値のデータ値の計算が含まれ、かつ、残りの値は除去されるか又は外れ値とみなされるということである。この例では、除去されるのを回避するべきデータ値に対しては、当該データ値は、相対及び絶対誤差の双方が第８０百分位数値未満でなければならない。しかしながら、相対及び絶対誤差の双方に対する百分位数しきい値は独立して変化し得るので、他の実施形態においては、一方の百分位数しきい値のみが使用される。

ステップ１２０において、モデル標準誤差及び決定係数（ｒ^２）のパーセント変化基準が特定される。これらの統計の値がモデルごとに変わる一方、先の反復手順におけるパーセント変化は、例えば５パーセントのように、予備的に設定することができる。これらの値は、反復手順を終了させるべく使用することができる。他の終了基準は単純な反復回数であり得る。

ステップ１３０において、各施設に対するモデル係数及び予測値を生成する最適化計算が行われる。

ステップ１４０において、式（１）及び（２）を使用してすべての施設に対する相対及び絶対誤差の双方が計算される。

ステップ１５０において、ステップ１１０で特定されたしきい値基準を有する誤差関数がステップ１４０で計算されたデータに適用されて、外れ値しきい値が決定される。

ステップ１６０において、データが、選択された構成に応じ、相対誤差、絶対誤差又は双方の誤差がステップ１５０で計算された誤差しきい値より小さい施設のみを含むようにフィルタリングされる。

ステップ１７０において、外れ値除去済みデータセットを使用して最適化計算が行われる。

ステップ１８０において、標準誤差及びｒ^２のパーセント変化が、ステップ１２０で特定された基準と対比される。パーセント変化が基準よりも大きい場合、ステップ１４０に戻ることによってプロセスが繰り返される。そうでない場合、反復手順はステップ１９０で終了し、この動的外れ値偏り低減基準から計算された結果的なモデルが完成される。モデル結果が、その現行反復の、過去に除去された又は容認されたデータの状態にかかわらず、すべての施設に対して適用される。

他の実施形態において、プロセスは、所定の反復パラメータの選択から開始される。具体的には、（１）一方、他方又は双方が反復プロセスにおいて使用される絶対誤差及び相対誤差百分位数値、（２）決定係数（ｒ^２としても知られる）の改善値、及び（３）標準誤差改善値である。

プロセスは、原データセット、実際データのセット、及び、当該原データセットに基づいて予測値を計算するべく使用される少なくとも一つの係数又は一つの因子のいずれかから開始する。係数又は係数のセットが原データセットに適用されて予測値のセットが作られる。係数のセットは、スカラー、指数、パラメータ及び周期関数を含むがこれらに限られない。予測データのセットはその後、実際データのセットと対比される。予測データと実際データとの差分に基づいて標準誤差及び決定係数が計算される。ユーザ選択の絶対及び相対誤差百分位数値に基づいてデータ外れ値を除去するべく、各データ点に関連付けられた絶対及び相対誤差が使用される。データの順位付けは必要ない。絶対及び／又は相対誤差に対する百分位数値に関連付けられた範囲から外れたデータが、すべて原データセットから除去されるからである。データをフィルタリングするべく絶対及び相対誤差を使用することは例示的であって、例示目的のみに限られる。本方法は、絶対若しくは相対誤差のみについて又は他の関数について行うことができるからである。

ユーザ選択の百分位数範囲内にある絶対及び相対誤差に関連付けられたデータは、外れ値除去済みデータセットであり、プロセスの各反復がそれ自身のフィルタリング済みデータセットを有する。この第１外れ値除去済みデータセットが使用されて、実際値と対比される予測値が決定される。誤差を最適化することにより少なくとも一つの係数が決定され、その後当該係数が使用されて第１外れ値除去済みデータセットに基づく予測値が生成される。外れ値偏り低減済み係数は、一の反復から次の反復へ知識が伝えられるメカニズムとして機能する。

第１外れ値除去済みデータセットが作られた後、標準誤差及び決定係数が計算され、かつ、原データセットの標準誤差及び決定係数と対比される。標準誤差の差分及び決定係数の差分の双方が各改善値未満であればプロセスは停止する。しかしながら、改善基準の少なくとも一つが満たされなければプロセスはもう一回の反復に続く。標準誤差及び決定係数を反復プロセスのチェックに使用することは図示的かつ例示的にすぎない。当該チェックは、標準誤差のみ若しくは決定係数のみ、異なる統計的チェック、又は他の（反復回数のような）パフォーマンス終了基準を使用して行うことができるからである。

第１反復が改善基準を満たすことができない場合、新セットの予測値を決定するべく、第１外れ値偏り低減済みデータ係数を原データに適用することによって第２反復が開始される。この場合、原データが再び処理され、第１外れ値除去済みデータセットの係数が使用されている間に当該データ点に対する絶対及び相対誤差並びに原データセットに対する標準誤差及び決定係数値が確立される。データはその後フィルタリングされ、第２外れ値除去済みデータセットが形成され、かつ、第２外れ値除去済みデータセットに基づく係数が決定される。

しかしながら、第２外れ値除去済みデータセットは必ずしも、第１外れ値除去済みデータセットのサブセットというわけではなく、外れ値偏り低減済みモデル係数の第２セット、第２標準誤差及び第２決定係数に関連付けられる。これらの値がひとたび決定されると、第２標準誤差が第１標準誤差と対比され、かつ、第２決定係数が第１決定係数と対比される。

（標準誤差及び決定係数の）改善値がこれらのパラメータの差分を超過するとプロセスは終了する。そうでなければ、原データをなおも再び処理することによってもう一回の反復が開始される。このとき、原データセットを処理しかつ新セットの予測値を生成するべく第２外れ値偏り低減済み係数が使用される。絶対及び相対誤差に対するユーザ選択の百分位数値に基づくフィルタリングによって、第３外れ値偏り低減済み係数のセットを決定するべく最適化される第３外れ値除去済みデータセットが作られる。プロセスは、誤差改善又は他の（収束基準又は特定の反復数のような）終了基準が満たされるまで続けられる。

このプロセスの出力は、係数又はモデルパラメータのセットである。ここで、係数又はモデルパラメータは、数学的な値（又は値のセット）であって、例えば、データ、線形方程式の傾き及び切片値、指数、又は多項式の係数を対比するためのモデル予測値であるがこれに限られない。動的外れ値偏り低減の出力は、それ独自の出力値ではなくむしろ、出力値を決定するべくデータを修正する係数である。

図２に例示される他の実施形態において、動的外れ値偏り低減は、データが特定の使用に対して適切であることを確証するべく、データの一貫性及び正確性を評価するデータ品質法として適用される。データ品質操作に対し、本方法は反復手順を伴わない。このプロセスの間、動的外れ値偏り低減とともに他のデータ品質法を使用することもできる。本方法は、所与のデータセットの算術平均計算に対して適用される。データ品質基準は、例えば、連続するデータ値が同じ範囲内に包含されることである。すなわち、あまりにもかけ離れた間隔の値はいずれも、劣った品質データを構成する。この場合、誤差項が関数の連続的な値から構成され、かつ、動的外れ値偏り低減がこれらの誤差値に適用される。

ステップ２１０において、初期データが任意の順序でリストアップされる。

ステップ２２０は、データセットに対して行われる関数又は操作を構成する。この実施形態の例では、関数及び操作は、各ラインが当該ライン以上にある全データの平均に対応する連続的算術平均計算が追従するデータの昇順順位付けである。

ステップ２３０は、ステップ２２０の結果からの連続する値を使用してデータから相対及び絶対誤差を計算する。

ステップ２４０により、分析者は望ましい外れ値除去誤差基準（％）を入力することができる。品質基準値は、ステップ２２０のデータに基づくステップ２３０の誤差計算からの結果値である。

ステップ２５０は、データ品質外れ値フィルタリング済みデータセットを示す。相対及び絶対誤差が、ステップ２４０で与えられた特定誤差基準を超える場合、特定値が除去される。

ステップ２６０は、完成されたデータセットと外れ値除去済みデータセットとの算術平均計算の対比を示す。分析者は、適用される数学又は統計計算すべてにおいて、識別された外れ値除去済みデータ成分が実際に劣った品質であるか否かを判断する最終ステップとなる。動的外れ値偏り低減システム及び方法によって、分析者が直接的にデータを除去することがなくなり、最適な実施指針が、分析者に見直しを促しかつ実施妥当性に対する結果をチェックしてくれる。

図３に例示される他の実施形態において、動的外れ値偏り低減は、データが特定の使用に対して適切であるか否かを決定するべく、データセットの合理的正確性を検定するデータ認証法として適用される。データ認証操作に対し、本方法は反復手順を伴わない。この例では、動的外れ値偏り低減は、２つのデータセット間のピアソン相関係数の計算に適用される。ピアソン相関係数は、データセットにおいて他のデータ点とは相対的に異なる値に対する感度が高い。この統計に対してデータセットを認証することは、当該結果が、極端な値の影響以外に大部分のデータが示唆するものを代表していることを保証する上で重要である。この例におけるデータ認証プロセスは、連続するデータ値が特定された範囲内に包含されるということである。すなわち、あまりにもかけ離れた間隔の値（例えば特定された範囲外にある値）はいずれも、劣った品質データであることを意味する。これは、当該関数の連続値の誤差項を構築することによって達成される。これらの誤差値に動的外れ値偏り低減が適用されることにより、外れ値除去済みデータセットが認証済みデータとなる。

ステップ３１０において、対のデータが任意の順序でリストアップされる。

ステップ３２０は、データセットにおいて並べられた各対に対して相対及び絶対誤差を計算する。

ステップ３３０により、分析者は望ましいデータ認証基準を入力することができる。本例では、９０％の相対及び絶対双方の誤差しきい値が選択される。ステップ３３０における品質基準値の項目は、ステップ３２０に示されたデータに対する結果的な絶対及び相対誤差百分位数の値である。

ステップ３４０は、外れ値除去プロセスを示す。このプロセスでは、相対及び絶対双方の誤差値が、ステップ３３０で入力されたユーザ選択の百分位数値に対応する値を超える基準を使用して、無効かもしれないデータがデータセットから除去される。実際には、他の誤差基準を使用することができるので、この例に示されるように複数の基準が適用される場合、外れ値除去のルールを決定するべく誤差値の任意の組み合わせを適用することができる。

ステップ３５０は、認証済みデータ及び原データ値統計結果を計算する。このケースでは、ピアソン相関係数である。これらの結果はその後、分析者によって実施妥当性が調べられる。

他の実施形態において、データセット全体の認証を行うべく動的外れ値偏り低減が使用される。標準誤差改善値、決定係数改善値、並びに絶対及び相対誤差しきい値が選択され、その後当該データセットが誤差基準に従ってフィルタリングされる。原データセットが高品質であっても、絶対及び相対誤差しきい値から外れた誤差値を有するデータが依然としていくつか存在する。したがって、データのなんらかの除去が必要か否かを決定することは重要である。第１反復後に外れ値除去済みデータセットが標準誤差改善及び決定係数の改善基準に合格する場合、原データセットは認証済みとなる。フィルタリングされたデータセットが、あまりにも小さくて有意とみなすことができない（例えば選択された改善値未満の）標準誤差及び決定係数を生成しているからである。

他の実施形態において、データ外れ値除去の反復が当該計算にどのような影響を与えているのかについての洞察を与えるべく動的外れ値偏り低減が使用される。グラフ又はデータ表が与えられるので、各反復が行われているときのデータ外れ値除去計算の進捗をユーザが観測することができる。この段階的アプローチにより、分析者は、結果に値及び知識を加え得る計算の独特な特性を観測することができる。例えば、収束の速度及び性質によって、多次元データセットに対する代表的因子を計算することに与える動的外れ値偏り低減の影響が示される。

例示のとおり、８７のレコードの劣った品質のデータセットに対して線形回帰計算を考慮する。回帰対象の式の形式はｙ＝ｍｘ＋ｂである。表１は、５回の反復に対する反復プロセスの結果を示す。注目すべきなのは、９５％の相対及び絶対誤差基準を使用して、３回の反復で収束が達成されることである。回帰係数の変化を観測することができる。動的外れ値偏り低減方法は、７９のレコードに基づいて計算データセットを低減させた。相対的に低い決定係数（ｒ^２＝３９％）は、ｒ^２統計に対する及び計算された回帰係数に対する付加的な外れ値除去効果を検討するべく、低い（＜９５％）基準を検定する必要があることを示している。

表２は、８０％の相対及び絶対誤差基準を使用して動的外れ値偏り低減を適用した結果を示す。注目すべきなのは、外れ値誤差基準の１５パーセントポイント（９５％から８０％）の変化が、（７９から５１のレコードが含まれる）許容データの３５％の付加的な減少を伴うｒ^２の３５パーセントポイント（３９％から７４％）の増加をもたらしたことである。分析者は、外れ値除去済み結果を幅広い聴衆に伝えるべく、かつ、分析結果のデータばらつきの効果に関する洞察を与えるべく、分析プロセスにおける表１及び２の外れ値除去済みデータ及び数値結果とともに、回帰線の変化のグラフ図を使用することができる。

図４に例示されるように、本方法を行うべく使用されるシステムの一実施形態は、コンピュータシステムを含む。ハードウェアは、必要な数値計算を行うのに十分なシステムメモリ４２０を包含するプロセッサ４１０からなる。プロセッサ４１０は、本方法を行うべくシステムメモリ４２０にあるコンピュータプログラムを実行する。ディスプレイ４４０の操作を可能にするべく、ビデオ及び格納コントローラ４３０が使用される。システムは、様々なデータ入力用データ格納装置を含む。例えば、フロッピー（登録商標）ディスクユニット４５０、内部／外部ディスクドライブ４６０、内部ＣＤ／ＤＶＤ４７０、テープユニット４８０、及び他のタイプの電子格納媒体４９０である。上述のデータ格納装置は、図示的かつ例示的にすぎない。これらの格納媒体が使用されてデータセット及び外れ値除去基準がシステムに入力され、外れ値除去済みデータセットが格納され、計算因子が格納され、並びに、システム生成傾向線及び傾向線反復グラフが格納される。計算は、統計ソフトウェアパッケージに適用すること、又は例えばマイクロソフト（登録商標）のエクセル（登録商標）を使用してスプレッドシート形式で入力されたデータから行うことができる。計算は、企業専用システム実装のために設計されるカスタマイズされたソフトウェアプログラムを使用して、又はエクセル等のデータベース及びスプレッドシートプログラムと互換性のある市販ソフトウェアを使用して行われる。システムはまた、動的外れ値偏り低減システム及び方法計算とともに使用されるデータを与えるべく、他のデータベースと連携する専有の又は公共の外部格納媒体３００とのインタフェースを有し得る。出力装置は、計算ワークシート等のシステム生成グラフ及びレポートを、イントラネット又はインターネットを介して管理等の職員、プリンタ５２０、入力装置４５０、４６０、４７０、４８０、４９０として上述したものと同様の電子格納媒体、及び専有の格納データベース５３０に送信する遠距離通信装置５１０であり得る。これらの出力装置はここでは、図示的かつ例示的にすぎない。

図５、６Ａ、６Ｂ、７Ａ、７Ｂ、８Ａ及び８Ｂに例示されるように、一実施形態において、データセットの品質を定量的かつ定性的に評価するべく動的外れ値偏り低減を使用することができる。これは、データセットのデータ値の誤差及び相関が、適切な範囲内から展開されたランダムデータ値からなるベンチマークデータセットの誤差及び相関と対比されることに基づく。一実施形態において、誤差は、データセットの標準誤差となるように指定することができる。相関は、データセットの決定係数（ｒ^２）となるように指定することができる。他の実施形態において、相関は、一般にケンドールのタウ（τ）係数と称されるケンドールの順位相関係数となるように指定することができる。さらに他の実施形態において、相関は、スピアマンの順位相関係数又はスピアマンのρ（ロー）係数となるように指定することができる。上述のように、動的外れ値偏り低減は、外れ値として識別されるデータ値を体系的に除去するべく使用される。基礎となるモデル又はプロセスの代表が記述されるわけではない。通常、外れ値は、相対的に少数のデータ値に関連付けられる。しかしながら実際は、データセットは、知らぬ間に疑似値又はランダムノイズで汚染され得る。図５、６Ａ、６Ｂ、７Ａ、７Ｂ、８Ａ及び８Ｂのグラフ図は、基礎となるモデルがデータによってサポートされない状況を識別するべく、動的外れ値偏り低減システム及び方法をどのようにして適用することができるのかを例示する。外れ値低減は、予測モデルと実際データ値との間で計算された相対及び／又は絶対誤差が、例えば８０％のような百分位数に基づく偏り基準よりも大きいデータ値を除去することによって行われる。これが意味するのは、相対又は絶対誤差百分位数の値が、第８０百分位数（データ値の８０％がこの値未満の誤差を有する）に関連付けられた百分位数しきい値よりも大きい場合に、データ値が除去されるということである。

図５に例示されるように、実際データセットの範囲内で展開された現実的モデル展開データセット及びランダム値のデータセットの双方が対比される。実際には、分析者が任意のデータセット汚染について先行知識を有していないのが典型的であるから、かかる理解は、動的外れ値偏り低減システム及び方法を使用していくつかのモデル計算からの反復結果を観測することに基づく必要がある。図５は、双方のデータセットに対する一例のモデル展開計算結果を例示する。標準誤差、すなわちモデルで説明がつかない誤差量の尺度が、どの程度のデータばらつきが当該モデルによって説明されるのかを表す決定係数（％）又はｒ^２に対してプロットされる。各点の隣にある百分位数の値が偏り基準を表す。例えば、９０％は、第９０百分位数よりも大きな相対又は絶対誤差値に対するデータ値が当該モデルから外れ値として除去されることを示す。これは、最高誤差を有するデータ値の１０％を反復ごとに除去することに対応する。

図５に例示されるように、ランダム及び現実的データセットモデルの双方に対し、偏り基準を増加させることによって誤差が低減される。すなわち、標準誤差及び決定係数が双方のデータセットに対して改善される。しかしながら、ランダムデータセットに対する標準誤差は、現実的モデルデータセットよりも２倍から３倍大きくなる。分析者は、８０％の決定係数要件を、例えばモデルパラメータを決定するための許容可能精度レベルとして使用することができる。図５では、ランダムデータセットに対する７０％の偏り基準において、及び現実的データに対する近似的に８５％の偏り基準において８０％のｒ^２が達成される。しかしながら、ランダムデータセットに対する対応標準誤差は、現実的データセットのものよりも２倍以上大きい。すなわち、モデルデータセット分析を異なる偏り基準で体系的に実行し、かつ、計算を代表的な疑似データセットで繰り返して図５に示されるように結果をプロットすることにより、分析者は、データセットに対する許容可能な偏り基準（すなわち除去されたデータ値の許容可能なパーセント）、ひいては全体的なデータセット品質を評価することができる。さらに、かかる体系的なモデルデータセット分析は、設定可能なパラメータセットに基づくモデル展開において使用されるデータセットの実現性に関するアドバイスを自動的に与えるべく使用することができる。例えば、データセットに対する動的外れ値偏り除去を使用してモデルが展開される一実施形態において、異なる偏り基準のもとで計算されたモデルデータセットに対する及び代表的疑似データセットに対する誤差及び相関係数の値は、展開されたモデルをサポートする際のデータセットの実現性、及び本質的にはデータセットをサポートする際の展開されたモデルの実現性に関するアドバイスを自動的に与えるべく使用することができる。

図５に例示されるように、いくつかのケースに対してこれらのモデルパフォーマンス値の挙動を観測することにより、データ値が、モデル化されるプロセスを代表するか否かを決定するための定量的土台を得ることができる。例えば、図５を参照すると、１００％の偏り基準（すなわち偏り低減なし）における現実的データセットに対する標準誤差は、近似的に６５％の偏り基準（すなわち最高誤差が除去されたデータ値の３５％）におけるランダムデータセットに対する標準誤差に対応する。かかる知見により、データが汚染されていないとの結論がサポートされる。

図５の例示的なグラフにより容易とされる上述の定量分析に加え、動的外れ値偏り低減は、強力ではなくても同等の、データセットの品質評価を補助する主観的手順において利用することができる。これは、外れ値及び包含される結果の双方に対し、モデル予測値を、データが与える実際目標値に対してプロットすることにより行われる。

図６Ａ及び６Ｂは、図５における現実的曲線及びランダム曲線双方の、１００％の点に対する当該プロットを例示する。図６Ａにおける大きな散布は、任意の目標値に、及び結果的にモデルが意図的なランダム性にフィッティングできないことに一致する。図６Ｂは、実際のデータの集まりに一致しかつ一般的であって、モデル予測及び実際値が、モデル予測値が実際目標値に等しい線（以下実際＝予測線とする）付近に群をなしている。

図７Ａ及び７Ｂは、図５における７０％の点からの結果を例示する（すなわちデータの３０％が外れ値として除去されている）。図７Ａ及び７Ｂにおいて外れ値偏り低減は、実際＝予測線から最も離れた点を除去するように示されているが、図７Ａ及び７Ｂ間のモデル正確性の大きなばらつきが示すのは、このデータセットがモデル化されるプロセスを表していることである。

図８Ａ及び８Ｂは、図５における５０％の点からの結果を示す（すなわちデータの５０％が外れ値として除去されている）。このケースでは、データの約半数が外れ値として識別されており、これほどのばらつきがデータセットから除去されてもなお、モデルは図８Ａにおいて、ランダムデータセットを厳密に記述するわけではない。実際＝予測線付近の一般的なばらつきは、各ケースでの除去済みデータを考慮すれば図６Ａ及び７Ａにおけるものとほぼ同様である。図８Ｂは、ばらつきの５０％が除去された場合、モデルが、実際データに厳密にマッチする予測結果を生成できたことを示す。図５に示されたパフォーマンス基準の分析に加え、これらのタイプの可視プロットの分析は、分析者が、モデル展開に対する実施において実際データセットの品質を評価するべく使用することができる。図５、６Ａ、６Ｂ、７Ａ、７Ｂ、８Ａ及び８Ｂは、可視プロットを例示する。ここで、分析は、様々な偏り基準値に対応するパフォーマンス基準傾向に基づく。他の実施形態では、分析は、分析者が選択する様々な偏り基準に対応するモデル係数傾向のような、偏り基準値に対応する他の変数に基づき得る。

本発明の好ましい実施形態の上記開示及び記載は、図示的かつ例示的であって、当業者には、例示のシステム及び方法の詳細において、本発明の範囲を逸脱することなく様々な変更をなし得ることが理解される。

Claims (46)

1. コンピュータに実装された方法であって、
   外れ値偏りを低減するステップを含み、
   前記外れ値偏りを低減するステップは、
   一以上の外れ値を決定するべく使用される一の偏り基準を選択するステップと、
   少なくとも一つの変数に対して集められたすべての実際値を含む一の完成データセットを与えるステップと、
   数学モデルに関連付けられた複数のモデル係数の一セットを与えるステップと、
   （１）前記数学モデルの前記完成データセットへの適用に基づいて、前記完成データセットに対する複数の予測値の一セットをプロセッサが生成するステップと、
   （２）前記複数の予測値の一セットを、前記完成データセットの対応実際値と対比することによって一の誤差セットを前記プロセッサが生成するステップと、
   （３）前記誤差セット及び前記偏り基準に基づいて複数の誤差しきい値の一セットを前記プロセッサが生成するステップと、
   （４）前記複数の誤差しきい値の一セットの外にある対応誤差セット値を有する前記完成データセットの要素を含む除去データセットを前記プロセッサが生成するステップと、
   （５）前記除去データセット内には存在しない前記完成データセットのすべての要素を含む一の打ち切りデータセットを前記プロセッサが生成するステップと、
   （６）前記打ち切りデータセットに基づいて、前記数学モデルに関連付けられた複数の更新モデル係数の一セットを前記プロセッサが生成するステップと、
   （７）一の打ち切りパフォーマンス終了基準が満たされるまでステップ（１）〜（６）を一反復として繰り返し、前記一反復において、前記複数の予測値の一セット、前記誤差セット、前記複数の誤差しきい値の一セット、前記除去データセット、及び前記打ち切りデータセットが、前記複数の更新モデル係数の一セットを使用して生成されるステップと
   を含む方法。
2. 前記複数の予測値の一セットは、前記完成データセット及び前記複数のモデル係数の一セットに基づいて生成され、
   前記複数の予測値の一セットは独立的に、前記少なくとも一つの変数に対して集められた前記すべての実際値から生成される、請求項１に記載の方法。
3. 前記誤差セットは、式：相対誤差_ｍ＝（（予測値_ｍ−実際値_ｍ）／実際値_ｍ）^２（「ｍ」は参照番号）を使用して生成された複数の相対誤差の一セットである、請求項１に記載の方法。
4. 前記誤差セットは、式：絶対誤差_ｍ＝（予測値_ｍ−実際値_ｍ）^２（「ｍ」は参照番号）を使用して生成された複数の絶対誤差の一セットである、請求項１に記載の方法。
5. 前記誤差セットは、複数の絶対誤差の一セット及び複数の相対誤差の一セットである、請求項１に記載の方法。
6. 前記誤差セットは、前記対応実際値と前記複数の予測値の一セットとの差分である、請求項１に記載の方法。
7. 前記複数の更新モデル係数の一セットは、前記打ち切りデータセット及び前記複数のモデル係数の一セットに基づいて生成される、請求項１に記載の方法。
8. 前記外れ値偏りを低減するステップは、
   前記複数のモデル係数の一セット及び前記対応実際値に基づいて複数のパフォーマンス値の一セットを生成するステップと、
   前記複数の更新モデル係数の一セット及び前記対応実際値に基づいて複数の更新パフォーマンス値の一セットを生成するステップと
   をさらに含み、
   前記打ち切りパフォーマンス終了基準を満たすことは、前記複数のパフォーマンス値の一セット及び前記複数の更新パフォーマンス値の一セットに基づく、請求項１に記載の方法。
9. 前記複数のパフォーマンス値の一セットは、第１標準誤差値及び第１決定係数値の少なくとも一つを含み、
   前記複数の更新パフォーマンス値の一セットは、第２標準誤差値及び第２決定係数値の少なくとも一つを含む、請求項８に記載の方法。
10. 前記打ち切りパフォーマンス終了基準は一の標準誤差を含む、請求項１に記載の方法。
11. 前記打ち切りパフォーマンス終了基準は一の決定係数を含む、請求項１に記載の方法。
12. 前記複数の更新モデル係数の一セットを生成するステップは、前記複数の予測値の一セットと前記対応実際値との間の前記複数の誤差の一セットを最小化するステップをさらに含む、請求項１に記載の方法。
13. 前記複数の予測値の一セットと前記対応実際値との間の前記複数の誤差の一セットは、非線形最適化モデルを使用して最小化される、請求項１２に記載の方法。
14. 前記複数の予測値の一セットと前記対応実際値との間の前記複数の誤差の一セットは、線形最適化モデルを使用して最小化される、請求項１２に記載の方法。
15. 前記完成データセットは、工業プラント施設、発電施設、及び精製施設の少なくとも一つである施設に対する複数のパフォーマンス値を含む、請求項１に記載の方法。
16. 前記外れ値偏りを低減するステップは、
    前記完成データセットに基づいて一のランダムデータセットを生成するステップと、
    前記打ち切りパフォーマンス終了基準が満たされるまで前記ランダムデータセットに対してステップ（１）〜（６）を繰り返すステップと、
    前記偏り基準に対応する前記完成データセット及び前記ランダムデータセットに対して複数の最終パフォーマンス値の一セットを生成するステップと、
    第２偏り基準を選択するステップと、
    前記第２偏り基準を使用して前記打ち切りパフォーマンス終了基準が満たされるまで前記完成データセット及び前記ランダムデータセットに対してステップ（１）〜（６）を繰り返すステップと、
    前記第２偏り基準に基づいて前記完成データセット及び前記ランダムデータセットに対して複数の最終パフォーマンス値の第２セットを生成するステップと、
    前記完成データセットに対する前記複数の最終パフォーマンス値の一セット及び前記複数の最終パフォーマンス値の第２セットを、前記ランダムデータセットに対する前記複数の最終パフォーマンス値の一セット及び前記複数の最終パフォーマンス値の第２セットと対比するステップと
    をさらに含む、請求項１に記載の方法。
17. 前記ランダムデータセットは、前記完成データセットにおける前記値の範囲内にある複数の値から展開された複数の任意抽出データ値からなる、請求項１６に記載の方法。
18. コンピュータに実装された方法であって、
    外れ値偏りを低減するステップを含み、
    前記外れ値偏りを低減するステップは、
    施設に対する少なくとも一つの目標変数を選択するステップと、
    前記少なくとも一つの目標変数に対して決定された複数の実際値の一セットを選択するステップと、
    前記施設に対する一の完成データセットを取得するステップであって、前記完成データセットは、前記少なくとも一つの目標変数に対して集められたすべての実際値を含むステップと、
    一以上の外れ値を識別することに対応する一の偏り基準を選択するステップと、
    少なくとも一つの数学モデルにおいて使用される複数のモデル係数の一セットを選択するステップと、
    （１）前記少なくとも一つの数学モデルを前記完成データセットに適用することから決定された複数の予測値の一セットをプロセッサが生成するステップと、
    （２）前記複数の予測値の一セット及び前記複数の実際値の一セットから決定された複数の打ち切りモデルパフォーマンス値の一セットを前記プロセッサが生成するステップと、
    （３）前記少なくとも一つの目標変数に対する前記複数の予測値の一セット及び前記複数の実際値の一セットから決定された一の誤差セットを前記プロセッサが生成するステップと、
    （４）前記誤差セット及び前記偏り基準から決定された複数の誤差しきい値の一セットを前記プロセッサが生成するステップと、
    （５）前記複数の誤差しきい値の一セットの外にある対応誤差セット値を有する前記完成データセットの要素を含む除去データセットを前記プロセッサが生成するステップと、
    （６）前記除去データセット内には存在しない前記完成データセットのすべての要素を含む一の打ち切りデータセットを前記プロセッサが生成するステップと、
    （７）前記打ち切りデータセット及び前記複数のモデル係数の一セットから決定された前記少なくとも一つの数学モデルに関連付けられた複数の更新モデル係数の一セットを前記プロセッサが生成するステップと、
    （８）前記完成データセット及び前記複数の更新モデル係数の一セットから決定された複数の更新予測値の一セットを前記プロセッサが生成するステップと、
    （９）前記複数の更新予測値の一セット及び前記複数の実際値の一セットに基づいて複数の更新打ち切りモデルパフォーマンス値の一セットを前記プロセッサが生成するステップと、
    一の打ち切りパフォーマンス終了基準が満たされるまでステップ（１）〜（９）を一反復として繰り返し、前記一反復において、前記複数の予測値の一セット、前記誤差セット、前記複数の誤差しきい値の一セット、前記除去データセット、及び前記打ち切りデータセットが、前記複数の更新モデル係数の一セットを使用して生成され、前記打ち切りパフォーマンス終了基準が満たされることは、前記複数の打ち切りモデルパフォーマンス値の一セット及び前記複数の更新打ち切りモデルパフォーマンス値の一セットから決定されるステップと、
    前記複数の更新予測値の一セットを非一時的コンピュータデータ媒体に格納するステップと
    を含む方法。
19. 前記偏り基準は、一の相対誤差及び一の絶対誤差の少なくとも一つを含み、
    前記複数の予測値の一セットは独立的に、前記少なくとも一つの目標変数に対して集められた前記すべての実際値から生成される、請求項１８に記載の方法。
20. 前記複数の打ち切りモデルパフォーマンス値の一セットは第１標準誤差及び第１決定係数を含み、
    前記複数の更新打ち切りモデルパフォーマンス値の一セットは第２標準誤差及び第２決定係数を含む、請求項１８に記載の方法。
21. 前記誤差セットは、一の相対誤差及び一の絶対誤差の少なくとも一つを含み、
    前記誤差セットは、前記目標変数に対する前記複数の予測値の一セットと前記複数の実際値の一セットとの対比によって生成される、請求項１８に記載の方法。
22. 前記複数の更新モデル係数の一セットは、一の線形最適化モデル及び一の非線形最適化モデルの少なくとも一つを使用して前記複数の予測値の一セットと前記複数の実際値の一セットとの間の誤差を最小化することによって生成される、請求項１８に記載の方法。
23. 前記打ち切りパフォーマンス終了基準は、一の標準誤差終了値及び一の決定係数終了値を含み、
    前記打ち切りパフォーマンス終了基準を満たすことは、前記標準誤差終了値が前記第１標準誤差及び第２標準誤差間の差分よりも大きくかつ前記決定係数終了値が前記第１決定係数及び第２決定係数間の差分よりも大きいことを含む、請求項２０に記載の方法。
24. システムであって、
    プロセッサ及び格納サブシステムを含むサーバと、
    少なくとも一つの変数に対して集められたすべての実際値を含む一の完成データセットを含みかつ前記格納サブシステムによって格納されるデータベースと、
    前記格納サブシステムによって格納されるコンピュータプログラムと
    を含み、
    前記コンピュータプログラムは、実行されると前記プロセッサに、
    一以上の外れ値を決定することに関連付けられた一の偏り基準を選択することと、
    数学モデルに関連付けられた複数のモデル係数の一セットを与えることと、
    （１）前記数学モデルを前記完成データセットに適用することに基づいて前記完成データセットに対する複数の予測値の一セットを生成することと、
    （２）前記複数の予測値の一セットと前記完成データセットの対応実際値との対比によって一の誤差セットを生成することと、
    （３）前記誤差セット及び前記偏り基準に基づいて複数の誤差しきい値の一のセットを生成することと、
    （４）前記複数の誤差しきい値の一セットの外にある対応誤差セット値を有する前記完成データセットの要素を含む除去データセットを生成することと、
    （５）前記除去データセット内には存在しない前記完成データセットのすべての要素を含む一の打ち切りデータセットを生成することと、
    （６）前記打ち切りデータセットに基づいて前記数学モデルに関連付けられた複数の更新モデル係数の一セットを生成することと、
    （７）一の打ち切りパフォーマンス終了基準が満たされるまでステップ（１）〜（６）を一反復として繰り返して外れ値偏り低減をもたらし、前記一反復において、前記複数の予測値の一セット、前記誤差セット、前記複数の誤差しきい値の一セット、前記除去データセット、及び前記打ち切りデータセットが、前記複数の更新モデル係数の一セットを使用して再生成されることと
    を引き起こすことによって外れ値偏りを低減する命令を含むシステム。
25. 前記複数の予測値の一セットは、前記完成データセット及び複数のモデル係数の前記セットに基づいて生成され、
    前記複数の予測値の一セットは独立的に、前記少なくとも一つの変数に対して集められた前記すべての実際値から生成される、請求項２４に記載のシステム。
26. 前記誤差セットは、式：相対誤差_ｍ＝（（予測値_ｍ−実際値_ｍ）／実際値_ｍ）^２（「ｍ」は参照番号）を使用して生成された複数の相対誤差の一セットである、請求項２４に記載のシステム。
27. 前記誤差セットは、式：絶対誤差_ｍ＝（予測値_ｍ−実際値_ｍ）^２（「ｍ」は参照番号）を使用して生成された複数の絶対誤差の一セットである、請求項２４に記載のシステム。
28. 前記誤差セットは、複数の絶対誤差の一セット及び複数の相対誤差の一セットである、請求項２４に記載のシステム。
29. 前記誤差セットは、前記対応実際値と前記複数の予測値の一セットとの差分である、請求項２４に記載のシステム。
30. 前記複数の更新モデル係数の一セットは、前記打ち切りデータセット及び前記複数のモデル係数の一セットに基づいて生成される、請求項２４に記載のシステム。
31. 前記コンピュータプログラムは、実行されると前記プロセッサに、
    前記複数のモデル係数の一セット及び前記対応実際値に基づいて複数のパフォーマンス値の一セットを生成することと、
    前記複数の更新モデル係数の一セット及び前記対応実際値に基づいて複数の更新パフォーマンス値の一セットを生成することと
    を引き起こすことにより外れ値偏りを低減する命令をさらに含み、
    前記打ち切りパフォーマンス終了基準を満たすことは、前記複数のパフォーマンス値の一セット及び前記複数の更新パフォーマンス値の一セットに基づく、請求項２４に記載のシステム。
32. 前記複数のパフォーマンス値の一セットは、第１標準誤差値及び第１決定係数値の少なくとも一つを含み、
    前記複数の更新パフォーマンス値の一セットは、第２標準誤差値及び第２決定係数値の少なくとも一つを含む、請求項３１に記載のシステム。
33. 前記打ち切りパフォーマンス終了基準は一の標準誤差を含む、請求項２４に記載のシステム。
34. 前記打ち切りパフォーマンス終了基準は一の決定係数を含む、請求項２４に記載のシステム。
35. 前記複数の更新モデル係数の一セットを生成することは、実行されると前記プロセッサに、前記複数の予測値の一セットと前記対応実際値との間の前記複数の誤差の一セットを最小化することを引き起こすことにより外れ値偏りを低減する命令を含む、請求項２４に記載のシステム。
36. 前記複数の予測値の一セットと前記対応実際値との間の前記複数の誤差の一セットは、非線形最適化モデルを使用して最小化される、請求項３５に記載のシステム。
37. 前記複数の予測値の一セットと前記対応実際値との間の前記複数の誤差の一セットは、線形最適化モデルを使用して最小化される、請求項３５に記載のシステム。
38. 前記完成データセットは、工業プラント施設、発電施設、及び精製施設の少なくとも一つである施設に対する複数のパフォーマンス値を含む、請求項２４に記載のシステム。
39. 前記コンピュータプログラムは、実行されると前記プロセッサに、
    前記完成データセットに基づいて一のランダムデータセットを生成することと、
    前記打ち切りパフォーマンス終了基準が満たされるまで前記ランダムデータセットに対してステップ（１）〜（６）を繰り返すことと、
    前記偏り基準に対応する前記完成データセット及び前記ランダムデータセットに対して複数の最終パフォーマンス値の一セットを生成することと、
    第２偏り基準を選択することと、
    前記第２偏り基準を使用して前記打ち切りパフォーマンス終了基準が満たされるまで前記完成データセット及び前記ランダムデータセットに対してステップ（１）〜（６）を繰り返すことと、
    前記第２偏り基準に基づいて前記完成データセット及び前記ランダムデータセットに対して複数の最終パフォーマンス値の第２セットを生成することと、
    前記完成データセットに対する前記複数の最終パフォーマンス値の一セット及び前記複数の最終パフォーマンス値の第２セットを、前記ランダムデータセットに対する前記複数の最終パフォーマンス値の一セット及び前記複数の最終パフォーマンス値の第２セットと対比することと
    を引き起こす命令をさらに含む、請求項２４に記載のシステム。
40. 前記ランダムデータセットは、前記完成データセットにおける前記値の範囲内にある複数の値から展開された複数の任意抽出データ値からなる、請求項３９に記載のシステム。
41. システムであって、
    プロセッサ及び非一時的格納サブシステムを含むサーバと、
    前記非一時的格納サブシステムによって格納されるデータベースであって、
    施設に対する少なくとも一つの目標変数と、
    前記少なくとも一つの目標変数に対して決定された複数の実際値の一セットと、
    前記施設に対する一の完成データセットであって、前記完成データセットは、前記少なくとも一つの目標変数から集められたすべての実際値を含むデータセットと
    を含むデータベースと、
    前記非一時的格納サブシステムによって格納されるコンピュータプログラムと
    を含み、
    前記コンピュータプログラムは、実行されると前記プロセッサに、
    一以上の外れ値を識別する一の偏り基準を選択することと、
    少なくとも一つの数学モデルにおいて使用される複数のモデル係数の一セットを選択することと、
    （１）前記少なくとも一つの数学モデルを前記完成データセットに適用することから決定された複数の予測値の一セットを生成することと、
    （２）前記複数の予測値の一セット及び前記複数の実際値の一セットから決定された複数の打ち切りモデルパフォーマンス値の一セットを生成することと、
    （３）前記少なくとも一つの目標変数に対する前記複数の予測値の一セット及び前記複数の実際値の一セットに基づいて一の誤差セットを生成することと、
    （４）前記誤差セット及び前記偏り基準から決定された複数の誤差しきい値の一セットを生成することと、
    （５）前記複数の誤差しきい値の一セットの外にある対応誤差セット値を有する前記完成データセットの要素を含む除去データセットを生成することと、
    （６）前記除去データセットの一部ではない前記完成データセットのすべての要素を含む、決定された一の打ち切りデータセットを生成することと、
    （７）前記打ち切りデータセット及び前記複数のモデル係数の一セットから決定されかつ前記数学モデルに関連付けられた複数の更新モデル係数の一セットを生成することと、
    （８）前記完成データセット及び前記複数の更新モデル係数の一セットから決定された複数の更新予測値の一セットを生成することと、
    （９）前記複数の更新予測値の一セット及び前記複数の実際値の一セットから決定された複数の更新打ち切りモデルパフォーマンス値の一セットを生成することと、
    一の打ち切りパフォーマンス終了基準が満たされるまでステップ（１）〜（９）を一反復として繰り返して外れ値偏りを低減することであって、前記一反復において、前記複数の予測値の一セット、前記誤差セット、前記複数の誤差しきい値の一セット、前記除去データセット、及び前記打ち切りデータセットが、前記複数の更新モデル係数の一セットを使用して再生成され、前記打ち切りパフォーマンス終了基準が満たされることは、前記複数の打ち切りモデルパフォーマンス値の一セット及び前記複数の更新打ち切りモデルパフォーマンス値の一セットから決定されることと、
    前記複数の更新予測値の一セットを前記非一時的格納サブシステムに格納することと
    を引き起こすことによって外れ値偏りを低減する命令を含むシステム。
42. 前記偏り基準は、一の相対誤差及び一の絶対誤差の少なくとも一つを含み、
    前記複数の予測値の一セットは独立的に、前記少なくとも一つの目標変数に対して集められた前記すべての実際値から生成される、請求項４１に記載のシステム。
43. 前記複数の打ち切りモデルパフォーマンス値の一セットは第１標準誤差及び第１決定係数を含み、
    前記複数の更新打ち切りモデルパフォーマンス値の一セットは第２標準誤差及び第２決定係数を含む、請求項４１に記載のシステム。
44. 前記誤差セットは、一の相対誤差及び一の絶対誤差の少なくとも一つを含み、
    前記誤差セットは、前記少なくとも一つの目標変数に対する前記複数の予測値の一セットと前記複数の実際値の一セットとの対比によって生成される、請求項４１に記載のシステム。
45. 一の打ち切られた因子を生成することは、実行されると前記プロセッサに、前記複数の予測値の一セットと前記複数の実際値の一セットとの間の前記複数の誤差の一セットを最小化することを引き起こして外れ値偏りを低減する命令を含む、請求項４１に記載のシステム。
46. 前記打ち切りパフォーマンス終了基準は、一の標準誤差終了値及び一の決定係数終了値を含み、
    前記打ち切りパフォーマンス終了基準を満たすことは、前記標準誤差終了値が前記第１標準誤差及び第２標準誤差間の差分よりも大きくかつ前記決定係数終了値が前記第１決定係数及び第２決定係数間の差分よりも大きいことを含む、請求項４３に記載のシステム。

Images