JP5875430B2 - 異常検出装置、プログラムおよび異常検出方法 - Google Patents

異常検出装置、プログラムおよび異常検出方法 Download PDF

Info

Publication number
JP5875430B2
JP5875430B2 JP2012071325A JP2012071325A JP5875430B2 JP 5875430 B2 JP5875430 B2 JP 5875430B2 JP 2012071325 A JP2012071325 A JP 2012071325A JP 2012071325 A JP2012071325 A JP 2012071325A JP 5875430 B2 JP5875430 B2 JP 5875430B2
Authority
JP
Japan
Prior art keywords
data
determination
abnormality
series data
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012071325A
Other languages
English (en)
Other versions
JP2013205894A (ja
Inventor
嘉史 村瀬
嘉史 村瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Oki Electric Industry Co Ltd
Original Assignee
Oki Electric Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Oki Electric Industry Co Ltd filed Critical Oki Electric Industry Co Ltd
Priority to JP2012071325A priority Critical patent/JP5875430B2/ja
Publication of JP2013205894A publication Critical patent/JP2013205894A/ja
Application granted granted Critical
Publication of JP5875430B2 publication Critical patent/JP5875430B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本発明は、異常検出装置、プログラムおよび異常検出方法に関する。
近年、データの多様化や増大に伴い、大規模なデータから有用な知識を発見するデータマイニング技術が注目されている。特に、異常値や欠損値を含む大規模なデータから高い精度での分析を行うためには、異常値や欠損値を考慮した適切な手法を採用することが重要である。このため、データマイニング技術において、異常データの検出技術は重要な要素技術である。
例えば、特許文献1には、異常値をスコア化して、スコア化された異常値を異なる時間単位の粒度で集約することにより、急性または慢性の異常値を同定するための技術が開示されている。
特開2009−076056号公報
しかし、上記の技術では、スコア化された異常値が警報や可視化ツールなどによって通知されるが、スコアをどのように判断するかは利用者によって異なる。例えば、わずかな異常も見逃したくないという利用者は、全ての異常が通知されるように設定を行うことが考えられるが、この場合、誤検出が頻繁に発生するようになる。一方、誤検出を減らしたいという利用者は、誤検出が少なくなるように設定を行うことが考えられるが、この場合、異常の検出漏れが発生することが懸念される。すなわち、上記の技術では、利用者がどのように設定を調整しても、異常の誤検出および検出漏れの双方を防止することは困難であった。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、異常データの検出精度を向上することが可能な、新規かつ改良された異常検出装置、プログラムおよび異常検出方法を提供することにある。
上記課題を解決するために、本発明のある観点によれば、時系列データを構成する各データについて、複数の異常判定基準による判定を行い、前記複数の異常判定基準の各々による判定結果を得る判定部と、前記各データについて前記判定部により異常という判定結果が得られた異常判定基準の数に基づき、前記時系列データから異常データを検出する検出部とを有し、前記複数の異常判定基準の各々は複数の判定基準要素の組合せであり、前記検出部は、前記複数の判定基準要素の各々により判定を行う複数の要素判定部を含み、該複数の要素判定部は、前記時系列データを構成する各データと、当該各データに対応する過去の時系列データを構成する各データとを比較し、前記時系列データを構成する各データと前記過去の時系列データを構成する各データとの類似度に基づいて異常判定を行うものであり、かつ前記時系列データの外れ値のうちで、過去の時系列データを含む全ての時系列データの半数以上で外れ値と判定されるデータを異常の判定から除外することを特徴とする、異常検出装置が提供される。
前記複数の要素判定部は、設定された確率分布モデルから前記各データが逸脱するか否かを判定する要素判定部を含んでもよい。
前記複数の要素判定部は、前記時系列データを数値微分し、各データについての微分値が外れ値であるか否かを判定する要素判定部を含んでもよい。
前記検出部は、前記各データのうちで、前記判定部により異常という判定結果が得られた異常判定基準の数が多い方から所定数のデータを前記異常データとして検出してもよい。
前記異常検出装置は、前記検出部により検出された前記異常データを補正する補正部をさらに備えてもよい。
前記補正部は、前記異常データの前後のデータを用いて補間を行うことより前記異常データを補正してもよい。
前記時系列データを構成する各データは、金融機関における単位期間あたりの取引集計量であってもよい。
前記時系列データを構成する各データは、金融機関の1つの自動取引装置における単位期間あたりの取引集計量であってもよい。
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、時系列データを構成する各データについて、複数の異常判定基準による判定を行い、前記複数の異常判定基準の各々による判定結果を得る判定部と、前記各データについて前記判定部により異常という判定結果が得られた異常判定基準の数に基づき、前記時系列データから異常データを検出する検出部とを有し、前記複数の異常判定基準の各々は複数の判定基準要素の組合せであり、前記検出部は、前記複数の判定基準要素の各々により判定を行う複数の要素判定部を含み、該複数の要素判定部は、前記時系列データを構成する各データと、当該各データに対応する過去の時系列データを構成する各データとを比較し、前記時系列データを構成する各データと前記過去の時系列データを構成する各データとの類似度に基づいて異常判定を行うものであり、かつ前記時系列データの外れ値のうちで、過去の時系列データを含む全ての時系列データの半数以上で外れ値と判定されるデータを異常の判定から除外することを特徴とする、異常検出装置として機能させるための、プログラムが提供される。
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータが、時系列データを構成する各データについて、複数の異常判定基準による判定を行い、前記複数の異常判定基準の各々による判定結果を得ることと、コンピュータが、前記各データについて異常という判定結果が得られた異常判定基準の数に基づき、前記時系列データから異常データを検出することと、を含み、前記複数の異常判定基準の各々は複数の判定基準要素の組合せであり、前記検出することは、前記複数の判定基準要素の各々により判定を行うことを含み、当該判定は、前記時系列データを構成する各データと、当該各データに対応する過去の時系列データを構成する各データとを比較し、前記時系列データを構成する各データと前記過去の時系列データを構成する各データとの類似度に基づいて異常判定を行うものであり、かつ前記時系列データの外れ値のうちで、過去の時系列データを含む全ての時系列データの半数以上で外れ値と判定されるデータを異常の判定から除外することを特徴とする、異常判定方法が提供される。
以上説明したように本発明によれば、異常データの検出精度を向上することが可能である。
本発明の実施形態による異常検出システムの構成を示した説明図である。 本実施形態による異常データ検出装置の構成を示した機能ブロック図である。 複数のパラメータの具体例を示した説明図である。 統計処理に基づく外れ値判定の具体例を示した説明図である。 統計処理に基づく外れ値判定の具体例を示した説明図である。 微分処理に基づく外れ値判定の具体例を示した説明図である。 対象の時系列データと過去の時系列データの第1の例を示した説明図である。 対象の時系列データと過去の時系列データの第2の例を示した説明図である。 判定部により得られた各パラメータについての判定結果の具体例を示した説明図である。 異常データの検出過程を示した説明図である。 時系列データの具体例を示した説明図である。 図11に示した時系列データのデータ値を示した説明図である。 補正後の時系列データを示した説明図である。 本実施形態による異常データ検出装置の動作を示したフローチャートである。 異常データ検出装置のハードウェア構成を示したブロック図である。
以下に添付図面を参照しながら、本発明の実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
<1.異常検出システムの構成>
本発明は、以下に詳細に説明するように、多様な形態で実施され得る。また、本発明の実施形態による異常データ検出装置20は、
A.時系列データを構成する各データについて、複数の異常判定基準による判定を行い、前記複数の異常判定基準の各々による判定結果を得る判定部(220)と、
B.前記各データについて前記判定部により異常という判定結果が得られた異常判定基準の数に基づき、前記時系列データから異常データを検出する検出部(異常データ検出部230)と、
を備える。
以下では、まず、このような異常データ検出装置20を含む異常検出システムの構成を説明する。
図1は、本発明の実施形態による異常検出システムの構成を示した説明図である。図1に示したように、本発明の実施形態による異常検出システムは、時系列データ記憶部14と、異常データ記憶部16と、補正データ記憶部18と、異常データ検出装置20と、を備える。
時系列データ記憶部14は、時間経過に従って計測されるデータの集合である時系列データを記憶する。この時系列データは、例えば、株価または気温であってもよい。また、時系列データは、金融機関の各自動取引装置において発生する取引量(例えば、紙幣の流出量)であってもよい。なお、時系列データを構成する各データは、年、月、週、日、時、分または秒などの時間間隔で得られたデータであってもよい。
異常データ検出装置20は、時系列データを構成するデータから異常データを検出する異常検出装置である。また、異常データ検出装置20は、異常データとして検出されたデータを補正することも可能である。このような異常データ検出装置20については、「2.異常データ検出装置の構成」以降で詳細に説明する。
異常データ記憶部16は、異常データ検出装置20により検出された異常データを記憶する。補正データ記憶部18は、異常データ検出装置20により異常データが補正された時系列データを記憶する。
<2.異常データ検出装置の構成>
以上、図1を参照し、本実施形態による異常検出システムの構成を説明した。続いて、本実施形態による異常データ検出装置20の構成を説明する。
図2は、本実施形態による異常データ検出装置20の構成を示した機能ブロック図である。図2に示したように、本実施形態による異常データ検出装置20は、判定部220と、統計処理部222と、微分処理部224と、例外判定部226と、異常データ検出部230と、補正部240と、を備える。
(判定部)
判定部220は、時系列データを構成する各データについて、複数の異常判定基準として設定された異なるパラメータを定義し、各パラメータに従って異常判定を行う。ここで、各パラメータは、複数の判定手法に関するパラメータ要素の組合せであり、判定部220は、1つのパラメータについて、パラメータ要素の組合せを用いる複数の判定手法の判定結果に基づいて異常判定を行う。以下、図3を参照し、このようなパラメータの具体例を説明する。
図3は、複数のパラメータの具体例を示した説明図である。図3に示したように、各パラメータは、統計処理に基づく判定手法に関するパラメータ要素、微分処理に基づく判定手法に関するパラメータ要素、および、例外判定に関するパラメータ要素を含む。
例えば、パラメータ#1は、統計処理に基づく判定を行う際に用いられる標準偏差の倍率「2.5」、微分処理に基づく判定を行う際に用いられる数値微分の方法「前進差分」、例外判定を行う際に用いられる比較の時間単位「日単位」をパラメータ要素として含む。なお、統計処理に基づく判定、微分処理に基づく判定、および例外判定については順次詳細に説明する。
そして、判定部220は、各パラメータについて、パラメータ要素の組合せを用いる複数の判定手法の判定結果に基づいて異常判定を行う。例えば、判定部220は、あるパラメータの複数のパラメータ要素に従った全ての判定で異常判定結果(外れ値判定)が得られた場合、当該パラメータに異常判定フラグを設定してもよい。または、判定部220は、あるパラメータの複数のパラメータ要素に従った判定で所定数の異常判定結果が得られた場合、当該パラメータに異常判定フラグを設定してもよい。
(統計処理部)
統計処理部222は、要素判定部の一例であり、時系列データが確率分布モデルに従うことと仮定し、設定された確率分布モデルから各データが逸脱する外れ値であるか否かを判定する。例えば、確率分布モデルに従う正常値の範囲がパラメータ要素により「平均値u±3×標準偏差σ」のように定義され、時系列データの平均値u=0.8であり、標準偏差σ=2.1である場合、正常値の範囲は「0.8±3×2.1」である。この場合、統計処理部222は、データ値yが下記に該当するデータを外れ値と判定する。
−外れ値−
y≧7.1
y≦−5.5
図4は、統計処理に基づく外れ値判定の具体例を示した説明図である。上記のように正常値の範囲が「0.8±3×2.1」である場合、統計処理部222は、図4に示した時系列データ中の16番目のデータを外れ値と判定する。
なお、上記では標準偏差の倍率を示すパラメータ要素が「3」であり、正常値の範囲が「平均値u±3×標準偏差σ」と定義された例を説明したが、各パラメータにおいて標準偏差の倍率を示すパラメータ要素は多様な値をとることができる。例えば、パラメータ要素は「2.5」、または「3.5」であってもよく、この場合、統計処理部222は図5に示したQの範囲内のデータ、またはRの範囲内のデータを外れ値と判定する。
本実施形態においては、このように統計処理に関するパラメータ要素として複数の値を設定して、より多くの判定を行うことにより、確率分布モデルからの逸脱度合いが大きいデータほど外れ値と判定される回数が多くなるので、最終的な異常データの抽出をより正確に行うことが可能となる。
(微分処理部)
微分処理部224は、要素判定部の一例であり、時系列データを数値微分し、微分結果に基づいて時系列データの変化量の外れ値を判定する。例えば、微分判定に関するパラメータ要素が微分方法として前進差分を示し、前進差分による微分値の正常値の範囲が「平均値u±3×標準偏差σ」であり、微分値の平均値=0.1であり、標準偏差σ=5.3である場合、正常値の範囲は「0.1±3×5.3」である。この場合、微分処理部224は、微分値zが下記に該当するデータを外れ値と判定する。
−外れ値−
z≧16.0
z≦−15.8
図6は、微分処理に基づく外れ値判定の具体例を示した説明図である。上記のように正常値の範囲が「0.1±3×5.3」である場合、微分処理部224は、図6に示した時系列データ中の15番目のデータを外れ値と判定する。
なお、上記では微分処理に関するパラメータ要素が微分方法として前進差分を示す例を説明したが、微分判定に関するパラメータ要素は、後退差分、中心差分、3点近似および5点近似などの他の数値微分であってもよい。本実施形態においては、微分処理に関するパラメータ要素としてこのような複数の微分方法を設定して、より多数の判定を行うことにより、変化量の度合いが大きいデータほど外れ値と判定される回数が多くなるので、最終的な異常データの抽出をより正確に行うことが可能となる。
(例外判定部)
例外判定部226は、要素判定部の一例であり、対象の時系列データと過去の時系列データを比較し、対象の時系列データの外れ値のうちで、過去の時系列データでも外れ値になる傾向にあるデータを、外れ値の判定から除外する。以下、図7および図8を参照し、より具体的に説明する。
図7は、対象の時系列データと過去の時系列データの第1の例を示した説明図である。詳細には、図7には、1日〜31日の測定値を有する対象の12月の時系列データと、過去の7月〜11月の時系列データを示している。
図7に示した例において、例外判定部226が正常値の範囲を定義し、12月の時系列データに対して外れ値の判定を行うと、14番目のデータが外れ値と判定される。一方、14番目のデータは、9月および11月においても外れ値と判定される。このような場合、何らかの要因で周期的に外れ値となるデータが発生していると考えられるので、当該データは、補正の対象とならないよう、異常の判定から除外されることが望ましい。
そこで、例外判定部226は、対象の時系列データの外れ値のうちで、過去の時系列データを含む全ての時系列データの例えば半数以上で外れ値と判定されるデータを、異常の判定から除外してもよい。図7に示した例では、14番目のデータは6カ月の時系列データのうちで3カ月の時系列データで外れ値となっているので、12月の14番目のデータは異常の判定から除外される。
図8は、対象の時系列データと過去の時系列データの第2の例を示した説明図である。図8に示したように、12月の10番目のデータは外れ値であるが、過去の7月〜11月の10番目のデータはいずれも外れ値でない。図8に示した例では、12月の10番目のデータは異常の判定から除外されない。
なお、対象の時系列データと過去の時系列データとの比較は、年、月、週、日、時、分、秒単位のいずれの周期でも行える。このため、本実施形態においては、例外判定に関するパラメータ要素としてこのような異なる時間単位を設定して、より多数の判定を行うことにより、周期的に発生する外れ値を適切に異常の判定から除外することが可能となる。
(異常データ検出部)
異常データ検出部230は、判定部220により得られた各パラメータについての判定結果に基づいて、時系列データから異常データを検出する。例えば、異常データ検出部230は、時系列データ中の各データについて、判定部220により異常判定フラグが設定されたパラメータの数をカウントし、カウント値が多いデータを異常データとして検出する。まず、異常判定フラグが設定されたパラメータの数のカウントについて説明する。
図9は、判定部220により得られた各パラメータについての判定結果の具体例を示した説明図である。図9に示したように、判定部220が、時系列データを構成する1つのデータについてパラメータ#1〜#9に従って異常判定を行い、パラメータ#2、#5、#6および#8に異常判定フラグを設定した場合を考える。この場合、異常データ検出部230は、異常判定フラグが設定されたパラメータ値を「4」とカウントする。
次に、カウント値に基づく異常データの検出について説明する。異常データ検出部230は、異常判定フラグが設定されたパラメータのカウント値が閾値以上であるデータを抽出し、さらに、抽出したデータのうちで、カウント値の多い方から指定数のデータを異常データとして検出する。以下、図10を参照してより具体的に説明する。
図10は、異常データの検出過程を示した説明図である。より詳細には、図10の上側の表では、時系列データを構成する各データ(#1、#2、・・・)の各々について100種類のパラメータに従って異常判定を行った場合の判定結果を示している。ここで、カウント数の閾値を「50」とした場合、図10に示した例ではデータ#16および#41のカウント値が「50」以上であるので、異常データ検出部230は、データ#16および#41を異常候補データとして抽出する。
また、図10の下側の表は、異常候補データとして抽出したデータをカウント値が多い順に並べ替えを行った結果を示す。ここで、異常データの抽出数を「10」とした場合、異常データ検出部230は、最もカウント値が多いデータ#16から、10番目にカウント値が多いデータ#41までのデータを異常データとして検出する。一方、カウント値が「55」であるデータ#xxは、カウント値が20番目であるので、異常データとして検出されない。
以上説明したように、本実施形態による異常データ検出装置20は、各データについて複数のパラメータに従った異常判定を行い、異常判定フラグが設定されたパラメータのカウント値の閾値処理を行う。このため、確率分布モデルからの逸脱の度合いが大きいデータ、または変化量の度合が大きいデータなどほどカウント値が多くなり、かつ、例外パターンに合致するデータは異常の判定から除外されるので、より正確に異常データを検出することが可能となる。また、異常判定フラグが設定されたパラメータのカウント値が多い順にデータを並べ替え、指定数の異常データを検出することにより、適切な対処を実施していないと高い精度で分析を行うことが困難となる可能性のある異常データを、優先的に対処することが可能となる。
(補正部)
補正部240は、異常データ検出部230により検出された異常データを時系列データから除外し、時系列データを補正する。例えば、補正部240は、異常データの前後のデータを用いて線形補間を行うことにより時系列データを補正する。以下、図11〜図13を参照し、データ補間について具体的に説明する。
図11は、時系列データの具体例を示した説明図である。図12は、図11に示した時系列データのデータ値を示した説明図である。図11および図12の上側の表に示したように、時系列データの16番目のデータ「10」が異常データとして検出された場合を考える。この場合、補正部240は、前後の15番目のデータ「4.4」および17番目のデータ「0」を用い、以下の数式に従って16番目のデータを線形補間する。
−線形補間の具体例−
(4.4+0)/2=2.2
これにより、図12の下側の表、および図13に示すように、時系列データの16番目のデータが「2.2」に補正される。なお、上記では補正方法の一例として線形補間を説明したが、スプライン補間、ラグランジュ補間およびニュートン補間などの他の方法により異常データを補正することも可能である。
以上説明したように、本実施形態による異常データ検出装置20は、適切な対処を実施していないと高い精度での分析を行うことが困難となるような異常データを自動的に補正することができるので、より高い精度での分析を実現することが可能である。
<3.異常データ検出装置の動作>
以上、本実施形態による異常データ検出装置20の構成を説明した。続いて、図14を参照し、本実施形態による異常データ検出装置20の動作を整理する。
図14は、本実施形態による異常データ検出装置20の動作を示したフローチャートである。図14に示したように、異常データ検出装置20に時系列データ記憶部14から時系列データが入力されると(S304)、異常データ検出装置20は、S308〜S320の処理を、時系列データ中の全てのデータについて、全てのパラメータで実施する。また、異常データ検出装置20は、S324の処理を、時系列データ中の全てのデータについて実施する。
具体的には、S308において、統計処理部222が統計処理により対象のデータが外れ値であるか否かを判定し、S312において、微分処理部224が微分処理により対象のデータが外れ値であるか否かを判定し、S316において、例外判定部26が例外判定により対象のデータを異常の判定から除外するか否かを判定する。そして、統計処理部222および微分処理部224により対象のデータが外れ値であると判定され、例外判定部26により対象のデータが異常の判定から除外されなかった場合、判定部220は、判定基準となったパラメータに異常判定フラグを設定する(S320)。
また、異常データ検出部230は、時系列データ中の各データについて、判定部220により異常判定フラグが設定されたパラメータをカウントする(S324)。
その後、異常データ検出部230は、カウント値が閾値以上であるデータを抽出し、さらに、抽出したデータのうちで、カウント値の多い方から指定数のデータを異常データとして検出する(S328)。
さらに、補正部240が、異常データ検出部230により検出された異常データを時系列データから除外し、時系列データを補正する。例えば、補正部240は、異常データの前後のデータを用いて線形補間を行うことにより時系列データを補正する(S332)。
<4.ハードウェア構成>
以上、本発明の実施形態を説明した。上述した異常データの検出や異常データの補正などの情報処理は、ソフトウェアと、以下に説明する異常データ検出装置20のハードウェアとの協働により実現される。
図15は、異常データ検出装置20のハードウェア構成を示したブロック図である。異常データ検出装置20は、CPU(Central Processing Unit)201と、ROM(Read Only Memory)202と、RAM(Random Access Memory)203と、ホストバス204と、を備える。また、異常データ検出装置20は、ブリッジ205と、外部バス206と、インタフェース207と、入力装置208と、表示装置209と、音声出力装置210と、ストレージ装置(HDD)211と、ドライブ212と、ネットワークインタフェース215とを備える。
CPU201は、演算処理装置および制御装置として機能し、各種プログラムに従って異常データ検出装置20内の動作全般を制御する。また、CPU201は、マイクロプロセッサであってもよい。ROM202は、CPU201が使用するプログラムや演算パラメータ等を記憶する。RAM203は、CPU201の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。これらはCPUバスなどから構成されるホストバス204により相互に接続されている。
ホストバス204は、ブリッジ205を介して、PCI(Peripheral Component Interconnect/Interface)バスなどの外部バス206に接続されている。なお、必ずしもホストバス204、ブリッジ205および外部バス206を分離構成する必要はなく、1つのバスにこれらの機能を実装してもよい。
入力装置208は、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチおよびレバーなどユーザが情報を入力するための入力手段と、ユーザによる入力に基づいて入力信号を生成し、CPU201に出力する入力制御回路などから構成されている。異常データ検出装置20のユーザは、該入力装置208を操作することにより、異常データ検出装置20に対して各種のデータを入力したり処理動作を指示したりすることができる。
表示装置209は、例えば、CRT(Cathode Ray Tube)ディスプレイ装置、液晶ディスプレイ(LCD)装置、OLED(Organic Light Emitting Diode)装置およびランプなどの表示装置を含む。また、音声出力装置210は、スピーカおよびヘッドホンなどの音声出力装置を含む。
ストレージ装置211は、本実施形態にかかる異常データ検出装置20の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置211は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。ストレージ装置211は、例えば、HDD(Hard Disk Drive)で構成される。このストレージ装置211は、ハードディスクを駆動し、CPU201が実行するプログラムや各種データを格納する。
ドライブ212は、記憶媒体用リーダライタであり、異常データ検出装置20に内蔵、あるいは外付けされる。ドライブ212は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体24に記録されている情報を読み出して、RAM203に出力する。また、ドライブ212は、リムーバブル記憶媒体24に情報を書き込むこともできる。
ネットワークインタフェース215は、例えば、専用網12に接続するための通信デバイス等で構成された通信インタフェースである。また、ネットワークインタフェース215は、無線LAN(Local Area Network)対応通信装置であっても、有線による通信を行うワイヤー通信装置であってもよい。
<5.むすび>
以上説明したように、本実施形態による異常データ検出装置20は、各データについて複数のパラメータに従った異常判定を行い、異常判定フラグが設定されたパラメータのカウント値の閾値処理を行う。このため、確率分布モデルからの逸脱の度合いが大きいデータ、または変化量の度合が大きいデータほどカウント値が多くなり、かつ、例外パターンに合致するデータは異常の判定から除外されるので、より正確に異常データを検出することが可能となる。
また、本実施形態による異常データ検出部230は、異常判定フラグが設定されたパラメータのカウント値が多い順にデータを並べ替え、指定数の異常データを検出する。このため、適切な対処を実施していないと高い精度で分析を行うことが困難となる可能性のある異常データを、優先的に対処することが可能となる。
また、本実施形態による補正部240は、異常データ検出部230により検出された異常データを時系列データから除外し、時系列データを補正する。このため、適切な対処を実施していないと高い精度での分析を行うことが困難となるような異常データを自動的に補正することができるので、より高い精度での分析を実現することが可能である。
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、本明細書の異常データ検出装置20の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、異常データ検出装置20の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、異常データ検出装置20に内蔵されるCPU201、ROM202およびRAM203などのハードウェアを、上述した異常データ検出装置20の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
12 専用網
14 時系列データ記憶部
16 異常データ記憶部
18 補正データ記憶部
20 異常データ検出装置
220 判定部
222 統計処理部
224 微分処理部
226 例外判定部
230 異常データ検出部
240 補正部

Claims (10)

  1. 時系列データを構成する各データについて、複数の異常判定基準による判定を行い、前記複数の異常判定基準の各々による判定結果を得る判定部と、
    前記各データについて前記判定部により異常という判定結果が得られた異常判定基準の数に基づき、前記時系列データから異常データを検出する検出部とを有し、
    前記複数の異常判定基準の各々は複数の判定基準要素の組合せであり、
    前記検出部は、前記複数の判定基準要素の各々により判定を行う複数の要素判定部を含み、該複数の要素判定部は、前記時系列データを構成する各データと、当該各データに対応する過去の時系列データを構成する各データとを比較し、前記時系列データを構成する各データと前記過去の時系列データを構成する各データとの類似度に基づいて異常判定を行うものであり、かつ前記時系列データの外れ値のうちで、過去の時系列データを含む全ての時系列データの半数以上で外れ値と判定されるデータを異常の判定から除外することを特徴とする、異常検出装置。
  2. 前記複数の要素判定部は、設定された確率分布モデルから前記各データが逸脱するか否かを判定する要素判定部を含む、請求項1に記載の異常検出装置。
  3. 前記複数の要素判定部は、前記時系列データを数値微分し、各データについての微分値が外れ値であるか否かを判定する要素判定部を含む、請求項1または2に記載の異常検出装置。
  4. 前記検出部は、前記各データのうちで、前記判定部により異常という判定結果が得られた異常判定基準の数が多い方から所定数のデータを前記異常データとして検出する、請求項1〜3のいずれか一項に記載の異常検出装置。
  5. 前記異常検出装置は、前記検出部により検出された前記異常データを補正する補正部をさらに備える、請求項1〜4のいずれか一項に記載の異常検出装置。
  6. 前記補正部は、前記異常データの前後のデータを用いて補間を行うことより前記異常データを補正する、請求項5に記載の異常検出装置。
  7. 前記時系列データを構成する各データは、金融機関における単位期間あたりの取引集計量である、請求項1〜6のいずれか一項に記載の異常検出装置。
  8. 前記時系列データを構成する各データは、金融機関の1つの自動取引装置における単位期間あたりの取引集計量である、請求項7に記載の異常検出装置。
  9. コンピュータを、
    時系列データを構成する各データについて、複数の異常判定基準による判定を行い、前記複数の異常判定基準の各々による判定結果を得る判定部と、
    前記各データについて前記判定部により異常という判定結果が得られた異常判定基準の数に基づき、前記時系列データから異常データを検出する検出部とを有し、
    前記複数の異常判定基準の各々は複数の判定基準要素の組合せであり、
    前記検出部は、前記複数の判定基準要素の各々により判定を行う複数の要素判定部を含み、該複数の要素判定部は、前記時系列データを構成する各データと、当該各データに対応する過去の時系列データを構成する各データとを比較し、前記時系列データを構成する各データと前記過去の時系列データを構成する各データとの類似度に基づいて異常判定を行うものであり、かつ前記時系列データの外れ値のうちで、過去の時系列データを含む全ての時系列データの半数以上で外れ値と判定されるデータを異常の判定から除外することを特徴とする、異常検出装置として機能させるための、プログラム。
  10. コンピュータが、時系列データを構成する各データについて、複数の異常判定基準による判定を行い、前記複数の異常判定基準の各々による判定結果を得ることと、
    前記コンピュータが、前記各データについて異常という判定結果が得られた異常判定基準の数に基づき、前記時系列データから異常データを検出することと、
    を含み、
    前記複数の異常判定基準の各々は複数の判定基準要素の組合せであり、
    前記検出することは、前記複数の判定基準要素の各々により判定を行うことを含み、当該判定は、前記時系列データを構成する各データと、当該各データに対応する過去の時系列データを構成する各データとを比較し、前記時系列データを構成する各データと前記過去の時系列データを構成する各データとの類似度に基づいて異常判定を行うものであり、かつ前記時系列データの外れ値のうちで、過去の時系列データを含む全ての時系列データの半数以上で外れ値と判定されるデータを異常の判定から除外することを特徴とする、異常判定方法。
JP2012071325A 2012-03-27 2012-03-27 異常検出装置、プログラムおよび異常検出方法 Active JP5875430B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012071325A JP5875430B2 (ja) 2012-03-27 2012-03-27 異常検出装置、プログラムおよび異常検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012071325A JP5875430B2 (ja) 2012-03-27 2012-03-27 異常検出装置、プログラムおよび異常検出方法

Publications (2)

Publication Number Publication Date
JP2013205894A JP2013205894A (ja) 2013-10-07
JP5875430B2 true JP5875430B2 (ja) 2016-03-02

Family

ID=49524965

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012071325A Active JP5875430B2 (ja) 2012-03-27 2012-03-27 異常検出装置、プログラムおよび異常検出方法

Country Status (1)

Country Link
JP (1) JP5875430B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7000738B2 (ja) * 2017-08-22 2022-01-19 富士電機株式会社 品質監視システム及びプログラム
JP7188949B2 (ja) * 2018-09-20 2022-12-13 株式会社Screenホールディングス データ処理方法およびデータ処理プログラム
JP7188950B2 (ja) 2018-09-20 2022-12-13 株式会社Screenホールディングス データ処理方法およびデータ処理プログラム
WO2022049701A1 (ja) * 2020-09-03 2022-03-10 三菱電機株式会社 機器分析装置、機器分析方法および機器分析プログラム
CN117081909B (zh) * 2023-10-18 2024-02-27 联通在线信息科技有限公司 异常宽带修正方法、装置、电子设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0764965A (ja) * 1993-08-30 1995-03-10 Hitachi Ltd 販売量予測方法
JPH08220278A (ja) * 1995-02-10 1996-08-30 Toshiba Eng Co Ltd プラント監視装置及び監視方法
JPH11102481A (ja) * 1997-09-25 1999-04-13 Toshiba Corp 自動取引装置の群管理方法および群管理装置
JP4801452B2 (ja) * 2006-01-19 2011-10-26 三菱重工業株式会社 ガスタービンにおける異常監視方法及び装置
JP2011100211A (ja) * 2009-11-04 2011-05-19 Sharp Corp 異常判定装置、異常判定方法、異常判定プログラム、および、このプログラムを記録したプログラム記録媒体

Also Published As

Publication number Publication date
JP2013205894A (ja) 2013-10-07

Similar Documents

Publication Publication Date Title
US20210349455A1 (en) System and method for monitoring manufacturing
CN108228377B (zh) 一种面向磁盘故障检测的smart阈值优化方法
JP5875430B2 (ja) 異常検出装置、プログラムおよび異常検出方法
JP6555061B2 (ja) クラスタリングプログラム、クラスタリング方法、および情報処理装置
JP2017072882A (ja) アノマリ評価プログラム、アノマリ評価方法、および情報処理装置
CN109241997B (zh) 一种生成训练集的方法及装置
WO2016075915A1 (ja) ログ分析システム、ログ分析方法およびプログラム記録媒体
US20220035356A1 (en) Equipment failure diagnosis support system and equipment failure diagnosis support method
JP2019036186A (ja) 異常検知モデル構築装置、異常検知モデル構築方法及びプログラム
CN111832880B (zh) 对正在进行的生产批运行的质量指示符的计算机实现的确定
JP2018206316A (ja) プラント運転監視システム及びプラント運転監視方法
JP2018169994A (ja) 情報処理装置、情報処理方法およびコンピュータプログラム
WO2018122890A1 (ja) ログ分析方法、システムおよびプログラム
JP7167992B2 (ja) ラベル修正装置
WO2019030945A1 (ja) 原因推定方法およびプログラム
JP2013041491A (ja) 異常診断装置
US20100017010A1 (en) Monitoring a process sector in a production facility
JP5532782B2 (ja) トレーサビリティシステムおよび製造工程異常検出方法
JP6290777B2 (ja) データ関連情報処理装置及びプログラム
JP2007164346A (ja) 決定木変更方法、異常性判定方法およびプログラム
WO2018122889A1 (ja) 異常検出方法、システムおよびプログラム
EP3726317B1 (en) Computer-implemented determination of a quality indicator of a production batch-run of a production process
JP2008198123A (ja) 障害検知システム及び障害検知プログラム
JP2022132848A (ja) 稼働監視装置、及び稼働監視方法
CN113761082A (zh) 一种数据可视化方法、装置和系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20141117

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20150415

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150908

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20151006

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151222

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160119

R150 Certificate of patent or registration of utility model

Ref document number: 5875430

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150