JP6873025B2 - パラメータ設定方法、データ分析装置、データ分析システム及びプログラム - Google Patents

パラメータ設定方法、データ分析装置、データ分析システム及びプログラム Download PDF

Info

Publication number
JP6873025B2
JP6873025B2 JP2017221725A JP2017221725A JP6873025B2 JP 6873025 B2 JP6873025 B2 JP 6873025B2 JP 2017221725 A JP2017221725 A JP 2017221725A JP 2017221725 A JP2017221725 A JP 2017221725A JP 6873025 B2 JP6873025 B2 JP 6873025B2
Authority
JP
Japan
Prior art keywords
data
item
target system
analysis target
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017221725A
Other languages
English (en)
Other versions
JP2019095822A (ja
Inventor
韵成 朱
韵成 朱
竹島 由晃
由晃 竹島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2017221725A priority Critical patent/JP6873025B2/ja
Priority to US16/122,921 priority patent/US11115288B2/en
Publication of JP2019095822A publication Critical patent/JP2019095822A/ja
Application granted granted Critical
Publication of JP6873025B2 publication Critical patent/JP6873025B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/08Configuration management of networks or network elements
    • H04L41/0803Configuration setting
    • H04L41/0813Configuration setting characterised by the conditions triggering a change of settings
    • H04L41/082Configuration setting characterised by the conditions triggering a change of settings the condition being updates or upgrades of network functionality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/142Network analysis or design using statistical or mathematical methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/06Generation of reports
    • H04L43/062Generation of reports related to network traffic
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/16Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks using machine learning or artificial intelligence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/12Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Algebra (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Physics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Pure & Applied Mathematics (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、時系列データを監視するデータ分析装置に関する。
近年、様々なモノと接続して、データを収集するIoT(Internet of Things)技術が広がるに従い、様々なモノがネットワークに接続されている。様々なモノがネットワークに接続されることによって、モノから収集した時系列データを用いて、対象装置や対象システムを監視し、データを分析できるシステムがある。このようなシステムでは、監視対象の状態に関するデータを収集し、データの基準値からの乖離度を閾値と比較して、監視対象の異常を検知している。
このような監視や分析方法を実現するために、例えば、データの基準値や乖離度の閾値など、複数種のパラメータを予め設定する必要がある。パラメータの設定を支援する技術として、監視対象の状態に関する事前情報に従ってパラメータを決定する方法が提案されている。例えば、特許文献1(特開2008−59270号公報)には、統計量データに含まれる異常データと正常データとの割合に関する事前情報を生成する事前情報生成手段と、事前情報を使用して、統計量データの異常状態と正常状態の判定を行うための閾値を決定する閾値決定手段と、閾値決定手段により決定された閾値及び統計量データを使用して、対象プロセスの異常を診断する異常診断手段とを具備したことを特徴とするプロセス異常診断装置が開示されている。
また、パラメータの設定を支援する技術として、分析結果の更新時にパラメータを更新する方法が提案されている。特許文献2(特開2013−97615号公報)には、クラスタ割り当て変数を更新するときにクラスタ数を決定すると共に、クラスタ割り当て変数の更新、特徴選択変数の更新、特徴選択パラメータの更新、特徴観測パラメータの更新、ノイズ観測パラメータの更新、クラスタ遷移パラメータの更新、及び混合比パラメータの更新を所定の終了条件を満足するまで繰り返すことを特徴とするクラスタリング装置が開示されている。
特開2008−59270号公報 特開2013−97615号公報
しかしながら、特許文献1に開示されているパラメータ設定技術では、異常データと正常データとの割合のような、監視対象に関する事前情報を入力する必要がある。また、特許文献2に開示されているパラメータ設定技術では、パラメータ更新のためのハイパーパラメータと称される定数を予め入力する必要があり、パラメータ更新の効果が初期設定に影響される。このため、従来技術では、事前情報がない場合に監視対象の特徴に適するパラメータの設定が困難である。
本発明は、上記の点を鑑みてなされたものであり、監視対象から取得した複数の項目を含む時系列データの特徴の分析結果に基づいて、適切なパラメータを設定することを目的とする。
本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下の通りである。パラメータを設定可能なデータ分析装置であって、所定の処理を実行する演算装置と、前記演算装置に接続された記憶デバイスと、前記演算装置に接続された通信インターフェースとを有する計算機によって構成され、分析対象システムに対応するモデル毎にパラメータ設定コンフィグを蓄積するコンフィグ蓄積部と、分析対象システムから複数の項目のデータを含む時系列データを取得するデータ入力部と、少なくとも一つの第1の項目のデータを前記時系列データから抽出し、前記第1の項目のデータの経時変化の特徴を計算する経時変化特徴計算部と、少なくとも一つの第2の項目のデータを前記時系列データから抽出し、前記第1の項目のデータと前記第2の項目のデータとの間の関連性と、複数の前記第2の項目のデータ間の関連性との少なくとも一つの関連性の特徴を計算する関連性特徴計算部と、前記経時変化の特徴と前記関連性の特徴とに基づいて、前記分析対象システムに対応するモデルを判定するモデル判定部と、前記分析対象システムに対応するモデルのパラメータ設定コンフィグを用いて、前記分析対象システムにパラメータを設定するパラメータ設定部と、前記パラメータの修正が要求されると、前記要求されたパラメータの修正の比率に応じて他のパラメータを修正するコンフィグ修正部と、を備える。
本発明によれば、監視対象システムに適するパラメータを設定できる。前述した以外の課題、構成及び効果は、以下の実施例の説明によって明らかにされる。
実施例1のネットワークトラフィック分析システムの構成を示す図である。 実施例1の分析装置の構成を示す図である。 実施例1の入力データ情報テーブルの構成例を示す図である。 実施例1のデータ項目情報テーブルの構成例を示す図である。 実施例1のモデル情報テーブルの構成例を示す図である。 実施例1のコンフィグ情報テーブルの構成例を示す図である。 実施例1のパラメータ情報テーブルの構成例を示す図である。 実施例1のパラメータ設定プログラムが実行する処理のフローチャートである。 実施例1の経時変化特徴計算プログラムが実行する処理のフローチャートである。 実施例1の関連性特徴計算プログラムが実行する処理のフローチャートである。 実施例1のモデル判定プログラムが実行する処理のフローチャートである。 実施例2のIoTセンサ情報分析システムの構成を示す図である。 実施例2の設定装置の構成を示す図である。 実施例2の入力データ情報テーブルの構成例を示す図である。 実施例2のデータ項目情報テーブルの構成例を示す図である。 実施例2のパラメータ設定プログラムが実行する処理のフローチャートである。 実施例2のコンフィグ修正プログラムが実行する処理のフローチャートである。
以下、本発明の実施例を、図面を用いて説明する。
なお、以下の実施例においては便宜上その必要があるときは、複数のセクション又は実施例に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明などの関係にある。
また、以下の実施例において、要素の数等(個数、数値、量、範囲等を含む)に言及する場合、特に明示した場合及び原理的に明らかに特定の数に限定される場合などを除き、その特定の数に限定されず、特定の数以上でも以下でもよい。
さらに、以下の実施例において、その構成要素(要素ステップなどを含む)は、特に明示した場合及び原理的に明らかに必須である場合などを除き、必ずしも必須のものではない。
さらに、以下の実施例は単独で適用してもよいし、複数又は全ての実施例を組み合わせて適用してもよい。
<実施例1>(ネットワークトラフィック分析システム)
本実施例では、図1に示すように、ミラーリングスイッチ101と、分析装置102と、出力装置103とを含むネットワークトラフィック分析システムにおいて、分析装置102が、ミラーリングスイッチ101から取得したネットワークパケットからトラフィックフロー別の統計データを計算する例を説明する。さらに、分析装置102が、ミラーリングスイッチ101から取得したネットワークパケットから予め設定した少なくとも一つの項目(データが周期的に変化する第1の項目)を抽出し、第1の項目のデータの経時変化の特徴を計算する。そして、分析装置102が、ミラーリングスイッチ101から取得したネットワークパケットから別の予め設定した少なくとも一つの項目(第2の項目)を抽出し、第1の項目のデータと第2の項目のデータとの間の関連性の特徴を計算する。そして、計算された経時変化の特徴及び関連性の特徴に基づいて、分析対象のネットワークシステムが複数のモデルの中の、どのモデルに属するかを判定し、前記分析対象システムが属するモデルに対応するパラメータ設定情報を用いて、分析対象システムに適用する分析パラメータを設定することを特徴とする。そして、分析装置102は、設定されたパラメータを用いて、分析対象のネットワークシステムのトラフィックを分析する。
図1は、実施例1のネットワークトラフィック分析システムの構成を示す図である。
実施例1のネットワークトラフィック分析システムは、ミラーリングスイッチ101と、分析装置102、ネットワーク装置(以下、スイッチと称する)104と、ネットワーク端末(以下、ホストと称する)105とを含む。
ミラーリングスイッチ101は、二つ以上のスイッチ104を繋いで、それらの間でネットワークパケットを転送し、転送するパケットを複製し、分析装置102に送信する。ミラーリングスイッチ101は、ミラーリング機能付きのスイッチ装置のほか、DPI(Deep Packet Inspector)装置やネットワーク信号を分岐して取り出すTAP装置などでもよい。
分析装置102は、ミラーリングスイッチ101から取得したネットワークパケットから、分析対象であるネットワークシステム(スイッチ104、ホスト105を含む)の状態を分析し、分析結果を出力装置103へ送信する。
出力装置103は、分析装置102から受信したデータを可視化し、使用者にネットワークシステムの状態を知らせる。例えば、出力装置103は、分析装置102に接続される端末計算機である。
スイッチ104は、スイッチングハブ、ルータ、無線アクセスポイント、無線基地局など有線や無線ネットワークにおいて、パケットやフレームを転送する装置である。図1に示すように、ホスト105が、スイッチ104経由でミラーリングスイッチ101と接続されてもよいし、ホスト105が直接ミラーリングスイッチ101と接続されてもよい。
図2は、実施例1の分析装置102の構成を示す図である。
本実施例の分析装置102の機能は、一般的なコンピュータの補助記憶装置205にプログラムの形式で格納される。該プログラムは補助記憶装置205から読み出されてメモリ201上に展開され、CPU202によって実行される。なお、CPU202がプログラムを実行して行う処理の一部をハードウェア(例えば、FPGA)で行ってもよい。
分析装置102は、入出力インターフェース203及び通信インターフェース204の少なくとも一つを介してミラーリングスイッチ101と接続される。同様に、分析装置102は、入出力インターフェース203及び通信インターフェース204の少なくとも一つを介して出力装置103と接続される。
分析装置102のメモリ201は、データ入力プログラム211と、パラメータ設定プログラム212と、経時変化特徴計算プログラム213と、関連性特徴計算プログラム214と、モデル判定プログラム215と、データ分析プログラム216と、データ出力プログラム217とを格納する。
データ入力プログラム211は、ミラーリングスイッチ101からネットワークパケットを受信する。パラメータ設定プログラム212は、受信したデータに従って分析対象システムに適する分析パラメータを設定する。経時変化特徴計算プログラム213は、分析パラメータを設定するための経時変化特徴を計算する。関連性特徴計算プログラム214は、分析パラメータを設定するための関連性特徴を計算する。モデル判定プログラム215は、分析パラメータを設定するためのモデルを判定する。データ分析プログラム216、設定された分析パラメータを用いて分析対象システムのネットワークトラフィックを分析する。データ出力プログラム217は、分析結果を出力装置103に送信する。
さらに、分析装置102のメモリ201は、入力データ情報テーブル221(図3参照)と、データ項目情報テーブル222(図4参照)と、モデル情報テーブル223(図5参照)と、コンフィグ情報テーブル224(図6参照)と、パラメータ情報テーブル225(図7参照)と、データ分析情報テーブル226とを格納する。
入力データ情報テーブル221は、ネットワークパケットから計算したトラフィックフロー別の統計データを格納する。データ項目情報テーブル222は、入力データが含むデータ項目の情報を格納する。モデル情報テーブル223は、分析対象システムが属する可能性のある分析モデルの情報を格納する。コンフィグ情報テーブル224は、モデルごとに対応するパラメータ設定コンフィグ情報を格納する。パラメータ情報テーブル225は、分析対象システムに適用する分析パラメータの設定結果情報を格納する。データ分析情報テーブル226は、データ分析に関連する情報を格納する。
なお、本実施例の分析装置102では各種プログラム及び各種情報を一つのコンピュータのメモリ上に格納する構成を示した。しかし、これらの情報を補助記憶装置205に格納し、前述したプログラムによる処理の都度、補助記憶装置205から情報を読み込み、各処理が完了する毎に補助記憶装置205に情報を格納してもよい。
また、プログラム及び情報を複数のコンピュータに分散して格納してもよい。例えば、データベースのテーブルとして各種情報を実装して分析装置102と異なるデータベースサーバに格納し、分析装置102上で実行されるプログラムがデータベースサーバ上の情報を参照及び更新する構成でもよい。
以上のような上記情報の格納方法の違いは、本発明の本質には影響を与えない。
CPU202が実行するプログラムは、リムーバブルメディア(CD−ROM、フラッシュメモリなど)又はネットワークを介して分析装置102に提供され、非一時的記憶媒体である不揮発性の補助記憶装置205に格納される。このため、分析装置102は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
分析装置102は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。
図3は、分析装置102が保持する入力データ情報テーブル221の構成例を示す図である。
入力データ情報テーブル221は、時刻301と、送信元IP302と、送信先IP303と、プロトコルID304と、送信元ポート305と、送信先ポート306と、レート307と、再送パケット数308と、ICMPエラー回数309と、リセット回数310とを含む。
時刻301は、トラフィックフローデータが記録された時刻を示す。送信元IP302は、トラフィックフローの送信元のIPアドレスを示す。送信先IP303は、トラフィックフローの送信先のIPアドレスを示す。プロトコルID304は、トラフィックフローのトランスポートレイヤープロトコルを示す。送信元ポート305は、トラフィックフローのトランスポートレイヤー送信元ポート番号を示す。送信先ポート306は、トラフィックフローのトランスポートレイヤー送信先ポート番号を示す。レート307は、トラフィックフローのビットレートを示す。再送パケット数308は、トラフィックフローの再送パケット数を示す。ICMPエラー回数309は、トラフィックフロー内発生したICMPエラーの回数を示す。リセット回数310は、トラフィックフロー内発生したTCPなどのリセットの回数を示す。
図3に示す入力データ情報テーブル221は、1分ごとにトラフィックフローのデータが記録された例を示すが、他の間隔でトラフィックフローのデータを記録してもよい。
図4は、分析装置102が保持するデータ項目情報テーブル222の構成例を示す図である。
データ項目情報テーブル222は、項の目順番の識別子を示すデータ項目ID401と、項目の名称を示す項目名称402と、項目の種類を示す項目タイプ403とを含む。
図4では、テーブルの各行の項目は入力データ情報テーブル221のカラムに対応する。図4は、項目タイプ403はタイムスタンプを示す「TS」と、トラフィックフローの識別子を示す「KEY」と、予め定められた第1の項目を示す「V1」と、予め定められた第2の項目を示す「V2」との4種類である。その他、パラメータ設定やデータ分析に活用可能な他の項目種類が存在してもよい。
図5は、分析装置102が保持するモデル情報テーブル223の構成例を示す図である。
モデル情報テーブル223は、モデルの識別子を示すモデルID501と、モデルの名称を示すモデル名502と、分析対象システムがモデルに該当するかを判定する条件を示すモデル判定条件503とを含む。
モデルは、入力データに基づいて、対象システムのイベントに対応する数理的な分析方法である。入力データの振る舞いを適切に説明するために、そのデータの統計分布などに当てはまるモデルが必要である。図5は、ホームネットワークと、ビジネスネットワークと、センサネットワークとを含む複数のモデルを示す。それらのネットワークシステムは、例えば、トラフィックのビットレートの変化を示す統計分布が異なる。また、各モデルには、当該モデルに該当するかを判定するための条件が定められている。判定条件は、例えば、入力データから計算された特徴ベクトルと、当該モデルの固有特徴ベクトルとの距離が一定の閾値以内かである。また、例えば、クラスタ分析や学習済みのSVM(Support Vector Machine)やDNN(Deep Neural Network)などを用いて、一つの条件により複数のモデルの中から該当するモデルを判定してもよい。
図6は、分析装置102が保持するコンフィグ情報テーブル224の構成例を示す図である。
コンフィグ情報テーブル224は、モデルの識別子を示すモデルID601と、分析パラメータの識別子を示すパラメータID602と、分析パラメータのコンフィグ情報を示すパラメータコンフィグ603とを含む。モデルID601とパラメータID602とによって、分析対象システムが該当するモデルにおいて、設定すべき分析パラメータが一意に特定される。
パラメータコンフィグ603に定義されるパラメータは定数でもよいが、スケール因子Nや、データ項目の統計値(例えば、MEAN(再送パケット数)、MEAN(レート))を含む計算式でもよい。その他、パラメータコンフィグ603を計算スクリプトなど分析装置102が処理できる形式で定義してもよい。
図7は、分析装置102が保持するパラメータ情報テーブル225の構成例を示す図である。
パラメータ情報テーブル225は、分析パラメータの識別子を示すパラメータID701と、分析パラメータの設定結果を示すパラメータ値702とを含む。
分析装置102が保持するデータ分析情報テーブル226は、その構成例の図示を省略するが、モデルに応じて行われるデータ分析の学習データや分析結果を格納する。学習データの例として、線形や非線形の回帰分析の統計分析結果やクラスタなど機械学習の学習済みモデルなどがある。分析結果の例として、分析対象システムのイベント記録や異常度スコアなどがある。
分析装置102が実行するデータ入力プログラム211は、入出力インターフェース203及び通信インターフェース204の少なくとも一つを介して、ミラーリングスイッチ101と情報のやり取りを行い、分析対象システムのネットワークパケットを取得する。そして、データ入力プログラム211は、予め定められた一定の時間間隔で受信したネットワークパケットに基づいて、トラフィックフロー毎の統計値を計算し、入力データ情報テーブル221に格納する。
図8は、分析装置102が実行するパラメータ設定プログラム212による処理のフローチャートである。
ステップ801において、分析装置102は、所定量のデータ(例えば、1日分のデータ)の入力データ情報テーブル221への格納などをトリガにして、パラメータ設定プログラム212を起動する。なお、分析装置102は、所定時間(例えば、1か月)の経過、又は、データ分析プログラム216が特定のデータを検出したことなどの所定の条件を満たしたことをトリガにして、パラメータ設定プログラム212を起動してもよい。
ステップ802において、分析装置102は、分析対象システムの特徴ベクトルを空ベクトル(V=[ ])にする。
ステップ803において、分析装置102は、項目タイプ403が第1の項目(V1)のデータ項目をデータ項目情報テーブル222から抽出する。
ステップ804において、分析装置102は、抽出した第1の項目から順に一つの項目を選択し、選択した項目のデータ項目ID401を指定して、経時変化特徴計算プログラム213(図9)に渡して、そのデータ項目の経時変化特徴([x1,x2,…,xn])とスケール因子nを取得し、経時変化特徴を特徴ベクトルに追加する(V=[x1,x2,…,xn])。
ステップ805において、分析装置102は、全ての第1の項目の計算が完了したかを判定する。一部の第1の項目の計算が完了していない場合、分析装置102は、ステップ804に戻り、次の第1の項目を選択する。一方、全ての第1の項目の計算が完了した場合、分析装置102は、ステップ806に進み、データ項目情報テーブル222から、項目タイプ403が第2の項目(V2)のデータ項目を抽出する。
ステップ807において、分析装置102は、抽出した第2の項目から順に一つの項目を選択し、選択したデータ項目ID401とスケール因子nとを指定して、関連性特徴計算プログラム214(図10)に渡して、そのデータ項目の関連性特徴yを取得し、特徴ベクトルに追加する(V=[x1,x2,…,xn,y])。
ステップ808において、分析装置102は、全ての第2の項目の計算が完了したかを判定する。一部の第2の項目の計算が完了していない場合、分析装置102は、ステップ807に戻り、次の第2の項目を選択する。一方、全ての第2の項目の計算が完了した場合、分析装置102は、ステップ809に進み、特徴ベクトルをモデル判定プログラム215(図11)に渡し、分析対象システムが該当するモデルのモデルID501を取得する。
ステップ810において、分析装置102は、モデルID601が合致したモデルID501と一致するパラメータコンフィグ情報をコンフィグ情報テーブル224から取得する。
ステップ811において、分析装置102は、取得したパラメータコンフィグ情報に基づき、分析パラメータを計算し、パラメータ情報テーブル225に格納する。
最後に、ステップ812において、パラメータ設定プログラム212を終了する。
図9に、分析装置102が実行する経時変化特徴計算プログラム213による処理のフローチャートである。
ステップ901において、分析装置102は、パラメータ設定プログラム212が指定した第1の項目のデータ項目ID401を引数に、経時変化特徴計算プログラム213を起動する。
ステップ902において、分析装置102は、入力データ情報テーブル221から、時刻カラム301と指定されたデータ項目カラムのデータを全て取得する。
ステップ903において、分析装置102は、時刻カラム301の秒までが一致するデータの合計値を計算し、指定されたデータ項目カラムのデータの秒毎の合計値を計算する。
ステップ904において、分析装置102は、計算された毎秒合計値の1時間毎の平均値を計算し、指定されたデータ項目カラムのデータの1時間毎の平均値(例えば、1000,2000,6000,8000,…,2000,1000)を計算する。ステップ904において、平均値ではなく、他の統計値(例えば、分散、偏差値、最大値、最小値など)を計算してもよい。
ステップ905において、分析装置102は、計算された1時間毎の平均値を最大値が1になるように正規化し、その正規化した結果(0.125,0.25,0.75,1,…,0.25,0.125)と正規化する時の正規化係数をスケール因子(n=8000)としてパラメータ設定プログラム212に返す。
最後に、ステップ906において、経時変化特徴計算プログラム213を終了する。
図10は、分析装置102が実行する関連性特徴計算プログラム214による処理のフローチャートである。
ステップ1001において、分析装置102は、パラメータ設定プログラム212が指定した第2の項目のデータ項目ID401とスケール因子nを引数に、関連性特徴計算プログラム214を起動する。
ステップ1002において、分析装置102は、入力データ情報テーブル221から、時刻カラム301と指定されたデータ項目カラムのデータを全て取得する。
ステップ1003において、分析装置102は、時刻カラム301の秒までが一致するデータの合計値を計算し、指定されたデータ項目カラムのデータの毎秒合計値を計算する。
ステップ1004において、分析装置102は、計算された毎秒合計値の平均値を計算し、指定されたデータ項目カラムのデータの全体の平均値を計算する。ステップ1004において、平均値ではなく、他の統計値(例えば、分散、偏差値、最大値、最小値など)を計算してもよい。
ステップ1005において、分析装置102は、計算された全体の平均値と指定されたスケール因子との比率を計算し、パラメータ設定プログラム212に返す。ここで、スケール因子は、第1の項目のデータを正規化するときの正規化係数なので、当該第1の項目のデータの最大値である。ステップ1005では、指定されたデータ項目のデータの平均値とスケール因子との比率を計算しているが、これは、指定された第2の項目のデータの平均値と、指定されたスケール因子の計算元の第1の項目のデータの最大値との比率を計算していることになる。このため、ステップ1005では、第1の項目のデータの統計値と第2の項目のデータの統計値との比率が計算されている。
なお、ステップ1005において、第1の項目のデータの統計値と第2の項目のデータの統計値との比率を計算したが、二つの第2の項目のデータの統計値の比率を計算してもよい。
後に、ステップ1006において、関連性特徴計算プログラム214を終了する。
図11は、分析装置102が実行するモデル判定プログラム215による処理のフローチャートである。
ステップ1101において、分析装置102は、パラメータ設定プログラム212が指定した特徴ベクトルVを引数に、モデル判定プログラム215を起動する。
ステップ1102において、分析装置102は、モデル情報テーブル223から順に一つのモデルを選択する。
ステップ1103において、分析装置102は、与えられた特徴ベクトルが選択されたモデル判定条件503を満たすかを判定する。特徴ベクトルが選択されたモデルの判定条件503を満たさない場合、分析装置102は、ステップ1102に戻り、次のモデルを選択する。一方、特徴ベクトルが選択されたモデルの判定条件503を満たす場合、分析装置102は、ステップ1104に進み、条件を満たすモデルのモデルID501をパラメータ設定プログラム212に返す。
最後に、ステップ1105において、モデル判定プログラム215を終了する。
分析装置102が実行するデータ分析プログラム216は、分析対象システムに対してデータを分析し、学習データや分析結果をデータ分析情報テーブル226に格納する。
例えば、データ分析プログラム216は、分析パラメータのパラメータ情報テーブル225への格納をトリガにして、入力データ情報テーブル221から全部のトラフィックフロー統計データを取得し、パラメータ情報テーブル225から分析パラメータを取得し、取得した入力データを学習データとして、分析パラメータに基づき、線形や非線形の回帰分析の統計分析結果やクラスタなど機械学習を行い、学習済みモデルをデータ分析情報テーブル226に格納する。
また、新たな入力データの入力データ情報テーブル221への格納をトリガにして、入力データ情報テーブル221から直近のトラフィックフロー統計データを取得し、パラメータ情報テーブル225から分析パラメータを取得し、データ分析情報テーブル226から学習データを取得し、取得した学習データ及び分析パラメータに基づいて、入力データに対する数理分析を行い、分析対象システムの異常度スコアをデータ分析情報テーブル226に格納してもよい。その場合、分析結果の異常度スコアが所定の閾値を超えると、分析装置102は、データ出力プログラム217を動作させるとよい。
分析装置102が実行するデータ出力プログラム217は、入出力インターフェース203及び通信インターフェース204の少なくとも一つを介して、出力装置103と情報をやり取りし、分析対象システムに対する分析結果を出力する。
例えば、予め定められた所定時間の経過をトリガにして、データ分析情報テーブル226からデータ分析結果を取得し、取得したデータ分析結果を整形して、出力装置103に出力する。また、データ分析プログラム216のイベント検知をトリガにして、データ分析情報テーブル226からデータ分析結果を取得し、取得したデータ分析結果を整形して、出力装置103に出力してもよい。
このように、本実施例では、ミラーリングスイッチ101と、分析装置102と、出力装置103とを含むネットワークトラフィック分析システムにおいて、分析装置102が、ミラーリングスイッチ101から取得したネットワークパケットからトラフィックフロー別の統計データを計算する。さらに、分析装置102は、ミラーリングスイッチ101から取得したネットワークパケットから第1の項目のデータを抽出し、第1の項目のデータの各時間における統計値を計算し、ミラーリングスイッチ101から取得したネットワークパケットから別の第2の項目のデータを抽出し、第1の項目のデータと第2の項目のデータとの間の統計値の比率を計算し、時間毎の統計値と統計値の比率とに基づいて、分析対象システムに対応するモデルを判定し、当該モデルに対応するパラメータ設定コンフィグを用いて、分析対象システムに適用する分析パラメータを設定する。また、分析装置102は、パラメータを用いて分析対象システムのネットワークトラフィックを分析する。これにより、分析対象システムから取得した複数の項目を含むトラフィックフローの統計データに基づいて、分析対象システムの特徴を解析し、当該分析対象システムに適する分析パラメータを自動的に設定できる。また、当該分析対象システムに適する分析パラメータが自動的に設定されるので、分析パラメータを設定するための調査コストとタイムロスが減少し、故障予防やQoE(Quality of Experience)を向上できる。
また、分析装置102が、第1の項目の時間毎の統計値を正規化し、当該正規化したときの正規化係数を分析対象システムのスケール因子として記録し、当該スケール因子を引数として分析対象システムの規模に適するパラメータを計算するので、分析対象システムの質的特徴だけでなく、量的特徴にも適する分析パラメータを設定できる。
<実施例2>(IoTセンサ情報分析システム)
実施例2では、データ蓄積装置1203と、通信路1204と、IoTゲートウェイ1205と、センサ1206とを含むIoTセンサ情報分析システムに接続された設定装置1202が、データ蓄積装置1203から取得したセンシングデータから各データ項目のタイプを識別する。設定装置1202が、データから周期性がある測定値を抽出し、周期性がある測定値の経時変化特徴を計算し、データから周期性がない測定値を抽出し、周期性がある測定値と周期性がない測定値との間の関連性特徴を計算する。そして、設定装置1202が、経時変化特徴及び関連性特徴に基づいて、分析対象が属するモデルを判定し、分析対象が属する前記モデルに対応するパラメータ設定コンフィグを用いて、分析対象に適用される分析パラメータを設定し、前記分析装置に送信することを特徴とする。
図12は、実施例2のIoTセンサ情報分析システムの構成を示す図である。なお、実施例2の説明において、前述した実施例1と同じ名称の構成、機能及び処理の説明は省略する。
実施例2のIoTセンサ情報分析システムは、分析装置1201と、設定装置1202と、データ蓄積装置1203と、通信路1204と、IoTゲートウェイ1205と、センサ1206とを含む。
分析装置1201は、センシングデータを用いて分析対象の状態を分析する計算機である。設定装置1202は、適切な分析パラメータを分析装置1201に提供する計算機である。データ蓄積装置1203は、IoTゲートウェイ1205と情報をやりとりし、センサ1206が測定したセンシングデータを受信し、受信したセンシングデータを整形して、分析装置1201及び設定装置1202に提供する計算機である。通信路1204は、有線、無線のいずれのネットワークでもよく、また、一つのネットワークでも複数のネットワークの組み合わせでもよい。
図13は、実施例2の設定装置1202の構成を示す図である。なお、実施例1の分析装置102と同じ構成の説明は省略する。
実施例2の設定装置1202の機能は、一般的なコンピュータの補助記憶装置205にプログラムの形式で格納される。該プログラムは補助記憶装置1305から読み出されてメモリ1301上に展開され、CPU1302によって実行される。なお、CPU1302がプログラムを実行して行う処理の一部をハードウェア(例えば、FPGA)で行ってもよい。
設定装置1202は、通信インターフェース1304及び通信インターフェース1304の少なくとも一つを介して通信路1204と接続される。
設定装置1202のメモリ1301は、データ蓄積装置1203との間に情報のやり取りを行うデータ入力プログラム1311と、入力データのタイプを識別するデータ分類プログラム1312と、分析パラメータを設定するパラメータ設定プログラム1313と、パラメータコンフィグ情報を修正するコンフィグ修正プログラム1314とを格納する。
さらに、設定装置1202のメモリ1301は、入力データ情報テーブル1321(図14参照)と、データ項目情報テーブル1322(図15参照)と、モデル情報テーブル1323と、コンフィグ情報テーブル1324と、パラメータ情報テーブル1325とを格納する。入力データ情報テーブル1321は、センシングデータを格納する。データ項目情報テーブル1322は、入力データが含むデータ項目の情報を格納する。モデル情報テーブル1323は、分析対象が属する可能性のある分析モデルの情報を格納する。コンフィグ情報テーブル1324は、モデルごとに対応するパラメータ設定コンフィグ情報を格納する。パラメータ情報テーブル1325は、分析対象システムに適用する分析パラメータの設定結果情報を格納する。
モデル情報テーブル1323、コンフィグ情報テーブル1324、パラメータ情報テーブル1325は、それぞれ、実施例1のモデル情報テーブル223(図5)、コンフィグ情報テーブル224(図6)、パラメータ情報テーブル225(図7)と同じ構成でよいため、その構成の説明は省略する。
なお、本実施例の設定装置1202では各種プログラム及び各種情報を一つのコンピュータのメモリ上に格納する構成を示した。しかし、これらの情報を補助記憶装置1305に格納し、前述したプログラムによる処理の都度、補助記憶装置1305から情報を読み込み、各処理が完了する毎に補助記憶装置1305に情報を格納してもよい。
また、プログラム及び情報を複数のコンピュータに分散して格納してもよい。例えば、データベースのテーブルとして各種情報を実装して設定装置1202と異なるデータベースサーバに格納し、設定装置1202上で実行されるプログラムがデータベースサーバ上の情報を参照及び更新する構成でもよい。
以上のような上記情報の格納方法の違いは、本発明の本質には影響を与えない。
CPU1302が実行するプログラムは、リムーバブルメディア(CD−ROM、フラッシュメモリなど)又はネットワークを介して設定装置1202に提供され、非一時的記憶媒体である不揮発性の補助記憶装置205に格納される。このため、設定装置1202は、リムーバブルメディアからデータを読み込むインターフェースを有するとよい。
設定装置1202は、物理的に一つの計算機上で、又は、論理的又は物理的に構成された複数の計算機上で構成される計算機システムであり、同一の計算機上で別個のスレッドで動作してもよく、複数の物理的計算機資源上に構築された仮想計算機上で動作してもよい。
図14は、設定装置1202が保持する入力データ情報テーブル1321の構成例を示す図である。
入力データ情報テーブル1321は、センシングデータの生成時刻を示す時刻1401と、複数のデータ項目の内容を示すデータ項目1402とを含む。
図15は、設定装置1202が保持するデータ項目情報テーブル1322の構成例を示す図である。
データ項目情報テーブル1322は、項目の順番を識別するための識別子を示す項目ID1501と、項目の種類を示す項目タイプ1502とを含む。データ項目情報テーブル1322に含まれるデータ項目のタイプは、該当データ項目の全てのデータが異なる「ユニークID」、該当データ項目のデータが数種類存在する「グループID」、該当データ項目のデータが時間的な周期性を有する数値「測定値(周期性あり)」、該当データ項目のデータが時間的な周期性を有さない数値「測定値(周期性なし)」を含む。
設定装置1202が実行するデータ入力プログラム1311は、入出力インターフェース1303及び通信インターフェース1304の少なくとも一つを介して、データ蓄積装置1203と情報をやり取りし、所定期間におけるセンシングデータを取得する。その上で、データ入力プログラム1311は、例えば、異なるセンサ1206からのセンシングデータの間隔を揃えるなど、センシングデータに対して必要な整形して、入力データ情報テーブル1321に格納する。
設定装置1202が実行するデータ分類プログラム1312は、入力データ情報テーブル1321に格納されたセンシングデータに基づいて、入力データの各データ項目のタイプを識別し、識別結果をデータ項目情報テーブル1322に格納する。例えば、タイプの識別の方法として、入力データの文字列が正規表現に該当するかを判断してもよい。その他、周波数分析や周期性分析などの数理分析、又はテスト関数や外部プログラムを用いた分析も可能である。
図16は、設定装置1202が実行するパラメータ設定プログラム1313による処理のフローチャートである。
ステップ1601において、設定装置1202は、所定量のデータ(例えば、1日分のデータ)の入力データ情報テーブル1321への格納などをトリガにして、パラメータ設定プログラム1313を起動する。なお、設定装置1202は、所定時間(例えば、1か月)の経過、又は、データ分類プログラム1312が特定のデータを検出したことなどの所定の条件を満たしたことをトリガにして、パラメータ設定プログラム1313を起動してもよい。
ステップ1602において、設定装置1202は、分析対象の特徴ベクトルを空ベクトル(V=[ ])にする。
ステップ1603において、設定装置1202は、項目タイプ1502が「測定値(周期あり)」のデータ項目をデータ項目情報テーブル1322から抽出する。
ステップ1604において、設定装置1202は、抽出したデータ項目から順に一つの項目を選択し、選択されたデータ項目のデータを入力データ情報テーブル1321から取得し、取得したデータの1時間毎の平均値を計算する。
ステップ1605において、設定装置1202は、ステップ1604で計算された1時間毎の平均値を最大値が1になるように正規化し、その正規化した結果である経時変化特徴([x1,x2,…,xn])を特徴ベクトルに追加し(V=[x1,x2,…,xn])、正規化する時のスケール因子を記録する。
ステップ1606において、設定装置1202は、全ての「測定値(周期あり)」のデータ項目の計算が完了したかを判定する。一部の「測定値(周期あり)」のデータ項目の計算が完了していない場合、設定装置1202は、ステップ1604に戻り、次の「測定値(周期あり)」のデータ項目を選択する。一方、全ての「測定値(周期あり)」のデータ項目の計算が完了した場合、設定装置1202は、ステップ1607に進み、データ項目情報テーブル1322から、項目タイプ1502が「測定値(周期なし)」のデータ項目を抽出する。
ステップ1608において、設定装置1202は、抽出した「測定値(周期なし)」のデータ項目から順に一つの項目を選択し、選択されたデータ項目のデータを入力データ情報テーブル1321から取得し、取得したデータの相関係数を計算する。
なお、ステップ1608において、「測定値(周期なし)」の項目のデータと「測定値(周期あり)」の項目のデータとの相関係数を計算したが、二つの「測定値(周期なし)」の項目のデータの相関係数を計算してもよい。
ステップ1609において、設定装置1202は、ステップ1608で計算した相関係数yを特徴ベクトルに追加する(V=[x1,x2,…,xn,y])。
ステップ1610において、設定装置1202は、全ての「測定値(周期なし)」項目の計算が完了したかを判定する。一部の「測定値(周期なし)」項目の計算が完了していない場合、設定装置1202は、ステップ1608に戻り、次のデータ項目を選択する。全ての「測定値(周期なし)」項目の計算が完了した場合、設定装置1202は、ステップ1611に進み、モデル情報テーブル1323から、順に一つのモデルを選択する。
ステップ1612において、設定装置1202は、分析対象の特徴ベクトルが選択されたモデルの判定条件503を満たすかを判定する。特徴ベクトルが選択されたモデルの判定条件503を満たさない場合、設定装置1202は、ステップ1611に戻り、次のモデルを選択する。一方、分析対象の特徴ベクトルが選択されたモデルの判定条件503を満たす場合、設定装置1202は、ステップ1613に進み、条件を満たすモデルのモデルIDと一致するパラメータコンフィグ情報をコンフィグ情報テーブル1324から取得する。
次に、ステップ1614において、設定装置1202は、取得したパラメータコンフィグ情報に基づき、分析パラメータを計算し、パラメータ情報テーブル1325に格納し、入出力インターフェース1303及び通信インターフェース1304の少なくとも一つを介して、分析装置1201に送信する。
最後に、ステップ1615において、パラメータ設定プログラム1313を終了する。
図17は、設定装置1202が実行するコンフィグ修正プログラム1314による処理のフローチャートである。
ステップ1701において、設定装置1202は、分析装置1201からのパラメータ修正フィードバック情報をトリガにして、コンフィグ修正プログラム1314を起動する。
ステップ1702において、設定装置1202は、パラメータ情報テーブル1325から、分析装置1201から修正を要求されたパラメータの修正前の値を取得する。
ステップ1703において、設定装置1202は、修正を要求されたパラメータの修正後の値と修正前の値との比率を計算する。
ステップ1704において、設定装置1202は、分析対象がモデル判定条件503を満たすモデルの修正されたパラメータのパラメータコンフィグ情報をコンフィグ情報テーブル1324から取得する。
ステップ1705において、設定装置1202は、取得したパラメータコンフィグ情報に計算された比率を乗じた値をコンフィグ情報テーブル1324に格納する。
最後に、ステップ1615において、コンフィグ修正プログラム1314を終了する。
実施例2によると、設定されたパラメータが修正されたとき、パラメータの修正結果からパラメータ設定コンフィグを修正できる。特に、一つの設定装置1202が複数の分析装置1201にパラメータを設定する場合、又は、一つの分析システムが複数の分析対象を分析する場合、ユーザの修正によるパラメータコンフィグの改善を共有できる。
以上に説明したように、本発明の実施例の分析装置102及び設定装置1202は、分析対象システムに対応するモデル毎にパラメータ設定コンフィグを蓄積するコンフィグ情報テーブル224と、分析対象システムから複数の項目のデータを含む時系列データを取得するデータ入力プログラム211と、少なくとも一つの第1の項目のデータ(周期的に変化するデータ)を時系列データから抽出し、第1の項目のデータの経時変化特徴を計算する経時変化特徴計算プログラム213と、少なくとも一つの第2の項目のデータを時系列データから抽出し、第1の項目のデータと第2の項目のデータとの間の関連性と、複数の第2の項目のデータ間の関連性との少なくとも一つの関連性特徴を計算する関連性特徴計算プログラム214と、計算された経時変化特徴と計算された関連性特徴とに基づいて、分析対象システムに対応するモデルを判定するモデル判定プログラム215と、分析対象システムに対応するモデルのパラメータ設定コンフィグを用いて、分析対象システムにパラメータを設定するパラメータ設定プログラム212と、を実行するので、分析対象のシステムに適するパラメータを自動的に設定できる。
また、経時変化特徴計算プログラム213は、第1の項目のデータを時間軸で分割した所定の時間毎の統計値(例えば、平均値、分散、偏差値、最大値、最小値など)を計算し、計算された統計値を正規化した値を第1の項目の経時変化特徴とするので、時系列データの周期的な変化基づいてモデルを判定できる。
また、パラメータ設定プログラム212は、分析対象システムに対応するモデルのパラメータ設定コンフィグに定義された、正規化係数(スケール因子)を引数とした演算を行って、分析対象システムの規模に応じたパラメータを計算し、計算されたパラメータを分析対象システムに設定するので、システム規模(量的特徴)に応じた適切なパラメータを決定できる。
また、関連性特徴計算プログラム214は、第1の項目の統計値(例えば、平均値、分散、偏差値、最大値、最小値など)と第2の項目の統計値(例えば、平均値、分散、偏差値、最大値、最小値など)との比率を前記関連性の特徴とする、又は、二つの第2の項目の統計値(例えば、平均値、分散、偏差値、最大値、最小値など)の比率を関連性特徴とするので、システムの特徴を表す補助的なパラメータとして項目間の関連性を用いてモデルを判定できる。
また、関連性特徴計算プログラム214は、第1の項目のデータと第2の項目のデータとの相関を示す値(例えば、相関係数など)を関連性特徴とする、又は、二つの第2の項目のデータの相関を示す値(例えば、相関係数など)を関連性特徴とするので、システムの特徴を表す補助的なパラメータとして項目間の関連性を用いてモデルを判定できる。
また、パラメータの修正が要求されると、前記要求されたパラメータの修正の比率に応じて他のパラメータを修正するコンフィグ修正プログラム1314を実行するので、オペレータの入力をパラメータ情報テーブル1325に反映できる。
また、所定の条件(例えば、所定量のデータの格納、所定時間の経過、特定のデータの検出など)を満たしたタイミングで、分析対象システムに適用されるパラメータを設定する処理を実行するので、適切なタイミングでパラメータを設定できる。
なお、本発明は前述した実施例に限定されるものではなく、添付した特許請求の範囲の趣旨内における様々な変形例及び同等の構成が含まれる。例えば、前述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに本発明は限定されない。また、ある実施例の構成の一部を他の実施例の構成に置き換えてもよい。また、ある実施例の構成に他の実施例の構成を加えてもよい。また、各実施例の構成の一部について、他の構成の追加・削除・置換をしてもよい。
また、前述した各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等により、ハードウェアで実現してもよく、プロセッサがそれぞれの機能を実現するプログラムを解釈し実行することにより、ソフトウェアで実現してもよい。
各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリ、ハードディスク、SSD(Solid State Drive)等の記憶装置、又は、ICカード、SDカード、DVD等の記録媒体に格納することができる。
また、制御線や情報線は説明上必要と考えられるものを示しており、実装上必要な全ての制御線や情報線を示しているとは限らない。実際には、ほとんど全ての構成が相互に接続されていると考えてよい。
101 ミラーリングスイッチ
102 分析装置
103 出力装置
104 ネットワーク装置(スイッチ)
105 ネットワーク端末(ホスト計算機)
1201 分析装置
1202 設定装置
1203 データ蓄積装置
1204 通信路
1205 IoTゲートウェイ
1206 センサ

Claims (13)

  1. データ分析装置がパラメータを設定する方法であって、
    前記データ分析装置は、所定の処理を実行する演算装置と、前記演算装置に接続された記憶デバイスと、前記演算装置に接続された通信インターフェースとを有する計算機によって構成され、
    前記記憶デバイスは、分析対象システムに対応するモデル毎にパラメータ設定コンフィグを格納しており、
    前記方法は、
    前記演算装置が、分析対象システムから複数の項目のデータを含む時系列データを取得する手順と、
    前記演算装置が、少なくとも一つの第1の項目のデータを前記時系列データから抽出し、前記第1の項目のデータの経時変化の特徴を計算する手順と、
    前記演算装置が、少なくとも一つの第2の項目のデータを前記時系列データから抽出し、前記第1の項目のデータと前記第2の項目のデータとの間の関連性と、複数の前記第2の項目のデータ間の関連性との少なくとも一つの関連性の特徴を計算する手順と、
    前記演算装置が、前記経時変化の特徴と前記関連性の特徴とに基づいて、前記分析対象システムに対応するモデルを判定する手順と、
    前記演算装置が、前記分析対象システムに対応するモデルのパラメータ設定コンフィグを用いて、前記分析対象システムにパラメータを設定する手順と、
    前記パラメータの修正が要求されると、前記演算装置が、前記要求されたパラメータの修正の比率に応じて他のパラメータを修正する手順と、を含むことを特徴とする方法。
  2. 請求項1に記載の方法であって、
    前記経時変化の特徴を計算する手順では、前記演算装置が、前記第1の項目のデータを時間軸で分割した所定の時間毎の統計値を計算し、前記統計値を正規化した値を前記第1の項目の経時変化の特徴とすることを特徴とする方法。
  3. 請求項2に記載の方法であって、
    前記経時変化の特徴を計算する手順では、前記演算装置が、前記統計値を正規化したときに使用した正規化係数を記録する手順を含み、
    前記パラメータを設定する手順では、前記演算装置が、前記分析対象システムに対応するモデルのパラメータ設定コンフィグに定義された、前記正規化係数を引数とした演算を行って、前記分析対象システムの規模に応じたパラメータを計算し、前記計算されたパラメータを前記分析対象システムに設定することを特徴とする方法。
  4. 請求項2に記載の方法であって、前記関連性の特徴を計算する手順では、
    前記演算装置が、前記第1の項目のデータの統計値を計算し、前記第2の項目のデータの統計値を計算し、前記第1の項目の統計値と前記第2の項目の統計値との比率を前記関連性の特徴とする、又は、
    前記演算装置が、前記第2の項目のデータの統計値を計算し、二つの前記第2の項目の統計値の比率を前記関連性の特徴とすることを特徴とする方法。
  5. 請求項1に記載の方法であって、前記関連性の特徴を計算する手順では、
    前記演算装置が、前記第1の項目のデータと前記第2の項目のデータとの相関を示す値を前記関連性の特徴とする、又は、
    前記演算装置が、二つの前記第2の項目のデータの相関を示す値を前記関連性の特徴とすることを特徴とする方法。
  6. パラメータを設定可能なデータ分析装置であって、
    所定の処理を実行する演算装置と、前記演算装置に接続された記憶デバイスと、前記演算装置に接続された通信インターフェースとを有する計算機によって構成され、
    分析対象システムに対応するモデル毎にパラメータ設定コンフィグを蓄積するコンフィグ蓄積部と、
    分析対象システムから複数の項目のデータを含む時系列データを取得するデータ入力部と、
    少なくとも一つの第1の項目のデータを前記時系列データから抽出し、前記第1の項目のデータの経時変化の特徴を計算する経時変化特徴計算部と、
    少なくとも一つの第2の項目のデータを前記時系列データから抽出し、前記第1の項目のデータと前記第2の項目のデータとの間の関連性と、複数の前記第2の項目のデータ間の関連性との少なくとも一つの関連性の特徴を計算する関連性特徴計算部と、
    前記経時変化の特徴と前記関連性の特徴とに基づいて、前記分析対象システムに対応するモデルを判定するモデル判定部と、
    前記分析対象システムに対応するモデルのパラメータ設定コンフィグを用いて、前記分析対象システムにパラメータを設定するパラメータ設定部と、
    前記パラメータの修正が要求されると、前記要求されたパラメータの修正の比率に応じて他のパラメータを修正するコンフィグ修正部と、を備えることを特徴とするデータ分析装置。
  7. 請求項6に記載のデータ分析装置であって、
    前記経時変化特徴計算部は、前記第1の項目のデータを時間軸で分割した所定の時間毎の統計値を計算し、前記統計値を正規化した値を前記第1の項目の経時変化の特徴とすることを特徴とするデータ分析装置。
  8. 請求項7に記載のデータ分析装置であって、
    前記経時変化特徴計算部は、前記統計値を正規化したときに使用した正規化係数を記録し、
    前記パラメータ設定部は、前記分析対象システムに対応するモデルのパラメータ設定コンフィグに定義された、前記正規化係数を引数とした演算を行って、前記分析対象システムの規模に応じたパラメータを計算し、前記計算されたパラメータを前記分析対象システムに設定することを特徴とするデータ分析装置。
  9. 請求項7に記載のデータ分析装置であって、
    前記関連性特徴計算部は、
    前記第1の項目のデータの統計値を計算し、前記第2の項目のデータの統計値を計算し、前記第1の項目の統計値と前記第2の項目の統計値との比率を前記関連性の特徴とする、又は、
    前記第2の項目のデータの統計値を計算し、二つの前記第2の項目の統計値の比率を前記関連性の特徴とすることを特徴とするデータ分析装置。
  10. 請求項6に記載のデータ分析装置であって、
    前記関連性特徴計算部は、
    前記第1の項目のデータと前記第2の項目のデータとの相関を示す値を前記関連性の特徴とする、又は、
    二つの前記第2の項目のデータの相関を示す値を前記関連性の特徴とすることを特徴とするデータ分析装置。
  11. 請求項6に記載のデータ分析装置であって、
    前記演算装置は、所定のタイミングで、前記分析対象システムに適用されるパラメータを設定する処理を実行することを特徴とするデータ分析装置。
  12. パラメータを設定可能なデータ分析システムであって、
    分析対象システムを複数のモデルに対応させて、前記複数のモデル毎のパラメータ設定コンフィグを蓄積する手段と、
    分析対象システムから複数の項目のデータを含む時系列データを取得する手段と、
    少なくとも一つの第1の項目のデータを前記時系列データから抽出し、前記第1の項目のデータの経時変化の特徴を計算する手段と、
    少なくとも一つの第2の項目のデータを前記時系列データから抽出し、前記第1の項目のデータと前記第2の項目のデータとの間の関連性と、複数の前記第2の項目のデータ間の関連性との少なくとも一つの関連性の特徴を計算する手段と、
    前記経時変化の特徴と前記関連性の特徴とに基づいて、前記分析対象システムに対応するモデルを判定する手段と、
    前記分析対象システムに対応するモデルのパラメータ設定コンフィグを用いて、前記分析対象システムにパラメータを設定する手段と、
    前記パラメータの修正が要求されると、前記要求されたパラメータの修正の比率に応じて他のパラメータを修正する手段と、を備えることを特徴とするデータ分析システム。
  13. 計算機にパラメータを設定させるためのプログラムであって、
    前記計算機は、所定の処理を実行する演算装置と、前記演算装置に接続された記憶デバイスと、前記演算装置に接続された通信インターフェースとを有し、
    前記プログラムは、
    分析対象システムから複数の項目のデータを含む時系列データを取得する手順と、
    少なくとも一つの第1の項目のデータを前記時系列データから抽出し、前記第1の項目のデータの経時変化の特徴を計算する手順と、
    少なくとも一つの第2の項目のデータを前記時系列データから抽出し、前記第1の項目のデータと前記第2の項目のデータとの間の関連性と、複数の前記第2の項目のデータ間の関連性との少なくとも一つの関連性の特徴を計算する手順と、
    前記経時変化の特徴と前記関連性の特徴とに基づいて、前記分析対象システムに対応するモデルを判定する手順と、
    前記分析対象システムに対応するモデルのパラメータ設定コンフィグを用いて、前記分析対象システムにパラメータを設定する手順と、
    前記パラメータの修正が要求されると、前記要求されたパラメータの修正の比率に応じて他のパラメータを修正する手順と、を前記演算装置に実行させるためのプログラム。
JP2017221725A 2017-11-17 2017-11-17 パラメータ設定方法、データ分析装置、データ分析システム及びプログラム Active JP6873025B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017221725A JP6873025B2 (ja) 2017-11-17 2017-11-17 パラメータ設定方法、データ分析装置、データ分析システム及びプログラム
US16/122,921 US11115288B2 (en) 2017-11-17 2018-09-06 Parameter setting method, data analysis device and data analysis system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017221725A JP6873025B2 (ja) 2017-11-17 2017-11-17 パラメータ設定方法、データ分析装置、データ分析システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2019095822A JP2019095822A (ja) 2019-06-20
JP6873025B2 true JP6873025B2 (ja) 2021-05-19

Family

ID=66533406

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017221725A Active JP6873025B2 (ja) 2017-11-17 2017-11-17 パラメータ設定方法、データ分析装置、データ分析システム及びプログラム

Country Status (2)

Country Link
US (1) US11115288B2 (ja)
JP (1) JP6873025B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11323465B2 (en) * 2018-09-19 2022-05-03 Nec Corporation Temporal behavior analysis of network traffic
US11169506B2 (en) 2019-06-26 2021-11-09 Cisco Technology, Inc. Predictive data capture with adaptive control
JP7437197B2 (ja) * 2020-03-16 2024-02-22 住友電気工業株式会社 スイッチ装置、車載通信システムおよび通信方法
JP7437196B2 (ja) * 2020-03-16 2024-02-22 住友電気工業株式会社 スイッチ装置、車載通信システムおよび通信方法
EP3920467A1 (en) * 2020-06-04 2021-12-08 Fujitsu Limited Communication coupling verification method, communication coupling verification program, and network verification apparatus

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09114517A (ja) * 1995-10-19 1997-05-02 Toshiba Corp 監視制御装置
JP4017272B2 (ja) * 1998-12-16 2007-12-05 中国電力株式会社 プラント状態推定・予測装置及び方法
US8903950B2 (en) * 2000-05-05 2014-12-02 Citrix Systems, Inc. Personalized content delivery using peer-to-peer precaching
JP4476540B2 (ja) * 2002-10-10 2010-06-09 横河電機株式会社 管路閉塞検出装置
US7496661B1 (en) * 2004-03-29 2009-02-24 Packeteer, Inc. Adaptive, application-aware selection of differentiated network services
JP4762088B2 (ja) 2006-08-31 2011-08-31 株式会社東芝 プロセス異常診断装置
WO2010042578A1 (en) * 2008-10-08 2010-04-15 Citrix Systems, Inc. Systems and methods for real-time endpoint application flow control with network structure component
US8315844B2 (en) * 2009-09-15 2012-11-20 At&T Intellectual Property I, Lp Method, computer program product, and apparatus for comparing traffic pattern models of a complex communication system
US8874776B2 (en) * 2010-03-08 2014-10-28 Telcordia Technologies, Inc. Virtual ad hoc network testbeds for network-aware applications
JP5851205B2 (ja) 2011-11-01 2016-02-03 日本電信電話株式会社 クラスタリング装置、方法、及びプログラム
JP2013143009A (ja) * 2012-01-11 2013-07-22 Hitachi Ltd 設備状態監視方法およびその装置
JP2014186631A (ja) 2013-03-25 2014-10-02 Hitachi Constr Mach Co Ltd 診断処理システム、端末装置、およびサーバ
US20140334304A1 (en) * 2013-05-13 2014-11-13 Hui Zang Content classification of internet traffic
JP5530020B1 (ja) * 2013-11-01 2014-06-25 株式会社日立パワーソリューションズ 異常診断システム及び異常診断方法
US9979664B2 (en) * 2015-07-07 2018-05-22 Speedy Packets, Inc. Multiple protocol network communication
JP2017156811A (ja) * 2016-02-29 2017-09-07 オーナンバ株式会社 原動機によって動作される装置又は機械システムの性能低下の時期を予測する方法
JP6607821B2 (ja) * 2016-04-12 2019-11-20 株式会社神戸製鋼所 高炉のセンサ故障検知方法及び異常状況の予測方法

Also Published As

Publication number Publication date
US20190158363A1 (en) 2019-05-23
US11115288B2 (en) 2021-09-07
JP2019095822A (ja) 2019-06-20

Similar Documents

Publication Publication Date Title
JP6873025B2 (ja) パラメータ設定方法、データ分析装置、データ分析システム及びプログラム
JP5546686B2 (ja) 監視システム、及び監視方法
JP5910727B2 (ja) 運用管理装置、運用管理方法、及び、プログラム
US8635498B2 (en) Performance analysis of applications
EP2523115B1 (en) Operation management device, operation management method, and program storage medium
WO2014184934A1 (ja) 障害分析方法、障害分析システム及び記憶媒体
US7184935B1 (en) Determining and annotating a signature of a computer resource
JP2019502191A (ja) サービス呼び出し情報処理の方法及びデバイス
US20160378583A1 (en) Management computer and method for evaluating performance threshold value
EP3323046A1 (en) Apparatus and method of leveraging machine learning principals for root cause analysis and remediation in computer environments
CN107124289B (zh) 网络日志时间对齐方法、装置及主机
US20220086071A1 (en) A network device classification apparatus and process
US11223668B2 (en) Anomaly detection of media event sequences
US8554906B2 (en) System management method in computer system and management system
Lim et al. Identifying recurrent and unknown performance issues
US20180121275A1 (en) Method and apparatus for detecting and managing faults
JP6636214B1 (ja) 診断装置、診断方法及びプログラム
US20180307218A1 (en) System and method for allocating machine behavioral models
CN109783459A (zh) 从日志中提取数据的方法、装置及计算机可读存储介质
JP6574533B2 (ja) リスク評価装置、リスク評価システム、リスク評価方法、及び、リスク評価プログラム
JP2008108154A (ja) 稼働性能情報の管理システム
US11334410B1 (en) Determining aberrant members of a homogenous cluster of systems using external monitors
CN112416896A (zh) 数据异常的报警方法和装置、存储介质、电子装置
CN115543665A (zh) 一种内存可靠性评估方法、装置及存储介质
JP2020035297A (ja) 機器状態監視装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201223

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210303

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210420

R150 Certificate of patent or registration of utility model

Ref document number: 6873025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150