JP6695490B2 - Learning data management device and learning data management method - Google Patents
Learning data management device and learning data management method Download PDFInfo
- Publication number
- JP6695490B2 JP6695490B2 JP2019500139A JP2019500139A JP6695490B2 JP 6695490 B2 JP6695490 B2 JP 6695490B2 JP 2019500139 A JP2019500139 A JP 2019500139A JP 2019500139 A JP2019500139 A JP 2019500139A JP 6695490 B2 JP6695490 B2 JP 6695490B2
- Authority
- JP
- Japan
- Prior art keywords
- learning data
- monitoring
- prediction model
- learning
- management device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N99/00—Subject matter not provided for in other groups of this subclass
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Quality & Reliability (AREA)
- Economics (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- General Business, Economics & Management (AREA)
- Game Theory and Decision Science (AREA)
- Marketing (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Debugging And Monitoring (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本発明は、学習データ管理装置及び学習データ管理方法に関し、特に、開発者(Development)と運用管理者(Operations)とが連携して協力する開発手法である「DevOps」において開発されるサービスに対して機械学習が用いられる際における学習データの管理に適用して好適な機能を有する。 The present invention relates to a learning data management device and a learning data management method, and particularly to a service developed in “DevOps”, which is a development method in which a developer (Operation) and an operation manager (Operations) cooperate and cooperate with each other. And has a function suitable for management of learning data when machine learning is used.
近年、サービスやアプリケーションの開発手法が変化しつつある。従来、サービスやアプリケーションを提供する場合には、要件定義、設計及び開発という長いプロセスを経てからユーザにこれらを提供していた。しかしながら、このような長いプロセスを要すると、ユーザのニーズの変化に迅速に対応できないため、従来から開発サイクルを短くしたいというニーズが存在している。近年では、例えばアジャイル開発、DevOpsなどの開発手法が普及している。これにより、アップデートの頻度を高め、1日に複数回に亘ってサービスやアプリケーションをアップデートすることができるようになっている。 In recent years, the method of developing services and applications is changing. Conventionally, when providing services and applications, they have been provided to users after a long process of requirement definition, design and development. However, if such a long process is required, it is not possible to quickly respond to changes in user needs, so there is a conventional need to shorten the development cycle. In recent years, development methods such as agile development and DevOps have become popular. As a result, the frequency of updates can be increased and services and applications can be updated multiple times a day.
これらのサービスやアプリケーションを監視対象システムとした場合、従来は、監視対象システムの動作状況を表すメトリクス値のうち、監視対象システムの故障発生期間以外のメトリクス値から正常範囲を示すベースライン情報を生成するという技術が知られている(特許文献1参照)。 When these services and applications are used as monitored systems, conventionally, baseline information indicating the normal range is generated from the metric values other than the failure occurrence period of the monitored systems among the metric values that represent the operating status of the monitored system. There is known a technique of doing (see Patent Document 1).
上述した従来技術においては、監視対象システムの故障発生期間とそれ以外の期間とを区別し、ベースライン情報を生成しているが、監視対象システムの挙動、すなわち、メトリクス値の分布が頻繁に変化することは想定されていない。その一方、最近のサービスやアプリケーションにおいては、上述したDevOpsのような開発手法により頻繁に更新が行われ、監視対象システムの挙動が変化することが考えられる。 In the above-mentioned conventional technique, baseline information is generated by distinguishing the failure occurrence period of the monitored system from the period other than that, but the behavior of the monitored system, that is, the distribution of the metric values frequently changes. It is not supposed to be done. On the other hand, in recent services and applications, it is conceivable that the behavior of the monitored system may change due to frequent updates by a development method such as DevOps described above.
ベースライン情報等を機械学習で生成していた場合、監視対象システムのアップデートにより内部ロジックが変更されることが考えられる。アップデートにより対象システムの挙動が変化すると、アップデート前のメトリクス値を用いて作成された学習結果と実際の動作との間に差異が生じ、ベースライン情報等の予測精度が低下してしまうおそれがあった。 When the baseline information and the like are generated by machine learning, it is possible that the internal logic is changed by updating the monitored system. If the behavior of the target system changes due to the update, a difference may occur between the learning result created using the metric value before the update and the actual operation, and the prediction accuracy of the baseline information etc. may decrease. It was
本発明は以上の点を考慮してなされたもので、監視対象システムの今後の挙動について予測精度の高い予測モデルを生成可能な学習データ管理装置及び学習データ管理方法を提案しようとする機能を有する。 The present invention has been made in consideration of the above points, and has a function of proposing a learning data management device and a learning data management method capable of generating a prediction model with high prediction accuracy for future behavior of a monitored system. ..
かかる課題を解決するため、本発明においては、監視対象としての監視対象システムから監視データを取得する監視データ取得部と、前記取得した監視データを前記監視対象システムの挙動に応じて分割する監視データ分割部と、前記分割した監視データから特徴を抽出する特徴抽出部と、前記抽出した特徴と、処理実行時に稼働中の監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択する学習データ選択部と、前記選択された学習データを用いて予測モデルを生成する予測モデル生成部と、を備えることを特徴とする。 In order to solve such a problem, in the present invention, a monitoring data acquisition unit that acquires monitoring data from a monitoring target system as a monitoring target, and monitoring data that divides the acquired monitoring data according to the behavior of the monitoring target system. A division unit, a feature extraction unit that extracts features from the divided monitoring data, the extracted features are compared with the features of the monitoring data of the monitoring target system that is in operation at the time of processing, and the features that are close to each other are learned. And a prediction model generation unit that generates a prediction model using the selected learning data.
また、本発明においては、学習データを用いて予測モデルを生成する学習データ管理装置における学習データ管理方法であって、前記学習データ管理装置が、監視対象としての監視対象システムから監視データを取得する監視データ取得ステップと、前記学習データ管理装置が、前記取得した監視データを前記監視対象システムの挙動に応じて分割する監視データ分割ステップと、前記学習データ管理装置が、前記分割した監視データから特徴を抽出する特徴抽出ステップと、前記学習データ管理装置が、前記抽出した特徴と、処理実行時に稼働中の監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択する学習データ選択ステップと、前記学習データ管理装置が、前記選択された学習データを用いて予測モデルを生成する予測モデル生成ステップと、を有することを特徴とする。 Further, in the present invention, there is provided a learning data management method in a learning data management device for generating a prediction model using learning data, wherein the learning data management device acquires monitoring data from a monitoring target system as a monitoring target. A monitoring data acquisition step, a monitoring data dividing step in which the learning data management device divides the acquired monitoring data according to the behavior of the monitoring target system, and the learning data management device uses the divided monitoring data And a feature extraction step of extracting the learning data, the learning data management device compares the extracted features with the features of the monitoring data of the monitoring target system that is in operation at the time of executing the process, and learning data having similar features is used for learning. And a learning data selecting step for selecting the learning data selected by the learning data management device. And having a prediction model generating step of generating a prediction model using.
本発明によれば、監視対象システムの今後の挙動について予測精度の高い予測モデルを生成することができる。 According to the present invention, it is possible to generate a prediction model with high prediction accuracy for future behavior of the monitored system.
以下、図面について、本発明の一実施の形態について詳述する。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
(1)第1の実施の形態
(1−1)概要構成
図1は、第1の実施の形態による学習データ管理装置の構成例を示す。本実施の形態では、監視対象システムとしてWebアプリケーションの1種であるECサービスを例として挙げているが、これに限るものではない。また、監視対象システムはWebアプリケーションに限るものではなく、サーバの挙動、例えばストレージ応答性能予測などにも用いることができる。(1) First Embodiment (1-1) Schematic Configuration FIG. 1 shows a configuration example of a learning data management device according to the first embodiment. In the present embodiment, the EC service, which is one type of Web application, is taken as an example of the system to be monitored, but the system is not limited to this. Further, the system to be monitored is not limited to the Web application, and can be used for the behavior of the server, for example, storage response performance prediction.
また、本実施の形態では、監視対象システムの挙動を分割するための要素として、例えば監視対象システムのバージョンを用いるものとする。 Further, in the present embodiment, for example, the version of the monitored system is used as an element for dividing the behavior of the monitored system.
図1は、第1の実施の形態による学習データ管理装置としての計算機システムの構成例を示す。本実施の形態に関わる計算機システムは、監視対象システム100、デプロイサーバ101、サービス監視サーバ102、管理サーバ103、管理端末105及び開発端末104を備える。これらはそれぞれが持つ通信インターフェースによってネットワーク106に接続され、ネットワーク106を介して互いに接続される。
FIG. 1 shows a configuration example of a computer system as a learning data management device according to the first embodiment. The computer system according to this embodiment includes a monitored
本実施の形態では、監視対象システム100として、例えばWebアプリケーション、具体的にはEC(Electronic Commerce)サービスを例示する。
In the present embodiment, as the monitored
管理端末105は、通信インターフェース134、プロセッサ133、記憶装置135、メモリ136を備えて、これらが内部バス145によって接続されている。内部バス145には、入力装置137及び出力装置138が接続されている。運用管理者139は、この入力装置137及び出力装置138を介して、ECサービス100、デプロイサーバ101、サービス監視サーバ102及び管理サーバ103に対する操作を実施する。
The
開発端末104は、通信インターフェース129、プロセッサ130、記憶装置131及びメモリ132を備えており、これらが内部バス144によって接続されている。内部バス144には、入力装置147及び出力装置148が接続されている。開発者140は、開発端末を104用いてアプリケーションを開発する。開発されたアプリケーションのソースコードは、ネットワーク106を介しデプロイサーバ101の記憶装置119に保存される。
The
ECサービス100は、物理サーバ110上で動作する仮想化ソフトウェア111によって提供される仮想マシン112を備える。物理サーバ110は、通信インターフェース113、プロセッサ114、記憶装置115及びメモリ116を備える。仮想マシン112には、物理マシン110のプロセッサ114、記憶装置115及びメモリ116の一部が割り当てられている。仮想マシン112に対する操作は、物理サーバ110の通信インターフェース113を介して実施される。これら通信インターフェース113、プロセッサ114、記憶装置115及びメモリ116は、内部バス146によって接続されている。
The EC
デプロイサーバ101は、通信インターフェース117、プロセッサ118、記憶装置119及びメモリ120を備える。これら通信インターフェース117、プロセッサ118、記憶装置119及びメモリ120は、内部バス141によって接続されている。
The
サービス監視サーバ102は、通信インターフェース121、プロセッサ122、記憶装置123及びメモリ124を備える。これら通信インターフェース121、プロセッサ122、記憶装置123及びメモリ124は、内部バス142によって接続されている。
The
管理サーバ103は、通信インターフェース125、プロセッサ126、記憶装置127及びメモリ128を備える。これら通信インターフェース125、プロセッサ126、記憶装置127及びメモリ128は、内部バス143によって接続されている。
The
図2は、デプロイサーバ101の構成例を示すブロック図を示す。デプロイサーバ101は、ソースコードレポジトリ201に格納されているソースコードをビルドし、仮想マシン112で稼働しているアプリケーションプログラム300を更新する機能を有する。
FIG. 2 is a block diagram showing a configuration example of the deploy
メモリ120には、デプロイプログラム200が格納されている。記憶装置119には、ソースコードリポジトリ201が格納されている。ソースコードリポジトリ201には、仮想マシン112上で提供されるアプリケーションプログラム300のソースコードが格納されている。このソースコードは、開発者140が開発端末104を用いて開発されており、ネットワーク106を介してソースコードレポジトリ201に保存される。
A deploy
デプロイプログラム200は、管理端末105の入力装置137を介してデプロイの指示を受領すると、ソースコードリポジトリ201に格納されているソースコードをビルドし、このようなビルドにより生成されたアプリケーションプログラムの実行ファイルを、仮想マシン112で稼働しているアプリケーションプログラム300と入れ替えることによりアプリケーションを更新する。
When the deploy
図3は、ECサービス100において稼働している仮想マシン112の構成図を示す。仮想マシン112に割り当てられたメモリ116上では、ECサービス100を提供するアプリケーションプログラム300が稼働している。
FIG. 3 shows a configuration diagram of the
メモリ116には、アプリケーションプログラム300及び監視エージェントプログラム301が格納されている。記憶装置115には、商品データDB303が格納されている。商品データDB(データベース)303には、商品の名前、商品の値段、及び商品の在庫数を含む商品情報が格納されている。アプリケーションプログラム300は、商品データDB303に格納されている商品情報を取得し、この商品情報を基にサービスを提供する。
An
このアプリケーションプログラム300は、ネットワーク106に公開されている。監視エージェントプログラム301は、アプリケーションプログラム300の稼働情報を取得しており、監視により得られた監視メトリクス値を、ネットワーク106を介してサービス監視サーバ102のサービス管理マネージャプログラム400(図4)に送信する。
The
図4は、サービス監視サーバ102の構成図を示す。サービス監視サーバ102は、仮想マシン112で稼働している監視マネージャプログラム301から監視結果を受信し保存する。
FIG. 4 shows a configuration diagram of the
メモリ124にはサービス管理マネージャプログラム400が格納されている。記憶装置123には、監視メトリクス値テーブル401が格納されている。サービス監視マネージャプログラム400は、仮想マシン112で稼働している監視エージェントプログラム300によって取得された監視メトリクス値を受信し、記憶装置123内の監視メトリクス値テーブル401に格納する。監視メトリクス値テーブル401の詳細については後述する。
A service
図5は、管理サーバ103の構成図を示す。管理サーバ103は、サービス監視サーバ102によって取得された監視メトリクス値を学習し、アプリケーションプログラム300における販売数予測モデルを作成する機能を有する。プロセッサ126は、この販売数予測モデルを用いてECサービス100における販売数の予測を行う。
FIG. 5 shows a configuration diagram of the
メモリ128には、学習用データ保存プログラム500、学習用データ選択プログラム501、予測モデル生成プログラム502及び在庫管理プログラム503が格納されている。記憶装置127には、バージョン別学習データテーブル504、クラスタ重心位置テーブル505、予測モデルテーブル506及びプログラム設定テーブル507が格納されている。
The
学習用データ保存プログラム500は、サービス監視サーバ102の監視メトリクス値テーブル401から値を読み出して処理を実行した後、バージョン別学習データテーブル504に格納する。学習用データ選択プログラム501は、バージョン別学習データテーブル504の学習データを基に、クラスタ重心位置を計算し、クラスタ重心位置テーブル505に保存する。学習用データ選択プログラム501は、このように保存されたクラスタ重心位置を基に、学習に用いるテーブルを選択する。なお、通常テーブルにはレコードが格納されているが、本実施の形態では、分かり易く説明する都合上、バージョン別学習データテーブル504にはレコードに相当するテーブルが存在しているものとして説明する。
The learning
予測モデル生成プログラム502は、学習用データ選択プログラムで選択されたテーブルの学習データを基に予測モデルを生成し、予測モデルテーブル506に予測モデルを保存する。これらの処理の詳細については後述する。
The prediction
在庫管理プログラム503は、予測モデルテーブル506から最新の予測モデルを取得し、この取得した予測モデルを販売数予測モデル508として保持する。在庫管理プログラム503は、販売数予測モデル508を基にECサービス100における販売数を予測する。運用管理者139は、この予測情報から発注量を調整する。設定ファイルは、学習用データ保存プログラム500及び学習用データ選択プログラム501で利用される。
The
図6は、サービス監視サーバ102の記憶装置123に格納される監視メトリクス値テーブル401の一例を示す図である。管理メトリクス値テーブル401は、バージョン601、日時602、アクセス数603、ユーザ数604、遷移率605及び購入率606を管理する。なお、このうちアクセス数603におけるメトリクス値とは5000回などの数値を示し、メトリクスとはアクセス数の項目自体を示している。
FIG. 6 is a diagram showing an example of the monitoring metric value table 401 stored in the
監視データとは、ある日時における各メトリクスのメトリクス値をまとめたものを指す。仮想マシン112で稼働している監視エージェントプログラム301によってアプリケーションプログラム300のメトリクス値は、サービス監視サーバ102に送られ、監視マネージャプログラム400によって保存される。監視メトリクス値テーブル401には、バージョン601、日時602、アクセス数603、ユーザ数604、遷移率605及び購入率606が格納される。
The monitoring data is a collection of metric values of each metric at a certain date and time. The
バージョン601は、仮想マシン112で稼働しているアプリケーションプログラム300のバージョン情報を示す。日時602は、監視メトリクス値を取得した日時、アクセス数603は単位時間内にECサービス100にて販売される商品の紹介ページがアクセスされた回数を示す。ユーザ数604は、メトリクス値取得時のアプリケーションプログラム300に登録されているユーザの人数を示す。遷移率605は、アクセス数603のうち商品の紹介ページから購入ページに遷移した割合を示す。購入率606は、アクセス数のうち商品を購入した割合を示す。販売数は、商品が購入された数を示す。
The
図7は、管理サーバ103の記憶装置127に格納されるバージョン別学習データテーブル504の一例を示す図である。ここでは、バージョン2.03の学習データ、バージョン2.04の学習データ、及びバージョン2.05の学習データが、それぞれ別の学習データテーブル701,702,703に格納されている様子を示している。
FIG. 7 is a diagram showing an example of the version-specific learning data table 504 stored in the
学習データとは、学習用データ保存プログラム500によってバージョン別学習データテーブル504に保存されたデータを指す。バージョン別学習データテーブル504の中身の値は、学習用データ保存プログラム500によって正規化されている。このバージョン別学習データテーブル504には、監視メトリクス値テーブル401のメトリクスの中から学習に使うメトリクスだけ選択し正規化された値が格納される。項目705,706,707には、アクセス数、遷移率、購入率が正規化された値が保存されている。項目704は、学習データのIDの役割を持つため、正規化されずそのまま保存される。本実施の形態では、ユーザ数604は、学習に用いないため、バージョン別学習データテーブル504には格納されない。
The learning data refers to data stored in the version-based learning data table 504 by the learning
図8は、管理サーバ103の記憶装置127に格納されるクラスタ重心位置テーブル505の一例を示す図である。クラスタ重心位置テーブル505には、バージョン801と関係するテーブルにおけるクラスタ重心位置の計算結果802が格納されている。クラスタ重心位置とは、学習データテーブル504の各バージョンのテーブルの学習データを座標空間にマッピングした座標の平均のことを指す。クラスタ重心位置テーブル505は、学習データ選択プログラム501の実行時に使用され、更新される。
FIG. 8 is a diagram showing an example of the cluster centroid position table 505 stored in the
図9は、管理サーバ103の記憶装置127に格納される予測モデルテーブル506の一例を示す図である。この予測モデルテーブル506は、予測モデルを生成した日時900と、予測モデルを生成する際に使用したバージョン901と、それによって生成された予測モデル情報902と、が格納されている。
FIG. 9 is a diagram showing an example of the prediction model table 506 stored in the
学習に複数のバージョンが使用された場合は、バージョン901の[2.01]、[2.02]のように各バージョンが羅列される。予測モデル情報には予測モデルそのものの情報が格納されている。例えば、予測モデルが、図10のようなニューラルネットワークを用いて作成されていた場合、各ノードの重みが予測モデル情報に格納される。予測モデルテーブルは、予測モデル生成プログラム502の実行時に更新される。
When a plurality of versions are used for learning, each version is listed like version 901 [2.01] and [2.02]. Information on the prediction model itself is stored in the prediction model information. For example, when the prediction model is created using the neural network as shown in FIG. 10, the weight of each node is stored in the prediction model information. The prediction model table is updated when the prediction
図10は、予測モデル生成プログラムによって作成される販売数予測モデル508のニューラルネットワークの構成例を示しており、例えば入力層、隠れ層及び出力層に分かれている。本実施の形態では、一例として、入力は、アクセス数、遷移率及び購入率であり、出力は販売数となる。ノード1には1つの入力があり、これに対し「w1_0」という重みがかかっている。
FIG. 10 shows a configuration example of a neural network of the sales
これに対し、ノードNに関しては5つの入力があり、それぞれの入力に対して「wN_0」、「wN_1」、「wN_2」、「wN_3」及び「wN_4」という重みがかかっている。この重みの値は、図9に示す予測モデル情報903,904に格納されている。
On the other hand, with respect to the node N, there are five inputs, and weights “wN_0”, “wN_1”, “wN_2”, “wN_3” and “wN_4” are applied to the respective inputs. The value of this weight is stored in the
図11は、管理サーバ103の記憶装置127に格納されるプログラム設定テーブル1000の一例を示す図である。このプログラム設定テーブル1000には、学習データ保存プログラム500及び学習データ選択プログラム501において使用される設定が保存されている。
FIG. 11 is a diagram showing an example of the program setting table 1000 stored in the
処理時間実行間隔設定1001は、管理サーバ103にて実行される学習処理S1100(図12)の実行間隔が保存される。学習メトリクス選択設定1002は、学習データ選択プログラム501で学習に用いるメトリクスを選択する際に用いられる。データ数閾値設定1003は、学習データ選択プログラム501において処理を実行するか否かの判断の際に用られる。クラスタ重心位置閾値設定1004は、学習データ選択プログラム501で学習に用いる学習データテーブルを選択する際に用いられる。
The processing time execution interval setting 1001 stores the execution interval of the learning process S1100 (FIG. 12) executed by the
プログラム設定テーブル1000は、学習処理S1100が実行される前に運用管理者139によって管理端末105の入力装置137が用いられることにより、ネットワーク106を介して設定が保存される。
The setting of the program setting table 1000 is saved via the
既述の監視メトリクス値テーブル401では、監視対象がECサービス100になっているため、格納されているメトリクスがアクセス数603、ユーザ数604、遷移率605及び購入率606となっている。
In the monitoring metric value table 401 described above, since the monitoring target is the
なお、本実施の形態は、監視対象システム100として、ECサービスを例示しているが、これに限られず、例えば、ストレージの応答性能の予測等にも適用することができる。このようにストレージ応答性能の予測を行う場合は、監視メトリクス値テーブル401には、プロセッサ使用率、キャッシュ使用率、キャッシュサイズなどが格納されることになる。
Although the present embodiment exemplifies the EC service as the monitored
(1−2)予測モデルの生成を実施する学習処理
図12は、予測モデルを生成する学習処理S1100の一例を示すフローチャートである。このフローチャートは、管理サーバ103によって実行される。(1-2) Learning Process for Generating Prediction Model FIG. 12 is a flowchart showing an example of a learning process S1100 for generating a prediction model. This flowchart is executed by the
学習用データ保存処理S1101は、学習用データ保存プログラム500に対応しており、学習用データ選択処理S1102は、学習用データ選択プログラム501に対応しており、予測モデル生成処理S1103は、予測モデル生成プログラム502に対応している。管理サーバ103では、これらのプログラム500,501,502が管理サーバ103のメモリ128に展開されており、各プログラム500,501,502に含まれる処理がプロセッサ126によって実行される。
The learning data storage processing S1101 corresponds to the learning
学習処理S1100は、予め運用管理者139が定めた処理実行時間間隔設定509を基に一定時間間隔ごとに実行される(ステップS1105)。図11に示すプログラム設定テーブル1000の処理実行時間間隔設定1001には、処理の実行間隔のみが記述されている。この処理実行時間間隔設定1001に1時間と記述されていれば、1時間ごとに処理が実行されることを表している。処理S1105では、前回処理を実行した日時が出力され、この前回実行した日時が次の学習用データ保存処理S1101において使用される。 The learning process S1100 is executed at regular time intervals based on the process execution time interval setting 509 preset by the operations manager 139 (step S1105). In the process execution time interval setting 1001 of the program setting table 1000 shown in FIG. 11, only the process execution interval is described. If the processing execution time interval setting 1001 describes 1 hour, it means that the processing is executed every hour. In the process S1105, the date and time when the previous process was executed is output, and the date and time when the previous process was executed is used in the next learning data storage process S1101.
管理サーバ103では、プロセッサ126が、学習用データ保存処理を実行し(ステップS1101)、前回実行した日時を基に、前回の処理S1100実行時から増加した分のデータを監視メトリクステーブル401から読み込み、バージョン別学習データテーブル504に保存する。
In the
次にプロセッサ126は、学習用データ選択処理を実行し(ステップS1102)、バージョン別学習データテーブル504の中で予測モデル生成に用いる学習データテーブルを選択する。
Next, the
学習用データ選択処理では、プロセッサ126が、学習に用いるバージョン別学習データテーブル504の学習データテーブルを出力する(ステップS1102)、次にプロセッサ126は、予測モデル生成処理を実行し(ステップS1103)、学習用データ選択処理S1102によって渡されたバージョン別学習データテーブル504の学習データテーブルを使って新しい予測モデルを生成し、予測モデルテーブル506に保存する。
In the learning data selection process, the
さらにプロセッサ126は、予測モデルテーブル506から予測モデル生成処理(ステップS1103)において生成された予測モデルを予測モデルテーブル506から取得し、在庫管理プログラム503の販売数予測モデル507を生成された新しい予測モデルへ更新する(ステップS1104)。
Further, the
図13は、図12に示す学習用データ保存処理の詳細を示したフローチャートである。管理サーバ103では、プロセッサ126が、サービス監視サーバ102の監視メトリクス値テーブル401からネットワーク106を介して、前回実行時から増加した分の監視データを取得する(ステップS1201)。この際、プロセッサ126は、増加した分の監視データであるか否かの判断のために、既に説明した前回処理を実行した日時を使用し、前回処理を実行した日時以降の日時を示す監視データを取得する。
FIG. 13 is a flowchart showing details of the learning data storage process shown in FIG. In the
次にプロセッサ126は、予め運用管理者139によって設定された学習メトリクス選択設定1002を参照し、監視メトリクス値テーブル401の監視データから、学習に用いるメトリクスを選択する(ステップS1202)。学習メトリクス選択設定1002には学習に使うメトリクスが列挙されており、例えばアクセス数、遷移率及び購入率の3つのメトリクスが列挙されている。
Next, the
次にプロセッサ126は、上述のように選択されたメトリクスのメトリクス値を正規化する(ステップS1203)。ここでいう正規化とは、各メトリクスのメトリクス値が取り得る最大値と最小値との間においてメトリクス値がどこに位置するかを0から1の間の数値で示すように変換することである。最後に処理S1204は、正規化されたメトリクス値をバージョン別にバージョン別学習データテーブル504に保存する。
Next, the
例えば、監視メトリクス値テーブル504から増加した分の監視データとして日時2016/10/10 13:00の監視データが上記ステップS1201において取得されると、プロセッサ126は、メトリクスのアクセス数、遷移率及び購入率を選択する(ステップS1202)。
For example, when the monitoring data of the date and time 2016/10/10 13:00 is acquired in the above step S1201 as the monitoring data of the increased amount from the monitoring metric value table 504, the
プロセッサ126は、上述のように選択されたメトリクスのメトリクス値を正規化し(ステップS1203)、この正規化されたメトリクス値をバージョン別学習データテーブル504のテーブル703に保存する(ステップS1204)。
The
図14は、図12に示す学習用データ選択処理の詳細を示したフローチャートである。まず、管理サーバ103では、プロセッサ126が、仮想マシン112で稼働しているアプリケーションプログラム300のバージョンのデータ数が十分存在するか否かについてバージョン別学習データテーブル504を参照して確認する(ステップS1301)。データ数が十分であるか否かの判断は、予め運用管理者139が決定しておいたデータ数閾値設定1003に従うものとする。
FIG. 14 is a flowchart showing details of the learning data selection process shown in FIG. First, in the
データ数閾値設定1003には、データ数がいくつであれば十分であると判断するかという値のみが格納されている。例えば、予め運用管理者139により「300」と設定されていた場合、バージョン別学習データテーブル504のテーブル703に300個以上の学習データがあれば、データ数が十分であると判断される。データ数が十分であった場合、プロセッサ126は、各バージョンのバージョン別学習データテーブル504を用いてクラスタ重心位置を計算する(ステップS1303)。
The data number threshold setting 1003 stores only a value indicating how many data items should be determined to be sufficient. For example, when the
この際、既述のステップS1302では、プロセッサ126が、前回のクラスタ重心位置計算及びクラスタ重心位置計算に用いられたデータ数同士を比較し、データ数が増加している場合のみクラスタ重心位置の計算を行い、この結果をクラスタ重心位置テーブル505に保存する。クラスタ重心位置計算に用いられたデータ数は、学習用データ選択プログラム501が保持する。
At this time, in step S1302 described above, the
すべてのバージョンに対してクラスタ重心位置の計算終了後、プロセッサ126は、学習に用いる学習データテーブルを選択する(ステップS1304)。このステップS1304では、プロセッサ126が、運用管理者139によって予め設定されたクラスタ重心位置閾値設定1004に従い、仮想マシン112で稼働しているアプリケーションプログラム300のバージョンの「クラスタ重心位置からの距離」が閾値内に収まるバージョンのバージョン別学習データテーブル504の学習データテーブルを選択する。
After completing the calculation of the cluster centroid positions for all the versions, the
ここでいうクラスタ重心位置からの距離とは、複数のクラスタ重心位置の値同士の差を示す。クラスタ重心位置閾値設定1004には、閾値の値のみが格納されている。各バージョンのクラスタ重心位置は、クラスタ重心位置テーブル505から取得される。ステップS1301において学習データ数が十分でなかった場合、プロセッサ126は、クラスタ重心位置計算の処理を実行しない。
The distance from the position of the center of gravity of the cluster indicates the difference between the values of the positions of the center of gravity of the clusters. Only the threshold value is stored in the cluster centroid position threshold setting 1004. The cluster centroid position of each version is acquired from the cluster centroid position table 505. When the number of learning data is not sufficient in step S1301, the
この場合、プロセッサ126は、前回の学習データ選択処理実行時に選択されたバージョンを選択するとともに、仮想マシン112で稼働しているバージョンの学習データテーブルを選択する(ステップS1305)。選択された学習データテーブルは、学習用データ選択プログラム501によって保持される。以上のようにステップS1304またはステップS1305において、プロセッサ126が学習データテーブルを選択し、次のような予測モデル生成処理を実行する(S1103)。
In this case, the
図15(A)〜図15(C)は、ステップS1303においてクラスタ重心位置を計算する一例を表した概念図であり、図15(D)は、ステップS1304において学習データを選択する一例を表した概念図である。 15A to 15C are conceptual diagrams showing an example of calculating the cluster centroid position in step S1303, and FIG. 15D shows an example of selecting learning data in step S1304. It is a conceptual diagram.
管理サーバ103では、プロセッサ126が、図15(A)〜図15(C)に各々示すようにバージョンごとに学習データテーブルの学習データを座標空間にマッピングし、そのマッピングされた学習データの重心を計算する(ステップS1400)。
In the
図15(A)〜図15(C)では、それぞれ、バージョン[2.03]、[2.04]、[2.05]の各学習データがマッピングされ、重心位置が計算によって求められる。図15(D)では、各バージョンのクラスタ重心位置のみをマッピングし、バージョン2.05からの距離が比較されている(ステップS1401)。図中の閾値は、運用管理者139が設定したクラスタ重心位置の閾値である。
In FIGS. 15 (A) to 15 (C), the learning data of versions [2.03], [2.04], and [2.05] are mapped, and the position of the center of gravity is calculated. In FIG. 15D, only the cluster centroid position of each version is mapped, and the distance from version 2.05 is compared (step S1401). The threshold value in the figure is a threshold value of the cluster centroid position set by the
本実施の形態では、クラスタ重心位置閾値として「0.10」が設定されているものとすると、図15(C)に示すバージョン[2.05]のクラスタ重心位置が例えば「0.61」となるため、図15(A)に示すバージョン[2.03]のクラスタ重心位置「0.56」は閾値内に入っているのに対し、図15(B)に示すバージョン[2.04]のクラスタ重心位置0.72は閾値内に入っていない。以上のことに基づき、学習データテーブルとして、バージョン[2.03]及び現在稼働中であるバージョン[2.05]が選択される。 In the present embodiment, if “0.10” is set as the cluster centroid position threshold value, the cluster centroid position of version [2.05] shown in FIG. 15C is, for example, “0.61”. Therefore, while the cluster centroid position “0.56” of the version [2.03] shown in FIG. 15 (A) is within the threshold value, the version of the version [2.04] shown in FIG. 15 (B) is The cluster centroid position 0.72 is not within the threshold. Based on the above, the version [2.03] and the currently operating version [2.05] are selected as the learning data table.
図16は、予測モデル生成処理(ステップS1103)の詳細を示したフローチャートである。まず、ステップS1501では、プロセッサ126が、予測モデルテーブル506を参照し、選択された学習データテーブルに対応する過去の予測モデルを選択する。以下に予測モデルを選択する一例を示す。
FIG. 16 is a flowchart showing details of the prediction model generation process (step S1103). First, in step S1501, the
既述の学習データ選択処理(ステップS1102)において、上述のようにバージョン[2.03]及びバージョン[2.05]の学習データテーブルが選択されているので、プロセッサ126は、予測モデルテーブル506からバージョン[2.03]及び[2.05]の学習データテーブルから生成されている予測モデルを検索する。仮にこの予測モデルが存在しない場合、プロセッサ126は、選択されている学習データテーブルのいずれかのみで生成されている予測モデルを検索する。
In the learning data selection process (step S1102) described above, since the learning data tables of version [2.03] and version [2.05] are selected as described above, the
そのように予測モデルが存在しない場合、上述のようにバージョン[2.03]及び[2.05]が選択されている場合であれば、バージョン[2.03]で生成された予測モデル、及び、バージョン[2.05]で生成された予測モデルのうちのどちらか一方の予測モデルが該当する。 If such a prediction model does not exist, and if versions [2.03] and [2.05] are selected as described above, the prediction model generated in version [2.03], and , One of the prediction models generated in version [2.05] is applicable.
一方、そのように予測モデルが存在しない場合、バージョン[2.01]、[2.03]及び[2.05]が選択されている場合であれば、バージョン[2.01]、[2.03]、[2.05]、[2.01、2.03]、[2.01,2.05]、[2.03、2.05]で生成されている予測モデルが該当する。仮に該当する予測モデルが複数ある場合は総データ数が一番多くなる予測モデルが選択される。 On the other hand, when such a prediction model does not exist, if versions [2.01], [2.03] and [2.05] are selected, versions [2.01], [2. 03], [2.05], [2.01, 2.03], [2.01, 2.05], and [2.03, 2.05] correspond to the prediction models. If there are a plurality of applicable prediction models, the prediction model with the largest total number of data is selected.
第1の実施の形態では、学習用データ選択処理(ステップS1102)においてプロセッサ126が、バージョン別学習データテーブル504の中からバージョン[2.03]の学習データテーブル701を選択するとともに、バージョン[2.05]の学習データテーブル703を選択している。ステップS1501では、プロセッサ126が、予測モデルテーブル506から、バージョン2.03によって作成された予測モデルを選択する。
In the first embodiment, in the learning data selection process (step S1102), the
次にステップS1502では、プロセッサ126が、ステップS1501によって対応する予測モデルを選択したか否かを判定する。対応する予測モデルが発見され、過去の予測モデルを利用可能な場合、プロセッサ126は、上述したステップS1501において選択された過去の予測モデルに対して差分の学習データを学習させ、新しい予測モデルを生成し(ステップS1503)、これを予測モデルテーブル506(図9参照)に登録する。ここでいう差分とは、予測モデルテーブル506の項目900(予測モデルを作成した日時)を基に、この日時以降の学習データを示す。
Next, in step S1502, the
第1の実施の形態では、バージョン[2.03]で作成された過去の予測モデルが選択されているので、この過去の予測モデルに対し、差分の学習データを追加で学習させることにより新しい予測モデルを生成し、予測モデルテーブル506に当該新しい予測モデルが追加される。 In the first embodiment, since the past prediction model created in version [2.03] is selected, a new prediction is obtained by additionally learning difference learning data with respect to this past prediction model. A model is generated, and the new prediction model is added to the prediction model table 506.
一方、対応する予測モデルが存在せず、過去の予測モデルが利用できない場合、プロセッサ126は、学習データ選択プログラム1102によって選択されたテーブルに含まれる全ての学習データを用いて予測モデルを生成し(ステップS1504)、予測モデルテーブル506に、この予測モデルを追加する。
On the other hand, when the corresponding prediction model does not exist and the past prediction model cannot be used, the
図17は、在庫管理プログラム503により示される販売数が予測される様子を示す図である。なお、縦軸が販売数を表し、横軸が時間を表している。横軸の下にはアプリケーションプログラム300においてどのバージョンが稼働していたかというものを示している。実線で示されている販売数変化は実測値であり、点線で示されている販売数変化は予測モデルによる予測値であり、一点鎖線で示されている販売数変化は古い予測モデルによる予測値である。
FIG. 17 is a diagram showing how the sales quantity indicated by the
現在時刻において、上述したステップS1104において新しく生成された予測モデルによる予測値に更新されている(図示の点線に相当)。図示の例では、アプリケーションプログラム300のバージョンが[2.04]から[2.05]に更新され、古いモデルによる予測値では、実線で示した実測値とのずれが大きくなっていた。これを新しいモデルに更新することで、より実測値に近い予測を行うことができるようになる。
At the current time, the prediction value is updated to the prediction model newly generated in step S1104 described above (corresponding to the dotted line in the figure). In the illustrated example, the version of the
(1−3)第1の実施の形態の効果等
以上説明したように、本実施の形態における管理サーバ103では、プロセッサ126が、監視対象システム100から監視データを取得し、当該取得した監視データを監視対象システム100の挙動に応じて分割する。プロセッサ126は、当該分割した監視データから抽出した特徴と、処理実行時に稼働している監視対象システムの監視データの特徴と比較し、両特徴が近いものを学習に用いる学習データとして選択し、当該選択された学習データを用いて予測モデルを生成している。(1-3) Effects and the like of the first embodiment As described above, in the
本実施の形態によれば、そのような学習データを監視対象システムの挙動ごとに管理し、現在動いている監視対象システム100の挙動と近い学習データのみを選んで学習させることで、学習によって生成される予測モデルの予測精度を向上させることができる。これにより、監視対象システムの今後の挙動について予測精度の高い予測モデルを生成可能とし、今後の挙動について予測精度を高めることができる。
According to the present embodiment, such learning data is managed for each behavior of the monitoring target system, and only learning data close to the behavior of the
(2)第2の実施の形態
第2の実施の形態は、第1の実施の形態とほぼ同様であるため、同様の構成及び動作については説明を省略し、異なる点を中心として説明する。(2) Second Embodiment Since the second embodiment is almost the same as the first embodiment, description of similar configurations and operations will be omitted, and different points will be mainly described.
(2−1)第2の実施の形態における特徴
第2の実施の形態では、プロセッサ126が、学習用データ保存プログラム501による学習用データ保存処理S1101の処理S1204(図13参照)において、第1の実施の形態のように学習データをバージョンごとにバージョン別学習データテーブル504に保存する代わりに、例えば、平日及び休日など時間帯によって挙動が異なる場合を分けて学習データを日時ごとに日時別学習データテーブル1700に保存している。(2-1) Features of the Second Embodiment In the second embodiment, the
第2の実施の形態では、後述するようにプロセッサ126が、日時別学習データテーブル1700の学習データを予測モデルの生成に用いる点が第1の実施の形態と異なっている。以下、より具体的に説明する。
The second embodiment is different from the first embodiment in that the
図18は、第2の実施の形態による管理サーバ103Aの構成例を示すブロック図である。管理サーバ103Aは、第1の実施の形態による管理サーバ103とほぼ同様の構成であるが、バージョン別学習データテーブル504の代わりに、学習データを日時別に保存可能な次の日時別学習データテーブル1700が設けられている点が相違する。
FIG. 18 is a block diagram showing a configuration example of the
図19(A)〜図19(C)は、それぞれ、図18に示す日時別学習データテーブル1700のテーブル構成例を示す。この日時別学習データテーブル1700は、管理サーバ103のメモリ128に格納されている。各学習データテーブルには、年月日及び時刻からなるテーブル名前が付されており、どの日時に保存された学習データであるのかを表している。
19 (A) to 19 (C) each show a table configuration example of the learning data table by date and
具体的には、例えば、図19(A)では、2016年10月8日9:00時点の学習データテーブル1701を例示し、図19(B)では、2016年10月9日9:00時点の学習データテーブル1702を例示し、図19(C)では、2016年10月10日9:00時点の学習データテーブル1703を例示している。各学習データテーブルは、例えば日時704、アクセス数705、遷移率706及び購入率707を管理している。
Specifically, for example, FIG. 19A illustrates the learning data table 1701 at 9:00 on October 8, 2016, and in FIG. 19B, at 9:00 on October 9, 2016. 19C exemplifies the learning data table 1702 of FIG. 19C, and the learning data table 1703 at 9:00 on October 10, 2016 is illustrated. Each learning data table manages, for example, date and
図20は、第2の実施の形態における学習用データ保存処理S1101Aのフローチャートである。なお、第2の実施の形態における図20は、第1の実施の形態における図13に対応しており、第2の実施の形態におけるステップS1201,S1202,S1203は、第1の実施の形態におけるステップS1201,S1202,S1203に対応している。 FIG. 20 is a flowchart of the learning data storage process S1101A according to the second embodiment. Note that FIG. 20 in the second embodiment corresponds to FIG. 13 in the first embodiment, and steps S1201, S1202, and S1203 in the second embodiment correspond to those in the first embodiment. This corresponds to steps S1201, S1202 and S1203.
この学習用データ保存処理S1101Aは、第1の実施の形態による図12及び図13に示す学習用データ保存処理S1100の代わりに、学習用データ保存プログラム500によって実行される。第1の実施形態と同様に学習用データ保存プログラム500は、メモリ128に展開されており、プロセッサ126によって実行される。なお、第2の実施の形態によるステップS1201〜1203は、第1の実施の形態と同様であるため、説明を省略する。
This learning data storage processing S1101A is executed by the learning
プロセッサ126は、第1の実施の形態におけるステップS1204と異なり、バージョンの代わりに日時で学習用データを切り分ける。この際、プロセッサ126は、運用管理者139が予め設定しておいたテーブル分割設定1805を読み込み、このテーブル分割設定1805を基に学習用データを切り分ける。
Unlike step S1204 in the first embodiment, the
テーブル分割設定1805は、管理サーバ103のプログラム設定テーブル507に格納されており、運用管理者139は、管理端末105の入力装置137を用いてネットワーク106を介して設定を行う。
The table division setting 1805 is stored in the program setting table 507 of the
テーブル分割設定1805には、どの日時で学習テーブルを切り分けるかが記述されている。このため、同一時間帯で学習テーブルを切り分けても良いし、異なる時間帯で切り分けても良い。 The table division setting 1805 describes at which date and time the learning table is divided. Therefore, the learning table may be divided in the same time zone or may be divided in different time zones.
なお、例えば、日時別学習データテーブル1700では、テーブル1701、テーブル1702及びテーブル1703が全て9:00で分割されているが、テーブル1702のみ2016年10月9日12:00で分割されるようにしても良い。日時別学習データテーブル1800には、ステップS1203において正規化されたデータが保存される(ステップS1204A)。 Note that, for example, in the learning data table 1700 by date and time, the tables 1701, 1702, and 1703 are all divided at 9:00, but only the table 1702 is divided at 12:00 on October 9, 2016. May be. The data normalized by step S1203 is stored in the learning data table 1800 by date and time (step S1204A).
上述した学習用データ保存処理が(ステップS1101A)が終了すると、第2の実施の形態でも、プロセッサ126が、第1の実施の形態と同様に、図12に示す学習用データ選択処理を実行する(ステップS1102)。
When the learning data storage processing (step S1101A) is completed, the
この学習用データ選択処理では、プロセッサ126が、第1の実施の形態の場合とほぼ同様の動作を実行するが、処理対象の学習データテーブルがバージョン別学習データテーブル504ではなく、日時別学習データテーブル1700となっている点が第1の実施の形態とは異なっている。
In this learning data selection process, the
これにより、第2の実施の形態では、プロセッサ126が、既述のステップS1306においてバージョン別学習データテーブル504の代わりに(図14参照)、日時別学習データテーブル1700を用いてほぼ同様の処理を実行し、第1の実施の形態とほぼ同様にテーブルを選択する(ステップS1304,S1305)。
As a result, in the second embodiment, the
上述した学習用データ選択処理(ステップS1102)を実行することにより、プロセッサ126は、日時別学習データテーブル1700から学習データテーブルを選択し、この学習データテーブルを入力として予測モデルを生成する(ステップS1103)。
By executing the learning data selection process (step S1102) described above, the
(2−2)第2の実施の形態の効果等
以上のような構成によれば、日時別で学習データを管理することにより、日時ごとに、例えば平日と休日、昼間と夜間、セール期間とその他の期間のように監視対象システム100の挙動が異なる場合でも、既述のようにデータを切り分けて学習することができるので、それぞれの状況において予測精度の高い予測モデルを生成することができる。(2-2) Effects of the Second Embodiment According to the above configuration, by managing the learning data by date and time, for example, weekdays and holidays, daytime and nighttime, and sale period Even when the behavior of the monitored
(3)その他の実施形態
上記実施形態は、本発明を説明するための例示であり、本発明をこれらの実施形態にのみ限定する趣旨ではない。本発明は、その趣旨を逸脱しない限り、様々な形態で実施することができる。例えば、上記実施形態では、監視対象システム100の一例として、ECサービスを例示しているが、これに限られず、様々なWebアプリケーションを例示することもできる。(3) Other Embodiments The above-described embodiments are examples for explaining the present invention, and the present invention is not intended to be limited to these embodiments. The present invention can be implemented in various forms without departing from the spirit thereof. For example, in the above embodiment, the EC service is illustrated as an example of the monitored
本発明は、開発者(Development)と運用管理者(Operations)とが連携して協力する開発手法である「DevOps」で開発されるサービスに対して機械学習が用いられる際における学習データの管理方法を用いる学習データ管理装置に広く適用することができる。 The present invention is a method for managing learning data when machine learning is used for a service developed by "DevOps", which is a development method in which a developer and an operations manager cooperate and cooperate. It can be widely applied to a learning data management device using.
103……管理サーバ、500……データ用保存プログラム、501……学習用データ選択プログラム、502……予測モデル生成プログラム、504……バージョン別学習データテーブル、103……クラスタ重心位置テーブル、506…予測モデルテーブル、1100……学習処理、S1101……学習用データ保存処理、S1102……学習用データ選択処理、S1103……予測モデル生成処理、S1201……監視メトリクス値取得処理、S1202……学習メトリクス選択処理、S1203……メトリクス値正規化処理、S1204……バージョン別学習データ保存処理、S1303……クラスタ重心位置計算処理、S1305……学習データテーブル選択処理、S1503……予測モデル生成処理。 103 ... Management server, 500 ... Data storage program, 501 ... Learning data selection program, 502 ... Prediction model generation program, 504 ... Version learning data table, 103 ... Cluster centroid position table, 506 ... Prediction model table, 1100 ... Learning processing, S1101 ... Learning data storage processing, S1102 ... Learning data selection processing, S1103 ... Prediction model generation processing, S1201 ... Monitoring metric value acquisition processing, S1202 ... Learning metrics Selection processing, S1203 ... Metric value normalization processing, S1204 ... Version learning data storage processing, S1303 ... Cluster centroid position calculation processing, S1305 ... Learning data table selection processing, S1503 ... Prediction model generation processing.
Claims (7)
前記取得した監視データを前記監視対象システムの挙動に応じて分割する監視データ分割部と、
前記分割した監視データから特徴を抽出する特徴抽出部と、
前記抽出した特徴と、処理実行時に稼働中の監視対象システムの監視データの特徴と比較し、前記分割した監視データのうちの、該処理実行時に稼働中の監視対象システムの監視データと特徴が近い監視データを学習に用いる学習データとして選択する学習データ選択部と、
前記選択された学習データを用いて予測モデルを生成する予測モデル生成部と、
を備え、
前記監視データ分割部は、
前記監視対象システムにおいて稼働しているアプリケーションプログラムのバージョンに応じて前記監視データを分割する
ことを特徴とする学習データ管理装置。 A monitoring data acquisition unit that acquires monitoring data from a monitored system as a monitoring target,
A monitoring data dividing unit that divides the acquired monitoring data according to the behavior of the monitored system,
A feature extraction unit for extracting features from the divided monitoring data,
The extracted characteristics are compared with the characteristics of the monitoring data of the monitoring target system that is operating during processing execution, and the characteristics of the divided monitoring data are similar to the monitoring data of the monitoring target system that is operating during processing execution. A learning data selection unit that selects the monitoring data as learning data to be used for learning,
A prediction model generation unit that generates a prediction model using the selected learning data,
Equipped with
The monitoring data division unit,
A learning data management device, characterized in that the monitoring data is divided according to the version of an application program running in the monitoring target system .
前記予測モデル生成部は、
前記Webアプリケーションの挙動を予測することを特徴とする請求項1に記載の学習データ管理装置。 The monitored system is a Web application,
The prediction model generation unit,
The learning data management device according to claim 1, wherein the behavior of the Web application is predicted.
前記学習データとしてアクセス数、遷移率及び購入率を用いることを特徴とする請求項1に記載の学習データ管理装置。 The prediction model generation unit,
The learning data management device according to claim 1 , wherein an access count, a transition rate, and a purchase rate are used as the learning data.
前記監視対象システムとして、前記Webアプリケーションが稼働するサーバについて挙動を予測することを特徴とする請求項2に記載の学習データ管理装置。 The prediction model generation unit,
The learning data management device according to claim 2 , wherein the behavior is predicted for a server on which the Web application operates as the monitored system.
前記学習データとしてプロセッサ使用率、キャッシュ使用率及びキャッシュサイズを用いることを特徴とする請求項1に記載の学習データ管理装置。 The prediction model generation unit,
The learning data management device according to claim 1 , wherein a processor usage rate, a cache usage rate, and a cache size are used as the learning data.
前記学習データ管理装置が、監視対象としての監視対象システムから監視データを取得する監視データ取得ステップと、
前記学習データ管理装置が、前記取得した監視データを前記監視対象システムの挙動に応じて分割する監視データ分割ステップと、
前記学習データ管理装置が、前記分割した監視データから特徴を抽出する特徴抽出ステップと、
前記学習データ管理装置が、前記抽出した特徴と、処理実行時に稼働中の監視対象システムの監視データの特徴と比較し、前記分割した監視データのうちの、該処理実行時に稼働中の監視対象システムの監視データと特徴が近い監視データを学習に用いる学習データとして選択する学習データ選択ステップと、
前記学習データ管理装置が、前記選択された学習データを用いて予測モデルを生成する予測モデル生成ステップと、
を有し、
前記監視データ分割ステップでは、
前記学習データ管理装置が、前記監視対象システムにおいて稼働しているアプリケーションプログラムのバージョンに応じて前記監視データを分割する
ことを特徴とする学習データ管理方法。 A learning data management method in a learning data management device for generating a prediction model using learning data,
A monitoring data acquisition step in which the learning data management device acquires monitoring data from a monitoring target system as a monitoring target,
The learning data management device, a monitoring data dividing step of dividing the acquired monitoring data according to the behavior of the monitored system,
A feature extraction step in which the learning data management device extracts features from the divided monitoring data;
The learning data management device compares the extracted characteristics with the characteristics of the monitoring data of the monitoring target system that is operating during the processing execution, and of the divided monitoring data, the monitoring target system that is operating during the processing execution A learning data selection step of selecting monitoring data whose characteristics are close to those of the monitoring data as learning data to be used for learning,
The learning data management device, a prediction model generation step of generating a prediction model using the selected learning data,
Have a,
In the monitoring data dividing step,
The learning data management method, wherein the learning data management device divides the monitoring data according to the version of an application program running in the monitoring target system .
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/005976 WO2018150550A1 (en) | 2017-02-17 | 2017-02-17 | Learning data management device and learning data management method |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018150550A1 JPWO2018150550A1 (en) | 2019-07-25 |
JP6695490B2 true JP6695490B2 (en) | 2020-05-20 |
Family
ID=63169197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019500139A Active JP6695490B2 (en) | 2017-02-17 | 2017-02-17 | Learning data management device and learning data management method |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP6695490B2 (en) |
WO (1) | WO2018150550A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102247182B1 (en) * | 2020-12-18 | 2021-05-03 | 주식회사 이글루시큐리티 | Method, device and program for creating new data using clustering technique |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020066697A1 (en) * | 2018-09-27 | 2020-04-02 | ソニー株式会社 | Information processing device, information processing method, and program |
JP2022512233A (en) * | 2018-12-10 | 2022-02-02 | インタラクティブ-エーアイ,エルエルシー | Neural adjustment code for multilingual style-dependent speech language processing |
KR102167767B1 (en) * | 2018-12-26 | 2020-10-19 | 단국대학교 산학협력단 | Automatic build apparatus and method of application for generating training data set of machine learning |
KR102544531B1 (en) * | 2020-04-27 | 2023-06-16 | 한국전자기술연구원 | Federated learning system and method |
WO2024023917A1 (en) * | 2022-07-26 | 2024-02-01 | 日本電信電話株式会社 | Training device, training method, and program |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011192097A (en) * | 2010-03-16 | 2011-09-29 | Hitachi Ltd | Failure detection method and information processing system using the same |
US8533224B2 (en) * | 2011-05-04 | 2013-09-10 | Google Inc. | Assessing accuracy of trained predictive models |
WO2013030984A1 (en) * | 2011-08-31 | 2013-03-07 | 株式会社日立エンジニアリング・アンド・サービス | Facility state monitoring method and device for same |
JP6109037B2 (en) * | 2013-10-23 | 2017-04-05 | 本田技研工業株式会社 | Time-series data prediction apparatus, time-series data prediction method, and program |
-
2017
- 2017-02-17 JP JP2019500139A patent/JP6695490B2/en active Active
- 2017-02-17 WO PCT/JP2017/005976 patent/WO2018150550A1/en active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102247182B1 (en) * | 2020-12-18 | 2021-05-03 | 주식회사 이글루시큐리티 | Method, device and program for creating new data using clustering technique |
Also Published As
Publication number | Publication date |
---|---|
WO2018150550A1 (en) | 2018-08-23 |
JPWO2018150550A1 (en) | 2019-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6695490B2 (en) | Learning data management device and learning data management method | |
US10659313B2 (en) | Dynamic optimization of simulation resources | |
US10693739B1 (en) | Network design platform | |
US20200090085A1 (en) | Digital twin graph | |
Măruşter et al. | Redesigning business processes: a methodology based on simulation and process mining techniques | |
US10936614B2 (en) | Management of extract transform load (ETL) jobs via a model that is based on a bayesian network | |
US7490265B2 (en) | Recovery segment identification in a computing infrastructure | |
WO2006082432A2 (en) | Time-series forecasting | |
WO2015146026A1 (en) | Model selection system, model selection method, and recording medium on which program is stored | |
US20180114136A1 (en) | Trend identification using multiple data sources and machine learning techniques | |
JP6695437B2 (en) | Management computer and test environment determination method | |
JP2005276172A (en) | Context modeller for modelling context representation and method of modelling context representation | |
US11526475B2 (en) | Code generator platform for data transformation | |
US11797566B2 (en) | Attribute sharing platform for data processing systems | |
US20190163805A1 (en) | Virtual agent for improving item identification using natural language processing and machine learning techniques | |
Azadeh et al. | An integrated FTA-DFMEA approach for reliability analysis and product configuration considering warranty cost | |
JP5681804B2 (en) | Risk judgment method and risk judgment server | |
US20220138820A1 (en) | Data-driven sales recommendation tool | |
WO2010082885A1 (en) | A method to prevent churn of customers | |
CN110659155B (en) | System and method for backing up topology graphs | |
US11336525B1 (en) | Systems and methods for validating a container network function for deployment | |
JP6359045B2 (en) | Information processing apparatus, information processing method, and information processing program | |
US12028213B2 (en) | Systems and methods for validating a container network function for deployment | |
WO2024053020A1 (en) | System and method for estimating factor of difference between simulation result and actual result | |
JP6575099B2 (en) | Operation management program, operation management device, and operation management method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191001 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191114 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200421 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6695490 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |