JP7287499B2 - ジョブ予測プログラム、システム、及び方法 - Google Patents

Description

開示の技術は、ジョブ予測プログラム、ジョブ予測システム、及びジョブ予測方法に関する。

例えば、大規模ＨＰＣ（High Performance Computer）システム等におけるファイルシステムは、２階層の構造を持っていることが多い。具体的には、計算ノードから遠方で、かつ大容量で全データが集約されたストレージを持つグローバルファイルシステムと、計算ノードの直近で、かつ計算に使用するデータのみを格納するストレージを持つローカルファイルシステムの２階層構造である。この場合、計算ノードで計算処理が行われる際には、まず、グローバルファイルシステムからローカルファイルシステムへ必要なデータを移動する。そして、計算ノードがローカルファイルシステムのストレージからデータを読み書きしながら計算処理を行い、計算結果をローカルファイルシステムからグローバルファイルシステムへ移動する。

ここで、各ジョブからのローカルファイルシステムに対するデータの入出力命令は、少数（例えば、１台又は２台）の管理サーバに集約され、実際に処理を実行する処理サーバへ実行指示される。この管理サーバに入出力命令が集中した場合、管理サーバが入出力命令を処理しきれず、各ジョブの入出力命令が待ち状態となり、ジョブの処理速度、すなわちＨＰＣの性能が低下してしまう。そこで、ジョブの実行前に、各ジョブが発行する入出力命令の量を予測し、入出力命令が管理サーバに集中しないようにジョブの実行順序を調整することで、入出力命令由来のジョブの処理速度の低下を防ぐことが考えられる。

例えば、複数のソリッドステートストレージデバイス間で読み込み及び書き込み動作を効果的にスケジュールするためのシステムが提案されている。このシステムは、ネットワークを介して互いに結合されたクライアントコンピュータ及びデータストレージアレイを含む。また、データストレージアレイは、データ記憶のためにソリッドステートドライブ及びフラッシュメモリセルを利用する。データストレージアレイ内のストレージコントローラは、Ｉ／Ｏスケジューラを含む。そして、このシステムは、予測時における比較的安定した応答時間を維持するために、対応するストレージデバイスの特性を使用して、ストレージデバイスへのＩ／Ｏ要求をスケジュールする。ストレージコントローラは、ストレージデバイスの予定外の挙動の可能性を低減するために、予定外の挙動の発生回数を低減する事前対応動作をストレージデバイス上でスケジュールするように構成される。

特開２０１６－１３１０３７号公報

管理サーバへの入出力命令の集中を回避するためには、各ジョブの入出力量が適切に予測される必要がある。

一つの側面として、開示の技術は、ジョブの入出力量の予測精度を向上させることを目的とする。

一つの態様として、開示の技術は、複数のジョブに関する情報を用いて学習された第１トピックモデルに基づいて、過去のジョブから、予測対象のジョブのトピック分布との類似度が閾値以上となるトピック分布を持つ第１ジョブを抽出する。過去のジョブは、ジョブ実行時のデータの入出力量が既知のジョブである。また、開示の技術は、第２トピックモデルに基づいて、前記複数の過去のジョブから、前記予測対象のジョブのトピック分布との類似度が閾値以上となるトピック分布を持つ第２ジョブを抽出する。第２トピックモデルは、前記第１トピックモデルの学習に情報が用いられた前記複数のジョブの一部であって、前記入出力量が所定値以上となるジョブに関する情報を用いて学習されている。そして、開示の技術は、抽出された前記第１ジョブ及び前記第２ジョブのうち、前記類似度が上位所定順位までのトピック分布を持つジョブの前記入出力量を、前記予測対象のジョブの前記入出力量の予測値として出力する。

一つの側面として、予測モデルの予測精度を向上させることができる、という効果を有する。

ジョブ制御システムの概略構成を示すブロック図である。 ジョブＤＢに含まれるジョブ情報テーブルの一例を示す図である。 ジョブＤＢに含まれるＩＯデータテーブルの一例を示す図である。 一般的なトピックモデルを用いたＩＯデータの予測を説明するための図である。 本実施形態におけるＩＯデータの予測を説明するための図である。 全体トピックモデル又は大ＩＯトピックモデルの一例を示す図である。 全体トピックモデルに基づくトピック分布、又は大ＩＯトピックモデルに基づくトピック分布の一例を示す図である。 予測部の機能ブロック図である。 複数のトピックモデルを用いて、トピック分布のＣＯＳ類似度を比較することの問題点を説明するための図である。 抽出ジョブＤＢの一例を示す図である。 トピックモデルの更新処理のためのＩＯデータの近似度を説明するための図である。 ジョブ予測システムとして機能するコンピュータの概略構成を示すブロック図である。 学習処理の一例を示すフローチャートである。 予測処理の一例を示すフローチャートである。 更新処理の一例を示すフローチャートである。

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。

図１に示すように、ジョブ制御システム１００は、ＨＰＣ（High Performance Computer）等の管理対象システム４０と、管理対象システム４０を管理する管理装置３０と、ジョブ予測システム１０とを含む。ジョブ予測システム１０は、管理対象システム４０でのジョブ実行時の各時刻における入出力量、すなわち入出力命令（Input/Output命令、以下「ＩＯ命令」という）の量の時系列データ（以下、「ＩＯデータ」という）を予測する。

管理装置３０は、機能的には、図１に示すように、スケジューリング部３２と、制御部３４とを含む。また、管理装置３０の所定の記憶領域には、ジョブＤＢ（Database）３６が記憶される。

スケジューリング部３２は、各ジョブの実行に関するスケジュールを決定する。この際、スケジューリング部３２は、後述するジョブ予測システム１０の予測部１２により予測される各ジョブのＩＯデータの予測結果に基づいて、管理対象システム４０内の管理サーバにＩＯ命令が集中しないように、各ジョブのスケジュールを決定する。

制御部３４は、スケジューリング部３２により決定されたスケジュールに従ってジョブが実行されるように、管理対象システム４０に指示を出力することにより、ジョブの実行を制御する。

ジョブＤＢ３６には、ジョブ情報テーブル及びＩＯデータテーブルが記憶される。

ジョブ情報テーブルには、管理対象システム４０に投入される各ジョブに関する情報（以下、「ジョブ情報」という）が記憶される。図２に、ジョブ情報テーブル３６２の一例を示す。図２の例では、各行（各レコード）が１つのジョブについてのジョブ情報に相当する。各ジョブ情報は、ジョブの識別情報である「ジョブＩＤ」、「ジョブ名」、ジョブが属するグループの名称である「グループ名」等の情報を含む。ジョブ情報は、他にも、ユーザ名、ジョブを実行する指定時間、ジョブを実行するノード数等の情報を含んでいてもよい。

ＩＯデータテーブルは、管理対象システム４０で計測点毎に計測されたジョブ毎のＩＯ量、すなわちＩＯデータが記憶される。図３に、ＩＯデータテーブル３６４の一例を示す。計測点は、所定時間間隔（例えば、５分間隔）であり、ジョブの実行開始から時間の経過にしたがって、計測点１、計測点２、・・・となる。以下では、計測点ｉを「Ｔｉ」と表記する。また、図３の例では、ユーザにより設定されるジョブの最大実行時間に相当する計測点を「Ｔｍａｘ」としている。例えば、ジョブの最大実行時間が２４時間で、計測点の時間間隔が５分毎の場合、Ｔｍａｘ＝Ｔ２８８となる。

上述したように、ジョブ予測システム１０は、管理対象システム４０で実行される各ジョブのＩＯデータを予測する。本実施形態では、トピックモデルを用いて、ＩＯデータを予測する予測対象のジョブに類似する過去のジョブを抽出し、抽出したジョブのＩＯデータを予測対象のジョブのＩＯデータの予測値とする。トピックモデルとは、文書が複数の潜在的なトピックから確率的に生成されると仮定したモデル、また、文書内の各単語は、あるトピックが持つ確率分布に従って出現すると仮定したモデルである。

ここで、一般的なトピックモデルを用いて、予測対象のジョブと類似するジョブを抽出する方法について説明する。

ＩＯデータが既知の過去の複数のジョブの各々のジョブ情報を学習してトピックモデルを生成する。そして、図４に示すように、予測対象のジョブＡのジョブ情報と、予め学習されたトピックモデルとを用いて、ジョブＡについてのトピック分布を算出する。トピック分布とは、対象の文書（本実施形態ではジョブ情報）において、トピックモデルで規定された各トピックが出現する確率である。同様に、過去のジョブＸ、Ｙ、Ｚ、・・・のジョブ情報とトピックモデルとを用いて、ジョブＸ、Ｙ、Ｚ、・・・の各々のトピック分布を算出する。

そして、予測対象のジョブＡのトピック分布と最も類似するトピック分布を持つジョブ（図４の例では、ジョブＹ）が抽出される。したがって、抽出されたジョブＹのＩＯデータが、ジョブＡのＩＯデータの予測値として出力される。

ここで、例えば、ジョブ実行時の消費電力を予測することを想定して、上記のようにトピックモデルを用いて、予測対象のジョブに類似するジョブを抽出することを考える。この場合、どのようなジョブでも一定量以上の電力は消費するため、過去のジョブのジョブ情報をまとめて学習しても、ある程度どの様なジョブに対しても、類似するジョブの抽出精度が担保されたトピックモデルを生成することができる。

一方、ＩＯデータを予測することを想定した場合、一部の少数のジョブが大量のＩＯ命令を発行することがある。そのため、過去のジョブのジョブ情報をまとめて学習したトピックモデルでは、上記のように大量のＩＯ命令を発行するジョブ（以下、「大ＩＯジョブ」という）に類似するジョブの抽出精度が担保されない場合がある。すなわち、予測対象のジョブに類似する過去のジョブは少数であるが、検索対象が広いため、より類似する過去のジョブが存在するにもかかわらす、間違ったジョブが抽出される可能性がある。

例えば、あるＨＰＣシステムで実際に運用されたジョブにおいて、約９０％のジョブが、ＩＯ量が４００回／１０分未満であり、約１０％のジョブが、４００回／１０分以上であるという結果が得られている。このように、大ＩＯジョブは、全体のジョブに占める割合は少数ではあるが、ＩＯ量が大きいため、管理サーバへのＩＯ命令の集中を回避することを目的とした場合、このような大ＩＯジョブのＩＯデータを精度良く予測できることが望ましい。

本実施形態では、図５に示すように、検索対象が広いトピックモデル（全体トピックモデル２１）と、大ＩＯジョブに検索対象を絞ったトピックモデル（大ＩＯトピックモデル２２）との両方を用いることで、上記問題を解決する。大ＩＯトピックモデル２２は大ＩＯジョブに対して高い精度を発揮する一方で、大ＩＯジョブ以外のジョブを全く予測できなくなる。そこで２つのトピックモデルを併用することで、大ＩＯジョブの予測精度を向上させつつ、大ＩＯジョブ以外のジョブの予測精度も担保する。

以下、ジョブ予測システム１０について詳述する。

ジョブ予測システム１０は、機能的には、図１に示すように、学習部１１と、予測部１２と、更新部１６とを含む。

学習部１１は、ＩＯデータが既知の過去の複数のジョブの各々のジョブ情報を第１学習データとして、全体トピックモデル２１を学習する。また、学習部１１は、全体トピックモデル２１の学習にジョブ情報を用いたジョブのうち、大ＩＯジョブのジョブ情報を第２学習データとして、大ＩＯトピックモデル２２を学習する。

具体的には、学習部１１は、第１学習データの各々に出現する内容語である単語の出現頻度をカウントし、同じジョブのジョブ情報に出現する確率が高い単語をグルーピングし、各グループを各トピックとする。学習部１１は、複数のトピックの各々について、そのトピックでの出現率の高い所定個の単語の各々に、その出現率に応じた重みを付加することにより、全体トピックモデル２１を生成する。

図６に、全体トピックモデル２１の一例を示す。図６では、１０個のトピックの各々に１０個の単語が含まれている例を示している。また、各トピックには、トピックの識別情報であるトピックＩＤが付与されている。また、図６において、「単語Ａ－ｋ－ｎ」は、全体トピックモデル２１におけるｋ番目のトピックのｎ番目の単語であることを表しており、「重みＡ－ｋ－ｎ」は「単語Ａ－ｋ－ｎ」に付与された重みを表している。「Ａ」は、全体トピックモデル２１に関する単語及び重みであることを表しており、後述する大ＩＯトピックモデル２２に関する単語及び重みと区別するための符号である。なお、大ＩＯトピックモデル２２に関する単語及び重みは、「単語Ｂ－ｋ－ｎ」のように「Ｂ」を用いて表す。

また、学習部１１は、第２学習データとして、第１学習データであるジョブ情報が示す各ジョブのＩＯデータから、ジョブ毎に、ジョブの開始から終了までの各計測点におけるＩＯ量の平均値（以下、「平均ＩＯ値」という）を算出する。そして、学習部１１は、平均ＩＯ値が所定の閾値以上のジョブを大ＩＯジョブと判定し、大ＩＯジョブのジョブ情報を第２学習データとして取得する。学習部１１は、取得した第２学習データを用いて、上記と同様に大ＩＯトピックモデル２２を生成する。大ＩＯトピックモデル２２のデータ構造は、図６に示す全体トピックモデル２１のデータ構造と同様である。

また、学習部１１は、第１学習データであるジョブ情報の各々を用いて、各ジョブについて、全体トピックモデル２１に基づくトピック分布を算出する。具体的には、学習部１１は、各ジョブ情報における、全体トピックモデル２１で規定された各トピックの各単語の出現数と、その単語に付与された重みとに基づいて、トピック分布を算出する。例えば、トピック分布は、ＬＤＡ（Latent Dirichlet Allocation）等の既知の手法により算出することができる。

図７に、全体トピックモデル２１に基づくトピック分布２３の一例を示す。図７の例では、１０個分のトピックについての（トピックＩＤ，そのトピックの確率）の集合によりトピック分布が表されている。学習部１１は、生成した全体トピックモデル２１と、全体トピックモデル２１に基づくトピック分布２３とを、ジョブ予測システム１０の所定の記憶領域に記憶された全体トピックＤＢ２５（図８参照）に記憶する。

同様に、学習部１１は、第１学習データであるジョブ情報の各々を用いて、各ジョブについて、大ＩＯトピックモデル２２に基づくトピック分布を算出する。大ＩＯトピックモデル２２に基づくトピック分布２４のデータ構造は、図７に示す全体トピックモデル２１に基づくトピック分布２３のデータ構造と同様である。学習部１１は、生成した大ＩＯトピックモデル２２と、大ＩＯトピックモデル２２に基づくトピック分布２４とを、ジョブ予測システム１０の所定の記憶領域に記憶された大ＩＯトピックＤＢ２６（図８参照）に記憶する。

図８に示すように、予測部１２は、さらに、第１抽出部１３と、第２抽出部１４と、出力部１５とを含んだ構成で表すことができる。また、ジョブ予測システム１０の所定の記憶領域には、全体トピックＤＢ２５と、大ＩＯトピックＤＢ２６と、抽出ジョブＤＢ２７とが記憶される。

第１抽出部１３は、ジョブＤＢ３６のジョブ情報テーブル３６２から、予測対象のジョブのジョブ情報を取得し、予測対象のジョブについて、全体トピックモデル２１に基づくトピック分布を算出する。また、第１抽出部１３は、全体トピックＤＢ２５に記憶された、過去の各ジョブについての全体トピックモデル２１に基づくトピック分布の各々と、予測対象のジョブのトピック分布とのＣＯＳ類似度を算出する。具体的には、トピック分布間において、トピックＩＤが一致するトピック同士の確率のＣＯＳの和がＣＯＳ類似度である。ＣＯＳ類似度の最大値は、全体トピックモデル２１内のトピック数（ここでは、１０）となる。第１抽出部１３は、予測対象のジョブのトピック分布とのＣＯＳ類似度が最大のトピック分布を持つ過去のジョブを第１ジョブとして抽出する。第１抽出部１３は、抽出した第１ジョブのジョブＩＤ、及び算出したＣＯＳ類似度を出力部１５に受け渡す。

第２抽出部１４は、予測対象のジョブについて、大ＩＯトピックモデル２２に基づくトピック分布を算出する。そして、第２抽出部１４は、第１抽出部１３と同様に、大ＩＯトピックＤＢ２６に記憶された、過去の各ジョブについての大ＩＯトピックモデル２２に基づくトピック分布の各々と、予測対象のジョブのトピック分布とのＣＯＳ類似度を算出する。第２抽出部１４は、予測対象のジョブのトピック分布とのＣＯＳ類似度が最大のトピック分布を持つ過去のジョブを第２ジョブとして抽出する。第２抽出部１４は、抽出した第２ジョブのジョブＩＤ、及び算出したＣＯＳ類似度を出力部１５に受け渡す。

出力部１５は、図９に示すように、第１抽出部１３から受け渡された第１ジョブについてのＣＯＳ類似度と、第１抽出部１４から受け渡された第２ジョブについてのＣＯＳ類似度とを比較し、より高いＣＯＳ類似度のジョブを選択する。出力部１５は、選択したジョブのジョブＩＤに対応するＩＯデータをジョブＤＢ３６のＩＯデータテーブル３６４から取得する。出力部１５は、取得したＩＯデータを、予測対象のジョブのＩＯデータの予測値として、管理装置３０のスケジューリング部３２へ出力する。

また、出力部１５は、第１抽出部１３から受け渡された第１ジョブのジョブＩＤと、第２抽出部１４から受け渡された第２ジョブのジョブＩＤを、例えば図１０に示すような抽出ジョブＤＢ２７に、予測対象のジョブのジョブＩＤと対応付けて記憶する。

図９に示すように、出力部１５は、予測対象のジョブと、第１ジョブ及び第２ジョブの各々とのトピック分布のＣＯＳ類似度を比較している。ここで、第１ジョブ及び第２ジョブの各々のトピック分布は、それぞれ異なるトピックモデルに基づいて算出されたものであるため、正当な比較にならず、予測値として使用するジョブとして最適なジョブが選択されていない可能性もある。

全体トピックモデル２１と大ＩＯトピックモデル２２とを統合したトピックモデルを用いることも考えられる。しかし、例えば、トピック分布において、全体トピックモデル２１に基づく部分は類似していても、大ＩＯトピックモデル２２に基づく部分が類似していない場合には、後者の部分が邪魔をして適切な比較ができず、上記と同様の問題が生じる。

そこで、本実施形態では、更新部１６により、全体トピックモデル２１と大ＩＯトピックモデル２２とでバランスをとり、片方のトピックモデルの選択をもう片方のトピックモデルが邪魔しないように、トピックモデルの単語に付与されている重みを更新する。以下、更新部１６について詳述する。

更新部１６は、図１１に示すように、予測対象のジョブが実行された際のＩＯデータと、第１ジョブ及び第２ジョブの各々が実行された際のＩＯデータとの近似度を算出する。近似度は、実行時間が異なるジョブについてのＩＯデータ同士を評価することを考慮して、両ＩＯデータから、動的時間伸縮法（ＤＴＷ：Dynamic Time Warping）により算出することができる。更新部１６は、算出した近似度に基づいて、全体トピックモデル２１及び大ＩＯトピックモデル２２の各々において、予測対象のジョブのジョブ情報に出現する単語の重みを更新する。

具体的には、更新部１６は、以下の２つのいずれかの場合に、全体トピックモデル２１及び大ＩＯトピックモデル２２の各々において、予測対象のジョブのジョブ情報に出現する単語の重みを小さくする。

第１の場合は、予測対象のジョブのＩＯデータと第１ジョブのＩＯデータとの近似度が閾値を超えており（近似していないことを示す値）、予測対象のジョブのＩＯデータと第２ジョブのＩＯデータとの近似度が閾値未満（近似していることを示す値）であり、予測対象のジョブが大ＩＯジョブの場合である。第２の場合は、予測対象のジョブのＩＯデータと第１ジョブのＩＯデータとの近似度が閾値未満であり、かつ予測対象のジョブのＩＯデータと第２ジョブのＩＯデータとの近似度が閾値を超えている場合である。

大ＩＯトピックモデル２２は、全体トピックモデル２１を学習した第１学習データの部分集合である第２学習データで学習されている。したがって、両トピックモデルには共通の単語が含まれている。したがって、上記のように単語の重みを更新することで、両トピックモデルのバランスをとることができる。

ジョブ予測システム１０は、例えば図１２に示すコンピュータ５０で実現することができる。コンピュータ５０は、ＣＰＵ（Central Processing Unit）５１と、一時記憶領域としてのメモリ５２と、不揮発性の記憶部５３とを備える。また、コンピュータ５０は、入力部、表示部等の入出力装置５４と、記憶媒体５９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部５５とを備える。また、コンピュータ５０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力装置５４、Ｒ／Ｗ部５５、及び通信Ｉ／Ｆ５６は、バス５７を介して互いに接続される。

記憶部５３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を、ジョブ予測システム１０として機能させるための学習プログラム６１、予測プログラム６２、及び更新プログラム６６が記憶される。予測プログラム６２は、第１抽出プロセス６３と、第２抽出プロセス６４と、出力プロセス６５とを有する。また、記憶部５３は、全体トピックＤＢ２５、大ＩＯトピックＤＢ２６、及び抽出ジョブＤＢ２７の各々を構成する情報が記憶される情報記憶領域７０を有する。なお、予測プログラム６２及び更新プログラム６６は、開示の技術のジョブ予測プログラムの一例である。

ＣＰＵ５１は、学習プログラム６１を記憶部５３から読み出してメモリ５２に展開して実行することで、図８に示す学習部１１として動作する。また、ＣＰＵ５１は、予測プログラム６２を記憶部５３から読み出してメモリ５２に展開し、予測プログラム６２が有するプロセスを順次実行する。ＣＰＵ５１は、第１抽出プロセス６３を実行することで、図８に示す第１抽出部１３として動作する。また、ＣＰＵ５１は、第２抽出プロセス６４を実行することで、図８に示す第２抽出部１４として動作する。また、ＣＰＵ５１は、出力プロセス６５を実行することで、図８に示す出力部１５として動作する。

また、ＣＰＵ５１は、更新プログラム６６を記憶部５３から読み出してメモリ５２に展開して実行することで、図８に示す更新部１６として動作する。また、ＣＰＵ５１は、情報記憶領域７０から情報を読み出して、全体トピックＤＢ２５、大ＩＯトピックＤＢ２６、及び抽出ジョブＤＢ２７の各々をメモリ５２に展開する。これにより、学習プログラム６１、予測プログラム６２、及び更新プログラム６６を実行したコンピュータ５０が、ジョブ予測システム１０として機能することになる。なお、プログラムを実行するＣＰＵ５１はハードウェアである。

なお、各プログラムにより実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

管理装置３０のハードウェア構成は、ジョブ予測システム１０と同様に、ＣＰＵ、メモリ、記憶部、入出力装置、Ｒ／Ｗ部、通信Ｉ／Ｆ等を備えるコンピュータで実現することができるため、詳細な説明を省略する。

次に、本実施形態に係るジョブ制御システム１００の作用について説明する。

管理装置３０により制御され、管理対象システム４０においてジョブが実行される。ジョブの実行に伴い、管理装置３０のジョブＤＢ３６に、管理対象システム４０に投入されたジョブ情報、及び管理対象システム４０で計測されたＩＯデータが記憶される。そして、所定のタイミング（例えば、１か月毎）で、ジョブ予測システム１０において、図１３に示す学習処理が実行される。

ステップＳ１１で、学習部１１が、ジョブＤＢ３６のジョブ情報テーブル３６２に記憶された各ジョブのジョブ情報を、第１学習データとして取得する。

次に、ステップＳ１２で、学習部１１が、第１学習データを用いて全体トピックモデル２１を学習し、全体トピックＤＢ２５に記憶する。

次に、ステップＳ１３で、学習部１１が、ジョブＤＢ３６のＩＯデータテーブル３６４を参照して、平均ＩＯ値が所定の閾値以上のジョブを大ＩＯジョブと判定し、大ＩＯジョブのジョブ情報を第２学習データとして取得する。

次に、ステップＳ１４で、学習部１１が、第２学習データを用いて大ＩＯトピックモデル２２を学習し、大ＩＯトピックＤＢ２６に記憶する。

次に、ステップＳ１５で、学習部１１が、第１学習データであるジョブ情報の各々を用いて、各ジョブについて、全体トピックモデル２１に基づくトピック分布を算出し、全体トピックＤＢ２５に記憶する。

次に、ステップＳ１６で、学習部１１が、第１学習データであるジョブ情報の各々を用いて、各ジョブについて、大ＩＯトピックモデル２２に基づくトピック分布を算出し、大ＩＯトピックＤＢ２６に記憶する。そして、学習処理は終了する。

また、ＩＯデータの予測対象のジョブが管理対象システム４０に投入される都度、ジョブ予測システム１０において、図１４に示す予測処理が実行される。

ステップＳ２１で、第１抽出部１３及び第２抽出部１４が、ジョブＤＢ３６のジョブ情報テーブル３６２から、予測対象のジョブのジョブ情報を取得する。

次に、ステップＳ２２で、第１抽出部１３が、予測対象のジョブについて、上記ステップＳ２１で取得したジョブ情報を用いて、全体トピックモデル２１に基づくトピック分布を算出する。

次に、ステップＳ２３で、第１抽出部１３が、全体トピックＤＢ２５に記憶された、過去の各ジョブについての全体トピックモデル２１に基づくトピック分布の各々と、上記ステップＳ２２で算出した予測対象のジョブのトピック分布とのＣＯＳ類似度を算出する。そして、第１抽出部１３が、予測対象のジョブのトピック分布とのＣＯＳ類似度が最大のトピック分布を持つ過去のジョブを第１ジョブとして抽出する。第１抽出部１３は、抽出した第１ジョブのジョブＩＤ、及び算出したＣＯＳ類似度を出力部１５に受け渡す。

次に、ステップＳ２４で、第２抽出部１４が、予測対象のジョブについて、上記ステップＳ２１で取得したジョブ情報を用いて、大ＩＯトピックモデル２２に基づくトピック分布を算出する。

次に、ステップＳ２５で、第２抽出部１４が、大ＩＯトピックＤＢ２６に記憶された、過去の各ジョブについての大ＩＯトピックモデル２２に基づくトピック分布の各々と、上記ステップＳ２４で算出したトピック分布とのＣＯＳ類似度を算出する。そして、第２抽出部１４が、予測対象のジョブのトピック分布とのＣＯＳ類似度が最大のトピック分布を持つ過去のジョブを第２ジョブとして抽出する。第２抽出部１４は、抽出した第２ジョブのジョブＩＤ、及び算出したＣＯＳ類似度を出力部１５に受け渡す。

次に、ステップＳ２６で、出力部１５が、第１抽出部１３から受け渡された第１ジョブのジョブＩＤと、第２抽出部１４から受け渡された第２ジョブのジョブＩＤを抽出ジョブＤＢ２７に、予測対象のジョブのジョブＩＤと対応付けて記憶する。

また、出力部１５が、第１ジョブと第２ジョブとで、より高いＣＯＳ類似度のジョブを選択し、選択したジョブのジョブＩＤに対応するＩＯデータをジョブＤＢ３６のＩＯデータテーブル３６４から取得する。そして、出力部１５が、取得したＩＯデータを、予測対象のジョブのＩＯデータの予測値として、管理装置３０のスケジューリング部３２へ出力し、予測処理は終了する。

予測対象のジョブの実行が完了し、ＩＯデータがジョブＤＢ３６のＩＯデータテーブル３６４に記憶されたタイミングで、ジョブ予測システム１０において、図１５に示す更新処理が実行される。

ステップＳ３１で、更新部１６が、ジョブＤＢ３６のＩＯデータテーブル３６４から、予測対象のジョブのＩＯデータを取得する。

次に、ステップＳ３２で、更新部１６が、抽出ジョブＤＢ２７を参照して、予測対象のジョブに対応する第１ジョブ及び第２ジョブを特定する。そして、更新部１６が、ジョブＤＢ３６のＩＯデータテーブル３６４から、第１ジョブ及び第２ジョブの各々のＩＯデータを取得する。

次に、ステップＳ３３で、更新部１６が、例えばＤＴＷにより、予測対象のジョブのＩＯデータと第１ジョブのＩＯデータとの近似度Ｄ１を算出する。同様に、更新部１６が、予測対象のジョブのＩＯデータと第２ジョブのＩＯデータとの近似度Ｄ２を算出する。なお、ここでの近似度Ｄ１及びＤ２は、値が小さいほど両ＩＯデータが近似していることを示す。

次に、ステップＳ３４で、更新部１６が、閾値ＴＨ（例えば、０．１）＞Ｄ１、かつＴＨ＞Ｄ２か否か、すなわち、いずれのトピックモデルを用いた場合でも、予測対象のジョブのＩＯデータの予測が成功しているか否かを判定する。いずれのトピックモデルを用いた場合でも予測が成功している場合には、更新処理は終了し、少なくともいずれかのトピックモデルを用いた予測が失敗している場合には、処理はステップＳ３５へ移行する。

ステップＳ３５で、更新部１６が、ＴＨ＜Ｄ１、かつＴＨ＞Ｄ２か否か、すなわち、大ＩＯトピックモデル２２を用いた予測は成功し、全体トピックモデル２１を用いた予測が失敗しているか否かを判定する。肯定判定の場合、処理はステップＳ３６へ移行し、否定判定の場合、処理はステップＳ３８へ移行する。

ステップＳ３６では、更新部１６が、予測対象のジョブの平均ＩＯ値が所定の閾値以上か否かを判定することにより、予測対象のジョブが大ＩＯジョブか否かを判定する。大ＩＯジョブの場合には、処理はステップＳ３７へ移行し、大ＩＯジョブではない場合には、更新処理は終了する。

ステップＳ３７では、全体トピックモデル２１及び大ＩＯトピックモデル２２の各々において、予測対象のジョブのジョブ情報に出現する単語の重みを、所定値又は所定％（例えば、０．１％）小さくする。そして、更新処理は終了する。

一方、ステップＳ３８では、更新部１６が、ＴＨ＞Ｄ１、かつＴＨ＜Ｄ２か否か、すなわち、全体トピックモデル２１を用いた予測は成功し、大ＩＯトピックモデル２２を用いた予測が失敗しているか否かを判定する。肯定判定の場合、処理はステップＳ３７へ移行し、否定判定の場合、すなわち、いずれのトピックモデルを用いた場合も予測に失敗している場合、更新処理は終了する。

なお、上述した予測処理及び更新処理は、開示の技術のジョブ予測方法の一例である。

以上説明したように、本実施形態におけるジョブ予測システムによれば、複数のジョブのジョブ情報を用いて学習された全体トピックモデルに基づいて、予測対象のジョブのトピック分布との類似度が最大となるトピック分布を持つ第１ジョブを抽出する。また、第１トピックモデルの学習に情報が用いられた複数のジョブの一部であって、大ＩＯジョブのジョブ情報を用いて学習された大ＩＯトピックモデルに基づいて、同様に第２ジョブを抽出する。そして、抽出された第１ジョブ及び第２ジョブのうち、類似度が高いトピック分布を持つジョブのＩＯデータを、予測対象のジョブのＩＯデータの予測値として出力する。これにより、ジョブの入出力量の予測精度を向上させることができる。

なお、上記実施形態では、大ＩＯトピックモデルが１つの場合について説明したが、第１学習データであるジョブ情報の一部であって、ＩＯ量が段階的に異なる複数の範囲毎に、各範囲に含まれるジョブ情報を用いて複数の大ＩＯトピックモデルを学習してもよい。この場合、複数の大ＩＯトピックモデルの各々に基づいて、第２ジョブの各々を抽出すればよい。そして、第１ジョブと、複数の第２ジョブとの中で、予測対象のジョブのトピック分布と最もＣＯＳ類似度が高いトピック分布を持つジョブを選択すればよい。これにより、大ＩＯジョブについて、より探索範囲を絞ったトピックモデルを用意することができ、予測精度が向上する。

また、上記実施形態では、予測対象のジョブのトピック分布と最も類似するトピック分布を持つ第１ジョブ及び第２ジョブを抽出し、さらにより類似するジョブを選択する場合について説明したが、これに限定されない。例えば、予測対象のジョブのトピック分布との類似度が所定値以上のトピック分布を持つ１以上の第１ジョブ及び第２ジョブを抽出してもよい。また、抽出された複数の第１ジョブ及び第２ジョブのうち、ＣＯＳ類似度が上位所定順位までのトピック分布を持つジョブのＩＯデータを取得して、予測値を出力してもよい。複数のＩＯデータが取得されている場合、計測点毎のＩＯ量の平均や最大値をとるなどの統計的処理を行って予測値を生成すればよい。

また、上記実施形態では、予測対象のジョブが完了する都度、トピックモデルの重みの更新処理を実行する場合について説明したが、これに限定されない、例えば、１日１回等の所定のタイミングで実行してもよい。この場合、抽出ジョブＤＢに記憶された予測対象のジョブのうち、更新処理が未処理のジョブを選択して、図１５に示す更新処理を実行すればよい。なお、上記実施形態のように、予測対象のジョブが完了する都度、更新処理を実行することで、リアルタイムにトピックモデルの単語の重みを更新することができる。

また、上記実施形態では、各プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

１０ ジョブ予測システム
１１ 学習部
１２ 予測部
１３ 第１抽出部
１４ 第２抽出部
１５ 出力部
１６ 更新部
２１ 全体トピックモデル
２２ 大ＩＯトピックモデル
２３ 全体トピックモデルに基づくトピック分布
２４ 大ＩＯトピックモデルに基づくトピック分布
２５ 全体トピックＤＢ
２６ 大ＩＯトピックＤＢ
２７ 抽出ジョブＤＢ
３０ 管理装置
３２ スケジューリング部
３４ 制御部
３６ ジョブＤＢ
３６２ ジョブ情報テーブル
３６４ データテーブル
４０ 管理対象システム
５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３ 記憶部
５９ 記憶媒体
６１ 学習プログラム
６２ 予測プログラム
６６ 更新プログラム
１００ 予測システム

Claims (8)

1. 複数のジョブに関する情報を用いて学習された第１トピックモデルに基づいて、ジョブ実行時のデータの入出力量が既知の複数の過去のジョブから、予測対象のジョブのトピック分布との類似度が閾値以上となるトピック分布を持つ第１ジョブを抽出し、
   前記第１トピックモデルの学習に情報が用いられた前記複数のジョブの一部であって、前記入出力量が所定値以上となるジョブに関する情報を用いて学習された第２トピックモデルに基づいて、前記複数の過去のジョブから、前記予測対象のジョブのトピック分布との類似度が閾値以上となるトピック分布を持つ第２ジョブを抽出し、
   抽出された前記第１ジョブ及び前記第２ジョブのうち、前記類似度が上位所定順位までのトピック分布を持つジョブの前記入出力量を、前記予測対象のジョブの前記入出力量の予測値として出力する
   ことを含む処理をコンピュータに実行させるためのジョブ予測プログラム。
2. 前記複数のジョブの一部であって、前記入出力量が段階的に異なる複数の範囲毎に、各範囲に含まれるジョブに関する情報を用いて前記第２トピックモデルの各々が学習されており、前記第２トピックモデルの各々に基づいて、前記第２ジョブの各々を抽出する請求項１に記載のジョブ予測プログラム。
3. 前記第１トピックモデルに基づいて、前記複数の過去のジョブから、前記予測対象のジョブのトピック分布との類似度が最も高いトピック分布を持つジョブを前記第１ジョブとして抽出し、
   前記第２トピックモデルに基づいて、前記複数の過去のジョブから、前記予測対象のジョブのトピック分布との類似度が最も高いトピック分布を持つジョブを前記第２ジョブとして抽出し、
   抽出された前記第１ジョブ及び前記第２ジョブのうち、前記類似度が高い方のジョブの前記入出力量を、前記予測対象のジョブの前記入出力量の予測値として出力する
   請求項１又は請求項２に記載のジョブ予測プログラム。
4. 前記第１トピックモデル及び前記第２トピックモデルの各々は、前記ジョブに関する情報に出現する単語に基づいて、トピック毎に出現率が高い単語の各々に前記出現率に応じた重みが規定されたモデルであり、
   前記予測対象のジョブが実行された際のデータの入出力量の時系列変化と、前記第１ジョブ及び前記第２ジョブの各々が実行された際のデータの入出力量の時系列変化との近似度に基づいて、前記第１トピックモデル及び前記第２トピックモデルの各々において、前記予測対象のジョブに関する情報に出現する単語の重みを更新する
   請求項１～請求項３のいずれか１項に記載のジョブ予測プログラム。
5. 前記単語の重みの更新を、前記予測対象のジョブが完了次第、実行する請求項４に記載のジョブ予測プログラム。
6. 前記予測対象のジョブについての前記時系列変化と前記第１ジョブについての前記時系列変化との近似度が両時系列変化が近似していないことを示す値であり、前記予測対象のジョブについての前記時系列変化と前記第２ジョブについての前記時系列変化との近似度が両時系列変化が近似していることを示す値であり、かつ前記予測対象のジョブの前記入出力量が所定値以上の場合、
   又は、前記予測対象のジョブについての前記時系列変化と前記第１ジョブについての前記時系列変化との近似度が両時系列変化が近似していることを示す値であり、かつ前記予測対象のジョブについての前記時系列変化と前記第２ジョブについての前記時系列変化との近似度が両時系列変化が近似していないことを示す値の場合に、
   前記第１トピックモデル及び前記第２トピックモデルの各々において、前記予測対象のジョブに関する情報に出現する単語の重みを小さくする
   請求項４又は請求項５に記載のジョブ予測プログラム。
7. 複数のジョブに関する情報を用いて学習された第１トピックモデルに基づいて、ジョブ実行時のデータの入出力量が既知の複数の過去のジョブから、予測対象のジョブのトピック分布との類似度が閾値以上となるトピック分布を持つ第１ジョブを抽出する第１抽出部と、
   前記第１トピックモデルの学習に情報が用いられた前記複数のジョブの一部であって、前記入出力量が所定値以上となるジョブに関する情報を用いて学習された第２トピックモデルに基づいて、前記複数の過去のジョブから、前記予測対象のジョブのトピック分布との類似度が閾値以上となるトピック分布を持つ第２ジョブを抽出する第２抽出部と、
   抽出された前記第１ジョブ及び前記第２ジョブのうち、前記類似度が上位所定順位までのトピック分布を持つジョブの前記入出力量を、前記予測対象のジョブの前記入出力量の予測値として出力する出力部と、
   を含むジョブ予測システム。
8. 複数のジョブに関する情報を用いて学習された第１トピックモデルに基づいて、ジョブ実行時のデータの入出力量が既知の複数の過去のジョブから、予測対象のジョブのトピック分布との類似度が閾値以上となるトピック分布を持つ第１ジョブを抽出し、
   前記第１トピックモデルの学習に情報が用いられた前記複数のジョブの一部であって、前記入出力量が所定値以上となるジョブに関する情報を用いて学習された第２トピックモデルに基づいて、前記複数の過去のジョブから、前記予測対象のジョブのトピック分布との類似度が閾値以上となるトピック分布を持つ第２ジョブを抽出し、
   抽出された前記第１ジョブ及び前記第２ジョブのうち、前記類似度が上位所定順位までのトピック分布を持つジョブの前記入出力量を、前記予測対象のジョブの前記入出力量の予測値として出力する
   ことを含む処理をコンピュータが実行するジョブ予測方法。

Images