JP4537808B2

JP4537808B2 - データ収集装置、データ収集システム及びデータ収集方法

Info

Publication number: JP4537808B2
Application number: JP2004264873A
Authority: JP
Inventors: 幹人菅野
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2004-09-13
Filing date: 2004-09-13
Publication date: 2010-09-08
Anticipated expiration: 2024-09-13
Also published as: JP2006079488A

Description

この発明は、分散した情報処理装置の負荷状況をはじめとするデータ収集におけるデータ収集負荷を低減する装置、方法に関するものである。

企業における多数のＯＡパソコンやサーバの不正利用監視、操作履歴の統合管理、或いは、運用監視会社における多数のサーバの運用監視など、ネットワーク上に分散した多数のパソコンやサーバのシステムログやアプリケーションログなどの多量データ収集が要求されるケースがある。またはそれらデータの統合管理が要求されるケースがある。
こうしたケースにおいて、ネットワークインフラは企業活動において非常に重要な設備であり、企業活動においてＩＴ設備を利用した業務も多い。従ってネットワークインフラへの負荷はできるだけ少ないほうがよく、データ収集処理のような間接的な業務はできるだけネットワーク負荷を分散してデータ収集を行う必要がある。しかし、現実には、データサイズもばらついており、収集対象も多いということで、収集タイミングを決定するスケジューリング作業は、ほとんど行われていない状況である。

こうしたデータ収集を行なう負荷を検討した従来技術として、特許文献１、「マシン情報の収集方法およびマシン情報の収集装置ならびにその記録媒体」において示されたデータ収集方式の負荷分散方式を、図２６を用いて説明する。
図において、サーバ１０１は、通信モジュール１０３とサーバモジュールとして、集積処理部１０５と集積情報処理部１０６と稼動情報通知部１０７とポリシー設定部１０８とで構成される。ポリシー設定部１０８は、更にマシン情報設定部１０９とスケジュール設定部１１０とで構成される。
クライアント１０２は、通信モジュール１０４と、クライアントモジュールとして、起動制御処理部１１１と収集制御処理部１１２とスケジュール処理部１１３と差分抽出処理部１１４とマシン負荷チェック部１１５と通信時負荷軽減処理部１１６と今回収集結果ファイル１１７と前回収集結果ファイル１１８とで構成される。

この構成による装置のデータ収集動作は次の通りとなる。
まずポリシー設定部１０８の機能を利用して、各クライアント１０２に対してデータ収集スケジュールを設定する。このスケジュール情報を通信モジュール１０３，１０４の機能を利用して、対象クライアント１０２に送付する。
対象クライアント１０２では、スケジュール情報に基づき、データ収集のタイミングを設定する。スケジュール情報に示された該当時刻になった場合に、収集ファイルのデータから差分抽出処理部１１４の機能を使用して、前回ファイルと今回ファイルの差分を抽出し、今回収集結果ファイル１１７を得る。この今回収集結果ファイル１１７を通信モジュール１０４によりサーバ１０１に送信するものである。
このデータ収集動作について負荷分散を図るために、以下の工夫がなされている。
即ち、クライアントマシンのＣＰＵ負荷状況をマシン負荷チェック部１１５により検知し、予めポリシー設定部１０８で設定した閾値と比較して、ＣＰＵ負荷がこの閾値を超えていたら、データ収集処理を遅延する。また、収集データをサーバに送信するときの負荷分散については、予めポリシー設定部１０８で設定したマージン時間をスケジュール時刻に付加することにより、収集タイミングをマージン時間分だけ遅延している。
また、収集対象が多数になった場合の負荷分散として、予めポリシー設定部１０８で設定したスケジュール設定をクライアント数分だけ行い、時間が重ならないように設定することや、サーバを複数設置して、段階的にデータを収集するような方式を取っている。
しかし、ネットワークの負荷分散や、管理サーバの負荷低減については言及が無い。
特開２００１−３０６５１１号公報

データを収集する作業は収集対象の装置のＣＰＵを使用するので、不用意な収集は業務や対象装置が行なうＯＡ作業に影響を及ぼす場合があり、利用者が使用していない時間帯を推測してデータ収集する必要がある。しかし、先ほどのネットワーク負荷の分散と同じように収集対象の装置の状態を考慮しなければ、収集スケジュールの設定が困難である。
上記特許文献１に示される収集サーバを用いればよいが、多数の収集対象装置のデータ収集処理を行う際に、収集対象の装置の状態を考慮して適切にスケジュール設定しているとは云い無い。
従来のデータ収集装置は上記のように構成されており、収集対象の装置の状態を考慮して適切にスケジュール設定されていず、結果的にデータ収集対象、またはネットワークの負荷が大きくなる場合があるという課題がある。
単に複数のサーバを用いてデータ収集を行うと、そのための収集装置が増えてしまうし、ネットワーク上の負荷軽減には寄与しない。

この発明は上記の課題を解決するためになされたもので、データ収集対象に保存されているデータ量、データ収集対象のＣＰＵ負荷、またはネットワーク負荷と、データ収集による全体の負荷を考えて、負荷分散したデータ収集のスケジュールを得ることを目的とする。

この発明におけるデータ収集装置は、ネットワークに分散配置されたデータ収集対象から所定のデータを収集する装置において、
上記データ収集対象毎の各要素の使用量率を算出する使用量算出蓄積部と、この算出された可動率が低い時にデータ収集を行なうスケジュールを生成する負荷分散スケジュール生成部を備えて、
上記生成した収集を行なうスケジュールに基づいて上記所定のデータを収集するようにした。

以上のようにこの発明によれば、システム全体のデータ蓄積状況、各収集対象のＣＰＵ使用状況、及びネットワーク使用状況を総合的にみて、また必要により各情報の履歴も考慮して、最適なデータ収集スケジュールが得られる効果がある。
即ち、管理者のスケジュール設定作業が不要になる。特に頻繁にデータ量、ネットワーク使用量、ＣＰＵ負荷が変化しても、追随して最適なスケジュールが得られ、ネットワーク負荷を分散した効率データ収集ができる効果がある。

実施の形態１．
データ収集対象の負荷、及びネットワーク負荷を含む全体の負荷を分散したデータ収集のスケジュールを得て、負荷分散した効率データ収集ができるデータ収集装置及びシステムを説明する。即ち所定の時間にデータ収集対象のＣＰＵ（プロセッサ）使用量とネットワーク使用量と保存データ量とから所定計算に基づいて収集スケジュールを生成する機能を設けたので、データ収集の負荷分散を自律的に行う。更にデータ収集対象の情報を基に決定したスケジュールが重なってサーバ側の負荷が分散できない場合は、スケジュールの重複を避ける機能を設けて、サーバ側の負荷も考慮したデータ収集の負荷分散を自律的に行う。こうして１台のサーバで対応できる収集対象数が増えるので、データ収集システムのサーバの設備投資を抑制できる。
図１はこの発明の実施の形態１におけるデータ収集システムの構成を示す図である。図において、データ収集装置１は、インターネット、ＬＡＮ、専用線などのネットワーク３を介してデータ収集対象（機器）２と接続し、後で詳述するように、適切なスケジュールでデータを収集する。

また汎用の計算機などで実現されるデータ収集装置１は、内部構成として以下の各要素を持っている。即ち内部構成として、ＣＰＵ使用量情報１０を蓄積記憶するＣＰＵ使用量算出蓄積部４と、ネットワーク使用量情報１１を記憶するネットワーク使用量算出蓄積部５と、蓄積データ量情報１２を記憶する蓄積データ量算出蓄積部６と、収集対象情報１７と運用情報１８を管理する管理部８と、後述のスケジュール管理テーブルまたは対象スケジュール情報に基づいてデータ収集対象からのデータを受信するデータ受信部９と、データ受信部９からの受信データを記憶する収集データベース２０と、同じく受信した実行ログを記憶する実行ログ記憶部２１と、上記の各部からのＣＰＵ使用量履歴情報１３とネットワーク使用量履歴情報１４とデータ量履歴情報１５と上記収集対象情報１７と運用情報１８とで負荷分散スケジュールを作成してスケジュール管理テーブル１６と収集スケジュール情報１９記憶部に記憶する負荷分散スケジュール生成部７、とで構成される。そして上記の各構成要素の機能は、計算機上のプログラムとして実装されて図示していないＣＰＵによりそのプログラムを実行して得られ、図１に示すＣＰＵ使用量情報等の記憶情報は、計算機システム上のファイルやデータベース等、ハードウェア・メモリや外部記憶装置上で保管、記憶される。

図２（ａ）は、負荷分散スケジュール生成部７が行なう負荷分散スケジュール生成動作を、また図２（ｂ）は、その生成したスケジュールに基づいてデータ収集装置１がデータ受信部９で得たデータにより、または収集データベース２０中の蓄積データにより行なうデータ収集動作を示すフローチャートである。この図で用いる情報は、図１に記載の構成要素の入出力情報にも対応しており、その詳細を図３以降に示す。また図２の動作を行なう前提として、図１に示すＣＰＵ使用量算出蓄積部４とネットワーク使用量算出蓄積部５と蓄積データ量算出蓄積部６とは、それぞれ図１３ないし図１５に示す動作を行い、またそれぞれ図１６ないし図１８に例を示すＣＰＵ使用量履歴情報１３とネットワーク使用量履歴情報１４とデータ量履歴情報１５とを得ている。
図２（ａ）では、ステップ（以下、ステップの記述を省略する）Ｓ１９において、図１１に例を示す運用情報１８中の、情報更新時間間隔３７と転送データ閾値３８とＣＰＵ使用量計算間隔３９とネットワーク使用量計算間隔４０と履歴開始日付４１とＣＰＵ利用閾値４２とネットワーク利用閾値４３と同時接続数４４とデータ転送量４５とマージン時間４６とを読み込む。
次にＳ２０では、現在のシステムの日付と時刻をデータ収集装置１の内部クロックから読み込む。Ｓ２１では、図８に例を示すデータ量履歴情報１５を基に、各収集端末と各収集対象ファイル毎に、蓄積データ量をサイズの大きいものから順に降順にソートする。

次にソートした収集対象に対して、１つずつ処理を行うフローチャートがＳ２２からＳ２８である。
Ｓ２２は、すべての収集対象について、処理が完了したかどうかを判断するステップであり、すべての収集対象について処理が完了すると、終了する。未だ収集対象があれば、Ｓ２３以降を実施する。Ｓ２３では、収集対象に対して該当する、図６に例を示すＣＰＵ使用量履歴情報１３と、図７に例を示すネットワーク使用量履歴情報１４、及び図１１の履歴開始日付４１を使用して、履歴開始日付４１からの、それぞれの時間帯の平均値を算出する。この処理により、時間帯ごとのＣＰＵ使用量の平均値、ネットワーク使用量の平均値を求めて、図１６に例を示すＣＰＵ使用量履歴情報１３と、図１７に例を示すネットワーク使用量履歴情報１４を得る。
次にＳ２４において、計算した範囲の中で、ＣＰＵ使用率、ネットワーク使用率の最小の値を持つ時間帯をそれぞれ選択する。同一の値が複数ある場合には、先に出てきたもの、後に出てきたもの、ランダムに選択など、複数の選択を可能とする。

次にＳ２５において、選択されたＣＰＵ利用量の少ない時間帯において、図７のネットワーク使用量履歴情報１４を参照し、最もネットワーク使用の少ない時間を選択する。
同様にＳ２６において選択されたネットワーク利用量の少ない時間帯において、図６のＣＰＵ使用量履歴情報１３を参照し、最もＣＰＵ使用の少ない時間を選択する。Ｓ２７において、次回のデータ収集スケジュールとして、Ｓ２５かＳ２６で選択した時刻を生成し、日付としては、システム日付で得られた日時に１日加えた日付を図９のスケジュール管理テーブル１６に記録する。また同時にＳ２１で生成したデータ量もスケジュール管理テーブルに記録する。日付の設定においては、例えば、現在が午前中の時間であり、午後の時間帯が選択された場合には、１日を加算しなくてもよい動作も可能である。Ｓ２８においては、Ｓ２７に記録した収集日付、収集時刻、と収集対象名、ＩＰアドレス、収集対象ファイル名を記録する。
こうしてＳ２２で全てのデータ収集対象２について設定が終わると、スケジュール生成が完了する。

図２（ａ）の動作フローチャートの結果生成された、図１２の収集スケジュール情報１９は、データ収集対象２にインストールされたエージェントがポーリングなどにより定期的にチェックして、データ収集対象２にダウンロードされることを想定している。またデータ収集対象２では、そのダウンロードした収集スケジュール情報１９に基づいたスケジュールでデータ収集を行い、図１のデータ収集装置１にあるデータ受信部９に向けてデータを送信する。データ収集装置１では、収集データが収集データベース２０に蓄積される。またその実行結果は、同じく実行ログ記憶部２１に記録される。なお、データ収集対象２における日時と、データ収集装置１における日時は、記述外の方法によって同期が取れているものとしている。
そしてデータ収集装置は、こうして生成されたスケジュールに基づいて、図２（ｂ）に示すデータ収集動作を行なう。即ちＳ０１で所定の収集時刻が来ると、Ｓ０２で先ずｉ＝１として最初のデータ収集対象２のデータを収集し、以後Ｓ０４で最後の対象のデータを収集するまでデータを収集して、結果を得る。

以上のように、多数のＩＴ機器からのデータ収集において、図１のような構成を備え、データ収集対象からデータを収集する負荷調整のための情報として、蓄積データ量、ＣＰＵ使用状況、ネットワーク使用状況に着目し、これらの情報に図２に示したアルゴリズムを適用したので、システム全体の負荷調整として、収集対象のＣＰＵ使用状況が統計的に少ない時間、即ち収集対象がＣＰＵを使用している確率が少ないと考えられる時間にデータを収集することが可能になる。更に収集対象のネットワークが統計的に稼動していない時間帯にデータを収集することが可能になる。この結果、通常の業務に影響を与えることなく、データ収集を効率的に行なえる効果がある。また、蓄積データについても、蓄積データの量の多い収集対象から順に収集することで、システム全体の収集対象データ数を平均化する効果がある。

上記で情報の詳細として、図３にＣＰＵ使用量情報１０の例を示す。図において情報は、データ収集対象２の、ネットワーク上でユニークな名前である計算機のホスト名が記載された収集対象名２２対応に、ネットワークのＩＰアドレス２３、ＣＰＵ使用量を調べた日付２４、同じく調べた時刻２５、収集対象に複数のＣＰＵがある場合に識別するＣＰＵ番号２６、それに対応するＣＰＵ使用量２７からなる。
図４はネットワーク使用量情報１１を示す。図において情報は、上記で説明した項目の他に、該当する収集対象が複数のネットワークインターフェースを持つ場合の、ネットワーク毎の使用量を識別するためのネットワークインターフェースＮＩＣ番号２８、該当するＮＩＣ番号におけるネットワーク使用量２９を含んでいる。
図５は蓄積データ量情報１２を示す。図において情報は、上記で説明した項目の他に、データ収集対象２の内部にあって収集対象となるファイルの名前を記した収集対象ファイル名３０と、その収集対象ファイルについて、現在収集すべき蓄積データ量を記録した蓄積データ量３１を含んでいる。３０の収集対象ファイル名は、通常は計算機のファイル名を指定することで、該当するファイルの最新情報をデータ収集サーバに収集する。

図６はＣＰＵ使用量履歴情報１３を示す。図において情報は、上記で説明した項目を持っている。ここで、ＣＰＵ使用量履歴情報１３は、端末毎にすべての日時においてＣＰＵ番号毎のＣＰＵ使用量が記録されている。このため、収集対象毎、日付毎にＣＰＵ使用量を算出することができる。
図７はネットワーク使用量履歴情報１４を示す。図において情報は、上記で説明した項目を持っている。ここで、ネットワーク使用履歴情報は、端末毎にすべての日時においてネットワークインターフェース毎のネットワーク使用量が記録されている。このため、収集対象毎、日付毎にネットワークの使用量を算出することができる。
図８はデータ量履歴情報１５を示す。図において情報は、上記で説明した項目を持っている。ここで、データ量履歴情報は、端末毎、収集対象ファイル名毎に、すべての日時において蓄積データ使用量が記録されている。このため、収集対象毎、収集対象ファイル、日付毎に蓄積データ量を算出することができる。

図９はスケジュール管理テーブルに記憶された情報を示す。図においてテーブルには、上記で説明した項目の他に、収集日付３２と、収集時刻３３と、収集データ量３４を含んでいる。この図９のスケジュール管理テーブルで記憶された状況に基づき、収集日付、収集時刻、収集対象、収集対象ファイル名が決定され、データ収集対象２からデータが転送される。
図１０は収集対象情報１７を示す。図において情報は、上記で説明した項目の他に、ＮＩＣ数３５と、ＣＰＵ数３６を含んでいる。収集対象情報は、本データ収集装置１がデータ収集対象２とするクライアントを明示して管理するもので、１つの収集対象について、収集するファイル名や、収集対象のネットワークインターフェースの数、収集対象のＣＰＵ数を予め管理対象として定義する。
なお、収集対象ファイル名は１つの機器について、複数登録可能としてもよい。
本収集対象情報は、管理部８からＧＵＩ画面などを使用して、管理者が入力設定を行い、運用に応じて適宜設定を行なうことで、収集対象を増減する。

図１１は運用情報１８を示す。図において情報は、ＣＰＵ使用量情報とネットワーク使用量情報と蓄積データ量情報が更新される情報更新時間間隔３７、同時に異なる収集対象からデータを受け付けるデータ量を設定した転送データ閾値３８、ＣＰＵ使用量の平均値を計算する単位時間を定めたＣＰＵ使用量計算間隔３９、ネットワーク使用量の平均値を計算する単位時間を定めたネットワーク使用量計算間隔４０、履歴開始日付４１、上限のＣＰＵ利用量を設定したＣＰＵ利用閾値４２、同じく上限のネットワーク利用量を設定したネットワーク利用閾値４３、データ収集装置で同一日時に一度に受け付けるデータ転送の接続数の上限を設定した同時接続数４４、一度に受け付けるデータ転送量の上限を設定したデータ転送量４５、同一日時に複数の収集スケジュールが重なった場合に、時間をずらして収集を行なうが、収集対象ごとに、算出されたスケジュール時間からずらす時間を設定するマージン時間４６からなる。
本運用情報は、管理部８から運用に応じて管理者が調整入力して設定する。
図１２は収集スケジュール情報１９を示す。図において情報は、上記で説明した項目からなっている。そしてこの収集スケジュール情報１９が、図２の動作フローチャートで得られて、負荷分散を行なうスケジュールとなる。

次に図１３から図１５を使用して各種情報の入力について説明する。
ＣＰＵ使用量情報１０、ネットワーク使用量情報１１、蓄積データ量情報１２は、図１１の情報更新時間間隔３７に基づいて入力がトリガされる。これら３つの情報は、データ収集対象２にインストールされたエージェントが、これら５つの情報をこの指定時間間隔毎に送信してくることや、ファイル共有によって新しい情報が参照できる。
図１３はＣＰＵ使用量算出蓄積部４の動作フローチャートを示す。
図において、Ｓ１で図１１に示す情報更新時間間隔３７からマージン時間４６の各値を入力する。次にＳ２では、入力した情報更新時間間隔３７に基づき、前回の入力時刻から次の入力時刻になるまでアイドルするステップである。アイドルの仕方には、本プログラムを所定時刻までスリープしたり、該当時刻になるのをポーリングによりチェックする方法などがある。所定の時刻になるとＳ３より始まるステップで情報を入力する。Ｓ３で、図１０の収集対象情報１７に従い、１つずつ、データ収集対象２のＣＰＵ使用量情報を入力する。Ｓ４では入力した内容をチェックし、エラーを判別する。もしエラーがあった場合には、図１の実行ログ記憶部２１にエラーを記録して、該当収集対象の入力はスキップし、次の収集対象について処理する。Ｓ５では入力した図３の収集対象名２２からＣＰＵ使用量２７までのＣＰＵ使用量について、ＣＰＵ使用量履歴情報１３として格納する。Ｓ６において、図１０の収集対象情報のすべてについてＣＰＵ使用量が入力できたかどうかを判定し、終了していなければＳ３からのステップを次の収集対象について実施する。このフローチャートによって、図１１の情報更新時間間隔３７毎に図６のＣＰＵ使用量履歴情報１３が蓄えられていく。

図１４はネットワーク使用量算出蓄積部５が行う動作フローチャートを示す。図において、Ｓ７で図１１に示す情報更新時間間隔３７からマージン時間４６の各値を入力する。次にＳ８では、入力した情報更新時間間隔３７に基づいてアイドルする。アイドルの仕方は上記の方法による。所定の時刻が経過後、Ｓ９からＳ１１で情報を入力する。Ｓ９では、図１０の収集対象情報１７に基づいて、１つずつ、データ収集対象２における図４のネットワーク使用量情報１１を入力する。Ｓ１０では入力した内容をチェックする。エラーの場合には実行ログ記憶部２１にエラーを記述して、その入力はスキップして、次の収集対象に移る。Ｓ１１は入力した項目対応のネットワーク使用量２９について、ネットワーク使用量履歴情報１４として格納する。Ｓ１２では収集対象情報１７の全ての収集対象名２２についてネットワーク使用量が入力できたかどうかを判定し、終了していなければＳ９からのステップを次の収集対象について繰り返す。このフローチャートによって、情報更新時間間隔３７毎に図７のネットワーク使用量履歴情報１４が蓄えられていく。

図１５は蓄積データ量算出蓄積部６が行う動作フローチャートを示す。図において、Ｓ１３で図１１に示す情報更新時間間隔３７からマージン時間４６の各値を入力する。次にＳ１４では、入力した情報更新時間間隔３７に基づいてアイドルする。アイドルの仕方は上記の方法による。所定の時刻が経過後、Ｓ１５からＳ１７で情報を入力する。Ｓ１５では、収集対象情報１７に基づいて、１つずつ、データ収集対象２における図５の蓄積データ量情報１２を入力する。Ｓ１６では入力した内容をチェックする。エラーの場合には実行ログ記憶部２１にエラーを記述して、その入力はスキップして、次の収集対象に移る。Ｓ１７は入力した項目対応の蓄積データ量３１について、データ量履歴情報１５として格納する。Ｓ１８では収集対象情報１７の全ての収集対象名２２について蓄積データ量が入力できたかどうかを判定し、終了していなければＳ１５からのステップを次の収集対象について繰り返す。このフローチャートによって、情報更新時間間隔３７毎に図８のデータ量履歴情報１５が蓄えられていく。

次に図１６から図１８の、各履歴情報が得られる過程を説明する。
図１６は収集対象毎に得られる、ある時間単位でのＣＰＵ使用履歴を示したグラフである。図で、該当のデータ収集対象２について、ＣＰＵ使用量履歴情報１３に基づいて、ある日付における１０分単位でのＣＰＵの利用状況を示しているのが棒状グラフである。また、図１１のＣＰＵ使用量計算間隔３９で平均を計算したものが折れ線のグラフである。図２のフローチャートでは、このＣＰＵ使用履歴グラフを表現するテーブルが、メモリ上に収集対象毎に生成される。
図１７は収集対象毎に得られるネットワーク使用履歴を示したグラフである。図は、該当のデータ収集対象について、ネットワーク使用量情報１１に基づいて、ある日付と時間におけるネットワークの利用状況を示しているのが棒状のグラフである。また、図１１のネットワーク使用量計算間隔４０で平均を計算したものが折れ線のグラフである。図２のフローチャートでは、このネットワーク使用履歴グラフを表現するテーブルが、メモリ上に収集対象毎に生成される。
図１８は収集対象毎に得られる、データ蓄積データのグラフである。図で、データ量履歴情報１５に基づいて、該当の収集対象についてあるデータの蓄積データ量を降順に集計して棒グラフとして表示したものである。図２のフローチャートにおいては、この収集対象の蓄積データ量グラフを表現するソートテーブルが、メモリ上に収集対象毎に生成される。
こうして図１のような構成で、図２に示したアルゴリズムを適用して、収集対象のＣＰＵが軽負荷で、ネットワークが軽負荷時に、データ量が多い項目からデータを収集して、他の業務に影響を与えないでデータ収集が行える効果がある。

実施の形態２．
図１９は、この発明の実施の形態２におけるデータ収集装置１ｂの動作を示すフローチャートである。なお全体のシステム構成は図１と同様であり、図１の負荷分散スケジュール生成部７ｂの動作が以下のようになる。
負荷分散スケジュール生成部７ｂの動作を示すフローチャートである図１９において、Ｓ２９からＳ３１までのステップは、図２のＳ１９からＳ２１のステップと同じである。
次にソートした収集対象に対して、１つずつ処理を行うフローチャートがＳ３２からＳ４０である。Ｓ３２は、すべての収集対象について、処理が完了したかどうかを判断するステップであり、すべての収集対象について処理が完了したら終了する。処理が完了していなければ、Ｓ３３以降を実施する。

Ｓ３３では、Ｓ３１の結果に基づいて蓄積データの小さいものから選択し、データ量を加算していく。加算したデータが運用情報の転送データ閾値３８より小さい間は加算を続ける。即ちあるデータを蓄積している複数の収集対象が選択されて、しかし転送データ閾値より小さくなるようデータが加算されて転送データとなる。そして、それぞれの収集対象に対して処理を行なうためにＳ３４で判定を行なう。Ｓ３５では、Ｓ３０で取得した現在のシステム日時に運用情報の情報更新時間間隔３７を加算し、次回のスケジュール時刻を算出する。Ｓ３６において、次回のデータ収集スケジュールとしてＳ３５で選択した時刻を生成し、日付としてはシステム日付で得られた日付をスケジュール管理テーブル１６に記録する。また同時にＳ３１で生成したデータ量も図８のスケジュール管理テーブルに記録する。Ｓ３７においては、Ｓ３６に記録した収集日付、収集時刻、と収集対象名、ＩＰアドレス、収集対象ファイル名を記録する。

以上のように、多数のＩＴ機器等のデータ収集対象２からのデータ収集において、図１のような構成を備え、これらのデータ収集対象２からデータ収集する負荷調整のための情報として、蓄積データ量、ＣＰＵ使用状況、ネットワーク使用状況に着目して、図１９に示したアルゴリズムを適用したので、小さなデータを蓄積している装置を複数同時にまとめてデータ収集対象としてスケジュールして、データ転送量が抑えられる効果がある。

実施の形態３．
データ収集対象が少ない場合や、収集するデータ量が少ない場合等では、データ収集対象をソートして順次走査する必要はなく、ともかくも定められた順序でデータを収集すればよい。図２０は本実施の形態におけるデータ収集装置１ｃの動作を示すフローチャートである。なお全体のシステム構成は図１と同様であり、図１の負荷分散スケジュール生成部７ｃの動作が以下のようにする。
負荷分散スケジュール生成部の動作フローチャートである図２０において、Ｓ３８とＳ３９は、図２のＳ１９とＳ２０と同様である。

Ｓ４０では、収集対象情報１７におけるそれぞれの収集対象に対して、１つずつ処理を行なうフローチャートがＳ４０からＳ４６である。即ちＳ４０で全ての収集対象の処理が完了したか否かを判断し、未処理の収集対象にＳ４１以降の処理を行なう。Ｓ４１からＳ４６は、図２のＳ２３からＳ２８と同様の動作をする。ただ、Ｓ４１とＳ４３とを組みにして、またＳ４２とＳ４４とを組にして、いずれかを省く動作とする。即ちＣＰＵ使用量か、ネットワーク使用量かを基準にしてスケジュールを生成する。
このように、多数のデータ収集対象２からのデータ収集において、図１のような構成を備え、情報収集対象から収集する負荷調整のための情報として、ＣＰＵ使用状況、またはネットワーク使用状況に着目し、これらの情報に図２０に示したアルゴリズムを適用したので、システム全体の負荷が調整され、収集対象のＣＰＵ使用が少ない時間にデータを収集できる。または収集対象のネットワーク負荷に着目し、収集対象のネットワークが軽負荷時にデータを収集できる。

本実施の形態における軽負荷時にデータ収集を行なう他のデータ収集装置１ｄの動作を説明する。
図２１は、上記他のデータ収集装置１ｄの動作を示すフローチャートである。全体のシステム構成は図１と同様であり、図１の負荷分散スケジュール生成部７ｄの動作が以下のようにする。
負荷分散スケジュール生成部７ｄの動作を示す図２１において、Ｓ４７とＳ４８は、図２のＳ１９とＳ２０と同様の動作をする。Ｓ４９では、ＣＰＵ使用量履歴情報１３を基に、最新日時のＣＰＵ使用量履歴をデータ収集対象毎に選択し、それらを小さい順からソートする。次にソートした収集対象に対して、１つずつ処理を行うフローチャートがＳ５０からＳ５３である。Ｓ５０は、全てのデータ収集対象について、未処理を判定して、未処理のデータ収集対象についてＳ５１以降の処理を行なう。

Ｓ５１では、収集対象に対して、該当するＣＰＵ利用閾値４２と最新の日時のＣＰＵ利用量を比べる。ＣＰＵの利用量がＣＰＵ利用閾値４２よりも小さいと、処理対象とみなしてＳ５２以下の処理を行う。大きいと、処理対象から外して、Ｓ５０まで戻り、次の処理対象に移る。Ｓ５２とＳ５３は、図２のＳ２７とＳ２８と同様の動作を行なう。
このようにしても、多数のデータ収集において、図１の構成で、データ収集の負荷調整の情報として、ＣＰＵ使用量に着目して図２１のアルゴリズムを適用したので、システムのＣＰＵ負荷が少ない場合に収集を実行して、システムの業務に影響を与えずにデータ収集が行える効果がある。

本実施の形態における軽負荷時にデータ収集を行なう他のデータ収集装置１ｅの動作を説明する。
図２２は、上記他のデータ収集装置１ｅの動作を示すフローチャートである。全体のシステム構成は図１と同様であり、図１の負荷分散スケジュール生成部７ｅの動作が以下のようになる。
負荷分散スケジュール生成部７ｅの動作を示す図２２において、Ｓ５４とＳ５５は、図２のＳ１９とＳ２０と同様の動作をする。Ｓ５６では、ネットワーク使用量履歴情報１４を基に、最新日時のネットワーク使用量履歴をデータ収集対象毎に選択し、それらを小さい順からソートする。次にソートした収集対象に対して、１つずつ処理を行うフローチャートがＳ５７からＳ６０である。Ｓ５７では、全てのデータ収集対象について、未処理を判定して、未処理のデータ収集対象についてＳ５８以降の処理を行なう。

Ｓ５８では、収集対象に対して該当する、ネットワーク利用閾値４３と最新の日時のネットワーク利用量を比べる。ネットワークの利用量がネットワーク利用閾値４３よりも小さければ、処理対象とみなしてＳ５９以下の処理を行なう。大きい場合は、処理対象から外してＳ５７まで戻り、次の処理対象の処理を行なう。
Ｓ５９とＳ６０では、図２のＳ２７とＳ２８と同様の動作をする。
このようにしても、多数の機器のデータ収集において、図１の構成により、データ収集時の負荷調整用情報として、ネットワーク使用状況に着目し、図２２のアルゴリズムを適用したので、ネットワークの負荷が少ない場合に収集を実行して、システム業務に影響を与えずにデータ収集が行なえる効果がある。

本実施の形態におけるシステム軽負荷時にデータ収集を行なう他のデータ収集装置１ｆの動作を説明する。
図２３は、上記他のデータ収集装置１ｆの動作を示すフローチャートである。全体のシステム構成は図１と同様であり、図１の負荷分散スケジュール生成部７ｆの動作が以下のようになる。即ちＣＰＵ負荷とネットワーク負荷とを同時に考慮する。
負荷分散スケジュール生成部７ｆの動作を示す図２３において、Ｓ６１とＳ６２は、図２のＳ１９とＳ２０と同様の動作をし、Ｓ６３は、２１のＳ４９と同様の動作をする。
次にソートした収集対象に対して、１つずつ処理を行うフローチャートがＳ６４からＳ６８である。Ｓ６４では、全てのデータ収集対象について、未処理を判定して、未処理のデータ収集対象についてＳ６５以降の処理を行なう。

Ｓ６５では、収集対象に対して、該当するＣＰＵ利用閾値４２と最新の日時のＣＰＵ利用量を比べる。ＣＰＵの利用量がＣＰＵ利用閾値４２よりも小さければ、処理対象とみなしてＳ６６以下の処理を行う。大きければ、処理対象から外してＳ６４まで戻り、次の処理対象の処理を行う。Ｓ６６では、収集対象において該当するネットワーク利用閾値４３と最新の日時のネットワーク利用量を比べる。ネットワークの利用量がネットワーク利用閾値４３よりも小さければ、処理対象とみなしてＳ６７以下の処理を行う。大きければ、処理対象からはずしてＳ６４まで戻り、次の処理対象の処理を行う。
Ｓ６７とＳ６８は、図２のＳ２７とＳ２８と同様の動作を行なう。なお、Ｓ６３は、最新のネットワーク使用量で昇順にソートして、Ｓ６６とＳ６５の順番を入れ替えてもよい。
以上のようにしても、システム業務に影響を与えずにデータ収集が行える効果がある。

本実施の形態における軽負荷にしたデータ収集を行なう他のデータ収集装置１ｇの動作を説明する。
図２４は、上記他のデータ収集装置１ｇの動作を示すフローチャートである。全体のシステム構成は図１と同様であり、図１の負荷分散スケジュール生成部７ｇの動作が以下のようになる。即ち同時接続数を考慮する。
負荷分散スケジュール生成部７ｇの動作を示す図２４において、Ｓ６９は図１８から図２３での負荷分散スケジュールによって決定された、データ収集日時を読み込むステップである。Ｓ７０では、該当スケジュールの日時から図８のスケジュール管理テーブル１６のデータを入力し、同一の日時が設定されたスケジュールを検索して、データ収集装置１への該当スケジュールの接続数を得る。そしてＳ７１で、運用情報１８の同時接続数４４と、Ｓ７０で得られた同時接続数とを比較し、Ｓ７０での同時接続数が運用情報の同時接続数４４に満たなければ、Ｓ７３以降でスケジュールを確定する。Ｓ７１で同時接続数４４を満たしていれば、今回新たに登録するＳ６９で得られた時刻について時間をずらす処理をＳ７２で行う。Ｓ７２では、Ｓ６９の該当時刻に運用情報１８のマージン時間４６を加算することで、時間をずらし新しい時刻を生成する。このときの演算は加算のみでなく、減算でも、加算と減算の交互でもかまわない。

Ｓ７３とＳ７４は、図２のＳ２７とＳ２８と同様の動作を行なう。
以上のようにしても、多数の機器からのデータ収集において、図１のような構成を備え、データ収集対象からのデータ収集時の負荷調整用に、接続数を考慮図２４に示したアルゴリズムを適用するので、収集スケジュールをずらして単位時間当たりのデータ収集接続数を一定にする効果がある。

本実施の形態における軽負荷にしたデータ収集を行なう他のデータ収集装置１ｈの動作を説明する。
図２４は、上記他のデータ収集装置１ｈの動作を示すフローチャートである。全体のシステム構成は図１と同様であり、図１の負荷分散スケジュール生成部７ｈの動作が以下のようになる。即ちデータ転送量を考慮する。
負荷分散スケジュール生成部７ｈの動作を示す図２５において、Ｓ７５は、図１８から図２３に示す負荷分散スケジュールによって決定された、データ収集日付と時刻を読み込むステップである。Ｓ７６では、該当スケジュールの日時からスケジュール管理テーブル１６のデータを入力し、同一の日時が設定されたスケジュールを検索して、データ収集装置１への該当スケジュールの転送データ量を得る。Ｓ７７で運用情報１８のデータ転送量４５と、Ｓ７６で得られたデータ転送量とを比較し、Ｓ７６の該当日時のデータ転送量が運用情報１８のデータ転送量４５未満であれば、Ｓ７９以降のステップでスケジュールを確定する。Ｓ７７において該当日時のデータ転送量が運用情報１８のデータ転送量４５を満たしていれば、今回新たに登録するＳ７５で得られた時刻について時間をずらす処理をＳ７８で行う。Ｓ７８では、Ｓ７５の該当時刻に運用情報１８のマージン時間４６を加算し、時間をずらして新しい時刻を生成する。この演算は加減算であってよい。
Ｓ７９とＳ８０は、図２のＳ２７とＳ２８と同様の動作を行なう。
以上のようにしても、データ収集において図１のような構成を備え、図２５に示すアルゴリズムを適用するので、単位時間当たりのデータ収集量を一定にする効果がある。

この発明の実施の形態１ないし実施の形態３におけるデータ収集システムの構成を示す図である。実施の形態１における負荷分散スケジュール作成部が行う負荷分散スケジュール生成動作と、データ収集装置が行なうデータ収集動作を示すフローチャートである。実施の形態１におけるＣＰＵ使用量情報の例を示す図である。実施の形態１におけるネットワーク使用量情報の例を示す図である。実施の形態１における蓄積データ量情報の例を示す図である。実施の形態１におけるＣＰＵ使用履歴情報の例を示す図である。実施の形態１におけるネットワーク使用量履歴情報の例を示す図である。実施の形態１におけるデータ量履歴情報の例を示す図である。実施の形態１におけるスケジュール管理テーブルの例を示す図である。実施の形態１における収集対象情報の例を示す図である。実施の形態１における運用情報の例を示す図である。実施の形態１における収集スケジュール情報の例を示す図である。実施の形態１におけるＣＰＵ使用量入力蓄積部が行なう動作フローを示す図である。実施の形態１におけるネットワーク使用量入力蓄積部が行なう動作フローを示す図である。実施の形態１における蓄積データ量入力蓄積部が行なう動作フローを示す図である。収集対象毎に得られる、ある時間単位でのＣＰＵ使用履歴の例を示したグラフである。収集対象毎に得られる、ある時間単位でのネットワーク使用履歴の例を示したグラフである。収集対象毎に得られる、ある時間単位での蓄積データ量の例を示したグラフである。実施の形態２における負荷分散スケジュール作成部が行う負荷分散スケジュール生成動作を示すフローチャートである。実施の形態３における負荷分散スケジュール作成部が行う動作フローチャートである。実施の形態３における他の負荷分散スケジュール作成部が行う動作フローチャートである。実施の形態３における他の負荷分散スケジュール作成部が行う動作フローチャートである。実施の形態３における他の負荷分散スケジュール作成部が行う動作フローチャートである。実施の形態３における他の負荷分散スケジュール作成部が行う動作フローチャートである。実施の形態３における他の負荷分散スケジュール作成部が行う動作フローチャートである。従来のデータ収集における負荷分散方式の構成を示す図である。

符号の説明

１データ収集装置、２データ収集対象、３ネットワーク、４ＣＰＵ使用量算出蓄積部、５ネットワーク使用量算出蓄積部、６蓄積データ量算出蓄積部、７負荷分散スケジュール生成部、８管理部、９データ受信部、１０ＣＰＵ使用量情報、１１ネットワーク使用量情報、１２蓄積データ量情報、１３ＣＰＵ使用量履歴情報、１４ネットワーク使用量履歴情報、１５データ量履歴情報、１６スケジュール管理テーブル、１７収集対象情報、１８運用情報、１９収集スケジュール情報、２０収集データベース、２１実行ログ記憶部、２２収集対象名、２３ＩＰアドレス、２４日付、２５時刻、２６ＣＰＵ番号、２７ＣＰＵ使用量、２８ＮＩＣ番号、２９ネットワーク使用量、３０収集対象ファイル名、３１蓄積データ量、３２収集日付、３３収集時刻、３４収集データ量、３５ＮＩＣ数、３６ＣＰＵ数、３７情報更新時間間隔、３８転送データ閾値、３９ＣＰＵ使用量計算間隔、４０ネットワーク使用量計算間隔、４１履歴開始日付、４２ＣＰＵ利用閾値、４３ネットワーク利用閾値、４４同時接続数、４５データ転送量、４６マージン時間。

Claims

プロセッサを有しネットワークに分散配置された複数のデータ収集対象機器からデータを収集するスケジュールを生成するデータ収集装置において、
上記複数のデータ収集対象機器それぞれについて上記プロセッサの使用率の履歴を記憶するプロセッサ使用量算出蓄積部と、
上記複数のデータ収集対象機器それぞれについて上記ネットワークの使用率の履歴を記憶するネットワーク使用量算出蓄積部と、
上記複数のデータ収集対象機器それぞれについて、上記プロセッサ使用量算出蓄積部が記憶したプロセッサの使用率の履歴と、上記ネットワーク使用量算出蓄積部が記憶したネットワークの使用率の履歴とに基づいて、複数の時間帯それぞれにおける上記プロセッサの使用率の平均値を算出し、上記複数の時間帯のうち、算出したプロセッサの使用率の平均値が最も低い時間帯に含まれる複数の時刻それぞれにおける上記ネットワークの使用率の平均値を算出し、上記複数の時刻のうち、算出したネットワークの使用率の平均値が最も低い時刻を、上記データ収集対象機器からデータを収集する時刻とするスケジュールを生成する負荷分散スケジュール生成部とを備えることを特徴とするデータ収集装置。
プロセッサを有しネットワークに分散配置された複数のデータ収集対象機器からデータを収集するスケジュールを生成するデータ収集装置において、
上記複数のデータ収集対象機器それぞれについて上記プロセッサの使用率の履歴を記憶するプロセッサ使用量算出蓄積部と、
上記複数のデータ収集対象機器それぞれについて上記ネットワークの使用率の履歴を記憶するネットワーク使用量算出蓄積部と、
上記複数のデータ収集対象機器の各データ収集対象機器について、上記プロセッサ使用量算出蓄積部が記憶したプロセッサの使用率の履歴と、上記ネットワーク使用量算出蓄積部が記憶したネットワークの使用率の履歴とに基づいて、複数の時間帯それぞれにおける上記ネットワークの使用率の平均値を算出し、上記複数の時間帯のうち、算出したネットワークの使用率の平均値が最も低い時間帯に含まれる複数の時刻それぞれにおける上記プロセッサの使用率の平均値を算出し、上記複数の時刻のうち、算出したプロセッサの使用率の平均値が最も低い時刻を、上記データ収集対象機器からデータを収集する時刻とするスケジュールを生成する負荷分散スケジュール生成部とを備えることを特徴とするデータ収集装置。
上記データ収集装置は、更に、
上記複数のデータ収集対象機器それぞれから収集するデータのデータ量を記憶する蓄積データ量算出蓄積部を有し、
上記負荷分散スケジュール生成部は、複数のデータ収集対象機器について、同一の時刻を、データを収集する時刻とするスケジュールを生成した場合に、上記複数のデータ収集対象機器それぞれについて上記蓄積データ量算出蓄積部が記憶したデータ量に基づいて、上記データ量が多いデータ収集対象機器から先にデータを収集するスケジュールを生成することを特徴とする請求項１または請求項２記載のデータ収集装置。
請求項１乃至請求項３のいずれか記載のデータ収集装置と、
プロセッサを有し、ネットワークに分散配置され、上記データ収集装置が生成したスケジュールに基づいて、指定された時刻に上記データ収集装置に対してデータを送信する複数のデータ収集対象機器とを有することを特徴とするデータ収集システム。
プロセッサを有するデータ収集装置が、プロセッサを有しネットワークに分散配置された複数のデータ収集対象機器からデータを収集するスケジュールを生成するデータ収集方法において、
上記プロセッサが、上記複数のデータ収集対象機器それぞれについて、複数の時間帯それぞれにおける上記プロセッサの使用率の平均値を算出し、
上記プロセッサが、上記複数のデータ収集対象機器それぞれについて、上記複数の時間帯のうち、算出したプロセッサの使用率の平均値が最も低い時間帯に含まれる複数の時刻それぞれにおける上記ネットワークの使用率の平均値を算出し、
上記プロセッサが、上記複数のデータ収集対象機器それぞれについて、上記複数の時刻のうち、算出したネットワークの使用率の平均値が最も低い時刻を、上記データ収集対象機器からデータを収集する時刻とするスケジュールを生成することを特徴とするデータ収集方法。
プロセッサを有するデータ収集装置が、プロセッサを有しネットワークに分散配置された複数のデータ収集対象機器からデータを収集するスケジュールを生成するデータ収集方法において、
上記プロセッサが、上記複数のデータ収集対象機器それぞれについて、複数の時間帯それぞれにおける上記ネットワークの使用率の平均値を算出し、
上記プロセッサが、上記複数のデータ収集対象機器それぞれについて、上記複数の時間帯のうち、算出したネットワークの使用率の平均値が最も低い時間帯に含まれる複数の時刻それぞれにおける上記プロセッサの使用率の平均値を算出し、
上記プロセッサが、上記複数のデータ収集対象機器それぞれについて、上記複数の時刻のうち、算出したプロセッサの使用率の平均値が最も低い時刻を、上記データ収集対象機器からデータを収集する時刻とするスケジュールを生成することを特徴とするデータ収集方法。