WO2017130390A1

WO2017130390A1 - 計算機システム及び分散データ処理の監視方法

Info

Publication number: WO2017130390A1
Application number: PCT/JP2016/052727
Authority: WO
Inventors: 青木　英郎; 田中　剛; 理竹内; 茂木　和彦; 一智牛嶋; 有哉礒田; 知広花井
Original assignee: 株式会社日立製作所
Priority date: 2016-01-29
Filing date: 2016-01-29
Publication date: 2017-08-03

Abstract

データを生成する第１の計算機を含む１以上の拠点と、拠点で生成されたデータに対してデータ処理を実行する第２の計算機を含む管理拠点とを有し、第２の計算機がデータ処理を実行するデータ処理部と監視部をペアとしたデータ処理パッケージを生成してストレージに格納し、第２の計算機がデータ処理パッケージでデータ処理を実行する拠点の順序を設定した実行プランを生成して、当該実行プランに設定された拠点の第１の計算機にデータ処理パッケージを移動させ、第１の計算機がストレージからデータ処理パッケージを起動してデータ処理部でデータ処理の実行を開始し、データ処理部が所定の状態となったときに監視部が第２の計算機へ所定の状態を通知する。

Description

計算機システム及び分散データ処理の監視方法

　本発明は、分散コンピューティングシステムで実行するデータ処理の監視システム及び方法に関する。

　計算機と通信の技術が発達し、処理を複数の計算機に分散して実行する技術が普及している。分散した処理の実行を監視するために、特許文献１では、マネージャがエージェントからトランザクションのトレースデータを収集する。特許文献２では、任意のタスク数に分割可能なジョブを実行するための技術であり、コンピュータで処理したジョブのタスク数を監視する進捗監視部と、タスクを分割する分割処理部と、結果をマージするマージ処理部を呼び出すプラグインを含むことで、移動及び分割するジョブを監視する。特許文献３では、インフラストラクチャー（クラウド管理システム）がアプリケーション及びクラウド間の接続の双方を監視する。

特開２０１３－５０９５０号公報特許第４３０８２４１号公報特表２０１４－５１５５２２号公報

　地理的に分散した拠点のデータセンタで生成されたデータを分析する場合、大規模な計算資源を持つ中央のデータセンタにデータをコピーして、分析可能なデータ形式に変換してデータウェアハウスなどに格納し、中央のデータセンタの計算機でデータを処理する方法が広く普及している。この方法では、処理の対象とならないデータもデータセンタにコピーするためネットワーク帯域や通信コストがかかるだけでなく、拠点と中央のデータセンタの両方でデータ管理が必要となり運用コストが増大する、という問題があった。

　上記従来例のように分散処理の手法を適用し、たとえば、データのコピーを行わず、データの処理を各拠点で実行する手法が知られている。しかし、データではなく処理を拠点毎に分散して実行させる手法では、分析などの処理を実行する利用者と計算機システムの管理者が、分析プログラムの実行状況を少ない通信量で監視する必要ある。この際、企業等の組織においては、データの利用及び活用は拡大しているため、拠点のデータセンタや計算ノードの増加に対応する必要がある。

　上記特許文献１では、分散した拠点で実行される処理を利用者と管理者が常に監視するためには、監視期間中に各エージェントから常に最新データを取得する必要がある。特許文献２についても、利用者と管理者は、センターコンソールに問い合わせを行い、センターコンソールが拠点毎の各計算ノードから処理の進捗状況を取得することになる。特許文献３に記載の方法では、インフラストラクチャへの問い合わせにより、処理の実行状況を取得することができる。

　これらの従来例では、拠点（計算ノード）を移動しながら実行される処理を、中央のデータセンタで監視すると、計算ノードの数やプログラム数が増えると通信量が増大するという問題があった。

　そこで本発明は、分散した拠点間を移動して実行される処理を、中央のデータセンタで監視する際に、拠点と中央のデータセンタ間の通信量を抑制することを目的とする。

　本発明は、プロセッサとメモリを有してデータを生成する第１の計算機を含む拠点を１以上有し、プロセッサとメモリを有して前記拠点で生成されたデータに対してデータ処理を実行する第２の計算機を含む管理拠点とを有する計算機システムであって、前記第２の計算機は、前記データ処理を実行するデータ処理部と、当該データ処理部を監視する監視部をペアとして設定したデータ処理パッケージを生成して、前記第１の計算機及び第２の計算機でアクセス可能なストレージに格納し、前記第２の計算機は、前記データ処理パッケージでデータ処理を実行する前記拠点の順序を設定した実行プランを生成し、前記第２の計算機は、前記実行プランに設定された拠点の前記第１の計算機に前記データ処理パッケージを移動させ、前記第１の計算機は、前記ストレージから前記データ処理パッケージを起動して前記データ処理部で前記データ処理の実行を開始して、前記データ処理の実行結果を前記ストレージに格納し、前記第１の計算機は、前記データ処理部が所定の状態となったときに前記監視部で前記第２の計算機へ前記所定の状態を通知する。

　本発明によれば、拠点間を動的に移動して分散して実行されるデータ処理部の監視を、少ない通信量で実現することができる。

本発明の第１の実施例を示し、計算機システムの一例を示すブロック図である。本発明の第１の実施例を示し、計算機システムで行われる拠点毎のデータ処理の一例を示すシーケンス図である。本発明の第１の実施例を示し、物理計算機の一例を示すブロック図である。本発明の第１の実施例を示し、本社のデータセンタの一例を示すブロック図である。本発明の第１の実施例を示し、拠点１のデータセンタの一例を示すブロック図である。本発明の第１の実施例を示し、本社監視部の一例を示すブロック図である。本発明の第１の実施例を示し、拠点監視部の一例を示すブロック図である。本発明の第１の実施例を示し、クエリ実行ＶＭの一例を示すブロック図である。本発明の第１の実施例を示し、拠点情報の一例を示す図である。本発明の第１の実施例を示し、監視設定テーブルの一例を示す図である。本発明の第１の実施例を示し、拠点監視テーブルの一例を示す図である。本発明の第１の実施例を示し、本社の実行クエリテーブルの一例を示す図である。本発明の第１の実施例を示し、本社監視ログの一例を示す図である。本発明の第１の実施例を示し、拠点監視テーブルの一例を示す図である。本発明の第１の実施例を示し、拠点の実行クエリテーブルの一例を示す図である。本発明の第１の実施例を示し、分析実行画面の一例を示す図である。本発明の第１の実施例を示し、計算機システムで行われる分析開始処理の一例を示すシーケンス図である。本発明の第１の実施例を示し、計算機システムで行われるクエリ実行ＶＭの起動処理の一例を示すシーケンス図である。本発明の第１の実施例を示し、計算機システムで行われるクエリ実行ＶＭの移動処理の一例を示すシーケンス図である。本発明の第１の実施例を示し、計算機システムで行われる分析処理の一例を示すシーケンス図である。本発明の第１の実施例を示し、監視を行う場合の分析実行画面の一例を示す図である。本発明の第１の実施例を示し、監視設定画面の一例を示す図である。本発明の第１の実施例を示し、運用管理者が使用する管理表示部ＧＵＩの一例を示す図である。本発明の第１の実施例を示し、本社監視部で行われる処理の一例を示すフローチャートの前半部である。本発明の第１の実施例を示し、本社監視部で行われる処理の一例を示すフローチャートの後半部である。本発明の第１の実施例を示し、周期的収集部で行われる処理の一例を示すフローチャートである。本発明の第１の実施例を示し、イベント通知部で行われる処理の一例を示すフローチャートである。本発明の第１の実施例を示し、拠点監視部で行われる処理の一例を示すフローチャートである。本発明の第２の実施例を示し、計算機システムの一例を示すブロック図である。本発明の第２の実施例を示し、計算機システムの一例を示すブロック図である。本発明の第２の実施例を示し、拠点の一例を示すブロック図である。本発明の第２の実施例を示し、計算機システムで行われる分析開始処理の一例を示すシーケンス図である。本発明の第２の実施例を示し、計算機システムで行われるコンテナ実行ＶＭの移動処理の一例を示すシーケンス図である。本発明の第３の実施例を示し、計算機システムで行われる拠点毎のデータ処理の一例を示すシーケンス図である。

　以下、本発明の一実施形態について添付図面を用いて説明する。

　図１は、本発明を適用する計算機システムの一例を示すブロック図である。図示の例では、本社のデータセンタ（以下、本社）１０と、工場などで構成される１以上の拠点１～３のデータセンタ（以下、拠点）１００－１～１００－３に、分散して設置された１以上の物理計算機１１がネットワーク６００を介して接続された計算機システムを示している。なお、以下の説明では、拠点全体を示すときは「－」以下のない符号１００で示し、個々の拠点を特定する際には、「－」以下を付加した符号１００－１～１００－３を採用する。なお、他の構成要素の符号についても同様である。

　各拠点１００－１～１００－３では、仮想化技術により、１以上の仮想計算機（Virtual Machine、以下ＶＭとする）が１以上の物理計算機１１上で稼働する。なお、以下では１つの拠点１００に１以上の物理計算機１１が含まれる例を示すが、１つの拠点１００（または本社１０）に複数の物理計算機１１が含まれてもよい。

　本社１０には、データの分析を行うユーザＶＭ２０と、データ処理やＶＭを管理する本社管理ＶＭ３０と、各拠点１００へ移動（マイグレーション）してデータ処理プログラム５１で拠点１００毎にデータ処理を実行するクエリ実行ＶＭ５０が稼働し、データを格納する本社ローカルストレージ９０が含まれる。なお、クエリ実行ＶＭ５０は拠点１００間で移動可能なデータ処理プログラム５１の実行環境として機能する。

　拠点１００－１には、工場などの生産管理を行って生産情報を生成する拠点生産管理ＶＭ１１０－１と、データ処理やＶＭを管理する拠点管理ＶＭ１２０－１と、生産情報やプログラムを格納する拠点ローカルストレージ１３０－１と、本社１０または他の拠点１００から移動してデータ処理プログラム５１を実行するクエリ実行ＶＭ５０が含まれる。拠点１００－２、１００－３も、拠点１００－１と同様の構成である。

　拠点１００－１～１００－３では、工場の生産管理と生産管理のデータ処理が行われる。拠点１００で稼働する拠点生産管理ＶＭ１１０は、製品の生産情報(例えば、生産履歴、在庫部品、工程など)をデータ１３１として管理する。拠点生産管理ＶＭ１１０が管理するデータ１３１は、拠点１００に含まれるローカルストレージ１３０に格納される。各拠点１００は、データ１３１をデータベースとして提供する。なお、データ１３１は、データベースに限定されるものではなく、ログや画像などのファイルでもよい。

　また、各拠点１００は、所定のタイミングでデータ１３１のカタログを本社１０の拠点情報管理部３８に通知する。拠点情報管理部３８は、各拠点１００で生成されたデータ１３１の概要をカタログによって管理する。カタログは、各拠点１００で生産された製品の識別子や期間や数などの情報を含む。なお、カタログは拠点情報３９に含めるようにしてもよい。

　なお、各拠点１００のデータ１３１の概要はカタログに限定されるものではなく、各拠点１００で保有されるデータ１３１がどのような情報を含んでいるかを取得できればよい。例えば、分析処理で検索対象となるデータ１３１の項目の有無が、データの概要に含まれていればよい。これにより、本社管理ＶＭ３０は、検索を実施すべき拠点１００－１～１００－３を特定することができる。

　本社１０及び各拠点１００のローカルストレージ９０、１３０の記憶領域の一部は、計算機システム上で共有される共有仮想ストレージ４００を構成する。共有仮想ストレージ４００には、本社１０及び拠点１００間を移動するクエリ実行ＶＭ５０のイメージファイル（またはスナップショット）４１０や、データ処理プログラム５１やデータ処理監視部５２のプログラムや各拠点１００で実施した分析処理の結果などが格納される。

　本社１０では、経営の見える化、ビッグデータ処理を活用した知見を抽出するためのデータ分析処理が行われる。本発明では、データ（生産情報）を各拠点１００に置いたまま、クエリ実行ＶＭ５０を移動（巡回）させて拠点１００毎に分析処理を行う。そして、各拠点１００毎の分析処理の結果を共有仮想ストレージ４００に格納して、本社１０のユーザＶＭ２０の分析プログラム２１で分析する。これにより、生産情報などの大量のデータを拠点１００から移動することなく分析することが可能となる。

　分析を実現する手法としては、ユーザＶＭ２０のデータ分析プログラム２１で、検索、集計などのデータ処理内容を定義し、定義したデータ処理プログラム５１と、データ処理プログラムの実行環境であるクエリ実行ＶＭ５０を各拠点１００に移動させて順次実行させる。

　そして、分析対象の拠点１００について分析処理が完了すると、ユーザＶＭ２０の分析プログラム２１が共有仮想ストレージ４００から分析処理の結果を取得して所定の分析または集計を行う。そして、本社１０のユーザＶＭ２０は、分析結果または集計結果を入出力装置に出力する。

　図２は、計算機システムで行われる拠点１００毎のデータ処理の一例を示すシーケンス図である。ユーザＶＭ２０の分析処理の一例として、各拠点１００で生産された製品の数と不良率を分析する。

　この場合、クエリ実行ＶＭ５０が拠点１００－１～１００－３で順次データ処理を実施することで、ユーザＶＭ２０は目的のデータを取得することができる。まず、本社１０では分析プログラム２１で処理内容を決定して、データ処理プログラム５１の定義を生成する（Ｓ８１）。データ処理プログラム５１の定義は、例えば、拠点１００毎の処理対象データの日時や種類と、データを処理するクエリの設定などを含むことができる。

　そして、ユーザＶＭ２０は、クエリ実行ＶＭ５０を起動してデータ処理プログラム５１の定義を設定してから、クエリ実行ＶＭ５０を拠点１００－１～１００－３に順次移動させてデータ処理プログラム５１を実行する。各拠点１００では、データ処理プログラム５１が１以上のクエリを発行し、クエリの実行結果を共有仮想ストレージ４００へ格納する（Ｓ８２～Ｓ８４）。

　各拠点１００のデータ処理が完了すると次の拠点１００へ移動してデータ処理を再開する。そして、クエリ実行ＶＭ５０は、データ処理の結果を共有仮想ストレージ４００に格納する。

　クエリ実行ＶＭ５０は、最後の拠点１００－３でデータ処理が完了すると、本社１０にデータ処理の完了を通知する。本社１０ではユーザＶＭ２０が、共有仮想ストレージ４００からデータ処理結果を取得して集計し、分析結果を入出力装置に出力する（Ｓ８５）。

　クエリ実行ＶＭ５０は、後述するように、拠点１００－１を移動する度に本社１０に通知を送信することで、ネットワーク６００の通信量が増大するのを抑制しながら、本社１０でクエリ実行ＶＭ５０の監視を実現する。

　なお、図２では、ひとつのクエリ実行ＶＭ５０を３つの拠点１００間で移動させて、順次データ処理を実行する例を示したが、本社１０が複数のクエリ実行ＶＭ５０を生成可能であれば、複数のクエリ実行ＶＭ５０を各拠点１００に複製して、並列的にデータ処理を実行させてもよい。

　図３は、物理計算機１１の一例を示すブロック図である。物理計算機１１は、本社１０及び拠点１００で使用される。

　物理計算機１１は、演算処理を行うプロセッサ６０と、プログラムやデータを保持するメモリ７０と、データやプログラムを格納する不揮発性メモリ８１と、ネットワーク６００に接続されて他の物理計算機１１等と通信を行うネットワークインタフェース８４と、ローカルストレージ９０、１３０に接続されてデータ１３１等の読み書きを行うストレージインタフェース８６と、入出力装置８５に接続されたＩ／Ｏプロセッサ８３と、プロセッサ６０に接続されたディスプレイ８２を含む。

　プロセッサ６０は、ヘテロジニアスのマルチコアプロセッサで構成され、複数のＣＰＵコア６１－１～６１－４と、複数のＧＰＵコア６２－１～６２－４を含む。また、プロセッサ６０は、メモリ７０及び不揮発性メモリ８１に接続されるメモリコントローラ６３と、ディスプレイ８２に接続されるディスプレイコントローラ６５と、Ｉ／Ｏプロセッサ８３、ネットワークインタフェース８４及びストレージインタフェース８６に接続されるＩ／Ｏコントローラ６４とを含む。入出力装置８５としては、キーボードやマウスを含む。

　メモリ７０には、ハイパーバイザ７１がロードされてプロセッサ６０によって実行される。ハイパーバイザ７１は１以上の論理区画を提供し、図示の例では、ゲストＯＳ７２－１を実行するユーザＶＭ２０と、ゲストＯＳ７２－２を実行するクエリ実行ＶＭ５０と、ゲストＯＳ７２－３を実行する本社管理ＶＭ３０に物理計算機１１のリソースを割り当てる。なお、仮想的な計算機を実現するソフトウェアとしてハイパーバイザ７１を採用する例を示したが、同様の機能を有するホストＯＳを用いることができる。

　ゲストＯＳ７２上では、後述するように、データベース管理システムや管理ソフトウェアといったミドルウェアや、データベースにクエリを発行するデータ処理プログラムなどのアプリケーションが稼働する。

　ストレージインタフェース８６に接続されるローカルストレージ９０、１３０は、ＨＤＤ（Hard Disk Drive）に加え、フラッシュメモリを使用した二次記憶装置であるＳＳＤ（Solid State Drive）を含むことができる。また、本社１０及び各拠点１００のローカルストレージ９０、１３０の記憶領域は、後述の共有仮想ストレージ管理部によって他の物理計算機１１に共有される。共有されたローカルストレージの記憶領域は、共有仮想ストレージ４００として各物理計算機１１からアクセスすることができる。

　図４は、本社１０の機能部位の一例を示すブロック図である。本社１０では、物理計算機１１上でユーザＶＭ２０と本社管理ＶＭ３０が稼働しており、必要に応じてクエリ実行ＶＭ５０が生成される。

　ユーザＶＭ２０は、各拠点のデータを分析するデータ分析者が利用する仮想計算機である。ユーザＶＭ２０は、データ分析者の指令に応じてクエリ実行ＶＭ５０を生成し、各拠点１００でデータ処理を実行させる。

　ユーザＶＭ２０では、分析プログラム２１とデータ処理マスタプログラム２２及び分析監視部２３が稼働する。分析プログラム２１は、分析処理の設計と実行が可能なソフトウェアであり、設計を容易にするＧＵＩを含む。分析プログラム２１は、例えば、Ｐｅｎｔａｈｏなどを採用することができる。

　本実施例１の分析プログラム２１は、データ分析者がデータの所在を考慮しなくても分析が実施できるようにデータ処理マスタプログラム２２へ分析処理の実行を指令する。データ処理マスタプログラム２２は、本社管理ＶＭ３０に問い合わせて分析処理の実行プラン５３を生成し、分析に必要なデータ処理プログラム５１の起動と、分析処理を実行する拠点１００へのクエリ実行ＶＭ５０の移動指令を行う。

　分析監視部２３は、各拠点１００の監視部及びクエリ実行ＶＭ５０のデータ処理監視部５２と連携して、ユーザＶＭ２０の分析プログラム２１と本社管理ＶＭ３０に対して分析処理の監視情報を提供する。

　クエリ実行ＶＭ５０は、ユーザＶＭ２０の指令に応じてハイパーバイザ７１が生成し、ユーザＶＭ２０の指令に基づいて他の拠点１００へ移動する。クエリ実行ＶＭ５０は、各拠点１００でデータ処理を実行するデータ処理プログラム５１と、クエリ実行ＶＭ５０及びデータ処理プログラム５１を監視するデータ処理監視部５２と、データ処理マスタプログラム２２が生成したデータ処理プログラム５１の実行プラン５３を含む。

　分析における実際のデータ処理は、各拠点１００へ移動したクエリ実行ＶＭ５０のデータ処理プログラム５１が実行する。データ処理監視部５２は、データ処理プログラム５１の実行及びクエリ実行ＶＭ５０の移動に関する監視を行う。

　計算機システムの運用管理者は、本社管理ＶＭ３０を利用して計算機システムの稼働状況を監視する。本社管理ＶＭ３０は、拠点１００ごとの稼働状況（拠点情報３９）を管理する拠点情報管理部３８と、本社１０の稼働状況を管理する本社監視部３３と、クエリ実行ＶＭ５０の実行プラン５３を生成する本社実行プラン生成部３１と、クエリ実行ＶＭ５０を配置してデータ処理プログラム５１を実行する拠点１００を決定する本社プログラム配置部３２と、ネットワーク６００や共有仮想ストレージ４００へのアクセスを制御する本社Ｉ／Ｏ制御部３５と、ローカルストレージ９０の記憶領域を他の拠点１００の物理計算機１１と共有して共有仮想ストレージ４００を生成する共有仮想ストレージ管理部３４と、監視情報などをディスプレイ８２へ出力する管理表示部３６と、を含む。なお、管理表示部３６は、入出力装置８５からの操作を受け付けるＧＵＩを含む。

　拠点情報管理部３８は、各拠点１００で実行可能な機能等を管理する。本社実行プラン生成部３１は、分析プログラム２１の実行の際に、処理対象のデータがどの拠点１００に保持されているかを判定して、クエリ実行ＶＭ５０の移動プランを生成する。

　本社Ｉ／Ｏ制御部３５は、共有仮想ストレージ４００へのＩ／Ｏアクセスやネットワーク６００へのアクセスを制御する。また、本社Ｉ／Ｏ制御部３５は、ネットワーク６００の帯域を収集する機能を含む。

　共有仮想ストレージ管理部３４は、本社１０と拠点１００でのローカルストレージ９０、１３０の記憶領域を結合して共有仮想ストレージ４００を生成する。本社プログラム配置部３２は、データ処理マスタプログラム２２からの指令に基づいて、実行プラン５３やＩ／Ｏデバイスの稼働状況（帯域など）を加味し、実際にデータ処理プログラム５１を実行する拠点１００をクエリ実行ＶＭ５０の移動先として決定する。そして、本社プログラム配置部３２は、移動先の拠点１００の拠点プログラム配置部１２２にクエリ実行ＶＭ５０の移動を通知して、データ処理プログラム５１の実行環境を移動する。

　本社監視部３３は、後述するように、クエリ実行ＶＭ５０（データ処理プログラム５１）の移動に関する基本情報を管理し、運用管理者が使用する管理表示部３６のＧＵＩへの監視情報の提供を行う。

　本社１０の分析監視部２３と、データ処理監視部５２と、拠点情報管理部３８と、本社実行プラン生成部３１と、本社プログラム配置部３２と、本社監視部３３と、本社Ｉ／Ｏ制御部３５と、共有する共有仮想ストレージ管理部３４の各機能部はプログラムとしてメモリ７０にロードされ、プロセッサ６０によって実行される。

　プロセッサ６０は、各機能部のプログラムに従って処理することによって、所定の機能を提供する機能部として稼働する。例えば、プロセッサ６０は、分析監視プログラムに従って処理することで分析監視部２３として機能する。他のプログラムについても同様である。さらに、プロセッサ６０は、各プログラムで実行する複数の処理のそれぞれの機能を提供する機能部としても稼働する。計算機及び計算機システムは、これらの機能部を含む装置及びシステムである。

　分析監視部２３や本社監視部３３などの各機能を実現するプログラム、テーブル等の情報は、ローカルストレージ９０や不揮発性メモリ８１、ハードディスクドライブ、ＳＳＤ等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。

　図９は、拠点情報３９の一例を示す図である。拠点情報３９には、拠点情報管理部３８が管理する拠点１００－１～１００－３及び本社１０の情報が格納される。拠点情報３９は、本社１０や拠点１００の地名などを格納する名前３９１と、拠点管理ＶＭ１２０及び本社管理ＶＭ３０のＩＰアドレスを格納するＩＰアドレス３９２と、拠点プログラム配置部１２２及び本社プログラム配置部３２が使用するポート番号を格納するポート番号３９３と、拠点実行プラン生成部１２１及び本社実行プラン生成部３１が使用するポート番号を格納するポート番号３９４と、拠点監視部１２３及び本社監視部３３が使用するポート番号を格納するポート番号３９５と、拠点Ｉ／Ｏ制御部１２５及び本社Ｉ／Ｏ制御部３５が使用するポート番号を格納するポート番号３９６と、共有仮想ストレージ管理部１２４、３４が使用するポート番号を格納するポート番号３９７と、近接する拠点１００または本社１０の名称を格納する近隣拠点３９８と、をひとつのエントリに含む。

　拠点情報３９には、データ分析者や運用管理者がプログラムやコマンドから名前で各拠点１００の拠点管理ＶＭ１２０や本社１０の本社管理ＶＭ３０にアクセスするための文字列やＩＰアドレスが管理されている。また、拠点情報３９には、分散した拠点１００の管理及びプログラムの配置に関するプログラムに接続するためのポート番号の情報も格納されている。さらに、拠点情報３９には、それぞれの拠点１００から近い拠点１００の名称も格納されている。本実施例１では、近隣の拠点１００の情報として拠点１００の名前が格納されているが、各拠点１００との距離を示すデータを用いてもよい。

　また、国外の拠点１００を含む場合には、拠点情報３９には、本社１０と各拠点１００との時差を加え、また、各拠点１００の休日などによる稼動休止の情報を含むようにしてもよい。

　図５は、拠点１００－１の機能部位の一例を示すブロック図である。なお、拠点１００－２、１００－３は、拠点１００－１と同様の構成であるので重複した説明は省略する。

　拠点１００－１は、工場などの生産管理を行って生産情報を生成する生産管理ＶＭ１１０と、拠点１００－１を管理する拠点管理ＶＭ１２０－１と、当該拠点１００－１の生産情報についてデータ処理を実行するクエリ実行ＶＭ５０とを含む。なお、クエリ実行ＶＭ５０は、データ処理プログラム５１の実行時に当該拠点１００－１に生成される。また、各ＶＭはローカルストレージ１３０－１に接続された物理計算機１１－１～１１－ｎに生成される。

　生産管理ＶＭ１１０－１は、工場で製造した製品などの生産情報をデータ１３１として生成して、ローカルストレージ１３０－１に格納する生産管理プログラム１１１－１を含む。

　拠点管理ＶＭ１２０－１は、拠点実行プラン生成部１２１－１と、拠点プログラム配置部１２２－１と、拠点監視部１２３－１と、拠点Ｉ／Ｏ制御部１２５－１と、共有仮想ストレージ管理部１２４－１を含む。

　拠点実行プラン生成部１２１－１は、当該拠点１００－１においてクエリ実行ＶＭ５０で実行されるデータ処理プログラム５１の実行プラン５３を生成する。実行プラン５３は、例えば、ローカルストレージ１３０－１に格納されているデータ（生産情報）１３１のうち処理対象のデータの範囲や種類などを含むことができる。

　拠点プログラム配置部１２２－１は、本社１０や他の拠点１００から移動してきたクエリ実行ＶＭ５０を受け付けて、当該拠点１００－１に移動させる。拠点Ｉ／Ｏ制御部１２５は、本社１０と拠点１００間で共有する共有仮想ストレージ４００やネットワーク６００へのアクセスを制御する。

　共有仮想ストレージ管理部１２４－１は、ローカルストレージ１３０－１の記憶領域をネットワーク６００を介して他の拠点１００の物理計算機１１と共有する共有仮想ストレージ４００を生成及び管理する。

　拠点監視部１２３－１は、拠点プログラム配置部１２２－１と本社１０の本社監視部３３及びクエリ実行ＶＭ５０と情報の授受を行って、データ処理プログラム５１の移動状態の管理と、データ処理プログラム５１の稼動状態の監視を行う。また、拠点監視部１２３－１は、生産管理プログラム１１１－１の稼動状態を管理する。なお、拠点１００－１の上記機能部位は、本社１０と同様にプログラムで構成することができる。

　図６は、本社監視部３３の一例を示すブロック図である。本社１０の本社管理ＶＭ３０で稼動する本社監視部３３は、イベント受付部３３１と、イベント通知部３３２と、ＩＤ管理部３３３及び周期的収集部３３４の機能部と、監視設定テーブル３０１と、拠点監視テーブル３０２と、実行クエリテーブル３０３及び本社監視ログ３０４を含む。各機能部はプログラムで構成される。

　イベント受付部３３１は、本社監視部３３に到達する各種通知（イベント）を受け付ける。イベント通知部３３２は、到着したイベントの内容に応じて、本社監視部３３の状態を変更したり、他の機能部を呼出してイベントの処理を実行する。

　ＩＤ管理部３３３は、計算機システム上で分散して実行するデータ処理プログラム５１を監視するために、計算機システムで一意のグローバルなＩＤ（識別子）を管理する。ＩＤ管理部３３３は、起動したデータ処理プログラム５１に対して新規にＩＤを発行し、監視対象としてテーブルに登録する登録部３３０１と、実行が完了したデータ処理プログラム５１を監視対象から外す実行終了部３３０２と、各拠点１００で実行されるデータ処理プログラム５１間の関係を設定する関係設定部３３０３を含む。

　図１０は、監視設定テーブル３０１の一例を示す図である。監視設定テーブル３０１には、本社監視部３３が管理するＩＤ及び本社管理ＶＭ３０の設定に関する情報が格納される。監視設定テーブル３０１は、Ｎｅｘｔ＿ＩＤ３０１０と、拠点毎のクエリ数監視３０１１と、長時間実行クエリの監視３０１２と、拠点毎の実行時間監視３０１３と、ユーザタイムアウトの監視３０１４と、イベント通知先３０１５のフィールドを含む。

　Ｎｅｘｔ＿ＩＤ３０１０は、次回の登録依頼で新規のクエリ実行ＶＭ５０（データ処理プログラム５１の実行）に割当てるＩＤを格納する。その他のフィールドは、主に図２２の監視設定画面２９０でデータ分析者（または運用管理者）が設定した情報を格納する。

　拠点毎のクエリ数監視３０１１は、拠点１００ごとにデータ処理プログラム５１が発行しているクエリの数の監視を実施するか否かを格納する。「ＹＥＳ」であれば監視が行われ、「ＮＯ」であれば監視は実行されない。長時間実行クエリの監視３０１２は、クエリの実行時間が所定の上限に達するのを監視するか否かを格納する。

　拠点毎の実行時間監視３０１３は、実行時間の上限を格納する。後述する周期的収集部３３４は、実行時間の上限が０でなければ拠点１００ごとのデータ処理プログラム５１の実行時間を監視する。

　ユーザタイムアウトの監視３０１４が「ＹＥＳ」であれば、ユーザ（データ分析者）によって予め設定されたタイムアウト時間でデータ処理プログラム５１の実行時間が監視される。イベント通知先３０１５には、本社監視部３３が、各拠点１００から監視イベントを検出した際に、いずれのプログラムに情報を通知するかを登録する。図１０では、本社管理ＶＭ３０の管理表示部３６が指定されている様子を示している。

　図１１は、拠点監視テーブル３０２の一例を示す図である。拠点監視テーブル３０２は、各拠点１００で実行されているクエリの数を集計するための情報が格納されている。

　拠点監視テーブル３０２は、拠点１００の識別子を格納する拠点３０２０と、拠点１００の名称を格納する拠点名３０２１と、当該拠点１００で実行されているクエリの数を格納するクエリ数３０２２をひとつのエントリに含む。

　図１２は、実行クエリテーブル３０３の一例を示す図である。実行クエリテーブル３０３は、計算機システム上で実行されているデータ処理プログラム５１（クエリ実行ＶＭ５０）ごとの状態を保持する。実行クエリテーブル３０３は、ＩＤ３０３１と、親ＩＤ３０３２と、現在の拠点３０３３と、クエリ開始時刻３０３４と、拠点開始時刻３０３５と、ユーザタイムアウト設定３０３６と、通知済みログＩＤ３０３７とをひとつのエントリに含む。

　ＩＤ３０３１は、本社管理ＶＭ３０が当該データ処理プログラム５１を稼動させるクエリ実行ＶＭ５０のデータ処理プログラム５１に割り当てたＩＤが格納される。親ＩＤ３０３２は、データ処理プログラム５１のクエリが複数のクエリに分割して処理される場合には、クエリ間の関係を保持するため、親となる上位のクエリのＩＤが格納される。現在の拠点３０３３は、現在データ処理プログラム５１を実行している拠点１００の名称または識別子が格納される。

　クエリ開始時刻３０３４は、生成されたクエリ実行ＶＭ５０が本社監視部３３に登録された時刻を示している。また拠点開始時刻３０３５は、クエリ実行ＶＭ５０が最新の拠点１００に移動してデータ処理プログラム５１の実行を開始した時刻が格納される。ユーザタイムアウト設定３０３６は、クエリ実行ＶＭ５０を実行したデータ分析者が、タイムアウトを指定しているか否かが格納される。タイムアウトが指定された場合は、予め設定したタイムアウト時間が図示しないフィールドに格納される。通知済みログＩＤ３０３７には、当該データ処理プログラム５１の監視イベントのログのＩＤが格納される。監視イベントのログのＩＤは、データ処理監視部５２が付与する。通知済みログＩＤ３０３７によって、どのログまで本社管理ＶＭ３０へ通知したかを取得することができる。

　図１３は、本社監視ログ３０４の一例を示す図である。本社監視ログ３０４は、本社監視部３３が記録するデータ処理プログラム５１の稼働状況を示すログである。本社監視ログ３０４は、ログＩＤ３０４１と、時刻３０４２と、ＩＤ３０４３と、イベント３０４４とをひとつのエントリに含む。

　ログＩＤ３０４１は、各イベントのログを一意に識別する情報を格納する。ログＩＤ３０４１は、本社監視部３３が生成する情報である。時刻３０４２は、本社監視ログ３０４にイベントのログが格納された日時である。ＩＤ３０４３には、イベントが発生したデータ処理プログラム５１のＩＤが格納される。イベント３０４３には、イベントの内容が格納される。本社監視ログ３０４は、テーブルの形式で図示されているが、テキストファイルや、ＸＭＬファイル、あるいはＣＳＶファイルなどの形式で保持されてもよい。

　図７は、拠点監視部１２３－１の一例を示すブロック図である。拠点監視部１２３－１は、拠点１００－１の拠点管理ＶＭ１２０－１で実行される。拠点監視部１２３－１は、移動受付部１２６と、状態収集部１２７とＩＤ管理部１２８の機能部と、拠点監視テーブル１１５と、拠点実行クエリテーブル１１６及び拠点監視ログ１１７の情報を含む。

　移動受付部１２６は、本社１０または拠点１００から移動してくるクエリ実行ＶＭ５０（データ処理プログラム５１）を受け付ける。ＩＤ管理部１２８は、拠点１００内のローカルなＩＤを管理する。状態収集部１２７は、拠点１００で実行されているデータ処理プログラム５１が発行したクエリの状態（数など）の収集と、状態の通知を行う。

　図１４は、拠点監視テーブル１１５の一例を示す図である。拠点監視テーブル１１５は、次回の登録依頼で新規のクエリ実行（データ処理プログラム５１の実行）に割当てる拠点１００内のローカルなＩＤを格納するＮｅｘｔ＿ＬｏｃａｌＩＤ１１５１を含む。

　ＮＥＸＴ＿ＬｏｃａｌＩＤ１１５１のローカルなＩＤは、本社監視部３３で割当てるＩＤや、他の拠点１００のローカルＩＤとは異なる体系で設定される。

　図１５は、拠点実行クエリテーブル１１６の一例を示す図である。拠点実行クエリテーブル１１６には、拠点１００内で実行されているデータ処理プログラム５１のクエリに関する情報が格納される。

　拠点実行クエリテーブル１１６は、レコード番号１１６１と、グローバルなＩＤを格納するグローバル１１６２と、ローカルなＩＤを格納するローカル１１６３と、プロセスのＩＤを格納するＰＩＤ１１６４とをひとつのエントリに含む。

　グローバル１１６２には、本社監視部３３が設定した計算機システム内で一意に定まるデータ処理プログラム５１（クエリ実行ＶＭ５０）のＩＤが格納される。ローカル１１６３には、拠点監視部１２３が拠点監視テーブル１１５を用いて設定したローカルなデータ処理プログラム５１のＩＤが格納される。ＰＩＤ１１６４には、データ処理プログラム５１が実行されているＶＭを識別するためのプロセスＩＤが格納される。

　図８は、クエリ実行ＶＭ５０の一例を示すブロック図である。クエリ実行ＶＭ５０は、ＶＭを管理するハイパーバイザ７１（またはホストＯＳ）が提供する仮想的なデバイスである仮想ＣＰＵ５６と、仮想メモリ５５と、仮想ストレージ１３００と、仮想ネットワークインタフェース５７とを含む。なお、クエリ実行ＶＭ５０は、仮想ネットワークインタフェース５７を介して共有仮想ストレージ４００にアクセスすることができる。

　クエリ実行ＶＭ５０は、起動時にゲストＯＳ５４を仮想メモリ５５にロードして、ゲストＯＳ５４が仮想的なデバイスを制御することで、計算機として稼動する。

　仮想ストレージ１３００には、クエリ実行ＶＭ５０に固有のデータが格納されている。クエリ実行ＶＭ５０固有のデータには、ゲストＯＳ５４を構成するファイル、データ処理プログラム５１や、データ処理監視部５２のプログラム及びファイルである。なお、これらの固有のデータは、図１に示したクエリ実行ＶＭ５０のイメージファイル４１０から抽出することができる。

　共有仮想ストレージ４００には、データ処理プログラム５１が処理するデータ１３１が格納される。なお、データ１３１は、図５で示したようにローカルストレージ１３０に格納されるが、共有仮想ストレージ管理部１２４によって、共有仮想ストレージ４００からアクセスできる。データ１３１は、クエリ実行ＶＭ５０だけでなく、他のＶＭからもアクセスでき、複数のＶＭが共有して使用することができる。

　仮想ストレージ１３００は、物理的には、１つまたは複数のファイルで構成され、物理計算機１１が管理するファイルシステムやローデバイスなどの記憶領域に格納される。本実施例１では、仮想ストレージ１３００は、共有仮想ストレージ４００と共に、全ての拠点１００から参照可能な共有の記憶領域を含んでもよい。

　図８では、データ処理プログラム５１と、データ処理を監視するためのデータ処理監視部５２がゲストＯＳ５４上のアプリケーションとして稼動している。図示しているアプリケーションは２つのみだが、他のアプリケーションも実行することができる。

　図１６は、分析実行画面２７０の一例を示す図である。分析実行画面２７０は、ユーザＶＭ２０の分析プログラム２１のＧＵＩが提供し、ディスプレイ８２へ出力する。分析実行画面２７０の上部には分析で実行する手続きのアイコン２７１、２７２が示されている。

　図１６では、所定の製品のデータ１３１を検索するために、すべての拠点１００で所定の製品を検索する処理と、検索した結果を集計してディスプレイ８２へ表示する処理が定義されている。図１６の分析実行画面２７０の中央より下側は、分析処理を実行する際の監視内容が図示されている。実行の監視（２８１）では、データ分析者が指示する分析処理に対して本社管理ＶＭ３０が監視を行うかどうかを設定する。「（監視）する」を選択するとデータ処理プログラム５１の移動に関する情報が実行中のログとして出力される。分析の監視を「しない」場合は、データ処理プログラム５１の実行中に監視情報は分析実行画面２７０へ表示されない。

　データ処理プログラム５１を監視する場合、逐次監視とタイムアウトの設定を選択することができる。逐次監視（２８２）をする場合、データ処理プログラム５１が拠点１００を移動するたびに、情報が分析実行画面２７０に表示される。逐次監視は、データ処理プログラム５１の開発時等の検証に便利な機能である。逐次監視について「しない」を選択した場合、データ処理プログラム５１の移動情報は分析実行画面２７０に表示されない。タイムアウト設定（２８３）は、定義した分析を実行する際に、指定した時間内に処理が完了しない場合は、本社監視部３３が分析処理を打ち切って、ディスプレイ８２にエラーを表示する。分析実行画面２７０の最下部には、分析処理を開始するための実行ボタン２８４と、分析処理中に実行を中断するキャンセルボタン２８５が表示される。

　図１７は、本発明の計算機システムで行われる分析開始処理の一例を示すシーケンス図である。この処理は、ユーザＶＭ２０の分析プログラム２１が提供する分析実行画面２７０で実行ボタン２８４を操作することで開始する。

　ユーザＶＭ２０の分析プログラム２１は、実行ボタン２８４の操作を受け付けて分析処理を開始する（Ｓ１）。分析プログラム２１は、ユーザＶＭ２０のデータ処理マスタプログラム２２を起動する（Ｓ２）。データ処理マスタプログラム２２は、分析プログラム２１の代わりに、各拠点１００にプログラムを移動してデータを処理する起点となるソフトウェアである。分析プログラム２１は、データ処理マスタプログラム２２の起動後に、データ分析者が予め作成しておいたクエリをデータ処理マスタプログラム２２へ通知する。

　データ処理マスタプログラム２２は、分析監視部２３を起動させる（Ｓ３、Ｓ４）。分析監視部２３は、起動が完了するとデータ処理マスタプログラム２２に通信路を確立し接続する（Ｓ５、Ｓ６）。分析監視部２３は、データ処理マスタプログラム２２と接続して、分析プログラム２１の分析実行画面２７０にデータを表示するための情報を共有する。分析監視部２３は、分析プログラム２１と接続する（Ｓ７、Ｓ８）。

　次にデータ処理マスタプログラム２２は、本社管理ＶＭ３０上で稼動している本社実行プラン生成部３１と通信を確立し、データ分析者が定義したクエリを実行するための実行プラン５３の生成を、本社実行プラン生成部３１に要求する（Ｓ９）。

　本社実行プラン生成部３１は、入力としてクエリを取得し、各拠点１００の拠点生産管理ＶＭで生成されたデータ１３１のカタログを取得し、拠点情報管理部３８が管理する拠点情報３９を取得して、クエリの各部分をどの拠点１００で実行するかを算出する。

　本社実行プラン生成部３１は、例えば、クエリの検索部分を抽出し、検索対象の項目を取得する。そして、本社実行プラン生成部３１は、各拠点１００のカタログを参照して、検索対象の項目を含む拠点１００を検索対象の拠点として選択する。これにより、データ１３１に検索対象の項目を含まない拠点１００を除外することで、拠点１００毎に大量のデータ１３１を保持ししている場合では、不要な検索処理の実行を回避することで分析処理の高速化を図ることができる。

　そして、本社実行プラン生成部３１は、クエリを実行する拠点１００－１～１００－３の順序を計算する。クエリを実行する拠点１００の順序は、例えば、本社実行プラン生成部３１は、拠点情報３９を参照して営業時間外や休日などで現在稼動を休止している拠点１００から分析処理を実行するように、各拠点１００の順序を設定する。

　本社実行プラン生成部３１は、例えば、現在本社１０が営業時間中であれば、国外の拠点１００で営業時間外の拠点１００から分析処理を開始し、その他の拠点１００の順序をラウンドロビン等で決定する。営業時間外等で休止中の拠点１００を優先して分析処理を実行させることにより、拠点１００の物理計算機１１の負荷やネットワークの負荷が過大になるのを防いで、処理速度を向上させることができる。

　本社実行プラン生成部３１は、クエリの部分毎に実行する拠点１００を決定し、実行する拠点１００の順序を決定して実行プラン５３として生成する（Ｓ１０）。本社実行プラン生成部３１は、生成された実行プラン５３をデータ処理マスタプログラム２２へ応答する。

　図１８は、計算機システムで行われるクエリ実行ＶＭ５０の起動処理の一例を示すシーケンス図である。図１８の処理は、上記図１７の処理に続いて実行される。実行プラン５３を受信したデータ処理マスタプログラム２２は、クエリ実行ＶＭ５０を生成し、起動する（Ｓ２１、Ｓ２２）。データ処理マスタプログラム２２は、ハイパーバイザ７１に通知してクエリ実行ＶＭ５０用の論理区画を確保させ、共有仮想ストレージ４００のイメージファイル４１０を用いてクエリ実行ＶＭ５０を起動させる。

　クエリ実行ＶＭ５０が起動すると、データ処理マスタプログラム２２は、予め定義された計算機システムの設定や、クエリの定義に基づき、分析処理及び監視に必要となるソフトウェアをクエリ実行ＶＭ５０にインストールする（Ｓ２３、Ｓ２４）。具体的には、データ処理プログラム５１及びデータ処理監視部５２のプログラムであり、共有仮想ストレージ４００（またはローカルストレージ９０）から読み込んでクエリ実行ＶＭ５０にインストールする。また、データ処理マスタプログラム２２は、生成された実行プラン５３をクエリ実行ＶＭ５０にコピーする。

　クエリ実行ＶＭ５０は、ソフトウェアのインストールが終了すると、データ処理監視部５２を起動して、クエリ実行ＶＭ５０上で発生する監視イベントと、クエリ実行ＶＭ５０に通知される監視イベントの処理を開始する（Ｓ２５、Ｓ２６）。

　次に、データ処理マスタプログラム２２は、本社管理ＶＭ３０上で稼動する本社プログラム配置部３２に、データ処理プログラム５１を実行するクエリ実行ＶＭ５０の移動を要求する（Ｓ２７）。データ処理マスタプログラム２２は、実行プラン５３を本社プログラム配置部３２に通知して、クエリ実行ＶＭ５０の移動先を要求する。

　また、データ処理マスタプログラム２２は、稼動の準備が整ったクエリ実行ＶＭ５０を停止させる（Ｓ３１）。そして、データ処理マスタプログラム２２は、クエリ実行ＶＭ５０のイメージファイル（またはスナップショット）４１０を生成して共有仮想ストレージ４００に格納する。すなわち、データ処理監視部５２を起動させた後、かつ、データ処理プログラム５１を起動する前の状態でクエリ実行ＶＭ５０を停止させ、クエリ実行ＶＭ５０のイメージファイル４１０を生成する。

　このイメージファイル４１０を拠点１００で再開することで、データ処理監視部５２を稼動させてからデータ処理プログラム５１を開始することができる。また、データ処理監視部５２の設定は既に完了しているので、拠点１００でイメージファイル４１０からクエリ実行ＶＭ５０を再開する度に、通知先など設定を行う必要はない。これにより、本社１０と拠点１００間の通信量を削減できる。

　本社管理ＶＭ３０の本社プログラム配置部３２は、本社１０から移動させるクエリ実行ＶＭ５０の情報と、実行プラン５３等の情報を受け取る。そして、本社プログラム配置部３２は、実行プラン５３と、拠点情報管理部３８が管理する拠点情報３９から、クエリ実行ＶＭ５０のデータ処理プログラム５１を移動する拠点１００を決定する（Ｓ２８）。

　分析処理の開始後にクエリ実行ＶＭ５０を本社１０から拠点１００に移動させる場合（最初の移動）、本社プログラム配置部３２は、移動するクエリ実行ＶＭ５０のデータ処理プログラム５１のグローバルなＩＤの登録を、本社管理ＶＭ３０の本社監視部３３に依頼する（Ｓ２９）。

　本社監視部３３は、イベント受付部３３１にてＩＤの登録要求を受け付け、ＩＤ管理部３３３を用いて、移動の対象となるクエリ実行ＶＭ５０のデータ処理プログラム５１に対して計算機システム内で一意のＩＤを割り当てる（Ｓ３０）。本社監視部３３は、クエリ実行ＶＭ５０のデータ処理プログラム５１に割り当てたグローバルなＩＤを本社プログラム配置部３２に通知する。本社監視部３３は、移動対象のクエリ実行ＶＭ５０のデータ処理プログラム５１に割り当てたグローバルなＩＤと、イベントの内容として”登録”を本社監視ログ３０４に追加する。

　図１９は、計算機システムで行われるクエリ実行ＶＭの移動処理の一例を示すシーケンス図である。図１９の処理は、上記図１８の処理に続いて実行される。本社プログラム配置部３２は、クエリ実行ＶＭ５０の移動要求を受け付けて、ＩＤ登録と移動先の決定が完了すると、移動先の拠点１００－１で稼動する拠点プログラム配置部１２２－１に対してクエリ実行ＶＭ５０の移動命令を発行する（Ｓ４１）。移動命令には、クエリ実行ＶＭ５０のデータ処理プログラム５１に付与されたグローバルなＩＤが含まれる。

　拠点プログラム配置部１２２－１は、他拠点１００の拠点プログラム配置部１２２や本社１０の本社監視部３３からクエリ実行ＶＭ５０の移動命令を受信すると、共有仮想ストレージ４００から移動対象となったクエリ実行ＶＭ５０の情報（イメージファイル４１０等）を読み込む。さらに拠点プログラム配置部１２２－１は、当該クエリ実行ＶＭ５０を当該拠点１００で実行するために必要なプロセッサ６０と、メモリ７０及びローカルストレージ１３０－１など計算機資源を確保する（Ｓ４２）。

　拠点プログラム配置部１２２－１は、計算機資源の確保が完了すると、移動対象のクエリ実行ＶＭ５０を再開する（Ｓ４３、Ｓ４４）。すなわち、拠点プログラム配置部１２２－１は、ハイパーバイザ７１に通知してクエリ実行ＶＭ５０用の論理区画を確保させ、共有仮想ストレージ４００のイメージファイル４１０を用いてクエリ実行ＶＭ５０を起動させる。

　なお、計算機システムに共有仮想ストレージ４００が用意されていない場合、または、共有仮想ストレージ４００の容量が不足していた場合には、イメージファイル４１０を移動前の本社１０（または拠点１００）から当該拠点１００へコピーまたは移動して実行を再開してもよい。また、拠点プログラム配置部１２２及びクエリ実行ＶＭ５０は、ＶＭの再開にあたり、共有仮想ストレージ４００としてアクセスするストレージ装置を当該拠点１００のローカルストレージ１３０－１に変更してもよい。

　拠点プログラム配置部１２２－１は、クエリ実行ＶＭ５０の再開を指示した後に、拠点監視部１２３－１にクエリ実行ＶＭ５０の移動の受付を要求する（Ｓ４５）。

　拠点監視部１２３－１は、拠点プログラム配置部１２２－１からクエリ実行ＶＭ５０の移動受付の要求を受信すると、図１７に示した移動受付部１２６、ＩＤ管理部１２８により、当該クエリ実行ＶＭ５０に関してローカルＩＤの割当てを行い、拠点プログラム配置部１２２－１に受付の完了を通知する（Ｓ４６）。

　拠点プログラム配置部１２２－１は、拠点監視部１２３－１から移動受付の完了通知を受信すると、再開したクエリ実行ＶＭ５０上で稼動しているデータ処理監視部５２に移動完了を通知する（Ｓ４８）。拠点プログラム配置部１２２－１は、また、クエリ実行ＶＭ５０の移動命令を発行した本社プログラム配置部３２に移動完了を通知する（Ｓ４９）。

　本社プログラム配置部３２は本社監視部３３に移動が完了したクエリ実行ＶＭ５０のＩＤを通知する。本社管理ＶＭ３０の本社プログラム配置部３２は、クエリ実行ＶＭ５０の移動を要求したデータ処理マスタプログラム２２に移動の結果を通知する（Ｓ５０、Ｓ５１）。上記処理によって、クエリ実行ＶＭ５０は、実行プラン５３に基づいて本社１０から拠点１００－１へ移動することができる。

　図２０は、計算機システムで行われる分析処理の一例を示すシーケンス図である。図２０の処理は、上記図１９の処理に続いて実行される。

　データ処理監視部５２は、図１９に示した拠点プログラム配置部１２２－１から移動完了の通知を受信すると、データ処理プログラム５１を起動させ、クエリによるデータ処理を開始させる（Ｓ６１）。データ処理プログラム５１は、分析プログラム２１によって定義されたクエリを発行して、各拠点１００のデータ１３１に対して予め定義された処理を開始する（Ｓ６２）。

　データ処理プログラム５１は、クエリによるデータ処理が開始されるとデータ処理監視部５２に当該データ処理プログラム５１の移動（またはデータ処理の開始）が完了したことを通知する。データ処理監視部５２は、データ処理プログラム５１からの移動完了通知を受信すると、本社１０のユーザＶＭ２０の分析監視部２３に、データ処理プログラム５１の移動が完了したことを通知し、また、データ処理を開始した現在の拠点の識別子（または名称）を通知する（Ｓ６３）。

　分析監視部２３は、拠点１００－１のクエリ実行ＶＭ５０でデータ処理プログラム５１が分析処理を開始したことによって移動の完了通知を受信すると（Ｓ６４）、分析プログラム２１に分析処理の進捗状況を通知する（Ｓ６５）。通知の内容は、拠点１００の名称と、データ処理プログラム５１から移動完了の通知を受信した時刻を含むことができる。分析プログラム２１は、分析処理の進捗状況をディスプレイ８２へ出力する（Ｓ６６）。分析プログラム２１が表示する分析処理の進捗状況の画面は、データ分析者が利用する分析プログラム２１のＧＵＩで表示される。

　データ処理監視部５２は、データ処理プログラム５１が所定の状態になると、データ処理プログラム５１の状態と拠点１００の名称を、本社１０の分析監視部２３に自発的に通知する。これにより、本社１０の分析監視部２３は、データ処理プログラム５１を追跡することなく、監視を行うことが可能となって、ネットワーク６００の負荷を低減できる。

　なお、データ処理監視部５２が本社１０の分析監視部２３へ通知を行うデータ処理プログラム５１の所定の状態としては、例えば、データ処理の開始（移動完了）、データ処理の終了、実行プラン５３などを含むことができる。

　次に、分析監視部２３は、本社監視部３３に対して、移動イベントを通知する（Ｓ６７）。移動イベントは、データ処理プログラム５１を実行するクエリ実行ＶＭ５０のＩＤと、移動完了の通知を受信した時刻を含む。本社監視部３３は、移動イベントを受信すると（Ｓ６８）、クエリ実行ＶＭ５０のＩＤとイベントの内容として拠点１００－１への移動完了を本社監視ログ３０４に追加する。

　本社管理ＶＭ３０で運用管理者が管理表示部３６のＧＵＩで分析の実行状況を監視している場合、本社監視部３３の周期的収集部３３４によりデータ処理プログラム５１の監視情報を収集する（Ｓ６９）。この処理は、後述するように所定の周期で繰り返して実行される。監視情報には、長時間実行クエリの数や、拠点毎のデータ処理プログラム５１の実行時間やユーザ設定のタイムアウト等が含まれる。管理表示部３６は受信した監視情報を取得してディスプレイ８２に監視情報を出力する（Ｓ７０、Ｓ７１）。管理表示部３６が表示する監視情報は、運用管理者が利用する管理表示部３６のＧＵＩで表示される。

　なお、図示はしないが、データ処理プログラム５１は、クエリの処理（データ処理）が完了すると、分析処理の結果を共有仮想ストレージ４００へ格納し、データ処理監視部５２へデータ処理の完了と、次の拠点１００への移動を通知する。データ処理監視部５２は、ステップＳ６３以降と同様に本社１０の分析監視部２３へデータ処理の完了と、次の拠点１００への移動を通知する。

　分析監視部２３は、データ処理プログラム５１が次の拠点１００へ移動するイベントを生成し、本社監視部３３へ通知する。本社監視部３３は、イベントを受信すると、クエリ実行ＶＭ５０のＩＤとイベントの内容として拠点１００－１からの移動を本社監視ログ３０４に追加する。

　分析処理が完了したクエリ実行ＶＭ５０は、拠点プログラム配置部１２２－１に実行プラン５３に従って次の拠点１００への移動を要求する。そして、図１８、図１９と同様にして、次の拠点１００へクエリ実行ＶＭ５０を移動させて再開させる。

　すなわち、図１８、図１９の本社プログラム配置部３２に代わって、拠点１００－１の拠点プログラム配置部１２２－１が、クエリ実行ＶＭ５０を停止させてから、実行プラン５３に記載された次の拠点１００へ移動させる。

　クエリ実行ＶＭ５０が実行プラン５３の最後の拠点１００で分析処理を完了すると、一連のクエリ実行ＶＭ５０に分析処理は完了する。この後、本社１０のユーザＶＭ２０の分析プログラム２１によって、共有仮想ストレージ４００に格納された各拠点１００の分析処理結果が処理される。

　以上の処理によって、データ処理プログラム５１と当該データ処理プログラム５１を監視するデータ処理監視部５２をペアとして、各拠点１００に移動させて順次データ処理を実行することができる。そして、データ処理監視部５２は、所定のタイミング（移動の完了、次の拠点への移動開始など）でデータ処理プログラム５１の稼働状態を本社１０の分析監視部２３へ自発的に通知することで、本社１０の分析監視部２３はデータ処理プログラム５１の状態と所在を監視することができる。これにより、本社１０の分析監視部２３は拠点１００に対して問合せを行う必要がないので、ネットワーク６００の負荷を低減することが可能となる。

　また、本社１０の分析監視部２３は、データ処理監視部５２から受信した通知をデータ分析者が利用する分析プログラム２１のＧＵＩと、運用管理者が利用する管理表示部３６のＧＵＩに振り分けて出力することができる。

　また、クエリ実行ＶＭ５０の移動は、データ処理マスタプログラム２２がクエリ実行ＶＭ５０を一旦起動させて、分析処理に必要なソフトウェアをインストールした後に、停止させ、クエリ実行ＶＭ５０のイメージファイル４１０を生成する。そして、移動先の拠点１００では、イメージファイル４１０を読み込んでクエリ実行ＶＭ５０を再開させることで、クエリ実行ＶＭ５０を本社１０と拠点１００間及び拠点１００間で移動させることが可能となる。

　図２１は、監視を行う場合の分析実行画面２７０（第１の管理画面）の一例を示す図である。データ分析者が図１６に示した分析実行画面２７０で「実行の監視」２８１を「する」に設定した場合に各拠点１００で実行されるクエリ実行ＶＭ５０のデータ処理プログラム５１の監視結果がディスプレイ８２へ出力される。

　分析プログラム２１は、分析処理を開始するとＧＵＩとしての分析実行画面２７０の下部に監視領域２７３を表示する。また、分析プログラム２１は、分析実行画面２７０の上部のアイコンのうち現在実行中の処理を表示する。図示の例では、データ処理プログラム５１のクエリを各拠点１００でデータ１３１の検索処理を実行している状態を示す。

　監視領域２７３には、監視対象のクエリ実行ＶＭ５０のデータ処理プログラム５１の所在と状態が表示される。監視領域２７３に表示される情報は、図２０のステップＳ６６に示す分析状況出力に対応し、データ処理プログラム５１を監視するデータ処理監視部５２からの通知に基づくものである。

　図示の監視領域２７３には、１０：０１：００に監視対象のデータ処理プログラム５１が拠点１（１００－１）で分析処理を開始し、１０：０１：３０に拠点１での分析処理を終了し、１０：０２：００に拠点２へ移動して分析処理を開始したことを示す。

　なお、データ処理監視部５２は、本社管理ＶＭ３０に対しても同様の情報を通知するため、データ分析者に提供する分析プログラム２１のＧＵＩと、運用管理者が監視に用いる管理表示部３６のＧＵＩにも同様の情報を表示することが可能である。

　図２２は、本社管理VM３０で設定する監視設定画面２９０の一例を示す図である。監視設定画面２９０は、運用管理者へ監視内容を選択させるために表示管理部３６のＧＵＩに反映され、ディスプレイ８２へ出力されるものである。この監視内容は、データ分析者が図１６に示した分析実行画面２７０で「実行の監視」２８１を「する」に設定した項目も含まれる。

　監視設定画面２９０は項目２９１～２９６について、「する（Ｙｅｓ）」または「しない（Ｎｏ）」の何れかを選択するチェックボックスが表示される。項目２９１は、実行中のクエリを監視するか否かを設定する。項目２９２は、拠点１００毎に実行中のクエリの数を監視するか否かを設定する。項目２９３は、所定時間を超えて実行されるクエリを監視するか否かを設定する。項目２９４は、実行時間が設定値を超えるクエリを監視するか否かを設定する。項目２９５は、ひとつの拠点１００での実行時間が設定値を超えるクエリを監視するか否かを設定する。項目２９６は、データ分析者が設定したタイムアウトを監視するか否かを設定する。

　上記の監視設定によって、データ処理監視部５２は、移動先の拠点１００でデータ処理プログラム５１の状態を監視し、設定された条件を満たすと本社１０のユーザＶＭ２０の分析監視部２３へ通知する。分析監視部２３はデータ処理監視部５２から通知を受け付けると、本社監視部３３に通知を転送し、運用管理者が利用する管理表示部３６のＧＵＩに出力する。

　図２３は、運用管理者が使用する管理表示部３６のＧＵＩ（第２の管理画面）の一例を示す図である。図示の例は、管理表示部３６がディスプレイ８２に出力するＧＵＩとしてのクエリ監視画面３６０である。クエリ監視画面３６０は、図２２の監視設定画面２９０でクエリの監視を設定し、分析処理を実行した場合の表示例を示している。

　図中上部の表示領域には、実行中のクエリ数（３６２）と、設定した時間を超えて実行されたクエリの数（３６３）が表示される。図中下部の表示領域には、拠点１００毎に実行中のクエリの数（３６４）と、データ処理プログラム５１のＩＤを設定するフィールド３６５と、設定されたＩＤのデータ処理プログラム５１の状況を表示する領域３６６が表示される。

　特定のデータ処理プログラム５１に関する領域３６６の情報は、データ分析者が利用する分析実行画面２７０に表示される情報と同様の情報を表示することができる。

　図２４、図２５は、本社管理ＶＭ３０の本社監視部３３で行われる処理の一例を示すフローチャートである。このフローチャートは、本社監視部３３のイベント受付部３３１とＩＤ管理部３３３がＩＤ管理に関連するイベントを処理する例を示している。図２４は、フローチャートの前半部を示す。図２５は、フローチャートの後半部を示す。この処理は本社監視部３３が通知（イベント）を受け付けたときに実行される。

　本社監視部３３のイベント受付部３３１は、イベントを受け付けるとイベントの種類を判定する（Ｓ１１１）。イベント受付部３３１は、イベントの種類がＩＤ管理のイベントでなければ、図２５に示す処理を実行する。イベント受付部３３１は、イベントの種類がＩＤ管理であれば、ＩＤ管理のイベントの種類に対応した処理を実行する（Ｓ１１２）。

　イベント受付部３３１は、イベントの種類が登録であれば、ＩＤ管理部３３３を呼び出してステップＳ１１３～Ｓ１１５の処理を実行する（Ｓ１１２）。ＩＤ管理部３３３は、図１０の監視設定テーブル３０１のＮｅｘｔ＿ＩＤ３０１０を用いて新規のＩＤを取得する（Ｓ１１３）。また、ＩＤ管理部３３３は、現在時刻を取得して（Ｓ１１４）、取得した新規のＩＤと時刻を実行クエリテーブル３０３に登録する（Ｓ１１５）。本社監視部３３はまた、同時に登録するクエリに関して現在の拠点１００とユーザタイムアウトの設定の有無についても登録する。本社監視部３３は、実行クエリテーブル３０３に登録したことを登録のイベントとして本社監視ログ３０４に記録して終了する（Ｓ１２６）。

　イベント受付部３３１は、イベントの種類が移動であれば、ステップＳ１１７～Ｓ１１９の処理を実行する（Ｓ１１６）。本社監視部３３は、図２０のステップＳ６７、Ｓ６８で示したように移動の通知に含まれているデータ処理プログラム５１に割り当てたＩＤの情報から、実行クエリテーブル３０３を検索して該当するエントリを検索する（Ｓ１１７）。

　本社監視部３３は、実行クエリテーブル３０３の該当するエントリで現在の拠点３０３３を移動先の拠点に更新する（Ｓ１１８）。また、本社監視部３３は、現在時刻を取得して実行クエリテーブル３０３の該当するエントリのクエリ開始時刻３０３４を更新する（Ｓ１１９）。本社監視部３３は、実行クエリテーブル３０３に登録したことを登録のイベントとして本社監視ログ３０４に記録して処理を終了する（Ｓ１２６）。

　イベント受付部３３１は、イベントの種類が終了であれば、ステップＳ１２０、Ｓ１２１、Ｓ１２６の処理を実行する（Ｓ１２０）。本社監視部３３は、上記移動のイベントと同様に実行クエリテーブル３０３を検索し、該当するＩＤのエントリを検索し、実行クエリテーブル３０３から削除する（Ｓ１２１）。また、イベント受付部３３１は、実行クエリテーブル３０３の親ＩＤとして、終了する当該ＩＤが設定されたエントリを検索し、存在していれば、親ＩＤのカラムから終了するＩＤの情報を削除する。

　本社監視部３３は、終了イベントを受け付けた結果、実行クエリテーブル３０３から該当ＩＤを削除したことを本社監視ログ３０４に記録して終了する（Ｓ１２６）。

　イベント受付部３３１は、イベントの種類が関係の設定であれば、ステップＳ１２４～Ｓ１２６を実行する（Ｓ１２３）。

　本社監視部３３は、入力として設定の対象となるＩＤと親となるＩＤを受け付ける。本社監視部３３は、実行クエリテーブル３０３から設定対象となるＩＤを持つエントリを検索する（Ｓ１２４）。本社監視部３３は、該当するエントリの親ＩＤとして、入力で指定されたＩＤを設定して実行クエリテーブル３０３を更新する（Ｓ１２５）。本社監視部３３は、実行クエリテーブル３０３に登録したことを登録のイベントとして本社監視ログ３０４に記録して処理を終了する（Ｓ１２６）。

　図２５は、本社監視部３３のＩＤ管理以外のイベント受付の処理を示している。これらのイベントは主に、図２３に示した管理表示部のクエリ監視画面を生成するために使用される。

　イベント受付部３３１は、イベントの種類が設定変更であれば、ステップＳ１２８、Ｓ１２９を実行する（Ｓ１２７）。本社監視部３３は、監視設定テーブル３０１で該当する項目を入力された情報に更新する（Ｓ１２８）。本社監視部３３は、監視設定テーブル３０１を更新したことを更新のイベントとして本社監視ログ３０４に記録して処理を終了する（Ｓ１２９）。

　イベント受付部３３１は、イベントの種類が特定の拠点の情報収集であれば、ステップＳ１３１～Ｓ１３４を実行する（Ｓ１３０）。

　本社監視部３３はまず、拠点情報管理部３８に問い合わせて、入力で指定された拠点１００の拠点監視部１２３に接続する情報を入手する（Ｓ１３１）。次に本社監視部３３は、該当する拠点１００の拠点監視部１２３に接続して、データ処理プログラム５１の監視情報を要求する。監視情報は、データ処理監視部５２が取得したクエリの数やクエリの実行時間を含む（Ｓ１３２）。拠点監視部１２３は、データ処理監視部５２から監視情報を取得して本社監視部３３へ応答する（Ｓ１３２）。本社監視部３３は、拠点監視部１２３から監視情報を受信し、結果を出力して処理を完了する（Ｓ１３４）。

　イベント受付部３３１は、イベントの種類が実行クエリ数の問い合わせであれば、ステップＳ１３６～Ｓ１３８を実行する（Ｓ１３５）。

　本社監視部３３は、実行クエリテーブル３０３のエントリの数または拠点監視テーブル３０２のクエリ数３０２２を取得して、実行中のクエリ数として算出して出力する（Ｓ１３６）。イベントとして拠点１００ごとに出力する場合には、本社監視部３３は、拠点監視テーブル３０２の内容を拠点１００ごとに出力する（Ｓ１３７，Ｓ１３８）。

　イベント受付部３３１は、イベントの種類が長時間クエリの監視であれば、ステップＳ１４０～Ｓ１４３を実行する（Ｓ１３９）。

　本社監視部３３は、実行クエリテーブル３０３の拠点開始時刻３０３５から現在までの実行時間を算出し、設定された閾値を超えたデータ処理プログラム５１の数を長時間実行しているクエリ数として計算して、結果を出力する（Ｓ１４０）。実行時間の計算方法は、図２６で説明する。

　イベント受付部３３１は、イベントの種類が特定クエリの詳細表示であれば、ステップＳ１４２～Ｓ４３を実行する（Ｓ１４１）。

　イベントが特定クエリの詳細表示の場合は、入力としてＩＤが含まれている。本社監視部３３は、実行クエリテーブル３０３から該当するＩＤのエントリを検索する。本社監視部３３は、検索結果のエントリの通知済みログＩＤ３０３７以降で、該当するＩＤのイベントを本社監視ログ３０４から検索して出力する（Ｓ１４２）。さらに、本社監視部３３は、実行クエリテーブル３０３の通知済みログＩＤ３０３７を、上記出力した最後のログＩＤに更新して処理を終了する（Ｓ１４３）。

　図２６は、周期的収集部３３４で行われる処理の一例を示すフローチャートである。この処理は、上記図２０のステップＳ６９で行われる処理である。

　周期的収集部３３４は、現在の時刻を取得する（Ｓ１５０）。本社監視部３３の周期的収集部３３４は、監視設定テーブル３０１の長時間実行クエリ監視３０１２を参照し、長時間実行クエリが監視対象となっているか否かを判定（Ｓ１５１）する。周期的収集部３３４は、長時間実行クエリ監視３０１２の値が０より大であれば、監視対象であると判定してステップＳ１５２へ進み、監視対象でない場合にはステップＳ１５５へ進む。

　監視対象となっている場合、周期的収集部３３４は、実行クエリテーブル３０３に登録されている各データ処理プログラム５１について、クエリ開始時刻３０３４と、上記取得した現在の時刻の差を算出する（Ｓ１５２）。周期的収集部３３４は、算出した差が監視時間（長時間実行クエリ監視３０１２の値）よりも大きいデータ処理プログラム５１（図中ＰＧＭ）が存在するか否かを判定する（Ｓ１５３）。

　周期的収集部３３４は、算出した差が監視時間よりも大きいデータ処理プログラム５１が存在する場合にはステップＳ１５４へ進み、そうでない場合にはステップＳ１５５へ進む。ステップＳ１５４で周期的収集部３３４は、本社管理ＶＭ３０のイベント通知部３３２にイベント通知要求を発行し、長時間実行クエリの存在を管理表示部３６へ通知する。

　次に、周期的収集部３３４は、監視設定テーブル３０１の拠点ごとの実行時間監視３０１３の値が０より大であるかを判定する。周期的収集部３３４は、拠点ごとの実行時間監視３０１３の値が０でなければ拠点ごとの実行時間を監視すると判定してステップＳ１５６へ進む。一方、周期的収集部３３４は、拠点ごとの実行時間監視３０１３の値が０の場合にはステップＳ１５９に進む。

　ステップＳ１５６では、周期的収集部３３４が、実行クエリテーブル３０３に登録されている実行中の各データ処理プログラム５１について、拠点開始時刻３０３５と現在時刻の差をそれぞれ算出する。周期的収集部３３４は、算出した差（実行時間）の中で、監視設定テーブル３０１の拠点ごとの実行時間監視３０１３に設定されている時間より大きいデータ処理プログラム５１があるか否かを判定する（Ｓ１５７）。

　周期的収集部３３４は、拠点ごとの実行時間監視３０１３の値を超える実行時間のデータ処理プログラム５１が存在する場合は、本社監視部３３のイベント通知部３３２にイベント通知要求を発行し、実行時間が設定値を超えるデータ処理プログラム５１の存在を管理表示部３６に通知する（Ｓ１５８）。一方、周期的収集部３３４は、拠点ごとの実行時間を監視していない場合は、ステップＳ１５９に進む。

　周期的収集部３３４は、監視設定テーブル３０１のユーザタイムアウト監視３０１４を参照し、データ分析者が設定したタイムアウトが監視対象となっているか否かを判定する（Ｓ１５９）。周期的収集部３３４は、ユーザのタイムアウト監視３０１４が「ＹＥＳ」であれば監視対象であると判定してステップＳ１６０へ進む。一方、周期的収集部３３４は、ユーザのタイムアウト監視３０１４が「ＮＯ」であれば監視対象ではないと判定してステップＳ１６３へ進む。

　タイムアウトが監視対象となっている場合、周期的収集部３３４は、実行クエリテーブル３０３に登録されている各データ処理プログラム５１について、クエリ開始時刻３０３４にユーザによるタイムアウト設定の時間を加算した時刻をタイムアウト時刻として計算する（Ｓ１６０）。周期的収集部３３４は、計算したタイムアウト時刻と現在時刻を比較して、現在時刻がタイムアウト時刻を越えているデータ処理プログラム５１が存在するか否かを判定する（Ｓ１６１）。

　周期的収集部３３４は、現在時刻がタイムアウト時刻を越えているデータ処理プログラム５１が存在する場合、イベント通知部３３２にイベント通知要求を発行して該当するデータ処理プログラム５１の存在を管理表示部３６へ通知する（Ｓ１６２）。

　最後に、周期的収集部３３４は、ステップＳ１６３へ進んで予め設定された時間だけ休止する。周期的収集部３３４は、所定の休止時間を経過した後に、ステップＳ１５０に戻って上記処理を繰り返す。

　図２７は、本社監視部３３のイベント通知部３３２で行われる処理の一例を示すフローチャートである。本社監視部３３のイベント通知部３３２は、図２６のステップＳ１５４、Ｓ１５８、Ｓ１６２に示したイベント通知要求を受け付けたときに本処理を開始する（Ｓ１７０）。

　イベント通知部３３２は、監視設定テーブル３０１のイベント通知先３０１５から要求のあったイベントを通知する対象を取得する（Ｓ１７１）。本実施例では、イベント通知先３０１５として管理表示部３６が設定された例を示す。イベント通知部３３２は、取得したイベント通知先へ、要求のあったイベントの情報を送信する。

　上記処理によって、周期的収集部３３４等が発行したイベント通知要求が、イベント通知先３０１５の管理表示部３６に送信される。

　図２８は、拠点監視部１２３で行われる処理の一例を示すフローチャートである。この処理は、図１９のステップＳ４６で行われる処理である。

　拠点監視部１２３は、受け付けた要求がクエリ実行ＶＭ５０の移動受付の要求であるか否かを判定する（Ｓ１８０）。拠点監視部１２３は、受け付けた要求がクエリ実行ＶＭ５０の移動の受付である場合は、ステップＳ１８１～Ｓ１８７に示す移動受付部１２６の処理を実行する。拠点監視部１２３は、受け付けた要求が移動の受付でない場合は、ステップＳ１８８へ進んで情報収集処理（状態収集部１２７）を実行する。

　ステップＳ１８１で拠点監視部１２３は、移動の受付が他の拠点１００からの移動であるか、別の拠点１００への移動であるかを判定する（Ｓ１８１）。他の拠点から当該拠点１００への移動である場合は、拠点監視部１２３は、拠点監視テーブル１１５のＮｅｘｔ＿ＬｏｃａｌＩＤ１１５１を参照して、拠点１００のローカルＩＤをクエリ実行ＶＭ５０のデータ処理プログラム５１に割り当てる（Ｓ１８２）。

　拠点監視部１２３は、拠点実行クエリテーブル１１６に移動対象のデータ処理プログラム５１のグローバルＩＤ１１６２と、ローカルＩＤ１１６３と、プロセスＩＤ１１６４の情報を登録する（Ｓ１８３）。拠点監視部１２３は、拠点監視ログ１１７に拠点実行クエリテーブル１１６に登録した内容を追加する（Ｓ１８４）。最後に、拠点監視部１２３は、移動を要求した拠点プログラム配置部１２２に受付完了を通知する（Ｓ１８５）。

　一方、拠点監視部１２３は、移動の要求が他の拠点１００への移動であった場合、拠点１００の拠点実行クエリテーブル１１６から、要求があったデータ処理プログラム５１のＩＤのエントリを削除して、削除した記録を拠点監視ログ１１７に追加する（Ｓ１８６、Ｓ１８７）残す。

　拠点監視部１２３は、図２５に示したように本社監視部３３が監視情報の取得を要求した際にも処理を実行する。この場合、データ処理プログラム５１の登録情報や拠点監視ログ１１７などを受け付けた要求に基づいて出力する。

　以上のように、本実施例１では、本社１０の物理計算機１１（第２の計算機）は、データ処理を実行するデータ処理プログラム５１と、当該データ処理プログラム５１を監視するデータ処理監視部５２をペアとして設定したデータ処理パッケージ（クエリ実行ＶＭ５０）を生成して、共有仮想ストレージ４００に格納する。そして、本社１０の物理計算機１１は、データ処理パッケージとしてのクエリ実行ＶＭ５０でデータ処理を実行する拠点１００の順序を設定した実行プラン５３を生成する。本社１０の物理計算機１１は、実行プラン５３に設定された拠点１００の物理計算機１１にデータ処理パッケージを移動させる。この移動は、拠点１００の物理計算機１１が、共有仮想ストレージ４００からデータ処理パッケージを起動してデータ処理プログラム５１でデータ処理の実行を開始する。そして、拠点１００の物理計算機１１は、データ処理プログラム５１が所定の状態となったときにデータ処理監視部５２で本社１０の分析監視部２３へ所定の状態を通知する。

　ここで、データ処理監視部５２が本社１０の分析監視部２３へ通知を行うデータ処理プログラム５１の所定の状態としては、例えば、データ処理の開始（移動完了）、データ処理の終了、実行プラン５３などを含むことができる。

　データ処理監視部５２は、所定のタイミング（移動の完了、次の拠点への移動開始など）でデータ処理プログラム５１の稼働状態と所在を本社１０の分析監視部２３へ自発的に通知することで、本社１０の分析監視部２３はデータ処理プログラム５１の状態と所在を監視することができる。これにより、本社１０の分析監視部２３は拠点１００に対して問合せを行う必要がないので、ネットワーク６００の負荷を低減することが可能となる。

　なお、図示はしないが、本社１０相当の拠点１００は複数あってもよく、各拠点１００でも物理計算機１１の利用者がおり、拠点１００内または分散した拠点１００間の計算資源を用いて分析処理を実行してもよい。

　なお、上記実施例１では、本社実行プラン生成部３１が、時差や休止状態等に基づいて分析処理を実行する拠点１００の順序を決定する例を示したが、これに限定されるものではない。例えば、各拠点１００の拠点Ｉ／Ｏ制御部１２５が、それぞれＩ／Ｏ性能情報（転送速度や頻度（ＩＯＰＳ））を測定して拠点情報管理部３８へ通知しておき、本社実行プラン生成部３１が、Ｉ／Ｏ性能情報を参照して負荷の低い拠点から分析処理を開始させるようにしてもよい。

　上記実施例１では、データ処理プログラム５１とデータ処理監視部５２のデータ処理パッケージを仮想計算機（ＶＭ）として拠点１００－１～１００－３を巡回させる例を示した。これに対し、実施例２では仮想計算機よりも軽量なコンテナ技術でデータ処理パッケージを構成する例を示す。

　図２９は、第２の実施例を示し、計算機システムの一例を示すブロック図である。図２９では、図１とは異なり、データ処理プログラム５１は、ファイルシステムやプロセスＩＤなど計算の環境が各ＶＭから独立したクエリ実行コンテナ５００上で稼動する。

　各拠点１００では、データ分析用のコンテナ（クエリ実行コンテナ５００）を実行するコンテナ実行ＶＭ５０ｃが稼動する。コンテナ実行ＶＭ５０ｃは、実施例１に示したクエリ実行ＶＭ５０が各拠点１００に移動したように、各拠点１００のコンテナ実行ＶＭ５０ｃ上に移動する。

　なお、図２９では、クエリ実行コンテナ５００を実行するコンテナ実行ＶＭ５０ｃが存在しているが、セキュリティや資源保護に関して支障がなければ、クエリ実行コンテナ５００を拠点管理ＶＭ１２０で稼動させたり、各計算機で仮想計算機の実行環境を提供しているホストＯＳ上で実行させたりしてもよい。

　コンテナ実行ＶＭ５０ｃの処理内容は、コンテナ定義ファイルで規定される。コンテナ定義ファイルを管理するコンテナ定義ファイルリポジトリ５７０が本社１０及び各拠点１００から参照可能な共有仮想ストレージ４００に格納される。コンテナの実行環境に必要となるファイルは、コンテナイメージとして管理される。コンテナのイメージは、本社１０及び拠点１００から参照可能な共有仮想ストレージ４００に、コンテナイメージリポジトリ５８０として格納される。

　図２９では、コンテナ定義ファイルリポジトリ５７０とコンテナイメージリポジトリ５８０を共有仮想ストレージ４００に格納した例を示す。

　図３０、図３１は、コンテナ技術を利用する計算機システムの構成を示すブロック図である。図３０は、本社１０の構成を示すブロック図である。図３１は、拠点１００の構成を示すブロック図である。

　まず、本社１０において、前記実施例１との差異を説明する。図３０において、ユーザＶＭ２０では、コンテナ管理部５３０が追加され、クエリ実行ＶＭ５０に代わって、クエリ実行コンテナ５００が稼動する。なお、クエリ実行コンテナ５００の内容は、クエリ実行ＶＭ５０と同様であり、データ処理プログラム５１と、データ処理監視部５２及び実行プラン５３である。本社管理ＶＭ３０では、コンテナ管理部５１０とコンテナクラスタ管理部が追加される。

　次に、拠点１００において、前記実施例１との差異を説明する。図３１において、クエリ実行ＶＭ５０に代わって、クエリ実行コンテナ５００を稼動させるコンテナ実行ＶＭ５０ｃが稼動する。コンテナ実行ＶＭ５０ｃはコンテナ管理部５４０を含む。拠点管理ＶＭ１２０には、コンテナ管理部５５０と、コンテナクラスタ管理部５６０が追加される。

　図２９でも説明した通り、実施例１の図５とは異なり、各拠点１００には、データ処理プログラム５１を実行するクエリ実行コンテナ５００を稼動させるために、コンテナ実行ＶＭ５０ｃが稼動する。

　本社１０及び拠点１００のコンテナ管理部５１０、５３０、５４０、５５０は、クエリ実行コンテナ５００の作成、開始、停止または削除を実行する。コンテナ管理部５１０、５３０、５４０、５５０の具体例としては、Ｄｏｃｋｅｒが挙げられる。

　本社１０及び拠点１００のコンテナクラスタ管理部５２０、５６０は、コンテナ管理部５１０、５３０、５４０、５５０と協調して、複数の物理計算機１１にクエリ実行コンテナ５００を分散して配置して、稼動させるためのソフトウェアである。コンテナクラスタ管理部５２０、５６０は、異なる物理計算機１１に配置された複数のクエリ実行コンテナ５００で通信を行うための仕組みも提供する。コンテナクラスタ管理部５２０、５６０の具体例としては、Ａｐａｃｈｅ　Ｍｅｓｏｓ、Ｋｕｂｅｒｎｅｔｅｓ等を採用することができる。

　次に、データ処理プログラム５１がクエリ実行コンテナ５００で稼動する処理の一例について説明する。

　図３２は、計算機システムで行われるクエリ実行コンテナ５００の起動処理の一例を示すシーケンス図である。図３２の処理は、前記実施例１の図１８の処理に対応し、前記実施例１の図１７に示した実行プラン５３の生成処理の後に行われる。この処理は、本社１０でクエリ実行コンテナ５００を生成する処理である。

　データ処理マスタプログラム２２は、データ処理プログラム５１を実行するクエリ実行コンテナ５００を生成、起動するにあたり、コンテナ定義ファイルを設定する（Ｓ２０１）。データ処理マスタプログラム２２は、分析の対象となるデータ１３１にアクセスするデータ処理プログラム５１と、データ処理監視部５２が実行できるコンテナイメージのコンテナ定義ファイル（テンプレート）をコンテナ定義ファイルリポジトリ５７０から読み出す。データ処理マスタプログラム２２は、読み込んだコンテナ定義ファイルに対し、図１７で生成した実行プラン５３をクエリ実行コンテナ５００にコピーし、データ処理監視部５２が分析監視部２３と通信するために必要なＩＰアドレス、ポート番号の設定をコンテナ定義ファイルに追加する。データ処理マスタプログラム２２は、追加したコンテナ定義ファイルをコンテナ定義ファイルリポジトリ５７０に登録する。

　データ処理マスタプログラム２２は、ユーザＶＭ２０のコンテナ管理部５３０に通知してクエリ実行コンテナ５００の起動を要求する（Ｓ２０２）。コンテナ管理部５３０は、起動の要求を受け付けて（Ｓ２０３）、ユーザＶＭ２０にクエリ実行コンテナ５００を生成して起動させる（Ｓ２０４）。このとき、コンテナ管理部５３０は、データ処理マスタプログラム２２から実行プラン５３を受け付けて、クエリ実行コンテナ５００にコピーしておく。

　クエリ実行コンテナ５００では、データ処理監視部５２を起動させる（Ｓ２０５、Ｓ２０６）。データ処理監視部５２を稼動させることで、クエリ実行コンテナ５００で発生する監視イベントと、クエリ実行コンテナ５００に通知される監視イベントの処理を開始する。

　クエリ実行コンテナ５００のデータ処理監視部５２が起動すると、データ処理マスタプログラム２２は、コンテナ管理部５３０に対して、クエリ実行コンテナ５００の停止を要求し（Ｓ２０７）、コンテナ管理部５３０は、起動したクエリ実行コンテナ５００を停止させる（Ｓ２０８、Ｓ２０９）。

　次に、データ処理マスタプログラム２２は、クエリ実行コンテナ５００のスナップショット（またはイメージファイル）を取得して（Ｓ２１０）、共有仮想ストレージ４００のコンテナイメージリポジトリ５８０に格納する（Ｓ２１１）。これにより、各拠点１００において、コンテナイメージリポジトリ５８０のスナップショットからクエリ実行コンテナ５００を再開することが可能となる。

　次に、データ処理マスタプログラム２２は、本社管理ＶＭ３０上で稼動する本社プログラム配置部３２に、データ処理プログラム５１を実行するクエリ実行コンテナ５００の移動を要求する（Ｓ２１２）。データ処理マスタプログラム２２は、実行プラン５３を本社プログラム配置部３２に通知して、クエリ実行コンテナ５００の移動先を指令する。

　本社管理ＶＭ３０の本社プログラム配置部３２は、本社１０から移動させるクエリ実行コンテナ５００の情報と、実行プラン５３等の情報を受け取る。そして、本社プログラム配置部３２は、実行プラン５３と、拠点情報管理部３８が管理する拠点情報３９から、クエリ実行コンテナ５００を移動する拠点１００を決定する（Ｓ２１３）。

　分析処理の開始後にクエリ実行コンテナ５００を本社１０から拠点１００に移動させる場合（最初の移動）、本社プログラム配置部３２は、移動するクエリ実行コンテナ５００のデータ処理プログラム５１のＩＤの登録を、本社管理ＶＭ３０の本社監視部３３に依頼する（Ｓ２１４）。

　本社監視部３３は、イベント受付部３３１にてＩＤの登録要求を受け取り、ＩＤ管理部３３３を用いて、移動の対象となるクエリ実行コンテナ５００のデータ処理プログラム５１に対して計算機システム内で一意のＩＤを割り当てる（Ｓ２１５）。本社監視部３３は、クエリ実行コンテナ５００のデータ処理プログラム５１に割り当てたＩＤを本社プログラム配置部３２に通知する。本社監視部３３は、移動対象のクエリ実行コンテナ５００のデータ処理プログラム５１に割り当てたグローバルなＩＤと、イベントの内容として”登録”を本社監視ログ３０４に追加する。

　図３３は、計算機システムで行われるクエリ実行コンテナ５００の移動処理の一例を示すシーケンス図である。図３３の処理は、前記実施例１の図１９の処理に対応し、前記実施例１の図１８に示した実行プラン５３の生成処理の後に行われる。この処理は、本社１０で生成したクエリ実行コンテナ５００を拠点１００－１へ移動する処理である。

　本社プログラム配置部３２は、移動先の拠点１００－１に対してデータ処理プログラム５１の移動命令を発行して拠点１００－１の拠点プログラム配置部１２２－１に通知する（Ｓ２２０）。

　拠点プログラム配置部１２２－１は、移動命令として、データ処理プログラム５１のＩＤと、コンテナ定義ファイルの情報、クエリ実行コンテナ５００のスナップショットイメージの情報を受け取る。

　拠点プログラム配置部１２２－１は、コンテナ実行ＶＭ５０ｃを再開させて、拠点１００－１のコンテナ実行ＶＭ５０ｃ上で稼動するコンテナ管理部５４０に復元を依頼する。依頼を受けたコンテナ管理部５４０は、指定されたコンテナ定義ファイルをコンテナ定義ファイルリポジトリ５７０から読み出す。コンテナ管理部５４０は、コンテナイメージリポジトリ５８０より、指定されたコンテナイメージを読み出して、コンテナ実行ＶＭ５０ｃ上のＣＰＵ、メモリなどの計算資源を確保し、コンテナ実行ＶＭ５０ｃ上でクエリ実行コンテナ５００を起動して再開する。

　なお、クエリ実行コンテナ５００の内部から行う通信と、クエリ実行コンテナ５００への通信は、本社１０及び拠点１００－１の管理ＶＭ３０、１２０で稼動するコンテナクラスタ管理部５２０、５６０とコンテナ管理部５１０、５５０に加え、ユーザＶＭ２０と、コンテナ実行ＶＭ５０ｃで稼動するコンテナ管理部５３０、５４０が、ネットワーク６００の設定情報を共有することにより、接続が可能となっている。コンテナ実行ＶＭ５０ｃ再開後の処理は、図２０と同様であるため、記載を割愛する。

　以上のように、実施例２のようにコンテナの技術を適用する場合でも前記実施例１と同様に、データ処理プログラム５１と当該データ処理プログラム５１を監視するデータ処理監視部５２をペアとして、各拠点１００に移動させて順次データ処理を実行することができる。そして、データ処理監視部５２は、所定のタイミング（移動の完了、次の拠点への移動開始など）でデータ処理プログラム５１の稼働状態を本社１０の分析監視部２３へ自発的に通知することで、本社１０の分析監視部２３はデータ処理プログラム５１の状態と所在を監視することができる。これにより、本社１０の分析監視部２３は拠点１００に対して問合せを行う必要がないので、ネットワーク６００の負荷を低減することが可能となる。

　実施例１では、ひとつのクエリ実行ＶＭ５０を、各拠点１００－１～１００－３へ順次移動してデータ処理プログラム５１を稼動させる例を示したが、図３４に示す本実施例３のように、各拠点１００－１～１００－３にそれぞれクエリ実行ＶＭ５０を複製して、並列的に処理を実行させることも可能である。

　＜まとめ＞
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、又は置換のいずれもが、単独で、又は組み合わせても適用可能である。

　また、上記の各構成、機能、処理部、及び処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、及び機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

Claims

　プロセッサとメモリを有してデータを生成する第１の計算機を含む拠点を１以上有し、
　プロセッサとメモリを有して前記拠点で生成されたデータに対してデータ処理を実行する第２の計算機を含む管理拠点とを有する計算機システムであって、
　前記第２の計算機は、前記データ処理を実行するデータ処理部と、当該データ処理部を監視する監視部をペアとして設定したデータ処理パッケージを生成して、前記第１の計算機及び第２の計算機でアクセス可能なストレージに格納し、
　前記第２の計算機は、前記データ処理パッケージでデータ処理を実行する前記拠点の順序を設定した実行プランを生成し、
　前記第２の計算機は、前記実行プランに設定された拠点の前記第１の計算機に前記データ処理パッケージを移動させ、
　前記第１の計算機は、前記ストレージから前記データ処理パッケージを起動して前記データ処理部で前記データ処理の実行を開始して、前記データ処理の実行結果を前記ストレージに格納し、
　前記第１の計算機は、前記データ処理部が所定の状態となったときに前記監視部で前記第２の計算機へ前記所定の状態を通知することを特徴とする計算機システム。
　請求項１に記載の計算機システムであって、
　前記監視部は、前記所定の状態として前記データ処理部が処理を開始したときに、データ処理の開始と拠点の所在を前記第２の計算機へ通知することを特徴とする計算機システム。
　請求項１に記載の計算機システムであって、
　前記第２の計算機は、前記監視部からの通知を受信して、前記データ処理部が所定の状態となったことを第１の管理画面と第２の管理画面に振り分けて出力する分析監視部を、さらに有することを特徴とする計算機システム。
　請求項１に記載の計算機システムであって、
　前記第２の計算機で前記監視部を起動した状態で前記データ処理パッケージを前記ストレージに格納することを特徴とする計算機システム。
　請求項１に記載の計算機システムであって、
　前記データ処理パッケージは、前記データ処理部と前記監視部を実行する仮想計算機を含むことを特徴とする計算機システム。
　請求項１に記載の計算機システムであって、
　前記データ処理パッケージは、前記データ処理部と前記監視部を実行するコンテナを含むことを特徴とする計算機システム。
　プロセッサとメモリを有してデータを生成する第１の計算機を含む１以上の拠点と、プロセッサとメモリを有して前記拠点で生成されたデータに対してデータ処理を実行する第２の計算機を含む管理拠点とを有して、前記第２の計算機が前記データ処理を監視する分散データ処理の監視方法であって、
　前記第２の計算機が、前記データ処理を実行するデータ処理部と、当該データ処理部を監視する監視部をペアとして設定したデータ処理パッケージを生成して、前記第１の計算機及び第２の計算機でアクセス可能なストレージに格納する第１のステップと、
　前記第２の計算機が、前記データ処理パッケージでデータ処理を実行する前記拠点の順序を設定した実行プランを生成する第２のステップと、
　前記第２の計算機が、前記実行プランに設定された拠点の前記第１の計算機に前記データ処理パッケージを移動させる第３のステップと、
　前記第１の計算機が、前記ストレージから前記データ処理パッケージを起動して前記データ処理部で前記データ処理の実行を開始して、前記データ処理の実行結果を前記ストレージに格納する第４のステップと、
　前記第１の計算機は、前記データ処理部が所定の状態となったときに前記監視部で前記第２の計算機へ前記所定の状態を通知する第５のステップと、
を含むことを特徴とする分散データ処理の監視方法。
　請求項７に記載の分散データ処理の監視方法であって、
　前記第５のステップは、
　前記所定の状態として前記データ処理部が処理を開始したときに、前記監視部がデータ処理の開始と拠点の所在を前記第２の計算機へ通知することを特徴とする分散データ処理の監視方法。
　請求項７に記載の分散データ処理の監視方法であって、
　前記第２の計算機が、前記監視部からの通知を受信して、前記データ処理部が所定の状態となったことを第１の管理画面と第２の管理画面に振り分けて出力する第６のステップをさらに含むことを特徴とする分散データ処理の監視方法。
　請求項７に記載の分散データ処理の監視方法であって、
　前記第１のステップは、前記第２の計算機で前記監視部を起動した状態で前記データ処理パッケージを前記ストレージに格納することを特徴とする分散データ処理の監視方法。
　請求項７に記載の分散データ処理の監視方法であって、
　前記データ処理パッケージは、前記データ処理部と前記監視部を実行する仮想計算機を含むことを特徴とする分散データ処理の監視方法。
　請求項７に記載の分散データ処理の監視方法であって、
　前記データ処理パッケージは、前記データ処理部と前記監視部を実行するコンテナを含むことを特徴とする分散データ処理の監視方法。