JPWO2008117339A1 - 計算ジョブ情報管理装置、端末、および、計算ジョブ情報管理システム - Google Patents
計算ジョブ情報管理装置、端末、および、計算ジョブ情報管理システム Download PDFInfo
- Publication number
- JPWO2008117339A1 JPWO2008117339A1 JP2009506054A JP2009506054A JPWO2008117339A1 JP WO2008117339 A1 JPWO2008117339 A1 JP WO2008117339A1 JP 2009506054 A JP2009506054 A JP 2009506054A JP 2009506054 A JP2009506054 A JP 2009506054A JP WO2008117339 A1 JPWO2008117339 A1 JP WO2008117339A1
- Authority
- JP
- Japan
- Prior art keywords
- calculation
- job
- calculation job
- identification information
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3404—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for parallel or distributed programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3466—Performance evaluation by tracing or monitoring
- G06F11/3476—Data logging
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
- Multi Processors (AREA)
Abstract
Description
従来、途中の計算状況を確認しようとすると、まず、計算ジョブ制御サーバ装置を参照して、ユーザが投入した計算ジョブがどの計算機に割り振られたかを調べてから、その計算機にログインして計算プログラムが作成するログファイルをテキストエディタで開いて計算状況を確認している。しかし、この作業が手間であるという問題がある。
しかし、1台の計算機が複数のCPUを搭載していることから、その1台の計算機で複数の計算ジョブが実行されることになる。このような場合、実行プログラムのインターフェイスを使用してデータを読み出すことが、1台の計算機につき、複数のユーザ間で同時に発生する、すなわち、アクセス違反が発生する可能性がある。
また、本発明は、1台の計算機が複数のジョブを実行する場合において、その計算機の1つのポートへのアクセスが同時に発生するアクセス違反を回避することが可能な計算ジョブ情報管理装置、端末、および、計算ジョブ情報管理システムを提供することを目的とする。
また、本発明によれば、互いに関連する複数のジョブが投入された場合に、それら複数のジョブについての計算結果に基づく統計的解析などの処理結果を容易に得ることができるので、ユーザの統計的解析などの解析作業に要する負担を軽減することができる。
なお、本発明の各実施形態においては、計算機をネットワークを使用して結合して並列計算機を構築するクラスタにより、分散メモリシステムを構築している。並列化のインターフェイスとしては、例えば、MPI(Message Passing Interface)が使用される。
図1に示すように、計算ジョブ情報管理システムは、JOB制御サーバ装置1、複数台の計算機2、計算JOB情報管理装置3(「データベースサーバ装置」、「DBサーバ装置」と呼ぶことがある)、複数台のクライアント装置4(「クライアント計算機」と呼ぶことがある)を有し、それらがLAN(Local Area Network)で接続されている。
DBサーバ装置3は、ユーザがクライアント装置4を通してJOB制御サーバ装置1に投入したJOBに対して、JOB制御サーバ装置1が付与するJOB_IDとは独立したJOB_IDを付与して管理する装置である。DBサーバ装置3については、その詳細は後述する。
なお、モデルファイル(モデルデータ)とは、実行プログラムにおいてシミュレーションされる物質の形状に関する情報を格納したファイル(データ)である。また、解析条件ファイル(解析条件データ)とは、実行プログラムにおいて計算される量(温度分布、応力、など)を指定するファイル(データ)である。なお、解析条件ファイルには、ユーザIDが格納されている。
図10に示すように、DBサーバ装置10は、クライアント装置から受信したJOB投入の通知を処理するJOB投入の通知処理部11、計算機から受信した状態変化の通知を処理する状態変化の通知処理部13、クライアント装置から受信した可視化要求を処理する可視化要求処理部16、JOB制御サーバ装置1とは独立にJOBに対して付与されたJOB_IDを、そのJOB_IDの各項目と対応付けて記憶するJOB情報記憶部21、計算機と、その計算機が接続を許可するポート番号(複数個)を対応付けて記憶する計算機情報記憶部22、を有する。
図11に示すように、JOB情報記憶部21は、「単一JOB_ID」、「集合JOB_ID」、「ユーザ名」、「実行計算機名」、「実行コマンド名」、「解析条件ファイル名」、「モデルファイル名」、「JOB状態」、「特性値(整数)1」、・・・、「特性値(倍精度)1」、・・・の各項目を有する。なお、DBサーバ装置10の画面処理部(不図示)が、クライアント装置のブラウザに図11に示すような画面を表示させている。そのため、ユーザにより親しみやすい「ユーザ名」、「実行計算機名」の項目をJOB情報記憶部21は記憶している。
図12において、まず、(1)で、JOB投入の通知がクライアント計算機(クライアント装置)からDBサーバ装置になされる。このJOB投入の通知は、図8に示すようなデータ構造を有している。
図13において、まず、ステップS11で、図10のJOB投入の通知処理部11によって、受信したJOB投入の通知が参照され、投入されたJOBに対して識別情報(ID)が付与される。
図14において、まず、ステップS21で、図10の状態変化の通知処理部13によって、受信した状態変化の通知と、JOB情報記憶部に記憶されるJOB情報との対応付け(マッチング)が行われる。
図15に示すように、計算機情報記憶部22は、「計算機IPアドレス」、「接続を許可するポート番号」、「使用許可」、「通信中」、の各項目を有する。
図16に示すように、計算状況データの取得要求は、「(クライアント計算機の)IPアドレス」、「ユーザID」、「実行コマンド名」、「モデルファイル名」、「解析条件ファイル名」、「配列種別」、「サイズ」、「開始位置」、の各項目を有する。
図17において、まず、(1)で、ユーザが現在ログインしているクライアント計算機または過去にログインした他のクライアント計算機を通して実行している、または、実行が終了した、すべてのJOBに対する可視化要求がクライアント計算機からDBサーバ装置になされる。
データの送信が終了すると、(6)で、第三のインターフェイスを用いて、計算状況データの取得要求を受けた計算機の実行プログラムからDBサーバ装置にソケット通信が完了したことを通知する。この通知を受けたDBサーバ装置は、図15の計算機情報記憶部のその計算機の「使用許可」および「通信中」の項目の値を共に「1」から「0」に変更する。
図18において、まず、ステップS31で、図10の可視化要求処理部16の実行計算機取得部17によって、JOB情報記憶部21に記憶されるJOB情報が取得され、その取得されたJOB情報のうちで、受信した可視化要求と同一のユーザIDを持つジョブ情報の行の実行計算機IDの項目に設定される値のリストが取得される。なお、可視化要求は、クライアント計算機(クライアント装置)のIPアドレスと、ユーザIDの項目を有する。
特性値(整数)1
特性値(整数)2
・・・
特性値(整数)N
特性値(倍精度)1
特性値(倍精度)2
・・・
特性値(倍精度)M
集合JOBに属する単一JOBが終了するごとに、その単一JOBの各特性値がDBサーバ装置に出力される。集合JOBに属するすべての単一JOBが終了すると、DBサーバ装置上でその集合JOBに属する単一JOBの各特性値を用いて統計的解析が実行される。
図19に示すように、特性値の登録通知は、「(計算機の)IPアドレス」、「実行コマンド名」、「モデルファイル名」、「解析条件ファイル名」、「ユーザID」、「特性値(整数)1」、「特性値(整数)2」、・・・「特性値(倍精度)1」、「特性値(倍精度)2」、・・・の各項目を有する。
図20に示すように、DBサーバ装置30は、計算機から受信した特性値の登録通知を処理する特性値登録の通知処理部31、集合JOBに属するすべての単一JOBが終了した場合に、その集合JOBに属する単一JOBの各特性値を用いて統計的解析を実行する統計的解析実行部36、解析結果をクライアント装置に送信する解析結果送信部37、集合JOBに固有な情報を記憶する集合JOB固有情報記憶部38、を有する。
図21は、図20の集合JOB固有情報記憶部38のデータ構造を示す図である。
図22において、まず、(1)で、そのユーザが現在ログインしているクライアント計算機または過去にログインしたクライアント計算機を通して実行している計算プログラムが終了して、その計算機上の実行プログラムからDBサーバ装置に、計算結果の通知(特性値登録の通知)がなされる。
図23において、まず、ステップS41で、図20の特性値登録の通知処理部31によって、受信した特性値登録の通知状態変化の通知と、JOB情報記憶部に記憶されるJOB情報との対応付け(マッチング)が行われる。
一方、ステップS43で集合JOBに含まれるすべての単一JOBの計算が終了したと判定された場合、ステップS44において、特性値登録の通知処理部31によって統計的解析実行部36が起動される。統計的解析実行部36は、集合JOB固有情報記憶部38から解析タイプ等の情報を読み込むとともに、その集合JOBに属する単一JOBの各特性値を用いて解析タイプに応じた統計的解析を実行する。そして、ステップS45において、解析結果送信部37によって、解析結果がクライアント計算機(ユーザ)に送信され、一連の処理を終了する。
Claims (8)
- 計算ジョブ制御装置と、その計算ジョブ制御装置から計算ジョブを割り振られる複数台の計算機を利用して、計算ジョブ情報を管理する計算ジョブ情報管理装置において、
端末から、前記計算ジョブ制御装置に計算ジョブを投入したことを示す通知を、ユーザ識別情報、計算を実行するプログラムの識別情報とともに受信したことに対応して、投入された計算ジョブに対し、前記計算ジョブ制御装置とは独立した計算ジョブ識別情報を付与する識別情報付与部と、
計算ジョブ識別情報とユーザ識別情報とが少なくとも対応付けられたレコードを記憶する計算ジョブ情報記憶部と、
計算ジョブが割り振られた計算機から、その計算ジョブに対する状態変化の情報を、ユーザ識別情報、計算を実行するプログラムの識別情報とともに受信したことに対応して、ユーザ識別情報、計算を実行するプログラムの識別情報を用いたマッチング処理を行うマッチング処理部と、
前記マッチング処理によって、受信した状態変化の情報に対応付けられた前記計算ジョブ情報記憶部のレコードの関連項目に、受信した状態変化の情報を書き込む計算ジョブ識別情報アクセス制御部と、を備えることを特徴とする計算ジョブ情報管理装置。 - 端末から、前記計算ジョブ制御装置に1まとまりとすべき複数個の計算ジョブである集合ジョブを投入したことを示す通知を、ユーザ識別情報、計算を実行するプログラムの識別情報とともに受信したことに対応して、投入された集合ジョブに属する複数個の計算ジョブに対し、前記計算ジョブ制御装置とは独立した計算ジョブ識別情報をそれぞれ付与するとともに、その集合ジョブを識別する集合ジョブ識別情報を付与する第二識別情報付与部、をさらに備えることを特徴とする請求項1記載の計算ジョブ情報管理装置。
- 端末から、計算の途中経過または計算結果のデータの取得要求を受信したことに対応して、その計算を実行する計算機に使用可能なポートがあるかどうかを判定する空き判定部と、
使用可能なポートがある場合に、その計算を実行する計算機と、その使用可能なポート番号との組み合わせを端末に送信する計算機情報送信部と、をさらに備えることを特徴とする請求項1記載の計算ジョブ情報管理装置。 - 計算機から、計算を実行するプログラムが出力するデータの一部である特性値を、ユーザ識別情報、計算を実行するプログラムの識別情報とともに特性値登録の通知として受信したことに対応して、ユーザ識別情報、計算を実行するプログラムの識別情報を用いたマッチング処理を行う第二マッチング処理部と、
前記マッチング処理によって、受信した特性値に対応付けられた前記計算ジョブ情報記憶部のレコードの関連項目に、受信した特性値を書き込む第二計算ジョブ識別情報アクセス制御部と、
前記特性値登録の通知が集合ジョブに属する計算ジョブからなされた場合に、その集合ジョブに属するすべての計算ジョブが終了したかどうかを判定する集合ジョブ終了判定部と、
その集合ジョブに属するすべての計算ジョブが終了したと判定された場合に、その集合ジョブに属する計算ジョブの各特性値を用いて統計的解析を実行する統計的解析実行部と、
解析結果を端末に送信する解析結果送信部と、をさらに備えることを特徴とする請求項1記載の計算ジョブ情報管理装置。 - 計算ジョブ制御装置と、その計算ジョブ制御装置から計算ジョブを割り振られる複数台の計算機を利用して、計算ジョブを実行する端末において、
前記計算ジョブ制御装置に計算ジョブを投入する計算ジョブ投入部と、
前記計算ジョブ制御装置が付与する計算ジョブ識別情報とは独立した計算ジョブ識別情報を付与する計算ジョブ管理装置に対して、計算ジョブ投入の通知を行う計算ジョブ投入情報通知部と、を備え、
前記計算ジョブ投入部が起動されたときに、前記計算ジョブ投入情報通知部も連動して起動されることを特徴とする端末。 - 前記計算ジョブ投入情報通知部は、投入する複数個の計算ジョブに対して、それらを1まとまりとするかどうかを指定することができることを特徴とする請求項5記載の端末。
- 計算ジョブ制御装置と、その計算ジョブ制御装置から計算ジョブを割り振られる複数台の計算機を利用して、計算ジョブ情報を管理する計算ジョブ情報管理システムにおいて、
前記計算ジョブ制御装置に計算ジョブを投入する端末と、
計算ジョブに対して、前記計算ジョブ制御装置が付与する計算ジョブ識別情報とは独立した計算ジョブ識別情報を付与する計算ジョブ情報管理装置と、を備え、
前記端末は、前記計算ジョブ制御装置に計算ジョブを投入するときに、ユーザ識別情報、計算を実行するプログラムの識別情報を有する計算ジョブ投入の通知を前記計算ジョブ情報管理装置に送信し、
計算ジョブが割り振られた計算機は、その計算ジョブに対する状態変化を検出したときに、ユーザ識別情報、計算を実行するプログラムの識別情報を有する状態変化の通知を前記計算ジョブ情報管理装置に通知し、
前記計算ジョブ情報管理装置は、計算ジョブ投入の通知を受けたときに、投入された計算ジョブに対し、前記計算ジョブ制御装置とは独立した計算ジョブ識別情報を付与し、
計算ジョブが割り振られた計算機からの状態変化の通知を受けたときに、ユーザ識別情報、計算を実行するプログラムの識別情報を用いたマッチング処理を行うことで、その状態変化の通知に含まれる状態変化の情報を、対応付けられた計算ジョブ識別情報の関連項目に書き込むことを特徴とする計算ジョブ情報管理システム。 - 計算ジョブ制御装置と、その計算ジョブ制御装置から計算ジョブを割り振られる複数台の計算機を利用して、計算ジョブ情報を管理する計算ジョブ情報管理方法において、
端末から前記計算ジョブ制御装置に計算ジョブを投入するときに、ユーザ識別情報、計算を実行するプログラムの識別情報を有する計算ジョブ投入の通知を、前記計算ジョブ制御装置が付与する計算ジョブ識別情報とは独立した計算ジョブ識別情報を付与する計算ジョブ情報管理装置に送信するステップと、
計算ジョブが割り振られた計算機が、その計算ジョブに対する状態変化を検出したときに、ユーザ識別情報、計算を実行するプログラムの識別情報を有する状態変化の通知を前記計算ジョブ情報管理装置に通知するステップと、
前記計算ジョブ情報管理装置が、計算ジョブ投入の通知を受けたときに、投入された計算ジョブに対し、前記計算ジョブ制御装置とは独立した計算ジョブ識別情報を付与するステップと、
前記計算ジョブ情報管理装置が、計算ジョブが割り振られた計算機からの状態変化の通知を受けたときに、ユーザ識別情報、計算を実行するプログラムの識別情報を用いたマッチング処理を行うステップと、
前記計算ジョブ情報管理装置が、前記マッチング処理によって、受信した状態変化の情報に対応付けられた計算ジョブ識別情報の関連項目に、受信した状態変化の情報を書き込むステップと、を備えることを特徴とする計算ジョブ情報管理方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2007/000310 WO2008117339A1 (ja) | 2007-03-27 | 2007-03-27 | 計算ジョブ情報管理装置、端末、および、計算ジョブ情報管理システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2008117339A1 true JPWO2008117339A1 (ja) | 2010-07-08 |
JP5110080B2 JP5110080B2 (ja) | 2012-12-26 |
Family
ID=39788084
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009506054A Expired - Fee Related JP5110080B2 (ja) | 2007-03-27 | 2007-03-27 | 計算ジョブ情報管理装置、端末、および、計算ジョブ情報管理システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20090313230A1 (ja) |
JP (1) | JP5110080B2 (ja) |
WO (1) | WO2008117339A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101212497B1 (ko) * | 2012-05-02 | 2012-12-14 | 주식회사 팀스톤 | 컴퓨팅 장치에서 수행되는 자원 모니터링 방법 및 컴퓨팅 장치 |
JP5656946B2 (ja) * | 2012-09-27 | 2015-01-21 | 株式会社東芝 | データ分析装置及びプログラム |
CN105511957B (zh) * | 2014-09-25 | 2019-05-07 | 国际商业机器公司 | 用于生成作业告警的方法和系统 |
US10051052B2 (en) | 2014-11-18 | 2018-08-14 | Red Hat, Inc. | Replication with adustable consistency levels |
JP7115256B2 (ja) * | 2018-11-29 | 2022-08-09 | 株式会社リコー | 情報処理システム、情報処理装置、プログラム及びログ情報管理方法 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH03204035A (ja) * | 1989-12-29 | 1991-09-05 | Nec Corp | ネットワークジョブステップ実行制御方式 |
JP2001325041A (ja) * | 2000-05-12 | 2001-11-22 | Toyo Eng Corp | 計算機資源活用方法及びシステム |
JP2001325238A (ja) * | 2000-05-16 | 2001-11-22 | Hitachi Ltd | 分散オブジェクトシステムにおける処理進捗状況表示方法 |
JP2002244870A (ja) * | 2001-02-19 | 2002-08-30 | Hitachi Ltd | システム管理支援方法及び装置 |
US8055753B2 (en) * | 2003-06-11 | 2011-11-08 | International Business Machines Corporation | Peer to peer job monitoring and control in grid computing systems |
CN101807160B (zh) * | 2005-08-22 | 2012-01-25 | 新日铁系统集成株式会社 | 信息处理系统 |
US20080162399A1 (en) * | 2006-12-31 | 2008-07-03 | Think Passenger, Inc. | Consumer marketing platform |
-
2007
- 2007-03-27 JP JP2009506054A patent/JP5110080B2/ja not_active Expired - Fee Related
- 2007-03-27 WO PCT/JP2007/000310 patent/WO2008117339A1/ja active Application Filing
-
2009
- 2009-08-19 US US12/543,563 patent/US20090313230A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2008117339A1 (ja) | 2008-10-02 |
JP5110080B2 (ja) | 2012-12-26 |
US20090313230A1 (en) | 2009-12-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9871697B2 (en) | Dynamic definition for concurrent computing environments | |
CN105324750B (zh) | 开发环境系统、开发环境装置以及开发环境提供方法 | |
US8230424B2 (en) | General interface with arbitrary job managers | |
US7966617B2 (en) | Tunable engine and program product for resolving prerequisites for client devices in an open service gateway initiative (OSGi) framework | |
JP5110080B2 (ja) | 計算ジョブ情報管理装置、端末、および、計算ジョブ情報管理システム | |
JP6252570B2 (ja) | 情報処理システム、アクセス制御方法、情報処理装置およびその制御方法と制御プログラム | |
CN111475506B (zh) | 数据存储、查询的方法、装置、系统、设备、存储介质 | |
CN112860777B (zh) | 数据处理方法、装置及设备 | |
CN109542595A (zh) | 一种数据采集方法、装置和系统 | |
CN107370796A (zh) | 一种基于Hyper TF的智能学习系统 | |
US11451446B2 (en) | Device management system, network device, device management method, and computer-readable medium | |
US20030061334A1 (en) | Method, apparatus, system, computer program and computer program product of network management | |
US20210073676A1 (en) | Model improvement support system | |
TWI544342B (zh) | 伺服器品質驗證方法及其系統 | |
CN113094393B (zh) | 数据汇聚方法及装置、电子设备 | |
CN107305564B (zh) | 一种数据处理的方法和设备 | |
JP6716929B2 (ja) | 情報処理装置及び情報処理プログラム | |
WO2017221364A1 (ja) | アダプタ生成装置及び方法 | |
KR20180024723A (ko) | 온라인 아웃소싱 기반의 소프트웨어 개발 및 설계 시스템 | |
CN116662345A (zh) | 一种基于大数据的公共服务管理系统及方法 | |
WO2018011985A1 (ja) | 管理システム及びプラットフォーム構築支援方法 | |
JP6917732B2 (ja) | プログラム導入支援システム、プログラム導入支援方法、及びプログラム導入支援プログラム | |
CN113709448A (zh) | 一种基于iptv系统的测试装置和方法 | |
JP2002014846A (ja) | ジョブ検査装置、ジョブ検査方法、及びジョブ検査プログラムを記録した記録媒体 | |
Nikitina et al. | Workflows of the High-Throughput Virtual Screening as a Service |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120410 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120611 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120911 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120924 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20151019 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |