JP4760875B2 - 負荷制御システム - Google Patents

負荷制御システム Download PDF

Info

Publication number
JP4760875B2
JP4760875B2 JP2008208290A JP2008208290A JP4760875B2 JP 4760875 B2 JP4760875 B2 JP 4760875B2 JP 2008208290 A JP2008208290 A JP 2008208290A JP 2008208290 A JP2008208290 A JP 2008208290A JP 4760875 B2 JP4760875 B2 JP 4760875B2
Authority
JP
Japan
Prior art keywords
execution
information
load
movement
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008208290A
Other languages
English (en)
Other versions
JP2010044596A (ja
Inventor
匡史 米田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008208290A priority Critical patent/JP4760875B2/ja
Publication of JP2010044596A publication Critical patent/JP2010044596A/ja
Application granted granted Critical
Publication of JP4760875B2 publication Critical patent/JP4760875B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、複数の情報処理装置の負荷を制御する負荷制御システムに関する。
複数の情報処理装置を含み、ある情報処理装置(実行装置)の負荷が閾値よりも大きくなった場合に、当該情報処理装置が実行している処理の1つである移動対象処理を中断させ、その移動対象処理を他の情報処理装置(移動先装置)に継続して実行させるように構成された負荷制御システムが知られている(例えば、特許文献1を参照)。
特開2002−7364号公報
ところで、移動対象処理が、実行装置が実行している他の処理と通信を行う処理である場合、及び、移動対象処理が、実行装置にて実行可能なプログラム又は実行装置に接続された周辺機器を利用する処理である場合が存在する。このような場合、上記移動先装置が移動対象処理を正常に実行することができない場合が生じるという問題があった。
このため、本発明の目的は、上述した課題である「情報処理装置の負荷が過大となることを防止しながら、処理を正常に実行することができない場合が生じること」を解決することが可能な負荷制御システムを提供することにある。
かかる目的を達成するため本発明の一形態である負荷制御システムは、
複数の情報処理装置を備えるとともに、
処理を特定するジョブ情報と、当該処理を実行可能な実行装置としての上記情報処理装置を特定する実行装置特定情報と、当該実行装置以外の上記情報処理装置であって当該処理を実行可能な移動先装置としての上記情報処理装置を特定する移動先装置特定情報と、を含む装置特定情報を記憶する装置特定情報記憶手段と、
上記記憶されている装置特定情報に含まれる上記ジョブ情報により特定される処理を当該装置特定情報に含まれる上記実行装置特定情報により特定される実行装置に実行させる処理実行手段と、
上記実行装置の負荷を表す装置負荷情報を取得する装置負荷情報取得手段と、を備える。
更に、上記処理実行手段は、
上記取得された上記装置負荷情報が表す負荷が閾値よりも大きい場合、上記実行装置に、当該実行装置が実行している処理の1つである移動対象処理の実行を中断させるとともに、当該実行装置を特定する実行装置特定情報と当該移動対象処理を特定するジョブ情報とを含む上記装置特定情報に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を継続して実行させるための処理移動処理を実行するように構成される。
また、本発明の他の形態である負荷制御装置は、
処理を特定するジョブ情報と、当該処理を実行可能な実行装置としての情報処理装置を特定する実行装置特定情報と、当該実行装置以外の情報処理装置であって当該処理を実行可能な移動先装置としての情報処理装置を特定する移動先装置特定情報と、を含む装置特定情報を記憶する装置特定情報記憶手段と、
上記記憶されている装置特定情報に含まれる上記ジョブ情報により特定される処理を当該装置特定情報に含まれる上記実行装置特定情報により特定される実行装置に実行させる処理実行手段と、
上記実行装置の負荷を表す装置負荷情報を取得する装置負荷情報取得手段と、を備える。
更に、上記処理実行手段は、
上記取得された上記装置負荷情報が表す負荷が閾値よりも大きい場合、上記実行装置に、当該実行装置が実行している処理の1つである移動対象処理の実行を中断させるとともに、当該実行装置を特定する実行装置特定情報と当該移動対象処理を特定するジョブ情報とを含む上記装置特定情報に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を継続して実行させるための処理移動処理を実行するように構成される。
また、本発明の他の形態である負荷制御プログラムは、
記憶装置を備える負荷制御装置に、
処理を特定するジョブ情報と、当該処理を実行可能な実行装置としての情報処理装置を特定する実行装置特定情報と、当該実行装置以外の情報処理装置であって当該処理を実行可能な移動先装置としての情報処理装置を特定する移動先装置特定情報と、を含む装置特定情報を上記記憶装置に記憶させる装置特定情報記憶処理手段と、
上記記憶されている装置特定情報に含まれる上記ジョブ情報により特定される処理を当該装置特定情報に含まれる上記実行装置特定情報により特定される実行装置に実行させる処理実行手段と、
上記実行装置の負荷を表す装置負荷情報を取得する装置負荷情報取得手段と、を実現させるためのプログラムである。
更に、上記処理実行手段は、
上記取得された上記装置負荷情報が表す負荷が閾値よりも大きい場合、上記実行装置に、当該実行装置が実行している処理の1つである移動対象処理の実行を中断させるとともに、当該実行装置を特定する実行装置特定情報と当該移動対象処理を特定するジョブ情報とを含む上記装置特定情報に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を継続して実行させるための処理移動処理を実行するように構成される。
また、本発明の他の形態である負荷制御方法は、
処理を特定するジョブ情報と、当該処理を実行可能な実行装置としての情報処理装置を特定する実行装置特定情報と、当該実行装置以外の情報処理装置であって当該処理を実行可能な移動先装置としての情報処理装置を特定する移動先装置特定情報と、を含む装置特定情報を記憶装置に記憶させる装置特定情報記憶処理工程と、
上記記憶されている装置特定情報に含まれる上記ジョブ情報により特定される処理を当該装置特定情報に含まれる上記実行装置特定情報により特定される実行装置に実行させる処理実行工程と、
上記実行装置の負荷を表す装置負荷情報を取得する装置負荷情報取得工程と、を含む。
更に、上記処理実行工程は、
上記取得された上記装置負荷情報が表す負荷が閾値よりも大きい場合、上記実行装置に、当該実行装置が実行している処理の1つである移動対象処理の実行を中断させるとともに、当該実行装置を特定する実行装置特定情報と当該移動対象処理を特定するジョブ情報とを含む上記装置特定情報に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を継続して実行させるための処理移動処理を実行するように構成される。
本発明は、以上のように構成されることにより、情報処理装置の負荷が過大となることを防止しながら、処理を正常に且つ迅速に実行することができる。
本発明の一形態である負荷制御システムは、
複数の情報処理装置を備えるとともに、
処理を特定するジョブ情報と、当該処理を実行可能な実行装置としての上記情報処理装置を特定する実行装置特定情報と、当該実行装置以外の上記情報処理装置であって当該処理を実行可能な移動先装置としての上記情報処理装置を特定する移動先装置特定情報と、を含む装置特定情報を記憶する装置特定情報記憶手段と、
上記記憶されている装置特定情報に含まれる上記ジョブ情報により特定される処理を当該装置特定情報に含まれる上記実行装置特定情報により特定される実行装置に実行させる処理実行手段と、
上記実行装置の負荷を表す装置負荷情報を取得する装置負荷情報取得手段と、を備える。
更に、上記処理実行手段は、
上記取得された上記装置負荷情報が表す負荷が閾値よりも大きい場合、上記実行装置に、当該実行装置が実行している処理の1つである移動対象処理の実行を中断させるとともに、当該実行装置を特定する実行装置特定情報と当該移動対象処理を特定するジョブ情報とを含む上記装置特定情報に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を継続して実行させるための処理移動処理を実行するように構成される。
これによれば、実行装置の負荷が閾値よりも大きい場合、当該実行装置は、移動対象処理の実行を中断する。更に、移動先装置は、中断された移動対象処理を継続して実行する。これにより、実行装置の負荷が過大となることを防止することができる。更に、移動対象処理の実行を迅速に完了することができる。
また、上記負荷制御システムは、実行装置が実行を中断した移動対象処理を継続して実行させる移動先装置として、移動対象処理を実行可能な情報処理装置のみを用いるように構成されている。従って、中断された移動対象処理を正常に継続して実行することができる。
このように、上記負荷制御システムによれば、情報処理装置の負荷が過大となることを防止しながら、処理を正常に且つ迅速に実行することができる。
この場合、上記負荷制御システムは、
上記実行装置が上記移動対象処理の実行を中断してから、上記移動先装置が当該移動対象処理の実行を再開するまでに要する処理移動時間の推定値である予測処理移動時間を取得する予測処理移動時間取得手段と、
上記実行装置が実行している処理毎に、現時点から当該処理の実行を完了するまでに要する実行残余時間の推定値である予測実行残余時間を取得する予測実行残余時間取得手段と、
上記実行装置が実行している処理のうちの、上記取得された予測実行残余時間が上記取得された予測処理移動時間よりも短い処理毎に、当該処理の負荷を表す処理負荷情報を取得する処理負荷情報取得手段と、を備えるとともに、
上記処理実行手段は、上記取得された処理負荷情報が表す負荷の和が、上記取得された装置負荷情報が表す負荷から上記閾値を減じた値よりも大きい場合、上記処理移動処理を実行しないように構成されることが好適である。
実行装置が移動対象処理の実行を中断してから、移動先装置が当該移動対象処理の実行を再開するまでには、比較的長い処理移動時間を要する。従って、その処理移動時間が経過するまでに、実行装置が実行している他の処理の実行が完了する場合には、実行装置が移動対象処理の実行を中断しなくても、その処理の実行が完了することにより実行装置の負荷が閾値よりも小さくなることがある。
具体的には、処理移動時間が経過するまでに実行が完了する処理の負荷の和が、実行装置の現時点の負荷から閾値を減じた値よりも大きい場合には、その処理の実行が完了することにより、実行装置が移動対象処理の実行を中断しなくても、実行装置の負荷が閾値よりも小さくなる。
このような場合に、仮に、移動対象処理を実行装置に代えて移動先装置に実行させるための処理移動処理を実行すると、却って移動対象処理の実行の完了が遅くなってしまう。
これに対し、上記構成によれば、処理移動時間が経過するまでに実行が完了する処理の負荷の和が、実行装置の現時点の負荷から閾値を減じた値よりも大きい場合には、移動対象処理を実行装置に代えて移動先装置に実行させるための処理移動処理を実行しない。この結果、無駄に処理移動処理が実行されることを回避することができる。従って、移動対象処理の実行を迅速に完了することができる。
この場合、上記負荷制御システムは、
上記ジョブ情報と、上記情報処理装置が当該ジョブ情報により特定される処理を実行するために要した処理実行時間を表す処理実行時間情報と、を含む実行履歴情報を記憶する実行履歴情報記憶手段を備え、
上記予測実行残余時間取得手段は、現時点から上記処理の実行を完了するまでに要する実行残余時間の推定値を、上記記憶されている実行履歴情報のうちの、当該処理を特定するジョブ情報を含む実行履歴情報に含まれる処理実行時間情報に基づいて算出するように構成されることが好適である。
ある処理を実行するために要する時間は、その処理と同一の処理を実行するために要した時間と略同じ時間となる可能性が高い。従って、上記構成によれば、予測実行残余時間を高い精度にて算出することができる。
この場合、上記負荷制御システムは、
上記移動先装置に上記移動対象処理を実行させた場合における当該移動先装置の負荷の推定値である予測装置負荷を取得する予測装置負荷取得手段を備え、
上記処理実行手段は、上記取得された予測装置負荷が上記閾値よりも大きい場合、上記処理移動処理を実行しないように構成されることが好適である。
既に実行している処理の負荷が比較的大きい移動先装置に、移動対象処理を実行させると、その移動先装置の負荷が過大となる虞がある。これに対し、上記構成によれば、移動先装置の負荷が過大となることを回避することができる。
この場合、
上記処理実行手段は、上記移動先装置が複数存在する場合、上記取得された予測装置負荷が最も小さい上記移動先装置に上記移動対象処理を実行させるための上記処理移動処理を実行するように構成されることが好適である。
これによれば、移動先装置のうちの負荷が最小の装置に移動対象処理を実行させることができる。この結果、移動先装置の負荷が過大となることを確実に防止することができる。
この場合、
上記処理実行手段は、現時点から上記移動対象処理の実行を完了するまでに要する実行残余時間の推定値として取得された上記予測実行残余時間が、上記取得された予測処理移動時間よりも短い場合、上記処理移動処理を実行しないように構成されることが好適である。
処理移動処理を実行している期間中、実行装置の負荷は、その処理移動処理の負荷だけ増加する。従って、移動対象処理の予測実行残余時間が予測処理移動時間よりも短い場合、仮に、その移動対象処理を実行装置に代えて移動先装置に実行させるための処理移動処理を実行すると、却って実行装置の負荷が過大となっている期間が長くなってしまう虞がある。更に、移動対象処理の実行の完了が遅くなってしまうという問題がある。
これに対し、上記構成によれば、無駄に処理移動処理が実行されることを回避することができる。従って、実行装置の負荷が過大となっている期間が無駄に長くなることを防止することができる。更に、移動対象処理の実行を迅速に完了することができる。
この場合、上記負荷制御システムは、
上記処理移動処理を実行した日時を表す処理移動日時情報と、当該処理移動処理の対象となった上記移動対象処理を特定するジョブ情報と、当該処理移動処理が実行される前に当該移動対象処理を実行していた実行装置を特定する実行装置特定情報と、当該処理移動処理が実行された後に当該移動対象処理を実行していた移動先装置を特定する移動先装置特定情報と、を含む処理移動履歴情報を記憶する処理移動履歴情報記憶手段と、
上記ジョブ情報と、当該ジョブ情報により特定される処理を実行する日時を表す実行予定日時情報と、を受け付けるジョブ情報受付手段と、を備え、
上記装置特定情報記憶手段は、上記受け付けられた実行予定日時情報が表す日時と予め定められた関係を有する日時を表す情報を上記処理移動日時情報として含み且つ上記受け付けられたジョブ情報を含む上記処理移動履歴情報に含まれる移動先装置特定情報を上記実行装置特定情報として含み、且つ、当該受け付けられたジョブ情報を含む上記装置特定情報を記憶するように構成されることが好適である。
過去に実行された処理移動処理の対象となった移動対象処理の実行が開始された日時と予め定められた関係を有する日時(例えば、異なる日の同じ時刻、又は、同じ曜日の同じ時刻等)にて、上記移動対象処理と同じ処理の実行が予定されている場合、この処理も、処理移動処理の対象となる可能性が比較的高い。
そこで、上記構成のように、過去に実行された処理移動処理によって、実行装置が中断した移動対象処理を継続して実行した移動先装置を、実行装置として設定することにより、処理移動処理が無駄に行われることを回避することができる。この結果、情報処理装置の負荷が過大となることを回避することができる。更に、移動対処処理の実行を迅速に完了することができる。
また、本発明の他の形態である負荷制御装置は、
処理を特定するジョブ情報と、当該処理を実行可能な実行装置としての情報処理装置を特定する実行装置特定情報と、当該実行装置以外の情報処理装置であって当該処理を実行可能な移動先装置としての情報処理装置を特定する移動先装置特定情報と、を含む装置特定情報を記憶する装置特定情報記憶手段と、
上記記憶されている装置特定情報に含まれる上記ジョブ情報により特定される処理を当該装置特定情報に含まれる上記実行装置特定情報により特定される実行装置に実行させる処理実行手段と、
上記実行装置の負荷を表す装置負荷情報を取得する装置負荷情報取得手段と、を備える。
更に、上記処理実行手段は、
上記取得された上記装置負荷情報が表す負荷が閾値よりも大きい場合、上記実行装置に、当該実行装置が実行している処理の1つである移動対象処理の実行を中断させるとともに、当該実行装置を特定する実行装置特定情報と当該移動対象処理を特定するジョブ情報とを含む上記装置特定情報に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を継続して実行させるための処理移動処理を実行するように構成される。
この場合、上記負荷制御装置は、
上記実行装置が上記移動対象処理の実行を中断してから、上記移動先装置が当該移動対象処理の実行を再開するまでに要する処理移動時間の推定値である予測処理移動時間を取得する予測処理移動時間取得手段と、
上記実行装置が実行している処理毎に、現時点から当該処理の実行を完了するまでに要する実行残余時間の推定値である予測実行残余時間を取得する予測実行残余時間取得手段と、
上記実行装置が実行している処理のうちの上記移動対象処理以外の処理であって、上記取得された予測実行残余時間が上記取得された予測処理移動時間よりも短い処理毎に、当該処理の負荷を表す処理負荷情報を取得する処理負荷情報取得手段と、を備えるとともに、
上記処理実行手段は、上記取得された処理負荷情報が表す負荷の和が、上記取得された装置負荷情報が表す負荷から上記閾値を減じた値よりも大きい場合、上記処理移動処理を実行しないように構成されることが好適である。
また、本発明の他の形態である負荷制御プログラムは、
記憶装置を備える負荷制御装置に、
処理を特定するジョブ情報と、当該処理を実行可能な実行装置としての情報処理装置を特定する実行装置特定情報と、当該実行装置以外の情報処理装置であって当該処理を実行可能な移動先装置としての情報処理装置を特定する移動先装置特定情報と、を含む装置特定情報を上記記憶装置に記憶させる装置特定情報記憶処理手段と、
上記記憶されている装置特定情報に含まれる上記ジョブ情報により特定される処理を当該装置特定情報に含まれる上記実行装置特定情報により特定される実行装置に実行させる処理実行手段と、
上記実行装置の負荷を表す装置負荷情報を取得する装置負荷情報取得手段と、を実現させるためのプログラムである。
更に、上記処理実行手段は、
上記取得された上記装置負荷情報が表す負荷が閾値よりも大きい場合、上記実行装置に、当該実行装置が実行している処理の1つである移動対象処理の実行を中断させるとともに、当該実行装置を特定する実行装置特定情報と当該移動対象処理を特定するジョブ情報とを含む上記装置特定情報に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を継続して実行させるための処理移動処理を実行するように構成される。
この場合、上記負荷制御プログラムは、
上記負荷制御装置に、更に、
上記実行装置が上記移動対象処理の実行を中断してから、上記移動先装置が当該移動対象処理の実行を再開するまでに要する処理移動時間の推定値である予測処理移動時間を取得する予測処理移動時間取得手段と、
上記実行装置が実行している処理毎に、現時点から当該処理の実行を完了するまでに要する実行残余時間の推定値である予測実行残余時間を取得する予測実行残余時間取得手段と、
上記実行装置が実行している処理のうちの上記移動対象処理以外の処理であって、上記取得された予測実行残余時間が上記取得された予測処理移動時間よりも短い処理毎に、当該処理の負荷を表す処理負荷情報を取得する処理負荷情報取得手段と、を実現させるとともに、
上記処理実行手段は、上記取得された処理負荷情報が表す負荷の和が、上記取得された装置負荷情報が表す負荷から上記閾値を減じた値よりも大きい場合、上記処理移動処理を実行しないように構成されることが好適である。
また、本発明の他の形態である負荷制御方法は、
処理を特定するジョブ情報と、当該処理を実行可能な実行装置としての情報処理装置を特定する実行装置特定情報と、当該実行装置以外の情報処理装置であって当該処理を実行可能な移動先装置としての情報処理装置を特定する移動先装置特定情報と、を含む装置特定情報を記憶装置に記憶させる装置特定情報記憶処理工程と、
上記記憶されている装置特定情報に含まれる上記ジョブ情報により特定される処理を当該装置特定情報に含まれる上記実行装置特定情報により特定される実行装置に実行させる処理実行工程と、
上記実行装置の負荷を表す装置負荷情報を取得する装置負荷情報取得工程と、を含む。
更に、上記処理実行工程は、
上記取得された上記装置負荷情報が表す負荷が閾値よりも大きい場合、上記実行装置に、当該実行装置が実行している処理の1つである移動対象処理の実行を中断させるとともに、当該実行装置を特定する実行装置特定情報と当該移動対象処理を特定するジョブ情報とを含む上記装置特定情報に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を継続して実行させるための処理移動処理を実行するように構成される。
この場合、上記負荷制御方法は、
上記実行装置が上記移動対象処理の実行を中断してから、上記移動先装置が当該移動対象処理の実行を再開するまでに要する処理移動時間の推定値である予測処理移動時間を取得する予測処理移動時間取得工程と、
上記実行装置が実行している処理毎に、現時点から当該処理の実行を完了するまでに要する実行残余時間の推定値である予測実行残余時間を取得する予測実行残余時間取得工程と、
上記実行装置が実行している処理のうちの上記移動対象処理以外の処理であって、上記取得された予測実行残余時間が上記取得された予測処理移動時間よりも短い処理毎に、当該処理の負荷を表す処理負荷情報を取得する処理負荷情報取得工程と、を含むとともに、
上記処理実行工程は、上記取得された処理負荷情報が表す負荷の和が、上記取得された装置負荷情報が表す負荷から上記閾値を減じた値よりも大きい場合、上記処理移動処理を実行しないように構成されることが好適である。
上述した構成を有する、負荷制御装置、負荷制御プログラム、又は、負荷制御方法、の発明であっても、上記負荷制御システムと同様の作用を有するために、上述した本発明の目的を達成することができる。
以下、本発明に係る、負荷制御システム、負荷制御装置、負荷制御プログラム、及び、負荷制御方法、の各実施形態について図1〜図10を参照しながら説明する。
<第1実施形態>
図1に示したように、第1実施形態に係る負荷制御システム1は、端末装置10と、負荷制御装置20と、複数(本例では、4つ)のサーバ(情報処理装置)30a〜30dと、を含む。端末装置10及び負荷制御装置20は、第1の通信回線(本例では、インターネット)NW1を介して、互いに通信可能に接続されている。更に、負荷制御装置20及びサーバ30a〜30dは、第2の通信回線(本例では、ローカル・エリア・ネットワーク)NW2を介して、互いに通信可能に接続されている。
端末装置10は、図示しない中央処理装置(CPU;Central Processing Unit)、記憶装置(メモリ及びハードディスク駆動装置(HDD))、入力装置及び出力装置を備える。
出力装置は、ディスプレイを有する。出力装置は、CPUから出力された画像情報に基づいて、文字及び図形等からなる画像をディスプレイに表示させる。入力装置は、キーボード及びマウスを有する。端末装置10は、キーボード及びマウスを介して、ユーザの操作に基づく情報が入力されるように構成されている。
端末装置10は、記憶装置に記憶されているプログラムをCPUが実行することにより、下記の機能を実現するように構成されている。
端末装置10は、ユーザが入力装置を用いて入力したジョブ情報、実行装置特定情報及び移動先特定情報を受け付ける。端末装置10は、受け付けたジョブ情報、実行装置特定情報及び移動先特定情報を負荷制御装置20へ送信する。
ここで、ジョブ情報は、処理を特定する情報である。本例では、ジョブ情報は、その処理を実行するための実行モジュール(ファイル)の、ファイルシステムにおける位置(ファイルへのパス)を表す情報である。また、実行装置特定情報は、上記処理を実行可能な実行装置としてのサーバ30a〜30dの1つを特定する情報である。更に、移動先特定情報は、実行装置以外のサーバ30a〜30dであって上記処理を実行可能な移動先装置としてのサーバ30a〜30dを特定する情報である。なお、移動先特定情報により特定される移動先装置は、1つ又は複数である。
負荷制御装置20は、端末装置10と同様に、図示しないCPU及び記憶装置を備える。負荷制御装置20は、端末装置10と同様に、記憶装置に記憶されているプログラムをCPUが実行することにより、後述する機能を実現するように構成されている。
各サーバ30a〜30dは、端末装置10と同様に、図示しないCPU及び記憶装置を備える。各サーバ30a〜30dは、端末装置10と同様に、記憶装置に記憶されているプログラムをCPUが実行することにより、下記の機能を実現するように構成されている。
各サーバ30a〜30dは、負荷制御装置20からジョブ実行指示を受信する。ジョブ実行指示は、ジョブ情報及びジョブ識別情報を含む。ジョブ識別情報は、ジョブ情報を識別するための情報である。各サーバ30a〜30dは、ジョブ実行指示を受信すると、受信したジョブ実行指示に含まれるジョブ情報により特定される処理を実行する。
また、各サーバ30a〜30dは、予め設定された経過時間が経過する毎に、実行している処理の負荷(処理負荷)を表す処理負荷情報と、その処理の実行を開始してから経過した時間(処理実行時間)を表す処理実行時間情報と、を取得する。例えば、処理負荷は、CPUの使用率及びメモリの使用率等である。そして、各サーバ30a〜30dは、取得した処理負荷情報及び処理実行時間情報と、当該処理を実行する基となったジョブ情報を識別するためのジョブ識別情報と、を負荷制御装置20へ送信する。
更に、各サーバ30a〜30dは、負荷制御装置20から処理移動指示を受信する。処理移動指示は、ジョブ識別情報と移動先装置特定情報とを含む。各サーバ30a〜30dは、処理移動指示を受信すると、受信した処理移動指示に含まれるジョブ識別情報により識別されるジョブ情報によって特定される(ジョブ識別情報により識別される)処理(移動対象処理)の実行を中断する。
更に、各サーバ30a〜30dは、受信した処理移動指示に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を実行するためにメモリに記憶させられていた処理継続実行用情報を送信する。
加えて、各サーバ30a〜30dは、他のサーバ30a〜30dから処理継続実行用情報を受信し、受信した処理継続実行用情報に基づいて、その処理継続実行用情報を送信してきたサーバ30a〜30d(実行装置)が中断した移動対象処理を継続して実行する。即ち、サーバ30a〜30dは、プロセスマイグレーションを行う。
図2は、上記のように構成された負荷制御装置20の機能を表すブロック図である。この機能は、負荷制御装置20のCPUが後述する図5〜図7に示したフローチャートにより表されるプログラム等を実行することにより、実現される。
この負荷制御装置20の機能は、ジョブ情報受付部41と、装置特定情報記憶部(装置特定情報記憶手段、装置特定情報記憶処理手段、装置特定情報記憶処理工程)42と、処理負荷情報記憶部43と、装置負荷情報取得部(装置負荷情報取得手段、装置負荷情報取得工程)44と、予測装置負荷取得部(予測装置負荷取得手段)45と、予測処理移動時間取得部(予測処理移動時間取得手段、予測処理移動時間取得工程)46と、実行履歴情報記憶部(実行履歴情報記憶手段)47と、予測実行残余時間取得部(予測実行残余時間取得手段、予測実行残余時間取得工程)48と、処理負荷情報取得部(処理負荷情報取得手段、処理負荷情報取得工程)49と、処理実行部(処理実行手段、処理実行工程)50と、を含む。
ジョブ情報受付部41は、端末装置10により送信されたジョブ情報、実行装置特定情報及び移動先特定情報を受信する(受け付ける)。
装置特定情報記憶部42は、ジョブ情報受付部41から、ジョブ情報と、実行装置特定情報と、移動先装置特定情報と、を受信すると、ジョブ識別情報を生成する。そして、装置特定情報記憶部42は、受信したジョブ情報、実行装置特定情報及び移動先装置特定情報と、生成したジョブ識別情報と、を含む装置特定情報を記憶装置に記憶させる。
本例では、図3に示したように、装置特定情報が記憶装置に記憶されている。「SA」は、サーバ30aを表し、「SB」は、サーバ30bを表し、「SC」は、サーバ30cを表し、「SD」は、サーバ30dを表す。
装置特定情報が移動先装置特定情報を含まないことは、その装置特定情報に含まれるジョブ情報により特定される処理が、その装置特定情報に含まれる実行装置特定情報により特定されるサーバ以外のサーバにより実行することができないことを表す。即ち、このような処理は、移動不能処理(移動不能ジョブ)と呼ばれる。
一方、装置特定情報が移動先装置特定情報を含むことは、その装置特定情報に含まれるジョブ情報により特定される処理が、その装置特定情報に含まれる実行装置特定情報により特定されるサーバ以外のサーバ(移動先装置特定情報により特定されるサーバ)により実行することができることを表す。即ち、このような処理は、移動可能処理(移動可能ジョブ)と呼ばれる。
処理負荷情報記憶部43は、各サーバ30a〜30dからジョブ識別情報、処理負荷情報及び処理実行時間情報を受信する。処理負荷情報記憶部43は、ジョブ識別情報、処理負荷情報及び処理実行時間情報を受信する毎に、受信したジョブ識別情報、処理負荷情報及び処理実行時間情報を、サーバ30a〜30dを識別するためのサーバ識別情報と対応付けて記憶装置に記憶させる。
更に、処理負荷情報記憶部43は、記憶されていたジョブ識別情報と同一のジョブ識別情報が受信されなかった場合、そのジョブ識別情報と対応付けて記憶されていた処理実行時間情報を、ジョブ識別情報により識別されるジョブ情報とともに実行履歴情報記憶部47へ送る。
装置負荷情報取得部44は、サーバ30a〜30d毎に、処理負荷情報記憶部43により記憶されている処理負荷情報が表す負荷の和を装置負荷として算出することにより、装置負荷を表す装置負荷情報を生成(取得)する。
予測装置負荷取得部45は、サーバ30a〜30d毎に、処理負荷情報記憶部43により記憶されている処理負荷情報が表す負荷の和を装置負荷として算出する。更に、予測装置負荷取得部45は、算出した装置負荷に、処理負荷情報記憶部43により記憶されている処理負荷情報が表す負荷のうちの移動対象処理の負荷を加えることにより、移動先装置の負荷の推定値である予測装置負荷を算出(取得)する。
予測処理移動時間取得部46は、装置特定情報記憶部42により記憶されている装置特定情報のうちの、移動先装置特定情報を含む装置特定情報に含まれるジョブ識別情報を抽出する。予測処理移動時間取得部46は、抽出したジョブ識別情報のそれぞれに対して(即ち、移動可能処理毎に)、そのジョブ識別情報と対応付けて処理負荷情報記憶部43により記憶されている処理負荷情報が表す負荷に基づいて、予測処理移動時間を算出(取得)する。
予測処理移動時間は、実行装置(実行装置特定情報により特定されるサーバ)が上記ジョブ識別情報により識別される処理(移動対象処理)の実行を中断してから、移動先装置(移動先特定情報により特定されるサーバ)が当該移動対象処理の実行を再開するまでに要する処理移動時間の推定値である。
更に、予測処理移動時間取得部46は、サーバ30a〜30d毎に、算出した予測処理移動時間の最小値を算出する。
実行履歴情報記憶部47は、処理負荷情報記憶部43から処理実行時間情報及びジョブ情報を受け取ると、受け取った処理実行時間情報及びジョブ情報を含む実行履歴情報を記憶装置に記憶させる。本例では、図4に示したように、実行履歴情報が記憶装置に記憶されている。処理実行時間情報が表す時間は、秒を単位とした時間である。
予測実行残余時間取得部48は、各サーバ30a〜30dが実行している処理毎に、現時点から当該処理の実行を完了するまでに要する実行残余時間の推定値である予測実行残余時間を算出(取得)する。このとき、予測実行残余時間取得部48は、実行履歴情報記憶部47により記憶されている実行履歴情報のうちの、上記処理を特定するジョブ情報を含む実行履歴情報に含まれる処理実行時間情報に基づいて、予測実行残余時間を算出する。本例では、予測実行残余時間取得部48は、処理実行時間情報が表す処理実行時間の平均値を予測実行残余時間として算出する。
処理負荷情報取得部49は、サーバ30a〜30d毎に、そのサーバ30a〜30dが実行している処理のうちの、予測実行残余時間取得部48により算出された予測実行残余時間が、予測処理移動時間取得部46により算出された予測処理移動時間の最小値よりも短い処理毎に、当該処理の負荷を表す処理負荷情報を、処理負荷情報記憶部43により記憶されている処理負荷情報の中から取得する。
処理負荷情報取得部49は、サーバ30a〜30d毎に、取得した処理負荷情報が表す負荷の和を算出する。
処理実行部50は、装置特定情報記憶部42により装置特定情報が新たに記憶されると、記憶された装置特定情報に含まれるジョブ情報及びジョブ識別情報を含むジョブ実行指示を、その装置特定情報に含まれる実行装置特定情報により特定されるサーバ30a〜30dへ送信する。即ち、処理実行部50は、記憶されている装置特定情報に含まれるジョブ情報により特定される処理を当該装置特定情報に含まれる実行装置特定情報により特定されるサーバ(実行装置)に実行させる。
また、処理実行部50は、装置負荷情報取得部44により取得された装置負荷情報が表す負荷(装置負荷)が、予め定められた閾値αよりも大きい場合、その装置負荷に係るサーバ30a〜30d(実行装置)へ、ジョブ識別情報と移動先装置特定情報とを含む処理移動指示を送信する。
これにより、実行装置は、処理移動指示を受信し、受信した処理移動指示に含まれるジョブ識別情報により識別される処理(移動対象処理)の実行を中断する。更に、実行装置は、受信した処理移動指示に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を実行するためにメモリに記憶させられていた処理継続実行用情報を送信する。そして、移動先装置は、実行装置から処理継続実行用情報を受信し、受信した処理継続実行用情報に基づいて、実行装置が中断した移動対象処理を継続して実行する。
このように、処理実行部50は、装置負荷が閾値αよりも大きい場合、実行装置に、ジョブ識別情報により識別される処理(当該実行装置が実行している処理の1つである移動対象処理)の実行を中断させる。更に、処理実行部50は、実行装置を特定する実行装置特定情報と当該移動対象処理を特定するジョブ情報とを含む装置特定情報に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を継続して実行させる。即ち、処理実行部50は、処理移動処理を実行する。
また、処理実行部50は、移動先装置特定情報により特定される移動先装置が複数存在する場合、予測装置負荷取得部45により算出された予測装置負荷が最も小さい移動先装置に移動対象処理を実行させるための処理移動処理を実行する。
なお、処理実行部50は、実行装置に対して処理負荷情報取得部49により算出された負荷の和が、装置負荷情報取得部44により取得された装置負荷情報が表す当該実行装置の装置負荷から上記閾値αを減じた値よりも大きい場合、上記処理移動処理を実行しない。
更に、処理実行部50は、予測装置負荷取得部45により算出された予測装置負荷が上記閾値αよりも大きい場合、上記処理移動処理を実行しない。
加えて、処理実行部50は、予測実行残余時間取得部48により算出された予測実行残余時間のうちの、移動対象処理に係る予測実行残余時間が、予測装置負荷取得部45により算出された予測処理移動時間のうちの、当該移動対象処理に係る予測処理移動時間よりも短い場合、上記処理移動処理を実行しない。
次に、上述した負荷制御システム1の作動について具体的に述べる。
負荷制御装置20のCPUは、図5にフローチャートにより示した負荷分散処理プログラムを、予め設定された制御周期が経過する毎に実行するようになっている。
具体的に述べると、CPUは、負荷分散処理プログラムの処理を開始すると、ステップ505にて、サーバ識別情報のリストを作成する。サーバ識別情報は、負荷制御装置20と通信可能に接続されているサーバ30a〜30dを識別するための情報である。
次いで、CPUは、ステップ510にて、上記リスト内にサーバ識別情報が存在しているか否かを判定する。この状態においては、リスト内にサーバ30a〜30dのそれぞれを識別するためのサーバ識別情報が存在している。
従って、CPUは、ステップ510にて「Yes」と判定してステップ515に進み、上記リストの先頭からサーバ識別情報を1つだけ取得し、取得したサーバ識別情報をリストから削除する。
そして、CPUは、ステップ520にて、取得したサーバ識別情報により識別されるサーバの装置負荷Lpとして、そのサーバ識別情報と対応付けて記憶装置に記憶されている処理負荷情報が表す負荷の和を算出する。
次いで、CPUは、ステップ525にて、算出した装置負荷Lpが予め設定された閾値αよりも大きいか否かを判定する。
装置負荷Lpが閾値α以下である場合、CPUは、ステップ525にて「No」と判定してステップ510へ戻る。一方、装置負荷Lpが閾値αよりも大きい場合、CPUは、ステップ525にて「Yes」と判定してステップ530に進み、図6に示した処理移動判定プログラムを、上記サーバ識別情報により識別されるサーバ(実行装置)に対して実行する。この処理移動判定プログラムの詳細については後述する。その後、CPUは、ステップ510へ戻る。
そして、CPUは、リスト内にサーバ識別情報が存在しなくなるまで、ステップ510〜ステップ530の処理を繰り返し実行する。
次に、処理移動判定プログラムの処理の詳細について説明する。
先ず、CPUは、ステップ605にて、上記サーバ識別情報と対応付けて記憶装置に記憶されている処理実行時間情報に基づいて、上記実行装置が実行している処理毎の予測実行残余時間Trを算出する。次いで、CPUは、ステップ610にて、上記サーバ識別情報と対応付けて記憶装置に記憶されている処理負荷情報が表す負荷に基づいて、上記実行装置が実行している移動可能処理毎の予測処理移動時間Tmを算出する。
そして、CPUは、ステップ615にて、上記算出された予測処理移動時間Tmの最小値Tmminを取得する。次いで、CPUは、ステップ620にて、上記実行装置が実行している処理のうちの、上記取得した最小値Tmminよりも小さい予測実行残余時間Trを有する処理の処理負荷Laを、上記サーバ識別情報と対応付けて記憶装置に記憶されている処理負荷情報が表す負荷から取得し、取得した処理負荷Laの和Lsを算出する。
そして、CPUは、ステップ625にて、上記ステップ520にて算出した装置負荷Lpから上記ステップ620にて算出した和Lsを減じた値により、装置負荷Lpを更新する。次いで、CPUは、ステップ630にて、上記ステップ625にて算出した装置負荷Lpが閾値αよりも大きいか否かを判定する。
装置負荷Lpが閾値α以下である場合、CPUは、ステップ630にて「No」と判定してこの処理移動判定プログラムの実行を終了する。一方、装置負荷Lpが閾値αよりも大きい場合、CPUは、ステップ630にて「Yes」と判定してステップ635に進み、図7に示した処理移動処理プログラムを実行する。その後、CPUは、この処理移動判定プログラムの実行を終了する。
次に、処理移動処理プログラムの処理の詳細について説明する。
先ず、CPUは、ステップ705にて、上記実行装置が実行している処理のうちの移動可能処理を識別するためのジョブ識別情報のリストを作成する。
次いで、CPUは、ステップ710にて、リスト内のジョブ識別情報により識別される処理の処理負荷Laを、記憶装置に記憶されている処理負荷情報が表す負荷から取得する。更に、CPUは、リスト内のジョブ識別情報が、先頭から末尾へ向かうにつれて、取得された処理負荷Laが小さくなる順に並ぶように、リスト内のジョブ識別情報を並び替える。
次いで、CPUは、ステップ715にて、算出されている装置負荷Lpが閾値αよりも大きいか否かを判定する。
いま、装置負荷Lpが閾値αよりも大きい場合を想定して説明を続ける。なお、装置負荷Lpが閾値α以下である場合、CPUは、ステップ715にて「No」と判定してこの処理移動処理プログラムの実行を終了する。即ち、負荷制御装置20は処理移動処理を実行しない。
上記仮定に従えば、CPUは、ステップ715にて「Yes」と判定してステップ720に進み、上記リスト内にジョブ識別情報が存在するか否かを判定する。
いま、上記リスト内にジョブ識別情報が存在する場合を想定して説明を続ける。
この場合、CPUは、ステップ720にて「Yes」と判定してステップ725に進み、上記リストの先頭からジョブ識別情報を1つだけ取得し、取得したジョブ識別情報をリストから削除する。
そして、CPUは、ステップ730にて、取得したジョブ識別情報により識別される処理(移動対象処理)の予測処理移動時間Tmを、当該ジョブ識別情報と対応付けて記憶装置に記憶されている処理負荷情報が表す負荷に基づいて算出する。更に、CPUは、当該移動対象処理の予測実行残余時間Trを、記憶装置に記憶されている実行履歴情報のうちの、上記ジョブ識別情報により識別されるジョブ情報を含む実行履歴情報に含まれる処理実行時間情報に基づいて算出する。
そして、CPUは、ステップ735にて、上記算出した予測実行残余時間Trが、上記算出した予測処理移動時間Tmよりも大きい(長い)か否かを判定する。
予測実行残余時間Trが予測処理移動時間Tm以下である場合、CPUは、ステップ735にて「No」と判定してステップ720へ戻る。即ち、この場合、負荷制御装置20は処理移動処理を実行しない。
一方、予測実行残余時間Trが予測処理移動時間Tmよりも大きい場合、CPUは、ステップ735にて「Yes」と判定してステップ740へ進む。そして、CPUは、ステップ740にて、記憶装置に記憶されている装置特定情報の中から、上記ジョブ識別情報を含む装置特定情報を取得する。
更に、CPUは、取得した装置特定情報に含まれる移動先装置特定情報により特定される移動先装置毎に、その移動先装置を識別するためのサーバ識別情報と対応付けて記憶されている処理負荷情報が表す負荷の和を装置負荷Lmとして算出する。加えて、CPUは、移動先装置毎に、算出した装置負荷Lmに上記ジョブ識別情報と対応付けて記憶されている処理負荷情報が表す処理負荷Laを加えた値を、予測装置負荷Lm1として算出する。
そして、CPUは、ステップ745にて、上記ステップ740にて算出された予測装置負荷Lm1の最小値Lm1minを取得する。次いで、CPUは、ステップ750にて、上記取得した最小値Lm1minが閾値αよりも小さいか否かを判定する。
最小値Lm1minが閾値α以上である場合、CPUは、ステップ750にて「No」と判定してステップ720へ戻る。即ち、この場合、負荷制御装置20は処理移動処理を実行しない。
一方、最小値Lm1minが閾値αよりも小さい場合、CPUは、ステップ750にて「Yes」と判定してステップ755へ進む。そして、CPUは、ステップ755にて、最小値Lm1minが予測装置負荷Lm1として算出された移動先装置を特定する移動先装置特定情報とジョブ識別情報とを含む処理移動指示を、上記実行装置(ステップ515にて取得されたサーバ識別情報により識別されるサーバ)へ送信する。
これにより、実行装置は、処理移動指示を受信し、受信した処理移動指示に含まれるジョブ識別情報により識別される処理(移動対象処理)の実行を中断する。更に、実行装置は、受信した処理移動指示に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を実行するためにメモリに記憶させられていた処理継続実行用情報を送信する。そして、移動先装置は、実行装置から処理継続実行用情報を受信し、受信した処理継続実行用情報に基づいて、実行装置が中断した移動対象処理を継続して実行する。
次いで、CPUは、ステップ760にて、算出されている装置負荷Lpから上記処理負荷Laを減じた値により、装置負荷Lpを更新する。そして、CPUは、ステップ715へ戻る。その後、CPUは、装置負荷Lpが閾値α以下となるまで、又は、リスト内にジョブ識別情報が存在しなくなるまで、ステップ715〜ステップ760の処理を繰り返し実行する。
以上、説明したように、本発明による負荷制御システムの第1実施形態によれば、実行装置の負荷(装置負荷)Lpが閾値αよりも大きい場合、当該実行装置は、移動対象処理の実行を中断する。更に、移動先装置は、中断された移動対象処理を継続して実行する。これにより、実行装置の負荷が過大となることを防止することができる。更に、移動対象処理の実行を迅速に完了することができる。
また、上記負荷制御システム1は、実行装置が実行を中断した移動対象処理を継続して実行させる移動先装置として、移動対象処理を実行可能なサーバのみを用いるように構成されている。従って、中断された移動対象処理を正常に継続して実行することができる。
このように、上記負荷制御システム1によれば、サーバの負荷が過大となることを防止しながら、処理を正常に且つ迅速に実行することができる。
更に、上記第1実施形態において、負荷制御装置20は、処理移動時間が経過するまでに実行が完了する処理の負荷の和が、実行装置の現時点の装置負荷から閾値αを減じた値よりも大きい場合には、移動対象処理を実行装置に代えて移動先装置に実行させるための処理移動処理を実行しないように構成されている。この結果、無駄に処理移動処理が実行されることを回避することができる。従って、移動対象処理の実行を迅速に完了することができる。
加えて、上記第1実施形態において、負荷制御装置20は、同一の処理を実行するために要した時間(実行履歴情報に含まれる処理実行時間情報)に基づいて、予測実行残余時間を算出するように構成されている。これによれば、予測実行残余時間を高い精度にて算出することができる。
更に、上記第1実施形態において、負荷制御装置20は、移動対象処理を実行させた場合における移動先装置の負荷の推定値である予測装置負荷が閾値αよりも大きい場合、処理移動処理を実行しないように構成されている。これによれば、移動先装置の負荷が過大となることを回避することができる。
加えて、上記第1実施形態において、負荷制御装置20は、移動先装置が複数存在する場合、予測装置負荷が最も小さい移動先装置に移動対象処理を実行させるための処理移動処理を実行するように構成されている。これによれば、移動先装置のうちの負荷が最小の装置に移動対象処理を実行させることができる。この結果、移動先装置の負荷が過大となることを確実に防止することができる。
また、上記第1実施形態において、負荷制御装置20は、現時点から移動対象処理の実行を完了するまでに要する実行残余時間の推定値(予測実行残余時間)Trが、予測処理移動時間Tmよりも短い(小さい)場合、処理移動処理を実行しないように構成されている。これによれば、無駄に処理移動処理が実行されることを回避することができる。従って、実行装置の負荷が過大となっている期間が無駄に長くなることを防止することができる。更に、移動対象処理の実行を迅速に完了することができる。
<第2実施形態>
次に、本発明の第2実施形態に係る負荷制御システムについて説明する。第2実施形態に係る負荷制御システムは、上記第1実施形態に係る負荷制御システムに対して、過去に移動先装置へ移動された処理と同一の処理が、予めその移動先装置により実行されるように構成されている点において相違している。従って、以下、かかる相違点を中心として説明する。
第2実施形態に係る負荷制御装置20の機能は、第1実施形態に係る負荷制御装置20の機能に加えて、処理移動履歴情報記憶部(処理移動履歴情報記憶手段)51を含む。
処理移動履歴情報記憶部51は、ジョブ情報と、実行装置特定情報と、移動先装置特定情報と、処理移動日時情報と、を含む処理移動履歴情報を記憶装置に記憶させる。
ここで、ジョブ情報は、処理移動処理の対象となった移動対象処理を特定する情報である。実行装置特定情報は、その処理移動処理が実行される前にその移動対象処理を実行していた実行装置を特定する情報である。移動先装置特定情報は、その処理移動処理が実行された後にその移動対象処理を実行していた移動先装置を特定する情報である。処理移動日時情報は、その処理移動処理を実行した日時を表す情報である。
処理移動履歴情報記憶部51は、処理実行部50により処理移動処理が実行される毎に、上記処理移動履歴情報を記憶装置に記憶させる。本例では、図9に示したように、処理移動履歴情報が記憶装置に記憶されている。
また、第2実施形態に係る端末装置10は、ユーザが入力装置を用いて入力したジョブ情報、実行装置特定情報、移動先特定情報及び実行予定日時情報を受け付ける。実行予定日時情報は、そのジョブ情報により特定される処理を実行する日時を表す情報である。端末装置10は、受け付けたジョブ情報、実行装置特定情報、移動先特定情報及び実行予定日時情報を負荷制御装置20へ送信する。
更に、ジョブ情報受付部41は、端末装置10から送信された、ジョブ情報、実行装置特定情報、移動先特定情報及び実行予定日時情報を受信する(受け付ける)。
また、装置特定情報記憶部42は、ジョブ情報受付部41により受信された実行予定日時情報が表す日時と予め定められた関係を有する日時(本例では、実行予定日時情報が表す日時と、異なる日の同じ時刻)を表す情報を処理移動日時情報として含み且つ受信されたジョブ情報と同じジョブ情報を含む処理移動履歴情報を、記憶装置に記憶されている処理移動履歴情報の中から抽出する。
そして、装置特定情報記憶部42は、処理移動履歴情報が抽出されなかった場合、上記受信されたジョブ情報、実行装置特定情報、移動先特定情報及び実行予定日時情報と、生成したジョブ識別情報と、を含む装置特定情報を記憶装置に記憶させる。
一方、装置特定情報記憶部42は、処理移動履歴情報が抽出された場合、抽出された処理移動履歴情報に含まれる移動先装置特定情報を実行装置特定情報として含み、且つ、上記受信されたジョブ情報及び実行予定日時情報を含み、且つ、生成したジョブ識別情報を含む装置特定情報を記憶装置に記憶させる。
また、処理実行部50は、装置特定情報記憶部42により記憶されている装置特定情報のうちの、現時点以前の日時を表す実行予定日時情報を含む装置特定情報を取得し、取得した装置特定情報を記憶装置から削除する。そして、処理実行部50は、取得した装置特定情報に含まれるジョブ情報及びジョブ識別情報を含むジョブ実行指示を、その装置特定情報に含まれる実行装置特定情報により特定されるサーバ30a〜30dへ送信する。
以上、説明したように、本発明による負荷制御システムの第2実施形態によれば、負荷制御装置20は、過去に実行された処理移動処理によって、実行装置が中断した移動対象処理を継続して実行した移動先装置を、実行装置として設定する。これにより、処理移動処理が無駄に行われることを回避することができる。この結果、サーバ30a〜30dの負荷が過大となることを回避することができる。更に、移動対処処理の実行を迅速に完了することができる。
また、第2実施形態によれば、第1実施形態に係る負荷制御システム1と同様の作用及び効果も奏することができる。
なお、上記第2実施形態において、負荷制御装置20は、端末装置10から送信された実行予定日時情報が表す日時と、異なる日の同じ時刻を表す情報を処理移動日時情報として含む処理移動履歴情報に含まれる移動先装置特定情報を実行装置特定情報として含む装置特定情報を記憶装置に記憶させるように構成されていた。
ところで、上記第2実施形態の変形例において、負荷制御装置20は、端末装置10から送信された実行予定日時情報が表す日時と、同じ曜日の同じ時刻を表す情報を処理移動日時情報として含む処理移動履歴情報に含まれる移動先装置特定情報を実行装置特定情報として含む装置特定情報を記憶装置に記憶させるように構成されていてもよい。
なお、本発明は上記各実施形態に限定されることはなく、本発明の範囲内において種々の変形例を採用することができる。例えば、上記実施形態の変形例において、負荷制御装置20は、図10に示したように、装置特定情報記憶部42、装置負荷情報取得部44及び処理実行部50のみを機能として含むように構成されていてもよい。
この場合、装置特定情報記憶部42は、ジョブ情報と、実行装置特定情報と、移動先装置特定情報と、を含む装置特定情報を記憶装置に記憶させる。
また、装置負荷情報取得部44は、実行装置の負荷を表す装置負荷情報を取得する。
そして、処理実行部50は、装置特定情報記憶部42により記憶されている装置特定情報に含まれるジョブ情報により特定される処理を当該装置特定情報に含まれる実行装置特定情報により特定される実行装置に実行させる。
更に、処理実行部50は、装置負荷情報取得部44により取得された装置負荷情報が表す負荷が閾値よりも大きい場合、実行装置に、当該実行装置が実行している処理の1つである移動対象処理の実行を中断させる。加えて、処理実行部50は、その実行装置を特定する実行装置特定情報と当該移動対象処理を特定するジョブ情報とを含む装置特定情報に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を継続して実行させるための処理移動処理を実行する。
この変形例においても、実行装置の負荷が閾値よりも大きい場合、当該実行装置は、移動対象処理の実行を中断する。更に、移動先装置は、中断された移動対象処理を継続して実行する。これにより、実行装置の負荷が過大となることを防止することができる。更に、移動対象処理の実行を迅速に完了することができる。更に、中断された移動対象処理を正常に継続して実行することができる。即ち、サーバ30a〜30dの負荷が過大となることを防止しながら、処理を正常に且つ迅速に実行することができる。
また、上記各実施形態に係る負荷制御システム1は、ユーザにより入力された移動先装置特定情報を含む装置特定情報を記憶装置に記憶させるように構成されていたが、負荷制御装置20が受け付けた実行装置特定情報及び/又はジョブ情報に基づいて移動先装置特定情報を取得し、取得した移動先装置特定情報を含む装置特定情報を記憶装置に記憶させるように構成されていてもよい。
更に、上記各実施形態においては、負荷制御装置20とサーバ30a〜30dと、は互いに独立した装置であったが、サーバ30a〜30dの1つ又は複数が、負荷制御装置20の機能を有していてもよい。
本発明は、複数のサーバの負荷を制御する負荷制御システム等に適用可能である。
本発明の第1実施形態に係る負荷制御システムの概略構成を表す図である。 図1に示した負荷制御装置の機能の概略を表すブロック図である。 図1に示した負荷制御装置の記憶装置に記憶されている装置特定情報を示したテーブルである。 図1に示した負荷制御装置の記憶装置に記憶されている実行履歴情報を示したテーブルである。 図1に示した負荷制御装置のCPUが実行する負荷分散処理プログラムを示したフローチャートである。 図1に示した負荷制御装置のCPUが実行する処理移動判定プログラムを示したフローチャートである。 図1に示した負荷制御装置のCPUが実行する処理移動処理プログラムを示したフローチャートである。 本発明の第2実施形態に係る負荷制御装置の機能の概略を表すブロック図である。 本発明の第2実施形態に係る負荷制御装置の記憶装置に記憶されている処理移動履歴情報を示したテーブルである。 本発明の第1実施形態の変形例に係る負荷制御装置の機能の概略を表すブロック図である。
符号の説明
1 負荷制御システム
10 端末装置
20 負荷制御装置
30a〜30d サーバ
41 ジョブ情報受付部
42 装置特定情報記憶部
43 処理負荷情報記憶部
44 装置負荷情報取得部
45 予測装置負荷取得部
46 予測処理移動時間取得部
47 実行履歴情報記憶部
48 予測実行残余時間取得部
49 処理負荷情報取得部
50 処理実行部
51 処理移動履歴情報記憶部

Claims (13)

  1. 複数の情報処理装置を備えるとともに、
    処理を特定するジョブ情報と、当該処理を実行可能な実行装置としての前記情報処理装置を特定する実行装置特定情報と、を少なくとも含む装置特定情報を記憶する装置特定情報記憶手段と、
    前記記憶されている装置特定情報に含まれる前記ジョブ情報により特定される処理を当該装置特定情報に含まれる前記実行装置特定情報により特定される実行装置に実行させる処理実行手段と、
    前記実行装置の負荷を表す装置負荷情報を取得する装置負荷情報取得手段と、を備え、
    前記処理実行手段は、
    前記取得された前記装置負荷情報が表す負荷が閾値よりも大きい場合、前記実行装置の負荷を当該閾値以下とするように、当該実行装置が実行している処理のうちの、当該実行装置以外の移動先装置としての前記情報処理装置を特定する移動先装置特定情報を含む前記装置特定情報に含まれる前記ジョブ情報により特定される処理である移動可能処理の少なくとも一部を移動対象処理として選択し、当該実行装置に、当該選択された移動対象処理の実行を中断させるとともに、当該実行装置を特定する実行装置特定情報と当該移動対象処理を特定するジョブ情報とを含む前記装置特定情報に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を継続して実行させるための処理移動処理を実行するように構成され、更に、
    前記実行装置が前記移動対象処理の実行を中断してから、前記移動先装置が当該移動対象処理の実行を再開するまでに要する処理移動時間の推定値である予測処理移動時間を取得する予測処理移動時間取得手段と、
    前記実行装置が実行している処理のそれぞれに対して、現時点から当該処理の実行を完了するまでに要する実行残余時間の推定値である予測実行残余時間を取得する予測実行残余時間取得手段と、
    前記実行装置が実行している処理のうちの、前記取得された予測実行残余時間が前記取得された予測処理移動時間よりも短い処理のそれぞれに対して、当該処理の負荷を表す処理負荷情報を取得する処理負荷情報取得手段と、を備えるとともに、
    前記処理実行手段は、前記取得された装置負荷情報が表す負荷から、前記取得された処理負荷情報が表す負荷の和を減じた値が、前記閾値よりも小さい場合、前記処理移動処理を実行しないように構成された負荷制御システム。
  2. 請求項1に記載の負荷制御システムであって、
    前記処理実行手段は、前記実行装置が実行している処理のそれぞれに対して、当該処理の負荷を表す処理負荷情報を取得するとともに、当該取得された処理負荷情報が表す負荷が大きい処理から順に、当該実行装置の負荷が前記閾値以下となるまで、当該処理を前記移動対象処理として選択し且つ当該処理を前記移動先装置へ移動させるための処理を繰り返すように構成された負荷制御システム。
  3. 請求項1又は請求項2に記載の負荷制御システムであって、
    前記ジョブ情報と、前記情報処理装置が当該ジョブ情報により特定される処理を実行するために要した処理実行時間を表す処理実行時間情報と、を含む実行履歴情報を記憶する実行履歴情報記憶手段を備え、
    前記予測実行残余時間取得手段は、現時点から前記処理の実行を完了するまでに要する実行残余時間の推定値を、前記記憶されている実行履歴情報のうちの、当該処理を特定するジョブ情報を含む実行履歴情報に含まれる処理実行時間情報に基づいて算出するように構成された負荷制御システム。
  4. 請求項1乃至請求項3のいずれか一項に記載の負荷制御システムであって、
    前記移動先装置に前記移動対象処理を実行させた場合における当該移動先装置の負荷の推定値である予測装置負荷を取得する予測装置負荷取得手段を備え、
    前記処理実行手段は、前記取得された予測装置負荷が前記閾値よりも大きい場合、前記処理移動処理を実行しないように構成された負荷制御システム。
  5. 請求項4に記載の負荷制御システムであって、
    前記処理実行手段は、前記移動先装置が複数存在する場合、前記取得された予測装置負荷が最も小さい前記移動先装置に前記移動対象処理を実行させるための前記処理移動処理を実行するように構成された負荷制御システム。
  6. 請求項1乃至請求項5のいずれか一項に記載の負荷制御システムであって、
    前記処理実行手段は、現時点から前記移動対象処理の実行を完了するまでに要する実行残余時間の推定値として取得された前記予測実行残余時間が、前記取得された予測処理移動時間よりも短い場合、前記処理移動処理を実行しないように構成された負荷制御システム。
  7. 請求項1乃至請求項6のいずれか一項に記載の負荷制御システムであって、
    前記処理移動処理を実行した日時を表す処理移動日時情報と、当該処理移動処理の対象となった前記移動対象処理を特定するジョブ情報と、当該処理移動処理が実行される前に当該移動対象処理を実行していた実行装置を特定する実行装置特定情報と、当該処理移動処理が実行された後に当該移動対象処理を実行していた移動先装置を特定する移動先装置特定情報と、を含む処理移動履歴情報を記憶する処理移動履歴情報記憶手段と、
    前記ジョブ情報と、当該ジョブ情報により特定される処理を実行する日時を表す実行予定日時情報と、を受け付けるジョブ情報受付手段と、を備え、
    前記装置特定情報記憶手段は、前記受け付けられた実行予定日時情報が表す日時と予め定められた関係を有する日時を表す情報を前記処理移動日時情報として含み且つ前記受け付けられたジョブ情報を含む前記処理移動履歴情報に含まれる移動先装置特定情報を前記実行装置特定情報として含み、且つ、当該受け付けられたジョブ情報を含む前記装置特定情報を記憶するように構成された負荷制御システム。
  8. 処理を特定するジョブ情報と、当該処理を実行可能な実行装置としての情報処理装置を特定する実行装置特定情報と、を少なくとも含む装置特定情報を記憶する装置特定情報記憶手段と、
    前記記憶されている装置特定情報に含まれる前記ジョブ情報により特定される処理を当該装置特定情報に含まれる前記実行装置特定情報により特定される実行装置に実行させる処理実行手段と、
    前記実行装置の負荷を表す装置負荷情報を取得する装置負荷情報取得手段と、を備え、
    前記処理実行手段は、
    前記取得された前記装置負荷情報が表す負荷が閾値よりも大きい場合、前記実行装置の負荷を当該閾値以下とするように、当該実行装置が実行している処理のうちの、当該実行装置以外の移動先装置としての情報処理装置を特定する移動先装置特定情報を含む前記装置特定情報に含まれる前記ジョブ情報により特定される処理である移動可能処理の少なくとも一部を移動対象処理として選択し、当該実行装置に、当該選択された移動対象処理の実行を中断させるとともに、当該実行装置を特定する実行装置特定情報と当該移動対象処理を特定するジョブ情報とを含む前記装置特定情報に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を継続して実行させるための処理移動処理を実行するように構成され、更に、
    前記実行装置が前記移動対象処理の実行を中断してから、前記移動先装置が当該移動対象処理の実行を再開するまでに要する処理移動時間の推定値である予測処理移動時間を取得する予測処理移動時間取得手段と、
    前記実行装置が実行している処理のそれぞれに対して、現時点から当該処理の実行を完了するまでに要する実行残余時間の推定値である予測実行残余時間を取得する予測実行残余時間取得手段と、
    前記実行装置が実行している処理のうちの、前記取得された予測実行残余時間が前記取得された予測処理移動時間よりも短い処理のそれぞれに対して、当該処理の負荷を表す処理負荷情報を取得する処理負荷情報取得手段と、を備えるとともに、
    前記処理実行手段は、前記取得された装置負荷情報が表す負荷から、前記取得された処理負荷情報が表す負荷の和を減じた値が、前記閾値よりも小さい場合、前記処理移動処理を実行しないように構成された負荷制御装置。
  9. 請求項8に記載の負荷制御装置であって、
    前記処理実行手段は、前記実行装置が実行している処理のそれぞれに対して、当該処理の負荷を表す処理負荷情報を取得するとともに、当該取得された処理負荷情報が表す負荷が大きい処理から順に、当該実行装置の負荷が前記閾値以下となるまで、当該処理を前記移動対象処理として選択し且つ当該処理を前記移動先装置へ移動させるための処理を繰り返すように構成された負荷制御装置。
  10. 記憶装置を備える負荷制御装置に、
    処理を特定するジョブ情報と、当該処理を実行可能な実行装置としての情報処理装置を特定する実行装置特定情報と、を少なくとも含む装置特定情報を前記記憶装置に記憶させる装置特定情報記憶処理手段と、
    前記記憶されている装置特定情報に含まれる前記ジョブ情報により特定される処理を当該装置特定情報に含まれる前記実行装置特定情報により特定される実行装置に実行させる処理実行手段と、
    前記実行装置の負荷を表す装置負荷情報を取得する装置負荷情報取得手段と、を実現させるとともに、
    前記処理実行手段は、
    前記取得された前記装置負荷情報が表す負荷が閾値よりも大きい場合、前記実行装置の負荷を当該閾値以下とするように、当該実行装置が実行している処理のうちの、当該実行装置以外の移動先装置としての情報処理装置を特定する移動先装置特定情報を含む前記装置特定情報に含まれる前記ジョブ情報により特定される処理である移動可能処理の少なくとも一部を移動対象処理として選択し、当該実行装置に、当該選択された移動対象処理の実行を中断させるとともに、当該実行装置を特定する実行装置特定情報と当該移動対象処理を特定するジョブ情報とを含む前記装置特定情報に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を継続して実行させるための処理移動処理を実行するように構成され、更に、前記負荷制御装置に、
    前記実行装置が前記移動対象処理の実行を中断してから、前記移動先装置が当該移動対象処理の実行を再開するまでに要する処理移動時間の推定値である予測処理移動時間を取得する予測処理移動時間取得手段と、
    前記実行装置が実行している処理のそれぞれに対して、現時点から当該処理の実行を完了するまでに要する実行残余時間の推定値である予測実行残余時間を取得する予測実行残余時間取得手段と、
    前記実行装置が実行している処理のうちの、前記取得された予測実行残余時間が前記取得された予測処理移動時間よりも短い処理のそれぞれに対して、当該処理の負荷を表す処理負荷情報を取得する処理負荷情報取得手段と、を実現させるとともに、
    前記処理実行手段は、前記取得された装置負荷情報が表す負荷から、前記取得された処理負荷情報が表す負荷の和を減じた値が、前記閾値よりも小さい場合、前記処理移動処理を実行しないように構成された負荷制御プログラム。
  11. 請求項10に記載の負荷制御プログラムであって、
    前記処理実行手段は、前記実行装置が実行している処理のそれぞれに対して、当該処理の負荷を表す処理負荷情報を取得するとともに、当該取得された処理負荷情報が表す負荷が大きい処理から順に、当該実行装置の負荷が前記閾値以下となるまで、当該処理を前記移動対象処理として選択し且つ当該処理を前記移動先装置へ移動させるための処理を繰り返すように構成された負荷制御プログラム。
  12. 処理を特定するジョブ情報と、当該処理を実行可能な実行装置としての情報処理装置を特定する実行装置特定情報と、を少なくとも含む装置特定情報を記憶装置に記憶させる装置特定情報記憶処理工程と、
    前記記憶されている装置特定情報に含まれる前記ジョブ情報により特定される処理を当該装置特定情報に含まれる前記実行装置特定情報により特定される実行装置に実行させる処理実行工程と、
    前記実行装置の負荷を表す装置負荷情報を取得する装置負荷情報取得工程と、を含み、
    前記処理実行工程は、
    前記取得された前記装置負荷情報が表す負荷が閾値よりも大きい場合、前記実行装置の負荷を当該閾値以下とするように、当該実行装置が実行している処理のうちの、当該実行装置以外の移動先装置としての情報処理装置を特定する移動先装置特定情報を含む前記装置特定情報に含まれる前記ジョブ情報により特定される処理である移動可能処理の少なくとも一部を移動対象処理として選択し、当該実行装置に、当該選択された移動対象処理の実行を中断させるとともに、当該実行装置を特定する実行装置特定情報と当該移動対象処理を特定するジョブ情報とを含む前記装置特定情報に含まれる移動先装置特定情報により特定される移動先装置に、当該中断された移動対象処理を継続して実行させるための処理移動処理を実行するように構成され、更に、
    前記実行装置が前記移動対象処理の実行を中断してから、前記移動先装置が当該移動対象処理の実行を再開するまでに要する処理移動時間の推定値である予測処理移動時間を取得する予測処理移動時間取得工程と、
    前記実行装置が実行している処理のそれぞれに対して、現時点から当該処理の実行を完了するまでに要する実行残余時間の推定値である予測実行残余時間を取得する予測実行残余時間取得工程と、
    前記実行装置が実行している処理のうちの、前記取得された予測実行残余時間が前記取得された予測処理移動時間よりも短い処理のそれぞれに対して、当該処理の負荷を表す処理負荷情報を取得する処理負荷情報取得工程と、を含むとともに、
    前記処理実行工程は、前記取得された装置負荷情報が表す負荷から、前記取得された処理負荷情報が表す負荷の和を減じた値が、前記閾値よりも小さい場合、前記処理移動処理を実行しないように構成された負荷制御方法。
  13. 請求項12に記載の負荷制御方法であって、
    前記処理実行工程は、前記実行装置が実行している処理のそれぞれに対して、当該処理の負荷を表す処理負荷情報を取得するとともに、当該取得された処理負荷情報が表す負荷が大きい処理から順に、当該実行装置の負荷が前記閾値以下となるまで、当該処理を前記移動対象処理として選択し且つ当該処理を前記移動先装置へ移動させるための処理を繰り返すように構成された負荷制御方法。
JP2008208290A 2008-08-13 2008-08-13 負荷制御システム Expired - Fee Related JP4760875B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008208290A JP4760875B2 (ja) 2008-08-13 2008-08-13 負荷制御システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008208290A JP4760875B2 (ja) 2008-08-13 2008-08-13 負荷制御システム

Publications (2)

Publication Number Publication Date
JP2010044596A JP2010044596A (ja) 2010-02-25
JP4760875B2 true JP4760875B2 (ja) 2011-08-31

Family

ID=42015927

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008208290A Expired - Fee Related JP4760875B2 (ja) 2008-08-13 2008-08-13 負荷制御システム

Country Status (1)

Country Link
JP (1) JP4760875B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2772552B1 (en) 2002-10-23 2018-10-10 University of Utah Research Foundation Amplicon melting analysis with saturation dyes
US9657347B2 (en) 2004-04-20 2017-05-23 University of Utah Research Foundation and BioFire Defense, LLC Nucleic acid melting analysis with saturation dyes
JP4839361B2 (ja) * 2008-11-11 2011-12-21 株式会社日立製作所 仮想マシン移動管理サーバおよび仮想マシン移動方法
JP6447329B2 (ja) * 2015-04-09 2019-01-09 富士通株式会社 並列計算制御装置、並列計算システムおよびマイグレーション時間推定プログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0830558A (ja) * 1994-07-20 1996-02-02 Fujitsu Ltd 計算機システムにおける負荷分散方法及びそれを利用した計算機システム
JP3006551B2 (ja) * 1996-07-12 2000-02-07 日本電気株式会社 複数コンピュータ間の業務分散システム、業務分散方法および業務分散プログラムを記録した記録媒体
JP2002007364A (ja) * 2000-06-22 2002-01-11 Fujitsu Ltd 並列計算機システムのジョブスケジューリングを行うスケジューリング装置
JP3749208B2 (ja) * 2002-08-14 2006-02-22 株式会社東芝 プロセスマイグレーション方法、計算機

Also Published As

Publication number Publication date
JP2010044596A (ja) 2010-02-25

Similar Documents

Publication Publication Date Title
JP4367856B2 (ja) プロセス制御システム及びその制御方法
JP5737057B2 (ja) プログラム、ジョブスケジューリング方法、および情報処理装置
US9430283B2 (en) Information processing apparatus and job scheduling method
JP4760875B2 (ja) 負荷制御システム
JP2010165193A (ja) 負荷分散装置、負荷分散方法および負荷分散プログラム
JP5181121B2 (ja) タスク数制御装置、タスク数制御方法、及びコンピュータプログラム
US11550626B2 (en) Information processing apparatus, job scheduling method, and non-transitory computer-readable storage medium
US8769325B2 (en) Method and apparatus for controlling power mode shifting of an image processing apparatus by monitoring online status of a plurality of client devices extracted to be monitored based on its position information and its usage history
JP6613763B2 (ja) 情報処理装置、情報処理方法、及び、プログラム
JP2017211788A (ja) 情報処理装置、ジョブ投入方法、およびジョブ投入プログラム
JP6620609B2 (ja) 分散処理実行管理プログラム、分散処理実行管理方法および分散処理実行管理装置
US20160266808A1 (en) Information processing device, information processing method, and recording medium
JP2009230581A (ja) バッチジョブ制御システム、管理ノード、およびバッチジョブ制御方法
JP6308580B2 (ja) 管理装置、ワーク実行システム、管理方法及びプログラム
JP6555981B2 (ja) 情報処理装置及びその制御方法
JP2011113501A (ja) 電子装置、その制御方法及びプログラム
JP6669705B2 (ja) 数値制御装置
US20150135192A1 (en) Information processing device, method for processing information, and non-transitory computer-readable recording medium having stored therein information processing program
JP2006331118A (ja) コマンド実行装置、コマンド実行方法およびコマンド実行プログラム
JP2015005028A (ja) 画像処理装置、及び、制御装置
JP5056346B2 (ja) 情報処理装置、情報処理システム、仮想サーバの移動処理の制御方法、及び、プログラム
US9459916B2 (en) System and method for controlling execution of jobs performed by plural information processing devices
JP2008234276A (ja) ジョブスケジュールの運用テストシステム
JP2008204013A (ja) スレッド動作異常検知方法、マルチスレッドシステム
JP6163722B2 (ja) 資料採取システム、サーバ、資料採取方法及びプログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20100630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101221

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110315

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110415

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110523

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140617

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4760875

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees