JP6285850B2 - プロセスマイグレーション方法及びクラスタシステム - Google Patents
プロセスマイグレーション方法及びクラスタシステム Download PDFInfo
- Publication number
- JP6285850B2 JP6285850B2 JP2014239267A JP2014239267A JP6285850B2 JP 6285850 B2 JP6285850 B2 JP 6285850B2 JP 2014239267 A JP2014239267 A JP 2014239267A JP 2014239267 A JP2014239267 A JP 2014239267A JP 6285850 B2 JP6285850 B2 JP 6285850B2
- Authority
- JP
- Japan
- Prior art keywords
- node
- migration
- group
- list
- unrelated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
Description
図1に示すように、クラスタシステム100は、それぞれが汎用の処理サーバによって構成されるn個の物理ノードであるノード#1(70)、ノード#2(70)、・・・、ノード#n(70)がネットワーク80によって互いに通信可能に接続されて構成される。
SSI(Single System Image)制御部10は、これら複数の物理ノード70を組み合わせて仮想的な1つのノードを構成するための制御プログラムが、各物理ノード70において実行され、それらが協調動作することによって1つの仮想ノードとしての機能を提供する。このSSI制御部10は、クラスタスケジューラ20とプロセス状態監視部30とを備える。
プロセス状態監視部30は、本発明のマイグレーション候補リストとしてのタスクリスト31に、各プロセスをマイグレーションすべきか否かを判断するための所定の動作特性などを記録する。
図2に示すように、プロセス状態監視部30は、タスクリスト31、スコアテーブル32、システムログ参照部33、タスクリスト更新/参照部34、タスクリスト登録判定部35、リソース使用状況取得部36、タスクリスト参照受付部37を備える。
リソース使用状況取得部36は、それぞれのノードのOS40の機能を利用して個別ノード監視部50が取得する各プロセスのCPU負荷及びメモリ使用量などのリソース使用状況を、個別ノード監視部50から取得し、タスクリスト登録判定部35に引き渡す。
このとき、タスクリスト登録判定部35は、スコアテーブル32に記録した各イベントについては、所定のスコア計算を行うことによって当該プロセスをマイグレーション候補とするか否かを判定する。
タスクリスト更新/参照部34は、タスクリスト登録判定部35からの指示にしたがってタスクリスト31の更新を行うとともに、タスクリスト参照受付部37からの参照要求に対してタスクリスト31の登録内容を読み出してタスクリスト参照受付部37に返送する。タスクリスト参照受付部37は、外部からタスクリスト31の参照要求を受け付けて、タスクリスト更新/参照部34に参照要求を転送し、タスクリスト更新/参照部34から返送されるタスクリスト31の登録内容を、要求元に返送する。
ノード情報管理部23は、それぞれのノードのOS40によって監視されているノードのCPU使用率及びメモリ使用量などのリソース使用状況を個別ノード監視部50を介して取得し、ノードリスト21に登録する。
マイグレーション判定部24は、タスクリスト参照部22から取得したタスクリスト31の登録内容と、ノードリスト21に登録されている各ノードのリソース使用状況などに基づいて、各プロセスのマイグレーション判定を行い、マイグレーションの対象とするプロセスとマイグレーション先のノードとをマイグレーション指示部25に通知する。
マイグレーション指示部25は、マイグレーション判定部24からの通知に基づいて移行元と移行先とのノードのOS40にプロセスのマイグレーションを指示し、OS40間の連携によって実際にプロセスのマイグレーションが実行される。
図3に示すように、タスクリスト31には、「プロセスID」、「実行中ノード」、「処理内容」、「回数」、「優先度」、及び「移行先ノード」の各フィールドからなるレコードが、マイグレーション候補となるプロセスと処理内容の組合せの数だけ登録される。
memory_usage:当該プロセスのメモリ使用量が閾値を超えた
open /path/to/file1:特定のファイルをオープンした
network_load:ネットワークにアクセスした
shmem:共有メモリをアクセスした
rpc_to 10010:特定のプロセスとプロセス間通信を行った
fork 10020,10021,10022:子プロセスを生成した
スコア=W1+W2×回数
なる計算式によって算出すればよい。
例えば、そのようにして算出したスコアが図5のような数値になっており、閾値が「0.7」に設定されているのであれば、図5の1行目のレコード(スコアが「0.8」で閾値を超えている)に対応するプロセスが、タスクリスト31に追加登録されることとなる。
20 クラスタスケジューラ
21 ノードリスト
22 タスクリスト参照部
23 ノード情報管理部
24 マイグレーション判定部
25 マイグレーション指示部
30 プロセス状態監視部
31 タスクリスト(マイグレーション候補リスト)
32 スコアテーブル
33 システムログ参照部
34 タスクリスト更新/参照部
35 タスクリスト登録判定部
36 リソース使用状況取得部
37 タスクリスト参照受付部
40 OS
50 個別ノード監視部
60 プロセス
70 ノード
80 ネットワーク
100 クラスタシステム
Claims (6)
- 複数のプロセスを実行可能な物理ノードがネットワーク接続されて構成されたクラスタシステムにおけるプロセスマイグレーション方法であって、
前記クラスタシステムが備えるプロセス状態監視部が、
所定の周期毎に各プロセスにおけるマイグレーションの要因となる所定の動作特性の発生を監視し、前記所定の動作特性が発生したプロセスに、当該動作特性と、その発生頻度と、当該プロセスが実行されている物理ノードを示す実行中ノードとを関連付けてマイグレーション候補のプロセスとしてマイグレーション候補リストに記録するステップを実行し、
前記クラスタシステムが備えるクラスタスケジューラが、
所定の周期毎に各物理ノードのリソース使用状況を取得してノードリストに記録するステップと、
前記マイグレーション候補リストを前記プロセス状態監視部から取得するステップと、
前記マイグレーション候補リストに記録されたプロセスの動作特性がプロセス間の関連性を示すものであるか否かで当該プロセスおよび当該プロセスと関連性を有するプロセスを示す関連プロセス群の存否を判定するステップと、
前記関連プロセス群が存在し、当該関連プロセス群の実行中ノードが同一であるときに、実行中ノードが当該関連プロセス群の実行中ノードと同一であって当該プロセスと関連性を有しないプロセスを示す非関連プロセスが有るか否かを前記マイグレーション候補リストを参照して判定するステップと、
前記非関連プロセスが有ると判定した場合に、前記ノードリストを参照し、前記非関連プロセスが必要とするリソースを有していて当該非関連プロセスを受入れ可能な物理ノードが存在するときに、当該物理ノードへの当該非関連プロセスのマイグレーションを指示するステップとを実行する
ことを特徴とするプロセスマイグレーション方法。 - 請求項1に記載のプロセスマイグレーション方法において、
前記マイグレーション候補リストに記録されたプロセスの動作特性にはそれぞれ優先度が割り当てられ、
前記クラスタスケジューラは、前記優先度の高い動作特性が検知されているプロセスを優先して前記関連プロセス群の存否を判定するステップを実行する
ことを特徴とするプロセスマイグレーション方法。 - 請求項1または請求項2に記載のプロセスマイグレーション方法において、
前記クラスタスケジューラは、前記関連プロセス群が存在し、当該関連プロセス群の実行中ノードが同一でない場合に、前記ノードリストを参照し、当該関連プロセス群が必要とするリソースを有していて当該関連プロセス群を受入れ可能な物理ノードが存在するときに、当該関連プロセス群を構成する各プロセスの当該物理ノードへのマイグレーションを指示するステップを実行する
ことを特徴とするプロセスマイグレーション方法。 - 複数のプロセスを実行可能な物理ノードがネットワーク接続されて構成されたクラスタシステムであって、
所定の周期毎に各プロセスにおけるマイグレーションの要因となる所定の動作特性の発生を監視し、前記所定の動作特性が発生したプロセスに、当該動作特性と、その発生頻度と、当該プロセスが実行されている物理ノードを示す実行中ノードとを関連付けてマイグレーション候補のプロセスとしてマイグレーション候補リストに記録するプロセス状態監視部と、
所定の周期毎に各物理ノードのリソース使用状況を取得してノードリストに記録し、
前記マイグレーション候補リストを前記プロセス状態監視部から取得し、
前記マイグレーション候補リストに記録されたプロセスの動作特性がプロセス間の関連性を示すものであるか否かで当該プロセスおよび当該プロセスと関連性を有するプロセスを示す関連プロセス群の存否を判定し、
前記関連プロセス群が存在し、当該関連プロセス群の実行中ノードが同一であるときに、実行中ノードが当該関連プロセス群の実行中ノードと同一であって当該プロセスと関連性を有しないプロセスを示す非関連プロセスが有るか否かを前記マイグレーション候補リストを参照して判定し、
前記非関連プロセスが有ると判定した場合に、前記ノードリストを参照し、前記非関連プロセスが必要とするリソースを有していて当該非関連プロセスを受入れ可能な物理ノードが存在するときに、当該物理ノードへの当該非関連プロセスのマイグレーションを指示するクラスタスケジューラと、
を備えることを特徴とするクラスタシステム。 - 請求項4に記載のクラスタシステムにおいて、
前記マイグレーション候補リストに記録されたプロセスの動作特性にはそれぞれ優先度が割り当てられ、
前記クラスタスケジューラは、前記優先度の高い動作特性が検知されているプロセスを優先して前記関連プロセス群の存否を判定する
ことを特徴とするクラスタシステム。 - 請求項4または請求項5に記載のクラスタシステムにおいて、
前記クラスタスケジューラは、前記関連プロセス群が存在し、当該関連プロセス群の実行中ノードが同一でない場合に、前記ノードリストを参照し、当該関連プロセス群が必要とするリソースを有していて当該関連プロセス群を受入れ可能な物理ノードが存在するときに、当該関連プロセス群を構成する各プロセスの当該物理ノードへのマイグレーションを指示する
ことを特徴とするクラスタシステム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014239267A JP6285850B2 (ja) | 2014-11-26 | 2014-11-26 | プロセスマイグレーション方法及びクラスタシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014239267A JP6285850B2 (ja) | 2014-11-26 | 2014-11-26 | プロセスマイグレーション方法及びクラスタシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016099972A JP2016099972A (ja) | 2016-05-30 |
JP6285850B2 true JP6285850B2 (ja) | 2018-02-28 |
Family
ID=56077943
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014239267A Active JP6285850B2 (ja) | 2014-11-26 | 2014-11-26 | プロセスマイグレーション方法及びクラスタシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6285850B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101820269B1 (ko) | 2017-07-21 | 2018-01-18 | 건국대학교 산학협력단 | 마이그레이션 방법 및 시스템 |
CN109582459A (zh) * | 2017-09-29 | 2019-04-05 | 阿里巴巴集团控股有限公司 | 应用的托管进程进行迁移的方法及装置 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007102332A (ja) * | 2005-09-30 | 2007-04-19 | Toshiba Corp | 負荷分散システム及び負荷分散方法 |
US9389980B2 (en) * | 2009-11-30 | 2016-07-12 | Red Hat, Inc. | Detecting events in cloud computing environments and performing actions upon occurrence of the events |
-
2014
- 2014-11-26 JP JP2014239267A patent/JP6285850B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016099972A (ja) | 2016-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Ghomi et al. | Load-balancing algorithms in cloud computing: A survey | |
CN104915407B (zh) | 一种基于Hadoop多作业环境下的资源调度方法 | |
US20190303200A1 (en) | Dynamic Storage-Aware Job Scheduling | |
Rasooli et al. | COSHH: A classification and optimization based scheduler for heterogeneous Hadoop systems | |
JP5770721B2 (ja) | 情報処理システム | |
JP5664098B2 (ja) | 複合イベント分散装置、複合イベント分散方法および複合イベント分散プログラム | |
JP6233413B2 (ja) | タスク割り当て判定装置、制御方法、及びプログラム | |
Xu et al. | Adaptive task scheduling strategy based on dynamic workload adjustment for heterogeneous Hadoop clusters | |
JP2005056391A (ja) | コンピューティング環境の作業負荷を均衡させる方法およびシステム | |
JP4992408B2 (ja) | ジョブ割当プログラム、方法及び装置 | |
CN104199739B (zh) | 一种基于负载均衡的推测式Hadoop调度方法 | |
JP4458412B2 (ja) | パラメータ調整装置 | |
Kurazumi et al. | Dynamic processing slots scheduling for I/O intensive jobs of Hadoop MapReduce | |
JP6969499B2 (ja) | Vmマイグレーションシステムおよびvmマイグレーション方法 | |
JP6519111B2 (ja) | データ処理制御方法、データ処理制御プログラムおよびデータ処理制御装置 | |
Pongsakorn et al. | Container rebalancing: Towards proactive linux containers placement optimization in a data center | |
US11157323B2 (en) | Multiple metric based load prediction and resource allocation in an active stream processing job | |
Xue et al. | Managing data center tickets: Prediction and active sizing | |
Dai et al. | Scheduling for response time in Hadoop MapReduce | |
JP6285850B2 (ja) | プロセスマイグレーション方法及びクラスタシステム | |
JP2016004328A (ja) | タスク割当プログラム、タスク割当方法およびタスク割当装置 | |
Rathore | A REVIEW TOWARDS: LOAD BALANCING TECHNIQUES. | |
CN111831408A (zh) | 异步任务处理方法、装置、电子设备及介质 | |
JP6279816B2 (ja) | ストレージ監視システムおよびその監視方法 | |
CN117667299A (zh) | 虚拟机迁移方法、芯片、网卡、处理设备、系统及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170912 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170913 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180130 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180202 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6285850 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |