JP7405008B2 - 情報処理装置、情報処理プログラム、及び、情報処理方法 - Google Patents

Description

本発明は、情報処理装置、情報処理プログラム、及び、情報処理方法に関する。

並列処理装置、例えばＨＰＣ（High Performance Computing）等の計算機システムでは、例えば同一構成の複数の計算ノード（「ノード」又は「情報処理装置」と称されてもよい）による並列処理によって、計算ノード数に応じた高い性能が得られる。

並列処理装置では、計算ノード数の増加に伴い、消費電力が増加する。例えば、数千～数万台の計算ノードを備える並列処理装置では、消費電力が数十ＭＷ（メガワット）に達する場合もある。

ノードあたりの電力を削減するための手法として、ノードで使用されるプロセッサ、例えば複数のコアを備えるＣＰＵ（Central Processing Unit）の動作を停止することにより、電力を削減する手法が知られている。

当該手法では、例えば、１つのコアが、他のコアに対して動作の停止を指示するとともに、コアとしての処理を継続する。他のコアは、指示に応じてレジスタの値を保持したまま動作を停止する。

また、他のコアによる動作を再開させる場合、上記１つのコアは、他のコアに対して、動作の再開を指示する。他のコアは、指示に応じて、保持するレジスタの値を用いて動作を再開（プログラムの実行状態に移行）する。

特開２０１３－０９２８３９号公報 特開２０１４－０２１８７７号公報 特開２００９－２４５４４９号公報

ＣＰＵが備えるコアは、多数の論理回路を含んでおり、これらの論理回路の動作は複雑である。このようなコアの動作を停止するために、コア内部では、例えば、動作中の回路を停止できる状態になるまで待ち合わせる等の処理が発生する。また、コアの動作を再開するために、コア内部では、例えば、停止中の回路を動作できる状態にするための処理、一例としてレジスタの値の読み込み等の処理が発生する。これらの処理には、例えば、数ｍｓ（ミリ秒）程度の時間がかかる場合がある。

一方、並列処理装置のように多数のノードを同時に並列動作させるシステムにおいて、コアの動作遅延が許容される時間は、例えば数μｓ（マイクロ秒）程度のオーダである。

このため、上述した電力の削減手法において、他のコアに対する動作の再開指示の発行後、他のコアで実際に動作が再開されるまでの遅延時間は、複数のノードが並列動作を行なう際の同期の乱れを生じさせ、システムの性能を低下させる可能性がある。

１つの側面では、本発明は、停止状態のコアを適切なタイミングで実行状態に復帰させることを目的の１つとする。

１つの側面では、情報処理装置は、複数のコアを備えるプロセッサを備えてよい。前記複数のコアのうちの第１コアは、前記複数のコアのうちの第２コアの動作状態を、プログラムを実行する実行状態から前記第２コアの動作を停止する停止状態に移行させる停止指示と、前記停止状態から前記実行状態に移行させる復帰指示と、を前記第２コアに発行する処理部を備えてよい。前記処理部は、第１の停止指示を発行するときの前記プログラムの進行度を示す指標と、前記第１の停止指示を発行してから第１の復帰指示を発行するまでの停止時間と、を記憶部に格納してよい。また、前記処理部は、第２の停止指示を発行する場合であって、第２の停止指示を発行するときの前記プログラムの進行度を示す指標が前記記憶部に格納された前記指標と一致する場合、前記記憶部に格納された前記停止時間から、前記第２コアの動作状態が前記復帰指示の発行に応じて前記実行状態に移行するまでの遅延時間を減じた時間、に基づくタイミングで第２の復帰指示を発行してよい。

１つの側面では、停止状態のコアを適切なタイミングで実行状態に復帰させることができる。

一実施形態に係る計算機システムのハードウェア構成例を示すブロック図である。 一実施形態に係るプロセッサによるリテンション処理の一例を説明するための図である。 リテンション処理において発生するディレイの一例を示す図である。 一実施形態に係るコアの構成例を示すブロック図である。 一実施形態に係る制御部の動作例を説明するための図である。 一実施形態に係るノードの動作例を説明するためのフローチャートである。 コンピュータのハードウェア構成例を示すブロック図である。

以下、図面を参照して本発明の実施の形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。例えば、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。なお、以下の説明で用いる図面において、同一符号を付した部分は、特に断らない限り、同一若しくは同様の部分を表す。

〔１〕一実施形態
〔１－１〕一実施形態の構成例
図１は、一実施形態に係る計算機システム１のハードウェア（ＨＷ；Hardware）構成例を示すブロック図である。

計算機システム１は、複数のノードにより並列処理を行なう並列処理装置又は並列処理システムの一例である。図１に示すように、計算機システム１は、例示的に、複数の計算ノード２、端末装置３、及び、管理装置４を備えてよい。

計算ノード（以下、単に「ノード」と表記する場合がある）２は、情報処理装置又はコンピュータの一例である。ノード２は、他のノード２と協働して、計算機システム１が提供する並列処理を含む種々の処理を実行する。

ノード２は、ＩＮ（Interconnect Network；インタコネクトネットワーク）５を介して、相互に通信可能に接続されてよい。ＩＮ５は、計算機システム１における計算（演算）用のインターコネクトを形成するネットワークである。ＩＮ５は、例えば、イーサネット（Ethernet；登録商標）、インフィニバンド（InfiniBand）、又はミリネット（Myrinet）等の高速なバスアーキテクチャに対応したネットワークであってよい。

端末装置３は、計算機システム１の管理者又は利用者等のオペレータが操作する操作端末であり、ノード２に関する操作を行なうための情報処理端末の一例である。例えば、オペレータは、端末装置３により計算機システム１、例えば管理装置４にログインし、複数のノード２を利用する並列処理を実行するための種々の設定又は操作を行なってよい。

管理装置４は、計算機システム１、例えば複数のノード２を利用する並列処理を管理する情報処理装置の一例である。管理装置４は、例えば、並列処理において複数のノード２が実行するプログラムの管理（例えば各ノード２への配布）、並列処理結果の保存、等の種々の処理を行なってよい。

なお、端末装置３及び管理装置４の一方又は双方は、ノード２と同様の構成であってもよい。換言すれば、端末装置３及び管理装置４の一方又は双方は、複数のノード２のうちのいずれか１つ以上のノード２により実現されてもよい。

また、端末装置３及び管理装置４の機能は、１つのコンピュータ或いはノード２に集約されてもよい。

さらに、図１の例では、端末装置３及び管理装置４が、ＩＮ５を介してノード２に接続されるものとしたが、これに限定されるものではない。例えば、ノード２、端末装置３、及び管理装置４は、図示しないＬＡＮ（Local Area Network）等の管理用のネットワークを介して、相互に通信可能に接続されてもよい。

図１に示すように、各ノード２は、１以上（図１の例では１つ）のプロセッサ２ａを備えてよい。

プロセッサ２ａは、ノード２に供給される電力を利用して動作し、種々の制御や演算を行なう集積回路（ＩＣ；Integrated Circuit）であり、演算処理装置の一例である。プロセッサ２ａは、メモリ、記憶装置、コントローラ、通信インタフェース（ＩＦ；Interface）等の図示しない他のコンポーネントとバスで相互に通信可能に接続されてよい。

図１に例示するように、プロセッサ２ａは、計算の並列度を高めるために、複数（図１の例では６４個）のコア２０を備えてよい。

プロセッサ２ａとしては、例えば、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＤＳＰ、ＡＳＩＣ、及び、ＰＬＤ（例えばＦＰＧＡ）等の集積回路のいずれか１つ、又は、これらの２以上の組み合わせであってよい。なお、ＭＰＵはMicro Processing Unitの略称である。ＧＰＵはGraphics Processing Unitの略称であり、ＤＳＰはDigital Signal Processorの略称である。ＡＳＩＣはApplication Specific Integrated Circuitの略称であり、ＰＬＤはProgrammable Logic Deviceの略称であり、ＦＰＧＡはField Programmable Gate Arrayの略称である。

〔１－２〕リテンション処理の説明
図１に示す計算機システム１において、プロセッサ２ａの動作を停止することにより電力を削減する場合を想定する。

プロセッサ２ａは、内部にデータやアドレス等の情報を記憶する種々のレジスタを備えており、レジスタの記憶状態（記憶内容）を変更又は保持するために電力を消費する。これらのレジスタには、プロセッサ２ａが動作している期間中は常時動作するレジスタが存在する。当該レジスタは、プロセッサ２ａがプログラムを実行する必要のない期間中であっても電力を消費するため、計算機システム１における電力消費の要因となっている。

また、プロセッサ２ａの動作において、全てのコア２０を動作させておく必要がない時間、プロセッサ２ａの外部からのＩＯ（Input / Output）待ちの時間等、外部要因によって、プロセッサ２ａ（１以上のコア２０）が動作する必要のない時間が発生することがある。

そこで、計算機システム１では、プロセッサ２ａの停止が許容される時間（停止許容時間）の発生に着目し、プロセッサ２ａのレジスタの状態を保持したままプロセッサ２ａの動作を停止するリテンション処理を行なう。

例えば、図２に示すように、プロセッサ２ａのコア２０のうちの１つのコア＃０が、他のコア＃１～＃６３に対して、コア２０の動作を停止することを指示するリテンション指示を発行する（符号Ａ参照）。

コア＃１～＃６３は、プログラムを実行する実行状態１１においてリテンション指示を通知されると、リテンション指示に従い、レジスタの値を保持した状態で、コア２０自身の動作を停止する停止処理を行なう。停止処理は、例えば、論理回路等のＨＷにより実現されてよい。

コア＃０は、コア＃１～＃６３がリテンション状態（停止状態）１２の場合、プロセッサ２ａとしての処理、例えばＩＯ待ち等の処理を行なう。ＩＯ待ちが完了（例えばＩＯを処理）すると、コア＃０は、動作状態に復帰させるコア＃１～＃６３に対して動作の再開を指示する復帰指示を発行する（符号Ｂ参照）。

復帰指示を通知されたコア＃１～＃６３は、復帰指示に従い、コア２０自身の動作を、プログラムを実行する実行状態１３に復帰（遷移）させる復帰処理を行なう。

ここで、上述のように、停止処理及び復帰処理では、例えば、数ｍｓ程度の時間がかかる場合があり、計算機システム１で許容される遅延時間である数μｓ程度を大きく上回ることがある。

例えば、図３に示すように、リテンション状態１２のコア＃１～＃６３は、コア＃０が復帰指示を発行したタイミング（符号Ｂ参照）で復帰処理を開始する。しかし、コア＃１～＃６３が実際に実行状態１３に遷移するのは、斜線で示すディレイ（符号Ｃ参照）の期間（遅延時間）分だけ遅延したタイミングとなる。

このように、復帰指示が発行されてからコア＃１～＃６３が実行状態に移行するまでのディレイの期間の発生は、複数のノード２が並列動作を行なう際の同期の乱れ（例えばノイズ）を生じさせ、計算機システム１の性能を低下させる可能性がある。

そこで、一実施形態に係る計算機システム１は、以下に例示するように、リテンション状態１２のコア２０を適切なタイミングで実行状態１３に復帰させることを可能とする。

〔１－３〕コアの構成例
図４は、一実施形態に係るコア２０の構成例を示すブロック図である。図４に示すコア２０は、プロセッサ２ａが備える複数のコア２０（図１参照）のうちの第１コア２０の一例であり、例えばコア＃０であってよい。コア＃０は、コア＃１～＃６３を制御する役割を与えられたコア２０であってよい。コア＃１～＃６３は、プロセッサ２ａが備える複数のコア２０のうちの第２コア２０の一例である。なお、第１コア２０は、プロセッサ２ａが備える複数のコア２０のうちのいずれのコア２０であってもよく、また、冗長化のために２以上のコア２０であってもよい。

コア＃１～＃６３（又は、コア＃０～＃６３）は、同一のプログラムのコードを各々が並行して（例えば同時又は略同時に）実行してよい。換言すれば、プロセッサ２ａが実行するプログラムは、複数のコア２０で並列に実行されるように作成された並列処理用のプログラムである。各ノード２において、各プロセッサ２ａの各コア２０がプログラムを実行することにより、複数のノード２が協働して並列処理を実現することができる。

図４に示すように、コア２０は、リテンション処理の実行に着目すると、例示的に、制御部２１、位置記録部２２、タイマ２３、リテンション時間記録部２４、及び、復帰タイマ２５を備えてよい。

制御部２１、タイマ２３、及び、復帰タイマ２５のそれぞれは、論理回路等のＨＷとしてコア２０に実装されてよく、位置記録部２２、及び、リテンション時間記録部２４のそれぞれは、レジスタ等のＨＷとしてコア２０に実行されてよい。なお、ブロック２１～２５のうちの少なくとも１つは、コア２０が実行するプログラムの機能として実現されてもよい。

制御部２１は、リテンション指示及び復帰指示の発行を含む、リテンション処理に関する種々の制御を行なう。リテンション指示は、第２コア２０の動作状態を、プログラムを実行する実行状態から第２コア２０の動作を停止する停止状態に移行させる停止指示の一例である。復帰指示は、第２コア２０の動作状態を、停止状態から実行状態に移行させる指示である。このため、制御部２１は、停止指示と復帰指示とを第２コア２０に発行する処理部の一例である。

図５は、一実施形態に係る制御部２１の動作例を説明する図である。図５の例では、上段にＮ＝１のときのリテンション処理の動作例を示し、下段にＮ＝ｎ（ｎは２以上の整数）のときのリテンション処理の動作例を示す。Ｎは、リテンション処理の実行回数を示す。

なお、Ｎ＝１～Ｎ＝ｎのそれぞれのリテンション処理は、同一のプログラムの複数回の実行処理の中でそれぞれ発生してもよい。或いは、プログラムの一連の実行処理の中で、リテンション処理が複数回発生する場合もあるため、Ｎ＝１～Ｎ＝ｎのそれぞれのリテンション処理は、プログラムの一度の実行処理の中で発生してもよい。

図５の例では、Ｎ＝１の場合、リテンション指示の発行タイミング（符号Ａ参照）を時刻ｔ_０、復帰指示の発行タイミング（符号Ｂ参照）を時刻ｔ_２、コア＃１～＃６３が実行状態１３に遷移したタイミングを時刻ｔ_３、ディレイの期間を時間ｔ_ｄとする。また、Ｎ＝ｎの場合、リテンション指示の発行タイミング（符号Ｅ参照）を時刻ｔ_４、復帰指示の発行タイミング（符号Ｆ参照）を時刻ｔ_５、コア＃１～＃６３が実行状態１３に遷移したタイミングを時刻ｔ_６、ディレイの期間を時間ｔ_ｄとする。

例えば、図５の上段に示すように、Ｎ＝１の場合、制御部２１は、通常通り、リテンション指示及び復帰指示を発行する（符号Ａ及びＢ参照）。リテンション指示及び復帰指示を発行するトリガは、管理装置４から通知されてもよいし、プログラムで指定されてもよい。或いは、制御部２１が、第２コア２０によるプログラムの実行状況を監視し、リテンション指示及び復帰指示のそれぞれの発行タイミングを検知してもよい。

ここで、リテンション指示が発行されてから、復帰指示が発行されるまでの時間は、コア２０が実行するプログラムの処理内容（例えばコード内容）に依存する場合がある。例えば、プログラムの実行過程において、所定のタイミングで、全てのコア２０を動作させておく必要がない時間、及び、ＩＯ待ちの時間、等が発生する場合がある。

このため、プログラムの実行過程において、或るタイミングでリテンション指示が発行された場合の復帰指示の発行タイミングは、過去にリテンション指示が発行されたときの復帰指示の発行タイミングから予測できる。

そこで、制御部２１は、例えば、図５の上段に示すように、Ｎ＝１の場合、リテンション指示の発行から復帰指示の発行までの時間（ｔ_２－ｔ_０）を記録する。

これにより、Ｎ＝ｎの場合において、タイミングｔ_４でリテンション指示が発行された場合、制御部２１は、復帰指示の発行タイミングを、タイミングｔ_４と、記録した時間（ｔ_２－ｔ_０）とを用いて、ｔ_４＋（ｔ_２－ｔ_０）により予測することができる。

また、符号Ｃで示すディレイの時間ｔ_ｄ、換言すれば、第２コア２０の動作状態が復帰指示の発行に応じて実行状態に移行するまでの遅延時間ｔ_ｄは、コア２０の論理回路等の内部構造に依存する遅延時間であり、固定値と捉えることができる。ディレイの時間の情報は、例えば、プロセッサ２ａのメーカから取得したり、計測したりすることによって予め取得できる。

従って、制御部２１は、Ｎ＝ｎの場合、リテンション指示の発行（符号Ｅ参照）の際に、記録した時間（ｔ_２－ｔ_０）とディレイの時間ｔ_ｄとに基づき、タイミングｔ_５において復帰指示（符号Ｆ参照）を投機的に発行する制御を行なう。

例えば、制御部２１は、タイミングｔ_４でリテンション指示が発行された場合、予測される復帰指示の発行タイミングｔ_４＋（ｔ_２－ｔ_０）よりもディレイの時間ｔ_ｄ分だけ早めたタイミングｔ_５＝ｔ_４＋（ｔ_２－ｔ_０）－ｔ_ｄで、復帰指示を発行するのである。

これにより、図５の下段（Ｎ＝ｎ）に示すように、制御部２１が復帰指示（符号Ｆ参照）を時刻ｔ_５で発行すると、コア＃１～＃６３は、復帰指示に応じて復帰処理を行ない、時刻ｔ_５から遅延時間ｔ_ｄだけ経過した時刻ｔ_６に、実行状態１３に遷移する。

従って、プログラムの実行過程に従って通常通り復帰指示が発行されると予測される時刻ｔ_６（＝ｔ_４＋（ｔ_２－ｔ_０））の時点で、図５の下段（Ｎ＝ｎ）に示すように、コア＃１～＃６３をプログラムの実行が可能な状態にすることができる。

以上のように、一実施形態に係る制御部２１によれば、リテンション状態１２のコア２０を適切なタイミングで実行状態１３に復帰させることができる。

例えば、計算機システム１の複数のノード２の各々のプロセッサ２ａが、第１コア２０を備えることにより、各ノード２でリテンション処理が行なわれたとしても、複数のノード２が並列動作を行なう際の同期の乱れ（例えばノイズ）の発生を抑制することができる。従って、計算機システム１の性能低下を抑制することができる。

上述した制御を可能とするために、制御部２１は、例えば、位置記録部２２、タイマ２３、リテンション時間記録部２４及び復帰タイマ２５を利用してよい。

位置記録部２２は、制御部２１がリテンション指示を発行した時点のプログラム上の位置に関する位置情報を記録する。位置情報は、実行されるプログラムの進行度を示す指標の一例である。一実施形態では、位置情報として、例えば、プログラムの実行開始後、リテンション指示の発行タイミングまでの期間（経過時間）が用いられるものとする。

なお、位置情報の他の例としては、実行されるプログラムの実行状況を把握できる種々の情報が挙げられる。例えば、プログラムが、所定の処理を実行するごと、又は、一定期間ごとに、現在の処理段階を示す情報をコア＃０に通知する場合には、当該処理段階を示す情報が位置情報と捉えられてもよい。

制御部２１は、コア＃１～＃６３によりプログラムが実行されている間に、コア＃０からリテンション指示を発行すると、リテンション指示がプログラム上の同じ位置で過去に発行されたか否かを判定する。

例えば、制御部２１は、コア＃０からリテンション指示を発行すると、リテンション指示の発行時点におけるプログラム上の位置情報（ｐ）を取得してよい。そして、制御部２１は、取得した位置情報（ｐ）が位置記録部２２に記録された１以上の位置情報のうちのいずれかと一致するか否かを判定してよい。

取得した位置情報（ｐ）が位置記録部２２に記録された位置情報と一致しない場合、今回発行したリテンション指示は、位置情報（ｐ）が示すプログラム上の位置においては初めて実行されるリテンション指示であることを意味する。図５の例では、時刻ｔ_０における初回のリテンション指示の場合、或いは、時刻ｔ_４におけるリテンション指示であってｔ_０≠ｔ_４の場合である。この場合、制御部２１は、位置情報（ｐ）を位置記録部２２に記録してよい。

このように、位置記録部２２は、互いに異なると判定された複数の位置情報のそれぞれを記録してよい。

なお、取得した位置情報（ｐ）と、位置記録部２２が記録する位置情報とが一致するか否かの判定には、或る程度の誤差が考慮されてもよい。誤差としては、例えば、μｓオーダ、一例として、前後数μｓ程度の誤差が許容されてよい。例えば、制御部２１は、取得した位置情報（ｐ）の前後数μｓ程度の範囲に含まれる位置情報が、位置記録部２２に存在するか否かを判定してよい。以下の説明では、取得した位置情報（ｐ）と、位置記録部２２が記録する位置情報とが一致するか否かの判定は、上記誤差の範囲を用いた判定であるものとする。

タイマ２３は、リテンション指示の発行から復帰指示の発行までのリテンション時間（図５の例ではｔ_２－ｔ_０）を計測する。

リテンション時間記録部２４は、タイマ２３が計測したリテンション時間を記録する。リテンション時間は、コア＃１～＃６３がリテンションを行なっていた時間であり、リテンション指示を発行してから復帰指示を発行するまでの停止時間の一例である。

例えば、制御部２１は、位置記録部２２に位置情報を記録する場合、コア＃０からリテンション指示を発行したタイミングでタイマ２３をリセットし、時間計測を開始する。そして、制御部２１は、コア＃０から復帰指示を発行したタイミングでタイマ２３のカウント値を取得し、取得したカウント値をリテンション時間としてリテンション時間記録部２４に記録する。

このように、リテンション時間記録部２４は、位置記録部２２が記録する位置情報の数（エントリ数）と同数のリテンション時間のそれぞれを記録してよい。なお、制御部２１は、位置記録部２２が記録する位置情報と、リテンション時間記録部２４が記録するリテンション時間とを対応付けて管理してよい。

以上のように、制御部２１は、位置情報（ｐ）と位置記録部２２が記録する位置情報とが一致しない場合、或いは、位置記録部２２に位置情報が存在しない場合（例えばリテンション処理が初めて実行される場合）、位置情報及びリテンション時間を位置記録部２２及びリテンション時間記録部２４に格納する。位置記録部２２及びリテンション時間記録部２４は、記憶部の一例である。換言すれば、制御部２１は、第１の停止指示を発行するときのプログラムの進行度を示す指標と、第１の停止指示を発行してから第１の復帰指示を発行するまでの停止時間と、を記憶部に格納する。

制御部２１は、以上のように、位置情報（ｐ）が位置記録部２２に記録された位置情報と一致しない場合、位置情報（ｐ）を位置記録部２２に記録するとともに、リテンション指示の発行から復帰指示の発行までの時間を計測しリテンション時間記録部２４に記録する。このとき、制御部２１は、通常のトリガに基づき復帰指示を発行する。

一方、制御部２１は、取得した位置情報（ｐ）が位置記録部２２に記録された位置情報と一致する場合、例えば、図５において、時刻ｔ_４におけるリテンション指示であってｔ_０＝ｔ_４の場合、当該位置情報に対応するリテンション時間を取得する。例えば、制御部２１は、位置記録部２２に記録された当該位置情報が取得されたときにタイマ２３により計測されたリテンション時間を、リテンション時間記録部２４から読み出す。

そして、制御部２１は、取得したリテンション時間（図５の例ではｔ_２－ｔ_０）からディレイの時間（図５の例ではｔ_ｄ）を減じることで、復帰指示の復帰時間ｔｒを算出し、復帰時間ｔｒを復帰タイマ２５にセット（設定）する。復帰時間ｔｒは、リテンション指示を発行してから、制御部２１が発行指示を発行するまでの期間である。

復帰タイマ２５は、セットされた復帰時間ｔｒの期間をカウント（計測）する。

例えば、制御部２１は、復帰時間ｔｒを復帰タイマ２５にセットしてから、復帰タイマ２５による復帰時間ｔｒのカウントが満了したタイミングで、コア＃０からコア＃１～＃６３の各々に復帰指示を発行する。

なお、制御部２１は、復帰指示の復帰時刻Ｔｒを算出してもよい。復帰時刻Ｔｒは、復帰指示を発行する時刻（タイミング）である。例えば、制御部２１は、リテンション指示の復帰時刻（図５の下段の例ではｔ_４）に、上述した復帰時間ｔｒを加算することで、復帰指示の復帰時刻Ｔｒを算出し、復帰時刻Ｔｒを復帰タイマ２５にセットしてもよい。

この場合、復帰タイマ２５は、セットされた復帰時刻Ｔｒの到来を検知する。

例えば、制御部２１は、復帰タイマ２５により、復帰時刻Ｔｒの到来が検知されたタイミングで、コア＃０からコア＃１～＃６３の各々に復帰指示を発行する。

以上のように、制御部２１は、第２の停止指示を発行する場合であって、第２の停止指示を発行するときのプログラムの進行度を示す指標が記憶部に格納された指標と一致する場合、復帰時間ｔｒ又は復帰時刻Ｔｒを算出する。例えば、制御部２１は、リテンション時間記録部２４に格納されたリテンション時間から、ディレイの時間ｔ_ｄを減じた時間に基づくタイミングで第２の復帰指示を発行する。なお、第２の停止指示及び第２の復帰指示は、第１の停止指示及び第１の復帰指示よりも時間的に後に発行されるリテンション指示及び復帰指示の一例である。

ここで、上述のように、リテンション時間は、コア２０が実行するプログラムの処理内容（例えばコード内容）に依存する場合がある。このため、コア＃０からリテンション指示を発行したときのプログラム上の位置情報（ｐ）が、過去の位置情報と一致する場合、今回の復帰指示の発行タイミングは、当該過去のリテンション時間から推定することができる。

そこで、制御部２１は、取得した位置情報（ｐ）が過去の位置情報と一致する場合、当該過去の位置情報に対応するリテンション時間から推定できる復帰指示の発行タイミングよりも、ディレイの時間分だけ早めたタイミングで、復帰指示を投機的に発行するのである。これにより、制御部２１は、過去に計測したリテンション時間よりもディレイ分だけ早く、コア＃１～＃６３をリテンション状態１２（リテンションモード）から復帰させることができる。

なお、過去と同一の位置情報であっても、リテンション時間が過去とは相違する場合も生じうる。この場合、制御部２１は、以下の処理を行なってよい。

例えば、制御部２１は、外部からの命令等のトリガにより、算出した復帰時間ｔｒ（又は復帰時刻Ｔｒ）以前に復帰指示を発行する場合、復帰指示を発行するとともに、当該復帰指示の発行タイミング（時刻）を、次回の復帰指示のタイミングとしてよい。また、制御部２１は、算出した復帰時間ｔｒ（又は復帰時刻Ｔｒ）よりも後（例えばコア２０の復帰後）に、復帰指示の発行トリガを検知した場合、検知したトリガに応じて復帰指示を発行する場合のタイミング（時刻）を、次回の復帰指示のタイミングとしてよい。

これらの場合、制御部２１は、例えば、リテンション指示を受信してから、検知したトリガに応じて復帰指示を発行するまでの時間を算出し、算出した時間により、リテンション時間記録部２４に記録された対応するリテンション時間を更新してよい。

〔１－４〕動作例
次に、図６を参照して、上述の如く構成された一実施形態に係るノード２の動作例を説明する。図６は、ノード２の動作例を説明するフローチャートである。

図６に例示するように、ノード２が備えるプロセッサ２ａにおいて、プログラムが実行されている場合、コア＃０の制御部２１は、トリガの検出により、コア＃０からコア＃１～＃６３にリテンション指示を発行する（ステップＳ１）。

制御部２１は、リテンション指示を発行したときの現在のプログラム上の位置情報（ｐ）を取得する（ステップＳ２）。

制御部２１は、位置記録部２２を参照し、取得した位置情報（ｐ）に一致する、記録済みの位置情報が位置記録部２２に存在するか否かを判定する（ステップＳ３）。

位置情報（ｐ）に一致する位置情報が位置記録部２２に存在しないと判定した場合（ステップＳ３でＮＯ）、制御部２１は、タイマ２３をリセットし、時間計測を開始する（ステップＳ４）。

制御部２１は、トリガの検出により、コア＃０からコア＃１～＃６３に復帰指示を発行する（ステップＳ５）。

制御部２１は、タイマ２３の時間計測を停止し、復帰指示を発行したときのタイマ２３のカウント値をリテンション時間としてリテンション時間記録部２４に記録し（ステップＳ６）、処理が終了する。

一方、ステップＳ３において、位置情報（ｐ）に一致する位置情報が位置記録部２２に存在すると判定した場合（ステップＳ３でＹＥＳ）、制御部２１は、復帰時間ｔｒを算出する（ステップＳ７）。

例えば、制御部２１は、位置情報（ｐ）に一致すると判定した位置記録部２２内の位置情報に対応するリテンション時間をリテンション時間記録部２４から取得し、リテンション時間からディレイの時間ｔ_ｄを減じることで、復帰時間ｔｒを算出する。なお、制御部２１は、ステップＳ１で発行したリテンション指示の復帰時刻に復帰時間ｔｒを加算することで、復帰時刻Ｔｒを算出してもよい。

制御部２１は、復帰時間ｔｒ（又は復帰時刻Ｔｒ）を復帰タイマ２５にセットし（ステップＳ８）、復帰時間ｔｒの満了（又は復帰時刻Ｔｒの到来）を待ち合わせる（ステップＳ９、ステップＳ９でＮＯ）。

復帰時間ｔｒが満了した（又は復帰時刻Ｔｒが到来した）と判定した場合（ステップＳ９でＹＥＳ）、制御部２１は、復帰時間ｔｒ（又は復帰時刻Ｔｒ）に基づく復帰指示を発行し（ステップＳ１０）、処理が終了する。

なお、制御部２１は、リテンション指示を発行するトリガを検出する都度、図６に例示するフローチャートの処理を実行してよい。

〔１－５〕ノードのハードウェア構成例
図７は、コンピュータ１０のハードウェア（ＨＷ）構成を示すブロック図である。上述のように、ノード２のプロセッサ２ａのうちの第１コア２０は、リテンション処理をプログラムにより実行してもよい。以下、第１コア２０がリテンション処理をプログラムにより実行するために、ノード２の一例であるコンピュータ１０が備えるＨＷ構成を説明する。

図７に示すように、コンピュータ１０は、ＨＷ構成として、例示的に、プロセッサ１０ａ、メモリ１０ｂ、記憶部１０ｃ、ＩＦ部１０ｄ、ＩＯ部１０ｅ、及び読取部１０ｆを備えてよい。

プロセッサ１０ａは、種々の制御や演算を行なう演算処理装置の一例である。プロセッサ１０ａは、コンピュータ１０内の各ブロックとバス１０ｉで相互に通信可能に接続されてよい。プロセッサ１０ａは、図１に示すプロセッサ２ａの一例であり、複数のコア２０を備えるマルチコアプロセッサである。なお、プロセッサ１０ａは、複数のプロセッサ２ａを備えるマルチプロセッサであってもよい。

メモリ１０ｂは、種々のデータやプログラム等の情報を格納するＨＷの一例である。メモリ１０ｂとしては、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性メモリ、及び、ＰＭ（Persistent Memory）等の不揮発性メモリ、の一方又は双方が挙げられる。

記憶部１０ｃは、種々のデータやプログラム等の情報を格納するＨＷの一例である。記憶部１０ｃとしては、ＨＤＤ（Hard Disk Drive）等の磁気ディスク装置、ＳＳＤ（Solid State Drive）等の半導体ドライブ装置、不揮発性メモリ等の各種記憶装置が挙げられる。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＣＭ（Storage Class Memory）、ＲＯＭ（Read Only Memory）等が挙げられる。

また、記憶部１０ｃは、コンピュータ１０の各種機能の全部若しくは一部を実現するプログラム１０ｇ（情報処理プログラム）を格納してよい。例えば、第１コア２０は、記憶部１０ｃに格納されたプログラム１０ｇをメモリ１０ｂに展開して実行することにより、図４に例示する制御部２１、タイマ２３及び復帰タイマ２５としての機能を実現できる。また、１以上の第２コア２０は、記憶部１０ｃに格納された図示しないプログラムをメモリ１０ｂに展開して実行することにより、並列処理を実現できる。

ＩＦ部１０ｄは、ネットワークとの間の接続及び通信の制御等を行なう通信ＩＦの一例である。例えば、ＩＦ部１０ｄは、イーサネット（登録商標）、インフィニバンド、ミリネット、或いは、ＦＣ（Fibre Channel）等の光通信、等に準拠したアダプタを含んでよい。当該アダプタは、無線及び有線の一方又は双方の通信方式に対応してよい。例えば、ノード２は、ＩＦ部１０ｄを介して、端末装置３及び管理装置４のそれぞれと相互に通信可能に接続されてよい。また、例えば、プログラム１０ｇは、当該通信ＩＦを介して、ネットワークからコンピュータ１０にダウンロードされ、記憶部１０ｃに格納されてもよい。

ＩＯ部１０ｅは、入力装置、及び、出力装置、の一方又は双方を含んでよい。入力装置としては、例えば、キーボード、マウス、タッチパネル等が挙げられる。出力装置としては、例えば、モニタ、プロジェクタ、プリンタ等が挙げられる。

読取部１０ｆは、記録媒体１０ｈに記録されたデータやプログラムの情報を読み出すリーダの一例である。読取部１０ｆは、記録媒体１０ｈを接続可能又は挿入可能な接続端子又は装置を含んでよい。読取部１０ｆとしては、例えば、ＵＳＢ（Universal Serial Bus）等に準拠したアダプタ、記録ディスクへのアクセスを行なうドライブ装置、ＳＤカード等のフラッシュメモリへのアクセスを行なうカードリーダ等が挙げられる。なお、記録媒体１０ｈにはプログラム１０ｇが格納されてもよく、読取部１０ｆが記録媒体１０ｈからプログラム１０ｇを読み出して記憶部１０ｃに格納してもよい。

記録媒体１０ｈとしては、例示的に、磁気／光ディスクやフラッシュメモリ等の非一時的なコンピュータ読取可能な記録媒体が挙げられる。磁気／光ディスクとしては、例示的に、フレキシブルディスク、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ブルーレイディスク、ＨＶＤ（Holographic Versatile Disc）等が挙げられる。フラッシュメモリとしては、例示的に、ＵＳＢメモリやＳＤカード等の半導体メモリが挙げられる。

上述したコンピュータ１０のＨＷ構成は例示である。従って、コンピュータ１０内でのＨＷの増減（例えば任意のブロックの追加や削除）、分割、任意の組み合わせでの統合、又は、バスの追加若しくは削除等は適宜行なわれてもよい。例えば、ノード２において、ＩＯ部１０ｅ及び読取部１０ｆの少なくとも一方は、省略されてもよい。

なお、情報処理端末の一例である端末装置３及び情報処理装置の一例である管理装置４のそれぞれは、上述したコンピュータ１０と同様のＨＷ構成により実現されてよい。例えば、端末装置３のプロセッサ１０ａは、記憶部１０ｃに格納されたプログラム１０ｇをメモリ１０ｂに展開して実行することにより、図１に示す端末装置３としての機能を実現できる。また、管理装置４のプロセッサ１０ａは、記憶部１０ｃに格納されたプログラム１０ｇをメモリ１０ｂに展開して実行することにより、図１に示す管理装置４としての機能を実現できる。

〔２〕その他
上述した一実施形態に係る技術は、以下のように変形、変更して実施することができる。

例えば、図４に示すコア２０において、制御部２１、タイマ２３及び復帰タイマ２５の機能は、任意の組み合わせで併合してもよく、それぞれ分割してもよい。

〔３〕付記
以上の実施形態に関し、さらに以下の付記を開示する。

（付記１）
複数のコアを備えるプロセッサを備え、
前記複数のコアのうちの第１コアは、
前記複数のコアのうちの第２コアの動作状態を、プログラムを実行する実行状態から前記第２コアの動作を停止する停止状態に移行させる停止指示と、前記停止状態から前記実行状態に移行させる復帰指示と、を前記第２コアに発行する処理部を備え、
前記処理部は、
第１の停止指示を発行するときの前記プログラムの進行度を示す指標と、前記第１の停止指示を発行してから第１の復帰指示を発行するまでの停止時間と、を記憶部に格納し、
第２の停止指示を発行する場合であって、第２の停止指示を発行するときの前記プログラムの進行度を示す指標が前記記憶部に格納された前記指標と一致する場合、前記記憶部に格納された前記停止時間から、前記第２コアの動作状態が前記復帰指示の発行に応じて前記実行状態に移行するまでの遅延時間を減じた時間、に基づくタイミングで第２の復帰指示を発行する、
情報処理装置。

（付記２）
前記処理部は、前記第２の停止指示の発行タイミングに前記時間を加算した前記タイミングで、前記第２の復帰指示を発行する、
付記１に記載の情報処理装置。

（付記３）
前記処理部は、前記第２の停止指示を発行する場合であって、前記第２の停止指示を発行するときの前記指標が前記記憶部に格納された前記指標と一致しない場合、前記第２の停止指示を発行するときの前記指標と、前記第２の停止指示を発行してから前記第２の復帰指示を発行するまでの停止時間と、を前記記憶部に格納する、
付記１又は付記２に記載の情報処理装置。

（付記４）
前記第１の停止指示を発行するときの前記指標は、前記プログラムの実行開始後、前記第１の停止指示の発行タイミングまでの時間であり、
前記第２の停止指示を発行するときの前記指標は、前記プログラムの実行開始後、前記第２の停止指示の発行タイミングまでの時間である、
付記１～付記３のいずれか１項に記載の情報処理装置。

（付記５）
前記第２コアは、前記プログラムを各々が並列に実行する複数のコアである、
付記１～付記４のいずれか１項に記載の情報処理装置。

（付記６）
プロセッサが備える複数のコアのうちの第１コアに、
前記複数のコアのうちの第２コアの動作状態を、プログラムを実行する実行状態から前記第２コアの動作を停止する停止状態に移行させる停止指示と、前記停止状態から前記実行状態に移行させる復帰指示と、を前記第２コアに発行する、
処理を実行させ、
前記第１コアに、前記処理において、
第１の停止指示を発行するときの前記プログラムの進行度を示す指標と、前記第１の停止指示を発行してから第１の復帰指示を発行するまでの停止時間と、を記憶部に格納し、
第２の停止指示を発行する場合であって、第２の停止指示を発行するときの前記プログラムの進行度を示す指標が前記記憶部に格納された前記指標と一致する場合、前記記憶部に格納された前記停止時間から、前記第２コアの動作状態が前記復帰指示の発行に応じて前記実行状態に移行するまでの遅延時間を減じた時間、に基づくタイミングで第２の復帰指示を発行する、
処理を実行させる、情報処理プログラム。

（付記７）
前記第２の復帰指示の発行は、前記第２の停止指示の発行タイミングに前記時間を加算した前記タイミングで、前記第２の復帰指示を発行することを含む、
付記６に記載の情報処理プログラム。

（付記８）
前記第１コアに、
前記第２の停止指示を発行する場合であって、前記第２の停止指示を発行するときの前記指標が前記記憶部に格納された前記指標と一致しない場合、前記第２の停止指示を発行するときの前記指標と、前記第２の停止指示を発行してから前記第２の復帰指示を発行するまでの停止時間と、を前記記憶部に格納する、
処理を実行させる、付記６又は付記７に記載の情報処理プログラム。

（付記９）
前記第１の停止指示を発行するときの前記指標は、前記プログラムの実行開始後、前記第１の停止指示の発行タイミングまでの時間であり、
前記第２の停止指示を発行するときの前記指標は、前記プログラムの実行開始後、前記第２の停止指示の発行タイミングまでの時間である、
付記６～付記８のいずれか１項に記載の情報処理プログラム。

（付記１０）
前記第２コアは、前記プログラムを各々が並列に実行する複数のコアである、
付記６～付記９のいずれか１項に記載の情報処理プログラム。

（付記１１）
プロセッサが備える複数のコアのうちの第１コアが、
前記複数のコアのうちの第２コアの動作状態を、プログラムを実行する実行状態から前記第２コアの動作を停止する停止状態に移行させる停止指示と、前記停止状態から前記実行状態に移行させる復帰指示と、を前記第２コアに発行する、
処理を実行し、
前記第１コアは、前記処理において、
第１の停止指示を発行するときの前記プログラムの進行度を示す指標と、前記第１の停止指示を発行してから第１の復帰指示を発行するまでの停止時間と、を記憶部に格納し、
第２の停止指示を発行する場合であって、第２の停止指示を発行するときの前記プログラムの進行度を示す指標が前記記憶部に格納された前記指標と一致する場合、前記記憶部に格納された前記停止時間から、前記第２コアの動作状態が前記復帰指示の発行に応じて前記実行状態に移行するまでの遅延時間を減じた時間、に基づくタイミングで第２の復帰指示を発行する、
処理を実行する、情報処理方法。

（付記１２）
前記第２の復帰指示の発行は、前記第２の停止指示の発行タイミングに前記時間を加算した前記タイミングで、前記第２の復帰指示を発行することを含む、
付記１１に記載の情報処理方法。

（付記１３）
前記第１コアは、
前記第２の停止指示を発行する場合であって、前記第２の停止指示を発行するときの前記指標が前記記憶部に格納された前記指標と一致しない場合、前記第２の停止指示を発行するときの前記指標と、前記第２の停止指示を発行してから前記第２の復帰指示を発行するまでの停止時間と、を前記記憶部に格納する、
処理を実行する、付記１１又は付記１２に記載の情報処理方法。

（付記１４）
前記第１の停止指示を発行するときの前記指標は、前記プログラムの実行開始後、前記第１の停止指示の発行タイミングまでの時間であり、
前記第２の停止指示を発行するときの前記指標は、前記プログラムの実行開始後、前記第２の停止指示の発行タイミングまでの時間である、
付記１１～付記１３のいずれか１項に記載の情報処理方法。

（付記１５）
前記第２コアは、前記プログラムを各々が並列に実行する複数のコアである、
付記１１～付記１４のいずれか１項に記載の情報処理方法。

１ 計算機システム
１０ コンピュータ
２ 計算ノード、ノード
２ａ プロセッサ
２０ コア
２１ 制御部
２２ 位置記録部
２３ タイマ
２４ リテンション時間記録部
２５ 復帰タイマ
３ 端末装置
４ 管理装置
５ インタコネクトネットワーク（ＩＮ）

Claims (7)

1. 複数のコアを備えるプロセッサを備え、
   前記複数のコアのうちの第１コアは、
   前記複数のコアのうちの第２コアの動作状態を、プログラムを実行する実行状態から前記第２コアの動作を停止する停止状態に移行させる停止指示と、前記停止状態から前記実行状態に移行させる復帰指示と、を前記第２コアに発行する処理部を備え、
   前記処理部は、
   第１の停止指示を発行するときの前記プログラムの進行度を示す指標と、前記第１の停止指示を発行してから第１の復帰指示を発行するまでの停止時間と、を記憶部に格納し、
   第２の停止指示を発行する場合であって、第２の停止指示を発行するときの前記プログラムの進行度を示す指標が前記記憶部に格納された前記指標と一致する場合、前記記憶部に格納された前記停止時間から、前記第２コアの動作状態が前記復帰指示の発行に応じて前記実行状態に移行するまでの遅延時間を減じた時間、に基づくタイミングで第２の復帰指示を発行する、
   情報処理装置。
2. 前記処理部は、前記第２の停止指示の発行タイミングに前記時間を加算した前記タイミングで、前記第２の復帰指示を発行する、
   請求項１に記載の情報処理装置。
3. 前記処理部は、前記第２の停止指示を発行する場合であって、前記第２の停止指示を発行するときの前記指標が前記記憶部に格納された前記指標と一致しない場合、前記第２の停止指示を発行するときの前記指標と、前記第２の停止指示を発行してから前記第２の復帰指示を発行するまでの停止時間と、を前記記憶部に格納する、
   請求項１又は請求項２に記載の情報処理装置。
4. 前記第１の停止指示を発行するときの前記指標は、前記プログラムの実行開始後、前記第１の停止指示の発行タイミングまでの時間であり、
   前記第２の停止指示を発行するときの前記指標は、前記プログラムの実行開始後、前記第２の停止指示の発行タイミングまでの時間である、
   請求項１～請求項３のいずれか１項に記載の情報処理装置。
5. 前記第２コアは、前記プログラムを各々が並列に実行する複数のコアである、
   請求項１～請求項４のいずれか１項に記載の情報処理装置。
6. プロセッサが備える複数のコアのうちの第１コアに、
   前記複数のコアのうちの第２コアの動作状態を、プログラムを実行する実行状態から前記第２コアの動作を停止する停止状態に移行させる停止指示と、前記停止状態から前記実行状態に移行させる復帰指示と、を前記第２コアに発行する、
   処理を実行させ、
   前記第１コアに、前記処理において、
   第１の停止指示を発行するときの前記プログラムの進行度を示す指標と、前記第１の停止指示を発行してから第１の復帰指示を発行するまでの停止時間と、を記憶部に格納し、
   第２の停止指示を発行する場合であって、第２の停止指示を発行するときの前記プログラムの進行度を示す指標が前記記憶部に格納された前記指標と一致する場合、前記記憶部に格納された前記停止時間から、前記第２コアの動作状態が前記復帰指示の発行に応じて前記実行状態に移行するまでの遅延時間を減じた時間、に基づくタイミングで第２の復帰指示を発行する、
   処理を実行させる、情報処理プログラム。
7. プロセッサが備える複数のコアのうちの第１コアが、
   前記複数のコアのうちの第２コアの動作状態を、プログラムを実行する実行状態から前記第２コアの動作を停止する停止状態に移行させる停止指示と、前記停止状態から前記実行状態に移行させる復帰指示と、を前記第２コアに発行する、
   処理を実行し、
   前記第１コアは、前記処理において、
   第１の停止指示を発行するときの前記プログラムの進行度を示す指標と、前記第１の停止指示を発行してから第１の復帰指示を発行するまでの停止時間と、を記憶部に格納し、
   第２の停止指示を発行する場合であって、第２の停止指示を発行するときの前記プログラムの進行度を示す指標が前記記憶部に格納された前記指標と一致する場合、前記記憶部に格納された前記停止時間から、前記第２コアの動作状態が前記復帰指示の発行に応じて前記実行状態に移行するまでの遅延時間を減じた時間、に基づくタイミングで第２の復帰指示を発行する、
   処理を実行する、情報処理方法。

Images