JP6923803B2 - 情報処理装置、省電力移行プログラム、及び、省電力移行方法 - Google Patents

情報処理装置、省電力移行プログラム、及び、省電力移行方法 Download PDF

Info

Publication number
JP6923803B2
JP6923803B2 JP2017234067A JP2017234067A JP6923803B2 JP 6923803 B2 JP6923803 B2 JP 6923803B2 JP 2017234067 A JP2017234067 A JP 2017234067A JP 2017234067 A JP2017234067 A JP 2017234067A JP 6923803 B2 JP6923803 B2 JP 6923803B2
Authority
JP
Japan
Prior art keywords
job
power saving
cooler
saving mode
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017234067A
Other languages
English (en)
Other versions
JP2019101894A (ja
Inventor
師尾 潤
潤 師尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2017234067A priority Critical patent/JP6923803B2/ja
Priority to US16/186,634 priority patent/US10613602B2/en
Publication of JP2019101894A publication Critical patent/JP2019101894A/ja
Application granted granted Critical
Publication of JP6923803B2 publication Critical patent/JP6923803B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/20Cooling means
    • G06F1/206Cooling means comprising thermal management
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3228Monitoring task completion, e.g. by use of idle timers, stop commands or wait commands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3296Power saving characterised by the action undertaken by lowering the supply or operating voltage
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/324Power saving characterised by the action undertaken by lowering clock frequency
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26Power supply means, e.g. regulation thereof
    • G06F1/32Means for saving power
    • G06F1/3203Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234Power saving characterised by the action undertaken
    • G06F1/3287Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/20Indexing scheme relating to G06F1/20
    • G06F2200/201Cooling arrangements using cooling fluid
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • Power Sources (AREA)

Description

本発明は、情報処理装置、省電力移行プログラム、及び、省電力移行方法に関する。
従来、複数の計算ノードを有する情報処理装置においては、処理の実行に伴って発熱する複数の計算ノードそれぞれのCPUがその発熱によって故障するのを防止するため、複数の計算ノードそれぞれのCPUを冷却する液冷方式の冷却機が用いられている。
このような、複数の計算ノード及び液冷方式の冷却機を有する情報処理装置においては、省電力の観点から、処理を実行していない複数の計算ノード(CPU)を非省電力モードからより消費電力(発熱量)の少ない省電力モードに移行させて省電力状態にするのが望ましい。
以下の特許文献は、CPUの冷却について関連する。
特開2015−230658号公報 国際公開第2014/147691号
しかしながら、計算ノード(CPU)の時定数が相対的に短く計算ノード(CPU)の発熱量の低下が急激に進行するのに対して、液冷方式の冷却機の時定数が相対的に長く冷却機の冷却力の低下が緩やかに進行する。
そのため、例えば、割り当てられたジョブの実行が終了したタイミングで、冷却機の冷却力低下制御を実行すると共に、割り当てられたジョブの実行が終了した複数の計算ノード(CPU)を同時に非省電力モードから省電力モードに移行させると、発熱量の急減に冷却力の低下が追いつくまでの間、計算ノード(CPU)の発熱量が冷却機の冷却力を下回る状況になる。つまり、冷却機の冷却力が過剰となり、冷却機の冷却力が余る。
その結果、余った冷却力によって冷却機を構成する管路内を循環する冷媒(例えば、冷却水)が過冷却され、冷媒の温度が急激に下がる。そのため、冷媒が凍って膨張して管路が破損し、破損箇所から冷媒が漏れ出し、周辺の電子機器が故障する恐れがあるという課題がある。
そこで、本実施の形態の目的は、液冷方式の冷却機を構成する管路内を循環する冷媒が過冷却されるのを防止しつつ、複数の計算ノード(CPU)それぞれを非省電力モードから省電力モードに移行させることができる情報処理装置、省電力移行プログラム、及び、省電力移行方法を提供することにある。
本実施の形態の第1の側面は、割り当てられたジョブを実行するCPUをそれぞれ有する複数の計算ノードと、前記複数の計算ノードそれぞれのCPUを冷却する冷媒が循環する管路内の前記冷媒を冷却する冷却機と、前記複数の計算ノード及び前記冷却機が接続された制御ノードと、を有し、前記制御ノードは、複数の計算ノードにジョブを割り当て、前記ジョブが割り当てられた前記複数の計算ノードによる前記ジョブの実行が終了した後、前記冷却機の冷却力を所定程度低下させ、前記冷媒の温度が閾値以上の間、前記ジョブの実行が終了した複数の計算ノードそれぞれのCPUを所定時間間隔で所定数ずつ非省電力モードから省電力モードに移行させ、前記冷媒の温度が前記閾値を下回っている間、前記省電力モードに移行させる処理を停止する、情報処理装置である。
本実施の形態によれば、液冷方式の冷却機を構成する管路内を循環する冷媒が過冷却されるのを防止しつつ、複数の計算ノード(CPU)それぞれを非省電力モードから省電力モードに移行させることができる。
第1の実施の形態の情報処理装置、省電力移行プログラム、省電力移行方法が適用された情報処理装置10の概略構成を示す図である。 制御プログラム101d2のジョブ割り当て制御を説明するためのフローチャート図である。 制御プログラム101d2の冷却力制御の概要を説明するためのフローチャート図である。 制御プログラム101d2の冷却力制御を詳細に説明するための図である。 図3に示す冷却力制御(S21、S22)を説明するためのフローチャート図である。 制御ノード101の構成例を示す図である。 ノード管理テーブル101d3の一例である。 計算ノードの構成例を示す図である。 計算ノードのプロセッサ1の状態を説明するための図である。 冷却機127の構成例を示す図である。 制御プログラム101d2の冷却力制御をさらに詳細に説明するためのフローチャート図である。 第2の実施の形態の情報処理装置、省電力移行プログラム、省電力移行方法が適用された情報処理装置10Aの概略構成を示す図である。 第2の実施形態で用いられるノード管理テーブル101d3の一例である。 計算ノード102〜119のプロセッサ1の状態の変化の一例を時間軸に対応して示す図である。 制御プログラム101d2の冷却力制御を詳細に説明するためのフローチャート図である。 計算ノード102〜119が直接接続されている場合(直接網の場合)のジョブ優先割り当て処理を説明するためのフローチャート図である。 直接網のイメージ図である。 時間T5に新たな第3ジョブを投入した場合に割り当てられる計算ノードを説明するための図である。 計算ノード102〜119がスイッチ(図示せず)を介して間接的に接続されている場合(間接網の場合)のジョブ優先割り当て処理を説明するためのフローチャート図である。 時間T5に新たな第3ジョブを投入した場合に割り当てられる計算ノードを説明するための図である。
[第1の実施の形態の概略]
図1は、第1の実施の形態の情報処理装置、省電力移行プログラム、省電力移行方法が適用された情報処理装置10の概略構成を示す図である。図1に示すように、情報処理装置10は、割り当てられたジョブを実行するCPU1(以下、プロセッサ1又はプロセッサチップ1とも呼ぶ)をそれぞれ有する複数の計算ノード102〜110と、複数の計算ノード102〜110それぞれのプロセッサ1を冷却する冷媒が循環する管路121と管路121内の冷媒を冷却する液冷方式の冷却機127と、複数の計算ノード102〜110及び冷却機127が接続された制御ノード101と、管路121内を循環する冷媒(例えば、冷却水)の温度を検出する温度センサ122と、を有する。
計算ノード102〜110、冷却機127及び温度センサ122は、ネットワークNWを介して制御ノード101に接続されている。
計算ノード102〜110は、それぞれ、プロセッサ1とメインメモリ2を有するコンピュータである。計算ノード102〜110のプロセッサ1は、それぞれ、メインメモリ2に展開されたジョブ実行プログラム6を実行して、制御ノード101により割り当てられたジョブを非省電力モードで実行する。
制御ノード101は、CPU101a(以下、プロセッサ101aとも呼ぶ)とメインメモリ101bを有するコンピュータである。制御ノード101は、計算ノード102〜110のいずれかであってもよい。
プロセッサ101aは、メインメモリ101bに展開された制御プログラム101d2を実行して、計算ノード102〜110にジョブを割り当てる。また、プロセッサ101aは、制御プログラム101d2を実行して、ジョブの実行が終了し、ジョブが割り当てられていない計算ノード102〜110それぞれのプロセッサ1を非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させる。さらに、プロセッサ101aは、制御プログラム101d2を実行して、冷却機127の冷却力を制御する。冷却機127の冷却力とは、冷却能力とも呼ばれ、単位時間あたりに除去できる熱量(単位はワット(W))を表す。
制御プログラム101d2が省電力移行プログラムの一例である。省電力移行プログラムは、計算ノード102〜110にジョブを割り当てるジョブ割り当て制御、ジョブの実行が終了し、ジョブが割り当てられていない計算ノード102〜110それぞれのプロセッサ1を非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させる制御、冷却機127の冷却力を制御する冷却力制御を有する。
[ジョブ割り当て制御]
図2は、制御プログラム101d2のジョブ割り当て制御を説明するためのフローチャート図である。
制御ノード101のプロセッサ101aは、制御プログラム101d2を実行して、次の処理を行う。
制御ノード101のプロセッサ101aは、ジョブキューに割り当て待ちジョブが有るか否かを判定する(S10)。ジョブキューは、図示しないが、例えば、制御ノード101のメインメモリ101bに記憶されている。割り当て待ちジョブとは、計算ノードに割り当てられる予定のジョブのことである。
S10の判定の結果、ジョブキューに割り当て待ちジョブが無いと判定された場合(S10:NO)、制御ノード101のプロセッサ101aは、ジョブキューに割り当て待ちジョブが記憶され、ジョブキューに割り当て待ちジョブが有ると判定されるまで待機する。
一方、S10の判定の結果、ジョブキューに割り当て待ちジョブが有ると判定された場合(S10:YES)、制御ノード101のプロセッサ101aは、空きノードが有るか否かを判定する(S11)。空きノードとは、ジョブを実行していない計算ノードのことである。
S11の判定の結果、空きノードが無いと判定された場合(S11:No)、制御ノード101のプロセッサ101aは、ジョブの実行が終了し、空きノードが有ると判定されるまで待機する。
一方、S11の判定の結果、空きノードが有ると判定された場合(S11:YES)、制御ノード101のプロセッサ101aは、割り当て待ちジョブを空きノードに割り当てる(S12)。
以後、制御ノード101のプロセッサ101aは、S10〜S12を繰り返し実行する。
[冷却力制御]
図3は、制御プログラム101d2の冷却力制御の概要を説明するためのフローチャート図である。
制御ノード101のプロセッサ101aは、制御プログラム101d2を実行して、次の処理を行う。
S12でジョブが割り当てられた計算ノード(以下、ジョブ割り当てノードとも呼ぶ)がジョブの実行を開始した場合(S19:YES)、制御ノード101のプロセッサ101aは、ジョブ割り当てノードを、省電力モードから非省電力モードに移行制御する(S24)。S24と共に、制御ノード101のプロセッサ101aは、冷却機127の冷却力上昇制御を実行する(S25)。具体的には、制御ノード101のプロセッサ101aは、冷却力が所定程度上昇するように冷却機127の冷却力を制御する。
一方、制御ノード101のプロセッサ101aは、計算ノードがジョブの実行を終了した場合(S19:NO、S20:YES)、ジョブ終了ノードのプロセッサ1を、非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行制御する(S21)。ジョブ終了ノードとは、S12でジョブが割り当てられ、その割り当てられたジョブの実行を終了した計算ノードのことである。
S12と共に、制御ノード101のプロセッサ101aは、冷却機127の冷却力低下制御を実行する(S22)。具体的には、制御ノード101のプロセッサ101aは、冷却力が所定程度低下するように冷却機127の冷却力を制御する。
以後、制御ノード101のプロセッサ101aは、S19〜S25を繰り返し実行する。本実施の形態は、S21、S22の制御の改良に関する。
図4は、制御プログラム101d2の冷却力制御を詳細に説明するための図である。
図4(a)には、計算ノード102〜110(プロセッサ1)の状態の変化の一例が時間軸に対応して示されている。図9に示すように、計算ノード102〜110(プロセッサ1)の状態には、非省電力モード(ジョブ実行)、非省電力モード(ジョブ非実行)、省電力モード(ジョブ非実行)がある。消費電力(発熱量)は、この順に低くなる。
図4(a)中の第1のハッチH1で塗りつぶされた領域A1が、該当する計算ノード(プロセッサ1)の状態が非省電力モード(ジョブ実行)であることを表す。
また、図4(a)中の第2のハッチH2で塗りつぶされた領域A2(複数の四角形)が、該当する計算ノード(プロセッサ1)の状態が非省電力モード(ジョブ非実行)であることを表す。また、図4(a)中の第3のハッチH3で塗りつぶされた領域A3が、該当する計算ノード(プロセッサ1)が省電力モード(ジョブ非実行)であることを表す。
図4(b)には、計算ノード102〜110のプロセッサ1の合計発熱量の変化の一例(図4(a)に対応)が点線G1で、冷却機127の冷却力の変化の一例が実線G2でそれぞれ示されている。図4(c)には、図4(a)に対応する管路121内を循環する冷媒の温度の変化の一例が実線G3で示されている。
[時間T1より前]
図4(a)に示すように、時間T1より前、計算ノード102〜110のプロセッサ1は、それぞれ、ジョブが割り当てられておらず、省電力モード(ジョブ非実行)で動作している(S10)。
図4(b)に点線G1で示すように、時間T1より前、計算ノード102〜110のプロセッサ1の合計発熱量は、P1ワット(W)である。
図4(b)に実線G2で示すように、時間T1より前、計算ノード102〜110のプロセッサ1の合計発熱量による温度上昇を抑えるため、冷却機127の冷却力は、プロセッサ1の合計発熱量と同程度の冷却力である。
このように、時間T1より前、計算ノード102〜110のプロセッサ1の合計発熱量と冷却機127の冷却力とは、P1ワットで釣り合っている。
そのため、図4(c)に実線G3で示すように、時間T1より前、管路121内を循環する冷媒の温度は、プロセッサ1が適切に動作し、かつ、冷媒が凍結しない温度Temp1に制御されている。
[時間T1]
次に、制御ノード101のプロセッサ101aは、図2に示すジョブ割り当て制御を実行して、図4(a)に示すように、時間T1において、計算ノード102〜110にジョブを割り当てる(S11)。そして、制御ノード101のプロセッサ101aは、割り当てたジョブの実行を、ネットワークNWを介して計算ノード102〜110に指示する。
図4(a)に示すように、時間T1において、計算ノード102〜110のプロセッサ1は、それぞれ、省電力モード(ジョブ非実行)から非省電力モードに移行し、制御ノード101により割り当てられた(投入された)ジョブを非省電力モードで実行する(S12)。
計算ノード102〜110のプロセッサ1が、それぞれ、割り当てられた(投入された)ジョブを非省電力モードで実行すると、非省電力モード(ジョブ実行)は省電力モード(ジョブ非実行)より消費電力(発熱量)が高いため、図4(b)に点線G1で示すように、計算ノード102〜110のプロセッサ1の合計発熱量が上昇してP2ワットとなる。
制御ノード101のプロセッサ101aは、非省電力モード(ジョブ実行)の計算ノード102〜110のプロセッサ1の合計発熱量による温度上昇を抑えるため、冷却機127の冷却力上昇制御を実行して、冷却機127の冷却力を上昇させる(S13)。具体的には、制御ノード101は、非省電力モード(ジョブ実行)の計算ノード102〜110のプロセッサ1の合計発熱量と釣り合う冷却力になるように冷却機127の冷却力を上昇させるように制御する。
ただし、計算ノード102〜110(プロセッサ1)の時定数が相対的に短い(例えば、数秒〜数十秒程度)ため、計算ノード102〜110のプロセッサ1の合計発熱量は、非省電力モード(ジョブ実行)に移行することで急激に上昇する。これに対して、冷却機127の時定数が相対的に長い(例えば、数十分程度)ため、冷却機127の冷却力は、冷却機127の冷却力上昇制御が実行されても急激に上昇せず、時間T1から緩やかに上昇し、所定時間後、最終的に非省電力モード(ジョブ実行)の計算ノード102〜110の合計発熱量と冷却機127の冷却力とがP2ワットで釣り合う。そのため、図4(c)に実線G3で示すように、管路121内を循環する冷媒の温度は、緩やかに上昇し、温度Temp2で上昇が止まる。
[時間T2]
次に、計算ノード102〜110のプロセッサ1は、それぞれ、図4(a)に示すように、時間T2において、割り当てられたジョブの実行を終了し、非省電力モード(ジョブ実行)から非省電力モード(ジョブ非実行)に移行する(S14)。
このように割り当てられたジョブの実行が終了した場合、省電力の観点から、割り当てられたジョブの実行を終了した計算ノード102〜110のプロセッサ1を同時に非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させて省電力状態にすると共に、冷却機127の冷媒の過冷却(凍結)を防ぐために、冷却機127の冷却力低下制御を実行するのが望ましい(図3のS21、S22)。
しかしながら、上記のとおり、冷却機127の冷却力の切替制御後の冷媒による冷却力変化の時定数が相対的に長い(例えば、数十分程度)ため、冷却機127の冷却力低下制御後の冷却力の低下が緩やかに進行するのに対して、計算ノード102〜110(プロセッサ1)の発熱量の変化の時定数が相対的に短い(例えば、数秒〜数十秒程度)ため、計算ノード102〜110(プロセッサ1)の発熱量低下制御後の合計発熱量の低下が急激に進行する。
そのため、例えば、割り当てられたジョブの実行が終了したタイミングで、冷却機127の冷却力低下制御を実行すると共に、割り当てられたジョブの実行が終了した計算ノード102〜110のプロセッサ1を同時に非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させると、発熱量の急減に冷却の低下が追いつくまでの間、計算ノード102〜110のプロセッサ1の合計発熱量が冷却機127の冷却力を下回る状況になる。つまり、冷却機127の冷却力が過剰となり、冷却機127の冷却力が余る。
その結果、余った冷却力によって管路121内を循環する冷媒が過冷却され、冷媒の温度が急激に下がる。そのため、冷媒が凍って膨張して管路121が破損し、破損箇所から冷媒が漏れ出し、周辺の電子機器が故障する恐れがある。
そこで、第1の実施の形態では、冷却機127の冷却力が過剰な状態にならないように、管路121内を循環する冷媒の温度を監視しながら、ジョブの実行が終了した複数の計算ノードのプロセッサ1を、ゆっくりと徐々に(所定時間間隔ごとに)1つずつ非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させる。具体的には、図3に示す冷却力制御(S21、S22)を実行する。
これにより、冷却機127の冷却力の緩やかな低下変化に計算ノードの合計発熱量の低下変化を追従させることができる。
その結果、管路121内を循環する冷媒が過冷却されるのを防止しつつ、計算ノード102〜110のプロセッサ1それぞれを非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させることができる。
[冷却力制御(S21、S22)]
図5は、図3に示す冷却力制御(S21、S22)を説明するためのフローチャート図である。
制御ノード101のプロセッサ101aは、ジョブが割り当てられた計算ノード102〜110によるジョブの実行が終了した場合(S30)、温度センサ122によって検出された管路121内を循環する冷媒の温度Tが閾値Th以上か否かを判定する(S31)。
その結果、冷媒の温度Tが閾値Thを下回った場合(S31:NO)、制御ノード101のプロセッサ101aは、冷却機127の冷却力低下制御を実行して(S32)、冷却機127の冷却力を所定程度低下させる。
一方、S31の判定の結果、冷媒の温度Tが閾値Th以上の場合(S31:YES)、制御ノード101のプロセッサ101aは、S30でジョブの実行が終了した複数の計算ノードのプロセッサ101aを、所定時間間隔で1つずつ非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させる(S33)。
そして、制御ノード101のプロセッサ101aは、所定時間待機してから(S34)、S31〜S34を繰り返し実行する。
図5の制御によれば、制御ノード101のプロセッサ101aは、制御プログラム101d2を実行して、ジョブ終了すると(S30)、冷媒の温度T<閾値Thを条件に(S31:NO)、冷却機127の冷却力低下制御を行う(S32)。これにより、冷却機127の冷却力は緩やかに低下して、冷媒の温度は緩やかに上昇する。そして、制御ノード101のプロセッサ101aは、冷媒の温度T>閾値Thになるとその間(S31:YES)、所定時間間隔で(S34)、ジョブ終了した計算ノードのプロセッサ1を、1つずつ又は所定個数ずつ省電力モード(ジョブ非実行)に移行制御することを繰り返す。これにより、冷却機127の冷却力の緩やかな低下に追従して計算ノード102〜110のプロセッサ1の合計発熱量を緩やかに低下させることができる。
やがて、冷媒の温度T<閾値Thに転じたら、制御ノード101のプロセッサ101aは、再度、冷却機127の冷却力低下制御(S32)を行い、ジョブ終了ノードのプロセッサ1を所定時間間隔で1つずつ省電力モード(ジョブ非実行)に移行する制御(S33、S34)を停止する。
次に、図4を参照しながら、図3に示す冷却力制御(S21、S22)を詳細に説明する。
制御ノード101のプロセッサ101aは、ジョブ終了後、T2〜T12それぞれのタイミングで、温度センサ122によって検出された管路121内を循環する冷媒の温度Tが閾値Th以上か否かを判定する。
そして、制御ノード101のプロセッサ101aは、温度センサ122によって検出された冷媒の温度Tが閾値Th以上の場合、ジョブの実行が終了した複数の計算ノード102〜110のプロセッサ1を、ゆっくりと徐々に(所定時間間隔ごとに)1つずつ非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させる。
例えば、図4(c)に実線G3で示すように、ジョブ終了直後の時間T2において、温度センサ122によって検出された冷媒の温度Tが閾値Th以上であるため(S15)、制御ノード101のプロセッサ101aは、計算ノード102のプロセッサ1を非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に変更する(S16)。
また、時間T4〜T6において、温度センサ122によって検出された冷媒の温度Tが閾値Th以上であるため、制御ノード101のプロセッサ101aは、計算ノード103〜105のプロセッサ1を、時間T4〜T6それぞれのタイミングで1つずつ非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させる(S21)。
また、時間T8〜T12においても、温度センサ122によって検出された冷媒の温度が閾値Th以上であるため、制御ノード101のプロセッサ101aは、計算ノード106〜110のプロセッサ1を、時間T8〜T12それぞれのタイミングで1つずつ非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させる(S26)。
一方、計算ノード102〜110のプロセッサ1を非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に変更すると(S16、S21、S26)、計算ノード102〜110のプロセッサ1の合計発熱量が冷却機127の冷却力を下回る場合がある。つまり、冷却機127の冷却力が過剰となり、冷却機127の冷却力が余ることがある。計算ノード102〜110のプロセッサ1を非省電力モード(ジョブ実行)からより消費電力(発熱量)が低い非省電力モード(ジョブ非実行)に移行した場合(S14)も同様である。
例えば、時間T2において、計算ノード102〜110のプロセッサ1は、それぞれ、割り当てられたジョブを終了し、非省電力モード(ジョブ実行)からより発熱量が低い非省電力モード(ジョブ非実行)に移行する(S14)。加えて、時間T2において、計算ノード102のプロセッサ1は、非省電力モード(ジョブ非実行)からより発熱量が低い省電力モード(ジョブ非実行)に変更される(S16)。
これにより、相対的に時定数が短いプロセッサ1の発熱量G1が急激に低下し、図4(b)中の時間T2とT3の間に点線G1及び実線G2で示すように、計算ノード102〜110のプロセッサ1の合計発熱量が冷却機127の冷却力を下回る場合がある。つまり、冷却機127の冷却力が過剰となり、冷却機127の冷却力が余ることがある。
その結果、余った冷却力によって管路121内を循環する冷媒が過冷却され、図4(c)中の時間T2とT3の間の実線G3で示すように、冷媒の温度が急激に低下する。そのため、冷媒が凍って膨張して管路121が破損し、破損箇所から冷媒が漏れ出し、周辺の電子機器が故障する恐れがある。
そこで、制御ノード101のプロセッサ101aは、温度センサ122によって検出された冷媒の温度Tが閾値Thを下回った場合、計算ノードの省電力モードへの変更を停止し、冷却機127の冷却力の冷却力低下制御を実行して、冷却機127の冷却力を低下させる。つまり、計算ノード102〜110のプロセッサ1の合計発熱量を維持したまま、冷却機127の冷却力を低下させる。具体的には、制御ノード101は、冷却力が所定程度低下するように冷却機127の冷却力を制御する。これにより、冷却機127の冷却力が相対的に長い時定数によって緩やかに低下する。
例えば、時間T3において、温度センサ122によって検出された冷媒の温度Tが閾値Thを下回ったため(S17)、制御ノード101のプロセッサ101aは、計算ノード103のプロセッサ1の省電力モードへの変更を停止し(S18)、冷却機127の冷却力の冷却力低下制御を実行して、冷却機127の冷却力を所定程度低下させる(S19)。
これにより、図4(b)中の時間T3とT4の間の点線G1及び実線G2で示すように、計算ノード102〜110のプロセッサ1の合計発熱量が冷却機127の冷却力を上回る。つまり、計算ノード102〜110のプロセッサ1の合計発熱量が過剰となる。
その結果、図4(c)中の時間T3とT4の間の実線G3で示すように、管路121内を循環する冷媒の温度が上昇に転じる。これにより、管路121内を循環する冷媒が過冷却されるのが防止される。
ただし、冷却機127の時定数が相対的に長いため、冷却機127の冷却力は、冷却機127の冷却力低下制御が実行されても、図4(b)中の時間T3とT4の間の実線G2で示すように、急激に低下せず、緩やかに低下する。
そして、管路121内を循環する冷媒の温度が上昇に転じ、温度センサ122によって検出された冷媒の温度が閾値Th以上になると(例えば、図4(c)中の時間T4〜T6参照)、制御ノード101のプロセッサ101aは、計算ノード103〜105のプロセッサ1を、時間T4〜T6それぞれのタイミングで1つずつ非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行することを再開する(S21)。
このように、計算ノード103〜105のプロセッサ1を1つずつ非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させると、やがて、時間T6において、計算ノード102〜110のプロセッサ1の合計発熱量が冷却機127の冷却力を下回る場合がある。つまり、冷却機127の冷却力が過剰となり、冷却機127の冷却力が余ることがある。
その結果、余った冷却力によって管路121内を循環する冷媒が過冷却されて、図4(c)中の時間T6とT7の間の実線G3で示すように、冷媒の温度が急激に低下する。このように、再び、冷媒が凍結するリスクが高まってくる。
そこで、制御ノード101は、温度センサ122によって検出された冷媒の温度Tが閾値Thを下回った場合、計算ノードの省電力モードへの変更を停止し、冷却機127の冷却力の冷却力低下制御を実行して、冷却機127の冷却力を低下させる。つまり、計算ノード102〜110のプロセッサ1の合計発熱量を維持したまま、冷却機127の冷却力を低下させる。
例えば、時間T7において、温度センサ122によって検出された冷媒の温度Tが閾値Thを下回ったため(S22)、制御ノード101のプロセッサ101aは、計算ノード103プロセッサ1の省電力モードへの変更を停止し(S23)、冷却機127の冷却力の冷却力低下制御を実行して、冷却機127の冷却力を所定程度低下させる(S24)。
ただし、冷却機127の時定数が相対的に長いため、冷却機127の冷却力は、冷却機127の冷却力低下制御が実行されても、図4(b)中の時間T7とT8の間の実線G2で示すように、急激に低下せず、緩やかに低下する。
これにより、図4(b)中の時間T7とT8の間の点線G1及び実線G2で示すように、計算ノード102〜110のプロセッサ1の合計発熱量が冷却機127の冷却力を上回る。つまり、計算ノード102〜110のプロセッサ1の合計発熱量が過剰となる。
その結果、図4(c)中の時間T7とT8の間の実線G3で示すように、管路121内を循環する冷媒の温度が上昇に転じる。これにより、管路121内を循環する冷媒が過冷却されるのが防止される。
そして、制御ノード101のプロセッサ101aは、管路121内を循環する冷媒の温度が上昇に転じ、温度センサ122によって検出された冷媒の温度Tが閾値Th以上になると(例えば、図4(c)中の時間T8〜T12参照)、制御ノード101のプロセッサ101aは、計算ノード106〜110のプロセッサ1を、時間T8〜T12それぞれのタイミングで1つずつ非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行することを再開する(S26)。
そして、計算ノード102〜110のプロセッサ1が全て省電力モードに移行した後、制御ノード101のプロセッサ101aは、冷却機127の冷却力低下制御を実行して、冷却機127の冷却力を時間T1より前の冷却力P1まで低下させる(S27)。
[第1の実施の形態の詳細]
図6は、制御ノード101の構成例を示す図である。制御ノード101は、CPU101a(以下、プロセッサ101aとも呼ぶ)と、メインメモリ101bと、ネットワークNWを介して計算ノード102〜110、冷却機127及び温度センサ122が接続された通信インターフェース101cと、補助記憶装置であるストレージ101dと、を有する。図示しないが、プロセッサ101a、メインメモリ101b、通信インターフェース101c、ストレージ101dは、バス等を介して接続されている。ストレージ101d内には、OS(Operating System)101d1、制御プログラム101d2が記憶され、これらのプログラムはメインメモリ101bに展開されプロセッサ101aにより実行される。また、ストレージ101d内には、ノード管理テーブル101d3が記憶される。
図7は、ノード管理テーブル101d3の一例である。ノード管理テーブル101d3には、複数の計算ノード102〜110を識別するための識別情報であるノードIDとそのノードIDによって識別される計算ノード102〜110のプロセッサ1の状態とが関連づけられて記憶されている。プロセッサ1の状態には、非省電力モード(ジョブ実行)、非省電力モード(ジョブ非実行)、省電力モード(ジョブ非実行)がある。制御ノード101のプロセッサ101aは、計算ノード102〜110のプロセッサ1の状態が変更されるごとに、その変更をノード管理テーブル101d3に反映する。例えば、ノード管理テーブル101d3が図7(a)に示す状態の下、ノードIDが102である計算ノード102のプロセッサ1の状態が非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に変更された場合、制御ノード101のプロセッサ101aがその変更をノード管理テーブル101d3に反映することで、ノード管理テーブル101d3は図7(b)に示す状態となる。
図8は、計算ノードの構成例を示す図である。計算ノード102〜110は、同様の構成であるため、以下、代表して計算ノード102の構成を中心に説明する。計算ノード102は、CPU1(以下、プロセッサ1とも呼ぶ)と、メインメモリ2と、ネットワークNWを介して制御ノード101、他の計算ノード103〜110が接続された通信インターフェース3と、補助記憶装置であるストレージ4と、を有する。図示しないが、プロセッサ1、メインメモリ2、通信インターフェース3、ストレージ4は、バス等を介して接続されている。ストレージ4内には、OS(Operating System)5、ジョブ実行プログラム6が記憶され、これらのプログラムはメインメモリ2に展開されプロセッサ1により実行される。
図9は、計算ノード102〜110のプロセッサ1の状態を説明するための図である。計算ノード102〜110のプロセッサ1は、非省電力モード(ジョブ実行)の場合、例えば、消費電力が140〜200W、クロック(プロセッサの動作周波数)が3GHzで動作する。計算ノード102〜110のプロセッサ1は、非省電力モード(ジョブ非実行)の場合、例えば、消費電力が70〜80W、クロック(プロセッサの動作周波数)が3GHzで動作する。計算ノード102〜110のプロセッサ1は、省電力モード(ジョブ非実行)の場合、例えば、消費電力が20Wで動作する。
制御ノード101のプロセッサ101aは、制御プログラム101d2を実行して、計算ノード102〜110それぞれのプロセッサ1を非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させる。
省電力モードは、例えば、非省電力モード(ジョブ非実行)よりクロック(プロセッサの動作周波数)を落とす(例えば、3GHzから1.2GHzに落とす)ことで実現できる。また、省電力モードは、計算ノード102〜110それぞれのプロセッサ1が複数のコアを含む場合、一部のコア以外のコアに供給する電源(電力)をオフにすることで実現できる(サスペンドモード)。また、省電力モードは、プロセッサ1がメインメモリ2にアクセスする際のバンド幅を制限することで実現できる。また、省電力モードは、プロセッサ1がSIMD(Single Instruction Multiple Data)命令を使わないように制御することで実現できる。また、省電力モードは、その他、各種の手法で実現できる。例えば、以上を適宜組み合わせることで実現できる。
図10は、冷却機127の構成例を示す図である。冷却機127は、冷凍機とポンプ(いずれも図示せず)を有するチラー132と、チラー132によって冷却される冷媒が循環し、冷媒によって冷却される管路129と、管路129内を循環する冷媒の流量を制御するバルブ130と、管路129と管路121との間で熱交換することで管路121内の冷媒を冷却する熱交換機131と、を有する。
制御ノード101のプロセッサ101aは、制御プログラム101d2を実行して、冷却機127の冷却力を制御する。例えば、制御ノード101のプロセッサ101aは、図4(b)に示す冷却力P1ワットとP2ワットとの間を複数に分割した(例えば、計算ノード102〜110と同じ数に分割した)複数の冷却力の内、特定の冷却力になるようにバルブ130の開度を制御することで、冷却機127の冷却力を段階的に制御する。また、チラー132(例えば、冷凍機の冷凍力又はポンプの速度)を制御することで、冷却機127の冷却力を段階的に制御してもよい。
図11は、制御プログラム101d2の冷却力制御をさらに詳細に説明するためのフローチャート図である。
制御ノード101のプロセッサ101aは、制御プログラム101d2を実行して、次の処理を行う。
制御ノード101のプロセッサ101aは、計算ノード102〜110のプロセッサ1によるジョブが終了した場合(S40)、冷却機127の温度センサから冷媒の温度を取得し、取得した冷媒の温度Tが閾値Th以上か否かを判定する(S41)。
その結果、冷媒の温度Tが閾値Th以上の場合(S41:YES)、制御ノード101のプロセッサ101aは、ノード管理テーブル101d3を参照して、非省電力モード(ジョブ非実行)の計算ノードを1つ選択し(S42)、選択された計算ノードのプロセッサ1を非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に変更する(S34)。そして、制御ノード101のプロセッサ101aは、その変更をノード管理テーブル101d3に反映する。
一方、S41の判定の結果、冷媒の温度Tが閾値Thを下回った場合(S41:NO)、制御ノード101のプロセッサ101aは、冷却機127の冷却力低下制御を実行して、冷却機127の冷却力を所定程度低下させる(S44)。
次に、制御ノード101のプロセッサ101aは、ノード管理テーブル101d3を参照して、S40でジョブが終了した全計算ノード102〜110のプロセッサ1が省電力モードか否かを判定する(S45)。
その結果、S40でジョブが終了した全計算ノード102〜110のプロセッサ1が省電力モードでない場合(S45:NO)、制御ノード101のプロセッサ101aは、所定時間待機する(S46)。
そして、制御ノード101のプロセッサ101aは、S45において、S40でジョブが終了した全計算ノード102〜110のプロセッサ1が省電力モードである(S45:YES)と判定されるまで、上記S40〜S46を繰り返し実行する。
一方、S45において、S40でジョブが終了した全計算ノード102〜110のプロセッサ1が省電力モードであると判定された場合(S45:YES)、制御ノード101のプロセッサ101aは、冷却機127の冷却力が時間T1より前のP1ワットか否かを判定する(S47)。
その結果、冷却機127の冷却力がP1ワットでない場合(S47:NO)、制御ノード101のプロセッサ101aは、冷却機127の冷却力低下制御を実行して、冷却機127の冷却力を時間T1より前の冷却力P1ワットまで低下させて(S48)、処理を終了する。一方、冷却機127の冷却力がP1ワットである場合(S47:YES)、制御ノード101のプロセッサ101aは、処理を終了する。
以上説明したように、本実施形態によれば、制御ノード101のプロセッサ101aは、冷媒の温度Tが閾値Thを下回った場合(S41:NO)、冷却機127の冷却力低下制御を実行して冷却力を所定程度低下させる(S44)。一方、制御ノード101のプロセッサ101aは、冷媒の温度Tが閾値Th以上の場合(S41:YES)、ジョブの実行が終了した複数の計算ノードのプロセッサ1を、所定時間間隔ごとに1つずつ非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させる(S42、S43)。
これにより、冷却機127の時定数が相対的に長く(例えば、数十分程度)緩やかに低下する冷却機127の冷却力と時定数が相対的に短く(例えば、数秒〜数十秒程度)急激に低下する計算ノードのプロセッサ1の合計発熱量とを一致(略一致)させることができる。
その結果、管路121内を循環する冷媒が過冷却されるのを防止しつつ、計算ノード102〜110のプロセッサ1それぞれを非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させることができる。また、管路121内を循環する冷媒が過冷却されることに起因する上記問題、すなわち、冷媒が凍って膨張して管路121が破損し、破損箇所から冷媒が漏れ出し、周辺の電子機器が故障するのを防止することができる。
[第2の実施の形態]
図12は、第2の実施の形態の情報処理装置、省電力移行プログラム、省電力移行方法が適用された情報処理装置10Aの概略構成を示す図である。図12に示すように、情報処理装置10Aは、第1の実施の形態の情報処理装置10に対して、さらに、複数の計算ノード111〜119と、複数の計算ノード111〜119それぞれのプロセッサ1(プロセッサチップ)を冷却する冷媒が循環する管路123と管路123内の冷媒を冷却する冷却機128と、管路123内を循環する冷媒(例えば、冷却水)の温度を検出する温度センサ124が追加されている。
計算ノード111〜119は、それぞれ、計算ノード102〜110と同様、プロセッサ1とメインメモリ2を有するコンピュータである。
計算ノード111〜119、冷却機128及び温度センサ122は、ネットワークNWを介して制御ノード101に接続されている。
図13は、第2の実施形態で用いられるノード管理テーブル101d3の一例である。第2の実施形態で用いられるノード管理テーブル101d3には、図7に示す第1の実施の形態で用いられるノード管理テーブル101d3に対してさらにノードIDによって識別される計算ノード102〜119が属する冷却機127、128を識別する冷却機IDが追加されている。
図14は、計算ノード102〜119のプロセッサ1の状態の変化の一例を時間軸に対応して示す図である。
図14中のハッチH1_1で塗りつぶされた領域A1_1が、該当する計算ノード102〜104(プロセッサ1)の状態が非省電力モード(第1ジョブ実行)であることを表す。
また、図14中のハッチH1_2で塗りつぶされた領域A1_2が、該当する計算ノード105〜119(プロセッサ1)の状態が非省電力モード(第2ジョブ実行)であることを表す。
また、図14中のハッチH2で塗りつぶされた領域A2(複数の四角形)が、該当する計算ノード(プロセッサ1)の状態が非省電力モード(ジョブ非実行)であることを表す。
また、図14中のハッチH3で塗りつぶされた領域A3が、該当する計算ノード(プロセッサ1)が省電力モード(ジョブ非実行)であることを表す。
図14に示すように、計算ノード102〜104のプロセッサ1は、時間T1_2より前、ジョブが割り当てられておらず、省電力モード(ジョブ非実行)で動作し、時間T1_2において、制御ノード101によって第1ジョブを割り当てられ、時間T1_2とT1_3の間、第1ジョブを実行し、時間T1_3において、第1ジョブの実行を終了する。
計算ノード105〜119のプロセッサは、時間T1_1より前、ジョブが割り当てられておらず、省電力モード(ジョブ非実行)で動作し、時間T1_1において、制御ノード101によって第2ジョブを割り当てられ、時間T1_1とT2の間、第2ジョブを実行し、時間T2において、第2ジョブの実行を終了する。
図15は、制御プログラム101d2の冷却力制御を詳細に説明するためのフローチャート図である。
制御ノード101のプロセッサ101aは、制御プログラム101d2を実行して、次の処理を行う。
[第1ジョブが終了した場合]
制御ノード101のプロセッサ101aは、計算ノード102〜104による第1ジョブが終了した場合(S50)、冷却機を識別する冷却機カウンタnに0を代入する(S51)。
次に、制御ノード101のプロセッサ101aは、冷却機カウンタnによって識別される冷却機127の温度センサ122から冷媒の温度Tを取得する(S52)。
次に、制御ノード101のプロセッサ101aは、S52で取得した冷媒の温度Tが閾値Th以上か否かを判定する(S53)。
その結果、S52で取得した冷媒の温度Tが閾値Th以上の場合(S53:YES)、制御ノード101のプロセッサ101aは、ノード管理テーブル101d3を参照して、冷却機カウンタnによって識別される冷却機127に属する非省電力モード(ジョブ非実行)の計算ノードを1つ選択し(S54)、選択された計算ノードのプロセッサ1を非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に変更する(S55)。そして、制御ノード101のプロセッサ101aは、その変更をノード管理テーブル101d3に反映する。
一方、S53の判定の結果、S52で取得した冷媒の温度Tが閾値Thを下回った場合(S53:NO)、制御ノード101は、冷却機127の冷却力低下制御を実行して、冷却機カウンタnによって識別される冷却機127の冷却力を所定程度低下させる(S56)。
次に、制御ノード101のプロセッサ101aは、S50で第1ジョブが終了した全冷却機の処理が終了したか否かを判定する(S57)。
ここでは、第1ジョブは、冷却機カウンタnによって識別される冷却機127に属する計算ノード102〜104のみで実行されていたため、S50で第1ジョブが終了した全冷却機の処理が終了したと判定される(S57:YES)。
次に、制御ノード101のプロセッサ101aは、ノード管理テーブル101d3を参照して、S50で第1ジョブが終了した全計算ノード102〜104が省電力モードか否かを判定する(S58)。
その結果、S50で第1ジョブが終了した全計算ノード102〜104が省電力モードでない場合(S58:NO)、制御ノード101のプロセッサ101aは、所定時間待機する(S59)。
そして、制御ノード101のプロセッサ101aは、S58において、S50で第1ジョブが終了した全計算ノード102〜104が省電力モードである(S58:YES)と判定されるまで、上記S51〜S59を繰り返し実行する。
一方、S58において、S50で第1ジョブが終了した全計算ノード102〜104が省電力モードであると判定された場合(S58:YES)、制御ノード101のプロセッサ101aは、全冷却機127の冷却力が時間T1_2より前の冷却力P1ワットか否かを判定する(S60)。
その結果、全冷却機127の冷却力が時間T1_2より前の冷却力P1ワットでない場合(S60:NO)、制御ノード101のプロセッサ101aは、全冷却機127の冷却力を時間T1_2より前の冷却力P1ワットまで低下させて(S61)、処理を終了する。一方、全冷却機127の冷却力が時間T1_2より前の冷却力P1ワットである場合(S60:YES)、制御ノード101のプロセッサ101aは、処理を終了する。
[第2ジョブが終了した場合]
制御ノード101のプロセッサ101aは、計算ノード105〜119による第2ジョブが終了した場合(S50)、冷却機を識別する冷却機カウンタnに0を設定する(S51)。
次に、制御ノード101のプロセッサ101aは、冷却機カウンタnによって識別される冷却機127の温度センサ122から冷媒の温度Tを取得する(S52)。
次に、制御ノード101のプロセッサ101aは、S52で取得した冷媒の温度Tが閾値Th以上か否かを判定する(S53)。
その結果、S52で取得した冷媒の温度Tが閾値Th以上の場合(S53:YES)、制御ノード101のプロセッサ101aは、ノード管理テーブル101d3を参照して、冷却機カウンタnによって識別される冷却機127に属する非省電力モード(ジョブ非実行)の計算ノードを1つ選択し(S54)、選択された計算ノードのプロセッサ1を非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に変更する(S55)。そして、制御ノード101のプロセッサ101aは、その変更をノード管理テーブル101d3に反映する。
一方、S53の判定の結果、S52で取得した冷媒の温度Tが閾値Thを下回った場合(S53:NO)、制御ノード101のプロセッサ101aは、冷却機127の冷却力低下制御を実行して、冷却機カウンタnによって識別される冷却機127の冷却力を所定程度低下させる(S56)。
次に、制御ノード101のプロセッサ101aは、S50で第2ジョブが終了した全冷却機の処理が終了したか否かを判定する(S57)。
ここでは、第2ジョブは、冷却機カウンタnによって識別される冷却機127に属する計算ノード105〜110だけでなく、冷却機128に属する計算ノード111〜119でも実行されていたため、S50で第2ジョブが終了した全冷却機の処理が終了していないと判定される(S57:NO)。
次に、制御ノード101のプロセッサ101aは、冷却機カウンタnに1を加算する(S62)。
次に、制御ノード101のプロセッサ101aは、S52に戻って、冷却機カウンタnによって識別される冷却機128の温度センサ124から冷媒の温度Tを取得する(S52)。
次に、制御ノード101のプロセッサ101aは、S52で取得した冷媒の温度Tが閾値Th以上か否かを判定する(S53)。
その結果、S52で取得した冷媒の温度Tが閾値Th以上の場合(S53:YES)、ノード管理テーブル101d3を参照して、冷却機カウンタnによって識別される冷却機128に属する非省電力モード(ジョブ非実行)の計算ノードを1つ選択し(S54)、選択された計算ノード102のプロセッサ1を非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に変更する(S55)。そして、制御ノード101のプロセッサ101aは、その変更をノード管理テーブル101d3に反映する。
一方、S53の判定の結果、S52で取得した冷媒の温度Tが閾値Thを下回った場合(S53:NO)、制御ノード101のプロセッサ101aは、冷却機128の冷却力低下制御を実行して、冷却機カウンタnによって識別される冷却機128の冷却力を所定程度低下させる(S56)。
次に、制御ノード101のプロセッサ101aは、S50で第2ジョブが終了した全冷却機の処理が終了したか否かを判定する(S57)。
ここでは、全冷却機127、128の処理が終了したと判定される(S57:YES)。
次に、制御ノード101のプロセッサ101aは、ノード管理テーブル101d3を参照して、S50で第2ジョブが終了した全計算ノード105〜119が省電力モードか否かを判定する(S58)。
その結果、S50で第2ジョブが終了した全計算ノード105〜119が省電力モードでない場合(S58:NO)、制御ノード101のプロセッサ101aは、所定時間待機する(S59)。
そして、制御ノード101のプロセッサ101aは、S58において、S50で第2ジョブが終了した全計算ノード105〜119が省電力モードである(S58:YES)と判定されるまで、上記S51〜S59、S62を繰り返し実行する。
一方、S58において、S50で第2ジョブが終了した全計算ノード105〜119が省電力モードであると判定された場合(S58:YES)、制御ノード101のプロセッサ101aは、全冷却機127、128の冷却力が時間T1_2より前の冷却力P1ワットか否かを判定する(S60)。
その結果、全冷却機127、128の冷却力が時間T1_2より前の冷却力P1ワットでない場合(S60:NO)、制御ノード101のプロセッサ101aは、全冷却機127、128の冷却力を時間T1_2より前の冷却力P1ワットまで低下させて(S61)、処理を終了する。一方、全冷却機127、128の冷却力が時間T1_2より前の冷却力P1ワットである場合(S60:YES)、制御ノード101のプロセッサ101aは、処理を終了する。
以上説明したように、本実施形態によれば、制御ノード101のプロセッサ101aは、冷媒の温度Tが閾値Thを下回った場合(S53:NO)、冷却機127、128の冷却力低下制御を実行して冷却力を所定程度低下させる(S56)。一方、制御ノード101のプロセッサ101aは、冷媒の温度Tが閾値Th以上の場合(S53:YES)、ジョブの実行が終了した複数の計算ノードのプロセッサ1を、所定時間間隔ごとに1つずつ非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させる(S54、S55)。
これにより、冷却機127、128の時定数が相対的に長く(例えば、数十分程度)緩やかに低下する冷却機127、128の冷却力と時定数が相対的に短く(例えば、数秒〜数十秒程度)急激に低下する計算ノードの合計発熱量とを一致(略一致)させることができる。
その結果、管路121、123内を循環する冷媒が過冷却されるのを防止しつつ、計算ノード102〜119のプロセッサ1それぞれを非省電力モード(ジョブ非実行)から省電力モード(ジョブ非実行)に移行させることができる。また、管路121、123内を循環する冷媒が過冷却されることに起因する上記問題、すなわち、冷媒が凍って膨張して管路121、123が破損し、破損箇所から冷媒が漏れ出し、周辺の電子機器が故障するのを防止することができる。
[第3の実施の形態]
第2ジョブ終了後の時間T5(図18参照)において、新たな第3ジョブが投入された場合、通常、ジョブが実行されていない任意の計算ノードに新たな第3ジョブが割り当てられる。
しかしながら、省電力モードに移行した計算ノードに新たな第3ジョブを割り当てると、新たに割り当てられた第3ジョブを非省電力モードで実行する計算ノードのプロセッサ1の合計発熱量に冷却力が追いつくまで計算ノードが高温となる。
そこで、第3の実施の形態では、新たな第3ジョブが投入された場合、省電力モードではなく非省電力モード(ジョブ非実行)の計算ノードに優先的にジョブを割り当てる処理(以下、ジョブ優先割り当て処理とも呼ぶ)を実行することにより、計算ノードの温度が高くなりすぎる頻度を下げる。
以下、第3の実施の形態として、第2の実施の形態の情報処理装置10Aにおいて、例えば、図18に示すように、第2ジョブ終了後の時間T5において、ユーザが新たな第3ジョブを投入した場合、制御ノード101が、投入された第3ジョブを、非省電力ノード(ジョブ非実行)に優先的に割り当てる処理(以下、ジョブ優先割り当て処理とも呼ぶ)について説明する。
[計算ノード102〜119が直接接続されている場合(直接網の場合)]
図16は、計算ノード102〜119が直接接続されている場合(直接網の場合)のジョブ優先割り当て処理を説明するためのフローチャート図である。図17は、直接網のイメージ図である。図17中、複数の四角形はそれぞれ計算ノード(プロセッサ1)を表す。なお、説明を分かりやすくするため、図17には、計算ノード102〜119より多くの四角形(計算ノード(プロセッサ1))が描かれている。図17中のハッチHAで塗りつぶされた領域AA(複数の四角形)が、該当する計算ノード(プロセッサ1)の状態が非省電力モード(ジョブ非実行)であることを表す。また、ハッチHBで塗りつぶされた領域BB(複数の四角形)が、該当する計算ノード(プロセッサ1)の状態が省電力モード(ジョブ非実行)であることを表す。
ユーザがジョブ形状を指定してジョブを投入した場合(S70)、制御ノード101のプロセッサ101aは、変数max_necoに0を代入する(S71)。図17中のハッチHAで塗りつぶされた領域AA(複数の四角形)が、ジョブ形状の一例である。
次に、制御ノード101のプロセッサ101aは、未検索の投入ジョブ形状の空きノードを検索する(S72)。
次に、制御ノード101のプロセッサ101aは、投入ジョブ形状の空きノードを検索できたか否かを判定する(S73)。
その結果、空きノードを検索できなかった場合(S73:NO)、制御ノード101のプロセッサ101aは、実行中のジョブの終了を待ち、再度、S71〜S73を実行する。
一方、S73の判定の結果、空きノードを検索できた場合(S73:YES)、制御ノード101のプロセッサ101aは、検索された空きノードの内、非省電力モードの計算ノード数を変数nに代入する(S75)。
次に、制御ノード101のプロセッサ101aは、変数n>=変数max_necoか否かを判定する(S76)。
その結果、変数n>=変数max_necoの場合(S76:YES)、制御ノード101のプロセッサ101aは、検出された空きノード(非省電力モード)の位置を記録する(S77)。例えば、変数PNに記録する。
次に、制御ノード101のプロセッサ101aは、変数max_necoに変数nの内容を代入する(S78)。
次に、制御ノード101のプロセッサ101aは、全ての空きノードを検索したか否かを判定する(S79)。
その結果、全ての空きノードを検索した場合(S79:YES)、制御ノード101のプロセッサ101aは、変数PNに記録されたノード(計算ノード)にジョブを割り当てる(S80)。
一方、S79の判定の結果、全ての空きノードを検索していない場合(S79:YES)、全ての空きノードを検索するまで(S79:YES)、S72〜S79を繰り返し実行する。
S76〜S78により、非省電力モードの数がより多い投入ジョブ形状の空きのノードを検索することができるため、より多くの非省電力モードの計算ノードにジョブを割り当てることができる。
例えば、図18に示すように、時間T5に新たな第3ジョブを投入した場合、ハッチH4_1で塗りつぶされた領域A4_1よりハッチH4_2で塗りつぶされた領域A4_2の方が、より多くの非省電力モードの計算ノードにジョブを割り当てることができる。この場合、制御ノード101のプロセッサ101aは、第3ジョブを領域A4_1に対応する計算ノード104〜110ではなく、領域A4_2に対応する計算ノード113〜119に割り当てる。図18は、時間T5に新たな第3ジョブを投入した場合に割り当てられる計算ノードを説明するための図である。
以上のように、図16の処理によれば、第2ジョブ終了後の時間T5(図18参照)において、新たな第3ジョブが投入された場合、より多くの非省電力モードの計算ノードに新たな第3ジョブを割り当てることができる。このため、計算ノードの温度が高くなりすぎる頻度を下げることができる。
[計算ノード102〜119が間接接続されている場合(間接網の場合)]
図19は、計算ノード102〜119がスイッチ(図示せず)を介して間接的に接続されている場合(間接網の場合)のジョブ優先割り当て処理を説明するためのフローチャート図である。
ユーザがジョブを投入した場合(S90)、制御ノード101のプロセッサ101aは、変数nに0を代入する(S91)。
次に、制御ノード101のプロセッサ101aは、非省電力モードの空きノードを検索する(S92)。
次に、制御ノード101のプロセッサ101aは、非省電力モードの空きノードを検索できたか否かを判定する(S93)。
その結果、空きノードを検索できなかった場合(S93:NO)、制御ノード101のプロセッサ101aは、省電力モードの空きノードを選択し(S94)、選択された空きノードをリストに追加する(S95)。
一方、S93の判定の結果、非省電力モードの空きノードを検索できた場合(S93:YES)、制御ノード101のプロセッサ101aは、検索された非省電力モードの空きノードをリストに追加する(S96)。
次に、制御ノード101のプロセッサ101aは、変数nに1を加算する(S97)。
次に、制御ノード101のプロセッサ101aは、変数nがジョブが要求するノード数であるか否かを判定する(S98)。
その結果、変数nがジョブが要求するノード数である場合(S98:YES)、制御ノード101のプロセッサ101aは、リストに記録されたノードにジョブを割り当てる(S99)。
一方、変数nがジョブが要求するノード数でない場合(S98:NO)、制御ノード101のプロセッサ101aは、変数nがジョブが要求するノード数になるまで(S98:YES)、S92〜S98を繰り返し実行する。
本処理によれば、S90で投入されたジョブを、S93で検索された非省電力モードの空きのノードに優先的に割り当てることができる。
例えば、図20に示すように、時間T5に新たな第3ジョブを投入した場合、制御ノード101のプロセッサ101aは、第3ジョブを非省電力モード(ジョブ非実行)の計算ノード108〜110、111〜119に優先的に割り当てることができる。図20は、時間T5に新たな第3ジョブを投入した場合に割り当てられる計算ノードを説明するための図である。
以上のように、図19の処理によれば、第2ジョブ終了後の時間T5(図20参照)において、新たな第3ジョブが投入された場合、より多くの非省電力モード(ジョブ非実行)の計算ノードに新たな第3ジョブを割り当てることができる。このため、計算ノードの温度が高くなりすぎる頻度を下げることができる。
以上の実施の形態をまとめると,次の付記のとおりである。
(付記1)
割り当てられたジョブを実行するCPUをそれぞれ有する複数の計算ノードと、
前記複数の計算ノードそれぞれのCPUを冷却する冷媒が循環する管路内の前記冷媒を冷却する冷却機と、
前記複数の計算ノード及び前記冷却機が接続された制御ノードと、を有し、
前記制御ノードは、
複数の計算ノードにジョブを割り当て、
前記ジョブが割り当てられた前記複数の計算ノードによる前記ジョブの実行が終了した後、前記冷却機の冷却力を所定程度低下させ、
前記冷媒の温度が閾値以上の間、前記ジョブの実行が終了した複数の計算ノードそれぞれのCPUを所定時間間隔で所定数ずつ非省電力モードから省電力モードに移行させ、前記冷媒の温度が前記閾値を下回っている間、前記省電力モードに移行させる処理を停止する、
情報処理装置。
(付記2)
前記制御ノードは、前記ジョブの実行が終了した後、前記冷媒の温度が前記閾値を下回った場合、前記冷却機の冷却力を前記所定程度低下させる付記1に記載の情報処理装置。
(付記3)
前記冷却機を複数備え、
前記制御ノードは、冷却機ごとに、前記ジョブを割り当てる処理、前記冷却機の冷却力を所定程度低下させる処理、前記省電力モードに移行させる処理を停止する処理を実行する付記1に記載の情報処理装置。
(付記4)
前記制御ノードは、前記ジョブが割り当てられた前記複数の計算ノードによる前記ジョブの実行が終了した後、新たなジョブが投入された場合、前記新たなジョブを非省電力モードの計算ノードに優先的に割り当てる付記1に記載の情報処理装置。
(付記5)
前記複数の計算ノードは、直接接続されている付記1に記載の情報処理装置。
(付記6)
前記複数の計算ノードは、間接接続されている付記1に記載の情報処理装置。
(付記7)
割り当てられたジョブを実行するCPUをそれぞれ有する複数の計算ノードと、前記複数の計算ノードそれぞれのCPUを冷却する冷媒が循環する管路内の前記冷媒を冷却する冷却機と、前記複数の計算ノード及び前記冷却機が接続された制御ノードと、を有する情報処理装置に、
複数の計算ノードにジョブを割り当て、
前記ジョブが割り当てられた前記複数の計算ノードによる前記ジョブの実行が終了した後、前記冷却機の冷却力を所定程度低下させ、
前記冷媒の温度が閾値以上の間、前記ジョブの実行が終了した複数の計算ノードそれぞれのCPUを所定時間間隔で順番に非省電力モードから省電力モードに移行させ、前記冷媒の温度が前記閾値を下回っている間、前記省電力モードに移行させる処理を停止する、
処理を実行させる省電力移行プログラム。
(付記8)
割り当てられたジョブを実行するCPUをそれぞれ有する複数の計算ノードと、前記複数の計算ノードそれぞれのCPUを冷却する冷媒が循環する管路内の前記冷媒を冷却する冷却機と、前記複数の計算ノード及び前記冷却機が接続された制御ノードと、を有する情報処理装置に、
複数の計算ノードにジョブを割り当て、
前記ジョブが割り当てられた前記複数の計算ノードによる前記ジョブの実行が終了した後、前記冷却機の冷却力を所定程度低下させ、
前記冷媒の温度が閾値以上の間、前記ジョブの実行が終了した複数の計算ノードそれぞれのCPUを所定時間間隔で順番に非省電力モードから省電力モードに移行させ、前記冷媒の温度が前記閾値を下回っている間、前記省電力モードに移行させる処理を停止する、
処理を実行させる省電力移行方法。
10:情報処理システム、20:サーバ、30、30A、30B:AP、40:有線端末、50、50A〜50E:無線LAN端末、60:監視装置、70:中継機器、T1:基本情報テーブル、T2:FA情報テーブル、T3:AP情報テーブル

Claims (6)

  1. 割り当てられたジョブを実行するCPUをそれぞれ有する複数の計算ノードと、
    前記複数の計算ノードそれぞれのCPUを冷却する冷媒が循環する管路内の前記冷媒を冷却する冷却機と、
    前記複数の計算ノード及び前記冷却機が接続された制御ノードと、を有し、
    前記制御ノードは、
    複数の計算ノードにジョブを割り当て、
    前記ジョブが割り当てられた前記複数の計算ノードによる前記ジョブの実行が終了した後、前記冷却機の冷却力を所定程度低下させ、
    前記冷媒の温度が閾値以上の間、前記ジョブの実行が終了した複数の計算ノードそれぞれのCPUを所定時間間隔で所定数ずつ非省電力モードから省電力モードに移行させ、前記冷媒の温度が前記閾値を下回っている間、前記省電力モードに移行させる処理を停止する、
    情報処理装置。
  2. 前記制御ノードは、前記ジョブの実行が終了した後、前記冷媒の温度が前記閾値を下回った場合、前記冷却機の冷却力を前記所定程度低下させる請求項1に記載の情報処理装置。
  3. 前記冷却機を複数備え、
    前記制御ノードは、冷却機ごとに、前記ジョブを割り当てる処理、前記冷却機の冷却力を所定程度低下させる処理、前記省電力モードに移行させる処理を停止する処理を実行する請求項1に記載の情報処理装置。
  4. 前記制御ノードは、前記ジョブが割り当てられた前記複数の計算ノードによる前記ジョブの実行が終了した後、新たなジョブが投入された場合、前記新たなジョブを非省電力モードの計算ノードに優先的に割り当てる請求項1に記載の情報処理装置。
  5. 割り当てられたジョブを実行するCPUをそれぞれ有する複数の計算ノードと、前記複数の計算ノードそれぞれのCPUを冷却する冷媒が循環する管路内の前記冷媒を冷却する冷却機と、前記複数の計算ノード及び前記冷却機が接続された制御ノードと、を有する情報処理装置に、
    複数の計算ノードにジョブを割り当て、
    前記ジョブが割り当てられた前記複数の計算ノードによる前記ジョブの実行が終了した後、前記冷却機の冷却力を所定程度低下させ、
    前記冷媒の温度が閾値以上の間、前記ジョブの実行が終了した複数の計算ノードそれぞれのCPUを所定時間間隔で順番に非省電力モードから省電力モードに移行させ、前記冷媒の温度が前記閾値を下回っている間、前記省電力モードに移行させる処理を停止する、
    処理を実行させる省電力移行プログラム。
  6. 割り当てられたジョブを実行するCPUをそれぞれ有する複数の計算ノードと、前記複数の計算ノードそれぞれのCPUを冷却する冷媒が循環する管路内の前記冷媒を冷却する冷却機と、前記複数の計算ノード及び前記冷却機が接続された制御ノードと、を有する情報処理装置に、
    複数の計算ノードにジョブを割り当て、
    前記ジョブが割り当てられた前記複数の計算ノードによる前記ジョブの実行が終了した後、前記冷却機の冷却力を所定程度低下させ、
    前記冷媒の温度が閾値以上の間、前記ジョブの実行が終了した複数の計算ノードそれぞれのCPUを所定時間間隔で順番に非省電力モードから省電力モードに移行させ、前記冷媒の温度が前記閾値を下回っている間、前記省電力モードに移行させる処理を停止する、
    処理を実行させる省電力移行方法。
JP2017234067A 2017-12-06 2017-12-06 情報処理装置、省電力移行プログラム、及び、省電力移行方法 Active JP6923803B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017234067A JP6923803B2 (ja) 2017-12-06 2017-12-06 情報処理装置、省電力移行プログラム、及び、省電力移行方法
US16/186,634 US10613602B2 (en) 2017-12-06 2018-11-12 Information processing apparatus, power saving transition program, and power saving transition method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017234067A JP6923803B2 (ja) 2017-12-06 2017-12-06 情報処理装置、省電力移行プログラム、及び、省電力移行方法

Publications (2)

Publication Number Publication Date
JP2019101894A JP2019101894A (ja) 2019-06-24
JP6923803B2 true JP6923803B2 (ja) 2021-08-25

Family

ID=66657655

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017234067A Active JP6923803B2 (ja) 2017-12-06 2017-12-06 情報処理装置、省電力移行プログラム、及び、省電力移行方法

Country Status (2)

Country Link
US (1) US10613602B2 (ja)
JP (1) JP6923803B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023000066A (ja) * 2021-06-17 2023-01-04 三菱重工業株式会社 冷却液循環ユニット及びその制御方法並びにプログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3658316B2 (ja) * 2000-12-19 2005-06-08 株式会社日立製作所 冷却方法および冷却システムならびに情報処理装置
US9521787B2 (en) * 2012-04-04 2016-12-13 International Business Machines Corporation Provisioning cooling elements for chillerless data centers
EP2977852B1 (en) 2013-03-18 2019-03-13 Fujitsu Limited Temperature management system
JP2015230658A (ja) 2014-06-06 2015-12-21 富士通株式会社 情報処理装置、情報処理装置の制御方法および情報処理装置の制御プログラム
JP6683920B2 (ja) 2016-02-24 2020-04-22 富士通株式会社 並列処理装置、電力係数算出プログラムおよび電力係数算出方法

Also Published As

Publication number Publication date
US20190171261A1 (en) 2019-06-06
JP2019101894A (ja) 2019-06-24
US10613602B2 (en) 2020-04-07

Similar Documents

Publication Publication Date Title
JP6218967B2 (ja) マルチプロセッサシステムオンチップにおけるエネルギー効率認識型熱管理
CN106537348B (zh) 用于数据处理系统的功率感知作业调度器和管理器
JP6249953B2 (ja) ヘテロジニアスマルチプロセッサシステムオンチップにおける熱駆動作業負荷スケジューリング
KR101529419B1 (ko) 휴대용 컴퓨팅 디바이스에서의 열 로드 관리
JP5808488B2 (ja) 主体的な負荷操作により熱負荷をあらかじめ回避するための方法、システム、及びコンピュータプログラム
US20170371719A1 (en) Temperature-aware task scheduling and proactive power management
JP3914230B2 (ja) プロセッサシステム及びその制御方法
US9195577B2 (en) Dynamic operations for 3D stacked memory using thermal data
US20160259562A1 (en) Dynamic Cache Sharing Based on Power State
JP2006107513A (ja) 処理環境におけるパワー・マネジメント
JP2009064456A (ja) 動的電圧制御方法および装置
US20080168465A1 (en) Data processing system and semiconductor integrated circuit
JP2009140157A (ja) 仮想計算機システム、仮想計算機の制御方法及びプログラム
CN107743608B (zh) 至硬件加速器的动态功率路由
US20130346766A1 (en) Power control device and power control method
JP6923803B2 (ja) 情報処理装置、省電力移行プログラム、及び、省電力移行方法
US20210157383A1 (en) Modifications of power allocations for graphical processing units based on usage
TW202030614A (zh) 系統級快取
JP5576827B2 (ja) サーバ管理システム、サーバ管理装置、サーバ管理方法、及びサーバ管理プログラム
JP2005063066A (ja) 分散コンピューティングシステム
JP2021509240A (ja) システム全体の低電力管理
CN105068871B (zh) 运算资源的控制方法和装置
KR101433030B1 (ko) 가상환경 내 중앙처리장치의 전력 스케줄링 방법 및 시스템
US20230247804A1 (en) System and method for cooling storage or accelerator devices
WO2013031130A1 (ja) 情報処理装置、そのアクセス制御方法及び集積回路

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200911

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210624

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210712

R150 Certificate of patent or registration of utility model

Ref document number: 6923803

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150