JP6876105B2 - Pcieトポロジによるファン速度制御 - Google Patents

Pcieトポロジによるファン速度制御 Download PDF

Info

Publication number
JP6876105B2
JP6876105B2 JP2019152473A JP2019152473A JP6876105B2 JP 6876105 B2 JP6876105 B2 JP 6876105B2 JP 2019152473 A JP2019152473 A JP 2019152473A JP 2019152473 A JP2019152473 A JP 2019152473A JP 6876105 B2 JP6876105 B2 JP 6876105B2
Authority
JP
Japan
Prior art keywords
pcie
gpu
information
busid
card
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019152473A
Other languages
English (en)
Other versions
JP2020053032A (ja
Inventor
鈞弘 王
鈞弘 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Quanta Computer Inc
Original Assignee
Quanta Computer Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Quanta Computer Inc filed Critical Quanta Computer Inc
Publication of JP2020053032A publication Critical patent/JP2020053032A/ja
Application granted granted Critical
Publication of JP6876105B2 publication Critical patent/JP6876105B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/20Cooling means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/38Information transfer, e.g. on bus
    • G06F13/42Bus transfer protocol, e.g. handshake; Synchronisation
    • G06F13/4204Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus
    • G06F13/4221Bus transfer protocol, e.g. handshake; Synchronisation on a parallel bus being an input/output bus, e.g. ISA bus, EISA bus, PCI bus, SCSI bus
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F04POSITIVE - DISPLACEMENT MACHINES FOR LIQUIDS; PUMPS FOR LIQUIDS OR ELASTIC FLUIDS
    • F04DNON-POSITIVE-DISPLACEMENT PUMPS
    • F04D27/00Control, e.g. regulation, of pumps, pumping installations or pumping systems specially adapted for elastic fluids
    • F04D27/004Control, e.g. regulation, of pumps, pumping installations or pumping systems specially adapted for elastic fluids by varying driving speed
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems
    • G05B19/02Programme-control systems electric
    • G05B19/04Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/042Programme control other than numerical control, i.e. in sequence controllers or logic controllers using digital processors
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20718Forced ventilation of a gaseous coolant
    • H05K7/20727Forced ventilation of a gaseous coolant within server blades for removing heat from heat source
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K7/00Constructional details common to different types of electric apparatus
    • H05K7/20Modifications to facilitate cooling, ventilating, or heating
    • H05K7/20709Modifications to facilitate cooling, ventilating, or heating for server racks or cabinets; for data centers, e.g. 19-inch computer racks
    • H05K7/20836Thermal management, e.g. server temperature control
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F05INDEXING SCHEMES RELATING TO ENGINES OR PUMPS IN VARIOUS SUBCLASSES OF CLASSES F01-F04
    • F05DINDEXING SCHEME FOR ASPECTS RELATING TO NON-POSITIVE-DISPLACEMENT MACHINES OR ENGINES, GAS-TURBINES OR JET-PROPULSION PLANTS
    • F05D2270/00Control
    • F05D2270/30Control parameters, e.g. input parameters
    • F05D2270/303Temperature
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00Program-control systems
    • G05B2219/20Pc systems
    • G05B2219/21Pc I-O input output
    • G05B2219/21156Over temperature protection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0026PCI express

Description

本願は、「THERMAL MANAGEMENT VIA OPERATING SYSTEM」と題する代理人整理番号077369‐107102USPT、及び、「THERMAL MANAGEMENT VIA VIRTUAL BMC MANAGER」と題する代理人整理番号077369‐107103USPTに関連するものであり、これらの両方は同時に出願されている。
本発明は、概して、コンピューティングシステムにおける温度管理に関する。
現代のコンピューティングシステムは、GPU、CPU、RAM等の多数の電子コンポーネントを含む。電子コンポーネントがより高速でより強力になると(例えば、より小型の要素及びより高速なGPU又はCPUを有する等)、電子コンポーネント内でより多くの熱が発生する。適切に冷却しなければ、過熱が生じ、コンポーネントに物理的な損傷を与える可能性があり、場合によっては、システム障害やデータ損失を招くこともある。
したがって、システムの主要コンポーネント(例えば、GPU等)の温度を監視して、過熱を抑制することが重要である。従来のシステムでは、システムは、集積回路間(Inter-Integrated Circuit;IC)接続を介してGPUの温度を読み取り、次に、冷却ファンを用いて、溜まった熱気を積極的に排気することによって、GPUから過剰な熱を除去し、GPU内の温度を適切に維持することができる。
しかしながら、特定のコンピューティングシステムでは、GPUは、温度情報を送信するIC接続を有していない。
コンピューティングシステムにおける温度管理を提供する。
本開示の様々な例によるシステム及び方法は、周辺機器相互接続エクスプレス(PCIe)トポロジを介してサーバシステムのGPUの温度情報を取得し、少なくともGPUの温度に基づいて、管理コントローラ(例えば、ベースボード管理コントローラ(BMC])を用いて冷却ファンのファン速度を制御することによって、上述した問題を解決する方法を提供する。いくつかの実施形態では、管理コントローラは、オペレーティングシステム(OS)を介してサーバシステムのPCIeトポロジを判別し、サーバシステムの各GPU又はGPUカードのBusIDを取得することができる。BusIDに基づいて、管理コントローラは、GPUライブラリ(例えば、NVIDIA(商標)管理ライブラリ(NVML])から対応するGPUの温度情報を取得し、少なくとも温度情報に基づいて、関連する冷却ファンのファン速度を制御することができる。いくつかの実施形態では、管理コントローラは、対応するGPUが適切な温度で動作し、最適化された使用率を達成することができるように、冷却ファンのファン速度を管理する。
いくつかの実施形態では、サーバシステムは、PCIeトポロジツリーを用いて、サーバシステム内のPCIeトポロジを識別し、次に、OSエージェントを介してPCIe BusID情報をBMCに送信することができる。PCIe BusID情報がGPUカードに関連付けられている場合には、BMCは、PCIe BusID情報に従って、GPUライブラリからGPUカードの温度情報を取得することができる。BMCは、少なくともGPUカードの温度情報に基づいて、インバンド(in-band)ICを介して、GPUカードに関連付けられた冷却ファンのファン速度を制御することができる。
PCIe BusID情報がPCIeスイッチに関連付けられいる場合には、BMCは、PCIeスイッチのPCIe BusID情報を用いて、PCIeスイッチに関連付けられたGPUの温度情報をGPUライブラリから取得することができる。BMCは、PCIeスイッチに関連付けられたGPUの温度情報及びサーバシステムのCPUの温度に基づいて、インバンドICを介して、PCIeスイッチに関連付けられた冷却ファンのファン速度を制御することができる。例えば、センサ群を、CPUとPCIeスイッチとの間に配置して、CPUの温度又はCPUとPCIeスイッチとの間の温度を検出するために使用することができる。BMCは、少なくともGPUの温度情報及びCPUの温度に基づいて、PCIeスイッチに関連付けられた冷却ファンのファン速度を制御する。
PCIe BusID情報がリタイマカードに関連付けられている場合には、BMCは、リタイマカードのPCIe BusID情報を用いて、リタイマカードに関連付けられたGPUの温度情報をGPUライブラリから取得することができる。BMCは、リタイマに関連付けられたGPUの温度情報に基づいて、アウトバンド(out-band)ICを介して、リタイマカードに関連付けられた対応する冷却ファンのファン速度を制御することができる。例えば、ジャストバンチオブディスクシステム(just-bunch-of-disks system)は、複数のGPU、PCIeスイッチ、リタイミングカード及び複数の冷却ファンを含むことができる。BMCは、リタイマカードのPCIe BusID情報を使用して、リタイマカードに関連付けられたGPUの温度情報をGPUライブラリから取得することができる。BMCは、少なくともGPUの温度情報に基づいて、アウトバンドICを介して、リタイマカードに関連付けられた冷却ファンのファン速度を制御することができる。
本開示の一実施態様によれば、サーバシステムのPCIeトポロジを介してファン速度を制御するコンピュータ実行方法は、PCIeトポロジツリーを用いてサーバシステムのPCIeトポロジを判別するステップと、OSエージェントを介してPCIe BusID情報を送信するステップと、PCIe BusID情報がGPUカードに対応する場合に、PCIe BusID情報に従ってGPUカードの温度情報をGPUライブラリから取得するステップと、少なくともGPUカードの温度情報に基づいて、インバンドICを介して、GPUカードに関連付けられた冷却ファンのファン速度を管理するステップと、を含む。いくつかの実施形態では、コンピュータ実行方法は、PCIe BusID情報がPCIeスイッチに対応する場合に、PCIe BusID情報に従って、PCIeスイッチに関連付けられたGPUの温度情報をGPUライブラリから取得するステップと、サーバシステムのCPUの温度情報を判別するステップと、少なくともGPUの温度情報とCPUの温度情報とに基づいて、インバンドICを介して、PCIeスイッチに関連付けられた冷却ファンのファン速度を管理するステップと、を含む。いくつかの実施形態では、コンピュータ実行方法は、PCIe BusID情報がリタイマカードに対応する場合に、PCIe BusID情報に従って、リタイマカードに関連付けられたGPUの温度情報をGPUライブラリから取得するステップと、少なくともGPUの温度情報に基づいて、アウトバンドICを介して、リタイマカードに関連付けられた冷却ファンのファン速度を管理するステップと、を含む。
本開示の別の態様によれば、命令を記憶する非一時的なコンピュータ可読記憶媒体が提供される。命令は、プロセッサによって実行されると、PCIeトポロジツリーを用いてサーバシステムのPCIeトポロジを判別するステップと、OSエージェントを介してPCIe BusID情報を送信するステップと、PCIe BusID情報がGPUカードに対応する場合に、PCIe BusID情報に従って、GPUカードの温度情報をGPUライブラリから取得するステップと、少なくともGPUカードの温度情報に基づいて、インバンドICを介して、GPUカードに関連付けられた冷却ファンのファン速度を管理するステップと、を含む動作をプロセッサに実行させる。
本発明のさらなる特徴及び利点は、以下の説明に記載されるとともに、一部が記載から明らかとなる。また、本明細書で開示された原理を実施することによって知ることができる。本発明の特徴及び利点は、添付の特許請求の範囲において特に指摘されている機器及び組み合わせによって実現することができる。
本開示並びにその利点及び図面は、添付の図面を参照して、例示的な実施形態の以下の説明からより良く理解されるであろう。これらの図面は、例示的な実施形態のみを示しており、様々な実施形態又は特許請求の範囲を限定するものではないことを理解されたい。
本開示の一実施形態による、温度情報を送信するIC接続のないGPUを有するデータセンタ内の例示的なシステムを示す概略ブロック図である。 本開示の一実施形態による、複数のGPU及びCPUを含む図1Aの例示的なシステムを示す概略ブロック図である。 本開示の一実施形態による、PCIeトポロジを介してファン速度を制御する図1Aの例示的なシステムを示す概略ブロック図である。 本開示の一実施形態による、GPUカードのPCIe BusIDがBMCに送信される図1Cの例示的なシステムを示す概略ブロック図である。 本開示の一実施形態による、PCIeスイッチのPCIe BusIDがBMCに送信される図1Cの例示的なシステムを示す概略ブロック図である。 本開示の一実施形態による、リタイマ(retimer)カードのPCIe BusIDがBMCに送信される図1Cの例示的なシステムを示す概略ブロック図である。 本開示の一実施形態による、IC接続を介して温度情報を送信するようにGPUに要求することなく、GPU温度を効果的に制御する図1Aの例示的なシステムを示す概略ブロック図である。 本開示の一実施形態による、サーバシステムのPCIeトポロジを介してファン速度を制御する例示的な方法を示す図である。
本発明は、多くの異なる形態で具体化することができる。これらの実施形態は、本発明の原理の例示として考慮されるべきであり、本発明の広範な態様を限定することを意図するものではない。その範囲において、例えば、概要、要約及び詳細な説明に開示されているが、特許請求の範囲に明記されていない要素及び限定は、単独で又は集合的に、黙示、推論又は他の方法によって特許請求の範囲に組み込まれてはならない。本発明を詳細に説明する目的のために、特に断りのない限り、単数形は複数形を含み、その逆も同様である。「含む」という用語は、「制限なしに含む」ことを意味している。また、例えば、「約(about)」、「殆ど(almost)」、「実質的に(substantially)」、「おおよそ(approximately)」等の近似語は、本明細書では、例えば、「…で(at)」、「…近くで(near)」、「…に近接して(nearly at)」、「…の3〜5%の範囲内で」、「製造公差の許容範囲内で」、又は、これらの任意の論理的組み合わせを意味するものとして用いることができる。
本開示の様々な例は、PCIeトポロジを介してサーバシステムのGPUの温度情報を取得し、少なくともGPUの温度に基づいて、ベースボード管理コントローラ(BMC)を用いて、冷却ファンのファン速度を制御するシステム及び方法を提供する。いくつかの実施形態では、管理コントローラは、オペレーティングシステム(OS)を介してサーバシステムのPCIeトポロジを判別し、サーバシステムの各GPU又はGPUカードのBusIDを取得することができる。管理コントローラは、BusIDに基づいて、GPUライブラリ(例えば、NVIDIA管理ライブラリ(NVML])から対応するGPUの温度情報を取得し、少なくとも温度情報に基づいて、関連する冷却ファンのファン速度を制御することができる。
図1Aは、本開示の一実施形態による、温度情報を送信するIC接続のないGPUを有するデータセンタ内の例示的なシステムを示す概略ブロック図である。この例では、サーバシステム100Aは、GPU112と、プロセッサ104と、PCIeスイッチ113と、1つ以上の冷却モジュール110と、メインメモリ(MEM)111と、AC電源101からAC電力を受け取り、電力をサーバシステム100Aの様々なコンポーネント(例えば、プロセッサ104、ノースブリッジ(NB)ロジック106、PCIeスロット160、サウスブリッジ(SB)ロジック108、ストレージデバイス109、ISAスロット150、PCIスロット170等)に供給する少なくとも1つの電源ユニット(PSU)102と、管理デバイス103と、を含む。この例では、少なくとも1つのGPU112は、対応するGPU112の温度情報を送信するIC接続を有していない。PCIeスイッチ113は、複数のI/Oデバイス、GPU112及びプロセッサ104間の高速シリアルポイントツーポイント(point-to-point)接続を可能にし、ホストへのエンドポイントトラフィックの集約、ファンアウト又はピアツーピア通信を最適化する。いくつかの例では、サーバシステム100Aは、プロセッサ104とPCIeスイッチ113とを接続するリタイマカード(図示笑楽)を更に含む。リタイマカードは、デターミニスティック(決定性)ジッタ及びランダムジッタの両方を補償するためのイコライゼーション機能及びクロックデータリカバリ(CDR)機能を有し、クリーン信号を順次ダウンストリームに送信するミックスドシグナルデバイスである。
プロセッサ104は、特定の機能のプログラム命令を実行するように構成された中央処理装置(CPU)とすることができる。例えば、プロセッサ104は、起動プロセス中に、管理デバイス103又はフラッシュストレージデバイスに記憶されたファームウェアデータにアクセスし、BIOS105を実行してサーバシステム100Aを初期化することができる。プロセッサ104は、起動プロセス後に、サーバシステム100Aの特定のタスクを実行及び管理するためにオペレーティングシステム(OS)を実行することができる。
いくつかの構成では、プロセッサ104は、マルチコアプロセッサとすることができ、マルチコアプロセッサの各プロセッサは、NBロジック106に接続されたCPUバスを介して互いに接続される。いくつかの構成では、NBロジック106をプロセッサ104に統合することができる。また、NBロジック106は、複数の周辺機器相互接続エクスプレス(PCIe)スロット160及びSBロジック108(オプション)に接続することができる。複数のPCIeスロット160は、例えば、PCI エクスプレス x1、USB2.0、SMBus、SIMカード、他のPCIeレーンの将来の拡張、1.5V及び3.3Vの電源、並びに、サーバシステム100Aのシャーシ上の診断LEDへの配線等の接続及びバスに使用することができる。
システム100Aでは、NBロジック106及びSBロジック108は、周辺機器相互接続(PCI)バス107によって接続されている。SBロジック108は、拡張バスを介して、PCIバス107を、複数の拡張カード又はISAスロット150(例えば、ISAスロット151)に接続することができる。SBロジック108は、少なくとも1つのPSU102に接続された管理デバイス103に更に接続されている。いくつかの実装形態では、管理デバイス103は、ベースボード管理コントローラ(BMC)又はラック管理コントローラ(RMC)であってもよい。
管理デバイス103(例えば、BMC等)は、PCIeトポロジツリー(図示省略)を用いてサーバシステム100A内のPCIeトポロジを識別し、OSエージェント(図示省略)を介してPCIe BusID情報を受信することができる。いくつかの実施形態では、PCIeトポロジツリーは、lspciから問い合わせされた情報であってもよい。lspciは、システム内のハードウェアからの実際のPCIe情報を測定するシステムユーティリティである。順序は、ルートコンプレックス(Root Complex)→ルートポート(Root Port)→ブリッジ/エンドポイント(Bridge/End Point)とすることができる。lspciは、ルートコンプレックスからエンドポイントまでのアーキテクチャを表すことができる。いくつかの実施形態では、異なるCPUソケットが異なる独自のルートコンプレックスを有することができる。PCIe BusID及びその分岐を用いると、サーバシステム100Aのハードウェアトポロジにおけるハードウェアの物理的位置を決定するのに役立つ。
管理デバイス103は、PCIe BusID情報に基づいて、NVIDIA管理ライブラリ(NVML)(図示省略)から対応するGPU112の温度情報を取得し、少なくとも温度情報に基づいて、GPU112に関連付けられた冷却ファン110のファン速度を制御することができる。
管理デバイス103は、PCIe BusID情報がGPUカード112に関連付けられている場合に、PCIe BusID情報に従って、GPUカード112の温度情報をNVMLから取得することができる。管理デバイス103は、少なくともGPUカードの温度情報に基づいて、インバンド(in-band)IC接続を介して、GPUカードに関連付けられた冷却ファン110のファン速度を制御することができる。管理デバイス103は、PCIe BusID情報がPCIeスイッチ113に関連付けられている場合に、PCIeスイッチ113のPCIe BusID情報を用いて、PCIeスイッチ113に関連付けられたGPU112の温度情報をNVMLから取得することができる。管理デバイス103は、PCIeスイッチ113に関連付けられたGPU112の温度情報、及び、サーバシステムのCPUの温度に基づいて、インバンドIC接続を介して、PCPCIeスイッチ113に関連付けられた冷却ファン110のファン速度を制御することができる。管理デバイス103は、PCIe BusID情報がリタイマカード(図示省略)に関連付けられている場合に、リタイマカードのPCIe BusID情報を用いて、リタイマカードに関連付けられたGPU112の温度情報をNVMLから取得することができる。管理デバイス103は、リタイマに関連付けられたGPU112の温度情報に基づいて、アウトバンドIC接続を介して、リタイマカードに関連付けられた対応する冷却ファン110のファン速度を制御することができる。
いくつかの実施形態では、ファン制御サービスは、管理デバイス103のサービスであり、管理デバイス103によって提供されるソフトウェアサービスである。ソフトウェアサービスは、GPU112の情報を問い合わせることができる。オペレーティングシステム(OS)がOSに組み込まれたOSエージェントを実行する場合、OSエージェントは、サービスコード2バイト(例えば0x0A)を送信し、ファン制御サービスを開始するように管理デバイス103に通知する。
図1Aの構成例を図1Bに更に示す。図1Bでは、サーバシステム100Bは、CPU104−1,104−2と、複数のGPUを有するGPUカード112であって、NVML114に接続されたGPUカード112と、を含む。CPU104−1,104−2は、ウルトラパスインターコネクト(UPI)104−3を介して相互接続されている。少なくとも1つのGPU(即ち、GPU0、GPU1、GPU2及びGPU3)は、温度情報を送信するIC接続を有していない。
図1Aのファン速度制御の一例を図1Cに更に示す。図1Cでは、サーバシステム100Cは、PCIeトポロジツリー118と、GPU112、PCIeスイッチ113、リタイマカード115及び他のPCIeデバイスを接続するCPUルートコンプレックス104と、OSエージェント116と、BMC103と、を含む。PCIeトポロジツリー118は、サーバシステム100C内のPCIeトポロジを識別し、OSエージェント116を介してPCIe BusID情報をBMC103に送信することができる。BMC103は、PCIe BusID情報に基づいて、対応するGPU112の温度情報をライブラリ(例えば、NVIDIA管理ライブラリ(NVML)114)から取得し、少なくとも温度情報に基づいて、関連する冷却ファン110のファン速度を制御することができる。いくつかの実装形態では、BMC103は、ファン制御サービス117を介して冷却ファン110のファン速度を制御することができる。
図1Dは、GPUカード112のPCIe BusIDがBMC103に送信される図1Cのシナリオを示している。この例では、CPU104−1,104−2は、複数のGPUを含むGPUカード112に直接接続されている。NVML114は、CUDAドライバ121を介して、GPU(例えば、GPU0、GPU1、GPU2及びGPU3)の温度情報を収集する。BMC103は、OS116を介して、GPUカード112のPCIe BusID情報に従って、GPU(例えば、GPU0、GPU1、GPU2及びGPU3)の温度情報をNVML114から取得することができる。BMC103は、少なくともGPU(例えば、GPU0、GPU1、GPU2及びGPU3)の温度情報に基づいて、インバンドIC接続を介して、GPUカード112に関連付けられた冷却ファン110のファン速度を制御する。
図1Eは、PCIeスイッチ113−1,113−2のPCIe BusIDがBMC103に送信される図1Cのシナリオを示している。この例では、PCIeスイッチ113−1は、CPU104−1と、GPU0、GPU1、GPU2及びGPU3を含むGPUクラスタと、を接続し、PCIeスイッチ113−2は、CPU104−2と、GPU4、GPU5、GPU6及びGPU7を含むGPUクラスタと、を接続する。NVML114は、CUDAドライバ121を介してGPU112の温度情報を収集する。BMC103は、OS116を介して、PCIeスイッチ113−1,113−2のPCIe BusID情報に従って、GPU(例えば、GPU0〜GPU7)の温度情報をNVML114から取得することができる。BMC103は、少なくともGPU(例えば、GPU0〜GPU7)の温度情報に基づいて、インバンドIC接続を介して、GPU112に関連付けられた冷却ファン110のファン速度を制御することができる。
いくつかの実装形態では、センサ群122は、CPU(例えば、104−1,104−2)とPCIeスイッチ(例えば、113−1,113−2)との間に配置されている。センサ群は、CPU(例えば、104−1,104−2)の温度、又は、CPU(例えば、104−1,104−2)とPCIeスイッチ(例えば、113−1,113−2)との間の温度を検出するように構成されている。BMC103は、少なくともCPUの温度(例えば、104−1,104−2)及びGPU(例えば、GPU0〜GPU7)の温度情報に基づいて、インバンドIC接続を介して、PCIeスイッチ(例えば、113−1,113−2)に関連付けられた冷却ファン110のファン速度を制御することができる。
いくつかの実施形態では、lspciが、サーバシステム100EのトポロジがPCIeスイッチを含むと検出した場合、BMC103は、CPU(例えば、104−1,104−2)の温度を自動的に考慮し、ファン制御サービス117に対して、センサ群122からの温度データを収集させることができる。
いくつかの実施形態では、IPMIツールを用いて、キーボード信号制御(KSC)によってBMC103を呼び出して、BMC103のサービスを制御する。BMCrawデータは、GPU(例えば、GPU0〜GPU7)から取得したGPU情報を保存するためのスペースである。OS116がBMC103に対してBMCサービスを起動させると、ファン制御サービス117は、GPU情報をBMCrawデータから自動的にロードすることができる。
図1Fは、リタイマカード115−1,115−2のPCIe BusIDがBMC103−1に送信される図1Cのシナリオを示している。この例では、リタイマカード115−1は、CPU104−1とPCIeスイッチ113−1とを接続し、リタイマカード115−2は、CPU104−2とPCIeスイッチ113−1とを接続する。PCIeスイッチ113−1は、GPU0、GPU1、GPU2及びGPU3に接続されたPCIeスイッチ103−2と、GPU4、GPU5、GPU6及びGPU7に接続されたPCIeスイッチ103−3と、を接続する。NVML114は、CUDAドライバ121を介してGPU112の温度情報を収集する。
この例では、BMC103−1は、OS116を介して、リタイマカード115−1,115−2のPCIe BusID情報に従って、GPU(例えば、GPU0〜GPU7)の温度情報をNVML114から取得することができる。BMC103−1は、少なくともGPU(例えば、GPU0〜GPU7)の温度情報に基づいて、アウトバンドIC接続120を介して、GPU(例えば、GPU0〜GPU7)に関連付けられた冷却ファン110−2のファン速度を制御することができる。
いくつかの実施形態では、アウトバンドを用いて、リタイマカード115−1,115−2をジャストバンチオブディスク(JBOD)システム(図1Fの左下部分)に接続する。JBODシステムは、CPUを必要とせず、リタイマカード115−1,115−2と通信するためのミニシリアルATアタッチメント(SATA)のみを有することができる。
この例では、左上部分及び左下部分は、リタイマカード115−1,115−2が互いに接続する2つの別々のシステムである。OSエージェント116は、トポロジをチェックしてサーバシステム100FのPCIeトポロジを識別すると、一部の情報がローカルコンポーネントが得られないと判別し、GPU(例えば、GPU0〜GPU7)の温度情報を含むJBODシステムのBMC103−2の情報を自動的に考慮することができる。また、OSエージェント116は、KSCを用いて、BMC103−2,BMC103−1から独立したプログラムであるファン制御サーバ117を使用可能にする。
上述したように、サーバシステム100A〜100Fは、IC接続を介して温度情報を送信するようにGPU112に要求することなく、GPU温度を効果的に制御することができる。具体例を図1Gに示す。この例では、GPU温度及びBMC温度は、それぞれ84℃及び32℃に達し、冷却ファン110のファン速度は60%である。BMC103がGPU温度を取得すると、BMC103は、GPU温度(84℃)がスローダウン温度(slowdown temperature)(85℃)に近過ぎると判別することができる。次に、BMC103は、冷却ファン110のファン速度を60%から80%に増加させることができる。その結果、GPU温度は82℃に低下し、BMC温度は30℃に低下する。したがって、GPU112は、適切な温度で効果的に動作し、高い利用率を維持することができる。
上述した説明は、本開示の原理及び様々な実施例を例示することを意図している。上述の開示内容が十分に理解されれば、様々な変更や修正がなされることが明白であろう。
図2は、本開示の一実施形態による、サーバシステムのPCIeトポロジを介してファン速度を制御する例示的な方法200を示す図である。例示的な方法200は、説明目的のためだけに示されており、本開示による他の方法は、類似若しくは他の順序で又は並行して実行される追加の、より少ない又は代替のステップを含み得ることを理解されたい。例示的な方法200は、ステップ202において、サーバシステム内のPCIeトポロジを判別することによって開始する。いくつかの実施形態では、サーバシステムのPCIeトポロジツリーを用いて、サーバシステムのPCIeトポロジを判別することができる。
ステップ204では、図1A〜図1Fに示すように、PCIe BusID情報を、OSエージェントを介してサーバシステムの管理コントローラ(例えば、BMC)に送信することができる。いくつかの実施形態では、PCIeトポロジツリーは、OSエージェントを介して、PCIe BusID情報を管理コントローラに送信する。ステップ206では、管理コントローラは、受信したPCIe BusID情報に関連する特定のデバイスを識別することができる。
ステップ208では、図1C及び図1Dに示すように、PCIe BusID情報がGPUカードに対応する場合、管理コントローラは、PCIe BusID情報に従って、GPUカードの温度情報をGPUライブラリ(例えば、NVIDIA管理ライブラリ(NVML))から取得することができる。ステップ210では、管理コントローラは、少なくともGPUカードの温度情報に基づいて、インバンドIC接続を介して、GPUカードに関連付けられた冷却ファンのファン速度を制御することができる。
ステップ212では、図1C及び図1Eに示すように、PCIe BusID情報がPCIeスイッチに対応する場合、管理コントローラは、PCIe BusID情報に従って、PCIeカードに関連付けられたGPUの温度情報をGPUライブラリから取得することができる。いくつかの実施形態では、図1Eに示すように、センサ群を、CPUとPCIeスイッチとの間に配置し、CPUの温度、又は、CPUとPCIeスイッチとの間の温度を検出するように用いることができる。ステップ214では、管理コントローラは、センサ群を用いてCPU温度を判別することができる。ステップ216では、管理コントローラは、少なくともGPUの温度情報及びCPUの温度に基づいて、インバンドIC接続を介して、PCIeスイッチに関連付けられた冷却ファンのファン速度を制御することができる。
ステップ218では、図1C及び図1Eに示すように、PCIe BusID情報がリタイマカードに対応する場合、管理コントローラは、PCIe BusID情報に従って、リタイマカードに関連付けられたGPUの温度情報をGPUライブラリから取得することができる。ステップ220では、管理コントローラは、少なくともGPUの温度情報に基づいて、アウトバンドIC接続を介して、リタイマカードに関連付けられた冷却ファンのファン速度を制御することができる。
100A〜100F…サーバシステム
101…電源
102…電源ユニット(PSU)
103…管理デバイス
104…プロセッサ
104−1,104−2…CPU
104−3…ウルトラパスインターコネクト(UPI)
105…BIOS
106…ノースブリッジ(NB)ロジック
107…周辺機器相互接続(PCI)バス
108…SBロジック
109…ストレージデバイス
110…冷却モジュール
110−1,110−2…冷却ファン
111…メインメモリ(MEM)
112…GPU
113…PCIeスイッチ
113−1,113−2,113−3…PCIeスイッチ
114…NVML
115…リタイマカード
115−1,1153−2…リタイマカード
116…OSエージェント
117…ファン制御サービス
118…PCIeトポロジツリー
119…BMCホストボード
120…アウトバンドIC接続
121…CUDAドライバ
122…センサ群
150,151…ISAスロット
160,161…PCIeスロット
170,171…PCIスロット
200…方法
202,204,206,208,210,212,214,216,218,210…ステップ

Claims (7)

  1. 周辺機器相互接続エクスプレス(PCIe)トポロジを介してサーバシステムの冷却ファンのファン速度を制御するコンピュータ実行方法であって、
    前記サーバシステムの前記PCIeトポロジを判別するステップと、
    オペレーティングシステム(OS)エージェントを介してPCIe BusID情報を送信するステップと、
    前記PCIe BusID情報がGPUカードに対応する場合に、前記PCIe BusID情報に従って前記GPUカードの温度情報をGPUライブラリから取得するステップと、
    少なくとも前記GPUカードの前記温度情報に基づいて、インバンド集積回路間(IC)接続を介して、前記GPUカードに関連付けられた冷却ファンのファン速度を管理するステップと、
    前記PCIe BusID情報がPCIeスイッチに対応する場合に、前記PCIe BusID情報に従って、前記PCIeスイッチに関連付けられたGPUの温度情報を前記GPUライブラリから取得するステップと、
    少なくとも前記GPUの温度情報及びCPUの温度情報に基づいて、前記インバンドI C接続を介して、前記PCIeスイッチに関連付けられた冷却ファンのファン速度を管理するステップと、を含むコンピュータ実行方法。
  2. 周辺機器相互接続エクスプレス(PCIe)トポロジを介してサーバシステムの冷却ファンのファン速度を制御するコンピュータ実行方法であって、
    前記サーバシステムの前記PCIeトポロジを判別するステップと、
    オペレーティングシステム(OS)エージェントを介してPCIe BusID情報を送信するステップと、
    前記PCIe BusID情報がGPUカードに対応する場合に、前記PCIe BusID情報に従って前記GPUカードの温度情報をGPUライブラリから取得するステップと、
    少なくとも前記GPUカードの前記温度情報に基づいて、インバンド集積回路間(I C)接続を介して、前記GPUカードに関連付けられた冷却ファンのファン速度を管理するステップと、
    前記PCIe BusID情報がリタイマカードに対応する場合に、前記PCIe BusID情報に従って、前記リタイマカードに関連付けられたGPUの温度情報を前記GPUライブラリから取得するステップと、
    前記GPUの温度情報に基づいて、アウトバンドIC接続を介して、前記リタイマカードに関連付けられた複数の冷却ファンのファン速度を管理するステップと、を含む、コンピュータ実行方法。
  3. プロセッサと、
    管理コントローラと、
    前記プロセッサによって実行されると、サーバシステムに動作を実行させる命令を記憶するコンピュータ可読記憶媒体と、を備えるサーバシステムであって、
    前記動作は、
    前記サーバシステムの周辺機器相互接続エクスプレス(PCIe)トポロジを判別するステップと、
    オペレーティングシステム(OS)エージェントを介してPCIe BusID情報を送信するステップと、
    前記PCIe BusID情報がGPUカードに対応する場合に、前記PCIe BusID情報に従ってGPUカードの温度情報をGPUライブラリから取得するステップと、
    少なくとも前記GPUカードの前記温度情報に基づいて、インバンドICを介して、前記GPUカードに関連付けられた冷却ファンのファン速度を管理するステップと、
    前記PCIe BusID情報がPCIeスイッチに対応する場合に、前記PCIe BusID情報に従って、前記PCIeスイッチに関連付けられたGPUの温度情報を前記GPUライブラリから取得するステップと、
    少なくとも前記GPUの温度情報及びCPUの温度情報に基づいて、前記インバンドI C接続を介して、前記PCIeスイッチに関連付けられた冷却ファンのファン速度を管理するステップと、を含む、サーバシステム。
  4. プロセッサと、
    管理コントローラと、
    前記プロセッサによって実行されると、サーバシステムに動作を実行させる命令を記憶するコンピュータ可読記憶媒体と、を備えるサーバシステムであって、
    前記動作は、
    前記サーバシステムの周辺機器相互接続エクスプレス(PCIe)トポロジを判別するステップと、
    オペレーティングシステム(OS)エージェントを介してPCIe BusID情報を送信するステップと、
    前記PCIe BusID情報がGPUカードに対応する場合に、前記PCIe BusID情報に従ってGPUカードの温度情報をGPUライブラリから取得するステップと、
    少なくとも前記GPUカードの前記温度情報に基づいて、インバンドI Cを介して、前記GPUカードに関連付けられた冷却ファンのファン速度を管理するステップと、
    前記PCIe BusID情報がリタイマカードに対応する場合に、前記PCIe BusID情報に従って、前記リタイマカードに関連付けられたGPUの温度情報を前記GPUライブラリから取得するステップと、
    少なくとも前記GPUの温度情報に基づいて、アウトバンドIC接続を介して、前記リタイマカードに関連付けられた複数の冷却ファンのファン速度を管理するステップと、を含む、サーバシステム。
  5. 前記サーバシステムの前記PCIeトポロジは、PCIeトポロジツリーを用いて判別され、前記PCIeトポロジツリーは、前記OSエージェントを介して前記PCIe BusID情報を前記管理コントローラに送信する、請求項3又は4に記載のサーバシステム。
  6. サーバシステムの少なくとも1つのプロセッサによって実行されると、前記サーバシステムに動作を実行させる命令を記憶するコンピュータ可読記憶媒体であって、
    前記動作は、
    前記サーバシステムのPCIeトポロジを判別するステップと、
    オペレーティングシステム(OS)エージェントを介してPCIe BusID情報を送信するステップと、
    前記PCIe BusID情報がGPUカードに対応する場合に、前記PCIe BusID情報に従ってGPUカードの温度情報をGPUライブラリから取得するステップと、
    少なくとも前記GPUカードの前記温度情報に基づいて、インバンドICを介して、前記GPUカードに関連付けられた冷却ファンのファン速度を管理するステップと、
    前記PCIe BusID情報がPCIeスイッチに対応する場合に、前記PCIe BusID情報に従って、前記PCIeスイッチに関連付けられたGPUの温度情報を前記GPUライブラリから取得するステップと、
    少なくとも前記GPUの温度情報及びCPUの温度情報に基づいて、前記インバンドI C接続を介して、前記PCIeスイッチに関連付けられた冷却ファンのファン速度を管理するステップと、を含む、コンピュータ可読記憶媒体。
  7. サーバシステムの少なくとも1つのプロセッサによって実行されると、前記サーバシステムに動作を実行させる命令を記憶するコンピュータ可読記憶媒体であって、
    前記動作は、
    前記サーバシステムのPCIeトポロジを判別するステップと、
    オペレーティングシステム(OS)エージェントを介してPCIe BusID情報を送信するステップと、
    前記PCIe BusID情報がGPUカードに対応する場合に、前記PCIe BusID情報に従ってGPUカードの温度情報をGPUライブラリから取得するステップと、
    少なくとも前記GPUカードの前記温度情報に基づいて、インバンドI Cを介して、前記GPUカードに関連付けられた冷却ファンのファン速度を管理するステップと、
    前記PCIe BusID情報がリタイマカードに対応する場合に、前記PCIe BusID情報に従って、前記リタイマカードに関連付けられたGPUの温度情報を前記GPUライブラリから取得するステップと、
    前記GPUの温度情報に基づいて、アウトバンドIC接続を介して、前記リタイマカードに関連付けられた複数の冷却ファンのファン速度を管理するステップと、を含む、コンピュータ可読記憶媒体。
JP2019152473A 2018-09-21 2019-08-23 Pcieトポロジによるファン速度制御 Active JP6876105B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/138,260 2018-09-21
US16/138,260 US10776304B2 (en) 2018-09-21 2018-09-21 Fan speed control via PCIE topology

Publications (2)

Publication Number Publication Date
JP2020053032A JP2020053032A (ja) 2020-04-02
JP6876105B2 true JP6876105B2 (ja) 2021-05-26

Family

ID=66397123

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019152473A Active JP6876105B2 (ja) 2018-09-21 2019-08-23 Pcieトポロジによるファン速度制御

Country Status (5)

Country Link
US (1) US10776304B2 (ja)
EP (1) EP3627283B1 (ja)
JP (1) JP6876105B2 (ja)
CN (1) CN110941313B (ja)
TW (1) TWI684866B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI710953B (zh) * 2019-05-31 2020-11-21 緯創資通股份有限公司 韌體更新裝置以及韌體更新方法
CN114579385A (zh) * 2020-11-18 2022-06-03 英业达科技有限公司 服务器的PCIe芯片的温度预测系统及方法
US11509751B2 (en) * 2020-12-23 2022-11-22 Dell Products L.P. Self-describing system using single-source/multi-destination cable
JP7174281B2 (ja) * 2021-02-17 2022-11-17 富士通クライアントコンピューティング株式会社 情報処理装置、情報処理システムおよびプログラム
TWI786829B (zh) * 2021-09-16 2022-12-11 英業達股份有限公司 具人工智慧的效能調節系統及其調節方法
CN114035662B (zh) * 2021-10-15 2023-07-14 苏州浪潮智能科技有限公司 Ai服务器散热调控方法、系统、终端及存储介质
WO2023075750A1 (en) * 2021-10-25 2023-05-04 Hewlett-Packard Development Company, L.P. Temperature settings for temperature control circuits
CN114253897B (zh) * 2021-12-16 2023-07-14 苏州浪潮智能科技有限公司 一种系统PCIe拓扑动态切换系统与方法
CN114356057A (zh) * 2021-12-30 2022-04-15 浙江大华技术股份有限公司 控制PCIe卡散热的方法、装置、设备及存储介质
US20230213999A1 (en) * 2022-01-06 2023-07-06 Nvidia Corporation Techniques for controlling computing performance for power-constrained multi-processor computing systems
CN117591378B (zh) * 2024-01-17 2024-04-05 苏州元脑智能科技有限公司 一种服务器的温度控制方法、系统、设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253918B (zh) * 2010-05-05 2014-04-23 英业达股份有限公司 计算机系统
CN202183065U (zh) * 2011-07-25 2012-04-04 华美科技(苏州)有限公司 塔式4gpu计算机装置
US20130342989A1 (en) * 2012-06-21 2013-12-26 Gregory L. Singleton Disk drive carrier apparatus for a computer system
US9244872B2 (en) * 2012-12-21 2016-01-26 Ati Technologies Ulc Configurable communications controller
US9213379B2 (en) * 2013-10-17 2015-12-15 Nvidia Corporation Distributed fan control
US20150212755A1 (en) * 2014-01-30 2015-07-30 Avalanche Technology, Inc. Method of managing throughput of redundant array of independent disks (raid) groups in a solid state disk array
CN104202194B (zh) * 2014-09-10 2018-05-29 华为技术有限公司 PCIe拓扑的配置方法和装置
US10127055B2 (en) * 2015-10-16 2018-11-13 Quanta Computer Inc. iSCSI based bare metal OS image deployment and diskless boot
CN105808499A (zh) * 2016-04-01 2016-07-27 浪潮电子信息产业股份有限公司 一种cpu互联装置以及多路服务器cpu互联拓扑结构
CN106640721B (zh) * 2016-12-28 2017-11-10 郑州云海信息技术有限公司 一种改善服务器噪声的风扇控制方法及系统
CN106815156A (zh) * 2017-01-22 2017-06-09 联想(北京)有限公司 一种实现固态硬盘交互的装置、方法和和电子设备
CN107819834A (zh) * 2017-10-27 2018-03-20 郑州云海信息技术有限公司 Linux下快速确认服务器PCIe设备的状态及位置的方法和系统
CN108196999A (zh) 2018-01-02 2018-06-22 郑州云海信息技术有限公司 服务器bmc获取gpu温度的方法及装置

Also Published As

Publication number Publication date
US10776304B2 (en) 2020-09-15
TWI684866B (zh) 2020-02-11
US20200097431A1 (en) 2020-03-26
CN110941313B (zh) 2022-03-15
TW202013198A (zh) 2020-04-01
EP3627283B1 (en) 2022-04-06
CN110941313A (zh) 2020-03-31
EP3627283A1 (en) 2020-03-25
JP2020053032A (ja) 2020-04-02

Similar Documents

Publication Publication Date Title
JP6876105B2 (ja) Pcieトポロジによるファン速度制御
EP3261420A1 (en) Virtual chassis management controller
TWI582585B (zh) 機櫃的監控系統
US8948000B2 (en) Switch fabric management
US10127170B2 (en) High density serial over LAN management system
US20160179734A1 (en) Method and system for hot-plug functions
CN106814826B (zh) 控制服务器机柜中气流的系统及方法
US10127095B2 (en) Seamless automatic recovery of a switch device
JP2021022382A (ja) コネクターを介して装置に電力を供給するための方法及びシステム
US10862900B2 (en) System and method for detecting rogue devices on a device management bus
TWI559148B (zh) 自動硬體恢復方法及自動硬體恢復系統
WO2013048943A1 (en) Active state power management (aspm) to reduce power consumption by pci express components
TWI791913B (zh) 經由邊帶介面恢復場域可程式閘陣列韌體之系統及方法
US10606784B1 (en) Software filtering of redundant sideband device management bus communications
US20170155579A1 (en) Centralized server switch management
US10852792B2 (en) System and method for recovery of sideband interfaces for controllers
US10853204B2 (en) System and method to detect and recover from inoperable device management bus
CN117041184B (zh) Io拓展装置及io交换机
US10489328B2 (en) Universal sleds server architecture
US20200314172A1 (en) Server system and management method thereto
US10146720B2 (en) Flexible configuration server system
CN106059782B (zh) 网络配置管理方法、服务器系统以及计算机可读储存媒体
RU211039U1 (ru) Серверная платформа, выполненная с возможностью обнаружения подключения/отключения сетевых карт и/или твердотельных накопителей и реализованная с функциями network appliance
TWI704463B (zh) 伺服器系統與管理方法
US10409940B1 (en) System and method to proxy networking statistics for FPGA cards

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190823

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200916

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200923

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210423

R150 Certificate of patent or registration of utility model

Ref document number: 6876105

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150