JP5444194B2 - Data transfer device, data transfer method, and computer system - Google Patents
Data transfer device, data transfer method, and computer system Download PDFInfo
- Publication number
- JP5444194B2 JP5444194B2 JP2010253120A JP2010253120A JP5444194B2 JP 5444194 B2 JP5444194 B2 JP 5444194B2 JP 2010253120 A JP2010253120 A JP 2010253120A JP 2010253120 A JP2010253120 A JP 2010253120A JP 5444194 B2 JP5444194 B2 JP 5444194B2
- Authority
- JP
- Japan
- Prior art keywords
- transaction
- channel adapter
- host channel
- data
- data transfer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Debugging And Monitoring (AREA)
Description
本発明は、装置間のデータ転送方法に関し、特にパケットデータを転送するデータ転送方法、そのデータ転送方法によってデータを授受するデータ転送装置、コンピュータシステムに関する。 The present invention relates to a data transfer method between apparatuses, and more particularly to a data transfer method for transferring packet data, a data transfer apparatus for transferring data by the data transfer method, and a computer system.
ホストコンピュータ間をポイント・ツー・ポイント接続するインターコネクトとして、PCI express switch(以下PCIスイッチ)のポートに接続されるホストチャネルアダプタ(HCA)を用いることがある。このPCIスイッチには、他のPCIデバイスも接続される。このようなシステムにおいてPCIスイッチに障害が起きると、PCIスイッチを閉塞することが多い。そのような場合、ホストチャネルアダプタを含め、PCIスイッチに接続されている全てのPCIデバイスが閉塞され、障害発生時の影響範囲が大きい。 A host channel adapter (HCA) connected to a port of a PCI express switch (hereinafter referred to as PCI switch) is sometimes used as an interconnect for connecting point computers to host computers. Other PCI devices are also connected to this PCI switch. When a failure occurs in a PCI switch in such a system, the PCI switch is often blocked. In such a case, all PCI devices connected to the PCI switch including the host channel adapter are blocked, and the influence range when a failure occurs is large.
PCIスイッチは、“障害閉塞モード”および“障害通知モード”の動作モードを備える。“障害閉塞モード”では、PCIスイッチは障害発生時に自身を閉塞する。“障害通知モード”では、PCIスイッチは閉塞せずに処理中のトランザクションのみ破棄し、コントローラに障害通知を行なって後続のトランザクションの処理を継続する。 The PCI switch has an operation mode of “failure blocking mode” and “failure notification mode”. In the “failure blocking mode”, the PCI switch blocks itself when a failure occurs. In the “failure notification mode”, the PCI switch discards only the transaction being processed without being blocked, notifies the controller of the failure, and continues processing the subsequent transaction.
データインテグリティ(データ完全性)を保証するためには、障害発生時にホストチャネルアダプタ間のデータ転送を異常終了させる必要がある。障害閉塞モードでは、障害発生時にホストチャネルアダプタが閉塞されるため、データ転送が途中で停止して異常終了し、データインテグリティが保証される。しかし、PCIスイッチに接続される他のPCIデバイスも閉塞するため、障害の影響範囲が大きくなる。したがって、障害閉塞モードでは、障害の影響が及ぶ範囲を小さくすることが課題である。一方、障害通知モードでは、PCIスイッチに接続されているPCIデバイスは閉塞されず、障害の影響が及び範囲は限定的になる。しかし、ホストチャネルアダプタ間で転送途中のトランザクションが破棄されるが、データ転送を要求したリクエスタはその異常を検出できないため、データ転送は正常終了したものと扱われる。したがって、この場合、データインテグリティを保証することはできない。 In order to guarantee data integrity (data integrity), it is necessary to terminate data transfer between host channel adapters abnormally when a failure occurs. In the failure blocking mode, the host channel adapter is blocked when a failure occurs, so that data transfer stops and terminates abnormally, ensuring data integrity. However, since other PCI devices connected to the PCI switch are also blocked, the influence range of the failure becomes large. Therefore, in the failure blockage mode, it is a problem to reduce the range in which the failure affects. On the other hand, in the failure notification mode, the PCI device connected to the PCI switch is not blocked, and the influence and range of the failure are limited. However, the transaction in the middle of transfer between the host channel adapters is discarded. However, since the requester that requested the data transfer cannot detect the abnormality, the data transfer is treated as being normally completed. Therefore, in this case, data integrity cannot be guaranteed.
PCIバス障害によるシステムダウンの発生を抑止するため、特開2005−215809号公報には、プロセッサと、主記憶と、複数の入出力デバイスとを接続する入出力バスを制御するバスコントローラを含み、OS(Operating System)にて制御されるコンピュータシステムが開示されている。バス信号制御部は、PCIバスプロトコルに従ってPCIバス上のPCIデバイスとのトランザクション制御を行う。バス信号制御部は、バス障害検出時にバス障害インジケータをセットしてPCIバスを縮退状態として扱い、PCIデバイスへの指示要求を受付ける。コンフィグレーション部は、バス障害インジケータを持ち、コンフィグレーションレジスタを更新する。そして、コンフィグレーション部は、リプライトランザクションをインバウンドコントローラ部に送信する。アービトレーション部は、PCIバスの調停を行い、バス縮退状態時にPCIデバイスからのバス使用要求をマスクする。 In order to suppress the occurrence of a system down due to a PCI bus failure, Japanese Patent Application Laid-Open No. 2005-215809 includes a bus controller that controls an input / output bus that connects a processor, a main memory, and a plurality of input / output devices. A computer system controlled by an OS (Operating System) is disclosed. The bus signal control unit performs transaction control with the PCI device on the PCI bus according to the PCI bus protocol. The bus signal control unit sets a bus failure indicator when a bus failure is detected, treats the PCI bus as a degenerate state, and accepts an instruction request to the PCI device. The configuration unit has a bus failure indicator and updates the configuration register. Then, the configuration unit transmits a reply transaction to the inbound controller unit. The arbitration unit arbitrates the PCI bus and masks a bus use request from the PCI device when the bus is in a degenerated state.
特開2009−169854号公報には、周辺装置にデータ転送要求を発行するホストブリッジと、周辺装置と複数のレーンを介して接続され、ホストブリッジと周辺装置との間を中継する第1のホストバスアダプタとを有するコンピュータシステムにおいて、バス障害が発生した場合に迅速にリカバリ処理する技術が開示されている。ホストブリッジは、周辺装置との間でデータ転送が行われている間に通信エラーが発生した場合に、複数のレーンのうち正常であるレーンを使用してデータ転送における転送未完了のデータを第1のホストバスアダプタから受信する。 JP 2009-169854 A discloses a host bridge that issues a data transfer request to a peripheral device, and a first host that is connected to the peripheral device through a plurality of lanes and relays between the host bridge and the peripheral device. In a computer system having a bus adapter, a technique for quickly recovering when a bus failure occurs is disclosed. When a communication error occurs during data transfer with the peripheral device, the host bridge uses the normal lane among the plurality of lanes to transfer uncompleted data in the data transfer. 1 from the host bus adapter.
また、特開平09−325919号公報には、データの転送エラーを検出し、リクエストトランザクションに対するリプライトランザクションの正当性を高めるスプリット転送エラー監視装置が開示されている。リクエストトランザクション送信回路は、リクエストトランザクションの送信時にカウント回路をインクリメントする。リプライトランザクション受信回路は、リプライトランザクションの受信時にカウント回路をデクリメントする。カウント回路は、カウント値が負になるとエラーを中央処理装置に報告する。中央処理装置は、トランザクション情報格納バッファにリクエストトランザクション及びリプライトランザクションの情報を書込む。中央処理装置は、パリティ反転手段を用いてデータ格納バッファを偶数パリティで初期化する。そして、中央処理装置は、トランザクション情報格納バッファとデータ格納バッファとからのデータを奇数パリティでチェックする。 Japanese Patent Laid-Open No. 09-325919 discloses a split transfer error monitoring device that detects a data transfer error and increases the validity of a reply transaction for a request transaction. The request transaction transmission circuit increments the count circuit when a request transaction is transmitted. The reply transaction reception circuit decrements the count circuit when a reply transaction is received. The count circuit reports an error to the central processing unit when the count value becomes negative. The central processing unit writes request transaction and reply transaction information in the transaction information storage buffer. The central processing unit initializes the data storage buffer with even parity using parity inversion means. The central processing unit then checks the data from the transaction information storage buffer and the data storage buffer with odd parity.
図1に示されるように、対向するホストコンピュータ7A、7Bが有するホストチャネルアダプタ23A、23Bを光ケーブル30でポイント・ツー・ポイント接続したコンピュータシステムにおけるデータ転送を説明する。図2は、RDMA(Remote Direct Memory Access)によるデータ転送であるRDMA−writeの正常動作のときのシーケンス例を示す。
As shown in FIG. 1, data transfer in a computer system in which host channel adapters 23A and 23B of
ホストコンピュータ7AのCPU11Aは、RDMA−writeによるデータ転送をホストチャネルアダプタ23Aに要求する(S101)。ホストチャネルアダプタ23Aは、readトランザクションを発行し(S102)、PCIスイッチ22AおよびIOC21Aを介して主記憶メモリ12Aからデータを読み出す(S103)。ホストチャネルアダプタ23Aは、読み出したデータを対向するコンピュータ7Bのホストチャネルアダプタ23Bに光ケーブル30を介してデータ転送する(S111〜S114)。
The
データを受信したホストチャネルアダプタ23Bは、posted writeトランザクションを発行し、PCIスイッチ22B、IOC21Bを介して主記憶メモリ12Bにデータを書き込む(S121〜S124)。ここで、データを送信する場合の手順として、“posted write”と“non−posted write”がある。“posted write”は相手側からのレスポンスを必要とせず、“non−posted write”は相手側から動作完了のレスポンスを必要とする。したがって、転送速度を優先するDMA転送では“posted write”が使用される。
The
ホストチャネルアダプタ23Bは、転送されるデータの最後のposted writeトランザクションを発行すると、readトランザクションを発行して(S141)、最後に書き込んだデータを読み出して主記憶メモリ12Bが書き込み動作を完了したことを待ち合わせる。Readトランザクションに対して主記憶メモリ12Bからリプライトランザクションが返却されると(S142)、ホストチャネルアダプタ23Bは、ホストコンピュータ7Aのホストチャネルアダプタ23Aに対して正常終了を示す終了フラグを転送する(S144)。
When the
終了フラグを受信したホストチャネルアダプタ23Aは、posted writeトランザクションを発行し、主記憶メモリ12Aに正常終了を示す終了フラグを書き込む(S151)。CPU11Aは、ホストチャネルアダプタ23Aによって書き込まれる終了フラグをポーリングしてRDMA−writeの完了を待ち合わせ、読み込んだ終了フラグによって示される値に基づいて、正常終了・異常終了の判定を行う(S152)。ここでは、全てのデータが主記憶メモリ12Bに書き込まれているため、CPU11Aは、正常終了と認識する。
Receiving the end flag, the
次に、PCIスイッチ22Bにおいて障害発生を検知した場合を説明する。図3には、障害による影響を拡散させないように、障害発生時にPCIスイッチ22Bおよびホストチャネルアダプタ23Bを閉塞する障害閉塞モードのシーケンスが示される。
Next, a case where a failure occurrence is detected in the
ホストチャネルアダプタ23Bがposted writeトランザクションを処理中にPCIスイッチ22Bにおいて障害が発生すると(S123)、PCIスイッチ22Bは障害通知をCPU11Bに報告して閉塞する(S137)。PCIスイッチ22Bが閉塞するため、PCIスイッチ22Bに接続されているホストチャネルアダプタ23B、その他のPCIデバイス24Bも閉塞状態になる(S129)。ホストチャネルアダプタ23Bが閉塞状態にあるため、ホストチャネルアダプタ23Aとホストチャネルアダプタ23Bとのリンクは切れる。ホストチャネルアダプタ23Aは、このリンクダウンを検知し(S155)、CPU11Aに通知する(S156)。通知を受けたCPU11Aは、要求したデータ転送が異常終了したと判断する。
If a failure occurs in the
このように、障害閉塞モードでは、データ転送を要求したCPU11Aは、ホストチャネルアダプタ23Aから報告を受けてデータ転送が異常終了したことを知ることができるため、データインテグリティは保証できる。しかし、ホストコンピュータ7Bに搭載される他のPCIデバイス24も閉塞するため、正常に動作している他の機能も閉塞することになり影響が大きい。
As described above, in the failure blocking mode, the
一方、障害通知モードで動作するPCIスイッチ21Bの場合、図4に示されるように動作する。ホストチャネルアダプタ23Bがposted writeトランザクションを処理中にPCIスイッチ22Bにおいて障害が発生すると(S123)、PCIスイッチ22Bは、障害通知をCPU11Bに報告し(S137)、仕掛かり中のトランザクションを破棄する。CPU11Bは障害処理を実行し、ホストチャネルアダプタ23Bに障害発生を通知する(S138)。ホストチャネルアダプタ23Bは異常終了を示す終了フラグをホストチャネルアダプタ23Aに送る(S148)。ホストチャネルアダプタ23Aは、データ転送が異常終了したことを主記憶メモリ12Aに終了フラグを書き込んでCPU11Aに報告する(S158)。CPU11Aは、データ転送が異常終了したことを知ることができる。
On the other hand, the
しかし、図4に示されるように、ホストチャネルアダプタ23BがCPU11BからPCIスイッチ21Bの異常を通知される前に、次のトランザクションが正常に終了することがある(S124、S141、S142)。データ転送の最後のデータが主記憶メモリ12Bから正常に読み出すことができれば(S142)、ホストチャネルアダプタ23Bは、データ転送が正常終了したものとしてホストチャネルアダプタ23Aに通知する(S144)。ホストチャネルアダプタ23Aは、CPU11Aに対してデータ転送の正常終了を報告し(S151)、CPU11Aは、破棄されたトランザクションがあり、一部のデータ転送が行なわれていないにもかかわらず、要求したデータ転送によって全てのデータが相手側に正常に送られたと判定する。すなわち、データインテグリティを保証することができない。
However, as shown in FIG. 4, before the
したがって、このようなシステムでは、PCIスイッチが障害閉塞モードで動作すると、接続されているPCIデバイスが全て閉塞状態になるため、デグレード範囲が大きく、システムの継続運用に影響が大きい。障害時の影響を小さくするために、PCIデバイスが閉塞しない障害通知モードでPCIスイッチを動作させると、posted writeトランザクションが破棄され、データインテグリティが保証できない場合がある。 Therefore, in such a system, when the PCI switch operates in the failure blocking mode, all connected PCI devices are blocked, so the degradation range is large and the continuous operation of the system is greatly affected. If the PCI switch is operated in the failure notification mode in which the PCI device is not blocked in order to reduce the influence at the time of failure, the posted write transaction may be discarded and data integrity may not be guaranteed.
本発明の目的は、データインテグリティを保証し、障害時の影響範囲を小さくするデータ通信装置、データ通信方法、コンピュータシステムを提供することにある。 An object of the present invention is to provide a data communication apparatus, a data communication method, and a computer system that guarantee data integrity and reduce the range of influence upon failure.
本発明の観点では、データ転送装置は、入出力コントローラ(IOC)と、ホストチャネルアダプタ(HCA)と、スイッチとを具備する。入出力コントローラは、所定のposted writeトランザクションを受信すると、リプライトランザクションを返送する。ホストチャネルアダプタは、リプライトランザクションの返送が義務付けられていないposted writeトランザクションを発行したのち、入出力コントローラから所定の数のリプライトランザクションを受信するまでリプライトランザクションを待ち合わせる。スイッチは、入出力コントローラと前記ホストチャネルアダプタとの間に設けられ、トランザクションを中継する。スイッチは、トランザクションの中継時に発生した障害をCPUに通知し、ホストチャネルアダプタはCPUから障害発生の通知を受信したとき、ホストチャネルアダプタとポイント・ツー・ポイント接続されている対向するホストチャネルアダプタにデータ転送が異常終了したことを通知する。 In an aspect of the present invention, the data transfer device includes an input / output controller (IOC), a host channel adapter (HCA), and a switch. When the input / output controller receives a predetermined posted write transaction, it returns a reply transaction. The host channel adapter issues a posted write transaction that is not required to return a reply transaction, and then waits for a reply transaction until a predetermined number of reply transactions are received from the input / output controller. The switch is provided between the input / output controller and the host channel adapter, and relays transactions. The switch notifies the CPU of the failure that occurred during the relaying of the transaction, and when the host channel adapter receives the notification of the failure occurrence from the CPU, the host channel adapter communicates with the opposite host channel adapter that is point-to-point connected to the host channel adapter. Notifies that the data transfer has ended abnormally.
本発明の他の観点では、コンピュータシステムは、上記のデータ転送装置を備える複数のコンピュータを含み、対向するコンピュータ間でデータ転送装置を介してデータの授受を行なう。 In another aspect of the present invention, a computer system includes a plurality of computers including the above-described data transfer device, and exchanges data between the opposing computers via the data transfer device.
また、本発明の他の観点では、データ転送方法は、ホストチャネルアダプタから所定のposted writeトランザクションを入出力コントローラに対してスイッチを介して発行するステップと、所定のposted writeトランザクションを受けた入出力コントローラからホストチャネルアダプタに対して所定のリプライトランザクションを発行するステップと、ホストチャネルアダプタがposted writeトランザクションを発行した後、所定のリプライトランザクションを受信するまで待ち合わせるステップと、スイッチがトランザクションを中継するときに検出した障害をCPUに通知するステップと、障害に基づいてCPUから通知される障害通知を受信したときにホストチャネルアダプタからポイント・ツー・ポイント接続されている対向するホストチャネルアダプタに対してデータ転送が異常終了したことを通知するステップとを具備する。 In another aspect of the present invention, a data transfer method includes a step of issuing a predetermined posted write transaction from a host channel adapter to an input / output controller via a switch, and an input / output receiving the predetermined posted write transaction. and issuing a predetermined reply transaction to the host channel adapter from the controller, after the host channel adapter issues a p osted write transaction, a step for waiting until it receives a predetermined reply transaction, the switch relays transactions A step of notifying the CPU of the failure detected at times, and a point-to-point from the host channel adapter when a failure notification notified from the CPU based on the failure is received. A step of notifying the opposite host channel adapter connected in a point that the data transfer has ended abnormally.
本発明によれば、データインテグリティを保証し、障害時の影響範囲を小さくするデータ通信装置、データ通信方法、コンピュータシステムを提供することができる。 According to the present invention, it is possible to provide a data communication device, a data communication method, and a computer system that guarantee data integrity and reduce the influence range at the time of failure.
本発明は、PCI express switch(以下PCIスイッチ)のポートにホストチャネルアダプタ(HCA)を接続し、二つのホストコンピュータ間をポイント・ツー・ポイント接続したコンピュータシステムに関するものである。PCIスイッチは、“障害閉塞モード”と、“障害通知モード”との2種類の動作モードを有する。障害閉塞モードでは、PCIスイッチは障害時に閉塞する。障害通知モードでは、PCIスイッチは閉塞せずに処理中のトランザクションを破棄してコントローラに対して障害通知を行い、後続のトランザクションを継続処理する。 The present invention relates to a computer system in which a host channel adapter (HCA) is connected to a port of a PCI express switch (hereinafter referred to as a PCI switch) and a point-to-point connection is made between two host computers. The PCI switch has two types of operation modes, a “failure blocking mode” and a “failure notification mode”. In the failure blocking mode, the PCI switch is blocked when a failure occurs. In the failure notification mode, the PCI switch does not block, discards the transaction being processed, notifies the controller of the failure, and continues the subsequent transaction.
本発明では、PCIスイッチ障害時にPCIスイッチが閉塞せず、かつ、データインテグリティ(データ完全性)を保証するホストコンピュータ間データ転送方式を提供する。これによって、PCIスイッチ障害時のデグレード影響範囲を小さくする。データインテグリティを保証するためには、障害発生時にホストチャネルアダプタ間のデータ転送を異常終了させる必要がある。障害閉塞モードでは、障害発生時にホストチャネルアダプタが閉塞し、データ転送が途中で停止して異常終了するため、データインテグリティは保証できる。しかし、PCIスイッチに接続されている他のPCIデバイスも閉塞してしまうため、障害の影響範囲が大きくなる。 The present invention provides a data transfer method between host computers that ensures that data integrity (data integrity) does not occur when a PCI switch fails. As a result, the degradation influence range at the time of PCI switch failure is reduced. In order to guarantee data integrity, it is necessary to terminate data transfer between host channel adapters abnormally when a failure occurs. In the failure blocking mode, the host channel adapter is blocked when a failure occurs, and data transfer stops and terminates abnormally, thus ensuring data integrity. However, since other PCI devices connected to the PCI switch are also blocked, the influence range of the failure becomes large.
一方、障害通知モードではPCIスイッチに接続されているPCIデバイスは閉塞しないものの、ホストチャネルアダプタ間のデータ転送中のあるトランザクションが破棄され、データ転送のリクエスタが異常を検出できない。したがって、データ転送は正常終了したと誤認識され、データインテグリティを保証できない。本発明では、PCIスイッチは障害通知モードで動作し、データインテグリティを保証する転送方式を提供する。 On the other hand, in the failure notification mode, the PCI device connected to the PCI switch is not blocked, but a transaction during data transfer between the host channel adapters is discarded, and the data transfer requester cannot detect an abnormality. Therefore, the data transfer is mistakenly recognized as being normally completed, and data integrity cannot be guaranteed. In the present invention, the PCI switch operates in a failure notification mode and provides a transfer method that guarantees data integrity.
ホストチャネルアダプタからのトランザクションがPCIスイッチを経由し、その先の入出力コントローラ(IOC)まで到達すると、入出力コントローラはホストチャネルアダプタに対するリプライトランザクションを新たに発行する。ホストチャネルアダプタはトランザクション数とリプライトランザクション数とを監視する。トランザクション数とリプライトランザクション数が一致した場合、ホストチャネルアダプタは正常終了と判断し、リプライトランザクション数が少ない場合にはトランザクション未達と判断して後続のトランザクションを停止する。これにより、障害発生時に一連のデータ転送を異常終了させることができ、データインテグリティを保証することができる。このように、本発明では、PCIスイッチは障害時に障害通知モードで動作し、ホストチャネルアダプタと入出力コントローラとの間でトランザクションの破棄を監視することにより、データインテグリティを保証しつつ、障害発生時のデグレード影響範囲を小さくすることができる。 When a transaction from the host channel adapter reaches the input / output controller (IOC) ahead through the PCI switch, the input / output controller issues a new reply transaction to the host channel adapter. The host channel adapter monitors the number of transactions and the number of reply transactions. If the number of transactions and the number of reply transactions match, the host channel adapter determines that the transaction has ended normally, and if the number of reply transactions is small, determines that the transaction has not been reached and stops the subsequent transaction. Thus, a series of data transfer can be terminated abnormally when a failure occurs, and data integrity can be guaranteed. As described above, in the present invention, the PCI switch operates in the failure notification mode in the event of a failure, and monitors the discarding of transactions between the host channel adapter and the input / output controller, thereby guaranteeing data integrity and when a failure occurs. It is possible to reduce the degradation influence range.
図面を参照して本発明の実施の形態を説明する。 Embodiments of the present invention will be described with reference to the drawings.
(第1の実施の形態)
図1は、本発明の実施の形態に係るコンピュータシステムの構成を示す図である。本発明の実施の形態に係るコンピュータシステムは、光ケーブル30によってポイント・ツー・ポイント接続されるホストコンピュータ7A、7Bを具備する。ホストコンピュータ7Aとホストコンピュータ7Bとは、光ケーブル30を介して互いにデータを授受する。ホストコンピュータ7A、7Bは、同じように構成されるため、それぞれ対応する部分には同じ符号を付与し、ホストコンピュータ7Aに含まれるものには“A”、ホストコンピュータ7Bに含まれるものには“B”を符号の末尾に付加して区別する。
(First embodiment)
FIG. 1 is a diagram showing a configuration of a computer system according to an embodiment of the present invention. The computer system according to the embodiment of the present invention includes
ホストコンピュータ7は、データ処理の中枢であるCPU部を搭載するCPUボード10と、入出力を担うIO部を搭載するIOPボード20とを具備する。CPUボード10は、CPU11と、主記憶メモリ(MM)12と、メモリ制御部13と、入出力制御部14とを備える。IOPボード20は、入出力コントローラ(IOC)21、PCIスイッチ(SW)22、ホストチャネルアダプタ(HCA)23、その他のPCIデバイス(DEV)24を備える。 The host computer 7 includes a CPU board 10 on which a CPU unit that is the center of data processing is mounted, and an IOP board 20 on which an IO unit that performs input / output is mounted. The CPU board 10 includes a CPU 11, a main memory (MM) 12, a memory control unit 13, and an input / output control unit 14. The IOP board 20 includes an input / output controller (IOC) 21, a PCI switch (SW) 22, a host channel adapter (HCA) 23, and other PCI devices (DEV) 24.
CPU11および入出力制御部14は、メモリ制御部13を介して主記憶メモリ12からデータを読み出し、主記憶メモリ12へデータを書き込む。CPU11は、主記憶メモリ12に格納されるプログラムを読み出して実行する。入出力制御部14は、IOPボード20とCPUボード10とを接続し、IOPボード20からのトランザクションやIOPボード20へのトランザクションを制御する。メモリ制御部13は、CPU11および入出力制御部14からの主記憶メモリ12への書き込みおよび読み出し要求を処理する。 The CPU 11 and the input / output control unit 14 read data from the main storage memory 12 via the memory control unit 13 and write data to the main storage memory 12. The CPU 11 reads and executes a program stored in the main memory 12. The input / output control unit 14 connects the IOP board 20 and the CPU board 10 and controls transactions from the IOP board 20 and transactions to the IOP board 20. The memory control unit 13 processes write and read requests to the main memory 12 from the CPU 11 and the input / output control unit 14.
PCIスイッチ22は、IOC21、ホストチャネルアダプタ23、その他のPCIデバイス24を接続し、PCI expressにおけるパケットを送り先に転送するスイッチング装置である。IOC21は、PCIスイッチ22および入出力制御部14に接続され、ホストチャネルアダプタ23、その他のPCIデバイス24からの要求を入出力制御部14へ送り、入出力制御部14からの要求をホストチャネルアダプタ23、その他のPCIデバイス24へ送る。ホストチャネルアダプタ23は、PCIスイッチ22に接続されるPCIデバイスであり、光ケーブル30を介して対向するホストコンピュータのホストチャネルアダプタ23との間で主記憶メモリ12に対するデータ転送を行う。
The PCI switch 22 is a switching device that connects the IOC 21, the host channel adapter 23, and other PCI devices 24 to transfer a PCI express packet to a destination. The IOC 21 is connected to the PCI switch 22 and the input / output control unit 14, sends requests from the host channel adapter 23 and other PCI devices 24 to the input / output control unit 14, and sends requests from the input / output control unit 14 to the host channel adapter. 23, to other PCI device 24. The host channel adapter 23 is a PCI device connected to the PCI switch 22, and performs data transfer to the main storage memory 12 with the host channel adapter 23 of the opposing host computer via the
ホストコンピュータ7Aからホストコンピュータ7Bに対して、RDMA(Remote Direct Memory Access)によってデータ転送を行う場合の動作を説明する。ここで、RDMA−writeは、リクエスト元のコンピュータの主記憶メモリに格納されるデータを、リクエスト先のコンピュータの主記憶メモリにCPUの介在なしに書き込む動作である。
An operation when data transfer is performed from the
図5に、データ転送が正常に行われる場合のシーケンスを示す。 FIG. 5 shows a sequence when data transfer is normally performed.
ホストコンピュータ7Aにおいて、CPU11Aは、RDMA−writeリクエストトランザクションを発行してホストチャネルアダプタ23AにRDMAによるデータ転送を指示する(S101)。その後、CPU11Aは、主記憶メモリ12Aに格納される終了フラグがデータ転送の終了を示すまでポーリングする。
In the
ホストチャネルアダプタ23Aは、Readトランザクションを発行して(S102)、主記憶メモリ12Aからデータを読み出す(S103)。ホストチャネルアダプタ23Aは、光ケーブル30を介して対向するホストコンピュータ7Bのホストチャネルアダプタ23Bに読み出したデータを送出する(S111〜S114)。
The
データを受信したホストチャネルアダプタ23Bは、受信したデータを所定の転送単位毎にIOC21Bに送るため、posted writeトランザクションを発行する。このposted writeトランザクションは、PCIスイッチ22Bを介してIOC21Bに到達し、転送されるデータは、入出力制御部148Bを介してメモリ制御部13Bにより主記憶メモリ12Bに書き込まれる(S121〜S124)。このとき、IOC21Bは、posted writeトランザクションを検出すると、対応するカウント用のリプライトランザクションをホストチャネルアダプタ23Bに対して発行する(S131〜S134)。
The
ホストチャネルアダプタ23Bは、データ転送における最後のposted writeトランザクションを発行すると(S124)、最後に転送されたデータの書き込み処理が完了したことを確認するためにReadトランザクションを発行する(S141)。ホストチャネルアダプタ23Bは、これまで発行したposted wirteトランザクションおよびReadトランザクションに対する全てのリプライトランザクションが応答されるまで待ち合わせる(S143)。すなわち、ホストチャネルアダプタ23Bは、posted writeトランザクションの発行数、それらに対するカウント用のリプライトランザクションの受信数をカウントし、発行数と受信数とが一致するまで待ち合わせる。図5に示されるシーケンスでは、Readトランザクション(S141)が発行された後、リプライトランザクションを受信する(S134)。これでposted writeトランザクションに対するリプライトランザクションは全て受信したが、Readトランザクションに対する応答はまだ受信されていないため、待ち合わせを続ける。Readトランザクションに対しては、主記憶メモリ12B(メモリ制御部13B/入出力制御部14B)からリプライトランザクションが返却される(S142)。これを受信してホストチャネルアダプタ23Bは、対向するホストコンピュータ7Aのホストチャネルアダプタ23Aに正常終了を示す終了フラグを転送する(S144)。
When the
終了フラグを受信したホストチャネルアダプタ23Aは、posted writeトランザクションを発行し、RDMAによるデータ転送が正常終了したことを示す終了フラグを主記憶メモリ12Aに書き込む(S151)。CPU11Aは、終了フラグをポーリングしてRDMA−writeリクエストトランザクションの終了を待ち合わせている(S152)。したがって、ホストチャネルアダプタ23Aによって終了フラグが主記憶メモリ12Aに書き込まれると、CPU11Aは、RDMA−writeリクエストトランザクションの終了を知ることができる。CPU11Aは、終了フラグによって示される値に基づいて、データ転送が正常終了したのか異常終了したのかを判定する。図5に示される場合、CPU11Aは正常終了と判定する。
Receiving the end flag, the
このようなシーケンスでRDMA−writeトランザクションが実行されている途中で、PCIスイッチ22Bにおいて一時的な障害が発生した場合のシーケンスが、図6に示される。ホストチャネルアダプタ23Bが、3回目のデータ転送をホストチャネルアダプタ23Aから受信するまでは(S113)、図5に示されるシーケンスと同じである。
FIG. 6 shows a sequence in the case where a temporary failure occurs in the
3回目のデータ転送をホストチャネルアダプタ23Aから受信したホストチャネルアダプタ23Bは、posted writeトランザクションを発行する(S123)。このposted writeトランザクションは、PCIスイッチ22Bにおいて発生した障害により破棄される。すなわち、PCIスイッチ22Bは、障害発生を検知すると、障害通知をCPU11Bに報告し(S137)、仕掛かり中のトランザクションを破棄する。したがって、IOC21Bにはこのposted writeトランザクションが到達せず、IOC21Bは、リプライトランザクションを発行しない。ここまでに発行されたposted writeトランザクションに対するリプライトランザクションはIOC21Bからホストチャネルアダプタ23Bに到達しているので、この時点で、発行されたposted writeトランザクションの数と、それに対応するリプライトランザクションの数とが不一致となる。
The
その後、ホストチャネルアダプタ23Aから最後のデータを受信したホストチャネルアダプタ23Bは、posted writeトランザクションを発行し(S124)、Readトランザクションを発行する(S141)。ホストチャネルアダプタ23Bは、これまで発行したposted wirteトランザクションおよびReadトランザクションに対する全てのリプライトランザクションが応答されるまで待ち合わせる(S143)。
Thereafter, the
最後に発行したposted writeトランザクション(S124)と、Readトランザクション(S141)とに対するリプライトランザクション(S134、S142)はホストチャネルアダプタ23Bに届くが、破棄されたposted writeトランザクション(S123)に対するリプライトランザクションは発行されず、ホストチャネルアダプタ23Bは待ち合わせを続ける。
The reply transaction (S134, S142) for the last posted write transaction (S124) and the Read transaction (S141) reaches the
一方、障害通知を受けたCPU11Bは、障害処理を行い、PCIスイッチ22Bにおいて障害があったことをホストチャネルアダプタ23Bに通知する(S138)。すなわち、posted writeトランザクションの数とリプライトランザクションの数が不一致の場合、ホストチャネルアダプタ23Bは一致するまで待ち合わせるが、その間にCPU11BがPCIスイッチの障害を認識して障害処理を行ない、ホストチャネルアダプタ23Bに障害を通知することになる。
On the other hand, the
障害通知を受けたホストチャネルアダプタ23Bは、データ転送が異常終了したことを示す終了フラグを、対向するホストコンピュータ7Aのデータチャネルアダプタ23Aに送る(S148)。
Receiving the failure notification, the
異常終了を示す終了フラグを受信したホストチャネルアダプタ23Aは、posted writeトランザクションを発行して、主記憶メモリ12Aに終了フラグを書き込む(S158)。CPU11Aは、ポーリングによって終了フラグを取り込み(S159)、RDMA−writeリクエストトランザクションが異常終了したことを認識する。したがって、CPU11Aは、転送したデータの一部がホストコンピュータ7Bに未到達であることを認識し、データインテグリティは保証される。
The
このように、本発明では、障害発生時に閉塞を行わずに障害通知のみ行うPCIスイッチをデータ転送経路に有するコンピュータシステムにおいて、リクエストトランザクションの待ち合わせによりデータインテグリティを保証することができる。すなわち、PCIスイッチを介してposted writeトランザクションを発行する発行元であるホストチャネルアダプタ(リクエスタ)が、発行先であるIOCからposted writeトランザクションに対するリクエストトランザクションを待ち合わせする。これにより、障害通知に応答して起動される障害処理によって、PCIスイッチ障害においてトランザクション破棄が行われたことを認識することができ、データインテグリティを保証することができる。 As described above, according to the present invention, data integrity can be ensured by waiting for a request transaction in a computer system having a PCI switch in the data transfer path that performs only failure notification without blocking when a failure occurs. In other words, a host channel adapter (requester) that is an issuer that issues a posted write transaction via the PCI switch waits for a request transaction for the posted write transaction from the IOC that is the issue destination. As a result, it is possible to recognize that a transaction has been discarded due to a failure of the PCI switch by a failure process activated in response to the failure notification, and to guarantee data integrity.
また、障害発生時に閉塞を行わずに障害通知のみ行うPCIスイッチによってデータインテグリティが保証されるため、データインテグリティを保証するためにPCIスイッチを閉塞する必要がなく、障害時の影響範囲を限定的にすることができる。 In addition, since the data integrity is guaranteed by the PCI switch that only notifies the failure without blocking when a failure occurs, it is not necessary to block the PCI switch to guarantee the data integrity, and the influence range at the time of the failure is limited. can do.
(第2の実施の形態)
図7、図8に、本発明の第2の実施の形態に係るコンピュータシステムの動作が示される。図7は、RDMA−writeリクエストトランザクションにおける正常終了する場合のシーケンスを示し、図8は異常終了する場合のシーケンスを示す。
(Second Embodiment)
7 and 8 show the operation of the computer system according to the second embodiment of the present invention. FIG. 7 shows a sequence in the case of normal termination in the RDMA-write request transaction, and FIG. 8 shows a sequence in the case of abnormal termination.
図7を参照すると、CPU11AからRDMA−writeリクエストトランザクションが発行され(S101)、ホストチャネルアダプタ23AがReadトランザクション(S102)によって主記憶メモリ12Aからデータを読み出し(S103)、ホストチャネルアダプタ23Bへデータ転送する(S111〜S114)。ここまでは、第1の実施の形態における動作と同じである。
Referring to FIG. 7, an RDMA-write request transaction is issued from the
最初のデータを受信したホストチャネルアダプタ23Bは、IOC21Bに対してposted writeトランザクションを発行し、これから始まるデータ転送のposted writeトランザクションの発行数をIOC21B内のレジスタに書き込む(S120)。ここでは、posted writeトランザクションを4回発行してデータ転送が行われるため(S121〜S124)、IOC21B内のレジスタには“4”が書き込まれる。IOC21Bは、レジスタに値が書き込まれると受信回数をクリアする。
Receiving the first data, the
一方、ホストチャネルアダプタ23Bは、posted writeトランザクションを発行し(S121〜S124)、IOC21Bを介して主記憶メモリ12Bに転送データを書き込む。所定のposted writeトランザクションを発行し終わると、ホストチャネルアダプタ23Bは、最後に書き込んだデータを読み出すためにReadトランザクションを発行する(S141)。ホストチャネルアダプタ23Bは、IOC21Bからのリプライトランザクション(S135)および主記憶メモリ12Bに対するReadトランザクションに応答するリプライトランザクション(S142)を受信するまで待ち合わせる(S143)。
On the other hand, the
IOC21Bは、posted writeトランザクションを受信するたびに受信回数をカウントアップする(S130)。受信回数がレジスタに書き込まれた値と一致すると、IOC21Bは、ホストチャネルアダプタ23Bに対してリプライトランザクションを発行する。したがって、IOC21Bは、ホストチャネルアダプタ23Bから発行されるposted writeトランザクション(S121〜S123)を受信する毎に受信回数をカウントアップする。4回目のposted writeトランザクション(S124)を受信すると、受信回数とレジスタ値とが一致し、リプライトランザクションが発行される(S135)。レジスタに設定された回数の受信があったことを確認するとよいので、受信毎のダウンカウントでもよい。
The
posted writeトランザクション(S121〜S124)を受信したIOC21Bは、リプライトランザクションを発行し(S135)、Readトランザクションに対しては、主記憶メモリ12Bからリプライトランザクションが返却される(S142)。これらのリプライトランザクションが到達すると、ホストチャネルアダプタ23Bは、ホストコンピュータ7Aのホストチャネルアダプタ23Aに対して正常終了を示す終了フラグを転送する(S144)。
The
終了フラグを受信したホストチャネルアダプタ23Aは、posted writeトランザクションを発行し、主記憶メモリ12Aに正常終了を示す終了フラグを書き込む(S151)。CPU11Aは、主記憶メモリ12Aに書き込まれる終了フラグをポーリングしてRDMA−writeの完了を待ち合わせる(S152)。終了フラグを検知したCPU11Aは、終了フラグの値に基づいて正常終了・異常終了の判定を行う。図7に示されるシーケンスでは、CPU11Aは、データ転送が正常終了したと認識する。ホストチャネルアダプタ23BがIOC21B内のレジスタにデータ転送のposted writeトランザクションの発行数を書き込むposted writeトランザクションは、複数回発行されてもよい。その場合、ホストチャネルアダプタ23Bは、readトランザクションを発行した後、データ転送のposted writeトランザクションの発行数を書き込むposted writeトランザクションの発行回数と、そのリプライトランザクションの受信数が一致するまで待ち合わせる。
Receiving the end flag, the
障害が発生した場合、図8に示されるシーケンスとなる。 When a failure occurs, the sequence is as shown in FIG.
ホストコンピュータ7Aは、ホストチャネルアダプタ23Aがホストコンピュータ7Bにデータ転送を完了するまで(〜S114)、図7に示されるシーケンスと同様の動作となる。
The
ホストコンピュータ7Bでは、ホストチャネルアダプタ23BがIOC21B内のレジスタにデータ転送にposted writeトランザクションの発行数を設定し、順次posted writeトランザクションを発行して主記憶メモリ12Bにデータを書き込む。ホストチャネルアダプタ23Bが、3回目のposted writeトランザクションを発行したとき(S123)、PCIスイッチ22Bにおいて障害発生が検知される。PCIスイッチ22Bは、CPU11Bに対して障害発生を報告し(S137)、仕掛り中のトランザクションを破棄する。
In the
IOC21Bは、レジスタに設定される回数のposted writeトランザクションを待ち合わせる(S130)。しかし、障害発生を検知したPCIスイッチ22Bが仕掛り中のトランザクションを破棄しているため、IOC21Bは、ホストチャネルアダプタ23Bから4回目のposted writeトランザクションを受信しても(S124)、受信数が不足であると判定する。したがって、IOC21Bは、リプライトランザクションを発行せずにposted writeトランザクションを待ち続ける(S130)。
The
ホストチャネルアダプタ23Bは、4回目のposted writeトランザクションを発行(S124)の後、最後に転送されたデータを確認するためにReadトランザクションを発行し(S141)、主記憶メモリ12Bに格納されるデータを読み出す(S142)。ホストチャネルアダプタ23Bは、IOC21Bからリプライトランザクションが受信されないため、待ち続ける(S143)。
After issuing the fourth posted write transaction (S124), the
一方、障害通知を受けたCPU11Bは、障害処理を行い、ホストチャネルアダプタ23Bに障害発生を通知する(S138)。障害通知を受信したホストチャネルアダプタ23Bは、posted writeトランザクションが破棄されたことを認識し、対向するホストコンピュータ7Aに対して異常終了を示す終了フラグを送る(S148)。
On the other hand, the
異常終了を示す終了フラグを受信したホストチャネルアダプタ23Aは、posted writeトランザクションを発行して、主記憶メモリ12Aに終了フラグを書き込む(S158)。CPU11Aは、ポーリングによって終了フラグを取り込み(S159)、RDMA−writeリクエストトランザクションが異常終了したことを認識する。したがって、CPU11Aは、転送したデータの一部がホストコンピュータ7Bに未到達であることを認識し、データインテグリティは保証される。
The
このように、本発明のコンピュータシステムでは、リプライトランザクションの発行を伴わずにメモリにデータを書き込むことを指示するposted writeトランザクションに対して、PCIスイッチの接続先装置(主記憶への書き込み経路の途中の装置)がリプライトランザクションを返却する。リプライトランザクションの発行を伴うnon−posted writeトランザクションを受信した主記憶メモリは、主記憶メモリへの書き込みを完了した後、リプライトランザクションを発行する。本発明では、writeトランザクションはposted writeとnon−posted writeの中間的な性質を有するトランザクションとなる。 As described above, in the computer system of the present invention, the PCI switch connection destination device (in the middle of the write path to the main memory) with respect to the posted write transaction instructing to write data to the memory without issuing the reply transaction. Device) returns a reply transaction. The main memory that has received the non-posted write transaction accompanied by the issuance of a reply transaction issues a reply transaction after completing the writing to the main memory. In the present invention, the write transaction is a transaction having an intermediate property between posted write and non-posted write.
すなわち、PCIスイッチがトランザクションを破棄する障害を検出することを目的として、主記憶メモリへの書き込み経路の途中に設けられるIOCがリプライトランザクションを返却する。このリプライトランザクションは、non−posted writeトランザクションに対するリプライトランザクションよりも早く返信される。また、CPUボード側ではリプライトランザクションを返却しないためCPUボード側のトランザクション処理の負荷が大きくならない。さらに、本発明は、CPUボード側の動作に影響せずに実施可能である。 That is, the IOC provided in the middle of the write path to the main memory returns a reply transaction for the purpose of detecting a failure in which the PCI switch discards the transaction. This reply transaction is returned earlier than the reply transaction for the non-posted write transaction. Further, since the reply transaction is not returned on the CPU board side, the transaction processing load on the CPU board side does not increase. Furthermore, the present invention can be implemented without affecting the operation on the CPU board side.
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、矛盾のない限り組み合せて実施可能である。 Although the present invention has been described with reference to the embodiments, the present invention is not limited to the above embodiments. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention. Moreover, as long as there is no contradiction, it can be implemented in combination.
7、7A、7B ホストコンピュータ
10、10A、10B CPUボード
11、11A、11B CPU
12、12A、12B 主記憶メモリ
13、13A、13B メモリ制御部
14、14A、14B I/O制御部
20、20A、20B IOPボード
21、21A、21B IOC:入出力コントローラ
22、22A、22B PCIスイッチ
23、23A、23B ホストチャネルアダプタ:HCA
24、24A、24B その他のインタフェースデバイス
30 光ケーブル
7, 7A,
12, 12A,
24, 24A, 24B
Claims (10)
前記ホストチャネルアダプタから発行された所定のposted writeトランザクションを受信すると、リプライトランザクションを返送する入出力コントローラ(IOC)と、
前記入出力コントローラと前記ホストチャネルアダプタとの間に設けられ、トランザクションを中継するスイッチと
を具備し、
前記入出力コントローラは、主記憶メモリと前記スイッチとの間に設けられ、
前記ホストチャネルアダプタは、前記主記憶メモリからのリプライトランザクションの返送が義務付けられていないposted writeトランザクションを発行したのち、前記入出力コントローラから所定の数のリプライトランザクションを受信するまで、前記入出力コントローラからのリプライトランザクションを待ち合わせ、
前記スイッチは前記トランザクションの中継時に発生した障害をCPUに通知し、
前記ホストチャネルアダプタは前記CPUから障害発生の通知を受信したとき、前記ホストチャネルアダプタとポイント・ツー・ポイント接続されている対向するホストチャネルアダプタにデータ転送が異常終了したことを通知する
データ転送装置。 A host channel adapter (HCA);
An input / output controller (IOC) that returns a reply transaction upon receiving a predetermined posted write transaction issued from the host channel adapter ;
A switch provided between the input / output controller and the host channel adapter and relaying a transaction;
Comprising
The input / output controller is provided between a main memory and the switch,
The host channel adapter issues a posted write transaction that is not obliged to return a reply transaction from the main memory , and then receives a predetermined number of reply transactions from the input / output controller. waiting for the reply transaction,
The switch notifies the CPU of a failure that occurred during relay of the transaction,
When the host channel adapter receives a notification of the occurrence of a failure from the CPU, a data transfer device that notifies the opposite host channel adapter that is point-to-point connected to the host channel adapter that the data transfer has ended abnormally .
請求項1に記載のデータ転送装置。 The data transfer device according to claim 1, wherein the switch switches transfer of packetized data of PCI express which is a serial transfer interface.
前記ホストチャネルアダプタは、前記posted writeトランザクションを発行したのち、前記主記憶メモリへのデータ書き込みを指示するposted writeトランザクションに対応する全ての前記カウント用のリプライトランザクションを受信するまで新たなトランザクションを発行せずに待ち合わせる
請求項1または請求項2に記載のデータ転送装置。 When the input / output controller receives a posted write transaction instructing to write data to the main memory storing the program executed by the CPU, it returns a reply transaction for counting,
After issuing the posted write transaction, the host channel adapter issues a new transaction until all the reply transactions for counting corresponding to the posted write transaction instructing data writing to the main memory are received. 3. The data transfer device according to claim 1, wherein the data transfer device waits without waiting.
前記ホストチャネルアダプタから発行された前記主記憶メモリへのデータ書き込みを指示するposted writeトランザクションの受信数が前記レジスタに書き込まれた数に一致するとき、カウント用のリプライトランザクションを前記ホストチャネルアダプタへ発行し、
前記ホストチャネルアダプタは、前記posted writeトランザクションを発行したのち、前記レジスタに書き込みを要求するposted writeトランザクションの発行数と、前記カウント用のリプライトランザクションの受信数とが一致するまで新たなトランザクションを発行せずに待ち合わせる
請求項1または請求項2に記載のデータ転送装置。 The I / O controller writes and holds the scheduled number of posted write transactions received from the host channel adapter instructed to write data to the main memory storing the program executed by the CPU based on the posted write transaction. With a register to
When the number of received write transactions issued from the host channel adapter for instructing data write to the main memory matches the number written to the register, a count reply transaction is issued to the host channel adapter And
After issuing the posted write transaction, the host channel adapter issues a new transaction until the number of posted write transactions that request writing to the register matches the number of received reply transactions for counting. 3. The data transfer device according to claim 1, wherein the data transfer device waits without waiting.
ポイント・ツー・ポイント接続される前記複数のコンピュータ間で前記データ転送装置を介してデータの授受を行なう
コンピュータシステム。 A plurality of computers comprising the data transfer device according to any one of claims 1 to 4,
A computer system for transferring data between the plurality of computers connected in a point-to-point manner via the data transfer device.
前記複数のコンピュータのうちの障害が発生したコンピュータにおいて前記スイッチが前記CPUに対して障害発生を通知したとき、主記憶メモリに書き込み途中の前記ホストチャネルアダプタに対して障害発生を通知し、前記主記憶メモリに書き込み途中の前記ホストチャネルアダプタはポイント・ツー・ポイント接続されている他のコンピュータの前記対向するホストチャネルアダプタに対して前記主記憶メモリへのデータ書き込みが異常終了したことを通知する
請求項5に記載のコンピュータシステム。 Each of the plurality of computers includes a CPU,
When the switch notifies the CPU of the occurrence of a failure among the plurality of computers in which a failure has occurred, the host channel adapter that is in the middle of writing to the main memory is notified of the occurrence of the failure, and the main The host channel adapter that is in the middle of writing to the storage memory notifies the opposing host channel adapter of another computer that is connected point-to-point that the data write to the main storage memory has ended abnormally. Item 6. The computer system according to Item 5.
前記所定のposted writeトランザクションを受けた前記入出力コントローラから前記ホストチャネルアダプタに対して所定のリプライトランザクションを発行するステップと、
前記ホストチャネルアダプタが前記posted writeトランザクションを発行した後、前記入出力コントローラからのリプライトランザクションを受信するまで待ち合わせるステップと、
前記スイッチがトランザクションを中継するときに検出した障害をCPUに通知するステップと、
前記障害に基づいて前記CPUから通知される障害通知を受信したときに前記ホストチャネルアダプタからポイント・ツー・ポイント接続されている対向するホストチャネルアダプタに対してデータ転送が異常終了したことを通知するステップと
を具備する
データ転送方法。 From the host channel adapter, the posted write transaction return reply transaction is not required from the main memory for input and output controller provided between the main storage memory and the switch, issued through the switch And steps to
Issuing a predetermined reply transaction to the host channel adapter from the input / output controller that has received the predetermined posted write transaction;
Waiting for a reply transaction from the I / O controller to be received after the host channel adapter has issued the posted write transaction;
Notifying the CPU of a failure detected when the switch relays a transaction;
When the failure notification notified from the CPU based on the failure is received, the host channel adapter notifies the opposite host channel adapter connected in a point-to-point manner that the data transfer has ended abnormally. A data transfer method.
請求項7に記載のデータ転送方法。 The data transfer method according to claim 7, wherein the switch switches transfer of packetized data of PCI express which is a serial transfer interface.
前記CPUが実行するプログラムを格納する主記憶メモリへのデータ書き込みを指示するposted writeトランザクションを受信するステップと、
前記主記憶メモリへのデータ書き込みを指示するposted writeトランザクションに応答してカウント用のリプライトランザクションを返送するステップと
を備え、
前記待ち合わせるステップは、前記posted writeトランザクションを発行したのち、前記主記憶メモリへのデータ書き込みを指示するposted writeトランザクションに対応する全ての前記カウント用のリプライトランザクションを受信するまで新たなトランザクションを発行せずに待ち合わせるステップを備える
請求項7または請求項8に記載のデータ転送方法。 The step of issuing the predetermined reply transaction includes:
Receiving a posted write transaction instructing data writing to a main memory storing a program executed by the CPU;
Returning a reply transaction for counting in response to a posted write transaction instructing data writing to the main memory,
In the waiting step, after issuing the posted write transaction, a new transaction is not issued until all the reply transactions for counting corresponding to the posted write transaction instructing data writing to the main memory are received. The data transfer method according to claim 7, further comprising a step of waiting for the data.
前記CPUが実行するプログラムを格納する主記憶メモリへのデータ書き込みを指示するposted writeトランザクションの受信の予定数を、前記ホストチャネルアダプタからposted writeトランザクションに基づいて前記入出力コントローラに内蔵されるレジスタに書き込むステップと、
前記ホストチャネルアダプタから発行された前記主記憶メモリへのデータ書き込みを指示するposted writeトランザクションの受信数が前記レジスタに書き込まれた数に一致するとき、カウント用のリプライトランザクションを前記ホストチャネルアダプタへ発行するステップと
を備え、
前記待ち合わせるステップは、前記posted writeトランザクションを発行したのち、前記レジスタに書き込みを要求するposted writeトランザクションの発行数と、前記カウント用のリプライトランザクションの受信数とが一致するまで新たなトランザクションを発行せずに待ち合わせる
請求項7または請求項8に記載のデータ転送方法。 The step of issuing the predetermined reply transaction includes:
The expected number of posted write transactions received for instructing data writing to the main memory storing the program executed by the CPU is stored in a register built in the input / output controller based on the posted write transaction from the host channel adapter. Writing step;
When the number of received write transactions issued from the host channel adapter for instructing data write to the main memory matches the number written to the register, a count reply transaction is issued to the host channel adapter And a step of
In the waiting step, after issuing the posted write transaction, a new transaction is not issued until the number of posted write transactions that request writing to the register matches the number of received reply transactions for counting. The data transfer method according to claim 7 or 8, wherein the data transfer method waits for.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010253120A JP5444194B2 (en) | 2010-11-11 | 2010-11-11 | Data transfer device, data transfer method, and computer system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010253120A JP5444194B2 (en) | 2010-11-11 | 2010-11-11 | Data transfer device, data transfer method, and computer system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012103975A JP2012103975A (en) | 2012-05-31 |
JP5444194B2 true JP5444194B2 (en) | 2014-03-19 |
Family
ID=46394274
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010253120A Expired - Fee Related JP5444194B2 (en) | 2010-11-11 | 2010-11-11 | Data transfer device, data transfer method, and computer system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5444194B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5541544B2 (en) * | 2012-12-14 | 2014-07-09 | エヌイーシーコンピュータテクノ株式会社 | Computer apparatus, data transfer method, and program |
WO2016203565A1 (en) * | 2015-06-17 | 2016-12-22 | 株式会社日立製作所 | Computer system and control method |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS58195914A (en) * | 1982-05-12 | 1983-11-15 | Hitachi Ltd | Data transfer system |
JPH02220157A (en) * | 1989-02-22 | 1990-09-03 | Toshiba Corp | Data transfer device |
JPH09325919A (en) * | 1996-06-06 | 1997-12-16 | Nec Eng Ltd | Split transfer error monitoring device |
JP3503471B2 (en) * | 1998-05-13 | 2004-03-08 | 三菱電機株式会社 | Data distribution device |
JP4405277B2 (en) * | 2004-02-16 | 2010-01-27 | 株式会社日立製作所 | Disk controller |
JP5186779B2 (en) * | 2007-03-01 | 2013-04-24 | 日本電気株式会社 | Computer system, host computer |
JP5112246B2 (en) * | 2008-10-09 | 2013-01-09 | 株式会社日立製作所 | Storage system and communication method |
US8161221B2 (en) * | 2008-11-25 | 2012-04-17 | Hitachi, Ltd. | Storage system provided with function for detecting write completion |
-
2010
- 2010-11-11 JP JP2010253120A patent/JP5444194B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012103975A (en) | 2012-05-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9665456B2 (en) | Apparatus and method for identifying a cause of an error occurring in a network connecting devices within an information processing apparatus | |
US7827325B2 (en) | Device, system, and method of speculative packet transmission | |
JP4658122B2 (en) | DMA controller, node, data transfer control method, and program | |
JP6379905B2 (en) | Control device and control method | |
US7774638B1 (en) | Uncorrectable data error containment systems and methods | |
CN104714905A (en) | Method and system for performing a failover operation from the first adapter to the second adapter | |
JP4369470B2 (en) | Data relay apparatus, storage apparatus, and response delay monitoring method | |
US7631226B2 (en) | Computer system, bus controller, and bus fault handling method used in the same computer system and bus controller | |
JP2005332250A (en) | Data processor and flow control method | |
GB2491438A (en) | Fibre channel input/output data routing system and method | |
EP2157723B1 (en) | Data retransmission method and system | |
JP2020021313A (en) | Data processing device and diagnostic method | |
JP5151500B2 (en) | Computer system, failure processing method, and failure processing program | |
US10459791B2 (en) | Storage device having error communication logical ports | |
JP5444194B2 (en) | Data transfer device, data transfer method, and computer system | |
JP2009223584A (en) | Computer system and bus-controlling device | |
JP2016126409A (en) | Information processing device, information processing system and communication device | |
JP4572138B2 (en) | Server apparatus, server system, and system switching method in server system | |
US20080310297A1 (en) | Error control apparatus | |
JP5907099B2 (en) | I / O processing device, address validity verification method, and address validity verification program | |
JP2009104391A (en) | Memory duplex system and information processing apparatus | |
JP5182417B2 (en) | Transmission data error checking device and method | |
JP2011040965A (en) | Data-link layer processing circuit, and communication circuit | |
JP2023145216A (en) | Communication control apparatus and communication method | |
US20060140122A1 (en) | Link retry per virtual channel |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130523 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130528 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130729 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130820 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131125 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5444194 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |