JP4492035B2 - データ処理装置 - Google Patents
データ処理装置 Download PDFInfo
- Publication number
- JP4492035B2 JP4492035B2 JP2003115621A JP2003115621A JP4492035B2 JP 4492035 B2 JP4492035 B2 JP 4492035B2 JP 2003115621 A JP2003115621 A JP 2003115621A JP 2003115621 A JP2003115621 A JP 2003115621A JP 4492035 B2 JP4492035 B2 JP 4492035B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- communication error
- packet
- bridges
- synchronization signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
- G06F13/40—Bus structure
- G06F13/4004—Coupling between buses
- G06F13/4027—Coupling between buses using bus bridges
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1415—Saving, restoring, recovering or retrying at system level
- G06F11/1443—Transmit or communication errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/1629—Error detection by comparing the output of redundant processing systems
- G06F11/1641—Error detection by comparing the output of redundant processing systems where the comparison is not performed by the redundant processing components
- G06F11/1645—Error detection by comparing the output of redundant processing systems where the comparison is not performed by the redundant processing components and the comparison itself uses redundant hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F2213/0026—PCI express
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Communication Control (AREA)
- Retry When Errors Occur (AREA)
- Hardware Redundancy (AREA)
- Multi Processors (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、同一のデータを並列して処理するデータ処理装置に関する。
【０００２】
【従来の技術】
データ処理を実行するコンピュータシステムとして、既存のコンポーネントを流用して、冗長化された構成のフォールトトレラントコンピュータシステムがある（例えば、特許文献１参照）。このコンピュータシステムでは、ロックステップ方式が採用されている。
【０００３】
このロックステップ方式とは、冗長化構成の複数のプロセッサを備え、複数のプロセッサが同一のデータを同期して並列処理し、複数のプロセッサからの出力を比較してエラーを検出すると、そのエラーを修復するようにした方式である。
【０００４】
また、近年のコンピュータシステムにおいては、プロセッサとＩ／Ｏシステムとの間の接続には、PCI-Express、Hyper-Transport（登録商標）、InfiniBand（登録商標）等のような高速でデータの送受信を行える高速シリアルリンク方式が採用されつつある。
【０００５】
【特許文献１】
特開平９−１２８３４９号公報（第５−７頁、図１）
【０００６】
【発明が解決しようとする課題】
しかし、従来の冗長構成のコンピュータシステムにおいて、このような高速のデータ送受信方式を採用することにより、データの送受信速度が速くなると、複数のプロセッサが処理するデータの同一性を保証することが難しくなり、通信エラーも生じやすくなる。
【０００７】
プロセッサとＩ／Ｏシステムとの間でデータを送受信するインタフェース部は、通信エラーを検出すると、それぞれ、異なるタイミングでデータの再送信を要求してしまう。各インタフェース部が、データの再送信を要求すると、各プロセッサでの処理のタイミングや順序にずれが生じ、ロックステップ方式を維持できなくなり、複数のプロセッサが同一のデータ処理を同期して行うことが難しくなる。
【０００８】
また、このようなコンピュータシステムにおいては、通信線の配線長によってデータ遅延が生じやすい。データ遅延が生じて複数のプロセッサの処理タイミングがずれると、同じように複数のプロセッサが同一のデータ処理を同期して行うことが難しくなる。このため、等長配線を厳密に行わなければならず、システムの筐体構造やボード設計、ボード構成の自由度にも大きな制約が生じることになる。
【０００９】
本発明は、このような従来の問題点に鑑みてなされたもので、同一のデータ処理を同期して行うことが可能なデータ処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
この目的を達成するため、本発明の第１の観点に係るデータ処理装置は、
クロック信号を分周して同期信号を生成する分周器と、
データ長が、前記分周器が生成した前記同期信号の１周期以内で送信可能なデータよりも短い同一のデータを前記同期信号の周期毎に同一のデータ送信元から受信する複数の受信インタフェース部と、
前記各受信インタフェース部が前記同期信号の周期毎に受信した同一のデータの処理を、前記クロック信号に同期してそれぞれ実行する複数の演算部と、を備えたものである。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態に係るデータ処理装置を図面を参照して説明する。尚、本実施の形態に係るデータ処理装置を、冗長構成を有するコンピュータシステムとして説明する。
本実施の形態に係るコンピュータシステムの構成を図１に示す。
本実施の形態に係るコンピュータシステムは、冗長化構成の複数のプロセッサを備え、複数のプロセッサが同一のデータを同期して並列処理するロックステップ方式に従って動作するフォールトトレラントコンピュータシステムであり、サブシステム１、２を備えて構成される。
【００１８】
サブシステム１は、演算システム１１と、Ｉ／Ｏシステム１２と、を備えて構成される。サブシステム２は、演算システム２１と、Ｉ／Ｏシステム２２と、を備えて構成される。
【００１９】
演算システム１１，２１には、同期した周波数１６６ＭＨｚのクロック信号ＣＬＫが供給される。このように、演算システム１１，２１に、同期したクロック信号ＣＬＫが供給されることにより、サブシステム１，２は、ロックステップ方式に従って、同一の処理を同期して同時に実行する。
【００２０】
サブシステム１，２の間には、分周器３１が接続される。分周器３１は、ＦＳＢのクロック信号ＣＬＫが供給されて、このクロック信号ＣＬＫを分周するものであり、クロック信号ＣＬＫを分周して同期信号Ｓ１を生成する。
【００２１】
分周器３１は、生成した同期信号Ｓ１を演算システム１１のメモリブリッジ１６、演算システム２１のメモリブリッジ２６、Ｉ／Ｏシステム１２のＩ／Ｏブリッジ１８、Ｉ／Ｏシステム２２のＩ／Ｏブリッジ２８に、それぞれ、供給する。
【００２２】
尚、本実施の形態では、データの送受信に、PCI-Expressインタフェースを用いるものとする。PCI-Expressインタフェースでは、パラレルバスで生ずる信号線と信号線との間でのデータのずれ（スキュー）を防止するため、シリアルリンクが採用されている。演算システム１１，２１とＩ／Ｏシステム１２，２２との間もPCI-Expressインタフェースに従って接続される。
【００２３】
分周器３１は、同期信号Ｓ１の１周期が、2.5Gbps/laneのPCI-Expressインタフェースの２４シンボルタイムに相当するように、クロック信号ＣＬＫの周波数１６６ＭＨｚを１／１６の周波数１０．４ＭＨｚに分周する。
【００２４】
PCI-Expressインタフェースでは、演算システム１１，２１、Ｉ／Ｏシステム１２，２２といったデバイスは、１対１で接続される。差動信号を用いてデータを伝送する場合、リンクには、片方向に２本、双方向で合計４本の信号線が用いられる。この４本の信号線の組は、レーンと呼ばれるものである。
【００２５】
また、１シンボルタイムとは、PCI-Expressに従って、１レーンのデータを８Ｂ／１０Ｂエンコーディング処理した後の１バイトの有効データを送信するために必要な時間をいう。
【００２６】
同期信号Ｓ１の周波数が１０．４ＭＨｚになることにより、Ｉ／Ｏブリッジ１８，２８、メモリブリッジ１６，２６は、互いに、同期信号Ｓ１の１周期で、１レーンあたり２４バイトの有効データを送信することができる。
【００２７】
演算システム１１は、プロセッサ１３、１４と、主記憶装置１５と、メモリブリッジ１６と、を備えて構成される。また、演算システム２１は、プロセッサ２３、２４と、主記憶装置２５と、メモリブリッジ２６と、を備えて構成される。
【００２８】
プロセッサ１３，１４，２３，２４は、演算処理を実行するものである。主記憶装置１５，２５は、データ等を記憶するものである。メモリブリッジ１６とプロセッサ１３，１４、メモリブリッジ２６とプロセッサ２３，２４とは、それぞれ、フロントサイドバス(ＦＳＢ）を介して接続され、クロック信号ＣＬＫに同期して動作する。
【００２９】
メモリブリッジ１６，２６は、Ｉ／Ｏブリッジ１８，２８とデータの送受信を行うものである。また、メモリブリッジ１６，２６は、通信エラー信号Ｓ２を相互に送受信する。この通信エラー信号Ｓ２は、メモリブリッジ１６，２６との間で、通信エラーの情報を共有して、連携してエラー処理を行うための信号であり、オープン・ドレイン信号として送受信される。尚、メモリブリッジ１６，２６の詳細な構成については、後述する。
【００３０】
Ｉ／Ｏシステム１２は、Ｉ／Ｏデバイス１７と、Ｉ／Ｏブリッジ１８と、コンフィギュレーションレジスタ１９と、を備えて構成される。Ｉ／Ｏシステム２２は、Ｉ／Ｏデバイス２７と、Ｉ／Ｏブリッジ２８と、コンフィギュレーションレジスタ２９と、を備えて構成される。
【００３１】
Ｉ／Ｏデバイス１７，２７は、それぞれ、Ｉ／Ｏブリッジ１８，２８との間でデータの送受信を行うものである。
【００３２】
Ｉ／Ｏブリッジ１８、２８は、それぞれ、Ｉ／Ｏデバイス１７，２７との間、又はメモリブリッジ１６，２６との間で、シリアル伝送を行うものである。
Ｉ／Ｏブリッジ１８、２８とメモリブリッジ１６，２６とは、PCI-Expressインタフェースのｘ８のリンクＬ１によって接続される。
【００３３】
即ち、演算システム１１，２１のそれぞれのメモリブリッジ１６，２６と、Ｉ／Ｏシステム１２，２２のそれぞれのＩ／Ｏブリッジ１８，２８とは、リンクＬ１を介してクロスリンク接続されている。即ち、メモリブリッジ１６は、Ｉ／Ｏシステム１２，２２に接続され、演算システム２１のメモリブリッジ２６は、Ｉ／Ｏシステム１２，２２に接続されている。
【００３４】
このようにクロスリンク接続されることにより、演算システム１１，２１は、それぞれ、Ｉ／Ｏシステム１２，２２に対して通信可能であり、Ｉ／Ｏシステム１２，２２は、それぞれ、演算システム１１，２１に対しても通信可能になる。
【００３５】
尚、PCI-Expressインタフェースでは、層単位のアップグレードを可能とするため、機能が階層化されている。そして、プロトコルが各階層毎に定義されている。
【００３６】
PCI-Expressインタフェースでは、図２（ａ）に示すように、トランザクション層において、データにヘッダが付与されてトランザクション層パケットが生成される。
【００３７】
また、図２（ｂ）に示すように、データリンク層において、トランザクション層パケットにシーケンス番号とＣＲＣ（Cyclic Redundancy Check）とのステータス情報が付加されてデータリンク層パケット（ＤＬＬＰ：Data Link Layer Packet）が生成される。
【００３８】
そして、図２（ｃ）に示すように、物理層において、データリンク層パケットにフレームデータが付加される。そして、このパケットが送受信される。
【００３９】
Ｉ／Ｏブリッジ１８、２８は、このようなPCI-Expressインタフェースに従ってデータを送受信するためのインタフェース回路部（図示せず）を備える。
【００４０】
コンフィギュレーションレジスタ１９，２９は、分周器３１から供給された同期信号Ｓ１の１周期中において、Ｉ／Ｏブリッジ１８，２８が送信するアップストリームのパケットのパケット長、データ数を制限するためのデータを保持するものである。
【００４１】
このようにパケット長、データ数に制限を設けたのは、送信されるパケットが、送信経路長、クロックのドリフトの影響を受けないようにするためである。具体的には、送信する各パケットの最大パケット長は、１９２バイトとされる。
【００４２】
Ｉ／Ｏブリッジ１８、２８は、この制限に従い、同期信号Ｓ１の立ち上がりタイミングで、それぞれ、メモリブリッジ１６、２６に、同一のパケットを同時に送信する。
【００４３】
Ｉ／Ｏブリッジ１８，２８は、複数の小さなパケットを送信する場合、同期信号Ｓ１の１周期において送信可能な最大データ数を越えないように、送信制御を行い、１つのパケットが、周波数１０．４ＭＨｚの同期信号Ｓ１の１周期を越えないようにする。
【００４４】
尚、このコンフィギュレーションレジスタ１９の値をＢＩＯＳ（Basic Input/Output System）を用いて変更することができる。サブシステム１は、このようなＢＩＯＳを記憶する不揮発性メモリ（図示せず）を備える。
【００４５】
このように構成されたコンピュータシステムは、システム間の通信内容の比較により障害診断を行う。また、このコンピュータシステムは、特定のシステムでの故障が判断されると該当するシステムをマスクして、残りのシステムによって実行中の処理を継続する。
【００４６】
次に、メモリブリッジ１６，２６の構成について説明する。尚、メモリブリッジ２６はメモリブリッジ１６と同様に構成されたものであり、ここでは、メモリブリッジ１６の構成についてのみ説明する。
【００４７】
メモリブリッジ１６は、図３に示すように、インタフェース回路部４０と、同期化用バッファ５０と、内部回路部６０と、からなる。
【００４８】
インタフェース回路部４０は、PCI-Expressインタフェースに対応して設けられたものであり、データリンク／物理層４１と、トランザクション層４２と、に区分される。
【００４９】
また、データリンク／物理層４１は、物理層４３−１〜４３−ｎと、データリンク層（ＲＸ）４４と、データリンク層（ＴＸ）４５と、に区分され、トランザクション層４２は、通信エラー処理部４６と、トランザクション層４７と、に区分される。
【００５０】
このデータリンク／物理層４１、トランザクション層４２、内部回路部６０は、互いに異なるクロック信号に同期して動作する。
【００５１】
物理層４３−１〜４３−ｎは、同期信号Ｓ２の１周期中において、図２（ｃ）に示すようなパケットを送受信するための層である。インタフェース回路部４０は、送受信するパケットを保持するためのエラスティックバッファ（ＥＢ）を備える。尚、インタフェース回路部４０は、物理層４３−１〜４３−ｎにおいて、通信エラーを検出するとエラー情報を出力する。
【００５２】
データリンク層（ＲＸ）４４は、図２（ｃ）に示すパケットからデータリンク層パケットを取り出すための層である。
【００５３】
データリンク層（ＴＸ）４５は、通信エラー処理部４６が出力したACK/NACK/flow制御信号を受け取るための層である。
【００５４】
通信エラー処理部４６は、通信エラーの処理を行うものである。
従来のPCI-Expressでは、データリンク層（ＲＸ）４４が、ステータス情報のうち、いくつかのエラー信号を、トランザクション層４７に、また、ACK/NACK/flow制御信号をデータリンク層（ＴＸ）４５に直接供給する。
【００５５】
しかし、本実施の形態では、通信エラー処理部４６が備えられ、通信エラー処理部４６がこれらのステータス情報を、データリンク層（ＲＸ）４４において取得する。そして、通信エラー処理部４６が取得したステータス情報をトランザクション層４７、データリンク層（ＴＸ）４５に供給するように構成されている。
【００５６】
通信エラー処理部４６は、データリンク層パケットに付加されたＣＲＣをチェックして、通信エラーを検出し、エラー情報を出力する。
【００５７】
通信エラー処理部４６は、物理層４３−１〜４３−ｎまたはデータリンク層（ＲＸ）４４において、通信エラーが検出されなければ、トランザクション層４７とデータリンク層（ＴＸ）４５とに、データ、ステータス情報をそのまま出力する。インタフェース回路部４０は、受信したデータに通信エラーがなければ、ステータス情報に従って、データを送信したＩ／Ｏブリッジ１８，２８に定期的にＡＣＫ信号を返送する。
【００５８】
一方、通信エラー処理部４６は、物理層４３−１〜４３−ｎまたはデータリンク層（ＲＸ）４４において、通信エラーが検出されると、同期信号Ｓ１の１周期の間に受信した全パケットをロストパケットとしてキャンセルし、受信データのトランザクション層４７への出力を停止する。
【００５９】
通信エラー処理部４６は、パケットをキャンセルすると、データリンク層（ＲＸ）４４に対して、次に受信する予定のパケットのシーケンス番号を、通信エラーパケット受信前のシーケンス番号に設定するように指示する。
【００６０】
また、通信エラー処理部４６は、通信エラーを検出すると、同期信号Ｓ１の１周期の間、通信エラー信号Ｓ２をアサート（assert）、即ち、有効とする。通信エラー処理部４６は、アサートした通信エラー信号Ｓ２を、信号線を介してメモリブリッジ２６に送信する。
【００６１】
トランザクション層４７は、上位のソフトウェア層からの読み出しと書き込み要求を受け付けるとともにデータリンク層（ＲＸ）４４、データリンク層（ＴＸ）４５に対してパケットの転送を要求するための層である。
【００６２】
同期化用バッファ５０は、トランザクション層４７と内部回路部６０との間で、データの受け渡しをするためのバッファであり、トランザクション層４７から出力されたデータを保持する。
【００６３】
内部回路部６０は、同期化用バッファ５０が保持しているデータを同期信号Ｓ１に同期したタイミングで取得し、取得したデータをプロセッサ１３，１４、主記憶装置１５に送出するための回路である。
【００６４】
尚、Ｉ／Ｏブリッジ１８，２８がメモリブリッジ１６，２６にシリアルデータを送信する場合、Ｉ／Ｏブリッジ１８，２８が送信インタフェースとなり、メモリブリッジ１６，２６のインタフェース回路部が受信インタフェース部となる。
【００６５】
また、前述のようにメモリブリッジ１６，２６がＩ／Ｏブリッジ１８，２８にシリアルデータを送信することも可能であり、この場合、メモリブリッジ１６，２６が送信インタフェースとなり、Ｉ／Ｏブリッジ１８，２８のインタフェース回路部が受信インタフェース部となる。
【００６６】
次に本実施の形態に係るコンピュータシステムの動作を説明する。
尚、ここでは、Ｉ／Ｏブリッジ１８が、メモリブリッジ１６，２６にシリアルデータを送信する場合について説明する。
【００６７】
Ｉ／Ｏブリッジ１８は、Ｉ／Ｏデバイス１７からデータが供給されると、Ｉ／Ｏブリッジ１８は、図２（ａ）に示すように、トランザクション層において、シリアルデータにヘッダを付与し、トランザクション層パケットを生成する。
【００６８】
Ｉ／Ｏブリッジ１８は、図２（ｂ）に示すように、データリンク層において、生成したトランザクション層パケットに、シーケンス番号とＣＲＣとのステータス情報を付加し、データリンク層パケットを生成する。
【００６９】
そして、Ｉ／Ｏブリッジ１８は、図２（ｃ）に示すように、物理層において、生成したデータリンク層パケットに、フレームデータを付加する。そして、Ｉ／Ｏブリッジ１８は、図２（ｃ）に示すパケットを、リンクＬ１を介してメモリブリッジ１６，２６に送信する。
【００７０】
メモリブリッジ１６のインタフェース回路部４０は、物理層４３−１〜４３−ｎにおいて、このデータを受信する。
インタフェース回路部４０は、図４（ａ）に示すように、物理層４３−１〜４３−ｎにおいて、同期信号Ｓ１の１周期中において受信した全パケットを、エラスティックバッファに、一旦、格納してから、データリンク層（ＲＸ）４４に出力する。
【００７１】
インタフェース回路部４０は、データリンク層（ＲＸ）４４において、図２（ｃ）に示すパケットからデータリンク層パケットを取り出す。また、インタフェース回路部４０は、図２（ｂ）に示すデータリンク層パケットに含まれているＣＲＣに基づいてエラーの検出を行う。
【００７２】
通信エラー処理部４６は、図４（ｃ）に示すように、同期信号Ｓ１の各周期中において受信したパケットを、それぞれ、次の同期信号Ｓ１の立ち上がりに同期して、取得する。
【００７３】
受信したパケットにエラーが検出されなければ、通信エラー処理部４６は、図４（ｄ）に示すように、通信エラー信号Ｓ２をハイ（Ｈ）レベルにしてディアサート、即ち、無効とする。従って、受信されたパケットは有効となる。
【００７４】
そして、通信エラー処理部４６は、図４（ｅ）に示すように、各パケットを、次の同期信号Ｓ１の立ち上がりに同期してトランザクション層に送出する。
【００７５】
インタフェース回路部４０は、トランザクション層において、データリンク層パケットから、トランザクション層パケットを取り出し、さらに、データを取り出して、図４（ｆ）に示すように同期化用バッファ５０に出力する。
【００７６】
内部回路部６０は、同期信号Ｓ１の立ち上がりに同期して、同期化用バッファ５０からデータを取得し、取得したデータをプロセッサ１３，１４、主記憶装置１５に出力する。
【００７７】
Ｉ／Ｏブリッジ１８からメモリブリッジ１６，２６にデータを送信する場合、Ｉ／Ｏブリッジ１８とメモリブリッジ１６との間と、Ｉ／Ｏブリッジ１８とメモリブリッジ２６との間で、リンクＬ１の配線長に差異がほぼなければ、図５（ｂ），（ｃ）に示すように、メモリブリッジ１６，２６は、ほぼ同時にデータを受信する。
【００７８】
しかし、Ｉ／Ｏブリッジ２８とメモリブリッジ２６との間のリンクＬ１が、Ｉ／Ｏブリッジ１８とメモリブリッジ１６との間のリンクＬ１よりも長いと、図５（ｄ），（ｅ）に示すように、メモリブリッジ１６，２６がデータを受信するタイミングに差異が生じる。
【００７９】
但し、差異が生じても、同じ同期信号Ｓ１の周期内であれば、演算システム１１，２１は、クロック信号ＣＬＫに同期して同じ処理を実行する。
もし、メモリブリッジ２６が、同期信号Ｓ１の１周期目と２周期目とでデータを受信するようになるのであれば、Ｉ／Ｏブリッジ１８は、１パケットにおけるデータの長さを短くするように、ＢＩＯＳを用いてコンフィギュレーションレジスタ１９が格納しているデータを変更する。
【００８０】
次に、図６（ａ）、（ｂ）に示すように、メモリブリッジ１６のインタフェース回路部４０が、同期信号Ｓ１の第２クロックサイクルにおいて、受信したパケットの通信エラーを検出するものとする。
【００８１】
この場合、通信エラー処理部４６は、図６（ｃ）、（ｅ）に示すように、第３クロックサイクルにおいて、データリンク層パケット(DLLP)をその一部に含んでいたとしても、すべてのパケットをキャンセル扱いとする。
【００８２】
そして、通信エラー処理部４６は、第３クロックサイクル以降のパケットもキャンセルする。通信エラー処理部４６は、第２クロックサイクルでキャンセルしたパケットが再送されるまで、すべてのパケットの受信をキャンセルする。
【００８３】
通信エラー処理部４６は、通信エラーが検出されると、データリンク層（ＲＸ）４４において、管理されているパケットのシーケンス番号をエラー発生前の番号に設定し直す。
【００８４】
また、通信エラーが検出されると、通信エラー処理部４６は、図６（ｄ）に示すように、通信エラー信号Ｓ２をロー（Ｌ）レベルとしてアサート、即ち、有効とする。同期信号Ｓ１の第４クロックサイクルになると、パケットは受信されないため、通信エラー処理部４６を、ディアサートする。
【００８５】
通信エラー処理部４６は、データの送信元であるＩ／Ｏブリッジ１８に、データの再送を要求する。Ｉ／Ｏブリッジ１８は、メモリブリッジ１６から再送要求を受信した場合、再送要求のあったパケットを再送する。また、メモリブリッジ１６からのACK信号が返送されずに、所定期間が経過した場合にも、送信が確認されていないパケットの再送信を行う。
【００８６】
続いて、図７（ｂ）に示すように、メモリブリッジ１６が、同期信号Ｓ１の第６クロックサイクルにおいて、再送要求に応答してシーケンス番号２のパケットを受信し、通信エラーがなければ、インタフェース回路部４０は、図６（ｃ）〜（ｅ）に示すように、キャンセルされた第３クロックサイクル以降のパケットを、そのまま、受信する。
【００８７】
次に、図８（ａ）〜（ｃ）に示すように、メモリブリッジ１６が受信したデータに通信エラーは検出されなくても、メモリブリッジ２６が通信エラーを検出すると、メモリブリッジ２６は、図８（ｄ）に示すように、メモリブリッジ１６にローレベルの通信エラー信号Ｓ２を出力する。
【００８８】
メモリブリッジ２６は、同期信号Ｓ１の第３クロックサイクルにおいて、通信エラー信号Ｓ２がアサートされると、通信エラー処理部４６は、図８（ｅ）に示すように、同期信号Ｓ１の第３クロックサイクルにおいて保持しているシーケンス番号２のパケットをキャンセルする。
【００８９】
通信エラー処理部４６は、同期信号Ｓ１の第４クロックサイクル以降、トランザクション層４７へのパケットの引き渡しを停止する。
そして、通信エラー処理部４６は、データリンク層（ＲＸ）４４において、管理する次回受信予定パケットのシーケンス番号を、パケットキャンセル前の値に再設定させる。
【００９０】
図９（ａ），（ｂ）に示すように、メモリブリッジ１６が、通信エラーを有するパケットに続いて、データリンク層パケットのみで構成されるパケットを受信した場合、通信エラー処理部４６は、図９（ｃ），（ｅ）に示すように、まず、通信エラーを有するパケットをキャンセルする。
【００９１】
通信エラー処理部４６は、通信エラーを有するパケットをキャンセルすると、図９（ｄ）に示すように、通信エラー信号Ｓ２をアサートして、シーケンス２以降のパケット列の再送信を要求する。しかし、通信エラー処理部４６は、通信エラーを有するパケットをキャンセルしても、図９（ｃ），（ｅ）に示すように、同期信号Ｓ１の第３クロックサイクルにおいて受信されたデータリンク層パケットをキャンセルしない。これは、データリンク層パケットには、シーケンス番号がないため、シーケンス番号エラーが発生しないためである。
【００９２】
エラー処理部４６は、データリンク層パケットをキャンセルしなくても、再送されたパケットのシーケンス番号から、順序を特定することができ、メモリブリッジ１６は、問題なく再送信されたパケットを受信することができる。
【００９３】
以上説明したように、本実施の形態によれば、メモリブリッジ１６のインタフェース回路部４０が通信エラーを検出した場合、通信エラー処理部４６が受信したパケットをキャンセルする。そして、通信エラー処理部４６は、アサートした通信エラー信号Ｓ２をメモリブリッジ２６に出力し、キャンセルしたパケットの再送をパケット送信元に要求するようにした。
【００９４】
従って、通信エラーが生じた場合でも、メモリブリッジ１６，２６の通信エラー処理部が連携してパケット送信元に、パケットの再送信をするようになるため、受信データの同期ずれを回避することができる。そして、演算システム１１，２１は、同一のデータ処理を同期して行うことができる。
【００９５】
また、Ｉ／Ｏブリッジ１８が、リンクＬ１の配線長に差異が生じても、影響を受けないように、送信するパケットのパケット長、データ数に制限が設けるようにした。
【００９６】
従って、フォールトトレラントコンピュータシステムを構成するための回路基盤設計および筐体設計が容易になる。
【００９７】
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。
例えば、上記実施の形態では、メモリブリッジ１６，２６、Ｉ／Ｏブリッジ１８，２８に、インタフェース回路部を備えるようにした。しかし、図１０に示すように、演算システム１１，２１において、メモリブリッジ１６，２６とは別に、それぞれ、送受信ブリッジ７１，７２を備え、また、Ｉ／Ｏシステム１２，２２とは別に、それぞれ、送受信ブリッジ８１，８２を備えることができる。
【００９８】
この場合、送受信ブリッジ７１，７２，８１，８２は、それぞれ、通信エラー処理部を備える。送受信ブリッジ７１，７２は、それぞれ、メモリブリッジ１６，２６に接続され、送受信ブリッジ８１，８２は、それぞれ、Ｉ／Ｏブリッジ１８，２８に接続される。
【００９９】
そして、送受信ブリッジ７１，７２と、送受信ブリッジ８１，８２とは、互いにロックステップ方式に従って同期化されてデータの送受信を行う。尚、送受信ブリッジ７１，７２は、既存のメモリブリッジ１６，２６とは、１セットの通信リンクで接続される。接続は、既存のメモリブリッジのサポートする高速シリアルリンクによって行われる。この場合、メモリブリッジ１６と送受信ブリッジ７１、メモリブリッジ２６と送受信ブリッジ７２との間のリンクの配線長は、受信タイミングの差異による通信エラーの発生を避けるため、できるだけ、短くされる。
【０１００】
このように構成されることにより、既存のシステムチップセットコンポーネントをそのまま利用して、フォールトトレラントコンピュータシステムを構成することができる。
【０１０１】
本実施の形態では、コンピュータシステムに２つのサブシステム１，２を備え、また、サブシステム１，２に、それぞれ、２つのプロセッサ１３，１４，２３，２４を備えて、コンピュータシステムを二重化冗長構成とした。しかし、コンピュータシステムの構成は、これに限られるものではなく、三重化冗長構成、あるいはそれ以上の冗長構成とすることができる。
【０１０２】
また、本実施の形態では、高速シリアルリンクとしてPCI-Expressを例として説明した。しかし、リンクとしては、これに限られるものではなく、InfiniBand、HyperTransport等の他の高速シリアルリンクを用いることもできる。
【０１０３】
また、本実施の形態では、メモリブリッジ１６，２６と、Ｉ／Ｏブリッジ１８，２８との間で送受信するデータをシリアルデータとして説明したが、パラレルデータであっても、本実施の形態を適用することができる。
【０１０４】
【発明の効果】
以上説明したように、本発明によれば、通信エラーが生じた場合でも同一のデータ処理を同期して行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るコンピュータシステムの構成を示すブロック図である。
【図２】送受信されるパケットデータの構成を示す説明図である。
【図３】図１に示すメモリブリッジの詳細な構成を示すブロック図である。
【図４】図１に示すメモリブリッジの動作を示すタイミングチャートである。
【図５】図１に示すメモリブリッジの動作を示すタイミングチャートである。
【図６】図１に示すメモリブリッジの動作を示すタイミングチャートである。
【図７】図１に示すメモリブリッジの動作を示すタイミングチャートである。
【図８】図１に示すメモリブリッジの動作を示すタイミングチャートである。
【図９】図１に示すメモリブリッジの動作を示すタイミングチャートである。
【図１０】本発明の実施の形態に係るコンピュータシステムの応用例を示すブロック図である。
【符号の説明】
１，２ サブシステム
１３、１４，２３，２４ プロセッサ
１６，２６ メモリブリッジ
１８，２８ Ｉ／Ｏブリッジ
４６ 通信エラー処理部
３１ 分周器
【発明の属する技術分野】
本発明は、同一のデータを並列して処理するデータ処理装置に関する。
【０００２】
【従来の技術】
データ処理を実行するコンピュータシステムとして、既存のコンポーネントを流用して、冗長化された構成のフォールトトレラントコンピュータシステムがある（例えば、特許文献１参照）。このコンピュータシステムでは、ロックステップ方式が採用されている。
【０００３】
このロックステップ方式とは、冗長化構成の複数のプロセッサを備え、複数のプロセッサが同一のデータを同期して並列処理し、複数のプロセッサからの出力を比較してエラーを検出すると、そのエラーを修復するようにした方式である。
【０００４】
また、近年のコンピュータシステムにおいては、プロセッサとＩ／Ｏシステムとの間の接続には、PCI-Express、Hyper-Transport（登録商標）、InfiniBand（登録商標）等のような高速でデータの送受信を行える高速シリアルリンク方式が採用されつつある。
【０００５】
【特許文献１】
特開平９−１２８３４９号公報（第５−７頁、図１）
【０００６】
【発明が解決しようとする課題】
しかし、従来の冗長構成のコンピュータシステムにおいて、このような高速のデータ送受信方式を採用することにより、データの送受信速度が速くなると、複数のプロセッサが処理するデータの同一性を保証することが難しくなり、通信エラーも生じやすくなる。
【０００７】
プロセッサとＩ／Ｏシステムとの間でデータを送受信するインタフェース部は、通信エラーを検出すると、それぞれ、異なるタイミングでデータの再送信を要求してしまう。各インタフェース部が、データの再送信を要求すると、各プロセッサでの処理のタイミングや順序にずれが生じ、ロックステップ方式を維持できなくなり、複数のプロセッサが同一のデータ処理を同期して行うことが難しくなる。
【０００８】
また、このようなコンピュータシステムにおいては、通信線の配線長によってデータ遅延が生じやすい。データ遅延が生じて複数のプロセッサの処理タイミングがずれると、同じように複数のプロセッサが同一のデータ処理を同期して行うことが難しくなる。このため、等長配線を厳密に行わなければならず、システムの筐体構造やボード設計、ボード構成の自由度にも大きな制約が生じることになる。
【０００９】
本発明は、このような従来の問題点に鑑みてなされたもので、同一のデータ処理を同期して行うことが可能なデータ処理装置を提供することを目的とする。
【００１０】
【課題を解決するための手段】
この目的を達成するため、本発明の第１の観点に係るデータ処理装置は、
クロック信号を分周して同期信号を生成する分周器と、
データ長が、前記分周器が生成した前記同期信号の１周期以内で送信可能なデータよりも短い同一のデータを前記同期信号の周期毎に同一のデータ送信元から受信する複数の受信インタフェース部と、
前記各受信インタフェース部が前記同期信号の周期毎に受信した同一のデータの処理を、前記クロック信号に同期してそれぞれ実行する複数の演算部と、を備えたものである。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態に係るデータ処理装置を図面を参照して説明する。尚、本実施の形態に係るデータ処理装置を、冗長構成を有するコンピュータシステムとして説明する。
本実施の形態に係るコンピュータシステムの構成を図１に示す。
本実施の形態に係るコンピュータシステムは、冗長化構成の複数のプロセッサを備え、複数のプロセッサが同一のデータを同期して並列処理するロックステップ方式に従って動作するフォールトトレラントコンピュータシステムであり、サブシステム１、２を備えて構成される。
【００１８】
サブシステム１は、演算システム１１と、Ｉ／Ｏシステム１２と、を備えて構成される。サブシステム２は、演算システム２１と、Ｉ／Ｏシステム２２と、を備えて構成される。
【００１９】
演算システム１１，２１には、同期した周波数１６６ＭＨｚのクロック信号ＣＬＫが供給される。このように、演算システム１１，２１に、同期したクロック信号ＣＬＫが供給されることにより、サブシステム１，２は、ロックステップ方式に従って、同一の処理を同期して同時に実行する。
【００２０】
サブシステム１，２の間には、分周器３１が接続される。分周器３１は、ＦＳＢのクロック信号ＣＬＫが供給されて、このクロック信号ＣＬＫを分周するものであり、クロック信号ＣＬＫを分周して同期信号Ｓ１を生成する。
【００２１】
分周器３１は、生成した同期信号Ｓ１を演算システム１１のメモリブリッジ１６、演算システム２１のメモリブリッジ２６、Ｉ／Ｏシステム１２のＩ／Ｏブリッジ１８、Ｉ／Ｏシステム２２のＩ／Ｏブリッジ２８に、それぞれ、供給する。
【００２２】
尚、本実施の形態では、データの送受信に、PCI-Expressインタフェースを用いるものとする。PCI-Expressインタフェースでは、パラレルバスで生ずる信号線と信号線との間でのデータのずれ（スキュー）を防止するため、シリアルリンクが採用されている。演算システム１１，２１とＩ／Ｏシステム１２，２２との間もPCI-Expressインタフェースに従って接続される。
【００２３】
分周器３１は、同期信号Ｓ１の１周期が、2.5Gbps/laneのPCI-Expressインタフェースの２４シンボルタイムに相当するように、クロック信号ＣＬＫの周波数１６６ＭＨｚを１／１６の周波数１０．４ＭＨｚに分周する。
【００２４】
PCI-Expressインタフェースでは、演算システム１１，２１、Ｉ／Ｏシステム１２，２２といったデバイスは、１対１で接続される。差動信号を用いてデータを伝送する場合、リンクには、片方向に２本、双方向で合計４本の信号線が用いられる。この４本の信号線の組は、レーンと呼ばれるものである。
【００２５】
また、１シンボルタイムとは、PCI-Expressに従って、１レーンのデータを８Ｂ／１０Ｂエンコーディング処理した後の１バイトの有効データを送信するために必要な時間をいう。
【００２６】
同期信号Ｓ１の周波数が１０．４ＭＨｚになることにより、Ｉ／Ｏブリッジ１８，２８、メモリブリッジ１６，２６は、互いに、同期信号Ｓ１の１周期で、１レーンあたり２４バイトの有効データを送信することができる。
【００２７】
演算システム１１は、プロセッサ１３、１４と、主記憶装置１５と、メモリブリッジ１６と、を備えて構成される。また、演算システム２１は、プロセッサ２３、２４と、主記憶装置２５と、メモリブリッジ２６と、を備えて構成される。
【００２８】
プロセッサ１３，１４，２３，２４は、演算処理を実行するものである。主記憶装置１５，２５は、データ等を記憶するものである。メモリブリッジ１６とプロセッサ１３，１４、メモリブリッジ２６とプロセッサ２３，２４とは、それぞれ、フロントサイドバス(ＦＳＢ）を介して接続され、クロック信号ＣＬＫに同期して動作する。
【００２９】
メモリブリッジ１６，２６は、Ｉ／Ｏブリッジ１８，２８とデータの送受信を行うものである。また、メモリブリッジ１６，２６は、通信エラー信号Ｓ２を相互に送受信する。この通信エラー信号Ｓ２は、メモリブリッジ１６，２６との間で、通信エラーの情報を共有して、連携してエラー処理を行うための信号であり、オープン・ドレイン信号として送受信される。尚、メモリブリッジ１６，２６の詳細な構成については、後述する。
【００３０】
Ｉ／Ｏシステム１２は、Ｉ／Ｏデバイス１７と、Ｉ／Ｏブリッジ１８と、コンフィギュレーションレジスタ１９と、を備えて構成される。Ｉ／Ｏシステム２２は、Ｉ／Ｏデバイス２７と、Ｉ／Ｏブリッジ２８と、コンフィギュレーションレジスタ２９と、を備えて構成される。
【００３１】
Ｉ／Ｏデバイス１７，２７は、それぞれ、Ｉ／Ｏブリッジ１８，２８との間でデータの送受信を行うものである。
【００３２】
Ｉ／Ｏブリッジ１８、２８は、それぞれ、Ｉ／Ｏデバイス１７，２７との間、又はメモリブリッジ１６，２６との間で、シリアル伝送を行うものである。
Ｉ／Ｏブリッジ１８、２８とメモリブリッジ１６，２６とは、PCI-Expressインタフェースのｘ８のリンクＬ１によって接続される。
【００３３】
即ち、演算システム１１，２１のそれぞれのメモリブリッジ１６，２６と、Ｉ／Ｏシステム１２，２２のそれぞれのＩ／Ｏブリッジ１８，２８とは、リンクＬ１を介してクロスリンク接続されている。即ち、メモリブリッジ１６は、Ｉ／Ｏシステム１２，２２に接続され、演算システム２１のメモリブリッジ２６は、Ｉ／Ｏシステム１２，２２に接続されている。
【００３４】
このようにクロスリンク接続されることにより、演算システム１１，２１は、それぞれ、Ｉ／Ｏシステム１２，２２に対して通信可能であり、Ｉ／Ｏシステム１２，２２は、それぞれ、演算システム１１，２１に対しても通信可能になる。
【００３５】
尚、PCI-Expressインタフェースでは、層単位のアップグレードを可能とするため、機能が階層化されている。そして、プロトコルが各階層毎に定義されている。
【００３６】
PCI-Expressインタフェースでは、図２（ａ）に示すように、トランザクション層において、データにヘッダが付与されてトランザクション層パケットが生成される。
【００３７】
また、図２（ｂ）に示すように、データリンク層において、トランザクション層パケットにシーケンス番号とＣＲＣ（Cyclic Redundancy Check）とのステータス情報が付加されてデータリンク層パケット（ＤＬＬＰ：Data Link Layer Packet）が生成される。
【００３８】
そして、図２（ｃ）に示すように、物理層において、データリンク層パケットにフレームデータが付加される。そして、このパケットが送受信される。
【００３９】
Ｉ／Ｏブリッジ１８、２８は、このようなPCI-Expressインタフェースに従ってデータを送受信するためのインタフェース回路部（図示せず）を備える。
【００４０】
コンフィギュレーションレジスタ１９，２９は、分周器３１から供給された同期信号Ｓ１の１周期中において、Ｉ／Ｏブリッジ１８，２８が送信するアップストリームのパケットのパケット長、データ数を制限するためのデータを保持するものである。
【００４１】
このようにパケット長、データ数に制限を設けたのは、送信されるパケットが、送信経路長、クロックのドリフトの影響を受けないようにするためである。具体的には、送信する各パケットの最大パケット長は、１９２バイトとされる。
【００４２】
Ｉ／Ｏブリッジ１８、２８は、この制限に従い、同期信号Ｓ１の立ち上がりタイミングで、それぞれ、メモリブリッジ１６、２６に、同一のパケットを同時に送信する。
【００４３】
Ｉ／Ｏブリッジ１８，２８は、複数の小さなパケットを送信する場合、同期信号Ｓ１の１周期において送信可能な最大データ数を越えないように、送信制御を行い、１つのパケットが、周波数１０．４ＭＨｚの同期信号Ｓ１の１周期を越えないようにする。
【００４４】
尚、このコンフィギュレーションレジスタ１９の値をＢＩＯＳ（Basic Input/Output System）を用いて変更することができる。サブシステム１は、このようなＢＩＯＳを記憶する不揮発性メモリ（図示せず）を備える。
【００４５】
このように構成されたコンピュータシステムは、システム間の通信内容の比較により障害診断を行う。また、このコンピュータシステムは、特定のシステムでの故障が判断されると該当するシステムをマスクして、残りのシステムによって実行中の処理を継続する。
【００４６】
次に、メモリブリッジ１６，２６の構成について説明する。尚、メモリブリッジ２６はメモリブリッジ１６と同様に構成されたものであり、ここでは、メモリブリッジ１６の構成についてのみ説明する。
【００４７】
メモリブリッジ１６は、図３に示すように、インタフェース回路部４０と、同期化用バッファ５０と、内部回路部６０と、からなる。
【００４８】
インタフェース回路部４０は、PCI-Expressインタフェースに対応して設けられたものであり、データリンク／物理層４１と、トランザクション層４２と、に区分される。
【００４９】
また、データリンク／物理層４１は、物理層４３−１〜４３−ｎと、データリンク層（ＲＸ）４４と、データリンク層（ＴＸ）４５と、に区分され、トランザクション層４２は、通信エラー処理部４６と、トランザクション層４７と、に区分される。
【００５０】
このデータリンク／物理層４１、トランザクション層４２、内部回路部６０は、互いに異なるクロック信号に同期して動作する。
【００５１】
物理層４３−１〜４３−ｎは、同期信号Ｓ２の１周期中において、図２（ｃ）に示すようなパケットを送受信するための層である。インタフェース回路部４０は、送受信するパケットを保持するためのエラスティックバッファ（ＥＢ）を備える。尚、インタフェース回路部４０は、物理層４３−１〜４３−ｎにおいて、通信エラーを検出するとエラー情報を出力する。
【００５２】
データリンク層（ＲＸ）４４は、図２（ｃ）に示すパケットからデータリンク層パケットを取り出すための層である。
【００５３】
データリンク層（ＴＸ）４５は、通信エラー処理部４６が出力したACK/NACK/flow制御信号を受け取るための層である。
【００５４】
通信エラー処理部４６は、通信エラーの処理を行うものである。
従来のPCI-Expressでは、データリンク層（ＲＸ）４４が、ステータス情報のうち、いくつかのエラー信号を、トランザクション層４７に、また、ACK/NACK/flow制御信号をデータリンク層（ＴＸ）４５に直接供給する。
【００５５】
しかし、本実施の形態では、通信エラー処理部４６が備えられ、通信エラー処理部４６がこれらのステータス情報を、データリンク層（ＲＸ）４４において取得する。そして、通信エラー処理部４６が取得したステータス情報をトランザクション層４７、データリンク層（ＴＸ）４５に供給するように構成されている。
【００５６】
通信エラー処理部４６は、データリンク層パケットに付加されたＣＲＣをチェックして、通信エラーを検出し、エラー情報を出力する。
【００５７】
通信エラー処理部４６は、物理層４３−１〜４３−ｎまたはデータリンク層（ＲＸ）４４において、通信エラーが検出されなければ、トランザクション層４７とデータリンク層（ＴＸ）４５とに、データ、ステータス情報をそのまま出力する。インタフェース回路部４０は、受信したデータに通信エラーがなければ、ステータス情報に従って、データを送信したＩ／Ｏブリッジ１８，２８に定期的にＡＣＫ信号を返送する。
【００５８】
一方、通信エラー処理部４６は、物理層４３−１〜４３−ｎまたはデータリンク層（ＲＸ）４４において、通信エラーが検出されると、同期信号Ｓ１の１周期の間に受信した全パケットをロストパケットとしてキャンセルし、受信データのトランザクション層４７への出力を停止する。
【００５９】
通信エラー処理部４６は、パケットをキャンセルすると、データリンク層（ＲＸ）４４に対して、次に受信する予定のパケットのシーケンス番号を、通信エラーパケット受信前のシーケンス番号に設定するように指示する。
【００６０】
また、通信エラー処理部４６は、通信エラーを検出すると、同期信号Ｓ１の１周期の間、通信エラー信号Ｓ２をアサート（assert）、即ち、有効とする。通信エラー処理部４６は、アサートした通信エラー信号Ｓ２を、信号線を介してメモリブリッジ２６に送信する。
【００６１】
トランザクション層４７は、上位のソフトウェア層からの読み出しと書き込み要求を受け付けるとともにデータリンク層（ＲＸ）４４、データリンク層（ＴＸ）４５に対してパケットの転送を要求するための層である。
【００６２】
同期化用バッファ５０は、トランザクション層４７と内部回路部６０との間で、データの受け渡しをするためのバッファであり、トランザクション層４７から出力されたデータを保持する。
【００６３】
内部回路部６０は、同期化用バッファ５０が保持しているデータを同期信号Ｓ１に同期したタイミングで取得し、取得したデータをプロセッサ１３，１４、主記憶装置１５に送出するための回路である。
【００６４】
尚、Ｉ／Ｏブリッジ１８，２８がメモリブリッジ１６，２６にシリアルデータを送信する場合、Ｉ／Ｏブリッジ１８，２８が送信インタフェースとなり、メモリブリッジ１６，２６のインタフェース回路部が受信インタフェース部となる。
【００６５】
また、前述のようにメモリブリッジ１６，２６がＩ／Ｏブリッジ１８，２８にシリアルデータを送信することも可能であり、この場合、メモリブリッジ１６，２６が送信インタフェースとなり、Ｉ／Ｏブリッジ１８，２８のインタフェース回路部が受信インタフェース部となる。
【００６６】
次に本実施の形態に係るコンピュータシステムの動作を説明する。
尚、ここでは、Ｉ／Ｏブリッジ１８が、メモリブリッジ１６，２６にシリアルデータを送信する場合について説明する。
【００６７】
Ｉ／Ｏブリッジ１８は、Ｉ／Ｏデバイス１７からデータが供給されると、Ｉ／Ｏブリッジ１８は、図２（ａ）に示すように、トランザクション層において、シリアルデータにヘッダを付与し、トランザクション層パケットを生成する。
【００６８】
Ｉ／Ｏブリッジ１８は、図２（ｂ）に示すように、データリンク層において、生成したトランザクション層パケットに、シーケンス番号とＣＲＣとのステータス情報を付加し、データリンク層パケットを生成する。
【００６９】
そして、Ｉ／Ｏブリッジ１８は、図２（ｃ）に示すように、物理層において、生成したデータリンク層パケットに、フレームデータを付加する。そして、Ｉ／Ｏブリッジ１８は、図２（ｃ）に示すパケットを、リンクＬ１を介してメモリブリッジ１６，２６に送信する。
【００７０】
メモリブリッジ１６のインタフェース回路部４０は、物理層４３−１〜４３−ｎにおいて、このデータを受信する。
インタフェース回路部４０は、図４（ａ）に示すように、物理層４３−１〜４３−ｎにおいて、同期信号Ｓ１の１周期中において受信した全パケットを、エラスティックバッファに、一旦、格納してから、データリンク層（ＲＸ）４４に出力する。
【００７１】
インタフェース回路部４０は、データリンク層（ＲＸ）４４において、図２（ｃ）に示すパケットからデータリンク層パケットを取り出す。また、インタフェース回路部４０は、図２（ｂ）に示すデータリンク層パケットに含まれているＣＲＣに基づいてエラーの検出を行う。
【００７２】
通信エラー処理部４６は、図４（ｃ）に示すように、同期信号Ｓ１の各周期中において受信したパケットを、それぞれ、次の同期信号Ｓ１の立ち上がりに同期して、取得する。
【００７３】
受信したパケットにエラーが検出されなければ、通信エラー処理部４６は、図４（ｄ）に示すように、通信エラー信号Ｓ２をハイ（Ｈ）レベルにしてディアサート、即ち、無効とする。従って、受信されたパケットは有効となる。
【００７４】
そして、通信エラー処理部４６は、図４（ｅ）に示すように、各パケットを、次の同期信号Ｓ１の立ち上がりに同期してトランザクション層に送出する。
【００７５】
インタフェース回路部４０は、トランザクション層において、データリンク層パケットから、トランザクション層パケットを取り出し、さらに、データを取り出して、図４（ｆ）に示すように同期化用バッファ５０に出力する。
【００７６】
内部回路部６０は、同期信号Ｓ１の立ち上がりに同期して、同期化用バッファ５０からデータを取得し、取得したデータをプロセッサ１３，１４、主記憶装置１５に出力する。
【００７７】
Ｉ／Ｏブリッジ１８からメモリブリッジ１６，２６にデータを送信する場合、Ｉ／Ｏブリッジ１８とメモリブリッジ１６との間と、Ｉ／Ｏブリッジ１８とメモリブリッジ２６との間で、リンクＬ１の配線長に差異がほぼなければ、図５（ｂ），（ｃ）に示すように、メモリブリッジ１６，２６は、ほぼ同時にデータを受信する。
【００７８】
しかし、Ｉ／Ｏブリッジ２８とメモリブリッジ２６との間のリンクＬ１が、Ｉ／Ｏブリッジ１８とメモリブリッジ１６との間のリンクＬ１よりも長いと、図５（ｄ），（ｅ）に示すように、メモリブリッジ１６，２６がデータを受信するタイミングに差異が生じる。
【００７９】
但し、差異が生じても、同じ同期信号Ｓ１の周期内であれば、演算システム１１，２１は、クロック信号ＣＬＫに同期して同じ処理を実行する。
もし、メモリブリッジ２６が、同期信号Ｓ１の１周期目と２周期目とでデータを受信するようになるのであれば、Ｉ／Ｏブリッジ１８は、１パケットにおけるデータの長さを短くするように、ＢＩＯＳを用いてコンフィギュレーションレジスタ１９が格納しているデータを変更する。
【００８０】
次に、図６（ａ）、（ｂ）に示すように、メモリブリッジ１６のインタフェース回路部４０が、同期信号Ｓ１の第２クロックサイクルにおいて、受信したパケットの通信エラーを検出するものとする。
【００８１】
この場合、通信エラー処理部４６は、図６（ｃ）、（ｅ）に示すように、第３クロックサイクルにおいて、データリンク層パケット(DLLP)をその一部に含んでいたとしても、すべてのパケットをキャンセル扱いとする。
【００８２】
そして、通信エラー処理部４６は、第３クロックサイクル以降のパケットもキャンセルする。通信エラー処理部４６は、第２クロックサイクルでキャンセルしたパケットが再送されるまで、すべてのパケットの受信をキャンセルする。
【００８３】
通信エラー処理部４６は、通信エラーが検出されると、データリンク層（ＲＸ）４４において、管理されているパケットのシーケンス番号をエラー発生前の番号に設定し直す。
【００８４】
また、通信エラーが検出されると、通信エラー処理部４６は、図６（ｄ）に示すように、通信エラー信号Ｓ２をロー（Ｌ）レベルとしてアサート、即ち、有効とする。同期信号Ｓ１の第４クロックサイクルになると、パケットは受信されないため、通信エラー処理部４６を、ディアサートする。
【００８５】
通信エラー処理部４６は、データの送信元であるＩ／Ｏブリッジ１８に、データの再送を要求する。Ｉ／Ｏブリッジ１８は、メモリブリッジ１６から再送要求を受信した場合、再送要求のあったパケットを再送する。また、メモリブリッジ１６からのACK信号が返送されずに、所定期間が経過した場合にも、送信が確認されていないパケットの再送信を行う。
【００８６】
続いて、図７（ｂ）に示すように、メモリブリッジ１６が、同期信号Ｓ１の第６クロックサイクルにおいて、再送要求に応答してシーケンス番号２のパケットを受信し、通信エラーがなければ、インタフェース回路部４０は、図６（ｃ）〜（ｅ）に示すように、キャンセルされた第３クロックサイクル以降のパケットを、そのまま、受信する。
【００８７】
次に、図８（ａ）〜（ｃ）に示すように、メモリブリッジ１６が受信したデータに通信エラーは検出されなくても、メモリブリッジ２６が通信エラーを検出すると、メモリブリッジ２６は、図８（ｄ）に示すように、メモリブリッジ１６にローレベルの通信エラー信号Ｓ２を出力する。
【００８８】
メモリブリッジ２６は、同期信号Ｓ１の第３クロックサイクルにおいて、通信エラー信号Ｓ２がアサートされると、通信エラー処理部４６は、図８（ｅ）に示すように、同期信号Ｓ１の第３クロックサイクルにおいて保持しているシーケンス番号２のパケットをキャンセルする。
【００８９】
通信エラー処理部４６は、同期信号Ｓ１の第４クロックサイクル以降、トランザクション層４７へのパケットの引き渡しを停止する。
そして、通信エラー処理部４６は、データリンク層（ＲＸ）４４において、管理する次回受信予定パケットのシーケンス番号を、パケットキャンセル前の値に再設定させる。
【００９０】
図９（ａ），（ｂ）に示すように、メモリブリッジ１６が、通信エラーを有するパケットに続いて、データリンク層パケットのみで構成されるパケットを受信した場合、通信エラー処理部４６は、図９（ｃ），（ｅ）に示すように、まず、通信エラーを有するパケットをキャンセルする。
【００９１】
通信エラー処理部４６は、通信エラーを有するパケットをキャンセルすると、図９（ｄ）に示すように、通信エラー信号Ｓ２をアサートして、シーケンス２以降のパケット列の再送信を要求する。しかし、通信エラー処理部４６は、通信エラーを有するパケットをキャンセルしても、図９（ｃ），（ｅ）に示すように、同期信号Ｓ１の第３クロックサイクルにおいて受信されたデータリンク層パケットをキャンセルしない。これは、データリンク層パケットには、シーケンス番号がないため、シーケンス番号エラーが発生しないためである。
【００９２】
エラー処理部４６は、データリンク層パケットをキャンセルしなくても、再送されたパケットのシーケンス番号から、順序を特定することができ、メモリブリッジ１６は、問題なく再送信されたパケットを受信することができる。
【００９３】
以上説明したように、本実施の形態によれば、メモリブリッジ１６のインタフェース回路部４０が通信エラーを検出した場合、通信エラー処理部４６が受信したパケットをキャンセルする。そして、通信エラー処理部４６は、アサートした通信エラー信号Ｓ２をメモリブリッジ２６に出力し、キャンセルしたパケットの再送をパケット送信元に要求するようにした。
【００９４】
従って、通信エラーが生じた場合でも、メモリブリッジ１６，２６の通信エラー処理部が連携してパケット送信元に、パケットの再送信をするようになるため、受信データの同期ずれを回避することができる。そして、演算システム１１，２１は、同一のデータ処理を同期して行うことができる。
【００９５】
また、Ｉ／Ｏブリッジ１８が、リンクＬ１の配線長に差異が生じても、影響を受けないように、送信するパケットのパケット長、データ数に制限が設けるようにした。
【００９６】
従って、フォールトトレラントコンピュータシステムを構成するための回路基盤設計および筐体設計が容易になる。
【００９７】
尚、本発明を実施するにあたっては、種々の形態が考えられ、上記実施の形態に限られるものではない。
例えば、上記実施の形態では、メモリブリッジ１６，２６、Ｉ／Ｏブリッジ１８，２８に、インタフェース回路部を備えるようにした。しかし、図１０に示すように、演算システム１１，２１において、メモリブリッジ１６，２６とは別に、それぞれ、送受信ブリッジ７１，７２を備え、また、Ｉ／Ｏシステム１２，２２とは別に、それぞれ、送受信ブリッジ８１，８２を備えることができる。
【００９８】
この場合、送受信ブリッジ７１，７２，８１，８２は、それぞれ、通信エラー処理部を備える。送受信ブリッジ７１，７２は、それぞれ、メモリブリッジ１６，２６に接続され、送受信ブリッジ８１，８２は、それぞれ、Ｉ／Ｏブリッジ１８，２８に接続される。
【００９９】
そして、送受信ブリッジ７１，７２と、送受信ブリッジ８１，８２とは、互いにロックステップ方式に従って同期化されてデータの送受信を行う。尚、送受信ブリッジ７１，７２は、既存のメモリブリッジ１６，２６とは、１セットの通信リンクで接続される。接続は、既存のメモリブリッジのサポートする高速シリアルリンクによって行われる。この場合、メモリブリッジ１６と送受信ブリッジ７１、メモリブリッジ２６と送受信ブリッジ７２との間のリンクの配線長は、受信タイミングの差異による通信エラーの発生を避けるため、できるだけ、短くされる。
【０１００】
このように構成されることにより、既存のシステムチップセットコンポーネントをそのまま利用して、フォールトトレラントコンピュータシステムを構成することができる。
【０１０１】
本実施の形態では、コンピュータシステムに２つのサブシステム１，２を備え、また、サブシステム１，２に、それぞれ、２つのプロセッサ１３，１４，２３，２４を備えて、コンピュータシステムを二重化冗長構成とした。しかし、コンピュータシステムの構成は、これに限られるものではなく、三重化冗長構成、あるいはそれ以上の冗長構成とすることができる。
【０１０２】
また、本実施の形態では、高速シリアルリンクとしてPCI-Expressを例として説明した。しかし、リンクとしては、これに限られるものではなく、InfiniBand、HyperTransport等の他の高速シリアルリンクを用いることもできる。
【０１０３】
また、本実施の形態では、メモリブリッジ１６，２６と、Ｉ／Ｏブリッジ１８，２８との間で送受信するデータをシリアルデータとして説明したが、パラレルデータであっても、本実施の形態を適用することができる。
【０１０４】
【発明の効果】
以上説明したように、本発明によれば、通信エラーが生じた場合でも同一のデータ処理を同期して行うことができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係るコンピュータシステムの構成を示すブロック図である。
【図２】送受信されるパケットデータの構成を示す説明図である。
【図３】図１に示すメモリブリッジの詳細な構成を示すブロック図である。
【図４】図１に示すメモリブリッジの動作を示すタイミングチャートである。
【図５】図１に示すメモリブリッジの動作を示すタイミングチャートである。
【図６】図１に示すメモリブリッジの動作を示すタイミングチャートである。
【図７】図１に示すメモリブリッジの動作を示すタイミングチャートである。
【図８】図１に示すメモリブリッジの動作を示すタイミングチャートである。
【図９】図１に示すメモリブリッジの動作を示すタイミングチャートである。
【図１０】本発明の実施の形態に係るコンピュータシステムの応用例を示すブロック図である。
【符号の説明】
１，２ サブシステム
１３、１４，２３，２４ プロセッサ
１６，２６ メモリブリッジ
１８，２８ Ｉ／Ｏブリッジ
４６ 通信エラー処理部
３１ 分周器
Claims (2)
- クロック信号を分周して同期信号を生成する分周器と、
データ長が、前記分周器が生成した前記同期信号の１周期以内で送信可能なデータよりも短い同一のデータを前記同期信号の周期毎に同一のデータ送信元から受信する複数の受信インタフェース部と、
前記各受信インタフェース部が前記同期信号の周期毎に受信した同一のデータの処理を、前記クロック信号に同期してそれぞれ実行する複数の演算部と、を備えた、
ことを特徴とするデータ処理装置。 - 前記各受信インタフェース部は、前記分周器が生成した前記同期信号の１周期内において、受信したデータのエラーを検出すると、前記同期信号の次の周期からデータの受信を停止し、異なる受信インタフェース部に、前記データ送信元からのデータ受信を停止させる通信エラー信号を出力して、前記データ送信元にデータの再送を要求する通信エラー処理部を備えた、
ことを特徴とする請求項１に記載のデータ処理装置。
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003115621A JP4492035B2 (ja) | 2003-04-21 | 2003-04-21 | データ処理装置 |
| CA002464779A CA2464779A1 (en) | 2003-04-21 | 2004-04-16 | Data processing apparatus and data processing method |
| DE602004024266T DE602004024266D1 (de) | 2003-04-21 | 2004-04-20 | Datenverarbeitungsgerät und -verfahren |
| US10/827,433 US7821919B2 (en) | 2003-04-21 | 2004-04-20 | Data processing apparatus and data processing method |
| EP04009315A EP1477899B1 (en) | 2003-04-21 | 2004-04-20 | Data processing apparatus and method |
| CNB2004100451731A CN1287284C (zh) | 2003-04-21 | 2004-04-21 | 数据处理设备和数据处理方法 |
| AU2004201674A AU2004201674A1 (en) | 2003-04-21 | 2004-04-21 | Data Processing Apparatus and Data Processing Method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003115621A JP4492035B2 (ja) | 2003-04-21 | 2003-04-21 | データ処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004326151A JP2004326151A (ja) | 2004-11-18 |
| JP4492035B2 true JP4492035B2 (ja) | 2010-06-30 |
Family
ID=33028288
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003115621A Expired - Lifetime JP4492035B2 (ja) | 2003-04-21 | 2003-04-21 | データ処理装置 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US7821919B2 (ja) |
| EP (1) | EP1477899B1 (ja) |
| JP (1) | JP4492035B2 (ja) |
| CN (1) | CN1287284C (ja) |
| AU (1) | AU2004201674A1 (ja) |
| CA (1) | CA2464779A1 (ja) |
| DE (1) | DE602004024266D1 (ja) |
Families Citing this family (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4165499B2 (ja) | 2004-12-13 | 2008-10-15 | 日本電気株式会社 | コンピュータシステム及びそれを用いたフォールトトレラントシステム並びにその動作制御方法 |
| KR100853290B1 (ko) | 2004-12-14 | 2008-08-21 | 엘지전자 주식회사 | 휴대용 기기의 버스제어방법 및 장치 |
| JP4168403B2 (ja) | 2004-12-21 | 2008-10-22 | 日本電気株式会社 | フォールトトレラントシステム、これで用いる制御装置、アクセス制御方法、及び制御プログラム |
| JP2006178616A (ja) * | 2004-12-21 | 2006-07-06 | Nec Corp | フォールトトレラントシステム、これで用いる制御装置、動作方法、及び動作プログラム |
| JP2006178618A (ja) * | 2004-12-21 | 2006-07-06 | Nec Corp | フォールトトレラントコンピュータ及びデータ送信制御方法 |
| JP4154610B2 (ja) | 2004-12-21 | 2008-09-24 | 日本電気株式会社 | フォールトトレラントコンピュータ及びその制御方法 |
| CN100351734C (zh) * | 2004-12-31 | 2007-11-28 | 华硕电脑股份有限公司 | 主机板 |
| JP4558519B2 (ja) | 2005-01-18 | 2010-10-06 | 富士通株式会社 | 情報処理装置およびシステムバス制御方法 |
| JP4410190B2 (ja) | 2005-03-24 | 2010-02-03 | 富士通株式会社 | ＰＣＩ−Ｅｘｐｒｅｓｓ通信システム |
| US7765357B2 (en) | 2005-03-24 | 2010-07-27 | Fujitsu Limited | PCI-express communications system |
| CN100456273C (zh) * | 2005-03-24 | 2009-01-28 | 富士通株式会社 | PCI-Express通信系统及其通信方法 |
| US20070009267A1 (en) * | 2005-06-22 | 2007-01-11 | Crews Darren S | Driving a laser using an electrical link driver |
| US20070028152A1 (en) * | 2005-08-01 | 2007-02-01 | Mishra Kishore K | System and Method of Processing Received Line Traffic for PCI Express that Provides Line-Speed Processing, and Provides Substantial Gate-Count Savings |
| US7487274B2 (en) | 2005-08-01 | 2009-02-03 | Asic Architect, Inc. | Method and apparatus for generating unique identification numbers for PCI express transactions with substantially increased performance |
| US7669073B2 (en) * | 2005-08-19 | 2010-02-23 | Stratus Technologies Bermuda Ltd. | Systems and methods for split mode operation of fault-tolerant computer systems |
| US7536489B2 (en) * | 2005-08-30 | 2009-05-19 | Ricoh Company Limited | Information processing system for determining payload size based on packet-to-payload size ratio |
| CN100517257C (zh) * | 2005-10-28 | 2009-07-22 | 鸿富锦精密工业（深圳）有限公司 | 高速外围部件互连总线接口测试装置 |
| US8050290B2 (en) | 2007-05-16 | 2011-11-01 | Wilocity, Ltd. | Wireless peripheral interconnect bus |
| US9075926B2 (en) * | 2007-07-19 | 2015-07-07 | Qualcomm Incorporated | Distributed interconnect bus apparatus |
| US8010838B2 (en) * | 2008-11-20 | 2011-08-30 | International Business Machines Corporation | Hardware recovery responsive to concurrent maintenance |
| US8570860B2 (en) * | 2008-12-03 | 2013-10-29 | Micron Technology, Inc. | Redundant signal transmission |
| US9400722B2 (en) * | 2011-11-15 | 2016-07-26 | Ge Aviation Systems Llc | Method of providing high integrity processing |
| WO2014092968A1 (en) * | 2012-12-13 | 2014-06-19 | Coherent Logix, Incorporated | Multiprocessor system with improved secondary interconnection network |
| JP6221498B2 (ja) * | 2013-08-15 | 2017-11-01 | 富士通株式会社 | 情報処理システム及び情報処理システムの制御方法 |
| CN103684689A (zh) * | 2013-11-29 | 2014-03-26 | 重庆西信天元数据资讯有限公司 | 自检式数据传输方法 |
| WO2016151674A1 (ja) * | 2015-03-20 | 2016-09-29 | ルネサスエレクトロニクス株式会社 | データ処理装置 |
| KR102471531B1 (ko) * | 2017-12-21 | 2022-11-28 | 에스케이하이닉스 주식회사 | 저속 동작 환경에서 고속 테스트를 수행할 수 있는 반도체 장치 및 시스템 |
| US11200312B1 (en) * | 2018-07-02 | 2021-12-14 | Rockwell Collins, Inc. | Dual lock step processor system |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01154242A (ja) * | 1987-09-04 | 1989-06-16 | Digital Equip Corp <Dec> | 二重ゾーンの耐欠陥コンピュータシステム |
| JPH02264337A (ja) * | 1989-04-04 | 1990-10-29 | Nec Corp | データ転送制御方式 |
| JPH0471037A (ja) * | 1990-07-12 | 1992-03-05 | Toshiba Corp | 電子計算機の二重化方式 |
| JPH08278950A (ja) * | 1995-04-04 | 1996-10-22 | Hitachi Ltd | 多重化コンピュータシステムおよび障害回復方法 |
| JPH10154085A (ja) * | 1996-11-21 | 1998-06-09 | Fujitsu Ltd | 二重化された監視／制御プロセッサによるシステム監視・制御方法および二重化監視／制御プロセッサ・システム |
| JPH11296394A (ja) * | 1998-04-15 | 1999-10-29 | Nec Corp | 二重化情報処理装置 |
| JP2001290668A (ja) * | 2000-04-04 | 2001-10-19 | Koken:Kk | フォールトトレラント計算機及びこれを用いた通信システム |
| JP2001526422A (ja) * | 1997-12-10 | 2001-12-18 | テレフオンアクチーボラゲツト エル エム エリクソン（パブル） | プロセッサに関連する方法と、その方法に基づく機能に適合したプロセッサ |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS63296952A (ja) * | 1987-05-29 | 1988-12-05 | Ricoh Co Ltd | プリンタ |
| JPH02218022A (ja) | 1989-02-17 | 1990-08-30 | Ricoh Co Ltd | 分離型光ピックアップ装置 |
| DE69220262T2 (de) * | 1991-03-08 | 1997-09-18 | Matsushita Electric Ind Co Ltd | Einrichtung zur Datenübertragung |
| JPH05241095A (ja) | 1992-03-02 | 1993-09-21 | Matsushita Electric Ind Co Ltd | 光ディスクの球面収差の補正方法とそれを用いた光ヘッド |
| US6233702B1 (en) | 1992-12-17 | 2001-05-15 | Compaq Computer Corporation | Self-checked, lock step processor pairs |
| JPH06324281A (ja) | 1993-05-10 | 1994-11-25 | Ricoh Co Ltd | 光ピックアップ装置 |
| US5422893A (en) * | 1994-08-04 | 1995-06-06 | International Busines Machines Corporation | Maintaining information from a damaged frame by the receiver in a communication link |
| US5630056A (en) * | 1994-09-20 | 1997-05-13 | Stratus Computer, Inc. | Digital data processing methods and apparatus for fault detection and fault tolerance |
| JPH0963108A (ja) | 1995-08-28 | 1997-03-07 | Sony Corp | 光学ピックアップ装置 |
| JPH11144294A (ja) | 1997-11-07 | 1999-05-28 | Sony Corp | 光ピックアップ装置 |
| DE69804489T2 (de) * | 1997-11-14 | 2002-11-14 | Marathon Technologies Corp., Boxboro | Verfahren zur erhaltung von synchronisierter ausführung bei fehler-betriebssicheren/ fehlertoleranten rechnersystemen |
| JP3868119B2 (ja) | 1998-07-17 | 2007-01-17 | パイオニア株式会社 | 収差補正装置、非点収差測定方法及び光ピックアップ |
| US6151154A (en) * | 1998-03-12 | 2000-11-21 | Pioneer Electronic Corporation | Optical pickup, aberration correction unit and astigmatism measurement method |
| JP2002133697A (ja) | 2000-10-26 | 2002-05-10 | Asahi Glass Co Ltd | 光ヘッド装置 |
| JP2002342975A (ja) | 2000-12-28 | 2002-11-29 | Sony Corp | 光ディスク記録及び／又は再生装置及び収差調整方法 |
| MY130955A (en) * | 2000-12-28 | 2007-07-31 | Sony Corp | Optical disc recording and/or reproducing apparatus and aberration adjustment method. |
| JP3835526B2 (ja) | 2001-06-13 | 2006-10-18 | 日本電気株式会社 | 光ヘッド装置 |
-
2003
- 2003-04-21 JP JP2003115621A patent/JP4492035B2/ja not_active Expired - Lifetime
-
2004
- 2004-04-16 CA CA002464779A patent/CA2464779A1/en not_active Abandoned
- 2004-04-20 US US10/827,433 patent/US7821919B2/en not_active Expired - Fee Related
- 2004-04-20 EP EP04009315A patent/EP1477899B1/en not_active Expired - Lifetime
- 2004-04-20 DE DE602004024266T patent/DE602004024266D1/de not_active Expired - Lifetime
- 2004-04-21 CN CNB2004100451731A patent/CN1287284C/zh not_active Expired - Fee Related
- 2004-04-21 AU AU2004201674A patent/AU2004201674A1/en not_active Abandoned
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01154242A (ja) * | 1987-09-04 | 1989-06-16 | Digital Equip Corp <Dec> | 二重ゾーンの耐欠陥コンピュータシステム |
| JPH02264337A (ja) * | 1989-04-04 | 1990-10-29 | Nec Corp | データ転送制御方式 |
| JPH0471037A (ja) * | 1990-07-12 | 1992-03-05 | Toshiba Corp | 電子計算機の二重化方式 |
| JPH08278950A (ja) * | 1995-04-04 | 1996-10-22 | Hitachi Ltd | 多重化コンピュータシステムおよび障害回復方法 |
| JPH10154085A (ja) * | 1996-11-21 | 1998-06-09 | Fujitsu Ltd | 二重化された監視／制御プロセッサによるシステム監視・制御方法および二重化監視／制御プロセッサ・システム |
| JP2001526422A (ja) * | 1997-12-10 | 2001-12-18 | テレフオンアクチーボラゲツト エル エム エリクソン（パブル） | プロセッサに関連する方法と、その方法に基づく機能に適合したプロセッサ |
| JPH11296394A (ja) * | 1998-04-15 | 1999-10-29 | Nec Corp | 二重化情報処理装置 |
| JP2001290668A (ja) * | 2000-04-04 | 2001-10-19 | Koken:Kk | フォールトトレラント計算機及びこれを用いた通信システム |
Also Published As
| Publication number | Publication date |
|---|---|
| DE602004024266D1 (de) | 2010-01-07 |
| CN1287284C (zh) | 2006-11-29 |
| EP1477899A2 (en) | 2004-11-17 |
| JP2004326151A (ja) | 2004-11-18 |
| CN1540514A (zh) | 2004-10-27 |
| US7821919B2 (en) | 2010-10-26 |
| CA2464779A1 (en) | 2004-10-21 |
| EP1477899A3 (en) | 2008-06-11 |
| US20040208130A1 (en) | 2004-10-21 |
| EP1477899B1 (en) | 2009-11-25 |
| AU2004201674A1 (en) | 2004-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4492035B2 (ja) | データ処理装置 | |
| US6425033B1 (en) | System and method for connecting peripheral buses through a serial bus | |
| EP3035563B1 (en) | High performance optical repeater | |
| US7395485B2 (en) | Check codes mapped across multiple frames | |
| US7447953B2 (en) | Lane testing with variable mapping | |
| US7219294B2 (en) | Early CRC delivery for partial frame | |
| US7386768B2 (en) | Memory channel with bit lane fail-over | |
| US7383399B2 (en) | Method and apparatus for memory compression | |
| US9335373B2 (en) | Memory channel having deskew separate from redrive | |
| US7797575B2 (en) | Triple voting cell processors for single event upset protection | |
| WO2018125436A1 (en) | High speed interconnect with channel extension | |
| US7106742B1 (en) | Method and system for link fabric error detection and message flow control | |
| US20140281042A1 (en) | First-in-first-out queue-based command spreading | |
| US20040246767A1 (en) | Memory channel with unidirectional links | |
| US20040250024A1 (en) | Memory channel with hot add/remove | |
| US20040250153A1 (en) | Data signal redrive with dynamic sampling adjustment | |
| US7212423B2 (en) | Memory agent core clock aligned to lane | |
| US7200787B2 (en) | Memory channel utilizing permuting status patterns | |
| US7031258B1 (en) | Digital data system with link level message flow control | |
| WO2017014875A1 (en) | High performance repeater | |
| GB2399913A (en) | A fault tolerant multiple processing set computer system | |
| US20160255008A1 (en) | Separable transport layer in cache coherent multiple component microelectronic systems | |
| US20040246785A1 (en) | Memory channel with redundant presence detect | |
| US6829670B1 (en) | Using consecutive block IDs to keep track of data transferred across a serially linked bridge | |
| US20050268061A1 (en) | Memory channel with frame misalignment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060313 |
|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20070126 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20080526 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080903 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20091222 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100316 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100329 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4492035 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140416 Year of fee payment: 4 |