JP7477574B2 - メモリミラーリング装置、及びメモリミラーリング方法 - Google Patents

Description

本発明は、メモリミラーリング装置、及びメモリミラーリング方法に関し、特にミラーリングされたメモリから読み出した各チャネルの読み出しデータの到着時間がずれてもデータの読み出しを遅らせることなくデータの冗長性を確保する技術に関する。

近年のデータ量の増大に対応するため、コンピュータの処理能力（例えば、スループット）の向上が求められている。コンピュータの処理能力の向上を行うためには、メモリデータの高速化（高周波化）とメモリへリード命令が発行されてからリードデータをプロセッサへなるべく早くリプライすることが必須となる。このような、メモリデータの高速化に対応するため、１チャネル当たりの伝送速度を、マルチギガビット相当に高速化したメモリインターフェースがＪＥＤＥＣ（Joint Electron Device Engineering Council）によりＤＤＲ（Double Data Rate）として標準規格化されている。

しかし、メモリデータの高速化にともない、システムに搭載するメモリインターフェースを設計することが非常に困難になってきている。これに対し、ＤＤＲ等の標準規格に対応したメモリインターフェースマクロが、各社ＩＰ（Intellectual Property）ベンダーによって汎用ＩＰマクロとして販売されている。したがって、コンピュータシステムを構成する際に、このようなＤＤＲインターフェースに準拠した、既に実績のある汎用ＩＰ（メモリコントローラ、ＰＨＹ［物理インターフェース］）を外部購入して自身のシステムに組み込むことにより、メモリインターフェースを自作しなくとも、比較的容易かつ短期間で装置を作り上げることができるようになっている。

一方、近年のコンピュータには、可用性を高めるためにメモリミラーリングの機能を搭載するものがある。メモリミラーリングでは、２つのメモリに同一のデータを書き込むことにより冗長性を持たせる。ここで、２つのメモリのうちで一方のメモリに訂正不可能エラーが発生しデータが破損した場合でも、もう一方のメモリから読み込んだデータを使用することにより、データの消失を防ぐことができるようにしている。

図８は、第１の背景技術のメモリミラーリング機能を有するコンピュータ装置の一例を示すブロック図である。図８のコンピュータ装置１００は、ＣＰＵ（Central Processing Unit）１０１と、ＣＰＵコントローラ１０２、メモリコントローラ１０３、及び二つのメモリモジュール（第１メモリモジュール１０４ａ、第２メモリモジュール１０４ｂ）から構成される。

メモリコントローラ１０３は、ＣＰＵコントローラ１０２と接続されており、また、メモリモジュール（１０４ａ、１０４ｂ）とメモリ制御バス１０５ａ、１０５ｂ及びメモリデータバス１０６ａ、１０６ｂで接続されている。メモリコントローラ１０３は、ＣＰＵコントローラ１０２からのメモリアクセス要求に応じてメモリモジュール（１０４ａ、１０４ｂ）の読み書きを行う。

図９は、メモリコントローラ１０３がメモリモジュール（１０４ａ、１０４ｂ）からデータをリードする場合のタイミングチャートである。メモリコントローラ１０３は、時刻Ｔ１００とＴ１０１でメモリ制御バス１０５ａとメモリ制御バス１０５ｂに対して同一のアクティブコマンド、及び、リードコマンドを同一のタイミングで出力する。アクティブコマンド出力後、時刻Ｔ１０２になるとメモリデータバス１０６ａとメモリデータバス１０６ｂにメモリモジュール（１０４ａ、１０４ｂ）からリードデータが全く同一のタイミングで出力される。すなわち、図９に示すように、時刻Ｔ１０２になると、第１メモリモジュール１０４ａからリードデータＤ０、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６、Ｄ７が順に出力される。また時刻Ｔ１０２になると、第２メモリモジュール１０４ｂからリードデータＤ０、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６、Ｄ７が順に出力される。

メモリコントローラ１０３は、メモリデータバス１０６ａとメモリデータバス１０６ｂからデータを全く同一のタイミングで取り込む。このとき、エラーチェックを行い、訂正不可能エラーの検出を行う。ここで、一方のメモリデータバスから読み出したデータに訂正不可能エラーがある場合は、もう一方のメモリデータバスのデータを使用して、時刻Ｔ１０３でＣＰＵコントローラ１０２に対して、読み込みデータを出力する。以上のように、冗長化されたメモリモジュールから同一タイミングでリードしたデータを使用してメモリミラーリングを実現している。

図１０は、第２の背景技術のメモリミラーリング機能を有するコンピュータ装置の一例を示すブロック図である。図１０のコンピュータ装置２００は、ＣＰＵ（Central Processing Unit）２０１と、ＣＰＵコントローラ２０２、メモリコントローラ２０３、及び二つのメモリモジュール（第１メモリモジュール２０４ａ、第２メモリモジュール２０４ｂ）から構成される。

メモリコントローラ２０３は、ＣＰＵコントローラ２０２と接続されている。また、メモリコントローラ２０３は、メモリモジュール（２０４ａ、２０４ｂ）と、メモリ制御バス２０５ａ、２０５ｂ及びメモリデータバス２０６ａ、２０６ｂにより接続されている。メモリコントローラ２０３は、ＣＰＵコントローラ２０２からのメモリアクセス要求に応じてメモリモジュール（２０４ａ、２０４ｂ）の読み書きを行う。

図１０のコンピュータ装置２００のメモリコントローラ２０３は、データの読み出し順が異なるように、冗長化メモリモジュール（２０４ａ、２０４ｂ）に同一タイミングで読み出しコマンドを発行する。メモリモジュール（２０４ａ、２０４ｂ）は、読み出しコマンドの発行と並行して、それぞれ指定された順に同一タイミングでメモリデータバス２０６ａ、２０６ｂからデータを出力する。その結果、メモリコントローラ２０３には、メモリモジュール（２０４ａ、２０４ｂ）から同じ順番でデータを読み出した場合に比べて短い時間で、上位装置から指定された範囲のデータが揃うことになる。

図１１は、メモリコントローラ２０３がメモリモジュール（２０４ａ、２０４ｂ）からデータをリードする場合のタイミングチャートである。メモリコントローラ２０３は、時刻Ｔ２００とＴ２０１でデータの読み出し順が異なるように、メモリ制御バス２０５ａとメモリ制御バス２０５ｂに対して、アクティブコマンド、及び、リードコマンドを同一のタイミングで出力する。アクティブコマンド出力後、時刻Ｔ２０２になるとメモリデータバス２０６ａとメモリデータバス２０６ｂにメモリモジュール（２０４ａ、２０４ｂ）からリードデータが同一のタイミングで出力される。すなわち、図１１に示すように、時刻Ｔ２０２になると、第１メモリモジュール２０４ａからリードデータＤ０、Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６、Ｄ７が順に出力され、第２メモリモジュール２０４ｂからリードデータＤ４、Ｄ５、Ｄ６、Ｄ７、Ｄ０、Ｄ１、Ｄ２、Ｄ３が順に出力される。

メモリコントローラ２０３は、メモリデータバス２０６ａとメモリデータバス２０６ｂからデータを全く同一のタイミングで取り込む。このとき、エラーチェックを行い、訂正不可能エラーの検出を行う。ここで、訂正不可能なエラーがない場合には、時刻Ｔ２０３でＣＰＵコントローラ２０２に対して、読み込みデータを出力する。一方のメモリデータバスから読み出したデータに訂正不可能エラーがある場合は、もう一方のメモリデータバスのデータを使用して、時刻Ｔ２０４でＣＰＵコントローラ２０２に対して読み込みデータを出力する。したがって、二つのメモリモジュールから同じ順番でデータを読み出した場合に比べて２分の１の時間で、上位装置から指定された範囲のデータがメモリコントローラに揃う。以上のように、冗長化されたメモリモジュールから同一タイミングでリードしたデータを使用してメモリミラーリングを実現している。

特許文献１では、上述した図８、９の第１の背景技術や、図１０、１１の背景技術のような、メモリミラーリング機能を有するコンピュータが提案されている。また特許文献１では上述した図９の第１の背景技術のような二つのメモリモジュールから、同じ読み出し順でリードデータを読み出すことが提案されている。また特許文献１では上述した図１１の第２の背景技術のような二つのメモリモジュールから、データの読み出し順が異なるようにリードデータを読み出すことが提案されている。

特許文献２は、ミラーリング制御装置に関するものであり、書き込み対象のデータを分割して、その２つのデータをアドレスの値が１つ異なる各アドレスに対して格納すること、ミラーリングのためのメモリにも同様に分割したデータを格納することが提案されている。特許文献２では、アドレスに対して１を加えたアドレスに格納されたデータをメモリモジュールから読み出すことによって、より簡単なアドレスの制御でミラーリングを実現している。

特許文献３は、データを格納する記憶素子を複数含むメモリが二重化された二重化記憶装置に関するものである。特許文献３では、二重化されたメモリに対する制御に関する同期エラーやメモリから読み出されたデータに関する訂正不可能なビットエラーが検出されると、エラーが通知されていない方の系統を選択して、読み出されたデータとすることが提案されている。

特開２００８－１５８８０４号公報 特開２０１１－０４８７４２号公報 特開２００６－２６０１６０号公報

しかしながら、上述した背景技術のメモリミラーリングの方法にはいくつか課題がある。

第１の課題は、二つのメモリモジュールからのリードデータが異なるタイミングでリプライされた場合、メモリデータの冗長性を確保できない、ことである。この課題は、二つのメモリモジュールからのリードデータの到着時間が全く同一とならないケースが存在することに起因する。二つのメモリモジュールからのリードデータが異なるタイミングでリプライされると、一方のチャネルに訂正不可能エラーが生じた場合にデータ切り替えの際にデータ連続性が損なわれ、ＣＰＵへのリプライデータが不正になってしまう。近年のメモリインターフェースの高速化にともない、二つのメモリモジュールのリプライデータの到着時間を合わせるのは非常に困難でコストがかかる。さらに、メモリインターフェースとして汎用ＩＰ等を採用した場合、ＩＰ内部はブラックボックスのため、二つのメモリモジュールの到着時間を制御するのは非常に困難である。

第２の課題は、冗長化メモリモジュールへデータをライトする際のライト制御が複雑になるということである。この課題が発生する原因は、二つのメモリモジュールへのデータリードを同時に行わなければならないことに起因する。二つのメモリモジュールへのデータリードを同時に行わなければならないということは、データリード時に二つのメモリモジュールへのデータライトが完了している必要がある。したがって、二つのチャネルのライトの状態を管理しておき、メモリリード前に二つのチャネルのライト状態を確認する必要があるため制御が複雑になってしまう。

本発明の目的は、上述した課題を鑑み、二つのメモリモジュールからリードデータが異なるタイミングでリプライされても、ミラーリング冗長性を確保できるメモリミラーリング装置、及びメモリミラーリング方法を提供することにある。

前記目的を達成するため、本発明に係るメモリミラーリング装置は、
プロセッサからの書き込み指示に基づいて、第１メモリモジュール及び第２メモリモジュールに同一のデータを書き込むと共に、上記プロセッサからの読み出し指示に基づいて、上記第１メモリモジュール及び上記第２メモリモジュールからデータを読み出すメモリミラーリング装置であって、
入力されるデータ選択信号に基づいて、上記第１メモリモジュール及び上記第２メモリモジュールよりそれぞれ読み出されるデータのいずれかを選択するデータ選択部と、
上記データ選択部と上記第１メモリモジュールとの間に挿入され、上記第１メモリモジュールから読み出されたデータをデータ送出指示信号が指示するタイミングで上記データ選択部へデータ送出を行う第１チャネル制御部と、
上記データ選択部と上記第２メモリモジュールとの間に挿入され、上記第２メモリモジュールから読み出されたデータをデータ送出指示信号が指示するタイミングで上記データ選択部へデータ送出を行う第２チャネル制御部と、
上記第１メモリモジュール及び上記第２メモリモジュールから読み出されたデータの到着タイミング、上記読み出されたデータの訂正不可能エラーの有無、及び上記訂正不可能エラーのタイミングを監視し、この監視結果に基づいて、上記第１チャネル制御部及び上記第２チャネル制御部に上記データ送出指示信号を出力し、上記データ選択部に上記データ選択信号を出力するメモリミラーリング制御部と、を含む。

本発明に係るメモリミラーリング方法は、
プロセッサからの書き込み指示に基づいて、第１メモリモジュール及び第２メモリモジュールに同一のデータを書き込むと共に、上記プロセッサからの読み出し指示に基づいて、上記第１メモリモジュール及び上記第２メモリモジュールからデータを読み出すメモリミラーリング方法であって、
上記第１メモリモジュール及び上記第２メモリモジュールから読み出されたデータの到着タイミング、上記読み出されたデータの訂正不可能エラーの有無、及び上記訂正不可能エラーのタイミングを監視し、
この監視結果に基づいて、上記第１メモリモジュールから読み出されたデータ及び上記第２メモリモジュールから読み出されたデータの上記プロセッサへ向けた送出タイミングを指示すると共に、上記第１メモリモジュールから読み出されたデータ及び上記第２メモリモジュールから読み出されたデータのいずれを選択するか指示する。

本発明によれば、二つのメモリモジュールからリードデータが異なるタイミングでリプライされても、ミラーリング冗長性を確保することができる。

本発明の上位概念の実施形態のメモリミラーリング装置の構成を示すブロック図である。 本発明の一実施形態のメモリミラーリング装置の構成を示すブロック図である。 図１の実施形態のメモリミラーリング装置の動作を示すタイミングチャートであり、メモリリードデータ６ａ、６ｂのチャネル間のメモリリードデータ到着時間のずれがなくかつメモリリードデータ６ａ、６ｂのどちらにも訂正不可能エラーがない場合の動作を説明するためのタイミングチャートである。 図１の実施形態のメモリミラーリング装置の動作を示すタイミングチャートであり、メモリリードデータ６ａ、６ｂのチャネル間のメモリリードデータ到着時間のずれがメモリミラーリング制御部２３に設定したバースト転送のバースト長より小さい場合でかつメモリリードデータ６ａ、６ｂのどちらにも訂正不可能エラーがない場合の動作を説明するためのタイミングチャートである。 図１の実施形態のメモリミラーリング装置の動作を示すタイミングチャートであり、メモリリードデータ６ａ、６ｂのチャネル間のメモリリードデータ到着時間のずれがメモリミラーリング制御部２３に設定したバースト転送のバースト長より大きいか等しい場合でかつメモリリードデータ６ａ、６ｂのうち先に到着したデータに訂正不可能エラーがない場合の動作を説明するためのタイミングチャートである。 図１の実施形態のメモリミラーリング装置の動作を示すタイミングチャートであり、メモリリードデータ６ａ、６ｂのチャネル間のメモリリードデータ到着時間のずれがメモリミラーリング制御部２３に設定したバースト転送のバースト長より小さい場合でかつメモリリードデータ６ａ、６ｂのどちらか一方に訂正不可能エラーがある場合の動作を説明するためのタイミングチャートである。 図１の実施形態のメモリミラーリング装置の動作を示すタイミングチャートであり、メモリリードデータ６ａ、６ｂのチャネル間のメモリリードデータ到着時間のずれがメモリミラーリング制御部２３に設定したバースト転送のバースト長より大きいか等しい場合でかつメモリリードデータ６ａ、６ｂのうち先に到着したチャネルのメモリリードデータに訂正不可能エラーがある場合の動作を説明するためのタイミングチャートである。 第１の背景技術のメモリミラーリング機能を有するコンピュータ装置の構成の一例を示すブロック図である。 図８のメモリミラーリング機能を有するコンピュータの動作を示すタイミングチャートである。 第２の背景技術のメモリミラーリング機能を有するコンピュータ装置の一例を示すブロック図である。 図１０のメモリミラーリング機能を有するコンピュータの動作を示すタイミングチャートである。

〔上位概念の実施形態〕
初めに、本発明の上位概念の実施形態によるメモリミラーリング装置、及びメモリミラーリング方法について、説明する。図１は、本発明の上位概念の実施形態のミラーリング装置の一例としてのミラーリング制御装置の構成を示すブロック図である。

図１のメモリミラーリング装置６０は、図示しないプロセッサと、冗長化された二つのメモリモジュール（第１メモリモジュール、第２メモリモジュール）との間に接続されて、メモリミラーリング機能を有するコンピュータ装置を構成する。図１のメモリミラーリング装置６０は、データ複製部・データ選択部６１、第１チャネル制御部６２ａ、第２チャネル制御部６２ｂ、及びメモリミラーリング制御部６３を含んで構成される。なおここで、データ複製部・データ選択部６１はデータ選択部の一例である。

データ複製部・データ選択部６１は、二つのメモリモジュールへデータを書き込むためにデータを複製して、第１チャネル制御部６２ａ、第２チャネル制御部６２ｂへ出力する。データ複製部・データ選択部６１は、冗長化されたメモリモジュールからデータを読み出したときにプロセッサへ出力するデータを選択する。すなわちデータ複製部・データ選択部６１は、メモリミラーリング制御部６３から通知されたデータ選択信号７３に従い、冗長化されたリードデータ（図１の７１ａ、７１ｂ）のどちらか一方を選択してプロセッサへ向けてリードデータをリプライする。

第１チャネル制御部６２ａ、第２チャネル制御部６２ｂはそれぞれ、メモリミラーリング制御部６３からの指示に応じたタイミングで、データ送出を行う。すなわち第１チャネル制御部６２ａ、第２チャネル制御部６２ｂはそれぞれ、メモリミラーリング制御部６３からのデータ送出指示信号７２の通知に応答して、リードデータ（図１の７１ａ、７１ｂ）をプロセッサへ向けてリプライする。

メモリミラーリング制御部６３は、冗長化されたメモリモジュール（第１メモリモジュール、第２メモリモジュール）からリプライされたリードデータの到着タイミングとエラー検出結果およびエラータイミングを監視する。そしてメモリミラーリング制御部６３は、適切なタイミングでチャネル制御部（第１チャネル制御部６２ａ、第２チャネル制御部６２ｂ）へデータ送出指示を出すと共に、データ複製部・データ選択部６１へミラーリングされたデータの選択指示を出す。

これにより、図１のメモリミラーリング装置６０によれば、第１メモリモジュール、第２メモリモジュールのリードデータが異なるタイミングでリプライされた状態で一方のチャネルに訂正不可能エラーが生じても、正常で完全なデータをプロセッサへリプライすることが可能となる。

また、一方のメモリモジュール（第１メモリモジュールか、第２メモリモジュール）がメモリリフレッシュ等で一時的にアクセス不可能な場合、このメモリミラーリング制御部６３にあらかじめバースト転送のバースト長を指定しておくことで、二つのメモリモジュール（第１メモリモジュールか、第２メモリモジュール）からリプライされたリードデータの到着タイミングが大幅にずれた場合かつ先に到達したリードデータに訂正不可能エラーがない場合は、このデータを優先的にリプライするように適切なタイミングでチャネル制御部（図１の６２ａ、６２ｂ）へデータ送出指示を出す。なおここで、メモリミラーリング制御部６３にあらかじめ指定される、バースト転送のバースト長は、冗長化されたメモリモジュール（第１メモリモジュール、第２メモリモジュール）からリプライされたリードデータの到着タイミングのずれ量の大小を判定する判断基準の一例である。このデータ送出指示の発出と共に、データ複製部・データ選択部６１へミラーリングされたデータの選択指示を出す。これにより、たとえ、両チャネルのデータ到着が大幅にずれた場合でも、リードデータの正当性を確保しながら、なるべく早くデータをプロセッサにリプライすることが可能となり、コンピュータシステムの性能低下を防ぐことができる。以下、本発明のより具体的な実施形態について、図面を参照しながら詳細に説明する。

〔一実施形態〕
次に、本発明の一実施形態によるメモリミラーリング装置、及びメモリミラーリング方法について、説明する。

［構成の説明］
図２は、本発明の一実施形態によるメモリミラーリング装置の構成を説明するためのブロック図であり、図１のメモリミラーリング装置を含んで構成されたコンピュータ装置の構成を示す。図２のコンピュータ装置は、プロセッサ１と、冗長化された二つのメモリモジュール（第１メモリモジュール３ａ、第２メモリモジュール３ｂ）との間にメモリ制御部２が接続されて、メモリミラーリング機能を有するコンピュータ装置を構成する。

プロセッサ１は、メモリ制御部２を介してメモリモジュール（第１メモリモジュール３ａや、第２メモリモジュール３ｂ）に対してデータのライトかリードの要求を行うプロセッサである。

メモリ制御部２は、プロセッサ１からの要求にしたがい、実際にメモリモジュール（第１メモリモジュール３ａ、第２メモリモジュール３ｂ）へデータのメモリライトかメモリリードを行うメモリ制御部である。本実施形態のようなメモリミラーリング機能を有するコンピュータ装置では、プロセッサ１からの要求がライト要求の場合は、プロセッサ１から入力されたデータ４（ライトデータ）を複製してデータ６ａ（ライトデータ）とデータ６ｂ（ライトデータ）をそれぞれ第１メモリモジュール３ａと第２メモリモジュール３ｂにデータをライトする。本実施形態のようなメモリミラーリング機能を有するコンピュータ装置では、プロセッサ１からの要求がリード要求の場合は、第１メモリモジュール３ａと第２メモリモジュール３ｂからそれぞれ入力されたメモリリードデータ６ａと６ｂのどちらか一方を選択してデータ４（リードデータ）をプロセッサ１へリプライする。

本実施形態のようなメモリミラーリング機能を有するコンピュータ装置では、メモリモジュールは、第１メモリモジュール３ａと第２メモリモジュール３ｂに冗長化されており、同一データを記憶する。メモリ制御部２からライトアクセスがあれば、第１メモリモジュール３ａと第２メモリモジュール３ｂは同一データ（６ａ、６ｂ）をそれぞれ記憶する。メモリ制御部２から、リードアクセスがあれば第１メモリモジュール３ａと第２メモリモジュール３ｂに記憶した同一データ（６ａ、６ｂ）をそれぞれメモリ制御部２へリプライする。

次に、メモリ制御部２の詳細な構成について説明する。

メモリアクセス制御部２０は、プロセッサ１からのメモリアクセス要求を解析し、ライトアクセスかリードデータアクセスのどちらかを、メモリモジュール（第１メモリモジュール３ａ、第２メモリモジュール３ｂ）へ向けて要求する。

データ複製部・データ選択部２１は、メモリアクセス制御部２０からの要求がメモリライトアクセスの場合は、ミラーリング構成となるようにライトデータ（データ５０）を二つのデータ（５１ａ、５１ｂ）に複製し、それぞれ、第１チャネル制御部２２ａと、第２チャネル制御部２２ｂへライトデータを送出する。メモリアクセス制御部２０よりリード要求を受け付けた場合は、第１チャネル制御部２２ａと第２チャネル制御部２２ｂから入力されたリードデータ（データ５１ａ、５１ｂ）のどちらか一方をメモリミラーリング制御部２３から送出されたデータ選択信号５３にしたがい選択し、リードデータ（データ５０）をプロセッサ１へリプライする。

第１チャネル制御部２２ａと第２チャネル制御部２２ｂはメモリアクセス制御部２０からの要求がメモリライトアクセスの場合は、データ複製部・データ選択部２１で複製されたライトデータ（データ５１ａ、５１ｂ）を第１メモリコントローラ２４ａと第２メモリコントローラ２４ｂに送出する。第１チャネル制御部２２ａと第２チャネル制御部２２ｂは、メモリアクセス制御部２０からの要求がメモリリードアクセスの場合は、第１メモリコントローラ２４ａと第２メモリコントローラ２４ｂからリプライされたリードデータ（データ５４ａ、５４ｂ）を一時的にデータ保存しておく。さらに第１チャネル制御部２２ａと第２チャネル制御部２２ｂは、メモリミラーリング制御部２３から送出されたデータ送出指示信号５２にしたがい、指示のあったタイミングでデータ複製部・データ選択部２１へリードデータ（５１ａ、５１ｂ）を送出する。なお以下では、第１チャネル制御部２２ａ及び第２チャネル制御部２２ｂを、チャネル制御部（２２ａ、２２ｂ）と総称して、簡略化した記載とする場合がある。

第１メモリコントローラ２４ａと第２メモリコントローラ２４ｂは、メモリアクセス制御部２０からの要求がメモリライトアクセスの場合は、第１メモリモジュール３ａと第２メモリモジュール３ｂに対して、メモリライト要求を発行する。このメモリライト要求の発行は、メモリインターフェースのライトプロトコルに則り、メモリモジュールがアクセス可能となった場合にメモリライト要求を発行するもので、メモリアクセス要求で指示のあったアドレスにデータ（６ａ、６ｂ）をライトする。第１メモリコントローラ２４ａと第２メモリコントローラ２４ｂは、メモリアクセス制御部２０からの要求がメモリリードアクセスの場合は、第１メモリモジュール３ａと第２メモリモジュール３ｂに対して、メモリリード要求を発行する。このメモリリード要求の発行は、メモリインターフェースのリードプロトコルに則り、メモリモジュールがアクセス可能となった場合にメモリリード要求を発行するもので、メモリアクセス要求で指示のあったアドレスからデータ（６ａ、６ｂ）をリードする。

また、メモリアクセス制御部２０からの要求がメモリリードアクセスの場合は、第１メモリモジュール３ａと第２メモリモジュール３ｂから送出されたリードデータ（６ａ、６ｂ）に対し訂正不可能なエラーがないか、第１メモリコントローラ２４ａと第２メモリコントローラ２４ｂは確認する。なお以下では、第１メモリコントローラ２４ａ及び第２メモリコントローラ２４ｂを、メモリコントローラ（２４ａ、２４ｂ）と総称して、簡略化した記載とする場合がある。リードデータに訂正不可能エラーがない場合は、メモリコントローラ（２４ａ、２４ｂ）は、リードデータをそのままチャネル制御部（２２ａ、２２ｂ）へリプライする。このチャネル制御部（２２ａ、２２ｂ）へのリプライと同時に、メモリコントローラ（２４ａ、２４ｂ）は、エラー検出結果（エラーがなかったこと）をメモリミラーリング制御部２３へ通知する。

メモリコントローラ（２４ａ、２４ｂ）がリードデータ（６ａ、６ｂ）に訂正可能なエラーを検出したときは、メモリコントローラ（２４ａ、２４ｂ）はこのエラーを訂正する。その後、メモリコントローラ（２４ａ、２４ｂ）は、訂正したデータをチャネル制御部（２２ａ、２２ｂ）へリプライすると同時に、エラー検出結果（訂正可能エラーの検出）をメモリミラーリング制御部２３へ通知する。

メモリコントローラ（２４ａ、２４ｂ）がリードデータ（６ａ、６ｂ）に訂正不可能なエラーを検出した場合は、リードデータをそのままチャネル制御部（２２ａ、２２ｂ）へリプライすると同時に、エラー検出結果（訂正不可能エラーの検出）をメモリミラーリング制御部２３へ通知する。

メモリミラーリング制御部２３は、メモリアクセス制御部２０からの要求がメモリライトアクセスの場合は、何も動作しない。メモリアクセス制御部２０からの要求がメモリリードアクセスの場合は、第１メモリコントローラ２４ａと第２メモリコントローラ２４ｂから送出されたリードデータ（５４ａ、５４ｂ）のリードデータ到着タイミングとエラー検出結果およびエラータイミングを監視して、その状態に応じて第１チャネル制御部２２ａと第２チャネル制御部２２ｂに対して適切なタイミングでデータ送出指示信号５２を送出しリードデータの送出を指示する。また、同様にデータ複製部・データ選択部２１に対して適切なタイミングでデータ選択信号５３を送出してメモリリードデータ５１ａ、５１ｂの選択を指示する。

メモリミラーリング制御部２３からデータ複製部・データ選択部２１に送出するデータ選択信号５３は、リードデータ（５４ａ、５４ｂ）のどちらか一方に訂正不可能エラーがあった場合、エラーデータ検出以降は常にエラーがなかったチャネルのみを選択するようにしてもよい。またリードデータ（５４ａ、５４ｂ）のどちらか一方に訂正不可能エラーがあった場合には、エラーデータ検出以降は常にエラーがなかったチャネルのみを選択するのではなく、エラーデータ検出時のみエラーがなかったチャネルを選択するようにしてもよい。

リードデータ（５４ａ、５４ｂ）のチャネル間のリードデータ到着時間のずれ量を判断基準（しきい値）と比較することなどによって、ミラーリング制御の内容を異ならせる。判断基準（しきい値）の一例としては、バースト転送のバースト長が想定され、メモリミラーリング制御部２３にあらかじめバースト転送のバースト長が指定される。

より具体的には、リードデータ（５４ａ、５４ｂ）のチャネル間のリードデータ到着時間のずれがメモリミラーリング制御部２３にあらかじめ設定したバースト転送のバースト長より小さい場合でかつリードデータ（５４ａ、５４ｂ）のどちらにも訂正不可能エラーがない場合は、両チャネルのリードデータが揃うまでリードデータの到着を待ち合わせて、両チャネルのリードデータが揃ったタイミングで第１チャネル制御部２２ａと第２チャネル制御部２２ｂへデータ送出指示信号５２を送出してリードデータの送出指示を出す。また、それと同時にデータ複製部・データ選択部２１に対してどちらか一方のメモリリードデータ５１ａ、５１ｂを選択するようにデータ選択信号５３を送出しリードデータの選択を指示する。

リードデータ（５４ａ、５４ｂ）のチャネル間のリードデータ到着時間のずれがメモリミラーリング制御部２３にあらかじめ設定したバースト転送のバースト長より大きいか等しい場合でかつリードデータ（５４ａ、５４ｂ）のうち先に到着したデータに訂正不可能エラーがない場合は、後続のリードデータの到着を待たずに先に到着したリードデータが指定したバースト長に達した時点で第１チャネル制御部２２ａと第２チャネル制御部２２ｂへデータ送出指示信号５２を送出してリードデータの送出指示を出す。また、それと同時にデータ複製部・データ選択部２１に対して先に到着したチャネルのリードデータを選択するようにデータ選択信号５３を送出しリードデータの選択を指示する。その結果、両チャネルのリードデータの到着が大幅にずれた場合でも、なるべく早くリードデータをプロセッサ１にリプライすることが可能となり、システムの性能低下を防ぐことができる。

リードデータ（５４ａ、５４ｂ）のチャネル間のリードデータ到着時間のずれがメモリミラーリング制御部２３にあらかじめ設定したバースト転送のバースト長より小さい場合でかつリードデータ（５４ａ、５４ｂ）のどちらか一方に訂正不可能エラーがあった場合は、両チャネルのリードデータが揃うまでリードデータの到着を待ち合わせて、両チャネルのリードデータが揃ったタイミングでチャネル制御部（２２ａ、２２ｂ）へデータ送出指示信号５２を送出してリードデータの送出指示を出す。また、それと同時にデータ複製部・データ選択部２１に対して訂正不可能エラーがないほうのチャネルを選択するようにデータ選択信号５３を送出しリードデータの選択を指示する。その結果、エラーないチャネルのリードデータがプロセッサ１へリプライされ、チャネル間のリードデータ到着時間にずれがあっても、リードデータの正当性を確保することが可能となる。

リードデータ（５４ａ、５４ｂ）のチャネル間のリードデータ到着時間のずれがメモリミラーリング制御部２３にあらかじめ設定したバースト転送のバースト長より大きいか等しい場合でかつリードデータ（５４ａ、５４ｂ）のうち後に到着したチャネルのリードデータに訂正不可能エラーがあった場合は、後続のリードデータの到着を待たずに先に到着したリードデータが指定したバースト長に達した時点で第１チャネル制御部２２ａと第２チャネル制御部２２ｂへデータ送出指示信号５２を送出してリードデータの送出指示を出す。また、それと同時にデータ複製部・データ選択部２１に対して先に到着したチャネルのリードデータを選択するようにデータ選択信号５３を送出しリードデータの選択を指示する。その結果、後続の訂正不可能エラーがあるリードデータは破棄され、エラーがないリードデータがプロセッサ１へリプライされる。たとえチャネル間のリードデータ到着時間に大幅なずれがあっても、リードデータの正当性を確保しながら、なるべく早くリードデータをプロセッサ１にリプライすることが可能となり、システムの性能低下を防ぐことができる。

リードデータ（５４ａ、５４ｂ）のチャネル間のリードデータ到着時間のずれがメモリミラーリング制御部２３にあらかじめ設定したバースト転送のバースト長より大きいか等しい場合でかつリードデータ（５４ａ、５４ｂ）のうち先に到着したチャネルのリードデータに訂正不可能エラーがあった場合は、後続の訂正不可能エラーがないほうのチャネルのデータの到着を待ち、訂正不可能エラーのないチャネルのデータが到着したら第１チャネル制御部２２ａと第２チャネル制御部２２ｂへデータ送出指示信号５２を送出してリードデータの送出指示を出す。また、それと同時にデータ複製部・データ選択部２１に対して訂正不可能エラーがないほうのチャネルを選択するようにデータ選択信号５３を送出しリードデータの選択を指示する。その結果、エラーがないリードデータがプロセッサ１へリプライされ、たとえチャネル間のリードデータ到着時間に大幅なずれがあっても、リードデータの正当性を確保できる。

また、リードデータ（５４ａ、５４ｂ）のどちらか一方に訂正不可能エラーがあった場合に、エラーデータ検出以降は常にエラーがなかったチャネルのみを選択するようにする場合は、エラーがなかったチャネルにデータが到着次第、チャネル制御部（２２ａ、２２ｂ）へデータ送出指示信号５２を送出してリードデータの送出指示を出すことで、なるべく早くリードデータをプロセッサ１にリプライすることが可能となる。

以上のように、冗長化されたメモリモジュール（３ａ、３ｂ）からリプライされたリードデータの到着タイミングとエラー検出結果およびエラータイミングをメモリミラーリング制御部２３によって監視し、それぞれ適切なタイミングでチャネル制御部（２２ａ、２２ｂ）へデータ送出指示を出すと同時にデータ複製部・データ選択部２１へミラーリングされたデータの選択指示を出すことで、たとえリードデータが異なるタイミングでリプライされた状態で一方のチャネルに訂正不可能エラーが生じても、正常で完全なデータをプロセッサ１へリプライすることが可能となる。

また、一方のメモリモジュール（第１メモリモジュール３ａか、第２メモリモジュール３ｂ）がメモリリフレッシュ等で一時的にアクセス不可能な場合、メモリミラーリング制御部２３にあらかじめバースト転送のバースト長を指定しておくことで、チャネル間のリードデータ到着時間のずれが指定したバースト長に達した場合、先に到達したリードデータに訂正不可能エラーがない場合はこのデータを優先的にプロセッサ１にリプライするようにチャネル制御部（２２ａ、２２ｂ）へデータ送出指示を出すと同時にとデータ複製部・データ選択部２１へミラーリングされたデータの選択指示を出すことで、たとえリードデータの到着タイミングが大幅にずれた場合でも、リードデータの正当性を確保しながら、なるべく早くデータをプロセッサ１にリプライする。

［動作の説明］
次に図２のミラーリング装置について、図３から図７のタイミングチャートを用いて詳細に説明する。

一例として、図３から図７のタイミングチャートは全て、メモリミラーリング制御部２３にバースト転送のバースト長を４に設定した場合の例を示している。図３から図７の“Ｄ０”から“Ｄ７”は、エラーのない正常なデータを示す。また、“Ｘ”は不定データ、“ＥＥ”は訂正不可能エラーがある場合のエラーデータを示す。ここで、メモリリードデータ６ａとメモリリードデータ６ｂのデータは全く同一であるが、説明を明快にするためメモリリードデータ６ｂのデータには「’」をつけて表記している。

図３から図７は、プロセッサ１からリード要求があった場合のメモリモジュール（第１メモリモジュール３ａ、第２メモリモジュール３ｂ）から出力されたリードデータ信号の各波形変化を示す。メモリリードデータ６ａは第１メモリモジュール３ａから出力されたデータ、メモリリードデータ６ｂは第２メモリモジュール３ｂから出力されたデータである。リプライデータ５０は、データ複製部・データ選択部２１から出力されたデータを示している。また、データ送出指示信号５２は、メモリミラーリング制御部２３から第１チャネル制御部２２ａと第２チャネル制御部２２ｂへ送出される制御信号である。本実施形態では、このデータ送出指示信号５２がＨになったら、次のクロックからリードデータをメモリミラーリング制御部２３に設定したバースト転送のバースト長分のデータ（本実施形態では４クロック分のデータ）だけ、チャネル制御部２２ａ、２２ｂからデータ複製部・データ選択部２１へ出力する。データ選択信号５３は、メモリミラーリング制御部２３からデータ複製部・データ選択部２１へ送出される制御信号である。本実施形態では、このデータ選択信号５３がＬの場合は、第１チャネル制御部２２ａから入力されたメモリリードデータ５１ａを選択してプロセッサ１へリプライすることとして説明する。そして本実施形態では、このデータ選択信号５３がＨの場合は、第２チャネル制御部２２ｂから入力されたリードデータ５１ｂを選択してプロセッサ１へリプライすることとして説明する。

本実施形態では、メモリリードデータ６ａ、６ｂのどちらか一方に訂正不可能エラーがあった場合、エラーデータ検出以降は常にエラーがなかったチャネルのみを選択するようにする場合を記載するが、実施形態としてはエラーデータ検出時のみエラーがなかったチャネルを選択するようにしてもよい。

（メモリリードデータのリプライタイミングが全く同一で、かつメモリリードデータのどちらにも訂正不可能エラーがない場合）
図３は、第１メモリモジュール３ａからのメモリリードデータ６ａと第２メモリモジュール３ｂからのメモリリードデータ６ｂのリプライタイミングが全く同一で、かつメモリリードデータ６ａ、６ｂのどちらにも訂正不可能エラーがない場合のタイミングチャートである。図３の例ではメモリリードデータ６ａ、６ｂのリプライタイミングが全く同一のため、時刻Ｔ０、Ｔ１で両チャネルのデータが揃い、データ送出指示信号５２がＨになる。その結果、その次のクロックからチャネル制御部（２２ａ、２２ｂ）からデータ複製部・データ選択部２１へメモリリードデータ５１ａ、５１ｂの送出がそれぞれ始まる。一方、データ選択信号５３は、ミラーリングされたデータのどちらにも訂正不可能エラーがないためＬから変化しない。図３の動作例の場合は、ミラーリングされたデータのどちらにも訂正不可能エラーがないため、どちらを選択しても問題はない（図４の例でも同様）。その結果、例えば第１メモリモジュール３ａからリードされたメモリリードデータ６ａがデータ複製部・データ選択部２１で選択され、プロセッサ１へリプライデータ（５０）としてリプライされる。

（メモリリードデータのリプライタイミングが異なるが、チャネル間のリードデータ到着時間のずれがメモリミラーリング制御部に設定したバースト転送のバースト長より小さい場合で、かつメモリリードデータのどちらにも訂正不可能エラーがない場合）
図４は、第１メモリモジュール３ａからのメモリリードデータ６ａと第２メモリモジュール３ｂからのメモリリードデータ６ｂのチャネル間のリードデータ到着時間のずれがメモリミラーリング制御部２３に設定したバースト転送のバースト長より小さい場合でかつメモリリードデータ６ａ、６ｂのどちらにも訂正不可能エラーがない場合のタイミングチャートである。図４の例では、チャネル間のリードデータ到着時間のずれがメモリミラーリング制御部２３に設定したバースト転送のバースト長より小さいので、時刻Ｔ２、Ｔ３で両チャネルのデータが揃い、データ送出指示信号５２がＨになる。その結果、その次のクロックからチャネル制御部（２２ａ、２２ｂ）からデータ複製部・データ選択部２１へメモリリードデータ５１ａ、５１ｂの送出がそれぞれ始まる。一方、ミラーリングされたデータ（メモリリードデータ６ａ、６ｂ）のどちらにも訂正不可能エラーがないため、データ選択信号５３はＬから変化しない。その結果、例えば第１メモリモジュール３ａからリードされたメモリリードデータ６ａがデータ複製部・データ選択部２１で選択され、プロセッサ１へリプライデータ（５０）としてリプライされる。

（メモリリードデータのリプライタイミングが異なり、チャネル間のリードデータ到着時間のずれがメモリミラーリング制御部に設定したバースト転送のバースト長より大きいか等しい場合で、かつメモリリードデータのうち先に到着したデータに訂正不可能エラーがない場合）
図５は、メモリリードデータ６ａ、６ｂのチャネル間のメモリリードデータ到着時間のずれがメモリミラーリング制御部２３に設定したバースト転送のバースト長より大きいか等しい場合でかつメモリリードデータ６ａ、６ｂのうち先に到着したデータに訂正不可能エラーがない場合のタイミングチャートである。図５の例では時刻Ｔ４、Ｔ５で両チャネルのリードデータの到着時間のずれがメモリミラーリング制御部２３に設定したバースト転送のバースト長に達するため、データ送出指示信号５２がＨになる。その結果、その次のクロックからチャネル制御部（２２ａ、２２ｂ）からデータ複製部・データ選択部２１へ、メモリリードデータ５１ａ、５１ｂの送出がそれぞれ始まる。ここで、メモリリードデータ５１ａはデータ送出指示信号５２がＨになった時点で、まだリードデータが到着していないため不定データ“Ｘ”が出力される。一方、データ選択信号５３は時刻Ｔ４、Ｔ５で先に到着したメモリリードデータ５１ｂを選択するためＨに変化する。その結果、第２メモリモジュール３ｂからリードされたメモリリードデータ５１ｂがデータ複製部・データ選択部２１で選択され、プロセッサ１へリプライデータ（５０）としてリプライされる。

（チャネル間のリードデータ到着時間のずれがメモリミラーリング制御部に設定したバースト転送のバースト長より小さい場合で、メモリモジュールからのリードデータのどちらか一方に訂正不可能エラーがある場合）
次に、メモリモジュールからのリードデータのどちらか一方に訂正不可能エラーがある場合の動作例を以下に示す。

図６は、メモリリードデータ６ａ、６ｂのチャネル間のメモリリードデータ到着時間のずれがメモリミラーリング制御部２３に設定したバースト転送のバースト長より小さい場合でかつメモリリードデータ６ａ、６ｂのどちらか一方に訂正不可能エラーがある場合のタイミングチャートである。図６の例では、メモリリードデータ６ａに訂正不可能なエラーがある場合の例を示している。図６の例では時刻Ｔ６、Ｔ８で両チャネルのデータが揃い、データ送出指示信号５２がＨになる。その結果、その次のクロックからチャネル制御部（２２ａ、２２ｂ）からデータ複製部・データ選択部２１へメモリリードデータ５１ａ、５１ｂの送出がそれぞれ始まる。一方、メモリミラーリング制御部２３では、メモリリードデータ６ａの訂正不可能エラーを検知して、データ”Ｄ２”以降はメモリリードデータ５１ｂを選択するようにデータ選択信号５３をＴ７のタイミングでＨに切り替える。その結果、Ｔ７のタイミング以降は第２メモリモジュール３ｂからリードされたメモリリードデータ５１ｂがデータ複製部・データ選択部２１で選択され、プロセッサ１へリプライデータ（５０）としてリプライされる。以上の動作により、メモリリードデータ６ａ、６ｂの到着時間のずれがあり、メモリリードデータのどちらか一方に訂正不可能エラーがあった場合でも、データの完全性を確保できる。

（チャネル間のリードデータ到着時間のずれがメモリミラーリング制御部に設定したバースト転送のバースト長より大きいか等しい場合で、先に到着したチャネルのメモリリードデータに訂正不可能エラーがある場合）
図７はメモリリードデータ６ａ、６ｂのチャネル間のメモリリードデータ到着時間のずれがメモリミラーリング制御部２３に設定したバースト転送のバースト長より大きいか等しい場合でかつメモリリードデータ６ａ、６ｂのうち先に到着したチャネルのメモリリードデータに訂正不可能エラーがある場合のタイミングチャートである。図７の例では時刻Ｔ９で両チャネルのリードデータの到着時間のずれがメモリミラーリング制御部２３に設定したバースト転送のバースト長に達するが、先に到着したメモリリードデータ６ａに訂正不可能エラーが含まれるためデータ送出指示信号５２はＬのままでデータ送出指示は行わない。メモリミラーリング制御部２３では、メモリリードデータ６ａの訂正不可能エラーを検知して、メモリリードデータ５１ｂを選択するようにデータ選択信号５３をメモリミラーリング制御部２３に設定したしきい値分のデータを受信した後のＴ９のタイミングでＨに切り替える。次に、遅れてメモリリードデータ６ｂが到着するとデータ送出指示信号５２はリードデータが到着すると同時にＴ１０、Ｔ１１のタイミングでＨとなる。その結果、その次のクロックからチャネル制御部（２２ａ、２２ｂ）からデータ複製部・データ選択部２１へメモリリードデータ５１ａ、５１ｂの送出がそれぞれ始まる。データ選択信号５３はＴ９のタイミングでＨとなっているので、第２メモリモジュール３ｂからリードされたメモリリードデータ５１ｂがデータ複製部・データ選択部２１で選択され、プロセッサ１へリプライデータ（５０）としてリプライされる。以上の動作により、メモリリードデータ６ａ、６ｂの到着時間の大幅なずれがあり、メモリリードデータのどちらか一方に訂正不可能エラーがあった場合でも、データの完全性を確保できる。

（実施形態の効果）
図２に示される本実施形態のメモリミラーリング機能を有するコンピュータ装置によれば、次のような特有の効果を奏する。

第１の効果は、冗長化されたメモリモジュール（３ａ、３ｂ）からリプライされるリードデータの到着タイミングがずれていても、リードデータの冗長性を確保しメモリミラーリングを実現できることである。その理由は、メモリミラーリング制御部２３がリードデータの到着タイミングと訂正不可能エラーの有無およびエラータイミングを監視し、適切なタイミングでチャネル制御部（２２ａ、２２ｂ）にデータ送出指示を行うと共に、データ複製部・データ選択部２１にデータ選択指示を行う機能を有するためである。

第２の効果は、メモリミラーリング装置の開発が容易になることである。その理由は、高速動作するメモリインターフェースのタイミングを、二つのチャネル間で厳密に合わせる必要がないためである。本実施形態のメモリミラーリング制御部２３がリードデータの到着タイミングと訂正不可能エラーの有無およびエラータイミングを監視し、適切なタイミングでチャネル制御部（２２ａ、２２ｂ）にデータ送出指示を行うと共に、データ複製部・データ選択部２１にデータ選択指示を行う機能を有するためである。

第３の効果は、メモリモジュール制御が簡単にできることである。その理由は、メモリモジュールのメモリリフレッシュ等のタイミングを、二つのチャネル間で厳密に合わせる必要がないためである。メモリミラーリング制御部２３がリードデータの到着タイミングと訂正不可能エラーの有無およびエラータイミングを監視し、適切なタイミングでチャネル制御部（２２ａ、２２ｂ）にデータ送出指示を行うと共に、データ複製部・データ選択部２１にデータ選択指示を行う機能を有するためである。

第４の効果は、一方のメモリモジュールがメモリリフレッシュ等で一時的にアクセス不可能な状態に陥り、冗長化されたメモリモジュールからリプライされるリードデータの到着タイミングが大幅にずれても、後続のデータの到着を待たずしてリードデータの正当性を確保しながらリードデータを早くリプライすることができる（システムの性能低下を防ぐことができる）ことである。その理由は、メモリミラーリング制御部２３にあらかじめバースト転送のバースト長を指定しておくことで、先に到達したチャネルのリードデータに訂正不可能エラーがない場合はチャネル間のリードデータ到着時間のずれが指定したバースト長に達した場合、後続のチャネルのデータの到着を待つことなくチャネル制御部にデータ送出指示を行うと共に、データ複製部・データ選択部２１にデータ選択指示を行う機能を有するためである。

第５の効果は、冗長化されたメモリモジュールへデータをライトする際のライト制御を簡単にできることである。その理由は、冗長化されたメモリモジュール（３ａ、３ｂ）からリプライされるリードデータの到着時間を合わせるためには、メモリリード時に冗長化されたメモリモジュールへのライトデータのライトが確実に完了している必要があるためライトも同一タイミングで行う必要がある。これに対し、本発明の上述した実施形態のメモリミラーリング装置では、そもそもリードデータの到着時間を厳密に合わせる必要がないためである。

（実施形態のまとめ）
特許文献１乃至特許文献３はいずれも、冗長化されたメモリモジュールからリプライされるリードデータの到着タイミングが揃っていることを、前提とした技術である。例えば、図９や図１１に示される背景技術では、同一の時刻に同一のアクティブコマンド、及び、リードコマンドを同一のタイミングで出力するのに応答して、二つのメモリモジュールからはリードデータが全く同一のタイミングで出力される、ことを前提としている。

この前提を元に、特許文献１乃至特許文献３ではデータ冗長性を確保している。このため、二つのメモリモジュールからリプライされるリードデータの到着タイミングが完全に同時でなければ、データ冗長性を確保することができない。

例えば、図１１に示される背景技術では、決められたタイミング（例えば、時刻Ｔ２０３およびＴ２０４）でしか、メモリコントローラ２０３からＣＰＵコントローラ２０２へデータをリプライできない。このため図１１に示される背景技術において、（発明が解決しようとする課題）で言及したような、冗長化されたメモリモジュールからのリードデータが異なるタイミングでリプライされるといった不測のずれが生じてしまうと、データの冗長性を確保することができない。その理由は、メモリコントローラ２０３からＣＰＵコントローラ２０２へのデータ送出のタイミング時に、必要なデータが揃わないためである。またデータ送出のタイミング時に必要なデータが揃わないため、送出されるはずの本来必要なデータすら欠落してしまうこととなる。

現実のコンピュータ装置やメモリミラーリング装置においては、冗長化されたメモリモジュールからリプライされるリードデータの到着タイミングのずれが無視できない。この到着タイミングのずれの主な要因としては、コンピュータ装置やメモリミラーリング装置を構成するコンポーネントの次に列挙する差が考えられる。例えば、コンポーネントのボード上のデータ信号のチャネル間の配線長の差、コンポーネントのＬＳＩ（Large Scale Integrated circuit）内部のデータ信号のチャネル間の配線長の差、コンポーネントのＬＳＩ内部のクロック信号のチャネル間の配線長の差、などである。また、コンポーネントのＬＳＩ内部のリセット信号のチャネル間の配線長の差、これと関連するチャネル間のリセット解除タイミングの差、などである。

冗長化されたメモリモジュールからリプライされるリードデータについて、チャネル間でリプライデータの到着タイミングのずれを生じさせないためには、少なくともこれらのチャネル間の配線長の差（上記列挙した配線長の差の合計値）を時間に換算して１クロック（数百ｐｓ）以下にする必要がある。近年のメモリインターフェースの高速化により、これらのチャネル間の配線長の差（上記列挙した配線長の差の合計値）を１クロック以内とするように製造することは、非常に困難であると考えられる。また、仮にできたとしても、莫大な時間とコストがかかると思われる。

これに対して、上述した本発明の実施形態によるメモリミラーリング装置やメモリミラーリング方法によれば、上述したチャネル間の配線長の差（上記列挙した配線長の差の合計値）を１クロック以内とするようなコンポーネントの製造を必要とせずに、リードデータの冗長性を確保してメモリミラーリングを実現できることである。すなわち、冗長化されたメモリモジュールからリプライされるリードデータについて、チャネル間でリプライデータの到着タイミングのずれが生じていても、適切なタイミングでチャネル制御部（２２ａ、２２ｂ）にデータ送出指示を行うと共に、データ複製部・データ選択部２１にデータ選択指示を行うことによって、リードデータの冗長性を確保してメモリミラーリングを実現できる。

インターフェースが高速化すれば、当然、許容される配線長差もますます小さくなる。したがって、今後のデータ容量の増大、メモリインターフェースの高速化を考えると、チャネル間でリプライデータの到着タイミングのずれをなくすことは、ますます厳しくなるものと考えられる。したがって、上述した本発明のメモリミラーリング装置やメモリミラーリング方法は、今後ますます重要になると考えられる。

また、汎用ＩＰマクロを外部購入し、汎用ＩＰのＤＤＲコントローラを使用して、コンピュータシステムを構成する場合、メモリの訂正不可能エラーの有無にかかわらず、次に列挙する要因により、チャネル間でリプライデータの到着タイミングのずれが生じる可能性がある。例えば、初期化時に行うＤＤＲトレーニングのクロック調整結果の差、ＤＤＲコントローラから定期的に挿入されるメモリリフレッシュのチャネル間のタイミング差、ＤＤＲコントローラから定期的に挿入されるキャリブレーションのチャネル間のタイミング差などである。

汎用ＩＰは通常１チャネル分の機能しかないため、ミラーリングする場合はそれを２チャネル分並べて使用することになる。チャネル間でリプライデータの到着タイミングのずれを生じさせないためには、少なくとも上記ＤＤＲトレーニングのクロック調整処理などをチャネル間で全く同一かつ同時に行う必要がある。ＤＤＲトレーニングは初期化時に、ＤＤＲインターフェースのデータとデータストローブおよびクロックエッジの位相を合わせる処理である。データストローブおよびクロックエッジとデータ位相が微妙な位相関係の場合は、その調整方法によってはリードデータのリプライタイミングに差が出る場合がある。汎用ＩＰの場合、内部はブラックボックスであり、汎用ＩＰベンダー独自のアルゴリズムでこのＤＤＲトレーニング処理が行われる。製造ウェハおよび製造ボードの出来具合い・周囲の温度・印加電圧等の要因により、トレーニング開始時のクロックエッジとデータ位相が微妙な位相関係になった場合は、二つのチャネル間で調整結果が必ず同じになっていると言い切ることができない。

メモリリフレッシュやキャリブレーションに関しては、その処理の間はデータ通信が止まるので、リフレッシュやキャリブレーションに入るタイミングを二つのチャネルで全く同時にする必要がある。しかしながら、汎用ＩＰの場合は、内部はブラックボックスであり、汎用ＩＰベンダー独自のアルゴリズムでそれらを行っているため、全く同じデータを送受信したとしても、リセット解除タイミングのずれやその他アナログ的な要因によっても、二つのチャネル間で必ずリフレッシュやキャリブレーションに入るタイミングにずれがないと言い切ることができない。

これに対し、上述した実施形態のメモリミラーリング装置６０やメモリミラーリング装置６０を含んで構成されたコンピュータ装置では、メモリミラーリング制御部２３にてそのエラー検出結果およびエラータイミングと冗長化された第１チャネルと第２チャネルのリードデータの到着時間（到着状況）を監視する。一実施形態では、冗長化されたメモリモジュール（３ａ、３ｂ）からリードしたデータの訂正不可能エラーの検出をメモリコントローラ（２４ａ、２４ｂ）で行っている。メモリミラーリング制御部２３が、上記監視結果に基づいて、適切なタイミングでチャネル制御部（２２ａ、２２ｂ）へデータ送出指示を出すと同時に、データ複製部・データ選択部２１へ適切なタイミングでミラーリングされたデータの選択指示を送出する。その結果、たとえ、どちらかのチャネルのデータに訂正不可能エラーがあるといった場合、チャネル間のデータ到着タイミングがずれた場合でも、データの正当性（冗長性）を確保することが可能となる。

以上、本発明の好ましい実施形態を説明したが、本発明はこれらに限定されるものではない。例えば、上述した実施形態では、冗長化されたメモリモジュール（３ａ、３ｂ）からリードしたデータの訂正不可能エラーの検出をメモリコントローラ（２４ａ、２４ｂ）で行い、メモリミラーリング制御部２３がエラー検出結果をメモリコントローラ（２４ａ、２４ｂ）から受け取ることとして説明したが、この役割分担には限られない。上述した実施形態のメモリコントローラ（２４ａ、２４ｂ）とメモリミラーリング制御部２３とが、コンピュータ装置を構成するコンポーネントやモジュールの一つして一体化される態様も想定される。また、メモリミラーリング制御部２３は、メモリモジュール（３ａ、３ｂ）からリードしたデータの訂正不可能エラーの有無、エラータイミング及びリードデータの到着時間（到着状況）を監視することによって、適切なタイミングでチャネル制御部（２２ａ、２２ｂ）及びデータ複製部・データ選択部２１を制御することができる。特許請求の範囲に記載した発明の範囲内で、種々の変形が可能であり、それらも本発明の範囲に含まれることはいうまでもない。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）プロセッサからの書き込み指示に基づいて、第１メモリモジュール及び第２メモリモジュールに同一のデータを書き込むと共に、前記プロセッサからの読み出し指示に基づいて、前記第１メモリモジュール及び前記第２メモリモジュールからデータを読み出すメモリミラーリング装置であって、
入力されるデータ選択信号に基づいて、前記第１メモリモジュール及び前記第２メモリモジュールよりそれぞれ読み出されるデータのいずれかを選択するデータ選択部と、
前記データ選択部と前記第１メモリモジュールとの間に挿入され、前記第１メモリモジュールから読み出されたデータをデータ送出指示信号が指示するタイミングで前記データ選択部へデータ送出を行う第１チャネル制御部と、
前記データ選択部と前記第２メモリモジュールとの間に挿入され、前記第２メモリモジュールから読み出されたデータをデータ送出指示信号が指示するタイミングで前記データ選択部へデータ送出を行う第２チャネル制御部と、
前記第１メモリモジュール及び前記第２メモリモジュールから読み出されたデータの到着タイミング、前記読み出されたデータの訂正不可能エラーの有無、及び前記訂正不可能エラーのタイミングを監視し、この監視結果に基づいて、前記第１チャネル制御部及び前記第２チャネル制御部に前記データ送出指示信号を出力し、前記データ選択部に前記データ選択信号を出力するメモリミラーリング制御部と、を含む
メモリミラーリング装置。
（付記２）前記メモリミラーリング制御部は、前記第１メモリモジュール及び前記第２メモリモジュールから読み出されたデータのいずれかに訂正不可能エラーがあるときには、訂正不可能エラーがない方の読み出されたデータを選択するように、前記データ選択信号を前記データ選択部に出力する、
付記１に記載のメモリミラーリング装置。
（付記３）前記メモリミラーリング制御部は、前記第１メモリモジュールから読み出されたデータの到着タイミングと前記第２メモリモジュールから読み出されたデータの到着タイミングとの間のずれ量を監視し、
前記ずれ量がしきい値より小さく、かつ先に読み出されたデータに訂正不可能エラーがないときには、先に読み出されたデータを選択するように、前記データ選択信号を前記データ選択部に出力する、
付記１に記載のメモリミラーリング装置。
（付記４）前記第１メモリモジュール及び前記第２メモリモジュールからデータ列を読み出す場合、
前記メモリミラーリング制御部は、前記第１メモリモジュールから読み出されたデータの到着タイミングと前記第２メモリモジュールから読み出されたデータの到着タイミングとの間のずれ量を監視し、
前記ずれ量がしきい値より小さく、かつ先に読み出されたデータ列が訂正不可能エラーを含むときには、先に読み出されたデータを選択することを基本としつつ、前記データ列のうち前記訂正不可能エラーが発生しているデータに対しては後に読み出されたデータ列の訂正不可能エラーのないデータを選択するように、前記データ選択信号を前記データ選択部に出力する、
付記１に記載のメモリミラーリング装置。
（付記５）前記メモリミラーリング制御部は、前記第１メモリモジュールから読み出されたデータの到着タイミングと前記第２メモリモジュールから読み出されたデータの到着タイミングとの間のずれ量を監視し、
前記ずれ量がしきい値より大きいか等しいときには、前記第１メモリモジュールから読み出されたデータの到着と前記第２メモリモジュールから読み出されたデータの到着を待つとともに、
前記第１メモリモジュール及び前記第２メモリモジュールから読み出されたデータのいずれかに訂正不可能エラーがあるときには、訂正不可能エラーがない方の読み出されたデータを選択するように、前記データ選択信号を前記データ選択部に出力する、
付記１に記載のメモリミラーリング装置。
（付記６）前記第１メモリモジュール及び前記第２メモリモジュールからデータ列を読み出す場合、
前記メモリミラーリング制御部は、前記第１メモリモジュールから読み出されたデータの到着タイミングと前記第２メモリモジュールから読み出されたデータの到着タイミングとの間のずれ量を監視し、
前記ずれ量がしきい値より大きいか等しいときには、前記第１メモリモジュールから読み出されたデータの到着と前記第２メモリモジュールから読み出されたデータの到着を待つとともに、
訂正不可能エラーが発生しているデータを先に読み出されたデータ列が含むときには、先に読み出されたデータを選択することを基本としつつ、前記データ列のうち前記訂正不可能エラーが発生しているデータに対しては後に読み出されたデータ列の訂正不可能エラーのないデータを選択するように、前記データ選択信号を前記データ選択部に出力する、
付記１に記載のメモリミラーリング装置。
（付記７）前記先に読み出されたデータに訂正可能エラーがあるときには、訂正可能エラーが訂正された後に、読み出される、
付記１乃至付記６のいずれか一つに記載のメモリミラーリング装置。
（付記８）前記しきい値は、前記メモリミラーリング制御部に指定された、バースト転送のバースト長である、
付記３乃至６のいずれか一つに記載のメモリミラーリング装置。
（付記９）プロセッサからの書き込み指示に基づいて、第１メモリモジュール及び第２メモリモジュールに同一のデータを書き込むと共に、前記プロセッサからの読み出し指示に基づいて、前記第１メモリモジュール及び前記第２メモリモジュールからデータを読み出すメモリミラーリング方法であって、
前記第１メモリモジュール及び前記第２メモリモジュールから読み出されたデータの到着タイミング、前記読み出されたデータの訂正不可能エラーの有無、及び前記訂正不可能エラーのタイミングを監視し、
この監視結果に基づいて、前記第１メモリモジュールから読み出されたデータ及び前記第２メモリモジュールから読み出されたデータの前記プロセッサへ向けた送出タイミングを指示すると共に、前記第１メモリモジュールから読み出されたデータ及び前記第２メモリモジュールから読み出されたデータのいずれを選択するか指示する、
メモリミラーリング方法。
（付記１０）前記第１メモリモジュール及び前記第２メモリモジュールから読み出されたデータのいずれかに訂正不可能エラーがあるときには、
訂正不可能エラーがない方の読み出されたデータを選択するように、前記第１メモリモジュールから読み出されたデータ及び前記第２メモリモジュールから読み出されたデータのいずれかを選択する、
付記９に記載のメモリミラーリング方法。
（付記１１）前記第１メモリモジュールから読み出されたデータの到着タイミングと前記第２メモリモジュールから読み出されたデータの到着タイミングとの間のずれ量を監視し、
前記ずれ量がしきい値より小さく、かつ先に読み出されたデータに訂正不可能エラーがないときには、先に読み出されたデータを選択するように指示する、
付記９に記載のメモリミラーリング方法。
（付記１２）前記第１メモリモジュール及び前記第２メモリモジュールからデータ列を読み出す場合、
前記第１メモリモジュールから読み出されたデータの到着タイミングと前記第２メモリモジュールから読み出されたデータの到着タイミングとの間のずれ量を監視し、
前記ずれ量がしきい値より小さく、かつ先に読み出されたデータ列が訂正不可能エラーを含むときには、先に読み出されたデータを選択することを基本としつつ、前記データ列のうち前記訂正不可能エラーが発生しているデータに対しては後に読み出されたデータ列の訂正不可能エラーのないデータを選択するように指示する、
付記９に記載のメモリミラーリング方法。
（付記１３）前記第１メモリモジュールから読み出されたデータの到着タイミングと前記第２メモリモジュールから読み出されたデータの到着タイミングとの間のずれ量を監視し、
前記ずれ量がしきい値より大きいか等しいときには、前記第１メモリモジュールから読み出されたデータの到着と前記第２メモリモジュールから読み出されたデータの到着を待つとともに、
前記第１メモリモジュール及び前記第２メモリモジュールから読み出されたデータのいずれかに訂正不可能エラーがあるときには、訂正不可能エラーがない方の読み出されたデータを選択するように指示する、
付記９に記載のメモリミラーリング方法。
（付記１４）前記第１メモリモジュール及び前記第２メモリモジュールからデータ列を読み出す場合、
前記第１メモリモジュールから読み出されたデータの到着タイミングと前記第２メモリモジュールから読み出されたデータの到着タイミングとの間のずれ量を監視し、
前記ずれ量がしきい値より大きいか等しいときには、前記第１メモリモジュールから読み出されたデータの到着と前記第２メモリモジュールから読み出されたデータの到着を待つとともに、
訂正不可能エラーが発生しているデータを先に読み出されたデータ列が含むときには、先に読み出されたデータを選択することを基本としつつ、前記データ列のうち前記訂正不可能エラーが発生しているデータに対しては後に読み出されたデータ列の訂正不可能エラーのないデータを選択するように指示する、
付記９に記載のメモリミラーリング方法。
（付記１５）前記先に読み出されたデータに訂正可能エラーがあるときには、訂正可能エラーが訂正された後に、読み出される、
付記９乃至付記１４のいずれか一つに記載のメモリミラーリング方法。
（付記１６）前記しきい値は、バースト転送のバースト長である、
付記１１乃至１４のいずれか一つに記載のメモリミラーリング方法。

１ プロセッサ
２ メモリ制御部
３ａ 第１メモリモジュール
３ｂ 第２メモリモジュール
２０ メモリアクセス制御部
２１、６１ データ複製部・データ選択部
２２ａ、６２ａ 第１チャネル制御部
２２ｂ、６２ｂ 第２チャネル制御部
２３、６３ メモリミラーリング制御部
２４ａ 第１メモリコントローラ
２４ｂ 第２メモリコントローラ
５２、７２ データ送出指示信号
５３、７３ データ選択信号
６０ メモリミラーリング装置
１００、２００ コンピュータ装置
１０１、２０１ ＣＰＵ
１０２、２０２ ＣＰＵコントローラ
１０３、２０３ メモリコントローラ
１０４ａ、２０４ａ 第１メモリモジュール
２０４ｂ、２０４ｂ 第２メモリモジュール
１０５ａ、１０５ｂ、２０５ａ、２０５ｂ メモリ制御バス
１０６ａ、１０６ｂ、２０６ａ、２０６ｂ メモリデータバス

Claims (9)

1. プロセッサからの書き込み指示に基づいて、第１メモリモジュール及び第２メモリモジュールに同一のデータを書き込むと共に、前記プロセッサからの読み出し指示に基づいて、前記第１メモリモジュール及び前記第２メモリモジュールからデータを読み出すメモリミラーリング装置であって、
   入力されるデータ選択信号に基づいて、前記第１メモリモジュール及び前記第２メモリモジュールよりそれぞれ読み出されるデータのいずれかを選択するデータ選択部と、
   前記データ選択部と前記第１メモリモジュールとの間に挿入され、前記第１メモリモジュールから読み出されたデータをデータ送出指示信号が指示するタイミングで前記データ選択部へデータ送出を行う第１チャネル制御部と、
   前記データ選択部と前記第２メモリモジュールとの間に挿入され、前記第２メモリモジュールから読み出されたデータを前記データ送出指示信号が指示するタイミングで前記データ選択部へデータ送出を行う第２チャネル制御部と、
   前記第１メモリモジュールから読み出されたデータの前記第１チャネル制御部への第１到着タイミング、前記第２メモリモジュールから読み出されたデータの前記第２チャネル制御部への第２到着タイミング、及び前記第１メモリモジュール及び前記第２メモリモジュールから読み出されたデータの訂正不可能エラーの有無を監視し、この監視結果に応じた基準を満たすように、前記第１チャネル制御部及び前記第２チャネル制御部に前記データ送出指示信号を出力し、前記データ選択部に前記データ選択信号を出力するメモリミラーリング制御部と、
   を含み、
   前記基準は、前記第１到着タイミングあるいは前記第２到着タイミングによって前記第１チャネル制御部あるいは前記第２チャネル制御部に到着済みであることが示されるデータのうちで、訂正不可能エラーが無いデータが前記データ選択部によって選択されることを表す、
   メモリミラーリング装置。
2. 前記メモリミラーリング制御部は、前記第１到着タイミングと前記第２到着タイミングとの間のずれ量を監視し、
   前記ずれ量がしきい値より小さく、かつ先に読み出されたデータに訂正不可能エラーがないときには、先に読み出されたデータを選択するように、前記データ選択信号を前記データ選択部に出力する、
   請求項１に記載のメモリミラーリング装置。
3. 前記第１メモリモジュール及び前記第２メモリモジュールからデータ列を読み出す場合、
   前記メモリミラーリング制御部は、前記第１到着タイミングと前記第２到着タイミングとの間のずれ量を監視し、
   前記ずれ量がしきい値より小さく、かつ先に読み出されたデータ列が訂正不可能エラーを含むときには、先に読み出されたデータを選択することを基本としつつ、先に読み出されたデータ列のうち訂正不可能エラーが発生しているデータに対しては後に読み出されたデータ列の訂正不可能エラーのないデータを選択するように、前記データ選択信号を前記データ選択部に出力する、
   請求項１に記載のメモリミラーリング装置。
4. 前記メモリミラーリング制御部は、前記第１到着タイミングと前記第２到着タイミングとの間のずれ量を監視し、
   前記ずれ量がしきい値より大きいか等しいときには、前記第１メモリモジュールから読み出されたデータの前記第１チャネル制御部への到着と前記第２メモリモジュールから読み出されたデータの前記第２チャネル制御部への到着を待つとともに、
   前記第１メモリモジュール及び前記第２メモリモジュールから読み出されたデータのいずれかに訂正不可能エラーがあるときには、訂正不可能エラーがない方の読み出されたデータを選択するように、前記データ選択信号を前記データ選択部に出力する、
   請求項１に記載のメモリミラーリング装置。
5. 前記第１メモリモジュール及び前記第２メモリモジュールからデータ列を読み出す場合、
   前記メモリミラーリング制御部は、前記第１到着タイミングと前記第２到着タイミングとの間のずれ量を監視し、
   前記ずれ量がしきい値より大きいか等しいときには、前記第１メモリモジュールから読み出されたデータの前記第１チャネル制御部への到着と前記第２メモリモジュールから読み出されたデータの前記第２チャネル制御部への到着を待つとともに、
   訂正不可能エラーが発生しているデータを先に読み出されたデータ列が含むときには、先に読み出されたデータを選択することを基本としつつ、先に読み出されたデータ列のうち訂正不可能エラーが発生しているデータに対しては後に読み出されたデータ列の訂正不可能エラーのないデータを選択するように、前記データ選択信号を前記データ選択部に出力する、
   請求項１に記載のメモリミラーリング装置。
6. 前記しきい値は、前記メモリミラーリング制御部に指定された、バースト転送のバースト長である、
   請求項２乃至５のいずれか一項に記載のメモリミラーリング装置。
7. プロセッサからの書き込み指示に基づいて、第１メモリモジュール及び第２メモリモジュールに同一のデータを書き込むと共に、前記プロセッサからの読み出し指示に基づいて、前記第１メモリモジュール及び前記第２メモリモジュールからデータを読み出すメモリミラーリング方法であって、
   データ選択部によって、入力されるデータ選択信号に基づいて、前記第１メモリモジュール及び前記第２メモリモジュールよりそれぞれ読み出されるデータのいずれかを選択し、
   前記データ選択部と前記第１メモリモジュールとの間に挿入された第１チャネル制御部によって、前記第１メモリモジュールから読み出されたデータをデータ送出指示信号が指示するタイミングで前記データ選択部へデータ送出を行い、
   前記データ選択部と前記第２メモリモジュールとの間に挿入された第２チャネル制御部によって、前記第２メモリモジュールから読み出されたデータを前記データ送出指示信号が指示するタイミングで前記データ選択部へデータ送出を行い、
   メモリミラーリング制御部によって、
   前記第１メモリモジュールから読み出されたデータの前記第１チャネル制御部への第１到着タイミング、前記第２メモリモジュールから読み出されたデータの前記第２チャネル制御部への第２到着タイミング、及び前記第１メモリモジュール及び前記第２メモリモジュールから読み出されたデータの訂正不可能エラーの有無を監視し、
   この監視結果に応じた基準を満たすように、前記第１チャネル制御部及び前記第２チャネル制御部に前記データ送出指示信号を出力し、前記データ選択部に前記データ選択信号を出力し、
   前記基準は、前記第１到着タイミングあるいは前記第２到着タイミングによって前記第１チャネル制御部あるいは前記第２チャネル制御部に到着済みであることが示されるデータのうちで、訂正不可能エラーが無いデータが前記データ選択部によって選択されることを表す、
   メモリミラーリング方法。
8. 前記メモリミラーリング制御部によって、
   前記第１到着タイミングと前記第２到着タイミングとの間のずれ量を監視し、
   前記ずれ量がしきい値より小さく、かつ先に読み出されたデータに訂正不可能エラーがないときには、先に読み出されたデータを選択するように、前記データ選択信号を前記データ選択部に出力する、
   請求項７に記載のメモリミラーリング方法。
9. 前記メモリミラーリング制御部によって、
   前記第１到着タイミングと前記第２到着タイミングとの間のずれ量を監視し、
   前記ずれ量がしきい値より大きいか等しいときには、前記第１メモリモジュールから読み出されたデータの前記第１チャネル制御部への到着と前記第２メモリモジュールから読み出されたデータの前記第２チャネル制御部への到着を待つとともに、
   前記第１メモリモジュール及び前記第２メモリモジュールから読み出されたデータのいずれかに訂正不可能エラーがあるときには、訂正不可能エラーがない方の読み出されたデータを選択するように、前記データ選択信号を前記データ選択部に出力する、
   請求項７に記載のメモリミラーリング方法。

Images