JP7195484B1

JP7195484B1 - 不揮発性デュアルインラインメモリモジュールのコマンドリプレイ

Info

Publication number: JP7195484B1
Application number: JP2022539326A
Authority: JP
Inventors: ワンジン; アール．マグロジェームズ; バラクリシュナンケダーナシュ
Original assignee: Advanced Micro Devices Inc
Current assignee: Advanced Micro Devices Inc
Priority date: 2019-12-30
Filing date: 2020-12-10
Publication date: 2022-12-23
Anticipated expiration: 2040-12-10
Also published as: WO2021138014A1; US20210200468A1; EP4085339A4; KR20220113818A; CN114902197B; EP4085339A1; US11137941B2; CN114902197A; JP2023502546A; KR102542493B1

Abstract

メモリアクセスコマンドは、メモリインタフェースキューに配置され、メモリインタフェースキューから、揮発性デュアルインラインメモリモジュール（ＤＩＭＭ）及び不揮発性ＤＩＭＭに結合された異種メモリチャネルに送信される。メモリインタフェースキューに配置された、選択されたメモリアクセスコマンドは、リプレイキューに格納される。メモリインタフェースキューに配置された不揮発性読み取りは、不揮発性コマンドキュー（ＮＶキュー）に格納される。本方法は、異種メモリチャネルを介して受信した情報に基づいて、回復シーケンスを必要とするエラーが発生したことを検出する。エラーに応じて、本方法は、（ｉ）リプレイキューに格納された、選択されたメモリアクセスコマンドを送信することと、（ｉｉ）ＮＶキューに格納された不揮発性読み取りを送信することと、を含む回復シーケンスを開始する。【選択図】図７

Description

コンピュータシステムは、通常、安価で高密度のダイナミックランダムアクセスメモリ（ＤＲＡＭ）チップをメインメモリに使用する。今日販売されているほとんどのＤＲＡＭチップは、ＪｏｉｎｔＥｌｅｃｔｒｏｎＤｅｖｉｃｅｓＥｎｇｉｎｅｅｒｉｎｇＣｏｕｎｃｉｌ（ＪＥＤＥＣ）によって公布されている様々なダブルデータレート（ＤＤＲ）ＤＲＡＭ規格と互換性がある。ＤＤＲメモリコントローラは、公開されているＤＤＲ規格に従って、様々なメモリアクセスエージェントとＤＤＲＤＲＡＭとの間のインタフェースを管理するために使用される。

永続ストレージを備えた不揮発性デュアルインラインメモリモジュール（ＮＶＤＩＭＭ－Ｐ）は、標準的なＤＤＲＤＩＭＭの代わりに使用できるストレージクラスメモリであるが、永続メモリを含む。ＤＲＡＭ等の揮発性メモリをサポートするメモリチャネルを備えた永続又は「不揮発性」メモリの使用には、いくつかの新しい問題がある。不揮発性ＤＩＭＭの不揮発性メモリからの読み取りは、ＤＲＡＭからの読み取りよりも遅いプロセスである。不揮発性メモリの読み取りは、決定的な既知の時間でより速く完了するＤＲＡＭ読み取りとは対照的に、通常、非決定的な時間で完了する。このような違いに対処するには、不揮発性ＤＩＭＭと相互作用できるメモリコントローラを設計する際に様々な課題がある。

先行技術で既知のアクセラレーテッドプロセシングユニット（ＡＰＵ）及びメモリシステム示すブロック図である。いくつかの実施形態による、図１のようなＡＰＵでの使用に適したメモリコントローラのブロック図である。いくつかの実施形態による、データ処理システムのブロック図である。いくつかの実施形態による、メモリアクセス要求を処理するためのプロセスのフロー図である。いくつかの実施形態による、エラーを処理するためのプロセスのフロー図である。図５のプロセス示す図である。図５のプロセスのさらなる部分を示す図である。

以下の説明において、異なる図面での同じ符号の使用は、類似又は同一のアイテムを示す。他に述べられない限り、「結合される（coupled）」という用語及びその関連する動詞の形式は、本分野において既知の手段による直接接続及び間接電気接続の両方を含み、他に述べられない限り、直接接続との記載は、適切な形式の間接電気接続も使用した代替的な実施形態を暗に意味する。

メモリコントローラは、コマンドキューと、メモリインタフェースキューと、不揮発性コマンドキュー（ＮＶキュー）と、リプレイキューと、リプレイ制御回路と、を含む。コマンドキューは、揮発性読み取り、揮発性書き込み、不揮発性読み取り及び不揮発性書き込みを含むメモリアクセスコマンドを受信するための第１の入力と、出力と、を有し、複数のエントリを有する。メモリインタフェースキューは、コマンドキューから選択されたコマンドを受信するための入力と、少なくとも１つの不揮発性デュアルインラインメモリモジュール（ＤＩＭＭ）に結合された異種メモリチャネルに結合するための出力と、を有する。ＮＶキューは、メモリインタフェースキューに配置された不揮発性読み取りコマンドを格納するためのコマンドキューの出力に結合される。リプレイキューは、メモリインタフェースキューに配置された、選択されたメモリアクセスコマンドを格納するためのコマンドキューの出力に結合される。リプレイ制御回路は、異種メモリチャネルを介して受信した情報に基づいて、回復シーケンスを必要とするエラーが発生したことを検出し、エラーに応じて、リプレイキューに格納された、選択されたメモリアクセスコマンドを送信することと、ＮＶキューに格納された不揮発性読み取りを送信することと、を含む回復シーケンスを開始する。

方法は、メモリシステムのエラーに応答する。方法は、揮発性メモリの読み取り、揮発性メモリの書き込み、不揮発性メモリの読み取り及び不揮発性メモリの書き込みを含む複数のメモリアクセス要求を受信することを含む。メモリアクセス要求を満たすためのメモリアクセスコマンドは、メモリインタフェースキューに配置される。メモリアクセスコマンドは、メモリインタフェースキューから、揮発性デュアルインラインメモリモジュール（ＤＩＭＭ）及び不揮発性ＤＩＭＭに結合された異種メモリチャネルに送信される。メモリインタフェースキューに配置された、選択されたメモリアクセスコマンドは、リプレイキューに格納される。メモリインタフェースキューに配置された不揮発性読み取りは、不揮発性コマンドキュー（ＮＶキュー）に格納される。方法は、異種メモリチャネルを介して受信した情報に基づいて、回復シーケンスを必要とするエラーが発生したことを検出し、エラーに応じて、（ｉ）リプレイキューに格納された、選択されたメモリアクセスコマンドを送信することと、（ｉｉ）ＮＶキューに格納された不揮発性読み取りを送信することと、を含む回復シーケンスを開始する。メモリインタフェースキューに配置されたメモリアクセスコマンドを少なくとも１つのストレージキューに格納する。

データ処理システムは、中央処理装置と、中央処理装置に結合されたデータファブリックと、中央処理装置からのメモリアクセス要求を満たすためにデータファブリックに結合されたメモリコントローラと、を含む。メモリコントローラは、コマンドキューと、メモリインタフェースキューと、不揮発性コマンドキュー（ＮＶキュー）と、リプレイキューと、リプレイ制御回路と、を含む。コマンドキューは、揮発性読み取り、揮発性書き込み、不揮発性読み取り及び不揮発性書き込みを含むメモリアクセスコマンドを受信するための第１の入力と、出力と、を有し、複数のエントリを有する。メモリインタフェースキューは、コマンドキューから選択されたコマンドを受信するための入力と、少なくとも１つの不揮発性デュアルインラインメモリモジュール（ＤＩＭＭ）に結合された異種メモリチャネルに結合するための出力と、を有する。ＮＶキューは、メモリインタフェースキューに配置された不揮発性読み取りコマンドを格納するためのコマンドキューの出力に結合される。リプレイキューは、メモリインタフェースキューに配置された、選択されたメモリアクセスコマンドを格納するためのコマンドキューの出力に結合される。リプレイ制御回路は、異種メモリチャネルを介して受信した情報に基づいて、回復シーケンスを必要とするエラーが発生したことを検出し、エラーに応じて、リプレイキューに格納された、選択されたメモリアクセスコマンドを送信することと、ＮＶキューに格納された不揮発性読み取りを送信することと、を含む回復シーケンスを開始する。

図１は、先行技術で既知のアクセラレーテッドプロセシングユニット（ＡＰＵ）１００及びメモリシステム１３０を示すブロック図である。ＡＰＵ１００は、ホストデータ処理システムのプロセッサとしての使用に適した集積回路であり、概して、中央処理装置（ＣＰＵ）コアコンプレックス１１０と、グラフィックスコア１２０と、ディスプレイエンジン１２２のセットと、メモリ管理ハブ１４０と、データファブリック１２５と、ペリフェラルコントローラ１６０のセットと、ペリフェラルバスコントローラ１７０のセットと、システム管理ユニット（ＳＭＵ）１８０と、を含む。

ＣＰＵコアコンプレックス１１０は、ＣＰＵコア１１２及びＣＰＵコア１１４を含む。この実施例において、ＣＰＵコアコンプレックス１１０は、２つのＣＰＵコアを含むが、他の実施形態において、ＣＰＵコアコンプレックス１１０は、任意の数のＣＰＵコアを含み得る。各ＣＰＵコア１１２，１１４は、制御ファブリックを形成するシステム管理ネットワーク（ＳＭＮ）及びデータファブリック１２５に双方向に接続されており、メモリアクセス要求をデータファブリック１２５に提供することが可能である。各ＣＰＵコア１１２，１１４は、単一コアであってもよいし、キャッシュ等の特定のリソースを共有する２つ以上の単一コアを含むコアコンプレックスであってもよい。

グラフィックスコア１２０は、頂点処理、フラグメント処理、シェーディング、テクスチャブレンディング等のグラフィックス動作を高度に統合的且つ並列的に実行可能な高性能のグラフィックスプロセッシングユニット（ＧＰＵ）である。グラフィックスコア１２０は、ＳＭＮ及びデータファブリック１２５に双方向に接続され、メモリアクセス要求をデータファブリック１２５に提供することが可能である。これに関して、ＡＰＵ１００は、ＣＰＵコアコンプレックス１１０及びグラフィックスコア１２０が同一のメモリ空間を共有するユニファイドメモリアーキテクチャ、又は、ＣＰＵコアコンプレックス１１０及びグラフィックスコア１２０がメモリ空間の一部分を共有する一方で、グラフィックスコア１２０が、ＣＰＵコアコンプレックス１１０がアクセス不可能なプライベートグラフィックスメモリも使用するメモリアーキテクチャの何れかをサポートし得る。

ディスプレイエンジン１２２は、モニタに表示するためにグラフィックスコア１２０によって生成されたオブジェクトをレンダリングし、ラスタライズする。グラフィックスコア１２０及びディスプレイエンジン１２２は、メモリシステム１３０における適切なアドレスへの均一な変換のために共通メモリ管理ハブ１４０に双方向に接続されており、メモリ管理ハブ１４０は、そのようなメモリアクセスを生成し、メモリシステムから返された読み取りデータを受信するためにデータファブリック１２５に双方向に接続されている。

データファブリック１２５は、任意のメモリアクセスエージェントとメモリ管理ハブ１４０との間でメモリアクセス要求及びメモリ応答をルーティングするためのクロスバースイッチを含む。また、データファブリック１２５は、システム構成に基づいてメモリアクセスの宛先を判定するための、システムの基本入出力システム（ＢＩＯＳ）によって定義されるシステムメモリマップと、各仮想接続のためのバッファと、を含む。

ペリフェラルコントローラ１６０は、ユニバーサル・シリアル・バス（ＵＳＢ）コントローラ１６２及びシリアル・アドバンスド・テクノロジー・アタッチメント（ＳＡＴＡ）インタフェースコントローラ１６４を含み、これらのそれぞれは、システムハブ１６６及びＳＭＮバスに双方向に接続されている。それらの２つのコントローラは、ＡＰＵ１００において使用され得るペリフェラルコントローラの例示にすぎない。

ペリフェラルバスコントローラ１７０は、システムコントローラ又は「サウスブリッジ」（ＳＢ）１７２と、ペリフェラル・コンポーネント・インターコネクト・エクスプレス（ＰＣＩｅ）コントローラ１７４と、を含み、これらのそれぞれは、入力／出力（Ｉ／Ｏ）ハブ１７６及びＳＭＮバスに双方向に接続される。また、Ｉ／Ｏハブ１７６は、システムハブ１６６及びデータファブリック１２５に双方向に接続される。したがって、例えば、ＣＰＵコアは、データファブリック１２５がＩ／Ｏハブ１７６を介してルーティングするアクセスを通して、ＵＳＢコントローラ１６２、ＳＡＴＡインタフェースコントローラ１６４、ＳＢ１７２、又は、ＰＣＩｅコントローラ１７４内のレジスタにプログラミングすることができる。ＡＰＵ１００のソフトウェアとファームウェアは、読み出し専用メモリ（ＲＯＭ）、フラッシュ電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）等の様々な不揮発性メモリタイプのうちの何れかであり得るシステムデータドライブ又はシステムＢＩＯＳメモリ（図示省略）に格納される。通常、ＢＩＯＳメモリは、ＰＣＩｅバスを介してアクセスされ、システムデータドライブは、ＳＡＴＡインタフェースを介してアクセスされる。

ＳＭＵ１８０は、ＡＰＵ１００上のリソースの操作を制御し、それらの間で通信を同期するローカルコントローラである。ＳＭＵ１８０は、ＡＰＵ１００上の様々なプロセッサのパワーアップシーケンシングを管理し、リセット、イネーブル及び他の信号を介して複数のオフチップデバイスを制御する。ＳＭＵ１８０は、ＡＰＵ１００の構成要素の各々に対してクロック信号を提供する位相同期回路（ＰＬＬ）等の１つ以上のクロックソース（図示省略）を含む。また、ＳＭＵ１８０は、様々なプロセッサ及び他の機能ブロックに対する電力を管理し、ＣＰＵコア１１２，１１４及びグラフィックスコア１２０から測定消費電力値を受信して、適切な電力状態を判定し得る。

メモリ管理ハブ１４０及びそれに関連する物理インタフェース（ＰＨＹ）１５１，１５２は、この実施形態においてＡＰＵ１００と統合される。メモリ管理ハブ１４０は、メモリチャネル１４１，１４２とパワーエンジン１４９とを含む。メモリチャネル１４１は、ホストインタフェース１４５と、メモリチャネルコントローラ１４３と、物理インタフェース１４７と、を含む。ホストインタフェース１４５は、メモリチャネルコントローラ１４３をデータファブリック１２５にシリアルプレゼンス検出リンク（ＳＤＰ）経由で双方向に接続する。物理インタフェース１４７は、メモリチャネルコントローラ１４３をＰＨＹ１５１に双方向に接続し、ＤＤＲＰＨＹインタフェース（ＤＦＩ）仕様に準拠するものである。メモリチャネル１４２は、ホストインタフェース１４６と、メモリチャネルコントローラ１４４と、物理インタフェース１４８と、を含む。ホストインタフェース１４６は、メモリチャネルコントローラ１４４をデータファブリック１２５に別のＳＤＰ経由で双方向に接続する。物理インタフェース１４８は、メモリチャネルコントローラ１４４をＰＨＹ１５２に双方向に接続し、ＤＦＩ仕様に準拠するものである。パワーエンジン１４９は、ＳＭＮバス経由でＳＭＵ１８０に双方向に接続され、アドバンストペリフェラルバス（ＡＰＢ）経由でＰＨＹ１５１，１５２に双方向に接続され、そしてまた、メモリチャネルコントローラ１４３，１４４にも双方向に接続される。ＰＨＹ１５１は、メモリチャネル１３１に双方向に接続される。ＰＨＹ１５２は、メモリチャネル１３３に双方向に接続される。

メモリシステム１３０は、メモリチャネル１３１とメモリチャネル１３３とを含む。メモリチャネル１３１は、この実施例において別々のランクに対応する代表的なＤＩＭＭ１３４，１３６，１３８を含む、ＤＤＲｘバス１３２に接続されたデュアルインラインメモリモジュール（ＤＩＭＭ）のセットを含む。同様に、メモリチャネル１３３は、代表的なＤＩＭＭ１３５，１３７，１３９を含む、ＤＤＲｘバス１２９に接続されたＤＩＭＭのセットを含む。

ＡＰＵ１００は、ホストデータ処理システムの中央処理装置（ＣＰＵ）として動作し、現代のコンピュータシステムにおいて有用な様々なバス及びインタフェースを提供する。これらのインタフェースには、２つのダブルデータレート（ＤＤＲｘ）メモリチャネル、ＰＣＩｅリンクへの接続用のＰＣＩｅルートコンプレックス、ＵＳＢネットワークへの接続用のＵＳＢコントローラ、及び、ＳＡＴＡマスストレージデバイスへのインタフェースが含まれる。

また、ＡＰＵ１００は、様々なシステム監視及び節電機能を実装する。特に、１つのシステム監視機能は、温度監視である。例えば、ＡＰＵ１００が高温になると、ＳＭＵ１８０は、ＣＰＵコア１１２，１１４及び／又はグラフィックスコア１２０の周波数及び電圧を低下させることができる。ＡＰＵ１００が非常に高温になると、それが完全にシャットダウンされ得る。温度イベントは、外部センサからＳＭＵ１８０によってＳＭＮバスを介して受信することもでき、ＳＭＵ１８０は、それに応じて、クロック周波数及び／又は電源電圧を低下させることができる。

図２は、図１のようなＡＰＵでの使用に適したメモリコントローラ２００のブロック図である。メモリコントローラ２００は、概して、メモリチャネルコントローラ２１０とパワーコントローラ２５０とを含む。メモリチャネルコントローラ２１０は、概して、インタフェース２１２と、メモリインタフェースキュー２１４（「メモリインタフェースキュー」、「キュー」）と、コマンドキュー２２０と、アドレスジェネレータ２２２と、コンテンツアドレス可能メモリ（ＣＡＭ）２２４と、リプレイキュー２３０と、リプレイ制御ロジック２３１と、リフレッシュロジックブロック２３２と、タイミングブロック２３４と、ページテーブル２３６と、アービタ２３８と、誤り訂正符号（ＥＣＣ）チェック回路２４２と、ＥＣＣ生成ブロック２４４と、データバッファ２４６と、不揮発性（ＮＶ）バッファ２４７と、ＮＶキュー２４８と、を含む。

インタフェース２１２は、データファブリック１２５への外部バス経由での第１の双方向接続を有し、且つ、出力を有する。メモリコントローラ２００において、この外部バスは、ＡＲＭＨｏｌｄｉｎｇｓ、ＰＬＣｏｆＣａｍｂｒｉｄｇｅ、Ｅｎｇｌａｎｄによって規定された「ＡＸＩ４」として知られているアドバンストエクステンシブルインタフェースバージョン４と互換性があるが、他の実施形態において他のタイプのインタフェースであってもよい。インタフェース２１２は、メモリアクセス要求を、ＦＣＬＫ（又はＭＥＭＣＬＫ）ドメインとして知られている第１のクロックドメインから、ＵＣＬＫドメインとして知られているメモリコントローラ２００内部の第２のクロックドメインに変換する。同様に、メモリインタフェースキュー２１４は、メモリアクセスを、ＵＣＬＫドメインからＤＦＩインタフェースと関連するＤＦＩＣＬＫドメインに提供する。

アドレスジェネレータ２２２は、ＡＸＩ４バス経由でデータファブリック１２５から受信したメモリアクセス要求のアドレスを復号する。メモリアクセス要求は、正規化されたフォーマットで表現される物理アドレス空間内にアクセスアドレスを含む。アドレスジェネレータ２２２は、正規化されたアドレスを、メモリシステム１３０における実際のメモリデバイスをアドレス指定し、そして関連するアクセスを効率的にスケジューリングするのに利用できるフォーマットに変換する。このフォーマットは、メモリアクセス要求を特定のランク、行アドレス、列アドレス、バンクアドレス及びバンクグループと関連付けるリージョン識別子を含む。スタートアップ時に、システムＢＩＯＳは、メモリシステム１３０におけるメモリデバイスにクエリを行ってそれらのサイズ及び構成を判定し、アドレスジェネレータ２２２と関連する構成レジスタのセットをプログラミングする。アドレスジェネレータ２２２は、構成レジスタに格納されている構成を使用して、正規化されたアドレスを適切なフォーマットに変換する。アドレスジェネレータ２２２は、ＮＶＤＩＭＭ－Ｐメモリを含むメモリのアドレス範囲を複号し、メモリアクセス要求がＮＶＤＩＭＭ－Ｐへの要求であるか否かを示す複号された信号をコマンドキュー２２０に格納する。次に、アービタ２３８は、他の要求に対して適切な優先順位でＮＶＤＩＭＭ－Ｐ要求を優先することができる。コマンドキュー２２０は、ＣＰＵコア１１２，１１４及びグラフィックスコア１２０等のような、ＡＰＵ１００におけるメモリアクセスエージェントから受信したメモリアクセス要求のキューである。コマンドキュー２２０は、アドレスジェネレータ２２２によって復号されたアドレスフィールド、加えて、アクセスタイプ及びサービス品質（ＱｏＳ）識別子を含む、アービタ２３８がメモリアクセスを効率的に選択することを可能にする他のアドレス情報を格納する。ＣＡＭ２２４は、ライトアフターライト（ＷＡＷ）及びリードアフターライト（ＲＡＷ）の順序付け規則といった順序付け規則を実行する情報を含む。

誤り訂正符号（ＥＣＣ）生成ブロック２４４は、ＮＶＤＩＭＭ－Ｐに送信される書き込みデータのＥＣＣを判定する。ＥＣＣチェック回路２４２は、受信したＥＣＣを着信ＥＣＣと照合する。

リプレイキュー２３０は、アドレス及びコマンドパリティ応答等の応答を待機しているアービタ２３８によって選択されている、選択されたメモリアクセスを格納するための一時的なキューである。リプレイ制御ロジック２３１は、ＥＣＣチェックブロック２４２にアクセスして、返されたＥＣＣが正しいかそれともエラーを示すかを判定する。リプレイ制御ロジック２３１は、これらのサイクルの１つのパリティ又はＥＣＣエラーの場合にアクセスがリプレイされるリプレイシーケンスを開始及び制御する。リプレイされたコマンドは、メモリインタフェースキュー２１４に配置される。

リフレッシュロジック２３２は、メモリアクセスエージェントから受信した通常の読み取り及び書き込みメモリアクセス要求から別々に生成される、様々なパワーダウン、リフレッシュ及び終端抵抗（ＺＱ）較正サイクル用のステートマシンを含む。例えば、メモリランクがプリチャージパワーダウンにある場合、そのメモリランクは、リフレッシュサイクルを実行するために周期的に起動されなければならない。リフレッシュロジック２３２は、リフレッシュコマンドを定期的に生成して、ＤＲＡＭチップ中のメモリセルのストレージキャパシタからの電荷漏れによって引き起こされるデータエラーを防ぐ。加えて、リフレッシュロジック２３２は、ＺＱを定期的に較正して、このシステム内の温度変化によるオンダイ終端抵抗における不整合を防ぐ。

アービタ２３８は、コマンドキュー２２０に双方向に接続され、メモリチャネルコントローラ２１０の心臓部である。アービタ２３８は、アクセスの知的スケジューリングによって効率を向上させて、メモリバスの使用率を高める。アービタ２３８は、タイミングブロック２３４を使用して、コマンドキュー２２０における特定のアクセスが発行に適格であるか否かをＤＲＡＭタイミングパラメータに基づいて判定することによって、適切なタイミング関係を強化する。例えば、各ＤＲＡＭには、「ｔ_ＲＣ」として知られる、アクティブコマンド間の最小規定時間がある。タイミングブロック２３４は、このタイミングパラメータ及びＪＥＤＥＣ仕様に規定された他のタイミングパラメータに基づいて適格性を判定するカウンタのセットを保持し、リプレイキュー２３０に双方向に接続される。ページテーブル２３６は、アービタ２３８に対するメモリチャネルの各バンク及びランクにおけるアクティブページに関する状態情報を保持し、リプレイキュー２３０に双方向に接続される。

ＮＶバッファ２４７は、リプレイシーケンスでの使用及びＮＶ読み取り応答の管理の両方のために、ＮＶ読み取りコマンドをＮＶキュー２４８に格納する。ＮＶバッファ２４７は、以下にさらに説明するように、ＲＤ＿ＲＤＹ及びＳＥＮＤコマンドを処理するためにメモリインタフェースキュー２１４に双方向に接続される。

インタフェース２１２から受信した書き込みメモリアクセス要求に応じて、ＥＣＣ生成ブロック２４４は、書き込みデータに従ってＥＣＣを計算する。データバッファ２４６は、受信したメモリアクセス要求に対する書き込みデータ及びＥＣＣを格納する。データバッファ２４６は、アービタ２３８がメモリチャネルへのディスパッチのために対応する書き込みアクセスを選択すると、組み合わされた書き込みデータ／ＥＣＣをメモリインタフェースキュー２１４に出力する。

パワーコントローラ２５０は、概して、アドバンストエクステンシブルインタフェースのバージョン１（ＡＸＩ）へのインタフェース２５２と、ＡＰＢインタフェース２５４と、パワーエンジン２６０と、を含む。インタフェース２５２は、図２に別に示す「ＥＶＥＮＴ＿ｎ」とラベル付けされたイベント信号を受信する入力と、出力と、を含む、ＳＭＮへの第１の双方向接続を有する。ＡＰＢインタフェース２５４は、インタフェース２５２の出力に接続された入力と、ＡＰＢを介してＰＨＹに接続するための出力と、を有する。パワーエンジン２６０は、インタフェース２５２の出力に接続された入力と、メモリインタフェースキュー２１４の入力に接続された出力と、を有する。パワーエンジン２６０は、構成レジスタ２６２のセットと、マイクロコントローラ（μＣ）２６４と、セルフリフレッシュコントローラ（ＳＬＦＲＥＦ／ＰＥ）２６６と、信頼性のある読み取り／書き込みタイミングエンジン（ＲＲＷ／ＴＥ）２６８と、を含む。構成レジスタ２６２は、ＡＸＩバス経由でプログラミングされ、構成情報を格納してメモリコントローラ２００における様々なブロックの動作を制御する。したがって、構成レジスタ２６２は、図２に詳細に示されていないこれらのブロックに接続された出力を有する。セルフリフレッシュコントローラ２６６は、リフレッシュロジック２３２によるリフレッシュの自動生成に加えて、手動でのリフレッシュの生成を可能にするエンジンである。信頼性のある読み取り／書き込みタイミングエンジン２６８は、ＤＤＲインタフェースの最大読み取りレイテンシ（ＭＲＬ）トレーニング及びループバックテスト等のために、メモリ又はＩ／Ｏデバイスに連続的なメモリアクセスストリームを提供する。

メモリチャネルコントローラ２１０は、関連するメモリチャネルへのディスパッチのためにメモリアクセスを選択することを可能にする回路を含む。所望の調停決定を行うために、アドレスジェネレータ２２２は、アドレス情報を、メモリシステムにおけるランク、行アドレス、列アドレス、バンクアドレス及びバンクグループを含むプリデコード情報に復号し、コマンドキュー２２０は、プリデコード情報を格納する。構成レジスタ２６２は、構成情報を格納して、アドレスジェネレータ２２２が受信したアドレス情報をどのように復号するかを判定する。アービタ２３８は、復号されたアドレス情報、タイミングブロック２３４によって示されたタイミング適格性情報、及び、ページテーブル２３６によって示されたアクティブページ情報を使用して、サービス品質（ＱｏＳ）要件等の他の基準に遵守しながらメモリアクセスを効率的にスケジューリングする。例えば、アービタ２３８は、オープンページへのアクセスについて基本設定を実装してメモリページを変更するために必要とされるプリチャージ及びアクティブ化コマンドのオーバーヘッドを回避し、それらを一方のバンクへの読み取り及び書き込みアクセスにインターリーブすることにより、オーバーヘッドアクセスを他方のバンクに隠す。特に、通常の動作中に、アービタ２３８は、通常、異なるページを選択する前にプリチャージされることをページが要求されるまで、異なるバンク内でそれらのページを開いたままにする。

図３は、いくつかの実施形態による、データ処理システム３００のブロック図である。データ処理システム３００は、ＡＰＵ３１０とメモリシステム３３０とを含む。メモリ配置に焦点を合わせるために、システムの他の様々な部分が示されていない。ＡＰＵ３１０は、メモリシステム３３０とインタフェースするために異種メモリチャネルをサポートするメモリコントローラ２００（図２）のようなメモリコントローラを含む。通常のＤＤＲｘメモリチャネルに加えて、ＡＰＵ３１０は、バス３４２を介して接続されたＲＤＩＭＭ３４４，３４６，３４８のみを備えた同種メモリチャネル３４０に加えて、通常のレジスタードＤＩＭＭ又はＲＤＩＭＭ３３４，３３６とＮＶＤＩＭＭ－Ｐ３３８の両方を備えた異種メモリチャネル３３０でＮＶＤＩＭＭ－Ｐ３３８をサポートする。ＬＲＤＩＭＭやＵＤＩＭＭ等の他のＤＩＭＭタイプは、いくつかの実施形態でサポートされる。この実施形態では、異種メモリチャネル３３０は、ＮＶＤＩＭＭ－Ｐ及びＲＤＩＭＭの両方に接続するが、いくつかの実施形態では、異種メモリチャネルは、全てのＮＶＤＩＭＭ－ＰタイプのＤＩＭＭとインタフェースする能力を有する。

ドラフトＮＶＤＩＭＭ－Ｐ規格に従って、ＡＰＵ３１０のメモリコントローラとＮＶＤＩＭＭ－Ｐ３３８の間のトランザクションは「リンク」ＥＣＣによって保護される。リンクＥＣＣは、バス３３２経由でのメモリコントローラとＮＶＤＩＭＭとの間のデータ転送のデータ整合性を保証する。既知のＥＣＣメカニズムに従って、ランダムエラー又は一時的なエラーによって引き起こされるリンク上のデータ破損から保護する。保護は、使用するＥＣＣ符号によって異なる。ＥＣＣは、例えば、多ビットエラー検出による単一ビット訂正を可能にする場合がある。訂正不可能なエラーの検出に応じて、メモリコントローラは、トランザクションをリプレイして、一時的又はランダムエラーが持続しないようにし、訂正可能なエラーと訂正不可能なエラーの両方をオペレーティングシステムにレポートすることもできる。

ＮＶＤＩＭＭ－ＰタイプのＤＩＭＭがこの実施形態で説明されているが、他の実施形態では、本明細書の技術を使用して、異種メモリチャネルを介して他のタイプのストレージクラスメモリ（ＳＣＭ）モジュールとインタフェースする。本明細書で使用されるように、ＳＣＭは、システムメモリ空間でアドレス指定可能な不揮発性メモリを備えたメモリモジュールを示す。ＳＣＭモジュールの不揮発性メモリは、ＲＡＭでバッファリングすること、及び／又は、ＳＣＭモジュールに搭載されたＲＡＭとペアリングすることができる。ＳＣＭメモリアドレスマップは、オペレーティングシステム（ＯＳ）の観点から、従来のＤＲＡＭポピュレーションと一緒に表示される。ＯＳは、通常、ＳＣＭで定義されたアドレス範囲が従来のメモリとは「異なる」タイプのメモリであることを認識する。この違いは、このメモリがより潜在的であり、永続的な品質を持つ可能性があることをＯＳに通知することである。ＯＳは、ＳＣＭメモリを直接アクセスメモリ又はファイルシステムアクセスメモリとしてマップすることができる。直接アクセスとは、ＯＳが物理的でアドレス指定可能なメモリとしてＳＣＭアドレス範囲にアクセスすることを意味する。ファイルシステムアクセスは、ＯＳがファイルシステムの一部として永続メモリを管理し、ファイルベースのＡＰＩを介してＳＣＭへのアクセスを管理することを意味する。最終的に、要求は、上位レベルのＯＳがアクセスを管理する方法に関係なく、ＳＣＭアドレス範囲内のメモリコントローラに達する。

図４は、いくつかの実施形態による、メモリアクセスコマンドを処理するためのプロセス４００のフロー図である。プロセス４００は、不揮発性読み取りコマンドの処理に焦点を合わせ、図２のメモリコントローラ２００又は他のメモリコントローラ装置を用いた実装に適する。プロセス４００は、ブロック４０２で始まり、揮発性メモリの読み取り、揮発性メモリの書き込み、不揮発性メモリの読み取り及び不揮発性メモリの書き込みを含む複数のメモリアクセス要求を受信する。ブロック４０４で、要求を満たすためのメモリアクセスコマンドがスケジュールされ、メモリインタフェースキューに配置される。ブロック４０４は、概して、メモリアクセス要求のためのメモリアクセスコマンドを復号することを含み、アービタ２３８（図２）等のアービタによってスケジュールされメモリインタフェースキューに配置される前に、コマンドキューにメモリアクセスコマンドを保持することを含み得る。

ブロック４０６で、プロセス４００は、メモリインタフェースキューに配置された不揮発性読み取りコマンドを不揮発性コマンドキュー（ＮＶキュー）に格納する。ブロック４０８で、メモリインタフェースキューからのメモリアクセスコマンドは、少なくとも１つの不揮発性デュアルインラインメモリモジュール（ＤＩＭＭ）に結合された異種メモリチャネルを介して送信される。いくつかの実施形態では、メモリチャネルは、少なくとも１つの揮発性ＤＩＭＭに結合される。

ブロック４１０に示すように、異種メモリチャネルを介して送信された不揮発性読み取りコマンドに対して、不揮発性ＤＩＭＭは、概して、不揮発性ＤＩＭＭの不揮発性メモリ、不揮発性ＤＩＭＭのＤＲＡＭ又はメディアコントローラのキャッシュにある可能性がある、要求されたデータを読み取る予測不可能なプロセスのために、非決定的な期間の後に応答する。非決定的な期間中、他のメモリアクセスコマンドは、概して、メモリインタフェースキューから送信される。不揮発性ＤＩＭＭのメディアコントローラは、要求されたデータの読み取りプロセスを完了すると、レディ応答信号「ＲＤ＿ＲＤＹ」をメモリコントローラに送信する。プロセスは、不揮発性読み取りごとにＲＤ＿ＲＤＹを受信するのを待つ。概して、ＲＤ＿ＲＤＹ信号は、メモリインタフェースキューがメモリアクセスコマンドへの応答を受信するサブチャネルとは別の異種メモリチャネルのサブチャネルで送受信される。例えば、ＮＶＤＩＭＭ－Ｐメモリチャネルにより、ＲＤ＿ＲＤＹ信号は、概して、コマンドとデータが送信される「ＣＭＤ」及び「ＤＱ」ラインとは別のメモリチャネルの「ＲＳＰ＿Ｒ」ラインで送信される。

ブロック４１２で、応答データが関連する１つの不揮発性読み取りコマンドに利用可能であることを示すＲＤ＿ＲＤＹ信号が不揮発性ＤＩＭＭから受信される。この実施例ではＮＶバッファ２４７（図２）である制御回路は、ＲＤ＿ＲＤＹ信号を受信する。それに応じて、ブロック４１４で、ＮＶバッファ２４７は、ＳＥＮＤコマンドをメモリインタフェースキューに配置する。これにより、ＳＥＮＤコマンドは、不揮発性ＤＩＭＭへの送信用にスケジュール又はキューに入れられる。

ＳＥＮＤコマンドを受信すると、不揮発性ＤＩＭＭメディアコントローラは、コマンドと関連する識別子を含む不揮発性読み取りコマンドで読み取られた応答データをメモリコントローラに送り返す。この実施形態における関連する識別子は、読み取りコマンドの読み取り識別子「ＲＩＤ」である。ブロック４１６で、応答データと関連する識別子がメモリコントローラの不揮発性ＤＩＭＭから受信される。それに応じて、メモリコントローラのＮＶバッファは、関連する識別子を使用して、同じ関連する識別子を持つＮＶキュー内の不揮発性読み取りコマンドを識別する。ブロック４１８で、応答データは、不揮発性レディコマンドが生成された関連する不揮発性読み取り要求を実行するために提供される。これにより要求が満たされ、関連する不揮発性読み取りコマンドがＮＶキューから除去される。

いくつかの実施形態では、ブロック４０４でのプロセス４００は、アービタ２３８（図２）等のアービタを用いてメモリアクセスコマンドをスケジューリングすることを含む。一例では、プロセスは、メモリアクセスコマンドをメモリインタフェースキューに配置する前に、不揮発性読み取りコマンドを他の不揮発性読み取りコマンド又は揮発性読み取りコマンドとグループ化する。いくつかの実施形態では、ブロック４１４のプロセス４００は、ＳＥＮＤコマンドをメモリインタフェースキューに配置する前に、ＳＥＮＤコマンドを不揮発性又は揮発性読み取りコマンドのグループとグループ化することをさらに含む。ＳＥＮＤコマンドの応答時間が決定的であるため、メモリインタフェースキュー２１４は、ＳＥＮＤコマンドを、通常のＤＤＲｘ読み取り及び書き込み並びに不揮発性書き込み等の他のコマンドと、揮発性メモリに混合することができる。

図５は、いくつかの実施形態による、エラーを処理するためのプロセスのフロー図である。図６及び図７は、図５のプロセスを示す一連の図６００，７００である。図５～図７を参照すると、プロセス５００は、概して、コマンドの格納と、チャネル及び不揮発性ＤＩＭＭがリセットされて、エラーを訂正するために最近のコマンドがリプレイされる回復シーケンスの提供と、を処理する。ブロックが特定の順序で示されているが、この順序は限定的なものではなく、一部のブロックが継続的に並行して発生する。プロセス５００は、メモリコントローラ２００（図２）又は適切なＮＶキュー及びリプレイキューとエラー検出機能を備えた他のメモリコントローラによって実行されるのに適する。

ブロック５０２において、不揮発性読み取りコマンドのコピーは、それぞれの不揮発性ＤＩＭＭに送信するためにメモリインタフェースキューに配置される場合に、ＮＶキューに格納される。これは、図６００において、送信のために選択された場合にメモリインタフェースキューに行くコマンドを示す矢印６０１と、ＮＶキューに格納されている不揮発性読み取りコマンドのコピーを示す矢印６０２で示される。他のタイプのコマンドは、ブロック５０４に示すように、不揮発性書き込み、揮発性書き込み、揮発性読み取り、ＳＥＮＤコマンド及び他のメモリアクセスコマンドを含む、リプレイキューに格納されたコピーを有する。図６００の矢印６０３は、リプレイキューに格納されている他のコマンドを示す。ブロック５０２，５０４は、メモリコントローラがメモリアクセス要求を処理する場合に継続的に発生する。

エラーが検出されない場合、プロセス５００は、コマンドをＮＶキューとリプレイキューに格納し続け、これらのコマンドは、実行されてそれぞれのキューから除去されるまで保持される。ブロック５０６でのプロセス５００は、メモリチャネル上の１つのＤＩＭＭで、回復シーケンスを必要とするエラーがあったか否かを検出し、回復シーケンスを開始し、検出されたエラーの性質に応じて、ブロック５０７、５０８又は５０９のうち何れかに進む。検出されたエラーがコマンドパリティエラーである場合、プロセス５００は、ブロック５０６から、メモリチャネル上の各ＤＩＭＭでパリティエラーをクリアするためのコマンドを送信するブロック５０７に進む。書き込み又は読み取りＥＣＣエラーが検出された場合、プロセス５００は、書き込み又は読み取りＥＣＣステータスをクリアするブロック５０８に進む。コマンドパリティエラーと書き込み／読み取りＥＣＣエラーの両方が検出された場合、プロセス５００は、チャネル上の各ＤＩＭＭでパリティエラーをクリアするためのコマンドを送信するブロック５０９に進み、そして書き込み又は読み取りＥＣＣステータスをクリアするブロック５１０に進む。いくつかの実施形態では、プロセスがエラータイプを判定できない場合、エラーステータスが完全にクリアされることを確実にするために両方のエラータイプのエラーをクリアすると、ブロック５０９もブロック５１０に進む。次に、プロセス５００は、回復シーケンスを継続するためにブロック５１１に進む。

ブロック５１１において、多目的レジスタ（ＭＰＲ）モードが現在アクティブである場合、それが無効になる。メモリコントローラは、ブロック５１２でＰＨＹの先入れ先出し（ＦＩＦＯ）バッファをリセットする。ブロック５１４において、全ての読み取りＩＤ（ＲＩＤ）が、メモリチャネル及びチャネルバッファ上の不揮発性ＤＩＭＭにリセットされる。いくつかの実施形態では、ブロック５１４は、リセットＲＩＤ（ＲＳＴ＿ＲＩＤ）コマンドを送信すること、レディ（ＲＤＹ）応答を待機すること、ＳＥＮＤコマンドを送信すること、及び、不揮発性ＤＩＭＭが保留中の読み取りコマンドに対してＲＤＹ応答を送信しないように、全ての未処理の読み取りがリセットされたことを確認するために、結果のデータパケットを待機すること、を含む。

書き込みクレジットが必要な場合、ブロック５１６で要求され、取得される。いくつかの実施形態では、ブロック５１６は、書き込みステータスコマンドを送信して不揮発性ＤＩＭＭに利用可能な書き込みクレジットの数を判定すること、より多くの書き込みクレジットが必要か否かを決定すること、次に、より多くの書き込みクレジットを要求及び取得することを含む。要求は、十分な書き込みクレジットが受信されるまで、複数の書き込みクレジット要求をループすることを含み得る。

回復シーケンスの前にＭＰＲモードがアクティブである場合、エラーが発生した場合と同じ状態で不揮発性ＤＩＭＭを配置して必要なコマンドをリプレイするために、ブロック５１８で再び有効になる。

この時点で、コマンドのリプレイを開始するために、回復シーケンスがリセットされ、チャネルと不揮発性ＤＩＭＭの様々な部分がクリアされる。ブロック５２０において、プロセス５００は、リプレイキューから選択されたコマンドから開始してコマンドのリプレイを開始する。いくつかの実施形態では、選択されたコマンドは、任意の揮発性読み取り、多目的レジスタ（ＭＰＲ）関連コマンド、ＭＰＲ関連コマンドに関連するＳＥＮＤコマンド、揮発性書き込み、及び、リプレイキューにある不揮発性書き込みを含む。不揮発性読み取りに関連するＳＥＮＤコマンドは、レポート及びデバッグの目的でリプレイキューに格納されるが、ブロック５２０で送信されない。リプレイキューにあるＦＬＵＳＨコマンドもリプレイされない。

好ましくは、ブロック５０６～ブロック５２０までのブロックは、リプレイ制御ロジック２３１（図２）又は同様のリプレイ制御回路の制御下で実行される。次に、プロセスは、不揮発性読み取りコマンドのリプレイを完了するために、制御をＮＶバッファ２４７に渡す。

ブロック５２２において、プロセス５００は、ＮＶキューに格納された全ての不揮発性読み取りをメモリインタフェースキューに送信することにより、それらをリプレイすることを含む。好ましくは、このリプレイは、リプレイキューに格納された全ての選択されたメモリアクセスコマンドを送信した後に発生する。図４に関して説明したように、不揮発性読み取りの応答時間は非決定的であり、つまり、不揮発性読み取りのＲＤ＿ＲＤＹ応答に続いて最初に送信されたＳＥＮＤコマンドは、必ずしも同じ順序で再度送信されるとは限らない。この順序付けを処理するために、プロセス５００は、不揮発性読み取りに関連するリプレイキューに格納されたＳＥＮＤコマンドをスキップすることと、ブロック５２４において、回復シーケンス中に不揮発性ＤＩＭＭから受信したリードレディ（ＲＤ＿ＲＤＹ）応答に応じて新しいＳＥＮＤコマンドを生成することにより、不揮発性読み取りのために到着した場合にＲＤ－ＲＤＹ応答に応答することとを含む。この時点で、リプレイシーケンスが完了し、メモリコントローラは、リプレイシーケンスを終了して通常の動作状態に戻る。

したがって、本明細書で説明するようなメモリコントローラ及びデータ処理システムは、不揮発性ＤＩＭＭとインタフェースするメモリコントローラの能力を向上させる。さらに、本明細書のメモリコントローラは、非決定的で潜在的に長い待ち時間を有する不揮発性読み取りコマンドが実行されるまで、メモリインタフェースキューがそれらを保持する必要性を排除することにより、メモリインタフェースキューの長さを短縮する。

図２のメモリコントローラ２００又はアービタ２３８等のその任意の部分は、プログラムによって読み取ることができ、集積回路を製造するために直接的又は間接的に使用できるデータベース又は他のデータ構造の形式にあるコンピュータアクセス可能データ構造によって記述又は表現され得る。例えば、このデータ構造は、Ｖｅｒｉｌｏｇ又はＶＨＤＬ等の高レベル設計言語（ＨＤＬ）におけるハードウェア機能の動作レベル記述又はレジスタ転送レベル（ＲＴＬ）記述であってもよい。記述は、合成ツールによって読み取られ、合成ツールは、記述を合成して、合成ライブラリからゲートのリストを含むネットリストを生成し得る。ネットリストは、集積回路を含むハードウェアの機能も表すゲートのセットを含む。次に、ネットリストは、マスクに適用される幾何学形状を記述するデータセットを生成するように配置及びルーティングされ得る。次いで、マスクは、集積回路を生成するために様々な半導体製造工程において使用されてもよい。代替として、コンピュータアクセス可能記憶媒体上のデータベースは、必要に応じて、ネットリスト（合成ライブラリの有無にかかわらず）若しくはデータセット、又は、グラフィックデータシステム（ＧＤＳ）ＩＩデータであり得る。

特定の実施形態が説明されているが、これらの実施形態に対する様々な変更が当業者には明らかであろう。例えば、メモリチャネルコントローラ２１０の内部アーキテクチャ及び／又はパワーエンジン２５０は、異なる実施形態において変化し得る。メモリコントローラ２００は、例えば高帯域幅メモリ（ＨＢＭ）、ＲＡＭバスＤＲＡＭ（ＲＤＲＡＭ）等のような、ＮＶＤＩＭＭ－Ｐメモリ以外の他のタイプのメモリにインタフェースし得る。図示した実施形態は、別々のＤＩＭＭに対応する各ランクのメモリを示しているが、他の実施形態において、各ＤＩＭＭは、複数のランクをサポートすることができる。さらに、異種メモリチャネルが一般にサポートされるが、チャネルは、不揮発性ＤＩＭＭで完全に満たされる場合がある。さらに、回復及びリプレイを達成するために２つの個別のキューが説明されているが、いくつかの実施形態では、単一の専用ストレージキューが使用される。

したがって、開示された実施形態の範囲内に収まる開示された実施形態の全ての変更を網羅することが、添付の特許請求の範囲によって意図される。

Claims

メモリコントローラであって、
揮発性読み取り、揮発性書き込み、不揮発性読み取り及び不揮発性書き込みを含むメモリアクセスコマンドを受信するための第１の入力と、出力と、を有し、複数のエントリを有するコマンドキューと、
前記コマンドキューの出力に結合された入力と、揮発性デュアルインラインメモリモジュール（ＤＩＭＭ）及び不揮発性ＤＩＭＭが結合された異種メモリチャネルに結合するための出力と、を有するメモリインタフェースキューと、
前記メモリインタフェースキューに配置された不揮発性読み取りコマンドを格納するために前記コマンドキューの出力に結合された不揮発性コマンドキュー（ＮＶキュー）と、
前記メモリインタフェースキューに配置された、選択されたメモリアクセスコマンドを格納するために前記コマンドキューの出力に結合されたリプレイキューと、
前記異種メモリチャネルを介して受信した情報に基づいて、回復シーケンスを必要とするエラーが発生したことを検出し、前記エラーに応じて、前記リプレイキューに格納された、選択されたメモリアクセスコマンドを送信することと、前記ＮＶキューに格納された不揮発性読み取りを送信することと、を含む前記回復シーケンスを開始するためのリプレイ制御回路と、を備える、
メモリコントローラ。
前記回復シーケンスは、前記リプレイキューに格納された全ての選択されたメモリアクセスコマンドを送信した後に、前記ＮＶキューに格納された不揮発性読み取りを送信することを含む、
請求項１のメモリコントローラ。
前記回復シーケンスは、１つ以上の前記ＤＩＭＭ上の全ての保留中の読み取り識別子（ＲＩＤ）のリセットを要求することを含む、
請求項１のメモリコントローラ。
前記選択されたメモリアクセスコマンドは、揮発性読み取り、揮発性書き込み、不揮発性書き込み、多目的レジスタ（ＭＰＲ）関連コマンド、及び、ＭＰＲ関連コマンドに関連するＳＥＮＤコマンドを含む、
請求項１のメモリコントローラ。
前記回復シーケンスは、不揮発性読み取りに関連する、前記リプレイキューに格納されたＳＥＮＤコマンドをスキップすることと、前記回復シーケンス中に前記不揮発性ＤＩＭＭから受信したリードレディ（ＲＤ＿ＲＤＹ）応答に応じて新しいＳＥＮＤコマンドを生成することと、を含む、
請求項１のメモリコントローラ。
前記回復シーケンスを必要とする前記エラーは、コマンドパリティエラー、不揮発性ＤＩＭＭに関連する書き込みコマンド誤り訂正符号（ＥＣＣ）エラー、及び、不揮発性ＤＩＭＭに関連する読み取りコマンドＥＣＣエラーのうち何れかである、
請求項１のメモリコントローラ。
方法であって、
揮発性メモリの読み取り、揮発性メモリの書き込み、不揮発性メモリの読み取り及び不揮発性メモリの書き込みを含む複数のメモリアクセス要求を受信することと、
前記メモリアクセス要求を満たすためのメモリアクセスコマンドをメモリインタフェースキューに配置し、前記メモリアクセスコマンドを、前記メモリインタフェースキューから揮発性デュアルインラインメモリモジュール（ＤＩＭＭ）及び不揮発性ＤＩＭＭに結合された異種メモリチャネルに送信することと、
前記メモリインタフェースキューに配置された、選択されたメモリアクセスコマンドをリプレイキューに格納することと、
前記メモリインタフェースキューに配置された前記不揮発性読み取りを不揮発性コマンドキュー（ＮＶキュー）に格納することと、
前記異種メモリチャネルを介して受信した情報に基づいて、回復シーケンスを必要とするエラーが発生したことを検出し、前記エラーに応じて、（ｉ）前記リプレイキューに格納された、選択されたメモリアクセスコマンドを送信することと、（ｉｉ）前記ＮＶキューに格納された不揮発性読み取りを送信することと、を含む前記回復シーケンスを開始することと、を含む、
方法。
前記回復シーケンスは、前記リプレイキューに格納された全ての選択されたメモリアクセスコマンドを送信した後に、前記ＮＶキューに格納された不揮発性読み取りを送信することを含む、
請求項７の方法。
前記回復シーケンスは、１つ以上の前記ＤＩＭＭ上の全ての保留中の読み取り識別子（ＲＩＤ）のリセットを要求することを含む、
請求項７の方法。
前記回復シーケンスは、１つ以上の前記ＤＩＭＭ上のバッファの書き込みクレジットを要求し、取得することを含む、
請求項７の方法。
前記選択されたメモリアクセスコマンドは、揮発性読み取り、揮発性書き込み、不揮発性書き込み、多目的レジスタ（ＭＰＲ）関連コマンド、及び、ＭＰＲ関連コマンドに関連するＳＥＮＤコマンドを含む、
請求項７の方法。
前記回復シーケンスは、不揮発性読み取りに関連する、前記リプレイキューに格納されたＳＥＮＤコマンドをスキップすることと、前記回復シーケンス中に前記不揮発性ＤＩＭＭから受信したリードレディ（ＲＤ＿ＲＤＹ）応答に応じて新しいＳＥＮＤコマンドを生成することと、を含む、
請求項７の方法。
データ処理システムであって、
中央処理装置と、
前記中央処理装置に結合されたデータファブリックと、
前記データファブリックを介してなされたメモリアクセス要求を満たすために前記データファブリックに結合されたメモリコントローラと、を備え、
前記メモリコントローラは、
揮発性読み取り、揮発性書き込み、不揮発性読み取り及び不揮発性書き込みを含むメモリアクセスコマンドを受信するための第１の入力と、出力と、を有し、複数のエントリを有するコマンドキューと、
前記コマンドキューの出力に結合された入力と、揮発性デュアルインラインメモリモジュール（ＤＩＭＭ）及び不揮発性ＤＩＭＭが結合された異種メモリチャネルに結合するための出力と、を有するメモリインタフェースキューと、
前記メモリインタフェースキューに配置された不揮発性読み取りを格納するために前記コマンドキューの出力に結合された不揮発性コマンドキュー（ＮＶキュー）と、
前記メモリインタフェースキューに配置された、選択されたメモリアクセスコマンドを格納するために前記コマンドキューの出力に結合されたリプレイキューと、
前記異種メモリチャネルを介して受信した情報に基づいて、回復シーケンスを必要とするエラーが発生したことを検出し、前記エラーに応じて、前記リプレイキューに格納された、選択されたメモリアクセスコマンドを送信し、前記ＮＶキューに格納された不揮発性読み取りを送信するリプレイ制御回路と、を備える、
データ処理システム。
前記回復シーケンスは、前記リプレイキューに格納された全ての選択されたメモリアクセスコマンドを送信した後に、前記ＮＶキューに格納された不揮発性読み取りを送信することを含む、
請求項１３のデータ処理システム。
前記回復シーケンスは、１つ以上の前記ＤＩＭＭ上の全ての保留中の読み取り識別子（ＲＩＤ）のリセットを要求することを含む、
請求項１３のデータ処理システム。