JP5537919B2 - データ転送のためのシステムおよび方法 - Google Patents

Description

本発明は、複数のソースからデータを受信し、処理するデータ処理システムに関する。

本出願は、2001年12月12日出願の米国特許出願第60/340,386号明細書（発明の名称“Supercharge Message Exchanger”）に対して優先権を主張しており、これは全体的に本出願で参考文献とされている。また、本出願は2002年12月10日出願の米国特許暫定出願（発明の名称“Supercharge Message Exchanger”）に対して優先権を主張している。

データ処理システムは複数のソースからデータを受信する。

メッセージ交換システムは２以上のプロセッサがさらに効率的に通信することを可能にするために提供され、これは入力／出力（Ｉ／Ｏ）処理速度を改良する。

１実施形態では、システムはＩ／Ｏ完了が２つのプロセッサに関連する２つのメモリにポストされることを可能にする。いずれかのプロセッサはＩ／Ｏ完了通知をアクセスでき、それに続く動作のためにＩ／Ｏを準備する。

１実施形態では、システムはＤＭＡからのＩ／Ｏ完了通知とプロセッサ間のメッセージを記憶するためにゼロ待機状態のランダムアクセスメモリ（ＲＡＭ）を使用する。ゼロ待機状態のＲＡＭはＲＡＭアクセス待ち時間を減少する。代わりに、システムは減少された性能でより多くの情報容量を実現するため待機状態で高い待ち時間のＲＡＭを使用する。

複数の異なるソースが複数のデータパスにより同時にＲＡＭに書込もうとするとき、システムはレジスタにデータを記憶することによりデータの崩壊の可能性を克服する。システムはまたＲＡＭの複数の論理的区画への公正で迅速なアクセスを可能にする。また、レジスタはＲＡＭがフルでありソースがＲＡＭへ書込みを継続しようとするときデータ崩壊の可能性を克服する。

システムは異なるクロックドメインから発生するＩ／Ｏ完了を管理するように構成され
ている。例えば２つのＩ／Ｏ完了は周辺コンポーネントインターフェース（ＰＣＩ）側から来てもよく、これは３３ＭＨｚ、６６ＭＨｚ、または１３３ＭＨｚで動作している。２つのＩ／Ｏ完了はファイバチャンネルリンク側から来てもよく、これは１０６ＭＨｚまたは２００ＭＨｚクロックに同期されてもよい。ＡＲＭプロセッサは２００ＭＨｚクロックでＩ／Ｏ完了またはプロセッサ間メッセージをポストする。

システムはＲＡＭの空またはフル状態と、ＲＡＭ中のフルである位置の数を追跡する。

さらに、システムはまたプロセッサに重要な事象について通知するためにドアベルレジスタを使用してもよい。ドアベルレジスタは第１のプロセッサが特定のドアベルビットを設定し、第２のプロセッサが特定のドアベルビットを読取りクリアすることを可能にする。第１のプロセッサはまた特定のドアベルビットが第２のプロセッサにより設定されるとき中断を発生することができる。

システムは用途特定集積回路（ＡＳＩＣ）またはフィールドプログラム可能なゲートアレイ（ＦＰＧＡ）装置中に構成されてもよい。

アプリケーションの１特徴は、第１のチャンネルと第２のチャンネルを備えたシステムに関する。第１のチャンネルは第１の直接メモリアクセス（ＤＭＡ）エンジンと、第２のＤＭＡエンジンと、第１のランダムアクセスメモリ（ＲＡＭ）と、第１のプロセッサとを具備している。第２のチャンネルは第３のＤＭＡエンジンと、第４のＤＭＡエンジンと、第２のＲＡＭと、第２のプロセッサとを具備している。

別の特徴はランダムアクセスメモリと、第１および第２のエンジンと、プロセッサとを具備するチャンネルに関する。ランダムアクセスメモリは入力／出力完了を記憶するように構成されている。第１および第２のエンジンは入力／出力完了をランダムアクセスメモリに送信するように構成されている。プロセッサはランダムアクセスメモリに記憶された入力／出力完了を処理するように構成されている。

別の特徴は、第２のチャンネルのエンジンからの入力／出力（Ｉ／Ｏ）完了を記憶するために第１のチャンネルのランダムアクセスメモリ（ＲＡＭ）を構成し、第１のチャンネルのＲＡＭのＩ／Ｏ完了を処理するステップを含んでいる方法に関する。

別の特徴は、第１のチャンネルのエンジンがインアクチブであるか否かを検出し、第１のチャンネルのエンジンがインアクチブであるならば、第２のチャンネルのエンジンからの入力／出力（Ｉ／Ｏ）完了を第１のチャンネルのランダムアクセスメモリに記憶し、第１のチャンネルのランダムアクセスメモリ中のＩ／Ｏ完了を処理することを含んでいる方法に関する。

別の特徴は、複数のデータパスから入力／出力（Ｉ／Ｏ）完了を受信し、複数のレジスタ中にＩ／Ｏ完了を記憶し、各レジスタは予め定められたデータパスからＩ／Ｏ完了を記憶するように構成され、レジスタからＩ／Ｏ完了をランダムアクセスメモリの複数の論理ブロックに転送し、各論理ブロックは予め定められたデータパスからＩ／Ｏ完了を記憶するように構成されているステップを含んでいる方法に関する。

スーパーチャージチャンネルシステムとして作用するように構成されたデュアルチャンネルシステムの１実施形態を示す図。 図１のシステムの各側に構成される完了制御論理装置および完了ＲＡＭの１実施形態を示す図。 図２のＲＡＭからのＲＡＭブロック、ゲットおよびプットポインタ、ファームウェア、レジスタ、完了ＲＡＭ制御論理装置の１実施形態を示す図。 図１のシステムを使用するプロセスの１実施形態を示す図。 図２および３の制御論理装置およびＲＡＭを使用するプロセスの１実施形態を示す図。 単一のチャンネルモードで動作するデュアルプロセッサの１実施形態を示す図。 プロセッサ間ドアベルレジスタの１実施形態のブロック図。

詳細な説明

１以上の実施形態の詳細について添付図面によって以下説明する。他の特徴および利点は説明および図面と、特許請求の範囲から明白であろう。
種々の図面の同一の参照符号は同一のエレメントを示している。

図１は、スーパーチャージチャンネルシステムとして作用するように構成されたデュアルチャンネルシステム100の１実施形態を示している。システム100は２つの周辺コンポーネントインターフェース（ＰＣＩ）受信／送信（Ｒｘ／Ｔｘ）直接メモリアクセス（ＤＭＡ）ポートまたはエンジン102A、102B、２つのリンク（例えばファイバチャンネル）Ｒｘ／Ｔｘ ＤＭＡポートまたはエンジン104A、104Bと、２つの完了ＲＡＭインターフェース論理装置106A、106Bと、２つの完了ＲＡＭ108A、108Bと、メッセージ区域110A、110Bと、データが堅密に結合されたメモリ（ＤＴＣＭ）ポート112A、112Bと、プロセッサ114A、114Bとを含んでいる。システム100は図１に示された素子の代わりにまたは追加して別の素子を含んでいてもよい。

ＰＣＩ Ｒｘ／Ｔｘ ＤＭＡエンジン102A、102Bは（ＰＣＩバスを介して）ホストメモリ140と外部の中間メモリ120（図６の外部メモリ605と同一）との間でデータを転送する。メモリ120はシステム100のオンまたはオフのＡＳＩＣである。リンクＲｘ／Ｔｘ ＤＭＡエンジン104A、104Bは中間メモリ120とファイバチャンネルリンク／インターフェース150との間でデータを転送する。ファイバチャンネルリンク／インターフェース150はＮ−ポートまたはＬ−ポート或いはＮＬ−ポートとも呼ばれる。

システム100はチャンネルＡ部分（側）101AとチャンネルＢ部分（側）101Bとを含んでいる。各“チャンネル”101はＰＣＩ Ｒｘ／Ｔｘ ＤＭＡエンジン102、リンクＲｘ／Ｔｘ ＤＭＡエンジン104、完了RAMインターフェース論理装置106、完了ＲＡＭ108、プロセッサ114を含んでいる。

ＰＣＩおよびファイバチャンネルＤＭＡはここでは例として使用されている。他の構成では、システム100は他のタイプのバス、ネットワークまたはプロトコルと共に使用されることができる。

１実施形態では、プロセッサ114A、114BはＡＲＭ社により開発されたＡＲＭ９４６コアプロセッサであるが、他のタイプのプロセッサが使用されてもよい。プロセッサ114A、114BはＡＲＭ９４６に限定されない。

［データ転送］
データ転送は２ステッププロセスであってもよい。“送信パス”では、ＰＣＩ ＤＭＡエンジン102Aまたは102Bの一方がＰＣＩバスを介してＰＣＩ側のホストメモリ140から中間メモリ120へデータを転送する。リンクＤＭＡエンジン104Aまたは104Bの１つはその後、中間メモリ120からファイバチャンネルリンク／インターフェース150へデータを転送する。

“受信パス”では、リンクＤＭＡエンジン104Aまたは104Bの一方がファイバチャンネルリンクインターフェース150から中間メモリ120へデータを転送する。ＰＣＩ ＤＭＡエンジン102Aまたは102Bはその後、中間メモリ120からＰＣＩ側のホストメモリ140へデータを転送する。

［Ｉ／Ｏ完了］
データがエンジン102A、102B、104Aまたは104Bの１つにより中間メモリ120に適切に記憶され、またはそこから検索されるとき、エンジン102A、102B、104Aまたは104Bは対応する“Ｉ／Ｏ完了”通知（通告）を対応する完了ＲＡＭインターフェース論理装置106Aまたは106Bへ出力する。

“Ｉ／Ｏ完了”は入力（Ｉ）または出力（Ｏ）動作が適切に完了し、またはエラーで完了するときのことである。Ｉ／Ｏの例には、（１）ホストメモリ140から中間メモリ120へデータを転送し（送信パス）、（２）中間メモリ120からホストメモリ140へデータを転送し（受信パス）、（３）中間メモリ120からリンク150へデータを転送し（送信パス）、（４）リンク150から中間メモリ120へデータを転送する（受信パス）ことが含まれている。プロセッサ114Aまたは114Bの一方は各動作が適切に完了するときを知る必要がある。プロセッサ114はまた動作が完了したがエラーを有しているか否かを知る必要があり、エラーの回復方法が呼出されることができる。

図１はプロセッサ114A、114Bの一方または両者がＲＡＭ108Aまたは108Bに記憶されたＩ／Ｏ完了を処理する態様を示している。

第１の構成では、ハードウェアはモード制御ビットをファームウェアへ提供するように構成され、ここでモード制御ビットは単一のチャンネルモード、デュアルチャンネルモードまたはスーパーチャージモードにシステム100を設定する。

第２の構成では、ハードウェアおよび／またはファームウェアはシステム100を単一のチャンネルモード、デュアルチャンネルモードおよび／またはスーパーチャージモード間で切換える。例えば、ハードウェアまたはファームウェアはＤＭＡエンジン102と104の１セット（例えば102Aと104B）がアイドルであるか否かをダイナミックに決定し、単一のチャンネルモードからスーパーチャージモードへ切換える。

［単一のチャンネルモード］
非スーパーチャージの“単一のチャンネル”モードでは、“送信”と“受信”パスは両者ともＩ／Ｏ完了通知を処理するために１“チャンネル”101で同時に動作している。したがって、ただ１つのプロセッサ114がＩ／Ｏ完了の処理全体を制御している。単一のチャンネルモードでは、１つのチャンネル101だけが動作可能であり、“他方のチャンネル”101は動作可能ではなく、すなわちアイドルである。“動作可能ではない”チャンネルは処理されるＩ／Ｏ完了がないチャンネル101として規定される。

［デュアルチャンネルモード］
“デュアルチャンネルモード”では、両チャンネル101A、101Bは送信および受信動作の両者を同時に独立して実行している。両チャンネルA 101AおよびB 101Bはまた同時にＩ／Ｏ完了を処理している。基本的に、“デュアルチャンネル”モードは単一のチャンネル動作が両チャンネルで行われているときである。

非スーパーチャージの“単一のチャンネル”と“デュアルチャンネル”モードでは、Ｉ／Ｏ完了はただ１つの完了ＲＡＭ108にポストされ、これはプロセッサのＤＴＣＭポートへ接続される。

［スーパーチャージモード］
チャンネル101Aまたは101Bの１つだけが単一のチャンネルモードで動作しているとき、他方のチャンネルは動作可能ではない状態である。動作可能ではないチャンネルの処理リソースは使用されていない。

モード制御ビット（または単一のチャンネルモードを検出するハードウェアまたはファームウェア）にしたがって、プロセッサ114A、114BはＩ／Ｏ処理速度を増加し、性能を高めるために“スーパーチャージ”モードを付勢することができる。スーパーチャージモードでは、アクチブチャンネル101は動作可能ではないチャンネル101からハードウェアコンポーネントを使用する。特に、各Ｒｘ／Ｔｘ ＤＭＡエンジン102Aと104A（またはチャンネルＢがアクチブならば102B、104B）はＰＣＩおよびリンクI／O完了通知を完了ＲＡＭ108Aと108Bへ書込み／ポストする。この特徴はプロセッサ114Aまたは114BがＩ／Ｏ完了をアクセスし、それに続く処理動作（即ち次のＤＭＡ段）のためのＩ／Ｏを準備し、もしもあるならば、他のプロセッサ114にその後の処理動作のためのＩ／Ｏを準備するように通知することを可能にする。

この特性はＩ／Ｏ処理のボトルネックを防止する。Ｉ／Ｏを生成する（即ち最初にＤＭＡ動作をセットアップする）プロセッサ114は、ＤＭＡ動作が完了するとき、Ｉ／Ｏ完了通知の事後処理中に係わる必要はない。その代わりに、ＤＭＡ完了はファームウェアに関与せずに動作を開始するために他のプロセッサ114に対する完了ＲＡＭ108へ直接送られる。

“スーパーチャージ”モードでは、プロセッサ114A、114Bの両者は単一のアクチブチャンネル101を制御し、即ち両方のプロセッサ114A、114Bは単一のアクチブチャンネルのＩ／Ｏ完了で動作できる。スーパーチャージモードにはアイドルチャンネルは存在しない。しかしながら、以下説明するように、選択される構造にしたがって、使用されていないハードウェアが幾つか存在する。

スーパーチャージモードはプロセッサ114A、114Bが処理動作を分割するために使用される態様においてフレキシブルである。各Ｒｘ／Ｔｘ ＤＭＡエンジン102、104からの両完了ＲＡＭ108A、108BへのＩ／Ｏ完了通知の書込みはシステム100のファームウェアが最適な解決策を決定するために異なる構造で実験することを可能にする。

スーパーチャージモード構造では、ハードウェアまたはファームウェアはＰＣＩ ＴｘおよびＲｘ ＤＭＡ動作からＩ／Ｏ完了を処理するために１つのプロセッサ114Aを専用にし、その一方で他方のプロセッサ114BはファイバチャンネルリンクのＴｘとＲｘ ＤＭＡ動作からのＩ／Ｏ完了を処理するために専用にされる（以下説明する図６参照）。しかしながら、システム100はＰＣＩ ＴｘとＲｘ ＤＭＡ動作を処理する１つのプロセッサ114と、リンクＴｘとＲｘ ＤＭＡ動作を管理する他のプロセッサ114に限定されない。

別のスーパーチャージモード構造では、ハードウェアまたはファームウェアは一方のプロセッサ114Aがホストメモリ140からファイバチャンネルリンク／インターフェース150までの“送信パス”全体（即ちＰＣＩ Ｔｘ ＤＭＡとリンクＴｘ ＤＭＡ）を制御することを可能にし、他方のプロセッサ114Bがファイバチャンネルリンク／インターフェース150からホストメモリ140までの“受信パス”全体（即ちリンクＲｘ ＤＭＡとＰＣＩ Ｒｘ ＤＭＡ）を制御することを可能にするように構成されている。

別のスーパーチャージモード構造では、ハードウェアまたはファームウェアは１つのプロセッサ114をＰＣＩ ＴＸとＮＬ−ポートＲｘの処理専用とし、他方のプロセッサ114をＰＣＩ ＲＸとＮＬ−ポートＴｘの処理専用とする。

ハードウェアまたはファームウェアはまたこれらの構造の可変度を許容する。

プロセッサ114AがＰＣＩ Ｔｘ ＤＭＡ動作を終了されるとき、１つのプロセッサ114AがＰＣＩ ＴｘとＲｘ ＤＭＡ動作を制御するスーパーチャージ構造では、プロセッサ114Aは他方のプロセッサ114Bにデータがファイバチャンネルリンク／インターフェース150へ送信する準備がされていることを通知するため、ライン130Bを介してメッセージを（リンクＴｘとＲｘ ＤＭＡ動作を制御する）他方のプロセッサ114Bへ送信する。

システム100はＩ／Ｏ完了通知を記憶するため、ＲＡＭ108A、108Bとして低い待ち時間でゼロ待機状態のＲＡＭを使用し、それによりプロセッサ114Aまたは114Bのいずれかは迅速に次のＤＭＡ段に対するＩ／Ｏを準備することができる。ゼロ待機状態ＲＡＭ108A、108Bはプロセッサ114A、114BによりＲＡＭアクセス時間を減少する。低い待ち時間でゼロ待機状態のＲＡＭおよび他の特定化されたハードウェアは毎秒当りのＩ／Ｏ完了数（ＩＯＰＳ）を改良するために高い性能を与える手段を提供する。

別のシステムでは、ソフトウェアは高い待ち時間のメモリ（待ち状態のメモリ）を使用して１つのプロセッサから別のプロセッサへＩ／Ｏ完了メッセージをマニュアルで移動する。このタイプの別のシステムは低い性能を生じる。

［プロセッサ間の通信］
２つのプロセッサ114A、114Bとの間の通信は少なくとも２つの方法で行われる。第１に、ライン130A、130Bは２つのプロセッサ114A、114Bの間に高速度で効率的な通信交換機構を設けることができる。ライン130A、130Bはデータ処理速度を改善する。ライン130A、130Bは各プロセッサ114が単一のワードまたは８つのワードのバーストを他のプロセッサのゼロ待機状態完了ＲＡＭ108へ書込むことを可能にする。

例えば、スーパーチャージモードでは、ＰＣＩ ＴＸ／ＲＸエンジン102AとリンクＴｘ／Ｒｘエンジン104AからのＤＭＡ Ｉ／Ｏ完了はプロセッサの完了ＲＡＭ108A、108Bとの両者にポストされる。１つのプロセッサ114AがＩ／Ｏ完了を処理するとき、プロセッサ114Aはライン130Bを介して他のプロセッサ114Bへメッセージを送信することができる。プロセッサ114A、114B間の通信メッセージは“プロセッサＡが特定のＩ／ＯのＤＭＡデータを完了し、Ｉ／Ｏが次の処理ステップの準備がされている”ような情報を伝送する。システム100は“スーパーチャージモード”で動作しているとき、ライン130A、130Bを介して２つのＡＲＭプロセッサ114A、114B間での効率的なメッセージの交換は劇的にＩ／Ｏ処理速度を改良する。

第２に、各プロセッサ114は図６および７により以下説明するように、ドアベルレジスタと制御論理装置602A、602Bとの使用により他のプロセッサに通知することができる。

［制御論理装置およびＲＡＭ］
図２は、図１のシステム100の各側101A、101B中に設けられている完了制御論理装置200およびＤＴＣＭ ＲＡＭ214の１実施形態を示している。制御論理装置200は５つのデータパス、即ちファイバチャンネル受信パスＦＲｘＱ240、ファイバチャンネル送信パスＦＴｘＱ242、ＰＣＩ受信パスＤＸＢＲｘ244、ＰＣＩ送信パスＤＸＢＴｘ246、および他のＡＲＭプロセッサ114からの書込みパス130に結合されている。制御論理装置200はシステムクロックライン（sysclk）、システムリセットライン（sysrst）、“データが堅密に結合されたメモリ”（ＤＴＣＭ）ポート112、ＡＲＭプロセッサ114へのインターフェース262にもまだ結合されている。図１および２に示されているように、インターフェース／信号ライン262はＲＡＭインターフェース論理装置（図１では106、図２では200）とＡＲＭプロセッサ114との間である。

図２のＤＴＣＭ ＲＡＭ214は図１では完了ＲＡＭ108Aとメッセージ区域110A（または完了ＲＡＭ108Bとメッセージ区域110B）に対応する。図２では、データが堅密に結合されたメモリ（ＤＴＣＭ）ポート112はＡＲＭプロセッサ114がＤＴＣＭ ＲＡＭ214と通信することを可能にする。ＤＴＣＭ ＲＡＭ214はＡＲＭプロセッサ114A、114B内の専用のＤＴＣＭポート112とインターフェースする。“ＤＴＣＭ”はプロセッサのＤＴＣＭポートプロトコルをサポートするメモリとして規定されてもよい。ＤＴＣＭポート112はＡＲＭプロセッサ114に組込まれるので、プロセッサのメモリに対するアクセス時間は劇的に改良される。

図２の完了制御論理装置200は複数のマルチプレクサ202、204、206、208、210、複数のレジスタ250−257、仲裁装置212、ＡＲＭとＣＲデータおよびアドレスデコーダ226（“ＣＲ”は完了ＲＡＭを表す）、ｐｕｔ＿ｃｔｌ制御装置228、別の仲裁装置230、ＣＲレジスタ232（“ＣＲ”は完了ＲＡＭを表す）を含んでいる。制御論理装置200は図２に示されているエレメントに加えて、またはその代わりに他のエレメントを含んでいてもよい。制御装置228は４つのプットポインタを追跡する。

レジスタシンボル250−257は単一ビットレジスタとして示されているが、レジスタシンボル250−257は任意の所望の数のビットを記憶するように構成されたレジスタを表している。第５のレジスタ257は示されているデコーダ226に結合されているかまたはデコーダ226内である。

１実施形態では、ＤＴＣＭ ＲＡＭ214は２つの読取りポートと２つの書込みポートを有する。ＤＴＣＭ ＲＡＭ214は同期ＲＡＭである。１構造では、ＲＡＭ214は１０２４×３２ＲＡＭであるが、種々の他のワード長と任意の数のワードを有するＲＡＭが使用されてもよい。

１実施形態ではＤＴＣＭ ＲＡＭ214はＦＲＸＱｕｅｕｅ完了ブロック216、ＦＴＸＱｕｅｕｅ完了ブロック218、ＤＸＢＲｘ完了ブロック220、ＤＸＢＴｘ完了ブロック222のような（“待ち行列”または“区画”とも呼ばれる）複数の論理ブロックに分割されている。これらのブロック216、218、220、222は図１のＲＡＭ108に対応する。他のプロセッサからのメッセージブロック110はＤＴＣＭ ＲＡＭ214の別の区画である。各ブロックは３２、６４、１２８または７６８エントリのような任意の所望の数のエントリを有してもよい。

各ブロックはそのそれぞれのソースからＩ／Ｏ完了を記憶するように動作する。例えばＦＲＸＱｕｅｕｅ完了ブロック216はファイバチャンネルリンク受信ＤＭＡ動作からＲｘ Ｉ／Ｏ完了を記憶する。Ｒｘ Ｉ／Ｏ完了はファイバチャンネルリンク／インターフェース150から中間メモリ120へ転送されるデータに関する。別の例として、ＤＸＢＲｘ完了ブロック220はＰＣＩ受信ＤＭＡ動作からのＩ／Ｏ完了を記憶する。

制御論理装置200は各Ｉ／Ｏ完了がただ１つのＲＡＭブロック216、218,220、222またはブロックが十分なスペースを有するならば110に書込まれることを可能にするように構成されている。制御論理装置200はＩ／Ｏ完了がＤＴＣＭ ＲＡＭ214へ書込まれるときはいつでも、プロセッサ114へプロセッサ中断を発生する。

ＲＡＭブロックがフルであり、新しいＩ／Ｏ完了が到着するならば、新しいＩ／Ｏ完了はデータをＤＴＣＭ ＲＡＭ214に重書きしてはならない。その代わりに、制御論理装置200はデータソースが新しく到着するＩ／Ｏ完了を最初に、レジスタ250−257のようなレジスタへ書込むことを可能にする。その後、制御論理装置200はデータをＤＴＣＭ ＲＡＭ214へ書込む。

レジスタが既に新しいＩ／Ｏ完了で満たされているならば、レジスタは新しいデータを記憶する準備がされていない可能性がある。エラーフラグは制御論理装置200またはファームウェアにより断定され、ソースはＩ／Ｏ完了を再度、後に、再送信するように命令される。

［ＲＡＭ動作］
システムのリセット後、完了ＲＡＭ制御論理装置200は５つのデータパス240−248に結合するデータソースへ５つのＲＥＡＤＹ信号を発生する。セットＲＥＡＤＹ信号を検出するとき、各データソースはそれがＤＴＣＭ ＲＡＭ214へ書込むためのデータ（Ｉ／Ｏ完了）を有するならば、書込みエネーブル信号を発生する。５つのデータパス240−248は一度、書込みエネーブル信号が断定されると、５つの異なる“ｄａｔａｉｎ＿ｒｅｇ”レジスタ250−257へ第１のデータを送信し始める。レジスタ250−257が満たされるとき、ＲＥＡＤＹ信号はデータソースがさらにデータを“ｄａｔａｉｎ＿ｒｅｇ”レジスタ250−257へ書込まないように宣言を無効にする（deassert）。

異なるソースからの書込みエネーブル信号とデータ信号（Ｉ／Ｏ完了）は時には、完了ＲＡＭ制御論理装置200の動作速度と比較して異なる速度（クロックドメイン）で送信される。例えばＤＸＢ受信パス244（ＰＣＩ受信）からのデータ信号（Ｉ／Ｏ完了）は３３ＭＨｚ、６６ＭＨｚまたは１３３ＭＨｚで受信される。リンクＦＲｘＱパス240（ファイバチャンネルリンク受信）からのデータは２００ＭＨｚクロックに同期される。リンクＦＴｘＱパス242（ファイバチャンネルリンク送信）からのデータは１０６ＭＨｚクロックに同期される。ＡＲＭプロセッサはＩ／Ｏ完了またはプロセッサ間メッセージを２００ＭＨｚクロックでポストする。これらの信号が同期されていないならば、システム100は重要な完了情報を失う可能性がある。システム100は信号が処理される前に、これらの異なる信号を共通のクロックドメインへ同期するか再クロックするように構成されている。

レジスタ250−257が満たされるとき、制御論理装置200は“ｄａｔａｉｎ＿ｒｅｇ”レジスタ250−257のデータを特別なＲＡＭブロック216―222、110へ移動するか否かを決定する。特別なＲＡＭブロック216―222、110が満たされていないならば、制御論理装置200はデータを“ｄａｔａｉｎ＿ｒｅｇ”レジスタから特別なＲＡＭブロック216―222、110へ移動する。制御論理装置200はまた関連する“ｄａｔａｉｎ＿ｒｅｇ”レジスタが次のＩ／Ｏ完了メッセージを記憶する準備がされていることを示すためにＲＥＡＤＹ信号をソースへ通知する。

特定のＲＡＭブロック216―222、110が満たされているならば、制御論理装置200は“ｄａｔａｉｎ＿ｒｅｇ”レジスタのデータを特別なＲＡＭブロック216―222、110へ移動しない。ソースへのＲＥＡＤＹ信号は低アクチブの状態で維持される。

ソースがデータをソースの関連する“ｄａｔａｉｎ＿ｒｅｇ”レジスタに書込みを続けようとするならば、先にレジスタにロードされたデータは重書きされる。制御論理装置200はフラグを設定し、または中断信号をソースへ送信する。ソースはデータが崩壊されるときと、崩壊されるデータを知っている。ソースは後にデータを再送信する。この場合、ＤＴＣＭ ＲＡＭ214のデータは重書きされない。

５つのデータパス240−248はＤＴＣＭ ＲＡＭ214の５つの異なるブロック216―222、110にアクセスしようとする。５つの異なるレジスタ250−257は５つの異なるソースからデータを記憶するように構成されている。ＰＣＩ ＤＭＡ102と、ＬＩＮＫ ＤＭＡ104と、ＡＲＭプロセッサ114とが複数のデータパス240−248を介して同時にＩ／Ｏ完了をＤＴＣＭ ＲＡＭ214へ書込もうとするとき、制御論理装置200はデータ崩壊の可能性を克服することができる。

全ての５つのレジスタ250−257がロードされるとき、仲裁装置212はＤＴＣＭ ＲＡＭ214へ最初に書込まれるレジスタデータを決定する。仲裁装置212はデータを異なるＲＡＭブロック216、218、220、222、110へ移動するために、ラウンドロビン方法のような迅速で公正な仲裁方法を使用してもよい。仲裁方法は異なるソースからのデータがＲＡＭブロック216―222、110へ公正で迅速なアクセスすることを確実にする。

制御論理装置200はまた特定のデータソースのＲＡＭ書込みサイクルが第２の書込みが同一のデータソースにより試みられる前に完了することを確実にすることによってデータの崩壊の可能性を克服する。中断はＩ／Ｏ完了の通知が重書きされたならば、データソースとファームウェアに通知するために制御論理装置100またはファームウェアによって発生される。データソースは完了通知を再送信する。

別の方法では、ＲＡＭブロック216―222、110および／またはレジスタ250−257が満たされるとき、それぞれのＤＭＡへのＲＥＡＤＹ信号（図２の“ｒｄｙ”）は完了状態の書込みを阻止するためにインアクチブになる。ＤＭＡはＲＥＡＤＹ信号が再度アクチブになるまで待機モードにされる。その後Ｉ／Ｏ完了状態は完了ＲＡＭまたはレジスタ250―257へ書込まれる。

［ＲＡＭポインタ］
図３は、図２のＲＡＭ214からのＲＡＭブロック300、ファームウェア306、ゲットポインタフィールド302、プットポインタフィールド304、プットポインタ304のための制御論理装置308の１実施形態を示している。ファームウェア306はメモリに記憶され、図２の制御論理装置200の制御装置またはプロセッサにより実行される。代わりにファームウェア306は図２のプロセッサ114により実行されてもよい。制御論理装置308は図２の完了ＲＡＭ制御論理装置200を表している。レジスタ310はゲット／読取りポインタ302とプット／書込みポインタ304を記憶するように構成されている。図３のＲＡＭブロック300は図２のＲＡＭブロック216−222の１つを表している。図２の各ＲＡＭブロック216−222はその固有のゲットおよびプットポインタ302、304に関連されている。

図２の第１の４つのＲＡＭブロック216、218、220、222がフルであるか否かを決定するために、ＲＡＭ制御論理装置200は第１の４つのＲＡＭブロック216―222に対する４つのプットポインタを管理する。Ｉ／Ｏ完了メッセージが対応するＲＡＭブロック300（図２のＲＡＭブロック216、218、220または222の１つ）に書込まれるとき、ｐｕｔ＿ｃｔｌ制御装置228はプットポインタ304をインクリメントする（図３）。

ｐｕｔ＿ｃｔｌ制御装置228はプットポインタ値をＣＲ Ｒｅｇレジスタ232へ送り、ここで特定のＲＡＭブロック300に対応するプットポインタ304とゲットポインタ302との間で比較が行われる。プットポインタ304がゲットポインタ302よりも大きいとき、中断がファームウェア306に対して発生され、少なくとも１つの完了メッセージが完了ＲＡＭブロック300に存在することを示す。

ファームウェア306がＩ／Ｏ完了メッセージを検索するとき、ファームウェア306は対応するゲットポインタ302をインクリメントする。ファームウェア306は全ての未処理のメッセージを検索し、適切なゲットポインタ302をインクリメントするとき、ゲットポインタ302はプットポインタ304に等しく、中断状態は除去される。

ＲＡＭブロック300のゲットポインタ302とプットポインタ304はファームウェア306により容易に追跡される。図３では、制御論理装置308はブロック300への各書込み動作が完了した後、１だけプットポインタ304をインクリメントする。プットポインタ304がＲＡＭブロック300の最後（最後のエントリＥＮＴＲＹ ｎ）に到達するとき、制御論理装置308はプットポインタ304にＲＡＭブロック300の最初（“ＥＮＴＲＹ０”）にラップバックさせる。

ファームウェア306は図３のゲットポインタ302のような４つのゲットポインタを管理し、これは第１の４つのＲＡＭ区画216−222内のエントリを指向する。ファームウェア306は各読取り動作が完了した後、１だけゲットポインタ302をインクリメントする。ゲットポインタがＲＡＭブロック300の最後（最後のエントリ“ＥＮＴＲＹ ｎ”）に到達するとき、ファームウェア306はゲットポインタ302に最初（“ＥＮＴＲＹ０”）にラップさせる。

データ（Ｉ／Ｏ完了）がＲＡＭブロック300に書込まれるとすぐに、中断はＲＡＭ制御論理装置300により発生される。ファームウェア306はＤＴＣＭポート112を通してＲＡＭブロック300からプロセッサ114へデータを読出し始める。

制御論理装置308またはファームウェア306は各ＲＡＭブロック216−222の状態を追跡し満たされる完了ＲＡＭ数を予測するためプットおよびゲットポインタ304、302の値を使用する。ファームウェア306または制御論理装置308はまたＲＡＭブロック300がフルまたは空であるときを予測するためにプットおよびゲットポインタ302、304を使用する。例えば、プットポインタ304がゲットポインタ302マイナス１に等しい（Ｐｕｔ＝Ｇｅｔ−１）ならば、ブロックまたは待ち行列300はフルである。この状態は使用されることができない１つの利用可能な位置がＲＡＭ214に存在し、最後のエントリのデータがブロック216、218、220、222、110に関連する“ｄａｔａｉｎ＿ｒｅｇ”レジスタ250、252、254、256、257（図２）に記憶されることを意味している。最後のＲＡＭ位置が書込まれたならば、プットおよびゲットポインタ304、302は等しく、実際にブロック300がフルであるときブロック300が空であることを示す。この理由で、特定のＲＡＭブロック300中でスペースが利用可能になるまで、最後のＲＡＭエントリは外部レジスタに記憶される。

プットおよびゲットポインタ304、302が等しく、即ちｐｕｔ＝ｇｅｔならば、ブロック300で、ブロックまたは待ち行列300は空である。チップリセット後、プットおよびゲットポインタ304、302はデフォルト状態の値に等しい。

［別のプロセッサからのメッセージの記憶］
図２の第５のＲＡＭ区画／ブロック110は図１のメッセージ区域110A、110Bの１つを表している。第５のＲＡＭブロック110は“他のプロセッサ”からのメッセージを記憶するように構成されている。例えば、図１のメッセージ区域110Aはプロセッサ区域114Bからのメッセージを記憶するように構成され、メッセージ区域110Bはプロセッサ区域114Aからのメッセージを記憶するように構成されている。図１のチャンネルＢのプロセッサ114BはチャンネルＡのＲＡＭ108Aの第５のＲＡＭ区画ブロック110（図１のメッセージ区域110A）へメッセージを書込むためにＡＲＭプロセッサインターフェース248のＡＲＭレジスタアクセスを使用する。

デコーダ226はＲＡＭブロック101にＩ／Ｏ完了メッセージを書込むために初期書込みアドレスを与える。Ｉ／Ｏ完了メッセージが一度ブロック110に書込まれると、デコーダ226は次の書込み動作のために書込みアドレスをインクリメントする。次のメッセージの書込みサイクルでは、プロセッサインターフェース248はアドレスを与える必要はない。ハードウェア200はそれ故、新しいメッセージが記憶されるべき場所を示す情報を含んでいる。

チャンネルＢのプロセッサ114Bがメッセージの書込みを完全に新しいアドレスへ通報するならば、プロセッサ114Bはメッセージとアドレスの両者を提供しなければならない。図１および２のチャンネルＢの“ＤＴＣＭ”ポート112BはチャンネルＢの固有のメッセージと完了データを検索するために使用される。同様に、図１のチャンネルＡの“ＤＴＣＭ”ポート112AはチャンネルＡの固有のメッセージと完了データの検索に使用される。

ＤＴＣＭは物理的にプロセッサの非常に近くに位置されることができるので、システム100はゼロ待機状態アクセスを管理できる。

図４は図１のシステム100を使用するプロセスの１実施形態を示している。ブロック400では、システム100は単一のチャンネル101Aまたは101Bが作動中であり、他のチャンネルがアイドルまたは動作できないことを検出する。システム100は“スーパーチャージモード”に入る。ブロック402で、第１のプロセッサ（114Aと仮定する）はホストメモリ140と中間メモリ120との間のデータ転送からのＩ／Ｏ完了のような１つのタイプのＩ／Ｏ完了を処理することができる。第２のプロセッサ（114Bと仮定する）は中間メモリ120とファイバチャンネルリンク／インターフェース150との間のデータ転送からのＩ／Ｏ完了のような別のタイプのＩ／Ｏ完了を処理することができる。

ブロック404では、第１のプロセッサ114AはＩ／Ｏ完了を終了し、第２のプロセッサ114Bに次の処理段のＩ／Ｏを準備するように通知するため、メッセージを第２のプロセッサへ送信する。

図５は図２、３の制御論理装置200およびＲＡＭ214を使用するプロセスの１実施形態を示している。ブロック500で、完了ＲＡＭ制御論理装置200は複数のＲＥＡＤＹ信号を複数のデータパス（例えば240−248）を介して複数のデータソースへ発生する。

ブロック502で、各データソースはセットＲＥＡＤＹ信号を検出し、データソースがＤＴＣＭ ＲＡＭ214へ書込むためのデータ（Ｉ／Ｏ完了）を有するならば書込みエネーブル信号を発生する。

ブロック504で、一度書込みエネーブル信号が宣言されると、複数のデータパスはデータを複数のデータインレジスタ（例えば250−256）へ送信し始める。

ブロック506で、レジスタが満たされるとき、ＲＥＡＤＹ信号はデータソースがさらに多くのデータをデータインレジスタに書込まれることを阻止するため宣言が無効にされる。

ブロック508で、レジスタが満たされるとき、制御論理装置200はデータインレジスタからＤＴＣＭ ＲＡＭ214へデータを移動するか否かを決定し、これは各ＲＡＭブロック216−222が満たされているか否かにしたがう。

ブロック510で、レジスタが満たされないならば、制御論理装置200はデータをＲＡＭブロックへ移動する。制御論理装置200はまた関連するデータインレジスタが次のデータセグメントを記憶する準備がされていることを示すためにソースへＲＥＡＤＹ信号を宣言する。

ブロック511で、５つのレジスタ250−256の全てまたはその幾つかがロードされるとき、仲裁装置212は最初にＤＴＣＭ ＲＡＭ214へ書込まれるレジスタデータを決定する。仲裁装置212はＲＡＭ214への公生で迅速なアクセスのためのラウンドロビン方法を使用する。

ブロック512で、ＲＡＭブロック216―222がフルであるならば、制御論理装置200はデータインデータレジスタのデータをＲＡＭブロック216―222に移動しない。ソースへのＲＥＡＤＹ信号は低いアクチブの状態である。

ブロック514で、ソースがデータをソースの関連するデータインレジスタに書込みを続けようとする。レジスタが既にデータを記憶しているならば、制御論理装置200はフラグを設定し、または中断信号をソースへ送信する。

［ドアベルレジスタおよび制御論理装置］
図６はスーパーチャージチャンネルモードで動作する２つのプロセッサ114A、114B、例えば単一のファイバチャンネルリンクを制御するため共に動作する２つのプロセッサ114A、114Bを有するシステム600の１実施形態を示している。システム600はＰＣＩ／Ｘインターフェース606、２つの完了ＲＡＭ108A、108B、リンクＲｘ／Ｔｘ ＤＭＡエンジン104、ＰＣＩ Ｒｘ／Ｔｘ ＤＭＡエンジン102、２つのプロセッサ114A、114B、プロセッサ114A、114B間のドアベルレジスタおよび制御論理装置602A、602B、ＮＬ−ポートおよび並直列モジュール608、ＱＤＲ ＲＡＭ制御装置604、ＱＤＲ外部メモリ605を含んでいる。

図７は、図６のプロセッサ間ドアベルレジスタおよび論理装置の１実施形態のブロック図である。図７はチャンネルＡのドアベルレジスタ704A、706A、708A、710Aのセット702Aと、チャンネルＢのドアベルレジスタ704B、706B、708B、710Bのセット702Bとの相互作用およびマッピングを示している。レジスタはドアベルレジスタＲＯ／ＲＣ704A、704B、ドアベルエネーブルレジスタＲ／Ｗ706A、706B、ドアベルの他チャンネルＲ／Ｗレジスタ708A、708B、ドアベルエネーブル他チャンネル読取り専用レジスタ710A、710Bを含んでいる。

図６および７はＤＴＣＭとドアベルレジスタ602A、602Bの動作全体を示している。チャンネルＡおよびＢのプロセッサ114A、114Bはドアベルレジスタと制御論理装置602A、602Bを通して通信できる。各プロセッサ114は他のプロセッサ114に重要な事象について通知するためにドアベルレジスタと制御論理装置602A、602Bとを使用する。

例えば、プロセッサＡ 114Aは１ビットをチャンネルＡのドアベルの他チャンネルレジスタ708Aへ書込むことによりプロセッサＢ 114Bを“リング（ring）する”ことができる。チャンネルＡのドアベルの他チャンネルレジスタ708Aは２つのレジスタ708Aと704Bとの間の矢印により示されているように、チャンネルＢのドアベルレジスタ704BとしてプロセッサＢのアドレス復号スペースへマップされる。したがって、チャンネルＡのドアベルの他チャンネルレジスタ708Aにビットを設定することにより、ビットをチャンネルＢのドアベルレジスタ704Bへ設定させる。

プロセッサＢ 114Bは適切なエネーブルビットをチャンネルＢのドアベルエネーブルレジスタ706Bに設定することによりドアベルレジスタ704Bの特定のドアベルビットで中断を発生することを可能にできる。プロセッサＢ 114Bはドアベルレジスタ704Bのビットセットを読取りクリアする。

プロセッサＡ 114Aは、レジスタ706BからチャンネルＡのドアベルエネーブル他チャンネルレジスタ710Aまでの矢印により示されているように、プロセッサＢのドアベルエネーブルレジスタ706Bの読取り専用能力を有する。

またプロセッサＢ 114BがプロセッサＡ 114Aをリングすることを可能にするレジスタ704A、706A、708B、710Bの対応するセットも存在する。したがってプロセッサＡ 114Aは特定のドアベルビットがプロセッサＢ 114Bにより設定されるときに中断を発生することもできる。

多数の実施形態を説明した。それにもかかわらず、種々の変更が本発明の技術的範囲を逸脱せずに行われることが理解されよう。したがって他の変更は特許請求の範囲に記載された技術的範囲内に含まれる。

Claims (20)

1. 第１のインタフェースに結合される第１のダイレクトメモリアクセス（ＤＭＡ）エンジンと、
   第２のインタフェースに結合される第２のＤＭＡエンジンと、
   前記第１のＤＭＡエンジンからのＩ／Ｏ完了を記憶する第１の完了ＲＡＭと、
   前記第１の完了ＲＡＭに記憶されているＩ／Ｏ完了を処理する第１のプロセッサと、
   前記第２のＤＭＡエンジンからのＩ／Ｏ完了を記憶する第２の完了ＲＡＭと、
   前記第２の完了ＲＡＭに記憶されているＩ／Ｏ完了を処理する第２のプロセッサと
   を有し、前記第１のＤＭＡエンジンは前記第１及び第２の完了ＲＡＭの双方に第１のＩ／Ｏ完了を書き込み、前記第１のプロセッサ又は前記第２のプロセッサが前記第１のＩ／Ｏ完了にアクセスすることを可能にする、システム。
2. 前記第１及び第２のプロセッサは、前記第１及び第２のプロセッサの間の通信を可能にするドアベルレジスタを利用する接続を有し、前記第１のプロセッサは、前記第２のプロセッサにより前記ドアベルレジスタに設定されたドアベルビットに応じて中断を生じさせる、請求項１記載のシステム。
3. 前記第１及び第２のプロセッサは、前記第１及び第２のプロセッサの間の通信を可能にするメッセージを送受信するための接続を有する、請求項１記載のシステム。
4. 前記第２のインタフェースはホストメモリに接続するためのインタフェースを備えている、請求項１記載のシステム。
5. 前記第１及び第２のＤＭＡエンジンは、ファームウェアの介入なしにＤＭＡによるデータ転送を行う、請求項１記載のシステム。
6. 用途特定集積回路（ＡＳＩＣ）又はフィールドプログラム可能ゲートアレイ（ＦＰＧＡ）により形成されている請求項１記載のシステム。
7. 請求項１記載のシステムを具備するファイバチャネルネットワーク。
8. 第１のインタフェースに結合された第１のダイレクトメモリアクセス（ＤＭＡ）エンジンからのＩ／Ｏ完了を第１の完了ＲＡＭに記憶するステップと、
   前記第１の完了ＲＡＭに記憶されたＩ／Ｏ完了を第１のプロセッサにより処理するステップと、
   第２のインタフェースに結合された第２のＤＭＡエンジンからのＩ／Ｏ完了を第２の完了ＲＡＭに記憶するステップと、
   前記第２の完了ＲＡＭに記憶されたＩ／Ｏ完了を第２のプロセッサにより処理するステップと、
   前記第１及び第２の完了ＲＡＭの双方に第１のＩ／Ｏ完了を前記第１のＤＭＡエンジンにより書き込み、前記第１のプロセッサ又は前記第２のプロセッサが前記第１のＩ／Ｏ完了にアクセスできるようにするステップと
   を有する方法。
9. 前記第２のプロセッサによりドアベルレジスタにドアベルビットを設定することで、前記第１及び第２のプロセッサの間の動作を制御するためにドアベルレジスタを利用するステップと、
   前記第２のプロセッサにより前記ドアベルレジスタに設定されたドアベルビットに応じて、前記第１のプロセッサにより中断を生じさせるステップと
   をさらに含む請求項８記載の方法。
10. 前記第１及び第２のプロセッサの間の動作を制御するためにメッセージを送受信するステップをさらに含む請求項８記載の方法。
11. 前記第２のインタフェースはホストメモリに接続するためのインタフェースを備えている、請求項８記載の方法。
12. 前記第１及び第２のＤＭＡエンジンは、ファームウェアの介入なしにＤＭＡによるデータ転送を行う、請求項８記載の方法。
13. 前記第１のＤＭＡエンジンは前記第１のインタフェース及び中間メモリの間でデータを転送し、前記第２のＤＭＡエンジンは前記第２のインタフェース及び前記中間メモリの間でデータを転送する、請求項１記載のシステム。
14. 前記第２の完了ＲＡＭに記憶された前記第１のＤＭＡエンジンからの第１のＩ／Ｏ完了を前記第２のプロセッサが処理した後に、前記第２のプロセッサは前記第１のプロセッサにメッセージを送信する、請求項１記載のシステム。
15. 前記メッセージは、前記第１のプロセッサに、前記第１のＩ／Ｏ完了に関するデータをさらに処理させる、請求項１４記載のシステム。
16. 前記第１の完了ＲＡＭは前記メッセージを記憶する、請求項１５記載のシステム。
17. 前記第１のＤＭＡエンジンは前記第１のインタフェース及び中間メモリの間でデータを転送し、前記第２のＤＭＡエンジンは前記第２のインタフェース及び前記中間メモリの間でデータを転送する、請求項８記載の方法。
18. 前記第２の完了ＲＡＭに記憶された前記第１のＤＭＡエンジンからの第１のＩ／Ｏ完了を前記第２のプロセッサが処理した後に、前記第２のプロセッサは前記第１のプロセッサにメッセージを送信する、請求項８記載の方法。
19. 前記第１のプロセッサが、前記メッセージに応答して、前記第１のＩ／Ｏ完了に関するデータを処理するステップを更に有する請求項１８記載の方法。
20. 前記メッセージを前記第１の完了ＲＡＭに記憶するステップを更に有する請求項１９記載の方法。
    

Images