JPH0981527A - 複数のホスト・コンピュータ・システムにより複数の記憶装置アレイを共有するシステム及び方法 - Google Patents
複数のホスト・コンピュータ・システムにより複数の記憶装置アレイを共有するシステム及び方法Info
- Publication number
- JPH0981527A JPH0981527A JP8186269A JP18626996A JPH0981527A JP H0981527 A JPH0981527 A JP H0981527A JP 8186269 A JP8186269 A JP 8186269A JP 18626996 A JP18626996 A JP 18626996A JP H0981527 A JPH0981527 A JP H0981527A
- Authority
- JP
- Japan
- Prior art keywords
- adapter
- array
- data
- host
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2089—Redundant storage control functionality
- G06F11/2092—Techniques of failing over between control units
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/10—Program control for peripheral devices
- G06F13/12—Program control for peripheral devices using hardware independent of the central processor, e.g. channel or peripheral processor
- G06F13/122—Program control for peripheral devices using hardware independent of the central processor, e.g. channel or peripheral processor where hardware performs an I/O function other than control of data transfer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/006—Identification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Multi Processors (AREA)
- Information Transfer Between Computers (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Computer And Data Communications (AREA)
Abstract
(57)【要約】
【課題】 ホスト及び記憶装置アレイのより大規模な接
続性を可能にする、より安価でよりスケーラブルな解決
策を提供する。 【解決手段】 各記憶装置アレイ上のデータが、任意の
ホスト・コンピュータによりアクセスされ得るように、
複数のホスト・コンピュータのデータを複数の記憶装置
アレイ上に記憶するシステムが提供される。複数のアダ
プタ・カードが使用され、各アダプタは、指定された記
憶装置アレイに対する制御装置機能を有する。システム
内の全てのアダプタ間に、アダプタ通信インタフェース
(相互接続)が存在する。
続性を可能にする、より安価でよりスケーラブルな解決
策を提供する。 【解決手段】 各記憶装置アレイ上のデータが、任意の
ホスト・コンピュータによりアクセスされ得るように、
複数のホスト・コンピュータのデータを複数の記憶装置
アレイ上に記憶するシステムが提供される。複数のアダ
プタ・カードが使用され、各アダプタは、指定された記
憶装置アレイに対する制御装置機能を有する。システム
内の全てのアダプタ間に、アダプタ通信インタフェース
(相互接続)が存在する。
Description
【0001】
【発明の属する技術分野】本発明はデータ記憶システム
に関し、特に複数のホスト・システムにより共用される
複数の記憶システムに関する。
に関し、特に複数のホスト・システムにより共用される
複数の記憶システムに関する。
【0002】
【従来の技術】コンピュータ利用の発展は、コンピュー
タ・システムのデータを記憶する柔軟性のある高い可用
性のシステムに対する需要を増加させた。多くの企業
が、パーソナル・コンピュータ及びワークステーション
を含む複数のホスト・コンピュータ・システムを有し、
これらは独立に機能するか、ネットワークを通じて接続
される。データが全てのホスト・システムによりアクセ
スされ得るように、複数のホスト・システムが複数の記
憶システムの共通のプールをアクセスできることが望ま
しい。こうした構成は、任意のホスト・システムが使用
可能な総データ量を増加させる。また、ホスト間で作業
負荷が配分され、システム全体が任意のホストの故障か
ら保護され得る。
タ・システムのデータを記憶する柔軟性のある高い可用
性のシステムに対する需要を増加させた。多くの企業
が、パーソナル・コンピュータ及びワークステーション
を含む複数のホスト・コンピュータ・システムを有し、
これらは独立に機能するか、ネットワークを通じて接続
される。データが全てのホスト・システムによりアクセ
スされ得るように、複数のホスト・システムが複数の記
憶システムの共通のプールをアクセスできることが望ま
しい。こうした構成は、任意のホスト・システムが使用
可能な総データ量を増加させる。また、ホスト間で作業
負荷が配分され、システム全体が任意のホストの故障か
ら保護され得る。
【0003】記憶システムに記憶されるデータの可用性
を保護することも重要である。データ保護のための1つ
の機構は、RAID(Redundant Array of Independent
Disks)機能を組み込むことである。RAID技術の概
念及び変形は、記憶装置業界では既知である。RAID
のレベルが、Pattersonらによる"A Case for Redundant
Array of Inexpensive Disks(RAID)"、proceedings
of the 1988 ACM SIGMOND Conference on Management o
f Data、Chicago、Illinois、June、1988に述べられて
いる。通常のRAIDシステムは、RAID制御装置並
びにアレイとして構成される複数の記憶装置を含み、後
者はディスク・ドライブとしても参照される直接アクセ
ス記憶装置(DASD)などを含む。データはパリティ
情報を用いてシステム上で保護され、パリティ情報もア
レイの一部として記憶される。RAIDレベル0アレイ
は通常、パリティ保護を有さず、データが全てのDAS
Dに渡りストライプされるアレイを指す。RAID1シ
ステムでは冗長保護のために、あるDASDからのデー
タが第2のDASD上にミラーされる。RAID5アー
キテクチャでは、論理パリティ・ディスクを指定するこ
とにより、RAIDオペレーションの効率及び信頼性が
向上される。この論理パリティ・ディスクは、アレイ上
の各ディスクに渡り物理的にストライプされ、従って、
どのディスクもアレイ全体のパリティを含まない。JB
OD(just a bunch of disks)は通常、ストライピン
グまたは冗長性を有さないDASDのアレイを指す。R
AID0、RAID1、RAID3及びRAID5の各
レベルが他に比較してより好適と思われる、特定のオペ
レーションが存在する。例えばRAID5は、データに
対する非常に多数の同時アクセスを要求するシステムに
好適である。
を保護することも重要である。データ保護のための1つ
の機構は、RAID(Redundant Array of Independent
Disks)機能を組み込むことである。RAID技術の概
念及び変形は、記憶装置業界では既知である。RAID
のレベルが、Pattersonらによる"A Case for Redundant
Array of Inexpensive Disks(RAID)"、proceedings
of the 1988 ACM SIGMOND Conference on Management o
f Data、Chicago、Illinois、June、1988に述べられて
いる。通常のRAIDシステムは、RAID制御装置並
びにアレイとして構成される複数の記憶装置を含み、後
者はディスク・ドライブとしても参照される直接アクセ
ス記憶装置(DASD)などを含む。データはパリティ
情報を用いてシステム上で保護され、パリティ情報もア
レイの一部として記憶される。RAIDレベル0アレイ
は通常、パリティ保護を有さず、データが全てのDAS
Dに渡りストライプされるアレイを指す。RAID1シ
ステムでは冗長保護のために、あるDASDからのデー
タが第2のDASD上にミラーされる。RAID5アー
キテクチャでは、論理パリティ・ディスクを指定するこ
とにより、RAIDオペレーションの効率及び信頼性が
向上される。この論理パリティ・ディスクは、アレイ上
の各ディスクに渡り物理的にストライプされ、従って、
どのディスクもアレイ全体のパリティを含まない。JB
OD(just a bunch of disks)は通常、ストライピン
グまたは冗長性を有さないDASDのアレイを指す。R
AID0、RAID1、RAID3及びRAID5の各
レベルが他に比較してより好適と思われる、特定のオペ
レーションが存在する。例えばRAID5は、データに
対する非常に多数の同時アクセスを要求するシステムに
好適である。
【0004】更に、記憶システムが読出しキャッシュま
たは書込みキャッシュのいずれかのキャッシュを含むこ
とが望ましい。業界では、不揮発性キャッシュの提供も
既知であり、このキャッシュに書き込まれたデータは、
ディスク・アクセス並びにディスク自身へのデータの実
際の書込みを待機する必要無しに、あたかもディスクに
書き込まれたかのように見なされる。
たは書込みキャッシュのいずれかのキャッシュを含むこ
とが望ましい。業界では、不揮発性キャッシュの提供も
既知であり、このキャッシュに書き込まれたデータは、
ディスク・アクセス並びにディスク自身へのデータの実
際の書込みを待機する必要無しに、あたかもディスクに
書き込まれたかのように見なされる。
【0005】データ・アクセスに対する性能及び高い可
用性が保証されるように、ハードウェア故障から保護す
るための冗長パスを提供することも望ましい。
用性が保証されるように、ハードウェア故障から保護す
るための冗長パスを提供することも望ましい。
【0006】複数のホストが複数のコンピュータ・シス
テムをアクセスすることを可能にする従来の解決策で
は、ホスト・アダプタ・カード、アウトボード・ディス
ク制御装置、及び標準ネットワーク通信システムの組み
合わせを用いた。
テムをアクセスすることを可能にする従来の解決策で
は、ホスト・アダプタ・カード、アウトボード・ディス
ク制御装置、及び標準ネットワーク通信システムの組み
合わせを用いた。
【0007】複数のホストが複数の記憶装置アレイをア
クセスすることを可能にするように、ネットワーク接続
されたコンピュータ記憶システム構成の従来例が、図1
及び図2に示される。図1は複数のホスト・システム1
0を有するシステムを示す。各ホスト・システムは、デ
ィスク・アレイ12へのそれぞれのインタフェース11
を有する。ホスト・システムは、互いにネットワーク1
3及びネットワーク・ファイル・システムを通じて通信
する。こうしたネットワーク・ファイル・システムに
は、サン・マイクロシステムズ社から提供されるネット
ワーク・ファイル・システム(NFS)がある。あるホ
ストが異なるホスト・システムに接続され、そのホスト
により制御されるデータをアクセスする必要がある場
合、データ・アクセス要求がネットワーク・サーバを通
じて、データが記憶されるアレイを制御するホストに経
路指定される。しかしながらこの解決策には、要求の送
信が遅いことによる制限が存在する。また、ネットワー
ク時間の使用がこの種のオペレーションには不適切であ
り、代わりにホスト間の他の種類の通信のために必要と
される。また、ネットワークがこの種のデータ・アクセ
スに対して最適化されない。
クセスすることを可能にするように、ネットワーク接続
されたコンピュータ記憶システム構成の従来例が、図1
及び図2に示される。図1は複数のホスト・システム1
0を有するシステムを示す。各ホスト・システムは、デ
ィスク・アレイ12へのそれぞれのインタフェース11
を有する。ホスト・システムは、互いにネットワーク1
3及びネットワーク・ファイル・システムを通じて通信
する。こうしたネットワーク・ファイル・システムに
は、サン・マイクロシステムズ社から提供されるネット
ワーク・ファイル・システム(NFS)がある。あるホ
ストが異なるホスト・システムに接続され、そのホスト
により制御されるデータをアクセスする必要がある場
合、データ・アクセス要求がネットワーク・サーバを通
じて、データが記憶されるアレイを制御するホストに経
路指定される。しかしながらこの解決策には、要求の送
信が遅いことによる制限が存在する。また、ネットワー
ク時間の使用がこの種のオペレーションには不適切であ
り、代わりにホスト間の他の種類の通信のために必要と
される。また、ネットワークがこの種のデータ・アクセ
スに対して最適化されない。
【0008】図2は、別々の制御装置サブシステム15
が複数のホスト16によりアクセス可能なシステムを示
す。制御装置サブシステム15は、このサブシステムに
接続されるアレイ18及び19のための制御機能を提供
する。これらの機能には、RAIDのパリティ及びスト
ライピング機能、キャッシュ読出し機能、及び不揮発性
キャッシュ書込み機能が含まれる。ホスト16は共有制
御装置を通じて、データへのアクセスを有する。ホスト
はいずれかの制御装置を通じて要求を送信し、制御装置
はアレイをアクセスし、要求されたデータをホストに返
送する。しかしながら、図2に示されるシステムは多数
の制限を有する。1サブシステムに接続可能なホスト・
コンピュータの数に制限があり、サブシステムにより制
御されるアレイの数にも制限がある。また、図2に示さ
れる従来技術では、ホストがそれ自身のDASDセット
用の独自の制御装置を有して独立しないように、ホスト
とアレイ間に別々のレベルの制御装置を有する。更に、
アウトボード制御装置が追加の電子回路、電源、及びパ
ッケージングを要求し、そのことがコストを増加させ、
システム全体の信頼性を低下させる。
が複数のホスト16によりアクセス可能なシステムを示
す。制御装置サブシステム15は、このサブシステムに
接続されるアレイ18及び19のための制御機能を提供
する。これらの機能には、RAIDのパリティ及びスト
ライピング機能、キャッシュ読出し機能、及び不揮発性
キャッシュ書込み機能が含まれる。ホスト16は共有制
御装置を通じて、データへのアクセスを有する。ホスト
はいずれかの制御装置を通じて要求を送信し、制御装置
はアレイをアクセスし、要求されたデータをホストに返
送する。しかしながら、図2に示されるシステムは多数
の制限を有する。1サブシステムに接続可能なホスト・
コンピュータの数に制限があり、サブシステムにより制
御されるアレイの数にも制限がある。また、図2に示さ
れる従来技術では、ホストがそれ自身のDASDセット
用の独自の制御装置を有して独立しないように、ホスト
とアレイ間に別々のレベルの制御装置を有する。更に、
アウトボード制御装置が追加の電子回路、電源、及びパ
ッケージングを要求し、そのことがコストを増加させ、
システム全体の信頼性を低下させる。
【0009】
【発明が解決しようとする課題】従って、ホスト及び記
憶装置アレイのより大規模な接続性を可能にする、より
安価でよりスケーラブルな解決策が必要とされる。こう
したシステムが高い可用性及び優れた性能を有すること
が望ましい。
憶装置アレイのより大規模な接続性を可能にする、より
安価でよりスケーラブルな解決策が必要とされる。こう
したシステムが高い可用性及び優れた性能を有すること
が望ましい。
【0010】
【課題を解決するための手段】本発明は従来システムに
おける上述の問題を解決する一方、安価でよりスケーラ
ブルな解決策を提供する。本発明は、ホストに内在する
ことができ、多数の記憶装置アレイを制御できるホスト
・アダプタ・カードを使用するアーキテクチャを提供す
る。
おける上述の問題を解決する一方、安価でよりスケーラ
ブルな解決策を提供する。本発明は、ホストに内在する
ことができ、多数の記憶装置アレイを制御できるホスト
・アダプタ・カードを使用するアーキテクチャを提供す
る。
【0011】各記憶装置アレイ上のデータが、任意のホ
スト・コンピュータによりアクセスされ得るように、複
数のホスト・コンピュータのデータを複数の記憶装置ア
レイ上に記憶するシステムが提供される。複数のアダプ
タ・カードが使用され、各アダプタは、指定された記憶
装置アレイに対する制御装置機能を有する。システム内
の全てのアダプタ間に、アダプタ通信インタフェース
(相互接続)が存在する。更に、ホスト・コンピュータ
内で実行されるアプリケーション・プログラムとアダプ
タとの間に、ホスト・アプリケーション・インタフェー
スが存在する。アプリケーション・プログラムにより、
ホスト・アプリケーション・インタフェースを通じて第
1のアダプタに、その第1のアダプタにより本来制御さ
れない記憶装置アレイに記憶されるデータに対するデー
タ要求が生成されるとき、データ要求はアダプタ通信イ
ンタフェースを通じて、要求データが記憶される記憶装
置アレイを本来制御するアダプタに伝達される。
スト・コンピュータによりアクセスされ得るように、複
数のホスト・コンピュータのデータを複数の記憶装置ア
レイ上に記憶するシステムが提供される。複数のアダプ
タ・カードが使用され、各アダプタは、指定された記憶
装置アレイに対する制御装置機能を有する。システム内
の全てのアダプタ間に、アダプタ通信インタフェース
(相互接続)が存在する。更に、ホスト・コンピュータ
内で実行されるアプリケーション・プログラムとアダプ
タとの間に、ホスト・アプリケーション・インタフェー
スが存在する。アプリケーション・プログラムにより、
ホスト・アプリケーション・インタフェースを通じて第
1のアダプタに、その第1のアダプタにより本来制御さ
れない記憶装置アレイに記憶されるデータに対するデー
タ要求が生成されるとき、データ要求はアダプタ通信イ
ンタフェースを通じて、要求データが記憶される記憶装
置アレイを本来制御するアダプタに伝達される。
【0012】好適な態様では、各ホスト・コンピュータ
は1つ以上のアダプタを有し、各アダプタはRAID制
御装置、1つ以上の外部インタフェース、及び読出し及
び書込みキャッシュを含む。ディスク・ドライブはRA
ID0、RAID1、RAID3またはRAID5など
のRAID機構内に、1つ以上のアレイとして構成され
る。所与の時点において、各アレイは1つのアダプタに
より制御され、そのアレイへの全てのアクセスがそのア
ダプタを通過する。このことは、同時にオーバラップす
るパリティ更新による潜在的な衝突を容易に解決する。
また、同一データの複数のコピーを複数のキャッシュに
記憶することによるコヒーレンス問題を回避する。アダ
プタ間の相互接続は、アダプタとディスク間の通信の他
に、アダプタ間(ピア・ツー・ピア)の通信を可能にす
る。
は1つ以上のアダプタを有し、各アダプタはRAID制
御装置、1つ以上の外部インタフェース、及び読出し及
び書込みキャッシュを含む。ディスク・ドライブはRA
ID0、RAID1、RAID3またはRAID5など
のRAID機構内に、1つ以上のアレイとして構成され
る。所与の時点において、各アレイは1つのアダプタに
より制御され、そのアレイへの全てのアクセスがそのア
ダプタを通過する。このことは、同時にオーバラップす
るパリティ更新による潜在的な衝突を容易に解決する。
また、同一データの複数のコピーを複数のキャッシュに
記憶することによるコヒーレンス問題を回避する。アダ
プタ間の相互接続は、アダプタとディスク間の通信の他
に、アダプタ間(ピア・ツー・ピア)の通信を可能にす
る。
【0013】好適な態様では、更に各記憶装置アレイの
2次制御を有する複数のアダプタが存在する。2次アダ
プタは、指定された記憶装置アレイを本来制御するアダ
プタが使用不能な場合に、その指定された記憶装置アレ
イを制御する。アダプタ通信インタフェースは、2次ア
ダプタを含む全てのアダプタを相互接続する。
2次制御を有する複数のアダプタが存在する。2次アダ
プタは、指定された記憶装置アレイを本来制御するアダ
プタが使用不能な場合に、その指定された記憶装置アレ
イを制御する。アダプタ通信インタフェースは、2次ア
ダプタを含む全てのアダプタを相互接続する。
【0014】本発明の目的は、複数のホストが複数のア
レイをアクセスすることを可能にする高い可用性のシス
テムを提供することである。シリアル・ストーレッジ・
アーキテクチャ(SSA:Serial Storage Architectur
e)のループ・トポロジを用いる技法が、128のホス
ト・システムの相互接続を可能にする。
レイをアクセスすることを可能にする高い可用性のシス
テムを提供することである。シリアル・ストーレッジ・
アーキテクチャ(SSA:Serial Storage Architectur
e)のループ・トポロジを用いる技法が、128のホス
ト・システムの相互接続を可能にする。
【0015】ホスト・アダプタ・カードは、パーソナル
・コンピュータ及びワークステーション用のマイクロチ
ャネル・バスまたはPCIバスなどの、多くのホスト・
バスと互換性を有し、このことは安価でよりスケーラブ
ルな解決策を提供する。SSAインタフェースに加え、
ファイバ・チャネル・インタフェース、FC−AL(Fi
ber Channel-Arbitrated Loop)も、SCSI2などの
既存の並列インタフェースと共に使用され得る。
・コンピュータ及びワークステーション用のマイクロチ
ャネル・バスまたはPCIバスなどの、多くのホスト・
バスと互換性を有し、このことは安価でよりスケーラブ
ルな解決策を提供する。SSAインタフェースに加え、
ファイバ・チャネル・インタフェース、FC−AL(Fi
ber Channel-Arbitrated Loop)も、SCSI2などの
既存の並列インタフェースと共に使用され得る。
【0016】
【発明の実施の形態】図3は、本発明の機能及びオペレ
ーションの主な要素の論理概要を示す。各ホスト・コン
ピュータ20は、1つ以上のアダプタ22を有する。各
アダプタはRAID制御装置、1つ以上の外部インタフ
ェース、並びに読出し及び書込みキャッシュを含む。ホ
スト・コンピュータは、ディスク・ドライブのアレイの
共通プールを共有する。ディスク・ドライブはRAID
0、RAID1、RAID3またはRAID5、或いは
JBODなどの1つ以上のアレイに構成される。これら
は当業者には既知のシステムである。任意の時点におい
て、各アレイは1つのアダプタにより制御され、アレイ
への全てのアクセスがそのアダプタを通過する。このこ
とは、同時にオーバラップするパリティ更新による潜在
的な衝突を容易に解決する。また、同一データの複数の
コピーを複数のキャッシュに記憶することによるコヒー
レンス問題を回避する。各アレイは1アダプタによって
のみ制御されるので、あるアレイの制御アダプタ以外の
アダプタから発信されるそのアレイに対する要求は、最
初に制御アダプタに経路指定されなければならず、その
後、制御アダプタがアレイをアクセスし、結果を発信元
リクエスタに返却する。アダプタ22は、アダプタとデ
ィスク間の通信の他に、アダプタ間の通信を可能にする
相互接続23を通じて相互接続される。
ーションの主な要素の論理概要を示す。各ホスト・コン
ピュータ20は、1つ以上のアダプタ22を有する。各
アダプタはRAID制御装置、1つ以上の外部インタフ
ェース、並びに読出し及び書込みキャッシュを含む。ホ
スト・コンピュータは、ディスク・ドライブのアレイの
共通プールを共有する。ディスク・ドライブはRAID
0、RAID1、RAID3またはRAID5、或いは
JBODなどの1つ以上のアレイに構成される。これら
は当業者には既知のシステムである。任意の時点におい
て、各アレイは1つのアダプタにより制御され、アレイ
への全てのアクセスがそのアダプタを通過する。このこ
とは、同時にオーバラップするパリティ更新による潜在
的な衝突を容易に解決する。また、同一データの複数の
コピーを複数のキャッシュに記憶することによるコヒー
レンス問題を回避する。各アレイは1アダプタによって
のみ制御されるので、あるアレイの制御アダプタ以外の
アダプタから発信されるそのアレイに対する要求は、最
初に制御アダプタに経路指定されなければならず、その
後、制御アダプタがアレイをアクセスし、結果を発信元
リクエスタに返却する。アダプタ22は、アダプタとデ
ィスク間の通信の他に、アダプタ間の通信を可能にする
相互接続23を通じて相互接続される。
【0017】ホスト・システムの例として、IBM AIXオ
ペレーティング・システムを実行するIBM Risc System/
6000マシンが挙げられる。当業者には既知の多くの他の
ホスト・システムも使用され得る。
ペレーティング・システムを実行するIBM Risc System/
6000マシンが挙げられる。当業者には既知の多くの他の
ホスト・システムも使用され得る。
【0018】図3及び図4を参照して、ホスト1がアダ
プタBにより制御されるアレイ2からデータを読出した
い状況では(ブロック24)、ホスト1はI/O要求を
アダプタAに発行する(ブロック25)。アダプタAは
レジストリを調査し、アレイ2がアダプタBにより制御
されることを判断する(ブロック26)。発信元アダプ
タはI/O要求をアダプタBに転送する(ブロック2
7)。アダプタBはそのキャッシュを探索し、必要に応
じてディスクをアクセスすることにより、I/O要求を
実行する。アダプタBは次に、読み出されたデータをア
ダプタAに返却する(ブロック28)。アダプタAは読
み出されたデータをホスト・メモリに記憶し、I/O要
求が完了したことを示すために、ホストに割込みを発生
する。
プタBにより制御されるアレイ2からデータを読出した
い状況では(ブロック24)、ホスト1はI/O要求を
アダプタAに発行する(ブロック25)。アダプタAは
レジストリを調査し、アレイ2がアダプタBにより制御
されることを判断する(ブロック26)。発信元アダプ
タはI/O要求をアダプタBに転送する(ブロック2
7)。アダプタBはそのキャッシュを探索し、必要に応
じてディスクをアクセスすることにより、I/O要求を
実行する。アダプタBは次に、読み出されたデータをア
ダプタAに返却する(ブロック28)。アダプタAは読
み出されたデータをホスト・メモリに記憶し、I/O要
求が完了したことを示すために、ホストに割込みを発生
する。
【0019】帯域幅、ファン・アウト、及び当業者には
既知の要求される可用性に依存して、多くの技法が相互
接続性23を提供するために使用され得る。例えば、1
つ以上の並列バス、直列ループ、または直列スイッチが
存在し得る。本発明の好適な態様は、相互接続アーキテ
クチャとしてSSAに関連して述べられるが、他のアー
キテクチャも使用可能である。
既知の要求される可用性に依存して、多くの技法が相互
接続性23を提供するために使用され得る。例えば、1
つ以上の並列バス、直列ループ、または直列スイッチが
存在し得る。本発明の好適な態様は、相互接続アーキテ
クチャとしてSSAに関連して述べられるが、他のアー
キテクチャも使用可能である。
【0020】SSAはANSI(American National St
andard Institute:米国規格協会)により開発されてい
る。X3T10.1.SSAは、特にディスク・ドライ
ブ、テープ・ドライブ、CD−ROM、光ドライブ、プ
リンタ、スキャナ、及び他の周辺装置などのI/O装置
を、ワークステーション・サーバ(ホスト・システム)
及び記憶サブシステムに接続するために設計された直列
インタフェースである。当業者にはSSAアーキテクチ
ャは既知であるので、ここではそのアーキテクチャ及び
そのオペレーションの詳細には触れないことにする。S
SAの詳細については、"Information Technology - Se
rial Storage Architecture - Transport Layer 1(SSA
-TL1),ANSI X3T10.1/0989D"、"Information Technolog
y - Serial Storage Architecture - Physical 1(SSA-
PH1),ANSI X3T10.1/xxxD"、及び"Information Technol
ogy - Serial Storage Architecture - SCSI-2 Protoco
l(SSA-S2P),ANSI X3T10.1/1121D"を参照されたい。
andard Institute:米国規格協会)により開発されてい
る。X3T10.1.SSAは、特にディスク・ドライ
ブ、テープ・ドライブ、CD−ROM、光ドライブ、プ
リンタ、スキャナ、及び他の周辺装置などのI/O装置
を、ワークステーション・サーバ(ホスト・システム)
及び記憶サブシステムに接続するために設計された直列
インタフェースである。当業者にはSSAアーキテクチ
ャは既知であるので、ここではそのアーキテクチャ及び
そのオペレーションの詳細には触れないことにする。S
SAの詳細については、"Information Technology - Se
rial Storage Architecture - Transport Layer 1(SSA
-TL1),ANSI X3T10.1/0989D"、"Information Technolog
y - Serial Storage Architecture - Physical 1(SSA-
PH1),ANSI X3T10.1/xxxD"、及び"Information Technol
ogy - Serial Storage Architecture - SCSI-2 Protoco
l(SSA-S2P),ANSI X3T10.1/1121D"を参照されたい。
【0021】リンクまたはバスは、データを銅線などの
伝送媒体上において、信号として伝送するために使用さ
れるコネクタを指す。直列リンクは単一信号サイズのケ
ーブルを使用することができ、そこでは伝送データ単位
が通信パス上で直列化される。直列コネクタは通常、双
方向(全2重)通信を有する。(ディスク・アレイに関
して)ループ構成において使用される場合、ループ内の
各ドライブへの帯域幅を倍増するために、或いは接続の
故障に備え、ドライブへの別の経路を提供するために、
第2のパスが使用され得る。SSAは、全2重通信を提
供する2信号接続(送信及び受信)を提供する。
伝送媒体上において、信号として伝送するために使用さ
れるコネクタを指す。直列リンクは単一信号サイズのケ
ーブルを使用することができ、そこでは伝送データ単位
が通信パス上で直列化される。直列コネクタは通常、双
方向(全2重)通信を有する。(ディスク・アレイに関
して)ループ構成において使用される場合、ループ内の
各ドライブへの帯域幅を倍増するために、或いは接続の
故障に備え、ドライブへの別の経路を提供するために、
第2のパスが使用され得る。SSAは、全2重通信を提
供する2信号接続(送信及び受信)を提供する。
【0022】SSAは、直列に接続される周辺装置をア
ドレス指定するSCSI(small computer system inte
rface)仕様の論理面を使用する。これらのSCSI仕
様は、SSAの物理仕様にマップされる。すなわち、S
SAは様々な上位レベル・プロトコルにおける、特に記
憶装置アプリケーション用のSCSI−2における、ト
ランスポート層として使用され得る。SSA上のSCS
I−2は、SCSI規格において定義されるものと類似
のアドレス機構を保持する。SCSI規格では、イニシ
エータ、ターゲット、及び論理単位が存在する。
ドレス指定するSCSI(small computer system inte
rface)仕様の論理面を使用する。これらのSCSI仕
様は、SSAの物理仕様にマップされる。すなわち、S
SAは様々な上位レベル・プロトコルにおける、特に記
憶装置アプリケーション用のSCSI−2における、ト
ランスポート層として使用され得る。SSA上のSCS
I−2は、SCSI規格において定義されるものと類似
のアドレス機構を保持する。SCSI規格では、イニシ
エータ、ターゲット、及び論理単位が存在する。
【0023】大部分の基本SSAネットワークは、単一
ポート周辺装置に接続される単一ポート・ホスト・アダ
プタを含む。直列接続は、情報フレームを伝達するため
に使用される4ワイヤーを含む。4ラインは、プラス/
マイナス・ライン出力(送信)及びプラス/マイナス・
ライン入力(受信)を含む。"ポート"は、リンク(1送
信パス及び1受信パス)の1端をサポートするハードウ
ェア及びファームウェアを含むゲートウェイを指す。あ
るノード内のポートは、別のノード上のポートにリンク
を介して接続される。
ポート周辺装置に接続される単一ポート・ホスト・アダ
プタを含む。直列接続は、情報フレームを伝達するため
に使用される4ワイヤーを含む。4ラインは、プラス/
マイナス・ライン出力(送信)及びプラス/マイナス・
ライン入力(受信)を含む。"ポート"は、リンク(1送
信パス及び1受信パス)の1端をサポートするハードウ
ェア及びファームウェアを含むゲートウェイを指す。あ
るノード内のポートは、別のノード上のポートにリンク
を介して接続される。
【0024】SSAにおけるポートは、2つの20メガ
バイト/秒の対話を同時に実行することができ、一方は
インバウンドで他方はアウトバウンドである。ループ内
の各リンクは独立に動作するので、総ループ帯域幅は単
一のリンクよりも高くなり得る。ループはまた単一の故
障を許容し得る。なぜなら、メッセージ及びデータが時
計回りまたは反時計回りに転送され得るからである。S
SAデュアル・ポート・ノードは、80メガバイト/秒
の総帯域幅において、4つの同時対話を伝搬できる。
バイト/秒の対話を同時に実行することができ、一方は
インバウンドで他方はアウトバウンドである。ループ内
の各リンクは独立に動作するので、総ループ帯域幅は単
一のリンクよりも高くなり得る。ループはまた単一の故
障を許容し得る。なぜなら、メッセージ及びデータが時
計回りまたは反時計回りに転送され得るからである。S
SAデュアル・ポート・ノードは、80メガバイト/秒
の総帯域幅において、4つの同時対話を伝搬できる。
【0025】ノードは、1つ以上の直列ポートを有する
システム制御装置、ホスト、または周辺装置を指す。各
ノードはその特有の責任またはタスクに相当する機能を
有する。イニシエータは、実行される必要のあるタス
ク、並びに所望のタスクを実行するターゲットを決定す
るノード内の機能である。ノードは1つ以上のポートを
実現する。
システム制御装置、ホスト、または周辺装置を指す。各
ノードはその特有の責任またはタスクに相当する機能を
有する。イニシエータは、実行される必要のあるタス
ク、並びに所望のタスクを実行するターゲットを決定す
るノード内の機能である。ノードは1つ以上のポートを
実現する。
【0026】フレームは、SSAネットワーク内の2つ
のポート間の情報伝送の基本単位である。フレームは、
制御バイト、最大6バイトのアドレス、最大128バイ
トのデータ、及び4バイトのエラー検出を含む期待フォ
ーマットを有する。ノードはフレームをポート間で経路
指定することができる。ノード機能はフレームを発信ま
たは送信し得る。SSAプロトコルは特殊な文字を用い
て、ノード間で伝送されるフレームの流れを調整し、フ
レームを確認する。フレーム多重化機能は、電信システ
ムが同一ケーブル上で、2つ以上のメッセージをいずれ
の方向にも同時に送信できることを意味する。
のポート間の情報伝送の基本単位である。フレームは、
制御バイト、最大6バイトのアドレス、最大128バイ
トのデータ、及び4バイトのエラー検出を含む期待フォ
ーマットを有する。ノードはフレームをポート間で経路
指定することができる。ノード機能はフレームを発信ま
たは送信し得る。SSAプロトコルは特殊な文字を用い
て、ノード間で伝送されるフレームの流れを調整し、フ
レームを確認する。フレーム多重化機能は、電信システ
ムが同一ケーブル上で、2つ以上のメッセージをいずれ
の方向にも同時に送信できることを意味する。
【0027】SSAは、ストリング、ループ及びスイッ
チ構成を含む複数のトポロジにより実現され得る。通常
の単一ループ構成では、128デュアル・ポート・ノー
ド(周辺装置またはホスト)がサポートされ得る。複雑
なスイッチ構成では、ノードの理論的な最大数は200
万以上である。ループ・トポロジはネットワーク内の各
ノードへの代替パスを許可し、ネットワークを1箇所の
故障として除去する。
チ構成を含む複数のトポロジにより実現され得る。通常
の単一ループ構成では、128デュアル・ポート・ノー
ド(周辺装置またはホスト)がサポートされ得る。複雑
なスイッチ構成では、ノードの理論的な最大数は200
万以上である。ループ・トポロジはネットワーク内の各
ノードへの代替パスを許可し、ネットワークを1箇所の
故障として除去する。
【0028】ゲートウェイは2つのノード間で確立さ
れ、SSAネットワーク上で全2重通信を提供する。ノ
ードは、例えばディスク・アクセスなどの機能を実行す
るために、別のノードにトランザクションを発行する。
ゲートウェイは2つの接続を含み、各々がそれぞれの方
向を担う。マスタ(トランザクションを発行する側)が
マスタ制御ブロックを生成する。ゲートウェイはトラン
ザクションをフレーム形式で、ネットワーク上に送信す
る。スレーブ側のゲートウェイは、トランザクション・
フレームを受信し、アドレス指定サービスを呼び出すタ
スク制御ブロックを生成する。
れ、SSAネットワーク上で全2重通信を提供する。ノ
ードは、例えばディスク・アクセスなどの機能を実行す
るために、別のノードにトランザクションを発行する。
ゲートウェイは2つの接続を含み、各々がそれぞれの方
向を担う。マスタ(トランザクションを発行する側)が
マスタ制御ブロックを生成する。ゲートウェイはトラン
ザクションをフレーム形式で、ネットワーク上に送信す
る。スレーブ側のゲートウェイは、トランザクション・
フレームを受信し、アドレス指定サービスを呼び出すタ
スク制御ブロックを生成する。
【0029】図5はアダプタ・カード・ハードウェアの
ブロック図を示す。アダプタはマイクロプロセッサ30
を有し、これはマイクロプロセッサ・バス32を介し
て、RAM33、不揮発性RAM34、及びROMブー
トストラップ35に接続される。RAM33は、必要な
コード及び制御ブロック(図6でより詳細に述べられ
る)を含む。マイクロプロセッサ・ブリッジ36は、マ
イクロプロセッサ30をローカル・バス37を介して、
不揮発性キャッシュ38及び読出しキャッシュ40に接
続する。XORハードウェア42もまた、RAIDパリ
ティ計算を実行するために提供される。ホスト・ブリッ
ジ44は、マイクロチャネルまたはPCIバス45など
のホスト・インタフェースを通じて、主ホスト・ハード
ウェアへの接続を提供する。2つのSSAデュアル・ポ
ート・チップ46及び47が存在し、一方は他のアダプ
タとの相互接続用であり、他方は記憶装置アレイとの相
互接続用である。各ブロックは別々のASIC(アプリ
ケーション特有の集積回路)であり得る。XOR機能
は、読出しキャッシュ制御装置と1ASIC上に結合さ
れ得る。
ブロック図を示す。アダプタはマイクロプロセッサ30
を有し、これはマイクロプロセッサ・バス32を介し
て、RAM33、不揮発性RAM34、及びROMブー
トストラップ35に接続される。RAM33は、必要な
コード及び制御ブロック(図6でより詳細に述べられ
る)を含む。マイクロプロセッサ・ブリッジ36は、マ
イクロプロセッサ30をローカル・バス37を介して、
不揮発性キャッシュ38及び読出しキャッシュ40に接
続する。XORハードウェア42もまた、RAIDパリ
ティ計算を実行するために提供される。ホスト・ブリッ
ジ44は、マイクロチャネルまたはPCIバス45など
のホスト・インタフェースを通じて、主ホスト・ハード
ウェアへの接続を提供する。2つのSSAデュアル・ポ
ート・チップ46及び47が存在し、一方は他のアダプ
タとの相互接続用であり、他方は記憶装置アレイとの相
互接続用である。各ブロックは別々のASIC(アプリ
ケーション特有の集積回路)であり得る。XOR機能
は、読出しキャッシュ制御装置と1ASIC上に結合さ
れ得る。
【0030】図6は本発明を実現するために、ホスト及
びアダプタ・カード上で実行されるソフトウェアのブロ
ック図を示す。ホスト・システムは中央処理ユニット
(CPU)(図示せず)、及び実行中にソフトウェアが
記憶されるRAM(図示せず)を有する。アプリケーシ
ョン・プログラム56はRAM内で実行され、ファイル
・システム57に、またはオペレーティング・システム
60を通じて直接デバイス・ドライバ58に、I/O要
求を生成する。デバイス・ドライバは、オペレーティン
グ・システムとのインタフェース61、ソフトウェア・
バス62、及び、アダプタ・カードへのゲートウェイ6
3を有する。
びアダプタ・カード上で実行されるソフトウェアのブロ
ック図を示す。ホスト・システムは中央処理ユニット
(CPU)(図示せず)、及び実行中にソフトウェアが
記憶されるRAM(図示せず)を有する。アプリケーシ
ョン・プログラム56はRAM内で実行され、ファイル
・システム57に、またはオペレーティング・システム
60を通じて直接デバイス・ドライバ58に、I/O要
求を生成する。デバイス・ドライバは、オペレーティン
グ・システムとのインタフェース61、ソフトウェア・
バス62、及び、アダプタ・カードへのゲートウェイ6
3を有する。
【0031】アダプタ・カード64は独自のマイクロプ
ロセッサ及び独自のRAMを有し、RAMは実行の間
に、本発明を実現するソフトウェアを含む(アダプタ内
のハードウェアの詳細については図5を参照)。アダプ
タ・カードは、デバイス・ドライバと対話するゲートウ
ェイ66、並びにキャッシュ制御装置68及びRAID
制御装置70と対話するソフトウェア・バス67を有す
る。アダプタ・カード64は更にレジストリ72を有
し、これは本来そのアダプタ・カードにより制御される
記憶装置のアレイ、並びに他のアダプタ・カードを介し
てアクセス可能なアレイを識別する。ソフトウェア・バ
スはゲートウェイ74とも対話し、ゲートウェイ74は
インタフェース・チップを通じて、他のアダプタ・カー
ドとのピア・ツー・ピア・リンク75を可能にする。デ
ィスク・インタフェース76はディスク・アレイ77と
対話する。
ロセッサ及び独自のRAMを有し、RAMは実行の間
に、本発明を実現するソフトウェアを含む(アダプタ内
のハードウェアの詳細については図5を参照)。アダプ
タ・カードは、デバイス・ドライバと対話するゲートウ
ェイ66、並びにキャッシュ制御装置68及びRAID
制御装置70と対話するソフトウェア・バス67を有す
る。アダプタ・カード64は更にレジストリ72を有
し、これは本来そのアダプタ・カードにより制御される
記憶装置のアレイ、並びに他のアダプタ・カードを介し
てアクセス可能なアレイを識別する。ソフトウェア・バ
スはゲートウェイ74とも対話し、ゲートウェイ74は
インタフェース・チップを通じて、他のアダプタ・カー
ドとのピア・ツー・ピア・リンク75を可能にする。デ
ィスク・インタフェース76はディスク・アレイ77と
対話する。
【0032】アレイへの接続性を増強するために、各ア
レイは1次及び2次(バックアップ)制御アダプタを提
供される。ループ内の全てのディスクが両方のアダプタ
に接続されるので、両方のアダプタが機能しているとき
には、他のアダプタにより本来制御されるアレイをアク
セスする要求は、最初にピア・ツー・ピア・リンク75
を通じて、他のアダプタに経路指定される。結果が再度
ピア・ツー・ピア・リンク75を通じて要求元アダプタ
に返送され、そこからホストに返却される。
レイは1次及び2次(バックアップ)制御アダプタを提
供される。ループ内の全てのディスクが両方のアダプタ
に接続されるので、両方のアダプタが機能しているとき
には、他のアダプタにより本来制御されるアレイをアク
セスする要求は、最初にピア・ツー・ピア・リンク75
を通じて、他のアダプタに経路指定される。結果が再度
ピア・ツー・ピア・リンク75を通じて要求元アダプタ
に返送され、そこからホストに返却される。
【0033】1つの構成では、複数のディスク・アレイ
が同一のSSAディスク・アレイ・ループ上に存在する
場合、1アダプタが、あるアレイの1次制御アダプタで
あり、別のアレイの2次制御アダプタでもある。図7を
参照すると、各ホスト80乃至85は1つのアダプタ・
カード86乃至91を有し、これらのアダプタ・カード
はディスク・アレイ92乃至97の1次または2次アダ
プタとして作用する。6つのホスト・コンピュータだけ
しか図示されていないが、前述のように、より多くのホ
ストが相互接続され得る。各ディスク・アレイ92乃至
97は、そのアレイ用の制御装置として作用する1次及
び2次アダプタを有する。例えば、アダプタA1(8
6)は、ディスク・アレイA(92)の1次制御装置で
あり、ディスク・アレイB(93)の2次アダプタでも
ある。アダプタA2(87)は、ディスク・アレイB
(93)の1次制御装置であり、ディスク・アレイA
(92)の2次アダプタでもある。アダプタは全てSS
Aループ98を通じて相互接続される。ディスク・アレ
イA及びディスク・アレイBなどのディスク・アレイ対
は、SSAデバイス・ループ99を通じて接続される。
1次アダプタがアクティブの時、I/O要求は1次アダ
プタを通じて転送される。1次アダプタ・カードが故障
の場合にも、他のホストは2次アダプタを通じて、ディ
スク・アレイをアクセスすることができる。
が同一のSSAディスク・アレイ・ループ上に存在する
場合、1アダプタが、あるアレイの1次制御アダプタで
あり、別のアレイの2次制御アダプタでもある。図7を
参照すると、各ホスト80乃至85は1つのアダプタ・
カード86乃至91を有し、これらのアダプタ・カード
はディスク・アレイ92乃至97の1次または2次アダ
プタとして作用する。6つのホスト・コンピュータだけ
しか図示されていないが、前述のように、より多くのホ
ストが相互接続され得る。各ディスク・アレイ92乃至
97は、そのアレイ用の制御装置として作用する1次及
び2次アダプタを有する。例えば、アダプタA1(8
6)は、ディスク・アレイA(92)の1次制御装置で
あり、ディスク・アレイB(93)の2次アダプタでも
ある。アダプタA2(87)は、ディスク・アレイB
(93)の1次制御装置であり、ディスク・アレイA
(92)の2次アダプタでもある。アダプタは全てSS
Aループ98を通じて相互接続される。ディスク・アレ
イA及びディスク・アレイBなどのディスク・アレイ対
は、SSAデバイス・ループ99を通じて接続される。
1次アダプタがアクティブの時、I/O要求は1次アダ
プタを通じて転送される。1次アダプタ・カードが故障
の場合にも、他のホストは2次アダプタを通じて、ディ
スク・アレイをアクセスすることができる。
【0034】システムは、各ホスト・コンピュータ内の
複数のアダプタ、並びにループまたはデュアル・スイッ
チなどの相互接続による代替パスを含むことにより、1
箇所の故障に対処可能に構成され得る。図8は3つのS
SAループを実現する高可用性の構成を示す。各アダプ
タ・カード110は、2つのデュアル・ポートSSAノ
ード112、113を含む。一方のノード112は、ホ
スト・ループ114に相当する外部ループに接続され
る。このループは、発信元アダプタと1次アダプタ間の
通信のためにのみ使用される。他のノード113は、デ
バイス・ループ116に相当する2つの内部ループの一
方に接続される。各デバイス・ループは、1次アダプタ
と、対応するアレイ内のディスクとの間の通信を提供す
る。このループは1次アダプタと2次アダプタ間の通信
にも使用される。
複数のアダプタ、並びにループまたはデュアル・スイッ
チなどの相互接続による代替パスを含むことにより、1
箇所の故障に対処可能に構成され得る。図8は3つのS
SAループを実現する高可用性の構成を示す。各アダプ
タ・カード110は、2つのデュアル・ポートSSAノ
ード112、113を含む。一方のノード112は、ホ
スト・ループ114に相当する外部ループに接続され
る。このループは、発信元アダプタと1次アダプタ間の
通信のためにのみ使用される。他のノード113は、デ
バイス・ループ116に相当する2つの内部ループの一
方に接続される。各デバイス・ループは、1次アダプタ
と、対応するアレイ内のディスクとの間の通信を提供す
る。このループは1次アダプタと2次アダプタ間の通信
にも使用される。
【0035】図8を参照すると、アダプタAはアレイ1
の1次制御を有し、アダプタDはアレイ1の2次制御を
有し、アダプタBはアレイ2の2次制御を有し、アダプ
タCはアレイ2の1次制御を有する。ホスト1によりア
レイ1に対して生成されるI/O要求は、アダプタAに
直接発行される。アダプタAは次にこれらをディスク読
出し/書込みコマンドに変換する。ホスト1によりアレ
イ2に対して生成されるI/O要求は、アダプタB及び
リンク2を介して、アダプタCに発行される。アダプタ
Cは次にこれらをディスク読出し/書込みコマンドに変
換する。同様に、ホスト2によりアレイ2に対して生成
されるI/O要求は、アダプタCに直接発行される。ア
ダプタCは次にこれらをディスク読出し/書込みコマン
ドに変換する。ホスト2によりアレイ1に対して生成さ
れるI/O要求は、アダプタD及びリンク4を介して、
アダプタAに発行される。アダプタAは次にこれらをデ
ィスク読出し/書込みコマンドに変換する。図示の例で
は、ディスクは分散パリティを有する7+P(7データ
・ディスクと1パリティ・ディスク)構成などの、2つ
のRAID5アレイとして構成される。ディスクは故障
許容能力及び冷却機構を具備して、外部エンクロージャ
内に実装される。
の1次制御を有し、アダプタDはアレイ1の2次制御を
有し、アダプタBはアレイ2の2次制御を有し、アダプ
タCはアレイ2の1次制御を有する。ホスト1によりア
レイ1に対して生成されるI/O要求は、アダプタAに
直接発行される。アダプタAは次にこれらをディスク読
出し/書込みコマンドに変換する。ホスト1によりアレ
イ2に対して生成されるI/O要求は、アダプタB及び
リンク2を介して、アダプタCに発行される。アダプタ
Cは次にこれらをディスク読出し/書込みコマンドに変
換する。同様に、ホスト2によりアレイ2に対して生成
されるI/O要求は、アダプタCに直接発行される。ア
ダプタCは次にこれらをディスク読出し/書込みコマン
ドに変換する。ホスト2によりアレイ1に対して生成さ
れるI/O要求は、アダプタD及びリンク4を介して、
アダプタAに発行される。アダプタAは次にこれらをデ
ィスク読出し/書込みコマンドに変換する。図示の例で
は、ディスクは分散パリティを有する7+P(7データ
・ディスクと1パリティ・ディスク)構成などの、2つ
のRAID5アレイとして構成される。ディスクは故障
許容能力及び冷却機構を具備して、外部エンクロージャ
内に実装される。
【0036】代わりに、ディスクが8つのRAID1ア
レイとして構成されてもよい。この場合、各アレイの1
ディスクは、各ホスト・コンピュータ内に実装され得
る。また、複数のアレイが同一デバイス・ループ内に存
在する場合、アダプタが1アレイの1次制御アダプタと
して、かつ第2のアレイの2次制御アダプタとして作用
することができる。例えば、アダプタAとアダプタDと
の間のデバイス・ループ内に、2つの3+P RAID
5アレイが接続される場合、アダプタAは、第1の3+
P RAID5アレイを形成する上方ドライブ・グルー
プ120の1次制御、並びに第2の3+P RAID5
アレイを形成する下方ドライブ・グループ122の2次
制御を有する。また、アダプタDは下方グループ122
の1次制御、並びに上方グループ120の2次制御を有
する。また、ホストは3つ以上のアダプタを有すること
ができる。
レイとして構成されてもよい。この場合、各アレイの1
ディスクは、各ホスト・コンピュータ内に実装され得
る。また、複数のアレイが同一デバイス・ループ内に存
在する場合、アダプタが1アレイの1次制御アダプタと
して、かつ第2のアレイの2次制御アダプタとして作用
することができる。例えば、アダプタAとアダプタDと
の間のデバイス・ループ内に、2つの3+P RAID
5アレイが接続される場合、アダプタAは、第1の3+
P RAID5アレイを形成する上方ドライブ・グルー
プ120の1次制御、並びに第2の3+P RAID5
アレイを形成する下方ドライブ・グループ122の2次
制御を有する。また、アダプタDは下方グループ122
の1次制御、並びに上方グループ120の2次制御を有
する。また、ホストは3つ以上のアダプタを有すること
ができる。
【0037】あるアダプタがダウン(故障)すると、そ
のオペレーションは2次アダプタにより引き継がれる。
従って、ホストは依然として、その別のアダプタを通じ
て、任意のアレイをアクセスすることができる。
のオペレーションは2次アダプタにより引き継がれる。
従って、ホストは依然として、その別のアダプタを通じ
て、任意のアレイをアクセスすることができる。
【0038】あるアダプタがダウンすると、そのアダプ
タ上で進行中のあらゆる遠隔I/O要求が、発信元アダ
プタ・カード内のSSAゲートウェイにより、エラー終
了される。トランザクションを転送したモジュールは、
2次アダプタがダウンしたアレイを引き継いだことを同
報するのを期待して、数秒を待機する。次に、失敗した
トランザクションが2次アダプタに再送され得る。
タ上で進行中のあらゆる遠隔I/O要求が、発信元アダ
プタ・カード内のSSAゲートウェイにより、エラー終
了される。トランザクションを転送したモジュールは、
2次アダプタがダウンしたアレイを引き継いだことを同
報するのを期待して、数秒を待機する。次に、失敗した
トランザクションが2次アダプタに再送され得る。
【0039】SSAアドレス指定機能は、ホスト・ルー
プを最大128アダプタにまで拡張可能である。多数の
アダプタを有すると、ホスト・ループが究極的な帯域幅
制限となる。なぜなら、ホスト・ループがほぼ全てのI
/O要求により共有されるからである。平均的に要求の
ランダム配布を想定すると、各要求はループに沿って約
半周分伝搬されなければならず、使用可能な総帯域幅は
2×20、すなわち40メガバイト/秒の全2重とな
る。可能なデッドロックを回避するために、SSAフレ
ームはループの1リンクまたは1ノードを通じて経路指
定されてはならない。読出し対書込み比率が1対1の場
合、総I/O帯域幅は80メガバイト/秒であり、オー
バヘッドを無視する。ホスト・ループをマルチポートS
SAスイッチにより置換することにより、より高い帯域
幅が達成され得る。
プを最大128アダプタにまで拡張可能である。多数の
アダプタを有すると、ホスト・ループが究極的な帯域幅
制限となる。なぜなら、ホスト・ループがほぼ全てのI
/O要求により共有されるからである。平均的に要求の
ランダム配布を想定すると、各要求はループに沿って約
半周分伝搬されなければならず、使用可能な総帯域幅は
2×20、すなわち40メガバイト/秒の全2重とな
る。可能なデッドロックを回避するために、SSAフレ
ームはループの1リンクまたは1ノードを通じて経路指
定されてはならない。読出し対書込み比率が1対1の場
合、総I/O帯域幅は80メガバイト/秒であり、オー
バヘッドを無視する。ホスト・ループをマルチポートS
SAスイッチにより置換することにより、より高い帯域
幅が達成され得る。
【0040】図8に示される構成では、任意の1アダプ
タ・カード上で受信されるトランザクションの幾つかだ
けが、そのカード上のRAIDソフトウェアにより処理
される。遠隔資源に向けられるトランザクションは、S
SAゲートウェイを通じて経路指定される。SSAゲー
トウェイは、自身が見い出す各遠隔アダプタをアドレス
指定するためのノード番号を提供する。
タ・カード上で受信されるトランザクションの幾つかだ
けが、そのカード上のRAIDソフトウェアにより処理
される。遠隔資源に向けられるトランザクションは、S
SAゲートウェイを通じて経路指定される。SSAゲー
トウェイは、自身が見い出す各遠隔アダプタをアドレス
指定するためのノード番号を提供する。
【0041】アレイの一部に相当する各ディスクが、制
御アダプタに割当てられる。これはそのディスクの1次
アダプタとして認識される。各ディスクは、2つのアダ
プタだけを有するループ内に置かれる。各アダプタはノ
ード番号を割当てられる。この番号はホストにより提供
され、固有の識別子として見なされる。アレイが生成さ
れるとき、ディスクはそのアレイを生成するために使用
されるアダプタのノード番号を、自動的にマーク付けさ
れる。ディスクは更に、ループ内の他のアダプタのノー
ド番号によってもマーク付けられる。他のアダプタはア
レイのバックアップ・アダプタであり、2次アダプタと
して参照される。通常のオペレーションでは、1次アダ
プタは、アレイ内のディスクを制御するRAIDコード
を実行する。2次アダプタは後述されるように、1次ア
ダプタにより指示される書込みキャッシュ及び不揮発性
メモリの2重コピーを保持するだけである。故障を検出
すると、2次アダプタは1次アダプタのオペレーション
を引き継ぐ。
御アダプタに割当てられる。これはそのディスクの1次
アダプタとして認識される。各ディスクは、2つのアダ
プタだけを有するループ内に置かれる。各アダプタはノ
ード番号を割当てられる。この番号はホストにより提供
され、固有の識別子として見なされる。アレイが生成さ
れるとき、ディスクはそのアレイを生成するために使用
されるアダプタのノード番号を、自動的にマーク付けさ
れる。ディスクは更に、ループ内の他のアダプタのノー
ド番号によってもマーク付けられる。他のアダプタはア
レイのバックアップ・アダプタであり、2次アダプタと
して参照される。通常のオペレーションでは、1次アダ
プタは、アレイ内のディスクを制御するRAIDコード
を実行する。2次アダプタは後述されるように、1次ア
ダプタにより指示される書込みキャッシュ及び不揮発性
メモリの2重コピーを保持するだけである。故障を検出
すると、2次アダプタは1次アダプタのオペレーション
を引き継ぐ。
【0042】各アダプタ・カードはレジストリを含み、
これはソフトウェア・バスを介してアクセス可能な中央
サービスである。レジストリは全てのアダプタのリス
ト、並びにシステム内の全てのアレイのリストを保持す
る。図9を参照すると、アダプタ・リスト130内の各
エントリはノード番号131を含む。
これはソフトウェア・バスを介してアクセス可能な中央
サービスである。レジストリは全てのアダプタのリス
ト、並びにシステム内の全てのアレイのリストを保持す
る。図9を参照すると、アダプタ・リスト130内の各
エントリはノード番号131を含む。
【0043】アレイ・リスト133内の各エントリは、
そのアレイを現在制御しているアダプタ(1次または2
次アダプタ)の資源ID134、及びノード番号135
を含む。資源IDは、デバイス・ドライバが読出し及び
書込みのために、アレイをオープンするために使用す
る。資源IDは、タイプ・フィールド137及び資源番
号138を含む。タイプ・フィールドは、例えばRAI
Dレベル0、1、3または5などの、アレイ・タイプを
指定する。資源番号は、アレイが構成されるときに割当
てられる固有の識別子である。
そのアレイを現在制御しているアダプタ(1次または2
次アダプタ)の資源ID134、及びノード番号135
を含む。資源IDは、デバイス・ドライバが読出し及び
書込みのために、アレイをオープンするために使用す
る。資源IDは、タイプ・フィールド137及び資源番
号138を含む。タイプ・フィールドは、例えばRAI
Dレベル0、1、3または5などの、アレイ・タイプを
指定する。資源番号は、アレイが構成されるときに割当
てられる固有の識別子である。
【0044】各DASDは構成レコード140を記憶
し、これは親アレイが構成されるときに生成される。構
成レコードは資源ID141、アレイ・パラメータ14
2(例えばストライプ・サイズ)、アレイ内の他のDA
SDの通し番号143、1次アダプタ・ノード144、
及び2次アダプタ・ノード145を記憶する。これら全
てはホスト構成ユーティリティを用いて、手動式に割当
てられる。構成レコードは更に、アレイを現在制御して
いるのが1次アダプタか、それとも2次アダプタかを示
すフラグ146を含む。このフラグは前述のように、1
次及び2次アダプタ内のレジストリにより管理される。
し、これは親アレイが構成されるときに生成される。構
成レコードは資源ID141、アレイ・パラメータ14
2(例えばストライプ・サイズ)、アレイ内の他のDA
SDの通し番号143、1次アダプタ・ノード144、
及び2次アダプタ・ノード145を記憶する。これら全
てはホスト構成ユーティリティを用いて、手動式に割当
てられる。構成レコードは更に、アレイを現在制御して
いるのが1次アダプタか、それとも2次アダプタかを示
すフラグ146を含む。このフラグは前述のように、1
次及び2次アダプタ内のレジストリにより管理される。
【0045】レジストリの構成時、アダプタは、アレイ
の一部に相当する各ディスク上の1次ノード番号を調査
し、それが自身に帰属するか否かを判断し、ディスクを
RAIDファームウェアに渡す。アダプタが特定のディ
スクの1次制御装置でない場合、アダプタは他のアダプ
タをピング(ping)し(信号を送り)、それが動作して
いるか否かを判断する。他のアダプタが動作していない
場合、最初のアダプタがそのディスクのアレイ制御装置
として引き継ぐ。これは"フェール・オーバ(fail-ove
r)"として参照される。レジストリがディスクを、ある
システムから別のシステムにフェール・オーバさせる。
フェール・オーバは、あるアダプタが他のアダプタが作
動状態から故障状態に遷移したことを確認するとき、発
生する。これが発生するとき、フェール・オーバが実行
される。全てのディスクのスイッチ・オーバ(切り替
え)が、例えばSCSI予約コマンドによりロックされ
る。フラグが次に各ディスク上において変更され、ディ
スクが1次アダプタではなく2次アダプタにより保守さ
れることを示す。全てのディスクが次に解放される。デ
ィスクの1つが予約され得ない場合、これまでに予約さ
れた全てのディスクから、予約が解放される。プロセス
がランダム期間の後、バック・オフ(撤回)され、再試
行される。予約期間の後、依然としてエラーが発生する
場合には、全てのフラグが1次状態に戻され、プロセス
自身はバック・オフされ、再試行される。このプロセス
の間に電源が故障した場合、電源の回復時に、両方のア
ダプタが不一致を認識し、デフォルト指定により、全て
のディスクを1次アダプタにセットする。
の一部に相当する各ディスク上の1次ノード番号を調査
し、それが自身に帰属するか否かを判断し、ディスクを
RAIDファームウェアに渡す。アダプタが特定のディ
スクの1次制御装置でない場合、アダプタは他のアダプ
タをピング(ping)し(信号を送り)、それが動作して
いるか否かを判断する。他のアダプタが動作していない
場合、最初のアダプタがそのディスクのアレイ制御装置
として引き継ぐ。これは"フェール・オーバ(fail-ove
r)"として参照される。レジストリがディスクを、ある
システムから別のシステムにフェール・オーバさせる。
フェール・オーバは、あるアダプタが他のアダプタが作
動状態から故障状態に遷移したことを確認するとき、発
生する。これが発生するとき、フェール・オーバが実行
される。全てのディスクのスイッチ・オーバ(切り替
え)が、例えばSCSI予約コマンドによりロックされ
る。フラグが次に各ディスク上において変更され、ディ
スクが1次アダプタではなく2次アダプタにより保守さ
れることを示す。全てのディスクが次に解放される。デ
ィスクの1つが予約され得ない場合、これまでに予約さ
れた全てのディスクから、予約が解放される。プロセス
がランダム期間の後、バック・オフ(撤回)され、再試
行される。予約期間の後、依然としてエラーが発生する
場合には、全てのフラグが1次状態に戻され、プロセス
自身はバック・オフされ、再試行される。このプロセス
の間に電源が故障した場合、電源の回復時に、両方のア
ダプタが不一致を認識し、デフォルト指定により、全て
のディスクを1次アダプタにセットする。
【0046】"フェール・バック(fail-back)"は、前
述のフェール・オーバ・プロシジャの逆である。これは
両方のアダプタ・カードが作用しているときに発生す
る。プロセスは、1次アダプタを周期的にピング(信号
を送る)して、それが回復したかどうかを判断する2次
アダプタにより開始される。ピングが成功の場合、2次
アダプタ上のレジストリがそのRAID制御装置に、1
次アダプタへの回復を希望する各ディスクを通知し、そ
のディスクが解放されるべきであることを指定する。2
次アダプタ内のRAID制御装置は、最初に、指定され
たディスクを含むアレイをクローズし、次にディスク自
身をクローズする。アレイ内の全てのディスクがクロー
ズされると、2次アダプタ内のレジストリが前述のよう
にそれらのディスクをロックし、それらが再度1次アダ
プタにより制御されるように、フラグをスイッチ・バッ
クする。2次アダプタが次にディスクを解放し、1次ア
ダプタ内のレジストリに、フェール・バック・プロセス
が完了したことを伝える。
述のフェール・オーバ・プロシジャの逆である。これは
両方のアダプタ・カードが作用しているときに発生す
る。プロセスは、1次アダプタを周期的にピング(信号
を送る)して、それが回復したかどうかを判断する2次
アダプタにより開始される。ピングが成功の場合、2次
アダプタ上のレジストリがそのRAID制御装置に、1
次アダプタへの回復を希望する各ディスクを通知し、そ
のディスクが解放されるべきであることを指定する。2
次アダプタ内のRAID制御装置は、最初に、指定され
たディスクを含むアレイをクローズし、次にディスク自
身をクローズする。アレイ内の全てのディスクがクロー
ズされると、2次アダプタ内のレジストリが前述のよう
にそれらのディスクをロックし、それらが再度1次アダ
プタにより制御されるように、フラグをスイッチ・バッ
クする。2次アダプタが次にディスクを解放し、1次ア
ダプタ内のレジストリに、フェール・バック・プロセス
が完了したことを伝える。
【0047】システムが不必要なフェール・オーバの発
生無しにパワー・オフされるように、システムは最初に
自身がオープンした全てのアレイをクローズし、アダプ
タ・カードのレジストリに、クローズ・ダウンを伝え
る。次に1次アダプタ上のレジストリが2次アダプタ上
のレジストリに、自身がクローズ・ダウンされることを
伝える。これにより、2次アダプタ上のレジストリはフ
ラグをリセットし、1次アダプタが作用していることを
確認したことを示す。フェール・オーバは、2次アダプ
タが1次アダプタの作動状態から故障状態への遷移を確
認したときのみ発生するので、1次アダプタの続くパワ
ー・ダウンはフェール・オーバを引き起こさない。
生無しにパワー・オフされるように、システムは最初に
自身がオープンした全てのアレイをクローズし、アダプ
タ・カードのレジストリに、クローズ・ダウンを伝え
る。次に1次アダプタ上のレジストリが2次アダプタ上
のレジストリに、自身がクローズ・ダウンされることを
伝える。これにより、2次アダプタ上のレジストリはフ
ラグをリセットし、1次アダプタが作用していることを
確認したことを示す。フェール・オーバは、2次アダプ
タが1次アダプタの作動状態から故障状態への遷移を確
認したときのみ発生するので、1次アダプタの続くパワ
ー・ダウンはフェール・オーバを引き起こさない。
【0048】ディスク・アレイは1次及び2次アダプタ
間のSSAループ内に構成される。ディスク間またはデ
ィスクとアダプタ間でリンクが故障する場合、全てのデ
ィスクは依然として両方のアダプタによりアクセス可能
である。なぜなら、伝送がループを通じて、両方向に経
路指定され得るからである。従って、図7を参照して、
リンク101が故障しても、アダプタA1(86)は依
然、リンク102からリンク104を通じて、更にアダ
プタ・カードA2のインタフェース・チップを介して、
リンク103を通じて伝送を送信することにより、アレ
イA(92)に達することができる。アダプタ・カード
A2へのこの伝送は、決してアダプタ・カードA2内の
ソフトウェアにより処理されることはない。SSAチッ
プは、メッセージがループ内の他のアレイに対するフレ
ームを伝送し、要求がそのアレイに送信されるべきこと
を検出する。これはアレイB(93)内のSSAチップ
にもあてはまる。
間のSSAループ内に構成される。ディスク間またはデ
ィスクとアダプタ間でリンクが故障する場合、全てのデ
ィスクは依然として両方のアダプタによりアクセス可能
である。なぜなら、伝送がループを通じて、両方向に経
路指定され得るからである。従って、図7を参照して、
リンク101が故障しても、アダプタA1(86)は依
然、リンク102からリンク104を通じて、更にアダ
プタ・カードA2のインタフェース・チップを介して、
リンク103を通じて伝送を送信することにより、アレ
イA(92)に達することができる。アダプタ・カード
A2へのこの伝送は、決してアダプタ・カードA2内の
ソフトウェアにより処理されることはない。SSAチッ
プは、メッセージがループ内の他のアレイに対するフレ
ームを伝送し、要求がそのアレイに送信されるべきこと
を検出する。これはアレイB(93)内のSSAチップ
にもあてはまる。
【0049】上述のプロセスは、"カット・スルー・ル
ーティング(cut-through routing)"として参照され
る。これはSSAトランスポート層内の標準機能であ
る。カット・スルー・ルーティングは、発信元アダプタ
からアレイの制御アダプタにデータ・アクセス要求を転
送するために使用される。各デュアル・ポート・ノード
(アダプタまたはディスク・ドライブ)は、SSAチッ
プ内にハードウェア・ルータを有する。ルータはアドレ
ス・フィールドの第1バイトを検査して、フレームをル
ープ内の次のノードに転送すべきか否かを判断する。発
信元アダプタは、要求をループ上に送信するときに、1
次アダプタのパス・アドレスをフレーム・アドレス・フ
ィールドに配置するだけでよい。
ーティング(cut-through routing)"として参照され
る。これはSSAトランスポート層内の標準機能であ
る。カット・スルー・ルーティングは、発信元アダプタ
からアレイの制御アダプタにデータ・アクセス要求を転
送するために使用される。各デュアル・ポート・ノード
(アダプタまたはディスク・ドライブ)は、SSAチッ
プ内にハードウェア・ルータを有する。ルータはアドレ
ス・フィールドの第1バイトを検査して、フレームをル
ープ内の次のノードに転送すべきか否かを判断する。発
信元アダプタは、要求をループ上に送信するときに、1
次アダプタのパス・アドレスをフレーム・アドレス・フ
ィールドに配置するだけでよい。
【0050】パスはシステム・パワーオン時に決定され
る。イニシエータ・アダプタはネットワークを"ウォー
ク(walk)"して、構成を判断し、各ノードのエントリ
を有する構成テーブルを作成する。各エントリはそのノ
ードのパス・アドレスを含む。代替パスが存在する場
合、イニシエータは一般に、最も少ないリンクを使用す
るパスを選択する。これはリンクが切断されると、変化
し得る。
る。イニシエータ・アダプタはネットワークを"ウォー
ク(walk)"して、構成を判断し、各ノードのエントリ
を有する構成テーブルを作成する。各エントリはそのノ
ードのパス・アドレスを含む。代替パスが存在する場
合、イニシエータは一般に、最も少ないリンクを使用す
るパスを選択する。これはリンクが切断されると、変化
し得る。
【0051】デバイス・ドライバは、要求データを含む
アレイを識別する。デバイスが次にアダプタ上のレジス
トリに問い合わせ、局所的に制御されるアレイを決定す
る。ホストが複数のアダプタを有する場合、デバイス・
ドライバは要求を要求データと一緒に、本来アレイを制
御するアダプタに送信する(但し、アレイが局所的に制
御される場合)。それ以外では、遠隔アレイに対して、
デバイス・ドライバは、各アダプタを介してアレイの半
分をアドレス指定するか、各アダプタを介して代替要求
を送信することにより、アダプタ間で負荷を均等化しよ
うと試みる。
アレイを識別する。デバイスが次にアダプタ上のレジス
トリに問い合わせ、局所的に制御されるアレイを決定す
る。ホストが複数のアダプタを有する場合、デバイス・
ドライバは要求を要求データと一緒に、本来アレイを制
御するアダプタに送信する(但し、アレイが局所的に制
御される場合)。それ以外では、遠隔アレイに対して、
デバイス・ドライバは、各アダプタを介してアレイの半
分をアドレス指定するか、各アダプタを介して代替要求
を送信することにより、アダプタ間で負荷を均等化しよ
うと試みる。
【0052】不揮発性RAMの内容は、1次アダプタに
より、2次アダプタ内の不揮発性RAM内にミラーされ
る。RAIDモジュールはこれを、2次アダプタ・カー
ド上のSSAゲートウェイ及び不揮発性RAMマネージ
ャを介して実行する。
より、2次アダプタ内の不揮発性RAM内にミラーされ
る。RAIDモジュールはこれを、2次アダプタ・カー
ド上のSSAゲートウェイ及び不揮発性RAMマネージ
ャを介して実行する。
【0053】通常オペレーションでは、1次アダプタは
デバイス・ループを用いて、その書込みキャッシュの2
重コピーを2次アダプタ内に保持し、更新されるアレイ
領域を示すメタ・データに対しても同様である。このこ
とは書込みキャッシュ内のデータを解放したり、アレイ
を腐敗すること無く、1次アダプタから2次アダプタへ
のフェール・オーバを可能にする。
デバイス・ループを用いて、その書込みキャッシュの2
重コピーを2次アダプタ内に保持し、更新されるアレイ
領域を示すメタ・データに対しても同様である。このこ
とは書込みキャッシュ内のデータを解放したり、アレイ
を腐敗すること無く、1次アダプタから2次アダプタへ
のフェール・オーバを可能にする。
【0054】1次アダプタが書込みコマンドを実行する
とき、1次アダプタはデータのコピーを2次アダプタ内
の書込みキャッシュに送信する。1次アダプタがデータ
を書込みキャッシュからディスクにデステージ(destag
e)するとき、1次アダプタは更新されるアレイ領域を
示すメッセージを、2次アダプタに送信する。双方のア
ダプタは通常、この情報を不揮発性メモリに記憶し、デ
ステージが完了する以前の電源障害から保護する。1次
アダプタがデータをデステージし、パリティを更新する
と、1次アダプタは第2のメッセージを2次アダプタに
送信する。2次アダプタは次に、その書込みキャッシュ
及び不揮発性メモリから、対応するレコードを削除す
る。
とき、1次アダプタはデータのコピーを2次アダプタ内
の書込みキャッシュに送信する。1次アダプタがデータ
を書込みキャッシュからディスクにデステージ(destag
e)するとき、1次アダプタは更新されるアレイ領域を
示すメッセージを、2次アダプタに送信する。双方のア
ダプタは通常、この情報を不揮発性メモリに記憶し、デ
ステージが完了する以前の電源障害から保護する。1次
アダプタがデータをデステージし、パリティを更新する
と、1次アダプタは第2のメッセージを2次アダプタに
送信する。2次アダプタは次に、その書込みキャッシュ
及び不揮発性メモリから、対応するレコードを削除す
る。
【0055】本発明は特に好適な態様に関連して述べら
れてきたが、当業者には、本発明がその趣旨及び範囲か
ら逸脱すること無しに、その形態及び詳細における様々
な変更が可能であることが理解されよう。
れてきたが、当業者には、本発明がその趣旨及び範囲か
ら逸脱すること無しに、その形態及び詳細における様々
な変更が可能であることが理解されよう。
【0056】まとめとして、本発明の構成に関して以下
の事項を開示する。
の事項を開示する。
【0057】(1)複数のホスト・コンピュータのデー
タを複数の記憶装置アレイ上に記憶し、任意の記憶装置
上のデータが任意のホスト・コンピュータによりアクセ
スされ得るようにするシステムであって、各々がホスト
・コンピュータに関連付けられ、指定されたアレイの1
次制御を有する、複数のアダプタと、前記アダプタ間の
ピア・ツー・ピア通信のためのアダプタ通信相互接続
と、を含み、ホスト・コンピュータから関連アダプタへ
の、前記アダプタにより本来制御されないアレイに対す
るデータ・アクセス要求が、前記アダプタ通信相互接続
を介して、前記アレイの1次制御を有する前記アダプタ
に伝達される、システム。 (2)前記アダプタにより本来制御される前記記憶装置
を示す識別子を、当該各アダプタ内に記憶する、前記
(1)記載のシステム。 (3)前記記憶装置アレイの1次制御を有するアダプタ
を識別する識別子を、当該各記憶装置アレイに記憶す
る、前記(1)記載のシステム。 (4)アダプタがホスト・コンピュータに内在する、前
記(1)記載のシステム。 (5)各々がホスト・コンピュータに関連付けられ、指
定されたアレイの2次制御を有する、複数の2次アダプ
タを含み、指定アレイを本来制御するアダプタが使用不
能な場合、2次アダプタが前記指定アレイを制御する、
前記(1)記載のシステム。 (6)指定アレイの1次制御を有するアダプタ、及び2
次制御を有するアダプタが、異なるホスト・コンピュー
タに内在する、前記(5)記載のシステム。 (7)第1のホスト・コンピュータが第1のアレイを本
来制御する第1のアダプタ、並びに第2のアレイを補助
的に制御する第2のアダプタを有し、第2のホスト・コ
ンピュータが前記第1のアレイを補助的に制御する第3
のアダプタ、並びに前記第2のアレイを本来制御する第
4のアダプタを有する、前記(6)記載のシステム。 (8)第1のアダプタが第1のアレイの1次制御、並び
に第2のアレイの2次制御を有し、第2のアダプタが前
記第2のアレイの1次制御、並びに前記第1のアレイの
2次制御を有する、前記(5)記載のシステム。 (9)前記第1及び第2のアダプタが同一の前記ホスト
・コンピュータに内在する、前記(8)記載のシステ
ム。 (10)RAID機構に従い、アレイ内に記憶されるデ
ータを分配するRAID制御装置機能を前記アダプタ内
に含む、前記(1)記載のシステム。 (11)前記アダプタ通信相互接続がSSAインタフェ
ースである、前記(1)記載のシステム。 (12)複数の記憶装置アレイ上の複数のホスト・コン
ピュータのデータをアクセスする方法であって、 a)少なくとも1つのアダプタを各ホスト・コンピュー
タに関連付けるステップと、 b)アダプタを記憶装置アレイに1次制御装置として関
連付けるステップと、 c)全ての前記アダプタ間で通信相互接続を関連付ける
ステップと、 d)前記ホストに関連付けられるアダプタにデータ・ア
クセス要求を送信するステップと、 e)要求データがアダプタにより本来制御される前記記
憶装置アレイ内に記憶されているか否かを識別するステ
ップと、 f)アダプタにより本来制御される記憶装置アレイ内に
記憶されていないデータに対するデータ・アクセス要求
を、前記通信相互接続を通じて、前記要求データを有す
る前記記憶装置アレイを本来制御するアダプタに送信す
るステップと、を含む、方法。 (13)g)アダプタを記憶装置アレイの2次制御装置
として関連付けるステップと、 h)前記記憶装置アレイを本来制御するアダプタが使用
不能な場合を判断するステップと、i)記憶装置アレイ
の1次制御を有するアダプタが使用不能な場合、前記記
憶装置アレイの2次制御を有する前記アダプタを当該記
憶装置アレイの制御装置として使用するステップと、を
含む、前記(12)記載の方法。 (14)複数のホスト・コンピュータ及び複数の記憶装
置アレイを含むネットワーク化コンピュータ・システム
において、各ホスト・コンピュータがアダプタ・カード
を有し、前記アダプタ・カードが前記記憶装置アレイを
本来制御し、前記システム内の全ての前記アダプタ・カ
ード間の通信相互接続を有するものにおいて、前記アダ
プタ・カードと一緒に使用されるコンピュータ・プログ
ラムであって、複数の前記記憶装置アレイ上に記憶され
るデータに対する全ての前記ホスト・コンピュータのア
クセスを提供する、コンピュータ読出し可能プログラム
・コード手段を有するコンピュータ使用可能媒体と、ホ
スト・コンピュータに関連付けられるアダプタ・カード
がデータ・アクセス要求を受信するコンピュータ読出し
可能プログラム・コード手段と、要求データがアダプタ
により本来制御される前記記憶装置アレイ内に記憶され
ているか否かを識別するコンピュータ読出し可能プログ
ラム・コード手段と、アダプタにより本来制御される記
憶装置アレイ内に記憶されていないデータに対するデー
タ・アクセス要求を、前記通信相互接続を通じて、前記
要求データを有する前記記憶装置アレイを本来制御する
前記アダプタ・カードに送信するコンピュータ読出し可
能プログラム・コード手段と、を含む、コンピュータ・
プログラム。 (15)1次アダプタが故障の場合に、2次アダプタが
前記1次アダプタに対応する記憶装置アレイの制御を引
き継ぐことを可能にするコンピュータ読出し可能プログ
ラム・コード手段を含む、前記(14)記載のコンピュ
ータ・プログラム。
タを複数の記憶装置アレイ上に記憶し、任意の記憶装置
上のデータが任意のホスト・コンピュータによりアクセ
スされ得るようにするシステムであって、各々がホスト
・コンピュータに関連付けられ、指定されたアレイの1
次制御を有する、複数のアダプタと、前記アダプタ間の
ピア・ツー・ピア通信のためのアダプタ通信相互接続
と、を含み、ホスト・コンピュータから関連アダプタへ
の、前記アダプタにより本来制御されないアレイに対す
るデータ・アクセス要求が、前記アダプタ通信相互接続
を介して、前記アレイの1次制御を有する前記アダプタ
に伝達される、システム。 (2)前記アダプタにより本来制御される前記記憶装置
を示す識別子を、当該各アダプタ内に記憶する、前記
(1)記載のシステム。 (3)前記記憶装置アレイの1次制御を有するアダプタ
を識別する識別子を、当該各記憶装置アレイに記憶す
る、前記(1)記載のシステム。 (4)アダプタがホスト・コンピュータに内在する、前
記(1)記載のシステム。 (5)各々がホスト・コンピュータに関連付けられ、指
定されたアレイの2次制御を有する、複数の2次アダプ
タを含み、指定アレイを本来制御するアダプタが使用不
能な場合、2次アダプタが前記指定アレイを制御する、
前記(1)記載のシステム。 (6)指定アレイの1次制御を有するアダプタ、及び2
次制御を有するアダプタが、異なるホスト・コンピュー
タに内在する、前記(5)記載のシステム。 (7)第1のホスト・コンピュータが第1のアレイを本
来制御する第1のアダプタ、並びに第2のアレイを補助
的に制御する第2のアダプタを有し、第2のホスト・コ
ンピュータが前記第1のアレイを補助的に制御する第3
のアダプタ、並びに前記第2のアレイを本来制御する第
4のアダプタを有する、前記(6)記載のシステム。 (8)第1のアダプタが第1のアレイの1次制御、並び
に第2のアレイの2次制御を有し、第2のアダプタが前
記第2のアレイの1次制御、並びに前記第1のアレイの
2次制御を有する、前記(5)記載のシステム。 (9)前記第1及び第2のアダプタが同一の前記ホスト
・コンピュータに内在する、前記(8)記載のシステ
ム。 (10)RAID機構に従い、アレイ内に記憶されるデ
ータを分配するRAID制御装置機能を前記アダプタ内
に含む、前記(1)記載のシステム。 (11)前記アダプタ通信相互接続がSSAインタフェ
ースである、前記(1)記載のシステム。 (12)複数の記憶装置アレイ上の複数のホスト・コン
ピュータのデータをアクセスする方法であって、 a)少なくとも1つのアダプタを各ホスト・コンピュー
タに関連付けるステップと、 b)アダプタを記憶装置アレイに1次制御装置として関
連付けるステップと、 c)全ての前記アダプタ間で通信相互接続を関連付ける
ステップと、 d)前記ホストに関連付けられるアダプタにデータ・ア
クセス要求を送信するステップと、 e)要求データがアダプタにより本来制御される前記記
憶装置アレイ内に記憶されているか否かを識別するステ
ップと、 f)アダプタにより本来制御される記憶装置アレイ内に
記憶されていないデータに対するデータ・アクセス要求
を、前記通信相互接続を通じて、前記要求データを有す
る前記記憶装置アレイを本来制御するアダプタに送信す
るステップと、を含む、方法。 (13)g)アダプタを記憶装置アレイの2次制御装置
として関連付けるステップと、 h)前記記憶装置アレイを本来制御するアダプタが使用
不能な場合を判断するステップと、i)記憶装置アレイ
の1次制御を有するアダプタが使用不能な場合、前記記
憶装置アレイの2次制御を有する前記アダプタを当該記
憶装置アレイの制御装置として使用するステップと、を
含む、前記(12)記載の方法。 (14)複数のホスト・コンピュータ及び複数の記憶装
置アレイを含むネットワーク化コンピュータ・システム
において、各ホスト・コンピュータがアダプタ・カード
を有し、前記アダプタ・カードが前記記憶装置アレイを
本来制御し、前記システム内の全ての前記アダプタ・カ
ード間の通信相互接続を有するものにおいて、前記アダ
プタ・カードと一緒に使用されるコンピュータ・プログ
ラムであって、複数の前記記憶装置アレイ上に記憶され
るデータに対する全ての前記ホスト・コンピュータのア
クセスを提供する、コンピュータ読出し可能プログラム
・コード手段を有するコンピュータ使用可能媒体と、ホ
スト・コンピュータに関連付けられるアダプタ・カード
がデータ・アクセス要求を受信するコンピュータ読出し
可能プログラム・コード手段と、要求データがアダプタ
により本来制御される前記記憶装置アレイ内に記憶され
ているか否かを識別するコンピュータ読出し可能プログ
ラム・コード手段と、アダプタにより本来制御される記
憶装置アレイ内に記憶されていないデータに対するデー
タ・アクセス要求を、前記通信相互接続を通じて、前記
要求データを有する前記記憶装置アレイを本来制御する
前記アダプタ・カードに送信するコンピュータ読出し可
能プログラム・コード手段と、を含む、コンピュータ・
プログラム。 (15)1次アダプタが故障の場合に、2次アダプタが
前記1次アダプタに対応する記憶装置アレイの制御を引
き継ぐことを可能にするコンピュータ読出し可能プログ
ラム・コード手段を含む、前記(14)記載のコンピュ
ータ・プログラム。
【図1】複数のアレイに対する複数のホスト・アクセス
を提供する従来システムのブロック図である。
を提供する従来システムのブロック図である。
【図2】複数のアレイに対する複数のホスト・アクセス
を提供する第2の従来システムのブロック図である。
を提供する第2の従来システムのブロック図である。
【図3】本発明の機能及びオペレーションの論理概要の
ブロック図である。
ブロック図である。
【図4】本発明を実現する方法のフローチャートを示す
図である。
図である。
【図5】本発明の実現するアダプタ・カードのハードウ
ェアのブロック図である。
ェアのブロック図である。
【図6】本発明を実現するソフトウェアを示すブロック
図である。
図である。
【図7】本発明の第1の技法を示すブロック図である。
【図8】本発明の第2の技法を示すブロック図である。
【図9】アダプタのレジストリ内及び記憶装置内に記憶
されるテーブルを示す図である。
されるテーブルを示す図である。
20 ホスト・コンピュータ 22 アダプタ 23 相互接続 30 マイクロプロセッサ 32 マイクロプロセッサ・バス 33 RAM 34 不揮発性RAM 35 ROMブートストラップ 36 マイクロプロセッサ・ブリッジ 37 ローカル・バス 38 不揮発性キャッシュ 40 読出しキャッシュ 42 XORハードウェア 44 ホスト・ブリッジ 45 PCIバス 46、47 SSAデュアル・ポート・チップ 56 アプリケーション・プログラム 57 ファイル・システム 58 デバイス・ドライバ 60 オペレーティング・システム 61 インタフェース 62、67 ソフトウェア・バス 63、66、74 ゲートウェイ 64、88、89、90、91 アダプタ・カード 68 キャッシュ制御装置 70 RAID制御装置 72 レジストリ 75 ピア・ツー・ピア・リンク 76 ディスク・インタフェース 77、94、95、96、97 ディスク・アレイ 80、81、82、83、84、85 ホスト 86 アダプタA1 87 アダプタA2 92 ディスク・アレイA 93 ディスク・アレイB 98 SSAループ 99 SSAデバイス・ループ 101、102、103、104 リンク 110 アダプタ・カード 112、113 デュアル・ポートSSAノード 114 ホスト・ループ 116 デバイス・ループ 120 上方ドライブ・グループ 122 下方ドライブ・グループ 130 アダプタ・リスト 131、135 ノード番号 133 アレイ・リスト 134 資源ID 137 タイプ・フィールド 138 資源番号 140 構成レコード 141 資源ID 142 アレイ・パラメータ 143 DASDの通し番号 144 1次アダプタ・ノード 145 2次アタプタ・ノード 146 フラグ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ニック・シャイラー イギリス、エス016 7イー・エフ、サウ ザンプトン、バセット、グレンカーロン・ ウェイ 14 (72)発明者 アリスタイアー・リースク・サイモン アメリカ合衆国95123、カリフォルニア州 サン・ホセ、バーチ・リッジ・サークル 309
Claims (15)
- 【請求項1】複数のホスト・コンピュータのデータを複
数の記憶装置アレイ上に記憶し、任意の記憶装置上のデ
ータが任意のホスト・コンピュータによりアクセスされ
得るようにするシステムであって、 各々がホスト・コンピュータに関連付けられ、指定され
たアレイの1次制御を有する、複数のアダプタと、 前記アダプタ間のピア・ツー・ピア通信のためのアダプ
タ通信相互接続と、 を含み、 ホスト・コンピュータから関連アダプタへの、前記アダ
プタにより本来制御されないアレイに対するデータ・ア
クセス要求が、前記アダプタ通信相互接続を介して、前
記アレイの1次制御を有する前記アダプタに伝達され
る、システム。 - 【請求項2】前記アダプタにより本来制御される前記記
憶装置を示す識別子を、当該各アダプタ内に記憶する、
請求項1記載のシステム。 - 【請求項3】前記記憶装置アレイの1次制御を有するア
ダプタを識別する識別子を、当該各記憶装置アレイに記
憶する、請求項1記載のシステム。 - 【請求項4】アダプタがホスト・コンピュータに内在す
る、請求項1記載のシステム。 - 【請求項5】各々がホスト・コンピュータに関連付けら
れ、指定されたアレイの2次制御を有する、複数の2次
アダプタを含み、指定アレイを本来制御するアダプタが
使用不能な場合、2次アダプタが前記指定アレイを制御
する、請求項1記載のシステム。 - 【請求項6】指定アレイの1次制御を有するアダプタ、
及び2次制御を有するアダプタが、異なるホスト・コン
ピュータに内在する、請求項5記載のシステム。 - 【請求項7】第1のホスト・コンピュータが第1のアレ
イを本来制御する第1のアダプタ、並びに第2のアレイ
を補助的に制御する第2のアダプタを有し、第2のホス
ト・コンピュータが前記第1のアレイを補助的に制御す
る第3のアダプタ、並びに前記第2のアレイを本来制御
する第4のアダプタを有する、請求項6記載のシステ
ム。 - 【請求項8】第1のアダプタが第1のアレイの1次制
御、並びに第2のアレイの2次制御を有し、第2のアダ
プタが前記第2のアレイの1次制御、並びに前記第1の
アレイの2次制御を有する、請求項5記載のシステム。 - 【請求項9】前記第1及び第2のアダプタが同一の前記
ホスト・コンピュータに内在する、請求項8記載のシス
テム。 - 【請求項10】RAID機構に従い、アレイ内に記憶さ
れるデータを分配するRAID制御装置機能を前記アダ
プタ内に含む、請求項1記載のシステム。 - 【請求項11】前記アダプタ通信相互接続がSSAイン
タフェースである、請求項1記載のシステム。 - 【請求項12】複数の記憶装置アレイ上の複数のホスト
・コンピュータのデータをアクセスする方法であって、 a)少なくとも1つのアダプタを各ホスト・コンピュー
タに関連付けるステップと、 b)アダプタを記憶装置アレイに1次制御装置として関
連付けるステップと、 c)全ての前記アダプタ間で通信相互接続を関連付ける
ステップと、d)前記ホストに関連付けられるアダプタ
にデータ・アクセス要求を送信するステップと、 e)要求データがアダプタにより本来制御される前記記
憶装置アレイ内に記憶されているか否かを識別するステ
ップと、 f)アダプタにより本来制御される記憶装置アレイ内に
記憶されていないデータに対するデータ・アクセス要求
を、前記通信相互接続を通じて、前記要求データを有す
る前記記憶装置アレイを本来制御するアダプタに送信す
るステップと、 を含む、方法。 - 【請求項13】g)アダプタを記憶装置アレイの2次制
御装置として関連付けるステップと、 h)前記記憶装置アレイを本来制御するアダプタが使用
不能な場合を判断するステップと、 i)記憶装置アレイの1次制御を有するアダプタが使用
不能な場合、前記記憶装置アレイの2次制御を有する前
記アダプタを当該記憶装置アレイの制御装置として使用
するステップと、 を含む、請求項12記載の方法。 - 【請求項14】複数のホスト・コンピュータ及び複数の
記憶装置アレイを含むネットワーク化コンピュータ・シ
ステムにおいて、各ホスト・コンピュータがアダプタ・
カードを有し、前記アダプタ・カードが前記記憶装置ア
レイを本来制御し、前記システム内の全ての前記アダプ
タ・カード間の通信相互接続を有するものにおいて、前
記アダプタ・カードと一緒に使用されるコンピュータ・
プログラムであって、 複数の前記記憶装置アレイ上に記憶されるデータに対す
る全ての前記ホスト・コンピュータのアクセスを提供す
る、コンピュータ読出し可能プログラム・コード手段を
有するコンピュータ使用可能媒体と、 ホスト・コンピュータに関連付けられるアダプタ・カー
ドがデータ・アクセス要求を受信するコンピュータ読出
し可能プログラム・コード手段と、 要求データがアダプタにより本来制御される前記記憶装
置アレイ内に記憶されているか否かを識別するコンピュ
ータ読出し可能プログラム・コード手段と、アダプタに
より本来制御される記憶装置アレイ内に記憶されていな
いデータに対するデータ・アクセス要求を、前記通信相
互接続を通じて、前記要求データを有する前記記憶装置
アレイを本来制御する前記アダプタ・カードに送信する
コンピュータ読出し可能プログラム・コード手段と、 を含む、コンピュータ・プログラム。 - 【請求項15】1次アダプタが故障の場合に、2次アダ
プタが前記1次アダプタに対応する記憶装置アレイの制
御を引き継ぐことを可能にするコンピュータ読出し可能
プログラム・コード手段を含む、請求項14記載のコン
ピュータ・プログラム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US08/531239 | 1995-09-19 | ||
US08/531,239 US5768623A (en) | 1995-09-19 | 1995-09-19 | System and method for sharing multiple storage arrays by dedicating adapters as primary controller and secondary controller for arrays reside in different host computers |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0981527A true JPH0981527A (ja) | 1997-03-28 |
Family
ID=24116835
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8186269A Pending JPH0981527A (ja) | 1995-09-19 | 1996-07-16 | 複数のホスト・コンピュータ・システムにより複数の記憶装置アレイを共有するシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US5768623A (ja) |
EP (1) | EP0769744B1 (ja) |
JP (1) | JPH0981527A (ja) |
KR (1) | KR100261378B1 (ja) |
DE (1) | DE69636663T2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000330728A (ja) * | 1999-05-19 | 2000-11-30 | Nec Corp | ディスクアレイ装置及びそれに用いる高速通信方法並びにその制御プログラムを記録した記録媒体 |
KR100445425B1 (ko) * | 2001-12-24 | 2004-08-25 | 한국전자통신연구원 | 분산 레이드 제어기 환경에서의 부하 분산 방법 |
US7216148B2 (en) | 2001-07-27 | 2007-05-08 | Hitachi, Ltd. | Storage system having a plurality of controllers |
US7552278B2 (en) | 2005-06-24 | 2009-06-23 | Fujitsu Limited | Disk array access dynamic control device and method |
JP4864210B2 (ja) * | 1999-05-20 | 2012-02-01 | イヴァン, チョン−ション ホワン, | 作業グループサーバー実施の方法と装置 |
US8176248B2 (en) | 1998-12-22 | 2012-05-08 | Hitachi, Ltd. | Method and system of collection performance data for storage network |
JP2013530448A (ja) * | 2010-05-05 | 2013-07-25 | マーベル ワールド トレード リミテッド | キャッシュストレージアダプタアーキテクチャ |
Families Citing this family (131)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3456018B2 (ja) * | 1993-07-26 | 2003-10-14 | ソニー株式会社 | 情報送出システム |
US6118931A (en) * | 1996-04-15 | 2000-09-12 | Discreet Logic Inc. | Video data storage |
GB2312319B (en) | 1996-04-15 | 1998-12-09 | Discreet Logic Inc | Video storage |
CA2201679A1 (en) | 1996-04-15 | 1997-10-15 | Raju C. Bopardikar | Video data storage |
JPH1078852A (ja) * | 1996-09-04 | 1998-03-24 | Nec Corp | マルチアレイディスク装置 |
US6173376B1 (en) * | 1996-10-03 | 2001-01-09 | International Business Machines Corp. | Data backup and restore method and system in a multisystem environment |
JPH10134485A (ja) * | 1996-10-30 | 1998-05-22 | Toshiba Corp | ストレージ共有型分散マルチメディアサーバシステム |
US6029231A (en) * | 1996-12-03 | 2000-02-22 | Emc Corporation | Retrieval of data stored on redundant disks across a network using remote procedure calls |
JPH10198526A (ja) | 1997-01-14 | 1998-07-31 | Fujitsu Ltd | Raid装置及びそのアクセス制御方法 |
JP3563907B2 (ja) * | 1997-01-30 | 2004-09-08 | 富士通株式会社 | 並列計算機 |
US6014383A (en) * | 1997-02-10 | 2000-01-11 | Compaq Computer Corporation | System and method for controlling multiple initiators in a fibre channel environment |
US6185203B1 (en) | 1997-02-18 | 2001-02-06 | Vixel Corporation | Fibre channel switching fabric |
US6118776A (en) | 1997-02-18 | 2000-09-12 | Vixel Corporation | Methods and apparatus for fiber channel interconnection of private loop devices |
US6073209A (en) * | 1997-03-31 | 2000-06-06 | Ark Research Corporation | Data storage controller providing multiple hosts with access to multiple storage subsystems |
KR100551191B1 (ko) * | 1997-05-16 | 2006-05-25 | 매그나칩 반도체 유한회사 | 컴퓨터 시스템에서의 논리 유니트 유일 식별 방법 |
JP3228182B2 (ja) * | 1997-05-29 | 2001-11-12 | 株式会社日立製作所 | 記憶システム及び記憶システムへのアクセス方法 |
US5948075A (en) * | 1997-06-04 | 1999-09-07 | International Business Machines Corporation | System for identifying operating parameters in a storage enclosure having each of first connector only for specifying a physical location associated with each of backplane interfaces |
US5986880A (en) * | 1997-06-16 | 1999-11-16 | Compaq Computer Corporation | Electronic apparatus having I/O board with cable-free redundant adapter cards thereon |
US6145006A (en) * | 1997-06-25 | 2000-11-07 | Emc Corporation | Method and apparatus for coordinating locking operations of heterogeneous host computers accessing a storage subsystem |
US6009535A (en) * | 1997-06-30 | 1999-12-28 | Emc Corporation | SCSI adaptor failover for a disk drive system |
US5937428A (en) * | 1997-08-06 | 1999-08-10 | Lsi Logic Corporation | Method for host-based I/O workload balancing on redundant array controllers |
US6088330A (en) * | 1997-09-09 | 2000-07-11 | Bruck; Joshua | Reliable array of distributed computing nodes |
GB2341526B (en) | 1997-11-17 | 2003-01-15 | Seagate Technology | Method and dedicated frame buffer for loop initialization and responses |
US6006342A (en) * | 1997-12-11 | 1999-12-21 | International Business Machines Corporation | Failover and failback system for a direct access storage device |
US6151659A (en) * | 1997-12-22 | 2000-11-21 | Emc Corporation | Distributed raid storage system |
US5941972A (en) | 1997-12-31 | 1999-08-24 | Crossroads Systems, Inc. | Storage router and method for providing virtual local storage |
USRE42761E1 (en) | 1997-12-31 | 2011-09-27 | Crossroads Systems, Inc. | Storage router and method for providing virtual local storage |
AU4334099A (en) | 1998-06-05 | 1999-12-20 | Mylex Corporation | Apparatus, system and method for n-way raid controller |
US6421711B1 (en) * | 1998-06-29 | 2002-07-16 | Emc Corporation | Virtual ports for data transferring of a data storage system |
US6032269A (en) * | 1998-06-30 | 2000-02-29 | Digi-Data Corporation | Firmware recovery from hanging channels by buffer analysis |
US6446237B1 (en) * | 1998-08-04 | 2002-09-03 | International Business Machines Corporation | Updating and reading data and parity blocks in a shared disk system |
US6282584B1 (en) * | 1998-08-18 | 2001-08-28 | International Business Machines Corporation | Structure and method for reading/writing signature commands from/to a plurality of controller pairs |
US6412079B1 (en) * | 1998-10-09 | 2002-06-25 | Openwave Systems Inc. | Server pool for clustered system |
US6397345B1 (en) * | 1998-10-09 | 2002-05-28 | Openwave Systems Inc. | Fault tolerant bus for clustered system |
US6330687B1 (en) * | 1998-11-13 | 2001-12-11 | Digi-Data Corporation | System and method to maintain performance among N single raid systems during non-fault conditions while sharing multiple storage devices during conditions of a faulty host computer or faulty storage array controller |
JP4400895B2 (ja) | 1999-01-07 | 2010-01-20 | 株式会社日立製作所 | ディスクアレイ制御装置 |
US6317839B1 (en) | 1999-01-19 | 2001-11-13 | International Business Machines Corporation | Method of and apparatus for controlling supply of power to a peripheral device in a computer system |
US6449731B1 (en) * | 1999-03-03 | 2002-09-10 | Tricord Systems, Inc. | Self-healing computer system storage |
US6341356B1 (en) | 1999-03-25 | 2002-01-22 | International Business Machines Corporation | System for I/O path load balancing and failure which can be ported to a plurality of operating environments |
JP2000278290A (ja) * | 1999-03-29 | 2000-10-06 | Matsushita Electric Ind Co Ltd | ネットワーク管理システム |
JP3987241B2 (ja) * | 1999-07-29 | 2007-10-03 | 株式会社東芝 | 系間情報通信システム |
US6543004B1 (en) * | 1999-07-29 | 2003-04-01 | Hewlett-Packard Development Company, L.P. | Method and apparatus for archiving and restoring data |
US6295587B1 (en) * | 1999-09-03 | 2001-09-25 | Emc Corporation | Method and apparatus for multiple disk drive access in a multi-processor/multi-disk drive system |
JP3952640B2 (ja) * | 1999-09-07 | 2007-08-01 | 株式会社日立製作所 | データバックアップ方法、メインフレーム系ストレージシステムおよびメインフレームホストコンピュータ |
US6343324B1 (en) * | 1999-09-13 | 2002-01-29 | International Business Machines Corporation | Method and system for controlling access share storage devices in a network environment by configuring host-to-volume mapping data structures in the controller memory for granting and denying access to the devices |
US6944654B1 (en) * | 1999-11-01 | 2005-09-13 | Emc Corporation | Multiple storage array control |
JP2003517765A (ja) * | 1999-11-12 | 2003-05-27 | クロスローズ・システムズ・インコーポレイテッド | パケットベースのネットワークを介してストレージエリアネットワークをリンクする封入プロトコル |
US6965934B1 (en) | 1999-11-12 | 2005-11-15 | Crossroads Systems, Inc. | Encapsulation protocol for linking storage area networks over a packet-based network |
US6487680B1 (en) * | 1999-12-03 | 2002-11-26 | International Business Machines Corporation | System, apparatus, and method for managing a data storage system in an n-way active controller configuration |
JP2001167040A (ja) | 1999-12-14 | 2001-06-22 | Hitachi Ltd | 記憶サブシステム及び記憶制御装置 |
US7657727B2 (en) * | 2000-01-14 | 2010-02-02 | Hitachi, Ltd. | Security for logical unit in storage subsystem |
JP4651230B2 (ja) | 2001-07-13 | 2011-03-16 | 株式会社日立製作所 | 記憶システム及び論理ユニットへのアクセス制御方法 |
US6684209B1 (en) * | 2000-01-14 | 2004-01-27 | Hitachi, Ltd. | Security method and system for storage subsystem |
US6615375B1 (en) * | 2000-02-03 | 2003-09-02 | International Business Machines Corporation | Method and apparatus for tolerating unrecoverable errors in a multi-processor data processing system |
US6772270B1 (en) | 2000-02-10 | 2004-08-03 | Vicom Systems, Inc. | Multi-port fibre channel controller |
US6877044B2 (en) * | 2000-02-10 | 2005-04-05 | Vicom Systems, Inc. | Distributed storage management platform architecture |
US6851005B1 (en) * | 2000-03-03 | 2005-02-01 | International Business Machines Corporation | Apparatus and method for implementing raid devices in a cluster computer system |
US6643795B1 (en) * | 2000-03-30 | 2003-11-04 | Hewlett-Packard Development Company, L.P. | Controller-based bi-directional remote copy system with storage site failover capability |
US6601187B1 (en) | 2000-03-31 | 2003-07-29 | Hewlett-Packard Development Company, L. P. | System for data replication using redundant pairs of storage controllers, fibre channel fabrics and links therebetween |
JP4462711B2 (ja) * | 2000-04-18 | 2010-05-12 | 株式会社日立製作所 | 記憶システム |
JP4719957B2 (ja) * | 2000-05-24 | 2011-07-06 | 株式会社日立製作所 | 記憶制御装置及び記憶システム並びに記憶システムのセキュリティ設定方法 |
US7080133B1 (en) | 2000-07-17 | 2006-07-18 | International Business Machines Corporation | Method and system for configuring a computer network |
US6505307B1 (en) * | 2000-09-06 | 2003-01-07 | Unisys Corporation | Method and apparatus for ensuring data integrity |
US6977927B1 (en) | 2000-09-18 | 2005-12-20 | Hewlett-Packard Development Company, L.P. | Method and system of allocating storage resources in a storage area network |
US6804819B1 (en) | 2000-09-18 | 2004-10-12 | Hewlett-Packard Development Company, L.P. | Method, system, and computer program product for a data propagation platform and applications of same |
US7386610B1 (en) | 2000-09-18 | 2008-06-10 | Hewlett-Packard Development Company, L.P. | Internet protocol data mirroring |
US6678768B1 (en) * | 2000-10-06 | 2004-01-13 | International Business Machines Corporation | Method and apparatus for configuring redundant array of independent disks (RAID) |
US6954881B1 (en) | 2000-10-13 | 2005-10-11 | International Business Machines Corporation | Method and apparatus for providing multi-path I/O in non-concurrent clustering environment using SCSI-3 persistent reserve |
JP2002123479A (ja) * | 2000-10-17 | 2002-04-26 | Hitachi Ltd | ディスク制御装置およびそのキャッシュ制御方法 |
KR20020032136A (ko) * | 2000-10-25 | 2002-05-03 | 박성훈 | 메모리를 이용한 대용량 보조기억장치 |
US6845467B1 (en) | 2001-02-13 | 2005-01-18 | Cisco Systems Canada Co. | System and method of operation of dual redundant controllers |
US6961868B2 (en) * | 2001-02-16 | 2005-11-01 | Swsoft Holdings, Ltd. | Fault tolerant storage system and method using a network of servers |
US7418620B1 (en) | 2001-02-16 | 2008-08-26 | Swsoft Holdings, Ltd. | Fault tolerant distributed storage method and controller using (N,K) algorithms |
US6606690B2 (en) | 2001-02-20 | 2003-08-12 | Hewlett-Packard Development Company, L.P. | System and method for accessing a storage area network as network attached storage |
US6941252B2 (en) | 2001-03-14 | 2005-09-06 | Mcdata Corporation | Striping data frames across parallel fibre channel links |
US6675242B2 (en) * | 2001-03-17 | 2004-01-06 | Hewlett-Packard Development Company, L.P. | Communication bus controller including designation of primary and secondary status according to slot position |
US7209973B2 (en) * | 2001-04-09 | 2007-04-24 | Swsoft Holdings, Ltd. | Distributed network data storage system and method |
GB2374749B (en) * | 2001-04-20 | 2005-04-06 | Discreet Logic Inc | Image data processing |
US6996674B2 (en) * | 2001-05-07 | 2006-02-07 | International Business Machines Corporation | Method and apparatus for a global cache directory in a storage cluster |
US7023869B2 (en) * | 2001-05-10 | 2006-04-04 | Emc Corporation | Data storage system with one or more integrated server-like behaviors |
JP2003044230A (ja) * | 2001-05-23 | 2003-02-14 | Hitachi Ltd | 記憶装置システム |
US7543100B2 (en) * | 2001-06-18 | 2009-06-02 | 3Par, Inc. | Node controller for a data storage system |
US7055056B2 (en) * | 2001-11-21 | 2006-05-30 | Hewlett-Packard Development Company, L.P. | System and method for ensuring the availability of a storage system |
US6892167B2 (en) * | 2001-11-28 | 2005-05-10 | Sypris Data Systems, Inc. | Real-time data acquisition and storage network |
US6643735B2 (en) * | 2001-12-03 | 2003-11-04 | International Business Machines Corporation | Integrated RAID system with the capability of selecting between software and hardware RAID |
US7552289B2 (en) * | 2002-01-18 | 2009-06-23 | Rasilient, Inc. | Method and apparatus for arbitrating access of a serial ATA storage device by multiple hosts with separate host adapters |
US7290277B1 (en) * | 2002-01-24 | 2007-10-30 | Avago Technologies General Ip Pte Ltd | Control of authentication data residing in a network device |
US6820172B2 (en) * | 2002-03-25 | 2004-11-16 | International Business Machines Corporation | Method, system, and program for processing input/output (I/O) requests to a storage space having a plurality of storage devices |
US7013364B2 (en) * | 2002-05-27 | 2006-03-14 | Hitachi, Ltd. | Storage subsystem having plural storage systems and storage selector for selecting one of the storage systems to process an access request |
US7213158B2 (en) | 2002-06-28 | 2007-05-01 | Lenovo (Singapore) Pte. Ltd. | Distributed autonomic backup |
US7672226B2 (en) * | 2002-09-09 | 2010-03-02 | Xiotech Corporation | Method, apparatus and program storage device for verifying existence of a redundant fibre channel path |
US20040123027A1 (en) * | 2002-10-03 | 2004-06-24 | Workman Michael Lee | Systems and methods of multiple access paths to single ported storage devices |
US20040068591A1 (en) * | 2002-10-03 | 2004-04-08 | Workman Michael Lee | Systems and methods of multiple access paths to single ported storage devices |
US6879526B2 (en) * | 2002-10-31 | 2005-04-12 | Ring Technology Enterprises Llc | Methods and apparatus for improved memory access |
US7707351B2 (en) * | 2002-10-31 | 2010-04-27 | Ring Technology Enterprises Of Texas, Llc | Methods and systems for an identifier-based memory section |
US7197662B2 (en) * | 2002-10-31 | 2007-03-27 | Ring Technology Enterprises, Llc | Methods and systems for a storage system |
US7415565B2 (en) * | 2002-10-31 | 2008-08-19 | Ring Technology Enterprises, Llc | Methods and systems for a storage system with a program-controlled switch for routing data |
JP2004164072A (ja) * | 2002-11-11 | 2004-06-10 | Hitachi Ltd | ディスク制御装置およびディスク制御装置の制御方法 |
JP4352693B2 (ja) * | 2002-12-10 | 2009-10-28 | 株式会社日立製作所 | ディスクアレイ制御装置及びその制御方法 |
US7480657B1 (en) * | 2003-01-06 | 2009-01-20 | Cisco Technology, Inc. | Caching information for multiple service applications |
US7089357B1 (en) * | 2003-09-22 | 2006-08-08 | Emc Corporation | Locally buffered cache extensions having associated control parameters to determine use for cache allocation on subsequent requests |
US7058758B2 (en) * | 2003-10-16 | 2006-06-06 | International Business Machines Corporation | Load balancing to support tape and disk subsystems on shared fibre channel adapters |
US7619974B2 (en) | 2003-10-31 | 2009-11-17 | Brocade Communication Systems, Inc. | Frame traffic balancing across trunk groups |
US7593336B2 (en) | 2003-10-31 | 2009-09-22 | Brocade Communications Systems, Inc. | Logical ports in trunking |
US7296117B2 (en) * | 2004-02-12 | 2007-11-13 | International Business Machines Corporation | Method and apparatus for aggregating storage devices |
US7296116B2 (en) * | 2004-02-12 | 2007-11-13 | International Business Machines Corporation | Method and apparatus for providing high density storage |
US7702757B2 (en) * | 2004-04-07 | 2010-04-20 | Xiotech Corporation | Method, apparatus and program storage device for providing control to a networked storage architecture |
US7908445B2 (en) * | 2004-07-19 | 2011-03-15 | Infortrend Technology, Inc. | Redundant controller dynamic logical media unit reassignment |
US20060020720A1 (en) * | 2004-07-23 | 2006-01-26 | Lsi Logic Corporation | Multi-controller IO shipping |
US7681105B1 (en) * | 2004-08-09 | 2010-03-16 | Bakbone Software, Inc. | Method for lock-free clustered erasure coding and recovery of data across a plurality of data stores in a network |
US7681104B1 (en) * | 2004-08-09 | 2010-03-16 | Bakbone Software, Inc. | Method for erasure coding data across a plurality of data stores in a network |
US7493370B2 (en) * | 2004-10-29 | 2009-02-17 | International Business Machines Corporation | Two stage method for dynamically determining primary adapter in a heterogeneous N-way adapter configuration |
US7568121B2 (en) * | 2004-11-16 | 2009-07-28 | International Business Machines Corporation | Recovery from failure in data storage systems |
JP2006195759A (ja) * | 2005-01-14 | 2006-07-27 | Fujitsu Ltd | ディスク接続ユニット、ディスクパッケージ、ディスク装置、ディスク接続方法 |
US20060218436A1 (en) * | 2005-03-25 | 2006-09-28 | Dell Products L.P. | System, method and software using a RAID device driver as backup for a RAID adapter |
US7797394B2 (en) * | 2005-04-18 | 2010-09-14 | Dell Products L.P. | System and method for processing commands in a storage enclosure |
US20070038749A1 (en) * | 2005-07-29 | 2007-02-15 | Broadcom Corporation | Combined local and network storage interface |
US8433770B2 (en) * | 2005-07-29 | 2013-04-30 | Broadcom Corporation | Combined local and network storage interface |
US11080138B1 (en) | 2010-04-26 | 2021-08-03 | Pure Storage, Inc. | Storing integrity information in a vast storage system |
US10154034B2 (en) * | 2010-04-26 | 2018-12-11 | International Business Machines Corporation | Cooperative data access request authorization in a dispersed storage network |
US10866754B2 (en) | 2010-04-26 | 2020-12-15 | Pure Storage, Inc. | Content archiving in a distributed storage network |
US11340988B2 (en) | 2005-09-30 | 2022-05-24 | Pure Storage, Inc. | Generating integrity information in a vast storage system |
JP4413184B2 (ja) * | 2005-11-28 | 2010-02-10 | 富士通株式会社 | データストレージシステム及びデータストレージ制御装置 |
TWI315475B (en) * | 2006-09-01 | 2009-10-01 | Via Tech Inc | Control method and control system for multiple host bus adapters |
GB2446177A (en) * | 2007-02-03 | 2008-08-06 | Katherine Bean | Data storage system |
US20100011176A1 (en) * | 2008-07-11 | 2010-01-14 | Burkey Todd R | Performance of binary bulk IO operations on virtual disks by interleaving |
US8255476B2 (en) * | 2009-03-30 | 2012-08-28 | International Business Machines Corporation | Automated tape drive sharing in a heterogeneous server and application environment |
US10956292B1 (en) | 2010-04-26 | 2021-03-23 | Pure Storage, Inc. | Utilizing integrity information for data retrieval in a vast storage system |
US9015519B2 (en) * | 2012-01-31 | 2015-04-21 | Symantec Corporation | Method and system for cluster wide adaptive I/O scheduling by a multipathing driver |
WO2015063859A1 (ja) * | 2013-10-29 | 2015-05-07 | 株式会社日立製作所 | 計算機システム及び制御方法 |
US10296429B2 (en) * | 2014-07-25 | 2019-05-21 | Hitachi, Ltd. | Storage device |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3693161A (en) * | 1970-07-09 | 1972-09-19 | Burroughs Corp | Apparatus for interrogating the availability of a communication path to a peripheral device |
CH608902A5 (ja) * | 1975-04-21 | 1979-01-31 | Siemens Ag | |
US4207609A (en) * | 1978-05-08 | 1980-06-10 | International Business Machines Corporation | Method and means for path independent device reservation and reconnection in a multi-CPU and shared device access system |
US4396984A (en) * | 1981-03-06 | 1983-08-02 | International Business Machines Corporation | Peripheral systems employing multipathing, path and access grouping |
US4455605A (en) * | 1981-07-23 | 1984-06-19 | International Business Machines Corporation | Method for establishing variable path group associations and affiliations between "non-static" MP systems and shared devices |
US4777595A (en) * | 1982-05-07 | 1988-10-11 | Digital Equipment Corporation | Apparatus for transferring blocks of information from one node to a second node in a computer network |
US4747047A (en) * | 1985-12-06 | 1988-05-24 | Unisys Corporation | Data transfer system using two peripheral controllers to access dual-ported data storage units |
JPH0827705B2 (ja) * | 1990-07-25 | 1996-03-21 | インターナショナル・ビジネス・マシーンズ・コーポレイション | アダプタ |
US5237658A (en) * | 1991-10-01 | 1993-08-17 | Tandem Computers Incorporated | Linear and orthogonal expansion of array storage in multiprocessor computing systems |
US5280586A (en) * | 1991-10-03 | 1994-01-18 | Compaq Computer Corp. | Expandable communication system using data concentration |
JPH05252228A (ja) * | 1992-03-02 | 1993-09-28 | Mitsubishi Electric Corp | データ伝送装置及びその通信路管理方法 |
WO1993018456A1 (en) * | 1992-03-13 | 1993-09-16 | Emc Corporation | Multiple controller sharing in a redundant storage array |
US5337414A (en) * | 1992-09-22 | 1994-08-09 | Unisys Corporation | Mass data storage and retrieval system |
US5386517A (en) * | 1993-01-26 | 1995-01-31 | Unisys Corporation | Dual bus communication system connecting multiple processors to multiple I/O subsystems having a plurality of I/O devices with varying transfer speeds |
US5553230A (en) * | 1995-01-18 | 1996-09-03 | Hewlett-Packard Company | Identifying controller pairs in a dual controller disk array |
-
1995
- 1995-09-19 US US08/531,239 patent/US5768623A/en not_active Expired - Lifetime
-
1996
- 1996-07-16 JP JP8186269A patent/JPH0981527A/ja active Pending
- 1996-08-17 KR KR1019960034092A patent/KR100261378B1/ko not_active IP Right Cessation
- 1996-09-19 EP EP96306837A patent/EP0769744B1/en not_active Expired - Lifetime
- 1996-09-19 DE DE69636663T patent/DE69636663T2/de not_active Expired - Lifetime
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8176248B2 (en) | 1998-12-22 | 2012-05-08 | Hitachi, Ltd. | Method and system of collection performance data for storage network |
US8375168B2 (en) | 1998-12-22 | 2013-02-12 | Hitachi, Ltd. | Method and system of collection performance data for storage network |
JP2000330728A (ja) * | 1999-05-19 | 2000-11-30 | Nec Corp | ディスクアレイ装置及びそれに用いる高速通信方法並びにその制御プログラムを記録した記録媒体 |
JP4864210B2 (ja) * | 1999-05-20 | 2012-02-01 | イヴァン, チョン−ション ホワン, | 作業グループサーバー実施の方法と装置 |
US7216148B2 (en) | 2001-07-27 | 2007-05-08 | Hitachi, Ltd. | Storage system having a plurality of controllers |
KR100445425B1 (ko) * | 2001-12-24 | 2004-08-25 | 한국전자통신연구원 | 분산 레이드 제어기 환경에서의 부하 분산 방법 |
US7552278B2 (en) | 2005-06-24 | 2009-06-23 | Fujitsu Limited | Disk array access dynamic control device and method |
JP2013530448A (ja) * | 2010-05-05 | 2013-07-25 | マーベル ワールド トレード リミテッド | キャッシュストレージアダプタアーキテクチャ |
Also Published As
Publication number | Publication date |
---|---|
KR970016918A (ko) | 1997-04-28 |
DE69636663D1 (de) | 2006-12-14 |
EP0769744B1 (en) | 2006-11-02 |
KR100261378B1 (ko) | 2000-07-01 |
EP0769744A2 (en) | 1997-04-23 |
DE69636663T2 (de) | 2007-08-16 |
EP0769744A3 (en) | 2004-03-03 |
US5768623A (en) | 1998-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5768623A (en) | System and method for sharing multiple storage arrays by dedicating adapters as primary controller and secondary controller for arrays reside in different host computers | |
US6757753B1 (en) | Uniform routing of storage access requests through redundant array controllers | |
US6839788B2 (en) | Bus zoning in a channel independent storage controller architecture | |
US6578158B1 (en) | Method and apparatus for providing a raid controller having transparent failover and failback | |
US6732104B1 (en) | Uniform routing of storage access requests through redundant array controllers | |
US7062591B2 (en) | Controller data sharing using a modular DMA architecture | |
US6370605B1 (en) | Switch based scalable performance storage architecture | |
US6654831B1 (en) | Using multiple controllers together to create data spans | |
JP5087249B2 (ja) | ストレージシステムおよびストレージシステムの制御方法 | |
EP1760591B1 (en) | System and method of managing access path | |
US7424519B2 (en) | Distributed storage system, storage device and method of copying data | |
US6397267B1 (en) | Redirected I/O for scalable performance storage architecture | |
US6553408B1 (en) | Virtual device architecture having memory for storing lists of driver modules | |
US7162658B2 (en) | System and method for providing automatic data restoration after a storage device failure | |
US7433948B2 (en) | Methods and apparatus for implementing virtualization of storage within a storage area network | |
US6349357B1 (en) | Storage architecture providing scalable performance through independent control and data transfer paths | |
US20030065733A1 (en) | Modular architecture for a network storage controller | |
KR20020012539A (ko) | 공유된 디스크 어레이 관리 기능을 구현하기 위한 방법 및시스템 | |
AU2003238219A1 (en) | Methods and apparatus for implementing virtualization of storage within a storage area network | |
JP2010231807A (ja) | 記憶装置システム | |
TW201403352A (zh) | 集群中的虛擬共享儲存空間 | |
US20030033572A1 (en) | Memory system and method of using same | |
US8381027B1 (en) | Determining alternate paths in faulted systems | |
US7752340B1 (en) | Atomic command retry in a data storage system | |
US8055804B2 (en) | Data storage system with shared cache address space |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20060307 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20060310 |