JP3987241B2 - 系間情報通信システム - Google Patents
系間情報通信システム Download PDFInfo
- Publication number
- JP3987241B2 JP3987241B2 JP21534899A JP21534899A JP3987241B2 JP 3987241 B2 JP3987241 B2 JP 3987241B2 JP 21534899 A JP21534899 A JP 21534899A JP 21534899 A JP21534899 A JP 21534899A JP 3987241 B2 JP3987241 B2 JP 3987241B2
- Authority
- JP
- Japan
- Prior art keywords
- control means
- path
- communication
- information communication
- interface control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2089—Redundant storage control functionality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
- G06F11/2005—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication controllers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
- G06F11/2007—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
- G06F11/201—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media between storage system components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
- G06F11/2012—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant and using different communication protocols
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2097—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements maintaining the standby controller/processing unit updated
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0613—Improving I/O performance in relation to throughput
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0635—Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Hardware Redundancy (AREA)
- Memory System (AREA)
- Techniques For Improving Reliability Of Storages (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、第１の系と第２の系との間で情報通信が行われる、２重化されたコントローラを備えた２重化コントローラ内蔵装置に代表される系間情報通信システムに関する。
【０００２】
【従来の技術】
近年のディスクアレイ装置には、それぞれ異なるホスト装置と接続可能な２重化されたコントローラを備えた２重化コントローラ内蔵装置を構成しているものがある。この種のディスクアレイ装置では、各コントローラ（各系）と対応するホスト装置との間でデータ転送が可能なようになっている。各コントローラには、ホスト装置との間の転送データを一時記憶するためのキャッシュメモリがそれぞれ設けられている。
【０００３】
従来、上記した２重化コントローラを内蔵するディスクアレイ装置（系間情報通信システム）では、各コントローラ（各系）内のキャッシュメモリ上のデータの保全性を高めるために、いわゆるミラードキャッシュ方式を採用している。この方式は、ホスト装置から自系（のコントローラ）で受け取ったライトデータを他系のコントローラのキャッシュメモリにコピー（ミラー）する方式である。
【０００４】
このミラードキャッシュ方式を適用するディスクアレイ装置においては、他系でのキャッシュメモリへのコピー（ライト）が完了するのを待って、つまり自系と他系のキャッシュメモリの内容の一致化が図られるのを待って、ホスト装置へのライトの完了を通知するのが一般的である。
【０００５】
また、この種のディスクアレイ装置では、コントローラ間の重要な通信での信頼性向上のために、冗長なパスを特別に備えるのが一般的である。
【０００６】
【発明が解決しようとする課題】
上記したように、２重化コントローラを内蔵し、ミラードキャッシュ方式を適用する従来のディスクアレイ装置（２重化コントローラ内蔵装置、系間情報通信システム）では、他系のライトが完了するまで自系のコントローラはホスト側に完了を返せないため、この２重化コントローラ間のライトデータの通信のパスがライト時の性能のボトルネックになるという問題があった。
【０００７】
また、従来のディスクアレイ装置（２重化コントローラ内蔵装置、系間情報通信システム）では、コントローラ間の重要な通信での信頼性向上のために、冗長なパスを特別に備える必要があるという問題もあった。
【０００８】
本発明は上記事情を考慮してなされたものでその目的は、２重化コントローラ間の情報通信に代表される２つの系の間の情報通信における転送サイズの違いにより、当該系間の情報通信に使用する通信パスを使い分けることで、当該系間の情報通信の高速化を図ることができる系間情報通信システムを提供することにある。
【０００９】
本発明の他の目的は、冗長パスを特別に設けなくても、パスの冗長化を図ることができる系間情報通信システムを提供することにある。
【００１０】
【課題を解決するための手段】
本発明は、第１の系と第２の系との間で情報通信が行われる系間情報通信システムにおいて、上記第１の系と第２の系との間の転送サイズが小さい場合の情報通信に供される、転送サイズが小さい場合に高速レスポンスが可能な第１の通信路と、上記第１の系と第２の系との間の転送サイズが大きい場合の情報通信に供される、上記第１の通信路に比べて転送サイズが大きい場合の転送能力が大きい第２の通信路とを備えると共に、上記第１及び第２の系には、他系と情報通信を行う場合、対象となる情報のサイズに応じて上記第１または第２の通信路のいずれか一方が切り替え使用されるように制御する主制御手段をそれぞれ設けたことを特徴とする。
【００１１】
このような構成においては、２つの系の間で情報通信を行う場合、その情報通信の対象となる情報のサイズ（転送サイズ）に応じて使用する通信路を使い分けることにより、つまり転送サイズが小さいときには、転送サイズが小さいときのレスポンスが高速な第１の通信路を用い、転送サイズが大きいときには、転送能力が大きい第２の通信路を用いることにより、２つの系の間の高速情報通信が実現可能となる。ここで、転送サイズの大小は情報通信の種類によって決まることが多いため、その種類（例えば、データ転送に必要なデータ転送前後の一連の手順での系間通信、つまり制御データの通信であるか、データ転送それ自体であるか）に応じて通信路を使い分けするとよい。
【００１２】
また、上記第１及び第２の系に、上記主制御手段（例えばマイクロプロセッサユニット）が接続された内部バスを備えた構成では、当該第１及び第２の系に、自系内の主制御手段による内部バスを介しての制御のもとで上記第１の通信路を介して他系との間で逐次情報通信を行う第１のインタフェース制御手段と、自系内の主制御手段からの指示に応じて主制御手段から独立に上記第２の通信路を介して他系との間で指示された情報通信を行う第２のインタフェース制御手段とを設けることで、転送サイズに応じて使用する通信路を使い分けての情報通信（情報転送）を効率的に行うことができる。
【００１３】
ここで、上記第１及び第２の系が、ミラードキャッシュ方式を適用するキャッシュメモリを内蔵する２重化コントローラである構成では、上記第２のインタフェース制御手段に、自系内の主制御手段からの指示に応じて自系内のキャッシュメモリに格納されたデータを上記第２の通信路を介して他系内の第２のインタフェース制御手段により当該他系内のキャッシュメモリにコピーさせる機能を持たせるならば、内部バスでのトラヒックが上がるのを防止しながら、大量のデータコピーが実現可能となる。
【００１４】
また、上記第１及び第２の系から共通にアクセス可能な少なくとも１つのディスク装置と、上記第１及び第２の系とディスク装置とを接続するための第３の通信路とを備えたシステムでは、上記第１のパスまたは第２のパス上に障害が発生した場合に、上記主制御手段の制御により、上記ディスク装置アクセス用の第３の通信路が第１または第２のパスの代替パスとして使用される構成とすることにより、冗長パスを特別に用意しなくても、通信パスの冗長化が実現可能となる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態につき、系間情報通信システムが２重化コントローラ内蔵のディスクアレイ装置である場合を例に、図面を参照して説明する。
【００１６】
図１は本発明の一実施形態に係る２重化コントローラ内蔵のディスクアレイ装置のブロック構成図、図２は当該ディスクアレイ装置を備えたシステムのブロック構成図である。
【００１７】
図２において、１００，２００は、本発明に直接関係するディスクアレイ装置を接続するホスト装置（ホストコンピュータ）であり、例えばサーバ（サーバコンピュータ）をなす。ホスト装置１００，２００とディスクアレイ装置３００（内の後述するコントローラ３１０，３２０に設けられたホストＩ／Ｆ３１３，３２３）とは、ＳＣＳＩ（Small Computer System Interface）バス、あるいはファイバチャネル等のバス１１０，２１０により接続されている。
ホスト装置１００，２００には、例えば複数のクライアント（クライアントコンピュータ）４００がイーサネット（Ethernet）バス、リングバス等により構成されるネットワーク５００を介して接続されている。
【００１８】
ディスクアレイ装置３００は、図１に示すように、当該装置３００全体を制御する２重化されたコントローラ３１０，３２０と、ディスクアレイを構成する複数のディスク装置、例えば２つのハードディスク装置（以下、ＨＤＤと称する）３６０，３６１とを備えている。コントローラ３１０，３２０（内の後述するＨＤＤ−Ｉ／Ｆ３１４，３２４）とＨＤＤ３６０，３６１とは、ＳＣＳＩバス等のバス３５０により接続されている。
【００１９】
コントローラ３１０，３２０は、当該コントローラ３１０，３２０の制御中枢をなす中央制御部としてのＭＰＵ（Micro Processing Unit）３１１，３２１と、キャッシュメモリ部３１２，３２２とを備えている。
【００２０】
キャッシュメモリ部３１２，３２２は、ホスト装置１００，２００から転送されたデータ（ライトデータ）、及びＨＤＤ３６０，３６１から読み出されたデータ（リードデータ）を一時記憶するキャッシュメモリ３１２ａ，３２２を内蔵する。このキャッシュメモリ３１２ａ，３２２ａは、ミラードキャッシュを実現するために、当該キャッシュメモリ３１２ａ，３２２ａ（を内蔵したキャッシュメモリ部３１２，３２２）を持つコントローラ３１０，３２０と対をなすもう一方のコントローラ３２０，３１０からのデータ、つまり他方（他系）のコントローラ３２０，３１０からのデータがコピー可能な領域を有する。またキャッシュメモリ部３１２，３２２は、Ｉ／Ｆ（インタフェース）として、後述する内部バス３１７，３２７との接続用と、コントローラ間データ転送用（コントローラ間データ転送に用いるバス３４０との接続用）との２ポートを有する。
【００２１】
コントローラ３１０，３２０はまた、ホスト装置１００，２００と接続するバス１１０，１２０の制御部をなすインタフェース制御部、つまりホスト装置１００，２００とのインタフェース制御部（以下、ホストＩ／Ｆと称する）３１３，３２３と、ＨＤＤ３６０，３６１とのインタフェース制御部（以下、ＨＤＤ−Ｉ／Ｆと称する）３１４，３２４とを備えている。
【００２２】
コントローラ３１０，３２０はまた、当該コントローラ３１０，３２０間のデータ転送制御を司り、データ転送サイズが小さい場合に高速レスポンスが可能なコントローラ間データ転送制御部（以下、コント間Ｉ／Ｆと称する）３１５，３２５と、当該コントローラ３１０，３２０間のデータ転送制御を司り、データ転送サイズに影響されずに一定のレスポンスが可能なコントローラ間データ転送制御部（以下、コント間Ｉ／Ｆと称する）３１６，３２６とを備えている。コント間Ｉ／Ｆ３１５，３２５は内部バス３１７，３２７を介してＭＰＵ３１１，３２１と接続され、コント間Ｉ／Ｆ３１６，３２６はキャッシュメモリ部３１２，３２２のコントローラ間データ転送用ポートと接続されている。
【００２３】
コントローラ３１０，３２０は更に、ＰＣＩバス（Peripheral Component Interconnect Bus）に代表される内部バス３１７，３２７を備えている。この内部バス３１７，３２７には、コントローラ３１０，３２０内の各モジュール（ここでは、ＭＰＵ３１１，３２１と、キャッシュメモリ部３１２，３２２と、ホストＩ／Ｆ３１３，３２３と、ＨＤＤ−Ｉ／Ｆ３１４，３２４と、コント間Ｉ／Ｆ３１５，３２５の各モジュール）が接続されている。
【００２４】
コントローラ３１０，３２０内のコント間Ｉ／Ｆ３１５，３２５は、データ転送サイズが小さいデータの転送に適したシリアルバスに代表されるバス３３０により相互接続され、コント間Ｉ／Ｆ３１６，３２６は、データ転送サイズが大きいデータの転送に適した非同期転送型のバス３４０により相互接続されている。従来のディスクアレイ装置には、コント間Ｉ／Ｆ３１６，３２６と、当該コント間Ｉ／Ｆ３１６，３２６を接続するバス３４０とが存在しないことに注意されたい。このため従来は、コントローラ３１０，３２０間のデータ転送は、ＭＰＵ３１１，３１２の制御により全て内部バス３１７，３２７を介して行う必要がある。
【００２５】
次に、図２のシステムに適用される図１の構成のディスクアレイ装置３００の動作について、ホスト装置１００からコントローラ３１０に対して要求されたデータのライト時に、そのコピーデータをもう一方のコントローラ３２０内のキャッシュメモリ３２２に格納する場合を例に、図３及び図４を参照して説明する。
【００２６】
今、ホスト装置１００からディスクアレイ装置３００内のコントローラ３１０に対し、バス１１０を介してデータのライト要求が送られたものとする。コントローラ３１０が、このホスト装置１００からのライト要求をホストＩ／Ｆ３１３を介して受け付けると、ホスト装置１００からコントローラ３１０へのライトデータの転送が開始される。
【００２７】
すると、ホスト装置１００からバス１１０を介して転送されるデータは、コントローラ３１０内のホストＩ／Ｆ３１３で受け取られて、ホストＩ／Ｆ３１３→内部バス３１７→キャッシュメモリ部３１２のパスを通って、そのコントローラ３１０のキャッシュメモリ部３１２に内蔵されたキャッシュメモリ３１２に格納される。本実施形態では、ホスト装置１００からのライト要求で指定されたディスクアレイ（内のＨＤＤ）のデータがキャッシュメモリ３１２ａにも存在する（ライト時の）キャッシュヒットの場合には、当該キャッシュメモリ３１２ａ内の該当するデータが、ホスト装置１００からのライトデータに更新される。このキャッシュメモリ３１２ａに格納されたライトデータは、ホスト装置１００からのライト要求で指定されたディスクアレイ（内のＨＤＤ）に対する遅延書き込みの対象となる。
【００２８】
コントローラ３１０内のＭＰＵ３１１は、当該コントローラ３１０（自系）のキャッシュメモリ３１２に格納されたのと同一のライトデータをコントローラ３２０（他系）のキャッシュメモリ３２２にコピー（ミラー）するために、コントローラ３２０が停止していないか否かを、内部バス３１７を介してのコント間Ｉ／Ｆ３１５を用いたコントローラ間通信（制御データの授受）で確認する。即ちＭＰＵ３１１は、コントローラ３２０内のＭＰＵ３２１への問い合わせを、図３に示すように、ＭＰＵ３１１→内部バス３１７→コント間Ｉ／Ｆ３１５→バス３３０→コント間Ｉ／Ｆ３２５→内部バス３２７→ＭＰＵ３２１のパス３１を用いて通知する。
【００２９】
コントローラ３２０内のＭＰＵ３２１は、コントローラ３１０内のＭＰＵ３１１からの問い合わせを（コント間Ｉ／Ｆ３２５から内部バス３２７を介して）受け取ると、その問い合わせとは逆のパスで、つまり図３に示すように、ＭＰＵ３２１→内部バス３２７→コント間Ｉ／Ｆ３２５→バス３３０→コント間Ｉ／Ｆ３１５→内部バス３１７→ＭＰＵ３１１のパス３２で、コントローラ３１０内のＭＰＵ３１１へ正常である旨の応答を返す。
【００３０】
ＭＰＵ３１１は、コントローラ３２０内のＭＰＵ３２１からの正常応答を受け取ると、先に格納したデータのキャッシュメモリ３２２へのコピーを、図４に示すように、ＭＰＵ３１１→内部バス３１７→キャッシュメモリ部３１２のパス４１を用いてキャッシュメモリ部３１２に指示する。
【００３１】
するとキャッシュメモリ部３１２は、指示されたデータを、コント間Ｉ／Ｆ３１６を用いたデータ転送により、図４に示すように、キャッシュメモリ３１２ａ→コント間Ｉ／Ｆ３１６→バス３４０→コント間Ｉ／Ｆ３２６→キャッシュメモリ３２２ａのパス４２を用いて、コントローラ３２０内のキャッシュメモリ３２２ａ（に確保されているコピー領域）にコピーさせる。このデータ転送の最後では、データ転送結果を示す転送ステータスが（コントローラ３２０内の）キャッシュメモリ部３２２のコントローラ間データ転送用Ｉ／Ｆ（ポート）から上記パス４２と逆のパスで、（コントローラ３１０内の）キャッシュメモリ部３１２のコントローラ間データ転送用Ｉ／Ｆ（ポート）に返される。
【００３２】
キャッシュメモリ部３１２は、上記転送ステータスからデータ転送の完了を判定すると、内部バス３１７との接続用Ｉ／Ｆ（ポート）により、キャッシュメモリ３２２ａへの転送（コピー）が完了したことを、図４に示すように、キャッシュメモリ部３１２→内部バス３１７→ＭＰＵ３１１のパス４３を用いてＭＰＵ３１１に通知する。
【００３３】
ＭＰＵ３１１は、このキャッシュメモリ３２２ａへの転送（コピー）完了通知を受け取って、キャッシュメモリ３１２ａからキャッシュメモリ３２２ａへのコピー（ミラー）の完了を確認すると、ホスト装置１００から要求されたデータライトの完了を判定し、ＭＰＵ３１１→内部バス３１７→ホストＩ／Ｆ３１３→バス１１０→ホスト装置１００のパスによりホスト装置１００にライト完了通知を返す。なお、キャッシュメモリ３１２ａからキャッシュメモリ３２２ａへのコピー（ミラー）が完了した旨の通知は、転送サイズが小さいため、前記パス３２を用いてコントローラ３１０内のＭＰＵ３１１送るようにしても構わない。
【００３４】
このように本実施形態では、コントローラ３１０，３２０（内のＭＰＵ３１１，３２１）間の上記問い合わせ及び当該問い合わせに対する応答、つまりコントローラ間通信（制御データの授受）には、コント間Ｉ／Ｆ３１５，３２５及びバス３３０を含むパス３１（３２）を用い、キャッシュメモリ３１２ａ，３２２ａ間のデータ転送（データコピー）には、コント間Ｉ／Ｆ３１６，３２６及びバス３４０を含むパス４２を用いるようにしている。
【００３５】
ここで、コントローラ間通信は、大容量のデータの転送が行われるキャッシュメモリ３１２ａ，３２２ａ間のデータ転送（データコピー）に比べて、その転送データ量が著しく少ない。
【００３６】
次に、パス３１の中心をなすバス３３０は、本実施形態のようにシリアルバスで構成されている場合、データ転送開始までの手順と、データ転送終了後の手順に（伴う制御データの授受に）要する時間は、非同期転送型のバス３４０と異なって少ない。つまり転送のための手順のオーバヘッドが小さい。一方、データ転送時間は、データ量が多いほど長く、少ないほど短くなる。したがってバス３３０は、上記のコントローラ間通信のように、データ量が少ないデータ転送の場合に高速レスポンスが期待できる。
【００３７】
ところが従来は（コント間Ｉ／Ｆ３１６，３２７及びバス３４０が存在しないため）、データ転送量が少ないコントローラ間通信は勿論、データ転送量が多いキャッシュメモリ間データ転送（データコピー）の場合にも、（コント間Ｉ／Ｆ３１５，３２５及びバス３３０を含む）上記パス３１（３２）を用いていた。しかも、このパス３１（３２）には各コントローラ３１０，３２０の内部バス３１７，３２７が含まれている。したがって、データコピーのために内部バス３１７，３２７を使用することでバストラヒックが上がり、加えてＭＰＵ３１１，３２１の処理が必要となることから、コピー性能、更にはホスト装置１００，２００からの要求処理性能が低下する虞があった。
【００３８】
これに対して本実施形態では、キャッシュメモリ部３１２，３２２に接続されたコント間Ｉ／Ｆ３１６，３２６を設け、当該コント間Ｉ／Ｆ３１６，３２６により、（内部バス３１７，３２７から独立した）バス３４０を中心とするパス４１を介して、キャッシュメモリ部３１２，３２２内のキャッシュメモリ３１２ａ，３１２ｂ間の（データコピーのための）データ転送をＭＰＵ３２１，３２２から独立に行うようにしている。ここでは、データコピーのために、コントローラ３１０，３２０内の各種モジュールが接続されている内部バス３１７，３２７を使用せず、ＭＰＵ３２１，３２２の処理も不要なことから、上述の性能低下を低減できる。
【００３９】
ここで、バス３４０が本実施形態のように非同期転送型の場合、データ転送開始までとデータ転送終了後の手順が複雑であり、バス３３０と異なって転送のための手順のオーバヘッドが大きい。一方、バス３４０経由でのデータコピー等、一定の転送サイズの範囲でのデータ転送に要する時間は、上記手順に要する時間に比べて短い。したがって、コント間Ｉ／Ｆ３１６，３２６によりバス３４０を経由してのデータ転送では、一定の転送サイズの範囲では、転送サイズに関係なく、データ転送のための手順に要する時間でほぼ決まる一定のレスポンスを持つ。
【００４０】
また、上記のように、データコピーに内部バス３１７，３２７、コント間Ｉ／Ｆ３１５，３２５及びバス３３０を含むパス３１（３２）を使用しない構成では、つまりパス３１（３２）を、コントローラ間通信のようにデータ量が少ないデータ転送のみに使用する構成では、価格的な制約のもとで、バス３３０の信号ビット幅を少なくし（ハードウェア量を減らし）、代わりに高速信号線を用いることが可能となり、コントローラ間通信等を高速に処理することができる。
【００４１】
ところで、図２の構成のディスクアレイ装置３００において、上記パス３１（３２）の中心をなすコント間Ｉ／Ｆ３１５、バス３３０、コント間Ｉ／Ｆ３２５、或いは上記パス（４２）の中心をなすコント間Ｉ／Ｆ３１６、バス３４０、コント間Ｉ／Ｆ３２６のいずれかに障害が発生することがあり得る。
【００４２】
そこで本実施形態では、これらのパス上のいずれかの要素に障害が発生した場合の代替パスとして、ＨＤＤ−Ｉ／Ｆ３１４、バス３５０及びＨＤＤ−Ｉ／Ｆ３２４のパスが使用可能なようになっている。このＨＤＤ−Ｉ／Ｆ３１４、バス３５０及びＨＤＤ−Ｉ／Ｆ３２４のパス（代替パス）を実現するには、例えばコントローラ３１０であれば、内部バス３１７上の通信に使用するデバイスの指定を、コント間Ｉ／Ｆ３１５或いはキャッシュメモリ部３１２のコントローラ間データ転送用Ｉ／Ｆ（ポート）からＨＤＤ−Ｉ／Ｆ３１４へ、コントローラ３２０であれば、内部バス３２７上の通信に使用するデバイスの指定をコント間Ｉ／Ｆ３２５或いはキャッシュメモリ部３２２のコントローラ間データ転送用Ｉ／Ｆ（ポート）からＨＤＤ−Ｉ／Ｆ３２４へ変更すればよい。
【００４３】
なお、コントローラ３１０，３２０のホストＩ／Ｆ３１３，３２３に、ホスト装置との接続ポートを２つ持たせ、ホスト装置１００，２００を、図５に示すように、バス１１０，２１０に相当するバス１２０，２２０を介してコントローラ３２０，３１０のホストＩ／Ｆ３２３，３１３に接続するとよい。
【００４４】
このような構成では、例えばコントローラ３１０自身の障害またはホスト装置１００と当該コントローラ３１０との間の通信パスの障害が発生した場合、ホスト装置１００はバス１２０を用いることで、他系のコントローラ３２０を切り替え使用することができる。同様にコントローラ３２０自身の障害またはホスト装置２００と当該コントローラ３２０との間の通信パスの障害が発生した場合には、ホスト装置２００はバス２２０を用いることで、他系のコントローラ３１０を切り替え使用することができる。
【００４５】
また図５の構成において、ホスト装置１００，２００は、相手に障害が発生した場合に相手の代替処理を行うようになっている。そのためホスト装置１００，２００は互いに障害発生を監視している。この監視は、ネットワーク５００を介して行うことも可能であるが、トラフィックと信頼性を考慮するならば、図５に示すようにホスト装置１００，２００間を接続するイーサネットバス等のバス６００を設け、当該バス６００を介して監視するとよい。なお、ホスト装置１００，２００は、互いに処理を行う構成でも、一方が待機系となる構成のいずれでも構わない。
【００４６】
以上は、本発明を、２重化されたコントローラ間の情報通信の高速化のために、その情報通信の対象となる情報のサイズ（の違いを反映する情報通信の種類、つまりデータ転送前後の一連の手順でのコントローラ間通信であるか、データ転送それ自体であるか）に応じて２種の通信パスを切り替え使用する２重化コントローラ内蔵のディスクアレイ装置に実施した場合について説明したが、これに限るものではない。本発明は、相互に情報通信を行う２つの系の装置を備えた系間情報通信システムにおける、系間の情報通信の高速化にも適用可能である。
【００４７】
【発明の効果】
以上詳述したように本発明によれば、２重化されたコントローラ間の情報通信に代表される２つの系の間の情報通信における転送サイズの違い（を反映する情報通信の種類の違い）により、当該系間の情報通信に使用する通信パスを使い分けるようにしたので、当該系間の情報通信の高速化を図ることができる。特に、ミラードキャッシュ方式を適用するキャッシュメモリを内蔵する２重化コントローラ間の情報通信を行うシステムでは、コントローラ間の高速データコピーが実現できる。
【００４８】
また本発明によれば、第１及び第２の系から共通にアクセス可能な少なくとも１つのディスク装置と、これらを相互接続するための通信路とを備えたシステムでは、系間の情報通信に切り替え使用する通信パスの障害時には、この通信路を代替パスとして使用することにより、冗長パスを特別に設けなくても、パスの冗長化を図ることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る２重化コントローラ内蔵のディスクアレイ装置のブロック構成図。
【図２】図１の構成のディスクアレイ装置を備えたシステムのブロック構成図。
【図３】同実施形態におけるコントローラ間通信で使用される通信パスを説明するための図。
【図４】同実施形態におけるデータコピーで使用される通信パスを説明するための図。
【図５】図２のシステムの変形例を示すブロック図。
【符号の説明】
３１，３２…パス（第１のパス）
４２…パス（第２のパス）
１００，２００…ホスト装置
３００…ディスクアレイ装置（系間情報通信システム、２重化コントローラ内蔵装置）
３１０…コントローラ（第１の系）
３１１，３２１…ＭＰＵ（主制御手段）
３１２，３２２…キャッシュメモリ部
３１２ａ，３２２ａ…キャッシュメモリ
３１３，３２３…ホストＩ／Ｆ
３１４，３２４…ＨＤＤ−Ｉ／Ｆ
３１５，３２５…コント間Ｉ／Ｆ（第１のインタフェース制御手段）
３１６，３２６…コント間Ｉ／Ｆ（第２のインタフェース制御手段）
３１７，３２７…内部バス
３２０…コントローラ（第２の系）
３３０…バス（第１の通信路）
３４０…バス（第２の通信路）
３５０…バス（第３の通信路）
３６０，３６１…ＨＤＤ（ディスク装置）
【発明の属する技術分野】
本発明は、第１の系と第２の系との間で情報通信が行われる、２重化されたコントローラを備えた２重化コントローラ内蔵装置に代表される系間情報通信システムに関する。
【０００２】
【従来の技術】
近年のディスクアレイ装置には、それぞれ異なるホスト装置と接続可能な２重化されたコントローラを備えた２重化コントローラ内蔵装置を構成しているものがある。この種のディスクアレイ装置では、各コントローラ（各系）と対応するホスト装置との間でデータ転送が可能なようになっている。各コントローラには、ホスト装置との間の転送データを一時記憶するためのキャッシュメモリがそれぞれ設けられている。
【０００３】
従来、上記した２重化コントローラを内蔵するディスクアレイ装置（系間情報通信システム）では、各コントローラ（各系）内のキャッシュメモリ上のデータの保全性を高めるために、いわゆるミラードキャッシュ方式を採用している。この方式は、ホスト装置から自系（のコントローラ）で受け取ったライトデータを他系のコントローラのキャッシュメモリにコピー（ミラー）する方式である。
【０００４】
このミラードキャッシュ方式を適用するディスクアレイ装置においては、他系でのキャッシュメモリへのコピー（ライト）が完了するのを待って、つまり自系と他系のキャッシュメモリの内容の一致化が図られるのを待って、ホスト装置へのライトの完了を通知するのが一般的である。
【０００５】
また、この種のディスクアレイ装置では、コントローラ間の重要な通信での信頼性向上のために、冗長なパスを特別に備えるのが一般的である。
【０００６】
【発明が解決しようとする課題】
上記したように、２重化コントローラを内蔵し、ミラードキャッシュ方式を適用する従来のディスクアレイ装置（２重化コントローラ内蔵装置、系間情報通信システム）では、他系のライトが完了するまで自系のコントローラはホスト側に完了を返せないため、この２重化コントローラ間のライトデータの通信のパスがライト時の性能のボトルネックになるという問題があった。
【０００７】
また、従来のディスクアレイ装置（２重化コントローラ内蔵装置、系間情報通信システム）では、コントローラ間の重要な通信での信頼性向上のために、冗長なパスを特別に備える必要があるという問題もあった。
【０００８】
本発明は上記事情を考慮してなされたものでその目的は、２重化コントローラ間の情報通信に代表される２つの系の間の情報通信における転送サイズの違いにより、当該系間の情報通信に使用する通信パスを使い分けることで、当該系間の情報通信の高速化を図ることができる系間情報通信システムを提供することにある。
【０００９】
本発明の他の目的は、冗長パスを特別に設けなくても、パスの冗長化を図ることができる系間情報通信システムを提供することにある。
【００１０】
【課題を解決するための手段】
本発明は、第１の系と第２の系との間で情報通信が行われる系間情報通信システムにおいて、上記第１の系と第２の系との間の転送サイズが小さい場合の情報通信に供される、転送サイズが小さい場合に高速レスポンスが可能な第１の通信路と、上記第１の系と第２の系との間の転送サイズが大きい場合の情報通信に供される、上記第１の通信路に比べて転送サイズが大きい場合の転送能力が大きい第２の通信路とを備えると共に、上記第１及び第２の系には、他系と情報通信を行う場合、対象となる情報のサイズに応じて上記第１または第２の通信路のいずれか一方が切り替え使用されるように制御する主制御手段をそれぞれ設けたことを特徴とする。
【００１１】
このような構成においては、２つの系の間で情報通信を行う場合、その情報通信の対象となる情報のサイズ（転送サイズ）に応じて使用する通信路を使い分けることにより、つまり転送サイズが小さいときには、転送サイズが小さいときのレスポンスが高速な第１の通信路を用い、転送サイズが大きいときには、転送能力が大きい第２の通信路を用いることにより、２つの系の間の高速情報通信が実現可能となる。ここで、転送サイズの大小は情報通信の種類によって決まることが多いため、その種類（例えば、データ転送に必要なデータ転送前後の一連の手順での系間通信、つまり制御データの通信であるか、データ転送それ自体であるか）に応じて通信路を使い分けするとよい。
【００１２】
また、上記第１及び第２の系に、上記主制御手段（例えばマイクロプロセッサユニット）が接続された内部バスを備えた構成では、当該第１及び第２の系に、自系内の主制御手段による内部バスを介しての制御のもとで上記第１の通信路を介して他系との間で逐次情報通信を行う第１のインタフェース制御手段と、自系内の主制御手段からの指示に応じて主制御手段から独立に上記第２の通信路を介して他系との間で指示された情報通信を行う第２のインタフェース制御手段とを設けることで、転送サイズに応じて使用する通信路を使い分けての情報通信（情報転送）を効率的に行うことができる。
【００１３】
ここで、上記第１及び第２の系が、ミラードキャッシュ方式を適用するキャッシュメモリを内蔵する２重化コントローラである構成では、上記第２のインタフェース制御手段に、自系内の主制御手段からの指示に応じて自系内のキャッシュメモリに格納されたデータを上記第２の通信路を介して他系内の第２のインタフェース制御手段により当該他系内のキャッシュメモリにコピーさせる機能を持たせるならば、内部バスでのトラヒックが上がるのを防止しながら、大量のデータコピーが実現可能となる。
【００１４】
また、上記第１及び第２の系から共通にアクセス可能な少なくとも１つのディスク装置と、上記第１及び第２の系とディスク装置とを接続するための第３の通信路とを備えたシステムでは、上記第１のパスまたは第２のパス上に障害が発生した場合に、上記主制御手段の制御により、上記ディスク装置アクセス用の第３の通信路が第１または第２のパスの代替パスとして使用される構成とすることにより、冗長パスを特別に用意しなくても、通信パスの冗長化が実現可能となる。
【００１５】
【発明の実施の形態】
以下、本発明の実施の形態につき、系間情報通信システムが２重化コントローラ内蔵のディスクアレイ装置である場合を例に、図面を参照して説明する。
【００１６】
図１は本発明の一実施形態に係る２重化コントローラ内蔵のディスクアレイ装置のブロック構成図、図２は当該ディスクアレイ装置を備えたシステムのブロック構成図である。
【００１７】
図２において、１００，２００は、本発明に直接関係するディスクアレイ装置を接続するホスト装置（ホストコンピュータ）であり、例えばサーバ（サーバコンピュータ）をなす。ホスト装置１００，２００とディスクアレイ装置３００（内の後述するコントローラ３１０，３２０に設けられたホストＩ／Ｆ３１３，３２３）とは、ＳＣＳＩ（Small Computer System Interface）バス、あるいはファイバチャネル等のバス１１０，２１０により接続されている。
ホスト装置１００，２００には、例えば複数のクライアント（クライアントコンピュータ）４００がイーサネット（Ethernet）バス、リングバス等により構成されるネットワーク５００を介して接続されている。
【００１８】
ディスクアレイ装置３００は、図１に示すように、当該装置３００全体を制御する２重化されたコントローラ３１０，３２０と、ディスクアレイを構成する複数のディスク装置、例えば２つのハードディスク装置（以下、ＨＤＤと称する）３６０，３６１とを備えている。コントローラ３１０，３２０（内の後述するＨＤＤ−Ｉ／Ｆ３１４，３２４）とＨＤＤ３６０，３６１とは、ＳＣＳＩバス等のバス３５０により接続されている。
【００１９】
コントローラ３１０，３２０は、当該コントローラ３１０，３２０の制御中枢をなす中央制御部としてのＭＰＵ（Micro Processing Unit）３１１，３２１と、キャッシュメモリ部３１２，３２２とを備えている。
【００２０】
キャッシュメモリ部３１２，３２２は、ホスト装置１００，２００から転送されたデータ（ライトデータ）、及びＨＤＤ３６０，３６１から読み出されたデータ（リードデータ）を一時記憶するキャッシュメモリ３１２ａ，３２２を内蔵する。このキャッシュメモリ３１２ａ，３２２ａは、ミラードキャッシュを実現するために、当該キャッシュメモリ３１２ａ，３２２ａ（を内蔵したキャッシュメモリ部３１２，３２２）を持つコントローラ３１０，３２０と対をなすもう一方のコントローラ３２０，３１０からのデータ、つまり他方（他系）のコントローラ３２０，３１０からのデータがコピー可能な領域を有する。またキャッシュメモリ部３１２，３２２は、Ｉ／Ｆ（インタフェース）として、後述する内部バス３１７，３２７との接続用と、コントローラ間データ転送用（コントローラ間データ転送に用いるバス３４０との接続用）との２ポートを有する。
【００２１】
コントローラ３１０，３２０はまた、ホスト装置１００，２００と接続するバス１１０，１２０の制御部をなすインタフェース制御部、つまりホスト装置１００，２００とのインタフェース制御部（以下、ホストＩ／Ｆと称する）３１３，３２３と、ＨＤＤ３６０，３６１とのインタフェース制御部（以下、ＨＤＤ−Ｉ／Ｆと称する）３１４，３２４とを備えている。
【００２２】
コントローラ３１０，３２０はまた、当該コントローラ３１０，３２０間のデータ転送制御を司り、データ転送サイズが小さい場合に高速レスポンスが可能なコントローラ間データ転送制御部（以下、コント間Ｉ／Ｆと称する）３１５，３２５と、当該コントローラ３１０，３２０間のデータ転送制御を司り、データ転送サイズに影響されずに一定のレスポンスが可能なコントローラ間データ転送制御部（以下、コント間Ｉ／Ｆと称する）３１６，３２６とを備えている。コント間Ｉ／Ｆ３１５，３２５は内部バス３１７，３２７を介してＭＰＵ３１１，３２１と接続され、コント間Ｉ／Ｆ３１６，３２６はキャッシュメモリ部３１２，３２２のコントローラ間データ転送用ポートと接続されている。
【００２３】
コントローラ３１０，３２０は更に、ＰＣＩバス（Peripheral Component Interconnect Bus）に代表される内部バス３１７，３２７を備えている。この内部バス３１７，３２７には、コントローラ３１０，３２０内の各モジュール（ここでは、ＭＰＵ３１１，３２１と、キャッシュメモリ部３１２，３２２と、ホストＩ／Ｆ３１３，３２３と、ＨＤＤ−Ｉ／Ｆ３１４，３２４と、コント間Ｉ／Ｆ３１５，３２５の各モジュール）が接続されている。
【００２４】
コントローラ３１０，３２０内のコント間Ｉ／Ｆ３１５，３２５は、データ転送サイズが小さいデータの転送に適したシリアルバスに代表されるバス３３０により相互接続され、コント間Ｉ／Ｆ３１６，３２６は、データ転送サイズが大きいデータの転送に適した非同期転送型のバス３４０により相互接続されている。従来のディスクアレイ装置には、コント間Ｉ／Ｆ３１６，３２６と、当該コント間Ｉ／Ｆ３１６，３２６を接続するバス３４０とが存在しないことに注意されたい。このため従来は、コントローラ３１０，３２０間のデータ転送は、ＭＰＵ３１１，３１２の制御により全て内部バス３１７，３２７を介して行う必要がある。
【００２５】
次に、図２のシステムに適用される図１の構成のディスクアレイ装置３００の動作について、ホスト装置１００からコントローラ３１０に対して要求されたデータのライト時に、そのコピーデータをもう一方のコントローラ３２０内のキャッシュメモリ３２２に格納する場合を例に、図３及び図４を参照して説明する。
【００２６】
今、ホスト装置１００からディスクアレイ装置３００内のコントローラ３１０に対し、バス１１０を介してデータのライト要求が送られたものとする。コントローラ３１０が、このホスト装置１００からのライト要求をホストＩ／Ｆ３１３を介して受け付けると、ホスト装置１００からコントローラ３１０へのライトデータの転送が開始される。
【００２７】
すると、ホスト装置１００からバス１１０を介して転送されるデータは、コントローラ３１０内のホストＩ／Ｆ３１３で受け取られて、ホストＩ／Ｆ３１３→内部バス３１７→キャッシュメモリ部３１２のパスを通って、そのコントローラ３１０のキャッシュメモリ部３１２に内蔵されたキャッシュメモリ３１２に格納される。本実施形態では、ホスト装置１００からのライト要求で指定されたディスクアレイ（内のＨＤＤ）のデータがキャッシュメモリ３１２ａにも存在する（ライト時の）キャッシュヒットの場合には、当該キャッシュメモリ３１２ａ内の該当するデータが、ホスト装置１００からのライトデータに更新される。このキャッシュメモリ３１２ａに格納されたライトデータは、ホスト装置１００からのライト要求で指定されたディスクアレイ（内のＨＤＤ）に対する遅延書き込みの対象となる。
【００２８】
コントローラ３１０内のＭＰＵ３１１は、当該コントローラ３１０（自系）のキャッシュメモリ３１２に格納されたのと同一のライトデータをコントローラ３２０（他系）のキャッシュメモリ３２２にコピー（ミラー）するために、コントローラ３２０が停止していないか否かを、内部バス３１７を介してのコント間Ｉ／Ｆ３１５を用いたコントローラ間通信（制御データの授受）で確認する。即ちＭＰＵ３１１は、コントローラ３２０内のＭＰＵ３２１への問い合わせを、図３に示すように、ＭＰＵ３１１→内部バス３１７→コント間Ｉ／Ｆ３１５→バス３３０→コント間Ｉ／Ｆ３２５→内部バス３２７→ＭＰＵ３２１のパス３１を用いて通知する。
【００２９】
コントローラ３２０内のＭＰＵ３２１は、コントローラ３１０内のＭＰＵ３１１からの問い合わせを（コント間Ｉ／Ｆ３２５から内部バス３２７を介して）受け取ると、その問い合わせとは逆のパスで、つまり図３に示すように、ＭＰＵ３２１→内部バス３２７→コント間Ｉ／Ｆ３２５→バス３３０→コント間Ｉ／Ｆ３１５→内部バス３１７→ＭＰＵ３１１のパス３２で、コントローラ３１０内のＭＰＵ３１１へ正常である旨の応答を返す。
【００３０】
ＭＰＵ３１１は、コントローラ３２０内のＭＰＵ３２１からの正常応答を受け取ると、先に格納したデータのキャッシュメモリ３２２へのコピーを、図４に示すように、ＭＰＵ３１１→内部バス３１７→キャッシュメモリ部３１２のパス４１を用いてキャッシュメモリ部３１２に指示する。
【００３１】
するとキャッシュメモリ部３１２は、指示されたデータを、コント間Ｉ／Ｆ３１６を用いたデータ転送により、図４に示すように、キャッシュメモリ３１２ａ→コント間Ｉ／Ｆ３１６→バス３４０→コント間Ｉ／Ｆ３２６→キャッシュメモリ３２２ａのパス４２を用いて、コントローラ３２０内のキャッシュメモリ３２２ａ（に確保されているコピー領域）にコピーさせる。このデータ転送の最後では、データ転送結果を示す転送ステータスが（コントローラ３２０内の）キャッシュメモリ部３２２のコントローラ間データ転送用Ｉ／Ｆ（ポート）から上記パス４２と逆のパスで、（コントローラ３１０内の）キャッシュメモリ部３１２のコントローラ間データ転送用Ｉ／Ｆ（ポート）に返される。
【００３２】
キャッシュメモリ部３１２は、上記転送ステータスからデータ転送の完了を判定すると、内部バス３１７との接続用Ｉ／Ｆ（ポート）により、キャッシュメモリ３２２ａへの転送（コピー）が完了したことを、図４に示すように、キャッシュメモリ部３１２→内部バス３１７→ＭＰＵ３１１のパス４３を用いてＭＰＵ３１１に通知する。
【００３３】
ＭＰＵ３１１は、このキャッシュメモリ３２２ａへの転送（コピー）完了通知を受け取って、キャッシュメモリ３１２ａからキャッシュメモリ３２２ａへのコピー（ミラー）の完了を確認すると、ホスト装置１００から要求されたデータライトの完了を判定し、ＭＰＵ３１１→内部バス３１７→ホストＩ／Ｆ３１３→バス１１０→ホスト装置１００のパスによりホスト装置１００にライト完了通知を返す。なお、キャッシュメモリ３１２ａからキャッシュメモリ３２２ａへのコピー（ミラー）が完了した旨の通知は、転送サイズが小さいため、前記パス３２を用いてコントローラ３１０内のＭＰＵ３１１送るようにしても構わない。
【００３４】
このように本実施形態では、コントローラ３１０，３２０（内のＭＰＵ３１１，３２１）間の上記問い合わせ及び当該問い合わせに対する応答、つまりコントローラ間通信（制御データの授受）には、コント間Ｉ／Ｆ３１５，３２５及びバス３３０を含むパス３１（３２）を用い、キャッシュメモリ３１２ａ，３２２ａ間のデータ転送（データコピー）には、コント間Ｉ／Ｆ３１６，３２６及びバス３４０を含むパス４２を用いるようにしている。
【００３５】
ここで、コントローラ間通信は、大容量のデータの転送が行われるキャッシュメモリ３１２ａ，３２２ａ間のデータ転送（データコピー）に比べて、その転送データ量が著しく少ない。
【００３６】
次に、パス３１の中心をなすバス３３０は、本実施形態のようにシリアルバスで構成されている場合、データ転送開始までの手順と、データ転送終了後の手順に（伴う制御データの授受に）要する時間は、非同期転送型のバス３４０と異なって少ない。つまり転送のための手順のオーバヘッドが小さい。一方、データ転送時間は、データ量が多いほど長く、少ないほど短くなる。したがってバス３３０は、上記のコントローラ間通信のように、データ量が少ないデータ転送の場合に高速レスポンスが期待できる。
【００３７】
ところが従来は（コント間Ｉ／Ｆ３１６，３２７及びバス３４０が存在しないため）、データ転送量が少ないコントローラ間通信は勿論、データ転送量が多いキャッシュメモリ間データ転送（データコピー）の場合にも、（コント間Ｉ／Ｆ３１５，３２５及びバス３３０を含む）上記パス３１（３２）を用いていた。しかも、このパス３１（３２）には各コントローラ３１０，３２０の内部バス３１７，３２７が含まれている。したがって、データコピーのために内部バス３１７，３２７を使用することでバストラヒックが上がり、加えてＭＰＵ３１１，３２１の処理が必要となることから、コピー性能、更にはホスト装置１００，２００からの要求処理性能が低下する虞があった。
【００３８】
これに対して本実施形態では、キャッシュメモリ部３１２，３２２に接続されたコント間Ｉ／Ｆ３１６，３２６を設け、当該コント間Ｉ／Ｆ３１６，３２６により、（内部バス３１７，３２７から独立した）バス３４０を中心とするパス４１を介して、キャッシュメモリ部３１２，３２２内のキャッシュメモリ３１２ａ，３１２ｂ間の（データコピーのための）データ転送をＭＰＵ３２１，３２２から独立に行うようにしている。ここでは、データコピーのために、コントローラ３１０，３２０内の各種モジュールが接続されている内部バス３１７，３２７を使用せず、ＭＰＵ３２１，３２２の処理も不要なことから、上述の性能低下を低減できる。
【００３９】
ここで、バス３４０が本実施形態のように非同期転送型の場合、データ転送開始までとデータ転送終了後の手順が複雑であり、バス３３０と異なって転送のための手順のオーバヘッドが大きい。一方、バス３４０経由でのデータコピー等、一定の転送サイズの範囲でのデータ転送に要する時間は、上記手順に要する時間に比べて短い。したがって、コント間Ｉ／Ｆ３１６，３２６によりバス３４０を経由してのデータ転送では、一定の転送サイズの範囲では、転送サイズに関係なく、データ転送のための手順に要する時間でほぼ決まる一定のレスポンスを持つ。
【００４０】
また、上記のように、データコピーに内部バス３１７，３２７、コント間Ｉ／Ｆ３１５，３２５及びバス３３０を含むパス３１（３２）を使用しない構成では、つまりパス３１（３２）を、コントローラ間通信のようにデータ量が少ないデータ転送のみに使用する構成では、価格的な制約のもとで、バス３３０の信号ビット幅を少なくし（ハードウェア量を減らし）、代わりに高速信号線を用いることが可能となり、コントローラ間通信等を高速に処理することができる。
【００４１】
ところで、図２の構成のディスクアレイ装置３００において、上記パス３１（３２）の中心をなすコント間Ｉ／Ｆ３１５、バス３３０、コント間Ｉ／Ｆ３２５、或いは上記パス（４２）の中心をなすコント間Ｉ／Ｆ３１６、バス３４０、コント間Ｉ／Ｆ３２６のいずれかに障害が発生することがあり得る。
【００４２】
そこで本実施形態では、これらのパス上のいずれかの要素に障害が発生した場合の代替パスとして、ＨＤＤ−Ｉ／Ｆ３１４、バス３５０及びＨＤＤ−Ｉ／Ｆ３２４のパスが使用可能なようになっている。このＨＤＤ−Ｉ／Ｆ３１４、バス３５０及びＨＤＤ−Ｉ／Ｆ３２４のパス（代替パス）を実現するには、例えばコントローラ３１０であれば、内部バス３１７上の通信に使用するデバイスの指定を、コント間Ｉ／Ｆ３１５或いはキャッシュメモリ部３１２のコントローラ間データ転送用Ｉ／Ｆ（ポート）からＨＤＤ−Ｉ／Ｆ３１４へ、コントローラ３２０であれば、内部バス３２７上の通信に使用するデバイスの指定をコント間Ｉ／Ｆ３２５或いはキャッシュメモリ部３２２のコントローラ間データ転送用Ｉ／Ｆ（ポート）からＨＤＤ−Ｉ／Ｆ３２４へ変更すればよい。
【００４３】
なお、コントローラ３１０，３２０のホストＩ／Ｆ３１３，３２３に、ホスト装置との接続ポートを２つ持たせ、ホスト装置１００，２００を、図５に示すように、バス１１０，２１０に相当するバス１２０，２２０を介してコントローラ３２０，３１０のホストＩ／Ｆ３２３，３１３に接続するとよい。
【００４４】
このような構成では、例えばコントローラ３１０自身の障害またはホスト装置１００と当該コントローラ３１０との間の通信パスの障害が発生した場合、ホスト装置１００はバス１２０を用いることで、他系のコントローラ３２０を切り替え使用することができる。同様にコントローラ３２０自身の障害またはホスト装置２００と当該コントローラ３２０との間の通信パスの障害が発生した場合には、ホスト装置２００はバス２２０を用いることで、他系のコントローラ３１０を切り替え使用することができる。
【００４５】
また図５の構成において、ホスト装置１００，２００は、相手に障害が発生した場合に相手の代替処理を行うようになっている。そのためホスト装置１００，２００は互いに障害発生を監視している。この監視は、ネットワーク５００を介して行うことも可能であるが、トラフィックと信頼性を考慮するならば、図５に示すようにホスト装置１００，２００間を接続するイーサネットバス等のバス６００を設け、当該バス６００を介して監視するとよい。なお、ホスト装置１００，２００は、互いに処理を行う構成でも、一方が待機系となる構成のいずれでも構わない。
【００４６】
以上は、本発明を、２重化されたコントローラ間の情報通信の高速化のために、その情報通信の対象となる情報のサイズ（の違いを反映する情報通信の種類、つまりデータ転送前後の一連の手順でのコントローラ間通信であるか、データ転送それ自体であるか）に応じて２種の通信パスを切り替え使用する２重化コントローラ内蔵のディスクアレイ装置に実施した場合について説明したが、これに限るものではない。本発明は、相互に情報通信を行う２つの系の装置を備えた系間情報通信システムにおける、系間の情報通信の高速化にも適用可能である。
【００４７】
【発明の効果】
以上詳述したように本発明によれば、２重化されたコントローラ間の情報通信に代表される２つの系の間の情報通信における転送サイズの違い（を反映する情報通信の種類の違い）により、当該系間の情報通信に使用する通信パスを使い分けるようにしたので、当該系間の情報通信の高速化を図ることができる。特に、ミラードキャッシュ方式を適用するキャッシュメモリを内蔵する２重化コントローラ間の情報通信を行うシステムでは、コントローラ間の高速データコピーが実現できる。
【００４８】
また本発明によれば、第１及び第２の系から共通にアクセス可能な少なくとも１つのディスク装置と、これらを相互接続するための通信路とを備えたシステムでは、系間の情報通信に切り替え使用する通信パスの障害時には、この通信路を代替パスとして使用することにより、冗長パスを特別に設けなくても、パスの冗長化を図ることができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る２重化コントローラ内蔵のディスクアレイ装置のブロック構成図。
【図２】図１の構成のディスクアレイ装置を備えたシステムのブロック構成図。
【図３】同実施形態におけるコントローラ間通信で使用される通信パスを説明するための図。
【図４】同実施形態におけるデータコピーで使用される通信パスを説明するための図。
【図５】図２のシステムの変形例を示すブロック図。
【符号の説明】
３１，３２…パス（第１のパス）
４２…パス（第２のパス）
１００，２００…ホスト装置
３００…ディスクアレイ装置（系間情報通信システム、２重化コントローラ内蔵装置）
３１０…コントローラ（第１の系）
３１１，３２１…ＭＰＵ（主制御手段）
３１２，３２２…キャッシュメモリ部
３１２ａ，３２２ａ…キャッシュメモリ
３１３，３２３…ホストＩ／Ｆ
３１４，３２４…ＨＤＤ−Ｉ／Ｆ
３１５，３２５…コント間Ｉ／Ｆ（第１のインタフェース制御手段）
３１６，３２６…コント間Ｉ／Ｆ（第２のインタフェース制御手段）
３１７，３２７…内部バス
３２０…コントローラ（第２の系）
３３０…バス（第１の通信路）
３４０…バス（第２の通信路）
３５０…バス（第３の通信路）
３６０，３６１…ＨＤＤ（ディスク装置）
Claims (4)
- 第１の系と第２の系との間で情報通信が行われる系間情報通信システムにおいて、
前記第１の系と前記第２の系との間の転送サイズが小さい場合の第１の情報通信に供される、転送サイズが小さい場合に高速レスポンスが可能な第１の通信路と、
前記第１の系と前記第２の系との間の転送サイズが大きい場合の第２の情報通信に供される、前記第１の通信路に比べて転送サイズが大きい場合の転送能力が大きい第２の通信路とを具備し、
前記第１及び第２の系は、
他系と情報通信を行う場合、対象となる情報のサイズに応じて前記第１または第２の通信路のいずれか一方が切り替え使用されるように制御する主制御手段と、
前記主制御手段が接続された内部バスと、
前記内部バス及び前記第１の通信路に接続され、自系内の前記主制御手段による前記内部バスを介しての制御のもとで前記第１の通信路を介して他系との間で前記第１の情報通信を行う第１のインタフェース制御手段と、
前記内部バス及び前記第２の通信路に接続され、自系内の前記主制御手段からの指示に応じて当該主制御手段から独立に前記第２の通信路を介して他系との間で前記第２の情報通信を行う第２のインタフェース制御手段とをそれぞれ備えている
ことを特徴とする系間情報通信システム。 - 前記第１及び第２の系から共通にアクセス可能な少なくとも１つのディスク装置と、
前記第１及び第２の系と前記ディスク装置とを接続するための第３の通信路とを更に具備し、
前記主制御手段は、前記第１の通信路及び前記第１のインタフェース制御手段を含む第１のパス上に、或いは前記第２の通信路及び前記第２のインタフェース制御手段を含む第２のパス上に障害が発生した場合に、前記第３の通信路を前記第１または第２のパスの代替パスとして使用されるように制御することを特徴とする請求項１記載の系間情報通信システム。 - 前記第１及び第２の系は、ミラードキャッシュ方式を適用するキャッシュメモリを内蔵する、前記内部バス及び前記第２のインタフェース制御手段と接続されたキャッシュメモリ手段を備えた２重化コントローラであり、
前記第１の情報通信は、一方の系の前記第１のインタフェース制御手段が、当該一方の系内の前記主制御手段から当該第１のインタフェース制御手段に当該一方の系内の前記内部バスを介して転送されたデータを前記第１の通信路を介して他方の系内の前記第１のインタフェース制御手段に転送し、当該他方の系内の前記第１のインタフェース制御手段が、前記第１の通信路を介して当該他方の系内の前記第１のインタフェース制御手段に転送されたデータを当該他方の系内の前記内部バスを介して当該他方の系内の前記主制御手段に転送することにより、前記第１の系内の前記主制御手段と前記第２の系内の前記主制御手段との間で行われ、
前記第２の情報通信は、一方の系の前記第２のインタフェース制御手段が、当該一方の系内の前記主制御手段からの前記内部バスを介しての指示に応じて当該一方の系内の前記キャッシュメモリに格納されたデータを前記第２の通信路を介して他方の系内の前記第２のインタフェース制御手段に転送し、当該他方の系内の前記第２のインタフェース制御手段が前記第２の通信路を介して当該他方の系内の前記第２のインタフェース制御手段に転送されたデータを当該他方の系内の前記キャッシュメモリにコピーすることにより、前記第１の系内の前記キャッシュメモリと前記第２の系内の前記キャッシュメモリとの間で行われる
ことを特徴とする請求項１記載の系間情報通信システム。 - 前記第１の情報通信は、一方の系内の前記主制御手段、当該一方の系内の前記内部バス、当該一方の系内の前記第１のインタフェース制御手段、前記第１の通 信路、他方の系内の前記第１のインタフェース制御手段、当該他方の系内の内部バス及び当該他方の系内の前記主制御手段のパスであって、前記キャッシュメモリを含まないパスで行われ、
前記第２の情報通信は、一方の系内の前記キャッシュメモリ、当該一方の系内の前記第２のインタフェース制御手段、前記第２の通信路、他方の系内の前記第２のインタフェース制御手段、及び当該他方の系内の前記キャッシュメモリのパスであって、当該他方の系内の前記主制御手段をを含まないパスを介して行われる
ことを特徴とする請求項３記載の系間情報通信システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21534899A JP3987241B2 (ja) | 1999-07-29 | 1999-07-29 | 系間情報通信システム |
| US09/628,306 US6944684B1 (en) | 1999-07-29 | 2000-07-28 | System for selectively using different communication paths to transfer data between controllers in a disk array in accordance with data transfer size |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21534899A JP3987241B2 (ja) | 1999-07-29 | 1999-07-29 | 系間情報通信システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001043026A JP2001043026A (ja) | 2001-02-16 |
| JP3987241B2 true JP3987241B2 (ja) | 2007-10-03 |
Family
ID=16670819
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21534899A Expired - Fee Related JP3987241B2 (ja) | 1999-07-29 | 1999-07-29 | 系間情報通信システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6944684B1 (ja) |
| JP (1) | JP3987241B2 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7404005B1 (en) * | 2000-06-09 | 2008-07-22 | International Business Machines Corporation | Method, system, and program for selecting one of multiple paths to communicate with a device |
| US6829660B2 (en) * | 2001-12-12 | 2004-12-07 | Emulex Design & Manufacturing Corporation | Supercharge message exchanger |
| JP4090400B2 (ja) * | 2003-07-24 | 2008-05-28 | 株式会社日立製作所 | ストレージシステム |
| US20060020720A1 (en) * | 2004-07-23 | 2006-01-26 | Lsi Logic Corporation | Multi-controller IO shipping |
| JP2007109141A (ja) * | 2005-10-17 | 2007-04-26 | Hitachi Ltd | ストレージシステム |
| JP4834385B2 (ja) * | 2005-11-22 | 2011-12-14 | 株式会社日立製作所 | プリント基板および電子装置 |
| JP2008046685A (ja) * | 2006-08-10 | 2008-02-28 | Fujitsu Ltd | 二重化システム及び系切り換え方法 |
| JP2009053946A (ja) * | 2007-08-27 | 2009-03-12 | Toshiba Corp | 二重化コントーラ構成ブロックデバイス制御装置 |
| JP4550929B2 (ja) * | 2009-01-16 | 2010-09-22 | 株式会社東芝 | 電子機器および通信状態報知方法 |
| US8321622B2 (en) | 2009-11-10 | 2012-11-27 | Hitachi, Ltd. | Storage system with multiple controllers and multiple processing paths |
| JP5402693B2 (ja) * | 2010-02-05 | 2014-01-29 | 富士通株式会社 | ディスクアレイ装置の制御方法及びディスクアレイ装置 |
| TWI582600B (zh) * | 2013-01-04 | 2017-05-11 | 宏碁股份有限公司 | 電子裝置及其資料處理方法 |
| CN103970691A (zh) * | 2013-01-24 | 2014-08-06 | 宏碁股份有限公司 | 电子装置及其数据处理方法 |
| CN104969204B (zh) * | 2013-09-05 | 2018-02-09 | 株式会社日立制作所 | 存储系统以及存储控制方法 |
| JP6187150B2 (ja) | 2013-10-25 | 2017-08-30 | 富士通株式会社 | ストレージ制御装置、ストレージ装置、及びストレージ制御プログラム |
| JP6365557B2 (ja) * | 2016-01-26 | 2018-08-01 | 日本電気株式会社 | 制御回路および制御方法 |
| CN107870832B (zh) * | 2016-09-23 | 2021-06-18 | 伊姆西Ip控股有限责任公司 | 基于多维度健康诊断方法的多路径存储设备 |
| JP6939240B2 (ja) * | 2017-08-17 | 2021-09-22 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置 |
| JP2019075032A (ja) * | 2017-10-19 | 2019-05-16 | 富士通株式会社 | ストレージシステム、ストレージ制御装置およびプログラム |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6101574A (en) * | 1995-02-16 | 2000-08-08 | Fujitsu Limited | Disk control unit for holding track data in non-volatile cache memory |
| US5768623A (en) * | 1995-09-19 | 1998-06-16 | International Business Machines Corporation | System and method for sharing multiple storage arrays by dedicating adapters as primary controller and secondary controller for arrays reside in different host computers |
| US6073218A (en) * | 1996-12-23 | 2000-06-06 | Lsi Logic Corp. | Methods and apparatus for coordinating shared multiple raid controller access to common storage devices |
| US6289389B1 (en) * | 1997-06-03 | 2001-09-11 | Lextron Systems, Inc. | Enhanced integrated data delivery system |
| US6145028A (en) * | 1997-12-11 | 2000-11-07 | Ncr Corporation | Enhanced multi-pathing to an array of storage devices |
| JP3726484B2 (ja) * | 1998-04-10 | 2005-12-14 | 株式会社日立製作所 | 記憶サブシステム |
| JP3946873B2 (ja) * | 1998-06-19 | 2007-07-18 | 株式会社日立製作所 | ディスクアレイ制御装置 |
-
1999
- 1999-07-29 JP JP21534899A patent/JP3987241B2/ja not_active Expired - Fee Related
-
2000
- 2000-07-28 US US09/628,306 patent/US6944684B1/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US6944684B1 (en) | 2005-09-13 |
| JP2001043026A (ja) | 2001-02-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3987241B2 (ja) | 系間情報通信システム | |
| US7062591B2 (en) | Controller data sharing using a modular DMA architecture | |
| US6732243B2 (en) | Data mirroring using shared buses | |
| US6839788B2 (en) | Bus zoning in a channel independent storage controller architecture | |
| US7437493B2 (en) | Modular architecture for a network storage controller | |
| US8478835B2 (en) | Method and system for using shared memory with optimized data flow to improve input/output throughout and latency | |
| US8335899B1 (en) | Active/active remote synchronous mirroring | |
| US8316074B2 (en) | Network-accessible memory | |
| US7444541B2 (en) | Failover and failback of write cache data in dual active controllers | |
| EP1026575A2 (en) | Disk array system and method of changing its configuration | |
| JPH09146842A (ja) | 記憶サブシステム | |
| JPH08335144A (ja) | 外部記憶装置 | |
| JP2008112399A (ja) | ストレージ仮想化スイッチおよびコンピュータシステム | |
| JP2010049502A (ja) | ストレージサブシステム、及びこれを有するストレージシステム | |
| US7293197B2 (en) | Non-volatile memory with network fail-over | |
| US6842829B1 (en) | Method and apparatus to manage independent memory systems as a shared volume | |
| JP2009053946A (ja) | 二重化コントーラ構成ブロックデバイス制御装置 | |
| KR100258079B1 (ko) | 밀결합 결함 허용 시스템에서 메모리 버스 확장에 의한 동시 쓰기 이중화 장치 | |
| US7752340B1 (en) | Atomic command retry in a data storage system | |
| JP2004164047A (ja) | 記憶システム | |
| JPH0736816A (ja) | 通信バス装置 | |
| JP2006268403A (ja) | データストレージシステム及びストレージ制御装置のログデータの等価制御方法 | |
| EP1895427B1 (en) | Data processing system, data processing apparatus, and data processing method | |
| CN1363998A (zh) | 大规模系统中的双工设备及其方法 | |
| US7472221B1 (en) | Mirrored memory |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040915 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070313 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070514 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070712 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100720 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110720 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120720 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130720 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |