JP4985750B2 - Data storage system - Google Patents

Data storage system Download PDF

Info

Publication number
JP4985750B2
JP4985750B2 JP2009273376A JP2009273376A JP4985750B2 JP 4985750 B2 JP4985750 B2 JP 4985750B2 JP 2009273376 A JP2009273376 A JP 2009273376A JP 2009273376 A JP2009273376 A JP 2009273376A JP 4985750 B2 JP4985750 B2 JP 4985750B2
Authority
JP
Japan
Prior art keywords
disk
unit
control
data
cache
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009273376A
Other languages
Japanese (ja)
Other versions
JP2010049716A (en
Inventor
成介 小原
和則 増山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2009273376A priority Critical patent/JP4985750B2/en
Publication of JP2010049716A publication Critical patent/JP2010049716A/en
Application granted granted Critical
Publication of JP4985750B2 publication Critical patent/JP4985750B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、コンピュータの外部記憶装置として用いられるデータストレージシステムの構成に関し、特に、ディスクデバイスを多数接続するデータストレージシステムを高性能且つ柔軟に構成できるようなユニットの組み合わせと接続を持つデータストレージシステムに関する。   The present invention relates to a configuration of a data storage system used as an external storage device of a computer, and in particular, a data storage system having a combination of units and connections that can flexibly configure a data storage system to which a large number of disk devices are connected. About.

近年、様々なデータが電子化され、コンピュータ上で扱われるのに従い、データの処理を実行するホストコンピュータとは独立して、大量のデータを効率よく、高い信頼性で格納することのできるデータストレージ装置(外部記憶装置)の重要性が増加している。   In recent years, as various data has been digitized and handled on computers, data storage that can store large amounts of data efficiently and with high reliability, independent of the host computer that executes data processing The importance of devices (external storage devices) is increasing.

このデータストレージ装置として、大量のディスクデバイス(例えば、磁気ディスクや光ディスク)と、これら大量のディスクデバイスを制御するディスクコントローラとから構成されるディスクアレイ装置が利用されている。このディスクアレイ装置は、同時に複数のホストコンピュータからのディスクアクセス要求を受け付けて、大量のディスクに対する制御を行なうことができる。   As this data storage device, a disk array device is used which is composed of a large number of disk devices (for example, magnetic disks and optical disks) and a disk controller which controls the large number of disk devices. This disk array apparatus can simultaneously receive disk access requests from a plurality of host computers and control a large number of disks.

近年では、ディスクデバイスが数1000台以上、記憶容量では、数百テラバイト以上のディスクデバイス群を1台で制御できるディスクアレイ装置も提供されている。   In recent years, there has also been provided a disk array apparatus that can control a disk device group of several thousand or more disk devices and a storage capacity of several hundred terabytes or more.

このようなディスクアレイ装置は、ディスクのキャッシュの役割を果たすメモリを内蔵する。これにより、ホストコンピュータからリード要求及びライト要求を受信した際の、データへのアクセス時間を短縮し、高性能化を実現できる。   Such a disk array device incorporates a memory that serves as a disk cache. This shortens the data access time when receiving a read request and a write request from the host computer, thereby realizing high performance.

一般に、ディスクアレイ装置は、複数の主要ユニット、即ち、ホストコンピュータとの接続部分であるチャネルアダプタ,ディスクドライブとの接続部分であるディスクアダプタ,キャッシュメモリ,キャッシュメモリの制御を担当するキャッシュ制御部,及び大量のディスクドライブから構成される。   In general, a disk array device includes a plurality of main units, that is, a channel adapter that is a connection part with a host computer, a disk adapter that is a connection part with a disk drive, a cache memory, a cache control unit in charge of controlling the cache memory, And a large number of disk drives.

図11は、第1の従来技術の説明図である。図11に示すディスクアレイ装置102は、キャッシュマネージャ(キャッシュメモリとキャッシュ制御部)10が2つそなえられ、且つ各キャッシュマネージャ10には、チャネルアダプタ11及びディスクアダプタ13が接続されている。   FIG. 11 is an explanatory diagram of the first prior art. The disk array device 102 shown in FIG. 11 includes two cache managers (cache memory and cache control unit) 10, and a channel adapter 11 and a disk adapter 13 are connected to each cache manager 10.

また、2つのキャッシュマネージャ10,10は、バス10cによって、互いに通信可能に直接接続されている。この2つのキャッシュマネージャ10,10間、並びに、キャッシュマネージャ10とチャネルアダプタ11との間、及び、キャッシュマネージャ10とディスクアダプタ13との間は、低いレイテンシが要求されるためPCIバスによって接続されている。   The two cache managers 10 and 10 are directly connected to each other via a bus 10c so as to communicate with each other. The two cache managers 10 and 10, the cache manager 10 and the channel adapter 11, and the cache manager 10 and the disk adapter 13 are connected by a PCI bus because low latency is required. Yes.

更に、チャネルアダプタ11は、例えば、ファイバチャネルもしくはEthernet(登録商標)によって、ホストコンピュータ(図示略)に接続され、ディスクアダプタ13は、例えば、ファイバチャネルのケーブルによってディスクエンクロージャ12の各ディスクドライブに接続されている。   Further, the channel adapter 11 is connected to a host computer (not shown) by, for example, fiber channel or Ethernet (registered trademark), and the disk adapter 13 is connected to each disk drive of the disk enclosure 12 by, for example, a fiber channel cable. Has been.

また、ディスクエンクロージャ12は、2つのポート(例えば、ファイバチャネルポート)を有し、これら2つのポートが、異なるディスクアダプタ13に接続されている。これにより、冗長性を持たせ、耐故障性を高めている。   The disk enclosure 12 has two ports (for example, fiber channel ports), and these two ports are connected to different disk adapters 13. This provides redundancy and increases fault tolerance.

図12は、第2の従来例のディスクアレイ装置100の構成図である。図12に示すように、従来のディスクアレイ装置100は、主要ユニットであるキャッシュメモリとキャッシュ制御部とをそなえるキャッシュマネージャ(図中CMと表記)10、ホストコンピュータ(図示略)とのインターフェースであるチャネルアダプタ(図中CAと表記)11、複数のディスクドライブを備えるディスクエンクロージャ12、及び、このディスク装置12とのインターフェースであるディスクアダプタ(図中DAと表記)13をそなえる。   FIG. 12 is a configuration diagram of the disk array device 100 of the second conventional example. As shown in FIG. 12, the conventional disk array device 100 is an interface with a cache manager (indicated as CM in the figure) 10 having a cache memory and a cache control unit as main units, and a host computer (not shown). A channel adapter (denoted as CA in the figure) 11, a disk enclosure 12 having a plurality of disk drives, and a disk adapter (denoted as DA in the figure) 13 as an interface with the disk device 12 are provided.

更に、キャッシュマネージャ10,チャネルアダプタ11,及びディスクアダプタ13間を互いに接続し、これら主要ユニット間のデータ転送と通信を行うためのルータ(Router;図中RTと表記)14がそなえられている。   Further, a router (Router; denoted as RT in the figure) 14 for connecting the cache manager 10, the channel adapter 11, and the disk adapter 13 to each other and performing data transfer and communication between these main units is provided.

このディスクアレイ装置100では、キャッシュマネージャ10が4つそなえられ、これらのキャッシュマネージャ10に対応して4つのルータ14がそなえられている。これらキャッシュマネージャ10とルータ14とは、1対1で相互に接続されており、これによって、複数のキャッシュマネージャ10間の接続が冗長化されて、可用性が高められている(例えば、特許文献1参照)。   In this disk array device 100, four cache managers 10 are provided, and four routers 14 are provided corresponding to these cache managers 10. The cache manager 10 and the router 14 are connected to each other in a one-to-one relationship, thereby making the connection between the plurality of cache managers 10 redundant and increasing the availability (for example, Patent Document 1). reference).

即ち、1つのルータ14の故障した場合にも、別のルータ14を経由することで複数のキャッシュマネージャ10間の接続は確保されており、かかる場合にも、ディスクアレイ装置100は通常の動作を継続することができる。   That is, even when one router 14 fails, the connection between the plurality of cache managers 10 is ensured through another router 14. In such a case, the disk array device 100 operates normally. Can continue.

また、このディスクアレイ装置100は、各ルータ14に、2つのチャネルアダプタ11と2つのディスクアダプタ13とが接続され、ディスクアレイ装置100は合計8つのチャネルアダプタ11と合計8つのディスクアダプタ13とをそなえている。   In this disk array device 100, two channel adapters 11 and two disk adapters 13 are connected to each router 14, and the disk array device 100 includes a total of eight channel adapters 11 and a total of eight disk adapters 13. I have it.

これらのチャネルアダプタ11及びディスクアダプタ13は、キャッシュマネージャ10とルータ14との相互接続により、全てのキャッシュマネージャ10との間で通信が可能である。   These channel adapters 11 and disk adapters 13 can communicate with all the cache managers 10 by the interconnection of the cache manager 10 and the router 14.

又、チャネルアダプタ11は、例えば、ファイバチャネルやEthernet(登録商標)によって、データを処理対象とするホストコンピュータ(図示略)に接続されており、ディスクアダプタ13は、例えば、ファイバチャネルのケーブルによって、ディスクエンクロージャ12(具体的にはディスクドライブ)に接続される。   The channel adapter 11 is connected to a host computer (not shown) for processing data by, for example, fiber channel or Ethernet (registered trademark), and the disk adapter 13 is, for example, by a fiber channel cable. It is connected to a disk enclosure 12 (specifically, a disk drive).

そして、チャネルアダプタ11とキャッシュマネージャ10との間、及びディスクアダプタ13とキャッシュマネージャ10との間では、ホストコンピュータからのユーザデータだけではなく、ディスクアレイ装置100の内部の動作の一貫性を保つための様々な情報のやり取り(例えば、複数のキャッシュメモリ間のデータのミラーリング処理)がなされる。   Between the channel adapter 11 and the cache manager 10 and between the disk adapter 13 and the cache manager 10, not only user data from the host computer but also the internal operation of the disk array device 100 is maintained. Exchange of various information (for example, data mirroring processing between a plurality of cache memories) is performed.

キャッシュマネージャ10,チャネルアダプタ11及びディスクアダプタ13と、ルータ14との間は、ディスクアレイ装置100とホストコンピュータとの間や、ディスクドライブとの間よりも低いレイテンシ(速い応答速度)を実現できるインターフェースを介して接続される。例えば、PCI(Peripheral Component Interconnect)バスのように、LSI(Large Scale Integration)やプリント基板の間を接続するために設計されたバスによって、キャッシュマネージャ10,チャネルアダプタ11,及びディスクアダプタ13と、ルータ14との間が接続される。   The interface between the cache manager 10, the channel adapter 11 and the disk adapter 13, and the router 14 can realize a lower latency (fast response speed) than between the disk array device 100 and the host computer or between the disk drives. Connected through. For example, a cache manager 10, a channel adapter 11, a disk adapter 13, and a router are connected by a bus designed to connect between LSI (Large Scale Integration) and a printed circuit board, such as a PCI (Peripheral Component Interconnect) bus. 14 is connected.

さらに、ディスクドライブを収容するディスクエンクロージャ12は、2つのファイバチャネルのポートを有し、各ポートには異なるルータ14配下に属するディスクアダプタ13が接続される。これにより、ディスクアダプタ13の故障時もしくはルータ14の故障時にも、キャッシュマネージャ10からの接続が切断されることを防止できる。   Further, the disk enclosure 12 that accommodates the disk drive has two Fiber Channel ports, and a disk adapter 13 belonging to a different router 14 is connected to each port. Thereby, it is possible to prevent the connection from the cache manager 10 from being disconnected even when the disk adapter 13 or the router 14 fails.

特開2001−256003号公報(図1)JP 2001-256003 A (FIG. 1)

近年の電子化の推進により、より大容量で、高速なデータストレージシステムが要求されている。前述の第1の従来のディスクアレイ装置では、大容量、高速化のため、更に、キャッシュマネージャ10や、チャネルアダプタ11、ディスクアダプタ13を増設する場合には、ディスクエンクロージャ12のポート数を増加し、且つディスクアダプタ13とディスクエンクロージャ12の接続ケーブルの本数を増加させる必要がある。   With the recent advance of computerization, there is a demand for a data storage system with a larger capacity and a higher speed. In the first conventional disk array device described above, when the cache manager 10, the channel adapter 11, and the disk adapter 13 are further increased in order to increase the capacity and speed, the number of ports of the disk enclosure 12 is increased. In addition, it is necessary to increase the number of connection cables between the disk adapter 13 and the disk enclosure 12.

ディスクエンクロージャ12のポート数を増加することは、1つのディスクエンクロージャに接続されるディスクアダプタの数に応じたケーブル数が、増加し、実装空間が大きくなる。即ち、装置の大型化を招く。又、1つのディスクエンクロージャでは、2系統のパスがあれば、十分な冗長構成をとれるため、ポート数を増加することは、得策でない。しかも、接続されるディスクアダプタの数は、一定でなく、ユーザの要求に応じて、変化するため、多数のポートを増設すると、少ないディスクアダプタでは、無駄が生じ、少数のポートを増設すると、多数のディスクアダプタに対応できない。即ち、汎用性を失うことになる。   Increasing the number of ports of the disk enclosure 12 increases the number of cables corresponding to the number of disk adapters connected to one disk enclosure, and increases the mounting space. That is, the size of the apparatus is increased. In addition, if there are two paths in a single disk enclosure, a sufficient redundant configuration can be obtained, so it is not a good idea to increase the number of ports. In addition, the number of connected disk adapters is not constant and changes according to the user's request. Therefore, if a large number of ports are added, a small number of disk adapters will be wasted, and if a small number of ports are added, a large number Cannot support other disk adapters. That is, the versatility is lost.

一方、第2の従来のディスクアレイ装置では、キャッシュマネージャ10や、チャネルアダプタ11、ディスクアダプタ13を増設することは、可能であるが、全て、ルータ14を介して通信するため、ルータ14に通信データが集中するため、スループットのネックとなり、高いスループットは期待できない。   On the other hand, in the second conventional disk array device, it is possible to add the cache manager 10, the channel adapter 11, and the disk adapter 13, but all communicate via the router 14, and therefore communicate with the router 14. Since data concentrates, it becomes a bottleneck for throughput and high throughput cannot be expected.

しかも、ディスクアレイ装置100では、主要ユニットを多数設けた大規模なディスクアレイ装置を構成する場合には、キャッシュマネージャ10とルータ14との間の接続線数が急増するため、接続関係が複雑になってしまい、物理的にも実装が困難になる。   In addition, in the disk array device 100, when a large-scale disk array device having a large number of main units is configured, the number of connection lines between the cache manager 10 and the router 14 increases rapidly, so that the connection relationship is complicated. It becomes difficult to implement physically.

例えば、図12の構成では、図13に示すように、4つ(4枚)のキャッシュマネージャ10と、4つ(4枚)のルータ14とが、バックパネル15を経由して接続される実装構造をとる。この場合、前述のように、図12のように、信号本数は、4×4×(1パス当りの信号本数)となる。例えば、前述のように、1パスを、64ビットのPCI(パラレルバス)で接続する場合には、制御線を含め、バックパネル15上では、100×16=1600本の信号線となる。この信号線を配線するためには、バックパネル15のプリント基板は、6層の信号層を必要とする。   For example, in the configuration of FIG. 12, as shown in FIG. 13, four (four) cache managers 10 and four (four) routers 14 are connected via the back panel 15. Take the structure. In this case, as described above, the number of signals is 4 × 4 × (number of signals per path) as shown in FIG. For example, as described above, when one path is connected by 64-bit PCI (parallel bus), the number of signal lines is 100 × 16 = 1600 on the back panel 15 including the control lines. In order to wire this signal line, the printed circuit board of the back panel 15 requires six signal layers.

さらに、大規模構成の場合には、例えば、8つ(4枚)のキャッシュマネージャ10と、8つ(4枚)のルータ14とが、バックパネル15を経由して接続される構成では、信号本数は、100×8×8=約6400本も必要する。このためのバックパネル15のプリント基板は、4倍の24層必要となり、実現が困難である。   Furthermore, in the case of a large-scale configuration, for example, in a configuration in which eight (four) cache managers 10 and eight (four) routers 14 are connected via the back panel 15, As for the number, 100 × 8 × 8 = about 6400 is required. For this purpose, the printed circuit board of the back panel 15 requires four times 24 layers, which is difficult to realize.

仮に、64ビットのPCIバスに代え、信号線の少ない4レーンのPCI−Expressで接続すると、信号線数は、16×8×8=1024本となる。しかし、PCIバスは、66MHzであるのに対し、PCI−Expressは、2.5Gbpsの高速バスであり、高速バスの信号品質を保つには、高価な基板材料を使用する必要がある。   If, instead of the 64-bit PCI bus, the connection is made with 4-lane PCI-Express with few signal lines, the number of signal lines is 16 × 8 × 8 = 1024. However, while the PCI bus is 66 MHz, the PCI-Express is a 2.5 Gbps high-speed bus, and it is necessary to use an expensive substrate material in order to maintain the signal quality of the high-speed bus.

更に、低速バスであれば、ビア(Via)を使用することで、配線層の入れ替えが可能であるが、高速バスでは、Viaは、信号品質の低下を招くことになり、避ける必要もある。このため、高速バスでは、全ての信号線が交差しないよう配置する必要があり、同じ本数の低速バスの約2倍の信号層が必要となる。例えば、基板は、12層の信号層を必要とし、且つ高価な材料で構成する必要があり、これも実現が困難である。   Furthermore, in the case of a low-speed bus, the wiring layer can be replaced by using a via (Via). However, in the high-speed bus, Via causes a decrease in signal quality and must be avoided. For this reason, in a high-speed bus, it is necessary to arrange so that all signal lines do not cross, and about twice as many signal layers as the same number of low-speed buses are required. For example, the substrate requires 12 signal layers and needs to be made of an expensive material, which is also difficult to realize.

しかも、第2の従来のディスクアレイ装置100では、ルータ14の一つが故障した場合には、当該ルータ14の故障と同時に、当該ルータ14配下に接続されたチャネルアダプタ11及びディスクアダプタ13も使えなくなってしまう。   Moreover, in the second conventional disk array device 100, when one of the routers 14 fails, the channel adapter 11 and the disk adapter 13 connected under the router 14 cannot be used simultaneously with the failure of the router 14. End up.

従って、本発明の目的は、各ユニット間のデータ転送を高いスループットで行うとともに、小規模から大規模までの構成を、実装上の問題なく、容易に実現するためのデータストレージシステムを提供することにある。   Accordingly, an object of the present invention is to provide a data storage system for performing data transfer between units with high throughput and easily realizing a configuration from a small scale to a large scale without any problems in mounting. It is in.

又、本発明の他の目的は、あるユニットが故障した場合でも動作可能な冗長性を維持しつつ、小規模から大規模までの構成を、同一のユニットの組み合わせで、容易に実現する柔軟性を持つデータストレージシステムを提供することにある。   Another object of the present invention is the flexibility to easily realize a configuration from a small scale to a large scale by combining the same units while maintaining the redundancy that can operate even when a unit fails. Is to provide a data storage system.

更に、本発明の更に他の目的は、高いスループットと冗長性を保証しつつ、小規模から大規模までの構成を、実装上の問題なく、容易に実現するためのデータストレージシステムを提供することにある。   Furthermore, still another object of the present invention is to provide a data storage system for easily realizing a configuration from a small scale to a large scale without a problem in mounting while ensuring high throughput and redundancy. It is in.

この目的の達成のため、本発明のデータストレージシステムは、データを記憶する複数のディスク記憶デバイスを一対の信号線に対し並列に接続して構成された複数のディスクエンクロージャと、上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する複数の制御モジュールとを有し、前記制御モジュールの各々は、前記上位とのインターフェース制御を行う第1のインターフェース部と、前記ディスク記憶デバイスとのインターフェース制御を行う第2のインターフェース部と、前記アクセス指示に応じて、前記第2のインターフェース部より、前記ディスク記憶デバイスをアクセス制御する制御ユニットとを有し、各前記制御モジュールの前記第2のインターフェース部に接続され、前記各制御モジュールの前記第2のインターフェース部と前記複数のディスクエンクロージャとを選択的に切り替える複数の第1のスイッチユニットを搭載する複数の第1の基板と、少なくとも前記制御ユニットと、前記第2のインターフェース部とを設けた複数の第2の基板と、前記複数の第1の基板と、前記複数の第2の基板が取り付けられ、前記第2のインターフェース部前記複数の第1のスイッチユニットの各々に個別のシリアルバスで接続するバックパネルとを設け、前記複数のディスクエンクロージャの各々は、複数のディスク記憶デバイスを一対の信号線に対し並列に接続した単位ディスクエンクロージャを複数直列に接続して構成され、且つ前記複数のディスクエンクロージャの各々の先頭の単位ディスクエンクロージャの一対の信号線の各々が、異なる第1のスイッチユニットに接続されたIn order to achieve this object, the data storage system of the present invention includes a plurality of disk enclosures configured by connecting a plurality of disk storage devices for storing data in parallel to a pair of signal lines , and an access instruction from a host. And a plurality of control modules for controlling access to the disk storage device, each of the control modules including a first interface unit for interface control with the host and an interface with the disk storage device A second interface unit that performs control; and a control unit that controls access to the disk storage device from the second interface unit in response to the access instruction, and the second interface of each of the control modules. Connected to the front of each control module A plurality of first substrates on which a plurality of first switch units for selectively switching between a second interface unit and the plurality of disk enclosures are mounted; at least the control unit; and the second interface unit. a plurality of second substrates, wherein a plurality of first substrate, said plurality of second substrate is mounted, individually each said second interface unit to each of the plurality of first switch units and a back panel for connecting a serial bus is provided for each of said plurality of disk enclosure is constructed by connecting the unit disk enclosures connected in parallel a plurality of disk storage devices to a pair of signal lines in a plurality in series, Each of the pair of signal lines of the head unit disk enclosure of each of the plurality of disk enclosures , It is connected to different first switch units.

更に、本発明では、好ましくは、前記制御モジュールは、他の前記制御モジュールと通信するための通信ユニットを有し、更に、前記各制御モジュールの通信ユニットを選択的に接続する第2のスイッチユニットを有する。   In the present invention, it is preferable that the control module has a communication unit for communicating with another control module, and further, a second switch unit for selectively connecting the communication units of the control modules. Have

更に、本発明では、好ましくは、各制御モジュールの通信ユニットと第2のスイッチユニットとを、前記バックパネルで接続した。   Furthermore, in the present invention, preferably, the communication unit of each control module and the second switch unit are connected by the back panel.

更に、本発明では、好ましくは、前記第1のスイッチユニットと前記複数の記憶デバイスをケーブルで接続した。   Furthermore, in the present invention, preferably, the first switch unit and the plurality of storage devices are connected by a cable.

更に、本発明では、好ましくは、前記記憶デバイスは、複数のアクセスポートを有し、前記複数のアクセスポートに、複数の異なる前記第1のスイッチユニットを接続した。   In the present invention, it is preferable that the storage device has a plurality of access ports, and the plurality of different first switch units are connected to the plurality of access ports.

更に、本発明では、好ましくは、前記制御モジュールは、前記キャッシュ制御ユニットと前記第2のインターフェース部とを、複数レーンの高速シリアスバスで接続するとともに、前記第2のインターフェース部と前記複数の第1のスイッチユニットとを、前記バックパネルで、シリアルバスで接続した。   In the present invention, it is preferable that the control module connects the cache control unit and the second interface unit with a high-speed serial bus having a plurality of lanes, and also connects the second interface unit and the plurality of second interfaces. 1 switch unit was connected to the back panel by a serial bus.

更に、本発明では、好ましくは、前記高速シリアルバスが、PCI-Expressバスである。   Furthermore, in the present invention, preferably, the high-speed serial bus is a PCI-Express bus.

更に、本発明では、好ましくは、前記シリアルバスが、ファイバチャネルである。   Furthermore, in the present invention, preferably, the serial bus is a fiber channel.

更に、本発明では、好ましくは、前記制御モジュールは、前記キャッシュ制御ユニットと前記第1のインターフェース部とを、低レンテシイの高速シリアスバスで接続した。   In the present invention, it is preferable that the control module connect the cache control unit and the first interface unit with a low-latency high-speed serial bus.

本発明では、複数の制御モジュールの第2のインターフェース複数の第1のスイッチユニット接続し、複数のディスクエンクロージャの各々の先頭の単位ディスクエンクロージャの一対の信号線の各々を、異なる第1のスイッチユニットに接続したため、全ての制御モジュールは、全ての記憶デバイスにアクセスできる冗長性を維持でき、且つこのように接続形式で制御モジュールの数やディスクエンクロージャの数が増大しても、単位ディスクエンクロージャを直列接続し、制御モジュールと第1のスイッチユニットとをバックパネルで、インターフェースを構成する信号数が少ないシリアルバスで接続できるため、プリント基板での実装が可能となる。 In the present invention, to connect each second interface of the plurality of control modules to the plurality of first switch units, each of the pair of signal lines of the head unit disk enclosures of each of the plurality of disk enclosures, different first because connected to the switch unit, all the control modules can maintain redundancy to access all the storage devices, and the number of the number and the disk enclosure of the control module in such a connection type is increased, the unit Since the disk enclosures are connected in series and the control module and the first switch unit can be connected by a back panel and a serial bus with a small number of signals constituting the interface, mounting on a printed circuit board becomes possible.

本発明の一実施の形態のデータストレージシステムの構成図である。It is a block diagram of the data storage system of one embodiment of this invention. 図1の制御モジュールの構成図である。It is a block diagram of the control module of FIG. 図1及び図2のバックエンドルータとディスクエンクロージャの構成図である。FIG. 3 is a configuration diagram of the back-end router and the disk enclosure of FIGS. 1 and 2. 図1及び図3のディスクエンクロージャの構成図である。FIG. 4 is a configuration diagram of the disk enclosure of FIGS. 1 and 3. 図1及び図2の構成のリード処理の説明図である。FIG. 3 is an explanatory diagram of a read process having the configuration of FIGS. 1 and 2. 図1及び図2の構成のライト処理の説明図である。FIG. 3 is an explanatory diagram of a write process with the configuration of FIGS. 1 and 2. 本発明の一実施の形態の制御モジュールの実装構成を示す図である。It is a figure which shows the mounting structure of the control module of one embodiment of this invention. 本発明の一実施の形態のデータストレージシステムの実装構成例を示す図である。It is a figure which shows the example of mounting structure of the data storage system of one embodiment of this invention. 本発明の一実施の形態の大規模ストレージシステムのブロック図である。1 is a block diagram of a large-scale storage system according to an embodiment of the present invention. 本発明の他の実施の形態の中規模ストレージシステムのブロック図である。It is a block diagram of the medium-scale storage system of other embodiment of this invention. 第1の従来のストレージシステムの構成図である。1 is a configuration diagram of a first conventional storage system. FIG. 第2の従来のストレージシステムの構成図である。It is a block diagram of the 2nd conventional storage system. 図12の第2の従来のストレージシステムの実装構成を示す図である。It is a figure which shows the mounting structure of the 2nd conventional storage system of FIG.

以下、本発明の実施の形態を、データストレージシステム、リード/ライト処理、実装構造、他の実施の形態の順で説明する。   Hereinafter, embodiments of the present invention will be described in the order of a data storage system, read / write processing, mounting structure, and other embodiments.

[データストレージシステム]
図1は、本発明の一実施の形態のデータストレージシステムの構成図、図2は、図1のコントロールモジュールの構成図、図3は、図1のバックエンドルータとディスクエンクロージャの構成図、図4は、図1及び図3のディスクエンクロージャの構成図である。
[Data storage system]
1 is a configuration diagram of a data storage system according to an embodiment of the present invention, FIG. 2 is a configuration diagram of a control module in FIG. 1, FIG. 3 is a configuration diagram of a back-end router and a disk enclosure in FIG. 4 is a configuration diagram of the disk enclosure of FIGS. 1 and 3. FIG.

図1は、8台のコントロールモジュールを持つ大規模なストレージシステムを例に示す。図1に示すように、ストレージシステム1は、データを保持する複数のディスクエンクロージャ2−0〜2−25と、図示しないホストコンピュータ(データ処理装置)と、複数のディスクエンクロージャ2−0〜2−25との間に、配置された複数(ここでは8つ)の制御モジュール4−0〜4−7と、これら複数の制御モジュール4−0〜4−7と複数のディスクエンクロージャ2−0〜2−25との間に設けられた複数(ここでは8つ)のBack-end Router(第1スイッチユニット;図中BRTと表記し、以下、BRTという)5−0〜5−7と、複数(ここでは2つ)のFront-end Router(第2スイッチユニット;図中FRTと表記、以下、FRTという)6−0,6−1とを有する。   FIG. 1 shows an example of a large-scale storage system having eight control modules. As shown in FIG. 1, the storage system 1 includes a plurality of disk enclosures 2-0 to 2-25 for holding data, a host computer (data processing device) (not shown), and a plurality of disk enclosures 2-0 to 2-. 25, a plurality of (in this case, eight) control modules 4-0 to 4-7, a plurality of control modules 4-0 to 4-7, and a plurality of disk enclosures 2-0 to 2 A plurality of (here, eight) Back-end Routers (first switch unit; referred to as BRT in the figure, hereinafter referred to as BRT) 5-0 to 5-7, Here, there are two front-end routers (second switch units; denoted as FRT in the figure, hereinafter referred to as FRT) 6-0 and 6-1.

制御モジュール4−0〜4−7のそれぞれは、キャッシュマネージャ40と、チャネルアダプタ(第1インターフェース部;図中CAと表記)41a〜41dと、ディスクアダプタ(第2インターフェース部;図中DAと表記)42a,42bと、DMA(Direct Memory Access)エンジン(通信部;図中DMAと表記)43とを有する。   Each of the control modules 4-0 to 4-7 includes a cache manager 40, a channel adapter (first interface unit; denoted as CA in the figure) 41a to 41d, and a disk adapter (second interface part; denoted as DA in the figure). ) 42a and 42b, and a DMA (Direct Memory Access) engine (communication unit; denoted as DMA in the figure) 43.

なお、図1では、図の簡略化のため、これらキャッシュマネージャの符号“40”、チャネルアダプタの符号“41a”,“41b”,“41c”,“41d”、ディスクアダプタの符号“42a”,“42b”、DMAの符号“43”を、制御モジュール4−0に対してのみ付しており、他の制御モジュール4−1〜4−7におけるこれら構成要素の符号は省略している。   In FIG. 1, for simplification of the drawing, these cache manager codes “40”, channel adapter codes “41a”, “41b”, “41c”, “41d”, disk adapter codes “42a”, “42b” and DMA code “43” are given only to the control module 4-0, and the symbols of these components in the other control modules 4-1 to 4-7 are omitted.

図2により、コントロールモジュール4−0〜4−7を説明する。キャッシュマネージャ40は、ホストコンピュータからの処理要求(リード要求もしくはライト要求)に基づいて、リード/ライト処理を行なうものであり、キャッシュメモリ40bとキャッシュ制御部40aとを備える。   The control modules 4-0 to 4-7 will be described with reference to FIG. The cache manager 40 performs read / write processing based on a processing request (read request or write request) from the host computer, and includes a cache memory 40b and a cache control unit 40a.

キャッシュメモリ40bは、ディスクエンクロージャ2−0〜2−25の複数のディスクに保持されたデータの一部を保持する、所謂、複数のディスクに対するキャッシュの役割を果たす。   The cache memory 40b serves as a so-called cache for a plurality of disks that holds a part of the data held in the plurality of disks of the disk enclosures 2-0 to 2-25.

キャッシュ制御部40aは、キャッシュメモリ40b,チャネルアダプタ41、デバイスアダプタ42、DMA43の制御を行なう。このため、1つ又は複数(図では、2つ)のCPU400,410と、メモリコントローラ420とを有する。メモリコントローラ420は、各メモリのリード/ライトを制御し、且つパスの切り替えを行う。   The cache control unit 40a controls the cache memory 40b, the channel adapter 41, the device adapter 42, and the DMA 43. For this reason, one or a plurality (two in the figure) of CPUs 400 and 410 and a memory controller 420 are provided. The memory controller 420 controls reading / writing of each memory and performs path switching.

メモリコントローラ420は、メモリバス434を介しキャッシュメモリ40bと接続し、CPUバス430,432を介しCPU400,410と接続し、更に、メモリコントローラ420は、後述する4レーンの高速シリアルバス(例えば、PCI−Express)440,442を介しディスクアダプタ42a,42bに接続する。同様に、メモリコントローラ420は、4レーンの高速シリアルバス(例えば、PCI−Express)443,444,445,446を介しチャネルアダプタ41a,41b、41c,41dに接続し、4レーンの高速シリアルバス(例えば、PCI−Express)447,448を介しDMA43−a,43−bに接続する。   The memory controller 420 is connected to the cache memory 40b via the memory bus 434, and is connected to the CPUs 400 and 410 via the CPU buses 430 and 432. Further, the memory controller 420 is a 4-lane high-speed serial bus (for example, PCI) described later. -Express) Connect to disk adapters 42a, 42b via 440,442. Similarly, the memory controller 420 is connected to the channel adapters 41a, 41b, 41c, and 41d via a 4-lane high-speed serial bus (for example, PCI-Express) 443, 444, 445, and 446, and connected to the 4-lane high-speed serial bus ( For example, it connects to DMAs 43-a and 43-b via PCI-Express) 447 and 448.

後述するように、このPCI−Expess等の高速シリアルバスは、パケットで通信し、且つシリアルバスを複数レーン設けることにより、信号線本線を減らしても、遅延の少ない、速い応答速度で、所謂、低レンテンシで通信することができる。   As will be described later, this high-speed serial bus such as PCI-Express communicates with packets, and by providing a plurality of lanes for the serial bus, even if the signal line main line is reduced, the delay is low and the response speed is high, so-called It is possible to communicate with low latency.

チャネルアダプタ41a〜41dは、ホストコンピュータに対するインターフェースであり、チャネルアダプタ41a〜41dは、それぞれ異なるホストコンピュータと接続される。また、チャネルアダプタ41a〜41dは、それぞれ対応するホストコンピュータのインターフェース部に、バス、例えば、ファイバチャネル(Fiber Channel)やEthernet(登録商標)によって接続されることが好ましく、この場合、バスとしては、光ファイバや同軸ケーブルが用いられる。   The channel adapters 41a to 41d are interfaces to the host computer, and the channel adapters 41a to 41d are connected to different host computers. Each of the channel adapters 41a to 41d is preferably connected to an interface unit of a corresponding host computer by a bus, for example, Fiber Channel or Ethernet (registered trademark). In this case, as the bus, An optical fiber or a coaxial cable is used.

さらに、これらチャネルアダプタ41a〜41dそれぞれは、各制御モジュール4−0〜4−7の一部として構成されているが、対応するホストコンピュータと制御モジュール4−0〜4−7とのインターフェース部として、複数のプロトコルをサポートする必要がある。対応するホストコンピュータによって実装すべきプロトコルが同一ではないため、各チャネルアダプタ41a〜41dを必要に応じて容易に交換できるように、制御モジュール4−0〜4−7の主要ユニットであるキャッシュマネージャ40とは、図7で後述するように、別のプリント基板に実装されている。   Further, each of these channel adapters 41a to 41d is configured as a part of each control module 4-0 to 4-7, but serves as an interface between the corresponding host computer and the control modules 4-0 to 4-7. Need to support multiple protocols. Since the protocols to be implemented by the corresponding host computers are not the same, the cache manager 40, which is the main unit of the control modules 4-0 to 4-7, can be easily replaced as necessary. Is mounted on another printed circuit board as will be described later with reference to FIG.

例えば、チャネルアダプタ41a〜41dがサポートすべきホストコンピュータとの間のプロトコルとしては、上述のように、ファイバチャネルや、Ethernet(登録商標)に対応するiSCSI(Internet Small Computer System Interface)等がある。   For example, as described above, the protocol between the host computers to be supported by the channel adapters 41a to 41d includes Fiber Channel, iSCSI (Internet Small Computer System Interface) corresponding to Ethernet (registered trademark), and the like.

更に、各チャネルアダプタ41a〜41dは、前述のように、PCI−Expressバスのように,LSI(Large Scale Integration)やプリント基板の間を接続するために設計されたバスによって、キャッシュマネージャ40と直接結合されている。これにより、各チャネルアダプタ41a〜41dとキャッシュマネージャ40と間に要求される高いスループットを実現することができる。   Further, as described above, each of the channel adapters 41a to 41d is directly connected to the cache manager 40 by a bus designed to connect between an LSI (Large Scale Integration) and a printed circuit board, such as a PCI-Express bus. Are combined. Thereby, the high throughput requested | required between each channel adapter 41a-41d and the cache manager 40 is realizable.

ディスクアダプタ42a,42bは、ディスクエンクロージャ2−0〜2−25のディスクドライブに対するインターフェースであり、ディスクエンクロージャ2−0〜2−25に接続されたBRT5−0〜5−7に接続され,ここでは、4つのFC(Fiber Channel)ポートを有する。   The disk adapters 42a and 42b are interfaces to the disk drives of the disk enclosures 2-0 to 2-25, and are connected to the BRTs 5-0 to 5-7 connected to the disk enclosures 2-0 to 2-25. It has 4 FC (Fiber Channel) ports.

又、各ディスクアダプタ42a、42bは、前述のように、PCI−Expressバスのように,LSI(Large Scale Integration)やプリント基板の間を接続するために設計されたバスによって、キャッシュマネージャ40と直接結合されている。これにより、各ディスクアダプタ42a、42bとキャッシュマネージャ40と間に要求される高いスループットを実現することができる。   Further, as described above, each of the disk adapters 42a and 42b is directly connected to the cache manager 40 by a bus designed to connect between an LSI (Large Scale Integration) and a printed circuit board, such as a PCI-Express bus. Are combined. As a result, a high throughput required between the disk adapters 42a and 42b and the cache manager 40 can be realized.

図1及び図3に示すように、BRT5−0〜5−7は、各制御モジュール4−0〜4−7のディスクアダプタ42a,42bと各ディスクエンクロージャ2−0〜2−25とを選択的に切り替えて、通信可能に接続する多ポートスイッチである。   As shown in FIGS. 1 and 3, the BRTs 5-0 to 5-7 selectively select the disk adapters 42a and 42b of the control modules 4-0 to 4-7 and the disk enclosures 2-0 to 2-25. It is a multi-port switch that is connected to be communicable.

図3に示すように、各ディスクディスクエンクロージャ2−0〜2−7は、複数(ここでは2つ)のBRT5−0,5−1が接続される。図4に示すように、各ディスクエンクロージャ2−0は、各々2つのポートを有する複数台のディスクドライブ200を搭載し、このディスクエンクロージャ2−0の構成は、4つの接続ポート210,212,214,216を有する単位ディスクエンクロージャ20−0〜23−0で構成される。これらを、直列接続して、容量の増大を実現する。   As shown in FIG. 3, each of the disk disk enclosures 2-0 to 2-7 is connected with a plurality (two in this case) of BRTs 5-0 and 5-1. As shown in FIG. 4, each disk enclosure 2-0 is equipped with a plurality of disk drives 200 each having two ports, and this disk enclosure 2-0 has four connection ports 210, 212, and 214. , 216, unit disk enclosures 20-0 to 23-0. These are connected in series to realize an increase in capacity.

そして、ディスクエンクロージャ20−0〜23−0内では、2つのポート210,212からの一対のFCケーブルにより、各ディスクドライブ200の各ポートが、2つのポート210,212に接続される。この2つのポート210,212は、図3で説明したように、異なるBRT5−0,5−1に接続される。   In the disk enclosures 20-0 to 23-0, each port of each disk drive 200 is connected to the two ports 210 and 212 by a pair of FC cables from the two ports 210 and 212. These two ports 210 and 212 are connected to different BRTs 5-0 and 5-1, as described in FIG.

図1に示すように、各制御モジュール4−0〜4−7のディスクアダプタ42a,42bそれぞれを、すべてのディスクエンクロージャ2−0〜2−25に接続する。即ち、各制御モジュール4−0〜4−7のディスクアダプタ42aは、ディスクエンクロージャ2−0〜2−7に接続されたBRT5−0(図3参照)と、ディスクエンクロージャ2−8,2−9〜に接続されたBRT5−2と、ディスクエンクロージャ2−16、2−17〜に接続されたBRT5−4と、ディスクエンクロージャ2−24,2−25〜に接続されたBRT5−6とにそれぞれ接続される。   As shown in FIG. 1, the disk adapters 42a and 42b of the control modules 4-0 to 4-7 are connected to all the disk enclosures 2-0 to 2-25, respectively. That is, the disk adapter 42a of each control module 4-0 to 4-7 includes the BRT 5-0 (see FIG. 3) connected to the disk enclosures 2-0 to 2-7, and the disk enclosures 2-8 and 2-9. To BRT5-2 connected to, BRT5-4 connected to disk enclosures 2-16 and 2-17, and BRT5-6 connected to disk enclosures 2-24 and 2-25, respectively. Is done.

又、同様に、各制御モジュール4−0〜4−7のディスクアダプタ42bは、ディスクエンクロージャ2−0〜2−7に接続されたBRT5−1(図3参照)と、ディスクエンクロージャ2−8,2−9〜に接続されたBRT5−3と、ディスクエンクロージャ2−16、2−17〜に接続されたBRT5−5と、ディスクエンクロージャ2−24,2−25〜に接続されたBRT5−7とに、それぞれ接続される。   Similarly, the disk adapter 42b of each control module 4-0 to 4-7 includes a BRT5-1 (see FIG. 3) connected to the disk enclosures 2-0 to 2-7, a disk enclosure 2-8, BRT5-3 connected to 2-9 to, BRT5-5 connected to the disk enclosures 2-16 and 2-17, and BRT5-7 connected to the disk enclosures 2-24 and 2-25 to Are connected to each other.

このように、各ディスクエンクロージャ2−0〜2−31は、複数(ここでは2つ)のBRTが接続されるとともに、同一のディスクエンクロージャ2−0〜2−31に接続された2つのBRTのそれぞれに、同一の制御モジュール4−0〜4−7における異なるディスクアダプタ42a,42bが接続される。   As described above, each of the disk enclosures 2-0 to 2-31 is connected to a plurality of (two in this case) BRTs, and two BRTs connected to the same disk enclosure 2-0 to 2-31. Different disk adapters 42a and 42b in the same control module 4-0 to 4-7 are connected to each.

このような構成により、各制御モジュール4−0〜4−7が、いずれのディスクアダプタ42a,42bを通じても、すべてのディスクエンクロージャ(ディスクドライブ)2−0〜2−31にアクセスできる。   With such a configuration, the control modules 4-0 to 4-7 can access all the disk enclosures (disk drives) 2-0 to 2-31 through any of the disk adapters 42a and 42b.

また、これらディスクアダプタ42a,42bのそれぞれは、制御モジュール4−0〜4−7の一部として構成されており、制御モジュール4−0〜4−7の主要ユニットであるキャッシュマネージャ40の基板上に実装され、各ディスクアダプタ42a,42bは、例えばPCI(Peripheral Component Interconnect)−Expressバスによってキャッシュマネージャ40と直接結合されており、これにより、各ディスクアダプタ42a,42bとキャッシュマネージャ40と間に要求される高いスループットを実現することができる。   Each of these disk adapters 42a and 42b is configured as a part of the control modules 4-0 to 4-7, and is on the board of the cache manager 40 which is a main unit of the control modules 4-0 to 4-7. The disk adapters 42a and 42b are directly coupled to the cache manager 40 by, for example, a PCI (Peripheral Component Interconnect) -Express bus, thereby requesting between the disk adapters 42a and 42b and the cache manager 40. High throughput can be achieved.

さらに、図2に示すごとく、各ディスクアダプタ42a,42bは対応するBRT5−0〜5−7にバス、例えば、ファイバチャネル(Fiber Channel)やEthernet(登録商標)、によって接続される。この場合、バスは、後述するように、バックパネルのプリント基板に電気的配線で設けられる。   Further, as shown in FIG. 2, each of the disk adapters 42a and 42b is connected to the corresponding BRT 5-0 to 5-7 by a bus, for example, Fiber Channel or Ethernet (registered trademark). In this case, the bus is provided by electrical wiring on the printed circuit board of the back panel, as will be described later.

各制御モジュール4−0〜4−7のディスクアダプタ42a,42bとBRT5−0〜5−7との間は、前述のように、全てのディスクエンクロージャと接続するため、1対1のメッシュ接続になるため、制御モジュール4−0〜4−7の数(つまり、ディスクアダプタ42a,42bの数)が増大するほど、接続数が増加して接続関係が複雑になり、物理的な実装が困難になる。しかし、ディスクアダプタ42a,42bとBRT5−0〜5−7との間の接続に、インターフェースを構成する信号数が少ないファイバチャネルを採用することにより、プリント基板での実装が可能となる。   Between the disk adapters 42a and 42b of the control modules 4-0 to 4-7 and the BRTs 5-0 to 5-7, as described above, since all the disk enclosures are connected, one-to-one mesh connection is used. Therefore, as the number of control modules 4-0 to 4-7 (that is, the number of disk adapters 42a and 42b) increases, the number of connections increases and the connection relationship becomes complicated, and physical mounting becomes difficult. Become. However, by adopting a fiber channel with a small number of signals constituting the interface for connection between the disk adapters 42a and 42b and the BRTs 5-0 to 5-7, mounting on a printed circuit board becomes possible.

なお、各ディスクアダプタ42a,42bと対応するBRT5−0〜5−7とがファイバチャネル接続される場合、BRT5−0〜5−7は,ファイバチャネルのスイッチとなる。また、各BRT5−0〜5−7と対応するディスクエンクロージャ2−0〜2−31との間も、例えば、ファイバチャネルによって接続され、この場合には、モジュールが異なるため、光ケーブル500,510で接続される。   When the disk adapters 42a and 42b and the corresponding BRTs 5-0 to 5-7 are connected by a fiber channel, the BRTs 5-0 to 5-7 are fiber channel switches. Also, the BRTs 5-0 to 5-7 and the corresponding disk enclosures 2-0 to 2-31 are connected by, for example, fiber channels. In this case, the modules are different, so that the optical cables 500 and 510 are used. Connected.

図1に示すように、DMAエンジン43は、他の制御モジュール4−0〜4−7と相互に通信を行なうものであり、他の制御モジュール4−0〜4−7間との通信とデータ転送処理を担当する。各制御モジュール4−0〜4−7のDMAエンジン43それぞれは、制御モジュール4−0〜4−7の一部として構成されており、制御モジュール4−0〜4−7の主要ユニットであるキャッシュマネージャ40の基板上に実装される。そして、前述の高速シリアルバスによって、キャッシュマネージャ40と直接結合されるとともに、FRT6−0,6−1を介して他の制御モジュール4−0〜4−7のDMAエンジン43と互いに通信する。   As shown in FIG. 1, the DMA engine 43 communicates with the other control modules 4-0 to 4-7, and communicates with other control modules 4-0 to 4-7 and data. Responsible for transfer processing. Each of the DMA engines 43 of the control modules 4-0 to 4-7 is configured as a part of the control modules 4-0 to 4-7, and is a cache that is a main unit of the control modules 4-0 to 4-7. It is mounted on the substrate of the manager 40. Then, it is directly coupled to the cache manager 40 by the above-described high-speed serial bus, and communicates with the DMA engines 43 of the other control modules 4-0 to 4-7 via the FRTs 6-0 and 6-1.

FRT6−0,6−1は、複数(特に3以上、ここでは8つ)の制御モジュール4−0〜4−7のDMAエンジン43に接続され、これら制御モジュール4−0〜4−7の相互間を選択的に切り替え,通信可能に接続するものである。   The FRTs 6-0 and 6-1 are connected to the DMA engines 43 of a plurality (particularly three or more, here eight) of the control modules 4-0 to 4-7, and the control modules 4-0 to 4-7 are connected to each other. The connection is made selectively so that communication is possible.

このような構成により、各制御モジュール4−0〜4−7のDMAエンジン43のそれぞれは、FRT6−0,6−1を介して、自身に接続されたキャッシュマネージャ40と他の制御モジュール4−0〜4−7のキャッシュマネージャ40との間で、ホストコンピュータからのアクセス要求等に応じて生じる通信やデータ転送処理(例えば、ミラーリング処理)を実行する。   With such a configuration, each of the DMA engines 43 of the control modules 4-0 to 4-7 allows the cache manager 40 and other control modules 4- connected to the DMA engine 43 via the FRTs 6-0 and 6-1. Communication or data transfer processing (for example, mirroring processing) that occurs in response to an access request from the host computer or the like is executed with the cache manager 40 of 0 to 4-7.

また、図2に示すように、各制御モジュール4−0〜4−7のDMAエンジン43が複数(ここでは2つ)のDMAエンジン43−a,43−bで構成され、これら2つのDMAエンジン43−a,43−bの各々が、各々2つのFRT6−0,6−1を使用する。   As shown in FIG. 2, the DMA engines 43 of the control modules 4-0 to 4-7 are composed of a plurality of (here, two) DMA engines 43-a and 43-b, and these two DMA engines. Each of 43-a and 43-b uses two FRTs 6-0 and 6-1.

さらに、DMAエンジン43−a,43−bは、前述のように、例えば、PCI−Expressバスによって、キャッシュマネージャ40に接続されており、低レイテシイを実現する。   Further, as described above, the DMA engines 43-a and 43-b are connected to the cache manager 40 by, for example, a PCI-Express bus, and realize low latency.

また、各制御モジュール4−0〜4−7間(つまり、各制御モジュール4−0〜4−7のキャッシュマネージャ40間)の通信やデータ転送処理では、データ転送量が多く、通信にかかる時間を短くすることが望ましく、高いスループットと同時に低いレイテンシ(速い応答速度)が要求される。このため、図1、図2に示すように、各制御モジュール4−0〜4−7のDMAエンジン43とFRT6−0,6−1とは、高いスループットと低いレイテンシとの両方の要求を満たすべく設計された、高速シリアル伝送を利用したバス(PCI-ExpressやRapid-IO)によって、接続される。   Further, in communication and data transfer processing between the control modules 4-0 to 4-7 (that is, between the cache managers 40 of the control modules 4-0 to 4-7), the amount of data transfer is large and the time required for communication is large. It is desirable to shorten the period, and low latency (fast response speed) is required at the same time as high throughput. For this reason, as shown in FIGS. 1 and 2, the DMA engine 43 and the FRTs 6-0 and 6-1 of each control module 4-0 to 4-7 satisfy both requirements of high throughput and low latency. It is connected by a bus (PCI-Express or Rapid-IO) that uses high-speed serial transmission designed for this purpose.

これらPCI-ExpressやRapid-IOは、2.5Gbpsの高速シリアル伝送を利用したものであり、これらのバスインターフェースには、LVDS(Low Voltage Differential Signaling)という小振幅差動インターフェースが採用される。   These PCI-Express and Rapid-IO use 2.5 Gbps high-speed serial transmission, and a low-amplitude differential interface called LVDS (Low Voltage Differential Signaling) is adopted for these bus interfaces.

[リード/ライト処理]
次に、図1乃至図4のデータストレージシステムのリード処理を説明する。図5は、図1乃至図2の構成のリード動作の説明図である。
[Read / write processing]
Next, read processing of the data storage system of FIGS. 1 to 4 will be described. FIG. 5 is an explanatory diagram of the read operation of the configuration of FIGS.

先ず、キャッシュマネージャ40は、ホストコンピュータのいずれかから対応するチャネルアダプタ41a〜41dを介してリード要求を受け取った場合、当該リード要求の対象データをキャッシュメモリ40bが保持していれば、キャッシュメモリ40bに保持された当該対象データを、チャネルアダプタ41a〜41dを介してホストコンピュータに送る。   First, when the cache manager 40 receives a read request from any of the host computers via the corresponding channel adapters 41a to 41d, if the cache memory 40b holds the target data of the read request, the cache memory 40b Is sent to the host computer via the channel adapters 41a to 41d.

一方、当該対象データがキャッシュメモリ40bに保持されていなければ、キャッシュ制御部40aが、当該対象データを保持しているディスクドライブ200から対象データを、キャッシュメモリ40b上に読み出してから、対象データを、リード要求を発行したホストコンピュータに送信する。   On the other hand, if the target data is not held in the cache memory 40b, the cache control unit 40a reads the target data from the disk drive 200 holding the target data onto the cache memory 40b, and then stores the target data. To the host computer that issued the read request.

このディスクドライブとのリード処理を、図5で説明する。   The read process with this disk drive will be described with reference to FIG.

(1)キャッシュマネージャ40の制御部40a(CPU)は、キャッシュメモリ40bのディスクリプタ領域に、FCヘッダとディスクリプタを作成する。ディスクリプタは、データ転送回路(DMA回路)に対して、データ(DMA)転送を要求する命令であり、FCヘッダのキャッシュメモリ上のアドレス、転送したいデータのキャッシュメモリ上でのアドレスとデータバイト数、データ転送のディスクの論理アドレスを含む。   (1) The control unit 40a (CPU) of the cache manager 40 creates an FC header and a descriptor in the descriptor area of the cache memory 40b. The descriptor is an instruction for requesting data (DMA) transfer to the data transfer circuit (DMA circuit), the address on the cache memory of the FC header, the address on the cache memory of the data to be transferred and the number of data bytes, Contains the logical address of the disk for data transfer.

(2)ディスクアダプタ42のデータ転送回路を起動する。   (2) The data transfer circuit of the disk adapter 42 is activated.

(3)ディスクアダプタ42の起動されたデータ転送回路は、キャッシュメモリ40bからディスクリプタを読み出す。   (3) The activated data transfer circuit of the disk adapter 42 reads the descriptor from the cache memory 40b.

(4)ディスクアダプタ42の起動されたデータ転送回路は、キャッシュメモリ40bからFCヘッダを読み出す。   (4) The activated data transfer circuit of the disk adapter 42 reads the FC header from the cache memory 40b.

(5)ディスクアダプタ42の起動されたデータ転送回路は、ディスクリプタを解読し、要求ディスク、先頭アドレス、バイト数を得て、FCヘッダを、ファイバーチャネル500(510)より、対象ディスクドライブ200に転送する。ディスクドライブ200は、要求された対象データを読み出し、ファイバーチャネル500(510)を介しディスクアダプタ42のデータ転送回路に送信する。   (5) The activated data transfer circuit of the disk adapter 42 decodes the descriptor, obtains the requested disk, head address, and number of bytes, and transfers the FC header to the target disk drive 200 from the fiber channel 500 (510). To do. The disk drive 200 reads the requested target data and transmits it to the data transfer circuit of the disk adapter 42 via the fiber channel 500 (510).

(6)ディスクドライブ200は、要求された対象データを読み出し、送信を完了すると、完了通知を、ファイバーチャネル500(510)を介しディスクアダプタ42のデータ転送回路に送信する。   (6) The disk drive 200 reads the requested target data, and when the transmission is completed, the disk drive 200 transmits a completion notification to the data transfer circuit of the disk adapter 42 via the fiber channel 500 (510).

(7)ディスクアダプタ42の起動されたデータ転送回路は、完了通知を受けると、ディスクアダプタ42のメモリからリードデータを読み出し、キャッシュメモリ40bに格納する。   (7) Upon receiving the completion notification, the activated data transfer circuit of the disk adapter 42 reads the read data from the memory of the disk adapter 42 and stores it in the cache memory 40b.

(8)ディスクアダプタ42の起動されたデータ転送回路は、リード転送が完了すると、キャッシュマネージャ40に、割り込みによる完了通知を行う。   (8) When the read transfer is completed, the activated data transfer circuit of the disk adapter 42 notifies the cache manager 40 of completion by interruption.

(9)キャッシュマネージャ40の制御部42aは、ディスクアダプタ42の割り込み要因を得て、リード転送を確認する。   (9) The control unit 42a of the cache manager 40 obtains the interrupt factor of the disk adapter 42 and confirms the read transfer.

(10)キャッシュマネージャ40の制御部42aは、ディスクアダプタ42の終了ポインタを調べ、リード転送完了を確認する。   (10) The control unit 42a of the cache manager 40 checks the end pointer of the disk adapter 42 and confirms the completion of the read transfer.

このように、十分な性能を得るためには、全ての接続が高いスループットを持つ必要があるが、キャッシュ制御部40aとディスクアダプタ42との間には、信号のやり取りが多く(図では、7回)、特に、低いレイテンシのバスが必要となる。   As described above, in order to obtain sufficient performance, all connections need to have high throughput, but there are many signal exchanges between the cache control unit 40a and the disk adapter 42 (in the figure, 7). Times), especially low latency buses are required.

この実施例では、PCI-Express(4レーン)と、Fibre Channel(4G)を、どちらも高いスループットの接続として採用しているが、PCI-Expressが低いレイテンシの接続なのに対して、Fibre Channelは比較的レイテンシの大きな(データ転送に時間のかかる) 接続である。   In this example, both PCI-Express (4 lanes) and Fiber Channel (4G) are used as high-throughput connections, but PCI-Express is a low-latency connection, whereas Fiber Channel is a comparison. A connection with a large dynamic latency (data transfer takes time).

そこで、第2の従来技術では、CM10とDA13、CA11との間のRT14(図12参照)には、レイテンシが高いFibre Channelを採用できないのに対して、本発明では、図1の構成のため、BRT5−0〜5−7に,Fibre Channelを採用することができる。   Therefore, in the second conventional technique, the RT 14 (see FIG. 12) between the CM 10 and the DA 13 and the CA 11 cannot employ a high-latency Fiber Channel. In the present invention, the configuration shown in FIG. Fiber Channels can be adopted for BRTs 5-0 to 5-7.

低いレイテンシを実現するためには、バスの信号本数をある程度より減らすことができないが、本発明では、ディスクアダプタ42とBRT5−0間の接続には、信号線本数の少ないFibre Channelを採用することができ、バックパネル上の信号本数が少なくなり、実装上で有効である。   In order to achieve a low latency, the number of bus signals cannot be reduced to some extent. However, in the present invention, a Fiber Channel with a small number of signal lines is used for the connection between the disk adapter 42 and the BRT 5-0. This reduces the number of signals on the back panel and is effective in mounting.

次に、ライト動作を説明する。ホストコンピュータのいずれかから対応するチャネルアダプタ41a〜41dを介してライト要求を受け取った場合、当該ライト要求のコマンドとライトデータとを受信したチャネルアダプタ41a〜41dは、キャッシュマネージャ40に対して、ライトデータを書き込むべきキャッシュメモリ40bのアドレスを尋ねる。   Next, the write operation will be described. When a write request is received from any of the host computers via the corresponding channel adapters 41a to 41d, the channel adapters 41a to 41d that have received the write request command and write data write to the cache manager 40. The address of the cache memory 40b to which data is to be written is inquired.

そして、このチャネルアダプタ41a〜41dがキャッシュマネージャ40からの応答を受け取ると、キャッシュマネージャ40のキャッシュメモリ40bにライトデータを書き込むとともに、当該キャッシュマネージャ40とは異なる少なくとも1つのキャッシュマネージャ40(つまり、異なる制御モジュール4−0〜4−7のキャッシュマネージャ40)内のキャッシュメモリ40bにもライトデータを書き込む。このため、DMAエンジン43を起動し、FRT6−0,6−1を介し、他の制御モジュール4−0〜4−7のキャッシュマネージャ40内のキャッシュメモリ40bにもライトデータを書き込む。   When the channel adapters 41a to 41d receive a response from the cache manager 40, the write data is written into the cache memory 40b of the cache manager 40, and at least one cache manager 40 different from the cache manager 40 (that is, different) Write data is also written to the cache memory 40b in the cache manager 40) of the control modules 4-0 to 4-7. For this reason, the DMA engine 43 is activated, and write data is written into the cache memory 40b in the cache manager 40 of the other control modules 4-0 to 4-7 via the FRTs 6-0 and 6-1.

ここで、少なくとも異なる2つの制御モジュール4−0〜4−7のキャッシュメモリ40bにライトデータを書き込むのは、データを2重化(ミラーリング)することで、予期しない制御モジュール4−0〜4−7もしくはキャッシュマネージャ40のハード故障の場合にも、データの喪失を防ぐためである。   Here, the write data is written to the cache memory 40b of at least two different control modules 4-0 to 4-7 by duplicating the data (mirroring), thereby causing the unexpected control modules 4-0 to 4- This is to prevent data loss even in the case of 7 or a hardware failure of the cache manager 40.

最後に、これら複数のキャッシュメモリ40bへのライトデータの書き込みが正常に終了すると、チャネルアダプタ41a〜41dがホストコンピュータ3−0〜3−31に対して完了通知を行ない、処理を終了する。   Finally, when the writing of the write data to the plurality of cache memories 40b ends normally, the channel adapters 41a to 41d notify the host computers 3-0 to 3-31 of completion, and the processing ends.

更に、このライトデータを、対象とするディスクドライブに、書き戻す(ライトバックという)必要がある。キャッシュ制御部40aは、内部スケジュールに従い、キャッシュメモリ40bのライトデータを、当該対象データを保持しているディスクドライブ200にライトバックする。このディスクドライブとのライト処理を、図6で説明する。   Furthermore, it is necessary to write back this write data to the target disk drive (referred to as write back). The cache control unit 40a writes back the write data in the cache memory 40b to the disk drive 200 holding the target data according to the internal schedule. The write process with this disk drive will be described with reference to FIG.

(1)キャッシュマネージャ40の制御部40a(CPU)は、キャッシュメモリ40bのディスクリプタ領域に、FCヘッダとディスクリプタを作成する。ディスクリプタは、データ転送(DMA)回路に対して、データ(DMA)転送を要求する命令であり、FCヘッダのキャッシュメモリ上のアドレス、転送したいデータのキャッシュメモリ上でのアドレスとデータバイト数、データ転送のディスクの論理アドレスを含む。   (1) The control unit 40a (CPU) of the cache manager 40 creates an FC header and a descriptor in the descriptor area of the cache memory 40b. The descriptor is an instruction for requesting data (DMA) transfer to the data transfer (DMA) circuit. The address on the cache memory of the FC header, the address on the cache memory of the data to be transferred, the number of data bytes, the data Contains the logical address of the transfer disk.

(2)ディスクアダプタ42のデータ転送回路を起動する。   (2) The data transfer circuit of the disk adapter 42 is activated.

(3)ディスクアダプタ42の起動されたデータ転送回路は、キャッシュメモリ40bからディスクリプタを読み出す。   (3) The activated data transfer circuit of the disk adapter 42 reads the descriptor from the cache memory 40b.

(4)ディスクアダプタ42の起動されたデータ転送回路は、キャッシュメモリ40bからFCヘッダを読み出す。   (4) The activated data transfer circuit of the disk adapter 42 reads the FC header from the cache memory 40b.

(5)ディスクアダプタ42の起動されたデータ転送回路は、ディスクリプタを解読し、要求ディスク、先頭アドレス、バイト数を得て、キャッシュメモリ40bからデータを読み出す。   (5) The activated data transfer circuit of the disk adapter 42 decodes the descriptor, obtains the requested disk, head address, and number of bytes, and reads the data from the cache memory 40b.

(6)読み出し完了後、ディスクアダプタ42のデータ転送回路は、FCヘッダとデータを、ファイバーチャネル500(510)より、対象ディスクドライブ200に転送する。ディスクドライブ200は、転送されたデータを内臓するディスクに書き込む。   (6) After the reading is completed, the data transfer circuit of the disk adapter 42 transfers the FC header and data to the target disk drive 200 from the fiber channel 500 (510). The disk drive 200 writes the transferred data to a built-in disk.

(7)ディスクドライブ200は、データの書き込みを完了すると、完了通知を、ファイバーチャネル500(510)を介しディスクアダプタ42のデータ転送回路に送信する。   (7) Upon completion of data writing, the disk drive 200 transmits a completion notification to the data transfer circuit of the disk adapter 42 via the fiber channel 500 (510).

(8)ディスクアダプタ42の起動されたデータ転送回路は、完了通知を受けると、キャッシュマネージャ40に、割り込みによる完了通知を行う。   (8) Upon receiving the completion notification, the activated data transfer circuit of the disk adapter 42 notifies the cache manager 40 of completion by interruption.

(9)キャッシュマネージャ40の制御部42aは、ディスクアダプタ42の割り込み要因を得て、ライト動作を確認する。   (9) The control unit 42a of the cache manager 40 obtains the interrupt factor of the disk adapter 42 and confirms the write operation.

(10)キャッシュマネージャ40の制御部42aは、ディスクアダプタ42の終了ポインタを調べ、ライト動作完了を確認する。   (10) The control unit 42a of the cache manager 40 checks the end pointer of the disk adapter 42 and confirms the completion of the write operation.

この図6でも、図5でも、矢印は、データなどのパケットの転送を示し、コの字型の矢印は、データのリードを表しており、一方のデータ要求に対してデータが送り返されているのを示す。このように、DA内の制御回路の起動と終了状態の確認が必要となるため、一回のデータ転送を行うのにCM40とDA42の間では、7回のやり取りが行われている。DA42とディスク200の間は2回である。   In both FIG. 6 and FIG. 5, the arrow indicates the transfer of a packet such as data, and the U-shaped arrow indicates the read of data, and data is sent back in response to one data request. Of As described above, since it is necessary to confirm the start and end state of the control circuit in the DA, seven exchanges are performed between the CM 40 and the DA 42 to perform one data transfer. There are two times between the DA 42 and the disk 200.

これによって、キャッシュ制御部40とディスクアダプタ42との間の接続に、低いレイテンシが要求され、一方、ディスクアダプタ42とディスクデバイス200とは、信号本数の少ないインタフェースを利用できることが理解できる。   Thus, it can be understood that a low latency is required for the connection between the cache control unit 40 and the disk adapter 42, while the disk adapter 42 and the disk device 200 can use an interface with a small number of signals.

[実装構造]
図7は、本発明による制御モジュールの実装構成例を示す図、図8は、図7の制御モジュールとディスクエンクロージャとを含む実装構成例を示す図、図9及び図10は、かかる実装構成によるデータストレージシステムのブロック図である。
[Mounting structure]
FIG. 7 is a diagram showing an example of the mounting configuration of the control module according to the present invention, FIG. 8 is a diagram showing an example of the mounting configuration including the control module and the disk enclosure of FIG. 7, and FIGS. 1 is a block diagram of a data storage system.

図8に示すように、ストレージ装置の筐体の上側には、4台のディスクエンクロージャ2−0,2−1,2−8,2−9が搭載される。ストレージ装置の下側半分は、制御回路を搭載する。この下側半分は、図7のように、バックパネル7によって前後に分割されている。バックパネル7の前方、後方には、それぞれスロットが設けられる。図9の大規模構成のストレージシステムでは、前方側(Front)には、8枚(8個)のCM4−0〜4−7が、後方には、2枚(2個)のFRT6−0,6−1、8枚(8個)のBRT5−0〜5−7及び、電源制御などを担当するサービスプロセッサSVC(図1、図9では図示しない)が配置される。   As shown in FIG. 8, four disk enclosures 2-0, 2-1, 2-8, 2-9 are mounted on the upper side of the housing of the storage apparatus. The lower half of the storage device is equipped with a control circuit. As shown in FIG. 7, the lower half is divided back and forth by the back panel 7. Slots are provided in front and rear of the back panel 7, respectively. In the large-scale storage system of FIG. 9, eight (8) CMs 4-0 to 4-7 are on the front side (Front), and two (2) FRTs 6-0, 6-1 and 8 (eight) BRTs 5-0 to 5-7 and a service processor SVC (not shown in FIGS. 1 and 9) in charge of power control and the like are arranged.

図7では、8枚のCM4−0〜4−7と2枚のFRT6−0,6−1が、バックパネル7を経由して、4レーンのPCI-Expressで接続される。PCI−Expessは、4本(差動、両方向のため)の信号線であり、4レーン分で、16本の信号線となるから、この信号本数は16×16=256本となる。また、8枚のCM4−0〜4−7と8枚のBRT5−0〜5−7がバックパネル7を経由して、Fibre Channelで接続される。Fibre Channelは、差動、両方向のため、1×2×2=4の信号線であり、この信号本数は、8×8×4=256本となる。   In FIG. 7, eight CMs 4-0 to 4-7 and two FRTs 6-0 and 6-1 are connected via the back panel 7 by 4-lane PCI-Express. PCI-Express is four signal lines (because of differential and bi-directional), and there are 16 signal lines for 4 lanes, so the number of signals is 16 × 16 = 256. Also, eight CMs 4-0 to 4-7 and eight BRTs 5-0 to 5-7 are connected via the back panel 7 via Fiber Channel. Since the Fiber Channel is differential and bidirectional, there are 1 × 2 × 2 = 4 signal lines, and the number of signals is 8 × 8 × 4 = 256.

このように、接続箇所毎にバスを使い分けることにより、図9のような大規模構成のストレージシステムでも、CM4−0〜4−7の8枚、FRT6−0,6−1の2枚、BRT5−0〜5−7の8枚の接続が、512本の信号線によって実現できる。この信号線数は、バックパネル基板7に十分に実装可能な信号数であり、また基板の信号層数も6層で十分であり、コスト的にも実現可能な範囲内にある。   In this way, by using a different bus for each connection location, even in a large-scale storage system as shown in FIG. 9, eight CM4-0 to 4-7, two FRT6-0 and 6-1, BRT5 Eight connections of −0 to 5-7 can be realized by 512 signal lines. The number of signal lines is the number of signals that can be sufficiently mounted on the back panel substrate 7, and the number of signal layers of the substrate is sufficient with six layers, and is in a range that can be realized in terms of cost.

又、図8では、4台のディスクエンクロージャ2−0,2−1,2−8,2−9(図9参照)を搭載するが、他のディスクエンクロージャ2−3〜2−7、2−10〜2−31は、別の筐体に設けられる。   In FIG. 8, four disk enclosures 2-0, 2-1, 2-8, and 2-9 (see FIG. 9) are mounted, but the other disk enclosures 2-3 to 2-7, 2- 10-2-31 are provided in another housing.

更に、図10のような中規模ストレージシステムでも、同様の構成で実現できる。即ち、4台のCM4−0〜4−3、4台のBRT5−0〜5−3、2台のFRT6−0〜6−1、16モジュールのディスクエンクロージャ2−0〜2−15の構成でも、同一のアーキテクチャで実現できる。   Furthermore, even a medium-scale storage system as shown in FIG. 10 can be realized with the same configuration. That is, even in the configuration of four CM4-0 to 4-3, four BRT5-0 to 5-3, two FRT6-0 to 6-1 and 16 module disk enclosures 2-0 to 2-15. Can be realized with the same architecture.

しかも、各制御モジュール4−0〜4−7のディスクアダプタ42a,42bそれぞれは、BRTにより、すべてのディスクドライブ200に接続され、各制御モジュール4−0〜4−7が、いずれのディスクアダプタ42a,42bを通じても、すべてのディスクドライブにアクセスできる。   Moreover, each of the disk adapters 42a and 42b of each control module 4-0 to 4-7 is connected to all the disk drives 200 by BRT, and each control module 4-0 to 4-7 is connected to any disk adapter 42a. , 42b, all the disk drives can be accessed.

また、これらディスクアダプタ42a,42bそれぞれは、制御モジュール4−0〜4−7の主要ユニットであるキャッシュマネージャ40の基板上に実装され、各ディスクアダプタ42a,42bは、例えばPCI−Express等の低レンテシイバスによってキャッシュマネージャ40と直接結合でき、高いスループットを実現することができる。   Each of these disk adapters 42a and 42b is mounted on the board of the cache manager 40 which is a main unit of the control modules 4-0 to 4-7, and each of the disk adapters 42a and 42b is a low level such as PCI-Express. The latency bus can be directly coupled to the cache manager 40 to achieve high throughput.

更に、各制御モジュール4−0〜4−7のディスクアダプタ42a,42bとBRT5−0〜5−7との間は、1対1のメッシュ接続になるため、システムがそなえる制御モジュール4−0〜4−7の数(つまり、ディスクアダプタ42a,42bの数)が増大しても、ディスクアダプタ42a,42bとBRT5−0〜5−7との間の接続に、インターフェースを構成する信号数が少ないファイバチャネルを採用することができ、実装の課題を解決することができる。   Further, since the one-to-one mesh connection is made between the disk adapters 42a and 42b of each control module 4-0 to 4-7 and the BRT 5-0 to 5-7, the control module 4-0 provided in the system. Even if the number of 4-7 (that is, the number of disk adapters 42a and 42b) increases, the number of signals constituting the interface is small in the connection between the disk adapters 42a and 42b and the BRTs 5-0 to 5-7. A fiber channel can be employed and the mounting problem can be solved.

また、各制御モジュール4−0〜4−7間(つまり、各制御モジュール4−0〜4−7のキャッシュマネージャ40間)の通信やデータ転送処理では、データ転送量が多く、通信にかかる時間を短くすることが望ましく、高いスループットと同時に低いレイテンシ(速い応答速度)が要求されるため、図2に示すごとく、各制御モジュール4−0〜4−7のDMAエンジン43とFRT6−0,6−1とは、高いスループットと低いレイテンシとの両方の要求を満たすべく設計された、高速シリアル伝送を利用したバスPCI-Expressによって接続されている。   Further, in communication and data transfer processing between the control modules 4-0 to 4-7 (that is, between the cache managers 40 of the control modules 4-0 to 4-7), the amount of data transfer is large and the time required for communication is large. It is desirable to shorten the DMA engine 43 of each of the control modules 4-0 to 4-7 and the FRTs 6-0, 6 as shown in FIG. -1 is connected by a bus PCI-Express using high-speed serial transmission, which is designed to satisfy the requirements of both high throughput and low latency.

[他の実施の形態]
前述の実施の形態では、制御モジュール内の信号線を、PCI-Expressで説明したが, Rapid-IO等の他の高速シリアルバスを利用できる。制御モジュール内のチャネルアダプタやディスクアダプタの数は、必要に応じて、増減できる。
[Other embodiments]
In the above-described embodiment, the signal lines in the control module have been described by PCI-Express, but other high-speed serial buses such as Rapid-IO can be used. The number of channel adapters and disk adapters in the control module can be increased or decreased as necessary.

又、ディスクドライブとしては、ハードディスクドライブ、光ディスクドライブ、光磁気ディスクドライブ等の記憶デバイスを適用できる。   As the disk drive, a storage device such as a hard disk drive, an optical disk drive, or a magneto-optical disk drive can be applied.

以上、本発明を実施の形態により説明したが、本発明の趣旨の範囲内において、本発明は、種々の変形が可能であり、本発明の範囲からこれらを排除するものではない。   As mentioned above, although this invention was demonstrated by embodiment, in the range of the meaning of this invention, this invention can be variously deformed, These are not excluded from the scope of the present invention.

(付記1)データを記憶する複数の記憶デバイスと、上位からのアクセス指示に応じて、前記記憶デバイスをアクセス制御する複数の制御モジュールとを有し、前記制御モジュールは、前記記憶デバイスに記憶されたデータの一部を格納するキャッシュメモリと、前記キャッシュメモリの制御を行うキャッシュ制御ユニットと、前記上位とのインターフェース制御を行う第1のインターフェース部と、前記複数の記憶デバイスとのインターフェース制御を行う第2のインターフェース部とを有し、更に、前記複数の制御モジュールと前記複数の記憶デバイスとの間に設けられ、各制御モジュールの前記第2のインターフェース部と前記複数の記憶デバイスとを選択的に切り替える複数の第1のスイッチユニットを設け、前記複数の制御モジュールと前記複数の第1のスイッチユニットとをバックパネルで接続したことを特徴とするデータストレージシステム。   (Additional remark 1) It has a some storage device which memorize | stores data, and a some control module which carries out access control of the said storage device according to the access instruction from a high-order, The said control module is memorize | stored in the said storage device Interface control with a plurality of storage devices, a cache memory that stores a part of the data, a cache control unit that controls the cache memory, a first interface unit that performs interface control with the host, and the storage device A second interface unit, and is provided between the plurality of control modules and the plurality of storage devices, and selectively selects the second interface unit and the plurality of storage devices of each control module. A plurality of first switch units for switching to the plurality of control modules. Data storage system is characterized in that connecting the first switch unit le and the plurality in the back panel.

(付記2)前記制御モジュールは、キャッシュ制御ユニットと前記第2のインターフェース部とを、低レンテシイの高速シリアスバスで接続するとともに、前記第2のインターフェース部と前記複数の第1のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記1のデータストレージシステム。   (Supplementary Note 2) The control module connects the cache control unit and the second interface unit with a low-latency high-speed serial bus, and connects the second interface unit and the plurality of first switch units. The data storage system according to appendix 1, wherein the back panel is connected by a serial bus.

(付記3)前記制御モジュールは、他の前記制御モジュールと通信するための通信ユニットを有し、更に、前記各制御モジュールの通信ユニットを選択的に接続する第2のスイッチユニットを有することを特徴とする付記1のデータストレージシステム。   (Additional remark 3) The said control module has a communication unit for communicating with the said other control module, and also has a 2nd switch unit which selectively connects the communication unit of each said control module. The data storage system of appendix 1.

(付記4)各制御モジュールの通信ユニットと第2のスイッチユニットとを、前記バックパネルで接続したことを特徴とする付記3のデータストレージシステム。   (Additional remark 4) The data storage system of Additional remark 3 characterized by connecting the communication unit of each control module, and the 2nd switch unit with the said back panel.

(付記5)前記第1のスイッチユニットと前記複数の記憶デバイスをケーブルで接続したことを特徴とする付記1のデータストレージシステム。   (Supplementary note 5) The data storage system according to supplementary note 1, wherein the first switch unit and the plurality of storage devices are connected by a cable.

(付記6)前記記憶デバイスは、複数のアクセスポートを有し、前記複数のアクセスポートに、複数の異なる前記第1のスイッチユニットを接続したことを特徴とする付記1のデータストレージシステム。   (Supplementary note 6) The data storage system according to supplementary note 1, wherein the storage device has a plurality of access ports, and a plurality of different first switch units are connected to the plurality of access ports.

(付記7)前記制御モジュールは、前記キャッシュ制御ユニットと前記第2のインターフェース部とを、複数レーンの高速シリアスバスで接続するとともに、前記第2のインターフェース部と前記複数の第1のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記2のデータストレージシステム。   (Supplementary Note 7) The control module connects the cache control unit and the second interface unit with a high-speed serial bus having a plurality of lanes, and includes the second interface unit and the plurality of first switch units. The data storage system according to appendix 2, wherein the back panel is connected by a serial bus.

(付記8)前記高速シリアルバスが、PCI-Expressバスであることを特徴とする付記2のデータストレージシステム。   (Supplementary note 8) The data storage system according to supplementary note 2, wherein the high-speed serial bus is a PCI-Express bus.

(付記9)前記シリアルバスが、ファイバチャネルであることを特徴とする付記2のデータストレージシステム。   (Supplementary note 9) The data storage system according to supplementary note 2, wherein the serial bus is a fiber channel.

(付記10)前記制御モジュールは、前記キャッシュ制御ユニットと前記第1のインターフェース部とを、低レンテシイの高速シリアスバスで接続したことを特徴とする付記2のデータストレージシステム。   (Supplementary note 10) The data storage system according to supplementary note 2, wherein the control module connects the cache control unit and the first interface unit with a low-latency high-speed serial bus.

(付記11)上位からのアクセス指示に応じて、データを記憶する複数の記憶デバイスをアクセス制御するデータストレージ制御装置において、前記記憶デバイスに記憶されたデータの一部を格納するキャッシュメモリと、前記キャッシュメモリの制御を行うキャッシュ制御ユニットと、前記上位とのインターフェース制御を行う第1のインターフェース部と、前記複数の記憶デバイスとのインターフェース制御を行う第2のインターフェース部とを有する複数の制御モジュールと、前記複数の制御モジュールと前記複数の記憶デバイスとの間に設けられ、各制御モジュールの前記第2のインターフェース部と前記複数の記憶デバイスとを選択的に切り替える複数の第1のスイッチユニットを有し、前記複数の制御モジュールと前記複数の第1のスイッチユニットとをバックパネルで接続したことを特徴とするデータストレージ制御装置。   (Supplementary Note 11) In a data storage control apparatus that controls access to a plurality of storage devices that store data in response to an access instruction from a host, a cache memory that stores a part of the data stored in the storage device, A plurality of control modules having a cache control unit that controls the cache memory, a first interface unit that performs interface control with the host, and a second interface unit that performs interface control with the plurality of storage devices; A plurality of first switch units that are provided between the plurality of control modules and the plurality of storage devices and selectively switch between the second interface unit of each control module and the plurality of storage devices. And the plurality of control modules and the plurality of first modules. Data storage control apparatus according to claim and a switch unit that is connected with the back panel.

(付記12)前記制御モジュールは、キャッシュ制御ユニットと前記第2のインターフェース部とを、低レンテシイの高速シリアスバスで接続するとともに、前記第2のインターフェース部と前記複数の第1のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記11のデータストレージ制御装置。   (Supplementary Note 12) The control module connects the cache control unit and the second interface unit with a low-latency high-speed serial bus, and connects the second interface unit and the plurality of first switch units. The data storage control device according to appendix 11, wherein the back panel is connected by a serial bus.

(付記13)前記制御モジュールは、他の前記制御モジュールと通信するための通信ユニットを有し、更に、前記各制御モジュールの通信ユニットを選択的に接続する第2のスイッチユニットを有することを特徴とする付記11のデータストレージ制御装置。   (Additional remark 13) The said control module has a communication unit for communicating with the said other control module, and also has a 2nd switch unit which selectively connects the communication unit of each said control module. The data storage control device according to appendix 11.

(付記14)各制御モジュールの通信ユニットと第2のスイッチユニットとを、前記バックパネルで接続したことを特徴とする付記13のデータストレージ制御装置。   (Supplementary note 14) The data storage control device according to supplementary note 13, wherein a communication unit and a second switch unit of each control module are connected by the back panel.

(付記15)前記第1のスイッチユニットと前記複数の記憶デバイスをケーブルで接続したことを特徴とする付記1のデータストレージ制御装置。   (Supplementary note 15) The data storage control device according to supplementary note 1, wherein the first switch unit and the plurality of storage devices are connected by a cable.

(付記16)複数の異なる前記第1のスイッチユニットは、複数のアクセスポートを有する前記記憶デバイスの各々に接続したことを特徴とする付記11のデータストレージ制御装置。   (Supplementary note 16) The data storage control device according to supplementary note 11, wherein a plurality of different first switch units are connected to each of the storage devices having a plurality of access ports.

(付記17)前記制御モジュールは、前記キャッシュ制御ユニットと前記第2のインターフェース部とを、複数レーンの高速シリアスバスで接続するとともに、前記第2のインターフェース部と前記複数の第1のスイッチユニットとを、前記バックパネルで、シリアルバスで接続したことを特徴とする付記12のデータストレージ制御装置。   (Supplementary Note 17) The control module connects the cache control unit and the second interface unit with a high-speed serial bus having a plurality of lanes, and also includes the second interface unit and the plurality of first switch units. The data storage control device according to appendix 12, wherein the back panel is connected by a serial bus.

(付記18)前記高速シリアルバスが、PCI-Expressバスであることを特徴とする付記12のデータストレージ制御装置。   (Supplementary note 18) The data storage control device according to supplementary note 12, wherein the high-speed serial bus is a PCI-Express bus.

(付記19)前記シリアルバスが、ファイバチャネルであることを特徴とする付記12のデータストレージ制御装置。   (Supplementary note 19) The data storage control device according to supplementary note 12, wherein the serial bus is a fiber channel.

(付記20)前記制御モジュールは、前記キャッシュ制御ユニットと前記第1のインターフェース部とを、低レンテシイの高速シリアスバスで接続したことを特徴とする付記12のデータストレージ制御装置。   (Supplementary note 20) The data storage control device according to supplementary note 12, wherein the control module connects the cache control unit and the first interface unit with a low-latency high-speed serial bus.

複数の制御モジュールの第2のインターフェース複数の第1のスイッチユニット接続し、複数のディスクエンクロージャの各々の先頭の単位ディスクエンクロージャの一対の信号線の各々を、異なる第1のスイッチユニットに接続したため、全ての制御モジュールは、全ての記憶デバイスにアクセスできる冗長性を維持でき、且つこのように接続形式で制御モジュールの数やディスクエンクロージャの数が増大しても、単位ディスクエンクロージャを直列接続し、制御モジュールと第1のスイッチユニットとをバックパネルで、インターフェースを構成する信号数が少ないシリアルバスで接続できるため、プリント基板での実装が可能となる。このため、大規模から小規模までのアーキテクチャを統一化するのに有効であり、装置のコストダウンに寄与できる。 Connect each second interface of the plurality of control modules to the plurality of first switch units, each of the pair of signal lines of the head unit disk enclosures of each of the plurality of disk enclosures, the different first switch units As a result, all control modules can maintain redundancy to access all storage devices, and even if the number of control modules and disk enclosures increases in this way, unit disk enclosures are connected in series. Since the control module and the first switch unit can be connected by a back panel and connected by a serial bus with a small number of signals constituting the interface, mounting on a printed circuit board is possible. For this reason, it is effective in unifying the architecture from a large scale to a small scale, and can contribute to the cost reduction of the apparatus.

1 ストレージシステム
2−0〜2−35 ディスクエンクロージャ
4−0〜4−7 制御ユニット
5−0〜5−7 バックエンドルータ
6−0〜6−1 フロントエンドルータ
7 バックパネル
40 制御モジュール
40a キャッシュ制御ユニット
40b キャッシュメモリ
41 チャネルアダプタ
42 デバイスアダプタ
43 通信ユニット(DMAエンジン)
1 Storage system 2-0 to 2-35 Disk enclosure 4-0 to 4-7 Control unit 5-0 to 5-7 Backend router 6-0 to 6-1 Frontend router 7 Back panel 40 Control module 40a Cache control Unit 40b Cache memory 41 Channel adapter 42 Device adapter 43 Communication unit (DMA engine)

Claims (2)

データを記憶する複数のディスク記憶デバイスを一対の信号線に対し並列に接続して構成された複数のディスクエンクロージャと、
上位からのアクセス指示に応じて、前記ディスク記憶デバイスをアクセス制御する複数の制御モジュールとを有し、
前記制御モジュールの各々は、
前記上位とのインターフェース制御を行う第1のインターフェース部と、
前記ディスク記憶デバイスとのインターフェース制御を行う第2のインターフェース部と、
前記アクセス指示に応じて、前記第2のインターフェース部より、前記ディスク記憶デバイスをアクセス制御する制御ユニットとを有し、
各前記制御モジュールの前記第2のインターフェース部に接続され、前記各制御モジュールの前記第2のインターフェース部と前記複数のディスクエンクロージャとを選択的に切り替える複数の第1のスイッチユニットを搭載する複数の第1の基板と、
少なくとも前記制御ユニットと、前記第2のインターフェース部とを設けた複数の第2の基板と、
前記複数の第1の基板と、前記複数の第2の基板が取り付けられ、前記第2のインターフェース部前記複数の第1のスイッチユニットの各々に個別のシリアルバスで接続するバックパネルとを設け
前記複数のディスクエンクロージャの各々は、複数のディスク記憶デバイスを一対の信号線に対し並列に接続した単位ディスクエンクロージャを複数直列に接続して構成され、且つ前記複数のディスクエンクロージャの各々の先頭の単位ディスクエンクロージャの一対の信号線の各々が、異なる第1のスイッチユニットに接続された
ことを特徴とするデータストレージシステム。
A plurality of disk enclosures configured by connecting a plurality of disk storage devices for storing data in parallel to a pair of signal lines ;
A plurality of control modules for controlling access to the disk storage device in response to an access instruction from a host;
Each of the control modules
A first interface unit that performs interface control with the host;
A second interface unit for performing interface control with the disk storage device;
A control unit for controlling access to the disk storage device from the second interface unit in response to the access instruction;
A plurality of first switch units that are connected to the second interface unit of each of the control modules and selectively switch between the second interface unit and the plurality of disk enclosures of each of the control modules. A first substrate;
A plurality of second substrates provided with at least the control unit and the second interface unit;
Wherein a plurality of first substrate, said plurality of second substrate is mounted, and a back panel for connecting each said second interface in a separate serial bus to each of the plurality of first switch units Provided ,
Each of the plurality of disk enclosures is configured by connecting a plurality of unit disk enclosures in which a plurality of disk storage devices are connected in parallel to a pair of signal lines, and the first unit of each of the plurality of disk enclosures A data storage system , wherein each of a pair of signal lines of a disk enclosure is connected to a different first switch unit .
前記第1の基板は、
前記制御ユニットにバスで接続され、他の前記制御モジュールと通信するための通信ユニットを有し、
更に、前記各制御モジュールの通信ユニットを選択的に接続する第2のスイッチユニットを、前記バックパネルに搭載し、
前記各制御モジュールの通信ユニットを、前記第2のスイッチユニットとを、前記バックパネルで電気的に接続する
ことを特徴とする請求項1のデータストレージシステム。
The first substrate is
A communication unit connected to the control unit by a bus and communicating with the other control module;
Furthermore, a second switch unit for selectively connecting the communication units of the respective control modules is mounted on the back panel,
The data storage system according to claim 1 , wherein the communication unit of each control module is electrically connected to the second switch unit by the back panel .
JP2009273376A 2009-12-01 2009-12-01 Data storage system Expired - Fee Related JP4985750B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009273376A JP4985750B2 (en) 2009-12-01 2009-12-01 Data storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009273376A JP4985750B2 (en) 2009-12-01 2009-12-01 Data storage system

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2005022121A Division JP4440127B2 (en) 2004-11-30 2005-01-28 Data storage system and data storage control device

Publications (2)

Publication Number Publication Date
JP2010049716A JP2010049716A (en) 2010-03-04
JP4985750B2 true JP4985750B2 (en) 2012-07-25

Family

ID=42066681

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009273376A Expired - Fee Related JP4985750B2 (en) 2009-12-01 2009-12-01 Data storage system

Country Status (1)

Country Link
JP (1) JP4985750B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6540204B2 (en) 2015-04-30 2019-07-10 富士通株式会社 Relay device

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63285634A (en) * 1987-05-19 1988-11-22 Nec Corp Information processor
JP2686393B2 (en) * 1992-03-31 1997-12-08 富士通株式会社 Magnetic disk drive with off-track measurement function
KR970006398B1 (en) * 1992-05-26 1997-04-28 후지쓰 가부시끼가이샤 Magnetic disk device
JPH0695942A (en) * 1992-09-11 1994-04-08 Sharp Corp Computer device having double filing function
JPH08263225A (en) * 1995-03-22 1996-10-11 Mitsubishi Electric Corp Data storage system and storage managing method
JPH10301683A (en) * 1997-04-25 1998-11-13 Hitachi Ltd Storage sub system
US6636934B1 (en) * 1999-06-30 2003-10-21 Emc Corporation Fiber channel port by-pass selector section for dual ported disk drives
JP2001256003A (en) * 2000-03-10 2001-09-21 Hitachi Ltd Disk array controller, its disk array control unit and its expanding method
JP4025032B2 (en) * 2001-06-26 2007-12-19 株式会社日立製作所 Disk control device and data access method thereof
US20030079018A1 (en) * 2001-09-28 2003-04-24 Lolayekar Santosh C. Load balancing in a storage network
JP2003162377A (en) * 2001-11-28 2003-06-06 Hitachi Ltd Disk array system and method for taking over logical unit among controllers
JP3714613B2 (en) * 2001-12-12 2005-11-09 インターナショナル・ビジネス・マシーンズ・コーポレーション Storage device, information processing device including the storage device, and information storage system recovery method
JP4166516B2 (en) * 2002-06-14 2008-10-15 株式会社日立製作所 Disk array device
JP2004118644A (en) * 2002-09-27 2004-04-15 Hitachi Ltd Disk array control system
JP4330889B2 (en) * 2003-01-20 2009-09-16 株式会社日立製作所 Method for installing software in storage device control apparatus, control method for storage device control apparatus, and storage device control apparatus
JP2004280364A (en) * 2003-03-14 2004-10-07 Hitachi Ltd Back plane mounting active module
JP4322031B2 (en) * 2003-03-27 2009-08-26 株式会社日立製作所 Storage device
JP2004240979A (en) * 2004-02-06 2004-08-26 Toshiba Corp Method for presenting service in train and service presentation system

Also Published As

Publication number Publication date
JP2010049716A (en) 2010-03-04

Similar Documents

Publication Publication Date Title
JP4413184B2 (en) Data storage system and data storage control device
KR100740080B1 (en) Data storage system and data storage control apparatus
US20140223097A1 (en) Data storage system and data storage control device
US7467238B2 (en) Disk controller and storage system
JP5903801B2 (en) Communication apparatus and ID setting method
JP2007122477A (en) Raid system, raid controller and its rebuild/copyback processing method
CN102081561A (en) Mirroring data between redundant storage controllers of a storage system
CN100347655C (en) Data storage system and data storage control device
JP2007206766A (en) Data storage system, data storage control device, and failure part diagnostic method
JP4441286B2 (en) Storage system
US7487293B2 (en) Data storage system and log data output method upon abnormality of storage control apparatus
JP4401305B2 (en) Configuration definition setting method of disk array device and disk array device
US7426658B2 (en) Data storage system and log data equalization control method for storage control apparatus
JP4985750B2 (en) Data storage system
JP4440127B2 (en) Data storage system and data storage control device
US20050149653A1 (en) Disk array device and method of changing the configuration of the disk array device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111220

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120403

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120416

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4985750

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150511

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees