KR100736645B1 - 데이터 기억 시스템 및 데이터 기억 제어 장치 - Google Patents

데이터 기억 시스템 및 데이터 기억 제어 장치 Download PDF

Info

Publication number
KR100736645B1
KR100736645B1 KR1020050053785A KR20050053785A KR100736645B1 KR 100736645 B1 KR100736645 B1 KR 100736645B1 KR 1020050053785 A KR1020050053785 A KR 1020050053785A KR 20050053785 A KR20050053785 A KR 20050053785A KR 100736645 B1 KR100736645 B1 KR 100736645B1
Authority
KR
South Korea
Prior art keywords
disk
control
cache
interface
unit
Prior art date
Application number
KR1020050053785A
Other languages
English (en)
Other versions
KR20060060534A (ko
Inventor
시게요시 오하라
가즈노리 마스야마
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2004347411A external-priority patent/JP4404754B2/ja
Priority claimed from JP2005022121A external-priority patent/JP4440127B2/ja
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20060060534A publication Critical patent/KR20060060534A/ko
Application granted granted Critical
Publication of KR100736645B1 publication Critical patent/KR100736645B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2002—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant
    • G06F11/2007—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media
    • G06F11/201—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where interconnections or communication control functionality are redundant using redundant communication media between storage system components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/16—Error detection or correction of the data by redundancy in hardware
    • G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
    • G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
    • G06F11/2089—Redundant storage control functionality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604—Improving or facilitating administration, e.g. storage management
    • G06F3/0605—Improving or facilitating administration, e.g. storage management by facilitating the interaction with a user or administrator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614—Improving the reliability of storage systems
    • G06F3/0619—Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629—Configuration or reconfiguration of storage systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0662—Virtualisation aspects
    • G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Security & Cryptography (AREA)
  • Memory System Of A Hierarchy Structure (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Abstract

본 발명은 복수의 기억 장치를 제어하는 복수의 제어 모듈을 갖는 기억 시스템에 관한 것으로, 제어 모듈의 수가 증가하더라도 저레이턴시의 응답을 유지하면서 실장 구성을 용이하게 하는 것을 목적으로 한다.
복수의 기억 장치(2-0∼2-35)를 백 엔드 라우터(5-0∼5-7)로 각 제어 모듈(4-0∼4-7)의 제2 인터페이스(42)에 접속하고, 모든 제어 모듈이 모든 기억 장치에 액세스할 수 있는 용장성(冗長性)을 유지한다. 또한, 제어 모듈과 제1 스위치 유닛을 백 패널(7)에 인터페이스를 구성하는 신호수가 적은 직렬 버스로 접속한다. 이에 따라, 프린트 기판에서의 실장이 가능하게 된다.

Description

데이터 기억 시스템 및 데이터 기억 제어 장치 {DATA STORAGE SYSTEM AND DATA STORAGE CONTROL DEVICE}
도 1은 본 발명의 일 실시예의 데이터 기억 시스템의 구성도.
도 2는 도 1의 제어 모듈의 구성도.
도 3은 도 1 및 도 2의 백 엔드 라우터와 디스크 인클로저의 구성도.
도 4는 도 1 및 도 3의 디스크 인클로저의 구성도.
도 5는 도 1 및 도 2 구성의 판독 처리의 설명도.
도 6은 도 1 및 도 2 구성의 기록 처리의 설명도.
도 7은 본 발명의 일 실시예의 제어 모듈의 실장 구성을 도시한 도면.
도 8은 본 발명의 일 실시예의 데이터 기억 시스템의 실장 구성예를 도시한 도면.
도 9는 본 발명의 일 실시예의 대규모 기억 시스템의 블록도.
도 10은 본 발명의 다른 실시예의 중규모 기억 시스템의 블록도.
도 11은 제1 종래의 기억 시스템의 구성도.
도 12는 제2 종래의 기억 시스템의 구성도.
도 13은 도 12의 제2 종래의 기억 시스템의 실장 구성을 도시한 도면.
<도면의 주요 부분에 대한 부호의 설명>
1 : 기억 시스템
2-0∼2-35 : 디스크 인클로저
4-0∼4-7 : 제어 유닛
5-0∼5-7 : 백 엔드 라우터
6-0∼6-1 : 프론트 엔드 라우터
7 : 백 패널
40 : 제어 모듈
40a : 캐시 제어 유닛
40b : 캐시 메모리
41 : 채널 어댑터
42 : 장치 어댑터
43 : 통신 유닛(DMA 엔진)
본 발명은 컴퓨터의 외부 기억 장치로서 이용되는 데이터 기억 시스템 및 데이터 기억 제어 장치의 구성에 관한 것으로서, 특히 디스크 장치를 다수 접속하는 데이터 기억 시스템을 고성능으로 유연하게 구성할 수 있는 유닛의 조합과 접속을 갖는 데이터 기억 시스템 및 데이터 기억 제어 장치에 관한 것이다.
최근, 여러 가지 데이터가 전자화되고, 컴퓨터 상에서 취급됨에 따라, 데이 터의 처리를 실행하는 호스트 컴퓨터와는 독립적으로 대량의 데이터를 효율적으로, 높은 신뢰성으로 저장할 수 있는 데이터 기억 장치(외부 기억 장치)의 중요성이 증가되고 있다.
이 데이터 기억 장치로서, 대량의 디스크 장치(예컨대, 자기 디스크나 광 디스크)와, 이들 대량의 디스크 장치를 제어하는 디스크 컨트롤러로 구성되는 디스크 어레이 장치가 이용되고 있다. 이 디스크 어레이 장치는 동시에 복수의 호스트 컴퓨터로부터의 디스크 액세스 요구를 접수하여 대량의 디스크에 대한 제어를 행할 수 있다.
최근에는 디스크 장치가 수1000대 이상, 기억 용량으로는 수백 테라바이트 이상의 디스크 장치군을 1대로 제어할 수 있는 디스크 어레이 장치도 제공되고 있다.
이러한 디스크 어레이 장치는 디스크의 캐쉬의 역할을 수행하는 메모리를 내장한다. 이에 따라, 호스트 컴퓨터로부터 판독 요구 및 기록 요구를 수신했을 때의 데이터로의 액세스 시간을 단축하여, 고성능화를 실현할 수 있다.
일반적으로, 디스크 어레이 장치는 복수의 주요 유닛, 즉 호스트 컴퓨터와의 접속 부분인 채널 어댑터, 디스크 드라이브와의 접속 부분인 디스크 어댑터, 캐시 메모리, 캐시 메모리의 제어를 담당하는 캐시 제어부 및 대량의 디스크 드라이브로 구성된다.
도 11은 제1 종래 기술의 설명도이다. 도 11에 도시된 디스크 어레이 장치(102)는 캐시 매니저(캐시 메모리와 캐시 제어부)(10)가 2개 구비되어 있고, 또한 각 캐시 매니저(10)에는 채널 어댑터(11) 및 디스크 어댑터(13)가 접속되어 있다.
또한, 2개의 캐시 매니저(10, 10)는 버스(10c)에 의해 서로 통신 가능하게 직접 접속되어 있다. 이 2개의 캐시 매니저(10, 10) 사이, 캐시 매니저(10)와 채널 어댑터(11) 사이 및 캐시 매니저(10)와 디스크 어댑터(13) 사이에는 낮은 레이턴시가 요구되기 때문에 PCI 버스에 의해 접속되어 있다.
더욱이, 채널 어댑터(11)는 예컨대 파이버 채널 또는 Ethernet(등록상표)에 의해 호스트 컴퓨터(도시 생략)에 접속되고, 디스크 어댑터(13)는 예컨대 파이버 채널의 케이블에 의해 디스크 인클로저(12)의 각 디스크 드라이브에 접속되어 있다.
또한, 디스크 인클로저(12)는 2개의 포트(예컨대, 파이버 채널 포트)를 가지며, 이들 2개의 포트가 다른 디스크 어댑터(13)에 접속되어 있다. 이에 따라, 용장성을 갖게 하여 고장 내성을 높이고 있다.
도 12는 제2 종래예의 디스크 어레이 장치(100)의 구성도이다. 도 12에 도시한 바와 같이, 종래의 디스크 어레이 장치(100)는 주요 유닛인 캐시 메모리와 캐시 제어부를 구비하는 캐시 매니저(도면 중 CM이라 표기)(10), 호스트 컴퓨터(도시 생략)와의 인터페이스인 채널 어댑터(도면 중 CA라 표기)(11), 복수의 디스크 드라이브를 구비하는 디스크 인클로저(12) 및 이 디스크 장치(12)와의 인터페이스인 디스크 어댑터(도면 중 DA라 표기)(13)를 구비한다.
더욱이, 캐시 매니저(10), 채널 어댑터(11) 및 디스크 어댑터(13) 사이를 서로 접속하고, 이들 주요 유닛간의 데이터 전송과 통신을 행하기 위한 라우터 (Router; 도면 중 RT라 표기)(14)가 구비되어 있다.
이러한 디스크 어레이 장치(100)에서는, 캐시 매니저(10)가 4개 구비되고, 이들 캐시 매니저(10)에 대응하여 4개의 라우터(14)가 구비되어 있다. 이들 캐시 매니저(10)와 라우터(14)는 1:1로 서로 접속되어 있고, 이것에 의해 복수의 캐시 매니저(10)간의 접속이 용장화되어 가용성이 고조되고 있다[예컨대, 일본 특허 공개 제2001-256003호 공보(도 1) 참조].
즉, 하나의 라우터(14)가 고장난 경우에도 다른 라우터(14)를 경유함으로써 복수의 캐시 매니저(10) 사이의 접속은 확보되어 있고, 이러한 경우에도 디스크 어레이 장치(100)는 통상의 동작을 계속할 수 있다.
또한, 이 디스크 어레이 장치(100)는 각 라우터(14)에 2개의 채널 어댑터(11)와 2개의 디스크 어댑터(13)가 접속되고, 디스크 어레이 장치(100)는 합계 8개의 채널 어댑터(11)와 합계 8개의 디스크 어댑터(13)를 구비하고 있다.
이들 채널 어댑터(11) 및 디스크 어댑터(13)는 캐시 매니저(10)와 라우터(14)와의 상호 접속에 의해 모든 캐시 매니저(10)와의 사이에서 통신이 가능하다.
또한, 채널 어댑터(11)는 예컨대 파이버 채널이나 Ethernet(등록상표)에 의해 데이터를 처리 대상으로 하는 호스트 컴퓨터(도시 생략)에 접속되어 있고, 디스크 어댑터(13)는 예컨대 파이버 채널의 케이블에 의해 디스크 인클로저(12)(구체적으로는 디스크 드라이브)에 접속된다.
그리고, 채널 어댑터(11)와 캐시 매니저(10) 사이 및 디스크 어댑터(13)와 캐시 매니저(10) 사이에서는, 호스트 컴퓨터로부터의 사용자 데이터뿐만 아니라, 디스크 어레이 장치(100)의 내부 동작의 일관성을 유지하기 위한 여러 가지 정보의 교환(예컨대, 복수의 캐시 메모리 사이의 데이터의 미러링 처리)이 이루어진다.
캐시 매니저(10), 채널 어댑터(11) 및 디스크 어댑터(13)와, 라우터(14) 사이는 디스크 어레이 장치(100)와 호스트 컴퓨터 사이나 디스크 드라이브 사이보다도 낮은 레이턴시(빠른 응답 속도)를 실현할 수 있는 인터페이스를 통해 접속된다. 예컨대, PCI(Peripheral Component Interconnect) 버스와 같이, LSI(Large Scale Integration)나 프린트 기판 사이를 접속하기 위해서 설계된 버스에 의해 캐시 매니저(10), 채널 어댑터(11) 및 디스크 어댑터(13)와, 라우터(14) 사이가 접속된다.
더욱이, 디스크 드라이브를 수용하는 디스크 인클로저(12)는 2개의 파이버 채널의 포트를 가지며, 각 포트에는 다른 라우터(14) 밑에 속하는 디스크 어댑터(13)가 접속된다. 이에 따라, 디스크 어댑터(13)의 고장시 또는 라우터(14)의 고장시에도 캐시 매니저(10)로부터의 접속이 절단되는 것을 방지할 수 있다.
최근의 전자화의 추진에 의해 보다 대용량이며, 고속의 데이터 기억 시스템이 요구되고 있다. 전술한 제1 종래의 디스크 어레이 장치에서는, 대용량, 고속화를 위해 캐시 매니저(10)나 채널 어댑터(11), 디스크 어댑터(13)를 더 증설하는 경우에는, 디스크 인클로저(12)의 포트수를 증가시키고, 또한 디스크 어댑터(13)와 디스크 인클로저(12)의 접속 케이블의 갯수를 증가시킬 필요가 있다.
디스크 인클로저(12)의 포트수를 증가시키는 것은 하나의 디스크 인클로저에 접속되는 디스크 어댑터의 수에 따른 케이블수가 증가하여 실장 공간이 커진다. 즉 , 장치의 대형화를 초래한다. 또한, 하나의 디스크 인클로저에서는, 2계통의 경로가 있으면, 충분한 용장 구성을 취할 수 있기 때문에, 포트수를 증가시키는 것은 좋은 계책이 아니다. 더구나, 접속되는 디스크 어댑터의 수는 일정하지 않고, 사용자의 요구에 따라 변화되기 때문에, 다수의 포트를 증설하면, 적은 디스크 어댑터에서는 낭비가 생겨 소수의 포트를 증설하면, 다수의 디스크 어댑터에 대응할 수 없다. 즉, 범용성을 잃게 된다.
한편, 제2 종래의 디스크 어레이 장치에서는, 캐시 매니저(10)나 채널 어댑터(11), 디스크 어댑터(13)를 증설하는 것은 가능하지만, 모두 라우터(14)를 통해 통신하기 때문에, 라우터(14)에 통신 데이터가 집중하므로, 처리량의 걸림돌이 되어 높은 처리량은 기대할 수 없다.
더구나, 디스크 어레이 장치(100)에서는, 주요 유닛을 다수 설치한 대규모의 디스크 어레이 장치를 구성하는 경우에는 캐시 매니저(10)와 라우터(14) 사이의 접속선수가 급증하기 때문에, 접속 관계가 복잡해지게 되어 버리고, 물리적으로도 실장이 곤란하게 된다.
예컨대, 도 12의 구성에서는, 도 13에 도시한 바와 같이, 4개(4장)의 캐시 매니저(10)와, 4개(4장)의 라우터(14)가 백 패널(15)을 경유하여 접속되는 실장 구조를 취한다. 이 경우, 전술한 바와 같이, 도 12와 같이, 신호 갯수는 4×4×(1 경로당 신호 갯수)가 된다. 예컨대, 전술한 바와 같이, 1 경로를 64 비트의 PCI(병렬 버스)로 접속하는 경우에는, 제어선을 포함하여 백 패널(15)상에서는 100×16 = 1600개의 신호선이 된다. 이 신호선을 배선하기 위해서는 백 패널(15)의 프린트 기 판은 6층의 신호층을 필요로 한다.
또한, 대규모 구성의 경우에는 예컨대 8개(4장)의 캐시 매니저(10)와, 8개(4장)의 라우터(14)가 백 패널(15)을 경유하여 접속되는 구성에서는, 신호 갯수는 100×8×8 = 약 6400개나 필요하다. 이를 위한 백 패널(15)의 프린트 기판은 4 배인 24층이 필요하게 되어 실현이 곤란하다.
만일, 64비트의 PCI 버스 대신에 신호선이 적은 4레인의 PCI-Express로 접속하면, 신호선수는 16×8×8 = 1024개가 된다. 그러나, PCI 버스는 66 MHz인 데 반하여, PCI-Express는 2.5 Gbps의 고속 버스로서, 고속 버스의 신호 품질을 유지하기 위해서는 비싼 기판 재료를 사용할 필요가 있다.
더욱이, 저속 버스라면, 비어(Via)를 사용함으로써, 배선층의 교체가 가능하지만, 고속 버스에서는, Via는 신호 품질의 저하를 초래하게 되고, 피할 필요도 있다. 이 때문에, 고속 버스에서는 모든 신호선이 교차하지 않도록 배치해야 하며, 동일한 갯수의 저속 버스의 약 2배의 신호층이 필요하게 된다. 예컨대, 기판은 12층의 신호층을 필요로 하거나 또한 비싼 재료로 구성해야 하여 이것도 실현이 곤란하다.
더구나, 제2 종래의 디스크 어레이 장치(100)에서는, 라우터(14) 중 하나가 고장난 경우에는 그 라우터(14)의 고장과 동시에 그 라우터(14) 밑에 접속된 채널 어댑터(11) 및 디스크 어댑터(13)도 사용할 수 없게 되어 버린다.
따라서, 본 발명의 목적은 각 유닛간의 데이터 전송을 높은 처리량으로 행하는 동시에, 소규모에서 대규모까지의 구성을 실장상의 문제없이 용이하게 실현하기 위한 데이터 기억 시스템 및 데이터 기억 제어 장치를 제공하는 데 있다.
또한, 본 발명의 다른 목적은 어떤 유닛이 고장난 경우라도 동작 가능한 용장성을 유지하면서, 소규모에서 대규모까지의 구성을 동일한 유닛의 조합으로 용이하게 실현하는 유연성을 갖는 데이터 기억 시스템 및 데이터 기억 제어 장치를 제공하는 데에 있다.
또한, 본 발명의 또 다른 목적은 높은 처리량과 용장성을 보증하면서, 소규모에서 대규모까지의 구성을 실장상의 문제없이 용이하게 실현하기 위한 데이터 기억 시스템 및 데이터 기억 제어 장치를 제공하는 데에 있다.
이러한 목적 달성을 위해 본 발명의 데이터 기억 시스템은 데이터를 기억하는 복수의 기억 장치와, 상위로부터의 액세스 지시에 따라 상기 기억 장치를 액세스 제어하는 복수의 제어 모듈을 구비하고, 상기 제어 모듈은 상기 기억 장치에 기억된 데이터의 일부를 저장하는 캐시 메모리와, 상기 캐시 메모리의 제어를 행하는 캐시 제어 유닛과, 상기 상위와의 인터페이스 제어를 행하는 제1 인터페이스부와, 상기 복수의 기억 장치와의 인터페이스 제어를 행하는 제2 인터페이스부를 포함하며, 상기 복수의 제어 모듈과 상기 복수의 기억 장치 사이에 설치되어, 각 제어 모듈의 상기 제2 인터페이스부와 상기 복수의 기억 장치를 선택적으로 전환하는 복수의 제1 스위치 유닛을 더 설치하고, 상기 복수의 제어 모듈과 상기 복수의 제1 스위치 유닛을 백 패널에 접속하였다.
또한, 본 발명의 데이터 기억 제어 장치는 기억 장치에 기억된 데이터의 일 부를 저장하는 캐시 메모리와, 상기 캐시 메모리의 제어를 행하는 캐시 제어 유닛과, 상기 상위와의 인터페이스 제어를 행하는 제1 인터페이스부와, 상기 복수의 기억 장치와의 인터페이스 제어를 행하는 제2 인터페이스부를 갖는 복수의 제어 모듈과; 상기 복수의 제어 모듈과 상기 복수의 기억 장치 사이에 설치되어, 각 제어 모듈의 상기 제2 인터페이스부와 상기 복수의 기억 장치를 선택적으로 전환하는 복수의 제1 스위치 유닛을 포함하며, 상기 복수의 제어 모듈과 상기 복수의 제1 스위치 유닛을 백 패널에 접속하였다.
본 발명에서는, 바람직하게는, 상기 제어 모듈은 캐시 제어 유닛과 상기 제2 인터페이스부를 저레이턴시의 고속 직렬 버스로 접속하는 동시에, 상기 제2 인터페이스부와 상기 복수의 제1 스위치 유닛을 상기 백 패널에 직렬 버스로 더 접속하였다.
본 발명에서는, 바람직하게는, 상기 제어 모듈은 다른 상기 제어 모듈과 통신하기 위한 통신 유닛을 더 포함하며, 상기 각 제어 모듈의 통신 유닛을 선택적으로 접속하는 제2 스위치 유닛을 더 포함한다.
본 발명에서는, 바람직하게는 각 제어 모듈의 통신 유닛과 제2 스위치 유닛을 상기 백 패널에 더 접속하였다.
본 발명에서는, 바람직하게는, 상기 제1 스위치 유닛과 상기 복수의 기억 장치를 케이블로 더 접속하였다.
본 발명에서는, 바람직하게는, 상기 기억 장치는 복수의 액세스 포트를 가지며, 상기 복수의 액세스 포트에 복수의 다른 상기 제1 스위치 유닛을 더 접속하였 다.
본 발명에서는, 바람직하게는, 상기 제어 모듈은 상기 캐시 제어 유닛과 상기 제2 인터페이스부를 복수 레인의 고속 직렬 버스로 접속하는 동시에, 상기 제2 인터페이스부와 상기 복수의 제1 스위치 유닛을 상기 백 패널에 직렬 버스로 더 접속하였다.
더욱이, 본 발명에서는, 바람직하게는 상기 고속 직렬 버스가 PCI-Express 버스이다.
더욱이, 본 발명에서는, 바람직하게는 상기 직렬 버스가 파이버 채널이다.
더욱이, 본 발명에서는, 바람직하게는, 상기 제어 모듈은 상기 캐시 제어 유닛과 상기 제1 인터페이스부를 저레이턴시의 고속 직렬 버스로 접속하였다.
본 발명에서는, 각 제어 모듈의 제2 인터페이스와 복수의 제1 스위치 유닛을 접속하였기 때문에 모든 제어 모듈은 모든 기억 장치에 액세스할 수 있는 용장성을 유지할 수 있고, 또한 제어 모듈의 수가 증대하더라도 제어 모듈과 제1 스위치 유닛을 백 패널에 인터페이스를 구성하는 신호수가 적은 직렬 버스로 접속할 수 있기 때문에, 프린트 기판에서의 실장이 가능하게 된다.
(실시예)
이하, 본 발명의 실시예를 데이터 기억 시스템, 판독/기록 처리 실장 구조, 다른 실시예의 순으로 설명한다.
[데이터 기억 시스템]
도 1은 본 발명의 일 실시예의 데이터 기억 시스템의 구성도, 도 2는 도 1의 제어 모듈의 구성도, 도 3은 도 1의 백 엔드 라우터와 디스크 인클로저의 구성도, 도 4는 도 1 및 도 3의 디스크 인클로저의 구성도이다.
도 1은 8대의 제어 모듈을 갖는 대규모의 기억 시스템을 예로 도시한다. 도 1에 도시한 바와 같이, 기억 시스템(1)은 데이터를 유지하는 복수의 디스크 인클로저(2-0∼2-25)와, 도시하지 않은 호스트 컴퓨터(데이터 처리 장치)와, 복수의 디스크 인클로저(2-0∼2-25) 사이에 배치된 복수(여기서는 8개)의 제어 모듈(4-0∼4-7)과, 이들 복수의 제어 모듈(4-0∼4-7)과 복수의 디스크 인클로저(2-0∼2-25) 사이에 설치된 복수(여기서는 8개)의 백 엔드 라우터(제1 스위치 유닛; 도면 중 BRT라고 표기하고, 이하, BRT라 함)(5-0∼5-7)와, 복수(여기서는 2개)의 프론트 엔드 라우터(제2 스위치 유닛; 도면 중 FRT라고 표기, 이하, FRT라 함)(6-0, 6-1)를 갖는다.
제어 모듈(4-0∼4-7)의 각각은 캐시 매니저(40)와, 채널 어댑터(제1 인터페이스부; 도면 중 CA라고 표기)(41a∼41d)와, 디스크 어댑터(제2 인터페이스부; 도면 중 DA라고 표기)(42a, 42b)와, DMA(Direct Memory Access) 엔진(통신부; 도면 중 DMA라 표기)(43)을 갖는다.
또한, 도 1에서는 도면의 간략화를 위해 이들 캐시 매니저의 부호 "40", 채널 어댑터의 부호 "41a", "41b", "41c", "41d", 디스크 어댑터의 부호 "42a", "42b", DMA의 부호 "43"을 제어 모듈(4-0)에 대해서만 붙이고 있고, 다른 제어 모듈(4-1∼4-7)에 있어서의 이들 구성 요소의 부호는 생략하고 있다.
도 2에 의해 제어 모듈(4-0∼4-7)을 설명한다. 캐시 매니저(40)는 호스트 컴 퓨터로부터의 처리 요구(판독 요구 또는 기록 요구)에 기초하여 판독/기록 처리를 행하는 것으로, 캐시 메모리(40b)와 캐시 제어부(40a)를 구비한다.
캐시 메모리(40b)는 디스크 인클로저(2-0∼2-25)의 복수의 디스크에 유지된 데이터의 일부를 유지하는 소위 복수의 디스크에 대한 캐쉬의 역할을 수행한다.
캐시 제어부(40a)는 캐시 메모리(40b), 채널 어댑터(41), 장치 어댑터(42), DMA(43)의 제어를 행한다. 이 때문에, 하나 또는 복수(도면에서는 2개)의 CPU(400, 410)와, 메모리 컨트롤러(420)를 갖는다. 메모리 컨트롤러(420)는 각 메모리의 판독/기록을 제어하면서 경로의 전환을 행한다.
메모리 컨트롤러(420)는 메모리 버스(434)를 통해 캐시 메모리(40b)와 접속하고, CPU 버스(430, 432)를 통해 CPU(400, 410)와 접속하며, 메모리 컨트롤러(420)는 후술하는 4레인의 고속 직렬 버스(예컨대, PCI-Express)(440, 442)를 통해 디스크 어댑터(42a, 42b)에 더 접속한다. 마찬가지로, 메모리 컨트롤러(420)는 4레인의 고속 직렬 버스(예컨대, PCI-Express)(443, 444, 445, 446)를 통해 채널 어댑터(41a, 41b, 41c, 41d)에 접속하고, 4레인의 고속 직렬 버스(예컨대, PCI-Express)(447, 448)를 통해 DMA(43-a, 43-b)에 접속한다.
후술하는 바와 같이, 이 PCI-Expess 등의 고속 직렬 버스는 패킷으로 통신하고, 또한 직렬 버스를 복수 레인 설치함으로써, 신호선 본선을 줄이더라도 지연이 적은 빠른 응답 속도로 소위 저레이턴시로 통신할 수 있다.
채널 어댑터(41a∼41d)는 호스트 컴퓨터에 대한 인터페이스로서, 채널 어댑터(41a∼41d)는 각각 다른 호스트 컴퓨터와 접속된다. 또한, 채널 어댑터(41a∼ 41d)는 각각 대응하는 호스트 컴퓨터의 인터페이스부에 버스, 예컨대 파이버 채널(Fiber Channel)이나 Ethernet(등록상표)에 의해 접속되는 것이 바람직하고, 이 경우, 버스로서는 광 섬유나 동축 케이블이 이용된다.
또한, 이들 채널 어댑터(41a∼41d)의 각각은 각 제어 모듈(4-0∼4-7)의 일부로서 구성되어 있지만, 대응하는 호스트 컴퓨터와 제어 모듈(4-0∼4-7)과의 인터페이스부로서, 복수의 프로토콜을 지원해야 한다. 대응하는 호스트 컴퓨터에 의해 실장해야 할 프로토콜이 동일하지 않기 때문에, 각 채널 어댑터(41a∼41d)를 필요에 따라 용이하게 교환할 수 있도록 제어 모듈(4-0∼4-7)의 주요 유닛인 캐시 매니저(40)는 도 7에서 후술하는 바와 같이 다른 프린트 기판에 실장되어 있다.
예컨대, 채널 어댑터(41a∼41d)가 지원해야 할 호스트 컴퓨터와의 사이의 프로토콜로서는, 전술한 바와 같이, 파이버 채널이나 Ethernet(등록상표)에 대응하는 iSCSI(Internet Small Computer System Interface) 등이 있다. 더욱이, 각 채널 어댑터(41a∼41d)는 전술한 바와 같이 PCI-Express 버스와 같이, LSI(Large Scale Integration)나 프린트 기판 사이를 접속하기 위해서 설계된 버스에 의해 캐시 매니저(40)와 직접 결합되어 있다. 이에 따라, 각 채널 어댑터(41a∼41d)와 캐시 매니저(40) 사이에 요구되는 높은 처리량을 실현할 수 있다.
디스크 어댑터(42a, 42b)는 디스크 인클로저(2-0∼2-25)의 디스크 드라이브에 대한 인터페이스로서, 디스크 인클로저(2-0∼2-25)에 접속된 BRT(5-0∼5-7)에 접속되고, 여기서는 4개의 FC(Fiber Channel) 포트를 갖는다.
또한, 각 디스크 어댑터(42a, 42b)는 전술한 바와 같이 PCI-Express 버스와 같이, LSI(Large Scale Integration)나 프린트 기판 사이를 접속하기 위해서 설계된 버스에 의해 캐시 매니저(40)와 직접 결합되어 있다. 이에 따라, 각 디스크 어댑터(42a, 42b)와 캐시 매니저(40) 사이에 요구되는 높은 처리량을 실현할 수 있다.
도 1 및 도 3에 도시한 바와 같이, BRT(5-0∼5-7)는 각 제어 모듈(4-0∼4-7)의 디스크 어댑터(42a, 42b)와 각 디스크 인클로저(2-0∼2-25)를 선택적으로 전환하고, 통신 가능하게 접속하는 다중 포트 스위치이다.
도 3에 도시한 바와 같이, 각 디스크 인클로저(2-0∼2-7)는 복수(여기서는 2개)의 BRT(5-0, 5-1)가 접속된다. 도 4에 도시한 바와 같이, 각 디스크 인클로저(2-0)는 각각 2개의 포트를 갖는 복수대의 디스크 드라이브(200)를 탑재하고, 이 디스크 인클로저(2-0)의 구성은 4개의 접속 포트(210, 212, 214, 216)를 갖는 단위 디스크 인클로저(20-0∼23-0)로 구성된다. 이들을 직렬 접속하여 용량의 증대를 실현한다.
그리고, 디스크 인클로저(20-0∼23-0)내에서는 2개의 포트(210, 212)로부터의 한 쌍의 FC 케이블에 의해 각 디스크 드라이브(200)의 각 포트가 2개의 포트(210, 212)에 접속된다. 이 2개의 포트(210, 212)는 도 3에서 설명한 바와 같이, 상이한 BRT(5-0, 5-1)에 접속된다.
도 1에 도시한 바와 같이, 각 제어 모듈(4-0∼4-7)의 디스크 어댑터(42a, 42b) 각각을 모든 디스크 인클로저(2-0∼2-25)에 접속한다. 즉, 각 제어 모듈(4-0∼4-7)의 디스크 어댑터(42a)는 디스크 인클로저(2-0∼2-7)에 접속된 BRT(5-0)(도 3 참조)와, 디스크 인클로저(2-8, 2-9∼)에 접속된 BRT(5-2)와, 디스크 인클로저(2-16, 2-17∼)에 접속된 BRT(5-4)와, 디스크 인클로저(2-24, 2-25∼)에 접속된 BRT(5-6)에 각각 접속된다.
또한, 마찬가지로, 각 제어 모듈(4-0∼4-7)의 디스크 어댑터(42b)는 디스크 인클로저(2-0∼2-7)에 접속된 BRT(5-1)(도 3 참조)와, 디스크 인클로저(2-8, 2-9∼)에 접속된 BRT(5-3)와, 디스크 인클로저(2-16, 2-17∼)에 접속된 BRT(5-5)와, 디스크 인클로저(2-24, 2-25∼)에 접속된 BRT(5-7)에 각각 접속된다.
이와 같이, 각 디스크 인클로저(2-0∼2-31)는 복수(여기서는 2개)의 BRT가 접속되는 동시에, 동일한 디스크 인클로저(2-0∼2-31)에 접속된 2개의 BRT의 각각에 동일한 제어 모듈(4-0∼4-7)에 있어서 상이한 디스크 어댑터(42a, 42b)가 접속된다.
이러한 구성에 의해 각 제어 모듈(4-0∼4-7)이 어느 쪽 디스크 어댑터(42a, 42b)를 통해서도 모든 디스크 인클로저(디스크 드라이브)(2-0∼2-31)에 액세스할 수 있다.
또한, 이들 디스크 어댑터(42a, 42b)의 각각은 제어 모듈(4-0∼4-7)의 일부로서 구성되어 있고, 제어 모듈(4-0∼4-7)의 주요 유닛인 캐시 매니저(40)의 기판상에 실장되며, 각 디스크 어댑터(42a, 42b)는 예컨대 PCI(Peripheral Component Interconnect)-Express 버스에 의해 캐시 매니저(40)와 직접 결합되어 있고, 이에 따라, 각 디스크 어댑터(42a, 42b)와 캐시 매니저(40) 사이에 요구되는 높은 처리량을 실현할 수 있다.
또한, 도 2에 도시하는 바와 같이, 각 디스크 어댑터(42a, 42b)는 대응하는 BRT(5-0∼5-7)에 버스, 예컨대 파이버 채널(Fiber Channel)이나 Ethernet(등록상표)에 의해 접속된다. 이 경우, 버스는 후술하는 바와 같이 백 패널의 프린트 기판에 전기적 배선으로 설치된다.
각 제어 모듈(4-0∼4-7)의 디스크 어댑터(42a, 42b)와 BRT(5-0∼5-7) 사이에는 전술한 바와 같이 모든 디스크 인클로저와 접속하기 때문에 1:1의 메쉬 접속이 되므로, 제어 모듈(4-0∼4-7)의 수{즉, 디스크 어댑터(42a, 42b)의 수}가 증대할수록 접속수가 증가하여 접속 관계가 복잡해지고, 물리적인 실장이 곤란하게 된다. 그러나, 디스크 어댑터(42a, 42b)와 BRT(5-0∼5-7) 사이의 접속에 인터페이스를 구성하는 신호수가 적은 파이버 채널을 채용함으로써, 프린트 기판에서의 실장이 가능하게 된다.
또한, 각 디스크 어댑터(42a, 42b)와 대응하는 BRT(5-0∼5-7)가 파이버 채널 접속되는 경우, BRT(5-0∼5-7)는 파이버 채널의 스위치가 된다. 또한, 각 BRT(5-0∼5-7)와 대응하는 디스크 인클로저(2-0∼2-31) 사이도, 예컨대, 파이버 채널에 의해 접속되고, 이 경우에는 모듈이 상이하기 때문에, 광 케이블(500, 510)로 접속된다.
도 1에 도시한 바와 같이, DMA 엔진(43)은 다른 제어 모듈(4-0∼4-7)과 서로 통신을 행하는 것으로, 다른 제어 모듈(4-0∼4-7) 사이와의 통신과 데이터 전송 처리를 담당한다. 각 제어 모듈(4-0∼4-7)의 DMA 엔진(43)의 각각은 제어 모듈(4-0∼4-7)의 일부로서 구성되어 있고, 제어 모듈(4-0∼4-7)의 주요 유닛인 캐시 매니저 (40)의 기판상에 실장된다. 그리고, 전술한 고속 직렬 버스에 의해 캐시 매니저(40)와 직접 결합되는 동시에, FRT(6-0, 6-1)를 통해 다른 제어 모듈(4-0∼4-7)의 DMA 엔진(43)과 서로 통신한다.
FRT(6-0, 6-1)는 복수(특히 3 이상, 여기서는 8개)의 제어 모듈(4-0∼4-7)의 DMA 엔진(43)에 접속되고, 이들 제어 모듈(4-0∼4-7)의 상호간을 선택적으로 전환하여 통신 가능하게 접속하는 것이다.
이러한 구성에 의해 각 제어 모듈(4-0∼4-7)의 DMA 엔진(43)의 각각은 FRT(6-0, 6-1)를 통해 자신에게 접속된 캐시 매니저(40)와 다른 제어 모듈(4-0∼4-7)의 캐시 매니저(40) 사이에서 호스트 컴퓨터로부터의 액세스 요구 등에 따라 발생하는 통신이나 데이터 전송 처리(예컨대, 미러링 처리)를 실행한다.
또한, 도 2에 도시한 바와 같이, 각 제어 모듈(4-0∼4-7)의 DMA 엔진(43)이 복수(여기서는 2개)의 DMA 엔진(43-a, 43-b)으로 구성되고, 이들 2개의 DMA 엔진(43-a, 43-b)의 각각이 각각 2개의 FRT(6-0, 6-1)를 사용한다.
더욱이, DMA 엔진(43-a, 43-b)은 전술한 바와 같이 예컨대 PCI-Express 버스에 의해 캐시 매니저(40)에 접속되어 있고, 저레이턴시를 실현한다.
또한, 각 제어 모듈(4-0∼4-7) 사이{즉, 각 제어 모듈(4-0∼4-7)의 캐시 매니저(40) 사이}의 통신이나 데이터 전송 처리에서는, 데이터 전송량이 많아, 통신에 걸리는 시간을 짧게 하는 것이 바람직하고, 높은 처리량과 동시에 낮은 레이턴시(빠른 응답 속도)가 요구된다. 이 때문에, 도 1 및 도 2에 도시한 바와 같이, 각 제어 모듈(4-0∼4-7)의 DMA 엔진(43)과 FRT(6-0, 6-1)는 높은 처리량과 낮은 레이 턴시의 양쪽 요구를 충족시키도록 설계된 고속 직렬 전송을 이용한 버스(PCI-Express나 Rapid-IO)에 의해 접속된다.
이들 PCI-Express나 Rapid-IO는 2.5 Gbps의 고속 직렬 전송을 이용한 것으로, 이들 버스 인터페이스에는 LVDS(Low Voltage Differential Signaling)라는 소진폭 차동 인터페이스가 채용된다.
[판독/기록 처리]
다음에, 도 1 내지 도 4의 데이터 기억 시스템의 판독 처리를 설명한다. 도 5는 도 1 내지 도 2의 구성의 판독 동작의 설명도이다.
우선, 캐시 매니저(40)는 호스트 컴퓨터 중 어느 하나로부터 대응하는 채널 어댑터(41a∼41d)를 통해 판독 요구를 수취한 경우, 그 판독 요구의 대상 데이터를 캐시 메모리(40b)가 유지하고 있으면, 캐시 메모리(40b)에 유지된 그 대상 데이터를 채널 어댑터(41a∼41d)를 통해 호스트 컴퓨터에 보낸다.
한편, 그 대상 데이터가 캐시 메모리(40b)에 유지되어 있지 않으면, 캐시 제어부(40a)가 그 대상 데이터를 유지하고 있는 디스크 드라이브(200)로부터 대상 데이터를 캐시 메모리(40b)상에 판독하고 나서 대상 데이터를 판독 요구를 발행한 호스트 컴퓨터에 송신한다.
이 디스크 드라이브와의 판독 처리를 도 5에 설명한다.
(1) 캐시 매니저(40)의 제어부(40a)(CPU)는 캐시 메모리(40b)의 디스크립터 영역에 FC 헤더와 디스크립터를 작성한다. 디스크립터는 데이터 전송 회로(DMA 회로)에 대하여 데이터(DMA) 전송을 요구하는 명령으로서, FC 헤더의 캐시 메모리상 의 어드레스, 전송하고자 하는 데이터의 캐시 메모리 상에서의 어드레스와 데이터 바이트수, 데이터 전송 디스크의 논리 어드레스를 포함한다.
(2) 디스크 어댑터(42)의 데이터 전송 회로를 기동한다.
(3) 디스크 어댑터(42)의 기동된 데이터 전송 회로는 캐시 메모리(40b)로부터 디스크립터를 판독한다.
(4) 디스크 어댑터(42)의 기동된 데이터 전송 회로는 캐시 메모리(40b)로부터 FC 헤더를 판독한다.
(5) 디스크 어댑터(42)의 기동된 데이터 전송 회로는 디스크립터를 해독하고, 요구 디스크, 선두 어드레스, 바이트수를 얻어 FC 헤더를 파이버 채널[500(510)]로부터 대상 디스크 드라이브(200)에 전송한다. 디스크 드라이브(200)는 요구된 대상 데이터를 판독하고, 파이버 채널[500(510)]을 통해 디스크 어댑터(42)의 데이터 전송 회로에 송신한다.
(6) 디스크 드라이브(200)는 요구된 대상 데이터를 판독하고, 송신을 완료하면, 완료 통지를 파이버 채널[500(510)]을 통해 디스크 어댑터(42)의 데이터 전송 회로에 송신한다.
(7) 디스크 어댑터(42)의 기동된 데이터 전송 회로는 완료 통지를 받으면, 디스크 어댑터(42)의 메모리로부터 판독 데이터를 판독하고, 캐시 메모리(40b)에 저장한다.
(8) 디스크 어댑터(42)의 기동된 데이터 전송 회로는 판독 전송이 완료되면, 캐시 매니저(40)에 인터럽트에 의한 완료 통지를 행한다.
(9) 캐시 매니저(40)의 제어부(42a)는 디스크 어댑터(42)의 인터럽트 요인을 얻어 판독 전송을 확인한다.
(10) 캐시 매니저(40)의 제어부(42a)는 디스크 어댑터(42)의 종료 포인터를 조사하여 판독 전송 완료를 확인한다.
이와 같이, 충분한 성능을 얻기 위해서는 모든 접속이 높은 처리량을 가질 필요가 있지만, 캐시 제어부(40a)와 디스크 어댑터(42) 사이에는 신호를 주고받는 일이 많아(도면에서는, 7회) 특히 낮은 레이턴시의 버스가 필요하게 된다.
이 실시예에서는, PCI-Express(4레인)와, Fibre Channel(4G)을 모두 높은 처리량의 접속으로서 채용하고 있지만, PCI-Express가 낮은 레이턴시의 접속인데 반하여 Fibre Channel은 비교적 레이턴시가 큰(데이터 전송에 시간이 걸리는) 접속이다.
그래서, 제2 종래 기술에서는, CM(10)과 DA(13), CA(11) 사이의 RT(14)(도 12 참조)에는 레이턴시가 높은 Fibre Channel을 채용할 수 없는 데 반하여, 본 발명에서는 도 1의 구성을 위해 BRT(5-0∼5-7)에 Fibre Channel을 채용할 수 있다.
낮은 레이턴시를 실현하기 위해서는 버스의 신호 갯수를 어느 정도 이상 줄일 수 없지만, 본 발명에서는 디스크 어댑터(42)와 BRT(5-0) 사이의 접속에는 신호선 갯수가 적은 Fibre Channel을 채용할 수 있고, 백 패널상의 신호 갯수가 적어져서 실장상에서 유효하다.
다음에, 기록 동작을 설명한다. 호스트 컴퓨터 중 어느 것으로부터 대응하는 채널 어댑터(41a∼41d)를 통해 기록 요구를 수취한 경우, 그 기록 요구의 커맨드와 기록 데이터를 수신한 채널 어댑터(41a∼41d)는 캐시 매니저(40)에 대하여 기록 데이터를 기록해야 되는 캐시 메모리(40b)의 어드레스를 묻는다.
그리고, 이 채널 어댑터(41a∼41d)가 캐시 매니저(40)로부터의 응답을 수취하면, 캐시 매니저(40)의 캐시 메모리(40b)에 기록 데이터를 기록하는 동시에, 그 캐시 매니저(40)와는 상이한 적어도 하나의 캐시 매니저{40; 즉, 다른 제어 모듈(4-0∼4-7)의 캐시 매니저(40)}내의 캐시 메모리(40b)에도 기록 데이터를 기록한다. 이 때문에, DMA 엔진(43)을 기동하고, FRT(6-0, 6-1)를 통해 다른 제어 모듈(4-0∼4-7)의 캐시 매니저(40)내의 캐시 메모리(40b)에도 기록 데이터를 기록한다.
여기서, 적어도 상이한 2개의 제어 모듈(4-0∼4-7)의 캐시 메모리(40b)에 기록 데이터를 기록하는 것은 데이터를 2중화(미러링)함으로써, 예기치 않은 제어 모듈(4-0∼4-7) 또는 캐시 매니저(40)의 하드 고장의 경우에도 데이터의 상실을 막기 위함이다.
마지막으로, 이들 복수의 캐시 메모리(40b)에의 기록 데이터의 기록이 정상적으로 종료되면, 채널 어댑터(41a∼41d)가 호스트 컴퓨터(3-0∼3-31)에 대하여 완료 통지를 행하고, 처리를 종료한다.
더욱이, 이 기록 데이터를 대상으로 하는 디스크 드라이브에 재기록(기록 백이라 함)할 필요가 있다. 캐시 제어부(40a)는 내부 스케줄에 따라 캐시 메모리(40b)의 기록 데이터를, 그 대상 데이터를 유지하고 있는 디스크 드라이브(200)에 기록 백한다. 이 디스크 드라이브와의 기록 처리를 도 6에서 설명한다.
(1) 캐시 매니저(40)의 제어부(40a)(CPU)는 캐시 메모리(40b)의 디스크립터 영역에 FC 헤더와 디스크립터를 작성한다. 디스크립터는 데이터 전송(DMA) 회로에 대하여 데이터(DMA) 전송을 요구하는 명령으로서, FC 헤더의 캐시 메모리 상의 어드레스, 전송하고자 하는 데이터의 캐시 메모리 상에서의 어드레스와 데이터 바이트수, 데이터 전송의 디스크의 논리 어드레스를 포함한다.
(2) 디스크 어댑터(42)의 데이터 전송 회로를 기동한다.
(3) 디스크 어댑터(42)의 기동된 데이터 전송 회로는 캐시 메모리(40b)로부터 디스크립터를 판독한다.
(4) 디스크 어댑터(42)의 기동된 데이터 전송 회로는 캐시 메모리(40b)로부터 FC 헤더를 판독한다.
(5) 디스크 어댑터(42)의 기동된 데이터 전송 회로는 디스크립터를 해독하고, 요구 디스크, 선두 어드레스, 바이트수를 얻어 캐시 메모리(40b)로부터 데이터를 판독한다.
(6) 판독 완료후, 디스크 어댑터(42)의 데이터 전송 회로는 FC 헤더와 데이터를 파이버 채널[500(510)]로부터 대상 디스크 드라이브(200)에 전송한다. 디스크 드라이브(200)는 전송된 데이터를 내장하는 디스크에 기록한다.
(7) 디스크 드라이브(200)는 데이터의 기록을 완료하면, 완료 통지를 파이버 채널[500(510)]을 통해 디스크 어댑터(42)의 데이터 전송 회로에 송신한다.
(8) 디스크 어댑터(42)의 기동된 데이터 전송 회로는 완료 통지를 받으면, 캐시 매니저(40)에 인터럽트에 의한 완료 통지를 행한다.
(9) 캐시 매니저(40)의 제어부(42a)는 디스크 어댑터(42)의 인터럽트 요인을 얻어 기록 동작을 확인한다.
(10) 캐시 매니저(40)의 제어부(42a)는 디스크 어댑터(42)의 종료 포인터를 조사하여 기록 동작 완료를 확인한다.
이 도 6 및 도 5에서도 화살표는 데이터 등의 패킷의 전송을 나타내고, コ자형의 화살표는 데이터의 판독을 나타내고 있으며, 한쪽 데이터 요구에 대하여 데이터가 돌려 보내지고 있는 것을 나타낸다. 이와 같이, DA내의 제어 회로의 기동과 종료 상태의 확인이 필요해지기 때문에, 1회의 데이터 전송을 행하는 데 CM(40)과 DA(42) 사이에서는 7회의 주고받음이 행해지고 있다. DA(42)와 디스크(200) 사이는 2회이다.
이것에 의해, 캐시 제어부(40)와 디스크 어댑터(42) 사이의 접속에 저레이턴시가 요구되고, 한편, 디스크 어댑터(42)와 디스크 장치(200)는 신호 갯수가 적은 인터페이스를 이용할 수 있는 것을 이해할 수 있다.
[실장 구조]
도 7은 본 발명에 따른 제어 모듈의 실장 구성예를 도시한 도면, 도 8은 도 7의 제어 모듈과 디스크 인클로저를 포함하는 실장 구성예를 도시한 도면, 도 9 및 도 10은 이러한 실장 구성에 따른 데이터 기억 시스템의 블록도이다.
도 8에 도시한 바와 같이, 기억 장치의 케이스 상측에는 4대의 디스크 인클로저(2-0, 2-1, 2-8, 2-9)가 탑재된다. 기억 장치의 하측 절반은 제어 회로를 탑재한다. 이 하측 절반은 도 7과 같이 백 패널(7)에 의해 전후로 분할되어 있다. 백 패널(7)의 전방, 후방에는 각각 슬롯이 설치된다. 도 9의 대규모 구성의 기억 시스 템에서는, 전방측(Front)에는 8장(8개)의 CM(4-0∼4-7)이, 후방에는 2장(2개)의 FRT(6-0, 6-1), 8장(8개)의 BRT(5-0∼5-7) 및 전원 제어 등을 담당하는 서비스 프로세서 SVC(도 1 및 도 9에서는 도시하지 않음)가 배치된다.
도 7에서는, 8장의 CM(4-0∼4-7)과 2장의 FRT(6-0, 6-1)가 백 패널(7)을 경유하여 4 레인의 PCI-Express로 접속된다. PCI-Expess는 4개(차동, 양방향이기 때문에)의 신호선으로서, 4 레인분이며, 16 라인의 신호선이 되기 때문에, 이 신호 갯수는 16×16 = 256개가 된다. 또한, 8장의 CM(4-0∼4-7)과 8장의 BRT(5-0∼5-7)가 백 패널(7)을 경유하여 Fibre Channel로 접속된다. Fibre Channel은 차동, 양방향이기 때문에, 1×2×2 = 4의 신호선으로서, 이 신호 갯수는 8×8×4 = 256개가 된다.
이와 같이, 접속 개소마다 버스를 구별하여 사용함으로써, 도 9와 같은 대규모 구성의 기억 시스템에서도, CM(4-0∼4-7)의 8장, FRT(6-0, 6-1)의 2장, BRT(5-0∼5-7)의 8장의 접속이 512개의 신호선에 의해 실현된다. 이 신호선수는 백 패널 기판(7)에 충분히 실장 가능한 신호수이며, 또한 기판의 신호층수도 6층으로 충분하며, 비용적으로도 실현 가능한 범위 내에 있다.
또한, 도 8에서는 4대의 디스크 인클로저(2-0, 2-1, 2-8, 2-9)(도 9 참조)를 탑재하지만, 다른 디스크 인클로저(2-3∼2-7, 2-10∼2-31)는 다른 케이스에 설치된다.
더욱이, 도 10과 같은 중규모 기억 시스템에서도 동일한 구성으로 실현된다. 즉, 4대의 CM(4-0∼4-3), 4대의 BRT(5-0∼5-3), 2대의 FRT(6-0∼6-1), 16 모듈의 디스크 인클로저(2-0∼2-15)의 구성에서도 동일한 구조로 실현된다.
더구나, 각 제어 모듈(4-0∼4-7)의 디스크 어댑터(42a, 42b)의 각각은 BRT에 의해 모든 디스크 드라이브(200)에 접속되고, 각 제어 모듈(4-0∼4-7)이 어느 하나의 디스크 어댑터(42a, 42b)를 통해서도 모든 디스크 드라이브에 액세스할 수 있다.
또한, 이들 디스크 어댑터(42a, 42b)의 각각은 제어 모듈(4-0∼4-7)의 주요 유닛인 캐시 매니저(40)의 기판상에 실장되고, 각 디스크 어댑터(42a, 42b)는 예컨대 PCI-Express 등의 저레이턴시에 의해 캐시 매니저(40)와 직접 결합할 수 있어 높은 처리량을 실현할 수 있다.
더욱이, 각 제어 모듈(4-0∼4-7)의 디스크 어댑터(42a, 42b)와 BRT(5-0∼5-7) 사이는 1:1의 메쉬 접속이 되기 때문에, 시스템이 구비하는 제어 모듈(4-0∼4-7)의 수{즉, 디스크 어댑터(42a, 42b)의 수}가 증대하더라도 디스크 어댑터(42a, 42b)와 BRT(5-0∼5-7) 사이의 접속에 인터페이스를 구성하는 신호수가 적은 파이버 채널을 채용할 수 있어, 실장의 과제를 해결할 수 있다.
또한, 각 제어 모듈(4-0∼4-7) 사이{즉, 각 제어 모듈(4-0∼4-7)의 캐시 매니저(40) 사이}의 통신이나 데이터 전송 처리에서는, 데이터 전송량이 많아, 통신에 걸리는 시간을 짧게 하는 것이 바람직하고, 높은 처리량과 동시에 낮은 레이턴시(빠른 응답 속도)가 요구되기 때문에, 도 2에 도시된 바와 같이 각 제어 모듈(4-0∼4-7)의 DMA 엔진(43)과 FRT(6-0, 6-1)는 높은 처리량과 낮은 레이턴시 양쪽의 요구를 충족시키도록 설계된 고속 직렬 전송을 이용한 버스 PCI-Express에 의해 접 속되어 있다.
[다른 실시예]
전술한 실시예에서는, 제어 모듈 내의 신호선을 PCI-Express로 설명하였지만, Rapid-IO 등의 다른 고속 직렬 버스를 이용할 수 있다. 제어 모듈 내의 채널 어댑터나 디스크 어댑터의 수는 필요에 따라 증감시킬 수 있다.
또한, 디스크 드라이브로서는, 하드 디스크 드라이브, 광 디스크 드라이브, 광 자기 디스크 드라이브 등의 기억 장치를 적용할 수 있다.
이상, 본 발명을 실시예에 의해 설명하였지만, 본 발명의 취지의 범위 내에서, 본 발명은 여러 가지 변형이 가능하고, 본 발명의 범위에서 이들을 배제하지 않는다.
(부기 1) 데이터를 기억하는 복수의 기억 장치와, 상위로부터의 액세스 지시에 따라 상기 기억 장치를 액세스 제어하는 복수의 제어 모듈을 구비하고, 상기 제어 모듈은 상기 기억 장치에 기억된 데이터의 일부를 저장하는 캐시 메모리와, 상기 캐시 메모리의 제어를 행하는 캐시 제어 유닛과, 상기 상위와의 인터페이스 제어를 행하는 제1 인터페이스부와, 상기 복수의 기억 장치와의 인터페이스 제어를 행하는 제2 인터페이스부를 포함하며, 상기 복수의 제어 모듈과 상기 복수의 기억 장치 사이에 설치되어, 각 제어 모듈의 상기 제2 인터페이스부와 상기 복수의 기억 장치를 선택적으로 전환하는 복수의 제1 스위치 유닛을 더 설치하고, 상기 복수의 제어 모듈과 상기 복수의 제1 스위치 유닛을 백 패널에 접속한 것을 특징으로 하는 데이터 기억 시스템.
(부기 2) 상기 제어 모듈은 상기 캐시 제어 유닛과 상기 제2 인터페이스부를 저레이턴시의 고속 직렬 버스로 접속하는 동시에, 상기 제2 인터페이스부와 상기 복수의 제1 스위치 유닛을 상기 백 패널에 직렬 버스로 접속한 것을 특징으로 하는 부기 1의 데이터 기억 시스템.
(부기 3) 상기 제어 모듈은 다른 상기 제어 모듈과 통신하기 위한 통신 유닛을 포함하며, 상기 각 제어 모듈의 통신 유닛을 선택적으로 접속하는 제2 스위치 유닛을 더 포함하는 것을 특징으로 하는 부기 1의 데이터 기억 시스템.
(부기 4) 각 제어 모듈의 통신 유닛과 제2 스위치 유닛을 상기 백 패널에 접속한 것을 특징으로 하는 부기 3의 데이터 기억 시스템.
(부기 5) 상기 제1 스위치 유닛과 상기 복수의 기억 장치를 케이블로 접속한 것을 특징으로 하는 부기 1의 데이터 기억 시스템.
(부기 6) 상기 기억 장치는 복수의 액세스 포트를 포함하며, 상기 복수의 액세스 포트에 복수의 다른 상기 제1 스위치 유닛을 접속한 것을 특징으로 하는 부기 1의 데이터 기억 시스템.
(부기 7) 상기 제어 모듈은 상기 캐시 제어 유닛과 상기 제2 인터페이스부를 복수 레인의 고속 직렬 버스로 접속하는 동시에, 상기 제2 인터페이스부와 상기 복수의 제1 스위치 유닛을 상기 백 패널에 직렬 버스로 접속한 것을 특징으로 하는 부기 2의 데이터 기억 시스템.
(부기 8) 상기 고속 직렬 버스가 PCI-Express 버스인 것을 특징으로 하는 부기 2의 데이터 기억 시스템.
(부기 9) 상기 직렬 버스가 파이버 채널인 것을 특징으로 하는 부기 2의 데이터 기억 시스템.
(부기 10) 상기 제어 모듈은 상기 캐시 제어 유닛과 상기 제1 인터페이스부를 저레이턴시의 고속 직렬 버스로 접속한 것을 특징으로 하는 부기 2의 데이터 기억 시스템.
(부기 11) 상위로부터의 액세스 지시에 따라 데이터를 기억하는 복수의 기억 장치를 액세스 제어하는 데이터 기억 제어 장치에 있어서, 상기 기억 장치에 기억된 데이터의 일부를 저장하는 캐시 메모리와, 상기 캐시 메모리의 제어를 행하는 캐시 제어 유닛과, 상기 상위와의 인터페이스 제어를 행하는 제1 인터페이스부와, 상기 복수의 기억 장치와의 인터페이스 제어를 행하는 제2 인터페이스부를 갖는 복수의 제어 모듈과; 상기 복수의 제어 모듈과 상기 복수의 기억 장치 사이에 설치되어 각 제어 모듈의 상기 제2 인터페이스부와 상기 복수의 기억 장치를 선택적으로 전환하는 복수의 제1 스위치 유닛을 포함하며, 상기 복수의 제어 모듈과 상기 복수의 제1 스위치 유닛을 백 패널에 접속한 것을 특징으로 하는 데이터 기억 제어 장치.
(부기 12) 상기 제어 모듈은 캐시 제어 유닛과 상기 제2 인터페이스부를 저레이턴시의 고속 직렬 버스로 접속하는 동시에, 상기 제2 인터페이스부와 상기 복수의 제1 스위치 유닛을 상기 백 패널에 직렬 버스로 접속한 것을 특징으로 하는 부기 11의 데이터 기억 제어 장치.
(부기 13) 상기 제어 모듈은 다른 상기 제어 모듈과 통신하기 위한 통신 유 닛을 포함하며, 상기 각 제어 모듈의 통신 유닛을 선택적으로 접속하는 제2 스위치 유닛을 포함하는 것을 특징으로 하는 부기 11의 데이터 기억 제어 장치.
(부기 14) 각 제어 모듈의 통신 유닛과 제2 스위치 유닛을 상기 백 패널에 접속한 것을 특징으로 하는 부기 13의 데이터 기억 제어 장치.
(부기 15) 상기 제1 스위치 유닛과 상기 복수의 기억 장치를 케이블로 접속한 것을 특징으로 하는 부기 1의 데이터 기억 제어 장치.
(부기 16) 복수의 상이한 상기 제1 스위치 유닛은 복수의 액세스 포트를 갖는 상기 기억 장치의 각각에 접속한 것을 특징으로 하는 부기 11의 데이터 기억 제어 장치.
(부기 17) 상기 제어 모듈은 상기 캐시 제어 유닛과 상기 제2 인터페이스부를 복수 레인의 고속 직렬 버스로 접속하는 동시에, 상기 제2 인터페이스부와 상기 복수의 제1 스위치 유닛을 상기 백 패널에 직렬 버스로 접속한 것을 특징으로 하는 부기 12의 데이터 기억 제어 장치.
(부기 18) 상기 고속 직렬 버스가 PCI-Express 버스인 것을 특징으로 하는 부기 12의 데이터 기억 제어 장치.
(부기 19) 상기 직렬 버스가 파이버 채널인 것을 특징으로 하는 부기 12의 데이터 기억 제어 장치.
(부기 20) 상기 제어 모듈은 상기 캐시 제어 유닛과 상기 제1 인터페이스부를 저레이턴시의 고속 직렬 버스로 접속한 것을 특징으로 하는 부기 12의 데이터 기억 제어 장치.
각 제어 모듈의 제2 인터페이스와 복수의 제1 스위치 유닛을 접속하였기 때문에, 모든 제어 모듈은 모든 기억 장치에 액세스할 수 있는 용장성을 유지할 수 있고, 또한 제어 모듈의 수가 증대하더라도 제어 모듈과 제1 스위치 유닛을 백 패널에 인터페이스를 구성하는 신호수가 적은 직렬 버스로 접속할 수 있기 때문에, 제어 모듈 내의 저레이턴시의 통신을 유지하면서, 프린트 기판에서의 실장이 가능하게 된다. 이 때문에, 대규모에서 소규모까지의 구조를 통일화하는 데 유효하며, 장치의 비용 절감에 기여할 수 있다.

Claims (5)

  1. 데이터를 기억하는 복수의 기억 장치와;
    상위로부터의 액세스 지시에 따라 상기 기억 장치를 액세스 제어하는 복수의 제어 모듈을 구비하고,
    상기 제어 모듈은, 상기 기억 장치에 기억된 데이터의 일부를 저장하는 캐시 메모리와, 상기 캐시 메모리의 제어를 행하는 캐시 제어 유닛과, 상기 상위와의 인터페이스 제어를 행하는 제1 인터페이스부와, 상기 복수의 기억 장치와의 인터페이스 제어를 행하는 제2 인터페이스부를 포함하며,
    상기 복수의 제어 모듈과 상기 복수의 기억 장치 사이에 설치되어, 각 제어 모듈의 상기 제2 인터페이스부와 상기 복수의 기억 장치를 선택적으로 전환하는 복수의 제1 스위치 유닛을 더 구비하고,
    상기 복수의 제어 모듈과 상기 복수의 제1 스위치 유닛을 백 패널에 접속하고,
    상기 캐시 제어 유닛과 상기 제2 인터페이스부를 직렬 버스로 접속하는 동시에, 상기 제2 인터페이스부와 상기 복수의 제1 스위치 유닛을 상기 백 패널에 직렬 버스로 접속한 것을 특징으로 하는 데이터 기억 시스템.
  2. 제1항에 있어서, 상기 제어 모듈은,
    상기 캐시 제어 유닛과 상기 제2 인터페이스부를 복수 레인의 저레이턴시의 고속 직렬 버스로 접속하는 것을 특징으로 하는 데이터 기억 시스템.
  3. 제1항에 있어서, 상기 제어 모듈은 다른 상기 제어 모듈과 통신하기 위한 통신 유닛을 포함하고,
    상기 각 제어 모듈의 통신 유닛을 선택적으로 접속하는 제2 스위치 유닛을 더 포함하고, 각 제어 모듈의 통신 유닛과 제2 스위치 유닛을 상기 백 패널에 접속한 것을 특징으로 하는 데이터 기억 시스템.
  4. 상위로부터의 액세스 지시에 따라 데이터를 기억하는 복수의 기억 장치를 액세스 제어하는 데이터 기억 제어 장치에 있어서,
    상기 기억 장치에 기억된 데이터의 일부를 저장하는 캐시 메모리와, 상기 캐시 메모리의 제어를 행하는 캐시 제어 유닛과, 상기 상위와의 인터페이스 제어를 행하는 제1 인터페이스부와, 상기 복수의 기억 장치와의 인터페이스 제어를 행하는 제2 인터페이스부를 갖는 복수의 제어 모듈과;
    상기 복수의 제어 모듈과 상기 복수의 기억 장치 사이에 설치되어, 각 제어 모듈의 상기 제2 인터페이스부와 상기 복수의 기억 장치를 선택적으로 전환하는 복수의 제1 스위치 유닛을 구비하고,
    상기 복수의 제어 모듈과 상기 복수의 제1 스위치 유닛을 백 패널에 접속하고,
    상기 캐시 제어 유닛과 상기 제2 인터페이스부를 직렬 버스로 접속하는 동시에, 상기 제2 인터페이스부와 상기 복수의 제1 스위치 유닛을 상기 백 패널에 직렬 버스로 접속한 것을 특징으로 하는 데이터 기억 제어 장치.
  5. 제4항에 있어서, 상기 제어 모듈은,
    상기 캐시 제어 유닛과 상기 제2 인터페이스부를 복수 레인의 저레이턴시의 고속 직렬 버스로 접속하는 것을 특징으로 하는 데이터 기억 제어 장치.
KR1020050053785A 2004-11-30 2005-06-22 데이터 기억 시스템 및 데이터 기억 제어 장치 KR100736645B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2004347411A JP4404754B2 (ja) 2004-11-30 2004-11-30 データストレージ装置及び情報処理システム
JPJP-P-2004-00347411 2004-11-30
JP2005022121A JP4440127B2 (ja) 2005-01-28 2005-01-28 データストレージシステム及びデータストレージ制御装置
JPJP-P-2005-00022121 2005-01-28

Publications (2)

Publication Number Publication Date
KR20060060534A KR20060060534A (ko) 2006-06-05
KR100736645B1 true KR100736645B1 (ko) 2007-07-09

Family

ID=35841695

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050053785A KR100736645B1 (ko) 2004-11-30 2005-06-22 데이터 기억 시스템 및 데이터 기억 제어 장치

Country Status (3)

Country Link
US (2) US20060117159A1 (ko)
EP (2) EP2296085B1 (ko)
KR (1) KR100736645B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4362135B2 (ja) * 2007-02-13 2009-11-11 富士通株式会社 データ転送装置およびデータ転送方法
JP4607942B2 (ja) * 2007-12-05 2011-01-05 富士通株式会社 ストレージシステムおよびルートスイッチ
JP5545108B2 (ja) 2010-08-04 2014-07-09 富士通株式会社 ストレージシステム、制御装置および制御方法
JP6582523B2 (ja) 2015-04-30 2019-10-02 富士通株式会社 ストレージ装置、制御装置、制御プログラム
JP6540204B2 (ja) * 2015-04-30 2019-07-10 富士通株式会社 中継装置
US11024361B2 (en) * 2017-01-06 2021-06-01 Qualcomm Incorporated Coincident memory bank access via cross connected shared bank resources
CN109918952B (zh) * 2019-03-08 2019-10-18 中融科创信息技术河北有限公司 一种更安全的云计算平台系统及处理方法
US11086780B1 (en) * 2020-03-23 2021-08-10 EMC IP Holding Company LLC Scratchpad journaling mechanism for performance optimization

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09160723A (ja) * 1995-12-06 1997-06-20 Ibm Japan Ltd データ記憶システム、データ転送方法及びデータ再構成方法
JP2001027972A (ja) 1999-07-15 2001-01-30 Hitachi Ltd ディスク制御装置
JP2001306265A (ja) 2000-04-27 2001-11-02 Hitachi Ltd 記憶制御装置および記憶制御装置の制御方法
JP2003303055A (ja) 2002-04-09 2003-10-24 Hitachi Ltd ディスクアダプタとディスクアレイをスイッチを介して接続したディスク装置

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA1261420A (en) * 1985-05-31 1989-09-26 Masao Hosogai Pin board matrix
US5155845A (en) * 1990-06-15 1992-10-13 Storage Technology Corporation Data storage system for providing redundant copies of data on different disk drives
US5544347A (en) * 1990-09-24 1996-08-06 Emc Corporation Data storage system controlled remote data mirroring with respectively maintained data indices
US5675816A (en) * 1992-05-26 1997-10-07 Fujitsu Limited Magnetic disk subsystem with failsafe battery charging and power shut down
FR2704350B1 (fr) * 1993-04-22 1995-06-02 Bull Sa Structure physique d'un sous système de mémoire de masse.
JPH08263225A (ja) * 1995-03-22 1996-10-11 Mitsubishi Electric Corp データストレージシステム及びストレージ管理方法
US7117275B1 (en) * 1999-01-04 2006-10-03 Emc Corporation Data storage system having separate data transfer section and message network
US7073020B1 (en) * 1999-01-04 2006-07-04 Emc Corporation Method for message transfer in computer storage system
JP4294142B2 (ja) * 1999-02-02 2009-07-08 株式会社日立製作所 ディスクサブシステム
JP2001256003A (ja) * 2000-03-10 2001-09-21 Hitachi Ltd ディスクアレイ制御装置、そのディスクアレイ制御ユニットおよびその増設方法
US6742017B1 (en) * 2000-06-29 2004-05-25 Emc Corporation Data storage system having separate data transfer section and message network with pointer or counters
US6636933B1 (en) * 2000-12-21 2003-10-21 Emc Corporation Data storage system having crossbar switch with multi-staged routing
US7107337B2 (en) * 2001-06-07 2006-09-12 Emc Corporation Data storage system with integrated switching
US7404000B2 (en) * 2001-09-28 2008-07-22 Emc Corporation Protocol translation in a storage system
US7185062B2 (en) * 2001-09-28 2007-02-27 Emc Corporation Switch-based storage services
US20030079018A1 (en) * 2001-09-28 2003-04-24 Lolayekar Santosh C. Load balancing in a storage network
US6976134B1 (en) * 2001-09-28 2005-12-13 Emc Corporation Pooling and provisioning storage resources in a storage network
US7421509B2 (en) * 2001-09-28 2008-09-02 Emc Corporation Enforcing quality of service in a storage network
JP2003162377A (ja) * 2001-11-28 2003-06-06 Hitachi Ltd ディスクアレイシステム及びコントローラ間での論理ユニットの引き継ぎ方法
JP3714613B2 (ja) * 2001-12-12 2005-11-09 インターナショナル・ビジネス・マシーンズ・コーポレーション 記憶装置、該記憶装置を含む情報処理装置および情報記憶システムのリカバリ方法
US7024489B2 (en) * 2001-12-31 2006-04-04 Tippingpoint Technologies, Inc. System and method for disparate physical interface conversion
JP4166516B2 (ja) * 2002-06-14 2008-10-15 株式会社日立製作所 ディスクアレイ装置
US20040022022A1 (en) * 2002-08-02 2004-02-05 Voge Brendan A. Modular system customized by system backplane
US6928514B2 (en) * 2002-08-05 2005-08-09 Lsi Logic Corporation Method and apparatus for teaming storage controllers
US7263593B2 (en) * 2002-11-25 2007-08-28 Hitachi, Ltd. Virtualization controller and data transfer control method
JP4426333B2 (ja) * 2004-02-18 2010-03-03 株式会社日立製作所 ディスクアレイ装置
JP4605637B2 (ja) * 2004-07-29 2011-01-05 株式会社日立製作所 記憶装置システム及び記憶装置システム内での信号伝送方法
US7447233B2 (en) * 2004-09-29 2008-11-04 Intel Corporation Packet aggregation protocol for advanced switching
US7516226B2 (en) * 2004-09-30 2009-04-07 Agere Systems Inc. Transmit adaptive equalization using ordered sets

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09160723A (ja) * 1995-12-06 1997-06-20 Ibm Japan Ltd データ記憶システム、データ転送方法及びデータ再構成方法
JP2001027972A (ja) 1999-07-15 2001-01-30 Hitachi Ltd ディスク制御装置
JP2001306265A (ja) 2000-04-27 2001-11-02 Hitachi Ltd 記憶制御装置および記憶制御装置の制御方法
JP2003303055A (ja) 2002-04-09 2003-10-24 Hitachi Ltd ディスクアダプタとディスクアレイをスイッチを介して接続したディスク装置

Also Published As

Publication number Publication date
KR20060060534A (ko) 2006-06-05
EP1662369A3 (en) 2008-11-12
US20060117159A1 (en) 2006-06-01
EP2296085A1 (en) 2011-03-16
EP1662369A2 (en) 2006-05-31
EP1662369B1 (en) 2017-12-06
US20140223097A1 (en) 2014-08-07
EP2296085B1 (en) 2013-05-15

Similar Documents

Publication Publication Date Title
KR100766356B1 (ko) 데이터 스토리지 시스템 및 데이터 스토리지 제어 장치
KR100740080B1 (ko) 데이터 기억 시스템 및 데이터 기억 제어 장치
KR100736645B1 (ko) 데이터 기억 시스템 및 데이터 기억 제어 장치
CN102081561B (zh) 在存储系统的冗余存储控制器之间镜像数据
US7467238B2 (en) Disk controller and storage system
US20100153961A1 (en) Storage system having processor and interface adapters that can be increased or decreased based on required performance
US7447834B2 (en) Managing serial attached small computer systems interface communications
CN100347655C (zh) 数据存储系统和数据存储控制装置
US7487293B2 (en) Data storage system and log data output method upon abnormality of storage control apparatus
US7426658B2 (en) Data storage system and log data equalization control method for storage control apparatus
JP4985750B2 (ja) データストレージシステム
JP4440127B2 (ja) データストレージシステム及びデータストレージ制御装置
US7577775B2 (en) Storage system and configuration-change method thereof
JP2005196331A (ja) ディスクアレイ装置及びディスクアレイ装置の構成変更方法
US20040098523A1 (en) Disk drive arrangement, enclosure, adapter and method
JPH10293633A (ja) 光ファイバ・チャネル接続式記憶機構を備えたコンピュータ・システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130621

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140626

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150618

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160616

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170616

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190530

Year of fee payment: 13