JP4640854B2 - ディスクアレイ制御方法及びディスクアレイ制御装置 - Google Patents

ディスクアレイ制御方法及びディスクアレイ制御装置 Download PDF

Info

Publication number
JP4640854B2
JP4640854B2 JP2007338456A JP2007338456A JP4640854B2 JP 4640854 B2 JP4640854 B2 JP 4640854B2 JP 2007338456 A JP2007338456 A JP 2007338456A JP 2007338456 A JP2007338456 A JP 2007338456A JP 4640854 B2 JP4640854 B2 JP 4640854B2
Authority
JP
Japan
Prior art keywords
disk
data
read
host
command
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007338456A
Other languages
English (en)
Other versions
JP2008102967A (ja
Inventor
直人 松並
育哉 八木沢
山本  政行
純 松本
賢一 高本
俊明 坪井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Hitachi Solutions Technology Ltd
Original Assignee
Hitachi Ltd
Hitachi ULSI Systems Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd, Hitachi ULSI Systems Co Ltd filed Critical Hitachi Ltd
Priority to JP2007338456A priority Critical patent/JP4640854B2/ja
Publication of JP2008102967A publication Critical patent/JP2008102967A/ja
Application granted granted Critical
Publication of JP4640854B2 publication Critical patent/JP4640854B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

本発明は、ディスクアレイ制御方法およびディスクアレイ制御装置に関し、さらに詳し
くは、低コスト化と高速化とを可能とするディスクアレイ制御方法およびディスクアレイ
制御装置に関する。
(1) RAID
ディスクアレイは、複数のディスク装置を並列に動作させることで高速化を実現する技
術である。しかし、ディスク装置をn(>1)台並べた場合、その故障確率はn倍に悪化
する。そこで、高速化と高信頼化を両立するための技術として、非特許文献1に述べられ
ている。
RAIDは、複数のディスク装置を並列に動作させることにより、高速化を実現する。
また、パリティと呼ぶ冗長データをパリティ用ディスク装置に格納しておき、データを格
納するデータ用ディスク装置の1台が故障したときに、その故障したデータ用ディスク装
置のデータを他のデータ用ディスク装置のデータとパリティ用ディスク装置のパリティと
から復元することにより、高信頼化を実現する。RAIDは、そのパリティの格納の方法
によりレベル1からレベル5まである。
図13に、レベル4のRAIDのデータ配置図の一例を示す。
この例では、ディスク装置が5台で、そのうちの4台がデータ用ディスク装置200〜
203、1台がパリティ用ディスク装置204とすると、データを所定単位のデータブロ
ックD0,D1,D2,D3に分解し、データ用ディスク装置200、データ用ディスク
装置201、データ用ディスク装置202、データ用ディスク装置203の順に分散して
格納する。これらデータブロックのことをストライプと称し、この分散する制御のことを
ストライピングと称する。
さらに、ストライプD0〜D3の排他的論理和を計算し、パリティP0を生成し、パリ
ティ用ディスク装置204に格納する。一つのパリティを生成するための同一列のストラ
イプ及びパリティをパリティグループと称する。レベル4の外、レベル3,5が上記と同
一の方法でパリティを生成する。
なお、RAIDを構成するディスク装置群のことをRAIDグループと称する。
たとえば、データ(D0,D1,D2,D3)を読み出したいときにデータ用ディスク
装置200が故障した場合には、データD1,D2,D3とパリティP0を読み出し、こ
れらの排他的論理和を計算し、データD0を復元する。
(2) ディスクアレイコントローラ
上記のようなRAID型ディスクアレイを実現するためには、ホスト(ホストコンピュ
ータ)からのリード/ライト要求を各ディスク装置へのリード/ライト要求に変換し、ラ
イト時にはデータを各ディスク装置へ分散し、リード時には各ディスク装置からデータを
集合するデータ分散・集合制御を行う必要がある。また、パリティを計算するパリティ生
成制御を行う必要がある。これらの制御を行うため、通常、ホストと複数のディスク装置
の間に、ディスクアレイコントローラと呼ぶディスクアレイ制御装置を設ける。
図14に、従来の計算機システムの第1例を示す。
この計算機システム500は、ホスト3と、ディスクアレイ4とを備えてなる。31は
、ホスト3とディスクアレイコントローラ4を接続するホストインターフェースである。
ディスクアレイ4は、ディスクアレイコントローラ1と、ディスク装置200〜204
を備えてなる。210〜214は、ディスクアレイコントローラ1とディスク装置200
〜204を接続するディスクインタフェースである。
ディスクアレイコントローラ1は、ディスクアレイコントローラ全体の制御を司る中央
制御手段10と、データ分散・集中のために一時的にデータを格納するとともにキャッシ
ュとして使用するためのデータキャッシュ手段11と、ホストインタフェース31に対す
る制御を行うホストI/Fコントローラ120と、ディスクインタフェース210〜21
4を制御するディスクI/Fコントローラ130〜134を備えてなる。
ホストインタフェース31およびディスクインタフェース210〜214には、SCS
I(Small
Computer System Interface)が使われている。そこで、このようなディスク
アレイのことをSCSI型ディスクアレイと称することにする。
(3) Fibre Channel
近年、SCSIに対して性能が高く、接続距離が長いFibre Channel(以下、FCと略
記する)が登場してきた。
Fibre Channelは、ホストとディスクアレイを1対1で接続するポイント−ポイントト
ポロジの外に、複数のホストおよびディスクアレイをループ構成で接続するループトポロ
ジ、さらには、ファブリックと呼ぶスイッチ装置を用い、ポイント−ポイントやループの
任意の組み合わせで大規模なネットワークを組むことができるスイッチトポロジの3つの
形態をとることができる。
特に、ループトポロジは、FC-AL(FibreChannel−Arbitrated Loop)と呼ばれ、複
数のホストと複数のストレージを相互に接続するネットワークであるSAN(Storage Ar
ea Network)を容易に構築できる。
また、FC-ALは、ディスク装置インタフェース210〜214にも使用されるよう
になってきた。FC-ALは、SCSIに対する性能、接続距離の長所に加え、ディスク
装置の活線挿抜が可能、ディスク装置の接続台数が1ループあたり126台と多い、シリ
アルケーブルなので引き回しが容易、などの長所を備えており、ディスク装置インタフェ
ースに適用するために好ましい機能を備えている。
(4) FC型ディスクアレイ
図15に、従来の計算機システムの第2例を示す。
この計算機システム600は、ホストインタフェース31にFC−ALを用いると共に
、ディスクインタフェース13にもFC−ALを用いた構成である。
ホストホストインタフェース31には、複数台のホスト3、3a、3bが接続しており
、同様に複数台のディスクアレイ4、4aも接続している。
ディスクアレイ4のディスクアレイコントローラ1は、1つのディスクインタフェース
13に複数台のディスク装置200〜204が接続するループ構成である。ディスクイン
タフェース13を制御するディスクI/Fコントローラ130も1つである。このような
ディスクアレイを、FC型ディスクアレイと称することにする。
Fibre Channelをホストインタフェースに使う例は、”日経エレクトロニクス 1994.7.4
(no.612)号 特集「ポストSCSIの設計思想を探る。三つの新インタフェースを比較」p.12
8”(非特許文献2)に示されている。
また、Fibre Channelをディスクインタフェースに使う例は、同資料p.131(非特許文献
3)に示されている。
(5) マルチポートI/F
図14に示すSCSI型ディスクアレイ4の場合、RAIDグループを構築する複数の
ディスク装置200〜204を1台ずつ異なるディスクインタフェース210〜214に
接続することで、1つのディスクインタフェースに障害が発生しても運転を継続できる。
また、ホストインタフェース31も複数本用意し、同一のホスト3から複数のホストイ
ンタフェース31を介してディスクアレイ4に接続すると、ホストインタフェース31に
ついても耐障害性を持たせることができる。
このように複数ホストインタフェース、複数ディスクインタフェースを持つ構成をマル
チポートI/Fと称する。
これに対して、1つのホストインタフェース、1つのディスクインタフェースしか持た
ない構成をシングルポートI/Fと称する。
FC型ディスクアレイにおいても、耐障害性を持たせるためには、マルチポートI/F
化する必要があり、各々2つずつI/Fを設ける。
デビット、エー、パターソン(David A. Patterson)、外2名、「ケースフォーリダンダントアレイオブインエクスペンシヴディスク(A Case for Redundant Arrays of Inexpensive Disks)」、エーシエムシグモッド(In Proc. ACM SIGMOD)、1988年6月、p.109-p.116 特集「ポストSCSIの設計思想を探る。三つの新インタフェースを比較」、日経エレクトロニクス、612号、1994年7月4日、p.128 特集「ポストSCSIの設計思想を探る。三つの新インタフェースを比較」、日経エレクトロニクス、612号、1994年7月4日、p.131
(1) コスト上昇の課題
FC型ディスクアレイ(図15)は、SCSI型ディスクアレイ(図14)を越える性
能、機能を実現できる。
しかしながら、Fibre Channel用のI/F制御手段はSCSI用のI/F制御手段に対
し、非常に高価であるため、ホストインタフェースとディスクインタフェースの両方にFi
bre Channelを使用すると、ディスクアレイ制御装置のコストが上昇してしまう問題点が
ある。
この問題点は、Fibre Channelに限るものではなく、一般に、高速なインタフェースに
なるほど高価格になる傾向があるので、他の高速インタフェースでも同様の問題点がある
。マルチポートI/F化すると、高コスト化はさらに助長される。
(2) 応答時間低下、技術的困難性の課題
従来のFC型ディスクアレイ、SCSI型ディスクアレイのいずれにしても、ディスク
装置からホストにデータをリードするときに、ディスク装置からディスクアレイ制御装置
内部にデータの一部もしくは全部をバッファリングしてから、そのデータをホストに転送
する。そのため、応答時間が低下する問題点がある。
また、ホストインタフェース、ディスクインタフェースともにFibre Channelとした場
合、その両者の転送速度を各々100MB/Sとすると、この帯域を最大限発揮したデー
タ転送を実現するためには、ディスクアレイ制御装置内部の転送速度は少なくとも200
MB/Sが必要となり、高速なデータバスが必要である。また、ディスク装置がRAID
の場合、データ転送と並行してパリティも生成する必要がある。そこで、ディスクアレイ
制御装置内部のキャッシュメモリには、データ転送に必要な帯域の200MB/Sに加え
、さらに100MB/Sの帯域が必要である。また、デュアルコントローラ構成にする場
合、ホストからのデータを一方のディスクアレイコントローラが受信し、そのデータを他
系のディスクアレイコントローラに転送する二重化ライトを行うので、キャッシュメモリ
には他系から転送されるのデータをライトする分の100MB/Sの帯域がさらに必要で
ある。以上より、100MB/Sのホストインタフェース、ディスクインタフェースの一
対あたり、データバスには200MB/Sの転送帯域、キャッシュメモリには400MB
/Sの転送帯域が必要である。さらに、ホストインタフェースとディスクインタフェース
をn対にマルチポートI/F化した場合、そのマルチポート分の性能を発揮させようとす
ると、データバス、キャッシュメモリは各々上記のn倍の転送帯域が必要である。このよ
うに、インタフェースの高速化やマルチポート化により、ディスクアレイ制御装置内部の
転送速度は非常に高い転送帯域が必要になる。そのため、内部バスやキャッシュメモリの
動作周波数の向上やビット数の拡大が必要になり、技術的難易度が上昇し、実現困難にな
る。また、実現可能な転送速度であってもコスト的に非常に高くなってしまう問題点があ
る。
そこで、本発明の第一の目的は、高速インタフェースを使用しても低コスト化を図るこ
とが出来るディスクアレイ制御方法およびディスクアレイ制御装置を提供することにある
また、本発明の第二の目的は、応答性を改善でき、高速インタフェースの性能を最大限
発揮することができ、かつ、ディスクアレイ制御装置内部の転送速度を低く押さえ、技術
的にも容易に開発可能で、さらに低コスト化を図ることが出来るディスクアレイ制御方法
およびディスクアレイ制御装置を提供することにある。
第1の観点では、本発明は、ホストと、複数台のディスク装置をホストから見て論理的
に1台以上のディスクアレイ装置として動作させるべく制御するディスクアレイ制御装置
と、前記複数台のディスク装置とを1つのホストインタフェースに接続し、ディスクアレ
イ制御装置とホストの間の通信およびディスクアレイ制御装置と複数台のディスク装置の
間の通信を1つのホストインタフェースを介して行うことを特徴とするディスクアレイ制
御方法を提供する。
上記第1の観点のディスクアレイ制御方法では、ディスクアレイ制御装置とホストの間
の通信を行うホストインタフェースを利用して、ディスクアレイ制御装置とディスク装置
の間の通信をも行うため、インタフェースが1つで済み、高速インタフェースでも低コス
ト化を実現できる。特に、ディスクアレイ制御装置のI/F制御手段をホスト用およびデ
ィスク装置用として共用すれば、より低コスト化できる。
第2の観点では、本発明は、ホストおよび複数台のディスク装置が接続されるホストイ
ンタフェースに接続され、前記複数台のディスク装置を前記ホストから見て論理的に1台
以上のディスクアレイ装置として動作させるべく制御するディスクアレイ制御装置であっ
て、ホストインタフェースに対する制御を行うI/F制御手段と、ホストからコマンドを
受信する等の処理を行うホストコマンド制御手段と、ホストコマンドを解釈しその結果に
応じてホストとディスクアレイ制御装置と複数台のディスク装置の三者間の転送経路およ
び転送形態を決定する転送形態制御手段と、決定された転送経路および転送形態ならびに
ディスクアレイの構成に基づきホストコマンドに指示されたアドレスからディスク装置の
アドレスへと変換し対応するディスク装置へのディスクコマンドを生成するアドレス変換
制御手段と、ディスクコマンドをディスク装置へ発行する等の処理を行うディスクコマン
ド制御手段とを備えたことを特徴とするディスクアレイ制御装置を提供する。
上記第2の観点のディスクアレイ制御装置では、上記第1の観点のディスクアレイ制御
方法を好適に実施可能となる。
第3の観点では、本発明は、上記第2の観点のディスクアレイ制御装置において、前記
転送形態制御手段は、ホストコマンドがリードのときには、「ディスク装置からディスク
アレイ制御装置にデータを転送し、次いでディスクアレイ制御装置からホストにデータを
転送するノーマル転送」を転送形態として選択可能であり、ホストコマンドがライトのと
きには、「ホストからディスクアレイ制御装置にデータを転送し、次いでディスクアレイ
制御装置からディスク装置にデータを転送するノーマル転送」を転送形態として選択可能
であることを特徴とするディスクアレイ制御装置を提供する。
上記第3の観点のディスク制御装置では、従来のホストとディスク装置とを用いて、上
記第1の観点のディスクアレイ制御方法を実施可能となる。
第4の観点では、本発明は、上記第2または第3の観点のディスクアレイ制御装置にお
いて、前記転送形態制御手段は、ホストコマンドがリードのときには、「ディスク装置か
らディスクアレイ制御装置を経由せずにホストにデータを直接転送するダイレクト転送」
を転送形態として選択可能か、および、ホストコマンドがライトのときには、「ホストか
らディスクアレイ制御装置を経由せずにディスク装置にデータを直接転送するダイレクト
転送」を転送形態として選択可能かの、少なくとも一方が可能であることを特徴とするデ
ィスクアレイ制御装置を提供する。
上記第4の観点のディスク制御装置では、ディスクアレイ制御装置を経由せずに、ホス
トとディスク装置の間でデータを直接転送するため、応答性を改善でき、高速インタフェ
ースの性能を最大限発揮することができ、かつ、ディスクアレイ制御装置内部の転送速度
を低く押さえることが出来る。よって、技術的に容易に開発可能となり、低コスト化でき
る。また、ディスクアレイ制御装置における処理負担を軽減できる。
第5の観点では、本発明は、上記第2から第4の観点のディスクアレイ制御装置におい
て、前記転送形態制御手段は、ホストコマンドがリードで且つキャッシュミスしたときに
は、「ディスク装置からディスクアレイ制御装置とホストの両方にデータを転送するマル
チターゲットダイレクト転送」を転送形態として選択可能か、および、ホストコマンドが
ライトのときには、「ホストからディスクアレイ制御装置とディスク装置の両方にデータ
を転送するマルチターゲットダイレクト転送」を転送形態として選択可能であるかの、少
なくとも一方が可能であることを特徴とするディスクアレイ制御装置を提供する。
上記第5の観点のディスク制御装置では、ディスクアレイ制御装置を経由せずに、ホス
トとディスク装置の間でデータを直接転送するため、応答性を改善でき、高速インタフェ
ースの性能を最大限発揮することができ、かつ、ディスクアレイ制御装置内部の転送速度
を低く押さえることが出来る。よって、技術的に容易に開発可能となり、低コスト化でき
る。また、ディスクアレイ制御装置における処理負担を軽減できる。
また、データをディスクアレイ制御装置にも転送するため、キャッシュによる応答性の
改善も期待できる。
さらに、ホストコマンドがライトのときにマルチターゲットダイレクト転送すれば、デ
ィスクアレイ制御装置で迅速にパリティを生成可能となり、特にディスク装置がRAID
のときに有用となる。
第6の観点では、本発明は、上記ディスクアレイ制御装置およびディスク装置が接続さ
れるホストインタフェースに接続されるホストであって、ホストインタフェースに対する
制御を行うホストインタフェース制御手段と、ホストインタフェースに送出された転送形
態の情報を受信し、その情報に従ってディスク装置またはディスク制御装置とのデータ転
送を行うよう前記ホストインタフェース制御手段を制御するホスト転送形態制御手段とを
備えたことを特徴とするホストを提供する。
上記第6の観点のホストを用いれば、上記ディスクアレイ制御方法を好適に実施可能と
なる。
第7の観点では、本発明は、上記ディスクアレイ制御装置および上記ホストが接続され
るホストインタフェースに接続されるディスク装置であって、ホストインタフェースに対
する制御を行うディスクインタフェース制御手段と、ホストインタフェースに送出された
転送形態の情報を受信し、その情報に従ってホストもしくはディスクアレイ制御装置との
データ転送を行うよう前記ディスクインタフェース制御手段を制御するディスク転送形態
制御手段とを備えたことを特徴とするディスク装置を提供する。
上記第7の観点のディスク装置を用いれば、上記ディスクアレイ制御方法を好適に実施
可能となる。
第8の観点では、本発明は、上記ディスクアレイ制御装置と、上記ホストと、上記ディ
スク装置とを、ホストインタフェースに接続し、前記3者すべてが同一の転送形態でデー
タ転送を行うことを特徴とする計算機システムを提供する。
上記第8の観点の計算機システムでは、上記ディスクアレイ制御方法を好適に実施可能
となる。
本発明のディスクアレイ制御方法およびディスクアレイ制御装置によれば、次の効果が
得られる。
(1)高速インタフェースを採用したとしても、ホスト用インタフェースとディスク装
置用インタフェースを1つのインタフェースで共用するので、低コスト化できる。
(2)ダイレクト転送を用いることで、ディスクアレイ制御装置を経由せずに、ディス
ク装置とホスト間でデータを直接転送することができるので、バッファリングに要してい
たオーバヘッド時間を削減でき、応答性を改善でき、高速インタフェースの性能を最大限
発揮することができ、かつ、ディスクアレイ制御装置内部の転送速度を低く押さえること
ができるので、技術的にも容易に開発可能となり、低コスト化を図ることができる。
(3)マルチターゲットダイレクト転送を用いることで、ダイレクト転送による上記効
果と、キャッシュによる応答性の向上を図ることができる。
以下、図を参照して本発明の実施形態を説明する。なお、これにより本発明が
限定されるものではない。
(ノーマル転送の例)
第一実施形態では、本発明のディスクアレイが備える転送形態の一つである「
ノーマル転送」と呼ぶ転送形態を説明する。
「ノーマル転送」は、ホストとディスクアレイコントローラ、およびディスクアレイコ
ントローラとディスク装置の間でのみデータ転送を行なう転送形態である。これは従来の
ディスクアレイの転送形態と同一であるが、後述するようにホストインタフェースとディ
スクインタフェースを一つのインタフェースに統合した点が従来と異なっている。
(1) ディスクアレイの構成
図1に、第一実施形態の計算機システムの構成例を示す。
この計算機システム100は、ホスト3と、ホストインタフェース31と、ディスクア
レイ4とを具備している。
ホストインタフェース31は、FC−ALである。
ディスクアレイ4は、ディスクアレイコントローラ1と、ディスク装置200〜204
(これらを総称してディスク装置2と表現する)を具備している。図1では簡略化して表
現しているが、ディスク装置200〜204は、ホストインタフェース31に接続してい
る。
(2) ディスクアレイコントローラの構成
ディスクアレイコントローラ1は、中央制御手段10と、データキャッシュ手段11と
、I/F制御手段12と、パリティ演算手段14と、内部バス15とを具備している。
前記I/F制御手段12は、ホスト3との通信に用いるときにはI/F制御手段12を
ターゲットモードにし、ディスク装置2との通信に用いるときにはI/F制御手段12を
イニシエータモードに切り替える制御を行うイニシエータ/ターゲット切り替え部121
を備えている。
前記中央制御手段10は、MPU(Micro Processing Unit)を用いて実現している。そ
して、各種制御部は、MPUで動作する制御プログラムで実現している。
図2に、中央制御手段10の構成を示す。
中央制御手段10は、I/F制御手段12の操作を行いホスト3からコマンドを受信す
る等のホスト3との通信を行うホストコマンド制御部101と、受信したホストコマンド
を解析しキャッシュのヒットミス判定やアクセスのシーケンシャル性判定などを行いコマ
ンド毎にホスト3とディスクアレイコントローラ4とディスク装置2の間の転送の経路等
のデータ転送形態を決定する転送形態制御部102と、ホストコマンドに格納されたディ
スクアレイ4への論理アドレスからディスク装置2への物理アドレスに変換するアドレス
変換制御部103と、ディスクコマンドを生成しI/F制御手段12の操作を行いディス
ク装置2にコマンドを発行する等のディスク装置2との通信を行うディスクコマンド制御
部104とを具備している。
なお、上記において、ディスク装置2のアドレスを物理アドレスと称したが、一般に、
Fibre ChannelをI/Fとするディスク装置は論理的なアドレス(LBA:ロジカルブロ
ックアドレス)を用いて操作する。しかし、ここでは、ホスト3からディスクアレイ4を
1台のディスク装置と見なしてアクセスするために用いるアドレスを論理アドレスと呼び
、ディスク装置2をアクセスするために用いるディスク装置のアドレスを物理アドレスと
呼んで、両者を区別することにする。
また、前記転送形態制御部102は、第一実施形態でも使用しているが、「ノーマル転
送」のみで動作する場合は省略可能である。
(3) ホストとディスク装置の構成
図1に戻り、ホスト3は、ディスクアレイコントローラ1を接続するホストI/F制御
手段32を具備している。なお、ホスト3は、ホスト転送形態制御手段33を具備してい
るが、ホスト転送形態制御手段33は第一実施形態では使用しない(第二実施形態以降で
使用する)ため、説明しない。従って、第一実施形態「ノーマル転送」のみで動作する場
合はホスト転送形態制御手段33を省略可能である。
ディスク装置200〜204は、それぞれディスクI/F制御手段21を具備している
。なお、ディスク装置200〜204は、ディスク転送形態制御手段22を具備している
が、ディスク転送形態制御手段22は第一実施形態では使用しない(第三実施形態以降で
使用する)ため、説明しない。従って、第一実施形態「ノーマル転送」のみで動作する場
合はディスク転送形態制御手段22を省略可能である。
(4) アクセス種類
一般に、アクセスの種類を大別すると、ランダムアクセスと、シーケンシャルアクセス
とがある。
ランダムアクセスは、ディスクアレイ4の論理アドレス空間の任意のアドレスのリード
ライトを行うアクセスである。データベースのレコード参照等で発生する。一般に、ラン
ダムアクセスは、4KB程度の小転送長でアクセスされることが多い。ランダムアクセス
では、データ転送長が短いため、転送時間はわずかである。従って、全処理時間において
、ディスク装置のシーク、回転待ち時間が支配的である。
シーケンシャルアクセスは、ディスクアレイ4の連続した論理アドレスを続けてリード
ライトするアクセスである。バッチ処理や画像アクセス等で発生する。一般に、シーケン
シャルアクセスは、64KB等の大転送長でアクセスされることが多い。シーケンシャル
アクセスでは、連続アクセスのためディスク装置のシークはほとんど発生しないし、シー
ケンシャルリード時にはディスク装置の内部でデータの先読みを行うので回転待ちもほと
んど発生しないが、データ転送長が長いため転送時間は長い。よって、全処理時間におい
て、データ転送時間が支配的である。
以下では、シーケンシャルアクセスとランダムアクセスの2つに分けて説明するが、シ
ーケンシャルアクセスとランダムアクセスの中間または混合に位置するようなアクセスは
、シーケンシャルアクセスとランダムアクセスのいずれかの処理方法で対処可能である。
(5) ランダムリード
図3は、ディスクアレイのランダムリード動作を説明する概念図である。
・リードコマンド受信(図3(1))
ホスト3は、小転送長のリードホストコマンドを生成し、ホストI/F制御手段32を
制御し、ホストインタフェース31を介して、ディスクアレイコントローラ1へと発行す
る。
ディスクアレイコントローラ1のI/F制御手段12は、ターゲットモードでコマンド
を待ち受けており、リードホストコマンドを受信し、中央制御手段10に通知する。
通知を受けた中央制御手段10のホストコマンド制御部101は、リードホストコマン
ドを受領する。
・転送形態の判定
転送形態制御部102は、リードホストコマンドを解析し、キャッシュのヒットミス判
定を行う。
キャッシュがヒットした場合、データキャッシュ手段11からホスト3へのデータ転送
を開始する。この動作は、後述するディスクアレイコントローラ1からホスト3へのデー
タ転送と同一である(図3(5)(6))。
キャッシュがミスした場合、転送形態制御部102は、シーケンシャルアクセス判定を
行う。シーケンシャル判定は、前回のリードコマンドの論理アドレスと今回のリードコマ
ンドの論理アドレスの連続性を判定することで行う。ここでは、ランダムアクセスのため
、シーケンシャル判定がミスする。すると、転送形態制御部102は、転送形態を「ノー
マル転送」であると判定する。
「ノーマル転送」においては、その転送形態をホスト3およびディスク装置2に通知す
る必要はない。そこで、続けて、転送形態制御部102は、データキャッシュ手段11の
適切なアドレスに、このリードホストコマンドのデータを格納するキャッシュ領域を確保
する。
・アドレス変換
アドレス変換制御部103は、リードホストコマンドに格納されたディスクアレイへの
論理アドレスから、ディスクアレイの構成に基づき、この論理アドレスのデータを格納す
るディスク装置番号を特定し、そのディスク装置の物理アドレスに変換する。
・ディスクコマンドの発行(図3(2))
ディスクコマンド制御部104は、対象ディスク装置へのリードディスクコマンドを生
成し、I/F制御部12にリードディスクコマンドを発行する。I/F制御手段12は、
このリードディスクコマンドを受信する。イニシエータ/ターゲット切り替え制御部12
1は、I/F制御部12をターゲットモードに切り替える。I/F制御部12は、ホスト
インタフェース31を介し、ディスク装置2にリードディスクコマンドを発行する。リー
ドディスクコマンドは、Fibre Channelのフレームとして送信する。
・ディスク装置2からディスクアレイコントローラ4へのデータ転送(図3(3))
ディスク装置2は、リードディスクコマンドを受領すると、リードディスクコマンドを
解析し、ヘッドのシーク、回転待ちを行い、指示された物理アドレスから指示された転送
長のデータをリードする。次に、全データ転送に必要な個数のデータフレームを生成し、
ディスクアレイコントローラ1にホストインタフェース31を介し発行する。
ディスクアレイコントローラ1のI/F制御手段12は、イニシエータモードとして動
作し、データフレームを受信し、データキャッシュ手段11に転送する。
・ディスクコマンド終了(図3(4))
ディスク装置2は、データフレームの転送終了後に、ステータスを格納したフレームを
作成し、ディスクアレイコントローラ1に送信する。
ディスクアレイコントローラ1のI/F制御手段12は、ステータスを格納したフレー
ムを受信し、中央制御手段10に通知する。
中央制御手段10のディスクコマンド制御部104は、正常にコマンド処理が終了した
ことを確認する。
・ディスクアレイコントローラからホストへのデータ転送(図3(5))
ホストコマンド制御部101は、I/F制御手段12にデータ転送開始を指示する。I
/F制御手段12のイニシエータ/ターゲット切り替え制御部121は、I/F制御手段
12をターゲットモードに切り替える。I/F制御手段12は、データキャッシュ手段1
1からデータをリードし、データフレームを作成し、ホスト3にホストインタフェース3
1を介し転送を行う。
・リードホストコマンドの終了(図3(6))
ディスクアレイコントローラ1のI/F制御手段12は、全データフレームを転送終了
すると、ステータスフレームを生成し、ホスト3に送信する。
ホスト3は、ステータスフレームを受信し、データ転送が完了し、リードコマンドが正
常終了したことを確認する。
(6) ランダムライト
図4に、ディスクアレイ4のランダムリード動作の概念図を示す。
・ライトホストコマンドの処理(図4(1)(2)(3))
ホスト3は、ライトホストコマンドを生成し、ホストI/F制御手段32を制御し、ホ
ストインタフェース31を介して、ディスクアレイコントローラ1へと発行する。
ディスクアレイコントローラ1のI/F制御手段12は、ターゲットモードでコマンド
を待ち受けており、ライトホストコマンドを受信し、中央制御手段10に通知する。
通知を受けた中央制御手段10のホストコマンド制御部101は、ライトホストコマン
ドを受領する。
転送形態制御部102は、ホストコマンドを解析し、「ノーマル転送」と判断し、デー
タを格納するためのキャッシュ領域をデータキャッシュ手段11に確保する。
ホストコマンド制御部101は、I/F制御手段12にキャッシュ領域のアドレスを通
知し、転送開始を指示する。
I/F制御手段12は、転送許可フレームをホスト3に送信する。
ホスト3は、データフレームを送信する。
I/F制御手段12は、データを受信し、データキャッシュ手段11の指定された領域
に格納し、転送が終了したらステータスフレームをホスト3に送信し、データ転送が完了
したことを中央制御手段10に通知する。
ホスト3は、ステータスフレームを受信し、転送が完了し、ライトホストコマンドが正
常終了したことを確認する。
以上のように、ディスクアレイコントローラ1のデータキャッシュ手段11にデータを
ライトした時点でホストコマンドを終了する方法を、ライトバックキャッシュと呼ぶ。ま
た、データキャッシュ手段11中にディスク装置2には書き込まれずに保存されているデ
ータをダーティデータと呼び、ダーティデータを保存しているキャッシュのことを、ダー
ティキャッシュと呼ぶ。
ダーティデータの量が規定値以上になった場合や所定時間以上ダーティデータが保存さ
れていた場合、ディスクアレイコントローラ1は、ダーティデータをディスク装置2に書
き戻す処理を行う。この処理を、デステージ処理と呼ぶ。
・パリティの生成(図4(4)(5)(6))
デステージに先立ち、ダーティデータに対応するパリティを生成する。ここで、ダーテ
ィデータがD1(new)であるとすると、それに対応した新パリティP0(new)は、D1(new
)とD1(old)とP0(old)の排他的論理和により求める。このため、D1(old)とP0(old
)をディスク装置2からリードする必要がある。そこで、両データをデータキャッシュ制
御手段11上に一時的に格納する領域を割り当て、その領域に前記リードホストコマンド
に対するディスク装置からディスクアレイコントローラへのデータ転送と同一の方法でリ
ードする。
中央制御手段10は、パリティ演算手段14にパリティP0(new)の生成要求を発行す
る。
パリティ演算手段14は、パリティP0(new)を生成し、データキャッシュ手段11に
予め用意した領域に格納する。
・デステージ処理(ディスク装置ライト処理)(図4(7)(8)(9))
新データと新パリティのデステージ処理は、前記リードホストコマンドに対するディス
ク装置からディスクアレイコントローラへのデータ転送と基本的に同一である。相違点は
、転送方向が逆である(リードがライトになる)こと、および、ディスクアレイコントロ
ーラ1がディスク装置2にライトディスクコマンドを発行すると、ディスク装置2は転送
許可フレームをディスクアレイコントローラ1に発行し、これを受信したディスクアレイ
コントローラ1のI/F制御手段12がデータフレームをディスク装置2に送出すること
である。
ディスク装置2は、データのライトが終了すると、ステータスフレームをディスクアレ
イコントローラ1に送信する。
これを受信すると、ディスクアレイコントローラ1の中央制御手段10は、新データお
よび新パリティのデータキャッシュ領域をダーティからクリーンに属性を変更すると共に
、旧データおよび旧パリティのデータキャッシュ領域を無効化する。以上で、ライトホス
トコマンドの処理を終了する。
・シーケンシャルアクセス
キャッシュのヒットミス判定でミスし、さらにシーケンシャル判定でヒットすると、シ
ーケンシャルアクセスの処理の行なうが、これは上記ランダムアクセスと基本的に同一の
手順である。異なる点は、シーケンシャルリード時には、複数のディスク装置201〜2
04に対し同時に複数のリードコマンドを発行し、データキャッシュ手段11上でデータ
を集合しホスト3に転送することと、シーケンシャルライト時には、データキャッシュ手
段11上にパリティグループのデータがそろう場合があるため、ディスク装置2から旧デ
ータ,旧パリティをリードすることなく新パリティを生成する場合があることである。
(7) 第一実施形態の効果
以上の第一実施形態によれば、ディスクアレイコントローラ1は、ホスト3との接続イ
ンタフェースおよびディスク装置2との接続インタフェースを一つのホストインタフェー
ス31で共用し、これを唯一つのI/F制御手段12で制御しているので、fibre channe
lのような高価なインタフェースであっても、ディスクアレイコントローラ1を低コスト
化できる。
(ダイレクト転送の例1)
第二実施形態では、本発明のディスクアレイが備える転送形態の一つである「ダイレク
ト転送」と呼ぶ転送形態を説明する。
「ダイレクト転送」は、ホストとディスク装置がディスクアレイコントローラを介さず
にデータ転送を行なう転送形態である。「ダイレクト転送」は、主にシーケンシャルリー
ド時に有効な転送形態である。
(1) ディスクアレイの構成
ディスクアレイ1は、図1,図2を参照して第一実施形態で説明した構成と同様である
。「ダイレクト転送」を行う際には、図2の中央制御手段10の転送形態制御手段102
を使用する。
(2) ホストの構成
ホスト3は、図1を参照して第一実施形態で説明した構成と同様である。「ダイレクト
転送」を行う際には、ホスト転送形態制御手段33を使用する。ホスト転送形態制御手段
33は、ディスクアレイコントローラ1が決定し通知してきた転送形態情報を受信し、指
示された転送形態を用いてデータを授受できるようにホストI/F制御手段32を制御す
る。
(3) ディスク装置の構成
ディスク装置2は、図1を参照して第一実施形態で説明した構成と同様である。なお、
ディスク装置200〜204は、ディスク転送形態制御手段22を具備しているが、ディ
スク転送形態制御手段22は第二実施形態では使用しない(第三実施形態以降で使用する
)ため、説明しない。従って、第一実施形態「ノーマル転送」および第二実施形態「ダイ
レクト転送の例1」のみで動作する場合はディスク転送形態制御手段22を省略可能であ
る。
(4) シーケンシャルリード
・リードコマンド受信(図5(1))
ホスト3は、シーケンシャルアクセスを行うため、リードホストコマンドを生成し、ホ
ストI/F制御手段32を制御し、ホストインタフェース31を介して、ディスクアレイ
コントローラ1に発行する。ここで、転送長は64KBであると仮定する。
ディスクアレイコントローラ1のI/F制御手段1には、ターゲットモードでコマンドを
待ち受けしており、リードホストコマンドを受信し、中央制御手段10に通知する。
通知を受けた中央制御手段10のホストコマンド制御部101は、リードホストコマン
ドを受領する。
・転送形態の判定
中央制御手段10の転送形態制御部102は、リードホストコマンドを解析し、キャッ
シュのヒットミス判定を行う。シーケンシャルアクセスなのでキャッシュはミスする。
キャッシュがミスした場合、転送形態制御部102は、シーケンシャルアクセス判定を
行う。ここでは、シーケンシャルアクセスなので、シーケンシャル判定はヒットする。す
ると、転送形態制御部102は、転送形態を「ダイレクト転送」と決定する。
・アドレス変換
アドレス変換制御部103は、リードホストコマンドの論理アドレスからディスクアレ
イの構成に基づき、この論理アドレスのデータを格納するディスク装置番号を特定し、そ
のディスク装置の物理アドレスに変換する。この変換を次に具体的に説明する。
図6は、RAID4もしくはRAID5のディスクアレイの一つのパリティグループを
示した図である。
ストライプ220,…,224は、ディスク装置200,…,204のそれぞれのスト
ライプを示している。ステップ220〜223はデータストライプであり、ストライプ2
24はパリティストライプである。ストライプサイズは、64KBとする。
シーケンシャルアクセス対象のデータの転送長が64KBであるが、アドレス変換の結
果、このデータがディスク装置200のストライプ220の後半16KBとディスク装置
201のストライプ221の前半48KBに該当する場合、シーケンシャルアクセス対象
のデータは図6の斜線のようになる。
図7は、論理アドレスと物理アドレスの関係の説明図である。
一般に、ホスト3のホストメモリは、仮想記憶と呼ばれるメモリメカニズムを使用して
おり、4KB等のメモリブロックをページと呼び、ページ単位で必要なメモリの割り当て
を行っている。このため、アプリケーションから見て連続した論理アドレスでも、実際の
ホストメモリへのマッピングは、いくつかの領域に分断されていることが多い。そこで、
ホストメモリアドレスと論理アドレスとディスクアレイ4の物理アドレスの対応を管理し
ている。
そして、その対応に従って、ホストI/F制御手段32は、受信したデータを適切なホ
ストメモリアドレスに転送する。
このようなメカニズムをScatter/Gather(S/G)と呼び、論理アドレスとメモリアド
レスとの関係を示したリストをS/Gリストと呼び、ホストコマンドを発行する際には、
ホスト3が生成し、ホストI/F制御手段32に通知してある。このリストに従って、ホ
ストI/F制御手段32が、データ転送を行う。
図8に、アドレス変換制御部103が作成するアドレス変換リスト1030を例示する
このアドレス変換リスト1030は、ある論理アドレス(例えばLA0)からある転送
長分(例えば16KB)のデータが特定のディスク装置(例えばディスク装置200)の
特定の物理アドレス(例えばPA1)から開始することを示している。
・ダイレクト転送メッセージの転送(図5(2)、(3))
図5に戻り、次にホストコマンド制御部101は、ホスト3に対するダイレクト転送メ
ッセージを作成し、I/F制御手段12に発行する。ダイレクト転送メッセージには、ダ
イレクト転送メッセージであることを示す識別子と、上記アドレス変換リスト1030を
格納する。
I/F制御手段12は、メッセージフレームを作成し、そのメッセージフレームをホス
ト3に送付し、さらに、ステータスフレームをホスト3に転送し、リードホストコマンド
を一旦終了する。
・ダイレクト転送S/Gリストの生成
ホスト3のホストI/F制御手段32は、メッセージフレームを受信し、さらに続けて
テータスフレームを受信し、ここで一旦リードホストコマンドを仮終了とする。
ホスト転送形態制御手段33は、このメッセージフレームに格納されたダイレクト転送
メッセージを解析し、転送形態が「ダイレクト転送」であることを認識する。そして、ダ
イレクト転送メッセージに格納された上記アドレス変換リスト1030とS/Gリストを
比較し、各ディスク装置毎の物理アドレスとメモリ転送先アドレスとの関係を調査し、各
ディスク装置200,201に対応したダイレクト転送S/Gリストを生成する。
図9に、ダイレクト転送S/Gリストを例示する。
ダイレクト転送S/Gリスト3300がディスク装置200に対応し、ダイレクト転送
S/Gリスト3301がディスク装置201に対応する。
・ダイレクト転送の実行(図5(4)、(5)、(6))
次に、ホスト転送形態制御手段33は、アドレス変換リスト1030を用い、各ディス
ク装置に対するディスクコマンドを作成し、ホストI/F制御手段32に発行する。
ホストI/F制御手段32は、ホストインタフェース31を介して、各ディスク装置2
00,201にディスクコマンドを発行する。
ディスク装置200,300は、独立にシーク,回転待ちを行い、どちらか先に準備の
出来たものからデータ転送を開始する。
ホストI/F制御手段32は、データフレームを受信し、フレームのヘッダから転送元
ディスク装置の番号を確認し、それぞれのディスク装置毎のダイレクト転送S/Gリスト
に従ってホストメモリにデータ転送を行う。この例では、ディスク装置200からデータ
が送られてきた場合、最初の8KBをホストメモリのメモリアドレスMA0に格納し、次
の8KBをメモリアドレスMA1に格納する。また、ディスク装置201からデータが送
られてきた場合、最初の24KBをメモリアドレス(MA1+8KB)に格納し、次の2
4KBをメモリアドレスMA2に格納する。この際、ディスク装置200,201の物理
アドレスは意識する必要はなく、送られてきたデータの順番にダイレクト転送S/Gリス
トに従ってデータを格納していけばよい。
全てのディスク装置からのデータ転送が完了し、ステータスフレームを受信すると、デ
ィスクコマンドが正常終了する。
・ホストコマンドの終了
全てのディスクコマンドが正常終了した時点で、データ転送が完了するので、ホストI
/F制御手段32は、先に仮終了したホストコマンドを正常終了し、この要求を発行した
アプリケーションに対して正常終了ステータスを返し、処理を終える。
(5) シーケンシャルリード以外の処理
上記ではシーケンシャルリードの処理について説明したが、シーケンシャルリード以外
(例えばランダムリード)においても上記と同様にダイレクト転送を行うことが出来る。
上記ダイレクト転送の場合、ディスクアレイコントローラ1内部のデータキャッシュ手
段11にデータをキャッシュすることが出来ないため、キャッシュヒットによるアクセス
の高速化を実現できなくなる。
しかし、2度と使わないデータであることが分かっている(キャッシュをする必要がな
い)場合や、データキャッシュ手段11のメモリ容量が小さい(データキャッシュ手段1
1でのキャッシュのヒットが期待できない)場合や、ホスト3に設けたディスク装置キャ
ッシュの容量が大きい(データキャッシュ手段11を使う必要がない)場合などでは、上
記ダイレクト転送も有効である。
なお、後述の第四実施形態では、ディスクアレイコントローラ1においてキャッシング
を行うと同時にダイレクト転送を行う。
(6) 第二実施形態の効果
以上の第二実施形態によれば、シーケンシャルリードの際には、ディスク装置2からリ
ードしたデータをディスクアレイコントローラ1を経由せず、直接ホスト3に転送するの
で、ホストインタフェース31の転送速度を最大限に利用したデータ転送を実現できる。
また、ホストI/Fとディスク装置I/Fが1本になり、低価格化できる。さらに、第一
実施形態の「ノーマル転送」のようにディスク装置2からディスクアレイコントローラ1
への転送とディスクアレイコントローラ1からホスト3への転送の2回に渡って同一のI
/Fを使用するのでは性能の低下があるが、このような性能の低下を引き起こすことなく
高速転送を実現できる。すなわち、データを一旦ディスクアレイコントローラ1のデータ
キャッシュ手段11にリードするデータバッファリングに要していた処理時間を削減でき
、アクセス応答時間を短縮できる。
さらに、ディスク装置2からのデータは、ディスクアレイコントローラ1内部のデータ
バスを通らないので、ディスクアレイコントローラ1のデータバスとキャッシュメモリの
帯域を大きくする必要がない。その結果、バスのビット幅を減らしたり、周波数を下げた
り、メモリのビット幅を減らしたり、インタリーブの数を少なくしたりすることができ、
ディスクアレイコントローラ1を容易に開発でき、さらにディスクアレイコントローラ1
のコストを著しく低下させることができる。
さらに、シーケンシャルアクセス時にはキャッシュヒットはほとんどないため、従来の
ディスクアレイにおいて無駄にデータキャッシュを使用していたことによるキャッシュヒ
ット率の低下を防止することができ、ランダムアクセスのようなキャッシュヒットするア
クセスの高速化を実現できる。
さらに、従来と同一のディスク装置を使用したままでダイレクト転送による高速化を実
現でき、従来システムからの移行が容易である。
(ダイレクト転送の例2)
第三実施形態では、上記第二実施形態とは異なる「ダイレクト転送」を説明する。
第三実施形態の「ダイレクト転送」も、第二実施形態同様、主にシーケンシャルリード
時に有効な転送形態である。
(1) ディスクアレイの構成
上記第二実施形態と同一である。
(2) ホストの構成
上記第二実施形態と同一である。
(3) ディスク装置の構成
上記第二実施形態と同一である。第三実施形態では、ディスクアレイコントローラ1が
決定した転送形態を受信し、それに基づき転送形態を決定するディスク転送形態制御手段
22を使用する。
(4)シーケンシャルリード
・リードコマンド受信(図10(1))
ホスト3は、シーケンシャルアクセスを行うため、リードホストコマンドを生成し、ホ
ストI/F制御手段32を制御し、ホストインタフェース31を介して、ディスクアレイ
コントローラ1に発行する。ここで、転送長は64KBであると仮定する。
ディスクアレイコントローラ1のI/F制御手段12は、ターゲットモードでコマンド
を待ち受けしており、リードホストコマンドを受信し、中央制御手段10に通知する。
通知を受けた中央制御手段10のホストコマンド制御部101は、リードホストコマン
ドを受領する。
・転送形態の判定
中央制御手段10の転送形態制御部102は、リードホストコマンドを解析し、キャッ
シュのヒットミス判定を行う。シーケンシャルアクセスなのでキャッシュはミスする。
キャッシュがミスした場合、転送形態制御部102は、シーケンシャルアクセス判定を
行う。ここでは、シーケンシャルアクセスなので、シーケンシャル判定はヒットする。す
ると、転送形態制御部102は、転送形態を「ダイレクト転送」と決定する。
・アドレス変換
アドレス変換制御部103は、リードホストコマンドの論理アドレスからディスクアレ
イの構成に基づき、この論理アドレスのデータを格納するディスク装置番号を特定し、そ
のディスク装置の物理アドレスに変換する。ここで、アドレス変換制御部103は、図8
に示すアドレス変換リスト1030を生成したものとする。
・ダイレクト転送メッセージの転送(図10(2))
図10に戻り、次にホストコマンド制御部101は、ホスト3に対するダイレクト転送
メッセージを作成し、I/F制御手段12に発行する。
I/F制御手段12は、メッセージフレームを作成し、そのメッセージフレームをホス
ト3に送付する。ただし、第二実施形態とは異なり、この時点では、ステータスフレーム
は送出しない。
・ダイレクト転送S/Gリストの生成
ホスト3のホストI/F制御手段32は、メッセージフレームを受信する。
ホスト転送形態制御手段33は、受信したメッセージフレームに格納されたダイレクト
転送メッセージを解析し、転送形態が「ダイレクト転送」であることを認識する。
そして、第二実施形態と同様にして、ダイレクト転送S/Gリスト3300,3301
を生成し、ディスク装置2からデータ転送が行われるのを待機する。
・ディスク装置へのコピーコマンドの発行(図10(3))
一方、ディスクアレイコントローラ1において、中央制御手段10のディスクコマンド
制御部104は、アドレス変換リスト1030に基づいて、ディスク装置2の指定アドレ
スから指定長のデータをホスト3に対して転送するよう指示するコピーコマンドを生成し
、I/F制御手段12に発行する。このコピーコマンドは、ディスクアレイコントローラ
1にディスク装置2からデータをリードするリードコマンドとは区別する。
I/F制御手段12は、各ディスク装置200,201にそれぞれコピーコマンドを発
行する。
・コピーコマンドによるダイレクト転送の実行(図10(4)、(5))
ディスク装置200,201では、それぞれのディスクI/F制御手段21がコピーコ
マンドを受信する。
ディスク転送形態制御手段22は、コピーコマンドによるダイレクト転送を実施するこ
とを確認する。
そして、ディスク装置200,201は、独立にシーク、回転待ちを行い、どちらか先
に準備の出来たものからホスト3に対しデータ転送を開始する。
ホスト3のホストI/F制御手段32は、データフレームを受信し、そのデータフレー
ムのヘッダから転送元ディスク装置の番号を確認し、それぞれのディスク装置毎のダイレ
クト転送S/Gリスト3300,3301に従ってホストメモリにデータ転送を行う。
全てのディスク装置からのデータ転送が完了すると、ディスク装置200,201は、
ステータスフレームを作成し、ディスクアレイコントローラ1に送出する。
そのステータスフレームをディスクアレイコントローラ1のI/F制御手段12が受信
すると、コピーコマンドが正常終了する。
・ホストコマンドの終了
全てのコピーコマンドが正常終了した時点で、ディスクアレイコントローラ1のホスト
コマンド制御部101は、リードホストコマンドに対するステータスを作成する。
I/F制御手段12は、ステータスフレームを作成し、ホスト3に送出する。
ホスト3は、このステータスフレームを受信し、ホストコマンドが正常終了したことを
認識し、この要求を発行したアプリケーションに対して正常終了ステータスを返し、処理
を終える。
(5) 第三実施形態の効果
以上の第三実施形態によっても、第二実施形態と同様の効果を得ることができる。
(マルチターゲットダイレクト転送の例)
第四実施形態では、本発明のディスクアレイが備える転送形態の一つである「マルチタ
ーゲットダイレクト転送」と呼ぶ転送形態を説明する。
「マルチターゲットダイレクト転送」は、主にランダムリード時に有効な転送形態であ
り、第二および第三実施形態と同様にインタフェース帯域の消費と応答時間の遅延の両方
を解決できると共に、キャッシュによる高速化も可能となる。
(1) ディスクアレイの構成
第三実施形態と同一である。
(2) ホストの構成
第三実施形態と同一である。
(3) ディスク装置の構成
第三実施形態と同一である。
(4)ランダムリード
・リードコマンド受信(図11(1))
図11に示すように、ホスト3は、リードアクセスを行うため、リードホストコマンド
を生成し、ホストインタフェース制御手段32を制御し、ホストインタフェース31を介
して、ディスクアレイコントローラ1に発行する。
ディスクアレイコントローラ1のI/F制御手段12は、ターゲットモードでコマンド
を待ち受けしており、リードホストコマンドを受信し、中央制御手段10に通知する。
通知を受けた中央制御手段10のホストコマンド制御部101は、リードホストコマン
ドを受領する。
・転送形態の判定
転送形態制御部102は、リードホストコマンドを解析し、キャッシュのヒットミス判
定を行う。ここでは、キャッシュミスであったとする。すると、転送形態制御部102は
、次にシーケンシャルアクセス判定を行う。ここでは、ランダムアクセスなので、ミスヒ
ットとなる。そこで、転送形態制御部102は、転送形態を「マルチターゲットダイレク
ト転送」と決定する。
・アドレス変換
次に、アドレス変換制御部103は、リードホストコマンドの論理アドレスからディス
クアレイの構成に基づきディスク装置番号と物理アドレスを得て、対象ディスク装置への
マルチターゲットリードディスクコマンドを生成する。このマルチターゲットリードディ
スクコマンドは、ディスク装置2からリードしたデータをディスクアレイコントローラ1
とホスト3の両方に同時に転送することを指令する命令であり、イニシエータIDと複数
のターゲットIDとを持つことができる。
・ダイレクト転送メッセージの転送(図11(2))
次に、ホストコマンド制御部101は、ホスト3に対するダイレクト転送メッセージを
作成し、I/F制御手段12に発行する。
I/F制御手段12は、メッセージフレームを作成し、ホスト3に送付する。
・ダイレクト転送S/Gリストの生成
ホスト3のホストI/F制御手段32は、メッセージフレームを受信する。
ホスト転送形態制御手段33は、受信したメッセージフレームに格納されたダイレクト
転送メッセージを解析し、転送形態が「マルチターゲットダイレクト転送」であることを
認識する。そして、ダイレクト転送S/Gリストを生成し、ディスク装置2からデータ転
送が行われるのを待機する。
・マルチターゲットリードディスクコマンドの発行(図11(3))
一方、ディスクコマンド制御部104は、I/F制御部12に、マルチターゲットリー
ドディスクコマンドを発行する。
I/F制御手段12は、ホストインタフェース31を介し、ディスク装置2にコマンド
フレームを発行する。
・ディスク装置からディスクアレイコントローラとホストへのデータ転送(図11(4)

ディスク装置2のディスクI/F制御手段21は、コマンドフレームを受領する。
ディスク転送形態制御手段22は、コマンドを解析し、マルチターゲットリードディス
クコマンドであることを認識し、データをディスクアレイコントローラ1とホスト3の両
者に転送することを判断する。そして、ヘッドのシーク,回転待ちを行い、目的の物理ア
ドレスから指示された転送長のデータをリードする。
次に、ディスクI/F制御手段21は、ディスクアレイコントローラ1とホスト3の2
つのターゲットIDを有するデータフレームを全データ転送に必要な個数生成し、ホスト
インタフェース31を介して発行する。
ディスクアレイコントローラ1のI/F制御手段12とホスト3のホストI/F制御手
段32とは、同一のデータフレームを受信する。
ディスクアレイコントローラ1のI/F制御手段12は、あらかじめ指示されたデータ
キャッシュ手段11の領域にデータを格納する。
また、ホスト3のホストI/F制御手段32は、ダイレクトS/Gリストに従ってホス
トメモリにデータを格納する。
・ディスクコマンド終了(図11(5))
転送終了後に、ディスク装置2のディスクI/F制御手段21は、ステータスを格納し
たフレームを作成し、ディスクアレイコントローラ1に送信する。
ディスクアレイコントローラ1のI/F制御手段12は、これを受信し、中央制御手段
10に通知する。
中央制御手段10のディスクコマンド制御部104は、正常にコマンド処理が終了した
ことを確認する。
・ホストコマンドの終了(図11(6))
ディスクアレイコントローラ1のI/F制御手段12は、ステータスフレームを生成し
、ホスト3に送信する。
ホスト3は、ステータスフレームを受信し、データ転送が完了し、リードコマンドが正
常終了したことを確認する。
(5)シーケンシャルライト
・ライトコマンド受信(図12(1))
図12に示すように、ホスト3は、ライトアクセスを行うため、ライトホストコマンド
を生成し、ホストインタフェース制御手段32を制御し、ホストインタフェース31を介
して、ディスクアレイコントローラ1に発行する。
ディスクアレイコントローラ1のI/F制御手段12は、ターゲットモードでコマンド
を待ち受けしており、ライトホストコマンドを受信し、中央制御手段10に通知する。
通知を受けた中央制御手段10のホストコマンド制御部101は、ライトホストコマン
ドを受領する。
・転送形態の判定
転送形態制御部102は、ライトホストコマンドを解析し、パリティグループの全デー
タのライトであることを認識し、「マルチターゲットダイレクト転送」と判定する。
・アドレス変換
次に、アドレス変換制御部103は、ライトホストコマンドの論理アドレスからディス
クアレイの構成に基づきディスク装置番号と物理アドレスを得て、対象ディスク装置への
マルチターゲットライトディスクコマンドを生成する。このマルチターゲットライトディ
スクコマンドは、ライトするデータをホスト3からディスク装置2とディスクアレイコン
トローラ1の両方に同時に転送することを指令する命令であり、イニシエータIDと複数
のターゲットIDとを持つことができる。
・ダイレクト転送メッセージの転送(図12(2))
次に、ホストコマンド制御部101は、ホスト3に対するダイレクト転送メッセージを
作成し、I/F制御手段12に発行する。
I/F制御手段12は、メッセージフレームを作成し、ホスト3に送付する。
・ダイレクト転送S/Gリストの生成
ホスト3のホストI/F制御手段32は、メッセージフレームを受信する。
ホスト転送形態制御手段33は、受信したメッセージフレームに格納されたダイレクト
転送メッセージを解析し、転送形態が「マルチターゲットダイレクト転送」であることを
認識する。そして、ダイレクト転送S/Gリストを生成する。
・マルチターゲットライトディスクコマンドの発行(図12(3))
一方、ディスクコマンド制御部104は、I/F制御部12に、マルチターゲットライ
トディスクコマンドを発行する。
I/F制御手段12は、ホストインタフェース31を介し、ディスク装置2にコマンド
フレームを発行する。
ディスク装置2のディスクI/F制御手段21は、コマンドフレームを受領する。
ディスク転送形態制御手段22は、コマンドを解析し、マルチターゲットライトディス
クコマンドであることを認識する。
・ホストからディスク装置とディスクアレイコントローラへのデータ転送(図12(4)

ホスト3は、ディスク装置2とディスクアレイコントローラ1の両方にデータを転送す
る。
ディスクアレイコントローラ1は、キヤッシュにデータを格納する。
ディスク装置2は、データを格納する。
・ディスクコマンド終了(図12(5))
データ格納終了後に、ディスク装置2のディスクI/F制御手段21は、ステータスを
格納したフレームを作成し、ディスクアレイコントローラ1に送信する。
ディスクアレイコントローラ1のI/F制御手段12は、これを受信し、中央制御手段
10に通知する。
中央制御手段10のディスクコマンド制御部104は、正常にコマンド処理が終了した
ことを確認する。
・ホストコマンドの終了(図12(6))
ディスクアレイコントローラ1のI/F制御手段12は、ステータスフレームを生成し
、ホスト3に送信する。
ホスト3は、ステータスフレームを受信し、データ転送が完了し、ライトコマンドが正
常終了したことを確認する。
・パリティのライト(図12(7)(8))
ディスクアレイコントローラ1は、キャッシュにパリティグループの全データがそろっ
ていれば、パリティを生成し、ディスク装置2にライトする。一方、パリティグループの
全データがそろわない場合は、ディスクアレイコントローラ1がディスク装置2から旧デ
ータおよび旧パリティのリードを行い、新データと旧データと旧パリティから新パリティ
を生成し、新パリティをディスク装置2にライトする。
・ディスクコマンドの終了(図12(9))
パリティ格納終了後に、ディスク装置2のディスクI/F制御手段21は、ステータス
を格納したフレームを作成し、ディスクアレイコントローラ1に送信する。
ディスクアレイコントローラ1のI/F制御手段12は、これを受信し、中央制御手段
10に通知する。
中央制御手段10のディスクコマンド制御部104は、正常にコマンド処理が終了した
ことを確認する。
(6) ランダムリードおよびシーケンシャルライト以外の処理
ランダムライトやシーケンシャルリードの場合も、上記と同様にマルチターゲットダイ
レクト転送を行える。
(7) 第四実施形態の効果
以上の第四実施形態によれば、ホスト3とディスクアレイコントローラ1とディスク装
置2のすべてが同一のホストインタフェース31に接続しているので、1回のディスク装
置2からの転送によりホスト3とディスクアレイコントローラ1の両方に同時にデータを
転送できると共に1回のホスト3からの転送によりディスク装置2とディスクアレイコン
トローラ1の両方に同時にデータを転送でき、ホストインタフェース31のトラフィック
を低減できる。すなわち、第二実施形態と同様の効果をすべてのアクセス種類において実
現できる。また、ディスクアレイコントローラ1のデータキャッシュ手段11にデータを
キャッシュできる。特に、常時パリティグループ単位でライトするRAlD3のライト動
作で有効に機能する。
(デュアルコントローラ構成)
第五実施形態では、第一実施形態〜第四実施形態において、同一のディスクアレイコン
トローラを2台設け、それぞれが同一のホストインタフェースとディスク装置I/F(と
ディスク装置)を共有する構成にする。このような構成をデュアルコントローラ構成と称
する。
デュアルコントローラ構成では、コントローラ内部のバス、MPU、キャッシュメモリ
等の構成部のそれぞれの障害に対して耐性を持たせることができる。
第1実施形態または第四実施形態にデュアルコントローラ構成を適用した場合、ホスト
3からのデータライト時には、一方のディスクアレイコントローラがデータをキャッシュ
にライトすると同時に、他方のディスクアレイコントローラのキャッシュにもライトし、
データを二重化する。
このとき、一方のディスクアレイコントローラがデータを受け取った後、そのディスク
アレイコントローラが他方のディスクアレイコントローラにデータをコピーしてもよいが
、マルチターゲット転送によりホスト3から両方のディスクアレイコントローラに同時に
データを転送するのが好ましい。これにより、ディスクアレイコントローラ間のコピー処
理を削減できる。
(インタフェースの分離)
上記第一実施形態〜第五実施形態では、ホスト3に対する通信を行うI/F制御手段と
ディスク装置2に対する通信を行うI/F制御手段とを一つのI/F制御手段12で共用
したが、両者を別々のI/F制御手段に分離し、両I/F制御手段を同一のホストインタ
フェース31に接続する構成としてもよい。
この場合、I/F制御手段のコストが2倍になるものの、イニシエータ/ターゲットを
切り替えずに使用できるので、制御が容易になり、性能が向上する。
[追記]
本発明の転送形態は、上記第一から第四の実施形態で説明したアクセス種類との組み合
わせに限定されるものではなく、任意のアクセス種類(上記していないアクセス種類でも
よい)と組み合わせて使用することができる。
本発明の一実施形態の計算機システムの構成図である。 本発明の一実施形態のディスクアレイコントローラにおける中央制御手段の内部構成図である。 本発明の第一実施形態のランダムリードにおける「ノーマル転送」の動作説明図である。 本発明の第一実施形態のランダムライトにおける「ノーマル転送」の動作説明図である。 本発明の第二実施形態のシーケンシャルリードにおける「ダイレクト転送」の動作説明図である。 本発明の第二実施形態を説明するためのリードデータの概念図である。 本発明の第二実施形態を説明するための論理アドレスと物理アドレスの関係の説明図である。 本発明の第二実施形態を説明するためのアドレス変換リストの構成図である。 本発明の第二実施形態を説明するためのダイレクト転送S/Gリストの構成図である。 本発明の第三実施形態のシーケンシャルリードにおける「ダイレクト転送」の動作説明図である。 本発明の第四実施形態のランダムリードにおける「マルチターゲットダイレクト転送」の動作説明図である。 本発明の第四実施形態のシーケンシャルライトにおける「マルチターゲットダイレクト転送」の動作説明図である。 従来のRAID型ディスクアレイのデータ構造の説明図である。 従来のSCSI型ディスクアレイの一例の構成図である。 従来のFC型ディスクアレイの一例の構成図である。
符号の説明
1 ディスクアレイコントローラ
2 ディスク装置
3 ホスト
4 ディスクアレイ
10 中央制御手段
11 データキャッシュ手段
12 I/F制御手段
14 パリティ演算手段
21 ディスクI/F制御手段
22 ディスク転送形態制御手段
31 ホストインタフェース
32 ホストI/F制御手段
33 ホスト転送形態制御手段
100 計算機システム
101 ホストコマンド制御部
102 転送形態制御部
103 アドレス変換制御部
104 ディスクコマンド制御部
121 イニシエータ/ターゲット切り替え制御部
200〜204 ディスク装置

Claims (6)

  1. ネットワークを介して計算機と接続される複数のディスク装置と、 ネットワークを介して前記計算機と接続され、前記複数のディスク装置へのデータの入出力を制御する制御装置とを有し、 前記複数のディスク装置は各々、前記計算機からコマンドを受信して当該コマンドに基づいて前記ディスク装置へのデータの入出力処理を実行する制御部を有しており、 前記制御装置は、前記計算機から第一のリードコマンドを受信すると、当該第一のリードコマンドに基づいてリード対象のデータが格納されているディスク装置と当該リード対象のデータの当該ディスク装置におけるリードアドレスとをそれぞれ特定し、 前記制御装置は、特定された前記ディスク装置及び前記リードアドレスを前記計算機に通知し、 前記計算機は、前記制御装置から通知された前記ディスク装置に対して、前記制御装置から通知された前記リードアドレスを用いた第二のリードコマンドを発行し、 前記第二のリードコマンドを受信した前記ディスク装置は、当該第二のリードコマンドに基づいてリード対象のデータの送信準備を行い、当該送信準備の完了後に当該リード対象のデータを前記計算機へ送信し、 前記制御装置は、前記計算機からライトコマンドを受信すると、当該ライトコマンドに基づいてライト対象のデータが格納されるディスク装置と、当該ライト対象のデータが格納される当該ディスク装置におけるライトアドレスとをそれぞれ特定し、 前記制御装置は、特定された前記ディスク装置及び前記ライトアドレスを前記計算機に通知し、 前記計算機は、前記制御装置から通知された前記ディスク装置と前記制御装置とに対してライト対象のデータをそれぞれ送信し、 前記ディスク装置は、前記計算機から受信したライト対象のデータを格納し、 前記制御装置は、前記計算機から受信した前記ライト対象のデータを用いてパリティデータを生成し、当該パリティデータを前記複数のディスク装置の内当該パリティデータが格納されるディスク装置へ送信することを特徴とするシステム。
  2. 請求項1記載のシステムであって、 前記制御装置は、前記計算機から受信した前記第一のリードコマンドに基づいて前記リード対象のデータが格納されている複数のディスク装置を特定し、当該複数のディスク装置各々について当該リード対象のデータが格納されている位置を示すリードアドレスを特定し、 前記制御装置は、特定された前記複数のディスク装置及び当該複数のディスク装置各々について特定されたリードアドレスを前記計算機に通知し、 前記計算機は、前記制御装置から通知された前記複数のディスク装置各々に対して、前記制御装置から通知された当該複数のディスク装置各々について特定されたリードアドレスを用いた第二のリードコマンドを発行することを特徴とするシステム。
  3. 請求項2記載のシステムであって、 前記第二のリードコマンドを受信した前記複数のディスク装置は各々、当該第二のリードコマンドに基づいてリード対象のデータの送信準備を行い、当該送信準備が完了したディスク装置から順に当該リード対象のデータを前記計算機へ送信することを特徴とするシステム。
  4. ネットワークを介して計算機と接続される複数のディスク装置と、ネットワークを介して前記計算機と接続され、前記複数のディスク装置へのデータの入出力を制御する制御装置とを備えるシステムを制御する方法であって、 前記制御装置は、前記計算機から第一のリードコマンドを受信すると、当該第一のリードコマンドに基づいてリード対象のデータが格納されているディスク装置と当該リード対象のデータの当該ディスク装置におけるリードアドレスとをそれぞれ特定し、さらに、特定された前記ディスク装置及び前記リードアドレスを前記計算機に通知し、 前記計算機は、前記制御装置から通知された前記ディスク装置に対して、前記制御装置から通知された前記リードアドレスを用いた第二のリードコマンドを発行し、 前記第二のリードコマンドを受信した前記ディスク装置は、当該第二のリードコマンドに基づいてリード対象のデータの送信準備を行い、当該送信準備の完了後に当該リード対象のデータを前記計算機へ送信前記制御装置は、前記計算機からライトコマンドを受信すると、当該ライトコマンドに基づいてライト対象のデータが格納されるディスク装置と、当該ライト対象のデータが格納される当該ディスク装置におけるライトアドレスとをそれぞれ特定し、 前記制御装置は、特定された前記ディスク装置及び前記ライトアドレスを前記計算機に通知し、 前記計算機は、前記制御装置から通知された前記ディスク装置と前記制御装置とに対してライト対象のデータをそれぞれ送信し、 前記ディスク装置は、前記計算機から受信したライト対象のデータを格納し、 前記制御装置は、前記計算機から受信した前記ライト対象のデータを用いてパリティデータを生成し、当該パリティデータを前記複数のディスク装置の内当該パリティデータが格納されるディスク装置へ送信する、システムの制御方法。
  5. 請求項記載のシステムの制御方法であって、 前記制御装置は、前記計算機から受信した前記第一のリードコマンドに基づいて前記リード対象のデータが格納されている複数のディスク装置を特定し、当該複数のディスク装置の各々について当該リード対象のデータが格納されている位置を示すリードアドレスを特定し、さらに、特定された前記複数のディスク装置及び当該複数のディスク装置各々について特定されたリードアドレスを前記計算機に通知し、 前記計算機は、前記制御装置から通知された前記複数のディスク装置各々に対して、前記制御装置から通知された当該複数のディスク装置各々について特定されたリードアドレスを用いた第二のリードコマンドを発行する、システムの制御方法。
  6. 請求項記載のシステムの制御方法であって、 前記第二のリードコマンドを受信した前記複数のディスク装置は各々、当該第二のリードコマンドに基づいてリード対象のデータの送信準備を行い、当該送信準備が完了したディスク装置から順に当該リード対象のデータを前記計算機へ送信する、システムの制御方法。
JP2007338456A 2007-12-28 2007-12-28 ディスクアレイ制御方法及びディスクアレイ制御装置 Expired - Fee Related JP4640854B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007338456A JP4640854B2 (ja) 2007-12-28 2007-12-28 ディスクアレイ制御方法及びディスクアレイ制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007338456A JP4640854B2 (ja) 2007-12-28 2007-12-28 ディスクアレイ制御方法及びディスクアレイ制御装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2004189108A Division JP4111450B2 (ja) 2004-06-28 2004-06-28 ディスクアレイ制御方法及びディスクアレイ制御装置

Publications (2)

Publication Number Publication Date
JP2008102967A JP2008102967A (ja) 2008-05-01
JP4640854B2 true JP4640854B2 (ja) 2011-03-02

Family

ID=39437196

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007338456A Expired - Fee Related JP4640854B2 (ja) 2007-12-28 2007-12-28 ディスクアレイ制御方法及びディスクアレイ制御装置

Country Status (1)

Country Link
JP (1) JP4640854B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012027649A (ja) * 2010-07-22 2012-02-09 Toshiba Corp データ記憶装置及びデータ読み出し方法
JP5117608B1 (ja) * 2011-09-30 2013-01-16 株式会社東芝 情報処理装置、ハイブリッド記憶装置、およびキャッシュ方法
JP7316242B2 (ja) * 2020-03-18 2023-07-27 株式会社日立製作所 ストレージシステムおよびデータ転送方法
CN113778319A (zh) 2020-06-09 2021-12-10 华为技术有限公司 网卡的数据处理方法以及网卡

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3563907B2 (ja) * 1997-01-30 2004-09-08 富士通株式会社 並列計算機

Also Published As

Publication number Publication date
JP2008102967A (ja) 2008-05-01

Similar Documents

Publication Publication Date Title
JP4814617B2 (ja) ストレージシステム
CA2473832C (en) Methods and apparatus for implementing virtualization of storage within a storage area network
JP6074056B2 (ja) 計算機システムおよびデータ制御方法
US6397267B1 (en) Redirected I/O for scalable performance storage architecture
JP7135162B2 (ja) 情報処理システム、ストレージシステム及びデータ転送方法
US8032610B2 (en) Scalable high-speed cache system in a storage network
JP2007079958A (ja) 記憶制御装置、データ処理方法、及びコンピュータプログラム
JP2003162377A (ja) ディスクアレイシステム及びコントローラ間での論理ユニットの引き継ぎ方法
US10303396B1 (en) Optimizations to avoid intersocket links
US10025523B1 (en) Techniques for processing data requests directed to virtualized devices
US6842829B1 (en) Method and apparatus to manage independent memory systems as a shared volume
JP2009545062A (ja) RAID(RedundantArrayofIndependentDisks)システム用のファイルサーバ
US7162582B2 (en) Caching in a virtualization system
CN110609659A (zh) 用于执行读取命令的NVMeoF RAID实现方法
JP4640854B2 (ja) ディスクアレイ制御方法及びディスクアレイ制御装置
JP2011238038A (ja) ディスクアレイ装置、ディスクアレイ装置制御方式、及び、ディスクアレイ装置制御プログラム
US20050063216A1 (en) System and method for providing efficient redundancy mirroring communications in an n-way scalable network storage system
JP3668922B2 (ja) システム
JP4111450B2 (ja) ディスクアレイ制御方法及びディスクアレイ制御装置
US20060230197A1 (en) Data storage system with shared cache address space
CN114579047B (zh) 具有控制器的数据存储系统架构及其数据访问方法
JP5761209B2 (ja) ストレージ制御装置、及び、そのプログラム
JP2000298555A (ja) ループ型アレイ制御装置及びループ接続記憶装置
CN118502666A (zh) 支持分层分级大容量扩展的高速数据存储架构与读写方法
JP2002132453A (ja) ディスクアレイシステム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080125

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100817

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101005

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101124

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131210

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees