JP4327130B2 - ディスクアレイアクセス動的制御装置、及び方法 - Google Patents

ディスクアレイアクセス動的制御装置、及び方法 Download PDF

Info

Publication number
JP4327130B2
JP4327130B2 JP2005185574A JP2005185574A JP4327130B2 JP 4327130 B2 JP4327130 B2 JP 4327130B2 JP 2005185574 A JP2005185574 A JP 2005185574A JP 2005185574 A JP2005185574 A JP 2005185574A JP 4327130 B2 JP4327130 B2 JP 4327130B2
Authority
JP
Japan
Prior art keywords
disk
disk array
weight
raid
responsible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005185574A
Other languages
English (en)
Other versions
JP2007004620A (ja
Inventor
洋行 下井
英一 山中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2005185574A priority Critical patent/JP4327130B2/ja
Priority to US11/237,699 priority patent/US7552278B2/en
Publication of JP2007004620A publication Critical patent/JP2007004620A/ja
Application granted granted Critical
Publication of JP4327130B2 publication Critical patent/JP4327130B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0635Configuration or reconfiguration of storage systems by changing the path, e.g. traffic rerouting, path reconfiguration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0689Disk arrays, e.g. RAID, JBOD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2206/00Indexing scheme related to dedicated interfaces for computers
    • G06F2206/10Indexing scheme related to storage interfaces for computers, indexing schema related to group G06F3/06
    • G06F2206/1012Load balancing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)

Description

本発明は、ディスク装置群のディスク装置を組み合わせて複数のディスクアレイを構成するディスクアレイ装置のディスクアレイへのアクセスを動的に制御する装置、及び方法に関する。
従来、ディスクアレイ装置のアクセス時間や構成の柔軟性等の性能を向上させる目的で、ディスク装置群にアクセスするI/F(以下、「DA(Device Adapter)」という)を複数設け、いずれかのDAを介して当該ディスク装置群にアクセスしていた。
図10は、ディスクアレイ装置の主要部を示す従来例の図である。
図10に示すディスクアレイ装置は、複数のディスク装置で構成されるディスク装置群90と、このディスク装置群90にアクセスするためのI/FであるDA91及び92と、情報処理装置94−ディスク装置群90間のデータアクセスやディスクアレイ装置全体の制御を行なうディスクアレイコントローラ93と、を備えている。
なお、図10に示すディスク装置群90は、複数のディスク装置を備えるプリント板を複数実装することによって構成されている場合を示している。以下、当該プリント板の実装部を「スロット」といい、その位置を「スロット番号」で表す。また、ディスクアレイであるRAID(Redundant Arrays of Inexpensive/Independent Disks)には、ユニークな論理番号(以下、「RAID番号」という)が割当てられている。例えば、スロット番号#00に実装されているディスク装置は、RAID番号#00が割当てられている。
この場合、いずれのDAが各RAIDを担当するかは、一般的に、スロット番号やRAID番号などによって一義的に決められていた。例えば、スロット位置やRAID番号が奇数の場合と偶数の場合とでDAが担当するRAIDを一義的に決めていた。
ここで、特許文献1には、外部からバッファメモリへのデータ転送と、バッファメモリからフラッシュメモリへのデータ転送と、フラッシュメモリの消去と、を同時に実行することにより、ハードディスク装置と同等又はそれ以上の書き込み速度を得ることができる半導体ディスク装置について開示されている。
また、特許文献2には、複数のHDDに対する読み出し要求に基づく負荷を均等化し、ディスクアレイ装置のレスポンス性能を向上させるディスクアレイ装置について開示されている。
特開平06−124175号公報 特開2002−116936号公報
しかし、上述した方式では、ディスク装置搭載スロットに端から詰めてディスク装置を搭載しなければ、各DAが担当するRAIDに偏りが生じることになりDAの負荷に偏りが生じてしまう。例えば、1スロットおきにディスク装置を搭載した場合、奇数スロット番号(又は偶数スロット番号)のディスク装置を担当するDAのみに負荷がかかり、もう一方のDAには負荷がかからなくなってしまうため1DA分の性能しか有効に利用できないという問題があった。
本発明は、上述した問題に鑑みてなされたものであり、その解決しようとする課題は、ディスク装置群にアクセスするI/Fへの負荷を分散することにより、ディスクアレイ装置の性能を向上させるディスクアレイアクセス動的制御装置、及び方法を提供することである。
上記課題を解決するために、本発明に係るディスクアレイアクセス動的制御装置は、ディスク装置群のディスク装置を組み合わせて複数のディスクアレイを構成し、該ディスク装置へアクセスするためのインターフェースであるデバイスアダプタを複数有するディスクアレイ装置において、前記ディスクアレイを構成するディスク装置の組み合わせ情報と、該ディスクアレイを構成するディスク装置への平均アクセス回数を示すディスクウェイトと、を記憶する構成情報記憶手段と、該組み合わせ情報とディスクウェイトとに基づいて、所定のディスクアレイにアクセスする各担当デバイスアダプタの負荷が均一となるように担当デバイスアダプタに前記ディスクアレイを割当てる担当デバイスアダプタ制御手段と、該担当デバイスアダプタを介して前記ディスクアレイを構成するディスク装置にアクセスするアクセス手段と、を備える。
本発明によると、担当デバイスアダプタ制御手段は、構成情報記憶手段を参照し、ディスクアレイを構成するディスク装置の組み合わせ情報と、ディスクアレイを構成するディスク装置への平均アクセス回数を示すディスクウェイトと、を取得する。そして、取得した組み合わせ情報とディスクウェイトとから各担当デバイスアダプタの負荷が均一となるように担当デバイスアダプタにディスクアレイを割当てるので、ディスク装置群にアクセスするデバイスアダプタの負荷を分散することが可能となる。
その結果、ディスクアレイ装置の性能(例えば、READ/WRITE処理の速度)を向上することが可能となる。
以上のように、本発明によると、ディスク装置群にアクセスするI/Fへの負荷を分散することにより、ディスクアレイ装置の性能を向上させるディスクアレイアクセス動的制御装置、及び方法を提供することが可能となる。
以下、本発明の実施形態について図1〜図9に基づいて説明する。なお、以下の説明で使用するRAIDとはディスクアレイのことを示している。したがって、RAIDウェイトとはディスクアレイウェイトのことを示す。また、RAID種別判別手段とはディスクアレイ種別判別手段のことを示し、RAIDウェイト算出手段とはディスクアレイウェイト算出手段のことを示す。
図1は、本発明の原理を示す図である。
図1に示すディスクアレイアクセス動的制御装置1は、ディスク装置群2にRAIDを構成するディスク装置の組み合わせ情報等の構成情報を記憶する構成情報記憶手段3と、この構成情報等に応じて各RAIDにアクセスするためのインターフェースであるDAの割当てを行なう担当DA制御手段4と、情報処理装置5の命令に応じてディスク装置群2に対してデータの読み/書き(以下、この処理を「アクセス」という)を行なうアクセス手段6と、を備えている。
ディスク装置群2は、複数のディスク装置によって構成され、構成情報記憶手段に記憶された構成情報にしたがって複数のRAIDを構成する。
構成情報記憶手段3は、ディスク装置群2にRAIDを構成するディスク装置の組み合わせ情報の他に、DAから、RAIDを構成する各ディスク装置にアクセスする平均アクセス回数(以下、「ディスクウェイト」という)を記憶している。
担当DA制御手段4は、構成情報記憶手段3に格納された構成情報を参照してディスクウェイトを取得する。そして、このディスクウェイトに基づいて各DAの負荷(デバイスアダプタウェイト、以下「DAウェイト」という)が均一となるように、各DAが担当するRAIDを割当てる制御を行なう。以下、1又は2以上の所定のRAIDへのアクセスを担当するDAを「担当DA」という。
アクセス手段6は、情報処理装置5からの命令に応じて、担当DA制御手段4で割当てられた担当DAを介してディスク装置群2にアクセスを行なう。
以上に説明したディスクアレイアクセス動的制御装置1とディスク装置群2とによってディスクアレイ装置が構成されることとなる。
また、図1に示すディスクアレイアクセス動的制御装置1の担当DA制御手段4は、DAが1つのRAIDにアクセスする平均アクセス回数(以下、「RAIDウェイト」という)を算出するRAIDウェイト算出手段と、担当DAが担当する1又は2以上のRAIDにアクセスする平均アクセス回数(以下、「DAウェイト」という)を算出して、全てのDAウェイトが均一になるように各RAIDを担当DAに割当てる担当DA割当て手段と、を更に備えている。
したがって、担当DA制御手段4は、構成情報記憶手段3を参照してディスクウェイトを取得し、このディスクウェイトからディスク装置群2に構成された各RAIDのRAIDウェイトを算出する。
さらに、RAIDウェイトからDAウェイトを算出すると共に、全てのDAウェイトが均一となるように、担当DAへのRAIDの割当てを行なう。
これにより、各DAからディスク装置群2へのアクセスの負荷が均一に分散されることとなり、ディスクアレイ装置の性能(特に、アクセス性能)を向上させることが可能となる。
ここで、以上に説明した構成情報記憶手段3は、図2に示すメモリ18で実現される。メモリ18は、揮発性メモリ(例えば、RAM)や不揮発性メモリ(例えば、EEPROM)等で構成すればよい。
また、担当DA制御手段4はCM14で実現される。アクセス手段6は、CA13、CM14、DA15、RT16、及びFCスイッチ17で実現される。
図2は、本発明の実施例に係るディスクアレイ装置の構成例を示す図である。
図2に示すディスクアレイ装置10は、情報処理装置11、12が有する図示しないI/O装置とのI/FであるCA(Channel Adapter)13と、ディスクアレイ装置10を制御するCM(Controller Module)14と、CM14からディスク装置群2にアクセスするためのI/FであるDA15と、CA13とCM14とDA15とのI/FであるRT(Router)16と、各DA15とディスク装置群2とのパスを可変に接続するFC(Fiber Channel)スイッチ17と、複数のディスク装置で構成されるディスク装置群2と、を備えている。
CA13は、情報処理装置11、12との接続I/Fを備える。本実施例に係るCA13は、FC用のものを使用している。ただし、これに限定する趣旨ではなく、例えば、必要に応じてiSCSI用のものであってもよい。
CM14は、ディスクアレイ装置10の制御を行なう。特に、DA15の制御を行なうことにより、CM14−ディスク装置群2間のデータ転送を制御する。また、CM14はメモリ18を備え、ディスクアレイ装置10の制御に必要なプログラム、構成情報20、及びディスク装置群2に書き込むデータ若しくはディスク装置群2から読み出したデータを格納する。
DA15は、ディスク装置群2との接続I/Fである。RAID5を構成するRAIDへのデータ書込みを行なう場合には、DA15にてデータストライプを生成する。RT16は、CA13、CM14、DA15をPCIバスで接続するためのマルチプレクサである。
また、DA15とディスク装置群2とは、FCスイッチ17を介して接続される。いわゆるファブリック型に接続されている。
以上に説明した構成において、例えば、READ処理が行なわれる場合、情報処理装置11からの命令によりCM14は、メモリ18上に該当するデータがあれば当該データを、RT16、CA13を介して情報処理装置11に送信する。
メモリ18上に該当するデータがない場合には、該当するデータをディスク装置群2からFCスイッチ17、DA15、及びRT16を介して読み出し、メモリ18に格納すると共に、RT16、CA13を介して情報処理装置11に送信する。
また、WRITE処理が行なわれる場合、当該データは、情報処理装置11からCA13、RT16を介してCM14に送られ、メモリ18に格納される。そして、必要に応じてディスク装置群2からFCスイッチ17、DA15、RT16を介してデータが読み出され、Bandwidth Write処理によってRT16、DA15、FCスイッチ17を介してディスク装置群2に書込みが行なわれる。
なお、図2に示したDA15−FCスイッチ17間のデータパスとディスク装置群2−FCスイッチ17間のデータバスは、それぞれDEの数だけデータパスが存在するが、当該データパスについては模式的に示している。
したがって、本実施例に係るディスクアレイ装置は、最大8台のDEを備えるので、1つのDA15は8本のデータバスを有し、それぞれのFCスイッチ17と4本のデータバスで接続されている。また、各FCスイッチ17はディスク装置群2と8本のデータバスで接続されている。
また、情報処理装置11、12、CA13、CM14、DA15、RT16、FCスイッチ17、及びメモリ18は、図2に示した数に限定する趣旨ではなく、それぞれ必要に応じた数で構成すればよい。
図3は、本実施例に係るディスクアレイ装置10が使用する構成情報20の例を示す図である。
図3に示す構成情報20には、ディスク装置群2に構成されるRAIDにユニークに割当てられる論理番号であるRAID番号と、このRAID番号毎に、RAID種別、当該RAIDが構成されるディスク装置群2の位置を定義するスロット番号及びDE番号、当該RAIDを構成するディスク装置のディスクウェイト、及びRAIDウェイトが格納される。
なお、RAID種別にある括弧内の記載は各RAIDのディスク装置構成を示している。例えば、RAID番号#01のRAIDは、4つのディスク装置をミラーリングし、合計8台のディスク装置でRAID0+1を構成することを示している。また、RAID番号#07のRAIDは、4台のディスク装置のうち任意の1台をパリティデータに使用するRAID5を構成することを示している。
また、RAID1とは、同一内容を常に2つのディスクに書き込むディスクアレイのことを示し、RAID0+1とは、データをブロック単位に分割して複数のディスクに分散して記録するRAID0とRAID1との組み合わせを構成したディスクアレイを示す。RAID5は、RAID0のストライピングデータに対してパリティデータを生成して任意のディスクに分散して記録するディスクアレイを示す。
ここで、各RAIDを構成するディスク装置のディスクウェイトは、以下のように計算することができる。なお、RAID0+1及びRAID1(以下、「ミラー系RAID」という)の場合と、RAID5の場合と、で分けて説明する。また、以下の各ウェイトの計算では、計算を簡単とするためにDAがRAIDにアクセスした場合に、当該RAIDを構成する全ディスク装置にアクセスした場合の平均アクセス回数を1.0(基準)とする。
(1)RAID種別がミラー系RAIDの場合
READ時では、プライマリディスク又はセカンダリディスクのいずれか一方にアクセスを行なうため、DAから見た1ディスク装置への平均アクセス回数は0.5(=1*1/2)となる。
また、WRITE時では、プライマリディスクとセカンダリディスクとに同時にアクセスを行なうため、DAから見た1ディスク装置への平均アクセス回数は1.0となる。
ここで、READ処理とWRITE処理との比率をREAD:Write=50%:50%と仮定すると、DAから見た1ディスク装置への平均アクセス回数(ディスクウェイト)は0.75(=0.5*0.5+1.0*0.5)となる。
したがって、例えば、図3に示すRAID番号#01のRAIDは、8台のディスク装置を使用してRAID0+1(4+4)を構成するので、RAIDウェイトは、6.0(=0.75*8)となる。
(2)RAID種別がRAID5の場合
以下、説明を簡単とするためにRAID5(3+1P)の場合について説明する。
READ時は、ディスク装置に障害がない限りデータを格納しているディスク装置(パリディデータ格納に使用したディスク装置以外のディスク装置)にアクセスを行なうため、DAから見た1ディスク装置への平均アクセス回数は、0.75(=1.0*3/4)となる。
一方、WRITE時は、当該RAID5のデータストライプがDAで完成した場合にはBandwidth Write処理が行なわれ、全ディスク装置に対して同時にWRITE処理が行なわれるので、DAから見た1ディスク装置への平均アクセス回数は1.0となる。
また、当該RAID5のデータストライプがDAで完成しない場合、すなわち、データストライプのサイズが所定のストライプサイズ未満である場合には、データストライプを完成させた後にBandwidth Write処理が行なわれる。このため、ディスク装置(パリディデータを含む全ディスク装置)からデータを読み出すREAD処理を伴うこととなる。したがって、データストライプのサイズが所定のストライプサイズ未満である場合の1ディスク装置への平均アクセス回数は、READ時のDAから見た1ディスク装置への平均アクセス回数1.0と、WRITE時のDAから見た1ディスク装置への平均アクセス回数1.0と、の和から2.0となる。
ここで、READ処理とWRITE処理との比率をREAD:Write=50%:50%、Bandwidth Writeの成立比率を50%と仮定すると、DAから見た1ディスク装置への平均アクセス回数(ディスクウェイト)は、READ時が0.75*0.5、WRITE時が(1.0+2.0)*0.5*0.5となるから、1.125(=0.75*0.5+(1.0+2.0)*0.5*0.5)となる。
以上から、例えば、図3に示すRAID番号#07のRAIDは、4台のディスク装置を使用してRAID5を構成するので、RAIDウェイトは、4.5(=1.125*4)となる。
以上の説明では、各RAIDを構成するディスク装置が全て同じ性能(例えば、磁気ディスクの回転数が同じ)である場合について説明したが、RAIDを構成するディスク装置の性能に応じてRAIDウェイトを算出してもよい。
例えば、ディスク装置の基準回転速度を10000回転/分とする。RAID番号#01のRAIDを構成するディスク装置の回転速度が15000回転/分であった場合、基準回転速度の1.5倍の性能を得ることができることからRAID番号#01のRAIDのRAIDウェイトを、9.0(=6.0*1.5)と算出してもよい。
同様に、RAID番号#07のRAIDを構成するディスク装置の回転速度が15000回転/分であった場合、基準回転速度の1.5倍の性能を得ることができることからRAID番号#07のRAIDのRAIDウェイトを、6.75(=4.5*1.5)と算出してもよい。
図4には、図3に示した構成情報20の構成のディスク装置群2の例を示している。
図4に示すディスク装置群2は、8個のディスク装置を備えるプリント板をスロット番号#00〜#08の各スロットに実装することによって構成されたディスク装置群を示している。また、DE(Device Enclosure)はディスク装置用のスロットを示している。
したがって、スロット番号は、8個のディスク装置を備えるプリント板の実装位置を示し、DE番号は、各スロットにおけるディスク装置の実装位置を示している。
また、図4に示すディスク装置群2には、図3で示した構成情報20にしたがってRAIDが構成されている。例えば、スロット番号#08のDE番号#00−07には、RAID0+1(4+4)のRAID(RAID番号#01)が構成されている。また、スロット番号#00のDE番号#04−07には、RAID5(3+1)のRAID(RAID番号#09)が構成されている。
また、図4に示すディスク装置群2を構成する各ディスク装置21は、2つのインターフェースを同時に使用可能な「デュアルポート」に対応したディスク装置である。例えば、2本のシリアルインターフェイスを同時に使用可能なHDDを使用している。
したがって、同一のディスク装置にアクセスするパスは2つ存在することとなる。以下、このパスを「DAパス」といい、DAパス番号「P#00」と「P#01」とで区別する。
以上に説明した構成のディスクアレイ装置10におけるディスクアレイアクセス動的制御装置1の具体的な処理の説明を図5〜図9に基づいて行なう。
図5は、ディスクアレイアクセス動的制御装置1が各担当DAにRAIDを割当てる処理を示すフローチャートである。なお、以下に説明する処理は、図2に示したCM14に備わるCPUが、例えば、メモリ18に記憶されたプログラムを読み出して、当該プログラムの命令を実行することによって実現されるが、説明を簡単にするために処理の主体をディスクアレイアクセス動的制御装置1として記載する。
また、図6は、以下に示すディスクアレイアクセス動的制御装置1の処理で生成する担当DA割当てテーブル22の例を示す図である。この担当DA割当てテーブル22は、担当DAと、担当DAが担当するDAパスP#00におけるRAID及びDAパスP#01におけるRAIDと、DAウェイトと、の関係を示している。
なお、DAウェイトは、各担当DAが担当するRAIDのRAIDウェイトの総和として計算される。そして、以下に説明する処理によってDAウェイトが均一となるように担当DA割当てテーブル22を生成する。
まず、図5のステップS500において、ディスクアレイアクセス動的制御装置1は、メモリ18に格納されている構成情報20を読み出して処理をステップS501に移行する。
ステップS501において、ディスクアレイアクセス動的制御装置1は、各RAID(例えば、図3に示したRAID番号#01〜09)についてRAIDウェイトを算出する。なお、具体的なRAIDウェイトの算出方法は、図3で説明したとおりであるので、ここでは省略する。各RAIDに対するRAIDウェイトの算出が完了すると、ディスクアレイアクセス動的制御装置1は、処理をステップS502に移行する。
ステップS502において、ディスクアレイアクセス動的制御装置1は、算出したRAIDウェイトを降順に並び替え、さらに、ステップS503において、順次DAにRAIDを割当てる。
例えば、図6に示すDAパスP#00のように、DA#00、DA#01、DA#02、・・・DA#07に対して、RAIDウェイトが降順となるように、すなわち、RAID#00(RAIDウェイト:6.0)、RAID#01(RAIDウェイト:6.0)、RAID#02(RAIDウェイト:6.0)、RAID#06(RAIDウェイト:4.5)、・・・、RAID#04(RAIDウェイト:1.5)の順にそれぞれ割当てられる。
そして、DA#00〜07に対するRAIDの割当てが一通り完了すると、ディスクアレイアクセス動的制御装置1は、処理をステップS504に移行する。
ステップS504において、ディスクアレイアクセス動的制御装置1は、全てのRAIDを担当DAに割当てたかチェックを行なう。全ての割当てが完了した場合には、処理をステップS505に移行する。
また、RAIDの割当てが完了していない場合には、処理をステップS503移行して、前回実施したステップS503の処理とは逆の順番にDAにRAIDを割当てる。例えば、図6に示すDAパスP#00のように、DA#07、DA#06、DA#05、・・・DA#00に対して、RAIDウェイトが降順となるように、すなわち、RAID#05(RAIDウェイト:1.5)が割当てられる。
以上に説明したステップS501〜S504の処理によって、図6に示すDAパスP#00の担当DAにRAIDを割当てる処理が完了する。
ステップS505において、ディスクアレイアクセス動的制御装置1は、ステップS501〜S504で生成したDAパスP#00に対する担当DA割当てテーブル22のDA番号を昇降反転させてDAパスP#01に対する担当DA割当てテーブル22を生成する。
以上の処理によって、図6に示すようにRAID#01、RAID#02、RAID#03、RAID#06、・・・、RAID#04及びRAID#05は、DAパスP#00においては、DA#00、DA#01、DA#02、DA#03、・・・、DA#07に割当てられ、DAパスP#01においては、DA#07、DA#06、DA#05、DA#04、・・・、DA#00に割当てられる。
以上の処理によって生成された担当DA割当てテーブル22のDAウェイトは、9.0〜10.5の範囲となる。一方、図3に示した全RAIDウェイトの平均は、4.3(=(6.0+6.0+6.0+1.5+・・・+4.5)/9)であるから、DAパスP#00とDAパスP#01を考慮するとDAウェイトの平均値は8.6(=4.6*2)となるので、平均値に近い値でDAウェイトが均一となる。
そして、ステップS505において、ディスクアレイアクセス動的制御装置1は、図6の担当DA割当てテーブル22から、図7に示すRAID割当てテーブル23を生成してメモリ18に格納する。そして、処理をステップS506に移行して処理を終了する。
ここで、図7に示すRAID割当てテーブル23は、各RAIDと担当DA及びDAパスとの関係を示す図である。
例えば、RAID番号#01へのアクセスには、担当DAとしてDA#00(P#00)とDA#07(P#01)とが使用されることを示している。また、RAID番号#07へのアクセスには、担当DAとしてDA#03(P#01)とDA#04(P#00)とが使用されることを示している。
したがって、CM14(アクセス手段6)は、メモリ18に格納されているRAID割当てテーブル23を参照し、アクセス対象のRAIDの担当DA及びDAパスを取得して当該RAIDにアクセスを行なうこととなる。
以下、図7に示したRAID割当てテーブル23に基づいて行なわれるミラー系RAID及びRAID5へのアクセスについて説明する。
図8は、ミラー系RAIDにアクセスする場合の例として、図7に示したRAID割当てテーブル23にしたがってRAID番号#01にアクセスする場合の例を示している。
図8に示すRAID番号#01のRAIDは、DE#00〜03のプライマリディスクとDE#04〜07のセカンダリディスクとが二重化された構成のRAID0+1(4+4)のRAIDである。
また、各ディスク装置は「デュアルポート」に対応したディスク装置なので、左右のFCスイッチに対してDAパスP#00及びDAパスP#01を有する。なお、全てのディスク装置は、物理的に左右のFCスイッチ17と接続されているが、図8には、図7に示したRAID割当てテーブル23にしたがって担当DAとディスク装置とが通信可能に接続されている接続線のみを表示している。
そして、DA#00と通信可能に接続されるディスク装置を実線で示し、DA#07と通信可能に接続されるディスク装置を一点破線で示している。
図8からわかるように、ミラー系RAIDにアクセスする場合には、(1)スロット番号が偶数、かつDA番号が偶数の場合にはDAパス#00、(2)スロット番号が偶数、かつDA番号が奇数の場合にはDAパス#01、を使用している。
また、図8には示さないが(3)スロット番号が奇数、かつDA番号が偶数の場合にはDAパス#01、(4)スロット番号が奇数、かつDA番号が奇数の場合にはDAパス#00、を使用している。
図9は、RAID5にアクセスする場合の例として、図7に示したRAID割当てテーブル23にしたがってRAID番号#07にアクセスする場合の例を示している。
図9に示すRAID番号#01のRAIDは、DE#04〜07の4台のディスク装置によって構成されたRAID5(3+1P)のRAIDである。
また、図9に示す各ディスク装置も「デュアルポート」に対応したディスク装置なので、左右のFCスイッチに対してDAパスP#00及びDAパスP#01を有する。また、全てのディスク装置は、物理的に左右のFCスイッチ17と接続されているが、図9には、図7に示したRAID割当てテーブル23にしたがって担当DAとディスク装置とが通信可能に接続されている接続線のみを表示している。
そして、DA#04と通信可能に接続されるディスク装置を実線で示し、DA#03と通信可能に接続されるディスク装置を一点破線で示している。
RAID5にアクセスする場合には、(1)所定の論理ブロックアドレス(LBA:Logical Block Address)より小さいアドレスにアクセスする場合にはDAパス#00を使用し、(2)所定の論理ブロックアドレスより大きいアドレスにアクセスする場合にはDAパス#01を、使用している。
なお、所定の論理ブロックアドレスは、必要に応じて最大論理ブロックアドレスの1/2や1/3等の値をあらかじめ設定すればよい。
以上に説明した処理によって、各RAIDに対する担当DAに係る負荷(DAウェイト)のバランスを均一化するように自動的にチューニングを行うことが可能となる。その結果、ディスク装置群2へのアクセス性能を向上させることが可能となる。
また、スロット番号やRAID番号(例えば、スロット番号が偶数か奇数か)などに応じて各RAIDを担当DAに割当てる必要がないので、ディスク装置群2のディスク装置やRAIDの構成に依存することなくRAID番号を割当てることが可能となる。
(付記1) ディスク装置群のディスク装置を組み合わせて複数のディスクアレイを構成し、該ディスク装置へアクセスするためのインターフェースであるデバイスアダプタを複数有するディスクアレイ装置において、前記ディスクアレイを構成するディスク装置の組み合わせ情報と、該ディスクアレイを構成するディスク装置への平均アクセス回数を示すディスクウェイトと、を記憶する構成情報記憶手段と、該組み合わせ情報とディスクウェイトとに基づいて、所定のディスクアレイにアクセスする各担当デバイスアダプタの負荷が均一となるように担当デバイスアダプタに前記ディスクアレイを割当てる担当デバイスアダプタ制御手段と、該担当デバイスアダプタを介して前記ディスクアレイを構成するディスク装置にアクセスするアクセス手段と、を備えることを特徴とするディスクアレイアクセス動的制御装置。(1)
(付記2) 前記担当デバイスアダプタ制御手段は、ディスクアレイの種別に応じて、前記ディスクウェイトを用いて、前記デバイスアダプタから前記ディスクアレイへの平均アクセス回数を示すディスクアレイウェイトを算出するディスクアレイウェイト算出手段と、該ディスクアレイウェイトを用いて、1又は2以上の所定のディスクアレイへのアクセスを担当する担当デバイスアダプタのディスクアレイへの平均アクセス回数を示すデバイスアダプタウェイトが均一になるように各ディスクアレイを担当デバイスアダプタに割当てる担当デバイスアダプタ割当て手段と、を備えることを特徴とする付記1に記載のディスクアレイアクセス動的制御装置。(2)
(付記3) 前記ディスクアレイウェイト算出手段は、さらに、前記ディスクアレイウェイトに対して、ディスクアレイを構成するディスク装置の磁気ディスクの回転数に応じた係数を乗算して得た値をディスクアレイウェイトとする、ことを特徴とする付記2に記載のディスクアレイアクセス動的制御装置。(3)(付記4) 前記担当デバイスアダプタ制御手段は、前記ディスクアレイがRAID0+1又はRAID1のミラー系RAIDである場合、該ディスクアレイを構成する互いに隣接したディスク装置にアクセスする担当デバイスアダプタに異なるデバイスアダプタを割当てることを特徴とする付記1に記載のディスクアレイアクセス動的制御装置。
(付記5) 前記担当デバイスアダプタ制御手段は、前記ディスクアレイがRAID5である場合、該ディスクアレイにアクセスする論理ブロックアドレスに応じて、当該論理ブロックアドレスのデータを格納するディスク装置にアクセスする担当デバイスアダプタに異なるデバイスアダプタを割当てることを特徴とする付記1に記載のディスクアレイアクセス動的制御装置。
(付記6) ディスク装置群のディスク装置を組み合わせて複数のディスクアレイを構成し、該ディスク装置へアクセスするためのインターフェースであるデバイスアダプタを複数有するディスクアレイ装置において、前記ディスクアレイを構成するディスク装置の組み合わせ情報と、該ディスクアレイを構成するディスク装置への平均アクセス回数を示すディスクウェイトと、を記憶する構成情報記憶手段を参照してディスクウェイトを取得するディスクウェイト取得処理と、該組み合わせ情報とディスクウェイトとに基づいて、所定のディスクアレイにアクセスする各担当デバイスアダプタの負荷が均一となるように担当デバイスアダプタに前記ディスクアレイを割当てる担当デバイスアダプタ制御処理と、該担当デバイスアダプタを介して前記ディスクアレイを構成するディスク装置にアクセスするアクセス処理と、をディスクアレイ装置に実行させることを特徴とするディスクアレイアクセス動的制御方法。(4)
(付記7) 前記担当デバイスアダプタ制御処理は、ディスクアレイの種別に応じて、前記ディスクウェイトを用いて、前記デバイスアダプタから前記ディスクアレイへの平均アクセス回数を示すディスクアレイウェイトを算出するディスクアレイウェイト算出処理と、該ディスクアレイウェイトを用いて、1又は2以上の所定のディスクアレイへのアクセスを担当する担当デバイスアダプタのディスクアレイへの平均アクセス回数を示すデバイスアダプタウェイトが全て均一になるように各ディスクアレイを担当デバイスアダプタに割当てる担当デバイスアダプタ割当て処理と、をディスクアレイ装置に実行させることを特徴とする付記6に記載のディスクアレイアクセス動的制御方法。(5)
(付記8) 前記ディスクアレイウェイト算出処理は、さらに、前記ディスクアレイウェイトに対して、ディスクアレイを構成するディスク装置の磁気ディスクの回転数に応じた係数を乗算して得た値をディスクアレイウェイトとする、ことを特徴とする付記7に記載のディスクアレイアクセス動的制御方法。
(付記9) 前記担当デバイスアダプタ制御手段は、前記ディスクアレイがRAID0+1又はRAID1のミラー系RAIDである場合、該ディスクアレイを構成する互いに隣接したディスク装置にアクセスする担当デバイスアダプタに異なるデバイスアダプタを割当てる、ことを特徴とする付記6に記載のディスクアレイアクセス動的制御方法。
(付記10) 前記担当デバイスアダプタ制御手段は、前記ディスクアレイがRAID5である場合、該ディスクアレイにアクセスする論理ブロックアドレスに応じて、当該論理ブロックアドレスのデータを格納するディスク装置にアクセスする担当デバイスアダプタに異なるデバイスアダプタを割当てる、ことを特徴とする付記6に記載のディスクアレイアクセス動的制御方法。
(付記11) 前記担当デバイスアダプタ割当て手段は、前記ディスクアレイウェイトを降順にソートし、該ソートしたディスクアレイウェイトに対応するRAIDを、第1の順と該第1の順と逆の順である第2の順とに交互にしたがってDAに割当てる、ことを特徴とする付記6に記載のディスクアレイアクセス動的制御方法。
本発明の原理を示す図である。 本発明の実施例に係るディスクアレイ装置の構成例を示す図である。 本実施例に係るディスクアレイ装置が使用する構成情報の例を示す図である。 図3に示した構成情報の構成のディスク装置群の例を示す図である。 ディスクアレイアクセス動的制御装置が各DAが担当するRAIDを割当てる処理を示すフローチャートである。 図5に示したディスクアレイアクセス動的制御装置の処理で生成する担当DA割当てテーブルの例を示す図である。 図5に示したディスクアレイアクセス動的制御装置の処理で生成するRAID割当てテーブルの例を示す図である。 図7に示したRAID割当てテーブルにしたがってミラー系RAIDにアクセスする場合の例を示す図である。 図7に示したRAID割当てテーブルにしたがってRAID5にアクセスする場合の例を示す図である。 ディスクアレイ装置の主要部を示す従来例の図である。
符号の説明
1 ディスクアレイアクセス動的制御装置
2 ディスク装置群
3 構成情報記憶手段
4 担当DA制御手段
5 情報処理装置
6 アクセス手段
10 ディスクアレイ装置
11 情報処理装置
12 情報処理装置
13 CA
14 CM
15 DA
16 RT
17 FCスイッチ
18 メモリ

Claims (5)

  1. ディスク装置群のディスク装置を組み合わせて複数のディスクアレイを構成し、該ディスク装置へアクセスするためのインターフェースであるデバイスアダプタを複数有するディスクアレイ装置において、
    前記ディスクアレイを構成するディスク装置の組み合わせ情報と、前記デバイスアダプタから前記ディスクアレイを構成するディスク装置の1つへの書込み処理時の平均アクセス回数と読み込み処理時の平均アクセス回数とから前記ディスクアレイの態様毎に算出したディスクウェイトを記憶する構成情報記憶手段と、
    該組み合わせ情報とディスクウェイトとに基づいて、前記デバイスアダプタから前記ディスクアレイへの平均アクセス回数を示すディスクアレイウェイトを算出し、所定のディスクアレイへのアクセスを担当する各担当デバイスアダプタの前記ディスクアレイウェイトの総和が均一となるように担当デバイスアダプタに前記ディスクアレイを割当てる担当デバイスアダプタ制御手段と、
    該担当デバイスアダプタを介して前記ディスクアレイを構成するディスク装置にアクセスするアクセス手段と、
    を備えることを特徴とするディスクアレイアクセス動的制御装置。
  2. 前記担当デバイスアダプタ制御手段は、
    ディスクアレイの種別に応じて、前記ディスクウェイトを用いて、前記デバイスアダプタから前記ディスクアレイへの平均アクセス回数を示すディスクアレイウェイトを算出するディスクアレイウェイト算出手段と、
    該ディスクアレイウェイトを用いて、1又は2以上の所定のディスクアレイへのアクセスを担当する担当デバイスアダプタのディスクアレイへの平均アクセス回数を示すデバイスアダプタウェイトが全て均一になるように各ディスクアレイを担当デバイスアダプタに割当てる担当デバイスアダプタ割当て手段と、
    を備えることを特徴とする請求項1に記載のディスクアレイアクセス動的制御装置。
  3. 前記ディスクアレイウェイト算出手段は、さらに、前記ディスクアレイウェイトに対して、ディスクアレイを構成するディスク装置の磁気ディスクの回転数に応じた係数を乗算して得た値をディスクアレイウェイトとする、
    ことを特徴とする請求項2に記載のディスクアレイアクセス動的制御装置。
  4. ディスク装置群のディスク装置を組み合わせて複数のディスクアレイを構成し、該ディスク装置へアクセスするためのインターフェースであるデバイスアダプタを複数有するディスクアレイ装置において、
    前記ディスクアレイを構成するディスク装置の組み合わせ情報と、前記デバイスアダプタから前記ディスクアレイを構成するディスク装置の1つへの書込み処理時の平均アクセス回数と読み込み処理時の平均アクセス回数とから前記ディスクアレイの態様毎に算出したディスクウェイトと、を記憶する構成情報記憶手段を参照してディスクウェイトを取得するディスクウェイト取得ステップと、
    該組み合わせ情報とディスクウェイトとに基づいて、前記デバイスアダプタから前記ディスクアレイへの平均アクセス回数を示すディスクアレイウェイトを算出し、所定のディスクアレイへのアクセスを担当する各担当デバイスアダプタの前記ディスクアレイウェイトの総和が均一となるように担当デバイスアダプタに前記ディスクアレイを割当てる担当デバイスアダプタ制御ステップと、
    該担当デバイスアダプタを介して前記ディスクアレイを構成するディスク装置にアクセスするアクセスステップと、
    備えるディスクアレイアクセス動的制御方法。
  5. 前記担当デバイスアダプタ制御ステップは、
    ディスクアレイの種別に応じて、前記ディスクウェイトを用いて、前記デバイスアダプタから前記ディスクアレイへの平均アクセス回数を示すディスクアレイウェイトを算出するディスクアレイウェイト算出ステップと、
    該ディスクアレイウェイトを用いて、1又は2以上の所定のディスクアレイへのアクセスを担当する担当デバイスアダプタのディスクアレイへの平均アクセス回数を示すデバイスアダプタウェイトが全て均一になるように各ディスクアレイを担当デバイスアダプタに割当てる担当デバイスアダプタ割当てステップと、
    備える請求項4に記載のディスクアレイアクセス動的制御方法。
JP2005185574A 2005-06-24 2005-06-24 ディスクアレイアクセス動的制御装置、及び方法 Expired - Fee Related JP4327130B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2005185574A JP4327130B2 (ja) 2005-06-24 2005-06-24 ディスクアレイアクセス動的制御装置、及び方法
US11/237,699 US7552278B2 (en) 2005-06-24 2005-09-29 Disk array access dynamic control device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005185574A JP4327130B2 (ja) 2005-06-24 2005-06-24 ディスクアレイアクセス動的制御装置、及び方法

Publications (2)

Publication Number Publication Date
JP2007004620A JP2007004620A (ja) 2007-01-11
JP4327130B2 true JP4327130B2 (ja) 2009-09-09

Family

ID=37568960

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005185574A Expired - Fee Related JP4327130B2 (ja) 2005-06-24 2005-06-24 ディスクアレイアクセス動的制御装置、及び方法

Country Status (2)

Country Link
US (1) US7552278B2 (ja)
JP (1) JP4327130B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5425913B2 (ja) * 2009-05-22 2014-02-26 株式会社日立製作所 複数のプロセッサユニットを備えたストレージシステム
CN103019614B (zh) * 2011-09-23 2015-11-25 阿里巴巴集团控股有限公司 分布式存储系统管理装置及方法
JP6330403B2 (ja) * 2014-03-19 2018-05-30 日本電気株式会社 情報記憶装置、情報記憶方法及びプログラム
US11209990B2 (en) * 2019-03-15 2021-12-28 Super Micro Computer, Inc. Apparatus and method of allocating data segments in storage regions of group of storage units

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5412592A (en) * 1991-10-31 1995-05-02 The Regents Of The University Of California Optoelectronic associative memory using parallel-readout optical disk storage
US5680521A (en) * 1992-06-15 1997-10-21 Canon Kabushiki Kaisha Printing method and apparatus
JP2768618B2 (ja) 1992-08-28 1998-06-25 シャープ株式会社 半導体ディスク装置
JPH0863298A (ja) 1994-08-18 1996-03-08 Hitachi Ltd ディスクアレイ装置
JP3201219B2 (ja) 1995-05-29 2001-08-20 三菱電機株式会社 入出力処理システム
JP3732869B2 (ja) * 1995-06-07 2006-01-11 株式会社日立製作所 外部記憶装置
US5768623A (en) * 1995-09-19 1998-06-16 International Business Machines Corporation System and method for sharing multiple storage arrays by dedicating adapters as primary controller and secondary controller for arrays reside in different host computers
US6434637B1 (en) * 1998-12-31 2002-08-13 Emc Corporation Method and apparatus for balancing workloads among paths in a multi-path computer system based on the state of previous I/O operations
US6622252B1 (en) * 2000-04-12 2003-09-16 International Business Machines Corporation Data storage device having selectable performance modes for use in dual powered portable devices
JP2002116936A (ja) 2000-10-05 2002-04-19 Toshiba Corp ディスクアレイ装置
JP2002140169A (ja) 2000-11-06 2002-05-17 Nec Corp ディスクアレイ制御装置及びディスクアレイ制御方法
JP3950720B2 (ja) * 2002-03-18 2007-08-01 株式会社日立製作所 ディスクアレイサブシステム
US6912635B2 (en) 2002-05-08 2005-06-28 Hewlett-Packard Development Company, L.P. Distributing workload evenly across storage media in a storage array
JP2004047043A (ja) * 2002-05-13 2004-02-12 Nec Corp 光ディスク媒体およびドライブ装置
JP2004046352A (ja) 2002-07-09 2004-02-12 Mitsubishi Electric Corp データ格納装置及び方法並びにプログラム
JP3730609B2 (ja) 2002-09-11 2006-01-05 株式会社東芝 冗長化論理ディスクに対するライトスルー処理方法、ライトスルー処理用プログラム及びディスクコントローラ
US7181578B1 (en) * 2002-09-12 2007-02-20 Copan Systems, Inc. Method and apparatus for efficient scalable storage management
JP2005196331A (ja) * 2004-01-05 2005-07-21 Hitachi Ltd ディスクアレイ装置及びディスクアレイ装置の構成変更方法
US8006056B2 (en) * 2004-01-30 2011-08-23 Hewlett-Packard Development Company, L.P. Storage system including capability to move a virtual storage device group without moving data
US7305520B2 (en) * 2004-01-30 2007-12-04 Hewlett-Packard Development Company, L.P. Storage system with capability to allocate virtual storage segments among a plurality of controllers

Also Published As

Publication number Publication date
JP2007004620A (ja) 2007-01-11
US7552278B2 (en) 2009-06-23
US20060294303A1 (en) 2006-12-28

Similar Documents

Publication Publication Date Title
US9378093B2 (en) Controlling data storage in an array of storage devices
US5758050A (en) Reconfigurable data storage system
US8910030B2 (en) Redistributing parity in a storage system
US7433999B2 (en) Storage controller and method for storage control with non-contiguous stored parities
US9122629B2 (en) Elastic cache with single parity
EP0801344B1 (en) An apparatus for reallocating logical to physical disk devices using a storage controller and method of the same
JP5512833B2 (ja) ストレージの仮想化機能と容量の仮想化機能との両方を有する複数のストレージ装置を含んだストレージシステム
JP5315348B2 (ja) シン・プロビジョニングの移行および取り消しのための方法および装置
US9639268B2 (en) Distributed data storage system with key-based addressing
JP4654273B2 (ja) ストレージ装置および制御装置
WO2013046463A1 (ja) 不揮発半導体記憶システム
WO2011101909A1 (ja) 仮想ボリュームの制御方法及びストレージ装置
US20150169230A1 (en) Method of lun management in a solid state disk array
JPWO2003077111A1 (ja) Raid装置の制御装置
JP2005284343A (ja) ストレージ装置
US8954658B1 (en) Method of LUN management in a solid state disk array
WO2013158817A1 (en) Lun management with distributed raid controllers
US20140025916A1 (en) Storage system and storage control method
US11635901B2 (en) Data storage device, and non-volatile memory control method
US20210326207A1 (en) Stripe reassembling method in storage system and stripe server
WO2014147658A1 (en) Compound storage system and storage control method
JP4327130B2 (ja) ディスクアレイアクセス動的制御装置、及び方法
JP6232936B2 (ja) 情報処理装置、記憶装置制御回路及び記憶装置の制御方法
JP5962621B2 (ja) ストレージ装置及びその制御方法、並びにストレージ制御プログラム
US20070079064A1 (en) Disk cache control apparatus

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090106

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090304

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090610

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4327130

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120619

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130619

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees