JPH11154057A - ディスクアレイ装置 - Google Patents

ディスクアレイ装置

Info

Publication number
JPH11154057A
JPH11154057A JP9321292A JP32129297A JPH11154057A JP H11154057 A JPH11154057 A JP H11154057A JP 9321292 A JP9321292 A JP 9321292A JP 32129297 A JP32129297 A JP 32129297A JP H11154057 A JPH11154057 A JP H11154057A
Authority
JP
Japan
Prior art keywords
access
area
disk
array
log
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9321292A
Other languages
English (en)
Other versions
JP3616487B2 (ja
Inventor
Mitsuo Goto
三男 後藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alps Alpine Co Ltd
Original Assignee
Alps Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alps Electric Co Ltd filed Critical Alps Electric Co Ltd
Priority to JP32129297A priority Critical patent/JP3616487B2/ja
Priority to US09/182,373 priority patent/US6223300B1/en
Priority to EP98309088A priority patent/EP0918286A3/en
Publication of JPH11154057A publication Critical patent/JPH11154057A/ja
Application granted granted Critical
Publication of JP3616487B2 publication Critical patent/JP3616487B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3476Data logging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3485Performance evaluation by tracing or monitoring for I/O devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0604Improving or facilitating administration, e.g. storage management
    • G06F3/0607Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0634Configuration or reconfiguration of storage systems by changing the state or mode of one or more devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0689Disk arrays, e.g. RAID, JBOD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2201/00Indexing scheme relating to error detection, to error correction, and to monitoring
    • G06F2201/88Monitoring involving counting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

(57)【要約】 【課題】 ホストシステムを停止せずにディスクアクセ
ス傾向に応じて最適なアレイパラメータを割出して記憶
装置のデータ領域を再構成するディスクアレイ装置を提
供すること。 【解決手段】 各記憶装置#0,#1,#2に、ストラ
イプサイズ単位のデータ領域17と、アクセスログを保
存するログ保存領域18と、前記データ領域17の変更
作業を行うワーク領域19とを形成し、アクセスログを
前記ログ保存領域18に保存するアクセスログ保存手段
6と、アクセスログに基づいて各記憶装置#0,#1,
#2へのアクセス傾向を分析するアクセスログ分析手段
7と、その分析結果に基づいてアレイパラメータの妥当
性を判定し最適なアレイパラメータに変更するアレイパ
ラメータ判定・変更手段8と、変更後のアレイパラメー
タに基づいて前記データ領域17を再構成する再構成手
段9とを有すること。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明はディスクアレイ装置
に係り、特に、予め設定したアレイパラメータを記憶装
置へのアクセスログに基づいて変更して記憶装置のデー
タ領域を再構成するのに好適なディスクアレイ装置に関
する。
【0002】
【従来の技術】従来から、記憶装置の性能を改善するこ
とを目的として、複数のハードディスクドライブ(以
下、「ディスク」という)を並列のインタフェースを介
して接続することによりアクセス時間の短い大容量のデ
ィスクサブシステムを構築するディスクアレイ装置が開
発されている。
【0003】このようなディスクアレイ装置によれば、
データを各ディスクに分散して記録するので並列に高速
アクセスが可能となるし、パリティディスクを設けてお
けば、1台のディスクが壊れてもパリティ情報によりデ
ータを復旧するも可能となり、故障ディスクを新しいデ
ィスクに活線挿抜することにより故障ディスクのデータ
を復旧することも可能である。
【0004】また、非常用のスペアディスクを装備して
おけば、1台のディスクが故障してもスペアディスク上
に故障ディスクのデータを生成し故障ディスクをシステ
ムから切り離すことができる。
【0005】そして、従来のディスクアレイ装置におい
ては、前記各ディスクを並列にアクセスするために、前
記各ディスクのデータの記録領域をストライプ単位で管
理、すなわち、連続するアドレスの記憶場所に対応する
セグメント単位で管理している。
【0006】このため、図7(a)に示すように、大容
量の読込みや書込み処理命令を複数のディスクの並列ア
クセスで高速処理することができたり、あるいは、図7
(b)に示すように、複数のアプリケーションからの別
々の読込みや書込み処理命令を各ディスクに振り分けて
並列に高速処理することができるようになっていた。
【0007】
【発明が解決しようとする課題】しかし、従来のディス
クアレイ装置においては、通常、ディスクサブシステム
を構成した後に、各ディスクのストライプサイズ等のア
レイパラメータを使用頻度等に応じて当初設定した値か
ら変更されることはほとんどなかった。このため、各デ
ィスクへのアクセスに対して設定されているアレイパラ
メータが必ずしも最適な状態といえない場合があった。
【0008】すなわち、各ディスクへのアクセス傾向
は、アプリケーションの種類、データサイズ、クライア
ント数および使用頻度等によって大きく異なっており、
最初に設定したストライプサイズやディスクの台数ある
いはRAIDレベル等のアレイパラメータが最適である
可能性はむしろ低く、運用中のディスクアクセスの効率
が悪い場合も多かった。
【0009】たとえば、図8(a)に示すように、大き
いアクセスサイズの処理命令が重複して出された場合
に、これらの複数の命令を並行に処理することができな
かったり、図8(b)に示すように、特定のディスクに
小さいサイズの要求が集中してしまって複数のディスク
に並行してアクセスできないことがあった。
【0010】かかる問題があったにもかかわらず、従来
のディスクアレイ装置においては、当初設定したストラ
イプサイズ等のアレイパラメータを変更することはほと
んどなかった。
【0011】もし、ストライプサイズを変更する場合に
は、そのためにホストシステムを長時間停止させて必要
なデータのバックアップをとり、元のストライプサイズ
を新たなストライプサイズに変更してリストアしなけれ
ばならなかった。
【0012】また、ストライプサイズの妥当性を検証す
るためには、アクセス履歴を取り出して人間の手により
分析しなければならず、膨大な労力と時間とを要すると
いう問題があり、若しくはアクセス履歴を取り出す手段
がない場合もあった。
【0013】本発明はこのような問題点に鑑みてなされ
たもので、ホストシステムを停止することなく、ディス
クアクセスの傾向に応じて最適なアレイパラメータを割
出してディスク等の記憶装置のデータ領域を再構成する
ディスクアレイ装置を提供することを目的とするもので
ある。
【0014】
【課題を解決するための手段】前記目的を達成するため
本発明に係る請求項1に記載のディスクアレイ装置の特
徴は、各記憶装置に予めストライプサイズ単位に設定さ
れたデータ領域と、前記各記憶装置へのアクセスログを
保存するログ保存領域と、前記各記憶装置のデータ領域
の変更作業を行うワーク領域とを形成するとともに、前
記アクセスログを前記ログ保存領域に保存するアクセス
ログ保存手段と、前記アクセスログに基づいて前記各記
憶装置へのアクセス傾向を分析するアクセスログ分析手
段と、このアクセスログ分析手段による分析結果に基づ
いて既定のアレイパラメータの妥当性を判定し妥当でな
いと認定した場合に最適なアレイパラメータに変更する
アレイパラメータ判定・変更手段と、このアレイパラメ
ータ判定・変更手段により変更されたアレイパラメータ
に基づいて前記各記憶装置のデータ領域を再構成する再
構成手段とを有する点にある。そして、このような構成
を採用したことにより、ホストシステムを停止すること
なく、ディスクアクセスの傾向に応じて最適なアレイパ
ラメータを割り出して記憶装置のデータ領域を再構成す
ることができる。
【0015】また、請求項2に記載のディスクアレイ装
置の特徴は、請求項1において、アレイパラメータ判定
・変更手段がアレイパラメータのうちのストライプサイ
ズを大きくする必要があると判定した場合に、再構成手
段が記憶装置のデータ領域から新ストライプサイズ単位
ごとに記録データをワーク領域にコピーし、このワーク
領域において新ストライプサイズでの新パリティを生成
した後に再び元のデータ領域に記録データをコピーする
ことにより前記各記憶装置の前記データ領域を再構成す
るようにした点にある。そして、このような構成を採用
したことにより、複数の大容量の読込みおよび書込み処
理命令に対して迅速かつ効率的に処理することができ
る。
【0016】また、請求項3に記載のディスクアレイ装
置の特徴は、アレイパラメータ判定・変更手段がアレイ
パラメータのうちのストライプサイズを小さくする必要
があると判定した場合に、再構成手段が記憶装置のデー
タ領域から旧ストライプサイズ単位ごとに記録データを
ワーク領域にコピーし、このワーク領域において新スト
ライプサイズでの新パリティを生成した後に再び元のデ
ータ領域に記録データをコピーすることにより前記各記
憶装置の前記データ領域を再構成するようにした点にあ
る。そして、このような構成を採用したことにより、複
数の小容量の読込みおよび書込み処理命令に対して迅速
かつ効率的に処理することができる。
【0017】また、請求項4に記載のディスクアレイ装
置の特徴は、ログ保存領域とワーク領域とを記憶装置の
同一領域に形成した点にある。そして、このような構成
を採用したことにより、アクセスログの分析が終了した
後はこのアクセスログを前記ログ保存領域から消去して
ワーク領域として使用することができ、記憶装置の容量
を有効に利用することができる。
【0018】
【発明の実施の形態】以下、本発明の実施の形態を図1
乃至図6を参照して説明する。
【0019】本実施形態のディスクアレイ装置1は、図
1に示すように、複数の記憶装置の例としてディスク#
0,#1,#2から構成されるディスク群2と、これら
各ディスク#0,#1,#2の論理ドライブを管理する
論理ドライブ管理手段3と、前記ディスク群2の各ディ
スク#0,#1,#2のうちからどのディスク#0,#
1,#2のストライプにアクセスするかの割り振りを行
うディスク記録領域割振手段4と、各ディスク#0,#
1,#2の利用状況や処理内容を時間の流れに沿って記
録した、いわゆるアクセスログをログ1次保存領域21
に1次的に保存しておくためのアクセスログ1次保存手
段5と、このアクセスログ1次保存手段5により1次的
に保存された各アクセスログをディスク#0,#1,#
2のログ保存領域18に保存するアクセスログ2次保存
手段6と、所定のログサイクル経過ごとまたはユーザの
指令に従って前記ディスク#0,#1,#2から前記ア
クセスログを読み出してその内容を分析するアクセスロ
グ分析手段7と、このアクセスログ分析手段7の分析結
果に基づいてアレイパラメータの妥当性を判定するとと
もに妥当でないと判定した場合に前記アレイパラメータ
の変更処理を行うアレイパラメータ判定・変更手段8
と、この変更後のアレイパラメータに基づいて論理ディ
スク#0,#1,#2を再構成する再構成手段9と、新
たに設定したアレイパラメータを不揮発性メモリ上に記
録するためのアレイパラメータ格納手段10と、新たな
ストライプサイズを設定する際に新パリティを生成する
機能を有するパリティ生成手段11と、ホストシステム
12およびディスクアレイ装置1間の仲介を行うホスト
システムインタフェース13と、ディスク群2へのアク
セスの仲介を行うディスクインタフェース14と、前記
各手段の動作全般を統一的に制御するCPU等の制御手
段15とから構成されている。
【0020】以下、これらの各手段についてより具体的
に説明する。
【0021】前記ディスク群2の各ディスク#0,#
1,#2は、不揮発でランダムにアドレスが設定できて
書き換え可能な大容量記憶装置であって、例えば、磁気
ディスク、光ディスクおよび半導体ディスク等が相当す
る。
【0022】なお、本実施形態における前記ディスク群
2は、3台のディスク#0,#1,#2により構成され
ているが、この台数に限る必要はなく、2台、あるいは
3台以上でもよい。
【0023】また、前記各ディスク#0,#1,#2
は、図2に示すように、ディスク#0,#1,#2の管
理情報を記憶しておくシステム領域16と、予めストラ
イプサイズ単位に設定されたデータ領域17と、前記デ
ィスク#0,#1,#2にアクセスする毎にアクセス状
態を示すログを記録するログ保存領域18と、論理ディ
スク#0,#1,#2の構成を変更する際にデータ操作
を行うワーク領域19とを有している。
【0024】そして、各領域は、例えば、前記ディスク
#0,#1,#2の総容量を2.1GB(ギガバイト)
とすると、前記システム領域16は0.5MB(メガバ
イト)、前記データ領域17は2000MB、前記ログ
保存領域18および前記ワーク領域19は、併せて9
9.5MBとされている。このように前記システム領
域、前記ログ保存領域および前記ワーク領域を予め固定
しておくと、ホストシステム12側の認識が円滑に維持
されて、アクセスログの記録をサイクリックにすること
ができる。
【0025】なお、本実施形態の前記ログ保存領域18
と前記ワーク領域19とは、別領域に設定されている
が、これに限る必要はなく、両者を前記ディスク#0,
#1,#2の同一領域に形成してもよい。
【0026】このように、前記ログ保存領域18と前記
ワーク領域19とを同一領域に形成した場合には、後述
するアクセスログ分析手段7によるアクセス傾向の分析
が終了した後は前記ログ保存領域18からそれまでのア
クセスログを削除して、この領域を前記ワーク領域19
として利用すればよく、前記ディスク#0,#1,#2
の容量を有効に利用することができる。
【0027】前記論理ドライブ管理手段3は、論理ドラ
イブを構成するディスク番号およびデータの記録領域ブ
ロック番号等の相関情報や、各ディスク#0,#1,#
2の容量および性能等のアレイパラメータたる状態情報
を論理ドライブ番号ごとに管理情報として整理して管理
するようになっている。
【0028】前記ディスク記録領域割振手段4は、ディ
スク#0,#1,#2へのアクセスを制御するもので、
ディスク台数、RAIDレベル、ストライプサイズ等に
よって論理アドレスから物理アドレスに変換し、各ディ
スク#0,#1,#2へのコマンドを割り振るものであ
る。
【0029】前記アクセスログ1次保存手段5は、DR
AM等の揮発性または不揮発性メモリであるログ1次保
存領域21を有しており、このログ1次保存領域21に
前記ホストシステム12から前記各ディスク#0,#
1,#2へ出力されたアクセスの内容やそのアクセスサ
イズ等を1次的に保存するようになっている。
【0030】そして、前記アクセスログ2次保存手段6
は、前記ログ1次保存領域21に1次的に保存されてい
る各アクセスログを前記ディスク#0,#1,#2のロ
グ保存領域18に2次的に順次保存するようになってい
る。
【0031】前記アクセスログ分析手段7は、周期的に
起動命令を出力するタイマ22に接続されており、この
タイマ22からログ分析起動命令が出力されると、まず
予め指定された分析時期であるか否かを確認するように
なっている。すなわち、アクセスログはディスク#0,
#1,#2の一定領域をサイクリックに利用するように
なっているので、定期的に分析してもアクセスコマンド
が出力された回数の大小によって各ディスク#0,#
1,#2に保存されているアクセスログの量は異なって
しまう。したがって、前記アクセスログ分析手段7は、
所定のログサイクルが経過するまでログ分析を開始しな
いようになっている。
【0032】そして、所定のログサイクルが経過する
と、前記アクセスログ分析手段7は前記ディスク#0,
#1,#2からアクセスログを読み出して、アクセス要
求のサイズや回数、ディスク#0,#1,#2上の位置
等のアクセス傾向を分析するようになっている。
【0033】なお、このようにログ分析の開始を自動的
に行うのではなく、ユーザの分析開始指令により行うよ
うにしてもよい。
【0034】ここで、前記アクセスログ分析手段7によ
るログ分析処理の実施例を図3および図4に示す。
【0035】図3および図4は1回の分析処理単位を示
したものであり、左から右へ時系列に従って処理が進行
するように示されている。
【0036】図3中において、「LogID」はコマン
ド発行かコマンド終了かを識別するためのものであり、
01hがコマンド発行、02hがコマンド完了をそれぞ
れ意味している。
【0037】また、図3中の「TAG」はディスク#
0,#1,#2に発行するコマンドの順序識別子を示し
ており、このTAGを目印としてコマンド順序を判断す
るようになっている。これは、制御手段15からコマン
ドが発行されると、前記ディスク#0,#1,#2はコ
マンド発行順に実行するとは限らず、最も処理速度が速
くなるように順番を変更して実行するようになってい
る。このため、コマンド発行側の発行順にコマンドが終
了しない場合があることから、コマンド発行側がコマン
ドに前記TAG番号を付加して発行し、当該コマンドの
完了を識別できるようにしているのである。
【0038】図3中の「Ch/SCSI−ID」は、S
CSI BUS番号(SCSIチャネル番号)と、SC
SIデバイス、つまりディスク#0,#1,#2の識別
子を示しており、具体的には、00hはディスク#0、
01hはディスク#1、02hはディスク#2にそれぞ
れ相当する。この図3では、全て同一BUSに接続され
ている例が示されている。
【0039】また、図3のCDBはCommand D
escripter Blockの略であって、コマン
ドそのものを意味している。StartBlockは、
ディスク#0,#1,#2におけるアドレス番地を示し
ており、BlockLenは、どの程度の領域をアクセ
スしたかを示している。
【0040】以上の要素に基づいて、前記ディスク群2
へのアクセスサイズの傾向が導かれる。この場合、1B
lockSizeは512バイトであるため、例えば、
40hは、40h×512バイト=20h×1Kバイト
=32×1Kバイト=32KBのストライプサイズに相
当することになる。同様に、10h=8KBであり、8
0h=64KBである。
【0041】このようなアクセスログの分析結果より、
図4に示すように、この例の場合にはストライプサイズ
が64KB以上が適当であり、ディスク#0,#1,#
2の並列アクセスが可能であり、ディスク#0,#1,
#2内で連続領域アクセスも可能となる。
【0042】また、アクセスログに基づく分析方法につ
いての具体例を示す。
【0043】まず、第1の分析方法について説明する。
この第1の分析方法は、時系列に従ってアクセスログの
データを分析する方法であって、発行したコマンドが全
て完了(正常終了)するまでを処理単位とするようにな
っている。そして、処理単位中のディスク番号やアクセ
ス位置、アクセスサイズの分布を作成し、ディスク#
0,#1,#2の並列アクセス性および連続アクセス性
を検証するようになっている。
【0044】また、第2の分析方法は、アクセスサイズ
によりソートして分析する方法であり、アクセスログの
アクセスサイズを、サポートするストライプサイズ別に
カウントし、要求されたアクセスサイズの発生頻度によ
りアクセスの傾向を把握するようになっている。アクセ
スログの分析は統計的手法を用いることもできる。
【0045】つぎに、アレイパラメータ判定・変更手段
8について説明する。
【0046】このアレイパラメータ判定・変更手段8
は、前述したアクセスログ分析手段7による分析結果に
基づいて既定したアレイパラメータの妥当性を判定し、
変更する必要があれば変更するようになっている。
【0047】例えば、特定のディスク#0,#1,#2
の不連続領域にアクセスが集中する傾向がある場合には
ストライプサイズの変更を必要とする。アクセスサイズ
が小さいときはストライプサイズを大きくし、アクセス
サイズが大きいときはストライプサイズを小さくするよ
うになっている。
【0048】あるいは、前記各ディスク#0,#1,#
2について並列アクセスを行っているが、ストライプサ
イズの単位で同時期に実行されている場合には、複数の
コマンドが並列に実行されていないため、ストライプサ
イズが大きくなるように変更するようになっている。
【0049】また、RAID5により大容量のアクセス
がシーケンシャルに実行されている場合には、RAID
レベルをRAID5からRAID3に変更するようにな
っている。
【0050】前記再構成手段9は、アレイパラメータ判
定・変更手段8により変更された後のアレイパラメータ
に基づいて論理ディスク#0,#1,#2を再構成、す
なわち、各ディスク#0,#1,#2のデータ領域17
を再構成するものである。
【0051】この再構成処理の具体例について図5を参
照しつつ説明する。例えば、旧ストライプサイズが8K
Bであったものを16KBの新ストライプサイズに変更
して再構成する場合について説明する。
【0052】この場合には、まず、各ディスク#0,#
1,#2のデータ領域17に予め設定されている8KB
の旧ストライプサイズを新ストライプサイズ単位である
16KBの単位でワーク領域19にコピーする。そし
て、このワーク領域19において、後述するパリティ生
成手段11により新ストライプサイズでの新パリティを
生成する。この新パリティが完成したら元のデータ領域
17にコピーする。このような処理を各ストライプにつ
いて繰り返し行って最終的に全ストライプについて再構
成が完成するようになっている。
【0053】また、もし、ストライプサイズを小さくし
て再構成する場合には、旧ストライプサイズ単位にワー
ク領域19にコピーし、このワーク領域19においてパ
リティ生成手段11により新ストライプサイズでの新パ
リティを生成した後に元のデータ領域17に戻すように
なっている。
【0054】前記アレイパラメータ格納手段10は、新
たに設定したストライプ等のアレイパラメータを不揮発
性メモリ上に記録しておくためのものである。
【0055】前記パリティ生成手段11は、論理ディス
ク#0,#1,#2の再構成の際に新たなストライプサ
イズを設定する必要がある場合に新パリティを生成する
ためのものである。
【0056】前記制御手段15は、前述した各手段の動
作が円滑に行われるように制御するものであり、例え
ば、アクセスログのディスク#0,#1,#2への保存
からこれを読み出して分析し、アレイパラメータの判定
変更および論理ディスク#0,#1,#2の再構成まで
の各手段による一連の動作を制御するようになってい
る。
【0057】また、前記ホストシステムインタフェース
13は、ホストシステム12とディスクアレイ装置1と
の間における電圧や電流、作動タイミング等の相違を調
整するようになっており、ソフト的にはホストシステム
からのコマンド発行、完了等を制御するもので、前記デ
ィスクインターフェース14は、前記制御手段15と前
記ディスク群2との間における作動タイミング等の相違
を調整するもので、ソフト的にはSCSI BUSの制
御を行い、ディスクとインタフェースするようになって
いる。
【0058】なお、前記ディスクインタフェース14と
ディスク群2との間には、前記制御手段15から前記デ
ィスク群2へ出力された信号が通るSCSI BUS2
3が配設されている。
【0059】つぎに、本発明の実施形態による論理ドラ
イブの自動再構成処理について図6を参照しつつ説明す
る。
【0060】本実施形態は、ホストシステム12からデ
ィスク#0,#1,#2へアクセスがあると、このアク
セス情報をアクセスログ1次保存手段5がログ1次保存
領域21に1次的に保存する。その後、アクセスログ2
次保存手段6が、前記アクセスログをアクセスされた当
該ディスク#0,#1,#2のログ保存領域18に順次
保存する。
【0061】つぎに、ステップST1において、アクセ
スログ分析手段7がタイマ22により周期的に起動さ
れ、ステップST2において、前記各ディスク#0,#
1,#2に予め指定された分析時期となったか否かを判
定する。この分析時期の指定は、例えばアクセス回数あ
るいはアクセスサイズ等を基準として設定されている。
【0062】そして、YESの場合、つまり分析時期と
なったことを認識したときはステップST3に進行し、
NOの場合、つまり分析時期となっていないことを認識
したときはステップST4に進行する。
【0063】ステップST3においては、アクセスログ
の分析およびディスク#0,#1,#2のデータ領域再
構成処理を起動する旨の信号をタスク間通信手段により
通知し、ステップST5に進行する。
【0064】一方、ステップST4に進行した場合に
は、その他の処理を行った後にステップST1に戻って
閉ループを形成し、つぎの分析時期の確認判定処理を待
つ。
【0065】つぎに、ステップST5において、アクセ
スログ分析起動判定処理から起動命令が通知されると、
ステップST6に進行し、前記アクセスログ分析手段7
が各ディスク#0,#1,#2に保存されているアクセ
スログを読み出してステップST7に進行する。
【0066】つぎに、ステップST7において、前記ア
クセスログ分析手段7がアクセスログの分析を開始し、
ステップST8に進行する。
【0067】つぎに、ステップST8において、前記ア
レイパラメータ判定・変更手段8が、ストライプサイズ
やディスク台数、RAIDレベル等のアレイパラメータ
の妥当性を判定する。この判定の結果、アレイパラメー
タが妥当であると判断した場合には、アレイパラメータ
を変更する必要はないためステップST5に戻る。一
方、アレイパラメータが妥当でないと判断した場合に
は、ステップST9に進行する。
【0068】つぎに、ステップST9において、アレイ
パラメータのうちで変更が必要な要素について変更処理
を行い、前記アレイパラメータ格納手段10により所定
の領域に格納した後、ステップST10に進行する。
【0069】つぎに、ステップST10において、再構
成手段9が変更後のアレイパラメータに基づいてディス
ク#0,#1,#2のデータ領域17を再構成する。こ
の場合、ストライプサイズを変更する必要があるときに
は、前記パリティ生成手段11により新パリティを生成
し、新ストライプサイズを再構成する。
【0070】そして、ステップST11に進行して、ホ
ストシステム12の監視処理へ通知した後に、ステップ
ST5に戻って閉ループを形成し次のアクセスログ分析
起動処理を待つようになっている。
【0071】したがって、本発明の実施形態によれば、
ホストシステム12を停止することなく、ディスクアク
セスの傾向に応じて最適なアレイパラメータを割出して
ディスク#0,#1,#2のデータ領域17を再構成す
ることができる。
【0072】なお、本発明は前記実施の形態のものに限
定されるものではなく、必要に応じて種々変更すること
が可能である。
【0073】
【発明の効果】以上述べたように本発明に係るディスク
アレイ装置によれば、ホストシステムを停止することな
く、ディスクアクセスの傾向に応じて最適なアレイパラ
メータを割出してディスクのデータ領域を再構成するこ
とができる。
【0074】また、記憶装置のログ領域とワーク領域と
を同一領域に形成することにより記憶装置の容量を有効
に利用できる等の効果を奏する。
【図面の簡単な説明】
【図1】 本発明に係るディスクアレイ装置の実施形態
を示すブロック図
【図2】 本実施形態における各ディスクの記憶領域に
関する説明図
【図3】 本実施形態におけるアクセスログの1例を示
す説明図
【図4】 本実施形態におけるアクセスログの1例を示
す説明図
【図5】 本実施形態における再構成手段によるディス
クのデータ領域再構成処理の1例を示す説明図
【図6】 本実施形態における自動再構成処理を示すフ
ローチャート図
【図7】 (a)は従来のディスクアレイ装置における
大容量の読み込みおよび書き込み命令に対する処理を示
す説明図であり、(b)は複数の読み込みおよび書き込
み命令に対する処理を示す説明図
【図8】 (a)は従来のディスクアレイ装置における
複数の大容量の読み込みおよび書き込み命令に対する処
理を示す説明図であり、(b)は特定のディスクに対す
る小容量の読み込みおよび書き込み命令に対する処理を
示す説明図
【符号の説明】
1 ディスクアレイ装置 2 ディスク群 3 論理ドライブ管理手段 4 ディスク記録領域割振手段 5 アクセスログ1次保存手段 6 アクセスログ2次保存手段 7 アクセスログ分析手段 8 アレイパラメータ判定・変更手段 11 パリティ生成手段 15 制御手段 16 システム領域 17 データ領域 18 ログ保存領域 19 ワーク領域

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 複数の記憶装置を有しこれらの記憶装置
    に並列にアクセスして処理を行うディスクアレイ装置で
    あって、前記各記憶装置に予めストライプサイズ単位に
    設定されたデータ領域と、前記各記憶装置へのアクセス
    ログを保存するログ保存領域と、前記各記憶装置のデー
    タ領域の変更作業を行うワーク領域とを形成するととも
    に、前記アクセスログを前記ログ保存領域に保存するア
    クセスログ保存手段と、前記アクセスログに基づいて前
    記各記憶装置へのアクセス傾向を分析するアクセスログ
    分析手段と、このアクセスログ分析手段による分析結果
    に基づいて既定のアレイパラメータの妥当性を判定し妥
    当でないと認定した場合に最適なアレイパラメータに変
    更するアレイパラメータ判定・変更手段と、このアレイ
    パラメータ判定・変更手段により変更されたアレイパラ
    メータに基づいて前記各記憶装置のデータ領域を再構成
    する再構成手段とを有することを特徴とするディスクア
    レイ装置。
  2. 【請求項2】 前記アレイパラメータ判定・変更手段が
    前記アレイパラメータのうちのストライプサイズを大き
    くする必要があると判定した場合に、前記再構成手段が
    前記記憶装置の前記データ領域から新ストライプサイズ
    単位ごとに記録データを前記ワーク領域にコピーし、こ
    のワーク領域において新ストライプサイズでの新パリテ
    ィを生成した後に再び元のデータ領域に記録データをコ
    ピーすることにより前記各記憶装置の前記データ領域を
    再構成するようにしたことを特徴とする請求項1に記載
    のディスクアレイ装置。
  3. 【請求項3】 前記アレイパラメータ判定・変更手段が
    前記アレイパラメータのうちのストライプサイズを小さ
    くする必要があると判定した場合に、前記再構成手段が
    前記記憶装置の前記データ領域から旧ストライプサイズ
    単位ごとに記録データを前記ワーク領域にコピーし、こ
    のワーク領域において新ストライプサイズでの新パリテ
    ィを生成した後に再び元のデータ領域に記録データをコ
    ピーすることにより前記各記憶装置の前記データ領域を
    再構成するようにしたことを特徴とする請求項1に記載
    のディスクアレイ装置。
  4. 【請求項4】 前記ログ保存領域と前記ワーク領域とを
    前記記憶装置の同一領域に形成したことを特徴とする請
    求項1乃至請求項3のいずれか1項に記載のディスクア
    レイ装置。
JP32129297A 1997-11-21 1997-11-21 ディスクアレイ装置 Expired - Fee Related JP3616487B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP32129297A JP3616487B2 (ja) 1997-11-21 1997-11-21 ディスクアレイ装置
US09/182,373 US6223300B1 (en) 1997-11-21 1998-10-29 Disk array apparatus
EP98309088A EP0918286A3 (en) 1997-11-21 1998-11-05 Disk array apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32129297A JP3616487B2 (ja) 1997-11-21 1997-11-21 ディスクアレイ装置

Publications (2)

Publication Number Publication Date
JPH11154057A true JPH11154057A (ja) 1999-06-08
JP3616487B2 JP3616487B2 (ja) 2005-02-02

Family

ID=18130949

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32129297A Expired - Fee Related JP3616487B2 (ja) 1997-11-21 1997-11-21 ディスクアレイ装置

Country Status (3)

Country Link
US (1) US6223300B1 (ja)
EP (1) EP0918286A3 (ja)
JP (1) JP3616487B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085118A (ja) * 2001-09-13 2003-03-20 Fujitsu Ltd 周辺装置のパラメータ設定方法、及び、周辺装置
JP2005293594A (ja) * 2004-04-02 2005-10-20 Seagate Technology Llc 管理された信頼性記憶システムと方法
JP2008516307A (ja) * 2004-10-05 2008-05-15 インターナショナル・ビジネス・マシーンズ・コーポレーション ディスク・データ・ストレージ・システムについての保守料金を決定するためのオン・デマンドかつ非容量ベースの処理、装置、およびコンピュータ・プログラム
JP2008269338A (ja) * 2007-04-20 2008-11-06 Hitachi Ltd ストレージ装置及び管理単位設定方法
EP2645225A1 (en) 2012-03-30 2013-10-02 Fujitsu Limited Storage control apparatus, storage system, and storage control method
US9753803B2 (en) 2013-03-28 2017-09-05 Fujitsu Limited Storage system and information processing apparatus

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6516425B1 (en) * 1999-10-29 2003-02-04 Hewlett-Packard Co. Raid rebuild using most vulnerable data redundancy scheme first
US6581185B1 (en) * 2000-01-24 2003-06-17 Storage Technology Corporation Apparatus and method for reconstructing data using cross-parity stripes on storage media
JP3592640B2 (ja) * 2001-01-09 2004-11-24 株式会社東芝 ディスク制御システムおよびディスク制御方法
US6851082B1 (en) 2001-11-13 2005-02-01 Network Appliance, Inc. Concentrated parity technique for handling double failures and enabling storage of more than one parity block per stripe on a storage device of a storage array
US7346831B1 (en) 2001-11-13 2008-03-18 Network Appliance, Inc. Parity assignment technique for parity declustering in a parity array of a storage system
US7055058B2 (en) * 2001-12-26 2006-05-30 Boon Storage Technologies, Inc. Self-healing log-structured RAID
US7613984B2 (en) * 2001-12-28 2009-11-03 Netapp, Inc. System and method for symmetric triple parity for failing storage devices
US6993701B2 (en) * 2001-12-28 2006-01-31 Network Appliance, Inc. Row-diagonal parity technique for enabling efficient recovery from double failures in a storage array
US8402346B2 (en) * 2001-12-28 2013-03-19 Netapp, Inc. N-way parity technique for enabling recovery from up to N storage device failures
US7073115B2 (en) * 2001-12-28 2006-07-04 Network Appliance, Inc. Correcting multiple block data loss in a storage array using a combination of a single diagonal parity group and multiple row parity groups
US7640484B2 (en) * 2001-12-28 2009-12-29 Netapp, Inc. Triple parity technique for enabling efficient recovery from triple failures in a storage array
US7080278B1 (en) 2002-03-08 2006-07-18 Network Appliance, Inc. Technique for correcting multiple storage device failures in a storage array
US7200715B2 (en) 2002-03-21 2007-04-03 Network Appliance, Inc. Method for writing contiguous arrays of stripes in a RAID storage system using mapped block writes
US7437727B2 (en) * 2002-03-21 2008-10-14 Network Appliance, Inc. Method and apparatus for runtime resource deadlock avoidance in a raid system
US7539991B2 (en) 2002-03-21 2009-05-26 Netapp, Inc. Method and apparatus for decomposing I/O tasks in a raid system
US7254813B2 (en) * 2002-03-21 2007-08-07 Network Appliance, Inc. Method and apparatus for resource allocation in a raid system
US6976146B1 (en) 2002-05-21 2005-12-13 Network Appliance, Inc. System and method for emulating block appended checksums on storage devices by sector stealing
KR100490723B1 (ko) * 2002-11-29 2005-05-24 한국전자통신연구원 파일 레벨 스트라이핑 장치 및 방법
US7185144B2 (en) 2003-11-24 2007-02-27 Network Appliance, Inc. Semi-static distribution technique
US7664913B2 (en) * 2003-03-21 2010-02-16 Netapp, Inc. Query-based spares management technique
US7143235B1 (en) 2003-03-21 2006-11-28 Network Appliance, Inc. Proposed configuration management behaviors in a raid subsystem
US7328364B1 (en) 2003-03-21 2008-02-05 Network Appliance, Inc. Technique for coherent suspension of I/O operations in a RAID subsystem
US7424637B1 (en) 2003-03-21 2008-09-09 Networks Appliance, Inc. Technique for managing addition of disks to a volume of a storage system
US7111147B1 (en) * 2003-03-21 2006-09-19 Network Appliance, Inc. Location-independent RAID group virtual block management
US7275179B1 (en) 2003-04-24 2007-09-25 Network Appliance, Inc. System and method for reducing unrecoverable media errors in a disk subsystem
US7328305B2 (en) * 2003-11-03 2008-02-05 Network Appliance, Inc. Dynamic parity distribution technique
US7263629B2 (en) * 2003-11-24 2007-08-28 Network Appliance, Inc. Uniform and symmetric double failure correcting technique for protecting against two disk failures in a disk array
US7366837B2 (en) * 2003-11-24 2008-04-29 Network Appliance, Inc. Data placement technique for striping data containers across volumes of a storage system cluster
US7647451B1 (en) 2003-11-24 2010-01-12 Netapp, Inc. Data placement technique for striping data containers across volumes of a storage system cluster
US8140860B2 (en) * 2003-12-15 2012-03-20 International Business Machines Corporation Policy-driven file system with integrated RAID functionality
US20050166022A1 (en) * 2004-01-28 2005-07-28 Hitachi, Ltd. Method and apparatus for copying and backup in storage systems
US7171518B2 (en) * 2004-04-02 2007-01-30 Lsi Logic Corporation Data storage system recovery from disk failure during system off-line condition
US20060075281A1 (en) * 2004-09-27 2006-04-06 Kimmel Jeffrey S Use of application-level context information to detect corrupted data in a storage system
US7398460B1 (en) 2005-01-31 2008-07-08 Network Appliance, Inc. Technique for efficiently organizing and distributing parity blocks among storage devices of a storage array
JP4671738B2 (ja) * 2005-04-01 2011-04-20 株式会社日立製作所 ストレージシステム及び記憶領域割当て方法
US8560503B1 (en) 2006-01-26 2013-10-15 Netapp, Inc. Content addressable storage system
US7822921B2 (en) 2006-10-31 2010-10-26 Netapp, Inc. System and method for optimizing write operations in storage systems
US7613947B1 (en) 2006-11-30 2009-11-03 Netapp, Inc. System and method for storage takeover
US7647526B1 (en) 2006-12-06 2010-01-12 Netapp, Inc. Reducing reconstruct input/output operations in storage systems
US8209587B1 (en) 2007-04-12 2012-06-26 Netapp, Inc. System and method for eliminating zeroing of disk drives in RAID arrays
US8898536B2 (en) * 2007-04-27 2014-11-25 Netapp, Inc. Multi-core engine for detecting bit errors
US7840837B2 (en) * 2007-04-27 2010-11-23 Netapp, Inc. System and method for protecting memory during system initialization
US7836331B1 (en) 2007-05-15 2010-11-16 Netapp, Inc. System and method for protecting the contents of memory during error conditions
US7975102B1 (en) 2007-08-06 2011-07-05 Netapp, Inc. Technique to avoid cascaded hot spotting
US8020074B2 (en) * 2007-08-24 2011-09-13 Datadirect Networks, Inc. Method for auto-correction of errors in a RAID memory system
US8181089B1 (en) 2007-08-24 2012-05-15 Datadirect Networks, Inc. Method for auto-correction of errors in a solid-state memory system
US9158579B1 (en) 2008-11-10 2015-10-13 Netapp, Inc. System having operation queues corresponding to operation execution time
US8495417B2 (en) * 2009-01-09 2013-07-23 Netapp, Inc. System and method for redundancy-protected aggregates
US9830110B2 (en) * 2014-06-20 2017-11-28 Dell Products, Lp System and method to enable dynamic changes to virtual disk stripe element sizes on a storage controller

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3178909B2 (ja) * 1992-01-10 2001-06-25 株式会社東芝 半導体メモリ装置
US5724539A (en) * 1992-03-19 1998-03-03 Digital Equipment Corporation System for selectively storing stripes of data in tracks of disks so that sum of transfer rates of stripes match communication bandwidth to host
US5408644A (en) * 1992-06-05 1995-04-18 Compaq Computer Corporation Method and apparatus for improving the performance of partial stripe operations in a disk array subsystem
US5574851A (en) 1993-04-19 1996-11-12 At&T Global Information Solutions Company Method for performing on-line reconfiguration of a disk array concurrent with execution of disk I/O operations
US5619690A (en) * 1993-06-21 1997-04-08 Hitachi, Ltd. Computer system including a computer which requests an access to a logical address in a secondary storage system with specification of a local address in the secondary storage system
US5511227A (en) 1993-09-30 1996-04-23 Dell Usa, L.P. Method for configuring a composite drive for a disk drive array controller
JP3201219B2 (ja) * 1995-05-29 2001-08-20 三菱電機株式会社 入出力処理システム
US5657468A (en) 1995-08-17 1997-08-12 Ambex Technologies, Inc. Method and apparatus for improving performance in a reduntant array of independent disks
US5961652A (en) * 1995-10-13 1999-10-05 Compaq Computer Corporation Read checking for drive rebuild
US5809224A (en) * 1995-10-13 1998-09-15 Compaq Computer Corporation On-line disk array reconfiguration
US5765204A (en) * 1996-06-05 1998-06-09 International Business Machines Corporation Method and apparatus for adaptive localization of frequently accessed, randomly addressed data
US5950230A (en) * 1997-05-28 1999-09-07 International Business Machines Corporation RAID array configuration synchronization at power on
US6058455A (en) * 1997-07-02 2000-05-02 International Business Corporation RAID system having a selectable unattended mode of operation with conditional and hierarchical automatic re-configuration

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003085118A (ja) * 2001-09-13 2003-03-20 Fujitsu Ltd 周辺装置のパラメータ設定方法、及び、周辺装置
JP2005293594A (ja) * 2004-04-02 2005-10-20 Seagate Technology Llc 管理された信頼性記憶システムと方法
JP2008516307A (ja) * 2004-10-05 2008-05-15 インターナショナル・ビジネス・マシーンズ・コーポレーション ディスク・データ・ストレージ・システムについての保守料金を決定するためのオン・デマンドかつ非容量ベースの処理、装置、およびコンピュータ・プログラム
JP2008269338A (ja) * 2007-04-20 2008-11-06 Hitachi Ltd ストレージ装置及び管理単位設定方法
EP2645225A1 (en) 2012-03-30 2013-10-02 Fujitsu Limited Storage control apparatus, storage system, and storage control method
JP2013210846A (ja) * 2012-03-30 2013-10-10 Fujitsu Ltd ストレージ制御装置、ストレージシステムおよびストレージ制御方法
US9753803B2 (en) 2013-03-28 2017-09-05 Fujitsu Limited Storage system and information processing apparatus

Also Published As

Publication number Publication date
JP3616487B2 (ja) 2005-02-02
EP0918286A2 (en) 1999-05-26
EP0918286A3 (en) 2000-10-18
US6223300B1 (en) 2001-04-24

Similar Documents

Publication Publication Date Title
JP3616487B2 (ja) ディスクアレイ装置
JP6708929B2 (ja) ストレージ制御装置、ストレージシステムおよびストレージ制御プログラム
US7774540B2 (en) Storage system and method for opportunistic write-verify
US7831764B2 (en) Storage system having plural flash memory drives and method for controlling data storage
JP5121581B2 (ja) データ重複除外を用いた電力効率的なデータ記憶
US7353355B1 (en) System and method for rapid restoration of server from backup
US8904129B2 (en) Method and apparatus for backup and restore in a dynamic chunk allocation storage system
JP4646526B2 (ja) 記憶制御システム及び同システムの制御方法
US8423739B2 (en) Apparatus, system, and method for relocating logical array hot spots
US8839030B2 (en) Methods and structure for resuming background tasks in a clustered storage environment
EP0768599B1 (en) On-line disk array reconfiguration
US5737745A (en) Redundant array of disks with host notification process for improved storage and recovery speed
US6272571B1 (en) System for improving the performance of a disk storage device by reconfiguring a logical volume of data in response to the type of operations being performed
US20120110259A1 (en) Tiered data storage system with data management and method of operation thereof
KR101384438B1 (ko) 데이터를 사전 각색하는 방법 및 컴퓨터 판독가능 매체
US20090282191A1 (en) Operating Method for a Memory Subsystem and Devices for Executing the Operating Method
US20060155944A1 (en) System and method for data migration and shredding
US20090198748A1 (en) Apparatus, system, and method for relocating storage pool hot spots
US20020144069A1 (en) Backup processing method
JP2006072789A (ja) ストレージシステム及びストレージシステムのデータ管理装置
KR100317691B1 (ko) 로그 구조화 목표 저장장치를 사전에 구성하여 볼륨을 효율적으로 복사하는 방법 및 장치
WO2007009910A2 (en) Virtualisation engine and method, system, and computer program product for managing the storage of data
US20100094811A1 (en) Apparatus, System, and Method for Virtual Storage Access Method Volume Data Set Recovery
US20050033933A1 (en) Systems and methods for modifying disk drive firmware in a raid storage system
WO2012081058A1 (en) Storage subsystem and its logical unit processing method

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041105

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071112

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081112

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091112

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees