JPH09330184A - ディスクきょう体管理方式 - Google Patents
ディスクきょう体管理方式Info
- Publication number
- JPH09330184A JPH09330184A JP8150694A JP15069496A JPH09330184A JP H09330184 A JPH09330184 A JP H09330184A JP 8150694 A JP8150694 A JP 8150694A JP 15069496 A JP15069496 A JP 15069496A JP H09330184 A JPH09330184 A JP H09330184A
- Authority
- JP
- Japan
- Prior art keywords
- disk
- housing
- raid
- disk device
- management
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
ょう体との関連づけを自動化し、ディスク装置に対応し
たLED点灯を実現する。 【解決手段】ホスト1に搭載したRAID制御手段2に
きょう体管理手段203を設け、ディスクきょう体3に
きょう体管理手段を301とディスク抑止手段303を
設け、RAID制御手段2とディスクきょう体3とディ
スク装置302とのデータ転送のためのディスクI/F
バス4とはきょう体管理バス5で接続し、ディスク抑止
手段303でディスクきょう体3内のディスク装置を部
分的に抑止しながら搭載しているディスク装置を特定し
その固有なIDをディスクきょう体3に登録することで
以降その固有IDでディスク装置毎のLEDを点灯制御
する。
Description
ディスクアレイシステムを備えた計算機システムの複数
のディスク装置とその格納きょう体の管理方法の技術に
関する。
高信頼化を実現する技術としてRAID(Redundant
Arrays of Inexpensive Disks)が知られている。R
AIDは複数のディスク装置を接続し、データのほかに
パリティと呼ぶ冗長データを複数のディスク装置のうち
の1台、もしくは、全ディスク装置に分散させて格納
し、万一、1台のディスク装置が故障してもこのパリテ
ィと他の正常なディスク装置に格納するデータから故障
したディスク装置の格納していたデータを復元すること
ができ、高性能化を実現する。また、複数のディスク装
置を並列に動作させることができるので、単体のディス
ク装置に比べ最大、ディスク台数倍の高性能化を実現す
る。
に格納したり、ホスト計算機とは別のディスクきょう体
に格納したりする。パーソナルコンピュータ(以下PC
と呼ぶ)や、ワークステーション(以下WSと呼ぶ)等
の小型計算機にRAIDを搭載する場合、ディスク装置
が5台など少ない場合にはホストきょう体に格納するこ
とが多いが、それ以上のディスク台数になると専用のデ
ィスクきょう体が用いられることが多い。特に、計算機
の高性能化による処理能力の向上にともなうデータ増
大、クライアント−サーバシステム(以下CSSと呼
ぶ)の普及によるサーバへのデータ一極集中、さらに、
動画像等マルティメディアデータの使用のようにRAI
Dに格納するデータ量は飛躍的に増加している。その結
果、RAIDのディスク装置台数は年々多数になってお
り、これらを格納するディスクきょう体も必然的に複数
台が必要になってくる。
るにあたり、ホスト計算機やRAID装置の電源を切ら
ずに交換する活線挿抜を行うことが多く、この場合、デ
ィスクきょう体には、故障したディスク装置はどれか、
また、RAIDとして組み込まれているディスク装置は
どれかなどをユーザに視角的に知らせるためのLED等
の表示手段や、ユーザにより故障ディスク装置が抜か
れ、新しいディスク装置が挿入されたことを検出するた
めの手段を設ける。また、ディスクきょう体の故障はR
AIDシステムそのものの停止につながるので、これを
避けるため、きょう体内部の電源や冷却用のFANなど
が故障したことを検出する手段や、きょう体内部の温度
を監視する手段等を設ける。本発明ではこれらの表示手
段、各検出/管理手段を総称して「ディスクきょう体管
理手段」と呼ぶことにする。
して、米CONNER社が発行する「SCSI Acc
essed Fault−Tolerant(SAF−
TE)Enclosures White Pape
r」がある。同技術は、ディスクきょう体中のディスク
きょう体管理手段を一つのSCSIデバイスとして実現
したものである。このSAF−TEは、故障したディス
ク装置をしめすLEDや、きょう体内部のFAN、電源
の故障を検出することができ、ホストからのSCSIコ
マンドによる要求に応じLEDの点灯/消灯制御や、F
AN/電源の状態を通知することができる。
スクきょう体管理手段をSCSIの一つのデバイスとし
て実現しているのでSCSI型ディスク装置を用いてR
AIDを構築する際にはRAIDの制御を行う手段とデ
ィスクきょう体のインターフェース(以下I/Fと略
記)に特別な専用配線が不要になるという効果がある。
でその制御には専用のI/Fコントローラとプロトコル
解析用のプロセッサが必要であり高価なシステムになっ
てしまうという問題がある。さらに、回路の価格のみな
らずそのプロセッサ用のプログラムも規模が大きく、開
発工数も大きく、その結果高価格なシステムになってし
まうという問題がある。
Iを接続した場合、1台のディスクきょう体を管理する
ためにSCSI本数分の管理プロセッサが必要になり、
コストが大幅にあがるという問題がある。
ょう体にまたがって接続するような場合、SCSIから
は故障したディスク装置が複数のきょう体のうちどちら
にあるか認識できないので、ディスク装置の故障を知ら
せるLEDを対象きょう体において正確に点灯すること
ができないという問題がある。
する複数本のSCSIケーブルを正しく接続しないと、
間違って正常なディスク装置に対応する故障通知用LE
Dを点灯させてしまい、その表示をもとにユーザがディ
スクを交換すると、正常なディスク装置を抜き去ってし
まいその結果データを喪失してしまうという問題があ
る。
スク装置をもちいたRAIDシステムには適用できない
という問題がある。
数台のディスクきょう体に搭載してRAIDシステムを
構築する際に、1台のディスクきょう体に複数のディス
クI/Fを接続したり、1本のディスクI/Fを複数の
ディスクきょう体に接続したりするような様々な構成を
自由にとりながら、適切なきょう体管理、LED設定を
実現する方法を提供することである。
のディスクきょう体のどの位置にでも搭載でき、どのよ
うな場所にあるディスク装置をもってしてもRAIDを
構築できるような、自由度が高く、ユーザにとって負担
の少ないRAIDを構成するディスク装置の管理の方法
を提供することである。
きょう体を管理する方法を提供することである。
/Fに対応した汎用性の高いディスクきょう体を管理す
る方法を提供することである。
めに、本発明のホスト計算機に、RAID制御手段と、
RAID制御プログラムを設け、上記RAID制御手段
にはきょう体管理バスを制御するきょう体管理バス制御
手段を設ける。また、ホスト計算機とディスクきょう体
との間にあるきょう体管理バスを設ける。また、ディス
ク装置には上記RAID制御プログラムが決定するディ
スク装置固有なID番号を登録する手段を設ける。ま
た、ディスクきょう体には、きょう体内部の様々な故障
監視や、ディスク挿抜検出や、故障等の表示用LED
(表示手段)を制御し、かつきょう体管理バスを経由し
ホスト計算機との間でデータ通信を行うきょう体管理手
段と、ディスク装置の動作を抑止するディスク抑止手段
と、きょう体に格納されているディスク装置が有する固
有のID番号を登録しておくID登録手段とを設ける。
ディスクI/Fをもち、RAIDを構築する多数のディ
スク装置とのデータ転送を行う。また、RAID制御手
段に設けたきょう体バス制御手段はRAID制御プログ
ラムの指令に従い、きょう体管理バスを通じて、ディス
クきょう体のきょう体管理手段にコマンドを送信し、き
ょう体管理データの送受信を行う。ディスクきょう体の
きょう体管理手段は受信したコマンドに応答し、様々な
きょう体の管理情報(電源、FAN、温度、ディスクの
挿抜検出、等)をホストに送信する。さらにきょう体管
理手段は、きょう体内部で発生した故障をホストに知ら
せるため割り込みを発行し、ホストに通知する。以上の
ようにRAID制御手段(RAID制御プログラム)と
ディスクきょう体は相互に通信を行いきょう体の管理を
行うことができる。
装置に設定した固有ID番号は、ディスクI/F番号や
ディスクきょう体番号やきょう体への格納場所等の位置
情報や、ディスクきょう体のディスク本数やディスクI
/Fが何台のディスクきょう体にまたがっているか等の
構成情報にも依存せず一意にディスク装置を特定する。
ディスク抑止手段は選択的にディスク装置を有効/無効
に制御することができる。RAID制御プログラムは各
ディスク筐体毎にディスク装置を抑止しながら一本ずつ
ディスクI/F上のディスク装置を検査し、各ディスク
筐体が搭載しているディスク装置の有無を特定し、その
固有ID番号を獲得する。さらにRAID制御プログラ
ムは上記きょう体管理バスのコマンドによりディスクき
ょう体に格納するディスク装置の固有IDをID登録手
段に格納する。きょう体管理手段はホストから固有ID
番号を指定されると、ID登録手段を参照することでそ
のディスクきょう体が当該ディスク装置を格納している
か否かを特定することができる。RAID制御プログラ
ムはディスク筐体の固有ID番号を登録したあとは、デ
ィスク装置の故障LEDや、ディスク装置がRAIDの
一部であることを示すLEDを、ディスク装置の位置や
接続形態を一切考慮することなく点灯制御する事ができ
る。
ディスク装置を固有IDでホストに通知するので、同じ
くディスク装置の位置や接続形態を一切考慮することな
く正しくディスク装置の抜去を検出できる。
を一切考慮する必要がなく、また、構成を自由に帰るこ
とができるのでRAIDを構成し、運用する際の自由度
が大幅に広がる。
スク台数、ディスクI/F構成を取っていても各ディス
クきょう体に唯一つのみしか存在せず、また、きょう体
管理に特化した専用の簡単な処理を行うのでその回路規
模は小さく、プログラムも簡単なので、安価なシステム
を構築できる。
理専用のI/Fを用いるので、ディスクI/Fには全く
依存しない汎用性の高いディスクきょう体を管理する方
法が提供できる。
る。はじめに構成を説明する。図1は本発明の第一実施
例のシステム構成図である。
に格納したRAID制御手段、3はディスクを格納する
ディスクきょう体であり、この図ではディスクきょう体
3a,3bの2台がホスト計算機1に接続している。4
はディスクインタフェースバス(以下ディスクI/Fバ
スと略記する)であり、ディスクきょう体3とRAID
制御手段2とを接続し、コマンド、データの授受に使用
する。この図ではRAID制御手段2と2個のディスク
きょう体3a,3bとは各々別々のディスクI/Fバス
4a,4bで接続している。5はきょう体管理バスであ
り、ディスクきょう体3とRAID制御手段2とを接続
し、ディスクきょう体の管理情報の授受に使用する。こ
の図ではRAID制御手段2と2個のディスクきょう体
3a,3bは同一のきょう体管理バス5で接続してい
る。
ocessing Unit)101とメインメモリ102を備えこ
れらはローカルバス105で接続している。また、I/
O(Input/Output)転送を司るシステムバス104
を備え、ローカルバス105とシステムバス制御手段1
03により接続している。
ト計算機に格納する拡張ボード型であり、システムバス
104に接続する。本実施例のRAID制御手段2はR
AIDの管理、制御のためのプロセッサを持たず、ホス
ト計算機1のCPU101でRAID制御プログラム1
000を実行することでRAID管理、制御を実現して
いる。同プログラム1000はOS(Operating Syst
em)がシステム管理を行う構造のPC/WSではデバイ
スドライバとよばれるOSの一部分として実現する。R
AID制御手段2内部には専用の内部バス204があ
り、この内部バス204にディスクI/Fバス制御手段
202ときょう体管理バス制御手段203が接続し、シ
ステムバスI/F手段201を介しシステムバス104
と接続する。この図では2個のディスクI/Fバス制御
手段202a,202bを実装している。
ィスク装置302を搭載する。この図では5台のディス
ク装置302aから302eを搭載している。これらの
ディスク装置302はディスクI/Fバス4によりRA
ID制御手段2のディスクI/Fバス制御手段202に
接続し、ディスクI/Fバス制御手段202から発行さ
れるディスクコマンドにより制御される。ディスクきょ
う体3はきょう体管理手段301を搭載する。308は
多重化した電源、309は多重化した空冷用のFANで
あり、電源異常監視手段304およびFAN異常監視手
段305が電源、FANの異常を監視し、異常検出時に
はきょう体管理手段301に通知する。
きょう体内部の温度を監視し、異常検出時にはきょう体
管理手段301に通知する。307は表示手段であり、
故障したディスク装置302を識別できるようにした
り、RAIDを構築するために使用されているディスク
装置を識別できるようにしたり、ディスク装置の故障に
より失ったデータを再現している途中であることを識別
できるようにしたり、電源や、FANや、温度等、ディ
スクきょう体3内部に異常が発生していることを識別で
きるようにするもので、LED等の素子により実現し、
きょう体管理手段301が表示手段307を制御する。
311はディスク挿抜検出手段であり、故障したディス
ク装置の抜き取りや新規ディスク装置の挿入を検出しき
ょう体管理手段301に通知する。303はディスク抑
止手段であり、きょう体管理手段301から制御されデ
ィスク装置302に動作を抑止する。310は固有ID
登録手段であり、ディスクきょう体3が格納するディス
ク装置302が保持する固有ID3020を登録する。
なお、ディスク装置302の保持する固有IDはディス
ク装置固有の値であり、RAID制御手段2が設定す
る。
る。きょう体管理バス4はきょう体管理バス制御手段2
03により制御され、同バス4に各ディスクきょう体3
のきょう体管理手段301が接続している。501はき
ょう体制御のためのコマンドや制御対象を特定するID
やきょう体の異常情報等のデータを転送するためのデー
タ信号Data、502はきょう体管理バス制御手段2
03ときょう体管理手段301間のデータの転送方向を
制御するアウトプットイネーブル信号Outen、50
3はData501上のコマンド、ID、データをラッ
チするタイミングを指定するラッチイネーブル信号La
ten、504はきょう体管理手段301からきょう体
管理バス制御手段203に対して非同期イベントが発生
したことを通知する割り込み信号Int、505はきょ
う体管理バス制御手段203がいずれか一台のディスク
きょう体3を選択するためのきょう体選択信号Boxs
elである。なお、Data501は双方向な複数のビ
ット幅で構成される共有信号である。Boxsel50
5はきょう体管理バス制御手段203からきょう体管理
手段301への片方向単線非共有信号できょう体台数本
必要である。この図ではディスクきょう体が2台あるの
で、Boxsel_a,Boxsel_bの2本が必要
である。その他の信号は、Outen502がきょう体
管理バス制御手段203からきょう体管理手段301へ
の片方向単線共有信号、Laten503が双方向単線
共有信号、Intがきょう体管理手段301からきょう
体管理バス制御手段203への片方向単線共有信号であ
る。
法 ディスクきょう体3とホスト1(すなわちRAID制御
プログラム1000)が通信をする方法には大きく分け
て次の2種類がある。
マンドの発行(以下、コマンド処理と呼ぶ) 表示手段の制御要求、ディスクきょう体のレスポンス要
求、ディスクきょう体の持つ情報の送信要求、ディスク
装置の抑止要求、等のコマンドをホストが発行し、ディ
スクきょう体がそのコマンドを処理する。
り込みの発行(以下、割り込み処理と呼ぶ) ディスクきょう体からホストに対し通知したいことがあ
る場合に、ディスクきょう体がホストに対し割り込みを
発行。ホストは必要な情報を獲得するため(1)のコマ
ンドを発行し情報を獲得する。電源異常検出、FAN異
常検出、温度異常検出、ディスク装置挿抜検出により割
り込みを発行する。
て説明する。表1に本発明のコマンド例を一覧に示す。
0はディスクきょう体3に対してコマンドを発行する
際、RAID制御手段2内のきょう体管理バス制御手段
に、ディスクきょう体番号と、対象装置/手段のID
(ディスク装置の固有ID、電源番号、FAN番号、き
ょう体チャネル番号、等)と、Dataを設定し、コマ
ンドを設定することでコマンド発行制御が開始する。こ
こで、きょう体チャネル番号とは、1台のディスクきょ
う体がディスクI/Fバスを複数本保持する場合に、そ
のホストがディスクI/Fバスを管理するためにつけた
番号とは別に、ディスクきょう体自体がそのバスに番号
をつけて管理することができるように設けるものであ
る。これは、ディスクきょう体はホストがつけたディス
クI/Fバスの番号を知る必要がないためであり、単に
複数あるうちのいずれかを特定できればよいということ
である。また、表1のコマンド一覧に示す「応答きょう
体」欄の「全きょう体」のコマンドはきょう体番号をす
べて指定して発行してもよいし、全く指定せず同コマン
ドを発行した際にはすべてのディスクきょう体が応答す
るように構成してもよい。ここでは前者の方法で全ディ
スクきょう体を指定することとして説明を続ける。
きょう体3の番号に対応したBoxsel信号505が
アクティブになり、対応するきょう体管理手段301が
選択される。そして図3に示すように、きょう体管理バ
ス5には、コマンド、IDが順次あらわれ、次にデータ
が送受信される。もし、きょう体管理バス制御手段20
3(すなわちホスト1)がコマンド、ID、データを送
信する際にはきょう体管理バス5のOuten502を
アクティブ(L)にし、データの有効区間を示すLat
enをアクティブ(L)にする。また、データを受信す
る際にはきょう体管理バス制御手段203はOuten
をディスエーブル(H)にし、きょう体管理手段301
(すなわちディスクきょう体3)がデータとLaten
503をアクティブにする。この間Intはディスエー
ブル(H)である。ここで、本明細書では値を特に指定
しないが、Data501のビット数、および、コマン
ド、ID、データの送受信数は設計に応じて自由に選べ
る。すなわち、コマンドの数、ディスク装置の固有ID
のビット数、送受信したいデータの量に依存した値を選
択すればよい。
明する。ディスクきょう体3は、きょう体内部の異常
等、ホスト1に通知したい事項があるとき、きょう体管
理バス5のInt信号504をアクティブにする。きょ
う体管理バス制御手段203はこれを受信し、CPU1
に割り込みを発行し、RAID制御プログラム1000
はこれを認識する。同プログラム1000は、上記
(1)コマンド処理の手順でディスクきょう体ステータ
ス要求コマンドを全ディスクきょう体3に対して発行す
る。Int信号を送出したディスクきょう体は割り込み
要因を特定するための「割り込みステータス」データを
送信し、このデータの送信とともにInt信号504を
Disableにする。またInt信号504を送信し
ていないディスクきょう体は「割り込み未発行ステータ
ス」データを送信する。また、複数のディスクきょう体
がほぼ同時に割り込みを発行した際には、RAID制御
プログラム1000は順次割り込み処理を行う。割り込
みステータスを送信するまではInt信号504をアク
ティブに維持するように構成する必要がある。以上によ
りRAID制御プログラム1000は割り込みを発行し
たディスクきょう体3とその要因を特定する事ができ、
電源、FAN、温度、各ステータス要求コマンド、もし
くは挿抜ディスク固有ID送信要求コマンドを発行する
ことでさらに詳細な処理を行うことができる。
複数台のディスクきょう体3との通信の方法の説明を終
わる。
スクきょう体との関連づけの方法 多数のディスク装置を用いRAIDを構築する場合、必
然的に複数台のディスクきょう体を用いることになる
が、この際、RAIDの使用者がディスク装置の格納位
置(ディスクきょう体の物理位置、ディスクきょう体の
番号、ディスクきょう体への搭載位置)や、ディスク装
置のIDを知らなくてはならないのは非常に不便である
とともに、万一、搭載位置を間違えたことによりデータ
を喪失してしまう危険もある。また、ディスク台数が多
くなると構成するRAIDも1系統だけではなく複数系
統をもたせ、その1系統枚にディスク装置の台数や、R
AIDレベルや、ストライプと呼ぶデータの分配単位を
変えるようにできるとべんりである。その際にもディス
ク装置やディスクきょう体の番号や位置を特定するのは
困難になる。
ク装置の番号や位置を使用者が認識せずにRAIDを使
用するようにすることは、データの安全性の向上、およ
び使い勝手の向上の両面において非常に重要であり、こ
れが本発明の主目的である。
なくディスク装置とディスクきょう体を関連づけ、RA
IDプログラムが複数台のRAIDきょう体を含めたす
べてのRAID構成を管理する方法を提供する。
ディスク装置等を示すLED(表示手段)307を如何
にして制御するかということである。すなわち、ディス
ク装置はディスクI/Fバス番号と、そのバス上でのデ
バイス番号で特定できるが、各ディスク装置に対応する
LEDはディスクI/Fバス4とは別のきょう体管理バ
ス5経由で制御するため、このディスクI/Fバス番号
とデバイス番号による特定方法を使用することはできな
い。そこで、新たな方法が必要になる。
設ける。これはこれまでの説明で「固有ID」として述
べてきたものである。RAID制御プログラム1000
は、RAIDを構成するために使用するディスク装置す
べてにRAIDの系統を示す番号とディスク装置固有の
ID3020を登録する。RAIDを構成するディスク
装置であれば必ず少なくとも一台の他のディスク装置と
同一のRAID系統番号とディスク装置固有の固有ID
を有する。このようなディスク装置をRAID構築ディ
スクと呼ぶ。もし、固有IDを持たないディスクが存在
すればそのディスクは新規に搭載されたディスク装置で
あることを示す。また、固有IDは有するがディスク装
置に登録されたRAID系統番号が存在しないディスク
装置は、以前、異なるRAIDで使用されたディスク装
置であり、デー内容は全く無効であることを示す。これ
ら両者のディスク装置をOLDディスクと呼ぶことにす
る。OLDディスク装置を検出したらRAIDプログラ
ム1000はRAID系統番号を初期化し、適当な固有
IDを割り当てる。この固有IDは有するがRAID系
統番号を有さないディスク装置をSPAREディスクと
呼ぶ。すなわち、以降、あるRAIDを構築するディス
ク装置が一台故障した際にデータを復元するための予備
として使用できるディスク装置である。この時にはRA
IDの系統番号を与えRAID構築ディスクとして使用
する。
述べないが、その方法例として、固有IDを設定した日
時と使用者による任意値もしくは登録に使用したホスト
のネットワークアドレスやシリアル番号等を組み合わせ
て利用する方法が考えられる。これにより完全な一意性
が保証される固有IDを設定できる。また、必ずしも厳
密な一意性を気にする必要がない場合もあり得るので、
このときにはRAIDプログラムが乱数や日時データ等
を利用して任意値を与えてもよい。前記の方法ではある
程度のビット数が必要であり、このビット数を少なくし
たいときには後述の方法で近似的な固有ID値を利用す
ればよい。
スク装置を特定するLEDを制御するために上記のディ
スク装置の固有IDをディスクきょう体に登録する方法
を提供する。
置のデバイス番号とその位置を特定できている場合を説
明する。ディスクきょう体がディスクのデバイス番号と
その位置を特定できない場合の方法は後述する。たとえ
ば、ディスク装置を搭載するとそのデバイス番号が決定
するように構成することができる。ディスクI/Fバス
としてSCSIバスを用いた場合、SCSI IDデバ
イス番号になるが、搭載位置により一意にSCSI I
Dをディスク装置に設定することが可能である。この場
合、ディスクきょう体は一意にデバイス番号とその位置
を特定できることになる(ただし依然ディスクI/Fバ
ス番号は特定できない)。ディスクI/FバスがIDE
バスの場合はディスク装置毎に選択信号があるので、こ
れによりデバイス番号と位置を特定できる。別の方法と
して、ディスクきょう体がディスク装置からデバイス番
号を取り出す方法もある。この場合にはディスク装置に
デバイス番号を送出するような手段を設ける必要があ
る。
ディスクI/Fバス4の本数を知っているものとする。
これはRAID制御手段にとうさいするディスクI/F
バス制御手段202の数そのものであるので容易に獲得
できる。
する方法のフローチャートを示す。ここで、ディスクき
ょう体に接続しているディスクI/Fバスの数とその番
号を区別するため、単に数を示すときはきょう体チャネ
ル番号と言葉を変えて表現する。
う体3のすべてのきょう体チャネルに接続するディスク
装置を動作できないように、RAIDプログラム100
0はきょう体チャネルDisable要求コマンドを発
行する(2002)。ディスクきょう体3のきょう体管
理手段301は同コマンドを受信するとディスク抑止手
段303を制御し、対象きょう体チャネルに接続する全
ディスク装置の動作を抑止する。次に上記プログラム1
000はディスクきょう体(図中Boxと略記)。番号
=i(=0)を選択する(2003)。このBox=i
に対しディスクきょう体レスポンス要求コマンドを発行
する(2004)。もし適切な応答があればBox=i
のディスクきょう体は接続されていることになる(20
05)。もし応答がなければi++とし、次のディスク
きょう体番号を調査する(2020)。応答があった場
合、プログラム1000はきょう体(Box)チャネル
数要求コマンドを発行しその値を獲得する(200
6)。ついで上記プログラム1000はきょう体(Bo
x)チャネル=n(=0)を選択し、このチャネル=n
に対しきょう体チャネルEnable要求コマンドを発
行する(2007)。これにより選択されたディスクき
ょう体=iのチャネル=nのディスク装置を動作可能に
なるようにきょう体管理手段301はディスク抑止手段
303を制御する。次に上記プログラムはディスクI/
Fバス=j上のすべてのディスク装置=kの存在と固有
ID3020の有無を調査する(2008〜201
4)。もしディスク装置=kからの応答があり、かつ固
有ID3020が登録されていればそのディスク装置は
RAID構築ディスクである。もしくはOLDディス
ク、もしくはSPAREディスクである。そこでこの固
有IDをディスクきょう体に登録するため、固有ID登
録要求コマンドを発行しディスクきょう体=iにディス
ク装置のデバイス番号とともに固有IDを送信する(2
012)。ディスクきょう体=iのきょう体管理手段3
01はこれを受信し、選択されているきょう体(Bo
x)チャネル=nのデバイス番号と関連づけてID登録
手段310にこの固有IDを登録する。もし、ディスク
装置がOLDもしくはSPAREであり、固有IDが変
更された際にはそれに同期させてディスクきょう体に登
録した固有IDも一旦削除し、新規の固有IDを登録す
る(図示せず)。
う体(Box)チャネル毎に繰り返すことにより(20
17〜2021)、各ディスクきょう体3のID登録手
段310には搭載しているディスク装置302の固有I
D3020がディスクきょう体チャネル番号とデバイス
番号に関連づけられながら登録されることになる。
のきょう体(Box)チャネルに接続されたディスク装
置をEnableにする(2022)。
とディスクきょう体との関連づけが終了する。
な実現例を説明する。ディスク装置の動作を抑止するに
は様々な方法がある。第一の実現方法は、ディスク装置
にResetを入力する方法である。たとえばディスク
装置がSCSI接続型の場合、SCSIバスにはRes
et信号があるので、各ディスク装置にReset信号
を入力することでこの間ディスク装置は動作する事がで
きない。
る方法である。ディスクI/Fバスのディスクきょう体
での接続口にバッファ回路を設け、このバッファをEn
able/Disable制御すればよい。
遮断する方法である。ディスク装置への電源線を電気的
にOn/Offするスイッチを設け、これを制御する。
類、ディスクI/Fバスの種類、ディスク装置の初期化
時間等の考慮の上、最適な方法を選択すればよい。
のデバイス番号とその位置を特定できない場合には上記
の方法を拡張して容易に構成することができる。すなわ
ち、上記の方法ではきょう体チャネル毎にディスク装置
の動作を抑止したが、これをディスク装置のデバイス番
号毎にディスク装置を抑止するように変更すればよい。
ただし、この方法では1台のディスク装置を抑止した状
態ですべての存在しうるディスクきょう体に対しすべて
のディスクI/Fバス毎にすべての存在しうるディスク
装置台数回の調査を実施する必要があり時間がかかるの
で、システム中のディスクきょう体台数、ディスク装置
台数により上記の方法との選択が必要になる。
手段)の制御方法 次にディスク装置を特定するLED等の表示手段の制御
方法を示す。2.により各ディスクきょう体は搭載する
ディスク装置の固有IDを登録しているので固有IDを
指定してすべてのディスクきょう体を一度に指定して一
度だけLED制御要求コマンドを発行すればその固有I
Dを保持しているディスクきょう体がそのディスク装置
を格納している位置にあるLEDを点灯、消灯、点滅の
制御を行うことができる。
明すると、まず、全Boxsel信号505をアクティ
ブにし、ついでLED制御コマンドを送信し、ついでデ
ィスク装置の固有IDを送信し、最後にFailure
LEDなのかOnlineLEDなのか、そして点灯な
のか消灯なのか点滅なのかを示すデータを送信する。D
ata信号501のビット幅に応じて、コマンド、固有
ID、データは何度かに分けて送信する必要があるかも
しれない。これは設計に依存するのでこれ以上は説明し
ないが容易に実現可能である。
ば、ディスクI/Fバスの本数やディスクきょう体やデ
ィスク装置の台数、およびその物理的位置をいっさい気
にすることなく希望する台数、構成によりRAIDを構
築することができるという効果がある。
の位置をRAID制御プログラムが認識することができ
るので誤接続による謝ったディスク装置の交換によるデ
ータ喪失等の危険を一切なくすことができ安全性が向上
するという効果がある。
した際にディスクきょう体番号やディスク装置の位置に
関わらず正確に故障したディスク装置に対応するLED
を点灯する事ができ、誤点灯による謝ったディスク装置
の交換によるデータ喪失等の危険を一切なくすことがで
き安全性が向上するという効果がある。
ディスクI/Fバスの接続自由度が増すので、価格や必
要な性能に応じて自由に構成を選ぶことができるという
効果がある。
の管理専用にディスクI/Fバスのデバイスを設ける必
要がないので安価にディスクきょう体管理機能を構築で
きるという効果がある。
実施例のディスク抑止手段303の代わりに、ディスク
装置の動作をモニタするディスクモニタ手段311を設
ける。
ャネル番号とディスクI/Fバス番号の関連づけであ
る。あるディスクI/Fバス番号を指定しディスクきょ
う体に通知する。その後に、そのバス上のディスク装置
をアクセスする。もし、そのアクセスしたディスク装置
があるディスクきょう体に存在するならばディスクモニ
タ手段311はこれを検出し、そのディスクI/Fバス
番号を特定することができる。きょう体管理手段301
はID登録手段310にディスクI/Fバス番号と、デ
ィスク装置のデバイス番号を登録しておく。LEDを点
灯する際には、RAID制御プログラム1000はディ
スクI/Fバス番号とディスク装置のデバイス番号を直
接指定することでLEDの制御を行うことができる。
ディスクきょう体番号をRAID制御プログラムは特定
している必要がなく、すべてのディスクきょう体を一度
に選択すればよい。
IDとの関連づけをディスクきょう体に施すこともでき
る。調査のためのディスクアクセスの際に固有IDをリ
ードするようにし、固有IDを発見したらそのIDを第
一実施例同様ディスクきょう体に送信すればよい。ディ
スクきょう体はディスクI/Fバス番号とディスク装置
のデバイス番号を認識しているので、それに対応つけて
固有IDをID登録手段310に登録する。
のみを指定することでLEDの点灯制御を行うことがで
きる。
同様の効果を得ることができる。
で実行するRAID制御プログラムにて行うことを前提
にして説明したが、もちろんそのほかの構成においても
実現可能である。たとえば、RAID制御手段2の上に
専用のプロセッサが搭載した構成の場合、その上で実施
例同様にRAID制御プログラムを動作させることがで
きる。
格納されている場合を実施例では説明したが、RAID
制御手段がホストの外部にあり、両者がバスで接続され
ているような場合にも、このRAID制御手段には専用
のプロセッサが搭載されるので、その上で実施例同様に
RAID制御プログラムを動作させることができる。
ても本発明は適用可能である。
のバスとして説明したが、これはシリアルケーブルでも
かまわない。この場合、図3に示すコマンド、ID、デ
ータは一つのパケットとしてまとめられる。きょう体管
理バス制御手段203およびきょう体管理手段301に
パラレル−シリアル変換手段、およびシリアル−パラレ
ル変換手段を設ければ後は全く同一の構成で本発明を実
現できる。
本数やディスクきょう体やディスク装置の台数、および
その物理的位置をいっさい気にすることなく希望する台
数、構成によりRAIDを構築することができるという
効果がある。
の位置をRAID制御プログラムが認識することができ
るので誤接続による謝ったディスク装置の交換によるデ
ータ喪失等の危険を一切なくすことができ安全性が向上
するという効果がある。
した際にディスクきょう体番号やディスク装置の位置に
関わらず正確に故障したディスク装置に対応するLED
を点灯する事ができ、誤点灯による謝ったディスク装置
の交換によるデータ喪失等の危険を一切なくすことがで
き安全性が向上するという効果がある。
ディスクI/Fバスの接続自由度が増すので、価格や必
要な性能に応じて自由に構成を選ぶことができるという
効果がある。
の管理専用にディスクI/Fバスのデバイスを設ける必
要がないので安価にディスクきょう体管理機構を構築で
きるという効果がある。
図。
の接続形態のブロック図。
図。
Claims (18)
- 【請求項1】ホスト計算機がRAID制御手段とRAI
D制御プログラムを備え、1台もしくは複数台のディス
ク筐体に複数台のディスク装置を格納し、上記ホスト計
算機と上記1台もしくは複数のディスク筐体間をディス
クとのデータ転送を行うディスクI/Fと、筐体制御/
管理データを転送する筐体管理バスの2種類のバスで接
続した計算機システムにおいて、 上記ディスク装置に、固有なIDを格納する手段を設
け、上記ホスト計算機の上記RAID制御手段に、筐体
管理バスを制御する筐体管理バス制御手段と、RAID
制御プログラムに上記ディスク装置に固有なIDを登録
する手段を設け、上記ディスク筐体に、きょう体内部の
様々な故障監視や、ディスク装置の挿抜検出や、故障等
の表示手段を制御し、上記きょう体管理バスを経由しホ
スト計算機との間でデータ通信を行うきょう体管理手段
と、上記ディスク装置の動作を抑止するディスク抑止手
段と、上記ディスク筐体に格納されている上記ディスク
装置の保持する固有なIDを格納するID登録手段とを
設けたことを特徴とする計算機システム。 - 【請求項2】請求項1において、上記RAID制御プロ
グラムは上記1台もしくは複数台のディスク筐体のうち
の一台を選択し、選択したディスク筐体のあるディスク
I/Fに接続する複数のディスク装置を選択的に有効化
するようディスク筐体の筐体管理手段を制御し、有効化
したディスク装置から固有IDをリードし、その固有I
Dを上記ディスク筐体の上記ID登録手段に登録するこ
とをすべてのディスク筐体とディスクI/Fの組み合わ
せに対して実行するディスク筐体の関連づけ管理の方
法。 - 【請求項3】請求項1において、上記筐体管理手段は、
上記RAID制御手段およびRAID制御プログラムか
らの要求に基づき、ディスク抑止手段を制御し、当該デ
ィスク筐体が接続しているディスクI/Fもしくはその
I/Fに接続しているディスク装置を選択的に有効化
し、上記RAID制御手段およびRAID制御プログラ
ムからの要求に基づき、送信されてきたディスク装置の
固有IDを上記ID登録手段に登録し、上記手段に格納
した固有IDをもつディスク装置の表示手段を表示する
ように上記RAID制御手段およびRAID制御プログ
ラムから要求された際には対応する表示手段を点灯制御
するように構成した筐体管理手段。 - 【請求項4】請求項1に記載の上記ディスク装置が格納
する固有IDはディスク装置に製造時に設定した価を使
用する計算機システム。 - 【請求項5】請求項1,2または3に記載の上記ディス
ク筐体の上記ディスク抑止手段は、上記ディスク筐体の
ディスクI/Fの接続部にバッファ回路をディスクI/
Fを分断するよう構成し、さらに上記筐体管理手段から
有効/無効信号でバッファをスルーにしたり切断したり
制御できるように構成し、この構成によりホスト計算機
からのディスク装置へのアクセスを抑止したり有効化し
たりできるように構成したディスク抑止手段。 - 【請求項6】請求項1,2または3に記載の上記ディス
ク筐体の上記ディスク抑止手段は、各ディスク装置への
電源ラインを分断するようなスイッチで構成し、上記筐
体管理手段から有効/無効信号でスイッチをオンにした
りオフにしたり制御できるように構成したディスク抑止
手段および同手段を搭載したディスク筐体。 - 【請求項7】請求項1,2または3に記載の上記ディス
ク筐体の上記ディスク抑止手段は、各ディスク装置にリ
セット信号を供給できるように構成し、上記筐体管理手
段からリセット供給有効信号でリセット信号を供給した
り遮断したり制御できるように構成したディスク抑止手
段および同手段を搭載したディスク筐体。 - 【請求項8】ホスト計算機がRAID制御手段とRAI
D制御プログラムを備え、1台もしくは複数台のディス
ク筐体に複数台のディスク装置を格納し、ホスト計算機
と上記1台もしくは複数のディスク筐体間をディスクと
のデータ転送を行うディスクI/Fと、別の筐体制御/
管理データを転送する筐体管理バスの2種類のバスで接
続した計算機システムにおいて、上記ディスク装置に、
固有なIDを格納する手段を設け、上記ホスト計算機の
RAID制御手段に、筐体管理バスを制御する筐体管理
バス制御手段と、RAID制御プログラムに上記ディス
ク装置に固有なIDを登録する手段を設け、上記ディス
ク筐体に、きょう体内部の様々な故障監視や、ディスク
装置の挿抜検出や、故障等の表示手段を制御し、かつ上
記きょう体管理バスを経由しホスト計算機との間でデー
タ通信を行うきょう体管理手段と、上記ディスク装置の
動作をモニタするディスクモニタ手段と、上記ディスク
筐体に格納されているディスク装置の保持する固有なI
Dを格納するID登録手段とを設けたことを特徴とする
計算機システム。 - 【請求項9】請求項8において、上記RAID制御プロ
グラムは上記1台もしくは複数台のディスク筐体のうち
の一台を選択し、あるディスクI/Fを選択したことを
筐体管理手段に通知し、選択したディスクI/Fに接続
したディスク装置から固有IDをリードし、その固有I
Dを上記ディスク筐体の上記ID登録手段に登録するこ
とをすべてのディスク筐体とディスクI/Fの組み合わ
せに対して実行するRAID制御プログラムのディスク
I/Fとディスク装置とディスク筐体の関連づけ管理の
方法。 - 【請求項10】請求項8において、上記筐体管理手段
は、上記RAID制御手段およびRAID制御プログラ
ムからの要求に基づき、ディスクモニタ手段を制御し、
上記ディスク筐体が接続しているディスクI/Fもしく
はそのI/Fに接続しているディスク装置がアクセスさ
れたかどうかを検査しその結果をRAID制御手段もし
くはRAID制御プログラムに送信し、上記RAID制
御手段およびRAID制御プログラムからの要求に基づ
き、送信されてきたディスク装置の固有IDを上記ID
登録手段に登録し、上記手段に格納した固有IDをもつ
ディスク装置の表示手段を表示するように上記RAID
制御手段およびRAID制御プログラムから要求された
際には対応する表示手段を点灯制御するように構成した
筐体管理手段およびその筐体管理手段を搭載するディス
ク筐体。 - 【請求項11】請求項8に記載の上記ディスク装置が格
納する固有IDはディスク装置に製造時に設定した価を
使用する計算機システム。 - 【請求項12】請求項8,9または10に記載の上記デ
ィスク筐体のディスクモニタ手段は、上記ディスク筐体
のディスクI/FのBusy状態を現す信号をモニタす
るように構成し、この構成によりホスト計算機からのデ
ィスク装置へのアクセスの有無を検出するように構成し
たディスクモニタ手段。 - 【請求項13】請求項8,9または10に記載の上記デ
ィスク筐体のディスクモニタ手段は、上記ディスク筐体
のディスクI/Fの制御信号をモニタするよう構成し、
この構成によりホスト計算機からのディスク装置へのア
クセスの有無を検出するように構成したディスクモニタ
手段。 - 【請求項14】請求項8,9または10に記載の上記デ
ィスク筐体のディスクモニタ手段は、各ディスク装置が
送出するディスクがアクセスしていることを示す信号を
モニタするよう構成し、この構成によりホスト計算機か
らのディスク装置へのアクセスの有無を検出するように
構成したディスクモニタ手段。 - 【請求項15】請求項8,9または10に記載の上記デ
ィスク筐体のディスクモニタ手段は、各ディスク装置の
アクセスランプを駆動する信号をモニタするよう構成
し、この構成によりホスト計算機からのディスク装置へ
のアクセスの有無を検出するように構成したディスクモ
ニタ手段。 - 【請求項16】請求項1から15のいずれかに記載の計
算機システムにおいて、上記RAID制御プログラムが
ホスト計算機のCPUにより実行される計算機システ
ム。 - 【請求項17】請求項1から15のいずれかに記載の計
算機システムにおいて、上記RAID制御手段はRAI
Dの制御/管理専用のプロセッササを有し、上記RAI
D制御プログラムは上記RAIDの制御/管理専用のプ
ロセッサにより実行される計算機システム。 - 【請求項18】請求項1から15のいずれかに記載の計
算機システムにおいて、上記RAID制御手段およびR
AID制御プログラムはホスト計算機の外部にあるRA
ID装置にあり、上記RAID装置とホスト計算機とが
データ転送経路で接続されている計算機システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15069496A JP3627380B2 (ja) | 1996-06-12 | 1996-06-12 | ディスクきょう体管理方式 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP15069496A JP3627380B2 (ja) | 1996-06-12 | 1996-06-12 | ディスクきょう体管理方式 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH09330184A true JPH09330184A (ja) | 1997-12-22 |
JP3627380B2 JP3627380B2 (ja) | 2005-03-09 |
Family
ID=15502405
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP15069496A Expired - Fee Related JP3627380B2 (ja) | 1996-06-12 | 1996-06-12 | ディスクきょう体管理方式 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3627380B2 (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6907500B2 (en) | 2002-09-05 | 2005-06-14 | Hitachi, Ltd. | Data storage device management system |
US7039752B2 (en) | 2003-12-17 | 2006-05-02 | Hitachi, Ltd. | Connection support method for disk array device |
US7259683B2 (en) | 2002-11-26 | 2007-08-21 | Nec Corporation | Rack |
US7266638B2 (en) | 2003-10-06 | 2007-09-04 | Dell Products L.P. | System, method and software for reporting logical volume information on network attached storage appliances |
US7373456B2 (en) | 2004-01-16 | 2008-05-13 | Hitachi, Ltd. | Disk array apparatus and disk array apparatus controlling method |
JP2010009320A (ja) * | 2008-06-26 | 2010-01-14 | Nec Fielding Ltd | 多重化装置、多重化装置用稼働状態表示方法、及び稼働状態表示用制御プログラム |
JP4633886B2 (ja) * | 2000-05-25 | 2011-02-16 | 株式会社日立製作所 | ディスクアレイ装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6468041A (en) * | 1987-09-08 | 1989-03-14 | Toshiba Corp | Address management system for communication system |
JPH07134636A (ja) * | 1993-11-10 | 1995-05-23 | Nec Eng Ltd | ディスクアレイ装置 |
JPH07160380A (ja) * | 1993-12-03 | 1995-06-23 | Hitachi Ltd | 記憶システム |
JPH07225652A (ja) * | 1994-02-14 | 1995-08-22 | Hitachi Ltd | 集合型ファイル装置の制御方式 |
-
1996
- 1996-06-12 JP JP15069496A patent/JP3627380B2/ja not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6468041A (en) * | 1987-09-08 | 1989-03-14 | Toshiba Corp | Address management system for communication system |
JPH07134636A (ja) * | 1993-11-10 | 1995-05-23 | Nec Eng Ltd | ディスクアレイ装置 |
JPH07160380A (ja) * | 1993-12-03 | 1995-06-23 | Hitachi Ltd | 記憶システム |
JPH07225652A (ja) * | 1994-02-14 | 1995-08-22 | Hitachi Ltd | 集合型ファイル装置の制御方式 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4633886B2 (ja) * | 2000-05-25 | 2011-02-16 | 株式会社日立製作所 | ディスクアレイ装置 |
US6907500B2 (en) | 2002-09-05 | 2005-06-14 | Hitachi, Ltd. | Data storage device management system |
US7441083B2 (en) | 2002-09-05 | 2008-10-21 | Hitachi, Ltd. | Data storage device management system |
US7259683B2 (en) | 2002-11-26 | 2007-08-21 | Nec Corporation | Rack |
US7266638B2 (en) | 2003-10-06 | 2007-09-04 | Dell Products L.P. | System, method and software for reporting logical volume information on network attached storage appliances |
US7039752B2 (en) | 2003-12-17 | 2006-05-02 | Hitachi, Ltd. | Connection support method for disk array device |
US7370149B2 (en) | 2003-12-17 | 2008-05-06 | Hitachi, Ltd. | Connection support method for disk array device |
US7373456B2 (en) | 2004-01-16 | 2008-05-13 | Hitachi, Ltd. | Disk array apparatus and disk array apparatus controlling method |
US8402211B2 (en) | 2004-01-16 | 2013-03-19 | Hitachi, Ltd. | Disk array apparatus and disk array apparatus controlling method |
JP2010009320A (ja) * | 2008-06-26 | 2010-01-14 | Nec Fielding Ltd | 多重化装置、多重化装置用稼働状態表示方法、及び稼働状態表示用制御プログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3627380B2 (ja) | 2005-03-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6446141B1 (en) | Storage server system including ranking of data source | |
US5838891A (en) | Data storage system and storage managing method | |
US6542961B1 (en) | Disk storage system including a switch | |
US6985983B2 (en) | Translating device adapter having a common command set for interfacing multiple types of redundant storage devices to a host processor | |
US7822894B2 (en) | Managing storage system configuration information | |
JP5523468B2 (ja) | 直接接続ストレージ・システムのためのアクティブ−アクティブ・フェイルオーバー | |
US7269534B2 (en) | Method to reduce IPMB traffic and improve performance for accessing sensor data | |
US7761616B2 (en) | Apparatus and method to provide failover protection in an information storage and retrieval system | |
US20080276032A1 (en) | Arrangements which write same data as data stored in a first cache memory module, to a second cache memory module | |
JP2007080282A (ja) | 改善されたネットワーク・インタフェースを有するデータ記憶システム | |
JPH09231013A (ja) | 複数の記憶サブシステムの間で付勢状態の予備ドライブ(hsd)を共有するための方法とその装置 | |
US20110145452A1 (en) | Methods and apparatus for distribution of raid storage management over a sas domain | |
US8078809B2 (en) | System for accessing an offline storage unit through an online storage unit | |
JP2007094996A (ja) | データストレージシステム、データストレージ制御装置及びその障害箇所診断方法 | |
JP2007128437A (ja) | ディスクアレイ装置及びその経路障害検出方法 | |
US11706895B2 (en) | Independent scaling of compute resources and storage resources in a storage system | |
US7730474B2 (en) | Storage system and automatic renewal method of firmware | |
JP2006227856A (ja) | アクセス制御装置及びそれに搭載されるインターフェース | |
US20070011402A1 (en) | Disk array apparatus and method for controlling the same | |
US6868479B1 (en) | Data storage system having redundant service processors | |
US7822824B2 (en) | Method for starting up file sharing system and file sharing device | |
JPH09330184A (ja) | ディスクきょう体管理方式 | |
JP2004178253A (ja) | 記憶デバイス制御装置および記憶デバイス制御装置の制御方法 | |
JP2006323541A (ja) | データ転送回路及びデータ転送方法 | |
US20020174377A1 (en) | Method for automatically detecting and correcting duplicate controller SCSI ids |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040621 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040817 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041014 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041129 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071217 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081217 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081217 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091217 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101217 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101217 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111217 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111217 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121217 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131217 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |