JP4246979B2 - 装置管理システム - Google Patents

装置管理システム Download PDF

Info

Publication number
JP4246979B2
JP4246979B2 JP2002259519A JP2002259519A JP4246979B2 JP 4246979 B2 JP4246979 B2 JP 4246979B2 JP 2002259519 A JP2002259519 A JP 2002259519A JP 2002259519 A JP2002259519 A JP 2002259519A JP 4246979 B2 JP4246979 B2 JP 4246979B2
Authority
JP
Grant status
Grant
Patent type
Prior art keywords
raid group
hdd
disk
disk array
raid
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002259519A
Other languages
English (en)
Other versions
JP2004103053A (ja )
JP2004103053A5 (ja )
Inventor
健司 村岡
勝喜 鈴木
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/006Identification
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B19/00Driving, starting, stopping record carriers not specifically of filamentary or web form, or of supports therefor; Control thereof; Control of operating function ; Driving both disc and head
    • G11B19/02Control of operating function, e.g. switching from recording to reproducing
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/002Programmed access in sequence to a plurality of record carriers or indexed parts, e.g. tracks, thereof, e.g. for editing
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from or digital output to record carriers, e.g. RAID, emulated record carriers, networked record carriers
    • G06F2003/0697Digital input from or digital output to record carriers, e.g. RAID, emulated record carriers, networked record carriers device management, e.g. handlers, drivers, I/O schedulers
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from or digital output to record carriers, e.g. RAID, emulated record carriers, networked record carriers
    • G06F3/0601Dedicated interfaces to storage systems
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B2220/00Record carriers by type
    • G11B2220/40Combinations of multiple record carriers
    • G11B2220/41Flat as opposed to hierarchical combination, e.g. library of tapes or discs, CD changer, or groups of record carriers that together store one title
    • G11B2220/415Redundant array of inexpensive disks [RAID] systems

Description

【0001】
【発明の属する技術分野】
本発明は、ディスクアレイ装置および、これを管理するディスクアレイ管理システムに関する。
【0002】
【従来の技術】
ハードディスクドライブ(以下、HDDと言う。)のステータスを管理する手段として、グラフィック・ユーザ・インタフェース(以下、GUIと言う。)によるHDD監視システムがある(例えば、特許文献1参照)。GUI画面上では、HDDのRAIDグループ構成表示、指定した論理ユニット(以下、LUと言う。)を含むHDD、RAIDグループの表示、障害の発生しているHDD等を表示、監視することが可能である。
【0003】
また、HDDのステータスを実機上で表示する技術としては、HDDに付随したLEDを点灯して障害を告知する技術が述べられている(例えば、特許文献2参照)。また、HDDのステータスを表示するLEDが各HDD単位に設置され、電源のON、OFF状態、障害の有無をLEDで確認するという技術も存在する。
【0004】
【特許文献1】
特開2000−305720号公報
【特許文献2】
特開2001−222385号公報
【0005】
【発明が解決しようとする課題】
ディスクアレイ装置に搭載されるHDDは、近年増加の傾向にあり100台以上におよぶ傾向にある。これらHDDのステータスは、従来技術で述べた通り、GUIシステムにより把握、監視することが可能である。例えば、あるRAIDグループを構成するHDD群を交換する保守が発生した場合、GUIシステム上で目的とするRAIDグループを指定することで、ディスプレイの画面上に実機上での配置図を表示することが可能である。保守員はこの画面情報に従って交換作業を実施する。
【0006】
しかしながら、大規模な実際の実機上ではHDDは100台以上あり、十数列×十数段の行列に配置されている。さらに一つのRAIDグループに属するHDDは実機上で必ずしも並んで配置されているとは限らない。そのために、保守員が、画面上で指定された図面の位置と、実機上の位置を誤ってしまい、対象外のHDDを抜く危険性がある。
【0007】
このような場合に、予定外の正常なHDDが抜かれることでシステムが障害を起こす可能性が極めて高くなるという問題点がある。24時間運転で、ダウンすることが許されない多重化されたディスクアレイ装置において、システム障害は絶対に防がないとならない重要な課題である。
【0008】
【課題を解決するための手段】
ディスクアレイ装置のHDDステータスを監視するGUIシステムで、例えば、RAIDグループを指定すると、そこで指定されたHDD群に該当する実機上のHDDに対して、その個々のHDDのステータスを表示するため設けられたLEDを実機上で他のHDD群と異なる表示方法で差別化して表示することで、実機上で該当するHDD群を間違えることなく認識することが可能となり、作業ミスを防止することが可能となる。
【0009】
【発明の実施の形態】
以下に本発明の一実施例を図面を用いて詳細に説明する。なお、本実施例で用いる実機とは、ディスクアレイ装置自体のことであり、GUI画面上に表示されたディスクアレイ装置等と区別するために用いられる。
【0010】
図1は、ネットワークシステム50についての概略図である。ネットワークシステム50は、少なくとも一つの中継ネットワーク52及びストレージ・エリア・ネットワーク(以下、SANと言う。)54を有する。このうち、中継ネットワーク52は、クライアント端末51及びサーバ56等に接続されており、クライアント端末51とサーバ56との間の情報の中継に用いられる。中継ネットワーク52は、例えば、ローカル・エリア・ネットワーク(以下、LANと言う。)、ワイド・エリア・ネットワーク又はインターネット等である。
【0011】
一方、SAN54は、サーバ56、ディスクアレイ装置70及びサービス・プロセッサ(以下、SVPと言う。)74等に接続されており、これらの装置間の情報の中継に用いられる。主に、サーバ56は、ディスクアレイ装置70にアクセスし、又は他のサーバ56との間で情報のやり取りを行う。他方、ディスクアレイ装置70は、サーバ56からのアクセスに応じて情報の記憶等を行い、又は他のディスクアレイ装置70との間で情報のやり取りを行う。例えば、ディスクアレイ装置70は、他のディスクアレイ装置70のバックアップ用の記憶装置として働き、サーバ56を介さずに他のディスクアレイ装置70からデータを受取って記憶する。この場合、ディスクアレイ装置70は、サーバ56及び他のディスクアレイ装置70との間に専用線を有することなく、SAN54を介して直接サーバ56及び他のディスクアレイ装置70に接続できる。もちろん、ディスクアレイ装置70が、サーバ56及び他のディスクアレイ装置70と専用線を介して接続するものであってもよいことはいうまでもない。
【0012】
SVP74は、データ処理装置であり、例えば、パーソナル・コンピュータ等である。SVP74は、ディスクアレイ装置70内のディスクコントローラにアクセスすることにより、ディスクアレイ装置70若しくはその装置内のHDDの状態を監視し、又はこれらに関連する他の管理機能を実行する。SVP74は、表示画面を有しており、保守員がディスクアレイ装置70等を管理するために用いられるGUIを提供する。なお、図1においては、SVP74はSAN54又はLAN72を介してディスクアレイ装置70と接続されているが、本実施例はこの場合に限られることなく、SVP74は、ノート型パーソナル・コンピュータであって、ディスクアレイ装置70と同じ筐体内に格納されることも好ましい。
【0013】
図1において、ディスクアレイ装置70及びSVP74は、SAN環境で用いられているが、本実施例はこの場合に限られることなく、その他のネットワーク環境、例えば、ネットワーク・エリア・ストレージ環境にて用いられることも好ましい。
【0014】
図2は、ディスクアレイ装置70内のHDDの状態を監視するために用いられるSVP74の表示画面62についての概略である。表示画面62は、リダンダント・アレイ・オブ・インエクスペンシブ・ディスクス(以下、RAIDと言う。)グループ選択領域64、RAIDグループ構成領域66、RAIDグループ配置領域68及びLED制御領域410を有する。
【0015】
RAIDグループ選択領域64は、RAIDグループの選択及び指定を可能にする領域である。RAIDグループ選択領域64は、例えば、図5に示されるものであるが、図5については後で説明する。
【0016】
RAIDグループ構成領域66は、RAIDグループ選択領域64で選択及び指定されたRAIDグループを構成するHDDについての情報を提供する。例えば、図5に示されるように、RAIDグループ選択領域64でRAID−Group−0005が選択及び指定された場合、RAIDグループ構成領域66は、図2に示されるように、RAID−Group−0005のRAIDグループが4つのディスクと1つのパリティディスクによって構成されることを表示する。
【0017】
RAIDグループ配置領域68は、ディスクアレイ装置70内の複数のHDDの配置図を表示する。保守員は、RAIDグループ配置領域68を参照することにより、容易にHDDの状態を監視できる。RAIDグループ配置領域68は、例えば、図6に示されるものである。保守員によってRAIDグループ選択領域64上の特定のRAIDグループが選択及び指定された場合、選択及び指定されたRAIDグループに含まれるHDDは、RAIDグループ配置領域68上において陰影の施されたHDD表示124によって示されることにより、明示される。図6については、後で説明する。
【0018】
LED制御領域410は、LEDの点灯及び点滅方法を指示するために用いられる。LED制御領域410は、例えば、図8に示されるものであるが、図8については後で説明する。
【0019】
図3は、ディスクアレイ装置70及びSVP74についての構成の概略図である。ディスクアレイ装置70は、ディスクコントローラ71、ディスクアレイ72を有する。ディスクコントローラ71は、ディスクアレイ装置70の外部から送られる情報をディスクアレイ72へ転送し、又はディスクアレイ72から送られる情報をディスクアレイ装置70の外部へ転送する等の制御を行う。ディスクコントローラ71は、プロセッサ75、スイッチ76、共有メモリ77、チャネルアダプタ(以下、CHAと言う。)78、ディスクアダプタ(以下、DKAと言う。)79及びSVP接続アダプタ80を有する。プロセッサ75は、スイッチ76、共有メモリ77、CHA78及びSVP接続アダプタ80等と接続されており、ディスクコントローラ71全体の制御及び情報のやり取りの制御等を行う。スイッチ76は、プロセッサ75及び複数のDKA79と接続されており、これらの構成要素同士を1対1に接続させて情報を中継する。共有メモリ77は、RAIDグループ−HDD対応テーブル82を有する。RAIDグループ−HDD対応テーブル82は、ディスクアレイ装置70内のRAIDグループについての情報と、RAIDグループに含まれるHDDについての情報とを対応させて格納する。例えば、RAIDグループ−HDD対応テーブル82に格納される情報としては、RAID−Group−0005に含まれるHDDが、HDD識別番号121、HDD識別番号122、HDD識別番号123、HDD識別番号124及びHDD識別番号125であること等の情報がある。なお、ここでいうHDD識別番号とは、例えば、DKA79等によって個々のHDD毎に付されるシリアル番号であり、HDDを識別することに用いられる。なお、RAIDグループ−HDD対応テーブル82は、本実施例のように共有メモリ77に設けられる場合に限られず、システムの構成によって、システムディスクに設けられる場合もある。ここでいうシステムディスクとは、プロセッサ75が動作するために使用される制御情報が格納されるディスクであり、ディスクコントローラ71に備えられる場合もあれば、ディスクアレイを構成するHDDの一部がシステムディスクとして使用される場合もある。
【0020】
CHA78は、SAN54に接続され、SAN54を介してサーバ56とディスクコントローラ71との間で送受信される情報を変換及び中継等する。DKA79は、ディスクアレイ72に接続され、ディスクコントローラ71とディスクアレイ72との間で送受される情報を変換及び中継等する。SVP接続アダプタ80は、SAN54に接続され、SAN54を介してSVP54とディスクコントローラ71との間で送受信される情報を変換及び中継等する。なお、図1に記載のように、SVP74はLAN72を介してディスクアレイ装置70と接続される場合もあり、この場合、SVP接続アダプタ80は、LAN72に接続され、LAN72を介してSVP54とディスクコントローラ71との間で送受信される情報を変換及び中継等する。
【0021】
SVP74は、キーボード等の入力手段61、図2で示される表示画面62、及びディスクアレイ装置70内のHDDの管理に用いられるストレージ管理プログラム84を有する。ストレージ管理プログラム84は、SVP74内のメモリからプロセッサにロードされた後、ディスクコントローラ71と通信してGUIの表示画面62を表示させる。
【0022】
ディスクアレイ72は、複数のHDD402及びLED搭載部404を有する。複数のHDD402は、ファイバチャネル・アービトレイテッドループ等を用いてDKA79と接続され、DKA79との間でデータのやり取りを行う。LED搭載部404は、信号線を用いてDKA79と接続されており、複数のLEDを装備する。LED搭載部404は、プロセッサ75の制御に応じて、装備されているLEDの点灯及び点滅等を実行する。
【0023】
図4は、保守員がSVP74を用いてディスクアレイ装置70内のHDDを交換する方法を示す本実施例のフローチャート100である。例えば、ディスクアレイ装置70内のRAIDグループを構成するHDD群を交換する保守作業が発生する(ステップ101)。例えば、保守員は、HDDの容量をより大きくする場合等に、HDDを交換する保守作業の必要が生じる。
【0024】
保守員は、入力手段61を用いることによって、GUI環境で動作するSVP74の表示画面62上で、該当するRAIDグループを選択及び指定する(ステップ102)。RAIDグループ選択領域64の一例は、図5に示される。図5に示されるように、保守員が、RAIDグループ選択領域64のRAID−Group−0005を選択及び指定する。この場合、入力手段61を用いてRAIDグループ選択領域64上のRAIDグループ一覧表示ボタンを押すと、RAIDグループ一覧が表示されるので、そこから該当するRAIDグループを選択及び指定する。
【0025】
RAID−Group−0005が選択及び指定された場合、SVP74の表示画面62上のRAIDグループ配置領域68に、選択及び指定されたRAIDグループに含まれるHDD群の実機上での配置が、陰影を施して表示される(ステップ103)。RAIDグループ配置領域68の一例は、図6に示される。図6の場合、RAIDグループ配置領域68には、ディスクアレイ装置70に搭載されている10行×10列のHDDの配置図123が表示されている。RAIDグループ選択領域64において選択及び指定されたRAIDグループであるRAID−Group−0005は、図6に示される通り、ディスクアレイ装置70に搭載された5台のHDDに対応して配置されているHDD表示124に陰影を施して表示される。なお、この場合、図2に示されるRAIDグループ構成領域66と別個に、図6に示されるRAIDグループ配置領域68においても、RAID−Group−0005は、4台のデータディスクと1台のパリティディスクであることが表示されるようにすることも好ましい。図6に示される通り、RAIDグループに含まれるHDD群は、隣り合わせて配置されている保証はなく、RAIDグループ配置領域68に表示されたHDD表示124を保守員が記憶して、実際のディスクアレイ装置70でこの5台のHDDを間違いなく選択することは困難である。
【0026】
この画面をプリントするための環境が、保守現場に存在する保証もないため、この情報のみで作業をすることは、このような100台以上のHDDを有するディスクアレイ装置では、障害を誘発する要因となり危険である。例え印字する環境が存在して、その図面を持参しても、10行×10列又は10行×20列等の規則に従って同様のHDDが並んでいるため、誤って隣のHDDを選択してしまう危険性もある。仮に誤ってHDDを抜いてしまった場合は、システムダウン、データロスト等の障害を引き起こす可能性があり、信頼性を重要視するディスクアレイ装置70ではこれらの障害は絶対に許されないことである。
【0027】
ディスクアレイ装置70は、垂直方向に積み重ねられた複数の筐体(以下、キャビネットと言う。)を有しており、各キャビネット毎に複数のHDDが1列に搭載される。RAIDグループ配置領域68のHDD配置図123に表示されている1行のHDD群は、1つのキャビネット内に搭載されているHDD群に対応する。したがって、10行×10列の規則に従ってHDDが搭載されているディスクアレイ装置は、垂直方向に10個のキャビネットが積み重ねられている。
【0028】
再び、図4に示されるフローチャート100について説明する。ステップ103の後、保守員は、SVP74の表示画面62において選択及び指定されたRAIDグループに含まれるHDD群を、ディスクアレイ装置70の他のHDD群と区別させるべく、LEDをどのように表示させるかを指示する(ステップ104)。ここで、図7に、実機上でのHDD群とLEDの関係を示す一実施例を示す。
【0029】
図7には、複数のHDD402とLED搭載部404とを有するキャビネット400が記載されている。複数のHDD402は、キャビネット400に並べて装着される。LED搭載部404は、キャビネット400の枠に設けられ、キャビネット400に搭載されたHDD402のステータスを示すLED401が装着されている。この図7に示す一実施例では、LED搭載部404には、電源のON、OFF状態を示すLED1と、障害発生を知らせるLED2が装備されている。このLED401は、例えば図7に示す通り、各HDD402の上に位置して、各HDDのステータスを表示する役目を果たしている。
【0030】
例えば電源がONの場合はLED1が緑に点灯して、HDD402がアクセス状態の時は対応するLEDが点滅に変わる。また、HDD402になんらかの障害が発生した場合は対応するLED2が赤く点灯する。図4のステップ104では、これら通常の点灯、点滅と差別化する表現を指示する。例えば、LED1を点滅させ、同時にLED2も点滅させる。例えば、この時、LED1とLED2は交互に点滅するとか、LED1を1回点滅させたあと、LED2を2回点滅させ、これを繰り返す等、LED1,2の表現を通常のステータス表示と区別可能にする方法を指定する。このような指示は、SVP74を用いてGUIにより実現することが可能である。
【0031】
図8にSVP74の表示画面62上に表示されるLED制御領域410を示す。以下、図8を用いてLEDの表示についての指示を行う一実施例を説明する。保守員は、入力手段61を用いて、LED制御領域410に表示されたLED1及びLED2の点灯及び点滅方法を指示する。例えば、保守員は、LED1については、点滅を選択して、点滅時間は、ON、OFFともに0.5秒を指示し、START時間は0秒とする。次にLED2については、点滅を選択して、点滅時間はLED1と同様各0.5秒を選択する。START時間は、交互に点滅させるため、0.5秒後を指定する。
【0032】
上記指示により、LED1及びLED2は、0.5秒間隔で交互に点滅を行うことになる。ディスクアレイ装置70を制御するマイクロプログラムは、SVP74のストレージ管理プログラム84によって指示されたHDD群に対応するLED1及びLED2を、同じくストレージ管理プログラム84によって指示された点灯及び点滅方法で実機上で表示するよう制御を行う(ステップ105)。ここでいうディスクアレイ装置70を制御するマイクロプログラムは、プロセッサ75に格納されているものであるが、その他、例えばディスクコントローラ71内のCHA78に搭載されたプロセッサに格納されていることも好ましい。SVP74のストレージ管理プログラム84は、入力手段61及び表示画面62のLED制御領域410を介して、LEDの点灯及び点滅についての指示を受取り、かかる指示に関する情報を、ディスクコントローラ71内のプロセッサ75に通知する。ディスクコントローラ71内のプロセッサ75は、LEDの点灯及び点滅についての指示に関する情報を受取り、ディスクコントローラ71内のDKA79を介して、LED搭載部404に対してLEDの点灯及び点滅についての制御信号を送る。LED搭載部404に装備されたLEDは、LEDの点灯及び点滅についての制御信号に応じて、点灯及び点滅を実行する。
【0033】
実機上で指定されたRAIDグループに含まれるHDD群に対応するLEDが、その他のHDD群に対応するLEDと差別化されて表現されるので、保守員は、そのLEDの点灯及び点滅の方法に応じて、所望のHDDを交換することができる(ステップ106)。このように、本実施例によれば、実機上で交換されるべきHDDがナビゲーションされるため、保守員が誤ってHDDを抜くことはなくなる。
【0034】
図9を用いて、実機上でLEDが点灯及び点滅している例を示す。図9は、図6に示されるRAIDグループ配置領域68のHDD配置図123に対応する実際のディスクアレイ装置70のHDD構成を示す。ディスクアレイ装置70は、既に述べた通りの複数のHDD402を有する。図6に示されるRAIDグループ配置領域68において特定のRAIDグループに含まれるとして陰影を施されたHDD表示124に対応して、この特定のRAIDグループに含まれる実際のディスクアレイ装置70のHDD224に対応するLEDが、保守員に指示された通りに点灯及び点滅する。したがって、保守員は、間違えることなくHDDの交換作業を遂行できる。
【0035】
以下、SVP74のストレージ管理プログラム84の処理動作を図10を用いて説明する。ストレージ管理プログラム84は、SVP接続アダプタ80を介してディスクアレイコントローラ71に対して、ディスクアレイ装置70内のHDDの配置情報を要求する。ディスクアレイコントローラ71内のプロセッサ75は、DKA79等を利用してHDDの配置情報を収集して、SVP接続アダプタ80を介してストレージ管理プログラム84に通知する。このHDDの配置情報には、ディスクアレイ装置70内のRAIDグループの総数、又は各々のRAIDグループの構成等についての情報が含まれる。ストレージ管理プログラム84は、HDDの配置情報の通知を受けると、表示画面62を表示する(ステップ801)。表示画面62には、RAIDグループ選択領域64、RAIDグループ構成領域66及びRAIDグループ配置領域68が含まれる。次に、ストレージ管理プログラム84は、入力手段61及びRAIDグループ選択領域64を介して操作対象の装置が指定されたか否かを判定する(ステップ802)。本実施例でいう操作対象の装置とは、RAIDグループのことであるが、HDDそのものを指定することも好ましい。RAIDグループ選択領域64より操作対象の装置が指定された場合、ストレージ管理プログラム84は、SVP接続アダプタ80を介してディスクコントローラ71に対して、操作対象の装置についての情報を要求する。例えば、図5に示されるように、保守員によってRAIDグループ選択領域64内のRAID−Group−0005のRAIDグループが選択された場合、ストレージ管理プログラム84は、ディスクコントローラ71に対して、RAID−Group−0005に含まれるHDDの配置情報を要求する。ディスクコントローラ71内のプロセッサ75は、RAIDグループ−HDD対応テーブル82に格納される情報を参照して、RAID−Group−0005に含まれるHDDについての配置情報をストレージ管理プログラム84に通知する。ストレージ管理プログラム84は、HDDの配置情報の通知を受けることにより、RAID−Group−0005に含まれるHDDが、HDD104、HDD105、HDD106及びHDD107であることを認識する。ストレージ管理プログラム84は、HDD104、HDD105、HDD106及びHDD107に相当するRAIDグループ配置領域68上に表示されたHDD表示を、他のHDD表示と識別するべく陰影を施して表示する(ステップ803)。図6は、陰影を施されたHDD表示124が示される。ストレージ管理プログラム84は、LEDの表示態様を指定するための画面を表示する(ステップ804)。LEDの表示態様を指定するための画面は、図9に示されるLED制御領域410であり、保守員によってLEDの点滅態様等が指定される。ストレージ管理プログラム84は、入力手段61及びLEDの表示態様を指定するための画面を介して、LEDの点滅態様等が指定されたか否かを判定する(ステップ805)。なお、ステップ805において、保守員がLEDの表示態様を指定しなかった場合、デフォルトとして設定されている表示態様が適用される(ステップ806)。ストレージ管理プログラム84は、LEDの表示態様についての情報を、ディスクコントローラ71に対して通知する。ディスクコントローラ71内のプロセッサ75は、LEDの表示態様についての情報を受取り、この情報に基づいてLEDの点滅等の識別表示を制御する(ステップ807)。
【0036】
以上のように、本実施例のストレージ管理プログラム84によれば、保守員からの指示に基づいて、HDD近傍に設けられたLEDの点滅を制御できる。
【0037】
なお、本実施例においては、ディスクアレイ装置70内のディスクコントローラ71にRAIDグループ−HDD対応テーブル82を設けたが、本実施例はこの場合に限られず、ストレージ管理プログラム84の制御の基に、SVP74に対してRAIDグループ−HDD対応テーブル82を設けるものでもよい。この場合、SVP74側で、RAIDグループに含まれるHDDを認識できる。
【0038】
また、上記実施例では、RAIDグループを選択及び指定する例を説明したが、本実施例は、この場合に限られるものでなく、ロジカルユニット(以下、LUと言う。)を選択及び指定して、そのLUを含むHDD群を選択及び指定するとか、そのLUを含むRAIDグループを選択及び指定するなど、本実施例の利用方法はさまざまである。本実施例によれば、ストレージ管理プログラムで選択及び指定が可能なHDD、及びHDD群のグループを、実機上で認識できる。
【0039】
他の実施例として、あるディスクアレイ装置70に搭載されたデータを別のディスクアレイ装置70にHDD毎にまとめて移動する場合、移動先のディスクアレイ装置70でそのままデータを使用するにはRAIDグループ単位で移動する必要がある。このような移設作業を行う場合にも、本発明は、大変有効である。本実施例を応用すれば、移設先のディスクアレイ装置70において、なんらかの制約で格納する場所が物理的に制約されるような場合、移設先のディスクアレイ装置70を管理するGUIを有するSVP74から格納場所を指定して、その場所を示すLEDを点灯及び点滅させることで、格納場所をナビゲートすることが可能である。
【0040】
また、本実施例によれば、新たに、実機上にHDDを識別するための装置、LED等を新設する必要がないため、既存のシステムにおいてもマイクロプログラムとGUIというソフトウエア的な改良で対処して、発明を実現できるメリットがある。
【0041】
上記実施例では、各HDD、またはHDD格納場所の周辺に設置されたドライブステータスを監視するLEDを使用する実施例を述べたが、さらに他の実施例として、このようなLEDが存在しない装置、または本発明の目的に使用できない場合、HDD装着場所をナビゲートすることに用いるのLED等の目視可能な目印を設置する方法がある。近年、例えば有機エレクトロルミネッセント(以下、有機ELと言う。)等、安価なディスプレイ装置もあるので、このような方法もまた有効である。
【0042】
図11にその実施例を示す。ディスクアレイ装置70の各HDD格納場所上段に有機ELディスプレイ701を設置する方法がある。有機ELディスプレイ701等を使用すれば、そこでの表現力は無限大に拡張され、保守作業を行う場合の操作性、安全性は格段向上する。
【0043】
同時に従来2つ以上のLEDで表現していたHDDステータスも合わせて表現することが可能である。さらに、ディスクアレイ装置70にスピーカー702を装着することで、音声とディスプレイを併用したナビゲーションが可能になり、保守性能をさらに向上させることが可能となる。
【0044】
また、他の実施例として、HDDを挿抜するとき、その順番を要求される場合がある。このような場合としては、例えば、増設用のキャビネットに対してHDDを挿入する場合があり、スカジー・エンクロージャ・サービス機能及びエンクロージャ・サービス・インタフェース機能を有するHDDは、他のHDDより先に挿入する必要がある。これらの機能を有するHDDが先に挿入されることにより、このHDDを通信経路として、基本キャビネットと増設用キャビネットとの通信が可能となるからである。このような場合は、例えば、GUIを有するSVP74よりその順番を指定することにより、実機上では、その順番にLEDを点灯及び点滅させることが可能である。
【0045】
例えば、初めに抜くHDDが指示され、そのHDDを実際にディスクアレイ装置から抜き取ると、ディスクアレイ管理システムは、HDDが抜かれたことを認識して、次の抜く場所のLEDを点滅させて指示する。有機ELディスプレイを使用している場合は、画面上に、順番を表示して、保守員は、その表示に従い作業を行えば良い。HDDを挿入する場合も同様である。以上のようにディスクアレイ管理システムと実際の作業進捗状況、LEDの表示を連動させることで、保守性能は格段に向上する。
【0046】
上記実施例は、HDD群の指定をGUIシステムにより実施する例を挙げたが、ワークステーション等のコンソールからコマンド入力等により指示をすることも可能である。本実施例のディスクアレイ装置、ディスクアレイ管理システムによれば、HDDの挿抜指示をGUIを介して、実機上の位置を実機上のLED等で指示することで、保守作業の保守性、操作性、信頼性向上が行え、保守ミスを防ぐことが可能となる効果が得られる。
【0047】
以上、本発明者によってなされた発明を実施例の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものでなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。本願発明は、類似形状の複数の装置を制御する必要がある場合に適用が可能で、制御、保守の対象となる装置の外観が類似している場合の誤認による誤操作を防止することができる。
【0048】
本願発明の実施例においては、識別表示するHDD群の特定に際してRAIDグループを特定することで行った。このように操作者、管理者及び保守員が認識している情報によってHDD群の特定することで、操作者、管理者及び保守員にとって非常に扱いやすい管理システムを提供することができる。管理システムに、RAIDとHDD群の対応を示す情報を蓄積しておき、管理システムに搭載されているアプリケーションプログラムは、その情報を参照することで、RAIDグループに対応するHDD群を特定することができるのである。
【0049】
このような選択肢と装置の対応を示す対応状態テーブルは、上記実施例のRAIDグループ−HDD対応テーブル82のようなHDDとRAIDグループの対応のみならず、メーカーとHDDの対応テーブル等種々の対応テーブルが適用できる。即ち、操作者、管理者及び保守が認識しやすい情報から、HDDを特定できれば良いのである。
【0050】
【発明の効果】
本発明のディスクアレイ装置、ディスクアレイ管理システムによれば、HDDの挿抜指示がGUIを介して、実機上の位置を実機上のLED等によって保守員に与えられることとなるから、保守作業の保守性、操作性、信頼性向上が図れ、保守ミスを防ぐことが可能となるという効果が得られる。本発明のディスクアレイ装置は、既存のハード構成のみを利用して実機上での指示が行えるため、従来機種での本発明適用が実施可能となり装置改造の費用削減効果が得られる。
【0051】
さらに本発明においては、その操作手順が重要である場合に、その操作手順を実際の装置自体に順次表示すが可能となるので、順序における誤操作も防止することができる。さらにまた、本願発明における管理システムによれば、実際の装置上での表示方法を操作、作業する者自身で設定できるので、操作者の表示情報不知による誤操作を防止することも可能である。
【図面の簡単な説明】
【図1】 本発明の実施例によるネットワークシステム50についての概略図である。
【図2】 本発明の実施例によるSVP74の表示画面62についての概略である。
【図3】 本発明の実施例によるディスクアレイ装置70及びSVP74についての構成の概略図である。
【図4】 保守員がSVP74を用いてディスクアレイ装置70内のHDDを交換する方法を示すフローチャートである。
【図5】 本発明の実施例によるSVP74の表示画面62上に表示されるRAIDグループ選択領域64である。
【図6】 本発明の実施例によるSVP74の表示画面62上に表示されるRAIDグループ配置領域68である。
【図7】 本発明の実施例のディスクアレイ装置70におけるHDD群とLEDの関係を示す例である。
【図8】 本発明の実施例によるSVP74の表示画面62上に表示されるLED制御領域410である。
【図9】 本発明の実施例によるディスクアレイ装置70のHDD構成図である。
【図10】 本発明の実施例によるSVP74のストレージ管理プログラム84の処理動作である。
【図11】ディスクアレイ装置上の各HDDステータスを表示するために有機ELディスプレイ、スピーカーを装着したディスクアレイ装置の正面図である。
【符号の説明】
70・・・ディスクアレイ装置
71・・・ディスクコントローラ
72・・・ディスクアレイ
74・・・SVP
400・・・キャビネット
401・・・LED
402・・・HDD
701・・・有機ELディスプレイ
702・・・スピーカー

Claims (2)

  1. ディスクアレイ装置を構成する複数のハードディスクドライブをGUI環境で管理するディスクアレイ管理システムであって、
    前記管理システムは前記GUI表示画面上でレイドグループを指定する指定手段を含み、
    前記指定手段で指定された前記レイドグループに属するハードディスクドライブの実機上のLEDを、当該ハードディスクドライブのステータスを表示するための表示とは、区別して識別可能に表示することを特徴とするディスクアレイ装置管理システム。
  2. 複数のRAIDグループを提供する複数のディスクドライブと、前記ディスクドライブを制御するディスクコントローラと、RAIDグループの管理を行うサービスプロセッサとを備えるストレージシステムであって、
    前記サービスプロセッサは、
    RAIDグループ選択領域とRAIDグループ配置領域とをGUIインターフェースに表示する手段と、
    前記RAIDグループ選択領域に表示されている複数のRAIDグループの中から管理者によって選択されたRAIDグループの配置情報を前記ディスクコントローラに要求する手段と、
    前記ディスクコントローラから取得した配置情報に基づいて、前記選択されたRAIDグループに属するディスクドライブと選択されなかったRAIDグループに属するディスクドライブとが視覚的に区別されるように前記選択されたRAIDグループに属するディスクドライブの配置情報を前記RAIDグループ配置領域に表示する手段と、を備え、
    前記ディスクコントローラは、
    前記選択されたRAIDグループに属するディスクドライブを管理者が容易に識別できるように、前記選択されたRAIDグループに属するディスクドライブに関連付けられた単一又は複数の発光装置を動作させる手段を備える、ストレージシステム。
JP2002259519A 2002-09-05 2002-09-05 装置管理システム Expired - Fee Related JP4246979B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002259519A JP4246979B2 (ja) 2002-09-05 2002-09-05 装置管理システム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002259519A JP4246979B2 (ja) 2002-09-05 2002-09-05 装置管理システム
EP20030001891 EP1400967B1 (en) 2002-09-05 2003-01-29 Data storage device management system
US10370865 US6907500B2 (en) 2002-09-05 2003-02-19 Data storage device management system
US11109162 US7441083B2 (en) 2002-09-05 2005-04-19 Data storage device management system

Publications (3)

Publication Number Publication Date
JP2004103053A true JP2004103053A (ja) 2004-04-02
JP2004103053A5 true JP2004103053A5 (ja) 2005-10-27
JP4246979B2 true JP4246979B2 (ja) 2009-04-02

Family

ID=31944467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002259519A Expired - Fee Related JP4246979B2 (ja) 2002-09-05 2002-09-05 装置管理システム

Country Status (3)

Country Link
US (2) US6907500B2 (ja)
EP (1) EP1400967B1 (ja)
JP (1) JP4246979B2 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7620786B2 (en) 2003-09-12 2009-11-17 Lsi Corporation Storage recovery using a delta log
US20050144268A1 (en) * 2003-12-08 2005-06-30 Mohammad El-Batal Managing spare devices on a finite network
JP4454346B2 (ja) * 2004-03-11 2010-04-21 株式会社日立製作所 ディスクアレイ装置の保守用端末
US7395460B2 (en) * 2004-04-02 2008-07-01 Lsi Corporation Failed drive locator for removable disk array modules
US20050246494A1 (en) * 2004-05-03 2005-11-03 Leon Jose L Jr Data storage arrangement and method for storing and transferring data
JP4640770B2 (ja) * 2004-10-15 2011-03-02 株式会社日立製作所 外部の装置に接続される制御装置
US7873782B2 (en) 2004-11-05 2011-01-18 Data Robotics, Inc. Filesystem-aware block storage system, apparatus, and method
JP4950897B2 (ja) 2004-11-05 2012-06-13 ドロボ, インコーポレイテッド 種々のサイズの格納デバイスを可能にする動的に拡張可能かつ縮小可能な故障許容格納システム、および方法
JP2006227856A (ja) * 2005-02-17 2006-08-31 Hitachi Ltd アクセス制御装置及びそれに搭載されるインターフェース
US7680980B2 (en) * 2005-08-12 2010-03-16 Kabushiki Kaisha Toshiba Image forming apparatus
US20070094369A1 (en) * 2005-10-26 2007-04-26 Hanes David H Methods and devices for disconnecting external storage devices from a network-attached storage device
JP4917834B2 (ja) * 2006-05-29 2012-04-18 パナソニック株式会社 画像記録再生装置
JP4591441B2 (ja) 2006-12-25 2010-12-01 株式会社日立製作所 記録再生装置
WO2008120337A1 (ja) * 2007-03-28 2008-10-09 Fujitsu Limited ホストバスアダプタ管理プログラム、それを記録したコンピュータ読み取り可能な記録媒体、方法および装置
US8650490B2 (en) * 2008-03-12 2014-02-11 International Business Machines Corporation Apparatus and methods for displaying a physical view of a device
JP5115272B2 (ja) 2008-03-28 2013-01-09 富士通株式会社 多数の電子機器をラック搭載した電子機器システム及び電子機器システムの電子機器の特定処理方法。
JP5184206B2 (ja) * 2008-05-14 2013-04-17 株式会社バッファロー 複数の記憶装置を内蔵する外部記憶装置を制御する制御装置、制御方法、コンピュータプログラム、および、記録媒体
US20110231674A1 (en) * 2008-12-11 2011-09-22 Stuhlsatz Jason M Independent drive power control
US9298581B2 (en) * 2010-03-26 2016-03-29 Microsoft Technology Licensing, Llc Dynamically controlled server rack illumination system
CN102479140A (zh) * 2010-11-30 2012-05-30 英业达股份有限公司 计算机系统及其硬盘状态显示方法
JP6167597B2 (ja) * 2013-03-26 2017-07-26 日本電気株式会社 配置設計を支援する情報処理装置、ストレージシステム、配置設計支援方法、及びそのためのプログラム
US10140233B2 (en) 2013-12-09 2018-11-27 Donald Moses Mass storage device selector
US9645876B2 (en) * 2015-05-08 2017-05-09 Hong Fu Jin Precision Industry (Shenzhen) Co., Ltd. Electronic device with emergency power supply
CN105550097A (zh) * 2015-12-02 2016-05-04 英业达科技有限公司 非易失性内存固态硬盘的灯号控制系统
US9972361B2 (en) * 2015-12-14 2018-05-15 International Business Machines Corporation Audible mapping of physical hard disk devices within a storage system

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2561428B1 (fr) 1984-03-16 1986-09-12 Bull Sa Procede d'enregistrement dans une memoire a disques et systeme de memoire a disques
US5034935A (en) 1988-07-15 1991-07-23 Pioneer Electronic Corporation Multi-magazine disc player
JPH0581299A (ja) 1991-09-20 1993-04-02 Sanyo Electric Co Ltd カルテ管理装置
JPH0823802B2 (ja) 1991-11-13 1996-03-06 富士通株式会社 アレイディスク装置の状態表示方式
JPH05341918A (ja) 1992-05-12 1993-12-24 Internatl Business Mach Corp <Ibm> 二重化デイスク記憶装置システムを構成するための接続装置
US5913926A (en) 1992-08-20 1999-06-22 Farrington Investments Ltd. Expandable modular data storage system having parity storage capability
US5586250A (en) 1993-11-12 1996-12-17 Conner Peripherals, Inc. SCSI-coupled module for monitoring and controlling SCSI-coupled raid bank and bank environment
US5557499A (en) 1994-06-28 1996-09-17 Ast Research, Inc. Hard-disk drive tray assembly with pivotally rotatable front bezel
US5623691A (en) 1994-11-14 1997-04-22 Compaq Computer Corporation PCI bus hard disk activity LED circuit
JPH096548A (ja) 1995-06-22 1997-01-10 Fujitsu Ltd ディスクアレイ装置
US5754112A (en) 1995-09-28 1998-05-19 Sun Microsystems, Inc. Power on, mated, and activity indicator for electronic devices including storage devices
US6076142A (en) * 1996-03-15 2000-06-13 Ampex Corporation User configurable raid system with multiple data bus segments and removable electrical bridges
JPH09305329A (ja) 1996-05-14 1997-11-28 Brother Ind Ltd 記憶装置アレイシステム
JP3627380B2 (ja) 1996-06-12 2005-03-09 株式会社日立製作所 ディスクきょう体管理方式
US5958665A (en) * 1996-10-04 1999-09-28 Fuji Photo Film Co., Ltd. Sultone compound, quaternary salt compound and methine compound, production process thereof, and silver halide photographic light-sensitive material containing the quaternary salt compound and/or methine compound
US5956665A (en) 1996-11-15 1999-09-21 Digital Equipment Corporation Automatic mapping, monitoring, and control of computer room components
JPH10187358A (ja) 1996-12-25 1998-07-14 Hitachi Ltd ディスクアレイ装置
US6098146A (en) 1997-04-11 2000-08-01 Dell Usa, L. P. Intelligent backplane for collecting and reporting information in an SSA system
US6101559A (en) 1997-10-22 2000-08-08 Compaq Computer Corporation System for identifying the physical location of one or more peripheral devices by selecting icons on a display representing the one or more peripheral devices
US6442021B1 (en) * 1998-06-15 2002-08-27 Compaq Computer Corporation Hot-pluggable disk carrier having enhanced rotational drive vibration control capability
US6477139B1 (en) * 1998-11-15 2002-11-05 Hewlett-Packard Company Peer controller management in a dual controller fibre channel storage enclosure
JP3242890B2 (ja) 1998-12-16 2001-12-25 株式会社ハギワラシスコム 記憶装置
US6577912B1 (en) 1999-01-13 2003-06-10 Matsushita Electric Industrial Co., Ltd Computer device for production equipment
JP2000305720A (ja) 1999-04-15 2000-11-02 Nec Software Hokkaido Ltd アレイディスクの自動復旧方法ならびにシステム
US6487623B1 (en) 1999-04-30 2002-11-26 Compaq Information Technologies Group, L.P. Replacement, upgrade and/or addition of hot-pluggable components in a computer system
US6384842B1 (en) 1999-05-13 2002-05-07 Lsi Logic Corporation User interface to provide a physical view of movable physical entities
JP2001019127A (ja) 1999-07-08 2001-01-23 Kubota Corp データ管理システム
GB2354607A (en) * 1999-09-22 2001-03-28 Ibm Automatic identification of computer systems
US6640282B2 (en) 2000-01-25 2003-10-28 Hewlett-Packard Development Company, L.P. Hot replace power control sequence logic
US6785785B2 (en) 2000-01-25 2004-08-31 Hewlett-Packard Development Company, L.P. Method for supporting multi-level stripping of non-homogeneous memory to maximize concurrency
US6651138B2 (en) 2000-01-27 2003-11-18 Hewlett-Packard Development Company, L.P. Hot-plug memory catridge power control logic
US6560729B1 (en) 2000-07-03 2003-05-06 Advanced Micro Devices, Inc. Automated determination and display of the physical location of a failed cell in an array of memory cells
JP2002032198A (ja) 2000-07-17 2002-01-31 Nec Corp ハードディスクドライブを用いた集合型バックアップ装置
US6795895B2 (en) 2001-03-07 2004-09-21 Canopy Group Dual axis RAID systems for enhanced bandwidth and reliability
US6760869B2 (en) 2001-06-29 2004-07-06 Intel Corporation Reporting hard disk drive failure
US7028213B2 (en) 2001-09-28 2006-04-11 Hewlett-Packard Development Company, L.P. Error indication in a raid memory system
US6714391B2 (en) * 2001-10-04 2004-03-30 Ise Research Corporation Ultracapacitor energy storage cell pack and methods of assembling and cooling the same
JP2003345518A (ja) * 2002-05-29 2003-12-05 Hitachi Ltd ディスクアレイ装置の設定方法、プログラム、情報処理装置、ディスクアレイ装置
US6925531B2 (en) 2002-07-11 2005-08-02 Storage Technology Corporation Multi-element storage array

Also Published As

Publication number Publication date Type
EP1400967A2 (en) 2004-03-24 application
JP2004103053A (ja) 2004-04-02 application
US20040049633A1 (en) 2004-03-11 application
EP1400967A3 (en) 2006-10-25 application
EP1400967B1 (en) 2012-05-23 grant
US7441083B2 (en) 2008-10-21 grant
US20050182901A1 (en) 2005-08-18 application
US6907500B2 (en) 2005-06-14 grant

Similar Documents

Publication Publication Date Title
US6480934B1 (en) Storage control unit and method for handling data storage system using thereof
US6598174B1 (en) Method and apparatus for storage unit replacement in non-redundant array
US4970640A (en) Device initiated partial system quiescing
US6912627B2 (en) Method of creating a storage area &amp; storage device
US20060187634A1 (en) Disk device
US6314503B1 (en) Method and apparatus for managing the placement of data in a storage system to achieve increased system performance
US20050120264A1 (en) Disk array system and method for controlling disk array system
US6654830B1 (en) Method and system for managing data migration for a storage system
US6285967B1 (en) Troubleshooting computer systems during manufacturing using state and attribute information
US20050256942A1 (en) Cluster management system and method
EP0757351B1 (en) Computer frame structure with modular housings
US5870630A (en) System for online SCSI drive repair utilizing detachable secondary I/O buses pigtailed to primary I/O bus wherein each secondary I/O bus has a length in excess of 100mm
US20080195581A1 (en) Method and apparatus for identifying enclosures and devices
US6457139B1 (en) Method and apparatus for providing a host computer with information relating to the mapping of logical volumes within an intelligent storage system
US6346954B1 (en) User interface for configuring and managing a multi-drive data storage system
US20080250042A1 (en) Diagnosis of a Storage Area Network
US20090158081A1 (en) Failover Of Blade Servers In A Data Center
US20030145130A1 (en) Array controller ROM cloning in redundant controllers
US7003687B2 (en) Fail-over storage system
US7343410B2 (en) Automated creation of application data paths in storage area networks
US6889345B2 (en) System and method for locating a failed storage device in a data storage system
US6571354B1 (en) Method and apparatus for storage unit replacement according to array priority
US5835700A (en) SCSI-coupled module for monitoring and controlling SCSI-coupled raid bank and bank environment
US7027053B2 (en) Graphical user interface for indicating device failover
US20050195075A1 (en) System and method for displaying chassis component information

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050902

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050902

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20050902

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061023

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080930

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081125

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090109

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120116

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130116

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140116

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees