JP4274523B2 - 記憶装置システム、及び記憶装置システムの起動方法 - Google Patents

記憶装置システム、及び記憶装置システムの起動方法 Download PDF

Info

Publication number
JP4274523B2
JP4274523B2 JP2003015525A JP2003015525A JP4274523B2 JP 4274523 B2 JP4274523 B2 JP 4274523B2 JP 2003015525 A JP2003015525 A JP 2003015525A JP 2003015525 A JP2003015525 A JP 2003015525A JP 4274523 B2 JP4274523 B2 JP 4274523B2
Authority
JP
Japan
Prior art keywords
processor
storage device
control unit
cpu
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003015525A
Other languages
English (en)
Other versions
JP2004227361A (ja
JP2004227361A5 (ja
Inventor
裕 小笠原
豊 ▲高▼田
直孝 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2003015525A priority Critical patent/JP4274523B2/ja
Priority to US10/673,162 priority patent/US20040148329A1/en
Publication of JP2004227361A publication Critical patent/JP2004227361A/ja
Publication of JP2004227361A5 publication Critical patent/JP2004227361A5/ja
Priority to US12/348,088 priority patent/US7882206B2/en
Application granted granted Critical
Publication of JP4274523B2 publication Critical patent/JP4274523B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L9/00Cryptographic mechanisms or cryptographic arrangements for secret or secure communications; Network security protocols
    • H04L9/40Network security protocols
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/30Definitions, standards or architectural aspects of layered protocol stacks
    • H04L69/32Architecture of open systems interconnection [OSI] 7-layer type protocol stacks, e.g. the interfaces between the data link level and the physical level
    • H04L69/322Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions
    • H04L69/329Intralayer communication protocols among peer entities or protocol data unit [PDU] definitions in the application layer [OSI layer 7]

Description

【0001】
【発明の属する技術分野】
本発明は、複数の異種ネットワークに接続可能なように全く新たに発明された記憶装置システムに関し、特に記憶装置システムの起動を制御する方法に関する。
【0002】
【従来の技術】
近年コンピュータシステムで取り扱われるデータ量が急激に増加している。かかる膨大なデータを効率よく利用し管理するために、複数のディスクアレイ装置(以下、記憶装置システムと称する)と情報処理装置とを専用のネットワーク(Storage Area Network、以下SANと記す)で接続し、記憶装置システムへの高速かつ大量なアクセスを実現する技術が開発されている。記憶装置システムと情報処理装置とをSANで接続し高速なデータ転送を実現するためには、ファイバチャネルプロトコルに従った通信機器を用いてネットワークを構築するのが一般的である。
【0003】
一方、複数の記憶装置システムと情報処理装置とをTCP/IP(Transmission Control Protocol/Internet Protocol)プロトコルを用いたネットワークで相互に接続し、記憶装置システムへのファイルレベルでのアクセスを実現する、NAS(Network Attached Storage)と呼ばれるネットワークシステムが開発されている。NASにおいては、記憶装置システムに対してファイルシステム機能を有する装置が接続されているため、情報処理装置からのファイルレベルでのアクセスが可能となっている。特に最近ではミッドレンジクラスやエンタープライズクラスと呼ばれるような、巨大な記憶資源を提供するRAID(Redundant Arrays of Inexpensive Disks)方式で管理された記憶装置システムにファイルシステムを結合させた、大規模なNASが注目されている。
【0004】
【特許文献1】
特開2002−351703号公報
【0005】
【発明が解決しようとする課題】
しかしながら従来のNASは、TCP/IP通信機能及びファイルシステム機能を持たない記憶装置システムに、TCP/IP通信機能及びファイルシステム機能を持った情報処理装置を接続させることにより実現されていた。そのため、上記接続される情報処理装置の設置スペースが必要であった。また上記情報処理装置と記憶装置システムとの間は、高速に通信を行う必要性からSANで接続されていることが多く、そのための通信制御機器や通信制御機能を備える必要もあった。
【0006】
本発明は上記課題を鑑みてなされたものであり、複数の異種ネットワークに接続可能なように全く新しく発明された記憶装置システム、及びかかる記憶装置システムを発明するにあたり必要とされる記憶デバイス制御装置、及びデバイス制御装置の起動を制御する方法を提供することを主たる目的とする。
【0007】
【課題を解決するための手段】
本発明の記憶装置システムは、情報を格納する複数の記憶装置と、前記複数の記憶装置に対する情報の格納を制御する記憶装置制御部と、前記記憶装置制御部に接続される接続部と、外部の第一のネットワークに接続され、前記第一のネットワークを介して受けたファイル名指定によるデータアクセス要求を論理アドレス指定によるデータアクセス要求に変換する第一のプロセッサと、前記第一のプロセッサからの前記変換されたデータアクセス要求に応じて前記接続部及び前記記憶装置制御部を介して前記複数の記憶装置へアクセスする第二のプロセッサと、を有する第一の通信制御部と、前記第一のネットワークと異なる外部の第二のネットワークに接続され、前記第二のネットワークを介して受けたブロック単位のデータアクセス要求を論理アドレス指定によるデータアクセス要求に変換し、前記変換されたデータアクセス要求に応じて前記接続部及び前記記憶装置制御部を介して前記複数の記憶装置へアクセスする第二の通信制御部と、前記第一の通信制御部及び前記第二の通信制御部に接続される管理端末と、を備え、前記第一の通信制御部と前記第二の通信制御部とは一体的にユニット化された回路基板に設けられるものであり、前記第一の通信制御部が前記回路基板に挿入された後前記記憶装置システムに電源が投入されたときに、前記第二のプロセッサは前記第一のプロセッサに対して前記第一のプロセッサの周辺のハードウェアのハードウェア診断を要求し、前記第一のプロセッサは前記ハードウェア診断の要求を受けると前記ハードウェア診断を行い、前記第二のプロセッサは前記ハードウェア診断が終了した後前記第一のプロセッサをリセットし、前記第二のプロセッサは前記第一のプロセッサにネットブート起動を設定するための指示を含む第一の情報を前記管理端末から受け取ると、前記第一の情報を前記第一のプロセッサに送信し、前記第一のプロセッサは前記送信された第一の情報をメモリに設定し、前記メモリに設定された前記第一の情報に応じてオペレーションシステムを実現するための第二の情報を前記管理端末から取得し、前記取得した第二の情報を前記複数の記憶装置に対して前記接続部及び前記記憶装置制御部を介して転送し、前記第二のプロセッサは前記第二の情報の転送が終了した後前記第一のプロセッサをリセットし、前記第二のプロセッサは前記第二の情報が転送された複数の記憶装置からの起動を設定するための指示を含む第三の情報を前記第一のプロセッサの前記メモリに格納し、前記第一のプロセッサは前記第三の情報に基づいて前記第二の情報が転送された複数の記憶装置からの起動を制御するものである。
【0008】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【0009】
まず、本実施の形態に係る記憶装置システムの全体構成を示すブロック図を図1に示す。
(全体構成例)
記憶装置システム600は、記憶デバイス制御装置100と記憶デバイス300とを備えている。記憶デバイス制御装置100は、情報処理装置200から受信したコマンドに従って記憶デバイス300に対する制御を行う。例えば情報処理装置200からデータの入出力要求を受信して、記憶デバイス300に記憶されているデータの入出力のための処理を行う。データは、記憶デバイス300が備えるディスクドライブにより提供される物理的な記憶領域上に論理的に設定される記憶領域である論理ボリューム(Logical Unit)(以下、LUと記す)に記憶されている。また、記憶デバイス制御装置100は、情報処理装置200との間で、記憶装置システム600を管理するための各種コマンドの授受も行う。
【0010】
情報処理装置200はCPU(Central Processing Unit)やメモリを備えたコンピュータである。情報処理装置200が備えるCPUにより各種プログラムが実行されることによりさまざまな機能が実現される。情報処理装置200は、例えばパーソナルコンピュータやワークステーションであることもあるし、メインフレームコンピュータであることもある。
【0011】
図1において、情報処理装置1乃至3(200)は、LAN(Local Area Network)400を介して記憶デバイス制御装置100と接続されている。LAN400は、インターネットとすることもできるし、専用のネットワークとすることもできる。LAN400を介して行われる情報処理装置1乃至3(200)と記憶デバイス制御装置100との間の通信は、例えばTCP/IPプロトコルに従って行われる。情報処理装置1乃至3(200)からは、記憶装置システム600に対して、ファイル名指定によるデータアクセス要求(ファイル単位でのデータ入出力要求。以下、ファイルアクセス要求と記す)が送信される。
【0012】
LAN400にはバックアップデバイス910が接続されている。バックアップデバイス910は具体的にはMOやCD-R、DVD-RAMなどのディスク系デバイス、DATテープ、カセットテープ、オープンテープ、カートリッジテープなどのテープ系デバイスである。バックアップデバイス910は、LAN400を介して記憶デバイス制御装置100との間で通信を行うことにより、記憶デバイス300に記憶されているデータのバックアップデータを記憶する。またバックアップデバイス910は情報処理装置1(200)と接続されるようにすることもできる。この場合は情報処理装置1(200)を介して記憶デバイス300に記憶されているデータのバックアップデータを取得するようにする。
【0013】
記憶デバイス制御装置100は、チャネル制御部1乃至4(110)を備える。記憶デバイス制御装置100は、チャネル制御部1乃至4(110)によりLAN400を介して情報処理装置1乃至3(200)からのファイルアクセス要求を個々に受け付ける。すなわち、チャネル制御部1乃至4(110)には、個々にLAN400上のネットワークアドレス(例えば、IPアドレス)が割り当てられていてそれぞれが個別にNASとして振る舞い、個々のNASがあたかも独立したNASが存在するかのように、NASとしてのサービスを情報処理装置1乃至3(200)に提供することができる。以下、チャネル制御部1乃至4(110)をCHNと記す。このように1台の記憶装置システム600に個別にNASとしてのサービスを提供するチャネル制御部1乃至4(110)を備えるように構成したことで、従来、独立したコンピュータで個々に運用されていたNASサーバが一台の記憶システム600に集約される。そして、これにより記憶装置システム600の統括的な管理が可能となり、各種設定・制御や生涯管理、バージョン管理といった保守業務の効率化が図られる。
【0014】
なお、本実施の形態に係る記憶デバイス制御装置100のチャネル制御部1乃至4(110)は、後述するように、一体的にユニット化された回路基板上に形成されたハードウェアおよびこのハードウェアにより実行されるオペレーティングシステム(以下、OSと記す)やこのOS上で動作するアプリケーションプログラム、あるいはこのハードウェアにより実行される実行可能オブジェクトコードなどのソフトウェアにより実現される。このように本実施例の記憶装置システム600では、従来ハードウェアの一部として実装されてきた機能がソフトウェアにより実現されている。このため、本実施例の記憶装置システム600では柔軟性に富んだシステム運用が可能となり、多様で変化の激しいユーザニーズによりきめ細かなサービスを提供することが可能となる。
【0015】
情報処理装置3乃至4(200)はSAN(Storage Area Network)500を介して記憶デバイス制御装置100と接続されている。SAN500は、記憶デバイス300が提供する記憶領域におけるデータの管理単位であるブロックを単位として情報処理装置3乃至4(200)との間でデータの授受を行うためのネットワークである。SAN500を介して行われる情報処理装置3乃至4(200)と記憶デバイス制御装置100との間の通信は、一般にファイバチャネルプロトコルに従って行われる。情報処理装置3乃至4からは、記憶装置システム600に対して、ファイバチャネルプロトコルに従ってブロック単位のデータアクセス要求(以下、ブロックアクセス要求と記す)が送信される。
【0016】
SAN500にはSAN対応のバックアップデバイス900が接続されている。SAN対応バックアップデバイス900は、SAN500を介して記憶デバイス制御装置100との間で通信を行うことにより、記憶デバイス300に記憶されているデータのバックアップデータを記憶する。
【0017】
記憶デバイス制御装置5(200)は、LAN400やSAN500等のネットワークを介さずに記憶デバイス制御装置100と接続されている。情報処理装置5(200)としては例えばメインフレ−ムコンピュータとすることができる。情報処理装置5(200)と記憶デバイス制御装置100との間の通信は、例えばFICON(Fibre Connection)(登録商標)やESCON(Enterprise System Connection)(登録商標)、ACONARC(Advanced Connection Architecture)(登録商標)、FIBARC(Fibre Connection Architecture)(登録商標)などの通信プロトコルに従って行われる。情報処理装置5(200)からは、記憶装置システム600に対して、これらの通信プロトコルに従ってブロックアクセス要求が送信される。
【0018】
記憶デバイス制御装置100は、チャネル制御部7乃至8(110)により情報処理装置5(200)との間で通信を行う。以下、チャネル制御部7乃至8(110)をCHAと記す。
【0019】
SAN500には記憶装置システム600の設置場所(プライマリサイト)とは遠隔した場所(セカンダリサイト)に設置される他の記憶装置システム610が接続している。記憶装置システム610は、後述するレプリケーション又はリモートコピーの機能におけるデータの複製先の装置として利用される。なお、記憶装置システム610はSAN500以外にもATMなどの通信回線により記憶装置システム600に接続していることもある。この場合には例えばチャネル制御部110として上記通信回線を利用するためのインタフェース(チャネルエクステンダ)を備えるチャネル制御部110が採用される。
(記憶デバイス)
記憶デバイス300は、多数のディスクドライブ(物理ディスク)を備えており、情報処理装置200に対して記憶領域を提供する。データは、ディスクドライブにより提供される物理的な記憶領域上に論理的に設定される記憶領域であるLUに記憶されている。ディスクドライブとしては、例えばハードディスク装置やフレキシブルディスク装置、半導体記憶装置等さまざまなものを用いることができる。なお、記憶デバイス300は例えば複数のディスクドライブによりディスクアレイを構成するようにすることもできる。この場合、情報処理装置200に対して提供される記憶領域は、RAIDにより管理された複数のディスクドライブにより提供されるようにすることもできる。
【0020】
記憶デバイス制御装置100と記憶デバイス300との間は図1のように直接に接続される形態とすることもできるし、ネットワークを介して接続するようにすることもできる。さらに記憶デバイス300は記憶デバイス制御装置100と一体として構成されることもできる。
【0021】
記憶デバイス300に設定されるLUには、情報処理装置200からアクセス可能なユーザLUや、チャネル制御部110の制御のために使用されるシステムLU等がある。システムLUにはCHN110で実行されるOSも格納される。また各LUにはチャネル制御部110が対応付けられている。これによりチャネル制御部110ごとにアクセス可能なLUが割り当てられている。また上記対応付けは、複数のチャネル制御部110で一つのLUを共有するようにすることもできる。なお以下において、ユーザLUやシステムLUをそれぞれユーザディスク、システムディスク等とも記す。
(記憶デバイス制御装置)
記憶デバイス制御装置100は、チャネル制御部110、共有メモリ120、キャッシュメモリ130、ディスク制御部140、管理端末160及び接続部150を備える。
【0022】
チャネル制御部110は、情報処理装置200との間で通信を行うための通信インタフェースを備え、情報処理装置200との間でデータ入出力コマンド等を授受する機能を備える。例えばCHN110は情報処理装置1乃至3(200)からのファイルアクセス要求を受け付ける。これによる記憶装置システム600はNASとしてのサービスを情報処理装置1乃至3(200)に提供することができる。またCHF110は情報処理装置3乃至4(200)からのファイバチャネルプロトコルに従ったブロックアクセス要求を受け付ける。これにより記憶装置システム600は高速アクセス可能なデータ記憶サービスを情報処理装置3乃至4(200)に対して提供することができる。またCHA110は情報処理装置5(200)からのFICONやESCON、ACONARC、FIBERC等のプロトコルに従ったブロックアクセス要求を受け付ける。これにより記憶装置システム600は情報処理装置5(200)のようなメインフレームコンピュータに対してもデータ記憶サービスを提供することができる。
【0023】
各チャネル制御部110は、管理端末160とともに内部LAN151等の通信網で接続されている。これによりチャネル制御部110に実行させるマイクロプログラム等を管理端末160から送信しインストールすることが可能となっている。チャネル制御部110の構成については後述する。
【0024】
接続部150はチャネル制御部110、共有メモリ120、キャッシュメモリ130及びディスク制御部140と接続されている。チャネル制御部110、共有メモリ120、キャッシュメモリ130及びスク制御部140間でのデータやコマンドの授受は、接続部150を介することにより行われる。接続部150は、例えば高速スイッチングによりデータ伝送を行う超高速クロスバスイッチなどのスイッチ、又はバス等で構成される。チャネル制御部110同士がスイッチで接続されていることで、個々のコンピュータ上で動作するNASサーバがLANを通じて接続する従来の構成に比べてチャネル制御部110間の通信パフォーマンスが大幅に向上している。また、これにより高速なファイル共有機能や高速フェイルオーバなどが可能となる。
【0025】
共有メモリ120およびキャッシュメモリ130は、チャネル制御部110、ディスク制御部140により共有される記憶メモリである。共有メモリ120は主に制御情報やコマンド等を記憶する為に利用されるのに対し、キャッシュメモリ130は主にデータを記憶するために利用される。
【0026】
例えば、あるチャネル制御部110が情報処理装置200から受信したデータ入出力コマンドが書き込みコマンドであった場合には、当該チャネル制御部110は、書き込みコマンドを共有メモリ120に書き込むとともに、情報処理装置200から受信した書き込みデータをキャッシュメモリ130に書き込む。一方、ディスク制御部140は共有メモリ120を監視しており、共有メモリ120に書き込みコマンドが書き込まれたことを検出すると、当該コマンドに従ってキャッシュメモリ130から書き込みデータを読み出して記憶デバイス300に書き込む。 また、例えば、あるチャネル制御部110が情報処理装置200から受信したデータ入出力コマンドが読み出しコマンドであった場合には、当該チャネル制御部110は、読み出しコマンドを共有メモリ120に書き込むとともに、情報処理装置200から読み出しコマンドによって要求されたデータをキャッシュメモリ130から読み出す。仮に読み出しコマンドによって要求されたデータがキャッシュメモリ130に書き込まれていなかった場合、チャネル制御部110又はディスク制御部140は、読み出しコマンドによって要求されたデータを記憶デバイス300から読み出して、キャッシュメモリ130に書き込む。
【0027】
なお、上記の本実施の形態においては、共有メモリ120及びキャッシュメモリ130がチャネル制御部110及びディスク制御部140に対して独立に設けられていることについて記載されているが、本実施の形態はこの場合に限られるものでなく、共有メモリ120又はキャッシュメモリ130がチャネル制御部110及びディスク制御部140の各々に分散されて設けられることも好ましい。この場合、接続部150は、分散された共有メモリ又はキャッシュメモリを有するチャネル制御部110及びディスク制御部140を相互に接続させることになる。
【0028】
ディスク制御部140は、記憶デバイス300の制御を行う。例えば上述のように、チャネル制御部110が情報処理装置200から受信したデータ書き込みコマンドに従って記憶デバイス300へデータの書き込みを行う。また、チャネル制御部110により送信された論理アドレス指定によるLUへのデータアクセス要求を、物理アドレス指定による物理ディスクへのデータアクセス要求に変換する。記憶デバイス300における物理ディスクがRAIDにより管理されている場合には、RAID構成に従ったデータのアクセスを行う。またディスク制御部140は、記憶デバイス300に記憶されたデータの複製管理の制御やバックアップ制御を行う。さらにディスク制御部140は、災害発生時のデータ消失防止(ディザスタリカバリ)などを目的として、プライマリサイトの記憶装置システム600のデータの複製をセカンダリサイトに設置された他の記憶装置システム610にも記憶する制御(レプリケーション機能、またはリモートコピー機能)なども行う。
【0029】
各ディスク制御部140は管理端末160とともに内部LAN151等の通信網で接続されており、相互に通信を行うことが可能である。これにより、ディスク制御部140に実行させるマイクロプログラム等を管理端末160から送信しインストールすることが可能となっている。ディスク制御部140の構成については後述する。
(管理端末)
管理端末160は記憶装置システム600を保守・管理するためのコンピュータである。管理端末160を操作することにより、例えば記憶デバイス300内の物理ディスク構成の設定や、LUの設定、チャネル制御部110において実行されるマイクロプログラムのインストール等を行うことができる。ここで、記憶デバイス300内の物理ディスク構成の設定としては、例えば物理ディスクの増設や減設、RAID構成の変更(RAID1からRAID5への変更等)等を行うことができる。さらに管理端末160からは、記憶装置システム600の動作状態の確認や故障部位の特定、チャネル制御部110で実行されるOSのインストール等の作業を行うこともできる。また管理端末160はLANや電話回線等で外部保守センタと接続されており、管理端末160を利用して記憶装置システム600の障害監視を行ったり、障害が発生した場合に迅速に対応することも可能である。障害の発生は例えばOSやアプリケーションプログラム、ドライバソフトウェアなどから通知される。この通知はHTTPプロトコルやSNMP(Simple Network Management Protocol)、電子メールなどにより行われる。これらの設定や制御は、管理端末160で動作するWebサーバが提供するWebページをユーザインタフェースとしてオペレータなどにより行われる。オペレータ等は、管理端末160を操作して障害監視する対象や内容の設定、障害通知先の設定などを行うこともできる。
【0030】
管理端末160は記憶デバイス制御装置100に内蔵されている形態とすることもできるし、外付けされている形態とすることもできる。また管理端末160は、記憶デバイス制御装置100及び記憶デバイス300の保守・管理を専用に行うコンピュータとすることもできるし、汎用のコンピュータに保守・管理機能を持たせたものとすることもできる。
【0031】
管理端末160の構成を示すブロック図を図2に示す。
【0032】
管理端末160は、CPU161、メモリ162、ポート163、記録媒体読み取り装置164、入力装置165、出力装置166及び記憶装置168を備える。
【0033】
CPU161は、管理端末160の全体の制御を司るもので、メモリ162に格納されたプログラム162cを実行することにより上記Webサーバとしての機能等を実現する。メモリ162には、物理ディスク管理テーブル162aとLU管理テーブル162bとプログラム162cとが記憶されている。
【0034】
物理ディスク管理テーブル162aは、記憶デバイス300に備えられる物理ディスク(ディスクドライブ)を管理するためのテーブルである。物理ディスク管理テーブル162aを図3に示す。図3においては、記憶デバイス300が備える多数の物理ディスクのうち、ディスク番号#001乃至#006までが示されている。それぞれの物理ディスクに対して、容量、RAID構成、使用状況が示されている。
【0035】
LU管理テーブル162bは、上記物理ディスク上に論理的に設定されるLUを管理するためのテーブルである。LU管理テーブル162bを図4に示す。図4においては、記憶デバイス300上に設定される多数のLUのうち、LU番号#1乃至#3までが示されている。それぞれのLUに対して、物理ディスク番号、容量、RAID構成が示されている。
【0036】
記憶媒体読取装置164は、記録媒体167に記録されているプログラムやデータを読み取るための装置である。読み取られたプログラムやデータはメモリ162や記憶装置168に格納される。従って、例えば記録媒体167に記録されたプログラム162cを、記録媒体読取装置164を用いて記録媒体167から読み取って、メモリ162や記憶装置168に格納するようにすることができる。記録媒体167としてはフレキシブルディスクやCD−ROM、半導体メモリ等を用いることができる。記録媒体読取装置162は管理端末160に内蔵されている形態とすることもできる。記憶装置168は、例えばハードディスク装置やフレキシブルディスク装置、半導体記憶装置等である。入力装置165は、オペレータ等による管理端末160へのデータ入力等のために用いられる。入力装置165としては例えばキーボードやマウス等が用いられる。出力装置166は、情報を外部に出力するための装置である。出力装置166としては例えばディスプレイやプリンタ等が用いられる。ポート163は内部LAN151に接続されており、これにより管理端末160はチャネル制御部110やディスク制御部140等と通信を行うことができる。またポート163は、LAN400に接続するようにすることもできるし、電話回線に接続するようにすることもできる。
(外観図)
次に、本実施の形態に係る記憶装置システム600の外観構成を図5に示す。また、記憶デバイス制御装置100の外観構成を図6に示す。
【0037】
図5に示すように、本実施の形態に係る記憶装置システム600は記憶デバイス制御装置100および記憶デバイス300がそれぞれの筐体に収められた形態をしている。記憶デバイス制御装置100の筐体の両側に記憶デバイス300の筐体が配置されている。
【0038】
記憶デバイス制御装置100は、正面中央部に管理端末160が備えられている。管理端末160はカバーで覆われており、図6に示すようにカバーを開けることにより管理端末160を使用することができる。なお図6に示した管理端末160はいわゆるノート型パーソナルコンピュータの形態をしているが、どのような形態とすることも可能である。
【0039】
管理端末160の下部には、チャネル制御部110を装着するためのスロットが設けられている。各スロットにはチャネル制御部110のボードが装着される。本実施の形態に係る記憶装置システム600においては、例えばスロットは8つあり、図5および図6には8つのスロットにチャネル制御部110を装着するためのガイドレールが設けられている。ガイドレールに沿ってチャネル制御部110をスロットに挿入することにより、チャネル制御部110を記憶デバイス制御装置100に装着することができる。また各スロットに装着されたチャネル制御部110は、ガイドレールに沿って手前方向に引き抜くことにより取り外すことができる。また各スロットの奥手方向正面部には、各チャネル制御部110を記憶デバイス制御装置100と電気的に接続するためのコネクタが設けられている。チャネル制御部110には、CHN、CHF、CHAがあるが、いずれのチャネル制御部110もサイズやコネクタの位置、コネクタのピン配列等に互換性をもたせているため、8つのスロットにはいずれのチャネル制御部110も装着することが可能である。従って、例えば8つのスロット全てにCHN110を装着するようにすることもできる。また例えば図1に示したように、4枚のCHN110と、2枚のCHF110と、2枚のCHA110とを装着するようにすることもできる。チャネル制御部110を装着しないスロットを設けることもできる。
【0040】
なお、上述したように、チャネル制御部110は上記各スロットに装着可能なボード、すなわち同一のユニットに形成された一つのユニットとして提供されるが、上記同一のユニットは複数枚数の基板から構成されているようにすることもできる。つまり、複数枚数の基板から構成されていても、各基板が相互に接続されて一つのユニットとして構成され、記憶デバイス制御装置100のスロットに対して一体的に装着できる場合は、同一の回路基板の概念に含まれる。
【0041】
ディスク制御部140や共有メモリ120等の、記憶デバイス制御装置100を構成する他の装置については図5および図6には示されていないが、記憶デバイス制御装置100の背面側当に装着されている。
【0042】
また記憶デバイス制御装置100には、チャネル制御部110等から発生する熱を放出するためのファン170が設けられている。ファン170は記憶デバイス制御装置100の上面部に設けられるほか、チャネル制御部110用スロットの上部にも設けられている。
【0043】
ところで、筐体に収容されて構成される記憶デバイス制御装置100および記憶デバイス300としては、例えばSAN製品として製品化されている従来構成の装置を利用することができる。特に上記のようにCHNのコネクタ形状を従来構成の筐体に設けられているスロットにそのまま装着できる形状とすることとで従来構成の装置をより簡単に利用することができる。つまり、本実施例の記憶装置システム600は、既存の製品を利用することで容易に構築することができる。
【0044】
さらに、本実施の形態によれば、記憶装置システム600内にCHN110、CHF110、CHA110を混在させて装着させることにより、異種ネットワークに接続される記憶装置システムを実現できる。具体的には、記憶装置システム600は、CHN110を用いてLAN140に接続し、かつCHF110を用いてSAN500に接続するという、SAN−NAS統合記憶装置システムである。
(チャネル制御部)
本実施の形態に係る記憶装置システム600は、上述の通りCHN110により情報処理装置1乃至3(200)からのファイルアクセス要求を受け付け、NASとしてのサービスを情報処理装置1乃至3(200)に提供する。
【0045】
CHN110のハードウェア構成を図7に示す。この図に示すようにCHN110のハードウェアは一つのユニットで構成される。以下、このユニットのことをNASボードと記す。NASボードは一枚もしくは複数枚の回路基板を含んで構成される。より具体的には、NASボードは、ネットワークインタフェース部111、入出力制御部114、ボード接続用コネクタ116、通信コネクタ117及びファイルサーバ部800を備え、これらが同一のユニットに形成されて構成されている。さらに、入出力制御部114は、NVRAM(Non Volatile RAM)115及びI/O(Input/Output)プロセッサ119を有する。
【0046】
ネットワークインタフェース部111は、情報処理装置200との間で通信を行うための通信インタフェースを備えている。CHN110の場合は、例えばTCP/IPプロトコルに従って情報処理装置200から送信されたファイルアクセス要求を受信する。通信コネクタ117は、情報処理装置200との間で通信を行うためのコネクタである。CHN110の場合は、LAN400に接続可能なコネクタであり、例えばイーサネット(登録商標)に対応している。
【0047】
ファイルサーバ部800は、CPU112、メモリ113、BIOS(Basic Input/Output System)801及びNVRAM804を有する。CPU112は、CHN110をNASボードとして機能させるための制御を司る。CPU112は、NFS又はCIFS等のファイル共有プロトコル及びTCP/IPの制御、ファイル指定されたファイルアクセス要求の解析、メモリ113内の制御情報へのファイル単位のデータと記憶デバイス300内のLUとの変換テーブル(図示せず)を用いた相互変換、記憶デバイス300内のLUに対するデータ書き込み又は読み出し要求の生成、データ書き込み又は読み出し要求のI/Oプロセッサ119への送信等を処理する。BIOS801は、例えばCHN110に電源が投入された際に、CPU112を起動する過程で最初にメモリ113にロードされ実行されるソフトウェアであり、例えばフラッシュメモリなどの不揮発性の媒体に保存されてCHN110上に実装されている。CPU112は、BIOS801からメモリ113上に読み込まれたソフトウェアを実行することにより、CHN21上のCPU112が関係する部分の初期化、診断などを行うことができる。さらに、CPU112は、BIOS801からI/Oプロセッサ119にコマンドなどの指示を発行することにより、記憶デバイス300から所定のプログラム、例えばOSのブート部などをメモリ113に読み込むことができる。読み込まれたOSのブート部は、さらに記憶デバイス300に格納されているOSの主要部分をメモリ113に読み込む動作をし、これによりCPU112上でOSが起動され、例えばファイルサーバとしての処理が実行できるようになる。また、ファイルサーバ部800は、PXE(Preboot eXecution Environment)などの規約にしたがうネットワークブートローダを格納するNVRAM804を実装し、後述するネットワークブートを行わせることも可能である。
【0048】
メモリ113にはさまざまなプログラムやデータが記憶される。例えば図8に示すメタデータ730やロックテーブル720、また図16に示されるNASマネージャ706等の各種プログラムが記憶される。メタデータ730は、ファイルシステムが管理しているファイルに対応させて生成される情報である。メタデータ730には例えばファイルのデータが記憶されているLU上のアドレスやデータサイズなど、ファイルの保管場所を特定するための情報が含まれる。メタデ−タ730にはファイルの容量、所有者、更新時刻等の情報が含まれることもある。また、メタデータ730はファイルだけでなくディレクトリに対応させて生成されることもある。メタデータ730の例を図9に示す。メタデータ730は記憶デバイス300上の各LUにも記憶されている。
【0049】
ロックテーブル720は、情報処理装置1乃至3(200)からのファイルアクセスに対して排他制御を行うためのテーブルである。排他制御を行うことにより情報処理装置1乃至3(200)でファイルを共用することができる。ロックテーブル720を図10に示す。図10に示すようにロックテーブル720には、ファイルロックテーブル721とLUロックテーブル722とがある。ファイルロックテーブル721は、ファイルごとにロックが掛けられているか否かを示すためのテーブルである。いずれかの情報処理装置200によりあるファイルがオープンされている場合に当該ファイルにロックが掛けられる。ロックが掛けられたファイルに対する他の情報処理装置200によるアクセスは禁止される。LUロックテーブル722は、LUごとにロックが掛けられているか否かを示すためのテーブルである。いずれかの情報処理装置200により、あるLUに対するアクセスが行われている場合に当該LUにロックが掛けられる。ロックが掛けられたLUに対する他の情報処理装置200によるアクセスは禁止される。
【0050】
入出力制御部114は、ディスク制御部140キャッシュメモリ130、共有メモリ120及び管理端末160との間でデータやコマンドの授受を行う。入出力制御部114はI/Oプロセッサ119及びNVRAM115を備えている。I/Oプロセッサ119は例えば1チップのマイコンで構成される。I/Oプロセッサ119は、記憶デバイス300内のLUに対するデータ書き込み又は読み出し要求やデータの授受を制御し、CPU112とディスク制御部140との間の通信を中継する。NVRAM115はI/Oプロセッサ119の制御を司るプログラムを格納する不揮発性メモリである。NVRAM115に記憶されるプログラムの内容は、管理端末160や、後述するNASマネージャ706からの指示により書き込みや書き換えを行うことができる。
【0051】
図11は、CHN110上のCPU112とI/Oプロセッサ119との通信経路について具体的に示す。I/Oプロセッサ119と、CPU112は、CHN110上に実装された通信メモリ802、ハードウェアレジスタ群803で物理的に接続されている。通信メモリ802およびハードウェアレジスタ群803は、それぞれCPU112およびI/Oプロセッサ119のいずれからもアクセスが可能である。ハードウェアレジスタ群803は、CPU112に対して電源を投入又は切断する回路に接続される。これにより、I/Oプロセッサ119は、ハードウェアレジスタ群803にアクセスすることによって、ハードウェアレジスタ群803を介してCPU112の電源を操作することが可能となる。ハードウェアレジスタ群803は、必要に応じて、CPU112あるいはI/Oプロセッサ119がハードウェアレジスタ群803にアクセスを行った際に、アクセス対象の相手先に割り込み信号などを生成して、アクセスが行われたことを通知する等の複数の機能を有する。これら複数の機能は、ハードウェアレジスタ群803を構成する各レジスタにそれぞれハードウェア的に割り当てられる。
【0052】
CHN110上の通信メモリ802に格納されるデータ構造の例を、図12及び図13に示す。図12は、I/Oプロセッサ119からCPU112へ情報を受け渡すために使用されるデータ構造であり、図13は、CPU112からI/Oプロセッサ119へ情報を受け渡すために使用されるデータ構造である。CPU112とI/Oプロセッサ119との間でやり取りされる情報は、主に、電源投入などを契機として、CPU112及びI/Oプロセッサ119が起動する際に授受される情報群である。
【0053】
I/Oプロセッサ119からCPU112に渡される情報としては、起動デバイス種別、診断実行フラグ、複数のドライブ番号、時刻情報、コマンドリトライ回数、コマンドタイムアウト値及び複数の温度情報がある。起動デバイス種別は、CPU112が起動するときに、BIOS801の制御によって起動されるデバイスの種類であり、例えばネットワーク、ディスクドライブなどの種別がある。ドライブ番号は、起動デバイス種別がディスクドライブであったときに、OSのロード元のディスクドライブを選択するための番号である。なお、本実施の形態においては、記憶デバイス300内にLUという概念を有しており、LUに対してOS等が格納されているため、LU毎に区別されるLU番号をドライブ番号と考える。ドライブ番号には例えば優先度が設けられており、仮にドライブ番号0がドライブ番号1に優先する場合、CPU112は、まずドライブ番号0に指定されているLUからの起動を試みて、その起動が失敗した場合に、ドライブ番号1に指定されているLUからの起動を試みるというような動作が可能である。診断実行フラグは、CPU112が起動する際に、I/Oプロセッサ119からBIOS801に対して、ファイルサーバ部800周辺のハードウェア診断を実行するか否かを指示することに利用される。例えば、ファイルサーバ部800の初期化が完了した時点で、CPU112のみを再起動したような場合には、BIOS801が再度ハードウェア診断を実行することを要しない。このような場合に、I/Oプロセッサ119が診断実行フラグを適宜設定することよって、CPU112によるファイルサーバ部800のハードウェア診断の再度実行を抑止できる。時刻情報は、CPU112上でBIOS112やOSが動作する際に使用される。I/Oプロセッサ114は、管理端末160から時刻情報を取得して、CPU112に渡されるる。これにより、管理端末160、I/Oプロセッサ114及びCPU112は、これらの三者間で時刻情報の同期をとることが可能となる。コマンドリトライ回数、コマンドタイムアウト値は、CPU112からI/Oプロセッサ119に発行されたコマンドが失敗したときのCPU112上のBIOS801あるいはOSの動作、及びタイムアウトの条件等である。温度情報は、CPU112が自らの温度変化の異常を検知できるようにするために、CPU112に対して設定される値である。
【0054】
このように、本実施の形態によれば、I/Oプロセッサ114が、起動デバイス種別、ドライブ番号、時刻情報、コマンドリトライ回数、コマンドタイムアウト値及び複数の温度情報などの値を自由に設定することができる。なお、本実施の形態はこの場合に限られることなく、これらの値がBIOSの不揮発性メモリ内に初期値として格納されることも好ましい。また、これらの値がオペレータによって管理端末160から入力されることにより、又はこれらの値が管理端末160のメモリ上に予め登録されることにより、管理端末160からI/Oプロセッサ114に対して渡されることとすることも好ましい。診断実行フラグは、I/Oプロセッサ114の起動中の論理的な判断によって設定され、又はオペレータによって設定される。I/Oプロセッサ114の起動中の論理的な判断によって診断実行フラグが設定される場合には、CPU112の動作、又はCPU112上にロードされて動作するBIOS801の動作をI/Oプロセッサ119から制御することが可能である。
【0055】
図13は、CPU112からI/Oプロセッサ119へ情報を受け渡すためのデータ構造である。BIOSバージョンは、BIOS801のオブジェクトコードのバージョンであり、CPU112からI/Oプロセッサ119に渡され、さらにI/Oプロセッサ119から管理端末160に渡される。MACアドレスは、CPU112のMACアドレスである。MACアドレスは、ハードウェア的に世界で一意な識別子であり、IPプロトコルによってIPアドレスをLAN上のDHCPサーバに割り当てる時などに必要な情報である。なお、0パディング情報はワード境界を埋めるためのものであり、情報とは無関係である。
【0056】
図14は、CPU112とI/Oプロセッサ119とを、内部LAN151によって接続しているハードウェア構成図である。このように、CPU112とI/Oプロセッサ119とは、ともに内部LAN151によっても接続されており、内部LAN151を介して管理端末160との通信が可能である。これにより、例えば、CPU112は、NVRAM804に予め格納されているネットワークブートローダを実行することにより、管理端末160から起動用のソフトウェアをメモリ113にダウンロードし、起動用のソフトウェアを実行することができる。これによって例えば、管理端末160をサーバとし、CPU112をクライアントとするネットワークブートプロセスが実行される。なお、ネットワークブートは、例えばPXEなどの規約に従い、クライアント上のネットワークブートローダと管理端末160上で動作するサーバとが、IPプロトコル、DHCP、TFTP、FTPなどのプロトコルを組み合わせることにより、LAN上の管理端末160に存在するOSのブートイメージを起動及び実行する方法である。
【0057】
図15は、ディスク制御部140のハードウェア構成を示すブロック図である。既に述べた通り、ディスク制御部は、記憶デバイス300に接続されるとともに接続部150を介してCHN112に接続され、ディスク制御部140独自で、又はCHN112によって制御されることにより、記憶デバイス300に対してデータの読み書きを行う。
【0058】
ディスク制御部140は、インタフェース部141、メモリ143、CPU142、NVRAM144及びボード接続用コネクタ145を備え、これらが一体的なユニットとして形成されている。
【0059】
インタフェース部141は、接続部150を介してチャネル制御部110等と通信を行うための通信インタフェース、記憶デバイス300と通信を行うための通信インタフェース、内部LAN151を介して管理端末160と通信を行うための通信インタフェースを備えている。
【0060】
CPU142は、ディスク制御部140全体の制御を司るとともに、チャネル制御部110や記憶デバイス300、管理端末160との間の通信を行う。メモリ143やNVRAM144に格納された各種プログラムを実行することにより本実施の形態に係るディスク制御部140の機能が実現される。ディスク制御部140により実現される機能としては、記憶デバイス300の制御やRAID制御、記憶デバイス300に記憶されたデータの複製管理やバックアップ制御、リモートコピー制御等である。
【0061】
NVRAM144はCPU142の制御を司るプログラムを格納する不揮発性メモリである。NVRAM144に記憶されるプログラムの内容は、管理端末160や、NASマネージャ706からの指示により書き込みや書き換えを行うことができる。
【0062】
またディスク制御部140はボード接続用コネクタ145を備えている。ボード接続用コネクタ145が記憶デバイス制御装置100側のコネクタと接続することにより、ディスク制御部140は、記憶デバイス制御装置100と電気的に接続される。
(ソフトウェア構成図)
図16は、本実施の形態に係る記憶装置システム600におけるソフトウェア構成図である。既に述べたように、CHN110上には、CPU112およびI/Oプロセッサ119が存在する。CPU112およびI/Oプロセッサ119は、それぞれ1つずつであってもよいし、それぞれ複数存在してもよい。CPU112上では、OS701とNASマネージャ706等の多様なアプリケーションとが実行されることにより、CPU112はNASサーバとして動作する。I/Oプロセッサ119上では、コントローラとしてのマイクロプログラムが動作している。ディスク制御部140では、RAID制御部740がCPU142上で動作している。管理端末160の上では、CPU161がネットブートサーバ703として動作する。ネットブートサーバ703は、記録媒体167又は記憶装置168等から内部LAN151を介して、ミニカーネル704、OSイメージ705等をCHN110上のCPU112に転送する。ネットブートサーバ703は、例えば、DHCP(Dynamic Host Configuration Protocol)サーバなどを有し、CPU112、CPU161及びI/Oプロセッサ119にIPアドレス又はMACアドレスを割り当てる等して、管理端末160とCPU112、CPU161及びI/Oプロセッサ119との間の転送を行う。ネットブートを行うとき、例えば、CPU112は、クライアントとして、ネットブートサーバ703に対してDHCP要求及びファイル転送要求等を要求する。CPU112は、ネットブートの手順を経て、CPU112上でミニカーネル704を動作させることになる。最終的に、CPU112は、I/Oプロセッサ119を経由してOSイメージ705を記憶デバイス300にインストールさせる。
【0063】
なお、図16は、情報処理装置200のソフトウェア構成についても明示してある。情報処理装置200は、NFS(Network File System)711を有するもの、又はCIFS(Common Internet File System)713を有するものが存在する。NFS711は、主にUNIX(登録商標)系のオペーティングシステム714によって用いられるファイル共有プロトコルであり、CIFS713は、主にWindows(登録商標)系のOS715によって用いられるファイル共有プロトコルである。
(記憶装置システムの起動処理及びインストール処理)
CHN110に電源を投入した際に、CHN110等が起動する手順について説明する。起動手順を経ることにより、CHN110は、NASサーバとして動作することとなる。CHN110に電源を投入するためには、例えば予め記憶装置システム600に対してCHN110を挿入した後に、記憶装置システム600自体の電源を投入する方法がある。また、既に電源の投入されている記憶装置システム600に対し、あらたにCHN110を挿入することにより、CHN110の電源回路に記憶装置システム600から給電を行い、CHN110に電源を投入する方法もある。ここでは前者の、予め記憶装置システム600に対してCHN110を挿入した後に、記憶装置システム600自体の電源を投入する方法について説明する。
【0064】
図17は、記憶装置システム600に電源を投入し、OSイメージ705を管理端末160から記憶デバイス300にインストールし、記憶デバイス300にインストールされたOSから起動してNASシステムとして動作するまでの流れが示されたものである。図17は、CPU112、I/Oプロセッサ119、管理端末160及び記憶デバイス300を関連づけながら示されたものである。図の上から下に向かって時間が経過してゆく。図中において、実線の矢印は制御情報の伝達を示し、点線の矢印はOSファイルなどのデータの流れを示す。
【0065】
以下、順を追って説明する。
【0066】
はじめに記憶装置システム600に電源が投入される(CPU112−ステップ1、I/Oプロセッサ119−ステップ1、管理端末160−ステップ1、記憶デバイス300−ステップ1)。電源の投入に応じて、CPU112は、自動的にBIOSの起動を始める(CPU112−ステップ2)。I/Oプロセッサ119は、CHN110内のハードウェアの初期化を行う(I/Oプロセッサ119−ステップ2)。管理端末160では、端末上のOSおよびソフトウェアが起動される(管理端末160−ステップ2)。記憶デバイス300では、ディスクドライブの起動が行われ、スピンアップ動作が行われる(記憶デバイス300−ステップ2)。ディスクドライブのスピンアップの際には物理的な回転運動とその安定、ハードウェア診断などが行われるため、ある程度の時間を要する。ここでは、およそCPU112が二度目の起動を行った時期にスピンアップが完了するように制御している(記憶デバイス300−ステップ8)。
【0067】
CPU112上では、BIOS801がI/Oプロセッサ119からの指示を待つ状態になっている(CPU112−ステップ3)。I/Oプロセッサ119は、自身の初期化及びCHN110内のハードウェアの初期化が終了すると、CPU112に対して、診断開始要求を発行することにより、ハードウェア診断の開始を指示する(I/Oプロセッサ119−ステップ4)。このとき、診断開始要求は、通信メモリ802あるいはハードウェアレジスタ群803、又はその双方を用いて伝達される。
【0068】
CPU112は、診断開始要求を検出すると、ハードウェアの診断を開始する(CPU112−ステップ4)。ハードウェアの診断が終了した場合(CPU112−ステップ5)、CPU112は、自身に設けられた内部LAN151用ポートに予め設定されているMACアドレスを通信メモリ802に格納する(CPU112−ステップ6)。I/Oプロセッサ119は、MACアドレスが通信メモリ802に格納されたことを検知すると(I/Oプロセッサ119−ステップ6)、ハードウェアレジスタ群803にアクセスすることによりCPUリセット指示を発行し、を行い、CPU112を物理的にリセットさせる(I/Oプロセッサ119−ステップ7)。これにより、CPU112は、一次的に電源が落とされた後、電源が再投入された状態となる(CPU112−ステップ7)。CPU112は、再度BIOS起動動作を行い(CPU112−ステップ8)、再びI/Oプロセッサ119からの指示を待つ状態になる(CPU112−ステップ9)。
【0069】
管理端末160は、起動を完了した場合、インストール操作を開始する。インストール操作は、オペレータによって行われることも良いし、予め設定されたプログラムに従ってCPU161の制御によって実行されることも良い。以下においては、インストール操作はオペレータによって行われ、管理端末160上のCPU161がオペレータの入力装置165に対する入力に応じた処理を行うこととする。インストール操作が開始された後、管理端末160は、MACアドレスをI/Oプロセッサ119に対して問い合わせて、I/Oプロセッサ119からCPU112のMACアドレスを取得する(管理端末160−ステップ10)。オペレータは、OSが起動してからのコマンドリトライ回数、タイムアウト時間、温度情報などを入力し設定する。(管理端末160−ステップ11)。オペレータによって入力されたこれらの値は、管理端末160から内部LAN151を介してCHN110のI/Oプロセッサ119に送信される。また、オペレータは、管理端末160に対して、OSを新規にインストールするように指示を出す。オペレータが起動デバイス種別をネットブートと設定することにより、OSインストール指示は、管理端末160からI/Oプロセッサ119に伝達される(管理端末160−ステップ11)。
【0070】
I/Oプロセッサ119はOSインストール指示を受領すると、記憶デバイス300が使用可能になっているかどうかを判断するために、ドライブスピンアップ判定を行う(I/Oプロセッサ119−ステップ12)。記憶デバイス300は既にスピンアップ状態となっているので(記憶デバイス300−ステップ8)、I/Oプロセッサ119は、ドライブスピンアップ完了を検出する(I/Oプロセッサ119−ステップ13)。ここでドライブスピンアップ完了を検出できなかった場合、I/Oプロセッサ119は、管理端末160に対してエラー応答を行うことによって、ドライブがまだスピンアップしていないことを通知する。ドライブスピンアップ完了を検出した場合、I/Oプロセッサ119は、管理端末160から受領した温度情報、コマンドリトライ回数及びリトライタイムアウト時間等の値に加えて、診断実行フラグ及び起動デバイス種別を、通信メモリ802に格納する(I/Oプロセッサ119−ステップ14。ハードウェア診断については、すでに(CPU112−ステップ4)および(CPU112−ステップ5)で完了しているため、再度行う必要はない。したがって、I/Oプロセッサ119は、診断実行フラグに対してハードウェア診断のスキップを指示させる値を格納する。また、CPU112は、I/Oプロセッサ指示待ち(CPU112−ステップ9)後の起動において、管理端末160上に存在するOSイメージ705を記憶デバイス300にインストールする必要がある。したがって、I/Oプロセッサ119は、起動デバイス種別としてネットブートを指定して、通信メモリ802に格納する(I/Oプロセッサ119−ステップ14)。I/Oプロセッサ119は、通信メモリ802に種々の情報が格納されたら、ハードウェアレジスタ群803にアクセスして、情報が格納されたことをCPU112に対して通知する(I/Oプロセッサ119−ステップ15)。この通知は、CPU112に対して処理実行を指示する目的を持つ。
【0071】
CPU112は、I/Oプロセッサ119からの処理続行の指示を検知する(CPU112−ステップ15)。CPU112は、温度情報、コマンドリトライ回数、リトライタイムアウト時間、診断実行フラグ及び起動デバイス種別を通信メモリ802から取得する(CPU112−ステップ16)。起動デバイス種別がネットブートを指示しているため、CPU112は、ネットブート処理を開始する(CPU112−ステップ17)。ネットブートは、CPU112上で動作するブートローダと管理端末160上で動作するネットブートサーバ703とが相互に内部LAN151を通じてデータを通信することにより、進行される。ネットブートサーバ703は、(管理端末160−ステップ10)で取得されたCPU112のMACアドレス情報を用いて、通信する。CPU112は、PXEなどの規約に従って、管理端末160上のネットブートサーバ703に対してネットブート要求を発行する(CPU112−ステップ18)。管理端末160は、内部LAN151を介してネットブート要求を受領する(管理端末160−ステップ18)。ネットブート動作中において、CPU112はネットブートクライアントとして動作する(CPU112−ステップ19)。一方、管理端末160は、ネットブートサーバとして動作する(管理端末160−ステップ19)。ネットブート処理における通信の結果、管理端末160は、ミニカーネル704をCPU112上にダウンロードさせる。CPU112上にダウンロードされたミニカーネル704は、管理端末160上のOSイメージ705を記憶デバイス300に転送させる(CPU112−ステップ20)。この場合、OSイメージ705は、CHN110上のCPU112の制御に従って、I/Oプロセッサ119、キャッシュメモリ130及びディスク制御部140を介して、記憶デバイス300に対してインストールされる。インストール処理が完了した場合、CPU112は、インストール完了通知をI/Oプロセッサ119に対して発行する(CPU112−ステップ21)。I/Oプロセッサ119は、インストール完了通知を検出した場合(I/Oプロセッサ119−ステップ21)、ハードウェアレジスタ群803にアクセスすることによりCPUリセット指示を発行し、CPU112をリセットさせる(I/Oプロセッサ119−ステップ22)。これにより、CPU112は、電源が再投入された状態になる(CPU112−ステップ22)。CPU112は、再度BIOS801を起動し(CPU112−ステップ23)、再びI/Oプロセッサ119からの指示を待つ状態になる(CPU112−ステップ24)。
【0072】
I/Oプロセッサ119は、時刻情報、起動デバイス種別及び起動ドライブ番号情報を、通信メモリ802に格納する(I/Oプロセッサ119−ステップ25)。この場合、I/Oプロセッサ119は、起動デバイス種別をディスクドライブと設定する。I/Oプロセッサ119は、ハードウェアレジスタ群803にアクセスすることにより、CPU112に対して処理続行指示を発行する(I/Oプロセッサ119−ステップ26)。
【0073】
CPU112は、CPU処理続行指示を検出した場合(CPU112−ステップ26)、通信メモリ802から時刻情報を取得して(CPU112−ステップ27)、I/Oプロセッサ119に対してコマンドを発行することによりディスクブートを開始させる(CPU112−ステップ28)。CPU112は、I/Oプロセッサ119を介して、記憶デバイス300に格納されているOSイメージ705をロードさせる(CPU112−ステップ29)。この場合、OSイメージ705は、ディスク制御部140、キャッシュメモリ130及びI/Oプロセッサ119を介して、記憶デバイス300からCPU112に対してロードされる。
【0074】
OSイメージ705がCPU112にロードされた場合、CPU112の処理がBIOS801からOSイメージ705に移り、OSが起動される(CPU112−ステップ30)。これにより、CHN110はNASとして動作できるようになり、記憶装置システム600はNASシステムとして起動できる(CPU112−ステップ31)。
【0075】
このように、本実施の形態によれば、記憶装置システム600の電源投入に際してI/Oプロセッサ119がCPU112を制御することにより、ネットワークを介したOSの新規インストール、ディスクからのOSのブートが可能となる。さらに、CHN110上のCPU112及びI/Oプロセッサ119等、管理端末160上のCPU161等、ディスク制御部140上のCPU142等、及び記憶デバイス300とが協働することにより、短時間で効率的な記憶装置システム600の起動、及びソフトウェアのインストールを達成することができる。
【0076】
本実施の形態は、予め記憶装置システム600に対してCHN110を挿入した後に、記憶装置システム600自体の電源を投入する方法について説明したが、本実施の形態はこの場合に限られるものでなく、既に電源の投入されている記憶装置システム600に対してあらたにCHN110を挿入することによりCHN110に電源を投入する方法を取ることも好ましい。
【0077】
以上本実施の形態について説明したが、上記実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得るとともに、本発明にはその等価物等も含まれる。
【0078】
【発明の効果】
本発明によれば、複数の異種ネットワークに接続可能なように全く新しく発明された記憶装置システムを提供することができ、さらに、かかる記憶装置システムを発明するにあたり必要とされる記憶デバイス制御装置、及びデバイス制御装置の起動を制御する方法をも提供することができる。
【図面の簡単な説明】
【図1】本実施の形態に係る記憶装置システムの全体構成を示すブロック図である。
【図2】本実施の形態に係る管理端末の構成を示すブロック図である。
【図3】本実施の形態に係る物理ディスク管理テーブルを示す図である。
【図4】本実施の形態に係るLU管理テーブルを示す図である。
【図5】本実施の形態に係る記憶装置システムの外観構成を示す図である。
【図6】本実施の形態に係る記憶デバイス制御装置の外観構成を示す図である。
【図7】本実施の形態に係るCHNのハードウェア構成を示す図である。
【図8】本実施の形態に係るメモリに記憶されるデータの内容を説明するための図である。
【図9】本実施の形態に係るメタデータを示す図である。
【図10】本実施の形態に係るロックデータを示す図である。
【図11】本実施の形態に係るCHN上のCPUとI/Oプロセッサとの通信経路を示す図である。
【図12】本実施の形態に係るI/OプロセッサからCPUに対してやり取りされるデータを示す図である。
【図13】本実施の形態に係るCPUからI/Pプロセッサに対してやり取りされるデータを示す図である。
【図14】本実施の形態に係るCHN上の内部LANを介したハードウェア構成を示す図である。
【図15】本実施の形態に係るディスク制御部を示す図である。
【図16】本実施の形態に係る記憶装置システムのソフトウェア構成図である。
【図17】本実施の形態に係る記憶装置システムの起動処理及びインストール処理のフローチャートである。
【符号の説明】
100 記憶デバイス制御装置
110 チャネル制御部
111 ネットワークインタフェース部
112 CPU
113 メモリ
114 入出力制御部
115 NVRAM
116 ボード接続用コネクタ
117 通信コネクタ
118 回路基板
119 I/Oプロセッサ
120 共有メモリ
130 キャッシュメモリ
140 ディスク制御部
150 接続部
151 内部LAN
160 管理端末
600 記憶装置システム
801 BIOS
802 通信メモリ
803 ハードウェアレジスタ群
804 NVRAM

Claims (3)

  1. 情報を格納する複数の記憶装置と、
    前記複数の記憶装置に対する情報の格納を制御する記憶装置制御部と、
    前記記憶装置制御部に接続される接続部と、
    外部の第一のネットワークに接続され、前記第一のネットワークを介して受けたファイル名指定によるデータアクセス要求を論理アドレス指定によるデータアクセス要求に変換する第一のプロセッサと、前記第一のプロセッサからの前記変換されたデータアクセス要求に応じて前記接続部及び前記記憶装置制御部を介して前記複数の記憶装置へアクセスする第二のプロセッサと、を有する第一の通信制御部と、
    前記第一のネットワークと異なる外部の第二のネットワークに接続され、前記第二のネットワークを介して受けたブロック単位のデータアクセス要求を論理アドレス指定によるデータアクセス要求に変換し、前記変換されたデータアクセス要求に応じて前記接続部及び前記記憶装置制御部を介して前記複数の記憶装置へアクセスする第二の通信制御部と、
    前記第一の通信制御部及び前記第二の通信制御部に接続される管理端末と、
    を備えた記憶装置システムであって、
    前記第一の通信制御部と前記第二の通信制御部とは一体的にユニット化された回路基板に設けられるものであり、
    前記第一の通信制御部が前記回路基板に挿入された後前記記憶装置システムに電源が投入されたときに、前記第二のプロセッサは前記第一のプロセッサに対して前記第一のプロセッサの周辺のハードウェアのハードウェア診断を要求し、前記第一のプロセッサは前記ハードウェア診断の要求を受けると前記ハードウェア診断を行い、前記第二のプロセッサは前記ハードウェア診断が終了した後前記第一のプロセッサをリセットし、
    前記第二のプロセッサは前記第一のプロセッサにネットブート起動を設定するための指示を含む第一の情報を前記管理端末から受け取ると、前記第一の情報を前記第一のプロセッサに送信し、前記第一のプロセッサは前記送信された第一の情報をメモリに設定し、前記メモリに設定された前記第一の情報に応じてオペレーションシステムを実現するための第二の情報を前記管理端末から取得し、前記取得した第二の情報を前記複数の記憶装置に対して前記接続部及び前記記憶装置制御部を介して転送し、前記第二のプロセッサは前記第二の情報の転送が終了した後前記第一のプロセッサをリセットし、
    前記第二のプロセッサは前記第二の情報が転送された複数の記憶装置からの起動を設定するための指示を含む第三の情報を前記第一のプロセッサの前記メモリに格納し、前記第一のプロセッサは前記第三の情報に基づいて前記第二の情報が転送された複数の記憶装置からの起動を制御すること、
    を特徴とする記憶装置システム。
  2. 前記第一のネットワークはLAN( Local Area network )であり、前記第二のネットワークはSAN( Storage Area Network )であること、
    を特徴とする請求項1記載の記憶装置システム。
  3. 前記第一のプロセッサはCPU( Central Processing Unit )であり、前記第二のプロセッサはI/O( Input/Output )プロセッサであること、
    を特徴とする請求項1記載の記憶装置システム。
JP2003015525A 2003-01-24 2003-01-24 記憶装置システム、及び記憶装置システムの起動方法 Expired - Fee Related JP4274523B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2003015525A JP4274523B2 (ja) 2003-01-24 2003-01-24 記憶装置システム、及び記憶装置システムの起動方法
US10/673,162 US20040148329A1 (en) 2003-01-24 2003-09-30 Storage device system and storage device system activating method
US12/348,088 US7882206B2 (en) 2003-01-24 2009-01-02 Storage device system and storage device system activating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003015525A JP4274523B2 (ja) 2003-01-24 2003-01-24 記憶装置システム、及び記憶装置システムの起動方法

Publications (3)

Publication Number Publication Date
JP2004227361A JP2004227361A (ja) 2004-08-12
JP2004227361A5 JP2004227361A5 (ja) 2006-02-23
JP4274523B2 true JP4274523B2 (ja) 2009-06-10

Family

ID=32732807

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003015525A Expired - Fee Related JP4274523B2 (ja) 2003-01-24 2003-01-24 記憶装置システム、及び記憶装置システムの起動方法

Country Status (2)

Country Link
US (2) US20040148329A1 (ja)
JP (1) JP4274523B2 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030061382A1 (en) * 2001-09-21 2003-03-27 Dell Products L.P. System and method for naming hosts in a distributed data processing system
JP4255699B2 (ja) * 2003-01-20 2009-04-15 株式会社日立製作所 記憶デバイス制御装置の制御方法、及び記憶デバイス制御装置
JPWO2004095293A1 (ja) * 2003-04-24 2006-07-13 三菱電機株式会社 映像情報システム、およびモジュールユニット
JP4060235B2 (ja) * 2003-05-22 2008-03-12 株式会社日立製作所 ディスクアレイ装置及びディスクアレイ装置の制御方法
JP2004348464A (ja) * 2003-05-22 2004-12-09 Hitachi Ltd ストレージ装置、及び通信信号の整形回路
JPWO2005013136A1 (ja) * 2003-08-04 2006-09-28 三菱電機株式会社 映像情報装置及びモジュールユニット
JP4400913B2 (ja) * 2003-11-26 2010-01-20 株式会社日立製作所 ディスクアレイ装置
JP4156499B2 (ja) * 2003-11-28 2008-09-24 株式会社日立製作所 ディスクアレイ装置
JP4497918B2 (ja) * 2003-12-25 2010-07-07 株式会社日立製作所 ストレージシステム
JP4401788B2 (ja) * 2004-01-06 2010-01-20 株式会社日立製作所 ストレージ制御装置
JP4634049B2 (ja) 2004-02-04 2011-02-16 株式会社日立製作所 ディスクアレイ装置における異常通知制御
US20060008782A1 (en) * 2004-07-08 2006-01-12 Williams Jennette L Device for teaching phonetic alphabet
JP4629382B2 (ja) * 2004-08-05 2011-02-09 インターナショナル・ビジネス・マシーンズ・コーポレーション 情報処理装置、プログラム、記録媒体、及び制御方法
US7584272B2 (en) * 2004-10-19 2009-09-01 Lsi Corporation Method and apparatus for fully automated iSCSI target configuration
JP4472498B2 (ja) * 2004-11-25 2010-06-02 日本電信電話株式会社 ディスクレスブートシステムのストレージ接続方法、そのシステム、そのための管理サーバ、ストレージ、およびプログラム
JP2006227856A (ja) * 2005-02-17 2006-08-31 Hitachi Ltd アクセス制御装置及びそれに搭載されるインターフェース
JP2008158711A (ja) * 2006-12-22 2008-07-10 Fujitsu Ltd ファイル配信プログラム、ファイル配信装置および分散ファイルシステム
TWI393145B (zh) 2007-10-29 2013-04-11 Elpida Memory Inc 具有反熔絲電路之半導體裝置及將位址寫入至反熔絲電路的方法
JP2010277662A (ja) 2009-05-29 2010-12-09 Elpida Memory Inc 半導体装置及びその製造方法
US9015268B2 (en) * 2010-04-02 2015-04-21 Intel Corporation Remote direct storage access
WO2012137411A1 (ja) * 2011-04-01 2012-10-11 パナソニック株式会社 インターフェース中継装置およびインターフェース中継方法
DE102011107092B4 (de) 2011-07-11 2017-09-14 Fujitsu Ltd. Computersystem, Verfahren zum Starten eines Server-Computers, Server-Computer, Managementstation und Verwendung
CN104253734A (zh) * 2013-06-27 2014-12-31 宇宙互联有限公司 传输管理装置、系统及方法
CN104253753A (zh) * 2013-06-27 2014-12-31 宇宙互联有限公司 传输管理装置、系统及方法
JP6149598B2 (ja) * 2013-08-19 2017-06-21 ソニー株式会社 記憶制御装置、記憶装置、情報処理システムおよび記憶制御方法
US10560553B2 (en) * 2016-09-14 2020-02-11 International Business Machines Corporation Assigning IP pools to file access protocols for NAS failover
JP7263101B2 (ja) * 2019-04-26 2023-04-24 キヤノン株式会社 情報処理装置、データ検証方法

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03138752A (ja) 1989-10-25 1991-06-13 Canon Inc 情報処理装置
US5504873A (en) * 1989-11-01 1996-04-02 E-Systems, Inc. Mass data storage and retrieval system
US5285528A (en) * 1991-02-22 1994-02-08 International Business Machines Corporation Data structures and algorithms for managing lock states of addressable element ranges
JPH06161974A (ja) 1992-11-24 1994-06-10 Komatsu Ltd マルチcpuボードの診断方法
US5548724A (en) * 1993-03-22 1996-08-20 Hitachi, Ltd. File server system and file access control method of the same
DE4423559A1 (de) * 1993-11-09 1995-05-11 Hewlett Packard Co Datenverbindungsverfahren und Vorrichtung für Multiprozessor-Computersysteme mit gemeinsamem Speicher
US5774731A (en) * 1995-03-22 1998-06-30 Hitachi, Ltd. Exclusive control method with each node controlling issue of an exclusive use request to a shared resource, a computer system therefor and a computer system with a circuit for detecting writing of an event flag into a shared main storage
US5671377A (en) * 1994-07-19 1997-09-23 David Sarnoff Research Center, Inc. System for supplying streams of data to multiple users by distributing a data stream to multiple processors and enabling each user to manipulate supplied data stream
US5659718A (en) * 1994-08-19 1997-08-19 Xlnt Designs, Inc. Synchronous bus and bus interface device
US5832222A (en) * 1996-06-19 1998-11-03 Ncr Corporation Apparatus for providing a single image of an I/O subsystem in a geographically dispersed computer system
US5928327A (en) * 1996-08-08 1999-07-27 Wang; Pong-Sheng System and process for delivering digital data on demand
US5854905A (en) * 1996-09-03 1998-12-29 Intel Corporation Extensible bios for boot support of devices on multiple hierarchical buses
US6438586B1 (en) * 1996-09-30 2002-08-20 Emc Corporation File transfer utility which employs an intermediate data storage system
US6499073B1 (en) * 1997-05-13 2002-12-24 Micron Electronics, Inc. System using programmable processor for selectively enabling or disabling power to adapter in response to respective request signals
US5941969A (en) * 1997-10-22 1999-08-24 Auspex Systems, Inc. Bridge for direct data storage device access
US6006342A (en) * 1997-12-11 1999-12-21 International Business Machines Corporation Failover and failback system for a direct access storage device
US6078990A (en) * 1998-02-06 2000-06-20 Ncr Corporation Volume set configuration using a single operational view
US6105122A (en) * 1998-02-06 2000-08-15 Ncr Corporation I/O protocol for highly configurable multi-node processing system
US6173374B1 (en) * 1998-02-11 2001-01-09 Lsi Logic Corporation System and method for peer-to-peer accelerated I/O shipping between host bus adapters in clustered computer network
US6105136A (en) * 1998-02-13 2000-08-15 International Business Machines Corporation Computer system which is disabled when it is disconnected from a network
JP3614650B2 (ja) 1998-03-20 2005-01-26 富士通株式会社 マルチプロセッサ制御方式及びこれに用いられるブート装置及びブート制御装置
US6421711B1 (en) * 1998-06-29 2002-07-16 Emc Corporation Virtual ports for data transferring of a data storage system
US6286038B1 (en) * 1998-08-03 2001-09-04 Nortel Networks Limited Method and apparatus for remotely configuring a network device
US6263441B1 (en) * 1998-10-06 2001-07-17 International Business Machines Corporation Real-time alert mechanism for signaling change of system configuration
US6282642B1 (en) * 1998-11-18 2001-08-28 International Business Machines Corporation System for presetting a first or second remote boot protocol by a computer remotely receiving and storing a boot parameter prior to being powered on
US6513097B1 (en) * 1999-03-03 2003-01-28 International Business Machines Corporation Method and system for maintaining information about modified data in cache in a storage system for use during a system failure
JP2001184145A (ja) * 1999-12-27 2001-07-06 Id Gate Co Ltd 情報処理装置等のリモート電源管理システム
US20020116452A1 (en) * 2000-03-03 2002-08-22 Surgient Networks, Inc. Network connected computing system including storage system
US6990685B1 (en) * 2000-06-15 2006-01-24 Dell Products L.P. System and method for tracking bootable devices
JP3646303B2 (ja) * 2000-12-21 2005-05-11 日本電気株式会社 コンピュータシステムとそのメモリ管理方法、及びメモリ管理プログラムを記録した記録媒体
TW474022B (en) * 2001-02-08 2002-01-21 United Microelectronics Corp Structure for dual-bit non-volatile memory unit and the read/write method thereof
US6779063B2 (en) * 2001-04-09 2004-08-17 Hitachi, Ltd. Direct access storage system having plural interfaces which permit receipt of block and file I/O requests
US8127015B2 (en) * 2001-04-24 2012-02-28 Broadcom Corporation Alerting system, architecture and circuitry
JP4632574B2 (ja) 2001-05-25 2011-02-16 株式会社日立製作所 記憶装置およびファイルデータのバックアップ方法およびファイルデータのコピー方法
US7404000B2 (en) * 2001-09-28 2008-07-22 Emc Corporation Protocol translation in a storage system
US20030105830A1 (en) * 2001-12-03 2003-06-05 Duc Pham Scalable network media access controller and methods
US7493404B2 (en) * 2002-05-30 2009-02-17 Lsi Corporation Apparatus and method for providing transparent sharing of channel resources by multiple host machines utilizing mixed mode block and file protocols
JP2004220216A (ja) * 2003-01-14 2004-08-05 Hitachi Ltd San/nas統合型ストレージ装置
JP2004227098A (ja) * 2003-01-20 2004-08-12 Hitachi Ltd 記憶デバイス制御装置の制御方法、及び記憶デバイス制御装置
JP4255699B2 (ja) * 2003-01-20 2009-04-15 株式会社日立製作所 記憶デバイス制御装置の制御方法、及び記憶デバイス制御装置

Also Published As

Publication number Publication date
US7882206B2 (en) 2011-02-01
JP2004227361A (ja) 2004-08-12
US20040148329A1 (en) 2004-07-29
US20090157856A1 (en) 2009-06-18

Similar Documents

Publication Publication Date Title
JP4274523B2 (ja) 記憶装置システム、及び記憶装置システムの起動方法
JP4400913B2 (ja) ディスクアレイ装置
JP4575028B2 (ja) ディスクアレイ装置およびその制御方法
US7219144B2 (en) Disk array system and fault information control method
JP4330889B2 (ja) 記憶デバイス制御装置にソフトウエアをインストールする方法、記憶デバイス制御装置の制御方法、及び記憶デバイス制御装置
US7240152B2 (en) Method of controlling storage device controlling apparatus, and storage device controlling apparatus
JP4342804B2 (ja) ストレージシステムの制御方法、ストレージシステム、及びプログラム
US20050198433A1 (en) Storage device controlling apparatus and method of controlling the same
JP2004234558A (ja) 記憶デバイス制御装置、及びプログラム
JP2005222404A (ja) 仮想記憶ユニットを備えた記憶制御サブシステム
US7284086B2 (en) Storage device controlling device and control method for storage device controlling device
JP2004227096A (ja) 記憶デバイス制御装置、及び記憶デバイス制御装置用回路基板

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051129

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20051129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060105

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060523

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090123

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20090209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090225

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090302

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120313

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120313

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130313

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130313

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees