JP4252301B2 - 記憶システム及びそのデータバックアップ方法 - Google Patents

記憶システム及びそのデータバックアップ方法 Download PDF

Info

Publication number
JP4252301B2
JP4252301B2 JP2002375857A JP2002375857A JP4252301B2 JP 4252301 B2 JP4252301 B2 JP 4252301B2 JP 2002375857 A JP2002375857 A JP 2002375857A JP 2002375857 A JP2002375857 A JP 2002375857A JP 4252301 B2 JP4252301 B2 JP 4252301B2
Authority
JP
Japan
Prior art keywords
processor
backup
data
shared memory
logical volume
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002375857A
Other languages
English (en)
Other versions
JP2004206496A (ja
JP2004206496A5 (ja
Inventor
直孝 小林
静生 横畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2002375857A priority Critical patent/JP4252301B2/ja
Priority to US10/427,689 priority patent/US6886086B2/en
Publication of JP2004206496A publication Critical patent/JP2004206496A/ja
Priority to US11/016,105 priority patent/US7334100B2/en
Publication of JP2004206496A5 publication Critical patent/JP2004206496A5/ja
Priority to US11/972,100 priority patent/US7461227B2/en
Application granted granted Critical
Publication of JP4252301B2 publication Critical patent/JP4252301B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • G06F3/0611Improving I/O performance in relation to response time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1456Hardware arrangements for backup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0629Configuration or reconfiguration of storage systems
    • G06F3/0631Configuration or reconfiguration of storage systems by allocating resources to storage systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1097Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process

Description

【0001】
【発明の属する技術分野】
本発明は、記憶システムに格納される情報のバックアップに係り、特に、バックアップ機能を有する記憶システムのバックアップ制御に関する。
【0002】
【従来の技術】
昨今、データセンタなどに設置される記憶システムの一つとして、NAS(Network Attached Storage)が注目されている。NASは、ホストコンピュータと同一のLAN(Local Area Network)上に設けられたアプリケーションサーバと、アプリケーションサーバの配下に接続される記憶システムを用いて構成される。アプリケーションサーバは、ホストコンピュータからLANを介して、ファイル指定によるファイルアクセス要求を受け付けて、配下の記憶システムに対してディスクアクセス要求を送信する。記憶システムは、アプリケーションサーバからのディスクアクセス要求に応じて、データの書込み又は読み出しを行う。
【0003】
NASにおけるデータバックアップにおいては、アプリケーションサーバと異なるバックアップサーバがLAN上に設けられる。バックアップサーバは、LANを介してアプリケーションサーバの配下の記憶システムからバックアップデータを読み出し、テープライブラリ等のバックアップ装置にデータのバックアップを行う。また、バックアップ装置への書込み機能を記憶システムに具備させることにより、バックアップサーバを用いることなく、記憶システムからデータをバックアップする方法も考えられている。
【0004】
【特許文献1】
特開2002−7304号公報
【0005】
【発明が解決しようとする課題】
しかしながら、バックアップサーバを用いないバックアップ方法において、アプリケーションサーバは、バックアップサーバからデバイス制御情報を入手できないこととなる。なお、ここでいうデバイス制御情報としては、例えば、バックアップ装置についての固有情報、容量等についての情報がある。
【0006】
また、バックアップ装置への書込み機能を記憶システムに具備させる場合、記憶システムにおける通常の処理に影響を与えることとなってしまう。通常の処理への影響は、バックアップ装置へバックアップされるデータの量が多いほど、又はバックアップされるバックアップ装置の数が多いほど、多大なものとなり、通常の処理の速度が停滞してしまう。なお、ここでいう通常の処理としては、例えば、アプリケーションサーバからのディスクアクセス要求に応じて処理されるデータの書込み又は読み出しの処理等がある。
【0007】
したがって、本発明の目的は、テープライブラリ等のバックアップ装置へのデータバックアップにおいて、バックアップ装置についての情報を効率的に入手できるようにするとともに、記憶システムにおける効率的及び高速なバックアップを可能にすることである。
【0008】
【課題を解決するための手段】
本願発明の一つの態様は、データを記憶するディスクドライブと、通信経路に接続される第1のポート、並びにNASプロセッサ及び第1のI/Oプロセッサを有するネットワークアダプタと、バックアップ装置に接続される第2のポート、及び第2のI/Oプロセッサを有するチャネルアダプタと、共有メモリと、前記ディスクドライブに格納されたデータへアクセスするディスクアダプタと、前記ディスクアダプタ、前記ネットワークアダプタ、前記チャネルアダプタ、及び前記共有メモリを接続するスイッチとを有し、前記NASプロセッサが、前記第1のポートを介してファイルアクセス要求を受け、前記ディスクドライブに格納されたデータへのディスクアクセス要求を生成した場合、前記第1のI/Oプロセッサは、前記ディスクアクセス要求に応じて、前記ディスクドライブへのデータの書き込み又は読み出しを実行し、前記NASプロセッサが、前記バックアップ装置についてのデバイス制御情報を要求するための制御コマンドを生成した場合、前記第1のI/Oプロセッサは、前記制御コマンドを前記共有メモリに格納し、前記第2のI/Oプロセッサは、前記共有メモリに格納された前記制御コマンドを読み出し、読み出した前記制御コマンドを前記第2のポートを介して前記バックアップ装置へ送り出すとともに、前記バックアップ装置から送り返された前記デバイス情報が前記共有メモリ内に格納されていることを、前記共有メモリをポーリングしている前記第1のI/Oプロセッサが検知した場合、当該第1のプロセッサは前記デバイス情報を取得して前記NASプロセッサに引き渡し、前記NASプロセッサが、前記ディスクドライブに格納されたデータのバックアップを指示するバックアップ指示コマンドを生成した場合、前記第1のI/Oプロセッサは、前記バックアップ指示コマンドを前記共有メモリに格納し、前記第2のI/Oプロセッサは、前記共有メモリに格納された前記バックアップ指示コマンドを読み出し、読み出した前記バックアップ指示コマンドに応じて、前記ディスクドライブに格納されたデータを前記第2のポートを介して前記バックアップ装置へ送り出すことを特徴とする記憶システムである。
【0009】
その他、ネットワークアダプタは、チャネルアダプタにバックアップデータを格納する装置が接続されていることの確認、又はバックアップデータを格納する装置の構成情報の要求をする。
【0010】
【発明の実施の形態】
以下、図面を用いて、本発明の具体的な実施の形態について説明する。
【0011】
図1は、本実施例におけるネットワークシステムの全体構成図である。以下、ネットワークシステム及びネットワークシステムを構成する装置が説明される。
【0012】
ネットワークシステムは、複数のホストコンピュータ100、記憶システム120及び複数のバックアップ装置150を有する。複数のホストコンピュータ100と記憶システム120は、LAN160を介して接続される。記憶システム120と複数のバックアップ装置150は、SAN(Storage Ares
Network)180を介して接続される。
【0013】
ホストコンピュータ100は、CPU(Central Processing Unit)により、オペレーティングシステムやアプリケーションを実行させるコンピュータ、情報処理装置等である。本実施例において、ホストコンピュータ100は、記憶システム120に対してファイル指定によるファイルアクセス要求を送り出すものであり、例えば、メインフレーム、UNIX(X/OPEN社の登録商標)系のオペレーティングシステムが動作するサーバ又はワークステーション、Windows(Microsoft社の登録商標)系のオペレーティングシステムが動作するサーバ又はPC(Parsonal Computer)である。
【0014】
バックアップ装置150は、記憶システム120のデータをバックアップのために格納されるものであり、例えば、磁気テープライブラリ、RAID(Redundant Arrays of Inexpensive Disks)方式のライブラリ/ライブラリアレイ、DVD−RAMライブラリ/ライブラリアレイである。複数のバックアップ装置150は、それぞれポート151を有しており、ポート151を介してSAN180と接続される。
【0015】
SAN180は、FC(Fibre Channel)スイッチ等を用いて構成されており、FCP(Fibre Channel Protocol)を用いて通信される。
【0016】
記憶システム120は、ホストコンピュータ100からの要求に応じて、記憶装置であるディスクアレイ122にデータやプログラムを書込み、又は読み出すための装置である。本実施例において、記憶システム120は、ホストコンピュータ100からファイル指定によるファイルアクセス要求を受け取って、自システム内のディスクに格納するものであり、また、自システム内のディスクに格納されているデータをバックアップ装置140に随時コピーさせるものである。
【0017】
記憶システム120は、DKC(Disk Controller)121と複数のディスクアレイ122を有する。DKC121は、ネットワークアダプタ130、CHA(Channel Adapter)140、SVP(Service Processor)143、制御プロセッサ145、スイッチ146、共有メモリ147、キャッシュメモリ148及びDKA(Disk Adapter)149を有する。制御プロセッサ145は、DKC121の状態を管理する一方、スイッチ146を制御することによりDKC121を構成する装置間での情報又はデータのやり取りを制御する。スイッチ146は、制御プロセッサ145の制御に従って、制御プロセッサ145、共有メモリ147、キャッシュメモリ148、DKA(Disk Adapter)149相互の情報のやり取りを高速に行うものである。共有メモリ147は主に制御情報を格納する揮発性又は不揮発性のメモリであり、キャッシュメモリ148は主に書込みデータ又は読み出しデータを格納する揮発性又は不揮発性のメモリである。DKA149は、ディスクアレイ122内のディスクドライブ123にアクセスしてデータを書込み、又は読み出す。SVP143は、記憶システム120のユーザ又は管理者が記憶システム120の状態を把握及び管理するために用いられる装置であり、例えば、PC等である。なお、本実施例は、スイッチ146を用いてDKC121を構成する装置を接続しているが、本実施例はこの場合に限られず、バス、LANその他のネットワーク、又はインフィニバンド(InfiniBand)その他のインタフェース等を用いて接続することも好ましい。
【0018】
ディスクアレイ122は、複数のディスクドライブ123を有している。ディスクアレイ122は、1つの筐体内に全てのディスクドライブ123を有するものでもよく、複数の筐体に分けて複数のディスクドライブ123を有するものでもよい。なお、ディスクアレイ122に関連する事項として、以下の概念が挙げられる。記憶システム120は、データやプログラムが格納される単位として、論理ボリュームという概念を持っている。論理ボリュームは、個々のディスクドライブ123とは異なった論理的な単位である。具体的には、論理ボリュームは、データやプログラムを格納するための論理的な管理単位であり、一つの論理ボリュームに一つのディスクドライブ123を割り当てることも良いし、一つの論理ボリュームに複数のディスクドライブ123を割り当てることも良いし、複数の論理ボリュームに一つのディスクドライブ123を割り当てることも良いし、さらに複数の論理ボリュームに複数のディスクドライブ123を割り当てることも良い。論理ボリュームは、それぞれの論理ボリュームを識別するための識別子として、LUN(Logical Unit Number)を有しており、LUNを用いてDKA149からアクセスされる。したがって、DKA149は、ディスクドライブ123にアクセスしてデータを書込み、又は読み出すものであるが、より詳細に説明すれば、ネットワークアダプタ130からの指示に応じて、論理ボリューム単位でディスクアレイ122内のデータにアクセスするものである。
【0019】
ネットワークアダプタ130とCHA140は、それぞれ1つの1つの基板又は1つのモジュールによって構成されており、それぞれのアダプタ毎に記憶システム120へ挿抜できるようになっている。ネットワークアダプタ130及びCHA140の記憶システム120への接続構成を同様のものとすることにより、ユーザは、必要に応じてネットワークアダプタ130又はCHA140のいずれかを選択して、任意に記憶システム120へ挿入できることとなる。また、記憶システム120に対して複数のネットワークアダプタ130及びCHA140を接続できることとすることにより、ユーザは、ネットワークアダプタ130とCHA140の数をも任意に選択できる。この場合、ネットワークアダプタ130とCHA140は、それぞれDKC121内に複数設けられ、各種障害に対応できるように冗長な構成になっている。同様に、制御プロセッサ145、スイッチ146、共有メモリ147、キャッシュメモリ148及びDKA149も、それぞれがDKC121内に複数設けられる。さらに、DKC121も、記憶システム内に複数設けられ、冗長な構成になっている。
【0020】
本実施例によれば、記憶システム120内にネットワークアダプタ130とCHA140とを有することにより、異種ネットワークに接続される記憶システムを実現できる。具体的には、記憶システム120は、ネットワークアダプタ130を用いてNASに接続し、かつCHA140を用いてSANに接続するという、SAN−NAS統合記憶システムである。
【0021】
ネットワークアダプタ130は、複数のポート131、NASプロセッサ132、複数のI/Oプロセッサ133及びメモリ135を有する。複数のポート131は、記憶システム120の外部にあるLAN160と接続され、ホストコンピュータ100との間で制御情報又はデータをやり取りする。NASプロセッサ132は、ポート131を介して、ホストコンピュータ100との間でNFS(Network File System)又はCIFS(Common Internet File System)等のファイル共有プロトコル、及びTCP/IP(Transmission Control Protocol/Internet Protocol)を用いて制御情報又はデータをやり取りする。なお、NFSは、主にUNIX系のオペレーティングシステムによって用いられるファイル共有プロトコルであり、CIFSは、主にWindows系のオペレーティングシステムによって用いられるファイル共有プロトコルである。
【0022】
本実施例において、NASプロセッサ132は、上記の処理に加えて、(1)ホストコンピュータ100からアクセスされたファイル単位のデータ(以下、ファイルデータと呼ぶ。)と論理ボリュームに含まれるデータとの変換、(2)バックアップ装置150に宛てた制御コマンドの生成及び送り出し、(3)バックアップ装置150から送り出されたデバイス制御情報の受け取り、(4)ディスクアレイ122内の論理ボリュームのペア形成又はペア解除等の指示、(5)バックアップ指示コマンドの生成及び送り出しを実行する。
【0023】
上述のようにネットワークアダプタ130が1つのモジュール基板で構成されているため、NASプロセッサ132とI/Oプロセッサ133は、PCI(Peripheral Component Interconnect)バス134等のバスによって接続させることが可能となる。これにより、ベンダユニークなコマンドを用いることが可能になるとともに、高速な処理が可能となる。なお、ベンダユニークなコマンドは、例えばSCSI(Small Computer System Interface)に従ったコマンドであることも好ましい。
【0024】
I/Oプロセッサ133は、NASプロセッサ132との間でSCSIを用いて制御情報又はデータをやり取りするものであり、NASプロセッサ132からディスクアクセス要求を受け取って、ディスクアレイ122へのデータの書込み又は読み出しを実行する。本実施例において、I/Oプロセッサ133は、上記の処理に加えて、(1)NASプロセッサ132からバックアップ装置150に宛てて送り出された制御コマンドの転送、(2)バックアップ装置150からNASプロセッサ132に宛てて送り出されたデバイス制御情報の転送、(3)NASプロセッサ132からの指示に応じてディスクアレイ122内の論理ボリュームのペア形成又はペア解除等の制御、(4)NASプロセッサ132からバックアップ指示コマンドを受け取って、ターゲットとしてデータのバックアップに必要な処理を実行する。
【0025】
メモリ135は、NASプロセッサ132のローカルメモリとして機能しており、種々の制御情報、例えば、ディスクアレイ122のディスクドライブ123に格納されたデータの位置情報、論理ボリュームに含まれるデータについての情報、ファイルデータとディスクドライブ123に格納されたデータとの対応関係、又は論理ボリュームに含まれるデータとファイルデータとの対応関係ついての情報等が格納される。これらの制御情報は、例えば、NASプロセッサ132によるファイルデータと論理ボリュームに含まれるデータとの変換、又は後述のペア形成若しくはスプリット等の要求に際して使用される。
【0026】
CHA140は、ポート141及び複数のI/Oプロセッサ142を有する。複数のポート141の各々は、記憶システム120の外部のSAN180又はSVP143と接続され、バックアップ装置150又はSVP143との間で制御情報又はデータをやり取りする。I/Oプロセッサ142は、ポート141を介して、バックアップ装置150との間でFCPを用いて制御情報又はデータをやり取りする。なお、ポート141とI/Oプロセッサ142とは、PCIバス等のバスによって接続されている。本実施例において、SVP143は、ポート141を介してCHA140に接続されているが、本実施例はこの場合に限られず、バス、LAN又はその他のネットワークを利用してネットワークアダプタ130、CHA140及びその他の記憶システムの内部装置に接続されることも好ましい。
【0027】
本実施例において、I/Oプロセッサ142は、上記の処理に加えて、(1)ネットワークアダプタ130内のNASプロセッサ132からバックアップ装置150に宛てて送り出された制御コマンドの転送、(2)バックアップ装置150からネットワークアダプタ130内のNASプロセッサ132に宛てて送り出されたデバイス制御情報の転送、(3)ネットワークアダプタ130内のNASプロセッサ132から送り出されたバックアップ指示コマンドを受け取って、イニシエータとしてデータのバックアップに必要な処理を実行する。
【0028】
本実施例においては、ネットワークアダプタ130と別にバックアップ処理専用のCHA140を設けることにより、記憶システムにおける通常の処理への影響を抑えて、データのバックアップを取ることが出来る。
【0029】
図2は、本実施例における記憶システムの処理を機能的に説明した図である。以下、ネットワークシステムを構成する記憶システムの処理が、機能的に説明される。なお、図2は、説明の便宜上、図1に示された特定の装置をピックアップしているが、本実施例はピックアップされた部分に限定されるわけでない。
【0030】
ネットワークアダプタ内のNASプロセッサ132は、アプリケーションサーバ232とI/Oドライバ233を有する。アプリケーションサーバ232は、管理サーバ、ファイルサーバ及びバックアップサーバ等の機能を有しており、具体的に、(1)NFS又はCIFS等のファイル共有プロトコル及びTCP/IPの制御、(2)ファイル指定されたファイルアクセス要求の解析、メモリ135内の制御情報へのアクセス、ファイルデータとディスクアレイ122内の論理ボリュームとの変換テーブル(図示せず)を用いた相互変換、ディスクアレイ122内の論理ボリュームに対するアクセス要求の生成、(3)バックアップ装置150に宛てた制御コマンドの生成、(4)バックアップ装置150についてのデバイス制御情報の管理、(5)ディスクアレイ122内の論理ボリュームのペア形成又はペア解除等の指示コマンドの生成、(6)バックアップ指示コマンドの生成等を担う。なお、ファイルデータとディスクアレイ122内の論理ボリュームとの変換テーブルは、高速処理の観点からNASプロセッサ132が有することが好ましいが、この場合に限られず、メモリ135、共有メモリ147又はキャッシュメモリ148のいずれに設けられることも好ましい。
【0031】
I/Oドライバ233は、アプリケーションサーバ232の処理に連動して、(1)ホストコンピュータ100との間でやり取りされる制御情報又はデータのポート131とのやり取り、(2)ディスクアレイ122内の論理ボリュームに対するアクセス要求の送り出し、又は読み出しデータの受け取り、(3)バックアップ装置150に宛てた制御コマンドのI/Oプロセッサ133への送り出し、(4)バックアップ装置150についてのデバイス制御情報のI/Oプロセッサ133からの受け取り、(5)ディスクアレイ122内の論理ボリュームのペア形成又はペア解除等の指示コマンドのI/Oプロセッサ133への送り出し、(6)バックアップ指示コマンドのI/Oプロセッサ133への送り出し等を担う。
【0032】
ネットワークアダプタ130内のI/Oプロセッサ133は、ディスクアクセス要求処理部233、バックアップ指示コマンド転送部234及び論理ボリューム状態制御部235を有する。ディスクアクセス要求処理部233は、NASプロセッサ132内のI/Oドライバ233から、ディスクアレイ122内の論理ボリュームに対するアクセス要求を受け取った場合、ディスクアレイ122へのデータの書込み、又はディスクアレイ122からのデータの読み出しを実行する。具体的には、ディスクアクセス要求処理部233は、論理ボリュームに対するアクセス要求が書込み要求であった場合、共有メモリ147内の論理ボリューム−物理デバイス変換テーブル247を用いて、ディスクドライブ123の特定のデータ領域を検出して、検出されたデータ領域に対応するキャッシュメモリ148内の書込みデータ領域248に対して、書込みデータを格納する。なお、その後、書込みデータは、制御プロセッサ145の制御に従って、ディスクドライブ123の特定のデータ領域に書込まれることとなる。一方、ディスクアクセス要求処理部233は、論理ボリュームに対するアクセス要求が読み出し要求であった場合、共有メモリ147内の論理ボリューム−物理デバイス変換テーブル247を用いて、ディスクドライブ123の特定のデータ領域を検出して、検出されたデータ領域に対応するキャッシュメモリ148内の読み出しデータ領域249に要求された読み出しデータが存在するか否かを調査する。仮に要求された読み出しデータが読み出しデータ領域249に格納されている場合、ディスクアクセス要求処理部233は、読み出しデータ領域249からデータを読み出して、NASプロセッサ132に対して送り出す。また、仮に要求された読み出しデータが読み出しデータ領域249に格納されていない場合、ディスクアクセス要求処理部233は、要求された読み出しデータが読み出しデータ領域249に読み出された後、読み出しデータ領域249からデータを読み出して、NASプロセッサ132に対して送り出す。なお、要求された読み出しデータが読み出しデータ領域249に格納されていない場合、要求された読み出しデータは、制御プロセッサ145の制御に従って、ディスクドライブ123の特定のデータ領域から読み出しデータ領域249に読み出される。最終的に、ディスクアクセス要求処理部233によって読み出されたデータは、NASプロセッサ132の制御に従って、読み出しを要求したホストコンピュータ100に対してポート131を介して送り出される。
【0033】
バックアップ指示コマンド転送部234は、(1)バックアップ装置150に宛ての制御コマンドをNASプロセッサ132から受け取り、共有メモリ147内のバックアップ情報格納領域251への転送、(2)バックアップ装置150についてのデバイス制御情報を共有メモリ内のバックアップ情報格納領域251から取り出し、NASプロセッサ132への転送、(3)NASプロセッサ132からバックアップ指示コマンドを受け取り、ターゲットとして、共有メモリ147内のバックアップ情報格納領域251への転送等のバックアップのために必要な処理を担う。
【0034】
論理ボリューム状態制御部235は、ディスクアレイ122内の論理ボリュームのペア形成又はペア解除等の指示コマンドを、NASプロセッサ132から受け取って、制御プロセッサ145と連動して又は連動することなく、ペア形成又はペア解除を制御する。論理ボリューム状態制御部235は、共有メモリ147内に格納された正論理ボリューム223と副論理ボリューム224の状態管理テーブル(図示せず)を用いて、ディスクアレイ122内の正論理ボリューム223と副論理ボリューム224のペアを生成、又は解除等するように制御する。論理ボリューム状態制御部235によって制御及び管理される論理ボリュームの状態は、例えば以下の4つの状態である。(1)シンプレックス状態は、正論理ボリューム223に対して副論理ボリューム224とのペアが形成されていない状態である。(2)デュープレックス−ペンディング状態は、論理ボリューム状態制御部235の制御に応じて正論理ボリューム223と副論理ボリューム224とがペアを形成することになった後、形成コピー及び更新コピーが実行されている、又は実行される可能性がある状態である。なお、ここでいう形成コピーは、正論理ボリューム223から副論理ボリューム224へのコピーは開始されたが、未だ正論理ボリューム223と副論理ボリューム224とが完全なミラー状態になっていない状態で生じる、正論理ボリューム223から副論理ボリューム224へのコピーである。これに対して、更新コピーは、未だ正論理ボリューム223と副論理ボリューム224とが完全なミラー状態になる前、又は正論理ボリューム223と副論理ボリューム224とが完全なミラー状態になった後に、ディスクアクセス要求処理部233から正論理ボリューム223へのデータの書込みに応じて生じる、正論理ボリューム223から副論理ボリューム224へのコピーである。(3)デュープレックス状態は、論理ボリューム状態制御部235の制御に応じて正論理ボリューム223と副論理ボリューム224とがペアを形成することになった後、形成コピーは終了して、更新コピーが実行されている、又は実行される可能性がある状態である。(4)スプリット状態は、論理ボリューム状態制御部235の制御に応じて正論理ボリューム223と副論理ボリューム224とがペアを分割することになった後のことであり、ペア解除の状態も含む。
【0035】
本実施例においては、複数のI/Oプロセッサ133のそれぞれにディスクアクセス要求部233、バックアップ指示コマンド転送部234及び論理ボリューム状態制御部235を割り当てることにより、又はディスクアクセス要求部233、バックアップ指示コマンド転送部234及び論理ボリューム状態制御部235のそれぞれの役割を分担することにより、記憶システムにおける通常の処理に影響を与えることなく、データのバックアップを取ることが出来る。
【0036】
CHA140内のI/Oプロセッサ142は、バックアップ制御部242を有する。バックアップ制御部242は、(1)共有メモリ内のバックアップ情報格納領域251に格納された制御コマンドを取り出し、ポート141を介してバックアップ装置150へ送り出す、(2)バックアップ装置150からデバイス制御情報を受け取り、共有メモリ内のバックアップ情報格納領域251に対して転送、(3)共有メモリ内のバックアップ情報格納領域251からバックアップ指示コマンドを受け取り、イニシエータとして、バックアップ装置150に対して副論理ボリューム224内のデータを転送する等のバックアップのために必要な処理を担う。
【0037】
図3は、本実施例の記憶システムがバックアップ装置に関する構成情報を入手するための処理フローである。
【0038】
まず、NASプロセッサ内のアプリケーションサーバ232は、CHA内のI/Oプロセッサ142に宛てて、バックアップ装置150の存在を確認するための制御コマンドを生成する。アプリケーションサーバ232によって生成された制御コマンドは、I/Oドライバ233によって、I/Oプロセッサ133に送り出される(ステップ301)。I/Oプロセッサ133は、NASプロセッサ132から受け取った制御コマンドの内容を解析して、制御コマンドがCHA内のI/Oプロセッサ142に宛てたものであることを判断する。I/Oプロセッサ133内のバックアップ指示コマンド転送部234は、共有メモリ内のバックアップ情報格納領域251へ制御コマンドを転送する(ステップ302)。
【0039】
CHA内のI/Oプロセッサのバックアップ制御部242は、共有メモリ内のバックアップ情報格納領域251を随時ポーリングして、バックアップ情報格納領域251内の制御コマンドを発見した場合、制御コマンドを取り出す(ステップ303)。ここでいうところのポーリングは、定期又は不定期にメモリにアクセスしてメモリ内の情報を調査又は確認することである。
【0040】
I/Oプロセッサのバックアップ制御部242は、CHA内のポート141にバックアップ装置150が接続されているか否かを調査する。調査の結果、バックアップ装置150が接続されていることが判明した場合、I/Oプロセッサのバックアップ制御部242は、バックアップ装置150に対して、WWN(World Wide Name)を教えるように指示する(ステップ304)。バックアップ装置150は、I/Oプロセッサのバックアップ制御部242からの指示に応じて、自バックアップ装置150に固有のWWN及びポート151の番号を連絡する(ステップ305)。ここでいうWWNは、バックアップ装置150を識別できる固有の番号等である。
【0041】
I/Oプロセッサのバックアップ制御部242は、WWN及びポート151の番号を受け取ると、マッピングテーブルを作成又は更新する。ここでいうマッピングテーブル401は、例えば、図4に示されるものであるが、詳細は後で説明する。I/Oプロセッサのバックアップ制御部242は、マッピングテーブル401に記録された情報を、共有メモリ内のバックアップ情報格納領域251へ転送する(ステップ306)。転送するタイミングは、例えば、マッピングテーブル401の作成若しくは変更と並行して、又はマッピングテーブル401の作成若しくは変更後である。
【0042】
ネットワークアダプタ内のI/Oプロセッサ133のバックアップ指示コマンド転送部234は、共有メモリ内のバックアップ情報格納領域251を随時ポーリングして、マッピングテーブル401に記録された情報を発見した場合、マッピングテーブル401に記録された情報を取り出す(ステップ307)。I/Oプロセッサ133のバックアップ指示コマンド転送部234は、NASプロセッサ132から送り出された制御コマンド(ステップ301)の応答として、マッピングテーブル401に記録された情報を、NASプロセッサ132に対して送り出す(ステップ308)。
【0043】
NASプロセッサのアプリケーションサーバ232は、I/Oドライバ233を介してマッピングテーブル401に記録された情報を受け取ると、マッピングテーブル402を作成又は変更する。マッピングテーブル402は、マッピングテーブル401と同様の内容であるが、詳細については後で説明する。
【0044】
このようにして、NASプロセッサのアプリケーションサーバ232は、バックアップ装置150の存在を確認できる。
【0045】
なお、本実施例においては、NASプロセッサ132からバックアップ装置150の存在を確認することについて説明したが、本実施例はこの場合に限られず、記憶システム120のユーザ又は管理者がSVP143を介してWWN及びポート151のIDを入力することも好ましい。この場合、CHA内のI/Oプロセッサ142は、SVPを介してWWN及びポート151の番号を認識して、マッピングテーブル401を作成又は変更することとなる。
【0046】
また、本実施例においては、マッピングテーブル401、マッピングテーブル402は、それぞれCHA内のI/Oプロセッサ142バックアップ制御部242、ネットワークアダプタ内のNASプロセッサ132のアプリケーションサーバ232で格納することになるが、本実施例はこの場合に限られず、マッピングテーブル401、マッピングテーブル402という区別をすることなく、共有メモリのバックアップ情報格納領域148に格納するようにしてもよい。この場合、CHA内のI/Oプロセッサ142バックアップ制御部242、ネットワークアダプタ内のNASプロセッサ132のアプリケーションサーバ232は、それぞれ必要なときに共有メモリのバックアップ情報格納領域148にアクセスすればよいこととなる。
【0047】
図4は、図3の処理フローの過程で生成されるマッピングテーブルを示した図である。
【0048】
マッピングテーブル401、マッピングテーブル402は、同様の内容であるので、特に区別することなく説明する。マッピングテーブルは、CHA140のポート141(以下、イニシエータポートという)の番号、バックアップ装置150のポート151(以下、ターゲットポートという)の番号、及びバックアップ装置150のWWNが記録される。イニシエータポートの番号、ターゲットポートの番号及びWWNは、それぞれ対応するもの毎に対応関係が明確となるように記録される。
【0049】
図5は、記憶システム内のNASプロセッサによって送り出されるデータ入出力要求又は制御コマンドに対する、記憶システム内の各要素の処理フローである。
【0050】
NASプロセッサ内のアプリケーションサーバ232は、I/Oドライバ233を介してファイル指定されたファイルアクセス要求を受け取ると、ファイルアクセス要求の内容を解析する。アプリケーションサーバ232は、解析の後、要求されたファイルとディスクアレイ122内の論理ボリュームとの変換テーブルを用いて、ディスクアレイ122内の論理ボリュームに対するアクセス要求を生成する。なお、変換テーブルにおけるファイルと論理ボリュームとの関係として、一つのファイルに一つの論理ボリュームが割り当ててあることも良いし、一つのファイルに複数の論理ボリュームが割り当ててあることも良いし、複数のファイルに一つの論理ボリュームが割り当ててあることも良いし、さらに複数のファイルに複数の論理ボリュームが割り当ててあることも良い。
【0051】
論理ボリュームへのアクセス要求は、I/Oドライバ233によって、I/Oプロセッサ133に送り出される(ステップ501)。論理ボリュームへのアクセス要求は、例えば、論理ボリュームへの書込み要求又は読み出し要求である。論理ボリュームへのアクセス要求は、例えば、図6に示されるものであるが、詳細は後で説明する。
【0052】
I/Oプロセッサのディスクアクセス要求処理部233は、論理ボリュームへのアクセス要求を解析し、論理ボリュームへの書込み要求又は読み出し要求の別を判断する。論理ボリュームへの書込み要求又は読み出し要求は、記憶システム120内で既に記載されたように処理される。論理ボリュームへの読み出し要求に対する応答として、ディスクアクセス要求処理部233は、キャッシュメモリの読み出しデータ領域249に格納された読み出しデータを、NASプロセッサ132のアプリケーションサーバ232に対して送り出す(ステップ502)。論理ボリュームへの読み出し要求に対する応答は、例えば、図6に示されるものであるが、詳細は後で説明する。なお、読み出しデータは、アプリケーションサーバ232の制御に応じて、読み出し要求を要求したホストコンピュータ100に対してポート131を介して送り出される。
【0053】
NASプロセッサ132のアプリケーションサーバ232は、図3に示された処理フローによって、記憶システム120に対してバックアップ装置150が接続されていることを認識している。アプリケーションサーバ232は、後のデータバックアップに備えて事前に、又はデータのバックアップが必要となったとき、記憶システム120に接続されているバックアップ装置150についてのデバイス制御情報を必要とする。このとき、アプリケーションサーバ232は、上記の論理ボリュームへのアクセス要求の処理と並行して、バックアップ装置150に宛てて、デバイス制御情報を要求するための制御コマンドを生成する。アプリケーションサーバ232によって生成された制御コマンドは、I/Oドライバ233によって、I/Oプロセッサ133に送り出される(ステップ503)。ここでいうデバイス制御情報は、バックアップ装置150についての詳細情報、例えば、記憶領域の容量、論理ボリュームの構成、論理ボリュームの容量及びLUN等である。また、アプリケーションサーバ232によって生成された制御コマンドは、例えば、図7に示されるものであるが、詳細は後で説明する。
【0054】
I/Oプロセッサ133は、NASプロセッサ132から受け取った制御コマンドの内容を解析して、制御コマンドがバックアップ装置150に宛てたものであることを判断する。I/Oプロセッサ133内のバックアップ指示コマンド転送部234は、共有メモリ内のバックアップ情報格納領域251へ制御コマンドを転送する(ステップ504)。
【0055】
CHA内のI/Oプロセッサのバックアップ制御部242は、共有メモリ内のバックアップ情報格納領域251を随時ポーリングして、バックアップ情報格納領域251内の制御コマンドを発見した場合、制御コマンドを取り出す(ステップ505)。その際、I/Oプロセッサのバックアップ制御部242は、マッピングテーブル401に記録されたWWNを有する制御コマンドを、自バックアップ制御部242に対する制御コマンドであると判断して、制御コマンドを取り出す。I/Oプロセッサのバックアップ制御部242は、取り出された制御コマンドからFCP制御コマンドを生成する。FCP制御コマンドは、例えば、図8に示されたFCPを用いたコマンドであるが、詳細は後で説明される。I/Oプロセッサのバックアップ制御部242は、マッピングテーブル401を参照して、生成されたFCP制御コマンドを、イニシエータポート141を介してバックアップ装置150のターゲットポート151に宛てて送り出す(ステップ506)。バックアップ装置150は、FCP制御コマンドに対する応答として、FCP応答情報を送り出す(ステップ507)。FCP応答情報は、NASプロセッサのアプリケーションサーバ232に要求されたデバイス制御情報を有する。FCP応答情報は、例えば、図9に示されたFCPを用いた応答情報であるが、詳詳は後で説明される。
【0056】
I/Oプロセッサのバックアップ制御部242は、FCP応答情報を受け取ると、SCSIを用いた制御コマンドへ変換する。I/Oプロセッサのバックアップ制御部242は、変換された制御コマンドを、共有メモリ内のバックアップ情報格納領域251へ転送する(ステップ508)。
【0057】
ネットワークアダプタ内のI/Oプロセッサ133のバックアップ指示コマンド転送部234は、共有メモリ内のバックアップ情報格納領域251を随時ポーリングして、NASプロセッサ132宛ての制御コマンドを発見した場合、制御コマンドを取り出す(ステップ509)。I/Oプロセッサ133のバックアップ指示コマンド転送部234は、NASプロセッサ132から送り出された制御コマンド(ステップ503)に対する応答として、制御コマンドを、NASプロセッサ132に対して送り出す(ステップ510)。NASプロセッサのアプリケーションサーバ232は、制御コマンドを解析することによりデバイス制御情報を入手し、以後、バックアップ装置150のデバイス制御情報を管理する。なお、NASプロセッサ132から送り出された制御コマンド(ステップ503)に対する応答は、例えば、図7に示されるものであるが、詳細は後で説明する。
【0058】
このようにしてバックアップ装置150のデバイス制御情報を入手できた場合、NASプロセッサのアプリケーションサーバ232は、図10に示されたバックアップ装置150に対するバックアップ指示コマンドを生成及び発行することが可能となる。なお、図10は、後で詳細に説明される。
【0059】
図6は、記憶システム内のNASプロセッサによって送り出される、論理ボリュームへのアクセス要求等のフォーマットの一例である。
【0060】
論理ボリュームへのアクセス要求は、コマンド種別領域、コマンドの通し番号ID領域、アクセス先の論理ボリュームのLUN領域、タグ情報領域、オペコード領域、SCSI規格CDB(Command Descriptor Brock)領域、リザーブ領域等を有する。このうち、SCSI規格CDB領域は、SCSI規格に従って設けられた領域であり、書込み又は読み出し先の論理ボリュームの論理ブロックアドレス等が格納される。オペコード領域は、アクセス要求の内容等のコマンド情報を規定してある領域であり、ベンダユニークに定義できる領域である。例えば、論理ボリュームへのアクセス要求が書込み要求であった場合、オペコード領域は2Aが格納され、論理ボリュームへのアクセス要求が読み出し要求であった場合、オペコード領域は28と格納される。I/Oプロセッサ133は、オペコード領域を参照することによりアクセス要求の内容を判断することができる。オペコード領域の参照の結果、論理ボリュームへのアクセス要求が書込み要求又は書込み要求である場合、I/Oプロセッサのディスクアクセス制御部233は、SCSI規格CDB領域を参照して、参照された内容に従って処理を実行する。
【0061】
また、書込み要求の場合、書込みデータは、リザーブ領域に格納される。なお、論理ボリュームへの読み出し要求に対するI/Oプロセッサ133からの応答も、論理ボリュームへのアクセス要求のフォーマットと同様のものであるが、この場合、読み出しデータがリザーブ領域に格納される。
【0062】
図7は、記憶システム内のNASプロセッサから送り出される、デバイス制御情報を要求するための制御コマンド等のフォーマットの一例を示す。この制御コマンドは、図6のデータ入出力要求とフォーマットが異なり、オペコード領域(a)が余計に設けられている。
【0063】
この場合、余計に設けられたオペコード領域(a)は、デバイス制御情報を要求するための制御コマンドであることを定義するコマンド情報が格納された領域であり、例えば、XXが格納される。この場合、I/Oプロセッサ133は、オペコード領域(a)を参照することにより、デバイス制御情報を要求するための制御コマンドであることを判断し、SCSI規格CDB領域を参照することなく、CHA内のI/Oプロセッサ142に宛てて共有メモリ内のバックアップ情報格納領域251へ転送する。オペコード領域(a)が設けられている場合、SCSI規格CDB領域は、バックアップ装置150によって処理されるべき詳細情報が格納されているからである。一方、バックアップ装置150は、SCSI規格CDB領域に格納された情報を参照して、NASプロセッサ内のアプリケーションサーバ232によって要求された内容を判断し、デバイス制御情報の収集、送り出し等を行うこととなる。
【0064】
図7の場合、リザーブ領域には、イニシエータポート番号、WWN及びLUN等の付加情報が格納されている。CHA内のI/Oプロセッサのバックアップ制御部242は、イニシエータポート番号、WWN及びLUN等の付加情報を基にして、上述のFCP制御コマンドをバックアップ装置150に送り出す。
【0065】
なお、NASプロセッサ132からの制御コマンド(ステップ503)に対するI/Oプロセッサ133からの応答も、デバイス制御情報を要求するための制御コマンドのフォーマットと同様のものであるが、この場合、リザーブ領域には、さらにデバイス制御情報等が格納される。
【0066】
図8は、記憶システム内のNASプロセッサから送り出された制御コマンドがバックアップ装置によって受信されるまでのコマンドの流れを示す。
【0067】
既に述べた通り、ネットワークアダプタ130は一つのモジュール基板であり、NASプロセッサ132とI/Oプロセッサ133は、例えばPCIバス134等のバスで接続されている。そして、NASプロセッサ132とI/Oプロセッサ133との間の情報のやり取りは、SCSIを用いて行われる。図7に示されるように、NASプロセッサ132から送り出された制御コマンドは、オペコード領域(a)内に、デバイス制御情報を要求するための制御コマンドであることを定義する特殊なオペコード801を有する。さらに、NASプロセッサ132から送り出された制御コマンドは、SCSI規格CDBについての情報802及びその他の付加情報803を有する。オペコード801は、I/Oプロセッサ133によって、参照された後に削除される。SCSI規格CDBについての情報802及びその他の付加情報803は、共有メモリ147に格納される。SCSI規格CDBについての情報802及びその他の付加情報803は、CHA140内のI/Oプロセッサ142によって受け取られた後、付加情報803を参照されてバックアップ装置150に宛てて送り出される。その際、SCSI規格CDBについての情報802及びその他の付加情報803は、FCP制御コマンドとして、FCPを用いて送り出される。これにより、SCSI規格CDB802は、バックアップ装置150に受け取られる。
【0068】
図9は、バックアップ装置から送り出されたデバイス制御情報が記憶システム内のNASプロセッサによって受信されるまでのデバイス制御情報の流れを示す。
【0069】
デバイス制御情報が格納されたFCP応答情報は、バックアップ装置150からCHA140内のI/Oプロセッサ142に対してFCPを用いて送り出される。その際、バックアップ装置150は、FCP_XFER_RDYコマンド、FCP_DATAコマンド及びFCP_RSPコマンドをI/Oプロセッサ142に送り出す。FCP_XFER_RDYコマンドは、バックアップ装置150とI/Oプロセッサ142との間のネゴシエーションの役割を果たす。具体的には、バックアップ装置150は、FCP変換(XFER)が開始可能であること(RDY)の確認応答をI/Oプロセッサ142に通知する。FCP_DATAコマンドは、デバイス制御情報がパラメータ903として付加されたものである。FCP_RSPコマンドは、SCSI規格CDB802に関連する情報がSCSI STATUS904として付加されたものである。FCP_DATAコマンド及びFCP_RSPコマンドは、I/Oプロセッサ142によってパラメータ903及びSCSI STATUS904についてのSCSIコマンドに変換される。パラメータ903及びSCSI STATUS904は、共有メモリ147に転送される。パラメータ903及びSCSI STATUS904は、ネットワークアダプタ130内のI/Oプロセッサ133によって共有メモリ147から取り出されて、図7に示されるフォーマットの応答制御情報へ変換される。その際、デバイス制御情報は、リザーブ領域に格納される。その後、応答制御情報は、I/Oプロセッサ133によってNASプロセッサ132に送り出される。これにより、デバイス制御情報は、NASプロセッサ132に受け取られる。
【0070】
図10は、記憶システム内のデータをバックアップ装置に格納する処理フローである。
【0071】
ホストコンピュータ100からファイルデータのバックアップが指示された場合(ステップ1001)、NASプロセッサのアプリケーションサーバ232は、バックアップを取るべきデータが格納されている論理ボリュームの状態を取得するために、I/Oプロセッサ133に対して論理ボリュームの状態要求を送り出す(ステップ1002)。その際、アプリケーションサーバ232は、メモリ135内の制御情報へアクセスして論理ボリューム内のデータについての情報を取得し、ファイルデータとディスクアレイ122内の論理ボリュームとの変換テーブルを用いて、バックアップを取るべきファイルデータに対応する論理ボリューム内のデータ(以下、論理ボリューム内のバックアップ用データと呼ぶ。)についての情報を取得する。アプリケーションサーバ232は、取得されたデータが含まれる論理ボリュームについての状態の取得を試みる。I/Oプロセッサ133は、I/Oドライバ233及びPCIバス134を介して論理ボリュームの状態要求を受け取る。I/Oプロセッサの論理ボリューム状態制御部235は、共有メモリ147内の論理ボリューム状態管理テーブル252を参照して、バックアップを取るべきデータが格納されている論理ボリュームの状態を取得する(ステップ1003)。ここでいう論理ボリュームの状態は、既に述べた通り、例えば、シンプレックス状態、デュープレックス−ペンディング状態、デュープレックス状態又はスプリット状態である。I/Oプロセッサの論理ボリューム状態制御部235は、NASプロセッサのアプリケーションサーバ232に対して、取得された論理ボリュームの状態応答を送り出す(ステップ1004)。NASプロセッサのアプリケーション232は、論理ボリュームの状態応答の内容を解析した結果、論理ボリュームの状態がシンプレックス状態である場合、ペア形成指示コマンドを生成して、I/Oプロセッサ133に対して送り出す(ステップ1005)。なお、ユーザ又は管理者は、予め、SVP143又はホストコンピュータ100を用いて、バックアップを取るべきデータが格納されている論理ボリューム(この論理ボリュームを、正論理ボリュームという)と、バックアップデータの複製を格納する論理ボリューム(この論理ボリュームを、副論理ボリュームという)とを指定している。NASプロセッサのアプリケーション232は、正論理ボリュームと副論理ボリュームのペアを形成するべく、正論理ボリュームと副論理ボリュームのLUN等の関連情報を含めて、ペア形成指示コマンドを生成する。I/Oプロセッサの論理ボリューム状態制御部235は、受け取ったペア形成指示コマンドの内容を解析し、共有メモリ147内の論理ボリューム状態制御テーブル253に対して、ペア形成されるべき正論理ボリュームと副論理ボリュームのLUN等の関連情報を格納する(ステップ1006)。その後、制御プロセッサ145は、共有メモリ147内の論理ボリューム状態制御テーブル253及び論理ボリューム−物理ボリューム変換テーブル247等を参照して、ペアを形成する。制御プロセッサ145は、ペアが形成されてデュープレックス−ペンディング状態になったことを、共有メモリ147内の論理ボリューム状態管理テーブル252に格納する。制御プロセッサ145は、デュープレックス−ペンディング状態が終了後、デュープレックス状態になったことも、随時共有メモリ147内の論理ボリューム管理テーブルに格納する。I/Oプロセッサの論理ボリューム制御部235は、共有メモリ147の論理ボリューム管理テーブルを随時ポーリングしておき、ペア形成指示コマンドに対応する論理ボリュームがデュープレックス状態になったことを確認した場合(ステップ1007)、NASプロセッサのアプリケーションサーバ232に対して、ペア形成指示コマンドに対する応答を送り出す(ステップ1008)。NASプロセッサのアプリケーションサーバ232は、デュープレックス状態になったことを確認した後、I/Oプロセッサ133に対してスプリット要求を送り出す(ステップ1009)。
【0072】
NASプロセッサのアプリケーション232は、論理ボリュームの状態応答(ステップ1004)の内容を解析した結果、論理ボリュームの状態がデュープレックス−ペンディング状態である場合、形成コピー終了調査コマンドを生成して、I/Oプロセッサ133に対して送り出す(ステップ1010)。I/Oプロセッサの論理ボリューム状態制御部235は、受け取った形成コピー終了調査コマンドの内容を解析し、デュープレックス−ペンディング状態にある論理ボリュームの形成コピーが終了するのを調査する。具体的には、I/Oプロセッサの論理ボリューム状態制御部235は、共有メモリ147内の論理ボリューム状態管理テーブル252を調査して、デュープレックス−ペンディング状態がデュープレックス状態になるのを待ちつづける。I/Oプロセッサの論理ボリューム状態制御部235は、論理ボリュームの状態がデュープレックス状態になったことを確認すると(ステップ1007)、NASプロセッサのアプリケーションサーバ232に対して形成コピー終了確認コマンドを送り出す(ステップ1011)。NASプロセッサのアプリケーションサーバ232は、ペア形成されたことを判断した後、I/Oプロセッサ133に対してスプリット要求を送り出す(ステップ1009)。
【0073】
NASプロセッサのアプリケーション232は、論理ボリュームの状態応答(ステップ1004)の内容を解析した結果、論理ボリュームの状態がデュープレックス状態である場合、I/Oプロセッサ133に対してスプリット要求を送り出す(ステップ1009)。
【0074】
なお、NASプロセッサのアプリケーション232は、論理ボリュームの状態応答(ステップ1004)の内容を解析した結果、論理ボリュームの状態が既にスプリット状態である場合、新たにスプリット要求を送り出す必要ない。
【0075】
I/Oプロセッサの論理ボリューム状態制御部235は、スプリット要求を受け取ると、受け取ったスプリット要求の内容を解析し、共有メモリ147内の論理ボリューム状態制御テーブル253に対して、スプリットされるべき正論理ボリュームと副論理ボリュームのLUN等の関連情報を格納する(ステップ1012)。制御プロセッサ145は、共有メモリ147内の論理ボリューム状態制御テーブル253及び論理ボリューム−物理ボリューム変換テーブル247等を参照して、デュープレックス状態にあるペアの更新コピーを終了させる。論理ボリュームのペアは、更新コピーを終了することにより、分割されることとなる。制御プロセッサ145は、ペアが分割されてスプリット状態になったことを、共有メモリ147内の論理ボリューム状態管理テーブル252に格納する。I/Oプロセッサの論理ボリューム制御部235は、共有メモリ147の論理ボリューム管理テーブルを随時ポーリングしておき、スプリット要求に対応する論理ボリュームのペアがスプリット状態になったことを確認した場合(ステップ1013)、NASプロセッサのアプリケーションサーバ232に対して、スプリット完了コマンドを送り出す(ステップ1014)。
【0076】
NASプロセッサのアプリケーションサーバ232は、スプリット完了コマンドを受け取った後、バックアップ指示コマンド及びパラメータリストを生成して、I/Oドライバ233をバックアップ指示コマンドのイニシエータとして、I/Oプロセッサ133に対して送り出す(ステップ1015)。アプリケーションサーバ232は、パラメータリストに対して、論理ボリューム内のバックアップ用データについての情報を含める。
【0077】
I/Oプロセッサ133は、I/Oドライバ233及びPCIバス134を介して、バックアップ指示コマンド及びその後に続くパラメータリストを受け取る。
バックアップ指示コマンドは、I/Oプロセッサのバックアップ指示コマンド転送部234においてターゲットとしてのジョブの実行を開始する。I/Oプロセッサのバックアップ指示コマンド転送部234は、バックアップ指示コマンドのターゲットとして、共有メモリ内のバックアップ情報格納領域251に対してバックアップ指示コマンド及びパラメータリストを転送する(ステップ1016)。
【0078】
CHA内のI/Oプロセッサ142のバックアップ制御部242は、随時共有メモリ147をポーリングすることにより、バックアップ指示コマンド及びパラメータリストを発見する。I/Oプロセッサのバックアップ制御部242は、共有メモリ内のバックアップ情報格納領域251からバックアップ指示コマンド及びパラメータリストを取り出す(ステップ1017)。I/Oプロセッサのバックアップ制御部242は、パラメータリストの内容を参照することにより、バックアップ装置のターゲットポート151がデータのバックアップを行うためのターゲットとして使用されることを決定する。I/Oプロセッサのバックアップ制御部242は、イニシエータポート141を介して、バックアップ装置150のターゲットポート151が使用可能であるかを確認する(ステップ1018)。バックアップ装置150は、I/Oプロセッサのバックアップ制御部242からの確認に応じて、I/Oプロセッサのバックアップ制御部242に宛ててターゲットポートの詳細情報を応答する(ステップ1019)。I/Oプロセッサのバックアップ制御部242は、ターゲットポート151を通じてバックアップ装置150にログインする(ステップ1020)。I/Oプロセッサのバックアップ制御部242は、イニシエータポート141によってFCP書込みコマンド(FCP CMND(WRITE))をバックアップ装置150のターゲットポート151に送信する(ステップ1021)。続いて、バックアップ装置150は、データの変換を受信可能であることを示すFCP XFER RDYによって応答を返す(ステップ1022)。
【0079】
I/Oプロセッサのバックアップ制御部242は、共有メモリ147から取り出されたパラメータリストの内容を参照して、論理ボリューム内のバックアップ用データについての読み出し要求を、共有メモリ内のバックアップ情報格納領域251へ格納する(ステップ1023)。制御プロセッサ145は、共有メモリ内のバックアップ情報格納領域251へ格納されたデータ読み出し要求を参照して、要求されたデータをキャッシュメモリ148のバックアップ用読み出しデータ領域250へ読み出す。ここでいうキャッシュメモリ148へ読み出されるデータは、ステップ1013においてスプリット状態が確認されたペア論理ボリュームうちの副論理ボリュームに格納されたデータである。副論理ボリュームに格納されたデータをバックアップすることにより、ホストコンピュータ100、NASプロセッサ132及びI/Oプロセッサ133は、正論理ボリュームに対してアクセス要求及びその他の処理を実行することが可能となる。I/Oプロセッサのバックアップ制御部242は、キャッシュメモリ148のバックアップ用読み出しデータ領域250に格納されたデータを随時取り出して、FCPへ変換し、変換されたFCPデータをバックアップ装置150に送り出す(ステップ1024)。
【0080】
バックアップ装置150は、バックアップデータを受け取ったときに、データの受け取りに成功したことを示すFCP応答(RSP)を応答する(ステップ1025)。
【0081】
引き続き、I/Oプロセッサのバックアップ制御部242、バックアップ装置150及び共有メモリ147等は、ステップ1021〜1025の処理を継続する。この処理は、共有メモリ147から取り出されたパラメータリストで指定された全てのデータのバックアップが行われるまで反復される。I/Oプロセッサのバックアップ制御部242は、最後のFCPデータについてのFCP応答(ステップ1025)を受け取った場合、共有メモリ内のバックアップ情報格納領域251に対して、バックアップ完了通知を格納する(ステップ1026)。
【0082】
ネットワークアダプタ内のI/Oプロセッサのバックアップコマンド転送部234は、共有メモリ内を随時ポーリングすることにより、バックアップ完了通知を発見する。I/Oプロセッサのバックアップコマンド転送部234は、バックアップ完了通知を共有メモリ内のバックアップ情報格納領域から取り出して(ステップ1027)、バックアップ指示コマンドの指示内容が完了したことを示すバックアップ指示コマンド完了通知を生成し、NASプロセッサ132に対して通知する(ステップ1028)。
【0083】
以上のプロセスにより、データのバックアップは完了し、NASプロセッサのアプリケーションサーバ232は、適宜バックアップの完了をホストコンピュータ100に対して通知する(ステップ1029)。なお、データのバックアップが完了した場合、ユーザ又は管理者はSVP143又はホストコンピュータ100を用いて、ペア解除を指示する。NASプロセッサのアプリケーションサーバ232は、SVP143又はホストコンピュータ100からの指示に応じてペアを解除する。ペアが解除されることによって、正論理ボリューム及び副論理ボシュ−ムの区別もなくなり、それに応じて、論理ボリューム状態管理テーブル252内の状態情報もシンプレックス状態に変更されることとなる。
【0084】
また、データのバックアップが完了した場合、ユーザ又は管理者は、SVP143又はホストコンピュータ100を用いて、ペア再形成(リストア)を指示することも可能である。NASプロセッサのアプリケーションサーバ232は、SVP143又はホストコンピュータ100からの指示に応じてペアを再形成する。ペアが再形成されることによって、正論理ボリューム及び副論理ボシュ−ムのペアが再形成され、それに応じて、論理ボリューム状態管理テーブル252内の状態情報もデュープレックス−ペンディング状態に変更されることとなる。この場合、スプレッド状態中に更新された正論理ボリュームのデータ(更新差分データ)が、共有メモリ147の更新差分データ管理テーブル(図示せず)において管理されており、更新差分データが、形成コピーとして副論理ボリュームにコピーされる。
【0085】
このようにして、記憶システム120の論理ボリューム内のバックアップ用データがバックアップ装置150にコピーされることにより、ホストコンピュータ100から指示(ステップ1001)されたファイルデータが、バックアップ装置150にバックアップされる。
【0086】
なお、本実施例は、論理ボリュームの状態応答(ステップ1004)の内容がシンプレックス状態の場合、ペア形成指示コマンド(ステップ1005)、その応答(ステップ1008)及びスプリット要求(ステップ1009)を経てスプリット処理がなされることとなっているが、本実施例はこの場合に限られるものでなく、NASプロセッサ132からの一纏まりのコマンドのみによって、I/Oプロセッサの論理ボリューム状態制御部235が、ペア形成指示コマンド(ステップ1005)、その応答(ステップ1008)及びスプリット要求(ステップ1009)のすべてのコマンドに対応する処理を行うようにすることも好ましい。
【0087】
また、本実施例は、論理ボリュームの状態応答(ステップ1004)の内容がデュープレック−ペンディング状態の場合、形成コピー終了調査コマンド(ステップ1010)、形成コピー終了確認コマンド(ステップ1011)及びスプリット要求(ステップ1009)を経てスプリット処理がなされることとなっているが、本実施例はこの場合に限られるものでなく、NASプロセッサ132からの一纏まりのコマンドのみによって、I/Oプロセッサの論理ボリューム状態制御部235が、形成コピー終了調査コマンド(ステップ1010)、形成コピー終了確認コマンド(ステップ1011)及びスプリット要求(ステップ1009)のすべてのコマンドに対応する処理を行うようにすることも好ましい。
【0088】
また、本実施例は、論理ボリュームのペアを形成してスプリットした後に、副論理ボリュームに格納されたデータをバックアップすることとなっているが、本実施例はこの場合に限られるものでなく、副論理ボリュームを作成することなく、正論理ボリュームに格納されたデータをバックアップすることであることも好ましい。この場合、制御プロセッサ145によってキャッシュメモリ148のバックアップ用読み出しデータ領域250へ読み出されるデータは、正論理ボリュームに格納されたデータである。
【0089】
また、本実施例は、ホストコンピュータ100からのバックアップの指示(ステップ1001)によって、NASプロセッサ132が論理ボリュームの状態を要求(ステップ1002)することとしたが、本実施例はこの場合に限られるものでなく、NASプロセッサ132をはじめとする記憶システム120内のいずれかの内部装置に対して予めバックアップ時間を設定しておくことにより、予め設定されたバックアップ時間になったらNASプロセッサ132が論理ボリュームの状態を要求(ステップ1002)するようにすることも好ましい。この場合、予め設定されたバックアップ時間におけるデータのバックアップができるように、予め設定されたバックアップ時間に既にステップ1001〜ステップ1014の処理を終了させておくとも好ましい。
【0090】
本実施例は、NASプロセッサ132が論理ボリュームの状態に応じてスプリット要求(ステップ1009)に至るまでの必要な前処理を行うため、ホストコンピュータによってバックアップを指示されたときの論理ボリュームの状態に拘わらず、効率的にバックアップ装置150へのバックアップに移行できることとなる。
【0091】
また、本実施例は、CHA140のI/Oプロセッサ142がバックアップ装置150へデータのバックアップ処理をしているときに、ネットワークアダプタ130のI/Oプロセッサ133はディスクアクセス要求を処理できるため、ディスクアクセス要求の処理に影響を与えることなく、バックアップ装置150へデータのバックアップ処理を実行できる。
【0092】
また、本実施例は、ネットワークアダプタ130のNASプロセッサ132からの特別な指示コマンドによってバックアップをするため、記憶システム120の外部から逐一制御及び指示されることなく、バックアップ装置150へデータのバックアップ処理を実行できる。
【0093】
また、本実施例は、CHA140にSAN180を介して接続されたバックアップ装置150に対してデータのバックアップ処理を実行できるため、ネットワークアダプタ130に接続されたLANのトラフィックに影響を与えることなく、バックアップ装置150に対してデータのバックアップ処理を実行できる。
【0094】
図11は、記憶システム内のNASプロセッサによって生成された後に、送り出されるバックアップ指示コマンドの一例である。
【0095】
本実施例におけるバックアップ指示コマンドは、図12で示されたパラメータリストに基づいて、ソース装置としての記憶システム120からデスティネーション装置としてのバックアップ装置150に対してデータをコピーするためのコマンドである。
【0096】
バックアップ指示コマンドの一例は、例えば、拡張コピーコマンドである。ここでいう拡張コピーコマンドは、SCSI基本コマンド、又はベンダ特有のコマンドである。拡張コピーコマンドのフォーマットは、「ドラフトSCSI基本コマンド−2(SPC−2)」、T10/1236−D rev.19,March 2,2001(Technical Committee of Accredited Standards Committee NCITS(National Committee for Information Technology Standards)のT10の内部作業文書、T10ウェブサイトwww.t10.orgおよびAmerican National Standards Institute,New York、NY発行)によって与えられ、本願明細書には参照によって引用されている。拡張コピーコマンドは、幅16ビット、長さ16バイトである。パラメータリスト長は、パラメータリストのバイトの長さについての情報である。実際のデータのバックアップコピーのイニシエータ及びターゲットは、拡張コピーコマンドの後に続くパラメータリストで与えられる。
【0097】
図12は、図11のバックアップ指示コマンドの後に続くパラメータリストの一例である。
【0098】
パラメータリストは、(1)ネットワークアダプタ内のI/Oプロセッサ133をバックアップ指示コマンドのターゲットとすること、(2)CHA内のI/Oプロセッサ142をデータのバックアップを行うためのイニシエータとして使用されること、(3)バックアップ装置のターゲットポート151がデータのバックアップを行うためのターゲットとして使用されること、(4)論理ボリューム内のバックアップ用データ等についての情報を有する。
【0099】
パラメータリストのフォーマットは、SPC−2のフォーマットである(以下、SPC−2パラメータリストという)。SPC−2パラメータリストは、幅16ビットである。SPC−2パラメータリストの特徴は、バイト12〜15までの長さ4バイトのインラインデータ長、及びバイト16〜47のターゲット記述子0である。ターゲット記述子0は、固定長(32バイト)であり、「E0」(16進法(E0h))の初期バイト(バイト16)を有する。ターゲット記述子は、たとえば、SCSIデバイスポートを独自に識別しているWWN等を表示する。ターゲット記述子は、例えば、データのコピー元(ソース)からデータのコピー先(ディスティネーション)までに経由する装置のリストである。セグメント記述子は、例えば、複数のターゲット記述子に表示された装置を関連付ける情報である。
【0100】
本実施例において、ターゲット記述子0は、I/Oプロセッサ133の装置タイプである。ターゲット記述子1は、CHA内のI/Oプロセッサ142の装置タイプ及びディスクアレイ122内の論理ボリュームを示すLUN「A」を指定され、ターゲット記述子Nは、バックアップ装置のターゲットポート151及びバックアップ装置150内の論理ボリュームを示すLUN「B」を指定される。そして、セグメント記述子0は、ターゲット記述子0とターゲット記述子1とを関連付けることを指定される。セグメント記述子1は、ターゲット記述子1とターゲット記述子Nとを関連付けること、及びデータのバックアップを実行することを指定される。
【0101】
さらに、パラメータリストは、論理ボリューム内のバックアップ用データについての情報を有する。論理ボリューム内のバックアップ用データについての情報は、例えば、インラインデータとして指定される。パラメータリストが論理ボリューム内のバックアップ用データについての情報を有することにより、CHA140のI/Oプロセッサ142は、NASプロセッサ132によって生成されたパラメータリストを基にして論理ボリューム内のバックアップ用データを認識できて、論理ボリューム内のバックアップ用データをバックアップ装置150にバックアップコピーすることができる。これにより、ホストコンピュータ100から指示(ステップ1001)されたファイルデータは、バックアップ装置150にバックアップされる。
【0102】
なお、本実施例は、図3、図5及び図10の全てにおいてCHA内のI/Oプロセッサ142がターゲット装置150にアクセスできる場合について説明したが、ターゲット装置150にアクセスできない場合も存在しうる。このような場合、NASプロセッサ132は、CHA内のI/Oプロセッサ142から共有メモリ147、ネットワークアダプタ内のI/Oプロセッサ133を介してエラーメッセージを受け取ることとなる。このような場合としては、ターゲット装置150が利用可能でない、利用可能なSAN接続が存在しない、又はターゲット装置のポート151が使用中である等がある。
【0103】
また、本実施例では、ポーリングによってI/Oプロセッサ133、I/Oプロセッサ142が共有メモリ147内の情報を発見等する方法について記載したが、本実施例はこの場合に限られるものでなく、I/Oプロセッサ133、I/Oプロセッサ142が他の方法によって共有メモリ147内の情報を発見等することも好ましい。他の方法としては、例えば、I/Oプロセッサ133及びI/Oプロセッサ142が通信して、共有メモリ147内へ情報を格納したことを相互に知らせる方法がある。例えば、ステップ302及びステップ303で言えば、I/Oプロセッサ133のバックアップ指示コマンド転送部234は、共有メモリ内のバックアップ情報格納領域251へ制御コマンドを転送する一方、I/Oプロセッサ142のバックアップ制御部242に対して制御コマンドを共有メモリ147に転送したことを通知する。バックアップ制御部242は、通知を受け取った場合、通知を受け取ったことをバックアップ指示コマンド転送部234に応答する一方、共有メモリ147にアクセスして制御コマンドを取り出す。
【0104】
また、本実施例は、CHA140とバックアップ装置150を相互に一つのポートを用いて接続している場合について説明したが、本実施例はこの場合に限られるものでなく、CHA140とバックアップ装置150が複数のポートを用いて接続される場合にも適用される。この場合、例えば、CHA内の複数のポート141に対応して複数のI/Oプロセッサ142が設けられる場合があるが、複数のI/Oプロセッサ142のうち早期に共有メモリ147内の特定の情報を発見した方が、発見された特定の情報に従ってバックアップ処理することが好ましい。特定の情報を発見したI/Oプロセッサ142は、他のI/Oプロセッサ142を制御して、複数のI/Oプロセッサ142を纏めてバックアップ処理を担わせることにより、より高速にデータのバックアップをすることが可能となる。
【0105】
また、本実施例は、ネットワークアダプタ130がバックアップ装置150に接続されていない場合について説明したが、本実施例はこの場合に限られるものでなく、ネットワークアダプタ130がポート131を介してバックアップ装置150に接続されている場合にも適用される。この場合、ネットワークアダプタ130は、本実施例におけるCHA140の機能をも有するものである。具体的には、図1に記載のネットワークアダプタ130とCHA140との構成を保持したままで1つの基板又は1つのモジュールとすることも好ましいし、CHA140内のI/Oプロセッサ142の機能をネットワークアダプタ130内のNASプロセッサ132又はI/Oプロセッサ133に備えさせることも好ましい。
【0106】
また、本実施例は、NASプロセッサ132がDKC121及び記憶システム120内に設けられている場合にNASプロセッサ132がデバイス制御情報を受け取ることについて説明したが、本実施例はこの場合に限られるものでなく、本実施例におけるNASプロセッサ132と同様の機能を有するもの、I/Oプロセッサ133と同様の機能を有するもの、共有メモリ147と同様の機能を有するもの、I/Oプロセッサ142と同様の機能を有するもの等を利用する限りにおいて、NASプロセッサ132がDKC121及び記憶システム120内に設けられていない場合にも適用される。
【0107】
さらに、本実施例は、NASにおけるデータバックアップについて説明したが、本実施例はこの場合に限られるものでなく、本実施例におけるNASプロセッサ132と同様の機能を有するもの、I/Oプロセッサ133と同様の機能を有するもの、共有メモリ147と同様の機能を有するもの、I/Oプロセッサ142と同様の機能を有するもの等がそれぞれSANを介して存在している場合にもそのまま適用される。さらに、本実施例におけるホストコンピュータ100、DKC121及びディスクアレイ122等がそれぞれSANを介して存在している場合にもそのまま適用される。この場合であっても、本実施例は、バックアップサーバを用いることなく、効率的及び高速なデータのバックアップを図ることが出来る。
【0108】
また、本実施例は、DKC121内に複数のネットワークアダプタ130、複数のCHA140及び複数のDKA149を有している場合もあるため、複数のネットワークアダプタ130、複数のCHA140及び複数のDKA149から共有メモリ147又はキャッシュメモリ148へのアクセスが競合することもありうる。これに関して、複数のネットワークアダプタ130、複数のCHA140及び複数のDKA149上の複数のプロセッサから共有メモリ147又はキャッシュメモリ148へのアクセスであっても、複数のプロセッサが相互に異なるアドレス、異なる情報又は異なるデータ等にアクセスする場合においては、アクセスが競合することにならないため、排他制御等をする必要はない。また、同様に、複数のプロセッサからのアクセスが情報又はデータの読み出しに関するものである場合においても、情報又はデータの整合性が図れなくなることはないため、排他制御等をする必要はない。しかしながら、複数のプロセッサが相互に同一のアドレス、同一の情報又は同一のデータ等にアクセスする場合であって、なおかつ複数のプロセッサからのアクセスが情報又はデータの書き込みに関するものである場合には、情報又はデータの整合性を図る必要があるため、複数のプロセッサのうちいち早く共有メモリ147又はキャッシュメモリ148へアクセスしたプロセッサが、共有メモリ147又はキャッシュメモリ148への書き込みの占有権を一時的に確保することが好ましい。この場合、共有メモリ147又はキャッシュメモリ148内の個々のアドレスにはロックビットが用意されており、いち早く書き込みアクセスしたプロセッサが、アドレス内のロックビットを“0”から“1”に変更することにより、書き込みの占有権を獲得することとなる。後で同一のアドレスにアクセスした他のプロセッサは、アドレス内のロックビットを読み出して“1”であることを確認することにより、既に他のプロセッサが書き込みの占有権を取得していることを理解する。これにより、他のプロセッサは、ロックビットが“1”であるアドレスに対する書き込みをすることが出来ないこととなる。
【0109】
また、本実施例は、記憶システム120がSAN180を介してバックアップ装置150に接続されている場合について説明したが、本実施例はこの場合に限られるものでなく、記憶システム120がSAN180を介して他の記憶システム又はその他の情報処理装置に接続されることも好ましい。この場合、CHA140のI/Oプロセッサ142は、SANを介して他の情報処理装置に対してデータを転送することとなる。この場合であっても、本実施例は、SAN−NAS統合記憶システムを実現できる。
【0110】
また、本実施例は、正論理ボリューム223と副論理ボリューム224とは1対1で対応している場合について説明したが、本実施例はこの場合に限られるものでなく、正論理ボリューム223と副論理ボリューム224とが1対Nで対応している場合にも適用される。
【0111】
また、本実施例は、ホストコンピュータ100と記憶システム120がLAN160を介して接続しているが、本実施例はこの場合に限られるものでなく、ホストコンピュータ100と記憶システム120がWAN(Wide Area Network)、インタ―ネット、VPN(Virtual PrivateNetwork)、SAN、及び公衆網等を介して接続されている場合にも適用される。
【0112】
また、本実施例は、共有メモリ147とキャッシュメモリ148とを物理的かつ機能的に別々の存在として説明したが、本実施例はこの場合に限られるものでなく、共有メモリ147とキャッシュメモリ148との各々に相当する機能を纏めたメモリを用いるものであることも好ましい。
【0113】
また、本実施例は、I/Oプロセッサ133にディスクアクセス要求処理部233及び論理ボリューム状態制御部235を設けたが、本実施例はこの場合に限られるものでなく、NASプロセッサ132にディスクアクセス要求処理部233及び論理ボリューム状態制御部235を設けることも好ましい。
【0114】
さらに、本実施例は、本実施例におけるNASプロセッサ132、I/Oプロセッサ133及びI/Oプロセッサ142等に限られるものでなく、NASプロセッサ132、I/Oプロセッサ133及びI/Oプロセッサ142等の各々と同様の機能を有するハードウェア、ソフトウェア、及びプログラムをも含むものである。
【0115】
【発明の効果】
本発明によれば、バックアップ装置へのデータのバックアップは、効率的及び高速なものとなる。
【図面の簡単な説明】
【図1】本実施例におけるネットワークシステムの全体構成図である。
【図2】本実施例における記憶システムの処理を機能的に説明した図である。
【図3】本実施例の記憶システムがバックアップ装置に関する構成情報を入手するための処理フローである。
【図4】図3の処理フローの過程で生成されるマッピングテーブルを示した図である。
【図5】記憶システム内のNASプロセッサによって送り出されるデータ入出力要求又は制御コマンドに対する、記憶システム内の各要素の処理フローである。
【図6】記憶システム内のNASプロセッサによって送り出される、論理ボリュームへのアクセス要求等のフォーマットの一例である。
【図7】記憶システム内のNASプロセッサから送り出される、デバイス制御情報を要求するための制御コマンド等のフォーマットの一例を示す。
【図8】記憶システム内のNASプロセッサから送り出された制御コマンドがバックアップ装置によって受信されるまでのコマンドの流れを示す。
【図9】バックアップ装置から送り出されたデバイス制御情報が記憶システム内のNASプロセッサによって受信されるまでのデバイス制御情報の流れを示す。
【図10】記憶システム内のデータをバックアップ装置に格納する処理フローである。
【図11】記憶システム内のNASプロセッサによって生成された後に、送り出されるバックアップ指示コマンドの一例である。
【図12】図11のバックアップ指示コマンドの後に続くパラメータリストの一例である。
【符号の説明】
100・・・ホストコンピュータ
120・・・記憶システム
121・・・DKC
122・・・ディスクアレイ
130・・・ネットワークアダプタ
132・・・NASプロセッサ
133・・・I/Oプロセッサ
140・・・CHA
142・・・I/Oプロセッサ
145・・・制御プロセッサ
146・・・スイッチ
147・・・共有メモリ
148・・・キャッシュメモリ
149・・・DKA
150・・・バックアップ装置
160・・・LAN
180・・・SAN

Claims (4)

  1. データを記憶するディスクドライブと、
    通信経路に接続される第1のポート、並びにNASプロセッサ及び第1のI/Oプロセッサを有するネットワークアダプタと、
    バックアップ装置に接続される第2のポート、及び第2のI/Oプロセッサを有するチャネルアダプタと、
    共有メモリと、
    前記ディスクドライブに格納されたデータへアクセスするディスクアダプタと、
    前記ディスクアダプタ、前記ネットワークアダプタ、前記チャネルアダプタ、及び前記共有メモリを接続するスイッチと、
    を有し、
    前記NASプロセッサが、前記第1のポートを介してファイルアクセス要求を受け、前記ディスクドライブに格納されたデータへのディスクアクセス要求を生成した場合、前記第1のI/Oプロセッサは、前記ディスクアクセス要求に応じて、前記ディスクドライブへのデータの書き込み又は読み出しを実行し、
    前記NASプロセッサが、前記バックアップ装置についてのデバイス制御情報を要求するための制御コマンドを生成した場合、前記第1のI/Oプロセッサは、前記制御コマンドを前記共有メモリに格納し、前記第2のI/Oプロセッサは、前記共有メモリに格納された前記制御コマンドを読み出し、読み出した前記制御コマンドを前記第2のポートを介して前記バックアップ装置へ送り出すとともに、前記バックアップ装置から送り返された前記デバイス情報が前記共有メモリ内に格納されていることを、前記共有メモリとポーリングしている前記第1のI/Oプロセッサが検知した場合、当該第1のプロセッサは前記デバイス情報を取得して前記NASプロセッサに引き渡し
    前記NASプロセッサが、前記ディスクドライブに格納されたデータのバックアップを指示するバックアップ指示コマンドを生成した場合、前記第1のI/Oプロセッサは、前記バックアップ指示コマンドを前記共有メモリに格納し、前記第2のI/Oプロセッサは、前記共有メモリに格納された前記バックアップ指示コマンドを読み出し、読み出した前記バックアップ指示コマンドに応じて、前記ディスクドライブに格納されたデータを前記第2のポートを介して前記バックアップ装置へ送り出すこと、
    を特徴とする記憶システム。
  2. 請求項1記載の記憶システムにおいて、
    前記第2のI/Oプロセッサは、前記記憶装置に格納されたデータのバックアップに際して、前記記憶装置に格納されたデータの状態を調査するとともに、前記記憶装置に格納されたデータの状態に応じて、前記記憶装置に格納されたデータのバックアップの前に、前記記憶装置に格納されたデータをバックアップするのに必要な前処理を行うことを特徴とする記憶システム。
  3. 請求項2記載の記憶システムにおいて、
    前記前処理は、前記記憶装置に格納されたデータの状態がシンプレックス状態、デュープレックス−ペンディング状態又はデュープレックス状態のいずれであるかに応じて異なることを特徴とする記憶システム。
  4. データを記憶するディスクドライブと、
    通信経路に接続される第1のポート、並びにNASプロセッサ及び第1のI/Oプロセッサを有するネットワークアダプタと、
    バックアップ装置に接続される第2のポート、及び第2のI/Oプロセッサを有するチャネルアダプタと、
    共有メモリと、
    前記ディスクドライブに格納されたデータへアクセスするディスクアダプタと、
    前記ディスクアダプタ、前記ネットワークアダプタ、前記チャネルアダプタ、及び前記共有メモリを接続するスイッチと、
    を有する記憶システムの運用方法であって、
    前記NASプロセッサが、前記第1のポートを介してファイルアクセス要求を受け、前記ディスクドライブに格納されたデータへのディスクアクセス要求を生成した場合、前記第1のI/Oプロセッサは、前記ディスクアクセス要求に応じて、前記ディスクドライブへのデータの書き込み又は読み出しを実行し、
    前記NASプロセッサが、前記バックアップ装置についてのデバイス制御情報を要求するための制御コマンドを生成した場合、前記第1のI/Oプロセッサは、前記制御コマンドを前記共有メモリに格納し、前記第2のI/Oプロセッサは、前記共有メモリに格納された前記制御コマンドを読み出し、読み出した前記制御コマンドを前記第2のポートを介して前記バックアップ装置へ送り出し、
    前記NASプロセッサが、前記ディスクドライブに格納されたデータのバックアップを指示するバックアップ指示コマンドを生成した場合、前記第1のI/Oプロセッサは、前記バックアップ指示コマンドを前記共有メモリに格納し、前記第2のI/Oプロセッサは、前記共有メモリに格納された前記バックアップ指示コマンドを読み出し、読み出した前記バックアップ指示コマンドに応じて、前記ディスクドライブに格納されたデータを前記第2のポートを介して前記バックアップ装置へ送り出すこと、
    を特徴とする記憶システムの運用方法。
JP2002375857A 2002-12-26 2002-12-26 記憶システム及びそのデータバックアップ方法 Expired - Fee Related JP4252301B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002375857A JP4252301B2 (ja) 2002-12-26 2002-12-26 記憶システム及びそのデータバックアップ方法
US10/427,689 US6886086B2 (en) 2002-12-26 2003-04-29 Storage system and data backup method for the same
US11/016,105 US7334100B2 (en) 2002-12-26 2004-12-17 Storage system and data backup method for the same
US11/972,100 US7461227B2 (en) 2002-12-26 2008-01-10 Storage system and data backup method for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002375857A JP4252301B2 (ja) 2002-12-26 2002-12-26 記憶システム及びそのデータバックアップ方法

Publications (3)

Publication Number Publication Date
JP2004206496A JP2004206496A (ja) 2004-07-22
JP2004206496A5 JP2004206496A5 (ja) 2006-01-26
JP4252301B2 true JP4252301B2 (ja) 2009-04-08

Family

ID=32652704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002375857A Expired - Fee Related JP4252301B2 (ja) 2002-12-26 2002-12-26 記憶システム及びそのデータバックアップ方法

Country Status (2)

Country Link
US (3) US6886086B2 (ja)
JP (1) JP4252301B2 (ja)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099875B2 (en) * 1999-06-29 2006-08-29 Emc Corporation Method and apparatus for making independent data copies in a data processing system
US6728848B2 (en) * 2001-06-11 2004-04-27 Hitachi, Ltd. Method and system for backing up storage system data
JP2004005222A (ja) * 2002-05-31 2004-01-08 Internatl Business Mach Corp <Ibm> 格納形式が異なる記録装置のためのバックアップ技術
US7089282B2 (en) * 2002-07-31 2006-08-08 International Business Machines Corporation Distributed protocol processing in a data processing system
JP2004164072A (ja) * 2002-11-11 2004-06-10 Hitachi Ltd ディスク制御装置およびディスク制御装置の制御方法
JP4252301B2 (ja) * 2002-12-26 2009-04-08 株式会社日立製作所 記憶システム及びそのデータバックアップ方法
JP2004220216A (ja) * 2003-01-14 2004-08-05 Hitachi Ltd San/nas統合型ストレージ装置
JP2004227098A (ja) * 2003-01-20 2004-08-12 Hitachi Ltd 記憶デバイス制御装置の制御方法、及び記憶デバイス制御装置
US6952743B2 (en) * 2003-03-07 2005-10-04 Ivivity, Inc. Interface for distributed processing of SCSI tasks
JP4278445B2 (ja) * 2003-06-18 2009-06-17 株式会社日立製作所 ネットワークシステム及びスイッチ
JP2005018100A (ja) * 2003-06-23 2005-01-20 Fujitsu Ltd ネットワークファイルサーバ、情報処理装置並びにプログラム
JP4325849B2 (ja) * 2003-06-27 2009-09-02 株式会社日立製作所 記憶システム、バックアップシステム及びバックアップ方法
US7165145B2 (en) * 2003-07-02 2007-01-16 Falconstor Software, Inc. System and method to protect data stored in a storage system
JP2005031716A (ja) * 2003-07-07 2005-02-03 Hitachi Ltd データバックアップの方法及び装置
JP4278452B2 (ja) * 2003-08-04 2009-06-17 株式会社日立製作所 計算機システム
US7207033B2 (en) * 2003-08-08 2007-04-17 International Business Machines Corporation Automatic backup and restore for configuration of a logical volume manager during software installation
US7089357B1 (en) * 2003-09-22 2006-08-08 Emc Corporation Locally buffered cache extensions having associated control parameters to determine use for cache allocation on subsequent requests
JP2005135065A (ja) 2003-10-29 2005-05-26 Hitachi Ltd 記憶デバイス制御装置、及び記憶デバイス制御装置の制御方法
JP4400913B2 (ja) * 2003-11-26 2010-01-20 株式会社日立製作所 ディスクアレイ装置
JP4591840B2 (ja) * 2004-02-26 2010-12-01 日本電気株式会社 ネットワーク間のプロセス移動方法およびそのネットワークシステム
JP3909062B2 (ja) 2004-03-25 2007-04-25 株式会社日立製作所 Nasの制御装置及びバックアップ方法並びにプログラム
JP4376692B2 (ja) * 2004-04-30 2009-12-02 富士通株式会社 情報処理装置、プロセッサ、プロセッサの制御方法、情報処理装置の制御方法、キャッシュメモリ
JP4401863B2 (ja) * 2004-05-14 2010-01-20 株式会社日立製作所 ストレージシステム
US20060008782A1 (en) * 2004-07-08 2006-01-12 Williams Jennette L Device for teaching phonetic alphabet
JP4575059B2 (ja) * 2004-07-21 2010-11-04 株式会社日立製作所 ストレージ装置
US7373472B2 (en) * 2004-08-31 2008-05-13 Emc Corporation Storage switch asynchronous replication
JP5038589B2 (ja) * 2004-10-04 2012-10-03 株式会社日立製作所 ディスクアレイ装置及びその負荷分散方法
US8279886B2 (en) 2004-12-30 2012-10-02 Intel Corporation Dataport and methods thereof
US9104315B2 (en) * 2005-02-04 2015-08-11 Sandisk Technologies Inc. Systems and methods for a mass data storage system having a file-based interface to a host and a non-file-based interface to secondary storage
JP2006227856A (ja) * 2005-02-17 2006-08-31 Hitachi Ltd アクセス制御装置及びそれに搭載されるインターフェース
US8239477B2 (en) * 2005-07-08 2012-08-07 Cisco Technology, Inc. Apparatus and methods for controlling a data tapping session in a storage area network
US7356573B2 (en) * 2005-07-08 2008-04-08 Cisco Technology, Inc. Apparatus and methods for data tapping in a storage area network
US20070287775A1 (en) * 2006-06-09 2007-12-13 Wheelock Brian C Low viscosity curable compositions
US8473566B1 (en) * 2006-06-30 2013-06-25 Emc Corporation Methods systems, and computer program products for managing quality-of-service associated with storage shared by computing grids and clusters with a plurality of nodes
US7653767B2 (en) * 2007-01-23 2010-01-26 International Business Machines Corporation Hierarchical enclosure management services
JP2008276379A (ja) * 2007-04-26 2008-11-13 Hitachi Ltd 記憶システム及びパス切替え方法
US9058127B2 (en) * 2007-04-27 2015-06-16 Hewlett-Packard Development Company, L.P. Data transfer in cluster storage systems
US20090063794A1 (en) * 2007-08-30 2009-03-05 International Business Machines Corporation Method and system for enhanced data storage management
CN101399696B (zh) 2007-09-24 2011-09-21 国际商业机器公司 通过网络为客户机安装软件的方法、系统及相应的客户机
JP5111204B2 (ja) * 2008-03-31 2013-01-09 株式会社日立製作所 ストレージシステム及びストレージシステムの管理方法
TW201005516A (en) * 2008-07-22 2010-02-01 Inventec Corp Method for providing a customized response from a disk array
US8234380B1 (en) * 2008-09-29 2012-07-31 Emc Corporation Single communication connection for managing a system with multiple service processors
JP2010097385A (ja) * 2008-10-16 2010-04-30 Fujitsu Ltd データ管理プログラム、ストレージ装置診断プログラム、およびマルチノードストレージシステム
WO2011001537A1 (en) * 2009-06-30 2011-01-06 Hitachi,Ltd. Storage system and its information processing method
JP2011186908A (ja) * 2010-03-10 2011-09-22 Mitsubishi Electric Corp バックアップ装置、バックアップ方法
CN102237280A (zh) * 2010-04-23 2011-11-09 飞思卡尔半导体公司 包括锯切分割的组装半导体器件的方法
US8738843B2 (en) * 2010-12-20 2014-05-27 Lsi Corporation Data manipulation during memory backup
US9026629B2 (en) * 2010-12-30 2015-05-05 Broadcom Corporation Graceful out-of-band power control of remotely-managed computer systems
CN102761579B (zh) * 2011-04-29 2015-12-09 国际商业机器公司 利用存储域网络传输数据的方法和系统
US20130085995A1 (en) 2011-09-29 2013-04-04 International Business Machines Corporation Managing back up operations for data
CN103946806B (zh) * 2011-09-29 2017-06-16 英特尔公司 用于提供存储器访问控制的装置、系统和方法
KR102083490B1 (ko) * 2012-08-08 2020-03-03 삼성전자 주식회사 비휘발성 메모리 장치, 이를 포함하는 메모리 시스템 및 비휘발성 메모리 장치의 커맨드 실행 제어 방법
DE102012110164B4 (de) * 2012-10-24 2021-08-19 Fujitsu Ltd. Rechneranordnung
US20140229695A1 (en) * 2013-02-13 2014-08-14 Dell Products L.P. Systems and methods for backup in scale-out storage clusters
US9594614B2 (en) 2013-08-30 2017-03-14 Nimble Storage, Inc. Methods for transitioning control between two controllers of a storage system
US9733846B1 (en) * 2014-12-18 2017-08-15 EMC IP Holding Company LLC Integrated backup performance enhancements by creating affinity groups
US10042719B1 (en) * 2015-09-22 2018-08-07 EMC IP Holding Company LLC Optimizing application data backup in SMB
CN105739930B (zh) * 2016-02-02 2019-01-08 华为技术有限公司 一种存储架构及其初始化方法和数据存储方法及管理装置
US10839289B2 (en) 2016-04-28 2020-11-17 International Business Machines Corporation Neural network processing with von-Neumann cores
US10585818B2 (en) * 2017-04-05 2020-03-10 International Business Machines Corporation Low overhead exclusive control for shared memory objects
EP3407147A1 (de) * 2017-05-24 2018-11-28 Siemens Aktiengesellschaft Verfahren zum betrieb einer zyklisch arbeitenden automatisierungssteuerung, automatisierungssteuerung und engineeringsystem
TWI662417B (zh) * 2018-05-31 2019-06-11 緯創資通股份有限公司 切換卡以及伺服器
US11409655B2 (en) * 2019-03-01 2022-08-09 Canon Kabushiki Kaisha Interface apparatus, data processing apparatus, cache control method, and medium
CN111831471B (zh) * 2019-04-18 2023-03-03 华为终端有限公司 一种用户终端、调试设备及数据备份的方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5907684A (en) * 1994-06-17 1999-05-25 International Business Machines Corporation Independent channel coupled to be shared by multiple physical processing nodes with each node characterized as having its own memory, CPU and operating system image
JPH0981508A (ja) * 1995-08-31 1997-03-28 Internatl Business Mach Corp <Ibm> 通信方法及び装置
US6108704A (en) * 1995-09-25 2000-08-22 Netspeak Corporation Point-to-point internet protocol
US5906658A (en) * 1996-03-19 1999-05-25 Emc Corporation Message queuing on a data storage system utilizing message queuing in intended recipient's queue
US5832222A (en) 1996-06-19 1998-11-03 Ncr Corporation Apparatus for providing a single image of an I/O subsystem in a geographically dispersed computer system
US6438586B1 (en) 1996-09-30 2002-08-20 Emc Corporation File transfer utility which employs an intermediate data storage system
US6273622B1 (en) * 1997-04-15 2001-08-14 Flash Networks, Ltd. Data communication protocol for maximizing the performance of IP communication links
US6006342A (en) 1997-12-11 1999-12-21 International Business Machines Corporation Failover and failback system for a direct access storage device
US6078990A (en) 1998-02-06 2000-06-20 Ncr Corporation Volume set configuration using a single operational view
US6105122A (en) 1998-02-06 2000-08-15 Ncr Corporation I/O protocol for highly configurable multi-node processing system
US6173374B1 (en) 1998-02-11 2001-01-09 Lsi Logic Corporation System and method for peer-to-peer accelerated I/O shipping between host bus adapters in clustered computer network
US7756986B2 (en) * 1998-06-30 2010-07-13 Emc Corporation Method and apparatus for providing data management for a storage system coupled to a network
US6101547A (en) 1998-07-14 2000-08-08 Panasonic Technologies, Inc. Inexpensive, scalable and open-architecture media server
US6513097B1 (en) 1999-03-03 2003-01-28 International Business Machines Corporation Method and system for maintaining information about modified data in cache in a storage system for use during a system failure
JP2001167040A (ja) * 1999-12-14 2001-06-22 Hitachi Ltd 記憶サブシステム及び記憶制御装置
JP2002007304A (ja) 2000-06-23 2002-01-11 Hitachi Ltd ストレージエリアネットワークを用いた計算機システム及びそのデータ取り扱い方法
JP4176341B2 (ja) * 2001-10-23 2008-11-05 株式会社日立製作所 記憶制御装置
US7152078B2 (en) * 2001-12-27 2006-12-19 Hitachi, Ltd. Systems, methods and computer program products for backup and restoring storage volumes in a storage area network
US7139885B2 (en) * 2001-12-27 2006-11-21 Hitachi, Ltd. Method and apparatus for managing storage based replication
JP2003316713A (ja) * 2002-04-26 2003-11-07 Hitachi Ltd 記憶装置システム
US7152144B2 (en) * 2002-05-29 2006-12-19 Hitachi, Ltd. Centralized storage management method
JP4252301B2 (ja) * 2002-12-26 2009-04-08 株式会社日立製作所 記憶システム及びそのデータバックアップ方法
US6866086B2 (en) * 2003-01-22 2005-03-15 Douglas F. Souther Solid form seat belt buckle and escape tool

Also Published As

Publication number Publication date
US6886086B2 (en) 2005-04-26
US7461227B2 (en) 2008-12-02
US7334100B2 (en) 2008-02-19
JP2004206496A (ja) 2004-07-22
US20050108487A1 (en) 2005-05-19
US20040128456A1 (en) 2004-07-01
US20080120483A1 (en) 2008-05-22

Similar Documents

Publication Publication Date Title
JP4252301B2 (ja) 記憶システム及びそのデータバックアップ方法
US6073209A (en) Data storage controller providing multiple hosts with access to multiple storage subsystems
JP4175764B2 (ja) 計算機システム
US8990153B2 (en) Pull data replication model
US7660946B2 (en) Storage control system and storage control method
JP4412685B2 (ja) 記憶制御装置及びこれを用いたデータ格納システムの取り扱い方法
JP3993773B2 (ja) ストレージサブシステム、記憶制御装置及びデータコピー方法
JP4723873B2 (ja) メディア管理のストレージシステム
US7536491B2 (en) System, method and apparatus for multiple-protocol-accessible OSD storage subsystem
US7865588B2 (en) System for providing multi-path input/output in a clustered data storage network
JP4136501B2 (ja) リモートコピー用初期コピー処理の実行方法
EP1291755A2 (en) Storage system, a method of file data back up and a method of copying of file data
JP2004192105A (ja) 記憶装置の接続装置およびそれを含むコンピュータシステム
KR20040083484A (ko) 저장장치 지역 네트워크 이내의 저장장치 가상화 구현을위한 방법 및 장치
JP2010231807A (ja) 記憶装置システム
EP1246050A2 (en) Storage system
JP2005202495A (ja) データ移行方法
JP2008004120A (ja) ダイレクトアクセスストレージシステム
JP2007066192A (ja) ストレージシステム及びその制御方法並びにコンピュータプログラム
US20070192553A1 (en) Backup apparatus and backup method
WO2005115108A2 (en) System and method for unit attention handling
EP1632842B1 (en) Storage device system
JP2007141264A (ja) 記憶装置システム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20051207

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051207

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20051207

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20060420

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081111

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20081114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090120

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090121

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120130

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130130

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140130

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees