JP4429634B2 - ストレージシステム、及びストレージシステムの制御方法 - Google Patents
ストレージシステム、及びストレージシステムの制御方法 Download PDFInfo
- Publication number
- JP4429634B2 JP4429634B2 JP2003156370A JP2003156370A JP4429634B2 JP 4429634 B2 JP4429634 B2 JP 4429634B2 JP 2003156370 A JP2003156370 A JP 2003156370A JP 2003156370 A JP2003156370 A JP 2003156370A JP 4429634 B2 JP4429634 B2 JP 4429634B2
- Authority
- JP
- Japan
- Prior art keywords
- storage device
- information processing
- storage
- lun
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0604—Improving or facilitating administration, e.g. storage management
- G06F3/0607—Improving or facilitating administration, e.g. storage management by facilitating the process of upgrading existing storage systems, e.g. for improving compatibility between host and storage device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0631—Configuration or reconfiguration of storage systems by allocating resources to storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
- G06F3/065—Replication mechanisms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0662—Virtualisation aspects
- G06F3/0665—Virtualisation aspects at area level, e.g. provisioning of virtual or logical volumes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
- G06F11/2074—Asynchronous techniques
Description
【０００１】
【発明の属する技術分野】
本発明は、ストレージシステムの制御方法、ストレージシステム、及びストレージ装置に関する。
【０００２】
【従来の技術】
近年、大地震等の災害発生時にメインサイトのコンピュータシステムが停止しても、リモートサイトのコンピュータシステムにより業務を継続して行うことを可能とするために、リモートコピーと呼ばれる技術が開発されている。リモートコピーは、メインサイトのストレージ装置が備える記憶ボリュームに記憶されるデータの複製を、リモートサイトのストレージ装置が備える記憶ボリュームに記憶するための技術である。
【０００３】
一方、近年ストレージ装置により提供される大容量の記憶資源を有効に利用するために、複数の情報処理装置でストレージ装置を共有して利用する形態が普及している。この場合、共有して利用されるストレージ装置に記憶されるデータのセキュリティを確保するため、各情報処理装置が利用できる記憶ボリュームをあらかじめ割り当てるＬＵＮ（Logical Unit Number）マスキングと呼ばれる技術が用いられる。一般的にストレージ装置において、ストレージ装置内の各記憶ボリュームを特定する場合、記憶ボリューム毎に一意に割り当てられたグローバルな識別子により行うことができるが、ＬＵＮマスキングが行われている場合には、各情報処理装置にとっては自己に割り当てられた記憶ボリュームの識別子が不連続な番号となる場合がある。そのためＬＵＮマスキングが行われているストレージ装置においては、情報処理装置毎にローカルな識別子を記憶ボリュームに割り当てている。これにより各情報処理装置は、ストレージ装置に対してデータ入出力要求を行う場合、自己に割り当てられたローカルな識別子を用いて記憶ボリュームを特定することができる。
【０００４】
【特許文献１】
特開２００１−２６５６５５号公報
【０００５】
【発明が解決しようとする課題】
ところでリモートコピーを行う場合には、メインサイトに設置されたストレージ装置がリモートサイトに設置されたストレージ装置に対してデータ入出力要求を送信することになるが、従来の技術では、メインサイトに設置されたストレージ装置が、リモートサイトに設置されたストレージ装置が備える記憶ボリュームを特定するために自己にローカルに割り当てられた識別子を取得するための技術が無かったため、グローバルな識別子を用いてリモートサイトのストレージ装置にデータ入出力要求を送信していた。
【０００６】
一方、１台のストレージ装置が備える記憶ボリュームの数は、大規模なストレージ装置の場合には数千にも及ぶため、リモートサイトに設置されたストレージ装置に送信されるデータ入出力要求にグローバルな識別子を記述するためには相応のビット数が必要となる。しかしながら、ＳＣＳＩ（small computer systems interface）等により標準化されたデータ入出力要求では、それだけのビット数が用意されていないため、従来のリモートコピーは、ストレージ装置の機種毎にメーカ独自のリモートコピー用コマンドを用いることにより行われていた。
【０００７】
このように、従来は機種毎に独自のリモートコピーを行っており、機種の異なるストレージ装置間や、メーカの異なるストレージ装置間でリモートコピーを行うことに対する考慮がなされていなかった。
本発明は上記課題を鑑みてなされたものであり、ストレージシステムの制御方法、ストレージシステム、及びストレージ装置を提供することを主たる目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、本発明に係るストレージシステムは、第１情報処理装置と、
前記第１情報処理装置に通信可能に接続される第１ストレージ装置と、
前記第１情報処理装置と通信可能に接続される第２情報処理装置と、
前記第１ストレージ装置及び前記第２情報処理装置の双方と通信可能に接続される第２ストレージ装置と
を備えるストレージシステムであって、
前記第１ストレージ装置は、論理ボリュームである１つ以上の第１ＬＵと、前記第１情報処理装置から送信されるデータを前記第１ＬＵに記憶し、前記第１情報処理装置から送信される前記データの複製をリモートコピーする第１コントローラと、を有し、
前記第２ストレージ装置は、論理ボリュームである１つ以上の第２ＬＵと、前記第１ストレージ装置から前記リモートコピーの前記複製を受信して、前記複製を前記第２ＬＵに記憶する第２コントローラと、を有し、
前記第１ストレージ装置は、当該第１ストレージ装置の第１ＷＷＮ又は前記第２ストレージ装置の第２ＷＷＮと、前記第１ＬＵの識別子である第１内部ＬＵＮと、前記第２ストレージ装置に前記第１ＬＵを特定させるための識別子である第１外部ＬＵＮと、の対応が管理された第１ＬＵマッピングテーブルを記憶し、
前記第２ストレージ装置は、前記第１ＷＷＮ又は前記第２ＷＷＮと、前記第２ＬＵの識別子である第２内部ＬＵＮと、前記第１ストレージ装置に前記第２ＬＵを特定させるための識別子である第２外部ＬＵＮと、の対応が管理された第２ＬＵマッピングテーブルを記憶し、
前記第１ストレージ装置が、前記リモートコピーの複製元である前記第１ＬＵに記憶されているデータのうち、その複製先である前記第２ＬＵに未反映のデータが管理されるテーブルである差分管理テーブルを記憶し、
前記第１情報処理装置が、前記第１ＬＵの前記第１内部ＬＵＮを前記第１ストレージ装置から、前記第２ＬＵの前記第２内部ＬＵＮを前記第２ストレージ装置から、夫々取得し、
前記第１情報処理装置が、前記第２ストレージ装置のネットワークアドレス、前記複製元である前記第１ＬＵの前記第１内部ＬＵＮ、及び前記複製先である前記第２ＬＵの前記第２内部ＬＵＮ、前記第１ストレージ装置と前記第２ストレージ装置とを接続する夫々の前記第１ＷＷＮ及び前記第２ＷＷＮの指定を伴う、リモートコピーの指示を受け付け、
前記第１情報処理装置が、前記第２情報処理装置に、前記第１ストレージ装置の前記第２ストレージ装置が接続している前記第１ＷＷＮ、及び前記複製先となる前記第２ＬＵの前記第２内部ＬＵＮの指定を伴う、前記第２外部ＬＵＮの取得要求を送信し、
前記第２情報処理装置が、前記取得要求に応じて、前記第２ストレージ装置に前記第２外部ＬＵＮの取得要求を送信し、
前記第２ストレージ装置が、前記第１ＷＷＮ及び前記第２内部ＬＵＮの指定と第２ＬＵマッピングテーブルとに基づき前記第２外部ＬＵＮを特定し、特定した前記第２外部ＬＵＮを前記第２情報処理装置に送信し、
前記第２情報処理装置が、前記第２外部ＬＵＮを受信し、受信した前記第２外部ＬＵＮを前記第１情報処理装置に送信し、
前記第１情報処理装置が、前記複製元である前記第１ＬＵの前記第１内部ＬＵＮ、及び前記複製先である前記第２ＬＵの前記第２外部ＬＵＮの指定を伴うリモートコピーの実行要求を、前記第１ストレージ装置に送信し、
前記第１ストレージ装置が、前記実行要求を受信すると、前記差分管理テーブルに基づき前記複製先の未反映のデータが存在するか否かを判定し、存在すると判定した場合に、当該未反映のデータについての、前記第２外部ＬＵＮの指定を伴うＳＣＳＩ規格に従った書き込み要求を、前記第２ストレージ装置に送信し、
前記第２ストレージ装置が、前記書き込み要求を受信すると、前記第２外部ＬＵＮで特定される前記複製先の前記第２ＬＵに前記データを書き込み、
前記第１ストレージ装置が、前記第１情報処理装置が利用する前記複製元の前記第１ＬＵに書き込まれるデータの複製を、当該第１ストレージ装置の第３ＬＵに複製し、前記複製元の前記第１ＬＵから前記複製先の前記第２ＬＵへのリモートコピーに際し、前記第１ＬＵから前記第３ＬＵへのデータの複製を中止した後、前記第３ＬＵに記憶されているデータの複製を前記第２ＬＵに書き込むことにより前記リモートコピーを行い、当該リモートコピーが終了すると、中止していた前記第１ＬＵから前記第３ＬＵへのデータの複製を再開し、
前記第２ストレージ装置が、前記第２情報処理装置が利用する前記第２ストレージ装置の第４ＬＵに書き込まれるデータの複製を前記第２ＬＵに複製し、前記第１ＬＵから前記第２ＬＵへの前記リモートコピーに際し、前記第４ＬＵから前記第２ＬＵへのデータの複製を中止した後、前記第１ストレージ装置から受信した前記第３ＬＵに記憶されているデータの複製を前記第２ＬＵに書き込むことにより前記リモートコピーを行い、当該リモートコピーが終了すると、中止していた前記第４ＬＵから前記第２ＬＵへのデータの複製を再開する。
【０００９】
ここで、ストレージ装置とはディスクドライブを備えた記憶装置である。ディスクドライブとは、データを記録するための記録媒体を備えた装置であり、例えばハードディスク装置や半導体記憶装置である。記憶ボリュームとは、ディスクドライブにより提供される物理的な記憶領域である物理ボリュームと、物理ボリューム上に論理的に設定される記憶領域である論理ボリュームとを含む記憶資源である。識別子とは、例えばＳＣＳＩ規格により定められるＬＵＮである。またデータ入出力要求とは、例えばＳＣＳＩ規格により定められるＷＲＩＴＥコマンドである。
【００１０】
その他、本願が開示する課題、及びその解決方法は、発明の実施の形態の欄、及び図面により明らかにされる。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
＝＝＝全体構成＝＝＝
まず、本実施の形態に係るストレージシステムの全体構成を示すブロック図を図１に示す。
本実施の形態に係るストレージシステムは、情報処理装置０（１００）及びストレージ装置０（第１のストレージ装置）（２００）と、情報処理装置１（１００）及びストレージ装置１（第２のストレージ装置、他のストレージ装置）（２００）とにより構成される。
【００１２】
情報処理装置０（１００）は、ストレージ装置０（２００）により提供される記憶資源を利用することにより各種の情報処理サービスを提供するためのコンピュータである。情報処理装置０（１００）により提供される情報処理サービスとしては、例えば銀行の自動預金預け払いサービスや、航空機の座席予約サービス等とすることができる。情報処理装置０（１００）とストレージ装置０（２００）とが設置される場所をメインサイトと呼ぶ。
【００１３】
一方、情報処理装置１（１００）は、災害の発生などによりメインサイトに設置される情報処理装置０（１００）による情報処理サービスの提供ができない状態になったときに、情報処理装置０（１００）が行っていた情報処理サービスの提供を引き継ぎ、情報処理サービスの提供を代行して行うためのコンピュータである。その際、情報処理装置１（１００）はストレージ装置１（２００）により提供される記憶資源を利用することにより情報処理サービスを行う。そのためストレージ装置１（２００）には、ストレージ装置０（２００）に記憶されているデータの複製が記憶されている。ストレージ装置０（２００）に記憶されているデータの複製をストレージ装置１（２００）に記憶するために、リモートコピーが行われる。これにより、情報処理装置０（１００）がストレージ装置０（２００）に記憶されるデータを更新した場合には、その複製がストレージ装置１（２００）にも反映される。情報処理装置１（１００）とストレージ装置１（２００）とが設置される場所をリモートサイトと呼ぶ。
【００１４】
なお情報処理装置１（１００）は、情報処理装置０（１００）により提供される情報処理サービスの代行を行うだけでなく、独自の情報処理サービスの提供を行う様にすることもできる。この場合、例えばリモートサイトに災害が発生し情報処理装置１（１００）による情報処理サービスの提供が行えない状態になった際には、例えば情報処理装置０（１００）に情報処理サービスの代行を行わせる様にすることもできる。
【００１５】
メインサイトに設置される情報処理装置０（１００）と、リモートサイトに設置される情報処理装置１（１００）とは、第１のネットワーク３００で通信可能に接続されている。また、メインサイトに設置されるストレージ装置０（２００）と、リモートサイトに設置されるストレージ装置１（２００）とは、第２のネットワーク３１０で通信可能に接続されている。上述したリモートコピーは第２のネットワーク３１０を介して行われる。
【００１６】
第１のネットワーク３００としては、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）通信プロトコルにより通信が行われるＬＡＮ（Local Area network）とすることができる。
【００１７】
また第２のネットワーク３１０としては、例えばファイバチャネル通信プロトコルにより通信が行われるＳＡＮ（Storage Area Network）とすることができる。また、情報処理装置０（１００）とストレージ装置０（１００）との間の接続や、情報処理装置１（１００）とストレージ装置１（１００）との間の接続も、ファイバチャネル通信プロトコルにより通信が行われるＳＡＮとすることができる。その他、ｉＳＣＳＩ（Internet Small Computer Systems Interface）等の通信プロトコルを用いるようにすることもできる。
【００１８】
＝＝＝情報処理装置＝＝＝
次に、本実施の形態に係る情報処理装置１００の構成を示すブロック図を図２に示す。なお本実施の形態に係る情報処理装置１００には、情報処理装置０（１００）と情報処理装置１（１００）とがあるが、いずれも基本的な構成は同様であるため、特に両者を区別する必要がない場合には情報処理装置１００と記す。
【００１９】
情報処理装置１００は、ＣＰＵ１１０、メモリ１２０、ポート１３０、記録媒体読取装置１４０、入力装置１５０、出力装置１６０、記憶装置１７０を備える。
ＣＰＵ１１０は情報処理装置１００の全体の制御を司るもので、メモリ１２０に記憶されたアプリケーションプログラム１９０を実行することにより本実施の形態に係る各種機能を実現する。記録媒体読取装置１４０は、記録媒体１７０に記録されているプログラムやデータを読み取るための装置である。読み取られたプログラムやデータはメモリ１２０や記憶装置１７０に格納される。従って、例えば記録媒体１７０に記録されたアプリケーションプログラム１９０を、記録媒体読取装置１４０を用いて上記記録媒体１７０から読み取って、メモリ１２０に格納するようにすることができる。
記録媒体１７０としてはフレキシブルディスクや磁気テープ、ＣＤ−ＲＯＭ、半導体メモリ等を用いることができる。記録媒体読取装置１４０は情報処理装置１００に内蔵されている形態とすることもできるし、外付されている形態とすることもできる。入力装置１５０はオペレータ等による情報処理装置１００へのデータ入力等のために用いられる。入力装置１５０としては例えばキーボードやマウス等が用いられる。出力装置１６０は情報を外部に出力するための装置である。出力装置１６０としては例えばディスプレイやプリンタ等が用いられる。
ポート１３０は通信を行うための装置であり、送信する手段や受信する手段として機能する。例えば第１のネットワーク３００を介して行う他の情報処理装置１００との通信やストレージ装置２００との通信などがポート１３０を介して行われる。これにより、例えばアプリケーションプログラム１９０を他の情報処理装置１００から受信して、メモリ１２０に格納するようにすることもできる。 アプリケーションプログラム１９０は、ストレージ装置０（２００）に記憶されるデータの複製をストレージ装置１（２００）に記憶させる際の制御を行うためのプログラムである。詳細は後述する。
【００２０】
＝＝＝ストレージ装置＝＝＝
次に本実施の形態に係るストレージ装置２００について、図１を用いて説明する。なお本実施の形態に係るストレージ装置２００には、ストレージ装置０（２００）とストレージ装置１（２００）とがあるが、いずれも基本的な構成は同様であるため、特に両者を区別する必要がない場合には、ストレージ装置２００と記す。
【００２１】
ストレージ装置２００は、ディスク制御装置２１０と、ディスク駆動装置２２０と、管理端末２６０とを備える。
【００２２】
ディスク制御装置２１０は、情報処理装置１００や他のストレージ装置２００との間で通信を行い、ディスク駆動装置２２０に対するデータ入出力処理を行う。例えば情報処理装置１００からデータの書き込み要求を受信し、ディスク駆動装置２２０に対するデータの書き込み処理を行う。ディスク制御装置２１０は、ＣＰＵ２１１、メモリ２１２、ＦＣ Ｉ／Ｆ（Fibre Channel InterFace）２１３、ディスクＩ／Ｆ（ディスクInterFace）２１４を備える。ＣＰＵ２１１は、ディスク制御装置２１０全体の制御を司るもので、メモリ２１２に記憶された制御プログラム２１５を実行することにより本実施の形態に係る各種機能を実現する。またメモリ２１２には、制御プログラム２１５の他、差分管理テーブル２１７、ＬＵマッピングテーブル２１６が記憶されている。詳細は後述する。
ＦＣ Ｉ／Ｆ２１３は情報処理装置１００や他のストレージ装置２００と通信を行うためのインタフェース機能を有し、送信する手段や受信する手段として機能する。ディスクＩ／Ｆ２１４はディスク駆動装置２２０とデータの授受を行うためのインタフェース機能を有し、入出力処理を行う手段や書き込む手段として機能する。
【００２３】
ディスク駆動装置２２０はデータを記憶するための記憶ボリューム２３０を備える。記憶ボリューム２３０は、ハードディスクドライブ等のディスクドライブにより提供される物理的な記憶領域である物理ボリュームと、物理ボリューム上に論理的に設定される記憶領域である論理ボリュームとを含む記憶資源である。図１においては、ストレージ装置０（２００）にはＬＵ（Logical Unit）０１、ＬＵ０２、ＬＵ０３の３つの記憶ボリュームが備えられ、ストレージ装置１（２００）にはＬＵ１１、ＬＵ１２、ＬＵ１３の３つの記憶ボリュームが備えられる。また、ストレージ装置２００はこれらの記憶ボリューム２３０により提供される記憶資源を利用する各装置（例えば情報処理装置１００や他のストレージ装置２００）に対して、アクセス可能な記憶ボリューム２３０を割り当てている。すなわちＬＵＮマスキング（以下、ＬＵマッピングとも記す）を行っている。例えばストレージ装置１（２００）は、情報処理装置１（１００）に対しては、ＬＵ１１及びＬＵ１２へのアクセスを許可している。またストレージ装置１（２００）は、ストレージ装置０（２００）に対してはＬＵ１２及びＬＵ１３へのアクセスを許可している。これにより、ストレージ装置２００が備える記憶ボリューム２３０により提供される記憶資源を複数の装置に利用させる場合に、第三者へのデータ流出や第三者からの不正アクセスを防止することができる。
【００２４】
管理端末２６０は、ストレージ装置２００の保守管理を行うためのコンピュータである。管理端末２６０はストレージ装置２００に組み込まれるように構成することもできるし、ストレージ装置２００と通信網で接続された形態とすることもできる。また管理端末２６０はストレージ装置２００の保守・管理を専用に行うコンピュータとすることもできるし、汎用のコンピュータに保守・管理機能を持たせたものとすることもできる。
【００２５】
管理端末２６０の構成を示すブロック図を図３に示す。
管理端末２６０は、ＣＰＵ２６１、メモリ２６２、ポート２６３、記録媒体読取装置２６４、入力装置２６５、出力装置２６６、記憶装置２６８を備える。
【００２６】
ＣＰＵ２６１は管理端末２６０の全体の制御を司るもので、メモリ２６２に格納されたプログラム２６９を実行することによりストレージ装置２００の保守管理機能等を実現する。記録媒体読取装置２６４は、記録媒体２６７に記録されているプログラムやデータを読み取るための装置である。読み取られたプログラムやデータはメモリ２６２や記憶装置２６８に格納される。従って、例えば記録媒体２６７に記録された制御プログラム２１５を、記録媒体読取装置２６４を用いて上記記録媒体２６７から読み取って、メモリ２６２や記憶装置２６８に格納し、ディスク制御装置２１０のメモリ２１２に送信するようにすることができる。記録媒体２６７としてはフレキシブルディスクやＣＤ−ＲＯＭ、磁気テープ、半導体メモリ等を用いることができる。記録媒体読取装置２６４は管理端末２６０に内蔵されている形態とすることもできるし、外付されている形態とすることもできる。記憶装置２６８は、例えばハードディスク装置や半導体記憶装置等である。入力装置２６５はオペレータ等による管理端末２６０へのデータ入力等のために用いられる。入力装置２６５としては例えばキーボードやマウス等が用いられる。出力装置２６６は情報を外部に出力するための装置である。出力装置２６６としては例えばディスプレイやプリンタ等が用いられる。ポート２６３は情報処理装置１００やストレージ装置２００と通信を行うための装置である。これにより、例えば制御プログラム２１５を他の情報処理装置１００から受信して、ディスク制御装置２１０のメモリ２１２に送信するようにすることもできる。なお、本実施の形態に係る管理端末２６０の機能を情報処理装置１００に備え、管理端末を設けない構成とすることもできる。この場合、ストレージ装置２００の保守管理は情報処理装置１００を用いて行われることになる。
【００２７】
＝＝＝ＬＵマッピング＝＝＝
次に、本実施の形態に係るストレージシステムにおいて、ＬＵマッピングが行われる様子を説明するための図を図４に示す。
上述したように、ストレージ装置０（２００）にはＬＵ０１、ＬＵ０２、ＬＵ０３の３つの記憶ボリュームが備えられ、ストレージ装置１（２００）にはＬＵ１１、ＬＵ１２、ＬＵ１３の３つの記憶ボリュームが備えられている。そして情報処理装置０（１００）、情報処理装置１（１００）、ストレージ装置０（２００）、ストレージ装置１（２００）にはそれぞれ、ファイバチャネル規格に従って通信を行うためのＷＷＮ（World Wide Name）が定義されている（図４においてＷＷＮ０１、ＷＷＮ０２、ＷＷＮ０３、ＷＷＮ１１、ＷＷＮ１２、ＷＷＮ１３と記載されている）。例えば情報処理装置０（１００）からストレージ装置０（２００）に対してデータ入出力要求を送信する場合には、情報処理装置０（１００）は、データ入出力要求に、送信元を示す情報としてＷＷＮ０１を記述し、送信先を示す情報としてＷＷＮ０３を記述する。これによりデータ入出力要求は、情報処理装置０（１００）からストレージ装置０（２００）に送信される。
【００２８】
またデータ入出力要求を送信する際には、データ入出力の対象となる記憶ボリューム２３０を特定する必要がある。上述したようにストレージ装置０（２００）ではＬＵマッピングが行われているため、情報処理装置０（１００）は、自己に割り当てられた記憶ボリューム２３０を特定するための識別子を用いて、記憶ボリューム２３０を特定する必要がある。具体的には、図４に示す例において、情報処理装置０（１００）にはＬＵ０１とＬＵ０２とが割り当てられているが、それぞれの記憶ボリューム２３０に対して、情報処理装置０（１００）にＬＵＡ０１、ＬＵＡ０２という識別子が割り当てられている。そのため情報処理装置０（１００）は、ＬＵ０１に対するデータ入出力要求を送信する場合には、データ入出力要求にＬＵＡ０１という識別子を記述して送信する。同様にＬＵ０２に対するデータ入出力要求を送信する場合には、データ入出力要求にＬＵＡ０２と記述して送信する。
【００２９】
なお図４に示すように、ＬＵ０１、ＬＵ０２、ＬＵ０３のように、ストレージ装置２００内の各記憶ボリューム２３０を一意に特定する識別子を内部ＬＵＮとも言う。またＬＵＡ０１、ＬＵＡ０２のように、ＬＵマッピングのために各装置に割り当てられる識別子を外部ＬＵＮとも言う。
また図４に示すようにストレージ装置０（２００）は、ストレージ装置１（２００）に対してはＬＵ０１、ＬＵ０２、ＬＵ０３を割り当てており、それぞれＬＵＢ０２、ＬＵＢ０３、ＬＵＢ０１という識別子（外部ＬＵＮ）により特定される。
同様に、ストレージ装置１（２００）は、ストレージ装置０（２００）に対してはＬＵ１２、及びＬＵ１３を割り当てており、それぞれＬＵＢ１２、ＬＵＢ１３という識別子（外部ＬＵＮ）により特定される。またストレージ装置１（２００）は、情報処理装置１（１００）に対してはＬＵ１１、及びＬＵ１２を割り当てており、それぞれＬＵＡ１１、ＬＵＡ１２という識別子（外部ＬＵＮ）により特定される。
【００３０】
これらの識別子の管理は、ストレージ装置２００が備えるメモリ２１２に記憶されるＬＵマッピングテーブル２１６により行われる。ストレージ装置１（２００）のメモリ２１２に記憶されるＬＵマッピングテーブル２１６の例を図５に示す。
【００３１】
ＬＵマッピングテーブル２１６は、”ＷＷＮ”欄と、”外部ＬＵＮ”欄と、”内部ＬＵＮ”欄とを備える。
”ＷＷＮ”欄は、記憶ボリューム２３０に対するアクセスが許可されたＷＷＮが記される。つまり、”ＷＷＮ”欄に記されたＷＷＮから送信されたデータ入出力要求に対してのみデータ入出力が行われる。図５の例では、ＷＷＮ０２はストレージ装置０（２００）を示し、ＷＷＮ１１は情報処理装置１（１００）を示す。
【００３２】
”外部ＬＵＮ”欄は、各ＷＷＮに対して割り当てられた記憶ボリューム２３０を特定するためにＷＷＮ毎に割り当てられた識別子が記される。
”内部ＬＵＮ”欄は、ストレージ装置２００内で一意に割り当てられた記憶ボリューム２３０の識別子が外部ＬＵＮ毎に記される。
【００３３】
次に、ストレージ装置０（２００）とストレージ装置１（２００）との間の通信路を複数設けた場合の構成図を図６に示す。この場合も、図４を用いて説明したのと同様に、ＷＷＮ毎に外部ＬＵＮを割り当てることにより、ＬＵＮマッピングが行われる。ストレージ装置２００間の通信路を複数設けるようにすることにより、一部の転送路に障害が発生しても、正常な転送路を用いてリモートコピーを行うことが可能となる。また複数ある転送路を有効に活用することにより、ストレージ装置２００間のデータ転送時間の短縮を図ることもできる。
【００３４】
＝＝＝リモートコピー処理の流れ＝＝＝
次に、本実施の形態に係るリモートコピーの処理の流れを示すフローチャートを図７に示す。なお以下の処理は、本実施の形態に係る各種の動作を行うためのコードから構成されるアプリケーションプログラム１９０をＣＰＵ１１０が実行し、制御プログラム２１５をＣＰＵ２１１が実行することにより実現される。
【００３５】
ストレージ装置０（２００）からストレージ装置１（２００）へのリモートコピーを行う場合、まずオペレータはストレージ装置０（２００）が備える複製元の記憶ボリューム２３０と、ストレージ装置１（２００）が備える複製先の記憶ボリューム２３０とを特定しなければならない。但しこの場合、各ストレージ装置２００ではＬＵＮマッピングが行われているため、記憶ボリューム２３０を特定するための識別子は、どの装置から記憶ボリューム２３０を特定するかによって異なる。そのため、複製元の記憶ボリューム２３０と複製先の記憶ボリューム２３０との特定は、各ストレージ装置２００の内部ＬＵＮにより行う。
【００３６】
そこでまず情報処理装置０（１００）は、各ストレージ装置２００が備える記憶ボリューム２３０の内部ＬＵＮを取得する。そのために、まず情報処理装置０（１００）は、ストレージ装置０（２００）に対して、内部ＬＵＮの取得要求を送信する（S1000）。同時に情報処理装置０（１００）は、情報処理装置１（１００）に対して第１のネットワーク３００を介して、ストレージ装置１（２００）の内部ＬＵＮの取得要求を送信する（S1000）。そうすると、ストレージ装置０（２００）は、ＬＵマッピングテーブル２１６を参照して、全内部ＬＵＮと、それらに対応する情報処理装置０（１００）に割り当てた外部ＬＵＮとを情報処理装置０（１００）に送信する。これにより情報処理装置０（１００）はストレージ装置０（２００）の内部ＬＵＮを取得することができる（S1002）。
【００３７】
一方、情報処理装置１（１００）はストレージ装置１（２００）に対して、内部ＬＵＮの取得要求を送信する。そうすると、ストレージ装置１（２００）は、ＬＵマッピングテーブル２１６を参照して、全内部ＬＵＮと、それらに対応する情報処理装置１（１００）に割り当てた外部ＬＵＮとを情報処理装置１（１００）に送信する。情報処理装置１（１００）はストレージ装置１（２００）の全内部ＬＵＮとそれらに対応する情報処理装置１（１００）に割り当てた外部ＬＵＮとを情報処理装置０（１００）に送信する。これにより情報処理装置０（１００）はストレージ装置１（２００）の内部ＬＵＮを取得することができる（S1001）。なお、ストレージ装置０（２００）とストレージ装置１（２００）とが同一の機種である場合には、ストレージ装置０（２００）からストレージ装置１（２００）に対して、ストレージ装置１（２００）が備える記憶ボリューム２３０の内部ＬＵＮの取得要求を送信するようにすることもできる。
【００３８】
次に、オペレータは、複製元の記憶ボリューム２３０と複製先の記憶ボリューム２３０との決定を行った後（S1003）、リモートコピーの指示を情報処理装置０（１００）に対して行う（S1004、S1005）。ここでは、ストレージ装置０（２００）のＬＵ０２に記憶されるデータの複製を、ストレージ装置１（２００）のＬＵ１３に記憶することに決定されたものと仮定して、以下に説明する。オペレータによるリモートコピーの指示は、情報処理装置１（１００）のＩＰ（Internet Protocol）アドレス、複製元の記憶ボリューム２３０の内部ＬＵＮ（ＬＵ０２）、複製先の記憶ボリューム２３０の内部ＬＵＮ（ＬＵ１３）、ストレージ装置０（２００）とストレージ装置１（２００）とを接続するそれぞれのＷＷＮ（ＷＷＮ０２、ＷＷＮ１２）を指定して行われる。
【００３９】
これらの指定は、データの複製先であるストレージ装置１（２００）や、複製元の記憶ボリューム２３０、複製先の記憶ボリューム２３０が頻繁に変更される場合には、情報処理装置０（１００）が備える入力装置１５０や出力装置１６０により提供されるＧＵＩ（Graphical User Interface）やＣＵＩ（Character User Interface）等により毎回行うようにすることが有効である。一方、データの複製先であるストレージ装置１（２００）や、複製元の記憶ボリューム２３０、複製先の記憶ボリューム２３０がほとんど変更されない場合には、情報処理装置０（１００）のメモリ１２０等にこれらの情報を記憶しておき、オペレータからのリモートコピーの指示を受け付けた際に、自動的に参照されるようにしておくことが有効である。
【００４０】
また、S1004とS1005とは同時に行うようにすることもできるが、別々に行うようにすることもできる。別々に行った場合、まずS1004が実行されることにより、ストレージ装置０（２００）とストレージ装置１（２００）との間の転送路の確立が行われる。これにより、万が一転送路に障害が発生していた場合にも、障害部位の絞り込みを容易にすることが可能となる。なお、ストレージ装置０（２００）とストレージ装置１（２００）との間の転送路は、図６に示したように複数とすることも可能である。
【００４１】
次に情報処理装置０（１００）は、情報処理装置１（１００）に対して第１のネットワーク３００を介して、ストレージ装置１（２００）がストレージ装置０（２００）に対して割り当てている外部ＬＵＮの取得要求を送信する（S1006）。この外部ＬＵＮの取得要求は、情報処理装置１（１００）のＩＰアドレスを指定して行われ、ストレージ装置０（２００）のストレージ装置１（２００）に対するＷＷＮであるＷＷＮ０２と、複製先記憶ボリューム２３０の内部ＬＵＮであるＬＵＮ１３を指定して行われる。そうすると情報処理装置１（１００）はストレージ装置１（２００）に対して、ストレージ装置１（２００）がストレージ装置０（２００）に対して割り当てている外部ＬＵＮの取得要求を送信する。ストレージ装置１（２００）は、ＬＵマッピングテーブル２１６を参照して、ストレージ装置１（２００）がストレージ装置０（２００）に対して割り当てている外部ＬＵＮ（ＬＵＢ１１）を情報処理装置１（１００）に送信する。情報処理装置１（１００）はストレージ装置１（２００）がストレージ装置０（２００）に対して割り当てている外部ＬＵＮ（ＬＵＢ１１）を情報処理装置０（１００）に送信する。これにより情報処理装置０（１００）はストレージ装置１（２００）がストレージ装置０（２００）に対して割り当てている外部ＬＵＮ（ＬＵＢ１１）を取得することができる（S1006）。図６に示したようにストレージ装置０（２００）とストレージ装置１（２００）との間に複数の転送路が設けられている場合には、各転送路に定められたＷＷＮ毎に外部ＬＵＮが割り当てられているため、それぞれの外部ＬＵＮを同様に取得する。
【００４２】
なお、ストレージ装置０（２００）とストレージ装置１（２００）とが同一の機種である場合には、S1004及びS1005においてリモートコピーの指示を情報処理装置０（１００）に対して行う際に指定した、ストレージ装置１（２００）のＷＷＮ（ＷＷＮ１２）を、S1006において取得することも可能である。S1006において、ストレージ装置１（２００）が、ＬＵマッピングテーブル２１６を参照してストレージ装置１（２００）がストレージ装置０（２００）に対して割り当てている外部ＬＵＮ（ＬＵＢ１１）を情報処理装置１（１００）に送信する際に、ストレージ装置１（２００）のＷＷＮであるＷＷＮ１２を合わせて送信するようにすることができるからである。
【００４３】
次に情報処理装置０（１００）は、ストレージ装置０（２００）に対して、リモートコピー実行要求を送信する（S1007）。このリモートコピー実行要求には、複製元の記憶ボリューム２３０の内部ＬＵＮ（ＬＵ０２）と、複製先の記憶ボリューム２３０の外部ＬＵＮ（第２のストレージ装置において第２の記憶ボリュームを特定するために用いられる識別子、及び第２のストレージ装置においてある第２の記憶ボリュームを特定するために用いられる識別子に相当する。ＬＵＢ１１）とが含まれる。リモートコピー実行要求は、ＳＣＳＩ規格で定められる「Extended Copyコマンド」や、ストレージ装置２００のメーカ独自のコマンドとすることができる。なお複製されるデータの量が多い場合に「Extended Copyコマンド」を用いると、タイムアウトエラーが発生する場合がある。その場合には、タイムアウトエラーが発生しない程度のデータ量毎に「Extended Copyコマンド」を送信する。
【００４４】
続いてリモートコピー実行要求を受信したストレージ装置０（２００）は、差分管理テーブル２１７を参照する（S1008）。差分管理テーブル２１７は、複製元として指定された記憶ボリューム２３０に記憶されているデータのうち、複製先の記憶ボリューム２３０に未反映（未書き込み）のデータを管理するためのテーブルである。すなわち、前回のリモートコピー実施後に複製元の記憶ボリューム２３０に記憶されるデータが更新された場合に、更新があったことを差分管理テーブル２１７に記録しておくことにより、リモートコピー実施要求を受信した際に、更新があったデータのみを複製先の記憶ボリューム２３０に送信するようにすることができる。これにより、リモートコピー実行要求を受信した際に、ストレージ装置２００は、複製元の記憶ボリューム２３０に記憶される全てのデータを毎回複製先に送信するのではなく、複製先の記憶ボリューム２３０に未反映のデータのみを送信するようにすることができる。本実施の形態に係る差分管理テーブル２１７を図８に示す。
【００４５】
図８に示すように、差分管理テーブル２１７はビットマップとして構成されている。ビットマップ上の各ビットは、（ｘｐｉ、ｙｐｊ）（ｉ、ｊ＝１、２、…）を指定することにより行われる。差分管理テーブル２１７の各ビットは、複製元の記憶ボリューム２３０のデータの記憶単位であるブロック、ないしトラックなどに対応する。例えば各ビットが１トラックに対応する場合、[ｘｐｉ，ｙｐｊ]で特定されるビットの値は、例えば記憶ボリューム２３０のシリンダ番号ｘｐｉ、ヘッド番号ｙｐｊで一意に定められるトラックに対応する。ビットの値が”０”の場合は、当該データは複製先の記憶ボリューム２３０に反映済みであることを示す。またビットの値が”１”の場合は未反映であることを示す。なお、リモートコピー実行要求を受信した際に、差分管理テーブル２１７の全てのビットが”０”の場合は、複製元記憶ボリューム２３０の全データの複製を複製先記憶ボリューム２３０に送信するようにする。なお、もちろんストレージ装置０（２００）は、差分管理テーブル２１７を用いずに、情報処理装置０（１００）からリモートコピー実行要求を受信した際には、毎回複製元として指定された記憶ボリューム２３０の全てのデータをストレージ装置１（２００）に送信するようにすることもできる。
【００４６】
S1008において差分管理テーブル２１７を参照した結果、複製先の記憶ボリューム２３０に未反映のデータがある場合には、ストレージ装置０（２００）は、複製先の記憶ボリューム２３０を特定するために用いられる識別子であるＬＵＢ１１をデータ入出力要求に記述して、データ入出力要求をストレージ装置１（２００）に送信する（S1009）。ＬＵＢ１１は外部ＬＵＮであるため、少ないビット数で記述することができる。そのため、データ入出力要求としてＳＣＳＩ規格で定められるＷＲＩＴＥコマンドを用いることができる。ＳＣＳＩ規格により定められるＷＲＩＴＥコマンドは、ストレージ装置２００の機種やメーカの違いによらずに統一されたコマンドであるので、機種やメーカの異なるストレージ装置２００間でもリモートコピーを行うことができるようになる。
【００４７】
なお、送信されるデータの量が多い場合には、ＷＲＩＴＥコマンドを用いた場合にタイムアウトエラーが発生する場合がある。そのため、タイムアウトエラーが発生しない程度のデータ量毎に分けてＷＲＩＴＥコマンドの送信が行われるようにする。
【００４８】
一方S1008において、差分管理テーブル２１７を参照した結果、全てのビットが”０”であった場合には、S1011に進む。そしてストレージ装置０（２００）は、複製先の記憶ボリューム２３０を特定するために用いられる識別子であるＬＵＢ１１をデータ入出力要求に記述して、データ入出力要求をストレージ装置１（２００）に送信する（S1011）。
【００４９】
ストレージ装置１（２００）は、ストレージ装置０（２００）からデータ入出力要求を受信すると、複製先記憶ボリューム２３０として特定された記憶ボリューム２３０に対してデータの入出力処理を行う。データ入出力要求がＷＲＩＴＥコマンドである場合にはデータの書き込み処理が行われる（S1010）。この際、情報処理装置０（１００）からの指示により、リモートコピーの進捗状況、すなわち複製先記憶ボリューム２３０へのデータの書き込み進捗状況を確認するようにすることもできる。
【００５０】
データの入出力処理が完了すると、ストレージ装置１（２００）は、完了報告をストレージ装置０（２００）に送信する（S1012）。そしてストレージ装置０（２００）は完了報告を受信することにより、リモートコピーが正常に終了したことを知ることができる。これによりリモートコピーの一連の作業が終了する。
【００５１】
なお本実施の形態においては、ストレージ装置０（２００）からストレージ装置１（２００）に対してデータを書き込む場合の処理について説明したが、ストレージ装置０（２００）がストレージ装置１（２００）に記憶されているデータを読み出す場合についても処理の流れは同様である。
【００５２】
ところで、データの複製元となる記憶ボリューム２３０や複製先となる記憶ボリューム２３０は、通常、情報処理装置１００により情報処理サービスの提供のために利用されている。この場合、リモートコピー処理により上記記憶ボリューム２３０へのデータ入出力頻度が増加すると、情報処理装置１００から上記記憶ボリューム２３０へのデータアクセスに遅延が生じ、情報処理サービスへ影響を与えることになる。またストレージ装置０（２００）は差分管理テーブル２１７により複製先の記憶ボリューム２３０に未反映のデータを管理しているが、ストレージ装置０（２００）に差分管理テーブル２１７を設けるのみでは、複製先の記憶ボリューム２３０に記憶されるデータに変更があった場合の差分管理を行うことができない。仮にストレージ装置０（２００）とストレージ装置１（２００）とが同一機種である場合には相互に差分管理テーブル２１７を設け差分情報を交換しあうことも可能であるが、異機種ストレージ装置２００間の場合は不可能である。そこで、図９に示すように、リモートコピーの複製元及び複製先において、それぞれ記憶ボリューム２３０をリモートコピー用と情報処理サービス提供用に分けるように制御するようにする。
【００５３】
すなわち図９において、ストレージ装置０（２００）からストレージ装置１（２００）へのリモートコピーが行われない間は、情報処理装置０（１００）及び情報処理装置１（１００）はそれぞれＬＵ０２（ある第１の記憶ボリューム）及びＬＵ１３（他の第２の記憶ボリューム）を利用し、適宜ＬＵ０２やＬＵ１３の内容を更新している。
さらにそのとき、ストレージ装置０（２００）においては、ＬＵ０２とＬＵ０４（他の第１の記憶ボリューム）とでペアを形成し、情報処理装置０（１００）からＬＵ０２にデータが書き込まれると、ＬＵ０４にもそのデータの複製が書き込まれるように制御される。つまりこれにより、ＬＵ０２に記憶されている内容とＬＵ０４に記憶されている内容とが同一になるように制御されている。
【００５４】
一方、ストレージ装置１（２００）においてもＬＵ１４（ある第２の記憶ボリューム）とＬＵ１３とでペアが形成されている。
そしてストレージ装置０（２００）が情報処理装置０（１００）からリモートコピー要求を受信した場合には、ストレージ装置０（２００）は、情報処理装置０（１００）からＬＵ０２にデータが書き込まれた場合のＬＵ０４への書き込みを中止する。
ストレージ装置０（２００）が受信したリモートコピー要求が、ＬＵ０２に記憶されたデータの複製をＬＵ１４に記憶するものであった場合には、ＬＵ０２のペアであるＬＵ０４に記憶されたデータの複製がＬＵ１４に書き込まれる。
【００５５】
ＬＵ１４へのデータの複製が完了すると、ストレージ０（２００）は再び、ＬＵ０２に記憶されている内容とＬＵ０４に記憶されている内容とが同一になるように制御を開始する。一方ストレージ装置１（２００）においては、ＬＵ１４に書き込まれたデータの複製をＬＵ０４に書き込む。
このようにリモートコピーのための記憶ボリューム２３０と、情報処理装置１００により利用される記憶ボリューム２３０とを分けるように制御することにより、情報処理サービスへの影響を与えずにリモートコピーを行うことが可能となる。またリモートサイトのストレージ装置が備える記憶ボリュームに記憶されるデータが変更された場合にも、差分管理テーブル２１７を用いたリモートコピーを行うことが可能となる。
【００５６】
以上説明したように本実施の形態によれば、メインサイトに設置されたストレージ装置が、リモートサイトに設置されたストレージ装置が備える記憶ボリュームを特定するために自己にローカルに割り当てられた識別子（外部ＬＵＮ）を取得することができる。これにより、リモートコピーのためのデータ入出力要求に外部ＬＵＮを記述して、複製先記憶ボリュームを特定することができるようになる。
【００５７】
またこれにより、リモートコピーのためのデータ入出力要求として、例えばＳＣＳＩ規格で定められるＷＲＩＴＥコマンドのような標準化されたコマンドを用いることができるようになる。これにより、多種多様なストレージ装置を各地に所有しているユーザにとって、自由にストレージ装置を組み合わせてペアを構成し、リモートコピーを行うようにすることができる。またリモートサイトに新規にストレージ装置を設置する場合には、メインサイトに設置されているストレージ装置の機種にとらわれずに、ニーズに合わせて最適なストレージ装置を選択することができるようになる。
【００５８】
また本実施の形態によれば、差分管理テーブルを用いてリモートコピーが行われる。これにより、ストレージ装置は、複製元の記憶ボリュームに記憶される全てのデータを毎回複製先に送信するのではなく、複製先の記憶ボリュームに未反映のデータのみを送信するようにすることができる。これにより、リモートコピーの所要時間を短縮することが可能となる。
【００５９】
またリモートコピーが行われる記憶ボリュームを、情報処理装置により利用される記憶ボリュームと分けるようにすることにより、情報処理サービスへの影響を与えずにリモートコピーを行うことが可能となる。またリモートサイトのストレージ装置が備える記憶ボリュームに記憶されるデータが変更された場合にも、差分管理テーブルを用いたリモートコピーを行うことが可能となる。
【００６０】
さらに、ストレージ装置にリモートコピーの実行指示を与えるメインサイトに設置された情報処理装置がメインサイト及びリモートサイトの各ストレージ装置の内部ＬＵＮを取得することができるようになるので、オペレータはメインサイトの情報処理装置に指示を与えるだけでリモートコピーを行うことができるようになる。
【００６１】
以上本実施の形態について説明したが、上記実施例は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得ると共に、本発明にはその等価物も含まれる。
【００６２】
【発明の効果】
ストレージシステムの制御方法、ストレージシステム、及びストレージ装置を提供することができる。
【図面の簡単な説明】
【図１】 本実施の形態に係るストレージシステムの全体構成を示すブロック図である。
【図２】 本実施の形態に係る情報処理装置の構成を示すブロック図である。
【図３】 本実施の形態に係る管理端末の構成を示すブロック図である。
【図４】 本実施の形態に係るＬＵマッピングを説明するための図である。
【図５】 本実施の形態に係るＬＵマッピングテーブルを示す図である。
【図６】 本実施の形態に係るリモートコピーの様子を示す図である。
【図７】 本実施の形態に係るリモートコピーの処理の流れを示すフローチャートである。
【図８】 本実施の形態に係る差分管理テーブルを示す図である。
【図９】 本実施の形態に係るリモートコピーの様子を示す図である。
【符号の説明】
１００ 情報処理装置
１９０ アプリケーションプログラム
２００ ストレージ装置
２１０ ディスク制御装置
２１５ 制御プログラム
２１６ ＬＵマッピングテーブル
２１７ 差分管理テーブル
２２０ ディスク駆動装置
３００ 第１のネットワーク
３１０ 第２のネットワーク
【発明の属する技術分野】
本発明は、ストレージシステムの制御方法、ストレージシステム、及びストレージ装置に関する。
【０００２】
【従来の技術】
近年、大地震等の災害発生時にメインサイトのコンピュータシステムが停止しても、リモートサイトのコンピュータシステムにより業務を継続して行うことを可能とするために、リモートコピーと呼ばれる技術が開発されている。リモートコピーは、メインサイトのストレージ装置が備える記憶ボリュームに記憶されるデータの複製を、リモートサイトのストレージ装置が備える記憶ボリュームに記憶するための技術である。
【０００３】
一方、近年ストレージ装置により提供される大容量の記憶資源を有効に利用するために、複数の情報処理装置でストレージ装置を共有して利用する形態が普及している。この場合、共有して利用されるストレージ装置に記憶されるデータのセキュリティを確保するため、各情報処理装置が利用できる記憶ボリュームをあらかじめ割り当てるＬＵＮ（Logical Unit Number）マスキングと呼ばれる技術が用いられる。一般的にストレージ装置において、ストレージ装置内の各記憶ボリュームを特定する場合、記憶ボリューム毎に一意に割り当てられたグローバルな識別子により行うことができるが、ＬＵＮマスキングが行われている場合には、各情報処理装置にとっては自己に割り当てられた記憶ボリュームの識別子が不連続な番号となる場合がある。そのためＬＵＮマスキングが行われているストレージ装置においては、情報処理装置毎にローカルな識別子を記憶ボリュームに割り当てている。これにより各情報処理装置は、ストレージ装置に対してデータ入出力要求を行う場合、自己に割り当てられたローカルな識別子を用いて記憶ボリュームを特定することができる。
【０００４】
【特許文献１】
特開２００１−２６５６５５号公報
【０００５】
【発明が解決しようとする課題】
ところでリモートコピーを行う場合には、メインサイトに設置されたストレージ装置がリモートサイトに設置されたストレージ装置に対してデータ入出力要求を送信することになるが、従来の技術では、メインサイトに設置されたストレージ装置が、リモートサイトに設置されたストレージ装置が備える記憶ボリュームを特定するために自己にローカルに割り当てられた識別子を取得するための技術が無かったため、グローバルな識別子を用いてリモートサイトのストレージ装置にデータ入出力要求を送信していた。
【０００６】
一方、１台のストレージ装置が備える記憶ボリュームの数は、大規模なストレージ装置の場合には数千にも及ぶため、リモートサイトに設置されたストレージ装置に送信されるデータ入出力要求にグローバルな識別子を記述するためには相応のビット数が必要となる。しかしながら、ＳＣＳＩ（small computer systems interface）等により標準化されたデータ入出力要求では、それだけのビット数が用意されていないため、従来のリモートコピーは、ストレージ装置の機種毎にメーカ独自のリモートコピー用コマンドを用いることにより行われていた。
【０００７】
このように、従来は機種毎に独自のリモートコピーを行っており、機種の異なるストレージ装置間や、メーカの異なるストレージ装置間でリモートコピーを行うことに対する考慮がなされていなかった。
本発明は上記課題を鑑みてなされたものであり、ストレージシステムの制御方法、ストレージシステム、及びストレージ装置を提供することを主たる目的とする。
【０００８】
【課題を解決するための手段】
上記課題を解決するために、本発明に係るストレージシステムは、第１情報処理装置と、
前記第１情報処理装置に通信可能に接続される第１ストレージ装置と、
前記第１情報処理装置と通信可能に接続される第２情報処理装置と、
前記第１ストレージ装置及び前記第２情報処理装置の双方と通信可能に接続される第２ストレージ装置と
を備えるストレージシステムであって、
前記第１ストレージ装置は、論理ボリュームである１つ以上の第１ＬＵと、前記第１情報処理装置から送信されるデータを前記第１ＬＵに記憶し、前記第１情報処理装置から送信される前記データの複製をリモートコピーする第１コントローラと、を有し、
前記第２ストレージ装置は、論理ボリュームである１つ以上の第２ＬＵと、前記第１ストレージ装置から前記リモートコピーの前記複製を受信して、前記複製を前記第２ＬＵに記憶する第２コントローラと、を有し、
前記第１ストレージ装置は、当該第１ストレージ装置の第１ＷＷＮ又は前記第２ストレージ装置の第２ＷＷＮと、前記第１ＬＵの識別子である第１内部ＬＵＮと、前記第２ストレージ装置に前記第１ＬＵを特定させるための識別子である第１外部ＬＵＮと、の対応が管理された第１ＬＵマッピングテーブルを記憶し、
前記第２ストレージ装置は、前記第１ＷＷＮ又は前記第２ＷＷＮと、前記第２ＬＵの識別子である第２内部ＬＵＮと、前記第１ストレージ装置に前記第２ＬＵを特定させるための識別子である第２外部ＬＵＮと、の対応が管理された第２ＬＵマッピングテーブルを記憶し、
前記第１ストレージ装置が、前記リモートコピーの複製元である前記第１ＬＵに記憶されているデータのうち、その複製先である前記第２ＬＵに未反映のデータが管理されるテーブルである差分管理テーブルを記憶し、
前記第１情報処理装置が、前記第１ＬＵの前記第１内部ＬＵＮを前記第１ストレージ装置から、前記第２ＬＵの前記第２内部ＬＵＮを前記第２ストレージ装置から、夫々取得し、
前記第１情報処理装置が、前記第２ストレージ装置のネットワークアドレス、前記複製元である前記第１ＬＵの前記第１内部ＬＵＮ、及び前記複製先である前記第２ＬＵの前記第２内部ＬＵＮ、前記第１ストレージ装置と前記第２ストレージ装置とを接続する夫々の前記第１ＷＷＮ及び前記第２ＷＷＮの指定を伴う、リモートコピーの指示を受け付け、
前記第１情報処理装置が、前記第２情報処理装置に、前記第１ストレージ装置の前記第２ストレージ装置が接続している前記第１ＷＷＮ、及び前記複製先となる前記第２ＬＵの前記第２内部ＬＵＮの指定を伴う、前記第２外部ＬＵＮの取得要求を送信し、
前記第２情報処理装置が、前記取得要求に応じて、前記第２ストレージ装置に前記第２外部ＬＵＮの取得要求を送信し、
前記第２ストレージ装置が、前記第１ＷＷＮ及び前記第２内部ＬＵＮの指定と第２ＬＵマッピングテーブルとに基づき前記第２外部ＬＵＮを特定し、特定した前記第２外部ＬＵＮを前記第２情報処理装置に送信し、
前記第２情報処理装置が、前記第２外部ＬＵＮを受信し、受信した前記第２外部ＬＵＮを前記第１情報処理装置に送信し、
前記第１情報処理装置が、前記複製元である前記第１ＬＵの前記第１内部ＬＵＮ、及び前記複製先である前記第２ＬＵの前記第２外部ＬＵＮの指定を伴うリモートコピーの実行要求を、前記第１ストレージ装置に送信し、
前記第１ストレージ装置が、前記実行要求を受信すると、前記差分管理テーブルに基づき前記複製先の未反映のデータが存在するか否かを判定し、存在すると判定した場合に、当該未反映のデータについての、前記第２外部ＬＵＮの指定を伴うＳＣＳＩ規格に従った書き込み要求を、前記第２ストレージ装置に送信し、
前記第２ストレージ装置が、前記書き込み要求を受信すると、前記第２外部ＬＵＮで特定される前記複製先の前記第２ＬＵに前記データを書き込み、
前記第１ストレージ装置が、前記第１情報処理装置が利用する前記複製元の前記第１ＬＵに書き込まれるデータの複製を、当該第１ストレージ装置の第３ＬＵに複製し、前記複製元の前記第１ＬＵから前記複製先の前記第２ＬＵへのリモートコピーに際し、前記第１ＬＵから前記第３ＬＵへのデータの複製を中止した後、前記第３ＬＵに記憶されているデータの複製を前記第２ＬＵに書き込むことにより前記リモートコピーを行い、当該リモートコピーが終了すると、中止していた前記第１ＬＵから前記第３ＬＵへのデータの複製を再開し、
前記第２ストレージ装置が、前記第２情報処理装置が利用する前記第２ストレージ装置の第４ＬＵに書き込まれるデータの複製を前記第２ＬＵに複製し、前記第１ＬＵから前記第２ＬＵへの前記リモートコピーに際し、前記第４ＬＵから前記第２ＬＵへのデータの複製を中止した後、前記第１ストレージ装置から受信した前記第３ＬＵに記憶されているデータの複製を前記第２ＬＵに書き込むことにより前記リモートコピーを行い、当該リモートコピーが終了すると、中止していた前記第４ＬＵから前記第２ＬＵへのデータの複製を再開する。
【０００９】
ここで、ストレージ装置とはディスクドライブを備えた記憶装置である。ディスクドライブとは、データを記録するための記録媒体を備えた装置であり、例えばハードディスク装置や半導体記憶装置である。記憶ボリュームとは、ディスクドライブにより提供される物理的な記憶領域である物理ボリュームと、物理ボリューム上に論理的に設定される記憶領域である論理ボリュームとを含む記憶資源である。識別子とは、例えばＳＣＳＩ規格により定められるＬＵＮである。またデータ入出力要求とは、例えばＳＣＳＩ規格により定められるＷＲＩＴＥコマンドである。
【００１０】
その他、本願が開示する課題、及びその解決方法は、発明の実施の形態の欄、及び図面により明らかにされる。
【００１１】
【発明の実施の形態】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
＝＝＝全体構成＝＝＝
まず、本実施の形態に係るストレージシステムの全体構成を示すブロック図を図１に示す。
本実施の形態に係るストレージシステムは、情報処理装置０（１００）及びストレージ装置０（第１のストレージ装置）（２００）と、情報処理装置１（１００）及びストレージ装置１（第２のストレージ装置、他のストレージ装置）（２００）とにより構成される。
【００１２】
情報処理装置０（１００）は、ストレージ装置０（２００）により提供される記憶資源を利用することにより各種の情報処理サービスを提供するためのコンピュータである。情報処理装置０（１００）により提供される情報処理サービスとしては、例えば銀行の自動預金預け払いサービスや、航空機の座席予約サービス等とすることができる。情報処理装置０（１００）とストレージ装置０（２００）とが設置される場所をメインサイトと呼ぶ。
【００１３】
一方、情報処理装置１（１００）は、災害の発生などによりメインサイトに設置される情報処理装置０（１００）による情報処理サービスの提供ができない状態になったときに、情報処理装置０（１００）が行っていた情報処理サービスの提供を引き継ぎ、情報処理サービスの提供を代行して行うためのコンピュータである。その際、情報処理装置１（１００）はストレージ装置１（２００）により提供される記憶資源を利用することにより情報処理サービスを行う。そのためストレージ装置１（２００）には、ストレージ装置０（２００）に記憶されているデータの複製が記憶されている。ストレージ装置０（２００）に記憶されているデータの複製をストレージ装置１（２００）に記憶するために、リモートコピーが行われる。これにより、情報処理装置０（１００）がストレージ装置０（２００）に記憶されるデータを更新した場合には、その複製がストレージ装置１（２００）にも反映される。情報処理装置１（１００）とストレージ装置１（２００）とが設置される場所をリモートサイトと呼ぶ。
【００１４】
なお情報処理装置１（１００）は、情報処理装置０（１００）により提供される情報処理サービスの代行を行うだけでなく、独自の情報処理サービスの提供を行う様にすることもできる。この場合、例えばリモートサイトに災害が発生し情報処理装置１（１００）による情報処理サービスの提供が行えない状態になった際には、例えば情報処理装置０（１００）に情報処理サービスの代行を行わせる様にすることもできる。
【００１５】
メインサイトに設置される情報処理装置０（１００）と、リモートサイトに設置される情報処理装置１（１００）とは、第１のネットワーク３００で通信可能に接続されている。また、メインサイトに設置されるストレージ装置０（２００）と、リモートサイトに設置されるストレージ装置１（２００）とは、第２のネットワーク３１０で通信可能に接続されている。上述したリモートコピーは第２のネットワーク３１０を介して行われる。
【００１６】
第１のネットワーク３００としては、例えばＴＣＰ／ＩＰ（Transmission Control Protocol / Internet Protocol）通信プロトコルにより通信が行われるＬＡＮ（Local Area network）とすることができる。
【００１７】
また第２のネットワーク３１０としては、例えばファイバチャネル通信プロトコルにより通信が行われるＳＡＮ（Storage Area Network）とすることができる。また、情報処理装置０（１００）とストレージ装置０（１００）との間の接続や、情報処理装置１（１００）とストレージ装置１（１００）との間の接続も、ファイバチャネル通信プロトコルにより通信が行われるＳＡＮとすることができる。その他、ｉＳＣＳＩ（Internet Small Computer Systems Interface）等の通信プロトコルを用いるようにすることもできる。
【００１８】
＝＝＝情報処理装置＝＝＝
次に、本実施の形態に係る情報処理装置１００の構成を示すブロック図を図２に示す。なお本実施の形態に係る情報処理装置１００には、情報処理装置０（１００）と情報処理装置１（１００）とがあるが、いずれも基本的な構成は同様であるため、特に両者を区別する必要がない場合には情報処理装置１００と記す。
【００１９】
情報処理装置１００は、ＣＰＵ１１０、メモリ１２０、ポート１３０、記録媒体読取装置１４０、入力装置１５０、出力装置１６０、記憶装置１７０を備える。
ＣＰＵ１１０は情報処理装置１００の全体の制御を司るもので、メモリ１２０に記憶されたアプリケーションプログラム１９０を実行することにより本実施の形態に係る各種機能を実現する。記録媒体読取装置１４０は、記録媒体１７０に記録されているプログラムやデータを読み取るための装置である。読み取られたプログラムやデータはメモリ１２０や記憶装置１７０に格納される。従って、例えば記録媒体１７０に記録されたアプリケーションプログラム１９０を、記録媒体読取装置１４０を用いて上記記録媒体１７０から読み取って、メモリ１２０に格納するようにすることができる。
記録媒体１７０としてはフレキシブルディスクや磁気テープ、ＣＤ−ＲＯＭ、半導体メモリ等を用いることができる。記録媒体読取装置１４０は情報処理装置１００に内蔵されている形態とすることもできるし、外付されている形態とすることもできる。入力装置１５０はオペレータ等による情報処理装置１００へのデータ入力等のために用いられる。入力装置１５０としては例えばキーボードやマウス等が用いられる。出力装置１６０は情報を外部に出力するための装置である。出力装置１６０としては例えばディスプレイやプリンタ等が用いられる。
ポート１３０は通信を行うための装置であり、送信する手段や受信する手段として機能する。例えば第１のネットワーク３００を介して行う他の情報処理装置１００との通信やストレージ装置２００との通信などがポート１３０を介して行われる。これにより、例えばアプリケーションプログラム１９０を他の情報処理装置１００から受信して、メモリ１２０に格納するようにすることもできる。 アプリケーションプログラム１９０は、ストレージ装置０（２００）に記憶されるデータの複製をストレージ装置１（２００）に記憶させる際の制御を行うためのプログラムである。詳細は後述する。
【００２０】
＝＝＝ストレージ装置＝＝＝
次に本実施の形態に係るストレージ装置２００について、図１を用いて説明する。なお本実施の形態に係るストレージ装置２００には、ストレージ装置０（２００）とストレージ装置１（２００）とがあるが、いずれも基本的な構成は同様であるため、特に両者を区別する必要がない場合には、ストレージ装置２００と記す。
【００２１】
ストレージ装置２００は、ディスク制御装置２１０と、ディスク駆動装置２２０と、管理端末２６０とを備える。
【００２２】
ディスク制御装置２１０は、情報処理装置１００や他のストレージ装置２００との間で通信を行い、ディスク駆動装置２２０に対するデータ入出力処理を行う。例えば情報処理装置１００からデータの書き込み要求を受信し、ディスク駆動装置２２０に対するデータの書き込み処理を行う。ディスク制御装置２１０は、ＣＰＵ２１１、メモリ２１２、ＦＣ Ｉ／Ｆ（Fibre Channel InterFace）２１３、ディスクＩ／Ｆ（ディスクInterFace）２１４を備える。ＣＰＵ２１１は、ディスク制御装置２１０全体の制御を司るもので、メモリ２１２に記憶された制御プログラム２１５を実行することにより本実施の形態に係る各種機能を実現する。またメモリ２１２には、制御プログラム２１５の他、差分管理テーブル２１７、ＬＵマッピングテーブル２１６が記憶されている。詳細は後述する。
ＦＣ Ｉ／Ｆ２１３は情報処理装置１００や他のストレージ装置２００と通信を行うためのインタフェース機能を有し、送信する手段や受信する手段として機能する。ディスクＩ／Ｆ２１４はディスク駆動装置２２０とデータの授受を行うためのインタフェース機能を有し、入出力処理を行う手段や書き込む手段として機能する。
【００２３】
ディスク駆動装置２２０はデータを記憶するための記憶ボリューム２３０を備える。記憶ボリューム２３０は、ハードディスクドライブ等のディスクドライブにより提供される物理的な記憶領域である物理ボリュームと、物理ボリューム上に論理的に設定される記憶領域である論理ボリュームとを含む記憶資源である。図１においては、ストレージ装置０（２００）にはＬＵ（Logical Unit）０１、ＬＵ０２、ＬＵ０３の３つの記憶ボリュームが備えられ、ストレージ装置１（２００）にはＬＵ１１、ＬＵ１２、ＬＵ１３の３つの記憶ボリュームが備えられる。また、ストレージ装置２００はこれらの記憶ボリューム２３０により提供される記憶資源を利用する各装置（例えば情報処理装置１００や他のストレージ装置２００）に対して、アクセス可能な記憶ボリューム２３０を割り当てている。すなわちＬＵＮマスキング（以下、ＬＵマッピングとも記す）を行っている。例えばストレージ装置１（２００）は、情報処理装置１（１００）に対しては、ＬＵ１１及びＬＵ１２へのアクセスを許可している。またストレージ装置１（２００）は、ストレージ装置０（２００）に対してはＬＵ１２及びＬＵ１３へのアクセスを許可している。これにより、ストレージ装置２００が備える記憶ボリューム２３０により提供される記憶資源を複数の装置に利用させる場合に、第三者へのデータ流出や第三者からの不正アクセスを防止することができる。
【００２４】
管理端末２６０は、ストレージ装置２００の保守管理を行うためのコンピュータである。管理端末２６０はストレージ装置２００に組み込まれるように構成することもできるし、ストレージ装置２００と通信網で接続された形態とすることもできる。また管理端末２６０はストレージ装置２００の保守・管理を専用に行うコンピュータとすることもできるし、汎用のコンピュータに保守・管理機能を持たせたものとすることもできる。
【００２５】
管理端末２６０の構成を示すブロック図を図３に示す。
管理端末２６０は、ＣＰＵ２６１、メモリ２６２、ポート２６３、記録媒体読取装置２６４、入力装置２６５、出力装置２６６、記憶装置２６８を備える。
【００２６】
ＣＰＵ２６１は管理端末２６０の全体の制御を司るもので、メモリ２６２に格納されたプログラム２６９を実行することによりストレージ装置２００の保守管理機能等を実現する。記録媒体読取装置２６４は、記録媒体２６７に記録されているプログラムやデータを読み取るための装置である。読み取られたプログラムやデータはメモリ２６２や記憶装置２６８に格納される。従って、例えば記録媒体２６７に記録された制御プログラム２１５を、記録媒体読取装置２６４を用いて上記記録媒体２６７から読み取って、メモリ２６２や記憶装置２６８に格納し、ディスク制御装置２１０のメモリ２１２に送信するようにすることができる。記録媒体２６７としてはフレキシブルディスクやＣＤ−ＲＯＭ、磁気テープ、半導体メモリ等を用いることができる。記録媒体読取装置２６４は管理端末２６０に内蔵されている形態とすることもできるし、外付されている形態とすることもできる。記憶装置２６８は、例えばハードディスク装置や半導体記憶装置等である。入力装置２６５はオペレータ等による管理端末２６０へのデータ入力等のために用いられる。入力装置２６５としては例えばキーボードやマウス等が用いられる。出力装置２６６は情報を外部に出力するための装置である。出力装置２６６としては例えばディスプレイやプリンタ等が用いられる。ポート２６３は情報処理装置１００やストレージ装置２００と通信を行うための装置である。これにより、例えば制御プログラム２１５を他の情報処理装置１００から受信して、ディスク制御装置２１０のメモリ２１２に送信するようにすることもできる。なお、本実施の形態に係る管理端末２６０の機能を情報処理装置１００に備え、管理端末を設けない構成とすることもできる。この場合、ストレージ装置２００の保守管理は情報処理装置１００を用いて行われることになる。
【００２７】
＝＝＝ＬＵマッピング＝＝＝
次に、本実施の形態に係るストレージシステムにおいて、ＬＵマッピングが行われる様子を説明するための図を図４に示す。
上述したように、ストレージ装置０（２００）にはＬＵ０１、ＬＵ０２、ＬＵ０３の３つの記憶ボリュームが備えられ、ストレージ装置１（２００）にはＬＵ１１、ＬＵ１２、ＬＵ１３の３つの記憶ボリュームが備えられている。そして情報処理装置０（１００）、情報処理装置１（１００）、ストレージ装置０（２００）、ストレージ装置１（２００）にはそれぞれ、ファイバチャネル規格に従って通信を行うためのＷＷＮ（World Wide Name）が定義されている（図４においてＷＷＮ０１、ＷＷＮ０２、ＷＷＮ０３、ＷＷＮ１１、ＷＷＮ１２、ＷＷＮ１３と記載されている）。例えば情報処理装置０（１００）からストレージ装置０（２００）に対してデータ入出力要求を送信する場合には、情報処理装置０（１００）は、データ入出力要求に、送信元を示す情報としてＷＷＮ０１を記述し、送信先を示す情報としてＷＷＮ０３を記述する。これによりデータ入出力要求は、情報処理装置０（１００）からストレージ装置０（２００）に送信される。
【００２８】
またデータ入出力要求を送信する際には、データ入出力の対象となる記憶ボリューム２３０を特定する必要がある。上述したようにストレージ装置０（２００）ではＬＵマッピングが行われているため、情報処理装置０（１００）は、自己に割り当てられた記憶ボリューム２３０を特定するための識別子を用いて、記憶ボリューム２３０を特定する必要がある。具体的には、図４に示す例において、情報処理装置０（１００）にはＬＵ０１とＬＵ０２とが割り当てられているが、それぞれの記憶ボリューム２３０に対して、情報処理装置０（１００）にＬＵＡ０１、ＬＵＡ０２という識別子が割り当てられている。そのため情報処理装置０（１００）は、ＬＵ０１に対するデータ入出力要求を送信する場合には、データ入出力要求にＬＵＡ０１という識別子を記述して送信する。同様にＬＵ０２に対するデータ入出力要求を送信する場合には、データ入出力要求にＬＵＡ０２と記述して送信する。
【００２９】
なお図４に示すように、ＬＵ０１、ＬＵ０２、ＬＵ０３のように、ストレージ装置２００内の各記憶ボリューム２３０を一意に特定する識別子を内部ＬＵＮとも言う。またＬＵＡ０１、ＬＵＡ０２のように、ＬＵマッピングのために各装置に割り当てられる識別子を外部ＬＵＮとも言う。
また図４に示すようにストレージ装置０（２００）は、ストレージ装置１（２００）に対してはＬＵ０１、ＬＵ０２、ＬＵ０３を割り当てており、それぞれＬＵＢ０２、ＬＵＢ０３、ＬＵＢ０１という識別子（外部ＬＵＮ）により特定される。
同様に、ストレージ装置１（２００）は、ストレージ装置０（２００）に対してはＬＵ１２、及びＬＵ１３を割り当てており、それぞれＬＵＢ１２、ＬＵＢ１３という識別子（外部ＬＵＮ）により特定される。またストレージ装置１（２００）は、情報処理装置１（１００）に対してはＬＵ１１、及びＬＵ１２を割り当てており、それぞれＬＵＡ１１、ＬＵＡ１２という識別子（外部ＬＵＮ）により特定される。
【００３０】
これらの識別子の管理は、ストレージ装置２００が備えるメモリ２１２に記憶されるＬＵマッピングテーブル２１６により行われる。ストレージ装置１（２００）のメモリ２１２に記憶されるＬＵマッピングテーブル２１６の例を図５に示す。
【００３１】
ＬＵマッピングテーブル２１６は、”ＷＷＮ”欄と、”外部ＬＵＮ”欄と、”内部ＬＵＮ”欄とを備える。
”ＷＷＮ”欄は、記憶ボリューム２３０に対するアクセスが許可されたＷＷＮが記される。つまり、”ＷＷＮ”欄に記されたＷＷＮから送信されたデータ入出力要求に対してのみデータ入出力が行われる。図５の例では、ＷＷＮ０２はストレージ装置０（２００）を示し、ＷＷＮ１１は情報処理装置１（１００）を示す。
【００３２】
”外部ＬＵＮ”欄は、各ＷＷＮに対して割り当てられた記憶ボリューム２３０を特定するためにＷＷＮ毎に割り当てられた識別子が記される。
”内部ＬＵＮ”欄は、ストレージ装置２００内で一意に割り当てられた記憶ボリューム２３０の識別子が外部ＬＵＮ毎に記される。
【００３３】
次に、ストレージ装置０（２００）とストレージ装置１（２００）との間の通信路を複数設けた場合の構成図を図６に示す。この場合も、図４を用いて説明したのと同様に、ＷＷＮ毎に外部ＬＵＮを割り当てることにより、ＬＵＮマッピングが行われる。ストレージ装置２００間の通信路を複数設けるようにすることにより、一部の転送路に障害が発生しても、正常な転送路を用いてリモートコピーを行うことが可能となる。また複数ある転送路を有効に活用することにより、ストレージ装置２００間のデータ転送時間の短縮を図ることもできる。
【００３４】
＝＝＝リモートコピー処理の流れ＝＝＝
次に、本実施の形態に係るリモートコピーの処理の流れを示すフローチャートを図７に示す。なお以下の処理は、本実施の形態に係る各種の動作を行うためのコードから構成されるアプリケーションプログラム１９０をＣＰＵ１１０が実行し、制御プログラム２１５をＣＰＵ２１１が実行することにより実現される。
【００３５】
ストレージ装置０（２００）からストレージ装置１（２００）へのリモートコピーを行う場合、まずオペレータはストレージ装置０（２００）が備える複製元の記憶ボリューム２３０と、ストレージ装置１（２００）が備える複製先の記憶ボリューム２３０とを特定しなければならない。但しこの場合、各ストレージ装置２００ではＬＵＮマッピングが行われているため、記憶ボリューム２３０を特定するための識別子は、どの装置から記憶ボリューム２３０を特定するかによって異なる。そのため、複製元の記憶ボリューム２３０と複製先の記憶ボリューム２３０との特定は、各ストレージ装置２００の内部ＬＵＮにより行う。
【００３６】
そこでまず情報処理装置０（１００）は、各ストレージ装置２００が備える記憶ボリューム２３０の内部ＬＵＮを取得する。そのために、まず情報処理装置０（１００）は、ストレージ装置０（２００）に対して、内部ＬＵＮの取得要求を送信する（S1000）。同時に情報処理装置０（１００）は、情報処理装置１（１００）に対して第１のネットワーク３００を介して、ストレージ装置１（２００）の内部ＬＵＮの取得要求を送信する（S1000）。そうすると、ストレージ装置０（２００）は、ＬＵマッピングテーブル２１６を参照して、全内部ＬＵＮと、それらに対応する情報処理装置０（１００）に割り当てた外部ＬＵＮとを情報処理装置０（１００）に送信する。これにより情報処理装置０（１００）はストレージ装置０（２００）の内部ＬＵＮを取得することができる（S1002）。
【００３７】
一方、情報処理装置１（１００）はストレージ装置１（２００）に対して、内部ＬＵＮの取得要求を送信する。そうすると、ストレージ装置１（２００）は、ＬＵマッピングテーブル２１６を参照して、全内部ＬＵＮと、それらに対応する情報処理装置１（１００）に割り当てた外部ＬＵＮとを情報処理装置１（１００）に送信する。情報処理装置１（１００）はストレージ装置１（２００）の全内部ＬＵＮとそれらに対応する情報処理装置１（１００）に割り当てた外部ＬＵＮとを情報処理装置０（１００）に送信する。これにより情報処理装置０（１００）はストレージ装置１（２００）の内部ＬＵＮを取得することができる（S1001）。なお、ストレージ装置０（２００）とストレージ装置１（２００）とが同一の機種である場合には、ストレージ装置０（２００）からストレージ装置１（２００）に対して、ストレージ装置１（２００）が備える記憶ボリューム２３０の内部ＬＵＮの取得要求を送信するようにすることもできる。
【００３８】
次に、オペレータは、複製元の記憶ボリューム２３０と複製先の記憶ボリューム２３０との決定を行った後（S1003）、リモートコピーの指示を情報処理装置０（１００）に対して行う（S1004、S1005）。ここでは、ストレージ装置０（２００）のＬＵ０２に記憶されるデータの複製を、ストレージ装置１（２００）のＬＵ１３に記憶することに決定されたものと仮定して、以下に説明する。オペレータによるリモートコピーの指示は、情報処理装置１（１００）のＩＰ（Internet Protocol）アドレス、複製元の記憶ボリューム２３０の内部ＬＵＮ（ＬＵ０２）、複製先の記憶ボリューム２３０の内部ＬＵＮ（ＬＵ１３）、ストレージ装置０（２００）とストレージ装置１（２００）とを接続するそれぞれのＷＷＮ（ＷＷＮ０２、ＷＷＮ１２）を指定して行われる。
【００３９】
これらの指定は、データの複製先であるストレージ装置１（２００）や、複製元の記憶ボリューム２３０、複製先の記憶ボリューム２３０が頻繁に変更される場合には、情報処理装置０（１００）が備える入力装置１５０や出力装置１６０により提供されるＧＵＩ（Graphical User Interface）やＣＵＩ（Character User Interface）等により毎回行うようにすることが有効である。一方、データの複製先であるストレージ装置１（２００）や、複製元の記憶ボリューム２３０、複製先の記憶ボリューム２３０がほとんど変更されない場合には、情報処理装置０（１００）のメモリ１２０等にこれらの情報を記憶しておき、オペレータからのリモートコピーの指示を受け付けた際に、自動的に参照されるようにしておくことが有効である。
【００４０】
また、S1004とS1005とは同時に行うようにすることもできるが、別々に行うようにすることもできる。別々に行った場合、まずS1004が実行されることにより、ストレージ装置０（２００）とストレージ装置１（２００）との間の転送路の確立が行われる。これにより、万が一転送路に障害が発生していた場合にも、障害部位の絞り込みを容易にすることが可能となる。なお、ストレージ装置０（２００）とストレージ装置１（２００）との間の転送路は、図６に示したように複数とすることも可能である。
【００４１】
次に情報処理装置０（１００）は、情報処理装置１（１００）に対して第１のネットワーク３００を介して、ストレージ装置１（２００）がストレージ装置０（２００）に対して割り当てている外部ＬＵＮの取得要求を送信する（S1006）。この外部ＬＵＮの取得要求は、情報処理装置１（１００）のＩＰアドレスを指定して行われ、ストレージ装置０（２００）のストレージ装置１（２００）に対するＷＷＮであるＷＷＮ０２と、複製先記憶ボリューム２３０の内部ＬＵＮであるＬＵＮ１３を指定して行われる。そうすると情報処理装置１（１００）はストレージ装置１（２００）に対して、ストレージ装置１（２００）がストレージ装置０（２００）に対して割り当てている外部ＬＵＮの取得要求を送信する。ストレージ装置１（２００）は、ＬＵマッピングテーブル２１６を参照して、ストレージ装置１（２００）がストレージ装置０（２００）に対して割り当てている外部ＬＵＮ（ＬＵＢ１１）を情報処理装置１（１００）に送信する。情報処理装置１（１００）はストレージ装置１（２００）がストレージ装置０（２００）に対して割り当てている外部ＬＵＮ（ＬＵＢ１１）を情報処理装置０（１００）に送信する。これにより情報処理装置０（１００）はストレージ装置１（２００）がストレージ装置０（２００）に対して割り当てている外部ＬＵＮ（ＬＵＢ１１）を取得することができる（S1006）。図６に示したようにストレージ装置０（２００）とストレージ装置１（２００）との間に複数の転送路が設けられている場合には、各転送路に定められたＷＷＮ毎に外部ＬＵＮが割り当てられているため、それぞれの外部ＬＵＮを同様に取得する。
【００４２】
なお、ストレージ装置０（２００）とストレージ装置１（２００）とが同一の機種である場合には、S1004及びS1005においてリモートコピーの指示を情報処理装置０（１００）に対して行う際に指定した、ストレージ装置１（２００）のＷＷＮ（ＷＷＮ１２）を、S1006において取得することも可能である。S1006において、ストレージ装置１（２００）が、ＬＵマッピングテーブル２１６を参照してストレージ装置１（２００）がストレージ装置０（２００）に対して割り当てている外部ＬＵＮ（ＬＵＢ１１）を情報処理装置１（１００）に送信する際に、ストレージ装置１（２００）のＷＷＮであるＷＷＮ１２を合わせて送信するようにすることができるからである。
【００４３】
次に情報処理装置０（１００）は、ストレージ装置０（２００）に対して、リモートコピー実行要求を送信する（S1007）。このリモートコピー実行要求には、複製元の記憶ボリューム２３０の内部ＬＵＮ（ＬＵ０２）と、複製先の記憶ボリューム２３０の外部ＬＵＮ（第２のストレージ装置において第２の記憶ボリュームを特定するために用いられる識別子、及び第２のストレージ装置においてある第２の記憶ボリュームを特定するために用いられる識別子に相当する。ＬＵＢ１１）とが含まれる。リモートコピー実行要求は、ＳＣＳＩ規格で定められる「Extended Copyコマンド」や、ストレージ装置２００のメーカ独自のコマンドとすることができる。なお複製されるデータの量が多い場合に「Extended Copyコマンド」を用いると、タイムアウトエラーが発生する場合がある。その場合には、タイムアウトエラーが発生しない程度のデータ量毎に「Extended Copyコマンド」を送信する。
【００４４】
続いてリモートコピー実行要求を受信したストレージ装置０（２００）は、差分管理テーブル２１７を参照する（S1008）。差分管理テーブル２１７は、複製元として指定された記憶ボリューム２３０に記憶されているデータのうち、複製先の記憶ボリューム２３０に未反映（未書き込み）のデータを管理するためのテーブルである。すなわち、前回のリモートコピー実施後に複製元の記憶ボリューム２３０に記憶されるデータが更新された場合に、更新があったことを差分管理テーブル２１７に記録しておくことにより、リモートコピー実施要求を受信した際に、更新があったデータのみを複製先の記憶ボリューム２３０に送信するようにすることができる。これにより、リモートコピー実行要求を受信した際に、ストレージ装置２００は、複製元の記憶ボリューム２３０に記憶される全てのデータを毎回複製先に送信するのではなく、複製先の記憶ボリューム２３０に未反映のデータのみを送信するようにすることができる。本実施の形態に係る差分管理テーブル２１７を図８に示す。
【００４５】
図８に示すように、差分管理テーブル２１７はビットマップとして構成されている。ビットマップ上の各ビットは、（ｘｐｉ、ｙｐｊ）（ｉ、ｊ＝１、２、…）を指定することにより行われる。差分管理テーブル２１７の各ビットは、複製元の記憶ボリューム２３０のデータの記憶単位であるブロック、ないしトラックなどに対応する。例えば各ビットが１トラックに対応する場合、[ｘｐｉ，ｙｐｊ]で特定されるビットの値は、例えば記憶ボリューム２３０のシリンダ番号ｘｐｉ、ヘッド番号ｙｐｊで一意に定められるトラックに対応する。ビットの値が”０”の場合は、当該データは複製先の記憶ボリューム２３０に反映済みであることを示す。またビットの値が”１”の場合は未反映であることを示す。なお、リモートコピー実行要求を受信した際に、差分管理テーブル２１７の全てのビットが”０”の場合は、複製元記憶ボリューム２３０の全データの複製を複製先記憶ボリューム２３０に送信するようにする。なお、もちろんストレージ装置０（２００）は、差分管理テーブル２１７を用いずに、情報処理装置０（１００）からリモートコピー実行要求を受信した際には、毎回複製元として指定された記憶ボリューム２３０の全てのデータをストレージ装置１（２００）に送信するようにすることもできる。
【００４６】
S1008において差分管理テーブル２１７を参照した結果、複製先の記憶ボリューム２３０に未反映のデータがある場合には、ストレージ装置０（２００）は、複製先の記憶ボリューム２３０を特定するために用いられる識別子であるＬＵＢ１１をデータ入出力要求に記述して、データ入出力要求をストレージ装置１（２００）に送信する（S1009）。ＬＵＢ１１は外部ＬＵＮであるため、少ないビット数で記述することができる。そのため、データ入出力要求としてＳＣＳＩ規格で定められるＷＲＩＴＥコマンドを用いることができる。ＳＣＳＩ規格により定められるＷＲＩＴＥコマンドは、ストレージ装置２００の機種やメーカの違いによらずに統一されたコマンドであるので、機種やメーカの異なるストレージ装置２００間でもリモートコピーを行うことができるようになる。
【００４７】
なお、送信されるデータの量が多い場合には、ＷＲＩＴＥコマンドを用いた場合にタイムアウトエラーが発生する場合がある。そのため、タイムアウトエラーが発生しない程度のデータ量毎に分けてＷＲＩＴＥコマンドの送信が行われるようにする。
【００４８】
一方S1008において、差分管理テーブル２１７を参照した結果、全てのビットが”０”であった場合には、S1011に進む。そしてストレージ装置０（２００）は、複製先の記憶ボリューム２３０を特定するために用いられる識別子であるＬＵＢ１１をデータ入出力要求に記述して、データ入出力要求をストレージ装置１（２００）に送信する（S1011）。
【００４９】
ストレージ装置１（２００）は、ストレージ装置０（２００）からデータ入出力要求を受信すると、複製先記憶ボリューム２３０として特定された記憶ボリューム２３０に対してデータの入出力処理を行う。データ入出力要求がＷＲＩＴＥコマンドである場合にはデータの書き込み処理が行われる（S1010）。この際、情報処理装置０（１００）からの指示により、リモートコピーの進捗状況、すなわち複製先記憶ボリューム２３０へのデータの書き込み進捗状況を確認するようにすることもできる。
【００５０】
データの入出力処理が完了すると、ストレージ装置１（２００）は、完了報告をストレージ装置０（２００）に送信する（S1012）。そしてストレージ装置０（２００）は完了報告を受信することにより、リモートコピーが正常に終了したことを知ることができる。これによりリモートコピーの一連の作業が終了する。
【００５１】
なお本実施の形態においては、ストレージ装置０（２００）からストレージ装置１（２００）に対してデータを書き込む場合の処理について説明したが、ストレージ装置０（２００）がストレージ装置１（２００）に記憶されているデータを読み出す場合についても処理の流れは同様である。
【００５２】
ところで、データの複製元となる記憶ボリューム２３０や複製先となる記憶ボリューム２３０は、通常、情報処理装置１００により情報処理サービスの提供のために利用されている。この場合、リモートコピー処理により上記記憶ボリューム２３０へのデータ入出力頻度が増加すると、情報処理装置１００から上記記憶ボリューム２３０へのデータアクセスに遅延が生じ、情報処理サービスへ影響を与えることになる。またストレージ装置０（２００）は差分管理テーブル２１７により複製先の記憶ボリューム２３０に未反映のデータを管理しているが、ストレージ装置０（２００）に差分管理テーブル２１７を設けるのみでは、複製先の記憶ボリューム２３０に記憶されるデータに変更があった場合の差分管理を行うことができない。仮にストレージ装置０（２００）とストレージ装置１（２００）とが同一機種である場合には相互に差分管理テーブル２１７を設け差分情報を交換しあうことも可能であるが、異機種ストレージ装置２００間の場合は不可能である。そこで、図９に示すように、リモートコピーの複製元及び複製先において、それぞれ記憶ボリューム２３０をリモートコピー用と情報処理サービス提供用に分けるように制御するようにする。
【００５３】
すなわち図９において、ストレージ装置０（２００）からストレージ装置１（２００）へのリモートコピーが行われない間は、情報処理装置０（１００）及び情報処理装置１（１００）はそれぞれＬＵ０２（ある第１の記憶ボリューム）及びＬＵ１３（他の第２の記憶ボリューム）を利用し、適宜ＬＵ０２やＬＵ１３の内容を更新している。
さらにそのとき、ストレージ装置０（２００）においては、ＬＵ０２とＬＵ０４（他の第１の記憶ボリューム）とでペアを形成し、情報処理装置０（１００）からＬＵ０２にデータが書き込まれると、ＬＵ０４にもそのデータの複製が書き込まれるように制御される。つまりこれにより、ＬＵ０２に記憶されている内容とＬＵ０４に記憶されている内容とが同一になるように制御されている。
【００５４】
一方、ストレージ装置１（２００）においてもＬＵ１４（ある第２の記憶ボリューム）とＬＵ１３とでペアが形成されている。
そしてストレージ装置０（２００）が情報処理装置０（１００）からリモートコピー要求を受信した場合には、ストレージ装置０（２００）は、情報処理装置０（１００）からＬＵ０２にデータが書き込まれた場合のＬＵ０４への書き込みを中止する。
ストレージ装置０（２００）が受信したリモートコピー要求が、ＬＵ０２に記憶されたデータの複製をＬＵ１４に記憶するものであった場合には、ＬＵ０２のペアであるＬＵ０４に記憶されたデータの複製がＬＵ１４に書き込まれる。
【００５５】
ＬＵ１４へのデータの複製が完了すると、ストレージ０（２００）は再び、ＬＵ０２に記憶されている内容とＬＵ０４に記憶されている内容とが同一になるように制御を開始する。一方ストレージ装置１（２００）においては、ＬＵ１４に書き込まれたデータの複製をＬＵ０４に書き込む。
このようにリモートコピーのための記憶ボリューム２３０と、情報処理装置１００により利用される記憶ボリューム２３０とを分けるように制御することにより、情報処理サービスへの影響を与えずにリモートコピーを行うことが可能となる。またリモートサイトのストレージ装置が備える記憶ボリュームに記憶されるデータが変更された場合にも、差分管理テーブル２１７を用いたリモートコピーを行うことが可能となる。
【００５６】
以上説明したように本実施の形態によれば、メインサイトに設置されたストレージ装置が、リモートサイトに設置されたストレージ装置が備える記憶ボリュームを特定するために自己にローカルに割り当てられた識別子（外部ＬＵＮ）を取得することができる。これにより、リモートコピーのためのデータ入出力要求に外部ＬＵＮを記述して、複製先記憶ボリュームを特定することができるようになる。
【００５７】
またこれにより、リモートコピーのためのデータ入出力要求として、例えばＳＣＳＩ規格で定められるＷＲＩＴＥコマンドのような標準化されたコマンドを用いることができるようになる。これにより、多種多様なストレージ装置を各地に所有しているユーザにとって、自由にストレージ装置を組み合わせてペアを構成し、リモートコピーを行うようにすることができる。またリモートサイトに新規にストレージ装置を設置する場合には、メインサイトに設置されているストレージ装置の機種にとらわれずに、ニーズに合わせて最適なストレージ装置を選択することができるようになる。
【００５８】
また本実施の形態によれば、差分管理テーブルを用いてリモートコピーが行われる。これにより、ストレージ装置は、複製元の記憶ボリュームに記憶される全てのデータを毎回複製先に送信するのではなく、複製先の記憶ボリュームに未反映のデータのみを送信するようにすることができる。これにより、リモートコピーの所要時間を短縮することが可能となる。
【００５９】
またリモートコピーが行われる記憶ボリュームを、情報処理装置により利用される記憶ボリュームと分けるようにすることにより、情報処理サービスへの影響を与えずにリモートコピーを行うことが可能となる。またリモートサイトのストレージ装置が備える記憶ボリュームに記憶されるデータが変更された場合にも、差分管理テーブルを用いたリモートコピーを行うことが可能となる。
【００６０】
さらに、ストレージ装置にリモートコピーの実行指示を与えるメインサイトに設置された情報処理装置がメインサイト及びリモートサイトの各ストレージ装置の内部ＬＵＮを取得することができるようになるので、オペレータはメインサイトの情報処理装置に指示を与えるだけでリモートコピーを行うことができるようになる。
【００６１】
以上本実施の形態について説明したが、上記実施例は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得ると共に、本発明にはその等価物も含まれる。
【００６２】
【発明の効果】
ストレージシステムの制御方法、ストレージシステム、及びストレージ装置を提供することができる。
【図面の簡単な説明】
【図１】 本実施の形態に係るストレージシステムの全体構成を示すブロック図である。
【図２】 本実施の形態に係る情報処理装置の構成を示すブロック図である。
【図３】 本実施の形態に係る管理端末の構成を示すブロック図である。
【図４】 本実施の形態に係るＬＵマッピングを説明するための図である。
【図５】 本実施の形態に係るＬＵマッピングテーブルを示す図である。
【図６】 本実施の形態に係るリモートコピーの様子を示す図である。
【図７】 本実施の形態に係るリモートコピーの処理の流れを示すフローチャートである。
【図８】 本実施の形態に係る差分管理テーブルを示す図である。
【図９】 本実施の形態に係るリモートコピーの様子を示す図である。
【符号の説明】
１００ 情報処理装置
１９０ アプリケーションプログラム
２００ ストレージ装置
２１０ ディスク制御装置
２１５ 制御プログラム
２１６ ＬＵマッピングテーブル
２１７ 差分管理テーブル
２２０ ディスク駆動装置
３００ 第１のネットワーク
３１０ 第２のネットワーク
Claims (6)
- 第１情報処理装置と、
前記第１情報処理装置に通信可能に接続される第１ストレージ装置と、
前記第１情報処理装置と通信可能に接続される第２情報処理装置と、
前記第１ストレージ装置及び前記第２情報処理装置の双方と通信可能に接続される第２ストレージ装置と
を備えるストレージシステムであって、
前記第１ストレージ装置は、論理ボリュームである１つ以上の第１ＬＵと、前記第１情報処理装置から送信されるデータを前記第１ＬＵに記憶し、前記第１情報処理装置から送信される前記データの複製をリモートコピーする第１コントローラと、を有し、
前記第２ストレージ装置は、論理ボリュームである１つ以上の第２ＬＵと、前記第１ストレージ装置から前記リモートコピーの前記複製を受信して、前記複製を前記第２ＬＵに記憶する第２コントローラと、を有し、
前記第１ストレージ装置は、当該第１ストレージ装置の第１ＷＷＮ又は前記第２ストレージ装置の第２ＷＷＮと、前記第１ＬＵの識別子である第１内部ＬＵＮと、前記第２ストレージ装置に前記第１ＬＵを特定させるための識別子である第１外部ＬＵＮと、の対応が管理された第１ＬＵマッピングテーブルを記憶し、
前記第２ストレージ装置は、前記第１ＷＷＮ又は前記第２ＷＷＮと、前記第２ＬＵの識別子である第２内部ＬＵＮと、前記第１ストレージ装置に前記第２ＬＵを特定させるための識別子である第２外部ＬＵＮと、の対応が管理された第２ＬＵマッピングテーブルを記憶し、
前記第１ストレージ装置が、前記リモートコピーの複製元である前記第１ＬＵに記憶されているデータのうち、その複製先である前記第２ＬＵに未反映のデータが管理されるテーブルである差分管理テーブルを記憶し、
前記第１情報処理装置が、前記第１ＬＵの前記第１内部ＬＵＮを前記第１ストレージ装置から、前記第２ＬＵの前記第２内部ＬＵＮを前記第２ストレージ装置から、夫々取得し、
前記第１情報処理装置が、前記第２ストレージ装置のネットワークアドレス、前記複製元である前記第１ＬＵの前記第１内部ＬＵＮ、及び前記複製先である前記第２ＬＵの前記第２内部ＬＵＮ、前記第１ストレージ装置と前記第２ストレージ装置とを接続する夫々の前記第１ＷＷＮ及び前記第２ＷＷＮの指定を伴う、リモートコピーの指示を受け付け、
前記第１情報処理装置が、前記第２情報処理装置に、前記第１ストレージ装置の前記第２ストレージ装置が接続している前記第１ＷＷＮ、及び前記複製先となる前記第２ＬＵの前記第２内部ＬＵＮの指定を伴う、前記第２外部ＬＵＮの取得要求を送信し、
前記第２情報処理装置が、前記取得要求に応じて、前記第２ストレージ装置に前記第２外部ＬＵＮの取得要求を送信し、
前記第２ストレージ装置が、前記第１ＷＷＮ及び前記第２内部ＬＵＮの指定と第２ＬＵマッピングテーブルとに基づき前記第２外部ＬＵＮを特定し、特定した前記第２外部ＬＵＮを前記第２情報処理装置に送信し、
前記第２情報処理装置が、前記第２外部ＬＵＮを受信し、受信した前記第２外部ＬＵＮを前記第１情報処理装置に送信し、
前記第１情報処理装置が、前記複製元である前記第１ＬＵの前記第１内部ＬＵＮ、及び前記複製先である前記第２ＬＵの前記第２外部ＬＵＮの指定を伴うリモートコピーの実行要求を、前記第１ストレージ装置に送信し、
前記第１ストレージ装置が、前記実行要求を受信すると、前記差分管理テーブルに基づき前記複製先の未反映のデータが存在するか否かを判定し、存在すると判定した場合に、当該未反映のデータについての、前記第２外部ＬＵＮの指定を伴うＳＣＳＩ規格に従った書き込み要求を、前記第２ストレージ装置に送信し、
前記第２ストレージ装置が、前記書き込み要求を受信すると、前記第２外部ＬＵＮで特定される前記複製先の前記第２ＬＵに前記データを書き込み、
前記第１ストレージ装置が、前記第１情報処理装置が利用する前記複製元の前記第１ＬＵに書き込まれるデータの複製を、当該第１ストレージ装置の第３ＬＵに複製し、前記複製元の前記第１ＬＵから前記複製先の前記第２ＬＵへのリモートコピーに際し、前記第１ＬＵから前記第３ＬＵへのデータの複製を中止した後、前記第３ＬＵに記憶されているデータの複製を前記第２ＬＵに書き込むことにより前記リモートコピーを行い、当該リモートコピーが終了すると、中止していた前記第１ＬＵから前記第３ＬＵへのデータの複製を再開し、
前記第２ストレージ装置が、前記第２情報処理装置が利用する前記第２ストレージ装置の第４ＬＵに書き込まれるデータの複製を前記第２ＬＵに複製し、前記第１ＬＵから前記第２ＬＵへの前記リモートコピーに際し、前記第４ＬＵから前記第２ＬＵへのデータの複製を中止した後、前記第１ストレージ装置から受信した前記第３ＬＵに記憶されているデータの複製を前記第２ＬＵに書き込むことにより前記リモートコピーを行い、当該リモートコピーが終了すると、中止していた前記第４ＬＵから前記第２ＬＵへのデータの複製を再開する
ことを特徴とするストレージシステム。 - 請求項１に記載のストレージシステムであって、
前記第１ストレージ装置が、前記判定において、前記差分管理テーブルに前記複製先の未反映のデータが存在しないと判定した場合に、前記複製元の前記第１ＬＵの全データについての、前記第２外部ＬＵＮの指定を伴うＳＣＳＩ規格に準拠した書き込み要求を、前記第２ストレージ装置に送信し、
前記第２ストレージ装置が、前記書き込み要求を受信すると、前記第２外部ＬＵＮで特定される前記複製先の前記第２ＬＵに前記全データを書き込む
ことを特徴とするストレージシステム。 - 請求項１または２のいずれか一項に記載のストレージシステムであって、
前記第２ストレージ装置は、前記第１ストレージ装置と複数の通信路を介して通信可能に接続される
ことを特徴とするストレージシステム。 - 第１情報処理装置と、
前記第１情報処理装置に通信可能に接続される第１ストレージ装置と、
前記第１情報処理装置と通信可能に接続される第２情報処理装置と、
前記第１ストレージ装置及び前記第２情報処理装置の双方と通信可能に接続される第２ストレージ装置と
を備え、
前記第１ストレージ装置は、論理ボリュームである１つ以上の第１ＬＵと、前記第１情報処理装置から送信されるデータを前記第１ＬＵに記憶し、前記第１情報処理装置から送信される前記データの複製をリモートコピーする第１コントローラと、を有し、
前記第２ストレージ装置は、論理ボリュームである１つ以上の第２ＬＵと、前記第１ストレージ装置から前記リモートコピーの前記複製を受信して、前記複製を前記第２ＬＵに記憶する第２コントローラと、を有し、
前記第１ストレージ装置が、当該第１ストレージ装置の第１ＷＷＮ又は前記第２ストレージ装置の第２ＷＷＮと、前記第１ＬＵの識別子である第１内部ＬＵＮと、前記第２ストレージ装置に前記第１ＬＵを特定させるための識別子である第１外部ＬＵＮと、の対応が管理された第１ＬＵマッピングテーブルを記憶し、
前記第２ストレージ装置が、前記第１ＷＷＮ又は前記第２ＷＷＮと、前記第２ＬＵの識別子である第２内部ＬＵＮと、前記第１ストレージ装置に前記第２ＬＵを特定させるための識別子である第２外部ＬＵＮと、の対応が管理された第２ＬＵマッピングテーブルを記憶する
ストレージシステムの制御方法であって、
前記第１ストレージ装置が、前記リモートコピーの複製元である前記第１ＬＵに記憶されているデータのうち、その複製先である前記第２ＬＵに未反映のデータが管理されるテーブルである差分管理テーブルを記憶するステップと、
前記第１情報処理装置が、前記第１ＬＵの前記第１内部ＬＵＮを前記第１ストレージ装置から、前記第２ＬＵの前記第２内部ＬＵＮを前記第２ストレージ装置から、夫々取得するステップと、
前記第１情報処理装置が、前記第２ストレージ装置のネットワークアドレス、前記複製元である前記第１ＬＵの前記第１内部ＬＵＮ、及び前記複製先である前記第２ＬＵの前記第２内部ＬＵＮ、前記第１ストレージ装置と前記第２ストレージ装置とを接続する夫々の前記第１ＷＷＮ及び前記第２ＷＷＮの指定を伴う、リモートコピーの指示を受け付けるステップと、
前記第１情報処理装置が、前記第２情報処理装置に、前記第１ストレージ装置の前記第２ストレージ装置が接続している前記第１ＷＷＮ、及び前記複製先となる前記第２ＬＵの前記第２内部ＬＵＮの指定を伴う、前記第２外部ＬＵＮの取得要求を送信するステップと、
前記第２情報処理装置が、前記取得要求に応じて、前記第２ストレージ装置に前記第２外部ＬＵＮの取得要求を送信するステップと、
前記第２ストレージ装置が、前記第１ＷＷＮ及び前記第２内部ＬＵＮの指定と第２ＬＵマッピングテーブルとに基づき前記第２外部ＬＵＮを特定し、特定した前記第２外部ＬＵＮを前記第２情報処理装置に送信するステップと、
前記第２情報処理装置が、前記第２外部ＬＵＮを受信し、受信した前記第２外部ＬＵＮを前記第１情報処理装置に送信するステップと、
前記第１情報処理装置が、前記複製元である前記第１ＬＵの前記第１内部ＬＵＮ、及び前記複製先である前記第２ＬＵの前記第２外部ＬＵＮの指定を伴うリモートコピーの実行要求を、前記第１ストレージ装置に送信するステップと、
前記第１ストレージ装置が、前記実行要求を受信すると、前記差分管理テーブルに基づき前記複製先の未反映のデータが存在するか否かを判定し、存在すると判定した場合に、当該未反映のデータについての、前記第２外部ＬＵＮの指定を伴うＳＣＳＩ規格に従った書き込み要求を、前記第２ストレージ装置に送信するステップと、
前記第２ストレージ装置が、前記書き込み要求を受信すると、前記第２外部ＬＵＮで特定される前記複製先の前記第２ＬＵに前記データを書き込むステップと、
前記第１ストレージ装置が、前記第１情報処理装置が利用する前記複製元の前記第１ＬＵに書き込まれるデータの複製を、当該第１ストレージ装置の第３ＬＵに複製し、前記複製元の前記第１ＬＵから前記複製先の前記第２ＬＵへのリモートコピーに際し、前記第１ＬＵから前記第３ＬＵへのデータの複製を中止した後、前記第３ＬＵに記憶されているデータの複製を前記第２ＬＵに書き込むことにより前記リモートコピーを行い、当該リモートコピーが終了すると、中止していた前記第１ＬＵから前記第３ＬＵへのデータの複製を再開するステップと、
前記第２ストレージ装置が、前記第２情報処理装置が利用する前記第２ストレージ装置の第４ＬＵに書き込まれるデータの複製を前記第２ＬＵに複製し、前記第１ＬＵから前記第２ＬＵへの前記リモートコピーに際し、前記第４ＬＵから前記第２ＬＵへのデータの複製を中止した後、前記第１ストレージ装置から受信した前記第３ＬＵに記憶されているデータの複製を前記第２ＬＵに書き込むことにより前記リモートコピーを行い、当該リモートコピーが終了すると、中止していた前記第４ＬＵから前記第２ＬＵへのデータの複製を再開するステップと
を含むことを特徴とするストレージシステムの制御方法。 - 請求項４に記載のストレージシステムの制御方法であって、
前記第１ストレージ装置が、前記判定において、前記差分管理テーブルに前記複製先の未反映のデータが存在しないと判定した場合に、前記複製元の前記第１ＬＵの全データについての、前記第２外部ＬＵＮの指定を伴うＳＣＳＩ規格に準拠した書き込み要求を、前記第２ストレージ装置に送信するステップと、
前記第２ストレージ装置が、前記書き込み要求を受信すると、前記第２外部ＬＵＮで特定される前記複製先の前記第２ＬＵに前記全データを書き込むステップと
を含むことを特徴とするストレージシステムの制御方法。 - 請求項４または５のいずれか一項に記載のストレージシステムの制御方法であって、
前記第２ストレージ装置は、前記第１ストレージ装置と複数の通信路を介して通信可能に接続される
ことを特徴とするストレージシステムの制御方法。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003156370A JP4429634B2 (ja) | 2003-06-02 | 2003-06-02 | ストレージシステム、及びストレージシステムの制御方法 |
| EP03020108A EP1484668A3 (en) | 2003-06-02 | 2003-09-04 | Storage system control method, storage system and storage apparatus |
| US10/655,004 US7013380B2 (en) | 2003-06-02 | 2003-09-05 | Storage system control method, storage system, and storage apparatus |
| US11/274,341 US7117340B2 (en) | 2003-06-02 | 2005-11-16 | Storage system control method, storage system, and storage apparatus |
| US11/503,936 US7454591B2 (en) | 2003-06-02 | 2006-08-15 | Storage system control method, storage system, and storage apparatus storing information relating a first logical unit number (LUN) used to access a volume by a host computer and a second LUN used to access the volume by another storage system with remote copy procedure |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003156370A JP4429634B2 (ja) | 2003-06-02 | 2003-06-02 | ストレージシステム、及びストレージシステムの制御方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004362028A JP2004362028A (ja) | 2004-12-24 |
| JP2004362028A5 JP2004362028A5 (ja) | 2006-07-13 |
| JP4429634B2 true JP4429634B2 (ja) | 2010-03-10 |
Family
ID=33157128
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003156370A Expired - Fee Related JP4429634B2 (ja) | 2003-06-02 | 2003-06-02 | ストレージシステム、及びストレージシステムの制御方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (3) | US7013380B2 (ja) |
| EP (1) | EP1484668A3 (ja) |
| JP (1) | JP4429634B2 (ja) |
Families Citing this family (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1524222A (zh) * | 2001-07-06 | 2004-08-25 | ���������˼�빫˾ | 信息备份系统和方法 |
| JP4429634B2 (ja) * | 2003-06-02 | 2010-03-10 | 株式会社日立製作所 | ストレージシステム、及びストレージシステムの制御方法 |
| JP4307982B2 (ja) * | 2003-12-19 | 2009-08-05 | 株式会社日立製作所 | データ多重化制御方法 |
| US8051260B1 (en) * | 2004-06-30 | 2011-11-01 | Emc Corporation | Determining environmental availability in a storage subsystem |
| US7337350B2 (en) * | 2005-02-09 | 2008-02-26 | Hitachi, Ltd. | Clustered storage system with external storage systems |
| US7272727B2 (en) * | 2005-04-18 | 2007-09-18 | Hitachi, Ltd. | Method for managing external storage devices |
| KR101268984B1 (ko) * | 2005-05-26 | 2013-05-29 | 삼성전자주식회사 | 메타 데이터를 제공하기 위한 애플리케이션이 포함된정보저장매체, 메타 데이터를 제공하는 장치 및 방법 |
| JP4741304B2 (ja) * | 2005-07-11 | 2011-08-03 | 株式会社日立製作所 | データマイグレーション方法又はデータマイグレーションシステム |
| US7870353B2 (en) | 2005-08-15 | 2011-01-11 | International Business Machines Corporation | Copying storage units and related metadata to storage |
| US7640279B2 (en) * | 2005-11-30 | 2009-12-29 | International Business Machines Corporation | Apparatus and method for file-level replication between two or more non-symmetric storage sites |
| JP4920291B2 (ja) * | 2006-04-18 | 2012-04-18 | 株式会社日立製作所 | 計算機システム、アクセス制御方法及び管理計算機 |
| US8689106B1 (en) * | 2006-09-28 | 2014-04-01 | Symantec Corporation | Method and apparatus for displaying logical information on storage and network devices |
| JP5052150B2 (ja) | 2007-01-29 | 2012-10-17 | 株式会社日立製作所 | ストレージシステム |
| US7958263B2 (en) * | 2007-02-20 | 2011-06-07 | International Business Machines Corporation | Address reduction for data storage enclosures |
| JP5297250B2 (ja) * | 2009-03-30 | 2013-09-25 | 富士通株式会社 | ストレージシステム、および情報格納方法 |
| WO2011125106A1 (en) * | 2010-04-05 | 2011-10-13 | Hitachi, Ltd. | Storage system configured from plurality of storage modules and method for switching coupling configuration of storage modules |
| US8667098B2 (en) | 2010-12-03 | 2014-03-04 | Hitachi, Ltd. | Cluster storage setting method, system, and management system |
| US9262042B2 (en) * | 2011-07-25 | 2016-02-16 | Lenovo (Singapore) Pte. Ltd. | File transfer applications |
| WO2014071588A1 (zh) * | 2012-11-08 | 2014-05-15 | 华为技术有限公司 | 数据复制方法和存储控制器及系统 |
| CN108664356A (zh) * | 2018-05-03 | 2018-10-16 | 吉林亿联银行股份有限公司 | 一种数据库备份方法及装置、数据库系统 |
| US11023161B1 (en) * | 2019-11-25 | 2021-06-01 | EMC IP Holding Company LLC | Host device with multi-path layer implementing efficient load balancing for active-active configuration |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5870537A (en) * | 1996-03-13 | 1999-02-09 | International Business Machines Corporation | Concurrent switch to shadowed device for storage controller and device errors |
| JP2868080B2 (ja) * | 1996-09-12 | 1999-03-10 | 三菱電機株式会社 | 通信監視制御装置及び通信監視制御方法 |
| EP1131719A4 (en) * | 1998-11-14 | 2007-10-31 | Mti Tech Corp | ILLUSTRATION OF LOGICAL UNITS IN A STORAGE AREA NETWORK |
| US6209002B1 (en) * | 1999-02-17 | 2001-03-27 | Emc Corporation | Method and apparatus for cascading data through redundant data storage units |
| US6785742B1 (en) * | 1999-02-24 | 2004-08-31 | Brocade Communications Systems, Inc. | SCSI enclosure services |
| WO2001029647A1 (fr) * | 1999-10-22 | 2001-04-26 | Hitachi, Ltd. | Systeme de reseau de zone a memoire |
| JP4598248B2 (ja) | 2000-01-14 | 2010-12-15 | 株式会社日立製作所 | 記憶サブシステムのセキュリティシステム |
| US6526419B1 (en) | 2000-06-09 | 2003-02-25 | International Business Machines Corporation | Method, system, and program for remote copy in an open systems environment |
| US6977927B1 (en) * | 2000-09-18 | 2005-12-20 | Hewlett-Packard Development Company, L.P. | Method and system of allocating storage resources in a storage area network |
| US20020103913A1 (en) * | 2001-01-26 | 2002-08-01 | Ahmad Tawil | System and method for host based target device masking based on unique hardware addresses |
| US6854035B2 (en) * | 2001-10-05 | 2005-02-08 | International Business Machines Corporation | Storage area network methods and apparatus for display and management of a hierarchical file system extension policy |
| US6826666B2 (en) * | 2002-02-07 | 2004-11-30 | Microsoft Corporation | Method and system for transporting data content on a storage area network |
| US7003642B2 (en) * | 2002-04-17 | 2006-02-21 | Dell Products L.P. | System and method for controlling access to storage in a distributed information handling system |
| JP4704659B2 (ja) | 2002-04-26 | 2011-06-15 | 株式会社日立製作所 | 記憶装置システムの制御方法および記憶制御装置 |
| JP4387116B2 (ja) * | 2003-02-28 | 2009-12-16 | 株式会社日立製作所 | ストレージシステムの制御方法、及びストレージシステム |
| JP4429634B2 (ja) * | 2003-06-02 | 2010-03-10 | 株式会社日立製作所 | ストレージシステム、及びストレージシステムの制御方法 |
-
2003
- 2003-06-02 JP JP2003156370A patent/JP4429634B2/ja not_active Expired - Fee Related
- 2003-09-04 EP EP03020108A patent/EP1484668A3/en not_active Withdrawn
- 2003-09-05 US US10/655,004 patent/US7013380B2/en not_active Expired - Fee Related
-
2005
- 2005-11-16 US US11/274,341 patent/US7117340B2/en not_active Expired - Fee Related
-
2006
- 2006-08-15 US US11/503,936 patent/US7454591B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US7454591B2 (en) | 2008-11-18 |
| US20040243776A1 (en) | 2004-12-02 |
| EP1484668A2 (en) | 2004-12-08 |
| US7117340B2 (en) | 2006-10-03 |
| US7013380B2 (en) | 2006-03-14 |
| JP2004362028A (ja) | 2004-12-24 |
| US20060064544A1 (en) | 2006-03-23 |
| EP1484668A3 (en) | 2008-05-28 |
| US20060277382A1 (en) | 2006-12-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4429634B2 (ja) | ストレージシステム、及びストレージシステムの制御方法 | |
| US6457109B1 (en) | Method and apparatus for copying data from one storage system to another storage system | |
| US8843715B2 (en) | System managing a plurality of virtual volumes and a virtual volume management method for the system | |
| US7673107B2 (en) | Storage system and storage control device | |
| US7594072B2 (en) | Method and apparatus incorporating virtualization for data storage and protection | |
| JP4575059B2 (ja) | ストレージ装置 | |
| US7386598B2 (en) | Computer system with virtualization function | |
| US6968425B2 (en) | Computer systems, disk systems, and method for controlling disk cache | |
| US8285824B2 (en) | Storage system and data replication method that refuses one or more requests for changing the first logical configuration information until the first storage apparatus and second storage apparatus are synchronized | |
| US7484066B2 (en) | Assuring performance of external storage systems | |
| US7660946B2 (en) | Storage control system and storage control method | |
| JP4949088B2 (ja) | 階層型ストレージシステム間でのリモートミラー方式 | |
| US7853765B2 (en) | Storage system and data management method | |
| US7526627B2 (en) | Storage system and storage system construction control method | |
| JP4629413B2 (ja) | 優先順位を割り当てるための方法、システム、およびプログラム | |
| JP2002091897A (ja) | データコピー方法およびデータコピー用プログラムを記録したプログラム記録媒体 | |
| JP4433372B2 (ja) | データアクセスシステム及び方法 | |
| US20120059987A1 (en) | Storage system, copy method, and primary storage apparatus | |
| JP4604068B2 (ja) | ストレージ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060526 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060526 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090428 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090804 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090929 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091215 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091216 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121225 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131225 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |