JP4813872B2 - 計算機システム及び計算機システムのデータ複製方法 - Google Patents
計算機システム及び計算機システムのデータ複製方法 Download PDFInfo
- Publication number
- JP4813872B2 JP4813872B2 JP2005335655A JP2005335655A JP4813872B2 JP 4813872 B2 JP4813872 B2 JP 4813872B2 JP 2005335655 A JP2005335655 A JP 2005335655A JP 2005335655 A JP2005335655 A JP 2005335655A JP 4813872 B2 JP4813872 B2 JP 4813872B2
- Authority
- JP
- Japan
- Prior art keywords
- logical volume
- update data
- storage system
- data
- hdd
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2056—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring
- G06F11/2071—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant by mirroring using a plurality of controllers
- G06F11/2074—Asynchronous techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3234—Power saving characterised by the action undertaken
- G06F1/325—Power saving in peripheral device
- G06F1/3268—Power saving in hard disk drive
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/855—Details of asynchronous mirroring using a journal to transfer not-yet-mirrored changes
-
- H—ELECTRICITY
- H01—ELECTRIC ELEMENTS
- H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
- H01L2224/00—Indexing scheme for arrangements for connecting or disconnecting semiconductor or solid-state bodies and methods related thereto as covered by H01L24/00
- H01L2224/01—Means for bonding being attached to, or being formed on, the surface to be connected, e.g. chip-to-package, die-attach, "first-level" interconnects; Manufacturing methods related thereto
- H01L2224/42—Wire connectors; Manufacturing methods related thereto
- H01L2224/47—Structure, shape, material or disposition of the wire connectors after the connecting process
- H01L2224/48—Structure, shape, material or disposition of the wire connectors after the connecting process of an individual wire connector
- H01L2224/485—Material
- H01L2224/48505—Material at the bonding interface
- H01L2224/48699—Principal constituent of the connecting portion of the wire connector being Aluminium (Al)
- H01L2224/487—Principal constituent of the connecting portion of the wire connector being Aluminium (Al) with a principal constituent of the bonding area being a metal or a metalloid, e.g. boron (B), silicon (Si), germanium (Ge), arsenic (As), antimony (Sb), tellurium (Te) and polonium (Po), and alloys thereof
- H01L2224/48717—Principal constituent of the connecting portion of the wire connector being Aluminium (Al) with a principal constituent of the bonding area being a metal or a metalloid, e.g. boron (B), silicon (Si), germanium (Ge), arsenic (As), antimony (Sb), tellurium (Te) and polonium (Po), and alloys thereof the principal constituent melting at a temperature of greater than or equal to 400°C and less than 950 °C
- H01L2224/48724—Aluminium (Al) as principal constituent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/99951—File or database maintenance
- Y10S707/99952—Coherency, e.g. same view to multiple users
- Y10S707/99953—Recoverability
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
リモートコピー技術は、計算機等の上位装置が記憶システムに書き込むデータ(オリジナルデータ)を、別の記憶システムにもコピーする技術である。このような技術は、ディザスタリカバリ(大規模自然災害により破壊された情報システムの復元)や、データのバックアップのために必要とされる。
(1)計算機。
(2)(1)の計算機に接続され、(1)の計算機がデータを記録し、変更する第1の記憶システム。前記データをここではオリジナルデータと呼ぶ。
(3)第1の記憶システムに接続され、オリジナルデータのコピーを保持する第2の記憶システム。
(3)の記憶システムは、計算機からのアクセスとは非同期的に、ジャーナルが一旦蓄積された記憶領域からジャーナルを取得する(ジャーナルリード)。これにより、計算機によるオリジナルデータへのアクセスに、リモートコピーを原因とする性能低下が生じることを防いでいる。
記憶装置電源制御技術は、記憶システムが備える記憶装置の電源を、記憶装置のアクセス頻度やアクセスの有無に応じて切断することで、記憶システムが消費する電力量の低減と、記憶装置が故障するまでの期間(以下、可動期間という)の延長を図る技術である。
ここで、記憶装置とは、電子データの記録と読み出しが可能な装置のことであり、本明細書ではハードディスクドライブに注目する。この技術には、記憶装置の電源が切断されているために発生するアクセスの遅延の低減や、記憶装置の電源が切断された状態を出来る限り維持する工夫が含まれる。
記憶システムは、指定した記憶装置(*)の電源の投入/切断を外部の計算機から要求できるインタフェースを備える。前記記憶システムに接続し、前記記憶システムにデータを記録する計算機は、前記記憶システムの記憶装置の内、当面はアクセスしないことが分っているものについて、前記記憶システムに対して、前記インタフェースを使って記憶装置の電源切断を要求する。(*)補足:実際には、論理ボリューム(後述)を指定する。
記憶システムは、記憶装置へのアクセスが無い限りは、原則的に記憶装置の電源を切断しておく。電源が切断された状態の記憶装置を多くするために、RAID(Redundant Arrays of Inexpensive Disks)レベル4を修正したデータ記録方式を用いる。アクセスの遅延を低減するために、前記データ記録方式におけるパリティディスク(エラー訂正情報を記録する記憶装置)およびメタデータディスク(記憶システム内部の構成情報と、データのキャッシュが記録された記憶装置)の電源を、常時投入しておく。
本発明の第一の実施形態は、正記憶システム1、副記憶システム2、上位装置である計算機9からなる計算機システムである。
本明細書において、上位装置とは、記憶システムに対してデータの記録を要求する装置一般を指す。記憶システムもまた上位装置である。
正記憶システム1は、そのHDDから構成される複数の論理ボリュームを有し、とりわけ論理ボリューム121と124を有する。正記憶システム1の論理ボリューム121は、計算機9から一つのブロックデバイスとしてアクセスできる。すなわち、計算機9は、論理ボリューム121へのデータの書き込みと、論理ボリューム121からのデータの読み出しを実行することができる。正記憶システム1の論理ボリューム124は、論理ボリューム121の更新データ(後述)を記録するために、正記憶システム1が内部で使用する。論理ボリューム124には、計算機9からはアクセスできない。
更新データは、正記憶システム1で生成され、副記憶システム2へ送信される。更新データには、書き込まれたデータの内容、ペア(後述)を識別するための情報、データ更新の順序に関する情報などを含む。
すなわち、副記憶システム2が正記憶システム1に対して更新データの送信を要求することで、正記憶システム1は副記憶システム2に対して更新データを送信する。
HDD211と215は、通常は電源が切断されており、それらの論理ボリュームへのデータの記録が必要となった場合に電源を投入する。
以降、コピーされるオリジナルデータを記録している論理ボリュームを正論理ボリューム、オリジナルデータのコピーを記録している論理ボリュームを副論理ボリュームと呼ぶ。
正論理ボリューム121と副論理ボリューム221の関係をペアと呼ぶ。
上記の処理を実施するにあたり、更新データ論理ボリューム124および224の関係付け、論理ボリューム121と更新データ論理ボリューム124の関係付け、論理ボリューム221と更新データ論理ボリューム224の関係付けを、正記憶システム1と副記憶システム2に指示する必要がある。これらの関係付けは、ペアの確立の場合と同様に、ユーザが管理端末機器を使用して指示する。
[フローF1]
(F1−1) 計算機9は、正記憶システム1に対して、正論理ボリューム121へのデータの書き込みを要求する。この要求は、I/O処理部51によって処理される。
(F1−2) I/O処理部51は、計算機9からのデータの書き込みの要求に対して、正論理ボリューム121へ書き込むとともに、その要求から更新データを生成し、更新データを正更新データ論理ボリューム124へ書き込む。
(F1−3) 副記憶システム2の更新データ転送調停部53b(以降、更新データ転送調停部(副)と記載)は、更新データ転送調停部53a(以降、更新データ転送調停部(正)と記載)から正更新データ論理ボリューム124の使用率を定期的に取得する(矢印63)。正更新データ論理ボリューム124の使用率が一定の閾値以上である場合は、正記憶システム1から、正更新ボリューム124に記録されている更新データを取得することを決定する。
(F1−4) この時、副更新データ論理ボリューム224を構成しているHDD211の電源は停止しているため、受信した更新データを記録することができない。このため、更新データ転送調停部(副)53bは、まずHDD電源制御部56bに対して、副更新データ論理ボリューム224を構成しているHDDの電源を投入することを指示する(破線矢印67)。
(F1−5) HDD電源制御部56bは、上記の指示を受け、HDD211の電源を投入する(破線矢印64)。
(F1−6) HDDの電源が投入され、副更新データ論理ボリューム224へのデータの記録が可能となると、更新データ転送調停部(副)53bは、更新データ受信部54に対して、更新データの取得を指示する。
(F1−7) 更新データ受信部54は、上記指示を受け、正記憶システム1の更新データ送信部52に対して、正更新データ論理ボリューム124に記録された更新データの転送を指示する。更新データ転送部52は、上記の指示を受け、正更新データ論理ボリューム124に記録された更新データを転送する。更新データ受信部54は、受信した更新データを副更新データ論理ボリューム224に記録する。
(F1−8) 副更新データ論理ボリューム224の使用率が定められた閾値以上の場合は、更新データを副論理ボリューム221に適用する。
(F1−9) HDD電源制御部56bは、上記指示を受けて、HDD215の電源を投入する(破線矢印65)。
(F1−10) リストア処理部55は、更新データ転送調停部(副)53bからの指示を受け、副更新データ論理ボリューム224に記録された更新データを、副論理ボリューム221に適用する。
(F1−11) 副記憶システム2は、HDDの電源を、適切なタイミングで切断する。このタイミングは、HDDへのアクセスの有無や、HDDへの電源投入回数に基づき決定される。
図2は、正記憶システム1の構成を示す図である。
正記憶システム1は、ホストアダプタ101および102、ディスクアダプタ109、共有メモリ103、キャッシュメモリ110を備えたコントローラ100と、HDD111、112、113、114、115、116、117、118とを有する。ホストアダプタ101および102、ディスクアダプタ109、共有メモリ103、キャッシュメモリ110は、バス119によりCPU126に接続されており、相互に通信可能となっている。ディスクアダプタ109は、HDD接続線120によってHDD上記8つのHDDに接続されており、これによりこれらのHDDの制御(データの読み出し、書き込み、電源切断、電源投入)が可能となっている。
ディスクアダプタ109のHDD電源制御部56および論理ボリューム制御部57をプログラムとして、CPU50とRAM58を用いて実行することができる。また、ディスクアダプタ109上にCPUおよびメモリを設けて、HDD電源制御部56および論理ボリューム制御部57のプログラムを実行するように構成すること、あるいは、ディスクアダプタ109のHDD電源制御部56および論理ボリューム制御部57をハードウェアコンポーネントとすることもできる。
論理ボリューム管理情報105は、正記憶システム1が有する論理ボリュームの構成に関する情報を記録している。
ペア情報107は、正記憶システム1に構成されているペアの情報を記録している。
更新データグループ進捗情報108は、更新データを記録する更新データ論理ボリューム124のアドレスと、更新データを副記憶システム2に送信するために更新データを読み出す更新データ論理ボリューム124のアドレスを記録している。
副記憶システム2の各構成要素は正記憶システムの各構成要素と同様に動作し、正記憶システム1と同様に、コントローラ200のCPU226による制御、ホストアダプタ201及びホストアダプタ202上に設置したCPUによる制御、あるいは、ハードウェアコンポーネントとしてのホストアダプタ201、ホストアダプタ202による制御等が可能なように構成することができる。
副記憶システム2は、正記憶システム1と異なる構成としては、コントローラ200内の共有メモリ203内にHDD電源制御情報225が記録されている。また、ホストアダプタ201はネットワーク42を介して正記憶システム1に接続され、ホストアダプタ202は、ネットワーク43に接続されている。
一つの論理ボリュームの構成に関する情報は、論理ボリュームID、論理ボリュームタイプ、論理ボリューム状態、容量、物理アドレスの各情報からなる。
論理ボリュームIDは、記憶システムが有する論理ボリュームを識別するための識別子(ID)である。本実施形態では、論理ボリュームIDは、記憶システム内で重複しない一意の整数とする。理解を助けるために、本明細書では論理ボリュームIDと、図1の符号の指示番号を一致させている(図1に記載のない論理ボリュームもある)。
論理ボリュームがペアの正論理ボリューム121である場合は、論理ボリュームタイプの値に1を加算し、副論理ボリュームである場合は、論理ボリュームタイプの値に2を加算する。
理解を助けるために、本明細書の図においては、論理ボリュームタイプの数値を記載する代りに、ホスト、ホスト(正)、ホスト(副)、更新データ(正)、更新データ(副)等と記載する。
論理ボリュームが正常な状態にあるとは、論理ボリュームに対してデータを正しく記録でき、またデータを正しく読み出せることを言う。論理ボリュームが異常な状態にあるとは、論理ボリュームが正常にない状態を言う。論理ボリュームの異常な状態は、HDD等の障害により発生しうる。
物理アドレスは、論理ボリュームを構成しているHDDグループの識別番号(ID)、および、HDDグループにおける論理ボリュームの開始アドレスである。図4では「HDDグループのID:開始アドレス」の形式で表記している。HDDグループのIDは、HDDグループを構成する先頭のHDDの識別番号と同一とする。
各HDDグループの構成情報は、HDDグループID、開始HDD、HDD数、RAIDレベルの情報からなる。
HDDグループIDは、記憶システム内のHDDグループそれぞれに一意に割り当てる識別番号(ID)である。
開始HDDは、HDDグループを構成するHDDの、識別番号が最も小さいものの、HDD IDである。理解を助けるため、HDDグループIDと開始HDDは同じ値を取るものとしている。
HDD数は、HDDグループに含まれるHDDの数である。本実施形態では、どのHDDグループも、開始HDDによって示されるHDD IDから、HDD数に示される数の、HDD IDが連続しているHDDから構成されるものとする。
RAIDレベルは、HDDグループに適用されている、RAID(Redundant Array of Inexpensive Disks)によるデータ冗長化方式のレベルを示す数字である。
図6では、HDDグループ管理情報104は、HDD グループIDが111であり、開始HDDのIDが111、HDD数が4、RAIDレベルが5であるHDDグループの情報を記録している。また、HDDグループ管理情報104は、HDDグループIDが115であるHDDグループの情報を記録している。
一つの更新データグループの構成に関する情報は、更新データグループID、更新データグループ状態、ペアID、更新データ論理ボリュームID、更新番号の各情報から成る。
更新データグループIDは、正記憶システム1と副記憶システム2の間で、更新データグループを一意に識別するための識別番号(ID)である。
更新データグループ状態は、更新データグループの状態を示す数値である。更新データグループの状態には、正常(1)、異常(2)がある(括弧内は、状態を表す数値)。更新データグループが正常な状態とは、更新データグループを構成している更新データ論理ボリュームに対する更新データの書き込み、同更新データ論理ボリュームからのデータの読み出し、更新データの送信が正常に実行できる状態を言い、更新データグループが異常な状態とは、これらの動作を実行できないことを言う。更新データグループが異常な状態は、HDDの障害、ネットワークの障害等により発生しうる。
理解を助けるために、本明細書においては、更新データグループの状態を数値で記載する代りに、正常、異常等と記載する。
なお、ペアIDは、正記憶システム1と副記憶システム2の間で、ペアを一意に識別するために、共通の値を用いる。
更新データ論理ボリュームIDは、更新データグループを構成する更新データ論理ボリュームのIDである。更新データ論理ボリュームは、複数でもよい。
更新番号は、更新データ論理ボリュームに最後に記録された更新データを示す、更新データに割り振られた番号である。更新データには、連続した一意の番号を割り振る。
図9の例は、更新データグループIDが1の更新データグループは、状態が正常、関連付けられたペアのIDは1、更新データ論理ボリュームは更新データ論理ボリューム124であることを示している。
また、更新データグループ管理情報206には、正閾値と副閾値のデータを追加している。正閾値は、更新データグループに含まれる正更新データ論理ボリューム)の使用率(単位:%)に対する閾値である。副閾値は、更新データグループに含まれる、副更新データ論理ボリュームの使用率に対する閾値である。これらの値は、副更新データ論理ボリューム、および副更新データを構成するHDDの電源を投入するか否かを決定するために使用する。これらの値を使用した処理については、図18および図19を用いて後に詳細に説明する。
ペア情報107は、各ペアに関してペアlD、ペア状態、正記憶システムID、正論理ボリュームID、副記憶システムID、副論理ボリュームID、更新データグループIDの情報を記録する。
ペアIDは、正記憶システム1と副記憶システム2の間でペアを一意に識別するための識別番号(ID)である。
ペア状態は、ペアの状態を示す数値である。ペアの状態には、正常(1)、異常(2)、停止(3)がある(括弧内は、対応する数値)。ペアの状態が正常であるとは、ペアの更新データが正記憶システム1と副記憶システム2の間で正常に送受信できる状態を言う。ペアの状態が異常であるとは、ネットワークやHDD等の障害により、正記憶システム1と副記憶システム2の間で更新データを正常に送受信できない状態を言う。ペアの状態が停止であるとは、正論理ボリューム121へのデータの書き込みが、副論理ボリュームへ更新されない状態を言う。ただし、未送信の更新データに関しては、正記憶システム1と副記憶システム2の間で送受信が実行される可能性がある。
理解を助けるために、本明細書においては、ペア状態の数値を記載する代りに、正常、異常、停止等と記載する。
正記憶システムIDは、ペアの正論理ボリューム121を有する正記憶システム1の識別番号(ID)である。説明を簡単にするために、本明細書では、図1における正記憶システム1の符号の指示番号1を、正記憶システム1の識別番号とする。同様に、副記憶システム2の識別番号を、2とする。
正論理ボリュームIDは、ペアの正論理ボリュームのIDである。
副記憶システムIDは、ペアの副論理ボリュームを有する副記憶システム2の識別番号(ID)である。
副論理ボリュームIDは、ペアの副論理ボリュームのIDである。
更新データグループIDは、ペアに関連付けられている更新データグループの識別番号である。
副記憶システム2のペア情報207には、正記憶システム1との間で構成されているペア(ID 1)の情報を、正記憶システム1のペア情報107と同じ形式で記録する。
論理ボリューム管理情報105および205の論理ボリュームタイプ、更新データグループ管理情報106および206、ペア情報107および207は、ユーザが管理端末機器を用いてペアの構成を指示した時、その指示に基づき内容を変更する。
更新データグループは、更新データグループID、書き込みアドレス、読み出しアドレスの情報を各更新データグループに関して記録する。
更新データグループIDは、更新データグループの識別番号である。
書き込みアドレスは、更新データを記録すべき更新データ論理ボリュームの識別番号と、そのアドレスからなる情報である。
読み込みアドレスは、更新データを最後に読み出した更新データ論理ボリュームの識別番号と、そのアドレスからなる情報である。
本実施形態において、更新データ論理ボリュームをいわゆるリングバッファのように使用する。上記の書き込みアドレスは、更新データを次に記録するアドレスであり、更新データを記録するごとに加算する。また読み込みアドレスは、更新データを次に読み出すアドレスであり、更新データをそのアドレスから読み出すごとに加算する。これらのアドレスが更新データグループに含まれる記憶領域の容量を超えた場合には、適切な先頭アドレスにリセットする。
更新データグループが複数の更新データ論理ボリュームを含む場合、更新データ論理ボリュームの識別番号が小さい順に、連続した記憶領域として扱う。
ここで、更新データグループの使用率について説明する。更新データグループの使用率とは、記憶システムにおいて、更新データグループに属する更新データ論理ボリュームに記録可能な更新データの最大数に対して、実際に記録されている更新データの数の比率のことを言う。この値は、記憶システム個別に算出する値であり、正更新データ論理ボリュームと副更新データ論理ボリュームの合算から算出する値ではない。
更新データグループに記録可能な更新データの最大値は、更新データグループに含まれる更新データ論理ボリュームの容量の合計と、更新データのデータ長(後で述べるように、更新データは固定長のデータである)により定まる。本実施形態では、更新データ論理ボリュームから読み出され、正常に処理された更新データは破棄されるものとする。更新データグループに記録されている更新データの数は、更新データグループ進捗情報の書き込みアドレスと読み込みアドレスから算出する。これらの値から、更新データグループの使用率を算出できる。
HDD IDは、HDDを識別するためのIDである。
最終アクセス時刻は、HDDへのアクセス(データの書き込みまたはデータの読み出し)が発生した時刻である。この情報は、ディスクアダプタ209の論理ボリューム制御部57が、HDDへのアクセスを行う度に、その時刻を記録する。
電源投入回数は、電源が切断されたHDDへ電源を投入した回数であり、0以上の値をとる。また、この値は一定の時間間隔ごとに減少するようにしている。この理由は後述する。これらの処理はディスクアダプタ209のHDD電源制御部56が行う。
更新番号は、更新データに割り振られた、一意の連続した番号である。更新データの更新番号は、更新データを生成する際に、直前に生成した更新データの更新番号の次の値となるように決定する。更新番号として取り得る値には最大値を定め、前記方法により更新番号を決定する際、最大値よりも大きい値となる場合は、その更新番号を0とする。前記最大値は、更新データ論理ボリュームに記録される更新データの更新番号が重複しない程度の大きさとする。
ペアIDは、更新データの適用の対象である副論理ボリュームが構成しているペアの識別番号である。
アドレスは、更新データに基づく更新を実施する論理ボリュームの、更新適用の対象となる先頭アドレスである。
データ長は、更新データに含まれるライトデータの有効なデータ長である。
ライトデータは、更新時に副論理ボリュームに書き込むデータの内容である。
更新番号、ペアID、アドレス、データ長からなる情報を、更新データヘッダと呼ぶ。
更新データは固定長のデータである。更新データヘッダとライトデータを含むデータ量が、更新データの固定長のサイズよりも大きい場合、ライトデータを適切に二つ以上に分割し、二つ以上の更新データを生成する。逆に、更新データヘッダとライトデータを含むデータ量が、更新データの固定長のサイズよりも小さい場合、ライトデータの余りの領域には0をセットする。
図16は、正記憶システム1のI/O処理部51における、計算機9からのデータ書き込み指示を受けた際の処理の流れを示すフローチャートである。
正記憶システム1のホストアダプタ101は、計算機9よりデータの書き込みの要求を受けると、I/O処理部51にてステップS101からの処理を開始する。計算機9からの要求には、情報として、データを書き込む対象の論理ボリュームを指定する情報、書き込むデータ(ライトデータ)とそのデータ長、データの書き込みを開始する論理ボリュームのアドレスが含まれる。
ステップS101において、I/O処理部51は、計算機9からの要求内容を、キャッシュメモリ110に記録する。ステップS102において、I/O処理部51は、対象論理ボリュームがデータを書き込める論理ボリュームであるかどうかを判定する。データを書き込める論理ボリュームとは、論理ボリュームタイプがホスト、ホスト(正)のいずれかである論理ボリュームを言う。この判定には、論理ボリューム管理情報105に記録されている、論理ボリューム121の論理ボリュームタイプ情報を使用する(図4参照)。
ステップS104において、I/O処理部51は、対象論理ボリュームの論理ボリューム状態が正常であるかどうかを判定する。この判定には、論理ボリューム管理情報105に記録されている、論理ボリューム121の論理ボリューム状態情報を使用する。
ステップS106において、I/O処理部51は、対象論理ボリュームがペアの正論理ボリューム1であるかどうかを判定する。この判定には、論理ボリューム管理情報105に記録されている、論理ボリューム121の論理ボリュームタイプ情報を使用する。
ステップS107において、I/O処理部51は、計算機9からの要求から更新データを生成し、更新データ論理ボリュームに記録する。この処理の詳細については、図17を用いて後述する。ステップS108において、I/O処理部51は、対象論理ボリュームに対して、計算機9から指示されたデータを記録する。このステップでは、ディスクアダプタ109の論理ボリューム制御部57を使用する。I/O処理部51は、ステップS101において計算機9からの要求内容を記録したキャッシュメモリ110上のアドレスと、論理ボリュームへのデータの書き込みの要求を、ディスクコントローラ109の論理ボリューム制御部57に通知する。この要求を受けて、ディスクコントローラ109の論理ボリューム制御部57は、論理ボリューム管理情報106から論理ボリュームの構成(HDDの構成)を得、キャッシュメモリ110に記録されている計算機9からの要求内容を参照し、論理ボリューム121(を構成するHDD)にライトデータを記録する。
その後、計算機9に対して正常に処理が終了したことを通知して処理を終了する(ステップS109)。
更新データを記録する処理は、ステップS201より開始する。なお、説明を簡単にするために、以降は論理ボリューム、更新データ論理ボリュームが異常状態である場合の処理の説明を省略する。
ステップS202において、前ステップで特定したペアと関連付けられている更新データグループを特定する。更新データグループは、ペア情報107を参照することで特定できる。
ステップS203)において、前ステップで特定した更新データグループの書き込みアドレスと読み込みアドレスを、更新データグループ進捗情報108から取得する。
ステップS204において、前ステップで取得した書き込みアドレスと読み込みアドレスから、更新データグループに含まれる更新データ論理ボリュームに、更新データ論理ボリュームに更新データを書き込めるだけの空き記憶領域があるかどうかを判定する。
ステップS206において、計算機9からのデータ書き込み要求に基づいて更新データを生成し、キャッシュメモリ110に記録する。
上記の諸情報は、ステップS101でキャッシュメモリに記録した、計算機9からの要求内容から得る。
ステップS207において、I/O処理部51は、ディスクアダプタ109の論理ボリューム制御部57に対し、キャッシュメモリ110に記録した更新データを、前ステップで取得した書き込みアドレス(更新データ論理ボリュームとそのアドレス)に記録することを指示する。ディスクアダプタ109の論理ボリューム制御部57は、前記指示を受け、更新データ論理ボリュームに更新データを書き込む。
この加算の結果、次の書き込みアドレスが最大値を超える場合は、次の書き込みアドレスは、更新データグループの先頭の更新データ論理ボリュームと、その先頭アドレス(0)となる。書き込みアドレスの最大値は、更新データグループに含まれる更新データ論理ボリュームの容量により定まる。
以上の処理を実行した後、処理を終了する(ステップS209)。
対象論理ボリュームが複数のペアを構成している場合、各ペアに関して上記処理を繰り返す。
この処理では、副更新データ論理ボリュームを構成しているHDDの電源の状態に応じた処理を行う。この処理は、副記憶システム2の更新データ転送調停部53(以降、副更新データ転送調停部)が、全更新データグループを対象に一定の時間間隔で定期的に実行する。
ステップS302において、副記憶システム2に設定されている更新データグループの内、一つを選択する。選択した更新データグループを、以降対象更新データグループと呼ぶ。
ステップS303において、対象更新データグループの更新データを、正記憶システム1から取得するか否かを決定する。本実施形態では、この判定方法の一つとして、正記憶システム1における対象更新データグループの使用率に基づく方法を採用する。以下、その処理の流れを説明する。
ステップS304において、前ステップでの決定にしたがい、S305またはステップS307に進む。
ステップS306において、正記憶システム1より更新データを取得し、更新データ論理ボリュームに書き込む。このステップを以下に示す。
ステップS302からステップS306までの処理を、副記憶システム2の全ての更新データグループに対して実施する(ステップS307)。
以上のステップにより、更新データを取得する処理を完了する(ステップS308)。
リストア処理は、副記憶システム2のリストア処理部55が実行する。ホストアダプタ201と202の両方がリストア処理部55を持つが、どちらのリストア処理部55がリストア処理を実行してもよい。ここでは、ホストアダプタ201のリストア処理部55がリストア処理を実行するものとし、以降、特に断わらない限りは、リストア処理部55とは、ホストアダプタ201のリストア処理部55のことを指す。
ステップS401より、リストア処理を開始する。
ステップS402において、副記憶システム2に構成されている更新データグループを、リストア処理の対象として一つ選択する。ここで選択した更新データグループを、対象更新データグループと呼ぶ。
ステップS405において、対象更新データグループの更新データ論理ボリュームに記録された更新データを、キャッシュメモリに読み出す。この処理は、図18に示した更新データの取得処理のステップS306において、正記憶システム1が、副記憶システム2に対して更新データを送信するために、正更新データ論理ボリュームから更新データを読み出す処理とほぼ同様である。リストア処理部55は、対象更新データグループに含まれる副更新データ論理ボリュームに記録された更新データであって、直前に読み出した更新データの次の更新データを読み出す。
上記以外に、更新データグループ内の複数の副論理ボリューム間で、データの更新の順序をホストからの書き込みの順序と一致するようにし、データ間の時間的整合性を保つようにすることもできる。この場合、更新データの副論理ボリュームへの適用は、必ず更新データが更新データ論理ボリュームに記録された順序で行う。更新データグループにおける更新データ適用の過程で、処理中の更新データが対象としている副論理ボリュームのHDDの電源が切断されている場合がある。このような場合、更新データ転送調停部53が、当該更新データグループにおける以降の更新データの適用を延期するか、もしくは電源が切断されている当該HDDの電源を投入して、更新データの適用を続行するかを判断する。上記の判断は、更新データ転送調停部53が、更新データの量に基づいて行う。
ステップS407において、副論理ボリュームへのリストア処理を行うならばステップS408へ進み、そうでなければステップS409へ進む。
リストア処理55は、リストア処理を実行する対象の副論理ボリュームを構成するHDDの電源が切断されているならば、そのHDDの電源を投入するように、ディスクアダプタ209のHDD電源制御部56に対して指示を行う。
ディスクアダプタ209のHDD電源制御部56は、指定された論理ボリュームのHDDを特定し、その電源を投入する。HDDを特定するために、論理ボリューム管理情報205を参照する。
ステップS402からステップS409までの処理を、副記憶システム2の全ての更新データグループに対して実施する (ステップS410)。
HDD電源切断処理は、一定の時間間隔で、副記憶システム2が有する全てのHDDを対象として実行する。
ステップS502において、電源切断処理の対象とするHDDのIDを、HDD電源制御情報225に記録されているHDD IDの中から選択する。ステップS502からステップS507までの処理は、HDD電源制御情報225に記録されているすべてのHDD IDを対象とするループ処理であり、HDD電源制御情報225に記録されている順で、ループの先頭に戻る度に毎回異なるHDD IDを選択する。選択したHDDを対象HDDと呼ぶ。
ステップS506において、HDD電源制御情報225のHDD電源投入回数情報に記録されている値を、1減算する時刻に達しているか否かを、判定する。この時刻に達しているならばステップS507に進み、そうでなければステップS508に進む。この判定は、例えば、偶数の時間(14:00など)の時刻を超たかどうかを毎回検査する方法により実施する。
ステップS508において、HDD電源制御情報225に記録されているHDDについて、ステップS503からS507までの処理を行なったかどうかを判定する。全てのHDDについて処理を行ったならば、HDD電源切断処理を終了し(ステップS509)、そうでなければ、ステップS502に戻って、次のHDDを選択する。
図21は、本発明の第二の実施形態の概要を表わすブロック図である。
第二の実施形態については、第一の実施形態との違いのみを示す。第二の実施形態と、第一の実施形態との違いは以下の通りである。
ログ125と正論理ボリューム121に記録されているデータより生成された更新データは正記憶システム1の更新データ送信部52により送信され、副記憶システム2の更新データ受信部54により受信される。更新データに含まれている正論理ボリューム121からのデータは副論理ボリューム221に記録される。
図22は、本発明の第三の実施形態の概要を表わすブロック図である。
第三の実施形態では、第二の実施形態における副記憶システム2(以降、記憶システム(2)と表記)を、仮想化機能を備える記憶システムとする。仮想化機能とは、外部記憶システムの論理ボリュームの一つまたは複数から、仮想的な論理ボリューム(仮想論理ボリューム)を形成する機能である。仮想論理ボリュームへのアクセスは、記憶システム(2)が、それを構成する外部の論理ボリュームへのアクセス要求に変換した上で、外部記憶システムへ要求することで、仮想ボリュームを実現する。記憶システム(2)の副論理ボリューム222は、記憶システム3(以降、記憶システム(3)と表記)の論理ボリューム321から形成される仮想ボリュームとなっている。記憶システム(2)と、外部記憶システム(3)の間には、通信路73が形成されている。
2 副記憶システム
3 記憶システム
9 計算機
41,42、43 ネットワーク
51 I/O処理部
52 更新データ送信部
53,53a,53b 更新データ転送調停部
54 更新データ受信部
55 リストア処理部
56,56b,56c HDD電源制御部
57 論理ボリューム制御部
71,72,73 通信路
100,200 コントローラ
101,102,201,202 ホストアダプタ
103,203 共有メモリ
104,204 HDDグループ管理情報
105,205 論理ボリューム管理情報
106,206 更新データグループ管理情報
107,207 ペア情報
108,208 更新データグループ進捗情報
109,209 ディスクアダプタ
110,210 キャッシュメモリ
111〜118,211〜218 記憶装置
119,219 バス
120,220 HDD接続線
121 正論理ボリューム
124 正更新データ論理ボリューム
125 ログ
126 CPU
221 副論理ボリューム
222 仮想論理ボリューム
224 副更新データ論理ボリューム
225 HDD電源制御情報
226 CPU
311 外部記憶システム
321 論理ボリューム
Claims (3)
- 第一の論理ボリュームを有する第一の記憶システムと、
前記第一の記憶システムに接続され、第二の論理ボリュームと第三の論理ボリュームを有する第二の記憶システムと、
前記第一の記憶システムに接続された上位装置と、
を有する計算機システムにおいて、
前記上位装置は、前記第一の記憶システムへデータを送信する送信部を備え、
前記第一の記憶システムは、前記データを前記第一の論理ボリュームへ記録し、前記データを含む更新データを生成する第一の処理部を備え、
前記第二の記憶システムは、前記第一の記憶システムから前記更新データを受領する契機において、前記第二の論理ボリュームを構成する記憶装置の電源が切断されていれば、前記第二の論理ボリュームを構成する記憶装置の電源を投入する電源制御部と前記更新データを前記第二の論理ボリュームに記録する調停部とを備え、
さらに前記第二の記憶システムは、前記第二の論理ボリュームに記録された更新データを読み出して前記第三の論理ボリュームへ記録する第二の処理部を備えている計算機システムであって、
前記第二の記憶システムは、前記記憶装置の電源を切断する契機に至った場合に、前記電源制御部により、前記記憶装置の電源を切断し、前記電源を切断する契機は、前記記憶装置に対する最終アクセス時刻または規定の時間間隔以内の電源投入回数に基づき決定することを特徴とする計算機システム。 - 第一の論理ボリュームを有する第一の記憶システムと、
前記第一の記憶システムに接続され、第二の論理ボリュームと第三の論理ボリュームを有する第二の記憶システムと、
前記第一の記憶システムに接続された上位装置と、
を有する計算機システムのデータ複製方法において、
前記上位装置は、前記第一の記憶システムへデータを送信し、
前記第一の記憶システムは、前記データを前記第一の論理ボリュームへ記録し、前記データを含む更新データを生成し、
前記第二の記憶システムは、前記第一の記憶システムから前記更新データを受領する契機において、前記第二の論理ボリュームを構成する記憶装置の電源が切断されていれば、前記第二の論理ボリュームを構成する記憶装置の電源を投入し、前記更新データを前記第二の論理ボリュームに記録し、
さらに前記第二の記憶システムは、前記第二の論理ボリュームに記録された更新データを読み出して前記第三の論理ボリュームへ記録する計算機システムのデータ複製方法であって、
前記第二の記憶システムは、前記記憶装置の電源を切断する契機に至った場合に、前記第二の記憶システムの電源制御部により、前記記憶装置の電源を切断し、前記電源を切断する契機は、前記記憶装置に対する最終アクセス時刻または規定の時間間隔以内の電源投入回数に基づき決定することを特徴とする計算機システムのデータ複製方法。 - 請求項2記載の計算機システムのデータ複製方法であって、
前記記憶装置の電源が投入されている第二の論理ボリュームに対してはリストア処理を実行し、前記記憶装置の電源が投入されていない第二の論理ボリュームに対しては、ユーザが設定できる既定量以上の更新データが無く、かつユーザが設定できる既定の目標復旧時点に達していない場合、リストア処理を延期することを特徴とする計算機システムのデータ複製方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005335655A JP4813872B2 (ja) | 2005-11-21 | 2005-11-21 | 計算機システム及び計算機システムのデータ複製方法 |
US11/342,833 US7627610B2 (en) | 2005-11-21 | 2006-01-31 | Computer system and method of reproducing data for the system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005335655A JP4813872B2 (ja) | 2005-11-21 | 2005-11-21 | 計算機システム及び計算機システムのデータ複製方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2007141047A JP2007141047A (ja) | 2007-06-07 |
JP2007141047A5 JP2007141047A5 (ja) | 2008-06-05 |
JP4813872B2 true JP4813872B2 (ja) | 2011-11-09 |
Family
ID=38203811
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005335655A Expired - Fee Related JP4813872B2 (ja) | 2005-11-21 | 2005-11-21 | 計算機システム及び計算機システムのデータ複製方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US7627610B2 (ja) |
JP (1) | JP4813872B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9383938B2 (en) * | 2006-04-18 | 2016-07-05 | International Business Machines Corporation | Method, system, and apparatus for re-conveying input/output operations utilizing a sequential-access data storage device secondary communication port |
GB0616375D0 (en) * | 2006-08-17 | 2006-09-27 | Ibm | An apparatus for facilitating disaster recovery |
JP5022773B2 (ja) | 2007-05-17 | 2012-09-12 | 株式会社日立製作所 | ジャーナルを利用したリモートコピーのコピー先となるストレージシステムの消費電力を節約する方法及びシステム |
WO2009004266A1 (fr) * | 2007-06-29 | 2009-01-08 | France Telecom | Procede de stockage |
US7814351B2 (en) * | 2007-06-28 | 2010-10-12 | Seagate Technology Llc | Power management in a storage array |
JP4481338B2 (ja) | 2008-03-28 | 2010-06-16 | 株式会社日立製作所 | バックアップシステム、ストレージ装置及びデータのバックアップ方法 |
JP5379988B2 (ja) * | 2008-03-28 | 2013-12-25 | 株式会社日立製作所 | ストレージシステム |
JP4893731B2 (ja) | 2008-12-25 | 2012-03-07 | 富士通株式会社 | 通信制御装置 |
WO2013046253A1 (en) * | 2011-09-27 | 2013-04-04 | Hitachi, Ltd. | Storage system and volume pair synchronization method |
US9244627B2 (en) * | 2013-10-15 | 2016-01-26 | Synetic Technologies, Inc. | Secure data erasure system for erasing a plurality of data storage devices |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7281031B1 (en) * | 2000-03-22 | 2007-10-09 | Emc Corporation | Method and apparatus for providing additional resources for a host computer |
US6587970B1 (en) * | 2000-03-22 | 2003-07-01 | Emc Corporation | Method and apparatus for performing site failover |
US6898727B1 (en) * | 2000-03-22 | 2005-05-24 | Emc Corporation | Method and apparatus for providing host resources for an electronic commerce site |
JP2002182961A (ja) * | 2000-12-13 | 2002-06-28 | Nec Corp | データベースの同期化システムとその同期化の方法 |
US7007141B2 (en) * | 2001-01-30 | 2006-02-28 | Data Domain, Inc. | Archival data storage system and method |
US7152078B2 (en) * | 2001-12-27 | 2006-12-19 | Hitachi, Ltd. | Systems, methods and computer program products for backup and restoring storage volumes in a storage area network |
US7181581B2 (en) * | 2002-05-09 | 2007-02-20 | Xiotech Corporation | Method and apparatus for mirroring data stored in a mass storage system |
JP2003050675A (ja) * | 2002-07-15 | 2003-02-21 | Hitachi Ltd | データ多重化システム |
US7035972B2 (en) | 2002-09-03 | 2006-04-25 | Copan Systems, Inc. | Method and apparatus for power-efficient high-capacity scalable storage system |
JP4254178B2 (ja) * | 2002-09-11 | 2009-04-15 | 富士ゼロックス株式会社 | 分散格納制御装置及び方法 |
JP2004139217A (ja) * | 2002-10-16 | 2004-05-13 | Hewlett Packard Co <Hp> | データベースの移行方法 |
JP4564721B2 (ja) * | 2003-04-22 | 2010-10-20 | Necシステムテクノロジー株式会社 | ディスクアレイシステム |
JP4462852B2 (ja) * | 2003-06-23 | 2010-05-12 | 株式会社日立製作所 | ストレージシステム及びストレージシステムの接続方法 |
JP4124348B2 (ja) * | 2003-06-27 | 2008-07-23 | 株式会社日立製作所 | 記憶システム |
US7219201B2 (en) * | 2003-09-17 | 2007-05-15 | Hitachi, Ltd. | Remote storage disk control device and method for controlling the same |
JP4574162B2 (ja) * | 2003-11-20 | 2010-11-04 | キヤノン株式会社 | データ記憶装置 |
JP4486348B2 (ja) | 2003-11-26 | 2010-06-23 | 株式会社日立製作所 | ドライブの稼働時間を抑止するディスクアレイ |
US7096325B2 (en) * | 2004-03-29 | 2006-08-22 | Hitachi, Ltd. | Method and apparatus for multistage volume locking |
US20050235091A1 (en) * | 2004-04-20 | 2005-10-20 | Caph Chen | USB hub with built-in storage device |
US7058731B2 (en) * | 2004-08-03 | 2006-06-06 | Hitachi, Ltd. | Failover and data migration using data replication |
JP4646574B2 (ja) * | 2004-08-30 | 2011-03-09 | 株式会社日立製作所 | データ処理システム |
-
2005
- 2005-11-21 JP JP2005335655A patent/JP4813872B2/ja not_active Expired - Fee Related
-
2006
- 2006-01-31 US US11/342,833 patent/US7627610B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2007141047A (ja) | 2007-06-07 |
US20070180211A1 (en) | 2007-08-02 |
US7627610B2 (en) | 2009-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4813872B2 (ja) | 計算機システム及び計算機システムのデータ複製方法 | |
JP3997061B2 (ja) | 記憶サブシステムおよび記憶サブシステムの制御方法 | |
JP5036158B2 (ja) | 情報処理システム及び情報処理システムの制御方法 | |
JP4986045B2 (ja) | 二重アクティブ・コントローラ内のライト・キャッシュ・データのフェイルオーバーおよびフェイルバック | |
US7669022B2 (en) | Computer system and data management method using a storage extent for backup processing | |
JP5090098B2 (ja) | Nasの消費電力を削減する方法及びその方法を用いた計算機システム | |
US7461201B2 (en) | Storage control method and system for performing backup and/or restoration | |
US8321622B2 (en) | Storage system with multiple controllers and multiple processing paths | |
JP2002259063A (ja) | バックアップ処理可能な記憶システム | |
KR101410596B1 (ko) | 정보 처리 장치, 카피 제어 프로그램 및 카피 제어 방법 | |
CN104750434A (zh) | 存储集群中的自适应功率保存 | |
JP2013257801A (ja) | サーバコンピュータおよびドライブ制御装置 | |
JP2005174196A (ja) | 複数の記憶システムを有するデータ処理システム | |
TWI531901B (zh) | 群組表資料沖除技術 | |
JP2009122873A (ja) | ストレージシステム間でのリモートコピーを管理する装置 | |
JP2015052844A (ja) | コピー制御装置,コピー制御方法及びコピー制御プログラム | |
JP2008140142A (ja) | 情報処理システム | |
US7890715B2 (en) | Suspension of an asynchronous remote copy pair system having a primary controller and a remote controller | |
JP2007058286A (ja) | 記憶装置のフォーマットを不要としたストレージシステム及び記憶制御方法 | |
JP2010211318A (ja) | デバイス管理装置、デバイス初期化方法、デバイス初期化プログラムおよびデバイスシステム | |
WO2017081748A1 (ja) | ストレージシステム、及び、ストレージ管理方法 | |
JP2006260141A (ja) | 記憶システムの制御方法、記憶システム、記憶制御装置、記憶システムの制御プログラム、情報処理システム | |
WO2019043815A1 (ja) | ストレージシステム | |
WO2022033269A1 (zh) | 数据处理的方法、设备及系统 | |
JP4398596B2 (ja) | ディスクアレイ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080422 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080422 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110823 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110825 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140902 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |