JP4952679B2 - ストレージ管理方法、ストレージ制御装置及びストレージシステム - Google Patents

ストレージ管理方法、ストレージ制御装置及びストレージシステム Download PDF

Info

Publication number
JP4952679B2
JP4952679B2 JP2008198900A JP2008198900A JP4952679B2 JP 4952679 B2 JP4952679 B2 JP 4952679B2 JP 2008198900 A JP2008198900 A JP 2008198900A JP 2008198900 A JP2008198900 A JP 2008198900A JP 4952679 B2 JP4952679 B2 JP 4952679B2
Authority
JP
Japan
Prior art keywords
backup
storage
host
information
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008198900A
Other languages
English (en)
Other versions
JP2010039578A (ja
Inventor
一雄 中嶋
修 木村
実 村松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2008198900A priority Critical patent/JP4952679B2/ja
Priority to US12/512,252 priority patent/US20100030989A1/en
Publication of JP2010039578A publication Critical patent/JP2010039578A/ja
Application granted granted Critical
Publication of JP4952679B2 publication Critical patent/JP4952679B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1415Saving, restoring, recovering or retrying at system level
    • G06F11/1441Resetting or repowering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1469Backup restoration techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Techniques For Improving Reliability Of Storages (AREA)
  • Power Sources (AREA)

Description

本明細書は、ストレージ制御装置およびこのストレージ制御装置によるストレージ管理方法ならびにこのストレージ制御装置を含むストレージシステムに関する。
近年、磁気ディスクなどのディスクアレイによるストレージ装置を用いた大容量のストレージシステムが広く利用されている。このようなストレージシステムの電源切断方法は通常ユーザが電源投入・切断用のPowerボタンを押す等の操作を行うことにより開始される。この電源切断時においては、バックアップ処理を必要とするバックアップ情報を例えばシステムディスクなどの所定の記憶領域に待避して電源OFFすることにより次回装置電源投入時に電源切断前と同じ状態を保つことができる。また、このようなストレージシステムにおいては、より信頼度の高い安定稼動のためにいわゆるメモリバックアップ機能は不可欠である。このために、通常バックアップバッテリが備えられており、例えば停電発生時など突然ストレージシステムへのAC供給が切断された場合、バックアップを必要とするデータをその停電中保持するメモリに対し、上記バックアップバッテリより給電し続ける。これによりAC供給が復旧した場合には保持しているメモリ情報を用いることにより、AC供給切断前と同じ状態を保つことができる。なお、AC供給とは、ストレージ装置外からの電源供給を意味する。
このようなホストとストレージシステムを連動して電源切断させる方法として、電源タップ制御を用いる方法がある。
図11は、従来の電源オフの操作の一例を表す図であり、特に上記の規定の手順による電源オフ操作が行われる場合を表す。この規定の手順は下記(1)〜(4)のとおりである。なお、本図において参照番号1はストレージシステムを表す。
(1)まずホスト2に対してオフ(OFF)指示がオペレータより与えられる。
(2)その指示に基づきホスト2は電源オフ(Power Off)を実行する。
(3)上記(2)のホスト2による電源オフによりコンセントを通したAC消費が停止する。
(4)上記(3)のAC消費が停止してから一定時間後に、ストレージ制御装置3およびストレージ装置4へのAC供給を、電源タップ制御により、停止する。
この場合、管理情報等のテーブル域のデータはメモリにおいて、バッテリによりバックアップされる。
なお本発明に関連する公知技術としては、情報処理装置の停電時にメモリの内容を記憶媒体に短時間に退避させる技術〔特許文献1〕や、半導体ディスク装置において、更新のないブロックを予め不揮発性記憶装置に退避させることにより退避時間を短縮する技術〔特許文献2〕がある。
特開平10−63586号公報 特開平6−4228号公報
図11を再び参照すると、本図に示す規定の手順を用いると、ストレージシステムに対する電源切断はユーザ指示による電源OFF、すなわち規定の手順に沿った電源オフでなく、ACオフによる停電(擬似停電)となる場合がある。
このような擬似停電は、本来の停電とは明らかに異なり、本来の停電であれば例えば長くても数分といった停電であるのが普通であるが、上記のACオフによる擬似停電は数日に及ぶことさえある。例えば、ユーザが週末に業務を停止するに際し、上記のACオフを行ったとすると、上記のメモリバックアップは週明けまでの例えば数日間実行し続けなければならない。
しかし、そのような長期間に亘るメモリバックアップを保証しようとすると、大規模なバッテリ装置を用意しなければならないことから、ストレージシステムは大型化し、またそのためにコスト高になるという問題がある。
したがって本明細書により開示するストレージ管理方法は、実際の停電が発生したときはもちろん、上記の擬似停電状態になったとしても、従来のメモリバックアップ状態に入る可能性を大幅に低減させることを目的とし、これにより大規模なバッテリ装置を不要とすることを目的とする。
またそのような大規模なバッテリ装置を不要とするストレージ制御装置ならびにストレージシステムを提供することを目的とする。
本明細書で開示するストレージ管理方法は、バックアップすべきバックアップ情報に変更が生じたか否かを定期的に判定し、変更が生じたと判定する毎に、バックアップ処理によりそのバックアップ情報の更新を済ませておくようにする。
また本明細書で開示するストレージ制御装置は、上記の定期的な判定を行う手段と、上記の変更が生じたと判定されたときに、当該バックアップ情報についてバックアップ処理を即座に実行する手段と、を備える。
さらにまた本明細書で開示するストレージシステムは、前述のホストとストレージ装置を有すると共に、これらの間に介在する装置であって上記変更の有無についての定期的な判定を行う手段と、上記の変更ありと判定されたときに、当該バックアップ情報についてバックアップ処理を即座に実行する手段とを備えたストレージ制御装置を含んでなる。
例えばシステムディスクなどのバックアップメモリを、常に最新の更新されたバックアップ情報が保持された状態にしておくことができる。したがって、停電等が発生しても、内部でバックアップ情報を一時格納するキャッシュメモリなどに対する大容量のメモリバックアップは不要である。つまりバックアップバッテリとして大規模な装置は不要となる。
かくして上記の停電等の発生時であっても、通常の電源オフの場合と全く等価な工程で、ストレージシステムを休止させることができる。このことは、該ストレージシステムの復電の際には、通常のメモリバックアップ後の長時間を要する復旧ではなく、通常の電源オンの場合と同様の復旧(リストア動作)が可能となり、給電再開時におけるストレージシステムのシステム立上げ時間は、大幅に短縮されることにもなる。
図1は、本明細書で開示するストレージシステム1を図11と同様の形式で表す図である。上記図11と比較すると、下記の(3)および(5)が新たな動作となる。すなわち、下記の(1),(2),(4)および(6)は、図11における(1),(2),(3)および(4)と同一動作である。
(1)まずホスト2に対してオフ(OFF)指示がオペレータより与えられる。
(2)その指示に基づきホスト2は電源オフ(Power Off)を実行する。
(3)上記(2)でのホスト2の電源オフにより、I/O、すなわちホスト2からのコマンドが停止する。
(4)上記(2)のホスト2による電源オフにより、コンセントを通したAC消費が停止する。
(5)上記(3)のI/O停止から一定時間後に、テーブル領域(図中のメモリ内)のデータを、システムディスク11に、バックアップする。
(6)上記(4)のAC消費が停止してから一定時間後に、ストレージ制御装置3およびストレージ装置4へのAC供給を、電源タップ制御により停止する。
上記(1)〜(6)の中で特に注目すべき点は、上記(3)のホスト2からのI/O停止を契機に、上記(5)のバックアップ処理が実行されることである。以下さらに具体的に説明する。
図2は本明細書において開示するストレージ制御装置の一実施形態を示す図である。なお全図を通じて同様の構成要素には同一の参照番号または記号を付して示す。
図2に示す装置3は、ホスト2とストレージ装置4との間の情報のアクセスを制御し、かつ、バックアップ処理を必要とするバックアップ情報を、例えばシステムディスク(SD)11などの所定の記憶領域に格納するストレージ制御装置である。このストレージ制御装置3は、少なくとも、判定機能部12とバックアップ処理機能部13を有する。好ましくは、さらにフラグ領域14を形成する。
ここに判定機能部12は、バックアップ情報に変更があったか否かを所定の時間間隔で判定する。またバックアップ処理機能部13は、判定機能部12によりそのバックアップ情報に変更があると判定される都度、当該バックアップ情報のバックアップ処理を実行する。
また上述のとおり、好ましくはフラグ領域14をさらに有する。このフラグ領域は、ホスト2からのコマンドの受信の有無を示す第1フラグF1と、ストレージ制御装置3内の制御に係る内部処理の実施の有無を示す第2フラグF2と、これら第1および第2フラグF1,F2に従ってバックアップ情報を有効/無効としたときにその有効/無効を示す第3フラグF3と、を含むようにする。
ここに、判定機能部12がそのフラグ領域14を参照し、第3フラグF3が上記の「有効」を示すときに、バックアップ処理機能部13が上記のバックアップ処理を実行するようにする。
かくして本明細書に開示するストレージシステム1は、ホスト2と、このホスト2による情報のアクセスが行われるストレージ装置4と、これらホスト2とストレージ装置4との間に介在して、上記の構成を有するストレージ制御装置3とを含んで構成されるストレージシステムである。
次に上記の図2により説明したストレージシステム1において実行されるストレージ管理方法の一実施形態を説明する。
図3は本明細書で開示するストレージ管理方法の一実施形態を示す概略フローチャートである。まずこの方法は、ホスト2とストレージ装置4との間で、ストレージ制御装置3を介して、情報のアクセスを行うと共に、バックアップ処理を必要とするバックアップ情報を、システムディスク11などの所定の記憶領域に格納するバックアップ工程を含むストレージ管理方法である。
ステップS11:装置3内の例えばキャッシュメモリなどに書き込まれたバックアップ情報に変更があったか否かを、所定の時間間隔で判定する。
ステップS12:上記バックアップ情報に変更があると判定される都度、書込み済みのバックアップ情報について、上記のシステムディスク11へのバックアップ処理を実行しておく。
ステップS13:停電が発生した際に、上記のバックアップ情報に変更がないと判定されているときは、停電処理としてのメモリバックアップ状態を経由することなく即座に、通常の電源オフを実施する。
図3において、上記のバックアップ情報は、ストレージ装置4を制御するための管理データおよびユーザデータの少なくとも一方である。
また図3において判定工程S11は、
(i)ストレージ制御装置3がホスト2からのコマンドを受信したとき、
(ii)ストレージ制御装置3内の制御に係る内部処理が実施されたとき、
(iii)ホスト2、ストレージ装置4およびストレージ制御装置3のいずれかの構成が変更されたとき(構成変更)、
のいずれかの事象が発生したときに、上記書込み済みのバックアップ情報に変更があったものと判定する。
さらに図3のバックアップ処理工程S12では、判定工程S11において、ストレージ制御装置3がホスト2からのコマンドの受信の有無を示す第1フラグF1と、ストレージ制御装置3内の制御に係る内部処理の実施の有無を示す第2フラグF2と、これら第1および第2フラグF1,F2に従って書込み済みの上記バックアップ情報を有効/無効としたときこの有効/無効を示す第3フラグF3と、をそれぞれ設定するフラグ領域14を参照し、この第3フラグF3が「有効」を示すときに、上記書込み済みのバックアップ情報について上記システムディスク11へのバックアップ処理を実行する。
なお、そのバックアップ処理を実行するに際し、ストレージ制御装置3から、ストレージ装置4へのアクセスを一時中断すべき通知を発行する工程を有することが望ましい。
また上記のバックアップ処理を実行中に(S12)、前述した、(i)ストレージ制御装置3がホスト2からのコマンドを受信するか、(ii)ストレージ制御装置3内の制御に係る内部処理が実施されたか、(iii)ホスト2、ストレージ装置4およびストレージ制御装置3のいずれかの構成が変更されたか、のいずれかの事象が発生したときは、当該バックアップ処理の実行を中止するのが好ましい。
さらにまた図3のステップS11において述べた上記「所定の時間間隔」は、バックアップ情報の変更の有無に拘わらず所定の一定時間間隔とするか、あるいは、
その「所定の時間間隔」は、バックアップ情報の変更が発生する都度、その発生時点から所定の一定時間経過毎とする。
上記図3のステップS13での停電が解除されて復電する場合、その復電後の電源オン状態と同時に、前記ステップS12にてバックアップ処理が実行されたバックアップ情報をシステムディスク11から読み戻してリストア動作に入ることができる。
以下、本明細書で開示するストレージシステムの詳細例を説明する。
(A)機能概要
a1)定期バックアップ
システム1の電源オフ(Power Off)時に装置が停電状態となった場合、上述のとおりバッテリによる通常のメモリバックアップに移行させないようにするために、以下の機能をサポートする。
・ホスト2からの「Host I/O」および「装置内部処理」が、一定時間例えば約2〜3分間停止したならば、前記キャッシュなどのメモリ上(テーブル域)のデータをシステムディスク11にバックアップする。このバックアップ処理を「定期バックアップ」と称することとする。なお、上記の「Host I/O」とは、CAがCM(Basic)に通知する全コマンドを指す。CAはChannel/Adapter,CMはController Moduleをそれぞれ表す。また「装置内部処理」とは、ホストI/Oに関係なく装置内部で動作する次の処理を指す。既存のRAIDグループに新規ディスクを追加してRAIDグループの容量を拡張する処理(LDE),ディスクに対するフォーマット処理(QF)、暗号化変換、Copy、構成変更等である。LDEはLogic Device Extension,QFはQuick Formatをそれぞれ表す。
・上記バックアップ完了後に停電が起きたときは、バッテリによるメモリバックアップに移行させない。
・上記停電後の復電は、Resume(再起動)ではなく、通常電源オン(Power On)として装置をReadyで立ち上げて、システムディスク11からのリストアを実施する。
a2)定期バックアップの停止/再開
性能測定などを考慮すると、MMI(Man Machine Interface)から定期バックアップ機能を停止/再開できるようにするのが望ましい。
(B)動作条件
上記定期バックアップは、以下の条件を満たす場合のみ動作する。
・一定時間、Host I/Oを受領していないこと。
・一定時間、装置内部処理が停止していること。
・装置がReady状態であること。
・Dirty Data(Pin Dataを含む)が存在しないこと。
・システムディスク11が使用可能であること、すなわちミラーの両ディスクが閉塞していないこと。
・定期バックアップ機能が停止(MMIからの停止指示)状態でないことが望ましい。なお、2CM構成において片CMが異常等により切り離されている場合は、定期バックアップを動作させる。
(C)制御方法
c1)制御フラグ
以下の2つのフラグを基に定期バックアップ制御を行う。
・Host I/O,Copy I/Oの受領状況を表すフラグ(I/O受領Flag)=上述のフラグF1設定:フラグを設定するのはCA/Basic(Copy I/O)
なおCopy I/Oとは、装置内部処理のうちCopy処理に対するI/Oの意味である。
参照:そのフラグを参照するのはシステム制御
クリア:そのフラグをクリアするのはシステム制御
・装置内部処理の稼動状態を表すフラグ(内部処理Flag)=上述のフラグF2
設定:Basic
参照:システム制御
クリア:システム制御
・バックアップデータの有効状態を表すフラグ(バックアップFlag)=上述のフラグF3
設定:システム制御(バックアップ完了時)
参照:システム制御、カーネル
クリア:CA/Basic(I/O受領Flag/内部処理Flag Onのタイミング)、システム制御
c2)処理フロー
ここで図4を参照して、上述した定期バックアップの概略処理フローを説明する。
ステップS21:バックアップデータを無効化すると共に、I/O Flagと内部処理Flagをクリアする。
・例えば2〜3分の一定時間を空ける。
ステップS22:I/O Flagをチェックし、I/Oありのときは、ステップS21へ戻る。
ステップS23:ステップS22でI/Oなしのとき、内部処理Flagをチェックし、内部処理ありのときは、ステップS21へ戻る。
ステップS24:ステップS23で内部処理なしのとき、バックアップデータが有効か否か判定し、有効であるとき、すなわち何も変化がないときは、ステップS22へ戻る。
ステップS25:ステップ24で無効であると判定されたならば、バック処理を実行する。
(D)バックアップ状態の遷移
ここで図5を参照すると、バックアップ状態は、Host I/O、装置内部処理、構成変更の各状態により、本図のように遷移する。
(I)は、「バックアップ未実施かバックアップデータ無効」の状態である。この状態において、一定時間、Host I/Oと装置内部処理が停止すると、次の状態に遷移する。
(II)は、「バックアップ処理開始」の状態である。この状態において、Host I/Oか、装置内部処理の稼動か、構成変更のいずれかが発生すると、元の状態(I)に戻る。
そうでなければ、バックアップは完了し次の状態に遷移する。
(III)は、「バックアップ処理の完了状態」である。この状態において、Host I/Oか、装置内部処理の稼動か、構成変更のいずれかが発生すると、再び上記の状態(I)に戻る。
図5においてさらに、
・バックアップ処理(II)中に、Host I/O受領か内部処理稼動か構成変更のいずれが発生した場合には、直ちにバックアップ処理を中止し、バックアップデータを無効とする(図4のS24の「無効」)。
・バックアップ処理完了(III)後に、Host I/O受領か、内部処理稼動か構成変更のいずれかが発生した場合は、バックアップデータを無効をする(図4のS24の「無効」)。
次に、さらに具体的な詳細例を、図6〜図10を参照して説明するが、その前に、図6〜図10のベースをなすファームウェア(FW)構成と、このファームウェアを形成するベースとなるハードウェア(HW)構成とについて簡単に触れておく。
図12は、図1のストレージシステム1(ホスト2を除く)のハードウェア構成例を示す図であり、
図13は図12のハードウェアをベースにとして形成されるファームウェア構成例を示す図である。
まず図12を参照すると、本図の上段にはCE(Controller Enclosure)が配置され、下段にはDE(Drive Enclosure)が配置される。CEもDEも共に二重化冗長構成となっている。すなわちCEはCM(Controller Module)0とCM1とからなり、各FC(Fiber Channel)を通してホスト(HOST)2とデータのやりとりをする。
CM0において(CM1も同じ)、全体制御を司るのはCPUであり、このCPUは本図中のメモリと連携する。このメモリには前述したキャッシュ(cache)などが含まれる。また前述したフラグ(F1,F2,F3)が形成されるフラッシュメモリなども含まれる。このメモリをバックアップするためのメバッテリは、BBU(Battery Backup Unit)として示される。
なお、ストレージ装置4には、SAS規格のインタフェースを有するディスクや、SATA規格のインタフェースを有するディスクが含まれる。ただし、システムディスク(SD)11(図1,2)の記載は省略する。本図中の記号の意味は、一部上記と重複するが下記のとおりである。
CM:Controller Module
PSU:Power Supply Unit
BBU:Battery Backup Unit
PLD:Programmable Logic Device
EXP:Expander Module
SAS:Serial Attacked SCSI
SATA:Serial Advanced Technology Attachment
次に図13を参照すると、図12のCM0,CM1,CPU、BBUなど、および図1,2のシステムディスク11が、本図にも示されている。図12におけるCE内の左右に記憶したCM0およびCM1は、図13では本図の上段と下段に、それぞれCM#0およびCM#1として示される。
この図13において、後述する図6〜図10の説明に特に関係するのは、「System 制御」(Sys.)、「構成管理」(Config.)。「Basic」およびCA(Channel Adapter)である。
CA(Frontend)は、ホスト2とのインタフェースをなし、主としてホスト2からのデータやコマンドを受け付ける。この受け付けた情報をBasicにて管理してその情報をディスク(4)に書き込むまでの間上記キャッシュに保持させる。あるいはディスク(RAID)4をこのBasicにて管理する。
Backendでは、実際に情報をディスク4にリード/ライトする制御を行う。このリード/ライト制御およびFrontendによるディスクの管理は、トランスポート・ファームウェア(“Transport Firmware”)を介して行われる。
また、上記の「System 制御」(Sys.)は、主として装置3(図1および2)内部の制御と管理を行い、上記の「構成管理」(Config.)は、ホスト2、装置3,4の構成情報(増設や撤去など)を管理する。
さてここで、上記の図6〜図10を参照して、さらに具体的な詳細例を説明する。
図6は正常に定期バックアップが行われるケースについてのシーケンス図(その1)であり、
図7は同シーケンス図(その2)である。なお、図中左端の010,020,030・・・は、時系列的な段階を表す。
段階010:マスタ(Master)側のCAが、ホスト2よりHost I/Oを受領する。このためにフラグF1をONにする。これに同期してスレーブ(Slave)側でもフラグF1’をONにする。
段階020:システム制御(Sys.)は、以降のI/O受領のチェックおよび内部処理の有無のチェックのために、対応するフラグF1およびF2をクリアする(OFFにする)。スレーブ側も同様である。
段階030:上記段階010と同様、Host I/Oを受領したのでフラグF1をONにする。スレーブ側も同様である。
段階040:上記段階020と同様である。
段階050:段階040でのフラグのクリアの後、前述した一定時間の経過を持って、Sys.は再びI/Oチェックを行う(図4のS22)。この場合、I/O受領がなかったので、フラグF1はOFFのままである。すなわちI/Oは停止状態である。このとき、スレーブ側のSys.を介して、スレーブ側のフラグF1’もOFFであることを確認しておく。
段階060:続いて内部処理の有無についてSys.はBasicに問い合わせて、チェックする(図4のS23)。スレーブ側についても同様にスレーブ側Basicを介してチェックしておく。
段階070:上記段階050と060を経て、定期バックアップの実施が可能であるとSys.が判断する。そこでSys.は、Basicに対しサスペンド(Suspend)通知を行う。スレーブ側でもSys.がBasicに対しその通知を行う。これから定期バックアップを実行するから他の装置内での処理、例えばキャッシュメモリへのアクセスなどを一旦停止するように指示するためである。
段階080:ここにSys.は、キャッシュメモリのバックアップアップ情報をシステムディスク11に書き込むための「バックアップ処理」を実行する。このバックアップ処理の完了により、バックアップフラグF3をONにする。スレーブ側のフラグF3’もONにする。このフラグF3(F3’)のONは、システムディスク11の内容が最新のバックアップ情報に更新されたことを表す。
仮にここで停電が発生した場合、Sys.はまずそのフラグF3をチェックし、F3=ONを確認すると、従前のメモリバックアップに移行することなく即座に、電源オフ状態に入ることができる。
段階090:上記段階070にてSys.により指示された上記のサスペンド(Suspend)を解除してもよいことを、Basicに対しレジューム(Resume)として通知する。その後、再び図4のステップS22に戻って、同様の動作を繰り返す。
図8は定期バックアップの処理中にこの処理を中止するケースについてのシーケンス図(その1)であり、
図9は同シーケンス図(その2)である。このケースは、定期バックアップの処理中に、Host I/Oの受領(場合によっては、装置内部処理の稼動)が発生したような場合である。
段階110:前述した「一定時間」が経過すると、Sys.はI/Oチェックを行う(図4のS22)。この場合、CAにてI/O受領がないので、フラグF1はOFFである。つまりI/Oは停止状態である。
段階120:Sys.は続いて内部処理の有無をチェックするが(図4のS23)、この場合、「無し」であるので、BasicによりフラグF2をOFFにする。つまり内部処理も停止状態である。
段階130:そこでSys.は定期バックアップを実施可能と判断し、Basicに対しサスペンド(Suspend)通知を行う(前述の段階070と同じ)。
段階140:上記のサスペンドを指示した後に、Sys.は「バックアップ処理」を開始し、キャッシュメモリのバックアップ情報をシステムディスク11に書き込み始める。
段階150:ところがその書込み中に、CAによるHost I/Oの受領が発生したとする。CAは即座にフラグF1をONにする。そしてこのフラグF1のONに連動してバックアップフラグF3はONからOFFに切り替わる。
段階160:Sys.はそのフラグF3のON→OFFを受けて、処理中のバックアップの中止指示を出す。このときスレーブ側のフラグF3もOFFにする。ここにバックアップは中止状態となる。
段階170:さらにSys.は上記段階130のサスペンドを解除して、Basicに対してResumeの通知を行い、上記段階150で受領したままのHost I/Oの処理を続行する。
図10は定期バックアップ完了後に、Host I/Oの受領か、内部処理の稼動が発生したケースについてのシーケンス図である。
図7の段階070にて「バックアップ処理」を完了したものの、その直後に上記のケースに遷移してしまい、一旦有効であったバックアップデータが無効になってしまうケースである。すなわち、図4のステップS24における「無効」に相当するケースである。
段階210:Sys.は、バックアップ処理を実施する。
段階220:Sys.は、上記の実施後、Resume通知をBasicに対して行う。
段階230:しかしその直後に、CAがHost I/Oを受領したため、フラグF1をONに切り替える。これに連動してバックアップフラグF3もOFFに切り替える。
したがって、仮にその直後に停電が発生したとすると、Sys.はまずフラグF3をチェックするが、今フラグF3はOFFに切り替わってしまったので、バックアップ情報は無効になってしまっている。この場合は、通常のバッテリによるメモリバックアップを実施することになる。
(E)Power Off/On
e1)バックアップ完了後のPower Off/Onは例えば以下のように制御される。
ステップ1:バックアップ処理完了
ステップ2:装置Power Off(バックアップ実施)
ステップ3:装置Power On(Off時のデータをリストア)
e2)バックアップ処理中のPower Offは例えば以下のようになる。
ステップ1:バックアップ処理開始
ステップ2:Power Offを検出
ステップ3:バックアップ処理を中止(中止を待ち合わせる)
ステップ4:Power Off処理を実施(バックアップ実施)
ステップ5:装置Power On(Off時のデータをリストア)
(F)停電/復電
停電発生時のバックアップデータの状態により、動作が例えば以下のようになる。なお、停電発生時に動作可能な時間は約2.5[ms]であるが、ファームウェア(FW)としては約1[ms]以下に抑えるものとする。
f1)バックアップ完了後の停電/復電は、以下のような動作を実施する。
ステップ1:バックアップ処理完了
ステップ2:停電発生(バッテリの放電を停止または放電状態のまま)
ステップ3:装置Power On(ステップ1でバックアップしたデータをリストア)
f2)バックアップ処理中に停電が起きた場合は、例えば、以下のようになる。
ステップ1:バックアップ処理開始
ステップ2:停電発生(バッテリによりメモリバックアップ)
ステップ3:装置Power On(Resumeとして立ち上げ)
(G)バックアップを実施していない状態で停電が起きた場合は、例えば以下のように通常停電となる。
ステップ1:I/O処理中
ステップ2:停電発生(バッテリによりメモリバックアップアップ)
ステップ3:装置Power On(Resumeとして立ち上げ)
(H)バックアップ処理中およびバックアップ完了後の各種エラー処理について、以下に一例を記載する。
h1)CM(Controller Module)の異常
h11)バックアップ処理中にCMの再起動処理などのCM異常が発生した場合、バックアップ処理を中止し、バックアップデータは無効とする。
h12)バックアップ完了状態にてCMの再起動処理が発生した場合、バックアップデータは無効とする。
h13)バックアップ完了状態にてCMの切り離し処理が発生した場合も、CMの再起動処理時と同様にバックアップデータは無効とする。
h2)システムディスク異常
h21)バックアップ処理中の片ディスク(ミラーの片ディスク)異常は、バックアップ処理はそのまま継続する。
h22)バックアップ処理中の両ディスク(ミラーの両ディスク)異常は、データが保持できないため、バックアップ処理を中止する。バックアップデータは無効とする。
h23)バックアップ完了後にミラーの片ディスクが異常となった場合も、バックアップ状態はそのまま保持する。
h24)バックアップ完了後の両ディスク異常の場合、バックアップデータは無効とする。
(I)インタフェース(一例)
i1)内部インタフェース
・定期バックアップ機能において必要となるライブラリおよびインタフェースは以下のとおりである。
i11)Host I/Oを受領した際は、CAにてHost I/O受領Flag F1が設定される。
i12)Host I/O受領状態の確認はシステム制御が行う。
i13)装置内部の処理が動作する際には、Basicにて内部処理稼動Flag F2が設定される。
i14)装置内部の処理が動作する際には、内部処理稼動システム制御に通知する。
i15)装置内部の処理稼動状態は、システム制御が確認する。
i16)停電発生時には、バックアップ状態をシステム制御がCMカーネルに通知する。
以上詳述したストレージ管理システムについて改めて整理すると、以下のとおりである。
従来のストレージシステムでは停電が発生すると、Host I/O等が流れていない静的な状態であっても、必ず停電処理が実施される。つまり、バッテリが残っている間しかデータのバックアップができないメモリバックアップ状態に遷移させていた。
しかしここに開示するシステムでは、ホスト I/Oが一定時間以上途切れた場合、バックアップが必要な管理情報等をあらかじめディスク11にバックアップしてしまうようにする。そうすると、停電時にディスク11への待避が既に終わっている場合には、改めてバックアップ動作を行うことなく、通常のPower offとすることができる。つまりメモリバックアップ状態には遷移させない。これにより、復電時には通常のPower On処理によるリストア動作を行うことが可能となり、システム立ち上げ時間の短縮が図れ、かつ、大規模なバックアップバッテリを不要とすることができる。
そのための制御としての特徴を要約すると、
・Host I/Oが一定時間途切れた場合に、バックアップが必要な管理情報等を事前にディスク11にバックアップし、
・実際の停電が発生した際には、ディスク11にバックアップした時点後に、装置内の状態に変化が発生しているかどうかを自動確認する。変化が無い場合には、停電処理としてのメモリバックアップ処理を実施することなしに、通常のPower Off処理を行う。(メモリバックアップの場合はバッテリが切れてしまうと、停電時点でのバックアップ情報が失なわれてしまうが、上記のように事前バックアップした状態で停電が発生した場合には、通常のPower OFFに遷移するから、何時間経過してもバックアップ情報を失なうことはない。)
・実際の停電が発生したときは、ディスク11にバックアップした時点後に、装置内の状態に変化が発生しているかどうかを自動確認するが、変化が有る場合は、従来どおりに停電処理を実施する。
このようにファームウェア側で、装置の状態に応じてバックアップの方法を自動的に選択するから、システムの運用者側においては特別の対応を必要としない。
本発明の実施の態様は以下のとおりである。
(付記1)
ホストとストレージ装置との間で、ストレージ制御装置を介して、情報のアクセスを行うと共に、バックアップ処理を必要とするバックアップ情報を、所定の記憶領域に格納するバックアップ工程を含むストレージ管理方法において、
前記バックアップ情報に変更があったか否かを、所定の時間間隔で判定する工程と、
前記バックアップ情報に変更があると判定される都度、当該バックアップ情報について前記バックアップ処理を実行しておく工程と、
停電が発生した際に、前記バックアップ情報に変更がないと判定されているときは、停電処理としてのメモリバックアップ状態を経由することなく即座に、電源オフ状態に入る工程と、
を有するストレージ管理方法。
(付記2)
前記バックアップ情報は、前記ストレージ装置を制御するための管理データおよびユーザデータの少なくとも一方である付記1に記載のストレージ管理方法。
(付記3)
前記の判定工程は、前記ストレージ制御装置が前記ホストからのコマンドを受信したとき、前記ストレージ制御装置内の制御に係る内部処理が実施されたとき、前記ホスト、ストレージ装置および前記ストレージ制御装置のいずれかの構成が変更されたとき、のいずれかの事象が発生したときに、前記バックアップ情報に変更があったものと判定する付記1または2に記載のストレージ管理方法。
(付記4)
前記の判定工程において、前記ストレージ制御装置が前記ホストからのコマンドの受信の有無を示す第1フラグと、前記ストレージ制御装置内の制御に係る内部処理の実施の有無を示す第2フラグと、前記第1および第2フラグに従って前記バックアップ情報を有効/無効として該有効/無効を示す第3フラグと、をそれぞれ設定するフラグ領域を参照し、該第3フラグが前記の有効を示すときに、前記のバックアップ処理を実行する付記3に記載のストレージ管理方法。
(付記5)
前記のバックアップ処理を実行するに際し、前記ストレージ制御装置から、前記ストレージ装置へのアクセスを一時中断すべき通知を発行する工程を有する付記1〜4のいずれか一項に記載のストレージ管理方法。
(付記6)
前記のバックアップ処理を実行中に、前記ストレージ制御装置が前記ホストからのコマンドを受信したとき、前記ストレージ制御装置内の制御に係る内部処理が実施されたとき、前記ホスト、ストレージ装置および前記ストレージ制御装置の構成が変更されたとき、のいずれかの事象が派生したときは、当該バックアップ処理の実行を中止する付記3〜5のいずれか一項に記載のストレージ管理方法。
(付記7)
前記所定の時間間隔は、前記バックアップ情報の変更の有無に拘わらず所定の一定時間間隔である付記1〜6のいずれか一項に記載のストレージ管理方法。
(付記8)
前記所定の時間間隔は、前記バックアップ情報の変更が発生する都度、その発生時点から所定の一定時間経過毎とする付記1〜6のいずれか一項に記載のストレージ管理方法。
(付記9)
復電後の電源オン状態と同時に、前記バックアップ処理が実行された前記バックアップ情報を読み戻してリストア動作に入る付記1〜8のいずれか一項に記載のストレージ管理方法。
(付記10)
ホストとストレージ装置との間の情報のアクセスを制御し、かつ、バックアップ処理を必要とするバックアップ情報を、所定の記憶領域に格納するストレージ制御装置であって、
前記バックアップ情報に変更があったか否かを所定の時間間隔で判定する判定機能部と、
前記判定機能部により前記バックアップ情報に変更があると判定される都度、当該バックアップ情報のバックアップ処理を実行するバックアップ処理機能部と、
を有するストレージ制御装置。
(付記11)
フラグ領域をさらに有し、該フラグ領域は、前記ホストからのコマンドの受信の有無を示す第1フラグと、前記ストレージ制御装置内の制御に係る内部処理の実施の有無を示す第2フラグと、前記第1および第2フラグに従って前記バックアップ情報を有効/無効としたときに該有効/無効を示す第3フラグと、を含む付記10に記載のストレージ制御装置。
(付記12)
前記バックアップ処理機能部は、前記判定機能部が、前記フラグ領域を参照し、前記第3フラグが前記の有効を示すときに、前記バックアップ処理を実行する付記11に記載のストレージ制御装置。
(付記13)
ホストと、
前記ホストによる情報のアクセスが行われるストレージ装置と、
前記ホストと前記ストレージ装置との間に介在する付記10〜12のいずれか一項に記載のストレージ制御装置と、
を備えるストレージシステム。
(付記14)
ホストとストレージ装置との間で、ストレージ制御装置を介して、情報のアクセスを行うと共に、バックアップ処理を必要とするバックアップ情報を、所定の記憶領域に格納するバックアップ手順を含むストレージ管理プログラムであって、
前記バックアップ情報に変更があったか否かを、所定の時間間隔で判定する手順と、
前記バックアップ情報に変更があると判定される都度、当該バックアップ情報について前記バックアップ処理を実行しておく手順と、
停電が発生した際に、前記バックアップ情報に変更がないと判定されているときは、停電処理としてのメモリバックアップ状態を経由することなく即座に、電源オフ状態に入る手順と、をコンピュータに実行させるための命令よりなるストレージ管理プログラム。(8)
本明細書で開示するストレージシステムを図11と同様の形式で表す図である。 本明細書で開示するストレージ制御装置の一実施形態を示す図である。 本明細書で開示するストレージ管理方法の一実施形態を示すフローチャートである。 定期バックアップ処理の工程例を示すフローチャートである。 ストレージシステム内におけるバックアップの状態遷移を表す図である。 正常に定期バックアップが行われるケースについてのシーケンス図(その1)である。 正常に定期バックアップが行われるケースについてのシーケンス図(その2)である。 定期バックアップの処理中にこの処理を中止するケースについてのシーケンス図(その1)である。 定期バックアップの処理中にこの処理を中止するケースについてのシーケンス図(その2)である。 定期バックアップ完了後に、Host I/Oの受領かまたは内部処理の稼動が発生したケースについてのシーケンス図である。 従来の電源オフの操作の一例を表す図である。 ストレージシステム(ホスト2を除く)1のハードウェア構成例を示す図である。 図12のハードウェアをベースにして形成されるファームウェア構成例を示す図である。
符号の説明
1 ストレージシステム
2 ホスト
3 ストレージ制御装置
4 ストレージ装置
11 システムディスク
12 判定機能部
13 バックアップ処理機能部
14 フラグ領域

Claims (8)

  1. ホストとストレージ装置との間で、ストレージ制御装置を介して、情報のアクセスを行うと共に、バックアップ処理を必要とするバックアップ情報を、所定の記憶領域に格納するバックアップ工程を含むストレージ管理方法において、
    前記バックアップ情報に変更があったか否かを判定する工程と、
    前記バックアップ情報に変更があると判定されると、当該バックアップ情報についてバックアップ処理を実行する工程と、
    停電が発生した際に、前記バックアップ情報に変更がないと判定されているときは、メモリに給電するメモリバックアップ状態に移行させることなく電源オフ状態に入る工程と、
    を有するストレージ管理方法。
  2. 前記バックアップ情報は、前記ストレージ装置を制御するための管理データおよびユーザデータの少なくとも一方を含む請求項1に記載のストレージ管理方法。
  3. 前記の判定工程は、前記ストレージ制御装置が前記ホストからのコマンドを受信したとき、前記ストレージ制御装置内の制御に係る内部処理が実施されたとき、前記ホスト、ストレージ装置および前記ストレージ制御装置のいずれかの構成が変更されたとき、のいずれかの事象が発生したときに、前記バックアップ情報に変更があったものと判定する請求項1または2に記載のストレージ管理方法。
  4. ホストとストレージ装置の間の情報のアクセスを制御し、かつ、バックアップ処理を必要とするバックアップ情報を所定の記憶領域に格納するストレージ制御装置であって、
    前記バックアップ情報に変更があったか否かを判定する判定機能部と、
    前記判定機能部により前記バックアップ情報に変更があると判定された場合、当該バックアップ情報のバックアップ処理を実行し、停電が発生した際に、前記バックアップ情報に変更がないと判定されているときは、メモリに給電するメモリバックアップ状態に移行させることなく電源オフ状態に入るバックアップ処理機能部と、
    を有するストレージ制御装置。
  5. フラグ領域をさらに有し、該フラグ領域は、前記ホストからのコマンドの受信の有無を示す第1フラグと、前記ストレージ制御装置内の制御に係る内部処理の実施の有無を示す第2フラグと、前記バックアップ情報の有効/無効を示す第3フラグと、を含む請求項4に記載のストレージ制御装置。
  6. 前記バックアップ処理機能部は、前記判定機能部が、前記フラグ領域を参照し、前記第3フラグが前記の有効を示すときに、前記バックアップ処理を実行する請求項5に記載のストレージ制御装置。
  7. ホストと、
    前記ホストによる情報のアクセスが行われるストレージ装置と、
    前記ホストと前記ストレージ装置との間に介在する請求項4〜6のいずれか一項に記載のストレージ制御装置と、
    を備えるストレージシステム。
  8. ホストとストレージ装置との間で、ストレージ制御装置を介して、情報のアクセスを行うと共に、バックアップ処理を必要とするバックアップ情報を、所定の記憶領域に格納するバックアップ手順を含むストレージ管理プログラムであって、
    前記バックアップ情報に変更があったか否かを判定する手順と、
    前記バックアップ情報に変更があると判定された場合、当該バックアップ情報について前記バックアップ処理を実行する手順と、
    停電が発生した際に、前記バックアップ情報に変更がないと判定されているときは、メモリに給電するメモリバックアップ状態に移行させることなく電源オフ状態に入る手順と、をコンピュータに実行させるための命令よりなるストレージ管理プログラム。
JP2008198900A 2008-07-31 2008-07-31 ストレージ管理方法、ストレージ制御装置及びストレージシステム Expired - Fee Related JP4952679B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008198900A JP4952679B2 (ja) 2008-07-31 2008-07-31 ストレージ管理方法、ストレージ制御装置及びストレージシステム
US12/512,252 US20100030989A1 (en) 2008-07-31 2009-07-30 Storage management method and storage control apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008198900A JP4952679B2 (ja) 2008-07-31 2008-07-31 ストレージ管理方法、ストレージ制御装置及びストレージシステム

Publications (2)

Publication Number Publication Date
JP2010039578A JP2010039578A (ja) 2010-02-18
JP4952679B2 true JP4952679B2 (ja) 2012-06-13

Family

ID=41609507

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008198900A Expired - Fee Related JP4952679B2 (ja) 2008-07-31 2008-07-31 ストレージ管理方法、ストレージ制御装置及びストレージシステム

Country Status (2)

Country Link
US (1) US20100030989A1 (ja)
JP (1) JP4952679B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6248435B2 (ja) * 2013-07-04 2017-12-20 富士通株式会社 ストレージ装置、およびストレージ装置の制御方法
WO2015136655A1 (ja) 2014-03-13 2015-09-17 株式会社日立製作所 ストレージシステム及び制御方法
CN109298832A (zh) * 2017-07-24 2019-02-01 武汉海康存储技术有限公司 一种硬盘数据访问方法及装置

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4611289A (en) * 1983-09-29 1986-09-09 Coppola Anthony F Computer power management system
JPH0488451A (ja) * 1990-07-25 1992-03-23 Fujitsu Ltd 半導体ディスク装置のデータバックアップ方式
US5341493A (en) * 1990-09-21 1994-08-23 Emc Corporation Disk storage system with write preservation during power failure
JP3550256B2 (ja) * 1996-08-19 2004-08-04 富士通株式会社 情報処理装置
US6513097B1 (en) * 1999-03-03 2003-01-28 International Business Machines Corporation Method and system for maintaining information about modified data in cache in a storage system for use during a system failure
JP4557341B2 (ja) * 2000-01-07 2010-10-06 キヤノン株式会社 バックアップ記憶制御装置
US6549977B1 (en) * 2001-05-23 2003-04-15 3Ware, Inc. Use of deferred write completion interrupts to increase the performance of disk operations
EP1293904A1 (en) * 2001-09-14 2003-03-19 Hewlett-Packard Company Method of initiating a backup procedure
JP2003122644A (ja) * 2001-10-11 2003-04-25 Hitachi Ltd 計算機及びその記憶装置
DE10257444A1 (de) * 2002-12-09 2004-07-15 Fujitsu Siemens Computers Gmbh Verfahren zur Sicherung von Daten
US20040190210A1 (en) * 2003-03-26 2004-09-30 Leete Brian A. Memory back up and content preservation
US7315951B2 (en) * 2003-10-27 2008-01-01 Nortel Networks Corporation High speed non-volatile electronic memory configuration
US7260695B2 (en) * 2004-03-05 2007-08-21 International Business Machines Corporation Scanning modified data during power loss
JP2007087118A (ja) * 2005-09-22 2007-04-05 Sanyo Electric Co Ltd 制御装置および携帯端末
US9122643B2 (en) * 2005-12-08 2015-09-01 Nvidia Corporation Event trigger based data backup services
JP5026102B2 (ja) * 2007-02-07 2012-09-12 株式会社日立製作所 ストレージ制御装置及びデータ管理方法
JP4977554B2 (ja) * 2007-08-22 2012-07-18 株式会社日立製作所 キャッシュメモリ上のデータをバックアップする機能を備えたストレージシステム
US8055846B2 (en) * 2008-08-15 2011-11-08 International Business Machines Corporation Data vaulting in emergency shutdown
US20100174676A1 (en) * 2009-01-06 2010-07-08 International Business Machines Corporation Determining modified data in cache for use during a recovery operation

Also Published As

Publication number Publication date
US20100030989A1 (en) 2010-02-04
JP2010039578A (ja) 2010-02-18

Similar Documents

Publication Publication Date Title
US8713296B2 (en) Apparatus for restoring setting information of a board management controller from a backup memory before loading an OS when a system board is replaced
US8700935B2 (en) Power supply unit configured to not control a power supply from reducing the power state to a mirroring unit and storage units during a rebuild operation even when such power reducing state is satisfied
JP3777136B2 (ja) コンピュータ装置、データのデッドコピー方法、プログラム、コンピュータ装置の稼動方法
JP5077726B1 (ja) コンピュータ、その制御方法及びプログラム
US7836268B2 (en) Method, apparatus, and system for controlling data storage
JP2006344119A (ja) ストレージ装置、構成情報管理方法及びプログラム
JP2011028430A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2004303122A (ja) データ転送制御システム
JP4952679B2 (ja) ストレージ管理方法、ストレージ制御装置及びストレージシステム
JP4806084B1 (ja) 情報処理装置
JP2009187450A (ja) ディスクアレイシステム,ディスクアレイ制御方法及びディスクアレイ制御用プログラム
JP2002099390A (ja) ディスク制御装置
JP4741976B2 (ja) ディスクアレイ装置およびデータ管理方法
JP2006260141A (ja) 記憶システムの制御方法、記憶システム、記憶制御装置、記憶システムの制御プログラム、情報処理システム
US8453007B2 (en) Storage device and recovery method
JP2010204885A (ja) ディスクアレイ装置及びその制御方法
JP6160688B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2008059007A (ja) 半導体記憶装置
JP2001337789A (ja) ディスクサブシステム
JP2008250506A (ja) ディスクアレイ装置,ディスクアレイ制御システム及び制御方法,制御用プログラム
JP3427010B2 (ja) コンピュータシステム
JP2009025967A (ja) 二重化ファームウェアのバックアップ方式、方法、及び、オペレーティングシステム
JP2003122644A (ja) 計算機及びその記憶装置
JP2013250609A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP4876662B2 (ja) メモリダンプ機能を備えたコンピュータシステム、プログラム及びメモリダンプの方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100804

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100810

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110620

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20111011

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120110

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20120116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120227

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150323

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees