JP5691227B2 - Storage apparatus and control method thereof - Google Patents
Storage apparatus and control method thereof Download PDFInfo
- Publication number
- JP5691227B2 JP5691227B2 JP2010087802A JP2010087802A JP5691227B2 JP 5691227 B2 JP5691227 B2 JP 5691227B2 JP 2010087802 A JP2010087802 A JP 2010087802A JP 2010087802 A JP2010087802 A JP 2010087802A JP 5691227 B2 JP5691227 B2 JP 5691227B2
- Authority
- JP
- Japan
- Prior art keywords
- magnetic disk
- data
- write data
- nonvolatile memory
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
本発明は、磁気ディスクを停止することにより省電力制御を行うストレージ装置及びその制御方法に関する。 The present invention relates to a storage apparatus that performs power saving control by stopping a magnetic disk and a control method therefor.
従来、磁気ディスクを停止することで省電力制御を行う方法がある。例えば、磁気ディスク停止後にＩ／Ｏ（Output/Input）が発生すると自動的に磁気ディスクの稼動を行い、Ｉ／Ｏを実行した後一定期間Ｉ／Ｏが発生しないことを確認後に、再度磁気ディスクを停止することで、省電力化を図る。 Conventionally, there is a method of performing power saving control by stopping a magnetic disk. For example, when I / O (Output / Input) occurs after the magnetic disk is stopped, the magnetic disk is automatically operated, and after confirming that I / O does not occur for a certain period after executing I / O, the magnetic disk is again operated. To save power.
また、一度停止した磁気ディスクを稼働する場合のオーバーヘッドを回避するために、ミラーリング構成されている２つの磁気ディスクのうち１つの磁気ディスクのみを停止した場合に、磁気ディスクを停止している間の差分書き込みをバッファに一時的に格納することで、磁気ディスクへの書き込みを遅延させ、省電力化を図る方法も知られている。例えば、特許文献１のストレージ装置は、２重化構成における片方の磁気ディスクが停止状態のときのデータ書き込み要求に対して他方の磁気ディスクと不揮発性メモリとに同一データの書き込みを行う。
In order to avoid the overhead when operating a magnetic disk that has been stopped once, when only one of the two magnetic disks configured in mirroring is stopped, the magnetic disk is stopped. A method is also known in which differential writing is temporarily stored in a buffer, thereby delaying writing to the magnetic disk to save power. For example, the storage device of
一方、特許文献２のストレージ装置のように、外部からの所定の論理ディスクへの使用停止指示に基づいて、省電力機能を有するディスクプールに該所定の論理ディスクを再配置し、複数のディスクプールのそれぞれを構成する磁気ディスクの少なくとも１つに対して電力供給を制御する方法も知られている。
On the other hand, as in the storage device of
しかしながら、特許文献１のストレージ装置は、書き込まれるデータの量が不揮発性メモリの容量以上となると、磁気ディスクを立ち上げて不揮発性メモリから磁気ディスクにデータを移行させる必要がある。そのため、書き込まれるデータの量が多い場合、磁気ディスクの停止時間が短くなるため、消費電力削減効果が低下するおそれがある。かかる問題は、不揮発性メモリの容量を増加させることで緩和できるが、その場合、不揮発性メモリの容量の増大に起因して、初期コストが増大する。
However, when the amount of data to be written exceeds the capacity of the nonvolatile memory, the storage device of
一方、特許文献２のストレージ装置は、磁気ディスクを停止するためにはデータの再配置を行い、停止する磁気ディスクへのアクセスを停止する必要があることに加え、磁気ディスクを停止するためには十分は空き容量を確保しておかなければならないという問題がある。
On the other hand, the storage device of
本発明は以上の点を考慮してなされたものであり、信頼性を維持させつつ、データを蓄積させるスペースを増大させ得るストレージ装置及びその制御方法を提案するものである。 The present invention has been made in consideration of the above points, and proposes a storage apparatus capable of increasing the space for storing data while maintaining reliability and a control method therefor.
かかる課題を解決するために本発明は、ホスト計算機から受信したライトデータをマスタ磁気ディスク及び当該マスタディスクとミラーリング構成されたミラー磁気ディスクに書き込むストレージ装置であって、前記ライトデータを一時的に格納する不揮発性メモリと、前記ライトデータの前記不揮発性メモリ内の格納先アドレス及び前記ライトデータの前記ミラー磁気ディスク内の格納先アドレスを対応付けて格納するテーブルと、前記ミラー磁気ディスクを停止して、前記不揮発性メモリに前記ライトデータを書き込む場合、前記テーブルを参照し、前記ライトデータと同一のデータが前記不揮発性メモリに記憶されているか否かを判断する判断部と、前記判断部により前記同一のデータが記憶されていると判断された場合、前記ライトデータを前記不揮発性メモリに書き込まずに、前記記憶されているデータの前記不揮発性メモリ内の格納先アドレスを用いて、前記ライトデータについて前記テーブルを更新する制御部とを備えることを特徴とする。 In order to solve such a problem, the present invention provides a storage device that writes write data received from a host computer to a master magnetic disk and a mirror magnetic disk that is mirrored with the master disk, and temporarily stores the write data. A non-volatile memory, a table for storing the storage address of the write data in the non-volatile memory and the storage address of the write data in the mirror magnetic disk in association with each other, and stopping the mirror magnetic disk When writing the write data to the nonvolatile memory, the table is referred to, and a determination unit that determines whether the same data as the write data is stored in the nonvolatile memory; and If it is determined that the same data is stored, the write A controller that updates the table for the write data using a storage destination address of the stored data in the nonvolatile memory without writing the data to the nonvolatile memory. To do.
また、本発明は、ホスト計算機から受信したライトデータをマスタ磁気ディスク及び当該マスタディスクとミラーリング構成されたミラー磁気ディスクに書き込むストレージ装置の制御方法であって、前記ストレージ装置は、前記ライトデータを一時的に格納する不揮発性メモリと、前記ライトデータの前記不揮発性メモリ内の格納先アドレス及び前記ライトデータの前記ミラー磁気ディスク内の格納先アドレスを対応付けて格納するテーブルとを有し、判断部が、前記ミラー磁気ディスクを停止して、前記不揮発性メモリに前記ライトデータを書き込む場合、前記テーブルを参照し、前記ライトデータと同一のデータが前記不揮発性メモリに記憶されているか否かを判断する第１のステップと、制御部が、前記第１のステップにおいて前記同一のデータが記憶されていると判断した場合、前記ライトデータを前記不揮発性メモリに書き込まずに、前記記憶されているデータの前記不揮発性メモリ内の格納先アドレスを用いて、前記ライトデータについて前記テーブルを更新する制御部とを備えることを特徴とする。 The present invention also relates to a control method for a storage apparatus that writes write data received from a host computer to a master magnetic disk and a mirror magnetic disk that is mirrored with the master disk. The storage apparatus temporarily stores the write data. A non-volatile memory for storing the write data, and a table for storing the write data storage address in the non-volatile memory and the write data storage address in the mirror magnetic disk in association with each other; However, when the mirror magnetic disk is stopped and the write data is written to the nonvolatile memory, the table is referred to and it is determined whether the same data as the write data is stored in the nonvolatile memory. A first step of performing and the control unit in the first step If it is determined that one data is stored, the write data is not written to the non-volatile memory, and the write data is stored using the storage destination address of the stored data in the non-volatile memory. And a controller for updating the table.
従って、不揮発性メモリにライトデータを書き込む場合、不揮発性メモリへのライトデータの格納量を削減し、停止したミラー磁気ディスクへのライトデータの書き込みまでの時間を延長することにより、ミラー磁気ディスクの停止時間を延長させることができる。 Therefore, when writing write data to the non-volatile memory, the amount of write data stored in the non-volatile memory is reduced, and the time until the write data is written to the stopped mirror magnetic disk is extended. The stop time can be extended.
本発明によれば、消費電力削減効果を向上させ得るストレージ装置及びその制御方法を実現することができる。 According to the present invention, it is possible to realize a storage apparatus and its control method that can improve the power consumption reduction effect.
以下、本発明の一実施の形態を、図面を参照して詳細に説明する。なお、これにより本発明が限定されるものではない。 Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings. Note that the present invention is not limited thereby.
図１は、本実施の形態によるストレージシステム１のハードウェア構成の一例を示している。ストレージシステム１は、複数のホスト計算機２がネックワーク３を介してストレージ装置４に接続されることにより構成されている。
FIG. 1 shows an example of a hardware configuration of a
ホスト計算機２は、例えば、ＣＰＵ（Central Processing Unit）やメモリ等の情報処理資源、情報入力装置、情報出力装置を備えたコンピュータ装置である。ホスト計算機２は、例えば、データライト要求をストレージ装置４に送信して、対応するデータをストレージ装置４に書き込む。また、ホスト計算機２は、例えば、データリード要求をストレージ装置４に送信し、対応するデータをストレージ装置４から読み出す。
The
ネットワーク３は、例えば、ＬＡＮ（Local Area Network）、ＳＡＮ（Storage Area Network）、インターネット、専用回線、公衆回線等を場合に応じて適宜用いることができる。
As the
ストレージ装置４は、例えば、コントローラ部５及び記憶部６により構成されている。ストレージ装置４は、コントローラ部５を最低１つ備えている。コントローラ部５は、当該ストレージ装置４全体を制御する。記憶部６は、ホスト計算機２から送信されるデータを格納する複数のディスク装置７及び複数の不揮発性メモリ装置８から構成されている。
For example, the
コントローラ部５は、ホストインタフェース１１、ＣＰＵ１２、メモリ１３及びディスクインタフェース１４により構成されている。ホストインタフェース１１は、ホスト計算機２とネットワーク３を介して接続され、ホスト計算機２から送信される各種要求やデータの送受信を制御する。ホストインタフェース１１は、ネットワーク３の種類に応じた種々のインタフェースを用いることができる。
The
ＣＰＵ１２は、コントローラ部５ごとに１つ備えられる。ＣＰＵ１２は、コントローラ部５全体を制御し、ホストインタフェース１１から送信される要求を解釈して、各構成要素に指示を送信する。また、ＣＰＵ１２は、ディスク装置７に対して、ＲＡＩＤ（Redundant Arrays of Independent Disks）制御を行うことにより、ストレージ装置４の信頼性、可用性及び性能を向上させる。この場合、ＣＰＵ１２は、ディスク装置７をＲＡＩＤ方式で運用する。ＣＰＵ１２は、１又は複数のディスク装置７により提供される物理的な記憶領域（ＲＡＩＤグループ）上に、１又は複数の論理的なボリューム（以下、これを論理ボリュームと呼ぶ）を設定する。そして、データは、この論理ボリューム内に所定の大きさのブロック単位で記憶される。
One
メモリ１３は、ホスト計算機２から受信したデータを一時的に格納する。メモリ１３は、コントローラ部５内部で使用する各種プログラムや、各種テーブルを格納する。ディスクインタフェース１４は、記憶部６のディスク装置７及び不揮発性メモリ装置８と接続され、ホスト計算機２から送信されるデータの送受信を制御する。ディスクインタフェース１４は、ファイバチャネル、ＳＡＳ（Serial Attached SCSI）、ＳＡＴＡ（Serial ATA）等の種類に応じた種々のインタフェースを用いることができる。
The
図２は、本実施形態のストレージシステム１の機能的構成の一例を示している。ホスト計算機２は、論理ボリューム２１０に対するＩ／Ｏ（Output/Input）要求機能を有する。
FIG. 2 shows an example of the functional configuration of the
ストレージ装置４は、例えば、ホスト計算機２からアクセス可能な論理ボリューム２１０、ディスクグループ２２０、複数の磁気ディスク２２１、２２２、不揮発性メモリ２３０、Ｉ／Ｏ制御手段３００、重複排除制御手段３１０（判断部、制御部）、差分掃き出し手段３２０、磁気ディスク管理手段３３０、不揮発性メモリ閾値監視手段３４０、重複排除管理テーブル４００及び磁気ディスク状態管理テーブル４１０により構成されている。
The
なお、Ｉ／Ｏ制御手段３００、重複排除制御手段３１０、差分掃き出し手段３２０、磁気ディスク管理手段３３０、不揮発性メモリ閾値監視手段３４０は、主にＣＰＵ１２がメモリ１３に格納されるプログラムを実行し、各ハードウェアを制御することによって実現することができる。
The I /
論理ボリューム２１０は、上位装置であるホスト計算機２が認識する論理的な記憶装置であり、物理的な記憶装置であるディスクグループ２２０の構成要素である磁気ディスク２２１、２２２（ディスク装置７）上に構成される。ディスクグループ２２０は、磁気ディスク（マスタディスク）２２１と磁気ディスク（ミラーディスク）２２２によりミラーリング構成されたＲＡＩＤグループである。磁気ディスク２２１及び２２２（ディスク装置７）は、ホスト計算機２から受信したデータを格納する。不揮発性メモリ２３０（不揮発性メモリ装置８）は、ホスト計算機２から受信したデータのうち、重複排除後のデータ及び重複排除管理テーブル４００を格納する。
The
Ｉ／Ｏ制御手段３００は、磁気ディスク状態管理テーブル４１０を参照して、論理ボリューム２１０に対するアクセスを、磁気ディスク２２１及び磁気ディスク２２２、又は磁気ディスク２２１及び不揮発性メモリ２３０に振り分ける機能を有する。また、Ｉ／Ｏ制御手段３００は、ホスト計算機２から受信したデータを磁気ディスク２２１及び又は２２２に書き込むと共に、磁気ディスク２２１及び又は２２２からデータを読み出してホスト計算機２に送信する。
The I / O control means 300 refers to the magnetic disk state management table 410 and has a function of distributing access to the
重複排除制御手段３１０は、Ｉ／Ｏ制御手段３００から受信したデータに対して重複排除技術を適用し、不揮発性メモリ２３０に重複排除後のデータを書き込むと共に、重複排除管理テーブル４００にメタデータ（ハッシュ値、データ格納アドレス、磁気ディスクＮｏ、磁気ディスク格納アドレス）を書き込む機能を有する。
The
差分掃き出し手段３２０は、磁気ディスク管理手段３３０からの差分掃き出し指示に従い、重複排除管理テーブル４００に基づいて、不揮発性メモリ２３０からデータを復元し、復元した磁気ディスク２２２に書き込むべきデータ（差分データ）を、対応する磁気ディスク２２２に書き込む機能を有する。また、差分掃き出し手段３２０は、差分データ掃き出し後に、磁気ディスク２２２の停止指示を行う機能を有する。
The
磁気ディスク管理手段３３０は、差分掃き出し手段３２０からの磁気ディスク２２２の停止指示又は不揮発性メモリ閾値監視手段３４０からの閾値超過通知を受信することで、磁気ディスク状態管理テーブル４１０の更新や参照を行う機能を有する。また、磁気ディスク管理手段３３０は、Ｉ／Ｏパス切り替え指示により、Ｉ／Ｏ制御手段３００の動作を制御する機能を有する。
The magnetic
不揮発性メモリ閾値監視手段３４０は、不揮発性メモリ２３０の書き込み量の閾値監視を行い、閾値を超えた場合に磁気ディスク管理手段３３０に閾値超過通知を行う機能を有する。
The non-volatile memory threshold
図３は、重複排除管理テーブル４００の一例を示している。重複排除管理テーブル４００は、重複排除制御手段３１０によって重複排除された重複排除後のデータのアドレスを格納するテーブルである。
FIG. 3 shows an example of the deduplication management table 400. The deduplication management table 400 is a table for storing addresses of data after deduplication that has been deduplicated by the
重複排除管理テーブル４００は、重複排除に用いるハッシュ値、重複排除後のデータを格納するデータ格納アドレス、重複排除後のデータの格納先の磁気ディスクＮｏ及び磁気ディスク格納アドレスを対応付けて格納する。例えば、重複排除管理テーブル４００の第１行目は、書き込まれたデータのハッシュ値が「Ａ」であり、重複排除後のデータの格納先が「１２００」であり、本来書き込むべき磁気ディスクＮｏが「２」であり、磁気ディスク２２２の格納アドレスが「２０００」であることを示している。
The deduplication management table 400 stores a hash value used for deduplication, a data storage address for storing data after deduplication, a magnetic disk No. for storing data after deduplication, and a magnetic disk storage address in association with each other. For example, in the first row of the deduplication management table 400, the hash value of the written data is “A”, the storage destination of the data after deduplication is “1200”, and the magnetic disk No. to be originally written is “2”, indicating that the storage address of the
図４は、磁気ディスク状態管理テーブル４１０の一例を示している。磁気ディスク状態管理テーブル４１０は、磁気ディスク２２１、２２２の状態を格納するテーブルである。
FIG. 4 shows an example of the magnetic disk state management table 410. The magnetic disk state management table 410 is a table that stores the states of the
磁気ディスク状態管理テーブル４１０は、磁気ディスク２２１、２２２の構成情報である磁気ディスクＮｏ、ミラーディスクＮｏ、磁気ディスク２２１、２２２の状態を示すディスク状態、電源状態及びＩ／Ｏパス状態を対応付けて格納する。例えば、磁気ディスク管理テーブル４１０の第１行目は、磁気ディスクＮｏが「１」であり、ディスク状態が「正常」であり、電源状態が「稼働中」であり、Ｉ／Ｏパス状態が「磁気ディスク」であり、ディスクグループ２２０を構成しているミラーディスクＮｏが「２」であることを示している。
The magnetic disk state management table 410 associates the magnetic disk No, the mirror disk No, the disk state indicating the state of the
次に、本実施形態のストレージシステム１の動作について詳細に説明する。例えば、ホスト計算機２が論理ボリューム２１０に対してＩ／Ｏを発行する場合を想定する。
Next, the operation of the
本実施形態の動作は、ホスト計算機２が論理ボリューム２１０に対してデータライト要求を発行し、ディスクグループ２２０の磁気ディスク２２１及びミラーリング構成にある磁気ディスク２２２にデータを書き込む動作と、磁気ディスク２２１及び不揮発性メモリ２３０とにデータを書き込む動作とに分けられる。
In the operation of this embodiment, the
また、磁気ディスク２２１と不揮発性メモリ２３０とに書き込む場合において、不揮発性メモリ２３０への書き込み量が閾値を超えた場合に磁気ディスク２２２に差分データを書き込む。さらに、磁気ディスク２２１及び不揮発性メモリ２３０に書き込む場合においては、磁気ディスク２２１のミラーディスクである磁気ディスク２２２を停止する。
In addition, when writing to the
まず、ホスト計算機２が論理ボリューム２１０に対してデータライト要求を発行し、ディスクグループ２２０の磁気ディスク２２１及びミラーリング構成にある磁気ディスク２２２に書き込む動作、又は磁気ディスク２２１及び不揮発性メモリ２３０に書き込む動作を説明する。
First, the
図５は、本実施形態のストレージシステム１のデータライト処理を示すフローチャートである。
FIG. 5 is a flowchart showing data write processing of the
Ｉ／Ｏ制御手段３００は、ホスト計算機２により発行された論理ボリューム２１０に対するデータライト要求を受信すると、データライト要求中のＩ／Ｏパス切り替え指示の有無を磁気ディスクＮｏごとに判断する（ステップＳ１１）。
When receiving the data write request for the
そして、Ｉ／Ｏ制御手段３００は、Ｉ／Ｏパス切り替え指示がある場合（ステップＳ１１：ＹＥＳ）、Ｉ／Ｏパス切り替え指示の切り替え内容が不揮発メモリ２３０への切り替え指示であるか否かを判断する（ステップＳ１２）。
When there is an I / O path switching instruction (step S11: YES), the I /
そして、Ｉ／Ｏ制御手段３００は、切り替え内容が不揮発メモリ２３０への切り替え指示でない、すなわち、切り替え内容が磁気ディスク２２２への切り替え指示である場合（ステップＳ１２：ＮＯ）、該当する不揮発性メモリ２３０から該当する磁気ディスク２２２へのＩ／Ｏパス変更処理を行う（ステップＳ１３）。
When the switching content is not a switching instruction to the
これに対して、Ｉ／Ｏ制御手段３００は、切り替え内容が不揮発メモリ２３０への切り替え指示である場合（ステップＳ１２：ＹＥＳ）、該当する磁気ディスク２２２から該当する不揮発性メモリ２３０へのＩ／Ｏパス変更処理を行う（ステップＳ１４）。
On the other hand, when the switching content is an instruction to switch to the nonvolatile memory 230 (step S12: YES), the I /
続いて、Ｉ／Ｏ制御手段３００は、磁気ディスク状態管理テーブル４１０のＩ／Ｏパス状態に従って、磁気ディスク２２１及び２２２に書き込む場合、該当する磁気ディスク２２１及び２２２にデータライト要求に対応するデータを書き込む（ステップＳ１５）。また、Ｉ／Ｏ制御手段３００は、磁気ディスク状態管理テーブル４１０のＩ／Ｏパス状態に従って、磁気ディスク２２１及び不揮発性メモリ２３０に書き込む場合、該当する磁気ディスク２２１にデータライト要求に対応するデータを書き込むと共に、当該データを重複排除制御手段３１０に送信する（ステップＳ１５）。そして、Ｉ／Ｏ制御手段３００は、その後、データライト処理を終了する。
Subsequently, when writing to the
図６は、本実施形態のストレージシステム１の重複データ排除処理を示すフローチャートである。
FIG. 6 is a flowchart showing the duplicate data elimination process of the
重複排除制御手段３１０は、Ｉ／Ｏ制御手段３００からデータライト要求に対応するデータを受信すると、受信したデータのハッシュ値の演算を行う（ステップＳ２１）。
When receiving the data corresponding to the data write request from the I /
続いて、重複排除制御手段３１０は、重複排除管理テーブル４００を参照し（ステップＳ２２）、同一のハッシュ値が登録されているか否かをチェックする（ステップＳ２３）。そして、重複排除制御手段３１０は、同一のハッシュ値が登録されていない場合（ステップＳ２３：ＮＯ）、重複排除管理テーブル４００に、受信したデータのメタデータ（ハッシュ値、データ格納アドレス、磁気ディスクＮｏ、磁気ディスク格納アドレス）を書き込むと共に、該当する不揮発性メモリ２３０に、受信したデータを書き込み（ステップＳ２４）、その後、重複データ排除処理を終了する。
Subsequently, the
これに対して、重複排除制御手段３１０は、同一のハッシュ値が登録されている場合（ステップＳ２３：ＹＥＳ）、受信したデータを該当する不揮発性メモリ２３０に書き込まずに、同一のハッシュ値のデータのデータ格納アドレスを用いて、受信したデータについて重複排除管理テーブル４００を更新する。
On the other hand, when the same hash value is registered (step S23: YES), the
すなわち、重複排除制御手段３１０は、該当する不揮発性メモリ２３０に、受信したデータを書き込まずに、重複排除管理テーブル４００に、メタデータ（受信したデータのハッシュ値、同一のハッシュ値のデータのデータ格納アドレス、受信したデータの磁気ディスクＮｏ、受信したデータの磁気ディスク格納アドレス）のみを書き込み（ステップＳ２５）、その後、重複データ排除処理を終了する。
That is, the
次に、不揮発性メモリ２３０への書き込みが閾値を超えた場合に磁気ディスク２２２に差分データを書き込む動作を説明する。
Next, an operation of writing difference data to the
図７は、本実施形態のストレージシステム１の閾値監視処理を示すフローチャートである。
FIG. 7 is a flowchart showing threshold value monitoring processing of the
不揮発性メモリ閾値監視手段３４０は、例えば、所定の監視間隔ごとに不揮発性メモリ２３０を参照し（ステップＳ３１）、不揮発性メモリ２３０の書き込み量が予め設定されている閾値を超えたか否かをチェックする（ステップＳ３２）。
For example, the non-volatile memory threshold
そして、不揮発性メモリ閾値監視手段３４０は、不揮発性メモリ２３０の書き込み量が予め設定されている閾値を超えた場合（ステップＳ３２：ＹＥＳ）、対応する磁気ディスク２２２の閾値超過通知を磁気ディスク管理手段３３０に行い（ステップＳ３３）、その後、閾値監視処理を終了する。
Then, the nonvolatile memory threshold value monitoring means 340, when the write amount of the
図８は、本実施形態のストレージシステム１の磁気ディスク差分掃き出し準備処理を示すフローチャートである。
FIG. 8 is a flowchart showing magnetic disk differential sweep preparation processing of the
磁気ディスク管理手段３３０は、磁気ディスク２２２の閾値超過通知を受信すると、磁気ディスク状態管理テーブル４１０を参照し（ステップＳ４１）、対応する磁気ディスク２２２の電源状態を確認する。
When the magnetic
続いて、磁気ディスク管理手段３３０は、対応する不揮発性メモリ２３０の差分掃き出し指示を差分掃き出し手段３２０に通知する（ステップＳ４２）。続いて、磁気ディスク管理手段３３０は、対応する磁気ディスク２２２の電源状態が停止中であるか否かをチェックする（ステップＳ４３）。
Subsequently, the magnetic
そして、磁気ディスク管理手段３３０は、対応する磁気ディスク２２２の電源状態が停止中でない場合（ステップＳ４３：ＮＯ）、その後、差分掃き出し準備処理を終了する。
Then, when the power supply state of the corresponding
これに対して、磁気ディスク管理手段３３０は、対応する磁気ディスク２２２の電源状態が停止中である場合（ステップＳ４３：ＹＥＳ）、対応する磁気ディスク２２２の電源状態が稼働となるのを待ち受けると共に、対応する不揮発性メモリ２３０から対応する磁気ディスク２２２へのＩ／Ｏパス切り替え指示をＩ／Ｏ制御手段３００に行う（ステップＳ４４）。
On the other hand, when the power state of the corresponding
続いて、磁気ディスク管理手段３３０は、磁気ディスク状態管理テーブル４１０の電源状態とＩ／Ｏパス状態を更新し（ステップＳ４５）、その後、差分掃き出し準備処理を終了する。
Subsequently, the magnetic
図９は、本実施形態のストレージシステム１の磁気ディスク差分掃き出し処理を示すフローチャートである。
FIG. 9 is a flowchart showing the magnetic disk differential sweep process of the
差分掃き出し手段３２０は、差分掃き出し指示を受信すると、対応する磁気ディスク２２２が稼働中になるのを待ち受ける（ステップＳ５１）。そして、差分掃き出し手段３２０は、対応する磁気ディスク２２２が稼働中になると（ステップＳ５１：ＹＥＳ）、重複排除管理テーブル４００を参照し（ステップＳ５２）、対応する磁気ディスク２２２のメタデータを取得する。
When receiving the differential sweep instruction, the
続いて、差分掃き出し手段３２０は、対応する不揮発性メモリ２３０に書き込まれたデータを復元した差分データを、対応する磁気ディスク２２２に書き込む差分掃き出し処理を行う（ステップＳ５３）。続いて、差分掃き出し手段３２０は、対応する不揮発性メモリ２３０に書き込まれたデータを消去し（ステップＳ５４）、対応する磁気ディスク２２２の停止指示を磁気ディスク管理手段３３０に行い（ステップＳ５５）、その後、差分掃き出し処理を終了する。
Subsequently, the
図１０は、本実施形態のストレージシステム１の磁気ディスク停止処理を示すフローチャートである。
FIG. 10 is a flowchart showing the magnetic disk stop process of the
磁気ディスク管理手段３３０は、磁気ディスク２２２の停止指示を受信すると、磁気ディスク状態管理テーブル４１０を参照し（ステップＳ６１）、対応する磁気ディスク２２２の電源状態を確認する。
When the magnetic
続いて、磁気ディスク管理手段３３０は、対応する磁気ディスク２２２の電源状態が稼働中であるか否かをチェックする（ステップＳ６２）。そして、磁気ディスク管理手段３３０は、対応する磁気ディスク２２２の電源状態が稼働中でない場合（ステップＳ６２：ＮＯ）、その後、磁気ディスク停止処理を終了する。
Subsequently, the magnetic disk management means 330 checks whether or not the power state of the corresponding
これに対して、磁気ディスク管理手段３３０は、対応する磁気ディスク２２２の電源状態が稼働中である場合（ステップＳ６２：ＹＥＳ）、対応する磁気ディスク２２２のミラーリング対象ディスクが正常であるか否かをチェックする（ステップＳ６３）。
On the other hand, when the power state of the corresponding
磁気ディスク管理手段３３０は、対応する磁気ディスク２２２のミラーリング対象ディスクが正常でない場合（ステップＳ６３：ＮＯ）、その後、磁気ディスク停止処理を終了する。
If the mirroring target disk of the corresponding
これに対して、磁気ディスク管理手段３３０は、対応する磁気ディスク２２２のミラーリング対象ディスクが正常である場合（ステップＳ６３：ＹＥＳ）、対応する磁気ディスク２２２から対応する不揮発性メモリ２３０へのＩ／Ｏパス切り替え指示をＩ／Ｏ制御手段３００に行うと共に、対応する磁気ディスク２２２の電源状態が停止となるのを待ち受ける（ステップＳ６４）。
In contrast, when the mirroring target disk of the corresponding
続いて、磁気ディスク管理手段３３０は、磁気ディスク状態管理テーブル４１０の電源状態とＩ／Ｏパス状態を更新し（ステップＳ６５）、その後、磁気ディスク停止処理を終了する。
Subsequently, the magnetic
このようにして、ストレージシステム１は、磁気ディスク２２１とミラーリング構成された磁気ディスク２２２を停止すると、Ｉ／Ｏ制御手段３００が、ホスト計算機２から受信したデータを磁気ディスク２２１に書き込むと共に、重複排除制御手段３１０に送信する。
In this way, when the
そして、重複排除手段３１０は、Ｉ／Ｏ制御手段３００から受信したデータに対して、重複排除制御手段３１０を用いて、不揮発性メモリ２３０に同一のデータがあれば重複排除管理テーブル４００に、当該同一のデータのアドレス及び格納先の磁気ディスク２２２のアドレスをメタデータとして書き込み、受信したデータの書き込みを行わない。一方、重複排除手段３１０は、不揮発性メモリ２３０に同一のデータがなければ重複排除管理テーブル４００に、受信したデータのアドレス及び格納先の磁気ディスク２２２のアドレスをメタデータとして書き込みを行うと共に、不揮発性メモリ２３０に、受信したデータの書き込みを行う。
The
また、ストレージシステム１は、不揮発性メモリ閾値監視手段３４０によって不揮発性メモリ２３０の書き込み量が閾値を超えたことが検出された場合、磁気ディスク管理手段３３０が、Ｉ／Ｏ制御手段３００に対してＩ／Ｏパス切り替え指示を行うと共に、差分掃き出し手段３２０に対して差分掃き出し指示を行う。差分掃き出し手段３２０は、重複排除管理テーブル４００を参照し、不揮発性メモリ２３０に書き込まれたデータを復元した差分データの、対応する磁気ディスク２２２への書き込みを行う。
In the
従って、不揮発性メモリ２３０にデータを書き込む場合、重複排除制御手段３１０を用いて不揮発性メモリ２３０へのデータの書き込み量を削減することで、停止した磁気ディスク２２２への差分データの書き込みまでの時間を延長することにより、磁気ディスク２２２の停止時間を延長させ、磁気ディスク２２２に対する消費電力削減効果を向上することができる。
Accordingly, when data is written to the
また、不揮発性メモリ２３０に蓄積される書き込み量を減少させることができるため、搭載する不揮発性メモリ２３０の削減が可能となり、不揮発性メモリ２３０の搭載のためのコストを削減することができる。さらに、不揮発性メモリ２３０への書き込み量の削減により、不揮発性メモリ２３０の長寿命化及び信頼性の向上が期待できる。
In addition, since the amount of writing stored in the
さらに、不揮発性メモリ２３０に、磁気ディスク２２１に書き込んだデータと冗長性を有するデータの書き込みを行うことで、磁気ディスク２２２を停止した場合にも信頼性と冗長性を維持したまま消費電力の削減を行うことができる。
Further, by writing data written to the
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。 A part or all of the above-described embodiment can be described as in the following supplementary notes, but is not limited thereto.
（付記１）ホスト計算機から受信したライトデータをマスタ磁気ディスク及び当該マスタディスクとミラーリング構成されたミラー磁気ディスクに書き込むストレージ装置であって、前記ライトデータを一時的に格納する不揮発性メモリと、前記ライトデータの前記不揮発性メモリ内の格納先アドレス及び前記ライトデータの前記ミラー磁気ディスク内の格納先アドレスを対応付けて格納するテーブルと、前記ミラー磁気ディスクを停止して、前記不揮発性メモリに前記ライトデータを書き込む場合、前記テーブルを参照し、前記ライトデータと同一のデータが前記不揮発性メモリに記憶されているか否かを判断する判断部と、前記判断部により前記同一のデータが記憶されていると判断された場合、前記ライトデータを前記不揮発性メモリに書き込まずに、前記記憶されているデータの前記不揮発性メモリ内の格納先アドレスを用いて、前記ライトデータについて前記テーブルを更新する制御部とを備えることを特徴とするストレージ装置である。 (Supplementary note 1) A storage device that writes write data received from a host computer to a master magnetic disk and a mirror magnetic disk that is mirrored with the master disk, the nonvolatile memory temporarily storing the write data, A table that stores the storage address of the write data in the nonvolatile memory and the storage address of the write data in the mirror magnetic disk in association with each other, stops the mirror magnetic disk, and stores the write data in the nonvolatile memory When writing write data, referring to the table, the determination unit determines whether or not the same data as the write data is stored in the nonvolatile memory, and the determination unit stores the same data. If it is determined that the write data is stored in the nonvolatile memory Without writing, using a storage address of the nonvolatile memory of the data being the storage, a storage device, characterized in that it comprises a control unit for updating said table for said write data.
（付記２）前記制御部は、前記判断部により前記同一のデータが記憶されていないと判断された場合、前記ライトデータを前記不揮発性メモリに書き込み、書き込んだ前記ライトデータの前記不揮発性メモリ内の格納先アドレスを用いて、前記ライトデータについて前記テーブルを更新することを特徴とする付記１に記載のストレージ装置である。
(Additional remark 2) When the said determination part determines that the said same data is not memorize | stored by the said determination part, the said write data will be written in the said non-volatile memory, and the written-in write data in the said non-volatile memory The storage apparatus according to
（付記３）前記ライトデータのハッシュ値を算出するハッシュ値算出部を備え、前記テーブルは、前記ハッシュ値を、前記不揮発性メモリ内の格納先アドレス及び前記ミラー磁気ディスク内の格納先アドレスと対応付けて格納し、前記判断部は、前記ライトデータのハッシュ値と同一のハッシュ値が前記テーブルに存在するか否かにより、前記ライトデータと同一のデータが前記不揮発性メモリに記憶されているか否かを判断し、前記制御部は、前記判断部により前記ライトデータのハッシュ値と同一のハッシュ値が前記テーブルに存在すると判断された場合、前記ライトデータを前記不揮発性メモリに書き込まずに、前記格納されているハッシュ値と対応付けられている前記不揮発性メモリ内の格納先アドレスを用いて、前記ライトデータについて前記テーブルを更新する付記１に記載のストレージ装置である。
(Supplementary Note 3) A hash value calculation unit that calculates a hash value of the write data is provided, and the table associates the hash value with a storage destination address in the nonvolatile memory and a storage destination address in the mirror magnetic disk. Whether or not the same data as the write data is stored in the non-volatile memory according to whether or not the same hash value as the hash value of the write data exists in the table. When the determination unit determines that the same hash value as the hash value of the write data exists in the table, the control unit does not write the write data to the nonvolatile memory, and Using the storage destination address in the non-volatile memory associated with the stored hash value, the write data Is the storage device according to
（付記４）前記不揮発性メモリの前記ライトデータの格納量が予め設定されている閾値を超えたか否かを判断する閾値超過判断部と、前記閾値判断部により前記閾値を超えたと判断された場合、前記テーブルを参照して前記ライトデータを復元し、復元した前記ライトデータを、対応する前記ミラー磁気ディスクに書き込む復元データ書き込み部とを備えること特徴とする付記１に記載のストレージ装置である。
(Additional remark 4) When it is judged that the threshold value excess judgment part which judges whether the storage amount of the said write data of the said non-volatile memory exceeded the preset threshold value, and the said threshold value was exceeded by the said threshold value judgment part The storage apparatus according to
（付記５）ホスト計算機から受信したライトデータをマスタ磁気ディスク及び当該マスタディスクとミラーリング構成されたミラー磁気ディスクに書き込むストレージ装置の制御方法であって、前記ストレージ装置は、前記ライトデータを一時的に格納する不揮発性メモリと、前記ライトデータの前記不揮発性メモリ内の格納先アドレス及び前記ライトデータの前記ミラー磁気ディスク内の格納先アドレスを対応付けて格納するテーブルとを有し、判断部が、前記ミラー磁気ディスクを停止して、前記不揮発性メモリに前記ライトデータを書き込む場合、前記テーブルを参照し、前記ライトデータと同一のデータが前記不揮発性メモリに記憶されているか否かを判断する第１のステップと、制御部が、前記第１のステップにおいて前記同一のデータが記憶されていると判断した場合、前記ライトデータを前記不揮発性メモリに書き込まずに、前記記憶されているデータの前記不揮発性メモリ内の格納先アドレスを用いて、前記ライトデータについて前記テーブルを更新する制御部とを備えることを特徴とするストレージ装置の制御方法である。 (Supplementary note 5) A storage device control method for writing write data received from a host computer to a master magnetic disk and a mirror magnetic disk mirrored with the master disk, wherein the storage device temporarily stores the write data A non-volatile memory for storing, and a table for storing the storage address of the write data in the non-volatile memory and the storage address of the write data in the mirror magnetic disk in association with each other; When the mirror magnetic disk is stopped and the write data is written to the nonvolatile memory, the table is referred to determine whether the same data as the write data is stored in the nonvolatile memory. 1 and the control unit in the first step If the data is stored, the write data is not written to the nonvolatile memory, but the write data is stored using the storage address of the stored data in the nonvolatile memory. A storage apparatus control method comprising: a control unit that updates a table.
本発明は、磁気ディスクを停止することにより省電力制御を行うストレージ装置に適用することができる。 The present invention can be applied to a storage apparatus that performs power saving control by stopping a magnetic disk.
１……ストレージシステム、２……ホスト計算機、３……ネットワーク、４……ストレージ装置、５……コントローラ部、６……記憶部、７……ディスク装置、８……不揮発性メモリ装置、１１……ホストインタフェース、１２……ＣＰＵ、１３……メモリ、１４……ディスクインタフェース、２１０……論理ボリューム、２２１、２２２……磁気ディスク、２３０……不揮発性メモリ、３００……Ｉ／Ｏ制御手段、３１０……重複排除制御手段、３２０……差分掃き出し手段、３３０……磁気ディスク管理手段、３４０……不揮発性メモリ閾値監視手段、４００……重複排除管理テーブル、４１０……磁気ディスク状態管理テーブル
DESCRIPTION OF
Claims (5)
前記ライトデータを一時的に格納する不揮発性メモリと、
前記ライトデータの前記不揮発性メモリ内の格納先アドレス及び前記ライトデータの前記ミラー磁気ディスク内の格納先アドレスを対応付けて格納するテーブルと、
前記ミラー磁気ディスクを停止して、前記不揮発性メモリに前記ライトデータを書き込む場合、前記テーブルを参照し、前記ライトデータの重複データが前記不揮発性メモリに記憶されているか否かを判断する判断部と、
前記判断部により前記重複データが記憶されていると判断された場合、前記ライトデータを前記不揮発性メモリに書き込まずに、前記記憶されている重複データの前記不揮発性メモリ内の格納先アドレスを含むメタデータを前記テーブルに書き込む制御部と
を備えることを特徴とするストレージ装置。 A storage device that writes write data received from a host computer to a master magnetic disk and a mirror magnetic disk that is mirrored with the master disk,
A nonvolatile memory for temporarily storing the write data;
A table for storing the storage destination address of the write data in the nonvolatile memory and the storage destination address of the write data in the mirror magnetic disk in association with each other;
When the mirror magnetic disk is stopped and the write data is written to the nonvolatile memory, the determination unit refers to the table and determines whether duplicate data of the write data is stored in the nonvolatile memory When,
If the determination unit determines that the duplicate data is stored, the write data is not written to the nonvolatile memory, but includes the storage destination address of the stored duplicate data in the nonvolatile memory And a control unit for writing metadata into the table .
前記判断部により前記重複データが記憶されていないと判断された場合、前記ライトデータを前記不揮発性メモリに書き込み、書き込んだ前記ライトデータの前記不揮発性メモリ内の格納先アドレスを含むメタデータを前記テーブルに書き込む、
ことを特徴とする請求項１に記載のストレージ装置。 The controller is
When the determination unit determines that the duplicate data is not stored, the write data is written to the nonvolatile memory, and the metadata including the storage destination address of the written data in the nonvolatile memory is Write to the table,
The storage apparatus according to claim 1.
前記テーブルは、
前記ハッシュ値を、前記不揮発性メモリ内の格納先アドレス及び前記ミラー磁気ディスク内の格納先アドレスと対応付けて格納し、
前記判断部は、
前記ライトデータのハッシュ値と同一のハッシュ値が前記テーブルに存在するか否かにより、前記ライトデータと同一のデータが前記不揮発性メモリに記憶されているか否かを判断し、
前記制御部は、
前記判断部により前記ライトデータのハッシュ値と同一のハッシュ値が前記テーブルに存在すると判断された場合、前記ライトデータを前記不揮発性メモリに書き込まずに、前記格納されているハッシュ値と対応付けられている前記不揮発性メモリ内の格納先アドレスを含むメタデータを前記テーブルに書き込む、
ことを特徴とする請求項１に記載のストレージ装置。 A hash value calculation unit for calculating a hash value of the write data;
The table is
The hash value is stored in association with the storage destination address in the nonvolatile memory and the storage destination address in the mirror magnetic disk,
The determination unit
It is determined whether the same data as the write data is stored in the non-volatile memory according to whether the same hash value as the hash value of the write data exists in the table,
The controller is
When the determination unit determines that the same hash value as the hash value of the write data exists in the table, the write data is associated with the stored hash value without writing the write data to the nonvolatile memory. Writing metadata including a storage destination address in the non-volatile memory to the table;
The storage apparatus according to claim 1.
前記閾値判断部により前記閾値を超えたと判断された場合、前記テーブルを参照して前記ライトデータの差分データを取得し、取得した前記差分データを、対応する前記ミラー磁気ディスクに書き込むデータ書き込み部と、
を備えること特徴とする請求項１に記載のストレージ装置。 A threshold excess determination unit for determining whether or not the storage amount of the write data in the nonvolatile memory exceeds a preset threshold;
A data writing unit for acquiring the difference data of the write data by referring to the table and writing the acquired difference data to the corresponding mirror magnetic disk when the threshold determination unit determines that the threshold is exceeded; ,
The storage apparatus according to claim 1, further comprising:
前記ストレージ装置は、
前記ライトデータを一時的に格納する不揮発性メモリと、前記ライトデータの前記不揮発性メモリ内の格納先アドレス及び前記ライトデータの前記ミラー磁気ディスク内の格納先アドレスを対応付けて格納するテーブルと
を有し、
判断部が、前記ミラー磁気ディスクを停止して、前記不揮発性メモリに前記ライトデータを書き込む場合、前記テーブルを参照し、前記ライトデータの重複データが前記不揮発性メモリに記憶されているか否かを判断する第１のステップと、
制御部が、前記第１のステップにおいて前記重複データが記憶されていると判断した場合、前記ライトデータを前記不揮発性メモリに書き込まずに、前記重複データの前記不揮発性メモリ内の格納先アドレスを含むメタデータを前記テーブルに書き込む制御部と、
を備えることを特徴とするストレージ装置の制御方法。 A storage device control method for writing write data received from a host computer to a master magnetic disk and a mirror magnetic disk that is mirrored with the master disk.
The storage device
A non-volatile memory that temporarily stores the write data, and a table that associates and stores a storage destination address of the write data in the nonvolatile memory and a storage destination address of the write data in the mirror magnetic disk. Have
When the determination unit stops the mirror magnetic disk and writes the write data to the nonvolatile memory, it refers to the table and determines whether or not duplicate data of the write data is stored in the nonvolatile memory. A first step of determining;
Control unit, if the duplicated data in the first step is determined to be stored, without writing the write data in the nonvolatile memory, a storage destination address of the nonvolatile memory of the duplicate data A controller that writes metadata including the table to the table ;
A method for controlling a storage apparatus, comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010087802A JP5691227B2 (en) | 2010-04-06 | 2010-04-06 | Storage apparatus and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010087802A JP5691227B2 (en) | 2010-04-06 | 2010-04-06 | Storage apparatus and control method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011221638A JP2011221638A (en) | 2011-11-04 |
| JP5691227B2 true JP5691227B2 (en) | 2015-04-01 |
Family
ID=45038583
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010087802A Expired - Fee Related JP5691227B2 (en) | 2010-04-06 | 2010-04-06 | Storage apparatus and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5691227B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012203437A (en) * | 2011-03-23 | 2012-10-22 | Nec Corp | Storage device, method and program |
| WO2014057585A1 (en) * | 2012-10-12 | 2014-04-17 | 富士通株式会社 | Information processing device, information processing method, and information processing program |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4625675B2 (en) * | 2004-10-20 | 2011-02-02 | 株式会社日立製作所 | Storage device resource allocation method and storage device |
| JP2009251725A (en) * | 2008-04-02 | 2009-10-29 | Hitachi Ltd | Storage controller and duplicated data detection method using storage controller |
-
2010
- 2010-04-06 JP JP2010087802A patent/JP5691227B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2011221638A (en) | 2011-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10613934B2 (en) | Managing RAID parity stripe contention | |
| US7975168B2 (en) | Storage system executing parallel correction write | |
| US8135905B2 (en) | Storage system and power consumption reduction method for switching on/off the power of disk devices associated with logical units in groups configured from the logical units | |
| US9684591B2 (en) | Storage system and storage apparatus | |
| US7502955B2 (en) | Disk array system and control method thereof | |
| US9213490B2 (en) | Computer system and data migration method | |
| US8924622B2 (en) | Extender storage pool system | |
| US8930745B2 (en) | Storage subsystem and data management method of storage subsystem | |
| US10296429B2 (en) | Storage device | |
| JP2007156597A (en) | Storage device | |
| US9304710B2 (en) | Storage system and data transfer method of storage system | |
| JP2014096072A (en) | Disk array having mirror configuration and rebuild method of the same | |
| US20170220249A1 (en) | Systems and Methods to Maintain Consistent High Availability and Performance in Storage Area Networks | |
| JP2008250458A (en) | Storage system, and method for managing storage system | |
| US8433949B2 (en) | Disk array apparatus and physical disk restoration method | |
| JP5691227B2 (en) | Storage apparatus and control method thereof | |
| US20150067285A1 (en) | Storage control apparatus, control method, and computer-readable storage medium | |
| US20130159765A1 (en) | Storage subsystem and method for recovering data in storage subsystem | |
| JP5505329B2 (en) | Disk array device and control method thereof | |
| WO2019043815A1 (en) | Storage system | |
| US20160224446A1 (en) | Storage controller, method, and storage medium | |
| WO2016006108A1 (en) | Storage and control method therefor | |
| JP2014041523A (en) | Data management device, and data management method | |
| JP5691234B2 (en) | Disk array device and mirroring control method | |
| US20140019678A1 (en) | Disk subsystem and method for controlling memory access |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130312 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140331 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150106 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150119 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5691227 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |