JPWO2012108040A1 - ストレージ制御装置、及び、そのプログラム - Google Patents
ストレージ制御装置、及び、そのプログラム Download PDFInfo
- Publication number
- JPWO2012108040A1 JPWO2012108040A1 JP2012556716A JP2012556716A JPWO2012108040A1 JP WO2012108040 A1 JPWO2012108040 A1 JP WO2012108040A1 JP 2012556716 A JP2012556716 A JP 2012556716A JP 2012556716 A JP2012556716 A JP 2012556716A JP WO2012108040 A1 JPWO2012108040 A1 JP WO2012108040A1
- Authority
- JP
- Japan
- Prior art keywords
- disk
- data
- storage
- standby
- cache
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
- G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
- G06F1/3215—Monitoring of peripheral devices
- G06F1/3225—Monitoring of peripheral devices of memory devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/16—Error detection or correction of the data by redundancy in hardware
- G06F11/20—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements
- G06F11/2053—Error detection or correction of the data by redundancy in hardware using active fault-masking, e.g. by switching out faulty elements or by switching in spare elements where persistent mass storage functionality or persistent mass storage control functionality is redundant
- G06F11/2094—Redundant storage or storage space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/061—Improving I/O performance
- G06F3/0611—Improving I/O performance in relation to response time
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
- G06F3/0625—Power saving in storage systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0629—Configuration or reconfiguration of storage systems
- G06F3/0634—Configuration or reconfiguration of storage systems by changing the state or mode of one or more devices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
- G06F3/0671—In-line storage system
- G06F3/0683—Plurality of storage devices
- G06F3/0689—Disk arrays, e.g. RAID, JBOD
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Quality & Reliability (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Debugging And Monitoring (AREA)
Abstract
Description
図1は、ストレージシステムのハードウェア構成を説明する図である。図1に示すストレージシステム300は、ストレージ装置100、及びストレージ制御装置200を含む。なお、ストレージシステム300に含まれるストレージ装置は、ストレージ装置100に限定されず、100A〜Cで示されるストレージ装置100と同じ機能を有する複数のストレージ装置を含むことができる。ストレージ制御装置200は、イーサネット(登録商標)ケーブル等のネットワークケーブル5を介して外部システム10と接続するとともに、FC-AL(Fibre Channel Arbitrated Loop)等のネットワークケーブル15を介してストレージ装置100、及び、100A〜Cと接続する。ストレージ装置100A〜Cに関しては、ストレージ装置100と同じ機能を有するため、以下におけるストレージ装置100の説明は、ストレージ装置100A〜Cについても同じである。
外部システム10は、オンライン業務システムのように、ストレージ装置100に対するI/O要求頻度の高いシステムである。外部システム10は、アクセス対象となるデータを、LUN(Logical Unit Number)及び論理アドレスをそれぞれ特定した「読み出し要求」又は「書き込み要求」を、iSCSIプロトコル等に従うメッセージとして、ストレージ制御装置200に送信する。なお、以下において「読み出し要求」及び「書き込み要求」は、「アクセス要求」と呼び、「読み出し」及び「書き込み」を、「アクセス」と呼ぶ。
ストレージ制御装置200は、補助記憶部210、ドライブ部230、通信部240、記憶部250、及び制御部260を有する。ストレージ制御装置200に含まれる各ユニットは、バス接続されている。
ストレージ装置100は、ディスクアレイ部105、ドライブ部120、スタンバイキャッシュ130、通信部140、記憶部150、及び制御部160を有する。ストレージ装置100に含まれる各ユニットは、バス接続されており、制御部160は、記憶部150内に格納されるプログラムを実行することで、各ユニットを制御する。
図4は、ストレージ制御装置とストレージ装置との間のデータ通信のシーケンスの一例を示すシーケンス図である。
アクセス要求が、読み出し要求である場合、ストレージ制御装置200は、キャッシュデータ取得要求をストレージ装置100に送信して(S121)、回転を開始したスタンバイストレージが利用可能になるのを待つこと無く、データの取得が可能になる。ストレージ装置100は、キャッシュデータ取得要求の応答をストレージ制御装置200に送信する(S122)。
アクセス要求が、書き込み要求である場合、ストレージ制御装置200は、キャッシュ書き込み要求をストレージ装置100に送信して(S131)、回転を開始したスタンバイストレージが利用可能になるのを待つこと無く、データの書き込みが可能になる。ストレージ装置100は、キャッシュデータ取得要求の応答をストレージ制御装置200に送信する(S132)。
スタンバイキャッシュ130のディスク等に異常が生じる場合、ストレージ装置100は、異常信号をストレージ制御装置200に送信する(S141)。ストレージ制御装置200は、書き込み要求をストレージ装置100に送信して、回転を開始して起動したスタンバイキャッシュに対してデータの書き込みを行なう(S142)。このように、スタンバイキャッシュ130の異常が生じても、データの書き込みは可能である。
図5は、読み出し要求に対するスタンバイディスクのディスク回転制御の一例を示すタイムチャートである。チャート401は、アクティブディスクのエラー検出後にスタンバイディスクの回転を始めるケースを示す。C1は、外部システム10からのアクセス要求に対するアクティブディスクの応答時間を示す。時間T1は、応答異常を判別するための閾値を示すアクティブディスク異常時間である。アクティブディスク異常時間は、後述のディスク制御情報310に登録されている。したがって、ストレージ制御装置200は、ディスク制御情報310のアクティブディスク異常時間を参照することで、応答異常を判別することができる。C2は、スタンバイディスクの回転を開始し、定常回転に至る時間を示す。C2経過後、スタンバイディスクからの応答が開始される。チャート401では、アクティブディスクのエラー検出後にスタンバイディスクの回転を始めるために、外部システム10への応答に対して遅延時間T2が生じる。
チャート411は、アクティブディスクのエラー検出後にスタンバイディスクの回転を始めるケースを示す。C1は、外部システム10からのアクセス要求に対するアクティブディスクの応答時間を示す。時間T1は、応答異常を判別するための閾値となる時間である。C2は、スタンバイディスクの回転を開始し、定常回転に至る時間を示す。C2経過後、スタンバイディスクからの応答が開始される。チャート411では、アクティブディスクのエラー検出後にスタンバイディスクの回転を始めるために、外部システム10への応答に対して遅延時間T2が生じる。
図5及び図6を用いて説明したストレージ制御装置の動作を実現するストレージ制御装置の機能について説明する。図7は、ストレージ制御装置が有する機能構成の一例を示す図である。図7には、入出力制御機能201、キャッシュ管理機能202、及びキャッシュ反映機能203が示される。入出力制御機能201、キャッシュ管理機能202、及びキャッシュ反映機能203は、ハードウェア的には、制御部260による演算や、制御部260による通信部240又は記憶部250に対する制御に相当する。したがって、各機能は、ストレージ制御装置200のハードウェアに相当するため、図7に示される各機能と、外部システム10及びストレージ装置100との間の通信は、ストレージ制御装置200と、外部システム10及びストレージ装置100との間のデータ通信に相当する。
入出力制御機能は、上記したストレージの仮想化機能に加えて、マッピングテーブル255を参照して、外部システム10から送信されたディスクへの読み出し要求又は書き込み要求を処理する機能である。入出力制御機能は、ディスクの応答時間を監視する監視機能、図5及び図6を用いて説明したスタンバイディスクの回転の開始を指示する回転制御機能、データ読み込み機能、及びデータ書き込み機能とを含む。
キャッシュ管理機能202は、スタンバイキャッシュ130内に保持されるデータを、スタンバイディスクと対応付けて、データマップ管理情報261で管理する。キャッシュ管理機能202は、データマップ管理情報261を参照することで、読み出し要求及び書き込み要求の対象となるデータが、データディスク132内にあるかどうかを判別する。
キャッシュ反映機能203は、一定の条件に合致した場合、キャッシュ管理機能から得たスタンバイキャッシュ130の内容の一部または全部をスタンバイディスクに反映する機能である。キャッシュ反映機能203は、キャッシュ反映情報320にしたがって、スタンバイキャッシュ130内のデータを、スタンバイディスクに反映する。
図17は、読み出し要求動作中にアクティブディスクでの故障が生じた場合の動作処理の一例を示すフローチャートである。まず、ストレージ制御装置200は、外部システム10から受け取った読み出し要求を、ストレージ装置100に送信する(S1101)。ストレージ制御装置200は、アクティブディスクからの応答が遅延しているか否かを判断する(S1102)。応答が遅延している場合(S1102 Yes)、ストレージ制御装置200は、スタンバイディスクの回転の開始を、ストレージ装置100に指示する(S1103)。応答が遅延していない場合(S1102 No)、又は、スタンバイディスク回転開始(S1103)後、ストレージ制御装置200は、アクティブディスクにエラーが生じているか否か判断する(S1104)。アクティブディスクにエラーが生じている場合(S1104 Yes)、スタンバイキャッシュ130が正常か否かを判断する(S1105)。スタンバイキャッシュ130にエラーが生じている場合(S1105 No)、ストレージ制御装置200は、IOエラーを外部システム10に通知して(S1121)、処理を終了する。スタンバイキャッシュ130が正常である場合(S1105 Yes)、ストレージ制御装置200は、ディスク状態管理情報330のアクティブディスクの状態を「異常」とし、スタンバイディスクの状態を「正常」とする(S1106)。
図19は、ストレージ装置の変形例を示す図である。図19に示す変形例のストレージ装置100Dは、ストレージ制御装置200を介さずに、外部システム10から書き込み要求と読み出し要求を直接受け取る。ストレージ装置100Dは、記録媒体590Aに格納されるプログラム990Aをドライブ部120から読み込み、記憶部150に格納する。記憶部150に格納されたプログラム990Aを制御部160が実行することで、ストレージ装置100Dは、図7で説明したストレージ仮想化機能を除く入出力制御機能、キャッシュ管理機能、キャッシュ反映機能を実現し、図6及び図7で説明したような、スタンバイディスクのディスク回転制御を実行する。
100 ストレージ装置
105 ディスクアレイ部
130 スタンバイキャッシュ
132 データディスク
134 メタディスク
150 記憶部
160 制御部
200 ストレージ制御装置
201 入出力制御機能
202 キャッシュ管理機能
203 キャッシュ反映機能
250 記憶部
255 マッピングテーブル
260 制御部
261 データマップ管理情報
300 ストレージシステム
310 ディスク制御情報
320 キャッシュ反映情報
330 ディスク状態管理情報
340 スタンバイキャッシュ状態管理情報
590 記録媒体
990 プログラム
図1は、ストレージシステムのハードウェア構成を説明する図である。図1に示すストレージシステム300は、ストレージ装置100、及びストレージ制御装置200を含む。なお、ストレージシステム300に含まれるストレージ装置は、ストレージ装置100に限定されず、100A〜Cで示されるストレージ装置100と同じ機能を有する複数のストレージ装置を含むことができる。ストレージ制御装置200は、イーサネット(登録商標)ケーブル等のネットワークケーブル5を介して外部システム10と接続するとともに、FC-AL(Fibre Channel Arbitrated Loop)等のネットワークケーブル15を介してストレージ装置100、及び、100A〜Cと接続する。ストレージ装置100A〜Cに関しては、ストレージ装置100と同じ機能を有するため、以下におけるストレージ装置100の説明は、ストレージ装置100A〜Cについても同じである。
外部システム10は、オンライン業務システムのように、ストレージ装置100に対するI/O要求頻度の高いシステムである。外部システム10は、アクセス対象となるデータを、LUN(Logical Unit Number)及び論理アドレスをそれぞれ特定した「読み出し要求」又は「書き込み要求」を、iSCSIプロトコル等に従うメッセージとして、ストレージ制御装置200に送信する。なお、以下において「読み出し要求」及び「書き込み要求」は、「アクセス要求」と呼び、「読み出し」及び「書き込み」を、「アクセス」と呼ぶ。
ストレージ制御装置200は、補助記憶部210、ドライブ部230、通信部240、記憶部250、及び制御部260を有する。ストレージ制御装置200に含まれる各ユニットは、バス接続されている。
ストレージ装置100は、ディスクアレイ部105、ドライブ部120、スタンバイキャッシュ130、通信部140、記憶部150、及び制御部160を有する。ストレージ装置100に含まれる各ユニットは、バス接続されており、制御部160は、記憶部150内に格納されるプログラムを実行することで、各ユニットを制御する。
図4は、ストレージ制御装置とストレージ装置との間のデータ通信のシーケンスの一例を示すシーケンス図である。
アクセス要求が、読み出し要求である場合、ストレージ制御装置200は、キャッシュデータ取得要求をストレージ装置100に送信して(S121)、回転を開始したスタンバイストレージが利用可能になるのを待つこと無く、データの取得が可能になる。ストレージ装置100は、キャッシュデータ取得要求の応答をストレージ制御装置200に送信する(S122)。
アクセス要求が、書き込み要求である場合、ストレージ制御装置200は、キャッシュ書き込み要求をストレージ装置100に送信して(S131)、回転を開始したスタンバイストレージが利用可能になるのを待つこと無く、データの書き込みが可能になる。ストレージ装置100は、キャッシュ書き込み要求の応答をストレージ制御装置200に送信する(S132)。
スタンバイキャッシュ130のディスク等に異常が生じる場合、ストレージ装置100は、異常信号をストレージ制御装置200に送信する(S141)。ストレージ制御装置200は、書き込み要求をストレージ装置100に送信して、回転を開始して起動したスタンバイキャッシュに対してデータの書き込みを行なう(S142)。このように、スタンバイキャッシュ130の異常が生じても、データの書き込みは可能である。
図5は、読み出し要求に対するスタンバイディスクのディスク回転制御の一例を示すタイムチャートである。チャート401は、アクティブディスクのエラー検出後にスタンバイディスクの回転を始めるケースを示す。C1は、外部システム10からのアクセス要求に対するアクティブディスクの応答時間を示す。時間T1は、応答異常を判別するための閾値を示すアクティブディスク異常時間である。アクティブディスク異常時間は、後述のディスク制御情報310に登録されている。したがって、ストレージ制御装置200は、ディスク制御情報310のアクティブディスク異常時間を参照することで、応答異常を判別することができる。C2は、スタンバイディスクの回転を開始し、定常回転に至る時間を示す。C2経過後、スタンバイディスクからの応答が開始される。チャート401では、アクティブディスクのエラー検出後にスタンバイディスクの回転を始めるために、外部システム10への応答に対して遅延時間T2が生じる。
チャート411は、アクティブディスクのエラー検出後にスタンバイディスクの回転を始めるケースを示す。C1は、外部システム10からのアクセス要求に対するアクティブディスクの応答時間を示す。時間T1は、応答異常を判別するための閾値となる時間である。C2は、スタンバイディスクの回転を開始し、定常回転に至る時間を示す。C2経過後、スタンバイディスクからの応答が開始される。チャート411では、アクティブディスクのエラー検出後にスタンバイディスクの回転を始めるために、外部システム10への応答に対して遅延時間T2が生じる。
図5及び図6を用いて説明したストレージ制御装置の動作を実現するストレージ制御装置の機能について説明する。図7は、ストレージ制御装置が有する機能構成の一例を示す図である。図7には、入出力制御機能201、キャッシュ管理機能202、及びキャッシュ反映機能203が示される。入出力制御機能201、キャッシュ管理機能202、及びキャッシュ反映機能203は、ハードウェア的には、制御部260による演算や、制御部260による通信部240又は記憶部250に対する制御に相当する。したがって、各機能は、ストレージ制御装置200のハードウェアに相当するため、図7に示される各機能と、外部システム10及びストレージ装置100との間の通信は、ストレージ制御装置200と、外部システム10及びストレージ装置100との間のデータ通信に相当する。
入出力制御機能は、上記したストレージの仮想化機能に加えて、マッピングテーブル255を参照して、外部システム10から送信されたディスクへの読み出し要求又は書き込み要求を処理する機能である。入出力制御機能は、ディスクの応答時間を監視する監視機能、図5及び図6を用いて説明したスタンバイディスクの回転の開始を指示する回転制御機能、データ読み込み機能、及びデータ書き込み機能とを含む。
キャッシュ管理機能202は、スタンバイキャッシュ130内に保持されるデータを、スタンバイディスクと対応付けて、データマップ管理情報261で管理する。キャッシュ管理機能202は、データマップ管理情報261を参照することで、読み出し要求及び書き込み要求の対象となるデータが、データディスク132内にあるかどうかを判別する。
キャッシュ反映機能203は、一定の条件に合致した場合、キャッシュ管理機能から得たスタンバイキャッシュ130の内容の一部または全部をスタンバイディスクに反映する機能である。キャッシュ反映機能203は、キャッシュ反映情報320にしたがって、スタンバイキャッシュ130内のデータを、スタンバイディスクに反映する。
図17は、読み出し要求動作中にアクティブディスクでの故障が生じた場合の動作処理の一例を示すフローチャートである。まず、ストレージ制御装置200は、外部システム10から受け取った読み出し要求を、ストレージ装置100に送信する(S1101)。ストレージ制御装置200は、アクティブディスクからの応答が遅延しているか否かを判断する(S1102)。応答が遅延している場合(S1102 Yes)、ストレージ制御装置200は、スタンバイディスクの回転の開始を、ストレージ装置100に指示する(S1103)。応答が遅延していない場合(S1102 No)、又は、スタンバイディスク回転開始(S1103)後、ストレージ制御装置200は、アクティブディスクにエラーが生じているか否か判断する(S1104)。アクティブディスクにエラーが生じている場合(S1104 Yes)、スタンバイキャッシュ130が正常か否かを判断する(S1105)。スタンバイキャッシュ130にエラーが生じている場合(S1105 No)、ストレージ制御装置200は、IOエラーを外部システム10に通知して(S1121)、処理を終了する。スタンバイキャッシュ130が正常である場合(S1105 Yes)、ストレージ制御装置200は、ディスク状態管理情報330のアクティブディスクの状態を「異常」とし、スタンバイディスクの状態を「正常」とする(S1106)。
図19は、ストレージ装置の変形例を示す図である。図19に示す変形例のストレージ装置100Dは、ストレージ制御装置200を介さずに、外部システム10から書き込み要求と読み出し要求を直接受け取る。ストレージ装置100Dは、記録媒体590Aに格納されるプログラム990Aをドライブ部120から読み込み、記憶部150に格納する。記憶部150に格納されたプログラム990Aを制御部160が実行することで、ストレージ装置100Dは、図7で説明したストレージ仮想化機能を除く入出力制御機能、キャッシュ管理機能、キャッシュ反映機能を実現し、図6及び図7で説明したような、スタンバイディスクのディスク回転制御を実行する。
(付記1)
起動中の第1ディスクと停止中の第2ディスクとを含むストレージ装置を制御するストレージ制御装置であって、
前記ストレージ装置に対して読み出し要求又は書き込み要求を送信し、該ストレージ装置から前記読み出し要求又は書き込み要求に対する応答を受信する通信部と、
前記起動中の第1ディスクへの前記読み出し要求又は書き込み要求に対する前記応答を受信するまでの時間が、所定の閾値より長い場合、前記第2ディスクの回転の開始を指示する回転開始命令を前記ストレージ装置に送信するように前記通信部を制御する制御部と、
を備えることを特徴とするストレージ制御装置。
前記ストレージ装置は、前記起動中の第1ディスクに記憶され、且つ、前記停止中の第2ディスクに記憶されていないデータを保持するキャッシュ部を有し、
前記起動中の第1ディスクへの前記読み出し要求に対する前記応答を受信するまでの時間が、応答遅延時間より長い場合、前記制御部はさらに、前記読み出し要求に対するデータの読み出しを指示するキャッシュデータ読み出し命令を、前記ストレージ装置に送信するように前記通信部を制御して、前記キャッシュ部からデータを読み出すことを特徴とする付記1に記載のストレージ制御装置。
前記読み出し要求に対応したデータが前記キャッシュ部に保持されておらず、且つ、前記起動中の第1ディスクへの前記読み出し要求に対する前記応答を受信するまでの時間が、前記応答遅延時間より長い場合、前記制御部は、前記回転の開始により起動中の前記第2ディスクからデータを読み出すように前記通信部を制御して、前記第2ディスクからデータを読み出すことを特徴とする付記2に記載のストレージ制御装置。
起動中の第1ディスクと停止中の第2ディスクとを含むストレージ装置を制御するストレージ制御装置であって、
前記ストレージ装置に対して読み出し要求又は書き込み要求を送信し、前記第1ディスク又は前記第2ディスクから前記読み出し要求又は書き込み要求に対する応答を受信する通信手段と、
前記起動中の第1ディスクへの前記読み出し要求又は書き込み要求に対する前記応答を受信するまでの時間が、所定の閾値より長い場合、前記第2ディスクの回転の開始を指示する回転指示手段と、
を備えることを特徴とするストレージ制御装置。
前記起動中の第1ディスクに記憶され、且つ、前記停止中の第2ディスクに記憶されていないデータを保持するキャッシュ手段と、
前記起動中の第1ディスクへの前記読み出し要求に対する前記応答を受信するまでの時間が、応答遅延時間より長い場合、前記読み出し要求に対応したデータをキャッシュ手段から読み出すキャッシュ管理手段と、をさらに備えることを特徴とする付記4に記載のストレージ制御装置。
前記読み出し要求に対応したデータが前記キャッシュ手段に保持されておらず、且つ、前記起動中の第1ディスクへの前記読み出し要求に対する前記応答を受信するまでの時間が、前記応答遅延時間より長い場合、前記回転の開始により起動中の前記第2ディスクからデータを読み出すデータ読み出し手段をさらに備えることを特徴とする付記5に記載のストレージ制御装置。
起動中の第1ディスクと停止中の第2ディスクとを含むストレージ装置を制御するストレージ制御装置であって、
前記ストレージ装置に対して読み出し要求又は書き込み要求を送信し、前記第1ディスク又は前記第2ディスクから前記読み出し要求又は書き込み要求に対する応答を受信する通信部と、
前記起動中の第1ディスクへの前記読み出し要求又は書き込み要求に対する前記応答を受信するまでの時間が、所定の閾値より長い場合、前記第2ディスクの回転の開始を指示する制御部と、
を備えることを特徴とするストレージ制御装置。
起動中の第1ディスクと停止中の第2ディスクとを含むストレージ装置と、
前記ストレージ装置に対して読み出し要求又は書き込み要求を送信し、該ストレージ装置から前記読み出し要求又は書き込み要求に対する応答を受信する通信部、及び、
前記起動中の第1ディスクへの前記読み出し要求又は書き込み要求に対する前記応答を受信するまでの時間が、所定の閾値より長い場合、前記第2ディスクの回転の開始を指示する回転開始命令を前記ストレージ装置に送信するように前記通信部を制御する制御部を、を有するストレージ制御装置と、
を備えることを特徴とするストレージシステム。
起動中の第1ディスクと停止中の第2ディスクとを含むストレージ装置を制御するストレージ制御装置の制御方法であって、
前記ストレージ装置に対して読み出し要求又は書き込み要求を送信し、
前記起動中の第1ディスクへの前記読み出し要求又は書き込み要求に対する応答を受信するまでの時間が、所定の閾値より長い場合、前記第2ディスクの回転の開始を指示する、
ことを特徴とする制御方法。
起動中の第1ディスクと停止中の第2ディスクとを含むストレージ装置を制御するためのプログラムであって、コンピュータに、
前記ストレージ装置に対して読み出し要求又は書き込み要求を送信する処理と、
前記起動中の第1ディスクへの前記読み出し要求又は書き込み要求に対する応答を受信するまでの時間が、所定の閾値より長い場合、前記第2ディスクの回転の開始を指示する処理と、
を実行させることを特徴とするプログラム。
前記ストレージ装置は、前記起動中の第1ディスクに記憶され、且つ、前記停止中の第2ディスクに記憶されていないデータを保持するキャッシュ部を有し、
前記起動中の第1ディスクへの前記読み出し要求に対する前記応答を受信するまでの時間が、応答遅延時間より長い場合、前記読み出し要求に対するデータの読み出しを指示するキャッシュデータ読み出し命令を、前記ストレージ装置に送信するように通信部を制御して、前記キャッシュ部からデータを読み出す処理を、制御部に実行させることを特徴とする付記10に記載のプログラム。
前記読み出し要求に対応したデータが前記キャッシュ部に保持されておらず、且つ、前記起動中の第1ディスクへの前記読み出し要求に対する前記応答を受信するまでの時間が、前記応答遅延時間より長い場合、前記回転の開始により起動中の前記第2ディスクからデータを読み出すように通信部を制御して、前記第2ディスクからデータを読み出す処理を、制御部に実行させることを特徴とする付記11に記載のプログラム。
起動中の第1ディスクと停止中の第2ディスクと制御部とを含むストレージを制御するためのプログラムであって、前記制御部に、
前記ストレージ装置に対して読み出し要求又は書き込み要求を送信する処理と、
前記起動中の第1ディスクへの前記読み出し要求又は書き込み要求に対する応答を、前記第1ディスクから受信するまでの時間が、所定の閾値より長い場合、前記第2ディスクの回転の開始を指示する処理と、
を実行させることを特徴とするプログラム。
100 ストレージ装置
105 ディスクアレイ部
130 スタンバイキャッシュ
132 データディスク
134 メタディスク
150 記憶部
160 制御部
200 ストレージ制御装置
201 入出力制御機能
202 キャッシュ管理機能
203 キャッシュ反映機能
250 記憶部
255 マッピングテーブル
260 制御部
261 データマップ管理情報
300 ストレージシステム
310 ディスク制御情報
320 キャッシュ反映情報
330 ディスク状態管理情報
340 スタンバイキャッシュ状態管理情報
590 記録媒体
990 プログラム
Claims (13)
- 起動中の第1ディスクと停止中の第2ディスクとを含むストレージ装置を制御するストレージ制御装置であって、
前記ストレージ装置に対して読み出し要求又は書き込み要求を送信し、該ストレージ装置から前記読み出し要求又は書き込み要求に対する応答を受信する通信部と、
前記起動中の第1ディスクへの前記読み出し要求又は書き込み要求に対する前記応答を受信するまでの時間が、所定の閾値より長い場合、前記第2ディスクの回転の開始を指示する回転開始命令を前記ストレージ装置に送信するように前記通信部を制御する制御部と、
を備えることを特徴とするストレージ制御装置。 - 前記ストレージ装置は、前記起動中の第1ディスクに記憶され、且つ、前記停止中の第2ディスクに記憶されていないデータを保持するキャッシュ部を有し、
前記起動中の第1ディスクへの前記読み出し要求に対する前記応答を受信するまでの時間が、前記応答遅延時間より長い場合、前記制御部はさらに、前記読み出し要求に対するデータの読み出しを指示するキャッシュデータ読み出し命令を、前記ストレージ装置に送信するように前記通信部を制御して、前記キャッシュ部からデータを読み出すことを特徴とする請求項1に記載のストレージ制御装置。 - 前記読み出し要求に対応したデータが前記キャッシュ部に保持されておらず、且つ、前記起動中の第1ディスクへの前記読み出し要求に対する前記応答を受信するまでの時間が、前記応答遅延時間より長い場合、前記制御部は、前記回転の開始により起動中の前記第2ディスクからデータを読み出すように前記通信部を制御して、前記第2ディスクからデータを読み出すことを特徴とする請求項2に記載のストレージ制御装置。
- 起動中の第1ディスクと停止中の第2ディスクとを含むストレージ装置を制御するストレージ制御装置であって、
前記ストレージ装置に対して読み出し要求又は書き込み要求を送信し、前記第1ディスク又は前記第2ディスクから前記読み出し要求又は書き込み要求に対する応答を受信する通信手段と、
前記起動中の第1ディスクへの前記読み出し要求又は書き込み要求に対する前記応答を受信するまでの時間が、所定の閾値より長い場合、前記第2ディスクの回転の開始を指示する回転指示手段と、
を備えることを特徴とするストレージ制御装置。 - 前記起動中の第1ディスクに記憶され、且つ、前記停止中の第2ディスクに記憶されていないデータを保持するキャッシュ手段と、
前記起動中の第1ディスクへの前記読み出し要求に対する前記応答を受信するまでの時間が、前記応答遅延時間より長い場合、前記読み出し要求に対応したデータをキャッシュ手段から読み出すキャッシュ管理手段と、をさらに備えることを特徴とする請求項4に記載のストレージ制御装置。 - 前記読み出し要求に対応したデータが前記キャッシュ手段に保持されておらず、且つ、前記起動中の第1ディスクへの前記読み出し要求に対する前記応答を受信するまでの時間が、前記応答遅延時間より長い場合、前記回転の開始により起動中の前記第2ディスクからデータを読み出すデータ読み出し手段をさらに備えることを特徴とする請求項5に記載のストレージ制御装置。
- 起動中の第1ディスクと停止中の第2ディスクとを含むストレージ装置を制御するストレージ制御装置であって、
前記ストレージ装置に対して読み出し要求又は書き込み要求を送信し、前記第1ディスク又は前記第2ディスクから前記読み出し要求又は書き込み要求に対する応答を受信する通信部と、
前記起動中の第1ディスクへの前記読み出し要求又は書き込み要求に対する前記応答を受信するまでの時間が、所定の閾値より長い場合、前記第2ディスクの回転の開始を指示する制御部と、
を備えることを特徴とするストレージ制御装置。 - 起動中の第1ディスクと停止中の第2ディスクとを含むストレージ装置と、
前記ストレージ装置に対して読み出し要求又は書き込み要求を送信し、該ストレージ装置から前記読み出し要求又は書き込み要求に対する応答を受信する通信部、及び、
前記起動中の第1ディスクへの前記読み出し要求又は書き込み要求に対する前記応答を受信するまでの時間が、所定の閾値より長い場合、前記第2ディスクの回転の開始を指示する回転開始命令を前記ストレージ装置に送信するように前記通信部を制御する制御部を、を有するストレージ制御装置と、
を備えることを特徴とするストレージシステム。 - 起動中の第1ディスクと停止中の第2ディスクとを含むストレージ装置を制御するストレージ制御装置の制御方法であって、
前記ストレージ装置に対して読み出し要求又は書き込み要求を送信し、
前記起動中の第1ディスクへの前記読み出し要求又は書き込み要求に対する応答を受信するまでの時間が、所定の閾値より長い場合、前記第2ディスクの回転の開始を指示する、
ことを特徴とする制御方法。 - 起動中の第1ディスクと停止中の第2ディスクとを含むストレージ装置を制御するためのプログラムであって、コンピュータに、
前記ストレージ装置に対して読み出し要求又は書き込み要求を送信する処理と、
前記起動中の第1ディスクへの前記読み出し要求又は書き込み要求に対する応答を受信するまでの時間が、所定の閾値より長い場合、前記第2ディスクの回転の開始を指示する処理と、
を実行させることを特徴とするプログラム。 - 前記ストレージ装置は、前記起動中の第1ディスクに記憶され、且つ、前記停止中の第2ディスクに記憶されていないデータを保持するキャッシュ部を有し、
前記起動中の第1ディスクへの前記読み出し要求に対する前記応答を受信するまでの時間が、前記応答遅延時間より長い場合、前記読み出し要求に対するデータの読み出しを指示するキャッシュデータ読み出し命令を、前記ストレージ装置に送信するように通信部を制御して、前記キャッシュ部からデータを読み出す処理を、制御部に実行させることを特徴とする請求項10に記載のプログラム。 - 前記読み出し要求に対応したデータが前記キャッシュ部に保持されておらず、且つ、前記起動中の第1ディスクへの前記読み出し要求に対する前記応答を受信するまでの時間が、前記応答遅延時間より長い場合、前記回転の開始により起動中の前記第2ディスクからデータを読み出すように通信部を制御して、前記第2ディスクからデータを読み出す処理を、制御部に実行させることを特徴とする請求項11に記載のプログラム。
- 起動中の第1ディスクと停止中の第2ディスクと制御部とを含むストレージを制御するためのプログラムであって、前記制御部に、
前記ストレージ装置に対して読み出し要求又は書き込み要求を送信する処理と、
前記起動中の第1ディスクへの前記読み出し要求又は書き込み要求に対する応答を、前記第1ディスクから受信するまでの時間が、所定の閾値より長い場合、前記第2ディスクの回転の開始を指示する処理と、
を実行させることを特徴とするプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2011/052899 WO2012108040A1 (ja) | 2011-02-10 | 2011-02-10 | ストレージ制御装置、ストレージ装置、ストレージシステム、ストレージ制御方法、及び、そのプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2012108040A1 true JPWO2012108040A1 (ja) | 2014-07-03 |
JP5761209B2 JP5761209B2 (ja) | 2015-08-12 |
Family
ID=46638279
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012556716A Active JP5761209B2 (ja) | 2011-02-10 | 2011-02-10 | ストレージ制御装置、及び、そのプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9418014B2 (ja) |
EP (1) | EP2674851B1 (ja) |
JP (1) | JP5761209B2 (ja) |
WO (1) | WO2012108040A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10725930B2 (en) * | 2018-08-27 | 2020-07-28 | Micron Technology, Inc. | Logical to physical memory address mapping tree |
Family Cites Families (47)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5341493A (en) * | 1990-09-21 | 1994-08-23 | Emc Corporation | Disk storage system with write preservation during power failure |
US5481733A (en) * | 1994-06-15 | 1996-01-02 | Panasonic Technologies, Inc. | Method for managing the power distributed to a disk drive in a laptop computer |
US6052797A (en) * | 1996-05-28 | 2000-04-18 | Emc Corporation | Remotely mirrored data storage system with a count indicative of data consistency |
US6799283B1 (en) * | 1998-12-04 | 2004-09-28 | Matsushita Electric Industrial Co., Ltd. | Disk array device |
JP4325817B2 (ja) * | 1999-04-05 | 2009-09-02 | 株式会社日立製作所 | ディスクアレイ装置 |
US6862668B2 (en) * | 2002-02-25 | 2005-03-01 | International Business Machines Corporation | Method and apparatus for using cache coherency locking to facilitate on-line volume expansion in a multi-controller storage system |
US7089448B2 (en) * | 2002-09-18 | 2006-08-08 | Netezza Corporation | Disk mirror architecture for database appliance |
JP2005122453A (ja) * | 2003-10-16 | 2005-05-12 | Hitachi Ltd | ストレージ装置のディスクコントローラ制御方式およびストレージ装置 |
JP4426262B2 (ja) * | 2003-11-26 | 2010-03-03 | 株式会社日立製作所 | ディスクアレイ装置及びディスクアレイ装置の障害回避方法 |
JP4518541B2 (ja) * | 2004-01-16 | 2010-08-04 | 株式会社日立製作所 | ディスクアレイ装置及びディスクアレイ装置の制御方法 |
US7313721B2 (en) * | 2004-06-21 | 2007-12-25 | Dot Hill Systems Corporation | Apparatus and method for performing a preemptive reconstruct of a fault-tolerant RAID array |
US20060002246A1 (en) * | 2004-06-30 | 2006-01-05 | International Business Machines Corporation | Sector-based worm implementation on random access memory |
WO2006057038A1 (ja) * | 2004-11-25 | 2006-06-01 | Fujitsu Limited | Raid管理プログラムおよびraid管理方法 |
US8180855B2 (en) * | 2005-01-27 | 2012-05-15 | Netapp, Inc. | Coordinated shared storage architecture |
US7380088B2 (en) * | 2005-02-04 | 2008-05-27 | Dot Hill Systems Corp. | Storage device method and apparatus |
US7389396B1 (en) * | 2005-04-25 | 2008-06-17 | Network Appliance, Inc. | Bounding I/O service time |
US20070061509A1 (en) * | 2005-09-09 | 2007-03-15 | Vikas Ahluwalia | Power management in a distributed file system |
JP4794370B2 (ja) * | 2006-06-20 | 2011-10-19 | 株式会社日立製作所 | 省電力とパフォーマンスを両立したストレージシステム及び記憶制御方法 |
JP4984689B2 (ja) * | 2006-07-04 | 2012-07-25 | 日本電気株式会社 | ディスクアレイ制御装置、方法、およびプログラム |
JP2008027312A (ja) * | 2006-07-24 | 2008-02-07 | Hitachi Ltd | ストレージ装置及び変換ボード |
US7411757B2 (en) * | 2006-07-27 | 2008-08-12 | Hitachi Global Storage Technologies Netherlands B.V. | Disk drive with nonvolatile memory having multiple modes of operation |
JP4897387B2 (ja) * | 2006-08-10 | 2012-03-14 | 株式会社日立製作所 | ストレージ装置およびこれを用いたデータの管理方法 |
US8015433B2 (en) * | 2006-09-13 | 2011-09-06 | Hitachi Global Storage Technologies Netherlands B.V. | Disk drive with nonvolatile memory for storage of failure-related data |
JP5008955B2 (ja) * | 2006-11-28 | 2012-08-22 | 株式会社日立製作所 | 節電機能を備えたストレージシステム |
US7643281B2 (en) * | 2006-12-13 | 2010-01-05 | Hitachi, Ltd. | Storage controller |
US7793042B2 (en) * | 2007-01-05 | 2010-09-07 | Dell Products, Lp | System, method, and module for reducing power states for storage devices and associated logical volumes |
US20080168226A1 (en) * | 2007-01-05 | 2008-07-10 | Accusys. Inc. | Correction method for reading data of disk array system |
JP4386932B2 (ja) | 2007-08-17 | 2009-12-16 | 富士通株式会社 | ストレージ管理プログラム、ストレージ管理装置およびストレージ管理方法 |
US20090125754A1 (en) * | 2007-11-08 | 2009-05-14 | Rashmi Chandra | Apparatus, system, and method for improving system reliability by managing switched drive networks |
JP2009163562A (ja) * | 2008-01-08 | 2009-07-23 | Fujitsu Ltd | ストレージシステム、ストレージシステムの制御部、ストレージシステムの制御方法 |
US8799535B2 (en) * | 2008-01-11 | 2014-08-05 | Akamai Technologies, Inc. | Storage of data utilizing scheduling queue locations associated with different data rates |
JP5141278B2 (ja) | 2008-02-08 | 2013-02-13 | 日本電気株式会社 | ディスクアレイシステム,ディスクアレイ制御方法及びディスクアレイ制御用プログラム |
JP5146032B2 (ja) * | 2008-03-17 | 2013-02-20 | 富士通株式会社 | 入出力制御方法、制御装置及びプログラム |
JP5379988B2 (ja) | 2008-03-28 | 2013-12-25 | 株式会社日立製作所 | ストレージシステム |
JP4838832B2 (ja) * | 2008-08-29 | 2011-12-14 | 富士通株式会社 | ストレージシステムの制御方法、ストレージシステム、及びストレージ装置 |
US8180736B2 (en) * | 2008-08-29 | 2012-05-15 | Red Hat, Inc. | Methods for improving file system performance |
JP2010146630A (ja) * | 2008-12-18 | 2010-07-01 | Hitachi Global Storage Technologies Netherlands Bv | ディスク・ドライブ及びディスク・アレイ・システム |
JP2010211888A (ja) * | 2009-03-12 | 2010-09-24 | Toshiba Storage Device Corp | ディスク記憶装置 |
US8510496B1 (en) * | 2009-04-27 | 2013-08-13 | Netapp, Inc. | Scheduling access requests for a multi-bank low-latency random read memory device |
WO2010137180A1 (en) * | 2009-05-25 | 2010-12-02 | Hitachi,Ltd. | Storage system and its power control method |
US9619163B2 (en) * | 2009-06-26 | 2017-04-11 | International Business Machines Corporation | Maintaining access times in storage systems employing power saving techniques |
WO2011001537A1 (en) * | 2009-06-30 | 2011-01-06 | Hitachi,Ltd. | Storage system and its information processing method |
WO2011102429A1 (ja) * | 2010-02-19 | 2011-08-25 | 国立大学法人 東京工業大学 | ストレージ装置、その制御方法およびシステム管理プログラム |
US8954669B2 (en) * | 2010-07-07 | 2015-02-10 | Nexenta System, Inc | Method and system for heterogeneous data volume |
US8429455B2 (en) * | 2010-07-16 | 2013-04-23 | Hitachi, Ltd. | Computer system management method and management system |
US8589655B2 (en) * | 2010-09-15 | 2013-11-19 | Pure Storage, Inc. | Scheduling of I/O in an SSD environment |
US8639971B1 (en) * | 2011-02-17 | 2014-01-28 | Scale Computing | Condition detection and reporting in complex systems |
-
2011
- 2011-02-10 EP EP11858158.6A patent/EP2674851B1/en active Active
- 2011-02-10 JP JP2012556716A patent/JP5761209B2/ja active Active
- 2011-02-10 WO PCT/JP2011/052899 patent/WO2012108040A1/ja active Application Filing
-
2013
- 2013-08-09 US US13/963,404 patent/US9418014B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP2674851B1 (en) | 2018-01-17 |
US9418014B2 (en) | 2016-08-16 |
JP5761209B2 (ja) | 2015-08-12 |
WO2012108040A1 (ja) | 2012-08-16 |
EP2674851A1 (en) | 2013-12-18 |
EP2674851A4 (en) | 2016-11-02 |
US20140052910A1 (en) | 2014-02-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8738975B2 (en) | Runtime dynamic performance skew elimination | |
US8370571B2 (en) | Transfer control of a storage volume between storage controllers in a cluster | |
US9075729B2 (en) | Storage system and method of controlling data transfer in storage system | |
US8689044B2 (en) | SAS host controller cache tracking | |
US20140281123A1 (en) | System and method for handling i/o write requests | |
JP2007156597A (ja) | ストレージ装置 | |
JP2009043030A (ja) | ストレージシステム | |
US8140811B2 (en) | Nonvolatile storage thresholding | |
US8086881B2 (en) | Power control of secondary copy storage based on journal storage usage and accumulation speed rate | |
US9836223B2 (en) | Changing storage volume ownership using cache memory | |
WO2014162586A1 (ja) | ストレージシステムおよびストレージシステム制御方法 | |
JP2021128802A (ja) | 情報処理システム、ストレージシステム及びデータ転送方法 | |
JP2017091456A (ja) | 制御装置、制御プログラムおよび制御方法 | |
JP2010049502A (ja) | ストレージサブシステム、及びこれを有するストレージシステム | |
US7493443B2 (en) | Storage system utilizing improved management of control information | |
US9298397B2 (en) | Nonvolatile storage thresholding for ultra-SSD, SSD, and HDD drive intermix | |
US20130054883A1 (en) | Method and system for shared high speed cache in sas switches | |
JP5712535B2 (ja) | ストレージ装置、制御部およびストレージ装置制御方法 | |
JP5761209B2 (ja) | ストレージ制御装置、及び、そのプログラム | |
US11385815B2 (en) | Storage system | |
JP7288191B2 (ja) | ストレージ制御装置およびストレージ制御プログラム | |
JP5333932B2 (ja) | ディスクアレイ装置及びその制御方法 | |
JP2010170268A (ja) | ストレージシステムの制御方法、ストレージ制御装置及びプログラム | |
JP2015099495A (ja) | ストレージ制御装置、ストレージ制御方法及びストレージ制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140930 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141128 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150512 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150525 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5761209 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |