JP6372111B2 - Storage system - Google Patents

Storage system Download PDF

Info

Publication number
JP6372111B2
JP6372111B2 JP2014051449A JP2014051449A JP6372111B2 JP 6372111 B2 JP6372111 B2 JP 6372111B2 JP 2014051449 A JP2014051449 A JP 2014051449A JP 2014051449 A JP2014051449 A JP 2014051449A JP 6372111 B2 JP6372111 B2 JP 6372111B2
Authority
JP
Japan
Prior art keywords
storage
distributed
data
storage device
determined
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014051449A
Other languages
Japanese (ja)
Other versions
JP2015176279A (en
Inventor
貴彦 結城
貴彦 結城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2014051449A priority Critical patent/JP6372111B2/en
Publication of JP2015176279A publication Critical patent/JP2015176279A/en
Application granted granted Critical
Publication of JP6372111B2 publication Critical patent/JP6372111B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、ストレージシステムにかかり、特に、データを複数の記憶装置に分散して記憶するストレージシステムに関する。   The present invention relates to a storage system, and more particularly to a storage system that stores data in a distributed manner in a plurality of storage devices.

近年、ディザスタリカバリ観点による業務データのバックアップ運用が加速しており、それに伴い大容量のストレージ装置の使用台数も増加している。そして、データをバックアップする際には、記憶データの信頼性を高めるべく、冗長性を高め、複数のストレージ装置に分散配置することが行われている。   In recent years, backup operation of business data from the viewpoint of disaster recovery has been accelerated, and the number of large-capacity storage devices used has increased accordingly. When data is backed up, in order to increase the reliability of stored data, redundancy is increased and distributed arrangement is performed in a plurality of storage devices.

しかしながら、ストレージ装置は通常のサーバと比べると消費電力が大きく、また、夏季には電力不足の問題も生じるため、企業の各職場や事業場においても省電力需要が高まっている。このため、ストレージ装置の使用電力をいかに削減するかが、バックアップ運用において課題となっている。   However, the storage device consumes more power than a normal server, and there is a problem of power shortage in the summer. Therefore, the demand for power saving is increasing in each workplace and business place of a company. For this reason, how to reduce the power consumption of the storage apparatus is a problem in backup operation.

特開2009−271828号公報JP 2009-271828 A

ここで、ストレージの省電力を実現する技術として、PARAIDがある。この技術は、RAIDを構成する各ディスクのパリティ配置を偏らせることにより、アクティブ状態のディスク数を少なくすることで省電力を実現している。   Here, PARAID is a technology for realizing power saving of storage. This technology realizes power saving by reducing the number of disks in the active state by biasing the parity arrangement of each disk constituting the RAID.

また、上記特許文献1には、更新されたデータと読み出されたデータを、アドレスの小さい番地から順番に追記する技術が開示されている。これにより、アクセスされないデータがアドレスの小さい方に固まるため、アクセスされないデータを集めたディスク装置を節電モードにしている。   Japanese Patent Application Laid-Open No. 2004-228561 discloses a technique for adding updated data and read data in order from a small address. As a result, unaccessed data is consolidated in the smaller address, and the disk device that collects the unaccessed data is set to the power saving mode.

しかしながら、上述した技術のいずれも、特定のディスクに対してのみデータの読み書きが行われるようになってしまう。このため、特定のディスクに対する負荷が高まり、性能が低下したり、寿命が短くなる、といった問題が生じる。   However, any of the above-described techniques allows data to be read and written only to a specific disk. For this reason, the load with respect to a specific disk increases, and the problem that performance falls or a lifetime becomes short arises.

このため、本発明の目的は、上述した課題である、ストレージシステムの省電力化を図りつつ、当該ストレージシステムの性能の低下や短寿命化、といった問題を解決することにある。   For this reason, an object of the present invention is to solve the above-described problems such as the reduction in performance and the shortening of the life of the storage system while reducing the power consumption of the storage system.

本発明の一形態であるストレージシステムは、
データの分散記憶処理の内容を表し、データを分散する記憶装置の数を表す分散数を含むジョブデータを記憶して管理する記憶処理内容管理手段と、
前記ジョブデータに基づいて、記憶するデータを前記分散数の記憶装置に分散して記憶する分散記憶制御手段と、を備え、
前記分散記憶制御手段は、前記分散数に基づいて少なくとも前記分散数の記憶装置を決定し、当該決定した記憶装置のみの電源をオンにする、
という構成をとる。
A storage system according to an aspect of the present invention
Storage processing content management means for storing and managing job data including the number of distributions representing the number of storage devices to which data is distributed;
Distributed storage control means for distributing and storing data to be stored in the distributed number of storage devices based on the job data,
The distributed storage control means determines at least the storage devices of the distributed number based on the distributed number, and turns on only the determined storage device;
The configuration is as follows.

また、本発明の他の形態であるプログラムは、
情報処理装置に、
データの分散記憶処理の内容を表し、データを分散する記憶装置の数を表す分散数を含むジョブデータを記憶して管理する記憶処理内容管理手段と、
前記ジョブデータに基づいて、記憶するデータを前記分散数の記憶装置に分散して記憶する分散記憶制御手段と、を実現させるプログラムであり、
前記分散記憶制御手段は、前記分散数に基づいて少なくとも前記分散数の記憶装置を決定し、当該決定した記憶装置のみの電源をオンにする、
という構成をとる。
Moreover, the program which is the other form of this invention is:
In the information processing device,
Storage processing content management means for storing and managing job data including the number of distributions representing the number of storage devices to which data is distributed;
Distributed storage control means for distributing and storing data to be stored in the distributed number of storage devices based on the job data,
The distributed storage control means determines at least the storage devices of the distributed number based on the distributed number, and turns on only the determined storage device;
The configuration is as follows.

また、本発明の他の形態である分散記憶方法は、
データの分散記憶処理の内容を表し、データを分散する記憶装置の数を表す分散数を含むジョブデータを記憶して管理し、
前記ジョブデータに基づいて、記憶するデータを前記分散数の記憶装置に分散して記憶する、分散記憶方法であって、
前記分散数に基づいて少なくとも前記分散数の記憶装置を決定し、当該決定した記憶装置のみの電源をオンにして、前記ジョブデータに基づいて分散記憶処理を行う、
という構成をとる。
In addition, a distributed storage method according to another aspect of the present invention includes:
Represents the contents of the distributed storage processing of data, stores and manages job data including the number of distributions representing the number of storage devices that distribute the data,
A distributed storage method for storing data to be stored in a distributed number of storage devices based on the job data,
Determining at least the number of storage devices based on the number of distributions, turning on only the determined storage devices, and performing distributed storage processing based on the job data;
The configuration is as follows.

本発明は、以上のように構成されることにより、ストレージシステムの省電力化を図りつつ、性能の低下や短寿命化を抑制することができる。   With the configuration as described above, the present invention can suppress a decrease in performance and a shortened life while saving power in the storage system.

本発明の実施形態1におけるバックアップ装置の構成を示す機能ブロック図である。It is a functional block diagram which shows the structure of the backup device in Embodiment 1 of this invention. 図1に開示したジョブテーブルのデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of the job table disclosed in FIG. 図1に開示した切り替え時刻テーブルのデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of the switching time table disclosed in FIG. 図1に開示したディレクトリ情報テーブルのデータ構造の一例を示す図である。It is a figure which shows an example of the data structure of the directory information table disclosed in FIG. 図1に開示したバックアップ装置におけるバックアップ時の動作を説明するための説明図である。FIG. 2 is an explanatory diagram for explaining an operation at the time of backup in the backup device disclosed in FIG. 1. 図1に開示したバックアップ装置にて処理されるデータの一例を示す図である。It is a figure which shows an example of the data processed with the backup apparatus disclosed in FIG. 図1に開示したバックアップ装置にて処理されるデータの一例を示す図である。It is a figure which shows an example of the data processed with the backup apparatus disclosed in FIG. 図1に開示したバックアップ装置にて処理されるデータの一例を示す図である。It is a figure which shows an example of the data processed with the backup apparatus disclosed in FIG. 図1に開示したバックアップ装置にて処理されるデータの一例を示す図である。It is a figure which shows an example of the data processed with the backup apparatus disclosed in FIG. 図1に開示したバックアップ装置によるストレージノードの様子を説明するための説明図である。It is explanatory drawing for demonstrating the mode of the storage node by the backup apparatus disclosed in FIG. 図1に開示したバックアップ装置にて処理されるデータの一例を示す図である。It is a figure which shows an example of the data processed with the backup apparatus disclosed in FIG. 図1に開示したバックアップ装置にて処理されるデータの一例を示す図である。It is a figure which shows an example of the data processed with the backup apparatus disclosed in FIG. 図1に開示したバックアップ装置によるストレージノードの様子を説明するための説明図である。It is explanatory drawing for demonstrating the mode of the storage node by the backup apparatus disclosed in FIG. 図1に開示したバックアップ装置におけるリストア時の動作を説明するための説明図である。FIG. 7 is an explanatory diagram for explaining an operation at the time of restoration in the backup device disclosed in FIG. 1. 図1に開示したバックアップ装置にて処理されるデータの一例を示す図である。It is a figure which shows an example of the data processed with the backup apparatus disclosed in FIG. 本発明の付記1におけるストレージシステムの構成を示すブロック図である。It is a block diagram which shows the structure of the storage system in attachment 1 of this invention.

<実施形態1>
本発明の第1の実施形態を、図1乃至図15を参照して説明する。図1乃至図4は、バックアップ装置の構成を説明するための図である。図5は、バックアップ装置のバックアップ時の動作を説明するための図である。図6乃至図9は、バックアップ装置にて処理されるデータの一例を示す図である。図10は、ストレージノードの様子を説明するための図である。図11乃至図12は、バックアップ装置にて処理されるデータの一例を示す図である。図13は、ストレージノードの様子を説明するための図である。図14は、バックアップ装置のリストア時の動作を説明するための図である。図15は、バックアップ装置にて処理されるデータの一例を示す図である。
<Embodiment 1>
A first embodiment of the present invention will be described with reference to FIGS. 1 to 4 are diagrams for explaining the configuration of the backup device. FIG. 5 is a diagram for explaining the operation at the time of backup of the backup device. 6 to 9 are diagrams illustrating an example of data processed by the backup device. FIG. 10 is a diagram for explaining the state of the storage node. 11 to 12 are diagrams illustrating an example of data processed by the backup device. FIG. 13 is a diagram for explaining the state of the storage node. FIG. 14 is a diagram for explaining the operation at the time of restoration of the backup device. FIG. 15 is a diagram illustrating an example of data processed by the backup device.

[構成]
本発明におけるバックアップ装置100は、バックアップ対象装置40からバックアップ対象となるデータを受けて、当該データを記憶装置に分散記憶するストレージシステムである。また、バックアップ装置100は、記憶装置に記憶したデータを、リストア先50となる他の記憶装置にリストアする機能も有する。
[Constitution]
The backup device 100 according to the present invention is a storage system that receives data to be backed up from the backup target device 40 and distributes and stores the data in storage devices. The backup device 100 also has a function of restoring data stored in the storage device to another storage device serving as the restore destination 50.

具体的に、バックアップ装置100は、図1に示すように、バックアップサーバ10と、データを分散冗長配置するグリッド型のストレージノード群20と、を備えて構成されている。   Specifically, as shown in FIG. 1, the backup device 100 includes a backup server 10 and a grid-type storage node group 20 in which data is distributed and redundantly arranged.

バックアップサーバ10は、演算装置を備えた情報処理装置であり、当該演算装置にプログラムが組み込まれることで構築された、バックアップジョブを管理するジョブ管理部11と、主にストレージノード群20にデータをWriteする記憶制御部12と、を備えている。   The backup server 10 is an information processing apparatus including an arithmetic device, and stores data in a job management unit 11 that manages a backup job, which is built by incorporating a program in the arithmetic device, and mainly in the storage node group 20. And a storage control unit 12 for writing.

また、ストレージノード群20は、複数のストレージノード21を備えて構成されている。ストレージノード21は、記憶装置を備えた情報処理装置であり、後述するように、バックアップサーバ10から分散記憶処理により、バックアップ対象となるデータが分散されて記憶される。ストレージノード21の名称(識別情報)は、図1に示すように、1台目を「No.0」とし、N台目を「No.(N-1)」とする。なお、図1の例では、6台(No.0〜No.5)のストレージノード21を備えている場合を例示しているが、ストレージノード21の数はこれに限定されず、最少1台のストレージノード21で構成されてもよい。   The storage node group 20 includes a plurality of storage nodes 21. The storage node 21 is an information processing apparatus provided with a storage device, and as will be described later, data to be backed up is distributed and stored from the backup server 10 by distributed storage processing. As shown in FIG. 1, the name (identification information) of the storage node 21 is “No. 0” for the first unit and “No. (N-1)” for the N unit. In the example of FIG. 1, a case where six (No. 0 to No. 5) storage nodes 21 are provided is illustrated, but the number of storage nodes 21 is not limited to this, and at least one storage node 21 is provided. The storage node 21 may be configured.

ジョブ管理部11(記憶処理内容管理手段)は、ユーザ30が登録したバックアップジョブのデータ(ジョブデータ)を格納するジョブテーブル11aを有する。ユーザ30がバックアップサーバ10にバックアップジョブを登録すると、ジョブテーブル11aに新たなレコードとして、バックアップジョブのデータが追加される。ジョブテーブル11aは、バックアップジョブによるバックアップ対象データの分散処理の内容を表すデータであり、例えば、図2に示すように構成される。特に、ジョブテーブル11aの各レコードには、バックアップ対象データを分散記憶する対象となるストレージノードの数を表す分散ノード数(分散数)を含んでいる。そして、ジョブ管理部11は、ジョブテーブル11aの「次回開始時刻」に沿って、バックアップジョブをスケジュール実行し、記憶制御部12に実行するジョブのデータを伝達する。   The job management unit 11 (storage processing content management means) has a job table 11a for storing backup job data (job data) registered by the user 30. When the user 30 registers a backup job in the backup server 10, the backup job data is added to the job table 11a as a new record. The job table 11a is data representing the content of distributed processing of backup target data by a backup job, and is configured as shown in FIG. 2, for example. In particular, each record of the job table 11a includes the number of distributed nodes (the number of distributions) that represents the number of storage nodes that are the targets of distributed storage of backup target data. Then, the job management unit 11 schedules the backup job along the “next start time” in the job table 11 a and transmits the job data to be executed to the storage control unit 12.

記憶制御部12は、ジョブ管理部11からジョブのデータを受け取ると、後述するように、分散ノード数に基づいてWrite先(記憶対象)となるストレージノード21を決定する。そして、必要に応じてWrite先となるストレージノード21の電源をON(オン)にした後、バックアップ対象装置40からバックアップ対象データをReadし(読み込み)、ストレージノード21に分散してWriteする(記憶する)。このとき、記憶制御部12が電源をONすることを決定するストレージノード21は、Write先となるストレージノード21だけでなく、前回のバックアップでWrite先となっていた最新世代のデータが格納されているストレージノード21も対象となる。   When the storage control unit 12 receives job data from the job management unit 11, the storage control unit 12 determines a storage node 21 to be a write destination (storage target) based on the number of distributed nodes, as will be described later. Then, after turning on the power of the storage node 21 that is the write destination as necessary, the backup target data is read from the backup target device 40, and distributed to the storage nodes 21 to be written (stored). To do). At this time, the storage node 21 for which the storage control unit 12 decides to turn on the power stores not only the storage node 21 that is the write destination but also the latest generation data that was the write destination in the previous backup. The existing storage node 21 is also targeted.

また、記憶制御部12は、バックアップを実行する毎に、ストレージノード21の組み合わせを変更して決定する。ストレージノード21の組み合わせを決定する具体例については、後の動作説明時に詳述する。   In addition, the storage control unit 12 changes and determines the combination of the storage nodes 21 every time backup is executed. A specific example of determining the combination of storage nodes 21 will be described in detail later when the operation is described.

また、記憶制御部12は、切り替え時刻テーブル12aとディレクトリ情報テーブル12bとを持つ。切り替え時刻テーブル12aは、ユーザ30がシステムの初回使用時に登録するデータである1日のうちでバックアップが行われない時間を、システム切り替え時刻として格納しており、例えば、図3に示すように構成される。なお、切り替え時刻テーブル12aは、ユーザ任意での新規のレコード追加は行わない。   The storage control unit 12 has a switching time table 12a and a directory information table 12b. The switching time table 12a stores, as the system switching time, a time during which backup is not performed within one day, which is data registered when the user 30 uses the system for the first time. For example, the switching time table 12a is configured as shown in FIG. Is done. The switching time table 12a does not add a new record arbitrarily by the user.

また、ディレクトリ情報テーブル12bは、バックアップ対象データをストレージノード21にWriteした後に、ジョブ名やWriteしたデータのストレージノード21上の格納位置などが新規レコードとして追加される。なお、ディレクトリ情報テーブル12bは、一般的なファイルシステムが持つディレクトリ情報に加えて、図4に示す項目の情報を持つものとする。   In the directory information table 12b, after writing the backup target data to the storage node 21, the job name, the storage position of the written data on the storage node 21, and the like are added as a new record. The directory information table 12b has information on items shown in FIG. 4 in addition to the directory information of a general file system.

[動作]
次に、本実施形態におけるバックアップ装置1によるバックアップ動作及びリストア動作を説明する。なお、この動作説明にて、上述したバックアップ装置1の各構成の機能についても詳細に説明する。
[Operation]
Next, a backup operation and a restore operation by the backup device 1 in this embodiment will be described. In addition, in this operation description, the function of each component of the backup device 1 described above will also be described in detail.

(日次(Daily)バックアップ)
まず、日次(Daily)バックアップつまり毎日のバックアップをスケジュール実行する際の動作について、図5乃至図10を参照して説明する。なお、この日次バックアップのジョブは、1日で終わるものと仮定する。
(Daily backup)
First, an operation when performing a daily backup, that is, a daily backup will be described with reference to FIGS. It is assumed that this daily backup job ends in one day.

まず、ユーザ30は、1日のうちバックアップが実行されない時間帯(分単位)を、バックアップサーバ10に対して登録する(図5の矢印A1)。この手順は、バックアップ装置1の初回利用時に必ず行われる。この例では、今回は初回利用時であったと仮定し、例えば、ユーザ30が「12:00」と入力したとする。その後、バックアップサーバ10の記憶制御部12は、図6に示すように、切り替え時刻テーブル12aのバックアップ切り替え時刻に「12:00」を入力し、切り替え時刻テーブル12aのシステム稼働日数に「0」を入力する。   First, the user 30 registers in the backup server 10 a time zone (in minutes) during which backup is not executed in one day (arrow A1 in FIG. 5). This procedure is always performed when the backup device 1 is used for the first time. In this example, it is assumed that this time is the first use, and for example, the user 30 inputs “12:00”. Thereafter, as shown in FIG. 6, the storage control unit 12 of the backup server 10 inputs “12:00” as the backup switching time in the switching time table 12a and sets “0” as the number of system operating days in the switching time table 12a. input.

次に、ユーザ30は、バックアップサーバ10にバックアップジョブ(以下、ジョブ)の登録を行う(図5の矢印A2)。ジョブの登録の際、ユーザ30は、ジョブ一つにつき図7(A)に示す項目のデータを全て入力する。なお、ここでは、ユーザ30は図7(B)に示す値をジョブとして入力したとする。その後、バックアップサーバ10のジョブ管理部11は、図7(B)に示す入力された「スケジュール」の時刻と、システムの現在時刻から、「次回開始時刻」を算出する。そして、ジョブ管理部11は、図7(B)の入力された情報と算出した「次回開始時刻」とに基づいて、図8(A)に示すように、ジョブテーブル11aに新規レコードのジョブを追加する。   Next, the user 30 registers a backup job (hereinafter referred to as a job) in the backup server 10 (arrow A2 in FIG. 5). When registering a job, the user 30 inputs all the data items shown in FIG. 7A for each job. Here, it is assumed that the user 30 inputs the value shown in FIG. 7B as a job. Thereafter, the job management unit 11 of the backup server 10 calculates the “next start time” from the input “schedule” time shown in FIG. 7B and the current system time. Then, based on the input information shown in FIG. 7B and the calculated “next start time”, the job management unit 11 adds the job of the new record to the job table 11a as shown in FIG. 8A. to add.

ジョブ管理部11は、毎分、ジョブテーブル11aに登録されているジョブの「次回開始時刻」列を参照する。「次回開始時刻」の列にシステムの現在時刻と等しいデータがある場合、そのデータのレコードのバックアップジョブを開始する。図8(A)のジョブテーブル11aの例では、「2013/11/11 21:00」にバックアップジョブが開始される。そして、ジョブ管理部11は、バックアップジョブの開始時に、図8(B)に示すように、システムの現在時刻をジョブテーブル11aの「最終開始時刻」に入力する。また、ジョブ管理部11は、システムの現在時刻と「ジョブ種別」から、「次回開始時刻」を算出し、ジョブテーブル11aの当該「次回開始時刻」項目を上書きする。この例では、「ジョブ種別」が日次(Daily)バックアップであるため、1日後の日時を「次回開始時刻」に上書きする。   The job management unit 11 refers to the “next start time” column of the job registered in the job table 11a every minute. If there is data in the “next start time” column that is equal to the current time of the system, a backup job for the record of that data is started. In the example of the job table 11a in FIG. 8A, the backup job is started at “2013/11/11 21:00”. Then, at the start of the backup job, the job management unit 11 inputs the current time of the system to the “final start time” of the job table 11a as shown in FIG. 8B. Further, the job management unit 11 calculates the “next start time” from the current time of the system and the “job type”, and overwrites the “next start time” item in the job table 11 a. In this example, since the “job type” is a daily backup, the date and time after one day is overwritten with the “next start time”.

その後、ジョブ管理部11は、ジョブテーブル11中の実行するジョブのレコードの一部を、記憶制御部12に伝達する(図5の矢印A3)。ここでは、図8(C)に示すように、ジョブのレコードから、ジョブ名、ジョブ種別、バックアップ対象データ、分散ノード数、パリティ数、世代、のデータを、記憶制御部12に伝達する。   Thereafter, the job management unit 11 transmits a part of the record of the job to be executed in the job table 11 to the storage control unit 12 (arrow A3 in FIG. 5). Here, as shown in FIG. 8C, the job name, job type, data to be backed up, the number of distributed nodes, the number of parity, and the generation are transmitted to the storage control unit 12 from the job record.

記憶制御部12は、図8(C)に示すジョブのレコードの一部データを受け取ると、仮想ノードグループを決定する。ここで、決定する仮想ノードグループとは、バックアップ対象データの分散格納処理の際に、電源をONにするストレージノード21の組み合わせであり、少なくともバックアップ対象データを分散する分散先となる複数のストレージノード21を含む。なお、仮想ノードグループとして決定されるストレージノード21は、分散先となるストレージノード21だけで構成されていてもよく、後述するように、前回のバックアップ時に格納先となっていたストレージノード21を含んでいてもよい。   When the storage control unit 12 receives partial data of the job record shown in FIG. 8C, the storage control unit 12 determines a virtual node group. Here, the virtual node group to be determined is a combination of the storage nodes 21 that are turned on in the distributed storage processing of the backup target data, and at least a plurality of storage nodes that are the distribution destinations for distributing the backup target data 21 is included. Note that the storage node 21 determined as the virtual node group may be composed of only the storage node 21 that is the distribution destination, and includes the storage node 21 that was the storage destination at the time of the previous backup, as will be described later. You may go out.

具体的に、記憶制御部12は、図8(C)に示すジョブのレコードに含まれる「分散ノード数」と、図6に示す切り替え時刻テーブル12aの「システム稼働日数」と、を用いて、下記計算式(1)に基づいて、仮想ノードグループを決定する。   Specifically, the storage control unit 12 uses the “number of distributed nodes” included in the job record shown in FIG. 8C and the “system operating days” in the switching time table 12a shown in FIG. A virtual node group is determined based on the following calculation formula (1).

仮想ノードグループを決定する計算式(1)は、以下のように、ストレージノード21の名称(No.)となる数値を算出するよう設定されている。
・計算式(1)
[No.(システム稼働日数%ストレージノード台数),No.((システム稼働日数+1)%ストレージノード台数),・・・,No.((システム稼働日数+(分散ノード数−1))%ストレージノード台数)]
The calculation formula (1) for determining the virtual node group is set so as to calculate a numerical value to be the name (No.) of the storage node 21 as follows.
・ Calculation formula (1)
[No. (system working days% number of storage nodes), No. ((system working days + 1)% number of storage nodes), ..., No. ((system working days + (number of distributed nodes-1))% storage Number of nodes)]

なお、上記計算式(1)における「%」は、(システム稼働日数)と(分散ノード数:0〜(最大値−1))の和を、(ストレージノード台数)で割ったときの剰余、を表している。従って、初回のバックアップジョブ実行時には、「No.0」〜「No.(分散ノード数−1)」のストレージノード21の組み合わせが、仮想ノードグループとして決定されることとなる。今回の例では、「分散ノード数」が「3」であるため、図10の斜線で示すように、「No.0, No.1, No.2」といった3つのストレージノード21が、仮想ノードグループとして決定される。但し、仮想ノードグループを決定する方法は、上述した計算式(1)であることに限定されず、いかなる方法で決定されてもよい。   Note that “%” in the above formula (1) is the remainder when the sum of (system operating days) and (number of distributed nodes: 0 to (maximum value−1)) is divided by (number of storage nodes), Represents. Therefore, when the first backup job is executed, the combination of the storage nodes 21 “No. 0” to “No. (number of distributed nodes −1)” is determined as a virtual node group. In this example, since the “number of distributed nodes” is “3”, the three storage nodes 21 such as “No. 0, No. 1, No. 2” are virtual nodes as shown by the hatched lines in FIG. Determined as a group. However, the method of determining the virtual node group is not limited to the above-described calculation formula (1), and may be determined by any method.

記憶制御部12は、仮想ノードグループが決定すると、仮想ノードグループを構成する各ストレージノード21に対してアクセスが可能かを確認する。電源がOFF(オフ)であることによりアクセスができないストレージノード21が存在する場合には、かかるストレージノード21の電源をONにするよう制御する(図4の矢印A4)。今回の例では、「No.0, No.1, No.2」ストレージノードのみの電源がONになる。なお、記憶制御部12は、仮想ノードグループとして決定されなかったその他のストレージノードの電源がONである場合には、これらの電源をOFFにしてもよい。   When the virtual node group is determined, the storage control unit 12 confirms whether the storage nodes 21 constituting the virtual node group can be accessed. When there is a storage node 21 that cannot be accessed due to the power being turned off, the storage node 21 is controlled to be turned on (arrow A4 in FIG. 4). In this example, only the “No.0, No.1, No.2” storage node is powered on. Note that the storage control unit 12 may turn off the power of other storage nodes that have not been determined as a virtual node group.

記憶制御部12は、仮想ノードグループへアクセスができることを確認した後、図8(C)に示される「バックアップ対象データ」を参照して、バックアップ対象装置40からデータをReadする(図5の矢印A5)。そして、バックアップ対象データに対して「パリティ数」の値のパリティを付加して、決定した仮想ノードグループ「No.0, No.1, No.2」の各ストレージノード21に、分散してWriteする(分散冗長配置する)(図5の矢印A6)。このとき、初回のバックアップ時には、仮想ノードグループとして「分散ノード数」のストレージノード21しか決定されていないため、仮想ノードグループを構成する全てのストレージノード21を分散記憶の対象としている。   After confirming that the virtual node group can be accessed, the storage control unit 12 reads data from the backup target device 40 with reference to “backup target data” shown in FIG. 8C (arrow in FIG. 5). A5). Then, the parity of the “number of parity” value is added to the backup target data, and distributed to each storage node 21 of the determined virtual node group “No. 0, No. 1, No. 2”. (Distributed redundant arrangement) (arrow A6 in FIG. 5). At this time, since only the “distributed node” storage nodes 21 are determined as the virtual node group at the time of the first backup, all the storage nodes 21 constituting the virtual node group are targeted for distributed storage.

記憶制御部12は、上述したWrite完了後、図8(C)に示すレコードの「世代」に「1」を加算し、Writeしたデータの情報を、図9(A)に示すように、ディレクトリ情報テーブル12bに新規レコードとして追加する。なお、このレコードからなるデータは、ディレクトリ情報と呼ばれ、ユーザからの情報閲覧要求に応じて提供される。また、記憶制御部12は、「Write完了時刻」と「世代」をジョブ管理部11に返却し、ジョブ管理部11は、受け取った値を、図9(B)に示すように、ジョブテーブル11a内の該当レコードの「最終完了時刻」と「世代」に、それぞれ入力する。   The storage control unit 12 adds “1” to the “generation” of the record shown in FIG. 8C after the completion of the above-mentioned write, and writes the information of the written data into the directory as shown in FIG. 9A. A new record is added to the information table 12b. The data consisting of this record is called directory information and is provided in response to an information browsing request from the user. Further, the storage control unit 12 returns the “Write completion time” and “generation” to the job management unit 11, and the job management unit 11 sets the received values to the job table 11a as shown in FIG. 9B. Enter the “Last completion time” and “Generation” of the corresponding record.

続いて、2回目以降となる翌日の日次(Daily)バックアップの動作について説明する。記憶制御部12は、図6に示す切り替え時刻テーブル12aの「バックアップ切り替え時刻」を毎分参照する。そして、現在時刻と「バックアップ切り替え時刻」が等しい場合、切り替え時刻テーブルの「システム稼働日数」に「1」を加算し、また、図9(A)に示すディレクトリ情報テーブル12bの「分散ノード数」列を参照して、「分散ノード数」の最大値を取得する。   Next, the daily backup operation on the next day after the second time will be described. The storage control unit 12 refers to the “backup switching time” in the switching time table 12a shown in FIG. 6 every minute. When the current time is equal to the “backup switching time”, “1” is added to “system operating days” in the switching time table, and “number of distributed nodes” in the directory information table 12b shown in FIG. 9A. Referring to the column, obtain the maximum value of “number of distributed nodes”.

記憶制御部12は、上述した「システム稼働日数」と「分散ノード数」とを用いて、下記計算式(2)に基づいて、新たな仮想ノードグループを決定する。計算式(2)では、以下のように、前回の仮想ノードグループから外して電源をOFFにするストレージノードと、新たに仮想ノードグループに追加して電源をONにするストレージノードと、の名称(No.)となる数値を算出するよう設定されている。   The storage control unit 12 determines a new virtual node group based on the following calculation formula (2) using the “system operating days” and the “distributed node number”. In the calculation formula (2), the names of storage nodes that are removed from the previous virtual node group and turned off, and storage nodes that are newly added to the virtual node group and turned on are as follows: No.) is set to calculate the numerical value.

・計算式(2)
電源ON:No.(システム稼働日数+(分散ノード数−1))%ストレージノード台数
電源OFF:No.(システム稼働日数−2)%ストレージノード台数
・ Calculation formula (2)
Power ON: No. (system operating days + (number of distributed nodes -1))% number of storage nodes Power OFF: No. (system operating days -2)% number of storage nodes

なお、上記計算式(2)における「%」は、「(システム稼働日数)と(分散ノード数−1)の和」あるいは「(システム稼働日数)−2」を、(ストレージノード台数)で割ったときの剰余、を表している。従って、前回、仮想ノードグループとして決定され電源がONになっている「No.0, No.1, No.2」の3つのストレージノードに対して、「システム稼働日数」が「1」となったため、上記計算式(2)により新たに「No.3」のストレージノードの電源がONとなる。一方、電源がOFFとなるストレージノードはいずれも該当しない。その結果、前回の組み合わせとは異なる「No.0, No.1, No.2, No.3」の4つのストレージノード21の組み合わせが、新たな仮想ノードグループとして決定される。   In the above formula (2), “%” is obtained by dividing “(the number of system operating days) and (the number of distributed nodes−1)” or “(the system operating days) −2” by (the number of storage nodes). Represents the surplus. Therefore, the “system operating days” is “1” for the three storage nodes “No.0, No.1, No.2” that were previously determined as virtual node groups and turned on. Therefore, the power of the storage node “No. 3” is newly turned on by the above calculation formula (2). On the other hand, none of the storage nodes are turned off. As a result, a combination of four storage nodes 21 of “No. 0, No. 1, No. 2, No. 3” different from the previous combination is determined as a new virtual node group.

そして、記憶制御部12は、上述したように電源をON、OFFにすると決定したストレージノード21に対して、それぞれ電源ON、OFFの操作を行う。上記の場合は、「No.3」のストレージノードの電源ON操作のみを行う。すると、図10(B)の斜線に示すように、「No.0, No.1, No.2, No.3」の4つのストレージノード21の電源がONの状態となる。この場合、新たに追加された「No.3」と、番号が大きい「No.1」「No.2」の3つのストレージノードのみが分散記憶の対象となる。一方、「No.0」のストレージノードは、分散記憶の対象とはならないが、前回の分散記憶の対象となっていたため、最新世代のデータが記憶されている。このため、「No.0」のストレージノードの電源をONにしておくことで、即時にデータをReadすることができる。   Then, the storage control unit 12 performs a power ON / OFF operation on the storage node 21 determined to be turned ON / OFF as described above. In the above case, only the power-on operation of the storage node “No. 3” is performed. Then, as indicated by the oblique lines in FIG. 10B, the power supplies of the four storage nodes 21 “No. 0, No. 1, No. 2, No. 3” are turned on. In this case, only the newly added “No. 3” and three storage nodes “No. 1” and “No. 2” with larger numbers are targets for distributed storage. On the other hand, the storage node of “No. 0” is not the target of distributed storage, but is the target of the previous distributed storage, so the latest generation data is stored. Therefore, data can be read immediately by turning on the power of the storage node “No. 0”.

なお、さらに次の日は、「システム稼働日数」が「2」となるため、図10(C)の斜線に示す前回とは異なる組み合わせである「No.1, No.2, No.3, No.4」の4つのストレージノード21が、仮想ストレージノードとして決定される。つまり、「No.4」のストレージノードの電源がONになり、「No.0」のストレージノードの電源がOFFとなる。そして、新たに追加された「No.4」と、番号が大きい「No.2」「No.3」の3つのストレージノードのみが分散記憶の対象となり、「No.1」のストレージノードは、最新世代のデータのReadのために電源がONの状態となっている。   Furthermore, on the next day, since “system working days” is “2”, “No.1, No.2, No.3, The four storage nodes 21 of “No. 4” are determined as virtual storage nodes. That is, the power of the storage node “No. 4” is turned on, and the power of the storage node “No. 0” is turned off. Only the newly added “No. 4” and the three storage nodes with the larger numbers “No. 2” and “No. 3” are subject to distributed storage, and the storage node of “No. 1” The power is on to read the latest generation of data.

以上のように、本実施形態では、一日ごとに値が1ずつ加算される「システム稼働日数」を含めた上記計算式(2)で、電源ONのストレージノードと、電源OFFのストレージノードを決定することにしている。これにより、一日ずつ、仮想ノードグループを構成するストレージノードの組み合わせがローテーションされることとなり、各ストレージノードに記憶されるデータの容量を均一化しつつ、省電力化を図ることができる。その結果、特定のストレージノードに負荷が集中することを抑制することができ、ストレージシステムにおける性能の低下や寿命の短命化を抑制することができる。   As described above, in the present embodiment, the above-mentioned calculation formula (2) including “system operating days” in which a value is incremented by 1 every day is used to determine whether a power-on storage node and a power-off storage node are I will decide. As a result, the combination of storage nodes constituting the virtual node group is rotated one day at a time, and power saving can be achieved while equalizing the capacity of data stored in each storage node. As a result, it is possible to suppress a load from being concentrated on a specific storage node, and it is possible to suppress a decrease in performance and a shortened life of the storage system.

これに加え、本実施形態では、最新世代のデータを記憶しているストレージノードも仮想ノードグループに含めて電源をONにしている。これにより、省電力化を図りつつ、即時に最新世代のデータをReadすることができる。なお、仮想ノードグループを決定する方法は、上述した計算式(2)を用いることに限定されず、いかなる方法で決定されてもよい。   In addition, in this embodiment, the storage node storing the latest generation data is also included in the virtual node group and the power is turned on. As a result, the latest generation data can be read immediately while saving power. The method for determining the virtual node group is not limited to using the above-described calculation formula (2), and may be determined by any method.

(週次(Weekly)バックアップ)
次に、週次(Weekly)バックアップつまり週に1度のバックアップをスケジュール実行する際の動作について、図5、及び、図11乃至図12を参照して説明する。ここでは、上述した日次バックアップの翌日に、週次バックアップを登録し、スケジュール実行する処理を例に挙げて説明する。そのため、図5の矢印A1に示すバックアップが実行されない時間帯の登録は行われない。なお、本説明でのバックアップジョブは、1日で終わるものと仮定する。
(Weekly backup)
Next, an operation when a weekly backup, that is, a backup once a week is executed will be described with reference to FIGS. 5 and 11 to 12. Here, a description will be given by taking as an example a process of registering a weekly backup on the day after the daily backup described above and executing the schedule. For this reason, registration is not performed during a time period when the backup indicated by arrow A1 in FIG. 5 is not executed. Note that the backup job in this description is assumed to end in one day.

ユーザ30は、バックアップサーバ10にジョブの登録を行う(図5の矢印A2)。登録の際、ユーザ30は、ジョブ一つにつき、図7(A)に示す項目を全て入力する。なお、登録されたジョブがジョブテーブル11aに新規レコードとして追加された場合の一例を、図11(A)の3行目に示す。   The user 30 registers a job in the backup server 10 (arrow A2 in FIG. 5). At the time of registration, the user 30 inputs all items shown in FIG. 7A for one job. An example of a case where a registered job is added as a new record to the job table 11a is shown in the third line of FIG.

その後、ジョブの「次回開始時刻」に従い、「2013/11/12 23:30」にバックアップジョブが開始される。すると、ジョブ管理部11は、図11(B)に示すように、実行するジョブのジョブテーブル11aのレコードの一部を、記憶制御部12に伝達する(図5の矢印A3)。   Thereafter, according to the “next start time” of the job, the backup job is started at “2013/11/12 23:30”. Then, as shown in FIG. 11B, the job management unit 11 transmits a part of the record of the job table 11a of the job to be executed to the storage control unit 12 (arrow A3 in FIG. 5).

記憶制御部12は、図11(B)に示すデータを受け取り、この中の「分散ノード数」と、図11(C)に示す切り替え時刻テーブル12aの「システム稼働日数」を参照して、Write先のストレージノードの組み合わせである仮想ノードグループを決定する。このとき、上述した計算式(1)を用いることで、今回の例では、「No.1, No.2, No.3」の3つのストレージノード21が、仮想ノードグループとして決定される。   The storage control unit 12 receives the data shown in FIG. 11B, refers to the “number of distributed nodes” in this, and the “system operating days” in the switching time table 12a shown in FIG. A virtual node group that is a combination of the previous storage nodes is determined. At this time, by using the calculation formula (1) described above, in this example, the three storage nodes 21 of “No. 1, No. 2, No. 3” are determined as virtual node groups.

記憶制御部12は、これらの仮想ノードグループにアクセス可能かを確認し、アクセスができないストレージノード(電源がOFFのノード)が存在する場合、当該ストレージノードの電源をONにする(図5の矢印A4)。これにより、仮想ノードグループとして決定されたストレージノードのみの電源をON状態とする。なお、今回の例では、新たに電源がONになるノードは存在しない。   The storage control unit 12 confirms whether these virtual node groups are accessible, and when there is a storage node that cannot be accessed (a node whose power is OFF), turns on the power of the storage node (the arrow in FIG. 5). A4). Thus, only the storage node determined as the virtual node group is turned on. In this example, there is no node that is newly powered on.

その後、記憶制御部12が、図11(B)に示す「バックアップ対象データ」を参照して、バックアップ対象装置40からデータをReadする(図5の矢印A5)。そして、バックアップ対象データにパリティ数の値のパリティを付加して、先ほど算出した仮想ノードグループを構成する「No.1, No2, No3」の各ストレージノードにWrite(分散冗長配置)する(図5の矢印A6)   Thereafter, the storage control unit 12 reads data from the backup target device 40 with reference to “backup target data” shown in FIG. 11B (arrow A5 in FIG. 5). Then, the parity of the value of the number of parity is added to the backup target data, and writing (distributed redundant arrangement) to each storage node of “No.1, No2, No3” constituting the virtual node group calculated earlier (FIG. 5). Arrow A6)

Write完了後、図11(B)に示す「世代」に「1」を加算し、Writeしたデータの情報を、図12(A)に示すように、ディレクトリ情報テーブル12bに新規レコードとして追加する。記憶制御部12は、「Write完了時刻」と「世代」をジョブ管理部11に返却し、ジョブ管理部11は、受け取った値を、図12(B)に示すように、ジョブテーブル11aの「最終完了時刻」と「世代」にそれぞれ入力する。   After completion of writing, “1” is added to “generation” shown in FIG. 11B, and the information of the written data is added as a new record to the directory information table 12b as shown in FIG. The storage control unit 12 returns the “Write completion time” and “generation” to the job management unit 11, and the job management unit 11 sets the received values as “#” in the job table 11 a as shown in FIG. Enter in “Final Completion Time” and “Generation” respectively.

なお、記憶制御部12は、週次データのパリティ再生成が必要な場合、パリティ再生成の処理を行う。これは、週次データのWrite(バックアップ)の実行が週に一度のため、上述した電源ON、電源OFFのストレージノードのローテーションにより、最新世代の週次データをWriteしたストレージノードの電源がOFFになる場合があることによる。つまり、仮に最新の週次データが電源ONノードにない場合には、データの即時Readができなくなるためである。かかる処理について、図13を参照して説明する。   The storage control unit 12 performs parity regeneration processing when parity regeneration of weekly data is necessary. This is because the weekly data write (backup) is executed once a week, so the storage node that wrote the latest generation of weekly data is turned off by rotating the storage node with the power on and off as described above. Depending on the case. That is, if the latest weekly data is not in the power ON node, the data cannot be read immediately. Such processing will be described with reference to FIG.

まず、上記の例では、週次データがWriteされた際の「システム稼働日数」は「1」であり、データをWriteした仮想ノードグループは、図13(A)の斜線に示すように、「No.1, No2, No,3」である。その後、「システム稼働日数」が「3」となったときには、図13(C)の斜線に示すように、「No.1」のストレージノードの電源がOFFとなり、「No.5」のストレージノードが電源ONになる。このとき、記憶制御部12は、図12(A)に示すディレクトリ情報テーブル12bの「ジョブ種別」列と「仮想ノードグループ」列を参照し、「ジョブ種別」が「Weekly」かつ、先ほど電源OFFにしたストレージノードが「仮想ノードグループ」に含まれているデータを探す。該当するデータが存在した場合、電源OFFにしたストレージノード上の当該データのパリティを、電源ONにしたノードに再生成する。図12(A)の例では、「Job02」が該当するため、「Job02」のデータがWriteされていて新たに電源がOFFになった「No.1」のストレージノードに格納されているデータのパリティを、新たに電源ONとなったNo.5のストレージノードに再生成する(図13(C)の矢印参照)。このとき、他の電源がONになっているストレージノードに記憶されているデータを用いて、ストレージノード「No.1」に記憶されているデータを再生する。あるいは、ストレージノード「No.1」に記憶されているデータをそのままストレージ「No.5」に移動してもよい。   First, in the above example, the “system operating days” when the weekly data is written is “1”, and the virtual node group to which the data has been written is indicated by the diagonal lines in FIG. No.1, No2, No, 3 ". Thereafter, when the “system operating days” becomes “3”, the storage node “No. 1” is turned off and the storage node “No. 5” is turned off as shown by the hatched line in FIG. Is turned on. At this time, the storage control unit 12 refers to the “job type” column and the “virtual node group” column of the directory information table 12b shown in FIG. 12A, the “job type” is “Weekly”, and the power is turned off earlier. The storage node that has been set is searched for data included in the “virtual node group”. If the corresponding data exists, the parity of the data on the storage node that is powered off is regenerated on the node that is powered on. In the example of FIG. 12A, since “Job02” is applicable, the data stored in the “No. 1” storage node in which the data of “Job02” is written and the power is newly turned off is stored. Parity is regenerated in the No. 5 storage node that is newly powered on (see arrow in FIG. 13C). At this time, the data stored in the storage node “No. 1” is reproduced using the data stored in the storage node where the other power is turned on. Alternatively, the data stored in the storage node “No. 1” may be moved to the storage “No. 5” as it is.

(リストア)
次に、ストレージノード群20からバクアップデータをリストアするときの動作について、図14乃至図15を参照して説明する。なお、ここでは、上述した日次バックアップのデータをリストアする処理を例に挙げて説明する。
(restore)
Next, an operation when restoring backup data from the storage node group 20 will be described with reference to FIGS. Here, the processing for restoring the daily backup data described above will be described as an example.

まず、ユーザ30は、バックアップサーバ10に、図15(A)に示す項目を全て入力する(図14の矢印B1)。例えば、ユーザ30は、図15(B)に示す値を入力したとする。その後、バックアップサーバ10の記憶制御部12は、図15(B)に示すデータの「ジョブ名」と「世代」について、ディレクトリ情報テーブル12bを検索して、該当するデータを探す。   First, the user 30 inputs all items shown in FIG. 15A to the backup server 10 (arrow B1 in FIG. 14). For example, it is assumed that the user 30 inputs a value shown in FIG. Thereafter, the storage control unit 12 of the backup server 10 searches the directory information table 12b for “job name” and “generation” of the data shown in FIG.

記憶制御部12は、データが見つかったら、ディレクトリ情報テーブル12bの「仮想ノードグループ」と「データ格納位置」を参照して、リストア対象のバックアップデータの格納位置を特定し、ストレージノード群20からデータをReadする(図14の矢印B2)。なお、この際、Readするバックアップデータが格納されているストレージノードにアクセスが出来なかった場合(電源OFFの場合)、当該ストレージノードの電源をONにして、その後バックアップデータのReadを行う。   When the storage control unit 12 finds the data, the storage control unit 12 refers to the “virtual node group” and “data storage location” of the directory information table 12b, identifies the storage location of the backup data to be restored, and stores the data from the storage node group 20 Is read (arrow B2 in FIG. 14). At this time, if the storage node storing the backup data to be read cannot be accessed (when the power is OFF), the power of the storage node is turned on, and then the backup data is read.

データのRead後、図15(B)に示すように、ユーザ30が入力したリストア先50に、データをリストアする(図14の矢印B3)。その後、上述した処理で電源をONにしたストレージノードがあれば、かかるストレージノードの電源をOFFにする。   After the data is read, as shown in FIG. 15B, the data is restored to the restore destination 50 input by the user 30 (arrow B3 in FIG. 14). Thereafter, if there is a storage node whose power is turned on in the above-described processing, the power of the storage node is turned off.

ここで、上記では、バックアップサーバとグリッド型のストレージが一体となったバックアップ装置を説明したが、バックアップサーバの部分を汎用のバックアップサーバで代用することも可能である。その場合、バックアップサーバからストレージノードへバックアップ実行の命令を送る際に、バックアップ対象データや分散ノード数、パリティ数などの情報をスクリプトで受け渡すようにするなどの実装が考えられる。また、その場合、記憶制御部12のディレクトリ情報テーブル12bと切り替え時刻テーブル12aを、各ストレージノードにコピーして配置する必要がある。   Here, the backup device in which the backup server and the grid type storage are integrated has been described above. However, a general-purpose backup server can be substituted for the backup server portion. In such a case, when a backup execution command is sent from the backup server to the storage node, information such as data to be backed up, the number of distributed nodes, the number of parity, etc. may be passed by a script. In this case, the directory information table 12b and the switching time table 12a of the storage control unit 12 need to be copied and arranged on each storage node.

なお、新規のデータWriteと最新世代のデータReadの即時性が求められない場合、データのWrite/Read時にのみストレージノードの電源を立ち上げることで、更なるストレージノードの消費電力の削減が期待できる。   In addition, when the immediacy of new data write and the latest generation data read is not required, the power consumption of the storage node can be expected to be further reduced by starting up the storage node only at the time of data write / read. .

また、上記では、バックアップが1日で終わることを仮定しているが、切り替え時刻テーブル11aのバックアップ切り替え時刻を2日おきなどと設定することで、2日以上のバックアップにも対応することが可能である。これに伴い、計算式(1),(2)を適宜変更してもよい。   In the above, it is assumed that the backup ends in one day. However, by setting the backup switching time in the switching time table 11a as every two days, etc., it is possible to support backups of two days or more. It is. Accordingly, the calculation formulas (1) and (2) may be changed as appropriate.

<付記>
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明におけるストレージシステム(図16参照)、プログラム、分散記憶方法の構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
<Appendix>
Part or all of the above-described embodiment can be described as in the following supplementary notes. The outline of the configuration of the storage system (see FIG. 16), program, and distributed storage method in the present invention will be described below. However, the present invention is not limited to the following configuration.

(付記1)
データの分散記憶処理の内容を表し、データを分散する記憶装置の数を表す分散数を含むジョブデータを記憶して管理する記憶処理内容管理手段101と、
前記ジョブデータに基づいて、記憶するデータを前記分散数の記憶装置110に分散して記憶する分散記憶制御手段102と、を備え、
前記分散記憶制御手段102は、前記分散数に基づいて少なくとも前記分散数の記憶装置を決定し、当該決定した記憶装置のみの電源をオンにする、
ストレージシステム100。
(Appendix 1)
Storage processing content management means 101 for storing and managing job data including the number of storages representing the content of the data distributed storage processing and the number of storage devices to which the data is distributed;
Distributed storage control means 102 for storing the data to be stored in the distributed number of storage devices 110 based on the job data,
The distributed storage control means 102 determines at least the storage devices of the distributed number based on the distributed number, and turns on only the determined storage device.
Storage system 100.

(付記2)
付記1に記載のストレージシステムであって、
前記分散記憶制御手段は、過去に分散記憶処理を行ったときに前記決定した記憶装置とは異なる組み合わせの記憶装置を決定する、
ストレージシステム。
(Appendix 2)
The storage system according to attachment 1, wherein
The distributed storage control means determines a storage device of a combination different from the determined storage device when the distributed storage processing was performed in the past;
Storage system.

(付記3)
付記2に記載のストレージシステムであって、
前記分散記憶制御手段は、前回に分散記憶処理を行ったときに前記決定した記憶装置のうち、分散記憶の対象となった記憶装置を含み、かつ、当該決定した記憶装置とは異なる組み合わせの記憶装置を決定して、当該決定した記憶装置の電源をオンにし、当該決定した記憶装置のうち前記分散数の記憶装置に対して分散記憶処理を行う、
ストレージシステム。
(Appendix 3)
The storage system according to appendix 2,
The distributed storage control means includes a storage device that is a target of distributed storage among the storage devices determined when the distributed storage process was performed last time, and a combination of storages different from the determined storage device Determine a device, turn on the determined storage device, and perform distributed storage processing on the distributed number of storage devices among the determined storage devices;
Storage system.

(付記4)
付記3に記載のストレージシステムであって、
前記分散記憶制御手段は、前回に分散記憶処理を行ったときに電源をオンにしている記憶装置のうち、分散記憶の対象となっていなかった記憶装置の電源をオフにし、分散記憶の対象となっていた記憶装置の電源をオンにしたまま、当該分散記憶の対象となっていた記憶装置と、当該記憶装置とは異なる他の記憶装置と、の組み合わせの記憶装置を決定して当該他の記憶装置の電源をオンにし、当該電源がオンになっている記憶装置のうち、前記他の記憶装置を含む前記分散数の記憶装置に対して分散記憶処理を行う、
ストレージシステム。
(Appendix 4)
The storage system according to attachment 3, wherein
The distributed storage control means turns off the storage device that was not the target of the distributed storage among the storage devices that were turned on when the distributed storage process was performed last time, With the storage device turned on, the storage device that is the target of the distributed storage and a storage device that is different from the storage device are determined and the other storage device is determined. Turn on the power of the storage device, and perform distributed storage processing on the distributed number of storage devices including the other storage devices among the storage devices that are turned on.
Storage system.

(付記5)
付記3又は4に記載のストレージシステムであって、
前記分散記憶制御手段は、前回に分散記憶処理を行ったときに分散記憶の対象となっていた記憶装置が決定されずに電源がオフになった場合、当該記憶装置に対して分散記憶されたデータを、電源がオンになっている記憶装置に記憶されているデータから再生成して、当該電源がオンになっている記憶装置に記憶する、
ストレージシステム。
(Appendix 5)
The storage system according to appendix 3 or 4,
The distributed storage control means is distributed and stored in the storage device when the power is turned off without determining the storage device that was the target of the distributed storage when the distributed storage processing was performed last time. Regenerate the data from the data stored in the storage device that is turned on and store it in the storage device that is turned on;
Storage system.

(付記6)
付記2乃至5のいずれかに記載のストレージシステムであって、
前記分散記憶制御手段は、ストレージシステムの稼働日数と前記分散数とに基づいて記憶装置を決定する、
ストレージシステム。
(Appendix 6)
The storage system according to any one of appendices 2 to 5,
The distributed storage control means determines a storage device based on the number of operating days of the storage system and the distributed number.
Storage system.

上記発明によると、ジョブデータに含まれる分散数に基づく数の記憶装置のみの電源がオンとなり、データが分散して記憶される。このとき、ジョブデータ毎に含まれる分散数に応じて電源がオンとなる記憶装置が決定されるため、分散記憶する対象となる記憶装置が固定されることがない。特に、分散記憶する記憶装置の組み合わせがローテーションされるよう適宜変更することにより、省電力化を図りつつ、特定の記憶装置に対するデータの書き込みや読み込みが集中することを防止して、各記憶装置に記憶されるデータの容量を均一化できる。その結果、省電力化を図りつつ、ストレージシステムにおける性能の低下や寿命の短命化を抑制することができる。   According to the above invention, only the number of storage devices based on the number of distributions included in the job data are turned on, and the data is distributed and stored. At this time, since the storage device to be turned on is determined according to the number of distributions included in each job data, the storage device to be distributed and stored is not fixed. In particular, by appropriately changing the combination of storage devices for distributed storage to be rotated, it is possible to reduce power consumption and prevent data writing and reading from being concentrated on a specific storage device. The capacity of the stored data can be made uniform. As a result, it is possible to suppress a reduction in performance and a shortened life of the storage system while saving power.

さらに、電源をオンにする記憶装置に、前回の分散処理の際に分散記憶の対象となった記憶装置を含めることで、省電力を図りながら、最新のデータの読み込みも高速に行うことができる。また、前回の分散処理の際に分散記憶の対象となった記憶装置の電源がオフであっても、当該記憶装置に記憶されているデータを、電源がオンである記憶装置から再生成することで、上述同様に、省電力を図りながら、最新のデータの読み込みも高速に行うことができる。   Furthermore, by including the storage device that was the target of distributed storage in the previous distributed processing in the storage device that is turned on, the latest data can be read at high speed while saving power. . In addition, even if the power of the storage device targeted for distributed storage in the previous distributed processing is off, the data stored in the storage device is regenerated from the storage device that is powered on. Thus, as described above, the latest data can be read at high speed while saving power.

(付記7)
情報処理装置に、
データの分散記憶処理の内容を表し、データを分散する記憶装置の数を表す分散数を含むジョブデータを記憶して管理する記憶処理内容管理手段と、
前記ジョブデータに基づいて、記憶するデータを前記分散数の記憶装置に分散して記憶する分散記憶制御手段と、を実現させるプログラムであり、
前記分散記憶制御手段は、前記分散数に基づいて少なくとも前記分散数の記憶装置を決定し、当該決定した記憶装置のみの電源をオンにする、
プログラム。
(Appendix 7)
In the information processing device,
Storage processing content management means for storing and managing job data including the number of distributions representing the number of storage devices to which data is distributed;
Distributed storage control means for distributing and storing data to be stored in the distributed number of storage devices based on the job data,
The distributed storage control means determines at least the storage devices of the distributed number based on the distributed number, and turns on only the determined storage device;
program.

(付記8)
付記7に記載のプログラムであって、
前記分散記憶制御手段は、過去に分散記憶処理を行ったときに前記決定した記憶装置とは異なる組み合わせの記憶装置を決定する、
プログラム。
(Appendix 8)
The program according to appendix 7,
The distributed storage control means determines a storage device of a combination different from the determined storage device when the distributed storage processing was performed in the past;
program.

(付記9)
データの分散記憶処理の内容を表し、データを分散する記憶装置の数を表す分散数を含むジョブデータを記憶して管理し、
前記ジョブデータに基づいて、記憶するデータを前記分散数の記憶装置に分散して記憶する、分散記憶方法であって、
前記分散数に基づいて少なくとも前記分散数の記憶装置を決定し、当該決定した記憶装置のみの電源をオンにして、前記ジョブデータに基づいて分散記憶処理を行う、
分散記憶方法。
(Appendix 9)
Represents the contents of the distributed storage processing of data, stores and manages job data including the number of distributions representing the number of storage devices that distribute the data,
A distributed storage method for storing data to be stored in a distributed number of storage devices based on the job data,
Determining at least the number of storage devices based on the number of distributions, turning on only the determined storage devices, and performing distributed storage processing based on the job data;
Distributed storage method.

(付記10)
付記9に記載の分散記憶方法であって、
過去に分散記憶処理を行ったときに前記決定した記憶装置とは異なる組み合わせの記憶装置を決定する、
分散記憶方法。
(Appendix 10)
The distributed storage method according to attachment 9, wherein
Determining a combination of storage devices different from the storage device determined when the distributed storage processing was performed in the past;
Distributed storage method.

(付記11)
付記10に記載の分散記憶方法であって、
前回に分散記憶処理を行ったときに前記決定した記憶装置のうち、分散記憶の対象となった記憶装置を含み、かつ、当該決定した記憶装置とは異なる組み合わせの記憶装置を決定して、当該決定した記憶装置の電源をオンにし、当該決定した記憶装置のうち前記分散数の記憶装置に対して分散記憶処理を行う、
分散記憶方法。
(Appendix 11)
The distributed storage method according to appendix 10, wherein
Among the storage devices determined when the distributed storage processing was performed last time, the storage device that is the target of the distributed storage is determined, and a storage device of a combination different from the determined storage device is determined, and the storage device Turn on the power of the determined storage device, and perform distributed storage processing on the distributed number of storage devices among the determined storage devices.
Distributed storage method.

(付記12)
付記11に記載の分散記憶方法であって、
前回に分散記憶処理を行ったときに電源をオンにしている記憶装置のうち、分散記憶の対象となっていなかった記憶装置の電源をオフにし、分散記憶の対象となっていた記憶装置の電源をオンにしたまま、当該分散記憶の対象となっていた記憶装置と、当該記憶装置とは異なる他の記憶装置と、の組み合わせの記憶装置を決定して当該他の記憶装置の電源をオンにし、当該電源がオンになっている記憶装置のうち、前記他の記憶装置を含む前記分散数の記憶装置に対して分散記憶処理を行う、
分散記憶方法。
(Appendix 12)
The distributed storage method according to attachment 11, wherein
Of the storage devices that were turned on when the distributed storage process was performed last time, the storage devices that were not the target of distributed storage were turned off, and the power of the storage device that was the target of distributed storage The storage device that is a combination of the storage device that is the target of the distributed storage and another storage device that is different from the storage device is determined and the power of the other storage device is turned on. The distributed storage process is performed on the distributed number of storage devices including the other storage devices among the storage devices that are turned on.
Distributed storage method.

(付記13)
付記11又は12に記載の分散記憶方法であって、
前回に分散記憶処理を行ったときに分散記憶の対象となっていた記憶装置が決定されずに電源がオフになった場合、当該記憶装置に対して分散記憶されたデータを、電源がオンになっている記憶装置に分散記憶されているデータから再生成して、当該電源がオンになっている記憶装置に記憶する、
分散記憶方法。
(Appendix 13)
The distributed storage method according to appendix 11 or 12,
If the storage device that was the target of distributed storage when the distributed storage processing was performed last time and the power was turned off, the data stored in the distributed storage device is turned on. Regenerated from the data distributed and stored in the storage device, and store it in the storage device that is turned on.
Distributed storage method.

なお、上述したプログラムは、記憶装置に記憶されていたり、コンピュータが読み取り可能な記録媒体に記録されている。例えば、記録媒体は、フレキシブルディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等の可搬性を有する媒体である。   Note that the above-described program is stored in a storage device or recorded on a computer-readable recording medium. For example, the recording medium is a portable medium such as a flexible disk, an optical disk, a magneto-optical disk, and a semiconductor memory.

以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。   Although the present invention has been described with reference to the above-described embodiment and the like, the present invention is not limited to the above-described embodiment. Various changes that can be understood by those skilled in the art can be made to the configuration and details of the present invention within the scope of the present invention.

1 バックアップ装置
10 バックアップサーバ
11 ジョブ管理部
11a ジョブテーブル
12 記憶制御部12
12a 切り替え時刻テーブル
12b ディレクトリ情報テーブル
20 ストレージノード群
21 ストレージノード
100 ストレージシステム
101 記憶処理内容管理手段
102 分散記憶制御手段
DESCRIPTION OF SYMBOLS 1 Backup apparatus 10 Backup server 11 Job management part 11a Job table 12 Storage control part 12
12a Switching time table 12b Directory information table 20 Storage node group 21 Storage node 100 Storage system 101 Storage processing content management means 102 Distributed storage control means

Claims (6)

データの分散記憶処理の内容を表し、データを分散する記憶装置の数を表す分散数を含むジョブデータを記憶して管理する記憶処理内容管理手段と、
前記ジョブデータに基づいて、記憶するデータを前記分散数の記憶装置に分散して記憶する分散記憶制御手段と、を備え、
前記分散記憶制御手段は、前記分散数に基づいて少なくとも前記分散数の記憶装置を決定し、当該決定した記憶装置のみの電源をオンにし、その後、前回に分散記憶処理を行ったときに前記決定した記憶装置のうち、前回に分散記憶の対象となった記憶装置を含み、かつ、当該決定した記憶装置とは異なる組み合わせの記憶装置を決定して、当該決定した記憶装置の電源をオンにし、当該決定した記憶装置のうち前記分散数の記憶装置に対して分散記憶処理を行う、
ストレージシステム。
Storage processing content management means for storing and managing job data including the number of distributions representing the number of storage devices to which data is distributed;
Distributed storage control means for distributing and storing data to be stored in the distributed number of storage devices based on the job data,
The distributed storage control means determines at least the storage device of the distributed number based on the distribution number, turns on only the determined storage device , and then performs the determination when the distributed storage processing is performed last time Among the storage devices that were previously included in the storage device that was the target of distributed storage, and determined a storage device of a combination different from the determined storage device, power on the determined storage device, A distributed storage process is performed on the storage devices of the distributed number among the determined storage devices.
Storage system.
請求項1に記載のストレージシステムであって、
前記分散記憶制御手段は、前回に分散記憶処理を行ったときに電源をオンにしている記憶装置のうち、分散記憶の対象となっていなかった記憶装置の電源をオフにし、分散記憶の対象となっていた記憶装置の電源をオンにしたまま、当該分散記憶の対象となっていた記憶装置と、当該記憶装置とは異なる他の記憶装置と、の組み合わせの記憶装置を決定して当該他の記憶装置の電源をオンにし、当該電源がオンになっている記憶装置のうち、前記他の記憶装置を含む前記分散数の記憶装置に対して分散記憶処理を行う、
ストレージシステム。
The storage system according to claim 1,
The distributed storage control means turns off the storage device that was not the target of the distributed storage among the storage devices that were turned on when the distributed storage process was performed last time, With the storage device turned on, the storage device that is the target of the distributed storage and a storage device that is different from the storage device are determined and the other storage device is determined. Turn on the power of the storage device, and perform distributed storage processing on the distributed number of storage devices including the other storage devices among the storage devices that are turned on.
Storage system.
請求項1又は2に記載のストレージシステムであって、
前記分散記憶制御手段は、前回に分散記憶処理を行ったときに分散記憶の対象となっていた記憶装置が決定されずに電源がオフになった場合、当該記憶装置に対して分散記憶されたデータを、電源がオンになっている記憶装置に記憶されているデータから再生成して、当該電源がオンになっている記憶装置に記憶する、
ストレージシステム。
The storage system according to claim 1 or 2,
The distributed storage control means is distributed and stored in the storage device when the power is turned off without determining the storage device that was the target of the distributed storage when the distributed storage processing was performed last time. Regenerate the data from the data stored in the storage device that is turned on and store it in the storage device that is turned on;
Storage system.
請求項1乃至3のいずれかに記載のストレージシステムであって、
前記分散記憶制御手段は、ストレージシステムの稼働日数と前記分散数とに基づいて記憶装置を決定する、
ストレージシステム。
The storage system according to any one of claims 1 to 3,
The distributed storage control means determines a storage device based on the number of operating days of the storage system and the distributed number.
Storage system.
情報処理装置に、
データの分散記憶処理の内容を表し、データを分散する記憶装置の数を表す分散数を含むジョブデータを記憶して管理する記憶処理内容管理手段と、
前記ジョブデータに基づいて、記憶するデータを前記分散数の記憶装置に分散して記憶する分散記憶制御手段と、を実現させるプログラムであり、
前記分散記憶制御手段は、前記分散数に基づいて少なくとも前記分散数の記憶装置を決定し、当該決定した記憶装置のみの電源をオンにし、その後、前回に分散記憶処理を行ったときに前記決定した記憶装置のうち、前回に分散記憶の対象となった記憶装置を含み、かつ、当該決定した記憶装置とは異なる組み合わせの記憶装置を決定して、当該決定した記憶装置の電源をオンにし、当該決定した記憶装置のうち前記分散数の記憶装置に対して分散記憶処理を行う、
プログラム。
In the information processing device,
Storage processing content management means for storing and managing job data including the number of distributions representing the number of storage devices to which data is distributed;
Distributed storage control means for distributing and storing data to be stored in the distributed number of storage devices based on the job data,
The distributed storage control means determines at least the storage device of the distributed number based on the distribution number, turns on only the determined storage device , and then performs the determination when the distributed storage processing is performed last time Among the storage devices that were previously included in the storage device that was the target of distributed storage, and determined a storage device of a combination different from the determined storage device, power on the determined storage device, A distributed storage process is performed on the storage devices of the distributed number among the determined storage devices.
program.
情報処理装置が、データの分散記憶処理の内容を表し、データを分散する記憶装置の数を表す分散数を含むジョブデータを記憶して管理し、
前記情報処理装置が、前記ジョブデータに基づいて、記憶するデータを前記分散数の記憶装置に分散して記憶する、分散記憶方法であって、
前記情報処理装置が、前記分散数に基づいて少なくとも前記分散数の記憶装置を決定し、当該決定した記憶装置のみの電源をオンにして、前記ジョブデータに基づいて分散記憶処理を行い、その後、前回に分散記憶処理を行ったときに前記決定した記憶装置のうち、前回に分散記憶の対象となった記憶装置を含み、かつ、当該決定した記憶装置とは異なる組み合わせの記憶装置を決定して、当該決定した記憶装置の電源をオンにし、当該決定した記憶装置のうち前記分散数の記憶装置に対して分散記憶処理を行う、
分散記憶方法。
An information processing device stores and manages job data including the number of storages representing the number of storage devices to which the data is distributed, representing the content of the data distributed storage processing,
A distributed storage method in which the information processing device stores data to be stored in a distributed number of storage devices based on the job data,
The information processing apparatus, on the basis of the distributed number determines at least the distributed number of storage devices, the power storage device only with the determined turn on, have rows distributed storage processing based on the job data, then among the determined storage device when performing a distributed storage processing in the previous, wherein the storage device as a target of the distributed storage in previous and determines the storage device of a different combination from that of the determined storage device Then, power on the determined storage device is turned on, and distributed storage processing is performed for the distributed number of storage devices among the determined storage devices.
Distributed storage method.
JP2014051449A 2014-03-14 2014-03-14 Storage system Active JP6372111B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014051449A JP6372111B2 (en) 2014-03-14 2014-03-14 Storage system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014051449A JP6372111B2 (en) 2014-03-14 2014-03-14 Storage system

Publications (2)

Publication Number Publication Date
JP2015176279A JP2015176279A (en) 2015-10-05
JP6372111B2 true JP6372111B2 (en) 2018-08-15

Family

ID=54255441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014051449A Active JP6372111B2 (en) 2014-03-14 2014-03-14 Storage system

Country Status (1)

Country Link
JP (1) JP6372111B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE354128T1 (en) * 1999-12-20 2007-03-15 Dainippon Printing Co Ltd DISTRIBUTED DATA ARCHIVING APPARATUS AND SYSTEM
JP4231639B2 (en) * 2000-08-04 2009-03-04 株式会社日立グローバルストレージテクノロジーズ Information recording system and information recording control method
JP2004171113A (en) * 2002-11-18 2004-06-17 Hitachi Ltd Data recording/reproducing system and data recording/reproducing method and data recording/reproducing device
JP5206103B2 (en) * 2008-05-09 2013-06-12 日本電気株式会社 Storage device, storage device control system, storage device control method, and program

Also Published As

Publication number Publication date
JP2015176279A (en) 2015-10-05

Similar Documents

Publication Publication Date Title
US20140089730A1 (en) Storage control device and method for controlling storages
JP5637552B2 (en) Storage system
US8060468B2 (en) Storage system and data recovery method
JP6064608B2 (en) Storage device, backup program, and backup method
CN105550062B (en) The data reflow method restored based on continuous data protection and time point browsing
US20150058295A1 (en) Data Persistence Processing Method and Apparatus, and Database System
US11128535B2 (en) Computer system and data management method
US10083088B1 (en) Managing backup copies in cascaded data volumes
CN109558213A (en) The method and apparatus for managing the virtual machine snapshot of OpenStack platform
JP6070146B2 (en) Information processing apparatus and backup method
CN102576294B (en) Storage system and method comprising a plurality of storage devices
CN112119380A (en) Parity recording with bypass
KR101590764B1 (en) Computing system and method for controling memory of computing system
US8131958B2 (en) Storage system, storage device, and data updating method using a journal volume
JP6372111B2 (en) Storage system
JP2011170665A (en) Storage system
KR102179669B1 (en) Checkpointing a collection of data units
WO2015186165A1 (en) Storage system and method for controlling storage system
JP5342055B1 (en) Storage device and data backup method
JP2013178696A (en) Archive system and processing method
WO2016006108A1 (en) Storage and control method therefor
JP2010176512A (en) Storage device, storage device control method, and storage device control program
US20110296102A1 (en) Storage apparatus comprising raid groups of raid 1 series and control method of writing to raid group of raid 1 series
CN104360959A (en) Data storage method and controller
JP2019153030A (en) Cache device and cache device control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171212

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180104

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180410

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180619

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180702

R150 Certificate of patent or registration of utility model

Ref document number: 6372111

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150