JP6229733B2 - 情報処理装置、方法、プログラム及び記録媒体 - Google Patents

情報処理装置、方法、プログラム及び記録媒体 Download PDF

Info

Publication number
JP6229733B2
JP6229733B2 JP2015548925A JP2015548925A JP6229733B2 JP 6229733 B2 JP6229733 B2 JP 6229733B2 JP 2015548925 A JP2015548925 A JP 2015548925A JP 2015548925 A JP2015548925 A JP 2015548925A JP 6229733 B2 JP6229733 B2 JP 6229733B2
Authority
JP
Japan
Prior art keywords
storage
load
access
time
unit time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2015548925A
Other languages
English (en)
Other versions
JPWO2015075803A1 (ja
Inventor
山口 正人
正人 山口
康規 谷口
康規 谷口
剛 足立
剛 足立
友理枝 榎本
友理枝 榎本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2015075803A1 publication Critical patent/JPWO2015075803A1/ja
Application granted granted Critical
Publication of JP6229733B2 publication Critical patent/JP6229733B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0628Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/065Replication mechanisms
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1461Backup scheduling policy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/14Error detection or correction of the data by redundancy in operation
    • G06F11/1402Saving, restoring, recovering or retrying
    • G06F11/1446Point-in-time backing up or restoration of persistent data
    • G06F11/1458Management of the backup or restore process
    • G06F11/1466Management of the backup or restore process to make the backup process non-disruptive
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3409Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
    • G06F11/3433Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment for load management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061Improving I/O performance
    • G06F3/0611Improving I/O performance in relation to response time
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0617Improving the reliability of storage systems in relation to availability
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0602Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/0614Improving the reliability of storage systems
    • G06F3/0619Improving the reliability of storage systems in relation to data integrity, e.g. data losses, bit errors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601Interfaces specially adapted for storage systems
    • G06F3/0668Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671In-line storage system
    • G06F3/0683Plurality of storage devices
    • G06F3/0689Disk arrays, e.g. RAID, JBOD
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/34Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466Performance evaluation by tracing or monitoring
    • G06F11/3485Performance evaluation by tracing or monitoring for I/O devices

Description

本発明は、情報処理装置、情報処理方法、情報処理プログラム及び記録媒体に関する。
データベースのデータのバックアップとして、データベースのデータの更新差分をストレージに記憶させる、所謂バックアップの最新化が知られている。バックアップの最新化を含むデータベースのデータのバックアップは、一般に実行中にはコンピュータ・システムに多大な負荷が加わる。従って、データベースへのアクセスを伴う業務処理を実行している時間帯にバックアップを行うと、業務処理の実行に多大な影響を与えることになる。このため、データベースのデータのバックアップは、例えば図17に示すように、業務処理を実行していない時間帯や業務処理の実行に伴う負荷が比較的低い時間帯(例えば夜間)に、バッチ処理として実行する運用を行うことが一般的であった。
但し、バックアップを行う時間帯を業務処理の実行時間帯と分け、バックアップを集中的に行うようにした場合、図17に示すように、コンピュータ・システムに加わる負荷はバックアップを行っている期間に特に大きくなる。このため、バックアップに伴ってコンピュータ・システムに加わる負荷を平準化したいというニーズがある。また、一定の時間帯にバッチ処理としてバックアップを行う場合、バックアップ処理の実行開始時刻等を設定する作業を行う必要がある。
上記に関連して、オペレータによる操作入力が途絶えたり、CPU負荷や通信負荷が所定レベル以下になったことに基づき、オペレータによる作業が中断したと推測した場合にバックアップ処理の実行を指示する第1の技術が提案されている。第1の技術は、オペレータによる作業が再開したと推測した場合にバックアップ処理の中止を指示している。
また、データアクセス負荷が少なければ、負荷の少ないI/Oパスを使ってバックアップ処理を一定時間行い、データアクセス負荷が多ければバックアップ処理を一時中断する第2の技術が提案されている。第2の技術は、更新処理中のデータに対してバックアップ処理が行われていないかを監視し、バックアップ処理を検知した場合はバックアップ処理を一時中断し、データ更新完了後にバックアップ処理を再開している。
特開2005−346218号公報 特開2010−26830号公報
しかしながら、第1の技術は、オペレータによる作業が再開したと推測した場合にバックアップ処理を中止するので、バックアップ処理を完了させるためには、オペレータによる操作入力が行われない時間帯、例えば夜間にバックアップ処理を行う必要がある。従って、オペレータによる操作入力を含む業務処理を実行可能な時間帯が制約を受けるという課題がある。
一方、第2の技術はデータアクセス負荷を監視し、データアクセス負荷が少ない期間にバックアップ処理を行うので、バックアップ処理を行う時間帯は制約されない。但し、バックアップ処理を行った場合にはCPUにも高い負荷が加わる。これに対し、第2の技術は、データアクセス負荷が少なければバックアップ処理を一定時間行うので、バックアップ処理に伴ってCPUに加わる負荷が過大となることで、例として図18に示すように、処理の限界に達する可能性がある。このように、第2の技術はCPUに加わる負荷を考慮していないので、CPUに加わる負荷が過大となることで、業務処理に処理遅延等の影響を及ぼす可能性がある。
また、第2の技術は、データアクセス負荷が少なければ、データアクセス負荷の値の大小に拘わらずバックアップ処理を一定時間行うので、バックアップ処理を行っている間に、データアクセス負荷やCPUの負荷が過大となる可能性もある。そしてこの場合も、例として図18に示すように、処理の限界に達したり、処理の限界に近い状態となることで、業務処理に処理遅延等の影響を及ぼすことになる。
一つの側面では、本発明は、業務処理への影響を抑制しつつ、業務処理の実行と並列にバックアップ処理を行うことを可能とすることを目的とする。
一態様の情報処理装置は、ストレージに対するアクセスの負荷及びプロセッサの負荷を検出する検出部を備えている。また開示の技術は、検出されたストレージに対するアクセスの負荷及びプロセッサの負荷に基づき、ストレージに対するアクセスを伴うバックアップ処理のデータ量を決定する決定部を備えている。そして開示の技術は、前記データ量に基づいてバックアップ処理を行うバックアップ処理部を備えている。
一つの側面として、業務処理への影響を抑制しつつ、業務処理の実行と並列にバックアップ処理を行うことが可能となる、という効果を有する。
実施形態に係るDBサーバの概略構成を示す機能ブロック図である。 DBサーバとして機能するコンピュータの一例を示す概略ブロック図である。 DBサーバにおいて、アプリケーションの実行やコマンドの入力に伴い、CPUに関する処理やI/Oに関する処理の実行を示す概略図である。 DBサーバで実行される処理のうち、開示の技術に係る処理の概略を示す概念図である。 CPU処理実績記録処理を示すフローチャートである。 CPU処理実績情報の一例を示す図表である。 I/Oに関する処理実績情報の収集を説明するための図表である。 I/Oに関する処理を示すフローチャートである。 ストレージ及び構成管理情報の一例を示すイメージ図及び図表である。 負荷監視処理を示すフローチャートである。 負荷監視処理を説明するための図表である。 使用可能時間の算出を説明するための説明図である。 負荷監視処理での使用可能時間算出の一例を説明するための説明図である。 負荷監視処理でのCPU遊び率算出の一例を説明するための説明図である。 バックアップ最新化処理を示すフローチャートである。 バックアップ最新化処理及びバックアップ最新化実施処理を説明するための説明図である。 開示の技術を適用した場合の業務処理、バックアップ最新化処理、全体処理の負荷の一例を各々示す線図である。 バックアップ処理の従来の運用を説明するための線図である。 既存技術で業務処理中にバックアップの最新化を行った場合の課題を説明するための線図である。
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。図1には、本実施形態に係るデータベースサーバ(DBサーバ)10が示されている。DBサーバ10は、ストレージ12に記憶されたデータベース14に対するアクセスを管理する装置(サーバ)である。DBサーバ10は、データベース管理部16、アプリケーション18、ディスプレイ20、入力デバイス22、データベース14を記憶するストレージ12を含む複数のストレージ12を備えている。
アプリケーション18は、業務処理を実現するアプリケーションであり、必要に応じて、例えばSQL(Structured Query Language)を発行する等により、データベース管理部16に対してデータベース14に対するアクセスを指示する。また、入力デバイス22は、利用者により、データベース14に対するアクセスを指示するコマンドが、例えばSQL等の形態で入力される。データベース管理部16は、アプリケーション18や、入力デバイス22を介して利用者から入力されたコマンドからの指示に従い、データベース14に対するアクセスを管理する処理を行う。また、データベース管理部16は、データベース14に対するアクセスに伴って生じた、データベース14に登録されているデータの更新差分を、アーカイブログ24としてストレージ12に記憶させる処理を行う。
更に、ストレージ12は、データベース14に登録されているデータの或る時点の複製を、バックアップデータ26として記憶している。データベース管理部16は、アーカイブログ24を更新した場合に、バックアップデータ26を最新化する処理を行うために、負荷検出部28、データ量決定部30、バックアップ処理部32及び構成管理情報記憶部34を備えている。
負荷検出部28は、ストレージ12を含むDBサーバ10の負荷を検出する。より詳しくは、負荷検出部28は第1記録部36及び第2記録部38を備えている。第1記録部36は、ストレージ12に対するアクセスの負荷(I/O負荷)を繰り返し検出し、検出したI/O負荷をメモリ44等に記録する。また第2記録部38は、DBサーバ10のCPU(後述)の負荷を繰り返し検出し、検出したCPUの負荷をメモリ44等に記録する。
データ量決定部30は、負荷検出部28によって検出されたストレージ12を含むDBサーバ10の負荷に基づいて、バックアップデータ26を最新化するバックアップ処理における処理対象のデータ量を繰り返し決定する。バックアップ処理部32は、データ量決定部30によって決定されたデータ量のデータについて、バックアップデータ26を最新化するバックアップ処理を行う。構成管理情報記憶部34は、DBサーバ10に設けられた複数のストレージ12の各々の識別情報やI/O性能等を含む構成管理情報を記憶する。構成管理情報記憶部34に記憶される構成管理情報の一例を図9に示す。
なお、負荷検出部28は開示の技術における検出部の一例であり、データ量決定部30は開示の技術における決定部の一例であり、バックアップ処理部32は開示の技術におけるバックアップ処理部の一例である。また、構成管理情報記憶部34は開示の技術における記憶部の一例であり、第1記録部36は開示の技術における第1記録部の一例であり、第2記録部38は開示の技術における第2記録部の一例である。
DBサーバ10は、例えば図2に示すコンピュータ40で実現することができる。コンピュータ40は複数のコアが設けられたCPU42、メモリ44、不揮発性の記憶部46、ディスプレイ20、キーボードやマウス等の入力デバイス22及びホストバスアダプタ(HBA)47を備えている。CPU42、メモリ44、記憶部46、ディスプレイ20、入力デバイス22及びホストバスアダプタ47はバス50を介して互いに接続されている。ホストバスアダプタ47はストレージコントローラ48が接続され、ストレージコントローラ48には複数のストレージ12が各々接続されている。
また、記憶部46はHDD(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記憶部46は、OS(Operating System)のプログラム52、アプリケーション18のプログラム54、ドライバのプログラム55を記憶している。また記憶部46は、コンピュータ40をDBサーバ10のデータベース管理部16として機能させるためのデータベース管理プログラム56を記憶し、構成管理情報記憶領域58及び処理実績情報記憶領域59が設けられている。CPU42は、データベース管理プログラム56を記憶部46から読み出してメモリ44に展開し、データベース管理プログラム56が有するプロセスを順次実行する。
データベース管理プログラム56は、負荷検出プロセス60、データ量決定プロセス62及びバックアップ処理プロセス64を有する。CPU42は、負荷検出プロセス60を実行することで、図1に示す負荷検出部28として動作する。またCPU42は、データ量決定プロセス62を実行することで、図1に示すデータ量決定部30として動作する。またCPU42は、バックアップ処理プロセス64を実行することで、図1に示すバックアップ処理部32として動作する。また、負荷検出プロセス60は、より詳しくは第1記録プロセス66及び第2記録プロセス68を有する。CPU42は、第1記録プロセス66を実行することで、図1に示す第1記録部36として動作する。また、CPU42は、第2記録プロセス68を実行することで、図1に示す第2記録部38として動作する。
DBサーバ10がコンピュータ40で実現される場合、構成管理情報記憶領域58は図1に示す構成管理情報記憶部34として機能する。これにより、データベース管理プログラム56を実行したコンピュータ40が、DBサーバ10として機能することになる。なお、データベース管理プログラム56は開示の技術における情報処理プログラムの一例である。
本実施形態の作用として、まず図3を参照し、アプリケーション18や、利用者によって入力されたコマンドからの指示に従って、データベース14に対してアクセスする処理について説明する。
図3に示すように、アプリケーション18やコマンドによるデータベース14へのアクセス指示は、まずサーバプロセス70に入力され、個々のアクセス指示を実現するCPU処理プロセスが各々生成される。そして、生成された個々のCPU処理プロセスは、CPU42に設けられた複数のコアの各々の稼働率に基づき、CPU42の何れかのコアに割り当てられて実行される。
図3では、アプリケーション18からの指示を実現するCPU処理プロセス(図3では"アプリケーション実行機能"と表記)がCPU42の第1コア及び第2コア(図3ではそれぞれ"CPU1","CPU2"と表記)に割り当てられて実行される例を示している。また図3では、コマンドによるアクセス指示を実現するCPU処理プロセス(図3では"コマンド実行機能"と表記)がCPU42の第3コア(図3では"CPU3"と表記)に割り当てられて実行された例を示している。なお、図3はCPU42に4個のコアが設けられた例を示しているが、CPU42に設けられたコアの数は4個に限られるものではない。
また、各CPU処理プロセスがCPU42の何れかのコアで実行されることで、図3に示すように、データベース14へのアクセスを要求するI/O要求(図3に示す"アプリケーションI/O制御"や"コマンドI/O制御")がドライバによって各々生成される。また、データベース14へのアクセスを行うI/O制御プロセスの実行に伴ってデータベース14のデータが更新される場合には、アーカイブログ24の更新を要求するI/O要求(図3に示す"アーカイブログI/O制御")もドライバによって生成される。
ドライバは、I/O要求を保持するためのI/Oキュー(図7参照)を複数設けており、CPU処理からの要求に応じて生成したI/O要求を何れかのI/Oキューに一旦投入する。またドライバは、個々のキューに保持されているI/O要求をI/Oキューへの投入順に個々のI/Oキューから取り出して対応するHBA47へ転送・入力することで、ストレージ12(データベース14やアーカイブログ24)へのアクセスを行わせる。ドライバからHBA47へ転送されたI/O要求はストレージコントローラ48へ転送され、前記I/O要求に応じてストレージ12(データベース14やアーカイブログ24)へのアクセス(読み書き)が行われた後に、I/O要求に対する応答が転送される。
次に、本実施形態におけるバックアップデータ26を最新化する処理(バックアップ最新化処理)について説明する。図4に示すように、バックアップ最新化処理は、(1)ストレージ12の構成管理、(2)CPU42の処理実績情報の収集、(3)I/Oの処理実績情報の収集、(4)負荷監視処理、及び、(5)バックアップ最新化処理を含んでいる。
このうち、「(1)ストレージ12の構成管理」は、構成管理情報記憶部34に、複数のストレージ12の各々の構成管理情報72(図9参照)が記憶されていることで実現されている。図9に示すように、構成管理情報72は、DBサーバ10の個々のストレージ毎に、個々のストレージ12の識別情報や、I/O性能を表す情報を含んでいる。
また「(2)CPU42の処理実績情報の収集」は、CPU42の個々のコアによってCPU処理プロセスが実行される度に、負荷検出部28の第2記録部38により、CPU42のコアID及び占有時間が処理実績情報記憶領域59に記録されることで実現される。より詳しくは、CPU42の各コアによってCPU処理プロセスが実行されることで、図5に示すCPU処理実績記録処理が実現される。
CPU処理実績記録処理は、ステップ100において、CPU42の何れかのコアへの処理の割り当てが行われ、ステップ102において、実処理が行われる。CPU42の個々のコアに割り当てられた処理の実行が終了すると、次のステップ106において、第2記録部38は、処理の実行が終了したCPU42のコアのIDと、実行が終了した処理によるコアの占有時間を処理実績情報記憶領域59に記録する。これにより、図6にCPU処理実績情報108として一例を示すように、CPU42の個々のコアのIDと対応付けて、個々のコアが占有されていた時間が処理実績情報記憶領域59に記録される。また、次のステップ106ではコンピュータ40がシャットダウンされるか否か判定され、ステップ106の判定が否定された場合はステップ100に戻ってステップ100以降を繰り返す。ステップ106の判定が肯定された場合はCPU処理実績記録処理を終了する。
また、図4に示す「(3)I/Oの処理実績情報の収集」は、図7に示す処理によって実現される。すなわち、CPU42の各コアによるCPU処理プロセスの実行に伴い、ストレージ12へのアクセスが要求される(図7に示す「I/O依頼発行」)度に、ドライバは、I/O要求を生成してI/Oキューへ投入する処理(図7に示すI/O受付処理)を行う。またドライバは、図7に示すI/Oに関する処理を常に実行している。I/Oに関する処理の詳細を図8に示す。なお、図8に示したドライバによるI/Oに関する処理は、CPU42の各コア毎に独立に実行される。
I/Oに関する処理のステップ110において、ドライバはI/Oキューを監視し、次のステップ111において、ドライバはI/OキューにI/O要求が残存しているか否かを判定する。I/OキューにI/O要求が残存していない場合はステップ111の判定が否定されてステップ110に戻り、ステップ110,111を繰り返す。また、I/OキューにI/O要求が残存している場合は、ステップ111の判定が肯定されてステップ112へ移行し、ステップ112において、ドライバは、I/Oキューに残存しているI/O要求を取り出す。次のステップ113において、ドライバは、I/Oキューから取り出したI/O要求に対応して、一定サイズのI/Oを要求する単位I/O要求をHBA47へ転送・入力する、I/O実処理を行う。
また、次のステップ114において、負荷検出部28の第1記録部36は、アクセス対象のストレージ12のID、I/Oデータ量及びアクセス時間(単位I/O要求を転送してから応答を受信する迄のI/O時間)を処理実績情報記憶領域59に記録する。
ステップ115において、ドライバは、ステップ112でI/Oキューから取り出したI/O要求に対応する全ての単位I/O要求を出力したか否か判定する。ステップ115の判定が否定された場合はステップ113に戻り、ステップ115の判定が肯定される迄、ステップ113〜ステップ115が繰り返される。
これにより、ステップ112でI/Oキューから取り出したI/O要求に対応する全ての単位I/O要求がHBA47へ転送される。また、図7に示すI/O処理実績情報120として一例を示すように、アクセスが行われたストレージ12のID、I/Oデータ量及びアクセス時間(I/O時間)が、CPU42の各コア毎に処理実績情報記憶領域59に記録される。
ステップ112でI/Oキューから取り出したI/O要求に対応する全ての単位I/O要求をHBA47へ転送すると、ステップ115の判定が肯定されてステップ116へ移行し、ステップ116において、ドライバは、コンピュータ40がシャットダウンされるか否かを判定する。ステップ116の判定が否定された場合はステップ110に戻り、ドライバは、I/Oキューの監視を再開する。
続いて、図4に示す「(4)負荷監視処理」の詳細について、図10を参照して説明する。負荷監視処理は、データ量決定部30によって実現され、CPU42の何れかのコアで一定時間毎に実行される。例えば図3では、バックアップ最新化機能を実現するCPU処理プロセス(図3では"バックアップ最新化機能"と表記)がCPU42の第4コア(図3では"CPU4"と表記)に割り当てられて実行された例を示している。
負荷監視処理のステップ130において、データ量決定部30は、処理実績情報記憶領域59に記憶されているI/O処理実績情報120から、バックアップの最新化処理を行うストレージ12のIDが付与されたI/O処理実績情報120(一例を図11に示す)を取得する。次のステップ132において、データ量決定部30は、構成管理情報記憶領域58から、バックアップの最新化処理を行うストレージ12の構成管理情報72(一例を図11に示す)を取得する。
次のステップ134において、データ量決定部30は、ステップ130で取得した情報に基づいて、バックアップの最新化処理に割り当て可能な使用可能時間を次の(1)式に従って演算する。
使用可能時間=T0−ΣtI/O(x) …(1)
但し、T0は負荷監視処理の実行周期、tI/O(x)はバックアップの最新化処理を行うストレージ12に対する各回のアクセスにおけるアクセス時間(I/O)時間である。例えば、図12に「使用可能時間の算出」と表記して示す例は、負荷監視処理の実行周期(モニタリング周期)T0=200ms、負荷監視処理を前回実行してからのアクセス回数が3回で、各々のアクセス時間が、20ms,18ms,24msの例を示す。この場合、使用可能時間=200−(20+18+24)=138msとなる。
また、図13Aには、負荷監視処理の実行周期で2周期分の時間(1周期分の時間=図13Aに示すモニタ時間)におけるストレージ12に対するアクセスの推移の一例を示す。図13Aでは、負荷監視処理の実行周期で1周期目の期間のうち、ストレージ12に対するアクセスが行われた期間をグレイに着色して示し、ストレージ12に対するアクセスが行われていない期間を網掛けで示している。先の(1)式は、負荷監視処理の実行周期で1周期目の期間のうち、ストレージ12に対するアクセスが行われていない、網掛けで示した期間の合計時間(I/O余力と見込める時間)を使用可能時間として算出している。
なお、上記の使用可能時間は、開示の技術における「ストレージに対するアクセスの負荷の余裕分」の一例である。上記処理により、ストレージ12へのアクセス負荷の余裕分を正確に求めることができる。
次のステップ136において、データ量決定部30は、ステップ134で演算したバックアップの最新化処理に割り当て可能な使用可能時間に基づき、バックアップの最新化処理における処理対象のデータ量を演算する。なお、バックアップの最新化処理における処理対象のデータ量は、バックアップの最新化処理に割り当て可能な使用可能時間に、ステップ132で取得したストレージ12のI/O性能を乗ずることで演算できる。演算したバックアップの最新化処理における処理対象のデータ量はメモリ44に記憶させる。上記の処理対象のデータ量は、開示の技術における「ストレージに対するアクセスの負荷の余裕分に対応するバックアップ処理のデータ量」の一例である。
但し、バックアップの最新化処理において、ステップ136で演算した処理対象のデータ量のデータのバックアップを行った場合、図13Aに負荷監視処理の実行周期で2周期目の期間として示すように、ストレージ12に対して常にアクセスが行われることになる。従って、ストレージ12に対するアクセスの負荷が過大となり、業務処理に処理遅延等の悪影響を及ぼす可能性がある。また、上記の処理対象のデータ量は、CPU42の負荷を考慮せずに求めているので、CPU42の負荷が過大となる可能性もある。このため、本実施形態では、後述するように、CPU42の負荷も考慮して、ステップ136で演算したバックアップの最新化処理における処理対象のデータ量を補正する。
次のステップ138において、データ量決定部30は、処理実績情報記憶領域59からCPU42の各コア毎のCPU処理実績情報108(一例を図11に示す)を取得する。また、取得したCPU処理実績情報108に基づいてCPU42の各コア毎の遊び率(稼働率の逆数)を次の(2)式に従って演算する。
遊び率=Σtidle(x)÷T0 …(2)
但し、T0は負荷監視処理の実行周期、tidle(x)はコアxの待機時間である。CPU処理実績情報108にはCPU42のコアが占有されていた時間が記録されているが、ごく短い占有時間が連続している期間はCPU42のコアが待機状態になっているとみなし(図13Bも参照)、上記期間の占有時間は待機時間に算入して遊び率を演算する。CPU42の各コア毎に演算した遊び率はメモリ44に記憶させる。
次のステップ140において、データ量決定部30は、負荷監視処理の次の実行タイミングが到来する迄待機し、実行タイミングが到来するとステップ130に戻る。上記の負荷監視処理により、バックアップの最新化処理の制御パラメータ142(処理対象のデータ量及びCPU42の各コア毎の遊び率:図11参照)がメモリ44に記憶されると共に、負荷監視処理の実行周期T0毎に制御パラメータ142の値が更新される。
次に、図4に示す「(5)バックアップ最新化処理」の詳細について、図14及び図15を参照して説明する。バックアップ最新化処理は、データ量決定部30及びバックアップ処理部32によって実現され、負荷監視処理と同様にCPU42の何れかのコアで一定時間毎に実行される。例えば図3では、バックアップ最新化機能を実現するCPU処理プロセス(図3では"バックアップ最新化機能"と表記)がCPU42の第4コア(図3では"CPU4"と表記)に割り当てられて実行された例を示している。
バックアップ最新化処理のステップ150において、バックアップ処理部32は、アーカイブログ24の更新の有無を検知し、次のステップ151において、バックアップ処理部32は、アーカイブログ24が更新されたか否か判定する。アーカイブログ24が更新されていない場合はステップ151の判定が否定されてステップ150に戻り、ステップ150,151を繰り返す。アーカイブログ24が更新された場合はステップ151の判定が肯定されてステップ152へ移行し、ステップ152において、データ量決定部30はバックアップ最新化情報(制御パラメータ142:図15参照)をメモリ44から取得する。
次のステップ154において、データ量決定部30は、取得した制御パラメータ142に含まれるCPU42の各コア毎の遊び率に基づいて、バックアップ最新化実施処理を行わせるコアを特定する。なお、バックアップ最新化実施処理を行わせるコアとしては、取得した制御パラメータ142に含まれるCPU42の各コア毎の遊び率が最大のコアを適用することができる。
次のステップ156において、データ量決定部30は、取得した制御パラメータ142に含まれるバックアップの最新化処理における処理対象のデータ量を、ステップ154で特定したコアの遊び率に基づき、次の(3)式に従って補正する。
補正後の処理対象データ量=補正前の処理対象データ量×コアの遊び率 …(3)
上記の(3)式により、バックアップ最新化実施処理を行わせるコアの遊び率が低くなるに従って、補正後の処理対象データ量が少なくされる。これにより、ストレージ12に対するアクセスの負荷やバックアップ最新化実施処理を行わせるコアの負荷が過大となり、業務処理に処理遅延等の悪影響を及ぼすことを抑制することができる。
次のステップ158において、バックアップ処理部32は、ステップ154で特定したコアにより、図15に示すバックアップ最新化実施処理を補正後の処理対象データ量だけ行わせる。これにより、アーカイブログ24の更新データ(データベース14の更新差分に相当するデータ)が補正後の処理対象データ量だけバックアップデータ26に追加記憶されることで、バックアップデータ26が最新化される。バックアップ最新化実施処理を行うと、次のステップ160において、バックアップ処理部32は、バックアップ最新化の1区間が終了したか否か判定する。ステップ160の判定が否定されている間はステップ160の判定を繰り返す。ステップ160の判定が肯定されるとステップ150に戻り、バックアップ処理部32は、アーカイブログ24の更新の有無を検知する処理を再開する。
上記のように、本実施形態では、業務処理と並行して、ストレージ12に対するアクセスの負荷及びCPU42の各コアの負荷を検出し、検出した負荷に基づいて処理対象データ量を決定してバックアップの最新化を行っている。これにより、例えば図16に破線で示すように業務処理の実行に伴う負荷が変動した場合にも、バックアップの最新化における処理対象データ量が図16に二点鎖線で示すように調整されることで、全体の負荷が平準化される。従って、業務処理の実行に伴う負荷が比較的高い環境下でも、ストレージ12に対するアクセスの負荷やCPU42の各コアの負荷が過大となることで、業務処理に悪影響を及ぼすことを抑制しつつ、バックアップの最新化を継続して行うことができる。
また、業務処理と並行してバックアップの最新化を行うことが可能となることで、夜間等に業務処理の実行を停止する期間を設け、当該期間にバックアップの最新化を行う等の運用を行う必要もなくなる。
なお、上記では開示の技術に係る情報処理装置の一例としてDBサーバ10を適用した態様を説明したが、これに限定されるものではなく、WEBサーバやアプリケーションサーバ、パーソナルコンピュータ等を適用することも可能である。
また、上記ではCPU42に複数のコアが設けられた構成を説明したが、これに限定されるものでもなく、CPUは単一のコアが設けられた構成であってもよい。また、上記ではストレージ12が複数設けられた構成を説明したが、これに限定されるものではなく、ストレージが1台のみ設けられた構成に適用することも可能である。
また、上記では開示の技術に係る情報処理プログラムの一例であるデータベース管理プログラムがDBサーバ10の記憶部46に予め記憶(インストール)されている態様を説明した。しかし、開示の技術は上記態様に限定されるものではなく、開示の技術に係る情報処理プログラムは、CD−ROMやDVD−ROM等の記録媒体に記録されている形態で提供することも可能である。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (18)

  1. ストレージに対するアクセスの負荷及びプロセッサの負荷を検出する検出部と、
    検出された前記ストレージに対するアクセスの負荷及びプロセッサの負荷に基づき、前記ストレージに対するアクセスを伴うバックアップ処理のデータ量を決定する決定部と、
    前記データ量に基づいて前記バックアップ処理を行うバックアップ処理部と、
    を含み、
    前記決定部は、前記ストレージに対するアクセスの負荷から前記ストレージに対するアクセスの負荷の余裕分を求め、求めた負荷の余裕分に対応するバックアップ処理のデータ量に、前記プロセッサの負荷から求まる前記プロセッサの遊び率を乗ずることで、バックアップ処理のデータ量を決定する、情報処理装置。
  2. 前記検出部は、単位時間内に生じた前記ストレージに対するアクセスの回数及び個々のアクセスに要した時間を記録する第1記録部を備え、前記単位時間内に生じた前記ストレージに対する個々のアクセスに要した時間の合計値を、前記単位時間内における前記ストレージに対するアクセスの負荷として検出する請求項記載の情報処理装置。
  3. 前記検出部は、単位時間内に生じた前記ストレージに対するアクセスの回数及び個々のアクセスに要した時間を記録する第1記録部を備え、前記単位時間内に生じた前記ストレージに対する個々のアクセスに要した時間の合計値を、前記単位時間内における前記ストレージに対するアクセスの負荷として検出し、
    前記決定部は、前記単位時間から、前記単位時間内に生じた前記ストレージに対する個々のアクセスに要した時間の合計値を減算した使用可能時間を、前記ストレージに対するアクセスの負荷の余裕分として求める請求項記載の情報処理装置。
  4. 前記ストレージに対して単位時間当りにアクセス可能なデータ量を表すアクセス性能情報を記憶する記憶部を更に備え、
    前記決定部は、前記ストレージに対するアクセスの負荷の余裕分として求めた前記使用可能時間に、前記アクセス性能情報が表す単位時間当りにアクセス可能なデータ量を乗ずることで、前記負荷の余裕分に対応する前記バックアップ処理のデータ量を求める請求項記載の情報処理装置。
  5. 前記検出部は、単位時間内に前記プロセッサが占有された回数及び時間を記録する第2記録部を更に備え処理の実行に伴って前記単位時間内に前記プロセッサが占有された時間の合計値を、前記プロセッサの負荷として検出する請求項1乃至請求項の何れか1項記載の情報処理装置。
  6. ストレージに対するアクセスの負荷及びプロセッサの負荷を伴う処理は、第1のストレージに記憶されたデータベースを更新する処理を含み、
    前記バックアップ処理は、前記データベースの更新差分を第2のストレージに記憶させる処理を含む請求項1乃至請求項の何れか1項記載の情報処理装置。
  7. ストレージに対するアクセスの負荷及びプロセッサの負荷を検出し、
    検出した前記ストレージに対するアクセスの負荷及びプロセッサの負荷に基づき、前記ストレージに対するアクセスを伴うバックアップ処理のデータ量を決定し、
    前記データ量に基づいて前記バックアップ処理を行う
    ことを含み、
    前記ストレージに対するアクセスの負荷から前記ストレージに対するアクセスの負荷の余裕分を求め、求めた負荷の余裕分に対応するバックアップ処理のデータ量に、前記プロセッサの負荷から求まる前記プロセッサの遊び率を乗ずることで、バックアップ処理のデータ量を決定する、情報処理方法。
  8. 単位時間内に生じた前記ストレージに対するアクセスの回数及び個々のアクセスに要した時間を記録し、前記単位時間内に生じた前記ストレージに対する個々のアクセスに要した時間の合計値を、前記単位時間内における前記ストレージに対するアクセスの負荷として検出する請求項記載の情報処理方法。
  9. 単位時間内に生じた前記ストレージに対するアクセスの回数及び個々のアクセスに要した時間を記録し、前記単位時間内に生じた前記ストレージに対する個々のアクセスに要した時間の合計値を、前記単位時間内における前記ストレージに対するアクセスの負荷として検出し、
    前記単位時間から、前記単位時間内に生じた前記ストレージに対する個々のアクセスに要した時間の合計値を減算した使用可能時間を、前記ストレージに対するアクセスの負荷の余裕分として求める請求項記載の情報処理方法。
  10. 前記ストレージに対して単位時間当りにアクセス可能なデータ量を表すアクセス性能情報を記憶部に記憶しておき、
    前記ストレージに対するアクセスの負荷の余裕分として求めた前記使用可能時間に、前記アクセス性能情報が表す単位時間当りにアクセス可能なデータ量を乗ずることで、前記負荷の余裕分に対応する前記バックアップ処理のデータ量を求める請求項記載の情報処理方法。
  11. 単位時間内に前記プロセッサが占有された回数及び時間を記録し処理の実行に伴って前記単位時間内に前記プロセッサが占有された時間の合計値を、前記プロセッサの負荷として検出する請求項乃至請求項10の何れか1項記載の情報処理方法。
  12. ストレージに対するアクセスの負荷及びプロセッサの負荷を伴う処理は、第1のストレージに記憶されたデータベースを更新する処理を含み、
    前記バックアップ処理は、前記データベースの更新差分を第2のストレージに記憶させる処理を含む請求項乃至請求項11の何れか1項記載の情報処理方法。
  13. ストレージに対するアクセスの負荷及びプロセッサの負荷を検出し、
    検出した前記ストレージに対するアクセスの負荷及びプロセッサの負荷に基づき、前記ストレージに対するアクセスを伴うバックアップ処理のデータ量を決定し、
    前記データ量に基づいて前記バックアップ処理を行う
    ことを含み、
    前記ストレージに対するアクセスの負荷から前記ストレージに対するアクセスの負荷の余裕分を求め、求めた負荷の余裕分に対応するバックアップ処理のデータ量に、前記プロセッサの負荷から求まる前記プロセッサの遊び率を乗ずることで、バックアップ処理のデータ量を決定する処理をコンピュータによって行わせるための情報処理プログラム。
  14. 単位時間内に生じた前記ストレージに対するアクセスの回数及び個々のアクセスに要した時間を記録し、前記単位時間内に生じた前記ストレージに対する個々のアクセスに要した時間の合計値を、前記単位時間内における前記ストレージに対するアクセスの負荷として検出する請求項13記載の情報処理プログラム。
  15. 単位時間内に生じた前記ストレージに対するアクセスの回数及び個々のアクセスに要した時間を記録し、前記単位時間内に生じた前記ストレージに対する個々のアクセスに要した時間の合計値を、前記単位時間内における前記ストレージに対するアクセスの負荷として検出し、
    前記単位時間から、前記単位時間内に生じた前記ストレージに対する個々のアクセスに要した時間の合計値を減算した使用可能時間を、前記ストレージに対するアクセスの負荷の余裕分として求める請求項13記載の情報処理プログラム。
  16. 前記ストレージに対して単位時間当りにアクセス可能なデータ量を表すアクセス性能情報を記憶部に記憶しておき、
    前記ストレージに対するアクセスの負荷の余裕分として求めた前記使用可能時間に、前記アクセス性能情報が表す単位時間当りにアクセス可能なデータ量を乗ずることで、前記負荷の余裕分に対応する前記バックアップ処理のデータ量を求める請求項15記載の情報処理プログラム。
  17. 単位時間内に前記プロセッサが占有された回数及び時間を記録する第2記録部を更に備え、前記単位時間内に前記プロセッサが占有された時間の合計値を、前記プロセッサの負荷として検出する請求項13乃至請求項16の何れか1項記載の情報処理プログラム。
  18. ストレージに対するアクセスの負荷及びプロセッサの負荷を伴う処理は、第1のストレージに記憶されたデータベースを更新する処理を含み、
    前記バックアップ処理は、前記データベースの更新差分を第2のストレージに記憶させる処理を含む請求項13乃至請求項17の何れか1項記載の情報処理プログラム。
JP2015548925A 2013-11-21 2013-11-21 情報処理装置、方法、プログラム及び記録媒体 Expired - Fee Related JP6229733B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/081444 WO2015075803A1 (ja) 2013-11-21 2013-11-21 情報処理装置、方法、プログラム及び記録媒体

Publications (2)

Publication Number Publication Date
JPWO2015075803A1 JPWO2015075803A1 (ja) 2017-03-16
JP6229733B2 true JP6229733B2 (ja) 2017-11-15

Family

ID=53179109

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015548925A Expired - Fee Related JP6229733B2 (ja) 2013-11-21 2013-11-21 情報処理装置、方法、プログラム及び記録媒体

Country Status (3)

Country Link
US (1) US20160266808A1 (ja)
JP (1) JP6229733B2 (ja)
WO (1) WO2015075803A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6590403B2 (ja) * 2015-11-19 2019-10-16 日本電気通信システム株式会社 通信装置およびバックアップ制御方法
JP6686602B2 (ja) * 2016-03-24 2020-04-22 富士通株式会社 制御方法、制御プログラムおよび制御装置
US11093346B2 (en) * 2019-06-03 2021-08-17 EMC IP Holding Company LLC Uninterrupted backup operation using a time based approach
JP2021170336A (ja) * 2021-06-07 2021-10-28 紘司 余田 電子データをスマートに保存管理するシステム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2576792B2 (ja) * 1994-06-01 1997-01-29 日本電気株式会社 ディスク装置及びこれを使用する上位装置
JPH0973372A (ja) * 1995-09-07 1997-03-18 Fujitsu Ltd 記憶制御方法及び記憶制御装置
US5943688A (en) * 1997-05-29 1999-08-24 International Business Machines Corporation Automated database back-up within a data storage system using removable media
EP1297446B1 (en) * 2000-07-05 2005-09-21 Ernst & Young LLP Method and apparatus for providing computer services
JP2005346218A (ja) * 2004-06-01 2005-12-15 Dainippon Printing Co Ltd データバックアップ装置
TW200713037A (en) * 2005-09-06 2007-04-01 Benq Corp System and method for updating firmware
JP4825485B2 (ja) * 2005-10-05 2011-11-30 株式会社東芝 データバックアップシステム
JP2007241623A (ja) * 2006-03-08 2007-09-20 Nikon Corp 電子機器およびデータ転送プログラム
US8438346B2 (en) * 2006-04-27 2013-05-07 Hewlett-Packard Development Company, L.P. Synchronization of a virtual storage system and an actual storage system
JP4901316B2 (ja) * 2006-06-06 2012-03-21 株式会社日立製作所 ストレージシステム及び記憶制御装置
WO2011037624A1 (en) * 2009-09-22 2011-03-31 Emc Corporation Snapshotting a performance storage system in a system for performance improvement of a capacity optimized storage system
WO2012164632A1 (en) * 2011-06-03 2012-12-06 Hitachi, Ltd. Storage apparatus and storage apparatus management method

Also Published As

Publication number Publication date
WO2015075803A1 (ja) 2015-05-28
JPWO2015075803A1 (ja) 2017-03-16
US20160266808A1 (en) 2016-09-15

Similar Documents

Publication Publication Date Title
US11281377B2 (en) Method and apparatus for managing storage system
US8838927B2 (en) Systems, methods, and physical computer storage media to optimize data placement in multi-tiered storage systems
US8346934B2 (en) Method for executing migration between virtual servers and server system used for the same
JP5967215B2 (ja) 情報処理装置、プログラムおよび仮想マシン移動方法
JP6229733B2 (ja) 情報処理装置、方法、プログラム及び記録媒体
JP6160240B2 (ja) 情報処理装置、情報処理システム、情報処理装置の制御方法および情報処理装置の制御プログラム
JP5471822B2 (ja) 入出力制御プログラム、情報処理装置および入出力制御方法
US9367492B2 (en) Storage virtualization apparatus causing access request process to be delayed based on incomplete count and storage virtualization method
US20200285510A1 (en) High precision load distribution among processors
JP6011639B2 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
JP2013196108A (ja) ストレージ制御装置、ストレージ制御方法、及びストレージ制御プログラム
WO2016206463A1 (zh) 一种写操作控制方法、装置及系统
JP6819378B2 (ja) 並列処理装置、ステージアウト処理方法、およびジョブ管理プログラム
CN102576294A (zh) 含有多个存储装置的存储系统、方法及程序
US10430287B2 (en) Computer
US20160154871A1 (en) System and method for managing database
JP2005209055A (ja) ストレージの負荷分散方法
US20170277587A1 (en) Computer system and memory dump method
JP5833972B2 (ja) 検証装置及び検証方法
JP7135780B2 (ja) ライブマイグレーション調整プログラム及びライブマイグレーション調整方法
US8738823B2 (en) Quiescing input/output (I/O) requests to subsets of logical addresses in a storage for a requested operation
JP5708053B2 (ja) 情報処理装置、デフラグメンテーション方法、およびデフラグメンテーションプログラム
US10747446B2 (en) Computer system and storage device activation control method
US20220214815A1 (en) Managing client devices associated with storage nodes in a scale-out storage system
JP2006185046A (ja) 計算方法及び計算装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170509

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170710

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170919

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171002

R150 Certificate of patent or registration of utility model

Ref document number: 6229733

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees