JP7252931B2 - ストレージ装置およびストレージ装置の制御方法 - Google Patents

ストレージ装置およびストレージ装置の制御方法 Download PDF

Info

Publication number
JP7252931B2
JP7252931B2 JP2020185353A JP2020185353A JP7252931B2 JP 7252931 B2 JP7252931 B2 JP 7252931B2 JP 2020185353 A JP2020185353 A JP 2020185353A JP 2020185353 A JP2020185353 A JP 2020185353A JP 7252931 B2 JP7252931 B2 JP 7252931B2
Authority
JP
Japan
Prior art keywords
controller
group
intra
logical
shared memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020185353A
Other languages
English (en)
Other versions
JP2022074920A (ja
Inventor
晨騏 朱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020185353A priority Critical patent/JP7252931B2/ja
Priority to US17/200,678 priority patent/US11531631B2/en
Publication of JP2022074920A publication Critical patent/JP2022074920A/ja
Application granted granted Critical
Publication of JP7252931B2 publication Critical patent/JP7252931B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0655—Vertical data movement, i.e. input-output transfer; data movement between one or more hosts and one or more storage devices
    • G06F3/0659—Command handling arrangements, e.g. command buffers, queues, command scheduling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0689—Disk arrays, e.g. RAID, JBOD
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F13/14—Handling requests for interconnection or transfer
    • G06F13/16—Handling requests for interconnection or transfer for access to memory bus
    • G06F13/1668—Details of memory controller

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Debugging And Monitoring (AREA)

Description

本発明は、ストレージ装置およびストレージ装置の制御方法に係り、特に、論理デバイスをグループ化して、ストレージアクセスのサービスを提供する場合に、ストレージのＩＯ性能を劣化することなく、精度の高いアクセスの上限チェックを行うのに好適なストレージ装置およびストレージ装置の制御方法に関する。
情報処理システムの分野では、従来よりホストコンピュータと独立させて、ハードディスク（Hard Disk：ＨＤ）装置などを制御するストレージ装置が広く使われている。
このようなストレージ装置においては、複数の論理デバイス（ボリューム）に対して、アクセスを行うため全体のスループットを確保しながら、個々の論理デバイスに対しても十分なＩＯ性能を確保した制御を行う必要がある。このようなストレージ装置の制御の技術に関しては、例えば、特許文献１に開示がある。この特許文献１に記載された技術では、ストレージ管理装置において、複数のボリュームに対して、性能干渉を抑えた帯域制限幅の調整を容易に行うために、ストレージ管理装置が、複数のボリュームを含むＴｉｅｒプールの負荷情報を取得し、その負荷情報を基に、Ｔｉｅｒプールの全体帯域幅を算出し、各ボリュームに割り当てた個別帯域幅の合計全体帯域幅となるように各個別帯域幅を算出し各ボリュームに割り当てるようなＩＯ制御を行う。
特開２０１６－９９７４６号公報
近年、サーバ仮想化の一般化やクラウドサービスの普及により、同一物理ストレージを複数のサービス間で共有するケースが増加している。パブリッククラウドでは、複数の企業(サービス)を同居させるマルチテナントのニーズがあり、プライベートクラウドでは、ビジネス上重要度の異なるアプリケーションを同居させることも増えている。
これらのサービス(アプリケーション)においては、業務の処理の緊急性や扱うデータ量の違いがあることから、ストレージに対して要求するサービスレベル（スループットやレスポンスタイム）が当然のことながら異なることになる。
そのため、ストレージ装置においては、サービス間の性能干渉を抑え、一定の性能と品質を提供する為に、柔軟なリソースの割り振りや、性能要件の厳しいサービスや時間帯における優先順位の設定など、ストレージ側で資源を有効に活用するための機能が重要となってきている。
このようにストレージ装置において、ＩＯに対するサービスの質を提供する機能（制御）は、一般的にＱｏＳ（Quality of Service）機能（制御）と呼ばれている。
例えば、上記従来技術の特許文献１においては、論理デバイス（ボリューム）単位のＱｏＳ機能により、個々のボリュームに対し、帯域幅を割当てて制御するようにしている。
ところが、クラウド環境を含むマルチテナントの場合、一つのテナントの中でも複数の論理デバイスを使用してサービスを提供することも考えられる。このようなサービス形態に対応するには、複数の論理デバイスを束ねたグループ単位でのサービスレベルの提供が不可欠であり、それに対応するために、ＱｏＳグループという概念が提唱されている。ＱｏＳグループは、複数論理デバイスを束ねた集合であり、ＱｏＳグループを定義すると、ＱｏＳグループ内の論理デバイスをまとめたＱｏＳ制御を行うことができる。これにより、クラウド環境での運用に適した、柔軟なシステム構築が可能となる。
しかしながら、上記従来技術の特許文献１においては、論理デバイスをまとめたＱｏＳ制御については、考慮されていない。特に、大規模なストレージ装置においては、複数のコントローラを有することが一般的であるが、従来技術では、コントローラ間で、論理デバイスの稼働情報を共有していないため、ＱｏＳグループ全体のＩＯ状況を把握できず、グループ全体での上限値制御はできない。また、従来技術で使用する稼働情報を全コントローラからアクセスできるコントローラ間共有メモリに変更することもできるが、ＱｏＳグループ内の論理デバイスが複数のコントローラをまたぐ場合には、ＱｏＳ制御によりＩＯ性能が低下する。
本発明の目的は、論理デバイスをグループ化して、ストレージアクセスのサービスを提供する場合に、ストレージのＩＯ性能を劣化することなく、精度の高いアクセスの上限チェックを行うことのできるストレージ装置を提供することにある。
上記問題点を解決するためのストレージ装置の構成は、好ましくは、ホストからのＩＯ要求により、論理デバイスに対してデータの読み書きを行うストレージ装置であって、ストレージ装置は、二つ以上のコントローラと、データを記憶する一つ以上の記憶装置からなり、コントローラは、ホストからのＩＯ要求に対してＩＯ処理を実行するプロセッサと、ＩＯ処理の制御情報を記憶する主メモリとを有し、主メモリは、自コントローラのみがアクセスするコントローラ内共有メモリと、他のコントローラがアクセスできるコントローラ間共有メモリとに分割され、コントローラ間共有メモリに、論理デバイスのグループに対する第一のグループ実行ＩＯ数を格納し、コントローラ内共有メモリに、論理デバイスのグループに対する第二のグループ実行ＩＯ数と、コントローラ内実行ＩＯ数とを格納し、コントローラ内共有メモリに、論理デバイスのグループに対するＩＯ数の上限値を格納し、ストレージ装置は、ホストからＩＯ要求があったときに、各論理デバイスに対応するＩＯキューにキューイングし、
ストレージ装置のプロセッサは、キューイングされたＩＯキューからＩＯ要求を取り出し、ストレージ装置のプロセッサは、コントローラ内共有メモリにアクセスし、論理デバイスのグループに対するＩＯ数の上限値と、論理デバイスのグループに対する第二のグループ実行ＩＯ数と、コントローラ内実行ＩＯ数とを取得し、ストレージ装置のプロセッサは、論理デバイスのグループに対するＩＯ数の上限値と、論理デバイスのグループに対する第二のグループ実行ＩＯ数とコントローラ内実行ＩＯ数との和を比較して、論理デバイスのグループに対する第二のグループ実行ＩＯ数とコントローラ内実行ＩＯ数との和が論理デバイスのグループに対するＩＯ数の上限値未満のときには、コントローラ内実行ＩＯ数をインクリメントして、コントローラ内共有メモリに書き戻し、ストレージ装置のプロセッサは、コントローラ内実行ＩＯ数と、以下の式より定まるコントローラ間共有メモリ更新間隔閾値とを比較し、
コントローラ間共有メモリ更新間隔閾値＝（「論理デバイスのグループに対するＩＯ数の上限値」－（「論理デバイスのグループに対する第二のグループ実行ＩＯ数」＋「コントローラ内実行ＩＯ数」））×「余裕割合係数」÷「システム内コントローラ数」
ストレージ装置のプロセッサは、コントローラ内実行ＩＯ数が、コントローラ間共有メモリ更新間隔閾値以上のときには、論理デバイスのグループに対する第一のグループ実行ＩＯ数を取得し、ストレージ装置のプロセッサは、論理デバイスのグループに対する第一のグループ実行ＩＯ数に、コントローラ内実行ＩＯ数を加算して、コントローラ間共有メモリに書き戻し、ストレージ装置のプロセッサは、加算した論理デバイスのグループに対する第一のグループ実行ＩＯ数を、コントローラ内共有メモリの論理デバイスのグループに対する第二のグループ実行ＩＯ数として書込み、コントローラ内共有メモリのコントローラ内実行ＩＯ数をクリアし、
ストレージ装置のプロセッサは、論理デバイスのグループに対するＩＯ数の上限値と、論理デバイスのグループに対する第二のグループ実行ＩＯ数とコントローラ内実行ＩＯ数との和を比較して、論理デバイスのグループに対する第二のグループ実行ＩＯ数とコントローラ内実行ＩＯ数との和が論理デバイスのグループに対するＩＯ数の上限値以上のときには、ストレージ装置は、ホストからＩＯ要求に対応したＩＯ処理を行わないようにしたものである。
本発明によれば、論理デバイスをグループ化して、ストレージアクセスのサービスを提供する場合に、ストレージのＩＯ性能を劣化することなく、精度の高いアクセスの上限チェックを行うことのできるストレージ装置を提供することができる。
ストレージシステムのハードウェア構成図である。 ストレージ装置の機能構成図である。 実施形態１に係るコントローラ間共有稼動情報テーブルの一例を示す図である。 実施形態１に係るコントローラ内稼動情報テーブルの一例を示す図である。 実施形態１に係る構成情報テーブルの一例を示す図である。 実施形態１に係るＱｏＳグループとコントローラにおける稼動情報のアクセスの仕方を説明する図である。 コントローラ間共有メモリに格納される稼動情報の更新間隔を説明する図である。 実施形態１に係るホストからＩＯを受領した場合のメモリアクセスの概要を示す図である。 実施形態１に係るストレージ装置のコントローラのＩＯ制御の詳細を示すフローチャートである。 実施形態２に係るコントローラ間共有稼動情報テーブルの一例を示す図である。 実施形態２に係るコントローラ内稼動情報テーブルの一例を示す図である。 実施形態２に係る構成情報テーブルの一例を示す図である。 実施形態２に係るホストからＩＯを受領した場合のメモリアクセスの概要を示す図である。 実施形態２に係るストレージ装置のコントローラのＩＯ制御の詳細を示すフローチャートである。
以下、本発明に係る各実施形態について、図１ないし図１４を用いて説明する。
〔実施形態１〕
以下、本発明に係る実施形態１について、図１ないし図９を用いて説明する。
先ず、図１および図２を用いて本発明の実施形態１に係るストレージシステムの構成について説明する。
実施形態１に係るストレージシステムは、図１に示されるように、ホスト１０、ストレージ装置１００、管理端末２０が接続された構成である。このストレージシステムにおいては、ホスト１０とストレージ装置１００は、ホスト－ストレージインタフェース５、管理端末２０とストレージ装置１００は、ネットワークインタフェース７で接続されている。
ホスト－ストレージインタフェース５は、例えば、ファイバチャネル（Fiber Channel）、ｉＳＣＳＩ（Internet Small Computer Systems Interface）など、ホスト１０とストレージ装置１００を接続するためのいわゆるストレージエリアネットワークを接続するための大容量データ転送が可能なインタフェースである。ネットワークインタフェース７は、例えば、構内ネットワークやインターネットなどのグルーバルネットワークを接続するインタフェースである。
ホスト１０は、アプリケーションソフトウェアを実行し、ストレージ装置１００に格納するデータの読み書きをする情報処理装置である。ストレージ装置１００は、ディスク制御装置（DisK Controller：ＤＫＣ）とも呼ばれ、複数のドライブを制御し、ホスト１０からのＩＯ要求に応答し、ドライブに格納されたデータの読み書きを行う装置である。管理端末２０は、管理者がストレージ装置１００に対して管理コマンドを入力したり、ストレージ装置１００の稼動状況を表示させて管理する端末である。
ＩＯ要求とは、例えば、ホスト１０からストレージ装置１００の論理的な記憶領域に対してなされるＲＥＡＤコマンドやＷＲＩＴＥコマンドである。ＲＥＡＤコマンドやＷＲＩＴＥコマンドでは、パラメータとして、論理的な記憶領域（Ｌｏｇｉｃａｌ Ｕｎｉｔ）に対するアドレス、データ長が指定される。なお、本明細書では、ホスト１０からストレージ装置１００に対するＩＯ要求を、単に「ＩＯ」ということもある。
ストレージ装置１００は、通常、二個以上のコントローラ１１０を有する。コントローラは、ストレージ装置１００内のドライブに対するアクセス制御を行う部分である。ストレージ装置１００は、全体のＩＯ性能を向上させるため複数のコントローラ１１０を備えるのが一般的である。なお、図１では、コントローラ♯１：１１０♯１、コントローラ♯２：１１０♯２として、二つのコントローラを図示している。
ドライブ１４０は、大容量のデータを記憶する補助記憶装置であり、例えば、ＨＤＤ（Hard Disk Drive）などの磁気記憶装置や、ＳＳＤ（Solid State Drive）などの不揮発性半導体記憶装置である。
ストレージ装置１００とドライブ１４０とは、ディスクインタフェース９により接続されている。ディスクインタフェース９は、例えば、ＳＡＳ（Serial Attached SCSI）やＮＶＭｅ（Non-Volatile Memory Express）などのインタフェースである。
コントローラ１１０は、チャネルアダプタ１０１、主メモリ１２０、ＭＰＵ１３０、ディスクボード１０３からなる。
チャネルアダプタ１０１は、ホスト１０と各コントローラ１１０をホスト－ストレージインタフェース５により接続するためのアダプタとなる装置である。主メモリ１２０は、ストレージ装置の稼動時にワークデータやコマンドを保持するＤＲＡＭ（Dynamic RAM）などの揮発性の半導体記憶装置である。ＭＰＵ（Micro Processor Unit）１３０は、制御プログラムを実行し、コントローラ１１０を制御する処理装置である。ＭＰＵ１３０は、各スレッドを独立して処理できる複数のＭＰ（コア）１３１を有している。ディスクボード１０３は、ディスクインタフェース９によりストレージ装置１００とドライブ１４０とを接続する装置である。図１に示されるように、各ディスクボード１０３は、複数のドライブ１４０と接続され、各ドライブ１４０は、通常、複数のコントローラ１１０のディスクボード１０３と接続されている。
主メモリ１２０には、論理的なアクセス領域として、コントローラ間共有メモリ１２１とコントローラ内共有メモリ１２２がある。
コントローラ間共有メモリ１２１は、他のコントローラ（例えば、コントローラ♯１：１１０♯１にある主メモリ１２０のときには、コントローラ♯２：１１０♯２）からのアクセスを許容しているメモリ領域であり、コントローラ内共有メモリ１２２は、そのコントローラ１１０のＭＰ１３１のみ（例えば、コントローラ♯１：１１０♯１にある主メモリ１２０のときには、コントローラ♯１：１１０♯１のＭＰ１３１）がアクセスすることが許容された領域である。
一般に、コントローラ間共有メモリ１２１は、他のコントローラからアクセスするときには、データ転送と処理のオーバヘッドのため、コントローラ内共有メモリ１２２と比較して、１００～１０００倍の処理時間を要する。
次に、図２を用いてストレージ装置の機能構成を説明する。
ストレージ装置１００は、図２に示されるように、性能制御部２１０、稼動情報取得部２２０、稼動情報更新部２３０、制御情報記憶部２４０の各機能部を有し、論理的なデータのアクセス単位としての論理デバイス２０１からなる論理デバイス群２００からなる。なお、各機能部は、ストレージ装置１００の制御プログラムがＭＰ１３１を実行させることにより実現される。また、図２では、コントローラ♯２：１１０♯２では、制御情報記憶部２４０のみ図示しているが、コントローラ♯１：１１０♯１と同様の機能部を有することはもとよりである。
性能制御部２１０は、制御情報記憶部２４０に記憶された制御情報を参照し、論理デバイス２０１へのアクセス性能を制御する機能部である。稼動情報取得部２２０は、論理デバイス２０１のアクセス情報（ＩＯの稼動情報）を取得して、制御情報記憶部２４０に記憶された制御情報に書き込む機能部である。稼動情報更新部２３０は、コントローラ内共有メモリ１２２に書き込まれる制御情報を、コントローラ間共有メモリ１２１に反映させる機能部である（詳細は、後述）。制御情報記憶部２４０は、コントローラ１１０における性能制御をするための制御情報を記憶する機能部である。制御情報記憶部２４０の制御情報を保持するテーブルとしては、構成情報テーブル３００、コントローラ間共有稼動情報テーブル３１０、コントローラ内稼動情報テーブル３２０がある。この内、構成情報テーブル３００、コントローラ内稼動情報テーブル３２０は、コントローラ内共有メモリ１２２に保持されるテーブルであり、コントローラ間共有稼動情報テーブル３１０は、コントローラ間共有メモリ１２１に保持されるテーブルである。
次に、図３ないし図５を用いて実施形態１のストレージ装置で用いられるデータ構造について説明する。
コントローラ間共有稼動情報テーブル３１０は、コントローラ間共有メモリ１２１上に置かれ、コントローラ間で共有されるＱｏＳグループに対する制御情報を管理するためのテーブルであり、図３に示されるように、ＱｏＳグループＩＤ３１０ａ、ＱｏＳグループ実行ＩＯ数（マスタ）３１０ｂの各フィールドを有する。
ＱｏＳグループＩＤ３１０ａには、制御対象のＱｏＳグループを一意に表す識別子が格納される。ＱｏＳグループ実行ＩＯ数（マスタ）３１０ｂには、ＱｏＳグループのシステム内全てのコントローラで実行した対象ＱｏＳグループに所属する論理デバイスに対する単位時間あたりのＩＯ数が格納される。ＩＯ数の詳細は、後に説明する。
コントローラ内稼動情報テーブル３２０は、コントローラ内共有メモリ１２２上に置かれ、ＱｏＳグループに対する制御情報と、自コントローラ内のローカルな制御情報を管理するためのテーブルであり、図４に示されるように、ＱｏＳグループＩＤ３２０ａ、ＱｏＳグループ実行ＩＯ数（前回値）３２０ｂ、コントローラ内実行ＩＯ数（更新値）３２０ｃの各フィールドを有する。
ＱｏＳグループＩＤ３２０ａには、制御対象のＱｏＳグループを一意に表す識別子が格納される。ＱｏＳグループ実行ＩＯ数（前回値）３２０ｂには、ＱｏＳグループのシステム内全てのコントローラで実行した対象ＱｏＳグループに所属する論理デバイスの前回の更新時の単位時間あたりのＩＯ数が格納される（これに対する計算の詳細は、後述）。コントローラ内実行ＩＯ数（更新値）３２０ｃには、前回更新後に自コントローラで実行した対象ＱｏＳグループに所属する論理デバイスの単位時間あたりのＩＯ数が格納される。
構成情報テーブル３００は、コントローラ内共有メモリ１２２上に置かれ、ストレージ装置１００とＱｏＳグループに対する構成情報を管理するためのテーブルであり、図５に示されるように、ＱｏＳグループＩＤ３００ａ、ＱｏＳグループＩＯ上限値３００ｂ、システム内コントローラ数３００ｃの各フィールドを有する。
ＱｏＳグループＩＤ３００ａには、制御対象のＱｏＳグループを一意に表す識別子が格納される。ＱｏＳグループＩＯ上限値３００ｂには、システム管理者が設定したＱｏＳグループに対する単位時間あたりのＩＯ数の上限値が格納される。システム内コントローラ数３００ｃには、ＱｏＳグループの論理デバイスにアクセスするコントローラ１１０の数が格納される。例えば、図１に示されたストレージ装置１００の構成では、システム内コントローラ数は、２となる。
次に、図６および図７を用いて本発明の制御に対する考え方について説明する。
ここで、図６に示されるようなストレージ装置１００の構成を前提としてＱｏＳグループとコントローラにおける稼動情報のアクセスの仕方を説明する。図６の例では、ＱｏＳグループのＱｏＳＧｒｏｕｐ１に論理デバイス１：ＬＤＥＶ１、論理デバイス２：ＬＤＥＶ２、論理デバイス３：ＬＤＥＶ３が定義されており、コントローラとしてＣＴＬ１、ＣＴＬ２がそれらのデータにアクセスするものとする。
ＱｏＳＧｒｏｕｐ１の稼動情報としては、論理デバイスに対する実行ＩＯ数、データ転送量があるが、実施形態１では、実行ＩＯ数のみを問題とする。なお、以下では、実行ＩＯ数と記載した場合、単位時間あたりのＩＯ数であるとする。
本発明のストレージ装置に対する制御の考え方は、コントローラ間共有メモリ１２１へのアクセスを減らすため、コントローラ間共有メモリ１２１に格納されるＱｏＳグループ全体の稼働情報に対する更新・参照頻度を、その上限値への近づき具合に従い調整するものである。
以下、具体的に順を追って説明する。
（１）各コントローラにおいて、論理デバイスごとのＩＯ処理を行った際、実行ＩＯ数をコントローラ内共有メモリ１２２を使用して計上する。
（２）論理デバイス単位のキューからＩＯを起動する際、（１）で退避した値と現時点でのコントローラ内共有メモリ１２２で集計している稼働情報からグループ全体の実行数を加算することにより、ＱｏＳグループＩＯ上限値と比較する実行ＩＯ数以下の（式１）により算出する。
「ＱｏＳグループの実行ＩＯ数」＋「コントローラ内実行ＩＯ数」…（式１）
そして、（式１）で計算した値がＱｏＳグループＩＯ上限値以上になる場合、論理デバイス単位のキューからＩＯを起動させず、（式１）で計算した値未満になる場合には、論理デバイス単位のキューからＩＯを起動させる。
（３）論理デバイス単位のキューからＩＯを起動させるときには、コントローラ内共有メモリ１２２内の更新前の自コントローラのＩＯ数をリードし、更新前のデータに自コントローラのＩＯ量を加算し、自コントローラのＩＯ数内に退避する。
（４）次に、以下の（式２）を使用し、コントローラ間共有メモリ更新間隔閾値を計算する。
コントローラ間共有メモリ更新間隔閾値＝（「ＱｏＳグループＩＯ上限値」－（「ＱｏＳグループ実行ＩＯ数」＋「コントローラ内実行ＩＯ数」））×「余裕割合係数」÷「システム内コントローラ数」 …（式２）
ここで、ＱｏＳグループＩＯ上限値は、ＱｏＳグループの属する論理デバイスのＩＯ数全体の上限値、ＱｏＳグループ実行ＩＯ数は、ＱｏＳグループの属する論理デバイスに対してＩＯの実行された数、コントローラ内実行ＩＯ数は、そのコントローラが論理デバイスに対してＩＯを実行した数、余裕割合係数は、一定の割合を表す係数であり、例えば、０．０５＝５％とする。余裕割合係数は、固定でもよいが、管理端末２０より入力させてシステムを運用結果に従って柔軟に対処できるようにしてもよい。
また、ＱｏＳグループ実行ＩＯ数は、コントローラ間共有メモリ１２１とコントローラ内共有メモリ１２２の双方に保持され、コントローラ内実行ＩＯ数は、コントローラ内共有メモリ１２２に保持される。
（５）コントローラ内の実行ＩＯ数が（式２）で計算したコントローラ間共有メモリ更新間隔閾値に到達した場合、コントローラ内で計上してきたコントローラ内実行ＩＯ数をコントローラ間共有メモリのＱｏＳグループ実行ＩＯ数に加算する。到達していない場合、コントローラ内実行ＩＯ数にＩＯ数を付け加えて集計処理を完了する。
（６）（５）でコントローラ間共有メモリへの加算を行った場合、コントローラ内の稼働情報をクリアする。クリア後に集計処理を完了する。
この処理により、ＱｏＳグループの上限値制御の精度を維持しつつ、かつ、コントローラ内の実行ＩＯ数が、（式２）で定義したコントローラ間共有メモリ更新間隔閾値に到達しないとき（ＱｏＳグループＩＯ上限値に到達するまで、余裕があるとき）、コントローラ内共有メモリ１２２のみアクセスし、コントローラ間共有メモリ１２１にアクセスすることはないので、メモリアクセスに関してのＩＯ処理の性能を劣化するのを防ぐことができる。
次に、図７を用いてコントローラ間共有メモリに格納される稼動情報の更新間隔の考え方について説明する。
ここで、図７（Ａ）が、コントローラ内実行ＩＯ数についてコントローラ間共有メモリ更新間隔閾値が余裕ある場合であり、図７（Ｂ）が、コントローラ内実行ＩＯ数についてコントローラ間共有メモリ更新間隔閾値が余裕ない場合を示している。図に示されるように、コントローラ内実行ＩＯ数についてコントローラ間共有メモリ更新間隔閾値が余裕ある場合には、コントローラ間共有メモリ更新間隔閾値は、大きくなり、余裕がないときには、コントローラ間共有メモリ更新間隔閾値は、小さくなる。
コントローラ間共有メモリ更新間隔閾値（ｈ）を計算するために、先ず、ＱｏＳグループ上限値（ａ）から前回更新までのグループ全体の実行済みＩＯ数（ｂ）と自コントローラ内の実行済みＩＯ数（ｃ）を減算し、システム全体の残実行可能ＩＯ数（ｄ）を算出する。
次に、システム全体の残実行可能ＩＯ数（ｄ）をシステム内コントローラ数（ｅ）で割り算をすることにより、各コントローラの残実行可能ＩＯ数（ｆ）を算出する。
突発的なＩＯ流入などの要因によってコントローラのＩＯ処理のかたよりが生じることによる上限値オーバを防ぐため、余裕割合係数（例えば、５％）（ｇ）毎に更新間隔を定める。よって、コントローラ間共有メモリ更新間隔閾値（ｈ）は、各コントローラの残実行可能ＩＯ数（ｆ）×余裕割合係数（ｇ）により算出される。
このように、コントローラ間共有メモリ更新間隔閾値（ｈ）を定めることにより、各コントローラは、コントローラ間共有メモリ更新間隔閾値（ｈ）間に収まる間は、コントローラ間共有メモリ１２１へアクセスを行うことなく、ＩＯ数のカウントは、コントローラ内共有メモリ１２２のみで実施する。
これにより、コントローラ内実行ＩＯ数が小さいときには、コントローラ間共有メモリ１２１へアクセスを行うことないので、ＩＯ処理の性能低下は発生しない。かつ、コントローラ内実行ＩＯ数が大きくなり、ＱｏＳグループＩＯのＩＯ数が、ＱｏＳグループＩＯ上限値に近づいているときには、コントローラ間共有メモリ更新間隔閾値（ｈ）が小さくなって、コントローラ間共有メモリへのＩＯ数カウントの更新頻度も高くなるので、精度の高いＱｏＳ上限値制御をできる仕組みになっている。
次に、図８および図９を用いて実施形態１に係るストレージ装置の処理について説明する。
先ず、図８を用いてホストからＩＯを受領した場合のメモリアクセスの概要について説明する。
前提として、ストレージ装置１００のコントローラ１１０は、各論理デバイス２０１のオーナ権が与えられており、論理デバイス２０１のＱｏＳ制御は、オーナ権を有するコントローラ１１０で実施されるものとする。
［１］ストレージ装置１００のコントローラ１１０は、ホスト１０からチャネルアダプタ１０１経由でＩＯ要求を受領する。
［２］受領したＩＯ要求は、論理デバイスオーナ権側のコントローラに転送され、論理デバイス毎に用意されているＩＯキューにエンキュー（キューイング）される。ここで、ＩＯキューは、ＦＩＦＯ（First In First Out）のデータ構造である。
［３］コントローラ内の各ＭＰ１３１は、各論理デバイス２０１のＩＯキューを順番にチェックする。
ＩＯ要求が入っている場合には、当該論理デバイスが所属するＱｏＳグループの以下の値をコントローラ内共有メモリから取得する。
ｑｕ：ＱｏＳグループＩＯ上限値
ｑｅｐｒｅ：ＱｏＳグループ実行ＩＯ数（前回値）
ｃｅｕｐｄ：コントローラ内実行ＩＯ数（更新値）
そして、ｑｕと（ｑｅｐｒｅ＋ｃｅｕｐｄ）を比較し、（ｑｅｐｒｅ＋ｃｅｕｐｄ）が、ｑｕに達しているか否かを判定する。
［４－１］ｑｕ：ＱｏＳグループＩＯ上限値に到達していない場合には、コントローラ１１０は、ＩＯ要求に応じたＩＯ処理を実行する。
［４－１－１］次に、ＩＯ実行数を、コントローラ内共有メモリ１２２のコントローラ内実行ＩＯ数（更新値）に加算する。
［４－１－２］次に、（式３）でｕｐｄａｔｅｌｉｍｉｔ：コントローラ間共有メモリ更新間隔閾値を算出する。
ｕｐｄａｔｅｌｉｍｉｔ＝（（ｑｕ－ｑｅｐｒｅ－ｃｅｕｐｄ）×ｋ））／ｄ …（式３）
ここで、ｄ：システム内コントローラ数、ｋ：余裕割合係数である。
そして、ｃｅｕｐｄ：コントローラ内実行ＩＯ数（更新値）が、コントローラ間共有メモリ更新間隔閾値以上になったときを、更新契機とし、更新契機になったときには、コントローラ内実行ＩＯ数（更新値）を、コントローラ間共有メモリ１２１に格納されているＱｏＳグループ実行ＩＯ数（前回値）に加算して、更新する。
［４－２］ｑｕ：ＱｏＳグループＩＯ上限値に到達している場合には、ＩＯ要求に応じたＩＯ処理は抑止される。
次に、図９を用いてストレージ装置のコントローラのＩＯ制御の詳細について説明する。
先ず、コントローラ１１０のＭＰ１３１が論理デバイスのＩＯキューを順番にサーチする（Ｓ１００）。
次に、ＭＰ１３１は、ＩＯキューにＩＯ要求が格納されているか否かを判定する（Ｓ１０１）。
ＩＯキューにＩＯ要求が格納されているときには（Ｓ１０１：Ｙｅｓ）、Ｓ１０２に行き、ＩＯキューにＩＯ要求が格納されていないときには（Ｓ１０１：Ｎｏ）、処理を終了する。
ＩＯキューにＩＯ要求が格納されているときには、構成情報テーブル３００のＱｏＳグループＩＯ上限値３００ｂの値を取得し（Ｓ１０２）、その値を、ｑｕ：ＱｏＳグループＩＯ上限値とする。
次に、ＭＰ１３１は、コントローラ内稼動情報テーブル３２０のＱｏＳグループ実行ＩＯ数（前回値）３２０ｂの値を取得する（Ｓ１０３）。その値を、ｑｅｐｒｅ：ＱｏＳグループ実行ＩＯ数（前回値）とする。
次に、ＭＰ１３１は、コントローラ内稼動情報テーブル３２０のコントローラ内実行ＩＯ数（更新値）３２０ｃの値を取得し（Ｓ１０４）、その値を、ｃｅｕｐｄ：コントローラ内実行ＩＯ数（更新値）とする。
次に、ＭＰ１３１は、ｑｅｐｒｅ＋ｃｅｕｐｄ≧ｑｕが成立しているか否かを判定し（Ｓ１０５）、成立しているときには（Ｓ１０５：Ｙｅｓ）、ＩＯ要求に対応したＩＯ処理を行わず（Ｓ１０６）、処理を終了し、成立していないときには（Ｓ１０５：Ｎｏ）、Ｓ１０７に行く。
ｑｅｐｒｅ＋ｃｅｕｐｄ≧ｑｕが成立していないときには、ｃｅｕｐｄをインクリメントし（ｃｅｕｐｄ＋＋）、コントローラ内稼動情報テーブル３２０のコントローラ内実行ＩＯ数（更新値）３２０ｃの値を書き込む（Ｓ１０７）。
次に、ＭＰ１３１は、構成情報テーブル３００のＱｏＳコントローラ数３００ｃの値を取得し（Ｓ１０８）、その値を、ｄ：システム内コントローラ数とする。
次に、ＭＰ１３１は、ｃｅｕｐｄ≧ｕｐｄａｔｅｌｉｍｉｔか否かを判定し（Ｓ１０９）、成立するときには（Ｓ１０９：Ｙｅｓ）、Ｓ１１０に行き、成立しないときには（Ｓ１０９：Ｎｏ）、Ｓ１１４に行く。
ｕｐｄａｔｅｌｉｍｉｔ：コントローラ間共有メモリ更新間隔閾値は、既出の（式３）により判定される。
次に、ＭＰ１３１は、コントローラ間共有稼動情報テーブル３１０のＱｏＳグループ実行ＩＯ数（マスタ）３１０ｂの値を取得し（Ｓ１１０）、その値を、ｑｅｍｓｔ：ＱｏＳグループ実行ＩＯ数（マスタ）とする。
次に、ＭＰ１３１は、ｑｅｍｓｔに、ｃｅｕｐｄを加算し（ｑｅｍｓｔ＝＋ｃｅｕｐｄ）、コントローラ間共有稼動情報テーブル３１０のＱｏＳグループ実行ＩＯ数（マスタ）３１０ｂを更新する（Ｓ１１１）。
次に、ｑｅｐｒｅ＝ｑｅｍｓｔとし、コントローラ内稼動情報テーブル３２０のＱｏＳグループ実行ＩＯ数（前回値）３２０ｂを更新する（Ｓ１１２）。
次に、ＭＰ１３１は、ｃｅｕｐｄをクリアし（ｃｅｕｐｄ：＝０）、コントローラ内稼動情報テーブル３２０のコントローラ内実行ＩＯ数（更新値）３２０ｃの値をクリアする（Ｓ１１３）。
次に、ＩＯ処理を実行する（Ｓ１１４）。
以上、本実施形態で説明したストレージ装置の制御によれば、ＱｏＳグループの上限値制御の精度を維持しつつ、かつ、コントローラ内の実行ＩＯ数が、コントローラ間共有メモリ更新間隔閾値に到達しないとき（ＱｏＳグループＩＯ上限値に到達するまで、余裕があるとき）、コントローラ内共有メモリ１２２のみアクセスし、コントローラ間共有メモリ１２１にアクセスすることはないので、メモリアクセスに関してのＩＯ処理の性能を劣化するのを防ぐことができる。
〔実施形態２〕
以下、本発明に係る実施形態２について、図１０ないし図１４を用いて説明する。
実施形態１では、ストレージ装置内に保持される稼動情報のうちで、実行ＩＯ数よるＩＯ制御情報のメモリアクセスについて制御を行うものであった。
本実施形態では、図６で述べた稼動情報のうちで、データ転送量についてメモリアクセスについて制御を行う例について説明する。以下、本実施形態では、実施形態１と異なる所を中心に説明する。
先ず、図１０ないし図１２を用いて実施形態２のストレージ装置で用いられるデータ構造について説明する。
コントローラ間共有稼動情報テーブル４１０は、実施形態１と同様に、コントローラ間共有メモリ１２１上に置かれ、コントローラ間で共有されるＱｏＳグループに対する制御情報を管理するためのテーブルであり、図１０に示されるように、ＱｏＳグループＩＤ４１０ａ、ＱｏＳグループ実行済みデータ転送量（マスタ）４１０ｂの各フィールドを有する。
ＱｏＳグループＩＤ４１０ａには、制御対象のＱｏＳグループを一意に表す識別子が格納される。ＱｏＳグループ実行済みデータ転送量（マスタ）４１０ｂには、ＱｏＳグループのシステム内全てのコントローラで実行した対象ＱｏＳグループに所属する論理デバイスに対する単位時間あたりのデータ転送量が格納される。データ転送量の詳細は、後に説明する。
コントローラ内稼動情報テーブル４２０は、実施形態１と同様に、コントローラ内共有メモリ１２２上に置かれ、ＱｏＳグループに対する制御情報と、自コントローラ内のローカルな制御情報を管理するためのテーブルであり、図１１に示されるように、ＱｏＳグループＩＤ４２０ａ、ＱｏＳグループ実行済みデータ転送量（前回値）４２０ｂ、コントローラ内実行済みデータ転送量（更新値）４２０ｃの各フィールドを有する。
ＱｏＳグループＩＤ４２０ａには、制御対象のＱｏＳグループを一意に表す識別子が格納される。ＱｏＳグループ実行済みデータ転送量（マスタ）４２０ｂには、ＱｏＳグループのシステム内全てのコントローラで実行した対象ＱｏＳグループに所属する論理デバイスの前回更新時の単位時間あたりのデータ転送量が格納される（これに対する計算の詳細は、後述）。コントローラ内実行済みデータ転送量（更新値）４２０ｃには、前回更新後に自コントローラで実行した対象ＱｏＳグループに所属する論理デバイスの単位時間あたりのデータ転送量が格納される。
構成情報テーブル４００は、コントローラ内共有メモリ１２２上に置かれ、ストレージ装置１００とＱｏＳグループに対する構成情報を管理するためのテーブルであり、図１２に示されるように、ＱｏＳグループＩＤ４００ａ、データ転送量上限値４００ｂ、システム内コントローラ数４００ｃの各フィールドを有する。
ＱｏＳグループＩＤ４００ａには、制御対象のＱｏＳグループを一意に表す識別子が格納される。データ転送量上限値４００ｂには、システム管理者が設定したＱｏＳグループに対する単位時間あたりのデータ転送量の上限値が格納される。システム内コントローラ数４００ｃには、ＱｏＳグループの論理デバイスにアクセスするコントローラ１１０の数が格納される。
次に、図１３および図１４を用いて実施形態１に係るストレージ装置の処理について説明する。
先ず、図１３を用いてホストからＩＯを受領した場合のメモリアクセスの概要について説明する。
実施形態１と同様に、前提として、ストレージ装置１００のコントローラ１１０は、各論理デバイス２０１のオーナ権が与えられており、論理デバイス２０１のＱｏＳ制御は、オーナ権を有するコントローラ１１０で実施されるものとする。
［１］ストレージ装置１００のコントローラ１１０は、ホスト１０からチャネルアダプタ１０１経由でＩＯ要求を受領する。
［２］受領したＩＯ要求は、論理デバイスオーナ権側のコントローラに転送され、論理デバイス毎に用意されているＩＯキューにエンキューされる。ここで、ＩＯキューは、ＦＩＦＯ（First In First Out）のデータ構造である。
［３］コントローラ内の各ＭＰ１３１は、各論理デバイス２０１のＩＯキューを順番にチェックする。
ＩＯ要求が入っている場合には、当該論理デバイスが所属するＱｏＳグループの以下の値をコントローラ内共有メモリから取得する。
ＱＵ：ＱｏＳグループデータ転送量上限値
ＱＥｐｒｅ：ＱｏＳグループ実行データ転送量（前回値）
ＣＥｕｐｄ：コントローラ内実行データ転送量（更新値）
そして、ＱＵと（ＱＥｐｒｅ＋ＣＥｕｐｄ）を比較し、（ＱＥｐｒｅ＋ＣＥｕｐｄ）が、ＱＵに達しているか否かを判定する。
［４－１］ＱＵ：ＱｏＳグループデータ転送量上限値に到達していない場合には、コントローラ１１０は、ＩＯ要求に応じたＩＯ処理を実行する。
［４－１－１］次に、データ転送量を、コントローラ内共有メモリ１２２のコントローラ内実行データ転送量（更新値）に加算する。
［４－１－２］次に、（式４）でＵＰＤＡＴＥＬＩＭＩＴ：コントローラ間共有メモリ更新間隔閾値を算出する。
ＵＰＤＡＴＥＬＩＭＩＴ＝（（ＱＵ－ＱＥｐｒｅ－ＣＥｕｐｄ）×ｋ））／ｄ … （式４）
ここで、ｄ：システム内コントローラ数、ｋ：余裕割合係数である。
そして、ＣＥｕｐｄ：コントローラ内実行データ転送量（更新値）が、コントローラ間共有メモリ更新間隔閾値以上になったときを、更新契機とし、更新契機になったときには、コントローラ内実行データ転送量（更新値）を、コントローラ間共有メモリ１２１に格納されているＱｏＳグループ実行データ転送量（前回値）に加算して、更新する。
［４－２］ＱＵ：ＱｏＳグループデータ転送量上限値に到達している場合には、ＩＯ要求に応じたＩＯ処理は抑止される。
次に、図１４を用いてストレージ装置のコントローラのＩＯ制御の詳細について説明する。
先ず、コントローラ１１０のＭＰ１３１が論理デバイスのＩＯキューを順番にサーチする（Ｓ２００）。
次に、ＭＰ１３１は、ＩＯキューにＩＯ要求が格納されているか否かを判定する（Ｓ２０１）。
ＩＯキューにＩＯ要求が格納されているときには（Ｓ２０１：Ｙｅｓ）、Ｓ２０２に行き、ＩＯキューにＩＯ要求が格納されていないときには（Ｓ２０１：Ｎｏ）、処理を終了する。
ＩＯキューにＩＯ要求が格納されているときには、構成情報テーブル４００のデータ転送量上限値４００ｂの値を取得し（Ｓ２０２）、その値を、ＱＵ：ＱｏＳグループデータ転送量上限値とする。
次に、ＭＰ１３１は、コントローラ内稼動情報テーブル４２０のＱｏＳグループ実行データ転送量（前回値）４２０ｂの値を取得する（Ｓ２０３）。その値を、ＱＥｐｒｅ：ＱｏＳグループ実行データ転送量（前回値）とする。
次に、ＭＰ１３１は、コントローラ内稼動情報テーブル４２０のコントローラ内実行済みデータ転送量（更新値）４２０ｃの値を取得し（Ｓ２０４）、その値を、ＣＥｕｐｄ：コントローラ内実行データ転送量（更新値）とする。
次に、ＭＰ１３１は、ＱＥｐｒｅ＋ＣＥｕｐｄ≧ＱＵが成立しているか否かを判定し（Ｓ２０５）、成立しているときには（Ｓ２０５：Ｙｅｓ）、ＩＯ要求に対応したＩＯ処理を行わず（Ｓ２０６）、処理を終了し、成立していないときには（Ｓ２０５：Ｎｏ）、Ｓ２０７に行く。
ＱＥｐｒｅ＋ＣＥｕｐｄ≧ＱＵが成立していないときには、ＣＥｕｐｄをインクリメントし（ＣＥｕｐｄ＋＋）、コントローラ内稼動情報テーブル４２０のコントローラ内実行ＩＯ数（更新値）４２０ｃの値を書き込む（Ｓ２０７）。
次に、ＭＰ１３１は、構成情報テーブル４００のシステム内コントローラ数４００ｃの値を取得し（Ｓ２０８）、その値を、ｄ：システム内コントローラ数とする。
次に、ＭＰ１３１は、ＣＥｕｐｄ≧ＵＰＤＡＴＥＬＩＭＩＴか否かを判定し（Ｓ２０９）、成立するときには（Ｓ２０９：Ｙｅｓ）、Ｓ２１０に行き、成立しないときには（Ｓ２０９：Ｎｏ）、Ｓ２１４に行く。
ＵＰＤＡＴＥＬＩＭＩＴ：コントローラ間共有メモリ更新間隔閾値は、既出の（（式４）により判定される。
次に、ＭＰ１３１は、コントローラ間共有稼動情報テーブル４１０のＱｏＳグループ実行ＩＯ数（マスタ）４１０ｂの値を取得し（Ｓ２１０）、その値を、ＱＥｍｓｔ：ＱｏＳグループ実行データ転送量（マスタ）とする。
次に、ＭＰ１３１は、ＱＥｍｓｔに、ＣＥｕｐｄを加算し（ＱＥｍｓｔ＝＋ＣＥｕｐｄ）、コントローラ間共有稼動情報テーブル４１０のＱｏＳグループ実行ＩＯ数（マスタ）４１０ｂを更新する（Ｓ２１１）。
次に、ＱＥｐｒｅ＝ＱＥｍｓｔとし、コントローラ内稼動情報テーブル４２０のＱｏＳグループ実行データ転送量（前回値）４２０ｂを更新する（Ｓ２１２）。
次に、ＭＰ１３１は、ＣＥｕｐｄをクリアし（ＣＥｕｐｄ：＝０）、コントローラ内稼動情報テーブル３２０のコントローラ内実行済みデータ転送量（更新値）４２０ｃの値をクリアする（Ｓ２１３）。
次に、ＩＯ処理を実行する（Ｓ２１４）。
以上、本実施形態は、実施形態１のＩＯ数を、データ転送量に置き換え、同様の発明思想により、ストレージ装置のＩＯ制御の情報のメモリ制御を行うものであった。これにより、実施形態１と同様に、ＱｏＳグループの上限値制御の精度を維持しつつ、かつ、コントローラ内の実行データ転送量が、コントローラ間共有メモリ更新間隔閾値に到達しないとき（ＱｏＳグループデータ転送量上限値に到達するまで、余裕があるとき）、コントローラ内共有メモリ１２２のみアクセスし、コントローラ間共有メモリ１２１にアクセスすることはないので、メモリアクセスに関してのＩＯ処理の性能を劣化するのを防ぐことができる。
５…ホスト－ストレージインタフェース、７…ネットワークインタフェース、９…ディスクインタフェース
１０…ホスト、２０…管理端末、１００…ストレージ装置、
１０１…チャネルアダプタ、１０３…ディスクボード、１１０…コントローラ、１２０…主メモリ、１２１…コントローラ間共有メモリ、１２２…コントローラ内共有メモリ、１３０…ＭＰＵ、１３１…ＭＰ、１４０…ドライブ

Claims (6)

  1. ホストからのＩＯ要求により、論理デバイスに対してデータの読み書きを行うストレージ装置であって、
    前記ストレージ装置は、二つ以上のコントローラと、
    データを記憶する一つ以上の記憶装置からなり、
    前記コントローラは、
    前記ホストからのＩＯ要求に対してＩＯ処理を実行するプロセッサと、
    ＩＯ処理の制御情報を記憶する主メモリとを有し、
    前記主メモリは、自コントローラのみがアクセスするコントローラ内共有メモリと、他のコントローラがアクセスできるコントローラ間共有メモリとに分割され、
    前記コントローラ間共有メモリに、論理デバイスのグループに対する第一のグループ実行ＩＯ数を格納し、
    前記コントローラ内共有メモリに、論理デバイスのグループに対する第二のグループ実行ＩＯ数と、コントローラ内実行ＩＯ数とを格納し、
    前記コントローラ内共有メモリに、前記論理デバイスのグループに対するＩＯ数の上限値を格納し、
    前記ストレージ装置は、前記ホストからＩＯ要求があったときに、各論理デバイスに対応するＩＯキューにキューイングし、
    前記ストレージ装置のプロセッサは、前記キューイングされたＩＯキューからＩＯ要求を取り出し、
    前記ストレージ装置のプロセッサは、前記コントローラ内共有メモリにアクセスし、前記論理デバイスのグループに対するＩＯ数の上限値と、前記論理デバイスのグループに対する第二のグループ実行ＩＯ数と、前記コントローラ内実行ＩＯ数とを取得し、
    前記ストレージ装置のプロセッサは、前記論理デバイスのグループに対するＩＯ数の上限値と、前記論理デバイスのグループに対する第二のグループ実行ＩＯ数と前記コントローラ内実行ＩＯ数との和を比較して、前記論理デバイスのグループに対する第二のグループ実行ＩＯ数と前記コントローラ内実行ＩＯ数との和が前記論理デバイスのグループに対するＩＯ数の上限値未満のときには、前記コントローラ内実行ＩＯ数をインクリメントして、前記コントローラ内共有メモリに書き戻し、
    前記ストレージ装置のプロセッサは、前記コントローラ内実行ＩＯ数と、以下の式より定まるコントローラ間共有メモリ更新間隔閾値とを比較し、
    コントローラ間共有メモリ更新間隔閾値＝（「論理デバイスのグループに対するＩＯ数の上限値」－（「論理デバイスのグループに対する第二のグループ実行ＩＯ数」＋「コントローラ内実行ＩＯ数」））*「余裕割合係数」*「システム内コントローラ数」
    前記ストレージ装置のプロセッサは、前記コントローラ内実行ＩＯ数が、前記コントローラ間共有メモリ更新間隔閾値以上のときには、前記論理デバイスのグループに対する第一のグループ実行ＩＯ数を取得し、
    前記ストレージ装置のプロセッサは、前記論理デバイスのグループに対する第一のグループ実行ＩＯ数に、前記コントローラ内実行ＩＯ数を加算して、前記コントローラ間共有メモリに書き戻し、
    前記ストレージ装置のプロセッサは、加算した前記論理デバイスのグループに対する第一のグループ実行ＩＯ数を、コントローラ内共有メモリの論理デバイスのグループに対する第二のグループ実行ＩＯ数として書込み、前記コントローラ内共有メモリのコントローラ内実行ＩＯ数をクリアし、
    前記ストレージ装置のプロセッサは、前記論理デバイスのグループに対するＩＯ数の上限値と、前記論理デバイスのグループに対する第二のグループ実行ＩＯ数と前記コントローラ内実行ＩＯ数との和を比較して、前記論理デバイスのグループに対する第二のグループ実行ＩＯ数と前記コントローラ内実行ＩＯ数との和が前記論理デバイスのグループに対するＩＯ数の上限値以上のときには、前記ストレージ装置は、前記ホストからＩＯ要求に対応したＩＯ処理を行わないことを特徴とするストレージ装置。
  2. 前記ストレージ装置に、管理端末が接続され、前記余裕割合係数が入力されることを特徴とする請求項１記載のストレージ装置。
  3. ホストからのＩＯ要求により、論理デバイスに対してデータの読み書きを行うストレージ装置であって、
    前記ストレージ装置は、二つ以上のコントローラと、
    データを記憶する一つ以上の記憶装置からなり、
    前記コントローラは、
    前記ホストからのＩＯ要求に対してＩＯ処理を実行するプロセッサと、
    ＩＯ処理の制御情報を記憶する主メモリとを有し、
    前記主メモリは、自コントローラのみがアクセスするコントローラ内共有メモリと、他のコントローラがアクセスできるコントローラ間共有メモリとに分割され、
    前記コントローラ間共有メモリに、論理デバイスのグループに対する第一のグループ実行データ転送量を格納し、
    前記コントローラ内共有メモリに、論理デバイスのグループに対する第二のグループ実行データ転送量と、コントローラ内実行データ転送量とを格納し、
    前記コントローラ内共有メモリに、前記論理デバイスのグループに対するデータ転送量の上限値を格納し、
    前記ストレージ装置は、前記ホストからＩＯ要求があったときに、各論理デバイスに対応するＩＯキューにキューイングし、
    前記ストレージ装置のプロセッサは、前記キューイングされたＩＯキューからＩＯ要求を取り出し、
    前記ストレージ装置のプロセッサは、前記コントローラ内共有メモリにアクセスし、前記論理デバイスのグループに対するデータ転送量の上限値と、前記論理デバイスのグループに対する第二のグループ実行データ転送量と、前記コントローラ内実行データ転送量とを取得し、
    前記ストレージ装置のプロセッサは、前記論理デバイスのグループに対するデータ転送量の上限値と、前記論理デバイスのグループに対する第二のグループ実行データ転送量と前記コントローラ内実行データ転送量との和を比較して、前記論理デバイスのグループに対する第二のグループ実行データ転送量と前記コントローラ内実行データ転送量との和が前記論理デバイスのグループに対するデータ転送量の上限値未満のときには、前記コントローラ内実行データ転送量をインクリメントして、前記コントローラ内共有メモリに書き戻し、
    前記ストレージ装置のプロセッサは、前記コントローラ内実行データ転送量と、以下の式より定まるコントローラ間共有メモリ更新間隔閾値とを比較し、
    コントローラ間共有メモリ更新間隔閾値＝（「論理デバイスのグループに対するデータ転送量の上限値」－（「論理デバイスのグループに対する第二のグループ実行データ転送量」＋「コントローラ内実行データ転送量」））*「余裕割合係数」*「システム内コントローラ数」
    前記ストレージ装置のプロセッサは、前記コントローラ内実行データ転送量が、前記コントローラ間共有メモリ更新間隔閾値以上のときには、前記論理デバイスのグループに対する第一のグループ実行データ転送量を取得し、
    前記ストレージ装置のプロセッサは、前記論理デバイスのグループに対する第一のグループ実行データ転送量に、前記コントローラ内実行データ転送量を加算して、前記コントローラ間共有メモリに書き戻し、
    前記ストレージ装置のプロセッサは、加算した前記論理デバイスのグループに対する第一のグループ実行データ転送量を、コントローラ内共有メモリの論理デバイスのグループに対する第二のグループ実行データ転送量として書込み、前記コントローラ内共有メモリのコントローラ内実行データ転送量をクリアし、
    前記ストレージ装置のプロセッサは、前記論理デバイスのグループに対するデータ転送量の上限値と、前記論理デバイスのグループに対する第二のグループ実行データ転送量と前記コントローラ内実行データ転送量との和を比較して、前記論理デバイスのグループに対する第二のグループ実行データ転送量と前記コントローラ内実行データ転送量との和が前記論理デバイスのグループに対するデータ転送量の上限値以上のときには、前記ストレージ装置は、前記ホストからＩＯ要求に対応したＩＯ処理を行わないことを特徴とするストレージ装置。
  4. 前記ストレージ装置に、管理端末が接続され、前記余裕割合係数が入力されることを特徴とする請求項３記載のストレージ装置。
  5. ホストからのＩＯ要求により、論理デバイスに対してデータの読み書きを行うストレージ装置の制御方法であって、
    前記ストレージ装置は、二つ以上のコントローラと、
    データを記憶する一つ以上の記憶装置からなり、
    前記コントローラは、
    前記ホストからのＩＯ要求に対してＩＯ処理を実行するプロセッサと、
    ＩＯ処理の制御情報を記憶する主メモリとを有し、
    前記主メモリは、自コントローラのみがアクセスするコントローラ内共有メモリと、他のコントローラがアクセスできるコントローラ間共有メモリとに分割され、
    前記コントローラ間共有メモリに、論理デバイスのグループに対する第一のグループ実行稼動値を格納し、
    前記コントローラ内共有メモリに、論理デバイスのグループに対する第二のグループ実行稼動値と、コントローラ内論理デバイス実行稼動値とを格納し、
    前記コントローラ内共有メモリに、前記論理デバイスのグループに対する稼動値の上限値を格納し、
    前記ストレージ装置は、前記ホストからＩＯ要求があったときに、各論理デバイスに対応するＩＯキューにキューイングするステップと、
    前記ストレージ装置のプロセッサは、前記キューイングされたＩＯキューからＩＯ要求を取り出すステップと、
    前記ストレージ装置のプロセッサは、前記コントローラ内共有メモリにアクセスし、前記論理デバイスのグループに対する稼動値の上限値と、前記論理デバイスのグループに対する第二のグループ実行稼動値と、前記コントローラ内論理デバイス実行稼動値とを取得するステップと、
    前記ストレージ装置のプロセッサは、前記論理デバイスのグループに対する稼動値の上限値と、前記論理デバイスのグループに対する第二のグループ実行稼動値と前記コントローラ内論理デバイス実行稼動値との和を比較して、前記論理デバイスのグループに対する第二のグループ実行稼動値と前記コントローラ内論理デバイス実行稼動値との和が前記論理デバイスのグループに対する稼動値の上限値未満のときには、前記コントローラ内論理デバイス実行稼動値をインクリメントして、前記コントローラ内共有メモリに書き戻すステップと、
    前記ストレージ装置のプロセッサは、前記コントローラ内論理デバイス実行稼動値と、以下の式より定まるコントローラ間共有メモリ更新間隔閾値とを比較するステップと、
    コントローラ間共有メモリ更新間隔閾値＝（「論理デバイスのグループに対する稼動値の上限値」－（「論理デバイスのグループに対する第二のグループ実行稼動値」＋「コントローラ内論理デバイス実行稼動値」））*「余裕割合係数」*「システム内コントローラ数」
    前記ストレージ装置のプロセッサは、前記コントローラ内論理デバイス実行稼動値が、前記コントローラ間共有メモリ更新間隔閾値以上のときには、前記論理デバイスのグループに対する第一のグループ実行稼動値を取得するステップと、
    前記ストレージ装置のプロセッサは、前記論理デバイスのグループに対する第一のグループ実行稼動値に、前記コントローラ内論理デバイス実行稼動値を加算して、前記コントローラ間共有メモリに書き戻すステップと、
    前記ストレージ装置のプロセッサは、加算した前記論理デバイスのグループに対する第一のグループ実行稼動値を、コントローラ内共有メモリの論理デバイスのグループに対する第二のグループ実行稼動値として書込み、前記コントローラ内共有メモリのコントローラ内論理デバイス実行稼動値をクリアするステップと、
    前記ストレージ装置のプロセッサは、前記論理デバイスのグループに対する稼動値の上限値と、前記論理デバイスのグループに対する第二のグループ実行稼動値と前記コントローラ内論理デバイス実行稼動値との和を比較して、前記論理デバイスのグループに対する第二のグループ実行稼動値と前記コントローラ内論理デバイス実行稼動値との和が前記論理デバイスのグループに対する稼動値の上限値以上のときには、前記ストレージ装置は、前記ホストからＩＯ要求に対応したＩＯ処理を行わないステップとを有することを特徴とするストレージ装置の制御方法。
  6. 前記稼動値は、前記論理デバイスに対する実行ＩＯ数またはデータ転送量であることを特徴とする請求項５記載のストレージ装置の制御方法。
JP2020185353A 2020-11-05 2020-11-05 ストレージ装置およびストレージ装置の制御方法 Active JP7252931B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020185353A JP7252931B2 (ja) 2020-11-05 2020-11-05 ストレージ装置およびストレージ装置の制御方法
US17/200,678 US11531631B2 (en) 2020-11-05 2021-03-12 Storage device and control method for storage device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020185353A JP7252931B2 (ja) 2020-11-05 2020-11-05 ストレージ装置およびストレージ装置の制御方法

Publications (2)

Publication Number Publication Date
JP2022074920A JP2022074920A (ja) 2022-05-18
JP7252931B2 true JP7252931B2 (ja) 2023-04-05

Family

ID=81380121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020185353A Active JP7252931B2 (ja) 2020-11-05 2020-11-05 ストレージ装置およびストレージ装置の制御方法

Country Status (2)

Country Link
US (1) US11531631B2 (ja)
JP (1) JP7252931B2 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005535956A (ja) 2002-08-08 2005-11-24 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 色順次表示システムにおける共有メモリ・コントローラに関する色バースト待ち行列
JP2011530728A (ja) 2008-10-10 2011-12-22 株式会社日立製作所 ストレージシステムおよびその制御方法
WO2015191023A1 (en) 2014-06-09 2015-12-17 Hitachi, Ltd. Method and apparatus of subsidiary volume management

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6738870B2 (en) * 2000-12-22 2004-05-18 International Business Machines Corporation High speed remote storage controller
JP4352693B2 (ja) * 2002-12-10 2009-10-28 株式会社日立製作所 ディスクアレイ制御装置及びその制御方法
US8261025B2 (en) * 2007-11-12 2012-09-04 International Business Machines Corporation Software pipelining on a network on chip
JP6203691B2 (ja) * 2014-08-29 2017-09-27 ファナック株式会社 複数軸の軸制御処理を分散して実行可能な数値制御装置
JP6394313B2 (ja) 2014-11-19 2018-09-26 富士通株式会社 ストレージ管理装置、ストレージ管理方法及びストレージ管理プログラム
US10318450B2 (en) * 2016-07-01 2019-06-11 Intel Corporation Efficient context based input/output (I/O) classification

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005535956A (ja) 2002-08-08 2005-11-24 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 色順次表示システムにおける共有メモリ・コントローラに関する色バースト待ち行列
JP2011530728A (ja) 2008-10-10 2011-12-22 株式会社日立製作所 ストレージシステムおよびその制御方法
WO2015191023A1 (en) 2014-06-09 2015-12-17 Hitachi, Ltd. Method and apparatus of subsidiary volume management

Also Published As

Publication number Publication date
JP2022074920A (ja) 2022-05-18
US20220138123A1 (en) 2022-05-05
US11531631B2 (en) 2022-12-20

Similar Documents

Publication Publication Date Title
US9298734B2 (en) Storage system, computer system and data migration method
US8495260B2 (en) System, method and program product to manage transfer of data to resolve overload of a storage system
US20130263142A1 (en) Control device, control method, computer readable recording medium in which program is recorded, and distributed processing system
JP6106028B2 (ja) サーバ及びキャッシュ制御方法
US7882285B2 (en) Buffer cache management to prevent deadlocks
US11556391B2 (en) CPU utilization for service level I/O scheduling
WO2019170011A1 (zh) 任务分配方法及装置、分布式存储系统
EP2595048A2 (en) Volume copy management method on thin provisioning pool of storage subsystem
US9135064B2 (en) Fine grained adaptive throttling of background processes
US11481140B1 (en) Dynamic base disk mirroring for linked clones
US10761726B2 (en) Resource fairness control in distributed storage systems using congestion data
JP7252931B2 (ja) ストレージ装置およびストレージ装置の制御方法
US20150220271A1 (en) Storage control apparatus, storage apparatus, and computer product
US8914336B2 (en) Storage device and data storage control method
US20160171048A1 (en) Computer and data read method
US20180052772A1 (en) Storage system and storage control method
JP6578694B2 (ja) 情報処理装置、方法及びプログラム
US9652393B1 (en) Managing shared memory in database server
JP2018041282A (ja) ストレージ管理装置、性能調整方法及び性能調整プログラム
JP6773755B2 (ja) ストレージ装置及びストレージ装置における構成管理リクエストの処理方法
US10740284B1 (en) Techniques for efficiently performing filesystem reorganization tasks for different filesystems
JP6417695B2 (ja) 情報処理システム、情報処理システムの制御方法および情報処理装置の制御プログラム
US11880589B2 (en) Storage system and control method
JP2019164510A (ja) ストレージシステム及びｉｏ処理の制御方法
CN117194350B (zh) 一种数据中心工程建设阶段文档存储方法及系统

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221025

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230324

R150 Certificate of patent or registration of utility model

Ref document number: 7252931

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150