WO2005010767A1 - データ格納システム - Google Patents

Abstract

　複数のホスト１乃至Ｌと、複数のターゲット１乃至Ｍと、複数のイニシエータ１乃至Ｎとがネットワークで接続される。各ターゲットに設けた管理部は、イニシエータからネットワーク上に同報されたターゲット探索情報を独自に判断し、自ターゲットのデータ格納に適合する場合、データ格納応答情報に受入優先度情報を含めてネットワーク上に同報する。該優先度値が最大のターゲットにイニシエータからターゲット選択の通知がされ、データ格納が実行される。

Description

明 細 書

データ格納システム

技術分野

[0001] 本発明は、ネットワーク上に複数のデータ格納装置が接続されたデータ格納システ ムに関するものであり、特に、集中的な管理サーバを持たずに、接続された複数のデ ータ格納装置間で自律的にデータ格納先を探索し、データの書き込み、読み出しな どが自律的に行われるようにして、システムの信頼性を一層向上するとともに、複数 のデータ格納装置へのデータ格納に際して、使用量の均等化、アクセスの分散化を 図り、データ格納装置の管理コストを低減するデータ格納システムに関する。

背景技術

[0002] 従来、中央処理装置と記憶装置とを LANなどのネットワークで接続したコンピュー タシステムが多用されている。このコンピュータシステムでは、通信プロトコルとしてネ ットワークプロトコルを使用して、中央処理装置と記憶装置との間でデータの伝送が 行われている。この記憶データの多重化は、専用の多重化装置を用いてデータを複 数台の記憶装置にコピーしたり、中央処理装置が複数台の記憶装置に対して個別 にデータ書き込み要求を発行したりすることによって実現されていた。

[0003] この多重化のデータ管理では、よく知られているように、磁気ディスクなどの複数の 記憶装置で、 RAID構成を組んだり、また、記憶装置を多数持ち、ミラーリング等の構 成を組んだり、単一の記憶装置内での 2重化するなど、記憶媒体に対し、データの多 重化をし、データのバックアップを行っていた。これらの手法を採用することによって、 システムの信頼性向上を図っている。

[0004] また、最近のコンピュータシステムに対しては、処理性能の向上への期待が大きい 力 分散していたコンピュータ及び記憶装置を、データセンターに集中化して、コンビ ユータシステム及び記憶システム構成することにより、システムの運用、保守、管理に 要する費用を削減することが図られている。データセンターからの集中管理では、デ ータの最適配置、故障した記憶装置の取り外し、新規記憶装置へのデータの移動な どが行われている。 [0005] このコンピュータシステムにおける集中管理の仕方について、種々の開発が行われ ている。例えば、特開平 11—212844号公報には、ホストからデータを登録する際に 、マスタ内にあるデータ管理部が、スレーブに対して自動的にデータの複製を行うコ ンピュータシステムが開示されている。このコンピュータシステムでは、マスタは、その 内部にネットワーク機能部を持ち、離れた場所にあるバックアップ用のスレーブとネッ トワークで接続され、データ登録時には、マスタ内の光ディスクに登録を行うのにあわ せて、マスタ内のデータ管理部が、ホストを介さずにスレーブ内の光ディスクに対し、 自動的にバックアップ用のスレーブ内の光ディスクにバックアップ作業を行レ、、データ の 2重化が行える。

[0006] また、特開 2000— 267979号公報には、中央処理装置と複数台の記憶装置とが L ANを介して接続されたコンピュータシステムが開示され、このシステムでは、ネットヮ ークプロトコルに基づく記憶領域確保要求フレーム、記憶領域確保応答フレーム、デ ータ書き込み要求フレーム、データ書き込み応答フレーム、データ読み出し要求フレ ーム、データ読み出し応答フレーム、記憶領域解放要求フレーム、および記憶領域 解放応答フレームをブロードキャス又はマルチキャストで送受信することにより、記憶 装置の多重化および階層化を実現している。

[0007] さらに、特開 2001-34426号公報では、各々が複数のミラー論理データ区画に分 割される複数の論理ボリュームにデータを記憶するシステムを有するデータ'プロセッ サ制御型のデータ記憶システムが開示され、このシステムは、記憶システム問題が発 生したとき、動的に再同期化するものであり、複数の論理ボリュームの各々を再同期 化する手段と、論理ボリュームの 1つから、再同期化されていないデータをアクセスす る手段と、アクセスされたデータをミラー区画にコピーする手段とを含んでいる。

[0008] また、特開 2001—282628号公報には、メインセンターのディスクサブシステムのデ ータを二重化するために、ディスクサブシステムの機能のみでデータの整合性を保証 して、リモートセンターのディスクサブシステムにコピーする非同期型のリモートコピー システムが開示されている。

[0009] 特開 2002—182864号公報には、複数台のディスクアレイ制御装置を 1つのディス クアレイ制御装置として運用できるようにし、複数のディスクアレイ制御装置間でのデ ータ移行による性能低下を抑え、台数に比例した性能を出- ムが開示されている。

[0010] し力し、これらに開示されたコンピュータシステムでは、ホストコンピュータ又はマスタ コンピュータが記憶装置のデータ管理を行っているものである力 近年におけるデー タ量の増大に伴って、記憶装置も大型化しているため、複雑なプロトコルによるデー タ管理が必要となる。さらに、大型化に際して、既存の設備に記憶装置の付け足しが 行われるなど、システムが一層複雑化している。そのための管理者教育が必要となり 、煩雑であり、負担となっている。従って、管理維持コストが増大し、コンピュータシス テムにおいて分散配置された記憶装置を集中管理することは、限界になっている。

[0011] そこで、本発明は、複数のコンピュータと複数のデータ格納装置とがネットワークを 介して接続され、分散配置されたデータ格納システムにおいて、データ格納装置自 体にデータ管理機能を持たせ、ネットワーク上に同報される情報に基づいて、データ 格納装置独自で、データ格納の管理と、他のデータ格納装置との連携管理とを実現 することを目的としている。複数のデータ格納装置に対するホスト側からの集中管理 を行わなくて済み、しかも、各データ格納装置の使用量の均等化と、さらに、各デー タ格納装置へのアクセスの分散化とを図りながら、データ格納装置の自律的管理が 行われるデータ格納システムを提供する。

発明の開示

[0012] 以上の課題を解決するため、本発明では、ネットワークに接続され、ホストコンビュ ータに関わるデータを格納する複数のデータ格納装置を備えたデータ格納システム において、前記複数のデータ格納装置の各々に、 自データ格納装置を管理する管 理部が夫々備えられ、該管理部には、前記ネットワーク上に伝送されたデータ格納 探索情報を受信したとき、該データ格納探索情報による格納データ量が自データ格 納装置のデータ格納に適合するかどうかを判断する探索応答部と、前記格納データ 量が自データ格納装置のデータ格納に適合する場合に、 自データ格納装置に係る 受入優先度情報を作成する受入情報処理部とが備えられ、前記管理部は、作成さ れた前記受入優先度情報を前記データ格納探索情報に対するデータ格納応答情 報に含めて前記ネットワーク上に伝送し、 自律的に前記自データ格納装置に前記デ ータの格納を実行することとし、前記管理部は、前記ネットワークに接続された他デ ータ格納装置にデータ格納を行うために、データ格納探索情報を前記ネットワーク上 に同報することができるターゲット探索部を備えるものとした。

[0013] そして、前記ターゲット探索部は、前記ネットワーク上に同報した前記データ格納探 索情報に応答して伝送された前記他データ格納装置からの前記データ格納応答情 報を受信し、該データ格納応答情報に含まれる前記受入優先度情報に基づいて、 データ格納するデータ格納装置を選択するようにし、さらに、前記ターゲット探索部は 、前記ネットワークに同報した前記データ格納探索情報が戻ってくるまでの時間を計 測し、該計測された時間に基づいて前記データ格納応答情報の受信待ち時間を調 節するようにした。

[0014] 前記ターゲット探索部は、受信した前記データ格納応答情報に含まれる前記受入 優先度情報に係る優先度値が最も大きいデータ格納装置から選択することとした。

[0015] また、前記ターゲット探索部は、前記複数のデータ格納装置に対してデータ格納探 索情報を前記ネットワーク上に一斉同報により伝送し、該データ格納探索情報に係る データ格納に適合する返答をした当該データ格納装置に選択通知情報を送出し、 該データ格納装置から該選択通知情報に対してデータ格納に係るデータ適合可否 返答情報を受信するものとした。

[0016] また、前記受入優先度情報には、前記データ格納探索情報の受信時における前 記自データ格納装置の空き容量、或いは、前記データ格納探索情報の受信時にお ける前記自データ格納装置の未使用率を使用するものとした。

[0017] 前記受入優先度情報の優先度は、前記データ格納探索情報の受信時における前 記自データ格納装置の未使用率にアクセス係数が乗算された優先度指数とし、前記 アクセス係数は、前回のデータ格納時に自データ格納装置が選択された場合、該ァ クセス係数の初期値に、 1以下の所定値のアクセスパラメータを乗算されて求められ 、前回のデータ格納時に自データ格納装置が選択されなかった場合に、前記未使 用率を前記アクセスパラメータで除算して求めるようにし、或いは、前回のデータ格納 時に自データ格納装置が選択された場合、該アクセス係数の初期値に、 1以下の所 定値のアクセスパラメータを乗算されて求められ、前回のデータ格納時に自データ格 納装置が選択されなかった場合に、値 1と前記初期値との差分に前記アクセスパラメ ータを乗算した値に該初期値を加算して求めるようにした。

[0018] また、前記受入情報処理部が、前記データ格納の途中において、前記複数のデー タ格納装置の他に該各データ格納装置の空き容量より多きい空き容量を有するデー タ格納装置が追加接続されたことを検知したとき、該検知後における受入優先度情 報の優先度指数は、前記データ格納探索情報の受信時における未使用量を、前記 検知時の自データ格納装置の空き容量で除算した未使用率とするようにした。

[0019] また、前記受入情報処理部が、前記データ格納の途中において、前記複数のデー タ格納装置の他に該各データ格納装置の空き容量より多きい空き容量を有するデー タ格納装置が追加接続されたことを検知したとき、該検知後における受入優先度情 報の優先度指数は、 自データ格納装置の未使用率に 1以下のランダム値が乗算され て求められるようにした。

[0020] さらに、前記受入情報処理部が、前記データ格納の途中において、前記複数のデ ータ格納装置の他に該各データ格納装置の空き容量より多きい空き容量を有するデ ータ格納装置が追加接続されたことを検知したとき、前記探索応答部は、該検知後 における受入優先度情報を含めた前記データ格納応答情報の送信タイミングをラン ダムに遅らせるようにした。

[0021] また、前記ターゲット探索部は、他データ格納装置から受信した前記データ格納応 答情報の受入優先度情報に含まれる優先度値に基づいて、該優先度値の大きさに 応じた確率を計算し、該確率に従ってランダムに前記他データ格納装置を選択する ようにした。

[0022] 前記管理部は、前記伝送した前記データ格納応答情報に応じた選択通知情報の 受信後に、前記データ格納探索情報に含まれる処理要求に基づいて、自データ格 納装置に係る書き込み、読み出し又は消去を実行するものとした。

[0023] また、本発明のデータ格納システムでは、前記ホストコンピュータから前記ネットヮ ークを介して命令を受信し、管轄する複数のデータ格納装置に対して該命令に関連 して前記データ格納探索情報を前記ネットワーク上に一斉同報により伝送するィニシ エータを有するものとした。 [0024] そして、前記管理部は、前記データ格納探索情報が当該自データ格納装置のデ ータ格納に適合する場合に、 自データ格納装置に係る前記データ格納応答情報を 、前記ネットワークを介して前記イニシエータに伝送するようにした。

[0025] また、前記イニシエータは、前記データ格納装置から伝送された前記データ格納応 答情報に含まれる受入優先度情報に基づいて、当該データ格納装置を選択する選 択通知情報を該データ格納装置に送出し、前記データ格納装置の管理部は、前記 選択通知情報を受信したとき、前記データ格納探索情報が前記自データ格納装置 に係るデータ格納に適合する場合に、前記イニシエータにデータ適合可否返答情報 を送出するようにした。

[0026] 前記管理部は、前記データ適合可否返答情報にデータ適合可返答を含めた場合 に、前記データ格納探索情報に係るデータについて、 自データ格納装置に係る書き 込み、読み出し又は消去を実行し、前記選択通知情報を送出した当該データ格納 装置からデータ適合否返答が含まれている場合に、伝送された他のデータ格納応答 情報に基づいて、次候補のデータ格納装置を選択し、該他データ格納装置に選択 通知情報を送出することとした。

図面の簡単な説明

[0027] [図 1]本発明のデータ格納システムに係るシステム構成を示す図である。

[図 2]本発明のデータ格納システムにおいて接続された一ターゲットの機能構成を説 明する図である。

[図 3]本発明のデータ格納システムにおけるターゲット探索に関する基本的な処理手 順を説明するフロー図である。

[図 4]格納容量が均一な複数のターゲットにデータを保存する様子を説明するグラフ である。

[図 5]格納容量が不均一な複数のターゲットにデータを保存する様子を説明するダラ フである。

[図 6]格納容量が均一な複数のターゲットに、別のターゲットが途中追加された場合 におけるデータ保存の様子を説明するグラフである。

[図 7]図 6に示された場合におけるデータ保存の仕方を改善した具体例を説明するグ ラフである。

園 8]図 6に示された場合におけるデータ保存の仕方を改善した別の具体例を説明 するグラフである。

園 9]格納容量が不均一な複数のターゲットに、別のターゲットが途中追加された場 合におけるデータ保存の様子を説明するグラフである。

園 10]図 9に示された場合におけるデータ保存の仕方を改善した具体例を説明する グラフである。

園 11]格納容量が不均一な複数のターゲットに、複数のユーザが同時にデータを保 存する様子を説明するグラフである。

園 12]図 11に示された場合におけるデータ保存の仕方を改善した具体例を説明す るグラフである。

園 13]図 3に示された本発明のデータ格納システムにおけるターゲット探索の手順に ついて詳細に説明するフローチャートである。

園 14]本実施形態のデータ格納システムにおいて、データ保存依頼が発生したとき のターゲット探索の手順を説明する実施例のフロー図である。

発明を実施するための最良の形態

[0028] 次に、複数のデータ格納装置がネットワークを介して分散配置され、データ格納装 置自体にデータ管理機能を持たせ、ネットワーク上に同報される情報に基づいて、デ ータ格納装置独自で、データ格納の管理と、他のデータ格納装置との連携管理とを 実現する本発明のデータ格納システムについて説明する。図 1に、そのデータ格納 システムの実施形態が示され、複数のコンピュータと複数のデータ格納装置とが連携 して動作するコンピュータネットワークシステムの全体構成に関する概要が示されて いる。

[0029] 図 1において、複数のコンピュータ 1—1乃至 1—L力 ホスト 1乃至 Lとして示され、こ れらのホスト 1乃至 Lは、例えば、 LAN,インターネットなどのネットワーク 4に接続され 、互いに連携動作できるように接続されている。そして、ネットワーク 4には、分散配置 された複数のデータ格納装置 2_1乃至 2— Mであるターゲット 2_1乃至 2— Mが接続 され、ターゲットの各々には、データ管理部 CT 1乃至 CT Mとデータ記憶部 ST— 1 乃至 ST— Mとが備えられている。さらに、ネットワークプロトコル上でターゲット探索を 行って、データ格納装置に対して処理の実行を指示する機能を持った複数のインタ 一フェース装置 3—1乃至 3—Nであるイニシエータ 1乃至 Nが接続されている。この様 に、複数のホスト 1乃至: L、複数のターゲット 1乃至 M、及び複数のイニシエータ 1乃 至 Nがネットワーク 4に接続され、互いにネットワークプロトコルによって通信すること によって、本実施形態のデータ格納システムが形成される。

[0030] このデータ格納システムに備えられる複数のターゲット 1乃至 Mの各々における内 部構成が、図 2に示されている。複数のターゲット 1乃至 Mの構成は、どれも同じであ るので、同図においては、代表的に、インターフェース装置 2_1であるターゲット 1の 構成が示される。どのターゲットも、自ターゲットを管理する手段として、探索応答部 1 1、受入情報処理部 12、生存通知部 13、相互監視部 14、 自己監視部 15、そしてタ 一ゲット探索部 16を含むデータ管理部 CT一 1が備えられ、さらに、データ格納装置と してデータを格納するデータ記憶部 ST— 1を備えている。

[0031] 各ターゲットに備えられたデータ記憶部 ST— 1には、ターゲット毎に、同じ大きさ、同 じ速さのものが使用されてもよぐ或いは、異なる大きさ、異なる速さのものが組み合 わされてもよい。また、データ記憶部には、磁気ディスク記録装置、半導体メモリ装置 、磁気テープ記録装置などが使用され、ターゲット毎に、同種のもの、或いは、異なる 種類のものの組み合わされてもよい。このデータ記憶部は、各ホストからのデータ読 み出し又はデータ書き込みの要求に応じることができる。

[0032] 各ターゲットに備えられた探索応答部 11は、イニシエータの一つが処理を実行でき るターゲット探索を行ってレ、る場合に、その探索要求に対して該処理を実行できるか どうかを応答する機能を有し、さらに、データ記憶装置がデータ格納システム内で多 重化設定されている場合に、他のターゲットが、ネットワーク 4を通じて、そのターゲッ トと多重化する相手を探索してレ、るとき、その探索要求に応答する機能を有してレ、る

[0033] 受入情報処理部 12は、探索応答部 11が探索要求に応答するとき、その要求がデ ータ記憶部 ST - 1へのデータ保存である場合、 自データ記憶部 ST - 1の未使用状況 又は空き状況を表す受入優先度情報を生成する機能を有し、外部から自ターゲット に探索要求があつたとき、この受入優先度情報が探索応答部 11に供給され、その探 索要求に添付されるようになっている。この受入優先度情報の生成に関する詳細は、 具体例を使用して後述される。

[0034] 生存通知部 13は、データ記憶装置がデータ格納システム内で多重化設定されて いる場合、例えば、 自ターゲットが他ターゲットとミラー構成の関係にある場合に、他 ターゲットからの問合せに対して応答することにより、自ターゲットが、故障無ぐ正常 に動作し、生存していることを、他ターゲットに通知する機能を有している。

[0035] 相互監視部 14は、データ記憶部 ST— 1がデータ格納システム内で多重化設定され ている場合、例えば、自ターゲットが他ターゲットとミラー構成の関係にある場合に、 他ターゲットの生存通知部 13と連携して問合せを行い、 自ターゲットと他ターゲットと の関係が、正常であるかどうかを自律的に監視する機能を有している。

[0036] 自己監視部 15は、 自ターゲットが動作中には、 自己監視ルーチンが起動され、例 えば、 自ターゲットのデータ記憶部に格納されているデータが破壊されている力 デ ータ格納装置としては正常に作動できるような場合など、 自ターゲットの動作状態を 自律的に監視する機能を有してレ、る。

[0037] また、ターゲット探索部 16は、ターゲット間におけるデータの移動、複写、読み出し 、書き込み、消去などを行うため、その相手方のターゲットを自律的に探索する機能 を有する。データ記憶装置がデータ格納システム内で多重化設定されている場合、 例えば、 自ターゲットと他ターゲットとがミラー構成の関係にある場合などで、他ター ゲットが故障などで動作しないとき、ミラー構成の相手方のターゲットを自律的に探索 する機能を有し、当該ターゲットのターゲット探索部 16は、相互監視部 14と連携して 、ネットワークプロトコルに従って、ネットワーク上に一斉同報によりターゲット探索情 報を伝送する。

[0038] 以上の様に、ネットワーク 4に接続されたターゲット 1乃至 Mの各々には、探索応答 部 11、受入情報処理部 12、生存通知部 13、相互監視部 14、 自己監視部 15、そし てターゲット探索部 16を含むデータ管理部 CT一 1と、データ記憶部 ST— 1とが備えら れている。ターゲット間で、ネットワークプロトコルに従った同報通信が行われ、各ター ゲット自身力 S独自に、同報通信を処理して、例えば、多重化のためのターゲット関係 を自律的に維持、回復することができる。

[0039] また、ネットワーク 4に接続された複数のイニシエータ 1乃至 Nは、ホスト 1乃至しから の処理要求に応じて、データ格納装置に対して処理の実行を要求する機能を持った インターフェース装置である力 図 1に示されるように、イニシエータ 1乃至 Nの各々に は、ターゲット探索部 TS_1、 ' ^ TS—Nの夫々が備えられる。

[0040] これらのターゲット探索部 TS_1、 ' ^ TS—Nの夫々は、ホスト 1、 2、 ·■·、 Lのどれか から、ターゲットへの処理の実行命令、例えば、データ保存要求がネットワーク 4を介 して伝送されたとき、イニシエータ自身によって、そのデータ保存要求に適合するタ 一ゲットをネットワーク上で自律的に探索する機能を有してレ、る。

[0041] 従来のデータ格納システムでは、ホストからは宛先を指定したデータ保存要求があ るため、イニシエータは、その宛先に従って、データ保存要求を当該ターゲットに伝 送するだけである力 本実施形態のデータ格納システムにおいては、イニシエータに ターゲット探索部 TS— 1、 · · ·、 TS— Nが備えられ、該ターゲット探索部が、ターゲット探 索情報をネットワーク上に一斉同報するようにして、ホストによる宛先指定を無くし、ィ ユシェータ自身にホストからの当該要求に適合するターゲットを自律的に探索するよ うにし、さらに、ターゲット側にも、データ管理部 CT-1とデータ記憶部 ST-1とを備え 、データ管理部 CT一 1においても、ターゲット探索部 16を備え、ターゲット探索情報 をネットワーク上に同報して、他ターゲットを探索できる。そして、他ターゲットとの連 携を自律的に管理できるようにして、複数のターゲットの管理を簡素化している。

[0042] 次に、以上のように構成された本発明のデータ格納システムにおける、 自律的なタ 一ゲット探索に関する基本的な処理手順について、図 3のフロー図を参照して、以下 に説明する。図 3に示されたフローでは、データ格納システムに接続されたィユシェ ータ 1乃至 N又はターゲット 1乃至 Mのいずれかが、他のターゲットを探索する必要が 発生した場合における探索処理の手順が示され、この探索手順が、本発明のデータ 格納システムにおける自律的なターゲット探索の基本となっている。そのターゲット探 索の要求を行う側を、代表的にユーザ側とし、そして、その探索要求に応答する側を ターゲット側としている。

[0043] ここで、ユーザが、データの保存先としてのターゲットを探索する必要が発生したと する。このとき、ユーザ側では、ユーザ自身に備えられているターゲット探索部が作動 を開始し、ネットワーク上で、ターゲット探索が実行される（a)。このターゲット探索部 では、ユーザに伝送されたデータ保存要求に応じて、該データをターゲット側に保存 する場合に、或いは、ユーザ自身に保存されたデータをターゲット側に保存する場合 に、ターゲット探索情報が自動的に作成される。

[0044] このターゲット探索情報には、ターゲット探索を意味するコマンド名と、保存すべき データの大きさを表す LUN数（Logical Unit Number)とが含まれ、返答を確認しなレヽ ことを表す符号 UDPが付与されている。イニシエータ Nは、ネットワークプロトコルに 従って、作成したターゲット探索情報をネットワーク上に伝送し、一斉同報する。

[0045] 一方、各ターゲットでは、夫々に備えられた探索応答部により、同報されたターゲッ ト探索情報を受信する。そこで、受入情報処理部は、受信したターゲット探索情報に 基づいて、 自ターゲットのデータ記憶部におけるデータ格納量から、受信したターゲ ット探索情報に含まれる LUN数を参照して、当該データ記憶部の未使用状況又は 空き状況を判断する。 自データ記憶部にデータを格納できる空き容量があると判断し たとき、受入優先度情報を生成する。この受入優先度情報には、詳細に後述される 優先度指数が含まれ、この優先度指数は、ユーザ側でターゲットが選択される可能 性の度合いを表すものである。

[0046] ここで、受入情報処理部で自ターゲットのデータ記憶部に空きがあることを示す受 入優先度情報が生成された場合には、当該探索応答部は、ターゲット探索情報に応 答するため、応答情報を作成する。この応答情報には、ターゲット探索に対する応答 を示すコマンド名と、受入優先度情報と、空き状態を示す残 LUN数と、伝送元のュ 一ザの通信プロトコル IPとが含まれる。この受入優先度情報には、優先度指数の他 に、該当ターゲットの様々な属性情報を含めても良い。例えば、メーカ名、データ転 送速度、記録密度などの性能情報や、エラー率、温度などの状態を示す値などであ る。

[0047] さらに、この応答情報には、返答を確認しない意味の符号 UDPが付与される。探 索応答部は、この作成した応答情報をネットワーク 4上に伝送する (b)。このとき、複 数のターゲットにおいて、夫々のデータ記憶部に保存すべきデータの大きさに見合 つた空きがあると判断された場合には、夫々のターゲットから、受入優先度情報を含 む応答情報がネットワーク 4上に同報伝送される。

[0048] 次いで、ユーザ側に備えられたターゲット探索部は、ユーザ自身がターゲット探索 情報を伝送した時点から、例えば、 10秒間だけ、ネットワーク 4経由の応答情報の受 信待ちをする。ユーザ側のターゲット探索部は、この受信待ちの間に、 自身の通信プ ロトコル IPを含むターゲット側から同報された応答情報を受信し、受信した応答情報 に係るターゲット IPと受入優先度情報を格納する。このターゲット IPに従って、選択 可能なデータ保存先としてターゲットを管理する。

[0049] ここで、ユーザ側のターゲット探索部における応答情報の受信待ち時間の設定は、 ユーザ側がターゲット探索を行う際に、同報されたターゲット探索情報に応答し、各タ 一ゲットがネットワーク上に同報した応答情報により、最適なデータ保存先を選択す る上で重要である。待ち時間を短く設定すると、ターゲットからの応答情報が戻らず、 データの保存に失敗する。また、その待ち時間が長くなると、データアクセス自体の 速さが落ちることになる。ネットワークが何らかの理由により急に輻輳し、ターゲットか らの返答が大きく遅れる場合もあり、受信待ち時間の長さは、適切なものとなるように 設定される必要がある。

[0050] この受信待ち時間の設定は、ユーザ側のターゲット探索部からネットワークに同報さ れたターゲット探索情報が自ターゲット探索部に戻ってくるまでの時間を基準にして 行う。情報がネットワーク上に同報されるときには、通常、 自分宛にも送出されるので 、これを利用することとし、 自分宛のターゲット探索情報が戻ってくるまでの時間を計 測する。この計測された時間は、ネットワークの通信状況を反映しているので、この時 間を基準にして受信待ち時間を調節するようにする。この受信待ち時間によれば、最 適なデータ保存先のターゲットを選択することが可能となる。

[0051] 次レ、で、ユーザ側のターゲット探索部では、それらの受信した応答情報に含まれた 受入優先度情報に基づいて、データ保存先としてのターゲットを選択する。ターゲッ ト探索部におけるデータ保存先のターゲット選択については後述されるが、これらの 受入優先度情報を基に、最適なデータ保存先のターゲットを選択し、選択したターグ ットに対して、ネットワークを介して、選択通知情報を伝送する（c)。 [0052] なお、ターゲット選択方法は、集まった応答情報の中から、受入優先度情報に従つ て選択されるが、応答情報の中のその他の属性情報などを用レ、て選択するようにし ても良い。

[0053] また、ターゲット探索は、データ保存の要求依頼を受ける度毎に必ずしも行う必要 はなぐ保存依頼とは関係なく適当な間隔を置いて探索を行い、集まった応答情報を リストとして保存し、データ保存依頼を受けた場合、探索せずにそのリストを参照して ターゲットを選択することも可能である。また、一度、応答情報リストを作成した後は、 リストと実態の食レヽ違レ、が表面化した時点で、探索を行うとレ、うことでも良レ、。

[0054] この選択通知情報には、データ保存先として選択されたことを示すコマンド名と、保 存されるべきデータの大きさを表す LUN数と、領域確保するためのデータ識別情報 とが含まれ、応答確認を必要とする符号 TCPが付与されている。ここで、ユーザ側か ら伝送される選択通知情報に、再度、 LUN数を含めているのは、ユーザが選択通知 情報を当該ターゲットに伝送したときには、当該ターゲットのデータ格納状況が変化 していることも有り得る。場合によっては、通知された時点では、データ保存要求に対 する空き容量が不足していることも有り得る。そのため、ターゲットにおいて、データ保 存に適合するかどうかを判断させる。なお、ターゲット側では、受信したターゲット探 索情報は、保存されないので、保存されるべきデータの大きさを、再度知らせる必要 力ある。

[0055] 図 3では、データ保存先として、ターゲット側の一ターゲットが選択され、ユーザ側か ら選択通知情報が伝送された場合を示している。そこで、当該ターゲットにある探索 応答部は、伝送された選択通知情報をチェックし、当該保存データが、自データ記 憶部に適合しているかどうかを判断する。そして、その判断結果による返答情報を作 成する。この返答情報には、当該応答に対する〇K又は NGを示すコマンド名と、 LU Ν番号及び LUN数とを含み、応答確認を要する符号 TCPが付与される。探索応答 部が、該返答情報をユーザ側に伝送する（d)。

[0056] 次いで、ユーザ側のターゲット探索部は、当該ターゲットから伝送された返答情報 に「OK」が記述されている場合には、当該ターゲットのデータ記憶部に当該データ 保存が可能であると判断し、データ転送が実行され、当該ターゲットのデータ記憶部 に当該データが格納される（e)。

[0057] 一方、当該ターゲットから伝送された返答情報に「NG」が記述されている場合には 、当該ターゲットのデータ記憶部に当該データを保存することができないことを表して いるので、前述した時間内に受信したもののうち、他の応答情報に含まれる受入優先 度情報に従って、他のターゲットが選択され、ユーザ側のターゲット探索部によって、 ターゲットを最初に選択した場合と同様の手順に従って、データ保存の次候補選択 の作業が実行される。

[0058] ここで、選択されたターゲットから、次々と「NG」を含む返答情報が伝送され、応答 情報を伝送したターゲットの全てについて、データ保存できなかった場合には、当該 データ保存の要求に失敗したものとして、ユーザ側のデータ保存に係る作業を終了 する。

[0059] 以上の様に、本発明によるデータ格納システムでは、データ格納システムに含まれ る複数のイニシエータと複数のターゲットとに、夫々個々において、ターゲット探索部 が備えられ、ターゲット探索部におけるターゲット探索情報の同報機能と、ターゲット 探索部におけるデータ保存の適合性判断機能とを利用することにした。そこで、ホス トから、或いは、他のターゲットからのデータ保存が要求されたとき、複数のターゲット 力 保存先候補が選択されて、データ格納先が自律的に決定される。そのため、従 来のデータ格納システムに比べて、管理者による操作の煩わしさが軽減され、管理コ ストが低減される。

[0060] 次に、ネットワーク上に同報されたターゲット探索情報に応答して、各ターゲットに おいて作成される受入優先度情報について図 4乃至図 12を参照して説明する。

[0061] 上述したように、図 1乃至図 3に示されたデータ格納システムでは、複数のデータ格 納装置の各々自身を自律化し、さらに、サーバ機能を分散化することにより、 自律的 にデータ格納先を探索でき、データの読み出しや書き込み、データの自律的移動、 データの自律的回復などを実現することができる。しかし、このデータ格納システムの ように、複数のデータ格納装置を接続し、データ格納の分散化を利用する場合に、 データ格納装置の故障などを考慮すると、格納されるデータをできるだけ分散配置 する必要があり、さらに、データ格納装置のアクセススピードを考慮すると、読み込み や書き込みのアクセスをできるだけ分散する必要がある。

[0062] そこで、本発明のデータ格納システムにおける各データ格納装置にデータを保存 するためのターゲット選択では、各ターゲットからの応答情報に基づレ、てターゲット選 択する際に、応答情報に含められた受入優先度情報を利用することによって、デー タ格納装置間の使用量均等化とアクセス分散化とを図ることとした。以下では、各タ 一ゲットにおける受入優先度情報の作成について説明される。

[0063] 図 4には、データ格納システムに接続されている各ターゲットのデータ記憶部の格 納容量が均一であって、各ターゲット内で作成される受入優先度情報として自データ 記憶部の空き容量が含められる場合について、使用量均等化とアクセス分散化を実 現した具体例が示されている。図 4では、均一な格納容量として、 20GBを例示して おり、データ保存される最終的なデータ量は、 60GBとなっている。

[0064] 図 4は、ユーザのターゲット探索部が、受信した応答情報に含まれる受入優先度情 報に基づいてターゲットを選択し、データを保存する様子を示している。選択されたタ 一ゲットは、例えば、ターゲット 1、 2、 3であり、それらのデータ記憶部 ST— 1、 ST— 2、 ST— 3にデータが保存される様子を示すグラフで示される。なお、このグラフの横軸 は、時間を表し、その縦軸は、データ記憶部における使用量を表している。

[0065] 先ず、ユーザがターゲット探索情報を同報したとき、各ターゲットの探索応答部が、 このターゲット探索情報を受信し、該情報に含まれた保存すべきデータの LUN数と、 自データ記憶部の現時点での空き容量とを参照し、自データ記憶部に当該データを 保存可能であるかを判断する。このとき、 LUN数は、例えば、 1GBとしている。この時 点で、図 4に示した具体例では、各データ記憶部は、データが格納されていない空 の状態であるので、各ターゲットは、データ保存可能と判断し、 自データ記憶部に係 る空き容量を受入優先度情報に含め、応答情報を作成して、ネットワーク上に同報す る。受入優先度情報に含められる空き容量は、 20GBとなる。

[0066] ここで、図 3のユーザ側に示されるように、ユーザ側でターゲット選択が行われる。ュ 一ザ側のターゲット探索部は、各応答情報を受信し、受入優先度情報に含められた 空き容量に基づいて、データ保存先のターゲットを選択することになるが、この空き容 量の大きレ、順にリストアップし、その上位のものから選択する。 [0067] 図 4の場合では、いずれのターゲットに関する空き容量も同じであるので、ターゲッ ト 1乃至 3をデータ保存先として選択し、ターゲット 1から順に選択通知を行い、選択「 〇K」の返答があったものから、例えば、時間 Itにターゲット 1にデータを送付し、 1G Bのデータをデータ記憶部 ST— 1に格納し、時間 Itとずらした時間 2tに、ターゲット 2 にデータを送付し、 1GBのデータをデータ記憶部 ST— 2に格納し、次いで、更にずら した時間 3tに、ターゲット 3にデータを送付し、 1GBのデータをデータ記憶部 ST-3 に格納する。

[0068] 以上の探索手順が繰り返され、ユーザ側から、 1GBずつのデータが、ターゲット 1、 2、 3に対して、アクセス時間をずらしながら、順次に格納される。次に繰り返されるタ 一ゲット探索においては、ターゲット側で作成される受入優先度情報に含められる空 き容量の大きさは、繰り返される毎に、 1GBずつ減らされたものとなる。このようにして 、ユーザ側から送付された 60GBのデータ力 均一格納容量を持つ 3ターゲットに、 使用量均等化しつつ、アクセス分散化を図りながら、保存されたことになる。

[0069] これまでに説明した図 4のターゲット探索の具体例では、ターゲットのデータ記憶部 力 ¾個ともに均一格納容量を有する場合としたが、図 5には、 3ターゲットのデータ記 憶部がともに不均一な格納容量を有する場合についての具体例が示されている。こ こでは、データ記憶部 ST— 1が 10GBの格納容量を、データ記憶部 ST— 2が 20GB の格納容量を、そして、データ記憶部 ST— 3が 30GBの格納容量を夫々有するものと した。

[0070] 図 5に示した場合におけるターゲット探索の手順は、図 4に示された場合と同様であ るが、図 5の場合では、各ターゲットで作成される受入優先度情報として、空き容量の 代りに、各データ記憶部における未使用率を採用している。この未使用率は、各ター ゲットの受入情報処理部で演算され、応答情報がネットワーク上に同報されるときに 含められる。

[0071] この受入優先度情報として空き容量が採用されると、未使用率を採用する理由は、 データ記憶部がともに不均一な格納容量を有する場合には、格納容量が大きいター ゲットにアクセスが集中することになるので、空き容量の代りに、未使用率を受入優先 度情報とすることにより、使用量均等化を図れるとともに、アクセスを分散化することが できる。

[0072] ターゲットの受入情報処理部で作成された受入優先度情報は、ユーザ側のターグ ット探索部で受信され、未使用率の大きい順に各ターゲットをリストアップされる。ユー ザ側のターゲット探索部は、未使用率の大きい順にターゲット選択する。その結果、 データ記憶部の格納容量が大きい程、選択される可能性が高くなる。

[0073] 図 5に示されるように、ユーザ側から 1GBずつのデータを 1ターゲット毎に保存され 、データ保存のためのデータ記憶部に対するアクセス頻度は、データ記憶部の格納 容量の大きさに応じて異なり、データ記憶部 ST— 2へのアクセス頻度は、データ記憶 部 ST— 1のアクセス頻度の 2倍であり、データ記憶部 ST— 2へのアクセス頻度は、デ ータ記憶部 ST— 1のアクセス頻度の 2倍であり、データ記憶部 ST— 3へのアクセス頻 度は、データ記憶部 ST— 1のアクセス頻度の 3倍になっている。そして、その保存され るタイミングは、データ記憶部 ST— 1、 ST— 2、 ST— 3の夫々にデータ保存されるタイミ ングは、いずれも時間 Itずつずらされている。

[0074] 図 5に示されるように、探索手順が繰り返され、ユーザ側から、 1GBずつのデータが 、ターゲット 1、 2、 3に対して、アクセス時間をずらしながら、順次に格納される。繰り 返される次のターゲット探索においては、ターゲット側で作成される受入優先度情報 に含められる未使用率の大きさは、繰り返される毎に、ターゲット 1については、 10% ずつ減らされ、ターゲット 2では、 5%ずつ減らされ、ターゲット 3では、 3. 33%ずつ減 らされたものとなっている。

[0075] 例えば、時間 4tの時点では、データ記憶部 ST— 1の未使用率は、 90%となってお り、データ記憶部 ST— 2のそれは、 95%に、そして、データ記憶部 ST— 3のそれは、 96. 7%になっているため、ユーザ側のターゲット探索部が、ターゲット選択するとき には、ターゲットから送付された受入優先度情報に含まれたこれらの未使用率の大き いほうから順次選択され、ターゲット 3が優先的に選択される。

[0076] このようにして、ユーザ側から送付された 60GBのデータ力 不均一な格納容量を 持つ 3ターゲットに、 10GB、 20GB、 30GBに分けられ、使用量均等化しつつ、ァク セス分散化を図りながら、分散保存されたことになる。

[0077] 上述した図 4の場合では、データ格納システムに接続されている各ターゲットのデ ータ記憶部の格納容量が均一で、各ターゲット内で作成される受入優先度情報とし て自データ記憶部の空き容量が含められ、使用量均等化とアクセス分散化を実現し た具体例が示されている。しかし、データ保存中に、同一の格納容量である空のデ ータ記憶部を有するターゲットがシステムに新しく増設されることもあり、或いは、シス テムに接続されたターゲットのデータ記憶部に保存されていたデータが消去されるこ ともある。これらが、ユーザ側からターゲットへのデータ保存に係るターゲット選択の 対象になることがある。

[0078] この様な場合が、図 6に示されている。図 6では、最初には、ターゲット 1と 2が選択 され、 1GBずつのデータがデータ記憶部 ST— 1と ST— 2に順次保存されていたが、 時間 20tにおレ、て、新しレ、ターゲット 3が追加されてレ、る。

[0079] ここで、ターゲット探索時に作成される受入優先度情報として、空き容量が採用され ている場合、ユーザ側のターゲット探索部は、空き容量の大きい順にターゲット選択 を行うので、増設されたデータ記憶部 ST— 3のデータ保存量が他のデータ記憶部 S T一 1、 ST— 2のデータ保存量に等しくなる時間 30tまで、ターゲット 3のみが選択され ることになる。

[0080] この状態は、格納システム全体の使用量を平均化するために、増設されたターゲッ トにデータ保存のためのアクセスが集中することであり、全体のデータ保存速度が低 下するという問題がある。なお、受入優先度情報として、空き容量の代りに、未使用率 を採用しても、各ターゲットのデータ記憶部の格納容量が均一であると、同様の問題 が発生する。

[0081] そこで、図 6に示されるターゲット探索の場合において、受入優先度情報の作成に 際して、 自ターゲットが選択された場合と、選択されなかった場合とで、受入優先度 情報を変更するようにしたターゲット探索の具体例を、図 7に示した。この 2つの場合 で変更される受入優先度情報を作成することによって、増設されたターゲットに対す る選択の度合レ、を緩和するようにし、データ保存時の特定ターゲットへのアクセスが 増えることを防止している。

[0082] ここで、同報されたターゲット探索情報に応答するため、各ターゲットの受入情報処 理部における自ターゲットに係る受入優先度情報の作成について説明する。この受 入優先度情報には、優先度指数を含めることとし、ユーザ側のターゲット探索部にお けるターゲット選択を、この優先度指数の大きさによって行うようにする。この優先度 指数の作成にあたっては、基本的に、前回のアクセスで選択されたかどうかが指数に 反映するアクセス係数を導入する。その導入の仕方を、ケース 1と 2に分けて説明す る。

(ケース 1 )

受入優先度情報には、各ターゲットのデータ記憶部に係る未使用率を採用し、この 未使用率から優先度指数を計算する。先ず、 m番目のターゲットに係る未使用率を、 R 、アクセス係数を、 A としたとき、優先度指数 X は、

m m m

X =A X R ( 1 )

m m m

と表すことができる。ここで、データ格納システム力 図 1に示される構成である場合に は、 m= l、 2、 · · ·、 Mである。

[0083] そこで、アクセス係数 A を求めるにあたって、アクセスパラメータ Kを導入して、前 m

回に自ターゲットがデータ保存先に選択された場合、 X回目のアクセス時のアクセス 係数を A とすると、

1

A K X A (2)

m 1

の式に従って、アクセス係数 A を求め、式（1 )により今回アクセス時の優先度指数 X m

を計算する。ここで、 A は、前回アクセス時のアクセス係数を意味し、 1回目のァク m 丄

セス時では、 A =初期値となる。

[0084] また、前回に自ターゲットがデータ保存先に選択されなかった場合には、

A =A /K (3)

m x— 1

の式に従って、アクセス係数 A を求め、式（1 )により今回アクセス時の優先度指数 X m

を計算する。

m

[0085] ここで、アクセスパラメータ Kについて、 0く K<≤1の範囲から選んだ適当な所定 値に設定すると、例えば、 Κ = 0. 5にすると、アクセス係数 Α の初期値 Aを、 A = 1 m 0 0 とすることができるので、前回のアクセスで選択された場合には、優先度指数 X は、 m

X = 0. 5となり、前回のアクセスで選択されなかった場合には、その優先度指数 X m m は、 X = 2となる。なお、 K= lを設定すると、図 6に示された場合と同様になる。 [0086] この様にして、前回のアクセスで選択された場合と選択されなかった場合とで、優先 度指数 X の大きさを変更することになるので、この優先度指数 X が応答情報の受入 m m 優先度情報に含められて、ユーザ側のターゲット探索部が、データ保存先にターゲッ トを選択するときに、その選択度合いが変更される。

[0087] 図 7に示されるように、格納システムにターゲット 3が、時間 20tにおいて増設された とき、設定されるアクセスパラメータ Kの大きさに応じて、初期の段階では、増設され たターゲット 3のデータ記憶部 ST— 3へのアクセスが続き、データ保存量が増えるが、 その後においては、ターゲット 1と 2へのアクセスも行われるようになり、データ記憶部 ST - 1と ST - 2へのデータ保存も行われつつ、データ記憶部 ST - 3へのデータ保存 も行われる。

[0088] このように、式（2)及び（3)を用いて、優先度指数 X を求めることにより、直前のァク m

セスで選択されたターゲットに対しては、選択の優先度を下げ、直前のアクセスで選 択されなかったターゲットに対しては、選択の優先度を上げる効果を創出し、各デー タ記憶部における使用量を均等化しつつ、アクセスを分散化することができる。

(ケース 2)

ケース 1では、上述したように、優先度指数 X を変更する手法として、アクセス係数 m

A を計算するに際し、前回にターゲット選択されたかどうかに応じて、アクセスパラメ m

ータ Kをアクセス係数 A に対する乗除を使い分けるようにしていた。このケース 1の手 m

法によると、格納システムに接続されたターゲットの数が多い場合に、選択されなかつ た状態が連続するターゲットで作成される優先度指数 X は、指数関数に従って増え m

、非常に大きな値となってしまう。そのため、この大きな値は、ユーザ側での優先度指 数の管理上、支障を来たす。

[0089] そこで、ケース 2では、この優先度指数 X 、大きな値とならないように、アクセス係 m

数 A の計算方法を工夫した。アクセス係数 A を求めるにあたって、アクセスパラメ m m 一 タ κを導入して、前回に自ターゲットがデータ保存先に選択された場合には、上記の 式（2)に従って、アクセス係数 Α を求め、式（1)により今回アクセス時の優先度指数 m

X を計算する。

m

[0090] また、前回に自ターゲットがデータ保存先に選択されなかった場合には、 A =A +K X (1-A ) (4)

m x— 1 x— 1

の式に従って、アクセス係数 A を求め、式（1)により今回アクセス時の優先度指数 X m

を計算する。ここで、アクセスパラメータ Kは、 0<K<≤1の範囲から選んだ適当な m

所定値に設定される。

[0091] 例えば、 K = 0. 5に設定すると、アクセス係数 Α の初期値 Aを、 A = 1にすると、 m 0 0

前回のアクセスで選択された場合には、優先度指数 X は、 X =0. 5となり、前回の m m

アクセスで選択されなかった場合には、そのアクセス係数 A は、 A = 1となる。 K = 0 m m

. 5に設定した場合には、非選択が続いた場合には、アクセス係数 A 力 常に、 A m m

= 1であって、優先度指数 X は、未使用率 R そのものの大きさを維持し続ける。一 m m

方、選択された場合には、アクセス係数は、 A =0. 5となり、 7火のアクセスでも選択さ m

れた場合には、アクセス係数は、 A =0. 25となり、優先度指数 X 力 S小さくなる。

m m

[0092] この様に、ケース 2の場合には、選択された場合に係るアクセス係数 A の大きさが m

、非選択の場合に係るアクセス係数 A の大きさより一層小さくなるようにして、前回に m

選択されたターゲットに対しては、一層選択され難い方向のアクセス係数 A が計算 m される。

[0093] ところで、アクセス係数 A に関する初期値 Aについて、上述の例では、 A = 1とし m 0 0 た力 この初期値については、 0く A≤1の範囲から選択して設定することができる。

0

例えば、 A =0. 5に設定すると、選択され続ける場合に係るアクセス係数 A は、 0.

0 m

25、 0. 125、 · · ·のように指数関数的に小さくなる。一方、非選択が続く場合に係る アクセスィ系数 A は、 0. 75， 0. 875、一のように、 1に漸次近づく値となる。

m

[0094] アクセス係数の初期値を 1より小さい値に設定することにより、なお、 K= lを設定す ると、図 6に示された場合と同様になる。

[0095] この様にして、前回のアクセスで選択された場合と選択されなかった場合とで、優先 度指数 X の大きさを変更することになるので、この優先度指数 X が応答情報の受入 m m 優先度情報に含められて、ユーザ側のターゲット探索部が、データ保存先にターゲッ トを選択するときに、その選択度合いが変更される。上述したケース 2の例と同様に、 選択された場合に係るアクセス係数 A の大きさが、非選択の場合に係るアクセス係 m

数 A の大きさより一層小さくなるように計算され、選択されたターゲットに対しては、 一層選択され難くなる。

[0096] なお、上述したケース 1におけるアクセス係数 A の計算方法による場合には、選択 m

された場合と非選択の場合とで乗除されるアクセスパラメータ Kの値が同じであるた め、選択されなかった場合の回復が早くなるが、格納システムに接続されたターゲット 台数が多い場合には、アクセス係数 A 自体力 Siより大きな値となる。これに対して、 m

上述のケース ₂におけるアクセス係数 A の計算方法による場合は、選択されなかつ m

た場合の回復が緩やかになるため、接続されたターゲット台数が多いときに、順番に 選択されるようにしたレ、場合に有効である。

[0097] これまでに説明したケース 1及び 2においては、優先度指数 X を求める際に、各タ m

一ゲットのデータ記憶部の未使用率 R を使用した。図 6に示されるように、格納シス m

テムに、空のデータ記憶部を有するターゲットが追加された場合に、この追加ターゲ ットにアクセスが集中することを抑制するために、新しいターゲットが追加されたときに 、未使用率 Rmの定義を変更するようにしたケース 3について、次に説明する。

(ケース 3)

既に格納システムに接続されたターゲットをデータ保存先に選択する通常の探索 時には、未使用率 R は、データ記憶部の全容量を C、そして m番目のデータ記憶 m 0

部に係る X回目のアクセス時における使用量を Cとしたとき、

R = (C -C ) /C (5)

m O x 0

の式に従って求めている。そして、上記式（1)に従って、優先度指数 X が求められる m

。ここでは、アクセス係数 A を、例えば、 A = 1とし、受入優先度情報として、未使用 m m

率 R そのものを使用する。

m

[0098] 複数のターゲットが接続された格納システムに、空のデータ記憶部を有するターグ ットが追加接続された以降においては、未使用率 R を、通常使用する式（5)から次 m

に示す式（6)に切換えて求めるようにする。

R = (C -C ) /E (6)

m O x m

ここで、 E は、空のデータ記憶部が新しく追加されたときの空き容量である。

m

[0099] 空のデータ記憶部を有するターゲットが格納システムに新しく追加されたことは、各 ターゲットに同報されるものとし、各ターゲットは、この同報に従って新ターゲットの追 加を検知することができる。各ターゲットが新ターゲット追加の検知を受けたとき、各タ 一ゲットの受入情報処理部では、検知時点以降における優先度指数 X の計算にお m

いて、上記式（5)から式（6)に切換える。

[0100] 以上に示されたケース 3の手法によって求められた優先度指数 X に従って、デー m

タ保存先のターゲット選択を行う例が、図 8に示されている。時間 201:までは、上記式 (5)に基づく優先度指数 X に従って、データ記憶部 ST— 1と ST— 2が、時間 Itだけ m

ずらされて交互に選択され、そして、 1GBずつのデータ保存が行われる。時間 20tに おいて、同一容量の空のデータ記憶 ST— 3を有するターゲット 3がシステムに追加接 続されると、ターゲット 1乃至 3の夫々の受入情報処理部では、上記式（5)から上記 式 (6)に切換えられて、この追加時点以降における優先度指数 X が求められる。

m

[0101] この様にして、途中で格納システムに新ターゲットが追加された状態であっても、ュ 一ザ側から送付された 60GBのデータ力 同じ格納容量のデータ記憶部を有する 3 ターゲットに、使用量を均等化しつつ、アクセスの分散化を図りながら保存される。

[0102] これまでに説明したケース 1乃至 3の例は、図 4に示されたように、格納システムに 接続されたターゲットのデータ記憶部が、いずれも同じ格納容量を有する場合にお いて、途中で新しいターゲットが追加接続されたとしても、アクセス係数の計算を工夫 した優先度情報に含める優先度指数とし、使用量を均等化し、アクセスを分散化でき るように、データ保存先を選択するようにしていた。

[0103] 一方、図 5に示されるように、各ターゲットのデータ記憶部の格納容量が不均一であ る場合にも、均一な格納容量を有するターゲットの選択の場合と同様に、図 9に示さ れるように、途中で新しいターゲットが追加されたときには、その追加されたターゲット に、データ保存先としてのアクセスが集中する問題がある。

[0104] 図 9では、ターゲット 2のデータ記憶部 ST— 2の格納容量力 20GBであり、ターゲッ ト 3のデータ記憶部 ST-3の格納容量が 30GBであり、最初には、ターゲット 2と 3が選 択され、 1GBずつのデータがデータ記憶部 ST-2と ST-3に順次保存される。そして 、時間 30tにおいて、新しいターゲット 1が追加されている。

[0105] ここで、ターゲット探索時に作成される受入優先度情報として、未使用率が採用さ れている場合、ユーザ側のターゲット探索部は、未使用率の大きい順にターゲット選 択を行うので、増設されたデータ記憶部 ST— 1の未使用率が他のデータ記憶部 ST— 2、 ST— 3の未使用率に等しくなる時間 36tまで、ターゲット 1のみが選択されることに なる。

[0106] この状態は、格納システム全体の使用量を平均化するために、増設されたターゲッ トにデータ保存のためのアクセスが集中することであり、図 6の場合と同様に、全体の データ保存速度が低下するという問題がある。

[0107] そこで、図 9に示されるターゲット探索の場合において、受入優先度情報の作成に 際して、 自ターゲットが選択された場合と、選択されなかった場合とで、受入優先度 情報に含める優先度指数 X の求め方を変更するようにしたケース 1又は 2を採用す m

ることができる。その適用例が、図 10に示されている。図 10に示された場合は、新し レ、ターゲット 1が追加されるまでは、受入優先度情報としてターゲット記憶部 ST— 2、 S T - 3に係る空き容量が使用され、新しいターゲット 1が追加された時間 30t以降にお いては、受入優先度情報として、ケース 1に示された優先度指数 X が使用されるよう m

に切換えられている。

[0108] 図 10に示されたデータ保存状態を表すグラフからも分かるように、時間 30ほでは、 データ記憶部 ST— 2と ST— 3が、時間 Itだけずらされて交互に選択され、そして、 1G Bずつのデータ保存が行われる。時間 30tにおいて、格納容量が 10GBである空の データ記憶部 ST— 1を有するターゲット 1がシステムに追加接続されると、この追加を 検知した時間 30t以降では、ターゲット 1乃至 3の夫々の受入情報処理部は、ケース 1における上記式（2)及び式（3)を使用して、優先度指数 X を求め、これを応答情 m

報に含める。

[0109] この様にして、格納容量が不均一な複数のターゲットが格納システムに接続されて レ、るとき、途中で格納システムに新ターゲットが追加された状態であっても、ユーザ側 力も送付された 60GBのデータ力 格納容量が 10GB、 20GB、 30GBのデータ記憶 部を有する 3ターゲットに、使用量を均等化しつつ、アクセスの分散化を図りながら保 存される。

[0110] 以上の説明では、図 4乃至図 9に示されたいずれの場合も、データ保存をしょうとす るユーザ側は、一ユーザであった。しかし、図 1に示されたデータ格納システムの構 成が採用された場合には、データ保存を要求するユーザは、一ユーザに限定されな レ、。そこで、複数のユーザが、データ保存先を選択する場合について、ケース 4とし て、図 11を参照して説明する。

(ケース 4)

図 11には、 3ユーザが、格納システムに接続されたターゲット 1乃至 3に同時にァク セスして、データ保存する様子が示されている。ここで、各ユーザによる各ターゲット に対するデータ保存先を選択する手順には、図 3に示されるターゲット探索の処理手 順が採用される。図 3において示されたユーザ側に、 3ユーザが位置し、各ユーザが 、ターゲット側の複数ターゲットをデータ保存先として探索するときには、ネットワーク 上に、ユーザの各々からターゲット探索情報が同報される。以降の各ユーザにおける ターゲット探索に係る処理手順は、図 3に関連して述べたユーザ側の処理手順と同 様である。

[0111] 図 11では、データ格納システムに接続されている各ターゲットのデータ記憶部の格 納容量が均一であって、各ターゲット内で作成される受入優先度情報として自データ 記憶部の未使用率が含められる場合について、使用量均等化とアクセス分散化を実 現した具体例が示されている。均一な格納容量として、 20GBを例示しており、デー タ保存される最終的なデータ量は、 60GBとなっている。

[0112] 図 11は、 3ユーザの各々のターゲット探索部が、受信した応答情報に含まれる受入 優先度情報に基づいてターゲットを選択し、データを保存する様子を示している。 3 ユーザによって選択されたターゲットは、ターゲット 1、 2、 3であり、それらのデータ記 憶部 ST— 1、 ST— 2、 ST— 3にデータ力 時間 Itだけずらされて保存される様子を示 されている。各ユーザから 1GBのデータが送付されるので、データ記憶部 ST— 1、 S T一 2、 ST— 3の夫々に一度に格納されるデータは、 3GBずっとなる。

[0113] 図 11に示された場合には、各ユーザにおいて、データ保存先としてターゲットを選 択するとき、受信した応答情報に含まれる未使用率の大きい順にターゲットを選択す るので、複数のユーザが同時にアクセスすると、 1台のターゲットにデータ保存先の選 択が集中して、データ保存が行われる。各ターゲットに係る未使用率が同じ場合でも 、応答が速い順に選択されるので、全てのユーザが同一のターゲットを選択する結果 となる。

[0114] そこで、図 11に示されるように、 1台のターゲットにデータ保存先の選択が集中する ため、これを抑制するものとして、各ターゲットに係る応答情報に含める受入優先度 情報の作成時に、ランダム値をとるアクセス係数 A を導入する。各ターゲットの受入 m

情報処理部では、前出の式（1)に従って、優先度指数 X が計算されるようにする。こ m

こで、アクセス係数 A について、 1から 0. 9の範囲にあるランダム値を設定するように m

する。

[0115] この様に、ターゲット毎に、優先度指数 X の計算時に、ランダム値のアクセス係数 m

A を使用することにより、ターゲット間で同じ大きさの未使用率 R であったとしても、 m m

応答情報に含められる優先度指数 X は、アクセス係数がランダム値になるために異 m

なる値となる。そのため、各ユーザによるターゲット選択が同一ターゲットに集中する 可能性を低めることができ、アクセスの分散化を図ることができる。

[0116] ここで、複数ユーザが、このランダム値のアクセス係数 A を用いた優先度指数 X に m m 従って、ターゲット選択する場合の例を、図 12に示した。各ターゲットのデータ記憶 部の格納容量は、図 11の場合と同様に、全て 20GBであり、 3ユーザからは、一度に 各々 1GBのデータが送付される。

[0117] 例えば、時間 It時点において、 3ユーザが、個別にターゲット 1、 2又は 3を選択し、 データ記憶部 ST— 1、 ST— 2、 ST— 3の夫々に、 1GBのデータが保存される。そして 、各優先度指数 X は、ターゲット探索情報の同報に応答するときに、各ターゲットの m

受入情報処理部の夫々で計算されるので、自データ記憶部の優先度指数 X は、こ m の時点で他のターゲットのデータ記憶部に係る未使用率 R と同じであっても、他のタ m

一ゲットから送出される優先度指数 X の値と異なる。

m

[0118] そのため、時間 2t時点においては、ターゲット 2には、どのユーザもアクセスせず、 1 ユーザが、ターゲット 3にアクセスして選択し、データ記憶部 ST-3に 1GBのデータを 保存し、 2ユーザが、ターゲット 2に同時にアクセスして選択し、データ記憶部 ST-2 に 2GBのデータが保存される。

[0119] この様に、ユーザが各ターゲットにアクセスする毎に、ランダムに変化する優先度指 数が計算されるので、 3ユーザ全てが同時に同一ターゲットを選択することを抑制で き、 3ユーザの各々力 異なるターゲットを選択することができる。複数のユーザが、 複数のターゲットにデータ保存するとき、使用量を均等化しつつ、アクセスの分散化 、或いは、平準化を図ることができる。

[0120] なお、以上では、ユーザ側でデータ保存先を選択する際に、各ターゲットにおける 優先度指数 X に、自データ記憶部の未使用率が使用されるとき、他のターゲットの

m

未使用率と同じ未使用率となることを回避させる手法として、アクセス係数がランダム 値となるように計算したが、アクセスを平準化する手法としては、この手法に限られず 、各ターゲットから送出される受入優先度情報の送出タイミングをランダムに遅延させ ることち有効である。

[0121] ユーザ側では、応答情報に含まれる優先度指数 X が同じである場合には、各ター

m

ゲットからの応答が早い順にデータ保存先として選択を行うようになっているので、タ 一ゲットからの受入優先度情報の送出タイミングを、ランダムに意図的に遅延させるこ とにより、優先度指数 X が同じであっても、ターゲットへのアクセスの分散化とともに、

m

平準化を図ることができる。

[0122] 以上のように、ユーザ側からデータ保存先のターゲット探索が行われるとき、優先度 指数 X を使用し、その値の求め方を工夫することで、データ格納システムに複数接 m

続されたターゲットにデータ保存する際に、使用量の均等化と、アクセスの分散化を 図ること力できることを説明した。次に、図 3に示されたターゲット探索の手順につい て、図 13に示されたフローチャートを参照しながら、ターゲット探索時の更なる詳細な 処理手順を説明する。

[0123] 図 13のフローチャートでは、ユーザ側とターゲット側との通信状況の全体が、図 3の ターゲット探索の処理手順と対応してレ、る。図 13の「ユーザ側」と「ターゲット側」は、 図 3におけるユーザ側とターゲット側に対応し、太い矢印で示された情報の流れ a)乃 至 e)は、図 3中の情報の流れ a)乃至 e)に相当する。

[0124] 図 13のユーザ側フローは、データ保存のためにデータ保存先を選択しょうとしてい るイニシエータ又はターゲットにおける処理手順が表され (ステップ S1乃至 S8)、ター ゲット側フローでは、その上段において、ユーザ側からターゲット探索情報が同報さ れたときの各ターゲットにおける処理手順が表され (ステップ S 11乃至 S 17)、その下 段には、データ保存先として選択されたターゲットにおける処理手順が表されている（ ステップ S21乃至 S26)。

[0125] 先ず、データ格納システムに接続されたイニシエータ 1乃至 N又はターゲット 1乃至 Mのいずれかが、ユーザとなり、該ユーザが、データの保存先としてのターゲットを探 索する必要が発生したとする。このとき、ユーザ側では、ユーザ自身に備えられてい るターゲット探索部が作動を開始し、自動的に作成されたターゲット探索情報をネット ワーク上に同報する (ステップ Sl)。このターゲット探索情報には、前述したように、タ 一ゲット探索を意味するコマンド名と、保存すべきデータの容量を表す LUN数とが含 まれ、返答を確認しないことを表す符号 UDPが付与されている。ターゲット探索情報 は、ネットワークプロトコルに従って、一斉同報される（フロー a)。

[0126] 一方、複数のターゲットを含むターゲット側では、夫々に備えられた探索応答部に より、同報されたターゲット探索情報を受信する（ステップ S 11)。そこで、このターゲッ ト探索情報を受信したターゲットにおける受入情報処理部は、受信したターゲット探 索情報に含まれる LUN数により、当該データ記憶部の未使用状況又は空き状況を 判断する (ステップ S 12)。

[0127] ここで、各ターゲットにおいて、 自データ記憶部にデータを格納できる空き容量があ ると判断したとき (ステップ S12の Y)、受入情報処理部で、受入優先度情報が生成さ れる (ステップ S 13)。この受入優先度情報には、前述したように、 自データ記憶部の 空き容量、未使用率、或いは、ケース 1乃至 4のいずれかによる優先度指数 X が含

m まれる。

[0128] ここで、各ターゲットの探索応答部は、受入優先度情報が生成された場合には、受 信したターゲット探索情報に応答するため、この受入優先度情報を含む応答情報を 作成し、返答を確認しない意味の符号 UDPが付与されたうえで、この応答情報をネ ットワーク上に伝送する (ステップ S14、フロー b)。そして、送信した受入優先度情報 に、ケース 1乃至 4による優先度指数 X が含まれている場合には、アクセス係数 A を

m m 計算し、保存する (ステップ SI 5)。

[0129] 一方、ステップ S12において、各ターゲットにおいて、自データ記憶部にデータを 格納できる空き容量が無いと判断したとき（N)、受入情報処理部は、受入優先度情 報を生成せず、受信したターゲット探索情報には何も返答をしない。この場合は、ァ クセス係数 A については更新しない。例えば、アクセス係数の初期値を保存する。

m

[0130] 次いで、ステップ S14において、各ターゲットから応答情報がネットワーク上に同報 されたとき、ユーザは、今回のデータ保存の保存先の候補として同報された応答情 報による返答を受信する (ステップ S2)。ここで、ユーザのターゲット探索部は、ネット ワーク上の輻輳などの問題を考慮して、所定時間だけ、例えば、ターゲット探索情報 を同報してから 10秒間、各ターゲットからの応答情報が出揃うまで待機する (ステップ S3)。

[0131] そこで、ユーザのターゲット探索部は、出揃った応答情報の中から、データ保存可 能を表す受入優先度情報をターゲット毎に読み出し、その値の大きい順にリストアツ プする。そして、最上位にある受入優先度情報に該当するターゲットを最適なデータ 保存先として選択し、当該ターゲットにデータ保存先に選択されたことを示す選択通 知情報を送出する（ステップ S4、フロー c)。

[0132] この選択通知情報を送信すると同時に、当選通知が送出されたターゲットをリストか ら削除する (ステップ S5)。この削除により、次の順位にあった選択候補が、次のター ゲット選択の最優先候補に繰り上げられる。

[0133] この選択通知情報は、選択される対象ターゲットによって受信される（ステップ S21) 。この情報には、データ保存先として選択されたことを示すコマンド名と、保存される べきデータの大きさを表す LUN数と、領域確保するためのデータ識別情報とが含ま れ、応答確認を必要とする符号 TCPも付与されてレヽる。

[0134] そのため、ターゲットの探索応答部では、選択通知情報が当該ターゲットに伝送さ れたときには、当該ターゲットのデータ格納状況が変化していることも有り得るので、 再度、選択通知情報に含められた LUN数を参照し、当該ターゲットにおいて、デー タ保存に適合するかどうかを判断する。そして、今回のデータ保存の可否を示す保 存可否の返答情報を作成し、ユーザに該返答情報を送信する（ステップ S22、フロー d)。

[0135] そこで、ユーザのターゲット探索部は、選択通知を送信したターゲットからの返答情 報を受信し (ステップ S6)、その返答情報に基づいて、当該ターゲットがデータ保存 先として適してレ、るかの判断を行う（ステップ S7)。

[0136] 次いで、ユーザ側のターゲット探索部は、当該ターゲットから伝送された返答情報 に「OK」が記述されている場合には (ステップ S7の Y)、当該ターゲットのデータ記憶 部に当該データ保存が可能であると判断し、データ転送が実行され、当該ターゲット のデータ記憶部に当該データが格納される（ステップ S8、フロー e)。

[0137] 一方、当該ターゲットから伝送された返答情報に「NG」が記述されている場合には

(ステップ S7の N)、当該ターゲットのデータ記憶部に当該データを保存することがで きないことを表しているので、ステップ S4に戻り、前述した受信リストの最上位にある 受入優先度情報に係るターゲットが、次候補のターゲットとして選択される。

[0138] ここで、図 13のフローチャートにおいては、省略されているが、図 3に示されるように 、選択されたターゲットから、次々と「NG」を含む返答情報が伝送され、応答情報を 伝送したターゲットの全てについて、データ保存できなかった場合には、当該データ 保存の要求に失敗したものとして、ユーザ側のデータ保存に係る作業を終了する。

[0139] ところで、ステップ S22において、ユーザに送信した返答情報を送信したとき、今回 のデータ保存が可である「〇K」を含めた場合には（ステップ S23の Υ)、ステップ S12 で、ケース 1又は 2による優先度指数 X を計算した際の「選択された場合」に相当す

m

るので、アクセス係数 A を更新する（ステップ S24)。そして、ステップ S8に示された

m

ユーザから送信された保存データを受信し、自データ記憶部に格納する (ステップ S 25)。

[0140] 一方、ステップ S23において、ユーザに送信した返答情報に、今回のデータ保存が 否である ^。」を含めた場合には（N)、ステップ S12で、ケース 1又は 2による優先度 指数 X を計算した際の「選択されなかった場合」に相当するが、既に、ステップ S 15 m

においてアクセス係数 A が更新されているので、この場は更新せず、今回のデータ

m

保存は実行されない。

[0141] なお、ここで、アクセス係数 A を更新するときの計算について説明する。本発明に

m

よるターゲット選択方式を用いた場合、選ばれたターゲットには選択通知が届くため、 ターゲット側では、自ターゲットが選択されたことを認識できる。一方、選ばれなかつ たターゲットには、何も選択通知が無いため、ターゲット側では、選ばれなかったこと を認識することができなレ、。そこで、「保存可能」を返答した全てのターゲットにおいて 、選択されなかった場合としてのアクセス係数 A を計算しておく。実際に選択された m

ターゲットに関しては、それを考慮して、選択された場合のアクセス係数 A の計算を m 行う。例えば、ケース 1の場合には、ステップ S15において、前出の式（3)を用いて、 アクセス係数 A を計算し、ステップ S24においては、前出の式（2)を考慮して変更し m

た次に示される式（7)を用いて、アクセス係数 A を計算する。

m

A =K X K X A (7)

m x— 1

[0142] 以上の様に、本発明によるデータ格納システムでは、データ格納システムに含まれ る複数のイニシエータと複数のターゲットとに、夫々個々において、ターゲット探索部 が備えられ、ターゲット探索部におけるターゲット探索情報の同報機能と、ターゲット 探索部におけるデータ保存の適合性判断機能とを利用し、この適合性判断機能で は、各ターゲットの受入情報処理部におレ、て受入優先度情報を自動作成されように し、この受入優先度情報に基づいてターゲット選択を可能にすることにした。そこで、 ホストから、或いは、他のターゲットからのデータ保存が要求されたとき、複数のター ゲットから最適な保存先候補が選択されて、データ格納先が自律的に決定される。そ のため、従来のデータ格納システムに比べて、管理者による操作の煩わしさが軽減さ れ、管理コストが低減される。そして、各ターゲットのデータ記憶部の使用量を均等化 し、さらに、データ保存のためのアクセスの分散化を図ることができる。

[0143] なお、これまでに説明された受入優先度情報として、ターゲットのデータ記憶部の 未使用率 R が使用された場合には、未使用率の大きいターゲットがデータ保存先と m

して選択され、さらに、特定の応答の速いターゲットに、アクセスが集中していたが、 ユーザ側でこの未使用率 R に基づいてターゲット選択するときに、各ターゲットから m

送信された優先度情報の大きさに応じた確率でランダムにターゲットを選択すること もできる。

[0144] ここで、 m番目のターゲットの未使用率を R 、その m番目のターゲットに対するター m

ゲット選択の確率を P としたとき、確率 Y を、

m m

Y =R / (R +R H hR ) (8)

M

の式で計算する。式（8)中において、（R ■R H +R )の項は、図 1に示された

2 M ターゲット 1乃至 Mのデータ記憶部に係る未使用率を示している力 ユーザ側から送 出された今回のターゲット探索情報に応答したターゲットによる未使用率の総和を示 している。

[0145] ユーザ側のターゲット探索部は、データ保存先としてターゲット選択するとき、この 式 (8)による確率 Y を、各ターゲットから送信された受入優先度情報に含まれた未 m

使用率 R に基づいて、応答したターゲット毎に計算する。そこで、ユーザ側のターグ m

ット探索部は、優先度の大きさに応じて計算されたターゲット毎の確率 Y に基づいて m

、ランダムにターゲットを選択する。この選択の仕方を確率的選択と呼ぶことができる

[0146] このように、ユーザ側のターゲット探索部において、式 (8)に従う確率的選択によつ て、アクセスの平準化を可能にすることもできる。

[0147] 次に、図 1に示された本発明のデータ格納システムにおいて、ホストから該格納シス テムの複数のターゲットに対してデータ保存の依頼があつたときのターゲット探索の 処理手順に係る実施例を以下に説明する。

[0148] この実施例に力かるターゲット探索の処理手順は、図 14に示されている。図 14のフ ローチャートは、図 1に示されたデータ格納システムにおいて、ホストからターゲットに 対してデータ保存の要求が伝送された場合を示し、図 3に示されたフローチャートに おけるユーザ側は、図 14では、イニシエータ Nに対応し、ターゲット側には、ターゲッ ト 1乃至 Mが対応している。従って、図 14では、ホスト Lからデータ保存要求が伝送さ れてから、ターゲット 1乃至 Mに当該データが保存されるまでの動作手順を示してい る。

[0149] 図 14では、先ず、ホスト Lからのデータ保存の依頼を、イニシエータ Nがネットワーク 4を介してイニシエータ Nが受信した状態を示している（a)。ここで、ホスト Lは、ネット ワーク上でデータ保存要求の依頼情報を同報し、このときに空いているイニシエータ が応答することになる力 図 14では、イニシエータ Nがその依頼に応答したものであ る。この依頼情報には、データ識別情報が含まれている。

[0150] そこで、イニシエータ Nは、この依頼情報に基づいて、ターゲット探索部 TS— Nが作 動を開始し、ターゲット探索を実行する（b)。ターゲット探索部 TS-Nは、伝送された 依頼情報に基づいて、ターゲット探索情報を自動的に作成する。このターゲット探索 情報には、ターゲット探索を意味するコマンド名と、保存すべきデータの大きさを表す LUN数（Logical Unit Number)とが含まれ、返答を確認しないことを表す符号 UDP が付与されている。イニシエータ Nは、ネットワークプロトコルに従って、作成したター ゲット探索情報をネットワーク上に伝送し、一斉同報する。

[0151] 一方、各ターゲットでは、夫々に備えられた探索応答部により、同報されたターゲッ ト探索情報を受信する。そこで、受入情報処理部は、 自ターゲットのデータ記憶部に おけるデータ格納量から、受信したターゲット情報に含まれる LUN数を参照して、当 該データ記憶部の空き状況を判断し、受入優先度情報を作成する。

[0152] ここで、受入優先度情報としては、 自ターゲットのデータ記憶部に係る空き容量 C

m や未使用率 R 、或いは、前述したケース 1乃至 4のいずれかの優先度指数 X 力 選 m m ばれるが、データ保存先としてターゲットが選択されるとき、データ記憶部の使用量を 均等化しつつ、アクセスの分散化を図る場合には、ケース 1乃至 4の手法によって計 算される優先度指数 Xmを受入優先度情報に含めると好適である。

ターゲットのデータ記憶部に空きがある場合には、当該探索応答部は、自ターゲッ トに係るデータ格納応答を示す応答情報を作成する。この応答情報には、受入優先 度情報と、ターゲット探索に対する応答を示すコマンド名と、伝送元のイニシエータ N の通信プロトコル IPとが含まれる。この応答情報には、これらの他に、該当ターゲット の様々な属性情報を含めても良い。例えば、メーカ名、データ転送速度、記録密度 などの性能情報や、エラー率、温度などの状態を示す値などである。

[0153] さらに、返答を確認しない意味の符号 UDPが付与される。探索応答部は、この作 成した応答情報をネットワーク 4上に伝送する（c)。このとき、複数のターゲットにおい て、夫々のデータ記憶部に保存すべきデータの大きさに見合った空きがある場合に は、夫々のターゲットから、上述したのと同様に作成された受入優先度情報を添付し た応答情報がネットワーク 4上に同報伝送される。

[0154] 次レ、で、イニシエータ Nのターゲット探索部 TS— Nは、ターゲット探索情報を伝送し てから、例えば、 10秒間だけ、ネットワーク 4経由の応答情報の受信待ちをする。ィニ シエータ Nは、この間に、 自身の通信プロトコル IPを含む応答情報を受信し、受信し た応答情報に係るターゲット IPを格納し、受入優先度情報の大きさ順にリストアップ する。

[0155] そこで、このリストから、それらの優先度の最大値を示すものを、データ保存先のタ 一ゲットとして選択する。ターゲット探索部 TS— Nは、最大値の優先度を含む応答情 報に係るターゲットに対して、ネットワーク 4を介して、選択通知情報を伝送する（d)。

[0156] なお、ここでのターゲット選択方法は、集まった応答情報の中から、優先度情報の 最大値のものがデータ保存先のターゲットとして選択される仕方であるが、また、応答 情報の中のその他の属性情報を用いて選択してもよいし、優先度情報から得られる 確率的選択の手法が採用されてもよい。

[0157] また、ターゲット探索は、イニシエータがデータ保存依頼を受ける度毎に必ずしも行 う必要はなぐ保存依頼とは関係なく適当な間隔を置いて探索を行い、集まった空き 応答情報をリストとして保存し、データ保存依頼を受けた場合、探索せずにそのリスト を参照してターゲットを選択することも可能である。

[0158] また、一度、応答情報リストを作成した後は、リストと実態の食い違いが表面化した 時点で、探索を行うということでも良い。

[0159] 図 14では、データ保存先として、ターゲット 1が選択され、イニシエータ Nから選択 通知情報が伝送された場合を示している。そこで、ターゲット 1の探索応答部 11は、 伝送された選択通知情報をチェックし、当該保存データが、データ記憶部 ST— 1に 適合しているかどうかを判断する。そして、その判断結果による当該応答に対する〇 K又は NGを示すコマンド名と、 LUN番号及び LUN数とを含み、応答確認を要する 符号 TCPが付与された返答情報が作成され、探索応答部 11が、該返答情報をィニ シエータ Nに伝送する（e)。

[0160] 次いで、イニシエータ Nのターゲット探索部 TS—Nは、ターゲット 1から伝送された返 答情報に「OK」が記述されている場合には、ターゲット 1のデータ記憶部 ST-1に当 該データ保存が可能であると判断し、ホスト Lからのデータ転送が実行され、データ 記憶部 ST-1に当該データが格納される。

[0161] 一方、ターゲット 1から伝送された返答情報に「NG」が記述されている場合には、デ ータ記憶部 ST— 1に当該データを保存することができないことを表しているので、前 述した時間内に受信した空き応答情報のうち、次のタイミングで受信した、図 14の場 合であれば、 2番目の空き応答情報に係るターゲット 2が選択され、イニシエータ Nの ターゲット探索部 TS— Nによって、ターゲット 1を選択した場合と同様の手順に従って 、データ保存の次候補選択の作業が実行される（d)。ここで、選択されたターゲットか ら、次々と「NG」を含む返答情報が伝送され、空き応答情報を伝送したターゲットの 全てについて、データ保存できなかった場合には、当該データ保存の依頼要求に失 敗したものとして、イニシエータ Nのデータ保存作業を終了し、当該ホスト Lにデータ 保存依頼の失敗通知を行う。

[0162] 以上に説明した実施例では、ホストからターゲットに対してデータ保存の要求が伝 送された場合であるが、図 1に示されたデータ格納システムにおいて、ホストからター ゲットに格納されているデータの読み出しの要求がなされれば、その要求に応じてデ ータ読み出しを実行することができる。

[0163] ホスト Lで処理に必要なデータについて、例えば、ターゲット 1のデータ記憶部 ST— 1から読み出す必要がある場合には、ホスト Lからのデータ読み出しの依頼を、ィニシ エータ Nがネットワーク 4を介してイニシエータ Nが受信する。ここでは、ホスト Lは、ネ ットワーク上でデータ読み出し要求の依頼情報を同報し、このときに空いているィニシ エータが応答することになる。イニシエータ Nがその依頼に応答したとする。この依頼 情報には、データ識別情報が含まれているので、イニシエータ Nがその依頼に応答 すること力 Sできる。

[0164] そこで、イニシエータ Nは、この依頼情報に基づいて、ターゲット探索部 TS—Nが作 動を開始し、ターゲット探索を実行する。ターゲット探索部 TS—Nは、伝送された依頼 情報に基づいて、ターゲット探索情報を自動的に作成する。このターゲット探索情報 には、ターゲット探索を意味するコマンドと、読み出されるべき対象データを表すデー タ識別情報とが含まれ、返答を確認しなレ、意味を表す符号 UDPが付与されてレ、る。 イニシエータ Nは、作成したターゲット探索情報をネットワーク上に伝送し、同報する

[0165] 一方、各ターゲットでは、夫々に備えられた探索応答部により、同報されたターゲッ ト探索情報を受信する。そこで、探索応答部は、ターゲット探索情報に含まれるデー タ識別情報に基づいて、読み出し対象データが自ターゲットのデータ記憶部に格納 されてレ、るかどうかを判断する。

[0166] ここで、自ターゲットのデータ記憶部に該当する読み出し対象データが格納されて いる場合に、例えば、ターゲット 1が該当データを格納しているとすると、探索応答部 11は、自ターゲットに係る応答情報を作成する。この応答情報には、ターゲット探索 に対する応答を示すコマンドと、 LUN番号及び伝送元のイニシエータ Nの通信プロ トコル IPとが含まれ、さらに、返答を確認しない意味の符号 UDPが付与される。探索 応答部 11は、この作成した応答情報をネットワーク 4上に伝送する。

[0167] 次レ、で、イニシエータ Nのターゲット探索部 TS-Nは、ターゲット探索情報を伝送し てから、例えば、所定時間だけ、ネットワーク 4経由の当該応答情報の受信待ちをす る。そこで、イニシエータ Nは、自身の通信プロトコル IPを含む応答情報を受信したと き、データ読み出し依頼情報を伝送する。

[0168] このデータ読み出し依頼情報には、読み出されるべきデータの LUN数と当該デー タのデータ識別情報とが含まれ、応答確認を必要とする符号 TCPが付与される。ここ で、イニシエータ Nから伝送されるデータ読み出し依頼情報に、再度、 LUN数とデー タ識別情報を含めているのは、イニシエータ Nが依頼情報を当該ターゲットに伝送し たとき以降において、当該ターゲットのデータ格納状況が変化しており、場合によつ ては、格納されていたデータが書き換えられていることも有り得るので、ターゲット 1に おいて、読み出し対象データが存在するかどうかを再度判断させるためである。

[0169] ターゲット 1の探索応答部 11は、伝送されたデータ読み出し依頼情報をチェックし、 当該読み出し対象データが、データ記憶部 26に格納されているかどうかを判断する 。そして、その判断結果による当該応答に対する〇K又は NGを示すコマンド名と、 L UN番号及び LUN数とを含み、応答確認を要する符号 TCPが付与された返答情報 が作成され、探索応答部 11が、該返答情報をイニシエータ Nに伝送する。

[0170] 次いで、イニシエータ Nのターゲット探索部 TS—Nは、ターゲット 1から伝送された返 答情報に「OK」が記述されている場合には、ターゲット 1のデータ記憶部 ST-1から 当該データを読み出し可能であると判断し、データ読み出し情報がターゲット 1に伝 送され、対象データがデータ記憶部 ST— 1から読み出される。 [0171] ここで、ターゲット 1から伝送された返答情報に、「NG」が記述されている場合には、 イニシエータ Nは、データ読み出し依頼元であるホスト Lに読み出し失敗通知が伝送 される。そして、イニシエータ 1は、ホスト Lによるターゲット 1に格納されたデータの読 み出し依頼作業を終了する。

[0172] また、図 1のデータ格納システムによれば、ターゲット 1に格納されているデータを、 ホスト Lからのデータ消去依頼があった場合にデータ消去を実行することができる力 そのデータ消去依頼時の処理手順は、データ読み出し依頼の処理手順と、基本的 には同様である。データ読み出し処理の手順におけるコマンド名を「読み出し」から「 消去」に置き換えた手順にすればよい。

[0173] ターゲット 1が、データ消去依頼情報を受信したとき、ターゲット 1の探索応答部 11 は、当該データ消去依頼情報に含まれる LUN数とデータ識別情報とをチェックし、こ れにより消去該当データである場合には、データ記憶部 ST— 1に格納されていた該 当データを消去する。そして、消去の可否を示す「〇K」又は「NG」を含む返答情報 をイニシエータ Nに伝送する。

[0174] 返答情報を受信したイニシエータ Nでは、返答情報に「OK」が記述されている場合 には、ホスト Lからのデータ消去依頼作業を終了するが、返答情報に「NG」が記述さ れている場合には、イニシエータ Nは、ホスト Lに対して、データ消去失敗通知を行つ て、データ消去依頼作業を終了する。

[0175] 以上の様に、データ格納システムに含まれる複数のイニシエータと複数のターゲッ トとに、夫々個々に、ターゲット探索部が備えられ、ターゲット探索部におけるターグ ット探索情報の同報機能と、ターゲットから送信された受入優先度情報によってター ゲット探索部におけるデータ保存の適合性を判断する機能とを利用することにしたの で、ホストからのデータ保存依頼があつたとき、複数のターゲットから保存先候補が選 択され、データ格納先が自律的に決定される。そのため、従来のデータ格納システム に比べて、管理者による操作の煩わしさが軽減され、管理コストが低減され、データ 記憶部の使用量を均等化しつつ、アクセスの分散化を図ることができる。

Claims

請求の範囲

[1] ネットワークに接続され、ホストコンピュータに関わるデータを格納する複数のデー タ格納装置を備えたデータ格納システムであって、

前記複数のデータ格納装置の各々に、 自データ格納装置を管理する管理部が夫 々備えられ、該管理部は、

前記ネットワーク上に伝送されたデータ格納探索情報を受信したとき、該データ格 納探索情報による格納データ量が自データ格納装置のデータ格納に適合するかどう 力を判断する探索応答部と

前記格納データ量が自データ格納装置のデータ格納に適合する場合に、 自デー タ格納装置に係る受入優先度情報を作成する受入情報処理部と、を有し、

前記管理部は、作成された前記受入優先度情報を前記データ格納探索情報に対 するデータ格納応答情報に含めて前記ネットワーク上に伝送し、 自律的に前記自デ ータ格納装置に前記データの格納を実行するデータ格納システム。

[2] 前記管理部は、前記ネットワークに接続された他データ格納装置にデータ格納を 行うために、データ格納探索情報を前記ネットワーク上に同報することができるターグ ット探索部を備える請求項 1に記載のデータ格納システム。

[3] 前記ターゲット探索部は、前記ネットワーク上に同報した前記データ格納探索情報 に応答して伝送された前記他データ格納装置からの前記データ格納応答情報を受 信し、該データ格納応答情報に含まれる前記受入優先度情報に基づいて、データ 格納するデータ格納装置を選択する請求項 2に記載のデータ格納システム。

[4] 前記ターゲット探索部は、前記ネットワークに同報した前記データ格納探索情報が 戻ってくるまでの時間を計測し、該計測された時間に基づいて前記データ格納応答 情報の受信待ち時間を調節する請求項 3に記載のデータ格納システム。

[5] 前記ターゲット探索部は、受信した前記データ格納応答情報に含まれる前記受入 優先度情報に係る優先度値が最も大きいデータ格納装置から選択する請求項 3又 は 4に記載のデータ格納システム。

[6] 前記ターゲット探索部は、前記複数のデータ格納装置に対してデータ格納探索情 報を前記ネットワーク上に一斉同報により伝送し、該データ格納探索情報に係るデー タ格納に適合する返答をした当該データ格納装置に選択通知情報を送出し、該デ ータ格納装置から該選択通知情報に対してデータ格納に係るデータ適合可否返答 情報を受信する請求項 5に記載のデータ格納システム。

[7] 前記受入優先度情報は、前記データ格納探索情報の受信時における前記自デー タ格納装置の空き容量である請求項 6に記載のデータ格納システム。

[8] 前記受入優先度情報は、前記データ格納探索情報の受信時における前記自デー タ格納装置の未使用率である請求項 6に記載のデータ格納装置。

[9] 前記受入優先度情報の優先度は、前記データ格納探索情報の受信時における前 記自データ格納装置の未使用率にアクセス係数が乗算された優先度指数である請 求項 8に記載のデータ格納装置。

[10] 前記アクセス係数は、前回のデータ格納時に自データ格納装置が選択された場合

、該アクセス係数の初期値に、 1以下の所定値のアクセスパラメータを乗算されて求 められ、前回のデータ格納時に自データ格納装置が選択されなかった場合に、前記 未使用率を前記アクセスパラメータで除算して求められる請求項 9に記載のデータ格 系内システム。

[11] 前記アクセス係数は、前回のデータ格納時に自データ格納装置が選択された場合 、該アクセス係数の初期値に、 1以下の所定値のアクセスパラメータを乗算されて求 められ、前回のデータ格納時に自データ格納装置が選択されなかった場合に、値 1 と前記初期値との差分に前記アクセスパラメータを乗算した値に該初期値を加算して 求められる請求項 9に記載のデータ格納システム。

[12] 前記受入情報処理部が、前記データ格納の途中において、前記複数のデータ格 納装置の他に該各データ格納装置の空き容量より多きい空き容量を有するデータ格 納装置が追加接続されたことを検知したとき、該検知後における受入優先度情報の 優先度指数は、前記データ格納探索情報の受信時における未使用量を、前記検知 時の自データ格納装置の空き容量で除算した未使用率とされる請求項 9に記載のデ ータ格納システム。

[13] 前記受入情報処理部が、前記データ格納の途中において、前記複数のデータ格 納装置の他に該各データ格納装置の空き容量より多きい空き容量を有するデータ格 納装置が追加接続されたことを検知したとき、該検知後における受入優先度情報の 優先度指数は、自データ格納装置の未使用率に 1以下のランダム値が乗算されて求 められる請求項 8に記載のデータ格納システム。

[14] 前記受入情報処理部が、前記データ格納の途中において、前記複数のデータ格 納装置の他に該各データ格納装置の空き容量より多きい空き容量を有するデータ格 納装置が追加接続されたことを検知したとき、前記探索応答部は、該検知後におけ る受入優先度情報を含めた前記データ格納応答情報の送信タイミングをランダムに 遅らせる請求項 8に記載のデータ格納システム。

[15] 前記ターゲット探索部は、他データ格納装置から受信した前記データ格納応答情 報の受入優先度情報に含まれる優先度値に基づいて、該優先度値の大きさに応じ た確率を計算し、該確率に従ってランダムに前記他データ格納装置を選択する請求 項 3に記載のデータ格納システム。

[16] 前記管理部は、前記伝送した前記データ格納応答情報に応じた選択通知情報の 受信後に、前記データ格納探索情報に含まれる処理要求に基づいて、自データ格 納装置に係る書き込み、読み出し又は消去を実行する請求項 1乃至 4のいずれか一 項に記載のデータ格納システム。

[17] 前記ホストコンピュータから前記ネットワークを介して命令を受信し、管轄する複数 のデータ格納装置に対して該命令に関連して前記データ格納探索情報を前記ネット ワーク上に一斉同報により伝送するイニシエータを有する請求項 1乃至 15のいずれ か一項に記載のデータ格納システム。

[18] 前記管理部は、前記データ格納探索情報が当該自データ格納装置のデータ格納 に適合する場合に、自データ格納装置に係る前記データ格納応答情報を、前記ネッ トワークを介して前記イニシエータに伝送する請求項 17に記載のデータ格納システ ム。

[19] 前記イニシエータは、前記データ格納装置から伝送された前記データ格納応答情 報に含まれる受入優先度情報に基づいて、当該データ格納装置を選択する選択通 知情報を該データ格納装置に送出し、

前記データ格納装置の管理部は、前記選択通知情報を受信したとき、前記データ 格納探索情報が前記自データ格納装置に係るデータ格納に適合する場合に、前記 イニシエータにデータ適合可否返答情報を送出する請求項 19に記載のデータ格納

[20] 前記管理部は、前記データ適合可否返答情報にデータ適合可返答を含めた場合 に、前記データ格納探索情報に係るデータについて、 自データ格納装置に係る書き 込み、読み出し又は消去を実行する請求項 19に記載のデータ格納システム。

[21] 前記イニシエータは、前記選択通知情報を送出した当該データ格納装置からデー タ適合否返答が含まれてレ、る場合に、伝送された他のデータ格納応答情報に基づ いて、次候補のデータ格納装置を選択し、該他データ格納装置に選択通知情報を 送出する請求項 19に記載のデータ格納システム。