JPWO2005010767A1 - データ格納システム - Google Patents

Abstract

複数のホスト１乃至Ｌと、複数のターゲット１乃至Ｍと、複数のイニシエータ１乃至Ｎとがネットワークで接続される。各ターゲットに設けた管理部は、イニシエータからネットワーク上に同報されたターゲット探索情報を独自に判断し、自ターゲットのデータ格納に適合する場合、データ格納応答情報に受入優先度情報を含めてネットワーク上に同報する。該優先度値が最大のターゲットにイニシエータからターゲット選択の通知がされ、データ格納が実行される。

Description

本発明は、ネットワーク上に複数のデータ格納装置が接続されたデータ格納システムに関するものであり、特に、集中的な管理サーバを持たずに、接続された複数のデータ格納装置間で自律的にデータ格納先を探索し、データの書き込み、読み出しなどが自律的に行われるようにして、システムの信頼性を一層向上するとともに、複数のデータ格納装置へのデータ格納に際して、使用量の均等化、アクセスの分散化を図り、データ格納装置の管理コストを低減するデータ格納システムに関する。

従来、中央処理装置と記憶装置とをＬＡＮなどのネットワークで接続したコンピュータシステムが多用されている。このコンピュータシステムでは、通信プロトコルとしてネットワークプロトコルを使用して、中央処理装置と記憶装置との間でデータの伝送が行われている。この記憶データの多重化は、専用の多重化装置を用いてデータを複数台の記憶装置にコピーしたり、中央処理装置が複数台の記憶装置に対して個別にデータ書き込み要求を発行したりすることによって実現されていた。

この多重化のデータ管理では、よく知られているように、磁気ディスクなどの複数の記憶装置で、ＲＡＩＤ構成を組んだり、また、記憶装置を多数持ち、ミラーリング等の構成を組んだり、単一の記憶装置内での２重化するなど、記憶媒体に対し、データの多重化をし、データのバックアップを行っていた。これらの手法を採用することによって、システムの信頼性向上を図っている。

また、最近のコンピュータシステムに対しては、処理性能の向上への期待が大きいが、分散していたコンピュータ及び記憶装置を、データセンターに集中化して、コンピュータシステム及び記憶システム構成することにより、システムの運用、保守、管理に要する費用を削減することが図られている。データセンターからの集中管理では、データの最適配置、故障した記憶装置の取り外し、新規記憶装置へのデータの移動などが行われている。

このコンピュータシステムにおける集中管理の仕方について、種々の開発が行われている。例えば、特開平１１−２１２８４４号公報には、ホストからデータを登録する際に、マスタ内にあるデータ管理部が、スレーブに対して自動的にデータの複製を行うコンピュータシステムが開示されている。このコンピュータシステムでは、マスタは、その内部にネットワーク機能部を持ち、離れた場所にあるバックアップ用のスレーブとネットワークで接続され、データ登録時には、マスタ内の光ディスクに登録を行うのにあわせて、マスタ内のデータ管理部が、ホストを介さずにスレーブ内の光ディスクに対し、自動的にバックアップ用のスレーブ内の光ディスクにバックアップ作業を行い、データの２重化が行える。

また、特開２０００−２６７９７９号公報には、中央処理装置と複数台の記憶装置とがＬＡＮを介して接続されたコンピュータシステムが開示され、このシステムでは、ネットワークプロトコルに基づく記憶領域確保要求フレーム、記憶領域確保応答フレーム、データ書き込み要求フレーム、データ書き込み応答フレーム、データ読み出し要求フレーム、データ読み出し応答フレーム、記憶領域解放要求フレーム、および記憶領域解放応答フレームをブロードキャス又はマルチキャストで送受信することにより、記憶装置の多重化および階層化を実現している。

さらに、特開２００１−３４４２６号公報では、各々が複数のミラー論理データ区画に分割される複数の論理ボリュームにデータを記憶するシステムを有するデータ・プロセッサ制御型のデータ記憶システムが開示され、このシステムは、記憶システム問題が発生したとき、動的に再同期化するものであり、複数の論理ボリュームの各々を再同期化する手段と、論理ボリュームの１つから、再同期化されていないデータをアクセスする手段と、アクセスされたデータをミラー区画にコピーする手段とを含んでいる。

また、特開２００１−２８２６２８号公報には、メインセンターのディスクサブシステムのデータを二重化するために、ディスクサブシステムの機能のみでデータの整合性を保証して、リモートセンターのディスクサブシステムにコピーする非同期型のリモートコピーシステムが開示されている。

特開２００２−１８２８６４号公報には、複数台のディスクアレイ制御装置を１つのディスクアレイ制御装置として運用できるようにし、複数のディスクアレイ制御装置間でのデータ移行による性能低下を抑え、台数に比例した性能を出せるディスクアレイシステムが開示されている。

しかし、これらに開示されたコンピュータシステムでは、ホストコンピュータ又はマスタコンピュータが記憶装置のデータ管理を行っているものであるが、近年におけるデータ量の増大に伴って、記憶装置も大型化しているため、複雑なプロトコルによるデータ管理が必要となる。さらに、大型化に際して、既存の設備に記憶装置の付け足しが行われるなど、システムが一層複雑化している。そのための管理者教育が必要となり、煩雑であり、負担となっている。従って、管理維持コストが増大し、コンピュータシステムにおいて分散配置された記憶装置を集中管理することは、限界になっている。

そこで、本発明は、複数のコンピュータと複数のデータ格納装置とがネットワークを介して接続され、分散配置されたデータ格納システムにおいて、データ格納装置自体にデータ管理機能を持たせ、ネットワーク上に同報される情報に基づいて、データ格納装置独自で、データ格納の管理と、他のデータ格納装置との連携管理とを実現することを目的としている。複数のデータ格納装置に対するホスト側からの集中管理を行わなくて済み、しかも、各データ格納装置の使用量の均等化と、さらに、各データ格納装置へのアクセスの分散化とを図りながら、データ格納装置の自律的管理が行われるデータ格納システムを提供する。

以上の課題を解決するため、本発明では、ネットワークに接続され、ホストコンピュータに関わるデータを格納する複数のデータ格納装置を備えたデータ格納システムにおいて、前記複数のデータ格納装置の各々に、自データ格納装置を管理する管理部が夫々備えられ、該管理部には、前記ネットワーク上に伝送されたデータ格納探索情報を受信したとき、該データ格納探索情報による格納データ量が自データ格納装置のデータ格納に適合するかどうかを判断する探索応答部と、前記格納データ量が自データ格納装置のデータ格納に適合する場合に、自データ格納装置に係る受入優先度情報を作成する受入情報処理部とが備えられ、前記管理部は、作成された前記受入優先度情報を前記データ格納探索情報に対するデータ格納応答情報に含めて前記ネットワーク上に伝送し、自律的に前記自データ格納装置に前記データの格納を実行することとし、前記管理部は、前記ネットワークに接続された他データ格納装置にデータ格納を行うために、データ格納探索情報を前記ネットワーク上に同報することができるターゲット探索部を備えるものとした。

そして、前記ターゲット探索部は、前記ネットワーク上に同報した前記データ格納探索情報に応答して伝送された前記他データ格納装置からの前記データ格納応答情報を受信し、該データ格納応答情報に含まれる前記受入優先度情報に基づいて、データ格納するデータ格納装置を選択するようにし、さらに、前記ターゲット探索部は、前記ネットワークに同報した前記データ格納探索情報が戻ってくるまでの時間を計測し、該計測された時間に基づいて前記データ格納応答情報の受信待ち時間を調節するようにした。

前記ターゲット探索部は、受信した前記データ格納応答情報に含まれる前記受入優先度情報に係る優先度値が最も大きいデータ格納装置から選択することとした。

また、前記ターゲット探索部は、前記複数のデータ格納装置に対してデータ格納探索情報を前記ネットワーク上に一斉同報により伝送し、該データ格納探索情報に係るデータ格納に適合する返答をした当該データ格納装置に選択通知情報を送出し、該データ格納装置から該選択通知情報に対してデータ格納に係るデータ適合可否返答情報を受信するものとした。

また、前記受入優先度情報には、前記データ格納探索情報の受信時における前記自データ格納装置の空き容量、或いは、前記データ格納探索情報の受信時における前記自データ格納装置の未使用率を使用するものとした。

前記受入優先度情報の優先度は、前記データ格納探索情報の受信時における前記自データ格納装置の未使用率にアクセス係数が乗算された優先度指数とし、前記アクセス係数は、前回のデータ格納時に自データ格納装置が選択された場合、該アクセス係数の初期値に、１以下の所定値のアクセスパラメータを乗算されて求められ、前回のデータ格納時に自データ格納装置が選択されなかった場合に、前記未使用率を前記アクセスパラメータで除算して求めるようにし、或いは、前回のデータ格納時に自データ格納装置が選択された場合、該アクセス係数の初期値に、１以下の所定値のアクセスパラメータを乗算されて求められ、前回のデータ格納時に自データ格納装置が選択されなかった場合に、値１と前記初期値との差分に前記アクセスパラメータを乗算した値に該初期値を加算して求めるようにした。

また、前記受入情報処理部が、前記データ格納の途中において、前記複数のデータ格納装置の他に該各データ格納装置の空き容量より多きい空き容量を有するデータ格納装置が追加接続されたことを検知したとき、該検知後における受入優先度情報の優先度指数は、前記データ格納探索情報の受信時における未使用量を、前記検知時の自データ格納装置の空き容量で除算した未使用率とするようにした。

また、前記受入情報処理部が、前記データ格納の途中において、前記複数のデータ格納装置の他に該各データ格納装置の空き容量より多きい空き容量を有するデータ格納装置が追加接続されたことを検知したとき、該検知後における受入優先度情報の優先度指数は、自データ格納装置の未使用率に１以下のランダム値が乗算されて求められるようにした。

さらに、前記受入情報処理部が、前記データ格納の途中において、前記複数のデータ格納装置の他に該各データ格納装置の空き容量より多きい空き容量を有するデータ格納装置が追加接続されたことを検知したとき、前記探索応答部は、該検知後における受入優先度情報を含めた前記データ格納応答情報の送信タイミングをランダムに遅らせるようにした。

また、前記ターゲット探索部は、他データ格納装置から受信した前記データ格納応答情報の受入優先度情報に含まれる優先度値に基づいて、該優先度値の大きさに応じた確率を計算し、該確率に従ってランダムに前記他データ格納装置を選択するようにした。

前記管理部は、前記伝送した前記データ格納応答情報に応じた選択通知情報の受信後に、前記データ格納探索情報に含まれる処理要求に基づいて、自データ格納装置に係る書き込み、読み出し又は消去を実行するものとした。

また、本発明のデータ格納システムでは、前記ホストコンピュータから前記ネットワークを介して命令を受信し、管轄する複数のデータ格納装置に対して該命令に関連して前記データ格納探索情報を前記ネットワーク上に一斉同報により伝送するイニシエータを有するものとした。

そして、前記管理部は、前記データ格納探索情報が当該自データ格納装置のデータ格納に適合する場合に、自データ格納装置に係る前記データ格納応答情報を、前記ネットワークを介して前記イニシエータに伝送するようにした。

また、前記イニシエータは、前記データ格納装置から伝送された前記データ格納応答情報に含まれる受入優先度情報に基づいて、当該データ格納装置を選択する選択通知情報を該データ格納装置に送出し、前記データ格納装置の管理部は、前記選択通知情報を受信したとき、前記データ格納探索情報が前記自データ格納装置に係るデータ格納に適合する場合に、前記イニシエータにデータ適合可否返答情報を送出するようにした。

前記管理部は、前記データ適合可否返答情報にデータ適合可返答を含めた場合に、前記データ格納探索情報に係るデータについて、自データ格納装置に係る書き込み、読み出し又は消去を実行し、前記選択通知情報を送出した当該データ格納装置からデータ適合否返答が含まれている場合に、伝送された他のデータ格納応答情報に基づいて、次候補のデータ格納装置を選択し、該他データ格納装置に選択通知情報を送出することとした。

［図１］本発明のデータ格納システムに係るシステム構成を示す図である。
［図２］本発明のデータ格納システムにおいて接続された一ターゲットの機能構成を説明する図である。
［図３］本発明のデータ格納システムにおけるターゲット探索に関する基本的な処理手順を説明するフロー図である。
［図４］格納容量が均一な複数のターゲットにデータを保存する様子を説明するグラフである。
［図５］格納容量が不均一な複数のターゲットにデータを保存する様子を説明するグラフである。
［図６］格納容量が均一な複数のターゲットに、別のターゲットが途中追加された場合におけるデータ保存の様子を説明するグラフである。
［図７］図６に示された場合におけるデータ保存の仕方を改善した具体例を説明するグラフである。
［図８］図６に示された場合におけるデータ保存の仕方を改善した別の具体例を説明するグラフである。
［図９］格納容量が不均一な複数のターゲットに、別のターゲットが途中追加された場合におけるデータ保存の様子を説明するグラフである。
［図１０］図９に示された場合におけるデータ保存の仕方を改善した具体例を説明するグラフである。
［図１１］格納容量が不均一な複数のターゲットに、複数のユーザが同時にデータを保存する様子を説明するグラフである。
［図１２］図１１に示された場合におけるデータ保存の仕方を改善した具体例を説明するグラフである。
［図１３］図３に示された本発明のデータ格納システムにおけるターゲット探索の手順について詳細に説明するフローチャートである。
［図１４］本実施形態のデータ格納システムにおいて、データ保存依頼が発生したときのターゲット探索の手順を説明する実施例のフロー図である。

次に、複数のデータ格納装置がネットワークを介して分散配置され、データ格納装置自体にデータ管理機能を持たせ、ネットワーク上に同報される情報に基づいて、データ格納装置独自で、データ格納の管理と、他のデータ格納装置との連携管理とを実現する本発明のデータ格納システムについて説明する。図１に、そのデータ格納システムの実施形態が示され、複数のコンピュータと複数のデータ格納装置とが連携して動作するコンピュータネットワークシステムの全体構成に関する概要が示されている。

図１において、複数のコンピュータ１−１乃至１−Ｌが、ホスト１乃至Ｌとして示され、これらのホスト１乃至Ｌは、例えば、ＬＡＮ、インターネットなどのネットワーク４に接続され、互いに連携動作できるように接続されている。そして、ネットワーク４には、分散配置された複数のデータ格納装置２−１乃至２−Ｍであるターゲット２−１乃至２−Ｍが接続され、ターゲットの各々には、データ管理部ＣＴ−１乃至ＣＴ−Ｍとデータ記憶部ＳＴ−１乃至ＳＴ−Ｍとが備えられている。さらに、ネットワークプロトコル上でターゲット探索を行って、データ格納装置に対して処理の実行を指示する機能を持った複数のインターフェース装置３−１乃至３−Ｎであるイニシエータ１乃至Ｎが接続されている。この様に、複数のホスト１乃至Ｌ、複数のターゲット１乃至Ｍ、及び複数のイニシエータ１乃至Ｎがネットワーク４に接続され、互いにネットワークプロトコルによって通信することによって、本実施形態のデータ格納システムが形成される。

このデータ格納システムに備えられる複数のターゲット１乃至Ｍの各々における内部構成が、図２に示されている。複数のターゲット１乃至Ｍの構成は、どれも同じであるので、同図においては、代表的に、インターフェース装置２−１であるターゲット１の構成が示される。どのターゲットも、自ターゲットを管理する手段として、探索応答部１１、受入情報処理部１２、生存通知部１３、相互監視部１４、自己監視部１５、そしてターゲット探索部１６を含むデータ管理部ＣＴ−１が備えられ、さらに、データ格納装置としてデータを格納するデータ記憶部ＳＴ−１を備えている。

各ターゲットに備えられたデータ記憶部ＳＴ−１には、ターゲット毎に、同じ大きさ、同じ速さのものが使用されてもよく、或いは、異なる大きさ、異なる速さのものが組み合わされてもよい。また、データ記憶部には、磁気ディスク記録装置、半導体メモリ装置、磁気テープ記録装置などが使用され、ターゲット毎に、同種のもの、或いは、異なる種類のものの組み合わされてもよい。このデータ記憶部は、各ホストからのデータ読み出し又はデータ書き込みの要求に応じることができる。

各ターゲットに備えられた探索応答部１１は、イニシエータの一つが処理を実行できるターゲット探索を行っている場合に、その探索要求に対して該処理を実行できるかどうかを応答する機能を有し、さらに、データ記憶装置がデータ格納システム内で多重化設定されている場合に、他のターゲットが、ネットワーク４を通じて、そのターゲットと多重化する相手を探索しているとき、その探索要求に応答する機能を有している。

受入情報処理部１２は、探索応答部１１が探索要求に応答するとき、その要求がデータ記憶部ＳＴ−１へのデータ保存である場合、自データ記憶部ＳＴ−１の未使用状況又は空き状況を表す受入優先度情報を生成する機能を有し、外部から自ターゲットに探索要求があったとき、この受入優先度情報が探索応答部１１に供給され、その探索要求に添付されるようになっている。この受入優先度情報の生成に関する詳細は、具体例を使用して後述される。

生存通知部１３は、データ記憶装置がデータ格納システム内で多重化設定されている場合、例えば、自ターゲットが他ターゲットとミラー構成の関係にある場合に、他ターゲットからの問合せに対して応答することにより、自ターゲットが、故障無く、正常に動作し、生存していることを、他ターゲットに通知する機能を有している。

相互監視部１４は、データ記憶部ＳＴ−１がデータ格納システム内で多重化設定されている場合、例えば、自ターゲットが他ターゲットとミラー構成の関係にある場合に、他ターゲットの生存通知部１３と連携して問合せを行い、自ターゲットと他ターゲットとの関係が、正常であるかどうかを自律的に監視する機能を有している。

自己監視部１５は、自ターゲットが動作中には、自己監視ルーチンが起動され、例えば、自ターゲットのデータ記憶部に格納されているデータが破壊されているが、データ格納装置としては正常に作動できるような場合など、自ターゲットの動作状態を自律的に監視する機能を有している。

また、ターゲット探索部１６は、ターゲット間におけるデータの移動、複写、読み出し、書き込み、消去などを行うため、その相手方のターゲットを自律的に探索する機能を有する。データ記憶装置がデータ格納システム内で多重化設定されている場合、例えば、自ターゲットと他ターゲットとがミラー構成の関係にある場合などで、他ターゲットが故障などで動作しないとき、ミラー構成の相手方のターゲットを自律的に探索する機能を有し、当該ターゲットのターゲット探索部１６は、相互監視部１４と連携して、ネットワークプロトコルに従って、ネットワーク上に一斉同報によりターゲット探索情報を伝送する。

以上の様に、ネットワーク４に接続されたターゲット１乃至Ｍの各々には、探索応答部１１、受入情報処理部１２、生存通知部１３、相互監視部１４、自己監視部１５、そしてターゲット探索部１６を含むデータ管理部ＣＴ−１と、データ記憶部ＳＴ−１とが備えられている。ターゲット間で、ネットワークプロトコルに従った同報通信が行われ、各ターゲット自身が独自に、同報通信を処理して、例えば、多重化のためのターゲット関係を自律的に維持、回復することができる。

また、ネットワーク４に接続された複数のイニシエータ１乃至Ｎは、ホスト１乃至Ｌからの処理要求に応じて、データ格納装置に対して処理の実行を要求する機能を持ったインターフェース装置であるが、図１に示されるように、イニシエータ１乃至Ｎの各々には、ターゲット探索部ＴＳ−１、…、ＴＳ−Ｎの夫々が備えられる。

これらのターゲット探索部ＴＳ−１、…、ＴＳ−Ｎの夫々は、ホスト１、２、…、Ｌのどれかから、ターゲットへの処理の実行命令、例えば、データ保存要求がネットワーク４を介して伝送されたとき、イニシエータ自身によって、そのデータ保存要求に適合するターゲットをネットワーク上で自律的に探索する機能を有している。

従来のデータ格納システムでは、ホストからは宛先を指定したデータ保存要求があるため、イニシエータは、その宛先に従って、データ保存要求を当該ターゲットに伝送するだけであるが、本実施形態のデータ格納システムにおいては、イニシエータにターゲット探索部ＴＳ−１、…、ＴＳ−Ｎが備えられ、該ターゲット探索部が、ターゲット探索情報をネットワーク上に一斉同報するようにして、ホストによる宛先指定を無くし、イニシエータ自身にホストからの当該要求に適合するターゲットを自律的に探索するようにし、さらに、ターゲット側にも、データ管理部ＣＴ−１とデータ記憶部ＳＴ−１とを備え、データ管理部ＣＴ−１においても、ターゲット探索部１６を備え、ターゲット探索情報をネットワーク上に同報して、他ターゲットを探索できる。そして、他ターゲットとの連携を自律的に管理できるようにして、複数のターゲットの管理を簡素化している。

次に、以上のように構成された本発明のデータ格納システムにおける、自律的なターゲット探索に関する基本的な処理手順について、図３のフロー図を参照して、以下に説明する。図３に示されたフローでは、データ格納システムに接続されたイニシエータ１乃至Ｎ又はターゲット１乃至Ｍのいずれかが、他のターゲットを探索する必要が発生した場合における探索処理の手順が示され、この探索手順が、本発明のデータ格納システムにおける自律的なターゲット探索の基本となっている。そのターゲット探索の要求を行う側を、代表的にユーザ側とし、そして、その探索要求に応答する側をターゲット側としている。

ここで、ユーザが、データの保存先としてのターゲットを探索する必要が発生したとする。このとき、ユーザ側では、ユーザ自身に備えられているターゲット探索部が作動を開始し、ネットワーク上で、ターゲット探索が実行される（ａ）。このターゲット探索部では、ユーザに伝送されたデータ保存要求に応じて、該データをターゲット側に保存する場合に、或いは、ユーザ自身に保存されたデータをターゲット側に保存する場合に、ターゲット探索情報が自動的に作成される。

このターゲット探索情報には、ターゲット探索を意味するコマンド名と、保存すべきデータの大きさを表すＬＵＮ数（Ｌｏｇｉｃａｌ Ｕｎｉｔ Ｎｕｍｂｅｒ）とが含まれ、返答を確認しないことを表す符号ＵＤＰが付与されている。イニシエータＮは、ネットワークプロトコルに従って、作成したターゲット探索情報をネットワーク上に伝送し、一斉同報する。

一方、各ターゲットでは、夫々に備えられた探索応答部により、同報されたターゲット探索情報を受信する。そこで、受入情報処理部は、受信したターゲット探索情報に基づいて、自ターゲットのデータ記憶部におけるデータ格納量から、受信したターゲット探索情報に含まれるＬＵＮ数を参照して、当該データ記憶部の未使用状況又は空き状況を判断する。自データ記憶部にデータを格納できる空き容量があると判断したとき、受入優先度情報を生成する。この受入優先度情報には、詳細に後述される優先度指数が含まれ、この優先度指数は、ユーザ側でターゲットが選択される可能性の度合いを表すものである。

ここで、受入情報処理部で自ターゲットのデータ記憶部に空きがあることを示す受入優先度情報が生成された場合には、当該探索応答部は、ターゲット探索情報に応答するため、応答情報を作成する。この応答情報には、ターゲット探索に対する応答を示すコマンド名と、受入優先度情報と、空き状態を示す残ＬＵＮ数と、伝送元のユーザの通信プロトコルＩＰとが含まれる。この受入優先度情報には、優先度指数の他に、該当ターゲットの様々な属性情報を含めても良い。例えば、メーカ名、データ転送速度、記録密度などの性能情報や、エラー率、温度などの状態を示す値などである。

さらに、この応答情報には、返答を確認しない意味の符号ＵＤＰが付与される。探索応答部は、この作成した応答情報をネットワーク４上に伝送する（ｂ）。このとき、複数のターゲットにおいて、夫々のデータ記憶部に保存すべきデータの大きさに見合った空きがあると判断された場合には、夫々のターゲットから、受入優先度情報を含む応答情報がネットワーク４上に同報伝送される。

次いで、ユーザ側に備えられたターゲット探索部は、ユーザ自身がターゲット探索情報を伝送した時点から、例えば、１０秒間だけ、ネットワーク４経由の応答情報の受信待ちをする。ユーザ側のターゲット探索部は、この受信待ちの間に、自身の通信プロトコルＩＰを含むターゲット側から同報された応答情報を受信し、受信した応答情報に係るターゲットＩＰと受入優先度情報を格納する。このターゲットＩＰに従って、選択可能なデータ保存先としてターゲットを管理する。

ここで、ユーザ側のターゲット探索部における応答情報の受信待ち時間の設定は、ユーザ側がターゲット探索を行う際に、同報されたターゲット探索情報に応答し、各ターゲットがネットワーク上に同報した応答情報により、最適なデータ保存先を選択する上で重要である。待ち時間を短く設定すると、ターゲットからの応答情報が戻らず、データの保存に失敗する。また、その待ち時間が長くなると、データアクセス自体の速さが落ちることになる。ネットワークが何らかの理由により急に輻輳し、ターゲットからの返答が大きく遅れる場合もあり、受信待ち時間の長さは、適切なものとなるように設定される必要がある。

この受信待ち時間の設定は、ユーザ側のターゲット探索部からネットワークに同報されたターゲット探索情報が自ターゲット探索部に戻ってくるまでの時間を基準にして行う。情報がネットワーク上に同報されるときには、通常、自分宛にも送出されるので、これを利用することとし、自分宛のターゲット探索情報が戻ってくるまでの時間を計測する。この計測された時間は、ネットワークの通信状況を反映しているので、この時間を基準にして受信待ち時間を調節するようにする。この受信待ち時間によれば、最適なデータ保存先のターゲットを選択することが可能となる。

次いで、ユーザ側のターゲット探索部では、それらの受信した応答情報に含まれた受入優先度情報に基づいて、データ保存先としてのターゲットを選択する。ターゲット探索部におけるデータ保存先のターゲット選択については後述されるが、これらの受入優先度情報を基に、最適なデータ保存先のターゲットを選択し、選択したターゲットに対して、ネットワークを介して、選択通知情報を伝送する（ｃ）。

なお、ターゲット選択方法は、集まった応答情報の中から、受入優先度情報に従って選択されるが、応答情報の中のその他の属性情報などを用いて選択するようにしても良い。

また、ターゲット探索は、データ保存の要求依頼を受ける度毎に必ずしも行う必要はなく、保存依頼とは関係なく適当な間隔を置いて探索を行い、集まった応答情報をリストとして保存し、データ保存依頼を受けた場合、探索せずにそのリストを参照してターゲットを選択することも可能である。また、一度、応答情報リストを作成した後は、リストと実態の食い違いが表面化した時点で、探索を行うということでも良い。

この選択通知情報には、データ保存先として選択されたことを示すコマンド名と、保存されるべきデータの大きさを表すＬＵＮ数と、領域確保するためのデータ識別情報とが含まれ、応答確認を必要とする符号ＴＣＰが付与されている。ここで、ユーザ側から伝送される選択通知情報に、再度、ＬＵＮ数を含めているのは、ユーザが選択通知情報を当該ターゲットに伝送したときには、当該ターゲットのデータ格納状況が変化していることも有り得る。場合によっては、通知された時点では、データ保存要求に対する空き容量が不足していることも有り得る。そのため、ターゲットにおいて、データ保存に適合するかどうかを判断させる。なお、ターゲット側では、受信したターゲット探索情報は、保存されないので、保存されるべきデータの大きさを、再度知らせる必要がある。

図３では、データ保存先として、ターゲット側の一ターゲットが選択され、ユーザ側から選択通知情報が伝送された場合を示している。そこで、当該ターゲットにある探索応答部は、伝送された選択通知情報をチェックし、当該保存データが、自データ記憶部に適合しているかどうかを判断する。そして、その判断結果による返答情報を作成する。この返答情報には、当該応答に対するＯＫ又はＮＧを示すコマンド名と、ＬＵＮ番号及びＬＵＮ数とを含み、応答確認を要する符号ＴＣＰが付与される。探索応答部が、該返答情報をユーザ側に伝送する（ｄ）。

次いで、ユーザ側のターゲット探索部は、当該ターゲットから伝送された返答情報に「ＯＫ」が記述されている場合には、当該ターゲットのデータ記憶部に当該データ保存が可能であると判断し、データ転送が実行され、当該ターゲットのデータ記憶部に当該データが格納される（ｅ）。

一方、当該ターゲットから伝送された返答情報に「ＮＧ」が記述されている場合には、当該ターゲットのデータ記憶部に当該データを保存することができないことを表しているので、前述した時間内に受信したもののうち、他の応答情報に含まれる受入優先度情報に従って、他のターゲットが選択され、ユーザ側のターゲット探索部によって、ターゲットを最初に選択した場合と同様の手順に従って、データ保存の次候補選択の作業が実行される。

ここで、選択されたターゲットから、次々と「ＮＧ」を含む返答情報が伝送され、応答情報を伝送したターゲットの全てについて、データ保存できなかった場合には、当該データ保存の要求に失敗したものとして、ユーザ側のデータ保存に係る作業を終了する。

以上の様に、本発明によるデータ格納システムでは、データ格納システムに含まれる複数のイニシエータと複数のターゲットとに、夫々個々において、ターゲット探索部が備えられ、ターゲット探索部におけるターゲット探索情報の同報機能と、ターゲット探索部におけるデータ保存の適合性判断機能とを利用することにした。そこで、ホストから、或いは、他のターゲットからのデータ保存が要求されたとき、複数のターゲットから保存先候補が選択されて、データ格納先が自律的に決定される。そのため、従来のデータ格納システムに比べて、管理者による操作の煩わしさが軽減され、管理コストが低減される。

次に、ネットワーク上に同報されたターゲット探索情報に応答して、各ターゲットにおいて作成される受入優先度情報について図４乃至図１２を参照して説明する。

上述したように、図１乃至図３に示されたデータ格納システムでは、複数のデータ格納装置の各々自身を自律化し、さらに、サーバ機能を分散化することにより、自律的にデータ格納先を探索でき、データの読み出しや書き込み、データの自律的移動、データの自律的回復などを実現することができる。しかし、このデータ格納システムのように、複数のデータ格納装置を接続し、データ格納の分散化を利用する場合に、データ格納装置の故障などを考慮すると、格納されるデータをできるだけ分散配置する必要があり、さらに、データ格納装置のアクセススピードを考慮すると、読み込みや書き込みのアクセスをできるだけ分散する必要がある。

そこで、本発明のデータ格納システムにおける各データ格納装置にデータを保存するためのターゲット選択では、各ターゲットからの応答情報に基づいてターゲット選択する際に、応答情報に含められた受入優先度情報を利用することによって、データ格納装置間の使用量均等化とアクセス分散化とを図ることとした。以下では、各ターゲットにおける受入優先度情報の作成について説明される。

図４には、データ格納システムに接続されている各ターゲットのデータ記憶部の格納容量が均一であって、各ターゲット内で作成される受入優先度情報として自データ記憶部の空き容量が含められる場合について、使用量均等化とアクセス分散化を実現した具体例が示されている。図４では、均一な格納容量として、２０ＧＢを例示しており、データ保存される最終的なデータ量は、６０ＧＢとなっている。

図４は、ユーザのターゲット探索部が、受信した応答情報に含まれる受入優先度情報に基づいてターゲットを選択し、データを保存する様子を示している。選択されたターゲットは、例えば、ターゲット１、２、３であり、それらのデータ記憶部ＳＴ−１、ＳＴ−２、ＳＴ−３にデータが保存される様子を示すグラフで示される。なお、このグラフの横軸は、時間を表し、その縦軸は、データ記憶部における使用量を表している。

先ず、ユーザがターゲット探索情報を同報したとき、各ターゲットの探索応答部が、このターゲット探索情報を受信し、該情報に含まれた保存すべきデータのＬＵＮ数と、自データ記憶部の現時点での空き容量とを参照し、自データ記憶部に当該データを保存可能であるかを判断する。このとき、ＬＵＮ数は、例えば、１ＧＢとしている。この時点で、図４に示した具体例では、各データ記憶部は、データが格納されていない空の状態であるので、各ターゲットは、データ保存可能と判断し、自データ記憶部に係る空き容量を受入優先度情報に含め、応答情報を作成して、ネットワーク上に同報する。受入優先度情報に含められる空き容量は、２０ＧＢとなる。

ここで、図３のユーザ側に示されるように、ユーザ側でターゲット選択が行われる。ユーザ側のターゲット探索部は、各応答情報を受信し、受入優先度情報に含められた空き容量に基づいて、データ保存先のターゲットを選択することになるが、この空き容量の大きい順にリストアップし、その上位のものから選択する。

図４の場合では、いずれのターゲットに関する空き容量も同じであるので、ターゲット１乃至３をデータ保存先として選択し、ターゲット１から順に選択通知を行い、選択「ＯＫ」の返答があったものから、例えば、時間１ｔにターゲット１にデータを送付し、１ＧＢのデータをデータ記憶部ＳＴ−１に格納し、時間１ｔとずらした時間２ｔに、ターゲット２にデータを送付し、１ＧＢのデータをデータ記憶部ＳＴ−２に格納し、次いで、更にずらした時間３ｔに、ターゲット３にデータを送付し、１ＧＢのデータをデータ記憶部ＳＴ−３に格納する。

以上の探索手順が繰り返され、ユーザ側から、１ＧＢずつのデータが、ターゲット１、２、３に対して、アクセス時間をずらしながら、順次に格納される。次に繰り返されるターゲット探索においては、ターゲット側で作成される受入優先度情報に含められる空き容量の大きさは、繰り返される毎に、１ＧＢずつ減らされたものとなる。このようにして、ユーザ側から送付された６０ＧＢのデータが、均一格納容量を持つ３ターゲットに、使用量均等化しつつ、アクセス分散化を図りながら、保存されたことになる。

これまでに説明した図４のターゲット探索の具体例では、ターゲットのデータ記憶部が３個ともに均一格納容量を有する場合としたが、図５には、３ターゲットのデータ記憶部がともに不均一な格納容量を有する場合についての具体例が示されている。ここでは、データ記憶部ＳＴ−１が１０ＧＢの格納容量を、データ記憶部ＳＴ−２が２０ＧＢの格納容量を、そして、データ記憶部ＳＴ−３が３０ＧＢの格納容量を夫々有するものとした。

図５に示した場合におけるターゲット探索の手順は、図４に示された場合と同様であるが、図５の場合では、各ターゲットで作成される受入優先度情報として、空き容量の代りに、各データ記憶部における未使用率を採用している。この未使用率は、各ターゲットの受入情報処理部で演算され、応答情報がネットワーク上に同報されるときに含められる。

この受入優先度情報として空き容量が採用されると、未使用率を採用する理由は、データ記憶部がともに不均一な格納容量を有する場合には、格納容量が大きいターゲットにアクセスが集中することになるので、空き容量の代りに、未使用率を受入優先度情報とすることにより、使用量均等化を図れるとともに、アクセスを分散化することができる。

ターゲットの受入情報処理部で作成された受入優先度情報は、ユーザ側のターゲット探索部で受信され、未使用率の大きい順に各ターゲットをリストアップされる。ユーザ側のターゲット探索部は、未使用率の大きい順にターゲット選択する。その結果、データ記憶部の格納容量が大きい程、選択される可能性が高くなる。

図５に示されるように、ユーザ側から１ＧＢずつのデータを１ターゲット毎に保存され、データ保存のためのデータ記憶部に対するアクセス頻度は、データ記憶部の格納容量の大きさに応じて異なり、データ記憶部ＳＴ−２へのアクセス頻度は、データ記憶部ＳＴ−１のアクセス頻度の２倍であり、データ記憶部ＳＴ−２へのアクセス頻度は、データ記憶部ＳＴ−１のアクセス頻度の２倍であり、データ記憶部ＳＴ−３へのアクセス頻度は、データ記憶部ＳＴ−１のアクセス頻度の３倍になっている。そして、その保存されるタイミングは、データ記憶部ＳＴ−１、ＳＴ−２、ＳＴ−３の夫々にデータ保存されるタイミングは、いずれも時間１ｔずつずらされている。

図５に示されるように、探索手順が繰り返され、ユーザ側から、１ＧＢずつのデータが、ターゲット１、２、３に対して、アクセス時間をずらしながら、順次に格納される。繰り返される次のターゲット探索においては、ターゲット側で作成される受入優先度情報に含められる未使用率の大きさは、繰り返される毎に、ターゲット１については、１０％ずつ減らされ、ターゲット２では、５％ずつ減らされ、ターゲット３では、３．３３％ずつ減らされたものとなっている。

例えば、時間４ｔの時点では、データ記憶部ＳＴ−１の未使用率は、９０％となっており、データ記憶部ＳＴ−２のそれは、９５％に、そして、データ記憶部ＳＴ−３のそれは、９６．７％になっているため、ユーザ側のターゲット探索部が、ターゲット選択するときには、ターゲットから送付された受入優先度情報に含まれたこれらの未使用率の大きいほうから順次選択され、ターゲット３が優先的に選択される。

このようにして、ユーザ側から送付された６０ＧＢのデータが、不均一な格納容量を持つ３ターゲットに、１０ＧＢ、２０ＧＢ、３０ＧＢに分けられ、使用量均等化しつつ、アクセス分散化を図りながら、分散保存されたことになる。

上述した図４の場合では、データ格納システムに接続されている各ターゲットのデータ記憶部の格納容量が均一で、各ターゲット内で作成される受入優先度情報として自データ記憶部の空き容量が含められ、使用量均等化とアクセス分散化を実現した具体例が示されている。しかし、データ保存中に、同一の格納容量である空のデータ記憶部を有するターゲットがシステムに新しく増設されることもあり、或いは、システムに接続されたターゲットのデータ記憶部に保存されていたデータが消去されることもある。これらが、ユーザ側からターゲットへのデータ保存に係るターゲット選択の対象になることがある。

この様な場合が、図６に示されている。図６では、最初には、ターゲット１と２が選択され、１ＧＢずつのデータがデータ記憶部ＳＴ−１とＳＴ−２に順次保存されていたが、時間２０ｔにおいて、新しいターゲット３が追加されている。

ここで、ターゲット探索時に作成される受入優先度情報として、空き容量が採用されている場合、ユーザ側のターゲット探索部は、空き容量の大きい順にターゲット選択を行うので、増設されたデータ記憶部ＳＴ−３のデータ保存量が他のデータ記憶部ＳＴ−１、ＳＴ−２のデータ保存量に等しくなる時間３０ｔまで、ターゲット３のみが選択されることになる。

この状態は、格納システム全体の使用量を平均化するために、増設されたターゲットにデータ保存のためのアクセスが集中することであり、全体のデータ保存速度が低下するという問題がある。なお、受入優先度情報として、空き容量の代りに、未使用率を採用しても、各ターゲットのデータ記憶部の格納容量が均一であると、同様の問題が発生する。

そこで、図６に示されるターゲット探索の場合において、受入優先度情報の作成に際して、自ターゲットが選択された場合と、選択されなかった場合とで、受入優先度情報を変更するようにしたターゲット探索の具体例を、図７に示した。この２つの場合で変更される受入優先度情報を作成することによって、増設されたターゲットに対する選択の度合いを緩和するようにし、データ保存時の特定ターゲットへのアクセスが増えることを防止している。

ここで、同報されたターゲット探索情報に応答するため、各ターゲットの受入情報処理部における自ターゲットに係る受入優先度情報の作成について説明する。この受入優先度情報には、優先度指数を含めることとし、ユーザ側のターゲット探索部におけるターゲット選択を、この優先度指数の大きさによって行うようにする。この優先度指数の作成にあたっては、基本的に、前回のアクセスで選択されたかどうかが指数に反映するアクセス係数を導入する。その導入の仕方を、ケース１と２に分けて説明する。
（ケース１）
受入優先度情報には、各ターゲットのデータ記憶部に係る未使用率を採用し、この未使用率から優先度指数を計算する。先ず、ｍ番目のターゲットに係る未使用率を、Ｒ_ｍ、アクセス係数を、Ａ_ｍとしたとき、優先度指数Ｘ_ｍは、
Ｘ_ｍ＝Ａ_ｍ×Ｒ_ｍ （１）
と表すことができる。ここで、データ格納システムが、図１に示される構成である場合には、ｍ＝１、２、…、Ｍである。

そこで、アクセス係数Ａ_ｍを求めるにあたって、アクセスパラメータＫを導入して、前回に自ターゲットがデータ保存先に選択された場合、ｘ回目のアクセス時のアクセス係数をＡ_ｘ−１とすると、
Ａ_ｍ＝Ｋ×Ａ_ｘ−１ （２）
の式に従って、アクセス係数Ａ_ｍを求め、式（１）により今回アクセス時の優先度指数Ｘ_ｍを計算する。ここで、Ａ_ｘ−１は、前回アクセス時のアクセス係数を意味し、１回目のアクセス時では、Ａ_０＝初期値となる。

また、前回に自ターゲットがデータ保存先に選択されなかった場合には、
Ａ_ｍ＝Ａ_ｘ−１／Ｋ （３）
の式に従って、アクセス係数Ａ_ｍを求め、式（１）により今回アクセス時の優先度指数Ｘ_ｍを計算する。

ここで、アクセスパラメータＫについて、０＜Ｋ＜≦１の範囲から選んだ適当な所定値に設定すると、例えば、Ｋ＝０．５にすると、アクセス係数Ａ_ｍの初期値Ａ_０を、Ａ_０＝１とすることができるので、前回のアクセスで選択された場合には、優先度指数Ｘ_ｍは、Ｘ_ｍ＝０．５となり、前回のアクセスで選択されなかった場合には、その優先度指数Ｘ_ｍは、Ｘ_ｍ＝２となる。なお、Ｋ＝１を設定すると、図６に示された場合と同様になる。

この様にして、前回のアクセスで選択された場合と選択されなかった場合とで、優先度指数Ｘ_ｍの大きさを変更することになるので、この優先度指数Ｘ_ｍが応答情報の受入優先度情報に含められて、ユーザ側のターゲット探索部が、データ保存先にターゲットを選択するときに、その選択度合いが変更される。

図７に示されるように、格納システムにターゲット３が、時間２０ｔにおいて増設されたとき、設定されるアクセスパラメータＫの大きさに応じて、初期の段階では、増設されたターゲット３のデータ記憶部ＳＴ−３へのアクセスが続き、データ保存量が増えるが、その後においては、ターゲット１と２へのアクセスも行われるようになり、データ記憶部ＳＴ−１とＳＴ−２へのデータ保存も行われつつ、データ記憶部ＳＴ−３へのデータ保存も行われる。

このように、式（２）及び（３）を用いて、優先度指数Ｘ_ｍを求めることにより、直前のアクセスで選択されたターゲットに対しては、選択の優先度を下げ、直前のアクセスで選択されなかったターゲットに対しては、選択の優先度を上げる効果を創出し、各データ記憶部における使用量を均等化しつつ、アクセスを分散化することができる。
（ケース２）
ケース１では、上述したように、優先度指数Ｘ_ｍを変更する手法として、アクセス係数Ａ_ｍを計算するに際し、前回にターゲット選択されたかどうかに応じて、アクセスパラメータＫをアクセス係数Ａ_ｍに対する乗除を使い分けるようにしていた。このケース１の手法によると、格納システムに接続されたターゲットの数が多い場合に、選択されなかった状態が連続するターゲットで作成される優先度指数Ｘ_ｍは、指数関数に従って増え、非常に大きな値となってしまう。そのため、この大きな値は、ユーザ側での優先度指数の管理上、支障を来たす。

そこで、ケース２では、この優先度指数Ｘ_ｍが、大きな値とならないように、アクセス係数Ａ_ｍの計算方法を工夫した。アクセス係数Ａ_ｍを求めるにあたって、アクセスパラメータＫを導入して、前回に自ターゲットがデータ保存先に選択された場合には、上記の式（２）に従って、アクセス係数Ａ_ｍを求め、式（１）により今回アクセス時の優先度指数Ｘ_ｍを計算する。

また、前回に自ターゲットがデータ保存先に選択されなかった場合には、
Ａ_ｍ＝Ａ_ｘ−１＋Ｋ×（１−Ａ_ｘ−１） （４）
の式に従って、アクセス係数Ａ_ｍを求め、式（１）により今回アクセス時の優先度指数Ｘ_ｍを計算する。ここで、アクセスパラメータＫは、０＜Ｋ＜≦１の範囲から選んだ適当な所定値に設定される。

例えば、Ｋ＝０．５に設定すると、アクセス係数Ａ_ｍの初期値Ａ_０を、Ａ_０＝１にすると、前回のアクセスで選択された場合には、優先度指数Ｘ_ｍは、Ｘ_ｍ＝０．５となり、前回のアクセスで選択されなかった場合には、そのアクセス係数Ａ_ｍは、Ａ_ｍ＝１となる。Ｋ＝０．５に設定した場合には、非選択が続いた場合には、アクセス係数Ａ_ｍが、常に、Ａ_ｍ＝１であって、優先度指数Ｘ_ｍは、未使用率Ｒ_ｍそのものの大きさを維持し続ける。一方、選択された場合には、アクセス係数は、Ａ_ｍ＝０．５となり、次のアクセスでも選択された場合には、アクセス係数は、Ａ_ｍ＝０．２５となり、優先度指数Ｘ_ｍが小さくなる。

この様に、ケース２の場合には、選択された場合に係るアクセス係数Ａ_ｍの大きさが、非選択の場合に係るアクセス係数Ａ_ｍの大きさより一層小さくなるようにして、前回に選択されたターゲットに対しては、一層選択され難い方向のアクセス係数Ａ_ｍが計算される。

ところで、アクセス係数Ａ_ｍに関する初期値Ａ_０について、上述の例では、Ａ_０＝１としたが、この初期値については、０＜Ａ_０≦１の範囲から選択して設定することができる。例えば、Ａ_０＝０．５に設定すると、選択され続ける場合に係るアクセス係数Ａ_ｍは、０．２５、０．１２５、・・・のように指数関数的に小さくなる。一方、非選択が続く場合に係るアクセス係数Ａ_ｍは、０．７５，０．８７５、・・・のように、１に漸次近づく値となる。

アクセス係数の初期値を１より小さい値に設定することにより、なお、Ｋ＝１を設定すると、図６に示された場合と同様になる。

この様にして、前回のアクセスで選択された場合と選択されなかった場合とで、優先度指数Ｘ_ｍの大きさを変更することになるので、この優先度指数Ｘ_ｍが応答情報の受入優先度情報に含められて、ユーザ側のターゲット探索部が、データ保存先にターゲットを選択するときに、その選択度合いが変更される。上述したケース２の例と同様に、選択された場合に係るアクセス係数Ａ_ｍの大きさが、非選択の場合に係るアクセス係数Ａ_ｍの大きさより一層小さくなるように計算され、選択されたターゲットに対しては、一層選択され難くなる。

なお、上述したケース１におけるアクセス係数Ａ_ｍの計算方法による場合には、選択された場合と非選択の場合とで乗除されるアクセスパラメータＫの値が同じであるため、選択されなかった場合の回復が早くなるが、格納システムに接続されたターゲット台数が多い場合には、アクセス係数Ａ_ｍ自体が１より大きな値となる。これに対して、上述のケース２におけるアクセス係数Ａ_ｍの計算方法による場合は、選択されなかった場合の回復が緩やかになるため、接続されたターゲット台数が多いときに、順番に選択されるようにしたい場合に有効である。

これまでに説明したケース１及び２においては、優先度指数Ｘ_ｍを求める際に、各ターゲットのデータ記憶部の未使用率Ｒ_ｍを使用した。図６に示されるように、格納システムに、空のデータ記憶部を有するターゲットが追加された場合に、この追加ターゲットにアクセスが集中することを抑制するために、新しいターゲットが追加されたときに、未使用率Ｒｍの定義を変更するようにしたケース３について、次に説明する。
（ケース３）
既に格納システムに接続されたターゲットをデータ保存先に選択する通常の探索時には、未使用率Ｒ_ｍは、データ記憶部の全容量をＣ_０、そしてｍ番目のデータ記憶部に係るｘ回目のアクセス時における使用量をＣ_ｘとしたとき、
Ｒ_ｍ＝（Ｃ_０−Ｃ_ｘ）／Ｃ_０ （５）
の式に従って求めている。そして、上記式（１）に従って、優先度指数Ｘ_ｍが求められる。ここでは、アクセス係数Ａ_ｍを、例えば、Ａ_ｍ＝１とし、受入優先度情報として、未使用率Ｒ_ｍそのものを使用する。

複数のターゲットが接続された格納システムに、空のデータ記憶部を有するターゲットが追加接続された以降においては、未使用率Ｒ_ｍを、通常使用する式（５）から次に示す式（６）に切換えて求めるようにする。
Ｒ_ｍ＝（Ｃ_０−Ｃ_ｘ）／Ｅ_ｍ （６）
ここで、Ｅ_ｍは、空のデータ記憶部が新しく追加されたときの空き容量である。

空のデータ記憶部を有するターゲットが格納システムに新しく追加されたことは、各ターゲットに同報されるものとし、各ターゲットは、この同報に従って新ターゲットの追加を検知することができる。各ターゲットが新ターゲット追加の検知を受けたとき、各ターゲットの受入情報処理部では、検知時点以降における優先度指数Ｘ_ｍの計算において、上記式（５）から式（６）に切換える。

以上に示されたケース３の手法によって求められた優先度指数Ｘ_ｍに従って、データ保存先のターゲット選択を行う例が、図８に示されている。時間２０ｔまでは、上記式（５）に基づく優先度指数Ｘ_ｍに従って、データ記憶部ＳＴ−１とＳＴ−２が、時間１ｔだけずらされて交互に選択され、そして、１ＧＢずつのデータ保存が行われる。時間２０ｔにおいて、同一容量の空のデータ記憶ＳＴ−３を有するターゲット３がシステムに追加接続されると、ターゲット１乃至３の夫々の受入情報処理部では、上記式（５）から上記式（６）に切換えられて、この追加時点以降における優先度指数Ｘ_ｍが求められる。

この様にして、途中で格納システムに新ターゲットが追加された状態であっても、ユーザ側から送付された６０ＧＢのデータが、同じ格納容量のデータ記憶部を有する３ターゲットに、使用量を均等化しつつ、アクセスの分散化を図りながら保存される。

これまでに説明したケース１乃至３の例は、図４に示されたように、格納システムに接続されたターゲットのデータ記憶部が、いずれも同じ格納容量を有する場合において、途中で新しいターゲットが追加接続されたとしても、アクセス係数の計算を工夫した優先度情報に含める優先度指数とし、使用量を均等化し、アクセスを分散化できるように、データ保存先を選択するようにしていた。

一方、図５に示されるように、各ターゲットのデータ記憶部の格納容量が不均一である場合にも、均一な格納容量を有するターゲットの選択の場合と同様に、図９に示されるように、途中で新しいターゲットが追加されたときには、その追加されたターゲットに、データ保存先としてのアクセスが集中する問題がある。

図９では、ターゲット２のデータ記憶部ＳＴ−２の格納容量が、２０ＧＢであり、ターゲット３のデータ記憶部ＳＴ−３の格納容量が３０ＧＢであり、最初には、ターゲット２と３が選択され、１ＧＢずつのデータがデータ記憶部ＳＴ−２とＳＴ−３に順次保存される。そして、時間３０ｔにおいて、新しいターゲット１が追加されている。

ここで、ターゲット探索時に作成される受入優先度情報として、未使用率が採用されている場合、ユーザ側のターゲット探索部は、未使用率の大きい順にターゲット選択を行うので、増設されたデータ記憶部ＳＴ−１の未使用率が他のデータ記憶部ＳＴ−２、ＳＴ−３の未使用率に等しくなる時間３６ｔまで、ターゲット１のみが選択されることになる。

この状態は、格納システム全体の使用量を平均化するために、増設されたターゲットにデータ保存のためのアクセスが集中することであり、図６の場合と同様に、全体のデータ保存速度が低下するという問題がある。

そこで、図９に示されるターゲット探索の場合において、受入優先度情報の作成に際して、自ターゲットが選択された場合と、選択されなかった場合とで、受入優先度情報に含める優先度指数Ｘ_ｍの求め方を変更するようにしたケース１又は２を採用することができる。その適用例が、図１０に示されている。図１０に示された場合は、新しいターゲット１が追加されるまでは、受入優先度情報としてターゲット記憶部ＳＴ−２、ＳＴ−３に係る空き容量が使用され、新しいターゲット１が追加された時間３０ｔ以降においては、受入優先度情報として、ケース１に示された優先度指数Ｘ_ｍが使用されるように切換えられている。

図１０に示されたデータ保存状態を表すグラフからも分かるように、時間３０ｔまでは、データ記憶部ＳＴ−２とＳＴ−３が、時間１ｔだけずらされて交互に選択され、そして、１ＧＢずつのデータ保存が行われる。時間３０ｔにおいて、格納容量が１０ＧＢである空のデータ記憶部ＳＴ−１を有するターゲット１がシステムに追加接続されると、この追加を検知した時間３０ｔ以降では、ターゲット１乃至３の夫々の受入情報処理部は、ケース１における上記式（２）及び式（３）を使用して、優先度指数Ｘ_ｍを求め、これを応答情報に含める。

この様にして、格納容量が不均一な複数のターゲットが格納システムに接続されているとき、途中で格納システムに新ターゲットが追加された状態であっても、ユーザ側から送付された６０ＧＢのデータが、格納容量が１０ＧＢ、２０ＧＢ、３０ＧＢのデータ記憶部を有する３ターゲットに、使用量を均等化しつつ、アクセスの分散化を図りながら保存される。

以上の説明では、図４乃至図９に示されたいずれの場合も、データ保存をしようとするユーザ側は、一ユーザであった。しかし、図１に示されたデータ格納システムの構成が採用された場合には、データ保存を要求するユーザは、一ユーザに限定されない。そこで、複数のユーザが、データ保存先を選択する場合について、ケース４として、図１１を参照して説明する。
（ケース４）
図１１には、３ユーザが、格納システムに接続されたターゲット１乃至３に同時にアクセスして、データ保存する様子が示されている。ここで、各ユーザによる各ターゲットに対するデータ保存先を選択する手順には、図３に示されるターゲット探索の処理手順が採用される。図３において示されたユーザ側に、３ユーザが位置し、各ユーザが、ターゲット側の複数ターゲットをデータ保存先として探索するときには、ネットワーク上に、ユーザの各々からターゲット探索情報が同報される。以降の各ユーザにおけるターゲット探索に係る処理手順は、図３に関連して述べたユーザ側の処理手順と同様である。

図１１では、データ格納システムに接続されている各ターゲットのデータ記憶部の格納容量が均一であって、各ターゲット内で作成される受入優先度情報として自データ記憶部の未使用率が含められる場合について、使用量均等化とアクセス分散化を実現した具体例が示されている。均一な格納容量として、２０ＧＢを例示しており、データ保存される最終的なデータ量は、６０ＧＢとなっている。

図１１は、３ユーザの各々のターゲット探索部が、受信した応答情報に含まれる受入優先度情報に基づいてターゲットを選択し、データを保存する様子を示している。３ユーザによって選択されたターゲットは、ターゲット１、２、３であり、それらのデータ記憶部ＳＴ−１、ＳＴ−２、ＳＴ−３にデータが、時間１ｔだけずらされて保存される様子を示されている。各ユーザから１ＧＢのデータが送付されるので、データ記憶部ＳＴ−１、ＳＴ−２、ＳＴ−３の夫々に一度に格納されるデータは、３ＧＢずつとなる。

図１１に示された場合には、各ユーザにおいて、データ保存先としてターゲットを選択するとき、受信した応答情報に含まれる未使用率の大きい順にターゲットを選択するので、複数のユーザが同時にアクセスすると、１台のターゲットにデータ保存先の選択が集中して、データ保存が行われる。各ターゲットに係る未使用率が同じ場合でも、応答が速い順に選択されるので、全てのユーザが同一のターゲットを選択する結果となる。

そこで、図１１に示されるように、１台のターゲットにデータ保存先の選択が集中するため、これを抑制するものとして、各ターゲットに係る応答情報に含める受入優先度情報の作成時に、ランダム値をとるアクセス係数Ａ_ｍを導入する。各ターゲットの受入情報処理部では、前出の式（１）に従って、優先度指数Ｘ_ｍが計算されるようにする。ここで、アクセス係数Ａ_ｍについて、１から０．９の範囲にあるランダム値を設定するようにする。

この様に、ターゲット毎に、優先度指数Ｘ_ｍの計算時に、ランダム値のアクセス係数Ａ_ｍを使用することにより、ターゲット間で同じ大きさの未使用率Ｒ_ｍであったとしても、応答情報に含められる優先度指数Ｘ_ｍは、アクセス係数がランダム値になるために異なる値となる。そのため、各ユーザによるターゲット選択が同一ターゲットに集中する可能性を低めることができ、アクセスの分散化を図ることができる。

ここで、複数ユーザが、このランダム値のアクセス係数Ａ_ｍを用いた優先度指数Ｘ_ｍに従って、ターゲット選択する場合の例を、図１２に示した。各ターゲットのデータ記憶部の格納容量は、図１１の場合と同様に、全て２０ＧＢであり、３ユーザからは、一度に各々１ＧＢのデータが送付される。

例えば、時間１ｔ時点において、３ユーザが、個別にターゲット１、２又は３を選択し、データ記憶部ＳＴ−１、ＳＴ−２、ＳＴ−３の夫々に、１ＧＢのデータが保存される。そして、各優先度指数Ｘ_ｍは、ターゲット探索情報の同報に応答するときに、各ターゲットの受入情報処理部の夫々で計算されるので、自データ記憶部の優先度指数Ｘ_ｍは、この時点で他のターゲットのデータ記憶部に係る未使用率Ｒ_ｍと同じであっても、他のターゲットから送出される優先度指数Ｘ_ｍの値と異なる。

そのため、時間２ｔ時点においては、ターゲット２には、どのユーザもアクセスせず、１ユーザが、ターゲット３にアクセスして選択し、データ記憶部ＳＴ−３に１ＧＢのデータを保存し、２ユーザが、ターゲット２に同時にアクセスして選択し、データ記憶部ＳＴ−２に２ＧＢのデータが保存される。

この様に、ユーザが各ターゲットにアクセスする毎に、ランダムに変化する優先度指数が計算されるので、３ユーザ全てが同時に同一ターゲットを選択することを抑制でき、３ユーザの各々が、異なるターゲットを選択することができる。複数のユーザが、複数のターゲットにデータ保存するとき、使用量を均等化しつつ、アクセスの分散化、或いは、平準化を図ることができる。

なお、以上では、ユーザ側でデータ保存先を選択する際に、各ターゲットにおける優先度指数Ｘ_ｍに、自データ記憶部の未使用率が使用されるとき、他のターゲットの未使用率と同じ未使用率となることを回避させる手法として、アクセス係数がランダム値となるように計算したが、アクセスを平準化する手法としては、この手法に限られず、各ターゲットから送出される受入優先度情報の送出タイミングをランダムに遅延させることも有効である。

ユーザ側では、応答情報に含まれる優先度指数Ｘ_ｍが同じである場合には、各ターゲットからの応答が早い順にデータ保存先として選択を行うようになっているので、ターゲットからの受入優先度情報の送出タイミングを、ランダムに意図的に遅延させることにより、優先度指数Ｘ_ｍが同じであっても、ターゲットへのアクセスの分散化とともに、平準化を図ることができる。

以上のように、ユーザ側からデータ保存先のターゲット探索が行われるとき、優先度指数Ｘ_ｍを使用し、その値の求め方を工夫することで、データ格納システムに複数接続されたターゲットにデータ保存する際に、使用量の均等化と、アクセスの分散化を図ることができることを説明した。次に、図３に示されたターゲット探索の手順について、図１３に示されたフローチャートを参照しながら、ターゲット探索時の更なる詳細な処理手順を説明する。

図１３のフローチャートでは、ユーザ側とターゲット側との通信状況の全体が、図３のターゲット探索の処理手順と対応している。図１３の「ユーザ側」と「ターゲット側」は、図３におけるユーザ側とターゲット側に対応し、太い矢印で示された情報の流れａ）乃至ｅ）は、図３中の情報の流れａ）乃至ｅ）に相当する。

図１３のユーザ側フローは、データ保存のためにデータ保存先を選択しようとしているイニシエータ又はターゲットにおける処理手順が表され（ステップＳ１乃至Ｓ８）、ターゲット側フローでは、その上段において、ユーザ側からターゲット探索情報が同報されたときの各ターゲットにおける処理手順が表され（ステップＳ１１乃至Ｓ１７）、その下段には、データ保存先として選択されたターゲットにおける処理手順が表されている（ステップＳ２１乃至Ｓ２６）。

先ず、データ格納システムに接続されたイニシエータ１乃至Ｎ又はターゲット１乃至Ｍのいずれかが、ユーザとなり、該ユーザが、データの保存先としてのターゲットを探索する必要が発生したとする。このとき、ユーザ側では、ユーザ自身に備えられているターゲット探索部が作動を開始し、自動的に作成されたターゲット探索情報をネットワーク上に同報する（ステップＳ１）。このターゲット探索情報には、前述したように、ターゲット探索を意味するコマンド名と、保存すべきデータの容量を表すＬＵＮ数とが含まれ、返答を確認しないことを表す符号ＵＤＰが付与されている。ターゲット探索情報は、ネットワークプロトコルに従って、一斉同報される（フローａ）。

一方、複数のターゲットを含むターゲット側では、夫々に備えられた探索応答部により、同報されたターゲット探索情報を受信する（ステップＳ１１）。そこで、このターゲット探索情報を受信したターゲットにおける受入情報処理部は、受信したターゲット探索情報に含まれるＬＵＮ数により、当該データ記憶部の未使用状況又は空き状況を判断する（ステップＳ１２）。

ここで、各ターゲットにおいて、自データ記憶部にデータを格納できる空き容量があると判断したとき（ステップＳ１２のＹ）、受入情報処理部で、受入優先度情報が生成される（ステップＳ１３）。この受入優先度情報には、前述したように、自データ記憶部の空き容量、未使用率、或いは、ケース１乃至４のいずれかによる優先度指数Ｘ_ｍが含まれる。

ここで、各ターゲットの探索応答部は、受入優先度情報が生成された場合には、受信したターゲット探索情報に応答するため、この受入優先度情報を含む応答情報を作成し、返答を確認しない意味の符号ＵＤＰが付与されたうえで、この応答情報をネットワーク上に伝送する（ステップＳ１４、フローｂ）。そして、送信した受入優先度情報に、ケース１乃至４による優先度指数Ｘ_ｍが含まれている場合には、アクセス係数Ａ_ｍを計算し、保存する（ステップＳ１５）。

一方、ステップＳ１２において、各ターゲットにおいて、自データ記憶部にデータを格納できる空き容量が無いと判断したとき（Ｎ）、受入情報処理部は、受入優先度情報を生成せず、受信したターゲット探索情報には何も返答をしない。この場合は、アクセス係数Ａ_ｍについては更新しない。例えば、アクセス係数の初期値を保存する。

次いで、ステップＳ１４において、各ターゲットから応答情報がネットワーク上に同報されたとき、ユーザは、今回のデータ保存の保存先の候補として同報された応答情報による返答を受信する（ステップＳ２）。ここで、ユーザのターゲット探索部は、ネットワーク上の輻輳などの問題を考慮して、所定時間だけ、例えば、ターゲット探索情報を同報してから１０秒間、各ターゲットからの応答情報が出揃うまで待機する（ステップＳ３）。

そこで、ユーザのターゲット探索部は、出揃った応答情報の中から、データ保存可能を表す受入優先度情報をターゲット毎に読み出し、その値の大きい順にリストアップする。そして、最上位にある受入優先度情報に該当するターゲットを最適なデータ保存先として選択し、当該ターゲットにデータ保存先に選択されたことを示す選択通知情報を送出する（ステップＳ４、フローｃ）。

この選択通知情報を送信すると同時に、当選通知が送出されたターゲットをリストから削除する（ステップＳ５）。この削除により、次の順位にあった選択候補が、次のターゲット選択の最優先候補に繰り上げられる。

この選択通知情報は、選択される対象ターゲットによって受信される（ステップＳ２１）。この情報には、データ保存先として選択されたことを示すコマンド名と、保存されるべきデータの大きさを表すＬＵＮ数と、領域確保するためのデータ識別情報とが含まれ、応答確認を必要とする符号ＴＣＰも付与されている。

そのため、ターゲットの探索応答部では、選択通知情報が当該ターゲットに伝送されたときには、当該ターゲットのデータ格納状況が変化していることも有り得るので、再度、選択通知情報に含められたＬＵＮ数を参照し、当該ターゲットにおいて、データ保存に適合するかどうかを判断する。そして、今回のデータ保存の可否を示す保存可否の返答情報を作成し、ユーザに該返答情報を送信する（ステップＳ２２、フローｄ）。

そこで、ユーザのターゲット探索部は、選択通知を送信したターゲットからの返答情報を受信し（ステップＳ６）、その返答情報に基づいて、当該ターゲットがデータ保存先として適しているかの判断を行う（ステップＳ７）。

次いで、ユーザ側のターゲット探索部は、当該ターゲットから伝送された返答情報に「ＯＫ」が記述されている場合には（ステップＳ７のＹ）、当該ターゲットのデータ記憶部に当該データ保存が可能であると判断し、データ転送が実行され、当該ターゲットのデータ記憶部に当該データが格納される（ステップＳ８、フローｅ）。

一方、当該ターゲットから伝送された返答情報に「ＮＧ」が記述されている場合には（ステップＳ７のＮ）、当該ターゲットのデータ記憶部に当該データを保存することができないことを表しているので、ステップＳ４に戻り、前述した受信リストの最上位にある受入優先度情報に係るターゲットが、次候補のターゲットとして選択される。

ここで、図１３のフローチャートにおいては、省略されているが、図３に示されるように、選択されたターゲットから、次々と「ＮＧ」を含む返答情報が伝送され、応答情報を伝送したターゲットの全てについて、データ保存できなかった場合には、当該データ保存の要求に失敗したものとして、ユーザ側のデータ保存に係る作業を終了する。

ところで、ステップＳ２２において、ユーザに送信した返答情報を送信したとき、今回のデータ保存が可である「ＯＫ」を含めた場合には（ステップＳ２３のＹ）、ステップＳ１２で、ケース１又は２による優先度指数Ｘ_ｍを計算した際の「選択された場合」に相当するので、アクセス係数Ａ_ｍを更新する（ステップＳ２４）。そして、ステップＳ８に示されたユーザから送信された保存データを受信し、自データ記憶部に格納する（ステップＳ２５）。

一方、ステップＳ２３において、ユーザに送信した返答情報に、今回のデータ保存が否である「ＮＧ」を含めた場合には（Ｎ）、ステップＳ１２で、ケース１又は２による優先度指数Ｘ_ｍを計算した際の「選択されなかった場合」に相当するが、既に、ステップＳ１５においてアクセス係数Ａ_ｍが更新されているので、この場は更新せず、今回のデータ保存は実行されない。

なお、ここで、アクセス係数Ａ_ｍを更新するときの計算について説明する。本発明によるターゲット選択方式を用いた場合、選ばれたターゲットには選択通知が届くため、ターゲット側では、自ターゲットが選択されたことを認識できる。一方、選ばれなかったターゲットには、何も選択通知が無いため、ターゲット側では、選ばれなかったことを認識することができない。そこで、「保存可能」を返答した全てのターゲットにおいて、選択されなかった場合としてのアクセス係数Ａ_ｍを計算しておく。実際に選択されたターゲットに関しては、それを考慮して、選択された場合のアクセス係数Ａ_ｍの計算を行う。例えば、ケース１の場合には、ステップＳ１５において、前出の式（３）を用いて、アクセス係数Ａ_ｍを計算し、ステップＳ２４においては、前出の式（２）を考慮して変更した次に示される式（７）を用いて、アクセス係数Ａ_ｍを計算する。
Ａ_ｍ＝Ｋ×Ｋ×Ａ_ｘ−１ （７）

以上の様に、本発明によるデータ格納システムでは、データ格納システムに含まれる複数のイニシエータと複数のターゲットとに、夫々個々において、ターゲット探索部が備えられ、ターゲット探索部におけるターゲット探索情報の同報機能と、ターゲット探索部におけるデータ保存の適合性判断機能とを利用し、この適合性判断機能では、各ターゲットの受入情報処理部において受入優先度情報を自動作成されようにし、この受入優先度情報に基づいてターゲット選択を可能にすることにした。そこで、ホストから、或いは、他のターゲットからのデータ保存が要求されたとき、複数のターゲットから最適な保存先候補が選択されて、データ格納先が自律的に決定される。そのため、従来のデータ格納システムに比べて、管理者による操作の煩わしさが軽減され、管理コストが低減される。そして、各ターゲットのデータ記憶部の使用量を均等化し、さらに、データ保存のためのアクセスの分散化を図ることができる。

なお、これまでに説明された受入優先度情報として、ターゲットのデータ記憶部の未使用率Ｒ_ｍが使用された場合には、未使用率の大きいターゲットがデータ保存先として選択され、さらに、特定の応答の速いターゲットに、アクセスが集中していたが、ユーザ側でこの未使用率Ｒ_ｍに基づいてターゲット選択するときに、各ターゲットから送信された優先度情報の大きさに応じた確率でランダムにターゲットを選択することもできる。

ここで、ｍ番目のターゲットの未使用率をＲ_ｍ、そのｍ番目のターゲットに対するターゲット選択の確率をＰ_ｍとしたとき、確率Ｙ_ｍを、
Ｙ_ｍ＝Ｒ_ｍ／（Ｒ_１＋Ｒ_２＋・・・＋Ｒ_Ｍ） （８）
の式で計算する。式（８）中において、（Ｒ_１＋Ｒ_２＋・・・＋Ｒ_Ｍ）の項は、図１に示されたターゲット１乃至Ｍのデータ記憶部に係る未使用率を示しているが、ユーザ側から送出された今回のターゲット探索情報に応答したターゲットによる未使用率の総和を示している。

ユーザ側のターゲット探索部は、データ保存先としてターゲット選択するとき、この式（８）による確率Ｙ_ｍを、各ターゲットから送信された受入優先度情報に含まれた未使用率Ｒ_ｍに基づいて、応答したターゲット毎に計算する。そこで、ユーザ側のターゲット探索部は、優先度の大きさに応じて計算されたターゲット毎の確率Ｙ_ｍに基づいて、ランダムにターゲットを選択する。この選択の仕方を確率的選択と呼ぶことができる。

このように、ユーザ側のターゲット探索部において、式（８）に従う確率的選択によって、アクセスの平準化を可能にすることもできる。

次に、図１に示された本発明のデータ格納システムにおいて、ホストから該格納システムの複数のターゲットに対してデータ保存の依頼があったときのターゲット探索の処理手順に係る実施例を以下に説明する。

この実施例にかかるターゲット探索の処理手順は、図１４に示されている。図１４のフローチャートは、図１に示されたデータ格納システムにおいて、ホストからターゲットに対してデータ保存の要求が伝送された場合を示し、図３に示されたフローチャートにおけるユーザ側は、図１４では、イニシエータＮに対応し、ターゲット側には、ターゲット１乃至Ｍが対応している。従って、図１４では、ホストＬからデータ保存要求が伝送されてから、ターゲット１乃至Ｍに当該データが保存されるまでの動作手順を示している。

図１４では、先ず、ホストＬからのデータ保存の依頼を、イニシエータＮがネットワーク４を介してイニシエータＮが受信した状態を示している（ａ）。ここで、ホストＬは、ネットワーク上でデータ保存要求の依頼情報を同報し、このときに空いているイニシエータが応答することになるが、図１４では、イニシエータＮがその依頼に応答したものである。この依頼情報には、データ識別情報が含まれている。

そこで、イニシエータＮは、この依頼情報に基づいて、ターゲット探索部ＴＳ−Ｎが作動を開始し、ターゲット探索を実行する（ｂ）。ターゲット探索部ＴＳ−Ｎは、伝送された依頼情報に基づいて、ターゲット探索情報を自動的に作成する。このターゲット探索情報には、ターゲット探索を意味するコマンド名と、保存すべきデータの大きさを表すＬＵＮ数（Ｌｏｇｉｃａｌ Ｕｎｉｔ Ｎｕｍｂｅｒ）とが含まれ、返答を確認しないことを表す符号ＵＤＰが付与されている。イニシエータＮは、ネットワークプロトコルに従って、作成したターゲット探索情報をネットワーク上に伝送し、一斉同報する。

一方、各ターゲットでは、夫々に備えられた探索応答部により、同報されたターゲット探索情報を受信する。そこで、受入情報処理部は、自ターゲットのデータ記憶部におけるデータ格納量から、受信したターゲット情報に含まれるＬＵＮ数を参照して、当該データ記憶部の空き状況を判断し、受入優先度情報を作成する。

ここで、受入優先度情報としては、自ターゲットのデータ記憶部に係る空き容量Ｃ_ｍや未使用率Ｒ_ｍ、或いは、前述したケース１乃至４のいずれかの優先度指数Ｘ_ｍから選ばれるが、データ保存先としてターゲットが選択されるとき、データ記憶部の使用量を均等化しつつ、アクセスの分散化を図る場合には、ケース１乃至４の手法によって計算される優先度指数Ｘｍを受入優先度情報に含めると好適である。
ターゲットのデータ記憶部に空きがある場合には、当該探索応答部は、自ターゲットに係るデータ格納応答を示す応答情報を作成する。この応答情報には、受入優先度情報と、ターゲット探索に対する応答を示すコマンド名と、伝送元のイニシエータＮの通信プロトコルＩＰとが含まれる。この応答情報には、これらの他に、該当ターゲットの様々な属性情報を含めても良い。例えば、メーカ名、データ転送速度、記録密度などの性能情報や、エラー率、温度などの状態を示す値などである。

さらに、返答を確認しない意味の符号ＵＤＰが付与される。探索応答部は、この作成した応答情報をネットワーク４上に伝送する（ｃ）。このとき、複数のターゲットにおいて、夫々のデータ記憶部に保存すべきデータの大きさに見合った空きがある場合には、夫々のターゲットから、上述したのと同様に作成された受入優先度情報を添付した応答情報がネットワーク４上に同報伝送される。

次いで、イニシエータＮのターゲット探索部ＴＳ−Ｎは、ターゲット探索情報を伝送してから、例えば、１０秒間だけ、ネットワーク４経由の応答情報の受信待ちをする。イニシエータＮは、この間に、自身の通信プロトコルＩＰを含む応答情報を受信し、受信した応答情報に係るターゲットＩＰを格納し、受入優先度情報の大きさ順にリストアップする。

そこで、このリストから、それらの優先度の最大値を示すものを、データ保存先のターゲットとして選択する。ターゲット探索部ＴＳ−Ｎは、最大値の優先度を含む応答情報に係るターゲットに対して、ネットワーク４を介して、選択通知情報を伝送する（ｄ）。

なお、ここでのターゲット選択方法は、集まった応答情報の中から、優先度情報の最大値のものがデータ保存先のターゲットとして選択される仕方であるが、また、応答情報の中のその他の属性情報を用いて選択してもよいし、優先度情報から得られる確率的選択の手法が採用されてもよい。

また、ターゲット探索は、イニシエータがデータ保存依頼を受ける度毎に必ずしも行う必要はなく、保存依頼とは関係なく適当な間隔を置いて探索を行い、集まった空き応答情報をリストとして保存し、データ保存依頼を受けた場合、探索せずにそのリストを参照してターゲットを選択することも可能である。

また、一度、応答情報リストを作成した後は、リストと実態の食い違いが表面化した時点で、探索を行うということでも良い。

図１４では、データ保存先として、ターゲット１が選択され、イニシエータＮから選択通知情報が伝送された場合を示している。そこで、ターゲット１の探索応答部１１は、伝送された選択通知情報をチェックし、当該保存データが、データ記憶部ＳＴ−１に適合しているかどうかを判断する。そして、その判断結果による当該応答に対するＯＫ又はＮＧを示すコマンド名と、ＬＵＮ番号及びＬＵＮ数とを含み、応答確認を要する符号ＴＣＰが付与された返答情報が作成され、探索応答部１１が、該返答情報をイニシエータＮに伝送する（ｅ）。

次いで、イニシエータＮのターゲット探索部ＴＳ−Ｎは、ターゲット１から伝送された返答情報に「ＯＫ」が記述されている場合には、ターゲット１のデータ記憶部ＳＴ−１に当該データ保存が可能であると判断し、ホストＬからのデータ転送が実行され、データ記憶部ＳＴ−１に当該データが格納される。

一方、ターゲット１から伝送された返答情報に「ＮＧ」が記述されている場合には、データ記憶部ＳＴ−１に当該データを保存することができないことを表しているので、前述した時間内に受信した空き応答情報のうち、次のタイミングで受信した、図１４の場合であれば、２番目の空き応答情報に係るターゲット２が選択され、イニシエータＮのターゲット探索部ＴＳ−Ｎによって、ターゲット１を選択した場合と同様の手順に従って、データ保存の次候補選択の作業が実行される（ｄ）。ここで、選択されたターゲットから、次々と「ＮＧ」を含む返答情報が伝送され、空き応答情報を伝送したターゲットの全てについて、データ保存できなかった場合には、当該データ保存の依頼要求に失敗したものとして、イニシエータＮのデータ保存作業を終了し、当該ホストＬにデータ保存依頼の失敗通知を行う。

以上に説明した実施例では、ホストからターゲットに対してデータ保存の要求が伝送された場合であるが、図１に示されたデータ格納システムにおいて、ホストからターゲットに格納されているデータの読み出しの要求がなされれば、その要求に応じてデータ読み出しを実行することができる。

ホストＬで処理に必要なデータについて、例えば、ターゲット１のデータ記憶部ＳＴ−１から読み出す必要がある場合には、ホストＬからのデータ読み出しの依頼を、イニシエータＮがネットワーク４を介してイニシエータＮが受信する。ここでは、ホストＬは、ネットワーク上でデータ読み出し要求の依頼情報を同報し、このときに空いているイニシエータが応答することになる。イニシエータＮがその依頼に応答したとする。この依頼情報には、データ識別情報が含まれているので、イニシエータＮがその依頼に応答することができる。

そこで、イニシエータＮは、この依頼情報に基づいて、ターゲット探索部ＴＳ−Ｎが作動を開始し、ターゲット探索を実行する。ターゲット探索部ＴＳ−Ｎは、伝送された依頼情報に基づいて、ターゲット探索情報を自動的に作成する。このターゲット探索情報には、ターゲット探索を意味するコマンドと、読み出されるべき対象データを表すデータ識別情報とが含まれ、返答を確認しない意味を表す符号ＵＤＰが付与されている。イニシエータＮは、作成したターゲット探索情報をネットワーク上に伝送し、同報する。

一方、各ターゲットでは、夫々に備えられた探索応答部により、同報されたターゲット探索情報を受信する。そこで、探索応答部は、ターゲット探索情報に含まれるデータ識別情報に基づいて、読み出し対象データが自ターゲットのデータ記憶部に格納されているかどうかを判断する。

ここで、自ターゲットのデータ記憶部に該当する読み出し対象データが格納されている場合に、例えば、ターゲット１が該当データを格納しているとすると、探索応答部１１は、自ターゲットに係る応答情報を作成する。この応答情報には、ターゲット探索に対する応答を示すコマンドと、ＬＵＮ番号及び伝送元のイニシエータＮの通信プロトコルＩＰとが含まれ、さらに、返答を確認しない意味の符号ＵＤＰが付与される。探索応答部１１は、この作成した応答情報をネットワーク４上に伝送する。

次いで、イニシエータＮのターゲット探索部ＴＳ−Ｎは、ターゲット探索情報を伝送してから、例えば、所定時間だけ、ネットワーク４経由の当該応答情報の受信待ちをする。そこで、イニシエータＮは、自身の通信プロトコルＩＰを含む応答情報を受信したとき、データ読み出し依頼情報を伝送する。

このデータ読み出し依頼情報には、読み出されるべきデータのＬＵＮ数と当該データのデータ識別情報とが含まれ、応答確認を必要とする符号ＴＣＰが付与される。ここで、イニシエータＮから伝送されるデータ読み出し依頼情報に、再度、ＬＵＮ数とデータ識別情報を含めているのは、イニシエータＮが依頼情報を当該ターゲットに伝送したとき以降において、当該ターゲットのデータ格納状況が変化しており、場合によっては、格納されていたデータが書き換えられていることも有り得るので、ターゲット１において、読み出し対象データが存在するかどうかを再度判断させるためである。

ターゲット１の探索応答部１１は、伝送されたデータ読み出し依頼情報をチェックし、当該読み出し対象データが、データ記憶部２６に格納されているかどうかを判断する。そして、その判断結果による当該応答に対するＯＫ又はＮＧを示すコマンド名と、ＬＵＮ番号及びＬＵＮ数とを含み、応答確認を要する符号ＴＣＰが付与された返答情報が作成され、探索応答部１１が、該返答情報をイニシエータＮに伝送する。

次いで、イニシエータＮのターゲット探索部ＴＳ−Ｎは、ターゲット１から伝送された返答情報に「ＯＫ」が記述されている場合には、ターゲット１のデータ記憶部ＳＴ−１から当該データを読み出し可能であると判断し、データ読み出し情報がターゲット１に伝送され、対象データがデータ記憶部ＳＴ−１から読み出される。

ここで、ターゲット１から伝送された返答情報に、「ＮＧ」が記述されている場合には、イニシエータＮは、データ読み出し依頼元であるホストＬに読み出し失敗通知が伝送される。そして、イニシエータ１は、ホストＬによるターゲット１に格納されたデータの読み出し依頼作業を終了する。

また、図１のデータ格納システムによれば、ターゲット１に格納されているデータを、ホストＬからのデータ消去依頼があった場合にデータ消去を実行することができるが、そのデータ消去依頼時の処理手順は、データ読み出し依頼の処理手順と、基本的には同様である。データ読み出し処理の手順におけるコマンド名を「読み出し」から「消去」に置き換えた手順にすればよい。

ターゲット１が、データ消去依頼情報を受信したとき、ターゲット１の探索応答部１１は、当該データ消去依頼情報に含まれるＬＵＮ数とデータ識別情報とをチェックし、これにより消去該当データである場合には、データ記憶部ＳＴ−１に格納されていた該当データを消去する。そして、消去の可否を示す「ＯＫ」又は「ＮＧ」を含む返答情報をイニシエータＮに伝送する。

返答情報を受信したイニシエータＮでは、返答情報に「ＯＫ」が記述されている場合には、ホストＬからのデータ消去依頼作業を終了するが、返答情報に「ＮＧ」が記述されている場合には、イニシエータＮは、ホストＬに対して、データ消去失敗通知を行って、データ消去依頼作業を終了する。

以上の様に、データ格納システムに含まれる複数のイニシエータと複数のターゲットとに、夫々個々に、ターゲット探索部が備えられ、ターゲット探索部におけるターゲット探索情報の同報機能と、ターゲットから送信された受入優先度情報によってターゲット探索部におけるデータ保存の適合性を判断する機能とを利用することにしたので、ホストからのデータ保存依頼があったとき、複数のターゲットから保存先候補が選択され、データ格納先が自律的に決定される。そのため、従来のデータ格納システムに比べて、管理者による操作の煩わしさが軽減され、管理コストが低減され、データ記憶部の使用量を均等化しつつ、アクセスの分散化を図ることができる。

Claims (21)

1. ネットワークに接続され、ホストコンピュータに関わるデータを格納する複数のデータ格納装置を備えたデータ格納システムであって、
   前記複数のデータ格納装置の各々に、自データ格納装置を管理する管理部が夫々備えられ、該管理部は、
   前記ネットワーク上に伝送されたデータ格納探索情報を受信したとき、該データ格納探索情報による格納データ量が自データ格納装置のデータ格納に適合するかどうかを判断する探索応答部と
   前記格納データ量が自データ格納装置のデータ格納に適合する場合に、自データ格納装置に係る受入優先度情報を作成する受入情報処理部と、を有し、
   前記管理部は、作成された前記受入優先度情報を前記データ格納探索情報に対するデータ格納応答情報に含めて前記ネットワーク上に伝送し、自律的に前記自データ格納装置に前記データの格納を実行するデータ格納システム。
2. 前記管理部は、前記ネットワークに接続された他データ格納装置にデータ格納を行うために、データ格納探索情報を前記ネットワーク上に同報することができるターゲット探索部を備える請求項１に記載のデータ格納システム。
3. 前記ターゲット探索部は、前記ネットワーク上に同報した前記データ格納探索情報に応答して伝送された前記他データ格納装置からの前記データ格納応答情報を受信し、該データ格納応答情報に含まれる前記受入優先度情報に基づいて、データ格納するデータ格納装置を選択する請求項２に記載のデータ格納システム。
4. 前記ターゲット探索部は、前記ネットワークに同報した前記データ格納探索情報が戻ってくるまでの時間を計測し、該計測された時間に基づいて前記データ格納応答情報の受信待ち時間を調節する請求項３に記載のデータ格納システム。
5. 前記ターゲット探索部は、受信した前記データ格納応答情報に含まれる前記受入優先度情報に係る優先度値が最も大きいデータ格納装置から選択する請求項３又は４に記載のデータ格納システム。
6. 前記ターゲット探索部は、前記複数のデータ格納装置に対してデータ格納探索情報を前記ネットワーク上に一斉同報により伝送し、該データ格納探索情報に係るデータ格納に適合する返答をした当該データ格納装置に選択通知情報を送出し、該データ格納装置から該選択通知情報に対してデータ格納に係るデータ適合可否返答情報を受信する請求項５に記載のデータ格納システム。
7. 前記受入優先度情報は、前記データ格納探索情報の受信時における前記自データ格納装置の空き容量である請求項６に記載のデータ格納システム。
8. 前記受入優先度情報は、前記データ格納探索情報の受信時における前記自データ格納装置の未使用率である請求項６に記載のデータ格納装置。
9. 前記受入優先度情報の優先度は、前記データ格納探索情報の受信時における前記自データ格納装置の未使用率にアクセス係数が乗算された優先度指数である請求項８に記載のデータ格納装置。
10. 前記アクセス係数は、前回のデータ格納時に自データ格納装置が選択された場合、該アクセス係数の初期値に、１以下の所定値のアクセスパラメータを乗算されて求められ、前回のデータ格納時に自データ格納装置が選択されなかった場合に、前記未使用率を前記アクセスパラメータで除算して求められる請求項９に記載のデータ格納システム。
11. 前記アクセス係数は、前回のデータ格納時に自データ格納装置が選択された場合、該アクセス係数の初期値に、１以下の所定値のアクセスパラメータを乗算されて求められ、前回のデータ格納時に自データ格納装置が選択されなかった場合に、値１と前記初期値との差分に前記アクセスパラメータを乗算した値に該初期値を加算して求められる請求項９に記載のデータ格納システム。
12. 前記受入情報処理部が、前記データ格納の途中において、前記複数のデータ格納装置の他に該各データ格納装置の空き容量より多きい空き容量を有するデータ格納装置が追加接続されたことを検知したとき、該検知後における受入優先度情報の優先度指数は、前記データ格納探索情報の受信時における未使用量を、前記検知時の自データ格納装置の空き容量で除算した未使用率とされる請求項９に記載のデータ格納システム。
13. 前記受入情報処理部が、前記データ格納の途中において、前記複数のデータ格納装置の他に該各データ格納装置の空き容量より多きい空き容量を有するデータ格納装置が追加接続されたことを検知したとき、該検知後における受入優先度情報の優先度指数は、自データ格納装置の未使用率に１以下のランダム値が乗算されて求められる請求項８に記載のデータ格納システム。
14. 前記受入情報処理部が、前記データ格納の途中において、前記複数のデータ格納装置の他に該各データ格納装置の空き容量より多きい空き容量を有するデータ格納装置が追加接続されたことを検知したとき、前記探索応答部は、該検知後における受入優先度情報を含めた前記データ格納応答情報の送信タイミングをランダムに遅らせる請求項８に記載のデータ格納システム。
15. 前記ターゲット探索部は、他データ格納装置から受信した前記データ格納応答情報の受入優先度情報に含まれる優先度値に基づいて、該優先度値の大きさに応じた確率を計算し、該確率に従ってランダムに前記他データ格納装置を選択する請求項３に記載のデータ格納システム。
16. 前記管理部は、前記伝送した前記データ格納応答情報に応じた選択通知情報の受信後に、前記データ格納探索情報に含まれる処理要求に基づいて、自データ格納装置に係る書き込み、読み出し又は消去を実行する請求項１乃至４のいずれか一項に記載のデータ格納システム。
17. 前記ホストコンピュータから前記ネットワークを介して命令を受信し、管轄する複数のデータ格納装置に対して該命令に関連して前記データ格納探索情報を前記ネットワーク上に一斉同報により伝送するイニシエータを有する請求項１乃至１５のいずれか一項に記載のデータ格納システム。
18. 前記管理部は、前記データ格納探索情報が当該自データ格納装置のデータ格納に適合する場合に、自データ格納装置に係る前記データ格納応答情報を、前記ネットワークを介して前記イニシエータに伝送する請求項１７に記載のデータ格納システム。
19. 前記イニシエータは、前記データ格納装置から伝送された前記データ格納応答情報に含まれる受入優先度情報に基づいて、当該データ格納装置を選択する選択通知情報を該データ格納装置に送出し、
    前記データ格納装置の管理部は、前記選択通知情報を受信したとき、前記データ格納探索情報が前記自データ格納装置に係るデータ格納に適合する場合に、前記イニシエータにデータ適合可否返答情報を送出する請求項１９に記載のデータ格納システム。
20. 前記管理部は、前記データ適合可否返答情報にデータ適合可返答を含めた場合に、前記データ格納探索情報に係るデータについて、自データ格納装置に係る書き込み、読み出し又は消去を実行する請求項１９に記載のデータ格納システム。
21. 前記イニシエータは、前記選択通知情報を送出した当該データ格納装置からデータ適合否返答が含まれている場合に、伝送された他のデータ格納応答情報に基づいて、次候補のデータ格納装置を選択し、該他データ格納装置に選択通知情報を送出する請求項１９に記載のデータ格納システム。

Images