JP7450726B2 - ハイブリッドクラウド非同期データ同期 - Google Patents

Description

本開示はデータストレージの技術分野に関する。

ハイブリッドクラウドシステムにわたってデータを同期させることは、クラウドの様々なストレージサービスにわたるバックアップ及びデータ移動を可能にすることなどにより費用管理の柔軟性をストレージユーザへ提供する最近の概念である。例えば、ハイブリッドクラウドシステムでは、多種多様なサービス提供事業体のネットワークストレージ提供がデータを格納及び同期するために採用され得る。しかし、これらのシステムのそれぞれにおいて使用されるソフトウェアスタックが様々な事業体により構成され且つ制御されそして、複製に固有な変更は様々なシステムのすべてにおいて望まれるようには必ずしも機能するとはかぎらないので、データを複数の異種システムにわたって同期させることは困難である。

いくつかの実装形態は、ネットワーク上で複数のネットワークストレージシステムと通信することが可能な演算装置を含む。例えば、第１ネットワークストレージシステムは第１ストレージプロトコルを採用する第１サービスプロバイダにより提供されてもよく、第２ネットワークストレージシステムは第１ストレージプロトコルと異なる第２ストレージプロトコルを採用する第２サービスプロバイダにより提供されてもよい。演算装置は、第１オブジェクトを受信してもよく、第１オブジェクトに関して、第１ネットワークストレージシステムの第１リモートバケット及び第２ネットワークストレージシステムの第２リモートバケットを決定してもよい。演算装置は、第１オブジェクトを第１リモートバケット及び第２リモートバケットへ複製するために待ち行列へ同期イベントを追加してもよい。待ち行列から同期イベントを消費することに基づいて、演算装置は第１オブジェクトのデータ及びメタデータを第１リモートバケット及び第２リモートバケットへ複製する。

詳細説明は添付図面を参照して記載される。図面において、参照番号の最も左側の桁は参照番号が初めて出現する図を識別する。異なる図内の同じ参照番号の使用は、同様又は同一アイテム又は特徴を示している。

図１は、いくつかの実装形態に係るデータ及びメタデータを複数の異種のストレージシステムへ格納することができるシステムのアーキテクチャ例を示す。

図２は、いくつかの実装形態に係るシステムにおいてｓｙｎｃ－ｔｏを行うための論理構成例を示すブロック図である。

図３は、いくつかの実装形態に係るシステムにおいてｓｙｎｃ－ｆｒｏｍ同期の実行例を示すブロック図である。

図４は、いくつかの実装形態に係る擬似コードの例を示す図である。

図５は、いくつかの実装形態に係る擬似コードの例を示す図である。

図６は、いくつかの実装形態によるローカルシステムオブジェクトバージョンのデータ構造例を示す。

図７は、いくつかの実装形態に係るネットワークストレージシステムオブジェクトバージョンのデータ構造例を示す。

図８は、いくつかの実装形態に係る複製のバージョン管理例を示す。

図９は、いくつかの実装形態に係る複製のバージョン管理例を示す。

図１０は、いくつかの実装形態に係るフィルタをバケット複製へ適用する例を示す。

図１１は、いくつかの実装形態に係るフィルタをバケット複製へ適用する例を示す。

図１２は、いくつかの実装形態に係るｓｙｎｃ－ｔｏ処理の流れ図を示す。

図１３は、いくつかの実装形態に係るｓｙｎｃ－ｆｒｏｍ処理の流れ図を示す。

図１４は、本明細書において説明されるシステムの機能性の少なくともいくつかを実装するのに使用されてもよいサービス演算装置（群）の選択されたコンポーネント例を示す。

本明細書におけるいくつかの実装形態は、データを同期させるための（データをバックアップする、データを複製する、データを検索する等々のための）ターゲットとして複数の異なるやり方で構成されたネットワークストレージシステムを活用することができるハイブリッドクラウドインフラストラクチャを含む分散コンピュータシステムのための技術及び配置へ向けられる。例えば、複数の異種ネットワークストレージシステムは、複数の異なるクラウドストレージプロバイダにより提供されるより広範なサービスをユーザが活用することを可能にする。本明細書における実装は、データセキュリティを保証するためにユーザデータをシームレスに同期し、且つ同期グループ化制御を提供するための機構を使用することにより、異種の複数のストレージサービスプロバイダにわたるデータ同期ターゲットを支援してもよい。したがって、本明細書における実装は、商用利用可能なクラウドストレージ、専有のクラウドストレージ、私的広域ネットワークストレージ、ローカルストレージ、及びそれらの任意の組み合せを含み得る異種ネットワークベースのストレージシステムにわたるユーザデータの１対多の同期を支援してもよい。

加えて、１対多の異種同期を実現するために、いくつかの例は、データを複製するためのＳ３ベースのプロトコルＡＰＩなどの、基本的な複製又はデータコピー機構を提供し得る１又は複数のオープンスタンダードアプリケーションプログラムインターフェース（ＡＰＩ：ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｇｒａｍｍｉｎｇ ｉｎｔｅｒｆａｃｅ）の使用を含む。それにもかかわらず、従来のＡＰＩはコピーの効率と精度とに相違を残す。例えば、従来のＡＰＩは、いくつかのデータ管理目的のための正確なデータコピーに加えて望ましい、正確なメタデータコピーを提供することができないかもしれない。基本的なデータコピーを使用することに加えて、本明細書におけるいくつかの例はまた、関連データと共にメタデータの精度を維持するための正確なメタデータ更新を保証するのを助けるためにデータバージョン管理及び特定イベント起動を採用する。加えて、本明細書における実装は、リモート側のバケット又は他のコンテナのための通知機構を含んでもよい。さらに、いくつかのケースでは、解決能力は、効率的且つ正確なデータ管理の解決策を提供するためにすべてのシステム上の異なるサービスを活用することにより拡張されてもよい。

本明細書におけるいくつかの例は、複数のリモートパブリッククラウドストレージシステム及び／又は私的クラウドストレージシステムと通信している専有ローカルストレージシステムを含むハイブリッドアーキテクチャを支援してもよい。さらに、本明細書における実装は、様々な異なるプロバイダからの様々な異なるソフトウェアスタックを実行するハイブリッドクラウドシステムにわたる多方向の複製を行うための新規な取り組みを提供してもよい。

同じソフトウェアスタックを実行しない複数の異なるプロバイダシステムにわたっての同期を可能にするために、本明細書におけるいくつかの例は、すべての通信がオープン標準ＡＰＩを使用することにより実行されることを保証する。加えて、情報の交換はオープン標準メッセージングプロトコルに固執してもよい。さらに、いくつかのケースでは、すべてのタイプのネットワークストレージシステムがすべての様々なタイプのシステムのための識別子管理の連合を許容するとは限らないので、複数の異なるシステムは別々に認証され得てもよい。加えて、本明細書におけるいくつかの例は、リモートシステムへの更新の量又は頻度を限定してもよく、最適化性能のためのコンテンツの転送を低減してもよい。

加えて、異なるネットワークストレージシステムは、可変応答時間データを受信、格納、及び／又は提供するために可変応答時間により、異なる速度で動作してもよい。したがって、本明細書におけるいくつかの例は、例えば複数の共同ネットワークドメインにアクセスするための柔軟な制御をシステム管理者に提供するため等のように、様々なネットワークストレージシステムにわたり通信を制御するための極めて細かい粒度の許可レベル又は役割を提供してもよい。

論述目的のために、いくつかの実装例は、データ及びメタデータの格納を管理するための様々なストレージプロバイダからの複数の異なるネットワークストレージシステムと通信する１又は複数のサービス演算装置の環境において説明される。しかし、本明細書における実装は、提供される特定例へ制限されることはなく、本明細書の開示に照らし当業者に明らかになるように、他のタイプのコンピューティングシステムアーキテクチャ、他のタイプのストレージ環境、他のストレージプロバイダ、他のタイプのクライアント構成、他のタイプのデータ等々へ拡張されてもよい。

図１は、いくつかの実装形態に係るデータ及びメタデータを複数の異種のストレージシステムに格納することができるシステム１００のアーキテクチャ例を示す。システム１００は、１又は複数のネットワーク１０６などを介して、例えば第１プロバイダネットワークストレージシステム１０４（１）、第２プロバイダネットワークストレージシステム１０４（２）、第３プロバイダネットワークストレージシステム１０４（３）、第４プロバイダネットワークストレージシステム１０４（４）等の複数のネットワークストレージシステムと通信することができる又は接続されている複数のサービス演算装置１０２を含む。上述のように、ネットワークストレージシステムの各プロバイダは、他のプロバイダと無関係な異なる事業体であってもよい。商用ネットワークストレージプロバイダの例としては、いくつかを挙げるとＡＭＡＺＯＮ ＷＥＢ ＳＥＲＶＩＣＥＳ、ＭＩＣＲＯＳＯＦＴ ＡＺＵＲＥ、ＧＯＯＧＬＥ ＣＬＯＵＤ、ＩＢＭ ＣＬＯＵＤ、及びＯＲＡＣＬＥ ＣＬＯＵＤを含む。ネットワークストレージシステム１０４（１）～１０４（４）は、いくつかの例では「クラウドストレージ」又は「クラウドベースストレージ」と表されてもよく、いくつかのケースではサービス演算装置１０２で利用可能であるローカルストレージよりもギガバイトあたりの低コストのストレージ解決策を可能にしてもよい。加えて、いくつかの例では、ストレージプロバイダは、代替的に特定ユーザ、事業体等だけにアクセスを提供するためなどの、サービス演算装置１０２に関連付けられた私的又は専有のストレージプロバイダであってもよい。専有のシステムの例は、ＨＩＴＡＣＨＩ ＣＯＮＴＥＮＴ ＰＬＡＴＦＯＲＭの構成を含んでもよい。

さらに、サービス演算装置１０２はネットワーク（群）１０６上で１又は複数のユーザコンピューティングデバイス１０８及び１又は複数の管理者コンピューティングデバイス１１０と通信することができる。ユーザデバイス１０８及び管理者デバイス１１０は、以下に追加的に論述されるような様々なタイプのコンピューティングデバイスのうちの任意のものであってもよい。

いくつかの例では、サービス演算装置１０２は任意数の方法で具現化され得る１又は複数のサーバを含んでもよい。例えば、サービス演算装置１０２のプログラム、他の機能コンポーネント、及びデータストレージの少なくとも一部は、例えばサーバのクラスタ、サーバファーム、データセンター、クラウドでホストされるコンピューティングサービス等の少なくとも１つのサーバ上に実装されてもよいが、他のコンピュータアーキテクチャは追加的に又は代替的に使用されてもよい。サービス演算装置１０２の追加詳細は図１４に関して以下に論述される。

１又は複数のネットワーク１０６は、インターネットなどの広域ネットワーク；イントラネットなどのローカルエリアネットワーク（ＬＡＮ）；セルラーネットワーク、Ｗｉ－Ｆｉなどのローカル無線ネットワーク、及び／又はＢＬＵＥＴＯＯＴＨ（登録商標）などの短距離無線通信などの無線ネットワーク；ファイバチャネル、光ファイバ、イーサーネット、又は任意の他のこのようなネットワーク、直接有線接続、又はそれらの任意の組み合せ含む有線ネットワークを含む任意の好適なネットワークを含んでもよい。したがって、１又は複数のネットワーク１０６は有線及び／又は無線通信技術の両方を含んでもよい。このような通信に使用されるコンポーネントはネットワークのタイプ、選択される環境、又はその両方に少なくとも部分的に依存してもよい。このようなネットワーク上で通信するためのプロトコルは周知であり、本明細書では詳細には論述されない。したがって、サービス演算装置１０２、ネットワークストレージシステム１０４、ユーザデバイス１０８、及び管理デバイス１１０は、有線又は無線接続及びそれらの組み合わせを使用して、１又は複数のネットワーク１０６上で通信することができる。

加えて、サービス演算装置１０２は１又は複数のネットワーク１０７上で互いに通信できてもよい。いくつかのケースでは、１又は複数のネットワーク１０７はＬＡＮ、私設ネットワークなどであってもよく、一方、他のケースでは１又は複数のネットワーク１０７は上に論述されたネットワーク１０６のうちの任意のものを含んでもよい。

サービス演算装置１０２はユーザデバイス１１０を介してユーザ１１２へストレージ及びデータ管理サービスをそれぞれ提供するように構成されてもよい。いくつかの非限定的例として、ユーザ１１２は、いくつかの例では非常に大量のデータのストレージを含み得る、ビジネス、企業、組織、政府事業体、学術事業体などのための機能を行うユーザを含んでもよい。それにもかかわらず、本明細書における実装は、システム１００並びに本明細書において説明される他のシステム及び配置のためのいかなる特定使用又は応用へに限定されない。

各ユーザデバイス１０８は、デスクトップ、ラップトップ、タブレットコンピューティングデバイス、モバイルデバイス、スマートフォン、ウェアラブルデバイス、端末、及び／又はネットワーク上でデータを送信することができる任意の他のタイプのコンピューティングデバイスなどの任意の好適なタイプのコンピューティングデバイスであってもよい。ユーザ１１２は、例えばそれぞれのユーザアカウント、ユーザログイン証明書などを介してユーザデバイスに関連付けられてもよい。さらに、ユーザデバイス１０８は、１又は複数のネットワーク１０６を介し、別個のネットワークを介し、又は任意の他の好適なタイプの通信接続を介して、サービス演算装置（群）１０２と通信できるようにしてもよい。無数の他の変形形態が本明細書の開示の恩恵を有する当業者に明らかになる。

さらに、各ユーザデバイス１０８は、例えばネットワークストレージシステム１０４上の格納のためにユーザデータを送信するため、及び／又はデータ命令１１８などを介してネットワークストレージシステム１０４から格納されたデータを受信するための、例えばサービス演算装置（群）１０２上で実行可能なユーザウェブアプリケーション１１６との通信のための、ユーザデバイス１０８上で実行し得るユーザアプリケーション１１４のそれぞれのインスタンスを含んでもよい。いくつかのケースでは、アプリケーション１１４はブラウザを含んでもよく、又はブラウザを介して動作してもよい一方で、他のケースではアプリケーション１１４は、１又は複数のネットワーク１０６上でユーザウェブアプリケーション１１６との通信を可能にする通信機能を有する任意の他のタイプのアプリケーションを含んでもよい。

システム１００のいくつかの例では、ユーザ１１２は、それぞれのユーザデバイス１０８が通信するサービス演算装置（群）１０２へデータを格納し、そこからデータを受信してもよい。したがって、サービス演算装置１０２はユーザ１１２及びそれぞれのユーザデバイス１０８のためのストレージを提供してもよい。定常状態動作中、サービス演算装置１０２と定期的に通信するユーザ１０８が存在してもよい。

加えて、管理者デバイス１１０は、デスクトップ、ラップトップ、タブレットコンピューティングデバイス、モバイルデバイス、スマートフォン、ウェアラブルデバイス、端末、及び／又はネットワーク上でデータを送信することができる任意の他のタイプのコンピューティングデバイスなどの任意の好適なタイプのコンピューティングデバイスであってよい。管理者１２０は、それぞれのアドミニストレータアカウント、アドミニストレータログイン証明書などを介するなどしてアドミニストレータデバイス１１０へ関連付けられてもよい。さらに、管理者デバイス１１０は、１又は複数のネットワーク１０６、１０７を介し、別個のネットワークを介し、又は任意の他の好適なタイプの通信接続を介してサービス演算装置（群）１０２と通信できるようにしてもよい。

さらに、各管理者デバイス１１０は、例えばシステム１００を管理するための管理命令を送信するため、例えばネットワークストレージシステム１０４上の格納のために管理データを送信するため及び／又は例えば管理命令１２６などを介して格納された管理データをネットワークストレージシステム１０４から受信するための、例えばサービス演算装置（群）１０２上で実行可能である管理ウェブアプリケーション１２４との通信のための管理者デバイス１１０上で実行し得る管理者アプリケーション１２２のそれぞれのインスタンスを含んでもよい。いくつかのケースでは、管理者アプリケーション１２２はブラウザを含んでもよく又はブラウザを介して動作してもよい、一方、他のケースでは管理者アプリケーション１２２は、１又は複数のネットワーク１０６上の管理ウェブアプリケーション１２４との通信を可能にする通信機能を有する任意の他のタイプのアプリケーションを含んでもよい。

サービス演算装置１０２は、例えばネットワークストレージシステム１０４へ格納されるデータを送信するための及びネットワークストレージシステム１０４又はローカルストレージ１３２から要求データを取り出すためのゲートウエイをネットワークストレージシステム１０４へ提供し得るストレージプログラム１３０を実行してもよい。加えて、ストレージプログラム１３０は、例えばデータ保存期間、データ保護レベル、データ複製等を管理するためのシステム１００により格納されるデータを管理してもよい。

サービス演算装置１０２は、例えばパーティションなどの複数のメタデータＤＢ部に分割されてもよく、複数のサービス演算装置１０２にわたって分散されてもよいメタデータデータベース（ＤＢ）１３４をさらに含んでもよい。例えば、メタデータＤＢ１３４は、ネットワークストレージシステム１０４に格納されるオブジェクトデータ１３６及びローカルストレージ１３２に格納されるローカルオブジェクトデータ１３７を管理するために使用されてもよい。メタデータＤＢ１３４は、個々のオブジェクトに関する情報、個々のオブジェクトにアクセスする方法、オブジェクトのストレージ保護レベル、ストレージ保存期間、オブジェクト所有者情報、オブジェクトサイズ、オブジェクトタイプなどオブジェクトデータ１３６に関する無数のメタデータを含んでもよい。さらに、メタデータゲートウエイプログラム１３８は、新しいオブジェクトが格納された、古いオブジェクトが消去された、オブジェクトが移動されたなどするとメタデータＤＢ１３４を更新するため、及びデータにアクセスするための要求に応答するためなどのメタデータＤＢ１３４を管理し且つ維持してもよい。

加えて、サービス演算装置（群）１０２は、ネットワークストレージシステム１０４（１）～１０４（４）とのデータ同期を行うために実行され得るポリシーエンジンプログラム１４０を含んでもよい。いくつかのケースでは、ポリシーエンジンプログラム１４０はストレージプログラム１３０の１モジュールであってもよく、他のケースではポリシーエンジンプログラム１４０は別個のプログラムであってもよい。いくつかのケースでは、ポリシーエンジンプログラム１４０は、オブジェクトデータ１３６をネットワークストレージシステム１０４と同期させるためのメッセージ待ち行列化プログラム１４２と協働して動作してもよく。本明細書におけるいくつかの例において使用されてもよいメッセージ待ち行列化プログラムの例は、ＲＡＢＢＩＴＭＱ及びＡＣＴＩＶＥＭＱなどのオーブンソースマルチプロトコルメッセージブローカーを含む。

さらに、ポリシーエンジンプログラム１４０は、オブジェクトデータ１３６を非同期でネットワークストレージシステム１０４と同期させてもよい。例えば、ユーザへ報告する前に、一定の格納操作をネットワークストレージシステム１０４に対し行って、これらの操作を完了するのではなく、ストレージプログラム１３０は、オブジェクトデータをローカルオブジェクトデータ１３７としてローカルストレージ１３２へ格納してもよく、オブジェクトのメタデータをローカルメタデータデータベース１３２へ追加してもよく、そして完了メッセージなどにより要求デバイスへ返答してもよい。ストレージプログラム１３０はその後、１又は複数のデータ同期操作１４４を介して、データを１又は複数のネットワークストレージシステム１０４とその後非同期に同期させるために、データを待ち行列へ送信してもよい。

本明細書における実装は、同期処理を、データをネットワークストレージシステム１０４へ同期させるｓｙｎｃ－ｔｏ手順と、データをネットワークストレージシステム１０４から戻して同期させるｓｙｎｃ－ｆｒｏｍ手順とを含む２つの部分へ分割してもよい。このアプローチは、オペレータ（例えばユーザ１１２及び／又は管理者１２０）が複製のレベルを制御するために多量の柔軟性を提供すること及びループの形成を防止する能力をさらに提供することなどのいくつかの利点を有する。例えば、システムは、例えばセットアップの時点にオペレータがシステム不安定性を防止するために追加介入を必要とする無限複製を引き起こすループを形成するリング又はトポロジーを生成していないことを確認するためのシステム内の検証を提供することができる。

システム１００では、データ同期の速度が管理者により管理されることができることを保証するために、サービス管理のレート制御制限及び／又は品質などの行為を適用するように構成されるポリシーエンジンプログラム１４０により誘導されるイベント駆動型同期が採用される。さらに、いくつかの例は、データのバージョン管理を採用してもよく、例えば、各更新は、ネットワークストレージシステム１０４上のオブジェクトデータ１３６の順序付けを提供するのをその後助け得る異なるバージョンを生じ得る。例えば、ネットワークストレージシステム１０４のそれぞれは、異なるバージョン管理方式を利用してもよいので、プロバイダツールを使用してオブジェクトデータ１３６の順序付けを維持することは難しいかもしれない。しかし、ポリシーエンジンプログラム１４０を介してバージョン管理能力を提供することは、オペレータ／アプリケーションがいくつかのバージョンを手動で消去することにより又は正しいコンテンツを有するバージョンをその後更新することによりのいずれかによりバージョンの競合を比較して消去する能力を可能にする。

さらに、いくつかの例では、データオブジェクトの各バージョンのユーザメタデータはオブジェクトデータと共に同期されてもよく、このことは、さらなるデータ管理のために望ましい任意の固有情報をアプリケーションが追加することを可能にする。一例として、この特徴はデータを生成したアプリケーション／オペレータの動作記録の維持を可能にする。例えば、メタデータタグは、オリジナルのソース又はオリジナルのアプリケーションに関する情報だけでなくアプリケーションがデータを生成した時刻も含んでもよく、これらの情報は、そのオブジェクトのメタデータに含まれるタイムスタンプに基づいて、バージョンの再順序付けを可能にするためにデータバージョンと共に使用される。

加えて、本明細書におけるいくつかの例は、例えば、オペレータにより規定される格納されたデータのサブセットだけの同期を可能にするために適用され得るバケットレベルフィルタのセットアップを可能にする。本明細書における同期はまた、フィルタ無しで同様に機能し得るが、フィルタは、複製されるデータの量を制限する追加レベルの柔軟性を提供してもよい。

いくつかのケースでは、サービス演算装置１０２は、例えばサイト１５０における１又は複数のグループ、クラスタ、システムなどへ配置されてもよい。例えば、複数のサイト１５０は、データ複製、災害復旧保護などを提供するなどのために地理的に互いに分散されてもよい。さらに、いくつかのケースでは、複数の異なるサイト１５０におけるサービス演算装置１０２は、例えば複数のサイト１５０の連合を提供するように互いに安全に通信するように構成されてもよい。

図２は、いくつかの実装形態に係るシステム１００でｓｙｎｃ－ｔｏを実行するための論理構成例を示すブロック図である。いくつかの例では、システム１００は、本明細書の開示の利点を有する当業者にとって明白になるように、上に論述されたシステム１００又は様々な他の可能なコンピューティングシステムアーキテクチャのうちの任意のものに対応してもよい。システム１００は、分散オブジェクト格納を可能にしてもよく、ユーザ及び管理者のためのフロントエンドとしてウェブアプリケーションの使用を含んでもよい。いくつかのケースでは、システム１００は、ユーザ及び／又は管理者により生成され得るバケットにネットワークストレージシステム１０４上のオブジェクトを格納してもよい。システム１００は、ローカルシステム及びクラウドシステムにわたって分散された資源を使用することによりデータの複雑な管理及び格納を可能にしてもよい。

本明細書における実装では、同期処理は、例えばｓｙｎｃ－ｔｏネットワークストレージシステム１０４及びｓｙｎｃ－ｆｒｏｍネットワークストレージシステム１０４の２つの工程を使用することにより実行されてもよい。例えば、データ同期処理を方向に基づき２段階処理へ分割することは、本明細書における実装が多重同期及び多重ターゲット支援を提供することを可能にし、さらに、それらの工程の組み合わせを構成する能力を提供してもよい。さらに、本明細書におけるいくつかの実装は、複数のネットワークストレージシステム１０４への多重ターゲット複製のための２段階非同期イベント駆動型実行フレームワークを含む。

図２は、ネットワークストレージシステム１０４へデータを同期させる例の要素を示し、ｓｙｎｃ－ｔｏ方向の一部としてのデータ複製の流れの概要を含む。本明細書におけるいくつかの例は、独立コンピュートエンジンとして機能することができるコンテナ内で走るマイクロサービスを実行することに少なくとも部分的に基づいてもよい。例えば、ストレージプログラム１３０、メタデータゲートウエイプログラム１３８及び／又はポリシーエンジンプログラム１４０の各サービスの複数のインスタンス又はコンテナは、例えば、サービス演算装置１０２のうちの複数のサービス演算装置における分散クラスタにわたって実行されてもよい。複数のマイクロサービスインスタンスは、異種アプリケーションワークロードに起因して必要とされ得るような、分散クラスタ又は他の分散コンピューティングアーキテクチャにわたるポリシーエンジンのスケーリングを可能にしてもよい。

一例として、データをアプリケーションから取り込む際（例えばユーザウェブアプリケーション１１６又は管理ウェブアプリケーション１２４を介し）、２つの同期行為がリアルタイムで行われる。例えば、ユーザは、ユーザウェブアプリケーション１１６を介してオブジェクトＡ２０２を保存したと仮定する。最初に、２０４で示されるように、オブジェクトＡに関して、アプリケーションにより入力されるオブジェクト名、バージョンＩＤ、タイムスタンプ、オブジェクトサイズ、ユーザメタデータタグ、アクセス制御リストなどの情報を含むオブジェクトメタデータ２０６が生成されてもよい。加えて、また、２０８で示されるように同期的に、オブジェクトＡのオブジェクトデータ２１０は、ローカルオブジェクトデータ１３７の一部としてローカルストレージ１３２へ格納され、そして格納されたオブジェクトロケータＩＤは、オブジェクトメタデータ２０６の一部として他のシステムメタデータへ追加される。メタデータゲートウエイプログラム１３８はオブジェクトＡメタデータ２０６をメタデータデータベース１３４（図２に図示せず）へ追加してもよい。これらの２つの行動はリアルタイムで行われるので、ストレージプログラム１３０は、オブジェクトＡ２０２の格納が正常に完了したことを示す応答をユーザへ戻してもよい。

２１２で示すように、メタデータゲートウエイプログラム１３８はその後、オブジェクトＡ２０２についての同期イベントを非同期的に生成してもよく、この同期イベントを、上に論述されたメッセージ待ち行列化プログラム１４２により提供されるメッセージ待ち行列化フレームワーク２１６の１又は複数の待ち行列２１４へ追加してもよい。例えば、本明細書におけるマイクロサービスの残りと同様に、待ち行列（群）２１４は他のサービスとは独立してスケールアップ又はスケールダウンされてもよい。例えば、メッセージ待ち行列化フレームワーク２１６により提供されるように、待ち行列（群）２１４は状態維持可能及び恒久性の両方であってもよい。例えば、１つの待ち行列２１４が破損されれば又はサービス停止になれば、待ち行列２１４のイベントの１又は複数の構成可能な冗長コピーが、障害時の回復のために少なくとも１つの他の待ち行列２１４にわたって維持されてもよい。イベント駆動型メッセージング待ち行列フレームワーク２１６は、同期を行うためのクエリによりメタデータゲートウエイプログラム１３８が溢れないように、メタデータ格納及び検索を行うために実行されるメタデータゲートウエイプログラム１３８上のトラフィックを低減する。さらに、待ち行列化フレームワークはまた、システムの他のすべての同期イベントからミラーリングイベントを分離するのを助け得る。

ポリシーエンジンプログラム１４０は、２２０で示すように、各同期ターゲットについて待ち行列２１４からイベントをポーリング及び消費するためにバックグラウンドで動作する一組のコンテナサービスを提供するために実行されてもよい。例えば、ポリシーエンジンプログラム１４０は、待ち行列２１４から同期イベントを非同期に引き出してもよく、待ち行列２１４のイベントをネットワークストレージシステム１０４のそれぞれの１つずつへ同期させてもよい。例えば、各同期イベントは、その中にネットワークストレージシステム１０４のうちの特定な１つに基づく別個のターゲット及び名前付けられたバケットを有してもよい。したがって、以下に追加的に論述される技術に基いて、ポリシーエンジンプログラム１４０は、２２２で示されるように、オブジェクトＡ、いくつかのケースではオブジェクトＡのメタデータを含むと、意図された同期ターゲットとを同期させてもよい。同期ターゲットはこの例ではネットワークストレージシステム１０４（１）～１０４（４）を含んでもよく、ネットワークストレージシステム１０４（１）～１０４（４）のそれぞれは、異なるストレージ構成、プロトコルなどを有する異なるサービスプロバイダにより提供され得る。

いくつかの実装では、発信される同期イベント（すなわちｓｙｎｃ－ｔｏイベント）は１又は複数の発信待ち行列へ分離されてもよく、ネットワークストレージシステム１０４からデータを取り出すための同期イベント（すなわちｓｙｎｃ－ｆｒｏｍイベント）は１又は複数のｓｙｎｃ－ｆｒｏｍ待ち行列へ分離されてもよい。別個の待ち行列２１４を使用することによる方向による通信の分離は、ネットワークストレージシステム１０４の１つが誤動作していれば又はネットワーク接続性問題があればネットワークストレージシステム１０４のうちの正しく機能している他のネットワークストレージシステム１０４への通信は影響されないことを保証するのを助けてもよい。ネットワークストレージシステム１０４が複数の異なるサービスプロバイダにより提供されるとすれば、システム１００は、一時的に停止しているネットワークストレージシステム１０４又は完全に使用不能になっているネットワークストレージシステム１０４との間で容易に区別することができないかもしれない。また、例えば資源又は割り当て制限、メインテナンス中のサーバ、又はシステム内のバグに起因したエラー又は障害の正確な理由を提供するために特定のネットワークストレージシステム１０４に依存することは実用的ではないかもしれない。

加えて、本明細書におけるいくつかの例はカテゴリに基づいて同期イベントを分離することを含んでもよい。例えば、待ち行列化フレームワーク２１６は、別個のリモートターゲットドメイン毎に別個の待ち行列２１４の組（例えば、ｓｙｎｃ－ｔｏ待ち行列及びｓｙｎｃ－ｆｒｏｍは待ち行列）を含んでもよく、例えば、待ち行列化フレームワーク２１６は、第１プロバイダネットワークストレージシステム（群）１０４（１）についての第１の待ち行列２１４の組、第２プロバイダネットワークストレージシステム（群）１０４（２）についての第２の待ち行列２１４の組、第３プロバイダネットワークストレージシステム（群）１０４（３）についての第３の待ち行列２１４の組等を含んでもよい。したがって、ポリシーエンジンプログラム１４０はサービス演算装置（群）１０２からネットワークストレージシステム１０４へのデータの１対多同期を実行してもよい。

さらに、いくつかのケースでは、ポリシーエンジンプログラム１４０は１又は複数のフィルタを待ち行列２１４の同期イベントへ適用してもよい。例えば、ポリシーエンジンプログラムは、オブジェクトに関連付けられたオブジェクトタグに基づいて、一定のオブジェクトをフィルタすることを含み得るユーザ指定ルールを適用するためにユーザにより構成可能であってもよい。これらのユーザ指定ルールに基づいて、ポリシーエンジンプログラム１４０は、待ち行列２１４のうちの１つから同期イベントを消費し、同期イベントのターゲットであるデータとともに含まれるメタデータタグを比較し、そしてメタデータタグが指定ルールに適合する場合には、同期イベントは実行されず、ポリシーエンジンプログラム１４０により廃棄されてもよい。

さらに、いくつかの例では、ポリシーエンジンプログラム１４０が待ち行列２１４のうちの１つから同期イベントを消費すると、ポリシーエンジンプログラムはまず、どのネットワークストレージシステム１０４のどのバケットが同期イベントのターゲットであるかを決定してもよい。ターゲットバケット及びターゲットネットワークストレージシステム（群）１０４を決定した後、ポリシーエンジンプログラム１４０は、ターゲットネットワークストレージシステム（群）１０４へのアクセス呼び出しを行うための認証証明書にアクセスしてもよい。認証に続いて、ポリシーエンジンプログラム１４０は、ターゲットネットワークストレージシステム（群）１０４に対応するプロバイダ固有プロトコル及び手順を使用することなどによりターゲットネットワークストレージシステム（群）１０４にアクセスしてもよい。

図３はいくつかの実装形態に係るシステム１００のｓｙｎｃ－ｆｒｏｍ同期の実行例を示すブロック図である。例えば、同期イベントは、様々なサービスプロバイダによりホストされるネットワークストレージシステム１０４からデータを検索すること含んでもよい。ｓｙｎｃ－ｆｒｏｍを構成することは、リモートに格納されたデータの、例えばローカルストレージ１３２及び／又はユーザデバイス１０８又はアドミニストレータデバイス１１０などのクライアントデバイスなどのシステム１００への復元を許容し得る。システム１００では、ポリシーエンジンプログラム１４０は、待ち行列化フレームワーク２１６からイベントを引き出すことにより同期イベントを処理する一組のコンシューマとして行動してもよい。ｓｙｎｃ－ｆｒｏｍイベントとｓｙｎｃ－ｔｏイベントとを別個に処理するための１つの理由は、同じタイプの消費サービスをネットワークストレージシステム１０４の他のものへ提示しないネットワークストレージシステム１０４を支援することである。例えば、図示の例における第２プロバイダネットワークストレージシステム（群）１０４（２）などのいくつかのネットワークストレージシステム１０４は、第２プロバイダネットワークストレージシステム（群）１０４（２）のバケットへ入れられるとオブジェクトがデータバケットへの変更の通知を提供し得る一組のプロデューサを含み得るように、発行者機構３０２を提示してもよい。

他のネットワークストレージシステム１０４は、新しい変更が待ち行列へ送信され且つ待ち行列を介して照会され得る待ち行列型通知システムを提供してもよい。さらに、他のネットワークストレージシステム１０４は、完全に異なる方法を取り込んでもよく、また、いかなる通知又はイベント消費機構も提示しなくてもよい。したがって、本明細書における実装は、イベント通知が無いかどうか又は異なる通知モデルのために採用された様々な異なる技術のうちの任意の技術があるかどうかにかかわらず、任意のタイプのネットワークストレージシステム１０４から複製し戻すことができる。

いくつかの例では、システムは、ミラーバック操作を行うためのネットワークストレージシステム１０４の新しいデータを能動的に探してもよい。したがって、例えば、ネットワークストレージシステムのうちのいくつかにより提供される待ち行列に直接アクセスすることにより、ネットワークストレージシステム１０４のデータは、本明細書におけるｓｙｎｃ－ｆｒｏｍ機能を使用することにより又は代替的に、待ち行列化フレームワーク２１６により提供されるローカルｓｙｎｃ－ｆｒｏｍ待ち行列へ追加され得るメッセージを受信することに基づいて、ネットワークストレージシステム１０４のデータは、ローカルシステム１００へ複製されて戻されてもよい。

待ち行列化フレームワーク２１６の待ち行列２１４から同期イベントを引き出すポリシーエンジンプログラム１４０と共に上に論述されたイベント駆動型待ち行列化及び通知消費フレームワークは、この例においても同様に使用されてもよい。例えば、リモート差異通知は、内部待ち行列化フレームワーク２１６を使用することにより抽出されてもよい。ネットワークストレージシステム１０４がそれ自身の待ち行列化フレームワークを提供する場合、本明細書におけるいくつかの実装は、追加ローカル待ち行列化フレームワーク２１６により追加される可能性があるいかなる追加待ち時間も導入しないようにするために、サービスプロバイダにより提供される待ち行列化フレームワークを直接使用してもよい。リモートシステムが通知サービスを提供しない場合、本明細書におけるいくつかの例は、データバケットからリモートユーザデータエントリを列挙し、このエントリをプロデューサ待ち行列に生成するスレッドを使用してもよい。

図示の例では、第１のプロバイダネットワークストレージシステム（群）１０４（１）はＡＭＡＺＯＮ ＷＥＢ ＳＥＲＶＩＣＥＳ（ＡＷＳ）であり、このプロバイダは待ち行列３０６を提供するＡＷＳ待ち行列化サービス３０４（「単純待ち行列化サービス」（ＳＱＳ）とも呼ばれる）を含むと仮定する。例えば、メッセージを失うことなく又は各コンポーネントが常に利用可能である必要無くシステムの分散されたコンポーネント間でデータを移動するためなどのコンピュータ間で移動する際にメッセージを格納するために、待ち行列３０６は、スケーリング可能なホスト待ち行列であってもよい。加えて、図示の例では、第４プロバイダネットワークストレージシステム（群）１０４（４）は、アプリケーション等の間の信頼性のある且つ永続的なメッセージングを提供し得る待ち行列３１０を提供するＷＩＮＤＯＷＳ（登録商標） ＡＺＵＲＥ Ｑｕｅｕｉｎｇ Ｓｅｒｖｉｃｅ （ＷＡＱＳ）３０８を提供するＭＩＣＲＯＳＯＦＴ ＷＩＮＤＯＷＳ ＡＺＵＲＥシステムであると仮定する。例えば、待ち行列３１０はアプリケーション間又はサービス間でメッセージを転送するために使用されてもよい。

上述のように、本明細書の例では、ポリシーエンジンプログラム１４０は、ネットワークストレージシステム１０４（１）、１０４（４）からデータを直接検索するために待ち行列３０６、３１０をそれぞれ使用してもよい。例えば、３１２に示されるように、ポリシーエンジンプログラム１４０は待ち行列３０６、３１０から直接ポーリング及び消費してもよい。他方で、第２プロバイダネットワークストレージシステム１０４（２）に関し、このシステムが発行者機構３０２を使用するので、３１４に示すように、ポリシーエンジンプログラム１４０は、３１６に示されるように、ポリシーエンジンプログラム１４２が発行者機構３０２により発行された発行データを消費することを可能にするｓｙｎｃ－ｆｒｏｍイベントを含む待ち行列化フレームワーク２１６の待ち行列２１４からポーリング及び消費する。同様に、第３プロバイダネットワークストレージシステム（群）１０４（３）に関して、このストレージシステムはメタデータを含み、３１８に示されるように、ポリシーエンジンプログラム１４０が、３２０に示すようにメタデータを読み出すために待ち行列化フレームワーク２１６の待ち行列２１４からポーリングし消費すると仮定する。

ポリシーエンジン１４０により受信されたデータは、３２４に示されるようにローカルストレージ１３２に格納されてもよい。さらに、メタデータゲートウエイプログラム１３８は、３２６に示されるように、メタデータデータベースのメタデータを更新してもよい。したがって、ｓｙｎｃ－ｆｒｏｍ操作は、１対１又は多対１であってもよい。ネットワークストレージシステム１０４のうちの１つのネットワークストレージシステム１０４のバケットへ追加される任意のオブジェクトは本明細書における実装に従って検索され得る。

図４はいくつかの実装形態に係る擬似コード４００の例を示す図である。本明細書におけるいくつかの例では、システム１００の管理者はポリシーエンジンプログラム１４０の複製設定及び他の同期設定を構成することができてもよい。例えば、管理者は、データがローカルシステム１００から離れる前に適切なセキュリティ処置がプロキシーホストにおける組織により適用され得るように、通信がプロキシーホストを介して流れることを許容することにより、リモート複製ターゲット及びセットアップセキュリティ処置を有効又は無効にしてもよい。

この例では、４０２に示されるように、管理者はまた、データが複製される送付先を制限してもよい。プロバイダタイプなどの情報は、通知がその送付先をターゲットとし得るかどうか又は特定プロバイダのネットワークストレージシステム１０４が追加メタデータ要求などを許容するかどうかなどの各サービスプロバイダにより可能である通信のタイプを理解することができるように格納されてもよい。

図５はいくつかの実装形態に係る擬似コード５００の例を示す図である。この例では、ポリシーエンジンプログラム１４０の同期ルールは、システムへデータを取り込むアプリケーションユーザにより確立されてもよい。例えば、５０２に示されるように、バケット及びサービスプロバイダの名前がｓｙｎｃ－ｆｒｏｍに関して指定されてもよい。さらに、５０４に示されるように、バケット及びサービスプロバイダの名前は、ｓｙｎｃ－ｔｏ関しても指定されてもよい。

図６はいくつかの実装形態に係るローカルシステムオブジェクトバージョンのデータ構造６００の例を示す。例えば、オブジェクトバージョン管理は、送信元ターゲットと送信先ターゲットとの競合を管理することを助けるためにｓｙｎｃ－ｔｏ又はｓｙｎｃ－ｆｒｏｍ複製ルールを定義する一方でユーザにより有効にされてもよい。オブジェクトバージョン管理の他の利点は、単一インスタンス化のための支援を有効にすること又はコンテンツが変更されない場合にデータのコピーを制限することを含んでもよい。この例では、データ構造６００はバージョンＩＤ６０２、コンテンツハッシュ６０４、オブジェクトのサイズ６０６、オブジェクトの複製状態６０８、及び更新時刻６１０を含むローカルシステムオブジェクトバージョンの情報を含む。例えば、コンテンツハッシュ６０４は、各オブジェクトのオブジェクトデータ及び／又はメタデータの少なくとも一部に対して任意の好適な低衝突ハッシュ関数を使用することにより決定されてもよい。ハッシュ関数の例は、ＳＨＡ－１、ＳＨＡ－２５６、ＭＤ５、ＦａｒｍＨａｓｈ Ｆｉｎｇｅｒｐｒｉｎｔ６４等を含む。

具体的使用ケースの一例として、ユーザは、同じバケット内へ格納するために、既に取り込まれたオブジェクトの同一コピーを生成してもよい。これは、オブジェクトが、例えばリモートシステム上のより冷たいストレージ（）への階層化のターゲットにならないように、オブジェクトが依然として熱いということを示すためにネットワークストレージシステム１０４のオブジェクトメタデータを変更するために行われてもよい。同一コピーを生成するための別の理由は、例えば１つのオブジェクトバージョンに対し読み出し／書き込み許可を生成し、オブジェクトの別のバージョンに対して読み出し専用許可を生成するために、異なるアクセス許可を支援するためであってもよい。したがって、バージョン管理は、ユーザに対してシステムがより精細なレベルの制御を提供することを可能にしてもよい。オブジェクトバージョンは、例えば、各バージョンは１又は複数のネットワークストレージシステム１０４へ複製されるように、伝播されてもよい。いくつかのケースでは、同一コンテンツがネットワークストレージシステムへ既に複製されたということを本明細書におけるシステムが判定すれば、リモートシステムがこれを許容すれば、再び同じコンテンツを再伝搬する代わりに、同じコンテンツを含むオリジナルのバージョンに対するリンクが生成されてもよい。

図７はいくつかの実装形態に係るネットワークストレージシステムオブジェクトバージョンのデータ構造７００の例を示す。この例では、データ構造はバージョンＩＤ７０２、メタデータタグ７０４、コンテンツサイズ７０６、ストレージサイズ７０８、及びタイムスタンプ７１０を含む。上述のように、リモートシステムオブジェクトバージョンデータ構造７００は、データ構造が関係するリモートネットワークストレージシステム１０４にオブジェクトの他のバージョンが存在するかどうかを判断するために使用されてもよい。さらに、以下に論述されるように、メタデータタグ７０４は実際には、特定オブジェクトのコンテンツハッシュに対応してもよい。

いくつかの例では、データ構造６００、７００のバージョンＩＤ６０２、７０２は異なるシステム（すなわち、ローカルシステム及びリモートシステム）によりそれぞれ制御されるので、特定オブジェクトバージョンのバージョンＩＤ６０２、７０２は一致しないかもしれない。しかし、両システム上のコンテンツハッシュ及びサイズは、同じバージョンが維持されれば、同じになるだろう。加えて、本明細書におけるいくつかの例は、オブジェクトバージョンのメタデータタグを生成することを支援するＳ３プロトコルを使用してもよい。例えば、すべてのネットワークストレージシステム１０４がコンテンツハッシュの検索に対応しているとは限らないので、コンテンツハッシュは、リモートに格納されたオブジェクトへメタデータタグとして追加され得、メタデータタグはさらに、特定オブジェクトの同じバージョンが既に存在するかどうかを判定する場合に比較のために使用され得る。ローカルシステムのオブジェクトバージョンの状態は、再複製が発生するのを防止するために維持されてもよい。適合するコンテンツハッシュ及びサイズを有するオブジェクトの新バージョンがローカルストレージシステム内に既に存在し、例えば図６の６１２に示されるように、ユーザにより再取り込みされていれば、オブジェクトの同じバージョンをネットワークストレージシステムへ２回以上複製する代わりに、図７の７１２に示されるようにオブジェクトへのリンクだけが複製され、コンテンツは再送信されない。例えば、リンクはネットワークストレージシステムに既に存在するコンテンツのバージョンを指してもよい。

図８はいくつかの実装形態に係る複製をバージョン管理する例８００を示す。例えば、第１ユーザデバイス１０８（１）の第１ユーザ１１２（１）がオブジェクトを生成し、上に論述されたシステム１００へ格納するためにユーザアプリケーション１１４（１）を使用すると仮定する。さらに、第１ユーザ１１２（１）はローカルストレージ１３２のローカルアプリケーションバケット８０２と、１又は複数のネットワークストレージシステム１０４のユーザのオブジェクトの複製を受信するためのリモートアプリケーションバケット８０４とを構成すると仮定する。

ポリシーエンジンプログラム１４０がオブジェクトをローカルアプリケーションバケット８０２からリモートアプリケーションバケット８０４へ複製する場合、ポリシーエンジンプログラム１４０は、複製されるオブジェクトのメタデータへメタデータタグを追加してもよい。８０６に示されるように、メタデータタグはローカルアプリケーションバケット８０２のオブジェクトについて既に決定されたコンテンツハッシュを含んでもよい。したがって、複製中、ポリシーエンジンプログラム１４０は、オブジェクトデータ及びユーザメタデータを含むオブジェクトのすべてのコンテンツをリモートアプリケーションバケット８０４に格納するためにネットワークストレージデバイスへ送信してもよい。８０８に示されるように、ネットワークストレージシステムは、リモートアプリケーションバケット８０４に格納された複製オブジェクトに、それ自身のバージョンＩＤを割り当ててもよい。

図９はいくつかの実装形態に係る複製をバージョン管理する例９００を示す。この例では、第１ユーザ１１２（１）は同じオブジェクトのコピーをローカルアプリケーションバケット８０２へ再取り込みすると仮定する。ローカルシステムは９０２に示されるように、新しいバージョンＩＤを割り当て、データ構造６００のオブジェクトのタイムスタンプを更新することになるが、コンテンツハッシュ及びサイズは図８の既に取り込まれたオブジェクトと同じである。オブジェクトの新しいバージョンが複製される場合、９０４に示されるように、オブジェクトコンテンツは送信されないが、その代りに、ネットワークストレージシステムのタイムスタンプ更新を強いるためのリンクが生成され、ユーザメタデータ更新も複製される。したがって、オブジェクトの新しいバージョンがリモートアプリケーションバケット８０４へ追加されると、新しいバージョンＩＤが９０６に示されるように割り当てられ、ストレージサイズが、９０８に示されるように、リンクにより零として示される。

図１０はいくつかの実装形態に係るフィルタをバケット複製へ適用する例１０００を示す。例えば、上に述べたように、フィルタは、ポリシーエンジンプログラム１４０による同期中にオブジェクト名、メタデータタグへ適用される、又は他のメタデータに基づいて適用されるバケットに対してユーザにより実装されてもよい。

この例では、ユーザ又は管理者などのオペレータが、「ｆｏｏ」で始まる名前を有するオブジェクトが複製されることを許容するフィルタルールを含むようにバケット複製を構成すると仮定する。その後、ユーザアプリケーション１１４（１）が、ｆｏｏ２と名付けられたオブジェクトをローカルアプリケーションバケット８０２へ取り込むと仮定する。オブジェクトｆｏｏ２はローカルアプリケーションバケット８０２へ格納される。次に、ポリシーエンジンプログラム１４０は、ｆｏｏ２がリモートアプリケーションバケット８０４への複製上の定位置に置かれたフィルタにより許容されるので、オブジェクトのすべてのコンテンツをリモートアプリケーションバケット８０４へ複製してもよい。

図１１はいくつかの実装形態に係るフィルタをバケット複製へ適用する例１１００を示す。上に論述された図１０の例では、ユーザ１１２（１）は、オブジェクト名「ｂａｒ」を有するオブジェクトをローカルアプリケーションバケット８０２へ取り込むためにアプリケーション１１４（１）を使用すると仮定する。オブジェクトをリモートアプリケーションバケット８０４へ複製することに先立って、ポリシーエンジンは、フィルタをチェックし、フィルタに基づいてＢａｒは複製されることを許容されないと判定する。したがって、１１０２に示されるように、ｂａｒはフィルタにより許可されないので、オブジェクトはリモートアプリケーションバケット８０４へ複製されない。

図１２、１３はいくつかの実装形態に係るメタデータ要求をルーティングする処理例を示す流れ図である。この処理は、一連の操作を表し、そのいくつか又はすべてはハードウェア、ソフトウェア又はそれらの組み合せで実装され得る論理的流れ図のブロックの集合として示される。ソフトウェアの文脈では、ブロックは、１又は複数のプロセッサにより実行されると列挙された操作をプロセッサに行わせるようにプログラムする１又は複数のコンピュータ可読媒体に格納されたコンピュータ実行可能命令を表してもよい。一般的に、コンピュータ実行可能命令は、特定機能を実行する又は特定データタイプを実装するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。ブロックが説明される順番は制限として解釈されるべきでない。説明されるブロックのうちの任意数のブロックは処理又は代替処理を実施するために任意の順番で及び／又は並列に組み合わせられ得、そしてブロックのすべてが実行される必要があるわけではない。論述目的のために、処理は本明細書の例において説明される環境、フレームワーク、及びシステムを参照して説明されることになるが、処理は幅広い種類の他の環境、フレームワーク及びシステムにおいて実装されてもよい。

図１２はいくつかの実装形態に係るｓｙｎｃ－ｔｏ処理１２００の流れ図を示す。図１２の例では、処理１２００は、ストレージプログラム１３０、メタデータゲートウエイプログラム１３８、及び／又はポリシーエンジンプログラム１４０を実行する１又は複数のサービス演算装置１０２により少なくとも部分的に実行されてもよい。

１２０２では、管理者はターゲット１にアクセスするための許可をユーザグループ１へ提供してもよい。例えば、ターゲット１は上に論述したようにネットワークストレージシステム１０４であってもよい。

１２０４では、ユーザグループ１からのユーザ１はターゲット１へバケット複製を追加することを試みる。

１２０６では、ユーザグループ２からのユーザ２はターゲット１へバケット複製を追加することを試みる。しかし、ユーザ２がユーザグループ１ではなくユーザグループ２に属するので、この努力は失敗し、これによりターゲット１へへの複製の設定をすることができない。

１２０８では、システムは複製のセットアップが成功したかどうかを判定する。そうであれば、処理は１２１２へ進み。そうでなければ、処理は１２１０へ進む。

１２１０では、複製のセットアップが成功しなければ、システムは失敗に関する警報をユーザへ送信してもよい。

１２１２では、複製のセットアップが成功すれば、ユーザ１はオブジェクトをローカルシステム内へ、例えばローカルバケット内へ取り込んでもよい。

１２１４では、ローカルシステム内へのオブジェクトの取り込みに続いて、ターゲット１へのオブジェクトの同期のための同期イベントが待ち行列に入れられる。

１２１６では、システムはターゲット１のリモートバケットにオブジェクトを同期させることを試みてもよい。

１２１８では、システムはオブジェクト同期が成功したかどうかを判定してもよい。そうであれば、処理は１２２２へ進む。そうでなければ、処理は１２２０へ進む。

１２２０では、同期が成功していない場合、システムはオブジェクト同期再試行限度に到達したかどうかを判定する。そうであれば、システムは１２１４へ戻り、オブジェクトの別の同期イベントを待ち行列に入れる。他方で、再試行限度に未だ到達していない場合、処理は１２１６へ進み、システムはターゲット１に対する別のオブジェクト同期試みを行う。

１２２２では、オブジェクト同期が成功した場合、オブジェクトはリモートシステム上に現われ、そして同期イベントメッセージが待ち行列からデキューされる。

図１３はいくつかの実装形態に係るｓｙｎｃ－ｆｒｏｍ処理１３００の流れ図を示す。図１３の例では、処理１３００は、ストレージプログラム１３０、メタデータゲートウエイプログラム１３８、及び／又はポリシーエンジンプログラム１４０を実行する１又は複数のサービス演算装置１０２により少なくとも部分的に実行されてもよい。

１３０２では、管理者はターゲット１にアクセスするための許可をユーザグループ１へ提供してもよい。例えば、ターゲット１は上に論述したようにネットワークストレージシステム１０４であってもよい。

１３０４では、ユーザグループ１からのユーザ１はバケット複製をターゲット１へ追加しようと試みる。

１３０６では、ユーザグループ２からのユーザ２はバケット複製をターゲット１へ追加しようと試みる。しかし、ユーザ２はユーザグループ１ではなくユーザグループ２に属するので、この努力は失敗し、複製をターゲット１へ設定することができない。

１３０８では、システムは複製のセットアップが成功したかどうかを判定する。そうであれば、処理は１３１２へ進む。そうでなければ、処理は１３１０へ進む。

１３１０では、複製のセットアップが成功しなかった場合、システムは失敗に関する警報をユーザへ送信してもよい。

１３１２では、複製のセットアップが成功した場合、その後、オブジェクトに関するコンシューマからの同期が開始されてもよい。

１３１４では、オブジェクトＰＵＴメッセージが、ターゲット１に対応するリモート待ち行列で受信されてもよい。

１３１６では、オブジェクト同期試みが行われてもよい。

１３１８では、システムはオブジェクト同期が成功したかどうかを判定してもよい。そうであれば、処理は１３２２へ進む。そうでなければ、処理は１３２０へ進む。

１３２０では、同期が成功していなかった場合、システムはオブジェクト同期再試行限度に到達したかどうかを判定する。そうであれば、システムは１３１４へ戻り、別のオブジェクトＰＵＴメッセージをリモート待ち行列に入れる。他方で、再試行限度に未だ到達していない場合、処理は１３１６へ進む、システムは別のオブジェクト同期の試みを行う。

１３２２では、オブジェクト同期が成功した場合、オブジェクトはローカルシステム上に現われ、そして同期イベントメッセージはリモート待ち行列からデキューされる。

本明細書において説明される処理例は論述目的のために提供される処理の単に一例である。無数の他の変形形態が本明細書の開示に照らして当業者に明らかになる。さらに、本明細書の開示は処理を実行するための好適なフレームワーク、アーキテクチャ及び環境のいくつかの例を記載するが、本明細書における実装は示され且つ論述された特定例に限定されない。さらに、本開示は添付図面において説明及び示したように様々な例示的実装形態を提供する。しかし、本開示は、本明細書で説明され示された実装形態に限定されないが、当業者に知られているであろうように又は知られるようになるであろうように他の実装形態へ拡張し得る。

図１４は、本明細書において説明されるシステムの機能性の少なくともいくつかを実施するために使用され得るサービス演算装置（群）（１０２）の選択されたコンポーネント例を示す。サービス演算装置（群）１０２は、１又は複数のサーバ、又は任意数の方法で具現化され得る他のタイプのコンピューティングデバイスを含んでもよい。例えば、サーバの場合、プログラム、他の機能コンポーネント、及びデータは、単一サーバ、サーバのクラスタ、サーバファーム又はデータセンター、クラウドホストコンピュータサービス等上に実装されてもよいが、他のコンピュータアーキテクチャが追加的に又は代替的に使用されてもよい。複数のサービス演算装置（群）１０２は、例えば仮想サーバ、サーババンク、及び／又はサーバファームとして併せて又は別々に配置されそして編成され得る。説明された機能は、単一事業体又は企業のサーバにより提供されてもよいし、又は複数の異なる事業体又は企業のサーバ及び／又はサービスにより提供されてもよい。

図示の例では、サービスコンピューティングデバイス（群）１０２は１又は複数のプロセッサ１４０２、１又は複数のコンピュータ可読媒体１４０４、及び１又は複数の通信インターフェース１４０６を含んでもよいし、それらと関連付けられてもよい。各プロセッサ１４０２は、単一処理ユニット又は多数の処理ユニットであってもよく、単一又は複数のコンピューティングユニット若しくは複数の処理コアを含んでもよい。プロセッサ（群）１４０２は、１又は複数の中央処理ユニット、マイクロプロセッサ、マイクロコンピュータ、マイクロコントローラ、デジタル信号プロセッサ、ステートマシン、論理回路構成、及び／又は操作命令に基づき信号を操作する任意のデバイスとして実装され得る。一例として、プロセッサ（群）１４０２は、本明細書において説明されるアルゴリズム及び処理を実行するように特別にプログラム又は構成された任意の好適なタイプの１又は複数のハードウェアプロセッサ及び／又は論理回路構成を含んでもよい。プロセッサ（群）１４０２は、本明細書において説明される機能をプロセッサ（群）１４０２に行うようにプログラムし得る、コンピュータ可読媒体１４０４に格納されたコンピュータ可読命令をフェッチ及び実行するように構成されてもよい。

コンピュータ可読媒体１４０４は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報の格納のための任意のタイプの技術で実現される揮発性及び非揮発性メモリ及び／又は着脱可能及び着脱不能媒体を含んでもよい。例えば、コンピュータ可読媒体１４０４は、限定しないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、光学ストレージ、ソリッドステートストレージ、磁気テープ、磁気ディスクストレージ、ＲＡＩＤストレージシステム、ストレージアレイ、ネットワーク接続ストレージ、ストレージエリアネットワーク、クラウドストレージ、又は所望情報を格納するために使用され得、コンピューティングデバイスによりアクセスされ得る任意の他の媒体を含んでもよい。サービス演算装置（群）１０２の構成に依存して、コンピュータ可読媒体１４０４は、非一時的コンピュータ可読媒体がエネルギー、搬送波信号、電磁波、及び／又は信号それ自体などの媒体を排除すると述べる限りにおいて、有形な非一時的媒体であってもよい。いくつかのケースでは、コンピュータ可読媒体１４０４はサービス演算装置１０２と同じ場所にあってもよい一方で、他の例ではコンピュータ可読媒体１４０４はサービス演算装置１０２から部分的に遠くにあってもよい。例えば、いくつかのケースでは、コンピュータ可読媒体１４０４は、図１に関し、上に論述されたネットワークストレージシステム（群）１０４のストレージの一部を含んでもよい。

コンピュータ可読媒体１４０４はプロセッサ（群）１４０２により実行可能である任意数の機能コンポーネントを格納するために使用されてもよい。多くの実装では、これらの機能コンポーネントは、プロセッサ（群）１４０２により実行可能である命令又はプログラムであって実行されると本明細書ではサービス演算装置１０２に帰属する行為を行うようにプロセッサ（群）１４０２を特にプログラムし得る命令又はプログラムを含む。コンピュータ可読媒体１４０４に格納された機能コンポーネントは、それぞれが１又は複数のコンピュータプログラム、アプリケーション、実行可能コード又はその一部を含み得るユーザウェブアプリケーション１１６、管理ウェブアプリケーション１２４、ストレージプログラム１３０、メタデータゲートウエイプログラム１３８、ポリシーエンジンプログラム１４０、及びメッセージ待ち行列化プログラム１４２を含んでもよい。さらに、これらのプログラムはこの例では一緒に示されたが、使用中、これらのプログラムの一部又はすべては別個のサービス演算装置１０２で実行されてもよい。

加えて、コンピュータ可読媒体１４０４は、本明細書において説明される機能及びサービスを行うために使用されるデータ、データ構造、及び他の情報を格納してもよい。例えば、コンピュータ可読媒体１４０４はメタデータデータベース１３４及びローカルオブジェクトデータ１４４を格納してもよい。さらに、これらのデータ構造はこの例では一緒に示されたが、使用中、これらのデータ構造の一部又はすべては別個のサービス演算装置１０２に格納されてもよい。サービス演算装置１０２はまた、プログラム、ドライバなどを含み得る、他の機能コンポーネント及びデータ並びに機能コンポーネントにより使用又は生成されるデータを含んでもよく又は維持してもよい。さらに、サービス演算装置１０２は多くの他の論理コンポーネント、プログラムコンポーネント、及び物理的コンポーネントを含んでもよいが、上述のものは本明細書における論述に関連する単なる一例である。

１又は複数の通信インターフェース１４０６は、１又は複数のネットワーク１０６、１０７上などの様々な他のデバイスとの通信を可能にするための１又は複数のソフトウェア及びハードウェアコンポーネントを含んでもよい。例えば、通信インターフェース（群）１４０６は、本明細書の他のどこかで追加的に列挙されるようなＬＡＮ、インターネット、ケーブルネットワーク、セルラーネットワーク、無線ネットワーク（例えばＷｉ－Ｆｉ）及び有線ネットワーク（例えばファイバチャネル、光ファイバ、イーサーネット）、直接接続、並びにＢＬＵＥＴＯＯＴＨ（登録商標）などの近距離通信等々のうちの１又は複数を介して通信を可能にしてもよい。

本明細書において説明される様々な命令、方法、及び技術は、コンピュータ可読媒体上に格納され、本明細書のプロセッサ（群）により実行されるコンピュータプログラム及びアプリケーションなどのコンピュータ実行可能命令の一般的文脈において考慮されてもよい。一般的に、用語プログラム及びアプリケーションは、交換可能に使用されてもよく、特定タスクを行う又は特定データタイプを実装するための命令、ルーチン、モジュール、オブジェクト、コンポーネント、データ構造、実行可能コードなどを含んでもよい。これらのプログラム、アプリケーションなどは仮想マシン又は他のジャストインタイムコンパイル実行環境などにおいてネイティブコードとして実行されてもよく又はダウンロードされて実行されてもよい。典型的には、プログラム及びアプリケーションの機能性は、様々な実装において所望にしたがって組み合わせられてもよく又は分散さてれてもよい。これらのプログラム、アプリケーション、及び技術の実装形態は、コンピュータストレージ媒体に格納されてもよく又はある形式の通信媒体にわたって送信されてもよい。

本主題は構造的特徴及び／又は方法論的行為に固有の言語で説明されたが、添付の特許請求の範囲において定義される主題は必ずしも説明された特定特徴又は行為に限定されないということを理解すべきである。むしろ、特定特徴及び行為は特許請求の範囲を実現する例示的形式として開示される。

Claims (15)

1. ネットワーク上で複数のネットワークストレージシステムと通信可能な第１演算装置を含むシステムであって、
   第１ネットワークストレージシステムは、第１ストレージプロトコルを採用する第１サービスプロバイダにより提供され、第２ネットワークストレージシステムは、前記第１ストレージプロトコルと異なる第２ストレージプロトコルを採用する第２サービスプロバイダにより提供され、前記第１演算装置は処理を実行し、
   前記処理は、
   前記第１演算装置においてユーザデバイスから第１オブジェクトを受信することと、
   前記第１オブジェクトに関して、前記第１ネットワークストレージシステムの第１リモートバケット及び前記第２ネットワークストレージシステムの第２リモートバケットを決定することと、
   前記第１オブジェクトを前記第１リモートバケット及び前記第２リモートバケットと同期させるために第１待ち行列へ同期イベントを追加することと；
   前記第１待ち行列から前記同期イベントを消費することに基づいて、前記第１オブジェクトのデータ及びメタデータを前記第１ストレージプロトコルに従って前記第１リモートバケットへ複製するとともに、前記第１オブジェクトのデータ及びメタデータを前記第２ストレージプロトコルに従って前記第２リモートバケットへ複製することと、を含む、システム。
2. 前記処理は、
   第２待ち行列を生成することであって、前記第２待ち行列はデータを前記第１ネットワークストレージシステム及び前記第２ネットワークストレージシステムから前記第１演算装置へデータを同期させるための同期イベントを維持する、生成することと、
   前記第１演算装置から前記第１ネットワークストレージシステム及び前記第２ネットワークストレージシステムへデータを同期させるための同期イベントを前記第１待ち行列に維持することと、をさらに含む、請求項１に記載のシステム。
3. 前記処理は、
   前記第１ネットワークストレージシステムにおいて同期のためのデータの指示の発行を受信することと、
   前記発行に基づいて同期イベントを前記第２待ち行列へ追加することと；
   前記第２待ち行列の前記同期イベントに基づいて、前記第１ネットワークストレージシステムからの前記データを複製することと、を含む、請求項２に記載のシステム。
4. 前記第２待ち行列は同期イベントとして、前記第１ネットワークストレージシステムからの複製のためのデータの指示を受信し、
   前記処理は、
   前記第１ネットワークストレージシステムから前記第１演算装置のローカルストレージへ前記データを複製することをさらに含む、請求項２に記載のシステム。
5. 前記第１ネットワークストレージシステムは前記第１ネットワークストレージシステムにおいて待ち行列を生成し、前記処理は、
   前記第１ネットワークストレージシステムの前記待ち行列から同期イベントを消費することと、
   前記同期イベントに基づいて、前記第１ネットワークストレージシステムから前記第１演算装置へデータを複製することと、をさらに含む、請求項１に記載のシステム。
6. 前記処理は、
   前記第１リモートバケット又は前記第２リモートバケットのうちの少なくとも１つへ関連付けられたフィルタを決定することと、
   前記フィルタが前記第１オブジェクトへ適用されないということを決定したことに基づいて、前記データ及びメタデータを複製することと、を含む、請求項１に記載のシステム。
7. 前記フィルタは、前記第１リモートバケット又は前記第２リモートバケットのうちの少なくとも１つへの複製を制限するためにオブジェクト名又はオブジェクトメタデータのうちの少なくとも１つを対象とされている、請求項６に記載のシステム。
8. 前記処理は、
   前記第１演算装置において第２オブジェクトを受信することと、
   前記第２オブジェクトに関連付けられたサイズ及び前記第２オブジェクトのデータ及び／又はメタデータに基づくコンテンツハッシュが前記第１オブジェクトに関連付けられたサイズ及び前記第１オブジェクトのデータ及び／又はメタデータに基づくコンテンツハッシュに合致するかを判定することと、
   前記第２オブジェクトのメタデータを前記第１リモートバケット及び前記第２リモートバケットへ複製し、前記第２オブジェクトのデータの代わりに前記第１オブジェクトへのリンクを示すことと、をさらに含む、請求項１に記載のシステム。
9. 前記処理は、
   前記第１リモートバケット及び前記第２リモートバケットを決定することに基づいて、第１認証証明書を前記第１ネットワークストレージシステムへ提供し、第２認証証明書を前記第２ネットワークストレージシステムへ提供することをさらに含み、前記第１認証証明書は前記第２認証証明書と異なる、請求項１に記載のシステム。
10. 前記処理は、
    前記第１演算装置でポリシーエンジンプログラムを実行することをさらに含み、前記ポリシーエンジンプログラムは前記第１演算装置を、
    前記第１待ち行列から前記同期イベントを消費し、
    前記第１オブジェクトを前記第１リモートバケットへ複製するために使用する第１ストレージプロトコルと、前記第１オブジェクトを前記第２リモートバケットへ複製するために使用する第２ストレージプロトコルとを決定するように構成する、請求項１に記載のシステム。
11. 前記処理は、
    前記第１オブジェクトを受信することに応答して、前記第１オブジェクトのデータをローカルストレージにリアルタイムで格納することと、
    前記第１オブジェクトのソースへリアルタイムで応答を送信することと、
    その後、前記第１オブジェクトを前記第１ネットワークストレージシステム及び前記第２ネットワークストレージシステムへ非同期に複製することと、をさらに含む、請求項１に記載のシステム。
12. ネットワーク上で複数のネットワークストレージシステムと通信することができる第１演算装置によりユーザデバイスから第１オブジェクトを受信することであって、第１ネットワークストレージシステムが、第１ストレージプロトコルを採用する第１サービスプロバイダにより提供され、第２ネットワークストレージシステムが、前記第１ストレージプロトコルと異なる第２ストレージプロトコルを採用する第２サービスプロバイダにより提供される、受信することと、
    前記第１オブジェクトに関して、前記第１演算装置により、前記第１ネットワークストレージシステムの第１リモートバケット及び前記第２ネットワークストレージシステムの第２リモートバケットを決定することと、
    前記第１演算装置により、前記第１オブジェクトを前記第１リモートバケット及び前記第２リモートバケットへ複製するために第１待ち行列へ同期イベントを追加することと、
    前記第１待ち行列からの前記同期イベントを消費することに基づいて、前記第１演算装置により前記第１オブジェクトのデータ及びメタデータを前記第１ストレージプロトコルに従って前記第１リモートバケットへ複製するとともに、前記第１オブジェクトのデータ及びメタデータを前記第２ストレージプロトコルに従って前記第２リモートバケットへ複製することと、を含む、方法。
13. 前記第１ネットワークストレージシステム及び前記第２ネットワークストレージシステムから前記第１演算装置にデータを同期させるための同期イベントを維持する第２待ち行列を生成することと、
    前記第１演算装置から前記第１ネットワークストレージシステム及び前記第２ネットワークストレージシステムへデータ同期させるための同期イベントを前記第１待ち行列内に維持することと、をさらに含む請求項１２に記載の方法。
14. 第１演算装置の１又は複数の第１プロセッサに処理を実行させる命令を格納する１又は複数の非一時的コンピュータ可読記録媒体であって、
    前記処理は、
    ネットワーク上で複数のネットワークストレージシステムと通信することができる第１演算装置によりユーザデバイスから第１オブジェクトを受信することであって、第１ネットワークストレージシステムが、第１ストレージプロトコルを採用する第１サービスプロバイダにより提供され、第２ネットワークストレージシステムが、前記第１ストレージプロトコルと異なる第２ストレージプロトコルを採用する第２サービスプロバイダにより提供される、受信することと、
    前記第１オブジェクトに関して、前記第１演算装置により、前記第１ネットワークストレージシステムの第１リモートバケット及び前記第２ネットワークストレージシステムの第２リモートバケットを決定することと、
    前記第１演算装置により、前記第１オブジェクトを前記第１リモートバケット及び前記第２リモートバケットへ複製するために第１待ち行列へ同期イベントを追加することと、
    前記同期イベントを前記第１待ち行列から消費することに基づいて、前記第１演算装置により、前記第１オブジェクトのデータ及びメタデータを前記第１ストレージプロトコルに従って前記第１リモートバケットへ複製するとともに、前記第１オブジェクトのデータ及びメタデータを前記第２ストレージプロトコルに従って前記第２リモートバケットへ複製することと、
    を含む、１又は複数の非一時的コンピュータ可読記録媒体。
15. 前記処理は、
    前記第１ネットワークストレージシステム及び前記第２ネットワークストレージシステムから前記第１演算装置へデータを同期させるための同期イベントを維持する第２待ち行列を生成することと、
    前記第１演算装置から前記第１ネットワークストレージシステム及び前記第２ネットワークストレージシステムへデータを同期させるための同期イベントを前記第１待ち行列に維持することと、をさらに含む、請求項１４に記載の１又は複数の非一時的コンピュータ可読記録媒体。