JP2024509198A - シャード化データベース内のデータの論理削除 - Google Patents

Abstract

シャード化データベースのための方法、システムおよびコンピュータ・プログラム製品が提供される。方法は、指定されたドキュメントをシャード化データベースのプライマリ・シャードから削除するよう求めるリクエストを受け取ることを含む。方法はさらに、指定されたドキュメントを識別する論理削除ドキュメントを論理削除シャードに挿入することであり、指定されたドキュメントがプライマリ・シャードに残っている、挿入することを含む。方法はさらに、クライアント・アプリケーションからクエリを受け取ることであり、指定されたドキュメントがクエリを満たす、受け取ることを含む。方法はさらに、指定されたドキュメントに関連づけられた論理削除ドキュメントが論理削除シャードに残っている間は、クエリに応答して指定されたドキュメントが返されることを阻止することを含む。

Description

本発明は一般に、シャード化データベース（sharded database）のための方法、システムおよびコンピュータ・プログラム製品に関する。より詳細には、本発明は、シャード化データベース内のデータの論理削除（soft deletion）のための方法、システムおよびコンピュータ・プログラム製品に関する。

最新のデータベース・システムは、高速の情報ストレージ、検索（searching）および取得（retrieval）機能を提供する。しかしながら、デジタル・コンテントの量は指数関数的な速度で増大しており、コンテントを格納および管理するためにかなりのストレージ・システムを必要とする。したがって、最新のデータベースはしばしば、大きなデータ・セットを収集、更新もしくは解析し、またはそれについて報告するコンピュータ・アプリケーションと対話し、またはそのようなコンピュータ・アプリケーションの部分である。

それらのデータ・セットが非常に大きく、それらのデータ・セットにアクセスする要求が高く、そのため単一のサーバの性能またはストレージしきい値に達する場合には、追加の性能およびストレージ能力を提供するために多数のサーバを横切ってデータを分散させることができる。そのような分散データベース・システム内のそれぞれのセグメントは「シャード（shard）」として知られている。ユーザ負荷を分散させ、データベース・システムの性能を最適化するように設計された戦略に従って、個々のシャードの機能を割り当てることができる。このようにデータベースを分散させることすなわち「シャーディングする」ことによって、性能およびストレージ限界を克服することができる。

この例示的な実施形態は、シャード化データベース内のデータの論理削除を提供する。一実施形態は、指定されたドキュメントをシャード化データベースのプライマリ・シャードから削除するよう求めるリクエストを受け取ることを含む。この実施形態はさらに、指定されたドキュメントを識別する論理削除ドキュメントを論理削除シャードに挿入することであり、指定されたドキュメントがプライマリ・シャードに残っている、挿入することを含む。この実施形態はさらに、クライアント・アプリケーションからクエリを受け取ることであり、指定されたドキュメントがクエリを満たす、受け取ることを含む。この実施形態はさらに、指定されたドキュメントに関連づけられた論理削除ドキュメントが論理削除シャードに残っている間は、クエリに応答して指定されたドキュメントが返されることを阻止することを含む。この態様の他の実施形態は、この実施形態の動作を実行するようにそれぞれが構成された対応するコンピュータ・システム、装置、および１つまたは複数のコンピュータ・ストレージ・デバイス上に記録されたコンピュータ・プログラムを含む。このような実施形態は、プライマリ・シャード上での一切の書込みまたは削除動作なしで、かつプライマリ・シャードのインデックスに対する一切の変更なしで、プライマリ・データの論理削除およびリストアを可能にし、したがって時間のかかるこのようなプロセスを排除し、その結果、ＮｏＳＱＬデータベースの以前の論理削除プロセスに比べて性能を大幅に向上させる。

別の実施形態では、この実施形態がさらに、指定されたドキュメントをシャード化データベースにリストアするよう求めるリストア・リクエストを受け取ること、およびリストア・リクエストに応答して、指定されたドキュメントをシャード化データベースにリストアすることであり、リストアすることが、論理削除シャードから論理削除ドキュメントを除去することを含む、リストアすることを含む。したがって、この実施形態は、リストア・リクエストに応答した論理削除されたデータのリストアを可能にし、それによって、データの取消しまたは復旧機能を有することに慣れたエンド・ユーザに対して、期待される機能を提供し、コストのかかるデータ損失を回避する。

別の実施形態では、この実施形態がさらに、指定されたドキュメントを削除するよう求めるリクエストを受け取ってからの時間が規定された保存期間に達したことを検出すること、および指定されたドキュメントをシャード化データベースからパージする物理削除（hard deletion）プロセスを実行することを含む。したがって、この実施形態は、データをリストアするための期間を容認し、この期間の後にそのようなデータを永久に除去して、不必要なデータがデータベース・リソースを消費することを防ぐ。

一実施形態は、コンピュータ使用可能プログラム製品を含む。このコンピュータ使用可能プログラム製品は、コンピュータ可読ストレージ媒体と、ストレージ媒体上に格納されたプログラム命令とを含む。

一実施形態は、コンピュータ・システムを含む。このコンピュータ・システムは、プロセッサと、コンピュータ可読メモリと、コンピュータ可読ストレージ媒体と、メモリを介してプロセッサが実行するためにストレージ媒体上に格納されたプログラム命令とを含む。

添付の特許請求の範囲には、本発明の特徴と考えられる新規の特徴が記載されている。しかしながら、本発明自体および本発明の好ましい使用形態、さらに本発明の目的および利点は、例示的な実施形態の以下の詳細な説明を添付図面と併せて読んだときに、その説明を参照することによって最もよく理解される。

例示的な実施形態を実施することができるデータ処理システムのネットワークのブロック図である。 例示的な実施形態を実施することができるデータ処理システムのブロック図である。 例示的な一実施形態による例示的なシャード・システムのブロック図である。 例示的な一実施形態によるシャード化データベースのブロック図である。 例示的な一実施形態によるシャード化データベースのブロック図である。 例示的な一実施形態による例示的なシャード化データベースのブロック図である。 例示的な一実施形態による例示的なシャード化データベースのブロック図である。 例示的な一実施形態による例示的なシャード化データベースのブロック図である。 例示的な一実施形態による例示的なシャード化データベースのブロック図である。 例示的な一実施形態によるＳＤＳインデックス構築プロセスのタイムライン進行のブロック図である。 例示的な一実施形態による、シャード化データベース内のデータの論理削除のための例示的なプロセスのフローチャートである。 例示的な一実施形態による、シャード化データベース内のデータの論理削除のための例示的なプロセスのフローチャートの第１の部分を示す図である。 例示的な一実施形態による、シャード化データベース内のデータの論理削除のための例示的なプロセスのフローチャートの第２の部分を示す図である。

最新のデータベースは、クロス・プラットフォーム・キュメント指向型のＮｏＳＱＬ（ナット・オンリー・ストラクチャード・クエリ・ランゲージ（Not only Structured Query Language））データベースを含む。このようなデータベースは、シャーディングに有利となるように伝統的なテーブル・ベースのリレーショナル・データベース構造を避ける。盛んに増大しているデータベースが単一のサーバ上でランしているとき、そのデータベースは、最終的に、サーバが提供することができるコンピューティング・リソースの限界に達するであろう。それらの限界は、データを格納するための容量限界、ならびにクエリおよび他のデータベース・コマンドを取り扱うための処理限界を含む。

シャーディングは、データを、別個のサーバ上に格納されたデータの２つ以上のサブセットに分割することを含む。本明細書では、データのこのようなサブセットを「プライマリ・シャード」または「プライマリ・データ・シャード」と呼ぶ。この分散型アーキテクチャは、非常に大きなデータ・セットの展開および高スループット操作を支援することができる。したがって、シャーディングは、それぞれのサーバ上の多数のプライマリ・シャードに大量のデータを格納するためのスケーラブルなセットアップを実現する助けになる。

シャード化データベースはさらにデータ複製スキームを含むことができ、このスキームでは、データベースが、同じデータを保持した、それぞれのシャードのコピー・セットを生成する。複製セットでは任意の時点で、１つのシャードだけがプライマリ・シャードとしての機能を果たし、他の複製シャードは全てセカンダリ・シャードとなる。全ての書込みおよび読取り操作はプライマリ・シャードに向かい、次いで（必要に応じて）セットの中の他のセカンダリ・シャードに均一に分散する。

スケーラビリティに関してシャーディングが提供するこれらの利点にもかかわらず、プライマリ・シャードにデータを追加するプロセスまたはプライマリ・シャードからデータを削除するプロセスは、データベース性能に負の影響を与える比較的に時間のかかるプロセスであるという問題が存在する。プライマリ・シャードにデータを追加するときまたはプライマリ・シャードからデータを削除するときには、その変更を反映するようにインデックス・レコードを更新するために、プライマリ・インデックスを再構築しなければならない。インデックスはデータベースにアクセスするために使用され、大きなデータベースは、データベースに効率的にアクセスするために維持する必要があるいくつかの大きなインデックスを必要とすることがある。データベースが変更されるときには普通、インデックスを維持または更新する必要がある。このようなインデックスの再構築に長い時間がかかることがあり、この再構築により、インデックス更新が完了するまでそのインデックスがクエリに対して使用不能になる。

この問題は、シャード化データベース内で論理削除プロセスを実施する過去の試行によって悪化する。データが論理削除されているとき、そのデータを選択または使用することはできないが、データベースまたはサーバの通常の使用可能な機能を使用してリストアすることができる。対照的に、論理削除がなされない場合、データは常に物理削除され、このことは、データが永久に消失し、有効な場合もまたは有効でない場合もある並外れた労力なしにはリストアすることができないことを意味する。

データ損失は非常にコストがかかることがあり、データを取り消す機能または復活させる機能を有することに慣れたエンド・ユーザにとってフラストレーションの原因になることがある。したがって、論理削除機能の実施は、データ損失を防ぐため、および期待される機能をユーザに提供するために重要である。しかしながら、論理削除機能の実施は、他のタイプのシステム上では問題とはならない、あるタイプのシステムに対する固有の課題を提示する、システム特定の作業である。例えば、ドキュメント指向型ＮｏＳＱＬデータベースにおいて論理削除機能を実施する過去の努力は、データベース性能に負の影響を与えた。その理由は、過去の論理削除プロセスが、「論理削除された」データに使用不能のマークを付けるためにプライマリ・シャードにフラグまたは他のそのようなデータを書き込むことを含んでいたこと、「論理削除された」データがパージされるときには「論理削除された」データとフラグの両方が削除されること、さらに、これらの書込みおよび削除操作の各々に対してシャード・インデックス上でインデックス更新操作が実行されることにある。しかしながら、書込み、削除およびインデックス更新操作は、時間および処理に関して、データベースが実行するのにコストがかかる。したがって、これらの過去のタイプの論理削除技術は、コストがかかるいくつかの追加の操作であって、リストア可能なデータの利益と引き換えに性能が低下する望ましくないトレードオフを必要とするいくつかの追加の操作を必要とするという技術的問題を示す。

これらの技術的問題を解決するため、開示された実施形態は、論理削除されたプライマリ・データを参照する論理削除ドキュメント（ＳＤＤ）を格納する論理削除シャード（ＳＤＳ）と呼ばれる追加のシャードを導入する。プライマリ・シャード・データのステータスにかかわらずプライマリ・シャードからのデータの複製物を保持するセカンダリ・シャードとは異なり、ＳＤＳは、論理削除されているがまだパージされていないプライマリ・シャード・ドキュメントに関連したドキュメントだけを格納する。この期間の間、参照されたプライマリ・ドキュメントは、パージすなわち物理削除されない限り、およびパージすなわち物理削除されるまで、プライマリ・シャード内に留まる。論理削除されたデータが、パージされる代わりにリストアされる場合、このリストアは、関連するＳＤＤをＳＤＳから削除することを含む。このことは、プライマリ・シャード上での一切の書込みまたは削除動作なしで、かつプライマリ・シャードのインデックスに対する一切の変更なしで、プライマリ・データの論理削除およびリストアを可能にする。これらの時間のかかるプロセスを排除すると、その結果として、ＮｏＳＱＬデータベースの以前の論理削除プロセスに比べて性能が大幅に向上する。

論理削除を含むシャード化データベース・アプリケーションの例示的な一実施形態は、指定されたドキュメントをシャード化データベースのプライマリ・シャードから削除するよう求めるリクエストを受け取り、これに応答して、指定されたドキュメントを識別するＳＤＤをＳＤＳに挿入する。指定されたドキュメントはプライマリ・シャード内に残す。その後に、アプリケーションが、指定されたドキュメントがクエリを満たすような態様のクエリをクライアント・アプリケーションから受け取った場合、アプリケーションは、指定されたドキュメントに関連づけられたＳＤＤがＳＤＳに残っている限り、指定されたドキュメントがクエリ結果と一緒に返されることを阻止する。

例示的な一実施形態では、データベース・アプリケーションが、ＮｏＳＱＬデータベース上で操作を実行する。実施形態は、ＮｏＳＱＬを含む広範囲の技術およびアーキテクチャのいずれかを含む。例えば、いくつかの実施形態では、このＮｏＳＱＬデータベースが、ドキュメントの形態のデータを格納するドキュメント指向型のデータベースまたはドキュメント・ストアであり、それぞれのドキュメントは、データに構造度を提供するある種のメタデータである一意識別子（unique identifier）（ＵＩＤ）を有し、ＵＩＤは、知られているさまざまなデータ形式のいずれかに従ってフォーマットされたものとすることができ、ドキュメント・データは所望のフォーマットで格納される。いくつかの実施形態では、多数のデータベース・サーバが集合的にＮｏＳＱＬデータベースのサービスを提供する。したがって、いくつかの実施形態では、ＮｏＳＱＬデータベースが、極端に量が多い異種のデータ・タイプの高速でアドホックな編成および解析を可能にする広く分散した非リレーショナルなデータベース・システムを含む。いくつかの実施形態では、ＮｏＳＱＬデータベースが、クラウド・データベース、非リレーショナル・データベース、ビッグ・データ・データベースもしくはＮｏＳＱＬデータベースに対する他の無数の用語で呼ばれ、またはこれらの組合せで呼ばれるデータベースを含む。

ＳＤＤの実施形態は、指定されたドキュメントを、異なるさまざまなやり方のいずれかで参照することができる。例えば、いくつかの実施形態では、ＳＤＤが、指定されたドキュメントの一意識別子（ＵＩＤ）を含むことによって特定のドキュメントを識別する。その代わりにまたはそれに加えて、いくつかの実施形態では、ＳＤＤが、指定されたドキュメントを指すポインタを含む。

いくつかの実施形態では、アプリケーションがクライアント・アプリケーションからクエリを受け取った場合、データベース・アプリケーションは、そのクエリをプライマリ・データ・シャードに対して実行し、そのクエリをＳＤＳに対して実行する。アプリケーションは、ＳＤＳに対するクエリからＳＤＤが返されたことを検出することにより、プライマリ・シャードからのクエリ結果が論理削除されたドキュメントを含むことを識別する。アプリケーションは、ＳＤＤを評価することによって、論理削除されたドキュメントを識別することができる。それぞれのＳＤＤは、プライマリ・シャードからの論理削除された一意のドキュメントを識別し、そのため、アプリケーションはこの情報を使用して、プライマリ・シャードから返されたクエリ結果の中から、論理削除されたドキュメントの位置を突き止める。例えば、いくつかの実施形態では、ＳＤＤが、プライマリ・シャード内の論理削除されたドキュメントのＵＩＤを含み、アプリケーションが、ＳＤＳに対するクエリから返されたＳＤＤのＵＩＤを有する、クエリ結果の中のドキュメントの位置を突き止めることによって、クエリ結果の中から、論理削除されたドキュメントの位置を突き止める。アプリケーションが、クエリ結果の中の論理削除されたドキュメントの位置を突き止めた後、アプリケーションは、その論理削除されたドキュメントをクエリ結果から除去する。クエリ結果は、プライマリ・シャードからの論理削除されたドキュメントを含まないため、論理削除されたドキュメントを除外することによって、クエリ結果は期待通りに出現する。

例示的な一実施形態では、ＳＤＳに対するクエリを容易にするために、アプリケーションが、インデックスまたは複数のＳＤＳインデックスを構築する。いくつかの実施形態では、このインデックス構築が、対応するＳＤＤの位置にキーを関連づけることを含む。いくつかの実施形態では、データベース・アプリケーションが、プライマリ・シャードに対して１つまたは複数のインデックスを構築する。

実施態様に特有の考慮事項に応じてアプリケーションによって使用されることがある多くの異なるタイプのインデックスが存在する。例えば、構造化されていないデータまたは人間言語データについては、テキスト・ブロブ（text blob）をインデックス・エントリに変換するための言語アナライザを有するフル・テキスト・インデックスが使用されることがある。地理空間的または地理時間的データについては、多次元空間における点、多角形および他の形状にインデックスを付けることがある。いくつかの実施形態では、アプリケーションが、プライマリ・シャードに対して存在するインデックスの数およびタイプを整合させるように、１つまたは複数のＳＤＳインデックスを構築する。これによって、ＳＤＳに対するクエリがプライマリ・シャードに対するクエリと一貫することが可能になる。

例示的な一実施形態では、アプリケーションがＳＤＳに対するクエリを実行するときに、アプリケーションが、最初に、ＳＤＳインデックスのステータスをチェックして、ＳＤＳインデックス構築が完了しているのかまたは未完了であるのかを判定する。ＳＤＳのインデックス構築が完了しているとアプリケーションが判定した場合、アプリケーションは、ＳＤＳインデックスを使用してＳＤＳのクエリを実行する。そうではなく、ＳＤＳのインデックス構築が完了していないとアプリケーションが判定した場合、アプリケーションは、フル・テーブル・スキャン（full table scan）を使用してＳＤＳのクエリを実行する。

例示的な一実施形態では、プライマリ・シャード内のドキュメントが論理削除された後、そのドキュメントは論理削除された状態に留まり、規定された保存期間の間、リストアに対して使用可能である。いくつかの実施形態では、この規定された保存期間が、ユーザによって設定された期間である。アプリケーションは、規定された保存期間に等しい時間または規定された保存期間よりも長い時間の間、論理削除されたままの論理削除されたドキュメントがないか定期的にチェックする。論理削除されたドキュメントが、規定された保存期間の間、論理削除されたままであると、アプリケーションは、その論理削除されたドキュメントを、プライマリ・シャードからパージする。いくつかの実施形態では、アプリケーションが、シャード化データベースからの指定されたドキュメントに物理削除プロセスを実行することによって、論理削除されたドキュメントをパージする。このようないくつかの実施形態では、物理削除プロセスが、シャード化データベースのプライマリ・シャードから指定されたドキュメントを削除すること、続いて、プライマリ・シャードのインデックスを更新すること、続いて、ＳＤＳの論理削除インデックスを更新すること、続いて、指定されたドキュメントを識別するＳＤＤを削除することを含む。

説明を明瞭にするため、その説明に限定されることを暗示することなく、例示的な実施形態は、いくつかの例示的な構成を使用して説明される。本開示から、当業者は、記載された目的を達成するための記載された構成の多くの改変、適合および変更を考案することができ、それらは、例示的な実施形態の範囲内で企図される。

さらに、図および例示的な実施形態では、データ処理環境の簡略図が使用される。実際のコンピューティング環境には、本明細書に示されていないもしくは本明細書に記載されていない追加の構造体もしくは構成要素、または、示された構造体もしくは構成要素とは異なるが本明細書に記載された機能と同様の機能を有する構造体もしくは構成要素が、例示的な実施形態の範囲を逸脱することなく存在することがある。

さらに、実際のまたは仮定の特定の構成要素に関して、例示的な実施形態は単なる例として記載されている。例示的なさまざまな実施形態によって説明されたステップを、例えば機械学習クラシファイヤ・モデルによってなされた判断に対する説明を提供するように適合させることができる。

これらのアーチファクトおよび他の同様のアーチファクトの特定の表現物（manifestation）が本発明を限定することは意図されていない。例示的な実施形態の範囲内で、これらのアーチファクトおよび他の同様のアーチファクトの適当な表現物を選択することができる。

本開示の例は、説明を明瞭にするためだけに使用されており、例示的な実施形態を限定するものではない。本明細書に挙げられた利点は単なる例であり、それらの利点が例示的な実施形態を限定することは意図されていない。特定の例示的な実施形態によって追加の利点または異なる利点が実現されることがある。さらに、特定の例示的な実施形態は、上に挙げた利点の一部もしくは全部を有することがあり、または上に挙げた利点を１つも持たないことがある。

さらに、例示的な実施形態は、任意のタイプのデータ、データ源、またはデータ・ネットワークを横切るデータ源へのアクセスに関して実施することができる。任意のタイプのデータ・ストレージ・デバイスが、本発明の範囲内で、データ処理システムにおいて局所的に、またはデータ・ネットワークを横切って、本発明の実施形態にデータを提供することができる。モバイル・デバイスを使用して実施形態が説明されている場合には、そのモバイル・デバイスとともに使用するのに適した任意のタイプのデータ・ストレージ・デバイスが、例示的な実施形態の範囲内で、モバイル・デバイスにおいて局所的に、またはデータ・ネットワークを横切って、そのような実施形態にデータを提供することができる。

例示的な実施形態は、特定のコード、対照的な説明、コンピュータ可読ストレージ媒体、高レベル特徴、履歴データ、設計、アーキテクチャ、プロトコル、レイアウト、概略図およびツールを単なる例として使用して説明されており、それらは例示的な実施形態に限定されない。さらに、いくつかの例では、説明を明瞭にするために、例示的な実施形態が、特定のソフトウェア、ツールおよびデータ処理環境を単なる例として使用して説明されている。例示的な実施形態は、他の匹敵するまたは同様の目的の構造体、システム、アプリケーションまたはアーキテクチャとともに使用することができる。例えば、本発明の範囲内で、他の匹敵するモバイル・デバイス、構造体、システム、アプリケーションまたはそれらのアーキテクチャを、本発明のそのような実施形態とともに使用することができる。例示的な一実施形態は、ハードウェア、ソフトウェアまたはそれらの組合せで実施することができる。

本開示の例は、説明を明瞭にするためだけに使用され、例示的な実施形態を限定しない。本開示から追加のデータ、操作、動作、タスク、活動および処理を考えつくことができ、それらは、例示的な実施形態の範囲内で企図される。

本明細書に記載された利点は例にすぎず、例示的な実施形態を限定することは意図されていない。特定の例示的な実施形態によって追加のまたは異なる利点を実現することができる。さらに、特定の例示的な実施形態は、上に挙げた利点の一部もしくは全部を有することがあり、または上に挙げた利点を持たないことがある。

図、具体的には図１および２を参照すると、これらの図は、例示的な実施形態を実施することができるデータ処理環境の例示的な図である。図１および２は単なる例であり、これらの図が、異なる実施形態を実施することができる環境に関する限定を主張または暗示することは意図されていない。特定の実施態様が、以下の説明に基づいて図示の環境に多くの変更を加えることがある。

図１は、例示的な実施形態を実施することができるデータ処理システムのネットワークのブロック図を示している。データ処理環境１００は、例示的な実施形態を実施することができる、コンピュータのネットワークである。データ処理環境１００はネットワーク１０２を含む。ネットワーク１０２は、データ処理環境１００内で一緒に接続されたさまざまなデバイスおよびコンピュータ間の通信リンクを提供するために使用される媒体である。ネットワーク１０２は、有線通信リンク、無線通信リンクまたは光ファイバ・ケーブルなどの接続を含むことができる。

クライアントまたはサーバは、ネットワーク１０２に接続されたある種のデータ処理システムの役割の単なる例であり、クライアントまたはサーバが、これらのデータ処理システムの他の構成または役割を排除することは意図されていない。ネットワーク１０２にはデータ処理システム１０４が結合している。データ処理環境１００内のデータ処理システム上でソフトウェア・アプリケーションを実行することができる。図１の処理システム１０４内で実行されると記載されたソフトウェア・アプリケーションはいずれも、別のデータ処理システム内で同様に実行されるように構成することができる。図１のデータ処理システム１０４内に格納されたデータもしくは情報またはデータ処理システム１０４内で生成されたデータもしくは情報はいずれも、別のデータ処理システム内に同様に格納されるように、または別のデータ処理システム内で同様に生成されるように構成することができる。データ処理システム１０４などのデータ処理システムはデータを含むことができ、コンピューティング・プロセスをその上で実行するソフトウェア・アプリケーションまたはソフトウェア・ツールを有することができる。一実施形態では、データ処理システム１０４がメモリ１２４を含み、メモリ１２４は、１つまたは複数の実施形態による本明細書に記載されたデータ・プロセッサ機能のうちの１つまたは複数を実施するように構成されたものとすることができるアプリケーション１０５Ａを含む。

ネットワーク１０２には、サーバ１０６およびストレージ・ユニット１０８が結合している。ストレージ・ユニット１０８は、さまざまな実施形態に関して本明細書に記載されたデータ、例えば画像データおよび属性データを格納するように構成されたデータベース１０９を含む。サーバ１０６は従来型データ処理システムである。一実施形態では、サーバ１０６が、１つまたは複数の実施形態による本明細書に記載されたプロセッサ機能のうちの１つまたは複数を実施するように構成されたものとすることができるストリーム処理アプリケーション１０５Ｂの処理要素を含む。

ネットワーク１０２にはさらにクライアント１１０、１１２および１１４が結合されている。サーバ１０６またはクライアント１１０、１１２もしくは１１４などの従来型データ処理システムは、データを含むことができ、従来のコンピューティング・プロセスをシステム上で実行するソフトウェア・アプリケーションまたはソフトウェア・ツールを有することができる。

単なる例として、このようなアーキテクチャに限定されることを暗示することなく、図１は、実施形態の例示的な実施態様で使用可能なある種の構成要素を示している。例えば、サーバ１０６およびクライアント１１０、１１２、１１４は、単なる例としてサーバおよびクライアントとして示されており、このことは、クライアント－サーバ・アーキテクチャに限定されることを暗示しない。別の例として、いくつかのデータ処理システムを横断して、および図示されているようにデータ・ネットワークを横断して実施形態を分散させることができ、一方で、例示的な実施形態の範囲内で、単一のデータ処理システム上で別の実施形態を実施することもできる。従来型データ処理システム１０６、１１０、１１２および１１４はさらに、実施形態を実施するのに適したクラスタ、パーティションおよび他の構成の例示的なノードを表す。

デバイス１３２は、本明細書に記載された従来型コンピューティング・デバイスの例である。例えば、デバイス１３２は、スマートフォン、タブレット・コンピュータ、ラップトップ・コンピュータ、固定もしくは携帯可能形式のクライアント１１０、ウェアラブル・コンピューティング・デバイス、または他の適当なデバイスの形態をとることができる。一実施形態では、デバイス１３２が、本明細書に記載されたプロセスを開始するタスクなどの１つまたは複数のデータ処理タスクをストリーム処理アプリケーション１０５Ｂによって実行するよう求めるリクエストをサーバ１０６に送る。図１の別の従来型データ処理システム内で実行されると記載されたソフトウェア・アプリケーションはいずれも、デバイス１３２内で同様に実行されるように構成することができる。図１の別の従来型データ処理システム内に格納されたデータもしくは情報または図１の別の従来型データ処理システム内で生成されたデータもしくは情報はいずれも、デバイス１３２内に同様に格納されるように、またはデバイス１３２内で同様に生成されるように構成することができる。

サーバ１０６、ストレージ・ユニット１０８、データ処理システム１０４、クライアント１１０、１１２および１１４ならびにデバイス１３２は、有線接続、無線通信プロトコルまたは他の適当なデータ接続性を使用してネットワーク１０２に結合することができる。クライアント１１０、１１２および１１４は例えばパーソナル・コンピュータまたはネットワーク・コンピュータとすることができる。

図示の例では、サーバ１０６が、ブート・ファイル、オペレーティング・システム・イメージおよびアプリケーションなどのデータをクライアント１１０、１１２および１１４に提供することができる。この例では、クライアント１１０、１１２および１１４を、サーバ１０６のクライアントとすることができる。クライアント１１０、１１２、１１４またはこれらのクライアントのある組合せは、それら自体のデータ、ブート・ファイル、オペレーティング・システム・イメージおよびアプリケーションを含むことができる。データ処理環境１００は、図示されていない追加のサーバ、クライアントおよび他のデバイスを含むことができる。

図示の例では、メモリ１２４が、ブート・ファイル、オペレーティング・システム・イメージおよびアプリケーションなどのデータをプロセッサ１２２に提供することができる。プロセッサ１２２は、それ自体のデータ、ブート・ファイル、オペレーティング・システム・イメージおよびアプリケーションを含むことができる。データ処理環境１００は、図示されていない追加のメモリ、プロセッサおよび他のデバイスを含むことができる。

図示の例では、データ処理環境１００をインターネットとすることができる。ネットワーク１０２は、伝送制御プロトコル／インターネット・プロトコル（ＴＣＰ／ＩＰ）および他のプロトコルを使用して互いに通信するネットワークおよびゲートウェイの集合を表すことがある。インターネットの中心には、主要なノードまたはホスト・コンピュータ間のデータ通信リンクのバックボーンであって、データおよびメッセージの経路を指定する数千の商用、政府、教育およびその他のコンピュータ・システムを含むバックボーンが存在する。当然ながら、データ処理環境１００も、例えばイントラネット、ローカル・エリア・ネットワーク（ＬＡＮ）またはワイド・エリア・ネットワーク（ＷＡＮ）などのいくつかの異なるタイプのネットワークとして実施することができる。図１は例であることが意図されており、図１が、異なる例示的な実施形態のアーキテクチャを限定することは意図されていない。

使用目的は他にもあるが、例示的な実施形態を実施することができるクライアント－サーバ環境を実施する目的にデータ処理環境１００を使用することができる。クライアント－サーバ環境は、従来型クライアント・データ処理システムと従来型サーバ・データ処理システムとの間のインタラクティブ性を使用することによってアプリケーションが機能するように、ソフトウェア・アプリケーションおよびデータを、ネットワークを横断して分散させることを可能にする。データ処理環境１００はさらにサービス指向アーキテクチャを使用することができ、サービス指向アーキテクチャでは、ネットワークを横断して分散した相互動作可能なソフトウェア構成要素を、コヒーレントなビジネス・アプリケーションとして一緒にパッケージングすることができる。データ処理環境１００はさらにクラウドの形態をとることができ、最小限の管理労力またはサービスのプロバイダとの最小限の対話ですばやく供給およびリリースすることができる構成可能なコンピューティング・リソース（例えばネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想機械およびサービス）の共用プールへの便利なオンデマンド・ネットワーク・アクセスを可能にするために、サービス送達のクラウド・コンピューティング・モデルを使用することができる。

図２を参照すると、この図は、例示的な実施形態を実施することができるデータ処理システムのブロック図を示している。データ処理システム２００は、図１のデータ処理システム１０４、サーバ１０６もしくはクライアント１１０、１１２および１１４、または例示的な実施形態のためにプロセスを実施するコンピュータ使用可能プログラム・コードもしくは命令が置かれていてもよい別のタイプのデバイスなどの従来型コンピュータの例である。

データ処理システム２００はさらに、例示的な実施形態のプロセスを実施するコンピュータ使用可能プログラム・コードまたは命令が置かれていてもよい図１の従来型データ処理システム１３２などの従来型データ処理システムまたはその構成を表している。データ処理システム２００は、単なる例としてコンピュータとして説明されるが、コンピュータに限定されるわけではない。図１のデバイス１３２など他のデバイスの形態の実施態様は、タッチ・インタフェースを追加することなどによってデータ処理システム２００を変更することができ、また、本明細書に記載されたデータ処理システム２００の動作および機能の全般的な説明を逸脱することなく、データ処理システム２００から、図示されたある種の構成要素を排除することもできる。

図示の例では、データ処理システム２００が、ノース・ブリッジおよびメモリ・コントローラ・ハブ（ＮＢ／ＭＣＨ）２０２ならびにサウス・ブリッジおよび入力／出力（Ｉ／Ｏ）コントローラ・ハブ（ＳＢ／ＩＣＨ）２０４を含むハブ・アーキテクチャを使用する。ノース・ブリッジおよびメモリ・コントローラ・ハブ（ＮＢ／ＭＣＨ）２０２には、処理ユニット２０６、主メモリ２０８およびグラフィックス・プロセッサ２１０が結合されている。処理ユニット２０６は、１つまたは複数のプロセッサを含むことができ、１つまたは複数の異種プロセッサ・システムを使用して実施することができる。
処理ユニット２０６はマルチコア・プロセッサとすることができる。ある種の実施態様では、アクセラレーテッド・グラフィックス・ポート（accelerated graphics port）（ＡＧＰ）を通してグラフィックス・プロセッサ２１０をＮＢ／ＭＣＨ２０２に結合することができる。

図示の例では、サウス・ブリッジおよびＩ／Ｏコントローラ・ハブ（ＳＢ／ＩＣＨ）２０４にローカル・エリア・ネットワーク（ＬＡＮ）アダプタ２１２が結合されている。サウス・ブリッジおよびＩ／Ｏコントローラ・ハブ２０４には、バス２３８を通して、オーディオ・アダプタ２１６、キーボードおよびマウス・アダプタ２２０、モデム２２２、リード・オンリー・メモリ（ＲＯＭ）２２４、ユニバーサル・シリアル・バス（ＵＳＢ）およびその他のポート２３２、ならびにＰＣＩ／ＰＣＩｅデバイス２３４が結合されている。サウス・ブリッジおよびＩ／Ｏコントローラ・ハブ２０４には、バス２４０を通して、ハード・ディスク・ドライブ（ＨＤＤ）または固体状態ドライブ（ＳＳＤ）２２６およびＣＤ－ＲＯＭ２３０が結合されている。ＰＣＩ／ＰＣＩｅデバイス２３４は、例えばイーサネット（Ｒ）・アダプタ、アドイン・カード、およびノートブック・コンピュータ用のＰＣカードを含むことができる。ＰＣＩはカード・バス・コントローラを使用するが、ＰＣＩｅはカード・バス・コントローラを使用しない。ＲＯＭ２２４は例えば、フラッシュ・バイナリ入力／出力システム（ＢＩＯＳ）とすることができる。ハード・ディスク・ドライブ２２６およびＣＤ－ＲＯＭ２３０は例えば、インテグレーテッド・ドライブ・エレクトロニクス（ＩＤＥ）、シリアル・アドバンスト・テクノロジ・アタッチメント（ＳＡＴＡ）インタフェースまたはその変形、例えばエクスターナルＳＡＴＡ（ｅＳＡＴＡ）およびマイクロＳＡＴＡ（ｍＳＡＴＡ）を使用することができる。サウス・ブリッジおよびＩ／Ｏコントローラ・ハブ（ＳＢ／ＩＣＨ）２０４には、バス２３８を通してスーパーＩ／Ｏ（ＳＩＯ）デバイス２３６が結合されていてもよい。

主メモリ２０８、ＲＯＭ２２４またはフラッシュ・メモリ（図示せず）などのメモリは、コンピュータ使用可能ストレージ・デバイスのいくつかの例である。ハード・ディスク・ドライブまたは固体状態ドライブ２２６、ＣＤ－ＲＯＭ２３０および同様に使用可能な他のデバイスは、コンピュータ使用可能ストレージ媒体を含むコンピュータ使用可能ストレージ・デバイスのいくつかの例である。

処理ユニット２０６上ではオペレーティング・システムがランする。このオペレーティング・システムは、図２のデータ処理システム２００内のさまざまな構成要素の制御を調整および提供する。このオペレーティング・システムは、限定はされないがサーバ・システム、パーソナル・コンピュータおよびモバイル・デバイスを含む任意のタイプのコンピューティング・プラットフォーム用の市販オペレーティング・システムとすることができる。オペレーティング・システムとともに、オブジェクト指向プログラミング・システムまたは他のタイプのプログラミング・システムが動作してもよく、これらのプログラミング・システムは、データ処理システム２００上で実行されているプログラムまたはアプリケーションからオペレーティング・システムに呼出しを提供することができる。

オペレーティング・システム、オブジェクト指向プログラミング・システム、および図１のアプリケーション１０５などのアプリケーションまたはプログラムに対する命令は、ストレージ・デバイス上に、例えばハード・ディスク・ドライブ２２６上のコード２２６Ａの形態で置かれており、処理ユニット２０６によって実行するために、主メモリ２０８など、１つまたは複数のメモリのうちの少なくとも１つのメモリにロードすることができる。例示的な実施形態のプロセスは、コンピュータ実施命令を使用して処理ユニット２０６によって実行されてもよく、コンピュータ実施命令は、例えば主メモリ２０８、リード・オンリー・メモリ２２４などのメモリまたは１つもしくは複数の周辺デバイスに置かれていてもよい。

さらに、１つのケースでは、ネットワーク２０１Ａを横切ってリモート・システム２０１Ｂからコード２２６Ａをダウンロードすることができ、リモート・システム２０１Ｂのストレージ・デバイス２０１Ｄには同様のコード２０１Ｃが格納されている。別のケースでは、ネットワーク２０１Ａを横切ってリモート・システム２０１Ｂにコード２２６Ａをダウンロードすることができ、リモート・システム２０１Ｂのストレージ・デバイス２０１Ｄにはダウンロードされたコード２０１Ｃが格納されている。

実施態様に応じて図１～２のハードウェアを変更することができる。図１～２に示されたハードウェアに加えて、または図１～２に示されたハードウェアの代わりに、フラッシュ・メモリ、等価の不揮発性メモリ、または光ディスク・ドライブなどの他の内部ハードウェアまたは周辺デバイスを使用することができる。さらに、例示的な実施形態のプロセスを、マルチプロセッサ・データ処理システムに適用することができる。

例示のためのいくつかの例では、データ処理システム２００をパーソナル・デジタル・アシスタント（ＰＤＡ）とすることができ、ＰＤＡは一般に、オペレーティング・システム・ファイルもしくはユーザ生成データまたはその両方を格納するための不揮発性メモリを提供するフラッシュ・メモリを有するように構成されている。バス・システムは、システム・バス、Ｉ／ＯバスおよびＰＣＩバスなどの１つまたは複数のバスを備えることができる。当然ながら、このバス・システムは、任意のタイプの通信ファブリックまたはアーキテクチャを使用して実施することができ、それらの通信ファブリックまたはアーキテクチャは、そのファブリックまたはアーキテクチャに接続された異なる構成要素またはデバイス間のデータ転送を提供する。

通信ユニットは、データを送受信するために使用される、モデムまたはネットワーク・アダプタなどの１つまたは複数のデバイスを含むことができる。メモリは例えば、主メモリ２０８、またはノース・ブリッジおよびメモリ・コントローラ・ハブ２０２内に見られるキャッシュなどのキャッシュとすることができる。処理ユニットは、１つまたは複数のプロセッサまたはＣＰＵを含むことができる。

図１～２に示された例および上述の例は、アーキテクチャが限定されることを暗示するものではない。例えば、モバイル・デバイスまたはウェアラブル・デバイスの形態をとることに加えて、データ処理システム２００を、タブレット・コンピュータ、ラップトップ・コンピュータまたは電話機とすることもできる。

コンピュータまたはデータ処理システムが、仮想機械、仮想デバイスまたは仮想構成要素として説明されている場合、その仮想機械、仮想デバイスまたは仮想構成要素は、データ処理システム２００内に示された一部または全部の構成要素の仮想化された表現物を使用して、データ処理システム２００の方式で動作する。例えば、仮想機械、仮想デバイスまたは仮想構成要素では、処理ユニット２０６が、ホスト・データ処理システム内で使用可能な全部または一部のハードウェア処理ユニット２０６の仮想化事例として表現され、主メモリ２０８が、ホスト・データ処理システム内で使用可能であってもよい主メモリ２０８の全体または一部分の仮想化事例として表現され、ディスク２２６が、ホスト・データ処理システム内で使用可能であってもよいディスク２２６の全体または一部分の仮想化事例として表現される。このようなケースのホスト・データ処理システムは、データ処理システム２００によって表される。

図３を参照すると、この図は、例示的な一実施形態による例示的なシャード・システム３００のブロック図を示している。図示の実施形態では、シャード・システム３００が、多数のプライマリ・データベース・シャード３１２、３１４、３１６および３１８間で分散したデータ項目に１つまたは複数のクライアント・アプリケーション３２２がアクセスすることができるシャード化データベース３０２を含む。一実施形態では、シャード化データベース３０２が図１のデータベース１０９の例であり、クライアント・アプリケーション３２２が図１のアプリケーション１０５Ａ／１０５Ｂの例である。

シャード・システム３００は、クライアント・アプリケーション３２２ならびにプライマリ・データベース・シャード３１２、３１４、３１６および３１８を含む。システム３００内のクライアント・アプリケーション３２２ならびにプライマリ・データベース・シャード３１２、３１４、３１６および３１８の量は変動しうる。いくつかの実施形態では、プライマリ・データベース・シャード３１２、３１４、３１６および３１８の各々が、システム３００内の他のシャードを認識している必要がない別個の独立したデータベースである。このようないくつかの実施形態では、プライマリ・データベース・シャード３１２、３１４、３１６および３１８の各々が、例えば、別個のデータベース・サーバおよびリレーショナル・データベースを含む。いくつかの実施形態では、別個のコンピューティング・システム上にあってクライアント３２２間で互いに独立して動作する２つ以上のクライアント・アプリケーション３２２がある。このようないくつかの実施形態では、クライアント３２２の各々が、プライマリ・データベース・シャード３１２、３１４、３１６および３１８の中の、特定のデータ項目が格納されているかまたは特定のデータ項目を格納する特定のシャードの識別をその特定のデータ項目のプライマリ・キーに基づいて計算するためにハッシュ関数を利用するソフトウェア・プログラムの別個のインスタンスを実行する。いくつかの実施形態では、そのようなデータ項目が、類似の属性セットに対して異なる値を有する別個のレコードである。

一般に、プライマリ・データベース・シャード３１２、３１４、３１６および３１８のうちの特定の１つのプライマリ・データベース・シャードに既に格納されているデータ項目に対する操作を実行するため、クライアント・アプリケーション３２２は、データベース３０２にデータベース・コマンドを発行することによってそのデータ項目に関する１つまたは複数の命令を実行する。例えば、このような命令は、１つもしくは複数のプライマリ・クエリ・エンジン３０８によって処理されるクエリ・コマンド、または削除マネージャ３０４によって処理される削除コマンドを含みうる。いくつかの実施形態では、データベース３０２が、プライマリ・データベース・シャード３１２～３１８ごとにプライマリ・クエリ・エンジン３０８を含む。例示的な実施形態はさらに、削除されたデータをデータが削除されてから指定された期間内にリストアすることを可能にする、リストア・マネージャ３２４によって処理されるリストア・コマンドを用意している。

本発明の一実施形態によれば、データベース３０２は、削除されたデータをリストアすることができる。これは、システム３００には論理削除シャード（ＳＤＳ）３２０が含まれており、ＳＤＳ３２０が、プライマリ・データベース・シャード３１２、３１４、３１６および３１８から削除されたドキュメントの論理削除ステータスを収容した論理削除ドキュメントを格納しているためである。指定された期間の後、論理削除ドキュメントは、削除されたデータをパージする物理削除プロセスの部分としてパージ・マネージャ３０６によってＳＤＳ３２０から除去される。指定された期間中に、ＳＤＳクエリ・エンジン３１０が、プライマリ・クエリ・エンジン３０８によって実行されたプライマリ・データベース・シャード３１２、３１４、３１６および３１８のそれぞれのクエリに対応するＳＤＳ３２０のクエリを実行する。プライマリ・データベース・シャード３１２、３１４、３１６および３１８の集合体およびＳＤＳ３２０に対してともに同じクエリが実行されるため、ならびにＳＤＳ３２０内のドキュメントは本質的に、論理削除されたプライマリ・データベース・シャード３１２、３１４、３１６および３１８からのドキュメントのコピーであるか、または論理削除されたプライマリ・データベース・シャード３１２、３１４、３１６および３１８からのドキュメントを参照しているため、ＳＤＳクエリ・エンジン３１０がＳＤＳ３２０内でドキュメントを見つけた場合、それは、１つのクエリがＳＤＳ３２０からのドキュメントと整合した場合、その同じクエリが、論理削除されたプライマリ・データベース・シャード３１２、３１４、３１６および３１８からのドキュメントとも整合することを意味する。したがって、データベース３０２は、プライマリ・シャード・クエリ結果の中から、クエリ結果として返されたＳＤＳ３２０ドキュメントによって識別されたクエリ結果を除去する。削除されたドキュメントがクエリ結果に含まれることは期待されていないと推定されるため、この動作は、検索結果から、論理削除されたドキュメントを除去する。

図４を参照すると、この図は、例示的な一実施形態によるシャード化データベース４００のブロック図を示している。一実施形態では、シャード化データベース４００が、図３のデータベース３０２または図１のデータベース１０９の例である。

図示の実施形態では、データベース４００が、削除マネージャ４０２、パージ・マネージャ４０４、クエリ・サブトラクタ（query subtractor）４０６、クエリ・マネージャ４０８、プライマリ・データベース・シャード４１０、４１２および４１４、ＳＤＳ４１６、インデックス・マネージャ４１８、インデックス・エンジン４２０、４２２および４２４、インデックス・シンクロナイザ（index synchronizer）４２６、ＳＤＳインデックス４２８、４３０および４３２、クエリ・アグリゲータ（query aggregator）４３４、プライマリ・クエリ・エンジン４３６、４３８および４４０、ＳＤＳクエリ・エンジン４４２、ならびにリストア・マネージャ４４４を含む。いくつかの実施形態では、本明細書に記載された機能が、ソフトウェアおよび／またはハードウェア・ベースのシステムの組合せ、例えば特定用途向け集積回路（ＡＳＩＣ）、コンピュータ・プログラムまたはスマート・フォン・アプリケーションを含みうる複数のシステム間で分散している。一実施形態では、削除マネージャ４０２が削除マネージャ３０４の例であり、パージ・マネージャ４０４がパージ・マネージャ３０６の例であり、プライマリ・データベース・シャード４１０、４１２および４１４がプライマリ・データベース・シャード３１２、３１４、３１６および３１８の例であり、ＳＤＳ４１６がＳＤＳ３２０の例であり、プライマリ・クエリ・エンジン４３６、４３８および４４０がプライマリ・クエリ・エンジン３０８の例であり、ＳＤＳクエリ・エンジン４４２がＳＤＳクエリ・エンジン３１０の例であり、リストア・マネージャ４４４がリストア・マネージャ３２４の例である。

図示の実施形態では、インデックス・マネージャ４１８が、対応するそれぞれのインデックス・エンジン４２０、４２２および４２４を呼び出すことによって、異なるプライマリ・シャード４１０、４１２および４１４にインデックス・リクエストをディスパッチする。インデックス・エンジン４２０、４２２および４２４はインデックス・リクエストを実行する。それぞれのプライマリ・シャード４１０、４１２および４１４に対して１つのインデックス・エンジン４２０、４２２および４２４が示されているが、代替実施形態は、それぞれのプライマリ・シャードに対して多数のインデックス・エンジンを含む。このようないくつかの実施形態では、データベース４００が、プライマリ・シャード４１０、４１２および４１４に対して１つまたは複数のインデックスを構築する。実施態様に特有の考慮事項に応じてアプリケーションによって使用されることがある多くの異なるタイプのインデックスが存在する。例えば、構造化されていないデータまたは人間言語データについては、テキスト・ブロブをインデックス・エントリに変換するための言語アナライザを有するフル・テキスト・インデックスが使用されることがある。地理空間的または地理時間的データについては、多次元空間における点、多角形および他の形状にインデックスを付けることがある。このようないくつかの実施形態では、データベース４００が、それぞれのインデックス・タイプに対して異なるタイプのインデックス・エンジンを含む。

いくつかの実施形態では、インデックス・シンクロナイザ４２６が、プライマリ・シャード４１０、４１２および４１４の各々に対して存在するインデックスの数およびタイプを整合させるように、ＳＤＳ４１６に対する１つまたは複数のＳＤＳインデックス４２８、４３０および４３２を非同期で構築および更新する。これによって、ＳＤＳ４１６に対するクエリがプライマリ・シャード４１０、４１２および４１４に対するクエリと一貫することが可能になる。

いくつかの実施形態では、クエリ・マネージャ４０８がクライアント・アプリケーションからクエリを受け取った場合に、クエリ・マネージャ４０８が、プライマリ・データ・シャード４１０、４１２および４１４に対してそのクエリを実行するようプライマリ・クエリ・エンジン４３６、４３８および４４０に命令し、さらに、ＳＤＳ４１６に対してそのクエリを実行するようＳＤＳクエリ・エンジン４４２に命令する。クエリ・アグリゲータ４３４は、プライマリ・クエリ・エンジン４３６、４３８および４４０の各々からクエリ結果を受け取り、結果集約を実行して、それらの結果を集約された１つの結果セットに結合する。

クエリ・サブトラクタ４０６は、ＳＤＳクエリ・エンジン４４２が見つけたクエリ結果を受け取る。クエリ・サブトラクタ４０６は、ＳＤＳ４１６に対するクエリからＳＤＤが返されたことを検出することにより、プライマリ・シャード４１０、４１２および４１４からの集約された結果セットが論理削除されたドキュメントを含むことを認識する。クエリ・サブトラクタ４０６は、ＳＤＤを評価することによって、集約された結果セット中のドキュメントの中から、論理削除されたドキュメントを識別することができる。それぞれのＳＤＤは、プライマリ・シャード４１０、４１２および４１４からの論理削除された一意のドキュメントを識別し、そのため、クエリ・サブトラクタ４０６はこの情報を使用して、集約された結果セットの中から論理削除されたドキュメントの位置を突き止める。

例えば、いくつかの実施形態では、ＳＤＤが、プライマリ・シャード４１０、４１２および４１４内の論理削除されたドキュメントのＵＩＤを含み、クエリ・サブトラクタ４０６が、ＳＤＳ４１６に対するクエリから返されたＳＤＤのＵＩＤを有する、クエリ結果の中のドキュメントの位置を突き止めることによって、集約された結果セットの中から論理削除ドキュメントの位置を突き止める。クエリ・サブトラクタ４０６が、クエリ結果の中の論理削除されたドキュメントの位置を突き止めた後、クエリ・サブトラクタ４０６は、その論理削除されたドキュメントをクエリ結果セットから除去する。このクエリ結果セットは、プライマリ・シャード４１０、４１２および４１４からの論理削除されたドキュメントを含まないため、論理削除されたドキュメントを除外することによって、クエリ結果セットは期待通りに出現する。パージ・マネージャは、プライマリ・シャードおよび論理削除シャード内のプライマリ・データおよびインデックスに対して物理削除を実行する。

例示的な一実施形態では、プライマリ・シャード４１０、４１２および４１４内のドキュメントが論理削除された後、そのドキュメントは論理削除された状態に留まり、規定された保存期間の間、リストア・マネージャ４４４によるリストアに対して使用可能である。いくつかの実施形態では、この規定された保存期間が、ユーザによって設定された期間である。アプリケーションは、規定された保存期間に等しい時間または規定された保存期間よりも長い時間の間、論理削除されたままの論理削除されたドキュメントがないか定期的にチェックする。論理削除されたドキュメントが、規定された保存期間の間、論理削除されたままであると、パージ・マネージャ４０４は、その論理削除されたドキュメントを、プライマリ・シャード４１０、４１２および４１４からパージする。いくつかの実施形態では、パージ・マネージャ４０４が、シャード化データベース４００からの指定されたドキュメントに物理削除プロセスを実行することによって、論理削除されたドキュメントをパージする。このようないくつかの実施形態では、物理削除プロセスが、シャード化データベース４００のプライマリ・シャード４１０、４１２または４１４から指定されたドキュメントを削除すること、続いて、インデックス・エンジン４２０、４２２および４２４によってプライマリ・シャード４１０、４１２および４１４のインデックスを更新すること、続いて、ＳＤＳ４１６の論理削除インデックス４２８、４３０および４３２を更新すること、続いて、指定されたドキュメントを識別するＳＤＤを削除することを含む。

図５を参照すると、この図は、例示的な一実施形態によるシャード化データベース５００のブロック図を示している。一実施形態では、シャード化データベース５００が、図４のシャード化データベース４００、図３のデータベース３０２または図１のデータベース１０９の例である。

図示の実施形態では、データベース５００が、プライマリ・シャード５０２～５１６およびＳＤＳ５１８を含む。プライマリ・シャード５０２～５１６はそれぞれ、アドレス指定可能な等しい数のデータ・ストアを含む。図示の実施形態では、プライマリ・シャード５０２～５１６の各々が０ｘ１Ｆ個のアドレスを含んでいるが、この量は変動してもよい。プライマリ・データ・シャード５０２～５１６を横切るデータ分散に関してバランスを維持することが望ましい。これが望ましい１つの理由は、シャードのバランスがくずれた（例えば、容量に近いプライマリ・シャード５０２および空に近いプライマリ・シャード５０４）場合には、１つのプライマリ・シャードに関してはＲＡＭおよびディスク空間が十分に利用されず、別のプライマリ・シャードに関してはＲＡＭおよびディスク空間が過度に利用されるためである。いくつかの実施形態は、実行速度を上げるために、プライマリ・インデックスを、最近使用されたデータとともにＲＡＭの中に維持しようとする。バランスがとれていない状況では、過負荷のシャードのＲＡＭが、データ・セット項目またはインデックスをＲＡＭから追い出し始めるであろう。したがって、プライマリ・シャード５０２～５１６間でバランスのとれたデータ・レベルを維持することが望ましい。

一方で、ＳＤＳ５１８は、一意環境下でデータを格納する（論理削除されたデータだけを格納する）。したがって、いくつかの実施形態では、データベース５００が、プライマリ・シャード５０２～５１６を横切ってデータを均一に分散させるシャード・バランシングを含むが、ＳＤＳ５１８をこのバランシングから除外する。同様に、いくつかの実施形態では、シャード５０２～５１６が、プライマリ・データ・シャードとセカンダリ・データ・シャードの両方を含む（例えばセカンダリ・シャードがデータ複製のために使用される場合）。このようないくつかの実施形態では、プライマリおよびセカンダリ・シャード５０２～５１６を横切ってデータを均一に分散させるためにシャード・バランシングが実行されるが、このシャード・バランシングは、ＳＤＳ５１８をこのシャード・バランシングから除外する。

図６を参照すると、この図は、例示的な一実施形態による例示的なシャード化データベース６００のブロック図を示している。より詳細には、図６は、シャード化データベース６００内のドキュメント（ＤＯＣＢ）に対する削除コマンドの効果を示している。特定の実施形態では、シャード化データベース６００が、図５のシャード化データベース５００、図４のシャード化データベース４００、図３のデータベース３０２または図１のデータベース１０９の例である。

図示の実施形態では、シャード化データベース６００が、３つのプライマリ・シャード、すなわちデータベース・シャードＡ（ＤＢＳＡ）６０２、データベース・シャードＢ（ＤＢＳＢ）６０４およびデータベース・シャードＣ（ＤＢＳＣ）６０６を含む。シャード化データベース６００は、ＤＢＳＢ６０４内のＤＯＣＢを削除するよう命じる削除コマンドを受け取る。このことが、取消し線を有するドキュメントＤＯＣＢを示すことによって図６に示されており、この取消し線は、削除コマンドの結果としてＤＯＣＢが論理削除されたことを示している。しかしながら、削除またはリストア・コマンドによってＤＢＳＢ６０４内の実際のドキュメントＤＯＣＢは変更されないため、ＤＢＳＢ６０４内のＤＯＣＢの取消し線は象徴的であり、説明が目的である。さらに、この削除コマンドの結果として、ＤＯＣＢに対するＳＤＤがＳＤＳ６０８に追加される。次に、ＤＯＣＢに対するＳＤＤがＳＤＳ６０８に追加されたことを反映するように、ＳＤＳインデックスが更新される。ＤＯＣＢが論理削除された状態にある間に、クエリ・マネージャ６１０が、ＤＯＣＢによって満たされるクエリを受け取った場合、ＤＯＣＢは、他のクエリ結果とともにクエリ結果として返される。しかしながら、ＤＯＣＢに対するＳＤＤがＳＤＳ６０８内にあるため、まだ前結果（pre-result）の中にある間にＤＯＣＢは除去される。したがって、最終結果６１２は、論理削除されたドキュメントＤＯＣＢを除外する。

図７を参照すると、この図は、例示的な一実施形態による例示的なシャード化データベース７００のブロック図を示している。より詳細には、図７は、以前に論理削除されたドキュメント（ＤＯＣＢ）に対するリストア・コマンドの効果を示している。特定の実施形態では、シャード化データベース７００が、図５のシャード化データベース５００、図４のシャード化データベース４００、図３のデータベース３０２または図１のデータベース１０９の例である。

図示の実施形態では、シャード化データベース７００が、３つのプライマリ・シャード、すなわちデータベース・シャードＡ（ＤＢＳＡ）７０２、データベース・シャードＢ（ＤＢＳＢ）７０４およびデータベース・シャードＣ（ＤＢＳＣ）７０６を含む。ＤＢＳＢ７０４には、破線の取消し線を有するドキュメントＤＯＣＢが示されており、この破線の取消し線は、以前に論理削除された後にＤＯＣＢがリストアされたことを示している。しかしながら、削除またはリストア・コマンドによってＤＢＳＢ７０４内の実際のドキュメントＤＯＣＢは変更されないため、ＤＢＳＢ７０４内のＤＯＣＢの取消し線は、説明目的の象徴的なものに過ぎない。その代わりに、リストア・コマンドによって引き起こされる実際の変化はＳＤＳ７０８に対するものである。リストア・コマンドの結果として、ＤＯＣＢ ＳＤＤおよびＤＯＣＢ ＳＤＤに対するＳＤＳインデックスが除去される。したがって、ＤＯＣＢを返すクエリ・マネージャ７１０に対する将来のクエリは、前結果および最終結果にＤＯＣＢを含むであろう。

図８を参照すると、この図は、例示的な一実施形態による例示的なシャード化データベース８００のブロック図を示している。より詳細には、図８は、シャード化データベース８００内の論理削除されたドキュメント（ＤＯＣＢ）に対するクエリ・コマンドの効果を示している。特定の実施形態では、シャード化データベース８００が、図５のシャード化データベース５００、図４のシャード化データベース４００、図３のデータベース３０２または図１のデータベース１０９の例である。

図示の実施形態では、シャード化データベース８００が、３つのプライマリ・シャード、すなわちデータベース・シャードＡ（ＤＢＳＡ）８０２、データベース・シャードＢ（ＤＢＳＢ）８０４およびデータベース・シャードＣ（ＤＢＳＣ）８０６を含む。ＤＢＳＢ８０４には、取消し線を有するドキュメントＤＯＣＢが示されており、この取消し線は、ＤＯＣＢが論理削除されたことを示している。しかしながら、削除またはリストア・コマンドによってＤＢＳＢ８０４内の実際のドキュメントＤＯＣＢは変更されないため、ＤＢＳＢ８０４内のＤＯＣＢの取消し線は、説明目的の象徴的なものに過ぎない。したがって、ＤＯＣＢが論理削除された状態にある間、ＳＤＳ８０８は、ＤＯＣＢに対するＳＤＤを含む。クエリ・マネージャ８１０が、ＤＯＣＢによって満たされるクエリを受け取ると、ＤＯＣＢは、他のクエリ結果とともにクエリ結果として返される。しかしながら、ＤＯＣＢに対するＳＤＤがＳＤＳ８０８内にあるため、まだ前結果の中にある間にＤＯＣＢは除去される。したがって、最終結果８１２は、論理削除されたドキュメントＤＯＣＢを除外する。

図９を参照すると、この図は、例示的な一実施形態による例示的なシャード化データベース９００のブロック図を示している。より詳細には、図９は、以前に論理削除されたドキュメント（ＤＯＣＢ）に対する物理削除またはパージング動作の効果を示している。特定の実施形態では、シャード化データベース９００が、図５のシャード化データベース５００、図４のシャード化データベース４００、図３のデータベース３０２または図１のデータベース１０９の例である。

図示の実施形態では、シャード化データベース９００が、３つのプライマリ・シャード、すなわちデータベース・シャードＡ（ＤＢＳＡ）９０２、データベース・シャードＢ（ＤＢＳＢ）９０４およびデータベース・シャードＣ（ＤＢＳＣ）９０６を含む。ＤＢＳＢ９０４には、取消し線を有するドキュメントＤＯＣＢが示されており、この取消し線は、ＤＯＣＢが論理削除されてから規定された保存期間が経過した後にパージ・マネージャ９１０がＤＯＣＢを永久に削除したことを示している。次に、パージ・マネージャ９１０は、ＤＯＣＢ．フィールド５への参照を除去するように、プライマリ・シャードのインデックスを更新する。次に、パージ・マネージャ９１０は、ＳＤＳ９０８の論理削除インデックスを更新する。最後に、パージ・マネージャ９１０はＳＤＳ９０８からＳＤＤを削除し、このことはパージされたドキュメントＤＯＣＢを識別する。

図１０を参照すると、この図は、例示的な一実施形態によるＳＤＳインデックス構築プロセスのタイムライン進行のブロック図を示している。特定の実施形態では、図１０に示されたプロセスが、インデックス・シンクロナイザ１０１０によって実行される。インデックス・シンクロナイザ１０１０は図４のインデックス・シンクロナイザ４２６の例である。

例示的な一実施形態では、ＳＤＳのクエリの効率的な実行を支援するために、インデックス・シンクロナイザ１０１０が、Ｔ１からＴ４までの期間にわたって複数のＳＤＳインデックス１０１２、１０１４および１０１６を構築する。ＳＤＳインデックス１０１２、１０１４および１０１６が完成していない場合（すなわちＴ４よりも前）、データベースは、クエリ・ステートメントと整合するＳＤＤを選択するのにフル・テーブル・スキャンを実行しなければならない。すなわちＳＤＳ内の全てのドキュメントをスキャンしなければならない。ＳＤＳインデックス１０１２、１０１４および１０１６が完成している場合（すなわちＴ４の後）、データベースは、インデックス１０１２、１０１４および１０１６を使用して、クエリ・ステートメントと整合するＳＤＤを選択するために調べるＳＤＤの数を限定する。

いくつかの実施形態では、インデックス・シンクロナイザ１０１０が、ＳＤＳに対する多数のインデックスを構築する。それぞれのインデックスは異なるインデックス・タイプである。図示の実施形態では、インデックス・シンクロナイザ１０１０が、インデックス１０１２、１０１４、１０１６を非同期で構築する。時刻Ｔ１に始まり、インデックス状態１００２から、インデックス・シンクロナイザ１０１０はＳＤＳインデックス１０１２を構築し、ＳＤＳインデックス１０１２は時刻Ｔ２に完成して、インデックス状態１００４を完成させる。時刻Ｔ２に、インデックス状態１００４から、インデックス・シンクロナイザ１０１０は、ＳＤＳインデックス１０１４を構築し、ＳＤＳインデックス１０１４は時刻Ｔ３に完成して、インデックス状態１００６を完成させる。時刻Ｔ３に、インデックス状態１００６から、インデックス・シンクロナイザ１０１０は、ＳＤＳインデックス１０１６を構築し、ＳＤＳインデックス１０１６は時刻Ｔ４に完成して、インデックス状態１００８を完成させる。いくつかの実施形態では、インデックス・シンクロナイザ１０１０が、プライマリ・シャードに対して存在するインデックスの数およびタイプと整合するように、ＳＤＳインデックス１０１２、１０１４および１０１６を構築する。これによって、ＳＤＳに対するクエリがプライマリ・シャードに対するクエリと一貫することが可能になる。

図１１を参照すると、この図は、例示的な一実施形態による、シャード化データベース内のデータの論理削除のための例示的なプロセス１１００のフローチャートを示している。いくつかの実施形態では、データベース３０２、シャード化データベース４００、シャード化データベース５００、シャード化データベース６００、シャード化データベース７００、シャード化データベース８００またはシャード化データベース９００がプロセス１１００を実行する。

一実施形態では、ブロック１１０２で、このプロセスが、指定されたドキュメントをシャード化データベースのプライマリ・シャードから削除するよう求めるリクエストを受け取る。次に、ブロック１１０４で、このプロセスは、指定されたドキュメントを識別する論理削除ドキュメントを論理削除シャードに挿入する。指定されたドキュメントはプライマリ・シャードに残っている。次に、ブロック１１０６で、このプロセスは、クライアント・アプリケーションから第１のクエリを受け取る。指定されたドキュメントは第１のクエリを満たす。次に、ブロック１１０８で、このプロセスは、指定されたドキュメントに関連づけられた論理削除ドキュメントが論理削除シャードに残っている間、第１のクエリに応答して指定されたドキュメントが返されることを阻止する。

図１２Ａおよび１２Ｂを参照すると、これらの図は、例示的な一実施形態による、シャード化データベース内のデータの論理削除のための例示的なプロセス１２００のフローチャートを示している。いくつかの実施形態では、データベース３０２、シャード化データベース４００、シャード化データベース５００、シャード化データベース６００、シャード化データベース７００、シャード化データベース８００またはシャード化データベース９００がプロセス１２００を実行する。

一実施形態では、ブロック１２０２で、このプロセスが、入来データベース・コマンドがないかチェックする。次に、ブロック１２０４で、このプロセスが削除コマンドを受け取った場合、プロセスはブロック１２０６に進み、このプロセスがリストア・コマンドを受け取った場合、プロセスはブロック１２１０に進み、このプロセスがクエリ・コマンドを受け取った場合、プロセスはブロック１２１２に進み、このプロセスがコマンドを受け取っていない場合、プロセスはブロック１２２６に進む。

このプロセスが削除コマンドを受け取った場合、ブロック１２０６で、このプロセスは、論理削除シャード内で、削除コマンドによって指定されたドキュメントを識別する新たな論理削除ドキュメントを作成する。次に、ブロック１２０９で、このプロセスは、新たに追加された論理削除ドキュメントを反映するように論理削除シャード・シーケンスを更新する。

このプロセスがリストア・コマンドを受け取った場合、ブロック１２１０で、このプロセスは、論理削除シャードから、リストア・リクエストの中で指定されたドキュメントを識別する論理削除ドキュメントを削除する。次に、ブロック１２０８で、このプロセスは、新たに除去された論理削除ドキュメントを反映するように論理削除シャード・シーケンスを更新する。

このプロセスがクエリ・コマンドを受け取った場合、ブロック１２１２で、このプロセスは、プライマリ・シャード内でクエリを実行し、クエリ結果を集約する。次に、ブロック１２１４で、このプロセスは、論理削除シャードに対して使用可能な完成したインデックスがあるかどうかを判定し、そのようなインデックスがある場合、プロセスはブロック１２１６に進み、そのようなインデックスがない場合、プロセスはブロック１２１８に進む。ブロック１２１６で、完成したインデックスがＳＤＳに対して使用可能であるとこのプロセスが判定した場合、このプロセスは、そのＳＤＳインデックスを使用してＳＤＳ内でクエリを実行する。一方、ブロック１２１８で、完成したインデックスがＳＤＳに対して使用可能でないとこのプロセスが判定した場合、このプロセスは、フル・テーブル・スキャンを使用してＳＤＳ内でクエリを実行する。ブロック１２２０で、このプロセスは、ブロック１２１６またはブロック１２１８におけるクエリが結果を返したかどうかを判定する。結果を返した場合、プロセスはブロック１２２２に進み、結果を返さなかった場合、プロセスはブロック１２２４に進む。ブロック１２２２で、プライマリ・シャードおよびＳＤＳに対しては同じクエリが実行されるため、およびＳＤＳ内のドキュメントは本質的に、論理削除されたプライマリ・シャードからのドキュメントのコピーであるため、クエリがＳＤＳからのドキュメントと整合する場合、そのクエリは、論理削除されたプライマリ・シャードからのドキュメントとも整合するであろう。したがって、ブロック１２２２で、このプロセスは、集約されたプライマリ・シャード・クエリ結果の中から、クエリ結果として返されたＳＤＳドキュメントによって識別されたクエリ結果を除去する。削除されたドキュメントがクエリ結果に含まれることは期待されていないと推定されるため、この動作は、検索結果から、論理削除されたドキュメントを除去する。次に、ブロック１２２４で、このプロセスは、（ＳＤＳ整合によって除去された結果を含まない）集約されたプライマリ・シャード・クエリ結果を返すことでクエリに応答する。

このプロセスがコマンドを受け取っていない場合、ブロック１２２６で、このプロセスは、いずれかのＳＤＳドキュメントの保存期間が期限切れになったかどうかをチェックする。期限切れになった場合、このプロセスは続いて、保存期間が期限切れになったそれぞれのＳＤＳドキュメントに対してブロック１２２８、１２３０、１２３２および１２３４を実行する。一実施形態では、ブロック１２２８、１２３０、１２３２および１２３４を実行することが、シャード化データベースからドキュメントを物理削除することに等しい。ブロック１２２８で、このプロセスは、プライマリ・シャードから、期限切れのＳＤＳドキュメントによって識別されたドキュメントを削除する。次に、ブロック１２３０で、このプロセスは、プライマリ・シャードからのドキュメントの削除を反映するように、プライマリ・シャードに対するインデックスを更新する。次に、ブロック１２３２で、このプロセスは、期限切れのＳＤＳドキュメントの削除を反映するようにＳＤＳインデックスを更新する。最後に、ブロック１２３４で、このプロセスは、期限切れのＳＤＳドキュメントを削除する。

特許請求の範囲および本明細書の解釈のために、以下の定義および略語が使用される。本明細書で使用されるとき、用語「備える（comprises）」、「備えている（comprising）」、「含む（includes）」、「含んでいる（including）」、「有する（has）」、「有している（having）」、「含有する（contains）」もしくは「含有している（containing）」、またはこれらの用語の他の変異語は、非排他的包含（non-exclusive inclusion）をカバーすることが意図されている。例えば、要素のリストを含む組成物、混合物、プロセス、方法、物品または装置は、必ずしもそれらの要素だけに限定されるわけではなく、明示的にはリストに入れられていない他の要素、あるいはこのような組成物、混合物、プロセス、方法、物品または装置に固有の他の要素を含みうる。

さらに、本明細書では、用語「例示的な」が、「例、事例または実例として役立つ」ことを意味するものとして使用されている。本明細書に「例示的」として記載された実施形態または設計は必ずしも、他の実施形態または設計よりも好ましいまたは有利であるとは解釈されない。用語「少なくとも１つの」および「１つまたは複数の」は、１以上の任意の整数、すなわち１、２、３、４などを含むと理解される。用語「複数」は、２以上の任意の整数、すなわち２、３、４、５などを含むと理解される。用語「接続」は、間接「接続」および直接「接続」を含みうる。

本明細書において「一実施形態」、「実施形態」、「例示的な実施形態」などに言及されているとき、それは、記載されたその実施形態は特定の特徴、構造もしくは特性を含みうるが、全ての実施形態がその特定の特徴、構造もしくは特性を含むことがあり、またはそうではないこともあることを示す。さらに、このような句が、同じ実施形態を指しているとは限らない。さらに、１つの実施形態に関して特定の特徴、構造または特性が記載されているとき、明示的に記載されているか否かを問わず、他の実施形態に関してそのような特徴、構造または特性に影響を及ぼすことは、当業者の知識の範囲内にあると考えられる。

用語「約」、「実質的に」、「およそ」およびこれらの用語の変異語は、特定の数量の大きさに関連した、本出願の提出時に利用可能な機器に基づく誤差の程度を含むことが意図されている。例えば、「約」は、所与の値の±８％、５％または２％の範囲を含みうる。

本発明のさまざまな実施形態の以上の説明は、例示のために示したものであり、以上の説明が網羅的であること、または、以上の説明が、開示された実施形態に限定されることは意図されていない。当業者には、記載された実施形態の範囲を逸脱しない多くの変更および変形が明らかとなろう。本明細書で使用した用語は、実施形態の原理、実用的用途、もしくは市販されている技術にはない技術的改良点を最もよく説明するように、または本明細書に開示された実施形態を当業者が理解できるように選択された。

したがって、これらの例示的な実施形態では、オンライン・コミュニティへの参加および他の関連特徴、機能または操作を管理するために、コンピュータ実施方法、システムまたは装置、およびコンピュータ・プログラム製品が提供される。実施形態またはその部分が１つのタイプのデバイスに関して説明されている場合、このコンピュータ実施方法、システムもしくは装置、コンピュータ・プログラム製品、またはこれらの一部分は、そのタイプのデバイスの適当な匹敵する表現物とともに使用されるように適合または構成される。

アプリケーションで実施されるように実施形態が説明されている場合には、例示的な実施形態の範囲内で、ソフトウェア・アズ・ア・サービス（ＳａａＳ）モデルにアプリケーションを送達することが企図される。ＳａａＳモデルでは、クラウド・インフラストラクチャ内でアプリケーションを実行することによって、実施形態を実施するアプリケーションの機能がユーザに提供される。ユーザは、ウェブ・ブラウザなどのシン・クライアント・インタフェース（例えばウェブ・ベースの電子メール）を通してさまざまなクライアント・デバイスを使用して、または他の軽量クライアント・アプリケーションを使用して、アプリケーションにアクセスすることができる。ユーザは、クラウド・インフラストラクチャのネットワーク、サーバ、オペレーティング・システムまたはストレージを含む基礎をなすクラウド・インフラストラクチャを管理もまたは制御もしない。いくつかのケースでは、ユーザが、ＳａａＳアプリケーションの機能を管理もまたは制御もしなくてもよい。他のいくつかのケースでは、アプリケーションのＳａａＳ実施態様が、制限されたユーザ特定のアプリケーション構成セッティングの可能な例外を可能にすることができる。

本発明は、統合化の可能な技術的詳細レベルにある、システム、方法もしくはコンピュータ・プログラム製品、またはこれらの組合せであることがある。このコンピュータ・プログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読ストレージ媒体を含むことがある。

このコンピュータ可読ストレージ媒体は、命令実行デバイスが使用するための命令を保持および格納することができる有形のデバイスとすることができる。このコンピュータ可読ストレージ媒体は例えば、限定はされないが、電子ストレージ・デバイス、磁気ストレージ・デバイス、光ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイスまたはこれらの適当な組合せとすることができる。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、リード・オンリー・メモリ（ＲＯＭ）、消去可能なプログラマブル・リード・オンリー・メモリ（ＥＰＲＯＭまたはフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク・リード・オンリー・メモリ（ＣＤ－ＲＯＭ）、デジタル・バーサタイル・ディスク（ＤＶＤ）、メモリ・スティック、フロッピー（Ｒ）・ディスク、機械的にコード化されたデバイス、例えばパンチカードまたはその上に命令が記録された溝の中の一段高くなった構造体、およびこれらの適当な組合せを含む。本明細書で使用されるとき、コンピュータ可読ストレージ媒体は、それ自体が一過性の信号、例えば電波もしくは他の自由に伝搬する電磁波、ウェーブガイドもしくは他の伝送体内を伝搬する電磁波（例えば光ファイバ・ケーブル内を通る光パルス）、または電線を通して伝送される電気信号であると解釈されるべきではない。

本明細書に記載されたコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体から対応するそれぞれのコンピューティング／処理デバイスにダウンロードすることができ、またはネットワーク、例えばインターネット、ローカル・エリア・ネットワーク、ワイド・エリア・ネットワークもしくは無線ネットワークまたはこれらの組合せを介して外部コンピュータもしくは外部ストレージ・デバイスにダウンロードすることができる。このネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータもしくはエッジ・サーバ、またはこれらの組合せを含むことができる。それぞれのコンピューティング／処理デバイス内のネットワーク・アダプタ・カードまたはネットワーク・インタフェースは、コンピュータ可読プログラム命令をネットワークから受信し、それらのコンピュータ可読プログラム命令を、対応するそれぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体に格納するために転送する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、機械命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、もしくは集積回路用のコンフィギュレーション・データであってもよく、またはＳｍａｌｌｔａｌｋ（Ｒ）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同種のプログラミング言語などの手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組合せで書かれた、ソース・コードもしくはオブジェクト・コードであってもよい。このコンピュータ可読プログラム命令は、全体がユーザのコンピュータ上で実行されてもよく、一部がユーザのコンピュータ上で実行されてもよく、独立型ソフトウェア・パッケージとして実行されてもよく、一部がユーザのコンピュータ上で、一部がリモート・コンピュータ上で実行されてもよく、または全体がリモート・コンピュータもしくはリモート・サーバ上で実行されてもよい。上記の最後のシナリオでは、リモート・コンピュータが、ローカル・エリア・ネットワーク（ＬＡＮ）もしくはワイド・エリア・ネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続されてもよく、またはこの接続が、外部コンピュータに対して（例えばインターネット・サービス・プロバイダを使用してインターネットを介して）実施されてもよい。いくつかの実施形態では、本発明の態様を実行するために、例えばプログラム可能論理回路、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ）またはプログラム可能論理アレイ（ＰＬＡ）を含む電子回路が、このコンピュータ可読プログラム命令の状態情報を利用してその電子回路をパーソナライズすることにより、このコンピュータ可読プログラム命令を実行してもよい。

本明細書では、本発明の態様が、本発明の実施形態による方法、装置（システム）およびコンピュータ・プログラム製品のフローチャートもしくはブロック図またはその両方の図を参照して説明される。それらのフローチャートもしくはブロック図またはその両方の図のそれぞれのブロック、およびそれらのフローチャートもしくはブロック図またはその両方の図のブロックの組合せは、コンピュータ可読プログラム命令によって実施することができることが理解される。

これらのコンピュータ可読プログラム命令は、コンピュータのプロセッサまたは他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャートもしくはブロック図またはその両方の図のブロックに指定された機能／動作を実施する手段を生成するような態様で、汎用コンピュータのプロセッサ、専用コンピュータのプロセッサ、または他のプログラム可能データ処理装置のプロセッサに提供されて、マシンを作り出すものであってよい。これらのコンピュータ可読プログラム命令はさらに、命令が格納されたコンピュータ可読ストレージ媒体が、フローチャートもしくはブロック図またはその両方の図のブロックに指定された機能／操作の態様を実施する命令を含む製品を含むような態様で、コンピュータ可読ストレージ媒体に格納され、コンピュータ、プログラム可能データ処理装置もしくは他のデバイスまたはこれらの組合せに特定の方式で機能するように指示することができるものであってもよい。

これらのコンピュータ可読プログラム命令はさらに、コンピュータ、他のプログラム可能装置または他のデバイス上で実行される命令が、フローチャートもしくはブロック図またはその両方の図のブロックに指定された機能／操作を実施するような態様で、コンピュータによって実施されるプロセスを生み出すために、コンピュータ、他のプログラム可能データ処理装置または他のデバイス上にロードされ、コンピュータ、他のプログラム可能装置または他のデバイス上で一連の動作ステップを実行させるものであってもよい。

添付図中のフローチャートおよびブロック図は、本発明のさまざまな実施形態によるシステム、方法およびコンピュータ・プログラム製品の可能な実施態様のアーキテクチャ、機能および動作を示す。この点に関して、それらのフローチャートまたはブロック図のそれぞれのブロックは、指定された論理機能を実施する１つまたは複数の実行可能命令を含む、命令のモジュール、セグメントまたは部分を表すことがある。いくつかの代替実施態様では、ブロックに示された機能を、図に示された順序とは異なる順序で実行することができる。例えば、例えば、連続して示された２つのブロックが実際は実質的に同時に実行されること、または含まれる機能によってはそれらのブロックが時に逆の順序で実行されることもある。それらのブロック図もしくはフローチャートまたはその両方の図のそれぞれのブロック、ならびにそれらのブロック図もしくはフローチャートまたはその両方の図のブロックの組合せを、指定された機能もしくは操作を実行しまたは専用ハードウェアとコンピュータ命令の組合せを実行するハードウェア・ベースの専用システムによって実施することができることにも留意すべきである。

本発明の実施形態を、顧客企業、非営利組織、政府実体、内部組織構造体などとのサービス契約の一部として送達することもできる。これらの実施形態の態様は、本明細書に記載された方法の一部もしくは全部を実施するソフトウェア、ハードウェアおよびウェブ・サービスを実行および展開するようにコンピュータ・システムを構成することを含むことができる。これらの実施形態の態様はさらに、クライアントの操作を解析すること、解析に応答して推奨を生成すること、推奨の部分を実施するシステムを構築すること、既存のプロセスおよびインフラストラクチャにシステムを統合すること、システムの使用を計量すること、システムのユーザに費用を割り当てること、ならびにシステムの使用に対して課金することを含むことができる。本発明の上記の実施形態はそれぞれ、それらの個々の利点を述べることによって説明したが、本発明は、それらの特定の組合せに限定されない。反対に、そのような実施形態を、それらの有益な効果を失うことなしに、本発明の意図された展開に従って、任意のやり方および数で組み合わせることもできる。

Claims (20)

1. コンピュータ実施方法であって、
   指定されたドキュメントをシャード化データベースのプライマリ・シャードから削除するよう求めるリクエストを受け取ること、
   前記指定されたドキュメントを識別する論理削除ドキュメントを論理削除シャードに挿入することであり、前記指定されたドキュメントが前記プライマリ・シャードに残っている、前記挿入すること、
   クライアント・アプリケーションからクエリを受け取ることであり、前記指定されたドキュメントが前記クエリを満たす、前記受け取ること、および
   前記指定されたドキュメントに関連づけられた前記論理削除ドキュメントが前記論理削除シャードに残っている間は、前記クエリに応答して前記指定されたドキュメントが返されることを阻止すること
   を含むコンピュータ実施方法。
2. 前記シャード化データベースがＮｏＳＱＬデータベースである、請求項１に記載のコンピュータ実施方法。
3. 前記指定されたドキュメントを前記シャード化データベースにリストアするよう求めるリストア・リクエストを受け取ること、および
   前記リストア・リクエストに応答して、前記指定されたドキュメントを前記シャード化データベースにリストアすることであり、前記リストアすることが、前記論理削除シャードから前記論理削除ドキュメントを除去することを含む、前記リストアすること
   をさらに含む、請求項１に記載のコンピュータ実施方法。
4. 前記論理削除ドキュメントが、前記指定されたドキュメントの一意識別子（ＵＩＤ）と前記指定されたドキュメントを指すポインタとを含む、請求項１に記載のコンピュータ実施方法。
5. 前記クエリをプライマリ・データ・シャードに対して実行すること
   をさらに含む、請求項４に記載のコンピュータ実施方法。
6. 前記クエリを前記論理削除シャードに対して実行すること、および
   前記論理削除シャードに対する前記クエリから返された前記論理削除ドキュメントが前記プライマリ・データ・シャードに対する前記クエリから返された前記指定されたドキュメントと整合していることを検出することによって、論理削除された検索結果を識別すること
   をさらに含む、請求項５に記載のコンピュータ実施方法。
7. 前記論理削除された検索結果を識別することが、
   前記論理削除シャードに対する前記クエリから返された前記論理削除ドキュメントの前記ＵＩＤが前記プライマリ・データ・シャードに対する前記クエリから返された前記指定されたドキュメントの前記ＵＩＤと整合していることを検出することを含む、
   請求項６に記載のコンピュータ実施方法。
8. 前記論理削除された検索結果を識別したことに応答して、前記プライマリ・データ・シャードに対する前記クエリから返されることから前記指定されたドキュメントを除去すること
   をさらに含む、請求項６に記載のコンピュータ実施方法。
9. 前記論理削除シャードへの前記論理削除ドキュメントの前記挿入に応答して、前記論理削除ドキュメントに対する前記論理削除シャードの論理削除インデックスを構築すること
   をさらに含む、請求項５に記載のコンピュータ実施方法。
10. 前記クエリを受け取ったことに応答して、前記論理削除インデックスが未完成であると判定すること、および
    前記論理削除インデックスが未完成であると判定したことに応答して、前記論理削除シャードに対する前記クエリをフル・テーブル・スキャンを使用して実行すること
    をさらに含む、請求項９に記載のコンピュータ実施方法。
11. 前記クエリを受け取ったことに応答して、前記論理削除インデックスが完成していると判定すること、および
    前記論理削除インデックスが完成していると判定したことに応答して、前記論理削除シャードに対する前記クエリを前記論理削除インデックスを使用して実行すること
    をさらに含む、請求項１０に記載のコンピュータ実施方法。
12. 前記指定されたドキュメントを削除するよう求める前記リクエストを受け取ってからの時間が規定された保存期間に達したことを検出すること、および
    前記指定されたドキュメントを前記シャード化データベースからパージする物理削除プロセスを実行すること
    をさらに含む、請求項１に記載のコンピュータ実施方法。
13. 前記物理削除プロセスが、
    前記指定されたドキュメントを前記シャード化データベースの前記プライマリ・シャードから削除すること、
    前記プライマリ・シャードからの前記指定されたドキュメントの削除を反映するように前記プライマリ・シャードのインデックスを更新すること、
    前記論理削除シャードからの前記論理削除ドキュメントの削除を反映するように前記論理削除シャードの論理削除インデックスを更新すること、および
    前記論理削除ドキュメントを前記論理削除シャードから削除すること
    を含む、請求項１２に記載のコンピュータ実施方法。
14. コンピュータ・プログラム製品であって、前記コンピュータ・プログラム製品が、１つまたは複数のコンピュータ可読ストレージ媒体と、前記１つまたは複数のコンピュータ可読ストレージ媒体上に集合的に格納されたプログラム命令とを含み、前記プログラム命令が、プロセッサによって、
    指定されたドキュメントをシャード化データベースのプライマリ・シャードから削除するよう求めるリクエストを受け取ること、
    前記指定されたドキュメントを識別する論理削除ドキュメントを論理削除シャードに挿入することであり、前記指定されたドキュメントが前記プライマリ・シャードに残っている、前記挿入すること、
    クライアント・アプリケーションからクエリを受け取ることであり、前記指定されたドキュメントが前記クエリを満たす、前記を受け取ること、および
    前記指定されたドキュメントに関連づけられた前記論理削除ドキュメントが前記論理削除シャードに残っている間は、前記クエリに応答して前記指定されたドキュメントが返されることを阻止すること
    を含む操作を前記プロセッサに実行させるように実行可能である、コンピュータ・プログラム製品。
15. 前記格納されたプログラム命令が、データ処理システム内のコンピュータ可読ストレージ・デバイスに格納されており、前記格納されたプログラム命令が、ネットワークを横切って遠隔データ処理システムから転送される、請求項１４に記載のコンピュータ・プログラム製品。
16. 前記格納されたプログラム命令が、サーバ・データ処理システム内のコンピュータ可読ストレージ・デバイスに格納されており、前記格納されたプログラム命令が、リクエストに応答して、ネットワークを横切って遠隔データ処理システムに、前記遠隔データ処理システムに関連づけられたコンピュータ可読ストレージ・デバイスで使用するためにダウンロードされ、前記コンピュータ・プログラム製品がさらに、
    前記リクエストに関連した前記プログラム命令の使用を計量するよう命じるプログラム命令と、
    計量された前記使用に基づいてインボイスを生成するよう命じるプログラム命令と
    を含む、請求項１４に記載のコンピュータ・プログラム製品。
17. 前記指定されたドキュメントを前記シャード化データベースにリストアするよう求めるリストア・リクエストを受け取ること、および
    前記リストア・リクエストに応答して、前記指定されたドキュメントを前記シャード化データベースにリストアすることであり、前記リストアすることが、前記論理削除シャードから前記論理削除ドキュメントを除去することを含む、前記リストアすること
    をさらに含む、請求項１４に記載のコンピュータ・プログラム製品。
18. 前記クエリをプライマリ・データ・シャードに対して実行すること、
    前記クエリを前記論理削除シャードに対して実行すること、および
    前記論理削除シャードに対する前記クエリから返された前記論理削除ドキュメントが前記プライマリ・データ・シャードに対する前記クエリから返された前記指定されたドキュメントと整合していることを検出することによって、論理削除された検索結果を識別すること
    をさらに含む、請求項１４に記載のコンピュータ・プログラム製品。
19. コンピュータ・システムであって、前記コンピュータ・システムが、プロセッサおよび１つまたは複数のコンピュータ可読ストレージ媒体と、前記１つまたは複数のコンピュータ可読ストレージ媒体上に集合的に格納されたプログラム命令とを含み、前記プログラム命令が、前記プロセッサによって、
    指定されたドキュメントをシャード化データベースのプライマリ・シャードから削除するよう求めるリクエストを受け取ること、
    前記指定されたドキュメントを識別する論理削除ドキュメントを論理削除シャードに挿入することであり、前記指定されたドキュメントが前記プライマリ・シャードに残っている、前記挿入すること、
    クライアント・アプリケーションからクエリを受け取ることであり、前記指定されたドキュメントが前記クエリを満たす、前記受け取ること、および
    前記指定されたドキュメントに関連づけられた前記論理削除ドキュメントが前記論理削除シャードに残っている間は、前記クエリに応答して前記指定されたドキュメントが返されることを阻止すること
    を含む操作を前記プロセッサに実行させるように実行可能である、コンピュータ・システム。
20. 前記指定されたドキュメントを前記シャード化データベースにリストアするよう求めるリストア・リクエストを受け取ること、および
    前記リストア・リクエストに応答して、前記指定されたドキュメントを前記シャード化データベースにリストアすることであり、前記リストアすることが、前記論理削除シャードから前記論理削除ドキュメントを除去することを含む、前記リストアすること
    をさらに含む、請求項１９に記載のコンピュータ・システム。