JP6198090B2 - サーバに基づいてデータストリーム分割点を探索するための方法およびサーバ - Google Patents

Description

本発明は、情報技術の分野、詳細には、サーバに基づいてデータストリーム分割点を探索するための方法およびサーバに関する。

データ量は増大し続けているので、現在、記憶分野において十分なデータ記憶を提供することが、重大な課題になっている。現在、そのような課題に対処する形態は、記憶される必要があるデータの冗長性の特徴による重複排除技術を使用することであり、それによって記憶されるデータの量を減少させる。

先行技術におけるコンテンツ定義されたチャンク（Content Defined Chunk、CDC）に基づいて重複データを除去するアルゴリズムにおいて、記憶されるべきデータストリームは、まず、複数のデータチャンクに分割される。データストリームをデータチャンクに分割するために、データストリーム内で適切な分割点が見出される必要があり、データストリーム内の2個の隣接する分割点の間のデータは1個のデータチャンクを形成する。データチャンクの特徴値が計算され、それによって同じ特徴値を有するデータチャンクが存在するかどうかを見出す。同じ特徴値を有するデータチャンクが見出されたならば、重複データが存在するとみなされる。具体的には、コンテンツ定義されたチャンクに基づいて重複データを除去する技術において、ファイルの内容に基づいてチャンクの分割点を探索するためにスライディング・ウィンドウ技法（Sliding Window Technique）が適用され、すなわち、データストリーム分割点を判定するためにウィンドウ内のデータのRabinフィンガープリントが計算される。分割点はデータストリーム内で左から右へ探索されると仮定する。スライディング・ウィンドウ内のデータのフィンガープリントは毎回計算され、与えられた整数Kに基づいてフィンガープリント値についてモジュロ演算が行われた後、モジュロ演算の結果は与えられた剰余Rと比較される。モジュロ演算の結果が与えられた剰余Rに等しいならば、ウィンドウの右端がデータストリーム分割点である。そうでなければ、ウィンドウは１バイトだけ右の方へスライドされ続け、データストリームの端に到達するまで、計算および比較は順次的かつ周期的に行われる。コンテンツ定義されたデータチャンクに基づいて重複データを除去するプロセスにおいて、データストリーム分割点を探索するために大量の計算リソースが消費される必要があり、従って、これは重複データを除去する性能の向上においてボトルネックになる。

第１の態様によれば、本発明の実施例は、サーバに基づいてデータストリーム分割点を探索するための方法を提供し、ここで規則がサーバにおいて予め設定され、ここで規則は、潜在的な分割点kについて、M個の点p_x、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数であり、方法は、
(a)規則に従って、現在の潜在的な分割点k_iについて、点p_izおよび点p_izに対応するウィンドウW_iz[p_iz-A_z, p_iz+B_z]を決定するステップであって、iおよびzは整数であり、1≦z≦Mである、ステップと、
(b)ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って点p_izからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得し、ステップ(a)を行うステップであって、N*Uは

より大きくない、ステップと、
(c)現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[p_ix-A_x, p_ix+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすとき、データストリーム分割点として現在の潜在的な分割点k_iを選択するステップと、
を含む。

第１の態様を参照して、第１の可能な実現形態において、規則は、少なくとも2個の点p_eおよびp_fが条件A_e=A_f、B_e=B_f、およびC_e=C_fを満たすことをさらに含む。

第１の態様の第１の可能な実現形態を参照して、第２の可能な実現形態において、規則は、潜在的な分割点kに関して、少なくとも2個の点p_eおよびp_fがデータストリーム分割点を探索する方向と反対の方向にあることをさらに含む。

第１の態様の第１の可能な実現形態または第２の可能な実現形態を参照して、第３の可能な実現形態において、規則は、少なくとも2個の点p_eとp_fの間の間隔が1 Uであることをさらに含む。

第１の態様、または第１の態様の第１から第３の可能な実現形態のいずれか１つを参照して、第４の可能な実現形態において、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することを含む。

第１の態様の第４の可能な実現形態を参照して、第５の可能な実現形態において、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、hash関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することである。

第１の態様、または第１の態様の第１から第５の可能な実現形態のいずれか１つを参照して、第６の可能な実現形態において、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って点p_izからデータストリーム分割点を探索するためのN個の最小単位Uがスキップされ、それによって新しい潜在的な分割点を取得し、規則に従って、新しい潜在的な分割点について決定された点p_icに対応するウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界はウィンドウW_iz[p_iz-A_z, p_iz+B_z]の右の境界と一致し、または新しい潜在的な分割点について決定された点p_icに対応するウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界はウィンドウW_iz[p_iz-A_z, p_iz+B_z]の範囲内にあり、ここで新しい潜在的な分割点について決定された点p_icは、規則に従って新しい潜在的な分割点について決定されたM個の点の、データストリーム分割点を探索する方向に従って取得されたシーケンス内で１番目の順位を有する点である。

第１の態様の第４の可能な実現形態を参照して、第７の可能な実現形態において、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のFバイトを選択し、Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、ここでF≧1であり、各バイトは8ビットで形成され、これらはF*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、F*Hバイトに対応するビットは

と表現されることが可能であり、ここでa_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、ここでa_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aはF*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、行列V_aは

と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、行列Rは

と表現され、行列V_aのm番目の行および行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たす。

第２の態様によれば、本発明の実施例は、サーバに基づいてデータストリーム分割点を探索するための方法を提供し、ここで規則がサーバにおいて予め設定され、ここで規則は、潜在的な分割点kについて、M個のウィンドウW_x[k-A_x, k+B_x]およびウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数であり、
方法は、
(a)規則に従って、現在の潜在的な分割点k_iについて、対応するウィンドウW_iz[k_i-A_z, k_i+B_z]を決定するステップであって、iおよびzは整数であり、1≦z≦Mである、ステップと、
(b)ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って現在の潜在的な分割点k_iからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得し、ステップ(a)を行うステップであって、N*Uは

より大きくない、ステップと、
(c)現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[k_i-A_x, k_i+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすとき、データストリーム分割点として現在の潜在的な分割点k_iを選択するステップと、
を含む。

第２の態様を参照して、 第１の可能な実現形態において、規則は、少なくとも2個のウィンドウW_ie[k_i-A_e, k_i+B_e]およびW_if[k_i-A_f, k_i+B_f]が条件|A_e+B_e|=|A_f+B_f|およびC_e=C_fを満たすことをさらに含む。

第２の態様の第１の可能な実現形態を参照して、第２の可能な実現形態において、規則は、A_eおよびA_fが正の整数であることをさらに含む。

第２の態様の第１の可能な実現形態または第２の可能な実現形態を参照して、第３の可能な実現形態において、規則は、A_e-1=A_fおよびB_e+1=B_fをさらに含む。

第２の態様、または第２の態様の第１から第３の可能な実現形態のいずれか１つを参照して、第４の可能な実現形態において、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することを含む。

第２の態様の第４の可能な実現形態を参照して、第５の可能な実現形態において、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、hash関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することである。

第２の態様、または第２の態様の第１から第５の可能な実現形態のいずれか１つを参照して、第６の可能な実現形態において、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って現在の潜在的な分割点k_iからデータストリーム分割点を探索するためのN個の最小単位Uがスキップされ、それによって新しい潜在的な分割点を取得し、規則に従って、新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界はウィンドウW_iz[k_i-A_z, k_i+B_z]の右の境界と一致し、または新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界はウィンドウW_iz[k_i-A_z, k_i+B_z]の範囲内にあり、ここで新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]は、規則に従って新しい潜在的な分割点について決定されたM個のウィンドウの、データストリーム分割点を探索する方向に従って取得されたシーケンス内で１番目の順位を有するウィンドウである。

第２の態様の第４の可能な実現形態を参照して、第７の可能な実現形態において、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
ウィンドウW_iz[k_i-A_z, k_i+B_z]内のFバイトを選択し、Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、ここでF≧1であり、各バイトは8ビットで形成され、これらはF*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、F*Hバイトに対応するビットは

と表現されることが可能であり、ここでa_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、ここでa_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aはF*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、行列V_aは

と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、行列Rは

と表現され、行列V_aのm番目の行および行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たす。

第３の態様によれば、本発明の実施例は、データストリーム分割点を探索するためのサーバを提供し、ここでサーバは中央処理ユニットおよび主メモリを含み、中央処理ユニットは主メモリと通信し、規則がサーバにおいて予め設定され、ここで規則は、潜在的な分割点kについて、M個の点p_x、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数であり、
主メモリは、実行可能な命令を記憶するように構成され、中央処理ユニットは実行可能な命令を実行して次のステップ、
(a)規則に従って、現在の潜在的な分割点k_iについて、点p_izおよび点p_izに対応するウィンドウW_iz[p_iz-A_z, p_iz+B_z]を決定するステップであって、ここでiおよびzは整数であり、1≦z≦Mである、ステップと、
(b)ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って点p_izからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得し、ステップ(a)を行うステップであって、N*Uは

より大きくない、ステップと、
(c)現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[p_ix-A_x, p_ix+B_x]内のデータの少なくとも一部が予め設定された条件C_zを満たすとき、データストリーム分割点として現在の潜在的な分割点k_iを選択するステップと、
を行う。

第３の態様を参照して、第１の可能な実現形態において、規則は、少なくとも2個の点p_eおよびp_fが条件A_e=A_f、B_e=B_f、およびC_e=C_fを満たすことをさらに含む。

第３の態様の第１の可能な実現形態を参照して、第２の可能な実現形態において、規則は、潜在的な分割点kに関して、少なくとも2個の点p_eおよびp_fがデータストリーム分割点を探索する方向と反対の方向にあることをさらに含む。

第３の態様の第１の可能な実現形態または第２の可能な実現形態を参照して、第３の可能な実現形態において、規則は、少なくとも2個の点p_eとp_fの間の間隔が1 Uであることをさらに含む。

第３の態様、または第１から第３の可能な実現形態のいずれか１つを参照して、第４の可能な実現形態において、中央処理ユニットは、具体的には、
ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するように構成される。

第３の態様の第４の可能な実現形態を参照して、第５の可能な実現形態において、中央処理ユニットは、具体的には、hash関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するように構成される。

第３の態様、または第１から第５の可能な実現形態のいずれか１つを参照して、第６の可能な実現形態において、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って点p_izからデータストリーム分割点を探索するためのN個の最小単位Uがスキップされ、それによって新しい潜在的な分割点を取得し、規則に従って、新しい潜在的な分割点について決定された点p_icに対応するウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界はウィンドウW_iz[p_iz-A_z, p_iz+B_z]の右の境界と一致し、または新しい潜在的な分割点について決定された点p_icに対応するウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界はウィンドウW_iz[p_iz-A_z, p_iz+B_z]の範囲内にあり、ここで新しい潜在的な分割点について決定された点p_icは、規則に従って新しい潜在的な分割点について決定されたM個の点の、データストリーム分割点を探索する方向に従って取得されたシーケンス内で１番目の順位を有する点である。

第３の態様の第４の可能な実現形態を参照して、第７の可能な実現形態において、中央処理ユニットにより、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のFバイトを選択し、Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、ここでF≧1であり、各バイトは8ビットで形成され、これらはF*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、F*Hバイトに対応するビットは

と表現されることが可能であり、ここでa_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、ここでa_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aはF*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、行列V_aは

と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、行列Rは

と表現され、行列V_aのm番目の行および行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たす。

第４の態様によれば、本発明の実施例は、データストリーム分割点を探索するためのサーバを提供し、ここでサーバは中央処理ユニットおよび主要メモリを含み、中央処理ユニットは主要メモリと通信し、規則がサーバにおいて予め設定され、ここで規則は、潜在的な分割点kについて、M個のウィンドウW_x[k-A_x, k+B_x]およびウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数であり、
主メモリは、実行可能な命令を記憶するように構成され、中央処理ユニットは実行可能な命令を実行して次のステップ、
(a)規則に従って、現在の潜在的な分割点k_iについて、対応するウィンドウW_iz[k_i-A_z, k_i+B_z]を決定するステップであって、iおよびzは整数であり、1≦z≦Mである、ステップと、
(b)ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って現在の潜在的な分割点k_iからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得し、ステップ(a)を行うステップであって、N*Uは

より大きくない、ステップと、
(c)現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[k_i-A_x, k_i+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすとき、データストリーム分割点として現在の潜在的な分割点k_iを選択するステップと、
を行う。

第４の態様を参照して、第１の可能な実現形態において、規則は、少なくとも2個のウィンドウW_ie[k_i-A_e, k_i+B_e]およびW_if[k_i-A_f, k_i+B_f]が条件|A_e+B_e|=|A_f+B_f|およびC_e=C_fを満たすことをさらに含む。

第４の態様の第１の可能な実現形態を参照して、第２の可能な実現形態において、規則は、A_eおよびA_fが正の整数であることをさらに含む。

第４の態様の第１の可能な実現形態または第２の可能な実現形態を参照して、第３の可能な実現形態において、規則は、A_e-1=A_fおよびB_e+1=B_fをさらに含む。

第４の態様、または第１から第３の可能な実現形態のいずれか１つを参照して、第４の可能な実現形態において、中央処理ユニットは、具体的には、
ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するように構成される。

第４の態様の第４の可能な実現形態を参照して、第５の可能な実現形態において、中央処理ユニットは、具体的には、hash関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するように構成される。

第４の態様、または第１から第５の可能な実現形態のいずれか１つを参照して、第６の可能な実現形態において、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って現在の潜在的な分割点k_iからデータストリーム分割点を探索するためのN個の最小単位Uがスキップされ、それによって新しい潜在的な分割点を取得し、規則に従って、新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界はウィンドウW_iz[k_i-A_z, k_i+B_z]の右の境界と一致し、または新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界はウィンドウW_iz[k_i-A_z, k_i+B_z]の範囲内にあり、ここで新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]は、規則に従って新しい潜在的な分割点について決定されたM個のウィンドウの、データストリーム分割点を探索する方向に従って取得されたシーケンス内で１番目の順位を有するウィンドウである。

第４の態様の第４の可能な実現形態を参照して、第７の可能な実現形態において、中央処理ユニットにより、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
ウィンドウW_iz[k_i-A_z, k_i+B_z]内のFバイトを選択し、Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、ここでF≧1であり、各バイトは8ビットで形成され、これらはF*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、F*Hバイトに対応するビットは

と表現されることが可能であり、ここでa_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、ここでa_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aはF*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、行列V_aは

と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、行列Rは

と表現され、行列V_aのm番目の行および行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たす。

第５の態様によれば、本発明の実施例は、データストリーム分割点を探索するためのサーバを提供し、ここで規則がサーバにおいて予め設定され、ここで規則は、潜在的な分割点kについて、M個の点p_x、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数であり、
サーバは、ステップ(a)、
(a)規則に従って、現在の潜在的な分割点k_iについて、点p_izおよび点p_izに対応するウィンドウW_iz[p_iz-A_z, p_iz+B_z]を決定するステップを行うように構成された決定ユニットであって、iおよびzは整数であり、1≦z≦Mである、決定ユニットと、
ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って点p_izからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得するように構成される判断および処理ユニットであって、N*Uは

より大きくない、判断および処理ユニットと、を含み、ここで決定ユニットが新しい潜在的な分割点についてステップ(a)を行い、
判断および処理ユニットは、現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[p_ix-A_x, p_ix+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすとき、データストリーム分割点として現在の潜在的な分割点k_iを選択するように構成される。

第５の態様を参照して、 第１の可能な実現形態において、規則は、少なくとも2個の点p_eおよびp_fが条件A_e=A_f、B_e=B_f、およびC_e=C_fを満たすことをさらに含む。

第５の態様の第１の可能な実現形態を参照して、第２の可能な実現形態において、規則は、潜在的な分割点kに関して、少なくとも2個の点p_eおよびp_fがデータストリーム分割点を探索する方向と反対の方向にあることをさらに含む。

第５の態様の第１の可能な実現形態または第２の可能な実現形態を参照して、第３の可能な実現形態において、規則は、少なくとも2個の点p_eとp_fの間の間隔が1 Uであることをさらに含む。

第５の態様、または第１から第３の可能な実現形態のいずれか１つを参照して、第４の可能な実現形態において、判断および処理ユニットは、具体的には、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定する。

第５の態様の第４の可能な実現形態を参照して、第５の可能な実現形態において、判断および処理ユニットは、具体的には、hash関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するように構成される。

第５の態様、または第１から第５の可能な実現形態のいずれか１つを参照して、第６の可能な実現形態において、判断および処理ユニットは、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って点p_izからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得するように構成され、ここで決定ユニットは新しい潜在的な分割点についてステップ(a)を行い、規則に従って、新しい潜在的な分割点について決定された点p_icに対応するウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界はウィンドウW_iz[p_iz-A_z, p_iz+B_z]の右の境界と一致し、またはウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界はウィンドウW_iz[p_iz-A_z, p_iz+B_z]の範囲内にあり、ここで新しい潜在的な分割点について決定された点p _ic は、規則に従って新しい潜在的な分割点について決定されたM個の点の、データストリーム分割点を探索する方向に従って取得されたシーケンス内で１番目の順位を有する点である。

第５の態様の第４の可能な実現形態を参照して、第７の可能な実現形態において、判断処理ユニットが、具体的には、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するように構成されることは、具体的には、
ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のFバイトを選択し、Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、ここでF≧1であり、各バイトは8ビットで形成され、これらはF*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、F*Hバイトに対応するビットは

と表現されることが可能であり、ここでa_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、ここでa_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aはF*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、行列V_aは

と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、行列Rは

と表現され、行列V_aのm番目の行および行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たす。

第６の態様によれば、本発明の実施例は、データストリーム分割点を探索するためのサーバを提供し、規則がサーバにおいて予め設定され、ここで規則は、潜在的な分割点kについて、M個のウィンドウW_x[k-A_x, k+B_x]およびウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数であり、
サーバは、ステップ(a)、
(a)規則に従って、現在の潜在的な分割点k_iについて、対応するウィンドウW_iz[k_i-A_z, k_i+B_z]を決定するステップを行うように構成された決定ユニットであって、iおよびzは整数であり、1≦z≦Mである、決定ユニットと、
ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って現在の潜在的な分割点k_iからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得し、ステップ(a)を行い、
現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[k_i-A_x, k_i+B_x]内のデータの少なくとも一部が予め設定された条件C_zを満たすとき、データストリーム分割点として現在の潜在的な分割点k_iを選択するように構成される判断および処理ユニットであって、N*Uは

より大きくない、判断および処理ユニットと、
を含む。

第６の態様を参照して、 第１の可能な実現形態において、規則は、少なくとも2個のウィンドウW_ie[k_i-A_e, k_i+B_e]およびW_if[k_i-A_f, k_i+B_f]が条件|A_e+B_e|=|A_f+B_f|およびC_e=C_fを満たすことをさらに含む。

第６の態様の第１の可能な実現形態を参照して、第２の可能な実現形態において、規則は、A_eおよびA_fが正の整数であることをさらに含む。

第６の態様の第１の可能な実現形態または第２の可能な実現形態を参照して、第３の可能な実現形態において、規則は、A_e-1=A_fおよびB_e+1=B_fをさらに含む。

第６の態様、または第１から第３の可能な実現形態のいずれか１つを参照して、第４の可能な実現形態において、 判断および処理ユニットは、具体的には、
ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するように構成される。

第６の態様の第４の可能な実現形態を参照して、第５の可能な実現形態において、判断および処理ユニットは、具体的には、hash関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するように構成される。

第６の態様、または第１から第５の可能な実現形態のいずれか１つを参照して、第６の可能な実現形態において、判断および処理ユニットは、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って現在の潜在的な分割点k_iからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得するように構成され、決定ユニットは新しい潜在的な分割点についてステップ(a)を行い、規則に従って、新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界はウィンドウW_iz[k_i-A_z, k_i+B_z]の右の境界と一致し、または新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界はウィンドウW_iz[k_i-A_z, k_i+B_z]の範囲内にあり、ここで新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]は、規則に従って新しい潜在的な分割点について決定されたM個のウィンドウの、データストリーム分割点を探索する方向に従って取得されたシーケンス内で１番目の順位を有するウィンドウである。

第６の態様の第４の可能な実現形態を参照して、第７の可能な実現形態において、判断および処理ユニットが、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
ウィンドウW_iz[k_i-A_z, k_i+B_z]内のFバイトを選択し、Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、ここでF≧1であり、各バイトは8ビットで形成され、これらはF*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、F*Hバイトに対応するビットは

と表現されることが可能であり、ここでa_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、ここでa_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aはF*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、行列V_aは

と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、行列Rは

と表現され、行列V_aのm番目の行および行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たす。

第７の態様によれば、本発明の実施例は、コンピュータ読み取り可能な記憶媒体を提供し、ここでコンピュータ読み取り可能な記憶媒体は、実行可能な命令を記憶するように構成され、サーバは実行可能な命令を実行してデータストリーム分割点を探索し、規則がサーバにおいて予め設定され、ここで規則は、潜在的な分割点kについて、M個の点p_x、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数であり、
サーバは実行可能な命令を実行して次のステップ、
(a)規則に従って、現在の潜在的な分割点k_iについて、規則に従って、現在の潜在的な分割点k_iについて、点p_izおよび点p_izに対応するウィンドウW_iz[p_iz-A_z, p_iz+B_z]を決定するステップであって、iおよびzは整数であり、1≦z≦Mである、ステップと、
(b)ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って点p_izからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得し、ステップ(a)を行うステップであって、N*Uは

より大きくない、ステップと、
(c)現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[p_ix-A_x, p_ix+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすとき、データストリーム分割点として現在の潜在的な分割点k_iを選択するステップと、
を行う。

第７の態様を参照して、第１の可能な実現形態において、規則は、少なくとも2個の点p_eおよびp_fが条件A_e=A_f、B_e=B_f、およびC_e=C_fを満たすことをさらに含む。

第７の態様の第１の可能な実現形態を参照して、第２の可能な実現形態において、規則は、潜在的な分割点kに関して、少なくとも2個の点p_eおよびp_fがデータストリーム分割点を探索する方向と反対の方向にあることをさらに含む。

第７の態様の第１の可能な実現形態または第２の可能な実現形態を参照して、第３の可能な実現形態において、規則は、少なくとも2個の点p_eとp_fの間の間隔が1 Uであることをさらに含む。

第７の態様、または第７の態様の第１から第３の可能な実現形態のいずれか１つを参照して、第４の可能な実現形態において、サーバにより、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
サーバにより、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することを含む。

第７の態様の第４の可能な実現形態を参照して、第５の可能な実現形態において、サーバにより、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
サーバにより、hash関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することを含む。

第７の態様、または第７の態様の第１から第５の可能な実現形態のいずれか１つを参照して、第６の可能な実現形態において、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って点p_izからデータストリーム分割点を探索するためのN個の最小単位Uがスキップされ、それによって新しい潜在的な分割点を取得し、規則に従って、新しい潜在的な分割点について決定された点p_icに対応するウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界はウィンドウW_iz[p_iz-A_z, p_iz+B_z]の右の境界と一致し、または新しい潜在的な分割点について決定された点p_icに対応するウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界はウィンドウW_iz[p_iz-A_z, p_iz+B_z]の範囲内にあり、ここで新しい潜在的な分割点について決定された点p_icは、規則に従って新しい潜在的な分割点について決定されたM個の点の、データストリーム分割点を探索する方向に従って取得されたシーケンス内で１番目の順位を有する点である。

第７の態様の第４の可能な実現形態を参照して、第７の可能な実現形態において、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のFバイトを選択し、Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、ここでF≧1であり、各バイトは8ビットで形成され、これらはF*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、F*Hバイトに対応するビットは

と表現されることが可能であり、ここでa_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、ここでa_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aはF*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、行列V_aは

と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、行列Rは

と表現され、行列V_aのm番目の行および行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たす。

第８の態様によれば、本発明の実施例は、コンピュータ読み取り可能な記憶媒体を提供し、ここでコンピュータ読み取り可能な記憶媒体は、実行可能な命令を記憶するように構成され、サーバは実行可能な命令を実行してデータストリーム分割点を探索し、規則がサーバにおいて予め設定され、ここで規則は、潜在的な分割点kについて、M個のウィンドウW_x[k-A_x, k+B_x]およびウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数であり、サーバは実行可能な命令を実行して次のステップ、
(a)規則に従って、現在の潜在的な分割点k_iについて、対応するウィンドウW_iz[k_i-A_z, k_i+B_z]を決定するステップであって、iおよびzは整数であり、1≦z≦Mである、ステップと、
(b)ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って現在の潜在的な分割点k_iからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得し、ステップ(a)を行うステップであって、N*Uは

より大きくない、ステップと、
(c)現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[k_i-A_x, k_i+B_x]内のデータの少なくとも一部が予め設定された条件C_zを満たすとき、データストリーム分割点として現在の潜在的な分割点k_iを選択するステップと、
を行う。

第８の態様を参照して、 第１の可能な実現形態において、規則は、少なくとも2個のウィンドウW_ie[k_i-A_e, k_i+B_e]およびW_if[k_i-A_f, k_i+B_f]が条件|A_e+B_e|=|A_f+B_f|およびC_e=C_fを満たすことをさらに含む。

第８の態様の第１の可能な実現形態を参照して、第２の可能な実現形態において、規則は、A_eおよびA_fが正の整数であることをさらに含む。

第８の態様の第１の可能な実現形態または第２の可能な実現形態を参照して、第３の可能な実現形態において、規則は、A_e-1=A_fおよびB_e+1=B_fをさらに含む。

第８の態様、または第８の態様の第１から第３の可能な実現形態のいずれか１つを参照して、第４の可能な実現形態において、サーバにより、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することを含む。

第８の態様の第４の可能な実現形態を参照して、第５の可能な実現形態において、サーバにより、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、サーバにより、hash関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することである。

第８の態様、または第８の態様の第１から第５の可能な実現形態のいずれか１つを参照して、第６の可能な実現形態において、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って現在の潜在的な分割点k_iからデータストリーム分割点を探索するためのN個の最小単位Uがスキップされ、それによって新しい潜在的な分割点を取得し、規則に従って、新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界はウィンドウW_iz[k_i-A_z, k_i+B_z]の右の境界と一致し、または新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界はウィンドウW_iz[k_i-A_z, k_i+B_z]の範囲内にあり、ここで新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]は、規則に従って新しい潜在的な分割点について決定されたM個のウィンドウの、データストリーム分割点を探索する方向に従って取得されたシーケンス内で１番目の順位を有するウィンドウである。

第８の態様の第４の可能な実現形態を参照して、第７の可能な実現形態において、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
ウィンドウW_iz[k_i-A_z, k_i+B_z]内のFバイトを選択し、 Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、ここでF≧1であり、各バイトは8ビットで形成され、これらはF*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、F*Hバイトに対応するビットは

と表現されることが可能であり、ここでa_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、ここでa_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aはF*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、行列V_aは

と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、行列Rは

と表現され、行列V_aのm番目の行および行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たす。

本発明の実施例において、M個のウィンドウのうちのウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定することによってデータストリーム分割点が探索され、ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさないとき、N*Uの長さがスキップされ、それによって次の潜在的な分割点を取得し、それによりデータストリーム分割点を探索する効率を向上させる。

本発明の実施例による適用シナリオの概略図である。 データストリーム分割点の概略図である。 データストリーム分割点を探索する概略図である。 本発明の実施例による方法の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する概略図である。 ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する概略図である。 重複排除サーバの構成図である。 重複排除サーバの構成図である。 本発明の実施例による方法の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 データストリーム分割点を探索する実現形態の概略図である。 ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する概略図である。 ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する概略図である。

記憶技術の継続中の進展とともに、生成されるデータの量はますます増大し、大量のデータが、記憶容量のための最高の要件を上げた。IT設備の購入コストは記憶容量とともに増加する。データ量と記憶容量とIT設備のより低い購入コストの間の要求の対立を軽減するために、重複データを除去する技術がデータ記憶の分野に導入される。

本発明の実施例の使用シナリオは、データバックアップシナリオである。データバックアップは、バックアップサーバを使用することによって、様々な理由によるデータ損失を防止するために他の記憶媒体にデータのバックアップを作成するプロセスである。図１は、データバックアップシステムのアーキテクチャを表わす。データバックアップシステムは、クライアント（101a、101b、・・・、および101n）、バックアップサーバ102、重複データ除去サーバ（略して重複排除サーバまたは重複除去サーバと呼ばれる）103、および記憶デバイス（104a、104b、・・・、および104n）を含む。クライアント（101a、101b、・・・、および101n）は、アプリケーションサーバ、ワークステーション、等であり得る。バックアップサーバ102は、クライアントによって生成されたデータのバックアップを作成するように構成される。重複排除サーバ103は、バックアップデータについて重複データを除去するタスクを実行するように構成される。記憶デバイス（104a、104b、・・・、および104n）は、それから重複データが除去されたデータを記憶する記憶媒体としての役目をし、ディスクアレイおよびテープライブラリのような記憶媒体であり得る。クライアント（101a、101b、・・・、および101n）、バックアップサーバ102、重複データ除去サーバ103、および記憶デバイス（104a、104b、・・・、および104n）は、スイッチ、ローカルエリアネットワーク、インターネット、または光ファイバーを使用することによって、等の形態で接続され得る。上記のデバイスは、同じサイトに位置することが可能であり、または異なるサイトに位置することが可能である。バックアップサーバ102、重複除去サーバ103、記憶デバイス（104a, 104b、・・・、および104n）は、独立の物理デバイスであることが可能であり、または具体的に実現において統一体に物理的に統合されることが可能であり、またはバックアップサーバ102および重複除去サーバ103は統一体に統合される、または重複除去サーバ103および記憶デバイス（104a、104b、・・・、および104n）は統一体に統合される、等である。

重複排除サーバ103は、バックアップデータのデータストリームについて重複データを除去する動作を行い、ここで動作は一般に次のステップ、
（１）データストリーム分割点を探索すること：特定のアルゴリズムに従ってデータストリーム内のデータストリーム分割点を探索すること、
（２）見出されたデータストリーム分割点に従って分割を実行してデータチャンクを取得すること、
（３）各データチャンクの特徴値を計算すること：データチャンクを識別するための特徴としての役目をする、データチャンクの特徴値を計算し、計算によって取得された特徴値を、データストリームに対応するファイルのデータチャンク特徴リストに加えること、ここでデータチャンクの特徴値を計算するためにSHA-1またはMD5アルゴリズムが一般に使用され、
（４）同じデータチャンクを検出すること：計算によって取得されたデータチャンクの特徴値を、データチャンク特徴リスト内に既に存在する特徴値と比較して、同一のデータチャンクが存在するかどうかを判定すること、および、
（５）重複データブロックを除去すること：同じデータチャンクを検出することによって、データチャンクのそれと同じ特徴値がデータチャンク特徴リスト内に存在することが見出されたならば、データチャンクの記憶をスキップすること、またはバックアップポリシーに従って決定される重複データチャンクの記憶量に従ってデータチャンクを記憶するかどうかを判定すること、
を含む。

重複排除サーバ103により、バックアップデータのデータストリームについて重複データを除去する動作を行うステップから、重複データを除去する動作における重要なステップとしての役目をする、データストリーム分割点の探索は、重複データ除去の性能を直接に決定することを知ることができる。

本発明の実施例において、重複排除サーバ103は、バックアップサーバ102によって送信されたバックアップファイルを受信し、ファイルについて重複データを除去する処理を行う。処理されるべきバックアップファイルは、通常、重複排除サーバ103においてデータストリームの形式で提示される。重複排除サーバ103がデータストリーム内の分割点を探索するとき、データストリーム分割点を探索するための最小単位が、通常、決定される必要がある。具体的には、図２に表わされたように、例えば、データストリーム分割点を探索するための、その順序番号が1および2である2個の連続した最小単位の間に潜在的な分割点k₁が位置する。潜在的な分割点は、それがデータストリーム分割点としての役目をすることができるかどうかが判定される必要がある点を指す。点k₁がデータストリーム分割点であるとき、図２に矢印で表わされたデータストリーム分割点を探索する方向に、次の潜在的な分割点k₇、すなわち、データストリーム分割点を探索するための、その順序番号が7および8である2個の連続した最小単位の間に位置する点が探索される。潜在的な分割点k₇がデータストリーム分割点であるとき、2個の隣接するデータストリーム分割点k₁とk₇の間のデータは１個のデータチャンクである。データストリーム分割点を探索するための最小単位は、具体的には、実際の要件に従って決定することが可能であり、ここで1バイト（Byte）が例として使用され、すなわち、データストリーム分割点を探索するための、その順序番号が1、2、7、および8である全ての最小単位は1バイトのサイズを有する。図２に表わされたデータストリーム分割点を探索する方向は、通常、ファイルのヘッダからファイルのトレーラーへの探索方向またはファイルのトレーラーからファイルのヘッダへの方向を表現し、この実施例においてファイルのヘッダからファイルのトレーラーへの探索方向が例として使用される。

重複データを除去するシナリオにおいて、より小さいデータチャンクは、重複データを除去する、より高いレート、および、重複データチャンクを見出す、より容易なやり方を一般に示すが、より大量のメタデータがそれから生成され、さらに、データチャンクがある程度に小さくなった後、重複データを除去するレートはもはや増加しないが、メタデータの量は急速に増加する。従って、データチャンクのサイズは制御され得る。実際の適用において、データチャンクの最小値、例えば4KB（4,096バイト）が、通常、設定され、重複データを除去するレートを同時に考慮して、データチャンクの最大値も設定され、すなわち、データチャンクのサイズは最大値、例えば12KB（12288バイト）を超えることができない。具体的な実現形態が図３に表わされている。重複排除サーバ103は、矢印によって表わされた方向に沿ってデータストリーム分割点を探索する。k_aは現在見出されたデータストリーム分割点であり、k_aから、データストリーム分割点を探索する方向に次の潜在的な分割点が探索される。最小データチャンクの要件を満たすために、通常、データストリーム分割点から開始し、データストリーム分割点を探索する方向に沿って最小データチャンクのサイズがスキップされ、探索が最小データチャンクの終了位置から開始し、すなわち、最小データチャンクの終了位置は、次の潜在的な分割点k_iとしての役目をする。本発明のこの実施例において、データストリーム分割点を探索する方向に沿って点k_aから4KB、すなわち、4*1024=4096バイトの最小データチャンクがまずスキップされ得る。データストリーム分割点を探索する方向に沿って点k_aから4096バイトがスキップされ、潜在的な分割点としての役目をするために4096番目のバイトの終了位置で点k_iが取得される。例えば、データストリーム分割点を探索するための、その順序番号が4096および4097である2個の連続した最小単位の間にk_iが位置する。例として依然として図３を使用して、k_aは現在見出されたデータストリーム分割点であり、図３に表わされた方向に沿って次のデータストリーム分割点が探索される。データチャンクの最大値を超えた後に次のデータストリーム分割点が見出されないならば、データストリーム分割点を探索する方向に点k_aから開始し、データチャンクの最大値に到達した点k_zは次のデータストリーム分割点としての役目をし、強制的な分割が行われる。

本発明の実施例は、重複排除サーバに基づいてデータストリーム分割点を探索するための方法を提供し、これは図４に表わされたように、下記を含む。

規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点kについて、M個の点p_x、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数であり、ここでp_xと潜在的な分割点kの間の間隔は、データストリーム分割点を探索するためのd_x個の最小単位であり、データストリーム分割点を探索するための最小単位はUと表現され、この実施例においてU=1バイトである。図３に表わされた実現形態において、Mの値について、一実現形態において、M*Uの値は2個の隣接するデータストリーム分割点の間の予め設定された最大の間隔、すなわち、データチャンクの予め設定された最大の長さより大きくない。点p_zに対応するウィンドウW_z[p_z-A_z, p_z+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかが判定され、ここでzは整数であり、1≦z≦Mであり、(p_z-A_z)および(p_z+B_z)はウィンドウW_zの2つの境界を表現する。いずれか1個の点p_zのウィンドウW_z[p_z-A_z, p_z+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないと判定されたとき、データストリーム分割点を探索する方向に沿って、予め設定された条件を満たさないウィンドウW_z[p_z-A_z, p_z+B_z]に対応する点p_zからNバイトがスキップされ、ここで

であり、ここで

は、M個の点p_xのうちのいずれかの点と潜在的な分割点kの間の間隔を表現し、

は、M個の点p_xのうちのいずれかの点と潜在的な分割点kの間の間隔の絶対値と、当該いずれかの点に対応するA_xの絶対値の和の最大値を表現し、

は、W_z[p_z-A_z, p_z+B_z]内のB_zの絶対値を表現する。Nの値を設定するための原理は、具体的には、下記の実施例において紹介される。M個のウィンドウのうちの各ウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすと判定されたとき、潜在的な分割点kがデータストリーム分割点である。

具体的には、現在の潜在的な分割点k_iについて、規則に従って下記のステップが行われる。

ステップ401：規則に従って、現在の潜在的な分割点k_iについて、点p_izおよび点p_izに対応するウィンドウW_iz[p_iz-A_z, p_iz+B_z]を決定し、ここでiおよびzは整数であり、1≦z≦Mである。

ステップ402：ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って点p_izからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、ここでN*Uは

より大きくなく、それによって新しい潜在的な分割点を取得し、ステップ401を行い、
現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[p_ix-A_x, p_ix+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすとき、データストリーム分割点として現在の潜在的な分割点k_iを選択する。

さらに、規則は、少なくとも2個の点p_eおよびp_fが条件A_e=A_f、B_e=B_f、およびC_e=C_fを満たすことをさらに含む。

規則は、潜在的な分割点kに関して、少なくとも2個の点p_eおよびp_fがデータストリーム分割点を探索する方向と反対の方向にあることをさらに含む。

規則は、少なくとも2個の点p_eとp_fの間の間隔が1 Uであることをさらに含む。

ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することを含む。

ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、hash関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することである。

ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って点p_izからデータストリーム分割点を探索するためのN個の最小単位Uがスキップされ、それによって新しい潜在的な分割点を取得し、規則に従って、新しい潜在的な分割点について決定された点p_icに対応するウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界はウィンドウW_iz[p_iz-A_z, p_iz+B_z]の右の境界と一致し、または新しい潜在的な分割点について決定された点p_icに対応するウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界はウィンドウW_iz[p_iz-A_z, p_iz+B_z]の範囲内にあり、ここで新しい潜在的な分割点について決定された点p_icは、規則に従って新しい潜在的な分割点について決定されたM個の点の、データストリーム分割点を探索する方向に従って取得されたシーケンス内で１番目の順位を有する点である。

本発明のこの実施例において、M個のウィンドウのうちのウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定することによってデータストリーム分割点が探索され、ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさないとき、N*Uの長さがスキップされ、ここでN*Uは

より大きくなく、それによって次の潜在的な分割点を取得し、それによりデータストリーム分割点を探索する効率を向上させる。

重複データを除去するプロセスにおいて、偶数サイズのデータチャンクを保証するために、平均データチャンク（平均チャンクとも呼ばれる）のサイズが考慮される。すなわち、最小データチャンクのサイズと最大データチャンクのサイズについての制限が満たされる間、偶数サイズの取得されたデータチャンクを保証するために平均データチャンクのサイズが決定される。データストリーム分割点を見出す確率（P(n)と表現される）は２つの要因、すなわち、点p_xの数量Mおよび点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率に依存し、ここで前者はスキップする長さに影響し、後者はスキップする確率に影響し、２つはともに平均チャンクのサイズに影響する。一般に、平均チャンクのサイズが固定であるとき、点p_xの数量M が増加するに連れて、単一の点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率も増加する。例えば、重複排除サーバ103において予め設定された規則は、潜在的な分割点kについて、11個の点p_xを決定することであり、ここでxは個々に1から11までの連続した自然数を示し、11個の点のうちのいずれかの点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率は1/2である。重複排除サーバ103において予め設定された規則の他のグループは、潜在的な分割点kについて24個の点p_xを選択することであり、ここでxは個々に1から24までの連続した自然数を示し、24個の点のうちのいずれかの点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率は3/4である。特定のウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率の設定について、ウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすかどうかを判定する部分の記載への参照が行われ得る。P(n)は、２つの要因、すなわち、点p_xの数量Mおよび点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率に依存し、P(n)は、データストリームの開始位置／前のデータストリーム分割点からの探索において、データストリーム分割点を探索するためのn個の最小単位の後にデータストリーム分割点が見出されない確率を表現する。２つの要因に依存するP(n)を計算するプロセスは、実際、nステップのFibonacci数列であり、これは下記で詳細に記載される。P(n)が取得された後、1-P(n)は、データストリーム分割点の分布関数であり、(1-P(n))-(1-P(n-1))=P(n-1)-P(n)は、データストリーム分割点がn番目の点で見出される確率、すなわち、データストリーム分割点の密度関数である。積分

はデータストリーム分割点の密度関数に従って行われることが可能であり、それによってデータストリーム分割点の期待される長さ、すなわち平均チャンクのサイズを取得し、ここで4*1024（バイト）は最小データチャンクの長さを表現し、12*1024（バイト）は最大データチャンクの長さを表現する。

図３に表わされたデータストリーム分割点の探索に基づいて、図５に表わされた実現形態において、規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点kについて、11個の点p_x、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]（略してウィンドウW_x）、およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、ここでA₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=A₁₁=169、B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0、かつC₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁である。点p_xと潜在的な分割点kの間の間隔はd_xバイトである。具体的には、点p₁と潜在的な分割点kの間の間隔は0バイトであり、点p₂と潜在的な分割点kの間の間隔は1バイトであり、点p₃と潜在的な分割点kの間の間隔は2バイトであり、点p₄と潜在的な分割点kの間の間隔は3バイトであり、点p₅と潜在的な分割点kの間の間隔は4バイトであり、点p₆と潜在的な分割点kの間の間隔は5バイトであり、点p₇と潜在的な分割点kの間の間隔は6バイトであり、点p₈と潜在的な分割点kの間の間隔は7 バイトであり、点p₉と潜在的な分割点kの間の間隔は8バイトであり、点p₁₀と潜在的な分割点kの間の間隔は9バイトであり、点p₁₁と潜在的な分割点kの間の間隔は10バイトであり、潜在的な分割点kに関して、点p₂、p₃、p₄、p₅、p₆、p₇、p₈、p₉、p₁₀、およびp₁₁全ては、データストリーム分割点を探索する方向と反対の方向にある。k_aはデータストリーム分割点であり、図５に表わされたデータストリーム分割点を探索する方向は左から右である。データストリーム分割点k_aから4 KBの最小データチャンクがスキップされた後、4 KBの最小データチャンクの終了位置は次の潜在的な分割点k_iとしての役目をし、潜在的な分割点k_iについて点p_ixが決定される。この実施例において、重複排除サーバ103において予め設定された規則に従って、xは個々に1から11までの連続した自然数を示す。図５に表わされた実現形態において、潜在的な分割点k_iについて11個の点が決定され、個々にp_i1、p_i2、p_i3、p_i4、p_i5、p_i6、p
_i7、p_i8、p_i9、p_i10、およびp_i11であり、点p_i1、p_i2、p_i3、p_i4、p_i5、p_i6、p_i7、p_i8、p_i9、p_i10、およびp_i11に対応するウィンドウは、それぞれW_i1[p_i1-169, p_i1]、W_i2[p_i2-169, p_i2]、W_i3[p_i3-169, p_i3]、W_i4[p_i4-169, p_i4]、W_i5[p_i5-169, p_i5]、W_i6[p_i6-169, p_i6]、W_i7[p_i7-169, p_i7]、W_i8[p_i8-169, p_i8]、W_i9[p_i9-169, p_i9]、W_i10[p_i10-169, p_i10]、およびW_i11[p_i11-169, p_i11]である。上記のウィンドウは、略して個々にW_i1、W_i2、W_i3、W_i4、W_i5、W_i6、W_i7、W_i8、W_i9、W_i10、およびW_i11と呼ばれる。点p_ixと潜在的な分割点k_iの間の間隔はd_xバイトである。具体的には、p_i1とk_iの間の間隔は0バイトであり、p_i2とk_iの間の間隔は1バイトであり、p_i3とk_iの間の間隔は2バイトであり、p_i4とk_iの間の間隔は3バイトであり、p_i5とk_iの間の間隔は4 バイトであり、p_i6とk_iの間の間隔は5バイトであり、p_i7とk_iの間の間隔は6バイトであり、p_i8とk_iの間の間隔は7バイトであり、p_i9とk_iの間の間隔は8 バイトであり、p_i10とk_iの間の間隔は9バイトであり、p_i11とk_iの間の間隔は10バイトであり、潜在的な分割点k_iに関して、p_i2、p_i3、p_i4、p_i5、p_i6、p_i7、p_i8、p_i9、p_i10、およびp_i11全ては、データストリーム分割点を探索する方向と反対の方向にある。W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[p_i6-169, p_i6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7[p_i7-169, p_i7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[p_i8-169, p_i8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[p_i9-169, p_i9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[p_i10-169, p_i10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[p_i11-169, p_i11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_i1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_i2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_i3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_i4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_i5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_i6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_i7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_i8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_i9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_i10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_i11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_iがデータストリーム分割点である。11個のウィンドウのうちのいずれかのウィンドウ内のデータの少なくとも一部が対応する予め設定された条件を満たさない、例えば、図６に表わされたように、W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が対応する予め設定された条件C₅を満たさないとき、データストリーム分割点を探索する方向に沿って点p_i5からNバイトがスキップされ、ここでNバイトは

より大きくない。図６に表わされた実現形態において、スキップされるNバイトは179バイトより大きくなく、この実施例において、N=11であり、それによって次の潜在的な分割点を取得する。潜在的な分割点k_iからの区別のために、新しい潜在的な分割点は、ここでk_jと表現される。図５に表わされた実現形態において、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについて11個の点が決定され、個々にp_j1、p_j2、p_j3、p_j4、p_j5、p_j6、p_j7、p_j8、p_j9、p_j10、およびp_j11であり、点p_j1、p_j2、p_j3、p_j4、p_j5、p_j6、p_j7、p_j8、p_j9、p_j10、およびp_j11に対応するウィンドウが決定され、それぞれW_j1[p_j1-169, p_j1]、W_j2[p_j2-169, p_j2]、W_j3[p_j3-169, p_j3]、W_j4[p_j4-169, p_j4]、W_j5[p_j5-169, p_j5]、W_j6[p_j6-169, p_j6]、W_j7[p_j7-169, p_j7]、W_j8[p_j8-169, p_j8]、W_j9[p_j9-169, p_j9]、W_j10[p_j10-169, p_j10]、およびW_j11[p_j11-169, p_j11]である。p_jxと潜在的な分割点k_jの間の間隔はd_xバイトである。具体的には、p_j1とk_jの間の間隔は0バイトであり、p_j12とk_jの間の間隔は1バイトであり、p_j3とk_jの間の間隔は2バイトであり、p_j4とk_jの間の間隔は3バイトであり、p_j5とk_jの間の間隔は4バイトであり、p_j6とk_jの間の間隔は5バイトであり、p_j7とk_jの間の間隔は6バイトであり、p_j8とk_jの間の間隔は7バイトであり、p_j9とk_jの間の間隔は8バイトであり、p_j10とk_jの間の間隔は9バイトであり、p_j11とk_jの間の間隔はバイトであり、潜在的な分割点k_jに関して、p_j1、p_j2、p_j3、p_j4、p_j5、p_j6、p_j7、p_j8、p_j9、p_j10、およびp_j11全ては、データストリーム分割点を探索する方向と反対の方向にある。図６に表わされた実現形態において、潜在的な分割点k_jについて11番目のウィンドウW_j11[p_j11-169, p_j11]が判定されるとき、潜在的な分割点k_iと潜在的な分割点k_jの間の範囲全てが判定する範囲内にあることを保証するために、この実現形態において、ウィンドウW_j11[p_j11-169, p_j11]の左の境界は、W_i5[p_i5-169, p_i5]の右の境界p_i5と一致し、またはW_i5[p_i5-169, p_i5]の範囲内にあることが保証されることが可能であり、ここで潜在的な分割点k_jについて決定された点p_j11は、規則に従って潜在的な分割点k_jについて決定されたM個の点の、データストリーム分割点を探索する方向に従って取得されたシーケンス内で１番目の順位を有する点である。従って、そのような制限内で、W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たさないとき、データストリーム分割点を探索する方向に沿ってp_i5からスキップする間隔は

より大きくなく、ここでM=11であり、11*Uは

より大きくなく、従って、データストリーム分割点を探索する方向に沿ってp_i5からスキップする間隔は179より大きくない。W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_j3[p_j3-169, p_j3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_j4[p_j4-169, p_j4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[p_j5-169, p_j5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[p_j6-169, p_j6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[p_j7-169, p_j7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[p_j8-169, p_j8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[p_j9-169, p_j9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[p_j10-169, p_j10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[p_j11-169, p_j11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。もちろん、本発明のこの実施例において、潜在的な分割点k_aがデータストリーム分割点であるかどうかが判定されるときも規則に従い、具体的な実現は再度記載されず、潜在的な分割点k_iを判定する記載への参照が行われ得る。ウィンドウW_j1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_j2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_j3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_j4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_j5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_j6内のデータの少なくとも一
部が予め設定された条件C₆を満たし、ウィンドウW_j7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_j8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_j9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_j10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_j11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_jがデータストリーム分割点であり、k_jとk_aの間のデータは1個のデータチャンクを形成する。一方、次の潜在的な分割点を取得するために、k_aのそれと同じ形態で4 KBの最小チャンクサイズがスキップされ、重複排除サーバ103において予め設定された規則に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。潜在的な分割点k_jがデータストリーム分割点でないと判定されたとき、次の潜在的な分割点を取得するために、k_iのそれと同じ形態で11バイトがスキップされ、重複排除サーバ103において予め設定された規則および上記の方法に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。設定された最大データチャンクを超えた後にデータストリーム分割点が見出されないとき、最大データチャンクの終了位置は強制的な分割点としての役目をする。

図５に表わされた実現形態において、重複排除サーバ103において予め設定された規則に従って、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定することから開始して、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすと判定され、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすと判定され、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすと判定され、W_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たすと判定され、かつW_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たさないと判定されたとき、データストリーム分割点を探索する方向に沿って点p_i5から10バイトがスキップされ、10番目のバイトの終了位置で新しい潜在的な分割点が取得され、これは、他の潜在的な分割点からの区別のために、ここでk_gと表現される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_gについて11個の点p_gxが決定され、ここでxは個々に1から11までの連続した自然数を示し、個々にp_g1、p_g2、p_g3、p_g4、p_g5、p_g6、p_g7、p_g8、p_g9、p_g10、およびp_g11であり、点p_g1、p_g2、p_g3、p_g4、p_g5、p_g6、p_g7、p_g8、p_g9、p_g10、およびp_g11に対応するウィンドウが決定され、それぞれW_g1[p_g1-169, p_g1]、W_g2[p_g2-169, p_g2]、W_g3[p_g3-169, p_g3]、W_g4[p_g4-169, p_g4]、W_g5[p_g5-169, p_g5]、W_g6[p_g6-169, p_g6]、W_g7[p_g7-169, p_g7]、W_g8[p_g8-169, p_g8]、W_g9[p_g9-169, p_g9]、W_g10[p_g10-169, p_g10]、およびW_g11[p_g11-169, p_g11]である。p_gxと潜在的な分割点k_gの間の間隔はd_xバイトである。具体的には、p_g1とk_gの間の間隔は0バイトであり、p_g2とk_gの間の間隔は1バイトであり、p_g3とk_gの間の間隔は2バイトであり、p_g4とk_gの間の間隔は3バイトであり、p_g5とk_gの間の間隔は4バイトであり、p_g6とk_gの間の間隔は5バイトであり、p_g7とk_gの間の間隔は6バイトであり、p_g8とk_gの間の間隔は7バイトであり、p_g9とk_gの間の間隔は8バイトであり、p_g10とk_gの間の間隔は9バイトであり、p_g11とk_gの間の間隔は10バイトであり、潜在的な分割点k_gに関して、p_g2、p_g3、p_g4、p_g5、p_g6、p_g7、p_g8、p_g9、p_g10、およびp_g11全ては、データストリーム分割点を探索する方向と反対の方向にある。W_g1[p_g1-169, p_g1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_g2[p_g2-169, p_g2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_g3[p_g3-169, p_g3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_g4[p_g4-169, p_g4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_g5[p_g5-169, p_g5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_g6[p_g6-169, p_g6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_g7[p_g7-169, p_g7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_g8[p_g8-169, p_g8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_g9[p_g9-169, p_g9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_g10[p_g10-169, p_g10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_g11[p_g11-169, p_g11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。従って、潜在的な分割点k_gに対応する点p_g11は潜在的な分割点k_iに対応する点p_i5と一致し、点p_g11に対応するウィンドウW_g11[p_g11-169, p_g11]は点p_i5に対応するウィンドウW_i5[p_i5-169, p_i5]と一致し、C₅=C₁₁であり、従って、潜在的な分割点k_iについて、W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たさないと判定されたとき、データストリーム分割点を探索する方向に沿って点p_i5から10バイトをスキップすることによって取得された潜在的な分割点k_gは、データストリーム分割点としての役目をする条件を依然として満たさない。従って、データストリーム分割点を探索する方向に沿って点p_i5から10バイトがスキップされるとき、繰り返される計算が存在するならば、データストリーム分割点を探索する方向に沿って点p_i5から11バイトがスキップされるとき、繰り返される計算は減少されることが可能であり、効率はより高い。従って、データストリーム分割点を探索する速度は増加される。予め設定された規則に従って決定された点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率が1/2である、すなわち、スキップを実行する確率が1/2であるとき、最大で179バイトが毎回スキップされることが可能である。

この実現形態において、予め設定された規則は、潜在的な分割点kについて、11個の点p_x、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは個々に1から11までの連続した自然数を示し、ここで点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件を満たす確率は1/2であり、P(n)は、２つの要因、すなわち、点p_xの数量および点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件を満たす確率を使用することによって計算されることが可能である。さらに、A₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=A₁₁=169、B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0、かつC₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁であり、ここでp_xと潜在的な分割点kの間の間隔はd_xバイトである。具体的には、p₁と潜在的な分割点kの間の間隔は0バイトであり、p₂とkの間の間隔は1バイトであり、p₃とkの間の間隔は2 バイトであり、p₄とkの間の間隔は3バイトであり、p₅とkの間の間隔は4バイトであり、p₆とkの間の間隔は5バイトであり、p₇とkの間の間隔は6バイトであり、p₈とkの間の間隔は7バイトであり、p₉とkの間の間隔は8バイトであり、p₁₀とkの間の間隔は9バイトであり、p₁₁とkの間の間隔は10バイトであり、潜在的な分割点kに関して、p₂、p₃、p₄、p₅、p₆、p₇、p₈、p₉、p₁₀、およびp₁₁全ては、データストリーム分割点を探索する方向と反対の方向にある。従って、潜在的な分割点kがデータストリーム分割点であるかどうかは、11個の連続した点に対応するウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件C_xを満たすことが存在するかどうかに依存する。データストリームの開始位置／前のデータストリーム分割点から4096バイトの最小チャンクの長さがスキップされた後、データストリーム分割点を探索する方向と反対の方向に10バイトだけ戻ることによって4086番目の点が見出され、その点においてデー
タストリーム分割点は存在せず、従って、P(4086)=1、およびP(4087)=1、...、P(4095)=1、等である。4096番目の点、すなわち、最小チャンクを取得するために使用される点において、(1/2)^11の確率で、11個の点に対応するウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件C_xを満たす。従って、(1/2)^11の確率で、データストリーム分割点が存在し、1-(1/2)^11の確率で、データストリーム分割点は存在せず、従ってP(11)=1-(1/2)^11である。

n番目の点において、帰納法によってP(n)を取得する12のケースがあり得る。

ケース1：1/2の確率で、n番目の点に対応するウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさず、このケースにおいて、P(n-1)の確率で、n番目の点の前の(n-1)個の点の中に11個の連続した点は存在せず、ここで11個の連続した点に対応するウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件を個々に満たす。従って、P(n)は1/2*P(n-1)を含む。n番目の点に対応するウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさず、n番目の点の前の(n-1)個の点の中に11個の連続した点が存在する場合であって、11個の連続した点に対応するウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件を個々に満たす場合は、P(n)に関係しない。

ケース2：1/2の確率で、n番目の点に対応するウィンドウ内のデータの少なくとも一部が予め設定された条件を満たし、1/2の確率で、(n-1)番目の点に対応するウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさず、このケースにおいて、P(n-2)の確率で、(n-1)の点の前の(n-2)個の点の中に11個の連続した点は存在せず、ここで11個の連続した点に対応するウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件を個々に満たす。従って、P(n)は1/2*1/2*P(n-2)を含む。n番目の点に対応するウィンドウ内のデータの少なくとも一部が予め設定された条件を満たし、(n-1)番目の点に対応するウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさず、(n-1)番目の点の前の(n-2)個の点の中に11個の連続した点が存在する場合であって、11個の連続した点に対応するウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件を個々に満たす場合は、P(n)に関係しない。

上記の記載によれば、ケース11：(1/2)^10の確率で、n番目から(n-9)番目の点に対応するウィンドウ内のデータの少なくとも一部が予め設定された条件を満たし、1/2の確率で、(n-10)番目の点に対応するウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさず、このケースにおいて、P(n-11)の確率で、(n-10)の点の前の(n-11)個の点の中に11個の連続した点は存在せず、ここで11個の連続した点に対応するウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件を個々に満たす。従って、P(n)は(1/2)^10*1/2*P(n-11)を含む。n番目から(n-9)番目の点に対応するウィンドウ内のデータの少なくとも一部が予め設定された条件を満たし、(n-10)番目の点に対応するウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさず、(n-10)番目の点の前の(n-11)個の点の中に11個の連続した点が存在する場合であって、11個の連続した点に対応するウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件を個々に満たす場合は、P(n)に関係しない。

ケース12：(1/2)^11の確率で、n番目から(n-10)番目の点に対応するウィンドウ内のデータの少なくとも一部が予め設定された条件を満たし、この場合は、P(n)に関係しない。

従って、P(n)=1/2*P(n-1)+(1/2)^2*P(n-2)+...+(1/2)^11*P(n-11)である。他の予め設定された規則は、潜在的な分割点kについて、24個の点p_x、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは個々に1から24までの連続した自然数を示し、ここで点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率は3/4であり、P(n)は、２つの要因、すなわち、点p_xの数量および点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件を満たす確率を使用することによって計算されることが可能である。さらに、A₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=A₁₁=169、B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0、かつC₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=...=C₂₂=C₂₃=C₂₄であり、ここでp_xと潜在的な分割点kの間の間隔はd_xバイトである。具体的には、p₁と潜在的な分割点kの間の間隔は0バイトであり、p₂とkの間の間隔は1バイトであり、p₃とkの間の間隔は2バイトであり、p₄とkの間の間隔は3バイトであり、p₅とkの間の間隔は4バイトであり、p₆とkの間の間隔は5バイトであり、p₇とkの間の間隔は6バイトであり、p₈とkの間の間隔は7バイトであり、p₉とkの間の間隔は8バイトであり、...、p₂₂とkの間の間隔は21バイトであり、p₂₃とkの間の間隔は22バイトであり、p₂₄とkの間の間隔は23バイトであり、潜在的な分割点kに関して、p₂、p₃、p₄、p₅、p₆、p₇、p₈、p₉、...、p₂₂、p₂₃、およびp₂₄全ては、データストリーム分割点を探索する方向と反対の方向にある。従って、潜在的な分割点kがデータストリーム分割点であるかどうかは、24個の連続した点に対応するウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件C_xを満たすことが存在するかどうかに依存し、計算は次の数式
P(4073)=1、P(4074)=1、...、P(4095)=1、P(4096)=1-(3/4)^24、および
P(n)=1/4*P(n-1)+1/4*(3/4)*P(n-2)+...+1/4*(3/4)^23*P(n-24)
を使用することによって行われることが可能である。

計算の後、P(5*1024)=0.78、P(11*1024)=0.17、およびP(12*1024)=0.13である。すなわち、探索がデータストリームの開始位置／前のデータストリーム分割点から12KBの間隔における点に進んだ後、13%の確率でデータストリーム分割点が見出されないならば、強制的な分割が行われる。データストリーム分割点の密度関数はこの確率を使用することによって取得され、積分の後に、平均して、探索がデータストリームの開始位置／前のデータストリーム分割点から約7.6 KBの間隔における点に進んだ後にデータストリーム分割点が見出されることが得られ、すなわち、平均チャンクの長さは約7.6 KBである。11個の連続した点に対応するウィンドウ内のデータの少なくとも一部が予め設定された条件を1/2の確率で満たすこととは異なり、従来のCDCアルゴリズムは、1個のウィンドウが1/2^12の確率で条件を満たすときのみ、7.6 KBである平均チャンクの長さの効果を達成することが可能である。

図３に表わされたデータストリーム分割点の探索に基づいて、図７に表わされた実現形態において、規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点kについて、11個の点p_x、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは個々に1から11までの連続した自然数を示し、ここで点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率は1/2であり、A₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=A₁₁=169、B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0、かつC₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁であり、ここでp_xと潜在的な分割点kの間の間隔はd_xバイトである。具体的には、p₁と潜在的な分割点kの間の間隔は2バイトであり、p₂とkの間の間隔は3バイトであり、p₃とkの間の間隔は4バイトであり、p₄とkの間の間隔は5バイトであり、p₅とkの間の間隔は6バイトであり、p₆とkの間の間隔は7バイトであり、p₇とkの間の間隔は8バイトであり、p₈とkの間の間隔は9バイトであり、p₉とkの間の間隔は10バイトであり、p₁₀とkの間の間隔は1バイトであり、p₁₁とkの間の間隔は0バイトであり、潜在的な分割点kに関して、p₁、p₂、p₃、p₄、p₅、p₆、p₇、p₈、p₉、およびp₁₀全ては、データストリーム分割点を探索する方向と反対の方向にある。k_aはデータストリーム分割点であり、図７に表わされたデータストリーム分割点を探索する方向は左から右である。データストリーム分割点k_aから4 KBの最小データチャンクがスキップされた後、4 KBの最小データチャンクの終了位置は次の潜在的な分割点k_iとしての役目をし、潜在的な分割点k_iについて点p_ixが決定される。この実施例において、重複排除サーバ103において予め設定された規則に従って、xは個々に1から11までの連続した自然数を示す。図７に表わされた実現形態において、予め設定された規則に従って、潜在的な分割点k_iについて11個の点が決定され、個々にp_i1、p_i2、p_i
3、p_i4、p_i5、p_i6、p_i7、p_i8、p_i9、p_i10、およびp_i11であり、点p_i1、p_i2、p_i3、p_i4、p_i5、p_i6、p_i7、p_i8、p_i9、p_i10、およびp_i11に対応するウィンドウは、それぞれW_i1[p_i1-169, p_i1]、W_i2[p_i2-169, p_i2]、W_i3[p_i3-169, p_i3]、W_i4[p_i4-169, p_i4]、W_i5[p_i5-169, p_i5]、W_i6[p_i6-169, p_i6]、W_i7[p_i7-169, p_i7]、W_i8[p_i8-169, p_i8]、W_i9[p_i9-169, p_i9]、W_i10[p_i10-169, p_i10]、およびW_i11[p_i11-169, p_i11]である。点p_ixと潜在的な分割点k_iの間の間隔はd_ixバイトである。具体的には、p_i1とk_iの間の間隔は2バイトであり、p_i2とk_iの間の間隔は3バイトであり、p_i3とk_iの間の間隔は4バイトであり、p_i4とk_iの間の間隔は5バイトであり、p_i5とk_iの間の間隔は6バイトであり、p_i6とk_iの間の間隔は7バイトであり、p_i7とk_iの間の間隔は8バイトであり、p_i8とk_iの間の間隔は9バイトであり、p_i9とk_iの間の間隔は10バイトであり、p_i10とk_iの間の間隔は1バイトであり、p_i11とk_iの間の間隔は0バイトであり、潜在的な分割点k_iに関して、p_i1、p_i2、p_i3、p_i4、p_i5、p_i6、p_i7、p_i8、p_i9、およびp_i10全ては、データストリーム分割点を探索する方向と反対の方向にある。W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[p_i6-169, p_i6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7[p_i7-169, p_i7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[p_i8-169, p_i8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[p_i9-169, p_i9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[p_i10-169, p_i10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[p_i11-169, p_i11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_i1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_i2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_i3内のデータの少なくとも一部が予め設定された条件C₃を満たし、 ウィンドウW_i4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_i5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_i6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_i7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_i8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_i9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_i10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_i11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_iがデータストリーム分割点である。11個のウィンドウのうちのいずれかのウィンドウ内のデータの少なくとも一部が、対応する予め設定された条件を満たさないとき、図８に表わされたように、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たさず、データストリーム分割点を探索する方向に沿って点p_i3から11バイトがスキップされることは、記載のための例として使用される。図８に表わされたように、W₃が予め設定された条件を満たさないと判定されたとき、開始点としての役目をするp₃から、データストリーム分割点を探索する方向に沿ってNバイトがスキップされ、ここでNバイトは

より大きくない。図６に表わされた実現形態において、Nバイトがスキップされ、具体的には、179バイトより大きくなく、この実施例において、N=11である。11番目のバイトの終了位置において次の潜在的な分割点が取得される。潜在的な分割点k_iからの区別のために、新しい潜在的な分割点は、ここでk_jと表現される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについて11個の点が決定され、個々にp_j1、p_j2、p_j3、p_j4、p_j5、p_j6、p_j7、p_j8、p_j9、p_j10、およびp_j11であり、点p_j1、p_j2、p_j3、p_j4、p_j5、p_j6、p_j7、p_j8、p_j9、p_j10、およびp_j11に対応するウィンドウが決定され、それぞれW_j1[p_j1-169, p_j1]、W_j2[p_j2-169, p_j2]、W_j3[p_j3-169, p_j3]、W_j4[p_j4-169, p_j4]、W_j5[p_j5-169, p_j5]、W_j6[p_j6-169, p_j6]、W_j7[p_j7-169, p_j7]、W_j8[p_j8-169, p_j8]、W_j9[p_j9-169, p_j9]、W_j10[p_j10-169, p_j10]、およびW_j11[p_j11-169, p_j11]である。p_jxと潜在的な分割点k_jの間の間隔はd_xバイトである。具体的には、p_j1とk_jの間の間隔は2バイトであり、p_j2とk_jの間の間隔は3バイトであり、p_j3とk_jの間の間隔は4バイトであり、p_j4とk_jの間の間隔は5バイトであり、p_j5とk_jの間の間隔は6バイトであり、p_j6とk_jの間の間隔は7バイトであり、p_j7とk_jの間の間隔は8バイトであり、p_j8とk_jの間の間隔は9バイトであり、p_j9とk_jの間の間隔は10バイトであり、p_j10とk_jの間の間隔は1バイトであり、p_j11とk_jの間の間隔は0バイトであり、潜在的な分割点k_jに関して、p_j1、p_j2、p_j3、p_j4、p_j5、p_j6、p_j7、p_j8、p_j9、およびp_j10全ては、データストリーム分割点を探索する方向と反対の方向にある。W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_j3[p_j3-169, p_j3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_j4[p_j4-169, p_j4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[p_j5-169, p_j5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[p_j6-169, p_j6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[p_j7-169, p_j7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[p_j8-169, p_j8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[p_j9-169, p_j9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[p_j10-169, p_j10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[p_j11-169, p_j11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。もちろん、本発明のこの実施例において、潜在的な分割点k_aがデータストリーム分割点であるかどうかが判定されるときも規則に従い、具体的な実現は再度記載されず、潜在的な分割点k_iを判定する記載への参照が行われ得る。ウィンドウW_j1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_j2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_j3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_j4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_j5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_j6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_j7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_j8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_j9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_j10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_j11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_jがデータストリーム分割点であり、k_jとk_aの間のデータは1個のデータチャンクを形成する。一方、次の潜在的な分割点を取得するために、k_aのそれと同じ形態で4 KBの最小チャンクサイズがスキップされ、重複排除サーバ103において予め設定された規則に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。潜在的な分割点k_jがデータストリーム分割点でないと判定されたとき、次の潜在的な分割点を取得するために、k_iのそれと同じ形態で11バイトがスキップされ、重複排除サーバ103において予め設定された規則および上記の方法に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。設定された最大データチャンクを超えた後にデータストリーム分割点が見出されないとき、最大データチャンクの終了位置は強制的な分割点としての役目をする。もちろん、本方法の実現は、最大データチャンクの長さおよびデータストリームを形成するファイルのサイズによって制限され、これは再度ここに記載されない。

図３に表わされたデータストリーム分割点の探索に基づいて、図９に表わされた実現形態において、規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点kについて、11個の点p_x、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、ここで
A₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=A₁₁=169、B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0、かつC₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁である。p_xと潜在的な分割点kの間の間隔はd_xバイトである。具体的には、p₁と潜在的な分割点kの間の間隔は3バイトであり、p₂とkの間の間隔は2バイトであり、p₃とkの間の間隔は1バイトであり、p₄とkの間の間隔は0バイトであり、p₅とkの間の間隔は1バイトであり、p₆とkの間の間隔は2バイトであり、p₇とkの間の間隔は3バイトであり、p₈とkの間の間隔は4バイトであり、p₉とkの間の間隔は5 バイトであり、p₁₀とkの間の間隔は6バイトであり、p₁₁とkの間の間隔は7バイトであり、p₅、p₆、p₇、p₈、p₉、p₁₀、およびp₁₁全ては、潜在的な分割点kに関して、データストリーム分割点を探索する方向と反対の方向にあり、p₁、p₂、およびp₃全ては、潜在的な分割点kに関して、データストリーム分割点を探索する方向にある。k_aはデータストリーム分割点であり、図９に表わされたデータストリーム分割点を探索する方向は左から右である。データストリーム分割点k_aから4 KBの最小データチャンクがスキップされた後、4 KBの最小データチャンクの終了位置は次の潜在的な分割点k_iとしての役目をし、潜在的な分割点k_iについて点p_ixが決定され、この実施例において、重複排除サーバ103において予め設定された規則に従って、xは個々に1から11までの連続した自然数を示す。図９に表わされた実現形態において、潜在的な分割点k_iについて11個の点が決定され、個々にp_i1、p_i2、p_i3、p_i4、p_i5、p_i6、p_i7、p_i8、p_i9、p_i10、およびp_i11であり、点p_i1、p_i2、p_i3、p_i4、p_i5、p_i6、p_i7、p_i8、p_i9、p_i10、およびp_i11に対応するウィンドウは、それぞれW_i1[p_i1-169, p_i1]、W_i2[p_i2-169, p_i2]、W_i3[p_i3-169, p_i3]、W_i4[p_i4-169, p_i4]、W_i5[p_i5-169, p_i5]、W_i6[p_i6-169, p_i6]、W_i7[p_i7-169, p_i7]、W_i8[p_i8-169, p_i8]、W_i9[p_i9-169, p_i9]、W_i10[p_i10-169, p_i10]、およびW_i11[p_i11-169, p_i11]である。p_ixと潜在的な分割点k_iの間の間隔はd_xバイトである。具体的には、p_i1とk_iの間の間隔は3バイトであり、p_i2とk_iの間の間隔は2バイトであり、p_i3とk_iの間の間隔は1バイトであり、p_i4とk_iの間の間隔は0バイトであり、p_i5とk_iの間の間隔は1バイトであり、p_i6とk_iの間の間隔は2バイトであり、p_i7とk_iの間の間隔は3バイトであり、p_i8とk_iの間の間隔は4バイトであり、p_i9とk_iの間の間隔は5バイトであり、p_i10とk_iの間の間隔は6バイトであり、p_i11とk_iの間の間隔は7バイトであり、p_i5、p_i6、p_i7、p_i8、p_i9、p_i10、およびp_i11全ては、潜在的な分割点k_iに関して、データストリーム分割点を探索する方向と反対の方向にあり、p_i1、p_i2、およびp_i3全ては、潜在的な分割点k_iに関して、データストリーム分割点を探索する方向にある。W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[p_i6-169, p_i6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7[p_i7-169, p_i7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[p_i8-169, p_i8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[p_i9-169, p_i9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[p_i10-169, p_i10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[p_i11-169, p_i11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_i1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_i2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_i3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_i4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_i5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_i6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_i7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_i8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_i9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_i10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_i11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_iがデータストリーム分割点である。11個のウィンドウのうちのいずれかのウィンドウ内のデータの少なくとも一部が、対応する予め設定された条件を満たさない、例えば、図１０に表されたように、W_i7[p_i7-169, p_i7]内のデータの少なくとも一部が、対応する予め設定された条件を満たさないとき、データストリーム分割点を探索する方向に沿って点p_i7からNバイトがスキップされ、ここでNバイトは

より大きくない。図１０に表わされた実現形態において、スキップされるNバイトは、具体的には、179バイトより大きくなく、この実施例において、具体的には、N=8であり、それによって新しい潜在的な分割点を取得する。潜在的な分割点k_iからの区別のために、新しい潜在的な分割点は、ここでk_jと表現される。図９に表わされた実現形態において、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについて11個の点が決定され、個々にp_j1、p_j2、p_j3、p_j4、p_j5、p_j6、p_j7、p_j8、p_j9、p_j10、およびp_j11であり、点p_j1、p_j2、p_j3、p_j4、p_j5、p_j6、p_j7、p_j8、p_j9、p_j10、およびp_j11に対応するウィンドウが決定され、それぞれW_j1[p_j1-169, p_j1]、W_j2[p_j2-169, p_j2]、W_j3[p_j3-169, p_j3]、W_j4[p_j4-169, p_j4]、W_j5[p_j5-169, p_j5]、W_j6[p_j6-169, p_j6]、W_j7[p_j7-169, p_j7]、W_j8[p_j8-169, p_j8]、W_j9[p_j9-169, p_j9]、W_j10[p_j10-169, p_j10]、およびW_j11[p_j11-169, p_j11]である。p_jxと潜在的な分割点k_jの間の間隔はd_xバイトである。具体的には、p_j1とk_jの間の間隔は3バイトであり、p_j2とk_jの間の間隔は2バイトであり、p_j3とk_jの間の間隔は1バイトであり、p_j4とk_jの間の間隔は0バイトであり、p_j5とk_jの間の間隔は1バイトであり、p_j6とk_jの間の間隔は2バイトであり、p_j7とk_jの間の間隔は3バイトであり、p_j8とk_jの間の間隔は4バイトであり、p_j9とk_jの間の間隔は5バイトであり、p_j10とk_jの間の間隔は6バイトであり、p_j11とk_jの間の間隔は7バイトであり、p_j5、p_j6、p_j7、p_j8、p_j9、p_j10、およびp_j11全ては、潜在的な分割点k_jに関して、データストリーム分割点を探索する方向と反対の方向にあり、p_j1、p_j2、およびp_j3全ては、潜在的な分割点k_jに関して、データストリーム分割点を探索する方向にある。W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_j3[p_j3-169, p_j3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_j4[p_j4-169, p_j4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[p_j5-169, p_j5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[p_j6-169, p_j6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[p_j7-169, p_j7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[p_j8-169, p_j8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[p_j9-169, p_j9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[p_j10-169, p_j10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[p_j11-169, p_j11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。もちろん、本発明のこの実施例において、潜在的な分割点k_aがデータストリーム分割点であるかどうかが判定されるときも規則に従い、具体的な実現は再度記載されず、潜在的な分割点k_iを判定する記載への参照が行われ得る。ウィンドウW_j1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_j2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_j3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_j4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_j5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_j6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_j7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_j8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_j9内のデータの少なくとも一部が予め設定さ
れた条件C₉を満たし、ウィンドウW_j10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_j11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されとき、現在の潜在的な分割点k_jがデータストリーム分割点であり、k_jとk_aの間のデータは1個のデータチャンクを形成する。一方、次の潜在的な分割点を取得するために、k_aのそれと同じ形態で4 KBの最小チャンクサイズがスキップされ、重複排除サーバ103において予め設定された規則に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。潜在的な分割点k_jがデータストリーム分割点でないと判定されたとき、次の潜在的な分割点を取得するために、k_iのそれと同じ形態で8バイトがスキップされ、重複排除サーバ103において予め設定された規則および上記の方法に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。設定された最大データチャンクを超えた後にデータストリーム分割点が見出されないとき、最大データチャンクの終了位置は強制的な分割点としての役目をする。

図３に表わされたデータストリーム分割点の探索に基づいて、図１１に表わされた実現形態において、規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点kについて、11個の点p_x、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、ここで
A₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=169、A₁₁=182、B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0、かつC₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀≠C₁₁である。p_xと潜在的な分割点kの間の間隔はd_xバイトである。具体的には、p₁と潜在的な分割点kの間の間隔は0バイトであり、p₂とkの間の間隔は1バイトであり、p₃とkの間の間隔は2バイトであり、p₄とkの間の間隔は3バイトであり、p₅とkの間の間隔は4バイトであり、p₆とkの間の間隔は5バイトであり、p₇とkの間の間隔は6バイトであり、p₈とkの間の間隔は7バイトであり、p₉とkの間の間隔は8バイトであり、p₁₀とkの間の間隔は1バイトであり、p₁₁とkの間の間隔は3バイトであり、p₂、p₃、p₄、p₅、p₆、p₇、p₈、およびp₉全ては、潜在的な分割点kに関して、データストリーム分割点を探索する方向と反対の方向にあり、p₁₀とp₁₁両方は、潜在的な分割点kに関して、 データストリーム分割点を探索する方向にある。k_aはデータストリーム分割点であり、図１１に表わされたデータストリーム分割点を探索する方向は左から右である。データストリーム分割点k_aから4 KBの最小データチャンクがスキップされた後、4 KBの最小データチャンクの終了位置は次の潜在的な分割点k_iとしての役目をし、潜在的な分割点k_iについて点p_ixが決定される。この実施例において、重複排除サーバ103において予め設定された規則に従って、xは個々に1から11までの連続した自然数を示す。図１１に表わされた実現形態において、潜在的な分割点k_iについて11個の点が決定され、個々にp_i1、p_i2、p_i3、p_i4、p_i5、p_i6、p_i7、p_i8、p_i9、p_i10、およびp_i11であり、点p_i1、p_i2、p_i3、p_i4、p_i5、p_i6、p_i7、p_i8、p_i9、p_i10、およびp_i11に対応するウィンドウは、それぞれW_i1[p_i1-169, p_i1]、W_i2[p_i2-169, p_i2]、W_i3[p_i3-169, p_i3]、W_i4[p_i4-169, p_i4]、W_i5[p_i5-169, p_i5]、W_i6[p_i6-169, p_i6]、W_i7[p_i7-169, p_i7]、W_i8[p_i8-169, p_i8]、W_i9[p_i9-169, p_i9]、W_i10[p_i10-169, p_i10]、およびW_i11[p_i11-169, p_i11]である。p_ixと潜在的な分割点k_iの間の間隔はd_xバイトである。具体的には、p_i1とk_iの間の間隔は0 バイトであり、p_i2とk_iの間の間隔は1 バイトであり、p_i3とk_iの間の間隔は2バイトであり、p_i4とk_iの間の間隔は3バイトであり、p_i5とk_iの間の間隔は4バイトであり、p_i6とk_iの間の間隔は5バイトであり、p_i7とk_iの間の間隔は6バイトであり、p_i8とk_iの間の間隔は7バイトであり、p_i9とk_iの間の間隔は8バイトであり、p_i10とk_iの間の間隔は1バイトであり、p_i11とk_iの間の間隔は3バイトであり、p_i2、p_i3、p_i4、p_i5、p_i6、p_i7、p_i8、およびp_i9全ては、潜在的な分割点k_iに関して、データストリーム分割点を探索する方向と反対の方向にあり、p_i10とp_i11両方は、潜在的な分割点k_iに関して、データストリーム分割点を探索する方向にある。W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[p_i6-169, p_i6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7[p_i7-169, p_i7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[p_i8-169, p_i8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[p_i9-169, p_i9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[p_i10-169, p_i10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[p_i11-169, p_i11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_i1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_i2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_i3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_i4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_i5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_i6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_i7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_i8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_i9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_i10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_i11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_iがデータストリーム分割点である。ウィンドウW_i11内のデータの少なくとも一部が予め設定された条件C₁₁を満たさないと判定されたとき、データストリーム分割点を探索する方向に沿って潜在的な分割点k_iから1バイトがスキップされ、それによって新しい潜在的な分割点を取得する。潜在的な分割点k_iからの区別のために、新しい潜在的な分割点は、ここでk_jと表現される。10個のウィンドウW_i1、W_i2、W_i3、W_i4、W_i5、W_i6、W_i7、W_i8、W_i9、およびW_i10のうちのいずれかのウィンドウ内のデータの少なくとも一部が、対応する予め設定された条件、例えば、図１２に表わされたW_i4[p_i4-169, p_i4]を満たさないとき、データストリーム分割点を探索する方向に沿って点p_i4からNバイトがスキップされ、ここでNバイトは

より大きくない。図１２に表わされた実現形態において、スキップされるNバイトは、具体的には、179より大きくなく、この実施例において、具体的には、N=9であり、それによって新しい潜在的な分割点を取得する。潜在的な分割点k_iからの区別のために、新しい潜在的な分割点は、ここでk_jと表現される。図１１に表わされた実現形態において、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについて11個の点が決定され、個々にp_j1、p_j2、p_j3、p_j4、p_j5、p_j6、p_j7、p_j8、p_j9、p_j10、およびp_j11であり、点p_j1、p_j2、p_j3、p_j4、p_j5、p_j6、p_j7、p_j8、p_j9、p_j10、およびp_j11に対応するウィンドウが決定され、それぞれW_j1[p_j1-169, p_j1]、W_j2[p_j2-169, p_j2]、W_j3[p_j3-169, p_j3]、W_j4[p_j4-169, p_j4]、W_j5[p_j5-169, p_j5]、W_j6[p_j6-169, p_j6]、W_j7[p_j7-169, p_j7]、W_j8[p_j8-169, p_j8]、W_j9[p_j9-169, p_j9]、W_j10[p_j10-169, p_j10]、およびW_j11[p_j11 -182, p_j11 ]である。p_jxと潜在的な分割点k_jの間の間隔はd_xバイトである。具体的には、p_j1とk_jの間の間隔は0バイトであり、p_j2とk_jの間の間隔は1バイトであり、p_j3とk_jの間の間隔は2バイトであり、p_j4とk_jの間の間隔は3バイトであり、p_j5とk_jの間の間隔は4バイトであり、p_j6とk_jの間の間隔は5バイトであり、p_j7とk_jの間の間隔は6バイトであり、p_j8とk_jの間の間隔は7バイトであり、p_j9とk_jの間の間隔は8バイトであり、p_j10とk_jの間の間隔は1バイトであり、p_j11とk_jの間の間隔は3バイトであり、p_j2、p_j3、p_j4、p_j5、p_j6、p_j7、p_j8、およびp_j9全ては、潜在的な分割点k_jに関して、データストリーム分割点を探索する方向と反対の方向にあり、p_j10とp_j11両方は、潜在的な分割点k_jに関して、データストリーム分割点を探索する方向にある。W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_j3[p_j3-169, p_j3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_j4[p_j4-169, p_j4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[p_j5-169, p_j5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[p_j6-169, p_j6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[p_j7-169, p_j7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[p_j8-169, p_j8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[p_j9-169, p_j9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[p_j10-169, p_j10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[p_j11-182, p_j11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。もちろん、本発明のこの実施例において、潜在的な分割点k_aがデータストリーム分割点であるかどうかが判定されるときも規則に従い、具体的な実現は再度記載されず、潜在的な分割点k_iを判定する記載への参照が行われ得る。ウィンドウW_j1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_j2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_j3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_j4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_j5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_j6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_j7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_j8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_j9内のデータの少なくとも一部が予め設定された条件C
₉を満たし、ウィンドウW_j10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_j11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_jがデータストリーム分割点であり、k_jとk_aの間のデータは1個のデータチャンクを形成する。一方、次の潜在的な分割点を取得するために、k_aのそれと同じ形態で4 KBの最小チャンクサイズがスキップされ、重複排除サーバ103において予め設定された規則に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。潜在的な分割点k_jがデータストリーム分割点でないと判定されたとき、k_iのそれと同じ形態で次の潜在的な分割点が取得され、重複排除サーバ103において予め設定された規則および上記の方法に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。設定された最大データチャンクを超えた後にデータストリーム分割点が見出されないとき、最大データチャンクの終了位置は強制的な分割点としての役目をする。

図３に表わされたデータストリーム分割点の探索に基づいて、図１３に表わされた実現形態において、重複排除サーバ103において予め設定された規則は、潜在的な分割点kについて、11個の点p_x、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは個々に1から11までの連続した自然数を示し、ここで点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件を満たす確率は1/2であり、A₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=A₁₁=169、B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0、かつC₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁であり、ここでp_xと潜在的な分割点kの間の間隔はd_xバイトである。具体的には、p₁と潜在的な分割点kの間の間隔は0バイトであり、p₂とkの間の間隔は2バイトであり、p₃とkの間の間隔は4バイトであり、p₄とkの間の間隔は6バイトであり、p₅とkの間の間隔は8バイトであり、p₆とkの間の間隔は10バイトであり、p₇とkの間の間隔は12バイトであり、p₈とkの間の間隔は14バイトであり、p₉とkの間の間隔は16バイトであり、p₁₀とkの間の間隔は18バイトであり、p₁₁とkの間の間隔は20バイトであり、潜在的な分割点kに関して、p₂、p₃、p₄、p₅、p₆、p₇、p₈、p₉、p₁₀、およびp₁₁全ては、データストリーム分割点を探索する方向と反対の方向にある。k_aはデータストリーム分割点であり、図１３に表わされたデータストリーム分割点を探索する方向は左から右である。データストリーム分割点k_aから4 KBの最小データチャンクがスキップされた後、4 KBの最小データチャンクの終了位置は、次の潜在的な分割点k_iとしての役目をし、潜在的な分割点k_iについて点p_ixが決定される。この実施例において、重複排除サーバ103において予め設定された規則に従って、xは個々に1から11までの連続した自然数を示す。図１３に表わされた実現形態において、予め設定された規則に従って、潜在的な分割点k_iについて11個の点が決定され、個々にp_i1、p_i2、
p_i3、p_i4、p_i5、p_i6、p_i7、p_i8、p_i9、p_i10、およびp_i11であり、点p_i1、p_i2、p_i3、p_i4、p_i5、p_i6、p_i7、p_i8、p_i9、p_i10、およびp_i11に対応するウィンドウは、それぞれW_i1[p_i1-169, p_i1]、W_i2[p_i2-169, p_i2]、W_i3[p_i3-169, p_i3]、W_i4[p_i4-169, p_i4]、W_i5[p_i5-169, p_i5]、W_i6[p_i6-169, p_i6]、W_i7[p_i7-169, p_i7]、W_i8[p_i8-169, p_i8]、W_i9[p_i9-169, p_i9]、W_i10[p_i10-169, p_i10]、およびW_i11[p_i11-169, p_i11]である。p_ixと潜在的な分割点k_iの間の間隔はd_xバイトである。具体的には、p_i1とk_iの間の間隔は0バイトであり、p_i2とk_iの間の間隔は2バイトであり、p_i3とk_iの間の間隔は4バイトであり、p_i4とk_iの間の間隔は6バイトであり、p_i5とk_iの間の間隔は8バイトであり、p_i6とk_iの間の間隔は10バイトであり、p_i7とk_iの間の間隔は12バイトであり、p_i8とk_iの間の間隔は14バイトであり、p_i9とk_iの間の間隔は16バイトであり、p_i10とk_iの間の間隔は18バイトであり、p_i11とk_iの間の間隔は20バイトであり、潜在的な分割点k_iに関して、p_i2、p_i3、p_i4、p_i5、p_i6、p_i7、p_i8、p_i9、p_i10、およびp_i11全ては、データストリーム分割点を探索する方向と反対の方向にある。W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[p_i6-169, p_i6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7[p_i7-169, p_i7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[p_i8-169, p_i8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[p_i9-169, p_i9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[p_i10-169, p_i10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[p_i11-169, p_i11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_i1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_i2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_i3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_i4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_i5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_i6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_i7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_i8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_i9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_i10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_i11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_iがデータストリーム分割点である。11個のウィンドウのうちのいずれかのウィンドウ内のデータの少なくとも一部が、対応する予め設定された条件を満たさない、例えば、図１４に表わされたように、W_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たさないとき、次の潜在的な分割点が選択される。潜在的な分割点k_iからの区別のために、次の潜在的な分割点は、ここでk_jと表現され、ここでk_jはk_iの右に位置し、k_jとk_iの間の間隔は1バイトである。図１４に表わされたように、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについて11個の点が決定され、個々にp_j1、p_j2、p_j3、p_j4、p_j5、p_j6、p_j7、p_j8、p_j9、p_j10、およびp_j11であり、点p_j1、p_j2、p_j3、p_j4、p_j5、p_j6、p_j7、p_j8、p_j9、p_j10、およびp_j11に対応するウィンドウが決定され、それぞれW_j1[p_j1-169, p_j1]、W_j2[p_j2-169, p_j2]、W_j3[p_j3-169, p_j3]、W_j4[p_j4-169, p_j4]、W_j5[p_j5-169, p_j5]、W_j6[p_j6-169, p_j6]、W_j7[p_j7-169, p_j7]、W_j8[p_j8-169, p_j8]、W_j9[p_j9-169, p_j9]、W_j10[p_j10-169, p_j10]、およびW_j11[p_j11-169, p_j11]であり、ここでA₁=A₂=A₃=A₄=A₅=A₆=A₇=A₈=A₉=A₁₀=A₁₁=169、B₁=B₂=B₃=B₄=B₅=B₆=B₇=B₈=B₉=B₁₀=B₁₁=0、かつC₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁である。p_jxと潜在的な分割点k_jの間の間隔はd_xバイトである。具体的には、p_j1とk_jの間の間隔は0バイトであり、p_j2とk_jの間の間隔は2バイトであり、p_j3とk_jの間の間隔は4バイトであり、p_j4とk_jの間の間隔は6バイトであり、p_j5とk_jの間の間隔は8バイトであり、p_j6とk_jの間の間隔は10バイトであり、p_j7とk_jの間の間隔は12バイトであり、p_j8とk_jの間の間隔は14バイトであり、p_j9とk_jの間の間隔は16バイトであり、p_j10とk_jの間の間隔は18バイトであり、p_j11とk_jの間の間隔は20バイトであり、潜在的な分割点k_jに関して、p_j2、p_j3、p_j4、p_j5、p_j6、p_j7、p_j8、p_j9、p_j10、およびp_j11全ては、データストリーム分割点を探索する方向と反対の方向にある。W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_j3[p_j3-169, p_j3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_j4[p_j4-169, p_j4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[p_j5-169, p_j5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[p_j6-169, p_j6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[p_j7-169, p_j7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[p_j8-169, p_j8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[p_j9-169, p_j9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[p_j10-169, p_j10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[p_j11-169, p_j11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_j1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_j2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_j3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_j4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_j5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_j6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_j7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_j8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_j9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_j10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_j11内のデータの少なくとも一部が予め設定された条件

C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_jがデータストリーム分割点である。ウィンドウW_j1、W_j2、W_j3、W_j4、W_j5、W_j6、W_j7、W_j8、W_j9、W_j10、およびW_j11のうちのいずれかのウィンドウ内
のデータの少なくとも一部が予め設定された条件を満たさないと判定されたとき、例えば、図１５に表わされたように、W_j3[p_j3-169, p_j3]内のデータの少なくとも一部が予め設定された条件C₃を満たさないとき、点p_i4はデータストリーム分割点を探索する方向に関して点p_j3の左に位置し、データストリーム分割点を探索する方向に沿って、点p_i4から21バイトがスキップされ、それによって次の潜在的な分割点を取得する。潜在的な分割点k_iおよびk_jからの区別のために、次の潜在的な分割点は、k_lと表現される。図１３に表わされた実現形態において、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_lについて11個の点が決定され、個々にp_l1、p_l2、p_l3、p_l4、p_l5、p_l6、p_l7、p_l8、p_l9、p_l10、およびp_l11であり、点p_l1、p_l2、p_l3、p_l4、p_l5、p_l6、p_l7、p_l8、p_l9、p_l10、およびp_l11に対応するウィンドウは、それぞれW_l1[p_l1-169, p_l1]、W_l2[p_l2-169, p_l2]、W_l3[p_l3-169, p_l3]、W_l4[p_l4-169, p_l4]、W_l5[p_l5-169, p_l5]、W_l6[p_l6-169, p_l6]、W_l7[p_l7-169, p_l7]、W_l8[p_l8-169, p_l8]、W_l9[p_l9-169, p_l9]、W_l10[p_l10-169, p_l10]、およびW_l11[p_l11-169, p_l11]であり、ここでp_lxと潜在的な分割点k_lの間の間隔はd_xバイトである。具体的には、p_l1と潜在的な分割点k_lの間の間隔は0バイトであり、p_l2とk_lの間の間隔は2バイトであり、p_l3とk_lの間の間隔は4バイトであり、p_l4とk_lの間の間隔は6バイトであり、p_l5とk_lの間の間隔は8バイトであり、p_l6とk_lの間の間隔は10バイトであり、p_l7とk_lの間の間隔は12バイトであり、p_l8とk_lの間の間隔は14バイトであり、p_l9とk_lの間の間隔は16バイトであり、p_l10とk_lの間の間隔は18バイトであり、p_l11とk_lの間の間隔は20バイトであり、潜在的な分割点k_lに関して、p_l2、p_l3、p_l4、p_l5、p_l6、p_l7、p_l8、p_l9、p_l10、およびp_l11全ては、データストリーム分割点を探索する方向と反対の方向にある。W_l1[p_l1-169, p_l1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_l2[p_l2-169, p_l2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_l3[p_l3-169, p_l3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_l4[p_l4-169, p_l4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_l5[p_l5-169, p_l5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_l6[p_l6-169, p_l6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_l7[p_l7-169, p_l7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_l8[p_l8-169, p_l8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_l9[p_l9-169, p_l9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_l10[p_l10-169, p_l10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_l11[p_l11-169, p_l11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_l1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_l2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_l3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_l4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_l5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_l6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_l7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_l8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_l9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_l10内のデータの少なくと
も一部が予め設定された条件C₁₀を満たし、かつウィンドウW_l11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_lがデータストリーム分割点である。ウィンドウW_l1、W_l2、W_l3、W_l4、W_l5、W_l6、W_l7、W_l8、W_l9、W_l10、およびW_l11のうちのいずれかのウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさないとき、次の潜在的な分割点が選択される。潜在的な分割点k_i、k_j、およびk_lからの区別のために、次の潜在的な分割点は、k_mと表現され、ここでk_mはk_lの右に位置し、k_mとk_lの間の間隔は1バイトである。図１３に表わされた実施例において、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_mについて11個の点が決定され、個々にp_m1、p_m2、p_m3、p_m4、p_m5、p_m6、p_m7、p_m8、p_m9、p_m10、およびp_m11であり、点p_m1、p_m2、p_m3、p_m4、p_m5、p_m6、p_m7、p_m8、p_m9、p_m10、およびp_m11に対応するウィンドウは、それぞれW_m1[p_m1-169, p_m1]、W_m2[p_m2-169, p_m2]、W_m3[p_m3-169, p_m3]、W_m4[p_m4-169, p_m4]、W_m5[p_m5-169, p_m5]、W_m6[p_m6-169, p_m6]、W_m7[p_m7-169, p_m7]、W_m8[p_m8-169, p_m8]、W_m9[p_m9-169, p_m9]、W_m10[p_m10-169, p_m10]、およびW_m11[p_m11-169, p_m11]であり、ここでp_mxと潜在的な分割点k_mの間の間隔はd_xバイトである。具体的には、p_m1と潜在的な分割点k_mの間の間隔は0バイトであり、p_m2とk_mの間の間隔は2バイトであり、p_m3とk_mの間の間隔は4バイトであり、p_m4とk_mの間の間隔は6バイトであり、p_m5とk_mの間の間隔は8バイトであり、p_m6とk_mの間の間隔は10バイトであり、p_m7とk_mの間の間隔は12バイトであり、p_m8とk_mの間の間隔14バイト、p_m9とk_mの間の間隔は16バイトであり、p_m10とk_mの間の間隔は18バイトであり、p_m11とk_mの間の間隔は20バイトであり、潜在的な分割点k_mに関して、p_m2、p_m3、p_m4、p_m5、p_m6、p_m7、p_m8、p_m9、p_m10、およびp_m11全ては、データストリーム分割点を探索する方向と反対の方向にある。W_m1[p_m1-169, p_m1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_m2[p_m2-169, p_m2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_m3[p_m3-169, p_m3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_m4[p_m4-169, p_m4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_m5[p_m5-169, p_m5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_m6[p_m6-169, p_m6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_m7[p_m7-169, p_m7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_m8[p_m8-169, p_m8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_m9[p_m9-169, p_m9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_m10[p_m10-169, p_m10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_m11[p_m11-169, p_m11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_m1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_m2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_m3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_m4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_m5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_m6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_m7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_m8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_m9内のデータの少なく
とも一部が予め設定された条件C₉を満たし、ウィンドウW_m10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_m11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されとき、現在の潜在的な分割点k_mがデータストリーム分割点である。いずれかのウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさないとき、上記で記載された解決策に従って、スキップが実行され、それによって次の潜在的な分割点を取得し、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。

本発明の実施例は、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するための方法を提供する。この実施例において、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかが判定され、図５に表わされた実現形態が例として使用される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについて、点p_i1および点p_i1に対応するウィンドウW_i1[p_i1-169, p_i1]が決定され、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図１６に表わされたように、W_i1はウィンドウW_i1[p_i1-169, p_i1]を表現し、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図１６において、

は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。データの選択された5バイトは繰り返し51回使用されて合計で255バイトを取得し、それによってランダム性を増加させる。その各バイトは8ビットで形成され、これらはa_m,1、...、およびa_m,8と示され、255バイト内のm番目のバイトの1番目のビットから8番目のビットを表現し、従って、255バイトに対応するビットは、

と表現されることが可能であり、ここでa_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、ここでa_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aは255バイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、

と表現されることが可能である。大量の乱数が選択されて行列を形成し、一旦形成されると、乱数によって形成された行列は不変のままである。例えば、特定の分布（ここで例として正規分布が使用される）に従う乱数から255*8個の乱数が選択されて行列R

を形成し、ここで行列V_aのm番目の行と行列Rのm番目の行の乱数が乗算され、積が加算されて値を取得し、これは、具体的には、S_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現される。S_a1、S_a2、...、およびS_a255は本方法に従って取得され、S_a1、S_a2、...、およびS_a255の中で特定の条件（ここで例として0より大きいことが使用される）を満たす値の数量Kがカウントされる。行列Rは正規分布に従うので、行列Rが従うようにS_amは依然として正規分布に従う。確率論によれば、正規分布における乱数が0より大きい確率は1/2であり、S_a1、S_a2、...、およびS_a255の中の各値が0より大きい確率は1/2であり、従って、Kは二項分布

を満たす。カウント結果に従って、S_a1、S_a2、...、およびS_a255の中で0より大きい値の数量Kが偶数であるかどうかが判定され、二項分布における乱数が偶数である確率は1/2であり、従って、Kは1/2の確率で条件を満たす。Kが偶数であるとき、それはW_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすことを示す。Kが奇数であるとき、それはW_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たさないことを示す。C₁は、ここで、S_a1、S_a2、...、およびS_a255の中で0より大きい値の、上記の形態に従って取得された数量Kが偶数であることを指す。図５に表わされた実現形態において、W_i1[p_i1-169, p_i1]、W_i2[p_i2-169, p_i2]、W_i3[p_i3-169, p_i3]、W_i4[p_i4-169, p_i4]、W_i5[p_i5-169, p_i5]、W_i6[p_i6-169, p_i6]、W_i7[p_i7-169, p_i7]、W_i8[p_i8-169, p_i8]、W_i9[p_i9-169, p_i9]、W_i10[p_i10-169, p_i10]、およびW_i11[p_i11-169, p_i11]について、ウィンドウはサイズにおいて同じであり、すなわち、全てのウィンドウは169バイトのサイズを有し、ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態も同じである。詳細については、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する上記の記載を参照されたい。従って、図１６に表わされたように、

は、ウィンドウW_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。データの選択された5バイトは繰り返し51回使用されて合計で255バイトを取得し、それによってランダム性を増加させる。その各バイトは8ビットで形成され、これらはb_m,1、...,およびb_m,8と示され、255バイト内のm番目のバイトの1番目のビットから8番目のビットを表現し、従って、255バイトに対応するビットは、

と表現されることが可能であり、ここでb_m,n=1であるときV_bm,n=1であり、b_m,n=0であるときV_bm,n=-1であり、ここでb_m,nはb_m,1、...、およびb_m,8のうちのいずれか1つを表現し、行列V_bは255バイトに対応するビットからb_m,nとV_bm,nの間の変換関係に従って取得され、

と表現されることが可能である。W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態は、ウィンドウW_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態と同じであり、従って、行列R

が使用され、行列V_bのm番目の行と行列Rのm番目の行の乱数が乗算され、積が加算されて値を取得し、これは、具体的には、S_bm=V_bm,1*h_m,1+V_bm,2*h_m,2+...+V_bm,8*h_m,8と表現される。S_b1、S_b2、...、およびS_b255は本方法に従って取得され、S_b1、S_b2、...、およびS_b255の中で特定の条件（ここで例として0より大きいことが使用される）を満たす値の数量Kがカウントされる。行列Rは正規分布に従うので、行列Rが従うようにS_bmは依然として正規分布に従う。確率論によれば、正規分布における乱数が0より大きい確率は1/2であり、S_b1、S_b2、...、およびS_b255の中の各値が0より大きい確率は1/2であり、従って、Kは二項分布

を満たす。カウント結果に従って、S_b1、S_b2、...、およびS_b255の中で0より大きい値の数量Kが偶数であるかどうかが判定され、二項分布における乱数が偶数である確率は1/2であり、従って、Kは1/2の確率で条件を満たす。Kが偶数であるとき、それはW_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすことを示す。Kが奇数であるとき、それはW_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たさないことを示す。C₂は、ここで、S_b1、S_b2、...、およびS_b255の中で0より大きい値の、上記の形態に従って取得された数量Kが偶数であることを指す。図３に表わされた実現形態において、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たす。

従って、図１６に表わされたように、

は、ウィンドウW_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。データの選択された5バイトは繰り返し51回使用されて合計で255バイトを取得し、それによってランダム性を増加させる。そして、ウィンドウW_i1[p_i1-169, p_i1]およびW_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定するための方法は、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定するために使用される。図５に表わされた実現形態において、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件を満たす。図１６に表わされたように、

は、ウィンドウW_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。データの選択された5バイトは繰り返し51回使用されて合計で255バイトを取得し、それによってランダム性を増加させる。そして、ウィンドウW_i1[p_i1-169, p_i1]、W_i2[p_i2-169, p_i2]、およびW_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定するための方法は、W_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかを判定するために使用される。図５に表わされた実現形態において、W_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たす。図１６に表わされたように、

は、ウィンドウW_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。データの選択された5バイトは繰り返し51回使用されて合計で255バイトを取得し、それによってランダム性を増加させる。そして、ウィンドウW_i1[p_i1-169, p_i1]、W_i2[p_i2-169, p_i2]、W_i3[p_i3-169, p_i3]、およびW_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定するための方法は、W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかを判定するために使用される。図５に表わされた実現形態において、W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たさない。

W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たさないとき、データストリーム分割点を探索する方向に沿って点p_i5から11バイトがスキップされ、11番目のバイトの終了位置において次の潜在的な分割点k_jが取得される。図６に表わされたように、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについて、点p_j1および点p_j1に対応するウィンドウW_j1[p_j1-169, p_j1]が決定される。ウィンドウW_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じである。従って、図１７に表わされたように、W_j1はウィンドウW_j1[p_j1-169, p_j1]を表現し、5バイトは、W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために選択される。図１７において、

は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。データの選択された5バイトは繰り返し51回使用されて合計で255バイトを取得し、それによってランダム性を増加させる。その各バイトは8ビットで形成され、これらはa_m,1'、...、およびa_m,8'と示され、255バイト内のm番目のバイトの1番目のビットから8番目のビットを表現し、従って、255バイトに対応するビットは、

と表現されることが可能であり、ここでa_m,n'=1であるときV_am,n'=1であり、a_m,n'=0であるときV_am,n'=-1であり、ここでa_m,n'はa_m,1'、...、およびa_m,8'のうちのいずれか1つを表現し、行列V_a'は255バイトに対応するビットからa_m,n'とV_am,n'の間の変換関係に従って取得され、

と表現されることが可能である。ウィンドウW_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態は、ウィンドウW_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態と同じである。従って、行列R

が使用され、行列V_a'のm番目の行と行列Rのm番目の行の乱数が乗算され、積が加算されて値を取得し、これは、具体的には、S_am'=V_am,1'*h_m,1+V_am,2'*h_m,2+...+V_am,8'*h_m,8と表現される。S_a1'、S_a2'、...、およびS_a255'は本方法に従って取得され、S_a1'、S_a2'、...、およびS_a255'の中で特定の条件（ここで例として0より大きいことが使用される）を満たす値の数量Kがカウントされる。行列Rは正規分布に従うので、行列Rが従うようにS_am'は依然として正規分布に従う。確率論によれば、正規分布における乱数が0より大きい確率は1/2であり、S_a1'、S_a2'、...、およびS_a255'の中の各値が0より大きい確率は1/2であり、従って、Kは二項分布

を満たす。カウント結果に従って、S_a1'、S_a2'、...、およびS_a255'の中で0より大きい値の数量Kが偶数であるかどうかが判定され、二項分布における乱数が偶数である確率は1/2であり、従って、Kは1/2の確率で条件を満たす。Kが偶数であるとき、それはW_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすことを示す。Kが奇数であるとき、それはW_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たさないことを示す。

W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じである。従って、図１７に表わされたように、

は、ウィンドウW_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。データの選択された5バイトは繰り返し51回使用されて合計で255バイトを取得し、それによってランダム性を増加させる。その各バイトは8ビットで形成され、これらはb_m,1'、...、およびb_m,8'と示され、255バイト内のm番目のバイトの1番目のビットから8番目のビットを表現し、従って、255バイトに対応するビットは、

と表現されることが可能であり、ここでb_m,n'=1であるときV_bm,n'=1であり、b_m,n'=0であるときV_bm,n'=-1であり、ここでb_m,n'はb_m,1'、...、およびb_m,8'のうちのいずれか1つを表現し、行列V_b'は255バイトに対応するビットからb_m,n'とV_bm,n'の間の変換関係に従って取得され、

と表現されることが可能である。ウィンドウW₂[p₂-169, p₂]およびW₂[q₂-169, q₂]内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態は同じであり、従って、行列R

が依然として使用される。行列V_b'のm番目の行と行列Rのm番目の行の乱数が乗算され、積が加算されて値を取得し、これは、具体的には、S_bm'=V_bm,1'*h_m,1+V_bm,2'*h_m,2+...+V_bm,8'*h_m,8と表現される。S_b1'、S_b2'、...、およびS_b255'は本方法に従って取得され、S_b1'、S_b2'、...、およびS_b255'の中で特定の条件（ここで例として0より大きいことが使用される）を満たす値の数量Kがカウントされる。行列Rは正規分布に従うので、行列Rが従うようにS_bm'は依然として正規分布に従う。確率論によれば、正規分布における乱数が0より大きい確率は1/2であり、S_b1'、S_b2'、...、およびS_b255'の中の各値が0より大きい確率は1/2であり、従って、Kは二項分布

を満たす。カウント結果に従って、S_b1'、S_b2'、...、およびS_b255'の中で0より大きい値の数量Kが偶数であるかどうかが判定され、二項分布における乱数が偶数である確率は1/2であり、従って、Kは1/2の確率で条件を満たす。Kが偶数であるとき、それはW_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすことを示す。Kが奇数であるとき、それはW_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たさないことを示す。同様に、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態は、W_j3[p_j3-169, p_j3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態と同じである。同様に、W_j4[p_j4-169, p_j4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[p_j5-169, p_j5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[p_j6-169, p_j6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[p_j7-169, p_j7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[p_j8-169, p_j8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[p_j9-169, p_j9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[p_j10-169, p_j10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[p_j11-169, p_j11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定され、これらは再度ここに記載されない。

例として図５に表わされた実現形態を依然として使用して、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するための方法が提供される。この実施例において、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかが判定される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについて、点p_i1および点p_i1に対応するウィンドウW_i1[p_i1-169, p_i1]が決定され、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図１６に表わされたように、W_i1はウィンドウW_i1[p_i1-169, p_i1]を表現し、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図１６において、

は1個の選択されたバイトを表現し、2個の隣接する選択されたバイト

の間に42バイトがある。一実現形態において、選択された5バイトを計算するためにhash関数が使用され、hash関数を使用することによって計算によって取得された値は、一定の一様分布をなす。hash関数を使用することによって計算によって取得された値が偶数であるならば、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、すなわち、C₁は、hash関数を使用することによって、上記の形態に従って、計算によって取得された値が偶数であることを表現する。従って、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件を満たす確率は1/2である。図５に表わされた実現形態において、hash関数を使用することによって、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうか、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうか、W_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうか、かつW_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定される。具体的な実現について、図５に表わされた実現形態において、hash関数を使用することによって、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態の記載への参照が行われることが可能であり、これは再度ここに記載されない。

W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たさないとき、データストリーム分割点を探索する方向に沿って点p_i5から11バイトがスキップされ、11番目のバイトの終了位置において現在の潜在的な分割点k_jが取得される。図６に表わされたように、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについて、点p_j1および点p_j1に対応するウィンドウW_j1[p_j1-169, p_j1]が決定される。ウィンドウW_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じである。従って、図１７に表わされたように、W_j1はウィンドウW_j1[p_j1-169, p_j1]を表現し、W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図１７において、

は1個の選択されたバイトを表現し、2個の隣接する選択されたバイト

の間に42バイトがある。ウィンドウW_j1[p_j1-169, p_j1]から選択された5バイトはhash関数を使用することによって計算される。取得された値が偶数であるならば、W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たす。図１７において、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じである。従って、図１７に表わされたように、

は、ウィンドウW_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイト

の間に42バイトがある。選択された5バイトはhash関数を使用することによって計算される。取得された値が偶数であるならば、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たす。図１７において、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態は、W_j3[p_j3-169, p_j3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態と同じである。従って、図１７に表わされたように、

は、ウィンドウW_j3[p_j3-169, p_j3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイト

の間に42バイトがある。選択された5バイトはhash関数を使用することによって計算される。取得された値が偶数であるならば、W_j3[p_j3-169, p_j3]内のデータの少なくとも一部が予め設定された条件C₃を満たす。図１７において、W_j4[p_j4-169, p_j4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかを判定する形態は、ウィンドウW_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかを判定する形態と同じである。従って、図１７に表わされたように、

は、ウィンドウW_j4[p_j4-169, p_j4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイト

の間に42バイトがある。選択された5バイトがhash関数を使用することによって計算される。取得された値が偶数であるならば、W_j4[p_j4-169, p_j4]内のデータの少なくとも一部が予め設定された条件C₄を満たす。上記の方法に従って、W_j5[p_j5-169, p_j5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[p_j6-169, p_j6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[p_j7-169, p_j7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[p_j8-169, p_j8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[p_j9-169, p_j9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[p_j10-169, p_j10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[p_j11-169, p_j11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定され、これらは再度ここに記載されない。

例として図５に表わされた実現形態を使用して、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するための方法が提供される。この実施例において、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかが判定される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについて、点p_i1およびp_i1に対応するウィンドウW_i1[p_i1-169, p_i1]が決定され、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図１６に表わされたように、W_i1はウィンドウW_i1[p_i1-169, p_i1]を表現し、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図１６において、その順序番号が169、127、85、43、および1であるバイト

の各々は、1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が169、127、85、43、および1であるバイト

はそれぞれa₁、a₂、a₃、a₄、およびa₅と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、a₁、a₂、a₃、a₄、およびa₅のうちのいずれのa_rも0≦a_r≦255を満たす。a₁、a₂、a₃、a₄、およびa₅は1*5行列を形成する。二項分布に従う乱数から256*5個の乱数が選択されて

と表現される行列Rを形成する。

行列Rはa₁の値およびa₁が位置する列に従って対応する値について探索される。例えば、a₁=36であり、a₁が1番目の列に位置するならば、h_36,1に対応する値が探索される。行列Rはa₂の値およびa₂が位置する列に従って対応する値について探索される。例えば、a₂=48であり、a₂が2番目の列に位置するならば、h_48,2に対応する値が探索される。行列Rはa₃の値およびa₃が位置する列に従って対応する値について探索される。例えば、a₃=26であり、a₃が3番目の列に位置するならば、h_26,3に対応する値が探索される。行列Rはa₄の値およびa₄が位置する列に従って対応する値について探索される。例えば、a₄=26であり、a₄が4番目の列に位置するならば、h_26,4に対応する値が探索される。行列Rはa₅の値およびa₅が位置する列に従って対応する値について探索される。例えば、a₅=88であり、a₅が5番目の列に位置するならば、h_88,5に対応する値が探索される。S₁=h_36,1+h_48,2+h_26,3+h_26,4+h_88,5であり、行列Rは二項分布に従うので、S₁も二項分布に従う。S₁が偶数であるとき、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たし、S₁が奇数であるとき、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たさない。S₁が偶数である確率は1/2であり、C₁は、上記の形態に従って計算によって取得されたS₁が偶数であることを表現する。図５に表わされた実施例において、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たす。図１６に表わされたように、

は、ウィンドウW_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに個々に選択された1バイトを表現する。図１６において、バイトは個々に順序番号170、128、86、44、および2と表現され、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が170、128、86、44、および2であるバイト

は、それぞれb₁、b₂、b₃、b₄、...、およびb₅と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、b₁、b₂、b₃、b₄、...、およびb₅のうちのいずれのb_rも0≦b_r≦255を満たす。b₁、b₂、b₃、b₄、...、およびb₅は1*5行列を形成する。この実現形態において、W_i1およびW_i2内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態は同じであり、従って、行列Rが依然として使用される。行列Rはb₁の値およびb₁が位置する列に従って対応する値について探索される。例えば、b₁=66であり、b₁が1番目の列に位置するならば、h_66,1に対応する値が探索される。行列Rはb₂の値およびb₂が位置する列に従って対応する値について探索される。例えば、b₂=48であり、b₂が2番目の列に位置するならば、h_48,2に対応する値が探索される。行列Rはb₃の値およびb₃が位置する列に従って対応する値について探索される。例えば、b₃=99であり、b₃が3番目の列に位置するならば、h_99,3に対応する値が探索される。行列Rはb₄の値およびb₄が位置する列に従って対応する値について探索される。例えば、b₄=26であり、b₄が4番目の列に位置するならば、h_26,4に対応する値が探索される。行列Rはb₅の値およびb₅が位置する列に従って対応する値について探索される。例えば、b₅=90であり、b₅が5番目の列に位置するならば、h_90,5に対応する値が探索される。S₂=h_66,1+h_48,2+h_99,3+h_26,4+h_90,5であり、行列Rは二項分布に従うので、S₂も二項分布に従う。S₂が偶数であるとき、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たし、S₂が奇数であるとき、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たさない。S₂が偶数である確率は1/2である。図５に表わされた実施例において、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たす。同じ規則を使用することによって、個々に、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[p
_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[p_i6-169, p_i6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7[p_i7-169, p_i7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[p_i8-169, p_i8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[p_i9-169, p_i9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[p_i10-169, p_i10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[p_i11-169, p_i11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。図５に表わされた実現形態において、W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たさず、データストリーム分割点を探索する方向に沿って点p_i5から11バイトがスキップされ、11番目のバイトの終了位置において現在の潜在的な分割点k_jが取得される。図６に表わされたように、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについて、点p_j1および点p_j1に対応するウィンドウW_j1[p_j1-169, p_j1]が決定される。ウィンドウW_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じである。従って、図１７に表わされたように、W_j1はウィンドウW_j1[p_j1-169, p_j1]を表現し、W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図１７において、その順序番号が169、127、85、43、および1であるバイト

の各々は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が169、127、85、43、および1であるバイト

は、それぞれa₁'、a₂'、a₃'、a₄'、...、およびa₅'と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、a₁'、a₂'、a₃'、a₄'、...、およびa₅'のうちのいずれのa_r'も0≦a_r'≦255を満たす。a₁'、a₂'、a₃'、a₄'、...、およびa₅'は1*5行列を形成する。ウィンドウW_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じであり、従って、行列Rが依然として使用され、

と表現される。

行列Rはa₁'の値およびa₁'が位置する列に従って対応する値について探索される。例えば、a₁'=16であり、a₁'が1番目の列に位置するならば、h_16,1に対応する値が探索される。行列Rはa₂'の値およびa₂'が位置する列に従って対応する値について探索される。例えば、a₂'=98であり、a₂'が2番目の列に位置するならば、h_98,2に対応する値が探索される。行列Rはa₃'の値およびa₃'が位置する列に従って対応する値について探索される。例えば、a₃'=56であり、a₃'が3番目の列に位置するならば、h_56,3に対応する値が探索される。行列Rはa₄'の値およびa₄'が位置する列に従って対応する値について探索される。例えば、a₄'=36であり、a₄'が4番目の列に位置するならば、h_36,4に対応する値が探索される。行列Rはa₅'の値およびa₅'が位置する列に従って対応する値について探索される。例えば、a₅'=99であり、a₅'が5番目の列に位置するならば、h_99,5に対応する値が探索される。S₁'=h_16,1+h_98,2+h_56,3+h_36,4+h_99,5であり、行列Rは二項分布に従うので、S₁'も二項分布に従う。S₁'が偶数であるとき、W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たし、S₁'が奇数であるとき、W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たさない。S₁'が偶数である確率は1/2である。

W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じである。従って、図１７に表わされたように、

は、ウィンドウW_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。選択されたバイトは個々に順序番号170、128、86、44、および2と表現され、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が170、128、86、44、および2であるバイト

は、それぞれb₁'、b₂'、b₃'、b₄'、...、およびb₅'と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、b₁'、b₂'、b₃'、b₄'、...、およびb₅'のうちのいずれのb_r'も0≦b_r'≦255を満たす。b₁'、b₂'、b₃'、b₄'、...、およびb₅'は1*5行列を形成する。ウィンドウW_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに使用されたのと同じ行列Rが使用される。行列Rはb₁'の値およびb₁'が位置する列に従って対応する値について探索される。例えば、b₁'=210であり、b₁'が1番目の列に位置するならば、h_210,1に対応する値が探索される。行列Rはb₂'の値およびb₂'が位置する列に従って対応する値について探索される。例えば、b₂'=156であり、b₂'が2番目の列に位置するならば、h_156,2に対応する値が探索される。行列Rはb₃'の値およびb₃'が位置する列に従って対応する値について探索される。例えば、b₃'=144であり、b₃'が3番目の列に位置するならば、h_144,3に対応する値が探索される。行列Rはb₄'の値およびb₄'が位置する列に従って対応する値について探索される。例えば、b₄'=60であり、b₄'が4番目の列に位置するならば、h_60,4に対応する値が探索される。行列Rはb₅'の値およびb₅'が位置する列に従って対応する値について探索される。例えば、b₅'=90であり、b₅'が5番目の列に位置するならば、h_90,5に対応する値が探索される。S₂'=h_210,1+h_156,2+h_144,3+h_60,4+h_90,5である。S₂の判定条件と同じく、S₂'が偶数であるとき、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たし、S₂'が奇数であるとき、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たさない。S₂'が偶数である確率は1/2である。

同様に、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態は、W_j3[p_j3-169, p_j3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態と同じである。同様に、W_j4[p_j4-169, p_j4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[p_j5-169, p_j5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[p_j6-169, p_j6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[p_j7-169, p_j7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[p_j8-169, p_j8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[p_j9-169, p_j9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[p_j10-169, p_j10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[p_j11-169, p_j11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定され、これらは再度ここに記載されない。

例として図５に表わされた実現形態を使用して、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するための方法が提供される。この実施例において、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかが判定される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについて、点p_i1およびp_i1に対応するウィンドウW_i1[p_i1-169, p_i1]が決定され、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図１６に表わされたように、W_i1はウィンドウW_i1[p_i1-169, p_i1]を表現し、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図１６において、その順序番号が169、127、85、43、および1であるバイト

の各々は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が169、127、85、43、および1であるバイト

は、それぞれa₁、a₂、a₃、a₄、...、およびa₅と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、a₁、a₂、a₃、a₄、...、およびa₅のうちのいずれのa_sも0≦a_s≦255を満たす。a₁、a₂、a₃、a₄、...、およびa₅は1*5行列を形成する。二項分布に従う乱数から256*5個の乱数が選択されて

と表現される行列Rを形成する。二項分布に従う乱数から256*5個の乱数が選択されて

と表現される行列Gを形成する。

a₁の値およびa₁が位置する列に従って、例えば、a₁=36であり、a₁は1番目の列に位置し、行列Rはh_36,1に対応する値について探索され、行列Gはg_36,1に対応する値について探索される。a₂の値およびa₂が位置する列に従って、例えば、a₂=48であり、a₂は2番目の列に位置し、行列Rはh_48,2に対応する値について探索され、行列Gはg_48,2に対応する値について探索される。a₃の値およびa₃が位置する列に従って、例えば、a₃=26であり、a₃は3番目の列に位置し、行列Rはh_26,3に対応する値について探索され、行列Gはg_26,3に対応する値について探索される。a₄の値およびa₄が位置する列に従って、例えば、a₄=26であり、a₄は4番目の列に位置し、行列Rはh_26,4に対応する値について探索され、行列Gはg_26,4に対応する値について探索される。a₅の値およびa₅が位置する列に従って、例えば、a₅=88であり、a₅は5番目の列に位置し、行列Rはh_88,5に対応する値について探索され、行列Gはg_88,5に対応する値について探索される。S_1h=h_36,1+h_48,2+h_26,3+h_26,4+h_88,5であり、行列Rは二項分布に従うので、S_1hも二項分布に従う。S_1g=g_36,1+g_48,2+g_26,3+g_26,4+g_88,5であり、行列Gは二項分布に従うので、S_1gも二項分布に従う。S_1hおよびS_1gのうちの1つが偶数であるとき、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たし、S_1hとS_1g両方が奇数であるとき、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たさず、C₁は、上記の方法に従って取得されたS_1hおよびS_1gのうちの1つが偶数であることを示す。S_1hとS_1g両方は二項分布に従うので、S_1hが偶数である確率は1/2であり、S_1gが偶数である確率は1/2であり、S_1hおよびS_1gのうちの1つが偶数である確率は1-1/4=3/4である。従って、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たす確率は3/4である。図５に表わされた実施例において、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たす。図５に表わされた実現形態において、W_i1[p_i1-169, p_i1]、W_i2[p_i2-169, p_i2]、W_i3[p_i3-169, p_i3]、W_i4[p_i4-169, p_i4]、W_i5[p_i5-169, p_i5]、W_i6[p_i6-169, p_i6]、W_i7[p_i7-169, p_i7]、W_i8[p_i8-169, p_i8]、W_i9[p_i9-169, p_i9]、W_i10[p_i10-169, p_i10]、およびW_i11[p_i11-169, p_i11]について、ウィンドウはサイズにおいて同じであり、すなわち、全てのウィンドウは169バイトのサイズを有し、一方、ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態も同じである。詳細については、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する上記の記載を参照されたい。従って、図１６に表わされたように、

は、ウィンドウW_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに個々に選択された1バイトを表現する。図１６において、選択されたバイトは個々に順序番号170、128、86、44、および2と表現され、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が170、128、86、44、および2であるバイト

は、それぞれb₁、b₂、b₃、b₄、...、およびb₅と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、b₁、b₂、b₃、b₄、...、およびb₅のうちのいずれのb_sも0≦b_s≦255を満たす。b₁、b₂、b₃、b₄、...、およびb₅は1*5行列を形成する。この実現形態において、各ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態は同じであり、従って、同じ行列RおよびGが依然として使用される。b₁の値およびb₁が位置する列に従って、例えば、b₁=66であり、b₁は1番目の列に位置し、行列Rはh_66,1に対応する値について探索され、行列Gはg_66,1に対応する値について探索される。b₂の値およびb₂が位置する列に従って、例えば、b₂=48であり、b₂は2番目の列に位置し、行列Rはh_48,2に対応する値について探索され、行列Gはg_48,2に対応する値について探索される。b₃の値およびb₃が位置する列に従って、例えば、b₃=99であり、b₃は3番目の列に位置し、行列Rはh_99,3に対応する値について探索され、行列Gはg_99,3に対応する値について探索される。b₄の値およびb₄が位置する列に従って、例えば、b₄=26であり、b₄は4番目の列に位置し、行列Rはh_26,4に対応する値について探索され、行列Gはg_26,4に対応する値について探索される。b₅の値およびb₅が位置する列に従って、例えば、b₅=90であり、b₅は5番目の列に位置し、行列Rはh_90,5に対応する値について探索され、行列Gはg_90,5に対応する値について探索される。S_2h=h_66,1+h_48,2+h_99,3+h_26,4+h_90,5であり、行列Rは二項分布に従うので、S_2hも二項分布に従う。S_2g=g_66,1+g_48,2+g_99,3+g_26,4+g_90,5であり、行列Gは二項分布に従うので、S_2gも二項分布に従う。S_2hおよびS_2gのうちの1つが偶数であるとき、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たし、S_2hとS_2g両方が奇数であるとき、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たさない。S_2hおよびS_2gのうちの1つが偶数である確率は3/4である。図５に表わされた実施例において、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たす。同じ規則を使用することによって、個々に、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[p_i6-169, p_i6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7[p_i7-169, p_i7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[p_i8-169, p_i8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[p_i9-169, p_i9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[p_i10-169, p_i10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[p_i11-169, p_i11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。図５に表わされた実現形態において、W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たさず、データストリーム分割点を探索する方向に沿って点p_i5から11バイトがスキップされ、11番目のバイトの終了位置において現在の潜在的な分割点k_jが取得される。図６に表わされたように、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについて、点p_j1および点p_j1に対応するウィンドウW_j1[p_j1-169, p_j1]が決定される。ウィンドウW_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じである。従って、図１７に表わされたように、W_j1はウィンドウW_j1[p_j1-169, p_j1]を表現し、W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図１７において、その順序番号が169、127、85、43、および1であるバイト

の各々は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が169、127、85、43、および1であるバイト

は、それぞれa₁'、a₂'、a₃'、a₄'、...、およびa₅'と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、a₁'、a₂'、a₃'、a₄'、...、およびa₅'のうちのいずれのa_s'も0≦a_s'≦255を満たす。a₁'、a₂'、a₃'、a₄'、...、およびa₅'は1*5行列を形成する。ウィンドウW_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定されるときに使用されたのと同じ行列RおよびGが使用され、それぞれ

および

と表現される。

a₁'の値およびa₁'が位置する列に従って、例えば、a₁'=16であり、a₁'は1番目の列に位置し、行列Rはh_16,1に対応する値について探索され、行列Gはg_16,1に対応する値について探索される。a₂'の値およびa₂'が位置する列に従って、例えば、a₂'=98であり、a₂'は2番目の列に位置し、行列Rはh_98,2に対応する値について探索され、行列Gはg_98,2に対応する値について探索される。a₃'の値およびa₃'が位置する列に従って、例えば、a₃'=56であり、a₃'は3番目の列に位置し、行列Rはh_56,3に対応する値について探索され、行列Gはg_56,3に対応する値について探索される。a₄'の値およびa₄'が位置する列に従って、例えば、a₄'=36であり、a₄'は4番目の列に位置し、行列Rはh_36,4に対応する値について探索され、行列Gはg_36,4に対応する値について探索される。a₅'の値およびa₅'が位置する列に従って、例えば、a₅'=99であり、a₅'は5番目の列に位置し、行列Rはh_99,5に対応する値について探索され、行列Gはg_99,5に対応する値について探索される。S_1h'=h_16,1+h_98,2+h_56,3+h_36,4+h_99,5であり、行列Rは二項分布に従うので、S_1h'も二項分布に従う。S_1g'=g_16,1+g_98,2+g_56,3+g_36,4+g_99,5であり、行列Gは二項分布に従うので、S_1g'も二項分布に従う。S_1h'およびS_1g'のうちの1つが偶数であるとき、W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たし、S_1h'とS_1g'両方が奇数であるとき、W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たさない。S_1h'およびS_1g'のうちの1つが偶数である確率は3/4である。

W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じである。従って、図１７に表わされたように、

は、ウィンドウW_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。図１７において、選択されたバイトは個々に順序番号170、128、86、44、および2と表現され、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が170、128、86、44、および2であるバイト

は、それぞれb₁'、b₂'、b₃'、b₄'、...、およびb₅'と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、b₁'、b₂'、b₃'、b₄'、...、およびb₅'のうちのいずれのb_s'も0≦b_s'≦255を満たす。b₁'、b₂'、b₃'、b₄'、...、およびb₅'は1*5行列を形成する。ウィンドウW_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに使用されたのと同じ行列RおよびGが使用される。b₁'の値およびb₁'が位置する列に従って、例えば、b₁'=210であり、b₁'は1番目の列に位置し、行列Rはh_210,1に対応する値について探索され、行列Gはg_210,1に対応する値について探索される。b₂'の値およびb₂'が位置する列に従って、例えば、b₂'=156であり、b₂'は2番目の列に位置し、行列Rはh_156,2に対応する値について探索され、行列Gはg_156,2に対応する値について探索される。b₃'の値およびb₃'が位置する列に従って、例えば、b₃'=144であり、b₃'は3番目の列に位置し、行列Rはh_144,3に対応する値について探索され、行列Gはg_144,3に対応する値について探索される。b₄'の値およびb₄'が位置する列に従って、例えば、b₄'=60であり、b₄'は4番目の列に位置し、行列Rはh_60,4に対応する値について探索され、行列Gはg_60,4に対応する値について探索される。b₅'の値およびb₅'が位置する列に従って、例えば、b₅'=90であり、b₅'は5番目の列に位置し、行列Rはh_90,5に対応する値について探索され、行列Gはg_90,5に対応する値について探索される。S_2h'=h_210,1+h_156,2+h_144,3+h_60,4+h_90,5であり、S_2g'=g_210,1+g_156,2+g_144,3+g_60,4+g_90,5である。S_2h'およびS_2g'のうちの1つが偶数であるとき、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たし、S_2h'とS_2g'両方が奇数であるとき、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たさない。S_2h'およびS_2g'のうちの1つが偶数である確率は3/4である。

同様に、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態は、W_j3[p_j3-169, p_j3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態と同じである。同様に、W_j4[p_j4-169, p_j4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[p_j5-169, p_j5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[p_j6-169, p_j6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[p_j7-169, p_j7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[p_j8-169, p_j8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[p_j9-169, p_j9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[p_j10-169, p_j10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[p_j11-169, p_j11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定され、これらは再度ここに記載されない。

例として図５に表わされた実現形態を使用して、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するための方法が提供される。この実施例において、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかが判定される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについて、点p_i1およびp_i1に対応するウィンドウW_i1[p_i1-169, p_i1]が決定され、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図１６に表わされたように、W_i1はウィンドウW_i1[p_i1-169, p_i1]を表現し、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図１６において、その順序番号が169、127、85、43、および1であるバイト

の各々は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が169、127、85、43、および1であるバイト

は40個の連続するビットとみなされ、これらは個々にa₁、a₂、a₃、a₄、...、およびa₄₀と表現される。a₁、a₂、a₃、a₄、...、およびa₄₀のうちのいずれのa_tについても、a_t=0であるときV_at=-1であり、a_t=1であるときV_at=1である。a_tとV_atの間の対応に従って、V_a1、V_a2、V_a3、V_a4、...、およびV_a40が生成される。正規分布に従う乱数から40個の乱数が選択され、個々にh₁、h₂、h₃、h₄、...、およびh₄₀と表現される。S_a=V_a1*h₁+V_a2*h₂+V_a3*h₃+V_a4*h₄+...+V_a40*h₄₀である。h₁、h₂、h₃、h₄、...、およびh₄₀は正規分布に従うので、S_aも正規分布に従う。S_aが正の数であるとき、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たし、S_aが負の数または0であるとき、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たさない。S_aが正の数である確率は1/2である。図５に表わされた実施例において、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たす。図１６に表わされたように、

は、ウィンドウW_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに個々に選択された1バイトを表現する。図１６において、選択されたバイトは個々に順序番号170、128、86、44、および2と表現され、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が170、128、86、44、および2であるバイト

は40個の連続するビットとみなされ、これらは個々にb₁、b₂、b₃、b₄、...、およびb₄₀と表現される。b₁、b₂、b₃、b₄、...、およびb₄₀のうちのいずれのb_tについても、b_t=0であるときV_bt=-1であり、b_t=1であるときV_bt=1である。b_tとV_btの間の対応に従って、V_b1、V_b2、V_b3、V_b4、...、およびV_b40が生成される。ウィンドウW_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じであり、従って、同じ乱数h₁、h₂、h₃、h₄、...、およびh₄₀が使用される。S_b=V_b1*h₁+V_b2*h₂+V_b3*h₃+V_b4*h₄+...+V_b40*h₄₀である。h₁、h₂、h₃、h₄、...、およびh₄₀は正規分布に従うので、S_bも正規分布に従う。S_bが正の数であるとき、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たし、S_bが負の数または0であるとき、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たさない。S_bが正の数である確率は1/2である。図５に表わされた実施例において、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たす。同じ規則を使用することによって、個々に、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[p_i6-169, p_i6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7[p_i7-169, p_i7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[p_i8-169, p_i8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[p_i9-169, p_i9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[p_i10-169, p_i10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[p_i11-169, p_i11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。図５に表わされた実現形態において、W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たさず、データストリーム分割点を探索する方向に沿って点p_i5から11バイトがスキップされ、11番目のバイトの終了位置において現在の潜在的な分割点k_jが取得される。図６に表わされたように、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについて、点p_j1および点p_j1に対応するウィンドウW_j1[p_j1-169, p_j1]が決定される。ウィンドウW_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じである。従って、図１７に表わされたように、W_j1はウィンドウW_j1[p_j1-169, p_j1]を表現し、W _j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図１７において、その順序番号が169、127、85、43、および1であるバイト

の各々は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が169、127、85、43、および1であるバイト

は40個の連続するビットとみなされ、これらは個々にa₁'、a₂'、a₃'、a₄'、...、およびa₄₀'と表現される。a₁'、a₂'、a₃'、a₄'、...、およびa₄₀'のうちのいずれのa_t'についても、a_t'=0であるときV_at'=-1であり、a_t'=1であるときV_at'=1である。a_t'とV_at'の間の対応に従って、V_a1'、V_a2'、V_a3'、V_a4'、...、およびV_a40'が生成される。ウィンドウW_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じであり、従って、同じ乱数h₁、h₂、h₃、h₄、...、およびh₄₀が使用される。S_a'=V_a1'*h₁+V_a2'*h₂+V_a3'*h₃+V_a4'*h₄+...+V_a40'*h₄₀である。h₁、h₂、h₃、h₄、...、およびh₄₀は正規分布に従うので、S_a'も正規分布に従う。S_a'が正の数であるとき、W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たし、S_a'が負の数または0であるとき、W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たさない。S_a'が正の数である確率は1/2である。

W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じである。従って、図１７に表わされたように、

は、ウィンドウW_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。図１７において、選択されたバイトは個々に順序番号170、128、86、44、および2と表現され、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が170、128、86、44、および2であるバイト

は40個の連続するビットとみなされ、これらは個々にb₁'、b₂'、b₃'、b₄'、...、およびb₄₀'と表現される。b₁'、b₂'、b₃'、b₄'、...、およびb₄₀'のうちのいずれのb_t'についても、b_t'=0であるときV_bt'=-1であり、b_t'=1であるときV_bt'=1である。b_t'とV_bt'の間の対応に従って、V_b1'、V_b2'、V_b3'、V_b4'、...、およびV_b40'が生成される。W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じであり、従って、同じ乱数h₁、h₂、h₃、h₄、...、およびh₄₀が使用される。S_b'=V_b1'*h₁+V_b2'*h₂+V_b3'*h₃+V_b4'*h₄+...+V_b40'*h₄₀である。h₁、h₂、h₃、h₄、...、およびh₄₀は正規分布に従うので、S_b'も正規分布に従う。S_b'が正の数であるとき、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たし、S_b'が負の数または0であるとき、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たさない。S_b'が正の数である確率は1/2である。

同様に、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態は、W_j3[p_j3-169, p_j3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態と同じである。同様に、W_j4[p_j4-169, p_j4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[p_j5-169, p_j5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[p_j6-169, p_j6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[p_j7-169, p_j7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[p_j8-169, p_j8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[p_j9-169, p_j9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[p_j10-169, p_j10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[p_j11-169, p_j11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定され、これらは再度ここに記載されない。

例として図５に表わされた実現形態を依然として使用して、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するため方法が提供される。この実施例において、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかが判定される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについて、点p_i1およびp_i1に対応するウィンドウW_i1[p_i1-169, p_i1]が決定され、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図１６に表わされたように、W_i1はウィンドウW_i1[p_i1-169, p_i1]を表現し、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図１６において、その順序番号が169、127、85、43、および1であるバイト

の各々は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が169、127、85、43、および1であるバイト

の各々は1個の10進数に変換され、その範囲は0から(2^40-1)である。0から(2^40-1)の中の各10進数について1個の指定された値を生成するために一様分布乱数生成器が使用され、0から(2^40-1)の中の各10進数と指定された値の間の対応Rが記録される。一旦指定されると、10進数に対応する指定された値は不変のままであり、指定された値は一様分布に従う。指定された値が偶数であるならば、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たし、指定された値が奇数であるならば、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たさない。C₁は、上記の方法に従って取得された指定された値が偶数であることを表現する。一様分布における乱数が偶数である確率は1/2であるので、W _i1 [p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たす確率は1/2である。図５に表わされた実現形態において、同じ規則を使用することによって、個々に、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[p_i4-169, p_i4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、かつW_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、これらは再度ここに記載されない。

W_i5[p_i5-169, p_i5]内のデータの少なくとも一部が予め設定された条件C₅を満たさないとき、データストリーム分割点を探索する方向に沿って点p_i5から11バイトがスキップされ、11番目のバイトの終了位置において現在の潜在的な分割点k_jが取得される。図６に表わされたように、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについて、点p_j1および点p_j1に対応するウィンドウW_j1[p_j1-169, p_j1]が決定される。ウィンドウW_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じである。従って、0から(2^40-1)の中の各10進数と指定された値の間の同じ対応Rが使用される。図１７に表わされたように、W_j1はウィンドウW_j1[p_j1-169, p_j1]を表現し、W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図１７において、

は1個の選択されたバイトを表現し、2個の隣接する選択されたバイト

の間に42バイトがある。その順序番号が169、127、85、43、および1であるバイト

の各々は1個の10進数に変換され、その10進数に対応する指定された値についてRが探索される。指定された値が偶数であるならば、W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たし、指定された値が奇数であるならば、W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たさない。一様分布における乱数が偶数である確率は1/2であるので、W_j1[p_j1-169, p_j1]内のデータの少なくとも一部が予め設定された条件C₁を満たす確率は1/2である。同様に、W_i2[p_i2-169, p_i2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、W_j2[p_j2-169, p_j2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じであり、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態は、W_j3[p_j3-169, p_j3]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態と同じである。同様に、W_j4[p_j4-169, p_j4]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[p_j5-169, p_j5]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[p_j6-169, p_j6]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[p_j7-169, p_j7]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[p_j8-169, p_j8]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[p_j9-169, p_j9]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[p_j10-169, p_j10]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[p_j11-169, p_j11]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定され、これらは再度ここに記載されない。

図１に表わされた本発明の実施例における重複排除サーバ103は、本発明の実施例に記載された技術的解決策を実現することが可能である装置を指し、図１８に表わされたように、通常、中央処理ユニット、主要メモリ、および入力／出力インタフェースを含む。中央処理ユニット、主要メモリ、および入力／出力インタフェースは、互いに通信する。主メモリは実行可能な命令を記憶し、中央処理ユニットは、主要メモリに記憶された実行可能な命令を実行し、それによって、特定の機能、例えば、本発明の実施例における図４から図１７に記載されたデータストリーム分割点を探索することを遂行する。従って、図１９に表わされたように、図４から図１７に表わされた本発明の実施例によれば、重複排除サーバ103について、規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点kについて、M個の点p_x、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数である。重複排除サーバ103は、決定ユニット1901および判断および処理ユニット1902を含む。決定ユニット1901は、ステップ(a)、(a)規則に従って、現在の潜在的な分割点k_iについて、点p_iz および点p_izに対応するウィンドウW_iz[p_iz-A_z, p_iz+B_z]を決定することを行うように構成され、ここでiおよびzは整数であり、1≦z≦Mである。判断および処理ユニット1902は、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って点p_izからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得するように構成され、ここでN*Uは

より大きくなく、ここで決定ユニットは新しい潜在的な分割点についてステップ(a)を行い、判断および処理ユニット1902は、現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[p_ix-A_x, p_ix+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすとき、データストリーム分割点として現在の潜在的な分割点k_iを選択するように構成される。

さらに、規則は、少なくとも2個の点p_eおよびp_fが条件A_e=A_f、B_e=B_f、およびC_e=C_fを満たすことをさらに含む。さらに、規則は、潜在的な分割点kに関して、少なくとも2個の点p_eおよびp_fがデータストリーム分割点を探索する方向と反対の方向にあることをさらに含む。

さらに、規則は、少なくとも2個の点p_eとp_fの間の間隔が1 Uであることをさらに含む。

さらに、判断および処理ユニット1902は、具体的には、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するように構成される。具体的には、判断および処理ユニット1902は、具体的には、hash関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するように構成される。具体的には、判断および処理ユニット1902は、具体的には、ランダム関数を使用することによって、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するように構成されることは、具体的には、
ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のFバイトを選択し、Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、ここでF≧1であり、各バイトは8ビットで形成され、これらはF*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、F*Hバイトに対応するビットは

と表現されることが可能であり、ここでa_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、ここでa_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aはF*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、行列V_aは

と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、行列Rは

と表現され、行列V_aのm番目の行および行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たす。

さらに、判断および処理ユニット1902は、ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って点p_izからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得するように構成され、決定ユニット1901は新しい潜在的な分割点についてステップ(a)を行い、ここで規則に従って、新しい潜在的な分割点について決定された点p_icに対応するウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界はウィンドウW_iz[p_iz-A_z, p_iz+B_z]の右の境界と一致し、またはウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界はウィンドウW_iz[p_iz-A_z, p_iz+B_z]の範囲内にあり、ここで新しい潜在的な分割点について決定された点p _ic は、規則に従って新しい潜在的な分割点について決定されたM個の点の、データストリーム分割点を探索する方向に従って取得されたシーケンス内で１番目の順位を有する点である。

図４から図１７に表わされた本発明の実施例におけるサーバに基づいてデータストリーム分割点を探索するための方法によれば、潜在的な分割点k_iについて、点p_ixおよび点p_ix に対応するウィンドウW_ix[p_ix-A_x, p_ix+B_x]が決定され、ここでxは個々に1からMまでの連続した自然数を示し、M≧2である。M個のウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件C_xを満たすかどうかは並列に判定されることが可能であり、またはウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかは順次的に判定されることが可能であり、またはウィンドウW_i1[p_i1-A₁, p_i1+B₁]内のデータの少なくとも一部が予め設定された条件C₁を満たすことが最初に判定されることが可能であり、そして、W_im[p_im-A_m, p_im+B_m]内のデータの少なくとも一部が予め設定された条件C_mを満たすことが判定されるまで、W_i2[p_i2-A₂, p_i2+B₂]内のデータの少なくとも一部が予め設定された条件C₂を満たすことが判定される。この実施例における他のウィンドウは上記と同じ形態で判定され、これは再度記載されない。

さらに、図４から図１７に表わされた本発明の実施例によれば、実際の適用において、規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点kについて、M個の点p_x、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは個々に1からMまでの連続した自然数を示し、M≧2である。予め設定された規則において、A₁、A₂、A₃、...、およびA_mは全て等しくなくてもよく、B₁、B₂、B₃、...、およびB_mは全て等しくなくてもよく、C₁、C₂、C₃、...、およびC_Mも全て同じでなくてもよい。図５に表わされた実現形態において、ウィンドウW_i1[p_i1-169, p_i1]、W_i2[p_i2-169, p_i2]、W_i3[p_i3-169, p_i3]、W_i4[p_i4-169, p_i4]、W_i5[p_i5-169, p_i5]、W_i6[p_i6-169, p_i6]、W_i7[p_i7-169, p_i7]、W_i8[p_i8-169, p_i8]、W_i9[p_i9-169, p_i9]、W_i10[p_i10-169, p_i10]、およびW_i11[p_i11-169, p_i11]について、ウィンドウはサイズにおいて同じであり、すなわち、全てのウィンドウは169バイトのサイズを有し、一方、ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態も同じである。詳細については、W_i1[p_i1-169, p_i1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する上記の記載を参照されたい。しかし、図１１に表わされた実現形態において、ウィンドウW_i1[p_i1-169, p_i1]、W_i2[p_i2-169, p_i2]、W_i3[p_i3-169, p_i3]、W_i4[p_i4-169, p_i4]、W_i5[p_i5-169, p_i5]、W_i6[p_i6-169, p_i6]、W_i7[p_i7-169, p_i7]、W_i8[p_i8-169, p_i8]、W_i9[p_i9-169, p_i9]、W_i10[p_i10-169, p_i10]、およびW_i11[p_i11-182, p_i11]はサイズにおいて異なることが可能であり、一方、ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態も異なることが可能である。全ての実施例において、重複排除サーバ103において予め設定された規則に従って、ウィンドウW_i1内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、もちろん、ウィンドウW_j1内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じであり、W_i2内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、もちろん、W_j2内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じであり、...、かつウィンドウW_iM内のデータの少なくとも一部が予め設定された条件C_Mを満たすかどうかを判定する形態は、もちろん、ウィンドウW_jM内のデータの少なくとも一部が予め設定された条件C_Mを満たすかどうかを判定する形態と同じであり、これらは再度ここに記載されない。一方、図４から図１７に表わされた本発明の実施例によれば、M=11が例として使用されたが、Mの値は実際の要件に従って11に限定されず、この技術分野の当業者は、本発明の実施例における記載に従って、Mの値を決定する。

図４から図１７に表わされた本発明の実施例によれば、規則が重複排除サーバ103において予め設定され、k_a、k_i、k_j、k_l、およびk_mは、データストリーム分割点を探索する方向に沿って分割点の探索において取得された潜在的な分割点であり、k_a、k_i、k_j、k_l、およびk_m全ては規則に従う。本発明のこの実施例におけるウィンドウW_x[p_x-A_x, p_x+B_x]は特定の範囲を表現し、データが予め設定された条件C_xを満たすかどうかを判定するために、データが特定の範囲内で選択される。具体的には、データが予め設定された条件C_xを満たすかどうかを判定するために、特定の範囲内で、データの一部が選択されることが可能であり、または全てのデータが選択されることが可能である。本発明のこの実施例において具体的に使用されるウィンドウの概念について、ウィンドウW_x[p_x-A_x, p_x+B_x]への参照が行われることが可能であり、これは再度ここに記載されない。

図４から図１７に表わされた本発明の実施例によれば、ウィンドウW_x[p_x-A_x, p_x+B_x]において、(p_x-A_x)および(p_x+B_x)はウィンドウW_x[p_x-A_x, p_x+B_x]の2つの境界を表現し、ここで(p_x-A_x)は、ウィンドウW_x[p_x-A_x, p_x+B_x]の、点p_xに関してデータストリーム分割点を探索する方向と反対の方向にある境界を表現し、(p_x+B_x)は、ウィンドウW_x[p_x-A_x, p_x+B_x]の、点p_xに関してデータストリーム分割点を探索する方向にある境界を表現する。具体的には、本発明の実施例において、図３から図１５に表わされたデータストリーム分割点を探索する方向は左から右であり、従って、(p_x-A_x)は、ウィンドウW_x[p_x-A_x, p_x+B_x]の、点p_xに関してデータストリーム分割点を探索する方向と反対の方向にある境界（すなわち、左の境界）を表現し、(p_x+B_x)は、ウィンドウW_x[p_x-A_x, p_x+B_x]の、点p_xに関してデータストリーム分割点を探索する方向にある境界（すなわち、右の境界）を表現する。図３から図１５に表わされたデータストリーム分割点を探索する方向が右から左であるならば、(p_x-A_x)は、ウィンドウW_x[p_x-A_x, p_x+B_x]の、点p_xに関してデータストリーム分割点を探索する方向と反対の方向にある境界（すなわち、右の境界）を表現し、(p_x+B_x)は、ウィンドウW_x[p_x-A_x, p_x+B_x]の、点p_xに関してデータストリーム分割点を探索する方向にある境界（すなわち、左の境界）を表現する。

この技術分野の当業者は、本発明の実施例に記載された各種の例示のユニットおよびアルゴリズムのステップと関連して、本発明の実施例における重要な特徴は、他の技術と組み合わされ、より複雑な形式で提示されることが可能であるが、本発明の重要な特徴が依然として含まれることを認識し得る。現実の環境において代わりの分割点が使用され得る。例えば、実現形態において、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについて、11個の点p_xが決定され、ここでxは1から11までの連続した自然数を示し、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xが決定される。11個のウィンドウのうちの各ウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすとき、潜在的な分割点k_iがデータストリーム分割点である。設定された最大データチャンクを超えたとき分割点が見出されないとき、この場合、代わりの点についての予め設定された規則が使用され得る。代わりの点についての予め設定された規則は、重複排除サーバ103において予め設定された規則と類似し、代わりの点についての予め設定された規則は、例えば、潜在的な分割点k_iについて、10個の点p_xが決定され、ここでxは1から10までの連続した自然数を示し、点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xが決定される。10個のウィンドウのうちの各ウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすとき、潜在的な分割点k_iがデータストリーム分割点であり、設定された最大データチャンクを超えたときデータストリーム分割点が見出されないとき、最大データチャンクの終了位置は強制的な分割点としての役目をする。

規則が重複排除サーバ103において予め設定され、規則において、潜在的な分割点kについて、M個の点が決定される。前もって潜在的な分割点kがあることは必ずしも要求されず、潜在的な分割点kは、決定されたM個の点を使用することによって決定され得る。

本発明の実施例は、重複排除サーバに基づいてデータストリーム分割点を探索するための方法を提供し、これは、図２０に表わされたように、下記を含む。

規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点kについて、M個のウィンドウW_x[k-A_x, k+B_x]およびウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数である。図１３に表わされた実現形態において、Mの値について、一実現形態において、M*Uの値は、2個の隣接するデータストリーム分割点の間の予め設定された最大の間隔、すなわち、データチャンクの予め設定された最大の長さより大きくない。ウィンドウW_z[k-A_z, k+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかが判定され、ここでzは整数であり、1≦z≦Mであり、(k-A_z)および(k+B_z)は個々にウィンドウW_zの２つの境界を表現する。いずれか1個のウィンドウW_z[k-A_z, k+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないと判定されたとき、データストリーム分割点を探索する方向に沿って潜在的な分割点kからNバイトがスキップされ、ここで

である。

はW_z[k-A_z, k+B_z]内のB_zの絶対値を表現し、

はM個のウィンドウにおけるA_xの絶対値の中で最大値を表現し、Nの値を決定する原理は、具体的には、下記の実施例において紹介される。M個のウィンドウのうちの各ウィンドウW_x[k-A_x, k+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすと判定されたとき、潜在的な分割点kがデータストリーム分割点である。

具体的には、現在の潜在的な分割点k_iについて、下記のステップが規則に従って行われる。

ステップ2001：規則に従って、現在の潜在的な分割点k_iについて、対応するウィンドウW_iz[k_i-A_z, k_i+B_z]を決定し、ここでiおよびzは整数であり、1≦z≦Mである。

ステップ2002：ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って現在の潜在的な分割点k_iからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、ここでN*Uは

より大きくなく、それによって新しい潜在的な分割点を取得し、ステップ2001を行い、
現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[k_i-A_x, k_i+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすとき、データストリーム分割点として現在の潜在的な分割点k_iを選択する。

さらに、規則は、少なくとも2個のウィンドウW_ie[k_i-A_e, k_i+B_e]およびW_if[k_i-A_f, k_i+B_f]が条件|A_e+B_e|=|A_f+B_f|およびC_e=C_fを満たすことをさらに含む。さらに、規則は、A_eおよびA_fが正の整数であることをさらに含む。なお、さらに、規則は、A_e-1=A_fおよびB_e+1=B_fをさらに含む。|A_e+B_e|はウィンドウW_ieのサイズを表現し、|A_f+B_f|はウィンドウW_ifのサイズを表現する。

さらに、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することを含む。なお、さらに、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、hash関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することである。

ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って現在の潜在的な分割点k_iからデータストリーム分割点を探索するためのN個の最小単位Uがスキップされ、それによって新しい潜在的な分割点を取得する。規則に従って、新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界はウィンドウW_iz[k_i-A_z, k_i+B_z]の右の境界と一致し、または新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界はウィンドウW_iz[k_i-A_z, k_i+B_z]の範囲内にあり、ここで新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]は、規則に従って新しい潜在的な分割点について決定されたM個のウィンドウの、データストリーム分割点を探索する方向に従って取得されたシーケンス内で１番目の順位を有するウィンドウである。

本発明のこの実施例において、M個のウィンドウのうちのウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定することによって、データストリーム分割点が探索され、ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさないとき、N*Uの長さがスキップされ、ここでN*Uは

より大きくなく、それによって次の潜在的な分割点を取得し、それによりデータストリーム分割点を探索する効率を向上させる。

重複データを除去するプロセスにおいて、偶数サイズのデータチャンクを保証するために、平均データチャンク（平均チャンクとも呼ばれる）のサイズが考慮される。すなわち、最小データチャンクのサイズと最大データチャンクのサイズにおける制限が満たされる一方、偶数サイズの取得されたデータチャンクを保証するために平均データチャンクのサイズが決定される。データストリーム分割点を見出す確率（P(n)と表現される）は２つの要因、すなわち、ウィンドウW_x[k-A_x, k+B_x]の数量MおよびウィンドウW_x[k-A_x, k+B_x]内のデータの少なくとも一部が予め設定された条件を満たす確率に依存し、ここで前者はスキップする長さに影響し、後者はスキップする確率に影響し、２つはともに平均チャンクのサイズに影響する。一般に、平均チャンクのサイズが固定であるとき、W_x[k-A_x, k+B_x]の数量が増加するに連れて、単一のウィンドウW_x[k-A_x, k+B_x]内のデータの少なくとも一部が予め設定された条件を満たす確率も増加する。例えば、規則が重複排除サーバ103において予め設定され、規則は、潜在的な分割点kについて、11個のウィンドウW_x[k-A_x, k+B_x]を決定することであり、ここでxは個々に1から11までの連続した自然数を示し、11個のウィンドウのうちのいずれかのウィンドウW_x[k-A_x, k+B_x]内のデータの少なくとも一部が予め設定された条件を満たす確率は1/2である。重複排除サーバ103において予め設定された規則の他のグループは、潜在的な分割点kについて、24個のウィンドウW_x[k-A_x, k+B_x]を決定することであり、ここでxは個々に1から24までの連続した自然数を示し、24個のウィンドウのうちのいずれかのウィンドウW_x[k-A_x, k+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率は3/4である。特定のウィンドウW_x[k-A_x, k+B_x]内のデータの少なくとも一部が予め設定された条件を満たす確率の設定について、ウィンドウW_x[k-A_x, k+B_x]内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する部分の記載への参照が行われ得る。P(n)は、２つの要因、すなわち、ウィンドウW_x[k-A_x, k+B_x]の数量MおよびウィンドウW_x[k-A_x, k+B_x]内のデータの少なくとも一部が予め設定された条件を満たす確率に依存し、P(n)は、データストリームの開始位置または前のデータストリーム分割点からの探索において、データストリーム分割点を探索するためのn個の最小単位の後にデータストリーム分割点が見出されない確率を表現する。２つの要因に依存するP(n)を計算するプロセスは、実際、nステップのFibonacci数列であり、これは下記で詳細に記載される。P(n)が取得された後、1-P(n)は、データストリーム分割点の分布関数であり、(1-P(n))-(1-P(n-1))=P(n-1)-P(n)は、データストリーム分割点を探索するためのn個の最小単位の間隔においてデータストリーム分割点が見出される確率、すなわち、データストリーム分割点の密度関数である。積分

はデータストリーム分割点の密度関数に従って行われることが可能であり、それによってデータストリーム分割点の期待される長さ、すなわち平均チャンクのサイズを取得し、ここで4*1024（バイト）は最小データチャンクの長さを表現し、12*1024（バイト）は最大データチャンクの長さを表現する。

図３に表わされたデータストリーム分割点の探索に基づいて、図２１に表わされた実現形態において、規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点kについて、11個のウィンドウW_x[k-A_x, k+B_x]およびウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1から11までの連続した自然数を示し、A_xおよびB_xは整数である。A₁=169、B₁=0、A₂=170、B₂=-1、A₃=171、B₃=-2、A₄=172、B₄=-3、A₅=173、B₅=-4、A₆=174、B₆=-5、A₇=175、B₇=-6、A₈=176、B₈=-7、A₉=177、B₉=-8、A₁₀=178、B₁₀=-9、A₁₁=179、B₁₁=-10である。C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁である。従って、11個のウィンドウは、W₁[k-169, k]、W₂[k-170, k-1]、W₃[k-171, k-2]、W₄[k-172, k-3]、W₅[k-173, k-4]、W₆[k-174, k-5]、W₇[k-175, k-6]、W₈[k-176, k-7]、W₉[k-177, k-8]、W₁₀[k-178, k-9]、およびW₁₁[k-179, k-10]である。k_aはデータストリーム分割点であり、図２１に表わされたデータストリーム分割点を探索する方向は左から右である。データストリーム分割点k_aから4 KBの最小データチャンクがスキップされた後、4 KBの最小データチャンクの終了位置は次の潜在的な分割点k_iとしての役目をする。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについてウィンドウW_ix[k_i-A_x, k_i+B_x]が決定され、この実施例において、xは個々に1から11までの連続した自然数を示す。図２１に表わされた実現形態において、潜在的な分割点k_iについて11個のウィンドウが決定され、個々にW_i1[k_i-169, k_i]、W_i2[k_i-170, k_i-1]、W_i3[k_i-171, k_i-2]、W_i4[k_i-172, k_i-3]、W_i5[k_i-173, k_i-4]、W_i6[k_i-174, k_i-5]、W_i7[k_i-175, k_i-6]、W_i8[k_i-176, k_i-7]、W_i9[k_i-177, k_i-8]、W_i10[k_i-178, k_i-9]、およびW_i11[k_i-179, k_i-10]である。W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[k_i-172, k_i-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[k_i-174, k_i-5]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7[k_i-175, k_i-6]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[k_i-176, k_i-7]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[k_i-177, k_i-8]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[k_i-178, k_i-9]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[k_i-179, k_i-10]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_i1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_i2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_i3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_i4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_i5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_i6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_i7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_i8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_i
9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_i10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_i11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_iがデータストリーム分割点である。11個のウィンドウのうちのいずれかのウィンドウ内のデータの少なくとも一部が、対応する予め設定された条件、例えば、図２２に表わされたW_i5[k_i-173, k_i-4]を満たさないとき、データストリーム分割点を探索する方向に沿って潜在的な分割点k_iからNバイトがスキップされ、ここでNバイトは

より大きくない。図２２に表わされた実現形態において、スキップされるNバイトは183バイトより大きくなく、この実施例において、N=7であり、それによって新しい潜在的な分割点を取得する。潜在的な分割点k_iからの区別のために、新しい潜在的な分割点は、ここで、ここでk_jと表現される。図２１に表わされた実現形態によれば、規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点k_jについてウィンドウW_jx[k_j-A_x, k_j+B_x]を決定することであり、ここでこの実施例において、xは個々に1から11までの連続した自然数を示す。潜在的な分割点k_jについて11個のウィンドウが決定され、個々にW_j1[k_j-169, k_j]、W_j2[k_j-170, k_j-1]、W_j3[k_j-171, k_j-2]、W_j4[k_j-172, k_j-3]、W_j5[k_j-173, k_j-4]、W_j6[k_j-174, k_j-5]、W_j7[k_j-175, k_j-6]、W_j8[k_j-176, k_j-7]、W_j9[k_j-177, k_j-8]、W_j10[k_j-178, k_j-9]、およびW_j11[k_j-179, k_j-10]である。図２２に表わされたように、潜在的な分割点について11番目のウィンドウW_j11[k_j-179, k_j-10]が決定されたとき、潜在的な分割点k_iと潜在的な分割点k_jの間の範囲が完全に判定範囲内にあることを保証するために、この実現形態において、ウィンドウW_j11[k_j-179, k_j-10]の左の境界がウィンドウW_i5[k_i-173, k_i-4]の右の境界(k_i-4)と一致する、またはウィンドウW_i5[k_i-173, k_i-4]の範囲内にあることが保証されることが可能であり、ここでウィンドウW_j11[k_j-179, k_j-10]は、規則に従って潜在的な分割点k_jについて決定された11個のウィンドウの、データストリーム分割点を探索する方向に従って取得されたシーケンス内で１番目の順位を有するウィンドウである。従って、そのような制限内で、ウィンドウW_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たさないとき、データストリーム分割点を探索する方向に沿って潜在的な分割点k_iからスキップする間隔は、

より大きくない。W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_j3[k_j-171, k_j-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_j4[k_j-172, k_j-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[k_j-173, k_j-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[k_j-174, k_j-5]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[k_j-175, k_j-6]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[k_j-176, k_j-7]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[k_j-177, k_j-8]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[k_j-178, k_j-9]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[k_j-179, k_j-10]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_j1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_j2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_j3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_j4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_j5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_j6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_j7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_j8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_j9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_j10内のデータの少なくとも一部が予め設定さ
れた条件C₁₀を満たし、かつウィンドウW_j11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k _j がデータストリーム分割点であり、k_jとk_aの間のデータは1個のデータチャンクを形成する。一方、次の潜在的な分割点を取得するために、k_aのそれと同じ形態で4 KBの最小チャンクサイズがスキップされ、重複排除サーバ103において予め設定された規則に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。潜在的な分割点k_jがデータストリーム分割点でないと判定されたとき、k_iのそれと同じ形態で次の潜在的な分割点が取得され、重複排除サーバ103において予め設定された規則および上記の方法に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。設定された最大データチャンクを超えた後にデータストリーム分割点が見出されないとき、最大データチャンクの終了位置は強制的な分割点としての役目をする。

図２１に表わされた実現形態において、重複排除サーバ103において予め設定された規則に従って、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定することから開始して、W_i1[k_i-169, k_i ]内のデータの少なくとも一部、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部、およびW_i4[k_i-172, k_i-3]内のデータの少なくとも一部が、それぞれ、予め設定された条件C₁、C₂、C₃、およびC₄を満たすと判定され、かつW_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たさないと判定されたとき、データストリーム分割点を探索する方向に沿って潜在的な分割点k_iから6バイトがスキップされ、6番目のバイトの終了位置において新しい潜在的な分割点が取得される。他の潜在的な分割点からの区別のために、新しい潜在的な分割点は、ここでk_gと表現される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_gについて11個のウィンドウが決定され、個々にW_g1[k_g-169, k_g]、W_g2[k_g-170, k_g-1]、W_g3[k_g-171, k_g-2]、W_g4[k_g-172, k_g-3]、W_g5[k_g-173, k_g-4]、W_g6[k_g-174, k_g-5]、W_g7[k_g-175, k_g-6]、W_g8[k_g-176, k_g-7]、W_g9[k_g-177, k_g-8]、W_g10[k_g-178, k_g-9]、およびW_g11[k_g-179, k_g-10]である。W_g1[k_g-169, k_g]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_g2[k_g-170, k_g-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_g3[k_g-171, k_g-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_g4[k_g-172, k_g-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_g5[k_g-173, k_g-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_g6[k_g-174, k_g-5]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_g7[k_g-175, k_g-6]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_g8[k_g-176, k_g-7]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_g9[k_g-177, k_g-8]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_g10[k_g-178, k_g-9]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_g11[k_g-179, k_g-10]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_g11[k_g-179, k_g-10]はウィンドウW_i5[k_i-173, k_i-4]と一致し、C₅=C₁₁であり、従って、W_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たさないと判定されたとき、データストリーム分割点を探索する方向に沿って潜在的な分割点k_iからTバイトをスキップすることによって取得された潜在的な分割点k_gは、データストリーム分割点としての役目をするための条件を依然として満たさない。従って、データストリーム分割点を探索する方向に沿って潜在的な分割点k_iから6バイトがスキップされるとき繰り返される計算が存在するならば、データストリーム分割点を探索する方向に沿って潜在的な分割点k_iから7バイトがスキップされるとき繰り返される計算は減少されることが可能であり、効率はより高い。従って、データストリーム分割点を探索する速度は増加される。予め設定された規則に従って決定されたウィンドウW_x[k-A_x, k+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率が1/2である、すなわち、スキップを実行する確率が1/2であるとき、毎回、最大で

バイトがスキップされることが可能である。

この実現形態において、予め設定された規則は、潜在的な分割点kについて、11個のウィンドウW_x[k-A_x, k+B_x]が決定され、ウィンドウW_x[k-A_x, k+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすことであり、ここでW_x[k-A_x, k+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率は1/2であり、ここでxは個々に1から11までの連続した自然数を示し、A_xおよびB_xは整数である。A₁=169、B₁=0、A₂=170、B₂=-1、A₃=171、B₃=-2、A₄=172、B₄=-3、A₅=173、B₅=-4、A₆=174、B₆=-5、A₇=175、B₇=-6、A₈=176、B₈=-7、A₉=177、B₉=-8、A₁₀=178、B₁₀=-9、A₁₁=179、B₁₁=-10である。C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁である。すなわち、潜在的な分割点kについて11個のウィンドウが選択され、11個のウィンドウは連続し、P(n)は、２つの要因、すなわち、ウィンドウの数量およびウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率を使用することによって計算されることが可能である。11個のウィンドウを選択し、11個のウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件C_xを満たすことを判定する形態は、重複排除サーバ103において予め設定された規則に従い、従って、潜在的な分割点kがデータストリーム分割点であるかどうかは、11個の連続したウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件C_xを満たすことが存在するかどうかに依存する。2バイトの間のギャップは1個の点と呼ばれる。P(n)は、条件を満たす11個の連続したウィンドウが n個の連続したウィンドウの中に存在しない確率、すなわち、データストリーム分割点が存在しない確率を表現する。ファイルヘッダ／前の分割点から4 KBの最小チャンクサイズがスキップされた後、データストリーム分割点を探索する方向と反対の方向に10バイトだけ戻ることによって4086番目の点が見出され、その点においてデータストリーム分割点は存在せず、従って、P(4086)=1、およびP(4087)
=1、...、P(4095)=1、等である。4096番目の点、すなわち、最小チャンクを取得するために使用される点において、(1/2)^11の確率で、11個のウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件C_xを満たす。従って、(1/2)^11の確率で、データストリーム分割点が存在し、1-(1/2)^11の確率で、データストリーム分割点が存在せず、従って、P(4096)=1-(1/2)^11である。

n番目のウィンドウにおいて、帰納法によってP(n)を取得する12のケースがあり得る。

ケース1：1/2の確率で、n番目のウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさず、このケースにおいて、P(n-1)の確率で、n番目のウィンドウの前の(n-1)個のウィンドウの中に11個の連続したウィンドウは存在せず、ここで11個の連続したウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たす。従って、P(n)は1/2*P(n-1)を含む。n番目のウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさず、n番目のウィンドウの前の(n-1)個のウィンドウの中に11個の連続したウィンドウが存在する場合であって、11個の連続したウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たす場合は、P(n)に関係しない。

ケース2：1/2の確率で、n番目のウィンドウ内のデータの少なくとも一部が予め設定された条件を満たし、1/2の確率で、(n-1)番目のウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさず、このケースにおいて、P(n-2)の確率で、(n-1)番目のウィンドウの前の(n-2)個のウィンドウの中に11個の連続したウィンドウは存在せず、ここで、11個の連続したウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たす。従って、P(n)は1/2*1/2*P(n-2)を含む。n番目のウィンドウ内のデータの少なくとも一部が予め設定された条件を満たし、(n-1)番目のウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさず、(n-1)番目のウィンドウの前の(n-2)個のウィンドウの中に11個の連続したウィンドウが存在する場合であって、11個の連続したウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たす場合は、P(n)に関係しない。

上記の記載によれば、ケース11：(1/2)^10の確率で、n番目から(n-9)番目のウィンドウ内のデータの少なくとも一部が予め設定された条件を満たし、1/2の確率で、(n-10)番目のウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさず、このケースにおいて、P(n-11)の確率で、(n-10)番目のウィンドウの前の(n-11)個のウィンドウの中に11個の連続したウィンドウは存在せず、ここで11個の連続したウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たす。従って、P(n)は(1/2)^10*1/2*P(n-11)を含む。n番目から(n-9)番目のウィンドウ内のデータの少なくとも一部が予め設定された条件を満たし、(n-10)番目のウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさず、(n-10)番目のウィンドウの前の(n-11)個のウィンドウの中で11個の連続したウィンドウが存在する場合であって、11個の連続したウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たす場合、P(n)に関係しない。

ケース12：(1/2)^11の確率で、n番目から(n-10)のウィンドウ内のデータの少なくとも一部が予め設定された条件を満たし、この場合はP(n)に関係しない。

従って、P(n)=1/2*P(n-1)+(1/2)^2*P(n-2)+...+(1/2)^11*P(n-11)である。他の予め設定された規則は、潜在的な分割点kについて、24個のウィンドウW_x[k-A_x, k+B_x]およびウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xが決定され、ここでxは1から11までの連続した自然数を示し、A₁=169、B₁=0、A₂=170、B₂=-1、A₃=171、B₃=-2、A₄=172、B₄=-3、A₅=173、B₅=-4、A₆=174、B₆=-5、A₇=175、B₇=-6、A₈=176、B₈=-7、A₉=177、B₉=-8、A₁₀=178、B₁₀=-9、A₁₁=179、B₁₁=-10、...、およびA₂₄=192、B₂₄=-23である。C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=...=C₂₄である。ウィンドウW_x[k-A_x, k+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率は3/4であり、P(n)は、２つの要因、すなわち、ウィンドウの数量およびウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率を使用することによって計算されることが可能である。

従って、潜在的な分割点kがデータストリーム分割点であるかどうかは、24個の連続したウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件C_xを満たすことが存在するかどうかに依存し、下記の数式、
P(1)=1、P(2)、...、P(23)=1、P(24)=1-(3/4)^24、および
P(n)=1/4*P(n-1)+1/4*(3/4)*P(n-2)+...+1/4*(3/4)^23*P(n-24)
を使用することによって計算が行われることが可能である。

計算の後、P(5*1024)=0.78、P(11*1024)=0.17、およびP(12*1024)=0.13である。すなわち、データストリームの開始位置／前のデータストリーム分割点から12 KBの間隔における点に探索が進んだ後、13％の確率でデータストリーム分割点は見出されず、強制的な分割が行われる。この確率を使用することによってデータストリーム分割点の密度関数が取得され、積分の後、平均で、データストリームの開始位置／前のデータストリーム分割点から約7.6 KBの間隔における点に探索が進んだ後、データストリーム分割点が見出される、すなわち、平均チャンクの長さは約7.6 KBであることが得られる。1/2の確率で11個の連続したウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすこととは異なり、従来のCDCアルゴリズムは、1/2^12の確率で1個のウィンドウが条件を満たすときのみ、平均チャンクの長さが7.6 KB であるという効果を達成することが可能である。

図３に表わされたデータストリーム分割点の探索に基づいて、図２３に表わされた実現形態において、規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点kについて、11個のウィンドウW_x[k-A_x, k+B_x]およびウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1から11までの連続した自然数を示し、A_xおよびB_xは整数である。ウィンドウW_x[k-A_x, k+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たす確率は1/2である。A₁=171、B₁=-2、A₂=172、B₂=-3、A₃=173、B₃=-4、A₄=174、B₄=-5、A₅=175、B₅=-6、A₆=176、B₆=-7、A₇=177、B₇=-8、A₈=178、B₈=-9、A₉=179、B₉=-10、A₁₀=170、B₁₀=-1、A₁₁=169、B₁₁=0である。C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁である。k_aはデータストリーム分割点であり、図２３に表わされたデータストリーム分割点を探索する方向は左から右である。データストリーム分割点k_aから4 KBの最小データチャンクがスキップされた後、4 KBの最小データチャンクの終了位置は次の潜在的な分割点k_iとしての役目をする。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについて、W _ix[k _i -A_x, k _i +B_x]およびウィンドウW _ix[k _i -A_x, k _i +B_x]に対応する予め設定された条件C_xが決定され、ここでxは1から11までの連続した自然数を示す。決定された11個のウィンドウは、個々にW_i1[k_i-171, k_i-2]、W_i2[k_i-172, k_i-3]、W_i3[k_i-173, k_i-4]、W_i4[k_i-174, k_i-5]、W_i5[k_i-175, k_i-6]、W_i6[k_i-176, k_i-7]、W_i7[k_i-177, k_i-8]、W_i8[k_i-178, k_i-9]、W_i9[k_i-179, k_i-10]、W_i10[k_i-170, k_i-1]、およびW_i11[k_i-169, k_i]である。W_i1[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_i2[k_i-172, k_i-3]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_i3[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[k_i-174, k_i-5]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[k_i-175, k_i-6]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[k_i-176, k_i-7]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7[k_i-177, k_i-8]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[k_i-178, k_i-9]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[k_i-179, k_i-10]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_i1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_i2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_i3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_i4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_i5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_i6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_i7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_i8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_i9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_i10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_i11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k
_iがデータストリーム分割点である。11個のウィンドウのうちのいずれかのウィンドウ内のデータの少なくとも一部が、対応する予め設定された条件を満たさないとき、図２４に表わされたように、W_i3[p_i3-169, p_i3]内のデータの少なくとも一部が予め設定された条件C₃を満たさず、データストリーム分割点を探索する方向に沿って点p_i3から11バイトがスキップされることは、記載のための例として使用される。図２４に表わされたように、W₃が予め設定された条件C₃を満たさないと判定されたとき、開始点としての役目をするk_iから、データストリーム分割点を探索する方向に沿ってNバイトがスキップされ、ここでNバイトは

より大きくない。この実施例において、N=7であり、7番目のバイトの終了位置において次の潜在的な分割点が取得される。潜在的な分割点k_iからの区別のために、新しい潜在的な分割点は、ここでk_jと表現される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについて、11個のウィンドウW_jx[k_j-A_x, k_j+B_x]が決定され、個々にW_j1[k_j-171, k_j-2]、W_j2[k_j-172, k_j-3]、W_j3[k_j-173, k_j-4]、W_j4[k_j-174, k_j-5]、W_j5[k_j-175, k_j-6]、W_j6[k_j-176, k_j-7]、W_j7[k_j-177, k_j-8]、W_j8[k_j-178, k_j-9]、W_j9[k_j-179, k_j-10]、W_j10[k_j-170, k_j-1]、およびW_j11[k_j-169, k_j]である。W_j1[k_j-171, k_j-2]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_j2[k_j-172, k_j-3]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_j3[k_j-173, k_j-4]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_j4[k_j-174, k_j-5]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[k_j-175, k_j-6]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[k_j-176, k_j-7]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[k_j-177, k_j-8]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[k_j-178, k_j-9]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[k_j-179, k_j-10]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。もちろん、本発明のこの実施例において、潜在的な分割点k_aがデータストリーム分割点であるかどうかが判定されるときも規則に従い、具体的な実現は再度記載されず、潜在的な分割点k_iを判定する記載への参照が行われ得る。ウィンドウW_j1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_j2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_j3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_j4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_j5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_j6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_j7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_j8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_j9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_j10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_j11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_jがデータストリーム分割点であり、k_jとk_aの間のデータは1個のデータチャンクを形成する。一方、次の潜在的な分割点を取得するために、k_aのそれと同じ形態で4 KBの最小チャンクサイズがスキップされ、重複排除サーバ103において予め設定された規則に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。潜在的な分割点k_jがデータストリーム分割点でないと判定されたとき、k_iのそれと同じ形態で次の潜在的な分割点が取得され、重複排除サーバ103において予め設定された規則および上記の方法に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。 設定された最大データチャンクを超えた後にデータストリーム分割点が見出されないとき、最大データチャンクの終了位置は強制的な分割点としての役目をする。もちろん、本方法の実現は、最大データチャンクの長さおよびデータストリームを形成するファイルのサイズによって制限されず、これは再度ここに記載されない。

図３に表わされたデータストリーム分割点の探索に基づいて、図２５に表わされた実現形態において、規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点kについて、11個のウィンドウW_x[k-A_x, k+B_x]およびウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1から11までの連続した自然数を示す。A₁=166、B₁=3、A₂=167、B₂=2、A₃=168、B₃=1、A₄=169、B₄=0、A₅=170、B₅=-1、A₆=171、B₆=-2、A₇=172、B₇=-3、A₈=173、B₈=-4、A₉=174、B₉=-5、A₁₀=175、B₁₀=-6、A₁₁=176、B₁₁=-7、C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁であり、11個のウィンドウは、個々にW₁[k-166, k+3]、W₂[k-167, k+2]、W₃[k-168, k+1]、W₄[k-169, k]、W₅[k-170, k-1]、W₆[k-171, k-2]、W₇[k-172, k-3]、W₈[k-173, k-4]、W₉[k-174, k-5]、W₁₀[k-175, k-6]、およびW₁₁[k-176, k-7]である。k_aはデータストリーム分割点であり、図２５に表わされたデータストリーム分割点を探索する方向は左から右である。データストリーム分割点k_aから4 KBの最小データチャンクがスキップされた後、4 KBの最小データチャンクの終了位置は次の潜在的な分割点k_iとしての役目をする。この実施例において、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについて、11個のウィンドウW_ix[k-A_x, k+B_x]およびウィンドウW_ix[k-A_x, k+B_x]に対応する予め設定された条件C_xが決定され、ここでxは個々に1から11までの連続した自然数を示す。図２５に表わされた実現形態において、潜在的な分割点k_iについて、決定された11個のウィンドウは、個々にW_i1[k_i-166, k_i+3]、W_i2[k_i-167, k_i+2]、W_i3[k_i-168, k_i+1]、W_i4[k_i-169, k_i]、W_i5[k_i-170, k_i-1]、W_i6[k_i-171, k_i-2]、W_i7[k_i-172, k_i-3]、W_i8[k_i-173, k_i-4]、W_i9[k_i-174, k_i-5]、W_i10[k_i-175, k_i-6]、およびW_i11[k_i-176, k_i-7]である。W_i1[k_i-166, k_i+3]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_i2[k_i-167, k_i+2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_i3[k_i-168, k_i+1]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7W_i7[k_i-172, k_i-3]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[k_i-174, k_i-5]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[k_i-175, k_i-6]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[k_i-176, k_i-7]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_i1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_i2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_i3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_i4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_i5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_i6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_i7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_i8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_i9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_i10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_i11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_iがデータストリーム分割点である。11個のウィンドウのうちのいずれかのウィンドウ内のデータの少なくとも一部が、対応する予め設定された条件、例えば、図２６に表わされたW_i7[k_i-172, k_i-3]を満たさないとき、データストリーム分割点を探索する方向に沿って潜在的な分割点k_iからNバイトがスキップされ、ここでNバイトは

より大きくない。図２６に表わされた実現形態において、スキップされるNバイトは185バイトより大きくなく、この実施例において、N=5であり、それによって新しい潜在的な分割点を取得する。潜在的な分割点k_iからの区別のために、新しい潜在的な分割点は、ここでk_jと表現される。図２５に表わされた実現形態において、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについて、11個のウィンドウが決定され、個々にW_j1[k_j-166, k_j+3]、W_j2[k_j-167, k_j+2]、W_j3[k_j-168, k_j+1]、W_j4[k_j-169, k_j]、W_j5[k_j-170, k_j-1]、W_j6[k_j-171, k_j-2]、W_j7[k_j-172, k_j-3]、W_j8[k_j-173, k_j-4]、W_j9[k_j-174, k_j-5]、W_j10[k_j-175, k_j-6]、およびW_j11[k_j-176, k_j-7]である。W_j1[k_j-166, k_j+3]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_j2[k_j-167, k_j+2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_j3[k_j-168, k_j+1]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_j4[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[k_j-171, k_j-2]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[k_j-172, k_j-3]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[k_j-173, k_j-4]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[k_j-174, k_j-5]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[k_j-175, k_j-6]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[k_j-176, k_j-7]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。もちろん、本発明のこの実施例において、潜在的な分割点k_aがデータストリーム分割点であるかどうかが判定されるときも規則に従い、具体的な実現は再度記載されず、潜在的な分割点k_iを判定する記載への参照が行われ得る。ウィンドウW_j1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_j2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_j3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_j4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_j5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_j6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_j7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_j8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_j9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_j10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_j11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_jがデータストリーム分割点であり、k_jとk_aの間のデータは1個のデータチャンクを形成する。一方、次の潜在的な分割点を取得するために、k_aのそれと同じ形態で4 KBの最小チャンクサイズがスキップされ、重複排除サーバ103において予め設定された規則に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。潜在的な分割点k_jがデータストリーム分割点でないと判定されたとき、k_iのそれと同じ形態で次の潜在的な分割点が取得され、重複排除サーバ103において予め設定された規則および上記の方法に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。設定された最大データチャンクを超えた後にデータストリーム分割点が見出されないとき、最大データチャンクの終了位置は強制的な分割点としての役目をする。

図３に表わされたデータストリーム分割点の探索に基づいて、図２７に表わされた実現形態において、規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点kについて、11個のウィンドウW_x[k-A_x, k+B_x]およびウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1から11までの連続した自然数を示す。A₁=169、B₁=0、A₂=170、B₂=-1、A₃=171、B₃=-2、A₄=172、B₄=-3、A₅=173、B₅=-4、A₆=174、B₆=-5、A₇=175、B₇=-6、A₈=176、B₈=-7、A₉=177、B₉=-8、A₁₀=168、B₁₀=1、A₁₁=179、B₁₁=3である。C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀≠C₁₁であり、11個のウィンドウは、個々にW₁[k-169, k]、W₂[k-170, k-1]、W₃[k-171, k-2]、W₄[k-172, k-3]、W₅[k-173, k-4]、W₆[k-174, k-5]、W₇[k-175, k-6]、W₈[k-176, k-7]、W₉[k-177, k-8]、W₁₀[k-168, k+1]、およびW₁₁[k-179, k+3]である。k_aはデータストリーム分割点であり、図２７に表わされたデータストリーム分割点を探索する方向は左から右である。データストリーム分割点k_aから4 KBの最小データチャンクがスキップされた後、4 KBの最小データチャンクの終了位置は次の潜在的な分割点k_iとしての役目をする。この実施例において、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについて、ウィンドウW_ix[k_i-A_x, k_i+B_x]が決定され、ここで xは個々に1から11までの連続した自然数を示す。図２７に表わされた実現形態において、潜在的な分割点k_iについて、決定された11個のウィンドウは、個々にW_i1[k_i-169, k_i]、W_i2[k_i-170, k_i-1]、W_i3[k_i-171, k_i-2]、W_i4[k_i-172, k_i-3]、W_i5[k_i-173, k_i-4]、W_i6[k_i-174, k_i-5]、W_i7[k_i-175, k_i-6]、W_i8[k_i-176, k_i-7]、W_i9[k_i-177, k_i-8]、W_i10[k_i-168, k_i+1]、およびW_i11[k_i-179, k_i+3]である。W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[k_i-172, k_i-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[k_i-174, k_i-5]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7[k_i-175, k_i-6]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[k_i-176, k_i-7]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[k_i-177, k_i-8]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[k_i-168, k_i+1]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[k_i-179, k_i+3]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_i1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_i2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_i3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_i4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_i5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_i6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_i7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_i8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_i9内のデータの少なくとも一部
が予め設定された条件C₉を満たし、ウィンドウW_i10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_i11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_iがデータストリーム分割点である。ウィンドウW_i11内のデータの少なくとも一部が予め設定された条件C₁₁を満たさないと判定されたとき、データストリーム分割点を探索する方向に沿って潜在的な分割点k_iから1バイトがスキップされ、それによって新しい潜在的な分割点を取得する。潜在的な分割点k_iからの区別のために、新しい潜在的な分割点は、ここでk_jと表現される。10個のウィンドウW_i1、W_i2、W_i3、W_i4、W_i5、W_i6、W_i7、W_i8、W_i9、およびW_i10いずれかのウィンドウ内のデータの少なくとも一部が、対応する予め設定された条件、例えば、図２８に表わされたW_i4[k_i-172, k_i-3]を満たさないとき、データストリーム分割点を探索する方向に沿って点k_iからNバイトがスキップされ、ここでNバイトは

より大きくない。図２８に表わされた実現形態において、スキップされるNバイトは182バイトより大きくなく、この実施例において、N=6であり、それによって新しい潜在的な分割点を取得する。潜在的な分割点k_iからの区別のために、新しい潜在的な分割点は、ここでk_jと表現される。図２７に表わされた実現形態において重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについて決定されたウィンドウは、個々にW_j1[k_j-169, k_j]、W_j2[k_j-170, k_j-1]、W_j3[k_j-171, k_j-2]、W_j4[k_j-172, k_j-3]、W_j5[k_j-173, k_j-4]、W_j6[k_j-174, k_j-5]、W_j7[k_j-175, k_j-6]、W_j8[k_j-176, k_j-7]、W_j9[k_j-177, k_j-8]、W_j10[k_j-168, k_j+1]、およびW_j11[k_j-179, k_j+3]である。W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_j3[k_j-171, k_j-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_j4[k_j-172, k_j-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[k_j-173, k_j-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[k_j-174, k_j-5]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[k_j-175, k_j-6]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[k_j-176, k_j-7]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[k_j-177, k_j-8]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[k_j-168, k_j+1]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[k_j-179, k_j+3]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。もちろん、本発明のこの実施例において、潜在的な分割点k_aがデータストリーム分割点であるかどうかが判定されるときも規則に従い、具体的な実現は再度記載されず、潜在的な分割点k_iを判定する記載への参照が行われ得る。ウィンドウW_j1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_j2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_j3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_j4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_j5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_j6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_j7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_j8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_j9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_j10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_j11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_jがデータストリーム分割点である。k_jとk_aの間のデータは1個のデータチャンクを形成する。一方、次の潜在的な分割点を取得するために、k_aのそれと同じ形態で4 KBの最小チャンクサイズがスキップされ、重複排除サーバ103において予め設定された規則に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。潜在的な分割点k_jがデータストリーム分割点でないと判定されたとき、k_iのそれと同じ形態で次の潜在的な分割点が取得され、重複排除サーバ103において予め設定された規則および上記の方法に従って、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。設定された最大データチャンクを超えた後にデータストリーム分割点が見出されないとき、最大データチャンクの終了位置は強制的な分割点としての役目をする。

図３に表わされたデータストリーム分割点の探索に基づいて、図２９に表わされた実現形態において、規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点kについて、11個のウィンドウW_x[p_x-A_x, p_x+B_x]およびウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは個々に1から11までの連続した自然数を示し、ここでウィンドウW_x[p_x-A_x, p_x+B_x]内のデータの少なくとも一部が予め設定された条件を満たす確率は1/2である。A₁=169、B₁=0、A₂=171、B₂=-2、A₃=173、B₃=-4、A₄=175、B₄=-6、A₅=177、B₅=-8、A₆=179、B₆=-10、A₇=181、B₇=-12、A₈=183、B₈=-14、A₉=185、B₉=-16、A₁₀=187、B₁₀=-18、A₁₁=189、B₁₁=-20である。C₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁であり、11個のウィンドウは、個々にW₁[k-169, k]、W₂[k-171, k-2]、W₃[k-173, k-4]、W₄[k-175, k-6]、W₅[k-177, k-8]、W₆[k-179, k-10]、W₇[k-181, k-12]、W₈[k-183, k-14]、W₉[k-185, k-16]、W₁₀[k-187, k-18]、およびW₁₁[k-189, k-20]である。k_aはデータストリーム分割点であり、図２９に表わされたデータストリーム分割点を探索する方向は左から右である。データストリーム分割点k_aから4 KBの最小データチャンクがスキップされた後、4 KBの最小データチャンクの終了位置は次の潜在的な分割点k_iとしての役目をし、潜在的な分割点k_iについて点p_ixが決定される。この実施例において、重複排除サーバ103において予め設定された規則に従って、xは個々に1から11までの連続した自然数を示す。図２９に表わされた実現形態において、予め設定された規則に従って、潜在的な分割点k_iについて決定された11個のウィンドウは、個々にW_i1[k_i-169, k_i]、W_i2[k_i-171, k_i-2]、W_i3[k_i-173, k_i-4]、W_i4[k_i-175, k_i-6]、W_i5[k_i-177, k_i-8]、W_i6[k_i-179, k_i-10]、W_i7[k_i-181, k_i-12]、W_i8[k_i-183, k_i-14]、W_i9[k_i-185, k_i-16]、W_i10[k_i-187, k_i-18]、およびW_i11[k_i-189, k_i-20]である。W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_i2[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_i3[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[k_i-175, k_i-6]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[k_i-177, k_i-8]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[k_i-179, k_i-10]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7[k_i-181, k_i-12]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[k_i-183, k_i-14]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[k_i-185, k_i-16]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[k_i-187, k_i-18]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[k_i-189, k_i-20]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_i1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_i2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_i3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_i4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_i5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_i6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_i7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_i8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_i9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_i10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_i11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_iがデータストリーム分割点である。11個のウィンドウのうちのいずれかのウィンドウ内のデータの少なくとも一部が、対応する予め設定された条件を満たさない、例えば、図３０に表わされたように、W_i4[k_i-175, k_i-6]内のデータの少なくとも一部が予め設定された条件C₄を満たさないとき、次の潜在的な分割点が選択される。潜在的な分割点k_iからの区別のために、次の潜在的な分割点は、ここでk_jと表現され、ここでk_jはk_iの右に位置し、k_jとk_iの間の間隔は1バイトである。図３０に表わされたように、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについて、11個のウィンドウが決定され、個々にW_j1[k_j-169, k_j]、W_j2[k_j-171, k_j-2]、W_j3[k_j-173, k_j-4]、W_j4[k_j-175, k_j-6]、W_j5[k_j-177, k_j-8]、W_j6[k_j-179, k_j-10]、W_j7[k_j-181, k_j-12]、W_j8[k_j-183, k_j-14]、W_j9[k_j-185, k_j-16]、W_j10[k_j-187, k_j-18]、およびW_j11[k_j-189, k_j-20]であり、ここでC₁=C₂=C₃=C₄=C₅=C₆=C₇=C₈=C₉=C₁₀=C₁₁である。W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_j2[k_j-171, k_j-2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_j3[k_j-173, k_j-4]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_j4[k_j-175, k_j-6]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[k_j-177, k_j-8]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[k_j-179, k_j-10]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[k_j-181, k_j-12]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[k_j-183, k_j-14]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[k_j-185, k_j-16]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[k_j-187, k_j-18]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[k_j-189, k_j-20]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_j1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_j2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_j3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_j4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_j5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_j6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_j7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_j8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_j9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_j10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_j11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_jがデータストリーム分割点である。ウィンドウW_j1、W_j2、W_j3、W_j4、W_j5、W_j6、W_j7、W_j8、W_j9、W_j10、およびW_j11のうちのいずれかのウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさないと判定されたとき、例えば、図３１に表わされたように、W_j3[k_j-173, k_j-4]内のデータの少なくとも一部が
予め設定された条件C₃を満たさないとき、k_jはk_iの右に位置し、データストリーム分割点を探索する方向に沿ってk_iからNバイトがスキップされ、ここでNバイトは

より大きくない。図２８に表わされた実現形態において、Nバイトは195バイトより大きくなく、この実施例において、N=15であり、それによって次の潜在的な分割点を取得する。潜在的な分割点k_iおよびk_jからの区別のために、次の潜在的な分割点はk_lと表現される。図２９における実現形態において重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_lについて、11個のウィンドウが決定され、個々にW_l1[k_l-169, k_l]、W_l2[k_l-171, k_l-2]、W_l3[k_l-173, k_l-4]、W_l4[k_l-175, k_l-6]、W_l5[k_l-177, k_l-8]、W_l6[k_l-179, k_l-10]、W_l7[k_l-181, k_l-12]、W_l8[k_l-183, k_l-14]、W_l9[k_l-185, k_l-16]、W_l10[k_l-187, k_l-18]、およびW_l11[k_l-189, k_l-20]である。W_l1[k_l-169, k_l]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_l2[k_l-171, k_l-2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_l3[k_l-173, k_l-4]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_l4[k_l-175, k_l-6]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_l5[k_l-177, k_l-8]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_l6[k_l-179, k_l-10]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_l7[k_l-181, k_l-12]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_l8[k_l-183, k_l-14]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_l9[k_l-185, k_l-16]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_l10[k_l-187, k_l-18]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_l11[k_l-189, k_l-20]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_l1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_l2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_l3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_l4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_l5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_l6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_l7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_l8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_l9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_l10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_l11内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_lがデータストリーム分割点である。ウィンドウW_l1、W_l2、W_l3、W_l4、W_l5、W_l6、W_l7、W_l8、W_l9、W_l10、およびW_l11のうちのいずれかのウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさないとき、次の潜在的な分割点が選択される。潜在的な分割点k_i、k_j、およびk_lからの区別のために、次の潜在的な分割点はk_mと表現され、ここでk_mはk_lの右に位置し、k_mとk_lの間の間隔は1バイトである。図２９に表わされた実施例において重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_mについて決定された11個のウィンドウは、個々にW_m1[k_m-169, k_m]、W_m2[k_m-171, k_m-2]、W_m3[k_m-173, k_m-4]、W_m4[k_m-175, k_m-6]、W_m5[k_m-177, k_m-8]、W_m6[k_m-179, k_m-10]、W_m7[k_m-181, k_m-12]、W_m8[k_m-183, k_m-14]、W_m9[k_m-185, k_m-16]、W_m10[k_m-187, k_m-18]、およびW_m11[k_m-189, k_m-20]である。W_m1[k_m-169, k_m]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定され、W_m2[k_m-171, k_m-2]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_m3[k_m-173, k_m-4]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_m4[k_m-175, k_m-6]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_m5[k_m-177, k_m-8]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_m6[k_m-179, k_m-10]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_m7[k_m-181, k_m-12]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_m8[k_m-183, k_m-14]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_m9[k_m-185, k_m-16]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_m10[k_m-187, k_m-18]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_m11[k_m-189, k_m-20]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。ウィンドウW_m1内のデータの少なくとも一部が予め設定された条件C₁を満たし、ウィンドウW_m2内のデータの少なくとも一部が予め設定された条件C₂を満たし、ウィンドウW_m3内のデータの少なくとも一部が予め設定された条件C₃を満たし、ウィンドウW_m4内のデータの少なくとも一部が予め設定された条件C₄を満たし、ウィンドウW_m5内のデータの少なくとも一部が予め設定された条件C₅を満たし、ウィンドウW_m6内のデータの少なくとも一部が予め設定された条件C₆を満たし、ウィンドウW_m7内のデータの少なくとも一部が予め設定された条件C₇を満たし、ウィンドウW_m8内のデータの少なくとも一部が予め設定された条件C₈を満たし、ウィンドウW_m9内のデータの少なくとも一部が予め設定された条件C₉を満たし、ウィンドウW_m10内のデータの少なくとも一部が予め設定された条件C₁₀を満たし、かつウィンドウW_m11
内のデータの少なくとも一部が予め設定された条件C₁₁を満たすと判定されたとき、現在の潜在的な分割点k_mがデータストリーム分割点である。いずれかのウィンドウ内のデータの少なくとも一部が予め設定された条件を満たさないとき、次の潜在的な分割点を取得するために上記で記載された解決策に従ってスキップが実行され、次の潜在的な分割点がデータストリーム分割点であるかどうかが判定される。

本発明の実施例はウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するための方法を提供する。この実施例において、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかが判定され、図２１に表わされた実現形態が例として使用される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについて、ウィンドウW_i1[k_i-169, k_i]が決定され、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図３２に表わされたように、W_i1はウィンドウW_i1[k_i-169, k_i]を表現し、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図３２において、

は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。データの選択された5バイトは繰り返し51回使用されて合計で255バイトを取得し、それによってランダム性を増加させる。その各バイトは8ビットで形成され、これらはa_m,1、...、およびa_m,8と示され、255バイト内のm番目のバイトの1番目のビットから8番目のビットを表現し、従って、255バイトに対応するビットは、

と表現されることが可能であり、ここでa_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、ここでa_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aは255バイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、

と表現されることが可能である。大量の乱数が選択されて行列を形成する。一旦形成されると、乱数によって形成された行列は不変のままである。例えば、特定の分布（ここで例として正規分布が使用される）に従う乱数から255*8個の乱数が選択されて行列R

を形成し、ここで行列V_aのm番目の行の乱数と行列Rのm番目の行が乗算され、積が加算されて値を取得し、これは具体的には、S_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現される。S_a1、S_a2、...、およびS_a255は本方法に従って取得され、S_a1、S_a2、...、およびS_a255の中で特定の条件（ここで例として0より大きいことが使用される）を満たす値の数量Kがカウントされる。行列Rは正規分布に従うので、行列Rが従うようにS_amは依然として正規分布に従う。確率論によれば、正規分布における乱数が0より大きい確率は1/2であり、S_a1、S_a2、...、およびS_a255の中の各値が0より大きい確率は1/2であり、従って、Kは二項分布

を満たす。カウント結果に従って、S_a1、S_a2、...、およびS_a255の中で0より大きい値の数量Kが偶数であるかどうかが判定され、二項分布における乱数が偶数である確率は1/2であり、従って、Kは1/2の確率で条件を満たす。Kが偶数であるとき、それはW_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすことを示す。Kが奇数であるとき、それはW₁[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たさないことを示す。C₁は、ここで、S_a1、S_a2、...、およびS_a255の中で0より大きい値の、上記の形態に従って取得された数量Kが偶数であることを指す。図２１に表わされた実現形態において、W_i1[k_i-169, k_i]、W_i2[k_i-170, k_i-1]、W_i3[k_i-171, k_i-2]、W_i4[k_i-172, k_i-3]、W_i5[k_i-173, k_i-4]、W_i6[k_i-174, k_i-5]、W_i7[k_i-175, k_i-6]、W_i8[k_i-176, k_i-7]、W_i9[k_i-177, k_i-8]、W_i10[k_i-178, k_i-9]、およびW_i11[k_i-179, k_i-10]について、ウィンドウはサイズにおいて同じであり、すなわち、全てのウィンドウは169バイトのサイズを有し、一方、ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態も同じである。詳細については、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する上記の記載を参照されたい。従って、図３２に表わされたように、

は、ウィンドウW_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。データの選択された5バイトは繰り返し51回使用されて合計で255バイトを取得し、それによってランダム性を増加させる。その各バイトは8ビットで形成され、これらはb_m,1、...、およびb_m,8と示され、255バイト内のm番目のバイトの1番目のビットから8番目のビットを表現し、従って、255バイトに対応するビットは、

と表現されることが可能であり、ここでb_m,n=1であるときV_bm,n=1であり、b_m,n=0であるときV_bm,n=-1であり、ここでb_m,nはb_m,1、...、およびb_m,8のうちのいずれか1つを表現し、行列V_bは255バイトに対応するビットからb_m,nとV_bm,nの間の変換関係に従って取得され、

と表現されることが可能である。W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態は、ウィンドウW_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態と同じであり、従って、行列R

が使用され、行列V_bのm番目の行と行列Rのm番目の行の乱数が乗算され、積が加算されて値を取得し、これは、具体的には、S_bm=V_bm,1*h_m,1+V_bm,2*h_m,2+...+V_bm,8*h_m,8と表現される。S_b1、S_b2、...、およびS_b255は本方法に従って取得され、S_b1、S_b2、...、およびS_b255の中で特定の条件（ここで例として0より大きいことが使用される）を満たす値の数量Kがカウントされる。行列Rは正規分布に従うので、行列Rが従うようにS_bmは依然として正規分布に従う。確率論によれば、正規分布における乱数が0より大きい確率は1/2であり、S_b1、S_b2、...、およびS_b255の中の各値が0より大きい確率は1/2であり、従って、Kは二項分布

を満たす。カウント結果に従って、S_b1、S_b2、...、およびS_b255の中で0より大きい値の数量Kが偶数であるかどうかが判定され、二項分布における乱数が偶数である確率は1/2であり、従って、Kは1/2の確率で条件を満たす。Kが偶数であるとき、それはW_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすことを示す。Kが奇数であるとき、それはW_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たさないことを示す。C₂は、ここで、S_b1、S_b2、...、およびS_b255の中で0より大きい値の、上記の形態に従って取得された数量Kが偶数であることを指す。図２１に表わされた実現形態において、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たす。

従って、図３２に表わされたように、

は、ウィンドウW_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。データの選択された5バイトは繰り返し51回使用されて合計で255バイトを取得し、それによってランダム性を増加させる。そして、ウィンドウW_i1[k_i-169, k_i]およびW_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定するための方法は、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定するために使用される。図２１に表わされた実現形態において、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件を満たす。図３２に表わされたように、

は、ウィンドウW_i4[k_i-172, k_i-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。データの選択された5バイトは繰り返し51回使用されて合計で255バイトを取得し、それによってランダム性を増加させる。そして、ウィンドウW_i1[k_i-169, k_i]、W_i2[k_i-170, k_i-1]、およびW_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定するための方法は、W_i4[k_i-172, k_i-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかを判定するために使用される。図２１に表わされた実現形態において、W_i4[k_i-172, k_i-3]内のデータの少なくとも一部が予め設定された条件C₄を満たす。図３２に表わされたように、

は、ウィンドウW_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。データの選択された5バイトは繰り返し51回使用されて合計で255バイトを取得し、それによってランダム性を増加させる。そして、ウィンドウW_i1[k_i-169, k_i]、W_i2[k_i-170, k_i-1]、W_i3[k_i-171, k_i-2]、およびW_i4[k_i-172, k_i-3]内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定するための方法は、W_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかを判定するために使用される。図２１に表わされた実現形態において、W_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たさない。

W_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たさないとき、データストリーム分割点を探索する方向に沿って点p_i5から7バイトがスキップされ、7番目のバイトの終了位置において次の潜在的な分割点k_jが取得される。図２２に表わされたように、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについてウィンドウW_j1[k_j-169, k_j]が決定される。ウィンドウW_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じである。従って、図３３に表わされたように、W_j1はウィンドウを表現し、ウィンドウ内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図３３において、

は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。データの選択された5バイトは繰り返し51回使用されて合計で255バイトを取得し、それによってランダム性を増加させる。その各バイトは8ビットで形成され、これらはa_m,1'、...、およびa_m,8'と示され、255バイト内のm番目のバイトの1番目のビットから8番目のビットを表現し、従って、255バイトに対応するビットは、

と表現されることが可能であり、ここでa_m,n'=1であるときV_am,n'=1であり、a_m,n'=0であるときV_am,n'=-1であり、ここでa_m,n'はa_m,1'、...、およびa_m,8'のうちのいずれか1つを表現し、行列V_a'は255バイトに対応するビットからa_m,n'とV_am,n'の間の変換関係に従って取得され、

と表現されることが可能である。ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態は、ウィンドウW_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態と同じである。従って、行列R

が使用され、行列V_a'のm番目の行と行列Rのm番目の行の乱数が乗算され、積が加算されて値を取得し、これは、具体的には、S_am'=V_am,1'*h_m,1+V_am,2'*h_m,2+...+V_am,8'*h_m,8と表現される。S_a1'、S_a2'、...、およびS_a255'は本方法に従って取得され、S_a1'、S_a2'、...、およびS_a255'の中で特定の条件（ここで例として0より大きいことが使用される）を満たす値の数量Kがカウントされる。行列Rは正規分布に従うので、行列Rが従うようにS_am'は依然として正規分布に従う。確率論によれば、正規分布における乱数が0より大きい確率は1/2であり、S_a1'、S_a2'、...、およびS_a255'の中の各値が0より大きい確率は1/2であり、従って、Kは二項分布

を満たす。カウント結果に従って、S_a1'、S_a2'、...、およびS_a255'の中で0より大きい値の数量Kが偶数であるかどうかが判定され、二項分布における乱数が偶数である確率は1/2であり、従って、Kは1/2の確率で条件を満たす。Kが偶数であるとき、それはW_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすことを示す。Kが奇数であるとき、それはW_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たさないことを示す。

W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じである。従って、図３３に表わされたように、

は、ウィンドウW_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。データの選択された5バイトは繰り返し51回使用されて合計で255バイトを取得し、それによってランダム性を増加させる。その各バイトは8ビットで形成され、これらはb_m,1'、...、およびb_m,8'と示され、255バイト内のm番目のバイトの1番目のビットから8番目のビットを表現し、従って、255バイトに対応するビットは、

と表現されることが可能であり、ここでb_m,n'=1であるときV_bm,n'=1であり、b_m,n'=0であるときV_bm,n'=-1であり、ここでb_m,n'はb_m,1'、...、およびb_m,8'のうちのいずれか1つを表現し、行列V_b'は255バイトに対応するビットからb_m,n'とV_bm,n'の間の変換関係に従って取得され、

と表現されることが可能である。ウィンドウW_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じであり、従って、行列R

が依然として使用される。行列V_b'のm番目の行と行列Rのm番目の行の乱数が乗算され、積が加算されて値を取得し、これは、具体的には、S_bm'=V_bm,1'*h_m,1+V_bm,2'*h_m,2+...+V_bm,8'*h_m,8と表現される。S_b1'、S_b2'、...、およびS_b255'は本方法に従って取得され、S_b1'、S_b2'、...、およびS_b255'の中で特定の条件（ここで例として0より大きいことが使用される）を満たす値の数量Kがカウントされる。行列Rは正規分布に従うので、行列Rが従うようにS_bm'は依然として正規分布に従う。確率論によれば、正規分布における乱数が0より大きい確率は1/2であり、S_b1'、S_b2'、...、およびS_b255'の中の各値が0より大きい確率は1/2であり、従って、Kは二項分布

を満たす。カウント結果に従って、S_b1'、S_b2'、...、およびS_b255'の中で0より大きい値の数量Kが偶数であるかどうかが判定され、二項分布における乱数が偶数である確率は1/2であり、従って、Kは1/2の確率で条件を満たす。Kが偶数であるとき、それはW_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすことを示す。Kが奇数であるとき、それはW_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たさないことを示す。同様に、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態は、W_j3[k_j-171, k_j-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態と同じである。同様に、W_j4[k_j-172, k_j-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[k_j-173, k_j-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[k_j-174, k_j-5]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[k_j-175, k_j-6]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[k_j-176, k_j-7]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[k_j-177, k_j-8]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[k_j-178, k_j-9]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[k_j-179, k_j-10]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定され、これらは再度ここに記載されない。

この実施例において、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかが判定される。図２１に表わされた実現形態が依然として例として使用される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについてウィンドウW_i1[k_i-169, k_i]が決定され、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図３２に表わされたように、W_i1はウィンドウW_i1[k_i-169, k_i]を表現し、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図３２において、

は1個の選択されたバイトを表現し、2個の隣接する選択されたバイト

の間に42バイトがある。一実現形態において、選択された5バイトを計算するためにhash関数が使用され、hash関数を使用することによって計算によって取得された値は、一定の一様分布をなす。hash関数を使用することによって計算によって取得された値が偶数であるならば、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすと判定される。すなわち、C₁は、上記の形態に従って、hash関数を使用することによって計算によって取得された値が偶数であることを表現する。従って、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件を満たす確率は1/2である。図２１に表わされた実現形態において、hash関数を使用することによって、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうか、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうか、W_i4[k_i-172, k_i-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうか、かつW_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定される。具体的な実現について、図２１に表わされた実現形態において、hash関数を使用することによって、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態の記載への参照が行われることが可能であり、これは再度ここに記載されない。

W_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たさないとき、データストリーム分割点を探索する方向に沿って潜在的な分割点k_iから7バイトがスキップされ、7番目のバイトの終了位置において現在の潜在的な分割点k_jが取得される。図２２に表わされたように、重複排除サーバ103において予め設定された規則に従って、 潜在的な分割点k_jについてウィンドウW_j1[k_j-169, k_j]が決定される。ウィンドウW_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じである。従って、図３３に表わされたように、W_j1はウィンドウW_j1[k_j-169, k_j]を表現し、W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図３３において、

は1個の選択されたバイトを表現し、2個の隣接する選択されたバイト

の間に42バイトがある。ウィンドウW_j1[k_j-169, k_j]から選択された5バイトはhash関数を使用することによって計算される。取得された値が偶数であるならば、W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たす。図３３において、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じである。従って、図３３に表わされたように、

は、ウィンドウW_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイト

の間に42バイトがある。選択された5バイトはhash関数を使用することによって計算される。取得された値が偶数であるならば、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たす。図３３において、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態は、W_j3[k_j-171, k_j-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態と同じである。従って、図３３に表わされたように、

は、ウィンドウW_j3[k_j-171, k_j-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイト

の間に42バイトがある。選択された5バイトはhash関数を使用することによって計算される。取得された値が偶数であるならば、W_j3[k_j-171, k_j-2]内のデータの少なくとも一部が予め設定された条件C₃を満たす。図３３において、W_j4[k_j-172, k_j-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかを判定する形態は、ウィンドウW_i4[k_i-172, k_i-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかを判定する形態と同じである。従って、図３３に表わされたように、

は、ウィンドウW_j4[k_j-172, k_j-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイト

の間に42バイトがある。選択された5バイトはhash関数を使用することによって計算される。取得された値が偶数であるならば、W_j4[k_j-172, k_j-3]内のデータの少なくとも一部が予め設定された条件C₄を満たす。上記の方法に従って、W_j5[k_j-173, k_j-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[k_j-174, k_j-5]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[k_j-175, k_j-6]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[k_j-176, k_j-7]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[k_j-177, k_j-8]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[k_j-178, k_j-9]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[k_j-179, k_j-10]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定され、これらは再度ここに記載されない。

この実施例において、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかが判定される。図２１に表わされた実現形態が例として使用される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについてウィンドウW_i1[k_i-169, k_i]が決定され、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図３２に表わされたように、W_i1はウィンドウW_i1[k_i-169, k_i]を表現し、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図３２において、その順序番号が169、127、85、43、および1であるバイト

の各々は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が169、127、85、43、および1であるバイト

は、それぞれa₁、a₂、a₃、a₄、...、およびa₅と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、a₁、a₂、a₃、a₄、...、およびa₅のうちのいずれのa_rも0≦a_r≦255を満たす。a₁、a₂、a₃、a₄、...、およびa₅は1*5行列を形成する。二項分布に従う乱数から256*5個の乱数が選択されて

と表現される行列Rを形成する。

行列Rはa₁の値およびa₁が位置する列に従って対応する値について探索される。例えば、a₁=36であり、a₁が1番目の列に位置するならば、h_36,1に対応する値が探索される。行列Rはa₂の値およびa₂が位置する列に従って対応する値について探索される。例えば、a₂=48であり、a₂が2番目の列に位置するならば、h_48,2に対応する値が探索される。行列Rはa₃の値およびa₃が位置する列に従って対応する値について探索される。例えば、a₃=26であり、a₃が3番目の列に位置するならば、h_26,3に対応する値が探索される。行列Rはa₄の値およびa₄が位置する列に従って対応する値について探索される。例えば、a₄=26であり、a₄が4番目の列に位置するならば、h_26,4に対応する値が探索される。行列Rはa₅の値およびa₅が位置する列に従って対応する値について探索される。例えば、a₅=88であり、a₅が5番目の列に位置するならば、h_88,5に対応する値が探索される。S₁=h_36,1+h_48,2+h_26,3+h_26,4+h_88,5であり、行列Rは二項分布に従うので、S₁も二項分布に従う。S₁が偶数であるとき、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たし、S₁が奇数であるとき、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たさない。S₁が偶数である確率は1/2であり、C₁は、上記の形態に従って計算によって取得されたS₁が偶数であることを表現する。図２１に表わされた実施例において、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たす。図３２に表わされたように、

は、ウィンドウW_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに個々に選択された1バイトを表現する。図３２において、選択されたバイトは個々に順序番号170、128、86、44、および2と表現され、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が170、128、86、44、および2であるバイト

は、それぞれb₁、b₂、b₃、b₄、およびb₅と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、b₁、b₂、b₃、b₄、およびb₅のうちのいずれのb_rも0≦b_r≦255を満たす。b₁、b₂、b₃、b₄、およびb₅は1*5行列を形成する。この実現形態において、W_i1およびW_i2内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態は同じであり、従って、行列Rが依然として使用される。行列Rはb₁の値およびb₁が位置する列に従って対応する値について探索される。例えば、b₁=66であり、b₁が1番目の列に位置するならば、h_66,1に対応する値が探索される。行列Rはb₂の値およびb₂が位置する列に従って対応する値について探索される。例えば、b₂=48であり、b₂が2番目の列に位置するならば、h_48,2に対応する値が探索される。行列Rはb₃の値およびb₃が位置する列に従って対応する値について探索される。例えば、b₃=99であり、b₃が3番目の列に位置するならば、h_99,3に対応する値が探索される。行列Rはb₄の値およびb₄が位置する列に従って対応する値について探索される。例えば、b₄=26であり、b₄が4番目の列に位置するならば、h_26,4に対応する値が探索される。行列Rはb₅の値およびb₅が位置する列に従って対応する値について探索される。例えば、b₅=90であり、b₅が5番目の列に位置するならば、h_90,5に対応する値が探索される。S₂=h_66,1+h_48,2+h_99,3+h_26,4+h_90,5であり、行列Rは二項分布に従うので、S₂も二項分布に従う。S₂が偶数であるとき、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たし、S₂が奇数であるとき、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たさない。S₂が偶数である確率は1/2である。図２１に表わされた実施例において、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たす。同じ規則を使用することによって、個々に、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[k_i-172, k_i-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[k_i-173,
k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[k_i-174, k_i-5]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7[k_i-175, k_i-6]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[k_i-176, k_i-7]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[k_i-177, k_i-8]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[k_i-178, k_i-9]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[k_i-179, k_i-10]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。図２１に表わされた実現形態において、W_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たさず、データストリーム分割点を探索する方向に沿って潜在的な分割点k_iから7バイトがスキップされ、7番目のバイトの終了位置において現在の潜在的な分割点k_jが取得される。図２２に表わされたように、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについてウィンドウW_j1[k_j-169, k_j]が決定される。ウィンドウW_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じである。従って、図３３に表わされたように、W_j1はウィンドウW_j1[k_j-169, k_j]を表現し、W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図３３において、その順序番号が169、127、85、43、および1であるバイト

の各々は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が169、127、85、43、および1であるバイト

は、それぞれa₁'、a₂'、a₃'、a₄'、およびa₅'と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、a₁'、a₂'、a₃'、a₄'、およびa₅'のうちのいずれのa_r'も0≦a_r'≦255を満たす。a₁'、a₂'、a₃'、a₄'、およびa₅'は1*5行列を形成する。ウィンドウW_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じである。従って、行列Rが依然として使用され、

と表現される。

行列Rはa₁'の値およびa₁'が位置する列に従って対応する値について探索される。例えば、a₁'=16であり、a₁'が1番目の列に位置するならば、h_16,1に対応する値が探索される。行列Rはa₂'の値およびa₂'が位置する列に従って対応する値について探索される。例えば、a₂'=98であり、a₂'が2番目の列に位置するならば、h_98,2に対応する値が探索される。行列Rはa₃'の値およびa₃'が位置する列に従って対応する値について探索される。例えば、a₃'=56であり、a₃'が3番目の列に位置するならば、h_56,3に対応する値が探索される。行列Rはa₄'の値およびa₄'が位置する列に従って対応する値について探索される。例えば、a₄'=36であり、a₄'が4番目の列に位置するならば、h_36,4に対応する値が探索される。行列Rはa₅'の値およびa₅'が位置する列に従って対応する値について探索される。例えば、a₅'=99であり、a₅'が5番目の列に位置するならば、h_99,5に対応する値が探索される。S₁'=h_16,1+h_98,2+h_56,3+h_36,4+h_99,5であり、行列Rは二項分布に従うので、S₁'も二項分布に従う。S₁'が偶数であるとき、W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たし、S₁'が奇数であるとき、W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たさない。S₁'が偶数である確率は1/2である。

W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じである。従って、図３３に表わされたように、

は、ウィンドウW_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。選択されたバイトは個々に順序番号170、128、86、44、および2と表現され、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が170、128、86、44、および2であるバイト

は、それぞれb₁'、b₂'、b₃'、b₄'、およびb₅'と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、b₁'、b₂'、b₃'、b₄'、およびb₅'のうちのいずれのb_r'も0≦b_r'≦255を満たす。b₁'、b₂'、b₃'、b₄'、およびb₅'は1*5行列を形成する。ウィンドウW_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに使用されたのと同じ行列Rが使用される。行列Rはb₁'の値およびb₁'が位置する列に従って対応する値について探索される。例えば、b₁'=210であり、b₁'が1番目の列に位置するならば、h_210,1に対応する値が探索される。行列Rはb₂'の値およびb₂'が位置する列に従って対応する値について探索される。例えば、b₂'=156であり、b₂'が2番目の列に位置するならば、h_156,2に対応する値が探索される。行列Rはb₃'の値およびb₃'が位置する列に従って対応する値について探索される。例えば、b₃'=144であり、b₃'が3番目の列に位置するならば、h_144,3に対応する値が探索される。行列Rはb₄'の値およびb₄'が位置する列に従って対応する値について探索される。例えば、b₄'=60であり、b₄'が4番目の列に位置するならば、h_60,4に対応する値が探索される。行列Rはb₅'の値およびb₅'が位置する列に従って対応する値について探索される。例えば、b₅'=90であり、b₅'が5番目の列に位置するならば、h_90,5に対応する値が探索される。S₂'=h_210,1+h_156,2+h_144,3+h_60,4+h_90,5である。S₂の判定条件と同じく、S₂'が偶数であるとき、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たし、S₂'が奇数であるとき、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たさない。S₂'が偶数である確率は1/2である。

同様に、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態は、W_j3[k_j-171, k_j-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態と同じである。同様に、W_j4[k_j-172, k_j-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[k_j-173, k_j-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[k_j-174, k_j-5]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[k_j-175, k_j-6]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[k_j-176, k_j-7]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[k_j-177, k_j-8]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[k_j-178, k_j-9]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[k_j-179, k_j-10]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定され、これらは再度ここに記載されない。

この実施例において、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかが判定される。図２１に表わされた実現形態が例として使用される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについてウィンドウW_i1[k_i-169, k_i]が決定され、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図３２に表わされたように、W_i1はウィンドウW_i1[k_i-169, k_i]を表現し、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図３２においてその順序番号が169、127、85、43、および1であるバイト

の各々は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が169、127、85、43、および1であるバイト

は、それぞれa₁、a₂、a₃、a₄、およびa₅と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、a₁、a₂、a₃、a₄、およびa₅のうちのいずれのa_sも0≦a_s≦255を満たす。a₁、a₂、a₃、a₄、およびa₅は1*5行列を形成する。二項分布に従う乱数から256*5個の乱数が選択されて

と表現される行列Rを形成する。二項分布に従う乱数から256*5個の乱数が選択されて

と表現される行列Gを形成する。

a₁の値およびa₁が位置する列に従って、例えば、a₁=36であり、a₁は1番目の列に位置し、行列Rはh_36,1に対応する値について探索され、行列Gはg_36,1に対応する値について探索される。a₂の値およびa₂が位置する列に従って、例えば、a₂=48であり、a₂は2番目の列に位置し、行列Rはh_48,2に対応する値について探索され、行列Gはg_48,2に対応する値について探索される。a₃の値およびa₃が位置する列に従って、例えば、a₃=26であり、a₃は3番目の列に位置し、行列Rはh_26,3に対応する値について探索され、行列Gはg_26,3に対応する値について探索される。a₄の値およびa₄が位置する列に従って、例えば、a₄=26であり、a₄は4番目の列に位置し、行列Rはh_26,4に対応する値について探索され、行列Gはg_26,4に対応する値について探索される。a₅の値およびa₅が位置する列に従って、例えば、a₅=88であり、a₅は5番目の列に位置し、行列Rはh_88,5に対応する値について探索され、行列Gはg_88,5に対応する値について探索される。S_1h=h_36,1+h_48,2+h_26,3+h_26,4+h_88,5であり、行列Rは二項分布に従うので、S_1hも二項分布に従う。S_1g=g_36,1+g_48,2+g_26,3+g_26,4+g_88,5であり、行列Gは二項分布に従うので、S_1gも二項分布に従う。S_1hおよびS_1gのうちの1つが偶数であるとき、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たし、S_1hとS_1g両方が奇数であるとき、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たさず、C₁は、上記の方法に従って取得されたS_1hおよびS_1gのうちの1つが偶数であることを示す。S_1hとS_1g両方が二項分布に従うので、S_1hが偶数である確率は1/2であり、S_1gが偶数である確率は1/2であり、S_1hおよびS_1gのうちの1つが偶数である確率は1-1/4=3/4である。従って、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たす確率は3/4である。図２１に表わされた実施例において、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たす。図２１に表わされた実現形態において、W_i1[k_i-169, k_i]、W_i2[k_i-170, k_i-1]、W_i3[k_i-171, k_i-2]、W_i4[k_i-172, k_i-3]、W_i5[k_i-173, k_i-4]、W_i6[k_i-174, k_i-5]、W_i7[k_i-175, k_i-6]、W_i8[k_i-176, k_i-7]、W_i9[k_i-177, k_i-8]、W_i10[k_i-178, k_i-9]、およびW_i11[k_i-179, k_i-10]について、ウィンドウはサイズにおいて同じであり、すなわち、全てのウィンドウは169バイトのサイズを有し、一方、ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態も同じである。詳細については、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する上記の記載を参照されたい。 従って、図３２に表わされたように、

は、ウィンドウW_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに個々に選択された1バイトを表現する。図３２において、選択されたバイトは個々に順序番号170、128、86、44、および2と表現され、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が170、128、86、44、および2であるバイト

は、それぞれb₁、b₂、b₃、b₄、およびb₅と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、b₁、b₂、b₃、b₄、およびb₅のうちのいずれのb_sも0≦b_s≦255を満たす。b₁、b₂、b₃、b₄、およびb₅は1*5行列を形成する。この実現形態において、各ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態は同じであり、従って、同じ行列RおよびGが依然として使用される。b₁の値およびb₁が位置する列に従って、例えば、b₁=66であり、b₁は1番目の列に位置し、行列Rはh_66,1に対応する値について探索され、行列Gはg_66,1に対応する値について探索される。b₂の値およびb₂が位置する列に従って、例えば、b₂=48であり、b₂は2番目の列に位置し、行列Rはh_48,2に対応する値について探索され、行列Gはg_48,2に対応する値について探索される。b₃の値およびb₃が位置する列に従って、例えば、b₃=99であり、b₃は3番目の列に位置し、行列Rはh_99,3に対応する値について探索され、行列Gはg_99,3に対応する値について探索される。b₄の値およびb₄が位置する列に従って、例えば、b₄=26であり、b₄は4番目の列に位置し、行列Rはh_26,4に対応する値について探索され、行列Gはg_26,4に対応する値について探索される。b₅の値およびb₅が位置する列に従って、例えば、b₅=90であり、b₅は5番目の列に位置し、行列Rはh_90,5に対応する値について探索され、行列Gはg_90,5に対応する値について探索される。S_2h=h_66,1+h_48,2+h_99,3+h_26,4+h_90,5であり、行列Rは二項分布に従うので、S_2hも二項分布に従う。S_2g=g_66,1+g_48,2+g_99,3+g_26,4+g_90,5であり、行列Gは二項分布に従うので、S_2gも二項分布に従う。S_2hおよびS_2gのうちの1つが偶数であるとき、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たし、S_2hとS_2g両方が奇数であるとき、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たさない。S_2hおよびS_2gのうちの1つが偶数である確率は3/4である。図２１に表わされた実施例において、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たす。同じ規則を使用することによって、個々に、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[k_i-172, k_i-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[k_i-174, k_i-5]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7[k_i-175, k_i-6]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[k_i-176, k_i-7]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[k_i-177, k_i-8]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[k_i-178, k_i-9]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[k_i-179, k_i-10]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。図２１に表わされた実現形態において、W_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たさず、データストリーム分割点を探索する方向に沿って潜在的な分割点k_iから7バイトがスキップされ、7番目のバイトの終了位置において現在の潜在的な分割点k_jが取得される。図２２に表わされたように、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについてウィンドウW_j1[k_j-169, k_j]が決定される。ウィンドウW_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じである。従って、図３３に表わされたように、W_j1はウィンドウW_j1[k_j-169, k_j]を表現し、W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図３３において、そ
の順序番号が169、127、85、43、および1であるバイト

の各々は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が169、127、85、43、および1であるバイト

は、それぞれa₁'、a₂'、a₃'、a₄'、およびa₅'と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、a₁'、a₂'、a₃'、a₄'、およびa₅'のうちのいずれのa_s'も0≦a_s'≦255を満たす。a₁'、a₂'、a₃'、a₄'、およびa₅'は1*5行列を形成する。ウィンドウW_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定されるときに使用されたのと同じ行列RおよびGが使用され、それぞれ

および

と表現される。

a₁'の値およびa₁'が位置する列に従って、例えば、a₁'=16であり、a₁'は1番目の列に位置し、行列Rはh_16,1に対応する値について探索され、行列Gはg_16,1に対応する値について探索される。a₂'の値およびa₂'が位置する列に従って、例えば、a₂'=98であり、a₂'は2番目の列に位置し、行列Rはh_98,2に対応する値について探索され、行列Gはg_98,2に対応する値について探索される。a₃'の値およびa₃'が位置する列に従って、例えば、a₃'=56であり、a₃'は3番目の列に位置し、行列Rはh_56,3に対応する値について探索され、行列Gはg_56,3に対応する値について探索される。a₄'の値およびa₄'が位置する列に従って、例えば、a₄'=36であり、a₄'は4番目の列に位置し、行列Rはh_36,4に対応する値について探索され、行列Gはg_36,4に対応する値について探索される。a₅'の値およびa₅'が位置する列に従って、例えば、a₅'=99であり、a₅'は5番目の列に位置し、行列Rはh_99,5に対応する値について探索され、行列Gはg_99,5に対応する値について探索される。S_1h'=h_16,1+h_98,2+h_56,3+h_36,4+h_99,5であり、行列Rは二項分布に従うので、S_1h'も二項分布に従う。S_1g'=g_16,1+g_98,2+g_56,3+g_36,4+g_99,5であり、行列Gは二項分布に従うので、S_1g'も二項分布に従う。S_1h'およびS_1g'のうちの1つが偶数であるとき、W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たし、S_1h'とS_1g'両方が奇数であるとき、W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たさない。S_1h'およびS_1g'のうちの1つが偶数である確率は3/4である。

W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じである。従って、図３３に表わされたように、

は、ウィンドウW_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。図３３において、選択されたバイトは個々に順序番号170、128、86、44、および2と表現され、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が170、128、86、44、および2であるバイト

は、それぞれb₁'、b₂'、b₃'、b₄'、およびb₅'と表現される10進数の値に変換される。1バイトは8ビットで形成されるので、各バイト

は値としての役目をし、b₁'、b₂'、b₃'、b₄'、およびb₅'のうちのいずれのb_s'も0≦b_s'≦255を満たす。b₁'、b₂'、b₃'、b₄'、およびb₅'は1*5行列を形成する。ウィンドウW _i2[k _i -170, k _i -1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに使用されたのと同じ行列RおよびGが使用される。b₁'の値およびb₁'が位置する列に従って、例えば、b₁'=210であり、b₁'は1番目の列に位置し、行列Rはh_210,1に対応する値について探索され、行列Gはg_210,1に対応する値について探索される。b₂'の値およびb₂'が位置する列に従って、例えば、b₂'=156であり、b₂'は2番目の列に位置し、行列Rはh_156,2に対応する値について探索され、行列Gはg_156,2に対応する値について探索される。b₃'の値およびb₃'が位置する列に従って、例えば、b₃'=144であり、b₃'は3番目の列に位置し、行列Rはh_144,3に対応する値について探索され、行列Gはg_144,3に対応する値について探索される。b₄'の値およびb₄'が位置する列に従って、例えば、b₄'=60であり、b₄'は4番目の列に位置し、行列Rはh_60,4に対応する値について探索され、行列Gはg_60,4に対応する値について探索される。b₅'の値およびb₅'が位置する列に従って、例えば、b₅'=90であり、b₅'は5番目の列に位置し、行列Rはh_90,5に対応する値について探索され、行列Gはg_90,5に対応する値について探索される。S_2h'=h_210,1+h_156,2+h_144,3+h_60,4+h_90,5であり、S_2g'=g_210,1+g_156,2+g_144,3+g_60,4+g_90,5である。S_2h'およびS_2g'のうちの1つが偶数であるとき、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たし、S_2h'とS_2g'両方が奇数であるとき、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たさない。S_2h'およびS_2g'のうちの1つが偶数である確率は3/4である。

同様に、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態は、W_j3[k_j-171, k_j-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態と同じである。同様に、W_j4[k_j-172, k_j-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[k_j-173, k_j-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[k_j-174, k_j-5]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[k_j-175, k_j-6]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[k_j-176, k_j-7]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[k_j-177, k_j-8]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[k_j-178, k_j-9]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[k_j-179, k_j-10]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定され、これらは再度ここに記載されない。

この実施例において、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかが判定される。図２１に表わされた実現形態が例として使用される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについてウィンドウW_i1[k_i-169, k_i]が決定され、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図３２に表わされたように、W_i1はウィンドウW_i1[k_i-169, k_i]を表現し、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図３２において、その順序番号が169、127、85、43、および1であるバイト

の各々は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が169、127、85、43、および1であるバイト

は40個の連続するビットとみなされ、これらは個々にa₁、a₂、a₃、a₄、...、およびa₄₀と表現される。a₁、a₂、a₃、a₄、...、およびa₄₀のうちのいずれのa_tについても、a_t=0であるときV_at=-1であり、a_t=1であるときV_at=1である。a_tとV_atの間の対応に従って、V_a1、V_a2、V_a3、V_a4、...、およびV_a40が生成される。正規分布に従う乱数から40個の乱数が選択され、個々にh₁、h₂、h₃、h₄、...、およびh₄₀と表現される。S_a=V_a1*h₁+V_a2*h₂+V_a3*h₃+V_a4*h₄+...+V_a40*h₄₀である。h₁、h₂、h₃、h₄、...、およびh₄₀は正規分布に従うので、S_aも正規分布に従う。S_aが正の数であるとき、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たし、S_aが負の数または0であるとき、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たさない。S_aが正の数である確率は1/2である。図２１に表わされた実施例において、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たす。図３２に表わされたように、

は、ウィンドウW_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに個々に選択された1バイトを表現する。図３２において、選択されたバイトは個々に順序番号170、128、86、44、および2と表現され、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が170、128、86、44、および2であるバイト

は40個の連続するビットとみなされ、これらは個々にb₁、b₂、b₃、b₄、...、およびb₄₀と表現される。b₁、b₂、b₃、b₄、...、およびb₄₀のうちのいずれのb_tについても、b_t=0であるときV_bt=-1であり、b_t=1であるときV_bt=1である。b_tとV_btの間の対応に従って、V_b1、V_b2、V_b3、V_b4、...、およびV_b40が生成される。ウィンドウW_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じである。従って、同じ乱数h₁、h₂、h₃、h₄、...、およびh₄₀が使用され、S_b=V_b1*h₁+V_b2*h₂+V_b3*h₃+V_b4*h₄+...+V_b40*h₄₀である。h₁、h₂、h₃、h₄、...、およびh₄₀は正規分布に従うので、S_bも正規分布に従う。S_bが正の数であるとき、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たし、S_bが負の数または0であるとき、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たさない。S_bが正の数である確率は1/2である。図２１に表わされた実施例において、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たす。同じ規則を使用することによって、個々に、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[k_i-172, k_i-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_i6[k_i-174, k_i-5]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_i7[k_i-175, k_i-6]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_i8[k_i-176, k_i-7]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_i9[k_i-177, k_i-8]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_i10[k_i-178, k_i-9]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_i11[k_i-179, k_i-10]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定される。図２１に表わされた実現形態において、W_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たさず、データストリーム分割点を探索する方向に沿って潜在的な分割点k_iから7バイトがスキップされ、7番目のバイトの終了位置において現在の潜在的な分割点k_jが取得される。図２２に表わされたように、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについてウィンドウW_j1[k_j-169, k_j]が決定される。ウィンドウW_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じである。従って、図３３に表わされたように、W_j1はウィンドウW_j1[k_j-169, k_j]を表現し、W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図３３において、その順序番号が図３３において169、127、85、43、および1であるバイト

の各々は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が169、127、85、43、および1であるバイト

は40個の連続するビットとみなされ、これらは個々にa₁'、a₂'、a₃'、a₄'、...、およびa₄₀'と表現される。a₁'、a₂'、a₃'、a₄'、...、およびa₄₀'のうちのいずれのa_t'についても、a_t'=0であるときV_at'=-1であり、a_t'=1であるときV_at'=1である。a_t'とV_at'の間の対応に従って、V_a1'、V_a2'、V_a3'、V_a4'、...、およびV_a40'が生成される。ウィンドウW_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じである。従って、同じ乱数h₁、h₂、h₃、h₄、...、およびh₄₀が使用される。S_a'=V_a1'*h₁+V_a2'*h₂+V_a3'*h₃+V_a4'*h₄+...+V_a40'*h₄₀である。h₁、h₂、h₃、h₄、...、およびh₄₀は正規分布に従うので、S_a'も正規分布に従う。S_a'が正の数であるとき、W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たし、S_a'が負の数または0であるとき、W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たさない。S_a'が正の数である確率は1/2である。

W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じである。従って、図３３に表わされたように、

は、ウィンドウW_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定されるときに選択された1バイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。図３３において、選択されたバイトは個々に順序番号170、128、86、44、および2と表現され、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が170、128、86、44、および2であるバイト

は40個の連続するビットとみなされ、これらは個々にb₁'、b₂'、b₃'、b₄'、...、およびb₄₀'と表現される。b₁'、b₂'、b₃'、b₄'、...、およびb₄₀'のうちのいずれのb_t'についても、b_t'=0であるときV_bt'=-1であり、b_t'=1であるときV_bt'=1である。b_t'とV_bt'の間の対応に従って、V_b1'、V_b2'、V_b3'、V_b4'、...、およびV_b40'が生成される。W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じである。従って、同じ乱数h₁、h₂、h₃、h₄、...、およびh₄₀が使用され、S_b'=V_b1'*h₁+V_b2'*h₂+V_b3'*h₃+V_b4'*h₄+...+V_b40'*h₄₀である。h₁、h₂、h₃、h₄、...、およびh₄₀は正規分布に従うので、S_b'も正規分布に従う。S_b'が正の数であるとき、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たし、S_b'が負の数または0であるとき、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たさない。S_b'が正の数である確率は1/2である。

同様に、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態は、W_j3[k_j-171, k_j-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態と同じである。同様に、W_j4[k_j-172, k_j-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[k_j-173, k_j-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[k_j-174, k_j-5]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[k_j-175, k_j-6]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[k_j-176, k_j-7]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[k_j-177, k_j-8]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[k_j-178, k_j-9]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[k_j-179, k_j-10]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定され、これらは再度ここに記載されない。

この実施例において、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかが判定される。図２１に表わされた実現形態が依然として例として使用される。重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについて、潜在的な分割点k_iについてウィンドウW_i1[k_i-169, k_i]が決定され、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかが判定される。図３２に表わされたように、W_i1はウィンドウW_i1[k_i-169, k_i]を表現し、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図３２において、その順序番号が169、127、85、43、および1であるバイト

の各々は1個の選択されたバイトを表現し、2個の隣接する選択されたバイトの間に42バイトがある。その順序番号が169、127、85、43、および1であるバイト

の各々は1個の10進数に変換され、その範囲は0から(2^40-1)である。0から(2^40-1)の中の各10進数について1個の指定された値を生成するために一様分布乱数生成器が使用され、0から(2^40-1)の中の各10進数と指定された値の間の対応Rが記録される。一旦指定されると、10進数に対応する指定された値は不変のままであり、指定された値は一様分布に従う。指定された値が偶数であるならば、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たし、指定された値が奇数であるならば、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たさない。C₁は、上記の方法に従って取得された指定された値が偶数であることを表現する。一様分布における乱数が偶数である確率は1/2であるので、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たす確率は1/2である。図２１に表わされた実現形態において、同じ規則を使用することによって、個々に、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかが判定され、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかが判定され、W_i4[k_i-172, k_i-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、これらは再度ここに記載されない。

W_i5[k_i-173, k_i-4]内のデータの少なくとも一部が予め設定された条件C₅を満たさないとき、データストリーム分割点を探索する方向に沿って潜在的な分割点k_iから7バイトがスキップされ、7番目のバイトの終了位置において現在の潜在的な分割点k_jが取得される。図２２に表わされたように、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_jについてウィンドウW_j1[k_j-169, k_j]が決定される。ウィンドウW_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、ウィンドウW_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じである。従って、0から(2^40-1)の中の各10進数と指定された値の間の同じ対応Rが使用される。図３３に表わされたように、W_j1はウィンドウを表現し、W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定するために5バイトが選択される。図３３において、

は1個の選択されたバイトを表現し、2個の隣接する選択されたバイト

の間に42バイトがある。その順序番号169、127、85、43、および1のバイト

の各々が1個の10進数に変換され、10進数に対応する指定された値についてRが探索される。指定された値が偶数であるならば、W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たし、指定された値が奇数であるならば、W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たさない。一様分布における乱数が偶数である確率は1/2であるので、W_j1[k_j-169, k_j]内のデータの少なくとも一部が予め設定された条件C₁を満たす確率は1/2である。同様に、W_i2[k_i-170, k_i-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、W_j2[k_j-170, k_j-1]内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態と同じであり、W_i3[k_i-171, k_i-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態は、W_j3[k_j-171, k_j-2]内のデータの少なくとも一部が予め設定された条件C₃を満たすかどうかを判定する形態と同じである。同様に、W_j4[k_j-172, k_j-3]内のデータの少なくとも一部が予め設定された条件C₄を満たすかどうかが判定され、W_j5[k_j-173, k_j-4]内のデータの少なくとも一部が予め設定された条件C₅を満たすかどうかが判定され、W_j6[k_j-174, k_j-5]内のデータの少なくとも一部が予め設定された条件C₆を満たすかどうかが判定され、W_j7[k_j-175, k_j-6]内のデータの少なくとも一部が予め設定された条件C₇を満たすかどうかが判定され、W_j8[k_j-176, k_j-7]内のデータの少なくとも一部が予め設定された条件C₈を満たすかどうかが判定され、W_j9[k_j-177, k_j-8]内のデータの少なくとも一部が予め設定された条件C₉を満たすかどうかが判定され、W_j10[k_j-178, k_j-9]内のデータの少なくとも一部が予め設定された条件C₁₀を満たすかどうかが判定され、かつW_j11[k_j-179, k_j-10]内のデータの少なくとも一部が予め設定された条件C₁₁を満たすかどうかが判定され、これらは再度ここに記載されない。

図１に表わされた本発明の実施例における重複排除サーバ103は、本発明の実施例に記載された技術的解決策を実現することが可能である装置を指し、図１８に表わされたように、通常、中央処理ユニット、主要メモリ、および入力／出力インタフェースを含む。中央処理ユニット、主要メモリ、および入力／出力インタフェースは、互いに通信する。主メモリは実行可能な命令を記憶し、中央処理ユニットは、主メモリに記憶された実行可能な命令を実行して特定の機能を遂行し、それによって、重複排除サーバ103は、特定の機能、例えば、本発明の実施例における図２０から図３３に記載されたデータストリーム分割点を探索すること、を有する。従って、図１９に表わされたように、図２０から図３３に表わされた本発明の実施例によれば、重複排除サーバ103について、規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点kについて、M個のウィンドウW_x[k-A_x, k+B_x]およびウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数である。

重複排除サーバ103は、決定ユニット1901および判断および処理ユニット1902を含む。決定ユニット1901は、ステップ(a)、
(a)規則に従って、現在の潜在的な分割点k_iについて、対応するウィンドウW_iz[k_i-A_z, k_i+B_z]を決定するステップを行うように構成され、ここでiおよびzは整数であり、1≦z≦Mである。

判断および処理ユニット1902は、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って現在の潜在的な分割点k_iからデータストリーム分割点を探索するためのN個の最小単位Uをスキップするように構成され、ここでN*Uは

より大きくなく、それによって新しい潜在的な分割点を取得し、ここで決定ユニット1901は新しい潜在的な分割点についてステップ(a)を行い、
判断および処理ユニット1902は、現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[k_i-A_x, k_i+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすとき、データストリーム分割点として現在の潜在的な分割点k_iを選択するように構成される。

さらに、規則は、少なくとも2個のウィンドウW_ie[k_i-A_e, k_i+B_e]およびW_if[k_i-A_f, k_i+B_f]が条件|A_e+B_e|=|A_f+B_f|およびC_e=C_fを満たすことをさらに含む。さらに、規則は、A_eおよびA_fが正の整数であることをさらに含む。さらに、規則は、A_e-1=A_fおよびB_e+1=B_fをさらに含む。

さらに、判断および処理ユニット1902は、具体的には、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定するように構成される。なお、さらに、判断および処理ユニット1902は、具体的には、hash関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定する。

さらに、判断および処理ユニット1902は、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って現在の潜在的な分割点k_iからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得するように構成され、決定ユニット1901は新しい潜在的な分割点についてステップ(a)を行い、ここで規則に従って、新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界はウィンドウW_iz[k_i-A_z, k_i+B_z]の右の境界と一致し、または新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界はウィンドウW_iz[k_i-A_z, k_i+B_z]の範囲内にあり、ここで新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]は、規則に従って新しい潜在的な分割点について決定されたM個のウィンドウの、データストリーム分割点を探索する方向に従って取得されたシーケンス内で１番目の順位を有するウィンドウである。

さらに、判断および処理ユニット1902は、ランダム関数を使用することによって、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
ウィンドウW_iz[k_i-A_z, k_i+B_z]内のFバイトを選択し、Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、ここでF≧1であり、各バイトは8ビットで形成され、これらはF*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、F*Hバイトに対応するビットは

と表現されることが可能であり、ここでa_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、ここでa_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aはF*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、行列V_aは

と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、行列Rは

と表現され、行列V_aのm番目の行および行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たす。

図２０から図３３に表わされた本発明の実施例におけるサーバに基づいてデータストリーム分割点を探索するための方法によれば、潜在的な分割点k_iについてウィンドウW_ix[k_i-A_x, k_i+B_x]が決定され、ここでxは個々に1からMまでの連続した自然数を示し、M≧2である。M個のウィンドウのうちの各ウィンドウ内のデータの少なくとも一部が予め設定された条件C_xを満たすかどうかは並列に判定されることが可能であり、またはウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかは順次的に判定されることが可能であり、またはウィンドウW_i1[p_i1-A₁, p_i1+B₁]内のデータの少なくとも一部が予め設定された条件C₁を満たすことが最初に判定されることが可能であり、W_im[p_im-A_m, p_im+B_m]内のデータの少なくとも一部が予め設定された条件C_mを満たすことが判定されるまで、次いでW_i2[p_i2-A₂, p_i2+B₂]内のデータの少なくとも一部が予め設定された条件C₂を満たすことが判定される。上記と同じ形態でこの実施例における他のウィンドウが決定され、これは再度記載されない。

さらに、図２０から図３３に表わされた本発明の実施例によれば、規則が重複排除サーバ103において予め設定され、ここで規則は、潜在的な分割点kについてのM個のウィンドウW_x[k-A_x, k+B_x]およびウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは個々に1からMまでの連続した自然数を示し、M≧2である。予め設定された規則において、A₁、A₂、A₃、...、およびA_mは全て等しいとは限らないことが可能であり、B₁、B₂、B₃、...、およびB_mは全て等しいとは限らないことが可能であり、C₁、C₂、C₃、...、およびC_Mも全て同じとは限らないことが可能である。図２１に表わされた実現形態において、W_i1[k_i-169, k_i]、W_i2[k_i-170, k_i-1]、W_i3[k_i-171, k_i-2]、W_i4[k_i-172, k_i-3]、W_i5[k_i-173, k_i-4]、W_i6[k_i-174, k_i-5]、W_i7[k_i-175, k_i-6]、W_i8[k_i-176, k_i-7]、W_i9[k_i-177, k_i-8]、W_i10[k_i-178, k_i-9]、およびW_i11[k_i-179, k_i-10]について、ウィンドウはサイズにおいて同じであり、すなわち、全てのウィンドウは169バイトのサイズを有し、一方、ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態も同じである。詳細については、W_i1[k_i-169, k_i]内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する上記の記載を参照されたい。しかし、図１１に表わされた実現形態において、ウィンドウW_i1[k_i-169, k_i]、W_i2[k_i-170, k_i-1]、W_i3[k_i-171, k_i-2]、W_i4[k_i-172, k_i-3]、W_i5[k_i-173, k_i-4]、W_i6[k_i-174, k_i-5]、W_i7[k_i-175, k_i-6]、W_i8[k_i-176, k_i-7]、W_i9[k_i-177, k_i-8]、W_i10[k_i-168, k_i+1]、およびW_i11[k_i-179, k_i+3]はサイズにおいて異なることが可能であり、一方、ウィンドウ内のデータの少なくとも一部が予め設定された条件を満たすかどうかを判定する形態も異なることが可能である。全ての実施例において、重複排除サーバ103において予め設定された規則に従って、ウィンドウW_i1内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態は、もちろん、ウィンドウW_j1内のデータの少なくとも一部が予め設定された条件C₁を満たすかどうかを判定する形態と同じであり、W_i2内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定する形態は、もちろん、W_j2内のデータの少なくとも一部が予め設定された条件C₂を満たすかどうかを判定すると同じであり、...、かつウィンドウW_iM内のデータの少なくとも一部が予め設定された条件C_Mを満たすかどうかを判定する形態は、もちろん、ウィンドウW_jM内のデータの少なくとも一部が予め設定された条件C_Mを満たすかどうかを判定する形態と同じであり、これらは再度ここに記載されない。

図２０から図３３に表わされた本発明の実施例によれば、規則が重複排除サーバ103において予め設定され、k_a、k_i、k_j、k_l、およびk_mは、データストリーム分割点を探索する方向に沿って分割点の探索において取得された潜在的な分割点であり、k_a、k_i、k_j、k_l、およびk_m全ては規則に従う。本発明のこの実施例において、ウィンドウW_x[k-A_x, k+B_x]は特定の範囲を表現し、データが予め設定された条件C_xを満たすかどうかを判定するために、データが特定の範囲内で選択される。具体的には、特定の範囲内で、データが予め設定された条件C_xを満たすかどうかを判定するために、データの一部が選択されることが可能であり、または全てのデータが選択されることが可能である。本発明のこの実施例において具体的に使用されるウィンドウの概念について、ウィンドウW_x[k-A_x, k+B_x]への参照が行われることが可能であり、これは再度ここに記載されない。

ウィンドウW_x[k-A_x, k+B_x]において、(k-A_x)および(k+B_x)は、ウィンドウW_x[k-A_x, k+B_x]の2つの境界を表現し、ここで(k-A_x)は、ウィンドウW_x[k-A_x, k+B_x]の、潜在的な分割点kに関してデータストリーム分割点を探索する方向と反対の方向にある境界を表現し、(k+B_x)は、ウィンドウW_x[k-A_x, k+B_x]の、潜在的な分割点kに関してデータストリーム分割点を探索する方向にある境界を表現する。具体的には、本発明の実施例において、図２０から図３３に表わされたデータストリーム分割点を探索する方向は左から右であり、従って、(k-A_x)は、ウィンドウW_x[k-A_x, k+B_x]の、潜在的な分割点kに関してデータストリーム分割点を探索する方向と反対の方向にある境界（すなわち、左の境界）を表現し、(k+B_x)は、ウィンドウW_x[k-A_x, k+B_x]の、潜在的な分割点kに関してデータストリーム分割点を探索する方向にある境界（すなわち、右の境界）を表現する。図２０から図３３に表わされたデータストリーム分割点を探索する方向が右から左ならば、(k-A_x)は、ウィンドウW_x[k-A_x, k+B_x]の、潜在的な分割点kに関してデータストリーム分割点を探索する方向と反対の方向にある境界（すなわち、右の境界）を表現し、(k+B_x)は、ウィンドウW_x[k-A_x, k+B_x]の、潜在的な分割点kに関してデータストリーム分割点を探索する方向にある境界（すなわち、左の境界）を表現する。

この技術分野の当業者は、本発明の実施例の図２０から図３３に記載された各種の例示のユニットおよびアルゴリズムのステップと関連して、本発明の実施例における重要な特徴は、他の技術と組み合わされ、より複雑な形式で提示されることが可能であるが、本発明の重要な特徴が依然として含まれることを認識し得る。現実の環境において代わりの分割点が使用され得る。例えば、実現形態において、重複排除サーバ103において予め設定された規則に従って、潜在的な分割点k_iについて、11個のウィンドウW_x[k-A_x, k+B_x]およびウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xが決定され、ここでxは1から11までの連続した自然数を示す。11個のウィンドウのうちの各ウィンドウW_x[k-A_x, k+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすとき、潜在的な分割点k_iがデータストリーム分割点である。設定された最大データチャンクを超えた後に分割点が見出されないとき、代わりの点についての予め設定された規則が使用され得る。代わりの点についての予め設定された規則は、重複排除サーバ103において予め設定された規則と類似し、代わりの点についての予め設定された規則は、例えば、潜在的な分割点k_iについて、10個のウィンドウW_x[k-A_x, k+B_x]およびウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xを決定することであり、ここでxは1から10までの連続した自然数を示す。10個のウィンドウのうちの各ウィンドウW_x[k-A_x, k+B_x]内のデータの少なくとも一部が予め設定された条件C_xを満たすと判定されたとき、潜在的な分割点k_iがデータストリーム分割点である。設定された最大データチャンクを超えた後にデータストリーム分割点が見出されないとき、最大データチャンクの終了位置は強制的な分割点としての役目をする。

図２０から図３３に表わされた本発明の実施例によれば、規則が重複排除サーバ103において予め設定され、規則において、潜在的な分割点kについてM個のウィンドウが決定される。前もって潜在的な分割点kがあることは必ずしも要求されず、潜在的な分割点kは、決定されたM個のウィンドウを使用することによって決定され得る。

この技術分野の当業者は、この明細書に開示された実施例に記載された例と組み合わせて、ユニットおよびアルゴリズムのステップが、電子的ハードウェアまたはコンピュータソフトウェアと電子的ハードウェアの組み合わせによって実現され得ることを認識し得る。機能がハードウェアによって実行されるか、またはソフトウェアによって実行されるかは、技術的解決策の特定の適用および設計制約条件に依存する。この技術分野の当業者は、各々の特定の適用について、記載された機能を実現するために、異なる方法を使用し得るが、その実現は本発明の範囲を超えると考えるべきでない。

便利で簡潔な記載の目的のために、上記のシステム、装置、およびユニットの詳細な動作プロセスについて、上記の方法の実施例における対応するプロセスへの参照が行われ得ることは、この技術分野の当業者によって明確に理解されることが可能であり、詳細は再度ここに記載されない。

いくつかの提供された実施例において、開示されたシステムおよび方法は他の形態で実現され得ることを理解すべきである。例えば、記載された装置の実施例は単に例示である。例えば、ユニットの区分は単に論理的な機能区分であり、実際の実現において他の区分であり得る。例えば、複数のユニットまたは構成要素は、他のシステムに組み合わされ、または統合されることが可能であり、またはいくつかの特徴は無視され、または遂行されないことが可能である。さらに、表示された、または説明された相互の結合、または直接の結合、または通信接続は、いくつかのインタフェースを通して実現され得る。装置間またはユニット間の間接的な結合または通信接続は、電子的、機械的、または他の形式で実現され得る。

別個の部分として記載されたユニットは、物理的に別個であることが可能であり、または物理的に別個でないことが可能であり、ユニットとして表示された部分は、物理的なユニットであることが可能であり、または物理的なユニットでないことが可能であり、１つの位置に配置されることが可能であり、または複数のネットワークユニット上に分散されることが可能である。ユニットのいくつかまたは全ては、実施例の解決策の目的を達成するための実際の必要性に従って選択され得る。

さらに、本発明の実施例における機能ユニットは、１つの処理ユニットに統合されることが可能であり、またはユニットの各々は物理的に単独で存在することが可能であり、または２つまたはより多くのユニットが１つのユニットに統合される。

機能が、ソフトウェア機能ユニットの形式で実現され、独立の製品として販売または使用されるとき、機能は、コンピュータ読み取り可能な不揮発性記憶媒体に記憶され得る。そのような理解に基づいて、必須な本発明の技術的解決策、または先行技術に貢献する部分、または技術的解決策のいくつかは、ソフトウェア製品の形式で実現され得る。ソフトウェア製品は、不揮発性記憶媒体に記憶され、本発明の実施例に記載された方法のステップの全てまたはいくつかを行うように（パーソナルコンピュータ、サーバ、またはネットワークデバイスであり得る）コンピュータデバイスに命令するためのいくつかの命令を含む。上記の不揮発性記憶媒体は、USBフラッシュドライブ、取り外し可能なハードディスク、リード・オンリ・メモリ（Read-Only Memory、ROM）、磁気ディスク、または光ディスクのような、プログラムコードを記憶することが可能であるいずれの媒体も含む。

上記の記載は、単に本発明の特定の実現形態であるが、本発明の保護範囲を限定することは意図されない。本発明において開示された技術的範囲内でこの技術分野の当業者によって容易に理解されるいずれの変形または代替も、本発明の保護範囲内にあるものである。従って、本発明の保護範囲は、請求項の保護範囲に従うものである。

101a、101b、・・・、101n クライアント
102 バックアップサーバ
103 重複データ除去サーバ
104a、104b、・・・、104n 記憶デバイス

Claims (50)

1. サーバにおいてデータストリーム分割点を探索するための方法であって、
   前記サーバにおいて予め設定された規則は、潜在的な分割点kについて、M個の点p_x、前記点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、および前記ウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、xは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数であり、
   前記方法は、
   (a)前記規則に従って、現在の潜在的な分割点k_iについて、点p_izおよび前記点p_izに対応するウィンドウW_iz[p_iz-A_z, p_iz+B_z]を決定するステップであって、iおよびzは整数であり、1≦z≦Mである、ステップと、
   (b)前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
   前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って前記点p_izからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得し、ステップ(a)を行うステップであって、N*Uは
   

   

   より大きくない、ステップと、
   (c)前記現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[p_ix-A_x, p_ix+B_x]内のデータの少なくとも一部が前記予め設定された条件C_xを満たすとき、データストリーム分割点として前記現在の潜在的な分割点k_iを選択するステップと、
   を含む方法。
2. 前記規則は、少なくとも2個の点p_eおよびp_fが条件A_e=A_f、B_e=B_f、およびC_e=C_fを満たすことをさらに含む請求項１に記載の方法。
3. 前記規則は、前記潜在的な分割点kに関して、前記少なくとも2個の点p_eおよびp_fがデータストリーム分割点を探索する前記方向と反対の方向にあることをさらに含む請求項２に記載の方法。
4. 前記規則は、前記少なくとも2個の点p_eとp_fの間の間隔が1 Uであることをさらに含む請求項２または３に記載の方法。
5. 前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
   ランダム関数を使用することによって、前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定すること
   を含む、請求項１から４のいずれか一項に記載の方法。
6. ランダム関数を使用することによって、前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定することは、具体的には、hash関数を使用することによって、前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定することである、請求項５に記載の方法。
7. 前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する前記方向に沿って前記点p_izからデータストリーム分割点を探索するための前記N個の最小単位Uがスキップされ、それによって前記新しい潜在的な分割点を取得し、前記規則に従って、前記新しい潜在的な分割点について決定された点p_icに対応するウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界は前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]の右の境界と一致し、または前記新しい潜在的な分割点について決定された点p_icに対応するウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界は前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]の範囲内にあり、前記新しい潜在的な分割点について決定された点p_icは、前記規則に従って前記新しい潜在的な分割点について決定されたM個の点の、データストリーム分割点を探索する前記方向に従って取得されたシーケンス内で１番目の順位を有する点である、請求項１から６のいずれか一項に記載の方法。
8. ランダム関数を使用することによって、前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
   前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のFバイトを選択し、前記Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、F≧1であり、各バイトは8ビットで形成され、これらは前記F*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、前記F*Hバイトに対応するビットは
   

   

   と表現されることが可能であり、a_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、a_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aは前記F*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、前記行列V_aは
   

   

   と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、前記行列Rは
   

   

   と表現され、前記行列V_aのm番目の行および前記行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たす、請求項５に記載の方法。
9. サーバにおいてデータストリーム分割点を探索するための方法であって、
   前記サーバにおいて予め設定された規則は、潜在的な分割点kについて、M個のウィンドウW_x[k-A_x, k+B_x]および前記ウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xを決定することであり、xは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数であり、
   前記方法は、
   (a)前記規則に従って、現在の潜在的な分割点k_iについて、対応するウィンドウW_iz[k_i-A_z, k_i+B_z]を決定するステップであって、iおよびzは整数であり、1≦z≦Mである、ステップと、
   (b)前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
   前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って前記現在の潜在的な分割点k_iからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得し、ステップ(a)を行うステップであって、N*Uは
   

   

   より大きくない、ステップと、
   (c)前記現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[k_i-A_x, k_i+B_x]内のデータの少なくとも一部が前記予め設定された条件C_xを満たすとき、データストリーム分割点として前記現在の潜在的な分割点k_iを選択するステップと、
   を含む方法。
10. 前記規則は、少なくとも2個のウィンドウW_ie[k_i-A_e, k_i+B_e]およびW_if[k_i-A_f, k_i+B_f]が条件|A_e+B_e|=|A_f+B_f|およびC_e=C_fを満たすことをさらに含む、請求項９に記載の方法。
11. 前記規則は、A_eおよびA_fが正の整数であることをさらに含む、請求項１０に記載の方法。
12. 前記規則は、A_e-1=A_fおよびB_e+1=B_fをさらに含む、請求項１０または１１に記載の方法。
13. 前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
    ランダム関数を使用することによって、前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定すること
    を含む、請求項９から１２のいずれか一項に記載の方法。
14. ランダム関数を使用することによって、W_iz[k_i-A_z, k_i+B_z]内のデータの前記少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定することは、具体的には、hash関数を使用することによって、W_iz[k_i-A_z, k_i+B_z]内のデータの前記少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定することである、請求項１３に記載の方法。
15. 前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する前記方向に沿って前記現在の潜在的な分割点k_iからデータストリーム分割点を探索するための前記N個の最小単位Uがスキップされ、それによって前記新しい潜在的な分割点を取得し、前記規則に従って、前記新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界は前記ウィンドウW_iz[k_i-A_z, k_i+B_z]の右の境界と一致し、または前記新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界は前記ウィンドウW_iz[k_i-A_z, k_i+B_z]の範囲内にあり、前記新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]は、前記規則に従って前記新しい潜在的な分割点について決定されたM個のウィンドウの、データストリーム分割点を探索する前記方向に従って取得されたシーケンス内で１番目の順位を有するウィンドウである、請求項９から１４のいずれか一項に記載の方法。
16. ランダム関数を使用することによって、前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
    前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のFバイトを選択し、前記Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、F≧1であり、各バイトは8ビットで形成され、これらは前記F*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、前記F*Hバイトに対応するビットは
    

    

    と表現されることが可能であり、a_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、a_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aは前記F*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、前記行列V_aは
    

    

    と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、前記行列Rは
    

    

    と表現され、前記行列V_aのm番目の行および前記行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たす、請求項１３に記載の方法。
17. データストリーム分割点を探索するためのサーバであって、前記サーバは中央処理ユニットおよび主要メモリを含み、前記中央処理ユニットは前記主要メモリと通信し、前記サーバにおいて予め設定された規則は、潜在的な分割点kについて、M個の点p_x、前記点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、および前記ウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_zを決定することであり、xは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数であり、
    前記主要メモリは、実行可能な命令を記憶するように構成され、前記中央処理ユニットは、前記実行可能な命令を実行して次のステップ、
    (a)前記規則に従って、現在の潜在的な分割点k_iについて、点p_izおよび前記点p_izに対応するウィンドウW_iz[p_iz-A_z, p_iz+B_z]を決定するステップであって、iおよびzは整数であり、1≦z≦Mである、ステップと、
    (b)前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
    前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って前記点p_izからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得し、ステップ(a)を行うステップであって、N*Uは
    

    

    より大きくない、ステップと、
    (c)前記現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[p_ix-A_x, p_ix+B_x]内のデータの少なくとも一部が前記予め設定された条件C_xを満たすとき、データストリーム分割点として前記現在の潜在的な分割点k_iを選択するステップと、
    を行う、サーバ。
18. 前記規則は、少なくとも2個の点p_eおよびp_fが条件A_e=A_f、B_e=B_f、およびC_e=C_fを満たすことをさらに含む、請求項１７に記載のサーバ。
19. 前記規則は、前記潜在的な分割点kに関して、前記少なくとも2個の点p_eおよびp_fがデータストリーム分割点を探索する前記方向と反対の方向にあることをさらに含む、請求項１８に記載のサーバ。
20. 前記規則は、前記少なくとも2個の点p_eとp_fの間の間隔が1 Uであることをさらに含む、請求項１８または１９に記載のサーバ。
21. 前記中央処理ユニットは、具体的には、ランダム関数を使用することによって、前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定するように構成される、請求項１７から２０のいずれか一項に記載のサーバ。
22. 前記中央処理ユニットは、具体的には、hash関数を使用することによって、前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定するように構成される、請求項２１に記載のサーバ。
23. 前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する前記方向に沿って前記点p_izからデータストリーム分割点を探索するための前記N個の最小単位Uがスキップされ、それによって前記新しい潜在的な分割点を取得し、前記規則に従って、前記新しい潜在的な分割点について決定された点p_icに対応するウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界は前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]の右の境界と一致し、または前記新しい潜在的な分割点について決定された点p_icに対応するウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界は前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]の範囲内にあり、前記新しい潜在的な分割点について決定された点p_icは、前記規則に従って前記新しい潜在的な分割点について決定されたM個の点の、データストリーム分割点を探索する前記方向に従って取得されたシーケンス内で１番目の順位を有する点である、請求項１７から２２のいずれか一項に記載のサーバ。
24. 前記中央処理ユニットにより、ランダム関数を使用することによって、前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
    前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のFバイトを選択し、前記Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、F≧1であり、各バイトは8ビットで形成され、これらは前記F*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、前記F*Hバイトに対応するビットは
    

    

    と表現されることが可能であり、a_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、a_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aは前記F*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、前記行列V_aは
    

    

    と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、前記行列Rは
    

    

    と表現され、前記行列V_aのm番目の行および前記行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たす、請求項２１に記載のサーバ。
25. データストリーム分割点を探索するためのサーバであって、前記サーバは中央処理ユニットおよび主要メモリを含み、前記中央処理ユニットは前記主要メモリと通信し、前記サーバにおいて予め設定された規則は、潜在的な分割点kについて、M個のウィンドウW_x[k-A_x, k+B_x]および前記ウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xを決定することであり、xは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数であり、
    前記主要メモリは、実行可能な命令を記憶するように構成され、前記中央処理ユニットは、前記実行可能な命令を実行して次のステップ、
    (a)前記規則に従って、現在の潜在的な分割点k_iについて、対応するウィンドウW_iz[k_i-A_z, k_i+B_z]を決定するステップであて、iおよびzは整数であり、1≦z≦Mである、ステップと、
    (b)前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
    前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って前記現在の潜在的な分割点k_iからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得し、ステップ(a)を行うステップであって、N*Uは
    

    

    より大きくない、ステップと、
    (c)前記現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[k_i-A_x, k_i+B_x]内のデータの少なくとも一部が前記予め設定された条件C_xを満たすとき、データストリーム分割点として前記現在の潜在的な分割点k_iを選択するステップと、
    を行う、サーバ。
26. 前記規則は、少なくとも2個のウィンドウW_ie[k_i-A_e, k_i+B_e]およびW_if[k_i-A_f, k_i+B_f]が条件|A_e+B_e|=|A_f+B_f|およびC_e=C_fを満たすことをさらに含む、請求項２５に記載のサーバ。
27. 前記規則は、A_eおよびA_fが正の整数であることをさらに含む、請求項２６に記載のサーバ。
28. 前記規則は、A_e-1=A_fおよびB_e+1=B_fをさらに含む、請求項２６または２７に記載のサーバ。
29. 前記中央処理ユニットは、具体的には、ランダム関数を使用することによって、前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定するように構成される、請求項２５から２８のいずれか一項に記載のサーバ。
30. 前記中央処理ユニットは、具体的には、hash関数を使用することによって、前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定するように構成される、請求項２９に記載のサーバ。
31. 前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する前記方向に沿って前記現在の潜在的な分割点k_iからデータストリーム分割点を探索するための前記N個の最小単位Uがスキップされ、それによって前記新しい潜在的な分割点を取得し、前記規則に従って、前記新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界は前記ウィンドウW_iz[k_i-A_z, k_i+B_z]の右の境界と一致し、または前記新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界は前記ウィンドウW_iz[k_i-A_z, k_i+B_z]の範囲内にあり、前記新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]は、前記規則に従って前記新しい潜在的な分割点について決定されたM個のウィンドウの、データストリーム分割点を探索する前記方向に従って取得されたシーケンス内で１番目の順位を有するウィンドウである、請求項２５から３０のいずれか一項に記載のサーバ。
32. 前記中央処理ユニットにより、ランダム関数を使用することによって、前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
    前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のFバイトを選択し、前記Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、F≧1であり、各バイトは8ビットで形成され、これらは前記F*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、前記F*Hバイトに対応するビットは
    

    

    と表現されることが可能であり、a_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、a_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aは前記F*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、前記行列V_aは
    

    

    と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、前記行列Rは
    

    

    と表現され、前記行列V_aのm番目の行および前記行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たす、請求項２９に記載のサーバ。
33. データストリーム分割点を探索するためのサーバであって、前記サーバにおいて予め設定された規則は、潜在的な分割点kについて、M個の点p_x、前記点p_xに対応するウィンドウW_x[p_x-A_x, p_x+B_x]、および前記ウィンドウW_x[p_x-A_x, p_x+B_x]に対応する予め設定された条件C_xを決定することであり、xは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数であり、
    前記サーバは、前記規則に従って、現在の潜在的な分割点k_iについて、点p_izおよび前記点p_izに対応するウィンドウW_iz[p_iz-A_z, p_iz+B_z]を決定するステップであって、iおよびzは整数であり、1≦z≦Mである、ステップ(a)を行うように構成される決定ユニットと、
    前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
    前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って前記点p_izからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得するように構成される判断および処理ユニットであって、N*Uは
    

    

    より大きくない、判断および処理ユニットと、を含み、前記決定ユニットは前記新しい潜在的な分割点についてステップ(a)を行い、
    前記判断および処理ユニットは、前記現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[p_ix-A_x, p_ix+B_x]内のデータの少なくとも一部が前記予め設定された条件C_xを満たすとき、データストリーム分割点として前記現在の潜在的な分割点k_iを選択するように構成されるサーバ。
34. 前記規則は、少なくとも2個の点p_eおよびp_fが条件A_e=A_f、B_e=B_f、およびC_e=C_fを満たすことをさらに含む、請求項３３に記載のサーバ。
35. 前記規則は、前記潜在的な分割点kに関して, 前記少なくとも2個の点p_eおよびp_fがデータストリーム分割点を探索する前記方向と反対の方向にあることをさらに含む、請求項３４に記載のサーバ。
36. 前記規則は、前記少なくとも2個の点p_eとp_fの間の間隔が1 Uであることをさらに含む、請求項３４または３５に記載のサーバ。
37. 前記判断および処理ユニットは、具体的には、ランダム関数を使用することによって、前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定するように構成される、請求項３３から３６のいずれか一項に記載のサーバ。
38. 前記判断および処理ユニットは、具体的には、hash関数を使用することによって、前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定するように構成される、請求項３７に記載のサーバ。
39. 前記判断および処理ユニットは、前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する前記方向に沿って前記点p_izからデータストリーム分割点を探索するための前記N個の最小単位Uをスキップし、それによって前記新しい潜在的な分割点を取得するように構成され、前記決定ユニットは前記新しい潜在的な分割点についてステップ(a)を行い、前記規則に従って、前記新しい潜在的な分割点について決定された点p_icに対応するウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界は前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]の右の境界と一致し、またはウィンドウW_ic[p_ic-A_c, p_ic+B_c]の左の境界は前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]の範囲内にあり、前記新しい潜在的な分割点について決定された点p_icは、前記規則に従って前記新しい潜在的な分割点について決定されたM個の点の、データストリーム分割点を探索する前記方向に従って取得されたシーケンス内で１番目の順位を有する点である、請求項３３から３８のいずれか一項に記載のサーバ。
40. 前記判断および処理ユニットが、具体的には、ランダム関数を使用することによって、前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定するように構成されることは、具体的には、
    前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のFバイトを選択し、前記Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、F≧1であり、各バイトは8ビットで形成され、これらは前記F*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、前記F*Hバイトに対応するビットは
    

    

    と表現されることが可能であり、a_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、a_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aは前記F*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、前記行列V_aは
    

    

    と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、前記行列Rは
    

    

    と表現され、前記行列V_aのm番目の行および前記行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、前記ウィンドウW_iz[p_iz-A_z, p_iz+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たす、請求項３７に記載のサーバ。
41. データストリーム分割点を探索するためのサーバであって、前記サーバにおいて予め設定された規則は、潜在的な分割点kについて、M個のウィンドウW_x[k-A_x, k+B_x]および前記ウィンドウW_x[k-A_x, k+B_x]に対応する予め設定された条件C_xを決定することであり、xは1からMまでの連続した自然数を示し、M≧2であり、A_xおよびB_xは整数であり、
    前記サーバは、前記規則に従って、現在の潜在的な分割点k_iについて、対応するウィンドウW_iz[k_i-A_z, k_i+B_z]を決定するステップであって、iおよびzは整数であり、1≦z≦Mである、ステップ(a)を行うように構成される決定ユニットと、
    前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が予め設定された条件C_zを満たすかどうかを判定し、
    前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する方向に沿って前記現在の潜在的な分割点k_iからデータストリーム分割点を探索するためのN個の最小単位Uをスキップし、それによって新しい潜在的な分割点を取得するように構成される判断および処理ユニットであって、N*Uは
    

    

    より大きくない、判断および処理ユニットと、を含み、前記決定ユニットは前記新しい潜在的な分割点についてステップ(a)を行い、
    前記判断および処理ユニットは、前記現在の潜在的な分割点k_iのM個のウィンドウのうちの各ウィンドウW_ix[k_i-A_x, k_i+B_x]内のデータの少なくとも一部が前記予め設定された条件C_xを満たすとき、データストリーム分割点として前記現在の潜在的な分割点k_iを選択するように構成されるサーバ。
42. 前記規則は、少なくとも2個のウィンドウW_ie[k_i-A_e, k_i+B_e]およびW_if[k_i-A_f, k_i+B_f]が条件|A_e+B_e|=|A_f+B_f|およびC_e=C_fを満たすことをさらに含む、請求項４１に記載のサーバ。
43. 前記規則は、A_eおよびA_fが正の整数であることをさらに含む、請求項４２に記載のサーバ。
44. 前記規則は、A_e-1=A_fおよびB_e+1=B_fをさらに含む、請求項４２または４３に記載のサーバ。
45. 前記判断および処理ユニットは、具体的には、
    ランダム関数を使用することによって、前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定する
    ように構成される、請求項４１から４４のいずれか一項に記載のサーバ。
46. 前記判断および処理ユニットは、具体的には、hash関数を使用することによって、前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定する、請求項４５に記載のサーバ。
47. 前記判断および処理ユニットは、前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たさないとき、データストリーム分割点を探索する前記方向に沿って前記現在の潜在的な分割点k_iからデータストリーム分割点を探索するための前記N個の最小単位Uをスキップし、それによって前記新しい潜在的な分割点を取得するように構成され、前記決定ユニットは前記新しい潜在的な分割点についてステップ(a)を行い、前記規則に従って、前記新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界は前記ウィンドウW_iz[k_i-A_z, k_i+B_z]の右の境界と一致し、または前記新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]の左の境界は前記ウィンドウW_iz[k_i-A_z, k_i+B_z]の範囲内にあり、前記新しい潜在的な分割点について決定されたウィンドウW_ic[k_i-A_c, k_i+B_c]は、前記規則に従って前記新しい潜在的な分割点について決定されたM個のウィンドウの、データストリーム分割点を探索する前記方向に従って取得されたシーケンス内で１番目の順位を有するウィンドウである、請求項４１から４６のいずれか一項に記載のサーバ。
48. 前記判断および処理ユニットが、ランダム関数を使用することによって、前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たすかどうかを判定することは、具体的には、
    前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のFバイトを選択し、前記Fバイトを繰り返しH回使用して合計でF*Hバイトを取得することを含み、F≧1であり、各バイトは8ビットで形成され、これらは前記F*Hバイト内のm番目のバイトの1番目のビットから8番目のビットを表現するa_m,1、...、およびa_m,8と示され、前記F*Hバイトに対応するビットは
    

    

    と表現されることが可能であり、a_m,n=1であるときV_am,n=1であり、a_m,n=0であるときV_am,n=-1であり、a_m,nはa_m,1、...、およびa_m,8のうちのいずれか1つを表現し、行列V_aは前記F*Hバイトに対応するビットからa_m,nとV_am,nの間の変換関係に従って取得され、前記行列V_aは
    

    

    と表現され、正規分布に従う乱数からF*H*8個の乱数が選択されて行列Rを形成し、前記行列Rは
    

    

    と表現され、前記行列V_aのm番目の行および前記行列Rのm番目の行内の乱数が乗算され、積が加算されて値を取得し、これは具体的にはS_am=V_am,1*h_m,1+V_am,2*h_m,2+...+V_am,8*h_m,8と表現され、S_a1、S_a2、...、およびS_aF*Hが同様に取得され、S_a1、S_a2、...、およびS_aF*Hの中で0より大きい値の数量Kがカウントされ、Kが偶数であるとき、前記ウィンドウW_iz[k_i-A_z, k_i+B_z]内のデータの少なくとも一部が前記予め設定された条件C_zを満たす、請求項４６に記載のサーバ。
49. コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体は実行可能な命令を記憶するように構成され、前記実行可能な命令はサーバに請求項１から８のいずれかに記載の方法を実行させる、コンピュータ読み取り可能な記憶媒体。
50. コンピュータ読み取り可能な記憶媒体であって、前記コンピュータ読み取り可能な記憶媒体は実行可能な命令を記憶するように構成され、前記実行可能な命令はサーバに請求項９から１６のいずれかに記載の方法を実行させる、コンピュータ読み取り可能な記憶媒体。

Images