JP7098735B2 - 大規模データ分析の最適化 - Google Patents
大規模データ分析の最適化 Download PDFInfo
- Publication number
- JP7098735B2 JP7098735B2 JP2020542129A JP2020542129A JP7098735B2 JP 7098735 B2 JP7098735 B2 JP 7098735B2 JP 2020542129 A JP2020542129 A JP 2020542129A JP 2020542129 A JP2020542129 A JP 2020542129A JP 7098735 B2 JP7098735 B2 JP 7098735B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- register
- registers
- determining
- hashing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3409—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for performance assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3404—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for parallel or distributed programming
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3442—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment for planning or managing the needed capacity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3452—Performance evaluation by statistical analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
- G06F16/2462—Approximate or statistical queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/448—Execution paradigms, e.g. implementations of programming paradigms
- G06F9/4488—Object-oriented
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/465—Distributed object oriented systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
- G06Q30/0251—Targeted advertisements
- G06Q30/0269—Targeted advertisements based on user profile or attribute
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Quality & Reliability (AREA)
- Probability & Statistics with Applications (AREA)
- Business, Economics & Management (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Mathematical Physics (AREA)
- Fuzzy Systems (AREA)
- Accounting & Taxation (AREA)
- Development Economics (AREA)
- Finance (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Economics (AREA)
- Marketing (AREA)
- General Business, Economics & Management (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
102 コンピューティングサーバ、サーバ
104 HLLデータエンジン、HyperLogLog(HLL)データエンジン
106 データ記憶デバイス、データセット記憶デバイス、メモリ、集計カウンタフィールド
108 ハッシュロジック
110 先行ゼロロジック
112 レジスタIDロジック
114 報告ロジック
116 ロジックエンジン
120 データ構造
122 最上位ビットのためのフィールド、最上位ビットフィールド、フィールド
124 後続のpビットのためのフィールド、後続pビットフィールド、フィールド
125 レジスタ
126 集計カウンタのためのフィールド、集計カウンタフィールド、フィールド
128 ハッシュ化パラメータ
130 データ記憶デバイス
140 データ取り込みエンジン
150 クエリ
180 報告出力
300 コンピューティングデバイス
302 プロセッサ
304 メモリ
306 記憶デバイス
308 高速インターフェース、高速コントローラ
310 高速拡張ポート
312 低速インターフェース、低速コントローラ
314 低速バス、低速拡張ポート
316 ディスプレイ
320 サーバ
322 ラップトップコンピュータ
324 ラックサーバシステム
350 コンピューティングデバイス、デバイス
352 プロセッサ
354 ディスプレイ
356 ディスプレイインターフェース
358 制御インターフェース
360 オーディオコーデック
362 外部インターフェース
364 メモリ
366 通信インターフェース
368 トランシーバ、無線周波数トランシーバ
370 GPS受信機モジュール
372 拡張インターフェース
374 拡張メモリ
380 携帯電話
382 スマートフォン
Claims (24)
- データセット内の複数のオブジェクトに関する活動データを取得するステップであって、前記データセット内の各オブジェクトが、デジタル環境内で活動を実行し、前記活動データが、前記活動を表す、ステップと、
前記データセット内の各データ項目について、
前記データ項目において指定されたオブジェクトの識別子を使用して、前記オブジェクトのハッシュ化パラメータを生成するステップであって、前記ハッシュ化パラメータが、バイナリ表現である、ステップと、
前記ハッシュ化パラメータの前記バイナリ表現に基づいて、レジスタのセットの中からレジスタを識別するステップであって、前記レジスタのセット内の各レジスタが、前記データセット内のオブジェクトに関するデータを記憶するために使用される、ステップと、
前記ハッシュ化パラメータの前記バイナリ表現に基づいて、前記オブジェクトの前記ハッシュ化パラメータが前記データセット内の前記オブジェクトの出現回数を指定する集計量に寄与していることを判定するステップと、
前記オブジェクトの前記ハッシュ化パラメータが前記集計量に寄与しているとの判定に応答して、前記レジスタ内に記憶された前記集計量を更新するステップと、
前記レジスタのセット内に記憶された前記集計量に基づいて、データ項目のセットを示す報告出力を生成するステップであって、各データ項目が、特定の集計量において前記デジタル環境内で活動を実行した前記データセット内のオブジェクトの推定数を識別する、ステップとを含む、
コンピュータで実行される方法。 - 各オブジェクトが、ユーザを表し、
集計量が頻度値を表す、
請求項1に記載のコンピュータで実行される方法。 - 前記ハッシュ化パラメータの前記バイナリ表現に基づいてレジスタのセットの中からレジスタを識別するステップが、
前記ハッシュ化パラメータの前記バイナリ表現の第1の部分を識別するステップと、
前記ハッシュ化パラメータの前記バイナリ表現の前記第1の部分を使用して前記レジスタを識別するステップとを含む、
請求項1に記載のコンピュータで実行される方法。 - 前記レジスタのセット内の各レジスタが、受信されたハッシュ化パラメータに関するデータを記憶するデータ構造を備え、
前記データ構造が、
前記受信されたハッシュ化パラメータの第2の部分における先行ゼロの数を指定するデータを記憶するための第1のフィールドと、
前記受信されたハッシュ化パラメータの前記第2の部分内の後続ビットを指定するデータを記憶するための第2のフィールドと、
(i)前記第1のフィールド内の既存のデータ値が前記先行ゼロの数と一致し、(ii)前記第2のフィールド内の既存のデータ値が前記後続ビットと一致する場合の出現回数を示す集計量を指定するデータを記憶するための第3のフィールドとを含む、
請求項1に記載のコンピュータで実行される方法。 - 前記ハッシュ化パラメータの前記バイナリ表現に基づいて、前記オブジェクトの前記ハッシュ化パラメータが集計量に寄与していることを判定するステップが、
前記ハッシュ化パラメータの前記バイナリ表現の前記第2の部分から先行ゼロの数を決定するステップと、
前記ハッシュ化パラメータの前記バイナリ表現の前記第2の部分から後続ビットを決定するステップと、
前記先行ゼロの数と前記後続ビットとに基づいて、前記ハッシュ化パラメータが前記レジスタの前記データ構造の前記第3のフィールド内に記憶された既存のデータ値に影響を与えることを判定するステップとを含む、
請求項4に記載のコンピュータで実行される方法。 - 前記先行ゼロの数と前記後続ビットとに基づいて、前記ハッシュ化パラメータが前記レジスタの前記データ構造の前記第3のフィールド内に記憶された既存のデータ値に影響を与えることを判定するステップが、
前記レジスタの前記データ構造の前記第1のフィールド内に記憶された前記既存のデータ値が前記先行ゼロの数と同じであることを判定するステップと、
前記レジスタの前記データ構造の前記第2のフィールド内に記憶された前記既存のデータ値が前記後続ビットの値と同じであることを判定するステップとを含む、
請求項5に記載のコンピュータで実行される方法。 - 前記レジスタ内に記憶された前記集計量を更新するステップが、前記レジスタの前記データ構造の前記第3のフィールド内に記憶された前記既存のデータ値を1だけ増分するステップを含む、
請求項5に記載のコンピュータで実行される方法。 - 前記レジスタのセット内に記憶された集計量に基づいて、データ項目のセットを示す報告出力を生成するステップであって、各データ項目が、特定の集計量において前記デジタル環境内で活動を実行した前記データセット内のオブジェクトの推定数を識別する、ステップが、
前記レジスタのセット内に記憶された集計量に基づいて、一意の集計量のセットを識別するステップと、
前記集計量のセット内の各々の特定の集計量について、前記特定の集計量において活動を実行した前記データセットのオブジェクトの推定数を決定するステップとを含み、前記推定数を決定するステップが、
前記特定の集計量に一致する集計量を記憶するレジスタの数を決定するステップと、
ハッシュ衝突補正係数に基づいて、前記特定の集計量と一致する前記集計量を記憶する前記レジスタの数を調整するステップと、
前記レジスタのセットの各レジスタ内に記憶されたオブジェクトの平均数を決定するステップと、
前記オブジェクトの平均数によって前記レジスタの調整された数をスケーリングするステップとを含む、
請求項4に記載のコンピュータで実行される方法。 - 命令を記憶する1つまたは複数のメモリデバイスと、
前記1つまたは複数のメモリデバイスと対話するように構成され、かつ前記命令の実行時に動作を実行する1つまたは複数のデータ処理装置とを備える、
システムであって、前記動作が、
データセット内の複数のオブジェクトに関する活動データを取得するステップであって、前記データセット内の各オブジェクトが、デジタル環境内で活動を実行し、前記活動データが前記活動を表す、ステップと、
前記データセット内の各データ項目について、
前記データ項目において指定されたオブジェクトの識別子を使用して、前記オブジェクトのハッシュ化パラメータを生成するステップであって、前記ハッシュ化パラメータが、バイナリ表現である、ステップと、
前記ハッシュ化パラメータの前記バイナリ表現に基づいて、レジスタのセットの中からレジスタを識別するステップであって、前記レジスタのセット内の各レジスタが、前記データセット内のオブジェクトに関するデータを記憶するために使用される、ステップと、
前記ハッシュ化パラメータの前記バイナリ表現に基づいて、前記オブジェクトの前記ハッシュ化パラメータが前記データセット内の前記オブジェクトの出現回数を指定する集計量に寄与していることを判定するステップと、
前記オブジェクトの前記ハッシュ化パラメータが前記集計量に寄与しているとの判定に応答して、前記レジスタ内に記憶された前記集計量を更新するステップと、
前記レジスタのセット内に記憶された前記集計量に基づいて、データ項目のセットを示す報告出力を生成するステップであって、各データ項目が、特定の集計量において前記デジタル環境内で活動を実行した前記データセット内のオブジェクトの推定数を識別する、ステップとを含む、
システム。 - 各オブジェクトが、ユーザを表し、
集計量が、頻度値を表す、
請求項9に記載のシステム。 - 前記ハッシュ化パラメータの前記バイナリ表現に基づいてレジスタのセットの中からレジスタを識別するステップが、
前記ハッシュ化パラメータの前記バイナリ表現の第1の部分を識別するステップと、
前記ハッシュ化パラメータの前記バイナリ表現の前記第1の部分を使用して前記レジスタを識別するステップとを含む、
請求項9に記載のシステム。 - 前記レジスタのセット内の各レジスタが、受信されたハッシュ化パラメータに関するデータを記憶するデータ構造を備え、
前記データ構造が、
前記受信されたハッシュ化パラメータの第2の部分における先行ゼロの数を指定するデータを記憶するための第1のフィールドと、
前記受信されたハッシュ化パラメータの前記第2の部分内の後続ビットを指定するデータを記憶するための第2のフィールドと、
(i)前記第1のフィールド内の既存のデータ値が前記先行ゼロの数と一致し、(ii)前記第2のフィールド内の既存のデータ値が前記後続ビットと一致する場合の出現回数を示す集計量を指定するデータを記憶するための第3のフィールドとを含む、
請求項9に記載のシステム。 - 前記ハッシュ化パラメータの前記バイナリ表現に基づいて、前記オブジェクトの前記ハッシュ化パラメータが集計量に寄与していることを判定するステップが、
前記ハッシュ化パラメータの前記バイナリ表現の前記第2の部分から先行ゼロの数を決定するステップと、
前記ハッシュ化パラメータの前記バイナリ表現の前記第2の部分から後続ビットを決定するステップと、
前記先行ゼロの数と前記後続ビットとに基づいて、前記ハッシュ化パラメータが前記レジスタの前記データ構造の前記第3のフィールド内に記憶された既存のデータ値に影響を与えることを判定するステップとを含む、
請求項12に記載のシステム。 - 前記先行ゼロの数と前記後続ビットとに基づいて、前記ハッシュ化パラメータが前記レジスタの前記データ構造の前記第3のフィールド内に記憶された既存のデータ値に影響を与えることを判定するステップが、
前記レジスタの前記データ構造の前記第1のフィールド内に記憶された前記既存のデータ値が前記先行ゼロの数と同じであることを判定するステップと、
前記レジスタの前記データ構造の前記第2のフィールド内に記憶された前記既存のデータ値が前記後続ビットの値と同じであることを判定するステップとを含む、
請求項13に記載のシステム。 - 前記レジスタ内に記憶された前記集計量を更新するステップが、
前記レジスタの前記データ構造の前記第3のフィールド内に記憶された前記既存のデータ値を1だけ増分するステップを含む、
請求項13に記載のシステム。 - 前記レジスタのセット内に記憶された集計量に基づいて、データ項目のセットを示す報告出力を生成するステップであって、各データ項目が、特定の集計量において前記デジタル環境内で活動を実行した前記データセット内のオブジェクトの推定数を識別する、ステップが、
前記レジスタのセット内に記憶された集計量に基づいて、一意の集計量のセットを識別するステップと、
前記集計量のセット内の各々の特定の集計量について、前記特定の集計量において活動を実行した前記データセットのオブジェクトの推定数を決定するステップとを含み、前記推定数を決定するステップが、
前記特定の集計量に一致する集計量を記憶するレジスタの数を決定するステップと、
ハッシュ衝突補正係数に基づいて、前記特定の集計量と一致する前記集計量を記憶する前記レジスタの数を調整するステップと、
前記レジスタのセットの各レジスタ内に記憶されたオブジェクトの平均数を決定するステップと、
前記オブジェクトの平均数によって前記レジスタの調整された数をスケーリングするステップとを含む、
請求項12に記載のシステム。 - 1つまたは複数のデータ処理装置に以下の動作を実行させるための命令を記憶するコンピュータ可読記憶媒体であって、前記動作が、
データセット内の複数のオブジェクトに関する活動データを取得するステップであって、前記データセット内の各オブジェクトが、デジタル環境内で活動を実行し、前記活動データが、前記活動を表す、ステップと、
前記データセット内の各データ項目について、
前記データ項目において指定されたオブジェクトの識別子を使用して、前記オブジェクトのハッシュ化パラメータを生成するステップであって、前記ハッシュ化パラメータがバイナリ表現である、ステップと、
前記ハッシュ化パラメータの前記バイナリ表現に基づいて、レジスタのセットの中からレジスタを識別するステップであって、前記レジスタのセット内の各レジスタが、前記データセット内のオブジェクトに関するデータを記憶するために使用される、ステップと、
前記ハッシュ化パラメータの前記バイナリ表現に基づいて、前記オブジェクトの前記ハッシュ化パラメータが、前記データセット内の前記オブジェクトの出現回数を指定する集計量に寄与していることを判定するステップと、
前記オブジェクトの前記ハッシュ化パラメータが前記集計量に寄与しているとの判定に応答して、前記レジスタ内に記憶された前記集計量を更新するステップと、
前記レジスタのセット内に記憶された前記集計量に基づいて、データ項目のセットを示す報告出力を生成するステップであって、各データ項目が、特定の集計量において前記デジタル環境内で活動を実行した前記データセット内のオブジェクトの推定数を識別する、ステップとを含む、
コンピュータ可読記憶媒体。 - 各オブジェクトが、ユーザを表し、
集計量が、頻度値を表す、
請求項17に記載のコンピュータ可読記憶媒体。 - 前記ハッシュ化パラメータの前記バイナリ表現に基づいてレジスタのセットの中からレジスタを識別するステップが、
前記ハッシュ化パラメータの前記バイナリ表現の第1の部分を識別するステップと、
前記ハッシュ化パラメータの前記バイナリ表現の前記第1の部分を使用して前記レジスタを識別するステップとを含む、
請求項17に記載のコンピュータ可読記憶媒体。 - 前記レジスタのセット内の各レジスタが、受信されたハッシュ化パラメータに関するデータを記憶するデータ構造を備え、
前記データ構造が、
前記受信されたハッシュ化パラメータの第2の部分における先行ゼロの数を指定するデータを記憶するための第1のフィールドと、
前記受信されたハッシュ化パラメータの前記第2の部分内の後続ビットを指定するデータを記憶するための第2のフィールドと、
(i)前記第1のフィールド内の既存のデータ値が前記先行ゼロの数と一致し、(ii)前記第2のフィールド内の既存のデータ値が前記後続ビットと一致する場合の出現回数を示す集計量を指定するデータを記憶するための第3のフィールドとを含む、
請求項17に記載のコンピュータ可読記憶媒体。 - 前記ハッシュ化パラメータの前記バイナリ表現に基づいて、前記オブジェクトの前記ハッシュ化パラメータが集計量に寄与していることを判定するステップが、
前記ハッシュ化パラメータの前記バイナリ表現の前記第2の部分から先行ゼロの数を決定するステップと、
前記ハッシュ化パラメータの前記バイナリ表現の前記第2の部分から後続ビットを決定するステップと、
前記先行ゼロの数と前記後続ビットとに基づいて、前記ハッシュ化パラメータが前記レジスタの前記データ構造の前記第3のフィールド内に記憶された既存のデータ値に影響を与えることを判定するステップとを含む、
請求項20に記載のコンピュータ可読記憶媒体。 - 前記先行ゼロの数と前記後続ビットとに基づいて、前記ハッシュ化パラメータが前記レジスタの前記データ構造の前記第3のフィールド内に記憶された既存のデータ値に影響を与えることを判定するステップが、
前記レジスタの前記データ構造の前記第1のフィールド内に記憶された前記既存のデータ値が前記先行ゼロの数と同じであることを判定するステップと、
前記レジスタの前記データ構造の前記第2のフィールド内に記憶された前記既存のデータ値が前記後続ビットの値と同じであることを判定するステップとを含む、
請求項21に記載のコンピュータ可読記憶媒体。 - 前記レジスタ内に記憶された前記集計量を更新するステップが、
前記レジスタの前記データ構造の前記第3のフィールド内に記憶された前記既存のデータ値を1だけ増分するステップを含む、
請求項21に記載のコンピュータ可読記憶媒体。 - 前記レジスタのセット内に記憶された集計量に基づいて、データ項目のセットを示す報告出力を生成するステップであって、各データ項目が、特定の集計量において前記デジタル環境内で活動を実行した前記データセット内のオブジェクトの推定数を識別する、ステップが、
前記レジスタのセット内に記憶された集計量に基づいて、一意の集計量のセットを識別するステップと、
前記集計量のセット内の各々の特定の集計量について、前記特定の集計量において活動を実行した前記データセットのオブジェクトの推定数を決定するステップとを含み、前記推定数を決定するステップが、
前記特定の集計量に一致する集計量を記憶するレジスタの数を決定するステップと、
ハッシュ衝突補正係数に基づいて、前記特定の集計量と一致する前記集計量を記憶する前記レジスタの数を調整するステップと、
前記レジスタのセットの各レジスタ内に記憶されたオブジェクトの平均数を決定するステップと、
前記オブジェクトの平均数によって前記レジスタの調整された数をスケーリングするステップとを含む、
請求項20に記載のコンピュータ可読記憶媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2019/047393 WO2021034320A1 (en) | 2019-08-21 | 2019-08-21 | Optimizing large scale data analysis |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022500714A JP2022500714A (ja) | 2022-01-04 |
JP7098735B2 true JP7098735B2 (ja) | 2022-07-11 |
Family
ID=67874522
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020542129A Active JP7098735B2 (ja) | 2019-08-21 | 2019-08-21 | 大規模データ分析の最適化 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11768752B2 (ja) |
EP (1) | EP3799638A1 (ja) |
JP (1) | JP7098735B2 (ja) |
KR (1) | KR20210023795A (ja) |
CN (1) | CN112771512B (ja) |
WO (1) | WO2021034320A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US12045203B2 (en) * | 2021-06-14 | 2024-07-23 | EMC IP Holding Company LLC | Systems and methods for physical capacity estimation of logical space units |
US11847119B2 (en) * | 2021-08-30 | 2023-12-19 | The Nielsen Company (Us), Llc | Method and system for estimating the cardinality of information |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180268167A1 (en) | 2017-03-17 | 2018-09-20 | Mediasift Limited | Event processing system |
US20180300363A1 (en) | 2017-04-14 | 2018-10-18 | Dynatrace Llc | Method And System To Estimate The Cardinality Of Sets And Set Operation Results From Single And Multiple HyperLogLog Sketches |
US20190026491A1 (en) | 2017-07-24 | 2019-01-24 | Mediasift Limited | Event processing system |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20030040263A (ko) | 2003-04-07 | 2003-05-22 | 주식회사 드림나우 | 인터넷 홈페이지 이용자의 행태 정보 획득 방법 및 그 장치 |
KR100798008B1 (ko) | 2005-09-07 | 2008-01-24 | 노키아 코포레이션 | 빈도수 카운팅을 위한 방법 및 장치 |
US7565349B2 (en) * | 2005-11-10 | 2009-07-21 | International Business Machines Corporation | Method for computing frequency distribution for many fields in one pass in parallel |
US8316064B2 (en) * | 2008-08-25 | 2012-11-20 | Emc Corporation | Method and apparatus for managing data objects of a data storage system |
US10198363B2 (en) * | 2015-10-23 | 2019-02-05 | Oracle International Corporation | Reducing data I/O using in-memory data structures |
US10055506B2 (en) * | 2014-03-18 | 2018-08-21 | Excalibur Ip, Llc | System and method for enhanced accuracy cardinality estimation |
US9886301B2 (en) * | 2015-05-04 | 2018-02-06 | Strato Scale Ltd. | Probabilistic deduplication-aware workload migration |
US10983976B2 (en) * | 2016-04-18 | 2021-04-20 | Verizon Media Inc. | Optimized full-spectrum cardinality estimation based on unified counting and ordering estimation techniques |
US10009239B2 (en) * | 2016-08-09 | 2018-06-26 | Airmagnet, Inc. | Method and apparatus of estimating conversation in a distributed netflow environment |
-
2019
- 2019-08-21 EP EP19765368.6A patent/EP3799638A1/en active Pending
- 2019-08-21 KR KR1020207022602A patent/KR20210023795A/ko not_active IP Right Cessation
- 2019-08-21 JP JP2020542129A patent/JP7098735B2/ja active Active
- 2019-08-21 CN CN201980011648.XA patent/CN112771512B/zh active Active
- 2019-08-21 US US16/960,817 patent/US11768752B2/en active Active
- 2019-08-21 WO PCT/US2019/047393 patent/WO2021034320A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180268167A1 (en) | 2017-03-17 | 2018-09-20 | Mediasift Limited | Event processing system |
US20180300363A1 (en) | 2017-04-14 | 2018-10-18 | Dynatrace Llc | Method And System To Estimate The Cardinality Of Sets And Set Operation Results From Single And Multiple HyperLogLog Sketches |
US20190026491A1 (en) | 2017-07-24 | 2019-01-24 | Mediasift Limited | Event processing system |
Also Published As
Publication number | Publication date |
---|---|
CN112771512A (zh) | 2021-05-07 |
JP2022500714A (ja) | 2022-01-04 |
US11768752B2 (en) | 2023-09-26 |
KR20210023795A (ko) | 2021-03-04 |
EP3799638A1 (en) | 2021-04-07 |
US20220171693A1 (en) | 2022-06-02 |
CN112771512B (zh) | 2024-06-25 |
WO2021034320A1 (en) | 2021-02-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10394693B2 (en) | Quantization of data streams of instrumented software | |
US11416456B2 (en) | Method, apparatus, and computer program product for data quality analysis | |
JP6526907B2 (ja) | 分散型記憶システムの性能監視 | |
JP2020074157A (ja) | 計測手段が組み込まれたソフトウェアを分析するためのデータストリーム処理言語 | |
US8745109B2 (en) | Approximate order statistics of real numbers in generic data | |
CN111290916B (zh) | 大数据监控方法、装置、设备及计算机可读存储介质 | |
CN109388657B (zh) | 数据处理方法、装置、计算机设备及存储介质 | |
US11645179B2 (en) | Method and apparatus of monitoring interface performance of distributed application, device and storage medium | |
WO2020173136A1 (zh) | 应用系统的监控方法、装置、设备及存储介质 | |
JP2015530666A (ja) | データインデックス化方法及び装置 | |
US11693842B2 (en) | Generating compact data structures for monitoring data processing performance across high scale network infrastructures | |
JP7098735B2 (ja) | 大規模データ分析の最適化 | |
US20110184968A1 (en) | Similarity calculation apparatus | |
EP4198738A1 (en) | Real-time reporting based on instrumentation of software | |
CN112948223A (zh) | 一种监测运行情况的方法和装置 | |
US10983888B1 (en) | System and method for generating dynamic sparse exponential histograms | |
WO2020000724A1 (zh) | 云平台主机间通信负载的处理方法、电子装置及介质 | |
US12050576B2 (en) | Analytics database and monitoring system for structuring and storing data streams | |
CN117215589B (zh) | 一种云原生状态评估方法、装置、设备及存储介质 | |
CN115834323B (zh) | 基于snmp协议低代码实现系统设备监控的方法及装置 | |
CN116894229A (zh) | 一种同类多数据源融合方法、装置、设备及存储介质 | |
CN118171320A (zh) | 权限管理方法、装置、电子设备及可读存储介质 | |
CN115914120A (zh) | 消息发送方法、装置、计算机设备和计算机可读存储介质 | |
CN117591360A (zh) | 使用跟踪监视与分布式计算系统的用户相关联的能耗 | |
CN116527544A (zh) | 分布式数据处理方法、电子设备、可读存储介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201002 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211213 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220217 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220629 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7098735 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |