JP6450865B2 - 多数の重複するソースからの大量の時間データの集計 - Google Patents
多数の重複するソースからの大量の時間データの集計 Download PDFInfo
- Publication number
- JP6450865B2 JP6450865B2 JP2017567560A JP2017567560A JP6450865B2 JP 6450865 B2 JP6450865 B2 JP 6450865B2 JP 2017567560 A JP2017567560 A JP 2017567560A JP 2017567560 A JP2017567560 A JP 2017567560A JP 6450865 B2 JP6450865 B2 JP 6450865B2
- Authority
- JP
- Japan
- Prior art keywords
- data element
- data
- source
- repository
- update
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 99
- 230000008569 process Effects 0.000 claims description 76
- 238000001514 detection method Methods 0.000 description 17
- 230000008859 change Effects 0.000 description 14
- 238000012545 processing Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 12
- 230000009471 action Effects 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 5
- 230000004931 aggregating effect Effects 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2358—Change logging, detection, and notification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/219—Managing data history or versioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Debugging And Monitoring (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Description
本出願は、2015年3月20日出願の米国特許仮出願番号第62/135,982号の優先権を主張し、その内容は、参照により本明細書に組み入れられる。
(a)要素ベースは、ヘッダ及びペイロードを包含する。
(b)ヘッダは、以下を含む多くのフィールドを包含する。
entity Id:固有の実体を参照するid、例えばDUNS番号
element Name:この要素固有の名称
timestamp:最終更新の日付及び時間
hash:データベース検索を加速させるために、この特定のレコードを参照する固有の値
(b)ペイロードは、アトミックまたは集計タイプの要素を包含する。
(d)アトミック要素は、精密なかつ単一の意味を有し、以下を包含する。
id:この特定の要素を参照する固有のid
value:当該要素の実際値
hash:データベース検索を加速させるために、この特定のレコードを参照する固有の値
attrs:この要素に関連付けられた多数の属性、例えばデータのソース、カットオフ番号
(e)集計要素は、多数のアトミック要素を組み合わせた結果、または算出された/導き出された値を包含し、以下で構成される。
id:この特定の要素を参照する固有のid
hash:データベース検索を加速させるために、この特定のレコードを参照する固有の値
element:この集計要素を作り上げる要素のリスト
GBWR_US_1987_SICS1、
GBWR_US_1987_SICS1_DNB_IND_TYPE_CODE_NORMALIZED、
GBWR_US_1987_SICS1_DNB_IND_TYPE_TEXT_NORMALIZED、
GBWR_US_1987_SICS1_DNB_IND_CODE_DESC_NORMALIZED、及び
EDGED&BSTANDARD
にマッピングしている。
Claims (12)
- データ要素を受信することと、
前記データ要素を、時間経過にともなって前記データ要素に生じた変更を包含する保留更新履歴リポジトリ内の対応する現在のデータ要素と比較し、それによって比較をもたらすことと、
前記比較に基づいて、前記データ要素を変更したことを判定することと、
前記データ要素のためのデータを包含する、動作中のプロセスがないことを確認することと、
前記データ要素を、前記データ要素が受信された時間の範囲に関連付けられたカットオフ番号と関係付けることと、
(a)前記データ要素の現在の値及び前記データ要素の以前の値を格納する全領域データリポジトリと、(b)(i)前記データ要素が更新されていること、及び(ii)前記カットオフ番号、を示すレコードを格納するデルタデータリポジトリと、における対応するデータ要素を更新することと、
を含む、方法。 - 前記データ要素が、ソースからのものであり、
前記方法が、
前記ソースを考慮した規則に従って、前記データ要素を更新するかを判定すること、
をさらに含む、請求項1に記載の方法。 - 前記ソースは、第1のソースであり、
前記保留更新履歴リポジトリが、第2のソースからの前記データ要素の現在の値を保持し、
前記規則が、前記第2のソースも考慮する、
請求項2に記載の方法。 - 前記データ要素の値が、複数のソースから入手可能であり、
前記規則が、前記複数のソースを考慮する、
請求項3に記載の方法。 - 時間経過にともなってデータ要素に生じた変更を包含する保留更新履歴リポジトリと、
前記データ要素の現在の値及び前記データ要素の以前の値を格納する全領域データリポジトリと、
(i)前記データ要素が更新されていること、及び(ii)前記カットオフ番号を示すレコードを格納するデルタデータリポジトリと、
プロセッサと、
前記プロセッサによって読み取り可能であり、前記プロセッサに、
データ要素を受信することと、
前記データ要素を、前記保留更新履歴リポジトリ内の対応する現在のデータ要素と比較し、それによって比較をもたらすことと、
前記比較に基づいて、前記データ要素を変更したことを判定することと、
前記データ要素のためのデータを包含する、動作中のプロセスがないことを確認することと、
前記データ要素を、前記データ要素が受信された時間の範囲に関連付けられたカットオフ番号と関係付けることと、
(a)前記全領域データリポジトリ及び(b)前記デルタデータリポジトリ内の対応するデータ要素を更新することと、
を行わせる命令を包含するメモリと、
を備える、システム。 - 前記データ要素が、ソースからのものであり、
前記命令が、前記プロセッサに、
前記ソースを考慮した規則に従って、前記データ要素を更新するかを判定すること、
をさらに行わせる、
請求項5に記載のシステム。 - 前記ソースは、第1のソースであり、
前記保留更新履歴リポジトリが、第2のソースからの前記データ要素の現在の値を保持し、
前記規則が、前記第2のソースも考慮する、
請求項6に記載のシステム。 - 前記データ要素の値が、複数のソースから入手可能であり、
前記規則が、前記複数のソースを考慮する、
請求項7に記載のシステム。 - 非一時的である記憶装置であって、プロセッサによって読み取り可能な命令を含み、前記プロセッサに、
データ要素を受信することと、
前記データ要素を、時間経過にともなって前記データ要素に生じた変更を包含する保留更新履歴リポジトリ内の対応する現在のデータ要素と比較し、それによって比較をもたらすことと、
前記比較に基づいて、前記データ要素を変更したことを判定することと、
前記データ要素のためのデータを包含する、動作中のプロセスがないことを確認することと、
前記データ要素を、前記データ要素が受信された時間の範囲に関連付けられたカットオフ番号と関係付けることと、
(a)前記データ要素の現在の値及び前記データ要素の以前の値を格納する全領域データリポジトリと、(b)(i)前記データ要素が更新されていること、及び(ii)前記カットオフ番号とを示すレコードを格納するデルタデータリポジトリと、における対応するデータ要素を更新することと、
を行わせる記憶装置。 - 前記データ要素が、ソースからのものであり、
前記命令が、前記プロセッサに、
前記ソースを考慮した規則に従って、前記データ要素を更新するかを判定すること、
をさらに行わせる、
請求項9に記載の記憶装置。 - 前記ソースは、第1のソースであり、
前記保留更新履歴リポジトリが、第2のソースからの前記データ要素の現在の値を保持し、
前記規則が、前記第2のソースも考慮する、
請求項10に記載の記憶装置。 - 前記データ要素の値が、複数のソースから入手可能であり、
前記規則が、前記複数のソースを考慮する、
請求項11に記載の記憶装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562135982P | 2015-03-20 | 2015-03-20 | |
US62/135,982 | 2015-03-20 | ||
PCT/IB2016/000413 WO2016151397A1 (en) | 2015-03-20 | 2016-03-17 | Aggregating high volumes of temporal data from multiple overlapping sources |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018514886A JP2018514886A (ja) | 2018-06-07 |
JP6450865B2 true JP6450865B2 (ja) | 2019-01-09 |
Family
ID=55910999
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017567560A Active JP6450865B2 (ja) | 2015-03-20 | 2016-03-17 | 多数の重複するソースからの大量の時間データの集計 |
Country Status (12)
Country | Link |
---|---|
US (1) | US10942911B2 (ja) |
EP (1) | EP3271834B1 (ja) |
JP (1) | JP6450865B2 (ja) |
KR (1) | KR102011354B1 (ja) |
CN (1) | CN107624185B (ja) |
AU (1) | AU2016238517B2 (ja) |
CA (1) | CA2980271C (ja) |
DK (1) | DK3271834T3 (ja) |
HK (1) | HK1250181A1 (ja) |
MX (1) | MX2017012158A (ja) |
NZ (1) | NZ735617A (ja) |
WO (1) | WO2016151397A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107209763B (zh) | 2014-10-20 | 2021-04-09 | 起元科技有限公司 | 指定和应用数据的规则 |
US10209983B2 (en) * | 2017-04-19 | 2019-02-19 | Servicenow, Inc. | Distributed incremental updating of trays using a source control system |
CN112307017A (zh) * | 2020-09-16 | 2021-02-02 | 北京沃东天骏信息技术有限公司 | 数据存储方法、查询方法及相关设备、存储介质 |
CN113007966B (zh) * | 2021-03-19 | 2022-05-06 | 合肥美菱物联科技有限公司 | 一种冰箱功能升级的方法 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2296167A (en) * | 1994-12-16 | 1996-06-19 | Ibm | Serialising updates in a data conferencing network |
US5826253A (en) * | 1995-07-26 | 1998-10-20 | Borland International, Inc. | Database system with methodology for notifying clients of any additions, deletions, or modifications occurring at the database server which affect validity of a range of data records cached in local memory buffers of clients |
US6389429B1 (en) * | 1999-07-30 | 2002-05-14 | Aprimo, Inc. | System and method for generating a target database from one or more source databases |
US20040230571A1 (en) * | 2003-04-22 | 2004-11-18 | Gavin Robertson | Index and query processor for data and information retrieval, integration and sharing from multiple disparate data sources |
US7496910B2 (en) * | 2004-05-21 | 2009-02-24 | Desktopstandard Corporation | System for policy-based management of software updates |
KR100786261B1 (ko) | 2006-04-03 | 2007-12-17 | (주)위세아이텍 | 메타데이터 저장소에의 메타데이터 자동적재 방법 |
US7418453B2 (en) | 2006-06-15 | 2008-08-26 | International Business Machines Corporation | Updating a data warehouse schema based on changes in an observation model |
CN101127034B (zh) | 2006-08-18 | 2012-05-23 | 国际商业机器公司 | 数据组织、查询、呈现、存档、恢复、删除、提炼方法及装置和系统 |
US10152504B2 (en) * | 2009-03-11 | 2018-12-11 | Actian Netherlands B.V. | Column-store database architecture utilizing positional delta tree update system and methods |
JP5436309B2 (ja) | 2010-04-01 | 2014-03-05 | 三菱電機株式会社 | データ処理装置及びデータ処理方法及びプログラム |
JP5630190B2 (ja) | 2010-10-06 | 2014-11-26 | 富士通株式会社 | 更新管理装置、更新管理方法および更新管理プログラム |
CN103136308A (zh) * | 2011-11-23 | 2013-06-05 | 英业达股份有限公司 | 应用系统数据库更新的方法和系统 |
US8751525B2 (en) * | 2011-12-23 | 2014-06-10 | Sap Ag | Time slider operator for temporal data aggregation |
US9390428B2 (en) | 2013-03-13 | 2016-07-12 | Salesforce.Com, Inc. | Systems, methods, and apparatuses for rendering scored opportunities using a predictive query interface |
-
2016
- 2016-03-17 CN CN201680023236.4A patent/CN107624185B/zh active Active
- 2016-03-17 WO PCT/IB2016/000413 patent/WO2016151397A1/en active Application Filing
- 2016-03-17 EP EP16720548.3A patent/EP3271834B1/en active Active
- 2016-03-17 KR KR1020177029486A patent/KR102011354B1/ko active IP Right Grant
- 2016-03-17 JP JP2017567560A patent/JP6450865B2/ja active Active
- 2016-03-17 CA CA2980271A patent/CA2980271C/en active Active
- 2016-03-17 AU AU2016238517A patent/AU2016238517B2/en active Active
- 2016-03-17 DK DK16720548.3T patent/DK3271834T3/da active
- 2016-03-17 NZ NZ735617A patent/NZ735617A/en unknown
- 2016-03-17 US US15/073,369 patent/US10942911B2/en active Active
- 2016-03-17 MX MX2017012158A patent/MX2017012158A/es active IP Right Grant
-
2018
- 2018-07-24 HK HK18109570.9A patent/HK1250181A1/zh unknown
Also Published As
Publication number | Publication date |
---|---|
JP2018514886A (ja) | 2018-06-07 |
DK3271834T3 (da) | 2020-01-27 |
EP3271834B1 (en) | 2019-10-23 |
AU2016238517B2 (en) | 2020-05-14 |
MX2017012158A (es) | 2018-07-06 |
WO2016151397A1 (en) | 2016-09-29 |
KR20170137756A (ko) | 2017-12-13 |
AU2016238517A1 (en) | 2017-10-12 |
CA2980271C (en) | 2021-02-02 |
EP3271834A1 (en) | 2018-01-24 |
CN107624185B (zh) | 2021-01-15 |
KR102011354B1 (ko) | 2019-08-16 |
HK1250181A1 (zh) | 2018-11-30 |
CA2980271A1 (en) | 2016-09-29 |
CN107624185A (zh) | 2018-01-23 |
NZ735617A (en) | 2019-05-31 |
US10942911B2 (en) | 2021-03-09 |
US20160275130A1 (en) | 2016-09-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230401187A1 (en) | Method and system for migrating content between enterprise content management systems | |
US9984135B2 (en) | Shipping of data through ETL stages | |
US8938430B2 (en) | Intelligent data archiving | |
JP6450865B2 (ja) | 多数の重複するソースからの大量の時間データの集計 | |
US10346381B2 (en) | Atomic update operations in a data storage system | |
US11977532B2 (en) | Log record identification using aggregated log indexes | |
US8805777B2 (en) | Data record collapse and split functionality | |
US20140095549A1 (en) | Method and Apparatus for Generating Schema of Non-Relational Database | |
WO2016138859A1 (zh) | 数据同步方法和集群节点 | |
US11175993B2 (en) | Managing data storage system | |
US11853279B2 (en) | Data storage using vectors of vectors | |
US9208195B2 (en) | Retrieving information from a relational database using user defined facets in a faceted query | |
WO2016082559A1 (zh) | 一种数据写入方法及存储设备 | |
CN109542860B (zh) | 基于hdfs的业务数据管理方法、终端设备 | |
US11556519B2 (en) | Ensuring integrity of records in a not only structured query language database | |
CN116150236A (zh) | 数据同步方法及装置、电子设备、计算机可读存储介质 | |
CN105683961B (zh) | 管理用于假设分析的回写的数据的方法和系统 | |
JP2018085042A (ja) | データベース管理装置、情報処理システム、データベース管理方法及びデータベース管理プログラム | |
JP2018028776A (ja) | ソフトウェア資産管理装置、ソフトウェア資産管理方法、および、ソフトウェア資産管理プログラム | |
CN105630635A (zh) | 数据容灾系统和方法 | |
US20240202730A1 (en) | Systems and methods for identifying risks in a sales pipeline | |
JP5970882B2 (ja) | 構成情報管理装置,構成情報管理プログラム | |
US20240070134A1 (en) | Determining references to predefined types of records | |
US11138233B2 (en) | Data storage using vectors of vectors | |
CN115617570A (zh) | 增量数据的备份方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20181023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181113 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181210 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6450865 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |